WO2021034003A1 - 다중 광도 영상 획득 장치 및 방법 - Google Patents

다중 광도 영상 획득 장치 및 방법 Download PDF

Info

Publication number
WO2021034003A1
WO2021034003A1 PCT/KR2020/010720 KR2020010720W WO2021034003A1 WO 2021034003 A1 WO2021034003 A1 WO 2021034003A1 KR 2020010720 W KR2020010720 W KR 2020010720W WO 2021034003 A1 WO2021034003 A1 WO 2021034003A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical
unit
infrared
light
infrared light
Prior art date
Application number
PCT/KR2020/010720
Other languages
English (en)
French (fr)
Inventor
이성학
전선곤
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to US17/634,709 priority Critical patent/US20220283442A1/en
Publication of WO2021034003A1 publication Critical patent/WO2021034003A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Definitions

  • the present invention relates to a multi-luminosity image acquisition apparatus, and more particularly, a multi-luminosity image acquisition apparatus capable of photographing and synthesizing multi-luminosity images in visible and infrared wavelength regions by using optical filter transmittance adjustment and infrared illumination intensity adjustment, and It's about how.
  • cameras In general, in order to identify outdoor objects such as CCTV surveillance cameras, vehicles, robots, drones, etc., cameras have shooting conditions from daytime to night, dark indoors, tunnels, basements, night lights, vehicle headlights, no light at all. It can cover indoor environment, etc.
  • IR infrared
  • the technical problem to be achieved by an embodiment of the present invention is to perform a dualized luminous intensity multiplexing method for adjusting the brightness ratio by using the transmittance adjustment of the optical filter and the infrared illumination intensity adjustment, thereby visually identifying objects and
  • An object of the present invention is to provide an apparatus and method for obtaining a multi-luminosity image capable of implementing recognizable image synthesis.
  • the technical problem to be achieved by an embodiment of the present invention is a multi-luminosity image acquisition device that can easily be manufactured using a low-cost sensor by obtaining distance information from a distance sensor and photographing environment information from an illuminance sensor, and I want to provide a way.
  • the apparatus for obtaining a multi-luminosity image includes a camera unit that captures a predetermined subject and acquires an image, and modulates and emits infrared light according to a distance to the subject.
  • An illumination unit disposed around the camera unit including a first infrared lamp that modulates and emits infrared light according to a photographing environment, and an optical filter unit disposed in front of the camera unit to adjust the transmittance of light incident on the camera unit ,
  • a lamp control unit that controls the first infrared lamp to modulate the infrared light based on the distance to the subject, the light intensity multiplexing that generates an optical multiplexing signal to control the infrared light modulation of the second infrared lamp and the transmittance of the optical filter unit based on the shooting environment It may include a unit and an image processing unit for synthesizing and processing a plurality of captured images.
  • a multi-luminosity image acquisition apparatus includes a camera unit for capturing a predetermined subject to obtain an image, a first infrared lamp that modulates and emits infrared light according to a distance to the subject, and a photographing environment.
  • An illumination unit disposed around the camera unit including a second infrared lamp that modulates and emits infrared light according to the method, an optical filter unit disposed in front of the camera unit to adjust the transmission amount of light incident on the camera unit, and infrared rays based on the distance to the subject.
  • a lamp control unit that controls the first infrared lamp to modulate light, a light intensity multiplexer that generates a light multiplexing signal to control the transmittance of the second infrared lamp and the optical filter unit based on the photographing environment, and a plurality of captured images
  • An image processing unit for synthesizing and processing the camera unit includes a single broadband camera for photographing a broadband image including both visible and infrared light, and the optical filter unit is disposed in front of the single broadband camera to transmit the incident visible light It may include a fixed optical filter to control.
  • a multi-luminosity image acquisition apparatus includes a camera unit for capturing a predetermined subject to obtain an image, a first infrared lamp that modulates and emits infrared light according to a distance to the subject, and a photographing environment.
  • An illumination unit disposed around the camera unit including a second infrared lamp that modulates and emits infrared light according to the method, an optical filter unit disposed in front of the camera unit to adjust the transmission amount of light incident on the camera unit, and infrared rays based on the distance to the subject.
  • a lamp control unit that controls the first infrared lamp to modulate light, a light intensity multiplexer that generates a light multiplexing signal to control the transmittance of the second infrared lamp and the optical filter unit based on the photographing environment, and a plurality of captured images
  • an image processing unit for synthesizing and processing, and the camera unit includes a beam splitter for separating incident light into visible light and infrared light, a first camera for photographing multiple optical images of the separated visible light band, and the separated
  • a fixed optical filter comprising a second camera for photographing multiple optical images of an infrared light band, and the optical filter unit is disposed between the optical separation surface of the beam splitter and the first camera to adjust the transmittance of visible light incident to the first camera It may include.
  • the multi-luminosity image acquisition method of the multi-luminosity image acquisition apparatus includes a camera unit, a lighting unit including first and second infrared lamps, a lamp control unit, an image processing unit, and a luminous intensity multiplexing unit.
  • a multi-luminosity image acquisition method of a luminous intensity image acquisition device comprising: checking whether an image capturing request is received by a luminous intensity multiplexer, acquiring ambient illumination information when an image capturing request is received by the luminous intensity multiplexer, and Based on the calculation of an optical multiplexing signal function for controlling the transmittance of the optical filter unit or calculating an optical multiplexing signal function for controlling the infrared light modulation of the second infrared lamp, generating an optical multiplexing signal, the day/night switch Switching to the day mode or the night mode according to the illumination information.
  • the optical filter unit modulates the incident light transmittance according to the optical multiplexing signal
  • the second infrared lamp modulates and emits infrared light according to the light multiplexing signal
  • the first infrared lamp modulates the infrared light according to the distance to the subject according to the control signal of the lamp controller.
  • the step of emitting, the camera unit photographing multiple luminous intensity images during the time when the transmittance of the optical filter unit is modulated or during the infrared light modulation emission time of the first and second infrared lamps, and the image processing unit synthesizes the captured multiple luminous intensity images. It may include processing.
  • the present invention by performing the dualized luminous intensity multiplexing method for adjusting the brightness ratio using the transmittance adjustment of the optical filter and the infrared illumination intensity adjustment, it is possible to implement image synthesis that enables visual object identification and recognition in various lighting environments. have.
  • the present invention by obtaining information on a distance to a subject from a distance sensor and information on a photographing environment from an illuminance sensor, it is possible to easily utilize and manufacture a low-cost sensor.
  • the present invention acquires multi-band multiple images using light intensity modulation in visible and near-infrared bands, and synthesizes them into high dynamic range (HDR) visual images, thereby underexposure of light experienced in images in various environments at day and night. Or you can overcome partial overexposure.
  • HDR high dynamic range
  • the present invention can respond in real time to changes in external light varying in various places by proposing a method for modulating the intensity of photographing incident light using an optical filter compliant with light and IR lamp control.
  • the present invention can be easily extended and grafted to a mobile camera system that can be mounted on vehicles, robots, drones, etc., as well as fixed CCTV cameras, and manufacturing cost is low.
  • the present invention provides various image signal processing fields that acquire and express WDR (Wide Dynamic Range) images with multiple intensity and bands for visible and IR light, along with fixed and mobile surveillance camera systems, autonomous vehicles, and unmanned drones. It can be actively used in various image visualization fields, including the object recognition field, which is emerging recently.
  • WDR Wide Dynamic Range
  • a sensor-based driving situation detection area among autonomous vehicle systems is a process of recognizing such an external environment and is an essential element in recognizing a fixed or moving object or a path.
  • the present invention meets the need for surveillance and security that are increasing globally due to increasing social tensions and crimes, and it is possible to implement a high-efficiency video surveillance system.
  • the present invention can be used in social security, industry, and broadcasting sites.
  • the present invention can be used in security CCTV, vehicle-cell phone-drone camera, black box market, and industrial fields where image sensors are utilized, and can be used in the field of video-based video signal or broadcast video signal processing. .
  • the present invention can be used in related studies and research fields.
  • the present invention will contribute to the development of intelligent image analysis technologies such as the field of image fusion, object search, face search, and environment monitoring, and can be used as an alternative technology that can improve the performance of existing image sensor hardware with limited performance, Research result data and simulation data in the form of reports and papers are expected to help develop linked technologies in the future, and are expected to be used in high-tech fields such as airports, ports, military facilities, and construction sites.
  • FIG. 1 is a block diagram illustrating an apparatus for obtaining a multi-luminosity image according to an exemplary embodiment of the present invention.
  • FIG. 2 is a timing diagram showing an image capture sequence of a camera and adjusting transmittance of an optical filter by an optical multiplexing signal.
  • FIG. 3 is a diagram illustrating a level multiplexing process for image multiplexing corresponding to visible light in a day mode.
  • FIG. 4 is a diagram illustrating a level multiplexing process for multiplexing a composite image corresponding to visible and infrared light in a night mode.
  • FIG. 5 is a block diagram illustrating an apparatus for obtaining a multi-luminosity image according to another exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an apparatus for obtaining a multi-luminosity image according to an exemplary embodiment of the present invention.
  • the present invention the camera unit 100, the lighting unit 200, the optical filter unit 300, the intensity multiplexing unit 400, the image storage unit 600, and the image processing unit 500 It may include.
  • the camera unit 100 may acquire an image by photographing a predetermined subject.
  • the camera unit 100 may include a broadband camera that captures a broadband image including both visible and infrared light.
  • the camera unit 100 may capture an optical multi-image of a visible light band or an optical multi-image of an infrared wide band according to a photographing environment.
  • the camera unit 100 when the measured illuminance in the photographing environment is equal to or higher than the preset illuminance, captures a multi-image of the visible light band, and if the measured illuminance in the photographing environment is less than the preset illuminance, the camera unit 100 photographs an optical multi-image in the infrared broadband I can.
  • the lighting unit 200 includes a first infrared lamp 210 that modulates and emits infrared light according to a distance to a subject, and a second infrared lamp 220 that modulates and emits the infrared light according to a photographing environment. Including, it may be disposed around the camera unit 100.
  • the first infrared lamp 210 may be a brightness-controlled infrared lamp to which DC power is supplied without inputting a signal for synchronizing photographing with the camera unit 100.
  • the first infrared lamp 210 decreases the brightness of the infrared light as the distance to the subject increases, and increases the brightness of the infrared light as the distance to the subject increases, thereby reducing the light modulation contrast. I can.
  • the second infrared lamp 220 is turned on for capturing a distant subject by the camera unit 100 according to a signal input for synchronizing shooting with the camera unit 100 and is turned off for capturing a near subject by the camera unit 100 It can be a type infrared lamp.
  • the second infrared lamp 220 may emit infrared light modulated according to ambient illuminance in the photographing environment.
  • the second infrared lamp 220 may increase a light modulation level of infrared light as the ambient illuminance is low, and may decrease the light modulation level of infrared light as the ambient illuminance is high.
  • the optical filter unit 300 may be disposed on the front surface of the camera unit 100 to control the amount of light transmitted to the camera unit 100.
  • the optical filter unit 300 may be a fixed optical filter that is disposed on the front side of a single broadband camera, which is the camera unit 100, to control the amount of incident visible light transmitted.
  • the fixed optical filter basically uses a liquid crystal (LC) filter that can vary the transmittance according to the applied voltage, but all electro-optical devices whose transmittance is adjusted are applied.
  • LC liquid crystal
  • an embodiment of the present invention may include a lamp controller that controls the first infrared lamp 210 to modulate infrared light based on a distance to a subject.
  • the lamp control unit includes a distance sensor 412 for sensing a distance to the subject, and an intensity control unit 423 for controlling the first infrared lamp 210 to modulate the infrared light intensity based on the distance to the subject. I can.
  • the distance sensor 412 may include at least one of a region of field (RoF) sensor and an ultrasonic sensor, but is not limited thereto.
  • RoF region of field
  • the intensity control unit 423 is turned off in a day mode in which the measured illuminance is greater than or equal to the preset illuminance in the photographing environment, and is turned on in a night mode in which the measured illuminance is less than the preset illuminance in the photographing environment. (on) to control the first infrared lamp 210.
  • the luminous intensity multiplexing unit 400 may generate an optical multiplexing signal to control infrared light modulation of the second infrared lamp 220 and transmittance of the optical filter unit 300 based on a photographing environment.
  • the luminous intensity multiplexing unit 400 determines the infrared light modulation of the second infrared lamp 220 and the transmittance of the optical filter unit 300 based on the luminance sensor 414 that senses ambient luminance in the photographing environment, and the ambient luminance. It may include a control unit 420 that generates an optical multiplexed signal to control.
  • the illuminance sensor 414 may include at least one of a cadmium sulfide (CdS) device and a solar panel, but is not limited thereto.
  • CdS cadmium sulfide
  • control unit 420 the transmittance control unit 422 for controlling the transmittance of the optical filter unit 300 based on the ambient illuminance, the intensity of controlling the second infrared lamp 210 to modulate the infrared light intensity based on the ambient illuminance
  • the control unit 423 a timing control unit 424 that controls the signal timing to synchronize the photographing period of the camera unit 100 with the infrared light modulation period of the second infrared lamp 210 and the transmission change period of the optical filter unit 300
  • a multiplexed signal generator 426 that generates a multiplexed signal according to control signals from the transmittance control unit 422, the intensity control unit 423, and the timing control unit 424.
  • the light intensity multiplexing unit 400 when generating the light multiplexing signal, includes a light modulation contrast value for controlling the transmittance of the optical filter unit 300 based on the ambient illuminance in the photographing environment or the infrared ray of the second infrared lamp 220.
  • a timing pulse for calculating an optical modulation contrast value for controlling the optical modulation and synchronizing the photographing period of the camera unit 100 and the transmittance change period of the optical filter unit 300 or the second photographing period of the camera unit 100 It generates a timing pulse for synchronizing the infrared light modulation period of the infrared lamp 220, calculates the minimum transmission level corresponding to the ambient illuminance or the maximum brightness level of the infrared light, the light modulation contrast value, the timing pulse and the minimum transmission level or
  • An optical multiplexing signal function may be calculated based on the maximum brightness level of infrared light, and an optical multiplexed signal may be generated based on the calculated optical multiplexed signal function.
  • the luminous intensity multiplexing unit 400 recognizes as a day mode if the ambient illuminance in the photographing environment is greater than or equal to a preset illuminance, and if recognized as the day mode, based on the ambient illuminance.
  • a timing pulse for calculating an optical modulation contrast value for controlling the transmittance of the optical filter unit 300 and synchronizing a timing pulse for synchronizing the photographing period of the camera unit 100 and the period of change of the transmittance of the optical filter unit 300 Is generated, calculates the minimum transmission level corresponding to the ambient illuminance, calculates an optical multiplexing signal function based on the optical modulation contrast value, timing pulse, and minimum transmission level, and generates an optical multiplexed signal based on the calculated optical multiplexing signal function. can do.
  • the minimum transmittance level may be the lowest transmittance ratio set relatively to the maximum open transmittance of the optical filter during the day time.
  • the luminous intensity multiplexing unit 400 recognizes as a night mode if the ambient illuminance is less than a preset illuminance in the photographing environment, and determines it based on the ambient illuminance when it is recognized as a night mode.
  • the optical multiplexing signal function maximum brightness level of infrared light ⁇ timing pulse ⁇ optical modulation contrast value may be used.
  • switching to a day mode for controlling the transmittance of the optical filter unit 300 according to ambient illuminance in the photographing environment, or the first and second infrared lamps 210 and 220 It may further include a day/night switch 330 switched to a night mode for controlling infrared light modulation.
  • the optical multiplexing signal generated from the luminous intensity multiplexing unit 400 is transmitted to the optical filter unit ( When applied to 300), the optical filter unit 300 may be switched to a day mode to control transmittance.
  • the day/night switch 330 when the day/night switch 330 is switched to the night mode, the light multiplexing signal generated from the light intensity multiplexing unit 400 is converted to a second infrared lamp when the ambient illuminance in the photographing environment is less than a preset illuminance.
  • the night mode is applied to 220 to control infrared light modulation of the second infrared lamp 220 and a switching signal is applied to the intensity control unit 423 of the lamp control unit to control infrared light modulation of the first infrared lamp 210 It can be switched to (night mode).
  • the image storage unit 600 may store at least one of an optical multi-image of a visible light band and an optical multi-image of an infrared light band captured by the camera unit 100.
  • the image processing unit 500 synthesizes any one of optical multiple images in the visible light band, optical multiple images in the infrared light band, and optical multiple images in the complex band including both visible and infrared light according to the photographing environment. Can be handled.
  • the shooting environment is a first shooting environment in which daylight conditions are daytime, a second shooting environment in the night time zone in dark or weak lighting conditions, a moving shooting condition, or a constant condition in which lighting and external light changes are severe.
  • 3 can include a shooting environment.
  • the image processing unit 500 synthesizes and processes a high-exposure image and a low-exposure image from optical multiple images of a visible light band
  • the photographing environment is a second photographing environment
  • the infrared light band A high-exposure image and a low-exposure image are synthesized and processed from multiple optical images
  • a high-exposure image and a low-exposure image are generated from optical multiple images of a composite band including both visible and infrared light. It can be synthesized and processed.
  • the embodiment of FIG. 1 applies a camera that is a single sensor (broadband), synchronizes the IR lamp using timing control, and can use a lit type and an adjustable IR lamp. .
  • the transmittance of the optical filter may be adjusted so that the brightness ratio of the bright area of the low-transmission image and the dark area of the high-transmission image decreases. mode), it is possible to adjust the brightness ratio of the near subject and the far subject to decrease by using the intensity adjustment of the infrared light of the infrared lamp.
  • the optical filter is used only for modulating the incident light intensity of a single sensor, and the intensity multiplexing unit further includes an IR lamp intensity control unit, and the day mode or night mode operation is switched according to the amount of ambient light using the illuminance sensor. You can do it.
  • the control unit for controlling the optical filter and lamp uses a timing signal (trigger signal or vertical synch.signal) for synchronization to the camera, multiplexing the transmittance of the optical filter in day mode, and performing night time.
  • the IR projection light level is multiplexed.
  • This method can be applied to a camera built-in IR lamp structure.
  • IR lamps are composed of two types, adjustable and lighted, and adjustable IR lamps adjust their brightness to a level at which a near or distant subject is identified according to distance sensor information within the measurement range (no camera synchronization required. ), the light-on IR lamp is controlled to be turned on (for shooting a distant subject) and turned off (for shooting a near-field subject) for one shooting cycle, so when viewed in combination with the adjustable IR lamp, the overall IR lamp is high-low. ) It can be switched on in two levels.
  • color information and contour information of a nearby subject may be acquired at a low level
  • contour information of a distant subject may be acquired at a high level to synthesize an image.
  • FIG. 2 is a timing diagram showing an image capture sequence of a camera and adjusting transmittance of an optical filter by an optical multiplexing signal
  • FIG. 3 is a diagram illustrating a level multiplexing process for image multiplexing corresponding to visible light in a day mode.
  • FIG. 2 is a conceptual diagram of multi-image photographing of visible light in a day mode, and (a) of FIG. 2 shows an optical multiplexing signal for photographing a 60 Hz double-exposure image of a visible light image, and (b) of FIG. ) Shows the sequence of changing the light transmittance of the optical filter.
  • the light exposure ratio of the two images may be about 10:1.
  • the camera may take an image alternately for two exposure states during a period of light modulation.
  • the image processing unit synthesizes the high dynamic range (HDR) image by two frames at one frame interval, a frame rate can be maintained.
  • HDR high dynamic range
  • the difference in the level of the optical multiplexing signal may be adjusted differently for the change in brightness of the photographing environment obtained from the light meter signal information.
  • the illuminometer may be a cadmium sulfide (CdS) device or a solar panel.
  • CdS cadmium sulfide
  • the present invention as shown in FIG. 3, has the maximum light modulation contrast in a bright environment (high light amount), and the darker the light (low light amount), the smaller the light modulation contrast to compensate for the insufficient light amount. , This can be set as an optional function.
  • Equation 1 the function for the optical multiplexed signal in the day mode is shown in Equation 1 below.
  • the minimum transmittance level may be the lowest transmittance ratio set relative to the maximum open transmittance of the optical filter during the day time.
  • FIG. 4 is a diagram illustrating a level multiplexing process for multiplexing a composite image corresponding to visible and infrared light in a night mode.
  • FIG. 4 is a light modulation method of a lighting type IR lamp according to a photographing environment in a night mode.
  • the present invention increases the contrast of the IR lamp modulation as it is darker with respect to the illuminance environment. As the value increases, the contrast of the ramp modulation is reduced, and when it exceeds a certain level, the ramp is turned off without making any change.
  • Equation 2 the function for the optical multiplexed signal in the night mode is shown in Equation 2 below.
  • FIG. 5 is a block diagram illustrating an apparatus for obtaining a multi-luminosity image according to another exemplary embodiment of the present invention.
  • the present invention includes a camera unit 100, an illumination unit 200, an optical filter unit 300, a luminous intensity multiplexing unit 400, an image storage unit 600, and an image processing unit 500. It may include.
  • the camera unit 100 may acquire an image by photographing a predetermined subject.
  • the camera unit 100 includes a beam splitter 700 for separating incident light into visible light and infrared light, a first camera 110 for photographing multiple optical images of the separated visible light band, and It may include a second camera 120 for photographing multiple optical images of the separated infrared light band.
  • the optical filter unit 300 includes a fixed optical filter that is disposed between the light splitting surface of the beam splitter 700 and the first camera 110 to adjust the transmission amount of visible light incident on the first camera 110.
  • the fixed optical filter basically uses a liquid crystal (LC) filter that can vary the transmittance according to the applied voltage, but all electro-optical devices whose transmittance is adjusted are applied.
  • LC liquid crystal
  • first and second cameras 110 and 120 may be arranged perpendicular to each other around the light separation surface of the beam splitter 700.
  • the lighting unit 200 includes a first infrared lamp 210 that modulates and emits infrared light according to a distance to a subject, and a second infrared lamp 220 that modulates and emits the infrared light according to a photographing environment. Including, it may be disposed around the camera unit 100.
  • the first infrared lamp 210 may be a brightness-controlled infrared lamp to which DC power is supplied without inputting a signal for synchronizing photographing with the camera unit 100.
  • the first infrared lamp 210 decreases the brightness of the infrared light as the distance to the subject increases, and increases the brightness of the infrared light as the distance to the subject increases, thereby reducing the light modulation contrast. I can.
  • the second infrared lamp 220 is turned on for capturing a distant subject by the camera unit 100 according to a signal input for synchronizing shooting with the camera unit 100 and is turned off for capturing a near subject by the camera unit 100 It can be a type infrared lamp.
  • the second infrared lamp 220 may emit infrared light modulated according to ambient illuminance in the photographing environment.
  • the second infrared lamp 220 may increase a light modulation level of infrared light as the ambient illuminance is low, and may decrease the light modulation level of infrared light as the ambient illuminance is high.
  • an embodiment of the present invention may include a lamp controller that controls the first infrared lamp 210 to modulate infrared light based on a distance to a subject.
  • the lamp control unit may include a distance sensor 412 that senses a distance to the subject, and an intensity control unit that controls the first infrared lamp 210 to modulate the infrared light intensity based on the distance to the subject.
  • the distance sensor 412 may include at least one of a region of field (RoF) sensor and an ultrasonic sensor, but is not limited thereto.
  • RoF region of field
  • the intensity control unit is turned off in a day mode in which the measured illuminance is greater than or equal to the preset illuminance in the photographing environment, and is turned on in the night mode in which the measured illuminance is less than the preset illuminance in the photographing environment.
  • the first infrared lamp 210 can be controlled.
  • the luminous intensity multiplexing unit 400 may generate an optical multiplexing signal to control infrared light modulation of the second infrared lamp 220 and transmittance of the optical filter unit 300 based on a photographing environment.
  • the luminous intensity multiplexing unit 400 includes an luminance sensor that senses ambient luminance in the photographing environment, and modulates the infrared light of the second infrared lamp 220 and controls the transmittance of the optical filter unit 300 based on the ambient luminance. It may include a control unit that generates a multiplexed signal.
  • control unit includes a transmittance control unit that controls the transmittance of the optical filter unit 300 based on the ambient illuminance, an intensity control unit that controls the second infrared lamp 210 to modulate the infrared light intensity based on the ambient illuminance, and the camera unit 100 ), a timing control unit that controls the signal timing to synchronize the infrared light modulation cycle of the second infrared lamp 210 and the transmittance change period of the optical filter unit 300, and control of the transmittance control unit, the intensity control unit, and the timing control unit It may include a multiplexed signal generator for generating a multiplexed signal according to the signal.
  • the light intensity multiplexing unit 400 when generating the light multiplexing signal, includes a light modulation contrast value for controlling the transmittance of the optical filter unit 300 based on the ambient illuminance in the photographing environment or the infrared ray of the second infrared lamp 220.
  • a timing pulse for calculating an optical modulation contrast value for controlling the optical modulation and synchronizing the photographing period of the camera unit 100 and the transmittance change period of the optical filter unit 300 or the second photographing period of the camera unit 100 It generates a timing pulse for synchronizing the infrared light modulation period of the infrared lamp 220, calculates the minimum transmission level corresponding to the ambient illuminance or the maximum brightness level of the infrared light, the light modulation contrast value, the timing pulse and the minimum transmission level or
  • An optical multiplexing signal function may be calculated based on the maximum brightness level of infrared light, and an optical multiplexed signal may be generated based on the calculated optical multiplexed signal function.
  • the luminous intensity multiplexing unit 400 recognizes as a day mode if the ambient illuminance in the photographing environment is greater than or equal to a preset illuminance, and if it is recognized as the day mode, A timing pulse for calculating an optical modulation contrast value for controlling the transmittance of the optical filter unit 300 and synchronizing a timing pulse for synchronizing the photographing period of the camera unit 100 and the period of change of the transmittance of the optical filter unit 300 Is generated, calculates the minimum transmission level corresponding to the ambient illuminance, calculates an optical multiplexing signal function based on the optical modulation contrast value, timing pulse, and minimum transmission level, and generates an optical multiplexed signal based on the calculated optical multiplexing signal function. can do.
  • the minimum transmittance level may be the lowest transmittance ratio set relatively to the maximum open transmittance of the optical filter during the day time.
  • the luminous intensity multiplexing unit 400 recognizes as a night mode if the ambient illuminance is less than a preset illuminance in the photographing environment, and determines it based on the ambient illuminance when it is recognized as a night mode.
  • the optical multiplexing signal function maximum brightness level of infrared light ⁇ timing pulse ⁇ optical modulation contrast value may be used.
  • switching to a day mode for controlling the transmittance of the optical filter unit 300 according to ambient illuminance in the photographing environment, or the first and second infrared lamps 210 and 220 It may further include a day/night switch switched to a night mode for controlling infrared light modulation.
  • the optical multiplexing signal generated from the luminous intensity multiplexing unit 400 is transmitted to the optical filter unit 300 when the ambient illuminance in the photographing environment is equal to or greater than a preset illuminance.
  • the application may be switched to a day mode to control the transmittance of the optical filter unit 300.
  • the light multiplexing signal generated from the light intensity multiplexing unit 400 is transmitted to the second infrared lamp 220 when the ambient illuminance in the photographing environment is less than a preset illuminance.
  • a night mode is applied to control infrared light modulation of the second infrared lamp 220 by applying the signal to and controlling the infrared light modulation of the first infrared lamp 210 by applying a switching signal to the intensity control unit 423 of the lamp control unit. ) Can be switched.
  • the image storage unit 600 may store at least one of an optical multi-image of a visible light band and an optical multi-image of an infrared light band captured by the camera unit 100.
  • the image processing unit 500 synthesizes any one of optical multiple images in the visible light band, optical multiple images in the infrared light band, and optical multiple images in the complex band including both visible and infrared light according to the photographing environment. Can be handled.
  • the shooting environment is a first shooting environment in which daylight conditions are daytime, a second shooting environment in the night time zone in dark or weak lighting conditions, a moving shooting condition, or a constant condition in which lighting and external light changes are severe.
  • 3 can include a shooting environment.
  • the image processing unit 500 synthesizes and processes a high-exposure image and a low-exposure image from optical multiple images of a visible light band
  • the photographing environment is a second photographing environment
  • the infrared light band A high-exposure image and a low-exposure image are synthesized and processed from multiple optical images
  • a high-exposure image and a low-exposure image are generated from optical multiple images of a composite band including both visible and infrared light. It can be synthesized and processed.
  • a camera which is a single sensor (broadband) is applied, a change in a visible light incident amount is synchronized with photographing using an optical filter, and a lit type and an adjustable IR lamp may be used.
  • a camera that is a dual sensor visible light and near-infrared
  • a change in the amount of IR lamp emission is synchronized with photographing using a beam splitter and a timing control, and a lighting type and an adjustable IR lamp can be used.
  • the optical filter is not bonded to the beam splitter, but is positioned in front of the visible light camera.
  • the IR image does not pass through the optical filter, the IR light efficiency can be improved.
  • the IR lamp needs to be synchronized with the camera photographing and may be implemented through a luminous intensity multiplexing unit, and the principle of multiplexing a constant visible light and an IR image is the same as in the embodiment of FIG. 1.
  • the light multiplexing signal function of the light intensity multiplexer 400 may be generated from the day mode as shown in Equation 1 above the reference illuminance, and may be generated from the night mode as shown in Equation 2 below the reference illuminance.
  • a single IR image or multiple IR images are taken separately while a single IR image or multiple IR images are captured at the same time as the visible light image centered.
  • the IR image centered light multiplexing is performed and simultaneously.
  • a single visible light image or multiple visible light images with maximum transmittance may be captured.
  • FIG. 5 is a dual camera system, which may be operated at all times, and the image storage unit 600 may simultaneously store a multilevel visible light image and an IR image.
  • the IR image synthesis is useful. I can.
  • illumination light building lighting, vehicle headlight
  • outside light such as a corridor or indoors
  • darkness + some strong external light when illumination light (building lighting, vehicle headlight) is irregularly present even at night, or when outside light is insufficient, such as a corridor or indoors, even during daytime, it suddenly becomes dark when moving indoors or underground (darkness + some strong external light).
  • strong lighting vehicle headlights, building interior lights
  • the image is locally brightened by strong lighting, it is possible to synthesize composite-band HDR images from constant multiple images in visible and IR bands, and local light is insufficient. And image reproduction can be performed without saturation.
  • three cases of image synthesis are as follows.
  • a multi-exposure visible light image may be synthesized (IR blocked) using an optical filter and a visible light camera.
  • multi-IR band image synthesis (IR pass through) can be performed using an optical filter, an IR camera, and an IR lamp.
  • synthesis of an IR image and a visible light composite image may be performed using an optical filter, a visible-IR camera, and an IR lamp.
  • the conventional method is strong visible light only by IR multiplexing.
  • the method of the present invention takes a visible light camera with an appropriate exposure and synthesizes the multiple-exposure image in a dark environment on average. Local saturation can be improved by synthesizing visible light images.
  • the constant IR image capturing of the present invention enables synthesis and reproduction of an image without a shadow area.
  • the IR image is captured simultaneously with the visible light multiple images (in this case, the IR lamp does not operate). de-hazing) video can be played back.
  • a method of obtaining a multi-luminosity image by a multi-luminosity image acquisition apparatus including a camera unit, a lighting unit including first and second infrared lamps, a lamp control unit, an image processing unit, and a luminosity multiplexer is as follows.
  • the luminous intensity multiplexer may check whether an image capturing request is received.
  • the luminous intensity multiplexer may obtain information on surrounding illuminance when an image capture request is made.
  • the luminous intensity multiplexing unit calculates an optical multiplexing signal function for controlling the transmittance of the optical filter unit based on the ambient illuminance information, or calculates an optical multiplexing signal function for controlling the infrared light modulation of the second infrared lamp to generate the optical multiplexing signal. Can be generated.
  • the step of generating the optical multiplexed signal includes calculating a light modulation contrast value for controlling the transmittance of the optical filter unit or a light modulation contrast value for controlling the infrared light modulation of the second infrared lamp based on ambient illuminance, and the camera Generating a timing pulse for synchronizing the negative imaging period and the transmittance change period of the optical filter unit or the timing pulse for synchronizing the imaging period of the camera unit and the infrared light modulation period of the second infrared lamp, and the minimum transmission corresponding to the ambient illuminance Calculating a level or maximum brightness level of infrared light, calculating an optical multiplexing signal function based on the optical modulation contrast value, timing pulse and minimum transmittance level or the maximum brightness level of infrared light, and based on the calculated optical multiplexing signal function It may include generating an optical multiplexed signal.
  • the step of calculating the optical multiplexing signal function includes the step of recognizing as a day mode when the ambient illuminance is greater than or equal to a preset illuminance, and when the ambient illuminance is recognized as the day mode, optical modulation for controlling the transmittance of the optical filter unit based on the ambient illuminance.
  • Calculating a contrast value generating a timing pulse for synchronizing a timing pulse for synchronizing a photographing period of the camera unit and a period of change in transmittance of the optical filter unit, and calculating a minimum transmission level corresponding to the ambient illuminance; and , Calculating an optical multiplexed signal function based on an optical modulation contrast value, a timing pulse, and a minimum transmission level, and generating an optical multiplexed signal based on the calculated optical multiplexed signal function.
  • the minimum transmittance level may be the lowest transmittance ratio set relatively to the maximum open transmittance of the optical filter during the day time.
  • the step of calculating the optical multiplexing signal function includes the step of recognizing the ambient illuminance as a night mode when the ambient illuminance is less than the preset illuminance, and controlling the infrared light modulation of the second infrared lamp based on the ambient illuminance when it is recognized as the night mode.
  • Calculating a light modulation contrast value for generating a timing pulse for synchronizing the photographing period of the camera unit with the infrared light modulation period of the second infrared lamp, calculating a maximum brightness level of infrared light, and It may include calculating an optical multiplexing signal function based on a modulation contrast value, a timing pulse, and a maximum brightness level of infrared light, and generating an optical multiplexing signal based on the calculated optical multiplexing signal function.
  • the day/night switch may be switched to a day mode or a night mode according to information on surrounding illumination.
  • the optical multiplexing signal generated from the luminous intensity multiplexer is It may be switched to a day mode to control the transmittance of the optical filter by applying it to the optical filter unit.
  • the optical multiplexing signal generated from the intensity multiplexer is
  • the second infrared lamp may be applied to control infrared light modulation of the second infrared lamp, and a switching signal may be applied to the lamp controller to control the infrared light modulation of the first infrared lamp.
  • the optical filter unit may modulate the incident light transmittance according to the optical multiplexing signal.
  • the second infrared lamp modulates and emits infrared light according to the optical multiplexing signal, and the first infrared lamp is at a distance to the subject according to the control signal of the lamp controller.
  • infrared light can be modulated and emitted.
  • the camera unit may capture multi-luminosity images during a time when the transmittance of the optical filter unit is modulated or during an infrared light modulation emission time of the first and second infrared lamps.
  • the step of photographing the multiple luminous intensity images includes photographing and storing multiple optical images in the visible light band during the time when the transmittance of the optical filter unit is modulated, and storing the multiple light images in the visible light band during the time when the transmittance of the first and second infrared lamps is modulated.
  • Optical multiple images can be captured and stored.
  • the image processing unit may synthesize and process the captured multi-luminosity images.
  • the image processing unit when synthesizing and processing the photographed multi-luminosity images, according to the photographing environment, optical multiple images of the visible light band, optical multiple images of the infrared light band, and a composite band including both visible and infrared light. Any one of optical multiple images may be synthesized and processed.
  • the shooting environment is a first shooting environment in which daylight conditions are daytime, a second shooting environment in the night time zone in dark or weak lighting conditions, a moving shooting condition, or a constant condition in which lighting and external light changes are severe.
  • the shooting environment may be included, but is not limited thereto.
  • the image processing unit combines and processes a high-exposure image and a low-exposure image from multiple optical images in the visible light band if the photographing environment is the first photographing environment, and if the photographing environment is the second photographing environment, the optical multiple image in the infrared broad band High-exposure image and low-exposure image are synthesized and processed from the field, and if the shooting environment is a third shooting environment, high-exposure and low-exposure images are synthesized and processed from optical multiple images of a complex band that includes both visible and infrared light. can do.
  • an HDR image can be reproduced by synthesizing an image photographed with multiple exposures to overcome a limited dynamic luminance range of the visible light band of a camera sensor, but the present invention uses a multi-intensity and multi-band image.
  • a composite HDR image synthesis method can be proposed.
  • the present invention acquires and synthesizes multiple exposure images by adjusting the visible light exposure of a sensor, acquires and synthesizes multiple IR images by adjusting the intensity of IR light, and provides a visible light band image to improve the image expression at night with irregular lighting. By synthesizing the images in the and IR bands, a wideband image can be reproduced.
  • the present invention enables detection of both near and far objects by multi-photographing and synthesizing an IR-blocked image and an IR-passed image.
  • the hybrid HDR image synthesis method of the present invention is to synthesize a multi-exposure image of the first visible light band and a multi-lighting image of the IR light band, and synthesize a second visible light HDR image and an IR HDR image. It may be a method of complex synthesis.
  • the present invention performs a dualized luminous intensity multiplexing method for adjusting the brightness ratio using the transmittance adjustment of the optical filter and the infrared illumination intensity adjustment, thereby synthesizing an image capable of visually identifying and recognizing objects for various lighting environments. Can be implemented.
  • the present invention by obtaining information on a distance to a subject from a distance sensor and information on a photographing environment from an illuminance sensor, it is possible to easily utilize and manufacture a low-cost sensor.
  • the present invention acquires multi-band multiple images using light intensity modulation in visible and near-infrared bands, and synthesizes them into high dynamic range (HDR) visual images, thereby underexposure of light experienced in images in various environments at day and night. Or you can overcome partial overexposure.
  • HDR high dynamic range
  • the present invention can respond in real time to changes in external light varying in various places by proposing a method for modulating the intensity of photographing incident light using an optical filter compliant with light and IR lamp control.
  • the present invention can be easily extended and grafted to a mobile camera system that can be mounted on vehicles, robots, drones, etc., as well as fixed CCTV cameras, and manufacturing cost is low.
  • the present invention provides various image signal processing fields that acquire and express WDR (Wide Dynamic Range) images with multiple intensity and bands for visible and IR light, along with fixed and mobile surveillance camera systems, autonomous vehicles, and unmanned drones. It can be actively used in various image visualization fields, including the object recognition field, which is emerging recently.
  • WDR Wide Dynamic Range
  • a sensor-based driving situation detection area among autonomous vehicle systems is a process of recognizing such an external environment and is an essential element in recognizing a fixed or moving object or a path.
  • the present invention meets the need for surveillance and security that are increasing globally due to increasing social tensions and crimes, and it is possible to implement a high-efficiency video surveillance system.
  • the present invention can be used in social security, industry, and broadcasting sites.
  • the present invention can be used in security CCTV, vehicle-cell phone-drone camera, black box market, and industrial fields where image sensors are utilized, and can be used in the field of video-based video signal or broadcast video signal processing. .
  • the present invention can be used in related studies and research fields.
  • the present invention will contribute to the development of intelligent image analysis technologies such as the field of image fusion, object search, face search, and environment monitoring, and can be used as an alternative technology that can improve the performance of existing image sensor hardware with limited performance, Research result data and simulation data in the form of reports and papers are expected to help develop linked technologies in the future, and are expected to be used in high-tech fields such as airports, ports, military facilities, and construction sites.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

광학 필터 투과도 조정과 적외선 조명 강도 조정을 이용하여 가시광 및 적외선 파장 영역의 다중 광도 영상을 촬영하고 합성할 수 있는 다중 광도 영상 획득 장치 및 방법에 관한 것으로, 소정의 피사체를 촬영하여 영상을 획득하는 카메라부, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 카메라부의 주변에 배치되는 조명부, 카메라부의 전면에 배치되어 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프를 제어하는 램프 제어부, 촬영 환경을 토대로 제2 적외선 램프의 적외선 광 변조 및 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부, 그리고 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함할 수 있다.

Description

다중 광도 영상 획득 장치 및 방법
본 발명은 다중 광도 영상 획득 장치에 관한 것으로, 보다 상세하게는 광학 필터 투과도 조정과 적외선 조명 강도 조정을 이용하여 가시광 및 적외선 파장 영역의 다중 광도 영상을 촬영하고 합성할 수 있는 다중 광도 영상 획득 장치 및 방법에 관한 것이다.
일반적으로, CCTV 감시 카메라를 비롯해서 차량, 로봇, 드론 등에 야외 사물 식별을 위하여 카메라는, 촬영 조건이 낮 시간부터 밤까지 일광 조건, 어두운 실내, 터널, 지하, 야간 조명등, 차량 전조등, 빛이 전혀 없는 실내 환경 등을 포괄할 수 있다.
현재, 다양한 환경에서 고 정밀 화질에 대한 소비자 요구에 따라 HD급의 IP카메라로 전환되고 있고, 카메라 센서의 감도를 높이거나, 야간 촬영이나, 폐쇄된 공간의 어두운 곳을 촬영하기 위해 LED 조명을 보조적으로 사용하는 것이 일반적인 추세이다.
야간에 사용하는 카메라는, 보안이나 방범을 위해 시각적 영향을 주지 않는 IR(적외선) LED조명을 많이 사용하고 있고, 새로운 LED 조명 사용을 이용하여 저 조도에서 어두운 공간의 사물을 선명하게 식별하기 위한 많은 연구가 진행되고 있다.
또한, 카메라 촬영과 동기화된 LED 플레싱(flashing)을 이용하여 셔터 스피드를 올리거나, 피사체의 거리를 감지하여 IR 과포화를 방지하는 기술 등이 한국 등록특허 제10-0983346호 (2010.09.20)로 등록된 바 있다.
그러나, 기존 기술은, 이동 촬영과 같은 환경 변화가 심한 경우, 피사체의 거리와 광량에 적응적으로 카메라와 LED 조명을 조절하기는 힘들며, 다양한 기능에 대응하는 하드웨어 구성은 복잡해질 수 있다.
또한, 단순히 카메라 센서의 감도를 높이는 것만으로는, 일상에서 경험되는 광역의 휘도 조건과 갑작스런 조명 변화에 인간의 시각이 순응하고 인지하는 수준으로 영상을 촬영하는 것이 어려울 수 있다.
따라서, 기존의 저가 센서를 쉽게 활용하여 제작할 수 있고, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있는 다중 광도 영상 획득 장치의 개발이 요구되고 있다.
본 발명의 일실시예가 이루고자 하는 기술적 과제는, 광 필터의 투과도 조정과 적외선 조명 강도 조정을 이용하여 밝기 비율을 조정을 위한 이원화된 광도 다중화 방법을 수행함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있는 다중 광도 영상 획득 장치 및 방법을 제공하고자 한다.
또한, 본 발명의 일실시예가 이루고자 하는 기술적 과제는, 거리 센서로부터 피사체와의 거리 정보를 획득하고 조도 센서로부터 촬영 환경 정보를 획득함으로써, 저가 센서를 쉽게 활용하여 제작할 수 있는 다중 광도 영상 획득 장치 및 방법을 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일실시예에 의한 다중 광도 영상 획득 장치는, 소정의 피사체를 촬영하여 영상을 획득하는 카메라부, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 카메라부의 주변에 배치되는 조명부, 카메라부의 전면에 배치되어 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프를 제어하는 램프 제어부, 촬영 환경을 토대로 제2 적외선 램프의 적외선 광 변조 및 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부, 그리고 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 의한 다중 광도 영상 획득 장치는, 소정의 피사체를 촬영하여 영상을 획득하는 카메라부, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 카메라부의 주변에 배치되는 조명부, 카메라부의 전면에 배치되어 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프를 제어하는 램프 제어부, 촬영 환경을 토대로 제2 적외선 램프의 적외선 광 변조 및 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부, 그리고 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함하고, 카메라부는, 가시광 및 적외선 광이 모두 포함되는 광대역 영상을 촬영하는 단일 광대역 카메라를 포함하고, 광학 필터부는, 단일 광대역 카메라 전면에 배치되어 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 의한 다중 광도 영상 획득 장치는, 소정의 피사체를 촬영하여 영상을 획득하는 카메라부, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 카메라부의 주변에 배치되는 조명부, 카메라부의 전면에 배치되어 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프를 제어하는 램프 제어부, 촬영 환경을 토대로 제2 적외선 램프의 적외선 광 변조 및 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부, 그리고 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함하고, 카메라부는, 입사되는 광을 가시광 및 적외선 광으로 분리하는 빔 스플리터(beam splitter), 분리된 가시광 대역의 광 다중 영상을 촬영하는 제1 카메라, 그리고 분리된 적외선 광 대역의 광 다중 영상을 촬영하는 제2 카메라를 포함하고, 광학 필터부는, 빔 스플리터의 광 분리면과 제1 카메라 사이에 배치되어 제1 카메라로 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터를 포함할 수 있다.
한편, 본 발명의 일실시예에 의한 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법은, 카메라부, 제1, 제2 적외선 램프를 포함하는 조명부, 램프 제어부, 영상 처리부 및 광도 다중화부를 포함하는 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법으로서, 광도 다중화부가 영상 촬영 요청이 수신되는지를 확인하는 단계, 광도 다중화부가 영상 촬영 요청이 수신되면 주변 조도 정보를 획득하는 단계, 광도 다중화부가 주변 조도 정보를 토대로 광학 필터부의 투과도를 제어하기 위한 광 다중화 신호 함수를 산출하거나 또는 제2 적외선 램프의 적외선 광 변조를 제어하기 위한 광 다중화 신호 함수를 산출하여 광 다중화 신호를 생성하는 단계, 데이/나이트 스위치가 주변 조도 정보에 따라 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭되는 단계, 데이/나이트 스위치가 데이 모드로 스위칭되면 광학 필터부가 광 다중화 신호에 따라 입사되는 광 투과도를 변조하고, 데이/나이트 스위치가 나이트 모드로 스위칭되면 제2 적외선 램프가 상기 광 다중화 신호에 따라 적외선 광을 변조하여 출사하고 제1 적외선 램프가 램프 제어부의 제어 신호에 따라 피사체와의 거리에 상응하여 적외선 광을 변조하여 출사하는 단계, 카메라부가 광학 필터부의 투과도가 변조되는 시간 동안 또는 제1, 제2 적외선 램프의 적외선 광 변조 출사 시간 동안에 다중 광도 영상들을 촬영하는 단계, 그리고 영상 처리부가 촬영된 다중 광도 영상들을 합성하여 처리하는 단계를 포함할 수 있다.
본 발명에 따른 다중 광도 영상 획득 장치 및 방법의 효과에 대해 설명하면 다음과 같다.
본 발명은, 광 필터의 투과도 조정과 적외선 조명 강도 조정을 이용하여 밝기 비율을 조정을 위한 이원화된 광도 다중화 방법을 수행함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있다.
또한, 본 발명은, 거리 센서로부터 피사체와의 거리 정보를 획득하고 조도 센서로부터 촬영 환경 정보를 획득함으로써, 저가 센서를 쉽게 활용하여 제작할 수 있다.
또한, 본 발명은, 가시광 및 근적외선 대역의 광도(light intensity) 변조를 이용하여 복합 대역 다중 영상을 취득하고 HDR(high dynamic range) 시각 영상으로 합성함으로써, 주야간 다양한 환경의 영상에서 경험되는 광의 부족 노출 혹은 부분적인 과도 노출 현상을 극복할 수 있다.
또한, 본 발명은, 광에 순응적인 광학 필터 및 IR 램프 제어를 사용한 촬영 입사 광도 변조 방법을 제안함으로써, 디양한 장소에서 변화하는 외광 변화에 실시간으로 대응할 수 있다.
또한, 본 발명은, 고정형의 CCTV 카메라뿐만 아니라 차량, 로봇, 드론 등에 탑재될 수 있는 이동형 카메라 시스템에 쉽게 확장 및 접목될 수 있고, 제작비용이 저렴하다,
이처럼, 본 발명은, 고정형 및 이동형 감시 카메라 시스템과 더불어 가시광, IR 광에 대한 다중 강도와 대역으로 WDR(Wide Dynamic Range) 영상을 취득하고, 표현하는 다양한 영상 신호 처리 분야, 자율 주행 자동차, 무인 드론 등 최근 부각 되는 사물 인식 분야를 포함하여 다양한 영상 시각화 분야에 적극 활용될 수 있다.
특히, 자율 주행 영상 촬영 중 발생되는 외광 변화는, 지하나 터널을 진입하거나 탈출할 때, 실내에서 실외를 바라보거나 반대 상황, 어두운 주차장 강한 차량 전조등 변화 등 일반적인 센서의 인식 범위를 벗어나는 경우가 빈번하게 발생될 수 있다.
자율 주행 자동차 시스템 중 센서 기반의 주행상황 탐지 영역은, 이러한 외부의 환경을 인식하는 과정으로 고정 또는 이동 사물을 인식하거나 경로를 인식하는데 필수적인 요소이다.
이때, 실시간으로 발생되는 돌발 상황을 인지하여 충돌을 방지하여 생명과 재산을 보호하는 것이 다른 어떤 첨단 기능들에 우선되어야 한다.
또한, 본 발명은, 현재 증가하는 사회적 긴장과 범죄로 인해 세계적으로 증대되는 감시, 보안에 대한 필요성에 부합하며, 고 효율의 영상 감시 시스템 구현을 가능하게 할 수 있다.
또한, 본 발명은, 사회 방범, 산업, 방송 현장에서 활용될 수 있다.
즉, 본 발명은, 보안 CCTV, 차량-휴대전화-드론 카메라, 블랙박스 시장, 이미지센서가 활용되는 산업 분야에 활용될 수 있으며, 동영상 기반의 영상 신호 또는 방송용 영상신호 처리 분야에 활용될 수 있다.
또한, 본 발명은, 관련 학문, 연구 현장에서도 활용될 수 있다.
즉, 본 발명은, 영상 융합 분야, 사물 탐색, 얼굴 검색, 환경 감시 등 지능적 영상 분석 기술 개발에 기여할 것이며, 기존의 제한적 성능의 이미지 센서 하드웨어 성능을 향상시킬 수 있는 대안 기술로 활용될 수 있으며, 보고서 및 논문 형태의 연구 결과 자료, 시뮬레이션 자료는 향후 연계된 기술 개발에 도움을 주며, 공항, 항만, 군사 시설, 건설 현장 등 고도 기술 분야에 활용될 것으로 기대된다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명 일 실시예에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
도 2는 광다중화 신호에 의한 광학 필터의 투과율 조정 및 카메라의 영상 캡쳐 시퀀스를 보여주는 타이밍도이다.
도 3은 데이 모드에서의 가시광에 상응하는 영상 다중화를 위한 레벨 다중화 과정을 설명하기 위한 도면이다.
도 4는 나이트 모드에서의 가시광 및 적외선 광에 상응하는 복합 영상 다중화를 위한 레벨 다중화 과정을 설명하기 위한 도면이다.
도 5는 본 발명 다른 실시예에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명 일 실시예에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
도 1에 도시된 바와 같이, 본 발명은, 카메라부(100), 조명부(200), 광학 필터부(300), 광도 다중화부(400), 영상 저장부(600), 그리고 영상 처리부(500)를 포함할 수 있다.
여기서, 카메라부(100)는, 소정의 피사체를 촬영하여 영상을 획득할 수 있다.
일 예로, 카메라부(100)는, 가시광 및 적외선 광이 모두 포함되는 광대역 영상을 촬영하는 광대역 카메라를 포함할 수 있다.
그리고, 카메라부(100)는, 촬영 환경에 따라 가시광 대역의 광 다중 영상을 촬영하거나 또는 적외선 광 대역의 광 다중 영상을 촬영할 수 있다.
여기서, 카메라부(100)는, 촬영 환경 중 측정 조도가 기설정 조도 이상이면 가시광 대역의 광 다중 영상을 촬영하고, 촬영 환경 중 측정 조도가 기설정 조도 미만이면 적외선 광 대역의 광 다중 영상을 촬영할 수 있다.
다음, 조명부(200)는, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프(210)와, 촬영 환경에 따라 상기 적외선 광을 변조하여 출사하는 제2 적외선 램프(220)를 포함하여 카메라부(100)의 주변에 배치될 수 있다.
여기서, 제1 적외선 램프(210)는, 카메라부(100)와의 촬영 동기화를 위한 신호 입력 없이 직류 전원이 공급되는 밝기 조절형 적외선 램프일 수 있다.
일 예로, 제1 적외선 램프(210)는, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시킬 수 있다.
그리고, 제2 적외선 램프(220)는, 카메라부(100)와의 촬영 동기화를 위한 신호 입력에 따라 카메라부(100)의 원거리 피사체 촬영을 위해 켜지고 카메라부(100)의 근거리 피사체 촬영을 위해 꺼지는 점등형 적외선 램프일 수 있다.
여기서, 제2 적외선 램프(220)는, 촬영 환경 중 주변 조도에 따라 변조된 적외선 광을 출사할 수 있다.
이때, 제2 적외선 램프(220)는, 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시킬 수 있다.
다음, 광학 필터부(300)는, 카메라부(100)의 전면에 배치되어 카메라부(100)로 입사되는 광의 투과량을 조절할 수 있다.
여기서, 광학 필터부(300)는, 카메라부(100)인 단일 광대역 카메라 전면에 배치되어 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터일 수 있다.
일 예로, 고정형 광학 필터는, 인가 전압에 따라 투과도를 달리할 수 있는 LC(liquid crystal) 필터를 기본적으로 사용하지만, 투과도가 조절되는 모든 전기광학소자가 적용대상이 된다.
또한, 본 발명의 실시 예는, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프(210)를 제어하는 램프 제어부를 포함할 수 있다.
여기서, 램프 제어부는, 피사체와의 거리를 센싱하는 거리 센서(412), 그리고 피사체와의 거리를 토대로 적외선 광 강도를 변조하도록 제1 적외선 램프(210)를 제어하는 강도 제어부(423)를 포함할 수 있다.
일 예로, 거리 센서(412)는, RoF(Region of Field 혹은 적외선) 센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 강도 제어부(423)는, 촬영 환경 중 측정 조도가 기설정 조도 이상인 데이 모드(day mode)이면 오프(off)되고, 촬영 환경 중 측정 조도가 기설정 조도 미만인 나이트 모드(night mode)이면 온(on)되어 제1 적외선 램프(210)를 제어할 수 있다.
다음, 광도 다중화부(400)는, 촬영 환경을 토대로 제2 적외선 램프(220)의 적외선 광 변조 및 광학 필터부(300)의 투과도를 제어하도록 광 다중화 신호를 생성할 수 있다.
여기서, 광도 다중화부(400)는, 촬영 환경 중 주변 조도를 센싱하는 조도 센서(414), 그리고 주변 조도를 토대로 제2 적외선 램프(220)의 적외선 광 변조 및 광학 필터부(300)의 투과도를 제어하도록 광 다중화 신호를 생성하는 제어부(420)를 포함할 수 있다.
일 예로, 조도 센서(414)는, 황화카드뮴(CdS) 소자 및 태양광 패널 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 제어부(420)는, 주변 조도를 토대로 광학 필터부(300)의 투과도를 제어하는 투과도 제어부(422), 주변 조도를 토대로 적외선 광 강도를 변조하도록 제2 적외선 램프(210)를 제어하는 강도 제어부(423), 카메라부(100)의 촬영 주기와 제2 적외선 램프(210)의 적외선 광 변조 주기 및 광학 필터부(300)의 투과도 변화 주기를 동기화하도록 신호 타이밍을 제어하는 타이밍 제어부(424), 그리고 투과도 제어부(422), 강도 제어부(423) 및 타이밍 제어부(424)의 제어 신호에 따라 다중화 신호를 생성하는 다중화 신호 발생부(426)를 포함할 수 있다.
또한, 광도 다중화부(400)는, 광 다중화 신호를 생성할 때, 촬영 환경 중 주변 조도를 토대로 광학 필터부(300)의 투과도 제어를 위한 광 변조 대비값 또는 제2 적외선 램프(220)의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 광학 필터부(300)의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 카메라부(100)의 촬영 주기와 제2 적외선 램프(220)의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
일 예로, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 촬영 환경 중 주변 조도가 기설정 조도 이상이면 데이 모드(day mode)로 인지하고, 데이 모드로 인지되면 주변 조도를 토대로 광학 필터부(300)의 투과도 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 광학 필터부(300)의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스를 동기화하기 위한 타이밍 펄스를 생성하며, 주변 조도에 상응하는 최소투과레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
여기서, 최소투과레벨은, 낮 시간대에 상기 광학 필터부의 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율일 수 있다.
이때, 광도 다중화부(400)는, 데이 모드의 광 다중화 신호 함수를 산출할 때, 광 다중화 신호 함수 = (1 - 최소투과레벨) × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 촬영 환경 중 주변 조도가 기설정 조도 미만이면 나이트 모드(night mode)로 인지하고, 나이트 모드로 인지되면 주변 조도를 토대로 제2 적외선 램프(220)의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 제2 적외선 램프(220)의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 적외선 광의 최대밝기레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
여기서, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 광 다중화 신호 함수 = 적외선 광의 최대밝기레벨 × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 본 발명의 실시 예는, 촬영 환경 중 주변 조도에 따라 광학 필터부(300)의 투과도를 제어하는 데이 모드(day mode)로 스위칭되거나 또는 제1, 제2 적외선 램프(210, 220)의 적외선 광 변조를 제어하는 나이트 모드(night mode)로 스위칭되는 데이/나이트 스위치(330)를 더 포함할 수 있다.
여기서, 데이/나이트 스위치(330)는, 데이 모드(day mode)로 스위칭될 때, 촬영 환경 중 주변 조도가 기설정 조도 이상이면 광도 다중화부(400)로부터 생성된 광 다중화 신호를 광학 필터부(300)로 인가하여 광학 필터부(300)의 투과도를 제어하도록 데이 모드(day mode)로 스위칭될 수 있다.
또한, 데이/나이트 스위치(330)는, 나이트 모드(night mode)로 스위칭될 때, 촬영 환경 중 주변 조도가 기설정 조도 미만이면 광도 다중화부(400)로부터 생성된 광 다중화 신호를 제2 적외선 램프(220)로 인가하여 제2 적외선 램프(220)의 적외선 광 변조를 제어하고 램프 제어부의 강도 제어부(423)에 스위칭 신호를 인가하여 제1 적외선 램프(210)의 적외선 광 변조를 제어하도록 나이트 모드(night mode)로 스위칭될 수 있다.
다음, 영상 저장부(600)는, 카메라부(100)로부터 촬영된 가시광 대역의 광 다중 영상 및 적외선 광 대역의 광 다중 영상 중 적어도 어느 하나를 저장할 수 있다.
그리고, 영상 처리부(500)는, 촬영 환경에 따라 가시광 대역의 광 다중 영상들, 적외선 광 대역의 광 다중 영상들, 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들 중 어느 하나를 합성하여 처리할 수 있다.
일 예로, 촬영 환경은, 일광 조건이 낮 시간대인 제1 촬영 환경, 어둠 또는 약한 조명 조건인 밤 시간대인 제2 촬영 환경, 이동 촬영 조건이거나 또는 조명 및 외광 변화가 심한 조건을 갖는 상시 조건인 제3 촬영 환경을 포함할 수 있다.
여기서, 영상 처리부(500)는, 촬영 환경이 제1 촬영 환경이면 가시광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하고, 촬영 환경이 제2 촬영 환경이면 적외선 광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하며, 촬영 환경이 제3 촬영 환경이면 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리할 수 있다.
이와 같이, 도 1의 실시 예는, 도 1의 실시 예는, 단일 센서(광대역)인 카메라를 적용하고, 타이밍 제어를 이용하여 IR 램프를 동기화하고, 점등형 및 조절형 IR 램프를 사용할 수 있다.
도 1의 실시 예는, 데이 모드(day mode) 시에, 광 필터의 투과도를 조정하여 저투과도 영상의 밝은 영역과 고투과도 영상의 어두운 영역의 밝기 비율이 감소하도록 조정할 수 있고, 나이트 모드(night mode) 시에, 적외선 램프의 적외선 광의 강도 조정을 이용하여 근거리 피사체와 원거리 피사체의 밝기 비율이 감소하도록 조정할 수 있다.
도 1의 실시 예에서, 광학 필터는, 단일센서 입사 광량 변조에만 사용되고, 광도 다중화부는, IR 램프 강도 제어부를 추가로 포함하고, 조도 센서를 이용하여 주변 광량에 따라 데이 모드 혹은 나이트 모드 동작이 스위칭되도록 할 수 있다.
여기서, 데이 모드 시에는, 모든 IR 램프가 오프되며, 나이트 모드 시에는, 광학 필터에 전원이 공급되지 않고 최대 투과율 상태를 유지할 수 있다.
광학필터 및 램프를 제어하기 위한 제어부는, 카메라에 동기화를 위한 타이밍 신호(trigger signal 혹은 vertical synch. signal)를 이용해 낮 시간(day mode)에는 광학 필터의 투과도를 다중화하고, 밤 시간(night mode)에는 IR 투사광 레벨을 다중화 시킨다.
이러한 방법은, 카메라 내장형 IR 램프 구조에 적용될 수 있다.
또한, IR 램프는, 조절형 및 점등형 두 가지로 구성되며, 조절형 IR 램프는, 측정 범위 내의 거리 센서 정보에 따라 근거리 혹은 원거리 피사체가 식별되는 수준으로 밝기가 조절되며(카메라 동기화 필요 없음.), 점등형 IR 램프는, 촬영 한 주기 동안은 켜지고(원거리 피사체 촬영), 꺼지도록(근거리 피사체 촬영) 조절됨으로써, 조절형 IR 램프와 복합적으로 보면, 전체적으로 IR 램프가 하이-로우(high-low) 2가지 레벨로 교차 점등될 수 있다.
여기서, 로우 레벨(low level)에서 컬러 정보와 근거리 피사체 윤곽 정보를 취득하고, 하이 레벨(high level)에서 원거리 피사체 윤곽 정보를 취득해서 영상을 합성할 수 있다.
도 2는 광다중화 신호에 의한 광학 필터의 투과율 조정 및 카메라의 영상 캡쳐 시퀀스를 보여주는 타이밍도이고, 도 3은 데이 모드에서의 가시광에 상응하는 영상 다중화를 위한 레벨 다중화 과정을 설명하기 위한 도면이다.
도 2는, 데이 모드(Day mode)에서 가시광 다중 영상 촬영의 개념도이고, 도 2의 (a)는, 가시광 영상의 60Hz 2중 노출 영상 촬영을 위한 광 다중화 신호를 보여주며, 도 2의 (b)는, 그에 대한 광학 필터의 광투과율 변화 시퀀스를 보여주고 있다.
도 2에 도시된 바와 같이, 광학 필터에 전압이 인가되지 않으면, 약 50% 광투과율을 보이며(High 영역), 전압이 높아지면 광투과율은 떨어진다(Low 영역).
여기서, Low 영역의 광투과율이 약 3% ~ 약 5%가 되도록 전압을 조정할 경우, 두 영상의 광 노출 비율이 약 10 : 1 정도가 될 수 있다.
이때, 카메라는, 광 변조 한 주기 시간 동안 두 가지 노출 상태에 대해 번갈아 가며 영상을 촬영할 수 있다.
그리고, 영상 처리부는, HDR(high dynamic range) 영상을 2개 프레임씩 한 프레임 간격으로 합성하므로 프레임 속도(frame rate)가 유지될 수 있다.
또한, 조도계 신호 정보로 얻어지는 촬영 환경의 밝기 변화에 대해 광 다중화 신호의 레벨 차이는 달리 조정 될 수 있다.
조도계는, 황화카드뮴(CdS) 소자나 태양광 패널 등이 이용될 수 있다.
그리고, 본 발명은, 도 3에 도시된 바와 같이, 밝은 환경에서(높은 광량) 최대 광변조 대비를 가지고, 어두운 환경일수록(낮은 광량) 광변조 대비를 작게 하여 부족한 광량을 보상할 수 있으며, 단, 이는 선택적 기능으로 설정할 수 있다.
또한, 데이 모드에서의 광 다중화 신호를 위한 함수는, 하기 수학식 1과 같다.
Figure PCTKR2020010720-appb-M000001
여기서, 최소투과레벨은, 낮 시간대에 광학 필터 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율일 수 있다.
도 4는 나이트 모드에서의 가시광 및 적외선 광에 상응하는 복합 영상 다중화를 위한 레벨 다중화 과정을 설명하기 위한 도면이다.
도 4는, 나이트 모드 시에, 촬영 환경에 따른 점등형 IR 램프의 광 변조 방법으로서, 도 4에 도시된 바와 같이, 본 발명은, 조도 환경에 대해 어두울수록 IR 램프 변조 대비를 강하게 하고, 밝을수록 램프 변조 대비를 감소하며, 일정 이상이 되면 가변을 하지 않고 램프를 오프(off)시킨다.
또한, 나이트 모드에서의 광 다중화 신호를 위한 함수는, 하기 수학식 2와 같다.
Figure PCTKR2020010720-appb-M000002
도 5는 본 발명 다른 실시예에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
도 5에 도시된 바와 같이, 본 발명은, 카메라부(100), 조명부(200), 광학 필터부(300), 광도 다중화부(400), 영상 저장부(600), 그리고 영상 처리부(500)를 포함할 수 있다.
여기서, 카메라부(100)는, 소정의 피사체를 촬영하여 영상을 획득할 수 있다.
일 예로, 카메라부(100)는, 입사되는 광을 가시광 및 적외선 광으로 분리하는 빔 스플리터(beam splitter)(700), 분리된 가시광 대역의 광 다중 영상을 촬영하는 제1 카메라(110), 그리고 분리된 적외선 광 대역의 광 다중 영상을 촬영하는 제2 카메라(120)를 포함할 수 있다.
여기서, 광학 필터부(300)는, 빔 스플리터(700)의 광 분리면과 제1 카메라(110) 사이에 배치되어, 제1 카메라(110)로 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터를 포함할 수 있다.
일 예로, 고정형 광학 필터는, 인가 전압에 따라 투과도를 달리할 수 있는 LC(liquid crystal) 필터를 기본적으로 사용하지만, 투과도가 조절되는 모든 전기광학소자가 적용대상이 된다.
그리고, 제1, 제2 카메라(110, 120)는, 빔 스플리터(700)의 광 분리면을 중심으로 서로 수직하게 배열될 수 있다.
다음, 조명부(200)는, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프(210)와, 촬영 환경에 따라 상기 적외선 광을 변조하여 출사하는 제2 적외선 램프(220)를 포함하여 카메라부(100)의 주변에 배치될 수 있다.
여기서, 제1 적외선 램프(210)는, 카메라부(100)와의 촬영 동기화를 위한 신호 입력 없이 직류 전원이 공급되는 밝기 조절형 적외선 램프일 수 있다.
일 예로, 제1 적외선 램프(210)는, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시킬 수 있다.
그리고, 제2 적외선 램프(220)는, 카메라부(100)와의 촬영 동기화를 위한 신호 입력에 따라 카메라부(100)의 원거리 피사체 촬영을 위해 켜지고 카메라부(100)의 근거리 피사체 촬영을 위해 꺼지는 점등형 적외선 램프일 수 있다.
여기서, 제2 적외선 램프(220)는, 촬영 환경 중 주변 조도에 따라 변조된 적외선 광을 출사할 수 있다.
이때, 제2 적외선 램프(220)는, 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시킬 수 있다.
또한, 본 발명의 실시 예는, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프(210)를 제어하는 램프 제어부를 포함할 수 있다.
여기서, 램프 제어부는, 피사체와의 거리를 센싱하는 거리 센서(412), 그리고 피사체와의 거리를 토대로 적외선 광 강도를 변조하도록 제1 적외선 램프(210)를 제어하는 강도 제어부를 포함할 수 있다.
일 예로, 거리 센서(412)는, RoF(Region of Field 혹은 적외선) 센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 강도 제어부는, 촬영 환경 중 측정 조도가 기설정 조도 이상인 데이 모드(day mode)이면 오프(off)되고, 촬영 환경 중 측정 조도가 기설정 조도 미만인 나이트 모드(night mode)이면 온(on)되어 제1 적외선 램프(210)를 제어할 수 있다.
다음, 광도 다중화부(400)는, 촬영 환경을 토대로 제2 적외선 램프(220)의 적외선 광 변조 및 광학 필터부(300)의 투과도를 제어하도록 광 다중화 신호를 생성할 수 있다.
여기서, 광도 다중화부(400)는, 촬영 환경 중 주변 조도를 센싱하는 조도 센서, 그리고 주변 조도를 토대로 제2 적외선 램프(220)의 적외선 광 변조 및 광학 필터부(300)의 투과도를 제어하도록 광 다중화 신호를 생성하는 제어부를 포함할 수 있다.
그리고, 제어부는, 주변 조도를 토대로 광학 필터부(300)의 투과도를 제어하는 투과도 제어부, 주변 조도를 토대로 적외선 광 강도를 변조하도록 제2 적외선 램프(210)를 제어하는 강도 제어부, 카메라부(100)의 촬영 주기와 제2 적외선 램프(210)의 적외선 광 변조 주기 및 광학 필터부(300)의 투과도 변화 주기를 동기화하도록 신호 타이밍을 제어하는 타이밍 제어부, 그리고 투과도 제어부, 강도 제어부 및 타이밍 제어부의 제어 신호에 따라 다중화 신호를 생성하는 다중화 신호 발생부를 포함할 수 있다.
또한, 광도 다중화부(400)는, 광 다중화 신호를 생성할 때, 촬영 환경 중 주변 조도를 토대로 광학 필터부(300)의 투과도 제어를 위한 광 변조 대비값 또는 제2 적외선 램프(220)의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 광학 필터부(300)의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 카메라부(100)의 촬영 주기와 제2 적외선 램프(220)의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
일 예로, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 촬영 환경 중 주변 조도가 기설정 조도 이상이면 데이 모드(day mode)로 인지하고, 데이 모드로 인지되면 주변 조도를 토대로 광학 필터부(300)의 투과도 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 광학 필터부(300)의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스를 동기화하기 위한 타이밍 펄스를 생성하며, 주변 조도에 상응하는 최소투과레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
여기서, 최소투과레벨은, 낮 시간대에 상기 광학 필터부의 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율일 수 있다.
이때, 광도 다중화부(400)는, 데이 모드의 광 다중화 신호 함수를 산출할 때, 광 다중화 신호 함수 = (1 - 최소투과레벨) × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 촬영 환경 중 주변 조도가 기설정 조도 미만이면 나이트 모드(night mode)로 인지하고, 나이트 모드로 인지되면 주변 조도를 토대로 제2 적외선 램프(220)의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 제2 적외선 램프(220)의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 적외선 광의 최대밝기레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
여기서, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 광 다중화 신호 함수 = 적외선 광의 최대밝기레벨 × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 본 발명의 실시 예는, 촬영 환경 중 주변 조도에 따라 광학 필터부(300)의 투과도를 제어하는 데이 모드(day mode)로 스위칭되거나 또는 제1, 제2 적외선 램프(210, 220)의 적외선 광 변조를 제어하는 나이트 모드(night mode)로 스위칭되는 데이/나이트 스위치를 더 포함할 수 있다.
여기서, 데이/나이트 스위치는, 데이 모드(day mode)로 스위칭될 때, 촬영 환경 중 주변 조도가 기설정 조도 이상이면 광도 다중화부(400)로부터 생성된 광 다중화 신호를 광학 필터부(300)로 인가하여 광학 필터부(300)의 투과도를 제어하도록 데이 모드(day mode)로 스위칭될 수 있다.
또한, 데이/나이트 스위치는, 나이트 모드(night mode)로 스위칭될 때, 촬영 환경 중 주변 조도가 기설정 조도 미만이면 광도 다중화부(400)로부터 생성된 광 다중화 신호를 제2 적외선 램프(220)로 인가하여 제2 적외선 램프(220)의 적외선 광 변조를 제어하고 램프 제어부의 강도 제어부(423)에 스위칭 신호를 인가하여 제1 적외선 램프(210)의 적외선 광 변조를 제어하도록 나이트 모드(night mode)로 스위칭될 수 있다.
다음, 영상 저장부(600)는, 카메라부(100)로부터 촬영된 가시광 대역의 광 다중 영상 및 적외선 광 대역의 광 다중 영상 중 적어도 어느 하나를 저장할 수 있다.
그리고, 영상 처리부(500)는, 촬영 환경에 따라 가시광 대역의 광 다중 영상들, 적외선 광 대역의 광 다중 영상들, 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들 중 어느 하나를 합성하여 처리할 수 있다.
일 예로, 촬영 환경은, 일광 조건이 낮 시간대인 제1 촬영 환경, 어둠 또는 약한 조명 조건인 밤 시간대인 제2 촬영 환경, 이동 촬영 조건이거나 또는 조명 및 외광 변화가 심한 조건을 갖는 상시 조건인 제3 촬영 환경을 포함할 수 있다.
여기서, 영상 처리부(500)는, 촬영 환경이 제1 촬영 환경이면 가시광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하고, 촬영 환경이 제2 촬영 환경이면 적외선 광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하며, 촬영 환경이 제3 촬영 환경이면 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리할 수 있다.
이와 같이, 도 1의 실시 예는, 단일 센서(광대역)인 카메라를 적용하고, 광학 필터를 이용하여 가시광 입사량 변화를 촬영과 동기화하고 점등형 및 조절형 IR 램프를 사용할 수 있다.
도 5의 실시 예는, 듀얼 센서(가시광 및 근적외선)인 카메라를 적용하고, 빔 스플리터 및 타이밍 제어를 이용하여 IR 램프 출사량 변화를 촬영과 동기화하며, 점등형 및 조절형 IR 램프를 사용할 수 있다.
도 5의 실시 예는, 광학 필터가 빔 스플리터에 접합되지 않고, 가시광 카메라 전면에 위치되도록 한다.
그 이유는, 가시광 영상이 광 경로 상에서 바로 광학 필터를 통과하기 위함이다.
또한, IR 영상이 광학 필터를 투과하지 않으므로 IR 광 효율을 높일 수 있다.
단, IR 램프는, 카메라 촬영과 동기화가 필요하며 광도 다중화부를 통해 구현될 수 있으며, 상시 가시광 및 IR 영상 다중화 원리는, 상기 도 1의 실시 예와 동일하다.
여기서, 광도 다중화부(400)의 광다중화 신호 함수는, 기준 조도 이상에서 상기 수학식 1과 같이 데이 모드로부터 생성되고, 기준 조도 이하에서는 상기 수학식 2와 같이 나이트 모드로부터 생성될 수 있다.
이 경우, 밝은 환경에서는, 가시광 영상 중심의 광 다중 촬영이 실행되면서 동시에 이와는 별개로 단일 IR 영상 혹은 다중 IR 영상이 촬영되며, 어두운 환경에서는, IR 영상 중심의 광 다중 촬영이 실행되면서 동시에 이와는 별개로 최대 투과도의 단일 가시광 영상 혹은 다중 가시광 영상이 촬영될 수 있다.
또한, 도 5의 실시 예는, 듀얼 카메라 시스템으로서, 상시 운영될 수 있으며, 영상 저장부(600)에는, 다중 레벨의 가시광 영상과 IR 영상 등이 동시에 저장될 수 있다.
여기서, 영상 합성(image fusion) 수행 시, 외광이 강한 낮 시간이나 조명광이 충분한 밤에는, 다중 노출의 가시광 영상 합성이 유용하고, 조명이 없거나 저조도 환경(night mode)에서는, IR 영상 합성이 유용할 수 있다.
그리고, 밤 시간이라도 조명 광(건물 조명, 차량 전조등)이 불규칙하게 존재하는 경우나 낮 시간이라도 복도나 실내와 같이 외광이 부족한 경우, 실내, 지하로 이동할 때 갑자기 어두워지거나(어둠+일부 강한 외광), 밤 시간 강한 조명(차량 전조등, 건물 실내등)이 켜지거나, 강한 조명에 의해 영상이 국부적으로 밝아지는 경우에는, 가시광 및 IR 대역의 상시 다중 영상으로부터 복합 대역 HDR 영상 합성이 가능하고 국부적인 광 부족 및 포화 현상 없이 영상 재생을 수행할 수 있다.
일 예로, 영상 합성의 3가지 경우는 아래와 같다.
첫째, 낮 시간(일광 조건)인 경우, 광학 필터 및 가시광 카메라를 사용하여 다중 노출 가시광 영상의 합성(IR 차단)을 수행할 수 있다.
둘째, 밤 시간(어둠 혹은 약한 조명 조건)인 경우, 광학 필터, IR 카메라, 그리고 IR 램프를 사용하여 다중 IR 대역 영상의 합성(IR 통과)을 수행할 수 있다.
셋째, 상시 조건(이동촬영, 조명, 외광 변화 심함)인 경우, 광학 필터, 가시광-IR 카메라, 그리고 IR 램프를 사용하여 IR 영상 및 가시광 복합 영상의 합성을 수행할 수 있다.
예를 들면, 평균 입사 광량이 작아서 야간 감시 카메라의 셔터스피드가 느리게 설정되어 있고, 갑작스러운 광의 변화(차량 전조등)나 강한 실내 등이 유입되는 촬영 환경인 경우, 기존 방식은, IR 다중화만으로 강한 가시광의 국부적인 포화 현상을 극복할 수 없지만, 본 발명의 방식은, 적정 노출의 가시광 카메라 촬영을 수행하고 평균적으로 어두운 환경에서의 다중 노출 영상을 합성 시에 1차로 IR 영상 합성 후 2차로 IR 영상과 가시광 영상을 합성하여 국부 포화 현상을 개선할 수 있다.
또한, 평균적으로 밝은 환경에서 터널이나 그늘진 곳에서 촬영 환경인 경우, 본 발명의 상시 IR 영상 촬영은, 음영 지역 없는 영상을 합성 재생할 수 있도록 한다.
또한, 밝은 외광의 낮 촬영의 경우에 안개나 연무 등으로 시야가 선명하게 확보되지 않는 촬영 환경인 경우, 가시광 다중 영상과 더불어 IR 영상을 동시에 촬영함으로써(이때는 IR 램프 동작하지 않음) 디헤이징(de-hazing) 영상을 재생할 수 있다.
이와 같이, 카메라부, 제1, 제2 적외선 램프를 포함하는 조명부, 램프 제어부, 영상 처리부 및 광도 다중화부를 포함하는 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법은 다음과 같다.
먼저, 광도 다중화부는, 영상 촬영 요청이 수신되는지를 확인할 수 있다.
그리고, 광도 다중화부는, 영상 촬영 요청이 주변 조도 정보를 획득할 수 있다.
다음, 광도 다중화부는, 주변 조도 정보를 토대로 광학 필터부의 투과도를 제어하기 위한 광 다중화 신호 함수를 산출하거나 또는 제2 적외선 램프의 적외선 광 변조를 제어하기 위한 광 다중화 신호 함수를 산출하여 광 다중화 신호를 생성할 수 있다.
여기서, 광 다중화 신호를 생성하는 단계는, 주변 조도를 토대로 상기 광학 필터부의 투과도 제어를 위한 광 변조 대비값 또는 제2 적외선 램프의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하는 단계와, 카메라부의 촬영 주기와 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 카메라부의 촬영 주기와 제2 적외선 램프의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하는 단계와, 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하는 단계와, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하는 단계와, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성하는 단계를 포함할 수 있다.
또한, 광 다중화 신호 함수를 산출하는 단계는, 주변 조도가 기설정 조도 이상이면 데이 모드(day mode)로 인지하는 단계와, 데이 모드로 인지되면 주변 조도를 토대로 광학 필터부의 투과도 제어를 위한 광 변조 대비값을 산출하는 단계와, 카메라부의 촬영 주기와 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스를 동기화하기 위한 타이밍 펄스를 생성하는 단계와, 주변 조도에 상응하는 최소투과레벨을 산출하는 단계와, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨을 토대로 광 다중화 신호 함수를 산출하는 단계와, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성하는 단계를 포함할 수 있다.
여기서, 최소투과레벨은, 낮 시간대에 상기 광학 필터부의 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율일 수 있다.
그리고, 광 다중화 신호 함수를 산출하는 단계는, 광 다중화 신호 함수 = (1 - 최소투과레벨) × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 광 다중화 신호 함수를 산출하는 단계는, 주변 조도가 기설정 조도 미만이면 나이트 모드(night mode)로 인지하는 단계와, 나이트 모드로 인지되면 주변 조도를 토대로 제2 적외선 램프의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하는 단계와, 카메라부의 촬영 주기와 제2 적외선 램프의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하는 단계와, 적외선 광의 최대밝기레벨을 산출하는 단계와, 광 변조 대비값, 타이밍 펄스 및 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하는 단계와, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성하는 단계를 포함할 수 있다.
여기서, 광 다중화 신호 함수를 산출하는 단계는, 광 다중화 신호 함수 = 적외선 광의 최대밝기레벨 × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
이어, 데이/나이트 스위치는, 주변 조도 정보에 따라 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭될 수 있다.
여기서, 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭되는 단계는, 데이 모드(day mode)로 스위칭될 때, 주변 조도가 기설정 조도 이상이면 광도 다중화부로부터 생성된 광 다중화 신호를 광학 필터부로 인가하여 광학 필터부의 투과도를 제어하도록 데이 모드(day mode)로 스위칭될 수 있다.
또한, 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭되는 단계는, 나이트 모드(night mode)로 스위칭될 때, 주변 조도가 기설정 조도 미만이면 광도 다중화부로부터 생성된 광 다중화 신호를 제2 적외선 램프로 인가하여 제2 적외선 램프의 적외선 광 변조를 제어하고 램프 제어부에 스위칭 신호를 인가하여 제1 적외선 램프의 적외선 광 변조를 제어하도록 나이트 모드(night mode)로 스위칭될 수 있다.
다음, 데이/나이트 스위치가 상기 데이 모드로 스위칭되면, 광학 필터부는, 광 다중화 신호에 따라 입사되는 광 투과도를 변조할 수 있다.
또한, 데이/나이트 스위치가 나이트 모드로 스위칭되면, 제2 적외선 램프는, 광 다중화 신호에 따라 적외선 광을 변조하여 출사하고, 제1 적외선 램프는, 램프 제어부의 제어 신호에 따라 피사체와의 거리에 상응하여 적외선 광을 변조하여 출사할 수 있다.
이어, 카메라부는, 광학 필터부의 투과도가 변조되는 시간 동안 또는 제1, 제2 적외선 램프의 적외선 광 변조 출사 시간 동안에 다중 광도 영상들을 촬영할 수 있다.
여기서, 다중 광도 영상들을 촬영하는 단계는, 광학 필터부의 투과도가 변조되는 시간 동안에 가시광 대역의 광 다중 영상들을 촬영하여 저장하고, 제1, 제2 적외선 램프의 적외선 광 변조 출사 시간 동안에 적외선 광 대역의 광 다중 영상들을 촬영하여 저장할 수 있다.
그리고, 영상 처리부는, 촬영된 다중 광도 영상들을 합성하여 처리할 수 있다.
여기서, 영상 처리부는, 촬영된 다중 광도 영상들을 합성하여 처리할 때, 촬영 환경에 따라 가시광 대역의 광 다중 영상들, 적외선 광 대역의 광 다중 영상들, 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들 중 어느 하나를 합성하여 처리할 수 있다.
일 예로, 촬영 환경은, 일광 조건이 낮 시간대인 제1 촬영 환경, 어둠 또는 약한 조명 조건인 밤 시간대인 제2 촬영 환경, 이동 촬영 조건이거나 또는 조명 및 외광 변화가 심한 조건을 갖는 상시 조건인 제3 촬영 환경을 포함할 수 있는데, 이에 한정되지는 않는다.
여기서, 영상 처리부는, 촬영 환경이 제1 촬영 환경이면 가시광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하고, 촬영 환경이 제2 촬영 환경이면 적외선 광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하며, 촬영 환경이 제3 촬영 환경이면 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리할 수 있다.
기존의 HDR 영상 합성은, 카메라 센서의 가시광 대역의 제한된 동적 휘도 범위를 극복하게 위해 다중 노출로 촬영된 영상을 합성하여 HDR 영상을 재현할 수 있지만, 본 발명은, 다중 강도 및 다중 대역 영상을 이용한 복합 HDR 영상 합성 방식을 제시할 수 있다.
본 발명은, 센서의 가시광 노출을 조절하여 다중 노출 영상을 취득 및 합성하고, IR 광의 강도를 조절하여 다중 IR 영상을 취득 및 합성하며, 불규칙한 조명이 섞인 야간의 영상 표현을 개선하기 위해 가시광 대역 영상과 IR 대역의 영상을 합성하여 광대역 영상을 재생할 수도 있다.
또한, 본 발명은, IR이 차단된 영상과 IR이 통과된 영상을 다중 촬영 및 합성하여 근거리와 원거리 사물의 감지가 모두 가능하게 한다.
본 발명의 복합적인 HDR 영상 합성 방법은, 1차 가시광 대역의 다중 노출(multi-exposure) 영상 합성과 IR광 대역 다중 광 조절(multi-lighting) 영상 합성하고, 2차 가시광 HDR 영상과 IR HDR 영상을 복합 합성하는 방법일 수 있다.
이와 같이, 본 발명은, 광 필터의 투과도 조정과 적외선 조명 강도 조정을 이용하여 밝기 비율을 조정을 위한 이원화된 광도 다중화 방법을 수행함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있다.
또한, 본 발명은, 거리 센서로부터 피사체와의 거리 정보를 획득하고 조도 센서로부터 촬영 환경 정보를 획득함으로써, 저가 센서를 쉽게 활용하여 제작할 수 있다.
또한, 본 발명은, 가시광 및 근적외선 대역의 광도(light intensity) 변조를 이용하여 복합 대역 다중 영상을 취득하고 HDR(high dynamic range) 시각 영상으로 합성함으로써, 주야간 다양한 환경의 영상에서 경험되는 광의 부족 노출 혹은 부분적인 과도 노출 현상을 극복할 수 있다.
또한, 본 발명은, 광에 순응적인 광학 필터 및 IR 램프 제어를 사용한 촬영 입사 광도 변조 방법을 제안함으로써, 디양한 장소에서 변화하는 외광 변화에 실시간으로 대응할 수 있다.
또한, 본 발명은, 고정형의 CCTV 카메라뿐만 아니라 차량, 로봇, 드론 등에 탑재될 수 있는 이동형 카메라 시스템에 쉽게 확장 및 접목될 수 있고, 제작비용이 저렴하다,
이처럼, 본 발명은, 고정형 및 이동형 감시 카메라 시스템과 더불어 가시광, IR 광에 대한 다중 강도와 대역으로 WDR(Wide Dynamic Range) 영상을 취득하고, 표현하는 다양한 영상 신호 처리 분야, 자율 주행 자동차, 무인 드론 등 최근 부각 되는 사물 인식 분야를 포함하여 다양한 영상 시각화 분야에 적극 활용될 수 있다.
특히, 자율 주행 영상 촬영 중 발생되는 외광 변화는, 지하나 터널을 진입하거나 탈출할 때, 실내에서 실외를 바라보거나 반대 상황, 어두운 주차장 강한 차량 전조등 변화 등 일반적인 센서의 인식 범위를 벗어나는 경우가 빈번하게 발생될 수 있다.
자율 주행 자동차 시스템 중 센서 기반의 주행상황 탐지 영역은, 이러한 외부의 환경을 인식하는 과정으로 고정 또는 이동 사물을 인식하거나 경로를 인식하는데 필수적인 요소이다.
이때, 실시간으로 발생되는 돌발 상황을 인지하여 충돌을 방지하여 생명과 재산을 보호하는 것이 다른 어떤 첨단 기능들에 우선되어야 한다.
또한, 본 발명은, 현재 증가하는 사회적 긴장과 범죄로 인해 세계적으로 증대되는 감시, 보안에 대한 필요성에 부합하며, 고 효율의 영상 감시 시스템 구현을 가능하게 할 수 있다.
또한, 본 발명은, 사회 방범, 산업, 방송 현장에서 활용될 수 있다.
즉, 본 발명은, 보안 CCTV, 차량-휴대전화-드론 카메라, 블랙박스 시장, 이미지센서가 활용되는 산업 분야에 활용될 수 있으며, 동영상 기반의 영상 신호 또는 방송용 영상신호 처리 분야에 활용될 수 있다.
또한, 본 발명은, 관련 학문, 연구 현장에서도 활용될 수 있다.
즉, 본 발명은, 영상 융합 분야, 사물 탐색, 얼굴 검색, 환경 감시 등 지능적 영상 분석 기술 개발에 기여할 것이며, 기존의 제한적 성능의 이미지 센서 하드웨어 성능을 향상시킬 수 있는 대안 기술로 활용될 수 있으며, 보고서 및 논문 형태의 연구 결과 자료, 시뮬레이션 자료는 향후 연계된 기술 개발에 도움을 주며, 공항, 항만, 군사 시설, 건설 현장 등 고도 기술 분야에 활용될 것으로 기대된다.
이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
100: 카메라부
200: 조명부
300: 광학 필터부
400: 광도 다중화부
500: 영상 처리부
600: 영상 저장부

Claims (24)

  1. 소정의 피사체를 촬영하여 영상을 획득하는 카메라부;
    상기 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와, 촬영 환경에 따라 상기 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 상기 카메라부의 주변에 배치되는 조명부;
    상기 카메라부의 전면에 배치되어 상기 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부;
    상기 피사체와의 거리를 토대로 상기 적외선 광을 변조하도록 상기 제1 적외선 램프를 제어하는 램프 제어부;
    상기 촬영 환경을 토대로 상기 제2 적외선 램프의 적외선 광 변조 및 상기 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부; 그리고,
    상기 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  2. 제1 항에 있어서, 상기 카메라부는,
    가시광 및 적외선 광이 모두 포함되는 광대역 영상을 촬영하는 광대역 카메라를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  3. 제1 항에 있어서, 상기 카메라부는,
    상기 촬영 환경에 따라 가시광 대역의 광 다중 영상을 촬영하거나 또는 적외선 광 대역의 광 다중 영상을 촬영하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  4. 제3 항에 있어서, 상기 카메라부는,
    상기 촬영 환경 중 측정 조도가 기설정 조도 이상이면 상기 가시광 대역의 광 다중 영상을 촬영하고,
    상기 촬영 환경 중 측정 조도가 기설정 조도 미만이면 상기 적외선 광 대역의 광 다중 영상을 촬영하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  5. 제1 항에 있어서, 상기 카메라부는,
    입사되는 광을 가시광 및 적외선 광으로 분리하는 빔 스플리터(beam splitter);
    상기 분리된 가시광 대역의 광 다중 영상을 촬영하는 제1 카메라; 그리고,
    상기 분리된 적외선 광 대역의 광 다중 영상을 촬영하는 제2 카메라를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  6. 제5 항에 있어서, 상기 광학 필터부는,
    상기 빔 스플리터의 광 분리면과 상기 제1 카메라 사이에 배치되어, 상기 제1 카메라로 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  7. 제5 항에 있어서, 상기 제1, 제2 카메라는,
    상기 빔 스플리터의 광 분리면을 중심으로 서로 수직하게 배열되는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  8. 제1 항에 있어서, 상기 램프 제어부는,
    상기 피사체와의 거리를 센싱하는 거리 센서; 그리고,
    상기 피사체와의 거리를 토대로 상기 적외선 광 강도를 변조하도록 상기 제1 적외선 램프를 제어하는 강도 제어부를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  9. 제8 항에 있어서, 상기 거리 센서는,
    RoF(Region of Field 혹은 적외선) 센서 및 초음파 센서 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  10. 제8 항에 있어서, 상기 강도 제어부는,
    상기 촬영 환경 중 측정 조도가 기설정 조도 이상인 데이 모드(day mode)이면 오프(off)되고, 상기 촬영 환경 중 측정 조도가 기설정 조도 미만인 나이트 모드(night mode)이면 온(on)되어 상기 제1 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  11. 제1 항에 있어서, 상기 광도 다중화부는,
    상기 촬영 환경 중 주변 조도를 센싱하는 조도 센서; 그리고,
    상기 주변 조도를 토대로 상기 제2 적외선 램프의 적외선 광 변조 및 상기 광학 필터부의 투과도를 제어하도록 상기 광 다중화 신호를 생성하는 제어부를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  12. 제11 항에 있어서, 상기 조도 센서는,
    황화카드뮴(CdS) 소자 및 태양광 패널 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  13. 제11 항에 있어서, 상기 제어부는,
    상기 주변 조도를 토대로 상기 광학 필터부의 투과도를 제어하는 투과도 제어부;
    상기 주변 조도를 토대로 상기 적외선 광 강도를 변조하도록 상기 제2 적외선 램프를 제어하는 강도 제어부;
    상기 카메라부의 촬영 주기와 상기 제2 적외선 램프의 적외선 광 변조 주기 및 상기 광학 필터부의 투과도 변화 주기를 동기화하도록 신호 타이밍을 제어하는 타이밍 제어부; 그리고,
    상기 투과도 제어부, 강도 제어부 및 타이밍 제어부의 제어 신호에 따라 상기 다중화 신호를 생성하는 다중화 신호 발생부를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  14. 제1 항에 있어서, 상기 광도 다중화부는,
    상기 광 다중화 신호를 생성할 때, 상기 촬영 환경 중 주변 조도를 토대로 상기 광학 필터부의 투과도 제어를 위한 광 변조 대비값 또는 상기 제2 적외선 램프의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 상기 카메라부의 촬영 주기와 상기 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 상기 카메라부의 촬영 주기와 상기 제2 적외선 램프의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 상기 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하고, 상기 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 상기 산출된 광 다중화 신호 함수를 토대로 상기 광 다중화 신호를 생성하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  15. 제1 항에 있어서,
    상기 촬영 환경 중 주변 조도에 따라 상기 광학 필터부의 투과도를 제어하는 데이 모드(day mode)로 스위칭되거나 또는 상기 제1, 제2 적외선 램프의 적외선 광 변조를 제어하는 나이트 모드(night mode)로 스위칭되는 데이/나이트 스위치를 더 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  16. 제15 항에 있어서, 상기 데이/나이트 스위치는,
    상기 데이 모드(day mode)로 스위칭될 때, 상기 촬영 환경 중 주변 조도가 기설정 조도 이상이면 상기 광도 다중화부로부터 생성된 광 다중화 신호를 상기 광학 필터부로 인가하여 상기 광학 필터부의 투과도를 제어하도록 상기 데이 모드(day mode)로 스위칭되는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  17. 제16 항에 있어서, 상기 데이/나이트 스위치는,
    상기 나이트 모드(night mode)로 스위칭될 때, 상기 촬영 환경 중 주변 조도가 기설정 조도 미만이면 상기 광도 다중화부로부터 생성된 광 다중화 신호를 상기 제2 적외선 램프로 인가하여 상기 제2 적외선 램프의 적외선 광 변조를 제어하고 상기 램프 제어부에 스위칭 신호를 인가하여 상기 제1 적외선 램프의 적외선 광 변조를 제어하도록 상기 나이트 모드(night mode)로 스위칭되는 것을 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  18. 제1 항에 있어서,
    상기 카메라부로부터 촬영된 가시광 대역의 광 다중 영상 및 적외선 광 대역의 광 다중 영상 중 적어도 어느 하나를 저장하는 영상 저장부를 더 포함하고,
    상기 영상 처리부는,
    상기 촬영 환경에 따라 상기 가시광 대역의 광 다중 영상들, 상기 적외선 광 대역의 광 다중 영상들, 상기 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들 중 어느 하나를 합성하여 처리하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  19. 제18 항에 있어서, 상기 촬영 환경은,
    일광 조건이 낮 시간대인 제1 촬영 환경, 어둠 또는 약한 조명 조건인 밤 시간대인 제2 촬영 환경, 이동 촬영 조건이거나 또는 조명 및 외광 변화가 심한 조건을 갖는 상시 조건인 제3 촬영 환경을 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  20. 제19 항에 있어서, 상기 영상 처리부는,
    상기 촬영 환경이 제1 촬영 환경이면 상기 가시광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하고,
    상기 촬영 환경이 제2 촬영 환경이면 상기 적외선 광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하며,
    상기 촬영 환경이 제3 촬영 환경이면 상기 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  21. 카메라부, 제1, 제2 적외선 램프를 포함하는 조명부, 램프 제어부, 영상 처리부 및 광도 다중화부를 포함하는 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법에 있어서,
    상기 광도 다중화부가, 영상 촬영 요청이 수신되는지를 확인하는 단계;
    상기 광도 다중화부가, 영상 촬영 요청이 수신되면 주변 조도 정보를 획득하는 단계;
    상기 광도 다중화부가, 상기 주변 조도 정보를 토대로 광학 필터부의 투과도를 제어하기 위한 광 다중화 신호 함수를 산출하거나 또는 상기 제2 적외선 램프의 적외선 광 변조를 제어하기 위한 광 다중화 신호 함수를 산출하여 광 다중화 신호를 생성하는 단계;
    데이/나이트 스위치가, 상기 주변 조도 정보에 따라 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭되는 단계;
    상기 데이/나이트 스위치가 상기 데이 모드로 스위칭되면, 상기 광학 필터부가 상기 광 다중화 신호에 따라 입사되는 광 투과도를 변조하고, 상기 데이/나이트 스위치가 상기 나이트 모드로 스위칭되면, 상기 제2 적외선 램프가 상기 광 다중화 신호에 따라 적외선 광을 변조하여 출사하고 상기 제1 적외선 램프가 상기 램프 제어부의 제어 신호에 따라 피사체와의 거리에 상응하여 상기 적외선 광을 변조하여 출사하는 단계;
    상기 카메라부가, 상기 광학 필터부의 투과도가 변조되는 시간 동안 또는 상기 제1, 제2 적외선 램프의 적외선 광 변조 출사 시간 동안에 다중 광도 영상들을 촬영하는 단계; 그리고,
    상기 영상 처리부가, 상기 촬영된 다중 광도 영상들을 합성하여 처리하는 단계를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
  22. 제21 항에 있어서, 상기 광 다중화 신호를 생성하는 단계는,
    상기 주변 조도를 토대로 상기 광학 필터부의 투과도 제어를 위한 광 변조 대비값 또는 상기 제2 적외선 램프의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하는 단계;
    상기 카메라부의 촬영 주기와 상기 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 상기 카메라부의 촬영 주기와 상기 제2 적외선 램프의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하는 단계;
    상기 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하는 단계;
    상기 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하는 단계; 그리고,
    상기 산출된 광 다중화 신호 함수를 토대로 상기 광 다중화 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
  23. 제21 항에 있어서, 상기 광 다중화 신호 함수를 산출하는 단계는,
    상기 주변 조도가 기설정 조도 이상이면 데이 모드(day mode)로 인지하는 단계;
    상기 데이 모드로 인지되면 상기 주변 조도를 토대로 상기 광학 필터부의 투과도 제어를 위한 광 변조 대비값을 산출하는 단계;
    상기 카메라부의 촬영 주기와 상기 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스를 동기화하기 위한 타이밍 펄스를 생성하는 단계;
    상기 주변 조도에 상응하는 최소투과레벨을 산출하는 단계;
    상기 광 변조 대비값, 타이밍 펄스 및 최소투과레벨을 토대로 광 다중화 신호 함수를 산출하는 단계; 그리고,
    상기 산출된 광 다중화 신호 함수를 토대로 상기 광 다중화 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
  24. 제23 항에 있어서, 상기 최소투과레벨은,
    낮 시간대에 상기 광학 필터부의 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율인 것을 특징으로 하는 다중 광도 영상 획득 방법.
PCT/KR2020/010720 2019-08-16 2020-08-13 다중 광도 영상 획득 장치 및 방법 WO2021034003A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/634,709 US20220283442A1 (en) 2019-08-16 2020-08-13 Device and method for acquiring multi-luminosity images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0100162 2019-08-16
KR1020190100162A KR102200541B1 (ko) 2019-08-16 2019-08-16 다중 광도 영상 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2021034003A1 true WO2021034003A1 (ko) 2021-02-25

Family

ID=74127786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010720 WO2021034003A1 (ko) 2019-08-16 2020-08-13 다중 광도 영상 획득 장치 및 방법

Country Status (3)

Country Link
US (1) US20220283442A1 (ko)
KR (1) KR102200541B1 (ko)
WO (1) WO2021034003A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11689822B2 (en) * 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033716A (ja) * 2004-07-21 2006-02-02 Hitachi Maxell Ltd 撮像装置
KR20100125675A (ko) * 2009-05-21 2010-12-01 삼성테크윈 주식회사 감시 카메라의 제어 방법 및 이를 채용한 감시 카메라
KR20110056096A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디지털 이미지 처리 장치 및 그 촬영 방법
KR20140127631A (ko) * 2013-04-25 2014-11-04 삼성테크윈 주식회사 야간 촬영 기능을 구비한 촬영장치 및 야간 촬영방법
KR20180041494A (ko) * 2016-10-14 2018-04-24 지스마트글로벌 주식회사 멀티 카메라

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033716A (ja) * 2004-07-21 2006-02-02 Hitachi Maxell Ltd 撮像装置
KR20100125675A (ko) * 2009-05-21 2010-12-01 삼성테크윈 주식회사 감시 카메라의 제어 방법 및 이를 채용한 감시 카메라
KR20110056096A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디지털 이미지 처리 장치 및 그 촬영 방법
KR20140127631A (ko) * 2013-04-25 2014-11-04 삼성테크윈 주식회사 야간 촬영 기능을 구비한 촬영장치 및 야간 촬영방법
KR20180041494A (ko) * 2016-10-14 2018-04-24 지스마트글로벌 주식회사 멀티 카메라

Also Published As

Publication number Publication date
US20220283442A1 (en) 2022-09-08
KR102200541B1 (ko) 2021-01-08

Similar Documents

Publication Publication Date Title
WO2021034002A1 (ko) 다중 광도 영상 획득 장치 및 방법
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
KR100367594B1 (ko) 씨씨디 카메라의 제어 방법
CN102480593A (zh) 双镜头摄像机切换方法及装置
KR20040070840A (ko) 주야간 자동초점조절 기능의 적외선 카메라 및 그에 따른주야간 자동초점조절방법
JP5397714B1 (ja) 監視用カメラ装置
WO2018038340A2 (en) Electronic device including light-emitting elements and method of operating electronic device
EP0902402A3 (de) Verfahren zur optischen Überwachung eines Raumbereichs
WO2021034003A1 (ko) 다중 광도 영상 획득 장치 및 방법
WO2012115408A2 (ko) 이미지 센서 및 이를 포함하는 촬영 장치
WO2014178509A1 (en) Multi-projection system for extending visual element of main image
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
JP4328865B2 (ja) 赤外線照明内蔵型監視用デイナイトカメラ
WO2022270874A1 (ko) 다중 광도 및 다중 대역 영상 획득 장치 및 방법
KR101586698B1 (ko) 감시 카메라
WO2019117549A1 (en) Imaging apparatus, imaging method, and computer program product
WO2023085475A1 (ko) 다중 대역 영상 촬영 장치 및 방법
WO2020017850A1 (ko) 조명 제어 시스템
WO2015084037A1 (ko) 자동차용 후방 카메라
WO2022039324A1 (ko) 사용자의 카메라 조명이 외부에 노출되지 않는 조명 비노출형 카메라 및 이를 이용한 카메라 조명 비노출 제어방법
KR100322758B1 (ko) 줌 렌즈 일체형 주/야 감시용 카메라
KR100554501B1 (ko) 감시카메라의 역광차단장치
WO2023058889A1 (ko) 광 캡쳐 장치 및 이를 구비하는 광 캡쳐 시스템
WO2014098317A1 (ko) 엘리베이터 감시 시스템 및 그 전송 광 초점 조절 방법
KR101949658B1 (ko) Cctv 야간차량번호 인식을 위한 동기화 컨트롤러가 탑재된 조명장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20853966

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20853966

Country of ref document: EP

Kind code of ref document: A1