WO2018159896A1 - 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템 - Google Patents

시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템 Download PDF

Info

Publication number
WO2018159896A1
WO2018159896A1 PCT/KR2017/004737 KR2017004737W WO2018159896A1 WO 2018159896 A1 WO2018159896 A1 WO 2018159896A1 KR 2017004737 W KR2017004737 W KR 2017004737W WO 2018159896 A1 WO2018159896 A1 WO 2018159896A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filtering
lens unit
filter
unit
Prior art date
Application number
PCT/KR2017/004737
Other languages
English (en)
French (fr)
Inventor
정태웅
김정일
Original Assignee
주식회사 에스카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스카 filed Critical 주식회사 에스카
Priority to US16/482,699 priority Critical patent/US10931925B2/en
Priority to CN201780086952.1A priority patent/CN110326291B/zh
Priority to JP2019542509A priority patent/JP6826208B2/ja
Publication of WO2018159896A1 publication Critical patent/WO2018159896A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a surveillance camera for monitoring a region by photographing a specific region and a video surveillance system to which the region is applied.
  • Surveillance cameras are installed in the underground parking lot, highway, airport, port, and border line of the building to prevent or record various accidents.
  • natural phenomena such as fog, yellow dust, rainfall, and snowfall deteriorate the quality of the image taken by the surveillance camera by absorbing or scattering light and act as a factor that hinders surveillance.
  • Fog, yellow dust, rainfall, snowfall, etc. are visibility obstacles that reduce the viewing distance, which is the maximum distance that a person with normal vision can recognize any target in the horizontal direction. Research to remove it has been actively conducted.
  • Autofocusing is a camera function that allows the camera to focus automatically on the subject. It is classified into an active method that emits ultrasonic waves or infrared rays to measure the distance to the subject, and a manual method that focuses using light that is naturally reflected from the subject. .
  • the active method can focus well even when the image clarity is low due to poor visibility such as at night or in bad weather, but has a disadvantage in that it cannot focus when there is an obstacle such as a window between the camera and the subject.
  • the manual method can focus well when there is an obstacle such as a window between the camera and the subject.However, when the visibility is poor and the image clarity is low, it is difficult to classify the subject, which makes it difficult to focus accurately. have.
  • Another object of the present invention is to provide a video surveillance system to which such a surveillance camera is applied.
  • the present invention is not limited to the above technical problems, and other technical problems may be derived from the following description.
  • a surveillance camera having a complex filtering-based autofocusing function that is robust to a change in a visibility state may include a lens unit including at least one lens; A hardware filter for blocking one of an infrared band and a visible light band of the light passing through the lens unit and transmitting the other one according to a current visibility state in front of the lens unit; An image sensor converting light passing through the hardware filter into an electrical signal; An image signal processor (ISP) for generating a color image or a black and white image according to a band of light emitted from the hardware filter from the signal output from the image sensor; Filtering the color image or the black and white image generated by the ISP by removing an element that reduces the viewing distance in front of the lens unit from the color image or the black and white image generated by the ISP according to the current visibility state in front of the lens unit.
  • ISP image signal processor
  • the lens unit may be autofocused by using the analysis of the color image generated by the ISP or by the analysis of the color image or the black and white image filtered by the software filter.
  • An auto focusing unit which performs focusing; And a filtering level corresponding to a current visibility state in front of the lens unit, among a plurality of filtering levels for determining an image input to the autofocusing unit according to the filtering band of the hardware filter and the filtering of the software filter.
  • a control unit for controlling a filtering band of a hardware filter and filtering the software filter.
  • the surveillance camera further includes an actuator for moving a position of at least one lens of the lens unit under the control of the auto focusing unit, wherein the auto focusing unit is configured to generate a color image or a black and white image generated by the ISP by the software filter.
  • the filter is filtered, the sharpness change of the color image or the black and white image filtered by the software filter is analyzed while controlling the operation of the actuator so that the distance between the at least one lens and the image sensor is changed.
  • Autofocusing may be performed by determining a position of at least one lens of the lens unit as the focusing position of the lens unit at the instant of the highest sharpness of the filtered color image or the black and white image.
  • the plurality of filtering levels may include a first filtering level in which a color image output from the ISP is directly input to the autofocusing unit while the infrared band of the light passing through the lens unit is blocked by the hardware filter.
  • the black and white image output from the ISP in a state in which the visible light band of light is blocked may include a third filtering level input to the autofocusing unit after being filtered by the software filter.
  • a black and white image filtered by the software filter is input to the auto focusing unit in such a manner that a predetermined image filtering algorithm is applied to the black and white image output from the ISP to remove the element that reduces the visibility distance.
  • the brightness level of each pixel of the black and white image output from the ISP is inverted while the plurality of filtering levels are blocked by the visible light band of the light passing through the lens unit by the hardware filter.
  • the method may further include a fourth filtering level at which the image filtered by the software filter is input to the autofocusing unit in such a manner that the same image filtering algorithm as the predetermined image filtering algorithm is applied to the black and white image having the black and white image.
  • the surveillance camera further includes a viewing distance measuring unit measuring a viewing distance in front of the lens unit based on pixel values of a color image or a black and white image generated by the ISP, wherein the control unit comprises the first filtering level, the first filtering level; Selects one filtering level according to the visibility distance measured by the visibility distance measuring unit from a second filtering level and the third filtering level, and determines a filtering band of the hardware filter and a software filter according to the selected filtering level. You can control whether to filter.
  • the control unit blocks the visible light band of the light passing through the lens unit and passes the infrared band while the hardware filter temporarily blocks the visible infrared band of the light passing through the lens unit at every measurement period of the visibility distance.
  • the filtering band of the hardware filter is controlled to transmit the light band, and the visibility distance measuring unit blocks the infrared band of the light passing through the lens unit by the hardware filter at every measurement period of the visibility distance, and transmits the visible light band.
  • the viewing distance in front of the lens unit may be measured based on pixel values of the color image generated by the ISP.
  • the visibility distance measuring unit is a visibility distance in front of the lens unit based on the pixel values of the color image generated by the ISP when the infrared band of the light passing through the lens unit is blocked by the hardware filter and the visible light band is transmitted. Calculates the concentration of the element to reduce the value and sets the viewing distance in front of the lens in inverse proportion to the calculated concentration to measure the viewing distance in front of the lens, and the visible light of the light passing through the lens by the hardware filter. In the state where the band is blocked and the infrared band is transmitted, the concentration of the element for reducing the viewing distance in front of the lens unit is calculated based on the pixel values of the monochrome image generated by the ISP, and the weight is added to the calculated concentration. Later, the visibility distance in front of the lens unit is inversely proportional to the concentration to which the weight is added. Information may measure the time constant distance of the lens unit by the front.
  • the surveillance camera further includes a compression unit that compresses the color image generated by the ISP or compresses the color image or the black and white image filtered by the software filter, depending on whether the software filter is filtered.
  • a compression unit that compresses the color image generated by the ISP or compresses the color image or the black and white image filtered by the software filter, depending on whether the software filter is filtered.
  • the filtering band of the hardware filter and the filtering of the software filter may be controlled.
  • a video surveillance system includes: at least one surveillance camera including the surveillance camera; And a server displaying a color image or a black and white image transmitted to the user from the at least one surveillance camera through a network.
  • the hardware filter blocks one of the infrared band and the visible light band of the light passing through the lens part according to the current visibility state in front of the lens unit, and transmits the other, and the software filter performs the ISP (Image) according to the current visibility state in front of the lens unit.
  • ISP Image
  • a plurality of filtering levels based on a complex filtering scheme for filtering a color image or a black and white image generated by an ISP by removing an element that reduces the viewing distance in front of the lens unit from a color image or a black and white image generated by a signal processor).
  • the filtering band of the hardware filter and the filtering of the software filter are controlled according to one of the filtering levels corresponding to the current visibility state in front of the lens unit, so that the sharpness enough to always identify the target regardless of the visibility state in front of the surveillance camera. It can provide an image. Furthermore, by performing autofocusing using the analysis of the image which is always clearly provided based on such stepwise complex filtering, it is possible to always provide accurate autofocusing function regardless of the visibility state in front of the surveillance camera. It is possible to provide a high-quality image that is not affected by the corrective state of the.
  • the plurality of filtering levels can complement the limitations of the hardware optical filtering and the software image filtering by adopting a filtering method that combines the hardware optical filtering and the software image filtering.
  • the load of video filtering is reduced and images can be displayed by a low-performance surveillance camera. Can be filtered.
  • the four levels of filtering in the present embodiment are applied to the original image before the image compression on the surveillance camera side, the visibility of the image is not reduced due to the loss of images during the image compression and reconstruction process, and thus the viewing distance is very short. It can provide very accurate images even in bad weather or at night, while providing very accurate autofocusing.
  • FIG. 1 is a block diagram of a surveillance camera 10 according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a stepwise filtering method of the surveillance camera 10 shown in FIG. 1.
  • FIG. 3 is a diagram illustrating a filtering state of a first filtering level of the surveillance camera 10 illustrated in FIG. 1.
  • FIG. 4 is a diagram illustrating a filtering state of a second filtering level of the surveillance camera 10 illustrated in FIG. 1.
  • FIG. 5 is a diagram illustrating a filtering state of a third filtering level and a fourth filtering level of the surveillance camera 10 illustrated in FIG. 1.
  • FIG. 6 is a configuration diagram of a video surveillance system to which the surveillance camera 10 shown in FIG. 1 is applied.
  • the embodiments described below provide an accurate autofocusing function regardless of the forward visibility while providing an image of sufficient sharpness to always identify the target regardless of the forward visibility.
  • the present invention relates to a robust composite filtering surveillance camera and a video surveillance system to which the hybrid surveillance system is applied.
  • a surveillance camera of a hybrid filtering scheme that is robust to changes in visibility may also be referred to simply as a "surveillance camera”.
  • visible distance refers to the maximum distance that a person with normal vision can recognize any target in the horizontal direction
  • image As commonly used in the art, embodiments of the present invention are used to encompass images displayed on a monitor or the like, binary data representing such images, and the like.
  • the surveillance camera 10 may include a lens unit 11, an actuator 111, a hardware filter 12, an image sensor 13, an ISP (Image Signal Processor) 14, It consists of a software filter 15, a switch 151, a compression unit 16, a communication unit 17, an auto focusing unit 18, a visibility distance measuring unit 19, and a control unit 110.
  • Surveillance camera 10 according to the present embodiment may further include a housing, a memory, etc. in addition to the above-described components, but in order to prevent the features of the present embodiment from blurring, the general camera of the camera not related to the features of the present embodiment The description will be omitted.
  • Some of the above components may be implemented by a combination of a microprocessor, a memory in which a computer program is stored, and the like.
  • the lens unit 11 is composed of at least one lens.
  • the surveillance camera supports a zoom-in function of enlarging and photographing a target object when capturing a moving object, and a zoom-out function of widening an entire photographing area
  • the lens unit 11 includes a plurality of lenses to enable the zoom-in / zoom-out function. It consists of two lenses.
  • the lens unit 11 may be composed of a convex lens, a concave lens, and a convex lens embedded in the cylindrical barrel.
  • the focus position of the lens unit 11 can be changed by moving the position of the one lens.
  • the focus position of the lens unit 11 can be changed by moving the positions of any one or several of them, which is called a focus lens. Since the lens unit 11 is not related to the features of the present embodiment, detailed descriptions thereof will be omitted in order to prevent blurring of the features of the present embodiment.
  • the actuator 111 moves the position of at least one lens of the lens unit 11 under the control of the auto focusing unit 18.
  • the actuator 111 is one lens under the control of the auto focusing unit 18. Move the position of.
  • the actuator 111 moves the positions of the plurality of lenses corresponding to the focus lens under the control of the auto focusing unit 18.
  • the actuator 111 may be configured as a motor that provides power to move the position of at least one lens of the lens unit 11, a means for converting the rotational motion of the motor into a linear motion of the lens, and the like.
  • the hardware filter 12 blocks one of an infrared ray band and a visible ray band of light passing through the lens unit 11 according to the current visibility state in front of the lens unit 11, and blocks the other one. Permeate. When the weather is clear and the visibility is good, the hardware filter 12 blocks the infrared band of the light passing through the lens unit 11 and transmits the visible light band. If the visibility is poor due to night or bad weather, the hardware filter 12 blocks the visible light band of the light passing through the lens unit 11 and transmits the infrared band. As the infrared band is filtered by the hardware filter 12 and the visible light band is transmitted, the light of the visible light band emitted from the hardware filter 12 is used to generate a color image, and the hardware filter 12 displays the visible light band. As the filtered and infrared band is transmitted, the light of the infrared band emitted from the hardware filter 12 is used to generate a black and white image.
  • the hardware filter 12 is a kind of optical filter that transmits only a specific band of light, and may be implemented by stacking various kinds of dielectrics, and may be referred to as a "dielectric filter” or a "dielectric lens.”
  • the hardware filter 12 is formed in a rectangular flat plate shape to block the infrared band of the incident light and transmit the visible light band, and to block the visible band of the incident light and transmit the infrared band. It is composed.
  • the hardware filter 12 is moved under the control of the controller 110 so that any one of an infrared ray blocking region and a visible ray blocking region is located behind the lens unit 11.
  • the hardware filter 12 may be formed in various forms, in which two original plates similar to the shape of the lens are bonded together in addition to the rectangular flat plate shape.
  • the hardware filter 12 blocks the infrared band of the light passing through the lens unit 11 and transmits the visible light band.
  • the visible light blocking area of the hardware filter 12 is positioned behind the lens unit 11, the hardware filter 12 blocks the visible light band of the light passing through the lens unit 11 and transmits the infrared band. Since the drive system for the movement of the hardware filter 12 can be implemented in a very simple structure, the infrared band of the light passing through the lens unit 11 with a structure that hardly causes performance deterioration due to secular variation at a very low cost. Only one of the visible light bands may be selectively transmitted.
  • the image sensor 13 converts light passing through the hardware filter 12 into an electrical signal.
  • the image sensor 13 may be classified into a charge coupled device (CCD) sensor and a complementary metal-oxide semiconductor (CMOS) sensor. This image sensor 13 responds to both infrared and visible light and converts it into an electrical signal.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • This image sensor 13 responds to both infrared and visible light and converts it into an electrical signal.
  • the infrared rays irradiated onto the image sensor 13 act as a factor of degrading the image quality of the color image, and the monochrome image is output from the signal output from the image sensor 13.
  • the visible light irradiated to the image sensor 13 serves as a factor of degrading the image quality of the black and white image.
  • the hardware filter 12 blocks any one of the infrared band and the visible light band of the light passing through the lens unit 11 and passes the other one according to the correcting state in front of the
  • the ISP 14 generates a color image or a black and white image according to the band of light emitted from the hardware filter 12 from the signal output from the image sensor 13.
  • the ISP 14 determines from the signal output from the image sensor 13.
  • the ISP 14 detects the image sensor 13. Generates a black and white image from the signal output from.
  • the ISP 14 basically interpolates the value of each pixel of the Bayer pattern image of the signal output from the image sensor 13 to color or monochrome image of LVDS (Low Voltage Differential Signaling) format. Create The ISP 14 may further perform image enhancement processing such as removing noise of the color image or the black and white image generated in this way, correcting backlight, and adjusting the color to be close to natural colors.
  • image enhancement processing such as removing noise of the color image or the black and white image generated in this way, correcting backlight, and adjusting the color to be close to natural colors.
  • the software filter 15 removes an element that reduces the visibility distance in front of the lens unit 11 from the color image or the black and white image generated by the ISP 14 according to the current visibility state in front of the lens unit 11.
  • the color image or the black and white image generated by 14 is filtered.
  • An element that reduces the visibility distance in front of the lens unit 11 may be representatively fog, and in addition to the yellow sand, rainfall, snowfall, night. Fog particles in the air cause light scattering and distort the image.
  • the element for reducing the visibility distance as described above may be referred to simply as "corrective obstacle element".
  • the software filter 15 reduces the visibility distance in front of the lens unit 11 to the color image or the black and white image generated by the ISP 14 according to the current visibility state in front of the lens unit 11.
  • the color image or the black and white image generated by the ISP 14 is filtered by applying a predetermined image filtering algorithm for removing the element.
  • An example of a predetermined image filtering algorithm for removing an element that reduces the viewing distance in front of the lens unit 11 may be a DCP algorithm.
  • the DCP algorithm predicts the fog concentration by using the statistical property that the minimum value of all RGB (Red Green Blue) channels always exists in a normal area without fog, and according to the predicted fog concentration Algorithm for removing fog from images. That is, the software filter 15 applies the DCP algorithm to the color image or the black and white image generated by the ISP 14 according to the current visibility state in front of the lens unit 11, thereby generating the color image generated by the ISP 14. Alternatively, the black and white image may be filtered.
  • an image filtering algorithm for example, a histogram equalization algorithm
  • the histogram smoothing algorithm is an algorithm for smoothing the histogram that shows the frequency of the brightness values of pixels of the image in the form of a bar graph.
  • the histogram smoothing algorithm may improve the sharpness of the image by redistributing the brightness distribution of the image to maximize the contrast. That is, the software filter 15 is generated by the ISP 14 by applying the DCP algorithm and the histogram smoothing algorithm to the color image or the monochrome image generated by the ISP 14 according to the current visibility state in front of the lens unit 11. Color image or black and white image can be filtered. Since the DCP algorithm and the histogram smoothing algorithm are known to those skilled in the art, the detailed description thereof will be omitted in order to prevent blurring the features of the present embodiment.
  • Korean Patent Registration No. 10-1426298, "Image Correction Apparatus and Method for Increased Fog Removal Rate,” and Korean Patent Registration No. 10-1534646, "Image Processing Apparatus and Method for Removing Fog from Images,” are provided by a digital camera.
  • Various fog removal algorithms are applied to the image.
  • a digital camera such as the surveillance camera 10 or the like compresses an image and transmits the image to a device having an image display function such as a personal computer (PC).
  • PC personal computer
  • the software filter 15 applies an image filtering algorithm such as a DCP algorithm, a histogram smoothing algorithm, or the like to a lossless image of the LVDS format generated by the ISP 14 before compression of the image data, thereby making the image filtering algorithm a small file. Even in this case, the effect of image enhancement is very excellent.
  • the microprocessor performing the ISP 14 function may also perform the software filter 15 function
  • the software filter 15 may be implemented as a separate DSP (Digital Signal Processor) due to the performance limitation of the microprocessor. Do.
  • the software filter 15 is lossless in the LVDS format generated by the ISP 14 according to any one filtering level selected according to the current visibility state in front of the lens unit 11 among the plurality of filtering levels. The same image filtering algorithm is always applied to the image. Accordingly, the software filter 15 can be implemented with a DSP of relatively low performance.
  • the compression unit 16 compresses the color image generated by the ISP 14 or the software filter 15 according to whether the software filter 15 filters the color image or the black and white image generated by the ISP 14. Compresses the filtered color or black and white image.
  • the compression unit 16 compresses the color image generated by the ISP 14. Done.
  • the compression unit 16 compresses the color image or the black and white image filtered by the software filter 15.
  • the compression unit 16 may compress the color image or the black and white image filtered by the software filter 15 according to various codecs such as H.264 and High Efficiency Video Codec (HEVC).
  • the communication unit 17 transmits the image compressed by the compression unit 16 to a device for displaying the image captured by the surveillance camera 10 to a user, for example, a computer of a control center.
  • a device for displaying the image captured by the surveillance camera 10 to a user
  • the communication unit 17 may transmit the image compressed by the compression unit 16 to a video display device through a network according to Transmission Control Protocol / Internet Protocol (TCP / IP).
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the auto focusing unit 18 uses the lens unit (B) to analyze the color image generated by the ISP 14 according to whether the software filter 15 filters the color image or the black and white image generated by the ISP 14. Autofocusing of 11) or autofocusing of the lens unit 11 is performed using the analysis of the color image or the black and white image filtered by the software filter 15.
  • the autofocusing unit 18 may include at least one lens of the lens unit 11.
  • the auto focusing unit 18 controls the operation of the actuator 111 so that the distance between the at least one lens of the lens unit 11 and the image sensor 13 is changed, and at least one of the lens unit 11 is controlled.
  • the lens is moved by a unit distance, a color image generated by the ISP 14 is input, a discrete wavelet transform is performed on the input color image, and a result of the discrete wavelet transform is obtained.
  • Autofocusing is performed in such a manner that the position of at least one lens of the lens unit 11 is determined as the focusing position of the lens unit 11 at the moment when the magnitude of the high frequency component among the low frequency component and the high frequency component is maximized.
  • the position of the at least one lens of the lens unit 11 at the moment when the magnitude of the high frequency component of the result of the discrete wavelet transform becomes maximum is the lens.
  • the portion 11 is in the most precisely focused position.
  • the auto focusing unit 18 may determine the distance between the at least one lens of the lens unit 11 and the image sensor 13. Analyze the change in the sharpness of the color image or the black and white image filtered by the software filter 15 while controlling the operation of the actuator 111 so that is changed. Autofocusing is performed in such a manner as to determine the position of at least one lens of the lens portion 11 at the high moment as the focusing position of the lens portion 11.
  • the auto focusing unit 18 controls the operation of the actuator 111 so that the distance between the at least one lens of the lens unit 11 and the image sensor 13 is changed, and at least one of the lens unit 11 is controlled.
  • the lens is moved by a unit distance, the color image or the black and white image filtered by the software filter 15 is input, the discrete wavelet transform is performed on the input color image or the black and white image, and the result of the discrete wavelet transform is performed.
  • Autofocusing is performed by determining the position of at least one lens of the lens unit 11 as the focusing position of the lens unit 11 when the magnitude of the high frequency component among the low frequency component and the high frequency component of the value becomes the maximum.
  • the autofocusing unit 18 may perform autofocusing by using various methods such as a contrast detection method and a phase difference detection method, which are one of manual methods, in addition to the above-described method.
  • the viewing distance measuring unit 19 measures the viewing distance in front of the lens unit 11 based on pixel values of a color image or a black and white image generated by the ISP 14.
  • the visibility of the lens unit 11 can be measured using equipment that automatically calculates the visibility by analyzing atmospheric components, such equipment is very expensive. For this reason, surveillance cameras distributed and distributed in several regions are generally bundled by region, and one is installed in each region. As a result, there is a problem that the visibility distance cannot be measured accurately for each surveillance camera.
  • techniques for measuring a viewing distance in software based on an output image of a surveillance camera have emerged. Examples of such a prior art include the Republic of Korea Patent No. 10-0715140 "correction measurement apparatus and method thereof", Republic of Korea Patent No. 10-1032160 "road visibility measurement system and method using a camera” and the like.
  • the prior art measures visibility based on images provided from digital cameras.
  • a digital camera such as the surveillance camera 10 compresses and transmits an image
  • the digital camera restores image data compressed by the digital camera. In this process, image loss occurs.
  • the accuracy of the vision distance calculated from the lost image is limited.
  • the viewing distance measuring unit 19 measures the viewing distance in front of the lens unit 11 based on pixel values of a lossless image of the LVDS format generated by the ISP 14 before compression of the image data. Under the premise of using the same algorithm as the technique, the viewing distance in front of the lens portion 11 can be measured more accurately than in the prior art.
  • the visibility distance measuring unit 19 is preferably implemented as a separate DSP like the software filter 15.
  • FIG. 2 is a diagram illustrating a stepwise filtering method of the surveillance camera 10 shown in FIG. 1.
  • the corrected state in front of the lens unit 11 is divided into a clear state, a mist state, a farm state, and a night state.
  • the surveillance camera 10 according to the present exemplary embodiment may filter the image by the stepwise filtering of the image according to the current visibility state in front of the lens unit 11 with the four levels of filtering levels corresponding to the four levels of the visibility states thus divided. 11) Even if the forward visibility changes, it is possible to always provide an image with sufficient sharpness to identify the target.
  • the four levels of filtering levels in the present embodiment can complement the limitations of the hardware optical filtering and the limitations of the software image filtering by adopting a filtering method that combines the hardware optical filtering and the software image filtering.
  • a filtering method that combines the hardware optical filtering and the software image filtering.
  • the present embodiment uses the analysis of the color image generated by the ISP 14 according to whether the software filter 15 filters the color image or the black and white image generated by the ISP 14.
  • the autofocusing of the unit 11 is performed or the autofocusing of the lens unit 11 is performed using the analysis of the color image or the black and white image filtered by the software filter 15.
  • the present embodiment performs autofocusing based on the analysis of the color image or the black and white image which is always provided clearly regardless of the visibility state in front of the surveillance camera based on the stepwise complex filtering scheme as described above.
  • the higher the sharpness of the image the easier subject discrimination and the higher the accuracy of autofocusing.
  • the present embodiment can always provide an accurate autofocusing function regardless of the visibility state in front of the surveillance camera.
  • the higher the accuracy of autofocusing the better the image quality. As a result, it is possible to provide a high quality image that is not affected by the visibility of the front of the surveillance camera.
  • the embodiment of the present invention performs autofocusing by a kind of manual method using an analysis of color or black and white images which are always clearly provided regardless of the visibility state in front of the surveillance camera based on the complex filtering scheme as described above. That is, the change of the sharpness of the color image or the black and white image which is always provided clearly and analyzes the position of the at least one lens of the lens unit 11 at the moment when the sharpness of the color image or the black and white image is the highest focus of the lens unit 11 Since autofocusing is performed by a kind of manual method of determining a custom position, it does not have the disadvantage of an active method that emits ultrasonic waves or infrared rays to measure a distance from a subject. Therefore, the present embodiment not only focuses well even when the visibility state in front of the surveillance camera is poor, but also focuses well when there is an obstacle such as a window between the camera and the subject.
  • This embodiment corresponds to an optimal combination of hardware optical filtering and software image filtering that can maximize the effect of eliminating visibility obstacles while minimizing the load of image filtering step by step according to the visibility state in front of the surveillance camera 10.
  • a complex filtering scheme of four levels of filtering the load of image filtering is reduced, so that images can be filtered by a low-performance surveillance camera. For example, when the concentration of visual disturbance factors such as fog is high, the load of image filtering increases. In this case, the load of image filtering decreases as a black and white image is generated.
  • the four levels of filtering in the present embodiment are applied to the original image before the image compression on the surveillance camera 10 side, the visibility of the image is not reduced due to the loss of the image during the image compression and reconstruction process. Can provide images with very good clarity even in very short weather or night conditions.
  • the accuracy of autofocusing is also improved, so that it is possible to provide a very accurate autofocusing function in bad weather or night conditions with very short viewing distance.
  • the control unit 110 may be configured to select a filtering level from which the image input to the compression unit 16 and the autofocusing unit 18 is determined differently depending on the filtering band of the hardware filter 12 and whether the software filter 15 is filtered.
  • the filtering band of the hardware filter 12 and the filtering of the software filter 15 are controlled according to any one filtering level corresponding to the current visibility state in front of the lens unit 11. As described above, the plurality of filtering levels are divided into a first filtering level, a second filtering level, a third filtering level, and a fourth filtering level corresponding to four levels of visibility, and are corrected in front of the lens unit 11.
  • At least one of the filtering band of the hardware filter 12 and the filtering of the software filter 15 is different for each filtering level so that an image of sharpness sufficient to always identify a target is always not affected by the change of state. Is selected. That is, the controller 110 selects one filtering level according to the visibility distance measured by the visibility distance measuring unit 19 among the first filtering level, the second filtering level, the third filtering level, and the fourth filtering level. The filtering band of the hardware filter 12 and the filtering of the software filter 15 are controlled according to the selected filtering level.
  • control unit 110 may be any one of an infrared ray blocking region and a visible ray blocking region of the hardware filter 12 behind the lens unit 11 according to the visibility distance measured by the visibility distance measuring unit 19. It is possible to control the filtering band of the hardware filter 12 by controlling the movement of the hardware filter 12 so that the region of.
  • the controller 110 connects the image output terminal of the ISP 14 to the image input terminal of the compression unit 16 and the image input terminal of the auto focusing unit 18 according to the visibility distance measured by the visibility distance measuring unit 19. Or filtering the software filter 15 by controlling the switching of the switch 151 to be connected to the image input terminal of the software filter 15.
  • the video output terminal of the ISP 14 is connected to the contact point at which the signal is introduced among the three contacts of the switch 151, and the video input terminal and the autofocusing unit of the compression unit 16 are connected to one of the two contact points at which the signal is output.
  • An image input terminal 18 is connected and the other image input terminal of the software filter 15 is connected.
  • the switch 151 may be implemented by a combination of switching transistors, may be embedded in the software filter 15, or may be installed between the ISP 14 and the software filter 15.
  • the "clear state” refers to a state in which a target, such as an intruder, is easily identified from an image captured by the surveillance camera 10 as the weather is clear and there is almost no image distortion due to fog, yellow dust, rainfall, snowfall, and the like. It means that the viewing distance in front of the lens unit 11 is "a" meters or more.
  • the "clear state” may be a state in which the viewing distance in front of the lens unit 11 is 1000 meters or more.
  • this "sunny state” hardware light filtering and software image filtering are performed according to the first filtering level among the plurality of filtering levels.
  • an image of sufficient sharpness to identify the target can be generated from the visible light band light passing through the lens unit 11 without any filtering process.
  • the image since there are almost no visibility obstacles such as fog in the image output from the ISP 14, the image may be distorted when the image output from the ISP 14 is filtered by the software filter 15.
  • the first filtering level is the lens unit 11 by the hardware filter 12 so that a clear image may be generated from the light passing through the lens unit 11 by the surveillance camera 10 in the “clear state”.
  • the filtering method in which the color image output from the ISP 14 is directly input to the compression unit 16 and the auto focusing unit 18 while the infrared band of the light passing through is blocked and the visible light band is transmitted. That is, when the visibility distance measured by the visibility distance measurement unit 19 belongs to a section “a” or more corresponding to the “sunny state”, the controller 110 is applied to the “sunny state” among the plurality of filtering levels.
  • the first filtering level is selected, and the movement of the hardware filter 12 is controlled so that the infrared cut-off area of the hardware filter 12 is located behind the lens unit 11 according to the first filtering level.
  • the switching of the switch 151 is controlled so that the image output terminal is connected to the image input terminal of the compression unit 16 and the image input terminal of the autofocusing unit 18. Accordingly, at the first filtering level, the hardware filter 12 blocks the infrared band of the light passing through the lens unit 11 and transmits the visible light band, and the software filter 15 transmits the color image output from the ISP 14.
  • the color image output from the ISP 14 without being filtered is output to the compression unit 16 and the auto focusing unit 18 as it is.
  • the “fog state” refers to a state in which the visibility distance is reduced due to a light fog in front of the lens unit 11, and the visibility distance is reduced to the extent that the light fog is caused by yellow dust, rainfall, snowfall, etc. in addition to the fog. It means that the viewing distance in front of the lens unit 11 is less than "a" meters and more than "b" meters.
  • the "fog state” may be a state in which the viewing distance in front of the lens unit 11 is less than 1000 meters and 300 meters or more.
  • the second filtering level is the lens unit 11 by the hardware filter 12 so that a clear image can be generated from the light passing through the lens unit 11 by the surveillance camera 10 in the " fog state ".
  • the color image output from the ISP 14 is filtered by the software filter 15, and then the compression unit 16 and the auto focusing unit 18 are processed.
  • Input filtering method That is, when the visibility distance measured by the visibility distance measurement unit 19 is in a section of less than "a" meter corresponding to "fuel state" and more than "b” meters, the control unit 110 may select "from among the plurality of filtering levels.
  • the hardware filter 12 blocks the infrared band of the light passing through the lens unit 11 and transmits the visible light band, and the software filter 15 transmits the color image output from the ISP 14.
  • the filter is filtered and output to the compression unit 16 and the auto focusing unit 18.
  • FIG. 5 is a diagram illustrating a filtering state of a third filtering level and a fourth filtering level of the surveillance camera 10 illustrated in FIG. 1.
  • the "agricultural state” is a state in which the visibility distance is reduced due to heavy fog in front of the lens unit 11, and the visibility distance is reduced to such an extent that the heavy fog is caused by yellow dust, rainfall, snowfall, etc. in addition to the fog. It means that the viewing distance in front of the lens unit 11 is less than "b" meters and more than “c” meters.
  • the "agricultural state” may be a state in which the viewing distance in front of the lens unit 11 is less than 300 meters and more than 10 meters.
  • the "night state” is a state in which the front of the lens unit 11 becomes dark due to the disappearance of sunlight at night, and the visibility distance is reduced, so that the sunlight disappears at night due to bad weather in addition to the night time zone. It means a state in which the visibility distance is reduced, and the visibility distance in front of the lens unit 11 is less than "c" meters.
  • the “night state” may be a state in which the viewing distance in front of the lens unit 11 is less than 10 meters. In this "night state", hardware light filtering and software image filtering are performed according to the fourth filtering level among the plurality of filtering levels.
  • the object emits infrared rays of various wavelengths according to its temperature, and since infrared rays are less scattered by visibility obstacles such as fog than visible light, infrared rays emitted from an object mostly pass through visibility obstacles such as fog and (11) is reached. For this reason, in the "agricultural state” and the “night state", the black and white generated from the light of the infrared band emitted from the lens unit 11 rather than the image quality of the color image generated from the light of the visible light band emitted from the lens unit 11 The picture quality is much better.
  • the third filtering level and the fourth filtering level are basically blocked by the hardware filter 12 in the state where the visible light band of the light passing through the lens unit 11 is blocked and the infrared band is transmitted.
  • the black and white image output from 14 is filtered by the software filter 15 and then input to the compression unit 16 and the auto focusing unit 18.
  • this embodiment inverts the luminance value of each pixel of the monochrome image output from the ISP 14 in order to increase the brightness of the monochrome image output from the ISP 14 in the "night state".
  • the software filter 15 subtracts the luminance value of each pixel of the monochrome image output from the ISP 14 from the maximum luminance value and sets the subtraction result to the luminance value of each pixel of the monochrome image output from the ISP 14.
  • the luminance value of each pixel of the monochrome image output from the ISP 14 can be reversed.
  • the maximum luminance value may be 255.
  • the third filtering level is the lens unit 11 by the hardware filter 12 so that a clear image can be generated from the light passing through the lens unit 11 by the surveillance camera 10 in the "agricultural state".
  • the black-and-white image filtered by the software filter 15 in such a way that an image filtering algorithm such as a DCP algorithm is applied to the black-and-white image output from the ISP 14 while the visible light band of the light passing through is blocked and the infrared band is transmitted.
  • This is a filtering method input to the compression unit 16 and the auto focusing unit 18.
  • the control unit 110 may select from among the plurality of filtering levels. Select the third filtering level applied to the "agricultural state", and control the movement of the hardware filter 12 such that the visible light blocking area of the hardware filter 12 is located behind the lens unit 11 according to the third filtering level.
  • the switching of the switch 151 is controlled such that the image output terminal of the ISP 14 is connected to the image input terminal of the software filter 15, and the image filtering algorithm is applied while the monochrome image output from the ISP 14 is not inverted.
  • the operation of the software filter 15 is controlled as much as possible.
  • the fourth filtering level is the lens unit 11 by the hardware filter 12 so that a clear image can be generated from the light passing through the lens unit 11 by the surveillance camera 10 in the "night state".
  • the luminance value of each pixel of the monochrome image output from the ISP 14 is inverted while the visible ray band of the light passing through is blocked and the infrared band is transmitted, and the DCP algorithm is applied to the monochrome image having the inverted luminance value.
  • a black and white image filtered by the software filter 15 is input to the compression unit 16 and the auto focusing unit 18 in a manner that the same image filtering algorithm is applied.
  • the luminance value of each pixel of the monochrome image may be inverted again and input to the compression unit 16 and the autofocusing unit 18. That is, when the visibility distance measured by the visibility distance measurement unit 19 belongs to a section that is less than "c" meter corresponding to the "night state", the controller 110 is applied to the "night state” among the plurality of filtering levels.
  • the fourth filtering level is selected, and the movement of the hardware filter 12 is controlled so that the visible light blocking area of the hardware filter 12 is located behind the lens unit 11 according to the fourth filtering level.
  • the switching of the switch 151 is controlled so that the image output terminal is connected to the image input terminal of the software filter 15, and the image filtering algorithm is applied so that the image filtering algorithm is applied while the monochrome image output from the ISP 14 is inverted. Control the operation.
  • the hardware filter 12 blocks the visible light band of the light passing through the lens unit 11 and transmits the infrared band, and the software filter 15.
  • the filter filters the black and white images output from the ISP 14 by applying an image filtering algorithm to the black and white images output from the ISP 14 and outputs them to the compression unit 16 and the auto focusing unit 18.
  • the hardware filter 12 blocks the visible light band of the light passing through the lens unit 11 and transmits the infrared band
  • the software filter 15 controls the black and white image output from the ISP 14.
  • the software filter 15 By inverting the luminance value of each pixel and filtering the monochrome image output from the ISP 14 by applying an image filtering algorithm to the monochrome image having the inverted luminance value, the compression unit 16 and the autofocusing unit ( 18) As described above, the software filter 15 does not use a different image filtering algorithm for each filtering level, and uses the same image filtering algorithm at the second, third, and fourth filtering levels.
  • the camera 10 may also perform image filtering smoothly.
  • the infrared band is filtered by the hardware filter 12 and the visible ore band is transmitted, thereby generating a color image by the ISP 14, and at the third and fourth filtering levels.
  • the visible light band is filtered by the hardware filter 12 and the infrared band is transmitted, the black and white image is generated by the ISP 14.
  • the control unit 110 blocks the visible light band of the light passing through the lens unit 11 and transmits the infrared band to the hardware filter 12 every measurement period of the visibility distance of the visibility distance measuring unit 19. ) May temporarily control the filtering band of the hardware filter 12 to block the infrared band of the light passing through the lens unit 11 and transmit the visible light band.
  • control unit 110 measures the visibility distance of the visibility distance of the visibility distance measurement unit 19 while the visible light blocking area of the hardware filter 12 is located behind the lens unit 11 (for example, After 10 seconds), the infrared ray blocking area of the hardware filter 12 is positioned behind the lens unit 11, and after a while (for example, 1 ms), the visible light blocking area of the hardware filter 12 is placed behind the lens unit 11.
  • the movement of the hardware filter 12 can be controlled to be located.
  • the viewing distance measuring unit 19 is generated by the ISP 14 in a state where the infrared band of the light passing through the lens unit 11 is blocked by the hardware filter 12 and the visible light band is transmitted by the hardware filter 12 at every measurement period of the viewing distance.
  • the viewing distance in front of the lens unit 11 may be measured based on the pixel values of the color image. According to this method, since the color image is always generated by the ISP 14 every measurement period of the visibility distance of the visibility distance measuring unit 19, the visibility distance is always measured accurately regardless of the visibility state in front of the lens unit 11. The advantage is that it can be.
  • the visibility distance measuring unit 19 is configured to block pixel values of the color image generated by the ISP 14 when the infrared band of the light passing through the lens unit 11 is blocked by the hardware filter 12 and the visible light band is transmitted. Based on this, the concentration of the element for reducing the viewing distance in front of the lens unit 11 is calculated, and the viewing distance in front of the lens unit 11 is set by setting the viewing distance in front of the lens unit 11 in inverse proportion to the calculated concentration. You can measure the distance.
  • the viewing distance measuring unit 19 subtracts the concentration of the element that reduces the viewing distance in front of the lens unit 11 from the reference value of the viewing distance in front of the lens unit 11, and subtracts the result of the subtraction from the lens unit ( 11) It can be set as forward visibility distance. If the reference value of the viewing distance in front of the lens unit 11 is too small, it may be measured that the visibility is poor even though the visibility of the front of the lens unit 11 is good. If the reference value of the viewing distance in front of the lens unit 11 is too large, the lens Even if the visibility in front of the part 11 is poor, it can be measured that the visibility is good.
  • the reference value of the viewing distance in front of the lens unit 11 is a value that can be changed compared to the performance of the lens unit 11, and is set to a value at which the viewing distance in front of the lens unit 11 can be accurately determined through several tests. Is preferred.
  • the viewing distance measuring unit 19 blocks the visible light band of the light passing through the lens unit 11 by the hardware filter 12 and the pixel values of the monochrome image generated by the ISP 14 when the infrared band is transmitted. Calculate the concentration of the element that reduces the viewing distance in front of the lens unit 11 on the basis of, and add the weight to the calculated concentration in this way, and then the viewing distance in front of the lens unit 11 in inverse proportion to the concentration to which the weight is added. By setting this, the visibility distance in front of the lens unit 11 can be measured.
  • the weight means the difference in sharpness between the color image and the black and white image generated by the ISP 14 under the same condition of the front of the lens unit 11.
  • the viewing distance measuring unit 19 subtracts the sum of the concentration and the weight of the element that reduces the viewing distance in front of the lens unit 11 from the reference value of the viewing distance in front of the lens unit 11, and the subtraction result. It can be set to the viewing distance in front of the lens unit (11).
  • the viewing distance measuring unit 19 may change the brightness of the pixel values of the color image or the black and white image generated by the ISP 14, and the color image or the black and white image generated by the ISP 14.
  • the concentration of the element for reducing the viewing distance in front of the lens unit 11 may be calculated from at least one of the number of pixels representing the outline of the object.
  • the brightness of the pixel values of the image is gradually changed, and the outline of the object in the image is blurred as compared to the case where the visibility state is good.
  • the difference in brightness of pixel values of the image decreases and the number of pixels representing the outline of the object decreases.
  • FIG. 6 is a configuration diagram of a video surveillance system to which the surveillance camera 10 shown in FIG. 1 is applied.
  • the video surveillance system includes a plurality of surveillance cameras 10 including a surveillance camera 10 shown in FIG. 1, a plurality of hubs 20, and a server 30. do.
  • the plurality of surveillance cameras 10 are sporadically installed all over the surveillance region and transmit the captured images to the server 30 via the network according to the embodiment as described above. If the surveillance area is very narrow, only one surveillance camera 10 may be installed.
  • the plurality of hubs 20 enable network communication between the plurality of surveillance cameras 10 and the server 30 by connecting the plurality of surveillance cameras 10 to the network and connecting the server 30 to the network.
  • the server 30 is installed in the control center receives a color image or a black and white image transmitted through a network from the plurality of surveillance cameras 10, and displays the received color image or black and white image to the user.
  • the server 30 reduces the visibility distance in front of the lens unit 11 from the color image or the black and white image transmitted from the surveillance camera 10 according to the current visibility state in front of the lens unit 11 of the surveillance camera 10. By removing the color image or the black and white image transmitted from the surveillance camera 10 can be filtered. Since the hardware performance of the server 30 is very superior to the hardware performance of the surveillance camera 10, the high capacity image filtering algorithm may be smoothly executed in the server 30.
  • the black-and-white image photographed by the surveillance camera 10 in the night or in bad weather conditions may lack the sharpness even if filtered according to the fourth filtering level, so that the server 30 transmits the monochrome image transmitted from the surveillance camera 10.
  • an image filtering algorithm of higher performance than the image filtering algorithm executed by the surveillance camera 10 it is possible to provide the user with a black and white image with sufficient sharpness to identify the target.

Abstract

시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템에 관한 것으로, 렌즈부를 통과한 광의 적외선 대역과 가시광선 대역 중 어느 하나를 차단하고 다른 하나를 투과시키는 하드웨어필터와 ISP(Image Signal Processor)에 의해 생성된 컬러영상 또는 흑백영상으로부터 렌즈부 전방의 시정거리를 감소시키는 요소를 제거함으로써 ISP에 의해 생성된 컬러영상 또는 흑백영상을 필터링하는 소프트웨어필터를 포함하고, 복수의 필터링레벨 중에서 렌즈부 전방의 현재 시정상태에 대응하는 어느 하나의 필터링레벨에 따라 하드웨어필터의 필터링 대역과 소프트웨어필터의 필터링 여부가 제어됨으로써 감시카메라 전방의 시정상태에 관계없이 항상 목표물을 식별하기에 충분한 선명도의 영상을 제공할 수 있고, 단계적 복합 필터링을 통해 제공되는 영상의 분석을 이용하여 오토포커싱을 수행함으로써 감시카메라 전방의 시정상태에 관계없이 항상 정확한 오토포커싱 기능을 제공할 수 있다.

Description

시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템
특정 지역을 촬영하여 해당 지역을 감시하기 위한 감시카메라 및 그것이 적용된 영상감시시스템에 관한 것이다.
건물의 지하 주차장, 고속도로, 공항, 항구, 국경선 등에는 각종 사고를 예방하거나 기록하기 위해 감시카메라를 설치하여 운용하고 있다. 그런데, 안개, 황사, 강우, 강설 등의 자연현상은 빛을 흡수하거나 산란시킴으로써 감시카메라에 의해 촬영된 영상의 화질을 떨어뜨리고 감시를 방해하는 요인으로 작용한다. 감시카메라에 의해 촬영된 영상의 화질, 특히 선명도가 떨어지면 감시카메라에 의해 촬영된 영상으로부터 침입자의 얼굴, 차량 번호판 등을 식별해 낼 수 없어 각종 사고를 예방하거나 기록하기 위한 감시카메라로서의 역할을 다할 수 없다. 안개, 황사, 강우, 강설 등은 정상적인 시력을 가진 사람이 수평방향으로 어떠한 목표물을 인식할 수 있는 최대 거리인 시정거리를 감소시키는 시정장애요소로서 감시카메라에 의해 촬영된 영상으로부터 이러한 시정장애요소를 제거하기 위한 연구가 활발하게 진행되어 왔다.
안개, 황사, 강우, 강설 중에서 가장 빈번하게 발생되는 안개에 대해서는 영상으로부터 안개를 제거하기 위한 각종 알고리즘이 특허나 논문을 통하여 끊임없이 발표되어 왔다. 예를 들어, 대한민국등록특허 제10-1426298호 "안개 제거율을 높인 영상보정장치 및 방법", 대한민국등록특허 제10-1534646호 "영상에서 안개를 제거하기 위한 영상 처리 장치 및 방법" 등은 디지털 카메라로부터 제공된 영상에 다양한 소프트웨어 방식의 안개 제거 알고리즘을 적용하였다. 그러나, 이러한 종래기술은 감시카메라 전방의 시정상태를 고려하지 않음에 따라 감시카메라 전방의 시정상태가 변화되면 그에 따라 디지털 카메라로부터 제공된 영상의 선명도도 변화될 수 밖에 없고 소프트웨어 알고리즘의 선명도 개선 한계로 인해, 감시카메라 전방의 시정상태에 따라 감시카메라에 의해 촬영된 영상으로부터 어떠한 목표물을 식별해낼 수 없는 상황이 발생할 수 있다는 문제점이 있었다.
감시카메라 전방의 시정상태에 따른 영상의 선명도 차이는 감시카메라의 오토포커싱(auto-focusing)에 가장 많은 영향을 주게 된다. 오토포커싱은 피사체에 초점이 자동으로 맞춰지도록 하는 카메라의 기능으로서 피사체와의 거리 측정을 위해 초음파나 적외선을 방출하는 능동 방식과 피사체로부터 자연적으로 반사된 빛을 이용하여 초점을 맞추는 수동 방식으로 분류된다. 능동 방식은 야간이나 악천후 등 시정상태의 불량으로 인해 영상 선명도가 낮은 경우에도 초점을 잘 맞출 수 있으나, 카메라와 피사체 사이에 창문 등과 같은 장애물이 있을 경우에 초점을 맞출 수 없다는 단점을 갖고 있다. 반대로, 수동 방식은 카메라와 피사체 사이에 창문 등과 같은 장애물이 있을 경우에 초점을 잘 맞출 수 있는 반면, 시정상태가 불량하여 영상 선명도가 낮은 경우에 피사체 분별이 어려워 정확하게 초점을 맞출 수 없다는 단점을 갖고 있다.
감시카메라 전방의 시정상태의 변화에 관계없이 항상 목표물을 식별하기에 충분한 선명도의 영상을 제공할 수 있으면서 감시카메라 전방의 시정상태에 관계없이 항상 정확한 오토포커싱 기능을 제공할 수 있는 감시카메라를 제공하는 데에 있다. 또한, 이러한 감시카메라가 적용된 영상감시시스템을 제공하는 데에 있다. 또한, 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.
본 발명의 일 측면에 따른, 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라는 적어도 하나의 렌즈를 포함하는 렌즈부; 상기 렌즈부 전방의 현재 시정상태에 따라 상기 렌즈부를 통과한 광의 적외선 대역과 가시광선 대역 중 어느 하나를 차단하고 다른 하나를 투과시키는 하드웨어필터; 상기 하드웨어필터를 통과한 광을 전기적 신호로 변환하는 이미지센서; 상기 이미지센서로부터 출력된 신호로부터 상기 하드웨어필터로부터 출사된 광의 대역에 따라 컬러영상 또는 흑백영상을 생성하는 ISP(Image Signal Processor); 상기 렌즈부 전방의 현재 시정상태에 따라 상기 ISP에 의해 생성된 컬러영상 또는 흑백영상으로부터 상기 렌즈부 전방의 시정거리를 감소시키는 요소를 제거함으로써 상기 ISP에 의해 생성된 컬러영상 또는 흑백영상을 필터링하는 소프트웨어필터; 상기 소프트웨어필터의 필터링 여부에 따라 상기 ISP에 의해 생성된 컬러영상의 분석을 이용하여 상기 렌즈부의 오토포커싱을 수행하거나 상기 소프트웨어필터에 의해 필터링된 컬러영상 또는 흑백영상의 분석을 이용하여 상기 렌즈부의 오토포커싱을 수행하는 오토포커싱부; 및 상기 하드웨어필터의 필터링 대역 및 상기 소프트웨어필터의 필터링 여부에 따라 상기 오토포커싱부로 입력되는 영상이 결정되는 복수의 필터링레벨 중에서 상기 렌즈부 전방의 현재 시정상태에 대응하는 어느 하나의 필터링레벨에 따라 상기 하드웨어필터의 필터링 대역과 상기 소프트웨어필터의 필터링 여부를 제어하는 제어부를 포함한다.
상기 감시카메라는 상기 오토포커싱부의 제어에 따라 상기 렌즈부의 적어도 하나의 렌즈의 위치를 이동시키는 액추에이터를 더 포함하고, 상기 오토포커싱부는 상기 ISP에 의해 생성된 컬러영상 또는 흑백영상이 상기 소프트웨어필터에 의해 필터링된 경우에 상기 렌즈부의 적어도 하나의 렌즈와 상기 이미지 센서간의 거리가 변화되도록 상기 액추에이터의 동작을 제어하면서 상기 소프트웨어필터에 의해 필터링된 컬러영상 또는 흑백영상의 선명도 변화를 분석하고 상기 소프트웨어필터에 의해 필터링된 컬러영상 또는 흑백영상의 선명도가 가장 높은 순간의 상기 렌즈부의 적어도 하나의 렌즈의 위치를 상기 렌즈부의 초점 맞춤 위치로 결정하는 방식으로 오토포커싱을 수행할 수 있다.
상기 복수의 필터링레벨은 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 적외선 대역이 차단된 상태에서 상기 ISP로부터 출력되는 컬러영상이 직접 상기 오토포커싱부로 입력되는 제 1 필터링레벨, 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 적외선 대역이 차단된 상태에서 상기 ISP로부터 출력되는 컬러영상이 상기 소프트웨어필터에 의해 필터링된 후에 상기 오토포커싱부로 입력되는 제 2 필터링레벨, 및 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 가시광선 대역이 차단된 상태에서 상기 ISP로부터 출력되는 흑백영상이 상기 소프트웨어필터에 의해 필터링된 후에 상기 오토포커싱부로 입력되는 제 3 필터링레벨을 포함할 수 있다.
상기 제 3 필터링레벨에서는 상기 ISP로부터 출력된 흑백영상에 상기 시정거리를 감소시키는 요소를 제거하기 위한 소정의 영상필터링알고리즘이 적용되는 방식으로 상기 소프트웨어필터에 의해 필터링된 흑백영상이 상기 오토포커싱부로 입력되고, 상기 복수의 필터링레벨은 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 가시광선 대역이 차단된 상태에서 상기 ISP로부터 출력된 흑백영상의 각 픽셀의 휘도값이 반전되고, 상기 반전된 휘도값을 갖는 흑백영상에 상기 소정의 영상필터링알고리즘과 동일한 영상필터링알고리즘이 적용되는 방식으로 상기 소프트웨어필터에 의해 필터링된 영상이 상기 오토포커싱부로 입력되는 제 4 필터링레벨을 더 포함할 수 있다.
상기 감시카메라는 상기 ISP에 의해 생성된 컬러영상 또는 흑백영상의 픽셀 값들에 기초하여 상기 렌즈부 전방의 시정거리를 측정하는 시정거리 측정부를 더 포함하고, 상기 제어부는 상기 제 1 필터링레벨, 상기 제 2 필터링레벨, 및 상기 제 3 필터링레벨 중에서 상기 시정거리 측정부에 의해 측정된 시정거리에 따라 어느 하나의 필터링레벨을 선택하고, 상기 선택된 필터링레벨에 따라 상기 하드웨어필터의 필터링 대역과 상기 소프트웨어필터의 필터링 여부를 제어할 수 있다.
상기 제어부는 상기 하드웨어필터가 상기 렌즈부를 통과한 광의 가시광선 대역을 차단하고 적외선 대역을 투과시키는 동안에 상기 시정거리의 측정 주기마다 상기 하드웨어필터가 일시적으로 상기 렌즈부를 통과한 광의 적외선 대역을 차단하고 가시광선 대역을 투과시키도록 상기 하드웨어필터의 필터링 대역을 제어하고, 상기 시정거리 측정부는 상기 시정거리의 측정 주기마다 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 적외선 대역이 차단되고 가시광선 대역이 투과된 상태에서 상기 ISP에 의해 생성된 컬러영상의 픽셀 값들에 기초하여 상기 렌즈부 전방의 시정거리를 측정할 수 있다.
상기 시정거리 측정부는 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 적외선 대역이 차단되고 가시광선 대역이 투과된 상태에서는 상기 ISP에 의해 생성된 컬러영상의 픽셀 값들에 기초하여 상기 렌즈부 전방의 시정거리를 감소시키는 요소의 농도를 산출하고 상기 산출된 농도에 반비례하여 상기 렌즈부 전방의 시정거리를 설정함으로써 상기 렌즈부 전방의 시정거리를 측정하고, 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 가시광선 대역이 차단되고 적외선 대역이 투과된 상태에서는 상기 ISP에 의해 생성된 흑백영상의 픽셀 값들에 기초하여 상기 렌즈부 전방의 시정거리를 감소시키는 요소의 농도를 산출하고 상기 산출된 농도에 가중치를 가산한 후에 상기 가중치가 가산된 농도에 반비례하여 상기 렌즈부 전방의 시정거리를 설정함으로써 상기 렌즈부 전방의 시정거리를 측정할 수 있다.
상기 감시카메라는 상기 소프트웨어필터의 필터링 여부에 따라 상기 ISP에 의해 생성된 컬러영상을 압축하거나 상기 소프트웨어필터에 의해 필터링된 컬러영상 또는 흑백영상을 압축하는 압축부를 더 포함하고, 상기 제어부는 상기 하드웨어필터의 필터링 대역 및 상기 소프트웨어필터의 필터링 여부에 따라 상기 압축부와 상기 오토포커싱부로 입력되는 영상이 결정되는 복수의 필터링레벨 중에서 상기 렌즈부 전방의 현재 시정상태에 대응하는 어느 하나의 필터링레벨에 따라 상기 하드웨어필터의 필터링 대역과 상기 소프트웨어필터의 필터링 여부를 제어할 수 있다.
본 발명의 다른 측면에 따른 영상감시시스템은 상기 감시카메라를 포함하는 적어도 하나의 감시카메라; 및 상기 적어도 하나의 감시카메라로부터 네트워크를 통하여 전송된 컬러영상 또는 흑백영상을 사용자에게 표시하는 서버를 포함한다.
하드웨어필터가 렌즈부 전방의 현재 시정상태에 따라 렌즈부를 통과한 광의 적외선 대역과 가시광선 대역 중 어느 하나를 차단하고 다른 하나를 투과시키고, 소프트웨어필터가 렌즈부 전방의 현재 시정상태에 따라 ISP(Image Signal Processor)에 의해 생성된 컬러영상 또는 흑백영상으로부터 렌즈부 전방의 시정거리를 감소시키는 요소를 제거함으로써 ISP에 의해 생성된 컬러영상 또는 흑백영상을 필터링하는 복합 필터링 방식을 기반으로 하는 복수의 필터링레벨 중에서 렌즈부 전방의 현재 시정상태에 대응하는 어느 하나의 필터링레벨에 따라 하드웨어필터의 필터링 대역과 소프트웨어필터의 필터링 여부가 제어됨으로써 감시카메라 전방의 시정상태에 관계없이 항상 목표물을 식별하기에 충분한 선명도의 영상을 제공할 수 있다. 나아가, 이러한 단계적 복합 필터링을 기반으로 항상 선명하게 제공되는 영상의 분석을 이용하여 오토포커싱을 수행함으로써 감시카메라 전방의 시정상태에 관계없이 항상 정확한 오토포커싱 기능을 제공할 수 있고, 결과적으로 감시카메라 전방의 시정상태에 영향을 받지 않는 고화질의 영상을 제공할 수 있다.
특히, 복수의 필터링레벨은 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링을 복합시킨 필터링 방식을 채택함으로써 하드웨어적인 광 필터링의 한계와 소프트웨어적인 영상 필터링의 한계를 상호 보완할 수 있으며, 그 결과 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링 중 어느 하나의 방식에 의해 필터링된 영상보다 매우 우수한 선명도와 매우 정확한 오토포커싱이 적용된 영상을 제공할 수 있을 뿐만 아니라 영상 필터링의 부하가 감소되어 저성능의 감시카메라에 의해서도 영상이 필터링될 수 있다. 또한, 본 실시예에서의 네 단계의 필터링레벨은 감시카메라 측에서 영상 압축 전의 원본 영상에 적용되기 때문에 영상 압축 및 복원 과정에서의 영상 손실로 인한 영상의 선명도 저하가 발생하지 않아 시정거리가 매우 짧은 악천후나 야간 상태에서도 매우 우수한 선명도의 영상을 제공할 수 있으면서 매우 정확한 오토포커싱 기능을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 감시카메라(10)의 구성도이다.
도 2는 도 1에 도시된 감시카메라(10)의 단계적 필터링 방식을 나타내는 도면이다.
도 3은 도 1에 도시된 감시카메라(10)의 제 1 필터링레벨의 필터링 모습을 도시한 도면이다.
도 4는 도 1에 도시된 감시카메라(10)의 제 2 필터링레벨의 필터링 모습을 도시한 도면이다.
도 5는 도 1에 도시된 감시카메라(10)의 제 3 필터링레벨 및 제 4 필터링레벨의 필터링 모습을 도시한 도면이다.
도 6은 도 1에 도시된 감시카메라(10)가 적용된 영상감시시스템의 구성도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 이하에서 설명되는 실시예들은 전방의 시정상태에 관계없이 항상 목표물을 식별하기에 충분한 선명도의 영상을 제공하면서 전방의 시정상태에 관계없이 항상 정확한 오토포커싱 기능을 제공할 수 있도록, 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템에 관한 것으로, 이하에서는 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라를 간략하게 "감시카메라"로 호칭할 수도 있다. 이하에서 "시정(visibility)"이란 대기의 혼탁도를 나타내는 척도로서 "시정거리"란 정상적인 시력을 가진 사람이 수평방향으로 어떠한 목표물을 인식할 수 있는 최대 거리를 말하며, "영상"이란 용어는 본 발명의 실시예들이 속하는 기술분야에서 통용되는 바에 따라 모니터 등에 표시된 영상, 그러한 영상을 나타내는 이진 데이터 등을 포괄하는 의미로 사용된다.
도 1은 본 발명의 일 실시예에 따른 감시카메라(10)의 구성도이다. 도 1을 참조하면, 본 실시예에 따른 감시카메라(10)는 렌즈부(11), 액추에이터(111), 하드웨어필터(12), 이미지센서(13), ISP(Image Signal Processor)(14), 소프트웨어필터(15), 스위치(151), 압축부(16), 통신부(17), 오토포커싱부(18), 시정거리측정부(19), 및 제어부(110)로 구성된다. 본 실시예에 따른 감시카메라(10)는 상기된 구성요소 이외에도 하우징, 메모리 등을 더 포함할 수 있으나, 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예의 특징과 관련 없는 카메라의 일반적인 구성 요소에 대한 설명은 생략하기로 한다. 상기된 구성요소 중 일부는 마이크로프로세서, 컴퓨터프로그램이 저장된 메모리 등의 조합에 의해 구현될 수 있다.
렌즈부(11)는 적어도 하나의 렌즈로 구성된다. 일반적으로, 감시카메라는 이동하는 물체를 포착하면 목표 물체를 확대하여 촬영하는 줌인 기능과 전체 촬영 면적을 넓히는 줌아웃 기능을 지원하며, 이러한 줌인/줌아웃 기능을 가능하게 하기 위하여 렌즈부(11)는 복수 개의 렌즈로 구성된다. 예를 들어, 렌즈부(11)는 원통형 경통에 내장되는 볼록렌즈, 오목렌즈, 및 볼록렌즈로 구성될 수 있다. 렌즈부(11)가 하나의 렌즈로 구성된 경우, 그 하나의 렌즈의 위치를 이동시킴으로써 렌즈부(11)의 초점 위치를 변경할 수 있다. 렌즈부(11)가 복수 개의 렌즈로 구성된 경우, 그것들 중 어느 하나 또는 여러 개의 렌즈의 위치를 이동시킴으로써 렌즈부(11)의 초점 위치를 변경할 수 있는데, 이러한 렌즈를 포커스 렌즈라고 한다. 렌즈부(11)는 본 실시예의 특징과는 관련이 없기 때문에 본 실시예의 특징이 흐려짐을 방지하기 위하여 더 이상의 자세한 설명은 생략하기로 한다.
액추에이터(111)는 오토포커싱부(18)의 제어에 따라 렌즈부(11)의 적어도 하나의 렌즈의 위치를 이동시킨다. 렌즈부(11)가 하나의 렌즈로 구성되거나 렌즈부(11)의 복수 개의 렌즈 중 포커스 렌즈가 하나의 렌즈로 구성된 경우, 액추에이터(111)는 오토포커싱부(18)의 제어에 따라 하나의 렌즈의 위치를 이동시킨다. 렌즈부(11)의 포커스 렌즈가 복수 개의 렌즈로 구성된 경우, 액추에이터(111)는 오토포커싱부(18)의 제어에 따라 포커스 렌즈에 해당하는 복수 개의 렌즈의 위치를 이동시킨다. 액추에이터(111)는 렌즈부(11)의 적어도 하나의 렌즈의 위치를 이동시키기 위한 동력을 제공하는 모터, 모터의 회전운동을 렌즈의 직선운동으로 변환하기 위한 수단 등으로 구성될 수 있다.
하드웨어필터(12)는 렌즈부(11) 전방의 현재 시정상태에 따라 렌즈부(11)를 통과한 광의 적외선(infrared ray) 대역과 가시광선(visible ray) 대역 중 어느 하나를 차단하고 다른 하나를 투과시킨다. 날씨가 맑아 시정상태가 양호한 경우, 하드웨어필터(12)는 렌즈부(11)를 통과한 광의 적외선 대역을 차단하고 가시광선 대역을 투과시킨다. 야간이나 악천후로 인해 시정상태가 불량한 경우, 하드웨어필터(12)는 렌즈부(11)를 통과한 광의 가시광선 대역을 차단하고 적외선 대역을 투과시킨다. 하드웨어필터(12)에 의해 적외선 대역이 필터링되고 가시광석 대역이 투과됨에 따라 하드웨어필터(12)로부터 출사되는 가시광선 대역의 광은 컬러영상의 생성에 사용되고, 하드웨어필터(12)에 의해 가시광선 대역이 필터링되고 적외선 대역이 투과됨에 따라 하드웨어필터(12)로부터 출사되는 적외선 대역의 광은 흑백영상의 생성에 사용된다.
이러한 하드웨어필터(12)는 광의 특정 대역만을 투과시키는 광학 필터의 일종으로 여러 종류의 유전체(dielectric)를 적층함으로써 구현될 수 있으며, 속칭 "유전체 필터" 또는 "유전체 렌즈"로 호칭되기도 한다. 하드웨어필터(12)는 사각평판형으로 형성되어 이것에 입사된 광의 적외선 대역을 차단하고 가시광선 대역을 투과시키는 적외선차단영역과 이것에 입사된 광의 가시광선 대역을 차단하고 적외선 대역을 투과시키는 영역으로 구성된다. 하드웨어필터(12)는 제어부(110)의 제어에 따라 이동되어 렌즈부(11) 후방에 적외선차단영역과 가시광선차단영역 중 어느 하나의 영역이 위치하게 된다. 하드웨어필터(12)는 사각평판형 외에 렌즈의 형태와 유사한 원판 두 개가 접합된 형태, 다양한 형태로 형성될 수 있다.
렌즈부(11) 후방에 하드웨어필터(12)의 적외선차단영역이 위치하게 되면, 하드웨어필터(12)는 렌즈부(11)를 통과한 광의 적외선 대역을 차단하고 가시광선 대역을 투과시키게 된다. 렌즈부(11) 후방에 하드웨어필터(12)의 가시광선차단영역이 위치하게 되면, 하드웨어필터(12)는 렌즈부(11)를 통과한 광의 가시광선 대역을 차단하고 적외선 대역을 투과시키게 된다. 이러한 하드웨어필터(12)의 이동을 위한 구동계는 매우 간단한 구조로 구현될 수 있기 때문에 매우 저렴한 비용으로 경년변화에 따른 성능 열화가 거의 발생하지 않는 구조로 렌즈부(11)를 통과한 광의 적외선 대역과 가시광선 대역 중 어느 하나만을 선택적으로 투과시킬 수 있다.
이미지센서(13)는 하드웨어필터(12)를 통과한 광을 전기적 신호로 변환한다. 이미지센서(13)는 CCD(Charge Coupled Device) 센서와 CMOS(Complementary Metal-Oxide Semiconductor) 센서로 분류될 수 있다. 이러한 이미지센서(13)는 적외선과 가시광선 모두에 반응하며, 이것을 전기적 신호로 변환한다. 이미지센서(13)로부터 출력된 신호로부터 컬러영상이 생성될 경우에 이미지센서(13)에 조사된 적외선은 컬러영상의 화질을 떨어뜨리는 요인으로 작용하고, 이미지센서(13)로부터 출력된 신호로부터 흑백영상이 생성될 경우에 이미지센서(13)에 조사된 가시광선은 흑백영상의 화질을 떨어뜨리는 요인으로 작용한다. 이러한 이유로, 상술한 바와 같이, 하드웨어필터(12)는 렌즈부(11) 전방의 시정상태에 따라 렌즈부(11)를 통과한 광의 적외선 대역과 가시광선 대역 중 어느 하나를 차단하고 다른 하나를 투과시킨다.
ISP(14)는 이미지센서(13)로부터 출력된 신호로부터 하드웨어필터(12)로부터 출사된 광의 대역에 따라 컬러영상 또는 흑백영상을 생성한다. 하드웨어필터(12)에 의해 적외선 대역이 필터링되고 가시광석 대역이 투과됨에 따라 하드웨어필터(12)로부터 가시광선 대역의 광이 출사된 경우, ISP(14)는 이미지센서(13)로부터 출력된 신호로부터 컬러영상을 생성하고, 하드웨어필터(12)에 의해 가시광선 대역이 필터링되고 적외선 대역이 투과됨에 따라 하드웨어필터(12)로부터 적외선대역의 광이 출사된 경우, ISP(14)는 이미지센서(13)로부터 출력된 신호로부터 흑백영상을 생성한다. ISP(14)는 기본적으로 이미지센서(13)로부터 출력된 신호의 바이어패턴영상(Bayer pattern image)의 각 픽셀의 값을 보간(interpolate)함으로써 LVDS(Low Voltage Differential Signaling) 형식의 컬러영상 또는 흑백영상을 생성한다. ISP(14)는 추가적으로 이와 같이 생성된 컬러영상 또는 흑백영상의 노이즈를 제거하고, 역광을 보정하고, 색상을 자연색에 가깝게 조정하는 등의 영상 개선 처리를 할 수 있다.
소프트웨어필터(15)는 렌즈부(11) 전방의 현재 시정상태에 따라 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상으로부터 렌즈부(11) 전방의 시정거리를 감소시키는 요소를 제거함으로써 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상을 필터링한다. 렌즈부(11) 전방의 시정거리를 감소시키는 요소로는 대표적으로 안개를 들 수 있으며, 그 외에도 황사, 강우, 강설, 야간 등을 들 수 있다. 공기 중에 분포한 안개 입자들은 빛의 산란을 일으켜 영상을 왜곡시킨다. 이하에서는 이와 같이 시정거리를 감소시키는 요소를 간략하게 "시정장애요소"로 호칭할 수도 있다. 보다 상세하게 설명하면, 소프트웨어필터(15)는 렌즈부(11) 전방의 현재 시정상태에 따라 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상에 렌즈부(11) 전방의 시정거리를 감소시키는 요소를 제거하기 위한 소정의 영상필터링알고리즘을 적용함으로써 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상을 필터링한다.
렌즈부(11) 전방의 시정거리를 감소시키는 요소를 제거하기 위한 소정의 영상필터링알고리즘의 예로는 DCP(Dark Channel Prior) 알고리즘을 들 수 있다. DCP 알고리즘은 안개가 없는 정상적인 영역에는 반드시 RGB(Red Green Blue) 전 채널의 최소값이 "0"인 값이 존재한다는 통계적 특성을 이용하여 안개의 농도를 예측하고, 이와 같이 예측된 안개의 농도에 따라 영상으로부터 안개 제거를 수행하는 알고리즘이다. 즉, 소프트웨어필터(15)는 렌즈부(11) 전방의 현재 시정상태에 따라 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상에 이러한 DCP 알고리즘을 적용함으로써 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상을 필터링할 수 있다.
영상의 개선 효과를 보다 향상시키기 위하여, DCP 알고리즘 외에 다른 영상필터링알고리즘, 예를 들어 히스토그램 평활화(histogram equalization) 알고리즘을 추가적으로 적용하여 영상의 선명도를 보다 더 향상시킬 수 있다. 히스토그램 평활화 알고리즘은 영상의 픽셀들의 명도 값의 빈도를 막대그래프 형태로 나타낸 히스토그램을 평활화하는 알고리즘으로서 영상의 밝기 분포를 재분배하여 명암 대비를 최대화함으로써 영상의 선명도가 향상될 수 있다. 즉, 소프트웨어필터(15)는 렌즈부(11) 전방의 현재 시정상태에 따라 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상에 DCP 알고리즘과 히스토그램 평활화 알고리즘을 적용함으로써 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상을 필터링할 수 있다. DCP 알고리즘과 히스토그램 평활화 알고리즘은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 공지된 기술이므로 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 이것에 대한 보다 자세한 설명은 생략하기로 한다.
대한민국등록특허 제10-1426298호 "안개 제거율을 높인 영상보정장치 및 방법", 대한민국등록특허 제10-1534646호 "영상에서 안개를 제거하기 위한 영상 처리 장치 및 방법" 등 종래기술은 디지털 카메라로부터 제공된 영상에 다양한 안개 제거 알고리즘을 적용하였다. 일반적으로, 감시카메라(10) 등과 같은 디지털 카메라는 영상을 압축해서 PC(Personal Computer) 등과 같이 영상 표시 기능을 갖는 장치로 전송한다. 이러한 장치는 디지털 카메라에 의해 압축된 영상 데이터를 복원하는데, 이 과정에서 영상 손실이 발생하게 된다. 그 결과, 아무리 우수한 안개 제거 알고리즘을 적용하더라도 영상 개선에는 한계가 있었고, 손실된 영상으로부터 어느 정도의 화질의 영상을 얻기 위해서는 프로세서와 메모리에 매우 큰 부하를 유발하는 고용량 알고리즘이 요구된다. PC 등에 비해 매우 낮은 성능의 디지털 카메라에 의해서는 고용량 알고리즘이 원활하게 실행될 수 없다.
본 실시예에서 소프트웨어필터(15)는 영상 데이터의 압축 전에 ISP(14)에 의해 생성된 LVDS 형식의 무손실 영상에 DCP 알고리즘, 히스토그램 평활화 알고리즘 등과 같은 영상필터링알고리즘을 적용함으로써 영상필터링알고리즘이 소용량 파일인 경우에도 영상 개선의 효과가 매우 탁월하다. ISP(14) 기능을 수행하는 마이크로프로세서가 소프트웨어필터(15) 기능도 함께 수행할 수도 있으나, 마이크로프로세서의 성능 한계로 인해 소프트웨어필터(15)는 별도의 DSP(Digital Signal Processor)로 구현됨이 바람직하다. 이하에 설명된 바와 같이, 소프트웨어필터(15)는 복수의 필터링레벨 중에서 렌즈부(11) 전방의 현재 시정상태에 따라 선택된 어느 하나의 필터링레벨에 따라 ISP(14)에 의해 생성된 LVDS 형식의 무손실 영상에 항상 동일한 영상필터링알고리즘을 적용한다. 이에 따라, 소프트웨어필터(15)는 비교적 낮은 성능의 DSP로도 구현 가능하다.
압축부(16)는 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상에 대한 소프트웨어필터(15)의 필터링 여부에 따라 ISP(14)에 의해 생성된 컬러영상을 압축하거나 소프트웨어필터(15)에 의해 필터링된 컬러영상 또는 흑백영상을 압축한다. ISP(14)에 의해 생성된 컬러영상이 소프트웨어필터(15)에 의해 필터링되지 않고 직접 압축부(16)로 입력된 경우, 압축부(16)는 ISP(14)에 의해 생성된 컬러영상을 압축하게 된다. ISP(14)에 의해 생성된 컬러영상 또는 흑백영상이 소프트웨어필터(15)에 의해 필터링된 경우, 압축부(16)는 소프트웨어필터(15)에 의해 필터링된 컬러영상 또는 흑백영상을 압축하게 된다. 압축부(16)는 H.264, HEVC(High Efficiency Video Codec) 등 다양한 코덱에 따라 소프트웨어필터(15)에 의해 필터링된 컬러영상 또는 흑백영상을 압축할 수 있다.
통신부(17)는 압축부(16)에 의해 압축된 영상을 사용자에게 감시카메라(10)에 의해 촬영된 영상을 표시하는 장치, 예를 들어 관제센터의 컴퓨터로 전송한다. 이러한 영상 표시 장치와 감시카메라(10)가 멀리 떨어져 있는 경우에 인터넷, 랜 등과 같은 네트워크를 통하여 서로 통신하게 된다. 통신부(17)는 압축부(16)에 의해 압축된 영상을 TCP/IP(Transmission Control Protocol/Internet Protocol)에 따라 네트워크를 통하여 영상 표시 장치로 전송할 수 있다.
오토포커싱부(18)는 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상에 대한 소프트웨어필터(15)의 필터링 여부에 따라 ISP(14)에 의해 생성된 컬러영상의 분석을 이용하여 렌즈부(11)의 오토포커싱을 수행하거나 소프트웨어필터(15)에 의해 필터링된 컬러영상 또는 흑백영상의 분석을 이용하여 렌즈부(11)의 오토포커싱을 수행한다. ISP(14)에 의해 생성된 컬러영상이 소프트웨어필터(15)에 의해 필터링되지 않고 직접 오토포커싱부(18)로 입력된 경우, 오토포커싱부(18)는 렌즈부(11)의 적어도 하나의 렌즈와 이미지센서(13)간의 거리가 변화되도록 액추에이터(111)의 동작을 제어하면서 ISP(14)에 의해 생성된 컬러영상의 선명도 변화를 분석하고 ISP(14)에 의해 생성된 컬러영상의 선명도가 가장 높은 순간의 렌즈부(11)의 적어도 하나의 렌즈의 위치를 렌즈부(11)의 초점 맞춤 위치로 결정하는 방식으로 오토포커싱을 수행한다.
예를 들어, 오토포커싱부(18)는 렌즈부(11)의 적어도 하나의 렌즈와 이미지센서(13)간의 거리가 변화되도록 액추에이터(111)의 동작을 제어하면서 렌즈부(11)의 적어도 하나의 렌즈가 단위 거리만큼 이동될 때마다 ISP(14)에 의해 생성된 컬러영상을 입력받고, 이와 같이 입력된 컬러영상에 대한 이산웨이블릿변환(discreet wavelet transform)을 수행하고, 이산웨이블릿변환의 결과값의 저주파수 성분과 고주파수 성분 중 고주파수 성분의 크기가 최대가 되는 순간의 렌즈부(11)의 적어도 하나의 렌즈의 위치를 렌즈부(11)의 초점 맞춤 위치로 결정하는 방식으로 오토포커싱을 수행한다. 이산웨이블릿변환의 결과값의 고주파수 성분의 크기가 클수록 영상 선명도가 높아지므로, 이산웨이블릿변환의 결과값의 고주파수 성분의 크기가 최대가 되는 순간의 렌즈부(11)의 적어도 하나의 렌즈의 위치가 렌즈부(11)의 초점이 가장 정확하게 맞추어진 위치가 된다.
ISP(14)에 의해 생성된 컬러영상 또는 흑백영상이 소프트웨어필터(15)에 의해 필터링된 경우, 오토포커싱부(18)는 렌즈부(11)의 적어도 하나의 렌즈와 이미지센서(13)간의 거리가 변화되도록 액추에이터(111)의 동작을 제어하면서 소프트웨어필터(15)에 의해 필터링된 컬러영상 또는 흑백영상의 선명도 변화를 분석하고 소프트웨어필터(15)에 의해 필터링된 컬러영상 또는 흑백영상의 선명도가 가장 높은 순간의 렌즈부(11)의 적어도 하나의 렌즈의 위치를 렌즈부(11)의 초점 맞춤 위치로 결정하는 방식으로 오토포커싱을 수행한다.
예를 들어, 오토포커싱부(18)는 렌즈부(11)의 적어도 하나의 렌즈와 이미지센서(13)간의 거리가 변화되도록 액추에이터(111)의 동작을 제어하면서 렌즈부(11)의 적어도 하나의 렌즈가 단위 거리만큼 이동될 때마다 소프트웨어필터(15)에 의해 필터링된 컬러영상 또는 흑백영상을 입력받고, 이와 같이 입력된 컬러영상 또는 흑백영상에 대한 이산웨이블릿변환을 수행하고, 이산웨이블릿변환의 결과값의 저주파수 성분과 고주파수 성분 중 고주파수 성분의 크기가 최대가 되는 순간의 렌즈부(11)의 적어도 하나의 렌즈의 위치를 렌즈부(11)의 초점 맞춤 위치로 결정하는 방식으로 오토포커싱을 수행한다. 오토포커싱부(18)는 상기된 바와 같은 방식 외에도 수동 방식의 일종인 콘트라스트 검출 방식, 위상차 검출 방식 등 다양한 방식을 이용하여 오토포커싱을 수행할 수도 있다.
시정거리측정부(19)는 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상의 픽셀 값들에 기초하여 렌즈부(11) 전방의 시정거리를 측정한다. 대기 성분을 분석하여 시정거리를 자동으로 산출해 주는 장비를 이용하여 렌즈부(11) 전방의 시정거리를 측정할 수도 있으나 이러한 장비는 매우 고가이다. 이러한 이유로, 일반적으로 여러 지역에 분포되어 설치된 감시카메라들을 지역 별로 묶고, 각 지역마다 한 대씩 설치된다. 그 결과, 각 감시카메라 별로 시정거리가 정확하게 측정될 수 없다는 문제점이 있다. 이러한 문제점을 해결하기 위하여, 감시카메라의 출력 영상에 기초하여 소프트웨어적으로 시정거리를 측정하는 기술들이 등장하였다. 이러한 종래기술의 예로는 대한민국등록특허 제10-0715140호 "시정 측정 장치 및 그 방법", 대한민국등록특허 제10-1032160호 "카메라를 이용한 도로 시정 측정 시스템 및 그 방법" 등을 들 수 있다.
종래기술은 디지털 카메라로부터 제공된 영상에 기초하여 시정을 측정한다. 일반적으로, 감시카메라(10) 등과 같은 디지털 카메라는 영상을 압축해서 전송하기 때문에 디지털 카메라에 의해 압축된 영상 데이터를 복원하는데, 이 과정에서 영상 손실이 발생하게 된다. 그 결과, 아무리 우수한 시정거리 측정 알고리즘을 적용하더라도 손실된 영상으로부터 산출된 시정거리의 정확도에는 한계가 있었다. 본 실시예에서 시정거리측정부(19)는 영상 데이터의 압축 전에 ISP(14)에 의해 생성된 LVDS 형식의 무손실 영상의 픽셀 값들에 기초하여 렌즈부(11) 전방의 시정거리를 측정하기 때문에 종래기술과 동일한 알고리즘을 이용한다는 전제 하에 렌즈부(11) 전방의 시정거리는 종래기술에 비해 보다 더 정확하게 측정될 수 있다. 시정거리측정부(19)는 소프트웨어필터(15)와 마찬가지로는 별도의 DSP로 구현됨이 바람직하다.
도 2는 도 1에 도시된 감시카메라(10)의 단계적 필터링 방식을 나타내는 도면이다. 도 2를 참조하면, 렌즈부(11) 전방의 시정상태는 맑음 상태, 연무 상태, 농무 상태, 및 야간 상태로 구분된다. 본 실시예에 따른 감시카메라(10)는 이와 같이 구분된 네 단계의 시정상태에 대응되는 네 단계의 필터링레벨로 렌즈부(11) 전방의 현재 시정상태에 따라 영상을 단계적으로 필터링함으로써 렌즈부(11) 전방의 시정상태가 변화더라도 항상 목표물을 식별하기에 충분한 선명도의 영상을 제공할 수 있다. 특히, 본 실시예에서의 네 단계의 필터링레벨은 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링을 복합시킨 필터링 방식을 채택함으로써 하드웨어적인 광 필터링의 한계와 소프트웨어적인 영상 필터링의 한계를 상호 보완할 수 있으며, 그 결과 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링 중 어느 하나의 방식에 의해 필터링된 영상보다 매우 우수한 선명도의 영상을 제공할 수 있다.
상술한 바와 같이, 본 실시예는 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상에 대한 소프트웨어필터(15)의 필터링 여부에 따라 ISP(14)에 의해 생성된 컬러영상의 분석을 이용하여 렌즈부(11)의 오토포커싱을 수행하거나 소프트웨어필터(15)에 의해 필터링된 컬러영상 또는 흑백영상의 분석을 이용하여 렌즈부(11)의 오토포커싱을 수행한다. 이와 같이, 본 실시예는 상술한 바와 같은 단계적 복합 필터링 방식을 기반으로 감시카메라 전방의 시정상태에 관계없이 항상 선명하게 제공되는 컬러영상 또는 흑백영상의 분석을 이용하여 오토포커싱을 수행하게 된다. 영상의 선명도가 높을수록 피사체 분별이 용이해져 오토포커싱의 정확도가 상승하기 때문에 본 실시예는 감시카메라 전방의 시정상태에 관계없이 항상 정확한 오토포커싱 기능을 제공할 수 있다. 오토포커싱의 정확도가 높을수록 영상의 화질이 향상되기 때문에 결과적으로 감시카메라 전방의 시정상태에 영향을 받지 않는 고화질의 영상을 제공할 수 있다.
게다가, 본 실시예는 상술한 바와 같은 복합 필터링 방식을 기반으로 감시카메라 전방의 시정상태에 관계없이 항상 선명하게 제공되는 컬러영상 또는 흑백영상의 분석을 이용하여 일종의 수동 방식으로 오토포커싱을 수행하기 때문에, 즉 항상 선명하게 제공되는 컬러영상 또는 흑백영상의 선명도 변화를 분석하고 컬러영상 또는 흑백영상의 선명도가 가장 높은 순간의 렌즈부(11)의 적어도 하나의 렌즈의 위치를 렌즈부(11)의 초점 맞춤 위치로 결정하는 일종의 수동 방식으로 오토포커싱을 수행하기 때문에 피사체와의 거리 측정을 위해 초음파나 적외선을 방출하는 능동 방식의 단점을 갖지 않는다. 따라서, 본 실시예는 감시카메라 전방의 시정상태가 불량한 경우에도 초점을 잘 맞출 수 있을 뿐만 아니라 카메라와 피사체 사이에 창문 등과 같은 장애물이 있을 경우에도 초점을 잘 맞출 수 있다.
상술한 바와 같은 특허문헌을 포함한 종래기술 대부분은 영상 내의 시정장애요소의 제거 효과를 높이기 위하여 매우 복잡한 알고리즘을 채용하고 있어 감시카메라(10) 등과 같이 프로세서의 성능이 낮은 장치에는 적용될 수 없다는 한계가 있었다. 본 실시예는 감시카메라(10) 전방의 시정상태에 따라 단계적으로 영상 필터링의 부하를 최소로 하면서도 시정장애요소의 제거 효과를 극대화할 수 있는 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링의 최적 조합에 해당하는 네 단계의 필터링레벨의 복합 필터링 방식을 채택함으로써 영상 필터링의 부하가 감소되어 저성능의 감시카메라에 의해서도 영상이 필터링될 수 있다. 예를 들어, 안개 등 시정장애요소의 농도가 높은 경우에 영상 필터링의 부하가 증가하게 되는데, 이 때에는 흑백영상이 생성됨에 따라 영상 필터링의 부하가 감소된다.
또한, 본 실시예에서의 네 단계의 필터링레벨은 감시카메라(10) 측에서 영상 압축 전의 원본 영상에 적용되기 때문에 영상 압축 및 복원 과정에서의 영상 손실로 인한 영상의 선명도 저하가 발생하지 않아 시정거리가 매우 짧은 악천후나 야간 상태에서도 매우 우수한 선명도의 영상을 제공할 수 있다. 또한, 시정거리가 매우 짧은 악천후나 야간 상태에서 영상의 선명도가 향상된 만큼 오토포커싱의 정확도도 향상되므로 시정거리가 매우 짧은 악천후나 야간 상태에서도 매우 정확한 오토포커싱 기능을 제공할 수 있다.
제어부(110)는 하드웨어필터(12)의 필터링 대역 및 소프트웨어필터(15)의 필터링 여부에 따라 서로 다르게 압축부(16)와 오토포커싱부(18)로 입력되는 영상이 결정되는 복수의 필터링레벨 중에서 렌즈부(11) 전방의 현재 시정상태에 대응하는 어느 하나의 필터링레벨에 따라 하드웨어필터(12)의 필터링 대역과 소프트웨어필터(15)의 필터링 여부를 제어한다. 상술한 바와 같이, 복수의 필터링레벨은 네 단계의 시정상태에 대응되는 제 1 필터링레벨, 제 2 필터링레벨, 제 3 필터링레벨, 및 제 4 필터링레벨로 구분되며, 렌즈부(11) 전방의 시정상태의 변화에 크게 영향을 받지 않고 항상 목표물을 식별하기에 충분한 선명도의 영상을 제공할 수 있도록 각 필터링레벨마다 하드웨어필터(12)의 필터링 대역 및 소프트웨어필터(15)의 필터링 여부 중 적어도 하나가 다르게 선택된다. 즉, 제어부(110)는 제 1 필터링레벨, 제 2 필터링레벨, 제 3 필터링레벨, 제 4 필터링레벨 중에서 시정거리측정부(19)에 의해 측정된 시정거리에 따라 어느 하나의 필터링레벨을 선택하고, 이와 같이 선택된 필터링레벨에 따라 하드웨어필터(12)의 필터링 대역과 소프트웨어필터(15)의 필터링 여부를 제어한다.
보다 상세하게 설명하면, 제어부(110)는 시정거리측정부(19)에 의해 측정된 시정거리에 따라 렌즈부(11) 후방에 하드웨어필터(12)의 적외선차단영역과 가시광선차단영역 중 어느 하나의 영역이 위치되도록 하드웨어필터(12)의 이동을 제어함으로써 하드웨어필터(12)의 필터링 대역을 제어할 수 있다. 또한, 제어부(110)는 시정거리측정부(19)에 의해 측정된 시정거리에 따라 ISP(14)의 영상 출력단이 압축부(16)의 영상 입력단과 오토포커싱부(18)의 영상 입력단에 연결되거나 소프트웨어필터(15)의 영상 입력단에 연결되도록 스위치(151)의 스위칭을 제어함으로써 소프트웨어필터(15)의 필터링 여부를 제어할 수 있다. 스위치(151)의 세 개의 접점 중 신호가 유입되는 접점에는 ISP(14)의 영상 출력단이 연결되어 있고, 신호가 출력되는 두 개의 접점 중 어느 하나에는 압축부(16)의 영상 입력단과 오토포커싱부(18)의 영상 입력단이 연결되어 있고 다른 하나에는 소프트웨어필터(15)의 영상 입력단이 연결되어 있다. 이러한 스위치(151)는 스위칭 트랜지스터들의 조합으로 구현될 수 있으며, 소프트웨어필터(15)에 내장될 수도 있고, ISP(14)와 소프트웨어필터(15) 사이에 설치될 수도 있다.
도 3은 도 1에 도시된 감시카메라(10)의 제 1 필터링레벨의 필터링 모습을 도시한 도면이다. 본 실시예에서 "맑음 상태"란 날씨가 맑아 안개, 황사, 강우, 강설 등으로 인한 영상 왜곡이 거의 없음에 따라 감시카메라(10)에 의해 촬영된 영상으로부터 침입자 등 목표물의 식별이 용이한 상태를 의미하며, 렌즈부(11) 전방의 시정거리가 "a"미터 이상인 상태이다. 예를 들어, "맑음 상태"는 렌즈부(11) 전방의 시정거리가 1000미터 이상인 상태일 수 있다. 이러한 "맑음 상태"에서는 복수의 필터링 레벨 중 제 1 필터링 레벨에 따라 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링이 수행된다. "맑음 상태"에서는 렌즈부(11)를 통과한 가시광선 대역의 광으로부터 어떤 필터링 과정 없이도 목표물을 식별하기에 충분한 선명도의 영상이 생성될 수 있다. 또한, ISP(14)로부터 출력된 영상에는 안개 등과 같은 시정장애요소가 거의 없기 때문에 ISP(14)로부터 출력된 영상이 소프트웨어필터(15)에 의해 필터링될 경우에 오히려 영상이 왜곡될 수 있다.
본 실시예에서 제 1 필터링레벨은 "맑음 상태"에서 감시카메라(10)에 의해 렌즈부(11)를 통과한 광으로부터 선명한 영상이 생성될 수 있도록 하드웨어필터(12)에 의해 렌즈부(11)를 통과한 광의 적외선 대역이 차단되고 가시광선 대역이 투과된 상태에서 ISP(14)로부터 출력되는 컬러영상이 직접 압축부(16)와 오토포커싱부(18)로 입력되는 필터링방식을 말한다. 즉, 제어부(110)는 시정거리측정부(19)에 의해 측정된 시정거리가 "맑음 상태"에 해당하는 "a"미터 이상 구간에 속하면, 복수의 필터링레벨 중에서 "맑음 상태"에 적용되는 제 1 필터링레벨을 선택하고, 제 1 필터링레벨에 따라 렌즈부(11) 후방에 하드웨어필터(12)의 적외선차단영역이 위치하도록 하드웨어필터(12)의 이동을 제어함과 동시에 ISP(14)의 영상 출력단이 압축부(16)의 영상 입력단과 오토포커싱부(18)의 영상 입력단에 연결되도록 스위치(151)의 스위칭을 제어한다. 이에 따라, 제 1 필터링레벨에서 하드웨어필터(12)는 렌즈부(11)를 통과한 광의 적외선 대역을 차단하고 가시광선 대역을 투과시키고, 소프트웨어필터(15)는 ISP(14)로부터 출력된 컬러영상을 필터링하지 않고 ISP(14)로부터 출력된 컬러영상은 그대로 압축부(16)와 오토포커싱부(18)로 출력된다.
도 4는 도 1에 도시된 감시카메라(10)의 제 2 필터링레벨의 필터링 모습을 도시한 도면이다. 본 실시예에서 "연무 상태"란 렌즈부(11) 전방에 옅은 안개가 끼어 시정거리가 감소된 상태로, 안개 이외에도 황사, 강우, 강설 등으로 인해 옅은 안개가 낀 정도로 시정거리가 감소된 상태를 의미하며, 렌즈부(11) 전방의 시정거리가 "a"미터 미만이고 "b"미터 이상인 상태이다. 예를 들어, "연무 상태"는 렌즈부(11) 전방의 시정거리가 1000미터 미만이고 300미터 이상인 상태일 수 있다. 이러한 "연무 상태"에서는 복수의 필터링 레벨 중 제 2 필터링 레벨에 따라 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링이 수행된다. "연무 상태"에서는 렌즈부(11)를 통과한 가시광선 대역의 광으로부터 어떤 필터링 과정 없이 영상이 생성될 경우에 옅은 안개 등 저농도의 시정장애요소가 포함된 영상이 생성된다. 이 경우, 렌즈부(11)로부터 출사된 가시광선 대역의 광으로부터 생성된 컬러영상에 DCP 알고리즘 등과 같은 영상필터링알고리즘이 적용되면 목표물을 식별하기에 충분한 선명도의 영상이 생성될 수 있다.
본 실시예에서 제 2 필터링레벨은 "연무 상태"에서 감시카메라(10)에 의해 렌즈부(11)를 통과한 광으로부터 선명한 영상이 생성될 수 있도록 하드웨어필터(12)에 의해 렌즈부(11)를 통과한 광의 적외선 대역이 차단되고 가시광선 대역이 투과된 상태에서 ISP(14)로부터 출력되는 컬러영상이 소프트웨어필터(15)에 의해 필터링된 후에 압축부(16)와 오토포커싱부(18)로 입력되는 필터링방식이다. 즉, 제어부(110)는 시정거리측정부(19)에 의해 측정된 시정거리가 "연무 상태"에 해당하는 "a"미터 미만이고 "b"미터 이상인 구간에 속하면, 복수의 필터링레벨 중에서 "연무 상태"에 적용되는 제 2 필터링레벨을 선택하고, 제 2 필터링레벨에 따라 렌즈부(11) 후방에 하드웨어필터(12)의 적외선차단영역이 위치하도록 하드웨어필터(12)의 이동을 제어함과 동시에 ISP(14)의 영상 출력단이 소프트웨어필터(15)의 영상 입력단에 연결되도록 스위치(151)의 스위칭을 제어한다. 이에 따라, 제 2 필터링레벨에서 하드웨어필터(12)는 렌즈부(11)를 통과한 광의 적외선 대역을 차단하고 가시광선 대역을 투과시키고, 소프트웨어필터(15)는 ISP(14)로부터 출력된 컬러영상을 필터링하여 압축부(16)와 오토포커싱부(18)로 출력한다.
도 5는 도 1에 도시된 감시카메라(10)의 제 3 필터링레벨 및 제 4 필터링레벨의 필터링 모습을 도시한 도면이다. 본 실시예에서 "농무 상태"란 렌즈부(11) 전방에 짙은 안개가 끼어 시정거리가 감소된 상태로, 안개 이외에도 황사, 강우, 강설 등으로 인해 짙은 안개가 낀 정도로 시정거리가 감소된 상태를 의미하며, 렌즈부(11) 전방의 시정거리가 "b"미터 미만이고 "c"미터 이상인 상태이다. 예를 들어, "농무 상태"는 렌즈부(11) 전방의 시정거리가 300미터 미만이고 10미터 이상인 상태일 수 있다. 이러한 "농무 상태"에서는 복수의 필터링 레벨 중 제 3 필터링 레벨에 따라 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링이 수행된다. "농무 상태"에서는 렌즈부(11)를 통과한 가시광선 대역의 광으로부터 어떤 필터링 과정 없이 영상이 생성될 경우에 짙은 안개 등 고농도의 시정장애요소가 포함된 영상이 생성된다. 시정장애요소의 농도가 높을 경우에 시정장애요소에 의한 영상 왜곡이 매우 심하여 ISP(14)로부터 출력된 컬러영상이 소프트웨어필터(15)에 의해 필터링되더라도 목표물을 식별하기에 충분한 선명도의 영상이 생성될 수 없다.
본 실시예에서 "야간 상태"란 야간에 태양광이 사라짐에 따라 렌즈부(11) 전방이 어두워져 시정거리가 감소된 상태로, 야간 시간대 외에도 주간 시간대에 악천후로 인해 야간에 태양광이 사라진 정도로 시정거리가 감소된 상태를 의미하며, 렌즈부(11) 전방의 시정거리가 "c"미터 미만인 상태이다. 예를 들어, "야간 상태"는 렌즈부(11) 전방의 시정거리가 10미터 미만인 상태일 수 있다. 이러한 "야간 상태"에서는 복수의 필터링 레벨 중 제 4 필터링 레벨에 따라 하드웨어적인 광 필터링과 소프트웨어적인 영상 필터링이 수행된다. "야간 상태"에서는 렌즈부(11)를 통과한 가시광선 대역의 광으로부터 어떤 필터링 과정 없이 영상이 생성될 경우에 영상 내의 물체들간의 분간이 불가능한 어두운 영상이 생성된다. 이러한 어두운 영상의 경우에 영상 내의 물체의 윤곽이 명확하지 않아 ISP(14)로부터 출력된 컬러영상이 소프트웨어필터(15)에 의해 필터링되더라도 목표물을 식별하기에 충분한 선명도의 영상이 생성될 수 없다.
물체는 그것의 온도에 따라 다양한 파장의 적외선을 방사하며, 적외선은 가시광선에 비해 안개 등 시정장애요소에 의해 잘 산란되지 않기 때문에 물체로부터 방사된 적외선은 대부분 안개 등 시정장애요소를 투과해서 렌즈부(11)에 도달하게 된다. 이러한 이유로, "농무 상태" 및 "야간 상태"에서는 렌즈부(11)로부터 출사된 가시광선 대역의 광으로부터 생성된 컬러영상의 화질보다는 렌즈부(11)로부터 출사된 적외선 대역의 광으로부터 생성된 흑백영상의 화질이 훨씬 더 우수하다. 게다가, 렌즈부(11)로부터 출사된 적외선 대역의 광으로부터 생성된 흑백영상에 DCP 알고리즘 등과 같은 영상필터링알고리즘이 적용될 경우에 영상의 화질이 보다 개선될 수 있다. 이에 따라, 본 실시예에서 제 3 필터링레벨 및 제 4 필터링레벨은 기본적으로 하드웨어필터(12)에 의해 렌즈부(11)를 통과한 광의 가시광선 대역이 차단되고 적외선 대역이 투과된 상태에서 ISP(14)로부터 출력된 흑백영상이 소프트웨어필터(15)에 의해 필터링된 후에 압축부(16)와 오토포커싱부(18)로 입력되는 필터링방식이다.
"농무 상태"에서는 ISP(14)로부터 출력된 흑백영상에 DCP 알고리즘 등과 같은 영상필터링알고리즘이 적용되면 목표물을 식별하기에 충분한 선명도의 영상이 생성될 수 있으나 "야간 상태"에서는 ISP(14)로부터 출력된 흑백영상에 이러한 영상필터링알고리즘이 적용되더라도, 흑백영상 자체의 밝기가 너무 어두워 목표물을 식별하기에 충분한 선명도의 영상이 생성될 수 없는 경우가 많다. 이에 따라, 본 실시예는 "야간 상태"에서 ISP(14)로부터 출력된 흑백영상의 밝기를 증가시키기 위하여 ISP(14)로부터 출력된 흑백영상의 각 픽셀의 휘도값을 반전시킨다. 소프트웨어필터(15)는 최대 휘도값으로부터 ISP(14)로부터 출력된 흑백영상의 각 픽셀의 휘도값을 감산하고 그 감산 결과를 ISP(14)로부터 출력된 흑백영상의 각 픽셀의 휘도값으로 설정함으로써 ISP(14)로부터 출력된 흑백영상의 각 픽셀의 휘도값을 반전시킬 수 있다. 각 픽셀의 휘도값의 전체 범위가 0-255 레벨로 표현된 경우, 최대 휘도값은 255가 될 수 있다.
본 실시예에서 제 3 필터링레벨은 "농무 상태"에서 감시카메라(10)에 의해 렌즈부(11)를 통과한 광으로부터 선명한 영상이 생성될 수 있도록 하드웨어필터(12)에 의해 렌즈부(11)를 통과한 광의 가시광선 대역이 차단되고 적외선 대역이 투과된 상태에서 ISP(14)로부터 출력된 흑백영상에 DCP 알고리즘 등과 같은 영상필터링알고리즘이 적용되는 방식으로 소프트웨어필터(15)에 의해 필터링된 흑백영상이 압축부(16)와 오토포커싱부(18)로 입력되는 필터링방식이다. 즉, 제어부(110)는 시정거리측정부(19)에 의해 측정된 시정거리가 "농무 상태"에 해당하는 "b"미터 미만이고 "c"미터 이상인 구간에 속하면, 복수의 필터링레벨 중에서 "농무 상태"에 적용되는 제 3 필터링레벨을 선택하고, 제 3 필터링레벨에 따라 렌즈부(11) 후방에 하드웨어필터(12)의 가시광선차단영역이 위치하도록 하드웨어필터(12)의 이동을 제어하고, ISP(14)의 영상 출력단이 소프트웨어필터(15)의 영상 입력단에 연결되도록 스위치(151)의 스위칭을 제어하고, ISP(14)로부터 출력된 흑백영상이 반전되지 않은 상태에서 영상필터링알고리즘이 적용되도록 소프트웨어필터(15)의 동작을 제어한다.
본 실시예에서 제 4 필터링레벨은 "야간 상태"에서 감시카메라(10)에 의해 렌즈부(11)를 통과한 광으로부터 선명한 영상이 생성될 수 있도록 하드웨어필터(12)에 의해 렌즈부(11)를 통과한 광의 가시광선 대역이 차단되고 적외선 대역이 투과된 상태에서 ISP(14)로부터 출력된 흑백영상의 각 픽셀의 휘도값이 반전되고, 이와 같이 반전된 휘도값을 갖는 흑백영상에 DCP 알고리즘 등과 같은 영상필터링알고리즘이 적용되는 방식으로 소프트웨어필터(15)에 의해 필터링된 흑백영상이 압축부(16)와 오토포커싱부(18)로 입력되는 필터링방식이다. 영상의 모든 픽셀에 대한 영상필터링알고리즘의 적용이 완료된 후에는 흑백영상의 각 픽셀의 휘도값은 다시 반전되어 압축부(16)와 오토포커싱부(18)로 입력될 수 있다. 즉, 제어부(110)는 시정거리측정부(19)에 의해 측정된 시정거리가 "야간 상태"에 해당하는 "c"미터 미만인 구간에 속하면, 복수의 필터링레벨 중에서 "야간 상태"에 적용되는 제 4 필터링레벨을 선택하고, 제 4 필터링레벨에 따라 렌즈부(11) 후방에 하드웨어필터(12)의 가시광선차단영역이 위치하도록 하드웨어필터(12)의 이동을 제어하고, ISP(14)의 영상 출력단이 소프트웨어필터(15)의 영상 입력단에 연결되도록 스위치(151)의 스위칭을 제어하고, ISP(14)로부터 출력된 흑백영상이 반전된 상태에서 영상필터링알고리즘이 적용되도록 소프트웨어필터(15)의 동작을 제어한다.
상술한 바와 같은 제어부(110)의 제어에 따라, 제 3 필터링레벨에서 하드웨어필터(12)는 렌즈부(11)를 통과한 광의 가시광선 대역을 차단하고 적외선 대역을 투과시키고, 소프트웨어필터(15)는 ISP(14)로부터 출력된 흑백영상에 영상필터링알고리즘을 적용하는 방식으로 ISP(14)로부터 출력된 흑백영상을 필터링하여 압축부(16)와 오토포커싱부(18)로 출력한다. 또한, 제 4 필터링레벨에서 하드웨어필터(12)는 렌즈부(11)를 통과한 광의 가시광선 대역을 차단하고 적외선 대역을 투과시키고, 소프트웨어필터(15)는 ISP(14)로부터 출력된 흑백영상의 각 픽셀의 휘도값을 반전시키고, 이와 같이 반전된 휘도값을 갖는 흑백영상에 영상필터링알고리즘을 적용하는 방식으로 ISP(14)로부터 출력된 흑백영상을 필터링하여 압축부(16)와 오토포커싱부(18)로 출력한다. 상술한 바와 같이, 소프트웨어필터(15)는 각 필터링레벨마다 다른 영상필터링알고리즘을 사용하지 않고, 제 2, 3, 4 필터링레벨에서 항상 동일한 영상필터링알고리즘을 사용하기 때문에 일반 컴퓨터에 비해 저성능인 감시카메라(10)에서도 영상필터링을 원활하게 수행할 수 있다.
상술한 바와 같이, 제 1, 2 필터링레벨에서는 하드웨어필터(12)에 의해 적외선 대역이 필터링되고 가시광석 대역이 투과됨에 따라 ISP(14)에 의해 컬러영상이 생성되고, 제 3, 4 필터링레벨에서는 하드웨어필터(12)에 의해 가시광선 대역이 필터링되고 적외선 대역이 투과됨에 따라 ISP(14)에 의해 흑백영상이 생성된다. 컬러영상이 흑백영상으로부터 변환되는 과정에서 영상의 화질, 특히 선명도가 대폭 향상되기 때문에, ISP(14)로부터 출력된 흑백영상의 픽셀 값들에 기초하여 시정거리를 측정하면 렌즈부(11) 전방의 시정상태가 동일함에도 불구하고 컬러영상의 픽셀 값들에 기초하여 시정거리를 측정할 경우에 비해 시정거리가 대폭 증가된다는 문제점이 있다. 이러한 문제는 다음과 같이 하드웨어적인 방법과 소프트웨어적인 방법 등 두 가지 방법으로 해결될 수 있다.
먼저, 하드웨어적인 방법을 살펴보면 다음과 같다. 제어부(110)는 하드웨어필터(12)가 렌즈부(11)를 통과한 광의 가시광선 대역을 차단하고 적외선 대역을 투과시키는 동안에 시정거리측정부(19)의 시정거리의 측정 주기마다 하드웨어필터(12)가 일시적으로 렌즈부(11)를 통과한 광의 적외선 대역을 차단하고 가시광선 대역을 투과시키도록 하드웨어필터(12)의 필터링 대역을 제어할 수 있다. 보다 상세하게 설명하면, 제어부(110)는 렌즈부(11) 후방에 하드웨어필터(12)의 가시광선차단영역이 위치하고 있는 동안에 시정거리측정부(19)의 시정거리의 측정 주기(예를 들어, 10sec)마다 렌즈부(11) 후방에 하드웨어필터(12)의 적외선차단영역이 위치하도록 한 후에 잠시(예를 들어, 1ms) 뒤에 렌즈부(11) 후방에 하드웨어필터(12)의 가시광선차단영역이 위치하도록 하드웨어필터(12)의 이동을 제어할 수 있다.
시정거리측정부(19)는 시정거리의 측정 주기마다 하드웨어필터(12)에 의해 렌즈부(11)를 통과한 광의 적외선 대역이 차단되고 가시광선 대역이 투과된 상태에서 ISP(14)에 의해 생성된 컬러영상의 픽셀 값들에 기초하여 렌즈부(11) 전방의 시정거리를 측정할 수 있다. 이 방법에 따르면, 시정거리측정부(19)의 시정거리의 측정 주기마다 ISP(14)에 의해 항상 컬러영상이 생성되기 때문에 렌즈부(11) 전방의 시정상태에 관계없이 항상 시정거리가 정확하게 측정될 수 있다는 장점이 있다. 다만, 시정거리측정부(19)에 의해 시정거리가 측정되는 구간에는 흑백영상이 생성될 수 없기 때문에 그 구간 동안 직전의 흑백영상을 유지할 경우에 영상 멈춤 현상 등이 발생할 수 있다는 단점이 있다. 또한, 하드웨어필터(12)의 이동이 잦기 때문에 하드웨어필터(12)의 이동과 관련된 구동계의 수명이 짧아질 수 있다는 단점이 있다.
다음으로, 소프트웨어적인 방법을 살펴보면 다음과 같다. 시정거리측정부(19)는 하드웨어필터(12)에 의해 렌즈부(11)를 통과한 광의 적외선 대역이 차단되고 가시광선 대역이 투과된 상태에서는 ISP(14)에 의해 생성된 컬러영상의 픽셀 값들에 기초하여 렌즈부(11) 전방의 시정거리를 감소시키는 요소의 농도를 산출하고, 이와 같이 산출된 농도에 반비례하여 렌즈부(11) 전방의 시정거리를 설정함으로써 렌즈부(11) 전방의 시정거리를 측정할 수 있다. 예를 들어, 시정거리측정부(19)는 렌즈부(11) 전방의 시정거리의 기준값으로부터 렌즈부(11) 전방의 시정거리를 감소시키는 요소의 농도를 감산하고, 그 감산 결과를 렌즈부(11) 전방의 시정거리로 설정할 수 있다. 렌즈부(11) 전방의 시정거리의 기준값이 지나치게 작으면 렌즈부(11) 전방의 시정이 양호함에도 시정이 불량한 것으로 측정될 수 있고, 렌즈부(11) 전방의 시정거리의 기준값이 지나치게 크면 렌즈부(11) 전방의 시정이 불량함에도 시정이 양호한 것으로 측정될 수 있다. 렌즈부(11) 전방의 시정거리의 기준값은 렌즈부(11)의 성능 등에 비해 변화될 수 있는 값으로 여러 번의 시험을 통해 렌즈부(11) 전방의 시정거리가 정확히 판별될 수 있는 값으로 설정됨이 바람직하다.
시정거리측정부(19)는 하드웨어필터(12)에 의해 렌즈부(11)를 통과한 광의 가시광선 대역이 차단되고 적외선 대역이 투과된 상태에서는 ISP(14)에 의해 생성된 흑백영상의 픽셀 값들에 기초하여 렌즈부(11) 전방의 시정거리를 감소시키는 요소의 농도를 산출하고, 이와 같이 산출된 농도에 가중치를 가산한 후에 가중치가 가산된 농도에 반비례하여 렌즈부(11) 전방의 시정거리를 설정함으로써 렌즈부(11) 전방의 시정거리를 측정할 수 있다. 여기에서, 가중치는 렌즈부(11) 전방의 시정상태가 동일한 조건에서의 ISP(14)에 의해 생성된 컬러영상과 흑백영상간의 선명도 차이를 의미한다. 예를 들어, 시정거리측정부(19)는 렌즈부(11) 전방의 시정거리의 기준값으로부터 렌즈부(11) 전방의 시정거리를 감소시키는 요소의 농도와 가중치의 합을 감산하고, 그 감산 결과를 렌즈부(11) 전방의 시정거리로 설정할 수 있다.
보다 상세하게 설명하면, 시정거리측정부(19)는 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상의 픽셀 값들의 밝기 변화도, 및 ISP(14)에 의해 생성된 컬러영상 또는 흑백영상 내의 물체의 윤곽을 나타내는 화소의 개수 중 적어도 하나로부터 렌즈부(11) 전방의 시정거리를 감소시키는 요소의 농도를 산출할 수 있다. 날씨가 맑아 시정상태가 양호한 경우에는 시정상태가 불량한 경우에 비해 영상의 픽셀 값들의 밝기가 급격하게 변하고, 영상 내의 물체의 윤곽(edge)이 선명해져 물체의 윤곽을 나타내는 화소의 개수가 증가한다. 예를 들어, 날씨가 맑아 시정상태가 양호한 경우에는 하늘과 지면의 밝기 차이가 극명하게 나타나고 하늘과 지면의 경계를 나타내는 화소의 개수가 증가한다. 반대로, 야간이나 악천후로 인해 시정상태가 불량한 경우에는 시정상태가 양호한 경우에 비해 영상의 픽셀 값들의 밝기가 서서히 변하고, 영상 내의 물체의 윤곽이 희미해져 물체의 윤곽을 나타내는 화소의 개수가 감소한다. 예를 들어, 렌즈부(11) 전방의 안개 농도가 짙을수록 영상의 픽셀 값들의 밝기 차이가 감소하고 물체의 윤곽을 나타내는 화소의 개수도 감소한다.
도 6은 도 1에 도시된 감시카메라(10)가 적용된 영상감시시스템의 구성도이다. 도 6을 참조하면, 본 실시예에 따른 영상감시시스템은 도 1에 도시된 감시카메라(10)를 포함하는 복수 개의 감시카메라(10), 복수 개의 허브(20), 및 서버(30)로 구성된다. 복수 개의 감시카메라(10)는 감시 지역의 도처에 산발적으로 설치되며 상술한 바와 같은 실시예에 따라 이것에 의해 촬영된 영상을 네트워크를 통하여 서버(30)로 전송한다. 감시 지역이 매우 협소한 경우라면 한 대의 감시카메라(10)만 설치될 수도 있다. 복수 개의 허브(20)는 복수 개의 감시카메라(10)를 네트워크에 접속시키고 서버(30)를 네트워크에 접속시킴으로써 복수 개의 감시카메라(10)와 서버(30)간의 네트워크 통신을 가능하게 한다.
서버(30)는 관제센터에 설치되어 복수 개의 감시카메라(10)로부터 네트워크를 통하여 전송된 컬러영상 또는 흑백영상을 수신하고, 이와 같이 수신된 컬러영상 또는 흑백영상을 사용자에게 표시한다. 서버(30)는 감시카메라(10)의 렌즈부(11) 전방의 현재 시정상태에 따라 감시카메라(10)로부터 전송된 컬러영상 또는 흑백영상으로부터 렌즈부(11) 전방의 시정거리를 감소시키는 요소를 제거함으로써 감시카메라(10)로부터 전송된 컬러영상 또는 흑백영상을 필터링할 수 있다. 서버(30)의 하드웨어적인 성능은 감시카메라(10)의 하드웨어 성능에 비해 매우 우수하기 때문에 서버(30)에서는 고용량의 영상필터링알고리즘이 원활하게 실행될 수 있다. 예를 들어, 감시카메라(10)에 의해 야간 또는 악천후 상황에서 촬영된 흑백영상은 제 4 필터링레벨에 따라 필터링되더라도 그 선명도가 부족할 수 있기 때문에 서버(30)는 감시카메라(10)로부터 전송된 흑백영상에 감시카메라(10)에 의해 실행되는 영상필터링알고리즘보다 고성능의 영상필터링알고리즘을 적용함으로써 목표물을 식별하기에 충분한 선명도의 흑백영상을 사용자에게 제공할 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (9)

  1. 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라에 있어서,
    적어도 하나의 렌즈를 포함하는 렌즈부;
    상기 렌즈부 전방의 현재 시정상태에 따라 상기 렌즈부를 통과한 광의 적외선 대역과 가시광선 대역 중 어느 하나를 차단하고 다른 하나를 투과시키는 하드웨어필터;
    상기 하드웨어필터를 통과한 광을 전기적 신호로 변환하는 이미지센서;
    상기 이미지센서로부터 출력된 신호로부터 상기 하드웨어필터로부터 출사된 광의 대역에 따라 컬러영상 또는 흑백영상을 생성하는 ISP(Image Signal Processor);
    상기 렌즈부 전방의 현재 시정상태에 따라 상기 ISP에 의해 생성된 컬러영상 또는 흑백영상으로부터 상기 렌즈부 전방의 시정거리를 감소시키는 요소를 제거함으로써 상기 ISP에 의해 생성된 컬러영상 또는 흑백영상을 필터링하는 소프트웨어필터;
    상기 소프트웨어필터의 필터링 여부에 따라 상기 ISP에 의해 생성된 컬러영상의 분석을 이용하여 상기 렌즈부의 오토포커싱을 수행하거나 상기 소프트웨어필터에 의해 필터링된 컬러영상 또는 흑백영상의 분석을 이용하여 상기 렌즈부의 오토포커싱을 수행하는 오토포커싱부; 및
    상기 하드웨어필터의 필터링 대역 및 상기 소프트웨어필터의 필터링 여부에 따라 상기 오토포커싱부로 입력되는 영상이 결정되는 복수의 필터링레벨 중에서 상기 렌즈부 전방의 현재 시정상태에 대응하는 어느 하나의 필터링레벨에 따라 상기 하드웨어필터의 필터링 대역과 상기 소프트웨어필터의 필터링 여부를 제어하는 제어부를 포함하는 것을 특징으로 하는 감시카메라.
  2. 제 1 항에 있어서,
    상기 오토포커싱부의 제어에 따라 상기 렌즈부의 적어도 하나의 렌즈의 위치를 이동시키는 액추에이터를 더 포함하고,
    상기 오토포커싱부는 상기 ISP에 의해 생성된 컬러영상 또는 흑백영상이 상기 소프트웨어필터에 의해 필터링된 경우에 상기 렌즈부의 적어도 하나의 렌즈와 상기 이미지 센서간의 거리가 변화되도록 상기 액추에이터의 동작을 제어하면서 상기 소프트웨어필터에 의해 필터링된 컬러영상 또는 흑백영상의 선명도 변화를 분석하고 상기 소프트웨어필터에 의해 필터링된 컬러영상 또는 흑백영상의 선명도가 가장 높은 순간의 상기 렌즈부의 적어도 하나의 렌즈의 위치를 상기 렌즈부의 초점 맞춤 위치로 결정하는 방식으로 오토포커싱을 수행하는 것을 특징으로 하는 감시카메라.
  3. 제 1 항에 있어서,
    상기 복수의 필터링레벨은 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 적외선 대역이 차단된 상태에서 상기 ISP로부터 출력되는 컬러영상이 직접 상기 오토포커싱부로 입력되는 제 1 필터링레벨, 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 적외선 대역이 차단된 상태에서 상기 ISP로부터 출력되는 컬러영상이 상기 소프트웨어필터에 의해 필터링된 후에 상기 오토포커싱부로 입력되는 제 2 필터링레벨, 및 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 가시광선 대역이 차단된 상태에서 상기 ISP로부터 출력되는 흑백영상이 상기 소프트웨어필터에 의해 필터링된 후에 상기 오토포커싱부로 입력되는 제 3 필터링레벨을 포함하는 것을 특징으로 하는 감시카메라.
  4. 제 3 항에 있어서,
    상기 제 3 필터링레벨에서는 상기 ISP로부터 출력된 흑백영상에 상기 시정거리를 감소시키는 요소를 제거하기 위한 소정의 영상필터링알고리즘이 적용되는 방식으로 상기 소프트웨어필터에 의해 필터링된 흑백영상이 상기 오토포커싱부로 입력되고,
    상기 복수의 필터링레벨은 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 가시광선 대역이 차단된 상태에서 상기 ISP로부터 출력된 흑백영상의 각 픽셀의 휘도값이 반전되고, 상기 반전된 휘도값을 갖는 흑백영상에 상기 소정의 영상필터링알고리즘과 동일한 영상필터링알고리즘이 적용되는 방식으로 상기 소프트웨어필터에 의해 필터링된 영상이 상기 오토포커싱부로 입력되는 제 4 필터링레벨을 더 포함하는 것을 특징으로 하는 감시카메라.
  5. 제 3 항에 있어서,
    상기 ISP에 의해 생성된 컬러영상 또는 흑백영상의 픽셀 값들에 기초하여 상기 렌즈부 전방의 시정거리를 측정하는 시정거리 측정부를 더 포함하고,
    상기 제어부는 상기 제 1 필터링레벨, 상기 제 2 필터링레벨, 및 상기 제 3 필터링레벨 중에서 상기 시정거리 측정부에 의해 측정된 시정거리에 따라 어느 하나의 필터링레벨을 선택하고, 상기 선택된 필터링레벨에 따라 상기 하드웨어필터의 필터링 대역과 상기 소프트웨어필터의 필터링 여부를 제어하는 것을 특징으로 하는 감시카메라.
  6. 제 5 항에 있어서,
    상기 제어부는 상기 하드웨어필터가 상기 렌즈부를 통과한 광의 가시광선 대역을 차단하고 적외선 대역을 투과시키는 동안에 상기 시정거리의 측정 주기마다 상기 하드웨어필터가 일시적으로 상기 렌즈부를 통과한 광의 적외선 대역을 차단하고 가시광선 대역을 투과시키도록 상기 하드웨어필터의 필터링 대역을 제어하고,
    상기 시정거리 측정부는 상기 시정거리의 측정 주기마다 상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 적외선 대역이 차단되고 가시광선 대역이 투과된 상태에서 상기 ISP에 의해 생성된 컬러영상의 픽셀 값들에 기초하여 상기 렌즈부 전방의 시정거리를 측정하는 것을 특징으로 하는 감시카메라.
  7. 제 5 항에 있어서,
    상기 시정거리 측정부는
    상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 적외선 대역이 차단되고 가시광선 대역이 투과된 상태에서는 상기 ISP에 의해 생성된 컬러영상의 픽셀 값들에 기초하여 상기 렌즈부 전방의 시정거리를 감소시키는 요소의 농도를 산출하고 상기 산출된 농도에 반비례하여 상기 렌즈부 전방의 시정거리를 설정함으로써 상기 렌즈부 전방의 시정거리를 측정하고,
    상기 하드웨어필터에 의해 상기 렌즈부를 통과한 광의 가시광선 대역이 차단되고 적외선 대역이 투과된 상태에서는 상기 ISP에 의해 생성된 흑백영상의 픽셀 값들에 기초하여 상기 렌즈부 전방의 시정거리를 감소시키는 요소의 농도를 산출하고 상기 산출된 농도에 가중치를 가산한 후에 상기 가중치가 가산된 농도에 반비례하여 상기 렌즈부 전방의 시정거리를 설정함으로써 상기 렌즈부 전방의 시정거리를 측정하는 것을 특징으로 하는 감시카메라.
  8. 제 1 항에 있어서,
    상기 소프트웨어필터의 필터링 여부에 따라 상기 ISP에 의해 생성된 컬러영상을 압축하거나 상기 소프트웨어필터에 의해 필터링된 컬러영상 또는 흑백영상을 압축하는 압축부를 더 포함하고,
    상기 제어부는 상기 하드웨어필터의 필터링 대역 및 상기 소프트웨어필터의 필터링 여부에 따라 상기 압축부와 상기 오토포커싱부로 입력되는 영상이 결정되는 복수의 필터링레벨 중에서 상기 렌즈부 전방의 현재 시정상태에 대응하는 어느 하나의 필터링레벨에 따라 상기 하드웨어필터의 필터링 대역과 상기 소프트웨어필터의 필터링 여부를 제어하는 것을 특징으로 하는 감시카메라.
  9. 제 1 항의 감시카메라를 포함하는 적어도 하나의 감시카메라; 및
    상기 적어도 하나의 감시카메라로부터 네트워크를 통하여 전송된 컬러영상 또는 흑백영상을 사용자에게 표시하는 서버를 포함하는 것을 특징으로 하는 영상감시시스템.
PCT/KR2017/004737 2017-03-02 2017-05-08 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템 WO2018159896A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/482,699 US10931925B2 (en) 2017-03-02 2017-05-08 Monitoring camera having autofocusing function based on composite filtering robust against change in visibility status and video monitoring system employing same
CN201780086952.1A CN110326291B (zh) 2017-03-02 2017-05-08 具有自动聚焦功能的监控相机和采用其的视频监控系统
JP2019542509A JP6826208B2 (ja) 2017-03-02 2017-05-08 視程状態の変化にロバストな複合フィルタリング基盤のオートフォーカシング機能を有する監視カメラ及びそれが適用された映像監視システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170026977A KR101786553B1 (ko) 2017-03-02 2017-03-02 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템
KR10-2017-0026977 2017-03-02

Publications (1)

Publication Number Publication Date
WO2018159896A1 true WO2018159896A1 (ko) 2018-09-07

Family

ID=60297758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/004737 WO2018159896A1 (ko) 2017-03-02 2017-05-08 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템

Country Status (5)

Country Link
US (1) US10931925B2 (ko)
JP (1) JP6826208B2 (ko)
KR (1) KR101786553B1 (ko)
CN (1) CN110326291B (ko)
WO (1) WO2018159896A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217349A1 (zh) * 2020-04-27 2021-11-04 深圳市大疆创新科技有限公司 对焦处理方法、终端、红外设备、系统、无人机及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112730345A (zh) * 2019-10-28 2021-04-30 浙江宇视科技有限公司 一种能见度检测方法、装置、设备和介质
WO2022038924A1 (ja) * 2020-08-20 2022-02-24 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188713A (ja) * 1998-12-22 2000-07-04 Ricoh Co Ltd 自動焦点制御装置及びその合焦動作決定方法
KR101219659B1 (ko) * 2012-07-27 2013-01-09 한국건설기술연구원 Ｃｃｔｖ 영상을 이용한 안개 검지 시스템 및 그 방법
KR101279374B1 (ko) * 2012-11-27 2013-07-04 주식회사 카이넥스엠 카메라의 영상 개선을 위한 안개제거 영상 보정 장치 및 방법
KR20160088466A (ko) * 2015-01-15 2016-07-26 주식회사 에코테마파크 선명한 상의 촬영이 가능한 감시 카메라
KR101649256B1 (ko) * 2015-12-09 2016-08-18 (주)한일에스티엠 악천후감지 및 악천후감지에 따른 영상개선이 가능한 영상감시시스템

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248950B2 (en) * 2003-08-12 2007-07-24 Kollsman, Inc. Fog tester apparatus
KR100715140B1 (ko) 2006-05-23 2007-05-08 (주)비알유 시정 측정 장치 및 그 방법
CN101571665B (zh) * 2008-04-28 2011-12-21 鸿富锦精密工业（深圳）有限公司 投影仪自动对焦装置与自动对焦方法
KR101032160B1 (ko) 2009-10-06 2011-05-02 충주대학교 산학협력단 카메라를 이용한 도로 시정 측정 시스템 및 그 방법
US8379134B2 (en) * 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
US8228406B2 (en) * 2010-06-04 2012-07-24 Apple Inc. Adaptive lens shading correction
CN102377937B (zh) * 2010-08-04 2015-07-15 株式会社日立国际电气 摄像装置
CN202026402U (zh) * 2010-12-28 2011-11-02 特视瞰光电科技（深圳）有限公司 一种带自动对焦和图像修正的监控摄像机
US9596398B2 (en) * 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
WO2014072837A2 (en) * 2012-06-07 2014-05-15 DigitalOptics Corporation Europe Limited Mems fast focus camera module
US9071737B2 (en) * 2013-02-22 2015-06-30 Broadcom Corporation Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic
KR101426298B1 (ko) 2014-01-24 2014-08-13 (주)인펙비전 안개 제거율을 높인 영상보정장치 및 방법
KR101534646B1 (ko) 2014-01-29 2015-07-22 아이브스테크놀러지(주) 영상에서 안개를 제거하기 위한 영상 처리 장치 및 방법
US10579871B2 (en) * 2016-02-03 2020-03-03 Hefei Xu Biometric composite imaging system and method reusable with visible light
US20190052791A1 (en) * 2017-08-10 2019-02-14 Olympus Corporation Image processing apparatus and image processing method
US10916036B2 (en) * 2018-12-28 2021-02-09 Intel Corporation Method and system of generating multi-exposure camera statistics for image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188713A (ja) * 1998-12-22 2000-07-04 Ricoh Co Ltd 自動焦点制御装置及びその合焦動作決定方法
KR101219659B1 (ko) * 2012-07-27 2013-01-09 한국건설기술연구원 Ｃｃｔｖ 영상을 이용한 안개 검지 시스템 및 그 방법
KR101279374B1 (ko) * 2012-11-27 2013-07-04 주식회사 카이넥스엠 카메라의 영상 개선을 위한 안개제거 영상 보정 장치 및 방법
KR20160088466A (ko) * 2015-01-15 2016-07-26 주식회사 에코테마파크 선명한 상의 촬영이 가능한 감시 카메라
KR101649256B1 (ko) * 2015-12-09 2016-08-18 (주)한일에스티엠 악천후감지 및 악천후감지에 따른 영상개선이 가능한 영상감시시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217349A1 (zh) * 2020-04-27 2021-11-04 深圳市大疆创新科技有限公司 对焦处理方法、终端、红外设备、系统、无人机及介质

Also Published As

Publication number Publication date
US20200228762A1 (en) 2020-07-16
JP2020509661A (ja) 2020-03-26
CN110326291B (zh) 2021-03-05
KR101786553B1 (ko) 2017-10-17
JP6826208B2 (ja) 2021-02-03
US10931925B2 (en) 2021-02-23
CN110326291A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
WO2018056545A2 (ko) 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템
WO2018159896A1 (ko) 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
CN108712608B (zh) 终端设备拍摄方法和装置
EP3468178B1 (en) Image defogging method and image capture apparatus implementing image defogging
US7697044B2 (en) Image processing apparatus and image processing method
EP2833618A2 (en) Method for activating and deactivating an image correction function, camera system and motor vehicle
CN110365878B (zh) 一种摄像装置和方法
US20150092992A1 (en) Image processing device, image capturing apparatus, and image processing method
WO2004062275A1 (ja) 画像処理装置および画像処理プログラム
KR101900889B1 (ko) 비트 레이트 제어기 및 출력 비트 레이트를 제한하는 방법
US6831687B1 (en) Digital camera and image signal processing apparatus
CN103139476A (zh) 图像摄取装置及图像摄取装置的控制方法
JP2004222231A (ja) 画像処理装置および画像処理プログラム
US20140168385A1 (en) Video signal processing apparatus and video signal processing method
KR102638565B1 (ko) 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램
US20210049427A1 (en) Image processing apparatus, image processing method, and image processing system
JP4466017B2 (ja) 画像処理装置および画像処理プログラム
KR101840754B1 (ko) 밝기 구간별 화질 보상 시스템 및 방법
US11861814B2 (en) Apparatus and method for sensing image based on event
WO2001065859A1 (fr) Appareil de captage d'image
JP4466016B2 (ja) 画像処理装置および画像処理プログラム
CN114125311A (zh) 一种宽动态模式的自动切换方法及装置
KR101327035B1 (ko) 카메라 모듈 및 이의 이미지 처리 방법
JP2016200742A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898866

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019542509

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898866

Country of ref document: EP

Kind code of ref document: A1