WO2019031802A1 - 밝기 구간별 화질 보상 시스템 및 방법 - Google Patents

밝기 구간별 화질 보상 시스템 및 방법 Download PDF

Info

Publication number
WO2019031802A1
WO2019031802A1 PCT/KR2018/008937 KR2018008937W WO2019031802A1 WO 2019031802 A1 WO2019031802 A1 WO 2019031802A1 KR 2018008937 W KR2018008937 W KR 2018008937W WO 2019031802 A1 WO2019031802 A1 WO 2019031802A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
image
external light
level
information
Prior art date
Application number
PCT/KR2018/008937
Other languages
English (en)
French (fr)
Inventor
구본정
Original Assignee
주식회사 다본다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다본다 filed Critical 주식회사 다본다
Publication of WO2019031802A1 publication Critical patent/WO2019031802A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/281—Interference filters designed for the infrared light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Definitions

  • the present invention relates to a picture quality compensation system and method for each brightness interval.
  • surveillance cameras are widely used for crime prevention, road / building surveillance, or surveillance of vulnerable areas (mountainous areas, border areas, etc.).
  • the surveillance camera is mainly used in an external environment, and its external brightness changes with time.
  • infrared illumination or visible light illumination in dark places.
  • infrared light is used and the infrared ray filter is removed to allow the infrared ray to pass through and the input image is processed as a black and white image.
  • the use brightness range of the color image depends on the sensitivity of the image sensor. Using a low-light sensor allows you to view images even in darker areas, but a sensor with better low-light characteristics will increase its price.
  • the conventional camera improves the low-illuminance characteristic by applying the means for accumulating images.
  • the image generation is slowed and the moving objects are subject to image dragging and afterimage, it is difficult to distinguish moving objects from the final image .
  • a conventional surveillance camera generates a color image when it is bright and a monochrome image when it is dark, and an image is not generated when it becomes darker. Therefore, infrared light (lamp) or auxiliary light should be used. If you are using infrared light, you must remove the infrared cut filter to allow infrared light to be input to the image sensor.
  • Patent Document 1 Korean utility model registration 20-0323585 (registered on August 5, 2003)
  • the present invention improves the image quality by applying different image quality compensation to each section by dividing the brightness range of the subject into three sections. Therefore, if there is some illumination in a low-illuminance environment even without using a separate infrared auxiliary light, And to provide a picture quality compensation system and a picture quality compensation method for each brightness section that can obtain a brighter picture than the conventional one.
  • the present invention is to provide a picture quality compensation system and method for each brightness section that compensates for an image according to a result of determining a brightness of a subject, and compensates for image quality at a lower illuminance than an existing camera, thereby enlarging a brightness use range.
  • the present invention is to provide a system and method for compensating image quality for each brightness section in which a clear image can be obtained even in a fragile environment by arbitrarily selecting to amplify color and contrast at the same time when an image is blurred due to fog or smog.
  • a picture quality compensation method performed in an image quality compensation system provided in a camera, the method comprising the steps of: comparing image brightness information of a video signal received by an image sensor with external light brightness information measured by an external light sensor Determining the directionality of the brightness change; Determining brightness of the video signal by dividing the brightness of the video signal into three states of day, evening, and night based on the brightness determination level set according to the directionality; And performing a predetermined image compensation process according to the determination result, and a recording medium on which a program that can be read by the digital processing apparatus for performing the image quality compensation method is recorded.
  • the step of determining the directionality of the brightness change may be classified into a night mode in which the image brightness information and the external light brightness information change from a high brightness to a low brightness and a scrolling mode in which the brightness changes from low brightness to high brightness.
  • the image brightness information when the image brightness information is equal to or lower than the image brightness level, when the image brightness information is equal to or more than one level of the external light brightness, And determines that the external light brightness information is a nighttime state when the external light brightness level is equal to or lower than one level and determines that the external light brightness information is a nighttime state when the external light brightness information is equal to or less than two levels of external light brightness, Level, it is determined that the image brightness information is in the evening state when the image brightness is equal to or lower than the image brightness level and the daytime state is determined when the image brightness is equal to or higher than two levels.
  • the brightness value may be larger in order of the external light brightness level, the image brightness level, the external light brightness level, and the image brightness level.
  • color compensation for amplifying color data of the video signal can be performed.
  • the camera further comprises an infrared cutoff filter disposed between the lens and the image sensor, wherein the infrared cutoff filter is removed when the evening state and the nighttime state are determined in the day and night mode,
  • the infrared cut filter can be put in place so as to be in the use state.
  • an image processing apparatus comprising: an image sensor for outputting a video signal for a subject corresponding to light input through a lens of a camera; An external light sensor installed in front of the camera and measuring ambient brightness of the subject; And a controller for determining the direction of brightness change by combining the image brightness information of the image signal and the external light brightness information measured by the external photosensor and setting the brightness of the image signal to 3 And an image processing unit that performs image compensation processing corresponding to each of the states.
  • the image quality compensation system of each brightness section is provided.
  • the external light sensor may be installed in the camera such that an optical sensor centerline is parallel to a lens centerline between the lens and the image sensor.
  • the embodiment of the present invention by dividing the brightness period of the subject into three and applying image quality compensation for each section differently to improve the image quality, it is possible to improve the image quality In this case, a color image is implemented, and when it is darker, a bright image can be obtained.
  • the image is compensated and improved, thereby compensating for the image quality at a lower luminance than that of the conventional camera, thereby enlarging the use range of the brightness.
  • FIG. 1 is a schematic block diagram of a picture quality compensation system according to an exemplary embodiment of the present invention
  • FIG. 2 is a structural view of a camera to which an image quality compensation system is applied according to an exemplary embodiment of the present invention
  • Fig. 3 is a graph showing the brightness distribution of the subject
  • FIG. 4 is a flowchart of a picture quality compensation method according to an exemplary embodiment of the present invention.
  • FIGS. 7 and 8 are detailed flow charts when performing the infrared cut filter control
  • FIG. 9 is a circuit diagram of a current amplifying circuit.
  • first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • part, “” module, “ and the like which are described in the specification, mean a unit for processing at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software.
  • FIG. 1 is a schematic block diagram of an image quality compensation system according to an exemplary embodiment of the present invention
  • FIG. 2 is a structural view of a camera to which an image quality compensation system is applied according to an exemplary embodiment of the present invention
  • 4 is a flowchart of an image quality compensation method for each brightness period in which image quality improvement compensation processing is performed by dividing a section according to brightness determination according to an embodiment of the present invention.
  • FIGS. 7 and 8 are detailed flow charts when infrared blocking filter control is performed
  • FIG. 9 is a circuit diagram of the current amplification circuit.
  • FIG. 1 and 2 show an image quality compensation system 1, a lens 10, an infrared cut filter 20, an image sensor 30, an image processing unit 40, a video signal processing unit 42, An output image converting unit 46, an external light sensor 50, a lens center line CL1, and an optical sensor center line CL2.
  • the image quality compensation system 1 for each brightness period is applied to a photographing apparatus such as a surveillance camera and combines the brightness information of the image sensor and the brightness information of the external light sensor to obtain three (Day mode, evening mode, night mode), and then performs appropriate image quality improvement compensation processing such as color compensation and contrast compensation for each section. At this time, a different judgment level can be set according to the directionality of the brightness change in the division of the brightness section.
  • the image quality compensation system 1 for each brightness period includes an infrared cut filter 20, an image sensor 30, an image processing unit 40, and an external light sensor 50.
  • a lens 10 is provided at the front end of the image sensor 30 and an object image is input through the lens 10 to form an image on the image sensor 30. [ The image on the image sensor 30 is converted into an electrical signal (image signal) and transmitted to the image processing unit 40 in the subsequent stage.
  • the image processing unit 40 converts the image data into digital data and outputs a standardized image signal through various predetermined image processing (for example, preprocessing, color interpolation, luminance processing, color processing, color format conversion, noise removal, .
  • predetermined image processing for example, preprocessing, color interpolation, luminance processing, color processing, color format conversion, noise removal, .
  • An infrared cut filter 20 may be disposed between the image sensor 30 and the lens 10.
  • the infrared cut filter 20 is a filter that passes visible light but blocks infrared rays.
  • the infrared cut-off filter 20 is disposed on the lens center line CL1 to block the infrared rays when the subject or the surroundings are above a predetermined brightness level, and when the predetermined level is lower than the predetermined brightness level, It can be removed on the lens center line CL1 to allow light of all wavelength bands including infrared rays to pass through.
  • the removal of the infrared cut filter 20 can be performed by a method such as turning, elevating or the like using a driving means such as a motor, which is obvious to a person skilled in the art and will not be described in detail.
  • the filter control such as the use or removal of the infrared cut filter 20 may be automatically performed by a combination operation of the brightness information of the image sensor 30 and the brightness information of the external light sensor 50, Will be described in detail with reference to the drawings.
  • the image sensor 30 is configured such that fine pixels are two-dimensionally integrated and outputs an electric signal (image signal) corresponding to the brightness of the incident light.
  • the image sensor 30 may be one type of CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor).
  • the image sensor 30 may be configured in a Bayer pattern, for example, and may provide Bayer image data corresponding to the brightness of light incident on the Bayer pattern.
  • the external light sensor 50 is installed in the camera so as to have an optical sensor centerline CL2 parallel to the lens centerline CL1 and senses the brightness of the surrounding environment between the subject and the camera.
  • the brightness sensed by the external light sensor 50 can be utilized as brightness information that is distinguished from the brightness of the subject image formed on the image sensor 30.
  • the incident angle of the external light sensor 50 should be smaller than the incident angle of the lens 10. This is to measure a range of brightness similar to the actual monitored subject.
  • the incident angle of the external light sensor 50 is larger than the incident angle of the lens 10, the brightness information of the subject may be distorted due to the influence of the ambient light in addition to the actual image.
  • the brightness information obtained from the external light sensor 50 plays an important role in a low light condition. Therefore, a current amplification circuit (see FIG. 9) can be added so that the brightness division unit in the low light intensity can be finely set. For example, by adding a current amplification circuit, it is possible to divide the brightness in units of 0.1 lux or less.
  • the current amplification circuit 600 includes a photodiode 601, a transistor 602, an operational amplifier 603, and resistors 604 to 606.
  • the current of the photodiode 601 changes according to the brightness of external light. As the brightness becomes brighter, more current flows, and as the brightness becomes lower, the current flows smaller.
  • the current of the photodiode 601 is a very small value of several uA, and it is necessary to amplify the current to distinguish the brightness of less than 0.1 lux.
  • the output of the OP amplifier 603 corresponds to the output voltage according to the brightness of the external light, and the output voltage level corresponds to the brightness of the external light.
  • Each of the resistors 604, 605, and 606 is related to the amplification factor of the transistor 602 and the operational amplifier 603.
  • the image processing unit 40 includes an image signal processing unit 42 for processing the image signal output from the image sensor 30, an image quality compensation processing unit 44 for performing compensation processing for improving the image quality, And an output image converting unit 46 for converting the image signal whose image quality has been improved to an output image for display on a screen.
  • Image signal processing unit 42 general image signal processing may be performed.
  • Image signal processing may include preprocessing, color interpolation, gamma correction, format conversion, and the like.
  • the preprocessing process includes defect correction existing in the image sensor or shading correction caused by a short focal length of the lens.
  • each pixel component having one channel component is separated into R (Red), G (Green), and B (Blue) components by interpolation with respect to the data subjected to the preprocessing, And each pixel has three channel components of R, G, and B.
  • Gamma correction is a video signal processing that nonlinearly transforms a light intensity signal using a nonlinear transfer function, considering that human vision reacts nonlinearly with respect to brightness.
  • the format conversion is image signal processing for converting image data of an RGB region into a Y component as a brightness component and Cb and Cr components as a chrominance component.
  • the image quality compensation processing unit 44 performs image quality compensation on the image data subjected to general image signal processing in the image signal processing unit 42 by using the brightness information (image brightness, subject brightness) of the image sensor and brightness information And the brightness of the surrounding area).
  • the brightness reference for distinguishing the brightness period when the brightness is converted from the high brightness to the low brightness (day ⁇ night: night mode) and when the brightness is changed from low brightness to high brightness (night ⁇ week: So that errors and malfunctions due to changes in the external environment other than the subject are prevented, thereby achieving a more effective image quality improvement.
  • the brightness period is divided into three states of day, evening, and night according to the brightness of the image. Then, image quality compensation processing is set differently according to each state.
  • color compensation is performed to amplify the color data (R, G, B) when there is illumination around the subject (in the case of external light) so that the output image becomes a color image.
  • contrast compensation for amplifying the brightness component (Y value) of the image signal is performed to make it appear brighter than that imaged by the image sensor 30, so that the output image can be improved in low light.
  • the judgment level for each brightness information is divided into two levels according to the change in brightness and the reference level for brightness determination is set differently according to the directionality of the brightness change. This is because the determination error by the external change and the image quality compensation processing unit 44 / This is to prevent malfunction of the cut-off filter 20. For example, it is intended to prevent a picture quality compensation flow from being easily changed when there is illumination of a short time such as a car light at night.
  • the image sensor 30 there is a switching criterion (judgment level) of one level of image brightness and two levels of image brightness.
  • the external light sensor 50 there is a switching criterion of one level of external light brightness and two levels of external light brightness .
  • the brightness increases in the order of external light brightness level 1, image brightness level 1, external light brightness level 2, and image brightness level 2 (external brightness 1 ⁇ brightness 1 ⁇ brightness 2 ⁇ brightness 2).
  • the brightness processing in the image sensor 30 can be performed along the path (1). That is, it is discriminated whether the brightness is high or low based on one level of image brightness.
  • the brightness process in the image sensor 30 is performed along the path (2) instead of the (1) path. That is, it is discriminated whether high brightness or low brightness is based on two levels of image brightness.
  • the reference level is the external light brightness, not the image brightness.
  • the brightness processing in the external light sensor 50 can be performed along the path (3).
  • a high brightness or a low brightness is distinguished based on one level of external light brightness.
  • the brightness processing in the external light sensor 50 is performed along the path (4) instead of the (3) path. That is, it is discriminated whether high brightness or low brightness is based on two levels of external light brightness.
  • the reference level for distinguishing high brightness and low light intensity can be changed according to the directionality of brightness. This is to prevent the brightness of the subject from being drastically changed due to external disturbance illumination or the like by making the judgment level in the case of changing from low illumination to high luminance to be higher than the judgment level in the environment of changing from high luminance to low illumination.
  • the image output state When the image output state is checked, it is determined whether the image is in the daytime state based on one image brightness level when the brightness change is from high brightness to low brightness. If the image brightness is lower than 1 level, it distinguishes the night state from the evening state based on 1 level of external light brightness.
  • the nighttime condition is based on two levels of external light brightness. If the brightness of the external light is brighter than 2 levels, it distinguishes the daytime state from the evening state based on the image brightness 2 level.
  • the interval between one level of the external light brightness and two levels of the image brightness
  • the use and removal criteria may vary depending on the directionality of the brightness change.
  • the filter in use can be removed based on one level of external light brightness.
  • the filter removed based on the external light brightness level 2 can be automatically switched to the use state.
  • a picture quality compensation method performed by the picture quality compensation processing unit 44 is disclosed.
  • the image quality compensation processing unit 44 determines whether or not the fog removal setting is made (step 102). If the fog removal setting has been made, the flow advances to step S124 to perform predetermined color compensation and contrast compensation at the same time, so that the imaging image having the fog removal effect can be output through the output image conversion unit 46. [ Steps S102 and S124 may be omitted as necessary.
  • the directional change of brightness is determined by analyzing brightness of the image signal received by the image sensor 30 and / or brightness of the sensing signal received by the external light sensor 50 (step S104).
  • Step S106 In the case where the brightness gradually decreases from a high luminance to a low luminance, it is reported that the state is changed from a daytime (evening) state to a nighttime state (step S106), and when the brightness gradually increases from low to high brightness, (Step S108).
  • the brightness determination unit included in the image quality compensation processing unit 44 determines the current brightness state by combining the brightness information (brightness of the image) of the subject and the brightness information (brightness of the external light) Step S110).
  • step S112 If it is determined to be in the daytime state (step S112), the imaging image is output through the output image conversion unit 46 without compensation (step S114).
  • color compensation is performed on the imaging image (step S118).
  • the color compensation may be, for example, increasing the R, G, B values of each pixel by a predetermined value.
  • Contrast compensation is performed on the imaging image (step S122). Contrast compensation may be performed by increasing the brightness component of each pixel by a predetermined value and outputting it as a monochrome image.
  • step S202 it is determined whether the image sensor brightness information is equal to or less than a first reference level (image brightness level 1) (step S202).
  • step S204 If the image sensor brightness information is equal to or higher than the first reference level, it is determined to be in the daytime state (step S204), and output to the imaging image without compensation (step S206).
  • the external light sensor brightness information is used to determine whether it is less than or equal to a second reference level (one level of external light brightness) (step S208).
  • step S210 If the external light sensor brightness information is equal to or higher than the second reference level, it is determined to be the evening state (step S210), and color compensation is performed on the imaging image so as to be output (step S212).
  • step S214 If the external light sensor brightness information is equal to or less than the second reference level, it is determined to be in a nighttime state (step S214), contrast compensation is performed on the imaging image, and a black and white image is output (step S216).
  • step S302 it is determined whether the external light sensor brightness information is equal to or greater than a third reference level (external light brightness level 2) (step S302).
  • step S304 If the external light sensor brightness information is equal to or less than the third reference level, it is determined to be in the nighttime state (step S304), contrast compensation is performed on the imaging image, and the black and white image is output (step S306).
  • the image sensor brightness information is used to determine whether it is equal to or higher than a fourth reference level (image brightness level 2) (step S308).
  • the state is determined as the daytime state (step S310), and the image is output without compensation for the imaging image (step S312).
  • step S314 If the image sensor brightness information is equal to or lower than the fourth reference level, it is determined to be the evening state (step S314), and color compensation is performed on the imaging image to be output (step S316).
  • step S402 It is determined whether the image sensor brightness information is equal to or less than a first reference level (image brightness level 1) (step S402).
  • the state is determined to be the daytime state (step S404), and the image is output without compensation for the imaging image (step S406).
  • the external light sensor brightness information is used to determine whether it is less than or equal to a second reference level (one level of external light brightness) (step S408).
  • step S410 If the external light sensor brightness information is equal to or higher than the second reference level, it is determined to be the evening state (step S410).
  • the infrared cut filter 20 is removed so that a larger amount of light can be incident through the image sensor 30 (step S412).
  • a color temperature correction process is performed (step S414).
  • color compensation is performed on the imaged image to be output (step S416).
  • step S4108 If the external light sensor brightness information is equal to or less than the second reference level, it is determined to be in the nighttime state (step S418). At this time, the infrared cut filter 20 is also removed (step S420). Then, the black-and-white image processing is performed (step S422). Thereafter, contrast compensation is performed on the imaging image so as to be output (step S424).
  • step S502 it is determined whether the external light sensor brightness information is greater than or equal to a third reference level (external light brightness level 2) (step S502).
  • step S504 If the external light sensor brightness information is less than or equal to the third reference level, it is determined to be in the nighttime state (step S504), the contrast image is compensated for the imaging image, and the black and white image is output (step S506).
  • the image sensor brightness information is used to determine whether it is equal to or higher than the fourth reference level (image brightness level 2) (step S508).
  • step S510 If the image sensor brightness information is equal to or higher than the fourth reference level, it is determined to be in the daytime state (step S510).
  • the infrared cutoff filter 20 is arranged on the lens center line CL1 so that the infrared cutoff is performed (step S512). This is because it is a daytime state, so color image output is possible even if there is no infrared signal. Thereafter, the imaging image is output without compensation (step S514).
  • step S566 If the image sensor brightness information is lower than or equal to the fourth reference level, it is determined to be the evening state (step S516), and color compensation is performed on the imaging image to output (step S518).
  • the image quality compensation method described with reference to Figs. 4 to 9 may be performed by an automated procedure according to a time-series sequence by a software program or the like incorporated in the digital processing apparatus.
  • the codes and code segments that make up the program can be easily deduced by a computer programmer in the field.
  • the program is stored in a computer readable medium, readable and executed by a computer, thereby implementing the method.
  • the information storage medium includes a magnetic recording medium, an optical recording medium, and the like.
  • the image is improved in a low light level by compensating differently according to the brightness of a subject in an image signal of an existing camera. Therefore, it is possible to output color images even in dark places where there is illumination with black and white images in conventional cameras, and it is possible to output images even in darker brightness than conventional cameras, since images are displayed in black and white in darker places.
  • the present embodiment it is possible to output a video image having a certain level of brightness regardless of the distance of the subject. If infrared illumination or white illumination is used, the object recognition distance is increased under the same conditions as in the conventional camera. This is because even if the subject is darker, it becomes bright by compensation. Since the brightness of the subject by the illuminator is inversely proportional to the square of distance, the brightness (illuminance) of the subject becomes darker as the distance from the illuminator (that is, the camera) increases. According to the present embodiment, it is possible to identify a subject located farther away.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

밝기 구간별 화질 보상 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 카메라에 구비된 화질 보상 시스템에서 수행되는 화질 보상 방법은, 이미지센서에서 수신한 영상 신호의 이미지 밝기 정보와 상기 카메라에 구비된 외부광센서에서 측정한 외부광 밝기 정보를 조합하여 밝기 변화의 방향성을 판단하는 단계; 상기 방향성에 따라 구분 설정된 밝기 판정 레벨을 기준으로 상기 영상 신호의 밝기를 주간, 저녁, 야간의 3가지 상태로 구분하여 판정하는 단계; 및 상기 판정 결과에 따라 미리 정해진 영상 보상 처리를 수행하는 단계를 포함할 수 있다.

Description

밝기 구간별 화질 보상 시스템 및 방법
본 발명은 밝기 구간별 화질 보상 시스템 및 방법에 관한 것이다.
일반적으로 감시용 카메라는 도심 방범, 도로/건물 감시 혹은 취약지역(산악, 경계지역 등)의 감시 등 다양하게 사용되고 있다. 감시용 카메라는 주로 외부 환경에서 사용되며, 그 외부 밝기는 시간 경과에 따라 변화하게 된다.
종래의 카메라는 어두운 곳에서는 적외선 조명 혹은 가시광 조명을 사용하였다. 특히, 종래 감시용 카메라는 어두운 곳에서는 영상의 감도를 높이기 위해 적외선 조명을 사용하고 적외선 차단 필터를 제거하여 적외선이 통과할 수 있도록 하고 입력 영상을 흑백 화면으로 처리한다.
이러한 종래의 카메라에서는 컬러 영상의 사용 밝기 범위가 이미지 센서의 감도에 의존하게 된다. 저조도 센서를 사용하게 되면 더 어두운 곳에서도 영상을 볼 수 있지만, 저조도 특성이 좋은 센서일수록 가격이 상승하게 된다.
또한, 종래의 카메라는 영상을 축적하는 수단을 적용하여 저조도 특성을 개선하기도 하였으나, 이 경우 영상 생성이 느려져 움직이는 물체는 영상 끌림 및 잔상 현상이 발생하게 됨으로써 최종 영상에서 움직이는 피사체의 구분이 어려워지는 문제점이 발생하고 있다.
즉, 종래의 감시용 카메라는 밝을 때는 컬러 영상, 어두울 때는 흑백 영상을 생성하고, 더 어두워지면 영상이 생성되지 않으므로, 적외선 조명(램프) 혹은 보조광을 사용해야 한다. 적외선 조명을 사용하는 경우 적외선 조명의 영상이 이미지센서에 입력되도록 하기 위해 적외선 차단 필터를 제거해야 한다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 한국실용신안등록 20-0323585호 (2003년 8월 5일 등록)
본 발명은 피사체의 밝기 구간을 3개로 구분하여 각 구간별 화질 보상을 상이하게 적용하여 화질을 개선함으로써, 별도의 적외선 보조광을 사용하지 않고서도 저조도 환경에서 주변에 일부 조명이 있는 경우에는 컬러 영상을 구현하고, 더 어두운 경우에는 기존보다 밝은 영상을 얻을 수 있게 한 밝기 구간별 화질 보상 시스템 및 방법을 제공하기 위한 것이다.
본 발명은 피사체의 밝기를 판정한 결과에 따라 영상을 보상 개선 처리하여 기존 카메라보다 저조도에서의 화질을 보상하여 밝기 사용 범위를 확대한 밝기 구간별 화질 보상 시스템 및 방법을 제공하기 위한 것이다.
본 발명은 안개 혹은 스모그에 의해 영상이 흐린 경우 컬러와 콘트라스트를 동시에 증폭시키는 것을 임의 선택하도록 하여 취약 환경에서도 보다 선명한 영상을 얻을 수 있는 밝기 구간별 화질 보상 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 카메라에 구비된 화질 보상 시스템에서 수행되는 화질 보상 방법으로서, 이미지센서에서 수신한 영상 신호의 이미지 밝기 정보와 상기 카메라에 구비된 외부광센서에서 측정한 외부광 밝기 정보를 조합하여 밝기 변화의 방향성을 판단하는 단계; 상기 방향성에 따라 구분 설정된 밝기 판정 레벨을 기준으로 상기 영상 신호의 밝기를 주간, 저녁, 야간의 3가지 상태로 구분하여 판정하는 단계; 및 상기 판정 결과에 따라 미리 정해진 영상 보상 처리를 수행하는 단계를 포함하는 밝기 구간별 화질 보상 방법 및 이를 수행하기 위하여 디지털 처리 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체가 제공된다.
상기 밝기 변화의 방향성을 판단하는 단계는, 상기 이미지 밝기 정보 및 상기 외부광 밝기 정보가 고휘도에서 저조도로 변화하는 주야 모드와, 저조도에서 고휘도로 변화하는 야주 모드로 구분할 수 있다.
상기 주야 모드에서는, 상기 이미지 밝기 정보가 이미지 밝기 1 레벨 이상인 경우 주간 상태로 판정하고, 상기 이미지 밝기 정보가 이미지 밝기 1 레벨 이하인 경우에는 상기 외부광 밝기 정보가 외부광 밝기 1 레벨 이상인 경우 저녁 상태로 판정하고, 외부광 밝기 1 레벨 이하인 경우 야간 상태로 판정하며, 상기 야주 모드에서는, 상기 외부광 밝기 정보가 외부광 밝기 2 레벨 이하인 경우 야간 상태로 판정하고, 상기 외부광 밝기 정보가 외부광 밝기 2 레벨 이상인 경우에는 상기 이미지 밝기 정보가 이미지 밝기 2 레벨 이하인 경우 저녁 상태로 판정하고, 이미지 밝기 2 레벨 이상인 경우 주간 상태로 판정할 수 있다.
상기 외부광 밝기 1 레벨, 상기 이미지 밝기 1 레벨, 상기 외부광 밝기 2 레벨, 상기 이미지 밝기 2 레벨 순으로 밝기 값이 커질 수 있다.
상기 저녁 상태에서는 상기 영상 신호의 컬러 데이터를 증폭시키는 컬러 보상을 수행할 수 있다.
상기 야간 상태에서는 상기 영상 신호의 휘도 성분을 증폭시키는 콘트라스트 보상을 수행할 수 있다.
상기 카메라는 렌즈와 상기 이미지센서 사이에 배치되는 적외선 차단 필터를 더 포함하되, 상기 주야 모드에서는 상기 저녁 상태 및 상기 야간 상태로 판정된 경우 상기 적외선 차단 필터를 제거시키고, 상기 야주 모드에서는 상기 주간 상태로 판정된 경우 상기 적외선 차단 필터를 사용 상태가 되도록 제자리에 위치시킬 수 있다.
한편 본 발명의 다른 측면에 따르면, 카메라의 렌즈를 통해 입력된 빛에 상응하여 피사체에 대한 영상 신호를 출력하는 이미지센서; 상기 카메라의 전방에 설치되어 상기 피사체의 주변 밝기를 측정하는 외부광센서; 및 상기 영상 신호의 이미지 밝기 정보와 상기 외부광센서에서 측정한 외부광 밝기 정보를 조합하여 밝기 변화의 방향성을 판단하고, 상기 방향성에 따라 구분 설정된 밝기 판정 레벨을 기준으로 상기 영상 신호의 밝기를 3가지 상태로 구분 판정하여 각 상태에 상응하는 영상 보상 처리를 수행하는 이미지 처리부를 포함하는 밝기 구간별 화질 보상 시스템이 제공된다.
상기 외부광센서는 광센서 중심선이 상기 렌즈와 상기 이미지센서 사이의 렌즈 중심선과 평행하도록 상기 카메라에 설치될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 피사체의 밝기 구간을 3개로 구분하여 각 구간별 화질 보상을 상이하게 적용하여 화질을 개선함으로써, 별도의 적외선 보조광을 사용하지 않고서도 저조도 환경에서 주변에 일부 조명이 있는 경우에는 컬러 영상을 구현하고, 더 어두운 경우에는 기존보다 밝은 영상을 얻을 수 있게 한 효과가 있다.
또한, 피사체의 밝기를 판정한 결과에 따라 영상을 보상 개선 처리하여 기존 카메라보다 저조도에서의 화질을 보상하여 밝기 사용 범위를 확대한 효과가 있다.
또한, 안개 혹은 스모그에 의해 영상이 흐린 경우 컬리와 콘트라스트를 동시에 증폭시키는 것을 임의 선택하도록 하여 취약 환경에서도 보다 선명한 영상을 얻을 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 밝기 구간별 화질 보상 시스템의 개략적인 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 밝기 구간별 화질 보상 시스템이 적용된 카메라의 구조도,
도 3은 피사체 밝기 구간 구분 처리 도표,
도 4는 본 발명의 일 실시예에 따른 밝기 판정에 따라 구간을 구분하여 화질 개선 보상 처리를 수행하는 밝기 구간별 화질 보상 방법의 순서도,
도 5 및 도 6은 적외선 차단 필터 제어를 수행하지 않는 경우의 세부 순서도,
도 7 및 도 8은 적외선 차단 필터 제어를 수행하는 경우의 세부 순서도,
도 9는 전류 증폭 회로의 회로도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 밝기 구간별 화질 보상 시스템의 개략적인 구성 블록도이고, 도 2는 본 발명의 일 실시예에 따른 밝기 구간별 화질 보상 시스템이 적용된 카메라의 구조도이며, 도 3은 피사체 밝기 구간 구분 처리 도표이고, 도 4는 본 발명의 일 실시예에 따른 밝기 판정에 따라 구간을 구분하여 화질 개선 보상 처리를 수행하는 밝기 구간별 화질 보상 방법의 순서도이며, 도 5 및 도 6은 적외선 차단 필터 제어를 수행하지 않는 경우의 세부 순서도이고, 도 7 및 도 8은 적외선 차단 필터 제어를 수행하는 경우의 세부 순서도이며, 도 9는 전류 증폭 회로의 회로도이다.
도 1 및 도 2에는 밝기 구간별 화질 보상 시스템(1), 렌즈(10), 적외선 차단 필터(20), 이미지센서(30), 이미지 처리부(40), 영상 신호 처리부(42), 화질 보상 처리부(44), 출력 영상 변환부(46), 외부광센서(50), 렌즈 중심선(CL1), 광센서 중심선(CL2)가 도시되어 있다.
본 발명의 일 실시예에 따른 밝기 구간별 화질 보상 시스템(1)은 감시용 카메라와 같은 촬영장치에 적용되며, 이미지센서의 밝기 정보와 외부광센서의 밝기 정보를 조합하여 피사체의 밝기를 3개 이상의 구간(주간모드, 저녁모드, 야간모드)으로 구분한 후 각 구간별로 컬러 보상, 콘트라스트 보상과 같은 적절한 화질 개선 보상 처리를 수행하는 것을 특징으로 한다. 이 때 밝기 구간의 구분은 밝기 변화의 방향성에 따라 다른 판정 레벨이 설정될 수 있다.
본 실시예에 따른 밝기 구간별 화질 보상 시스템(1)은 적외선 차단 필터(20), 이미지센서(30), 이미지 처리부(40), 외부광센서(50)를 포함한다.
이미지센서(30)의 전단에는 렌즈(10)가 설치되며, 렌즈(10)를 통해 피사체 영상이 입력되어 이미지센서(30)에 결상된다. 이미지센서(30) 상의 영상은 전기적 신호(영상 신호)로 변환되어, 후단의 이미지 처리부(40)에 전달된다.
이미지 처리부(40)에서는 미리 지정된 각종 영상 처리(예컨대, 전처리, 컬러 보간, 휘도 처리, 색채 처리, 컬러 포맷 변환, 노이즈 제거, 감마 보정 등)를 통해 디지털 데이터로 변경하여 표준화된 영상 신호를 출력한다.
이미지센서(30)와 렌즈(10) 사이에는 적외선 차단 필터(20)가 배치될 수 있다. 적외선 차단 필터(20)는 가시광은 통과시키되 적외선은 차단시키는 필터이다.
본 실시예에서 적외선 차단 필터(20)는 피사체 혹은 주변이 미리 정해진 밝기 수준 이상인 경우에는 렌즈 중심선(CL1) 상에 배치되어 적외선을 차단하고, 미리 정해진 밝기 수준 미만인 경우에는 적외선 차단 필터(20)가 렌즈 중심선(CL1) 상에서 제거되어 적외선을 포함하는 모든 파장대의 빛이 통과되도록 할 수 있다. 적외선 차단 필터(20)의 제거는 모터와 같은 구동수단을 이용한 회동, 승강 등의 방식으로 이루어질 수 있으며, 이는 본 발명이 속하는 기술분야에서 통상의 기술자에게 자명한 사항인 바 상세한 설명은 생략한다.
전술한 적외선 차단 필터(20)의 사용 혹은 제거와 같은 필터 제어는 이미지센서(30)의 밝기 정보와 외부광센서(50)의 밝기 정보의 조합 연산에 의해 자동적으로 이루어질 수 있으며, 이에 대해서는 추후 관련 도면을 참조하여 상세히 설명하기로 한다.
이미지센서(30)는 미세한 화소(pixel)가 2차원적으로 집적된 형태로 구성되며, 입사된 빛의 밝기에 상응하는 전기신호(영상 신호)를 출력한다. 이미지센서(30)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등 중 하나의 타입일 수 있다. 이미지센서(30)는 예컨대 베이어(Bayer) 패턴으로 구성될 수 있으며, 베이어 패턴으로 입사된 빛의 밝기에 상응하는 베이어 이미지 데이터를 제공할 수 있다.
외부광센서(50)는 렌즈 중심선(CL1)에 평행한 광센서 중심선(CL2)을 가지도록 카메라에 설치되며, 피사체와 카메라 사이의 주변 환경의 밝기를 센싱한다. 외부광센서(50)에서 센싱한 밝기는 이미지센서(30)에 결상된 피사체의 밝기와는 구분되는 밝기 정보로서 활용될 수 있다.
외부광센서(50)의 입사각도는 렌즈(10)의 입사각도보다 작아야 한다. 이는 실제 모니터링되는 피사체와 유사한 범위의 밝기를 측정하기 위한 것이다. 렌즈(10)의 입사각도보다 외부광센서(50)의 입사각도가 큰 경우에는 실제 영상 이외에 주변 광에 의한 영향으로 피사체의 밝기 정보가 왜곡될 수 있기 때문에, 이를 최소화하기 위함이다.
외부광센서(50)에서 획득된 밝기 정보는 저조도 상황에서 중요한 역할을 한다. 따라서, 전류 증폭 회로(도 9 참조)가 부가되어 저조도에서의 밝기 구분 단위가 보다 미세하게 설정되도록 할 수 있다. 예컨대, 전류 증폭 회로를 부가함으로써 0.1 룩스 이하의 단위로 밝기 구분이 가능하게 할 수 있다.
전류 증폭 회로(600)는 포토다이오드(601), 트랜지스터(602), OP 앰프(603), 저항들(604~606)을 포함한다.
외부 광의 밝기에 따라 포토다이오드(601)의 전류가 변화한다. 밝기가 밝을수록 전류가 많이 흐르고, 밝기가 어두울수록 전류가 작게 흐른다.
포토다이오드(601)의 전류는 수 uA로 매우 작은 값이며, 0.1 룩스 이하의 밝기를 구분하기 위하여 전류를 증폭할 필요가 있다.
전류 증폭을 위해 트랜지스터(602)에서 1차 증폭(약 100배) 시키고, OP 앰프(603)에서 2차 증폭(약 1000배) 시킨다. OP 앰프(603)의 출력은 외부 광의 밝기에 따라 출력 전압을 대응하여 출력하며, 출력 전압 레벨이 외부 광의 밝기에 대응한 값이 된다.
각각의 저항들(604, 605, 606)은 트랜지스터(602), OP 앰프(603)의 증폭율에 관계한다.
이미지 처리부(40)는 이미지센서(30)에서 출력한 영상 신호를 처리하는 영상 신호 처리부(42)와, 밝기 구간에 따라 구분되는 화질 개선을 위한 보상 처리를 수행하는 화질 보상 처리부(44)와, 화질 개선이 완료된 영상 신호를 화면에 디스플레이하기 위한 출력 영상으로 변환하는 출력 영상 변환부(46)를 포함한다.
영상 신호 처리부(42)에서는 일반적인 이미지 시그널 프로세싱(image singal processing)이 수행될 수 있다. 이미지 시그널 프로세싱으로는 전처리, 컬러 보간, 감마 보정, 포맷 변환 등이 포함될 수 있다.
전처리 과정은 이미지 센서에 존재하는 결점의 보정(defect correction) 혹은 렌즈의 짧은 초점거리로 인해 발생하는 쉐이딩 보정(shading correction) 등을 포함한다.
컬러 보간은 전처리가 수행된 데이터에 대해, 보간(interpolation)을 통해 하나의 채널 성분을 갖는 각각의 화소 성분을 R(Red), G(Green), B(Blue) 성분으로 분리한 후 이들을 결합하여 각각의 화소가 R, G, B의 세가지 채널 성분을 갖게 하는 영상 신호 처리이다.
감마 보정은 인간의 시각이 밝기에 대해 비선형적으로 반응한다는 점을 고려하여 비선형 전달 함수를 사용하여 빛의 강도 신호를 비선형적으로 변형하는 영상 신호 처리이다.
포맷 변환은 RGB 영역의 이미지 데이터를 밝기 성분인 Y 성분과 색차 성분인 Cb, Cr 성분으로 변환하는 영상 신호 처리이다.
화질 보상 처리부(44)는 영상 신호 처리부(42)에서 일반적인 이미지 시그널 프로세싱이 수행된 이미지 데이터에 대하여, 이미지센서의 밝기 정보(이미지 밝기, 피사체 밝기)와 외부광센서의 밝기 정보(외부광 밝기, 주변 밝기)를 조합한 결과에 기초하여 미리 정해진 화질 개선 보상이 이루어지도록 한다.
본 실시예에서는 밝기가 고휘도에서 저조도로 변환될 때(주간 → 야간 : 주야 모드)와 저조도에서 고휘도로 변환될 때(야간 → 주간: 야주 모드) 밝기 구간을 구분하는 밝기 기준(혹은 밝기 판정 레벨)을 다르게 설정하여, 피사체 이외의 외부 환경 변화에 따른 에러 및 오작동을 방지하여 보다 효과적인 화질 개선이 이루어지도록 한다.
본 실시예에서는 기본적으로 밝기 구간을 이미지 밝기에 따라 주간, 저녁, 야간의 3개 상태로 구분한다. 그리고 각각 상태에 따라 화질 보상 처리를 다르게 설정한다.
저녁 상태에서는 피사체 주변에 조명이 있는 경우(외부광이 있는 경우) 컬러 데이터(R, G, B) 값을 증폭시키는 컬러 보상을 수행하여 출력 영상이 컬러 영상이 되도록 한다. 그리고 야간 상태에서는 영상 신호 중 휘도 성분(Y 값)을 증폭시키는 콘트라스트 보상을 수행하여 이미지센서(30)에 촬영된 것보다 밝게 나타날 수 있도록 함으로써, 저조도에서 출력 영상이 개선될 수 있다.
도 3을 참조하면, 피사체의 밝기(이미지 밝기)가 고휘도에서 저조도로 변화하는 경우와 저조도에서 고휘도로 변화하는 경우 이미지센서의 밝기 판정과 외부광센서의 밝기 판정을 조합하여 주간, 저녁, 야간을 판정하는 기준 도표가 도시되어 있다.
밝기의 변화에 따라 각 밝기 정보별로 판정 레벨을 2단계로 구분하고, 밝기 변화의 방향성에 따라 밝기 판정의 기준 레벨을 다르게 설정한 것은 외부의 변화에 의한 판정 에러 및 화질 보상 처리부(44)/적외선 차단 필터(20)의 오작동을 방지하기 위한 것이다. 예컨대, 야간에 자동차 불빛 등의 짧은 시간의 조명이 있는 경우 화질 보상 플로우가 쉽게 변경되는 것을 방지하기 위함이다.
이미지센서(30)의 경우 이미지 밝기 1 레벨과 이미지 밝기 2 레벨의 절환 기준(판정 레벨)이 있고, 외부광센서(50)의 경우 외부광 밝기 1 레벨과 외부광 밝기 2 레벨의 절환 기준이 있다. 여기서, 외부광 밝기 1 레벨, 이미지 밝기 1 레벨, 외부광 밝기 2 레벨, 이미지 밝기 2 레벨 순으로 밝기 값이 커진다(외부광 밝기 1<이미지 밝기 1<외부광 밝기 2<이미지 밝기 2).
피사체의 밝기가 고휘도에서 저조도로 변화되는 경우, 이미지센서(30)에서의 밝기 처리는 ① 경로를 따라 이루어질 수 있다. 즉, 이미지 밝기 1 레벨을 기준으로 하여 고휘도인지 저조도인지를 구분하게 된다.
하지만, 피사체의 밝기가 저조도에서 고휘도로 변화되는 경우, 이미지센서(30)에서의 밝기 처리는 ① 경로가 아닌 ② 경로를 따라 이루어지게 된다. 즉, 이미지 밝기 2 레벨을 기준으로 고휘도인지 저조도인지 구분하게 된다.
이는 외부광센서(50)의 경우에도 마찬가지이다. 다만, 외부광센서(50)의 경우 기준 레벨이 이미지 밝기가 아닌 외부광 밝기인 점에서 차이가 있다.
즉, 주변의 밝기가 고휘도에서 저조도로 변화되는 경우, 외부광센서(50)에서의 밝기 처리는 ③ 경로를 따라 이루어질 수 있다. 외부광 밝기 1 레벨을 기준으로 하여 고휘도인지 저조도인지를 구분하게 된다.
그리고 주변의 밝기가 저조도에서 고휘도로 변화되는 경우, 외부광센서(50)에서의 밝기 처리는 ③ 경로가 아닌 ④ 경로를 따라 이루어지게 된다. 즉, 외부광 밝기 2 레벨을 기준으로 고휘도인지 저조도인지 구분하게 된다.
이처럼 밝기의 방향성에 따라 고휘도와 저조도를 구분하는 기준 레벨이 변화될 수 있다. 이는 저조도에서 고휘도로 변화하는 경우의 판정 레벨이 고휘도에서 저조조로 변화하는 환경에서의 판정 레벨보다 더 높게 하여 피사체의 밝기가 외부 방해 조명 등에 의해 급격히 변경되는 것을 방지하기 위함이다.
영상 출력 상태를 확인하면, 밝기 변화가 고휘도에서 저조도로 가는 경우, 이미지 밝기 1 레벨을 기준으로 주간 상태인지를 판정한다. 그리고 이미지 밝기 1 레벨보다 낮은 경우 외부광 밝기 1 레벨을 기준으로 저녁 상태와 야간 상태를 구분한다.
밝기 변화가 저조도에서 고휘도로 가는 경우에는 외부광 밝기 2 레벨을 기준으로 야간 상태인지를 판정한다. 그리고 외부광 밝기 2 레벨보다 밝은 경우 이미지 밝기 2 레벨을 기준으로 주간 상태와 저녁 상태를 구분한다.
밝기 변화의 방향성이 급변하는 경우에는 밝기 변화의 방향성에 따라 서로 중복되지 않는 구간(외부광 밝기 1 레벨에서 이미지 밝기 2 레벨 사이)는 저녁 상태에 있는 것으로 판정할 수 있다.
적외선 차단 필터(20)의 경우에도 밝기 변화의 방향성에 따라 사용 및 제거 기준이 달라질 수 있다. 밝기 변화가 고휘도에서 저조도로 가는 경우, 외부광 밝기 1 레벨을 기준으로 사용 상태에 있는 필터가 제거될 수 있다. 하지만, 밝기 변화가 저조도에서 고휘도로 가는 경우에는 외부광 밝기 2 레벨을 기준으로 제거된 필터가 사용 상태로 자동 절환될 수 있다.
도 4를 참조하면, 화질 보상 처리부(44)에서 수행되는 화질 보상 방법이 개시되어 있다.
화질 보상 처리부(44)는 안개 제거 설정이 되어 있는지 여부를 판단한다(단계 102). 안개 제거 설정이 되어 있는 경우, 단계 S124로 진행하여 미리 정해진 컬러 보상 및 콘트라스트 보상을 동시에 수행하여, 안개 제거 효과를 가지는 이미징 영상이 출력 영상 변환부(46)를 통해 출력되게 할 수 있다. 단계 S102 및 S124는 필요에 따라 생략될 수 있다.
이미지센서(30)에서 수신한 영상 신호의 밝기 분석 및/또는 외부광센서(50)에서 수신한 센싱 신호의 밝기 분석을 통해 밝기 변화의 방향성을 판단한다(단계 S104).
밝기가 고휘도에서 저조도로 점차 감소하는 경우에는 주간(저녁) 상태에서 야간 상태로 가는 것으로 보고(단계 S106), 밝기가 저조도에서 고휘도로 점차 증가하는 경우에는 야간(저녁) 상태에서 주간 상태로 가는 것으로 본다(단계 S108).
밝기의 방향성이 결정되면, 화질 보상 처리부(44)에 포함된 밝기 판정 수단에서는 피사체의 밝기 정보(이미지 밝기)와 주변의 밝기 정보(외부광 밝기)를 조합 연산하여 현재의 밝기 상태를 판정한다(단계 S110).
주간 상태로 판정되면(단계 S112), 보상 없이 이미징 영상이 출력 영상 변환부(46)를 통해 출력되게 한다(단계 S114).
저녁 상태로 판정되면(단계 S116), 이미징 영상에 대해 컬러 보상을 수행한다(단계 S118). 컬러 보상은 예를 들어 각 화소의 R, G, B 값을 미리 정해진 값만큼 증가시키는 것일 수 있다.
야간 상태로 판정되면(단계 S120), 이미징 영상에 대해 콘트라스트 보상을 수행한다(단계 S122). 콘트라스트 보상은 각 화소의 밝기 성분을 미리 정해진 값만큼 증가시키고, 흑백 영상으로 출력하는 것일 수 있다.
이하에서는 밝기 판정 수단에서의 밝기 판정에 대하여 보다 상세히 설명하기로 한다.
도 5를 참조하면, 적외선 차단필터를 제어하지 않을 때 주간에서 야간으로의 밝기 변화가 있는 경우이다.
우선 이미지센서 밝기 정보가 제1 기준 레벨(이미지 밝기 1 레벨) 이하인지 여부를 판단한다(단계 S202).
이미지센서 밝기 정보가 제1 기준 레벨 이상인 경우에는 주간 상태로 판정하고(단계 S204), 이미징 영상에 대해 보상 없이 출력되게 한다(단계 S206).
하지만, 이미지센서 밝기 정보가 기준 레벨 이하인 경우에는 외부광센서 밝기 정보를 이용하여 제2 기준 레벨(외부광 밝기 1 레벨) 이하인지 여부를 판단한다(단계 S208).
외부광센서 밝기 정보가 제2 기준 레벨 이상인 경우에는 저녁 상태로 판정하고(단계 S210), 이미징 영상에 대해 컬러 보상을 수행하여 출력되게 한다(단계 S212).
외부광센서 밝기 정보가 제2 기준 레벨 이하인 경우에는 야간 상태로 판정하고(단계 S214), 이미징 영상에 대해 콘트라스트 보상을 수행한 후 흑백 영상이 출력되게 한다(단계 S216).
도 6을 참조하면, 적외선 차단필터를 제어하지 않을 때 야간에서 주간으로의 밝기 변화가 있는 경우이다.
우선 외부광센서 밝기 정보가 제3 기준 레벨(외부광 밝기 2 레벨) 이상인지 여부를 판단한다(단계 S302).
외부광센서 밝기 정보가 제3 기준 레벨 이하인 경우에는 야간 상태로 판정하고(단계 S304), 이미징 영상에 대해 콘트라스트 보상을 수행한 후 흑백 영상이 출력되게 한다(단계 S306).
하지만, 외부광센서 밝기 정보가 제3 기준 레벨 이상인 경우에는 이미지센서 밝기 정보를 이용하여 제4 기준 레벨(이미지 밝기 2 레벨) 이상인지 여부를 판단한다(단계 S308).
이미지센서 밝기 정보가 제4 기준 레벨 이상인 경우에는 주간 상태로 판정하고(단계 S310), 이미징 영상에 대해 보상 없이 출력되게 한다(단계 S312).
이미지센서 밝기 정보가 제4 기준 레벨 이하인 경우에는 저녁 상태로 판정하고(단계 S314), 이미징 영상에 대해 컬러 보상을 수행하여 출력되게 한다(단계 S316).
도 7 및 도 8에는 적외선 차단필터를 제어하는 경우가 도시되어 있다.
우선 도 7을 참조하면, 주간에서 야간으로의 밝기 변화가 있는 경우이다.
이미지센서 밝기 정보가 제1 기준 레벨(이미지 밝기 1 레벨) 이하인지 여부를 판단한다(단계 S402).
이미지센서 밝기 정보가 제1 기준 레벨 이상인 경우에는 주간 상태로 판정하고(단계 S404), 이미징 영상에 대해 보상 없이 출력되게 한다(단계 S406).
하지만, 이미지센서 밝기 정보가 기준 레벨 이하인 경우에는 외부광센서 밝기 정보를 이용하여 제2 기준 레벨(외부광 밝기 1 레벨) 이하인지 여부를 판단한다(단계 S408).
외부광센서 밝기 정보가 제2 기준 레벨 이상인 경우에는 저녁 상태로 판정한다(단계 S410). 저녁 상태이기 때문에 이미지센서(30)를 통해 보다 많은 광량이 입사될 수 있도록, 적외선 차단 필터(20)를 제거시킨다(단계 S412). 그리고 색온도 보정 처리를 수행한다(단계 S414). 이후 이미징 영상에 대해 컬러 보상을 수행하여 출력되게 한다(단계 S416).
외부광센서 밝기 정보가 제2 기준 레벨 이하인 경우에는 야간 상태로 판정한다(단계 S418). 이 때에도 적외선 차단 필터(20)를 제거시킨다(단계 S420). 그리고 흑백 영상 처리를 수행한다(단계 S422). 이후 이미징 영상에 대해 콘트라스트 보상을 수행하여 출력되게 한다(단계 S424).
도 8을 참조하면, 야간에서 주간으로의 밝기 변화가 있는 경우이다.
우선 외부광센서 밝기 정보가 제3 기준 레벨(외부광 밝기 2 레벨) 이상인지 여부를 판단한다(단계 S502).
외부광센서 밝기 정보가 제3 기준 레벨 이하인 경우에는 야간 상태로 판정하고(단계 S504), 이미징 영상에 대해 콘트라스트 보상을 수행한 후 흑백 영상이 출력되게 한다(단계 S506).
하지만, 외부광센서 밝기 정보가 제3 기준 레벨 이상인 경우에는 이미지센서 밝기 정보를 이용하여 제4 기준 레벨(이미지 밝기 2 레벨) 이상인지 여부를 판단한다(단계 S508).
이미지센서 밝기 정보가 제4 기준 레벨 이상인 경우에는 주간 상태로 판정한다(단계 S510). 적외선 차단 필터(20)가 렌즈 중심선(CL1) 상에 배치되도록 하여, 적외선 차단이 이루어지도록 한다(단계 S512). 이는 주간 상태이기에 적외선 신호가 없더라도 충분히 컬러 영상 출력이 가능하기 때문이다. 이후 이미징 영상에 대해 보상 없이 출력되게 한다(단계 S514).
이미지센서 밝기 정보가 제4 기준 레벨 이하인 경우에는 저녁 상태로 판정하고(단계 S516), 이미징 영상에 대해 컬러 보상을 수행하여 출력되게 한다(단계 S518).
도 4 내지 도 9를 참조하여 설명한 화질 보상 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 등을 포함한다.
기존의 카메라는 낮에는 컬러, 어두울 때는 흑백으로 작동 하며 센서의 감도에 따라 저조도에서 보이는 영상이 정해지게 된다. 더 어두운 곳에서는 영상을 볼 수 없는 문제가 있다. 종래의 카메라는 적외선 조명을 사용하여 저조도 시 영상을 볼 수 있도록 하였지만, 저조도 조명은 거리에 제한이 있어 먼거리 영상은 어둡게 되어 피사체 저조도 촬영 거리 제한이 있다. 일반적으로 30m 이내 혹은 150m 이내이다.
하지만, 본 실시예예서는 기존 카메라의 영상 신호에서 피사체 밝기에 따라 각각 다르게 보상 처리하여 저조도에서 영상을 개선하고 있다. 따라서, 기존 카메라에서는 흑백으로 영상이 나오는 조명이 있는 어두운 곳에서도 컬러 영상으로 출력이 가능하며, 더 어두운 곳에서 흑백으로 영상을 나타내어 기존의 카메라보다 더 어두운 밝기에서도 영상 출력이 가능하다.
본 실시예에 의하면, 피사체의 거리와는 무관하며 일정 수준의 밝기만 있으면 영상 출력이 가능하다. 만약 적외선 조명 혹은 백색 조명을 사용하는 경우에는 기존 카메라와 비교할 때 동일한 조건에서 피사체 인식 거리가 증가하게 된다. 이는 피사체가 더 어두워도 보상에 의해 밝게 되기 때문이다. 조명기에 의한 피사체의 밝기는 거리 제곱에 반비례하므로 조명기(즉 카메라)로부터 거리가 멀어질수록 피사체의 밝기(조도)는 어두워 지게 된다. 본 실시예에 의하면, 보다 먼 거리에 위치하는 피사체의 식별도 가능하게 된다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
1: 밝기 구간별 화질 보상 시스템 10: 렌즈
20: 적외선 차단 필터 30: 이미지센서
40: 이미지 처리부 42: 영상 신호 처리부
44: 화질 보상 처리부 46: 출력 영상 변환부
50: 외부광센서

Claims (8)

  1. 카메라에 구비된 화질 보상 시스템에서 수행되는 화질 보상 방법으로서,
    이미지센서에서 수신한 영상 신호의 이미지 밝기 정보와 상기 카메라에 구비된 외부광센서에서 측정한 외부광 밝기 정보를 조합하여 밝기 변화의 방향성을 판단하는 단계;
    상기 방향성에 따라 상기 이미지 밝기 정보에 대한 제1 밝기 판정 레벨과 상기 외부광 밝기 정보에 대한 제2 밝기 판정 레벨을 각각 상이하게 설정하고, 상기 각각 상이하게 설정된 제1 밝기 판정 레벨과 제2 밝기 판정 레벨을 조합하여 상기 영상 신호의 밝기를 주간, 저녁, 야간으로 구분하는 기준으로 삼아 상기 영상 신호의 밝기를 주간, 저녁, 야간의 3가지 상태로 구분하여 판정하는 단계; 및
    상기 판정 결과에 따라 미리 정해진 영상 보상 처리를 수행하는 단계를 포함하되,
    상기 밝기 변화의 방향성을 판단하는 단계는,
    상기 이미지 밝기 정보 및 상기 외부광 밝기 정보가 고휘도에서 저조도로 변화하는 주야 모드와, 저조도에서 고휘도로 변화하는 야주 모드로 구분하는 것을 특징으로 하는 밝기 구간별 화질 보상 방법.
  2. 제1항에 있어서,
    상기 주야 모드에서는, 상기 이미지 밝기 정보가 이미지 밝기 1 레벨 이상인 경우 주간 상태로 판정하고, 상기 이미지 밝기 정보가 이미지 밝기 1 레벨 이하인 경우에는 상기 외부광 밝기 정보가 외부광 밝기 1 레벨 이상인 경우 저녁 상태로 판정하고, 외부광 밝기 1 레벨 이하인 경우 야간 상태로 판정하며,
    상기 야주 모드에서는, 상기 외부광 밝기 정보가 외부광 밝기 2 레벨 이하인 경우 야간 상태로 판정하고, 상기 외부광 밝기 정보가 외부광 밝기 2 레벨 이상인 경우에는 상기 이미지 밝기 정보가 이미지 밝기 2 레벨 이하인 경우 저녁 상태로 판정하고, 이미지 밝기 2 레벨 이상인 경우 주간 상태로 판정하고,
    상기 외부광 밝기 1 레벨, 상기 이미지 밝기 1 레벨, 상기 외부광 밝기 2 레벨, 상기 이미지 밝기 2 레벨 순으로 밝기 값이 커지는 것을 특징으로 하는 밝기 구간별 화질 보상 방법.
  3. 제2항에 있어서,
    상기 저녁 상태에서는 상기 영상 신호의 컬러 데이터를 증폭시키는 컬러 보상을 수행하는 것을 특징으로 하는 밝기 구간별 화질 보상 방법.
  4. 제2항에 있어서,
    상기 야간 상태에서는 상기 영상 신호의 휘도 성분을 증폭시키는 콘트라스트 보상을 수행하는 것을 특징으로 하는 밝기 구간별 화질 보상 방법.
  5. 제2항에 있어서,
    상기 카메라는 렌즈와 상기 이미지센서 사이에 배치되는 적외선 차단 필터를 더 포함하되,
    상기 주야 모드에서는 상기 저녁 상태 및 상기 야간 상태로 판정된 경우 상기 적외선 차단 필터를 제거시키고,
    상기 야주 모드에서는 상기 주간 상태로 판정된 경우 상기 적외선 차단 필터를 사용 상태가 되도록 제자리에 위치시키는 것을 특징으로 하는 밝기 구간별 화질 보상 방법.
  6. 제1항, 제2항, 제3항 내지 제5항 중 어느 한 항에 기재된 밝기 구간별 화질 보상 방법을 수행하기 위하여 디지털 처리 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체.
  7. 카메라의 렌즈를 통해 입력된 빛에 상응하여 피사체에 대한 영상 신호를 출력하는 이미지센서;
    상기 카메라의 전방에 설치되어 상기 피사체의 주변 밝기를 측정하는 외부광센서;
    상기 영상 신호의 이미지 밝기 정보와 상기 외부광센서에서 측정한 외부광 밝기 정보를 조합하여 밝기 변화의 방향성을 판단하고, 상기 방향성에 따라 상기 이미지 밝기 정보에 대한 제1 밝기 판정 레벨과 상기 외부광 밝기 정보에 대한 제2 밝기 판정 레벨을 각각 상이하게 설정하고, 상기 각각 상이하게 설정된 제1 밝기 판정 레벨과 제2 밝기 판정 레벨을 조합하여 상기 영상 신호의 밝기를 주간, 저녁, 야간으로 구분하는 기준으로 삼아 상기 영상 신호의 밝기를 3가지 상태로 구분 판정하여 각 상태에 상응하는 영상 보상 처리를 수행하는 이미지 처리부를 포함하되,
    상기 외부광센서는 광센서 중심선이 상기 렌즈와 상기 이미지센서 사이의 렌즈 중심선과 평행하도록 상기 카메라에 설치되며,
    상기 외부광센서의 입사각도는 상기 렌즈의 입사각도보다 작은 것을 특징으로 하는 밝기 구간별 화질 보상 시스템.
  8. 제7항에 있어서,
    저조도 상황에서 상기 외부광 밝기 정보에 상응하는 전류를 증폭시키는 전류 증폭 회로를 더 포함하는 밝기 구간별 화질 보상 시스템.
PCT/KR2018/008937 2017-08-07 2018-08-07 밝기 구간별 화질 보상 시스템 및 방법 WO2019031802A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0099601 2017-08-07
KR1020170099601A KR101840754B1 (ko) 2017-08-07 2017-08-07 밝기 구간별 화질 보상 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2019031802A1 true WO2019031802A1 (ko) 2019-02-14

Family

ID=61910813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/008937 WO2019031802A1 (ko) 2017-08-07 2018-08-07 밝기 구간별 화질 보상 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101840754B1 (ko)
WO (1) WO2019031802A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021138797A1 (en) * 2020-01-07 2021-07-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of adjusting captured image and electrical device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601109B1 (ko) * 2023-03-29 2023-11-10 엘텍코리아 주식회사 감시용 카메라의 컬러 및 흑백 영상 보정 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282452A (ja) * 1996-04-12 1997-10-31 Omron Corp 監視装置
JP2007151003A (ja) * 2005-11-30 2007-06-14 Canon Inc 撮像装置
JP2007329522A (ja) * 2006-06-06 2007-12-20 Mitsubishi Heavy Ind Ltd 色識別装置のホワイトバランス調整装置
KR20120018613A (ko) * 2010-08-23 2012-03-05 현대모비스 주식회사 차량용 라이트의 자동제어장치 및 그 제어방법
KR101355076B1 (ko) * 2013-02-18 2014-01-27 주식회사 만도 차량 조도 환경 인식 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282452A (ja) * 1996-04-12 1997-10-31 Omron Corp 監視装置
JP2007151003A (ja) * 2005-11-30 2007-06-14 Canon Inc 撮像装置
JP2007329522A (ja) * 2006-06-06 2007-12-20 Mitsubishi Heavy Ind Ltd 色識別装置のホワイトバランス調整装置
KR20120018613A (ko) * 2010-08-23 2012-03-05 현대모비스 주식회사 차량용 라이트의 자동제어장치 및 그 제어방법
KR101355076B1 (ko) * 2013-02-18 2014-01-27 주식회사 만도 차량 조도 환경 인식 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021138797A1 (en) * 2020-01-07 2021-07-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of adjusting captured image and electrical device

Also Published As

Publication number Publication date
KR101840754B1 (ko) 2018-03-26

Similar Documents

Publication Publication Date Title
US7358993B2 (en) Digital still camera apparatus, video camera apparatus, and information terminal apparatus
KR100367594B1 (ko) 씨씨디 카메라의 제어 방법
US20070024724A1 (en) Gain Control Method For A Camera To Support Multiple Conflicting Applications Concurrently
WO2018056545A2 (ko) 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템
US8208022B2 (en) Apparatus and method for removing blooming of camera image
WO2012115408A2 (ko) 이미지 센서 및 이를 포함하는 촬영 장치
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2019031802A1 (ko) 밝기 구간별 화질 보상 시스템 및 방법
JP2003259389A (ja) 撮像装置
JPH031772A (ja) 撮像装置
WO2018159896A1 (ko) 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템
WO2019088407A1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
EP3930307B1 (en) A method for enhancing the performance of a video camera
WO2019117549A1 (en) Imaging apparatus, imaging method, and computer program product
KR101091913B1 (ko) 촬영장치의 역광보정방법
KR100631996B1 (ko) 디지털 카메라의 자동 화이트 밸런스 장치 및 방법
KR101429510B1 (ko) 영상 포화 방지 장치
WO2013183886A1 (en) Camera system with multi-spectral filter array and image processing method thereof
JP2002204388A (ja) 自動露出制御装置、自動露出制御方法及び記録媒体
WO2022004991A1 (ko) 오토 포커스를 수행하는 이미지 촬영 장치
KR101691043B1 (ko) 적외선을 이용하여 야간 컬러영상을 구현하는 폐쇄회로 텔레비전 카메라
JPH0574271B2 (ko)
JP2004023517A (ja) 監視用ビデオカメラ
JP2007300374A (ja) 監視カメラ装置
JP3010373B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18844629

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18844629

Country of ref document: EP

Kind code of ref document: A1