WO2018079877A1 - 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법 - Google Patents

광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2018079877A1
WO2018079877A1 PCT/KR2016/012159 KR2016012159W WO2018079877A1 WO 2018079877 A1 WO2018079877 A1 WO 2018079877A1 KR 2016012159 W KR2016012159 W KR 2016012159W WO 2018079877 A1 WO2018079877 A1 WO 2018079877A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subchannels
section
unit
histogram
Prior art date
Application number
PCT/KR2016/012159
Other languages
English (en)
French (fr)
Inventor
이창민
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to EP16919835.5A priority Critical patent/EP3534325B1/en
Publication of WO2018079877A1 publication Critical patent/WO2018079877A1/ko
Priority to US16/393,102 priority patent/US10999525B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention relates to an image processing apparatus, and more particularly, to an apparatus and a method for generating an image having a wide dynamic range (WDR) from a WDR image sensor.
  • WDR wide dynamic range
  • Solid-state imaging devices such as CCD image sensors and CMOS image sensors used in video cameras, digital cameras, and the like accumulate charges according to incident light quantity and perform photoelectric conversion for outputting electric signals corresponding to the accumulated charges.
  • the charge accumulation amount of the photoelectric conversion element has an upper limit, and when a predetermined amount or more of light is received, the accumulated charge amount reaches a saturation level, and so-called white noise is generated in which a subject region having a predetermined brightness or more is set to a saturated luminance level.
  • a technique for realizing such a process a technique of continuously photographing and synthesizing a plurality of images having different exposure times is known.
  • a long time exposure image and a short time exposure image are taken separately, and a long time exposure image is used for a dark image area, and a single exposure processing is performed using a short time exposure image in a bright image area that becomes white in a long exposure image.
  • a technique for generating an image a wide dynamic range (WDR) technology, is being developed.
  • WDR wide dynamic range
  • a plurality of different exposed images can be synthesized to obtain a wide image of a dynamic range. For example, when shooting in a place where there is a backlight such as a window in an indoor room, when shooting in a case where a rogue and a dark part are mixed, such as a night view, or when a rogue caused by the sun, such as a sports game, and a dark part of the shade are mixed.
  • a more natural image may be obtained by applying WDR technology.
  • FIG. 1 shows an example of a general WDR frame generation technique.
  • one WDR frame is synthesized by synthesizing four subchannels in an image sensor supporting 120 fps (frame per second) is shown.
  • the original subchannel supports 120 fps four subchannels are synthesized into one WDR frame, so only up to 30 fps is actually allowed.
  • the four subchannels are photographed with different shutter times (exposure times), respectively, and may have shutter times of VL (very long), L (long), S (short), and VS (very short). As such, the four subchannels have different luminance due to different shutter times.
  • the WDR frame has the same dynamic range as that of each subchannel, the dynamic range is reduced for output from a display device having a limited dynamic range (eg, a display device, a video display terminal, etc.). It is necessary to (compress).
  • a display device having a limited dynamic range eg, a display device, a video display terminal, etc.
  • each subchannel is 12 bits and the dynamic range displayable on the display device is also 12 bits
  • the WDR frame in which four subchannels are synthesized depends on the gain and overlap range of each subchannel. 23 to 24 bits increase the dynamic range considerably. Therefore, it is necessary to compress this increased dynamic range back to 12 bits.
  • the dynamic range compression did not sufficiently reflect the inherent characteristics of each subchannel, and mainly uses a fixed knee curve, which does not correspond to the inherent characteristics of the subchannel.
  • a fixed knee curve which does not correspond to the inherent characteristics of the subchannel.
  • An aspect of the present invention is to provide an image processing apparatus and method capable of sufficiently reflecting characteristics of each subchannel in dynamic range compression of a multi-channel based WDR frame.
  • Another object of the present invention is to provide an image processing apparatus and method in which dynamic distribution of a multi-channel based WDR frame is comprehensively taken into consideration of distribution of a designated region and a saturated region of each subchannel.
  • an image processing apparatus including a WDR image sensor for photographing a subject and outputting image frames; A wide image synthesizer for synthesizing a wide image frame by synthesizing n subchannels included in each of the image frames; A nick curve generation unit configured to calculate an integrated histogram from luminance levels of a total of m ⁇ n subchannels included in m image frames among the image frames, and generate a nick curve from the integrated histogram; And a dynamic range converting unit configured to reduce the dynamic range of the synthesized wide area image by using the generated Nikcurb.
  • an image processing method includes: photographing a subject by a WDR image sensor and outputting image frames; Synthesizing a wide image frame by synthesizing n subchannels included in each of the image frames; Setting extraction regions having a lower threshold value and an upper threshold value for each of m total m ⁇ n subchannels included in m image frames among the image frames based on a luminance level; Counting the number of pixels included in the extraction area; Calculating an integrated histogram based on the counted number of pixels; Generating a nick curve from the calculated integrated histogram; And reducing the dynamic range of the synthesized wide area image by using the generated Nik curve.
  • the dynamic range compression apparatus and method according to the present invention it is possible to adaptively compress the dynamic range of the WDR frame according to the environment in which the image is captured, thereby reducing the deterioration of image quality.
  • the WDR frame may be visually very natural to the user. .
  • FIG. 1 is a diagram illustrating an example of a general WDR frame generation technique.
  • FIG. 2 is a block diagram showing an image processing apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a memory access unit in more detail.
  • FIG. 4 is a block diagram illustrating a detailed configuration of the wide area image generating unit of FIG. 2.
  • FIG. 5 is a block diagram illustrating a subchannel synthesis process performed by the wide area image synthesizer of FIG. 2.
  • FIG. 6 is a block diagram illustrating a detailed configuration of the knee curve generating unit of FIG. 2.
  • FIG. 7 is a diagram illustrating an example of a plurality of WDR units and a plurality of subchannels belonging to the plurality of WDR units over time.
  • FIG. 8 is a diagram illustrating a specific method of dividing and counting each subchannel into a designated region and a saturated region.
  • FIG. 9 is a diagram illustrating an example of setting an extraction region with reference to four consecutive frames for subchannels having the same shutter speed.
  • FIG. 10 is a diagram illustrating a concept of an extraction region obtained in a total of 16 subchannels.
  • 11 is a diagram illustrating an example of an integrated histogram.
  • 12 is a diagram illustrating weights corresponding to sections in each of the integrated histograms.
  • FIG. 13 is a flowchart illustrating an operation of the maximum level detector of FIG. 6 in detail.
  • FIG. 14 is a diagram illustrating a knee curve function according to an exemplary embodiment of the present invention.
  • 15 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an image processing apparatus 100 according to an embodiment of the present invention.
  • the reflected light emitted from the subject is guided to the WDR image sensor 20 through the photographing lens 10 and converted into image data (electrical signal) in the WDR image sensor 20.
  • the WDR image sensor 20 may be implemented as a solid-state imaging device such as a charge coupled device (CCD), a complementary metal-oxide semiconductor (CMOS), or the like.
  • the WDR image sensor 120 may be a color corresponding sensor in which three color filters of R (red), G (green), and B (blue) are arranged in a bayer.
  • the pixel data is repeatedly outputted by alternately outputting a pixel string output in the order of R ⁇ G ⁇ R ⁇ G ⁇ ... and a pixel string output in the order of B ⁇ G ⁇ B ⁇ G ⁇ .
  • this output order is an example, and the order of colors to be output may vary according to the arrangement of the color filters of the WDR image sensor 120.
  • the WDR image sensor 20 supports the WDR function and provides respective corresponding subchannels (eg, four subchannels in FIG. 1) through a plurality of image channels (image output channels). .
  • the subchannels are basic images used to synthesize one WDR frame as image data photographed under different photographing conditions.
  • the number of subchannels for synthesizing one such WDR frame may be changed by a not shown WDR mode setting unit.
  • the current mode is the 4 WDR mode of synthesizing four subchannels
  • the two synthesizing two subchannels are performed.
  • the luminance is sufficient, it may be changed again from the 2 WDR mode to the 4 WDR mode.
  • the memory access unit 30 sequentially accumulates the Bayer pixel strings provided from the WDR image sensor 20 and sub-channels, for example, VL (very long), L (long), S (short), and VS ( 4 sub-channels are provided, and the sub-channels are provided to the wide area image synthesizer 50 and the nick curve generator 60.
  • FIG. 3 is a block diagram illustrating the configuration of the memory access unit 30 in more detail.
  • Bayer pixel strings output from the WDR image sensor 20 are sequentially accumulated in the DMA (Direct Memory Access) recording unit 32 of the memory access unit 30.
  • the accumulated pixel columns are configured in respective subchannels and stored in the input channel buffer 34.
  • the input channel buffer 34 reads DMA the subchannels VL k , L k , S k , and VS k having different shutter times belonging to the k-th frame according to the WDR mode, that is, the number of subchannels n. It provides to the part 36.
  • the DMA reader 36 provides the subchannels according to the request of the wide area image synthesizer 50 or the nick curve generator 60.
  • the wide image synthesizer 50 synthesizes n subchannels included in the image frame output from the WDR image sensor 20 to synthesize a wide image frame. It is preferable that said n is a power of 2 as a natural number. Detailed operations performed by the wide area image synthesis unit 50 will be described later with reference to FIG. 4.
  • the knee curve generation unit 60 calculates an integrated histogram from the luminance levels of the total m ⁇ n subchannels included in m image frames among the image frames, and generates a nick curve from the integrated histogram.
  • M is preferably a natural number and the same as n, but is not necessarily limited thereto. A detailed operation performed by the nick curve generating unit 60 will be described later with reference to FIG. 6.
  • the dynamic range converting unit 78 generates the converted image by reducing (compressing) the dynamic range of the synthesized wide area image by using the generated Nikube.
  • the dynamic range converting unit 78 may compress the dynamic range using the knee curve as shown in FIG. 14.
  • the horizontal axis represents the luminance value (input luminance level) before dynamic range conversion and the vertical axis represents the luminance value (output luminance level) after dynamic range conversion.
  • the image signal processor 80 post-processes the converted image provided by the dynamic range converter 78. Such post-processing may include processing such as white balance adjustment, gamma treatment, gain adjustment, and the like.
  • the video encoding unit 41 reads the WDR frame stored in the image memory 26 to perform image encoding processing, and stores the processed data in the image memory 26 again.
  • the WDR frame (still image or moving image) output from the image signal processing unit 80 is stored in the image memory 26.
  • the image display unit 28 is composed of a liquid crystal display (LCD), an organic light-emitting diode (OLED), a cathode ray tube (CRT), and the like, and displays a WDR frame recorded in the image memory 26 on the screen.
  • the image display unit 28 can be turned on / off by the instruction of the operation unit 43.
  • the video encoding unit 41 reads the WDR frame stored in the image memory 26 to perform image encoding processing, and stores the processed data in the image memory 26 again.
  • the operation unit 43 may be configured as a singular or plural combination of a switch, a dial, a touch panel, a pointing by a line of sight detection, a voice recognition device, and the like as a means for inputting various operation instructions of the system processor 40.
  • the operation unit 43 allows the user to set various functions such as power on / off, WDR mode on / off, zoom in / out, and on / off of the image display unit.
  • the sensor controller 42 controls a mechanical or electronic shutter provided in the WDR image sensor 20.
  • the flash dimming function can also be controlled by interlocking with a flash (not shown).
  • the lens controller 44 may control the focus or zoom magnification of the photographing lens 10.
  • the sensor controller 42 may set the WDR mode under the control of the system processor 40.
  • the WDR mode represents the number of subchannels used to synthesize one WDR image, and is generally set to a power of 2 such as 2 or 4.
  • the system processor 40 is a controller that controls the entire image processing apparatus 100, and a program executed by the system processor 40 is executed while being sequentially read by being recorded in the system memory 46.
  • the system memory 46 is provided with an area for storing system information and an area for storing user setting information, so that various information and settings can be read and restored at a later startup.
  • the system memory 46 may be implemented as a random access memory (RAM), a flash memory, a solid state disk (SSD), or the like.
  • the communication unit 48 may have a communication function such as USB, IEEE 1394, or LAN, and may receive a control signal from the image processing apparatus 100 and another device or transmit the generated WDR frame to the other device.
  • a communication function such as USB, IEEE 1394, or LAN
  • the wide area image generator 50 may include a channel input unit 52, subchannel generators 54a, 54b, and 54k and an image synthesizer 50.
  • the channel input unit 52 sequentially receives n subchannels from the memory access unit 30.
  • the subchannel generators 54a, 54b, and 54k generate a plurality of sub-images from each of the subchannels sequentially input to the channel inputter 52.
  • the image synthesizing unit 50 generates a wide area image by synthesizing the pixels between the generated sub images.
  • the pixel may have an RGB data format, a YUV data format, or a YCbCr data format, but is not limited thereto.
  • FIG. 5 is a block diagram illustrating a subchannel synthesis process performed by the wide area image synthesis unit 50 of FIG. 2.
  • the first subchannel generator 54a generates a first sub image 92 photographed with a relatively long shutter time
  • the second subchannel generator 54b captures a second sub image photographed with a relatively short shutter time. Generate an image 94.
  • the image synthesizer 50 obtains a first weighted sub image 96 by applying a first weight to the first sub image 92, and applies a second weight to the second sub image 94. After obtaining the second weighted sub-image 98, the pixels of the corresponding positions are added in the weighted sub-images 96 and 98 to generate one WDR frame 95. In this case, the sum of the first weight and the second weight may be 1. Such weights may be given for each sub-image, but may be given for each region (or block) in the sub-image. In FIG. 5, the two sub-pictures are synthesized, but the same applies to the synthesis of four or other sub-pictures.
  • FIG. 6 is a block diagram showing a detailed configuration of the knee curve generating unit 60.
  • the nick curve generation unit 60 calculates an integrated histogram from the luminance levels of the total m ⁇ n subchannels included in the m image frames, and generates a nick curve from the integrated histogram.
  • M and n are natural numbers, and in particular may be powers of two.
  • m and n are the same value. In the following description, for example, m and n will be described as equal to four.
  • the nick curve generating unit 60 includes, for example, a subchannel reading unit 62, an area dividing unit 64, a designated area processing unit 66, a saturation area processing unit 68, and a histogram calculating unit 70. , A preprocessor 72, a maximum level detector 74, and a function calculator 76.
  • the subchannel reader 62 reads subchannels provided from the memory access unit 30 for each subchannel.
  • the region dividing unit 64 divides the designated region and the saturated region for each of 4x4 total 16 subchannels.
  • one WDR unit includes subchannels VL, L, S, and VS having four different shutter times.
  • the designated area processor 66 sets extraction areas having a lower threshold value and an upper threshold value based on the luminance level of the specified area, and counts the number of pixels included in the extraction area. In this case, the designated area processor 66 may set the extraction areas not to overlap between subchannels having the same shutter time among the 4 ⁇ 4 subchannels. In this case, the extracted regions set to not overlap each other belong to four consecutive different WDR frames.
  • the saturation region processing unit 68 counts the number of pixels included in the divided saturation region.
  • FIG. 8 is a diagram illustrating a specific method of dividing and counting each subchannel into a designated region and a saturated region.
  • each sub-image may be input as a sub-channel as it is, in order to reduce the amount of computation in subsequent processing, an average of 8 ⁇ 8 blocks may be averaged and downsampled into one sample.
  • a designated region and a saturation region are determined for each of the four subchannels obtained through the downsampling process.
  • the saturation region refers to an area of a pixel having a predetermined luminance or more, and indicates a region in which luminance saturation is difficult to visually distinguish
  • a designated region refers to an area except an image saturation region.
  • the designated region processor 66 sets the lower threshold A and the upper threshold B for the designated region to count the number of pixels included in the luminance region, that is, the extraction region, between them.
  • This method not only prevents the knives for dynamic domain compression from changing too fast, but also prevents large distortions from occurring even if some subchannels with unexpected noise are present.
  • setting a plurality of thresholds from one sub-channel in a specific frame may increase the system load and burden the smooth processing of the real-time WDR image.
  • the present invention proposes that it is desirable to match the number of subchannels with the number of frames considered in consideration of both the amount of computation of dynamic range compression and the quality of image conversion. This point can also be confirmed through actual simulation through various images.
  • a subchannel for example, VL
  • the upper threshold value (eg B 11 ) of the previous subchannel coincides with the upper threshold value (eg A 21 ) of the subsequent subchannel in time.
  • the extraction regions may be set to have some overlap. In this case, the overlapped areas may be counted in both extraction areas.
  • an area larger than the reference value C 1 corresponds to a visually saturated area that is difficult to visually distinguish.
  • the saturation region processing unit 68 may count all four saturation regions, but simply in the first subchannel VL 1 . It is also possible to count only saturated areas.
  • VL allows for a relatively dark luminance region
  • VS for a relatively bright luminance region
  • L and S serve a luminance region therebetween.
  • the histogram calculator 70 of FIG. 6 calculates an integrated histogram based on the number of pixels counted in the extraction regions. Specifically, the histogram calculator 70 integrates the number counted in the total 16 extraction areas obtained in the above-described process, that is, the histogram from the lowest luminance level to the highest luminance level, as shown in FIG. 11. Calculate histogram.
  • the VL with the longest shutter time is responsible for the dark part
  • the VS with the shortest shutter time is responsible for the roster.
  • symbols represented in the form of A mn and B mn indicate lower and upper threshold values of the n-th subchannel in the m-th frame, respectively. If these individual thresholds are represented as thresholds in the integrated histogram, they can be represented as 0 to T- 16 , respectively.
  • the preprocessing unit 72 normalizes the calculated integrated histogram and applies weights for each section to the normalized integrated histogram.
  • the normalization process can be obtained by calculating the sum of all histograms and dividing each histogram by the sum. Therefore, the sum of histograms with normalization is one.
  • the preprocessing unit 72 applies weights for each section to the normalized integrated histogram.
  • the preprocessing unit 72 applies a relatively high weight to a section having a low brightness level and a section having a high brightness level as shown in FIG. 12.
  • 16 bar graphs show the magnitudes of the weights of the histograms corresponding to the sixth bar graphs.
  • the reason why the higher weight is applied to the lower or higher interval than the interval having the intermediate luminance level is to allocate higher bits to the region because the dark portion and the roster are invisible in the WDR image.
  • the preprocessing unit 72 multiplyes each of the weights thus obtained by the integrated histogram for each section, thereby generating a weighted integral histogram and providing the weighted integral histogram to the function calculation unit 76.
  • the maximum level detector 74 may determine the maximum number of pixels included in the saturation region in order from the subchannel having the shortest shutter time to the subchannel with the longest shutter time. The maximum level value is detected based on whether the threshold is exceeded. This maximum level value may have a single value for the entire histogram.
  • the saturation region processing unit 68 counts the number of pixels included in the saturation region (S1).
  • the saturation region processing unit 68 may optionally apply an IIR filter (Ipulse response filter) together with the count of the number of pixels (S2).
  • the maximum level detector 74 may obtain the gain value of the VS subchannel ( VS_gain) is set to a maximum level value (S4). Otherwise (Y in S3), the process proceeds to S5.
  • the maximum level detector 74 may have a gain value S_gain of the S subchannel. ) Is set to the maximum level value (S6). Otherwise (Y in S5), the process proceeds to S7.
  • the maximum level detector 74 may obtain a gain value L_gain of the L subchannel. ) Is set to the maximum level value (S8). Otherwise (Y in S7), the gain value VL_gain that the VL (very long) subchannel has is set to the maximum level value (S9).
  • the maximum level detector 74 sets the gain value of the current subchannel to the maximum level value when the number of pixels included in the saturation region of the current subchannel does not exceed the maximum threshold for the current subchannel.
  • the gain value means a luminance increase value (luminance weight) applied to each subchannel when synthesizing one WDR image from a plurality of subchannels.
  • the function calculator 76 calculates section-by-section slopes for the sections of the integrated histogram, and calculates knees for the entire luminance level based on the section-by-section slope and the detected maximum level value. Calculate the curve function.
  • the section-specific slope may be determined using, for example, a gamma curve.
  • the function calculator 76 may include a first section having a small number of the counted pixels in the integrated histogram, and a second section having a plurality of pixels adjacent to the first section and having a greater number of the counted pixels than the first section. In this case, it is preferable to calculate the nick curve function so that the slope in the second section is increased compared to the first section.
  • Equation 1 shows a specific example of the knee curve function (Knee_curve (x)) for each specific section.
  • x is an input luminance level value
  • T k is threshold values in the integrated histogram
  • M is a maximum level value set by the maximum level detector 74.
  • w k + 1 is a value in the k + 1 th interval in the weighted integrated histogram calculated by the preprocessor 72.
  • Equation 1 the coefficient a in Equation 1 may be expressed as Equation 2 below.
  • This integrated knick curve function has several characteristics as follows.
  • Knee_curve (x) is continuous at each boundary.
  • Knee_curve (x) has the characteristic of increasing the slope of the function as the value of the weighted integrated histogram in the corresponding interval increases.
  • Equation 1 It can be seen that the larger the w k + 1 , the larger the slope (see the circular display portion in FIG. 14).
  • all input luminance levels x are scaled by the maximum level value M and input in the form of x / M. Accordingly, in the algorithm of FIG. 13, the input luminance level x is scaled by the determined gain value according to which subchannel gain value is determined by the saturation region count.
  • the Nik curve function can be adaptively calculated according to the characteristics of the image of the subchannel.
  • the Nik curve function can be adaptively calculated according to the characteristics of the image of the subchannel.
  • the dynamic range converter 78 of FIG. 2 compresses the dynamic range of the synthesized image provided by the wide area image synthesizer 50 by using the Nik curve function.
  • the horizontal axis is the input luminance level x and the vertical axis is the output luminance level. Since the bit amount of the vertical axis is smaller than the bit amount of the horizontal axis, the dynamic range is reduced.
  • each of the components of FIGS. 2 to 6 and 6 is a software such as a task, a class, a subroutine, a process, an object, an execution thread, a program, or a field-programmable gate that is performed in a predetermined area on a memory. It may be implemented in hardware such as an array or an application-specific integrated circuit (ASIC), or may be a combination of software and hardware.
  • the components may be included in a computer readable storage medium or a part of the components may be distributed and distributed among a plurality of computers.
  • each block may represent a portion of a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s). It is also possible in some alternative implementations that the functions mentioned in the blocks occur out of order. For example, the two blocks shown in succession may in fact be executed substantially concurrently, and the blocks may sometimes be executed in the reverse order, depending on the corresponding function.
  • 15 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
  • the sensor controller 42 sets the WDR image sensor 20 in an n WDR mode for synthesizing a WDR image from n subchannels (S101). Initially, the frame index i and the subchannel index j are both set to one.
  • the subchannel reading unit 62 of the nick curve generating unit 60 reads the jth subchannel of the i-th frame (S102), and the area dividing unit 64 associates the read subchannel with a designated area.
  • the image is divided into saturation regions (S103).
  • the designated area processor 66 sets the lower and upper threshold values A ij and B ij in the divided designated regions (S104), and between the two threshold values, that is, the number of pixels C ij in the extraction region. ) Is counted (S105). Similarly, the saturation region processing unit 68 counts the number Dij of the pixels in the divided saturation region (S106).
  • the nik curve generating unit 60 increases j by 1 and proceeds to S102 again. If j is equal to n (N in S107), the nick curve generating unit 60 determines whether i, which is a frame count, is smaller than m (S108). At this time, if i is larger than m (Y in S108), i is increased by 1 and then proceeds to S102 again. If i is equal to m (N in S108), the process is completed for all m frames, and the flow proceeds to S109.
  • the histogram calculator 70 calculates an integrated histogram of the total m ⁇ n histograms by referring to the number C ij of the pixels in the extraction area (S109). Thereafter, the preprocessing unit 72 normalizes the integrated histogram (S110), and generates a weighted integrated histogram by applying different weights to respective sections of the integrated histogram (S111).
  • the maximum level detector 74 detects the maximum level through the process as shown in FIG. 13 with reference to the number Dij of the pixels in the saturation region (S112).
  • the function calculation unit 76 calculates a slope for each section of the Nik curve function by using the weighted integrated histogram and the sensed maximum level (S113), and calculates the Nik curve function in the entire section connecting the slopes for each section. (S114).
  • the dynamic range converter 78 compresses the dynamic range of the synthesized image provided from the wide area image synthesizer 50 by using the calculated knee curve function (S115).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Studio Devices (AREA)

Abstract

영상 처리 장치는, 피사체를 촬영하여 영상 프레임들을 출력하는 WDR 이미지 센서와, 상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 광역 영상 합성부와, 상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성하는 니커브 생성부와, 상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 동적 범위 변환부로 이루어진다.

Description

광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법
본 발명은 영상 처리 장치에 관한 것으로, WDR 이미지 센서로부터 넓은 동적 레인지(Wide Dynamic Range, WDR)를 갖는 영상을 생성하는 장치 및 방법에 관한 것이다.
비디오 카메라나 디지털 카메라 등에 이용되는 CCD 이미지 센서나 CMOS 이미지 센서와 같은 고체 촬상 소자는 입사광량에 따른 전하를 축적하고, 축적한 전하에 대응하는 전기신호를 출력하는 광전 변환을 한다. 그러나 광전 변환 소자의 전하 축적량에는 상한이 있고, 일정 이상의 광량을 받으면 축적 전하량이 포화 레벨에 이르러 버려 일정 이상의 밝기의 피사체 영역은 포화한 휘도 레벨로 설정되는 이른 바 화이트 노이즈가 발생한다.
이러한 현상을 방지하기 위해, 밝은 피사체에 대해서는 셔터를 고속으로 분할함으로써 노출 시간을 단축해 광전 변환 소자의 전하 축적 기간을 짧게 해 축적 전하량이 포화 레벨에 이르기 이전에 전기 신호를 출력시킨다. 이러한 처리에 의해 피사체에 따른 계조를 정확하게 재현한 화상의 출력이 가능해진다. 그러나 밝은 곳과 어두운 곳이 혼재하는 피사체의 촬영에 있어서는 셔터를 고속으로 분할하면, 어두운 부분에서 충분한 노출 시간을 취할 수 없기 위해 SNR(Signal-to-Noise Ratio)이 열화되어 화질이 떨어지게 된다.
이와 같이 밝은 곳과 어두운 곳이 혼재하는 피사체의 촬영 화상에 있어서 밝은 부분, 어두운 부분의 휘도 레벨을 정확하게 재현하기 위해서는 이미지 센서 상에서의 입사광이 적은 화소에서는 긴 노출 시간으로서 높은 SNR을 실현하면서도, 입사광이 많은 화소에서는 포화를 회피하는 별도의 처리가 필요하다.
이러한 처리를 실현하는 기법으로서 연속적으로 노출 시간이 다른 복수의 화상을 촬영해 합성하는 기법이 알려져 있다. 즉 장시간 노출 화상과 단시간 노출 화상을 연속적으로 개별적으로 촬영해, 어두운 화상 영역에 대해서는 장시간 노출 화상을 이용해, 장시간 노출 화상에서는 흰색이 되어 버리는 밝은 화상 영역에서는 단시간 노출 화상을 이용하는 합성 처리에 의해 하나의 화상을 생성하는 기법, 넓은 동적 레인지(WDR; wide dynamic range) 기술이 개발되고 있다.
이와 같이 WDR 기술을 이용하면 복수가 다른 노출 화상을 합성하여 다이내믹 레인지의 넓은 화상을 얻을 수 있다. 예를 들어, 실내의 창가와 같은 역광이 존재하는 장소에서 촬영할 경우나, 야경과 같이 명부와 암부가 혼재해 있는 경우에서 촬영할 경우, 또는 스포츠 경기 등 햇볕에 의한 명부와 그늘에 의한 암부가 혼합된 장면을 촬영하는 경우 등 다양한 촬상 환경에서, WDR 기술을 적용하여 보다 자연스러운 영상을 획득할 수 있는 것이다.
도 1은 일반적인 WDR 프레임 생성 기술의 일 예를 보여준다. 여기에는 120 fps(frame per second)를 지원하는 이미지 센서에서 4개 서브채널을 합성하여 하나의 WDR 프레임을 합성하는 경우가 도시된다. 원래의 서브채널은 120 fps가 지원된다고 하더라도 4개의 서브채널이 하나의 WDR 프레임으로 합성되므로 실제로는 30fps까지만 허용되는 것이다. 이 때, 4개의 서브채널은 각각 상이한 셔터 시간(노출 시간)으로 촬영된 것으로 각각 VL(very long), L(long), S(short), VS(very short)의 셔터 시간을 가질 수 있다. 이와 같이 상이한 셔터 시간으로 인하여 4개의 서브채널은 서로 다른 휘도를 가진다.
그런데, 이와 같은 WDR 프레임은 각각의 서브채널보다 넓은 동적 범위(dynamic range)를 같기 때문에 한정된 동적 범위를 갖는 표시 장치(예: 디스플레이 장치, 영상 표시 단말 등)에서의 출력을 위해서는 상기 동적 범위를 축소(압축)할 필요가 있다.
예를 들어, 각각의 서브채널이 12비트이고 상기 표시 장치에서 표시 가능한 동적 범위도 12비트라고 하면, 4개의 서브채널을 합성한 WDR 프레임은 각각의 서브채널의 게인(gain)과 오버랩 범위에 따라 23~24비트로 동적 범위가 상당히 증가한다. 따라서, 이와 같이 증가된 동적 범위를 다시 12비트로 압축할 필요가 있는 것이다.
그러나, 종래에는 상기 동적 범위 압축에 있어서 각각의 서브채널이 갖는 고유의 특성을 충분히 반영하지 못하였고 주로 고정된 니커브(knee curve)를 사용할 뿐이어서, 서브채널의 고유 특성에도 부합하지 않는다. 반면에, 장면(scene) 분석 기반으로 니커브를 생성한다고 하더라도 장면의 변화에 따라 지나치게 민감하게 압축 변환이 이루어지면 영상 아티팩트(artifact)가 발생하는 문제도 있다.
따라서, 다중 채널 기반의 WDR 프레임 기술에 있어서, 장면 기반으로 동적 범위를 압축하되, 각각의 서브채널의 특성을 충분히 반영할 수 있는 동적 범위 압축 방식을 창안할 필요가 있다.
전술한 본 발명이 이루고자 하는 기술적 과제는, 다중 채널 기반의 WDR 프레임의 동적 범위 압축에 있어서, 각각의 서브채널의 특성을 충분히 반영할 수 있는 영상 처리 장치 및 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 다중 채널 기반의 WDR 프레임의 동적 범위 압축에 있어서, 각각의 서브채널의 지정 영역 및 포화 영역의 분포를 종합적으로 고려한 영상 처리 장치 및 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치는, 피사체를 촬영하여 영상 프레임들을 출력하는 WDR 이미지 센서; 상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 광역 영상 합성부; 상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성하는 니커브 생성부; 및 상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 동적 범위 변환부를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 방법은, WDR 이미지 센서에 의해 피사체를 촬영하여 영상 프레임들을 출력하는 단계; 상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 단계; 상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들 각각에 대해, 휘도 레벨을 기준으로 하위 문턱값 및 상위 문턱값을 갖는 추출 영역들을 설정하는 단계; 상기 추출 영역에 포함되는 화소들의 수를 카운트하는 단계; 상기 카운트된 화소들의 수에 기초하여 통합 히스토그램을 산출하는 단계; 상기 산출된 통합 히스토그램으로부터 니커브를 생성하는 단계; 및 상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 단계를 포함한다.
본 발명에 따른 동적 범위 압축 장치 및 방법에 따르면, 영상이 촬영되는 환경에 따라 적응적으로, WDR 프레임의 동적 범위를 압축할 수 있게 함으로써 화질의 열화를 감소시킬 수 있는 장점이 있다.
또한, 상기 WDR 프레임의 동적 범위의 압축에 있어서, 상기 WDR 프레임을 합성하기 위한 서브채널들 각각의 영상 특성이 종합적으로 반영되기 때문에, 사용자에게 시각적으로 매우 자연스러운 WDR 프레임을 제공할 수 있는 장점도 있다.
도 1은 일반적인 WDR 프레임 생성 기술의 일 예를 보여주는 도면이다.
도 2는 본 발명의 실시 형태와 관련된 영상 처리 장치를 도시한 블록도이다.
도 3은 메모리 억세스부의 구성을 보다 자세히 보여주는 블록도이다.
도 4는 도 2의 광역 영상 생성부의 세부 구성을 보여주는 블록도이다.
도 5는 도 2의 광역 영상 합성부에서 수행되는 서브채널 합성 과정을 보여주는 블록도이다.
도 6은 도 2의 니커브 생성부의 세부적인 구성을 보여주는 블록도이다.
도 7은 시간의 흐름에 따른 복수의 WDR 유닛 및 이에 속하는 복수의 서브채널의 예를 보여주는 도면이다.
도 8은 각각의 서브채널을 지정 영역과 포화 영역으로 분할하고 카운트하는 구체적인 방법을 보여주는 도면이다.
도 9는 동일한 셔터 속도를 갖는 서브채널에 대해 4개의 연속된 프레임을 참조하여 추출 영역을 설정하는 예를 보여주는 도면이다.
도 10은 총 16개의 서브채널에서 얻어진 추출 영역의 개념을 보여주는 도면이다.
도 11은 통합 히스토그램의 예를 보여주는 도면이다.
도 12는 통합 히스토그램의 각각에 구간에 대응되는 가중치를 나타낸 도면이다.
도 13은 도 6의 최대 레벨 감지부에서의 동작을 자세히 보여주는 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 니커브 함수를 보여주는 도면이다.
도 15는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.
도 2는 본 발명의 실시 형태와 관련된 영상 처리 장치(100)를 도시한 블록도이다.
피사체로부터의 출사된 반사광은 촬영 렌즈(10)를 통해 WDR 이미지 센서(20)로 유도되고, WDR 이미지 센서(20)에서 영상 데이터(전기적 신호)로 변환된다. WDR 이미지 센서(20)는 CCD(Charge Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등과 같은 고체 촬상 소자로 구현될 수 있다. WDR 이미지 센서(120)는 R(red), G(green), B(blue)의 3색의 컬러 필터가 베이어(bayer) 배열된 컬러 대응 센서일 수 있다. 일 실시예에 있어서, 화소 데이터는 R→G→R→G→...의 순서로 출력되는 화소열과 B→G→B→G→의 순서로 출력되는 화소열이 교대로 반복되어 출력된다. 단, 이 출력순서는 일례이며 WDR 이미지 센서(120)가 갖는 컬러 필터의 배열에 따라 출력되는 색의 순서가 달라질 수 있다.
또한, WDR 이미지 센서(20)는 WDR 기능을 지원하며, 복수의 영상 채널(영상 출력 채널)을 통해 각각의 대응되는 서브채널들(예: 도 1에서는 4개의 서브채널들이 존재함)을 제공한다. 상기 서브채널들은 서로 다른 촬영 조건에서 촬영된 영상 데이터로서 하나의 WDR 프레임을 합성하기 위해 사용되는 기초 영상들이다.
이러한 하나의 WDR 프레임을 합성하기 위한 서브채널들의 갯수, 즉 WDR 모드는 미도시된 WDR 모드 설정부에 의해 변경될 수 있다. 예를 들어, 현재 모드가 4개의 서브채널을 합성하는 4 WDR 모드일 때, 촬영 렌즈(10)로 유입되는 광량이 부족하여 상기 휘도가 제1 기준값보다 낮으면, 2개의 서브채널을 합성하는 2 WDR 모드로 변경될 수 있다. 물론, 휘도가 충분한 경우에는 상기 2 WDR 모드에서 상기 4 WDR 모드로 재차 변경될 수도 있다.
메모리 억세스부(30)는 WDR 이미지 센서(20)로부터 제공되는 베이어 화소열을 순차적으로 누적하여 서브채널들, 예를 들어, VL(very long), L(long), S(short), VS(very short)과 같은 4개의 서브채널들을 구성하고, 상기 구성된 서브채널들을 광역 영상 합성부(50) 및 니커브 생성부(60)에 제공한다.
도 3은 메모리 억세스부(30)의 구성을 보다 자세히 보여주는 블록도이다.
먼저, WDR 이미지 센서(20)에서 출력되는 베이어 화소열은 메모리 억세스부(30)의 DMA (Direct Memory Access) 기록부(32)에 순차적으로 누적된다. 누적된 화소열은 각각의 서브채널로 구성되어 입력 채널 버퍼(34)에 저장된다. 입력 채널 버퍼(34)는 WDR 모드, 즉 서브채널의 수(n)에 따라 k번째 프레임에 속하는 서로 다른 셔터 시간을 갖는 서브채널들(VLk, Lk, Sk, VSk)을 DMA 판독부(36)에 제공한다. DMA 판독부(36)는 광역 영상 합성부(50) 또는 니커브 생성부(60)의 요청에 따라 상기 서브채널들을 제공한다.
다시 도 2를 참조하면, 광역 영상 합성부(50)는 WDR 이미지 센서(20)로부터 출력된 영상 프레임에 각각 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성한다. 상기 n은 자연수로서 2의 누승인 것이 바람직하다. 광역 영상 합성부(50)에서 수행되는 구체적인 동작은 도 4를 참조하여 후술할 것이다.
또한, 니커브 생성부(60)는 상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성한다. 상기 m은 자연수로서 n과 동일한 것이 바람직하나 반드시 이에 한하는 것은 아니다. 니커브 생성부(60)에서 수행되는 구체적인 동작은 도 6를 참조하여 후술하기로 한다.
동적 범위 변환부(78)는 상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소(압축)함으로써 변환영상을 생성한다. 예를 들어, 동적 범위 변환부(78)는 도 14와 같은 니커브를 이용하여 동적 범위를 압축할 수 있다. 이 중에서 가로축은 동적 범위 변환전 휘도 값(입력 휘도 레벨)이고 세로축은 동적 범위 변환후 휘도 값(출력 휘도 레벨)이다. 상기 입력 휘도 레벨을 상기 출력 휘도 레벨로 변환하는 과정을 통하여, WDR 프레임의 넓은 동적 범위가 서브채널의 동적 범위 정도로 축소된다.
이미지 신호 처리부(80)는 동적 범위 변환부(78)에서 제공되는 변환영상을 후처리한다. 이러한 후처리에는 화이트 밸런스 조절, 감마 처리, 게인 조절 등의 처리가 포함될 수 있다. 영상 부호화부(41)는 화상 메모리(26)에 저장된 WDR 프레임을 읽어 들여 영상 부호화 처리를 하고 처리를 끝낸 데이터를 다시 화상 메모리(26)에 저장한다.
이미지 신호 처리부(80)에서 출력되는 WDR 프레임(정지 영상 또는 동영상)은 화상 메모리(26)에 저장된다. 화상 표시부(28)는 LCD(Liquid Crystal Display), OLED(Organic Light-emitting Diode), CRT(Cathode Ray Tube) 등으로 구성되며, 화상 메모리(26)에 기록된 WDR 프레임을 화면 상에 표시한다. 또한 화상 표시부(28)는 조작부(43)의 지시에 의해 ON/OFF될 수 있다.
영상 부호화부(41)는 화상 메모리(26)에 저장된 WDR 프레임을 읽어 들여 영상 부호화 처리를 하고 처리를 끝낸 데이터를 다시 화상 메모리(26)에 저장한다.
조작부(43)는 시스템 프로세서(40)의 각종의 동작 지시를 입력하기 위한 수단으로서 스위치나 다이얼, 터치패널, 시선 검지에 의한 포인팅, 음성인식 장치 등의 단수 혹은 복수의 조합으로 구성될 수 있다. 조작부(43)를 통해 사용자는 전원 온/오프, WDR 모드 온/오프, 줌 인/아웃, 화상 표시부의 온/오프 등의 다양한 기능을 설정할 수 있다.
센서 제어부(42)는 WDR 이미지 센서(20)에 구비되는 기계식 또는 전자식 셔터를 제어한다. 또한 플래시(미도시 됨)과 연동함으로써 플래시 조광 기능도 제어할 수 있다. 또한, 렌즈 제어부(44)는 촬영 렌즈(10)의 초점 또는 줌 배율을 제어할 수 있다. 또한, 센서 제어부(42)는 시스템 프로세서(40)의 제어에 따라 WDR 모드를 설정할 수 있다. WDR 모드는 하나의 WDR 영상을 합성하기 위해 사용되는 서브채널의 수를 나타내는데 2나 4와 같은 2의 누승으로 설정되는 것이 일반적이다.
시스템 프로세서(40)는 영상 처리 장치(100) 전체를 제어하는 컨트롤러이며, 시스템 프로세서(40)가 실행하는 프로그램은 상기 시스템 메모리(46)에 기록되어 순차 판독되면서 실행된다. 또한 시스템 메모리(46) 내에는 시스템 정보를 기억하는 영역이나 사용자 설정 정보를 기억하는 영역이 구비되어, 다양한 정보나 설정을 추후 기동시에 판독하고 복원하는 것이 가능하다. 이러한 시스템 메모리(46)는 RAM(Random Access Memory), 플래시 메모리(Flash Memory), SSD(Solid State Disk) 등으로 구현될 수 있다.
그리고, 통신부(48)은 USB, IEEE1394, LAN 등의 통신 기능을 가지며, 영상 처리 장치(100)와 다른 장치로부터 제어 신호를 수신하거나 상기 생성된 WDR 프레임을 상기 다른 장치로 전송할 수 있다.
도 4는 광역 영상 생성부(50)의 세부 구성을 보여주는 블록도이다. 광역 영상 생성부(50)는 채널 입력부(52), 서브채널 생성부(54a, 54b, 54k) 및 영상 합성부(50)를 포함하여 구성될 수 있다.
채널 입력부(52)는 메모리 억세스부(30)로부터 n개의 서브채널을 순차적으로 입력 받는다. 서브채널 생성부(54a, 54b, 54k)는 채널 입력부(52)로 순차적으로 입력된 서브채널 각각으로부터 복수의 서브 영상을 생성한다. 영상 합성부(50)는 상기 생성된 복수의 서브 영상들 간의 화소를 합성하여 광역 영상을 생성한다. 여기서 화소(pixel)는 RGB 데이터 포맷, YUV 데이터 포맷, 또는 YCbCr 데이터 포맷을 가질 수 있으나 이에 한정되는 것은 아니다.
도 5는 도 2의 광역 영상 합성부(50)에서 수행되는 서브채널 합성 과정을 보여주는 블록도이다. 제1 서브채널 생성부(54a)는 상대적으로 긴 셔터 시간으로 촬영된 제1 서브 영상(92)을 생성하고, 제2 서브채널 생성부(54b)는 상대적으로 짧은 셔터 시간으로 촬영된 제2 서브 영상(94)을 생성한다.
영상 합성부(50)는 제1 서브 영상(92)에 제1 가중치를 적용하여 제1 가중된(weighted) 서브 영상(96)을 얻고, 제2 서브 영상(94)에 제2 가중치를 적용하여 제2 가중된 서브 영상(98)을 얻은 후, 가중된 서브 영상들(96, 98)내에서 대응되는 위치의 화소들을 가산하여 하나의 WDR 프레임(95)를 생성한다. 이때, 상기 제1 가중치와 상기 제2 가중치의 합은 1일 수 있다. 이와 같은 가중치들은 각각의 서브 영상별로 부여될 수도 있지만, 서브 영상 내의 영역(또는 블록) 별로 부여될 수도 있다. 도 5에서는 2개의 서브 영상들을 합성하는 것으로 예를 들었으나 4개 또는 다른 수의 서브 영상들을 합성하는 경우에도 마찬가지이다.
도 6은 니커브 생성부(60)의 세부적인 구성을 보여주는 블록도이다. 니커브 생성부(60)는 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성한다. 상기 m 및 n은 자연수이며, 특히 2의 누승일 수 있다. 또한, 상기 m 및 n은 같은 값인 것이 바람직하다. 이하의 설명에서는 예시적으로 m과 n은 동일하게 4인 것으로 하여 설명할 것이다.
도 6에서 니커브 생성부(60)는 예를 들어, 서브채널 판독부(62), 영역 분할부(64), 지정영역 처리부(66), 포화영역 처리부(68), 히스토그램 산출부(70), 전처리부(72), 최대 레벨 감지부(74) 및 함수 산출부(76)를 포함하여 구성될 수 있다.
먼저, 서브채널 판독부(62)는 메모리 억세스부(30)로부터 제공된 서브채널들을 각각의 서브채널 별로 읽어 들인다.
영역 분할부(64)는 4×4개 총 16개의 서브채널들 각각에 대한 지정 영역 및 포화 영역을 분할한다. 도 7을 참조하면, 하나의 WDR 유닛은 4개의 서로 다른 셔터 시간을 갖는 서브 채널들(VL, L, S, VS)을 포함한다. 하나의 WDR 유닛은 하나의 WDR 프레임을 생성하기 위한 기본 단위이다. 이러한 WDR 유닛(i=1~4)은 프레임 레이트에 따른 소정의 시간간격으로 연속적으로 생성된다. 이와 같이, 하나의 프레임(또는 WDR 유닛)이 4개의 서브채널을 가질 때, 4개의 프레임을 참조하면 총 16개의 서브채널이 본 발명의 동적 범위 변환을 위한 기초 정보로 이용될 수 있는 것이다.
지정 영역 처리부(66)는 상기 지정 영역의 휘도 레벨을 기준으로 하위 문턱값 및 상위 문턱값을 갖는 추출 영역들을 설정하고, 상기 추출 영역에 포함되는 화소들의 수를 카운트한다. 이 때, 상기 지정 영역 처리부(66)는 상기 4×4개의 서브채널들 중에서 동일한 셔터 시간을 갖는 서브채널 간에 상기 추출 영역들을 중복되지 않도록 설정할 수 있다. 여기서, 상기 중복되지 않도록 설정된 추출 영역들은 각각 연속된 서로 다른 4개의 WDR 프레임에 속한다.
한편, 포화 영역 처리부(68)는 상기 분할된 포화 영역에 포함되는 화소들의 수를 카운트한다.
도 8은 각각의 서브채널을 지정 영역과 포화 영역으로 분할하고 카운트하는 구체적인 방법을 보여주는 도면이다. 여기서, 하나의 WDR 프레임(i=1)에 대해 4개의 서브채널의 지정 영역과 포화 영역이 분할된다. 먼저, 각각의 서브 영상은 그대로 서브채널로 입력될 수 있지만 후속 처리 과정에서의 연산량의 감소를 위해 8x8 크기의 블록의 평균을 구하여 하나의 샘플로 다운샘플링하는 과정을 추가로 거칠 수 있다. 이러한 다운샘플링 과정을 통해 얻어진 4개의 서브채널 각각에 대해서 지정 영역과 포화 영역이 결정된다. 여기서 포화 영역은 일정 이상의 휘도를 갖는 화소의 영역으로 시각적으로 구분이 어려운 휘도 포화가 발생한 영역을 의미하고, 지정 영역은 상 포화 영역을 제외한 영역을 의미한다.
지정 영역 처리부(66)는 상기 지정 영역에 대해 하위 문턱값(A)과 상위 문턱값(B)을 설정함으로 그 사이의 휘도 영역, 즉 추출 영역에 포함되는 화소의 수를 카운트한다.
이 때, 상기 추출 영역은 특정 프레임(도 9에서는 i=1)에서 하나의 서브 채널로부터 모두 추출되는 것이 아니라 복수의 프레임으로부터 배분하여 추출되는 것이 바람직하다. 이러한 방식은 동적 영역 압축을 위한 니커브가 너무 빠르게 변화되는 것을 방지할 뿐만 아니라 예측 하지 못한 노이즈가 발생한 일부의 서브채널이 존재하더라도 전체적으로 큰 왜곡이 발생하지 않도록 하기 위함이다. 또한, 특정 프레임에서 하나의 서브 채널로부터 다수의 문턱값을 설정하는 것은 시스템 부하를 가중시켜 실시간 WDR 영상의 원활한 처리에 부담을 줄 수 있기 때문이다.
또한, n개의 서브채널에 대해서 구체적으로 몇 개의 프레임까지를 고려할 것인가도 고려되어야 할 요소이다. 본 발명에서는 동적 범위 압축의 연산량과 영상 변환의 품질을 모두 고려하여, 서브채널의 수와 고려되는 프레임의 수를 일치시키는 것이 바람직하다는 점을 제안한다. 이 점은 다양한 영상을 통한 실제 시뮬레이션을 통해서도 확인할 수 있다.
도 9는 동일한 셔터 속도를 갖는 서브채널(예: VL)에 대해 4개의 연속된 프레임(i=1~4)을 참조하여 추출 영역을 설정하는 예를 보여주는 도면이다. 이 때, 각각의 서브채널상의 추출 영역은 서로 중복되지 않도록 하위 문턱값(A)과 상위 문턱값(B)을 설정하는 것이 바람직하다. 이 경우, 시간적으로 이전 서브채널의 상위 문턱값(예: B11)은 후속 서브채널의 상위 문턱값(예: A21)과 일치한다. 물론 상기 추출 영역들은 약간의 오버랩(overlap)을 갖도록 설정될 수도 있다. 이 경우에는 중복된 영역은 양쪽의 추출 영역에서 모두 카운트될 수도 있을 것이다.
여기서, 기준 값(C1)보다 큰 영역은 시각적으로 구분이 어려운, 시각적으로 포화된 영역에 해당한다. 다만, 포화 영역은 4개의 서브채널(VL1 내지 VL4)에 모두 존재하므로 포화 영역 처리부(68)는 4개의 포화 영역 모두에 대해 카운트를 할 수도 있지만, 단순히 첫번째 서브채널(VL1)에서의 포화 영역만을 카운트하는 것도 가능하다.
이와 같이 하나의 서브채널(VL)에 대해 4개의 추출 영역들을 얻을 수 있고, 마찬가지로 다른 서브채널들(L, S, VS)에 대해서도 각각 4개의 추출 영역들을 얻을 수 있으므로, 결국 추출 영역의 개수는 총 16개가 될 것이다. 이 때, 마찬가지로 하나의 서브 채널에서 얻어지는 추출 영역들의 범위도 다른 서브 채널에서 얻어지는 추출 영역들의 범위와 중복되지 않도록 하는 것이 바람직하다. 예를 들어, VL의 경우 상대적으로 어두운 휘도 영역을, VS의 경우 상대적으로 밝은 휘도 영역을, 그리고 L과 S는 그 사이의 휘도 영역을 담당하게 한다.
이상의 과정을 통해, 하나의 프레임이 4개의 서브채널을 갖는 경우, 4개의 프레임까지 고려하면, 총 16개의 서브채널에서 각각 1개의 추출 영역이 얻어진다. 따라서, 도 10에 도시된 바와 같이 하나의 니커브 변환함수를 얻기 위한 기초 자료로서 총 16개의 추출 영역이 얻어진다.
한편, 도 6의 히스토그램 산출부(70)는 상기 추출 영역들에서 카운트된 화소들의 수에 기초하여 통합 히스토그램을 산출한다. 구체적으로, 히스토그램 산출부(70)는, 도 11의 예시와 같이, 전술한 과정에서 얻어진 총 16개의 추출 영역에서 카운트된 숫자, 즉 히스토그램을 가장 낮은 휘도 레벨부터 가장 높은 휘도 레벨까지 나열함으로써 상기 통합 히스토그램을 산출한다. 여기서, 가장 셔터 시간이 긴 VL은 암부를 담당하고 가장 셔터 시간이 짧은 VS는 명부를 담당한다. 도 10에서 Amn 및 Bmn과 같은 형태로 표시된 기호는 m번째 프레임에서 n번째 서브채널이 갖는 하위 문턱값 및 상위 문턱값을 각각 나타낸다. 이러한 개별 문턱값을 통합 히스토그램 내에서의 문턱값들로 표시하면 각각 0 내지 T-16으로 나타낼 수 있다.
전처리부(72)는 상기 산출된 통합 히스토그램을 정규화하고, 상기 정규화된 통합 히스토그램에 대해 구간별 가중치를 적용한다. 상기 정규화 과정은 전체 히스토그램의 합계를 계산하고, 각각의 히스토그램을 상기 합계로 나눔으로써 얻어질 수 있다. 따라서 정규화가 적용된 히스토그램의 총합은 1이 된다.
상기 전처리부(72)는 상기 정규화된 통합 히스토그램에 대해 구간별 가중치를 적용하는데, 바람직하게는 도 12와 같이 휘도 레벨이 낮은 구간과 상기 휘도 레벨이 높은 구간에 상대적으로 높은 가중치를 적용한다. 도 12에서 16개의 막대 그래프는 각각에 대응되는 히스토그램에 대한 가중치의 크기를 나타낸다. 이와 같이, 휘도 레벨이 중간인 구간에 비해 낮거나 높은 구간에 더 높은 가중치를 적용하는 이유는 WDR 영상에서는 암부와 명부가 가시성이 떨어지는 문제가 있으므로 이러한 영역에 보다 높은 비트를 할당하기 위함이다.
전처리부는(72)는 이와 같이 구한 가중치 각각을 구간별로 통합 히스토그램에 승산(multiplying)함으로써, 가중된 통합 히스토그램(weighted integral histogram)을 생성하여 함수 산출부(76)에 제공한다.
다시 도 6을 참조하면, 최대 레벨 감지부(74)는 셔터 시간이 가장 짧은 서브채널부터 셔터 시간이 가장 긴 서브채널로의 순서로, 상기 포화 영역에 포함되는 화소들의 수가 각각의 서브채널별 최대 문턱값을 넘는가를 기준으로, 최대 레벨 값을 감지한다. 이러한 최대 레벨 값은 통합 히스토그램 전체에 대해 단일한 값을 가질 수 있다.
도 13은 최대 레벨 감지부(74)에서의 동작을 자세히 보여주는 흐름도이다. 먼저, 포화 영역 처리부(68)는 포화 영역에 포함된 화소 수를 카운트한다(S1). 포화 영역 처리부(68)는 이러한 화소 수의 카운트와 더불어 선택적으로 IIR 필터(impulse response filter)를 적용할 수도 있다(S2).
그 다음, 최대 레벨 감지부(74)는 VS(very short) 서브채널의 포화 영역 카운트(VS_count)가 소정의 임계치(VS_max)보다 크지 않으면(S3의 N), 상기 VS 서브채널이 갖는 게인 값(VS_gain)을 최대 레벨 값으로 설정한다(S4). 그렇지 않으면(S3의 Y), S5로 진행한다.
S5에서, 최대 레벨 감지부(74)는 S(short) 서브채널의 포화 영역 카운트(S_count)가 소정의 임계치(S_max)보다 크지 않으면(S5의 N), 상기 S 서브채널이 갖는 게인 값(S_gain)을 최대 레벨 값으로 설정한다(S6). 그렇지 않으면(S5의 Y), S7로 진행한다.
S7에서, 최대 레벨 감지부(74)는 L(long) 서브채널의 포화 영역 카운트(L_count)가 소정의 임계치(L_max)보다 크지 않으면(S7의 N), 상기 L 서브채널이 갖는 게인 값(L_gain)을 최대 레벨 값으로 설정한다(S8). 그렇지 않으면(S7의 Y), VL(very long) 서브채널이 갖는 게인 값(VL_gain)을 최대 레벨 값으로 설정한다(S9).
이와 같이, 최대 레벨 감지부(74)는 현재 서브채널의 포화 영역에 포함되는 화소들의 수가 상기 현재 서브채널에 대한 최대 임계치를 넘지 않으면 상기 현재 서브채널의 게인 값을 상기 최대 레벨 값으로 설정하는 것이다. 상기 게인 값이란, 복수의 서브채널들로부터 하나의 WDR 영상을 합성할 때 각각의 서브채널에 부여되는 휘도 상승치(휘도 가중치)를 의미한다.
다시 도 6을 참조하면, 함수 산출부(76)는 상기 통합 히스토그램이 갖는 구간들에 대해 구간별 슬로프를 산출하고, 상기 구간별 슬로프와 상기 감지된 최대 레벨 값을 기초로 전체 휘도 레벨에 대한 니커브 함수를 산출한다. 상기 구간별 슬로프는 예를 들어, 감마 커브를 이용하여 결정될 수 있다.
구체적으로 상기 함수 산출부(76)는 상기 통합 히스토그램에서 상기 카운트된 화소의 수가 적은 제1 구간과, 상기 제1 구간에 후속 인접하고 상기 카운트된 화소의 수가 상기 제1 구간보다 많은 제2 구간이 있을 때, 상기 제1 구간에 비해 상기 제2 구간에서의 슬로프가 상승하도록 상기 니커브 함수를 산출하는 것이 바람직하다.
다음의 수학식 1은 구체적인 구간별 니커브 함수(Knee_curve(x))의 구체적인 예를 보여준다.
Figure PCTKR2016012159-appb-M000001
여기서, x는 입력 휘도 레벨 값이고 Tk는 통합 히스토그램에서의 문턱값들이고, M은 최대 레벨 감지부(74)에서 설정된 최대 레벨 값이다. 또한, wk+1은 전처리부(72)에서 계산된 가중된 통합 히스토그램에서 k+1번째 구간에서의 값이다.
한편, 수학식 1에서 계수 a는 다음의 수학식 2와 같이 표현될 수 있다.
Figure PCTKR2016012159-appb-M000002
이와 같은 과정을 통해 각 구간별 니커브 함수를 전체 영역으로 연결하면 도 14와 같은 통합된 니커브 함수를 얻을 수 있다. 이러한 통합된 니커브 함수는 다음과 같은 몇 가지 특성을 갖는다.
첫째, Knee_curve(x)는 각각의 경계점에서 연속적이다. 예를 들어, 수학식 1을 참조하면, x=T1에서 Knee_curve(x)는 좌측 구간의 함수와 우측 구간의 함수에서 모두 (T1/M)2으로 동일하다.
둘째, Knee_curve(x)는 해당 구간에서의 가중된 통합 히스토그램의 값이 클수록 함수의 기울기를 증가시키는 특성을 갖는다. 수학식 1에서
Figure PCTKR2016012159-appb-I000001
는 wk+1이 클수록 그 기울기가 커진다는 것을 알 수 있다(도 14의 원형 표시 부분 참조).
셋째, 모든 입력 휘도 레벨(x)은 최대 레벨 값(M)에 의해 스케일링 되어 x/M 의 형태로 입력된다. 따라서, 도 13의 알고리즘에서 포화 영역의 카운트가 어떠한 서브채널의 게인 값으로 결정되는지에 따라 입력 휘도 레벨(x)가 상기 결정된 게인 값에 의해 스케일링되는 효과가 있다.
이러한 본 발명에서 예시한 니커브 함수의 3가지 특성으로 인하여 서브채널의 영상의 특성에 따라 상기 니커브 함수가 적응적으로 산출될 수 있는 것이다. 따라서, 동적 범위 압축을 위해, 최초 4개의 프레임에서 어떤 니커브 함수가 사용되었다면, 다음 4개의 프레임에서는 이와 다른 니커브 함수가 적응적으로 사용될 것이다.
이와 같이 니커브 함수가 결정되면 도 2의 동적 범위 변환부(78)는 상기 니커브 함수를 이용하여 광역 영상 합성부(50)에서 제공되는 합성영상의 동적 범위를 압축한다. 예컨대, 도 14에서 가로 축은 입력 휘도 레벨(x)이고 세로 축은 출력 휘도 레벨인데, 세로 축의 비트량이 가로 축의 비트량보다 적기 때문에 동적 범위가 줄어들게 된다.
지금까지 도 2 내지 4 및 도 6의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 15는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 흐름도이다.
먼저, 센서 제어부(42)는 n개의 서브채널로부터 WDR 영상을 합성하기 위한 n WDR 모드로 WDR 이미지 센서(20)를 설정한다(S101). 최초에는 프레임 인덱스 i와 서브채널 인덱스 j는 모두 1로 설정되어 있다.
다음으로, 니커브 생성부(60)의 서브채널 판독부(62)는 i번째 프레임의 j번째 서브채널을 판독하고(S102), 영역 분할부(64)는 상기 판독된 서브채널을 지정영역과 포화영역으로 분할한다(S103).
지정영역 처리부(66)는 상기 분할된 지정영역에 하위 문턱값 및 상위 문턱값(Aij, Bij)을 설정하고(S104), 두 문턱값 사이, 즉 추출 영역에 있는 화소의 수(Cij)를 카운트한다(S105). 마찬가지로 포화영역 처리부(68)는 상기 분할된 포화영역에 있는 화소의 수(Dij)를 카운트한다(S106).
다음으로 니커브 생성부(60)는 서브채널 카운트인 j가 n보다 작으면(S107의 Y), j는 1만큼 증가되고 다시 S102로 진행한다. 만약 상기 j가 n과 같으면(S107의 N), 니커브 생성부(60)는 프레임 카운트인 i가 m보다 작은지를 판단한다(S108). 이 때, 상기 i가 m보다 크면(S108의 Y) i는 1만큼 증가되고 다시 S102로 진행한다. 만약 i가 m과 같으면(S108의 N), m개의 프레임에 대해 모두 처리가 완료되었으므로 S109로 진행한다.
S109에서, 히스토그램 산출부(70)는 추출 영역에 있는 화소의 수(Cij)를 참조하여 상기 총 m×n개의 히스토그램을 취합한 통합 히스토그램을 산출한다(S109). 그 후, 전처리부(72)는 상기 통합 히스토그램을 정규화하고(S110), 상기 통합 히스토그램의 각각의 구간에 대해 서로 다른 가중치를 적용하여 가중된 통합 히스토그램을 생성한다(S111).
한편, 최대 레벨 감지부(74)는 포화영역에 있는 화소의 수(Dij)를 참조하여 도 13과 같은 과정을 거쳐 최대 레벨을 감지한다(S112).
함수 산출부(76)는 상기 가중된 통합 히스토그램 및 상기 감지된 최대 레벨을 이용하여 니커브 함수의 구간별 슬로프를 산출하고(S113), 구간별 슬로프를 연결한 전체 구간에서의 니커브 함수를 계산한다(S114).
마지막으로, 동적 범위 변환부(78)는 이와 같이 계산된 니커브 함수를 이용하여 광역 영상 합성부(50)로부터 제공되는 합성영상의 동적 범위를 압축한다(S115).
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이지 않다.

Claims (20)

  1. 피사체를 촬영하여 영상 프레임들을 출력하는 WDR 이미지 센서;
    상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 광역 영상 합성부;
    상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성하는 니커브 생성부; 및
    상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 동적 범위 변환부를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 m과 상기 n은 동일한 값인 영상 처리 장치.
  3. 제2항에 있어서,
    상기 동일한 값은 4인 영상 처리 장치.
  4. 제1항에 있어서, 상기 니커브 생성부는
    상기 m×n개의 서브채널들 각각에 대한 지정 영역을 분할하는 영역 분할부;
    상기 지정 영역의 휘도 레벨을 기준으로 하위 문턱값 및 상위 문턱값을 갖는 추출 영역들을 설정하고, 상기 추출 영역에 포함되는 화소들의 수를 카운트하는 지정 영역 처리부; 및
    상기 카운트된 화소들의 수에 기초하여 통합 히스토그램을 산출하는 히스토그램 산출부를 포함하는 영상 처리 장치.
  5. 제4항에 있어서, 상기 지정 영역 처리부는
    상기 m×n개의 서브채널들 중에서 동일한 셔터 시간을 갖는 서브채널 간에 상기 추출 영역들을 중복되지 않도록 설정하는 영상 처리 장치.
  6. 제5항에 있어서, 상기 중복되지 않도록 설정된 추출 영역들은
    각각 연속된 서로 다른 상기 m개의 영상 프레임에 속하는 영상 처리 장치.
  7. 제6항에 있어서, 상기 히스토그램 산출부는
    상기 중복되지 않도록 설정된 추출 영역들에 포함된 화소를 카운트하여 휘도 레벨의 순서대로 나열함으로써 총 m×n개 빈도 데이터를 갖는 통합 히스토그램을 생성하는 영상 처리 장치.
  8. 제4항에 있어서, 상기 니커브 생성부는
    상기 산출된 통합 히스토그램을 정규화하고, 상기 정규화된 통합 히스토그램에 대해 구간별 가중치를 적용하는 전처리부를 더 포함하는 영상 처리 장치.
  9. 제8항에 있어서, 상기 전처리부는
    상기 정규화된 통합 히스토그램에서, 휘도 레벨이 가장 낮은 구간과 상기 휘도 레벨이 가장 높은 구간에 상대적으로 높은 가중치를 적용하는 영상 처리 장치.
  10. 제4항에 있어서,
    상기 영역 분할부는 상기 지정 영역과 더불어 상기 m×n개의 서브채널들 각각에 대한 포화 영역을 분할하고,
    상기 니커브 생성부는
    상기 분할된 포화 영역에 포함되는 화소들의 수를 카운트하는 포화 영역 처리부를 더 포함하는 영상 처리 장치.
  11. 제10항에 있어서, 상기 니커브 생성부는
    셔터 시간이 가장 짧은 서브채널부터 셔터 시간이 가장 긴 서브채널로의 순서로, 상기 포화 영역에 포함되는 화소들의 수가 각각의 서브채널별 최대 문턱값을 넘는가를 기준으로, 최대 레벨 값을 감지하는 최대 레벨 감지부를 더 포함하는 영상 처리 장치.
  12. 제11항에 있어서, 상기 최대 레벨 감지부는
    현재 서브채널의 포화 영역에 포함되는 화소들의 수가 상기 현재 서브채널에 대한 최대 임계치를 넘지 않으면 상기 현재 서브채널의 게인 값을 상기 최대 레벨 값으로 감지하는 영상 처리 장치.
  13. 제11항에 있어서, 상기 니커브 생성부는
    상기 통합 히스토그램이 갖는 구간들에 대해 구간별 슬로프를 산출하고, 상기 구간별 슬로프와 상기 감지된 최대 레벨 값을 기초로 전체 휘도 레벨에 대한 니커브 함수를 산출하는 함수 산출부를 더 포함하는 영상 처리 장치.
  14. 제13항에 있어서, 상기 구간별 슬로프는
    감마 커브를 이용하여 결정되는 영상 처리 장치.
  15. 제13항에 있어서, 상기 함수 산출부는
    상기 통합 히스토그램에서 상기 카운트된 화소의 수가 적은 제1 구간과, 상기 제1 구간에 후속 인접하고 상기 카운트된 화소의 수가 상기 제1 구간보다 많은 제2 구간이 있을 때, 상기 제1 구간에 비해 상기 제2 구간에서의 슬로프가 상승하도록 상기 니커브 함수를 산출하는 영상 처리 장치.
  16. WDR 이미지 센서에 의해 피사체를 촬영하여 영상 프레임들을 출력하는 단계;
    상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 단계;
    상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들 각각에 대해, 휘도 레벨을 기준으로 하위 문턱값 및 상위 문턱값을 갖는 추출 영역들을 설정하는 단계;
    상기 추출 영역에 포함되는 화소들의 수를 카운트하는 단계;
    상기 카운트된 화소들의 수에 기초하여 통합 히스토그램을 산출하는 단계;
    상기 산출된 통합 히스토그램으로부터 니커브를 생성하는 단계; 및
    상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 단계를 포함하는 광역 영상 처리 방법.
  17. 제16항에 있어서, 상기 추출 영역들을 설정하는 단계는
    상기 m×n개의 서브채널들 중에서 동일한 셔터 시간을 갖는 서브채널 간에 상기 추출 영역들을 중복되지 않도록 설정하는 단계를 포함하는 광역 영상 처리 방법.
  18. 제17항에 있어서,
    상기 중복되지 않도록 설정된 추출 영역들은 각각 연속된 서로 다른 상기 m개의 영상 프레임에 속하는 광역 영상 처리 방법.
  19. 제18항에 있어서, 상기 통합 히스토그램을 산출하는 단계는
    상기 중복되지 않도록 설정된 추출 영역들에 포함된 화소를 카운트하여 휘도 레벨의 순서대로 나열함으로써 총 m×n개 빈도 데이터를 갖는 통합 히스토그램을 생성하는 단계를 포함하는 광역 영상 처리 방법.
  20. 제16항에 있어서, 상기 니커브를 생성하는 단계는
    상기 산출된 통합 히스토그램을 정규화하고, 상기 정규화된 통합 히스토그램에 대해 구간별 가중치를 적용하는 단계를 포함하는 광역 영상 처리 방법.
PCT/KR2016/012159 2016-10-25 2016-10-27 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법 WO2018079877A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16919835.5A EP3534325B1 (en) 2016-10-25 2016-10-27 Image processing device and method for compressing dynamic range of wide-range image
US16/393,102 US10999525B2 (en) 2016-10-25 2019-04-24 Image processing apparatus and method for compressing dynamic range of WDR image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0139160 2016-10-25
KR1020160139160A KR102495754B1 (ko) 2016-10-25 2016-10-25 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/393,102 Continuation US10999525B2 (en) 2016-10-25 2019-04-24 Image processing apparatus and method for compressing dynamic range of WDR image

Publications (1)

Publication Number Publication Date
WO2018079877A1 true WO2018079877A1 (ko) 2018-05-03

Family

ID=62025074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/012159 WO2018079877A1 (ko) 2016-10-25 2016-10-27 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US10999525B2 (ko)
EP (1) EP3534325B1 (ko)
KR (1) KR102495754B1 (ko)
WO (1) WO2018079877A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US10664960B1 (en) 2019-04-15 2020-05-26 Hanwha Techwin Co., Ltd. Image processing device and method to perform local contrast enhancement
US10819915B1 (en) * 2019-10-17 2020-10-27 Horiba Instruments Incorporated Apparatus and method generating high dynamic range video
US10911691B1 (en) * 2019-11-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame
CN112258417B (zh) * 2020-10-28 2023-02-28 杭州海康威视数字技术股份有限公司 一种图像生成方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310887A (ja) * 2006-05-17 2007-11-29 Xerox Corp 画像データの自動マッピング方法及び画像処理デバイス
US20090161953A1 (en) * 2007-12-21 2009-06-25 Sony Corporation And Sony Electronics, Inc. Method of high dynamic range compression with detail preservation and noise constraints
JP2009296178A (ja) * 2008-06-03 2009-12-17 Sony Corp 撮像装置及び撮像方法
KR20130034186A (ko) * 2011-09-28 2013-04-05 연세대학교 산학협력단 Ｈｄｒ 영상 시스템에서 영상 간의 노출 정도를 보정하기 위한 장치 및 그 방법
US20140341468A1 (en) * 2010-01-27 2014-11-20 Adobe Systems Incorporated Methods and Apparatus for Tone Mapping High Dynamic Range Images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649781B2 (ja) 2001-06-20 2011-03-16 ソニー株式会社 画像処理方法および装置
JP4649313B2 (ja) * 2005-10-28 2011-03-09 株式会社東芝 固体撮像装置
JP4618100B2 (ja) * 2005-11-04 2011-01-26 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
JP2010004240A (ja) * 2008-06-19 2010-01-07 Yamaha Corp Ｃｍｏｓ固体撮像装置
JP5506683B2 (ja) * 2008-08-11 2014-05-28 本田技研工業株式会社 画素、画素の製造方法、撮像装置および画像形成方法
JP5185805B2 (ja) * 2008-12-26 2013-04-17 オリンパス株式会社 撮像装置
KR101604068B1 (ko) * 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6120500B2 (ja) 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法
JP6200687B2 (ja) 2013-05-10 2017-09-20 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP2016058848A (ja) 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310887A (ja) * 2006-05-17 2007-11-29 Xerox Corp 画像データの自動マッピング方法及び画像処理デバイス
US20090161953A1 (en) * 2007-12-21 2009-06-25 Sony Corporation And Sony Electronics, Inc. Method of high dynamic range compression with detail preservation and noise constraints
JP2009296178A (ja) * 2008-06-03 2009-12-17 Sony Corp 撮像装置及び撮像方法
US20140341468A1 (en) * 2010-01-27 2014-11-20 Adobe Systems Incorporated Methods and Apparatus for Tone Mapping High Dynamic Range Images
KR20130034186A (ko) * 2011-09-28 2013-04-05 연세대학교 산학협력단 Ｈｄｒ 영상 시스템에서 영상 간의 노출 정도를 보정하기 위한 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3534325A4 *

Also Published As

Publication number Publication date
EP3534325B1 (en) 2022-04-06
EP3534325A1 (en) 2019-09-04
KR20180045259A (ko) 2018-05-04
EP3534325A4 (en) 2020-06-10
US10999525B2 (en) 2021-05-04
KR102495754B1 (ko) 2023-02-02
US20190253602A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
WO2018079877A1 (ko) 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법
Xiao et al. High dynamic range imaging of natural scenes
EP2533520B1 (en) Image sensor having HDR capture capability
US20170251188A1 (en) Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image
WO2014035072A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
JP4948090B2 (ja) 撮像装置及び駆動制御方法
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
US8749699B2 (en) Method and device for video processing using a neighboring frame to calculate motion information
WO2013073766A1 (en) Zoom control method and apparatus, and digital photographing apparatus
EP3402179B1 (en) Image-capturing system, image-capturing method, and program
KR20110140089A (ko) 화상 처리 장치, 촬상 장치, 화상 처리 방법, 및 화상 처리 프로그램
CN110213502A (zh) 图像处理方法、装置、存储介质及电子设备
WO2015083971A1 (en) Electronic apparatus and method of controlling the same
CN111885312B (zh) Hdr图像的成像方法、系统、电子设备及存储介质
JP4539432B2 (ja) 画像処理装置および撮像装置
WO2017057926A1 (ko) 디스플레이 장치 및 이의 제어 방법
CN111355936A (zh) 用于人工智能的采集和处理图像数据的方法及系统
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
CN115088252A (zh) 一种图像处理方法及相关装置
CN116055891A (zh) 图像处理方法及其装置
KR100806388B1 (ko) Ａｗｂ 방법 및 이를 적용한 촬영장치
JP2000165896A (ja) ホワイトバランス制御方法及びその装置
CN107920198A (zh) 图像处理设备和方法
KR100631996B1 (ko) 디지털 카메라의 자동 화이트 밸런스 장치 및 방법
US20200351417A1 (en) Image processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16919835

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016919835

Country of ref document: EP

Effective date: 20190527