KR20180045553A - Wide Dynamic Range Apparatus - Google Patents

Wide Dynamic Range Apparatus Download PDF

Info

Publication number
KR20180045553A
KR20180045553A KR1020160140028A KR20160140028A KR20180045553A KR 20180045553 A KR20180045553 A KR 20180045553A KR 1020160140028 A KR1020160140028 A KR 1020160140028A KR 20160140028 A KR20160140028 A KR 20160140028A KR 20180045553 A KR20180045553 A KR 20180045553A
Authority
KR
South Korea
Prior art keywords
image
exposure image
wdr
short
long
Prior art date
Application number
KR1020160140028A
Other languages
Korean (ko)
Other versions
KR102587431B1 (en
Inventor
박종선
백정원
윤주현
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020160140028A priority Critical patent/KR102587431B1/en
Publication of KR20180045553A publication Critical patent/KR20180045553A/en
Application granted granted Critical
Publication of KR102587431B1 publication Critical patent/KR102587431B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/23216—
    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

According to an embodiment of the present invention, a wide dynamic range (WDR) apparatus comprises: an imaging unit for receiving an image signal on a specific region to obtain a long-term exposure image with a relatively long exposure time and a short-term exposure image with a relatively short exposure time; a storing unit for storing both of the long-term exposure image and the short-term exposure image; an image transmission determining unit for recognizing a dynamic range of the long-term exposure image and the short-term exposure image and determining whether to execute a WDR synthesis function; and a WDR image generating unit for synthesizing the long-term exposure image and the short-term exposure image to generate a WDR synthesis image.

Description

광역 역광 보정 장치{Wide Dynamic Range Apparatus}Wide Dynamic Range Apparatus [0002]

본 발명은 광역 역광 보정 장치에 관한 것으로서, 보다 상세하게는 저장부에 장노광 영상 및 단노광 영상을 따로 저장한 후에 WDR 합성 영상을 생성하는 광역 역광 보정 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a wide-area backlight compensation apparatus, and more particularly, to a wide-area backlight compensation apparatus that separately stores a long exposure image and a short exposure image in a storage unit and then generates a WDR composite image.

최근, 단시간 노광의 영상(이하, '단노광 영상'이라 함)과 장시간 노광의 영상(이하, '장노광 영상'이라 함)을 연속적으로 촬영하여 합성함으로써, 영상 센서가 촬영 가능한 다이나믹 레인지를 넘은 다이나믹 레인지를 캡쳐한 영상을 얻는 WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)이라는 촬영 기능이 늘어나고 있다. 이러한 촬영 기능은 역광의 구도 등 명암비가 매우 큰 장면에서는 특히 큰 효과가 있다.Recently, an image of a short time exposure (hereinafter referred to as a 'short exposure image') and an image of a long time exposure (hereinafter referred to as a 'long exposure image') are successively photographed and synthesized, Wide dynamic range (WDR) or high dynamic range (HDR), which capture dynamic range captured images, are increasing. Such a photographing function is particularly effective in a scene having a very high contrast ratio, such as a composition of backlight.

WDR 신호를 얻는 방법으로는 노광 시간을 바꾸면서 여러 장의 영상들을 연속적으로 촬영하여 합성하는 방법을 채용하는 것이 일반적이다. 여기에서 얻어지는 다이나믹 레인지(Dynamic Range)는 16 비트 내지 20 비트 또는 그 이상에 달하는 경우도 있다. WDR 신호는 디스플레이나 프린터의 표시 능력에 맞추어 8 비트에서 12 비트 정도로 레인지(Range) 압축되어 출력된다.As a method of obtaining the WDR signal, a method of continuously photographing and synthesizing a plurality of images while varying the exposure time is generally employed. The dynamic range obtained here may reach 16 bits to 20 bits or more. The WDR signal is compressed in a range of 8 bits to 12 bits according to the display capability of the display or the printer.

그런데, WDR 신호로 압축함으로써 영상이 선명하게 드러나지 않은 경우가 있었다. 예를 들어, 밝은 부분에 존재하던 피사체의 경계선이 모호하게 되는 경우가 있었다. 또는, 전체적으로 너무 어두워 사용자가 원하는 영역이 보이지 않는 경우도 있었다.However, there has been a case where the image is not clearly displayed by compressing the WDR signal. For example, the boundary line of a subject existing in a bright area may become ambiguous. Or, the entire area is too dark, so that the user can not see the desired area.

이러한 경우에는 사용자가 원하는 영역만의 명암을 조절할 수 있어야 한다. 그러나, 실시간 영상이 아니라 저장부에 영상을 저장할 때, 종래에는 장노광 영상과 단노광 영상이 각각 저장되지 않고 합성된 WDR 합성 영상만이 저장되어 있어, 추후에 특정 영역에 대한 명암을 조절하는 것이 매우 어려웠다.In this case, the user should be able to adjust the contrast of only the desired area. However, when an image is stored in a storage unit rather than a real-time image, conventionally only a synthesized WDR composite image is stored without storing a long exposure image and a short exposure image, It was very difficult.

일본공개공보 제2000－50151호Japanese Laid-Open Publication No. 2000-50151 일본공개공보 제2012－239077호Japanese Laid-Open Publication No. 2012-239077

본 발명이 해결하고자 하는 과제는, 저장부에 장노광 영상 및 단노광 영상을 따로 저장한 후에 WDR 합성 영상을 생성하는 광역 역광 보정 장치를 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a wide-area backlight compensation apparatus which separately stores a long exposure image and a short exposure image in a storage unit and then generates a WDR composite image.

또한, 장노광 영상 및 단노광 영상의 다이나믹 레인지를 자동으로 인지하여, WDR 합성 기능을 실행할 것인지 여부를 판단할 수 있는 광역 역광 보정 장치를 제공하는 것이다.It is also an object of the present invention to provide a wide-area backlight compensation apparatus capable of automatically recognizing a dynamic range of a long-exposure image and a short exposure image and determining whether to perform a WDR combining function.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 광역 역광 보정 장치는 특정 영역에 대한 이미지 신호를 수신하여, 노출시간이 상대적으로 긴 장노광 영상 및 노출시간이 상대적으로 짧은 단노광 영상을 획득하는 촬상부; 상기 장노광 영상 및 상기 단노광 영상을 모두 저장하는 저장부; 상기 장노광 영상 및 상기 단노광 영상의 다이나믹 레인지를 인지하여, WDR 합성 기능을 실행할 것인지 여부를 판단하는 영상 전송 판단부; 및 상기 장노광 영상 및 상기 단노광 영상을 합성하여 WDR 합성 영상을 생성하는 WDR 영상 생성부를 포함한다.According to an embodiment of the present invention, there is provided a wide-area backlight compensation apparatus for receiving an image signal for a specific region and obtaining a long exposure image having a relatively long exposure time and a short exposure image having a relatively short exposure time An image pickup unit; A storage unit for storing both the long exposure image and the short exposure image; An image transmission determination unit for recognizing the dynamic range of the long exposure image and the short exposure image and determining whether to perform the WDR combining function; And a WDR image generation unit for synthesizing the long exposure image and the short exposure image to generate a WDR composite image.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.The embodiments of the present invention have at least the following effects.

저장부에 장노광 영상 및 단노광 영상을 따로 저장하여, 실시간 영상이 아닌, 저장된 영상이 디스플레이 될 때에도, WDR 합성 영상의 일부 영역에 대하여만 사용자의 명령에 따라 명암이 다르게 변경되어 디스플레이 될 수 있다.The long exposure image and the short exposure image are separately stored in the storage unit so that even when the stored image is displayed instead of the real time image, only a part of the WDR combined image can be displayed in a different manner according to the user's command .

또한, 장노광 영상 및 단노광 영상의 다이나믹 레인지를 자동으로 인지하여, 다이나믹 레인지가 특정 기준값보다 넓은 경우에는 WDR 합성을 수행하나, 다이나믹 레인지가 특정 기준값보다 좁은 경우에는 WDR 합성을 수행하지 않을 수 있다.The WDR synthesis is performed when the dynamic range is larger than a specific reference value, and the WDR synthesis is not performed when the dynamic range is narrower than a specific reference value, by automatically recognizing the dynamic range of the long exposure image and the short exposure image .

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the specification.

도 1은 장노광 영상(LI)을 나타낸 도면이다.
도 2는 단노광 영상(SI)을 나타낸 도면이다.
도 3은 WDR 합성 영상(WI)을 나타낸 도면이다.
도 4는 도 3에서 노광량이 많은 일부분(R)을 확대한 도면이다.
도 5는 본 발명의 일 실시예에 따른 광역 역광 보정 장치(1)의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 WDR 영상 생성부(133)의 자세한 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 광역 역광 보정 장치(1)가 실제 동작되는 구성을 나타낸 하드웨어도이다.
도 8은 본 발명의 일 실시예에 따른 장노광 영상(LI) 및 단노광 영상(SI)의 명암비가 넓은 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 장노광 영상(LI) 및 단노광 영상(SI)의 명암비가 넓은 모습을 나타낸 도면이다.1 is a diagram showing a long exposure image (LI).
2 is a diagram showing a single exposure image SI.
3 is a diagram showing a WDR composite image WI.
FIG. 4 is an enlarged view of a portion R having a large exposure amount in FIG.
5 is a block diagram showing the configuration of a wide-angle backlight correction apparatus 1 according to an embodiment of the present invention.
6 is a block diagram illustrating a detailed configuration of a WDR image generation unit 133 according to an embodiment of the present invention.
7 is a hardware diagram illustrating a configuration in which the wide-area backlight correction apparatus 1 according to the embodiment of the present invention is actually operated.
8 is a view showing a wide contrast ratio of a long exposure image (LI) and a short exposure image (SI) according to an embodiment of the present invention.
9 is a view showing a wide contrast ratio of a long exposure image (LI) and a short exposure image (SI) according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms " comprises "and / or" comprising "used in the specification do not exclude the presence or addition of one or more other elements in addition to the stated element.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 내지 도 4는 일반적인 WDR 합성 기술을 설명하기 위한 도면이다. 특히, 도 1은 장노광 영상(LI), 도 2는 단노광 영상(SI), 도 3은 WDR 합성 영상(WI), 도 4는 도 3에서 노광량이 많은 일부분을 확대한 도면이다.1 to 4 are views for explaining a general WDR synthesis technique. Particularly, FIG. 1 is a long exposure image (LI), FIG. 2 is a short exposure image (SI), FIG. 3 is a WDR composite image (WI), and FIG. 4 is an enlarged view of a portion having a large exposure amount in FIG.

도 1 내지 도 3에 도시된 바와 같이, 실내에서 맑은 하늘의 옥외를 촬영하는 장면에서, 실내에는 장노광 영상(LI)이 사용되고, 실외에는 단노광 영상(SI)이 사용되어 WDR 합성됨으로써, 실내 및 실외 모두 시인성이 높은 WDR 합성 영상(WI) 을 얻을 수 있다. 여기서, 장노광 영상(LI)이란 노출시간이 상대적으로 긴(Long Exposure Time) 영상으로서, 도 1에 도시된 바와 같이 동일한 장면에서 암부영역, 주로 실내의 장면 정보를 포함한다. 그리고 단노광 영상(SI)이란 노출시간이 상대적으로 짧은(Short Exposure Time) 영상으로서, 도 2에 도시된 바와 같이 동일한 장면에서 명부영역, 주로 실외의 장면 정보를 포함한다. 여기서, 서로 다른 노출시간(Exposure Time)은 WDR 영상 처리를 위해서 소정의 시간, 예를 들면 1/60초 동안에 동일한 장면에 대해 2개의 영상을 다른 노출시간으로 촬영하는 것을 의미한다. 다만, 이러한 노출 시간은 절대적인 시간으로 제한되지 않는다.As shown in FIGS. 1 to 3, a long exposure image (LI) is used in a room and a short exposure image (SI) is used in an outdoor area in a scene where a clear sky outdoors is photographed, And a WDR composite image (WI) having high visibility both outdoors can be obtained. Here, the long exposure image LI is an image having a relatively long exposure time (Long Exposure Time), and includes scene information of the dark area, mainly indoor, in the same scene as shown in FIG. The short exposure image SI is a short exposure time image. The short exposure image SI includes a list area, mainly outdoor scene information, in the same scene as shown in FIG. Here, the different exposure time (Exposure Time) means that two images are taken at different exposure times for the same scene for a predetermined time, for example, 1/60 second, for WDR image processing. However, such exposure time is not limited to absolute time.

그런데, 상기 기술한 바와 같이 다이나믹 레인지는 16 비트 내지 20 비트 또는 그 이상에 달하는 경우도 있으나, WDR 신호는 일반적으로 디스플레이나 프린터의 표시 능력에 맞추어 8 비트 내지 12 비트 정도의 레인지(range)로 압축되어 출력된다. 따라서, 장노광 영상(LI)과 단노광 영상(SI)의 다아나믹 레인지가 클수록 WDR 신호의 압축률은 증가한다. 결과적으로, 증가하는 압축률에 따라 WDR 합성 영상(WI)의 손실율도 증가하게 되고, 특히 도 4에 도시된 바와 같이 밝은 부분(R)에 존재하던 피사체의 경계선이 모호하게 되어 배경과의 구별이 뚜렷하지 않게 된다. 이러한 경우에는 사용자가 원하는 영역에는 장노광 영상(LI)보다 단노광 영상(SI)에 가중치를 더 높여야, 피사체의 경계선이 뚜렷하게 드러날 수 있다. 또는 WDR 합성 영상(WI)에서 사용자가 원하는 영역이 어두워서 보이지 않는 경우도 있다. 이러한 경우에는 사용자가 원하는 영역에는 단노광 영상(SI)보다 장노광 영상(LI)에 가중치를 더 높여야 피사체가 더 밝게 드러날 수 있다.However, as described above, the dynamic range may range from 16 bits to 20 bits or more. However, the WDR signal is generally compressed to a range of about 8 bits to 12 bits in accordance with the display capability of the display or the printer. And output. Therefore, the compression ratio of the WDR signal increases as the dynamic range of the long exposure image LI and the short exposure image SI increases. As a result, the loss ratio of the WDR composite image WI is increased according to the increasing compression ratio. In particular, as shown in FIG. 4, since the boundary line of the object in the bright portion R is ambiguous, . In this case, the weight of the short exposure image SI is required to be higher than that of the long exposure image LI in the area desired by the user, so that the boundary line of the subject can be clearly displayed. Or the area desired by the user in the WDR composite image (WI) is dark and not visible. In this case, the subject may be exposed more brightly by increasing the weight of the long exposure image LI than the short exposure image SI in the area desired by the user.

또한, 다이나믹 레인지가 크지 않은 경우에는 오히려 WDR 기능을 수행하지 않는 것이 영상의 손실율을 감소시킬 수 있다. 그러나, 종래에는 저장부(14)에 장노광 영상(LI)과 단노광 영상(SI)이 각각 저장되어 있지 않고 WDR 합성 영상(WI)만이 저장되어 있어, 추후에 특정 영역에 대한 명암을 조절하는 것이 매우 어려웠다.In addition, when the dynamic range is not large, the loss rate of the image can be reduced by not performing the WDR function. However, conventionally, only the WDR composite image WI is stored without storing the long exposure image LI and the short exposure image SI in the storage unit 14, It was very difficult.

따라서, 본 발명의 일 실시예에 따른 광역 역광 보정 장치(1)는, 저장부(14)에 장노광 영상(LI) 및 단노광 영상(SI)을 따로 저장한다. 따라서, 실시간 영상이 아닌, 저장된 영상이 디스플레이 될 때에도, WDR 합성 영상(WI)의 일부 영역에 대하여만 사용자의 명령에 따라 명암이 다르게 변경되어 디스플레이 될 수 있다. 또한, 장노광 영상(LI) 및 단노광 영상(SI)의 다이나믹 레인지를 자동으로 인지하여, 다이나믹 레인지가 특정 기준값보다 넓은 경우에는 WDR 합성을 수행하나, 다이나믹 레인지가 특정 기준값보다 좁은 경우에는 WDR 합성을 수행하지 않게 된다.Accordingly, the wide-angle backlight correction apparatus 1 according to an embodiment of the present invention separately stores the long exposure image LI and the short exposure image SI in the storage unit 14. [ Therefore, even when a stored image is displayed instead of a real-time image, only a part of the WDR combined image WI can be displayed in a different brightness and darkness according to a user's command. The WDR synthesis is performed when the dynamic range is larger than a specific reference value by automatically recognizing the dynamic range of the long exposure image LI and the short exposure image SI and if the dynamic range is narrower than a specific reference value, . ≪ / RTI >

도 5는 본 발명의 일 실시예에 따른 광역 역광 보정 장치(1)의 구성을 나타낸 블록도이다.5 is a block diagram showing the configuration of a wide-angle backlight correction apparatus 1 according to an embodiment of the present invention.

이러한 기능을 수행하기 위해, 본 발명의 일 실시예에 따른 광역 역광 보정 장치(1)는 촬상부(11), 버퍼 메모리(12), 제어부(13), 저장부(14), 화면부(15)를 포함한다.The wide-angle backlight correction apparatus 1 according to the embodiment of the present invention includes an image pickup section 11, a buffer memory 12, a control section 13, a storage section 14, a screen section 15 ).

촬상부(11)는 특정 영역에 대한 이미지 신호를 수신하여 영상을 생성한다. 특히, 본 발명의 일 실시예에 따른 촬상부(11)는 서로 다른 노출시간을 갖는 2개의 영상을 생성한다.The image pickup unit 11 receives an image signal for a specific area and generates an image. In particular, the imaging unit 11 according to an embodiment of the present invention generates two images having different exposure times.

촬상부(11)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전자량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.The image pickup unit 11 generally includes an image pickup device such as a CCD (Charge Coupled Device) or a CMOS image sensor. When a plurality of photodiodes are irradiated with light, the CCD accumulates electrons generated by the photoelectric effect, and then transmits the electrons. At this time, by analyzing the change in the amount of electrons generated according to the amount of photons and reconstructing the information, image information constituting the screen is generated. The CCD has the advantage that the image quality is clear and the noise is small, but it is disadvantageous in that the power consumption is high and the processing speed is low.

CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.A CMOS image sensor is an image sensor using CMOS (Complementary Metal Oxide Semiconductor). Each cell has an amplifier, and the electrons generated by the light are directly amplified by an electric signal and transmitted. CMOS image sensors have the disadvantage of low cost, low power consumption, fast processing speed, and high noise.

촬상부(11)는 노광 설정을 바꾸어 두 영상(LI, SI)을 연속 촬영하는데, 여기서 단노광 촬영을 먼저하고 그 다음에 장노광 촬영을 할 수 있다. 그러나, 이에 제한되지 않고 장노광 촬영을 먼저하고 그 다음에 단노광 촬영을 할 수도 있다. 이와 같이, 획득된 장노광 영상(LI)과 단노광 영상(SI)은 한 쌍으로서 버퍼 메모리(12)에 기입된다. 장노광 영상(LI) 및 단노광 영상(SI)의 촬영과, 촬영된 장노광 영상(LI) 및 단노광 영상(SI)의 버퍼 메모리(12)로의 기입은 연속적으로 행해진다.The imaging section 11 successively takes two images LI and SI by changing the exposure setting, in which the single exposure exposure is performed first, followed by the long exposure exposure imaging. However, the present invention is not limited to this, and it is also possible to perform the long exposure photographing first and then the short exposure photographing. Thus obtained long-exposure image LI and short-exposure image SI are written into the buffer memory 12 as a pair. The photographing of the long exposure image LI and the short exposure image SI and the writing of the captured long exposure image LI and the short exposure image SI into the buffer memory 12 are continuously performed.

광역 역광 보정 장치(1)는 장노광 영상(LI) 및 단노광 영상(SI)을 출력하기 위한 공통의 계통을 하나 가지고, 촬상부(11)가 장노광 영상(LI)과 단노광 영상(SI)을 시분할로 출력할 수도 있으나, 이에 제한되지 않고, 장노광 영상(LI)과 단노광 영상(SI)은 동시에 출력될 수도 있다. 이 경우, 광역 역광 보정 장치(1)는 촬상부(11)로부터 장노광 영상(LI)을 출력하기 위한 계통과, 단노광 영상(SI)을 출력하기 위한 계통의 2개의 계통을 가질 수 있다. 그리고 각각의 셔터 타임은 촬영 대상의 다이나믹 레인지나 촬상 소자의 사양 등에 따라 다양하게 정해질 수 있다.The wide-angle backlight correction apparatus 1 has a common system for outputting a long exposure image LI and a short exposure image SI, and the wide-angle backlight correction apparatus 1 includes a common system for outputting a long exposure image LI and a short exposure image SI, However, the present invention is not limited to this, and the long exposure image LI and the short exposure image SI may be output at the same time. In this case, the wide-angle backlight correction apparatus 1 may have two systems, that is, a system for outputting a long-exposure image LI from the imaging unit 11 and a system for outputting a short-exposure image SI. The respective shutter times can be variously determined according to the dynamic range of the object to be imaged, the specification of the imaging element, and the like.

버퍼 메모리(12)는 대기하는 영상의 프레임 데이터를 임시로 저장한다. 특히, 상기 기술한 바와 같이, 촬상부(11)를 통해 획득된 장노광 영상(LI) 및 단노광 영상(SI)이 버퍼 메모리(12)에 기입된다. 버퍼 메모리(12)에 기입된 상기 영상들의 프레임 데이터는, 영상 처리부(131)에 영상의 이전 프레임 데이터들이 이미 입력되어 영상 처리되는 동안, 버퍼 메모리(12)에서 대기를 한다.The buffer memory 12 temporarily stores the frame data of the waiting image. Particularly, as described above, the long-exposure image LI and the short-exposure image SI obtained through the imaging unit 11 are written in the buffer memory 12. The frame data of the images written in the buffer memory 12 is waited in the buffer memory 12 while the previous frame data of the image is already input to the image processing unit 131 and image-processed.

제어부(13)는 광역 역광 보정 장치(1)의 전반적인 동작을 제어한다. 그리고, 상기 장노광 영상(LI)과 단노광 영상(SI)을 함께 입력받아 영상 처리를 수행하고, 특정 조건이 만족되면 WDR 합성 영상(WI)으로 합성한다. 이러한 역할을 수행하기 위해, 제어부(13)는 영상 처리부(131), 영상 전송 판단부(132), WDR 영상 생성부(133)를 포함한다.The control unit 13 controls the overall operation of the wide- Then, the long exposure image (LI) and the short exposure image (SI) are received together and image processing is performed. When the specific condition is satisfied, the WDR combined image (WI) is synthesized. In order to perform such a role, the control unit 13 includes an image processing unit 131, a video transmission determination unit 132, and a WDR image generation unit 133.

영상 처리부(131)는 상기 생성된 영상들이 입력되면, 해상도(Resolution), 프레임율(Frame-Rate) 또는 화질(Bit-Depth)을 변경하는 각종 영상 처리를 각각 독립적으로 수행하며, 영상의 디코딩(Decoding)을 수행하는 디코더, 영상의 렌더링(Rendering) 작업을 수행하는 그래픽 렌더러, 복합 영상을 생성하기 위해 복수의 영상의 오버레이를 수행하는 슈퍼 임포저 등을 포함할 수 있다. 이 외에도, 영상 처리부(131)는 오토 화이트밸런스(AWB, Auto White Balance), 노이즈 필터링(Noise Filtering) 등의 영상 처리를 수행할 수도 있다.The image processor 131 independently performs various image processes for changing the resolution, the frame rate or the bit-depth when the generated images are input, A graphics renderer for performing a rendering operation of an image, and a super importer for performing overlay of a plurality of images to generate a composite image. In addition, the image processing unit 131 may perform image processing such as Auto White Balance (AWB) and noise filtering.

다만, 이에 제한되지 않고, 영상 처리 중 일부가 필요하지 않은 경우에는, 영상 처리부(131)는 상기 기술한 그래픽 렌더러 또는 슈퍼 임포저 등의 구성을 일부 포함하지 않을 수 있다. 즉, 입력된 영상들의 처리 방법에 따라, 영상 처리부(131)는 다양하게 구성될 수 있다.However, the present invention is not limited to this, and in the case where a part of the image processing is not required, the image processing unit 131 may not include some of the above-described configurations of the graphic renderer or superimposer. That is, the image processing unit 131 may be configured in various ways according to a method of processing input images.

영상 전송 판단부(132)는 특정 조건이 만족되면 WDR 영상 생성부(133)로, 장노광 영상(LI) 및 단노광 영상(SI)의 두 가지 영상(LI, SI)을 모두 전송할 것인지, 두 가지 영상(LI, SI) 가운데 하나의 영상만을 전송할 것인지 판단한다. 상기 특정 조건에 대한 자세한 설명은 후술한다.The image transmission determination unit 132 determines whether the two images LI and SI of the long exposure image LI and the short exposure image SI are to be transmitted to the WDR image generation unit 133, It is determined whether only one image of the branch images (LI, SI) is to be transmitted. A detailed description of the specific condition will be described later.

WDR 영상 생성부(133)는 장노광 영상(LI)과 단노광 영상(SI)을 합성하여 WDR 합성 영상(WI)을 생성한다. 구체적으로 WDR 영상 생성부(133)는, 영상 전송 판단부(132)에 의해 장노광 영상(LI) 및 단노광 영상(SI)의 두 가지 영상(LI, SI)이 모두 전송되면, 장노광 영상(LI) 및 단노광 영상(SI)을 합성하여 WDR 합성 영상(WI)을 생성한다. 그러나, 두 가지 영상(LI, SI) 가운데 하나의 영상만이 전송되면, WDR 합성을 수행하지 않고 그대로 화면부(15)로 전송한다.The WDR image generating unit 133 combines the long exposure image LI and the short exposure image SI to generate a WDR composite image WI. Specifically, when both the images LI and SI of the long exposure image LI and the short exposure image SI are transmitted by the image transmission determination unit 132, the WDR image generation unit 133 generates a long exposure image (LI) and a short-exposure image (SI) to generate a WDR composite image (WI). However, if only one of the two images LI and SI is transmitted, the image is transmitted to the display unit 15 without performing WDR synthesis.

저장부(14)는 장노광 영상(LI) 및 단노광 영상(SI)의 두 가지 영상(LI, SI)을 모두 저장한다. 이때, 저장부(14)는 비휘발성 메모리 장치 및 휘발성 메모리 장치를 포함한다. 비휘발성 메모리(Non-Volatile Memory, NVM)는 전원이 공급되지 않더라도 저장된 정보들이 휘발되지 않고 유지되는 메모리를 말한다. 대표적으로 PROM, EPROM, EEPROM 등을 포함하는 롬(ROM), 하드디스크(HDD), 광학디스크(ODD), SSD(Solid State Drive), 플래시 메모리 등이 있다.The storage unit 14 stores both the images LI and SI of the long exposure image LI and the short exposure image SI. At this time, the storage unit 14 includes a nonvolatile memory device and a volatile memory device. Non-volatile memory (NVM) refers to a memory in which stored information is not volatilized, even when power is not supplied. ROM, a hard disk (HDD), an optical disk (ODD), a solid state drive (SSD), a flash memory, and the like including a PROM, an EPROM, and an EEPROM.

반면에 휘발성 메모리(Volatile Memory)는 저장된 정보를 유지하기 위해 지속적인 전원의 공급을 필요로 하며, 전력 공급이 중단되면 저장된 정보들이 휘발되는 메모리를 말한다. DRAM(Dynamic Ram), SRAM(Static RAM) 등을 포함하는 램(Random Access Memory, RAM)이 대표적인 휘발성 메모리이다.Volatile memory, on the other hand, is a memory that requires constant power supply to maintain stored information and volatile stored information when power is interrupted. Random access memory (RAM) including dynamic random access memory (DRAM) and static random access memory (SRAM) is a typical volatile memory.

저장부(14)는 광역 역광 보정 장치(1)에 내장될 수도 있으며, 이러한 경우에는 비휘발성 메모리 장치는 부피가 작고 가벼운 NAND 플래시 메모리이고, 휘발성 메모리 장치는 DDR SDRAM인 것이 바람직하다. 그러나, 이에 제한되지 않고 다양한 종류의 메모리가 사용될 수 있으며, 심지어는 저장부(14)가 광역 역광 보정 장치(1)의 외부에 별도의 장치로써 마련될 수도 있다.The storage unit 14 may be embedded in the wide-angle backlight correction apparatus 1. In this case, the nonvolatile memory device may be a small NAND flash memory and the volatile memory device may be a DDR SDRAM. However, the present invention is not limited to this, and various types of memories can be used, and even the storage unit 14 may be provided as a separate device outside the wide-band light correction apparatus 1. [

화면부(15)는 상기 생성된 WDR 합성 영상(WI)을 시각적으로 디스플레이 함으로써 사용자가 모니터링 할 수 있도록 한다. 화면부(15)는 LCD, LED, OLED 등 다양한 방식이 사용될 수 있으며, 나아가 터치가 가능한 터치패널의 기능을 가질 수도 있다.The display unit 15 visually displays the generated WDR composite image WI so that the user can monitor the WDR composite image WI. The display unit 15 may use various methods such as an LCD, an LED, and an OLED, and may further have a touch panel function.

도 6은 본 발명의 일 실시예에 따른 WDR 영상 생성부(133)의 자세한 구성을 나타낸 블록도이다.6 is a block diagram illustrating a detailed configuration of a WDR image generation unit 133 according to an embodiment of the present invention.

WDR 영상 생성부(133)는 Y/C 변환부(1331), 전처리부(1332), 휘도 융합부(1333), 색채 융합부(1334), RGB 변환부(1335) 등을 포함할 수 있다. Y/C 변환부(1331)는 촬상부(11)로부터 입력된 장노광 영상(LI) 및 단노광 영상(SI)의 원 데이터(Raw Data)들을 각각 컬러 영상의 휘도(Y, Luminance) 성분과 컬러 영상의 색차 (C, Chrominance) 성분으로 각각 변환한다. 각각의 입력 영상들은 1개의 휘도(Y) 성분과 2개의 색차(C) 성분으로 분할되는 것이 바람직하다. 여기서 휘도(Y, Luminance)는 밝고 어두운 정도를 표현하는 성분이며, 색차(C, Chrominance)는 색상(Color) 정보를 표현하는 성분으로 Cr, Cb 2가지 색차 성분을 갖는다. Cr은 레드 성분에서 기준값(Reference Value)과 차이를 말하며, Cb는 블루 성분에서 기준값과의 차이를 말한다.The WDR image generation unit 133 may include a Y / C conversion unit 1331, a preprocessing unit 1332, a luminance fusion unit 1333, a color fusion unit 1334, an RGB conversion unit 1335, and the like. The Y / C conversion unit 1331 converts the raw data (Raw Data) of the long exposure image (LI) and the short exposure image (SI) input from the imaging unit (11) (C, Chrominance) component of the color image. Each of the input images is preferably divided into one luminance (Y) component and two color difference (C) components. Here, the luminance (Y, Luminance) is a component representing bright and darkness, and the color difference (C, Chrominance) is a component representing color information and has two chrominance components Cr and Cb. Cr refers to the reference value and the difference in the red component, and Cb refers to the difference from the reference value in the blue component.

전처리부(1332)는 Y/C 변환부(1331)에서 출력되는 두 영상(LI, SI)의 서로 다른 노출시간 중 제1 노출시간을 가지는 휘도 신호를, 제2 노출시간을 갖는 휘도 신호에 상응하도록 정규화한다. 여기서, 제1 노출시간은 상대적으로 짧은 노출시간, 제2 노출시간은 상대적으로 긴 노출시간일 수 있다. 예를 들면, 제2 노출시간은 제1 노출시간의 8배 정도일 수 있으며, 이러한 비율은 명부와 암부를 표현하기에 적절한 비율로 조절할 수 있다. 다만, 이에 제한되지 않고, 제1 노출시간이 상대적으로 긴 노출시간, 제2 노출시간은 상대적으로 짧은 노출시간일 수도 있다. 또한, 인간의 눈은 색상의 변화보다 밝기의 변화에 더 민감하다. 따라서, 장노광 영상(LI)과 단노광 영상(SI) 각각의 휘도 신호(YL, YS)를 이용하여 전처리 과정을 수행하는 것이 바람직하다. 즉, 두 영상(LI, SI)을 합성하기 전에 제1 휘도신호를 제2 휘도신호의 기준점에 맞도록 정규화 과정을 적용함으로써, 영상 밝기의 불균형을 최소화 하고 노출시간 조절에 제약이 있는 경우에도 최적의 WDR 결과 영상을 획득할 수 있다.The preprocessing unit 1332 compares the luminance signal having the first exposure time among the different exposure times of the two images LI and SI output from the Y / C conversion unit 1331 with the luminance signal having the second exposure time . Here, the first exposure time may be a relatively short exposure time, and the second exposure time may be a relatively long exposure time. For example, the second exposure time may be about eight times the first exposure time, and the ratio may be adjusted to a suitable ratio to express the list and dark areas. However, the present invention is not limited to this, and the first exposure time may be relatively long, and the second exposure time may be relatively short. In addition, human eyes are more sensitive to changes in brightness than changes in color. Therefore, it is preferable to perform the preprocessing process using the luminance signals YL and YS of the long exposure image LI and the short exposure image SI, respectively. That is, by applying the normalization process so as to match the first luminance signal to the reference point of the second luminance signal before synthesizing the two images LI and SI, it is possible to minimize the imbalance of the image brightness, The WDR result image of FIG.

휘도 융합부(1333)는 장노광 영상(LI)의 휘도 신호(YL)와 정규화한 단노광 영상(SI)의 휘도 신호(YS)를 제1 가중치를 이용하여 합산한다. WDR 처리를 위해 영상의 휘도 성분과 색차 성분을 나누어 융합한다. 이는 일반적인 RGB 색 공간을 사용할 때보다 하드웨어의 복잡도를 줄이고, R,G,B 성분을 각각 조절 시 생기는 색상 불균형 문제를 줄일 수 있다. 휘도 융합부(1333)는 장노광 영상(LI)의 휘도 신호(YL)와 단노광 영상(SI)의 휘도 신호(YS)를 적절하게 가중치를 조절하여 합산함으로써, 명부와 암부가 모두 잘 보이는 휘도 영상을 생성한다. 또한, 선택적으로 융합한 휘도 영상의 선명도 등의 대조비를 강조하는 후처리를 수행하여 융합 시 발생하는 아티팩트(Artifact)를 최소화할 수 있다.The luminance fusion unit 1333 adds the luminance signal YL of the long exposure image LI and the luminance signal YS of the normalized short exposure image SI using the first weight. For WDR processing, luminance and chrominance components of image are divided and fused. This reduces the complexity of the hardware and reduces the color imbalance caused by adjusting the R, G, and B components, respectively, as compared to using a common RGB color space. The luminance fusion unit 1333 adds the luminance signal YL of the long exposure image LI and the luminance signal YS of the short exposure image SI by appropriately weighting them to obtain a luminance And generates an image. In addition, artifacts generated during fusion can be minimized by performing a post-processing that emphasizes the contrast ratio such as the sharpness of the selectively fused luminance image.

색차 융합부는 제1 노출 시간을 갖는 색차 신호(CL)와 제2 노출 시간을 갖는 색차 신호(CS)를 휘도 융합부(1333)의 휘도 융합 결과를 반영한 제2 가중치를 이용하여 합산한다. 또한, 선택적으로 채도 향상 및 색상 밸런스 조절 등의 후 처리를 수행할 수도 있다.The color difference fusing unit adds the color difference signal CL having the first exposure time and the color difference signal CS having the second exposure time using a second weight reflecting the luminance fusion result of the luminance fusion unit 1333. [ In addition, post-processing such as color saturation enhancement and color balance adjustment may be selectively performed.

RGB 변환부(1335)는 RGB 변환부(1335)는 휘도 융합부(1333)로부터 출력된 휘도 융합 신호와 색채 융합부(1334)로부터 출력된 색차 융합 신호, 즉 Y/C 신호를 RGB 신호로 변환하여 WDR 결과 영상 신호를 출력한다.The RGB conversion unit 1335 converts the luminance fusion signal output from the luminance fusion unit 1333 and the color difference fusion signal output from the color fusion unit 1334, that is, the Y / C signal into an RGB signal And outputs a WDR resultant video signal.

다만, 이에 제한되지 않고, WDR 과정 중 일부가 필요하지 않은 경우에는, WDR 영상 생성부(133)는 상기 기술한 Y/C 변환부(1331), 전처리부(1332), 휘도 융합부(1333), 색채 융합부(1334), RGB 변환부(1335) 등의 구성을 일부 포함하지 않을 수 있다. 즉, 입력된 영상들의 처리 방법에 따라, WDR 영상 생성부(133)는 다양하게 구성될 수 있다.However, the present invention is not limited thereto. If a part of the WDR process is not required, the WDR image generator 133 may include the Y / C converter 1331, the preprocessor 1332, the luminance fusion unit 1333, , The color fusion unit 1334, and the RGB conversion unit 1335, and the like. That is, the WDR image generation unit 133 may be configured in various ways according to a method of processing input images.

도 7은 본 발명의 일 실시예에 따른 광역 역광 보정 장치(1)가 실제 동작되는 구성을 나타낸 하드웨어도이다.7 is a hardware diagram illustrating a configuration in which the wide-area backlight correction apparatus 1 according to the embodiment of the present invention is actually operated.

본 발명의 일 실시예에 따른 광역 역광 보정 장치(1)는, 예를 들어 도 7에 도시된 바와 같이 실제 구현될 수 있다. 광역 역광 보정 장치(1)는 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑 (Laptop) 등 휴대 및 이동이 용이한 장치일 수도 있으나, 이에 제한되지 않고 데스크탑(Desktop) 등 이동이 용이하지 않은 장치일 수도 있다.The wide-angle backlight correction apparatus 1 according to an embodiment of the present invention may be practically implemented, for example, as shown in FIG. The wide-area backlight compensation device 1 may be a portable device such as a smartphone, a tablet PC, a laptop, or the like, but is not limited thereto. Or may be a device that does not.

광역 역광 보정 장치(1)는 촬상부(11), 제어부(13), 저장부(14), 화면부(15), 입력부(16) 등을 포함할 수 있으며, 각 구성요소들은 버스(17)를 통해 연결되어 서로 간에 통신할 수 있다. 구체적으로, 각 구성요소들은 버스(17)에 직접, 적어도 하나의 인터페이스 또는 어댑터들을 통하여 접속될 수 있다. 그리고 버스(17)는 광범위한 서브 시스템들과 연결될 수 있다. 이러한 버스(17)는 메모리 버스(Memory Bus), 메모리 컨트롤러(Memory Controller), 주변 버스(Peripheral Bus), 로컬 버스(Local Bus) 및 이들의 조합을 포함할 수 있다.The wide-area backlight compensation apparatus 1 may include an image pickup section 11, a control section 13, a storage section 14, a screen section 15, an input section 16, And can communicate with each other. In particular, each component may be connected directly to the bus 17, via at least one interface or adapters. And the bus 17 may be coupled to a wide variety of subsystems. Such a bus 17 may include a memory bus, a memory controller, a peripheral bus, a local bus, and a combination thereof.

제어부(13)는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다. 그리고, 제어부(13)는 인스트럭션, 데이터 또는 컴퓨터 주소들을 일시 저장하기 위한 로컬 스토리지인 캐시 메모리(Cache Memory)를 포함할 수 있다. 제어부(13)는 저장부(14)와 같은 컴퓨터로 읽을 수 있는 저장 매체에 기록된 인스트럭션 또는 소프트웨어 모듈을 실행한다. 상기 컴퓨터로 읽을 수 있는 저장 매체는 특정 실시예들을 구현하는 소프트웨어 모듈을 저장하고, 제어부(13)는 상기 저장된 상기 소프트웨어 모듈을 실행할 수 있다.The controller 13 may be a central processing unit (CPU), a microcontroller unit (MCU), or a digital signal processor (DSP), but the present invention is not limited thereto. The controller 13 may include a cache memory, which is local storage for temporarily storing instructions, data, or computer addresses. The control unit 13 executes an instruction or a software module recorded in a computer-readable storage medium such as the storage unit 14. [ The computer-readable storage medium may store software modules that implement particular embodiments, and the control unit 13 may execute the stored software modules.

저장부(14)는 컴퓨터 등의 장치로 읽을 수 있는 매체로서, 광역 역광 보정 장치(1)에 내장될 수도 있으며, 비휘발성 메모리 장치 및 휘발성 메모리 장치를 포함한다. 또한, 광역 역광 보정에 장치 내에서 부팅(Booting)을 위해 필요한 기본 루틴들을 구비하는 바이오스(Bios) 또는 펌웨어(Firmware)가 저장부(14)에 포함될 수 있다.The storage unit 14 is a medium that can be read by a device such as a computer, and may be embedded in the wide-angle backlight correction apparatus 1, and includes a nonvolatile memory device and a volatile memory device. Bios or firmware having basic routines for booting in the apparatus for wide-area backlight compensation may be included in the storage unit 14. [

광역 역광 보정 장치(1)는 입력부(16)를 더 포함할 수 있다. 입력부(16)는 키보드, 마우스, 터치패드, 조이스틱 등을 포함하며, 사용자는 입력부(16)를 통하여 광역 역광 보정 장치(1)에 명령 또는 정보를 입력할 수 있다. 그리고 입력부(16)는 직렬 포트, 병렬 포트, 게임 포트, USB 등을 포함하는 입력 인터페이스(161)를 통해 버스(17)에 접속될 수 있다. 특히, 본 발명의 일 실시예에 따르면, 사용자가 입력부(16)를 통해 WDR 합성 영상(WI)의 일부 영역의 명암을 조절할 수 있다. 이 경우, 저장부에는 장노광 영상(LI) 및 단노광 영상(SI)이 모두 저장되어 있으므로, 실시간 영상이 아니더라도, 장노광 영상(LI) 및 단노광 영상(SI)에 적용되는 가중치가 변경됨으로써 명암이 조절되어 디스플레이 될 수 있다The wide-area backlight correction apparatus 1 may further include an input unit 16. The input unit 16 may include a keyboard, a mouse, a touch pad, a joystick, and the like, and the user may input commands or information to the wide-angle backlight correction apparatus 1 through the input unit 16. The input unit 16 may be connected to the bus 17 through an input interface 161 including a serial port, a parallel port, a game port, a USB, and the like. Particularly, according to an embodiment of the present invention, a user can adjust the contrast of a partial area of the WDR composite image WI through the input unit 16. In this case, since both the long exposure image (LI) and the short exposure image (SI) are stored in the storage unit, the weight applied to the long exposure image (LI) and the short exposure image (SI) Contrast can be adjusted and displayed

광역 역광 보정 장치(1)는 네트워크(2)에 연결될 수도 있다. 따라서 광역 역광 보정 장치(1)는 다른 장치들과 네트워크(2)를 통하여 연결되어, WDR 합성 영상(WI) 및 기타 데이터를 송수신할 수 있다. 만약, 화면부(15)가 광역 역광 보정 장치(1)에 포함되는 구성이 아니라 별도의 디스플레이 장치에 포함되어 있다면, 광역 역광 보정 장치(1)는 네트워크(2)를 통해 WDR 합성 영상(WI)을 디스플레이 장치로 전송할 수 있다. 이 때, 네트워크 인터페이스(21)는 네트워크(2)로부터 하나 이상의 패킷의 형태로 된 통신 데이터를 수신하고, 광역 역광 보정 장치(1)는 제어부(13)의 처리를 위해 상기 수신된 통신 데이터를 저장한다. 마찬가지로, 광역 역광 보정 장치(1)는 전송한 통신 데이터를 하나 이상의 패킷 형태로 저장부(14)에 저장하고, 네트워크 인터페이스(21)는 상기 통신 데이터를 네트워크(2)로 전송한다.The wide-area backlight correction apparatus 1 may be connected to the network 2. [ Therefore, the wide-angle backlight correction apparatus 1 can be connected to other devices via the network 2 to transmit and receive the WDR composite image WI and other data. If the screen 15 is not included in the wide-angle backlight correction device 1 but is included in a separate display device, the wide-angle backlight correction device 1 transmits the WDR composite video WI through the network 2, To the display device. At this time, the network interface 21 receives communication data in the form of one or more packets from the network 2, and the wide-area light correction apparatus 1 stores the received communication data for processing of the control unit 13 do. Similarly, the wide-area backlight correction apparatus 1 stores the transmitted communication data in the form of one or more packets in the storage unit 14, and the network interface 21 transmits the communication data to the network 2. [

네트워크 인터페이스(21)는 네트워크 인터페이스(21) 카드, 모뎀 등을 포함할 수 있고, 네트워크(2)는 인터넷, WAN(wide area network), LAN(local area network), 전화 네트워크(2), 직접 연결 통신 등 다양한 통신 방법을 포함할 수 있다.The network interface 21 may include a network interface 21 card, a modem and the like and the network 2 may be a network such as the Internet, a wide area network (WAN), a local area network (LAN), a telephone network 2, Communication, and the like.

제어부(13)에 의한 소프트웨어 모듈의 실행 결과는 화면부(15)를 통해 디스플레이 될 수 있다. 화면부(15)는 LCD(liquid crystal display), OLED(organic liquid crystal display), CRT(cathode ray tube), PDP(plasma display panel) 등 다양한 방식이 사용될 수 있으며, 나아가 터치가 가능한 터치패널의 기능을 가질 수도 있다. 이러한 화면부(15)는 비디오 인터페이스(152)를 통하여 버스(17)에 연결되고, 화면부(15)와 버스(17) 간의 데이터 전송은 그래픽 컨트롤러(151)에 의해 제어될 수 있다.The execution result of the software module by the control unit 13 can be displayed on the screen unit 15. [ The display unit 15 may be implemented by various methods such as a liquid crystal display (LCD), an organic liquid crystal display (OLED), a cathode ray tube (CRT), and a plasma display panel . The display unit 15 is connected to the bus 17 via the video interface 152 and the data transmission between the display unit 15 and the bus 17 can be controlled by the graphic controller 151. [

도 8은 본 발명의 일 실시예에 따른 장노광 영상(LI) 및 단노광 영상(SI)의 명암비가 넓은 모습을 나타낸 도면이고, 도 9는 본 발명의 일 실시예에 따른 장노광 영상(LI) 및 단노광 영상(SI)의 명암비가 넓은 모습을 나타낸 도면이다.FIG. 8 is a view showing a wide contrast ratio of a long exposure image (LI) and a short exposure image (SI) according to an embodiment of the present invention. FIG. 9 is a view showing a long exposure image ) And a single exposure image (SI).

상기 기술한 바와 같이, 영상 전송 판단부(132)는 특정 조건이 만족되면 WDR 영상 생성부(133)로, 장노광 영상(LI) 및 단노광 영상(SI)의 두 가지 영상(LI, SI)을 모두 전송할 것인지, 두 가지 영상(LI, SI) 가운데 하나의 영상만을 전송할 것인지 판단한다. 즉, WDR 합성 기능을 실행할 것인지 여부를 판단한다.As described above, when the specific condition is satisfied, the image transmission determination unit 132 transmits two images (LI, SI) of the long exposure image (LI) and the short exposure image (SI) to the WDR image generation unit (133) Or whether to transmit only one of the two images (LI, SI). That is, it is determined whether or not to execute the WDR synthesis function.

구체적으로, 특정 영역을 촬영하여 영상을 획득하였을 때, 명암비가 매우 큰 경우가 있다. 즉, 도 1 내지 도 3에 도시된 바와 같이 낮에 실내 및 실외를 함께 촬영한 경우가 있다. 이 때에는 도 8에 도시된 바와 같이, 장노광 영상(LI)과 단노광 영상(SI)의 다이나믹 레인지가 넓다.Specifically, when an image is captured by photographing a specific area, the contrast ratio may be very large. That is, as shown in Figs. 1 to 3, indoor and outdoor are sometimes photographed during the day. At this time, as shown in Fig. 8, the dynamic range of the long exposure image LI and the short exposure image SI is wide.

반면에, 특정 영역을 촬영하여 영상을 획득하였을 때, 명암비가 매우 작은 경우가 있다. 즉, 전체가 밝거나 전체가 어두운 경우처럼, 상기 특정 영역의 밝기가 골고루 분포되는 경우가 있다. 이 때에는 도 9에 도시된 바와 같이, 장노광 영상(LI)과 단노광 영상(SI)의 다이나믹 레인지가 좁다.On the other hand, when capturing a specific region and acquiring an image, the contrast ratio may be very small. That is, the brightness of the specific region may be evenly distributed, such as when the whole is bright or entirely dark. At this time, as shown in Fig. 9, the dynamic range of the long exposure image LI and the short exposure image SI is narrow.

만약, 입력된 장노광 영상(LI)과 단노광 영상(SI)의 다이나믹 레인지가 특정 기준값보다 넓다면, 영상 전송 판단부(132)는 장노광 영상(LI) 및 단노광 영상(SI)의 두 가지 영상(LI, SI)을 모두 WDR 영상 생성부(133)로 전송한다. 그런데 만약, 입력된 장노광 영상(LI)과 단노광 영상(SI)의 다이나믹 레인지가 특정 기준값보다 좁다면, 영상 전송 판단부(132)는 두 가지 영상(LI, SI) 가운데 하나의 영상만을 전송한다. 여기서 전송할 하나의 영상은 특정 영역의 노광량이 고루 분포되어 있더라도, 전체적으로 밝은 경우에는 단노광 영상(SI)을 전송하고, 전체적으로 어두운 경우에는 장노광 영상(LI)을 전송할 수 있다. 이 때, 밝기의 기준은 실험적으로 사용자가 가장 자연스럽게 모니터링 할 수 있는 정도의 밝기인 것이 바람직하다. 그리고, 전체적으로 밝은 경우란, 만약 WDR 합성을 수행하였더라면 생성되었을 가상의 WDR 합성 영상(WI)의 밝기가, 상기 기준이 되는 밝기보다 밝은 것을 말하고, 전체적으로 어두운 경우란, 만약 WDR 합성을 수행하였더라면 생성되었을 가상의 WDR 합성 영상(WI)의 밝기가, 상기 기준이 되는 밝기보다 어두운 것을 말한다. 다만 이에 제한되지 않고, 상기 하나의 영상은 항상 장노광 영상(LI)일 수도 있으며, 항상 단노광 영상(SI)일 수도 있다. 또는 랜덤으로 선택하여 전송할 수도 있다. 즉, 두 가지 영상(LI, SI) 가운데 전송할 하나의 영상을 선택하는 방법은 다양하게 형성될 수 있다.If the dynamic range of the inputted long exposure image LI and the short exposure image SI is wider than a specific reference value, the image transmission determination unit 132 determines that the long exposure image LI and the short exposure image SI And transmits the branch images (LI, SI) to the WDR image generation unit (133). However, if the dynamic range of the input long exposure image LI and the short exposure image SI is narrower than a specific reference value, the image transmission determination unit 132 may transmit only one of the two images LI and SI do. In this case, even if the exposure amount of a specific area is uniformly distributed, one image to be transmitted may transmit the short exposure image SI when the entire image is bright and transmit the long exposure image LI when the entire area is dark. At this time, it is preferable that the brightness is set to a level that can be most naturally monitored by the user experimentally. If the WDR synthesis is performed, it means that the brightness of the virtual WDR composite image WI that has been generated is brighter than the reference brightness, and the overall brightness is dark if the WDR synthesis is performed And the brightness of the virtual WDR composite image WI is darker than the reference brightness. However, the present invention is not limited to this, and the one image may always be a long exposure image (LI) or may be always a short exposure image (SI). Or may be randomly selected and transmitted. That is, a method of selecting one image to be transmitted among the two images (LI, SI) can be variously formed.

상기 기술한 바와 같이, WDR 영상 생성부(133)는 영상 전송 판단부(132)로부터 장노광 영상(LI) 및 단노광 영상(SI)의 두 가지 영상(LI, SI)이 모두 전송되면, 장노광 영상(LI) 및 단노광 영상(SI)을 합성하여 WDR 합성 영상(WI)을 생성한다. 그러나, 두 가지 영상(LI, SI) 가운데 하나의 영상만이 전송되면, WDR 합성을 수행하지 않고 그대로 화면부(15)로 전송한다.As described above, when both the images LI and SI of the long exposure image LI and the short exposure image SI are transmitted from the image transmission determination unit 132, The exposure image LI and the short exposure image SI are synthesized to generate a WDR composite image WI. However, if only one of the two images LI and SI is transmitted, the image is transmitted to the display unit 15 without performing WDR synthesis.

한편, 다이나믹 레인지의 광협을 판단하는 특정 기준값은 절대적이지 않고, 광역 역광 보정 장치(1)를 사용하는 장소에 따라, 또는 실험에 의해 달라질 수 있다.On the other hand, the specific reference value for judging the extent of the dynamic range is not absolute, but may vary depending on the place where the wide-angle backlight correction apparatus 1 is used or by experiment.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

1: 광역 역광 보정 장치 11: 촬상부
12: 버퍼 메모리 13: 제어부
14: 저장부 15: 화면부
131: 영상 처리부 132: 영상 전송 판단부
133: WDR 영상 생성부 1331: Y/C 변환부
1332: 전처리부 1333: 휘도 융합부
1334: 색채 융합부 1335: RGB 변환부1: wide-area backlight compensation device 11:
12: buffer memory 13:
14: storage unit 15:
131: Image processor 132:
133: WDR image generation unit 1331: Y / C conversion unit
1332: preprocessing unit 1333: luminance fusion unit
1334 color fusion unit 1335 RGB conversion unit

Claims (6)

특정 영역에 대한 이미지 신호를 수신하여, 노출시간이 상대적으로 긴 장노광 영상 및 노출시간이 상대적으로 짧은 단노광 영상을 획득하는 촬상부;
상기 장노광 영상 및 상기 단노광 영상을 모두 저장하는 저장부;
상기 장노광 영상 및 상기 단노광 영상의 다이나믹 레인지를 인지하여, WDR 합성 기능을 실행할 것인지 여부를 판단하는 영상 전송 판단부; 및
상기 장노광 영상 및 상기 단노광 영상을 합성하여 WDR 합성 영상을 생성하는 WDR 영상 생성부를 포함하는 광역 역광 보정 장치.An imaging unit that receives an image signal for a specific area and acquires a long exposure image having a relatively long exposure time and a short exposure image having a relatively short exposure time;
A storage unit for storing both the long exposure image and the short exposure image;
An image transmission determination unit for recognizing the dynamic range of the long exposure image and the short exposure image and determining whether to perform the WDR combining function; And
And a WDR image generator for synthesizing the long exposure image and the short exposure image to generate a WDR composite image. 제1항에 있어서,
상기 영상 전송 판단부는,
상기 다이나믹 레인지가 특정 기준값보다 넓으면, 상기 장노광 영상 및 상기 단노광 영상을 모두 출력하고,
상기 다이나믹 레인지가 특정 기준값보다 좁으면, 상기 장노광 영상 및 상기 단노광 영상 가운데 하나의 영상만을 출력하는, 광역 역광 보정 장치.The method according to claim 1,
The image transmission determination unit may determine,
And outputting both the long-exposure image and the short-exposure image when the dynamic range is wider than a specific reference value,
And outputs only one of the long exposure image and the short exposure image if the dynamic range is narrower than a specific reference value. 제2항에 있어서,
상기 WDR 영상 생성부는,
상기 영상 전송부로부터 상기 장노광 영상 및 상기 단노광 영상이 모두 전송되면, 상기 장노광 영상 및 상기 단노광 영상을 합성하여 WDR 합성 영상을 생성하는, 광역 역광 보정 장치.3. The method of claim 2,
The WDR image generation unit generates,
Wherein the WDR combined image is generated by combining the long exposure image and the short exposure image when both the long exposure image and the short exposure image are transmitted from the image transmission unit. 제2항에 있어서,
상기 WDR 영상 생성부는,
상기 영상 전송부로부터 상기 장노광 영상 및 상기 단노광 영상 가운데 하나의 영상만이 전송되면, WDR 합성을 수행하지 않는, 광역 역광 보정 장치.3. The method of claim 2,
The WDR image generation unit generates,
Wherein the WDR synthesis is not performed when only one of the long exposure image and the short exposure image is transmitted from the image transmission unit. 제4항에 있어서,
상기 영상 전송 판단부는,
만약 상기 WDR 영상 생성부가 WDR 합성을 수행하였더라면 생성되었을 가상의 WDR 합성 영상(WI)의 밝기가, 기준 밝기보다 밝은 경우에는 단노광 영상을 전송하고,
상기 가상의 WDR 합성 영상(WI)의 밝기가, 기준 밝기보다 어두운 경우에는 장노광 영상을 전송하는, 광역 역광 보정 장치.5. The method of claim 4,
The image transmission determination unit may determine,
If the WDR image generation unit has performed the WDR synthesis, if the brightness of the virtual WDR composite image WI that is to be generated is brighter than the reference brightness,
And transmits the long exposure image when the brightness of the virtual WDR composite image (WI) is darker than the reference brightness. 제1항에 있어서,
사용자 명령을 입력할 수 있는 입력부를 더 포함하고,
상기 WDR 영상 생성부는,
상기 WDR 영상의 일부 영역의 명암이 조절되도록 상기 입력부를 통해 상기 사용자 명령이 입력되면,
상기 장노광 영상 및 상기 단노광 영상에서 상기 일부 영역에 대하여 적용되는 가중치를 변경하는, 광역 역광 보정 장치.The method according to claim 1,
Further comprising an input unit capable of inputting a user command,
The WDR image generation unit generates,
When the user command is inputted through the input unit so that the brightness and darkness of a part of the WDR image are adjusted,
And changes a weight applied to the partial area in the long exposure image and the short exposure image.
KR1020160140028A 2016-10-26 2016-10-26 Apparatus and Method for Correcting Wide Dynamic Range KR102587431B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160140028A KR102587431B1 (en) 2016-10-26 2016-10-26 Apparatus and Method for Correcting Wide Dynamic Range

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160140028A KR102587431B1 (en) 2016-10-26 2016-10-26 Apparatus and Method for Correcting Wide Dynamic Range

Publications (2)

Publication Number Publication Date
KR20180045553A true KR20180045553A (en) 2018-05-04
KR102587431B1 KR102587431B1 (en) 2023-10-11

Family

ID=62199759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160140028A KR102587431B1 (en) 2016-10-26 2016-10-26 Apparatus and Method for Correcting Wide Dynamic Range

Country Status (1)

Country Link
KR (1) KR102587431B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11729513B2 (en) 2020-02-11 2023-08-15 Samsung Electronics Co., Ltd. Electronic device and HDR image generation method therefor
WO2023164422A1 (en) * 2022-02-24 2023-08-31 Qualcomm Incorporated Multi-frame auto exposure control (aec)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (en) 1998-07-28 2000-02-18 Olympus Optical Co Ltd Image pickup device
JP2012239077A (en) 2011-05-12 2012-12-06 Nikon Corp Imaging device and method
KR20150051085A (en) * 2013-11-01 2015-05-11 삼성전자주식회사 Method for obtaining high dynamic range image,Computer readable storage medium of recording the method and a digital photographing apparatus.
KR20150118004A (en) * 2014-04-11 2015-10-21 한화테크윈 주식회사 Movement detecting apparatus and movement detecting method
KR20160030352A (en) * 2014-09-09 2016-03-17 한화테크윈 주식회사 Image processing apparatus and image processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (en) 1998-07-28 2000-02-18 Olympus Optical Co Ltd Image pickup device
JP2012239077A (en) 2011-05-12 2012-12-06 Nikon Corp Imaging device and method
KR20150051085A (en) * 2013-11-01 2015-05-11 삼성전자주식회사 Method for obtaining high dynamic range image,Computer readable storage medium of recording the method and a digital photographing apparatus.
KR20150118004A (en) * 2014-04-11 2015-10-21 한화테크윈 주식회사 Movement detecting apparatus and movement detecting method
KR20160030352A (en) * 2014-09-09 2016-03-17 한화테크윈 주식회사 Image processing apparatus and image processing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11729513B2 (en) 2020-02-11 2023-08-15 Samsung Electronics Co., Ltd. Electronic device and HDR image generation method therefor
WO2023164422A1 (en) * 2022-02-24 2023-08-31 Qualcomm Incorporated Multi-frame auto exposure control (aec)

Also Published As

Publication number Publication date
KR102587431B1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
US11228720B2 (en) Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium
JP6911202B2 (en) Imaging control method and imaging device
KR102149187B1 (en) Electronic device and control method of the same
CN108683862B (en) Imaging control method, imaging control device, electronic equipment and computer-readable storage medium
WO2020057199A1 (en) Imaging method and device, and electronic device
US11490024B2 (en) Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium
KR20210024053A (en) Night view photography method, device, electronic equipment, and storage medium
US9571752B2 (en) Display control apparatus and display control method
JP6478499B2 (en) Image processing apparatus, image processing method, and program
CN110213502B (en) Image processing method, image processing device, storage medium and electronic equipment
JP2013106149A (en) Imaging apparatus, control method of the same and program
US11601600B2 (en) Control method and electronic device
CN109167930A (en) Image display method, device, electronic equipment and computer readable storage medium
US11368619B2 (en) Generating an image using automatic mode settings while in manual mode
CN108833802A (en) Exposal control method, device and electronic equipment
WO2019047620A1 (en) Imaging device and imaging method
WO2020034702A1 (en) Control method, device, electronic equipment and computer readable storage medium
CN108900785A (en) Exposal control method, device and electronic equipment
WO2020207427A1 (en) Method for image-processingand electronic device
KR20160063794A (en) Image photographing apparatus and control methods thereof
KR20180045553A (en) Wide Dynamic Range Apparatus
CN110278386B (en) Image processing method, image processing device, storage medium and electronic equipment
CN110572585B (en) Image processing method, image processing device, storage medium and electronic equipment
US11336802B2 (en) Imaging apparatus
JP2015023514A (en) Information processing apparatus, imaging apparatus, control method and program

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant