KR101989868B1 - Electronic device and controlling method thereof - Google Patents
Electronic device and controlling method thereof Download PDFInfo
- Publication number
- KR101989868B1 KR101989868B1 KR1020170182853A KR20170182853A KR101989868B1 KR 101989868 B1 KR101989868 B1 KR 101989868B1 KR 1020170182853 A KR1020170182853 A KR 1020170182853A KR 20170182853 A KR20170182853 A KR 20170182853A KR 101989868 B1 KR101989868 B1 KR 101989868B1
- Authority
- KR
- South Korea
- Prior art keywords
- gray level
- frame
- value
- cumulative distribution
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000009499 grossing Methods 0.000 claims abstract description 125
- 230000001186 cumulative effect Effects 0.000 claims abstract description 74
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000005315 distribution function Methods 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/007—Dynamic range modification
- G06T5/009—Global, i.e. based on properties of the image as a whole
-
- G06T5/92—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/202—Gamma control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
본 개시는 전자 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 영상의 포화 현상을 최소화하고 대조비를 향상시키는 전자 장치 및 제어 방법에 관한 것이다.BACKGROUND OF THE
주야간 영상 카메라는 군사무기, 보안, 의료 등의 용도로 활용도가 급증하고 있다. 주야간 영상 카메라는 센서의 특성상 검출신호의 레벨이 낮아 대조비 강조처리가 필수적이다. 그러나, 열 영상의 대조비 처리를 수행한 영상에는 포화(saturation) 현상이 빈번하게 발생되며, 포화 현상으로 인해 카메라의 관심물체 관측성능이 급격히 저하된다.Day and night video cameras are increasingly used for military weapons, security, and medical applications. Day / night video cameras have low level of detection signal due to characteristics of sensor, so contrast ratio emphasis processing is essential. However, the saturation phenomenon frequently occurs in the image obtained by performing the contrast ratio processing of the thermal image, and the performance of observation of the object of interest is rapidly deteriorated due to saturation phenomenon.
기존의 영상 대조비 강조처리는 대부분 빠른 연산 속도의 단순 평활화 방식을 주로 사용하고 있다. 그리고, 열 영상 카메라 시스템의 특수 목적에 따라 최대 밝기 한계(Contrast Limit: CL) 대조비 처리기법 및 영역 분할 처리기법(Local Area Processing: LAP)을 사용하고 있다.Conventional image contrast ratio emphasis processing mostly uses a simple smoothing method with a high computation speed. Also, the maximum contrast limit (CL) contrast ratio processing method and the local area processing (LAP) method are used according to the special purpose of the thermal imaging camera system.
그러나, CL 및 LAP 방식은 추가적인 연산이 필요하기 때문에 처리 속도가 느리고 영상의 불균일이 발생되는 단점이 있다. 따라서, 영상의 포화 현상을 최소화하고 대조비를 향상시키면서 빠른 연산을 수행할 수 있는 기술에 대한 필요성이 존재한다.However, since the CL and LAP methods require additional computation, the processing speed is slow and image unevenness occurs. Accordingly, there is a need for a technique capable of minimizing the saturation phenomenon of the image and improving the contrast ratio and performing fast calculations.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 영상의 포화 현상을 최소화하고, 대조비를 향상시키면서 연산 처리 속도를 증가시키는 전자 장치 및 제어 방법을 제공하는 것이다.SUMMARY OF THE INVENTION [0008] The present invention has been made to solve the above problems, and it is an object of the present invention to provide an electronic device and a control method for minimizing the saturation phenomenon of an image and increasing the processing speed while improving the contrast ratio.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 촬영된 영상의 제1 프레임 및 상기 제1 프레임과 인접한 제2 프레임에 포함된 픽셀의 그레이 레벨 값을 검출하는 단계, 상기 제1 프레임의 수평 라인에 대해 제1 그레이(grey) 레벨 누적 분포 값을 산출하고, 상기 제2 프레임의 수직 라인에 대해 제2 그레이 레벨 누적 분포 값을 산출하는 단계, 상기 산출된 제1 그레이 레벨 누적 분포 값 및 제2 그레이 레벨 누적 분포 값을 평활화하여 각각 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 산출하는 단계, 상기 산출된 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값에 기초하여 각 픽셀의 평균 그레이 레벨 평활 값을 산출하는 단계 및 상기 산출된 평균 그레이 레벨 평활 값에 기초하여 하나의 영상 프레임을 생성하는 단계를 포함한다.According to an embodiment of the present disclosure for achieving the above object, a method of controlling an electronic device includes detecting a gray level value of a pixel included in a first frame of a photographed image and a second frame adjacent to the first frame Calculating a first gray level cumulative distribution value for a horizontal line of the first frame and calculating a second gray level cumulative distribution value for a vertical line of the second frame, Calculating a first gray level smoothing value and a second gray level smoothing value, respectively, by smoothing the first gray level cumulative distribution value and the second gray level cumulative distribution value to calculate a first gray level smoothing value and a second gray level smoothing value, Calculating an average gray-level smoothing value of each pixel based on the level smoothing value, and calculating an average gray-level smoothing value of each pixel based on the calculated average gray-level smoothing value, .
그리고, 상기 제1 그레이 레벨 누적 분포 값 및 제2 그레이 레벨 누적 분포 값을 산출하는 단계는 상기 제1 프레임의 하나의 수평 라인을 기준으로 상기 제1 그레이 레벨 누적 분포 값을 산출하고, 상기 제1 그레이 레벨 누적 분포 값은 상기 제1 프레임의 전체 수평 라인에 대해 산출되며, 상기 제2 프레임의 하나의 수직 라인을 기준으로 상기 제2 그레이 레벨 누적 분포 값을 산출하고, 상기 제2 그레이 레벨 누적 분포 값은 상기 제2 프레임의 전체 수직 라인에 대해 산출될 수 있다.The calculating of the first gray level cumulative distribution value and the second gray level cumulative distribution value may include calculating the first gray level cumulative distribution value based on one horizontal line of the first frame, Wherein the gray level cumulative distribution value is calculated for all horizontal lines of the first frame and the second gray level cumulative distribution value is calculated based on one vertical line of the second frame, Value may be calculated for the entire vertical line of the second frame.
또한, 상기 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 산출하는 단계는 상기 제1 프레임의 하나의 수평 라인 및 전체 그레이 레벨을 기준으로 상기 제1 그레이 레벨 평활 값을 산출하고, 상기 제1 그레이 레벨 평활 값은 상기 제1 프레임의 전체 수평 라인에 대해 산출되며, 상기 제2 프레임의 하나의 수직 라인 및 전체 그레이 레벨을 기준으로 상기 제2 그레이 레벨 평활 값을 산출하고, 상기 제2 그레에 레벨 평활 값은 제2 프레임의 전체 수직 라인에 대해 산출될 수 있다.The calculating of the first gray level smoothing value and the second gray level smoothing value may further include calculating the first gray level smoothing value based on one horizontal line and the entire gray level of the first frame, One gray level smoothing value is calculated for all the horizontal lines of the first frame and the second gray level smoothing value is calculated based on one vertical line and the entire gray level of the second frame, The level smoothing value may be calculated for the entire vertical line of the second frame.
또한, 상기 각 픽셀의 평균 그레이 레벨 평활 값을 산출하는 단계는 한 영상 프레임 내의 그레이 레벨 히스토그램이 가우시안 형태로 형성되도록 각 픽셀에 대응하는 상기 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 평균하여 산출할 수 있다.The calculating of the average gray-level smoothing value of each pixel may further include calculating the average gray-level smoothing value corresponding to each pixel and the second gray-level smoothing value corresponding to each pixel so that the gray-level histogram in one image frame is formed in a Gaussian shape. Can be calculated.
그리고, 상기 하나의 영상 프레임을 생성하는 단계는 상기 산출된 각 픽셀의 평균 그레이 레벨 평활 값을 적용하여 상기 하나의 영상 프레임을 생성할 수 있다.The generating of the one image frame may generate the one image frame by applying an average gray level smoothing value of each of the calculated pixels.
한편, 전자 장치는 상기 생성된 하나의 영상 프레임을 출력하는 단계를 더 포함할 수 있다.The electronic device may further include outputting the generated one image frame.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 영상을 촬영하는 촬상부 및 상기 촬영된 영상의 제1 프레임 및 상기 제1 프레임과 인접한 제2 프레임에 포함된 픽셀의 그레이 레벨 값을 검출하는 제어부를 포함하고, 상기 제어부는 상기 제1 프레임의 수평 라인에 대해 제1 그레이(grey) 레벨 누적 분포 값을 산출하고, 상기 제2 프레임의 수직 라인에 대해 제2 그레이 레벨 누적 분포 값을 산출하며, 상기 산출된 제1 그레이 레벨 누적 분포 값 및 제2 그레이 레벨 누적 분포 값을 평활화하여 각각 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 산출하고, 상기 산출된 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값에 기초하여 각 픽셀의 평균 그레이 레벨 평활 값을 산출하며, 상기 산출된 평균 그레이 레벨 평활 값에 기초하여 하나의 영상 프레임을 생성한다.According to an embodiment of the present disclosure for achieving the above object, an electronic device includes an image pickup section for picking up an image and a plurality of pixels included in a first frame of the picked-up image and a second frame adjacent to the first frame Wherein the control unit calculates a first gray level cumulative distribution value for a horizontal line of the first frame and a second gray level cumulative distribution value for a vertical line of the second frame, Calculating a first gray level smoothing value and a second gray level smoothing value by smoothing the calculated first gray level cumulative distribution value and a second gray level cumulative distribution value, Calculating a mean gray level smoothing value of each pixel based on the first gray level smoothing value and the second gray level smoothing value, To generate a single image frame basis.
그리고, 상기 생성된 하나의 영상 프레임을 출력하는 출력부를 더 포함할 수 있다.The apparatus may further include an output unit outputting the generated one image frame.
한편, 상기 촬영부는 CCD 센서, CMOS 센서, IR 디텍터(detector)및 하이퍼스펙트럴(Hyperspectral) 센서 중 적어도 하나를 포함할 수 있다.Meanwhile, the photographing unit may include at least one of a CCD sensor, a CMOS sensor, an IR detector, and a hyperspectral sensor.
이상 설명한 바와 같이, 본 개시의 다양한 실시 예에 따르면, 전자 장치 및 제어 방법은 라인별 영상 평활화를 수행하여 영상의 포화 현상을 최소화하고 대조비를 향상시킴으로써 관심물체의 검출력을 향상시킬 수 있다.As described above, according to various embodiments of the present disclosure, the electronic device and the control method can enhance the detection performance of the object of interest by minimizing saturation of the image by performing image smoothing for each line and improving the contrast ratio.
그리고, 전자 장치 및 제어 방법은 영역별 평활화 과정에서 발생되는 영상의 불균일 현상을 최소화할 수 있다.Also, the electronic device and the control method can minimize the image non-uniformity occurring in the smoothing process of each region.
또한, 전자 장치 및 제어 방법은 기존의 기술에 비해 영상 처리를 빠르게 수행할 수 있다.Also, the electronic device and the control method can perform the image processing more quickly than the existing technology.
도 1a 내지 도 1b는 본 개시의 일 실시 예에 따른 전자 장치의 블록도를 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 프레임에 따라 픽셀의 그레이 레벨과 관련된 값을 산출하는 과정을 설명하는 도면이다.
도 3은 영상 프레임의 그레이 레벨 및 산출된 레벨 값을 설명하는 일 실시 예이다.
도 4는 본 개시의 일 실시 예에 따른 비월주사 히스토그램 평활화 방식의 결과를 설명하는 도면이다.
도 5는 다양한 방식에 따른 영상의 히스토그램을 나타내는 도면이다.
도 6은 다양한 방식에 따른 영상을 나타내는 도면이다.
도 7 및 도 8은 본 개시의 일 실시 예에 따른 성능을 기존 방식과 비교하는 도면이다.
도 9는 본 개시의 일 실시 예의 전자 장치 제어 방법의 흐름도이다.BRIEF DESCRIPTION OF THE DRAWINGS Figures 1A-1B are block diagrams of electronic devices according to one embodiment of the present disclosure.
2 is a diagram illustrating a process of computing a value associated with a gray level of a pixel according to a frame according to an embodiment of the present disclosure;
3 is an embodiment for explaining the gray level of the image frame and the calculated level value.
4 is a diagram for explaining a result of an interlaced histogram smoothing method according to an embodiment of the present disclosure.
5 is a diagram showing a histogram of an image according to various methods.
6 is a diagram showing an image according to various methods.
FIGS. 7 and 8 are diagrams comparing performance in accordance with one embodiment of the present disclosure to existing schemes.
9 is a flowchart of an electronic device control method of an embodiment of the present disclosure.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.Various embodiments will now be described in detail with reference to the accompanying drawings. The embodiments described herein can be variously modified. Specific embodiments are described in the drawings and may be described in detail in the detailed description. It should be understood, however, that the specific embodiments disclosed in the accompanying drawings are intended only to facilitate understanding of various embodiments. Accordingly, it is to be understood that the technical idea is not limited by the specific embodiments disclosed in the accompanying drawings, but includes all equivalents or alternatives falling within the spirit and scope of the invention.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinals, such as first, second, etc., may be used to describe various elements, but such elements are not limited to the above terms. The above terms are used only for the purpose of distinguishing one component from another.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.In this specification, the terms "comprises" or "having ", and the like, are intended to specify the presence of stated features, integers, steps, operations, elements, parts, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 제어부에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the meantime, "module" or "part" for components used in the present specification performs at least one function or operation. Also, "module" or "part" may perform functions or operations by hardware, software, or a combination of hardware and software. Also, a plurality of "modules" or a plurality of "parts ", other than a" module "or" part " which is to be performed in a specific hardware or performed in at least one control section, may be integrated into at least one module. The singular expressions include plural expressions unless the context clearly dictates otherwise.
그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.In addition, in the description of the present invention, when it is judged that the detailed description of known functions or constructions related thereto may unnecessarily obscure the gist of the present invention, the detailed description thereof will be abbreviated or omitted.
도 1a 내지 도 1b는 본 개시의 일 실시 예에 따른 전자 장치의 블록도를 설명하는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS Figures 1A-1B are block diagrams of electronic devices according to one embodiment of the present disclosure.
도 1a를 참조하면, 전자 장치(100)는 촬상부(110) 및 제어부(120)를 포함한다. 예를 들어, 전자 장치(100)는 군사용 항공기/함정 장착 전방 감시 열 영상 카메라(Forward Looking Infra Red: FLIR), 전자광학 열상 카메라(Electro Optic Infra Red: EO/IR), 열 영상 탐지추적 장치(Infra Red Search and Tracking system: IRST), 보안용 카메라(CCTV, TOD 등), 다중파장 카메라(Hyperspectral camera), 의료용 열 영상 카메라, 디지털 카메라, 무인 항공기, 인공 위성, 산업용 검사 장치, 휴대폰, 노트북 컴퓨터, 태블릿 PC, 웨어러블 장치, 데스크탑 컴퓨터 또는 키오스크 등을 포함할 수 있다.1A, an
촬상부(110)는 영상을 촬영한다. 예를 들어, 촬상부(110)는 CCD 센서, CMOS 센서, IR 디텍터(detector) 및 하이퍼스펙트럴(Hyperspectral) 센서 중 적어도 하나를 포함할 수 있다. 촬상부(110)가 CCD 센서 또는 CMOS 센서를 포함하는 경우, 촬상부(110)는 RGB, 영상 히스토그램 등의 데이터를 제어부(120)로 전달할 수 있다. 촬상부(110)가 IR 디텍터를 포함하는 경우 흑백 영상 데이터를 제어부(120)로 전달할 수 있다. 촬상부(110)가 하이퍼스펙트럴 센서를 포함하는 경우 적외선 영역부터 자외선 영역에 대한 영상 데이터를 제어부(120)로 전달할 수 있다.The
제어부(120)는 촬영된 영상의 제1 프레임 및 제1 프레임 다음 프레임인 제2 프레임 각각에 대해 영상 픽셀의 그레이 레벨(grey level) 값을 검출한다. 그리고, 제어부(120)는 제1 프레임의 수평 라인에 대해 제1 그레이 레벨 누적 분포 값을 산출하고, 제2 프레임의 수직 라인에 대해 제2 그레이 레벨 누적 분포 값을 산출한다. 즉, 제어부(120)는 제1 프레임의 하나의 수평 라인을 기준으로 제1 그레이 레벨 누적 분포 값을 산출할 수 있다. 제1 그레이 레벨 누적 분포 값은 제1 프레임의 모든 수평 라인에 대해서 산출될 수 있다. 상술한 바와 유사하게, 제어부(120)는 제2 프레임의 하나의 수직 라인을 기준으로 제2 그레이 레벨 누적 분포 값을 산출할 수 있다. 제2 그레이 레벨 누적 분포 값도 제2 프레임의 모든 수직 라인에 대해서 산출될 수 있다.The
제어부(120)는 산출된 제1 그레이 레벨 누적 분포 값과 제2 그레이 레벨 누적 분포 값 각각을 평활화(equalizing)할 수 있다. 평활화는 하나의 영상에 포함된 픽셀의 그레이 레벨을 전체 그레이 레벨로 분산시키는 과정을 의미한다. 제어부(120)는 제1 프레임에 대해서는 수평 라인 방향으로 전체 그레이 레벨로 평활화하고, 제2 프레임에 대해서는 수직 라인 방향으로 전체 그레이 레벨로 평활화할 수 있다. 제어부(120)는 제1 프레임에 대해서 전체 수평 라인에 대해 평활화 과정을 수행하여 제1 그레이 레벨 평활 값을 산출하고, 제2 프레임에 대해서 전체 수직 라인에 대해 평활화 과정을 수행하여 제2 그레이 레벨 평활 값을 산출할 수 있다.The
제어부(120)는 산출된 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값에 기초하여 각 픽셀의 평균 그레이 레벨 평활 값을 산출한다. 즉, 제어부(120)는 각 픽셀에 대해서 제1 그레이 레벨 평활 값과 제2 그레이 레벨 평활 값을 평균하여 평균 그레이 레벨 평활 값을 산출할 수 있다. 하나의 영상에 포함된 각 픽셀의 평균 그레이 레벨 평활 값에 대한 히스토그램은 가우시안 형태를 가질 수 있다. 그레이 레벨의 히스토그램이 가우시안 형태를 가지는 경우, 영상의 포화 영역은 현저하게 줄어들 수 있다.The
제어부(120)는 산출된 각 픽셀의 평균 그레이 레벨 평활 값에 기초하여 하나의 영상 프레임을 생성한다. 즉, 제어부(120)는 각 픽셀에 대해 산출된 평균 그레이 레벨 평활 값을 적용할 수 있다. 하나의 영상 내에 포함된 모든 픽셀에 대해 산출된 평균 그레이 레벨 평활 값이 적용되면 본 개시의 실시 예에 따른 평활화된 영상 프레임이 생성될 수 있다.The
한편, 전자 장치는 다른 구성부를 더 포함할 수 있다.On the other hand, the electronic device may further include other components.
도 1b에는 다른 실시 예에 따른 전자 장치의 블록도가 도시되어 있다. 도 1b를 참조하면, 전자 장치(100a)는 촬상부(110), 제어부(120) 및 출력부(130)를 포함할 수 있다. 촬상부(110) 및 제어부(120)에 대한 설명은 상술한 바와 동일하므로 생략한다.1B is a block diagram of an electronic device according to another embodiment. Referring to FIG. 1B, the
출력부(130)는 생성된 영상 프레임을 출력할 수 있다. 예를 들어, 출력부(130)는 디스플레이를 포함할 수 있다. 출력부(130)가 디스플레이를 포함하는 경우, 출력부(130)는 화면 상에 생성된 영상 프레임을 출력할 수 있다. 또한, 출력부(130)는 통신 인터페이스를 포함할 수 있다. 출력부(130)가 통신 인터페이스를 포함하는 경우, 출력부(130)는 유무선 통신 방식을 이용하여 외부 전자 장치로 생성된 영상 프레임을 전송할 수도 있다.The
아래에서는 본 개시에 따른 비월주사 히스토그램 평활화(Interlaced Histogram Equalization: IHE) 방식에 대해 구체적으로 설명한다.Hereinafter, the interlaced histogram equalization (IHE) scheme according to the present disclosure will be described in detail.
도 2는 본 개시의 일 실시 예에 따른 프레임에 따라 픽셀의 그레이 레벨과 관련된 값을 산출하는 과정을 설명하는 도면이다. 도 2(a)에는 제1 영상 프레임(11)이 도시되어 있고, 도 2(b)에는 제2 영상 프레임(12)이 도시되어 있다.2 is a diagram illustrating a process of computing a value associated with a gray level of a pixel according to a frame according to an embodiment of the present disclosure; FIG. 2 (a) shows a
전자 장치는 제1 영상 프레임(11)의 각 픽셀에 대한 그레이 레벨 값을 검출할 수 있다. 그레이 레벨은 그레이 강도(intnesity)로 표현할 수도 있다. 그리고, 전자 장치는 제1 영상 프레임(11)의 수평 라인을 따라 제1 그레이 레벨 누적 분포 값을 산출할 수 있다. 예를 들어, 제1 영상 프레임(11)의 하나의 수평 라인은 5개의 픽셀을 포함하고, 각각의 픽셀의 그레이 레벨이 1, 3, 5, 5, 4라면, 그레이 레벨 1까지는 1개, 그레이 레벨 3까지는 2개, 그레이 레벨 4까지는 3개, 그레이 레벨 5까지는 5개이다. 따라서, 수평 라인의 그레이 레벨 누적 분포 값(또는, 그레이 레벨 누적 분포 함수) cdf(cumulative distribution function)(1)은 1, cdf(3)은 2, cdf(4)는 3, cdf(5)는 5일 수 있다. 전자 장치는 제1 영상 프레임(11)의 전체 수평 라인에 대해 각각의 수평 라인 별로 제1 그레이 레벨 누적 분포 값을 산출할 수 있다.The electronic device may detect a gray level value for each pixel of the
그리고, 전자 장치는 제2 영상 프레임(12)의 각 픽셀에 대한 그레이 레벨 값을 검출할 수 있다. 전자 장치는 제2 영상 프레임(12)의 수직 라인을 따라 제2 그레이 레벨 누적 분포 값을 산출할 수 있다. 예를 들어, 제2 영상 프레임(12)의 하나의 수직 라인은 5개의 픽셀을 포함하고, 각각의 픽셀의 그레이 레벨이 0, 4, 2, 3, 4라면, 수직 라인의 그레이 레벨 누적 분포 값 cdf(0)은 1, cdf(2)는 2, cdf(3)은 3, cdf(4)는 5일 수 있다. 전자 장치는 제2 영상 프레임(12)의 전체 수직 라인에 대해 각각의 수직 라인 별로 제2 그레이 레벨 누적 분포 값을 산출할 수 있다.The electronic device may then detect a gray level value for each pixel of the
예를 들어, HD 해상도인 경우 영상 프레임은 수평 방향으로 1280개의 픽셀 및 수직 방향으로 720개의 픽셀을 포함할 수 있고, UHD 해상도인 경우 영상 프레임은 수평 방향으로 3840개의 픽셀 및 수직 방향으로 2160개의 픽셀을 포함할 수 있다.For example, in HD resolution, an image frame may include 1280 pixels in the horizontal direction and 720 pixels in the vertical direction, and in the case of UHD resolution, the image frame may include 3840 pixels in the horizontal direction and 2160 pixels in the vertical direction . ≪ / RTI >
한편, 제1 프레임(11)에 대해 수평 라인을 따라 제1 그레이 레벨 누적 분포 값을 산출하고, 제2 프레임(12)에 대해 수직 라인을 따라 제2 그레이 레벨 누적 분포 값을 산출하는 실시 예를 설명하였으나, 전자 장치는 제1 프레임(11)에 대해 수직 라인을 따라 제1 그레이 레벨 누적 분포 값을 산출하고, 제2 프레임(12)에 대해 수평 라인을 따라 제2 그레이 레벨 누적 분포 값을 산출할 수도 있다.On the other hand, an embodiment of calculating a first gray-level cumulative distribution value along a horizontal line for the
도 3은 영상 프레임의 그레이 레벨 및 산출된 레벨 값을 설명하는 일 실시 예이다. 3 is an embodiment for explaining the gray level of the image frame and the calculated level value.
일반적으로, 하나의 영상 프레임에서 i 레벨(또는, 강도)의 픽셀이 존재할 확률은 아래 식과 같다.Generally, the probability that an i-level (or intensity) pixel exists in one image frame is expressed by the following equation.
[식 1][Formula 1]
여기서, L은 이미지에 표현되는 전체 그레이 레벨을 의미한다. 전형적으로 그레이 레벨은 256개로 표현될 수 있으므로 L은 256이 될 수 있다. n은 하나의 영상 프레임에 포함된 전체 픽셀 수이다. 도 3(a)에 도시된 바와 같이, 하나의 영상 프레임이 8×8 해상도를 가지는 경우, n은 64일 수 있다. ni는 i레벨의 픽셀이 발생 개수를 의미한다. 즉, n3은 영상 전체에서 그레이 레벨이 3인 픽셀 개수를 의미한다. even 프레임과 odd 프레임은 제1 및 제2 프레임을 의미할 수 있다. 설명의 편의를 위해 even 프레임은 제1 프레임, odd 프레임은 제2 프레임인 것으로 간주한다.Here, L means the entire gray level expressed in the image. Typically the gray level can be expressed as 256, so L can be 256. n is the total number of pixels included in one image frame. As shown in FIG. 3 (a), when one image frame has an 8 × 8 resolution, n may be 64. n i means the number of pixels of i level. In other words, n 3 means the number of pixels having a gray level of 3 in the entire image. An even frame and an odd frame may mean first and second frames. For convenience of explanation, an even frame is regarded as a first frame and an odd frame is regarded as a second frame.
전자 장치는 even 프레임에 대해 수평 라인을 따라 제1 그레이 레벨 누적 분포 함수를 산출하고, odd 프레임에 대해 수직 라인을 따라 제2 그레이 레벨 누적 분포 함수를 산출할 수 있다. 일 실시 예에 따른, even 프레임과 odd 프레임의 그레이 레벨 누적 분포 함수(또는, 누적 분포 값)는 아래 식과 같다.The electronic device may calculate a first gray level cumulative distribution function along a horizontal line for an even frame and a second gray level cumulative distribution function along a vertical line for an odd frame. The gray level cumulative distribution function (or cumulative distribution value) of the even frame and the odd frame, according to one embodiment, is given by the following equation.
[식 2-1][Formula 2-1]
[식 2-2][Formula 2-2]
식 2-1의 cdfeven은 even 프레임(또는, 제1 프레임)의 수평 라인별로 산출된 제1 그레이 레벨 누적 분포 함수이다. 즉, cdfeven은 N×M 라인의 프레임(N개의 수평 라인, M개의 수직 라인)에서 수평 라인별로 M개의 픽셀에 대한 그레이 레벨의 누적 분포 함수를 의미한다. 유사하게, 식 2-2의 cdfodd는 odd 프레임(또는, 제2 프레임)의 수직 라인별로 산출된 제2 그레이 레벨 누적 분포 함수이다. 즉, cdfodd는 N×M 라인의 프레임에서 수직 라인별로 N개의 픽셀에 대한 그레이 레벨의 누적 분포 함수를 의미한다.Cdf even in Expression 2-1 is a first gray level cumulative distribution function calculated for each horizontal line of an even frame (or first frame). That is, cdf even means a cumulative distribution function of gray levels for M pixels per horizontal line in a frame of N x M lines (N horizontal lines, M vertical lines). Similarly, cdf odd in Equation 2-2 is a second gray level cumulative distribution function calculated for each vertical line of an odd frame (or second frame). That is, cdf odd denotes a cumulative distribution function of gray levels for N pixels per vertical line in a frame of N x M lines.
전자 장치는 산출된 그레이 레벨 누적 분포 함수에 기초하여 even 프레임 및 odd 프레임에 대해 그레이 레벨 평활 함수를 산출할 수 있다. 일 실시 예에 따른, even 프레임과 odd 프레임의 그레이 레벨 평활 함수(또는, 평활 값)는 아래 식과 같다.The electronic device may calculate a gray level smoothing function for even and odd frames based on the calculated gray level cumulative distribution function. The gray level smoothing function (or smoothed value) of the even frame and the odd frame, according to one embodiment, is as follows.
[식 3-1][Formula 3-1]
[식 3-2][Formula 3-2]
식 3-1의 heven은 even 프레임(또는, 제1 프레임)의 제1 그레이 레벨 평활 함수이다. 즉, heven은 N×M 라인의 프레임(N개의 수평 라인, M개의 수직 라인)에서 수평 라인별로 M개의 픽셀에 대한 그레이 레벨의 평활 함수를 의미한다. 유사하게, 식 3-2의 hodd는 odd 프레임(또는, 제2 프레임)의 제2 그레이 레벨 평활 함수이다. 즉, hodd는 N×M 라인의 프레임에서 수직 라인별로 N개의 픽셀에 대한 그레이 레벨의 평활 함수이다. 즉, 전체 그레이 레벨이 256 단계로 표현되는 경우, 식 3-1 및 식 3-2의 255는 전체 그레이 레벨의 개수에서 1을 뺀 값이다. 만일, 전체 그레이 레벨이 64 단계로 표현되는 경우, 식 3-1 및 식 3-2의 255는 63(= 64-1)이 될 수 있다.H even in Equation 3-1 is the first gray level smoothing function of the even frame (or the first frame). That is, h even means a gray level smoothing function for M pixels per horizontal line in a frame of N x M lines (N horizontal lines, M vertical lines). Similarly, hodd in Equation 3-2 is the second gray level smoothing function of the odd frame (or the second frame). That is, h odd is a gray level smoothing function for N pixels per vertical line in a frame of N x M lines. That is, when the entire gray level is represented by 256 steps, 255 in Equation 3-1 and Equation 3-2 is a value obtained by subtracting 1 from the total gray level. If the entire gray level is expressed in 64 steps, 255 of Equation 3-1 and Equation 3-2 may be 63 (= 64-1).
전자 장치는 산출된 그레이 레벨 평활 함수에 기초하여 출력 영상 프레임에 대한 각 픽셀의 평균 그레이 레벨 평활 함수를 산출할 수 있다. 일 실시 예에 따른, 평균 그레이 레벨 평활 함수(또는 평균, 그레이 레벨 평활 값)는 아래 식과 같다.The electronic device may calculate an average gray-level smoothing function of each pixel for the output image frame based on the calculated gray-level smoothing function. The average gray level smoothing function (or average, gray level smoothing value), according to one embodiment, is as follows:
[식 4][Formula 4]
식 4의 outframe(vi)는 출력 영상 프레임에 대한 각 픽셀의 평균 그레이 레벨 평활 함수이다. 즉, outframe(vi)는 even 프레임에서 산출된 제1 그레이 레벨 평활 함수와 odd 프레임에서 산출된 제2 그레이 레벨 평활 함수의 평균을 의미한다.The outframe (v i ) of
전자 장치는 산출된 각 픽셀의 평균 그레이 레벨 평활 함수에 기초하여 출력 영상 프레임을 생성할 수 있다. 일 실시 예에 따른, 출력 영상 프레임은 아래 식과 같이 나타낼 수 있다.The electronic device may generate an output image frame based on an average gray-level smoothing function of each calculated pixel. According to one embodiment, the output image frame may be expressed as:
[식 5][Formula 5]
따라서, 전자 장치는 비월주사 히스토그램 평활화 방식(IHE)에 따라 포화 현상이 제거되고 불균일 현상이 최소화된 영상 프레임을 생성할 수 있다. 본 개시의 비월주사 히스토그램 평활화는 even 프레임과 odd 프레임에서 각각 다른 방향으로 히스토그램 평활화 과정을 수행하고, 순차적으로 두 프레임을 비월주사 처리하는 방식으로 출력 영상 프레임을 생성하는 방식을 의미한다.Accordingly, the electronic device can generate an image frame in which the saturation phenomenon is eliminated and the non-uniformity phenomenon is minimized according to the interlaced histogram smoothing method (IHE). The interlaced histogram smoothing of the present disclosure means a method of generating an output image frame by performing a histogram smoothing process in different directions in an even frame and an odd frame and sequentially interlacing the two frames.
아래에서는 비월주사 히스토그램 평활화 방식의 구체적인 실시 예를 설명한다.A concrete embodiment of the interlaced histogram smoothing method will be described below.
도 3에서는 일 실시 예로서, even 프레임(또는, 제1 프레임)에서 수평 방향으로 레벨 값을 산출하는 과정을 설명한다. odd 프레임(또는, 제2 프레임)에서 수직 방향으로 레벨 값을 산출하는 과정은 수평 방향으로 레벨 값을 산출하는 과정과 수직 방향이라는 점만 제외하면 동일하다.3, a process of calculating a level value in the horizontal direction in the even frame (or the first frame) will be described as an embodiment. The process of calculating the level value in the vertical direction in the odd frame (or the second frame) is the same except for the process of calculating the level value in the horizontal direction and the vertical direction.
도 3(a)를 참조하면, 영상 프레임에 포함된 각 픽셀의 그레이 레벨이 도시되어 있다. 일 실시 예로서, 영상 프레임은 8×8 해상도를 가질 수 있고, 8개의 수평 라인과 8개의 수직 라인을 포함할 수 있다. 즉, 하나의 수평 라인은 8개의 픽셀을 포함할 수 있고, 하나의 수직 라인은 8개의 픽셀을 포함할 수 있다.Referring to FIG. 3 (a), the gray level of each pixel included in an image frame is shown. In one embodiment, an image frame may have 8x8 resolution and may include 8 horizontal lines and 8 vertical lines. That is, one horizontal line may include 8 pixels, and one vertical line may include 8 pixels.
전자 장치는 영상 프레임의 첫번째 수평 라인에서 그레이 레벨의 누적 분포 값을 산출할 수 있다. 즉, 도 3(a)에 도시된 영상 프레임의 첫번째 수평 라인 각 픽셀의 그레이 레벨 값은 52, 55, 61, 59, 70, 61, 76, 61이다. 전자 장치는 영상 프레임의 다른 수평 라인에 대해서도 동일한 과정을 수행할 수 있다. 전자 장치는 첫번째 수평 라인의 그레이 레벨 누적 분포 값을 산출할 수 있다. 상술한 식 2-1에 따라 산출된 첫번째 수평 라인의 누적 분포 값은 cdf(52)=1, cdf(55)=2, cdf(59)=3, cdf(61)=6, cdf(70)=7, cdf(76)=8이다. 전자 장치는 영상 프레임의 다른 수평 라인에 대해서도 동일한 과정을 수행할 수 있다. 전자 장치는 첫번째 수평 라인의 그레이 레벨 평활 값을 산출할 수 있다. 상술한 식 3-1에서 M은 하나의 수평 라인에 포함된 픽셀 수, 즉, 7이고, 255는 전체 그레이 레벨 256 단계에서 1을 뺀 값이다. 식 3-1에 따라 산출된 그레이 레벨 평활 값은 h(52)=0, h(55)=36, h(59)=73, h(61)=182, h(70)=218, h(76)=255이다. 전자 장치는 영상 프레임의 다른 수평 라인에 대해서도 동일한 과정을 수행할 수 있다.The electronic device can calculate the cumulative distribution value of the gray level in the first horizontal line of the image frame. That is, the gray level values of each pixel of the first horizontal line of the image frame shown in FIG. 3A are 52, 55, 61, 59, 70, 61, 76, The electronic device may perform the same process for the other horizontal lines of the image frame. The electronic device can calculate the gray level cumulative distribution value of the first horizontal line. The cumulative distribution values of the first horizontal line calculated according to the above-described Formula 2-1 are cdf (52) = 1, cdf (55) = 2, cdf (59) = 3, cdf (61) = 6, cdf = 7, and cdf (76) = 8. The electronic device may perform the same process for the other horizontal lines of the image frame. The electronic device can calculate the gray level smoothing value of the first horizontal line. In Equation 3-1, M is the number of pixels included in one horizontal line, that is, 7, and 255 is a value obtained by subtracting 1 from 256 levels of the entire gray level. The gray level smoothed values calculated according to Equation 3-1 are h (52) = 0, h (55) = 36, h (59) = 73, h 76) = 255. The electronic device may perform the same process for the other horizontal lines of the image frame.
도 3(a)의 영상 프레임의 첫번째 수평 라인에 대해 산출된 그레이 레벨 누적 분포 값 및 그레이 레벨 평활 값은 도 3(b)에 도시되어 있다. 상술한 바와 같이, 전자 장치는 odd 프레임(또는, 제2 프레임)에서 수직 방향으로 상술한 과정과 동일한 과정을 수행할 수 있다.The gray level cumulative distribution value and the gray level smoothed value calculated for the first horizontal line of the image frame of Fig. 3 (a) are shown in Fig. 3 (b). As described above, the electronic device can perform the same process as the above-described process in the vertical direction in the odd frame (or the second frame).
전자 장치는 수평 방향으로 산출한 even 프레임의 그레이 레벨 평활 값과 수직 방향으로 산출한 odd 프레임의 그레이 레벨 평활 값을 평균하여 출력 영상 프레임 내 각 픽셀의 평균 레벨 값을 산출할 수 있다. 그리고, 전자 장치는 산출된 평균 레벨 값을 적용하여 출력 영상 프레임을 생성할 수 있다.The electronic device can calculate the average level value of each pixel in the output image frame by averaging the gray level smoothing value of the even frame calculated in the horizontal direction and the gray level smoothing value of the odd frame calculated in the vertical direction. Then, the electronic device can generate an output image frame by applying the calculated average level value.
도 4는 본 개시의 일 실시 예에 따른 비월주사 히스토그램 평활화 방식의 결과를 설명하는 도면이다.4 is a diagram for explaining a result of an interlaced histogram smoothing method according to an embodiment of the present disclosure.
도 4(a)를 참조하면, 이상적인 그래디언트 영상이 도시되어 있고, 도 4(b)를 참조하면 여러 방식에 따른 영상 히스토그램이 도시되어 있다. 상술한 바와 같이, 본 개시의 방식은 제1 프레임의 수평 방향 그레이 레벨의 히스토그램과 제2 프레임의 수직 방향 그레이 레벨의 히스토그램을 평활화하고 조합하기 때문에 비월주사 히스토그램 평활화 방식이라고 부를 수 있다. 또한, 비월주사 히스토그램 평활화 과정을 수행한 영상 프레임은 제1 프레임의 수평 방향 그레이 레벨의 히스토그램과 제2 프레임의 수직 방향 그레이 레벨의 히스토그램을 조합하기 때문에 가우시안 유사한 형태의 히스토그램을 나타낼 수 있다.Referring to FIG. 4 (a), an ideal gradient image is shown, and an image histogram according to various schemes is shown in FIG. 4 (b). As described above, the system of the present disclosure can be called an interlaced histogram smoothing method because the histogram of the horizontal gray level of the first frame and the histogram of the vertical gray level of the second frame are smoothed and combined. In addition, since the histogram of the interlaced histogram is smoothed, the histogram of the gray level in the horizontal direction of the first frame and the histogram of the gray level in the vertical direction of the second frame are combined, so that a histogram similar to Gaussian can be displayed.
도 4(b)에 도시된 바와 같이, 원본 영상의 히스토그램은 저레벨 및 고레벨의 그레이 레벨에서 포화 성분을 포함한다. 또한, 기존의 평활화 방식이 수행된 영상의 히스토그램도 전체 그레이 레벨로 평활화는 되었지만 원본 영상과 유사하게 저레벨 및 고레벨의 그레이 레벨에서 포화 성분을 포함한다. 그러나, 본 개시의 비월주사 히스토그램 평활화 방식이 수행된 영상의 히스토그램은 전체적으로 평활화되고, 가우시안 형태로 나타날 수 있다. 따라서, 포화 성분이 제거될 수 있다.As shown in Fig. 4 (b), the histogram of the original image includes saturation components at a low level and a high level gray level. Also, the histogram of the image in which the conventional smoothing method is performed is also smoothed to the entire gray level, but the saturation component is included in the gray level of the low level and the high level similar to the original image. However, the histogram of the image in which the interlaced histogram smoothing method of the present disclosure has been performed is smoothed as a whole, and can be displayed in a Gaussian form. Thus, the saturation component can be removed.
도 5는 다양한 방식에 따른 영상의 히스토그램을 나타내는 도면이다.5 is a diagram showing a histogram of an image according to various methods.
도 5를 참조하면, 다양한 영상의 3차원 히스토그램이 도시되어 있다. 도 5(a)에 도시된 원본 영상의 수직 라인에 따른 히스토그램 및 수평 라인에 따른 히스토그램은 데이터가 존재하지 않는 영역을 포함한다. 도 5(b)에 도시된 기존 평활화 방식에 따른 영상의 수직 라인에 따른 히스트그램도 데이터가 존재하지 않는 영역을 포함한다. 그러나, 도 5(c)에 도시된 본 개시의 비월주사 평활화 방식에 따른 영상의 수직 라인에 따른 히스토그램 및 수평 라인에 따른 히스토그램은 전체적으로 데이터가 분포한다.Referring to FIG. 5, a three-dimensional histogram of various images is shown. The histogram according to the vertical line of the original image and the histogram according to the horizontal line shown in FIG. 5 (a) include an area where no data exists. The histogram according to the vertical line of the image according to the existing smoothing scheme shown in FIG. 5 (b) includes an area in which no data exists. However, the histogram according to the vertical line of the image and the histogram according to the horizontal line according to the interlaced scanning smoothing method of the present disclosure shown in FIG. 5 (c) are distributed as a whole.
도 6은 다양한 방식에 따른 영상을 나타내는 도면이다.6 is a diagram showing an image according to various methods.
도 6을 참조하면, 다양한 실제 영상이 도시되어 있다. 도 6(a)에 도시된 원본 영상은 전체적으로 어둡게 표시된다. 그리고, 도 6(b)에 도시된 기존 평활화 방식에 따른 영상은 상단 영역을 식별할 수 있도록 표시되지만, 하단 영역을 식별하기 어렵게 표시된다. 그러나, 도 6(c)에 도시된 본 개시의 비월주사 평활화 방식에 따른 영상에는 상단 영역 및 하단 영역이 명확하게 표시된다. 특히, 각 영상의 하단 영역(13)은 차이가 확연하게 나타난다.Referring to FIG. 6, various real images are shown. The original image shown in FIG. 6 (a) is globally displayed as a whole. The image according to the existing smoothing scheme shown in FIG. 6 (b) is displayed so as to identify the upper region, but is difficult to identify the lower region. However, in the image according to the interlaced scanning smoothing method of the present disclosure shown in Fig. 6 (c), the upper area and the lower area are clearly displayed. Particularly, the difference in the
도 7 및 도 8은 본 개시의 일 실시 예에 따른 성능을 기존 방식과 비교하는 도면이다. 도 7을 참조하면, 각 영상의 표준편차(STD) 및 엔트로피가 도시되어 있다. 표준편차는 포화 성분을 얼마나 줄였는지 판단할 수 있는 지표이고, 엔트로피는 대조비를 얼마나 세밀하게 표현하는지 판단할 수 있는 지표이다.FIGS. 7 and 8 are diagrams comparing performance in accordance with one embodiment of the present disclosure to existing schemes. Referring to FIG. 7, the standard deviation (STD) and entropy of each image are shown. The standard deviation is an indicator for determining how much the saturation component has been reduced, and the entropy is an indicator for determining how finely the control ratio is expressed.
도 7(a)를 참조하면 동일한 영상에서 본 개시의 비월주사 히스토그램 평활화 방식(IHE)은 기존 히스토그램 평활화 방식(HE) 및 대조비 처리/영역 분할 처리 방식(LAP)과 유사한 수준의 엔트로피를 나타내며, 가장 좋은 표준 편차를 나타낸다.Referring to FIG. 7A, the interlaced histogram smoothing method (IHE) of the present disclosure in the same image shows a similar level of entropy to the existing histogram smoothing method (HE) and the contrast ratio processing / area division processing method (LAP) Good standard deviation.
도 7(b)를 참조하면 기존 히스토그램 평활화 방식(HE)와 비교하여 LAP 방식과 본 개시에 따른 IHE 방식의 엔트로피는 유사한 수준이다. 그러나, LAP 방식은 HE 방식 대비 표준편차를 87.3%로 줄이지만, 본 개시의 IHE 방식은 HE 방식 대비 77.6%로 줄일 수 있다.Referring to FIG. 7 (b), the LAP method and the entropy of the IHE scheme according to the present disclosure are similar to those of the existing histogram smoothing method (HE). However, although the LAP method reduces the standard deviation of the HE method to 87.3%, the IHE method of the present disclosure can be reduced to 77.6% of the HE method.
도 8을 참조하면, HE 방식과 본 개시에 따른 IHE 방식의 실행 시간 결과가 도시되어 있다. 상술한 바와 같이, 본 개시의 IHE 방식은 라인별로 누적 분포 값 및 평활 값을 산출한다. 따라서, IHE 방식은 영상 처리 과정에서 연산량을 줄일 수 있다. 도 8에 도시된 바와 같이, 기존의 HE 방식은 영상 프레임에 따라 처리 속도에 많은 차이를 나타낸다. 그러나, 본 개시의 IHE 방식은 전체적으로 유사한 처리 속도를 나타내며, 전체적으로 HE 방식보다 빠른 영상 처리 속도를 나타낸다.Referring to FIG. 8, the HE scheme and the execution time results of the IHE scheme according to the present disclosure are shown. As described above, the IHE method of the present disclosure calculates cumulative distribution values and smooth values on a line-by-line basis. Therefore, the IHE method can reduce the amount of computation in the image processing process. As shown in FIG. 8, the conventional HE scheme shows a large difference in processing speed according to an image frame. However, the IHE scheme of the present disclosure exhibits a similar processing speed as a whole, and exhibits a faster image processing speed than the HE scheme as a whole.
지금까지, 전자 장치의 다양한 실시 예를 설명하였다. 아래에서는 전자 장치 제어 방법의 흐름도를 설명한다.Various embodiments of electronic devices have been described so far. A flow chart of the electronic device control method will be described below.
도 9는 본 개시의 일 실시 예의 전자 장치 제어 방법의 흐름도이다.9 is a flowchart of an electronic device control method of an embodiment of the present disclosure.
전자 장치는 촬영된 영상의 제1 프레임 및 제1 프레임과 인접한 제2 프레임에 포함된 픽셀의 그레이 레벨 값을 검출한다(S910). 전자 장치는 제1 프레임의 수평 라인에 대해 제1 그레이(grey) 레벨 누적 분포 값을 산출하고, 제2 프레임의 수직 라인에 대해 제2 그레이 레벨 누적 분포 값을 산출한다(S920). 전자 장치는 제1 프레임의 하나의 수평 라인을 기준으로 제1 그레이 레벨 누적 분포 값을 산출할 수 있다. 전자 장치는 제1 프레임의 전체 수평 라인에 대해 제1 그레이 레벨 누적 분포 값을 산출할 수 있다. 그리고, 전자 장치는 제2 프레임의 하나의 수직 라인을 기준으로 제2 그레이 레벨 누적 분포 값을 산출할 수 있다. 전자 장치는 제2 프레임의 전체 수직 라인에 대해 제2 그레이 레벨 누적 분포 값을 산출할 수 있다.The electronic device detects a gray level value of a pixel included in a first frame of the photographed image and a second frame adjacent to the first frame (S910). The electronic device calculates a first gray level cumulative distribution value for the horizontal line of the first frame and a second gray level cumulative distribution value for the vertical line of the second frame (S920). The electronic device may calculate a first gray level cumulative distribution value based on one horizontal line of the first frame. The electronic device may calculate a first gray level cumulative distribution value for the entire horizontal line of the first frame. The electronic device may then calculate a second gray level cumulative distribution value based on one vertical line of the second frame. The electronic device may calculate a second gray level cumulative distribution value for the entire vertical line of the second frame.
전자 장치는 산출된 제1 그레이 레벨 누적 분포 값 및 제2 그레이 레벨 누적 분포 값을 평활화하여 각각 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 산출한다(S930). 전자 장치는 제1 프레임의 하나의 수평 라인 및 전체 그레이 레벨을 기준으로 제1 그레이 레벨 평활 값을 산출할 수 있다. 전자 장치는 제1 프레임의 전체 수평 라인에 대해 제1 그레이 레벨 평활 값을 산출할 수 있다. 그리고, 전자 장치는 제2 프레임의 하나의 수직 라인 및 전체 그레이 레벨을 기준으로 제2 그레이 레벨 평활 값을 산출할 수 있다. 전자 장치는 제2 프레임의 전체 수직 라인에 대해 제2 그레에 레벨 평활 값을 산출할 수 있다.The electronic device smoothes the calculated first gray level cumulative distribution value and the second gray level cumulative distribution value to calculate a first gray level smoothing value and a second gray level smoothing value, respectively (S930). The electronic device may calculate a first gray level smoothing value based on one horizontal line and the entire gray level of the first frame. The electronic device may calculate a first gray level smoothing value for the entire horizontal line of the first frame. The electronic device may then calculate a second gray level smoothing value based on one vertical line and the entire gray level of the second frame. The electronic device may calculate a second gray level smoothing value for the entire vertical line of the second frame.
전자 장치는 산출된 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값에 기초하여 각 픽셀의 평균 그레이 레벨 평활 값을 산출한다(S940). 전자 장치는 한 영상 프레임 내의 그레이 레벨 히스토그램이 가우시안 형태로 형성되도록 각 픽셀에 대응하는 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 평균하여 각 픽셀의 평균 그레이 레벨 평활 값을 산출할 수 있다.The electronic device calculates an average gray level smoothing value of each pixel based on the calculated first gray level smoothing value and the second gray level smoothing value (S940). The electronic device may calculate an average gray level smoothing value of each pixel by averaging the first gray level smoothing value and the second gray level smoothing value corresponding to each pixel so that the gray level histogram in one image frame is formed in a Gaussian form .
전자 장치는 산출된 평균 그레이 레벨 평활 값에 기초하여 하나의 영상 프레임을 생성한다(S950). 전자 장치는 산출된 각 픽셀의 평균 그레이 레벨 평활 값을 적용하여 하나의 영상 프레임을 생성할 수 있다. 그리고, 전자 장치는 생성된 하나의 영상 프레임을 출력할 수 있다.The electronic device generates one image frame based on the calculated average gray level smoothing value (S950). The electronic device can generate an image frame by applying an average gray level smoothing value of each calculated pixel. Then, the electronic device can output one generated image frame.
상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.The method of controlling an electronic device according to the various embodiments described above may be provided as a computer program product. The computer program product may include a software program itself or a non-transitory computer readable medium in which the software program is stored.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다. A non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus. In particular, the various applications or programs described above may be stored on non-volatile readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM,
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.
100, 100a: 전자 장치 110: 촬상부
120: 제어부 130: 출력부100, 100a: Electronic device 110:
120: control unit 130: output unit
Claims (14)
상기 제1 프레임의 수평 라인에 대해 제1 그레이(grey) 레벨 누적 분포 값을 산출하고, 상기 제2 프레임의 수직 라인에 대해 제2 그레이 레벨 누적 분포 값을 산출하는 단계;
상기 산출된 제1 그레이 레벨 누적 분포 값 및 제2 그레이 레벨 누적 분포 값을 평활화하여 각각 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 산출하는 단계; 및
상기 산출된 제1 그레이 레벨 평활 값 및 상기 제2 그레이 레벨 평활 값에 기초하여 생성된 영상 프레임을 출력하는 단계;를 포함하는 전자 장치의 제어 방법.Detecting a gray level value of a first frame of the photographed image and a pixel included in a second frame adjacent to the first frame;
Calculating a first gray level cumulative distribution value for a horizontal line of the first frame and calculating a second gray level cumulative distribution value for a vertical line of the second frame;
Smoothing the calculated first gray level cumulative distribution value and second gray level cumulative distribution value to calculate a first gray level smoothing value and a second gray level smoothing value, respectively; And
And outputting the generated image frame based on the calculated first gray level smoothing value and the second gray level smoothing value.
상기 제1 그레이 레벨 누적 분포 값 및 제2 그레이 레벨 누적 분포 값을 산출하는 단계는,
상기 제1 프레임의 하나의 수평 라인을 기준으로 상기 제1 그레이 레벨 누적 분포 값을 산출하는 각 라인별 제1 그레이 레벨 누적 분포 값 산출 과정을 수행하고, 상기 각 라인별 제1 그레이 레벨 누적 분포 값 산출 과정은 상기 제1 프레임의 전체 수평 라인에 대해 수행되고, 상기 제2 프레임의 하나의 수직 라인을 기준으로 상기 제2 그레이 레벨 누적 분포 값을 산출하는 각 라인별 제2 그레이 레벨 누적 분포 값 산출 과정을 수행하고, 상기 각 라인별 제2 그레이 레벨 누적 분포 값 산출 과정은 상기 제2 프레임의 전체 수직 라인에 대해 수행되는, 전자 장치의 제어 방법.The method according to claim 1,
Wherein the calculating the first gray level cumulative distribution value and the second gray level cumulative distribution value comprises:
Performing a first gray level cumulative distribution value calculation process for each line for calculating the first gray level cumulative distribution value based on one horizontal line of the first frame and calculating a first gray level cumulative distribution value Wherein the calculation is performed for all the horizontal lines of the first frame and the second gray level cumulative distribution value calculation for each line calculating the second gray level cumulative distribution value based on one vertical line of the second frame And a second gray level cumulative distribution value calculation process for each line is performed for all vertical lines of the second frame.
상기 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 산출하는 단계는,
상기 제1 프레임의 하나의 수평 라인 및 전체 그레이 레벨을 기준으로 상기 제1 그레이 레벨 평활 값을 산출하는 각 라인별 제1 그레이 레벨 평활 값 산출 과정을 수행하고, 상기 각 라인별 제1 그레이 레벨 평활 값 산출 과정은 상기 제1 프레임의 전체 수평 라인에 대해 수행되며, 상기 제2 프레임의 하나의 수직 라인 및 전체 그레이 레벨을 기준으로 상기 제2 그레이 레벨 평활 값을 산출하는 각 라인별 제2 그레이 레벨 평활 값 산출 과정을 수행하고, 상기 각 라인별 제2 그레이 레벨 평활 값 산출 과정은 상기 제2 프레임의 전체 수직 라인에 대해 수행되는, 전자 장치의 제어 방법.The method according to claim 1,
Wherein the calculating the first gray level smoothing value and the second gray level smoothing value comprises:
Performing a first gray level smoothing process for each line for calculating the first gray level smoothing value based on one horizontal line and the entire gray level of the first frame, Value calculating step is performed for all the horizontal lines of the first frame and the second gray level for each line for calculating the second gray level smoothing value based on one vertical line and the entire gray level of the second frame Wherein the second gray level smoothing value calculation step for each line is performed for all the vertical lines of the second frame.
상기 촬영된 영상의 제1 프레임 및 상기 제1 프레임과 인접한 제2 프레임에 포함된 픽셀의 그레이 레벨 값을 검출하는 제어부; 및,
출력부;를 포함하고,
상기 제어부는,
상기 제1 프레임의 수평 라인에 대해 제1 그레이(grey) 레벨 누적 분포 값을 산출하고, 상기 제2 프레임의 수직 라인에 대해 제2 그레이 레벨 누적 분포 값을 산출하며, 상기 산출된 제1 그레이 레벨 누적 분포 값 및 제2 그레이 레벨 누적 분포 값을 평활화하여 각각 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 산출하고, 상기 산출된 제1 그레이 레벨 평활 값 및 상기 제2 그레이 레벨 평활 값에 기초하여 영상 프레임을 생성하며,
상기 출력부는,
상기 생성된 영상 프레임을 출력하는, 전자 장치.An image pickup section for picking up an image;
A control unit for detecting a gray level value of a first frame of the photographed image and a pixel included in a second frame adjacent to the first frame; And
And an output unit,
Wherein,
Calculating a first gray level cumulative distribution value for a horizontal line of the first frame and a second gray level cumulative distribution value for a vertical line of the second frame, The cumulative distribution value and the second gray level cumulative distribution value are smoothed to calculate a first gray level smoothing value and a second gray level smoothing value, respectively, and the calculated first gray level smoothing value and the second gray level smoothing value Generates an image frame based on the image frame,
The output unit includes:
And outputs the generated image frame.
상기 촬상부는,
CCD 센서, CMOS 센서, IR 디텍터(detector)및 하이퍼스펙트럴(Hyperspectral) 센서 중 적어도 하나를 포함하는, 전자 장치.
8. The method of claim 7,
Wherein,
A CCD sensor, a CMOS sensor, an IR detector, and a Hyperspectral sensor.
상기 제어부는,
상기 산출된 제1 그레이 레벨 평활 값을 상기 제1 프레임의 각 픽셀에 적용하여 상기 제1 프레임을 출력하고, 상기 산출된 제2 그레이 레벨 평활 값을 상기 제2 프레임의 각 픽셀에 적용하여 상기 제2 프레임을 상기 제1 프레임 다음에 순차적으로 출력하도록 상기 출력부를 제어하는, 전자 장치.8. The method of claim 7,
Wherein,
Applying the calculated first gray level smoothing value to each pixel of the first frame to output the first frame and applying the calculated second gray level smoothing value to each pixel of the second frame, And controls the output unit to sequentially output two frames subsequent to the first frame.
상기 제어부는,
상기 산출된 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값에 기초하여 각 픽셀의 평균 그레이 레벨 평활 값을 산출하며, 상기 산출된 평균 그레이 레벨 평활 값에 기초하여 하나의 영상 프레임을 생성하며, 상기 생성된 하나의 영상 프레임을 출력하도록 상기 출력부를 제어하는, 전자 장치.8. The method of claim 7,
Wherein,
Calculating an average gray level smoothing value of each pixel based on the calculated first gray level smoothing value and the second gray level smoothing value, generating one image frame based on the calculated average gray level smoothing value, And controls the output unit to output the generated one image frame.
상기 영상 프레임을 출력하는 단계는,
상기 산출된 제1 그레이 레벨 평활 값을 상기 제1 프레임의 각 픽셀에 적용하여 상기 제1 프레임을 출력하고, 상기 산출된 제2 그레이 레벨 평활 값을 상기 제2 프레임의 각 픽셀에 적용하여 상기 제2 프레임을 상기 제1 프레임 다음에 순차적으로 출력하는, 전자 장치의 제어 방법.The method according to claim 1,
Wherein the outputting of the image frame comprises:
Applying the calculated first gray level smoothing value to each pixel of the first frame to output the first frame and applying the calculated second gray level smoothing value to each pixel of the second frame, And sequentially outputs two frames after the first frame.
상기 산출된 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값에 기초하여 각 픽셀의 평균 그레이 레벨 평활 값을 산출하는 단계; 및
상기 산출된 각 픽셀의 평균 그레이 레벨 평활 값을 적용하여 하나의 영상 프레임을 생성하는 단계;를 더 포함하고,
상기 영상 프레임을 출력하는 단계는,
상기 생성된 하나의 영상 프레임을 출력하는, 전자 장치의 제어 방법.The method according to claim 1,
Calculating an average gray level smoothing value of each pixel based on the calculated first gray level smoothing value and the second gray level smoothing value; And
And generating an image frame by applying an average gray level smoothing value of each of the calculated pixels,
Wherein the outputting of the image frame comprises:
And outputting the generated one image frame.
상기 각 픽셀의 평균 그레이 레벨 평활 값을 산출하는 단계는,
한 영상 프레임 내의 그레이 레벨 히스토그램이 가우시안 형태로 형성되도록 각 픽셀에 대응하는 상기 제1 그레이 레벨 평활 값 및 제2 그레이 레벨 평활 값을 평균하여 산출하는, 전자 장치의 제어 방법.
14. The method of claim 13,
Wherein calculating the average gray-level smoothing value of each pixel comprises:
Wherein the first gray level smoothing value and the second gray level smoothing value corresponding to each pixel are averaged and calculated so that a gray level histogram in one image frame is formed in a Gaussian shape.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170182853A KR101989868B1 (en) | 2017-12-28 | 2017-12-28 | Electronic device and controlling method thereof |
| PCT/KR2018/012480 WO2019132208A1 (en) | 2017-12-28 | 2018-10-22 | Electronic device and control method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170182853A KR101989868B1 (en) | 2017-12-28 | 2017-12-28 | Electronic device and controlling method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101989868B1 true KR101989868B1 (en) | 2019-06-17 |
Family
ID=67064766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170182853A KR101989868B1 (en) | 2017-12-28 | 2017-12-28 | Electronic device and controlling method thereof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101989868B1 (en) |
| WO (1) | WO2019132208A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092953A (en) * | 1999-09-20 | 2001-04-06 | Hitachi Ltd | Image processor |
| KR20030015948A (en) * | 2001-08-18 | 2003-02-26 | 삼성전자주식회사 | Apparatus and method for histogram equlization of image |
| KR20060056304A (en) * | 2006-05-04 | 2006-05-24 | 한양대학교 산학협력단 | Apparatus and method for adaptive image enhancement |
| KR20130013142A (en) * | 2011-07-27 | 2013-02-06 | 엘지디스플레이 주식회사 | Image quality improvement device and method thereof |
-
2017
- 2017-12-28 KR KR1020170182853A patent/KR101989868B1/en active IP Right Grant
-
2018
- 2018-10-22 WO PCT/KR2018/012480 patent/WO2019132208A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092953A (en) * | 1999-09-20 | 2001-04-06 | Hitachi Ltd | Image processor |
| KR20030015948A (en) * | 2001-08-18 | 2003-02-26 | 삼성전자주식회사 | Apparatus and method for histogram equlization of image |
| KR20060056304A (en) * | 2006-05-04 | 2006-05-24 | 한양대학교 산학협력단 | Apparatus and method for adaptive image enhancement |
| KR20130013142A (en) * | 2011-07-27 | 2013-02-06 | 엘지디스플레이 주식회사 | Image quality improvement device and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019132208A1 (en) | 2019-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102428127B1 (en) | Apparatus and method detecting motion mask | |
| CN110651297B (en) | Optional enhancement of synthesized long exposure images using a guide image | |
| CN111028189A (en) | Image processing method, image processing device, storage medium and electronic equipment | |
| US10002436B2 (en) | Image processing device, image processing method, and solid-state imaging device | |
| US20190014249A1 (en) | Image Fusion Method and Apparatus, and Terminal Device | |
| CN107395991B (en) | Image synthesis method, image synthesis device, computer-readable storage medium and computer equipment | |
| CN103945145A (en) | Apparatus and method for processing image | |
| JP2016208307A (en) | Image processing apparatus, control method therefor, and program | |
| KR20150145725A (en) | Method and apparatus for dynamic range expansion of ldr video sequence | |
| US20130265412A1 (en) | Image processing apparatus and control method therefor | |
| JP2014126803A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6365355B2 (en) | Image generating apparatus and image generating method | |
| KR102592745B1 (en) | Posture estimating apparatus, posture estimating method and computer program stored in recording medium | |
| KR20150146424A (en) | Method for determining estimated depth in an image and system thereof | |
| KR101920369B1 (en) | Apparatus and method for image processing of thermal imaging camera | |
| KR101989868B1 (en) | Electronic device and controlling method thereof | |
| US10205870B2 (en) | Image capturing apparatus and control method thereof | |
| KR102282464B1 (en) | Image processing apparatus and image processing method | |
| JP5446641B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2018180964A (en) | Image processing apparatus and image processing method | |
| US10306153B2 (en) | Imaging apparatus, image sensor, and image processor | |
| EP3605450B1 (en) | Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program | |
| JP5605492B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6066942B2 (en) | Image processing device | |
| Wus et al. | Toward experiential mobile media processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |