KR101950433B1 - Object detection method and device in middle wavelength infrared video - Google Patents

Object detection method and device in middle wavelength infrared video Download PDF

Info

Publication number
KR101950433B1
KR101950433B1 KR1020180023487A KR20180023487A KR101950433B1 KR 101950433 B1 KR101950433 B1 KR 101950433B1 KR 1020180023487 A KR1020180023487 A KR 1020180023487A KR 20180023487 A KR20180023487 A KR 20180023487A KR 101950433 B1 KR101950433 B1 KR 101950433B1
Authority
KR
South Korea
Prior art keywords
image
brightness
adjusted
reference value
histogram
Prior art date
Application number
KR1020180023487A
Other languages
Korean (ko)
Inventor
안준효
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020180023487A priority Critical patent/KR101950433B1/en
Application granted granted Critical
Publication of KR101950433B1 publication Critical patent/KR101950433B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

Provided are a method and an apparatus for detecting an object from a middle infrared image which can easily detect an object by removing a glittering phenomenon while using a middle infrared image. According to an embodiment of the present invention, the method for detecting an object from a middle infrared image comprises the steps of: obtaining a middle infrared image photographed by using a middle infrared camera; analyzing the middle infrared image and adjusting the brightness of the image using a reference value by using the apparatus for detecting an image; and outputting the image in which the brightness is adjusted by using the apparatus for detecting an image. The step of adjusting the brightness adjusts the brightness of the image for each pixel.

Description

중적외선 영상에서의 물체 검출 방법 및 장치{Object detection method and device in middle wavelength infrared video}BACKGROUND OF THE INVENTION 1. Field of the Invention [0002]

본 발명은 물체 검출 방법 및 장치에 관한 것으로, 특히, 중적외선을 이용하여 촬영한 수면 반사광이 존재하는 영상에서 물체를 용이하게 검출하기 위한 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for detecting an object, and more particularly, to a method and apparatus for easily detecting an object in an image in which water-reflected light is captured using a medium-infrared ray.

일반적으로 중적외선(MWIR)은 원적외선(LWIR)에 비해 고온 다습한 환경에서 대기투과도가 높다. 따라서, 이러한 특성을 이용하여 다습한 환경인 해상에서 운용하는 장비에는 주로 중적외선을 이용한 장치들이 사용된다. 일 예로, 해상의 영상 촬영에는 중적외선 카메라가 사용되어 중적외선 영상을 획득할 수 있으며 이때 대조비 처리는 플래토 히스토그램 평활화(Plateau Histogram Equalization) 및 선형 펼침 등이 사용된다.Generally, the medium-infrared (MWIR) has high atmospheric permeability in a high-temperature and high-humidity environment compared with the far infrared ray (LWIR). Therefore, devices using mid-infrared rays are mainly used for devices operating in a high humidity environment such as marine environment. For example, a mid-infrared camera can be used to acquire a mid-infrared image for an image of the sea. At this time, a plateau histogram equalization and linear spreading are used for the contrast ratio processing.

중적외선은 원적외선과 달리 해수면에 입사되었을 때 반사되어 해당 부분이 흑/백으로 반짝이는 현상이 나타난다. 상술된 플래토 히스토그램 평활화 및 선형 펼침 등의 대조비 처리 방식으로는 반짝이는 현상이 발생하는 경우 영상 내에서 물체를 용이하게 검출할 수 없고, 이로 인해 영상을 이용한 물체의 추적이 요구되는 경우 실패할 확률이 증가하는 문제점이 존재한다. Unlike far-infrared rays, infrared rays are reflected when they are incident on the sea surface, and the corresponding part is shiny black / white. In the contrast ratio processing method such as the flatness histogram smoothing and linear spreading described above, when the flashing phenomenon occurs, the object can not be easily detected in the image. Therefore, if tracking of the object using the image is required, There is an increasing problem.

KR 0522203 BKR 0522203 B

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 중적외선 영상을 사용하면서 반짝이는 현상을 제거하여 물체의 검출이 용이한 중적외선 영상에서의 물체 검출 방법 및 장치를 제공하고자 한다.According to an aspect of the present invention, there is provided an apparatus and method for detecting an object in a medium-to-infrared (IR) image, in which an object is easily detected by removing a twinkling phenomenon while using a medium- do.

위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 중적외선 영상에서의 물체 검출 방법이 제공된다. 상기 중적외선 영상에서의 물체 검출 방법은, 중적외선 카메라를 이용하여 촬영된 중적외선 영상을 획득하는 단계; 영상 검출 장치가 상기 중적외선 영상을 분석하고 기준 값을 이용하여 상기 영상의 밝기를 조정하는 단계; 및 상기 영상 검출 장치가 상기 밝기가 조정된 영상을 사용자에게 출력하는 단계;를 포함하며, 상기 밝기를 조정하는 단계는, 상기 영상의 화소별 밝기를 조정한다.According to an aspect of the present invention, there is provided an object detection method in a medium-infrared image. The method for detecting an object in a medium-infrared image includes: obtaining a medium-infrared image photographed using a medium-infrared camera; Analyzing the mid-infrared image and adjusting brightness of the image using a reference value; And outputting the brightness-adjusted image to the user by the image detection device, wherein the adjusting brightness adjusts the brightness of each pixel of the image.

상기 영상의 밝기를 조정하는 단계는, 상기 중적외선 영상을 분석하여 상기 영상의 밝기 히스토그램을 획득하는 단계; 상기 밝기 히스토그램에 상기 기준 값을 적용하여 상기 화소별 밝기를 조정하여 조정된 밝기 히스토그램을 생성하는 단계; 및 상기 조정된 밝기 히스토그램을 이용하여 상기 영상을 조정하여 상기 조정된 영상을 생성하는 단계;를 포함할 수 있다.The step of adjusting the brightness of the image may include analyzing the middle infrared image to obtain a brightness histogram of the image; Applying the reference value to the brightness histogram to generate an adjusted brightness histogram by adjusting brightness per pixel; And adjusting the image using the adjusted brightness histogram to generate the adjusted image.

상기 조정된 밝기 히스토그램을 생성하는 단계는, 상기 기준 값보다 밝은 화소의 밝기를 가장 밝게 조정할 수 잇다.In the step of generating the adjusted brightness histogram, brightness of a pixel that is lighter than the reference value can be adjusted to the brightest.

상기 기준 값은, 기상 정보 및 해상 정보를 이용하여 해수면의 광반사율을 계산하여 획득되거나, 기존의 기준 값들을 이용하여 획득될 수 있다.The reference value may be obtained by calculating the light reflectance of the sea surface using the weather information and the sea information, or may be obtained using existing reference values.

상기 영상을 조정하는 단계는, 상기 조정된 밝기 히스토그램을 이용하여 상기 영상의 화소 밝기를 조정하여 상기 조정된 영상을 생성할 수 있다.The adjusting the image may generate the adjusted image by adjusting the pixel brightness of the image using the adjusted brightness histogram.

본 발명의 일 측면에 따르면, 중적외선 영상에서의 물체 검출 장치가 제공된다. 상기 중적외선 영상에서의 물체 검출 장치는, 중적외선을 이용하여 촬영된 영상을 획득하는 영상 획득부; 상기 영상을 전달받아 화소별 밝기를 분석하는 영상 분석부; 상기 영상의 밝기를 기준 값을 이용하여 변경 처리하여 조정 영상을 생성하는 영상 처리부; 및 상기 조정 영상을 사용자에게 출력하는 영상 출력부;를 포함한다.According to an aspect of the present invention, there is provided an apparatus for detecting an object in a medium-infrared image. The object detecting apparatus in the middle infrared ray image includes an image obtaining unit that obtains an image photographed using medium infrared rays; An image analyzer receiving the image and analyzing brightness of each pixel; An image processor for modifying the brightness of the image using a reference value to generate an adjusted image; And an image output unit for outputting the adjusted image to a user.

상기 기준 값을 설정하는 기준 설정부를 더 포함하며, 상기 기준 값은 기상 정보 및 해상 정보를 이용하여 해수면의 광반사율을 계산하여 획득되거나, 기존의 기준 값들을 이용하여 획득될 수 있다.The reference value may be obtained by calculating the light reflectance of the sea surface using the weather information and the sea information, or may be acquired using existing reference values.

상기 영상 분석부는, 상기 화소별 밝기를 이용하여 밝기 히스토그램을 분석 결과로 생성할 수 있다.The image analyzing unit may generate a brightness histogram as an analysis result using the per-pixel brightness.

상기 영상 처리부는, 상기 밝기 히스토그램에 상기 기준 값을 적용하여 상기 기준 값 이상의 밝기를 가지는 상기 화소의 밝기를 가장 밝게 처리하여 조정된 밝기 히스토그램을 생성할 수 있다.The image processor may apply the reference value to the brightness histogram to maximize the brightness of the pixel having the brightness equal to or greater than the reference value to generate an adjusted brightness histogram.

상기 영상 처리부는, 상기 조정된 밝기 히스토그램을 이용하여 상기 영상에 포함되는 상기 화소의 밝기를 조정하여 상기 조정 영상을 생성할 수 있다.The image processor may generate the adjusted image by adjusting the brightness of the pixel included in the image using the adjusted brightness histogram.

본 발명의 일 실시예에 따른 중적외선 영상에서의 물체 검출 방법 및 장치는 해수면에 반사되는 태양 빛에 의한 영상 내의 반짝임 특성을 제거할 수 있는 효과가 있다.The method and apparatus for detecting an object in a medium-infrared image according to an embodiment of the present invention can remove the sparkling characteristic in an image due to sunlight reflected on the sea surface.

또, 본 발명의 일 실시예에 따른 중적외선 영상에서의 물체 검출 방법 및 장치는 해수면 태양 반사의 영상 간섭을 감소시킴으로써 물체를 용이하게 검출할 수 있는 효과가 있다.In addition, the method and apparatus for detecting an object in a medium-infrared image according to an embodiment of the present invention have an effect of easily detecting an object by reducing image interference of sea-surface solar reflection.

도 1은 본 발명의 실시예에 따른 중적외선 영상에서의 물체 검출 방법을 간단히 나타낸 순서도이다.
도 2는 본 발명의 실시예에 따른 (a) 중적외선 촬영 영상, (b) 촬영 영상의 밝기 히스토그램 (c) 조정된 밝기 히스토그램 및 (d) 조정된 영상을 각각 나타낸 도이다.
도 3은 본 발명의 실시예에 따른 중적외선 영상에서의 물체 검출 장치를 간단히 나타낸 블록도이다.
1 is a flowchart briefly showing an object detection method in a medium-infrared image according to an embodiment of the present invention.
FIG. 2 is a diagram showing an infrared ray photographing image (a), a brightness histogram (c), an adjusted brightness histogram, and (d) an adjusted image according to an embodiment of the present invention.
3 is a block diagram briefly showing an object detecting apparatus in a medium-infrared image according to an embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.

도 1은 본 발명의 실시예에 따른 중적외선 영상에서의 물체 검출 방법을 간단히 나타낸 순서도이고 도 2는 본 발명의 실시예에 따른 (a) 중적외선 촬영 영상, (b) 촬영 영상의 밝기 히스토그램 (c) 조정된 밝기 히스토그램 및 (d) 조정된 영상을 각각 나타낸 도이다. 이하에서는 중적외선 영상에서의 물체 검출 방법에 대한 설명의 편의상 해당 방법을 사용하는 장치를 물체 검출 장치로 명명하지만, 본 발명은 이에 한정되지 않으며, 영상 분석 및 처리가 가능한 제어부가 존재하는 다양한 디지털 기기에도 사용될 수 있음이 명백하다. 또, 이하에서는 도 1 및 도 2를 이용하여 본 발명의 일 실시예에 따른 중적외선 영상에서의 물체 검출 방법에 대해 상세하게 설명하도록 한다.FIG. 1 is a flow chart briefly showing an object detection method in a medium-infrared image according to an embodiment of the present invention. FIG. 2 is a diagram illustrating a histogram of the brightness of an image taken during (a) c) an adjusted brightness histogram, and (d) an adjusted image, respectively. Hereinafter, an apparatus using the method is referred to as an object detecting apparatus for convenience of explanation of an object detection method in a medium-infrared image. However, the present invention is not limited to this, and various digital apparatuses Can also be used. Hereinafter, a method of detecting an object in a medium-infrared image according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2. FIG.

도 1을 참조하면, 본 발명의 일 실시예에 따른 중적외선 영상에서의 물체 검출 방법(100)은 영상을 획득하는 단계(S110), 영상을 분석하고 기준값을 이용하여 영상의 밝기를 조정하는 단계(S120) 및 밝기가 조정된 영상을 출력하는 단계(S130)를 포함한다.1, a method 100 for detecting an object in a medium-infrared image according to an exemplary embodiment of the present invention includes a step of obtaining an image (S110), a step of analyzing an image and adjusting brightness of an image using a reference value (S120) and outputting a brightness adjusted image (S130).

본 발명의 일 실시예에 따른 중적외선 영상에서의 물체 검출 방법(100)은 먼저, 물체 검출 장치가 영상을 획득한다(단계 S110). 물체 검출 장치는 외부로부터 중적외선으로 촬영된 영상을 도 2a와 같이 획득할 수 있으며 본 실시예에서 물체는 A 지점에 존재한다. 한편, 물체 검출 장치는 일 예로 중적외선 영상 카메라와 유선 또는 무선으로 연결되어 중적외선 촬영 영상을 획득할 수도 있으며, 내부 또는 외부 저장 장치와 연결되어 해당 장치로부터 기 저장된 중적외선 촬영 영상을 획득할 수도 있다. In the method 100 for detecting an object in a medium-infrared image according to an embodiment of the present invention, an object detection apparatus acquires an image (step S110). The object detection apparatus can acquire an image photographed in the medium infrared ray from the outside as shown in FIG. 2A, and the object exists at the point A in this embodiment. Meanwhile, the object detecting device may be connected to the middle infrared ray camera through a wired or wireless connection to acquire a middle infrared ray image, or may be connected to an internal or external storage device to acquire a previously stored middle infrared ray image have.

다음으로, 물체 검출 장치가 영상을 분석하고 기준 값을 이용하여 영상의 밝기를 조정한다(단계 S120). 물체 검출 장치는, 단계 S110에서 획득한 중적외선 영상의 화소별 밝기를 분석하여 기준 값을 이용하여 일부 화소의 밝기를 변화시킴으로써 조정된 영상을 획득할 수 있다. 이때, 단계 S120은 영상을 분석하여 영상의 밝기 히스토그램을 획득하는 단계(S121), 밝기 히스토그램에 기준 값을 적용하여 조정된 밝기 히스토그램을 생성하는 단계(S123) 및 조정된 밝기 히스토그램을 이용하여 조정된 영상을 생성하는 단계(S125)를 포함한다.Next, the object detecting apparatus analyzes the image and adjusts the brightness of the image using the reference value (step S120). The object detecting apparatus can obtain the adjusted image by analyzing the brightness of each of the pixels of the medium infrared image obtained in step S110 and changing the brightness of some pixels using the reference value. In operation S 120, a brightness histogram of the image is obtained by analyzing the image in operation S 121, a brightness histogram is generated by applying a reference value to the brightness histogram in operation S 123, and a brightness histogram adjusted using the adjusted brightness histogram And generating an image (S125).

물체 검출 장치는 먼저 중적외선 영상을 분석하여 영상의 밝기 히스토그램을 획득한다(단계 S121). 밝기 히스토그램은 영상에 포함된 픽셀들의 밝기를 각각 획득하여 도식화 한 히스토그램이다. 히스토그램은 x축이 픽셀의 밝기로, y축이 픽셀의 개수로 나타나며 도 2a의 촬영 영상은 도 2b의 밝기 히스토그램으로 나타날 수 있다.The object detecting apparatus first analyzes the medium-infrared image to acquire a brightness histogram of the image (step S121). The brightness histogram is a histogram obtained by acquiring the brightness of each pixel included in the image. In the histogram, the x-axis represents the brightness of the pixel, the y-axis represents the number of pixels, and the photographed image of Fig. 2A can be represented by the brightness histogram of Fig.

다음으로, 물체 검출 장치는 밝기 히스토그램에 기준 값을 적용하여 조정된 밝기 히스토그램을 생성한다(단계 S123). 여기서, 기준 값은 밝기를 조정할 픽셀의 밝기 기준을 나타내는 값이다.Next, the object detecting apparatus applies a reference value to the brightness histogram to generate an adjusted brightness histogram (step S123). Here, the reference value is a value representing a brightness reference of the pixel whose brightness is to be adjusted.

도 2b를 살펴보면, B는 영상에 포함된 추적하고자 하는 물체의 픽셀이 모여있는 부분이고, C는 배경 하늘의 픽셀이 모여있는 부분이며, D는 태양이 수면에 반사되어 반짝이는 현상이 나타나는 태양 반사파의 픽셀이 모여 있는 부분이다. 따라서, 본 발명의 일 실시예에 따른 중적외선 영상에서의 물체 검출 방법은, 단계 S121을 이용하여 획득한 도 2b의 밝기 히스토그램에 기준 값을 적용하여 기준 값보다 밝은 밝기를 가지는 화소들의 밝기를 일괄적으로 가장 밝은 값으로 조정할 수 있고, 그 결과인 조정된 밝기 히스토그램이 도 2c에 나타나고 있다.Referring to FIG. 2B, B is a portion where pixels of an object to be tracked are collected, C is a portion where pixels of a background sky are gathered, D is a sun reflection Is a portion where the pixels of the pixel are gathered. Accordingly, in the object detection method in the medium-infrared image according to the embodiment of the present invention, by applying the reference value to the brightness histogram of FIG. 2B obtained using the step S121, The adjusted brightness histogram can be adjusted to the brightest value as shown in FIG. 2C.

이때, 기준 값은 다양한 방법을 통해 그 값이 정의될 수 있다. 일 예로, 기준 값은 사용자가 직접 외부 입력 장치를 이용하여 그 값을 지정해 줄 수도 있고, 기존에 사용되었던 기준 값들을 이용하여 그 값이 정의될 수도 있으며, 외부로부터 기상 정보 및 해상 정보를 획득한 후 획득한 정보를 이용하여 해수면의 광반사율을 계산하여 획득할 수도 있다.At this time, the reference value can be defined by various methods. For example, the user may directly specify the reference value by using an external input device or may define the value using the previously used reference values, or may obtain the weather information and the marine information from the outside And the light reflectance of the sea surface can be calculated and obtained using the acquired information.

물체 검출 장치는 조정된 밝기 히스토그램을 이용하여 조정된 영상을 생성한다(단계 S125). 물체 검출 장치는 도 2c에 도시된 바와 같이 E로 표현되는 기준 값보다 높은 밝기를 가지는 픽셀들의 밝기가 F 지점에 형성되도록 밝기를 일괄적으로 가장 밝게 설정하여 조정된 밝기 히스토그램을 획득한 후, 해당 조정된 밝기 히스토그램을 이용하여 단계 S110에서 획득한 영상을 가공 또는 조정할 수 있다. The object detecting apparatus generates an adjusted image using the adjusted brightness histogram (step S125). The object detecting apparatus obtains the adjusted brightness histogram by collectively setting the brightness to be the brightest so that the brightness of the pixels having the brightness higher than the reference value represented by E is formed at the point F as shown in FIG. The image obtained in step S110 can be processed or adjusted using the adjusted brightness histogram.

일 예로, 물체 검출 장치는 조정된 밝기 히스토그램을 이용하여 밝기가 변경된 픽셀의 밝기를 가장 밝게 조정함으로써 태양 반사광이 존재하는 픽셀의 밝기가 모두 가장 밝은 밝기로 변환된 조정 영상을 생성할 수 있으며 해당 영상이 도 2d에 도시되고 있다.For example, the object detecting apparatus can generate an adjusted image in which the brightness of the pixel having sunlight reflection is converted to the brightest brightness by adjusting the brightness of the pixel whose brightness is changed by using the adjusted brightness histogram, Is shown in Fig. 2D.

도 2a와 도 2d를 비교해 보면, 도 2a의 A 지점에 존재하는 물체에 비해 도 2d의 F 지점에 존재하는 물체는 태양 반사광으로 인한 반짝임이 존재하지 않기 때문에 보다 용이하게 관측될 수 있다.Comparing FIGS. 2A and 2D, an object existing at point F in FIG. 2D can be more easily observed because there is no sparkle caused by sunlight reflected from an object located at point A in FIG. 2A.

마지막으로 물체 검출 장치는 사용자에게 밝기가 조정된 영상을 출력한다(단계 S130). 물체 검출 장치는 단계 S120(또는 단계 S125)에서 획득한 밝기가 조정된 영상을 사용자에게 출력할 수 있다. 이때, 물체 검출 장치는 사용자의 설정에 따라 영상에서 검출된 물체를 자동으로 추적할 수 있도록 중적외선 영상 카메라의 틸팅 각도를 조절할 수도 있고, 영상에서 물체가 사라지는 경우 경보를 송출함으로써 사용자에게 경고를 제공할 수도 있다.Finally, the object detecting apparatus outputs the image whose brightness is adjusted to the user (step S130). The object detecting apparatus can output the adjusted brightness-acquired image to the user in step S120 (or step S125). At this time, the object detecting apparatus may adjust the tilting angle of the middle infrared ray camera so that the object detected in the image can be automatically tracked according to the setting of the user, or alert when the object disappears from the image by sending an alarm You may.

한편, 도 3은 본 발명의 실시예에 따른 중적외선 영상에서의 물체 검출 장치를 간단히 나타낸 블록도이다. 본 발명의 일 실시예에 따른 중적외선 영상에서의 물체 검출 장치(300)는 영상 획득부(310), 영상 분석부(330), 기준 설정부(350), 영상 처리부(370) 및 영상 출력부(390)를 포함한다.3 is a block diagram briefly showing an object detecting apparatus in a medium-infrared image according to an embodiment of the present invention. The object detecting apparatus 300 in the middle infrared ray image according to an embodiment of the present invention includes an image obtaining unit 310, an image analyzing unit 330, a reference setting unit 350, an image processing unit 370, (390).

영상 획득부(310)는 중적외선 영상을 획득한다. 영상 획득부(310)는 중적외선 영상 카메라로 형성되어 직접 중적외선 촬영 영상을 획득할 수도 있고, 내부 또는 외부 저장 장치로부터 기 저장된 중적외선 촬영 영상을 획득하는 통신 모듈로 형성될 수도 있으며, 이러한 중적외선 촬영 영상이 상술한 바와 마찬가지로 도 2a에 도시되고 있다.The image acquiring unit 310 acquires a medium-infrared image. The image acquiring unit 310 may be formed of a middle infrared ray camera to directly acquire a middle infrared ray image or a communication module for acquiring a previously stored intermediate infrared ray image from an internal or external storage device. The infrared ray image is shown in Fig. 2A as described above.

영상 분석부(330)는, 영상 획득부(310)를 통해 획득한 중적외선 촬영 영상을 분석하여 도 2b에 도시된 바와 같은 밝기 히스토그램을 생성한다. 밝기 히스토그램은 영상에 포함된 픽셀들의 밝기를 각각 획득하여 도식화 한 히스토그램으로 x축이 픽셀의 밝기, y축이 픽셀의 개수를 의미한다.The image analyzer 330 analyzes the mid-infrared image acquired through the image acquiring unit 310 to generate a brightness histogram as shown in FIG. 2B. The brightness histogram is a histogram obtained by acquiring the brightness of each pixel included in the image. The x-axis represents the brightness of the pixel and the y-axis represents the number of pixels.

기준 설정부(350)는 밝기 히스토그램에서 밝기를 조정할 픽셀을 선정하기 위한 기준 값을 설정한다. 기준 값은, 밝기를 조정할 픽셀의 밝기 기준을 나타내는 값이다.The reference setting unit 350 sets a reference value for selecting a pixel whose brightness is to be adjusted in the brightness histogram. The reference value is a value indicating a brightness reference of the pixel whose brightness is to be adjusted.

이때, 기준 값은 다양한 방법을 통해 그 값이 정의될 수 있다. 일 예로, 기준 값은 사용자가 직접 외부 입력 장치를 이용하여 그 값을 지정해 줄 수도 있고, 기존에 사용되었던 기준 값들을 이용하여 그 값이 정의될 수도 있으며, 외부로부터 기상 정보 및 해상 정보를 획득한 후 획득한 정보를 이용하여 해수면의 광반사율을 계산하여 획득할 수도 있다.At this time, the reference value can be defined by various methods. For example, the user may directly specify the reference value by using an external input device or may define the value using the previously used reference values, or may obtain the weather information and the marine information from the outside And the light reflectance of the sea surface can be calculated and obtained using the acquired information.

영상 처리부(370)는 기준 값을 이용하여 조정된 밝기 히스토그램을 생성하고, 조정된 밝기 히스토그램을 처리하여 조정된 영상을 생성한다.The image processor 370 generates the adjusted brightness histogram using the reference value, and processes the adjusted brightness histogram to generate the adjusted image.

도 2b를 살펴보면, B는 영상에 포함된 추적하고자 하는 물체의 픽셀이 모여 있는 부분이고, C는 배경 하늘의 픽셀이 모여있는 부분이며, D는 태양이 수면에 반사되어 반짝이는 현상이 나타나는 태양 반사파의 픽셀이 모여 있는 부분이다. 따라서, 영상 처리부(370)는, 도 2b의 밝기 히스토그램에 기준 설정부(350)에서 설정한 기준 값을 적용하여 기준 값보다 밝은 밝기를 가지는 화소들의 밝기를 일괄적으로 가장 밝은 값으로 조정하여 조정된 밝기 히스토그램을 도 2c와 같이 생성할 수 있다.Referring to FIG. 2B, B is a portion where pixels of an object to be tracked are collected, C is a portion where pixels of a background sky are gathered, D is a sun reflection Is a portion where the pixels of the pixel are gathered. Accordingly, the image processor 370 adjusts the brightness of the pixels having brightness brighter than the reference brightness value to the brightest value by applying the reference value set by the reference setting unit 350 to the brightness histogram of FIG. 2B The histogram of brightness can be generated as shown in FIG. 2C.

이어서, 영상 처리부(370)는 조정된 밝기 히스토그램을 이용하여 영상 획득부(310)에서 획득한 중적외선 촬영 영상을 처리하여 조정된 영상을 생성할 수 있다. Then, the image processor 370 may process the intermediate infrared image acquired by the image acquiring unit 310 using the adjusted brightness histogram to generate an adjusted image.

일 예로, 영상 처리부(370)는 조정된 밝기 히스토그램을 이용하여 밝기가 변경된 픽셀의 밝기를 가장 밝게 조정함으로써 태양 반사광이 존재하는 픽셀의 밝기가 모두 가장 밝은 밝기로 변환된 조정 영상을 생성할 수 있으며 해당 영상이 도 2d에 도시되고 있다.For example, the image processor 370 can adjust the brightness of the pixel whose brightness has been changed to the brightest by using the adjusted brightness histogram, thereby generating an adjusted image in which the brightness of the pixel having the sun reflected light is converted to the brightest brightness The corresponding image is shown in Fig. 2D.

도 2a와 도 2d를 비교해 보면, 도 2a의 A 지점에 존재하는 물체에 비해 도 2d의 F 지점에 존재하는 물체는 태양 반사광으로 인한 반짝임이 존재하지 않기 때문에 보다 용이하게 관측될 수 있다.Comparing FIGS. 2A and 2D, an object existing at point F in FIG. 2D can be more easily observed because there is no sparkle caused by sunlight reflected from an object located at point A in FIG. 2A.

영상 출력부(390)는 외부로 밝기가 조정된 영상을 출력한다. 영상 출력부(390)는 영상 처리부(370)로부터 조정된 영상을 전달 받아 외부로 출력할 수 있다. 이때, 영상 출력부(390)는 사용자의 설정에 따라 영상에서 검출된 물체를 자동으로 추적할 수 있도록 중적외선 영상 카메라로 형성되는 영상 획득부(310)의 틸팅 각도를 조절할 수도 있고, 영상에서 물체가 사라지는 경우 경보를 송출함으로써 사용자에게 경고를 제공할 수도 있다.The video output unit 390 outputs an image whose brightness is adjusted externally. The image output unit 390 can receive the adjusted image from the image processing unit 370 and output it to the outside. At this time, the image output unit 390 may adjust the tilting angle of the image acquisition unit 310 formed by the middle infrared ray camera so that the object detected in the image may be automatically tracked according to the user's setting, The warning may be provided to the user by sending an alarm.

이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

300: 중적외선 영상에서의 물체 검출 장치
310: 영상 획득부 330: 영상 분석부
350: 기준 설정부 370: 영상 처리부
390: 영상 출력부
300: Object detection device in medium infrared image
310: Image acquisition unit 330: Image analysis unit
350: Reference setting unit 370:
390: Video output section

Claims (10)

중적외선 카메라를 이용하여 촬영된 중적외선 영상을 획득하는 단계;
영상 검출 장치가 상기 중적외선 영상을 분석하고 기준 값을 이용하여 상기 영상의 밝기를 조정하는 단계;
상기 영상 검출 장치가 상기 밝기가 조정된 영상을 사용자에게 출력하는 단계를 포함하며,
상기 영상 검출 장치가 상기 중적외선 영상을 분석하고 기준 값을 이용하여 상기 영상의 밝기를 조정하는 단계는,
상기 중적외선 영상을 분석하여 상기 영상의 밝기 히스토그램을 획득하는 단계;
상기 영상에서 태양 빛이 해수면에 반사되어 반짝이는 현상이 나타나는 태양 반사파의 픽셀이 모여 있는 영역의 밝기 히스토그램에 상기 기준 값을 적용하여 화소별 밝기를 조정하여 조정된 밝기 히스토그램을 생성하는 단계;
상기 조정된 밝기 히스토그램을 이용하여 상기 영상을 조정하여 상기 조정된 영상을 생성하는 단계를 포함하도록 구성되며,
상기 밝기 히스토그램에 상기 기준 값을 적용하여 화소별 밝기를 조정하여 조정된 밝기 히스토그램을 생성하는 단계는,
상기 기준 값보다 밝은 화소의 밝기를 가장 밝게 조정하도록 구성되며,
상기 영상 검출 장치가 상기 중적외선 영상을 분석하고 기준 값을 이용하여 상기 영상의 밝기를 조정하는 단계는,
기상 정보 및 해상 정보를 이용하여 해수면의 광반사율을 자동 계산하고, 해수면에 반사되는 태양 빛에 의한 영상 간섭을 감소시켜 영상 내 반짝임 특성을 제거할 수 있도록 하는 기준 값을 실시간 자동 변경 설정하도록 구성되는 것을 특징으로 하는 중적외선 영상에서의 물체 검출 방법.
Obtaining an intermediate infrared image photographed using a middle infrared camera;
Analyzing the mid-infrared image and adjusting brightness of the image using a reference value;
And the image detection device outputting the brightness-adjusted image to a user,
Wherein the step of analyzing the medium infrared image and adjusting the brightness of the image using the reference value comprises:
Analyzing the intermediate infrared image to obtain a brightness histogram of the image;
Generating an adjusted brightness histogram by adjusting the brightness of each pixel by applying the reference value to a brightness histogram of a region in which sunlight reflected by sunlight is reflected on a sea surface,
And adjusting the image using the adjusted brightness histogram to generate the adjusted image,
Wherein the step of generating the adjusted brightness histogram by adjusting the brightness of each pixel by applying the reference value to the brightness histogram,
The brightness of a pixel that is lighter than the reference value is adjusted to be the brightest,
Wherein the step of analyzing the medium infrared image and adjusting the brightness of the image using the reference value comprises:
The reference value for automatically calculating the light reflectance of the sea surface using the weather information and the sea information and reducing the image interference due to the sunlight reflected on the sea surface to eliminate the sparkling characteristic of the image And detecting the object in the middle infrared ray image.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180023487A 2018-02-27 2018-02-27 Object detection method and device in middle wavelength infrared video KR101950433B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180023487A KR101950433B1 (en) 2018-02-27 2018-02-27 Object detection method and device in middle wavelength infrared video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180023487A KR101950433B1 (en) 2018-02-27 2018-02-27 Object detection method and device in middle wavelength infrared video

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075231A Division KR101950436B1 (en) 2018-06-29 2018-06-29 Object detection device in middle wavelength infrared video

Publications (1)

Publication Number Publication Date
KR101950433B1 true KR101950433B1 (en) 2019-05-02

Family

ID=66581282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180023487A KR101950433B1 (en) 2018-02-27 2018-02-27 Object detection method and device in middle wavelength infrared video

Country Status (1)

Country Link
KR (1) KR101950433B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712101A (en) * 2018-12-20 2019-05-03 沈阳天眼智云信息科技有限公司 Infrared image enhancing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100522203B1 (en) 2003-05-26 2005-10-18 삼성탈레스 주식회사 Methode for processing of contrast in infrared thermal imaging system
KR20130117564A (en) * 2012-04-18 2013-10-28 현대모비스 주식회사 Device for correcting image obtained from camera for vehicle and method for correcting image using the same
KR20150125863A (en) * 2014-04-30 2015-11-10 인하대학교 산학협력단 Apparatus for recognizing of object and method thereof
KR20170121515A (en) * 2016-04-25 2017-11-02 한국과학기술원 Apparatus and method for detecting object of sea based on infrared image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100522203B1 (en) 2003-05-26 2005-10-18 삼성탈레스 주식회사 Methode for processing of contrast in infrared thermal imaging system
KR20130117564A (en) * 2012-04-18 2013-10-28 현대모비스 주식회사 Device for correcting image obtained from camera for vehicle and method for correcting image using the same
KR20150125863A (en) * 2014-04-30 2015-11-10 인하대학교 산학협력단 Apparatus for recognizing of object and method thereof
KR20170121515A (en) * 2016-04-25 2017-11-02 한국과학기술원 Apparatus and method for detecting object of sea based on infrared image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712101A (en) * 2018-12-20 2019-05-03 沈阳天眼智云信息科技有限公司 Infrared image enhancing method

Similar Documents

Publication Publication Date Title
US9635332B2 (en) Saturated pixel recovery in light-field images
EP1528797B1 (en) Image processing apparatus, image-taking system and image processing method
US8599282B2 (en) Method and apparatus for generating image
US9894255B2 (en) Method and system for depth selective segmentation of object
JP2002027491A (en) Image input unit, white balance adjusting method, and computer readable recording medium storing program for executing the method
EP3204812B1 (en) Microscope and method for obtaining a high dynamic range synthesized image of an object
CN109639994B (en) Dynamic adjusting method for exposure time of embedded vehicle-mounted camera
US10346961B2 (en) Enhancing images
US20200404235A1 (en) Device for and method of correcting white balance of image
KR101937249B1 (en) Contrast Enhancement Method and Device based on Image Noise Level for Thermal Imaging Camera
KR101950433B1 (en) Object detection method and device in middle wavelength infrared video
JP2017138927A (en) Image processing device, imaging apparatus, control method and program thereof
JP2004007462A (en) Method for correcting digital image against influence of flare light
KR101950436B1 (en) Object detection device in middle wavelength infrared video
KR20200145670A (en) Device and method for correcting white balance of image
KR101923162B1 (en) System and Method for Acquisitioning HDRI using Liquid Crystal Panel
WO2015154526A1 (en) Color restoration method and apparatus for low-illumination-level video surveillance images
JPWO2016103824A1 (en) Image processing apparatus, image processing method, and program
CN109345602A (en) Image processing method and device, storage medium, electronic equipment
JP2012008845A (en) Image processor
CN114697483B (en) Under-screen camera shooting device and method based on compressed sensing white balance algorithm
JP6504892B2 (en) Imaging device
JP2004222233A (en) Image processing apparatus and image processing program
Thakur et al. Classification of color hazy images
JP6995092B2 (en) Methods and systems for filtering thermal image data