KR101846017B1 - Apparatus and method for generating image with noise - Google Patents

Apparatus and method for generating image with noise Download PDF

Info

Publication number
KR101846017B1
KR101846017B1 KR1020170119427A KR20170119427A KR101846017B1 KR 101846017 B1 KR101846017 B1 KR 101846017B1 KR 1020170119427 A KR1020170119427 A KR 1020170119427A KR 20170119427 A KR20170119427 A KR 20170119427A KR 101846017 B1 KR101846017 B1 KR 101846017B1
Authority
KR
South Korea
Prior art keywords
noise
image
noise image
infrared ray
detector
Prior art date
Application number
KR1020170119427A
Other languages
Korean (ko)
Inventor
이근재
박진호
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020170119427A priority Critical patent/KR101846017B1/en
Application granted granted Critical
Publication of KR101846017B1 publication Critical patent/KR101846017B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

The present invention proposes a noise image generating apparatus and method for generating a noise image by inserting at least one noise selected from different types of noises into an input image before converting the input image. The apparatus according to the present invention includes: a noise image generation unit for generating the noise image by inserting the noise into the input image; a noise image converting unit for converting the noise image; and a noise image outputting unit for outputting the noise image. Accordingly, the present invention can generate and input the noise image with the same quality as an image which is actually obtained in an infrared detector.

Description

노이즈 영상 생성 장치 및 방법 {Apparatus and method for generating image with noise}[0001] Apparatus and method for generating a noise image [0002]

본 발명은 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성 장치 및 방법에 관한 것이다. 보다 상세하게는, 영상 신호 처리기의 성능을 검증하기 위해 노이즈 영상을 생성하는 노이즈 영상 생성 장치 및 방법에 관한 것이다.The present invention relates to a noise image generating apparatus and method for generating a noise image by inserting noise into an input image. And more particularly, to a noise image generating apparatus and method for generating a noise image to verify the performance of a video signal processor.

전자 광학부에 의해 소정의 영상이 획득되면, 영상 탐색기의 영상 신호 처리기는 영상 전처리 알고리즘, 표적 추적 알고리즘 등을 활용하여 표적의 위치 정보를 추출한다. 또한 영상 신호 처리기는 추출된 표적의 위치 정보를 유도 무기의 유도 조종 장치로 전송하여 미사일(missile) 등 유도 무기의 유도 조종에 중요한 정보를 제공한다.When a predetermined image is acquired by the electro-optical unit, the image signal processor of the image searcher extracts the position information of the target using an image preprocessing algorithm, a target tracking algorithm, and the like. In addition, the image signal processor transmits the position information of the extracted target to the induction control device of the guided weapon to provide important information for guiding the guided weapon such as the missile.

그런데 영상 신호 처리기의 표적 정보 추출 성능은 전자 광학부에 의해 획득되는 영상의 품질에 영향을 받으며, 이러한 영상의 품질은 적외선 검출기의 노이즈에 의해 크게 결정된다.However, the target information extraction performance of the image signal processor is affected by the quality of the image obtained by the electro - optical part, and the quality of such image is largely determined by the noise of the infrared detector.

다양한 노이즈 환경에서 영상 신호 처리기의 성능을 검증하기 위해서는 노이즈 레벨별로 각각 저장된 영상이 필요하다. 그러나 종래에는 전자 광학부에 의해 획득된 영상만이 장입되기 때문에, 다양한 노이즈 환경에서 영상 탐색기의 성능을 검증하는 것이 불가능하였다.In order to verify the performance of the video signal processor in various noise environments, images stored in the respective noise levels are required. However, in the related art, only the image acquired by the electro-optical unit is charged, so that it is impossible to verify the performance of the image searcher in various noise environments.

한국공개특허 제2012-0117549호 (공개일 : 2012.10.24.)Korea Open Patent No. 2012-0117549 (Publication date: October 24, 2012)

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 입력 영상을 변환하기 전에 입력 영상에 각기 다른 형태의 노이즈들 중에서 선택된 적어도 하나의 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성 장치 및 방법을 제안하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention is conceived to solve the problems described above, and it is an object of the present invention to provide a noise image generating apparatus and method for generating a noise image by inserting at least one noise selected from different types of noise into an input image, It is aimed to propose.

또한 본 발명은 다양한 노이즈들이 삽입된 노이즈 영상을 이용하여 영상 신호 처리기의 성능을 검증하는 영상 처리기 성능 검증 시스템 및 방법을 제안하는 것을 목적으로 한다.It is another object of the present invention to provide an image processor performance verification system and method for verifying the performance of a video signal processor using noise images with various noise inserted therein.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성부; 상기 노이즈 영상을 변환시키는 노이즈 영상 변환부; 및 상기 노이즈 영상을 출력시키는 노이즈 영상 출력부를 포함하는 것을 특징으로 하는 노이즈 영상 생성 장치를 제안한다.According to an aspect of the present invention, there is provided a noise image generation apparatus comprising: a noise image generation unit for generating a noise image by inserting noise into an input image; A noise image converting unit for converting the noise image; And a noise image output unit for outputting the noise image.

또한 본 발명은 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 단계; 상기 노이즈 영상을 변환시키는 단계; 및 상기 노이즈 영상을 출력시키는 단계를 포함하는 것을 특징으로 하는 노이즈 영상 생성 방법을 제안한다.According to another aspect of the present invention, there is provided a method of generating a noise image, the method comprising: generating a noise image by inserting noise into an input image; Transforming the noise image; And outputting the noise image. According to another aspect of the present invention, there is provided a method for generating a noise image.

또한 본 발명은 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성 장치; 상기 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 노이즈 영상 처리부; 및 상기 입력 영상으로부터 얻은 표적에 대한 정보와 상기 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 상기 노이즈 영상 처리부의 성능을 검증하는 성능 검증부를 포함하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템을 제안한다.The present invention also provides a noise image generating apparatus for generating a noise image by inserting noise into an input image; A noise image processor for processing the noise image to generate information about the target; And a performance verifying unit for verifying the performance of the noise image processing unit by comparing the information about the target obtained from the input image and the information about the target obtained from the noise image.

또한 본 발명은 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 단계; 상기 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 단계; 및 상기 입력 영상으로부터 얻은 표적에 대한 정보와 상기 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 상기 노이즈 영상을 처리하는 장치의 성능을 검증하는 단계를 포함하는 것을 특징으로 하는 영상 처리기 성능 검증 방법을 제안한다.According to another aspect of the present invention, there is provided a method of generating a noise image, the method comprising: generating a noise image by inserting noise into an input image; Processing the noise image to generate information about the target; And verifying the performance of the apparatus for processing the noise image by comparing the information about the target obtained from the input image and the information about the target obtained from the noise image, do.

본 발명은 상기한 목적 달성을 위한 구성들을 통하여 다음과 같은 효과들을 얻을 수 있다.The present invention can achieve the following effects through the configurations for achieving the above object.

첫째, 적외선 검출기에서 실제 획득한 영상과 동일한 품질의 노이즈 영상을 생성하여 장입하는 것이 가능해지며, 탐색기의 표적 추적 알고리즘 개발에 필요한 다양한 영상을 생성하여 장입하는 것이 가능해진다.First, a noise image of the same quality as that of the actual acquired image can be generated and charged in the infrared detector, and various images necessary for developing a target tracking algorithm of the searcher can be generated and charged.

둘째, 노이즈 레벨을 임의로 조정하여 다양한 노이즈 환경에서 영상 신호 처리기의 성능을 평가하는 것이 가능해진다.Second, it is possible to evaluate the performance of the video signal processor in various noise environments by arbitrarily adjusting the noise level.

도 1은 본 발명의 일실시예에 따른 영상 처리 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 일실시예에 따른 영상 장입 장치의 영상 장입 기능을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 영상 장입 장치의 영상 저장 기능을 설명하기 위한 흐름도이다.
도 4는 영상 장입 장치를 구성하는 USB 인터페이스의 내부 구조를 설명하기 위한 개념도이다.
도 5는 영상 장입 장치를 구성하는 송신 모듈의 내부 구조를 설명하기 위한 개념도이다.
도 6은 영상 장입 장치를 구성하는 수신 모듈의 내부 구조를 설명하기 위한 개념도이다.
도 7은 적외선 검출기의 노이즈 모델을 설명하기 위한 참고도이다.
도 8은 본 발명의 일실시예에 따른 노이즈 생성기의 작동 방법을 설명하기 위한 흐름도이다.
도 9는 노이즈를 적용하기 전후의 영상들을 보여주는 참고도이다.
도 10은 본 발명의 바람직한 실시예에 따른 노이즈 영상 생성 장치의 내부 구성들을 개략적으로 도시한 개념도이다.
도 11은 본 발명의 바람직한 실시예에 따른 노이즈 영상 생성 방법을 개략적으로 도시한 흐름도이다.
도 12는 본 발명의 바람직한 실시예에 따른 영상 처리기 성능 검증 시스템의 내부 구성들을 개략적으로 도시한 개념도이다.
도 13은 본 발명의 바람직한 실시예에 따른 영상 처리기 성능 검증 방법을 개략적으로 도시한 흐름도이다.
1 is a conceptual diagram schematically showing an image processing system according to an embodiment of the present invention.
2 is a flowchart illustrating an image charging function of the image charging apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating an image storage function of an image charging apparatus according to an embodiment of the present invention.
4 is a conceptual diagram for explaining an internal structure of a USB interface constituting an image charging device.
5 is a conceptual diagram for explaining an internal structure of a transmission module constituting an image charging device.
6 is a conceptual diagram for explaining an internal structure of a receiving module constituting an image loading device.
7 is a reference diagram for explaining the noise model of the infrared ray detector.
8 is a flowchart illustrating a method of operating a noise generator according to an embodiment of the present invention.
FIG. 9 is a reference view showing images before and after application of noise.
FIG. 10 is a conceptual diagram schematically illustrating internal configurations of a noise image generating apparatus according to a preferred embodiment of the present invention.
11 is a flowchart schematically illustrating a noise image generating method according to a preferred embodiment of the present invention.
FIG. 12 is a conceptual diagram schematically illustrating internal configurations of a video processor performance verification system according to a preferred embodiment of the present invention.
13 is a flowchart schematically illustrating a method of verifying performance of an image processor according to a preferred embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.

본 발명은 별도의 영상 획득을 위한 전자 광학부 없이 임의의 영상에 적외선 검출기의 노이즈 특성을 합성한 영상을 생성하여 영상 신호 처리기의 성능을 확인할 수 있는 영상 장입 장치에 관한 것이다.The present invention relates to an image input device capable of generating an image obtained by synthesizing noise characteristics of an infrared ray detector on an arbitrary image without requiring an electro-optical part for separate image acquisition, and verifying the performance of the image signal processor.

본 발명의 경우 사용자의 필요에 따라 노이즈 레벨을 변경하여 생성 후 영상을 장입 가능함으로써 하나의 영상으로 다양한 노이즈 환경에서의 영상 신호 처리기의 성능 검증이 가능하다.In the case of the present invention, it is possible to change the noise level according to the user's need and to charge the image after generation, so that the performance of the image signal processor in various noise environments can be verified with one image.

또한 본 발명의 경우 적외선 검출기의 주요 노이즈인 암전류 잡음(dark current noise), 포톤 샷 노이즈(photon shot noise), 존슨 잡음(johnson noise), 플리커 잡음(flicker noise or 1/f noise), 프리앰프 잡음(preamplifier noise) 등을 임의로 생성하여 노이즈(noise) 레벨에 따라 영상 신호 처리기의 성능 특성을 확인할 수 있다.Also, in the present invention, the main noise of the infrared detector, such as dark current noise, photon shot noise, johnson noise, flicker noise or 1 / f noise, and preamplifier noise may be arbitrarily generated to check the performance characteristics of the image signal processor according to the noise level.

이하 도면들을 참조하여 적외선 노이즈 합성 기능을 가진 영상 장입 장치에 대하여 설명한다.Hereinafter, an image charging apparatus having an infrared noise synthesizing function will be described with reference to the drawings.

도 1은 본 발명의 일실시예에 따른 영상 처리 시스템을 개략적으로 도시한 개념도이다.1 is a conceptual diagram schematically showing an image processing system according to an embodiment of the present invention.

도 1에 따르면, 영상 처리 시스템(100)은 영상 장입 통제기(110), 영상 저장 통제기(120), 영상 장입 장치(130) 및 영상 신호 처리기(140)를 포함한다.1, the image processing system 100 includes an image charge controller 110, an image storage controller 120, an image charging device 130, and an image signal processor 140.

영상 장입 통제기(110)는 장입 대상 영상을 영상 장입 장치(130)로 전송하는 기능을 수행한다. 이러한 영상 장입 통제기(110)는 노트북이나 PC로 구현될 수 있다. 영상 장입 통제기(110)가 USB 3.0 포트를 지원하는 노트북으로 구현되는 경우, 영상 장입 통제기(110)는 USB 3.0 인터페이스를 통해 장입 대상 영상을 영상 장입 장치(130)로 전송할 수 있다.The image charging controller 110 transmits the charging object image to the image charging apparatus 130. The image charging controller 110 may be implemented by a notebook computer or a PC. When the image charging controller 110 is implemented as a notebook supporting the USB 3.0 port, the image charging controller 110 may transmit the charging object image to the image charging apparatus 130 through the USB 3.0 interface.

영상 저장 통제기(120)는 영장 장입 장치(130)로부터 수신된 영상을 저장하는 기능을 수행한다. 영상 저장 통제기(120)도 노트북이나 PC로 구현될 수 있으며, 영상 저장 통제기(120)가 USB 3.0 포트를 지원하는 노트북으로 구현되는 경우, 영상 저장 통제기(120)는 USB 3.0 통신을 통해 영상 장입 장치(130)로부터 전달받은 영상을 저장할 수 있다.The image storage controller 120 performs a function of storing images received from the warrant charging device 130. The image storage controller 120 may be implemented as a notebook computer or a PC and when the image storage controller 120 is implemented as a notebook that supports a USB 3.0 port, And may store the image received from the controller 130.

영상 장입 장치(130)는 영상 장입 통제기(110)로부터 수신된 영상을 변환하며, 수신 영상을 변환할 때 이 수신 영상에 적외선 검출기의 특성 노이즈와 동일한 효과를 추가하여 영상 탐색기(미도시)의 전자 광학 헤드를 모사하는 기능을 수행한다. 영상 장입 장치(130)는 수신 영상에 적외선 검출기의 특성 노이즈와 동일한 효과를 추가하기 위해 노이즈 생성기를 구비한다. 이러한 영상 장입 장치(130)는 FPGA 형태로 구현될 수 있다.The image charging apparatus 130 converts the image received from the image charging controller 110 and adds the same effect as the characteristic noise of the infrared detector to the received image when converting the received image, And performs a function of copying the optical head. The image charging apparatus 130 includes a noise generator for adding the same effect as the characteristic noise of the infrared detector to the reception image. The video-recording apparatus 130 may be implemented in an FPGA form.

영상 장입 장치(130)는 영상 장입 통제기(110)로부터 수신된 아날로그 영상 신호를 디지털 영상 신호로 변환하여 영상 탐색기의 전자 광학 헤드를 모사할 수 있다. 일례로 영상 장입 장치(130)는 USB 신호를 LVDS(Low Voltage Differential Signaling) 신호로 변환하여 영상 탐색기의 전자 광학 헤드를 모사할 수 있다.The image charging apparatus 130 may convert an analog image signal received from the image charge controller 110 into a digital image signal to simulate an electro-optical head of the image searcher. For example, the image charging device 130 may convert the USB signal to a low voltage differential signaling (LVDS) signal to simulate the electro-optical head of the image searcher.

USB 신호를 LVDS 신호로 변환하여 영상 탐색기의 전자 광학 헤드를 모사하는 경우, 영상 장입 장치(130)는 USB 인터페이스(USB I/F; 131), LVDS 인터페이스(LVDS I/F; 132), 송신 모듈(TX module; 133) 및 수신 모듈(RX module; 134)을 포함할 수 있다. 영상 장입 장치(130)의 내부 구조에 대해서는 후술한다.When the USB signal is converted into the LVDS signal to simulate the electro-optical head of the image searcher, the image charging device 130 includes a USB interface (USB I / F) 131, an LVDS interface (LVDS I / F) 132, (TX) module 133 and a receiving module (RX module) The internal structure of the video recording apparatus 130 will be described later.

영상 신호 처리기(140)는 영상 탐색기용 영상 신호 처리기로서, 영상 장입 장치(130)로부터 입력된 영상을 외부에서 저장할 수 있도록 원 영상(raw data) 그대로 영상 장입 장치(130)로 전송하는 기능을 수행한다. 일례로 영상 신호 처리기(140)는 LVDS 영상 신호를 동일한 형식의 LVDS 영상 신호로 영상 장입 장치(130)로 전송할 수 있다.The image signal processor 140 is a video signal processor for an image searcher and transmits the raw image data to the image input device 130 so that the image input from the image input device 130 can be stored externally do. For example, the video signal processor 140 may transmit the LVDS video signal to the video recording apparatus 130 as an LVDS video signal of the same format.

한편 영상 장입 장치(130)는 영상 신호 처리기(140)로부터 입력된 영상 신호를 변환하여 영상 저장 통제기(120)로 전송한다. 일례로 영상 장입 장치(130)는 LVDS 영상 신호를 USB 영상 신호로 변환하여 영상 저장 통제기(120)로 전송할 수 있다.Meanwhile, the image charging device 130 converts the image signal input from the image signal processor 140 and transmits the converted image signal to the image storage controller 120. For example, the image charging device 130 may convert an LVDS image signal to a USB image signal and transmit the image signal to the image storage controller 120.

영상 장입 장치(130)는 영상 장입 통제기(110)로부터 전달받은 영상을 변환하여 영상 신호 처리기(140)에 영상을 장입하는 기능 및 저장하는 기능을 동시에 수행한다.The image charging device 130 converts the image transferred from the image charging controller 110 to charge the image signal processor 140 and charges the image.

영상 장입 장치(130)는 장입시 적외선 검출기의 특성 노이즈를 추가하여 실제 검출기에서 획득한 영상과 흡사한 영상 품질을 만들어서 장입이 가능하며, 필요에 따라 노이즈 레벨을 조정함으로써 다양한 노이즈 환경에서의 영상 신호 처리기(140)의 성능 평가가 가능하다.The video image recording apparatus 130 can add a characteristic noise of an infrared ray detector at the time of arrival to create an image quality similar to an image acquired by an actual detector and charge the image. The performance evaluation of the processor 140 is possible.

영상 장입 기능을 수행하는 경우, 영상 장입 장치(130)는 구체적으로 다음과 같은 기능들을 수행할 수 있다.In the case of performing the image charging function, the image charging apparatus 130 can perform the following functions in detail.

첫째, 영상 장입 장치(130)는 사용자의 선택에 따라 영상을 장입할 수 있다.First, the image charging device 130 can charge an image according to a user's selection.

둘째, 영상 장입 장치(130)는 영상을 메모리(ex. DDR3 RAM)에 저장 장입한다.Second, the image charging device 130 stores the image in a memory (ex. DDR3 RAM).

셋째, 영상 장입 장치(130)는 노이즈를 생성하여 영상에 합성한 후 영상을 장입한다.Third, the image charging device 130 generates noise, synthesizes the image, and then charges the image.

넷째, 영상 장입 장치(130)는 USB 3.0 포트를 이용하여 소정 크기의 영상(ex. 640 × 481 × 14 bit × 50 Hz)을 장입한다.Fourth, the image charging apparatus 130 charges a predetermined size image (eg, 640 × 481 × 14 bit × 50 Hz) using a USB 3.0 port.

또한 영상 저장 기능을 수행하는 경우, 영상 장입 장치(130)는 구체적으로 다음과 같은 기능들을 수행할 수 있다.In addition, when performing the image storage function, the image charging apparatus 130 can perform the following functions in detail.

첫째, 영상 장입 장치(130)는 영상 신호 처리기(140)로부터 출력되는 영상을 동시에 저장 가능하다.First, the image charging device 130 can simultaneously store images output from the image signal processor 140.

둘째, 영상 장입 장치(130)는 영상을 메모리(ex. DDR3 RAM)에 저장 전달한다.Second, the image charging device 130 stores and transfers the image to a memory (e.g., DDR3 RAM).

셋째, 영상 장입 장치(130)는 FPGA를 통하여 영상을 영상 저장 통제기(120)로 전달한다. 영상 장입 장치(130)는 USB 3.0 100Hz로 영상을 영상 저장 통제기(120)로 전달할 수 있다.Third, the image charging apparatus 130 transfers the image to the image storage controller 120 through the FPGA. The image charging apparatus 130 may transfer the image to the image storage controller 120 at USB 3.0 100 Hz.

영상 장입 장치(130)는 영상 장입 기능을 수행할 때 다음 순서에 따라 작동할 수 있다.The video recording apparatus 130 may operate in the following order when performing the video recording function.

도 2는 본 발명의 일실시예에 따른 영상 장입 장치의 영상 장입 기능을 설명하기 위한 흐름도이다.2 is a flowchart illustrating an image charging function of the image charging apparatus according to an embodiment of the present invention.

먼저 영상 장입 장치(130)는 영상 장입 통제기(110)와 영상 장입 장치(130) 사이의 TX USB 연결을 확인한다(S205).First, the video charging device 130 confirms a TX USB connection between the video charging controller 110 and the video charging device 130 (S205).

연결이 확인되면, 영상 장입 장치(130)는 트랜스미터(transmitter)를 활성화시킨다(S215). 반면 연결이 확인되지 않으면, 영상 장입 장치(130)는 트랜스미터의 비활성화를 유지하며(S210), TX USB 연결을 재확인한다(S205).If the connection is confirmed, the image-recording apparatus 130 activates a transmitter (S215). On the other hand, if the connection is not confirmed, the image charging device 130 maintains deactivation of the transmitter (S210) and reaffirms the TX USB connection (S205).

트랜스미터가 활성화되면, 영상 장입 장치(130)는 노이즈 적용 여부를 선택한다(S220).When the transmitter is activated, the image charging apparatus 130 selects whether to apply the noise (S220).

영상 장입 장치(130)는 노이즈를 적용 선택시 입력 영상에 노이즈 모델을 생성하여 추가한다(S225).The image charging apparatus 130 generates and adds a noise model to the input image when the noise is applied (S225).

이후 영상 장입 장치(130)는 영상 장입 모드를 활성화시키며(S230), 각 채널별 영상을 선택하여(S235, S245) 로드할 수 있다(S240a, S250a).Thereafter, the image charging apparatus 130 activates the image charging mode (S230), and selects an image for each channel (S235, S245) (S240a, S250a).

반면 영상 장입 장치(130)가 각 채널별 영상을 선택하지 않으면 디폴트(default) 영상인 기본 패턴 영상이 로드된다(S240b, S250b).On the other hand, if the image charging apparatus 130 does not select an image for each channel, a basic pattern image which is a default image is loaded (S240b, S250b).

모든 채널에 대하여 선택이 완료되면, 영상 장입 장치(130)는 영상 장입을 시작한다(S255).When the selection is completed for all the channels, the video charging apparatus 130 starts charging video (S255).

영상 장입 장치(130)의 영상 장입 기능은 사용자의 요청에 따라 종료될 수 있다.The image charging function of the image charging apparatus 130 may be terminated at the request of the user.

한편 영상 장입 장치(130)는 영상 저장 기능을 수행할 때 다음 순서에 따라 작동할 수 있다.On the other hand, the video-recording apparatus 130 can operate in the following order when performing an image storage function.

도 3은 본 발명의 일실시예에 따른 영상 장입 장치의 영상 저장 기능을 설명하기 위한 흐름도이다.3 is a flowchart illustrating an image storage function of an image charging apparatus according to an embodiment of the present invention.

먼저 영상 장입 장치(130)는 영상 저장 통제기(120)와 영상 장입 장치(130) 사이의 RX USB 연결을 확인한다(S310).First, the video charging device 130 confirms an RX USB connection between the video storage controller 120 and the video charging device 130 (S310).

연결이 확인되면, 영상 장입 장치(130)는 리시버(receiver)를 활성화시키지만(S330), 연결이 확인되지 않으면 리시버의 비활성화를 유지하며(S320) RX USB 연결을 재확인한다(S310).If the connection is confirmed, the video charging apparatus 130 activates the receiver (S330), but if the connection is not confirmed, the receiver is deactivated (S320) and the RX USB connection is reconfirmed (S310).

리시버가 활성화되면, 영상 장입 장치(130)는 영상 저장을 시작한다(S340).When the receiver is activated, the image charging apparatus 130 starts image storage (S340).

영상 장입 장치(130)의 영상 저장 기능은 영상 장입 기능과 마찬가지로 사용자의 요청에 따라 종료될 수 있다.The image storage function of the image charging device 130 may be terminated at the request of the user as well as the image charging function.

다음으로 앞서 후술하기로 했던 영상 장입 장치(130)의 내부 구조에 대하여 설명한다.Next, the internal structure of the video recording apparatus 130, which will be described later, will be described.

도 4는 영상 장입 장치를 구성하는 USB 인터페이스의 내부 구조를 설명하기 위한 개념도이다.4 is a conceptual diagram for explaining an internal structure of a USB interface constituting an image charging device.

USB 인터페이스(131)는 영상 장입 통제기(110), 영상 저장 통제기(120) 등에 구비되어 있는 USB 트랜시버(USB transceiver)와 인터페이스하기 위해 제1 FSM(410)와 제2 FSM(420)을 구비한다.The USB interface 131 includes a first FSM 410 and a second FSM 420 to interface with a USB transceiver included in the image charging controller 110 and the image storage controller 120.

제1 FSM(410)은 USB 슬레이브(slave) FIFO FSM(Finite State Machine)으로서, USB 트랜시버 슬레이브 FIFO와의 통신을 담당한다.The first FSM 410 is a USB slave FIFO finite state machine (FSM) and is responsible for communication with the USB transceiver slave FIFO.

제2 FSM(420)은 FPGA FIFO 상태(state) FSM으로서, USB 트랜시버로부터 전달받은 데이터를 저장하는 기능을 수행한다. 또한 제2 FSM(420)은 DDR 메모리로부터 전달된 데이터를 USB 트랜시버로 전송하기 위한 FPGA 내부의 FIFO 상태를 알리는 기능을 수행한다.The second FSM 420 is an FPGA FIFO state FSM, and stores data received from the USB transceiver. In addition, the second FSM 420 functions to notify the FIFO state inside the FPGA for transmitting the data transferred from the DDR memory to the USB transceiver.

도 5는 영상 장입 장치를 구성하는 송신 모듈의 내부 구조를 설명하기 위한 개념도이다.5 is a conceptual diagram for explaining an internal structure of a transmission module constituting an image charging device.

도 5에 따르면, 송신 모듈(133)은 제1 저장 제어 블록(511), 제1 메모리 컨트롤러(512), 제1 노이즈 생성기(513), 제1 데이터 전송 제어 블록(514), 제2 저장 제어 블록(521), 제2 메모리 컨트롤러(522), 제2 노이즈 생성기(523) 및 제2 데이터 전송 제어 블록(524)를 포함한다.5, the transmission module 133 includes a first storage control block 511, a first memory controller 512, a first noise generator 513, a first data transmission control block 514, Block 521, a second memory controller 522, a second noise generator 523, and a second data transfer control block 524.

제1 저장 제어 블록(1ch TX FIFO to Mem block; 511)은 USB 인터페이스(131)로부터 전달받은 데이터를 영상 신호 처리기(140)로 전달하기 위해 USB 트랜시버 슬레이브 FIFO(USB transceiver slave FIFO)에서 DDR3 메모리로 저장하는 기능을 수행한다.The first storage control block (1ch TX FIFO to Mem block) 511 transfers data from the USB transceiver slave FIFO to the DDR3 memory in order to transfer the data received from the USB interface 131 to the video signal processor 140 .

제1 메모리 컨트롤러(DDR3 controller; 512)는 DDR3 메모리와의 인터페이스(I/F) 역할을 담당하는 것이다. 제1 저장 제어 블록(511)은 이러한 제1 메모리 컨트롤러(512)를 통해 DDR3 메모리에 데이터를 저장한다. 제1 메모리 컨트롤러(512)는 Xilinx MIG IP를 활용하여 설계될 수 있다.The first memory controller (DDR3 controller) 512 serves as an interface (I / F) with the DDR3 memory. The first storage control block 511 stores data in the DDR3 memory through the first memory controller 512. [ The first memory controller 512 may be designed utilizing Xilinx MIG IP.

제1 노이즈 생성기(3-D Noise Gen; 513)는 제1 저장 제어 블록(511) 및 제1 메모리 컨트롤러(512)를 거쳐 입력된 데이터에 노이즈를 추가하는 기능을 수행한다. 이러한 제1 노이즈 생성기(513)는 적외선 검출기의 특성 노이즈인 노이즈 모델을 생성하여 이 노이즈 모델을 입력 영상에 추가하는 기능을 수행한다.The first noise generator (3-D Noise Gen) 513 performs a function of adding noise to data input through the first storage control block 511 and the first memory controller 512. The first noise generator 513 generates a noise model, which is characteristic noise of the infrared detector, and adds the noise model to the input image.

제1 데이터 전송 제어 블록(1ch TX Mem to FIFO; 514)은 LVDS 신호의 타이밍(LVDS timing)을 고려하여 제1 노이즈 생성기(513)에 의해 노이즈가 추가된 데이터를 LVDS 인터페이스(132)를 거쳐 영상 신호 처리기(140)로 전송하는 기능을 수행한다. 제1 데이터 전송 제어 블록(514)의 이러한 기능은 LVDS 인터페이스(132)의 제1 TX 모듈(1ch TX module)에서 제1 직렬 변환기(1ch LVDS serializer)로 데이터를 전송하기 위한 것이다.The first data transmission control block (1ch TX Mem to FIFO) 514 receives the noise added data by the first noise generator 513 in consideration of the LVDS timing of the LVDS signal through the LVDS interface 132, And transmits it to the signal processor 140. This function of the first data transfer control block 514 is for transferring data from the first TX module (1ch LVDS serializer) of the LVDS interface 132 to the first serial converter (1ch LVDS serializer).

제2 저장 제어 블록(521), 제2 메모리 컨트롤러(522), 제2 노이즈 생성기(523) 및 제2 데이터 전송 제어 블록(524)은 제1 저장 제어 블록(511), 제1 메모리 컨트롤러(512), 제1 노이즈 생성기(513) 및 제1 데이터 전송 제어 블록(514)와 동일한 기능을 수행하는 것들이다. 자세하게는 다음과 같은 기능들을 수행한다.The second storage controller 521, the second memory controller 522, the second noise generator 523 and the second data transmission control block 524 are connected to a first storage control block 511, a first memory controller 512 ), The first noise generator 513, and the first data transmission control block 514. In detail, it performs the following functions.

제2 저장 제어 블록(2ch TX FIFO to Mem block; 521)은 제1 저장 제어 블록(511)과 마찬가지로 USB 인터페이스(131)로부터 전달받은 데이터를 영상 신호 처리기(140)로 전달하기 위해 USB 트랜시버 슬레이브 FIFO(USB transceiver slave FIFO)에서 DDR3 메모리로 저장하는 기능을 수행한다.Similarly to the first storage control block 511, the second storage control block (2ch TX FIFO to Mem block) 521 is connected to the USB transceiver slave FIFO 521 to transfer the data received from the USB interface 131 to the video signal processor 140. [ (USB transceiver slave FIFO) to DDR3 memory.

제2 메모리 컨트롤러(DDR3 controller; 522)는 제1 메모리 컨트롤러(512)와 마찬가지로 DDR3 메모리와의 인터페이스(I/F) 역할을 담당하는 것이다. 제2 저장 제어 블록(521)은 이러한 제2 메모리 컨트롤러(522)를 통해 DDR3 메모리에 데이터를 저장한다.The second memory controller (DDR3 controller) 522 functions as an interface (I / F) with the DDR3 memory in the same manner as the first memory controller 512. The second storage control block 521 stores data in the DDR3 memory through the second memory controller 522. [

제2 노이즈 생성기(3-D Noise Gen; 523)는 제2 저장 제어 블록(521) 및 제2 메모리 컨트롤러(522)를 거쳐 입력된 데이터에 노이즈를 추가하는 기능을 수행한다. 이러한 제2 노이즈 생성기(523)는 적외선 검출기의 특성 노이즈인 노이즈 모델을 생성하여 이 노이즈 모델을 입력 영상에 추가하는 기능을 수행한다.The second noise generator (3-D noise generator) 523 performs a function of adding noise to the data input through the second storage control block 521 and the second memory controller 522. The second noise generator 523 generates a noise model, which is characteristic noise of the infrared detector, and adds the noise model to the input image.

제2 데이터 전송 제어 블록(2ch TX Mem to FIFO; 524)은 LVDS 신호의 타이밍을 고려하여 제2 노이즈 생성기(523)에 의해 노이즈가 추가된 데이터를 LVDS 인터페이스(132)를 거쳐 영상 신호 처리기(140)로 전송하는 기능을 수행한다. 제2 데이터 전송 제어 블록(524)의 이러한 기능은 LVDS 인터페이스(132)의 제2 TX 모듈(2ch TX module)에서 제2 직렬 변환기(2ch LVDS serializer)로 데이터를 전송하기 위한 것이다.The second data transmission control block (2ch TX Mem to FIFO) 524 receives the noise-added data by the second noise generator 523 in consideration of the timing of the LVDS signal through the LVDS interface 132, ). ≪ / RTI > This function of the second data transfer control block 524 is for transferring data from the second TX module of the LVDS interface 132 to the second serial LVDS serializer.

도 5에서는 송신 모듈(133)에 구비되는 저장 제어 블록으로 제1 저장 제어 블록(511)과 제2 저장 제어 블록(521)을 도시하였는데, 본 발명이 이에 한정되는 것은 아니다. 일례로 송신 모듈(133)은 한 개의 저장 제어 블록을 구비하거나 세 개 이상의 저장 제어 블록들을 구비하는 것도 가능하다.5, the first storage control block 511 and the second storage control block 521 are illustrated as storage control blocks included in the transmission module 133, but the present invention is not limited thereto. For example, the transmission module 133 may have one storage control block or three or more storage control blocks.

송신 모듈(133)에서 메모리 컨트롤러, 노이즈 생성기, 데이터 전송 제어 블록 등은 저장 제어 블록과 동일 개수 구비된다. 그러나 본 발명에서 메모리 컨트롤러, 노이즈 생성기, 데이터 전송 제어 블록 등은 저장 제어 블록보다 적은 개수 구비되는 것도 가능하다.In the transmission module 133, a memory controller, a noise generator, a data transmission control block, and the like are provided in the same number as the storage control block. However, in the present invention, it is possible to provide a smaller number of memory controllers, noise generators, data transfer control blocks, etc. than the storage control blocks.

도 6은 영상 장입 장치를 구성하는 수신 모듈의 내부 구조를 설명하기 위한 개념도이다.6 is a conceptual diagram for explaining an internal structure of a receiving module constituting an image loading device.

도 6에 따르면, 수신 모듈(134)은 제3 저장 제어 블록(611), 제3 메모리 컨트롤러(612), 제3 데이터 전송 제어 블록(613), 제4 저장 제어 블록(621), 제4 메모리 컨트롤러(622), 제4 데이터 전송 제어 블록(623), 제5 저장 제어 블록(631), 제5 메모리 컨트롤러(632) 및 제5 데이터 전송 제어 블록(633)을 포함한다.6, the receiving module 134 includes a third storage control block 611, a third memory controller 612, a third data transmission control block 613, a fourth storage control block 621, A fourth data transfer control block 623, a fifth storage control block 631, a fifth memory controller 632 and a fifth data transfer control block 633. The controller 622, the fourth data transfer control block 623, the fifth storage control block 631,

제3 저장 제어 블록(1ch RX FIFO to Mem block; 611)은 LVDS 신호의 타이밍을 고려하여 제1 직병렬 변환기(1ch LVDS deserializer)로부터 LVDS 인터페이스(132)의 제1 RX 모듈(1ch RX module)을 거쳐 수신되는 데이터를 획득하는 기능을 수행한다. 제3 저장 제어 블록(611)은 이렇게 획득된 데이터를 제3 메모리 컨트롤러(612)를 이용하여 DDR3 메모리에 저장하는 기능을 수행한다.The third storage control block (1ch RX FIFO to Mem block) 611 receives the first RX module (1ch RX module) of the LVDS interface 132 from the first serializer (1ch LVDS deserializer) in consideration of the timing of the LVDS signal And acquires data received via the network. The third storage control block 611 stores the acquired data in the DDR3 memory using the third memory controller 612. [

제3 메모리 컨트롤러(612)는 제1 메모리 컨트롤러(512)와 동일하게 Xilinx MIG IP를 활용하여 설계될 수 있다.The third memory controller 612 may be designed using the Xilinx MIG IP in the same manner as the first memory controller 512.

제3 데이터 전송 제어 블록(1ch RX Mem to FIFO block; 613)은 DDR3 메모리에 저장된 영상 데이터를 독출하는 기능을 수행한다. 또한 제3 데이터 전송 제어 블록(613)은 FIFO를 이용하여 영상 데이터를 영상 저장 통제기(120)의 USB 트랜시버로 전송하는 기능을 수행한다.The third data transfer control block (1ch RX Mem to FIFO block) 613 reads the image data stored in the DDR3 memory. The third data transfer control block 613 transfers the image data to the USB transceiver of the image storage controller 120 using the FIFO.

제4 저장 제어 블록(621), 제4 메모리 컨트롤러(622) 및 제4 데이터 전송 제어 블록(623)은 제3 저장 제어 블록(611), 제3 메모리 컨트롤러(612) 및 제3 데이터 전송 제어 블록(613)과 동일한 기능을 수행하는 것이다. 마찬가지로, 제5 저장 제어 블록(631), 제5 메모리 컨트롤러(632) 및 제5 데이터 전송 제어 블록(633)도 제3 저장 제어 블록(611), 제3 메모리 컨트롤러(612) 및 제3 데이터 전송 제어 블록(613)과 동일한 기능을 수행하는 것이다. 자세하게는 다음과 같은 기능을 수행한다.The fourth storage control block 621, the fourth memory controller 622 and the fourth data transfer control block 623 are connected to the third storage control block 611, the third memory controller 612, (613). Similarly, the fifth storage control block 631, the fifth memory controller 632 and the fifth data transfer control block 633 are also connected to the third storage control block 611, the third memory controller 612, And performs the same function as the control block 613. In detail, it performs the following functions.

제4 저장 제어 블록(2ch RX FIFO to Mem block; 621)은 LVDS 신호의 타이밍을 고려하여 제2 직병렬 변환기(2ch LVDS deserializer)로부터 LVDS 인터페이스(132)의 제2 RX 모듈(2ch RX module)을 거쳐 수신되는 데이터를 획득하는 기능을 수행한다. 제4 저장 제어 블록(621)은 이렇게 획득된 데이터를 제4 메모리 컨트롤러(622)를 이용하여 DDR3 메모리에 저장하는 기능을 수행한다.The fourth storage control block (2ch RX FIFO to Mem block) 621 receives the second RX module (2ch RX module) of the LVDS interface 132 from the second serializer (2ch LVDS deserializer) in consideration of the timing of the LVDS signal And acquires data received via the network. The fourth storage control block 621 stores the acquired data in the DDR3 memory using the fourth memory controller 622. [

제4 메모리 컨트롤러(622)는 제2 메모리 컨트롤러(522)와 동일하게 Xilinx MIG IP를 활용하여 설계될 수 있다.The fourth memory controller 622 can be designed using the Xilinx MIG IP in the same manner as the second memory controller 522. [

제4 데이터 전송 제어 블록(2ch RX Mem to FIFO block; 623)은 DDR3 메모리에 저장된 영상 데이터를 독출하는 기능을 수행한다. 또한 제4 데이터 전송 제어 블록(623)은 FIFO를 이용하여 영상 데이터를 영상 저장 통제기(120)의 USB 트랜시버로 전송하는 기능을 수행한다.The fourth data transfer control block (2ch RX Mem to FIFO block) 623 reads the image data stored in the DDR3 memory. The fourth data transfer control block 623 transfers the image data to the USB transceiver of the image storage controller 120 using the FIFO.

제5 저장 제어 블록(3ch RX FIFO to Mem block; 631)은 LVDS 신호의 타이밍을 고려하여 제3 직병렬 변환기(3ch LVDS deserializer)로부터 LVDS 인터페이스(132)의 제3 RX 모듈(3ch RX module)을 거쳐 수신되는 데이터를 획득하는 기능을 수행한다. 제5 저장 제어 블록(631)은 이렇게 획득된 데이터를 제5 메모리 컨트롤러(632)를 이용하여 DDR3 메모리에 저장하는 기능을 수행한다.The fifth storage control block (3ch RX FIFO to Mem block) 631 receives the third RX module (3ch RX module) of the LVDS interface 132 from the third serial LVDS deserializer in consideration of the timing of the LVDS signal And acquires data received via the network. The fifth storage control block 631 stores the acquired data in the DDR3 memory using the fifth memory controller 632. [

제5 메모리 컨트롤러(632)는 제2 메모리 컨트롤러(522)와 동일하게 Xilinx MIG IP를 활용하여 설계될 수 있다.The fifth memory controller 632 may be designed using the Xilinx MIG IP in the same manner as the second memory controller 522. [

제5 데이터 전송 제어 블록(3ch RX Mem to FIFO block; 633)은 DDR3 메모리에 저장된 영상 데이터를 독출하는 기능을 수행한다. 또한 제5 데이터 전송 제어 블록(633)은 FIFO를 이용하여 영상 데이터를 영상 저장 통제기(120)의 USB 트랜시버로 전송하는 기능을 수행한다.The fifth data transfer control block (3ch RX Mem to FIFO block) 633 reads the image data stored in the DDR3 memory. The fifth data transfer control block 633 transfers the image data to the USB transceiver of the image storage controller 120 using the FIFO.

도 6에서는 수신 모듈(134)이 제3 저장 제어 블록(611), 제4 저장 제어 블록(621), 제5 저장 제어 블록(631) 등 세 개의 저장 제어 블록을 구비하는 경우를 일례로 설명하고 있다. 그러나 본 발명이 이에 한정되는 것은 아니다. 즉 수신 모듈(134)은 한 개 또는 두 개의 저장 제어 블록을 구비하거나 네 개 이상의 저장 제어 블록들을 구비하는 것도 가능하다.6, a case where the receiving module 134 includes three storage control blocks including a third storage control block 611, a fourth storage control block 621, and a fifth storage control block 631 will be described as an example have. However, the present invention is not limited thereto. That is, the receiving module 134 may include one or two storage control blocks or four or more storage control blocks.

수신 모듈(134)에서 메모리 컨트롤러, 데이터 전송 제어 블록 등은 저장 제어 블록과 동일 개수 구비된다. 그러나 본 발명에서 메모리 컨트롤러, 데이터 전송 제어 블록 등은 저장 제어 블록보다 적은 개수 구비되는 것도 가능하다.In the reception module 134, a memory controller, a data transmission control block, and the like are provided in the same number as the storage control block. However, in the present invention, it is possible to provide a smaller number of memory controllers, data transfer control blocks, etc. than the storage control blocks.

다음으로 영상 장입 장치(130)의 송신 모듈(133)에 구비되는 노이즈 생성기에 대하여 설명한다. 도 5에서 제1 노이즈 생성기(513)와 제2 노이즈 생성기(523)는 동일한 기능을 수행하므로, 이하에서는 제1 노이즈 생성기(513)를 일례로 들어 설명하기로 한다.Next, the noise generator included in the transmission module 133 of the video recording apparatus 130 will be described. In FIG. 5, the first noise generator 513 and the second noise generator 523 perform the same function. Hereinafter, the first noise generator 513 will be described as an example.

제1 노이즈 생성기(513)는 노이즈 모델을 생성하여 영상 데이터에 추가하는 기능을 수행한다. 이러한 제1 노이즈 생성기(513)는 적외선 검출기의 출력과 관련된 노이즈 모델을 생성하여 영상 데이터에 추가할 수 있다.The first noise generator 513 generates a noise model and adds the noise model to the image data. The first noise generator 513 may generate a noise model related to the output of the infrared detector and add the noise model to the image data.

먼저 적외선 검출기의 출력 모델에 대하여 설명한다.First, the output model of the infrared ray detector will be described.

적외선 검출기의 출력은 다음 수학식 1과 같이 나타낼 수 있다.The output of the infrared detector can be expressed as: < EMI ID = 1.0 >

Figure 112017090407417-pat00001
Figure 112017090407417-pat00001

상기에서 s(v, h, Ts)는 적외선 검출기의 (v, h) 위치 픽셀에서의 영상 신호를 의미한다. 여기서 h는 수평 방향으로의 픽셀 수를 의미하며, v는 수직 방향으로의 픽셀 수를 의미한다.In the above, s (v, h, T s ) denotes an image signal at the (v, h) position pixel of the infrared detector. Where h denotes the number of pixels in the horizontal direction and v denotes the number of pixels in the vertical direction.

n(t, v, h, TS, TD, Tf)는 적외선 검출기의 랜덤 노이즈 신호(random noise signal)를 의미한다. 여기서 TS는 소스의 온도를 의미하며, TD는 적외선 검출기의 온도를 의미한다. 그리고 Tf는 피드백 저항(feedback resistor)의 온도를 의미한다.n (t, v, h, T S , T D , T f ) denotes a random noise signal of the infrared detector. Where T S means the temperature of the source and T D means the temperature of the infrared detector. And T f is the temperature of the feedback resistor.

G(v, h)는 적외선 검출기의 이득(gain)을 의미하며, F(v, h)는 적외선 검출기의 오프셋(offset)을 의미한다.G (v, h) denotes the gain of the infrared detector, and F (v, h) denotes the offset of the infrared detector.

소스의 온도가 TS인 적외선 검출기에 입사되는 광자속(photon flux)에 의해 생성되는 영상 광전류(image photocurrent)는 다음 수학식 2와 같이 정의된다.The image photocurrent generated by the photon flux incident on the infrared detector having the source temperature T s is defined by the following equation (2).

Figure 112017090407417-pat00002
Figure 112017090407417-pat00002

상기에서 η는 적외선 검출기의 양자 효율을 의미한다. q는 전하를 의미하며, φP(v, h, TS)는 적외선 검출기의 광자속(photon flux)을 의미한다.In the above,? Represents the quantum efficiency of the infrared detector. q is the charge, and φ P (v, h, T S ) is the photon flux of the infrared detector.

적외선 검출기의 광자속은 다음 수학식 3과 같이 정의된다.The photon flux of the infrared detector is defined by the following equation (3).

Figure 112017090407417-pat00003
Figure 112017090407417-pat00003

상기에서 λmax는 컷오프(cutoff) 파장의 최대값을 의미하며, λmin은 컷오프 파장의 최소값을 의미한다. 또한 Lq는 복사 휘도를 의미하며, τW는 창 투과율을 의미한다. 또한 τOPTICS는 렌즈 투과율을 의미하며, τCF는 콜드 필터 투과율을 의미한다. 또한 τFPA는 FPA 투과율을 의미하며, Ad는 적외선 검출기의 픽셀 면적을 의미한다. 또한 f/#은 적외선 검출기의 f-number를 의미한다.In the above,? Max denotes the maximum value of the cutoff wavelength, and? Min denotes the minimum value of the cutoff wavelength. Lq denotes the radiant luminance, and τ W denotes the window transmittance. Also, τ OPTICS means lens permeability and τ CF means cold filter transmittance. Also, τ FPA means the FPA transmittance and A d means the pixel area of the infrared detector. Also, f / # means the f-number of the infrared detector.

다음으로 적외선 검출기의 출력 모델을 기초로 제1 노이즈 생성기(513)에 의해 생성되는 적외선 검출기의 노이즈 모델에 대하여 설명한다.Next, the noise model of the infrared ray detector generated by the first noise generator 513 based on the output model of the infrared ray detector will be described.

적외선 검출기의 노이즈(noise)는 크게 암전류 노이즈(dark current noise), 포톤 노이즈(photon noise), 존슨 노이즈(johnson noise), 플리커 노이즈(1/f noise, flicker noise), 프리앰프 노이즈(preamplifier noise) 등으로 구분된다.The noise of the infrared detector is largely divided into dark current noise, photon noise, johnson noise, 1 / f noise, flicker noise, preamplifier noise, .

본 발명에서 제1 노이즈 생성기(513)는 이러한 노이즈들을 임의로 생성한 후 영상 데이터에 합성하여 노이즈 영상을 생성한다. 이를 수학식으로 나타내면 다음과 같다.In the present invention, the first noise generator 513 randomly generates such noise, and then synthesizes the noise to image data to generate a noise image. This can be expressed by the following equation.

Figure 112017090407417-pat00004
Figure 112017090407417-pat00004

암전류 노이즈(dark current noise)는 이상적으로는 적외선 검출기의 각 픽셀별 암전류(dark current)가 동일하여야 하나, 실제 환경에서는 암전류(dark current)의 요동(fluctuation)이 발생함에 따라 생기는 노이즈를 말한다.The dark current noise is ideally a noise caused by the fluctuation of the dark current in the actual environment although the dark current of each pixel of the infrared detector should be the same.

제1 노이즈 생성기(513)는 다음 수학식에 따라 암전류 노이즈를 임의로 생성할 수 있다.The first noise generator 513 can arbitrarily generate dark current noise according to the following equation.

Figure 112017090407417-pat00005
Figure 112017090407417-pat00005

상기에서 τ는 적외선 검출기의 적분 시간을 의미하며, i0는 역방향 포화 전류를 의미한다. TD는 적외선 검출기의 온도를 의미하며, RA는 적외선 검출기의 저항 면적을 의미한다. 또한 kB는 볼츠만 상수를 의미하며, aD는 적외선 검출기의 활성 면적을 의미한다.In the above, τ denotes the integration time of the infrared detector, and i 0 denotes the reverse saturation current. T D is the temperature of the infrared detector, and RA is the resistance area of the infrared detector. K B is the Boltzmann constant, and a D is the active area of the infrared detector.

포톤 노이즈(photon noise)는 적외선 검출기에 입사되는 광자의 랜덤한 도착율에 의해 발생하는 요동 잡음(fluctuation noise)를 말한다.Photon noise refers to the fluctuation noise caused by the random arrival rate of the photons incident on the infrared detector.

제1 노이즈 생성기(513)는 다음 수학식에 따라 포톤 노이즈를 임의로 생성할 수 있다.The first noise generator 513 may arbitrarily generate the photon noise according to the following equation.

Figure 112017090407417-pat00006
Figure 112017090407417-pat00006

존슨 노이즈(Johnson noise)는 적외선 검출기의 전기 소자 내 전하 캐리어들(charged carriers)의 랜덤한 움직임에 의해 발생하는 노이즈를 말한다.Johnson noise refers to the noise caused by the random movement of charged carriers in the electric element of an infrared detector.

제1 노이즈 생성기(513)는 다음 수학식에 따라 존슨 노이즈를 임의로 생성할 수 있다.The first noise generator 513 may arbitrarily generate Johnson noise according to the following equation.

Figure 112017090407417-pat00007
Figure 112017090407417-pat00007

상기에서 RD는 적외선 검출기의 저항을 의미하며, Tf는 피드백 저항의 온도를 의미한다. Rf는 프리앰프(preamplifier)의 피드백(feedback) 저항을 의미한다.Where R D is the resistance of the infrared detector and T f is the temperature of the feedback resistor. R f is the feedback resistance of the preamplifier.

플리커 노이즈(1/f noise)는 적외선 검출기 내 반도체에서 발생하는 노이즈를 말하며, 저주파에서 크게 증가하는 특성을 가지고 있는 것이다.Flicker noise (1 / f noise) refers to the noise generated in a semiconductor in an infrared detector, and has a characteristic of increasing greatly at a low frequency.

제1 노이즈 생성기(513)는 다음 수학식에 따라 플리커 노이즈를 임의로 생성할 수 있다.The first noise generator 513 may arbitrarily generate flicker noise according to the following equation.

Figure 112017090407417-pat00008
Figure 112017090407417-pat00008

상기에서 B0는 비례 상수를 의미한다. VDC는 적외선 검출기의 DC 바이어스 전압을 의미하며, f는 신호 변조 주파수를 의미한다. 또한 α와 β는 적외선 검출기의 소자와 제조 과정에 의해 결정되는 가중치들로서, 일례로 α≒2이고 β≒1이다.Where B 0 is a proportional constant. V DC denotes the DC bias voltage of the infrared detector, and f denotes the signal modulation frequency. Α and β are the weights determined by the elements of the infrared detector and the manufacturing process. For example, α≈2 and β≈1.

프리앰프 노이즈(preamplifier noise)는 적외선 검출기 신호를 전압으로 변환하는 증폭 회로에서 발생하는 노이즈를 말한다.Preamplifier noise refers to the noise generated by an amplifier circuit that converts an infrared detector signal into a voltage.

제1 노이즈 생성기(513)는 다음 수학식에 따라 프리앰프 노이즈를 임의로 생성할 수 있다.The first noise generator 513 can arbitrarily generate preamplifier noise according to the following equation.

Figure 112017090407417-pat00009
Figure 112017090407417-pat00009

상기에서 ipreamp는 프리앰프(preamplifier)의 전류 노이즈를 의미하며, vpreamp는 프리앰프의 전압 노이즈를 의미한다.I preamp means a current noise of a preamplifier, and v preamp means a voltage noise of a preamplifier.

전체 노이즈의 RMS 크기는 다음 수학식 10에 도시된 바와 같다.The RMS size of the total noise is as shown in the following Equation (10).

Figure 112017090407417-pat00010
Figure 112017090407417-pat00010

도 7은 적외선 검출기의 노이즈 모델을 설명하기 위한 참고도이다.7 is a reference diagram for explaining the noise model of the infrared ray detector.

도 7의 (a)는 이상적인 신호(ideal signal)를 나타낸 것이다. 도 7의 (b)는 이상적인 신호에 암전류 노이즈가 반영된 상황을 보여주고 있으며, 도 7의 (c)는 이상적인 신호에 포톤 노이즈가 반영된 상황을 보여주고 있다. 도 7의 (d)는 이상적인 신호에 플리커 노이즈가 반영된 상황을 보여주고 있으며, 도 7의 (e)는 이상적인 신호에 프리앰프 노이즈가 반영된 상황을 보여주고 있다.Figure 7 (a) shows the ideal signal. FIG. 7B shows a situation in which dark current noise is reflected in an ideal signal, and FIG. 7C shows a situation in which photon noise is reflected in an ideal signal. FIG. 7 (d) shows a situation in which flicker noise is reflected in an ideal signal, and FIG. 7 (e) shows a situation in which preamplifier noise is reflected in an ideal signal.

결론적으로 수학식 4의 노이즈 영상은 평균이 0인 랜덤(random) 변수의 합이며, 전체 RMS 노이즈 전류는 평균이 0이고 수학식 10의 전체 노이즈의 RMS 값을 표준편차로 갖는 정규 분포의 출력으로 결과를 얻게 된다.As a result, the noise image of Equation (4) is the sum of random variables having an average of 0, and the total RMS noise current is an output of a normal distribution having an average of 0 and an RMS value of the total noise of Equation Results are obtained.

이상 적외선 검출기의 노이즈 모델에 대하여 설명하였는데, 이하에서는 제1 노이즈 생성기(513)가 각 노이즈 모델을 기초로 최종적으로 노이즈 영상을 생성하는 방법에 대하여 설명한다.A description has been given of the noise model of the ideal infrared ray detector. Hereinafter, a method in which the first noise generator 513 generates the noise image finally based on each noise model will be described.

도 8은 본 발명의 일실시예에 따른 노이즈 생성기의 작동 방법을 설명하기 위한 흐름도이다.8 is a flowchart illustrating a method of operating a noise generator according to an embodiment of the present invention.

먼저 제1 노이즈 생성기(513)는 수학식 5를 기초로 암전류 노이즈를 산출한다(S710).First, the first noise generator 513 calculates dark current noise based on Equation (5) (S710).

이후 제1 노이즈 생성기(513)는 수학식 6을 기초로 포톤 노이즈를 산출한다(S720).Thereafter, the first noise generator 513 calculates the photon noise based on Equation (6) (S720).

이후 제1 노이즈 생성기(513)는 수학식 7을 기초로 존슨 노이즈를 산출한다(S730).Thereafter, the first noise generator 513 calculates Johnson noise based on Equation (7) (S730).

이후 제1 노이즈 생성기(513)는 수학식 8을 기초로 플리커 노이즈를 산출한다(S740).Thereafter, the first noise generator 513 calculates flicker noise based on Equation (8) (S740).

이후 제1 노이즈 생성기(513)는 수학식 9를 기초로 프리앰프 노이즈를 산출한다(S750).Then, the first noise generator 513 calculates the preamplifier noise based on Equation (9) (S750).

도 8에서는 S710 단계부터 S750 단계까지 순차적으로 수행되는 것으로 도시하였으나, 본 발명이 이 순서에 한정되는 것은 아니다. 즉 본 발명에서는 그 어떠한 단계가 먼저 수행되거나, 적어도 두개의 단계들이 동시에 수행되어도 무방하다.Although FIG. 8 illustrates that the process is performed sequentially from step S710 to step S750, the present invention is not limited to this order. That is, in the present invention, any of the steps may be performed first, or at least two steps may be performed simultaneously.

암전류 노이즈, 포톤 노이즈, 존슨 노이즈, 플리커 노이즈 및 프리앰프 노이즈가 모두 산출되면, 제1 노이즈 생성기(513)는 수학식 10을 기초로 전체 노이즈의 RMS 값을 산출한다(S760).When both the dark current noise, the photon noise, the Johnson noise, the flicker noise, and the preamplifier noise are calculated, the first noise generator 513 calculates the RMS value of the total noise based on Equation (10) (S760).

이후 제1 노이즈 생성기(513)는 전체 노이즈의 RMS 값을 기초로 정규분포 출력을 계산하여 최종적으로 노이즈 영상을 생성한다(S770).Thereafter, the first noise generator 513 calculates a normal distribution output based on the RMS value of the total noise, and finally generates a noise image (S770).

도 9는 노이즈를 적용하기 전후의 영상들을 보여주는 참고도이다. 도 9의 (a)는 노이즈를 적용하기 전 원본 영상을 도시한 것이며, 도 9의 (b)는 노이즈를 적용한 후 영상을 도시한 것이다.FIG. 9 is a reference view showing images before and after application of noise. 9 (a) shows an original image before noise is applied, and FIG. 9 (b) shows an image after noise is applied.

본 발명은 사용자에 의해 생성된 임의의 영상(도 9의 (a))에서 노이즈 영상 장입 장치를 이용하여 실제 적외선 검출기에서 발생하는 노이즈가 적용된 영상(도 9의 (b))을 영상 신호 처리기에 입력하는 것과 동일한 효과를 얻을 수 있다.9 (a)) generated by a user, a noise-applied image (FIG. 9 (b)) generated in an actual infrared detector is applied to a video signal processor using a noise image- The same effect as the input can be obtained.

이상 설명한 본 발명은 밀리미터파 탐색기, 이중 모드 영상 탐색기 등에 적용될 수 있다.The present invention can be applied to a millimeter-wave searcher, a dual-mode image searcher, and the like.

이상 도 1 내지 도 9를 참조하여 본 발명의 일실시 형태에 대하여 설명하였다. 이하에서는 이러한 일실시 형태로부터 추론 가능한 본 발명의 바람직한 형태에 대하여 설명한다.DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention has been described with reference to Figs. Best Mode for Carrying Out the Invention Hereinafter, preferred forms of the present invention that can be inferred from the above embodiment will be described.

도 10은 본 발명의 바람직한 실시예에 따른 노이즈 영상 생성 장치의 내부 구성들을 개략적으로 도시한 개념도이다.FIG. 10 is a conceptual diagram schematically illustrating internal configurations of a noise image generating apparatus according to a preferred embodiment of the present invention.

도 10에 따르면, 노이즈 영상 생성 장치(800)는 노이즈 영상 생성부(810), 노이즈 영상 변환부(820), 노이즈 영상 출력부(830), 제1 전원부(840) 및 제1 주제어부(850)를 포함한다. 노이즈 영상 생성 장치(800)는 도 1의 영상 장입 장치(130)에 대응하는 개념이다.10, the noise image generating apparatus 800 includes a noise image generating unit 810, a noise image converting unit 820, a noise image outputting unit 830, a first power source unit 840, and a first main controller 850 ). The noise image generating apparatus 800 corresponds to the image input apparatus 130 of FIG.

제1 전원부(840)는 노이즈 영상 생성 장치(800)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다.The first power supply unit 840 performs a function of supplying power to each of the components constituting the noise image generating apparatus 800.

제1 주제어부(850)는 노이즈 영상 생성 장치(800)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.The first main control unit 850 controls the overall operation of each of the components constituting the noise image generating apparatus 800.

노이즈 영상 생성부(810)는 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 기능을 수행한다. 노이즈 영상 생성부(810)는 도 1의 송신 모듈(133)에 대응하는 개념이다. 특히 노이즈 영상 생성부(810)는 도 5의 제1 노이즈 생성기(513) 및 제2 노이즈 생성기(523)에 대응하는 개념이다.The noise image generating unit 810 performs a function of generating a noise image by inserting noise into the input image. The noise image generation unit 810 corresponds to the transmission module 133 of FIG. In particular, the noise image generating unit 810 corresponds to the first noise generator 513 and the second noise generator 523 of FIG.

노이즈 영상 생성부(810)는 입력 영상에 적외선 검출기의 특성과 관련된 노이즈를 삽입하여 노이즈 영상을 생성할 수 있다. 노이즈 영상 생성부(810)는 암전류 노이즈(dark current noise), 포톤 노이즈(photon noise), 존슨 노이즈(Johnson noise), 플리커 노이즈(1/f noise) 및 프리앰프 노이즈(preamplifier noise) 중 적어도 하나의 노이즈를 적외선 검출기의 특성과 관련된 노이즈로 이용할 수 있다.The noise image generating unit 810 may generate a noise image by inserting noise related to the characteristic of the infrared detector into the input image. The noise image generating unit 810 may generate at least one of a dark current noise, a photon noise, a Johnson noise, a 1 / f noise, and a preamplifier noise Noise can be used as noise related to the characteristics of the infrared detector.

암전류 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기의 적분 시간, 적외선 검출기의 동작과 관련된 역방향 포화 전류, 적외선 검출기의 온도 및 적외선 검출기의 저항 면적을 기초로 노이즈 영상을 생성할 수 있다.When the noise image is generated by inserting the dark current noise, the noise image generating unit 810 generates the noise image based on the integration time of the infrared ray detector, the reverse saturation current associated with the operation of the infrared ray detector, the temperature of the infrared ray detector, Images can be generated.

포톤 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기의 양자 효율, 적외선 검출기의 광자속(photon flux) 및 적외선 검출기의 적분 시간을 기초로 노이즈 영상을 생성할 수 있다.When the noise image is generated by inserting the photon noise, the noise image generator 810 can generate the noise image based on the quantum efficiency of the infrared detector, the photon flux of the infrared detector, and the integration time of the infrared detector have.

존슨 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기의 적분 시간, 적외선 검출기의 온도, 적외선 검출기에 구비되어 있는 저항에 대한 정보, 적외선 검출기에 구비되어 있는 피드백 저항에 대한 정보 및 피드백 저항의 온도를 기초로 노이즈 영상을 생성할 수 있다.When the noise image is generated by inserting Johnson noise, the noise image generating unit 810 generates the noise image by using the integration time of the infrared ray detector, the temperature of the infrared ray detector, the information about the resistance provided in the infrared ray detector, And the temperature of the feedback resistor.

플리커 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기의 DC 바이어스 전압, 적외선 검출기의 적분 시간, 적외선 검출기의 동작과 관련된 변조 주파수에 대한 정보, 적외선 검출기에 구비되어 있는 저항에 대한 정보 및 적외선 검출기에 구비되어 있는 소자와 관련된 가중치를 기초로 노이즈 영상을 생성할 수 있다.When the noise image is generated by inserting the flicker noise, the noise image generator 810 generates the noise image by using the DC bias voltage of the infrared detector, the integration time of the infrared detector, the information about the modulation frequency associated with the operation of the infrared detector, It is possible to generate a noise image based on the information about the resistance and the weight value associated with the elements provided in the infrared detector.

프리앰프 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기에 구비되어 있는 프리앰프(preamplifier)의 전류 노이즈, 프리앰프의 전압 노이즈, 적외선 검출기에 구비되어 있는 저항에 대한 정보 및 프리앰프의 피드백 저항에 대한 정보를 기초로 노이즈 영상을 생성할 수 있다.In the case of generating a noise image by inserting preamplifier noise, the noise image generator 810 generates a noise image by adding a current noise of a preamplifier provided in the infrared detector, a voltage noise of the preamplifier, It is possible to generate a noise image based on information on the preamplifier and information on the feedback resistance of the preamplifier.

노이즈 영상 생성부(810)는 서로 다른 적어도 두개의 노이즈들과 관련된 실효값을 기초로 노이즈 영상을 생성할 수 있다.The noise image generating unit 810 may generate a noise image based on the rms values associated with at least two different noises.

노이즈 영상 변환부(820)는 노이즈 영상 생성부(810)에 의해 생성된 노이즈 영상을 변환시키는 기능을 수행한다. 노이즈 영상 변환부(820)는 도 1의 송신 모듈(133)에 대응하는 개념이다.The noise image converting unit 820 performs a function of converting the noise image generated by the noise image generating unit 810. The noise image converting unit 820 corresponds to the transmitting module 133 of FIG.

노이즈 영상 변환부(820)는 USB 신호 형태의 노이즈 영상을 LVDS(Low Voltage Differential Signaling) 신호 형태의 노이즈 영상으로 변환시킬 수 있다.The noise image converting unit 820 can convert a noise image in the form of a USB signal into a noise image in the form of a low voltage differential signaling (LVDS) signal.

노이즈 영상 출력부(830)는 노이즈 영상 변환부(820)에 의해 변환된 노이즈 영상을 외부로 출력시키는 기능을 수행한다. 노이즈 영상 출력부(830)는 도 1의 LVDS 인터페이스(132)에 대응하는 개념이다.The noise image output unit 830 outputs the noise image converted by the noise image conversion unit 820 to the outside. The noise image output unit 830 is a concept corresponding to the LVDS interface 132 in FIG.

다음으로 노이즈 영상 생성 장치(800)의 작동 방법에 대하여 설명한다.Next, an operation method of the noise image generating apparatus 800 will be described.

도 11은 본 발명의 바람직한 실시예에 따른 노이즈 영상 생성 방법을 개략적으로 도시한 흐름도이다.11 is a flowchart schematically illustrating a noise image generating method according to a preferred embodiment of the present invention.

먼저 노이즈 영상 생성부(810)는 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성한다(S910). 이때 노이즈 영상 생성부(810)는 입력 영상에 적외선 검출기의 특성과 관련된 노이즈를 삽입하여 노이즈 영상을 생성할 수 있다.First, the noise image generating unit 810 generates a noise image by inserting noise into the input image (S910). At this time, the noise image generating unit 810 may generate a noise image by inserting noise related to the characteristic of the infrared detector into the input image.

이후 노이즈 영상 변환부(820)는 노이즈 영상 생성부(810)에 의해 생성된 노이즈 영상을 변환시킨다(S920). 이때 노이즈 영상 변환부(820)는 USB 신호 형태의 노이즈 영상을 LVDS 신호 형태의 노이즈 영상으로 변환시킬 수 있다.Thereafter, the noise image converting unit 820 transforms the noise image generated by the noise image generating unit 810 (S920). At this time, the noise image converting unit 820 can convert the noise image of the USB signal type into the noise image of the LVDS signal type.

이후 노이즈 영상 출력부(830)는 노이즈 영상 변환부(820)에 의해 변환된 노이즈 영상을 출력시킨다(S930).Thereafter, the noise image output unit 830 outputs the noise image converted by the noise image conversion unit 820 (S930).

다음으로 노이즈 영상 생성 장치(800)를 구비하는 영상 처리기 성능 검증 시스템에 대하여 설명한다.Next, an image processor performance verification system including a noise image generation apparatus 800 will be described.

도 12는 본 발명의 바람직한 실시예에 따른 영상 처리기 성능 검증 시스템의 내부 구성들을 개략적으로 도시한 개념도이다.FIG. 12 is a conceptual diagram schematically illustrating internal configurations of a video processor performance verification system according to a preferred embodiment of the present invention.

도 12에 따르면, 영상 처리기 성능 검증 시스템(1000)은 노이즈 영상 생성 장치(800), 노이즈 영상 처리부(1010), 성능 검증부(1020) 및 제2 주제어부(1030)를 포함한다.12, the image processor performance verification system 1000 includes a noise image generation apparatus 800, a noise image processing unit 1010, a performance verification unit 1020, and a second main control unit 1030.

제2 주제어부(1030)는 영상 처리기 성능 검증 시스템(1000)에 구비되는 각 구성의 전체 작동을 제어하는 기능을 수행한다.The second main control unit 1030 controls the overall operation of each configuration of the image processor performance verification system 1000.

노이즈 영상 생성 장치(800)는 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 것이다. 노이즈 영상 생성 장치(800)에 대해서는 도 10을 참조하여 전술하였으므로, 여기서는 그 자세한 설명을 생략한다.The noise image generating apparatus 800 generates a noise image by inserting noise into an input image. Since the noise image generating apparatus 800 has been described above with reference to FIG. 10, a detailed description thereof will be omitted here.

노이즈 영상 처리부(1010)는 노이즈 영상 생성 장치(800)에 의해 생성된 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 기능을 수행한다. 노이즈 영상 처리부(1010)는 도 1의 영상 신호 처리기(140)에 대응하는 개념이다.The noise image processor 1010 processes the noise image generated by the noise image generator 800 and generates information about the target. The noise image processing unit 1010 corresponds to the image signal processor 140 of FIG.

성능 검증부(1020)는 입력 영상으로부터 얻은 표적에 대한 정보와 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 노이즈 영상 처리부(1010)의 성능을 검증하는 기능을 수행한다. 성능 검증부(1020)는 통상의 컴퓨터로 구현될 수 있다.The performance verification unit 1020 performs a function of verifying the performance of the noise image processing unit 1010 by comparing the information about the target obtained from the input image and the information about the target obtained from the noise image. The performance verification unit 1020 may be implemented by a conventional computer.

성능 검증부(1020)는 입력 영상으로부터 얻은 표적에 대한 정보가 노이즈 영상으로부터 얻은 표적에 대한 정보에서도 검출되는지 여부를 기초로 노이즈 영상 처리부의 성능을 검증할 수 있다. 일례로 성능 검증부(1020)는 입력 영상으로부터 얻은 표적에 대한 정보가 노이즈 영상으로부터 얻은 표적에 대한 정보에서 검출되지 않으면 노이즈와 관련하여 노이즈 영상 처리부(1010)가 비정상 작동하는 것으로 판단할 수 있다.The performance verifying unit 1020 can verify the performance of the noise image processing unit based on whether or not the information about the target obtained from the input image is also detected from the information about the target obtained from the noise image. For example, the performance verification unit 1020 can determine that the noise image processing unit 1010 is operating abnormally with respect to noise if the information about the target obtained from the input image is not detected from the information about the target obtained from the noise image.

다음으로 영상 처리기 성능 검증 시스템(1000)의 작동 방법에 대하여 설명한다.Next, an operation method of the image processor performance verification system 1000 will be described.

도 13은 본 발명의 바람직한 실시예에 따른 영상 처리기 성능 검증 방법을 개략적으로 도시한 흐름도이다.13 is a flowchart schematically illustrating a method of verifying performance of an image processor according to a preferred embodiment of the present invention.

먼저 노이즈 영상 생성 장치(800)가 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성한다(S1110).First, the noise image generating apparatus 800 inserts noise into the input image to generate a noise image (S1110).

이후 노이즈 영상 처리부(1010)가 노이즈 영상을 처리하여 표적에 대한 정보를 생성한다(S1120).Thereafter, the noise image processing unit 1010 processes the noise image to generate information about the target (S1120).

이후 성능 검증부(1020)가 입력 영상으로부터 얻은 표적에 대한 정보와 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 노이즈 영상 처리부(1010)의 성능을 검증한다(S1130).Then, the performance verification unit 1020 compares the information about the target obtained from the input image with the information about the target obtained from the noise image to verify the performance of the noise image processing unit 1010 (S1130).

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, or the like can be included.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (13)

영상 신호 처리기의 성능을 검증하기 위해 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 것으로서, 상기 입력 영상에 적외선 검출기의 특성과 관련된 노이즈를 삽입하여 상기 노이즈 영상을 생성하되, 상기 적외선 검출기의 양자 효율, 상기 적외선 검출기의 광자속(photon flux) 및 상기 적외선 검출기의 적분 시간을 기초로 상기 노이즈 영상을 생성하는 노이즈 영상 생성부;
상기 노이즈 영상을 변환시키는 노이즈 영상 변환부; 및
상기 노이즈 영상을 출력시키는 노이즈 영상 출력부
를 포함하는 것을 특징으로 하는 노이즈 영상 생성 장치.
A noise image is generated by inserting noise into an input image to verify the performance of the image signal processor. The noise image is generated by inserting noise related to the characteristic of the infrared detector into the input image, A noise image generating unit for generating the noise image based on a photon flux of the infrared detector and an integration time of the infrared detector;
A noise image converting unit for converting the noise image; And
A noise image output unit for outputting the noise image,
Wherein the noise image generating unit generates the noise image.
삭제delete 제 1 항에 있어서,
상기 노이즈 영상 생성부는 암전류 노이즈(dark current noise), 존슨 노이즈(Johnson noise), 플리커 노이즈(1/f noise) 및 프리앰프 노이즈(preamplifier noise) 중 적어도 하나의 노이즈를 상기 적외선 검출기의 특성과 관련된 노이즈로 이용하는 것을 특징으로 하는 노이즈 영상 생성 장치.
The method according to claim 1,
Wherein the noise image generating unit is configured to generate at least one noise of dark current noise, Johnson noise, 1 / f noise, and preamplifier noise to noise associated with the characteristics of the infrared detector Is used as the noise image.
제 1 항에 있어서,
상기 노이즈 영상 생성부는 적외선 검출기의 적분 시간, 상기 적외선 검출기의 동작과 관련된 역방향 포화 전류, 상기 적외선 검출기의 온도 및 상기 적외선 검출기의 저항 면적을 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 노이즈 영상 생성 장치.
The method according to claim 1,
Wherein the noise image generating unit generates the noise image based on an integration time of the infrared ray detector, an inverse saturation current associated with the operation of the infrared ray detector, a temperature of the infrared ray detector, and a resistance area of the infrared ray detector Device.
삭제delete 제 1 항에 있어서,
상기 노이즈 영상 생성부는 적외선 검출기의 적분 시간, 상기 적외선 검출기의 온도, 상기 적외선 검출기에 구비되어 있는 저항에 대한 정보, 상기 적외선 검출기에 구비되어 있는 피드백 저항에 대한 정보 및 상기 피드백 저항의 온도를 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 노이즈 영상 생성 장치.
The method according to claim 1,
Wherein the noise image generating unit generates the noise image based on the integration time of the infrared ray detector, the temperature of the infrared ray detector, the information about the resistance provided to the infrared ray detector, the information about the feedback resistance provided to the infrared ray detector, And generates the noise image.
제 1 항에 있어서,
상기 노이즈 영상 생성부는 적외선 검출기의 DC 바이어스 전압, 상기 적외선 검출기의 적분 시간, 상기 적외선 검출기의 동작과 관련된 변조 주파수에 대한 정보, 상기 적외선 검출기에 구비되어 있는 저항에 대한 정보 및 상기 적외선 검출기에 구비되어 있는 소자와 관련된 가중치를 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 노이즈 영상 생성 장치.
The method according to claim 1,
The noise image generating unit may include a DC bias voltage of the infrared ray detector, an integration time of the infrared ray detector, information on a modulation frequency associated with the operation of the infrared ray detector, information about a resistance of the infrared ray detector, And generates the noise image based on a weight value associated with the device.
제 1 항에 있어서,
상기 노이즈 영상 생성부는 적외선 검출기에 구비되어 있는 프리앰프(preamplifier)의 전류 노이즈, 상기 프리앰프의 전압 노이즈, 상기 적외선 검출기에 구비되어 있는 저항에 대한 정보, 상기 프리앰프의 피드백 저항에 대한 정보를 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 노이즈 영상 생성 장치.
The method according to claim 1,
The noise image generating unit may include information on current noise of a preamplifier provided in an infrared detector, voltage noise of the preamplifier, information on a resistance provided in the infrared detector, and information on a feedback resistor of the preamplifier, And the noise image generating unit generates the noise image.
제 1 항에 있어서,
상기 노이즈 영상 생성부는 서로 다른 적어도 두개의 노이즈들과 관련된 실효값을 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 노이즈 영상 생성 장치.
The method according to claim 1,
Wherein the noise image generating unit generates the noise image based on an effective value associated with at least two different noises.
제 1 항에 있어서,
상기 노이즈 영상 변환부는 USB 신호 형태의 노이즈 영상을 LVDS(Low Voltage Differential Signaling) 신호 형태의 노이즈 영상으로 변환시키는 것을 특징으로 하는 노이즈 영상 생성 장치.
The method according to claim 1,
Wherein the noise image converting unit converts a noise image in the form of a USB signal into a noise image in the form of a low voltage differential signaling (LVDS) signal.
영상 신호 처리기의 성능을 검증하기 위해 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 단계로서, 상기 입력 영상에 적외선 검출기의 특성과 관련된 노이즈를 삽입하여 상기 노이즈 영상을 생성하되, 상기 적외선 검출기의 양자 효율, 상기 적외선 검출기의 광자속(photon flux) 및 상기 적외선 검출기의 적분 시간을 기초로 상기 노이즈 영상을 생성하는 단계;
상기 노이즈 영상을 변환시키는 단계; 및
상기 노이즈 영상을 출력시키는 단계
를 포함하는 것을 특징으로 하는 노이즈 영상 생성 방법.
A method of generating a noise image by inserting noise into an input image to verify performance of the image signal processor, the noise image being generated by inserting noise related to a characteristic of an infrared detector into the input image, Generating the noise image based on the efficiency, the photon flux of the infrared detector, and the integration time of the infrared detector;
Transforming the noise image; And
Outputting the noise image
And generating a noise image.
삭제delete 삭제delete
KR1020170119427A 2017-09-18 2017-09-18 Apparatus and method for generating image with noise KR101846017B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170119427A KR101846017B1 (en) 2017-09-18 2017-09-18 Apparatus and method for generating image with noise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170119427A KR101846017B1 (en) 2017-09-18 2017-09-18 Apparatus and method for generating image with noise

Publications (1)

Publication Number Publication Date
KR101846017B1 true KR101846017B1 (en) 2018-04-05

Family

ID=61977280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170119427A KR101846017B1 (en) 2017-09-18 2017-09-18 Apparatus and method for generating image with noise

Country Status (1)

Country Link
KR (1) KR101846017B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192211A (en) * 2019-12-24 2020-05-22 浙江大学 Multi-noise type blind denoising method based on single deep neural network

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5126568A (en) * 1991-07-19 1992-06-30 Grumman Aerospace Corporation Magnetometer input circuit for infrared detectors
US5422483A (en) * 1992-07-31 1995-06-06 Shimadzu Corporation Near infrared analyzer
WO1997005742A1 (en) * 1995-07-31 1997-02-13 The Secretary Of State For Defence Thermal sensing system having a fast response calibration device
JPH10318843A (en) * 1997-05-22 1998-12-04 Mitsubishi Electric Corp Infrared ray detector and infrared ray array
US5892222A (en) * 1996-04-18 1999-04-06 Loral Fairchild Corporation Broadband multicolor photon counter for low light detection and imaging
JPH11168670A (en) * 1997-08-13 1999-06-22 Rockwell Sci Center Llc Single-photon read circuit
JP2005130045A (en) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc Image pickup apparatus and image pickup element used therefor
KR101035365B1 (en) 2010-02-04 2011-05-20 서강대학교산학협력단 Method and apparatus of assessing the image quality using compressive sensing
KR20120117549A (en) * 2011-04-15 2012-10-24 (주)에프알텍 Test apparatus for verification algorithm in digital signal process apparatus
KR101346112B1 (en) * 2012-05-24 2013-12-31 (주)아이피티브이코리아 System for measuring media-quality of smart tv

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5126568A (en) * 1991-07-19 1992-06-30 Grumman Aerospace Corporation Magnetometer input circuit for infrared detectors
US5422483A (en) * 1992-07-31 1995-06-06 Shimadzu Corporation Near infrared analyzer
WO1997005742A1 (en) * 1995-07-31 1997-02-13 The Secretary Of State For Defence Thermal sensing system having a fast response calibration device
US5892222A (en) * 1996-04-18 1999-04-06 Loral Fairchild Corporation Broadband multicolor photon counter for low light detection and imaging
JPH10318843A (en) * 1997-05-22 1998-12-04 Mitsubishi Electric Corp Infrared ray detector and infrared ray array
JPH11168670A (en) * 1997-08-13 1999-06-22 Rockwell Sci Center Llc Single-photon read circuit
JP2005130045A (en) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc Image pickup apparatus and image pickup element used therefor
KR101035365B1 (en) 2010-02-04 2011-05-20 서강대학교산학협력단 Method and apparatus of assessing the image quality using compressive sensing
KR20120117549A (en) * 2011-04-15 2012-10-24 (주)에프알텍 Test apparatus for verification algorithm in digital signal process apparatus
KR101346112B1 (en) * 2012-05-24 2013-12-31 (주)아이피티브이코리아 System for measuring media-quality of smart tv

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192211A (en) * 2019-12-24 2020-05-22 浙江大学 Multi-noise type blind denoising method based on single deep neural network
CN111192211B (en) * 2019-12-24 2022-07-01 浙江大学 Multi-noise type blind denoising method based on single deep neural network

Similar Documents

Publication Publication Date Title
JP7268369B2 (en) Imaging system, development system, imaging method, and program
US20190110005A1 (en) Methods and system for producing a temperature map of a scene
JP6351288B2 (en) Solid-state imaging device and imaging system
KR20200134374A (en) Modeling method for image signal processor, and electronic device
CN104010128A (en) Image capturing apparatus and method for controlling the same
WO2018099009A1 (en) Control method, control device, electronic device, and computer readable storage medium
JP2013223043A (en) Light-receiving device and transmission system
KR102503442B1 (en) Electronic device and operating method thereof
US11546553B2 (en) Image capturing apparatus using learned model, information processing apparatus, methods of controlling respective apparatuses, learned model selection system, and storage medium
KR101925387B1 (en) Image capture device and signal compensating method of image capture device
KR101846017B1 (en) Apparatus and method for generating image with noise
US8330857B2 (en) Display apparatus and control method thereof
US20180197282A1 (en) Method and device for producing a digital image
KR20200016559A (en) Apparatus and method for generating a moving image data including multiple sections image of the electronic device
JP2020202489A (en) Image processing device, image processing method, and program
KR20220006753A (en) Method for providing image and electronic device for supporting the same
KR101846018B1 (en) System and method for verifying performance of device for processing image
US20240072076A1 (en) Image sensor with image receiver and automatic image switching
US20230410268A1 (en) Method for providing image, and electronic device supporting same
KR102261595B1 (en) An image sensor, and an image processing system including the same
US11671704B2 (en) Electronic device including a plurality of image sensors and method for thereof
US20220139074A1 (en) Verification of embedded artificial neural networks systems and methods
Wang et al. Relationship between the charge-coupled device signal-to-noise ratio and dynamic range with respect to the analog gain
KR20220065562A (en) Electronic device including a plurality of image sensors and method for thereof
JP2020205530A (en) Control device, imaging system, and control method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant