KR101846018B1 - 영상 처리기 성능 검증 시스템 및 방법 - Google Patents

영상 처리기 성능 검증 시스템 및 방법 Download PDF

Info

Publication number
KR101846018B1
KR101846018B1 KR1020170119428A KR20170119428A KR101846018B1 KR 101846018 B1 KR101846018 B1 KR 101846018B1 KR 1020170119428 A KR1020170119428 A KR 1020170119428A KR 20170119428 A KR20170119428 A KR 20170119428A KR 101846018 B1 KR101846018 B1 KR 101846018B1
Authority
KR
South Korea
Prior art keywords
noise
image
noise image
information
generating
Prior art date
Application number
KR1020170119428A
Other languages
English (en)
Inventor
이근재
박진호
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020170119428A priority Critical patent/KR101846018B1/ko
Application granted granted Critical
Publication of KR101846018B1 publication Critical patent/KR101846018B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 다양한 노이즈들이 삽입된 노이즈 영상을 이용하여 영상 신호 처리기의 성능을 검증하는 영상 처리기 성능 검증 시스템 및 방법을 제안한다. 본 발명에 따른 시스템은 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성 장치; 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 노이즈 영상 처리부; 및 입력 영상으로부터 얻은 표적에 대한 정보와 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 노이즈 영상 처리부의 성능을 검증하는 성능 검증부를 포함하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템을 제안한다.

Description

영상 처리기 성능 검증 시스템 및 방법 {System and method for verifying performance of device for processing image}
본 발명은 영상 처리기의 성능을 검증하는 시스템 및 방법에 관한 것이다. 보다 상세하게는, 입력 영상에 노이즈를 삽입하여 얻은 노이즈 영상을 이용하여 영상 처리기의 성능을 검증하는 시스템 및 방법에 관한 것이다.
전자 광학부에 의해 소정의 영상이 획득되면, 영상 탐색기의 영상 신호 처리기는 영상 전처리 알고리즘, 표적 추적 알고리즘 등을 활용하여 표적의 위치 정보를 추출한다. 또한 영상 신호 처리기는 추출된 표적의 위치 정보를 유도 무기의 유도 조종 장치로 전송하여 미사일(missile) 등 유도 무기의 유도 조종에 중요한 정보를 제공한다.
그런데 영상 신호 처리기의 표적 정보 추출 성능은 전자 광학부에 의해 획득되는 영상의 품질에 영향을 받으며, 이러한 영상의 품질은 적외선 검출기의 노이즈에 의해 크게 결정된다.
다양한 노이즈 환경에서 영상 신호 처리기의 성능을 검증하기 위해서는 노이즈 레벨별로 각각 저장된 영상이 필요하다. 그러나 종래에는 전자 광학부에 의해 획득된 영상만이 장입되기 때문에, 다양한 노이즈 환경에서 영상 탐색기의 성능을 검증하는 것이 불가능하였다.
한국공개특허 제2012-0117549호 (공개일 : 2012.10.24.)
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 입력 영상을 변환하기 전에 입력 영상에 각기 다른 형태의 노이즈들 중에서 선택된 적어도 하나의 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성 장치 및 방법을 제안하는 것을 목적으로 한다.
또한 본 발명은 다양한 노이즈들이 삽입된 노이즈 영상을 이용하여 영상 신호 처리기의 성능을 검증하는 영상 처리기 성능 검증 시스템 및 방법을 제안하는 것을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성부; 상기 노이즈 영상을 변환시키는 노이즈 영상 변환부; 및 상기 노이즈 영상을 출력시키는 노이즈 영상 출력부를 포함하는 것을 특징으로 하는 노이즈 영상 생성 장치를 제안한다.
또한 본 발명은 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 단계; 상기 노이즈 영상을 변환시키는 단계; 및 상기 노이즈 영상을 출력시키는 단계를 포함하는 것을 특징으로 하는 노이즈 영상 생성 방법을 제안한다.
또한 본 발명은 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성 장치; 상기 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 노이즈 영상 처리부; 및 상기 입력 영상으로부터 얻은 표적에 대한 정보와 상기 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 상기 노이즈 영상 처리부의 성능을 검증하는 성능 검증부를 포함하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템을 제안한다.
또한 본 발명은 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 단계; 상기 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 단계; 및 상기 입력 영상으로부터 얻은 표적에 대한 정보와 상기 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 상기 노이즈 영상을 처리하는 장치의 성능을 검증하는 단계를 포함하는 것을 특징으로 하는 영상 처리기 성능 검증 방법을 제안한다.
본 발명은 상기한 목적 달성을 위한 구성들을 통하여 다음과 같은 효과들을 얻을 수 있다.
첫째, 적외선 검출기에서 실제 획득한 영상과 동일한 품질의 노이즈 영상을 생성하여 장입하는 것이 가능해지며, 탐색기의 표적 추적 알고리즘 개발에 필요한 다양한 영상을 생성하여 장입하는 것이 가능해진다.
둘째, 노이즈 레벨을 임의로 조정하여 다양한 노이즈 환경에서 영상 신호 처리기의 성능을 평가하는 것이 가능해진다.
도 1은 본 발명의 일실시예에 따른 영상 처리 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 일실시예에 따른 영상 장입 장치의 영상 장입 기능을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 영상 장입 장치의 영상 저장 기능을 설명하기 위한 흐름도이다.
도 4는 영상 장입 장치를 구성하는 USB 인터페이스의 내부 구조를 설명하기 위한 개념도이다.
도 5는 영상 장입 장치를 구성하는 송신 모듈의 내부 구조를 설명하기 위한 개념도이다.
도 6은 영상 장입 장치를 구성하는 수신 모듈의 내부 구조를 설명하기 위한 개념도이다.
도 7은 적외선 검출기의 노이즈 모델을 설명하기 위한 참고도이다.
도 8은 본 발명의 일실시예에 따른 노이즈 생성기의 작동 방법을 설명하기 위한 흐름도이다.
도 9는 노이즈를 적용하기 전후의 영상들을 보여주는 참고도이다.
도 10은 본 발명의 바람직한 실시예에 따른 노이즈 영상 생성 장치의 내부 구성들을 개략적으로 도시한 개념도이다.
도 11은 본 발명의 바람직한 실시예에 따른 노이즈 영상 생성 방법을 개략적으로 도시한 흐름도이다.
도 12는 본 발명의 바람직한 실시예에 따른 영상 처리기 성능 검증 시스템의 내부 구성들을 개략적으로 도시한 개념도이다.
도 13은 본 발명의 바람직한 실시예에 따른 영상 처리기 성능 검증 방법을 개략적으로 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명은 별도의 영상 획득을 위한 전자 광학부 없이 임의의 영상에 적외선 검출기의 노이즈 특성을 합성한 영상을 생성하여 영상 신호 처리기의 성능을 확인할 수 있는 영상 장입 장치에 관한 것이다.
본 발명의 경우 사용자의 필요에 따라 노이즈 레벨을 변경하여 생성 후 영상을 장입 가능함으로써 하나의 영상으로 다양한 노이즈 환경에서의 영상 신호 처리기의 성능 검증이 가능하다.
또한 본 발명의 경우 적외선 검출기의 주요 노이즈인 암전류 잡음(dark current noise), 포톤 샷 노이즈(photon shot noise), 존슨 잡음(johnson noise), 플리커 잡음(flicker noise or 1/f noise), 프리앰프 잡음(preamplifier noise) 등을 임의로 생성하여 노이즈(noise) 레벨에 따라 영상 신호 처리기의 성능 특성을 확인할 수 있다.
이하 도면들을 참조하여 적외선 노이즈 합성 기능을 가진 영상 장입 장치에 대하여 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 처리 시스템을 개략적으로 도시한 개념도이다.
도 1에 따르면, 영상 처리 시스템(100)은 영상 장입 통제기(110), 영상 저장 통제기(120), 영상 장입 장치(130) 및 영상 신호 처리기(140)를 포함한다.
영상 장입 통제기(110)는 장입 대상 영상을 영상 장입 장치(130)로 전송하는 기능을 수행한다. 이러한 영상 장입 통제기(110)는 노트북이나 PC로 구현될 수 있다. 영상 장입 통제기(110)가 USB 3.0 포트를 지원하는 노트북으로 구현되는 경우, 영상 장입 통제기(110)는 USB 3.0 인터페이스를 통해 장입 대상 영상을 영상 장입 장치(130)로 전송할 수 있다.
영상 저장 통제기(120)는 영장 장입 장치(130)로부터 수신된 영상을 저장하는 기능을 수행한다. 영상 저장 통제기(120)도 노트북이나 PC로 구현될 수 있으며, 영상 저장 통제기(120)가 USB 3.0 포트를 지원하는 노트북으로 구현되는 경우, 영상 저장 통제기(120)는 USB 3.0 통신을 통해 영상 장입 장치(130)로부터 전달받은 영상을 저장할 수 있다.
영상 장입 장치(130)는 영상 장입 통제기(110)로부터 수신된 영상을 변환하며, 수신 영상을 변환할 때 이 수신 영상에 적외선 검출기의 특성 노이즈와 동일한 효과를 추가하여 영상 탐색기(미도시)의 전자 광학 헤드를 모사하는 기능을 수행한다. 영상 장입 장치(130)는 수신 영상에 적외선 검출기의 특성 노이즈와 동일한 효과를 추가하기 위해 노이즈 생성기를 구비한다. 이러한 영상 장입 장치(130)는 FPGA 형태로 구현될 수 있다.
영상 장입 장치(130)는 영상 장입 통제기(110)로부터 수신된 아날로그 영상 신호를 디지털 영상 신호로 변환하여 영상 탐색기의 전자 광학 헤드를 모사할 수 있다. 일례로 영상 장입 장치(130)는 USB 신호를 LVDS(Low Voltage Differential Signaling) 신호로 변환하여 영상 탐색기의 전자 광학 헤드를 모사할 수 있다.
USB 신호를 LVDS 신호로 변환하여 영상 탐색기의 전자 광학 헤드를 모사하는 경우, 영상 장입 장치(130)는 USB 인터페이스(USB I/F; 131), LVDS 인터페이스(LVDS I/F; 132), 송신 모듈(TX module; 133) 및 수신 모듈(RX module; 134)을 포함할 수 있다. 영상 장입 장치(130)의 내부 구조에 대해서는 후술한다.
영상 신호 처리기(140)는 영상 탐색기용 영상 신호 처리기로서, 영상 장입 장치(130)로부터 입력된 영상을 외부에서 저장할 수 있도록 원 영상(raw data) 그대로 영상 장입 장치(130)로 전송하는 기능을 수행한다. 일례로 영상 신호 처리기(140)는 LVDS 영상 신호를 동일한 형식의 LVDS 영상 신호로 영상 장입 장치(130)로 전송할 수 있다.
한편 영상 장입 장치(130)는 영상 신호 처리기(140)로부터 입력된 영상 신호를 변환하여 영상 저장 통제기(120)로 전송한다. 일례로 영상 장입 장치(130)는 LVDS 영상 신호를 USB 영상 신호로 변환하여 영상 저장 통제기(120)로 전송할 수 있다.
영상 장입 장치(130)는 영상 장입 통제기(110)로부터 전달받은 영상을 변환하여 영상 신호 처리기(140)에 영상을 장입하는 기능 및 저장하는 기능을 동시에 수행한다.
영상 장입 장치(130)는 장입시 적외선 검출기의 특성 노이즈를 추가하여 실제 검출기에서 획득한 영상과 흡사한 영상 품질을 만들어서 장입이 가능하며, 필요에 따라 노이즈 레벨을 조정함으로써 다양한 노이즈 환경에서의 영상 신호 처리기(140)의 성능 평가가 가능하다.
영상 장입 기능을 수행하는 경우, 영상 장입 장치(130)는 구체적으로 다음과 같은 기능들을 수행할 수 있다.
첫째, 영상 장입 장치(130)는 사용자의 선택에 따라 영상을 장입할 수 있다.
둘째, 영상 장입 장치(130)는 영상을 메모리(ex. DDR3 RAM)에 저장 장입한다.
셋째, 영상 장입 장치(130)는 노이즈를 생성하여 영상에 합성한 후 영상을 장입한다.
넷째, 영상 장입 장치(130)는 USB 3.0 포트를 이용하여 소정 크기의 영상(ex. 640 × 481 × 14 bit × 50 Hz)을 장입한다.
또한 영상 저장 기능을 수행하는 경우, 영상 장입 장치(130)는 구체적으로 다음과 같은 기능들을 수행할 수 있다.
첫째, 영상 장입 장치(130)는 영상 신호 처리기(140)로부터 출력되는 영상을 동시에 저장 가능하다.
둘째, 영상 장입 장치(130)는 영상을 메모리(ex. DDR3 RAM)에 저장 전달한다.
셋째, 영상 장입 장치(130)는 FPGA를 통하여 영상을 영상 저장 통제기(120)로 전달한다. 영상 장입 장치(130)는 USB 3.0 100Hz로 영상을 영상 저장 통제기(120)로 전달할 수 있다.
영상 장입 장치(130)는 영상 장입 기능을 수행할 때 다음 순서에 따라 작동할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 장입 장치의 영상 장입 기능을 설명하기 위한 흐름도이다.
먼저 영상 장입 장치(130)는 영상 장입 통제기(110)와 영상 장입 장치(130) 사이의 TX USB 연결을 확인한다(S205).
연결이 확인되면, 영상 장입 장치(130)는 트랜스미터(transmitter)를 활성화시킨다(S215). 반면 연결이 확인되지 않으면, 영상 장입 장치(130)는 트랜스미터의 비활성화를 유지하며(S210), TX USB 연결을 재확인한다(S205).
트랜스미터가 활성화되면, 영상 장입 장치(130)는 노이즈 적용 여부를 선택한다(S220).
영상 장입 장치(130)는 노이즈를 적용 선택시 입력 영상에 노이즈 모델을 생성하여 추가한다(S225).
이후 영상 장입 장치(130)는 영상 장입 모드를 활성화시키며(S230), 각 채널별 영상을 선택하여(S235, S245) 로드할 수 있다(S240a, S250a).
반면 영상 장입 장치(130)가 각 채널별 영상을 선택하지 않으면 디폴트(default) 영상인 기본 패턴 영상이 로드된다(S240b, S250b).
모든 채널에 대하여 선택이 완료되면, 영상 장입 장치(130)는 영상 장입을 시작한다(S255).
영상 장입 장치(130)의 영상 장입 기능은 사용자의 요청에 따라 종료될 수 있다.
한편 영상 장입 장치(130)는 영상 저장 기능을 수행할 때 다음 순서에 따라 작동할 수 있다.
도 3은 본 발명의 일실시예에 따른 영상 장입 장치의 영상 저장 기능을 설명하기 위한 흐름도이다.
먼저 영상 장입 장치(130)는 영상 저장 통제기(120)와 영상 장입 장치(130) 사이의 RX USB 연결을 확인한다(S310).
연결이 확인되면, 영상 장입 장치(130)는 리시버(receiver)를 활성화시키지만(S330), 연결이 확인되지 않으면 리시버의 비활성화를 유지하며(S320) RX USB 연결을 재확인한다(S310).
리시버가 활성화되면, 영상 장입 장치(130)는 영상 저장을 시작한다(S340).
영상 장입 장치(130)의 영상 저장 기능은 영상 장입 기능과 마찬가지로 사용자의 요청에 따라 종료될 수 있다.
다음으로 앞서 후술하기로 했던 영상 장입 장치(130)의 내부 구조에 대하여 설명한다.
도 4는 영상 장입 장치를 구성하는 USB 인터페이스의 내부 구조를 설명하기 위한 개념도이다.
USB 인터페이스(131)는 영상 장입 통제기(110), 영상 저장 통제기(120) 등에 구비되어 있는 USB 트랜시버(USB transceiver)와 인터페이스하기 위해 제1 FSM(410)와 제2 FSM(420)을 구비한다.
제1 FSM(410)은 USB 슬레이브(slave) FIFO FSM(Finite State Machine)으로서, USB 트랜시버 슬레이브 FIFO와의 통신을 담당한다.
제2 FSM(420)은 FPGA FIFO 상태(state) FSM으로서, USB 트랜시버로부터 전달받은 데이터를 저장하는 기능을 수행한다. 또한 제2 FSM(420)은 DDR 메모리로부터 전달된 데이터를 USB 트랜시버로 전송하기 위한 FPGA 내부의 FIFO 상태를 알리는 기능을 수행한다.
도 5는 영상 장입 장치를 구성하는 송신 모듈의 내부 구조를 설명하기 위한 개념도이다.
도 5에 따르면, 송신 모듈(133)은 제1 저장 제어 블록(511), 제1 메모리 컨트롤러(512), 제1 노이즈 생성기(513), 제1 데이터 전송 제어 블록(514), 제2 저장 제어 블록(521), 제2 메모리 컨트롤러(522), 제2 노이즈 생성기(523) 및 제2 데이터 전송 제어 블록(524)를 포함한다.
제1 저장 제어 블록(1ch TX FIFO to Mem block; 511)은 USB 인터페이스(131)로부터 전달받은 데이터를 영상 신호 처리기(140)로 전달하기 위해 USB 트랜시버 슬레이브 FIFO(USB transceiver slave FIFO)에서 DDR3 메모리로 저장하는 기능을 수행한다.
제1 메모리 컨트롤러(DDR3 controller; 512)는 DDR3 메모리와의 인터페이스(I/F) 역할을 담당하는 것이다. 제1 저장 제어 블록(511)은 이러한 제1 메모리 컨트롤러(512)를 통해 DDR3 메모리에 데이터를 저장한다. 제1 메모리 컨트롤러(512)는 Xilinx MIG IP를 활용하여 설계될 수 있다.
제1 노이즈 생성기(3-D Noise Gen; 513)는 제1 저장 제어 블록(511) 및 제1 메모리 컨트롤러(512)를 거쳐 입력된 데이터에 노이즈를 추가하는 기능을 수행한다. 이러한 제1 노이즈 생성기(513)는 적외선 검출기의 특성 노이즈인 노이즈 모델을 생성하여 이 노이즈 모델을 입력 영상에 추가하는 기능을 수행한다.
제1 데이터 전송 제어 블록(1ch TX Mem to FIFO; 514)은 LVDS 신호의 타이밍(LVDS timing)을 고려하여 제1 노이즈 생성기(513)에 의해 노이즈가 추가된 데이터를 LVDS 인터페이스(132)를 거쳐 영상 신호 처리기(140)로 전송하는 기능을 수행한다. 제1 데이터 전송 제어 블록(514)의 이러한 기능은 LVDS 인터페이스(132)의 제1 TX 모듈(1ch TX module)에서 제1 직렬 변환기(1ch LVDS serializer)로 데이터를 전송하기 위한 것이다.
제2 저장 제어 블록(521), 제2 메모리 컨트롤러(522), 제2 노이즈 생성기(523) 및 제2 데이터 전송 제어 블록(524)은 제1 저장 제어 블록(511), 제1 메모리 컨트롤러(512), 제1 노이즈 생성기(513) 및 제1 데이터 전송 제어 블록(514)와 동일한 기능을 수행하는 것들이다. 자세하게는 다음과 같은 기능들을 수행한다.
제2 저장 제어 블록(2ch TX FIFO to Mem block; 521)은 제1 저장 제어 블록(511)과 마찬가지로 USB 인터페이스(131)로부터 전달받은 데이터를 영상 신호 처리기(140)로 전달하기 위해 USB 트랜시버 슬레이브 FIFO(USB transceiver slave FIFO)에서 DDR3 메모리로 저장하는 기능을 수행한다.
제2 메모리 컨트롤러(DDR3 controller; 522)는 제1 메모리 컨트롤러(512)와 마찬가지로 DDR3 메모리와의 인터페이스(I/F) 역할을 담당하는 것이다. 제2 저장 제어 블록(521)은 이러한 제2 메모리 컨트롤러(522)를 통해 DDR3 메모리에 데이터를 저장한다.
제2 노이즈 생성기(3-D Noise Gen; 523)는 제2 저장 제어 블록(521) 및 제2 메모리 컨트롤러(522)를 거쳐 입력된 데이터에 노이즈를 추가하는 기능을 수행한다. 이러한 제2 노이즈 생성기(523)는 적외선 검출기의 특성 노이즈인 노이즈 모델을 생성하여 이 노이즈 모델을 입력 영상에 추가하는 기능을 수행한다.
제2 데이터 전송 제어 블록(2ch TX Mem to FIFO; 524)은 LVDS 신호의 타이밍을 고려하여 제2 노이즈 생성기(523)에 의해 노이즈가 추가된 데이터를 LVDS 인터페이스(132)를 거쳐 영상 신호 처리기(140)로 전송하는 기능을 수행한다. 제2 데이터 전송 제어 블록(524)의 이러한 기능은 LVDS 인터페이스(132)의 제2 TX 모듈(2ch TX module)에서 제2 직렬 변환기(2ch LVDS serializer)로 데이터를 전송하기 위한 것이다.
도 5에서는 송신 모듈(133)에 구비되는 저장 제어 블록으로 제1 저장 제어 블록(511)과 제2 저장 제어 블록(521)을 도시하였는데, 본 발명이 이에 한정되는 것은 아니다. 일례로 송신 모듈(133)은 한 개의 저장 제어 블록을 구비하거나 세 개 이상의 저장 제어 블록들을 구비하는 것도 가능하다.
송신 모듈(133)에서 메모리 컨트롤러, 노이즈 생성기, 데이터 전송 제어 블록 등은 저장 제어 블록과 동일 개수 구비된다. 그러나 본 발명에서 메모리 컨트롤러, 노이즈 생성기, 데이터 전송 제어 블록 등은 저장 제어 블록보다 적은 개수 구비되는 것도 가능하다.
도 6은 영상 장입 장치를 구성하는 수신 모듈의 내부 구조를 설명하기 위한 개념도이다.
도 6에 따르면, 수신 모듈(134)은 제3 저장 제어 블록(611), 제3 메모리 컨트롤러(612), 제3 데이터 전송 제어 블록(613), 제4 저장 제어 블록(621), 제4 메모리 컨트롤러(622), 제4 데이터 전송 제어 블록(623), 제5 저장 제어 블록(631), 제5 메모리 컨트롤러(632) 및 제5 데이터 전송 제어 블록(633)을 포함한다.
제3 저장 제어 블록(1ch RX FIFO to Mem block; 611)은 LVDS 신호의 타이밍을 고려하여 제1 직병렬 변환기(1ch LVDS deserializer)로부터 LVDS 인터페이스(132)의 제1 RX 모듈(1ch RX module)을 거쳐 수신되는 데이터를 획득하는 기능을 수행한다. 제3 저장 제어 블록(611)은 이렇게 획득된 데이터를 제3 메모리 컨트롤러(612)를 이용하여 DDR3 메모리에 저장하는 기능을 수행한다.
제3 메모리 컨트롤러(612)는 제1 메모리 컨트롤러(512)와 동일하게 Xilinx MIG IP를 활용하여 설계될 수 있다.
제3 데이터 전송 제어 블록(1ch RX Mem to FIFO block; 613)은 DDR3 메모리에 저장된 영상 데이터를 독출하는 기능을 수행한다. 또한 제3 데이터 전송 제어 블록(613)은 FIFO를 이용하여 영상 데이터를 영상 저장 통제기(120)의 USB 트랜시버로 전송하는 기능을 수행한다.
제4 저장 제어 블록(621), 제4 메모리 컨트롤러(622) 및 제4 데이터 전송 제어 블록(623)은 제3 저장 제어 블록(611), 제3 메모리 컨트롤러(612) 및 제3 데이터 전송 제어 블록(613)과 동일한 기능을 수행하는 것이다. 마찬가지로, 제5 저장 제어 블록(631), 제5 메모리 컨트롤러(632) 및 제5 데이터 전송 제어 블록(633)도 제3 저장 제어 블록(611), 제3 메모리 컨트롤러(612) 및 제3 데이터 전송 제어 블록(613)과 동일한 기능을 수행하는 것이다. 자세하게는 다음과 같은 기능을 수행한다.
제4 저장 제어 블록(2ch RX FIFO to Mem block; 621)은 LVDS 신호의 타이밍을 고려하여 제2 직병렬 변환기(2ch LVDS deserializer)로부터 LVDS 인터페이스(132)의 제2 RX 모듈(2ch RX module)을 거쳐 수신되는 데이터를 획득하는 기능을 수행한다. 제4 저장 제어 블록(621)은 이렇게 획득된 데이터를 제4 메모리 컨트롤러(622)를 이용하여 DDR3 메모리에 저장하는 기능을 수행한다.
제4 메모리 컨트롤러(622)는 제2 메모리 컨트롤러(522)와 동일하게 Xilinx MIG IP를 활용하여 설계될 수 있다.
제4 데이터 전송 제어 블록(2ch RX Mem to FIFO block; 623)은 DDR3 메모리에 저장된 영상 데이터를 독출하는 기능을 수행한다. 또한 제4 데이터 전송 제어 블록(623)은 FIFO를 이용하여 영상 데이터를 영상 저장 통제기(120)의 USB 트랜시버로 전송하는 기능을 수행한다.
제5 저장 제어 블록(3ch RX FIFO to Mem block; 631)은 LVDS 신호의 타이밍을 고려하여 제3 직병렬 변환기(3ch LVDS deserializer)로부터 LVDS 인터페이스(132)의 제3 RX 모듈(3ch RX module)을 거쳐 수신되는 데이터를 획득하는 기능을 수행한다. 제5 저장 제어 블록(631)은 이렇게 획득된 데이터를 제5 메모리 컨트롤러(632)를 이용하여 DDR3 메모리에 저장하는 기능을 수행한다.
제5 메모리 컨트롤러(632)는 제2 메모리 컨트롤러(522)와 동일하게 Xilinx MIG IP를 활용하여 설계될 수 있다.
제5 데이터 전송 제어 블록(3ch RX Mem to FIFO block; 633)은 DDR3 메모리에 저장된 영상 데이터를 독출하는 기능을 수행한다. 또한 제5 데이터 전송 제어 블록(633)은 FIFO를 이용하여 영상 데이터를 영상 저장 통제기(120)의 USB 트랜시버로 전송하는 기능을 수행한다.
도 6에서는 수신 모듈(134)이 제3 저장 제어 블록(611), 제4 저장 제어 블록(621), 제5 저장 제어 블록(631) 등 세 개의 저장 제어 블록을 구비하는 경우를 일례로 설명하고 있다. 그러나 본 발명이 이에 한정되는 것은 아니다. 즉 수신 모듈(134)은 한 개 또는 두 개의 저장 제어 블록을 구비하거나 네 개 이상의 저장 제어 블록들을 구비하는 것도 가능하다.
수신 모듈(134)에서 메모리 컨트롤러, 데이터 전송 제어 블록 등은 저장 제어 블록과 동일 개수 구비된다. 그러나 본 발명에서 메모리 컨트롤러, 데이터 전송 제어 블록 등은 저장 제어 블록보다 적은 개수 구비되는 것도 가능하다.
다음으로 영상 장입 장치(130)의 송신 모듈(133)에 구비되는 노이즈 생성기에 대하여 설명한다. 도 5에서 제1 노이즈 생성기(513)와 제2 노이즈 생성기(523)는 동일한 기능을 수행하므로, 이하에서는 제1 노이즈 생성기(513)를 일례로 들어 설명하기로 한다.
제1 노이즈 생성기(513)는 노이즈 모델을 생성하여 영상 데이터에 추가하는 기능을 수행한다. 이러한 제1 노이즈 생성기(513)는 적외선 검출기의 출력과 관련된 노이즈 모델을 생성하여 영상 데이터에 추가할 수 있다.
먼저 적외선 검출기의 출력 모델에 대하여 설명한다.
적외선 검출기의 출력은 다음 수학식 1과 같이 나타낼 수 있다.
Figure 112017090407552-pat00001
상기에서 s(v, h, Ts)는 적외선 검출기의 (v, h) 위치 픽셀에서의 영상 신호를 의미한다. 여기서 h는 수평 방향으로의 픽셀 수를 의미하며, v는 수직 방향으로의 픽셀 수를 의미한다.
n(t, v, h, TS, TD, Tf)는 적외선 검출기의 랜덤 노이즈 신호(random noise signal)를 의미한다. 여기서 TS는 소스의 온도를 의미하며, TD는 적외선 검출기의 온도를 의미한다. 그리고 Tf는 피드백 저항(feedback resistor)의 온도를 의미한다.
G(v, h)는 적외선 검출기의 이득(gain)을 의미하며, F(v, h)는 적외선 검출기의 오프셋(offset)을 의미한다.
소스의 온도가 TS인 적외선 검출기에 입사되는 광자속(photon flux)에 의해 생성되는 영상 광전류(image photocurrent)는 다음 수학식 2와 같이 정의된다.
Figure 112017090407552-pat00002
상기에서 η는 적외선 검출기의 양자 효율을 의미한다. q는 전하를 의미하며, φP(v, h, TS)는 적외선 검출기의 광자속(photon flux)을 의미한다.
적외선 검출기의 광자속은 다음 수학식 3과 같이 정의된다.
Figure 112017090407552-pat00003
상기에서 λmax는 컷오프(cutoff) 파장의 최대값을 의미하며, λmin은 컷오프 파장의 최소값을 의미한다. 또한 Lq는 복사 휘도를 의미하며, τW는 창 투과율을 의미한다. 또한 τOPTICS는 렌즈 투과율을 의미하며, τCF는 콜드 필터 투과율을 의미한다. 또한 τFPA는 FPA 투과율을 의미하며, Ad는 적외선 검출기의 픽셀 면적을 의미한다. 또한 f/#은 적외선 검출기의 f-number를 의미한다.
다음으로 적외선 검출기의 출력 모델을 기초로 제1 노이즈 생성기(513)에 의해 생성되는 적외선 검출기의 노이즈 모델에 대하여 설명한다.
적외선 검출기의 노이즈(noise)는 크게 암전류 노이즈(dark current noise), 포톤 노이즈(photon noise), 존슨 노이즈(johnson noise), 플리커 노이즈(1/f noise, flicker noise), 프리앰프 노이즈(preamplifier noise) 등으로 구분된다.
본 발명에서 제1 노이즈 생성기(513)는 이러한 노이즈들을 임의로 생성한 후 영상 데이터에 합성하여 노이즈 영상을 생성한다. 이를 수학식으로 나타내면 다음과 같다.
Figure 112017090407552-pat00004
암전류 노이즈(dark current noise)는 이상적으로는 적외선 검출기의 각 픽셀별 암전류(dark current)가 동일하여야 하나, 실제 환경에서는 암전류(dark current)의 요동(fluctuation)이 발생함에 따라 생기는 노이즈를 말한다.
제1 노이즈 생성기(513)는 다음 수학식에 따라 암전류 노이즈를 임의로 생성할 수 있다.
Figure 112017090407552-pat00005
상기에서 τ는 적외선 검출기의 적분 시간을 의미하며, i0는 역방향 포화 전류를 의미한다. TD는 적외선 검출기의 온도를 의미하며, RA는 적외선 검출기의 저항 면적을 의미한다. 또한 kB는 볼츠만 상수를 의미하며, aD는 적외선 검출기의 활성 면적을 의미한다.
포톤 노이즈(photon noise)는 적외선 검출기에 입사되는 광자의 랜덤한 도착율에 의해 발생하는 요동 잡음(fluctuation noise)를 말한다.
제1 노이즈 생성기(513)는 다음 수학식에 따라 포톤 노이즈를 임의로 생성할 수 있다.
Figure 112017090407552-pat00006
존슨 노이즈(Johnson noise)는 적외선 검출기의 전기 소자 내 전하 캐리어들(charged carriers)의 랜덤한 움직임에 의해 발생하는 노이즈를 말한다.
제1 노이즈 생성기(513)는 다음 수학식에 따라 존슨 노이즈를 임의로 생성할 수 있다.
Figure 112017090407552-pat00007
상기에서 RD는 적외선 검출기의 저항을 의미하며, Tf는 피드백 저항의 온도를 의미한다. Rf는 프리앰프(preamplifier)의 피드백(feedback) 저항을 의미한다.
플리커 노이즈(1/f noise)는 적외선 검출기 내 반도체에서 발생하는 노이즈를 말하며, 저주파에서 크게 증가하는 특성을 가지고 있는 것이다.
제1 노이즈 생성기(513)는 다음 수학식에 따라 플리커 노이즈를 임의로 생성할 수 있다.
Figure 112017090407552-pat00008
상기에서 B0는 비례 상수를 의미한다. VDC는 적외선 검출기의 DC 바이어스 전압을 의미하며, f는 신호 변조 주파수를 의미한다. 또한 α와 β는 적외선 검출기의 소자와 제조 과정에 의해 결정되는 가중치들로서, 일례로 α≒2이고 β≒1이다.
프리앰프 노이즈(preamplifier noise)는 적외선 검출기 신호를 전압으로 변환하는 증폭 회로에서 발생하는 노이즈를 말한다.
제1 노이즈 생성기(513)는 다음 수학식에 따라 프리앰프 노이즈를 임의로 생성할 수 있다.
Figure 112017090407552-pat00009
상기에서 ipreamp는 프리앰프(preamplifier)의 전류 노이즈를 의미하며, vpreamp는 프리앰프의 전압 노이즈를 의미한다.
전체 노이즈의 RMS 크기는 다음 수학식 10에 도시된 바와 같다.
Figure 112017090407552-pat00010
도 7은 적외선 검출기의 노이즈 모델을 설명하기 위한 참고도이다.
도 7의 (a)는 이상적인 신호(ideal signal)를 나타낸 것이다. 도 7의 (b)는 이상적인 신호에 암전류 노이즈가 반영된 상황을 보여주고 있으며, 도 7의 (c)는 이상적인 신호에 포톤 노이즈가 반영된 상황을 보여주고 있다. 도 7의 (d)는 이상적인 신호에 플리커 노이즈가 반영된 상황을 보여주고 있으며, 도 7의 (e)는 이상적인 신호에 프리앰프 노이즈가 반영된 상황을 보여주고 있다.
결론적으로 수학식 4의 노이즈 영상은 평균이 0인 랜덤(random) 변수의 합이며, 전체 RMS 노이즈 전류는 평균이 0이고 수학식 10의 전체 노이즈의 RMS 값을 표준편차로 갖는 정규 분포의 출력으로 결과를 얻게 된다.
이상 적외선 검출기의 노이즈 모델에 대하여 설명하였는데, 이하에서는 제1 노이즈 생성기(513)가 각 노이즈 모델을 기초로 최종적으로 노이즈 영상을 생성하는 방법에 대하여 설명한다.
도 8은 본 발명의 일실시예에 따른 노이즈 생성기의 작동 방법을 설명하기 위한 흐름도이다.
먼저 제1 노이즈 생성기(513)는 수학식 5를 기초로 암전류 노이즈를 산출한다(S710).
이후 제1 노이즈 생성기(513)는 수학식 6을 기초로 포톤 노이즈를 산출한다(S720).
이후 제1 노이즈 생성기(513)는 수학식 7을 기초로 존슨 노이즈를 산출한다(S730).
이후 제1 노이즈 생성기(513)는 수학식 8을 기초로 플리커 노이즈를 산출한다(S740).
이후 제1 노이즈 생성기(513)는 수학식 9를 기초로 프리앰프 노이즈를 산출한다(S750).
도 8에서는 S710 단계부터 S750 단계까지 순차적으로 수행되는 것으로 도시하였으나, 본 발명이 이 순서에 한정되는 것은 아니다. 즉 본 발명에서는 그 어떠한 단계가 먼저 수행되거나, 적어도 두개의 단계들이 동시에 수행되어도 무방하다.
암전류 노이즈, 포톤 노이즈, 존슨 노이즈, 플리커 노이즈 및 프리앰프 노이즈가 모두 산출되면, 제1 노이즈 생성기(513)는 수학식 10을 기초로 전체 노이즈의 RMS 값을 산출한다(S760).
이후 제1 노이즈 생성기(513)는 전체 노이즈의 RMS 값을 기초로 정규분포 출력을 계산하여 최종적으로 노이즈 영상을 생성한다(S770).
도 9는 노이즈를 적용하기 전후의 영상들을 보여주는 참고도이다. 도 9의 (a)는 노이즈를 적용하기 전 원본 영상을 도시한 것이며, 도 9의 (b)는 노이즈를 적용한 후 영상을 도시한 것이다.
본 발명은 사용자에 의해 생성된 임의의 영상(도 9의 (a))에서 노이즈 영상 장입 장치를 이용하여 실제 적외선 검출기에서 발생하는 노이즈가 적용된 영상(도 9의 (b))을 영상 신호 처리기에 입력하는 것과 동일한 효과를 얻을 수 있다.
이상 설명한 본 발명은 밀리미터파 탐색기, 이중 모드 영상 탐색기 등에 적용될 수 있다.
이상 도 1 내지 도 9를 참조하여 본 발명의 일실시 형태에 대하여 설명하였다. 이하에서는 이러한 일실시 형태로부터 추론 가능한 본 발명의 바람직한 형태에 대하여 설명한다.
도 10은 본 발명의 바람직한 실시예에 따른 노이즈 영상 생성 장치의 내부 구성들을 개략적으로 도시한 개념도이다.
도 10에 따르면, 노이즈 영상 생성 장치(800)는 노이즈 영상 생성부(810), 노이즈 영상 변환부(820), 노이즈 영상 출력부(830), 제1 전원부(840) 및 제1 주제어부(850)를 포함한다. 노이즈 영상 생성 장치(800)는 도 1의 영상 장입 장치(130)에 대응하는 개념이다.
제1 전원부(840)는 노이즈 영상 생성 장치(800)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다.
제1 주제어부(850)는 노이즈 영상 생성 장치(800)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.
노이즈 영상 생성부(810)는 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 기능을 수행한다. 노이즈 영상 생성부(810)는 도 1의 송신 모듈(133)에 대응하는 개념이다. 특히 노이즈 영상 생성부(810)는 도 5의 제1 노이즈 생성기(513) 및 제2 노이즈 생성기(523)에 대응하는 개념이다.
노이즈 영상 생성부(810)는 입력 영상에 적외선 검출기의 특성과 관련된 노이즈를 삽입하여 노이즈 영상을 생성할 수 있다. 노이즈 영상 생성부(810)는 암전류 노이즈(dark current noise), 포톤 노이즈(photon noise), 존슨 노이즈(Johnson noise), 플리커 노이즈(1/f noise) 및 프리앰프 노이즈(preamplifier noise) 중 적어도 하나의 노이즈를 적외선 검출기의 특성과 관련된 노이즈로 이용할 수 있다.
암전류 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기의 적분 시간, 적외선 검출기의 동작과 관련된 역방향 포화 전류, 적외선 검출기의 온도 및 적외선 검출기의 저항 면적을 기초로 노이즈 영상을 생성할 수 있다.
포톤 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기의 양자 효율, 적외선 검출기의 광자속(photon flux) 및 적외선 검출기의 적분 시간을 기초로 노이즈 영상을 생성할 수 있다.
존슨 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기의 적분 시간, 적외선 검출기의 온도, 적외선 검출기에 구비되어 있는 저항에 대한 정보, 적외선 검출기에 구비되어 있는 피드백 저항에 대한 정보 및 피드백 저항의 온도를 기초로 노이즈 영상을 생성할 수 있다.
플리커 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기의 DC 바이어스 전압, 적외선 검출기의 적분 시간, 적외선 검출기의 동작과 관련된 변조 주파수에 대한 정보, 적외선 검출기에 구비되어 있는 저항에 대한 정보 및 적외선 검출기에 구비되어 있는 소자와 관련된 가중치를 기초로 노이즈 영상을 생성할 수 있다.
프리앰프 노이즈를 삽입하여 노이즈 영상을 생성하는 경우, 노이즈 영상 생성부(810)는 적외선 검출기에 구비되어 있는 프리앰프(preamplifier)의 전류 노이즈, 프리앰프의 전압 노이즈, 적외선 검출기에 구비되어 있는 저항에 대한 정보 및 프리앰프의 피드백 저항에 대한 정보를 기초로 노이즈 영상을 생성할 수 있다.
노이즈 영상 생성부(810)는 서로 다른 적어도 두개의 노이즈들과 관련된 실효값을 기초로 노이즈 영상을 생성할 수 있다.
노이즈 영상 변환부(820)는 노이즈 영상 생성부(810)에 의해 생성된 노이즈 영상을 변환시키는 기능을 수행한다. 노이즈 영상 변환부(820)는 도 1의 송신 모듈(133)에 대응하는 개념이다.
노이즈 영상 변환부(820)는 USB 신호 형태의 노이즈 영상을 LVDS(Low Voltage Differential Signaling) 신호 형태의 노이즈 영상으로 변환시킬 수 있다.
노이즈 영상 출력부(830)는 노이즈 영상 변환부(820)에 의해 변환된 노이즈 영상을 외부로 출력시키는 기능을 수행한다. 노이즈 영상 출력부(830)는 도 1의 LVDS 인터페이스(132)에 대응하는 개념이다.
다음으로 노이즈 영상 생성 장치(800)의 작동 방법에 대하여 설명한다.
도 11은 본 발명의 바람직한 실시예에 따른 노이즈 영상 생성 방법을 개략적으로 도시한 흐름도이다.
먼저 노이즈 영상 생성부(810)는 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성한다(S910). 이때 노이즈 영상 생성부(810)는 입력 영상에 적외선 검출기의 특성과 관련된 노이즈를 삽입하여 노이즈 영상을 생성할 수 있다.
이후 노이즈 영상 변환부(820)는 노이즈 영상 생성부(810)에 의해 생성된 노이즈 영상을 변환시킨다(S920). 이때 노이즈 영상 변환부(820)는 USB 신호 형태의 노이즈 영상을 LVDS 신호 형태의 노이즈 영상으로 변환시킬 수 있다.
이후 노이즈 영상 출력부(830)는 노이즈 영상 변환부(820)에 의해 변환된 노이즈 영상을 출력시킨다(S930).
다음으로 노이즈 영상 생성 장치(800)를 구비하는 영상 처리기 성능 검증 시스템에 대하여 설명한다.
도 12는 본 발명의 바람직한 실시예에 따른 영상 처리기 성능 검증 시스템의 내부 구성들을 개략적으로 도시한 개념도이다.
도 12에 따르면, 영상 처리기 성능 검증 시스템(1000)은 노이즈 영상 생성 장치(800), 노이즈 영상 처리부(1010), 성능 검증부(1020) 및 제2 주제어부(1030)를 포함한다.
제2 주제어부(1030)는 영상 처리기 성능 검증 시스템(1000)에 구비되는 각 구성의 전체 작동을 제어하는 기능을 수행한다.
노이즈 영상 생성 장치(800)는 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 것이다. 노이즈 영상 생성 장치(800)에 대해서는 도 10을 참조하여 전술하였으므로, 여기서는 그 자세한 설명을 생략한다.
노이즈 영상 처리부(1010)는 노이즈 영상 생성 장치(800)에 의해 생성된 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 기능을 수행한다. 노이즈 영상 처리부(1010)는 도 1의 영상 신호 처리기(140)에 대응하는 개념이다.
성능 검증부(1020)는 입력 영상으로부터 얻은 표적에 대한 정보와 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 노이즈 영상 처리부(1010)의 성능을 검증하는 기능을 수행한다. 성능 검증부(1020)는 통상의 컴퓨터로 구현될 수 있다.
성능 검증부(1020)는 입력 영상으로부터 얻은 표적에 대한 정보가 노이즈 영상으로부터 얻은 표적에 대한 정보에서도 검출되는지 여부를 기초로 노이즈 영상 처리부의 성능을 검증할 수 있다. 일례로 성능 검증부(1020)는 입력 영상으로부터 얻은 표적에 대한 정보가 노이즈 영상으로부터 얻은 표적에 대한 정보에서 검출되지 않으면 노이즈와 관련하여 노이즈 영상 처리부(1010)가 비정상 작동하는 것으로 판단할 수 있다.
다음으로 영상 처리기 성능 검증 시스템(1000)의 작동 방법에 대하여 설명한다.
도 13은 본 발명의 바람직한 실시예에 따른 영상 처리기 성능 검증 방법을 개략적으로 도시한 흐름도이다.
먼저 노이즈 영상 생성 장치(800)가 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성한다(S1110).
이후 노이즈 영상 처리부(1010)가 노이즈 영상을 처리하여 표적에 대한 정보를 생성한다(S1120).
이후 성능 검증부(1020)가 입력 영상으로부터 얻은 표적에 대한 정보와 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 노이즈 영상 처리부(1010)의 성능을 검증한다(S1130).
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 노이즈 영상 생성 장치;
    상기 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 노이즈 영상 처리부; 및
    상기 입력 영상으로부터 얻은 표적에 대한 정보와 상기 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 상기 노이즈 영상 처리부의 성능을 검증하는 성능 검증부
    를 포함하며,
    상기 노이즈 영상 생성 장치는,
    입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 것으로서, 상기 입력 영상에 적외선 검출기의 특성과 관련된 노이즈를 삽입하여 상기 노이즈 영상을 생성하되, 상기 적외선 검출기의 양자 효율, 상기 적외선 검출기의 광자속(photon flux) 및 상기 적외선 검출기의 적분 시간을 기초로 상기 노이즈 영상을 생성하는 노이즈 영상 생성부;
    상기 노이즈 영상을 변환시키는 노이즈 영상 변환부; 및
    상기 노이즈 영상을 출력시키는 노이즈 영상 출력부
    를 포함하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  2. 제 1 항에 있어서,
    상기 성능 검증부는 상기 입력 영상으로부터 얻은 표적에 대한 정보가 상기 노이즈 영상으로부터 얻은 표적에 대한 정보에서도 검출되는지 여부를 기초로 상기 노이즈 영상 처리부의 성능을 검증하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  3. 제 2 항에 있어서,
    상기 성능 검증부는 상기 입력 영상으로부터 얻은 표적에 대한 정보가 상기 노이즈 영상으로부터 얻은 표적에 대한 정보에서 검출되지 않으면 상기 노이즈와 관련하여 상기 노이즈 영상 처리부가 비정상 작동하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 노이즈 영상 생성부는 암전류 노이즈(dark current noise), 존슨 노이즈(Johnson noise), 플리커 노이즈(1/f noise) 및 프리앰프 노이즈(preamplifier noise) 중 적어도 하나의 노이즈를 상기 적외선 검출기의 특성과 관련된 노이즈로 이용하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  7. 제 1 항에 있어서,
    상기 노이즈 영상 생성부는 적외선 검출기의 적분 시간, 상기 적외선 검출기의 동작과 관련된 역방향 포화 전류, 상기 적외선 검출기의 온도 및 상기 적외선 검출기의 저항 면적을 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 노이즈 영상 생성부는 적외선 검출기의 적분 시간, 상기 적외선 검출기의 온도, 상기 적외선 검출기에 구비되어 있는 저항에 대한 정보, 상기 적외선 검출기에 구비되어 있는 피드백 저항에 대한 정보 및 상기 피드백 저항의 온도를 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  10. 제 1 항에 있어서,
    상기 노이즈 영상 생성부는 적외선 검출기의 DC 바이어스 전압, 상기 적외선 검출기의 적분 시간, 상기 적외선 검출기의 동작과 관련된 변조 주파수에 대한 정보, 상기 적외선 검출기에 구비되어 있는 저항에 대한 정보 및 상기 적외선 검출기에 구비되어 있는 소자와 관련된 가중치를 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  11. 제 1 항에 있어서,
    상기 노이즈 영상 생성부는 적외선 검출기에 구비되어 있는 프리앰프(preamplifier)의 전류 노이즈, 상기 프리앰프의 전압 노이즈, 상기 적외선 검출기에 구비되어 있는 저항에 대한 정보, 상기 프리앰프의 피드백 저항에 대한 정보를 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  12. 제 1 항에 있어서,
    상기 노이즈 영상 생성부는 서로 다른 적어도 두개의 노이즈들과 관련된 실효값을 기초로 상기 노이즈 영상을 생성하는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  13. 제 1 항에 있어서,
    상기 노이즈 영상 변환부는 USB 신호 형태의 노이즈 영상을 LVDS(Low Voltage Differential Signaling) 신호 형태의 노이즈 영상으로 변환시키는 것을 특징으로 하는 영상 처리기 성능 검증 시스템.
  14. 입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 단계;
    상기 노이즈 영상을 처리하여 표적에 대한 정보를 생성하는 단계; 및
    상기 입력 영상으로부터 얻은 표적에 대한 정보와 상기 노이즈 영상으로부터 얻은 표적에 대한 정보를 비교하여 상기 노이즈 영상을 처리하는 장치의 성능을 검증하는 단계
    를 포함하며,
    상기 노이즈 영상을 생성하는 단계는,
    입력 영상에 노이즈를 삽입하여 노이즈 영상을 생성하는 단계로서, 상기 입력 영상에 적외선 검출기의 특성과 관련된 노이즈를 삽입하여 상기 노이즈 영상을 생성하되, 상기 적외선 검출기의 양자 효율, 상기 적외선 검출기의 광자속(photon flux) 및 상기 적외선 검출기의 적분 시간을 기초로 상기 노이즈 영상을 생성하는 단계;
    상기 노이즈 영상을 변환시키는 단계; 및
    상기 노이즈 영상을 출력시키는 단계
    를 포함하는 것을 특징으로 하는 영상 처리기 성능 검증 방법.
  15. 제 14 항에 있어서,
    상기 검증하는 단계는 상기 입력 영상으로부터 얻은 표적에 대한 정보가 상기 노이즈 영상으로부터 얻은 표적에 대한 정보에서도 검출되는지 여부를 기초로 상기 장치의 성능을 검증하는 것을 특징으로 하는 영상 처리기 성능 검증 방법.
  16. 제 15 항에 있어서,
    상기 검증하는 단계는 상기 입력 영상으로부터 얻은 표적에 대한 정보가 상기 노이즈 영상으로부터 얻은 표적에 대한 정보에서 검출되지 않으면 상기 노이즈와 관련하여 상기 장치가 비정상 작동하는 것을 특징으로 하는 영상 처리기 성능 검증 방법.
KR1020170119428A 2017-09-18 2017-09-18 영상 처리기 성능 검증 시스템 및 방법 KR101846018B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170119428A KR101846018B1 (ko) 2017-09-18 2017-09-18 영상 처리기 성능 검증 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170119428A KR101846018B1 (ko) 2017-09-18 2017-09-18 영상 처리기 성능 검증 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101846018B1 true KR101846018B1 (ko) 2018-04-05

Family

ID=61977653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170119428A KR101846018B1 (ko) 2017-09-18 2017-09-18 영상 처리기 성능 검증 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101846018B1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4427306A (en) * 1980-08-04 1984-01-24 University Patents, Inc. Radiometer apparatus for air disturbance detection
US5371358A (en) * 1991-04-15 1994-12-06 Geophysical & Environmental Research Corp. Method and apparatus for radiometric calibration of airborne multiband imaging spectrometer
US20020011852A1 (en) * 2000-03-21 2002-01-31 Andreas Mandelis Non-contact photothermal radiometric metrologies and instrumentation for characterization of semiconductor wafers, devices and non electronic materials
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
KR20120117549A (ko) * 2011-04-15 2012-10-24 (주)에프알텍 디지털 신호처리 장치의 알고리즘을 검증하기 위한 테스트 장치
KR101346112B1 (ko) * 2012-05-24 2013-12-31 (주)아이피티브이코리아 스마트 ｔｖ의 영상품질 측정 시스템
KR20150060271A (ko) * 2013-11-26 2015-06-03 한국과학기술원 적외선 검출기
KR101533925B1 (ko) * 2014-05-20 2015-07-03 한양대학교 에리카산학협력단 적외선 영상에서 소형 표적 검출 방법 및 그 장치
KR20160003507U (ko) * 2015-04-01 2016-10-11 세미컨덕터 콤포넨츠 인더스트리즈 엘엘씨 실시간 디지털 테스트 능력을 가진 이미징 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4427306A (en) * 1980-08-04 1984-01-24 University Patents, Inc. Radiometer apparatus for air disturbance detection
US5371358A (en) * 1991-04-15 1994-12-06 Geophysical & Environmental Research Corp. Method and apparatus for radiometric calibration of airborne multiband imaging spectrometer
US20020011852A1 (en) * 2000-03-21 2002-01-31 Andreas Mandelis Non-contact photothermal radiometric metrologies and instrumentation for characterization of semiconductor wafers, devices and non electronic materials
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
KR20120117549A (ko) * 2011-04-15 2012-10-24 (주)에프알텍 디지털 신호처리 장치의 알고리즘을 검증하기 위한 테스트 장치
KR101346112B1 (ko) * 2012-05-24 2013-12-31 (주)아이피티브이코리아 스마트 ｔｖ의 영상품질 측정 시스템
KR20150060271A (ko) * 2013-11-26 2015-06-03 한국과학기술원 적외선 검출기
KR101533925B1 (ko) * 2014-05-20 2015-07-03 한양대학교 에리카산학협력단 적외선 영상에서 소형 표적 검출 방법 및 그 장치
KR20160003507U (ko) * 2015-04-01 2016-10-11 세미컨덕터 콤포넨츠 인더스트리즈 엘엘씨 실시간 디지털 테스트 능력을 가진 이미징 시스템

Similar Documents

Publication Publication Date Title
JP7268369B2 (ja) 撮像システム、現像システム、撮像方法、及びプログラム
US9531964B2 (en) Methods and system for producing a temperature map of a scene
JP6351288B2 (ja) 固体撮像装置及び撮像システム
JP2018509061A (ja) 画像センサ及び画素情報出力方法、位相差オートフォーカス方法、結像装置及び端末
CN106576143A (zh) 图像拍摄装置和图像拍摄方法
CN104010128A (zh) 摄像设备及其控制方法
KR20200134374A (ko) 이미지 신호 프로세서의 모델링 방법, 및 전자 기기
KR20150085669A (ko) 감시 카메라 및 디지털 비디오 리코더
US20210136297A1 (en) Method for providing preview and electronic device for displaying preview
WO2018099009A1 (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
US11546553B2 (en) Image capturing apparatus using learned model, information processing apparatus, methods of controlling respective apparatuses, learned model selection system, and storage medium
KR101925387B1 (ko) 이미지 촬영 장치 및 이미지 촬영 장치의 신호 보정 방법
US10600170B2 (en) Method and device for producing a digital image
KR20170076483A (ko) 전자 장치 및 전자 장치의 제어 방법
KR101846017B1 (ko) 노이즈 영상 생성 장치 및 방법
US8330857B2 (en) Display apparatus and control method thereof
WO2014141677A1 (en) Imaging apparatus, client apparatus, imaging system, method for controlling imaging apparatus, method for controlling client apparatus, and method for controlling imaging system
JP2020202489A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
KR20100122363A (ko) 동기화 방법
KR101846018B1 (ko) 영상 처리기 성능 검증 시스템 및 방법
KR20220006753A (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
JP2007228099A (ja) 撮像装置
US20240072076A1 (en) Image sensor with image receiver and automatic image switching
KR20220090178A (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant