KR101177365B1 - 합성 적외선 영상 주입장치 - Google Patents
합성 적외선 영상 주입장치 Download PDFInfo
- Publication number
- KR101177365B1 KR101177365B1 KR1020110063802A KR20110063802A KR101177365B1 KR 101177365 B1 KR101177365 B1 KR 101177365B1 KR 1020110063802 A KR1020110063802 A KR 1020110063802A KR 20110063802 A KR20110063802 A KR 20110063802A KR 101177365 B1 KR101177365 B1 KR 101177365B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- module
- electro
- optical head
- infrared
- Prior art date
Links
- 238000002347 injection Methods 0.000 title claims abstract description 17
- 239000007924 injection Substances 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000000694 effects Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 4
- 239000002131 composite material Substances 0.000 claims description 26
- 230000005855 radiation Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000010438 heat treatment Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000005316 response function Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000009977 dual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005685 electric field effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 적외선 영상 탐색기의 성능을 평가하기 위해 전자광학 헤드에서 획득되는 영상을 모의 생성하여 신호처리부로 주입하는 합성 적외선 영상 주입장치에 관한 것으로서, 합성 적외선 영상 생성장치로부터 영상을 입력받고, 입력받은 영상으로부터 유효 영역을 추출하는 영상 입력모듈, 상기 영상에 상기 전자광학 헤드의 모델 특성 효과로 인한 영향 요소를 반영하기 위한 영상 처리를 수행하는 제 1 픽셀 처리모듈, 데드 픽셀과 핫 픽셀 및 자동이득을 구현하는 제 2 픽셀 처리모듈, 상기 각 모듈 중 적어도 어느 하나에 설치되어 각 모듈의 처리 영상 및 출력 직전의 실시간 영상을 출력하는 영상 출력 모듈 및 상기 각 모듈들의 동작을 진단 및 제어하는 시스템 제어모듈을 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 센서 하드웨어에서 발생하는 현상을 모델링 과정을 통하여 사실적이고 정밀하면서도 실시간으로 구현할 수 있는 효과가 있다.
상기와 같은 본 발명에 따르면, 센서 하드웨어에서 발생하는 현상을 모델링 과정을 통하여 사실적이고 정밀하면서도 실시간으로 구현할 수 있는 효과가 있다.
Description
본 발명은 합성 적외선 영상 주입장치에 관한 것으로서, 보다 상세하게는 적외선 센서의 실제 운용환경과 유사한 환경을 고려하여 적외선 센서의 전자광학 특성에 따라 발생하는 블러링(Blurring) 및 노이즈(Noise)를 모의 생성하여 센서신호 처리부에 적외선 영상을 실시간으로 주입할 수 있는 기술에 관한 것이다.
적외선 영상을 실시간으로 구현하는 시뮬레이션 기술은 적외선 센서의 실제 운용환경과 유사한 다양한 환경이 고려된 적외선 모의 영상 생성 기술이 수반되며, 적외선 센서(탐색기) 자체의 전자광학 특성에 따라 발생하는 블러링(Blurring) 및 노이즈를 모의 생성하여 센서신호처리부에 적외선 영상을 실시간으로 주사할 수 있는 시스템이다.
적외선 영상 실시간 시뮬레이션 구현을 위한 요소기술은 적외선 영상의 생성 및 이를 기반으로 적외선 센서의 사실적 모의를 실시간으로 구현함과 더불어 동기화가 필수적이다.
적외선 영상의 사실적인 시뮬레이션을 위해서는 물리적 기반의 특성이 사실적으로 구현되어야 한다. 가시광선 대역의 영상은 색상으로 표현되는 것과는 달리 적외선 영상은 빛의 세기로 구현된다. 즉, 적외선 영상은 물체의 온도에 따른 복사량을 적외선 센서가 감지하여 빛의 세기로 표현하기 때문에 색상의 구분이 없는 흑백의 영상으로 구현된다. 이와 같은 특성의 적외선 영상을 생성하기 위해서는 주변환경과 재질 특성을 고려하여 물리적 기반에 따른 지형 및 물체의 온도 계산을 통하여 복사량을 계산하여야 한다.
사실적인 적외선 센서의 모의를 위해 적외선 영상센서로 입사되는 복사량의 계산은 대기권으로부터의 산란 및 구성입자로부터 방사되는 복사량을 이용하여 방사적 계산과정을 거쳐 실시간으로 적외선 영상을 생성하여야 한다.
적외선 영상생성장치를 통하여 실시간으로 생성된 적외선 영상은 적외선 전자광학 센서를 통과하여 검지기에 영상의 퍼짐(Blurring) 및 잡음 등이 부과되는 최종적인 적외선 영상을 구현하는 EO Head(Electo-Optic Head) 모의 기술이 필수적이다. EO Head 모의는 센서 하드웨어에서 발생하는 현상을 모델링 과정을 통하여 실시간으로 구현되어야 한다. 이 과정을 소프트웨어적으로 구현하기에는 프로세서 과정상 많은 시간이 소요되어 실시간성을 보장할 수 없다. 사실적인 실시간 시뮬레이션을 위해서는 하드웨어적으로 실시간성을 보장할 수 있는 구현 기술이 필수적으로 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 센서 하드웨어에서 발생하는 현상을 모델링 과정을 통하여 정밀하면서도 실시간으로 구현할 수 있도록 하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 적외선 영상 탐색기의 성능을 평가하기 위해 전자광학 헤드에서 획득되는 영상을 모의 생성하여 신호처리부로 주입하는 합성 적외선 영상 주입장치에 있어서, 합성 적외선 영상 생성장치로부터 영상을 입력받고, 입력받은 영상으로부터 유효 영역을 추출하는 영상 입력모듈, 상기 영상에 상기 전자광학 헤드의 모델 특성 효과로 인한 영향 요소를 반영하기 위한 영상 처리를 수행하는 제 1 픽셀 처리모듈, 데드 픽셀과 핫 픽셀 및 자동이득을 구현하는 제 2 픽셀 처리모듈, 상기 각 모듈 중 적어도 어느 하나에 설치되어 각 모듈의 처리 영상 및 출력 직전의 실시간 영상을 출력하는 영상 출력 모듈 및 상기 각 모듈들의 동작을 진단 및 제어하는 시스템 제어 모듈을 포함하는 것을 특징으로 하는 합성 적외선 영상 주입장치가 제공된다.
합성 적외선 영상 주입장치는 운용자 통제, 전자광학 헤드 모델링, 시뮬레이션 모드/변수값 설정, 상기 영상 출력 모듈로부터 수신된 영상 저장, 저장된 영상 및 외부 획득 영상 가공 기능을 수행하는 제어 및 저장 장치가 더 포함되는 것이 바람직하다.
그리고, 상기 영상 입력모듈은 합성 적외선 영상 생성장치로부터 영상을 입력받는 영상 입력부, 상기 영상에서 유효한 영역만을 추출하는 크로핑부, 크로핑된 영상을 확인용 모니터로 출력하는 확인 영상 출력부 및 크로핑된 영상을 후단의 모듈로 출력하는 영상 출력부를 포함하는 것이 바람직하다.
또한, 제 1 픽셀 처리모듈은 전자광학 헤드의 온도 상승에 따른 발열 복사량을 표적 복사량에 가산처리하는 윈도우 히팅 처리부, 전자광학 헤드의 특성으로 인한 영상저하를 모의 처리하는 시스템 블러링 처리부, 전자광학 헤드의 잡음을 모의 처리하는 노이즈 처리부를 포함하는 것이 보다 바람직하다.
또한, 전자광학 헤드 윈도우의 비행시간에 따른 온도값을 적용하여 산출된 시간별 윈도우 복사조도값 테이블이 FPGA 메모리에 업로딩되고, 상기 윈도우 히팅 처리부는 표적영상의 복사조도와 상기 윈도우 복사조도를 가산하여 윈도우 히팅 처리를 수행하는 것이 보다 바람직하다.
그리고, 제 2 픽셀 처리모듈은 미리 설정된 기준에 따라 데드 픽셀과 핫 픽셀을 구현하는 데드/핫 픽셀 모델링부, 영상의 대비(Contrast)를 증가시켜 표적과 배경을 구분을 용이하게 하는 자동이득 조절부 및 가시광 센서의 포화 효과를 처리하는 포화 처리부를 포함하는 것이 바람직하다.
또한, 전자광학 헤드의 셔터 속도별 영상 샘플들로부터 도출된 비선형의 응답 함수가 FPGA 메모리에 업로딩되고, 상기 포화처리부는 각 픽셀의 밝기에 상기 FPGA에 상기 응답함수를 승산하여 실시간 포화 효과를 처리하는 것이 보다 바람직하다.
또한, 상기 제 2 픽셀 처리모듈은 전자광학 헤드의 광학적 시야각보다 15 ~ 25% 더 큰 영상을 상기 합성 적외선 영상 생성장치로부터 입력받고, 아핀 변환(Affine Transformation)을 이용하여 시선 및 시선 회전각 변화에 따라 신호처리부의 프레임 싱크에 맞추어 영상의 X,Y 좌표 변환과 회전각 변환을 실시간으로 수행하는 것이 더욱 바람직하다.
본 발명에 따르면, 센서 하드웨어에서 발생하는 현상을 모델링 과정을 통하여 사실적이고 정밀하면서도 실시간으로 구현할 수 있는 효과가 있다.
도 1은 본 발명에 따른 합성 적외선 영상 주입 시스템의 전체 구성도이다.
도 2는 도 1의 영상입력장치의 내부 구성을 도시한 블럭도이다.
도 3은 도 1의 제 1 픽셀 처리모듈의 내부 구성을 도시한 블럭도이다.
도 4는 도 1의 제 2 픽셀 처리모듈의 내부 구성을 도시한 블럭도이다.
도 5는 히스토그램 방식을 이용한 센서 자동이득조절 원리를 도시한 것이다.
도 2는 도 1의 영상입력장치의 내부 구성을 도시한 블럭도이다.
도 3은 도 1의 제 1 픽셀 처리모듈의 내부 구성을 도시한 블럭도이다.
도 4는 도 1의 제 2 픽셀 처리모듈의 내부 구성을 도시한 블럭도이다.
도 5는 히스토그램 방식을 이용한 센서 자동이득조절 원리를 도시한 것이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다. 본 발명에서는 가시광선 영상과 적외선 영상을 동시에 처리하는 이중채널 합성 영상 주입장치를 예시적으로 설명할 것이나, 합성 적외선 영상만을 주입하는 기술 또한 본 발명의 범주에 속함은 물론이다.
도 1은 본 발명에 따른 합성 적외선 영상 주입 시스템의 전체 구성도이다. 도 1에 도시된 바와 같이, 본 발명에 따른 합성 적외선 영상 주입장치는 채널합성 영상생성장치(1), 합성 적외선 영상 주입장치(2), 제어 및 저장장치(3) 및 센서신호 처리기(4)를 포함하여 구성된다.
영상생성장치(1)는 적외선 탐색기/표적의 상대 위치, 시선각, 센서의 위치/방향에 대한 정보를 미리 정의된 형상과 재질, 구성, 열전달, 기상조건 등의 영향이 고려된 적외선 특성 자료로 구성된 3차원/적외선 데이터베이스를 기반으로 대기투과효과, 전장효과, EOCM 등의 환경조건에 따라 매 프레임마다 픽셀 단위의 적외선 복사량을 계산하고, 이를 주어진 해상도를 갖는 영상으로 생성한다.
적외선 영상발생 소프트웨어는 적외선 탐색기가 탑재된 유도탄 모의 비행 시험 시 복사학적으로 정확한 영상 신호를 실시간으로 렌더링하는 소프트웨어이며, 표적과 유도탄의 상호 동작 시나리오에 따라 탐색기 전자광학 헤드에 입력되는 적외선 대역폭 내에 동적인 영상신호를 발생한다. 동적인 영상신호는 교전상황의 3차원 기하학에서 태양, 하늘, 표적들, 지형, 대기효과를 포함하여 매 프레임마다 픽셀 단위로 계산된다.
본 발명에서 영상생성장치(1)는 이중 채널 방식을 채택하여 2가지 합성영상 즉, 적외선 합성영상과 가시광선 합성영상을 생성하도록 하였다.
합성 적외선 영상 주입장치(2)는 영상생성장치(1)로부터 합성 적외선 영상 신호 및 가시광선 합성 영상신호를 입력받아, 탐색기 센서 헤드 유닛의 특성모델을 실시간으로 계산하여 실제와 같은 출력형태로 탐색기 센서 신호 처리기(4)에 실시간으로 주사하는 기능을 수행한다.
합성 적외선 영상 주입장치(2)는 적외선 채널 처리부(2), 가시광선 채널 처리부(2'), 시스템 제어모듈(40), 입출력모듈 및 제어 및 저장장치(3)를 포함하여 구성된다.
적외선 채널 처리부(2) 및 가시광선 채널 처리부(2')는 세부적으로 영상생성장치(1)로부터 듀얼 링크 DVI 형식의 합성 적외선/가시광 영상을 입력받는 영상입력모듈(10, 10'), 영상에 전자광학 헤드의 모델 특성 효과로 인한 영향 요소를 반영하기 위한 영상 처리를 수행하는 것으로서, 윈도우 가열, 전자광학 헤드의 모델특성 효과로 인한 영상 저하(Blurring), 검출기 픽셀 특성에 따른 다양한 잡음 처리를 수행하는 제 1 픽셀 처리모듈(20, 20') 및 데드 픽셀과 핫 픽셀, 자동이득 및 소자 포화를 구현하는 제 2 픽셀 처리모듈(30, 30')을 포함하여 구성되며, 2개의 채널의 각 모듈들은 처리 파장 대역의 차이 외에는 거의 동일한 구조이므로 적외선 채널 처리부(2)만을 예시적으로 설명할 것이며, 이에 대한 자세한 설명은 도 2 ~ 도 4를 통해 이루어질 것이다.
그리고, 적외선 채널 처리부(2) 및 가시광선 채널 처리부(2')의 각 모듈 중 적어도 어느 하나에는 각 모듈의 처리 영상 및 출력 직전의 실시간 영상을 제어 및 저장장치(3)로 출력하는 영상 출력 모듈(미도시)이 설치된다.
시스템 제어모듈(40)은 적외선 채널 처리부(2) 및 가시광선 채널 처리부(2')의 각 모듈들의 동작을 진단 및 제어하는 부분이다.
입출력모듈(50)은 시스템 버스를 통해 외부로부터/외부로 데이터를 입출력하는 부분이다.
제어 및 저장장치(3)는 운용자 통제, 전자광학 헤드 모델링, 시뮬레이션 모드/변수값 설정, 영상 출력 모듈로부터 수신된 영상 저장, 저장된 영상 및 외부 획득 영상 가공 기능을 수행하는 부분이다.
도 2는 도 1의 영상입력모듈의 내부 구성을 도시한 블럭도이다.
도 2에 도시된 바와 같이, 영상입력모듈(10)은 영상 입력부(11), 크로핑부(12), 확인영상 출력부(13), 영상 출력부(14) 및 CPU(15)를 포함하여 구성된다.
영상 입력부(11)는 합성 적외선 영상 생성장치(1)로부터 영상을 입력받는 부분으로서, 250Hz 이상의 1024 × 768 또는 800 × 600 듀얼링크 디지털 DVI 영상을 입력받는다.
크로핑부(12)는 상기 영상에서 유효한 영역만을 추출하여 클록 속도를 감소시켜 시스템 처리 안정성을 향상시키는 것으로서, FIFO 방식의 메모리에 데이터를 저장할 경우에는 입력되는 클록을 이용하고 데이터 판독시에는 낮은 주파수의 클록을 이용한다.
확인영상 출력부(13)는 중간 처리 결과를 소형 모니터(미도시)로 확인할 수 있도록 하는 것으로서, 영상을 640 × 480 또는 480 × 640으로 변환하며, D/A 컨버터를 통하여 아날로그화한 후 VGA 케이블을 이용하여 소형 모니터로 영상을 송신한다.
영상 출력부(14)는 크로핑된 영상을 제 1 픽셀처리모듈(20)로 전송하기 위한 것이고, CPU(15)는 상기 각 구성의 동작을 제어하기 위한 프로세서이다.
도 3은 도 1의 제 1 픽셀 처리모듈의 내부 구성을 도시한 블럭도이다.
도 3에 도시된 바와 같이, 제 1 픽셀 처리모듈(20)는 윈도우 히팅 처리부(21), 시스템 블러링 처리부(22), 불균일 노이즈 처리부(23), 시스템 랜덤 노이즈 처리부(24), 확인영상 처리부(25), 영상 출력부(26) 및 CPU(27)를 포함하여 구성된다.
윈도우 히팅 처리부(21)는 전자광학 헤드의 온도 상승에 따른 발열 복사량을 표적 복사량에 가산처리하는 것이다. 유도탄의 고속 비행으로 인해 탐색기 윈도우의 온도는 초기 비행단계에 급상승한다. 이러한 윈도우의 온도 상승률 및 크기는 유도탄의 고도, 속도, 공격각도 및 윈도우의 형상에 따라 영향을 받는데, 이러한 윈도우의 온도 가열은 또 하나의 적외선 열원이 되며, 이로 인해 탐색기 적외선 검지에 배경복사량으로 부가되어 표적으로부터의 획득되는 복사량과 합해지는 결과를 가져다 줌으로써 탐색기의 표적 탐색기능을 방해하는 요소가 될 수 있다.
가열된 탐색기 윈도우는 Blackbody 방출 및 Lambert's Law 를 만족한다고 가정하고 탐색기의 on-axis 상에서 감지기의 픽셀당 복사조도(Radiant Exitance)는 다음과 같이 표현된다.
윗 식으로부터 계산된 가열된 윈도우의 복사조도는 감지기의 배경 복사조도로 고려되어 합성 영상 생성장치로부터 입력되는 표적의 복사조도(Mt)에 중첩되어 감지기에 도달되는 총 복사조도(Mtotal)는 MW + Mt 가 될 것이다.
전자광학 헤드 윈도우의 비행시간에 따른 온도값을 적용하여 산출된 시간별 윈도우 복사조도값 테이블이 FPGA 메모리에 업로딩되고, 윈도우 히팅 처리부(21)는 표적영상의 복사조도와 상기 윈도우 복사조도를 가산하여 윈도우 히팅 처리를 수행한다.
시스템 블러링 처리부(22)는 전자광학 헤드의 특성으로 인한 영상저하를 모의 처리하는 부분이다. 시스템 블러링 처리부(22)는 전자광학 헤드를 이미지 체인 분석 모델을 통해 크게 광학부, 검출기, 전자회로부, 김발부로 나누어 모델링한 후 MTF(Modulation Transfer Function) 및 PSF(풀명칭 기재요망) 생성을 거쳐 콘볼루션 커널(Convolution Kernel)을 추출하여 적용한다.
각 부의 성능을 나타내는 MTF(Modulation Transfer Function)는 일반적으로 널리 통용되는 수학적 모델식을 근거로 이론적 계산을 통하거나 혹은 실험값 입력을 통하여 콘볼루션 계수인 커널 값을 구하여 사용하도록 한다. 콘볼루션 커널 계수는 오프으로 제어용 컴퓨터에 처리 후 실시간 처리시 FPGA 메모리에 그 값들을 로딩하여 처리한다.
불균일 노이즈 처리부(23)는 감지기의 각 픽셀 소자별 비선형 반응도 및 불균일성으로 인해 발생되며, 프레임 대 프레임(Frame-to-Frame) 사이에 일정하게 발생되는 것으로 공간적 잡음이라고도 한다.
불균일 노이즈는 가산 또는 승산 형태로 나타나며, 암전류로 인한 잡음은 가산의 형태로, 신호레벨에 따른 잡음은 승산의 형태로 표현된다.
시스템 랜덤 노이즈 처리부(24)는 SNR(신호대 잡음비) 이 1 일 때 즉 배경온도에서 잡음의 크기와 같은 출력 신호를 발생시키는 온도차로 적외선 센서의 잡음을 발생시키는 성능지수로 표현된다. 시스템 랜덤 노이즈는 하기 수학식으로부터 계산된다.
확인영상 처리부(25), 영상 출력부(26) 및 CPU(27)의 기능은 영상입력모듈(10)의 대응되는 구성과 동일한 기능을 수행하므로 이에 대한 설명은 생략하기로 한다.
도 4는 도 1의 제 2 픽셀 처리모듈의 내부 구성을 도시한 블럭도이다.
도 4에 도시된 바와 같이, 제 2 픽셀 처리모듈(30)은 데드/핫 픽셀 모델링부(31), 자동이득 조절부(32), 포화 처리부(33) 저장 영상 출력부(34), 확인영상 출력부(35), LVDS 출력부(36) 및 CPU(37)를 포함하여 구성된다.
데드/핫 픽셀 모델링부(31)는 미리 설정된 기준에 따라 데드 픽셀과 핫 픽셀을 구현하는 것으로서, 데드/핫 픽셀은 고정값으로 처리한다. 센서의 응담도가 현저히 떨어져 아주 낮은 출력을 발생시키는 데드 픽셀(Dead Pixel)은 0으로 처리하고, 핫 픽셀(Hot Pixel)은 암전류의 10배 이상의 값을 갖도록 설정 처리한다. 이에 대한 구현은 사용자가 640 x 480 혹은 480 x 640 중 임의적으로 데드/핫 픽셀을 설정하도록함으써 설정이 용이하도록 하는 것이 바람직하며, 이에 대한 실시간 구현을 위해서는 데드/핫 픽셀 모델링부(31)의 메모리에 업로드하여 처리 구현한다.
자동이득 조절부(32)는 수신된 영상의 대비(Contrast)를 증가시킴으로써 표적과 배경의 구분을 향상시키기 위한 AGC(Auto-gain Controller)를 적용 구현하는 것이다.
본 실시예에서의 자동이득 조절은 히스토그램 방식이 사용될 수 있으며, 도 5와 같이, 관심영역(AOI : Area On Interest) 내의 히스토그램 분포 중 제외하고자 하는 상하부분을 주어진 퍼센트(%)로 설정하여 제외한 부분의 픽셀 값들을 0~65,535 분포로 확장하여 처리한다.
포화 처리부(33)는 가시광 센서의 포화 효과를 처리하는 부분으로서, 전형적인 영상 시스템에 있어서 광학계의 감지기에 도달되는 복사조도는 다음과 같이 표현된다.
여기서 L은 복사조도, Ad 는 감지 면적, F#는 F-번호, θ는 주 광선과 광축 사이의 각을 나타낸다. 입사되는 복사조도가 일정한 경우에 즉 동일 조건의 동일배경에서 촬영된 영상의 픽셀 값은 카메라의 셔터스피드 및 조리개의 크기에 따라 변한다. 따라서 이상적인 광학계에서 감지기 픽셀당 광량의 세기(I)는 복사조도와 노출시간, 즉 촬영시간 Δt 에 비례하게 된다. 즉 하기 수학식 4와 같이 나타난다.
복사조도가 일정한 경우 단지 촬영시간, 즉 셔터스피드에 비례하여 픽셀값은 변한다. 그러나 실제의 광학계에서 윗 식과 같이 감지기 픽셀당 측정되는 세기가 노출시간에 선형적이라기보다는 비선형적인 관계를 갖고 있다. 따라서 실제 영상에서 측정되는 픽셀당 값은 다음과 같은 관계로 표현될 수 있다.
즉 픽셀에 측정된 디지털 값 Z는 함수 f에 의해 복사조도에 대응되며, 이때 f를 응답 함수라 하며, 이의 역 함수를 구할 수 있다면 노출시간(셔터 스피드)에 따른 영상의 세기 변화가 예측가능할 것이다. 이에 대한 역함수를 구하기 위해 수학식 5는 아래와 같은 관계로 쓸 수 있다.
전자광학 헤드의 셔터 속도별 영상 샘플들로부터 도출된 비선형의 응답 함수가 FPGA 메모리에 업로딩되고, 포화처리부(33)는 각 픽셀의 밝기에 상기 FPGA에 상기 응답함수를 승산하여 실시간 포화 효과를 처리하게 된다.
저장 영상 출력부(34)는 저장용 영상을 제어 및 저장장치(3)로 전송하기 위한 것이며, 확인영상 출력부(35), LVDS 출력부(36) 및 CPU(37)는 제 1 픽셀 처리부(20)의 대응되는 구성과 그 기능이 동일하므로 상세한 설명은 생략하기로 한다.
또한, 제 2 픽셀 처리모듈은 합성 영상 생성장치(1)와 유도탄 모델을 처리하는 센서 신호 처리기(4) 사이에 발생하는 전송 지연을 보상하기 위해, 전자광학 헤드의 광학적 시야각보다 15 ~ 25% 더 큰 영상을 상기 합성 영상 생성장치(1)로부터 입력받고, 아핀 변환(Affine Transformation)을 이용하여 시선 및 시선 회전각 변화에 따라 신호처리부의 프레임 싱크에 맞추어 영상의 X,Y 좌표 변환과 회전각 변환을 실시간으로 수행한다.
비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
1 : 합성영상 생성장치 2 : 적외선 채널 처리부
2' : 가시광선 채널 처리부 3 : 제어 및 저장장치
4 : 센서 신호 처리기 10 : 영상입력모듈
20 : 제 1 픽셀 처리부 30 : 제 2 픽셀 처리부
40 : 시스템 제어모듈 50 : 입출력 모듈
2' : 가시광선 채널 처리부 3 : 제어 및 저장장치
4 : 센서 신호 처리기 10 : 영상입력모듈
20 : 제 1 픽셀 처리부 30 : 제 2 픽셀 처리부
40 : 시스템 제어모듈 50 : 입출력 모듈
Claims (8)
- 적외선 영상 탐색기의 성능을 평가하기 위해 전자광학 헤드에서 획득되는 영상을 모의 생성하여 신호처리부로 주입하는 합성 적외선 영상 주입장치에 있어서,
합성 적외선 영상 생성장치로부터 영상을 입력받고, 입력받은 영상으로부터 유효 영역을 추출하는 영상 입력모듈;
상기 영상에 상기 전자광학 헤드의 모델 특성 효과로 인한 영향 요소를 반영하기 위한 영상 처리를 수행하는 제 1 픽셀 처리모듈;
데드 픽셀과 핫 픽셀 및 자동이득을 구현하는 제 2 픽셀 처리모듈;
상기 각 모듈 중 적어도 어느 하나에 설치되어 각 모듈의 처리 영상 및 출력 직전의 실시간 영상을 출력하는 영상 출력 모듈; 및
상기 각 모듈들의 동작을 진단 및 제어하는 시스템 제어모듈을 포함하는 것을 특징으로 하는 합성 적외선 영상 주입장치.
- 제 1 항에 있어서,
운용자 통제, 전자광학 헤드 모델링, 시뮬레이션 모드/변수값 설정, 상기 영상 출력 모듈로부터 수신된 영상 저장, 저장된 영상 및 외부 획득 영상 가공 기능을 수행하는 제어 및 저장 장치가 더 포함되는 것을 특징으로 하는 합성 적외선 영상 주입장치.
- 제 1 항에 있어서,
상기 영상 입력모듈은
합성 적외선 영상 생성장치로부터 영상을 입력받는 영상 입력부;
상기 영상에서 유효한 영역만을 추출하는 크로핑부;
크로핑된 영상을 확인용 모니터로 출력하는 확인 영상 출력부; 및
크로핑된 영상을 후단의 모듈로 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 합성 적외선 영상 주입장치.
- 제 1 항에 있어서,
제 1 픽셀 처리모듈은
전자광학 헤드의 온도 상승에 따른 발열 복사량을 표적 복사량에 가산처리하는 윈도우 히팅 처리부;
전자광학 헤드의 특성으로 인한 영상저하를 모의 처리하는 시스템 블러링 처리부;
전자광학 헤드의 잡음을 모의 처리하는 노이즈 처리부를 포함하는 것을 특징으로 하는 합성 적외선 영상 주입장치.
- 제 4 항에 있어서,
전자광학 헤드 윈도우의 비행시간에 따른 온도값을 적용하여 산출된 시간별 윈도우 복사조도값 테이블이 FPGA 메모리에 업로딩되고, 상기 윈도우 히팅 처리부는 표적영상의 복사조도와 상기 윈도우 복사조도를 가산하여 윈도우 히팅 처리를 수행하는 것을 특징으로 하는 합성 적외선 영상 주입장치.
- 제 1 항에 있어서,
제 2 픽셀 처리모듈은
미리 설정된 기준에 따라 데드 픽셀과 핫 픽셀을 구현하는 데드/핫 픽셀 모델링부;
영상의 대비(Contrast)를 증가시켜 표적과 배경을 구분을 용이하게 하는 자동이득 조절부; 및
가시광 센서의 포화 효과를 처리하는 포화 처리부를 포함하는 것을 특징으로 하는 합성 적외선 영상 주입장치.
- 제 6 항에 있어서,
전자광학 헤드의 셔터 속도별 영상 샘플들로부터 도출된 비선형의 응답 함수가 FPGA 메모리에 업로딩되고, 상기 포화처리부는 각 픽셀의 밝기에 상기 FPGA에 상기 응답함수를 승산하여 실시간 포화 효과를 처리하는 것을 특징으로 하는 합성 적외선 영상 주입장치.
- 제 6 항에 있어서,
상기 제 2 픽셀 처리모듈은 전자광학 헤드의 광학적 시야각보다 15 ~ 25% 더큰 영상을 상기 합성 적외선 영상 생성장치로부터 입력받고, 아핀 변환(Affine Transformation)을 이용하여 시선 및 시선 회전각 변화에 따라 신호처리부의 프레임 싱크에 맞추어 영상의 X,Y 좌표 변환과 회전각 변환을 실시간으로 수행하는 것을 특징으로 하는 합성 적외선 영상 주입장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110063802A KR101177365B1 (ko) | 2011-06-29 | 2011-06-29 | 합성 적외선 영상 주입장치 |
| US13/204,900 US8848060B2 (en) | 2011-06-29 | 2011-08-08 | Synthetic infrared image injection apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110063802A KR101177365B1 (ko) | 2011-06-29 | 2011-06-29 | 합성 적외선 영상 주입장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101177365B1 true KR101177365B1 (ko) | 2012-08-27 |
Family
ID=46887857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110063802A KR101177365B1 (ko) | 2011-06-29 | 2011-06-29 | 합성 적외선 영상 주입장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8848060B2 (ko) |
| KR (1) | KR101177365B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210114770A (ko) * | 2020-03-11 | 2021-09-24 | 국방과학연구소 | 몬테카를로 영상 시뮬레이션을 이용한 탐색기 영상처리 소프트웨어 모듈에 대한 성능 검증 장치 및 그 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018126067A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Vector data encoding of high definition map data for autonomous vehicles |
| CN107514935B (zh) * | 2017-09-26 | 2023-03-31 | 武汉华讯国蓉科技有限公司 | 一种红外导引头检测系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008070059A (ja) * | 2006-09-14 | 2008-03-27 | Toshiba Corp | シミュレータ |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4208810A (en) * | 1978-09-11 | 1980-06-24 | The Singer Company | Clipping polygon faces through a polyhedron of vision |
| US5343558A (en) * | 1991-02-19 | 1994-08-30 | Silicon Graphics, Inc. | Method for scan converting shaded triangular polygons |
| US5224860A (en) * | 1991-03-01 | 1993-07-06 | Electronics & Space Corp. | Hardware-in-the-loop tow missile system simulator |
| US5495562A (en) * | 1993-04-12 | 1996-02-27 | Hughes Missile Systems Company | Electro-optical target and background simulation |
-
2011
- 2011-06-29 KR KR1020110063802A patent/KR101177365B1/ko active IP Right Grant
- 2011-08-08 US US13/204,900 patent/US8848060B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008070059A (ja) * | 2006-09-14 | 2008-03-27 | Toshiba Corp | シミュレータ |
Non-Patent Citations (2)
| Title |
|---|
| 논문1(2004)* |
| 논문2(1993)* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210114770A (ko) * | 2020-03-11 | 2021-09-24 | 국방과학연구소 | 몬테카를로 영상 시뮬레이션을 이용한 탐색기 영상처리 소프트웨어 모듈에 대한 성능 검증 장치 및 그 방법 |
| KR102360085B1 (ko) * | 2020-03-11 | 2022-02-08 | 국방과학연구소 | 몬테카를로 영상 시뮬레이션을 이용한 탐색기 영상처리 소프트웨어 모듈에 대한 성능 검증 장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130002881A1 (en) | 2013-01-03 |
| US8848060B2 (en) | 2014-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108063932B (zh) | 一种光度标定的方法及装置 | |
| CN107800979A (zh) | 高动态范围视频拍摄方法及拍摄装置 | |
| CN103440389A (zh) | 基于全链路的红外伪装效果仿真系统及评估方法 | |
| Willers et al. | Signature modelling and radiometric rendering equations in infrared scene simulation systems | |
| CN105928627A (zh) | 一种消除制冷型热像仪画面复现非均匀性的方法 | |
| Keßler et al. | TRM4: Range performance model for electro-optical imaging systems | |
| KR101177365B1 (ko) | 합성 적외선 영상 주입장치 | |
| CN113902663A (zh) | 一种自动适应天气的空中小目标动态红外仿真方法及装置 | |
| CN104111080B (zh) | 一种凝视卫星面阵ccd相机的mtf在轨检测方法 | |
| KR20190072015A (ko) | 융합 센서 데이터 시각화 장치 및 방법 | |
| WO2023211742A1 (en) | Image processing method, electronic system and a non-transitory computer-readable medium | |
| CN108781280B (zh) | 一种测试方法、装置及终端 | |
| Willers et al. | Optronics sensor development using an imaging simulation system | |
| Garnier et al. | Infrared sensor modeling for realistic thermal image synthesis | |
| Garnier et al. | General framework for infrared sensor modeling | |
| Cox | Integration of Event-Based Sensing with Traditional Imaging Approaches | |
| Krapels et al. | Minimum resolvable temperature difference (MRT): procedure improvements and dynamic MRT | |
| Gao et al. | Research on Modelling the Nonlinear Response Function of TDI CMOS Imaging System | |
| Haynes | Using synthetic environments to assess multi-sensor system performance | |
| Naraniya et al. | Scene simulation and modeling of InfraRed search and track sensor for air-borne long range point targets | |
| Li et al. | High dynamic range in infrared image using super-framing framework | |
| Vu | USING RAY TRACING ALGORITHM FOR RENDERING OF THERMAL IMAGE OF 3D OBJECTS | |
| KR20180092089A (ko) | 적외선 모델러 검증 장치 및 방법 | |
| CN109211408A (zh) | 一种基于半实物的深空红外点目标成像仿真方法 | |
| Persons et al. | Polarimetric Space Situational Awareness using the Aero-Optical Prediction Tool |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150807 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160819 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170811 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180821 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190814 Year of fee payment: 8 |