KR102639420B1 - 비냉각 적외선에 대한 에지 거부 장면 기반 비균일 보정 - Google Patents

비냉각 적외선에 대한 에지 거부 장면 기반 비균일 보정 Download PDF

Info

Publication number
KR102639420B1
KR102639420B1 KR1020217034021A KR20217034021A KR102639420B1 KR 102639420 B1 KR102639420 B1 KR 102639420B1 KR 1020217034021 A KR1020217034021 A KR 1020217034021A KR 20217034021 A KR20217034021 A KR 20217034021A KR 102639420 B1 KR102639420 B1 KR 102639420B1
Authority
KR
South Korea
Prior art keywords
noise
pixel
image frame
edge
edges
Prior art date
Application number
KR1020217034021A
Other languages
English (en)
Other versions
KR20210141647A (ko
Inventor
데렉 티. 로비슨
Original Assignee
배 시스템즈 인포메이션 앤드 일렉트로닉 시스템즈 인티크레이션, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배 시스템즈 인포메이션 앤드 일렉트로닉 시스템즈 인티크레이션, 인크. filed Critical 배 시스템즈 인포메이션 앤드 일렉트로닉 시스템즈 인티크레이션, 인크.
Publication of KR20210141647A publication Critical patent/KR20210141647A/ko
Application granted granted Critical
Publication of KR102639420B1 publication Critical patent/KR102639420B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 시스템은 이전 프레임으로부터 계산된 각각의 선택된 픽셀에 대한 과거 장면 기반 NUC 오프셋을 빼는 첫 번째 단계를 포함한다. 출력 모듈 출력을 위한 필터링된 이미지는 에지 보존 평활화 필터를 사용하여 계산된다. 에지 보존 평활화 기능은 지정된 임계값보다 크게 중심 픽셀과 다른 선택된 픽셀이 중심 픽셀로 대체되는 플러스형 중간값 커널로 구성된다. 결과는 시스템 노이즈에 의해 지배되는 프레임의 고역 통과되고 에지가 무시된 버전을 형성하는 중심 픽셀에서 빼진다. 노이즈 프레임의 저역 통과 버전은 5x5 평균 필터로 생성된다. 이는 장면 거부를 개선하기 위해 초기 노이즈 프레임에서 빼진다. 이미지/노이즈 프레임의 고역 통과 버전은 구성 가능한 값으로 감쇠된다.

Description

비냉각 적외선에 대한 에지 거부 장면 기반 비균일 보정
정부 지원 진술서
본 발명은 미국 육군이 수여한 계약번호 W91CRB-16-D-0030/0001에 따른 정부 지원으로 이루어졌다. 미국 정부는 발명에 대한 특정 권리를 보유한다.
기술분야
본 개시는 비냉각 적외선 이미저(uncooled infrared imager)의 노이즈에 관한 것으로, 보다 구체적으로, 장면 기반 보정을 통해 비냉각 적외선 이미저의 픽셀 기반 공간 노이즈를 감소시키고, 리소스가 제한된 소형 폼 팩터(small form factor), 경량(lightweight), 환경에서 에지의 번인(burn-in)을 상당히 감소시키거나 제거하는 것에 관한 것이다.
번인없이 비냉각 적외선 이미저에서 픽셀 기반 공간 노이즈를 감소시키는 것은 어려운 문제이며, 특히 소형 폼 팩터, 경량 환경에서와 같이 많은 양의 리소스를 사용할 수 없는 경우에 그렇다. 기존 해결책은 움직임이 거의 또는 전혀 없는 상황에서는 효과적이지 않거나, 또는 그러한 상황에서 번인을 생성한다. 이러한 해결책 중 상당 수는 많은 양의 리소스를 필요로 한다.
도 1은 적외선 이미저 노이즈 및 전류 보정 접근법(100)을 도시한다. 도 1에는 적외선 초점 평면 어레이(infrared focal plane array, IRFPA)의 불균일성 노이즈의 예시의 3D 플롯(105)이 포함된다. 노이즈를 보정하기 위한 현재의 접근 방식은 검출기에 의해 움직임이 보이는 장면을 변경하는 이미저/장면 모션(110) 및 알려진 일정한 장면 온도(115)를 생성하는 흑체 소스를 포함한다.
적은 리소스 풋프린트(footprint)를 가지면서 번인을 생성하지 않고 움직임이 거의 또는 전혀 없는 상황에서 비냉각 적외선 이미저에서 픽셀 기반 공간 노이즈를 감소시키기 위한 장치, 시스템 및 방법이 필요하다.
실시예는 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법으로서, 이미지 프레임의 선택된 픽셀 각각에 대해, 이전 이미지 프레임으로부터 과거(historical) 장면 기반 비균일 보정((Non-Uniformity Correction, NUC) 오프셋을 빼는 단계; 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 획득하는 단계; 에지가 무시되고 고역 통과된 이미지 프레임을 획득하는 단계; 에지가 무시되고 고역 통과된 이미지 프레임 감쇠시키는 단계; 감쇠된 에지가 무시되고 고역 통과된 이미지 프레임을 과거 장면 기반 NUC 오프셋에 더하여서, 다음 프레임에 대한 새로운 과거 오프셋을 생성하는 단계; 및 이미지 프레임을 나타내는 새로운 픽셀 값 세트를 출력하는 단계를 포함하는, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법을 제공한다. 실시예에서 장면 대비(contrast)에 기초하여 감쇠 인자가 변경된다. 다른 실시예에서, 본 방법은 필터에 대한 버퍼링 픽셀의 2개의 로우(row)를 필요로 한다. 후속하는 실시예에서, 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 획득하는 단계는, 플러스형 에지가 보존된 중간값 필터(plus-shaped edge-preserving median filter) 및 에지 보존 평균을 포함하는 에지가 보존된 평균값 필터로부터 이루어진다. 추가 실시예에 대해, 과거 오프셋으로 피드백될 노이즈 프레임의 저역 통과 버전은 5x5 평균 필터로 생성된다. 다른 실시예는 초기 노이즈 프레임으로부터 5x5 평균 필터로 생성된 노이즈 프레임의 저역 통과 버전을 빼는 단계를 더 포함하여서 장면 거부(scene rejection)가 개선된다. 다음 실시예는 플러스형 중간값 커널(kernel)로 구성된 에지 보존 평활화 함수를 더 포함하며, 여기서 상이한 강도 값을 갖는 대응하는 픽셀은 지정된 임계값보다 큰 플러스형 중간값 커널의 중심 픽셀의 강도값과 비교되며, 중심 픽셀로 대체되어서, 픽셀 대체는 교차 중간값 필터의 일반적인 에지 보존 특성을 증가시켜 유용한 정보를 부적절하게 억제할 가능성을 감소시킨다. 후속 실시예에서 임계값은 센서의 신호 대 노이즈비(signal-to-noise ratio, SNR)에 기초하여 프로그래밍되며, 이에 의해 노이즈 플로어를 넘는 에지는 보존되는 한편 노이즈는 평활화된다. 추가적인 실시예는 이중 데이터 레이트(double data rate, DDR) 메모리에 오프셋을 저장하는 단계를 더 포함한다. 이어지는 실시예는 오프셋을 저장하는 단계가, 픽셀 당 8 비트 보정인 것을 더 포함한다. 포함된 실시예는 S5.2 숫자인 픽셀 당 8 비트 보정을 사용하여, +/- 32 카운트의 최대 보정을 초래하는 단계를 추가로 포함한다. 또 다른 실시예에서, 장면 모션의 픽셀은 처리에서 제외된다. 관련된 실시예들에서, 이미저는 흑체 기준 소스를 포함하지 않는다. 추가 실시예에 대해, 이미저는 흑체 기준 소스를 포함하지 않으며 장면 모션은 처리에서 제외된다.
다른 실시예는 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키기 위한 디바이스로서, 적외선(IR) 이미지 센서; 및 하나 이상의 프로세서에 의해 실행될 때, 프로세스가 수행되도록 하는 명령들을 인코딩하는 하나 이상의 비일시적 기계적 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품을 포함하고, 프로세스는, 인입 이미지의 에지 거부 고역 통과 버전을 생성하는 단계로서, 인입 이미지로부터 에지가 보존된 평균값 필터를 빼는 단계, 빼진 인입 이미디를 요인으로 감쇠하는 단계, 및 감쇠된, 빼진, 인입 이미지를 실행 중인 과거 합계에 더하는 단계를 포함하는, 인입 이미지의 에지 거부 고역 통과 버전을 생성하는 단계; 다음 오프셋 세트의 재귀적 계산 이전에 다음 프레임에서 과거 합계를 빼는 단계; 및 평균의 계산 이전에 중심 픽셀과의 차이의 절대값이 임계값보다 큰 픽셀을 중심 픽셀로 대체함으로써 에지가 보존된 평균값 필터의 에지 보존 평균을 생성하는 단계를 포함하는, 디바이스를 제공한다. 또 다른 실시예에서, 방법은 필터에 대한 버퍼링의 2개의 로우를 필요로 한다. 더 많은 실시예에서, 하나 이상의 프로세서는 FPGA(field programmable gate array)를 포함한다. 계속되는 실시예는 오프셋의 저장이 제한된 메모리 대역폭에 맞도록 하는 픽셀당 8비트 보정을 더 포함한다. 추가 실시예에 대해, 임계값은 센서의 신호 대 노이즈비(SNR)에 기초하여 프로그래밍되며, 이에 의해 노이즈 플로어를 넘는 에지는 보존되는 반면 노이즈는 평활화된다.
또 다른 실시예는, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키기 위한 시스템으로서, 적외선(IR) 이미지 센서; 및 프로세스를 포함하고, 프로세서는, 인입 이미지의 에지 거부 고역 통과 버전을 생성하는 단계로서, 인입 이미지로부터 에지가 보존된 평균값 필터를 빼는 단계, 빼진 인입 이미디를 요인으로 감쇠하는 단계, 및 감쇠된, 빼진, 인입 이미지를 실행 중인 과거 합계에 더하는 단계를 포함하는, 인입 이미지의 에지 거부 고역 통과 버전을 생성하는 단계; 다음 오프셋 세트의 재귀적 계산 이전에 다음 프레임에서 과거 합계를 빼는 단계; 및 평균의 계산 이전에 중심 픽셀과의 차이의 절대값이 임계값보다 큰 픽셀을 중심 픽셀로 대체함으로써 에지가 보존된 평균값 필터의 에지 보존 평균을 생성하는 단계를 수행하고, 노이즈 프레임의 저역 통과 버전은 5x5 평균 필터로 생성되며, 에지가 보존된 평균값 필터는 플러스형 에지가 보존된 평균값 필터를 포함한다.
도 1은 종래 기술의 비균일 보정(non-uniformity correction, NUC) 결과를 도시한다.
도 2는 일 실시예에 따라 구성된 방법에 대한 상위 레벨 흐름도를 도시한다.
도 3은 실시예에 따라 구성된 방법에 대한 상세 흐름도이다.
도 4는 실시예에 따라 구성된 방법에 대한 상세 흐름도이다.
도 5는 또 다른 실시예에 따라 구성된 방법에 대한 흐름도이다.
도 6은 일 실시예에 따라 구성된 방법에 대한 흐름도를 도시한다.
도 7은 실시예에 따라 구성된 이미지 프레임 플러스형 중간값 커널을 도시한다.
도 8은 실시예에 따라 구성된 억제 디스플레이 결과 전후를 도시한다.
본 실시예의 이러한 특징 및 기타 특징은 본 명세서에 기재된 도면과 함께 다음의 상세한 설명을 읽으면 더 잘 이해될 것이다. 첨부된 도면은 축척에 맞게 그려진 것은 아니다. 명확성을 위해 모든 도면에 모든 구성요소의 레이블이 지정되지 않을 수 있다.
본 명세서에 기술된 특징 및 이점은 모든 것을 포괄하는 것은 아니며, 특히 많은 추가 특징 및 이점이 도면, 명세서 및 청구범위의 관점에서 본 기술분야의 통상의 기술자에게 명백할 것이다. 더욱이, 명세서에 사용된 언어는 주로 가독성과 교육적인 목적을 위해 선택되었으며 본 발명의 대상의 범위를 어떤 식으로든 제한하지 않는다는 점에 유의해야 한다. 본 발명은 많은 실시예에 민감하다. 이하는 본 발명의 범위를 예시하는 것이지만 완전한 것은 아니다.
실시예의 경우, 이미지의 에지 거부 고역 통과 버전은 인입 이미지로부터 플러스형 에지가 보존된 평균값 필터를 뺌으로서 생성된다. 그 후, 장면 대비에 따라 달라질 수 있는 요소에 의해 감쇠되고 러닝 합(running sum)에 더해진다. 이러한 과거 합계는 다음 오프셋 세트의 재귀 계산(recursive calculation) 전에 다음 프레임으로부터 빼진다. 플러스형 에지가 보존된 평균은 평균의 계산 이전에 중심 픽셀과의 차이의 절대값이 임계값보다 큰 픽셀을 중심 픽셀로 대체함으로써 생성된다. 실시예에서, 이러한 경량 노이즈 감소(light weight noise reduction, LWNR)는 비냉각 적외선 시스템에서 시간적 및 공간적 노이즈를 감소시키기 위한 필드 프로그래밍 가능한 게이트 어레이(field programmable gate arrays, FPGA)를 위한 최소 자원 방법입니다. 다른 실시예에서, 이 LWNR은 비냉각 적외선 시스템에서 시간적 및 공간적 노이즈를 감소시키기 위한 주문형 집적 회로(application-specific integrated circuits, ASIC)를 위한 최소 자원 방법이다. 프레임-에지-보존 평활화 기능에 더하여, 실시예는 고주파 공간 노이즈를 감소시키기 위한 과거 장면 기반 NUC 기능을 포함한다. 다른 잠재적인 용도는 다른 유형의 동적이지만 제한된 비균일성을 보정하는 것을 포함한다.
도 2는 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키기 위한 제1 실시예 방법의 상위 레벨 흐름도(200)이다. 프로세스는, 각각의 선택된 픽셀에 대해, 이전 이미지 프레임으로부터 과거 장면 기반 NUC 오프셋을 빼는 단계(205)(여기서 첫번째 프레임에 대한 NUC 오프셋은 0으로 설정함으로써 초기화됨); 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 획득하는 단계(210); 에지가 무시되고 고역 통과된 이미지 프레임을 획득하는 단계(215); 에지가 무시되고 고역 통과된 이미지 프레임 감쇠시키는 단계(220); 감쇠된 에지가 무시되고 고역 통과된 이미지 프레임을 과거 장면 기반 NUC 오프셋에 더하는 단계(225); 및 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 출력하는 단계(230)를 포함한다. 실시예에서, 프레임의 작은 영역에 초점을 맞추는 것과 같이 프레임의 특정 픽셀은 생략된다. 일부 실시예에서, 단계(220)의 감쇠 레벨은 고정된 값이다. 일 실시예에서, 감쇠는 ~0.1로 고정된다. 다른 실시예에서, 감쇠 레벨은 측정된 노이즈 레벨 또는 장면 콘텐츠에 기초하여 조정된다.
도 3은 에지가 보존되고, 노이즈가 평활화된, 이미지 프레임을 획득하는 단계(210)에 대한 상세 흐름도(300)이다. 이는 각 픽셀에 대해 (이전 프레임의 결과로부터) 과거 장면 기반 NUC 오프셋을 뺀 이미지 프레임을 입력하는 단계(305); 휴리스틱(heuristic)적이고 에지가 보존되는 플러스형 중간값 커널을 정의하는 단계(310); 픽셀 강도 값이 중심 픽셀의 절대값과 지정된 임계값 만큼 다른 경우 (원하는 최소 분해 가능한(minimum resolvable) 타겟에 기초하여) 선택된 픽셀 각각에 대해 선택된 픽셀의 강도 값을 선택된 픽셀 주변의 플러스형과 같은 형상의 중간값 커널의 중심 픽셀의 강도 값으로 대체하는 단계(315); 에지 보존되고 노이즈가 평활화된 이미지 프레임을 출력하는 단계(320)를 포함한다. 실시예에서, 플러스형 중간값 커널은 이미지의 처리된 영역의 모든 픽셀에 대해 중심 또는 선택된 픽셀에 직접 인접한 (대각선이 아닌) 픽셀로 정의된다. 실시예의 경우, 임계값은 원하는 최소 분해 가능한 타겟에 의해 결정된다.
도 4는 에지가 무시되고 고역 통과된 이미지 프레임을 획득하는 단계(215)에 대한 상세 흐름도(400)이다. 이는, 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 입력하는 단계(405); 고역 통과하고 에지가 무시된 이미지 프레임을 형성하기 위해 중심 픽셀로부터 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 빼는 단계(410); 및 에지가 무시되고 고역 통과된 이미지 프레임을 출력하는 단계(420)를 포함한다.
도 5는 과거 오프셋으로 피드백될 노이즈 프레임의 버전을 생성하기 위한 상세 흐름도(500)이다. 단계는, 초기 노이즈 프레임을 입력하는 단계(505); 노이즈 프레임으로부터 평균 필터 저역 통과(5x5 필터와 같은)를 빼서 계산하는 단계(510); 및 노이즈 프레임(515)의 저역 통과 버전을 출력하는 단계(515)를 포함한다. 저역 통과는 노이즈 프레임으로부터 빼지며, 그 결과는 과거 오프셋으로 피드백된다. 실시예에서, 평균 필터(예를 들어, 5x5)는 플러스형(예를 들어, 3x3) 중심값보다 커야 한다.
도 6은 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키기 위한 실시예 방법의 상세 흐름도(600)이다. 단계는, 이전 프레임으로부터 계산된 각각의 선택된 픽셀에 대해 과거 장면 기반 NUC 오프셋을 빼는 단계(605); 에지-보존 평활화 필터를 사용하여 필터링된 이미지를 계산하는 단계로서, 에지-보존 평활화 함수의 실시예는 지정된 임계값보다 크게 중심 픽셀과 다른 픽셀이 중심 픽셀로 대체되는 플러스형 중간값 커널로 구성되는, 단계(610)를 포함한다. 이러한 픽셀 대체는 교차 중간값 필터의 일반적인 에지-보존 특성을 증가시켜 유용한 정보를 부적절하게 억제할 가능성을 감소시킨다. 그런 다음 이 필터의 결과는 시스템 노이즈에 의해 지배되는 프레임의 고역 통과되고 에지가 무시된 버전을 형성하기 위해 중심 픽셀로부터 빼진다(615). 노이즈 프레임의 저역 통과 버전은 5x5 평균 필터(여기서 5x5 영역은 각 픽셀 주위에서 평균화됨)로 생성된다(620). 그런 다음 이는 장면 거부를 개선하기 위해 초기 노이즈 프레임으로부터 빼진다(625). 이미지/노이즈 프레임의 고역 통과 버전은 구성 가능한 값(장면 대비에 기초하여 선택적으로 변경될 수 있음)에 의해 감쇠되고 과거 기반 장면 NUC 오프셋에 더해진다(630).
도 7은 이미지 프레임에 대한 중간값 커널(700)을 도시한다. 이미지 프레임(705)은 휴리스틱, 에지 보존, 플러스형 중간값 커널(710)에 의해 처리된다. 플러스형 중간값 커널(710) 내에는 중심 픽셀(715)이 있다. 실시예는 서로 다른 시간에 3x3 플러스형 중간값 커널과 5x5 평균 필터를 모두 사용한다. 노이즈는 플러스형의 3x3 중간값 커널로 분리되고 5x5 평균 필터는 고역 통과 결과 상에서 실행된다.
도 8의 이미지(800)는 실시예에 대한 억제 디스플레이 결과 이전(805) 및 이후(810)를 도시한다. 눈에 보이는 것은 처리되지 않은 "전" 이미지(805)에서 매우 높은 픽셀 공간 노이즈이다.
요약하면, 방법은 휴리스틱 에지 보존 평균값 커널에 기초한다. 플러스형의 중간값 커널은 이미지를 평활화하는데 사용된다. 에지를 보존하기 위해 중심 픽셀에서 각 개별 픽셀을 뺀 절대값을 프로그래밍 가능한 임계값과 비교한다. 차이값이 임계값을 초과하면 픽셀이 중심 픽셀로 대체된다. 임계값은 센서의 SNR을 기반으로 프로그래밍된다. 그 결과 노이즈 플로어를 넘는 에지는 유지되는 반면 노이즈는 평활화된다. 그런 다음 이 필터의 결과를 중심 픽셀에서 빼서 시스템 노이즈가 지배하는 프레임의 고역 통과되고 에지 무시된 버전을 형성한다. 고역 통과 버전의 이미지는 장면 대비를 기반으로 변경될 수 있는 구성 가능한 값에 의해 감쇠되고 과거 장면 기반 NUC 오프셋에 더해진다.
실시예에서, 첫 번째 단계는 이전 프레임으로부터 계산된 각 픽셀에 대한 과거 장면 기반 NUC 오프셋을 빼는 것이다. 그런 다음 에지 보존 평활화 필터를 사용하여 출력 모듈 출력을 위한 필터링된 이미지가 계산된다. 언급된 바와 같이, 에지 보존 평활화 함수의 실시예는 지정된 임계값보다 크게 중심 픽셀과 다른 픽셀이 중심 픽셀로 대체되는 플러스형 중간값 커널로 구성된다. 이러한 픽셀 대체는 교차 중간값 필터의 일반적인 에지 보존 특성을 증가시켜 유용한 정보를 부적절하게 억제할 가능성을 감소시킨다. 그런 다음 이 필터의 결과는 시스템 노이즈에 의해 지배되는 프레임의 고역 통과되고 에지가 무시된 버전을 형성하기 위해 중심 픽셀로부터 빼진다. 노이즈 프레임의 저역 통과 버전은 5x5 평균 필터로 생성된다. 그런 다음 이는 장면 거부를 개선하기 위해 초기 노이즈 프레임으로부터 빼진다. 이미지/노이즈 프레임의 고역 통과 버전은 장면 대비에 기초하여 변경될 수 있는 구성 가능한 값에 의해 감쇠되고 과거 장면 기반 NUC 오프셋에 더해진다.
실시예에서, 알고리즘을 적용하는 것은 필터에 대한 버퍼링의 2행을 필요로 한다. 실시예의 경우, 알고리즘의 장면 기반 NUC 부분은 알고리즘의 읽기 수정 쓰기 특성으로 인해 메모리 집약적일 수 있다. 실시예에서, 프레임의 크기는 오프셋의 저장을 위한 DDR(Double Data Rate) 메모리의 사용을 필요로 할 수 있다. 실시예의 경우, 이를 제한된 메모리 대역폭에 맞추기 위해 픽셀 당 8비트 보정이 사용된다. 실시예에서, 이것은 +/- 32 카운트의 최대 보정을 초래하는 S5.2 숫자이다.
이하의 첫번째, SBNUC, MATLAB 목록은 실시예에 대한 방법 단계에 대한 동작을 제공한다.
[ imIn, nucMap, highPass ] = lwnrSbnuc( imIn, nucMap, thresh, weight )
%LWNRSBNUC Summary
% Detail
width = size(imIn, 2);
height = size(imIn, 1);
highPass = zeros(height, width);
%correct image
imIn = imIn - nucMap;
% calculate edge preserving high pass of image
for y=2:(height-1)
for x=2:(width-1)
count = 0;
avg = 0;
for y2=(y-1):(y+1)
for x2=(x-1):(x+1)
if abs(imIn(y,x) - imIn(y2,x2)) < thresh
avg =avg + imIn(y2,x2);
count = count + 1;
end
end
end
% subtract edge preserved blur from image in
highPass(y,x) = imIn(y,x) - (avg / count);
end
end
%feed high pass into nuc map
nucMap = nucMap + (highPass * weight);
end
이하의 첫번째, LWNR, MATLAB 목록은 실시예에 대한 방법 단계에 대한 동작을 제공한다.
function [ imOut, nucMap, highPass ] = lwnrSbnuc( imIn, nucMap, thresh, weight )
%LWNRSBNUC Performs scene based non-uniformity correction utilizing a plus
%shaped median filter with heuristic pixel substitution.
% imIn = input image
% nucMap = the calculated nuc map from the previous frame. must be
% initialized to zeros the same size as imIn
% thresh = the substitution threshold for median filter
% weight = attenuation for feedback. 0-1
width = size(imIn, 2);
height = size(imIn, 1);
lowPass = imIn;
% variables to simulate fixed point of s5.2
cap = 128;
fractional = 4;
%correct image using the previous nuc map
imIn = imIn - round(nucMap / fractional);
%detect first frame
if(sum(sum(nucMap ~= 0)) == 0)
weight = 1;
end
%perform LWNR-X filter
for y=2:(height-1)
for x=2:(width-1)
plus = [imIn(y-1, x), imIn(y+1, x), imIn(y, x), imIn(y, x-1) ,imIn(y, x+1)];
plus(abs(plus - imIn(y, x)) > thresh) = imIn(y, x);
lowPass(y,x) = median(plus);
end
end
%subtract low pass from image to generate high pass
highPass = imIn - lowPass;
%output low pass as processed image
imOut = lowPass;
%use a 5x5 mean filter to high pass the high pass
filterKernel = ones(5)/25;
highPass = highPass - filter2(filterKernel, highPass);
%feed high pass into nuc map. Scale by fixed point fractional bits
nucMap = nucMap + (highPass * fractional * weight);
%bound the nuc map to fixed point range
nucMap = round(nucMap);
nucMap(nucMap > cap) = cap;
nucMap(nucMap < -cap) = -cap;
end
LWNR-CS 처리의 수치적 영향
원시 데이터(카운트) 처리됨 (카운트) 변화
σTVH 3.97 4.10 3.2%
σVH 11.72 1.09 -90.7%
σV 1.05 0.31 -70.4%
σH 0.93 0.21 -77.4%
표 1에서, 노이즈 구성요소 TVH는 랜덤 시간 노이즈이고, 성분 V, H, 및 VH는 랜덤 고정 패턴 노이즈이다. 보다 구체적으로, σTVH는 검출기 시간 노이즈의 랜덤 시공간 노이즈이다. σVH는 랜덤 공간 노이즈, 픽셀 처리로 인한 양방향 고정 패턴 노이즈, 검출기 간 불균일, 1/f이다. σV는 고정 로우(row) 노이즈, 검출기 간 불균일로부터의 라인 간 불균일이다. σH는 고정 칼럼 노이즈, 스캔 효과로 인한 칼럼 간 불균일, 검출기 간 불균일이다.
표 1에서 보이는 바와 같이, σTVH는 3.97개의 원시 데이터 카운트에서 4.10개의 처리된 카운트로 3.2% 변화했다. σVH는 11.72개의 원시 데이터 카운트에서 1.09개의 처리된 카운트로 -90.7% 변화했다. σV는 1.05개의 원시 데이터 카운트 에서 0.31개의 처리된 카운트로 -70.4% 변화했다. σH는 0.93개의 원시 데이터 카운트에서 0.21개의 처리된 카운트로 -77.4% 변화했다.
시스템 및/또는 방법과 관련하여 위에서 설명된 동작 또는 기능을 수행(또는 제어)하기 위한 비냉각 적외선 이미저에서 픽셀 기반 공간 노이즈의 감소에 사용되는 컴퓨팅 시스템은, 프로세서, FPGA, I/O 디바이스, 메모리 시스템, 및 네트워크 어댑터를 포함할 수 있다. 컴퓨팅 시스템은 예시적인 실시예에 따른 시스템 및/또는 방법과 관련하여 위에서 설명된 동작 또는 기능을 수행(또는 제어)하기 위한 프로그램 모듈(미도시)을 포함한다. 예를 들어, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하기 위한 루틴, 프로그램, 객체, 구성요소, 논리, 데이터 구조 등을 포함할 수 있다. 프로세서는 시스템 및/또는 방법과 관련하여 위에서 설명된 동작 또는 기능을 수행(또는 제어)하기 위해 프로그램 모듈에 기록된 명령을 실행할 수 있다. 프로그램 모듈은 프로세서의 집적 회로에 프로그램될 수 있다. 예시적인 실시예에서, 프로그램 모듈은 메모리 시스템 또는 원격 컴퓨터 시스템 저장 매체에 저장될 수 있다.
컴퓨팅 시스템은 다양한 컴퓨팅 시스템 판독 가능 매체를 포함할 수 있다. 이러한 매체는 컴퓨터 시스템에서 액세스할 수 있는 임의의 사용 가능한 매체일 수 있으며 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체를 모두 포함할 수 있다.
메모리 시스템은 랜덤 액세스 메모리(random access memory, RAM) 및/또는 캐시 메모리 등과 같은 휘발성 메모리 형태의 컴퓨터 시스템 판독 가능 매체를 포함할 수 있다. 컴퓨터 시스템은 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 시스템 저장 매체를 더 포함할 수 있다. 컴퓨터 시스템은 네트워크 어댑터를 사용하여 하나 이상의 디바이스와 통신할 수 있다. 네트워크 어댑터는 인터넷, LAN, WAN 등을 기반으로 하는 유선 통신을 지원하거나, 또는 CDMA, GSM, 광대역 CDMA, CDMA-2000, TDMA, LTE, 무선 LAN, Bluetooth 등을 기반으로 하는 무선 통신을 지원할 수 있다.
본 발명은 통합의 가능한 기술 세부 수준에서 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서로 하여금 본 발명의 양태들을 수행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령을 갖는 컴퓨터 판독가능 저장 매체(또는 매체)를 포함할 수 있다.
컴퓨터 판독 가능 저장 매체는 명령 실행 디바이스에 의해 사용하기 위한 명령을 보유하고 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전자 저장 디바이스, 자기 저장 디바이스, 광학 저장 디바이스, 전자기 저장 디바이스, 반도체 저장 디바이스, 또는 이들의 임의의 적절한 조합일 수 있지만 이에 제한되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예의 비배타적인 목록은: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 지울 수 있는 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 다목적 디스크(DVD), 메모리 스틱, 플로피 디스크, 홈에 기록된 명령을 가지는 홈의 융기 구조 또는 펀치 카드와 같은 기계적으로 인코딩된 디바이스, 및 전술한 것의 임의의 적절한 조합을 포함한다. 본 명세서에 사용된 컴퓨터 판독 가능 저장 매체는 전파 또는 기타 자유롭게 전파하는 전자기파, 도파관 또는 기타 전송 매체를 통해 전파하는 전자기파(예를 들어, 광섬유 케이블을 통과하는 광 펄스) 또는 전선을 통해 전송되는 전기 신호와 같은 일시적인 신호 그 자체로 해석되어서는 안된다.
본 명세서에 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/처리 디바이스로, 또는 네트워크, 예를 들어, 인터넷, 근거리 통신망, 광역 네트워크 영역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 저장 장치로 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광 전송 섬유, 무선 전송, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각각의 컴퓨팅/처리 디바이스의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고 각각의 컴퓨팅/처리 디바이스 내의 컴퓨터 판독 가능 저장 매체에 저장하기 위해 컴퓨터 판독 가능 프로그램 명령을 전달한다.
본 발명의 동작을 수행하기 위한 컴퓨터 판독 가능 프로그램 명령은 어셈블러 명령, 명령 세트 아키텍처(instruction-set-architecture, ISA) 명령, 기계 명령, 기계 종속 명령, 마이크로코드, 펌웨어 명령, 상태 설정 데이터, 집적 회로를 위한 구성 데이터, 또는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어를 포함하여 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드, 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 절차적 프로그래밍 언어일 수 있다.
컴퓨터 판독 가능한 프로그램 명령은 사용자의 컴퓨터에서 전체적으로 실행될 수 있고, 독립 실행형 소프트웨어 패키지로서 사용자의 컴퓨터에서 부분적으로 실행될 수 있으며, 사용자의 컴퓨터에서 부분적으로 그리고 원격 컴퓨터에서 부분적으로, 또는 원격 컴퓨터 또는 서버에서 전체적으로 실행될 수 있다. 후자의 시나리오에서 원격 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함한 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 (예를 들어 인터넷 서비스 공급자를 사용하여 인터넷을 통해) 외부 컴퓨터에 연결될 수 있다. 일부 실시예에서, 예를 들어 프로그램 가능 논리 회로, FPGA(field-programmable gate arrays), 또는 PLA(programmable logic arrays)를 포함하는 전자 회로는 본 발명의 양태를 수행하기 위한 전자 회로를 개인화하기 위해 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 활용함으로써 컴퓨터 판독 가능 프로그램 명령을 실행할 수 있다.
본 발명의 양태는 본 발명의 실시예에 따른 방법, 장치(시스템), 및 컴퓨터 프로그램 제품의 흐름도 예시 및/또는 블록도를 참조하여 본 명세서에 기술된다. 흐름도 예시 및/또는 블록도의 각 블록, 및 흐름도 예시 및/또는 블록도의 블록 조합은 컴퓨터 판독 가능 프로그램 명령에 의해 구현될 수 있음이 이해될 것이다.
이러한 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어 기계를 생성할 수 있어서, 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서를 통해 실행되는 명령은 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/동작을 구현하기 위한 수단을 생성한다.
이러한 컴퓨터 판독 가능 프로그램 명령은 또한 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 기타 디바이스가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독 가능 저장 매체에 저장될 수 있으므로, 명령어가 저장된 컴퓨터 판독 가능 저장 매체는 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/동작의 양태를 구현하는 명령어를 포함하는 제조 물품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치, 또는 다른 디바이스에 로드되어 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 디바이스 상에서 수행되어 컴퓨터 구현된 처리를 생성할 수 있어서, 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 디바이스에서 실행되는 명령이 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/동작을 구현하도록 한다.
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법, 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 세그먼트, 또는 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 명령의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 언급된 기능은 도면에 언급된 순서와 다르게 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록은, 실제로는 실질적으로 동시에 실행될 수 있거나 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 블록도 및/또는 흐름도 예시의 각 블록과 블록도 및/또는 흐름도 예시의 블록 조합은, 지정된 기능 또는 동작을 수행하거나 특수 목적 하드웨어와 컴퓨터 명령의 조합을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있다는 것을 유의해야 할 것이다.
실시예의 전술한 설명은 예시 및 설명의 목적으로 제공되었다. 이는 개시된 정확한 형태로 본 발명을 완전하게 한정하거나 제한하려는 의도가 아니다. 본 개시 내용에 비추어 많은 수정 및 변형이 가능하다. 본 개시의 범위는 이러한 상세한 설명이 아니라 여기에 첨부된 청구범위에 의해 제한되는 것으로 의도된다.
다수의 구현이 설명되었다. 그럼에도 불구하고, 본 개시의 범위를 벗어나지 않고 다양한 수정이 이루어질 수 있음이 이해될 것이다. 동작이 도면에 특정 순서로 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 이러한 작업이 도시된 특정 순서 또는 순차적인 순서로 수행되거나 도시된 모든 작업이 수행되어야 함을 요구하는 것으로 이해되어서는 안된다.
본 명세서의 각각의 모든 페이지와 그 안의 모든 내용은 아무리 특성화, 식별 또는 번호가 매겨져 있더라도 명세서 내의 형식이나 배치에 관계없이 모든 목적을 위해 이 명세서의 실질적인 부분으로 간주된다. 이 명세서는 본 발명을 개시된 정확한 형태로 제한하거나 완전하게 제한하는 의도는 아니다. 본 개시 내용에 비추어 많은 수정 및 변형이 가능하다. 기타 및 다양한 실시예는 이러한 설명, 도면, 및 이하의 청구범위로부터 통상의 기술자에게 용이하게 명백할 것이다. 본 발명의 범위는 이러한 상세한 설명이 아니라 여기에 첨부된 청구범위에 의해 제한되는 것으로 의도된다.

Claims (20)

  1. 비냉각식 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법으로서,
    이미지 프레임의 선택된 픽셀 각각에 대해, 이전 이미지 프레임으로부터 과거(historical) 장면 기반 비균일 보정(Non-Uniformity Correction, NUC) 오프셋을 빼고 에지가 보존된 중간값 필터(edge-preserving median filter)를 적용하여, 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 획득하는 단계 - 상기 에지가 보존된 중간값 필터는 플러스형 중간값 커널(kernel)로 구성되고, 상기 플러스형 중간값 커널의 중심 픽셀의 강도 값과 지정된 임계값보다 더 크게 다른 강도 값을 갖는 플러스형 중간값 커널의 픽셀은 상기 중심 픽셀로 대체됨 -;
    상기 이미지 프레임에서 상기 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 빼서 에지가 무시되고 고역 통과된 이미지 프레임을 획득하는 단계;
    상기 에지가 무시되고 고역 통과된 이미지 프레임을 감쇠시키는 단계;
    상기 감쇠된 에지가 무시되고 고역 통과된 이미지 프레임을 과거 장면 기반 비균일 보정 오프셋에 더하여서, 다음 프레임에 대한 새로운 과거 비균일 보정 오프셋을 생성하는 단계; 및
    상기 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 출력하는 단계
    를 포함하는, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법.
  2. 제1항에 있어서,
    장면 대비(contrast)에 기반하여 감쇠 인자가 변경되는, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법.
  3. 제1항에 있어서,
    상기 방법은 상기 에지가 보존된 중간값 필터에 대해 버퍼링 픽셀의 2개의 로우(row)를 필요로 하는, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 지정된 임계값은 상기 이미저의 신호 대 노이즈비(signal-to-noise ratio, SNR)에 기초하여 프로그래밍되는, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법.
  9. 제1항에 있어서,
    이중 데이터 레이트(double data rate, DDR) 메모리에 오프셋을 저장하는 단계를 더 포함하는, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법.
  10. 제1항에 있어서,
    오프셋을 저장하는 단계를 더 포함하고, 상기 오프셋은 픽셀 당 8 비트 보정인, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법.
  11. 제1항에 있어서,
    +/- 32 카운트의 최대 보정을 초래하는 픽셀 당 8 비트 보정을 사용하는 단계를 추가로 포함하는, 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키는 방법.
  12. 제1항에 있어서,
    장면 모션의 픽셀은 처리에서 제외되는, 방법.
  13. 제1항에 있어서,
    상기 이미저는 흑체 기준 소스를 포함하지 않는, 방법.
  14. 제1항에 있어서,
    상기 이미저는 흑체 기준 소스를 포함하지 않으며 장면 모션은 처리에서 제외되는, 방법.
  15. 비냉각 적외선 이미저에 대한 픽셀 기반 공간 노이즈를 감소시키기 위한 디바이스로서,
    적외선(IR) 이미지 센서; 및
    하나 이상의 프로세서에 의해 실행될 때, 프로세스가 수행되도록 하는 명령들을 인코딩하는 하나 이상의 비일시적 기계적 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품을 포함하고, 상기 프로세스는,
    이미지 프레임의 선택된 픽셀 각각에 대해, 이전 이미지 프레임으로부터 과거 장면 기반 비균일 보정 오프셋을 빼고 에지가 보존된 중간값 필터를 적용하여, 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 획득하는 단계 - 상기 에지가 보존된 중간값 필터는 플러스형 중간값 커널로 구성되고, 상기 플러스형 중간값 커널의 중심 픽셀의 강도 값과 지정된 임계값보다 더 크게 다른 강도 값을 갖는 플러스형 중간값 커널의 픽셀은 상기 중심 픽셀로 대체됨 -;
    상기 이미지 프레임에서 상기 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 빼서 에지가 무시되고 고역 통과된 이미지 프레임을 획득하는 단계;
    상기 에지가 무시되고 고역 통과된 이미지 프레임을 감쇠시키는 단계;
    상기 감쇠된 에지가 무시되고 고역 통과된 이미지 프레임을 과거 장면 기반 비균일 보정 오프셋에 더하여서, 다음 프레임에 대한 새로운 과거 비균일 보정 오프셋을 생성하는 단계; 및
    상기 에지가 보존되고 노이즈가 평활화된 이미지 프레임을 출력하는 단계를 포함하는, 디바이스.
  16. 삭제
  17. 삭제
  18. 제15항에 있어서,
    오프셋의 저장을 제한된 메모리 대역폭에 맞추기 위해 픽셀당 8비트 보정을 더 포함하는, 디바이스.
  19. 제15항에 있어서,
    상기 임계값은 상기 센서의 신호 대 노이즈비(SNR)에 기초하여 프로그래밍되며, 이에 의해 노이즈 플로어를 넘는 에지는 보존되는 반면 노이즈는 평활화되는, 디바이스.
  20. 삭제
KR1020217034021A 2019-03-20 2020-03-16 비냉각 적외선에 대한 에지 거부 장면 기반 비균일 보정 KR102639420B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/359,584 US10621702B1 (en) 2019-03-20 2019-03-20 Edge rejecting scene based non-uniformity correction for uncooled infrared
US16/359,584 2019-03-20
PCT/US2020/022930 WO2020190849A1 (en) 2019-03-20 2020-03-16 Edge rejecting scene based non-uniformity correction for uncooled infrared

Publications (2)

Publication Number Publication Date
KR20210141647A KR20210141647A (ko) 2021-11-23
KR102639420B1 true KR102639420B1 (ko) 2024-02-21

Family

ID=70223513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217034021A KR102639420B1 (ko) 2019-03-20 2020-03-16 비냉각 적외선에 대한 에지 거부 장면 기반 비균일 보정

Country Status (6)

Country Link
US (1) US10621702B1 (ko)
EP (1) EP3942517A4 (ko)
KR (1) KR102639420B1 (ko)
CN (1) CN113853630A (ko)
IL (1) IL286553B (ko)
WO (1) WO2020190849A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI692970B (zh) * 2018-10-22 2020-05-01 瑞昱半導體股份有限公司 影像處理電路及相關的影像處理方法
US11676260B2 (en) * 2019-09-26 2023-06-13 Kla Corporation Variation-based segmentation for wafer defect detection
CN111983710B (zh) * 2020-08-14 2023-07-28 西安应用光学研究所 一种用于扫描型红外搜索系统的非均匀性校正方法
CN113379636B (zh) * 2021-06-21 2024-05-03 苏州睿新微系统技术有限公司 一种红外图像非均匀性校正方法、装置、设备及存储介质
CN115601263B (zh) * 2022-10-20 2023-05-05 国科天成科技股份有限公司 一种非制冷红外图像的非均匀校正方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471240A (en) * 1993-11-15 1995-11-28 Hughes Aircraft Company Nonuniformity correction of an imaging sensor using region-based correction terms
US5614715A (en) * 1995-10-11 1997-03-25 Hughes Electronics Thermal imaging device with scanned light emitting diodes (LEDs) and second linear array of plural symbology LEDs
EP1727359B1 (en) * 2005-05-26 2013-05-01 Fluke Corporation Method for fixed pattern noise reduction in infrared imaging cameras
US9208542B2 (en) * 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US8203116B2 (en) * 2010-10-19 2012-06-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays
WO2014144492A1 (en) * 2013-03-15 2014-09-18 Drs Rsta, Inc. Method of shutterless non-uniformity correction for infrared imagers
US10467736B2 (en) * 2014-12-02 2019-11-05 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10417745B2 (en) * 2016-06-28 2019-09-17 Raytheon Company Continuous motion scene based non-uniformity correction

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Alessandro Rossi ET AL: "Bilateral filter-based adaptive nonuniformity correction for infrared focal-plane array systems", Optical Engineering, Vol. 49, Issue 5, 057003, 14 May 2010(2010.05.14.) 1부.*
Hao Pan ET AL: "Analysis of the sigma filter using robust estimation", Proceedings of the SPIE, Volume 5672, p. 70-81, March 2005(2005.03.31.) 1부.*
Li Zhaolong ET AL: "Scene-based nonuniformity correction based on bilateral filter with reduced ghosting", Infrared Physics & Technology, Volume 77, 17 June 2016, Pages 360-365(2016.06.17.) 1부.*

Also Published As

Publication number Publication date
CN113853630A (zh) 2021-12-28
EP3942517A1 (en) 2022-01-26
US10621702B1 (en) 2020-04-14
IL286553B (en) 2022-07-01
IL286553A (en) 2021-10-31
KR20210141647A (ko) 2021-11-23
WO2020190849A1 (en) 2020-09-24
EP3942517A4 (en) 2023-04-19

Similar Documents

Publication Publication Date Title
KR102639420B1 (ko) 비냉각 적외선에 대한 에지 거부 장면 기반 비균일 보정
US10007967B2 (en) Temporal and spatial video noise reduction
JP5679702B2 (ja) 映像処理装置および方法
JP5052301B2 (ja) 画像処理装置、画像処理方法
CN108230249B (zh) 基于各向异性的l1范数全变分正则化非均匀性校正方法
JP2014154108A (ja) 画像処理装置
EP3476117A1 (en) Fixed pattern noise mitigation for a thermal imaging system
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
KR102183518B1 (ko) 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치
KR101778461B1 (ko) 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치
JP6478774B2 (ja) 撮像装置、撮像方法及びプログラム
US20150130959A1 (en) Image processing device and exposure control method
CN111652820B (zh) 校正红外图像条纹非均匀性的方法、装置与图像处理系统
KR102282464B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN114331893A (zh) 一种获取图像噪声的方法、介质和电子设备
JP2007266787A (ja) 雑音過大画素可用化処理を備えた撮像装置
US20160328858A1 (en) Image processing system, image processing method, and image processing program
US9779701B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP6126054B2 (ja) 画像信号処理方法及び画像信号処理装置
JP5631153B2 (ja) 画像処理装置、制御方法、及びプログラム
TW201933278A (zh) 影像處理方法及影像處理裝置
KR102263518B1 (ko) 중간값 필터링 시스템 및 방법
US20160321789A1 (en) Scene-based non-uniformity correction in focal plane arrays
Narasimha et al. A real-time high dynamic range HD video camera
KR100470308B1 (ko) 선택적 필터 적용을 통한 디지털 엑스레이 영상의 향상방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant