KR101955498B1 - 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법 - Google Patents

신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR101955498B1
KR101955498B1 KR1020180084136A KR20180084136A KR101955498B1 KR 101955498 B1 KR101955498 B1 KR 101955498B1 KR 1020180084136 A KR1020180084136 A KR 1020180084136A KR 20180084136 A KR20180084136 A KR 20180084136A KR 101955498 B1 KR101955498 B1 KR 101955498B1
Authority
KR
South Korea
Prior art keywords
image
output
correction coefficient
corrected image
correction
Prior art date
Application number
KR1020180084136A
Other languages
English (en)
Inventor
노건효
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020180084136A priority Critical patent/KR101955498B1/ko
Application granted granted Critical
Publication of KR101955498B1 publication Critical patent/KR101955498B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211—Ghost signal cancellation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

본 발명의 신경망 구조를 이용한 적외선 영상 보정 장치는 종래의 적외선 영상에서 나타나는 비네팅 또는 고스트 현상과 같은 문제로 영상 품질이 저하되는 문제를 해결하도록 적외선 센서부에 의해 영상을 출력하는 영상 출력부, 출력된 영상의 이득을 이용하여 보정계수를 획득하고 획득된 보정계수로 보정영상을 생성하는 보정영상 생성부 및 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 생성된 보정영상의 대표값과의 차이를 이용하여 보정계수를 갱신하는 보정계수 처리부를 포함하여 광학부품에 의해 나타나는 비네팅 현상과 같은 영상 전체에 걸친 편차를 효과적으로 보상하여 영상 품질을 개선할 수 있다.

Description

신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법 {INFRARED IMAGE CORRECTION APPARATUS USING NEURAL NETWORK STRUCTURE AND METHOD THEREOF}
본 발명은 영상의 품질을 개선시키도록 신경망 구조를 이용하여 적외선 영상을 보정하는 장치 및 그 방법에 관한 것이다.
적외선 센서를 적용한 적외선 영상 시스템은 물체가 방출하는 적외선 영역의 미약한 에너지를 검출하여 눈에 보이는 영상으로 변환하는 시스템으로 빛이 전혀 없는 상황에서도 영상 획득이 용이하여 군사용 감시 장비로 많이 활용되고 있다. 최근에는 송전선로의 이상유무 판단, 체열 검색 및 저장 탱크로부터 저장량을 확인하기 위한 용도 등 산업계와 의료계에서도 이용도가 증가하고 있는 실정이다.
적외선 영상 시스템에서 사용되는 적외선 센서는 초점평면배열(Focal Plane Array, FPA)인 2차원 매트릭스 구조로 구성되어 물체의 적외선 방사 에너지에 반응하여 전기적 신호를 출력하고 이를 통해 적외선 영상 이미지를 획득할 수 있다. 하지만 초점평면배열을 구성하고 있는 각 소자들 간에는 편차가 있어 동일한 세기의 적외선에 대해서 동일한 세기의 전기 신호를 출력하지 못하는 문제가 있다.
도 1은 적외선 영상 시스템에서 검출기에 의해 영상에 나타나는 문제점을 설명하기 위한 도면을 나타낸 것이다.
도 1(a)는 광학부품을 이용하여 신호를 집광하는 영상 시스템에서 나타나는 비네팅(vignetting) 현상을 설명하기 위한 도면으로, 비네팅 현상은 영상의 중심으로부터 떨어질수록 밝기가 감쇠하는 현상을 나타낸 것으로, 사진 촬영에서 일반적으로 나타나는 인위적인 결과에 해당한다. 낮은 레벨에서 나타나는 비네팅 현상은 보통의 관찰자(average viewer)가 보기에 불쾌한 정도는 아니지만. 비네팅 현상은 영상(scene)을 분석하기 위해 정확한 명암도(intensity) 데이터에 의지하는 컴퓨터 비전 알고리즘들(computer vision algorithms)을 크게 손상시킬 수 있다
따라서, 상술한 적외선 영상 시스템에서 나타나는 문제점을 해결하기 위해 불균일을 보정하는 방법이 이용되고 있다.
종래의 적외선 영상 시스템에서 불균일을 보정하기 위한 방법은 균일한 흑체 면을 이용한 불균일 보정(Calibration Based Non Uniformity Correction, CBNUC) 방법 및 적외선 신호를 이용한 영상 기반의 불균일 보정(Scene Based Non Uniformity Correction, SBNUC) 방법이 있다.
하지만, 종래의 CBNUC를 이용한 적외선 영상 보정 방법은 SBNUC에 비해 구현하기 쉬우나 적외선 센서 출력을 단순히 선형 방정식으로 가정하므로 주변 환경 변화에 대응하지 못하며, 불균일 보정 후 장시간 경과 시 발생되는 초점평면배열 변화로 인해 주기적으로 불균일 보정을 해주어야 하는 문제점이 있다.
또한, 종래의 SBNUC을 이용한 적외선 영상 보정 방법은 별도의 교정 장비를 사용하지 않고, 실제 적외선 영상 시스템 운영 시 획득되는 적외선 영상 정보를 바탕으로 불균일 보정계수를 획득하고 이를 지속적으로 갱신하는 방법이지만 수렴속도가 늦고, 광학부품의 표면에서 빛이 완전히 투과되지 못하고 부분 반사되어 발생하는 잔상(Ghosting) 현상에 취약한 문제점이 있다.
도 1(b)는 영상 시스템에서 나타나는 잔상(Ghosting) 효과를 나타내는 도면으로, 도 1(b)를 참조하면 영상을 구현하는 픽셀들간의 큰 차이로 인해 종래의 적외선 영상 보정 방법을 이용하는 경우 과잉학습이 생기는 현상이 나타나며, 과잉학습으로 인해 특정 형상들이 이득 갱신에 반영되어 잔상 효과가 나타날 수 있다. 이에 따라 영상 품질이 저하되는 문제점이 있다.
한국등록특허 10-0345441
본 발명은 적외선 영상 시스템에서 나타날 수 있는 비네팅 또는 고스트 현상과 같은 문제로 인하여 영상 품질이 저하되는 문제를 해결하기 위해 출력 영상으로부터 보정영상을 생성하는데 적용되는 보정계수들에 보정영상의 대표값 및 보정영상을 구성하는 픽셀과 인접한 픽셀의 출력값을 각각 적용하여 보정계수들을 독립적으로 갱신하는 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 장치는 객체의 적외선 방사에너지에 반응하는 적외선 센서부에 의해 영상을 출력하는 영상 출력부; 상기 출력된 영상 중 제1 프레임에서의 이득을 이용하여 제1 보정계수를 획득하고, 상기 출력된 영상 중 제1 프레임에 상기 획득된 제1 보정계수를 적용하여 보정영상을 생성하는 보정영상 생성부; 및 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 대표값과의 차이를 이용하여 상기 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 상기 제1 보정계수를 갱신하는 보정계수 처리부;를 포함할 수 있다.
바람직하게, 상기 보정영상 생성부는 상기 출력된 영상 중 제1 프레임에서의 이득과 오프셋을 이용하여 제2 보정계수를 더 획득하고, 상기 출력된 영상 중 제1 프레임을 구성하는 픽셀의 출력에 상기 제1 및 제2 보정계수를 적용하여 보정영상을 생성할 수 있다.
바람직하게, 상기 보정계수 처리부는 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 대표값과의 차이를 나타내는 제1 오차함수를 획득하는 제1 오차함수 획득부; 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 현재 픽셀과 인접한 미리 설정된 픽셀의 출력값과의 차이를 나타내는 제2 오차함수를 획득하는 제2 오차함수 획득부; 및 상기 획득된 제1 오차함수를 적용하여 상기 제1 보정계수를 갱신하고, 상기 획득된 제1 오차함수와 독립적으로 상기 제2 오차함수를 적용하여 상기 제2 보정계수를 갱신하는 보정계수 갱신부;를 포함할 수 있다.
바람직하게, 상기 보정계수 처리부는 상기 생성된 보정영상을 구성하는 복수 개의 픽셀들로부터 상기 보정영상의 경계부분인 에지에 해당하는 픽셀을 검출하는 에지 검출부;를 더 포함하고, 상기 보정계수 갱신부는 상기 검출된 에지에 해당하는 픽셀의 출력값을 적용하여 상기 제1 및 제2 보정계수를 갱신할 수 있다.
바람직하게, 상기 보정계수 갱신부는 상기 제1 및 제2 보정계수의 갱신 방향성의 정확도가 증가하도록 상기 검출된 에지에 해당하는 픽셀의 학습률을 감소시켜 상기 제1 및 제2 보정계수를 갱신하고, 상기 학습률은 상기 제1 및 제2 오차함수가 상기 제1 및 제2 보정계수에 갱신하는데 적용되는 비율을 나타낼 수 있다.
바람직하게, 상기 출력된 영상을 이용하여 상기 적외선 센서부의 이동량을 검출하는 이동량 검출부;를 더 포함하고, 상기 보정계수 갱신부는 상기 검출된 이동량을 상기 제1 및 제2 오차함수에 각각 적용하여 상기 제1 및 제2 보정계수를 갱신할 수 있다.
바람직하게, 상기 생성된 보정영상의 대표값은 상기 생성된 보정영상을 구성하는 복수 개의 픽셀들의 전체적인 편차를 보상하도록 상기 생성된 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값일 수 있다.
바람직하게, 상기 보정계수 처리부는 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 평균값을 비교하여 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 평균값과의 편차에 따라 상기 현재 픽셀의 출력값을 미리 설정된 비율만큼 보상하고, 상기 미리 설정된 비율만큼 보상된 현재 픽셀의 출력값과 상기 생성된 보정영상의 평균값의 차이를 이용하여 상기 제1 보정계수를 갱신할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법은 객체의 적외선 방사에너지에 반응하는 적외선 센서에 의해 영상을 출력하는 단계; 상기 출력된 영상 중 제1 프레임에서의 이득을 이용하여 제1 보정계수를 획득하고, 상기 출력된 영상 중 제1 프레임에 상기 획득된 제1 보정계수를 적용하여 보정영상을 생성하는 단계; 및 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 대표값과의 차이를 이용하여 상기 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 상기 제1 보정계수를 갱신하여 보정계수를 처리하는 단계;를 포함할 수 있다.
바람직하게, 상기 보정영상을 생성하는 단계는 상기 출력된 영상 중 제1 프레임에서의 이득과 오프셋을 이용하여 제2 보정계수를 더 획득하고, 상기 출력된 영상 중 제1 프레임에 상기 제1 및 제2 보정계수를 적용하여 보정영상을 생성하며, 상기 보정계수를 처리하는 단계는 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 대표값과의 차이를 나타내는 제1 오차함수를 획득하는 단계; 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 현재 픽셀과 인접한 미리 설정된 픽셀의 출력과의 차이를 나타내는 제2 오차함수를 획득하는 단계; 및 상기 획득된 제1 오차함수를 적용하여 상기 제1 보정계수를 갱신 및 상기 획득된 제1 오차함수와 독립적으로 상기 제2 오차함수를 적용하여 상기 제2 보정계수를 갱신하는 단계;를 포함할 수 있다.
바람직하게, 상기 보정계수를 처리하는 단계는 상기 생성된 보정영상을 구성하는 복수 개의 픽셀들로부터 상기 보정영상의 경계부분인 에지에 해당하는 픽셀을 검출하는 단계;를 더 포함하고, 상기 제1 및 제2 보정계수를 갱신하는 단계는 상기 검출된 에지에 해당하는 픽셀의 출력값을 적용하여 상기 제1 및 제2 보정계수를 갱신할 수 있다.
바람직하게, 상기 생성된 보정영상의 대표값은 상기 생성된 보정영상을 구성하는 복수 개의 픽셀들의 전체적인 편차를 보상하도록 상기 생성된 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값이고, 상기 보정계수를 처리하는 단계는 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 평균값을 비교하여 상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 평균값과의 편차에 따라 상기 현재 픽셀의 출력값을 미리 설정된 비율만큼 보상하고, 상기 미리 설정된 비율만큼 보상된 현재 픽셀의 출력값과 상기 생성된 보정영상의 평균값의 차이를 이용하여 상기 제1 보정계수를 갱신할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상을 보정하는 방법이 컴퓨터에서 실행시키기 위한 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
본 발명의 일 실시 예에 따르면 광학부품에 의해 나타나는 비네팅 현상과 같은 영상 전체에 걸친 편차를 효과적으로 보상할 수 있다.
또한, 본 발명의 일 실시 예에 따르면 과잉 학습으로 인해 특정 형상들이 보정계수 갱신에 반영되어 발생하는 잔상 현상을 방지할 수 있으므로 영상 품질이 향상될 수 있다.
또한, 본 발명의 일 실시 예에 따르면 가변 학습률에 이제 검출을 적용하여 수렴속도를 증가시킬 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 적외선 영상 시스템에서 검출기에 의해 영상에 나타나는 문제점을 설명하기 위한 도면을 나타낸 것이다.
도 2는 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 장치의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 적외선 보정 방법에 이용되는 신경망 구조를 나타낸 것이다.
도 4는 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 장치의 구성을 구체적으로 도시한 블록도이다.
도 5a 내지 도 5c는 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법을 설명하기 위한 도면을 나타낸 것이다.
도 6은 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법과 종래의 적외선 영상 보정 방법을 학습률에 적용하여 나타난 바이어스 맵을 비교한 결과를 나타낸 것이다.
도 7은 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 설명하기 위한 흐름도를 나타낸 것이다.
도 8은 본 발명의 또 다른 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 설명하기 위한 흐름도를 나타낸 것이다.
도 9는 종래의 적외선 영상 보정 방법과 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용한 경우 나타나는 성능을 비교한 결과를 나타낸 것이다.
도 10은 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용하여 갱신한 가중치의 출력값 및 종래의 적외선 영상 보정 방법을 이용하여 갱신한 가중치의 출력값을 나타내 것이다.
도 11은 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용하여 보정된 결과값과 종래의 적외선 영상 보정 방법을 이용하여 보정된 결과값을 비교하기 위한 도면을 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다”등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 장치의 구성을 개략적으로 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 장치(100)는 영상 출력부(110), 보정영상 생성부(120), 보정계수 처리부(130) 및 이동량 검출부(140)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 영상 출력부(110)는 객체의 적외선 방사에너지에 반응하는 적외선 센서부에 의해 영상을 출력할 수 있다. 구체적으로, 영상 출력부(110)는 객체의 적외선 방사에너지에 반응하는 적외선 센서부에 의해 복수 개의 프레임으로 구성된 영상을 출력할 수 있다.
본 발명의 일 실시 예에 따른 영상 출력부(110)가 적외선 센서부에 의해 영상을 출력하는 특성은 하기의 수학식 1과 같이 나타낼 수 있다.
Figure 112018071506170-pat00001
Yij(n)은 적외선 센서부에 의해 출력된 영상 중 n번째 프레임의 i번째 열과 j번째 행에 해당하는 픽셀에서 출력된 전압값을 나타내고, gij(n)은 n번째 프레임에서의 이득을 나타내고, oij(n)는 n번째 프레임에서의 오프셋을 나타내고, Xij(n)은 출력된 영상 중 n번째 프레임에서 실제 적외선 센서가 받은 방사에너지로 본 명세서에서 보정영상 생성부(120)에서 생성된 보정영상의 i번째 열과 j번째 행에 해당하는 픽셀에서 출력된 전압값으로 나타내도록 한다.
본 발명의 일 실시 예에 따른 보정영상 생성부(120)는 영상 출력부(110)에서 출력된 영상에 보정계수를 적용하여 보정영상을 생성할 수 있다. 보정영상 생성부(120)는 영상 출력부(110)에서 출력된 영상 중 제1 프레임에서의 이득을 이용하여 제1 보정계수를 획득할 수 있고, 획득된 제1 보정계수를 영상 출력부(110)에서 출력된 영상 중 제1 프레임에 적용하여 보정영상을 생성할 수 있다.
또한, 보정영상 생성부(120)는 영상 출력부(110)에서 출력된 영상 중 제1 프레임에서의 이득과 오프셋을 이용하여 제2 보정계수를 더 획득할 수 있고, 영상 출력부(110)에서 출력된 영상 중 제1 프레임을 구성하는 픽셀의 출력에 제1 및 제2 보정계수를 적용하여 보정영상을 생성할 수 있다.
하기의 수학식 2 내지 4는 본 발명의 일 실시 예에 따른 보정영상 생성부(120)가 제1 및 제2 보정계수를 영상 출력부(110)에서 출력된 영상에 적용하여 보정영상을 생성하는 방법을 나타낸 수학식이다.
Figure 112018071506170-pat00002
Figure 112018071506170-pat00003
Figure 112018071506170-pat00004
수학식 3을 참조하면, wij(n)는 제1 보정계수에 해당하는 가중치를 나타낸 것으로 n번째 프레임에서의 이득(gij(n))과 반비례 관계를 나타낸다. 따라서, 상술한 가중치는 보정영상을 생성하는데 적외선 센서부에 의해 출력된 영상 중 n번째 프레임의 i번째 열과 j번째 행에 해당하는 픽셀에서 출력된 전압값(Yij(n))이 주는 영향력을 조절하는 요소로 작용하여 가중치가 큰 경우 Yij(n)가 그만큼 더 중요하다는 것을 나타낸다.
수학식 4를 참조하면, bij(n)는 제2 보정계수에 해당하는 바이어스(bias)를 나타낸 것으로 n번째 프레임에서의 이득(gij(n))과는 반비례 관계를 n번째 프레임에서의 오프셋(oij(n))과는 비례 관계를 나타낸다. 상술한 바이어스는 상수 역할로 출력 범위를 이동시키는 역할을 하는 보정계수를 나타낸다.
따라서, 보정영상 생성부(120)는 영상 출력부(110)에서 출력된 영상에 상술한 가중치에 해당하는 제1 보정계수 및 바이어스에 해당하는 제2 보정계수를 적용하여 보정영상을 생성할 수 있다.
본 발명의 일 실시 예에 따른 보정계수 처리부(130)는 보정영상 생성부(120)에서 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 생성된 보정영상의 대표값과의 차이를 이용하여 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 제1 보정계수를 갱신할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 보정영상 생성부(120)에서 생성된 보정영상의 대표값은 보정영상을 구성하는 복수 개의 픽셀들의 전체적인 편차를 보상하도록 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값(AVGimage)일 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 보정계수 처리부(130)는 보정영상 생성부(120)에서 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 현재 픽셀과 인접한 미리 설정된 픽셀의 출력값과의 차이를 이용하여 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 제2 보정계수를 갱신할 수 있다. 상술한 제2 보정계수를 갱신하기 위해 보정영상을 구성하는 현재 픽셀의 출력값과 현재 픽셀과 인접한 미리 설정된 픽셀의 출력값과의 차이를 이용하는 방법에 대해서 도 3을 함께 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시 예에 따른 적외선 보정 방법에 이용되는 신경망 구조를 나타낸 것이다.
본 발명의 일 실시 예에 따른 적외선 보정 방법에서 이용된 신경망 구조는 임의의 픽셀에 해당하는 yi,j 의 픽셀 주변에 인접한 yi-1, j, yi, j-1, yi+1, j 및 yi, j+1에 해당하는 이웃 픽셀들은 같은 적외선 에너지를 받을 확률이 높다는 가정에 따른 신경망 구조를 나타낸 것이다. 따라서, 생성된 보정영상을 구성하는 현재 픽셀의 출력값이 yi,j 인 경우 현재 픽셀 yi,j 와 인접한 미리 설정된 픽셀은 yi-1, j, yi, j-1, yi+1, j 및 yi, j+1의 픽셀들이 해당하며, 인접한 미리 설정된 픽셀들은 같은 적외선 에너지를 받는다고 가정할 수 있다.
따라서, 도 3을 참조하면, 보정계수 처리부(130)는 보정영상 생성부(120)에서 생성된 보정영상을 구성하는 현재 픽셀 yi,j 의 출력값과 동일한 적외선 에너지를 받으며 현재 픽셀과 인접한 미리 설정된 픽셀에 해당하는 yi-1, j, yi, j-1, yi+1, j 및 yi, j+1 픽셀 중 어느 하나의 픽셀의 출력값과의 차이를 이용하여 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 제2 보정계수를 갱신할 수 있다.
또한, 본 발명의 일 실시 예에 따른 이동량 검출부(140)는 영상 출력부(110)에서 출력된 영상을 이용하여 적외선 센서부의 이동량을 검출할 수 있다. 보정계수 처리부(130)는 이동량 검출부(140)에서 검출된 이동량을 이용하여 상술한 제1 및 제2 보정계수를 갱신할 수 있다.
상술한 제1 및 제2 보정계수를 갱신하는 구체적인 방법에 대해서는 도 4에서 후술하도록 한다.
도 4는 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 장치의 구성을 구체적으로 도시한 블록도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 장치(100)는 영상 출력부(110), 보정영상 생성부(120), 보정계수 처리부(130) 및 이동량 검출부(140)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 영상 출력부(110)는 객체의 적외선 방사에너지에 반응하는 적외선 센서부에 의해 복수 개의 프레임으로 구성된 영상을 출력할 수 있다.
보정영상 생성부(120)는 영상 출력부(110)에서 출력된 영상 중 제1 프레임에서의 이득을 이용하여 제1 보정계수를 획득할 수 있고, 또한, 영상 출력부(110)에서 출력된 영상 중 제1 프레임에서의 이득과 오프셋을 이용하여 제2 보정계수를 더 획득할 수 있다. 보정영상 생성부(120)는 획득된 제1 보정계수 및 제2 보정계수를 영상 출력부(110)에서 출력된 영상 중 제1 프레임에 적용하여 보정영상을 생성할 수 있다.
보정계수 처리부(130)는 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 제1 및 제2 보정계수를 갱신할 수 있다.
구체적으로, 보정계수 처리부(130)는 제1 오차함수 획득부(131), 제2 오차함수 획득부(132) 및 보정계수 갱신부(133)를 포함할 수 있다.
제1 오차함수 획득부(131)는 보정영상 생성부(120)에서 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 생성된 보정영상의 대표값과의 차이를 나타내는 제1 오차함수를 획득할 수 있다. 본 발명의 일 실시 예에 따른 상술한 보정영상의 대표값은 보정영상을 구성하는 복수 개의 픽셀들의 전체적인 편차를 보상하도록 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값(AVGimage)일 수 있다.
따라서, 제1 오차함수 획득부(131)는 하기의 수학식 5와 같이 보정영상 생성부(120)에서 생성된 보정영상의 n번째 프레임을 구성하는 현재 픽셀의 출력값(Tij(n))과 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값(AVGimage)과의 차이를 나타내는 제1 오차함수를 획득할 수 있다.
Figure 112018071506170-pat00005
상술한 수학식 5에 나타난 바와 같은 제1 오차함수는 후술하는 제1 보정계수에 해당하며 이득과 반비례 관계에 해당하는 가중치를 갱신하는데 적용될 수 있다.
종래에는 생성된 보정영상의 n번째 프레임을 구성하는 현재 픽셀의 출력값과 인접한 영역으로 오차함수를 획득하여 가중치를 갱신할 경우 국부 최소점 문제(local minimum problem)에 빠지게 되어 학습이 마비되는 현상이 나타나게 되어 비네팅 현상이 보상되지 않는 문제점이 있었다.
이에 비해 본 발명의 일 실시 예에 따라 수학식 5와 같이 획득된 제1 오차함수를 이용하여 제1 보정계수를 갱신하는 방법은 비네팅 같은 영상의 전체적인 편차를 보상하는 방법을 나타낸다. 비네팅 같은 영상의 전체적인 편차를 보상하기 위해 도 5a를 함께 참조하여 설명하도록 한다.
도 5a는 본 발명의 일 실시 예에 따른 영상 시스템에서 나타나는 비네팅 현상을 보정하기 위한 방법을 설명하기 위한 도면을 나타낸 것이다.
도 5a를 참조하면, 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값(AVGimage)과 보정영상의 n번째 프레임을 구성하는 현재 픽셀의 출력값(Tij(n))의 차이에 따라 제1 오차함수를 획득하는 경우, 신호가 감쇄되는 부분인 가장자리에 해당하는 픽셀들의 출력값들은 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값을 맞추기 위해 가중치에 해당하는 제1 보정계수의 갱신 방향이 위쪽으로 진행될 수 있다. 또한, 가운데 밝은 부분에 해당하는 픽셀들의 출력값들은 가장자리에 해당하는 픽셀들의 출력값들과 반대방향의 방향성이 생기게 되어 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값을 맞추기 위해 가중치에 해당하는 제1 보정계수의 갱신 방향이 아래쪽으로 진행될 수 있다.
따라서, 본 발명의 일 실시 예에 따른 제1 오차함수를 적용하여 제1 보정계수를 갱신하는 방법은 일부 특정 공간 또는 인접 픽셀들의 출력을 기반으로 최적의 가중치에 해당하는 제1 보정계수를 갱신하는 방식이 아닌 전체 신호의 출력 레벨을 이용하여 제1 보정계수를 갱신하기 때문에 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법을 이용하는 경우 국부 최소점 문제에 빠지는 것을 방지하여 비네팅 효과 등의 전체적인 신호 오차를 보정할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
다시 도 4를 참조하면, 본 발명의 또 다른 일 실시 예에 따른 제1 오차함수 획득부(131)는 보정영상 생성부(120)에서 생성된 보정영상의 n번째 프레임을 구성하는 현재 픽셀의 출력값(Tij(n))과 생성된 보정영상의 평균값(AVGimage)을 비교하여 보정영상을 구성하는 현재 픽셀의 출력값과 상술한 보정영상의 평균값과의 편차에 따라 현재 픽셀의 출력값을 미리 설정된 비율만큼 보상할 수 있다. 따라서, 제1 오차함수 획득부(131)는 미리 설정된 비율만큼 보상된 현재 픽셀의 출력값(
Figure 112018071506170-pat00006
)과 보정영상의 평균값(AVGimage)의 차이를 이용하여 제1 보정계수를 갱신할 수 있다.
본 발명의 일 실시 예에 따른 제1 오차함수 획득부(131)는 하기의 수학식 6 내지 9와 같이 보정영상의 현재 픽셀의 출력값(Tij)을 평균값(AVGimage)과 비교하고, 그 편차에 따라 계단식으로 보정영상의 현재 픽셀의 출력값을 수정할 수 있다.
Figure 112018071506170-pat00007
Figure 112018071506170-pat00008
Figure 112018071506170-pat00009
Figure 112018071506170-pat00010
본 발명의 일 실시 예에 따른 제1 오차함수 획득부(131)는 상기의 수학식 6 내지 9와 같이 평균대비 출력 편차의 정도를 2단계로 분류하여, 제1 보정계수 갱신이 너무 높게 혹은 너무 낮게 이루어 지지 않고 단계적으로 이루어지도록 하였다. 상기의 수학식 6 내지 9에서는 분류 기준을 평균 대비 ±20%, ±50% 기준을 나타낸다.
하기의 수학식 10은 상술한 보정영상의 현재 픽셀의 출력값(Tij)을 평균값(AVGimage)과 비교하고, 그 편차에 따라 계단식으로 보정영상의 현재 픽셀의 출력값을 수정하여 획득한 제1 오차함수를 나타낸다.
Figure 112018071506170-pat00011
따라서, 전체평균대비 특정영역의 출력이 큰 편차를 가지는 경우 과잉학습이 되어 잔상(Ghosting) 효과가 나타날 수 있다. 하지만, 상술한 방법과 같이 보정영상의 현재 픽셀의 출력값(Tij)을 평균값(AVGimage)과 비교하고, 그 편차에 따라 계단식으로 보정영상의 현재 픽셀의 출력값을 수정하여 상기의 수학식 10에 개시된 제1 오차함수를 획득하며, 획득된 제1 오차함수를 적용하여 가중치에 해당하는 제1 보정계수를 갱신하는 경우 전체평균대비 편차가 큰 픽셀일 경우에 나타날 수 있는 과잉학습을 방지할 수 있다. 따라서, 임계값을 정하여 계단식으로 제1 오차함수를 정의하여 제1 보정계수를 갱신하는 경우 잔상(Ghosting) 현상의 최소화가 가능한 효과가 있다.
따라서, 상술한 방법에 따라 제1 오차함수를 획득하여 제1 보정계수를 갱신하는 경우 히스토그램변화가 적은 적외선 영상의 특성상 이전 프레임의 평균정보를 이용할 수 있기 때문에 종래에 비해 연산 속도가 더욱 빠른 효과가 있다.
본 발명의 일 실시 예에 따라 임계값을 정하여 계단식으로 정의된 제1 오차함수를 획득하여 가중치에 해당하는 제1 보정계수를 갱신하는 적외선 영상 보정 방법(510)을 이용하는 경우 계단식으로 정의되지 않은 제1 오차함수를 획득하여 제1 보정계수를 갱신하는 적외선 영상 보정 방법(520)을 이용하는 경우보다 부정확한 가중치 갱신을 최소화할 수 있으므로, 도 5b를 참조하면 본 발명의 일 실시 예에 따른 임계값을 정하여 계단식으로 정의된 제1 오차함수를 획득하여 가중치에 해당하는 제1 보정계수를 갱신하는 적외선 영상 보정 방법(510)을 이용하는 경우 수렴속도가 약 60% 정도 향상 되었음을 보여준다.
본 발명의 일 실시 예에 따른 제2 오차함수 획득부(132)는 보정영상 생성부(120)에서 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 현재 픽셀과 인접한 미리 설정된 픽셀의 출력값과의 차이를 나타내는 제2 오차함수를 획득할 수 있다.
도 3에서 설명한 바와 같이 보정영상 생성부(120)에서 생성된 보정영상의 n번째 프레임을 구성하는 현재 픽셀 주변에 인접한 이웃 픽셀들은 같은 적외선 에너지를 받는다는 가정을 이용하여 본 발명의 일 실시 예에 따른 제2 오차함수 획득부(132)는 하기의 수학식 11과 같이 보정영상 생성부(120)에서 생성된 보정영상의 n번째 프레임을 구성하는 현재 픽셀의 출력값인 Tij(n)과 현재 픽셀과 인접한 픽셀의 출력값인
Figure 112018071506170-pat00012
와의 차이로 제2 오차함수를 획득할 수 있다.
Figure 112018071506170-pat00013
상술한 제2 오차함수를 적용하여 제2 보정계수를 갱신하는 경우 픽셀과 픽셀간의 고정 패턴 잡음(Fixed Pattern Noise, FPN)을 보정할 수 있는 효과가 있다. 고정 패턴 잡음은 출력신호의 불균일성을 나타내며, 전체 화소에 동일한 세기의 빛이 입사될 때 나오는 각 화소의 출력신호의 표준편차로 계산될 수 있다.
본 발명의 일 실시 예에 따른 보정계수 갱신부(133)는 제1 오차함수 획득부(131)에서 획득된 상기의 수학식 10에 개시된 제1 오차함수를 적용하여 영상 출력부(110)에서 출력된 영상 중 n번째 프레임의 다음 프레임에 해당하는 n+1번째 프레임에 적용할 제1 보정계수를 갱신할 수 있고, 제1 오차함수 획득부(131)에서 획득된 제1 오차함수와 독립적으로 제2 오차함수 획득부(132)에서 획득된 상기의 수학식 11에 개시된 제2 오차함수를 적용하여 영상 출력부(110)에서 출력된 영상 중 n+1번째 프레임에 적용할 제2 보정계수를 갱신할 수 있다. 상술한 제1 및 제2 보정계수를 갱신하는 방법에 대해서 도 5c를 함께 참조하여 설명하도록 한다.
도 5c는 본 발명의 일 실시 예에 따른 보정계수를 갱신하기 위해 이용되는 경사 하강법을 설명하기 위한 도면을 나타낸 것이다.
도 5c를 참조하면, 본 발명의 일 실시 예에 따라 제1 및 제2 오차함수 획득부에서 획득된 제1 및 제2 오차함수 각각은 LMS(Least Mean Square error) 알고리즘이 적용되어 하기 수학식 12 및 13과 같이 제1 및 제2 비용함수로 정의될 수 있다.
상술한 방법을 이용하여 제1 및 제2 비용함수를 정의하는 이유는 제1 및 제2 오차함수의 값이 양(+)의 값이 아닌 음(-)의 값도 될 수 있기 때문에 제1 및 제2 오차함수를 제곱하여 양(+)의 값만을 갖도록 제1 및 제2 비용함수를 정의할 수 있다.
Figure 112018071506170-pat00014
Figure 112018071506170-pat00015
상기의 수학식 12에 나타난 제1 비용함수로부터 제1 보정계수를 갱신하기 위해 경사 하강법(Gradient Descent)을 이용할 수 있다.
또한, 상기의 수학식 13에 나타난 제2 비용함수로부터 제2 보정계수를 갱신하기 위해 임의의 픽셀에 인접한 이웃 픽셀들은 같은 적외선 에너지를 받는다는 확률이 높다는 가정에 따른 신경망 구조를 이용하여 경사 하강법을 이용할 수 있다.
경사 하강법은 상술한 제1 비용함수를 하기의 수학식 14와 같이 이득(g)과 반비례 관계에 해당하는 가중치(w)로 편미분 시키고, 편미분 된 제1 비용함수에 가중치(w)를 대입하는 경우 나타나는 기울기가 최소의 값을 가지는 기울기(550)가 되도록 가중치(w)를 갱신하는 방법을 나타낸 것이다.
Figure 112018071506170-pat00016
즉, 기울기 하강법은 가중치(w)로 편미분 된 제1 비용함수에 초기 가중치(530)를 대입하여 얻게 되는 초기 기울기(540)에서 시작하여 기울기가 0으로 수렴시키도록 하는 최적의 가중치를 찾는 방법을 나타낸 것이다.
마찬가지로, 상술한 기울기 하강법은 하기의 수학식 15와 같이 이득(g)에 반비례하고 오프셋에 비례하는 관계에 해당하는 바이어스(b)로 제2 비용함수를 편미분 시키고, 편미분 된 제2 비용함수에 바이어스(b)를 대입하는 경우 나타나는 기울기가 최소의 값을 가지는 기울기가 되도록 바이어스(b)를 갱신하는 방법에도 이용될 수 있다.
Figure 112018071506170-pat00017
다시 도 3을 참조하면, 본 발명의 일 실시 예에 따른 보정계수 갱신부(133)는 제1 및 제2 오차함수로부터 획득된 제1 및 제2 비용함수를 이용하여 영상 출력부(110)에서 출력된 영상 중 n+1번째 프레임에 적용할 제1 및 제2 보정계수를 각각 독립적으로 갱신할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 보정계수 갱신부(133)는 제1 및 제2 오차함수로부터 획득된 제1 및 제2 비용함수를 이용하면서 동시에 가변 학습률을 적용하여 하기의 수학식 16 및 수학식 17과 같이 영상 출력부(110)에서 출력된 영상 중 n+1번째 프레임에 적용할 제1 및 제2 보정계수를 각각 독립적으로 갱신할 수 있다.
Figure 112018071506170-pat00018
Figure 112018071506170-pat00019
하기의 수학식 18은 제1 및 제2 오차함수가 제1 및 제2 보정계수에 갱신하는데 적용되는 비율에 해당하는 학습률(
Figure 112018071506170-pat00020
)을 나타낸 수학식으로, 상술한 학습률은 가변될 수 있다.
Figure 112018071506170-pat00021
상기의 수학식 18에서ΔYmotion은 적외선 센서의 이동량을 나타낸 것이고, σYij는 미리 설정된 임의의 픽셀의 편차를 나타낸 것이고, Kalr는 상수를 나타낸 것이다.
본 발명의 또 다른 일 실시 예에 따른 이동량 검출부(140)는 영상 출력부(110)에서 출력된 영상을 이용하여 상기의 수학식 18에 나타난 적외선 센서부의 이동량(ΔYmotion)을 검출할 수 있다.
상술한 적외선 센서부의 이동량(ΔYmotion)을 검출하는 방법은 하기의 수학식 19 내지 21을 참조하여 설명하도록 한다.
하기의 수학식 19 내지 21은 상술한 적외선 센서의 이동량(ΔYmotion)을 추정하기 위한 수학식으로 수학식 19 및 수학식 20과 같이 연속된 2개의 적외선 영상을 주파수 도메인으로 변경하고, 주파수 도메인으로 변경된 연속된 2개의 적외선 영상으로부터 정규화된 상관 파워 스펙트럼(Normalized Cross-Power Spectrum)을 구한 후, 다시 공간 도메인으로 변경하여, 수학식 21과 같이 상술한 적외선 센서의 이동량(ΔYmotion)을 추정할 수 있다.
Figure 112018071506170-pat00022
Figure 112018071506170-pat00023
Figure 112018071506170-pat00024
따라서, 상기의 수학식 18에 나타난 학습률은 상기의 수학식 21에 나타난 이동량 검출부(140)에서 검출된 이동량(ΔYmotion)에 따라 가변될 수 있다. 따라서, 보정계수 갱신부(133)는 이동량 검출부(140)에서 검출된 이동량(ΔYmotion)을 이용하여 학습률을 변경함으로써 상술한 제1 및 제2 보정계수를 갱신할 수 있고, 이에 따라 적외선 센서의 이동량 예측을 통해 전체적인 학습률을 조정할 수 있다.
구체적으로, 적외선 센서부의 이동량(ΔYmotion)을 학습률에 반영하는 경우 적외선 센서부가 정지 시 제1 보정계수 및 제2 보정계수를 갱신하지 않는 방법으로 잔상 현상을 줄일 수 있고, 또한 반대로 적외선 센서부의 이동량이 많을 때에는 출력 영상 전체적으로 학습률을 증가시켜 수렴속도를 향상시킬 수 있다.
본 발명의 또 다른 일 실시 예에 따른 보정계수 처리부(130)는 에지 검출부(134)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 에지 검출부(134)는 생성된 보정영상을 구성하는 복수 개의 픽셀들로부터 보정영상의 경계부분인 에지에 해당하는 픽셀을 검출할 수 있다. 상술한 에지는 일반적으로 영상에서 나타내는 짧은 범위에서 급격하게 밝기가 변하는 지점을 나타낸다.
보정계수 갱신부(133)는 에지 검출부(134)에서 검출된 에지에 해당하는 픽셀의 출력값을 상기의 수학식 18에 나타난 가변 학습률에 적용하여 제1 및 제2 보정계수를 갱신할 수 있다.
구체적으로, 보정계수 갱신부(133)는 제1 및 제2 보정계수의 갱신 방향성의 정확도가 증가하도록 검출된 에지에 해당하는 픽셀의 가변 학습률을 감소시켜 제1 및 제2 보정계수를 갱신할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 에지 검출부(134)는 하기의 수학식 22를 이용하여 보정영상을 구성하는 복수 개의 픽셀들로부터 보정영상의 경계부분인 에지에 해당하는 픽셀을 검출할 수 있다.
Figure 112018071506170-pat00025
단, 상술한 수학식 22를 이용하여 에지를 검출하는 방법은 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
따라서, 상술한 에지 검출부(134)를 이용하여 제1 및 제2 보정계수를 갱신하는 경우 공간주파수의 구분을 명확히 하여 학습률을 효과적으로 향상시킬 수 있다. 본 명세서에서 공간주파수는 픽셀 출력값의 변화율을 나타내며, 픽셀 출력값의 변화율은 영상에서 픽셀 밝기의 변화 정도를 나타낸다.
즉, 높은 공간주파수를 가지는 보정영상에서 픽셀들은 경계부분에 해당하는 픽셀들로, 이러한 경계부분에 해당하는 픽셀들의 학습률을 감소시킴으로써 제1 및 제2 보정계수 갱신 방향성의 정확도가 향상될 수 있다. 상술한 에지 검출부(134)를 이용하여 제1 및 제2 보정계수를 갱신하는 경우 공간주파수의 구분을 명확히 하여 학습률을 효과적으로 향상되는 결과는 도 6을 함께 참조하여 설명하도록 한다.
도 6은 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법과 종래의 적외선 영상 보정 방법을 학습률에 적용하여 나타난 바이어스 맵을 비교한 결과를 나타낸 것이다.
도 6(a)는 종래의 적외선 영상 보정 방법 중 하나로 지역적 표준편차를 적용한 결과를 학습률에 반영한 바이어스 맵(bias map)을 나타낸 것으로, 도 6(a)에는 영상의 밝고 어두운 형상들이 바이어스 맵에 반영되어 있음을 확인할 수 있다.
도 6(b)는 본 발명의 일 실시 예에 따른 에지 검출 결과를 학습률에 반영한 바이어스 맵을 나타낸 것으로, 도 6(a)와 달리 도 6(b)에는 밝고 어두운 형상 없이 검출기 픽셀들의 불균일한 노이즈 특성만 반영된 것을 확인할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 설명하기 위한 흐름도를 나타낸 것이다.
도 7을 참조하면, 영상 출력부는 객체의 적외선 방사에너지에 반응하는 적외선 센서에 의해 영상을 출력한다(S710). 구체적으로, 영상 출력부는 객체의 적외선 방사에너지에 반응하는 적외선 센서부에 의해 복수 개의 프레임으로 구성된 영상을 출력할 수 있다.
보정영상 생성부는 영상 출력부에서 출력된 복수 개의 프레임으로 구성된 영상 중 제1 프레임에서의 이득을 이용하여 제1 보정계수를 획득하고, 영상 출력부에서 출력된 영상 중 제1 프레임에 획득된 제1 보정계수를 적용하여 보정영상을 생성한다(S720).
본 발명의 일 실시 예에 따른 보정영상 생성부는 영상 출력부에서 출력된 영상 중 제1 프레임에서의 이득을 이용하여 상술한 수학식 3과 같이 이득과 반비례하는 제1 보정계수를 획득할 수 있고, 획득된 제1 보정계수를 영상 출력부에서 출력된 영상 중 제1 프레임에 적용하여 보정영상을 생성할 수 있다. 제1 보정계수를 획득하는 방법 및 획득된 제1 보정계수를 출력된 영상에 적용하여 보정영상을 생성하는 방법에 대해서는 전술하였으므로 자세한 설명은 생략하도록 한다.
보정계수 처리부는 보정영상 생성부에서 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 보정영상의 대표값과의 차이를 이용하여 영상 출력부에서 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 제1 보정계수를 갱신하여 보정계수를 처리한다(S730).
본 발명의 일 실시 예에 따른 보정영상 생성부에서 생성된 보정영상의 대표값은 상술한 수학식 5와 같이 보정영상을 구성하는 복수 개의 픽셀들의 전체적인 편차를 보상하도록 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값일 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 보정영상 생성부에서 생성된 보정영상의 제1 프레임을 구성하는 현재 픽셀의 출력값과 생성된 보정영상의 평균값을 비교하여 상술한 수학식 6 내지 9와 같이 보정영상을 구성하는 현재 픽셀의 출력값과 상술한 보정영상의 평균값과의 편차에 따라 현재 픽셀의 출력값을 미리 설정된 비율만큼 보상할 수 있다. 따라서, 보정계수 처리부는 미리 설정된 비율만큼 보상된 현재 픽셀의 출력값과 보정영상의 평균값의 차이를 이용하여 제1 보정계수를 갱신할 수 있다. 상술한 제1 보정계수를 갱신하는 구체적인 방법에 대해서는 전술하였으므로 자세한 설명은 생략하도록 한다.
따라서, 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법 중 보정영상을 구성하는 현재 픽셀의 출력값과 상술한 보정영상의 평균값과의 편차에 따라 현재 픽셀의 출력값을 미리 설정된 비율만큼 보상하여 제1 보정계수를 갱신하는 경우 잔상(Ghosting) 현상의 최소화가 가능한 효과가 있으며, 히스토그램변화가 적은 적외선 영상의 특성상 이전 프레임의 평균정보를 이용할 수 있기 때문에 종래에 비해 연산 속도가 더욱 빠른 효과가 있다.
또한, 본 발명의 일 실시 예에 따른 적외선 영상 보정 장치는 이동량 검출부를 포함할 수 있으며, 이동량 검출부는 영상 출력부에서 출력된 영상을 이용하여 적외선 센서부의 이동량을 검출할 수 있다. 본 발명의 일 실시 예에 따른 보정계수 처리부는 이동량 검출부에서 검출된 이동량을 함께 이용하여 상술한 제1 보정계수를 갱신할 수 있다. 이동량을 검출하여 제1 보정계수를 갱신하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
도 8은 본 발명의 또 다른 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 설명하기 위한 흐름도를 나타낸 것이다.
도 8을 참조하면, 영상 출력부는 객체의 적외선 방사에너지에 반응하는 적외선 센서에 의해 영상을 출력한다(S810). 보정영상 생성부는 영상 출력부에서 출력된 영상 중 제1 프레임에서의 이득을 이용하여 제1 보정계수를 획득하고, 영상 출력부에서 출력된 영상 중 제1 프레임에서의 이득과 오프셋을 이용하여 제2 보정계수를 획득하고, 출력된 영상 중 제1 프레임에 획득된 제1 및 제2 보정계수를 적용하여 보정영상을 생성한다(S820).
본 발명의 일 실시 예에 따른 보정영상 생성부는 영상 출력부에서 출력된 영상 중 제1 프레임에서의 이득을 이용하여 상술한 수학식 3과 같이 이득과 반비례하는 제1 보정계수를 획득할 수 있고, 또한 영상 출력부에서 출력된 영상 중 제1 프레임에서의 이득 및 오프셋을 이용하여 상술한 수학식 4와 같이 이득과 반비례하고 오프셋과 비례하는 제2 보정계수를 획득할 수 있다.
따라서, 보정영상 생성부는 영상 출력부에서 출력된 영상에 상술한 제1 보정계수에 해당하는 가중치 및 제2 보정계수에 해당하는 바이어스를 적용하여 보정영상을 생성할 수 있다.
제1 오차함수 획득부는 보정영상 생성부에서 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 보정영상의 대표값과의 차이를 나타내는 제1 오차함수를 획득하고(S830), 제2 오차함수 획득부는 보정영상 생성부에서 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 현재 픽셀과 인접한 미리 설정된 픽셀의 출력과의 차이를 나타내는 제2 오차함수를 획득한다(S840).
본 발명의 일 실시 예에 따른 제1 오차함수 획득부는 상술한 수학식 5와 같이 보정영상 생성부에서 생성된 보정영상의 n번째 프레임을 구성하는 현재 픽셀의 출력값(Tij(n))과 보정영상을 구성하는 복수 개의 픽셀들의 출력값들의 평균인 평균값(AVGimage)과의 차이를 나타내는 제1 오차함수를 획득할 수 있다. 따라서, 본 발명의 일 실시 예에 따른 제1 오차함수를 적용하여 제1 보정계수를 갱신하는 방법은 일부 특정 공간 또는 인접 픽셀들의 출력을 기반으로 최적의 가중치에 해당하는 제1 보정계수를 갱신하는 방식이 아닌 전체 신호의 출력 레벨을 이용하여 제1 보정계수를 갱신하기 때문에 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법을 이용하는 경우 국부 최소점 문제에 빠지는 것을 방지하여 비네팅 효과 등의 전체적인 신호 오차를 보정할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 제1 오차함수 획득부는 상술한 수학식 6 내지 9와 같이 보정영상의 현재 픽셀의 출력값(Tij)을 평균값(AVGimage)과 비교하고, 그 편차에 따라 계단식으로 보정영상의 현재 픽셀의 출력값을 수정할 수 있다.
본 발명의 일 실시 예에 따른 제2 오차함수 획득부는 보정영상 생성부에서 생성된 보정영상의 n번째 프레임을 구성하는 현재 픽셀 주변에 인접한 이웃 픽셀들은 같은 적외선 에너지를 받는다는 가정을 이용하여 상술한 수학식 11과 같이 보정영상 생성부에서 생성된 보정영상의 n번째 프레임을 구성하는 현재 픽셀의 출력값인 Tij(n)과 현재 픽셀과 인접한 픽셀의 출력값인
Figure 112018071506170-pat00026
와의 차이로 제2 오차함수를 획득할 수 있다.
보정계수 갱신부는 제1 오차함수 획득부에서 획득된 제1 오차함수를 적용하여 제1 보정계수를 갱신 및 제1 오차함수와 독립적으로 제2 오차함수 획득부에서 획득된 제2 오차함수를 적용하여 제2 보정계수를 갱신한다(S850).
구체적으로, 본 발명의 일 실시 예에 따른 보정계수 갱신부는 제1 오차함수 획득부에서 획득된 상술한 수학식 10에 개시된 제1 오차함수를 적용하여 영상 출력부에서 출력된 영상 중 제1 프레임의 다음 프레임에 해당하는 제2 프레임에 적용할 제1 보정계수를 갱신할 수 있고, 제1 오차함수 획득부에서 획득된 제1 오차함수와 독립적으로 제2 오차함수 획득부에서 획득된 상술한 수학식 11에 개시된 제2 오차함수를 적용하여 영상 출력부에서 출력된 영상 중 제2 프레임에 적용할 제2 보정계수를 갱신할 수 있다.
본 발명의 일 실시 예에 따른 보정계수 갱신부는 제1 및 제2 오차함수 획득부에서 획득된 제1 및 제2 오차함수 각각은 LMS(Least Mean Square error) 알고리즘이 적용하여 상술한 수학식 12 및 13과 같이 제1 및 제2 비용함수로 정의하고 경사 하강법을 이용하여 제1 및 제2 보정계수를 갱신할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 보정계수 갱신부는 제1 및 제2 오차함수로부터 획득된 제1 및 제2 비용함수를 이용하면서 동시에 가변 학습률을 적용하여 상술한 수학식 16 및 수학식 17과 같이 영상 출력부에서 출력된 영상 중 제2 프레임에 적용할 제1 및 제2 보정계수를 각각 독립적으로 갱신할 수 있으며, 학습률은 제1 및 제2 오차함수가 제1 및 제2 보정계수에 갱신하는데 적용되는 비율을 나타내며 가변될 수 있다. 상술한 수학식 18과 같이 학습률은 적외선 센서의 이동량, 미리 설정된 임의의 픽셀의 편차 및 상수로 표현될 수 있다.
본 발명의 또 다른 일 실시 예에 따른 적외선 영상 보정 장치는 이동량 검출부를 포함할 수 있고, 이동량 검출부는 영상 출력부에서 출력된 영상을 이용하여 상술한 수학식 18에 나타난 적외선 센서부의 이동량을 검출할 수 있고, 보정계수 갱신부는 이동량 검출부에서 검출된 이동량을 이용하여 학습률을 변경함으로써 상술한 제1 및 제2 보정계수를 갱신할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 보정계수 처리부는 에지 검출부를 포함할 수 있고, 에지 검출부는 생성된 보정영상을 구성하는 복수 개의 픽셀들로부터 보정영상의 경계부분인 에지에 해당하는 픽셀을 검출할 수 있다. 보정계수 갱신부는 에지 검출부에서 검출된 에지에 해당하는 픽셀의 출력값을 상술한 수학식 18에 나타난 가변 학습률에 적용하여 제1 및 제2 보정계수를 갱신할 수 있다.
도 9는 종래의 적외선 영상 보정 방법과 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용한 경우 나타나는 성능을 비교한 결과를 나타낸 것이다.
도 9(a)는 하기의 수학식 23에 개시된 표준편차를 일반화시킨 척도로서 실제값과 추정값과의 차이를 나타내는 평균 제곱근 오차(Root Mean Square Error RMSE)를 이용하여 종래의 적외선 영상 보정 방법(920)과 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법(910)의 성능을 비교한 결과를 나타낸 것이고, 도 9(b)는 하기의 수학식 24에 개시된 신호가 가질 수 있는 최대 전력에 대한 잡음의 전력을 나타내는 최대 신호 대 잡음비(Peak Signal-to-noise ratio, PSNR)를 이용하여 종래의 적외선 영상 보정 방법(920)과 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법(910)의 성능을 비교한 결과를 나타낸 것이다.
Figure 112018071506170-pat00027
Figure 112018071506170-pat00028
b는 영상의 밝기를 표현하는 디지털 출력값을 나타낸 것이고, x(i, j)는 비교기준이 되는 영상을 나타낸 것이고,
Figure 112018071506170-pat00029
는 비교군 영상을 나타낸다. 비교군 영상으로 종래의 적외선 영상 보정 방법을 적용한 영상과 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법을 적용한 영상을 이용한다.
따라서, 도 9(a) 및 도 9(b)에 나타난 바와 같이 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법(910)을 이용한 경우 종래의 적외선 영상 보정 방법(920)을 이용한 경우보다 수렴속도와 영상품질 측면에서 성능이 상당히 향상된 것을 보여준다.
본 발명의 일 실시 예에 따른 적외선 영상 보정 방법(910)을 이용한 경우 비네팅 현상 및 전체적인 검출기 오프셋을 효과적으로 보정하여 종래의 적외선 영상 보정 방법(920)을 이용한 경우보다 높은 RMSE와 PSNR 결과를 보여준다.
도 9(a) 및 도 9(b)를 참조하면, 약 200 프레임 정도까지는 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법(910)을 이용한 경우 나타나는 영상 품질의 개선정도와 종래의 적외선 영상 보정 방법(920)을 이용한 경우 나타나는 영상 품질의 개선정도는 유사하나, 약 200 프레임 이후 프레임부터는 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법(910)을 이용하는 경우에서는 영상 품질이 급격하게 개선되어 종래의 적외선 영상 보정 방법(920)을 이용하는 경우보다 대략 10dB 높은 PSNR을 보여준다. 또한, 수렴속도는 종래의 적외선 영상 보정 방법을 이용하는 경우보다 약 1.5배(50%) 개선되었음을 확인할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용하여 갱신한 가중치의 출력값 및 종래의 적외선 영상 보정 방법을 이용하여 갱신한 가중치의 출력값을 나타내 것이다.
도 10(a)는 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용하여 갱신한 가중치의 출력값의 형태를 나타낸 것으로, 도 10(a)를 참조하면 영상 전반의 걸쳐있는 불균일한 값들을 보상하는 방향으로 가중치의 출력값의 형태가 형성됨을 확인할 수 있다.
이에 비해 도 10(b)는 종래의 적외선 영상 보정 방법을 이용하여 갱신한 가중치의 출력값의 형태를 나타낸 것으로, 도 10(b)를 참조하면 렌즈의 비네팅 현상이나 검출기 자체의 전체적인 오프셋 값에 의해 생기는 불균일함을 전혀 보상하지 못하는 방향으로 갱신되는 현상을 확인할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용하여 보정된 결과값과 종래의 적외선 영상 보정 방법을 이용하여 보정된 결과값을 비교하기 위한 도면을 나타낸 것이다.
구체적으로, 도 11은 800 프레임에서 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용하여 보정된 결과값과 종래의 적외선 영상 보정 방법을 이용하여 보정된 결과값을 비교하기 위한 도면을 나타낸 것이다.
도 11(a)는 적외선 센서 출력을 선형방적식으로 가정하고 서로 다른 2개의 흑체온도 영상을 활용하여 이득과 오프셋을 구하는 이점 불균일 보정(2 Point NUC)방법을 이용하여 800프레임에서 보정된 영상을 나타낸 것이고, 도 11(b)는 보정되지 않은 영상을 나타낸 것이고, 도 11(c)는 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법을 이용하여 800프레임에서 보정된 영상을 나타낸 것이고, 도 11(d)는 종래의 적외선 영상 보정 방법을 이용하여 800프레임에서 보정된 영상을 나타낸 것이다.
상술한 이점 불균일 보정(2 Point NUC)방법을 이용하는 적외선 영상 보정 방법의 경우에는 적외선 센서 출력을 단순하게 선형방정식으로 가정하였기 때문에, 시스템 운용상에 발생하는 내부 열원이나 주변 환경에 의한 온도변화에 대응하기 어려운 문제점이 있다.
도 11(a) 내지 (d)를 참조하면 본 발명의 일 실시 예에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 이용하는 경우 렌즈 비네팅 효과와 검출기 자체의 오프셋이 상당히 보상되었음을 확인할 수 있으며, 본 발명의 일 실시 예에 따른 적외선 영상 보정 방법을 이용하는 경우 이점 불균일 보정(2 Point NUC)방법을 이용하는 경우보다 적외선 영상 시스템의 운용에 따른 열화 현상 및 적외선 검출기의 성능변화에 능동적으로 대응할 수 있으므로 큰 폭의 성능 변화 없이 항상 일정 수준 이상의 영상 품질을 유지할 수 있는 효과가 있다.
이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 적외선 영상 보정 장치
110: 영상 출력부
120: 보정영상 생성부
130: 보정계수 처리부
140: 이동량 검출부

Claims (13)

  1. 객체의 적외선 방사에너지에 반응하는 적외선 센서부에 의해 영상을 출력하는 영상 출력부;
    상기 출력된 영상 중 제1 프레임에서의 이득과 반비례하는 제1 보정계수를 획득하고, 상기 출력된 영상 중 제1 프레임을 구성하는 픽셀의 출력에 상기 획득된 제1 보정계수를 적용하여 보정영상을 생성하는 보정영상 생성부; 및
    상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 대표값과의 차이를 이용하여 상기 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 상기 제1 보정계수를 갱신하는 보정계수 처리부;를 포함하고,
    상기 보정계수 처리부는,
    상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 대표값과의 차이를 나타내는 제1 오차함수를 획득하는 제1 오차함수 획득부; 및
    상기 획득된 제1 오차함수를 적용하여 상기 제1 보정계수를 갱신하는 보정계수 갱신부;를 포함하며,
    상기 생성된 보정영상의 대표값은 상기 보정영상을 구성하는 전체 픽셀들의 출력값들의 평균인 상기 생성된 보정영상의 평균값이고,
    상기 제1 오차함수 획득부는,
    상기 생성된 보정영상의 평균값의 크기를 단계적으로 변화시키면서 상기 단계적으로 크기가 변화된 보정영상의 평균값과 상기 현재 픽셀의 출력값을 비교하여, 상기 단계적으로 크기가 변화된 보정영상의 평균값에 따라 상기 현재 픽셀의 출력값을 미리 설정된 비율만큼 보상하고, 상기 미리 설정된 비율만큼 보상된 현재 픽셀의 출력값과 상기 생성된 보정영상의 평균값의 차이로부터 상기 제1 오차함수를 획득하고,
    상기 보정계수 갱신부는 상기 획득된 제1 오차함수를 적용하여 상기 보정영상을 구성하는 미리 설정된 비율만큼 보상된 현재 픽셀의 위치에 따른 출력값이 상기 생성된 보정영상의 평균값이 되도록 조정하는 방향으로 상기 제1 보정계수를 갱신하는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 장치.
  2. 제1항에 있어서,
    상기 보정영상 생성부는 상기 출력된 영상 중 제1 프레임에서의 이득과 반비례하고 오프셋과 비례하는 제2 보정계수를 더 획득하고, 상기 출력된 영상 중 제1 프레임을 구성하는 픽셀의 출력에 상기 제1 및 제2 보정계수를 적용하여 보정영상을 생성하는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 장치.
  3. 제2항에 있어서,
    상기 보정계수 처리부는,
    상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 현재 픽셀과 인접한 미리 설정된 픽셀의 출력값과의 차이를 나타내는 제2 오차함수를 획득하는 제2 오차함수 획득부;를 더 포함하고,
    상기 보정계수 갱신부는 상기 획득된 제1 오차함수와 독립적으로 상기 제2 오차함수를 적용하여 상기 제2 보정계수를 갱신하는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 장치.
  4. 제3항에 있어서,
    상기 보정계수 처리부는,
    상기 생성된 보정영상을 구성하는 복수 개의 픽셀들로부터 상기 보정영상의 경계부분인 에지에 해당하는 픽셀을 검출하는 에지 검출부;를 더 포함하고,
    상기 보정계수 갱신부는 상기 검출된 에지에 해당하는 픽셀의 출력값을 적용하여 상기 제1 및 제2 보정계수를 갱신하는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 장치.
  5. 제4항에 있어서,
    상기 보정계수 갱신부는 상기 제1 및 제2 보정계수의 갱신 방향성의 정확도가 증가하도록 상기 검출된 에지에 해당하는 픽셀의 학습률을 감소시켜 상기 제1 및 제2 보정계수를 갱신하고,
    상기 학습률은 상기 제1 및 제2 오차함수가 상기 제1 및 제2 보정계수에 갱신하는데 적용되는 비율을 나타내는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 장치.
  6. 제3항에 있어서,
    상기 출력된 영상을 이용하여 상기 적외선 센서부의 이동량을 검출하는 이동량 검출부;를 더 포함하고,
    상기 보정계수 갱신부는 상기 검출된 이동량을 상기 제1 및 제2 오차함수에 각각 적용하여 상기 제1 및 제2 보정계수를 갱신하는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 장치.
  7. 삭제
  8. 삭제
  9. 객체의 적외선 방사에너지에 반응하는 적외선 센서에 의해 영상을 출력하는 단계;
    상기 출력된 영상 중 제1 프레임에서의 이득과 반비례하는 제1 보정계수를 획득하고, 상기 출력된 영상 중 제1 프레임을 구성하는 픽셀의 출력에 상기 획득된 제1 보정계수를 적용하여 보정영상을 생성하는 단계; 및
    상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 대표값과의 차이를 이용하여 상기 출력된 영상 중 제2 프레임에서의 오차가 줄어드는 방향으로 상기 제1 보정계수를 갱신하여 보정계수를 처리하는 단계;를 포함하고,
    상기 보정계수를 처리하는 단계는,
    상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 생성된 보정영상의 대표값과의 차이를 나타내는 제1 오차함수를 획득하는 단계; 및
    상기 획득된 제1 오차함수를 적용하여 상기 제1 보정계수를 갱신하는 단계;를 포함하며,
    상기 생성된 보정영상의 대표값은 상기 보정영상을 구성하는 전체 픽셀들의 출력값들의 평균인 상기 생성된 보정영상의 평균값이고,
    상기 제1 오차함수 획득하는 단계는,
    상기 생성된 보정영상의 평균값의 크기를 단계적으로 변화시키면서 상기 단계적으로 크기가 변화된 보정영상의 평균값과 상기 현재 픽셀의 출력값을 비교하여, 상기 단계적으로 크기가 변화된 보정영상의 평균값에 따라 상기 현재 픽셀의 출력값을 미리 설정된 비율만큼 보상하고, 상기 미리 설정된 비율만큼 보상된 현재 픽셀의 출력값과 상기 생성된 보정영상의 평균값의 차이로부터 상기 제1 오차함수를 획득하고,
    상기 제1 보정계수를 갱신하는 단계는 상기 획득된 제1 오차함수를 적용하여 상기 보정영상을 구성하는 미리 설정된 비율만큼 보상된 현재 픽셀의 위치에 따른 출력값이 상기 생성된 보정영상의 평균값이 되도록 조정하는 방향으로 상기 제1 보정계수를 갱신하는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 방법.
  10. 제9항에 있어서,
    상기 보정영상을 생성하는 단계는,
    상기 출력된 영상 중 제1 프레임에서의 이득과 반비례하고 오프셋과 비례하는 제2 보정계수를 더 획득하고, 상기 출력된 영상 중 제1 프레임을 구성하는 픽셀의 출력에 상기 제1 및 제2 보정계수를 적용하여 보정영상을 생성하며,
    상기 보정계수를 처리하는 단계는,
    상기 생성된 보정영상을 구성하는 현재 픽셀의 출력값과 상기 현재 픽셀과 인접한 미리 설정된 픽셀의 출력과의 차이를 나타내는 제2 오차함수를 획득하는 단계; 및
    상기 획득된 제1 오차함수와 독립적으로 상기 제2 오차함수를 적용하여 상기 제2 보정계수를 갱신하는 단계;를 더 포함하는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 방법.
  11. 제10항에 있어서,
    상기 보정계수를 처리하는 단계는,
    상기 생성된 보정영상을 구성하는 복수 개의 픽셀들로부터 상기 보정영상의 경계부분인 에지에 해당하는 픽셀을 검출하는 단계;를 더 포함하고,
    상기 제1 및 제2 보정계수를 갱신하는 단계는 상기 검출된 에지에 해당하는 픽셀의 출력값을 적용하여 상기 제1 및 제2 보정계수를 갱신하는 것을 특징으로 하는 신경망 구조를 이용한 적외선 영상 보정 방법.
  12. 삭제
  13. 컴퓨터에서 제9항 내지 제11항 중 어느 한 항에 따른 신경망 구조를 이용한 적외선 영상 보정 방법을 실행시키기 위한 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램.
KR1020180084136A 2018-07-19 2018-07-19 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법 KR101955498B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180084136A KR101955498B1 (ko) 2018-07-19 2018-07-19 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180084136A KR101955498B1 (ko) 2018-07-19 2018-07-19 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101955498B1 true KR101955498B1 (ko) 2019-03-08

Family

ID=65801233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180084136A KR101955498B1 (ko) 2018-07-19 2018-07-19 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101955498B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111272290A (zh) * 2020-03-13 2020-06-12 西北工业大学 基于深度神经网络的测温红外热像仪标定方法及装置
KR102180571B1 (ko) * 2019-06-28 2020-11-18 엘아이지넥스원 주식회사 셔터의 위치 변경 및 비균일 보정 알고리즘을 개선한 영상 시스템
KR20200139491A (ko) * 2019-06-04 2020-12-14 사회복지법인 삼성생명공익재단 의료영상 처리 방법
KR102221096B1 (ko) * 2020-09-23 2021-02-26 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템
KR20210045839A (ko) * 2019-10-17 2021-04-27 국방과학연구소 딥러닝 뉴럴 네트워크를 이용한 장면 기반 불균일보정 방법 및 장치
KR102343348B1 (ko) * 2021-07-29 2021-12-24 국방과학연구소 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
KR20220053936A (ko) * 2020-10-23 2022-05-02 엘아이지넥스원 주식회사 영상센서 모사방법
WO2023113295A1 (ko) * 2021-12-16 2023-06-22 주식회사 씨에스리 모델 갱신 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073361A (ko) * 2000-01-14 2001-08-01 최동환 열상장비의 영상 불균일 보정 방법 및 장치
KR101418110B1 (ko) * 2014-02-06 2014-08-06 엘아이지넥스원 주식회사 적외선 영상 보정 방법
KR20150125609A (ko) * 2014-04-30 2015-11-09 율리스 비-균일성 정정을 위한 적외선 이미지 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073361A (ko) * 2000-01-14 2001-08-01 최동환 열상장비의 영상 불균일 보정 방법 및 장치
KR100345441B1 (ko) 2000-01-14 2002-07-26 국방과학연구소 열상장비의 영상 불균일 보정 방법 및 장치
KR101418110B1 (ko) * 2014-02-06 2014-08-06 엘아이지넥스원 주식회사 적외선 영상 보정 방법
KR20150125609A (ko) * 2014-04-30 2015-11-09 율리스 비-균일성 정정을 위한 적외선 이미지 처리 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139491A (ko) * 2019-06-04 2020-12-14 사회복지법인 삼성생명공익재단 의료영상 처리 방법
KR102254365B1 (ko) * 2019-06-04 2021-05-21 사회복지법인 삼성생명공익재단 의료영상 처리 방법
KR102180571B1 (ko) * 2019-06-28 2020-11-18 엘아이지넥스원 주식회사 셔터의 위치 변경 및 비균일 보정 알고리즘을 개선한 영상 시스템
KR20210045839A (ko) * 2019-10-17 2021-04-27 국방과학연구소 딥러닝 뉴럴 네트워크를 이용한 장면 기반 불균일보정 방법 및 장치
KR102340318B1 (ko) * 2019-10-17 2021-12-16 국방과학연구소 딥러닝 뉴럴 네트워크를 이용한 장면 기반 불균일보정 방법 및 장치
CN111272290A (zh) * 2020-03-13 2020-06-12 西北工业大学 基于深度神经网络的测温红外热像仪标定方法及装置
KR102221096B1 (ko) * 2020-09-23 2021-02-26 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템
KR20220053936A (ko) * 2020-10-23 2022-05-02 엘아이지넥스원 주식회사 영상센서 모사방법
KR102507277B1 (ko) * 2020-10-23 2023-03-07 엘아이지넥스원 주식회사 영상센서 모사방법
KR102343348B1 (ko) * 2021-07-29 2021-12-24 국방과학연구소 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
WO2023113295A1 (ko) * 2021-12-16 2023-06-22 주식회사 씨에스리 모델 갱신 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101955498B1 (ko) 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
US9124811B2 (en) Apparatus and method for processing image by wide dynamic range process
US9787911B2 (en) Systems and methods for photometric normalization in array cameras
CN108426640B (zh) 一种针对红外探测器缺损像元的校正方法
US6330371B1 (en) Adaptive non-uniformity compensation using feedforward shunting and min-mean filter
US8203116B2 (en) Scene based non-uniformity correction for infrared detector arrays
KR101827810B1 (ko) 보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라
US20100329583A1 (en) Non-uniformity error correction with a bilateral filter
US9838625B2 (en) Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal
JP6562770B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US20120314106A1 (en) Image processing device, image processing method, and solid-state imaging device
US9961255B2 (en) Image capturing apparatus, control method thereof, and storage medium
US7187808B2 (en) Method and apparatus for enhancing digital image quality
Li et al. Interior radiation noise reduction method based on multiframe processing in infrared focal plane arrays imaging system
CN111932478A (zh) 一种非制冷红外焦平面的自适应非均匀校正方法
RU2688616C1 (ru) Способ компенсации геометрического шума инфракрасных изображений
CN115002360A (zh) 一种基于稳健估计的红外视频非均匀性校正方法
Zhou et al. Local spatial correlation-based stripe non-uniformity correction algorithm for single infrared images
CN114184284A (zh) 一种用于纵向扫描红外热像仪的实时场景校正方法及系统
KR102013206B1 (ko) 보정 데이터의 생성 방법 및 이를 이용한 적외선 영상 처리 방법
KR101470001B1 (ko) 역광 보정 기능을 갖는 카메라 모듈 및 그 방법
KR102180571B1 (ko) 셔터의 위치 변경 및 비균일 보정 알고리즘을 개선한 영상 시스템
Wang et al. An enhanced non-uniformity correction algorithm for IRFPA based on neural network
US11721004B2 (en) Thermal camera and method of processing thermal image thereof
KR102568149B1 (ko) 영상 불균일 보정 시스템 및 영상 불균일 보정 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant