KR20150098567A - 열상 카메라의 불량화소 검출 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따르면, 열상 카메라의 불량화소 검출 방법으로서, 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계; 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계; 상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계; 상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및 상기 제1 프레임과 제2 프레임 사이의 화소의 평균 기울기와 상기 각 화소의 기울기를 비교하여 불량화소를 1차 판단하는 단계;를 포함하는 열상 카메라의 불량화소 검출 방법이 제공된다.

Description

열상 카메라의 불량화소 검출 방법 및 장치 {Method and apparatus for detecting faulty pixel in thermal camera}

본 발명은 열상 카메라에 관한 것으로서, 좀 더 구체적으로는 열상 카메라의 불량화소 검출 방법 및 장치에 관한 것이다.

열상 카메라(thermal imaging camera)는 적외선 카메라라고도 불리는 것으로서, 적외선을 감지하여 형성된 영상을 출력하도록 구성된다. 빛이 없는 상황에서도 가시 광선이 아닌 물체의 자체 방출되는 적외선을 감지하여 영상을 생성하기 때문에, 어두운 환경이나 안개 낀 곳에서 또는 특정 온도를 검출하는 데에 있어서 매우 유용하게 이용된다.

열상 카메라에는 적외선 센서 내지는 적외선 탐지기가 어레이(infrared sensor array) 형태로 배열되어 있으며, 열상 카메라는 각각의 적외선 탐지기를 통해 얻어진 물체의 온도에 의해 영상을 생성한다.

열상 카메라의 광학 렌즈를 통해 입사된 적외선은 각각의 화소에 할당된 적외선 탐지기에 직접 입사되는데, 이때 각 적외선 탐지기는 입사된 적외선 에너지에 반응하여 변화하는 저항값을 측정함으로써 적외선 에너지를 전기적인 신호로 변환한다. 이 때, 적외선 검출기의 각각의 화소는 같은 적외선 에너지에 대해서 같은 전기적인 신호를 출력해야 하지만 모든 화소들이 다른 특성을 보인다.

적외선 검출기의 모든 화소들이 동일한 특성을 나타내도록 각각의 화소들에 대해서 이득 값과 옵셋을 조절해 주는 방법이 불균일 보상(Non-uniformity correction)이다.

그런데 불균일 보상을 적용했는데도 전기적인 신호 출력이 동일하게 나타나지 않고 반응이 높거나 낮아지는 특성을 보이는 화소가 존재하는데 이러한 화소들은 적외선 검출기에 처음부터 존재하는 고정성 불량 화소들이다.

그리고 적외선 검출기가 시간이 지날수록 화소들의 전기적인 특성이 바뀌어 불량 화소로 나타나는 경우는 진행성 불량 화소들이다. 진행성 불량 화소가 발생하면 영상의 품질이 나빠질 수 있으며, 불량 화소를 다른 물체로 잘못 판별할 수도 있다.

기존에는 진행성 불량화소가 발생하면 열상 카메라 보정 센터에 카메라를 보내서 그곳에서 불량 화소 보정 작업을 하였기 때문에 보정을 하기 위한 시간과 인력이 소비되었다. 예컨대 한국 공개특허공보 제2003-0065141호가 진행성 불량화소를 검출하고 보정하는 방법을 개시하고 있는데, 온도값(T1,T2)을 미리 알고 있는 대상물을 촬영한 프레임을 이용하여 이득(게인)과 편차(옵셋)를 구하고 이로부터 진행성 불량화소를 검출한다. 그러나 이 종래기술의 경우 대상물의 온도를 미리 알고 있어야 하므로, 정확한 온도로 제어가능한 흑체(black body)를 구비한 보정 센터 등에서만 이러한 작업을 수행할 수 있었다.

한국 공개특허공보 제2003-0065141호 (2003년 8월 6일 공개)

본 발명의 목적은 사용자가 열상 카메라를 사용하는 중에 열상 카메라가 자동적으로 진행성 불량화소를 검출하고 보정할 수 있는 열상 카메라의 불량 화소 자동 보정 장치 및 방법을 제공하는 데 있다.

본 발명의 일 실시예에 따르면, 열상 카메라의 불량화소 검출 방법으로서, 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계; 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계; 상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계; 상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및 상기 제1 프레임과 제2 프레임 사이의 화소의 평균 기울기와 상기 각 화소의 기울기를 비교하여 불량화소를 1차 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법이 제공된다.

본 발명의 일 실시예에 따르면, 열상 카메라의 불량화소 검출 방법으로서, 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계; 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계; 상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계; 상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및 산출된 상기 각 화소의 기울기를 불균일 보정(NUC) 게인 테이블과 비교하여 불량화소를 1차 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법이 제공된다.

본 발명의 일 실시예에 따르면, 열상 카메라에 있어서, 피사체에서 발산되는 적외선을 검출하여 전기적 신호로 출력하는 검출소자 어레이; 상기 전기적 신호의 출력값을 디지털 신호로 변환하는 아날로그-디지털 컨버터; 상기 디지털 신호의 출력값을 이용하여 상기 검출소자 어레이의 화소 중 불량화소를 검출하고 보정하는 불량화소 처리부; 및 상기 디지털 신호의 출력값을 불균일 보정(NUC)하는 불균일 보정부;를 포함하고, 이 때 상기 불량화소 처리부가 상술한 불량화소 검출 방법을 실행할 수 있는 것을 특징으로 하는 열상 카메라가 제공된다.

본 발명의 일 실시예에 따른 열상 카메라의 불량화소 자동 보정 장치 및 방법에 의하면, 사용자가 열상 카메라를 사용하는 중에 열상 카메라가 진행성 불량화소를 자동으로 판단하고 보정할 수 있으므로, 수리를 위해 보정 센터에 맡김으로 인한 번거로움이나 시간과 비용 소비를 방지할 수 있는 이점이 있다.

도1은 본 발명의 일 실시예에 따른 불량화소 보정 장치를 구비한 예시적인 열상 카메라의 블록도,
도2는 일 실시예에 따른 열상 카메라의 엔진코어의 블록도,
도3은 제1 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도,
도4는 제1 프레임 생성 단계를 설명하기 위한 흐름도,
도5는 제2 프레임 생성 단계를 설명하기 위한 도면;
도6은 프레임 화소들의 출력값 분포를 설명하기 위한 도면,
도7은 화소의 기울기를 산출하는 방법을 설명하기 위한 도면,
도8은 제2 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도,
도9는 제3 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도,
도10은 제4 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소의 "위"(또는 "아래", "오른쪽", 또는 "왼쪽")에 있다고 언급되는 경우에 그것은 다른 구성요소의 위(또는 아래, 오른쪽, 또는 왼쪽)에 직접 위치될 수 있거나 또는 그들 사이에 제3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.

또한 본 명세서에서 구성요소간의 위치 관계를 설명하기 위해 사용되는 '상부(위)', '하부(아래)', '좌측', '우측', '전면', '후면' 등의 표현은 절대적 기준으로서의 방향이나 위치를 의미하지 않으며, 각 도면을 참조하여 본 발명을 설명할 때 해당 도면을 기준으로 설명의 편의를 위해 사용되는 상대적 표현이다.

본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예를 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.

도1은 본 발명의 일 실시예에 따른 불량화소 보정 장치를 구비한 예시적인 열상 카메라의 블록도이다.

열상 카메라(100)는 사용자 등의 피사체의 적외선 영상을 촬영하는 장치로서, 피사체에서 방사되는 적외선 에너지를 검출하여 이를 전기신호로 변환하고, 이 전기신호를 디지털 신호인 온도 데이터로 변환할 수 있다.

도면을 참조하면, 일 실시예에 따른 열상 카메라(100)는 렌즈(10), 셔터(20), 검출소자 어레이(FPA)(30), 아날로그-디지털(A/D) 컨버터(40), 엔진코어(50), 영상처리부(60), 디스플레이(70), 셔터 제어부(80), 및 온도센서(90)를 포함할 수 있다.

렌즈(10)는 피사체로부터 방사되는 적외선을 통과시키는 적외선 렌즈이다. 검출소자 어레이(30)는 적외선 렌즈(10)로 입사된 적외선을 검출하여 전기적 신호로 변환하는 소자이다. 일 실시예에서 검출소자 어레이(30)는 예컨대 다수의 픽셀(화소)이 2차원 배열로 구성된 초점면 배열(FPA: Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다.

셔터(20)는 일반 실상 카메라의 셔터와 유사한 구조를 갖는 것으로, 렌즈(10)를 통과하여 검출소자 어레이(30)에 입사하는 적외선을 차단하는 역할을 한다. 특히 본 발명의 실시예에서 온도 데이터의 불균일 보정(NUC)에 사용되는 옵셋 테이블을 업데이트하거나 진행성 불량화소를 검출하고 보정하기 위한 목적으로 검출소자 어레이(13)에 입사되는 적외선을 차단하기 위해 셔터(20)가 사용된다. 도시한 실시예에서 셔터(30)가 렌즈(10)와 검출소자 어레이(30) 사이에 배치되지만, 대안적 실시예에서 셔터(20)가 예컨대 렌즈(10)의 앞부분에 배치될 수도 있다.

A/D 컨버터(40)는 검출소자 어레이(30)에서 출력된 전기적 신호의 출력값을 디지털 신호로 변환하고, 이렇게 디지털 신호로 변환된 출력값은 엔진코어(50)에 전달된다.

엔진코어(50)는 수신한 디지털 신호를 보정하고 열상 데이터로 변환할 수 있다. 구체적으로, 엔진 코어(50)는 검출소자 어레이(30)에서 출력되어 A/D 컨버터(40)에서 디지털로 변환된 출력 데이터에 대해 불균일 보정(NUC) 및/또는 불량화소 처리 등의 보정 처리를 수행하고, 보정처리된 데이터를 열영상(thermal image: 이하에서 "열상"이라 함) 데이터로 변환하여 출력한다.

엔진코어(50)는 불균일 보정이나 불량화소 처리를 위해, 셔터(20)의 동작을 제어하는 셔터 제어부(80)에 필요에 따라 제어신호를 보낼 수 있고, 셔터 제어부(80)는 이러한 제어신호에 따라 셔터(20)의 개폐동작을 제어할 수 있다.

영상신호 처리부(60)는 엔진 코어(50)에서 출력되는 열상 데이터를 분석하고 처리한다. 예를 들어 영상신호 처리부(60)는 열 영상의 영상개선(예컨대, 화질향상, 콘트라스트 개선 등)이나 특정 픽셀에 대한 온도 검출 및 그에 따른 응용처리 등을 수행할 수 있다.

디스플레이 장치(70)는 영상신호 처리부(60)에서 출력되는 데이터를 사용자에게 디스플레이한다. 일 실시예에서 디스플레이 장치(70)는 예컨대 LCD 디스플레이로 구현될 수 있으나 여기에 한정되지 않는다.

온도센서(90)는 열상 카메라(100)의 내부에 또는 외부에 설치되어 열상 카메라 내부의 온도 또는 외부의 주변온도를 센싱한다. 일 실시예에서, 온도센서(90)가 감지한 온도 정보가 엔진코어(50)에 전달되고, 엔진코어(50)는 이 온도 정보에 기초하여 불량화소 동작 여부를 판단할 수 있다.

도2는 일 실시예에 따른 열상 카메라의 엔진코어(50)의 블록도이다.

일 실시예에서 엔진 코어(50)는 프레임 생성부(510), 불량화소 처리부(520), 불균일 보정부(530), 열상데이터 변환부(540), 및 데이터 저장부(550)를 포함할 수 있다.

프레임 생성부(510)는 A/D 컨버터(40)로부터 수신한 디지털 신호를 이미지 프레임 단위로 생성하는 역할을 한다. 여기서 '프레임'은 한 시점에서의 피사체의 적외선 이미지를 의미한다. 일 실시예에서 검출소자 어레이(30)의 각 픽셀마다 수신한 적외선에 따라 각 픽셀이 전기적 신호를 생성하여 이를 출력하고, 프레임 생성부(510)는 이러한 각 픽셀마다의 (디지털 변환된) 전기적 신호를 프레임 단위로 생성하여 처리한다. 생성된 프레임은 일단 데이터 저장부(550)에 저장된 후 불량화소 처리부(520)나 불균일 보정부(530) 등에서 처리될 수 있다.

대안적 실시예에서, 프레임 생성부(510)는 다수의 프레임을 평균하여 하나의 가상의 프레임을 생성할 수도 있다. 열상 카메라(100)가 예컨대 일정 온도의 피사체를 촬영할 때, 이 특정 온도에서 피사체를 한번만 촬영하지 않고 여러 번 촬영하여 복수개의 프레임을 생성한 후, 이들 프레임을 평균하여 하나의 가상의 프레임을 형성할 수 있다. 일반적으로 동일 온도에서 촬영한 경우에도 각 프레임마다 온도값이 조금씩 변할 수 있기 때문에, 이와 같이 평균한 가상의 프레임은 해당 온도에 대한 보다 정확한 온도값을 나타낼 수 있다.

불량화소 처리부(520)는 검출소자 어레이(30)의 화소 중 불량화소를 검출하고 보정한다. 본 발명의 실시예에 따른 불량화소 검출 방법에 대해서는 도3 내지 도9를 참조하여 후술하기로 한다.

불균일 보정부(530)는 각각의 프레임에 대해 기설정된 불균일 보정(NUC) 테이블을 참조하여 각 픽셀이 출력한 온도 데이터 값을 보정한다. 일 실시예에서 NUC 테이블은 열상 카메라(100)의 제작시 미리 만들어져 예컨대 데이터 저장부(550)에 저장되어 있다. NUC 테이블은 각 픽셀(화소)마다의 게인(이득) 보정값과 옵셋 보정값을 포함한다. NUC 테이블은 열상 카메라의 출고후 사용자에 의해 사용되는 도중에 업데이트될 수 있다. 일 실시예에서 열상 카메라(100)는 NUC 테이블을 업데이트하더라도 최초 출고시 NUC 테이블에 덮어쓰기 하지 않고 최초 NUC 테이블을 데이터 저장부(550)에 저장하여 둔다.

열상데이터 변환부(540)는 불량화소 처리부(520)와 불균일 보정부(530) 등에서 처리된 프레임의 데이터를 각 온도 대역에 따라 매칭된 색으로 변환하여 열상 데이터를 생성한다. 예를 들어 열상데이터 변환부(540)는 온도 데이터의 각 온도값에 매칭된 RGB 값을 적용하여 열 영상을 생성한다. 이에 따라, 예컨대 높은 온도를 빨간색 계열로 표시하고 낮은 온도를 파란색 계열로 표시한 컬러 열영상을 생성하거나 또는 높은 온도를 흰색에 가깝게 표시하고 낮은 온도를 검은 색에 가깝게 표시하는 흑백 열영상을 생성할 수 있다.

도3은 제1 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다.

도면을 참조하면, 열상 카메라(100)는 기설정된 시간 주기에 기초하여 불량화소 검출을 위한 열영상을 촬영할지를 판단하고, 열영상을 촬영하기로 판단하면 열상 카메라의 셔터(20)를 닫고 촬영하여 열영상의 제1 프레임을 생성한다(S110).

그 후 열상 카메라(100)는 온도센서(90)가 측정한 주변온도에 기초하여 불량화소 검출을 위한 열영상을 촬영할지를 다시 판단하고, 열영상을 촬영하기로 판단하면 셔터(20)를 닫고 촬영하여 열영상의 제2 프레임을 생성한다(S120).

이 때 열영상의 제1 프레임을 생성할지 판단하고 생성하는 단계(S110)는 도4에 도시한 구체적 단계를 포함할 수 있고, 제2 프레임을 생성할지 판단하고 생성하는 단계(S120)는 도5에 도시한 구체적 단계를 포함할 수 있다.

우선 도3의 단계(S110)에 대해 도4를 참조하면, 단계(S111)에서, 불량화소 처리부(520)는 기설정된 소정 시간주기가 경과하였는지 판단한다. 소정 시간주기를 고려하는 것은 불량화소 검출 동작이 너무 자주 수행되는 것을 방지하기 위한 것으로, 여기서 '소정 시간주기'는 예컨대 수일, 수십일, 또는 수개월 등 필요에 따라 설정될 수 있다. 이 시간주기는 사용자에 의해 변경될 수 있다.

단계(S111)에서 소정 시간주기가 경과하였다고 판단하면, 단계(S112)로 진행하여, 불량화소 처리부(520)는 셔터 제어부(80)를 제어하여 셔터(20)를 닫고 촬영하여 제1 프레임을 생성하고, 제1 프레임 생성시 온도센서(90)가 측정한 주변온도를 기준온도로 설정한다(S113). 단계(S112)와 단계(S113)는 실행 순서가 바뀌어도 되고 동시에 실행되어도 무방하다.

다음으로, 도3의 단계(S120)에 대해 도5를 참조하면, 엔진코어(50)의 불량화소 처리부(520)가 온도센서(90)가 감지한 주변온도를 지속적으로(소정 시간 간격마다) 모니터링 하면서 주변온도와 상기 기준온도의 온도 차이가 소정값 이상인지를 판단한다(S121).

이 때 '주변온도'는 온도센서(90)가 측정한 온도를 의미하며, 예컨대 온도센서(90)가 열상 카메라(100)의 외부의 설치된 경우 카메라 외부의 온도가 주변온도가 될 수 있고, 다른 예로서 온도센서(90)가 열상 카메라 내부에 장착된 경우 카메라 내부의 온도가 주변온도가 될 수 있다.

또한 '기준온도'는 제1 프레임을 생성할 때 설정했던 기준온도, 즉 도4의 단계(S113)에서 설정되었던 주변온도가 될 수 있다. 따라서 단계(S121)에서 주변온도와 기준온도를 비교한다는 것은, 제1 프레임 생성시의 주변온도와 제2 프레임을 생성하려고 하는 현재의 주변온도를 비교하는 것을 의미한다.

주변온도와 기준온도의 온도차가 소정값 이상인지 판단할 때의 '소정값'은 예컨대 5도 또는 10도 등으로 설정될 수 있고 구체적 실시 형태에 따라 달라질 수 있다. 또한 사용자가 임의로 상기 '소정값'을 설정하거나 변경할 수도 있다.

단계(S121)에서 주변온도와 기준온도를 비교하여 그 차이가 소정값 이상인 경우(즉 현재 주변온도가 기준온도보다 소정값 이상 높거나 낮은 경우), 단계(S122)로 진행하여, 불량화소 처리부(520)가 셔터 제어부(80)를 제어하여 셔터(20)를 닫고 촬영하여 제2 프레임을 생성한다. 그 후 단계(S123)에서, 상기 소정 시간주기를 0에서부터 다시 카운트를 개시할 수 있다. 대안적으로, 이 단계(S123)는 불량화소 검출 및 보정을 모두 완료된 후에(예컨대 단계(S160 이후에) 실행될 수도 있다.

다시 도3을 참조하면, 단계(S110, S120)에서 각각 제1 프레임과 제2 프레임을 생성한 뒤, 단계(S130)에서, 제1 프레임과 제2 프레임을 생성할 때의 각각의 셔터의 온도를 산출한다. 일 실시예에서, 이러한 셔터의 온도는 해당 프레임의 온도 출력값으로부터 얻을 수 있다.

제1 프레임과 제2 프레임 각각은 셔터(20)를 닫고 촬영했을 때의 영상이므로 각 프레임은 실제로 해당 프레임을 촬영할 때의 셔터(20)의 온도값을 나타낼 것이다. 예를 들어 제1 프레임과 제2 프레임의 각각은 예컨대 도6에 도시한 것과 같은 출력값 분포를 가진다.

도6은 프레임 화소들의 출력값에 따른 분포를 예시한 그래프로서, X축은 프레임의 각 화소가 출력하는 출력값이고 Y축은 각 출력값을 갖는 화소의 개수를 의미한다. 화소의 출력값은 피사체의 온도와 비례한다. 즉 온도가 높은 물체일수록 화소의 출력값이 높고 온도가 낮을수록 화소의 출력값이 낮다. 단계(S110)에서 생성된 제1 프레임은 전체적으로 균일한 온도의 셔터(20)를 촬영하였으므로, 이상적으로는 모든 화소가 동일한 출력값을 나타내는 것이 바람직하지만, 각 화소마다 오차가 있고 불량화소도 존재하기 때문에 도6과 같은 분포를 나타낸다. 마찬가지로 제2 프레임도 도6과 유사한 분포를 가질 것이다. 다만 이때 각 프레임은 도6과 같이 평균을 중심으로 완전히 대칭되는 것은 아니고, 각 프레임마다 각기 다양한 형태의 분포를 나타낼 것이다.

일 실시예에 따르면, 단계(S130)에서 이러한 화소의 분포 형태를 감안하여 각 프레임의 화소 출력값으로부터 셔터(20)의 온도를 산출한다.

일 실시예에서, 불량화소 및 화소들간의 오차를 감안하여, 전체 화소들의 출력값들 중 상위 k개의 출력값을 갖는 k개의 화소와 하위 k개의 출력값을 갖는 k개의 화소들을 제외한 나머지 화소들을 이용한다. 즉 프레임의 전체 화소 개수를 N개라고 하면, (N-2k)개의 화소들에 대해 이들의 출력값의 평균을 구하여 이 평균값을 이 프레임의 생성시의 셔터(20)의 온도로 정한다. 이 때 k값은 예를 들어 전체 화소수(N)의 대략 5~10%가 되는 화소수로 설정할 수 있으나, 구체적 실시 형태에 따라 달라질 수 있음은 물론이다.

단계(S130)에서 위와 같은 예시적인 방법에 따라 각 프레임의 생성시의 셔터(20)의 온도를 산출할 수 있고, 이에 따라 산출된 제1 프레임 생성시의 셔터 온도를 T1이라 하고 제2 프레임 생성시의 셔터 온도를 T2라고 가정한다.

그 후 단계(S140)에서 각 화소의 제1 온도(T1)와 제2 온도(T2) 사이의 기울기를 산출한다. 각 화소에 대해, 제1 프레임 생성시의 온도(T1)에서의 출력값과 제2 프레임 생성시의 온도(T2)에서의 출력값 사이의 기울기(즉, (T2시의 출력값-T1시의 출력값)/(T2-T1))를 구한다.

다음으로 단계(S150)에서, 제1 프레임과 제2 프레임 사이의 화소들의 평균 기울기를 산출한다. 이와 관련하여 도7은 화소의 기울기를 산출하는 방법을 그래프로서 나타내고 있다. 도7에서 X축은 온도이고 Y축은 출력값이다. 제1 프레임 생성시의 온도(T1)에서 제1 프레임의 각 화소들은 도시한 것처럼 T1상에서 출력값에 따라 분포될 것이다. 그리고 제2 프레임 생성시의 온도(T2)에서 제2 프레임의 각 화소들은 T2상에서 출력값에 따라 분포될 것이다.

이러한 그래프에서, 제1 온도(T1)에서의 평균 출력값과 제2 온도(T2)에서의 평균 출력값을 지나는 직선이 단계(S150)에서 구하고자 하는 평균 기울기가 된다.

그 후 단계(S160)에서, 각 화소들의 기울기를 평균 기울기와 각각 비교하여 불량화소를 판단한다. 일 실시예에서, 평균 기울기 값에서 소정값(α)보다 크거나 작은 기울기를 갖는 화소를 불량화소라고 판단할 수 있으며, 이 때 소정값(α)은 구체적 실시예에 따라 달라질 수 있다.

이상 상술한 방법에 따라 불량화소를 검출하면 미리 설정된 보정 절차에 따라 불량화소를 보정한다. 예를 들어 불량화소의 출력값을 이 불량화소에 인접한 화소의 출력값으로 대체하거나 인접한 복수개의 화소들의 평균값으로 대체할 수 있다.

도8은 제2 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다.

도면을 참조하면, 제2 실시예에 따른 불량화소 검출방법 중 단계(S210) 내지 단계(S240)는 도3의 제1 실시예의 단계(S110) 내지 단계(S140)와 동일 또는 유사하다. 즉 단계(S210)와 단계(S220)에서 각각 제1 프레임과 제2 프레임을 생성하고, 그 후 단계(S230)에서 각 프레임 생성시의 온도(T1, T2)를 산출하고, 단계(S240)에서 각 화소마다 기울기를 산출한다.

그 후 단계(S250)에서, 산출된 각 화소의 기울기를 불균일 보정(NUC)의 게인 테이블과 비교한다. 각 화소의 기울기는 NUC 보정시 사용되는 게인(이득)과 동일한 개념이며, 단계(S250)에서는 예컨대 단계(S240)에서 산출된 각 화소마다의 기울기 값을 가장 최신의 NUC 게인 테이블에 저장된 각 화소마다의 게인 값과 비교할 수 있다.

그 후 단계(S260)에서, 각 화소들의 기울기를 평균 기울기와 각각 비교하여 불량화소를 판단한다. 일 실시예에서, 각 화소마다의 기울기 값과 NUC 테이블의 게인 값과의 차이가 소정값 이내이면 해당 화소는 정상이라고 판단하고 그 차이가 소정값보다 크다면 불량화소라고 판단할 수 있다. 이 때 상기 소정값은 구체적 실시예에 따라 설정되거나 변경될 수 있다.

도9는 제3 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다.

도면을 참조하면, 제3 실시예에 따른 불량화소 검출방법 중 단계(S310) 내지 단계(S360)는 도3의 제1 실시예의 전체 단계(S110 내지 S160)와 동일 또는 유사하다. 즉 단계(S310 내지 S360)를 실행하여 각 화소의 기울기와 평균 기울기를 비교하여 불량화소를 1차 판단한다. 그 후 도9의 실시예에서, 추가적으로 단계(S370 내지 S390)를 실행하여 불량화소를 2차 판단한다.

즉 단계(S370)에서, 제2 온도(T2)에서 생성된 제2 프레임을 이용하여 불균일 보정(NUC)의 옵셋 테이블을 업데이트한다. 여기서 옵셋은 도7에서의 기울기 직선이 Y축과 만나는 지점의 Y값을 의미한다. 즉 단계(S340)에 각 화소마다 기울기가 산출되었으므로 이 기울기의 직선이 Y축과 만날 때의 Y값(옵셋)이 각 화소마다 산출될 수 있고, 이 산출된 옵셋 값을 NUC용 옵셋 테이블에 저장함으로써 NUC용 옵셋 테이블을 업데이트할 수 있다.

그 후 단계(S380)에서, 업데이트된 NUC용 옵셋 테이블의 각 옵셋 값을 기저장된 최초의 NUC 옵셋 테이블의 옵셋 값과 비교한다. 여기서의 최초의 NUC 옵셋 테이블은 예컨대 열상 카메라(100)의 출고시 최초로 생성하여 데이터 저장부(550)에 저장되어 있던 NUC 옵셋 테이블일 수 있다.

단계(S380)에서 각 화소마다 최초의 옵셋 값과 단계(S370)에서 업데이트된 옵셋 값을 비교하여, 두 값의 차이가 소정범위 이내이면 그 화소는 정상이라고 판단하고 그 차이가 소정범위 밖이라면 불량화소라고 판단한다(S390). 이 때 상기 소정범위는 구체적 실시예에 따라 설정되거나 변경될 수 있다.

도10은 제4 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다.

도면을 참조하면, 제4 실시예에 따른 불량화소 검출방법 중 단계(S410) 내지 단계(S460)는 도8의 제2 실시예의 전체 단계(S210 내지 S260)와 동일 또는 유사하다. 즉 단계(S410 내지 S460)를 실행하여 각 화소의 기울기(게인)와 NUC 게인 테이블의 게인을 비교하여 불량화소를 1차 판단한다. 그 후 도10의 실시예에서, 추가적으로 단계(S470 내지 S490)를 실행하여 불량화소를 2차 판단한다. 이 때의 불량화소의 2차 판단은 도9의 실시예의 단계(S370 내지 S390)과 동일 또는 유사하게 할 수 있다.

즉 단계(S470)에서, 제2 온도(T2)에서 생성된 제2 프레임을 이용하여 불균일 보정(NUC)의 옵셋 테이블을 업데이트하고, 단계(S480)에서, 업데이트된 NUC용 옵셋 테이블의 각 옵셋 값을 기저장된 최초의 NUC 옵셋 테이블의 옵셋 값과 비교한다. 단계(S380)에서의 비교결과 두 값의 차이가 소정범위 이내이면 그 화소는 정상이라고 판단하고 소정범위 밖이라면 불량화소라고 판단한다(S490). 이 때 상기 소정범위는 구체적 실시예에 따라 설정되거나 변경될 수 있다.

이와 같이 도9 및 도10의 실시예에서는 각 화소의 기울기(게인)에 따라 불량화소 여부를 1차적으로 판단하고 각 화소의 옵셋에 기초해서도 불량화소 여부를 추가적으로 판단함으로써 불량화소를 더 정확히 검출할 수 있다. 이 때 일 실시예에서, 기울기에 따른 1차 불량화소 판단과 옵셋에 따른 2차 판단 모두에서 불량화소로 판단된 화소만 최종적으로 불량화소라고 판단할 수도 있고, 대안적으로, 1차 및 2차 판단 중 어느 하나에서 불량화소로 판단되면 불량화소라고 최종적으로 판단할 수도 있다.

이상과 같이 도면을 참조하여 본 발명의 실시예를 설명하였다. 그러나 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 상술한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

10: 렌즈
20: 셔터
30: 검출소자 어레이(FPA)
40: 아날로그-디지털(A/D) 컨버터
50: 엔진 코어
60: 영상 처리부
70: 디스플레이
80: 셔터 제어부
90: 온도센서

Claims (13)

1. 열상 카메라의 불량화소 검출 방법으로서,
   기설정된 시간 주기에 기초하여, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계;
   주변온도에 기초하여, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계;
   상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계;
   상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및
   상기 제1 프레임과 제2 프레임 사이의 화소의 평균 기울기와 상기 각 화소의 기울기를 비교하여 불량화소를 1차 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
2. 제 1 항에 있어서, 상기 셔터의 제1 온도와 제2 온도를 각각 산출하는 단계는,
   제1 프레임의 화소들의 출력값 중 상위 출력값을 갖는 소정 개수의 화소들 및 하위 출력값을 갖는 상기 소정 개수의 화소들을 제외한 나머지 화소들의 평균 출력값을 이용하여 상기 셔터의 제1 온도를 산출하는 단계; 및
   제2 프레임의 화소들의 출력값 중 상위 출력값을 갖는 소정 개수의 화소들 및 하위 출력값을 갖는 상기 소정 개수의 화소들을 제외한 나머지 화소들의 평균 출력값을 이용하여 상기 셔터의 제2 온도를 산출하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
3. 제 1 항에 있어서, 상기 제1 프레임을 생성하는 단계가,
   소정 시간주기가 경과하였는지 판단하는 단계(S111);
   상기 소정 시간주기가 경과하였으면, 셔터를 닫고 촬영하여 상기 제1 프레임을 생성하는 단계(S112); 및
   상기 제1 프레임 생성시에 열상 카메라의 온도센서가 측정한 주변온도를 기준온도로 설정하는 단계(S113);를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
4. 제 3 항에 있어서, 상기 제2 프레임을 생성하는 단계가,
   상기 온도센서가 측정한 주변온도와 상기 기준온도의 차이가 소정값 이상인지 판단하는 단계(S121); 및
   상기 온도 차이가 소정값 이상이면, 셔터를 닫고 촬영하여 상기 제2 프레임을 생성하는 단계(S122);를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
5. 제 1 항에 있어서,
   상기 제2 프레임을 이용하여 불균일보정(NUC) 옵셋 테이블을 업데이트하는 단계; 및
   업데이트된 상기 NUC 옵셋 테이블을 기저장된 NUC 옵셋 테이블과 비교하여 불량화소를 2차 판단하는 단계;를 더 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
6. 제 5 항에 있어서, 상기 2차 판단하는 단계는,
   각 화소마다, 해당 화소의 업데이트된 NUC 옵셋 테이블의 옵셋값과 상기 기저장된 NUC 옵셋 테이블의 옵셋값의 차이가 소정값 이상인지 판단하는 단계; 및
   옵셋값의 차이가 소정값 이상이면, 해당 화소를 불량화소로 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
7. 열상 카메라의 불량화소 검출 방법으로서,
   기설정된 시간 주기에 기초하여, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계;
   주변온도에 기초하여, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계;
   상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계;
   상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및
   산출된 상기 각 화소의 기울기를 불균일보정(NUC) 게인 테이블과 비교하여 불량화소를 1차 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
8. 제 7 항에 있어서, 상기 셔터의 제1 및 제2 온도를 각각 산출하는 단계는,
   제1 프레임의 화소들의 출력값 중 상위 출력값을 갖는 소정 개수의 화소들 및 하위 출력값을 갖는 상기 소정 개수의 화소들을 제외한 나머지 화소들의 평균 출력값을 이용하여 상기 셔터의 제1 온도를 산출하는 단계; 및
   제2 프레임의 화소들의 출력값 중 상위 출력값을 갖는 소정 개수의 화소들 및 하위 출력값을 갖는 상기 소정 개수의 화소들을 제외한 나머지 화소들의 평균 출력값을 이용하여 상기 셔터의 제2 온도를 산출하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
9. 제 7 항에 있어서,
   제 1 항에 있어서, 상기 제1 프레임을 생성하는 단계가,
   소정 시간주기가 경과하였는지 판단하는 단계(S111);
   상기 소정 시간주기가 경과하였으면, 셔터를 닫고 촬영하여 상기 제1 프레임을 생성하는 단계(S112); 및
   상기 제1 프레임 생성시에 열상 카메라의 온도센서가 측정한 주변온도를 기준온도로 설정하는 단계(S113);를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
10. 제 9 항에 있어서, 상기 제2 프레임을 생성하는 단계가,
    상기 온도센서가 측정한 주변온도와 상기 기준온도의 차이가 소정값 이상인지 판단하는 단계(S121); 및
    상기 온도 차이가 소정값 이상이면, 셔터를 닫고 촬영하여 상기 제2 프레임을 생성하는 단계(S122);를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
11. 제 7 항에 있어서,
    상기 제2 프레임을 이용하여 불균일보정(NUC) 옵셋 테이블을 업데이트하는 단계; 및
    업데이트된 상기 NUC 옵셋 테이블을 기저장된 NUC 옵셋 테이블과 비교하여 불량화소를 2차 판단하는 단계;를 더 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
12. 제 11 항에 있어서, 상기 2차 판단하는 단계는,
    각 화소마다, 해당 화소의 업데이트된 NUC 옵셋 테이블의 옵셋값과 상기 기저장된 NUC 옵셋 테이블의 옵셋값의 차이가 소정값 이상인지 판단하는 단계; 및
    옵셋값의 차이가 소정값 이상이면, 해당 화소를 불량화소로 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법.
13. 열상 카메라에 있어서,
    피사체에서 발산되는 적외선을 검출하여 전기적 신호로 출력하는 검출소자 어레이;
    상기 전기적 신호의 출력값을 디지털 신호로 변환하는 아날로그-디지털 컨버터;
    상기 디지털 신호의 출력값을 이용하여 상기 검출소자 어레이의 화소 중 불량화소를 검출하고 보정하는 불량화소 처리부; 및
    상기 디지털 신호의 출력값을 불균일 보정(NUC)하는 불균일 보정부;를 포함하고,
    상기 불량화소 처리부는 상기 제1항 내지 제12항 중 어느 한 항에 기재된 불량화소 검출 방법을 실행할 수 있는 것을 특징으로 하는 열상 카메라.
    

Images