KR102053307B1 - 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법 - Google Patents

멀티 열상 카메라의 멀티 감응 보정 장치 및 방법 Download PDF

Info

Publication number
KR102053307B1
KR102053307B1 KR1020180089213A KR20180089213A KR102053307B1 KR 102053307 B1 KR102053307 B1 KR 102053307B1 KR 1020180089213 A KR1020180089213 A KR 1020180089213A KR 20180089213 A KR20180089213 A KR 20180089213A KR 102053307 B1 KR102053307 B1 KR 102053307B1
Authority
KR
South Korea
Prior art keywords
thermal camera
thermal
average value
frame
value
Prior art date
Application number
KR1020180089213A
Other languages
English (en)
Inventor
주훈
Original Assignee
주식회사 아이알웨이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이알웨이브 filed Critical 주식회사 아이알웨이브
Priority to KR1020180089213A priority Critical patent/KR102053307B1/ko
Application granted granted Critical
Publication of KR102053307B1 publication Critical patent/KR102053307B1/ko

Links

Images

Classifications

    • H04N5/3575—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N5/2258—
    • H04N5/35509—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 스테레오 열상 카메라의 멀티 감응 보정 장치 및 방법에 관한 것으로, 본 발명에 따른 스테레오 열상 카메라의 멀티 감응 보정 장치는, 촬영된 피검지체의 디지털 영상의 화소들의 비선형을 보정하고, 보정된 보정 디지털 영상의 프레임을 보간하는 적어도 제1 열상 카메라 및 제2 열상 카메라; 및 제1 열상 카메라의 프레임의 화소의 평균값을 산출하고 그리고 제1 열상 카메라의 프레임의 대응되는 제2 열상 카메라의 프레임의 화소의 평균값을 산출하는 평균값 산출부와, 및 평균값 산출부에서 구한 제1 열상 카메라의 열상 평균값과 제2 열상 카메라의 열상 평균값을 비교하여 차이 값을 출력하는 평균값 비교부를 포함하는 컨트롤러 디바이스를 포함함으로써, 비용 및 에너지를 절감할 수 있다.

Description

멀티 열상 카메라의 멀티 감응 보정 장치 및 방법{Multi-Sensitivity Correction Apparatus and Method of Multi Thermal Imaging Cameras}
본 발명은 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법에 관한 것으로, 특히 적어도 두 대의 열상 카메라로 멀티 열상 카메라 장치를 제작한 경우 각 열상 카메라의 감응성에 따라 생기는 오프셋 및 게인의 불일치를 일치시키기 위한 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법에 관한 것이다.
최근 열상 카메라의 발전에 따라 다양한 사용 목적에 의해 여러 응용 분야에서 열상 카메라의 수요가 매우 증대되고 있다. 이러한 열상 카메라는 비 가시 조명 상태에서 기존 CCD 열상 카메라 또는 CMOS 열상 카메라와 비교하여 성능이 뛰어나다. 이러한 열상 카메라의 기술의 핵심은 FPA(Focal Plane Array)로 열을 감지하는 센서[마이크로볼로메터, 기타 열상 센서]가 이미지 렌즈(202)의 초점 면에 모자이크 형태로 나열되어 있는 형상이다. 여기서 한 개의 센서에 의해 감지한 열이 열상의 화소 한 개의 온도 값으로 표현된다. 하지만, 열상 카메라의 모든 디텍터들은 동일한 적외선을 받아들일지라도 본질적으로 각각의 디텍터가 갖는 서로 다른 미세한 감응 도의 차이에 의해서 오프셋 값과 게인 값이 다르게 된다. 따라서 열상 카메라의 제조회사는 이들 디텍터의 화소 간의 비선형(Non-Uniformity)을 보정하기 위해 모든 화소에서 균일한 감응도를 나타내도록 계산된 보정 표(Look-Up Table)를 사용한다.
한편, 열상 카메라를 사용하여 3차원 입체 열상 카메라를 구현하는 기술이 본 발명자에 의해 한국등록특허 제1012691호에 공개되어 있다.
하지만, 한 대의 열상 카메라의 보정은 그다지 많은 공정이 필요하지 않으나, 두 대의 열상 카메라의 디텍터들의 감응을 절댓값으로 일치시키는 것은 매우 어렵다. 즉, 두 대의 열상 카메라의 화소 간 성능을 한 대의 열상 카메라처럼 일치시키는 기술은 같은 온도의 물리적 환경을 구축하고 두 대의 디텍터부의 외부 및 내부의 온도를 일치하게 하여 디텍터들로부터 출력되는 화소 데이터를 최종적으로 일치시켜야 한다. 그러나 모든 전자 회로는 전원이 인가되고 기능을 구현하면 시간이 지남에 따라 내부 온도의 상승이 이루어지고, 이에 따라 열상 카메라에는 영상의 오류가 발생하므로 두 대의 열상 카메라의 성능을 일치시키는 것이 쉽지 않다.
한국등록특허 제1012691호에서는 좌우의 열상 카메라의 화소 데이터를 비교하여 그 차이만큼을 보상한다. 이러한 기술은 연구개발일 경우에는 흑체(Blackbody Source)를 사용하여 쉽게 데이터를 추출하여 계산하고 이에 대한 차이를 보상하면 되지만, 문제는 열상 카메라의 보정은 주변온도에 따라 오프셋 값이 달라지는데 미세한 온도 차이(예를 들어 현재 비 냉각 디텍터의 온도 분해능은 약 22mK임; 0.022℃)마저, 이미지로 표현되므로 내부 온도차이든 외부 온도차이든 복합적 요인으로 인해 오프셋 값이 달라질 수밖에 없다. 또한, 이 문제뿐만 아니라 각 화소는 입사된 열에너지에 따라 게인이 달라지므로 오프셋 값과 게인 값을 모든 온도별로 룩업 테이블 또는 함수화하여 처리할 수밖에 없다. 이런 과정은 많은 시간이 요구되는데, 예를 들어 특정 온도로 안정시키기 위해 온도 챔버를 사용하더라도 챔버 온도의 안정 시간과 디텍터 온도의 안정 시간을 고려하면 많은 시간이 소요된다. 이것은 생산뿐만 아니라 연구개발에도 매우 큰 시간 손실이 되며 자연히 장기간의 인건비와 더불어 개발비의 상승으로 이어진다.
특허문헌 1: 한국등록특허 제1012691호
상술한 문제점을 해결하기 위해, 본 발명은 적어도 두 대의 열상 카메라로 멀티 열상 카메라 장치를 제작한 경우 각 열상 카메라의 감응성에 따라 생기는 오프셋 및 게인의 불일치를 일치시키기 위한 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명은 고가의 장비와 긴 안정 시간을 배제하고 좌우 열상 카메라의 감응성에 따라 생기는 오프셋 및 게인의 차이를 간편한 방법으로 찾아내어 일치시키기 위한 스테레오 열상 카메라의 좌우 감응 보정 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 다른 목적, 특정한 장점들 및 신규한 특징들이 첨부된 도면들과 연관된 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 분명해질 것이다.
상술한 목적을 달성하기 위해, 본 발명의 일실시예에 따른 멀티 열상 카메라의 멀티 감응 보정 장치는, 촬영된 피검지체의 디지털 영상의 화소들의 비선형을 보정하고, 보정된 보정 디지털 영상의 프레임을 보간하는 적어도 제1 열상 카메라 및 제2 열상 카메라; 및 상기 제1 열상 카메라의 프레임의 화소의 평균값을 산출하고 그리고 상기 제1 열상 카메라의 프레임의 대응되는 상기 제2 열상 카메라의 프레임의 화소의 평균값을 산출하는 평균값 산출부와, 및 상기 평균값 산출부에서 구한 상기 제1 열상 카메라의 열상 평균값과 상기 제2 열상 카메라의 열상 평균값을 비교하여 차이 값을 출력하는 평균값 비교부를 포함하는 컨트롤러 디바이스를 제공할 수 있다.
상기 평균값 산출부는 적어도 하나 이상의 프레임의 전체 화소들로부터 평균값을 산출할 수 있다.
상기 평균값 산출부는 적어도 하나 이상의 프레임의 일부 화소들로부터 평균값을 산출할 수 있다.
스테레오 열상 카메라의 멀티 감응 보정 장치는 상기 평균값 비교부에 의해 출력된 상기 차이 값을 상기 차이 값에 따라 다른 컬러, 수치 또는 기타 문자로 표시할 수 있는 디스플레이 디바이스를 더 포함할 수 있다.
상기 컨트롤러 디바이스는 상기 평균값 비교부에서 출력된 차이 값을 이용하여 이미지 처리와 관련된 기준 값을 보정한 새로운 설정 값을 설정하는 이미지 처리 제어부를 더 포함할 수 있고, 상기 제1 열상 카메라 및 상기 제2 열상 카메라의 각각은 상기 이미지 처리 제어부에 의해 새롭게 설정된 설정 값에 따라 상기 프레임 보간부에 의해 보간된 디지털 영상을 처리하는 이미지 처리부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 적어도 제1 열상 카메라 및 제2 열상 카메라를 포함하는 멀티 열상 카메라의 멀티 감응 보정 방법은. 촬영된 피검지체의 아날로그 열상을 디지털 열상으로 변환하는 단계; 상기 변환하는 단계에서 변환된 디지털 영상의 화소들의 비선형을 보정하는 단계; 상기 보정하는 단계에서 보정된 보정 디지털 영상의 프레임을 보간하는 단계; 상기 제1 열상 카메라의 프레임의 화소의 평균값을 산출하고 그리고 상기 제1 열상 카메라의 프레임의 대응되는 상기 제2 열상 카메라의 프레임의 화소의 평균값을 산출하는 단계; 및 상기 산출하는 단계에서 구한 상기 제1 열상 카메라의 열상 평균값과 상기 제2 열상 카메라의 열상 평균값을 비교하는 단계를 제공함으로써, 상술한 목적을 달성할 수 있다.
스테레오 열상 카메라의 멀티 감응 보정 방법은 상기 출력하는 단계에서 출력된 차이 값을 미리 정의된 테이블 또는 산술적으로 추출된 값을 이용하여 보정하는 단계를 더 포함할 수 있다.
상술한 구성에 의해, 본 발명은 적어도 두 대의 열상 카메라로 멀티 열상 카메라 장치 또는 적어도 두 대의 열상 카메라로 프레임을 연결하여 사용하는 장치를 를 구현한 경우 최소 양안의 일치를 보다 용이하게 할 수 있고, 또한 최대한 여러 대의 열상을 일치시킬 수 있으며, 열 안정이 필요한 공간에서 교정해야 한다는 공간적 제약을 벗어날 수 있으므로 시간상으로는 공정을 압축할 수 있고, 경제적으로는 양산 비용의 절감과 부수적 생산 설비의 절감을 얻을 수 있다.
본 발명은 또한, 단순한 화소의 평균값 비교를 사용함으로써 보정과 관련된 에너지의 사용을 절감할 수 있으므로 특히 모바일 디바이스에 적용하면 효과가 클 수 있다.
본 발명은 군사용과 산업용으로 사용이 가능하며 다음과 같이 적용될 수 있다.
1. 헬기 및 기타 유사 장치의 전방 감시 장비[무기 포함]로서 사고 회피용 장치로 사용 가능하며 매우 정확한 양안 일치를 제공한다.
2. 지상용 로봇 등 자동차의 지형지물 인지와 감지, 물체의 분석에 적용 가능하다.
3. 선박의 전방 감시용으로 선박의 충돌 및 장애물 회피에 매우 적합한 알고리즘으로 사용 가능하다.
4. 상술한 구성으로 이루어진 장치는 노약자의 전동 휠체어의 전방 감시 장치로 사용 가능해짐으로써 사회적 약자에 대한 전방 주시 장치로 사용되어 안전사고가 예방 가능하다.
5. 상술한 구성으로 만들어진 스테레오 열상 장치는 산업에서 열 문제가 있는 엔진 블록의 물 재킷 등 분석에 기본적 열상 카메라의 보정 기능으로 사용 가능하다.
6. 중장비의 야간 운용시 험한 야외 상황을 면밀히 관찰하여 사고 예방과 작업 분석에 필요한 열상 카메라 보정 기능으로 사용 가능하다.
7. 아스팔트 롤러의 아스팔트 건설 불량에 대한 검출 장비의 운용의 알고리즘으로 사용 가능하다.
8. 비전 검사 장비의 CCD 또는 CMOS 카메라의 대용 장비로 사용되며 조명에 영향 또는 방해받지 않아 매우 유용하다.
도 1은 본 발명의 일 실시예에 따른 스테레오 열상 카메라 장치를 개략적으로 도시한 도면이다.
도 2는 도 1의 스테레오 열상 카메라 장치의 구체적인 구성을 블록도로 도시한 도면이다.
도 3a 내지 도 6b는 도 2에 도시된 평균값 산출부의 동작을 더욱 상세하게 설명하기 위한 도면이다.
도 7은 본 발명의 일 예시에 따른 오프셋 차이에 따른 디지털 값을 컬러로 표현한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 스테레오 열상 카메라의 멀티 감응 보정 방법의 흐름도를 도시하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법의 바람직한 실시예를 설명한다. 참고로, 아래에서 본 발명을 설명함에 있어서, 본 발명의 구성요소를 지칭하는 용어들은 각각의 구성 요소들의 기능을 고려하여 명명된 것이므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 안 될 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 설명한다.
본 발명은 멀티 열상 카메라, 즉 적어도 두 대의 열상 카메라로 3차원 입체 열상을 구현하는 기술과 관련된 것이지만, 이하에서는 편의상 스테레오 열상 카메라로 대체하여 설명하고자 한다.
도 1은 본 발명의 일 실시예에 따른 스테레오 열상 카메라 장치를 개략적으로 도시한 도면이다.
도 1에 도시된 바와 같이, 스테레오 열상 카메라 장치(10)는 좌측 열상 카메라(100a) 및 우측 열상 카메라(100b)를 포함하며, 이 중 하나의 열상 카메라가 마스터 기능을 하는 열상 카메라이고 나머지 하나는 슬레이브 기능을 하는 슬레이브 열상 카메라이다. 두 대의 열상 카메라 중 어느 것을 마스터로 할지는 본 발명의 스테레오 열상 카메라 장치(10)가 사용되는 작업환경에 따라 달라질 수 있다.
스테레오 열상 카메라 장치(10)가 예를 들어 3차원 입체 영상을 얻기 위해 사용되는 경우에는 3차원 입체 영상이 사람에게 자연스럽게 보이기 위해 두 대의 열상 카메라가 두 렌즈의 거리(대략 6-7cm이나 그 이하도 이상도 될 수 있음) 정도 이격되어 설치되는 것이 바람직하지만, 이러한 이격 거리는 작업 환경이나 구현 형태에 따라 달라질 수 있다.
스테레오 열상 카메라 장치(10)는 또한 컨트롤러 디바이스(150)를 포함하며, 두 대의 열상 카메라(100a, 100b)는 컨트롤러 디바이스(150)에 데이터 라인(160)을 통해 각 열상 카메라에서 촬영한 열상 데이터를 제공할 수 있으며, 컨트롤러 디바이스(150)는 제어 라인(170)을 통해 열상 카메라(100a, 100b)에 각종 제어 신호를 인가하여 두 대의 열상 카메라의 동작을 제어할 수 있다.
도 1에서는 두 대의 열상 카메라가 좌측 및 우측에 배치된 것으로 도시되어 있지만, 열상 카메라의 개수는 두 대 이상일 수 있다. 다만, 지금부터는 설명의 편의를 위해 두 대의 열상 카메라, 예를 들어 좌측 열상 카메라(100a)와 우측 열상 카메라(100b)로 한정하여 설명하고자 한다.
또한, 도 1에서는 두 대의 열상 카메라와 컨트롤러 디바이스만이 도시되어 있지만, 스테레오 열상 카메라 장치는 유무선 통신을 외부 컴퓨터 또는 모니터링 장비에 신호를 송신하거나 외부 컴퓨터 또는 모니터링 장비로부터 신호를 수신할 수 있다.
도 2는 도 1의 스테레오 열상 카메라 장치의 구체적인 구성을 블록도로 도시한 도면이다.
두 대의 열상 카메라의 각각은 렌즈(202), 셔터(204), 디텍터부(206), 디텍터부(206)에서 출력된 아날로그 신호를 디지털 신호로 변환하는 아날로그 디지털 변환부(ADC부)(210), 열상 이미지의 비선형성 보정(Non-Uniformity Correction) 처리를 위한 비선형 보정부(NUC부)(220), 프레임 재귀(프레임 recursion)와 데드 화소 보간(interpolation) 등을 통해 열상을 수정하는 프레임 보간부(230), 히스토그램(histogram), 피킹(peaking), 휘도(brightness), 명암 대비(contrast) 등을 필터링하고 조정하고 여러 기능을 수행하는 이미지 처리부(240)를 포함할 수 있다. 이미지 처리부(240)에서, 히스토그램은 이미지의 어두운 화소와 밝은 화소의 화소 분포를 나타내는 것으로 가장 어두운 값이 0(검정), 가장 밝은 값이 255(흰색)로 정의된다. 피킹은 이미지의 특정 부분을 더 강조하기 위해 사용된다. 최근에는 디텍터에서 직접 디지털 신호를 출력하는 경우도 있고 또한 비선형 보정 처리까지 수행하여 출력하는 경우도 있는데, 이러한 경우들 역시 본 발명의 권리범위에서 배제되지 않을 것이다.
컨트롤러 디바이스(150)는 좌측 열상 카메라(100a)와 우측 열상 카메라(100b)에 기준 클록을 제공하는 클록부(250), 좌측 열상 카메라(100a)의 렌즈(202)와 우측 열상 카메라(100b)의 렌즈(202)의 포커싱과 셔터(204)의 동작을 동기화(synchronizing)하도록 제어하는 동기화 처리부(260), 좌측 열상 카메라(100a)의 프레임 및 우측 열상 카메라(100b)의 프레임의 디텍터 값들로부터 평균값을 구하는 평균값 산출부(270), 평균값 산출부(270)에서 산출된 2대의 열상 카메라의 평균을 비교하는 평균값 비교부(272), 이 비교 결과에 따라 두 대의 열상 카메라의 오프셋 값 및/또는 게인 값을 보정하는 이미지 처리 제어부(274)를 포함할 수 있다.
디스플레이 디바이스(280)는 컨트롤러 디바이스(150)의 제어에 의해 처리된 3차원의 열상 이미지를 표시하며, 또한, 두 대의 열상 카메라의 오프셋의 차이에 따른 디지털 값을 컬러로 표현할 수 있다.
도 2에 도시된 열상 카메라(100a, 100b) 및 컨트롤러 디바이스(150)의 구성요소들 중 일부는 실시상태에 따라 생략될 수 있으며, 또한 스테레오 열상 카메라 장치의 전체 동작을 위해 다른 구성요소가 더 추가될 수 있다.
이하에서는 도 2에 도시된 구성요소의 동작을 구체적으로 설명한다.
클록부(250)는 두 대의 열상 카메라의 동작의 동기화를 위한 기준 클록을 제공한다. 클록부(250)에서의 클록은 컨트롤러 디바이스(150)의 구성요소들뿐 아니라 열상 카메라의 디텍터부(206), 아날로그 디지털 변환부(210) 및 비선형 보정부(220) 등에도 제공될 수 있다.
동기화 처리부(260)는 좌측 열상 카메라(100a) 및 우측 열상 카메라(100b)의 각각의 렌즈(202)의 포커싱을 동기화하는 동기화 포커스 처리파트(미도시됨) 및 렌즈(202)의 셔터(204) 동작을 동기화하는 동기화 셔터 처리파트(미도시됨)를 구비할 수 있다. 동기화 포커스 처리파트는 좌측 열상 카메라(100a)의 렌즈(202)와 우측 열상 카메라(100b)의 렌즈(202)가 동일 대상물에 대해 초점을 맞추도록 제어하고 동기화 셔터 처리파트는 좌측 열상 카메라(100a)와 우측 열상 카메라(100b)의 셔터(204)의 동작을 제어할 수 있다.
두 대의 열상 카메라가 동기화 처리부(260)로부터 제어 신호를 받아 동기화된 셔터 동작을 하고 디텍터부(206)에 디텍터들에 촬상된 이미지가 저장된다. 아날로그 디지털 변환부(210)는 디텍터부(206)에서 출력된 아날로그 신호를 디지털 신호로 변환한다.
비선형 보정부(220)는 제조회사에 제공된 각 화소에 대한 절대적인 보정 값을 포함한다. 이러한 보정 값에 의해, 두 대의 열상 카메라의 출력 신호는 해당 화소에 대해 편차가 있을 수 있지만 소정의 범위 내로 제한될 수 있다.
프레임 보간부(230)는 프레임 재귀(프레임 recursion) 및 데드 화소 보간(interpolation) 등을 통해 열상을 수정한다. 일반적으로 적외선을 검출하는 디텍터부(206)는 보통의 CCD 모듈과는 달리 배드 화소 및 데드 화소가 더 많이 발생한다. 따라서 스테레오 열상을 위해 두 대의 열상 카메라를 사용하는 경우에는 두 대의 열상 카메라가 같은 위치에서 배드 화소 및 데드 화소가 발생할 확률이 낮고, 같은 위치에 있는 화소라 하더라도 성능이 같을 수 없기 때문에 프레임 보간부(230)에서 이에 대해 다양한 알고리즘을 사용하여 이 영향이 작아지도록 보상할 수 있다.
프레임 보간부(230)에서 보간된 프레임은 컨트롤러 디바이스(150)의 평균값 산출부(270)에 제공된다. 평균값 산출부(270)에 제공되는 화소 값들이 프레임 보간부(230)에서 보간된 열상이기 때문에 본 발명에 따른 평균값의 사용이 가능해진다.
평균값 산출부(270)는 좌측 열상 카메라(100a)의 프레임 및 우측 열상 카메라(100b)의 프레임의 디텍터 값들로부터 평균값을 각각 산출한다. 평균값 비교부(272)는 평균값 산출부(270)에서 산출된 2대의 열상 카메라의 평균을 비교한다.
이미지 처리 제어부(274)는 좌측 열상 카메라(100a) 및 우측 열상 카메라(100b)에 대한 히스토그램 상세를 갖고 히스토그램, 피킹, 휘도, 명암 대비(contrast) 등을 필터링하고 조정한다. 이미지 처리 제어부(274)에서 좌측 열상 카메라(100a) 및 우측 열상 카메라(100b)의 각각의 이미지 처리부(240)로 보내는 제어신호는 히스토그램, 휘도 및 명암대비에 관한 기준 값을 포함한다. 기준 값은 각 열상 카메라의 비선형 보정을 행할 때에 구한 값일 수 있다. 한편, 본 발명에서는 이미지 처리 제어부(274)가 평균값 비교부(272)에서 얻은 차이 값을 이용하여 히스토그램 등의 기준 값을 보정함으로써 좌측 열상 카메라(100a)와 우측 열상 카메라(100b)의 감응에 따른 차이를 조정할 수 있다.
한편, 컨트롤러 디바이스(150)에서 좌측 열상 카메라(100a)와 우측 열상 카메라(100b)의 비선형 보정부(220)에 대해 제어가 가능하다면, 이미지 처리 제어부(274)는 이 비교 결과에 따른 두 대의 열상 카메라의 오프셋 값 및/또는 게인 값과 관련된 보정 값을 비선형 보정부(220)에 룩업 테이블 또는 함수화 형태로 저장하여 사용하는 것이 바람직할 수 있다.
이미지 처리부(240)는 이미지 처리 제어부(274)에 의해 보정된 각 열상 카메라에 대한 히스토그램, 휘도 및 명암대비에 관한 설정 값이 입력되면 이러한 설정 값에 따라 이미지의 히스토그램, 휘도 및 명암대비를 처리한다. 이에 의해, 두 대 이상의 열상 카메라로 스테레오 열상 카메라 장치(10)를 제작한 경우 각 열상 카메라의 감응성에 따라 생기는 오프셋 및/또는 게인의 불일치를 일치시킬 수 있다.
도 3a 내지 도 6b는 도 2에 도시된 평균값 산출부의 동작을 더욱 상세하게 설명하기 위한 도면이다.
도 3a는 본 발명의 일 실시예에 따른 좌측 열상 카메라(100a)의 프레임을 나타내고 있으며 각 화소의 개수는 특정하지 않는다. 도 3a에서 각 화소 수의 특정 온도에 대한 디지털 값을 흑백의 레벨로 표현하였으며 이 값은 일례이므로 특정하지 않는다.
도 3a를 보면 화소의 전체 개수는 11x8개이며 이 각 화소의 각각의 값의 평균은 각 화소 값을 모두 합하여 화소의 수만큼 나눈 것이 Aoffset 이다. 일례로서 위의 수식은
Figure 112018075709630-pat00001
이며, 여기서 P(k)은 각 화소의 각각 디지털 값을 의미한다.
도 3b는 본 발명의 일 실시예에 따른 우측 열상 카메라(100b)의 프레임을 나타내고 있으며 각 화소의 개수는 특정하지 않는다. 도 3b에서 각 화소 수의 특정 온도에 대한 디지털 값을 흑백의 레벨로 표현하였으며 이 값은 일례이므로 특정하지 않는다.
도 3b를 보면 화소의 개수는 11x8개이며 이 각 화소의 각각의 값의 평균은 각 화소 값을 모두 합하여 화소의 수만큼 나눈 것이 Boffset 이다. 일례로서 수식은
Figure 112018075709630-pat00002
이며, 여기서 P(k)은 각 화소의 각각 다른 디지털 값을 의미한다.
도 4a는 본 발명의 다른 실시예에 따른 좌측 열상 카메라(100a)의 프레임의 일부분을 나타내고 있으며 각 화소 개수는 특정하지 않는다. 도 4a에서 각 화소 수의 디지털 값을 흑백의 레벨로 표현하였으며 이 값은 일예이므로 특정하지 않는다.
도 4a를 보면 사각형 블록의 화소의 개수는 5x6개이며 이 각 화소의 각각의 값의 평균은 각 화소 값을 모두 합하여 화소의 수만큼 나눈 것이 Aoffset 이다. 일례로서 수식은
Figure 112018075709630-pat00003
이고, 여기서 P(k)은 각 화소의 각각 다른 디지털 값을 의미한다.
도 4b는 본 발명의 일 실시예에 따른 우측 열상 카메라(100b)의 프레임의 일부분을 나타내고 있으며 각 화소 개수는 특정하지 않는다. 도 4b에서 각 화소 수의 디지털 값을 흑백의 레벨로 표현하였으며 이 값은 일예이므로 특정하지 않는다.
도 4b를 보면 화소의 개수는 5x6개이며 이 각 화소의 각각의 값의 평균은 각 화소 값을 모두 합하여 화소의 수만큼 나눈 것이 Boffset 이다. 일례로서 수식은
Figure 112018075709630-pat00004
이며, 여기서 P(k)은 각 화소의 각각 다른 디지털 값을 의미한다.
위의 도 4a 및 도 4b의 방법은 지정된 범위의 오프셋 값을 추출하는 것으로서 같은 열상 카메라의 물체의 온도 또는 흑체의 온도를 달리하여 추출하게 되면 이를 게인을 추출하는 방법으로 사용 가능하여 물체의 크기에 따라 또는 렌즈(202)의 초점 거리에 따라 크기를 정하여 사용 가능하다.
도 5a는 좌측 열상 카메라(100a)에서 여러 개의 프레임이 시간차별로 오프셋 및 게인 차이가 있음을 나타낸 것으로서 총 N 개의 프레임으로 구성되어 1개의 프레임보다 화소 간의 균질성을 좀 더 정밀하게 나타낼 수 있어 시간에 따른 3D 노이즈(각 프레임의 각 화소는 시간에 디지털 값은 계속 미세하게 변화하게 되는데, 변화의 요인은 전자 회로의 잡음과 기타 외부적 요건에 의해 변화하게 된다. 이것을 3D 노이즈라 한다.)까지 보정이 되어 오프셋 값의 안정도를 높일 수 있다. 여기에서 Aoffset은 도 3a의 Aoffset과 다름을 알 수 있다.
일례로서 수식은
Figure 112018075709630-pat00005
이고, 여기서 P(k)은 각 화소의 각각 다른 디지털 값을 의미하며, F(i)는 각 연속되는 프레임을 의미한다. 이 수식은 개념적이어서 일반적 대푯값으로서 평균값을 의미하나 다른 수학적 수식을 사용하여 좀 더 균질화된 평균값을 얻을 수 있다.
도 5b는 우측 열상 카메라(100b)에서 여러 개의 프레임이 시간차별로 있음을 나타낸 것으로서 총 N 개의 프레임으로 구성되어 1개의 프레임보다 화소 간의 균질성을 좀 더 정밀하게 나타낼 수 있어 3D 노이즈까지 보정이 되어 오프셋 값의 안정도를 높일 수 있다. 여기서의 Boffset은 도 3b의 Boffset과 다름을 알 수 있다.
일례로서 수식은
Figure 112018075709630-pat00006
이고, 여기서 P(k)은 각 화소의 각각 다른 디지털 값을 의미하며, F(i)는 각 연속되는 프레임을 의미한다.
도 6a는 좌측 열상 카메라(100a)에서 여러 개의 프레임이 시간차별로 있음을 나타낸 것으로서 총 N 개의 일부 프레임으로 구성되어 1개의 일부 프레임보다 화소 간의 균질성을 좀 더 정밀하게 나타낼 수 있어 3D 노이즈까지 보정이 되어 오프셋 값의 안정도를 높일 수 있다.
일례로서 수식은
Figure 112018075709630-pat00007
이고, 여기서 P(k)은 각 화소의 각각 다른 디지털 값을 의미하며, F(i)는 각 연속되는 프레임을 의미한다.
도 6b는 우측 열상 카메라(100b)에서 여러 개의 프레임이 시간차별로 있음을 나타낸 것으로서 총 N 개의 일부 프레임으로 구성되어 1개의 일부 프레임보다 화소 간의 균질성을 좀 더 정밀하게 나타낼 수 있어 3D 노이즈까지 보정이 되어 오프셋 값의 안정도를 높일 수 있다.
일례로서 수식은
Figure 112018075709630-pat00008
이고, 여기서 P(k)은 각 화소의 각각 다른 디지털 값을 의미하며, F(i)는 각 연속되는 프레임을 의미한다.
도 6a 및 도 6b의 방법은 지정된 범위의 오프셋 값을 추출하는 것으로서 같은 열상 카메라의 물체의 온도 또는 흑체의 온도를 달리하여 추출하게 되면 이를 게인을 추출하는 방법으로 사용 가능하고, 물체의 크기에 따라 또는 렌즈(202)의 초점 거리에 따라 크기를 정하여 사용 가능하다. 다만, 게인의 경우 내부의 셔터(204)를 사용할 수 없다.
도 7은 본 발명의 일 예시에 따른 오프셋 차이에 따른 디지털 값을 컬러로 표현한 도면이다.
디스플레이 디바이스(280)는 본 발명에 따라 두 대의 열상 카메라의 오프셋의 차이에 따른 디지털 값을 컬러로 표현할 수 있다. 도 7의 표시 컬러로 C diffOffset 의 값에 따라 차이 값을 디스플레이 디바이스(280)에 표시할 수 있다. 여기서 C diffOffset 의 값의 단계에 따라 더욱 다양한 단계의 컬러로 표현하는 것이 가능하다. 물론 시각상으로 구별이 되지 않을 경우는 아래 도 7의 C diffOffset 의 값 범위를 다르게 할 수도 있다. 예를 들어, 좌측 열상 카메라(100a)와 우측 열상 카메라(100b)의 오프셋 값의 차이를 2의 거듭제곱으로 표현한다면, 22 미만은 청색, 22의 경우는 녹색, 23의 경우는 황색, 24의 경우는 적색으로 표시할 수 있다. 이와 같이, 2의 거듭제곱을 이용하면, 실제 두 대의 열상 카메라의 오프셋 값의 일치는 단순히 산술적으로 수식이 간단해지며, 어느 공간이나 장소에서 쉽게 오프셋 값의 보정이 가능하다.
상술한 도 3a 내지 도 7을 바탕으로, 스테레오 열상 카메라의 동적 범위를 보정하는데 필요한 좌측 열상 카메라(100a)의 획득된 프레임의 화소 평균 오프셋 값 또는 프레임의 일부 평균 오프셋 값, 또는 특정 시간 내의 복수의 프레임의 평균값 또는 특정 시간 내의 복수의 프레임 일부의 여러 일부 평균값을 AOffset이라 정의하고, 우측 열상 카메라(100b)의 획득된 프레임의 화소 평균 오프셋 값 또는 프레임의 일부 평균 오프셋 값, 또는 특정 시간 내의 복수의 프레임의 평균값 또는 특정 시간 내의 복수의 프레임 일부의 여러 일부 평균값을 AOffset 이라 정의한다면, 이때 AOffset - BOffset = Cdiffset일 수 있는데 두 대의 열상 카메라 중 작은 오프셋 값을 가진 열상 카메라의 오프셋 값에 Cdiffset 값을 보정하면 될 수 있다.
또한, 다른 방법으로는 열상 카메라를 1대의 열상 카메라를 생산하듯이 공정을 완료하고 최종으로 AOffset 및 BOffset를 구하여 Cdiffset 값을 보정하면 된다. 이와 같은 방법으로 온도가 높은 특정 범위를 지정하여 이의 오프셋 값을 비교하여 게인을 구할 수 있다. 온도가 높은 목표물의 범위를 지정할 때 간편한 방법으로서 등온선을 이용하게 되면 한쪽의 등온선과 유사한 범위를 가진 등온선을 선택하여 두 개의 범위를 비교하여 평균값을 구하면 된다. 이와 같은 방법으로 흑체를 사용하여도 결과는 같다. 이 두 개의 평균값은 서로 다른 두 대의 열상 카메라의 오프셋을 의미하는 것이므로 이 차이에 의해 형성되는 2개 이상의 온도가 다른 오프셋 값을 찾아 게인을 구하게 되는 방식이다. 물론 여기서 임의의 표준 게인과 비교하여 두 대의 열상 카메라를 여기에 일치시킬 수도 있다. 이와 더불어 오프셋 차이가 되던 또는 게인이 되던 이 차이가 컬러로 표현된다면 실제 작업자 또는 사용자의 편의가 증대됨은 당연하다. 디스플레이 디바이스를 사용하여 Cdiffset 값을 컬러로 표현한다면 인간의 육안으로 값 차이를 알게 된다. 이때 컬러 값에 해당하는 산술적 보정 값이 주어지면 당연히 두 대의 열상 카메라는 같은 오프셋 값을 갖게 될 수 있다. 이런 방법은 생산 공장만이 아니라 현장에서 간단한 열상 카메라에 내부 프로그램을 삽입하여 사용한다면 매우 유용할 것이다. 이러한 방법은 스테레오 열상 카메라에 있어 양안 스테레오 매칭에 매우 유용하며 현장에서의 스테레오 열상 카메라의 성능을 높이는 방안이 된다. 이와 유사한 방법으로 게인의 차이를 흑체의 온도를 최소 2개 이상의 다른 온도를 설정하여 열상 카메라의 동적 범위를 측정하여 같은 오프셋 평균값을 구하듯이 평균값을 구한 후 두 대의 열상 카메라의 게인 값을 비교하여 높거나 낮은 열상 카메라에 파라미터 값을 지정하여 산술적 곱으로 원하는 값으로 조정을 할 수 있다. 이때 원하는 값은 열상 카메라의 통상 온도에 따른 256레벨 이상의 흑백으로 영상을 구현하는데 디텍터 생산업체의 평균 동적 범위를 기준으로 한 게인을 표준으로 한다. 즉 표준 게인을 Gstandard라 하고 하나의 열상 카메라의 게인을 Geach라 하면 Gstandard = P* Geach 가 될 것이다. 이때 P 값은 해당하는 값을 하나의 컬러 테이블 또는 컬러 바를 생성하여 이에 해당하는 값의 일부를 적용하여 게인 차이를 쉽게 보상할 수 있다. 이의 이해를 돕도록 다시 표현한다면 표준 게인 의 의미와 이와 다른 열상 카메라의 게인을 확인하고 이 게인 차이를 컬러로 표현하고, 지정 값이든지 아니면 산술적 또는 함수적 기법으로 임의의 값으로 생성하여 보상을 하였을 때 게인의 차이를 확인하는 과정에서 다시금 컬러로 확인 가능하다는 것이다.
이런 방법은 많은 생산 시설이 필요하지 않으면서도 시간 및 공간을 최소화하고, 능률적으로 대량 양산을 하는 곳에 사용 가능하다. 특히 자동차의 자율주행을 위한 MOD[Moving Object Detection] 알고리즘과 기타 스테레오 열상 카메라에서 물체의 명확한 시차(Disparity) 추출 등 다양한 산업 분야에 적용 가능하고 더불어 경제적 가격에 공급 가능하다. 또한, 향후 경년 변화[Aging]를 거친 스테레오 열상 카메라의 보정에 큰 도움이 된다. 결국, 비용이 적게 드는 효과, 현지 대응의 편리성과 시간적 절감에도 크게 도움이 된다.
도 8은 본 발명의 다른 실시예에 따른 스테레오 열상 카메라의 좌우 감응 보정 방법의 흐름도를 도시하는 도면이다.
먼저, 스테레오 열상 카메라 장치(10)에 전원을 인가할 수 있다(S802). 예를 들어 전원 스위치를 켜면, 좌측 열상 카메라(100a), 우측 열상 카메라(100b) 그리고 컨트롤러 디바이스(150)에 전원이 공급된다.
피검지체, 예를 들어 흑체 또는 흑체를 대신할 수 있는 대체물을 향해 스테레오 열상 카메라 장치(10)를 향하게 한다(S804).
컨트롤러 디바이스(150)의 동기화 처리부(260)는 좌측 열상 카메라(100a)의 렌즈(202)와 우측 열상 카메라(100b)의 렌즈(202)가 동일 대상물에 대해 초점을 맞추도록 제어하고 이어서 좌측 열상 카메라(100a)와 우측 열상 카메라(100b)의 셔터(204)의 동작을 제어한다(S806). 다만, 두 대의 열상 카메라가 흑체를 향해 있는 경우에는 셔터 동작이 필요하지 않을 수 있다.
두 대의 열상 카메라가 동기화 처리부(260)로부터 제어 신호를 받아 동기화된 셔터 동작을 하고 디텍터부(206)에 디텍터들에 촬상된 열상이 저장되고, ADC부는 디텍터부(206)에서 출력된 아날로그 신호를 디지털 신호로 변환한다(S808).
비선형 보정부(220)는 각 열상 카메라에 제공된 각 화소에 대한 절대적인 보정 값을 이용하여 열상 디지털 신호를 보정한다(S810).
프레임 보간부(230)는 프레임 보간 등을 수행한다(S812). 즉, 프레임 보간부(230)는 프레임 재귀(프레임 recursion) 및 데드 화소 보간(interpolation) 등을 통해 열상을 수정한다. 프레임 보간부(230)에서 보간된 프레임은 컨트롤러 디바이스(150)의 평균값 산출부(270)에 제공된다.
평균값 산출부(270)는 좌측 열상 카메라(100a)의 프레임 및 우측 열상 카메라(100b)의 프레임의 디텍터 값들로부터 평균값을 각각 산출한다(S814). 평균값 비교부(272)는 평균값 산출부(270)에서 산출된 2대의 열상 카메라의 평균을 비교하여 그 차이를 출력한다(S816).
컨트롤러 디바이스(150)에 평균값 차이를 표시하는 모드가 설정되어 있으면(S818), 디스플레이 디바이스(280)는 그 차이 값에 따라 도 7에 도시된 컬러를 표시한다(S820).
컨트롤러 디바이스(150)에 평균값 차이를 표시하는 모드가 설정되어 있지 않으면, 이미지 처리 제어부(274)는 평균값 비교부(272)에서 얻은 차이 값을 이용하여 히스토그램 등의 기준 값을 보정한 값을 설정한다(S822). 이 경우 평균값 비교부(272)에서 얻은 차이 값을, 메모리부(미도시됨)에 저장된 미리 정의된 테이블 또는 산술적으로 추출된 값을 이용하여 보정할 수 있다.
이미지 처리부(240)는 이미지 처리 제어부(274)에 의해 보정된 각 열상 카메라에 대한 히스토그램, 휘도 및 명암대비에 관한 설정 값이 입력되면 이러한 설정 값에 따라 이미지의 히스토그램, 휘도 및 명암대비를 처리한다(S824). 이에 의해, 두 대 이상의 열상 카메라로 스테레오 열상 카메라 장치(10)를 제작한 경우 각 열상 카메라의 감응성에 따라 생기는 오프셋 및/또는 게인의 불일치를 일치시킬 수 있다.
도 4a 및 도 4b, 또는 도 6a 및 도 6b를 이용하여 평균값을 구하는 경우에는 오프셋과 게인의 차이를 동시에 검출할 수 있다. 하지만, 정밀한 측정을 위해서는 먼저, 오프셋을 구하고 게인을 구하는 것이 바람직하며, 실제 환경에서는 온도에 따른 이들 오프셋과 게인을 근거로 재보정하는 것이 바람직하다.
이상에서 설명된 본 발명의 실시예들은 본 발명의 기술 사상을 예시적으로 보여준 것에 불과하며, 본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형할 수 있을 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100a: 좌측 열상 카메라 100b: 우측 열상 카메라
150: 컨트롤러 디바이스 160: 데이터 라인
170: 제어 라인 206: 디텍터부
210: 아날로그 디지털 변환부 220: 비선형 보정부
230: 프레임 보간부 240: 이미지 처리부
250: 클록부 260: 동기화 처리부
270: 평균값 산출부 272: 평균값 비교부
274: 이미지 처리 제어부 280: 디스플레이 디바이스

Claims (10)

  1. 멀티 열상 카메라의 멀티 감응 보정 장치에 있어서,
    촬영된 피검지체의 디지털 영상의 화소들의 비선형을 보정하고, 보정된 보정 디지털 영상의 프레임을 보간하는 적어도 제1 열상 카메라 및 제2 열상 카메라;
    상기 제1 열상 카메라의 프레임의 화소의 평균값을 산출하고 그리고 상기 제1 열상 카메라의 프레임의 대응되는 상기 제2 열상 카메라의 프레임의 화소의 평균값을 산출하는 평균값 산출부와, 상기 평균값 산출부에서 구한 상기 제1 열상 카메라의 열상 평균값과 상기 제2 열상 카메라의 열상 평균값을 비교하여 차이 값을 출력하는 평균값 비교부와, 및 소정의 온도와 관련해서는 상기 평균값 비교부에서 출력된 상기 차이 값을 이용하여 상기 제1 열상 카메라 및 상기 제2 열상 카메라의 각 오프셋을 보정하고 그리고 상기 소정의 온도와 다른 특정 온도와 관련해서는 상기 평균값 비교부에서 출력된 상기 차이 값을 이용하여 상기 제1 열상 카메라 및 상기 제2 열상 카메라의 각 게인을 보정하여 오프셋과 게인에 대해 새로운 설정 값을 설정하는 이미지 처리 제어부를 포함하는 컨트롤러 디바이스; 및
    상기 평균값 비교부에 의해 출력된 상기 차이 값을 상기 차이 값에 따라 다른 컬러, 수치 또는 기타 문자로 표시할 수 있는 디스플레이 디바이스를 포함하는 것을 특징으로 하는, 멀티 열상 카메라의 멀티 감응 보정 장치.
  2. 제1항에 있어서,
    상기 평균값 산출부는 적어도 하나 이상의 프레임의 전체 화소들로부터 평균값을 산출하는 것을 특징으로 하는, 멀티 열상 카메라의 멀티 감응 보정 장치.
  3. 제1항에 있어서,
    상기 평균값 산출부는 적어도 하나 이상의 프레임의 일부 화소들로부터 평균값을 산출하는 것을 특징으로 하는, 멀티 열상 카메라의 멀티 감응 보정 장치.
  4. 삭제
  5. 제2항 또는 제3항에 있어서,
    상기 제1 열상 카메라 및 상기 제2 열상 카메라의 각각은 상기 이미지 처리 제어부에 의해 새롭게 설정된 설정 값에 따라 프레임 보간부에 의해 보간된 디지털 영상을 처리하는 이미지 처리부를 더 포함하는 것을 특징으로 하는, 멀티 열상 카메라의 멀티 감응 보정 장치.
  6. 적어도 제1 열상 카메라 및 제2 열상 카메라를 포함하는 멀티 열상 카메라의 멀티 감응 보정 방법에 있어서,
    촬영된 피검지체의 아날로그 열상을 디지털 열상으로 변환하는 단계;
    상기 변환하는 단계에서 변환된 디지털 영상의 화소들의 비선형을 보정하는 단계;
    상기 보정하는 단계에서 보정된 보정 디지털 영상의 프레임을 보간하는 단계;
    상기 제1 열상 카메라의 프레임의 화소의 평균값을 산출하고 그리고 상기 제1 열상 카메라의 프레임의 대응되는 상기 제2 열상 카메라의 프레임의 화소의 평균값을 산출하는 단계;
    상기 산출하는 단계에서 구한 상기 제1 열상 카메라의 열상 평균값과 상기 제2 열상 카메라의 열상 평균값을 비교하여 차이 값을 출력하는 단계;
    소정의 온도와 관련해서는 상기 출력하는 단계에서 출력된 상기 차이 값을 이용하여 상기 제1 열상 카메라 및 상기 제2 열상 카메라의 각 오프셋을 보정하고 그리고 상기 소정의 온도와 다른 특정 온도와 관련해서는 상기 출력하는 단계에서 출력된 상기 차이 값을 이용하여 상기 제1 열상 카메라 및 상기 제2 열상 카메라의 각 게인을 보정하여 오프셋과 게인에 대해 새로운 설정 값을 설정하는 단계; 및
    상기 출력하는 단계에서 출력된 상기 차이 값을 상기 차이 값에 따라 다른 컬러, 수치 또는 기타 문자로 표시하는 단계를 포함하는 것을 특징으로 하는, 멀티 열상 카메라의 멀티 감응 보정 방법.
  7. 제6항에 있어서,
    상기 산출하는 단계는 적어도 하나 이상의 프레임의 전체 화소들로부터 평균값을 산출하는 것을 특징으로 하는, 멀티 열상 카메라의 멀티 감응 보정 방법.
  8. 제6항에 있어서,
    상기 산출하는 단계는 적어도 하나 이상의 프레임의 일부 화소들로부터 평균값을 산출하는 것을 특징으로 하는, 멀티 열상 카메라의 멀티 감응 보정 방법.
  9. 삭제
  10. 제7항 또는 제8항에 있어서,
    상기 출력하는 단계에서 출력된 상기 차이 값을 미리 정의된 테이블 또는 산술적으로 추출된 값을 이용하여 보정하는 단계를 더 포함하는 것을 특징으로 하는, 멀티 열상 카메라의 멀티 감응 보정 방법.
KR1020180089213A 2018-07-31 2018-07-31 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법 KR102053307B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180089213A KR102053307B1 (ko) 2018-07-31 2018-07-31 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180089213A KR102053307B1 (ko) 2018-07-31 2018-07-31 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102053307B1 true KR102053307B1 (ko) 2020-01-07

Family

ID=69153528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180089213A KR102053307B1 (ko) 2018-07-31 2018-07-31 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102053307B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101012691B1 (ko) 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
KR101207343B1 (ko) * 2012-08-30 2012-12-04 재단법인대구경북과학기술원 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101012691B1 (ko) 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
KR101207343B1 (ko) * 2012-08-30 2012-12-04 재단법인대구경북과학기술원 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라

Similar Documents

Publication Publication Date Title
US10694120B2 (en) Methods for producing a temperature map of a scene
CN107292860B (zh) 一种图像处理的方法及装置
US10841508B2 (en) Electrical cabinet infrared monitor systems and methods
CN113014753B (zh) 具有光传感器的视频摄像机系统和操作视频摄像机的方法
JP6530751B2 (ja) 画像処理装置、撮像装置、情報処理装置、画像処理方法およびプログラム
US20170179912A1 (en) Gain calibration for an imaging system
US10848725B2 (en) Color display modes for a thermal imaging system
CN108600725A (zh) 一种基于rgb-ir图像数据的白平衡校正装置及方法
WO2012004910A1 (ja) 撮像装置および色温度算出方法
WO2016022374A1 (en) Local contrast adjustment for digital images
CN112532898B (zh) 双模态红外仿生视觉传感器
US20160323525A1 (en) Compact row column noise filter for an imaging system
CN111837155A (zh) 图像处理方法及设备
EP2939414A1 (en) Electrical cabinet infrared monitor systems and methods
JP2008099218A (ja) 目標物検出装置
US10230912B2 (en) Fixed pattern noise mitigation for a thermal imaging system
CN113556526B (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
US8841601B2 (en) Non-linear calibration of a microbolometer included in an infrared imaging system
JP2019068272A (ja) 周辺監視装置およびその校正方法
RU2543985C1 (ru) Способ формирования сигналов телевизионных изображений различных участков спектра
KR102053307B1 (ko) 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법
JP6534824B2 (ja) 撮像装置、および撮像装置の制御方法
JP2010272934A (ja) カラーバランス調整装置
CN112217962B (zh) 摄像机及图像生成方法
KR101731287B1 (ko) 적외선 디텍터의 출력 보정 방법 및 장치

Legal Events

Date Code Title Description
GRNT Written decision to grant