KR20220152869A - 열영상 카메라 및 그의 열영상 처리 방법 - Google Patents

열영상 카메라 및 그의 열영상 처리 방법 Download PDF

Info

Publication number
KR20220152869A
KR20220152869A KR1020210060340A KR20210060340A KR20220152869A KR 20220152869 A KR20220152869 A KR 20220152869A KR 1020210060340 A KR1020210060340 A KR 1020210060340A KR 20210060340 A KR20210060340 A KR 20210060340A KR 20220152869 A KR20220152869 A KR 20220152869A
Authority
KR
South Korea
Prior art keywords
histogram
sub
thermal image
smoothing algorithm
blending ratio
Prior art date
Application number
KR1020210060340A
Other languages
English (en)
Inventor
허진욱
이기림
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020210060340A priority Critical patent/KR20220152869A/ko
Priority to US17/495,975 priority patent/US11721004B2/en
Publication of KR20220152869A publication Critical patent/KR20220152869A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/2251—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예는, 원 열영상에 대한 원 히스토그램의 분석 결과를 기초로, 서로 다른 제1 평활화 알고리즘과 제2 평활화 알고리즘의 블렌딩 비율을 결정하는 단계; 상기 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제1 보정 열영상을 생성하는 단계; 상기 제1 보정 열영상에 대한 보정 히스토그램과 상기 원 히스토그램의 비교에 의해 상기 블렌딩 비율을 조절하는 단계; 및 상기 조절된 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제2 보정 열영상을 생성하는 단계;를 포함하는 열영상 처리 방법을 개시한다.

Description

열영상 카메라 및 그의 열영상 처리 방법{Thermal Camera and Method for Processing Thermal image thereof}
본 발명의 실시예는 열영상 카메라 및 그의 열영상 처리 방법에 관한 것이다.
최근 감시 시스템에 있어서, 열영상 카메라를 이용하여 감시를 수행하거나, 일반 카메라와 열영상 카메라를 함께 사용하는 경우가 많아지고 있다.
감시 환경이나 목적에 따라 열영상 카메라를 이용하는 경우, 열영상 데이터를 사용자가 이용할 수 있는 형태로 처리가 필요하다.
본 발명의 실시예들은 열영상 카메라의 설치 환경에 따라 열영상 데이터를 처리하는 히스토그램 평활화 방법과 비율을 조절함으로써 디테일 요소의 손실을 최소화하면서 최적으로 콘트라스트가 개선된 열영상을 제공하고자 한다.
본 발명의 일 실시예에 따른 열영상 처리 방법은, 원 열영상에 대한 원 히스토그램의 분석 결과를 기초로, 서로 다른 제1 평활화 알고리즘과 제2 평활화 알고리즘의 블렌딩 비율을 결정하는 단계; 상기 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제1 보정 열영상을 생성하는 단계; 상기 제1 보정 열영상에 대한 보정 히스토그램과 상기 원 히스토그램의 비교에 의해 상기 블렌딩 비율을 조절하는 단계; 및 상기 조절된 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제2 보정 열영상을 생성하는 단계;를 포함한다.
상기 블렌딩 비율 결정 단계는, 상기 원 히스토그램을 상기 원 열영상에서 디테일 요소가 많은 제1영역에 대응하는 제2 서브 히스토그램과 상기 제1영역 외의 제2영역에 대응하는 제1 서브 히스토그램으로 구분하는 단계; 및 상기 제1 서브히스토그램과 상기 제2 서브히스토그램의 비율을 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘의 블렌딩 비율로 결정하는 단계;를 포함할 수 있다.
상기 히스토그램 구분 단계는, 서브 히스토그램의 수평축에서 최소 인덱스와 최대 인덱스의 차이인 분포 갭이 임계값보다 작으면 상기 제1 서브 히스토그램으로 구분하고, 분포 갭이 상기 임계값 이상이면 상기 제2 서브 히스토그램으로 구분하는 단계;를 포함할 수 있다.
상기 제1 서브히스토그램과 상기 제2 서브히스토그램의 비율은 상기 제1 서브 히스토그램의 발생 빈도들의 합과 상기 제2 서브 히스토그램의 발생 빈도들의 합의 비율일 수 있다.
상기 블렌딩 비율 조절 단계는, 상기 보정 히스토그램에서 상기 제1 서브 히스토그램에 대응하는 대응 제1 서브 히스토그램과 상기 제2 서브 히스토그램에 대응하는 대응 제2 서브 히스토그램의 제2 특성 데이터를 검출하는 단계; 및 상기 제1 서브 히스토그램과 상기 제2 서브 히스토그램의 제1 특성 데이터와 상기 제2 특성 데이터의 비교에 의해 상기 블렌딩 비율을 조절하는 단계;를 포함할 수 있다.
제1 특성 데이터와 상기 제2 특성 데이터의 비교는, 상기 제1 서브 히스토그램의 분포 갭과 상기 대응 제1 서브 히스토그램의 분포 갭의 비교 및 상기 제2 서브 히스토그램의 분포 갭과 상기 대응 제2 서브 히스토그램의 분포 갭의 비교를 포함할 수 있다.
상기 방법은, 상기 보정 히스토그램에서 상기 대응 제1 서브 히스토그램과 상기 대응 제2 서브 히스토그램의 쏠림 및 클립 정도를 검출하는 단계; 및 상기 쏠림 또는 클립 정도에 따라 상기 대응 제1 서브 히스토그램과 상기 대응 제2 서브 히스토그램의 게인을 조절하는 단계;를 더 포함할 수 있다.
상기 제1 평활화 알고리즘은 히스토그램에서 발생 빈도가 많은 영역을 기준으로 히스토그램을 평활화하는 방법이고, 상기 제2 평활화 알고리즘은 디테일 요소가 많은 영역을 기준으로 히스토그램을 평활화하는 방법일 수 있다.
본 발명의 일 실시예에 따른 열영상 카메라는, 디텍터; 및 상기 디텍터로부터 입력되는 화소 밝기값을 이용하여 열영상을 생성하는 프로세서;를 포함하고, 상기 프로세서는, 원 열영상에 대한 원 히스토그램의 분석 결과를 기초로, 서로 다른 제1 평활화 알고리즘과 제2 평활화 알고리즘의 블렌딩 비율을 결정하고, 상기 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제1 보정 열영상을 생성하고, 상기 제1 보정 열영상에 대한 보정 히스토그램과 상기 원 히스토그램의 비교에 의해 상기 블렌딩 비율을 조절하고, 상기 조절된 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제2 보정 열영상을 생성한다.
상기 프로세서는, 상기 원 히스토그램을 디테일 요소가 많은 제1영역에 대응하는 제2 서브 히스토그램과 상기 제1영역 외의 제2영역에 대응하는 제1 서브 히스토그램으로 구분하고, 상기 제1 서브히스토그램과 상기 제2 서브히스토그램의 비율을 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘의 블렌딩 비율로 결정할 수 있다.
상기 프로세서는, 서브 히스토그램의 수평축에서 최소 인덱스와 최대 인덱스의 차이인 분포 갭이 임계값보다 작으면 상기 제1 서브 히스토그램으로 구분하고, 분포 갭이 상기 임계값 이상이면 상기 제2 서브 히스토그램으로 구분할 수 있다.
상기 제1 서브히스토그램과 상기 제2 서브히스토그램의 비율은 상기 제1 서브 히스토그램의 발생 빈도들의 합과 상기 제2 서브 히스토그램의 발생 빈도들의 합의 비율일 수 있다.
상기 프로세서는, 상기 보정 히스토그램에서 상기 제1 서브 히스토그램에 대응하는 대응 제1 서브 히스토그램과 상기 제2 서브 히스토그램에 대응하는 대응 제2 서브 히스토그램의 제2 특성 데이터를 검출하고, 상기 제1 서브 히스토그램과 상기 제2 서브 히스토그램의 제1 특성 데이터와 상기 제2 특성 데이터의 비교에 의해 상기 블렌딩 비율을 조절할 수 있다.
제1 특성 데이터와 상기 제2 특성 데이터의 비교는, 상기 제1 서브 히스토그램의 분포 갭과 상기 대응 제1 서브 히스토그램의 분포 갭의 비교 및 상기 제2 서브 히스토그램의 분포 갭과 상기 대응 제2 서브 히스토그램의 분포 갭의 비교를 포함할 수 있다.
상기 프로세서는, 상기 보정 히스토그램에서 상기 대응 제1 서브 히스토그램과 상기 대응 제2 서브 히스토그램의 쏠림 및 클립 정도를 검출하고, 상기 쏠림 또는 클립 정도에 따라 상기 대응 제1 서브 히스토그램과 상기 대응 제2 서브 히스토그램의 게인을 조절할 수 있다.
상기 제1 평활화 알고리즘은 히스토그램에서 발생 빈도가 많은 영역을 기준으로 히스토그램을 평활화하는 방법이고, 상기 제2 평활화 알고리즘은 디테일 요소가 많은 영역을 기준으로 히스토그램을 평활화하는 방법일 수 있다.
본 발명의 실시예들은 열영상 카메라의 설치 환경에 따라 열영상 데이터를 처리하는 히스토그램 평활화 방법과 히스토그램 평활화 방법의 적용 비율을 조절함으로써 디테일 요소의 손실을 최소화하면서 최적으로 콘트라스트가 개선된 열영상을 제공할 수 있다.
도 1은 일 실시예에 따른 열영상 카메라를 개략적으로 나타낸 도면이다.
도 2는 일 실시예에 따른 프로세서의 구성을 개략적으로 나타낸 도면이다.
도 3a는 원 열영상 및 원 열영상의 원 히스토그램을 나타낸 예시도이다.
도 3b는 일 실시예에 따라 원 열영상에 제1 평활화 알고리즘이 적용된 보정 열영상 및 그에 대한 히스토그램을 나타낸 도면이다.
도 3c는 일 실시예에 따라 원 열영상에 제2 평활화 알고리즘이 적용된 보정 열영상 및 그에 대한 히스토그램을 나타낸 도면이다.
도 4는 일 실시예에 따라 원 히스토그램에서 서브 히스토그램을 구분하는 예를 나타낸 도면이다.
도 5는 일 실시예에 따른 제1 보정 열영상 및 제1 보정 열영상에 대한 보정 히스토그램을 나타낸 도면이다.
도 6은 일 실시예에 따른 블렌딩 비율 조절을 위한 히스토그램의 특성 데이터 비교를 설명하는 도면이다.
도 7은 일 실시예에 따른 열영상 처리 방법을 개략적으로 설명하는 도면이다.
도 8은 일 실시예에 따른 열영상 카메라를 개략적으로 나타낸 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
도 1은 일 실시예에 따른 열영상 카메라를 개략적으로 나타낸 도면이다.
열영상 카메라(1)는 물체가 발산하는 복사 에너지(열에너지)를 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상의 열영상을 생성할 수 있다. 열영상은 물체 표면을 온도의 높낮이에 따라 서로 다른 색으로 매핑하여 표현할 수 있다. 열영상 카메라(1)는 특정 장소의 고정된 위치에 배치되고, 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 가질 수 있다. 열영상 카메라(1)는 할당된 감시영역을 촬영하여 열영상을 획득할 수 있다.
도 1을 참조하면, 열영상 카메라(1)는 입력부(10), 프로세서(30), 출력부(50) 및 저장부(70)를 포함할 수 있다.
입력부(10)는 유효 파장대역(예를 들어, 적외선 파장대역)에서의 에너지를 투과/집광하는 렌즈, 유효 파장대역의 에너지를 검출하는 열영상 센서(디텍터), 열영상 센서에서 출력되는 아날로그 신호를 디지털화하는 ADC(Analogue-Digital Converter)를 포함할 수 있다. 입력부(10)는 소정의 필터 등을 더 포함할 수 있다. 열영상 센서는 컬러영상 카메라의 영상센서, 예를 들어, CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor)에 대응하는 구성일 수 있다. 열영상 센서는 적외선 파장을 감지할 수 있는 물질로 만들어지는 마이크로미터 단위 크기의 화소로 구성되는 초점면 배열체(FPA: focal plane array)일 수 있다. 이하, 각 화소가 출력하는 적외선 에너지의 크기를 나타내는 값을 '화소 밝기값'이라고 칭한다. ADC는 열영상 센서가 출력하는 아날로그 신호인 화소 밝기값을 디지털 신호로 변환할 수 있다.
프로세서(30)는 입력부(10)로부터 출력되는 화소 밝기값을 이용하여 열영상을 생성할 수 있다. 프로세서(30)는 열영상 데이터에 화질 개선을 위한 다양한 데이터처리를 수행할 수 있다. 프로세서(30)는 열영상 데이터에 히스토그램 평활화(Histogram Equlization) 및/또는 히스토그램 스트레칭(Histogram Stretching)을 수행하여 열영상의 화질을 향상시킬 수 있다.
프로세서(30)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 프로세서(30)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array), ISP(image signal processor) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
출력부(50)는 프로세서(30)에 의한 데이터 처리 결과를 표시하는 디스플레이를 포함할 수 있다. 디스플레이는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다.
저장부(70)는 프로세서(30)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 프로세서(30)의 입출력 데이터들(예를 들어, 열영상 등)을 저장할 수도 있다. 저장부(70)는 RAM(random access memory), ROM(read-only component) 및 이들의 조합으로 구성되는 메모리를 포함할 수 있다. 저장부(70)는 하드 디스크 드라이브, 광디스크 드라이브, SSD(solid-state memory device) 등을 포함하는 대용량 저장장치일 수 있다. 저장부(70)는 카메라(1)에 내장되거나 또는 장착가능하게 구비될 수 있다.
도 2는 일 실시예에 따른 프로세서의 구성을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 프로세서(30)는 전처리부(302) 및 비율조절부(306)를 포함할 수 있다.
전처리부(302)는 원 열영상 데이터에 히스토그램 평활화 및/또는 히스토그램 스트레칭을 수행하여 원 열영상의 화소 밝기값의 분포를 조절함으로써 콘트라스트를 개선할 수 있다. 히스토그램은 화소 밝기값을 수평축으로 하고, 각 화소 밝기값의 발생 빈도(또는 화소 개수)를 수직축으로 하는 열영상의 화소 밝기값의 분포를 나타낸 그래프로 정의될 수 있다.
전처리부(302)는 복수의 히스토그램 평활화 알고리즘들을 이용하여 원 열영상을 전처리함으로써 콘트라스트가 개선된 보정 열영상을 생성할 수 있다. 전처리부(302)는 비율조절부(306)로부터 수신한 블렌딩 비율 제어신호에 따라 원 열영상에 서로 다른 복수의 히스토그램 평활화 알고리즘들을 적용하여 보정 열영상을 생성할 수 있다.
전처리부(302)는 블렌딩 비율에 따라, 서로 다른 제1 평활화 알고리즘 및 제2 평활화 알고리즘 각각의 적용 비율(정도)을 조절하여 원 열영상을 보정한 보정 열영상을 생성할 수 있다.
제1 평활화 알고리즘은 히스토그램에서 발생 빈도가 많은 영역을 기준으로 히스토그램을 평활화하는 방법일 수 있다. 제1 평활화 알고리즘은 누적분포함수를 이용하여 히스토그램을 평활화할 수 있다. 또한 제1 평활화 알고리즘은 전역적 또는 지역적으로 발생 빈도에 상한을 설정하여 히스토그램을 평활화할 수 있다. 일 실시예에서, 제1 평활화 알고리즘은 콘트라스트 제한 히스토그램 평활화(Contrast Limited Histogram Equalization) 알고리즘일 수 있다. 콘트라스트 제한 히스토그램 평활화는 히스토그램의 수직축의 크기를 특정값으로 제한하여 특정값 이상의 화소 밝기값을 재분배함으로써 히스토그램을 평활화하는 것이다. 본 발명의 실시예에서 제1 평활화 알고리즘은 공지된 콘트라스트 제한 히스토그램 평활화, 콘트라스트 제한 적응적 히스토그램 평활화 등을 이용할 수 있다.
제2 평활화 알고리즘은 디테일 요소를 고려하여 히스토그램을 평활화하는 방법일 수 있다. 제2 평활화 알고리즘은 영상의 디테일 요소의 손실을 최소화하는 히스토그램 평활화 방법일 수 있다. 제2 평활화 알고리즘은 영상의 에지 데이터를 이용하여, 관심영역, 움직임 영역, 고주파 영역 등을 디테일 요소가 많은, 즉 상세 정보가 요구되는 디테일 영역으로 검출하고, 디테일 영역의 히스토그램을 기준으로 히스토그램 평활화를 수행할 수 있다.
본 발명의 실시예에서 영상의 디테일 요소를 기반으로 하는 평활화 알고리즘은 특별히 한정되지 않으며, 제1 평활화 알고리즘 대비 영상의 디테일 요소의 손실이 적은 공지된 히스토그램 평활화 알고리즘이 이용될 수 있다. 예를 들어, 공지된 복수의 상이한 히스토그램 평활화 알고리즘들 중 디테일 요소를 고려하지 않고 비교적 연산 방법이 간단한 히스토그램 평활화를 제1 평활화 알고리즘으로 이용하고, 제1 평활화 알고리즘 대비 디테일 요소의 손실이 상대적으로 적은 히스토그램 평활화를 제2 평활화 알고리즘으로 이용할 수 있다.
비율조절부(306)는 원 열영상으로부터 산출된 원 히스토그램을 분석하여 제1 평활화 알고리즘과 제2 평활화 알고리즘 각각의 적용 비율, 즉 블렌딩 비율을 1차 결정할 수 있다.
비율조절부(306)는 원 히스토그램을 디테일 영역(제1영역)에 대응하는 서브 히스토그램(제2 서브 히스토그램)과 그 외의 영역(제2영역)에 대응하는 서브 히스토그램(제1 서브 히스토그램)으로 분류할 수 있다.
비율조절부(306)는 원 히스토그램에서 발생 빈도가 없거나 최소인 수평축의 인덱스를 기준으로 서브 히스토그램을 구분할 수 있다. 또는 비율조절부(306)는 발생 빈도가 큰 수평축의 인덱스를 기준으로 서브 히스토그램을 구분할 수 있다. 비율조절부(306)는 각 서브 히스토그램으로부터 특성 데이터를 검출할 수 있다. 특성 데이터는 서브 히스토그램의 수평축에서 최소 인덱스와 최대 인덱스, 및 최소 인덱스와 최대 인덱스의 차이(이하 '분포 갭'이라 함)를 포함할 수 있다.
비율조절부(306)는 서브 히스토그램의 분포 갭이 임계값보다 작으면 제1 서브히스토그램으로 분류하고, 분포 갭이 임계값 이상이면 제2 서브 히스토그램으로 분류할 수 있다. 분포 갭이 임계값보다 작으면, 하늘, 터널 내부, 벽면 등 디테일 요소가 적고 온도 분포가 좁은 영역으로 판단할 수 있다. 분포 갭이 임계값 이상이면 건물이나 도로 등 디테일 요소가 많고 온도 분포가 넓은 영역으로 판단할 수 있다.
비율조절부(306)는 제1 서브히스토그램과 제2 서브히스토그램의 비율을 제1 평활화 알고리즘과 제2 평활화 알고리즘의 1차 블렌딩 비율로 결정할 수 있다. 제1 서브히스토그램과 제2 서브히스토그램의 비율은 제1 서브 히스토그램의 양과 제2 서브 히스토그램의 양을 기초로 결정할 수 있다. 비율조절부(306)는 제1 서브 히스토그램들의 발생 빈도들의 합, 즉 제1 서브 히스토그램들의 화소 밝기값들을 갖는 화소 개수의 합(제1 화소수)을 제1 서브 히스토그램의 양으로 산출할 수 있다. 비율조절부(306)는 제2 서브 히스토그램들의 발생 빈도들의 합, 즉 제2 서브 히스토그램들의 화소 밝기값들을 갖는 화소 개수의 합(제2 화소수)을 제2 서브 히스토그램의 양으로 산출할 수 있다.
비율조절부(306)는 제1 화소수와 제2 화소수의 비율을 제1 평활화 알고리즘과 제2 평활화 알고리즘의 1차 블렌딩 비율로 결정할 수 있다. 예를 들어, 제1 화소수와 제2 화소수의 비율이 m:n인 경우 제1 평활화 알고리즘과 제2 평활화 알고리즘의 1차 블렌딩 비율은 m:n으로 결정될 수 있다.
비율조절부(306)는 1차 블렌딩 비율을 포함하는 제어신호를 전처리부(302)로 출력할 수 있다.
전처리부(302)는 1차 블렌딩 비율에 따라 제1 평활화 알고리즘과 제2 평활화 알고리즘을 적용하여 원 히스토그램을 평활화함으로써 제1 보정 열영상을 생성할 수 있다. 일 실시예에서, 전처리부(302)는 블렌딩 비율을 가중치로 하여 제1 평활화 알고리즘이 적용된 보정 열영상과 제2 평활화 알고리즘이 적용된 보정 열영상을 가중합함으로써 제1 보정 열영상을 생성할 수 있다.
비율조절부(306)는 제1 보정 열영상에 대한 보정 히스토그램과 원 히스토그램의 비교에 의해 블렌딩 비율을 조절할 수 있다. 서브 히스토그램의 분포 갭을 기준으로 구분하여 1차 블렌딩 비율이 결정됨에 따라, 발생 빈도가 높은 제1영역의 서브 히스토그램이 제1 서브 히스토그램으로 오분류될 수 있고, 히스토그램의 양에 의한 단순 비율로 블렌딩할 경우 화질 개선 정도가 명확하지 않을 수 있다. 본 발명의 실시예는 1차 블렌딩 비율에 따라 생성된 제1 보정 열영상에 대한 보정 히스토그램의 분석을 통해, 1차 블렌딩 비율을 조절함으로써 보다 화질이 개선된 보정 열영상을 생성할 수 있다.
비율조절부(306)는 보정 히스토그램에서 원 히스토그램의 각 서브 히스토그램에 대응하는 대응 서브 히스토그램으로부터 특성 데이터를 검출할 수 있다. 비율조절부(306)는 원 히스토그램의 특성 데이터와 보정 히스토그램의 특성 데이터 간의 변화를 검출할 수 있다. 비율조절부(306)는 원 히스토그램의 서브 히스토그램의 특성 데이터와 대응 서브 히스토그램의 특성 데이터 간의 변화를 검출할 수 있다.
비율조절부(306)는 원 히스토그램에서 제1 서브 히스토그램의 분포 갭과 대응 제1 서브 히스토그램의 분포 갭의 비교, 제2 서브 히스토그램의 분포 갭과 대응 제2 서브 히스토그램의 분포 갭의 비교에 의해 히스토그램 평활화에 의한 특성 데이터의 변화를 검출할 수 있다. 비율조절부(305)는 원 히스토그램과 보정 히스토그램의 대응하는 서브 히스토그램들 간의 분포 갭의 비교 결과를 기초로, 대응 제1 서브 히스토그램의 분포 갭의 비율 증감 및 대응 제2 서브 히스토그램의 분포 갭의 비율 증감을 기초로 특성 데이터의 변화를 검출할 수 있다. 예컨대, 비율조절부(305)는 원 히스토그램에서 제1 서브 히스토그램과 제2 서브 히스토그램의 분포 갭의 비율 대비 보정 히스토그램에서 대응 제1 서브 히스토그램과 대응 제2 서브 히스토그램의 분포 갭의 비율 변화(증감)를 기초로 특성 데이터의 변화를 검출할 수 있다.
비율조절부(306)는 원 히스토그램과 보정 히스토그램의 특성 데이터 비교 결과를 기초로 보정 히스토그램의 특성이 원 히스토그램의 특성을 유지하도록 블렌딩 비율을 조절할 수 있다. 비율조절부(306)는 1차 블렌딩 비율에서 제1 평활화 알고리즘의 비율을 증가 또는 감소시키거나, 제2 평활화 알고리즘의 비율을 감소 또는 증가시키도록 제어신호를 생성할 수 있다.
비율조절부(306)는 대응 제1 서브 히스토그램과 대응 제2 서브 히스토그램의 쏠림 및 클립 정도 등을 검출할 수 있다. 히스토그램의 쏠림 및 클립에 의해 보정 히스토그램의 형태가 원 히스토그램의 형태와 달라질 수 있다. 비율조절부(306)는 대응 제1 서브 히스토그램과 대응 제2 서브 히스토그램의 쏠림 정도 및 클립 정도를 기초로 히스토그램의 스트레칭 게인을 조절할 수 있다. 스트레칭 게인은 히스토그램 평활화 시 히스토그램의 수평축에서 최소 인덱스와 최대 인덱스의 제한 값일 수 있다. 스트레칭 게인의 증가는 히스토그램 평활화 시 분포 갭이 증가하도록 최소 인덱스와 최대 인덱스를 변경하는 과정일 수 있다. 스트레칭 게인의 감소는 히스토그램 평활화 시 분포 갭이 감소하도록 최소 인덱스와 최대 인덱스를 변경하는 과정일 수 있다.
대응 제1 서브 히스토그램과 대응 제2 서브 히스토그램의 형태가 제1 서브 히스토그램과 제2 서브 히스토그램의 형태를 유지하도록 스트레칭 게인을 조절함으로써 대응 제1 서브 히스토그램과 대응 제2 서브 히스토그램의 과도한 슬라이스(slice) 및/또는 클립(clip)의 발생을 최소화할 수 있다.
도 3a는 원 열영상 및 원 열영상의 원 히스토그램을 나타낸 예시도이다. 도 3a를 참조하면, 하늘과 같이 차가운 영역이 영상의 많은 부분을 차지하고 있어, 히스토그램의 낮은 인덱스 영역에 발생 빈도가 집중되고 있다.
도 3b는 일 실시예에 따라 원 열영상에 제1 평활화 알고리즘이 적용된 보정 열영상 및 그에 대한 히스토그램을 나타낸 도면이다. 도 3b를 참조하면, 발생 빈도 카운트가 많은 하늘 영역(제2영역)을 기준으로 히스토그램 평활화가 수행됨에 따라 하늘 외의 건물/도로 영역(제1영역)이 포화되어 대조비(콘트라스트)가 약해져 건물/도로 영역(제1영역)의 디테일 요소가 손실될 수 있다.
도 3c는 일 실시예에 따라 원 열영상에 제2 평활화 알고리즘이 적용된 보정 열영상 및 그에 대한 히스토그램을 나타낸 도면이다. 도 3c를 참조하면, 건물/도로 영역(제1영역)을 기준으로 히스토그램 평활화가 수행됨에 따라 건물/도로 영역(제1영역)의 대조비는 잘 표현되나, 하늘 영역(제2영역)이 열화되어 하늘 영역의 디테일 요소가 손실될 수 있다.
도 4는 일 실시예에 따라 원 히스토그램에서 서브 히스토그램을 구분하는 예를 나타낸 도면이다. 도 4는 원 열영상에서 디테일 영역(제1영역)에 대응하는 제2 서브 히스토그램(SH2)과 그 외 영역(제2영역)에 대응하는 제1 서브 히스토그램(SH1)을 구분한 예이다. 서브 히스토그램의 분포 갭(G)이 임계값보다 작으면 제1 서브 히스토그램(SH1)으로 분류되고, 분포 갭(G)이 임계값 이상이면 제2 서브 히스토그램(SH2)으로 분류될 수 있다. 도 4에서는 하늘 영역(제2영역)이 제1 서브 히스토그램(SH1)으로 분류되고, 건물/도로 영역(제1영역)이 제2 서브 히스토그램(SH2)으로 분류되고 있다. 제1 서브 히스토그램(SH1)의 분포 갭(CG)이 제2 서브 히스토그램(SH2)의 분포 갭(DG) 보다 작다.
도 5는 일 실시예에 따른 제1 보정 열영상 및 제1 보정 열영상에 대한 보정 히스토그램을 나타낸 도면이다. 도 5를 참조하면, 블렌딩 비율에 따라 원 열영상에 제1 평활화 알고리즘과 제2 평활화 알고리즘을 각각 적용하여 생성된 제1 보정 열영상은 도 3a의 원 열영상에 비해 제1영역과 제2영역의 대조비가 향상되었음을 알 수 있다.
도 6은 일 실시예에 따른 블렌딩 비율 조절을 위한 히스토그램의 비교를 설명하는 도면이다.
좌측의 원 히스토그램에서, 제1 서브 히스토그램(SH1)의 수평축의 최소 인덱스(Cmin)와 최대 인덱스(Cmax)의 차이인 제1 분포 갭(CG1), 제2 서브 히스토그램(SH2)의 수평축의 최소 인덱스(Dmin)와 최대 인덱스(Dmax)의 차이인 제2 분포 갭(DG1)이 각각 검출될 수 있다. 또한 우측의 보정 히스토그램에서, 대응 제1 서브 히스토그램(SH1')의 수평축의 최소 인덱스(Cmin')와 최대 인덱스(Cmax')의 차이인 제3 분포 갭(CG2), 대응 제2 서브 히스토그램(SH2')의 수평축의 최소 인덱스(Dmin')와 최대 인덱스(Dmax')의 차이인 대응 제4 분포 갭(DG2)이 각각 검출될 수 있다.
도 6을 참조하면, 원 히스토그램에서 제1 분포 갭(CG1)보다 제2 분포 갭(DG1)이 크다. 반면, 원 히스토그램 대비 보정 히스토그램에서는 제3 분포 갭(CG2)이 제4 분포 갭(DG2)보다 커짐으로써, 제1 분포 갭(CG1)과 제2 분포 갭(DG1)의 비율 대비 제3 분포 갭(CG2)과 제4 분포 갭(DG2)의 비율이 역전되었음을 알 수 있다. 또한 대응 제2 서브 히스토그램(SH2')이 우측으로 쏠림으로써 클립되어 대응 제2 서브 히스토그램(SH2')의 전체적인 형태가 제2 서브 히스토그램(SH2)의 전체적인 형태와 상이해졌음을 알 수 있다.
비율조절부(306)는 제3 분포 갭(CG2)보다 제4 분포 갭(DG2)이 증가하고, 제3 분포 갭(CG2)과 제4 분포 갭(DG2)의 비율이 제1 분포 갭(CG1)과 제2 분포 갭(DG1)의 비율을 유지하도록 블렌딩 비율을 조절할 수 있다. 예를 들어, 비율조절부(306)는 제3 분포 갭(CG2)보다 제4 분포 갭(DG2)이 증가하도록 제1 평활화 알고리즘 대비 제2 평활화 알고리즘의 비율을 증가시킬 수 있다.
또한 비율조절부(306)는 대응 제2 서브 히스토그램(SH2')의 쏠림을 최소화하여 대응 제2 서브 히스토그램(SH2')의 전체적인 형태가 제2 서브 히스토그램(SH2)의 전체적인 형태를 유지하도록 스트레칭 게인을 조절할 수 있다. 예를 들어, 비율조절부(306)는 대응 제2 서브 히스토그램(SH2')의 최소 인덱스(Dmin')와 최대 인덱스(Dmax')를 변경하여 제4 분포 갭(DG2)을 조절할 수 있다.
전처리부(302)와 비율조절부(306)는 보정 히스토그램의 특성이 원 히스토그램의 특성이 될 때까지 반복하여 제1 보정 열영상 생성 및 보정 히스토그램의 분석에 의한 블렌딩 비율을 조절할 수 있다.
본 발명의 실시예는 히스토그램의 분석을 통해 제1 평활화 알고리즘과 제2 평활화 알고리즘의 최적 블렌딩 비율을 찾아 원 열영상의 히스토그램을 평활화함으로써 제1영역과 제2영역 모두에서 디테일 요소의 손실을 최소화할 수 있다.
도 7은 일 실시예에 따른 열영상 처리 방법을 개략적으로 설명하는 도면이다. 도 7의 열영상 처리 방법은 도 1에 도시된 열영상 카메라(1)의 프로세서(30)에 의해 수행될 수 있다. 이하, 도 1 내지 도 6을 참조하여 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.
프로세서(30)는 원 열영상에 대한 원 히스토그램을 분석하고, 분석 결과를 기초로 서로 다른 제1 평활화 알고리즘과 제2 평활화 알고리즘의 적용 정도인 블렌딩 비율을 결정할 수 있다. 제1 평활화 알고리즘은 히스토그램에서 발생 빈도가 많은 영역을 기준으로 히스토그램을 평활화하는 방법이고, 제2 평활화 알고리즘은 디테일 요소가 많은 영역을 기준으로 히스토그램을 평활화하는 방법일 수 있다.
프로세서(30)는 원 히스토그램을 디테일 요소가 많은 제1영역에 대응하는 제2 서브 히스토그램과 제1영역 외의 제2영역에 대응하는 제1 서브 히스토그램으로 구분할 수 있다(S71). 프로세서(30)는 분포 갭이 임계값보다 작은 제1 서브 히스토그램과 분포 갭이 임계값 이상인 제2 서브 히스토그램으로 구분할 수 있다.
프로세서(30)는 제1 서브 히스토그램과 제2 서브 히스토그램의 비율을 제1 평활화 알고리즘과 제2 평활화 알고리즘의 블렌딩 비율로 결정할 수 있다(S73).
프로세서(30)는 블렌딩 비율에 따라 원 열영상에 제1 평활화 알고리즘과 제2 평활화 알고리즘이 적용된 제1 보정 열영상을 생성할 수 있다(S75).
프로세서(30)는 제1 보정 열영상에 대한 보정 히스토그램과 원 히스토그램의 비교에 의해 블렌딩 비율을 조절할 수 있다(S77). 프로세서(30)는 원 히스토그램의 특성 데이터와 보정 히스토그램의 특성 데이터 간의 변화를 검출할 수 있다. 프로세서(30)는 원 히스토그램의 서브 히스토그램의 특성 데이터와 대응 서브 히스토그램의 특성 데이터 간의 변화를 검출할 수 있다. 프로세서(30)는 보정 히스토그램의 특성이 원 히스토그램의 특성을 유지하도록 블렌딩 비율을 조절할 수 있다. 프로세서(30)는 보정 히스토그램의 특성이 원 히스토그램의 특성이 될 때까지 반복하여 생성되는 제1 보정 열영상을 분석함으로써 블렌딩 비율을 조절할 수 있다.
또한 프로세서(30)는 보정 히스토그램과 원 히스토그램의 비교에 의해 스트레칭 게인을 조절할 수 있다. 프로세서(30)는 보정 히스토그램에서 히스토그램의 쏠림 및 클립 정도를 검출하고, 쏠림 또는 클립 정도에 따라 히스토그램의 스트레칭 게인을 조절할 수 있다. 프로세서(30)는 보정 히스토그램의 쏠림 및 클립을 최소화하여 보정 히스토그램이 원 히스토그램의 형태를 유지하도록 히스토그램의 스트레칭 게인을 조절할 수 있다.
프로세서(30)는 최종적으로 조절된 블렌딩 비율 및 스트레칭 게인에 따라 원 열영상에 제1 평활화 알고리즘과 제2 평활화 알고리즘이 적용된 제2 보정 열영상을 최종 보정 열영상으로 생성할 수 있다(S79).
도 8은 일 실시예에 따른 열영상 카메라를 개략적으로 나타낸 도면이다.
도 8을 참조하면, 열영상 카메라(2)는 디텍터(100), 제1신호처리부(300a), 제2신호처리부(300b), 출력부(500) 및 저장부(700)를 포함할 수 있다. 도 8에 도시된 열영상 카메라(2)는 도 1에 도시된 열영상 카메라(1)와 동일하게 열영상에 히스토그램 평활화를 수행할 수 있다.
디텍터(100)는 도 1의 입력부(10)에 대응하는 구성일 수 있다.
제1신호처리부(300a)는 디텍터(100)로부터 입력되는 화소 밝기값을 이용하여 열영상을 생성할 수 있다. 제1신호처리부(300a)는 원 열영상 데이터에 히스토그램 평활화 및/또는 히스토그램 스트레칭을 수행하여 원 열영상의 화소 밝기값의 분포를 조절함으로써 콘트라스트가 개선된 보정 열영상을 생성할 수 있다.
제2신호처리부(300b)는 히스토그램을 분석하고, 보정 열영상을 생성하기 위한 복수의 히스토그램 평활화 알고리즘들의 적용 비율을 결정할 수 있다. 제2신호처리부(300b)는 히스토그램 평활화가 수행된 보정 열영상에 추가적인 영상처리를 수행할 수 있다.
도 1을 참조로 설명한 바와 같이, 단일 프로세서에 의해 히스토그램 평활화가 수행될 수도 있고, 도 8에 도시된 바와 같이, 제1신호처리부(300a)와 제2신호처리부(300b)가 별도의 프로세서로 구현되어 히스토그램 평활화가 수행될 수 있다. 일 실시예에서, 제1신호처리부(300a)는 FPGA(field programmable gate array)로 구현되고, 제2신호처리부(300b)는 ISP(image signal processor)로 구현될 수 있다.
제1신호처리부(300a)와 제2신호처리부(300b)를 거쳐 신호처리된 열영상은 출력부(500)를 통해 사용자에게 제공될 수 있다.
저장부(700)에는 제1신호처리부(300a)와 제2신호처리부(300b)의 신호처리에 필요한 파라미터들, 원 열영상 및 보정 열영상이 저장될 수 있다.
본 발명의 실시예에 따른 열영상 카메라의 열영상 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 일 측면들은 첨부된 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (16)

  1. 원 열영상에 대한 원 히스토그램의 분석 결과를 기초로, 서로 다른 제1 평활화 알고리즘과 제2 평활화 알고리즘의 블렌딩 비율을 결정하는 단계;
    상기 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제1 보정 열영상을 생성하는 단계;
    상기 제1 보정 열영상에 대한 보정 히스토그램과 상기 원 히스토그램의 비교에 의해 상기 블렌딩 비율을 조절하는 단계; 및
    상기 조절된 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제2 보정 열영상을 생성하는 단계;를 포함하는 열영상 처리 방법.
  2. 제1항에 있어서, 상기 블렌딩 비율 결정 단계는,
    상기 원 히스토그램을 상기 원 열영상에서 디테일 요소가 많은 제1영역에 대응하는 제2 서브 히스토그램과 상기 제1영역 외의 제2영역에 대응하는 제1 서브 히스토그램으로 구분하는 단계; 및
    상기 제1 서브히스토그램과 상기 제2 서브히스토그램의 비율을 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘의 블렌딩 비율로 결정하는 단계;를 포함하는 열영상 처리 방법.
  3. 제2항에 있어서, 상기 히스토그램 구분 단계는,
    서브 히스토그램의 수평축에서 최소 인덱스와 최대 인덱스의 차이인 분포 갭이 임계값보다 작으면 상기 제1 서브 히스토그램으로 구분하고, 분포 갭이 상기 임계값 이상이면 상기 제2 서브 히스토그램으로 구분하는 단계;를 포함하는 열영상 처리 방법.
  4. 제2항에 있어서,
    상기 제1 서브히스토그램과 상기 제2 서브히스토그램의 비율은 상기 제1 서브 히스토그램의 발생 빈도들의 합과 상기 제2 서브 히스토그램의 발생 빈도들의 합의 비율인, 열영상 처리 방법.
  5. 제2항에 있어서, 상기 블렌딩 비율 조절 단계는,
    상기 보정 히스토그램에서 상기 제1 서브 히스토그램에 대응하는 대응 제1 서브 히스토그램과 상기 제2 서브 히스토그램에 대응하는 대응 제2 서브 히스토그램의 제2 특성 데이터를 검출하는 단계; 및
    상기 제1 서브 히스토그램과 상기 제2 서브 히스토그램의 제1 특성 데이터와 상기 제2 특성 데이터의 비교에 의해 상기 블렌딩 비율을 조절하는 단계;를 포함하는 열영상 처리 방법.
  6. 제5항에 있어서,
    제1 특성 데이터와 상기 제2 특성 데이터의 비교는,
    상기 제1 서브 히스토그램의 분포 갭과 상기 대응 제1 서브 히스토그램의 분포 갭의 비교 및 상기 제2 서브 히스토그램의 분포 갭과 상기 대응 제2 서브 히스토그램의 분포 갭의 비교를 포함하는, 열영상 처리 방법.
  7. 제5항에 있어서,
    상기 보정 히스토그램에서 상기 대응 제1 서브 히스토그램과 상기 대응 제2 서브 히스토그램의 쏠림 및 클립 정도를 검출하는 단계; 및
    상기 쏠림 또는 클립 정도에 따라 상기 대응 제1 서브 히스토그램과 상기 대응 제2 서브 히스토그램의 게인을 조절하는 단계;를 더 포함하는 열영상 처리 방법.
  8. 제1항에 있어서,
    상기 제1 평활화 알고리즘은 히스토그램에서 발생 빈도가 많은 영역을 기준으로 히스토그램을 평활화하는 방법이고, 상기 제2 평활화 알고리즘은 디테일 요소가 많은 영역을 기준으로 히스토그램을 평활화하는 방법인, 열영상 처리 방법.
  9. 디텍터; 및
    상기 디텍터로부터 입력되는 화소 밝기값을 이용하여 열영상을 생성하는 프로세서;를 포함하고, 상기 프로세서는,
    원 열영상에 대한 원 히스토그램의 분석 결과를 기초로, 서로 다른 제1 평활화 알고리즘과 제2 평활화 알고리즘의 블렌딩 비율을 결정하고, 상기 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제1 보정 열영상을 생성하고,
    상기 제1 보정 열영상에 대한 보정 히스토그램과 상기 원 히스토그램의 비교에 의해 상기 블렌딩 비율을 조절하고, 상기 조절된 블렌딩 비율에 따라 상기 원 열영상에 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘이 적용된 제2 보정 열영상을 생성하는, 열영상 카메라.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 원 히스토그램을 디테일 요소가 많은 제1영역에 대응하는 제2 서브 히스토그램과 상기 제1영역 외의 제2영역에 대응하는 제1 서브 히스토그램으로 구분하고, 상기 제1 서브히스토그램과 상기 제2 서브히스토그램의 비율을 상기 제1 평활화 알고리즘과 상기 제2 평활화 알고리즘의 블렌딩 비율로 결정하는, 열영상 카메라.
  11. 제10항에 있어서, 상기 프로세서는,
    서브 히스토그램의 수평축에서 최소 인덱스와 최대 인덱스의 차이인 분포 갭이 임계값보다 작으면 상기 제1 서브 히스토그램으로 구분하고, 분포 갭이 상기 임계값 이상이면 상기 제2 서브 히스토그램으로 구분하는, 열영상 카메라.
  12. 제10항에 있어서,
    상기 제1 서브히스토그램과 상기 제2 서브히스토그램의 비율은 상기 제1 서브 히스토그램의 발생 빈도들의 합과 상기 제2 서브 히스토그램의 발생 빈도들의 합의 비율인, 열영상 카메라.
  13. 제10항에 있어서, 상기 프로세서는,
    상기 보정 히스토그램에서 상기 제1 서브 히스토그램에 대응하는 대응 제1 서브 히스토그램과 상기 제2 서브 히스토그램에 대응하는 대응 제2 서브 히스토그램의 제2 특성 데이터를 검출하고, 상기 제1 서브 히스토그램과 상기 제2 서브 히스토그램의 제1 특성 데이터와 상기 제2 특성 데이터의 비교에 의해 상기 블렌딩 비율을 조절하는, 열영상 카메라.
  14. 제13항에 있어서,
    제1 특성 데이터와 상기 제2 특성 데이터의 비교는,
    상기 제1 서브 히스토그램의 분포 갭과 상기 대응 제1 서브 히스토그램의 분포 갭의 비교 및 상기 제2 서브 히스토그램의 분포 갭과 상기 대응 제2 서브 히스토그램의 분포 갭의 비교를 포함하는, 열영상 카메라.
  15. 제13항에 있어서, 상기 프로세서는,
    상기 보정 히스토그램에서 상기 대응 제1 서브 히스토그램과 상기 대응 제2 서브 히스토그램의 쏠림 및 클립 정도를 검출하고, 상기 쏠림 또는 클립 정도에 따라 상기 대응 제1 서브 히스토그램과 상기 대응 제2 서브 히스토그램의 게인을 조절하는, 열영상 카메라.
  16. 제9항에 있어서,
    상기 제1 평활화 알고리즘은 히스토그램에서 발생 빈도가 많은 영역을 기준으로 히스토그램을 평활화하는 방법이고, 상기 제2 평활화 알고리즘은 디테일 요소가 많은 영역을 기준으로 히스토그램을 평활화하는 방법인, 열영상 카메라.
KR1020210060340A 2021-05-10 2021-05-10 열영상 카메라 및 그의 열영상 처리 방법 KR20220152869A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210060340A KR20220152869A (ko) 2021-05-10 2021-05-10 열영상 카메라 및 그의 열영상 처리 방법
US17/495,975 US11721004B2 (en) 2021-05-10 2021-10-07 Thermal camera and method of processing thermal image thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210060340A KR20220152869A (ko) 2021-05-10 2021-05-10 열영상 카메라 및 그의 열영상 처리 방법

Publications (1)

Publication Number Publication Date
KR20220152869A true KR20220152869A (ko) 2022-11-17

Family

ID=83900515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210060340A KR20220152869A (ko) 2021-05-10 2021-05-10 열영상 카메라 및 그의 열영상 처리 방법

Country Status (2)

Country Link
US (1) US11721004B2 (ko)
KR (1) KR20220152869A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974465B (zh) * 2024-03-31 2024-06-14 天津市胸科医院 一种胸部ct图像处理方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI517097B (zh) * 2013-03-06 2016-01-11 晨星半導體股份有限公司 增強影像對比之方法及裝置以及非暫時性計算機可讀媒體
WO2016022374A1 (en) * 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images
EP3142355B1 (en) 2015-09-08 2017-10-25 Axis AB Method and apparatus for enhancing local contrast in a thermal image
KR20190081760A (ko) 2017-12-29 2019-07-09 에스엘 주식회사 이미지 보정 장치
KR102622112B1 (ko) 2019-01-11 2024-01-05 한화비전 주식회사 열화상 처리 방법 및 그 장치
US11049226B1 (en) * 2019-04-23 2021-06-29 Bae Systems Information And Electronics Systems Integration Inc. Median based frequency separation local area contrast enhancement

Also Published As

Publication number Publication date
US11721004B2 (en) 2023-08-08
US20220358628A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
US9710715B2 (en) Image processing system, image processing device, and image processing method
US9113114B2 (en) Apparatus and method for automatically controlling image brightness in image photographing device
US11159711B2 (en) Image-capturing apparatus
US8494267B2 (en) Image processing device, image processing method, and program for normalizing a histogram
KR102207939B1 (ko) 안개 제거 시스템 및 안개 제거 방법
US20090095880A1 (en) Autofocus control circuit, autofocus control method and image pickup apparatus
US9846925B2 (en) Defog system and defog method
US10475188B2 (en) Image processing device and image enhancing method
KR101955498B1 (ko) 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
US20140133774A1 (en) Image processor and image dead pixel detection method thereof
US10091422B2 (en) Image processing device and recording medium
KR101731729B1 (ko) Hdr(하이 다이나믹 레인지) 이미지를 생성하기 위한 방법 및 그 사용 장치
US10108878B2 (en) Image processing apparatus, image processing method, and storage medium for tone control of each object region in an image
WO2017128990A1 (en) Method and device for target detection
US20190325552A1 (en) Imaging apparatus, image processing apparatus, image processing method, and medium
KR20220152869A (ko) 열영상 카메라 및 그의 열영상 처리 방법
US20110033085A1 (en) Image processing apparatus and image processing method
JP2017038139A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US10582111B2 (en) Systems and methods for autofocus and depth map generation
US11375110B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
US11991454B2 (en) Image capturing control apparatus, image capturing apparatus, control method, and storage medium
KR20190072643A (ko) 얼굴 검출 장치 및 그 제어 방법, 그리고 프로그램
US10609274B2 (en) Systems and methods for autofocus and depth map generation
US11403736B2 (en) Image processing apparatus to reduce noise in an image
JP2007312099A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination