KR20140049410A - 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치 - Google Patents

열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치 Download PDF

Info

Publication number
KR20140049410A
KR20140049410A KR1020120115641A KR20120115641A KR20140049410A KR 20140049410 A KR20140049410 A KR 20140049410A KR 1020120115641 A KR1020120115641 A KR 1020120115641A KR 20120115641 A KR20120115641 A KR 20120115641A KR 20140049410 A KR20140049410 A KR 20140049410A
Authority
KR
South Korea
Prior art keywords
image
transfer function
frame
motion
histogram
Prior art date
Application number
KR1020120115641A
Other languages
English (en)
Other versions
KR102011490B1 (ko
Inventor
박규희
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020120115641A priority Critical patent/KR102011490B1/ko
Publication of KR20140049410A publication Critical patent/KR20140049410A/ko
Application granted granted Critical
Publication of KR102011490B1 publication Critical patent/KR102011490B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치를 개시한다.
영상을 입력받는 영상입력부; 상기 영상의 현재 프레임을 기 설정된 일정한 간격으로 샘플링 블록만큼 샘플링한 후, 샘플링된 상기 샘플링 블록으로 축소 프레임을 생성하는 영상축소부; 상기 축소 프레임에 하나 이상의 서브블록을 상정하고, 상정된 상기 서브블록의 모션벡터에 근거하여 상기 축소 프레임의 움직임 여부를 판단하는 움직임 판단부; 상기 현재 프레임의 밝기에 따른 히스토그램에 따라 상기 현재 프레임의 명암비를 증폭하는 비율을 결정하는 전달함수를 계산하는 전달함수 계산부; 상기 움직임 여부에 근거하여 상기 전달함수를 재계산하고, 재계산된 전달함수에 근거하여 명암비를 증폭한 프레임을 생성하는 전달함수 재계산부; 및 상기 명암비를 증폭한 프레임을 출력하는 영상 출력부를 포함하는 것을 특징으로하는 열화상 히스토그램 안정화 장치를 제공한다.

Description

열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치{Contrast Stabilization Method and Device based on Thermal Image Motion Vector}
본 실시예는 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 열상 카메라 영상을 디스플레이할 때 움직임을 확인하여 명암비 향상 정도를 조절하는 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
일반적인 감시장치는 CCD(Charge Coupled Device)/CMOS(Complementary Metal-Oxide Semiconductor), EO(Electro Optical) 시스템 광원(Source)이 피사체에 방사되었을 때 파장에 따른 피사체의 반사율에 기반하여 영상을 디스플레이하지만, 열화상 카메라(Thermal Camera)는 피사체 자체가 방출하는 열에너지를 영상으로 디스플레이하는 구조로 되어 있다. 광원이 필요 없으므로 빛이 없는 야간에도 영상 획득이 가능하다. 야간에 영상을 획득하기 위해 사용되는 다른 방법으로는 CCD/CMOS 센서 앞의 IR Filter를 제거하여 적외선 파장대의 에너지를 통과시키면서 피사체에 IR 광원을 방사하여 피사체가 반사하는 적외선 파장대의 에너지를 영상화 시킴으로써 야간에서도 영상획득이 가능하다. 그러나 IR광원의 방사 거리가 제한적이라 열화상 센서에 비해 원거리 영상획득이 어려운 단점이 있다. 하지만 열화상 센서는 CCD/CMOS 센서에 비해 해상도가 낮으며 화소간의 불균일성(Non-Uniformity)도 다수 존재한다. 또한 배경과 표적 사이에 온도격차 때문에 영상의 동작대역(Dynamic Range)이 상당히 넓어서 8비트 영상 디스플레이 시 허상(Artifact)이 생기거나 부자연스러움을 보이기도 한다. 따라서 열화상 카메라에서 CEM(Contrast Enhancement Method)은 전체 시스템의 성능을 좌우하는 아주 중요한 기술이다.
도 1은 기존의 열화상 카메라 장치의 블록 구성도이다. 열화상 카메라의 유효 파장대역(LW/MW/SW)에서의 에너지를 투과/집광하는 렌즈부, 유효 파장대역의 에너지를 검출하는 센서부, 센서부의 아날로그 신호를 디지털화하는 ADC(Analogue-Digital Converter) 및 센서의 불균일성을 보정하는 NUC(Non-Uniformity Controller)를 포함하는 것을 특징으로 하는 영상입력부, 명암비 조정을 위하여 입력된 영상의 히스토그램을 계산하는 히스토그램 계산부, 원영상에 대하여 시인성을 높여주도록 명암비를 조정하는 CDF 계산 및 출력변환부(CEM), 그리고 디스플레이 장치로 이루어진 영상출력부가 있다. 기존에 사용되고 있는 대표적인 알고리즘은 히스토그램 평활화(Histogram Equalization), 명암비 스트레칭(Contrast Stretching), 플래토 평활화(Plateau Equalization)가 있다. 위의 알고리즘은 전역처리 방법이다. 구성도를 보면 알 수 있듯이 기존의 열화상 장치는 대부분 영상의 전역 정보를 사용하여 명암비를 향상시키는 알고리즘을 사용하고 있다. 그 이유는 국소처리방법은 실시간 시스템에 적용하기 어렵기 때문이다.
따라서 국지적인 큰 밝기의 변화나 전체적인 밝기의 변화가 발생한 경우에도 영상 전체의 통계치에 영향을 미치며 이에 따라 영상 전체의 화소 밝기가 조정된다. 회전/이동과 같이 전체적인 밝기가 변화하거나 밝은 물체가 나타난 경우 영상 전체에 존재하는 화소의 통계적인 밝기(히스토그램)가 변화하여, 회전/이동 등의 영향에 따라 영상 전체의 밝기를 크게 조정하는 경우 열화상 상의 사물 또는 영상 자체를 이해하거나 분석하기에 방해가 될 수 있다는 문제가 있다.
따라서 카메라의 회전/이동이 일어나는 것을 감지하여 명암을 조절하는 기술을 필요로 한다.
본 실시예는, 영상의 움직임을 판단하여 움직임에 따라 적응적으로 조절되는 명암비 향상 방법 및 장치를 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 영상을 입력받는 영상입력부; 상기 영상의 현재 프레임을 기 설정된 일정한 간격으로 샘플링 블록만큼 샘플링한 후, 샘플링된 상기 샘플링 블록으로 축소 프레임을 생성하는 영상축소부; 상기 축소 프레임에 하나 이상의 서브블록을 상정하고, 상정된 상기 서브블록의 모션벡터에 근거하여 상기 축소 프레임의 움직임 여부를 판단하는 움직임 판단부; 상기 현재 프레임의 밝기에 따른 히스토그램에 따라 상기 현재 프레임의 명암비를 증폭하는 비율을 결정하는 전달함수를 계산하는 전달함수 계산부; 상기 움직임 여부에 근거하여 상기 전달함수를 재계산하고, 재계산된 전달함수에 근거하여 명암비를 증폭한 프레임을 생성하는 전달함수 재계산부; 및 상기 명암비를 증폭한 프레임을 출력하는 영상 출력부를 포함하는 것을 특징으로하는 열화상 히스토그램 안정화 장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 열화상 히스토그램 안정화 장치가 열화상 히스토그램을 안정화하는 방법에 있어서, 현재 프레임을 입력받아 일정한 비율로 상기 현재 프레임을 축소하여 축소 프레임을 생성하는 영상축소 과정; 상기 축소 프레임의 모션벡터를 계산하여 상기 축소 프레임의 움직임 유무를 판단하는 과정; 상기 현재 프레임의 밝기에 따른 히스토그램에 따라 상기 현재 프레임의 명암비를 증폭하는 비율을 결정하는 전달함수를 계산하고 출력하는 전달함수 계산 과정; 상기 축소 프레임의 움직임 여부에 근거하여 상기 전달함수를 재계산하고, 재계산된 전달함수에 근거하여 명암비를 증폭한 프레임을 생성하는 영상출력 변환과정; 및 상기 프레임 생성에 쓰인 전달함수를 저장하는 전달함수 저장과정을 포함하는 것을 특징으로 하는 열화상 히스토그램 안정화 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 열영상 상에 움직임이 존재하는지를 판단하여 움직임이 존재하는 경우 명암비를 확장하지 않고, 움직임이 존재하지 않는 경우 안정된 명암비로 확장한 영상을 생성하는 효과가 있다.
도 1은 기존의 열화상 카메라 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 열화상 카메라 장치의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상 축소 방법을 나타낸 프레임의 화면이다.
도 4는 본 발명의 일 실시예에 따른 부분 모션벡터를 계산하기 위한 서브블록을 나타낸 프레임의 화면이다.
도 5는 본 발명의 일 실시예에 따른 동작을 감지하여 전달함수를 수정하는 방법을 나타낸 순서도이다..
이하, 첨부된 도면을 참조하여 상세하게 설명한다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 열화상 카메라 장치의 블록 구성도이다.
영상입력부(210)는 센서 등을 통해 열화상을 입력받는다. 모션벡터를 구하기 위한 연산량을 줄이기 위하여, 영상 축소부(220)는 입력받은 열화상을 축소한다. 축소하는 방법에 대하여는 후술한다. 움직임 판단부(230)는 축소된 영상에 상정된 서브블록으로부터 부분 모션벡터(subMV)를 계산하여 영상의 움직임을 판단한다. 이때 실시간 처리가 가능하다면 영상 축소부(220)를 생략하고 입력 영상에 대하여 서브블록을 상정하여 부분 모션벡터(subMV)를 구할 수 있다. 한편 히스토그램 계산부(250)에서 영상의 밝기에 따른 히스토그램을 계산하고, 전달함수 계산부(260)에서 히스토그램을 분석하여 명암비 증폭비율을 결정하는 전달함수를 계산 및 출력한다. 이때 전달함수는 명암비를 향상할 수 있다면 어떠한 방법을 사용하여 계산하여도 관계없으나 본 실시예에서는 누적분포함수(CDF: Cumulative Distribution Function)을 사용하는 것으로 설명한다. 전달함수 재계산부(240)에서는 움직임 판단 결과에 따라 움직임이 있는 경우 기저장한 이전 프레임의 전달함수를 현재의 전달함수로 사용하고, 움직임이 없는 경우 기저장된 이전 프레임의 전달함수와 현재 프레임에서 계산한 전달함수를 학습률에 따라 계산하여 생성한 전달함수로 영상의 명암비를 증폭한다. 또한 사용한 전달함수를 저장한다. 영상출력부(270)는 명암비가 증폭된 영상을 출력한다.
이상의 구조는, 적은 연산을 통해 움직임의 유무를 실시간으로 판별하며, 움직임이 있을 경우 밝기의 변화가 작고, 움직임이 없을 경우 밝기가 느리게 변화되는 영상을 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상축소부(220)의 영상 축소 방법을 나타낸 프레임의 화면이다. 이하 도 2 및 도 3을 함께 참조하여 본 발명의 일 실시예에 따른 열화상 카메라 장치의 동작을 설명한다.
현재 프레임 내의 특정한 영역의 모션벡터를 계산한다. 이때 프레임 전체의 전역 모션벡터를 계산할 경우 많은 계산량이 요구되므로 본 실시예에서는 전역 모션벡터를 계산할 경우 영상의 공간적 샘플링을 통해 영상 축소를 수행한다.
영상 축소부(220)는 전체 프레임(310)을 분할하고 일정 간격으로 분할면을 선택하여 새로운 샘플링 프레임(320)을 생성한다. 이때 분할면을 선택하는 간격에 따라 너비와 높이의 축소 비율을 결정할 수 있다. 이 방법은 k-th Sampling 방법일 수 있으며 분할된 영상을 2k간격으로 샘플링하므로 0.5k배 만큼 축소된다. 물론 본 영상축소의 목적은 계산의 용이성과 신속성을 위한 것이므로 동일한 목적을 달성하기 위한 다양한 방법을 응용할 수 있다. 예를들어 해상도가 낮추어진 영상을 획득하는 기법으로 샘플링 프레임(320)을 생성하는 것과 동일한 효과를 얻을 수 있다.
너비와 높이의 축소비율이 반드시 같을 필요는 없으나 본 실시예에서는 동일한 비율로 축소한 경우에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 부분 모션벡터를 계산하기 위한 서브블록을 나타낸 프레임의 화면도이다. 도 4를 함께 참조하면서 움직임 판단부(230)의 움직임 판단과정을 설명한다.
움직임 판단부(230)는 샘플링 프레임(320)에 상정된 서브블록(410)의 모션벡터를 계산하여 움직임을 판단한다. 이때 연산에 과부하가 걸리지 않는다면 서브블록(410)은 전체 프레임(310)을 대상으로 설정할 수 있다. 본 실시예에서는 화면이 일반적으로 목표물을 향하므로 중앙에 가중치를 두고 회전각에 가장 민감하게 반응하는 프레임의 네 모서리에 가중치를 둔 사각형 형태로 서브블록을 구성/배치하였다. 그러나 신뢰성 있는 모션벡터를 산출할 수 있다면 어떠한 형상이어도 관계없다. 축소된 영상에 대하여 계산을 하므로 실시간 처리를 하여도 계산에 과부하가 걸리지 않는다. 도 4에서 표시한 9개의 블록에 대한 모션벡터를 계산하여 사용자가 지정한 임계치(thMV)보다 큰 모션벡터의 개수를 측정한다. 모션벡터를 계산하는 방법은 공지 기술 중 어느 것을 이용하여도 발명의 기술적 사상을 구현하는 데에 영향을 미치지 않으므로 상세한 설명은 생략하지만, 모션벡터를 구하는 방법 중 현재 연구되거나 상용화된 기술은 MSE(Mean Squared Error)를 이용하는 방법, SAD(Sum of Absolute Differences)를 이용하는 방법, MAD(Mean Absolute Difference)를 이용하는 방법, SSE(Sum of Squared Errors)를 이용하는 방법 및 SATD(Sum of Absolute Transformed Differences)를 이용하는 방법이 있다.
이때 영상의 현재 프레임 내의 배경 영상과 객체를 구분하고 객체의 움직임을 모션벡터로 파악하는 방법을 이용할 수 있다.
임계치보다 크기가 큰 모션벡터의 개수와 전체 서브블록 개수의 비가 특정비율(본 실시예에서는 60%)을 초과한다면 영상의 움직임/회전에 대한 움직임이 존재한다고 판단한다. 이때 모션벡터 임계치(thMW)와 특정비율을 조절하여 움직임에 대한 판단의 민감도를 결정할 수 있다.
전달함수 재계산부(240)는, 움직임이 존재한다고 판단된 경우 현재 프레임은 영상의 움직임이 큰 동적인 상태이기 때문에 영상의 밝기가 변화해서는 안 되며, 이때 영상의 전반적인 밝기가 변화하더라도 이를 억제하여 히스토그램을 안정화시킨다. 구체적으로 설명하면 이전 프레임에 대해 적용했던 기저장된 전달함수를 현재 프레임에 그대로 적용을 하여 히스토그램의 변화를 억제한다. 본 명세서에서 사용된 "전달함수"의 의미는 입력 영상의 명암을 증폭하는 비율을 결정하는 입력 밝기에 대한 출력 밝기의 함수를 말한다. 이는 누적분포함수가 될 수 있으며 상용되는 어떠한 명암비 증폭방법을 사용해도 무방하다. 이때 후술할 현재 프레임에 대한 전달함수 계산보다 움직임의 존재유무를 우선 판단한 경우 히스토그램 계산부(250)에 움직임이 존재한다는 사실을 알릴 수 있다.
전달함수 재계산부(240)는 움직임이 존재하지 않는다고 판단된 경우 영상의 움직임이 작은 정적인 상태이므로 영상의 밝기 정보가 서서히 반영되도록 학습률 k를 적용하여 급격한 밝기 변화를 억제하여 자연스러운 명암비 향상효과를 가져온다. 이때 학습률 k는 장치의 해상도, 노이즈 레벨 등 여러 항목을 고려한 가중치로 실험적으로 최적값을 결정할 수 있다. 이전 프레임의 전달함수를 prev_tf라 정의하고, 현재 프레임에서 계산한 전달함수를 cur_tf라 정의할 때 학습률 k에 의해 다시 계산된 전달함수는 [수학식 1]과 같다. 현재 프레임에서 계산한 전달함수에 대하여는 후술한다.
Figure pat00001
(new_tf: 수정된 전달함수, prev_tf: 이전 프레임에 적용된 전달함수, cur_tf: 현재 프레임에서 계산한 전달함수, k:학습률)
[수학식 1]에 나타난 것처럼 k는 0보다 같거나 크고 1보다 작은 값을 가지며 k를 크게 설정할수록 화면의 명암비는 느리게 조정된다.
결국 전달함수 재계산부(240)는 움직임의 존재 유무와 관계없이 현재 영상에 적용할 전달함수를 특정한다. 이때 특정된 전달함수를 이전 프레임의 전달함수로서 저장한다.
히스토그램 계산부(250)는 영상 입력부로부터 수신한 현재 프레임을 밝기에 따라 히스토그램 계산을 수행한다. 움직임의 존재 여부 판단을 히스토그램 계산보다 먼저 수행한 경우 움직임 판단부(230)로부터 움직임이 존재한다는 신호를 수신하였을 때 히스토그램 및 현재의 전달함수 계산을 생략하도록 구현할 수 있다.
전달함수 계산부(260)는 히스토그램 계산 결과를 기초로 입력 영상의 명암비 증폭 비율을 결정하는 전달함수를 계산하여 출력한다. 이때 명암비를 향상시키는 기법은 공지기술 중 어느 것을 사용하여도 무방하다.
영상출력부(270)는 입력된 전달함수와 영상 정보를 이용하여 영상의 명암비를 증폭하여 출력한다.
도 5는 본 발명의 일 실시예에 따른 동작을 감지하여 전달함수를 수정하는 방법을 나타낸 순서도이다.
영상 축소 과정(S510)에서는 입력 영상을 일정 비율로 축소한다. 이때 입력된 프레임을 등면적으로 분할하고 이를 2k번째 면마다 샘플링하여
(입력 영상의 너비)×0.5k×(입력 영상의 높이)×0.5k
의 프레임으로 축소할 수 있다.
축소영상을 기준으로 영상의 움직임을 판단한다. 움직임 판단에 사용될 변수를 추출하는 방법은 다음과 같다.
서브블록에 대한 모션벡터 계산 과정(S520)에서 축소된 프레임 중 모션벡터를 추출할 서브블록을 설정하고 설정된 서브블록에 대한 모션벡터를 계산한다. 임계 모션벡터(thMV)보다 큰 블록숫자 계산 과정(S530)에서 블록별로 모션벡터의 크기를 임계 모션벡터(thMV)와 비교하여 임계 모션벡터(thMV)보다 큰 모션벡터의 숫자를 센다. 움직임을 판단하는 과정(S560)에서 임계 모션벡터보다 큰 모션벡터의 숫자가 전체 서브블록에 대한 일정 비율을 초과한다면 움직임으로 판단하고 같거나 하회하는 경우 움직임이 없는 것으로 판단한다.
판단 결과가 움직임이 존재함인 경우 이전 프레임 전달함수를 이용한 영상출력 변환과정(S580)을 수행한다. 기저장된 이전 프레임 전달함수를 이용하여 영상출력을 변환하며 이때 사용된 전달함수는 이전 프레임 전달함수로서 저장한다.
판단 결과가 움직임이 부존재하거나 무시할만 한 경우 학습률에 기반한 전달함수 재계산 과정(S570)을 수행한다. 기저장된 이전 프레임 전달함수와 후술할 방법으로 계산될 현재 프레임 전달함수를 미리 설정된 학습률에 따라 가중치를 두어 합산하여 전달함수를 생성하고 영상 출력을 변환한다. 현재 프레임에 사용될 전달함수를 저장하는 과정(S590)에서는 사용된 전달함수를 이전 프레임 전달함수로서 저장한다.
현재 프레임 전달함수는 학습률 기반 전달함수 재계산 과정(S570)에 사용되므로, 영상 축소 과정(S510), 서브블록에 대한 모션벡터 계산 과정(S520), 임계 모션벡터(thMV)보다 큰 블록숫자 계산 과정(S530), 움직임을 판단하는 과정(S560)과 시계열적 선후관계가 없으며 움직임 판단이 선행되어 움직임이 없다고 판단된 경우 본 과정을 생략할 수 있다.
히스토그램 계산 과정(S540)에서 영상의 밝기에 따른 히스토그램을 계산한다. 밝기에 따라 픽셀의 수를 히스토그램으로 계산한다.
현재 프레임에 대한 전달함수 계산 과정(S550)에서 계산된 히스토그램 정보를 바탕으로 전달함수를 계산한다. 이때 누적분포함수 등 어떠한 명암비 향상기법을 사용하여도 관계없다.
도 5에서는 과정 S510 내지 과정 S590을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 과정 S510 내지 과정 S590 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
310: 전체 프레임 320: 샘플링 프레임

Claims (12)

  1. 영상을 입력받는 영상입력부;
    상기 영상의 현재 프레임을 기 설정된 일정한 간격으로 샘플링 블록만큼 샘플링한 후, 샘플링된 상기 샘플링 블록으로 축소 프레임을 생성하는 영상축소부;
    상기 축소 프레임에 하나 이상의 서브블록을 상정하고, 상정된 상기 서브블록의 모션벡터에 근거하여 상기 축소 프레임의 움직임 여부를 판단하는 움직임 판단부;
    상기 현재 프레임의 밝기에 따른 히스토그램에 따라 상기 현재 프레임의 명암비를 증폭하는 비율을 결정하는 전달함수를 계산하는 전달함수 계산부;
    상기 움직임 여부에 근거하여 상기 전달함수를 재계산하고, 재계산된 전달함수에 근거하여 명암비를 증폭한 프레임을 생성하는 전달함수 재계산부; 및
    상기 명암비를 증폭한 프레임을 출력하는 영상 출력부
    를 포함하는 것을 특징으로하는 열화상 히스토그램 안정화 장치.
  2. 제1항에 있어서,
    상기 전달함수 재계산부는,
    상기 움직임을 판단한 결과, 움직임이 존재하는 경우 기저장된 이전 프레임의 전달함수에 기초하여 명암비를 증폭한 제1영상을 생성하는 것을 특징으로 하는 열화상 히스토그램 안정화 장치.
  3. 제1항에 있어서,
    상기 전달함수 재계산부는,
    상기 움직임 판단결과, 움직임이 미존재하는 경우 상기 전달함수를 기저장된 이전 프레임 전달함수와 기설정된 학습률로 합산한 출력 전달함수에 기초하여 명암비를 증폭한 제2영상을 생성하는 것을 특징으로 하는 열화상 히스토그램 안정화 장치.
  4. 제3항에 있어서,
    상기 학습률은 영상의 해상도 또는 노이즈 레벨을 포함한 변수에 따라 기설정된 비율인 것을 특징으로 하는 열화상 히스토그램 안정화 장치.
  5. 제1항에 있어서,
    상기 움직임 판단부는,
    계산된 상기 모션벡터가 기설정된 벡터 크기의 임계치보다 큰, 서브블록의 개수가 전체 서브블록의 개수에 대한 설정비율보다 높은 경우 움직임이 존재하는 것으로 판단하는 것을 특징으로 하는 열화상 히스토그램 안정화 장치.
  6. 제5항에 있어서,
    상기 움직임 판단부는,
    상기 서브블록을 상기 축소 프레임에 기설정된 개수 이상을 상정하되, 상기 서브블록을 상기 축소 프레임의 중앙과 네 모서리에 배치하는 것을 특징으로 하는 열화상 히스토그램 안정화 장치.
  7. 제1항에 있어서,
    상기 움직임을 판단한 결과, 상기 전달함수 계산부는,
    상기 움직임 판단부로부터 움직임 존재 메시지를 수신한 후 상기 전달함수의 계산을 종료하는 것을 특징으로 하는 열화상 히스토그램 안정화 장치.
  8. 제1항에 있어서,
    상기 현재 프레임의 밝기에 따른 상기 히스토그램을 계산하는 히스토그램 계산부
    를 더 포함하는 것을 특징으로 하는 열화상 히스토그램 안정화 장치.
  9. 제1항에 있어서,
    상기 영상 축소부는 상기 현재 프레임의 높이와 너비를 동일한 비율로 축소하는 것을 특징으로 하는 열화상 히스토그램 안정화 장치.
  10. 열화상 히스토그램 안정화 장치가 열화상 히스토그램을 안정화하는 방법에 있어서,
    현재 프레임을 입력받아 일정한 비율로 상기 현재 프레임을 축소하여 축소 프레임을 생성하는 영상축소 과정;
    상기 축소 프레임의 모션벡터를 계산하여 상기 축소 프레임의 움직임 유무를 판단하는 과정;
    상기 현재 프레임의 밝기에 따른 히스토그램에 따라 상기 현재 프레임의 명암비를 증폭하는 비율을 결정하는 전달함수를 계산하고 출력하는 전달함수 계산 과정;
    상기 축소 프레임의 움직임 여부에 근거하여 상기 전달함수를 재계산하고, 재계산된 전달함수에 근거하여 명암비를 증폭한 프레임을 생성하는 영상출력 변환과정; 및
    상기 프레임 생성에 쓰인 전달함수를 저장하는 전달함수 저장과정
    을 포함하는 것을 특징으로 하는 열화상 히스토그램 안정화 방법.
  11. 제10항에 있어서,
    상기 영상출력 변환과정은,
    상기 움직임을 판단한 결과가 움직임일 경우 기저장된 이전 프레임 전달함수에 기초하여 명암비를 증폭한 제1영상을 생성하고,
    상기 움직임을 판단한 결과가 움직임 없음일 경우 상기 전달함수를 상기 이전 프레임 전달함수와 기설정된 학습률로 합산하여 생성된, 출력 전달함수에 기초하여 명암비를 증폭한 제2영상을 생성하는 과정인 것을 특징으로 하는 열화상 히스토그램 안정화 방법.
  12. 제10항에 있어서,
    상기 프레임의 움직임 유무를 판단하는 과정은
    상기 축소 프레임에 기설정된 서브블록의 모션벡터를 계산하는 서브블록에 대한 모션벡터 계산 과정;
    상기 서브블록의 모션벡터가 기설정된 임계치보다 높은 상기 서브블록의 모션벡터 숫자를 계산하는 subMV>thMV인 블록숫자 계산 과정; 및
    상기 기설정된 임계치보다 높은 상기 서브블록의 모션벡터 숫자가 상기 서브블록 전체 숫자에 대한 특정비율보다 크다면 움직임으로 판단하는 과정
    을 포함하는 것을 특징으로 하는 열화상 히스토그램 안정화 방법.

KR1020120115641A 2012-10-17 2012-10-17 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치 KR102011490B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120115641A KR102011490B1 (ko) 2012-10-17 2012-10-17 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120115641A KR102011490B1 (ko) 2012-10-17 2012-10-17 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140049410A true KR20140049410A (ko) 2014-04-25
KR102011490B1 KR102011490B1 (ko) 2019-08-16

Family

ID=50655027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120115641A KR102011490B1 (ko) 2012-10-17 2012-10-17 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102011490B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160091709A (ko) * 2015-01-26 2016-08-03 창원대학교 산학협력단 시공간 블록 특징을 이용한 화재 검출 시스템 및 방법
KR20200087440A (ko) 2019-01-11 2020-07-21 한화테크윈 주식회사 열화상 처리 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319781A (ja) * 2005-05-13 2006-11-24 Olympus Corp 画像処理装置、画像処理プログラム
JP2009038814A (ja) * 2008-09-12 2009-02-19 Olympus Corp 撮像システム
KR100927554B1 (ko) * 2009-03-13 2009-11-20 주식회사 일리시스 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319781A (ja) * 2005-05-13 2006-11-24 Olympus Corp 画像処理装置、画像処理プログラム
JP2009038814A (ja) * 2008-09-12 2009-02-19 Olympus Corp 撮像システム
KR100927554B1 (ko) * 2009-03-13 2009-11-20 주식회사 일리시스 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160091709A (ko) * 2015-01-26 2016-08-03 창원대학교 산학협력단 시공간 블록 특징을 이용한 화재 검출 시스템 및 방법
KR20200087440A (ko) 2019-01-11 2020-07-21 한화테크윈 주식회사 열화상 처리 방법 및 그 장치

Also Published As

Publication number Publication date
KR102011490B1 (ko) 2019-08-16

Similar Documents

Publication Publication Date Title
US11849224B2 (en) Global tone mapping
US10007967B2 (en) Temporal and spatial video noise reduction
US20180035057A1 (en) Systems and Methods for Photometric Normalization in Array Cameras
US9036050B2 (en) Image processing device, image processing method, and program
US9041856B2 (en) Exposure control methods and apparatus for capturing an image with a moving subject region
JP4705664B2 (ja) 累積および平均化を用いる適応バッファ値のためのバッファ管理
KR101781154B1 (ko) 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라
CN102111546A (zh) 图像处理方法、图像处理设备和摄像设备
KR20160131807A (ko) 안개 제거 시스템
WO2019104047A1 (en) Global tone mapping
Farrell et al. Using visible SNR (vSNR) to compare the image quality of pixel binning and digital resizing
KR102011490B1 (ko) 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치
KR20140045856A (ko) 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법 및 장치
KR101920369B1 (ko) 열화상 카메라의 영상처리장치 및 영상처리방법
KR101165450B1 (ko) 블랙 레벨 보상 장치 및 방법
US11153467B2 (en) Image processing
JP2007266787A (ja) 雑音過大画素可用化処理を備えた撮像装置
CN107277372B (zh) 对焦方法、装置、计算机可读存储介质和移动终端
US9185310B2 (en) Solid-state imaging device, illuminance measuring method performed by solid-state imaging device, and camera module
JP2021093694A (ja) 情報処理装置およびその制御方法
US20120212649A1 (en) Image processing apparatus and image processing method
JP2020085829A (ja) 振動検出方法
EP3817352B1 (en) Imaging device and line-variation-noise-reducing device
JP5967504B1 (ja) 全方位カメラシステム
WO2019132208A1 (ko) 전자장치 및 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right