KR20210001555A - 적외선 영상 처리방법 - Google Patents

적외선 영상 처리방법 Download PDF

Info

Publication number
KR20210001555A
KR20210001555A KR1020190077822A KR20190077822A KR20210001555A KR 20210001555 A KR20210001555 A KR 20210001555A KR 1020190077822 A KR1020190077822 A KR 1020190077822A KR 20190077822 A KR20190077822 A KR 20190077822A KR 20210001555 A KR20210001555 A KR 20210001555A
Authority
KR
South Korea
Prior art keywords
image
data
fog
infrared image
image data
Prior art date
Application number
KR1020190077822A
Other languages
English (en)
Inventor
강일
Original Assignee
엠블레포 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠블레포 주식회사 filed Critical 엠블레포 주식회사
Priority to KR1020190077822A priority Critical patent/KR20210001555A/ko
Publication of KR20210001555A publication Critical patent/KR20210001555A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

적외선 영상 처리방법은 복수의 적외선 이미지 센서로부터 얻어지는 디지털 신호를 MIPI 타입 CSI-2 데이타로 변환하는 단계, MIPI 타입 CSI-2 데이타로부터 이미지 데이터를 생성하는 단계, 상기 생성된 이미지 데이터에 대하여 상기 생성된 이미지 데이터에 대하여 온도 보정 알고리즘을 적용하는 단계, 및 온도 보정된 이미지 데이터에 대하여 안개 제거 알고리즘을 적용하는 단계로 이루어진다.

Description

적외선 영상 처리방법 {Method of processing infrared image}
본 발명은 적외선 영상 처리방법에 관한 것으로서, 보다 상세하게는 복수의 적외선 이미지 센서로부터 얻어지는 이미지 데이터에 대하여 온도 보정을 수행한 다음 안개 제거 알고리즘을 적용하는 적외선 영상 처리방법에 관한 것이다.
적외선은 전자기파 스펙트럼에서 가시광선과 마이크로파 사이에 있는 광선이다. 온도가 있는 물체 즉 열을 가진 물체는 그 열을 적외선으로 방출한다. 절대온 이상의 온도를 가지는 모든 물체는 적외선 영역의 광선을 복사한다.
적외선 센서를 구비하는 열화상 카메라는 근거리 또는 중거리에서 위험을 탐지할 수 있는 훌륭한 도구일 뿐 아니라 빛이 전혀 없는 환경에서도 선명한 이미지를 보여줄 수 있다. 특히, 열화상 카메라는 육상 환경 뿐만 아니라 해상 환경 또는 공중 환경에서 매우 효과적으로 사용할 수 있다.
최근 다양한 애플리케이션의 개발 및 확대로 적외선 업계의 비즈니스가 상당히 확대될 것으로 기대를 모으고 있다. 구체적으로, 드론 등과 같은 무인항공기(unmanned aerial vehicle, 이하 UAV라 약함), 자율주행차량, 또는 선박 등에 사용되며, 시장규모, 기회, 제품 사양 및 공급망 등을 분석해 보면 적외선센서 응용분야가 광범위함을 알 수 있다.
그런데, 열화상 카메라는 대기, 온도, 측정 각도 또는 거리 등과 같은 주위의 환경변화 또는 내부 시스템에서 발생되는 열원에 매우 민감하기 때문에 열화상 카메라로부터 생성되는 이미지 데이터에 오류가 발생할 가능성이 높아 이를 보정하기 위한 필요성이 크게 대두되고 있다.
본 발명의 목적은 상술한 필요성에 따라서 도출된 것으로서, 복수의 적외선 이미지 센서로부터 얻어지는 이미지 데이터에 대하여 온도 보정을 수행한 다음 안개 제거 알고리즘을 적용하는 적외선 영상 처리방법을 제공하는데 있다.
일실시예에 따른 적외선 영상 처리방법은 복수의 적외선 이미지 센서로부터 얻어지는 디지털 신호를 MIPI 타입 CSI-2 데이타로 변환하는 단계; MIPI 타입 CSI-2 데이타로부터 이미지 데이터를 생성하는 단계; 상기 생성된 이미지 데이터에 대하여 온도 보정 알고리즘을 적용하는 단계; 및 온도 보정된 이미지 데이터에 대하여 안개 제거 알고리즘을 적용하는 단계를 포함할 수 있다.
상기 온도 보정 알고리즘은 적외선 이미지 센서의 온도에 대응하는 원시데이터의 화소별 오차값을 인공신경망 모델을 이용하여 학습하여 룩업테이블 형태로 저장하고, 측정된 적외선 이미지 센서의 온도에 따라서 오차값을 결정하여 원시 데이터의 온도 보정 데이터로 생성할 수 있다.
상기 안개 제거 알고리즘은 안개 영상을 모델링하는 단계; DCP(Dark Channel Prior)에 기반하여 전달량을 계산하는 단계; 양방향 필터를 계층적으로 적용하여 상기 전달량을 리파이닝하는 단계; 및 리파이닝된 전달량을 이용하여 안개가 제거된 깨끗한 영상을 획득하는 단계를 포함할 수 있다.
본 발명에 따르면, 복수의 적외선 이미지 센서로부터 얻어지는 이미지 데이터에 대하여 온도 보정을 수행한 다음 안개 제거 알고리즘을 적용함으로써, 악천후에도 불구하고 깨끗한 영상을 제공할 수 있다.
본 발명에 따르면, 복수의 적외선 이미지 센서로부터 얻어지는 디지털 신호를 MIPI CSI-2 포맷으로 변환하여 이미지 데이터를 획득함으로써 온도 보정 및 안개 제거 알고리즘 수행시 실시간으로 고속 처리가 가능하다.
도 1은 본 발명의 일실시예에 따른 적외선 영상 처리장치의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일실시예에 따른 포맷 변환부의 세부 구성을 나타낸 블럭도이다.
도 3은 본 발명의 일실시예에 따른 후처리부의 세부 구성을 나타낸 블럭도이다.
도 4는 본 발명의 일실시예에 따른 적외선 영상 처리방법의 동작을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들은 다양한 변경이 가해질 수 있으며, 실시 형태에 대해 한정하려는 것이 아니고, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1은 일실시예에 따른 적외선 영상 처리장치의 구성을 나타내는 블럭도로서, 센서모듈(110), 포맷 변환부(130), 이미지 데이터 생성부(150), 후처리부(170) 및 표시부(190)을 포함할 수 있다. 여기서, 이미지 데이터 생성부(150)와 후처리부(170)는 하나의 모듈로 일원화시킬 수 있다. 실시예에 따르면, 이미지 데이터 생성부(150)와 후처리부(170)는 GPU(Graphic Processing Unit) 코어로 구현될 수 있다.
도 1을 참조하면, 센서모듈(110)은 적어도 2개의 적외선 이미지 센서를 포함할 수 있으며, 정지영상 또는 동영상을 촬영하고, 이에 대응하는 디지털 신호를 생성할 수 있다. 여기서, 적외선 이미지 센서는 비냉각 센서일 수 있다. 센서모듈(110)에서 생성되는 디지털 신호는 CMOS 14 비트일 수 있다. 또한, 센서모듈(110)로부터 CMOS 8 비트 혹은 BT.656 포맷의 디지털 신호가 생성될 수도 있다. 적어도 2개의 적외선 이미지 센서는 서로 다른 방향성(orientation)을 가지거나 서로 다른 대역, 예를 들면 근적외선 영역, 원적외선 영역, 초원적외선 영역을 타겟으로 할 수 있다.
포맷 변환부(130)는 센서모듈(110)로부터 제공되는 디지털 신호를 MIPI(Mobile Industry Processor Interface) 타입 CSI-2(Camera Serial Interface-2) 데이타로 변환할 수 있다. MIPI 타입 CSI-2 데이터는 복수의 적외선 이미지 센서로부터 제공되는 디지털 신호를 고속으로 처리하거나 무선 통신을 위한 신호처리에 유용할 수 있다.
이미지 데이터 생성부(150)는 포맷 변환부(130)로부터 제공되는 MIPI 타입 CSI-2 데이터로부터 이미지 데이터를 생성할 수 있다. 이미지 데이터 생성부(150)에서 생성된 이미지 데이터는 메모리(미도시)에 저장될 수 있다. 구체적으로, 이미지 데이터 생성부(150)는 브릭 컨피규레이션 모드(brick configuration mode)를 지원하면서 레인/트리오에서 바이트 데이터를 수집하고, 수집된 픽셀 데이터를 인터리빙하여 적외선 이미지 센서로부터 얻어지는 원래의 스트림 시퀀스를 복원하는 재조합된 이미지 데이터 스트림으로 병합한다. 이미지 데이터 생성부(150)는
후처리부(170)는 이미지 데이터 생성부(150)에서 생성된 이미지 데이터에 대하여 다양한 후처리를 수행하고, 최종 이미지 데이터를 표시부(190)로 제공한다. 후처리부(170)와 표시부(190) 간의 데이터 송신 포맷은 HDMI(High Definition Multimedia Interface)일 수 있으나, 이에 한정되는 것은 아니다.
표시부(190)는 후처리부(150)로부터 제공되는 이미지 데이터를 모니터 등과 같은 화면에 디스플레이할 수 있다. 표시부(190)에는 각 적외선 이미지 센서에 대응되는 영상이 디스플레이되거나, 복수의 영상을 스티칭하여 얻어지는 영상이 디스플레이될 수 있다. 또한, 표시부(190)에는 원래의 영상과 안개가 제거된 영상이 함께 디스플레이될 수 있다.
실시예에 따른 적외선 영상 처리장치는 무인항공기, 자율주행 차량, 선박 등에 장착될 수 있으나, 이에 한정되는 것은 아니다.
도 2는 일실시예에 따른 포맷 변환부(130)의 세부 구성을 나타낸 블럭도로서, 데이터 변환부(210), 패킷 포맷터(230), 타이밍 제어부(250) 및 메모리(270)를 포함할 수 있다.
도 2를 참조하면, 데이터 변환부(210)는 픽셀당 비트수, 데이터 타입 및 D-PHY 레인수 등을 기준으로 픽셀 데이터를 MIPI 바이트 데이터로 변환한다. 여기서, 데이터 타입은 데이터 변환부(210)로부터 제공된 MIPI 바이트 데이터에 대한 패킷 정보 인디케이터로 작용할 수 있다.
패킷 포맷터(230)는 데이터 변환부(210)로부터 제공되는 MIPI 바이트 데이터에 대하여 패킷 헤더 모듈과 패킷 푸터 모듈을 래핑하는데, 패킷 헤더 모듈은 패킷 머리말과 꼬리말을 생성하여 데이터 페이로드에 추가할 수 있다. 패킷 푸터 모듈은 수신되는 MIPI 바이트 데이터 및 데이터 활성화를 기반으로 하여 CRC16 체크섬을 계산할 수 있다. 24 비트 RGB가 최대 병렬 입력 너비이므로 데이터 버스 입력은 최대 24 비트가 될 수 있다. 패킷 포맷터(230)로부터는 2 레인 데이터가 출력될 수 있다.
타이밍 제어부(250)는 매개변수를 사용하여 HS(High Speed) 요청경로와 타이밍을 제어하는데, MIPI D-PHY 사양에 따라서 HS 모드로 진입하거나 HP 모드에서 LP(Low Power) 모드로 진입하는 타이밍을 제어한다.
메모리(270)는 인터페이스되어 있는 표시부(도 1의 190)에 대한 디스플레이 명령 세트(Display Command Set)를 저장하고 있으며, 메모리(270)에 저장된 디스플레이 명령 세트는 데이터 레인에 배치될 수 있다.
도 3은 일실시예에 따른 후처리부(170)의 세부 구성을 나타낸 블럭도로서, 안개 제거부(310)와 이미지 스티칭부(330)를 포함할 수 있다. 안개 제거부(310)와 이미지 스티칭부(330)는 적어도 하나의 프로세서로 구현할 수 있다. 여기서, 이미지 스티칭부(330)는 옵션으로 구비될 수 있다.
적외선 이미지 센서는 대기, 온도, 측정 각도 또는 거리 등과 같은 주위의 환경변화에 따라 또는 내부시스템에서 발생되는 열원 등과 같은 환경적인 요인으로 인해 센서 자체의 온도가 변함으로써 센서의 출력 값이 변하게 된다. 따라서, 측정 온도값이 시간에 따라 변하며, 절대온도의 측정오차가 발생하는 원인이 된다.
도 3을 참조하면, 안개 제거부(310)는 이미지 데이터 생성부(150)로부터 제공되는 복수의 적외선 이미지 센서로부터 얻어지는 이미지 데이터를 교정(calibration)하면서 안개가 제거된 영상을 생성한다. 즉, 안개 제거부(310)에서는 온도 보정 알고리즘과 안개 제거 알고리즘을 순차적으로 적용할 수 있다. 일실시예에 따르면, 온도 보정 알고리즘은 인공신경망 모델에 근거하여 온도 보정을 수행할 수 있다. 일실시예에 따르면, 안개 제거 알고리즘은 DCP(Dark Channel Prior)를 사용하여 대기값과 전달량을 추정하여 안개없는 이미지 데이터를 생성할 수 있다.
먼저, 온도 보정 알고리즘에 대하여 구체적으로 설명하면 다음과 같다.
이미지 데이터 생성부(150)로부터 제공되는 복수의 적외선 이미지 센서로부터 얻어지는 이미지 데이터를 교정(calibration) 즉, 온도 보정하면, 환경적인 요인에 무관한 균일한 이미지 데이터를 획득할 수 있다. 이를 위하여 센서 온도와 마이크로 볼로미터의 디지털 응답을 입력 데이터로 고려한 인공신경망 모델 기반의 보정 알고리즘을 사용하여 적외선 이미지 센서로부터 얻어지는 이미지 데이터를 학습하여 교정된 데이터를 생성한다.
이미지 데이터 생성부(150)로부터 제공되는 이미지 데이터에 대하여 이미지 처리 필터를 적용하여 정사영상(orthoimages)를 얻는다. 또한, 이미지 데이터에서 미세한 디테일을 소스 이미지의 모든 그래디언트를 확대하여 증폭시킴으로써 에지 주변의 후광 및 그래디언트 반전 인공물을 피하면서 세밀한 디테일을 향상시킬 수 있다.
먼저, 온도 보정과 관련된 캘리브레이션을 위하여 하기 수식 1에서와 같이 하나의 선형모델과 3개의 다항모델을 분석한다. 고도의 비선형 회귀 문제를 해결하기 위한 적절한 성능을 보장하기 위하여 카메라 온도 변화 보정 및 인공신경망이 적용된다.
Figure pat00001
여기서, TBB는 흑체의 온도이고, DL은 카메라 즉, 적외선 이미지 센서의 디지털 응답이고, TC는 카메라의 온도이고, pij는 회귀 계수이다. 인공 신경망(ANN)은 생물학적 신경 세포의 기능을 모의하는 수학적 모델이며, 신경망에서는 역전파 훈련 알고리즘을 사용할 수 있다. 계층 i에서 뉴런 j를 고려하면, 입력 벡터에서의 입력 변수와 대응 가중치 (Sj)의 합은 하기 수식 2와 같이 나타낼 수 있다.
Figure pat00002
여기서 Sj는 입력 변수와 계층 i의 뉴런 j에서의 해당 가중치의 합이고, wij는 숨겨진 계층 노드에 대한 각 입력 뉴런과 관련된 가중치이다. w0j는 숨겨진 계층 노드에 대한 첫번째 입력 뉴런과 연관된 가중치이다. xI는 각 뉴런 i에 저장된 입력 값이고, n은 입력 변수의 수이다.
뉴런 j의 출력 변수는 하기 수식 3과 같이 나타낼 수 있다.
Figure pat00003
여기서 yj는 뉴런 j의 출력이다. 뉴런 j의 출력은 하기 수식 4에서와 같이 하이퍼 볼릭 탄젠트 함수에 대한 활성화 함수에 응답한다.
Figure pat00004
여기서 tanh는 쌍곡선 탄젠트이다.
다음, 모델 조정을 위하여, 디지털 레벨 및 센서 온도의 평균값은 하기 수식 5로 주어질 수 있다. 또한, 결정 계수(R2)는 수식 6, 제곱 평균 제곱 오차 (RMSE)는 수식 7, 상대오차(RE)는 수식 8, 유사성 지수(SI)는 수식 9를 이용하여 계산될 수 있다. 한편, 평가할 데이터의 양을 나타내는 관측수(n)는 예를 들어 266 이미지를 사용할 수 있다.
Figure pat00005
여기서 x는 모든 관측값 Xi의 평균이며, n은 관측수이다.
Figure pat00006
여기서 R2는 결정 계수이고, On은 관측값이고, Sn은 시뮬레이션된 값, MO는 n 개의 관측값의 평균값이고, MS는 n 개의 시뮬레이션된 값의 평균값이다.
Figure pat00007
여기서 RMSE는 제곱 평균 제곱근 오차(℃)이다.
Figure pat00008
여기서 RE는 상대 오차(%)이다.
Figure pat00009
여기서 SI는 유사도 지수이다.
이외에 추가적으로 관측값과 시뮬레이션된 값 간의 선형 회귀 분석을 수행하거나, 정규 분포에 대한 나머지(residuals)을 조정할 수 있다.
즉, 적외선 이미지 센서의 온도에 대응하는 원시데이터의 오차값을 인공신경망 모델을 이용하여 학습하여 룩업테이블 형태로 저장할 수 있다. 여기서, 오차값은 화소당 결정될 수 있다. 측정된 적외선 이미지 센서의 온도에 따라서 오차값이 결정되면, 원시 데이터로부터 결정된 오차값을 감산하여 원시 데이터의 온도 보정된 데이터로 생성하여 안개 제거 알고리즘에 제공한다.
적외선 이미지 센서로부터 나오는 원시 데이터(raw data)는 흑백영상이다. 따라서, 원시 데이터에 대하여 DCP(Dark Channel Prior)를 적용할 때, 원시 데이터 중 '0'에 가까운 값은 안개값을 가지는 지역을 표시하지 않는다. 즉, 원시 데이터 중 '0' 또는 '0'에 가까운 값은 온도가 가장 낮은 구간으로 적외선 에너지가 가장 낮은 구간을 의미한다.
안개 제거 알고리즘은 안개가 없는 영역에서는 화소의 최소값이 안개 영역의 화소와 비교할 때 매우 작은 값을 갖는다는 특성을 이용하여, 입력되는 이미지 데이터로부터 안개가 제거된 이미지 데이터를 획득할 수 있다. 입력되는 이미지 데이터는 온도 보정 알고리즘이 적용되어 교정된 이미지 데이터이다.
먼저, 적외선 이미지 센서로부터 얻어진 원시 데이터로부터 복원해야 할 깨끗한 영상 모델링을 하기 수식 10을 이용하여 수행한다.
Figure pat00010
여기서, I(x)는 카메라를 통해 획득한 영상, J(x)는 복원해야 할 깨끗한 영상, A는 영상의 안개값 즉, 안개의 밝기 정도, t(x)는 전달량으로서, 획득된 영상이 깨끗한 영상과 안개값이 어느 정도의 비율로 이루어져 있는지를 나타낸다. 따라서 영상의 안개 제거는 I(x)로부터 A, t(x)를 구하고, 이를 이용하여 최종적으로 J(x)를 복원하는 것이다. 한편, t(x)는 1보다 작은 값을 가지므로 획득한 영상의 밝기는 안개가 없는 깨끗한 영상과 안개의 깊이(양)의 조합으로 볼 수 있다.
한편, 적외선 이미지 센서로부터 나오는 원시 데이터(raw data)는 흑백영상이다. 따라서, 원시 데이터에 대하여 DCP(Dark Channel Prior)를 적용할 때, 원시 데이터 중 '0'에 가까운 값은 안개값을 가지는 지역을 표시하지 않는다. 즉, 원시 데이터 중 '0' 또는 '0'에 가까운 값은 온도가 가장 낮은 구간으로 적외선 에너지가 가장 낮은 구간을 의미한다. 이는 하기의 수식 11로 나타낼 수 있다.
Figure pat00011
여기서, 적외선 이미지 센서로부터 나오는 원시 데이터(raw data)는 흑백영상이므로, c∈r,g,b 부분은 단일 채널로 간주하고, Jdark(x)는 DCP(Dark Channel Prior), Jc는 입력영상 J를 의미하며, Ω는 점 x를 중심으로 하는 일정 영역을 나타낸다. 안개가 없는 영상에서 구해진 DCP를 살펴보면 하늘을 제외한 대부분의 영역에서 0의 값을 가지는 것을 알 수 있다.
안개가 낀 영상의 경우 안개의 밝기 정도(A)에 의해 DCP는 밝은 값을 가지게 되고, 안개가 짙어질수록 A의 비율이 많아지므로 DCP는 더 밝은 값을 가진다. 따 라서 수식 11을 통해 구한 DCP를 이용하여 안개의 밀도를 예측할 수 있고 이를 이용하여 전달량을 계산할 수 있다.
한편, 안개가 없는 영상에서의 DCP는 대부분 0의 값을 가지므로 Jdark(x)≒0으로 할 수 있다. 따라서 수식 10을 하기 수식 12와 같이 변형하면 알 수 없는 정보인 J(x)를 제거할 수 있다.
Figure pat00012
수식 12에서 Jdark(x)≒0으로 할 수 있으므로, 수식 3의 오른쪽 부분 중 J 가 들어간 부분을 0으로 놓을 수 있다. 따라서 전달량 t(x)는 간단히 1에서 안개 값으로 정규화된 DCP를 뺀 값과 같으며 하기 수식 13과 같이 나타낼 수 있다.
Figure pat00013
수식 13을 통해 구한 전달량은 지역적인 구간 내 최소값을 구하여 계산된 값이므로 획득된 영상의 엣지와 일치하지 않는 전달량이 구해지면서 블록킹 현상이 나타날 수 있다.
블록킹 현상을 제거하기 위하여 에지 정보를 보존하는 노이즈 제거필터인 양방향 필터(bilateral filter)를 이용하여 전달량 t(x)를 리파이닝(refining)한다. 양방향 필터는 기존의 가우시안 필터에 색상 정보를 이용한 가우시안 필터를 결합하기 때문에 비선형인 필터이다. 두 필터의 결합을 통해 하기 수식 14에서와 같이 색상 정보에 기반을 두는 가우시안 평균값과 거리에 기반을 두는 가우시안 평균값의 조합된 평균값을 얻을 수 있다.
Figure pat00014
여기서, p는 필터가 적용되는 위치(x, y)를 의미하고, q는 일정 구간 S안의 모든 위치를 의미한다. Fx는 점 x에서의 화소값이고, Gσ는 σ값을 표준편차로 가지는 가우시안 윈도우이다. Wp는 정규화를 위한 항으로써 하기의 수식 15으로 나타낼 수 있다.
Figure pat00015
양방향 필터는 기본적으로 한 장의 영상을 이용한 필터이다. 하지만 필터 내에서 두 개의 가우시안 윈도우를 사용할 때 각각 두 개의 영상을 이용하여 필터링 할 수 있다. 즉, 거친 상태의 전달량을 필터링해야 할 객체로 두고, 획득한 이미지의 색상 정보 차이를 가우시안 필터로 이용하면 전달량을 리파이닝할 수 있다. 수식 14에서
Figure pat00016
부분에서 획득된 영상의 정보를 사용하면 하기 수식 16에서와 같이 에지 정보와 일치하는 전달량을 얻을 수 있다.
Figure pat00017
수식 16에서 거친 상태의 전달량
Figure pat00018
는 입력 영상인 안개낀 영상의 색상 정보 차이를 이용하여 크로스 양방향 필터링(cross bilateral filtering)이 된다. 이때, 필터를 1회만 적용시킬 경우 문제가 발생한다. σr 값이 클 경우, 에지 정보를 정확하게 반영하기가 어렵고, σr 값이 작을 경우에는 에지 정보는 반영하기 쉽지만, 에지의 바깥부분에서 후광 현상이 일어난다. 즉, 깊이 차이가 많이 나는 부분에서 경계가 흐려지며, 전파되는 현상이 발생한다. 이러한 문제를 극복하기 위하여 다양한 σr 을 이용하여 여러번 필터를 적용시킬 필요가 있다. 필터를 여러 번 적용하면서 속도를 개선시키기 한 방법으로 계층적인 구조를 사용한다.
우선 가우시안 피라미드를 이용하여 영상을 n 단계로 축소한다. n 단계로 축소된 영상 중 가장 상위 단계의 영상 전체에 양방향 필터를 적용한다. 가장 작은 영상이기 때문에 필터가 적용되는 윈도우의 크기 또한 n 단계로 축소된 윈도우를 사용한다. 최상위 단계에서의 필터 적용은 계산 속도에 영향을 미치지 않을 만큼 작다. 이후 단계에서는 영상 전체에 필터를 적용하지 않고 에지가 존재하는 부분에 대해서만 필터를 적용한다. 에지가 존재하지 않는 영역에 대해서는 상위 단계의 화소값을 확대함으로써 계산량을 줄인다.
영상에서 에지는 하기 수식 17에서와 같이, 각 픽셀의 그래디언트 값을 얻음으로써 획득할 수 있다.
Figure pat00019
영상의 그래디언트 값은 Sobel 에지 검출기를 이용하여 획득하다. 이때, 하기 수식 18에서와 같이 획득된 에지 정보에 대하여 임계값을 지정함으로써 에지 정보가 약할 경우에는 계산을 생략하도록 한다. 여기서는 임계값을 12의 값으로 설정하기로 한다.
Figure pat00020
계층적 처리에서는 에지를 포함하는 영역에서만 필터가 적용되기 때문에, 필터 적용 영역을 확장시킨다. 에지 픽셀 주변의 확장하는 영역의 크기를 양방향 필터가 사용하는 윈도우 크기와 동일하게 설정한다. 즉, 각 픽셀 p는 하기 수식 19의 조건을 만족하면 양방향 필터로 처리된다.
Figure pat00021
여기서, S(p)는 p를 중심으로 한 윈도우이고, q는 S(p) 안에 존재하는 모든 점이다. 따라서 한 화소 p가 있을 때, p가 중심인 윈도우 S(p)를 설정하고, S(p)내에 어느 한 화소라도 에지 정보가 있을 경우, 필터를 적용한다. 만약 안개가 짙어 에지 값의 크기가 작을 경우에는 임계값에 의해 에지 정보가 사라지기 때문에, 필터가 적용되지 않는다. 결과적으로 영상 내 안개가 짙은 경우에는 필터가 적용되는 부분이 적다.
한편, 영상 전체에 필터를 적용할 경우 안개가 짙은 영역의 에지 정보도 보존된다. 안개가 짙은 영역의 에지 정보가 보존될 경우, 같은 깊이를 가지는 안개 영역임에도 불구하고, 필터에 의해 t(x)가 다른 값을 가지게 될 수 있다. 따라서, 에지가 있는 영역에 한하여 필터를 적용해야 안개가 짙은 영역에 대해서는 미리 계산된 전달량을 사용할 수 있다. 영상의 크기를 작게 줄인 상태에서는 약한 에지는 모두 사라지기 때문에 영상 전체에 필터를 적용해도 무방하다.
그리고, 안개 깊이 차이는 크나 실제 영상 내 에서는 임계값보다 작은 에지가 있을 수 있다. 이를 보정해 주기 위하여 상위 단계에서 리파이닝된 전달량의 에지 정보를 이용한다. n-1 단계에서 리파이닝된 전달량은 안개의 깊이가 영상의 에지를 경계로 하여 분리되어 있기 때문에, 안개의 깊이 차이를 이용한 에지 검출이 가능하다. 검색된 에지 정보는 n 단계로 확대된 후, 영상의 에지 정보를 이용할 때와 마찬가지로 임계값 이상의 에지가 존재하는 영역에 대해서 필터를 적용한다.
요약하면, n 단계의 영상 정보를 이용하여 에지 정보 EI를 구하고, n-1 단계의 리파이닝된 전달량을 이용하여 에지 정보 Et를 구한다. Et를 n 단계의 영상으로 확대한 뒤 두 에지 정보를 결합하여 E=EI+Et를 얻는다. E 값 중 임계값 이상의 값을 이용하여 필터가 적용될 영역을 계산한다. 적용될 영역은 수식 19를 이용한다. 적용될 영역이 정해지면, 필터를 적용한 뒤 다음 단계로 진행한다. 더 이상 단계가 없을 경우에는 리파이닝된 전달량을 최종 전달량으로 사용한다.
마지막으로, 수식 10에서 알 수 없는 값은 J(x)이고, A 및 t(x)가 산출되었기 때문에 결과영상인 J(x)를 구할 수 있다. 단, 구해진 J(x) 값은 원본 영상 I(x)와 비교했을 때, 조금 더 어두운 값을 가지기 때문에 감마 보정을 통해 밝기를 증가시킬 필요가 있다.
이미지 스티칭부(330)는 안개 제거부(310)에서 교정되면서 안개가 제거된 복수의 적외선 이미지 센서로부터 얻어지는 이미지 데이터에 대하여 크게 특징점을 추출, 추출된 특징점에서 이상점(outlier)를 제거하여 매칭에 필요한 참인 특징점을 선별하고, 참인 특징점을 호모그래피(homography) 행렬로 변환하고, 호모그래피 행렬을 사용하여 이미지 데이터를 왜곡(warping)시키고, 왜곡된 이미지 데이터와 다른 이미지 데이터를 합하는 과정을 포함한다. 사용되는 특징점으로는 코너(corners), 에지(edges), 외곽선(contours), 교차점(line intersections) 등을 들 수 있다. 이와 같은 특징 기반 매칭 방법은 특징만을 이용하기 때문에 연산량이 적고 밝기 변화에 강인하다. 특징점 추출을 위해서는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), MPEG에서 표준화한 MPEG-7 CDVS(Compact Descriptor for Visual Search) 등 다양한 알고리즘을 적용할수 있다.
도 4는 일실시예에 따른 적외선 영상 처리방법의 동작을 설명하는 순서도이다.
도 4를 참조하면, 410 단계에서는 복수의 적외선 이미지 센서로부터 얻어지는 디지털 신호를 MIPI 타입 CSI-2 데이타로 변환한다.
430 단계에서는 MIPI 타입 CSI-2 데이타로부터 이미지 데이터를 생성한다.
450 단계에서는 상기 생성된 이미지 데이터에 대하여 온도 보정을 수행한다.
470 단계에서는 온도 보정된 이미지 데이터에 대하여 안개 제거 알고리즘을 적용한다.
110 ... 센서모듈 130 ... 포맷 변환부
150 ... 이미지 데이터 생성부 170 ... 후처리부
190 ... 표시부 210 ... 데이터 변환부
230 ... 패킷 포맷터 250 ... 타이밍 제어부
270 ... 메모리 310 ... 안개 제거부
330 ... 이미지 스티칭부

Claims (3)

  1. 복수의 적외선 이미지 센서로부터 얻어지는 디지털 신호를 MIPI 타입 CSI-2 데이타로 변환하는 단계;
    MIPI 타입 CSI-2 데이타로부터 이미지 데이터를 생성하는 단계;
    상기 생성된 이미지 데이터에 대하여 온도 보정 알고리즘을 적용하는 단계; 및
    온도 보정된 이미지 데이터에 대하여 안개 제거 알고리즘을 적용하는 단계를 포함하는 적외선 영상 처리방법.
  2. 제1 항에 있어서, 상기 온도 보정 알고리즘은 적외선 이미지 센서의 온도에 대응하는 원시데이터의 화소별 오차값을 인공신경망 모델을 이용하여 학습하여 룩업테이블 형태로 저장하고, 측정된 적외선 이미지 센서의 온도에 따라서 오차값을 결정하여 원시 데이터의 온도 보정 데이터로 생성하는 적외선 영상 처리방법.
  3. 제1 항에 있어서, 상기 안개 제거 알고리즘은
    안개 영상을 모델링하는 단계;
    DCP(Dark Channel Prior)에 기반하여 전달량을 계산하는 단계;
    양방향 필터를 계층적으로 적용하여 상기 전달량을 리파이닝하는 단계; 및
    리파이닝된 전달량을 이용하여 안개가 제거된 깨끗한 영상을 획득하는 단계를 포함하는 적외선 영상 처리방법.
KR1020190077822A 2019-06-28 2019-06-28 적외선 영상 처리방법 KR20210001555A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190077822A KR20210001555A (ko) 2019-06-28 2019-06-28 적외선 영상 처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077822A KR20210001555A (ko) 2019-06-28 2019-06-28 적외선 영상 처리방법

Publications (1)

Publication Number Publication Date
KR20210001555A true KR20210001555A (ko) 2021-01-06

Family

ID=74128716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077822A KR20210001555A (ko) 2019-06-28 2019-06-28 적외선 영상 처리방법

Country Status (1)

Country Link
KR (1) KR20210001555A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023159761A1 (zh) * 2022-02-22 2023-08-31 平安科技（深圳）有限公司 图像交互方法、装置、设备及存储介质
CN116982942A (zh) * 2023-08-07 2023-11-03 武汉迅检科技有限公司 一种基于红外热成像的口腔测温方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023159761A1 (zh) * 2022-02-22 2023-08-31 平安科技（深圳）有限公司 图像交互方法、装置、设备及存储介质
CN116982942A (zh) * 2023-08-07 2023-11-03 武汉迅检科技有限公司 一种基于红外热成像的口腔测温方法及系统
CN116982942B (zh) * 2023-08-07 2024-04-02 武汉迅检科技有限公司 一种基于红外热成像的口腔测温方法及系统

Similar Documents

Publication Publication Date Title
US10990825B2 (en) Image processing method, electronic device and computer readable storage medium
EP3287949B1 (en) Image analysis system and method
CN107301624B (zh) 基于区域划分及浓雾预处理的卷积神经网络去雾方法
US9344690B2 (en) Image demosaicing
TWI649698B (zh) 物件偵測裝置、物件偵測方法及電腦可讀取媒體
RU2476825C2 (ru) Способ управления движущимся объектом и устройство для его осуществления
CN113989613A (zh) 一种应对复杂环境的轻量级高精度船舶目标检测方法
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN115379123B (zh) 一种用无人机巡检的变压器故障检测方法
KR20210001555A (ko) 적외선 영상 처리방법
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN113287146A (zh) 图像中雾的空间变化的减少
CN112862150A (zh) 一种基于图像与视频多模型的森林火情预警方法
US20110085026A1 (en) Detection method and detection system of moving object
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN117315714A (zh) 一种基于跨模态特征分解的多光谱行人检测方法
CN107424134B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
CN111062384A (zh) 一种基于深度学习的车窗精确定位方法
KR101893677B1 (ko) 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치
CN116958919A (zh) 目标检测方法、装置、计算机可读介质及电子设备
CN114782280A (zh) 图像处理方法和装置
CN110501709B (zh) 目标检测系统、自主车辆以及其目标检测方法
CN113313118A (zh) 基于多尺度特征融合的自适应可变占比目标检测方法
CN104732503B (zh) 图像去雾增强方法和装置