KR102273612B1 - 채널별 색상정보 외삽법 알고리즘과 컬러휠을 활용한 전자광학장비 프레임률 향상방법 - Google Patents

Abstract

본 발명은 베이어 패턴 기반의 CCD가 탑재된 전자광학장비에 컬러휠 필터와 모터를 부착하여 영상자료를 획득한 이후, 채널별 색상정보 외삽법 알고리즘을 활용한 후처리를 통해 해상도 손실 없이 전자광학장비의 프레임률을 3배 향상시키는 방법에 관한 것이다.

Description

채널별 색상정보 외삽법 알고리즘과 컬러휠을 활용한 전자광학장비 프레임률 향상방법{Method for enhancing frame rate of electro-optical equipment using color channel extrapolation algorithm and color wheel}

본 발명은 베이어 패턴(Bayer pattern) 기반의 CCD(Charge Coupled Device)가 탑재된 전자광학장비에 컬러휠(color wheel) 필터와 모터를 부착하여 영상자료를 획득한 이후, 채널별 색상정보 외삽법 알고리즘(color channel extrapolation algorithm)을 활용한 후처리를 통해 해상도 손실 없이 전자광학장비의 프레임률(frame rate)을 3배 향상시키는 방법에 관한 것이다.

전자광학 센서는 정찰위성 및 중고도/고고도 무인기와 같은 대형 감시정찰 체계에서부터 지상 무인로봇 및 개인용 관측장비에 이르기까지 다양한 감시정찰 무기체계에 활용되고 있다.

각 무기체계별 작전요구성능에 따라 필요로 하는 전자광학 센서의 공간적 해상도와 시간적 해상도가 달라진다. 대부분의 영상센서가 30~60 프레임/초로 영상을 촬영하기 때문에, 표적의 이동 및 변화가 이보다 더 빠른 경우 프레임률 증가가 필요하다. 프레임률을 증가시키기 위한 방법으로는, 고속 카메라와 같은 고사양의 하드웨어를 사용하는 방법과, 영상처리 알고리즘을 활용한 시간적 초해상도(temporal super resolution) 기법이 있다. 고사양의 하드웨어는 높은 성능이 보장되지만, 장비의 가격이 매우 비싸다. 시간적 초해상도 기법을 활용하면, 성능은 고사양 하드웨어 대비 부족하지만, 일반적인 전자광학 센서에서도 프레임률을 증가시킬 수 있다.

본 발명의 목적은 전자광학장비의 프레임률을 향상시키는 방법을 제공하는 것이다.

본 발명은 상술한 목적을 달성하기 위해, 컬러휠 필터를 활용하여 전자광학장비의 각 채널에서 획득되는 데이터를 시간 축에서 연속되는 다른 시간대의 데이터가 되도록 제어하는 제1단계; 및 획득된 각 채널 간의 데이터를 활용하여 모든 시간대에서 각 채널의 데이터를 생성하는 제2단계를 포함하는 전자광학장비 프레임률 향상방법을 제공한다.

본 발명에서 전자광학장비는 베이어 패턴 기반의 CCD(Charge Coupled Device) 센서가 탑재된 전자광학장비일 수 있다.

본 발명의 제1단계에서 컬러휠 필터를 활용하여 CCD 센서의 RGB(Red Green Blue) 각 채널이 연속하는 다른 시간대의 정보를 획득하도록 조정할 수 있다.

본 발명의 제1단계에서 컬러휠의 색상경계선을 넘어가는 순간과 영상 촬영의 시작점이 동시에 되도록 시퀀스가 맞추어진 상태에서, RGB 3분할 컬러휠이 영상촬영 프레임률과 같은 주기로 회전하게 됨으로써, CCD의 R, G, B 센서 각각의 노출시간이 1/3으로 줄어들면서 각 채널 간의 노출시간이 연속적으로 이어지게 될 수 있다.

본 발명의 제1단계에서 컬러휠을 활용하여 촬영된 영상은 R, G, B 채널이 연속하는 각각 다른 시간정보를 보유하게 되고, 제2단계에서는 특정 프레임 전후로 연속하는 다른 채널의 시간 정보를 활용하여 특정 시점에 해당하는 가상의 완성된 RGB 정보를 생성할 수 있다.

본 발명의 제2단계에서 RGB 각 채널의 영상을 각각 이동물체 탐지 기법으로 전경과 배경을 분리하고, 전경 정보를 연속하는 다른 채널의 정보를 활용하여 재구성함으로써, 연속하는 각 시점별로 특정 시점의 RGB 전경의 형태를 생성하며, 생성된 RGB 전경을 활용하여 1프레임으로부터 가상의 3프레임을 생성할 수 있다.

본 발명의 제2단계에서는 제1단계에서 획득한 정보를 이동하는 물체를 탐지하는 기법과 적대적 생성 신경망(GAN) 알고리즘을 순차적으로 활용하여 가상의 RGB 프레임을 생성할 수 있다.

본 발명의 제2단계에서 이동 물체를 탐지하여 배경 제거 처리한 이후의 이동 물체만을 활용하고, 다른 채널의 연속한 정보를 활용한 적대적 생성 신경망(GAN) 알고리즘을 통해 해당 시점의 다른 채널 정보를 생성할 수 있다.

본 발명의 제2단계에서는 제1단계에서 획득한 정보를 이동하는 물체를 탐지하는 기법과 옵티컬 플로우 기법을 순차적으로 활용하여 가상의 RGB 프레임을 생성할 수 있다.

본 발명의 제2단계에서 이동 물체를 탐지하여 배경 제거 처리한 이후의 이동 물체만을 활용하고, 다른 채널의 연속한 정보를 활용한 옵티컬 플로우 기법을 통해 해당 시점의 다른 채널 정보를 생성할 수 있다.

본 발명에서 전자광학장비의 프레임률을 3배 향상시킬 수 있다.

본 발명에 따르면, 베이어 패턴 기반의 CCD가 탑재된 전자광학장비에 컬러휠 필터와 모터를 부착하여 영상자료를 획득한 이후, 채널별 색상정보 외삽법 알고리즘을 활용한 후처리를 통해 해상도 손실 없이 전자광학장비의 프레임률을 3배 향상시킬 수 있다.

도 1은 CCD의 베이어 패턴을 나타낸 것으로, (R)은 Red, (G)는 Green, (B)는 Blue이다.
도 2는 3분할 컬러휠을 나타낸 것이다.
도 3은 색상정보 외삽법을 활용한 프레임률 향상방안을 나타낸 것이다.
도 4는 연속하는 R, G, B 채널의 이미지를 통합하여 만든 가상의 이미지를 나타낸 것이다.
도 5는 좌측의 영상을 활용하여 색상정보 외삽법을 통해 재구성한 결과영상(우측)을 나타낸 것이다.

이하, 본 발명을 상세하게 설명한다.

본 발명은 베이어 패턴(도 1) 기반의 CCD가 탑재된 전자광학장비에 컬러휠 필터와 모터를 부착하여 영상자료를 획득한 이후, 채널별 색상정보 외삽법 알고리즘을 활용한 후처리를 통해 해상도 손실 없이 전자광학장비의 프레임률을 3배 향상시키는 방안에 관한 것이다. 프레임률은 화면표시장치에서 영상 신호를 전송할 때, 사람의 시각 특성과 채널의 대역폭 따위를 고려하여 초당 전송하는 프레임의 개수를 말한다.

본 발명에 따른 전자광학장비 프레임률 향상방법은 컬러휠 필터를 활용하여 전자광학장비의 각 채널에서 획득되는 데이터를 시간 축에서 연속되는 다른 시간대의 데이터가 되도록 제어하는 제1단계; 및 획득된 각 채널 간의 데이터를 활용하여 모든 시간대에서 각 채널의 데이터를 생성하는 제2단계를 포함한다.

전자광학장비는 베이어 패턴 기반의 CCD 센서가 탑재된 전자광학장비일 수 있다. 베이어 패턴은 도 1과 같이 인간의 시각 특성을 따라 G가 50%, R과 B가 각각 25%가 되도록 교차 배치된 패턴을 말한다.

제1단계에서는 컬러휠 필터를 활용하여 CCD 센서의 RGB 각 채널이 연속하는 다른 시간대의 정보를 획득하도록 조정할 수 있다. 컬러휠은 도 2와 같이 RGB가 원을 따라 균등하게 3분할된 컬러휠이다.

구체적으로, 제1단계에서 전자광학장비에 부착된 컬러휠의 색상경계선을 넘어가는 순간과 영상 촬영의 시작점이 동시에 되도록 시퀀스가 맞추어진 상태에서, RGB 3분할 컬러휠(도 2)이 영상촬영 프레임률과 같은 주기로 회전하게 되면, 도 3(a)의 좌측 그림과 같이 CCD의 R, G, B 센서 각각의 노출시간이 1/3으로 줄어들면서 각 채널 간의 노출시간이 연속적으로 이어지게 될 수 있다. 위와 같은 방법으로 촬영된 매 프레임은 서로 다른 시간대의 단일 채널 정보만을 가지고 있는 세 프레임으로 분리할 수 있다.

위와 같이 제1단계에서 컬러휠을 활용하여 촬영된 영상은 R, G, B 채널이 연속하는 각각 다른 시간정보를 보유하게 되는데, 본 발명의 제2단계에서는 도 3(b)와 같이 특정 프레임 전후로 연속하는 다른 채널의 시간 정보를 활용하여 특정 시점에 해당하는 가상의 완성된 RGB 정보를 도 3(a) 우측 그림과 같이 생성할 수 있다.

구체적으로, 분리된 단일 채널 영상 세 프레임과 색상정보 외삽법 알고리즘을 활용하여 가상의 단일 채널 영상 여섯 프레임을 생성하고 도 3(a)의 우측과 같이 프레임률을 3배로 증가시킬 수 있다. 더욱 구체적으로는, 도 3(b)와 같이 t₀ 시점의 G 채널 영상을 기준으로 t_-1 시점의 R 채널 영상과 t₊₁ 시점의 B 채널 영상으로부터 색상정보 외삽법 알고리즘을 이용하여 t₀ 시점의 가상의 R 채널 영상과 B 채널 영상을 생성할 수 있다. 이와 같이, 존재하지 않던 시점별 채널의 영상을 인접한 채널의 영상으로부터 외삽법을 통해 재구성할 수 있다.

색상정보 외삽법 알고리즘은 영상 속의 연속되는 프레임들이 각기 다른 한 채널의 정보를 가지고 있더라도, 연속하는 프레임들에 대해서는 인접한 다른 채널들의 정보를 활용하여 해당 프레임에 존재하지 않던 채널의 정보를 가상으로 만들어내는 방식으로, 매 프레임별로 모든 채널의 정보를 가지고 있는 영상을 재구성하는 것을 말한다. 본 발명에서 사용 가능한 색상정보 외삽법 알고리즘은 적대적 생성 신경망(GAN: Generative Adversarial Network) 알고리즘, 옵티컬 플로우(optical flow) 추정 기법 등이다.

적대적 생성 신경망(GAN)은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 이미지, 동영상 등을 자동으로 만들어내는 기계학습(Machine Learning) 방식의 하나이다. 구체적으로, 하기 식으로 학습을 하여, 프레임률이 3배 향상된 다음 프레임의 이동을 추정하는 함수 P와 데이터의 채널을 변환해주는 생성기 G1(R->G), G2(R->B), G3(G->B), G4(G->R), G5(B->R), G6(B->G)를 만들 수 있다.

[수학식 1]

[수학식 2]

수학식 1과 2에서, min은 최소값 함수, T는 영상의 전체 시간, x_tn은 t시각의 n번째 데이터 값, P_i는 예측 함수, G_i는 생성 함수, x_t(n+i)는 t시각의 n+i번째 데이터 값, L_T는 손실 함수, x_(t+1)n은 t+1시각의 n번째 데이터 값이다.

옵티컬 플로우 추정 기법은 다른 채널간의 움직임을 측정하기 위한 알고리즘으로서, 본 발명에서는 미세한 움직임을 보존하는 옵티컬 플로우 추정 기법을 활용하여 가상 채널 영상을 생성할 수 있다. 미세한 움직임을 보존하는 옵티컬 플로우 추정 기법은 초기값 설정시 점진적 향상 기법 외에 특징점 정합과 패치 정합을 추가하여 옵티컬 플로우의 움직임으로 추정될 수 있는 대상을 늘리고, 입력 데이터에 따라서 영역별로 색상 정보를 기준으로 최적화를 진행할 것인지 경계선 정보를 기준으로 최적화를 진행할 것인지 선택할 수 있다.

두 장의 영상 I₁과 I₂로부터 두 영상 간의 움직임을 추정한 옵티컬 플로우를 u로 나타낸다. 점진적 정확도 향상 기법 체계만을 사용하여 구한 옵티컬 플로우를 u^c라고 한다. 기존의 옵티컬 플로우는 후보군 u^c 속에서 하기 식 3을 최소화시키는 최적화를 통해 u를 구하는 것이다.

[수학식 3]

여기서 τ는 색상값과 경계선 값이 결과에 미치는 영향을 한쪽에 치우치지 않게 하기 위한 상수이고, ∇는 경계선 근사화를 시키는 연산자이다. Ed는 목적 함수, x는 좌표 값이다.

특징점 정합으로 밀도는 적지만 이 특징점의 이동을 나타낸 시프트 플로우 uⁱ와 패치 정합을 이용한 패치 플로우 uⁿ을 구하여 후보군 u^c, uⁱ, uⁿ 속에서 식 4를 최소화할 수 있다.

[수학식 4]

a(x)는 경계선과 색상정보를 선택적으로 고르는 이진함수이다. 패치 정합을 이용한 패치 플로우 uⁿ은 식 5를 최소화시킴으로써 구할 수 있는데, 이 중 N(x)는 x를 중심으로 하는 5×5 크기의 패치를 의미한다. E는 목적 함수이고, y 및 k는 정의가 필요 없다.

[수학식 5]

uⁱ는 두 영상 간의 특징점 정합을 통해서, 각 특징점들이 좌표평면상에서 어떻게 이동했는지 행렬을 구하고, 행렬들이 집합으로 구해진다.

전자광학 장비의 전면부에 컬러휠을 부착하여 영상을 촬영하면, 영상 속의 움직임이 없는 배경에 대해서는 일반 영상을 촬영한 것과 유사하고, 영상 속의 이동 전경에 대해서는 RGB 블러(blur)가 발생한 도 4와 유사한 영상을 획득할 수 있다. 도 4는 일반 비디오 영상 중 연속하는 3프레임의 R, G, B 채널에 해당하는 각 채널의 정보를 취합하여, 채널별로 영상이 촬영된 시점이 다른 가상의 프레임이다.

제2단계에서 RGB 각 채널의 영상을 각각 이동물체 탐지 기법으로 전경과 배경을 분리하고, 전경 정보를 연속하는 다른 채널의 정보를 활용하여 재구성하면, 연속하는 각 시점별로 특정 시점의 RGB 전경의 형태를 생성할 수 있다. 생성된 RGB 전경을 활용하여 도 5와 같이 1프레임으로부터 가상의 3프레임을 생성할 수 있다. 도 5의 좌측은 위에서 생성한 가상의 프레임으로 8 프레임/초이며, 우측은 좌측 영상의 R, G, B 와 미세한 움직임을 보존하는 옵티컬 플로우 기법을 적용하여 생성한 가상의 채널영상을 결합하여 24 프레임/초로 프레임률을 3배 증가시킨 실험 결과이다.

전경과 배경의 잘못된 정합을 줄이기 위해, 전경과 배경을 분리한 후 전경만을 대상으로 외삽법 알고리즘을 사용할 수 있다. 이동물체 탐지기법으로는 강인한 주성분 분석(Robust Principle Component Analysis) 알고리즘을 배경 삭감에 이용할 수 있다. 구체적으로, 배경이 찍힐 때에는 주성분으로 추출할 수 있고, 움직이는 물체가 찍힐 때에는 이를 아웃라이어(outlier)로 표현하여 배경과 분리할 수 있다. 외삽법으로 얻은 가상의 전경 영상을 해당하는 채널별로 기존의 배경 영상과 합하여 한 프레임의 채널 영상을 만들 수 있다.

하나의 실시형태에 따르면, 제2단계에서는 제1단계에서 획득한 정보를 이동하는 물체를 탐지하는 기법과 적대적 생성 신경망(GAN) 알고리즘을 순차적으로 활용하여 가상의 RGB 프레임을 생성할 수 있다. 이 경우에서 이동 물체를 탐지하여 배경 제거 처리한 이후의 이동 물체만을 활용하고, 다른 채널의 연속한 정보를 활용한 적대적 생성 신경망(GAN) 알고리즘을 통해 해당 시점의 다른 채널 정보를 생성할 수 있다.

다른 실시형태에 따르면, 제2단계에서는 제1단계에서 획득한 정보를 이동하는 물체를 탐지하는 기법과 옵티컬 플로우 기법을 순차적으로 활용하여 가상의 RGB 프레임을 생성할 수 있다. 이 경우에서 이동 물체를 탐지하여 배경 제거 처리한 이후의 이동 물체만을 활용하고, 다른 채널의 연속한 정보를 활용한 옵티컬 플로우 기법을 통해 해당 시점의 다른 채널 정보를 생성할 수 있다.

이와 같이, 컬러휠 필터와 색상정보 외삽법 알고리즘을 활용하여 일반적인 베이어 패턴 CCD가 탑재된 전자광학센서의 프레임률을 3배 증가시킬 수 있다. 본 발명에서 제안한 기법은 기존의 방법들과 달리 색상정보를 활용하여 프레임률을 향상시키기 때문에, 일반 카메라를 사용하는 기존의 방법들과 병용가능하며, 이를 통해 기존의 방법들의 한계치에서 프레임률을 3배 향상시킬 수 있다.

Claims (11)

1. 컬러휠 필터를 활용하여 전자광학장비의 각 채널에서 획득되는 데이터를 시간 축에서 연속되는 다른 시간대의 데이터가 되도록 제어하는 제1단계; 및
   획득된 각 채널 간의 데이터를 활용하여 색상정보 외삽법 알고리즘을 통해 모든 시간대에서 각 채널의 데이터를 생성하는 제2단계를 포함하고,
   전자광학장비는 베이어 패턴 기반의 CCD(Charge Coupled Device) 센서가 탑재된 전자광학장비이며,
   제1단계에서 컬러휠 필터를 활용하여 CCD 센서의 RGB(Red Green Blue) 각 채널이 연속하는 다른 시간대의 정보를 획득하도록 조정하고,
   제1단계에서 컬러휠의 색상경계선을 넘어가는 순간과 영상 촬영의 시작점이 동시에 되도록 시퀀스가 맞추어진 상태에서, RGB 3분할 컬러휠이 영상촬영 프레임률과 같은 주기로 회전하게 됨으로써, CCD의 R, G, B 센서 각각의 노출시간이 1/3으로 줄어들면서 각 채널 간의 노출시간이 연속적으로 이어지게 되며,
   제1단계에서 컬러휠을 활용하여 촬영된 영상은 R, G, B 채널이 연속하는 각각 다른 시간정보를 보유하게 되고, 제2단계에서는 특정 프레임 전후로 연속하는 다른 채널의 시간 정보를 활용하여 특정 시점에 해당하는 가상의 완성된 RGB 정보를 생성하며,
   제2단계에서 RGB 각 채널의 영상을 각각 이동물체 탐지 기법으로 전경과 배경을 분리하고, 전경 정보를 연속하는 다른 채널의 정보를 활용하여 재구성함으로써, 연속하는 각 시점별로 특정 시점의 RGB 전경의 형태를 생성하며, 생성된 RGB 전경을 활용하여 1프레임으로부터 가상의 3프레임을 생성하고,
   제2단계에서는 제1단계에서 획득한 정보를 이동하는 물체를 탐지하는 기법과 색상정보 외삽법 알고리즘으로서 적대적 생성 신경망(GAN) 알고리즘 또는 옵티컬 플로우 기법을 순차적으로 활용하여 가상의 RGB 프레임을 생성하며,
   제2단계에서 이동 물체를 탐지하여 배경 제거 처리한 이후의 이동 물체만을 활용하고, 다른 채널의 연속한 정보를 활용한 적대적 생성 신경망(GAN) 알고리즘 또는 옵티컬 플로우 기법을 통해 해당 시점의 다른 채널 정보를 생성하며,
   전자광학장비의 프레임률을 3배 향상시키는 전자광학장비 프레임률 향상방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images