KR102273655B1 - 적대적 생성 신경망 알고리즘을 활용한 초분광 고속 카메라 영상 생성 방법 - Google Patents

Abstract

본 발명은 스펙트럼 스캐닝 방식의 초분광 카메라로 영상을 촬영하여 획득한 연속되는 3차원 데이터 큐브를 스펙트럼 수 이내의 시간적 해상도를 가질 수 있도록 분할하여 고속 초분광 동영상을 생성하는 방법에 관한 것이다.

Description

적대적 생성 신경망 알고리즘을 활용한 초분광 고속 카메라 영상 생성 방법{Method for creating hyperspectral high speed camera image using generative　adversarial　network algorithm}

본 발명은 스펙트럼 스캐닝(spectral scanning) 방식의 초분광 카메라(hyperspectral camera)로 영상을 촬영하여 획득한 연속되는 3차원 데이터 큐브(data cube)를 스펙트럼 수 이내의 시간적 해상도를 가질 수 있도록 분할하여 고속 초분광 동영상을 생성하는 방법에 관한 것이다.

초분광 카메라는 환경 및 국방 등 여러 분야에서 육안으로 구별하기 어려운 물체 혹은 현상을 탐지 및 식별하는데 활용되고 있다. 표적의 탐지 및 추적에 있어 좋은 성능을 발휘하기 때문에, 국방 분야에서는 위장한 전차, 군용 차량, 병사 등을 탐지 및 식별하는 용도로 사용 중이다.

기존 초분광 카메라는 사진 한 장에 해당하는 3차원 데이터 큐브를 생성하기 위해 수 초 이상의 시간이 소요되었다.

본 발명의 목적은 기존 초분광 카메라를 활용하여 고속 프레임율의 초분광 고속 카메라 영상 생성 방법을 제공하는 것이다.

본 발명은 상술한 목적을 달성하기 위해, 스펙트럼 스캐닝 방식의 초분광 카메라로 영상을 촬영한 후, 각 데이터 큐브를 특정 시점별 스펙트럼 값으로 분리하는 단계; 및 적대적 생성 신경망을 통해 특정 시점별 모든 스펙트럼 값을 가진 데이터 큐브를 생성하는 단계를 포함하는, 초분광 고속 카메라 영상 생성 방법을 제공한다.

본 발명에서는 다른 시점의 스펙트럼 값을 활용하여 특정 시점의 스펙트럼을 생성하기 위해서, 이동 물체를 탐지하고 배경과 분리하여 이동 물체에 해당하는 스펙트럼과 배경에 해당하는 스펙트럼을 분리할 수 있다.

본 발명에서는 시간적 연속성을 고려한 적대적 생성 신경망 알고리즘을 활용하여, 특정 시점별 특정 스펙트럼 값만을 가진 데이터 큐브 세트로부터, 특정 시점별 모든 스펙트럼 값을 가진 데이터 큐브 세트를 생성할 수 있다.

구체적으로, 본 발명은 스펙트럼 스캐닝 방식의 초분광 고속 카메라로 영상을 촬영한 이후, 획득한 3차원 데이터 큐브를 각 스펙트럼이 촬영된 특정 시점별로 분리 획득하여 스펙트럼 수만큼의 3차원 데이터 큐브를 생성하는 제1단계; 생성된 데이터 큐브로부터, 이동 물체를 탐지하여 배경과 분리하는 처리를 통해서, 이동 물체에 해당하는 영역과 배경에 해당하는 영역을 분리하는 제2단계; 및 분리된 배경 영역에서의 동일 좌표에 해당하는 각 스펙트럼의 값을 활용하여, 영상의 공간적 위치에 따른 스펙트럼 값을 획득하고, 적대적 생성 신경망 알고리즘을 통해 움직임이 있는 영역에 대해서 특정 시점별 모든 스펙트럼의 값을 가진 3차원 데이터 큐브를 재구성하는 제3단계를 포함하는, 초분광 고속 카메라 영상 생성 방법을 제공한다.

본 발명의 제1단계에서 새로 생성된 시점별 3차원 데이터 큐브의 데이터들은 특정 스펙트럼의 값만을 보유한 상태일 수 있다.

본 발명의 제1단계에서 초분광 카메라는 스펙트럼별 데이터 값을 보는 기능을 가질 수 있다.

본 발명에 따르면, 사진 한 장에 해당하는 3차원 데이터큐브를 생성하기 위해 수 초 이상의 시간이 소요되는 기존 초분광 카메라를 활용하여 고속 초분광 카메라를 구현할 수 있다.

도 1은 사람의 눈으로 획득한 영상정보와 초분광 센서로 획득한 영상정보를 나타낸 것이다.
도 2는 초분광 카메라 스캐닝 방식을 나타낸 것이다.

이하, 본 발명을 상세하게 설명한다.

초분광 카메라로 촬영한 영상은 도 1과 같이 영상획득 시 각 화소별로 물질을 식별하는데 활용 가능한 연속적인 스펙트럼에 대한 정보를 모두 포함하고 있다. 초분광 카메라로 획득한 데이터는 일반적인 카메라로 촬영한 영상의 2차원 공간적 정보에 추가로 화소별 스펙트럼이 포함되어 3차원 데이터 큐브 형태로 이루어진다.

초분광 카메라의 스캐닝 방식으로는, 도 2와 같이 공간 스캐닝(spatial scanning), 스펙트럼 스캐닝(spectral scanning), 논-스캐닝(non-scanning), 공간스펙트럼 스캐닝(spatiospectral scanning) 방식이 있다.

공간 스캐닝 방식은 특정 공간적 영역에 대한 전체 스펙트럼을 획득한 이후 다른 공간적 영역에 대해 순차적으로 스캐닝하는 방식이며, 스펙트럼 스캐닝 방식은 전체 공간 영역의 특정 스펙트럼을 스캐닝한 이후 다른 스펙트럼에 대해서 순차적으로 스캐닝하는 방식이다. 스냅샷(snap shot)이라는 명칭으로도 불리는 논-스캐닝 방식은 센서를 다수의 스펙트럼 영역으로 구분하여 동시에 측정을 하는 방식이다.

앞서 서술된 것과 같이, 스펙트럼 스캐닝 방식은 특정 스펙트럼의 공간적 영역에 대해 순차적으로 스캔하는 방식이기 때문에, 각각의 스펙트럼은 연속하는 다른 시간대에 획득된 정보로 볼 수 있다. 그러므로, 시간 축으로 촬영된 이미지를 구분하면, 스캐닝 시간을 스펙트럼 수로 나눈 것만큼 분리가 가능하다.

일반적으로 고속으로 촬영된 영상은 각 프레임별로 전후 프레임 간의 중복되는 정보를 담고 있는 화소가 상당히 많아서, 스펙트럼 스캐닝 방식으로 촬영된 각 스펙트럼의 제한적인 특정 시점 정보 간의 연계를 이용하여 적대적 생성 신경망(GAN: Generative Adversarial Network) 알고리즘을 통해 모든 시점에 대한 3차원 큐브를 생성해 낼 수 있다. 적대적 생성 신경망(GAN)은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 이미지나 동영상 등을 자동으로 만들어내는 기계학습(Machine Learning) 방식의 하나이다.

본 발명에 따른 적대적 생성 신경망 알고리즘을 활용한 초분광 고속 카메라 영상 생성 방법은 다음과 같은 단계별로 수행될 수 있다.

첫 번째 단계에서, 스펙트럼 스캐닝 방식의 초분광 고속 카메라로 영상을 촬영한 이후, 획득한 3차원 데이터 큐브를 각 스펙트럼이 촬영된 특정 시점별로 분리 획득하여 스펙트럼 수만큼의 3차원 데이터 큐브를 생성한다. 즉, 스펙트럼 스캐닝 방식의 초분광 카메라로 영상을 촬영한 후, 각 데이터 큐브를 특정 시점별 스펙트럼 값으로 분리 획득한다. 새로 생성된 시점별 3차원 데이터 큐브의 데이터들은 특정 스펙트럼의 값만을 보유한 상태이다.

초분광 카메라는 스펙트럼별 데이터 값을 보는 기능을 제공할 수 있다. 일반 카메라의 예로 사진을 촬영하면, 사진의 각 화소별 R채널의 값, G채널의 값, B채널의 값을 확인할 수 있는 것과 같다. 예를 들어, 스펙트럼 스캐닝 방식의 3채널 RGB 카메라로 1 fps(frame per second)로 1초간 촬영하였다면(스펙트럼이 R, G, B 순으로 촬영된다는 가정), 실제로 R채널의 데이터가 촬영된 시간은 0~0.33초, G채널의 데이터가 촬영된 시간은 0.33~0.67초, B채널의 데이터가 촬영된 시간은 0.67~1초가 된다. 그러므로, 촬영된 데이터의 R채널에는 0~0.33초, G채널에는 0.33~0.67초, B채널에는 0.67~1초로 각 채널별 각 시점의 데이터가 담겨있다. 스펙트럼 스캐닝 방식의 초분광 카메라에 대해서도 스펙트럼(채널) 수만 확장되었으며, 동일한 개념으로 볼 수 있다.

이후, 선택적인 실시형태에서, 정지된 상태에서 촬영된 일반 사진들과 딥러닝 알고리즘을 활용하여, 촬영시간 동안 움직임(카메라의 움직임, 배경의 변화, 전경의 이동 등을 고려)이 가장 적은 생성 시점이 연속하는 스펙트럼들로 이루어진 모든 스펙트럼 값을 보유한 데이터 큐브를 선택할 수 있다.

또한, 선택적인 다른 실시형태에서, 모션블러(motion blur) 영역 검출 알고리즘을 사용하여, 촬영시간 동안 움직임(카메라의 움직임, 배경의 변화, 전경의 이동 등을 고려)이 가장 적은 생성 시점이 연속하는 스펙트럼들로 이루어진 모든 스펙트럼 값을 보유한 데이터 큐브를 선택할 수 있다. 즉, 모션블러 영역 검출 알고리즘에 의해 모션블러 영역이 가장 적은 값을 가지는 데이터를 선택할 수 있다.

두 번째 단계에서, 생성된 (또는 선택된) 데이터 큐브로부터, 이동 물체를 탐지하여 배경과 분리하는 처리를 통해서(즉, 이동 물체 탐지/검출 알고리즘을 활용하여), 데이터 큐브의 공간좌표 중 이동 물체에 해당하는 영역과 배경에 해당하는 영역을 분리한다(즉, 배경과 이동 물체의 스펙트럼 값을 분리한다). 구체적으로, 다른 시점의 스펙트럼 값을 활용하여 특정 시점의 스펙트럼을 생성하기 위해서, 이동 물체를 탐지하고 배경과 분리하여 이동 물체에 해당하는 스펙트럼과 배경에 해당하는 스펙트럼을 분리한다(즉, 알고리즘을 사용하지 않고도 매칭이 가능한 배경과 이동 물체를 구분한다).

이동물체 탐지/검출 알고리즘으로는 강인한 주성분 분석(Robust Principle Component Analysis) 알고리즘을 이용할 수 있다. 구체적으로, 배경이 찍힐 때에는 주성분으로 추출할 수 있고, 움직이는 물체가 찍힐 때에는 이를 아웃라이어(outlier)로 표현하여 배경과 분리할 수 있다.

또한, 선택적인 실시형태에서, 선택된 데이터 큐브로부터 일반 사진의 R, G, B 채널에 해당하는 스펙트럼 값을 추출하고, 정지된 상태에서 촬영된 일반 사진들과 딥러닝 알고리즘을 활용한 비교를 통해, 데이터 큐브의 공간좌표 중 움직임이 있는 것으로 추정되는 영역과 정지된 것으로 추정되는 영역을 분리할 수 있다. 즉, 다른 시점의 스펙트럼 값을 활용하여 특정 시점의 스펙트럼을 생성하는 기준점을 찾기 위해서, 정지된 상태에서 촬영된 일반 영상과 촬영된 초분광 영상의 레드(R), 그린(G), 블루(B) 정보 값을 활용하여, 움직임이 적은 데이터 큐브와 정지된 영역을 찾아낼 수 있다.

또한, 선택적인 다른 실시형태에서, 선택된 데이터 큐브로부터 일반 사진의 R, G, B 채널에 해당하는 스펙트럼 값을 추출하고, 모션블러 영역 검출 알고리즘을 사용하여, 데이터 큐브의 공간좌표 중 움직임이 있는 것으로 추정되는 영역과 정지된 것으로 추정되는 영역을 분리할 수 있다. 즉, 다른 시점의 스펙트럼 값을 활용하여 특정 시점의 스펙트럼을 생성하는 기준점을 찾기 위해서, 정지된 상태에서 촬영된 일반 영상과 촬영된 초분광 영상의 레드(R), 그린(G), 블루(B) 정보 값을 활용하여, 움직임이 적은 데이터 큐브와 정지된 영역을 찾아낼 수 있다.

세 번째 단계에서, 분리된 배경(또는 정지) 영역에서의 동일 좌표에 해당하는 각 스펙트럼의 값을 활용하여, 영상의 공간적 위치에 따른 스펙트럼의 관계를 알 수 있고, 이를 참조하여 적대적 생성 신경망 알고리즘을 통해 움직임이 있는 영역에 대해서 특정 시점별 모든 스펙트럼의 값을 가진 3차원 데이터 큐브를 재구성한다. 즉, 적대적 생성 신경망을 통해 특정 시점별 모든 스펙트럼 값을 가진 데이터 큐브를 생성한다. 구체적으로, 시간적 연속성을 고려한 적대적 생성 신경망 알고리즘을 활용하여, 특정 시점별 특정 스펙트럼 값만을 가진 데이터 큐브 세트로부터, 특정 시점별 모든 스펙트럼 값을 가진 데이터 큐브 세트를 생성한다.

구체적으로, 하기 수학식 1과 같이, 매핑(mapping) G_Y : X → Y를 학습하기를 원한다고 가정하면, 쌍을 이룬 데이터 샘플 {(x_i, y_i)}에서 재구성 오차(reconstruction error)를 최소화하도록 G_Y를 조정한다. 여기서, x_i ∈ X, y_i ∈ Y이다. 수학식 1에서 min은 최소값 함수, G_Y는 생성자 함수이다.

[수학식 1]

재발 손실을 하기 수학식 2로 하여, P(x)의 n번 축차 대입으로 구해진다고 보았을 때, 수학식 3에서 T는 시간, N은 스펙트럼 수를 의미하며, 생성자 함수 G_i가 입력 데이터 x_tn을 같은 프레임 내에 속한 다음 스펙트럼의 값 x_t(n+i)이 될 수 있도록 학습시킨다. 최종적으로 식별자 G_i를 활용하여, 특정 스펙트럼 n 시점의 모든 스펙트럼을 복원한다.

[수학식 2]

[수학식 3]

수학식 2 및 3에서, min은 최소값 함수, T는 영상의 전체 시간, x_tn은 t시각의 n번째 데이터 값, P_i는 예측 함수, G_i는 생성자 함수, x_t(n+i)는 t시각의 n+i번째 데이터 값, L_T는 손실 함수, x_(t+1)n은 t+1시각의 n번째 데이터 값이다.

Claims (6)

1. 스펙트럼 스캐닝 방식의 초분광 카메라로 영상을 촬영한 후, 각 데이터 큐브를 특정 시점별 스펙트럼 값으로 분리하는 단계; 및
   적대적 생성 신경망을 통해 특정 시점별 모든 스펙트럼 값을 가진 데이터 큐브를 생성하는 단계를 포함하고,
   스펙트럼 스캐닝 방식은 전체 공간 영역의 특정 스펙트럼을 스캐닝한 이후 다른 스펙트럼에 대해서 순차적으로 스캐닝하는 방식이며,
   다른 시점의 스펙트럼 값을 활용하여 특정 시점의 스펙트럼을 생성하기 위해서, 이동 물체를 탐지하고 배경과 분리하여 이동 물체에 해당하는 스펙트럼과 배경에 해당하는 스펙트럼을 분리하며,
   시간적 연속성을 고려한 적대적 생성 신경망 알고리즘을 활용하여, 특정 시점별 특정 스펙트럼 값만을 가진 데이터 큐브 세트로부터, 특정 시점별 모든 스펙트럼 값을 가진 데이터 큐브 세트를 생성하는, 초분광 고속 카메라 영상 생성 방법.
2. 삭제
3. 삭제
4. 스펙트럼 스캐닝 방식의 초분광 고속 카메라로 영상을 촬영한 이후, 획득한 3차원 데이터 큐브를 각 스펙트럼이 촬영된 특정 시점별로 분리 획득하여 스펙트럼 수만큼의 3차원 데이터 큐브를 생성하는 제1단계;
   생성된 데이터 큐브로부터, 이동 물체를 탐지하여 배경과 분리하는 처리를 통해서, 이동 물체에 해당하는 영역과 배경에 해당하는 영역을 분리하는 제2단계; 및
   분리된 배경 영역에서의 동일 좌표에 해당하는 각 스펙트럼의 값을 활용하여, 영상의 공간적 위치에 따른 스펙트럼 값을 획득하고, 적대적 생성 신경망 알고리즘을 통해 움직임이 있는 영역에 대해서 특정 시점별 모든 스펙트럼의 값을 가진 3차원 데이터 큐브를 재구성하는 제3단계를 포함하며,
   스펙트럼 스캐닝 방식은 전체 공간 영역의 특정 스펙트럼을 스캐닝한 이후 다른 스펙트럼에 대해서 순차적으로 스캐닝하는 방식이고,
   제1단계에서의 3차원 데이터 큐브의 데이터들은 특정 스펙트럼의 값만을 보유한 상태이며,
   제1단계에서 초분광 카메라는 스펙트럼별 데이터 값을 보는 기능을 갖는, 초분광 고속 카메라 영상 생성 방법.
5. 삭제
6. 삭제

Images