KR20190036459A

KR20190036459A - 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치

Info

Publication number: KR20190036459A
Application number: KR1020180094253A
Authority: KR
Inventors: 김민혁; 최인창
Original assignee: 한국과학기술원
Priority date: 2017-09-27
Filing date: 2018-08-13
Publication date: 2019-04-04
Also published as: KR102132075B1

Abstract

인공 지능을 이용한 초분광 영상 재구성 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 영상에 대한 코딩된 데이터를 수신하는 단계; 및 미리 생성된 비선형 학습 모델에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 단계를 포함한다.

Description

인공 지능을 이용한 초분광 영상 재구성 방법 및 장치 {Hyperspectral Imaging Reconstruction Method Using Artificial Intelligence and Apparatus Therefor}

본 발명은 초분광 영상 복원 기술에 관한 것으로서, 상세하게는 인공 지능 예를 들어, 컨볼루션 신경망(CNN; Convolutional Neural Network)의 일종이며 비선형 학습 모델인 컨볼루션 자동인코더(Convolutional Autoencoder)를 이용하여 고품질의 초분광 영상을 복원 또는 재구성할 수 있는 방법 및 장치에 관한 것이다.

초분광 영상(또는 하이퍼스펙트럴 영상)은 기존의 RGB 카메라와 달리, 훨씬 더 고밀도의 스펙트럴 샘플링을 통한 정보 즉, 추가적인 데이터를 포함한다. 여기서, 추가 데이터는 외관 캡쳐, 환경 모니터링, 과학 이미징, 천문학 등을 포함한 많은 응용 분야에 사용될 수 있다.

초분광 정보를 캡처하기 위해 하드웨어 아키텍쳐를 개발하는 데에 중점을 둔 연구가 다수 존재하며, 가장 직접적인 접근법은 가시 스펙트럴을 순차적으로 스캐닝하는 동안 다른 대역통과 또는 가변적 액정필터(LCTF; liquid crystal tunable flters)를 사용하여 파장 측정을 격리하는 시간-스펙트럴 스캐닝이다. 이 접근법의 스펙트럴 분해능은 사용된 필터의 수에 의해 제한된다. 시간 다중 샘플링은 미세 이동 단계(micro-translation stage) 또는 디지털 마이크로미러 디바이스(DMD)를 사용하여 도입되었다. 이외에도, 공간-스펙트럴 스캐닝 접근법은 슬릿을 통해 각 파장의 이미지열을 캡쳐한다. 최근의 다른 접근법으로는 만화경 기반 다중 샘플링, 재구성 가능 카메라 또는 하드웨어 비용 절감을 위한 디자인 등이 있다.

상술한 바와 같이, 기존의 솔루션들은 액정 대역 통과 필터, 푸시브룸(pushbroom) 스캐너, 마이크로 변환 또는 디지털 미러 장치의 사용을 포함하여 새로운 하드웨어 아키텍쳐 설계에 중점을 두고 있다. 하지만, 기존의 솔루션들은 엔지니어링 비용 및 하드웨어 구축 비용 또는 정적 화면만 캡처해야 하는 등의 제한 요소를 공유한다. 게다가, 기존의 솔루션들의 공통적인 특징은 캡쳐된 결과에 나타나는 공간 해상도와 스펙트럴 정확도 사이의 트레이드 오프이다.

이러한 트레이드 오프를 극복하기 위해 몇 가지 방법이 제안되었다.

종래 일 실시예의 최적화 기술은 그래디언트의 희소성을 강조하기 위해 데이터 정확도 항과 총 변이 전체 표준 정규화 항을 정의하는 재구성 과정을 거치는데, 이 때 공간-스펙트럴 트레이드 오프를 극복하는 것을 목표로 한다. 이러한 최적화 기술은 두 가지 가정에 의존한다. 첫째, 초분광 성분은 공간 영역과 스펙트럴 영역 모두에서 매우 높은 상관 관계를 나타낸다. 둘째, 초분광 벡터는 저차원 상의 부분 공간에 속한다. 종래 일 실시예에 따른 기술들은 스펙트럴 차원에서 스펙트럴 균일 세그먼트가 존재한다고 가정하고, 스펙트럴 그래디언트가 대략 구분적으로 매끄럽다고 가정하며, 공간 상관을 추론하는 제한된 최적화 접근법을 도입한다. 그러나 이러한 접근법은 여전히 재구성된 이미지 구조 및 세부 사항에 인위적인 결과가 나타난다.

종래 다른 일 실시예의 코딩된 조리개 스냅샷 스펙트럴 이미징(CASSI)은 동적 장면을 캡처할 수 있는 가장 널리 사용되는 초분광 영상 방식 중 하나이다. 이러한 압축 기술의 정의 상 캡처된 코딩 정보는 최종 이미지를 생성하기 위해 재구성되어야 한다. CASSI는 스펙트럴 서명이 인코딩되는 방식에 따라 두 클래스 즉, (1) 단일 분산기를 사용하여 공간적으로 인코딩 된 CASSI(SD-CASSI), (2) 두 영역의 정보를 코딩하는 공간-스펙트럴 CASSI(SS-CASSI) 또는 이중 분산기 DDCASSI로 나눌 수 있따. 이러한 모든 기법은 공간 해상도와 스펙트럴 정확도 사이의 내재적인 절충점을 공유하므로 재구성 단계는 최종 이미지의 품질을 결정한다.

종래 다른 일 실시예의 기술에서 데이터 기반 방법은 내추럴 스펙트럴 이미지의 선형 표현을 희소 코딩된 사전 예를 들어, 공개된 초분광 영상 데이터 세트로 학습하는데, 일 예의 기술에서 재구성 중 노이즈 제거 방법을 제안한 바 있으며, 다른 일 예의 기술에서 하이 프레임 레이트의 팬크로매틱(panchromatic) 비디오와 로우 프레임 레이트의 초분광 정보를 결합하는 듀얼 카메라 시스템을 소개한 바도 있다. 팬크로매틱 정보는 과도 완료된(overcomplete) 사전을 배우는 데 사용될 수 있다. 또 다른 일 예의 기술에서 회절 격자가 갖춰진 공간-스펙트럴 인코딩 초분광 이미저(imager)를 소개한 바 있다.

본 발명의 실시예들은, 상세하게는 인공 지능 예를 들어, 컨볼루션 신경망(CNN; Convolutional Neural Network)의 일종이며 비선형 학습 모델인 컨볼루션 자동인코더(Convolutional Autoencoder)를 이용하여 고품질의 초분광 영상을 재구성할 수 있는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 영상에 대한 코딩된 데이터를 수신하는 단계; 및 미리 생성된 비선형 학습 모델에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 단계를 포함한다.

나아가, 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 미리 설정된 초분광 영상 데이터 세트를 이용한 학습을 통해 비선형 학습 모델을 생성하는 단계를 더 포함하고, 상기 초분광 영상을 재구성하는 단계는 상기 생성된 비선형 학습 모델과 비선형 최적화 기법에 기초하여 상기 초분광 영상을 재구성할 수 있다.

상기 비선형 학습 모델을 생성하는 단계는 상기 초분광 영상 데이터 세트를 이용한 학습을 통해 컨볼루션 자동인코더를 학습시켜 상기 비선형 학습 모델을 생성할 수 있다.

상기 비선형 학습 모델을 생성하는 단계는 상기 컨볼루션 자동 인코더를 이용하여 비선형 공간에서 인코더 네트워크를 학습시킨 후 디코더 네트워크를 이용하여 상기 비선형 학습 모델을 생성할 수 있다.

상기 컨볼루션 자동 인코더는 상기 초분광 영상 데이터 세트를 비선형 표현으로 변환하는 인코더 네트워크와 상기 비선형 표현으로부터 원본 데이터 세트를 생성하는 디코더 네트워크를 포함할 수 있다.

상기 비선형 학습 모델은 초분광 영상에 대한 비선형 재구성을 출력하는 학습 모델일 수 있다.

상기 초분광 영상을 재구성하는 단계는 상기 생성된 비선형 학습 모델에 대한 비선형 스펙트럴 표현의 정확도와 공간 영역에서의 그래디언트(gradient)의 희소성(sparsity)을 공동으로 정규화하는 상기 비선형 최적화 기법에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성할 수 있다.

상기 초분광 영상을 재구성하는 단계는 ADMM(alternating direction multiplier) 방식을 사용하여 상기 비선형 최적화 기법을 반복 수행함으로써, 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성할 수 있다.

상기 수신하는 단계는 압축 하이퍼스펙트럴 이미징 접근법을 이용하여 상기 영상에 대한 코딩된 데이터를 수신할 수 있다.

본 발명의 다른 일 실시예에 따른 초분광 영상 재구성 방법은 영상에 대한 코딩된 데이터를 수신하는 단계; 및 미리 학습된 스펙트럴 프라이어에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 단계를 포함한다.

나아가, 본 발명의 다른 일 실시예에 따른 초분광 영상 재구성 방법은 미리 설정된 초분광 영상 데이터 세트를 이용하여 상기 스펙트럴 프라이어(prior)를 학습시키는 단계를 포함하고, 상기 초분광 영상을 재구성하는 단계는 상기 학습된 스펙트럴 프라이어와 비선형 최적화 기법에 기초하여 상기 초분광 영상을 재구성할 수 있다.

상기 초분광 영상을 재구성하는 단계는 상기 학습된 스펙트럴 프라이어에 대한 비선형 스펙트럴 표현의 정확도와 공간 영역에서의 그래디언트(gradient)의 희소성(sparsity)을 공동으로 정규화하는 상기 비선형 최적화 기법에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성할 수 있다.

본 발명의 일 실시예에 따른 초분광 영상 재구성 장치는 영상에 대한 코딩된 데이터를 수신하는 수신부; 및 미리 생성된 비선형 학습 모델에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 재구성부를 포함한다.

나아가, 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치는 미리 설정된 초분광 영상 데이터 세트를 이용한 학습을 통해 비선형 학습 모델을 생성하는 생성부를 더 포함하고, 상기 재구성부는 상기 생성된 비선형 학습 모델과 비선형 최적화 기법에 기초하여 상기 초분광 영상을 재구성할 수 있다.

상기 생성부는 상기 초분광 영상 데이터 세트를 이용한 학습을 통해 컨볼루션 자동인코더를 학습시켜 상기 비선형 학습 모델을 생성할 수 있다.

상기 생성부는 상기 컨볼루션 자동 인코더를 이용하여 비선형 공간에서 인코더 네트워크를 학습시킨 후 디코더 네트워크를 이용하여 상기 비선형 학습 모델을 생성할 수 있다.

상기 재구성부는 상기 생성된 비선형 학습 모델에 대한 비선형 스펙트럴 표현의 정확도와 공간 영역에서의 그래디언트(gradient)의 희소성(sparsity)을 공동으로 정규화하는 상기 비선형 최적화 기법에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성할 수 있다.

상기 재구성부는 ADMM(alternating direction multiplier) 방식을 사용하여 상기 비선형 최적화 기법을 반복 수행함으로써, 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성할 수 있다.

상기 수신부는 압축 하이퍼스펙트럴 이미징 접근법을 이용하여 상기 영상에 대한 코딩된 데이터를 수신할 수 있다.

본 발명의 또 다른 일 실시예에 따른 초분광 영상 재구성 방법은 영상에 대한 코딩된 데이터를 수신하는 단계; 및 미리 학습된 학습 모델과 최적화 기법에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 단계를 포함한다.

본 발명의 실시예들에 따르면, 인공 지능 예를 들어, 컨볼루션 신경망(CNN; Convolutional Neural Network)의 일종이며 비선형 학습 모델인 컨볼루션 자동인코더(Convolutional Autoencoder)를 이용하여 고품질의 초분광 영상을 재구성함으로써, 기존의 어떤 압축 이미징 아키텍처에 적용할 수 있다.

본 발명의 실시예들에 따르면, 스펙트럴 정확도와 공간 해상도 측면에서 각 아키텍처의 최첨단 방식을 능가하면서도 계산 복잡성은 희소 코딩 기술과 관련하여 2배 정도 감소시킬 수 있다.

본 발명의 실시예들에 따르면, 프로젝트 웹 사이트를 통해 제공되는 기존 방법보다 더 다양한 스펙트럴의 선명한 이미지를 포함하는 새로운 고해상도 초분광 데이터 세트를 제공할 수 있다.

도 1은 본 발명에 따른 방법과 기존 방법들을 비교한 일 예시도를 나타낸 것이다.
도 2는 SD-CASSI, SS-CASSI 및 이중 분산기 DD-CASSI 시스템에서 사용된 공간 인코딩에 대한 일 예시도를 나타낸 것이다.
도 3은 인코딩된 센서 신호에서 하이퍼스펙트럴 이미지를 재구성하는 2단계 프로세스의 개요를 나타낸 것이다.
도 4는 컨볼루션 자동 인코더에 대한 일 예시도를 나타낸 것이다.
도 5는 자동 인코더의 재구성 정확도에 대한 일 예시도를 나타낸 것이다.
도 6은 콜럼비아 이미지 데이터 세트에 대한 평균 결과에 대한 일 예시도를 나타낸 것이다.
도 7은 콜럼비아 데이터 세트의 컬러 체커 하이퍼 스펙트럴 이미지에 대한 대조비교를 나타낸 것이다.
도 8은 Twist, SpaRSA, 희소 코딩 및 본 발명의 방법을 사용하여 표준 공간 주파수 측정 차트(ISO 12233)를 재구성한 결과를 나타낸 것이다.
도 9는 본 발명의

-충실도 프라이어의 영향에 대한 일 예시도를 나타낸 것이다.
도 10은 숨겨진 레이어 수가 재구성의 공간 해상도에 미치는 영향을 나타낸 것이다.
도 11은 본 발명과 기존 방법들에 대한 재구성 결과를 나타낸 것이다.
도 12는 본 발명에 의해 생성된 초분광 영상 데이터 세트에 대한 예시도를 나타낸 것이다.
도 13은 본 발명과 실측값 그리고 다른 방법들과 비교한 결과를 나타낸 것이다.
도 14는 본 발명과 회귀 기반 방법에 대해 스펙트럴 반사 정확도와 공간 구조 정확도를 비교한 일 예시도를 나타낸 것이다.
도 15는 본 발명의 초분광 영상 시스템과 이에 대한 결과의 예시도를 나타낸 것이다.
도 16은 본 발명이 스펙트럴 재구성에 대한 결과를 나타낸 것이다.
도 17은 본 발명에서의 제한 예를 나타낸 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명은 개별 선정된(hand-crafted) 만들어진 프라이어(prior)를 신경망으로 트레이닝된 데이터 구동 프라이어(data-driven prior)로 대체함으로써, 문제에 따른 부작용을 줄이고, 자연스러운 초분광 영상의 비선형 표현 도입을 가능하게 할 수 있다.

본 발명의 신규한 스펙트럴 재구성 알고리즘은 SD-CASSI, SS-CASSI 및 DD-CASSI와 같은 임의의 압축 이미징 기술로 캡처된 입력에 적용될 수 있으며, 다른 기존의 데이터 구동 방식에 비해 빠른 속도와 나은 결과를 제공한다.

본 발명은 비선형 표현을 생성하는 컨볼루션 자동 인코더를 사용한다. 본 발명은 새로운 전역 최적화 기법을 통해 비선형 표현의 정확도를 공동으로 조정함으로써, 정확성과 효율성을 향상시킬 수 있다.

이러한 본 발명은 기존의 압축 이미징 기법에서 스펙트럴 정확도와 공간 해상도 사이의 오래된 트레이드 오프를 극복하는 새로운 초분광 영상 재구성 알고리즘을 제시한다.

본 발명에 따른 방법은 두 단계로 구성된다. 먼저, 본 발명은 실제 초분광(또는 하이퍼스펙트럴)(hyperspectral) 데이터 세트로부터 비선형 스펙트럴 표현을 학습한다. 이를 위해, 인코더 및 디코더 네트워크를 통해 자체 입력을 재구성 할 수 있는 컨볼루션 자동 인코더를 구축한다. 그 다음, 본 발명은 새로운 정확도 프라이어(prior)에 의해 학습된 비선형 스펙트럴 표현의 정확도와 공간 영역에서의 그래디언트(gradient)(또는 그래디언트)의 희소성(sparsity)을 공동으로 정규화하는 새로운 최적화 방법을 공식화한다. 본 발명에 따른 방법은 기존의 어떤 압축 이미징 아키텍처에나 적용될 수 있으며 시뮬레이션 및 프로토타입 초분광 영상 시스템 구축을 통한 테스트를 통해 그 결과를 확인할 수 있다. 본 발명에 따른 기술은 스펙트럴 정확도와 공간 해상도 측면에서 각 아키텍처의 최첨단 방식을 능가하면서도 계산 복잡성은 희소 코딩(sparse coding) 기술과 관련하여 2배 정도 감소시킬 수 있다. 또한, 본 발명은 초분광 보간법과 디모자이싱(demosaicing, 디지털 카메라의 모자이크 형태의 컬러필터배열에 의해 만들어진 샘플을 풀 컬러 이미지로 변환하는 것)을 제공할 수 있으며, 프로젝트 웹 사이트를 통해 제공되는 기존 방법보다 더 다양한 스펙트럴의 선명한 이미지를 포함하는 새로운 고해상도 초분광 데이터 세트를 제공할 수 있다.

또한, 본 발명은 재구성 알고리즘의 모든 요인과 파라미터에 대한 심층 분석을 제공하고, 새로운 고해상도 초분광 영상 데이터 세트를 캡쳐할 수 있다. 여기서, 데이터 세트는 낮은 공간 해상도로 인해 이미지가 초점을 약간 벗어나거나 제한된 스펙트럴 범위를 나타내는 다른 기존 데이터 세트의 제한된 부분을 수정한 것일 수 있다.

본 발명은 새로운 데이터베이스를 본 발명의 모델 및 코드와 함께 프로젝트 웹 사이트에서 공개적으로 이용하도록 할 수도 있다.

본 발명은 인공 지능 예를 들어, 컨볼루션 신경망(CNN; Convolutional Neural Network)의 일종이며 비선형 학습 모델인 컨볼루션 자동인코더(Convolutional Autoencoder)와 비선형 최적화 기법을 조인트하게(jointly) 결합하여 사용하는 것을 특징으로 한다. 이러한 본 발명에 대해 도 1 내지 도 17을 참조하여 상세히 설명한다.

코딩된 조리개에 의해 각인된 스펙트럴 시그니처는 압축 초분광 영상의 기본 빌딩 블록이다. 이로부터, 이미지는 최적화 수단에 의해 재구성된다. 이 스펙트럴 정보를 인코딩하는 두 가지 주요 방법은 공간 인코딩과 공간-스펙트럴 인코딩이다. 도 2는 SD-CASSI, SS-CASSI 및 이중 분산기 DD-CASSI 시스템에서 사용된 공간 인코딩에 대한 일 예시도를 나타낸 것으로, 도 2a에 도시된 SD-CASSI 시스템에서 사용된 공간 인코딩에 도시된 바와 같이 스펙트럴의 코딩된 사영이 먼저 생성되고, 이에 이어서 분산에 의해 전단된다. 따라서 SD-CASSI의 재구성 단계는 전단 및 코딩된 정보로 이미지를 재구성한다. 그리고, 도 2b에 도시된 SS-CASSI 및 이중 분산기 DD-CASSI 시스템에서 사용된 공간 인코딩에 도시된 바와 같이 해당 접근법은 입사 광선을 먼저 분산시킨 다음 마스크가 코딩된 사영을 생성하며 추가 광학 장치는 이 정보를 보정한다. 결과적으로 SS-CASSI 및 DD-CASSI의 스펙트럴 재구성에는 SD-CASSI보다 간단한 최적화가 필요하므로 보다 복잡한 광학 설치 비용으로 우수한 결과를 얻을 수 있다.

본 발명은 압축 입력을 이용한 초분광 영상 재구성에 중점을 둔다. 따라서 본 발명에 따른 방법은 입력 스펙트럴 데이터의 특정 인코딩에 대해 불가지론적이다. 계산상의 이점을 고려하여 본 발명은 재구성 알고리즘을 테스트하기 위한 첫 번째 선택으로 공간 스펙트럴 인코딩을 사용하며, 이에 대한 상세한 설명은 후술한다.

이미지 형성

는 위치

에서 파장

를 갖는 광의 분광 강도를 나타낸다. 마스크는 분산 함수

에 따라, 분산이 전송 함수

에 의해 주어진 코딩된 패턴을 생성하고, 분산은 수평 축을 따라 전단을 생성한다. 공간 인코딩 예를 들어, SD-CASSI에서 센서

상의 투사된 광 세기는 모든 가시 파장

에 걸쳐 적분으로서 아래 <수학식 1>과 같이 나타낼 수 있다.

[수학식 1]

대조적으로, 공간-스펙트럴 인코딩 예를 들어, DD-CASSI의 경우에서 전단 스펙트럼

는 코딩된 마스크

에 의해 변조되고, 결과는

에 의해 반대 방향으로 비시각화되며, 센서

상의 투사된 광 세기는 모든 가시 파장

에 걸쳐 적분으로서 아래 <수학식 2>와 같이 나타낼 수 있다.

[수학식 2]

여기서, 수평 분산 함수

의 부호는 역전될 수 있다.

행렬 벡터 형태에서,

채널을 갖는 초분광 영상(또는 하이퍼스펙트럴 이미지)는

로 표현 될 수 있는데, 여기서

와 H와 W는 이미지의 공간 차원일 수 있다. 투과율은 희소 변조 행렬

를 통해 나타낼 수 있는데, 여기서

는 센서의 픽셀 수 일 수 있다. 이 행렬은 각 파장에 대한

부분 행렬로 구성될 수 있으며,

와

의 결과는 아래 <수학식 3>에 나타낸 바와 같이 캡쳐된 이미지

을 도출한다.

[수학식3]

이 방정식은

이므로 상당히 불확실한 시스템을 설명한다.

본 발명은 과도 완료된(overcomplete) 사전의 선형 조합을 사용하는 일반적인 희소 코딩 접근 방식 대신 컨볼루션 자동 인코딩기를 통해 학습된 비선형 연산자를 사용한다는 점에서 의미가 있다.

일반 압축 감지 vs. 압축 하이퍼스펙트럴 이미징

압축 하이퍼스펙트럴 이미징(HSI)은 일반적인 압축 센싱(CS)의 접근법 측면에서 고려 될 수 있다. 그러나 압축 HSI에는 고품질 결과를 얻기 위해 보다 특수한 솔루션이 필요한 몇 가지 특성이 있다. CS는 2D 패치에서 공간 이미지 구조를 재구성한다. 색상 정보는 별도로 계산된 세 가지 색상 채널의 재구성을 결합하여 암시적으로 재구성된다. 반대로 HSI는 스펙트럴 이미지를 3D 텐서로 재구성하며 스펙트럴 차원에서 더 강한 압축을 하여 더 높은 복잡성을 갖는다. 분산으로 인해 겹쳐진 것처럼 나타나기 때문에 일반적인 CS와 같이 색을 재구성 할 수는 없다.

본 발명의 HSI 접근법에서 단색 센서가 31개의 스펙트럴 채널을 캡처한다. 도 1의 좌측 상단에 도시된 바와 같이, 스펙트럴과 공간 도메인을 결합한 분산(캡처된 코딩 정보에서 명확하게 보여짐)은 HSI에서 공간과 스펙트럴 해상도 간 일반적인 트레이드오프로 이어진다.

도 1에 도시된 바와 같이, 본 발명에 따른 초분광 재구성 알고리즘은 기존의 다른 압축 이미징 아키텍처의 입력과 함께 작동하며 고품질 결과를 산출할 수 있다. 이러한 결과는 스펙트럴 정확도와 공간 해상도의 측면에서 모두 나타나며, 비교 결과에 따르면 본 발명(Ours)의 결과는 기존의 다른 방법에 비해 크게 향상된 것을 알 수 있다. 예를 들어, TwIST와 SpaRSA는 일반적으로 최적 이하의 공간 재구성을 제공하지만, 희소 코딩은 컬러 차트의 노이즈 재구성을 제공할 수 있다. 하지만, 희소 코딩은 커피 잔에 녹색 테두리를 정확하게 재구성하지 못한다. 오른쪽의 차트는 본 발명의 재구성이 실측 데이터와 얼마나 잘 맞는지를 보여주고 있다. 나아가, 본 발명은 새로운 고해상도의 초분광 영상 데이터 세트를 제공할 수 있다.

초분광 영상 재구성( HYPERSPECTRAL IMAGE RECONSTRUCTION)

도 3은 인코딩된 센서 신호에서 하이퍼스펙트럴 이미지를 재구성하는 2단계 프로세스의 개요를 나타낸 것이다. 먼저, 실제 하이퍼스펙트럴 이미지 텐서의 비선형 표현을 배우기 위해 컨볼루션 자동 인코더를 학습시킨다. 이 비선형성은 본 발명이 실제 스펙트럴 기능의 더 넓은 범위를 포괄할 수 있게 해주기 때문에 본 발명의 재구성 방식에 있어 핵심적인 측면이다. 둘째, 본 발명은 비선형 최적화 문제를 전역적으로 해결함으로써 인코딩된 입력으로부터 하이퍼스펙트럴 이미지를 재구성한다. 본 발명에서 중요한 측면으로, 실제 스펙트럼의 데이터 기반 자동 인코딩 표현을 재구성된 신호로 강제 적용하는 새로운 프라이어를 도입한다. 본 발명의 공식은 상기 항과 그래디언트의 희소성을 공동으로 조정하여 최종 하이퍼스펙트럴 이미지를 재구성하는 것이다.

컨볼루션 신경망은 스펙트럴 이미지 분류, 또는 이미지로부터 특성을 추출하기 위해 사용될 수 있다. 하지만, 본 발명은 추출된 특성들로부터 원래의 신호를 재구성하려는 것은 아니다. 한편 자동 인코딩 장치는 출력 레이어와 입력 레이어가 같은 수의 노드를 공유하며 인코더 및 디코더 기능을 통해 자체 입력을 재구성 할 수 있는 신경망일 수 있는데, 스펙트럴 이미지 분류 또는 디노이징(denoising)에 사용될 수 있다. 기존 일 예의 기술에서 컨볼루션 자동 인코더를 제안하였는데, 여기서 컨볼루션 연산과 활성화 함수는 각 계층에서 작동한다. 이것은 객체 검색, 이미지 분류, 디노이징, 또는 실시간 비행 영상에서의 다중 경로 간섭의 실시간 보정에 성공적으로 적용된다.

본 발명에서는 컨볼루션 자동 인코더를 활용하여 비선형 공간에서 하이퍼스펙트럴 이미지의 표현을 배우기 위해 인코더 네트워크를 먼저 학습시킨 다음 디코더 네트워크를 사용하여 코딩된 센서 데이터에서 최종 이미지를 재구성한다.

기존 기술과 유사하게, 본 발명은 하이퍼스펙트럴 벡터가 숨겨진 표현의 부분 공간에 속한다고 가정한다. 그러나, 본 발명은 미리 결정된 베이스(이산 코사인 변환 또는 웨이블릿 등) 또는 사전 기반의 희소 코딩(sparse coding)을 사용하는 대신, 입력 신호를 기저벡터 및 계수집합으로 분해하기 위해 컨볼루션 자동 인코더를 사용한다. 더욱이 일반적인 희소 코딩 접근법은 일반적으로 기본 함수의 선형 결합으로 신호를 재구성하지만 자동 인코딩은 하이퍼스펙트럴 정보의 비선형 재구성을 허용하여 문제의 비선형성을 보다 잘 충족시킴으로써 더 나은 결과를 유도할 수 있다.

본 발명에서의 컨볼루션 자동 인코더는 도 4에 도시된 바와 같이, 두가지 서브 네트워크로 구성될 수 있는데, 입력 학습 데이터 세트를 비선형 표현으로 변환하는 인코더 네트워크(도 4의 녹색 블록)와 이 비선형 표현으로부터 원본 데이터 세트를 생성하는 디코더 네트워크(도 4의 빨간색 블록)가 그것이다. 형식적으로, 컨볼루션 자동 인코더 A()는 인코더 함수 E()와 디코더 함수 D()의 합성이다.

본 발명은 네트워크를 학습한 후, 하이퍼스펙트럴 이미지 h를 인코더 함수

를 사용하여 비선형 표현

로 변환할 수 있다. 그러면 디코더 함수

를 사용하여

에서 하이퍼스펙트럴 이미지 프라이어로 사용되는 h를 재구성 할 수 있으며, 아래 <수학식 4>와 같이 나타낼 수 있다.

[수학식 4]

본 발명이 신호 재구성 과정은 본 발명의 이미지 형성 모델을 만족시키는 비선형 하이퍼스펙트럴 표현을 검색할 수 있다.

네트워크 아키텍처

도 4에 도시된 바와 같이, 본 발명의 자동 인코딩 프로그램은 입력 및 출력 레이어를 제외한

레이어로 구성될 수 있다.

여기서,

는 각 하위 네트워크의 숨겨진 레이어 수를 의미할 수 있다.

인코더 네트워크

는 자동 인코딩 장치의 시작 부분에 배치되며,

의 입력이 인코더 네트워크에 공급된다고 가정할 때 인코더는 아래 <수학식 5>, <수학식 6>와 같이 정의된 하이퍼스펙트럴 이미지의 비선형 표현을 출력한다.

[수학식 5]

[수학식 6]

여기서,

및

는 각각 커널 가중치, 중간 특징 표현 및 인코더 네트워크의 계층 l에서의 바이어스를 의미하며, 가중치와 바이어스는 자동 인코딩을 구성하고, 아래 첨자 E는 인코더를 나타낼 수 있으며,

는 직선 선형 단위(ReLU) 인 비선형 활성화 함수를 의미할 수 있다.

를 입력 하이퍼스펙트럴 이미지 h로 설정한다. 재구성 단계에서

에 제약을 가하지 않기 위해서, 활성화 함수는 상기 수학식 5의 출력 계층에 적용되지 않을 수 있다.

인코더 네트워크의 아키텍처와 유사하게, 숨겨진 계층을 갖는 디코더 네트워크는 아래 <수학식 7>, <수학식 8>과 같이 정의될 수 있다.

[수학식 7]

[수학식 8]

여기서

는 하이퍼스펙트럴 이미지의 비선형 표현

를 의미할 수 있다.

인코더 네트워크의 첫 번째 컨볼루션 계층인

에 대해

를 사용하지만 다른 계층은

의 커널로 컨볼루션된다. 이미지와 숨겨진 레이어의 공간 해상도는 동일하게 유지된다. 본 발명은 컨볼루션 자동 인코딩 장치의 기존 응용 프로그램과 같은 특징 벡터를 추출하는 대신 원본 신호를 재구성하는 것이다. 이러한 의미에서 본 발명의 특징 벡터는 하이퍼스펙트럴 벡터를 정의하는 저차원 부분 공간으로 볼 수 있으며 희소 코딩에서의 과도 완료된(overcomplete) 사전과 유사하다. 본 발명은 도 5a에 도시된 바와 같이, 더 많은 특징 벡터에 의해 더 많은 결과를 산출하는 것을 통해 벡터

의 개수가 재구성된 신호의 정확도에 중요한 영향을 미치는 것을 알 수 있다. 그러나 성능과 메모리 사이에는 실질적인 트레이드 오프가 있다. 실제로는 각 계층의 특징 벡터 수를

(원래 C = 31보다 큼)로 고정한다. 도 5b와 도 5c는 R = 64 개의 특징 벡터와 11개의 숨겨진 레이어를 갖는 하이퍼스펙트럴 재구성의 예를 보여준 것으로, 재구성된 스펙트럴 정보는 사실상 원본과 동일하다.

트레이닝 절차

자동 인코더에 대한 본 발명의 정의는 파라미터들의 세트

를 포함한다. 하이퍼스펙트럴 이미지의 비선형 표현을 배우기 위해 자동 인코딩 네트워크를 학습시키고 손실 함수를 최소화하는 특정 세트 를 찾는다.

하이퍼스펙트럴 이미지의 집합

에 대해 overfitting을 피하기 위해 decay term을 포함하는 손실 함수

는 아래 <수학식 9>와 같이 나타낼 수 있다.

[수학식 9]

여기서,

는 대안 적으로

로 표현 될 수 있고,

는 오버피팅을 피하기 위해 데이터 정확도와 정규화 사이의 상대적 중요성을 조정할 수 있다.

본 발명은 역 전파 그래디언트와 활성화의 변화를 유지하기 위해 정규화된 초기화를 사용하여

와

를 모두 초기화한다.

구현 세부 사항

본 발명은 공개적으로 입수할 수 있는 하버드와 콜럼비아에서 얻은 109개(하버드에서 77 이미지, 콜럼비아에서 32 이미지)의 하이퍼스펙트럴 이미지를 사용하여 보강된 트레이닝 데이터 세트를 만들 수 있다. 각 하이퍼스펙트럴 이미지에는 약 31개의 파장 채널이 포함된다.

본 발명은 기존의 네트워크 학습 접근법에 따라 초기 이미지 데이터 세트를 추가할 수 있다. 입력 이미지에 대한 스케일 불변성을 달성하기 위해 입력 데이터 세트를 두 가지 추가 해상도(1/2 및 2배)로 확장할 수 있고, 이에 따라 327개의 하이퍼스펙트럴 이미지를 생성할 수 있다. 이렇게 증가된 데이터 세트에서 크기가 96 x 96 x 31 인 21,760 개의 텐서 패치를 샘플링한다.

본 발명은 TensorFlow를 사용하여 자동 인코더를 구현하고 ADAM 그래디언트 디센트 방법을 사용하여 상기 수학식 9의 손실 함수를 최소화하며 최대 60 에포크까지 트레이닝 할 수 있다. 그래디언트 디센트의 경우 배치 크기는 학습 속도가

인 64로 설정될 수 있으며, 감쇠 항의 가중치

는

로 설정될 수 있다. R = 64개의 특징 채널과 11개의 숨겨진 레이어를 사용하여 64GB의 메모리가 있는 i7-6770k CPU와 12GB의 메모리가 있는 NVIDIA Titan X Pascal GPU가 장착된 컴퓨터를 사용하여 네트워크를 학습하는데 약 30시간이 소요될 수 있다.

최적화를 통한 재구성

본 발명은 하이퍼스펙트럴 이미지를

,

인

로 나타낸다. 따라서, 상기 수학식 3에서 정의된 압축 화상 형성은 아래 <수학식 10>과 같이 다시 나타낼 수 있다.

[수학식 10]

여기서, 상기 수학식 10은 희소 코딩(sparse coding)에서의 과도 완료된(overcomplete) 사전의 선형 조합과 유사하지만, 본 발명에서의 디코더

는 비선형 연산자이다.

에서

이므로, 상기 수학식 10은 불안정한 시스템을 의미한다. 이것은 관찰 결과로부터 하이퍼스펙트럴 이미지를 재구성하는 데에 문제를 야기할 수 있기 때문에 본 발명은 아래 <수학식 11>과 같이 목적 함수를 사용하여 하이퍼스펙트럴 재구성을 공식화할 수 있다.

[수학식 11]

여기서,

는 인코더를 의미하고,

는 공간 그래디언트 연산자를 의미하며,

과

는 데이터 충실도와 prior항 사이의 상대적 중요성을 조정 또는 평가할 수 있다.

프라이어 항의 첫 번째는 인코더-디코더 쌍을 사용하여 비선형 표현의 정확도를 정립하는 반면, 프라이어 항의 두 번째는 총변이의 L1-norm 정규화기(regularizer)이며 공간 영역의 희소성을 선호한다. 프라이어 항의 첫 번째

-충실도는 자동 인코더 표현을 본 발명의 최적화 문제와 연관시킬 수 있기 때문에 본 발명의 목적 함수에 중요한 기여를 한다. 이는 도 9에 도시된 바와 같이 재구성된 이미지의 스펙트럴 정확도에 큰 영향을 미칠 수 있다. 도 9는 본 발명의

-충실도 프라이어의 영향에 대한 일 예시도를 나타낸 것으로, 도 9a는

가 없는 복원 결과를 나타낸 것이고, (b)는 이전이 결과를 나타낸 것이다. 인셋(inset)은 실측값과 비교된 피크 신호대 잡음비(PSNR)와 구조적 유사성(SSIM)을 나타낸 것으로, 프라이어가 PSNR과 SSIM에서 모두 크게 증가한 것을 알 수 있다. 또한, 프라이어가 반복 회수에 따라 정확도가 어떻게 증가하는지 알 수 있으며, 노란색 깃털과 붉은 깃털에 대한 스펙트럴 정확도 또한 알 수 있다.

최적화

총 변이 그래디언트 희소성 항은 미분할 수 없으므로 상기 수학식 11의 목적 함수를 아래 <수학식 12>와 <수학식 13>의 두 가지 문제로 나눈다.

[수학식 12]

[수학식 13]

따라서, 본 발명의 최적화 문제는 아래 <수학식 14>와 같이 나타낼 수 있다.

[수학식 14]

여기서, z는 재구성된 하이퍼스펙트럴 이미지의 공간 그래디언트를 의미할 수 있다.

본 발명은 아래 도시된 알고리즘1과 같이 ADMM(alternating direction multiplier) 방식을 사용하여 상기 수학식 14의 문제를 반복적으로 해결한다.

첫째,

항은 라인 3에서 업데이트되고 ADAM 최적화 알고리즘에 의해 최소화된다. 근사 그래디언트 디센트를 사용하여 라인 4의 보조 변수

로

항을 최소화하고, 라인 5에 나타난 엘리먼트-와이즈 소프트-스레스홀딩(element-wise soft-thresholding) 함수

를 사용하여 이 항을 업데이트한다. 알고리즘1에서 그래디언트

제약의 희소성의 강도를 아래 <수학식 15>와 같이 제어할 수 있다.

[수학식 15]

라그랑쥬 승수

는 상기 수학식 14의 제약 조건을 충족시키기 위해 그래디언트 상승을 통해 라인6에서 업데이트된다. 이 과정은 정지조건에 도달할 때까지 반복된다. 솔루션 표현

가 획득되면 디코더 D(

)로 사용하여 최종 하이퍼스펙트럴 이미지를 재구성한다.

파라미터

상기 수학식 11에서, 비선형 표현 충실도에 대해

을 0.1로 설정하고, 알고리즘 1은

및 ρ을

과

으로 각각 설정한다. 최적화 도구는 약 20 회의 ADMM 반복을 수행한다. 상기 수학식 14의

에 대한 ADAM 최적화 프로그램은

의 학습 속도로 200 단계를 반복한다.

시간 복잡성

하이퍼스펙트럴 이미지 재구성의 시간 복잡도는 컨볼루션 자동 인코더에서 수행된 곱셈의 수에 비례한다. 원 스트라이드(one-stride) 컨볼루션을 수행할 때, 컨볼루션 계층에 대한 곱셈의 수는

이며, 여기서

는 커널 크기이고

와

는 컨볼루션의 입력과 출력을 위한 특징 맵의 수이다.

커널을 가진 컨볼루션 자동 인코더(11개의 숨겨진 레이어가 있는 64개 특징)에서 총 곱셈의 수는 약

이다. 기존의 데이터 구동 방식과 비교하여, 희소 코딩 방법은 숨겨진 계층이나 활성화 기능이 없는 얕은 컨볼루션 신경망으로 간주 될 수 있다.

하이퍼스펙트럴 이미지 패치의 6200개의 원자로 된 사전을 사용하면, 곱셈의 추정된 수는 2배 더 큰

이다.

인코더에서의 활성화

도 4와 상술한 바와 같이, ReLU 활성화 기능은 인코더의 출력 계층에 존재하지 않는다. 이것은 하이퍼스펙트럴 이미지의 비선형 표현

가 희소성으로 제한되지 않음을 나타낸다. 본 발명은 희소성을 명시적으로 부과하지는 않지만,

가 ReLU 활성화 함수로 다른 레이어를 통과하는 동안 자동 인코딩은 표현을 희소하게 만든다. 이 희소성 부재의 또 다른 이점은 비선형 최적화를 단순화한다는 것이다. 인코더의 출력 계층에 ReLU 활성화 함수를 추가하는 것은 상기 수학식 11에서 음이 아닌 제약 조건 만족항을 추가적으로 요구한다. 게다가 보조 변수와 라그랑지안 변수인 두 개의 변수가 상기 수학식 14의 ADMM 공식에 도입되어야 하므로 결과적으로 수렴 속도가 느려질 수 있다.

글로벌 vs. 로컬 최적화

TwIST 및 SpaRSA와 같은 전역 최적화 접근법은 스펙트럴 정보를 재구성하는 데에 더 효과적이지만 희소 코딩과 같은 로컬 최적화 기법은 각 패치를 독립적으로 작동하여 이미지 구조를 잘 보존한다. 그러나 분산의 양은 패치 크기에 의해 제한되며, 이는 계산 비용에 큰 영향을 미친다. 본 발명의 접근 방식은 컨볼루션 자동 인코딩과 총변이 항을 통해 로컬 및 글로벌 최적화의 이점을 결합한다.

본 발명의 재구성 알고리즘의 성능을 평가하기 위해 본 발명은 먼저 기존 하버드와 콜럼비아 스펙트럴 이미지 데이터 세트로부터 코딩된 테스트 세트를 만들고, SDCASSI, DD-CASSI 및 SS-CASSI의 세 가지 주요 인코딩 유형을 사용하여 이미징 프로세스를 시뮬레이션하여 도 12에 도시된 바와 같이 새로운 데이터 세트을 만들 수 있다. 여기서 상기 수학식 11의 행렬

는 영상 형성 모델에 따라 달라질 수 있다.

본 발명은 이 기법에 의한 결과를 세 가지 다른 인코딩 아키텍처를 대표하는 다른 세 가지 방법인 TwIST, SpaRSA, 희소 코딩에 대한 결과와 비교한다. 본 발명은 각 방법에 대한 최상의 아키텍처를 선택하며, Twist와 SpaRSA에 대해서는 DD-CASSI, 희소 코딩과 본 발명의 기법에 대해서는 SS-CASSI를 선택할 수 있다.

본 발명의 재구성 기법은 스펙트럴 및 공간 정확도 모두에서 상당한 개선을 보여주며 세가지 중에서 가장 빠르다. 도 6은 콜럼비아 이미지 데이터 세트에 대한 평균 결과에 대한 일 예시도를 나타낸 것이다. 또한 본 발명은 매개 변수 공간에 대한 분석을 제공하고, 본 발명의 방법을 실측값과 직접 비교하고 학습 기반의 재구성과 비교하며, 새로운 하이퍼스펙트럴 데이터 세트를 소개하고 실제 하이퍼스펙트럴 이미징 시스템으로 결과를 제시한다. 마지막으로, 본 발명은 하드웨어 수정없이 다중-하이퍼스펙트럴 보간법과 하이퍼스펙트럴 디모자이싱에서 두 가지 방법을 제안한다.

스펙트럴 정확도 대 공간 해상도

기존의 재구성 기술은 최종 이미지의 품질을 정의하는 스펙트럴 정확도와 공간 해상도 간의 본질적인 절충점을 공유한다. 도 1에서와 같이 TwIST 및 SpaRSA와 같은 기존의 최적화 접근법은 스펙트럴 정확도에서 좋은 결과를 산출하지만 차선의 공간 해상도를 희생한다. 반면에 희소 코딩을 기반으로 하는 데이터 기반 접근 방식은 좋은 공간 해상도를 제공하지만 스펙트럴 정확도를 희생한다. 반대로 본 발명의 방법은 두 영역 모두에서 고품질 결과를 산출한다. 여기서 본 발명의 재구성 알고리즘의 성능을 각각 스펙트럴 정확도와 공간 분해능의 관점에서 비교한다.

스펙트럴 정확도

본 발명은 피크 신호대 잡음비(PSNR)와 구조적 유사성(SSIM)을 계산하여 재구성된 스펙트럴 이미지의 스펙트럴 정확도를 평가한다. 도 7은 콜럼비아 데이터 세트의 컬러체커 하이퍼 스펙트럴 이미지에 대한 대조비교를 나타낸 것으로, 본 발명은 시각화를 위해 보정된 2도 CIE 색 일치 함수를 통해 스펙트럴 이미지의 결과를 sRGB로 변환한다. 31개의 파장 채널에서 본 발명의 평균 PSNR과 SSIM 결과(38.87dB / 0.98)는 TwIST(31.57dB / 0.94), SpaRSA(30.59dB / 0.94) 및 희소 코딩(28.85db / 0.92)의 모든 재구성 결과보다 좋은 것을 알 수 있다. 또한 차트에서 5가지 기본색(파란색, 녹색, 빨간색, 노란색 및 분홍색)의 재구성된 스펙트럴 반사율을 평가한 결과 본 발명의 결과가 다른 방법보다 일관되게 실측값에 가까운 것을 알 수 있으며, 하단의 표는 각 컬러 패치에 대한 RMSE(root-mean-squared errors)와 평균을 나타낸 것이다.

공간 해상도

본 발명은 변조 전달 함수(MTF)로서 공간 주파수 응답을 계산하여 본 발명에 의해 재구성된 스펙트럴 이미지의 공간 해상도를 평가한다. Twist, SpaRSA, 희소 코딩 및 본 발명의 방법을 사용하여 표준 공간 주파수 측정 차트(ISO 12233)를 다시 재구성한다. 도 8은 Twist, SpaRSA, 희소 코딩 및 본 발명의 방법을 사용하여 표준 공간 주파수 측정 차트(ISO 12233)를 재구성한 결과를 나타낸 것이다. 기존의 다른 최적화 방법과 마찬가지로, TwIST 및 SpaRSA는 공간 주파수의 차선적인 재구성을 보여주며 희소 코딩(sparse coding)에 기반한 데이터 중심 접근법은 이 공간 해상도를 향상 시키므로, 본 발명의 방법은 최상의 결과를 산출하는 것을 알 수 있다.

파라미터 분석

충실도 프라이어의 영향

본 발명의 최적화 공식에서 주요한 신규성 중 하나는 상기 수학식 11의

정확도이며 트레이닝된 자동 인코더 장치의 비선형 표현과 재구성 문제를 연관 짓고 있다. 도 9에 도시된 바와 같이, 이 프라이어는 재구성 정확도에 큰 영향을 미치는 것을 알 수 있다. SSN은 0.93에서 0.96으로 증가하는 반면 PSNR은 30.84dB에서 34.33dB로 크게 증가한다. 또한, 두 번째 행에서 이전 패턴이 노란색 및 붉은 깃털에 대한 반사 정확도 뿐 아니라 반복 횟수에 따라 PSNR에 어떻게 영향을 미치는지 알 수 있다.

숨겨진 레이어의 영향

도 10은 숨겨진 레이어 수가 재구성의 공간 해상도에 미치는 영향을 나타낸 것으로, 도 10a에 도시된 바와 같이 11 개의 레이어 이상에서는 재구성의 정확도가 크게 개선되지 않은 것을 알 수 있으며, 본 발명은 11개의 레이어 이후에 공간 해상도가 크게 증가하지 않음을 통해 성능과 메모리 간의 절충안을 감안 후 숨겨진 레이어의 수를 11개로 설정할 수 있다.

본 발명은 베타 프로세스 요소 분석(BPFA)과 하위 등급 재건법에 의해 추가실험을 진행하며, 본 발명의 정량적 평가는 색도를 보장하기 위해 광도보다는 반사율에 대해 계산된다. 이는 일반적으로 휘도에 비해 PSNR 값을 2.0 ~ 3.0 dB 낮춘다. BPFA에서, 하이퍼스펙트럴 이미지는 블라인드 압축 감지에 사용된 재구성 방법을 채택하여 코딩된 입력으로부터 재구성된다. 후자의 방법은 유사하고 비국지적인 하이퍼스펙트럴 이미지 패치들에 존재하는 스펙트럴-공간 상관을 이용하는 하이퍼스펙트럴 이미지의 초기 추정을 개량한다. 도 13에 도시된 바와 같이, 콜럼비아 데이터 세트의 32개의 하이퍼스펙트럴 이미지의 평균 PSNR과 SSIM 측정 값은 BPFA의 경우 21.71dB와 0.69, 낮은 순위 재구성의 경우 24.48dB와 0.85 이고, 본 발명의 방법에서는 각각 32.46 dB와 0.95를 얻은 것을 알 수 있다. BPFA는 다중 프레임 CASSI 용으로 설계되었지만 비교의 공정성을 위해 단일 입력 만 사용하였다. 상술한 바와 같이, 하위 등급 재구성의 품질은 초기 추정에 의존하는데, 이 경우에는 TwIST 재구성이 해당된다. 따라서 낮은 순위 재구성의 PSNR 및 SSIM 값은 도 6에 표시된 TwIST (23.74 dB / 0.85)보다 높거나 같을 수 있다.

직접적인 학습 기반의 재구성은 압축 측정을 입력으로 사용하여 해당 원본 이미지를 출력하는 종단 간 회귀 네트워크를 학습시킨다. 변조 행렬

는 회귀 모델에서 암묵적으로 부호화될 수 있다. 본 발명은 재구성을 회귀 기반 네트워크와 비교한다. 원래 하이퍼스펙트럴 이미징을 위해 설계되지 않았기 때문에 압축 입력에서 하이퍼스펙트럴 이미지를 직접 추정하는 심층 컨볼루션 회귀 네트워크를 학습하도록 수정하고, 수정된 심화 회귀 네트워크는 64개의 기능맵으로 구성된 11개의 숨겨진 컨볼루션 레이어로 구성될 수 있다. 컨볼루션은 ReLU 활성화 기능을 사용하여

커널로 수행될 수 있으며, 학습을 위해 콜럼비아 데이터 세트를 사용할 수 있으며 이미지의 크기는

일 수 있다. 회귀 네트워크는 네트워크에서 고정 변조 행렬

를 암묵적으로 인코딩하기 때문에

이미지로 제한된다. 본 발명은 ADAM 최적화 도구를 사용하여 네트워크를 학습할 수 있으며, 배치로 8개의 이미지를 패킹하고 3000 에포크 동안 트레이닝을 수행할 수 있다.

비교를 위해 콜럼비아 데이터 세트의 32가지 스펙트럴 이미지를 사용하고, 회귀 기반의 재구성에는 최적화 단계가 필요하지 않기 때문에 그 속도가 매우 빠르지만(평균 0.14초) 스펙트럴 및 공간 영역 모두에서 상당히 정확성이 떨어지는 재구성을 산출한다. 도 13은 이에 대한 대표적인 결과를 나타낸 것이고, 도 14는 전체 데이터 세트에서 평균 산출된 PSNR 및 SSIM 값을 나타낸 것으로, 도 13과 도 14를 통해 알 수 있듯이 회귀 기반 재구성의 낮은 품질 외에도 엔드 투 엔드 회귀를 학습하려면 이미지 설정(이미지 크기, 마스크 패턴, 렌즈 또는 센서의 픽셀 피치)이 변경될 때마다 다른 모델을 학습해야 한다는 점에서 매우 비실용적이다.

새로운 하이퍼스펙트럴 이미지 데이터 세트

본 발명은 콜럼비아 데이터 세트가 광범위한 스펙트럴 정보를 가진 이미지를 제공하는 반면 낮은 공간 해상도와 초점이 약간 맞지 않는 이미지를 제공한다는 것을 알 수 있으며, 마찬가지로 하버드 데이터 세트는 높은 공간 해상도를 제공하지만 스펙트럴 범위는 제한적인 것을 알 수 있다. 이를 개선하기 위해 넓은 스펙트럴 범위를 커버하는 30개의 하이퍼스펙트럴 이미지로 구성된 새로운 고해상도 데이터 세트를 캡처할 수 있으며, 도 11과 도 12는 몇 가지 예를 보여주며 완전한 데이터 세트는 프로젝트 웹 사이트에서 다운로드 할 수 있다.

실제 하이퍼 스펙트럴 카메라의 결과

재구성 알고리즘의 유효성을 검증하기 위해 도 15a와 같이 공간 스펙트럴로 인코딩된 DD-CASSI 이미징 시스템의 프로토 타입을 만들 수 있다. 여기서, 시스템은 아포 크로매틱 렌즈, 릴레이 렌즈, 2개의 프리즘 (NBK-7, 2도 각도, 13 픽셀 분산 생성), 코딩된 조리개 및 CCD 이미징 센서로 구성될 수 있다. 모든 릴레이 렌즈(시그마 A, f/1.4)는 일대일 이미징을 위해 동일한 초점 거리(50mm)를 가지고 있다. 카메라는 픽셀 피치 3.69 μm의 포인트 그레이 그래스 호퍼(GS3 9.1MP Mono)일 수 있다. 코딩된 조리개 마스크는 이진 패턴의 픽셀 피치가 7.40μm 인 석영판에서 리소그래피 크롬 에칭을 통해 만들어진 임의의 이진 패턴을 포함한다. 마스크의 픽셀은 이미저의 CCD 센서에서 2 x 2 픽셀에 해당한다. 화면은 고체 상태의 플라즈마 광원으로 포착된다. 상기 수학식 2에서 바이너리 마스크 패턴

및 파장 의존 픽셀 시프트 함수

와 같은 시스템의 광학 특성을 보정할 수 있다.

조명 불변성을 학습

프로토 타입에서 실제 입력을 처리하기 위해 다양한 색온도의 다양한 조명 아래 추가 데이터 세트로 모델을 재학습한다. 본 발명은

(CIE A, 텅스텐),

(형광등),

(CIED 50),

(CIE D65) 및

(플라스마)의 5가지 다른 색온도에서 컬럼비아의 데이터 세트의 32가지 하이퍼스펙트럴 반사 이미지를 사용하여 192개의 하이퍼스펙트럴 이미지에 대한 추가 학습 데이터 세트를 생성할 수 있다. 이 데이터 세트는 스케일 불변성을 위해 추가로 추가되어 총 384개의 새로운 하이퍼스펙트럴 이미지가 생성할 수 있다. 본 발명은 이 증가한 데이터 세트로부터 96 x 96 x 31사이즈의 19,200개의 텐서 패치를 샘플링할 수 있다.

실제 데이터에 대한 결과

도 15b는 TwIST4와 본 발명의 방법을 이용한 재구성을 비교한 것이며, 도 15c의 플롯(plot)은 각 방법에 의해 재구성된 선택된 패치의 스펙트럴 정확도와 분광측정기로 측정한 실제 값을 비교한 것이다. 도 15를 통해 알 수 있듯이, 본 발명의 스펙트럴 재구성은 종래의 접근법을 능가하는 것을 알 수 있다. TwIST 재구성은 공간상의 인공물 재구성에 어려움을 겪고 스펙트럴 영역에서는 덜 정확한 것을 알 수 있고, 도 15d와 도 15e는 본 발명의 재구성 결과를 보여준다.

하이퍼스펙트럴 보간

본 발명의 방법은 스펙트럴 프라이어를 이용하여 하드웨어 수정없이 고분해능의 하이퍼스펙트럴 이미지로 멀티 스펙트럴 이미지를 보간하는 것을 허용한다. 상기 수학식 11의 측정 행렬

를 파장 서브 샘플링 행렬로 단순히 대체한다.

도 16a는 원래 스펙트럴 파장의 52%, 26% 및 10%를 서브 샘플링한 보간 결과를 보여 주며 각각 16, 8 및 3채널로 변환된다. 31개의 파장에 대한 보간된 재구성을 실제값(또는 실측값)과 비교한 것으로, 재구성의 정확도는 높지만 정보의 10% 만 사용할 경우에는 재구성의 정확도가 감소하는 것을 알 수 있다.

하이퍼스펙트럴 디모자이싱

본 발명은 기존 바이어 패턴에 따라 입력이 450nm, 520nm, 580nm 및 650nm의 파장에만 해당된다고 가정할 때 하이퍼스펙트럴 디모자이싱을 가능하게 하기 위해 보간 재구성을 확장하며 상기 수학식 11의 공간 및 스펙트럴 서브 샘플링 행렬로

행렬을 대체한다. 본 발명은

행렬에 대한 가우시안 블러(Gaussian blur)로서 회절 흐림을 설명하고 재구성 흐림을 피하기 위해

를 매우 작은 값

으로 설정한다. 도 16b는 본 발명의 스펙트럴 재구성이 얼마나 정확한지 나타낸 것으로, 본 발명은 디지털 카메라의 디모자이싱(demosaicing)과 유사하게 바이엘 패턴의 다중 스펙트럴 입력을 사용하여 단일샷 하이퍼스펙트럴 이미징을 가능하게 한다.

제한

본 발명의 재구성 알고리즘은 공간 영역에서의 희소성을 선호하는 총 변이항(스펙트럴 정보를 이웃하는 픽셀과 연관시킴)를 포함한다. 입력 품질이 충분하지 않은 경우 매우 미세한 이미지 구조를 차선책으로 하여 재구성할 수 있다. 도 17에 도시된 바와 같이 입력 이미지의 초점이 맞지 않는 것을 알 수 있다. 비록 본 발명의 방법이 다른 접근 방식보다 좋은 결과를 보여 줌에도 불구하고, 인쇄된 단어의 작은 세부 사항을 재구성하는 것에는 완벽하지 않은 것을 알 수 있다.

이와 같이, 본 발명에 따른 기술은 공간 분해능과 스펙트럴 정확도에 대해 기존 방법들은 능가하는 것을 알 수 있다. 구체적으로 본 발명은 컨볼루션 자동 인코더를 사용하여 비선형 표현으로 내추럴 스펙트럴을 트레이닝하고, 자동 인코더 결과 값을 스펙트럴 프라이어로 사용하여 새로운 비선형 최적화를 공식화하는 것이다. 본 발명의 재구성 방법은 모든 압축 이미징 아키텍처에 적용될 수 있으며, 또한 희소 코딩을 기반으로 한 최상의 방법과 비교하여 계산상의 복잡성은 2배 정도 감소시킬 수 있다.

상술한 바와 같이, 본 발명에 따른 기술은 영상에 대한 코딩된 데이터 예를 들어, 인코딩된 센서 입력을 수신하고, 미리 생성된 학습 모델 예를 들어, 비선형 학습 모델에 기초하여 코딩된 데이터에 대한 영상의 초분광 영상을 재구성함으로써, 고품질의 초분광 영상을 재구성하고, 기존의 어떤 압축 이미징 아키텍처에 적용할 수 있다.

또한, 본 발명에 따른 기술은 미리 생성된 학습 모델 뿐만 아니라 최적화 기법 예를 들어, 비선형 최적화 기법에 기초하여 코딩된 데이터에 대한 영상의 초분광 영상을 재구성할 수도 있다. 즉, 본 발명은 인공 지능 예를 들어, 컨볼루션 신경망(CNN; Convolutional Neural Network)의 일종이며 비선형 학습 모델인 컨볼루션 자동인코더(Convolutional Autoencoder)와 비선형 최적화 기법을 조인트하게(jointly) 결합하여 사용하고, 이를 통해 고품질의 초분광 영상을 재구성할 수 있다.

이러한 본 발명에 따른 방법은 장치 또는 시스템으로 구성될 수 있으며, 구성되는 장치 또는 시스템은 상술한 본 발명에 따른 방법의 모든 기능을 포함할 수 있다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매질 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매질에 저장될 수 있다.

실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매질에 기록될 수 있다. 상기 컴퓨터 판독 가능 매질은 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매질에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매질의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매질(magnetic media), CD-ROM, DVD와 같은 광기록 매질(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매질(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

영상에 대한 코딩된 데이터를 수신하는 단계; 및
미리 생성된 학습 모델에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 단계
를 포함하는 초분광 영상 재구성 방법.
제1항 있어서,
미리 설정된 초분광 영상 데이터 세트를 이용한 학습을 통해 비선형 학습 모델을 생성하는 단계
를 더 포함하고,
상기 초분광 영상을 재구성하는 단계는
상기 생성된 비선형 학습 모델과 비선형 최적화 기법에 기초하여 상기 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제2항에 있어서,
상기 비선형 학습 모델을 생성하는 단계는
상기 초분광 영상 데이터 세트를 이용한 학습을 통해 컨볼루션 자동인코더를 학습시켜 상기 비선형 학습 모델을 생성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제3항에 있어서,
상기 비선형 학습 모델을 생성하는 단계는
상기 컨볼루션 자동 인코더를 이용하여 비선형 공간에서 인코더 네트워크를 학습시킨 후 디코더 네트워크를 이용하여 상기 비선형 학습 모델을 생성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제4항에 있어서,
상기 컨볼루션 자동 인코더는
상기 초분광 영상 데이터 세트를 비선형 표현으로 변환하는 인코더 네트워크와 상기 비선형 표현으로부터 원본 데이터 세트를 생성하는 디코더 네트워크를 포함하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제2항에 있어서,
상기 비선형 학습 모델은
초분광 영상에 대한 비선형 재구성을 출력하는 학습 모델인 것을 특징으로 하는 초분광 영상 재구성 방법.
제2항에 있어서,
상기 초분광 영상을 재구성하는 단계는
상기 생성된 비선형 학습 모델에 대한 비선형 스펙트럴 표현의 정확도와 공간 영역에서의 그래디언트(gradient)의 희소성(sparsity)을 공동으로 정규화하는 상기 비선형 최적화 기법에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제2항에 있어서,
상기 초분광 영상을 재구성하는 단계는
ADMM(alternating direction multiplier) 방식을 사용하여 상기 비선형 최적화 기법을 반복 수행함으로써, 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제2항에 있어서,
상기 수신하는 단계는
압축 하이퍼스펙트럴 이미징 접근법을 이용하여 상기 영상에 대한 코딩된 데이터를 수신하는 것을 특징으로 하는 초분광 영상 재구성 방법.
영상에 대한 코딩된 데이터를 수신하는 단계; 및
미리 학습된 스펙트럴 프라이어에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 단계
를 포함하는 초분광 영상 재구성 방법.
제10항에 있어서,
미리 설정된 초분광 영상 데이터 세트를 이용하여 상기 스펙트럴 프라이어(prior)를 학습시키는 단계
를 포함하고,
상기 초분광 영상을 재구성하는 단계는
상기 학습된 스펙트럴 프라이어와 비선형 최적화 기법에 기초하여 상기 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제11항에 있어서,
상기 초분광 영상을 재구성하는 단계는
상기 학습된 스펙트럴 프라이어에 대한 비선형 스펙트럴 표현의 정확도와 공간 영역에서의 그래디언트(gradient)의 희소성(sparsity)을 공동으로 정규화하는 상기 비선형 최적화 기법에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제11항에 있어서,
상기 초분광 영상을 재구성하는 단계는
ADMM(alternating direction multiplier) 방식을 사용하여 상기 비선형 최적화 기법을 반복 수행함으로써, 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
영상에 대한 코딩된 데이터를 수신하는 수신부; 및
미리 생성된 학습 모델에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 재구성부
를 포함하는 초분광 영상 재구성 장치.
제14항에 있어서,
미리 설정된 초분광 영상 데이터 세트를 이용한 학습을 통해 비선형 학습 모델을 생성하는 생성부
를 더 포함하고,
상기 재구성부는
상기 생성된 비선형 학습 모델과 비선형 최적화 기법에 기초하여 상기 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제15항에 있어서,
상기 생성부는
상기 초분광 영상 데이터 세트를 이용한 학습을 통해 컨볼루션 자동인코더를 학습시켜 상기 비선형 학습 모델을 생성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제16항에 있어서,
상기 생성부는
상기 컨볼루션 자동 인코더를 이용하여 비선형 공간에서 인코더 네트워크를 학습시킨 후 디코더 네트워크를 이용하여 상기 비선형 학습 모델을 생성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제17항에 있어서,
상기 컨볼루션 자동 인코더는
상기 초분광 영상 데이터 세트를 비선형 표현으로 변환하는 인코더 네트워크와 상기 비선형 표현으로부터 원본 데이터 세트를 생성하는 디코더 네트워크를 포함하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제15항에 있어서,
상기 비선형 학습 모델은
초분광 영상에 대한 비선형 재구성을 출력하는 학습 모델인 것을 특징으로 하는 초분광 영상 재구성 장치.
제15항에 있어서,
상기 재구성부는
상기 생성된 비선형 학습 모델에 대한 비선형 스펙트럴 표현의 정확도와 공간 영역에서의 그래디언트(gradient)의 희소성(sparsity)을 공동으로 정규화하는 상기 비선형 최적화 기법에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제15항에 있어서,
상기 재구성부는
ADMM(alternating direction multiplier) 방식을 사용하여 상기 비선형 최적화 기법을 반복 수행함으로써, 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제15항에 있어서,
상기 수신부는
압축 하이퍼스펙트럴 이미징 접근법을 이용하여 상기 영상에 대한 코딩된 데이터를 수신하는 것을 특징으로 하는 초분광 영상 재구성 장치.
영상에 대한 코딩된 데이터를 수신하는 단계; 및
미리 학습된 학습 모델과 최적화 기법에 기초하여 상기 코딩된 데이터에 대한 영상의 초분광 영상을 재구성하는 단계
를 포함하는 초분광 영상 재구성 방법.