KR102507277B1

KR102507277B1 - 영상센서 모사방법

Info

Publication number: KR102507277B1
Application number: KR1020200138304A
Authority: KR
Inventors: 홍용희
Original assignee: 엘아이지넥스원 주식회사
Priority date: 2020-10-23
Filing date: 2020-10-23
Publication date: 2023-03-07
Also published as: KR20220053936A

Abstract

영상센서의 환경정보를 딥러닝 신경망에 입력하는 단계; 딥러닝 신경망에서 모사된 영상센서 출력영상을 출력하는 단계; 모사된 영상센서 출력영상과 사전에 구비된 기준 영상센서 출력영상을 비용함수에 대입하여 비용함수 값을 도출하는 단계; 및 비용함수 값이 작아지도록 딥러닝 신경망을 최적화하는 단계;를 포함하는 영상센서 모사방법이 소개된다.

Description

영상센서 모사방법 {METHOD FOR SIMULATING IMAGE SENSOR}

본 발명은 딥러닝을 이용한 영상센서의 영상 단위 동작을 모사하는 것으로서, 영상센서 구조 및 동작방식의 파악이 필요없어 간단하고, 영상센서 내부 입력 인자들의 파악이 필요하지 않아 사전지식 없이 영상센서를 영상 단위로 모사하는 방법에 관한 것이다.

종래의 영상센서 성능 예측 혹은 모사 기술은 소자 단위에서의 시뮬레이션을 기반으로 이루어진다. 소자 단위의 영상센서 모사 기술은 영상센서 소자를 이루고 있는 구성(예 : 센서 소재 및 특성, 트랜지스터, 저항, MOSFET 등)을 알고 있고 이들의 유기적인 구성을 반영한 시뮬레이션 수식 등을 통해 영상센서 모사가 가능하다.

종래의 영상센서를 소자 단위로 예측하고 모사하는 기술은 소자를 구성하고 있는 구성 요소들의 대표 특징 값으로만 영상센서를 모사하기 때문에 주변 입력 인자들(광량, 주변 온도, 바이어스 전압 등)의 변화에도 그에 해당하는 한가지 예측만 가능하다.

이러한 기존 방식은 영상센서의 각 소자들의 구성 요소들의 특성 편차로 인해 발생되는 각각 소자들의 영상센서 성능을 표현하지 못하는 한계가 있다. 이를 모사하기 위해 인위적으로 영상센서의 편차 특성을 각각 영상 센서 소자 시뮬레이션에 반영할 수는 있겠지만 이는 사람의 판단에 의해 인위적으로 추가되는 것이어서 실제 영상 센서가 인위적으로 예측한 방식으로 영상 단위 센서 동작을 높은 확률로 예측하는 것이 쉽지 않다.

기존 영상센서 모사 방식은 영상 소자의 구성 요소를 알고 있어야 하며 소자 구성 요소를 모를 경우 영상센서 모사가 어려우며 모사를 하더라도 부정확한 모사로 이어지기 쉽다. 이와 더불어 소자들의 특성을 유기적으로 모사하기 위해 구성 소자들의 특성을 나타내는 수치나 수식들을 조합하여 최종 영상 소자 출력을 모사한다. 하지만 이러한 과정에는 해당 분야의 고도의 학습 및 경험을 필요로 하게 된다.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.

KR 10-2158799 B1

본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 딥러닝을 이용한 영상센서의 영상 단위 동작을 모사하는 것으로서, 영상센서 구조 및 동작방식의 파악이 필요 어 간단하고, 영상센서 내부 입력 인자들의 파악이 필요하지 않아 모사가 매우 빠르고 정확한 영상센서 모사방법을 제공하고자 함이다.

상기의 목적을 달성하기 위한 본 발명에 따른 영상센서 모사방법은, 영상센서의 환경정보를 딥러닝 신경망에 입력하는 단계; 딥러닝 신경망에서 모사된 영상센서 출력영상을 출력하는 단계; 모사된 영상센서 출력영상과 사전에 구비된 기준 영상센서 출력영상을 비용함수에 대입하여 비용함수 값을 도출하는 단계; 및 비용함수 값이 작아지도록 딥러닝 신경망을 최적화하는 단계;를 포함한다.

영상센서의 환경정보는 광에너지, 주변온도 및 바이어스전압을 포함할 수 있다.

비용함수는 모사된 영상센서 출력영상과 사전에 구비된 기준 영상센서 출력영상의 픽셀값들의 차이의 제곱의 평균을 도출하는 함수일 수 있다.

비용함수는 아래의 수식으로 구성될 수 있다.

딥러닝 신경망을 최적화하는 단계에서는 ADAM OPTIMIZER를 적용할 수 있다.

딥러닝 신경망을 최적화하는 단계에서는 학습률 0.001 로 50000회 학습을 수행할 수 있다.

본 발명의 영상센서 모사방법에 따르면, 딥러닝을 이용한 영상센서의 영상 단위 동작을 모사하는 것으로서, 영상센서 구조 및 동작방식의 파악이 필요 어 간단하고, 영상센서 내부 입력 인자들의 파악이 필요하지 않아 모사가 매우 빠르고 정확하다.

도 1은 본 발명의 일 실시예에 따른 영상센서 모사방법의 블록도.
도 2는 본 발명의 일 실시예에 따른 영상센서 모사방법의 순서도.
도 3은는 본 발명의 일 실시예에 따른 영상센서 모사방법의 학습용 데이터의 예시.
도 4는 본 발명의 일 실시예에 따른 영상센서 모사방법의 학습과정을 나타낸 그래프.
도 5는 본 발명의 일 실시예에 따른 영상센서 모사방법의 결과를 나타낸 도면.
도 6 내지 7은 본 발명의 일 실시예에 따른 영상센서 모사방법의 결과를 나타낸 그래프.

도 1은 본 발명의 일 실시예에 따른 영상센서 모사방법의 블록도이고, 도 2는 본 발명의 일 실시예에 따른 영상센서 모사방법의 순서도이며, 도3은는 본 발명의 일 실시예에 따른 영상센서 모사방법의 학습용 데이터의 예시이고, 도 4는 본 발명의 일 실시예에 따른 영상센서 모사방법의 학습과정을 나타낸 그래프이며, 도 5는 본 발명의 일 실시예에 따른 영상센서 모사방법의 결과를 나타낸 도면이고, 도 6 내지 7은 본 발명의 일 실시예에 따른 영상센서 모사방법의 결과를 나타낸 그래프이다.

영상 센서는 가시광, 적외선 등 초점평면배열(Focal Plane Array, FPA)를 이용하여 외부로부터 유입되는 빛에너지를 감지한다. 하지만 특히 적외선 영상센서는 제조공정에서 각 픽셀 소자들의 형성 과정의 차이로 인해 고정패턴노이즈(Fixed Pattern Noise, FPN)가 발생하게 된다. 이러한 노이즈들도 인해 영상 센서 시뮬레이션도 픽셀 소자 단위가 아닌 영상 단위로는 어려우며, 이는 불균일보정 성능 예측의 어려움으로 이어진다.

본 발명은 딥러닝 신경망을 이용하여 영상센서의 입력 인자들과 영상 단위로 영상센서 출력 간의 학습을 통하여 영상센서의 영상 단위의 예측 출력을 사용하여 영상센서 모사 및 성능 예측이 가능하며, 이에 따라 불균일보정 기법에 따른 최종 영상 성능 예측이 가능하다. 이 방식은 영상센서를 모사 및 성능 예측을 하기 위해 영상센서의 구성과 그 관계를 알 필요가 없다. 학습용 데이터가 확보되어 있다면 쉽게 학습을 이용하여 영상센서를 모사 가능한 모듈 획득이 가능하다. 이 외에도 영상 단위로 모사 및 성능 예측이 가능하다.

도 1은 본 발명의 일 실시예에 따른 영상센서 모사방법의 블록도이고, 도 2는 본 발명의 일 실시예에 따른 영상센서 모사방법의 순서도이다.

본 발명에 따른 영상센서 모사방법은, 영상센서의 환경정보를 딥러닝 신경망에 입력하는 단계; 딥러닝 신경망에서 모사된 영상센서 출력영상을 출력하는 단계; 모사된 영상센서 출력영상과 사전에 구비된 기준 영상센서 출력영상을 비용함수에 대입하여 비용함수 값을 도출하는 단계; 및 비용함수 값이 작아지도록 딥러닝 신경망을 최적화하는 단계;를 포함한다. 그리고 영상센서의 환경정보는 광에너지, 주변온도 및 바이어스전압을 포함할 수 있다.

본 발명은 영상센서를 모사 가능한 딥러닝 신경망(101)을 중심으로 구성되어 있다. 딥러닝 신경망(101)은 주로 입력 노드 수보다 출력 노드 수가 많은 생성적 계열 딥러닝 신경망으로 구성되어지며 영상센서의 주요 특성에 따라 활성 함수의 형태를 결정하여 사용 가능하다. 생성적 계열 딥러닝 신경망의 경우 Reaky ReLU 및 ELU와 같은 활성 함수가 주로 사용된다. 본 발명의 실시예에서는 Reaky ReLU(Rectified Linear Unit) 함수을 적용하였다. 이외에도 활성함수에는 Relu, Selu, Sigmoid, Hyper tangent, Step function 등이 있다.

초기화의 경우는 Xavier 초기화를 아래와 같이 적용하였다.

initializer=tf.contrib.layers.xavier_initializer()

이외에도 He, RBM, Random 등 초기화 방법이 있다.

드롭아웃의 비율은 1.0으로 미적용하였고, 비용함수는 아래와 같이 실제 검출기에서 획득한 검출기 출력과 신경망 출력의 차이가 클수록 비용함수 값이 커지도록 설계하였다.

cost = tf.reduce_mean( tf.square( tf.subtract(Y, model) ) )

그리고 최적화 함수로는 adam optimizer를 적용하였다.

또한, 학습률은 아래와 같이 학습률 0.001 로 50000회 학습을 작용하였다.

for step in range(10000):

sess.run(train_op, feed_dict={X: x_data, Y: y_data, keep_prob: 1.0})

if (step + 1) % 1000 == 0:

print(step + 1, sess.run(cost, feed_dict={X: x_data, Y: y_data, keep_prob: 1.0}))

영상센서 출력의 변화를 줄 수 있는 수치화된 여러 입력 인자(광 에너지, 주변 온도, 바이어스 전압 등)(102)가 있다. 딥러닝 신경망에 입력된 입력 인자들을 바탕으로 출력되는 모사된 영상센서 출력 영상(103)이 있다. 이를 학습시키기 위한 기준이 되는 사전 획득된 영상센서 출력 영상(104)가 있가. 모사된 영상센서 출력 영상과 사전 획득된 영상센서 출력 영상을 기준으로 딥러닝 신경망 학습을 위한 비용 함수를 산출을 위한 영상 비교 비용 함수(105)로 구성되어 있다.

본 발명의 딥러닝 신경망 영상센서 모사 학습은 다음과 같은 과정을 통해 수행된다. 입력 인자(광 에너지, 주변 온도, 바이어스 전압 등)(201)가 영상센서를 모사하는 딥러닝 신경망(202)에 입력된다. 입력 인자들을 입력 받은 딥러닝 신경망은 모사된 영상센서 출력 영상(203)을 출력한다. 출력된 모사된 영상센서 출력 영상은 최초에는 무질서한 노이즈 형태로 출력을 한다. 이는 딥러닝 신경망의 학습이 수행되지 않아서 발생되는 현상이다. 모사된 영상센서 출력 영상을 학습 시키기 위해 사전 획득된 영상센서 출력 영상(204)를 이용한다. 모사된 영상센서 출력 영상과 사전 획득된 영상센서 출력 영상을 이용하여 딥러닝 신경망 학습을 위한 비용함수를 산출해야 하는데 이 때 영상 비교 비용 함수(205)를 이용한다.

산출된 영상 비교 비용 함수의 결과는 신경망 옵티마이저(206)에 보내지게 된다. 신경망 옵티마이저는 영상 비교 비용 함수 결과를 낮추기 위해 딥러닝 신경망의 계수들을 조정한다. 이러한 일련의 과정을 반복적으로 수행하여 최종적으로 영상센서를 모사 가능한 계수들이 조정된 딥러닝 신경망을 획득하게 되며, 이를 이용하여 원하는 입력 인자들을 딥러닝 신경망에 입력하여 최종 모사된 영상센서 출력 영상(207)을 획득한다.

비용함수는 아래의 수식으로 구성될 수 있다.

본 발명에서 모사된 영상센서 출력 영상(103)과 사전 획득된 영상센서 출력 영상(104)에서 신경망 학습을 위한 비용 함수를 계산하기 위해 영상 비교 비용 함수 수식(301)을 이용한다. I는 사전 획득된 출력 영상이며, Ip는 예측된 출력 영상이고, M과 N은 각각 출력 영상의 가로 및 세로 픽셀 수를 나타낸다. 영상 비교 비용 함수 수식(301)은 두 영상에서 매칭되는 픽셀 값들의 차이의 제곱의 평균을 나타내는 함수로 비교되는 두 영상의 차이가 클수록 높은 값이 출력되도록 설계되었다.

딥러닝 신경망을 최적화하는 단계에서는 ADAM OPTIMIZER를 적용할 수 있다. 그리고 딥러닝 신경망을 최적화하는 단계에서는 학습률 0.001 로 50000회 학습을 수행할 수 있다.

도 3은는 본 발명의 일 실시예에 따른 영상센서 모사방법의 학습용 데이터의 예시이다. 본 발명의 딥러닝 신경망을 이용한 영상센서 모사 학습용 데이터 예시로 영상 센서의 FPA 온도(401)와 FPA 온도 RAW 데이터(402) 그리고 모사된 출력 영상을 학습 시키기 위한 사전 획득된 영상센서 출력 영상 예시(403)이다. 본 발명의 예로 영상센서 FPA 온도 RAW 데이터(402) 1개 입력 인자를 적용하였으며, 사전 획득된 영상센서 출력 영상(403)은 가로 80개, 세로 60개의 밝기 영상을 이용하였다.

도 4는 본 발명의 일 실시예에 따른 영상센서 모사방법의 학습과정을 나타낸 그래프이다. 딥러닝 신경망을 이용한 영상센서 모사 학습 과정은 본 발명의 딥러닝 신경망 학습 과정 중 변화화는 영상 비교 비용 함수의 변화를 보여준다. 학습 휫수가 거듭될수록 낮아지는 영상 비교 비용 함수의 변화를 볼 수 있다.

도 5는 본 발명의 일 실시예에 따른 영상센서 모사방법의 결과를 나타낸 도면이다. 딥러닝 신경망을 이용한 영상센서 모사 결과 비교를 하였다. 사전 획득된 영상센서 출력 영상과 모사된 영상센서 출력 영상을 영상으로 비교하면 모사된 영상센서 출력 영상이 사전 획득된 것과 상당히 비슷한 영상 출력을 보여주고 있음을 확인할 수 있다. 모사된 영상센서 출력 영상은 영상센서의 ROIC 회로에 의해 발생되는 세로 줄무늬, 데드픽셀, 광역적 밝기 패턴 차이 등까지 모사하고 있음을 확인할 수 있다.

도 6 내지 7은 본 발명의 일 실시예에 따른 영상센서 모사방법의 결과를 나타낸 그래프이다. 모사된 출력 영상과 사전 획득된 출력 영상의 출력 평균 비교 그래프로 FPA 온도 변화에 따라 영상 센서의 출력 변화를 모사하고 있는 것을 확인할 수 있다. 모사된 출력 영상과 사전 획득된 출력 영상의 출력 표준편차 비교 그래프로 FPA 온도 변화에 따라 영상 센서의 출력 표준편차를 모사하고 있는 것을 확인할 수 있다.

본 발명에 따르면, 첫째, 영상 센서의 각 소자들의 특성 편차가 반영된 영상 단위의 출력 모사가 가능하다. 둘째, 영상 센서 소자를 구성하고 있는 요소들과 구성 요소들의 유기적인 관계를 알고 있지 않더라도 신경망 딥러닝 학습을 통해 영상 센서의 출력을 모사 가능하다. 셋째, 해당 분야의 고도로 숙련되어 있지 않아도 딥러닝 신경망 학습을 이용하여 영상 센서 모사가 가능하다. 넷째, 입력 인자들의 변화에 따른 영상 단위의 예측이 가능함으로서 영상 센서 모사를 통해 적합한 불균일보정 기법 선택과 불균일보정 후의 최종 영상 성능 예측이 가능하다.

즉, 본 발명의 영상센서 모사방법에 따르면, 딥러닝을 이용한 영상센서의 영상 단위 동작을 모사하는 것으로서, 영상센서 구조 및 동작방식의 파악이 필요 어 간단하고, 영상센서 내부 입력 인자들의 파악이 필요하지 않아 모사가 매우 빠르고 정확하다.

본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.

Claims

영상센서의 환경정보를 딥러닝 신경망에 입력하는 단계;
딥러닝 신경망에서 모사된 영상센서 출력영상을 출력하는 단계;
모사된 영상센서 출력영상과 사전에 구비된 기준 영상센서 출력영상을 비용함수에 대입하여 비용함수 값을 도출하는 단계; 및
비용함수 값이 작아지도록 딥러닝 신경망을 최적화하는 단계;를 포함하고,
비용함수는 모사된 영상센서 출력영상과 사전에 구비된 기준 영상센서 출력영상의 픽셀값들의 차이의 제곱의 평균을 도출하는 함수인 것을 특징으로 하는 영상센서 모사방법.
청구항 1에 있어서,
영상센서의 환경정보는 광에너지, 주변온도 및 바이어스전압을 포함하는 것을 특징으로 하는 영상센서 모사방법.
삭제
청구항 1에 있어서,
비용함수는 아래의 수식으로 구성된 것을 특징으로 하는 영상센서 모사방법.
청구항 1에 있어서,
딥러닝 신경망을 최적화하는 단계에서는 ADAM OPTIMIZER를 적용하는 것을 특징으로 하는 영상센서 모사방법.
청구항 1에 있어서,
딥러닝 신경망을 최적화하는 단계에서는 학습률 0.001 로 50000회 학습을 수행하는 것을 특징으로 하는 영상센서 모사방법.