KR20240051669A - 센서 필터 파라미터의 학습 방법 및 이를 수행하는 장치 - Google Patents

Abstract

실시예는, 센서 필터 파라미터의 학습 방법 및 이를 수행하는 장치에 대한 것이다. 실시예에 따른 학습 방법은, 센서 필터의 스펙트럼에 별로 대상 이미지에 대해 시뮬레이션하는 단계; 상기 시뮬레이션된 이미지를 미리 정해진 비전 태스크를 위한 비전 모델로 입력하여 출력 값을 획득하는 단계; 및 상기 비전 모델의 레이블과 상기 비전 모델의 출력 값 사이의 로스에 기초하여 상기 센서 필터의 파라미터를 학습하는 단계를 포함할 수 있다.

Description

센서 필터 파라미터의 학습 방법 및 이를 수행하는 장치{PARAMETERS OPTIMIZING METHOD OF SENSOR FILTER AND APPARATUS OF THEREOF}

실시예는, 센서 필터 파라미터의 학습 방법 및 이를 수행하는 장치에 관한 것이다.

영상 센서는 일상 생활에서 사용하는 카메라뿐만 아니라, 다양한 비전 태스크(Vision Task), 예컨대 객체 검출(Object Detection), 분류(Segmentation), 인식(Recognition), 객체 추적(Object Tracking) 등을 위한 카메라에서도 활용되고 있다.

일반 카메라에서는 가시광 영역의 RGB(Red/Green/Blue) 컬러 필터를 가지는 영상 센서(RGB 센서)가 일반적으로 사용되며, 비전 태스크에서는 RGB 센서뿐 아니라, Infrared(IR) 파장을 포함한 RGB-IR 센서, 모노크롬(Monochrome) 센서, 단파장 필터의 조합으로 구성된 하이퍼 스펙트럴(Hyper Spectral) 센서 등과 같이 다양한 형태의 필터 센서를 사용하고 있다.

비전 태스크 성능은 특정 컬러 필터 스펙트럼과 ISP(Image Signal Processor) 영향에 따라서 한계가 발생하기도 한다. 예컨대, 영상에서 컬러가 유사하면 분류 시 RGB 스펙트럼에 의한 오류가 발생할 수 있고, 컬러 필터가 부족하면 색 구분력 감소하게 되며, 일반적인 어두운 환경에서는 DR(Dynamic Range)이 감소하여 물체 검출이 잘 안 되는 문제가 있고, 빛의 반사가 발생하는 경우 영상의 블러, 노이즈가 증가하여 객체를 구분하기 어렵다.

센서 필터의 스펙트럼에 별로 대상 이미지에 대해 각각 시뮬레이션하는 단계; 상기 시뮬레이션된 이미지를 미리 정해진 비전 태스크를 위한 비전 모델로 입력하여 출력 값을 획득하는 단계; 및 상기 비전 모델의 레이블과 상기 비전 모델의 출력 값 사이의 로스에 기초하여 상기 센서 필터의 파라미터를 학습하는 단계를 포함하는, 센서 필터 파라미터의 학습 방법이 제공될 수 있다.

상기 센서 필터의 파라미터를 학습하는 단계는, 제2 비전 모델의 제2 레이블과 상기 출력 값 사이의 로스; 인체의 색채 인지에 기반한 색 공간을 기준으로 하는 상기 시뮬레이션된 이미지의 로스; 및 상기 시뮬레이션된 이미지의 변곡에 기반한 정규화 로스 중 적어도 하나에 더 기초하여 상기 센서 필터의 파라미터를 학습하는 단계를 포함할 수 있다.

상기 센서 필터의 파라미터를 학습하는 단계는, 상기 비전 모델의 레이블과 상기 비전 모델의 출력 값 사이의 로스가 감소하도록 상기 센서 필터의 파라미터와 상기 비전 모델의 파라미터를 함께 학습하는 단계를 포함할 수 있다.

상기 비전 모델의 파라미터를 학습하는 단계는, 상기 로스에 대응하여 상기 센서 필터 및 상기 비전 모델의 파라미터를 수정하는 단계; 상기 수정된 센서 필터의 파라미터에 기초하여 상기 대상 이미지에 대해 2차 시뮬레이션하는 단계; 상기 2차 시뮬레이션된 이미지를 상기 파라미터가 수정된 비전 모델로 입력하여 출력 값을 획득하는 단계; 및 상기 파라미터가 수정된 비전 모델의 레이블과 해당 비전 모델의 출력 값 사이의 로스를 계산하는 단계를 포함할 수 있다.

상기 센서 필터의 파라미터를 학습하는 단계는, 상기 센서 필터를 구성하는 채널들 각각에 해당하는 스펙트럼의 값을 학습하는 단계; 및 상기 센서 필터를 구성하는 채널의 엣지를 보정하는 단계를 포함할 수 있다.

상기 비전 모델은, 엣지 검출을 위한 비전 모델; 분류(segmentation)를 위한 비전 모델; 객체 검출을 위한 비전 모델; 얼굴 인식을 위한 비전 모델; 및 수퍼 레졸루션(super resolution)을 위한 비전 모델 중 적어도 하나를 포함할 수 있다.

상기 출력 값을 획득하는 단계는, 상기 비전 태스크에 대응하도록 상기 시뮬레이션된 이미지를 전처리하는 단계를 포함할 수 있다.

상기 전처리하는 단계는, 상기 시뮬레이션된 이미지에 대해 Image Signal Processing(ISP)을 수행하는 단계; 상기 시뮬레이션된 이미지의 노이즈를 제거하는 단계; 상기 시뮬레이션된 이미지를 정규화(normalization)하는 단계; 상기 시뮬레이션된 이미지에 HDR 처리하는 단계; 및 상기 시뮬레이션된 이미지의 사이즈를 조절하는 단계중 적어도 하나를 포함할 수 있다.

상기 대상 이미지에 대해 각각 시뮬레이션하는 단계는, 광원 스펙트럼(Illuminant Spectrum) 및 상기 대상 이미지의 파장대 별 반사 비율(Object Reflectance)에 기초하여 시뮬레이션하는 단계를 포함할 수 있다.

미리 정해진 비전 모델 기반의 이미지 처리 장치에 있어서, 비전 모델에 특화되어 서로 다른 스펙트럼 별 인텐시티 특성을 가지도록 설계된 복수의 필터들을 포함하는 센서 필터; 하나 이상의 프로세서; 메모리; 및 상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고, 상기 프로그램은, 상기 센서 필터로 대상 이미지를 촬영하는 단계; 및 상기 촬영된 영상을 미리 정해진 비전 태스크를 위한 비전 모델로 입력하여 상기 비전 태스크에 대응하는 결과를 획득하는 단계를 포함하는, 이미지 처리 장치가 제공될 수 있다.

도 1은 실시예에서, 센서 필터의 파라미터를 학습하는 방법의 흐름도이다.
도 2는 실시예에서, 이미지를 시뮬레이션하는 방법을 설명하기 위한 것이다.
도 3은 실시예에서, 센서 필터의 파라미터 및 비전 모델의 파라미터를 학습하는 방법을 설명하기 위한 도면이다.
도 4는 실시예에서, 전처리 과정을 포함하는 센서 필터의 파라미터 학습 방법을 설명하기 위한 도면이다.
도 5는 실시예에서, 학습된 파라미터로 설계된 센서 필터를 포함하는 이미지 처리 장치의 구조를 설명하기 위한 도면이다.
도 6은 실시예에 따라 학습된 파라미터에 대한 예시를 설명하기 위한 도면이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.

도 1은 실시예에서, 센서 필터의 파라미터를 학습하는 방법의 흐름도이다.

실시예에 따른 학습은 장치를 통해 수행될 수 있다. 장치는, 하나 이상의 프로세서, 메모리 및 메모리에 저장되어 있으며 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함할 수 있고, 해당 프로그램을 통해 아래 설명되는 센서 필터의 파라미터를 학습하는 방법이 수행될 수 있다.

단계(110)에서 장치는, 센서 필터의 스펙트럼에 별로 대상 이미지에 대해 시뮬레이션한다.

센서 필터의 파라미터는 디폴트 값으로 설정되거나, 랜덤한 값으로 설정될 수 있다. 또는 RGB 센서 스펙트럼을 이용할 수도 있다.

실시예에 따른 센서 필터는 RGB 컬러 필터를 포함할 수 있다. 센서 필터는 선택적으로 IR(Infrared) 컷 필터를 포함할 수 있다.

실시예에서 장치는, 센서 필터의 파장 스펙트럼에서 파라미터들을 학습하기 위한 학습 데이터로 대상 이미지에 대해 시뮬레이션된 로 데이터(Raw Data)를 생성할 수 있다. 이를 위해 파장 별로 고정되는 광원 스펙트럼(Illuminant Spectrum), 대상 이미지의 파장대 별 반사 비율(Object Reflectance) 및 IR 필터 스펙트럼 값에 기초하여 시뮬레이션을 수행할 수 있다.

단계(120)에서 장치는, 시뮬레이션된 이미지를 미리 정해진 비전 태스크를 위한 비전 모델로 입력하여 출력 값을 획득한다.

실시예에서, 시뮬레이션된 복수의 이미지들은 비전 모델로 입력되어 비전 태스크가 수행될 수 있다. 비전 모델은 예컨대, 엣지 검출을 위한 비전 모델, 분류(segmentation)를 위한 비전 모델, 객체 검출을 위한 비전 모델, 얼굴 인식을 위한 비전 모델, 수퍼 레졸루션(super resolution)을 위한 비전 모델 등 다양한 비전 모델이 적용될 수 있으며, 하나 이상의 비전 태스크를 위한 비전 모델이 적용될 수 있다.

복수의 비전 모델이 포함되는 경우, 시뮬레이션된 이미지의 입력에 대응하여 복수의 비전 모델이 병렬적으로 동작할 수 있다.

일실시예에서, 장치는 시뮬레이션된 이미지들을 비전 모델로 입력하기 이전에 전처리(Pre-processing) 과정을 거칠 수 있다.

노이즈가 많은 이미지에 대해 노이즈가 제거될 수 있고, 이미지의 수치가 0-255 사이의 값을 갖도록 표준화하는 작업이 수행될 수 있고, 하이 다이나믹 레인지(High Dynamic Range, HDR) 알고리즘이 적용될 수 있고, 비전 모델로 지원하기 위해 시뮬레이션된 이미지의 사이즈가 조절될 수 있고, 또는 시뮬레이션된 이미지에Image Signal Processing(ISP)가 수행될 수 있다.

실시예에서, 시뮬레이션된 이미지들이 그대로 비전 모델로 입력되거나, 상기 설명된 전처리 과정 중 적어도 하나를 거쳐 보정된 이미지들이 비전 모델로 입력되고, 비전 모델로부터 출력 값을 획득할 수 있다.

단계(130)에서 장치는, 비전 모델의 레이블과 비전 모델의 출력 값 사이의 로스가 감소하도록 상기 센서 필터의 파라미터를 학습한다.

실시예에서, 비전 태스크에 의해 비전 모델에서 각각의 결과 값을 출력했을 때, 비전 모델의 레이블(혹은 그라운드 트루스) 값과 시뮬레이션된 이미지의 입력에 대응한 비전 모델의 출력 사이의 로스(Loss)가 발생할 수 있다.

실시예에서는 비전 태스크 별로 최적화 방향에서 성능을 높이기 위해 결과를 출력하는 비전 모델 각각에 다른 형태의 로스가 적용될 수 있다. 예컨대, 일반적인 L1 로스, L2 로스가 이용되거나, 다른 방식으로 계산된 로스가 이용될 수 있다.

장치는 비전 모델의 레이블 값과 시뮬레이션된 이미지의 비전 모델의 출력 값 사이의 로스가 감소하도록 센서 필터의 스펙트럼에 대응하는 파라미터 값을 학습할 수 있다. 이때, 장치는 센서 필터의 파라미터에 더불어 비전 모델의 파라미터를 동시에 학습할 수 있다.

실시예에 따른 학습 방법은, 두 파라미터에 대해서 반복적인 학습함으로써 최적화하는 딥러닝 방법론이 적용될 수 있다. 비전 모델 내부 파라미터를 계속적으로 업데이트하는 방법론에 따라 비전 모델의 파라미터 및 센서 필터의 파라미터가 학습될 수 있다. 예컨대, 각각의 블록들이 미분 가능하도록 경사 하강법(Gradient Descent)을 적용하거나 강화 학습, 그리드 서치 등의 방법을 적용하는 등 다양한 최적화 방법이 적용될 수 있다. 센서 필터의 파라미터를 학습하는 데에 있어서, 센서 필터는 복수개의 채널로 구성될 수 있으며, 각각의 채널을 분리하여 각 채널에 대해서 스펙트럼 별로 파라미터가 학습될 수 있다. 예컨대, 일반적인 RGB의 3채널로 구성될 수 있고, 그 이상의 채널 수로 구성될 수도 있다. 실시예에서, 미리 정해진 사이클 횟수대로 또는 로스가 미리 정해진 타깃에 도달하기까지 학습이 이루어질 수 있다.

실시예에 따른 로스는 아래의 수학식의 로스 함수에 기초하여 계산될 수 있습니다.

[수학식 1]

수학식 1은 엣지 검출의 비전 태스크를 수행하기 위한 비전 모델에 대해 센서 필터의 파라미터를 최적화하기 위한 로스 함수를 표현한 예시이다.

여기서, Q는 센서 필터 및 IR cut 필터 값을 곱한 값, C는 광원 및 대상 이미지의 반사 비율의 곱한 값, N은 노이즈, M은 센서 필터 값에서 특정 표준 공간(예컨대, x, y, z로 이루어진 공간 등)으로 맵핑하기 위한 변환 매트릭스로, 영상 결합을 위한 설정 파라미터에 해당한다. X는 CIE XYZ 색 공간이 정규화된 값을 의미한다. C^TQ는 시뮬레이션된 로 데이터를 의미할 수 있다.

상기의 수학식 1에서, #1 텀은 L2 로스를 최소화되는 Q 및 M의 값을 도출하기 위한 것으로, 인체의 색채 인지에 기반한 색 공간을 기준으로 하는 시뮬레이션된 이미지의 로스를 최소화하기 위한 것으로, 실제 시각적으로 센서 필터에 의해 RGB가 표현되는 정도를 결정하기 위한 텀에 해당한다.

실시예에 따른 #2 텀은 엣지 검출을 위한 비전 태스크의 성능을 위한 텀으로, 실제로 추정된 엣지의 레이블과의 차이를 최소화하기 위한 텀에 해당한다.

f1은 엣지를 생성하기 위한 컨볼루션 뉴럴 네트워크, f2는 레이블을 생성하는 함수이고, 31개에 해당하는 스펙트럼 각각에 대해서 모두 엣지가 검출되고, 레이블이 생성될 수 있다.

실시예에서, 둘 이상의 비전 태스크를 위한 비전 모델의 파라미터가 학습되는 경우, #2 텀에 비전 태스크를 위한 함수가 추가되어 계산될 수 있다. 예컨대, 제1 비전 태스크를 위한 함수와 제2 비전 태스크를 위한 함수가 #2 텀에서 동시에 학습될 수 있다.

#3은 센서 필터의 각 채널에 대해서 시뮬레이션된 이미지의 변곡에 기반한 정규화 로스를 최소화하기 위한 것으로, 도출된 파라미터 간의 경사 등, 센서 필터의 굴곡을 보정하기 위한 텀에 해당한다.

실시예에서, RGB 값이 시각적으로 표현되는 데에 중요도가 낮을 경우, #1 텀을 생략할 수 있고, 엣지 검출 이외에 다른 비전 태스크를 위한 비전 모델이 적용되는 경우, #2에 해당 비전 모델을 위한 텀이 로스 함수에 추가될 수 있다.

상기의 예시와 같이 비전 태스크에 따라 로스 함수를 설계하고, 로스 함수의 결과에 기초하여 센서 필터 스펙트럼 및 비전 모델의 파라미터를 학습할 수 있다.

도 2는 실시예에서, 이미지를 시뮬레이션하는 방법을 설명하기 위한 것이다.

실시예에 있어서, 센서 필터 및 비전 모델의 파라미터를 학습하기 위해 비전 모델로 입력된 이미지 로 데이터를 획득하기 위해 시뮬레이션을 수행할 수 있다.

센서 필터 스펙트럼, 광원 스펙트럼(Illuminant) 및 대상 이미지의 파장대 별 반사 비율(Object Reflectance)을 입력으로 하여 이미지 시뮬레이션을 수행할 수 있다. 여기서, 광원 스펙트럼 및 대상 이미지의 파장대 별 반사 비율은 스펙트럼에 대응하여 고정 값이며, IR cut 필터는 고정 값이 될 수 있고 또는 학습 대상에 포함될 수 있다.

파장대 별 반사 비율은 HIS(hyperspectral imaging, 하이퍼스펙트럴 이미지) 장치로 획득할 수 있고, 또는 기존의 RGB센서나, CMY(Cyan, Magenta, Yellow) 센서 등으로 촬영한 영상을 하이퍼스펙트럴 이미지로 변환하는 모델을 사용하여 획득할 수 있다.

광원 스펙트럼은 D50, D65, A등의 표준 광원 정보를 사용할 수 있고, 또는 임의의 합성 스펙트럼(Synthetic Spectrum)을 사용할 수 있다. 해당 광원 스펙트럼의 강도(Intensity) 값을 조절하여 광원의 밝기를 설정할 수 있다.

도 3는 실시예에서, 센서 필터의 파라미터 및 비전 모델의 파라미터를 학습하는 방법을 설명하기 위한 도면이다.

실시예에 따른 방법은, 전처리 과정을 생략할 수 있다.

단계(301)에서 장치는, 센서 필터의 스펙트럼 파라미터 및 비전 모델의 파라미터의 초기 값을 입력할 수 있다. 센서 필터의 파라미터 및 비전 모델의 파라미터가 디폴트 값으로 설정되거나, 랜덤한 값으로 설정될 수 있다.

단계(302)에서 장치는, 센서 필터를 이용하여 이미지의 시뮬레이션을 수행할 수 있다.

실시예에서, 파장 별로 고정되는 광원 스펙트럼(Illuminant Spectrum), 대상 이미지의 파장대 별 반사 비율(Object Reflectance) 및 IR 필터 스펙트럼 값에 기초하여 시뮬레이션을 수행할 수 있다.

고정되는 스펙트럼 값은 앞서 도 2를 통해 설명된 바와 같이 결정될 수 있고, 디폴트 값 또는 랜덤 값으로 설정된 센서 필터에 대한 학습을 수행하여, 센서 필터 스펙트럼에 대응하여 시뮬레이션된 로 데이터(Raw Data)를 획득할 수 있다.

단계(303)에서 장치는, 시뮬레이션된 이미지를 이용하여 비전 태스크를 수행할 수 있다.

실시예에 따른 비전 태스크는 엣지 검출, 분류, 객체 검출을 포함하고, 이를 위해 각각의 태스크를 수행하기 위한 비전 모델이 병렬적으로 포함될 수 있다.

비전 모델은 기존의 컴퓨터 비전 알고리즘과 CNN(Convolutional Neural Network) 및 트랜스포머 네트워크(Transformer Network) 등을 포함할 수 있다. 비전 모델은 초기에 설정된 파라미터에 기초하여 비전 태스크에 맞는 결과 값을 출력할 수 있다.

단계(304)에서 장치는, 비전 모델의 레이블과 비전 모델의 출력 값을 비교하여 로스를 계산할 수 있다.

실시예에서, 장치는 비전 모델의 데이터 셋의 그라운드 트루스(Ground Truth)에 해당하는 레이블과 출력한 결과 값의 차이를 계산하며, 이때, L1 로스(LAD: Least Absolute Deviations), L2 로스(MSE: Mean Square Error) 등 비전 태스크의 성능을 평가하기에 적합한 수치를 선택하여 로스를 계산하는 데에 사용할 수 있다. 비전 모델의 레이블은 비전 모델을 학습하기 위한 데이터에 대한 레이블을 의미할 수 있다.

계산된 로스가 미리 정해진 타깃 값 보다 높을 경우, 로스가 감소하는 방향으로 센서 필터 스펙트럼과 비전 모델 각각의 파라미터에 대해 업데이트를 반복할 수 있다.

실시예에서 학습된 파라미터에 기초하여 센서 필터 스펙트럼의 파라미터 값 및 비전 모델의 파라미터 값이 결정될 수 있다.

앞서 설명하다시피, 센서 필터는 적어도 복수개의 채널로 구성되며 각각의 채널에 대응하는 스펙트럼이 학습될 수 있다. 실시예에서, 다 채널의 필터를 하나의 필터로 구현하기 위해, 장치는 센서 필터를 구성하는 채널 간의 엣지를 미분을 이용하여 보정할 수 있다.

도 4는 실시예에서, 전처리 과정을 포함하는 센서 필터의 파라미터 학습 방법을 설명하기 위한 도면이다.

단계(401)에서 장치는, 센서 필터의 스펙트럼 파라미터 및 비전 모델의 파라미터의 초기 값을 입력할 수 있다. 센서 필터의 파라미터 및 비전 모델의 파라미터가 디폴트 값으로 설정되거나, 랜덤한 값으로 설정될 수 있다.

단계(402)에서 장치는, 센서 필터를 이용하여 이미지의 시뮬레이션을 수행할 수 있다.

실시예에서, 파장 별로 고정되는 광원 스펙트럼(Illuminant Spectrum), 대상 이미지의 파장대 별 반사 비율(Object Reflectance) 및 IR 필터 스펙트럼 값에 기초하여 각각 시뮬레이션을 수행할 수 있다.

단계(403)에서 장치는, 시뮬레이션된 이미지에 대해서 전처리를 수행할 수 있다.

장치는, 시뮬레이션된 이미지가 해당하는 비전 태스크에 맞도록 입력 데이터에 변화를 줄 수 있다. 예컨대, Image Signal Processing(ISP)을 수행하거나, 노이즈를 제거하거나, 시뮬레이션된 이미지를 정규화(normalization)할 수 있고, 시뮬레이션된 이미지에 HDR 처리를 하거나 이미지의 사이즈를 조절할 수도 있다. 상기 나열된 전처리 과정은 비전 태스크 각각에 대응하여 병렬적으로 수행되도록 사용 선택이 가능하다.

단계(404)에서 장치는, 시뮬레이션된 이미지를 이용하여 비전 태스크를 수행할 수 있다.

실시예에 따른 비전 태스크는 엣지 검출, 분류, 객체 검출을 포함하고, 이를 위해 각각의 태스크를 수행하기 위한 비전 모델이 병렬적으로 포함될 수 있다.

비전 모델은 기존의 컴퓨터 비전 알고리즘과 CNN(Convolutional Neural Network) 및 트랜스포머 네트워크(Transformer Network) 등을 포함할 수 있다. 비전 모델은 초기에 설정된 파라미터에 기초하여 비전 태스크에 맞도록 전처리된 이미지의 입력에 대응하는 결과 값을 출력할 수 있다.

단계(405)에서 장치는, 비전 모델의 레이블과 비전 모델의 출력 값을 비교하여 로스를 계산할 수 있다.

실시예에서, 장치는 비전 모델의 데이터 셋의 레이블과 비전 모델로부터 출력된 결과 값의 차이를 계산하며, 이때, L1 로스(LAD: Least Absolute Deviations), L2 로스(MSE: Mean Square Error) 등 비전 태스크의 성능을 평가하기에 적합한 수치를 선택하여 로스를 계산하는 데에 사용할 수 있다.

계산된 로스가 미리 정해진 타깃 값 보다 높을 경우, 로스가 감소하는 방향으로 센서 필터 스펙트럼과 비전 모델 각각의 파라미터에 대해 업데이트를 반복할 수 있다.

실시예에서 학습된 파라미터에 기초하여 센서 필터 스펙트럼의 파라미터 값 및 비전 모델의 파라미터 값이 결정될 수 있다.

실시예에 따른 센서 필터 학습 과정에서 전처리 및 비전 태스크는 도 3 및 도4에 나열된 바와 같이 다양한 조합으로 구성될 수 있다. 다양한 시나리오에 따른 실시 예를 나타낸다.

예컨대, 한 가지의 비전 태스크가 포함된 경우, 비전 태스크의 출력(ex: Edge Map)의 정확도를 높이는 방향으로 센서 필터와 비전 모델의 파라미터를 최적화할 수 있다.

도 3과 같이 여러 가지의 비전 모델(ex: Edge Detection, Segmentation, Object Detection)을 동시에 포함된 경우, 센서 영상의 입력을 여러 비전 모델에서 동시에 입력 받아 병렬적으로 처리하여 값을 출력할 수 있고, 해당하는 모든 비전 태스크에 대한 로스를 각각 측정할 수 있고, 로스를 감소시키는 방향으로 센서 필터와 여러 비전 모델의 파라미터를 같이 학습하여 최적화할 수 있다.

도 4에서는 복수의 비전 모델(ex: Edge Detection, Segmentation, Object Detection)을 동시에 적용하면서 해당 비전 태스크들의 입력을 위한 전처리(ex: ISP) 가 포함되어 있다. 전처리 된 이미지를 여러 비전 모델에서 동시에 입력 받아 처리하여 값을 출력하며, 이 때 모든 비전 태스크에 대한 로스 뿐만 아니라 전처리 출력 결과에 대한 로스도 동시에 측정함으로써 센서 필터 및 비전 모델의 파라미터를 같이 학습할 수 있다.

도 5는 실시예에서, 학습된 파라미터로 설계된 센서 필터를 포함하는 이미지 처리 장치의 구조를 설명하기 위한 도면이다.

이미지 처리 장치(500)는 메모리(510), 하나 이상의 프로세서(530) 및 센서 필터(550)를 포함하고, 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함할 수 있다.

여기서, 센서 필터(550)는. 앞서 도 1 내지 도 4를 통해 설명된 센서 필터의 파라미터 학습 방법에 기초하여, 스펙트럼 별로 시뮬레이션된 이미지들에 대한 비전 모델의 비전 태스크 출력 값을 이용하여 학습된 파라미터로 설계된 것에 해당할 수 있다.

이에, 이미지 처리 장치(500)는 프로그램에 의해, 센서 필터로 대상 이미지를 촬영하고, 촬영된 영상을 미리 정해진 비전 태스크를 위한 비전 모델로 입력하여 비전 태스크에 대응하는 결과를 획득할 수 있다.

비전 태스크에 최적화된 센서 필터의 스펙트럼은, 센서 필터 스펙트럼과 비전 태스크를 위한 비전 모델의 신호 처리부를 반복적으로 업데이트함으로써 도출될 파라미터를 가질 수 있다.

여기서, 컬러 필터 스펙트럼은 3채널 또는 3채널이 이상일 수 있다. 비전 모델의 신호 처리부는 비전 태스크에 대한 알고리즘으로 컨볼루셔널 컴퓨터 비전 알고리즘(Conventional Computer Vision Algorithm 및 신경망으로 구성될 수 있다.

비전 모델은 예컨대, 엣지 검출을 위한 비전 모델, 분류(segmentation)를 위한 비전 모델, 객체 검출을 위한 비전 모델, 얼굴 인식을 위한 비전 모델, 수퍼 레졸루션(super resolution)을 위한 비전 모델 등 다양한 비전 모델이 적용될 수 있으며, 하나 이상의 비전 태스크를 위해 파라미터가 학습된 비전 모델에 대해 적용될 수 있다.

도 6은 실시예에 따라 학습된 파라미터에 대한 예시를 설명하기 위한 도면이다.

도 6(a)는 RGB 채널에 대해 파라미터가 학습된 스펙트럼에 대한 그래프이고, 도 6(b)는 단색(monochrome) 필터의 예시이고, 도 6(c)는 엣지가 보정된 컬러 필터의 스펙트럼에 대한 그래프이다.

도 6(a) 내지 도 6(c)는 엣지 검출의 특정 비전 태스크를 위한 센서 필터 최적화 과정과 그 최적화한 결과 센서 필터를 나타낸다. 다양한 텍스쳐를 가지는 대상 이미지에서 HPI 시스템을 사용하여, 객체에 대한 반사 이미지를 넓은 영역의 파장대와, 높은 파장 해상도로 획득할 수 있다.

표준 광원(ex: D50, D65 Illuminants)과 초기 센서 필터 스펙트럼을 사용하여 센서 영상을 시뮬레이션 할 수 있다. 센서 영상을 엣지 검출 신경망 모델에 입력을 하고 엣지 맵을 출력할 수 있다. 그라운드 트루스(Ground Truth)는 하이퍼 스펙트럴 영상의 모든 단파장대에서 가지는 엣지의 총 합으로 하였으며, 그라운드 트루스 대비 출력되는 엣지의 차이를 로스로 정의하고, 이를 감소하는 방향으로 엣지 검출 신경망 모델과 센서 필터 스펙트럼을 업데이트한다. 실시예의 필터들은 L1 Loss 와 경사 하강법의 최적화 방법을 사용한 것이다.

해당 필터들은 실제 이미지에 적용 시, 도 6(a), 도 6(b)의 센서 필터에 대비하여 도 6(c)가 파장대 별 더 변화가 많다. 이는 제한된 센서 채널(ex: 3ch)에서 Object Reflectance를 파장대별 최대한 구분하기 위한 것으로 해석 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (15)

1. 센서 필터의 스펙트럼 별로 대상 이미지에 대해 각각 시뮬레이션하는 단계;
   상기 시뮬레이션된 이미지를 미리 정해진 비전 태스크를 위한 비전 모델로 입력하여 출력 값을 획득하는 단계; 및
   상기 비전 모델의 레이블과 상기 비전 모델의 출력 값 사이의 로스에 기초하여 상기 센서 필터의 파라미터를 학습하는 단계
   를 포함하는,
   센서 필터 파라미터의 학습 방법.
   
2. 제1항에 있어서,
   상기 센서 필터의 파라미터를 학습하는 단계는,
   제2 비전 모델의 제2 레이블과 상기 출력 값 사이의 로스;
   인체의 색채 인지에 기반한 색 공간을 기준으로 하는 상기 시뮬레이션된 이미지의 로스; 및
   상기 시뮬레이션된 이미지의 변곡에 기반한 정규화 로스
   중 적어도 하나에 더 기초하여 상기 센서 필터의 파라미터를 학습하는 단계
   를 포함하는,
   센서 필터 파라미터의 학습 방법.
   
3. 제1항에 있어서,
   상기 센서 필터의 파라미터를 학습하는 단계는,
   상기 비전 모델의 레이블과 상기 비전 모델의 출력 값 사이의 로스가 감소하도록 상기 센서 필터의 파라미터와 상기 비전 모델의 파라미터를 함께 학습하는 단계
   를 포함하는,
   센서 필터 파라미터의 학습 방법.
   
4. 제3항에 있어서,
   상기 센서 필터의 파라미터와 상기 비전 모델의 파라미터를 함께 학습하는 단계는,
   상기 로스에 대응하여 상기 센서 필터 및 상기 비전 모델의 파라미터를 수정하는 단계;
   상기 수정된 센서 필터의 파라미터에 기초하여 상기 대상 이미지에 대해 2차 시뮬레이션하는 단계;
   상기 2차 시뮬레이션된 이미지를 상기 파라미터가 수정된 비전 모델로 입력하여 출력 값을 획득하는 단계; 및
   상기 파라미터가 수정된 비전 모델의 레이블과 해당 비전 모델의 출력 값 사이의 로스를 계산하는 단계
   를 포함하는,
   센서 필터 파라미터의 학습 방법.
   
5. 제1항에 있어서,
   상기 센서 필터의 파라미터를 학습하는 단계는,
   상기 센서 필터를 구성하는 채널들 각각에 해당하는 스펙트럼의 값을 학습하는 단계
   를 포함하는,
   센서 필터 파라미터의 학습 방법.
   
6. 제1항에 있어서,
   상기 비전 모델은,
   엣지 검출을 위한 비전 모델;
   분류(segmentation)를 위한 비전 모델;
   객체 검출을 위한 비전 모델;
   얼굴 인식을 위한 비전 모델; 및
   수퍼 레졸루션(super resolution)을 위한 비전 모델
   중 적어도 하나를 포함하는,
   센서 필터 파라미터의 학습 방법.
   
7. 제1항에 있어서,
   상기 출력 값을 획득하는 단계는,
   상기 비전 태스크에 대응하도록 상기 시뮬레이션된 이미지를 전처리하는 단계
   를 포함하는,
   필터 파라미터의 학습 방법.
   
8. 제7항에 있어서,
   상기 전처리하는 단계는,
   상기 시뮬레이션된 이미지의 노이즈를 제거하는 단계;
   상기 시뮬레이션된 이미지를 정규화(normalization)하는 단계;
   상기 시뮬레이션된 이미지에 HDR 처리하는 단계; 및
   상기 시뮬레이션된 이미지의 사이즈를 조절하는 단계
   중 적어도 하나를 포함하는,
   필터 파라미터의 학습 방법.
   
9. 제1항에 있어서,
   상기 대상 이미지에 대해 각각 시뮬레이션하는 단계는,
   광원 스펙트럼(Illuminant Spectrum) 및 상기 대상 이미지의 파장대 별 반사 비율(Object Reflectance)에 기초하여 시뮬레이션하는 단계
   를 포함하는,
   필터 파라미터의 학습 방법.
   
10. 하드웨어와 결합되어 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
    
11. 미리 정해진 비전 모델 기반의 이미지 처리 장치에 있어서,
    상기 비전 모델에 특화되어 서로 다른 스펙트럼 별 인텐시티 특성을 가지도록 설계된 복수의 필터들을 포함하는 센서 필터;
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되어 있으며 상기 하나 이상의 프로세서에 의하여 실행되도록 구성되는 하나 이상의 프로그램을 포함하고,
    상기 프로그램은,
    상기 센서 필터를 이용하여 촬영된 대상 이미지를 수신하는 단계; 및
    상기 수신된 영상을 상기 비전 모델로 입력하여 상기 비전 모델 기반의 비전 태스크에 대응하는 결과를 획득하는 단계
    를 포함하는,
    이미지 처리 장치.
    
12. 제11항에 있어서,
    상기 비전 모델의 파라미터는,
    상기 센서 필터의 파라미터와 함께 학습된,
    이미지 처리 장치.
    
13. 제11항에 있어서,
    상기 센서 필터는,
    상기 센서 필터의 스펙트럼에 별로 대상 이미지에 대해 각각 시뮬레이션된 이미지를 미리 정해진 비전 태스크를 위한 비전 모델로 입력하여 출력 값을 획득하여, 상기 비전 모델의 레이블과 상기 비전 모델의 출력 값 사이의 로스가 감소하도록 파라미터가 학습된,
    이미지 처리 장치.
    
14. 제11항에 있어서,
    상기 비전 모델은,
    엣지 검출을 위한 비전 모델;
    분류(segmentation)를 위한 비전 모델;
    객체 검출을 위한 비전 모델;
    얼굴 인식을 위한 비전 모델; 및
    수퍼 레졸루션(super resolution)을 위한 비전 모델
    중 적어도 하나를 포함하는,
    이미지 처리 장치.
    
15. 제11항에 있어서,
    상기 센서 필터의 복수의 필터들은,
    상기 비전 모델의 레이블과 상기 비전 모델의 출력 값 사이의 로스에 기초하여 상기 센서 필터의 파라미터와 상기 비전 모델의 파라미터가 함께 학습된 파라미터에 기초하여 설계되는,
    이미지 처리 장치.

Images