KR102350164B1 - 멀티스펙트럴 이미징 변환 방법 - Google Patents

Abstract

본 발명에 따른 멀티스펙트럴 이미지 변환 방법은 촬영장치의 RGB에 대한 파장 특성 데이터로부터 일정 간격의 n개(n은 3이상의 자연수)의 파장별로 RGB 성분비 벡터를 테이블화 하여 파장별 RGB 성분비 벡터 테이블을 준비하는 제1 단계; 상기 촬영장치를 이용하여 RGB 이미지를 촬영하는 제2 단계; 상기 RGB 이미지의 각 픽셀에 대하여 RGB 노멀라이징하여 RGB 비율을 산출하는 제3 단계; 및 상기 RGB 이미지의 각 픽셀의 RGB 비율에 대하여 상기 n개의 파장별 RGB 성분비 벡터를 내적하여 파장별 이미지를 생성하는 제4 단계;를 포함한다.
본 발명에 따른 멀티스펙트럴 이미징 기능을 갖는 촬영장치의 경우 저렴한 RGB 카메라 또는 RGB 적외선 카메라를 이용하여 멀티스펙트럴 이미지를 획득할 수 있도록 한다.

Description

멀티스펙트럴 이미징 변환 방법{Multispectral imaging conversion method}

본 발명은 멀티스펙트럴 이미징 변환 방법에 관한 것이다.

인간은 380nm 내지 780nm의 가시광선 영역에서 시각적으로 인식할 수 있다. 기존 컬러 카메라는 적색(R), 녹색(G), 청색(B)의 삼원색에 감광하는 사람의 눈을 따라 제작되었으며, 3개의 채널을 통하여 물체의 반사되는 빛을 감지하게 된다.

이에 비하여 멀티스펙트럴 카메라는 더 많은 스펙트럼 채널을 촬영함으로써 물체의 자세한 정보를 획득할 수 있으며, 색정보 이외의 추가정보를 얻을 수 있다.

이러한 멀티스펙트럴 카메라는 다양한 파장에서의 이미지를 획득함으로써 인간의 육안으로는 확인할 수 없는 영상을 촬영하고 인식할 수 있도록 한다.

다만, 다양한 파장별 필터를 이용하여 촬영을 수행하는 멀티스펙트럴 카메라는 매우 고가의 장비에 속하여 다양한 분야에 활용하기에는 한계가 있다.

본 발명은 상대적으로 저렴한 RGB 카메라 또는 RGB 적외선 카메라를 이용하여 멀티스펙트럴 이미지를 획득할 수 있는 장치를 제공하는데 그 목적이 있다.

본 발명에 따른 멀티스펙트럴 이미지 변환 방법은 상기 촬영장치의 RGB에 대한 파장 특성 데이터로부터 일정 간격의 n개(n은 3이상의 자연수)의 파장별로 RGB 성분비 벡터를 테이블화 하여 파장별 RGB 성분비 벡터 테이블을 준비하는 제1 단계; CCD 및 CMOS 중 어느 하나의 타입의 촬영장치를 이용하여 RGB 이미지를 촬영하는 제2 단계; 상기 RGB 이미지의 각 픽셀에 대하여 RGB 노멀라이징하여 RGB 비율을 산출하는 제3 단계; 및 상기 RGB 이미지의 각 픽셀의 RGB 비율에 대하여 상기 n개의 파장별 RGB 성분비 벡터를 내적하여 파장별 이미지를 생성하는 제4 단계;를 포함한다.

또한 상기 제4 단계에서, 상기 파장별 RGB 성분비 벡터 테이블에 상기 제1 내지 제n 파장 RGB 성분비 벡터가 구비되는 것을 가정할 때, k (k는 1≤ k ≤ 인 자연수) 번째 파장에 대한 이미지는 상기 RGB 이미지에 속하는 각 픽셀의 RGB 성분비와 상기 k번째 파장 RGB 성분비 벡터를 내적하여 산출될 수 있다.

또한 상기 파장별 RGB 성분비 벡터 테이블로부터 상기 RGB 이미지 중 특정 픽셀의 RGB 비율과 일치하거나 근사치에 속하는 벡터를 조회하여 상기 픽셀에서 최대값을 갖는 파장을 산출하는 단계를 포함할 수 있다.

또한 상기 특정 픽셀의 RGB비율과 근사치의 값이 상기 파장별 RGB 성분비 벡터 테이블로부터 복수개 검색되는 경우 최대값을 갖는 파장은 상기 RGB 비율과 상기 RGB 성분별 비율 벡터의 내적값이 최대인 파장으로 결정할 수 있다.

또한 상기 RGB 성분비 벡터 테이블은 400nm 내지 800nm의 대역에서 결정될 수 있다.

본 발명에 따른 멀티스펙트럴 이미징 기능을 갖는 촬영장치의 경우 저렴한 RGB 카메라 또는 RGB 적외선 카메라를 이용하여 멀티스펙트럴 이미지를 획득할 수 있도록 한다.

도 1은 촬영된 RGB 이미지와 이에 대응하는 복수의 파장별 이미지를 나타내는 사진이다.
도 2는 일 실시예에 따른 멀티스펙트럴 이미징 변환장치를 나타내는 블록도이다.
도 3은 일 실시예에 따른 멀티스펙트럴 이미징 변환방법을 나타내는 순서도이다.
도 4는 RGB 및 NIR 센서를 구비하는 촬영장치의 특성의 일 예를 나타내는 그래프이다.
도 5는 RGB 센서를 구비하는 촬영장치의 RGB에 대한 파장 특성 벡터 테이블의 일 예를 나타내는 표이다.
도 6은 일 실시예에 따른 RGB 이미지와 특정 픽셀에 대한 파장별 세기를 나타내는 그래프이다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 특별한 정의나 언급이 없는 경우에 본 설명에 사용하는 방향을 표시하는 용어는 도면에 표시된 상태를 기준으로 한다. 또한 각 실시예를 통하여 동일한 도면부호는 동일한 부재를 가리킨다. 한편, 도면상에서 표시되는 각 구성은 설명의 편의를 위하여 그 두께나 치수가 과장될 수 있으며, 실제로 해당 치수나 구성간의 비율로 구성되어야 함을 의미하지는 않는다.

도 1은 촬영된 RGB 이미지와 이에 대응하는 복수의 파장별 이미지를 나타내는 사진이다. 도 1에 도시된 바와 같이 하나의 이미지는 복수의 파장별 이미지로 나누어 질 수 있으며, 이러한 파장별 영상을 찍기 위한 장치로서 멀티스펙트럴 카메라 또는 멀티스펙트럴 카메라, 스펙트럼 애널라이저 또는 초분광카메라가 있다. 이하에서는 이러한 고가의 장비없이도 일반적인 RGB 카메라 또는 RGB 적외선 카메라를 이용하여 이러한 파장별 이미지를 생성할 수 있는 방법 및 그 장치를 설명한다.

도 2를 참조하여 멀티스펙트럴 이미징 변환장치를 설명한다. 도 2는 일 실시예에 따른 멀티스펙트럴 이미징 변환장치를 나타내는 블록도이다.

촬영장치(50)로는 CCD 센서 및 COMS 센서가 이용될 수 있으며, 여기에 NIR 센서나 IR 센서가 추가된 촬영장치들이 사용될 수 있다. 촬영장치(50)를 통하여 촬영된 이미지는 해당 이미지를 구성하는 각 픽셀별로 RGB값들이 구비된다. 이 때 각 픽셀들의 RGB값은 예를 들어 흰색 (255, 255, 255)과 검은색(0, 0, 0)과 같이 표시할 수 있다. 한편, 이러한 RGB 값을 노멀라이즈 하는 경우 각 성분비의 합이 1이 되는 벡터값으로 변환하게 된다.

영상변환장치(100)는 카메라 특성 테이블(110), 파장 결정부(120) 및 파장별 영상형성부(130)를 포함한다.

카메라 특성 테이블(110)에는 RGB 카메라 즉, 촬영장치의 제조사로부터 제공되는 RGB에 대한 파장 특성 데이터로부터 일정 간격의 복수의 파장별로 RGB 성분별 비율 벡터를 테이블화 하여 저장한다. 이하에서는 설명의 편의상 카메라 특성 테이블(110)에 저장된 전체 데이터를 "파장별 RGB 성분비 벡터 테이블"이라고 하며, 테이블 내의 파장별로 RGB 성분비를 나타내는 각 벡터를 "RGB 성분비 벡터"라 한다. 즉, 파장별 RGB 성분비 벡터 테이블은 카메라 센서의 응답그래프에 대응하는 것으로서 예를 들어 400nm~800nm 사이의 값으로 결정될 수 있다.

촬영장치(50)는 제조사 별로 도 4에 도시된 바와 같은 각 센서별 파장 특성을 나타내는 그래프 데이터가 제공되며, 이러한 카메라의 특성 그래프는 각 카메라마다 상이한 특성을 갖는다. 이러한 그래프를 이용하여 도 5에 도시된 바와 같은 RGB 별로 각각의 성분을 갖는 파장별 RGB 성분비 벡터 테이블을 준비한다. 이 때 RY, GY, BY 값은 각 파장에 대한 RGB 성분비를 나타내며, (RY, GY, BY)를 RGB 성분비 벡터라 한다.

파장 결정부(120)는 촬영장치(50)에 의하여 촬영된 이미지를 각각의 픽셀별로 최대값을 갖는 파장을 결정한다. 구체적으로, 파장 결정부(120)는 RGB 이미지의 각 픽셀별로 노멀라이징하고, 노멀라이징된 픽셀의 RGB 비율과 대응하는 값을 파장별 RGB 성분비 벡터 테이블로부터 검색하여 특정 픽셀의 RGB 비율에 대응하는 파장을 결정한다. 이 때 픽셀의 RGB 비율과 근사치 또는 일치하는 값이 파장별 RGB 성분비 벡터 테이블로부터 복수개 검색되는 경우 픽셀의 노멀라이즈된 RGB 비율과 각 파장의 RGB 성분비 벡터의 내적값이 최대값을 갖는 파장을 해당 픽셀에서 최대값을 갖는 파장으로 결정할 수 있다.

최대세기를 갖는 파장을 찾는 것은 다양한 활용이 가능하도록 한다. 특정 픽셀의 RGB 비율값으로부터 세가지 최대값에 해당하는 파장을 찾는다면, 해당 픽셀의 주요 파장 대역을 알 수 있으며 이로부터 해당 픽셀이 갖는 색상면에서의 특징을 파악하거나, 주변 픽셀과의 관계에서 관련성이 있는 구역들을 설정하는 데에도 이용이 가능하다. 이러한 방법은 최대값을 찾는 파장의 범위를 가시광선 대역으로 한정하거나 목적에 따라 NIR 또는 IR 대역으로 확장하여 적용하는 것도 가능하다.

파장별 영상형성부(130)는 일정 간격의 복수의 파장별 이미지를 생성한다.

앞서 설명한 바와 같이 촬영장치(40)의 RGB에 대한 파장 특성 데이터로부터 일정 간격의 n개(n은 3이상의 자연수)의 파장별로 RGB 성분비 벡터를 테이블화 하여 파장별 RGB 성분비 벡터 테이블이 준비된다. 파장별 영상형성부(130)는 RGB 이미지의 각 픽셀의 RGB 비율에 대하여 상술한 n개의 파장별 RGB 성분비 벡터를 내적하여 파장별 이미지를 생성한다.

구체적으로 파장별 RGB 성분비 벡터 테이블에 제1 내지 제n 파장 RGB 성분비 벡터가 구비되는 것을 가정할 때, k (k는 1≤ k ≤ 인 자연수) 번째 파장에 대한 이미지는 RGB 이미지에 속하는 각 픽셀의 RGB 성분비와 k번째 파장 RGB 성분비 벡터를 내적하여 산출될 수 있다. 이러한 과정을 1번 파장부터 n번 파장에 대하여 반복하여 각 파장에 대한 이미지를 생성하게 된다.

예를 들면, RGB 성분별 비율 벡터 테이블은 400nm 내지 800nm의 대역에서 1nm 간격으로 결정될 수 있으며, 이 경우 약 400개의 이미지가 형성될 수 있다.

이와 같이 획득된 파장별 이미지들은 다양한 방식으로 활용될 수 있다. 예를 들어, 식물의 이미지를 분석하여 적외선 영역의 파장에 대한 이미지를 관찰하면 습기의 유무 등 육안으로는 확인하기 어려운 정보를 얻을 수 있다.

도 3 내지 도 5를 참조하여 일 실시예에 따른 멀티스펙트럴 이미징 변환방법을 설명한다. 도 3은 일 실시예에 따른 멀티스펙트럴 이미징 변환방법을 나타내는 순서도이다. 도 4는 RGB 및 NIR 센서를 구비하는 촬영장치의 특성의 일 예를 나타내는 그래프이다. 도 5는 RGB 센서를 구비하는 촬영장치의 RGB에 대한 파장 특성 벡터 테이블의 일 예를 나타내는 표이다.

가시광선 대역에서의 특정 파장은 광원으로부터 대상에서 반사되는 빛에 해당하는 것으로 관찰자의 입장에서 인식하는 정보로서 RGB 컬러 비율로 표시할 수 있다. 그러나 이미지 상에서의 특정 픽셀의 RGB 데이터는 단일 파장의 빛일 수도 있지만 대부분은 다양한 파장의 빛이 혼합되어 있다. 따라서 RGB 정보를 특정 파장 데이터로 변환하는 것은 현실적으로는 어렵다.

멀티스펙트럴 카메라의 경우 일정 파장 간격의 밴드패스 필터를 복수개 구비하여 다양한 파장에서의 빛의 정보를 수집함으로써 파장별 빛의 세기 정보, 즉 파장별 이미지를 얻을 수 있다. 그러나 본 실시예에 따른 멀티스펙트럴 이미징 변환 방법에 의하면, RGB 카메라에 의하여 촬영된 이미지로부터 복수의 근사치의 파장별 이미지를 획득할 수 있다.

본 발명에 따른 멀티스펙트럴 이미지 변환 방법은 다음과 같은 프로세스로 수행될 수 있다.

제1 단계(S100)로서, 촬영장치의 RGB에 대한 파장 특성 데이터로부터 일정 간격의 n개(n은 3이상의 자연수)의 파장별로 RGB 성분비 벡터를 테이블화 하여 파장별 RGB 성분비 벡터 테이블을 준비한다.

다음으로 CCD, CMOS 중 어느 하나의 타입의 촬영장치나 NIR 또는 IR 대역이 추가된 타입의 촬영장치를 이용하여 RGB 이미지를 촬영한다(S200).

다음으로 촬영된 RGB(IR, NIR) 이미지의 각 픽셀에 대하여 RGB 노멀라이징하여 RGB 비율을 산출한다(S300). 이어서, RGB 이미지의 각 픽셀의 RGB 비율에 대하여 상술한 n개의 RGB 성분비 벡터를 각각 내적하여 파장별 이미지를 생성한다(S400).

또한 이 과정에서 파장별 RGB 성분비 벡터 테이블로부터 RGB 이미지 중 특정 픽셀의 RGB 비율과 일치하거나 근사치에 속하는 벡터를 조회하여 상기 픽셀에서 최대값을 갖는 파장을 산출하는 단계를 포함할 수 있다. 이 때 특정 픽셀의 RGB비율과 근사치의 값이 파장별 RGB 성분비 벡터 테이블로부터 복수개 검색되는 경우 최대값을 갖는 파장은 RGB 비율과 상기 RGB 성분별 비율 벡터의 내적값이 최대인 파장으로 결정할 수 있다.

즉, 촬영 영상에서 특정 픽셀이 일정한 RGB 비율을 갖는 경우 단일 파장뿐 아니라 다양한 지점에서 유사한 비율을 갖게 될 수 있으며, 복수의 일치하는 대역대가 있으면, 내적(도트 프로덕트)이 최대값을 갖는 파장대를 선정할 수 있다.

도 6을 살펴보면, 마우스 포인터가 가리키는 지점의 픽셀은 RGB 이미지 상에서 살펴보면 녹색을 표시하는 것으로 보인다. 이러한 픽셀의 경우 단색 파장일 수도 있으나, 도 6에 표시된 그래프를 살펴보면, 가시광선 영역에서 548.8 값을 갖는 파장에서 최대치를 갖는 것을 알 수 있다.

본 단계에서는 이와 같은 특정 범위에서 (예를 들면, 가시광선 영역) 최대값을 갖는 파장을 찾는 프로세스라고 할 수 있으며, 앞서 설명한 파장별 이미지를 생성하는 프로세스에서 하나의 픽셀에 대한 내적값을 파장별로 표시하면 도 6의 우측에 표시된 그래프에서와 같이 표시할 수 있다.

이상 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명의 기술적 사상이 상술한 바람직한 실시예에 한정되는 것은 아니며, 특허청구범위에 구체화된 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양하게 구현될 수 있다.

100: 영상변환장치
110: 카메라 특성 테이블
120: 파장 결정부
130: 파장별 영상형성부

Claims (7)

1. 촬영장치의 이미지 센서의 응답그래프의 RGB에 대한 파장 특성 데이터로부터 일정 간격의 n개(n은 3이상의 자연수)의 파장별로 RGB 성분비 벡터를 테이블화 하여 파장별 RGB 성분비 벡터 테이블을 준비하는 제1 단계;
   상기 촬영장치를 이용하여 RGB 이미지를 촬영하는 제2 단계;
   상기 RGB 이미지의 각 픽셀에 대하여 RGB 노멀라이징하여 RGB 비율을 산출하는 제3 단계;
   상기 RGB 이미지의 각 픽셀의 RGB 비율에 대하여 상기 n개의 파장별 RGB 성분비 벡터를 내적하여 파장별 이미지를 생성하는 제4 단계;를 포함하는 멀티스펙트럴 이미징 변환 방법.
2. 제1항에 있어서,
   상기 제4 단계에서,
   상기 파장별 RGB 성분비 벡터 테이블에 상기 제1 내지 제n 파장 RGB 성분비 벡터가 구비되는 것을 가정할 때, k (k는 1≤ k ≤ 인 자연수) 번째 파장에 대한 이미지는 상기 RGB 이미지에 속하는 각 픽셀의 RGB 성분비와 상기 k번째 파장 RGB 성분비 벡터를 내적하여 산출되는 멀티스펙트럴 이미징 변환 방법.
3. 제1항에 있어서,
   상기 파장별 RGB 성분비 벡터 테이블로부터 상기 RGB 이미지 중 특정 픽셀의 RGB 비율과 일치하거나 근사치에 속하는 벡터를 조회하여 상기 픽셀에서 최대값을 갖는 파장을 산출하는 단계를 포함하는 멀티스펙트럴 이미징 변환 방법.
4. 제3항에 있어서,
   상기 특정 픽셀의 RGB비율과 근사치의 값이 상기 파장별 RGB 성분비 벡터 테이블로부터 복수개 검색되는 경우 최대값을 갖는 파장은 상기 RGB 비율과 상기 RGB 성분비 벡터의 내적값이 최대인 파장으로 결정하는 멀티스펙트럴 이미징 변환 방법.
5. 제1항에 있어서,
   상기 RGB 성분비 벡터 테이블은 400nm 내지 800nm의 대역에서 결정되는 멀티스펙트럴 이미징 변환 방법.
6. 제1항에 있어서,
   상기 촬영장치는 CCD 및 CMOS 중 어느 하나의 이미지 센서를 포함하는 멀티스펙트럴 이미징 변환 방법.
7. 제6항에 있어서,
   상기 CCD 및 CMOS는 가시광선 대역, 근적외선 대역 및 적외선의 일부 대역을 포함하는 이미지를 촬영하는 멀티스펙트럴 이미징 변환 방법.
   

Images