KR100914961B1

KR100914961B1 - 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템

Info

Publication number: KR100914961B1
Application number: KR1020080007228A
Authority: KR
Inventors: 이석한; 류문욱; 김대식
Original assignee: 성균관대학교산학협력단
Priority date: 2008-01-23
Filing date: 2008-01-23
Publication date: 2009-09-02
Also published as: KR20090081253A; US7957639B2; US20090185800A1; USRE48595E1

Abstract

본 발명은 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템에 관한 것으로, 투사 수단에서 대상 물체로 패턴을 조사하고 상기 패턴을 영상 촬영 수단으로 획득하여 3차원 데이터를 복원하는 등 대상 물체 관련 정보를 획득하는 구조광 기반 3차원 카메라 시스템에서, 카메라 영상을 분석하여 상기 구조광 기반 3차원 카메라 시스템의 최적 노출을 자동적으로 결정하는 것을 특징으로 한다.

이와 같은 구성을 구비함으로써, 다양한 환경조건의 변화에 따라 패턴을 가장 적절히 판별할 수 있는 최적의 노출레벨을 결정하여 자동으로 카메라의 노출레벨을 조절함으로써, 3차원 데이터의 복원범위 및 신뢰성을 향상시킬 수 있게 된다.

Description

구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템{METHOD AND SYSTEM FOR DETERMINING OPTIMAL EXPOSURE OF STRUCTURED LIGHT BASED 3D CAMERA}

본 발명은 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템에 관한 것으로, 보다 구체적으로는 변화하는 다양한 환경조건에 대해서 자동으로 최적의 노출레벨을 결정하여 카메라의 노출을 조절함으로써, 3차원 데이터의 복원 범위 및 이에 대한 신뢰성을 증가시킬 수 있는 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템에 관한 것이다.

구조광(Structured Light)을 사용하는 3차원 카메라는 스테레오 카메라(Stereo Camera)의 변형으로, 두 개의 동일한 카메라를 사용하는 스테레오 카메라와 달리, 그 중 하나의 카메라를 빔 프로젝터(beam projector)와 같은 투사 수단으로 대신한 구성으로 이루어진다. 이와 같은 구조광 카메라 시스템에서는, 물체에 투사 수단을 이용하여 패턴을 조사한 다음, 패턴이 조사된 물체를 카메라 등과 같은 영상 촬영 수단을 이용하여 촬영하고, 획득된 패턴을 분석하여 3차원 정보를 얻게 된다.

스테레오 카메라 시스템은 수동적으로 영상으로부터의 특징점(feature)만을 이용하는 반면, 구조광 카메라 시스템은 능동적으로 투사 수단으로부터 투사된 패턴을 특징점으로 이용하기 때문에, 높은 처리속도 및 공간 해상도에 강점이 있다. 이러한 장점 때문에, 구조광 카메라 시스템은 물체의 모델링(modeling)/인식(recognition), 3차원 계측(3D ranging), 산업검사(industrial inspection), 리버스 엔지니어링(reverse engineering) 등에 널리 사용되고 있다. 특히 지능형 로봇공학에서는, 홈 서비스 로봇과 같이 작업공간의 모델링을 위해 방대한 양의 3차원 데이터가 필요한 경우, 및 충분한 성질정보가 없거나 배경의 색상 변화가 없는 평이하고 단순한 환경(특징점이 없는 환경)으로부터는 적절한 3차원 정보를 제공할 수 없는 스테레오 카메라 시스템의 한계점 등으로 인하여 구조광 카메라 시스템을 필요로 한다.

구조광 카메라 시스템에서, 3차원 데이터의 정확성은 카메라에 의해 캡쳐된 이미지로부터 프로젝터에 의해 조사된 패턴의 판별에 달려 있다. 그러나, 시시각각 변화하는 실제 환경이나 다양한 물체의 조건하에서 패턴을 판별하는 것은 어려운 일이다. 예컨대, 낮은 반사율을 가진 물체인 경우(검은 천), 투사 수단이 조사한 패턴이 카메라에서 정확히 획득되지 않아 패턴의 구분이 어려운 경우가 발생한다. 반대로 높은 반사율을 가진 물체인 경우(유광 재질의 흰색 물체), 패턴이 물체에 맺히지만 유광 성질로 인해 획득된 영상에서는 패턴들이 번짐 현상(saturation)을 보인다.

일반적으로 위와 같은 현상이 발생하였을 때 구조광 카메라에서는 카메라 조리개를 조절하여 낮은 반사율을 가진 물체가 있는 경우에는 많은 빛을 받을 수 있도록 조절하고, 높은 반사율을 가진 물체가 있는 경우에는 번짐 현상(saturation)을 없애기 위해 제한된 빛의 양을 받도록 조절하여 문제를 해결하였다.

실제 환경에서 패턴 판별의 어려움은 크게 두 종류로 나눠볼 수 있다. 첫째, 실제 환경은 물체의 색상, 재질 등으로 인한 서로 다른 반사율을 가진 다양한 물체들로 이루어져 있기 때문에, 물체에 따라 다른 노출 레벨로 조절해야 하는 어려움이 있다. 둘째는, 조도 환경에 따라 서로 다른 노출 레벨을 필요로 한다. 예컨대, 구조광 카메라가 밝은 환경에서 동작하는 경우와 어두운 환경에서 동작하는 경우는 서로 다른 노출 레벨로 조절되어야 한다.

상술한 바와 같이, 다양한 실제의 환경조건 하에서는 정확한 패턴인식을 위해 적절한 노출 레벨로 조절해야 했으나, 지금까지 구조광 카메라 시스템에 관한 연구는 일정한 주변 광 및 조건을 갖는 고정된 환경조건을 가정하여 수행되었다. 따라서, 서비스 로봇 등에서와 같이 그 임무에 따라 시간, 위치 및 거리변화가 생길 때마다 다양한 광 조건 및 물체의 다양한 컬러, 반사율 등 환경 조건에 다양한 변화가 생길 수 있는 경우에서도, 그 변화에 따라 카메라의 노출레벨을 적절히 조절하여 복원되는 3차원 데이터의 정확성을 도모할 수 있는 기술 개발이 요청되었다.

본 발명은 상기한 바와 같은 문제를 해결하기 위하여 안출된 것으로, 다양한 환경조건의 변화에 따라 패턴을 가장 적절히 판별할 수 있는 최적의 노출레벨을 결정하여 자동으로 카메라의 노출레벨을 조절함으로써, 3차원 데이터의 복원범위 및 신뢰성을 향상시킬 수 있는 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 변화하는 다양한 환경조건에 대하여 최적의 노출을 결정하기 위하여, 노출레벨에 따른 픽셀의 밝기 변화를 예측할 수 있는 특성곡선의 생성방법을 제공하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명에 의한 구조광 기반 3차원 카메라의 최적 노출 결정방법은, 투사 수단에서 대상 물체로 패턴을 조사하고 상기 패턴을 영상 촬영 수단으로 획득하여 3차원 데이터를 복원하는 등 대상 물체 관련 정보를 획득하는 구조광 기반 3차원 카메라 시스템에서, 카메라 영상을 분석하여 상기 구조광 기반 3차원 카메라 시스템의 최적 노출을 자동적으로 결정하는 것을 특징으로 한다.

보다 구체적으로, 상기 구조광 기반 3차원 카메라의 최적 노출 결정방법은, 대상 물체에 대하여 투사 수단에서 패턴을 투사했을 때의 영상과, 투사 수단에서 패턴을 투사하지 않았을 때의 영상을 각각 하나씩 획득하는 제1 단계; 각 영상에서 하나의 동일한 픽셀에 대하여, 해당 픽셀의 컬러 밝기 강도를 레드(R) 밝기 강도, 그린(G) 밝기 강도, 블루(B) 밝기 강도의 세 개 채널로 분리한 후, 각 채널마다 노출레벨의 변화에 따른 픽셀의 밝기 강도의 대응 그래프인 특성곡선을 각각 생성하는 제2 단계; 생성된 각각의 특성곡선을 이용하여 노출레벨의 변화에 따른 해당 픽셀의 밝기 강도(I)를 예측하고, 예측된 밝기 강도를 이용하여 해당 픽셀에 대하여 투사 수단에서 패턴을 투사했을 때와 패턴을 투사하지 않았을 때의 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)을 계산하는 제3 단계; 각 영상의 모든 픽셀에 대하여 상기 제2 내지 제3 단계를 반복 수행하여, 모든 픽셀에 대하여 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 수집하는 제4 단계; 상기 제4 단계에서 수집된 데이터 중에서, 투사 수단에서 패턴을 투사했을 때 번짐 현상(saturation)이 일어난 픽셀 또는 패턴이 투사되지 않은 픽셀을 구분하여, 상기 픽셀에 대한 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터는 제외하는 제5 단계; 및 상기 제5 단계에서 필터링된 픽셀별 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 이용하여, 노출레벨마다 밝기 차이(ΔI) 또는 밝기의 비율(SNR)이 일정 경계치(ΔI_th, SNR_th)를 초과하는 픽셀의 수를 계산하고, 계산된 픽셀의 수가 최대인 노출레벨을 최적 노출레벨로 결정하는 제6 단계를 구비하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위하여 본 발명에 의한 최적 노출 결정 구조광 기반 3차원 카메라 시스템은, 대상 물체로 패턴을 조사하는 투사 수단; 상기 투사 수단에서 조사된 패턴을 촬영하는 영상 촬영수단; 및 영상 촬영수단으로부터 획득된 영상의 패턴을 판별하여 대상 물체에 대한 3차원 데이터를 계산하는 처리 수단을 구비하며, 상기 처리 수단은,

대상 물체에 대하여 투사 수단에서 패턴을 투사했을 때의 영상과, 투사 수단에서 패턴을 투사하지 않았을 때의 영상을 각각 하나씩 획득하는 제1 단계; 각 영상에서 하나의 동일한 픽셀에 대하여, 해당 픽셀의 컬러 밝기 강도를 레드(R) 밝기 강도, 그린(G) 밝기 강도, 블루(B) 밝기 강도의 세 개 채널로 분리한 후, 각 채널마다 노출레벨의 변화에 따른 픽셀의 밝기 강도의 대응 그래프인 특성곡선을 각각 생성하는 제2 단계; 생성된 각각의 특성곡선을 이용하여 노출레벨의 변화에 따른 해당 픽셀의 밝기 강도(I)를 예측하고, 예측된 밝기 강도를 이용하여 해당 픽셀에 대하여 투사 수단에서 패턴을 투사했을 때와 패턴을 투사하지 않았을 때의 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)을 계산하는 제3 단계; 각 영상의 모든 픽셀에 대하여 상기 제2 내지 제3 단계를 반복 수행하여, 모든 픽셀에 대하여 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 수집하는 제4 단계; 상기 제4 단계에서 수집된 데이터 중에서, 투사 수단에서 패턴을 투사했을 때 번짐 현상(saturation)이 일어난 픽셀 또는 패턴이 투사되지 않은 픽셀을 구분하여, 상기 픽셀에 대한 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터는 제외하는 제5 단계; 및 상기 제5 단계에서 필터링된 픽셀별 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 이용하여, 노출레벨마다 밝기 차이(ΔI) 또는 밝기의 비율(SNR)이 일정 경계치(ΔI_th, SNR_th)를 초과하는 픽셀의 수를 계산하고, 계산된 픽셀의 수가 최대인 노출레벨을 최적 노출레벨로 결정하는 제6 단계를 순차로 실행하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위하여 본 발명에 의한 구조광 기반 3차원 카메라 시스템의 특성곡선 생성방법은, 대상 물체에 대하여 투사 수단에서 패턴을 투사했을 때의 영상과, 투사 수단에서 패턴을 투사하지 않았을 때의 영상을 각각 하나씩 획득하는 제1 단계; 상기 제1 단계에서 영상의 획득시에 적용되었던 노출량과, 획득된 각 영상의 동일한 하나의 픽셀에서 측정된 RGB 세 개의 채널에서의 밝기의 강도를, I_R=k_R*E, I_G=k_G*E, I_B=k_B*E (I_R _,G,B: R, G, B 채널에서의 밝기의 강도, k_R _,G,B: 비례상수, E: 노출량)의 식에 각각 입력하여 기울기 k_R _,G,B를 계산하는 제2 단계; 상기 각 식에 다양한 노출량을 입력하여 입력된 노출량에 대한 해당 픽셀의 밝기의 강도를 계산하는 제3 단계; 상기 제3 단계에서 얻어진 데이터를 이용하여 변화하는 노출레벨에 대한 해당 픽셀의 밝기의 강도를 대응시킨 그래프를 생성하는 제4 단계를 구비하는 구성으로 이루어진다.

본 발명의 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템에 의하면, 다양한 환경조건의 변화에 따라 패턴을 가장 적절히 판별할 수 있는 최적의 노출레벨을 결정하여 자동으로 카메라의 노출레벨을 조절함으로써, 3차원 데이터의 복원범위 및 신뢰성을 향상시킬 수 있게 된다.

또한, 본 발명에 의하면, 노출레벨에 따른 픽셀의 밝기의 변화를 예측할 수 있는 특성곡선의 생성방법을 제공함으로써, 변화하는 다양한 환경조건에 대하여 최적의 노출을 결정하기 위하여 다수개의 영상을 획득해야 하는 불편함을 해소할 수 있게 된다.

도 1a 및 도 1b는 조리개와 셔터 스피드 및 노출레벨의 관계를 나타낸 도면,

도 2는 조리개 및 셔터 스피드의 상이한 설정으로 동일한 노출레벨을 만들어 촬영한 영상을 나타낸 도면,

도 3은 본 발명의 실시예에 따른 구조광 기반 3차원 카메라 시스템의 최적 노출 결정방법을 나타내는 순서도,

도 4는 본 발명의 실시예에 따라 최적 노출 결정을 위한 특성곡선의 생성방법을 나타내는 순서도,

도 5a 내지 도 5c는 노출레벨의 변화에 따른 픽셀의 밝기 변화를 측정하여 레드(Red) 채널, 그린(Green) 채널, 및 블루(Blue) 채널로 각각 나타낸 특성곡선,

도 6a 내지 도 6c는 상기 도 5a 내지 도 5c의 특성곡선에서 노출의 각 단계를 대수(logarithm)에서 선형(linear)으로 변환하여 나타낸 도면,

도 7은 본 발명의 실시예에 따라 투사수단의 전원을 껐을 때와 켰을 때의 획득 영상을 각각 나타내는 도면,

도 8a는 도 7의 투사수단의 전원을 껐을 때의 영상에서 두 개의 픽셀에 대하여 생성된 특성곡선을 나타내는 도면, 도 8b는 투사수단의 전원을 켰을 때의 영상에서 도 8a에서와 동일한 지점의 두 개의 픽셀에 대하여 생성된 특성곡선을 나타내는 도면, 도 8c는 도 8a~8b의 특성곡선을 하나의 그래프로 나타낸 도면,

도 9a 및 도 9b는 도 8a~8c의 특성곡선을 이용하여 상기 두 개의 픽셀에 대한 SNR 값을 나타낸 그래프,

도 10은 본 발명의 실시예에 따른 최적노출 조절방법을 채택한 경우와 그렇지 않은 경우에 3차원 데이터 복원범위를 비교한 도면.

이하, 첨부되는 도면을 참조하여 본 발명의 실시예를 보다 구체적으로 설명한다.

먼저, 본 발명의 구성을 구체적으로 기술하기에 앞서, 카메라의 노출(Exposure)에 관한 개념을 간략히 설명한다.

노출(Exposure)

노출은 카메라가 이미지를 캡쳐할 때 사용하는 빛의 양을 의미하며, 노출레벨은 조리개(iris)와 셔터(shutter) 스피드에 의해 조절된다.

조리개는 카메라 렌즈에 위치한 금속 플레이트이며, 그 개폐를 통해 들어오는 빛의 양을 조절하게 된다. 조리개의 크기는 F-넘버(number)로 나타내고, F-넘버가 작을수록 구경(aperture)은 넓어져 짧은 시간에 많은 양의 빛을 받을 수 있게 된다. 한편, 셔터 스피드는 렌즈의 개방시간(opening time)이며, CCD 센서를 지정된 시간으로 온(on)/오프(off)함으로써 조정된다. 빛의 양을 의미하는 노출레벨은 STOP으로 표시하며, 1 STOP 차는 빛의 양을 두 배로 증가 또는 감소시킨다.

도 1a 및 1b에 조리개와 셔터 스피드 및 노출레벨의 관계를 나타내었다. 도 10a로부터 조리개 F-4는 F-5.6과 비교하여 두 배의 빛을 더 받아들일 수 있으며, 셔터 스피드 1/60은 1/125과 비교하여 더 긴 시간 동안 개방됨으로써 두 배의 빛을 받아들일 수 있음을 알 수 있다. 또한, F-4와 1/15의 조합은 F-2와 1/60의 조합과 동일한 노출레벨인 +4 STOP(기준 0 STOP (F5.6 1/125)와 비교하였을 경우)을 갖는다. 이와 같이 특정 노출레벨은 조리개의 크기와 셔터 스피드의 적절한 조합을 통해 다양한 방법으로 만들어질 수 있다. 도 2의 영상(Ⅰ)은 +4 STOP, F-2, 1/60, 도 12의 영상(Ⅱ)는 +4 STOP, F-4, 1/15의 설정으로 촬영한 영상을 각각 나타낸다. 도시된 바로부터, 조리개와 셔터 스피드의 설정이 다르더라도 동일한 노출레벨로 촬영한 이미지는 동일한 밝기로 나타남을 확인할 수 있다. 결국, 카메라의 노출은 다음의 수학식 1로 표현될 수 있다.

E = i x t

(E: 노출량, i: 빛의 세기, t: 노광시간)

구조광 기반 3차원 카메라 시스템은, 대상 물체 등으로 패턴을 조사하는 투사수단과, 상기 패턴을 촬영하는 영상 촬영수단과, 영상 촬영수단으로부터 획득된 영상의 패턴을 판별하여 대상 물체 등에 대한 3차원 데이터를 계산하는 처리수단으로 이루어진다. 예컨대, 특별한 제한이 있는 것은 아니지만, 상기 투사 수단은 부호화 패턴을 사용하는 프로젝터로 구성될 수 있으며, 상기 영상 촬영 수단은 카메라로, 상기 처리 수단은 컴퓨터로 구성될 수 있을 것이다.

한편, 구조광 기반 3차원 카메라 시스템의 처리수단으로부터 계산된 3차원 데이터의 정확성은, 투사수단으로부터 대상 물체 등에 조사되어 촬영된 패턴이 얼마나 정확하게 구분될 수 있느냐에 달려있다. 본 발명은 패턴 판별에 적합한 노출 설정을 얻기 위하여, 번짐 현상(saturation)이 일어나지 않은 투사 패턴(projected pattern)으로부터 획득된 이미지가 비투사 기준 장면(non-prjected reference scene)으로부터 획득된 이미지와 비교하여 얼마나 밝은지, 그 밝기의 차이가 최대로 될 때 가장 적합한 패턴 판별이 이루어질 수 있다는 점에 착안하였다. 본 발명에서는 상기 밝기의 차이를 나타내는 척도로서, 비투사 기준 장면으로부터 획득된 이미지의 밝기에 대한 투사 패턴으로부터 획득된 이미지의 밝기의 비율(SNR) 또는 비투사 기준 장면으로부터 획득된 이미지의 밝기와 투사 패턴으로부터 획득된 이미지의 밝기의 차이(△I)를 사용하였다. 그리고, 시시각각 변화하는 환경조건에서 카메라의 최적 노출레벨을 결정하기 위하여, 특정 노출레벨에서 획득된 카메라의 영상을 분석하여 최적 노출을 자동적으로 결정하는 방법을 채택하였다.

도 3의 순서도에는 본 발명에 따라 구조광 기반 3차원 카메라 시스템의 처리 수단에서 최적노출을 결정하는 방법의 일실시예를 나타내었다.

도시된 바와 같이, 본 발명에서 처리수단은 최적 노출레벨을 결정하기 위하여, 대상 물체에 대하여 패턴이 조사된 영상과 패턴이 조사되지 않은 영상을 하나씩 획득하는 제1 단계(S10); 각 영상의 동일한 특정 픽셀에 대하여 특성곡선을 생성하는 제2 단계(S20); 특성곡선을 이용하여 노출레벨에 따른 픽셀의 밝기 강도(intensity)를 예측하고 해당 픽셀에 대한 밝기의 차이(△I) 또는 밝기의 비율(SNR) 값을 계산하는 제3 단계(S30); 모든 픽셀에 대해 상기 제2 단계 내지 제3 단계를 반복 수행하여, 노출레벨의 변화에 따른 △I 또는 SNR 데이터를 수집하는 제4 단계(S40); 투사 수단에서 패턴을 투사했을 때, 과다노출 또는 패턴이 투사되지 않은 픽셀에 대한 △I 또는 SNR 데이터를 제외하는 제5 단계(S50); 및 노출레벨마다 일정 경계치 △I_th 또는 SNR_th를 초과하는 밝기의 차이 또는 밝기의 비율을 갖는 픽셀의 수를 계산하여, 계산된 픽셀의 수가 최대인 노출레벨을 최적 노출레벨로 결정하는 제6 단계(S60)를 차례로 실행한다.

상기 제1 단계(S10)에서, 처리 수단은 영상 촬영 수단으로부터 대상 물체에 대하여 패턴이 조사되지 않은 영상, 즉 투사수단의 전원을 끄고(이하 '0 스테이트(state)'라고 함) 촬영한 컬러 영상과, 대상물체에 패턴이 조사된 영상, 즉 투사수단의 전원을 켜고(이하 '1 스테이트(state)'라고 함) 촬영한 컬러 영상을 각각 하나씩 획득한다. 여기서, 0 스테이트의 영상과 1 스테이트의 영상은 초기에 설정된 특정 노출레벨로 촬영된 것이다.

다음으로 제2 단계(S20)에서, 처리 수단은 상기 두 영상에 대하여 동일한 지점의 하나의 픽셀을 선택하여 노출레벨의 변화에 따른 해당 픽셀의 밝기의 강도 변화를 나타내는 특성곡선(characteristic curve)을 각각 생성한다.

상기 특성곡선(characteristic curve)은, 본 발명에서 최적의 노출레벨을 결정하기 위하여, 수학식 1과 픽셀의 밝기 강도는 빛의 입사량에 비례한다는 원리를 이용하여 변화하는 노출레벨에 대한 픽셀의 밝기 강도의 대응관계를 나타낸 그래프이다. 이를 식으로 나타내면, 해당 픽셀의 컬러 밝기 강도를 레드(R) 밝기 강도, 그린(G) 밝기 강도, 블루(B) 밝기 강도의 세 개 채널로 분리한 경우, 다음의 수학식 2와 같이 각각 나타낼 수 있다.

I_R=k_R*E, I_G=k_G*E, I_B=k_B*E

(단, I_R _,G,B>2^b-1인 경우 I_R _,G,B=2^b-1로 제한됨)

상기 수학식 2에서, I_R _,G,B는 R, G, B 채널에서의 밝기의 강도, k_R _,G,B는 비례상수, E는 노출량, b는 카메라에서 밝기의 강도를 표현하는 최대 비트 수를 각각 나타낸다.

본 발명에서 정의된 특성곡선의 개념을 이용하면, 특정 조건에서 하나의 영상만을 획득하여도 다양한 노출에 대한 픽셀의 밝기 강도를 예측할 수 있기 때문에, 최적의 노출설정을 얻기 위하여 다양한 노출로 여러 장의 화상을 획득하여야 하는 불합리를 해소할 수 있다.

이하 본 발명자들이 상기 특성곡선의 도출 및 신뢰성 확인을 위하여 수행한 실험과정을 구체적으로 설명한다.

특성곡선(Characteristic curve)

특정 상황에 대한 화상은 노출레벨에 따라 변화하는 밝기의 강도를 갖는다. 상기 화상의 픽셀을 동일한 방사분석(radiometry) 정보의 특성에 따라 나누어 볼 때, 픽셀의 밝기의 강도(intensity)는 노출량과 동일한 비율로 증가 또는 감소하였다.

도 5a 내지 5c에는 형광램프 하에서 변화하는 다양한 노출레벨에 따른 특정 픽셀의 밝기의 강도(intensity)를 측정한 실험결과를 나타내었다. 본 실험에서는 동일한 반사율을 가정하기 위해서 동일한 물질로 이루어진 물체를 사용하였다. 또한, 일반적으로 그레이 레벨(gray level)의 밝기는 동일한 밝기의 강도에 대해 복수 개의 서로 다른 컬러를 나타낼 수 있기 때문에, 본 실험에서는 컬러를 레드(Red), 그린(Green), 블루(Blue)의 3개 채널로 나누었다. 도 5a 내지 5c는 RGB 세 개의 채널에 대하여 노출레벨의 변화에 따른 밝기의 강도(intensity)의 변화를 각각 나타낸 것이다. 외부 빛의 영향으로 특정 노출레벨에 대한 픽셀의 밝기 강도에는 약간의 퍼짐 현상(spread phenomenon)이 나타났지만, 대략적으로 수렴함을 알 수 있다.

도 5a 내지 5c의 그래프에서는 횡축의 각 노출의 단계를 STOP으로 표시되는 노출레벨로 나타내었지만, 이를 1 STOP 차는 2배의 노출량(빛의 양) 차이를 의미함에 근거하여 대수(logarithm) 대신 선형(linear)으로 변환하면, 도 6a 내지 6c의 실선과 같이 단순한 직선형태의 특성곡선을 얻을 수 있게 된다. 이와 같이 특성곡선을 생성함에 있어서, 각 노출의 단계를 노출레벨(STOP)로 표시할지 노출량(빛의 양)으로 표시할지에 따라서, 특성곡선은 곡선 또는 직선의 형태로 나타날 수 있지만, 이들은 간단한 계산으로 상호 용이하게 전환될 수 있는 관계에 있으므로, 그 표현방식에 따라 발명의 구성이 제약되는 것이 아님은 명백하다. 따라서, 본 발명을 기술함에 있어서, 특별한 언급이 없으면, 노출레벨과 노출량은 모두 노출의 단계를 나타내는 용어로 설명의 편의에 따라 선택적으로 사용될 것이다.

이번에는, 상기 도 5a 내지 5c의 실험에서 노출레벨에 따른 픽셀의 밝기의 강도를 측정하기 위하여 획득한 다수개의 영상 중 하나의 영상을 선택하여, 동일한 픽셀에 대하여 RGB 세 개의 채널에서 측정한 밝기의 강도(I_R _,G,B)와 적용된 노출량(E)을 상기 수학식 2에 입력하여 비례상수 k_R _,G,B값을 계산하였다. 수학식 2에서 k_R,G,B 대신 계산된 값을 입력한 후, 다양한 노출량을 수학식 2의 변수 E에 입력하여 그에 따른 픽셀의 밝기의 강도 I_R _,G,B를 계산하였다. 그리고, 계산된 데이터를 이용하여 노출량(E)의 변화에 따른 픽셀의 밝기 강도(I_R _,G,B)의 대응 그래프인 특성곡선을 작성하였다. 이와 같이 수학식 2를 이용하여 예측된 값에 의해 작성된 특성곡선은 도 6a 내지 도 6c에 진한 점선으로 나타내었다. 이들 예측값은 실선으로 나타낸 측정값의 범위 내에 존재함을 확인할 수 있었다.

따라서, 상기 실험에서 사용된 특성곡선 생성방법을 따르면, 특정 노출레벨에서 획득된 하나의 영상만으로, 노출레벨의 변화에 따른 픽셀의 밝기에 대한 신뢰성 있는 예측값을 얻을 수 있게 된다.

상기 실험에 근거하여, 본 발명의 특성곡선 생성방법을 설명한다. 구체적으로, 상기 제2 단계에서는, 도 4에 도시된 바와 같이, 상기 제1 단계(S10)에서 영상의 획득시에 적용되었던 노출량과, 획득된 각 영상의 동일한 하나의 픽셀에서의 측정된 밝기의 강도를 R, G, B 채널로 분리하여 각각의 밝기의 강도(I_R _,G,B)를 구한 후, 이를 수학식 2에 입력하여 기울기 k_R _,G,B를 계산하는 단계(S21); 상기 수학식 2에 다양한 노출량을 입력하여 입력된 노출량에 대한 해당 픽셀의 밝기의 강도(I_R _,G,B)를 계산하는 단계(S22); 및 상기 계산된 데이터를 이용하여 변화하는 노출량에 대한 해당 픽셀의 밝기의 강도를 대응시킨 그래프를 생성하는 단계(S23)를 순차적으로 실행함으로써 특성곡선을 생성한다. 특성곡선을 상기 실험에서와 같이 RGB 세 개의 채널에 대하여 각각 생성할 경우, 특성곡선은 0 스테이트와 1 스테이트에 대하여 각각 3개씩 생성될 것이다.

다음으로, 상기 제3 단계(S30)에서 처리수단은 생성된 특성곡선을 이용하여 0 스테이트와 1 스테이트에 대하여 노출레벨의 변화에 따른 해당 픽셀의 밝기 강도(I)를 예측하고, 예측된 밝기 강도를 이용하여 0 스테이트와 1 스테이트에서의 해당 픽셀에 대한 밝기 차이(△I) 또는 밝기의 비율(SNR)을 계산한다. 특별히 제한되는 것은 아니지만, 상기 제3 단계에서는 0 스테이트와 1 스테이트의 각각에 대하여 RGB 세 개의 채널에 대하여 생성된 특성곡선을 모두 합하여 그레이 레벨(Gray level)의 특성곡선으로 변환하는 단계를 추가로 구비할 수 있다. 이 경우, 예측된 픽셀의 밝기 강도는 그레이 레벨로 표시된다.

상기 제4 단계(S40)에서, 처리수단은 각 영상의 모든 픽셀에 대하여 상기 제2 내지 제3 단계를 반복해서 수행함으로써, 영상을 이루는 모든 픽셀에 대하여 노출레벨의 변화에 따른 0 스테이트와 1 스테이트에서의 밝기 차이(△I) 또는 밝기의 비율(SNR)에 대한 데이터를 수집한다.

이후에, 처리수단은 상기 제5 단계(S50)를 통하여, 상기 제4 단계에서 수집된 데이터 중에서, 1 스테이트의 영상에서 번짐 현상(saturation)이 일어난 픽셀 또는 패턴이 투사되지 않은 픽셀을 구분하여, 이들 픽셀에 대한 밝기 차이(△I) 또는 밝기의 비율(SNR)에 대한 데이터를 제외하는 동작을 수행한다. 이때 인에이블(Enable) 항을 두어 1 스테이트에서 번짐 현상(saturation)이 일어난 경우에는 디스에이블(Disable)로 체크하고, 이 픽셀에 대한 밝기 차이(△I) 또는 밝기의 비율(SNR) 값은 신뢰할 수 없는 데이터로 구분할 수 있다.

마지막으로, 상기 제6 단계(S60)에서는, 상기 제5 단계에서 필터링된 픽셀별 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 이용하여, 노출레벨마다 밝기 차이(ΔI) 또는 밝기의 비율(SNR)이 일정 경계치(ΔI_th, SNR_th)를 초과하는 픽셀의 수를 계산하고, 계산된 픽셀의 수가 최대인 노출레벨을 최적 노출레벨로 결정한다. 이때, 획득된 영상에서 패턴이 투사된 영역과 투사되지 않은 영역을 구별할 수 있는 최소 밝기 차이(ΔI) 또는 밝기의 비율(SNR)을 각각 경계치 ΔI_th 와 SNR_th로 설정하는 것이 바람직하다. SNR 값을 사용하여 최적 노출레벨을 결정할 경우, 예컨대 SNR 값을 256 계조로 나누어 정규화하여 사용한다고 할 때, 상기 경계치(SNR_th)는 0.1 ~ 0.2로 정해질 수 있다.

도 7 내지 도 9에 본 발명에 따른 최적 노출 결정방법을 구성하는 주요 단계의 실시예를 나타내었다.

도 7의 영상(Ⅰ)은 0 스테이트에서 획득된 영상을, 영상(Ⅱ)은 1 스테이트에서 획득된 영상이다. 도 8a는 상기 영상(Ⅰ)에서 특정 두 개의 픽셀(P1, P2)을 선택하여 밝기를 측정한 후, 영상의 획득시 적용된 노출레벨과 측정된 밝기의 강도를 이용하여 생성한 특성곡선(P₀1, P₀2)이다. 그리고, 도 8b에는 상기 영상(Ⅱ)에서 영상(Ⅰ)과 동일한 두 개의 픽셀(P1, P2)을 선택하여 생성된 특성곡선(P₁1, P₁2)을 나타내었다. 도 8a와 도 8b를 하나의 그래프에 함께 나타내면 도 8c와 같다. 이들 특성곡선을 이용하여, 도 9a에는 하나의 픽셀(P1)에 대한 0 스테이트와 1 스테이트에서의 밝기 차이 값을, 도 9b에는 다른 하나의 픽셀(P2)에 대한 0 스테이트와 1 스테이트에서의 밝기 차이 값을 그래프로 나타내었다.

이와 같은 방식으로, 영상 Ⅰ과 Ⅱ의 모든 픽셀에 대하여 밝기의 차이 또는 밝기의 비율을 계산하고, 계산된 밝기 차이 또는 밝기의 비율에 대한 데이터를 이용하여, 노출레벨마다 밝기 차이 또는 밝기 비율이 일정 경계치를 초과하는 픽셀의 수를 계산하여, 계산된 픽셀의 수가 최대인 노출레벨을 최적 노출레벨로 설정함으로써, 복원되는 3차원 데이터의 측정범위와 신뢰성을 증가시킬 수 있게 된다.

도 10에서는, 본 발명에 따른 최적 노출 결정방법을 적용한 경우와 그렇지 않은 경우에 3차원 데이터의 복원범위를 비교하였다.

영상(Ⅰ)은 대상 물체 등의 장면을 나타내는 영상이다. 영상(Ⅱ)은 해당 장면을 모든 노출레벨에 대하여 촬영하여 가장 좋은 노출레벨을 발견함으로써, 그 노출 레벨에서 획득한 3차원 데이터의 수를 비교 값으로 쓰기 위해 100%로 설정하였다. 상기 가장 좋은 노출레벨은 STOP 5-2-3-4로 나타났다. 그리고 영상(Ⅲ)은 본 발명의 최적노출 결정방법이 적용된 경우를 나타내고, 영상(Ⅳ)는 STOP 5로 고정하여 촬영된 경우를, 영상(Ⅴ)는 STOP 4로 고정하여 촬영된 경우를, 영상(Ⅵ)은 STOP 3으로 고정하여 촬영된 경우를 각각 나타낸다.

도시된 바와 같이, 본 발명이 적용된 영상(Ⅲ)의 경우 각 장면에 대하여 노출레벨을 STOP 5-2-2-3으로 조절함으로써, 영상(Ⅱ)의 비교값 데이터에 대하여 91.75%의 데이터 복원률을 나타내었다. 그리고, 본 발명이 적용되지 않은 영상 Ⅳ~Ⅵ의 경우 각각 62%, 75.7%, 75%의 복원률을 나타내었다. 따라서, 본 발명에 따라 결정된 최적 노출레벨을 적용하여 3차원 데이터를 복원할 경우, 변화하는 다양한 환경조건하에서도 신뢰할 만한 데이터 복원률을 달성할 수 있음을 확인할 수 있다.

상술한 바와 같이 본 발명에 의하면 다양한 광조건 및 표면 특성을 갖는 물체를 측정할 필요가 있는 다양한 응용에 있어서, 3차원 데이터의 복원 범위 및 제공되는 데이터의 신뢰성을 향상시킬 수 있는 이점이 있다. 또한, 본 발명에 의한 최적 노출 결정 방법을 3차원 측정방법을 이용한 검사 장비, 3차원 형상의 모델링 및 인식 및 로봇 시각 등 다양한 산업분야에 응용함으로써, 만족할 만한 성과를 달성할 수 있을 것으로 기대된다.

이상에서는 본 발명을 특정의 바람직한 실시예에 대해서 도시하고 설명하였다. 그러나, 본 발명은 상술한 실시예에 국한되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 다음의 청구범위에 기재된 본 발명의 기술적 사상을 벗어남이 없이 얼마든지 다양하게 변경실시할 수 있을 것이다.

Claims

삭제
투사 수단에서 대상 물체로 패턴을 조사하고 상기 패턴을 영상 촬영 수단으로 획득함으로써 3차원 데이터를 복원하여 대상 물체 관련 정보를 획득하는 구조광 기반 3차원 카메라 시스템에서,

상기 대상 물체에 대하여 투사 수단에서 패턴을 투사했을 때의 영상과, 투사 수단에서 패턴을 투사하지 않았을 때의 영상을 각각 하나씩 획득하는 제1 단계;

각 영상에서 하나의 동일한 픽셀에 대하여, 해당 픽셀의 컬러 밝기 강도를 레드(R) 밝기 강도, 그린(G) 밝기 강도, 블루(B) 밝기 강도의 세 개 채널로 분리한 후, 각 채널마다 노출레벨의 변화에 따른 픽셀의 밝기 강도의 대응 그래프인 특성곡선을 각각 생성하는 제2 단계;

생성된 각각의 특성곡선을 이용하여 노출레벨의 변화에 따른 해당 픽셀의 밝기 강도(I)를 예측하고, 예측된 밝기 강도를 이용하여 해당 픽셀에 대하여 투사 수단에서 패턴을 투사했을 때와 패턴을 투사하지 않았을 때의 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)을 계산하는 제3 단계;

각 영상의 모든 픽셀에 대하여 상기 제2 내지 제3 단계를 반복 수행하여, 모든 픽셀에 대하여 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 수집하는 제4 단계;

상기 제4 단계에서 수집된 데이터 중에서, 투사 수단에서 패턴을 투사했을 때 번짐 현상(saturation)이 일어난 픽셀 또는 패턴이 투사되지 않은 픽셀을 구분하여, 상기 픽셀에 대한 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터는 제외하는 제5 단계; 및

상기 제5 단계에서 필터링된 픽셀별 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 이용하여, 노출레벨마다 밝기 차이(ΔI) 또는 밝기의 비율(SNR)이 일정 경계치(ΔI_th, SNR_th)를 초과하는 픽셀의 수를 계산하고, 계산된 픽셀의 수가 최대인 노출레벨을 최적 노출레벨로 결정하는 제6 단계를 구비하는 것을 특징으로 하는 구조광 기반 3차원 카메라 시스템의 최적 노출 결정방법.
제2 항에 있어서,

상기 제2 단계에서 특성곡선은, 픽셀의 밝기의 강도와 빛의 입사량인 노출량 사이의 비례관계에 기초하여 생성되는 것을 특징으로 하는 구조광 기반 3차원 카메라 시스템의 최적 노출 결정방법.
제3 항에 있어서,

상기 제2 단계에서 특성곡선은,

상기 제1 단계에서 영상의 획득시에 적용되었던 노출량과, 획득된 각 영상의 동일한 하나의 픽셀에서 측정된 RGB 세 개의 채널에서의 밝기의 강도를,

I_R=k_R*E, I_G=k_G*E, I_B=k_B*E

(I_R _,G,B: R, G, B 채널에서의 밝기의 강도, k_R _,G,B: 비례상수, E: 노출량)

의 식에 각각 입력하여 기울기 k_R _,G,B를 계산하고, 상기 각 식에 다양한 노출량을 입력하여 입력된 노출량에 대한 해당 픽셀의 밝기의 강도를 계산함으로써, 변화하는 노출레벨에 대한 해당 픽셀의 밝기의 강도를 대응시켜 작성되는 것을 특징으로 하는 구조광 기반 3차원 카메라 시스템의 최적 노출 결정방법.
제4 항에 있어서,

상기 제3 단계는,

레드(Red), 그린(Green), 블루(Blue) 세 개의 채널에 대해서 각각 생성된 특성곡선을 그레이 레벨(Gray level)의 특성곡선으로 변환하여, 노출레벨의 변화에 따른 해당 픽셀의 그레이 레벨의 밝기 강도를 예측하는 것을 특징으로 하는 구조광 기반 3차원 카메라 시스템의 최적 노출 결정방법.
제5 항에 있어서,

상기 제5 단계는,

인에이블(Enable) 항을 두어 투사 수단에서 패턴을 투사했을 때 번짐 현상(saturation)이 일어난 픽셀은 디스에이블(Disable)로 체크하고, 이 픽셀에 대한 밝기 차이(ΔI) 또는 밝기의 비율(SNR) 값은 신뢰할 수 없는 데이터로 구분하는 것을 특징으로 하는 구조광 기반 3차원 카메라 시스템의 최적 노출 결정방법.
제6 항에 있어서,

상기 제6 단계에서 밝기 차이 또는 밝기의 비율에 대한 경계치(ΔI_th, SNR_th)는, 획득된 영상에서 패턴이 투사된 영역과 투사되지 않은 영역을 구별할 수 있는 밝기 차이 또는 밝기의 비율의 최소값으로 설정되는 것을 특징으로 하는 구조광 기반 3차원 카메라 시스템의 최적 노출 결정방법.
대상 물체로 패턴을 조사하는 투사 수단;

상기 투사 수단에서 조사된 패턴을 촬영하는 영상 촬영수단;

영상 촬영수단으로부터 획득된 영상의 패턴을 판별하여 대상 물체에 대한 3차원 데이터를 계산하는 처리 수단을 구비하며,

상기 처리 수단은,

대상 물체에 대하여 투사 수단에서 패턴을 투사했을 때의 영상과, 투사 수단에서 패턴을 투사하지 않았을 때의 영상을 각각 하나씩 획득하는 제1 단계;

각 영상에서 하나의 동일한 픽셀에 대하여, 해당 픽셀의 컬러 밝기 강도를 레드(R) 밝기 강도, 그린(G) 밝기 강도, 블루(B) 밝기 강도의 세 개 채널로 분리한 후, 각 채널마다 노출레벨의 변화에 따른 픽셀의 밝기 강도의 대응 그래프인 특성곡선을 각각 생성하는 제2 단계;

생성된 각각의 특성곡선을 이용하여 노출레벨의 변화에 따른 해당 픽셀의 밝기 강도(I)를 예측하고, 예측된 밝기 강도를 이용하여 해당 픽셀에 대하여 투사 수단에서 패턴을 투사했을 때와 패턴을 투사하지 않았을 때의 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)을 계산하는 제3 단계;

각 영상의 모든 픽셀에 대하여 상기 제2 내지 제3 단계를 반복 수행하여, 모든 픽셀에 대하여 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 수집하는 제4 단계;

상기 제4 단계에서 수집된 데이터 중에서, 투사 수단에서 패턴을 투사했을 때 번짐 현상(saturation) 일어난 픽셀 또는 패턴이 투사되지 않은 픽셀을 구분하여, 상기 픽셀에 대한 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터는 제외하는 제5 단계; 및

상기 제5 단계에서 필터링된 픽셀별 노출레벨의 변화에 따른 밝기 차이(ΔI) 또는 밝기의 비율(SNR)에 대한 데이터를 이용하여, 노출레벨마다 밝기 차이(ΔI) 또는 밝기의 비율(SNR)이 일정 경계치(ΔI_th, SNR_th)를 초과하는 픽셀의 수를 계산하고, 계산된 픽셀의 수가 최대인 노출레벨을 최적 노출레벨로 결정하는 제6 단계를 순차로 실행하는 것을 특징으로 하는 최적 노출 결정 구조광 기반 3차원 카메라 시스템.
제8 항에 있어서,

상기 투사 수단은 프로젝터이고,

상기 영상 촬영 수단은 카메라이고,

상기 처리 수단은 컴퓨터인 것을 특징으로 하는 최적 노출 결정 구조광 기반 3차원 카메라 시스템.
제9 항에 있어서,

상기 투사 수단은, 부호화 패턴을 사용하는 것을 특징으로 하는 최적 노출 결정 구조광 기반 3차원 카메라 시스템.
투사 수단에서 대상 물체로 패턴을 조사하고 상기 패턴을 영상 촬영 수단으로 획득하여 3차원 데이터를 복원하는 구조광 기반 3차원 카메라 시스템의 특성곡선 생성방법으로서,

대상 물체에 대하여 투사 수단에서 패턴을 투사했을 때의 영상과, 투사 수단에서 패턴을 투사하지 않았을 때의 영상을 각각 하나씩 획득하는 제1 단계;

상기 제1 단계에서 영상의 획득시에 적용되었던 노출량과, 획득된 각 영상의 동일한 하나의 픽셀에서 측정된 RGB 세 개의 채널에서의 밝기의 강도를,

I_R=k_R*E, I_G=k_G*E, I_B=k_B*E

(I_R _,G,B: R, G, B 채널에서의 밝기의 강도, k_R _,G,B: 비례상수, E: 노출량)

의 식에 각각 입력하여 기울기 k_R _,G,B를 계산하는 제2 단계;

상기 각 식에 다양한 노출량을 입력하여 입력된 노출량에 대한 해당 픽셀의 밝기의 강도를 계산하는 제3 단계;

상기 제3 단계에서 얻어진 데이터를 이용하여 변화하는 노출레벨에 대한 해당 픽셀의 밝기의 강도를 대응시킨 그래프를 생성하는 제4 단계를 구비하는 것을 특징으로 하는 구조광 기반 3차원 카메라 시스템의 특성곡선 생성방법.