KR102561419B1 - 다수 조명을 이용한 3차원 데이터 획득 방법 및 장치 - Google Patents

Abstract

본 발명은 다수 조명을 이용한 3차원 데이터 획득 방법 및 장치에 관한 것으로, 기존의 스테레오 비전 기술을 개선하여, 2대의 카메라와 조명을 이용하여 3차원 데이터의 측정이 가능하므로 기존의 프로젝터를 이용한 능동적 구조광 방식에 비해 조명계를 구성하는 데에 있어 비용을 절감할 수 있고, 기존의 고정 블록 매칭을 이용한 3D 계산 방법에 비해 물체의 표면 데이터를 획득한 후 이를 활용하여 두 이미지의 픽셀 정보를 비교하는 블록의 크기 및 모양을 변형시켜, 보다 정확한 3D 데이터를 획득할 수 있는 이점이 있다.

Description

다수 조명을 이용한 3차원 데이터 획득 방법 및 장치{Method and apparatus of generating 3D data with plurality lights}

본 발명은 3차원 데이터 획득 방법 및 장치에 관한 것으로서, 보다 상세하게는 2개 이상의 카메라와 3개 이상의 조명을 사용하여 임의의 물체의 표면 형상의 3차원 위치 정보를 계산하는 방법 및 장치에 관한 것이다. 본 발명은 2017년도 중소벤처기업부의 기술개발사업 지원에 의한 연구이다(This work was supported by the Technology development Program(C0509796) funded by the Ministry of SMEs and Startups(MSS, Korea)).

3차원 측정 기술이 발전하면서 제조업, 의료업, 컨텐츠 산업 등 다양한 분야에서 이를 적용한 어플리케이션이 증가하고 있다. 3차원 측정 기술은 다양한 측정 원리를 통해 구현이 가능하나 물체 표면에서 반사된 빛을 측정하여 3차원 형상 데이터를 구축하는 광학식 측정 방법이 널리 사용되고 있다. 최근에는 스마트 폰 등의 휴대용 기기의 광학계의 성능 및 연산 성능이 발전함에 따라 이를 활용하여 물체의 3차원 데이터를 측정하는 기술이 연구되고 있다.

스테레오 비전 기술은 2대의 카메라를 활용하고 오직 물체가 주변 환경으로부터 받는 빛을 카메라에 받아 그 정보를 활용하여 물체의 3차원 데이터를 측정하는 방법이다. 구조광 측정방법은 정밀한 측정을 위하여 2대의 카메라에 추가로 프로젝터를 이용하여 물체에 빛의 패턴을 투사하고 카메라의 pixel 에 각각 ID 를 부여하는 방식을 주로 활용하는 방법이다. 이는 기기의 크기를 줄이는 데에 한계가 있고 고성능의 프로젝터가 필요하여 제품의 가격 또한 매우 높아져 다양한 기기에 활용할 수가 없다.

또한 프로젝터를 사용하지 않고 2대의 카메라만을 활용하는 경우 기기의 크기나 가격은 크게 줄어들지만 획득하는 3차원 데이터가 매우 부정확하며, 실생활에 사용할 수 없다. 1대의 카메라와 3개 이상의 조명을 활용하여 물체의 표면 상태를 측정하는 측광입체시법 이라는 기술 또한 존재하지만 이는 물체의 표면을 정밀하게 측정하는 대신 물체의 3차원 형상을 획득할 수 없다.

대한민국 등록특허 10-1553598호 (2015.09.17. 공고)

본 발명의 목적은 기존의 스테레오 비전 기술을 개선하는 것으로, 2대의 카메라와 조명을 이용하여 3차원 데이터의 측정이 가능하므로 기존의 프로젝터를 이용한 능동적 구조광 방식에 비해 조명계를 구성하는 데에 있어 비용을 절감할 수 있는 특징이 있다.

또한 본 발명의 다른 목적은 기존의 고정 블록 매칭을 이용한 3D 계산 방법에 비해 물체의 표면 데이터를 획득한 후 이를 활용하여 두 이미지의 픽셀 정보를 비교하는 블록의 크기 및 모양을 변형시켜 보다 정확한 3D 데이터를 획득할 수 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따른 3차원 데이터 획득 방법은, 물체의 표면으로부터 반사된 빛을 촬영하여 영상 데이터를 생성할 수 있는 두 개 이상의 카메라로 구성된 영상 획득부; 상기 물체의 표면에 빛을 조사할 수 있는 세 개 이상의 개별 조명으로 구성된 광원부; 상기 영상 획득부와 상기 광원부를 제어하여 상기 개별 조명과 동기화된 영상을 획득할 수 있도록 하는 제어부; 상기 동기화된 영상을 이용하여 상기 물체의 표면 정보를 구축하는 표면 구성부; 및 상기 동기화된 영상과 상기 표면 정보를 이용하여 상기 두 개 이상의 카메라 간 블록 대응 관계를 계산하고 이로부터 상기 물체의 표면의 3차원 형상 정보를 계산하는 형상 재현부를 포함한다.

또한, 상기 표면 정보는 상기 물체 표면의 형상의 법선 방향일 수 있다.

또한, 상기 법선 방향을 계산할 때 서로 다른 위치의 조명이 켜진 상태에서 영상을 획득하고, 포토메트릭 스테레오 원리를 이용하여 계산할 수 있다.

또한, 상기 개별 조명은 가시광 또는 파장 2000nm 이하의 적외선이고, 상기 카메라는 상기 가시광 또는 적외선을 검출할 수 있다.

또한, 상기 3차원 형상 정보를 획득한 후, 상기 3차원 형상 정보 내 각 3차원 위치 정보 간 연결 관계와 상기 법선 방향들 간 연결 관계의 변화량을 계산하여 연결 관계 간 차이가 클 경우 법선 방향들 간 연결 관계를 기준으로 3차원 위치 정보를 보정할 수 있다.

또한, 상기 블록 대응 관계를 계산할 때 상기 서로 다른 카메라 간에 대응되는 미소 변위량을 상기 표면 정보를 이용하여 계산하고 이로부터 상기 서로 다른 카메라로부터 획득한 영상에 적합한 블록의 크기 및 형상을 계산하고 이로부터 상기 서로 다른 영상에 대한 블록을 각각 생성한 뒤 상기 서로 다른 블록 간 대응 관계를 계산하여 3차원 위치 정보를 계산할 수 있다.

본 발명의 일 실시예에 따른 3차원 데이터 획득 방법 및 장치에 따르면 다음과 같은 다양한 효과를 달성할 수 있다.

첫째, 기존의 블록 매칭을 이용한 3차원 데이터 계산 방법에 비해 정확한 데이터를 획득할 수 있다.

둘째, 물리적인 장치의 구성 비용이 절감되 낮은 비용으로 3차원 스캐닝 장치를 설계 및 제작할 수 있다.

셋째, 프로젝터를 사용하지 않고 시스템 구성이 가능하여 프로젝터를 사용하는 시스템에 비해 발열이 적고 HW 설계의 난이도가 낮다.

도 1은 블록 대응 관계를 이용하여 3차원 데이터를 계산하는 종래의 방법을 나타낸 개념도,
도 2는 블록 대응 관계를 이용하여 3차원 데이터를 계산하는 종래의 방법을 이용하여 계산된 3차원 데이터의 일 실시예를 나타낸 그림,
도 3은 본 발명에 따른 3차원 데이터 측정이 가능하도록 카메라 및 조명이 배치된 3차원 측정 장치의 일 실시예를 나타낸 개념도,
도 4는 포토메트릭 스테레오 원리를 이용하여 광원의 위치를 계산하고 이를 통해 측정 대상의 표면의 법선 정보를 계산하는 과정의 예를 도시한 도,
도 5는 포토메트릭 스테레오 원리를 이용하여 미리 광원의 위치를 계산해 놓은 다음, 임의의 물체에 동일한 광원을 사용하여 영상을 획득하고 미리 계산된 광원의 위치를 참조로 하여 임의의 물체의 표면의 법선 정보를 계산하는 예시를 나타낸 도,
도 6은 블록 미소변위를 결정하는 과정의 이해를 돕기 위한 개념도,
도 7은 블록 변위에 따라서 블록 모양이 변화하는 것을 나타낸 개념도,
도 8은 미세 변위가 픽셀 방향에 따라 다르게 나타나는 것을 보여주는 예시도,
도 9는 변환된 블록을 가시화한 예시도,
도 10은 3D 스캔 결과를 도시한 도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 블록 대응 관계를 이용하여 3차원 데이터를 계산하는 종래의 방법을 나타낸 개념도이고, 도 2는 블록 대응 관계를 이용하여 3차원 데이터를 계산하는 종래의 방법을 이용하여 계산된 3차원 데이터의 일 실시예를 나타낸 그림이다.

도 3은 본 발명에 따른 3차원 데이터 측정이 가능하도록 카메라 및 조명이 배치된 3차원 측정 장치의 일 실시예를 나타낸 개념도이다.

본 발명에 따른 3차원 측정 장치의 구성에서 각 조명 및 카메라의 위치는 자유롭게 배치할 수 있으나 각 조명과 각 카메라가 서로 균등한 거리를 가지도록 배치되는 것이 바람직하다.

본 발명에 따른 3차원 측정 방법을 실행하기 위해서 조명은 최소 3개 이상이 필요하다. 조명의 수는 많을수록 보다 정확한 데이터를 획득할 수 있으나 조명의 수가 늘어날수록 획득해야 하는 전체 영상의 수 및 연산량이 늘어나 3차원 데이터 획득하는 시간이 늘어날 수 있다. 조명의 개수는 일반적으로 4개~8개 정도가 적당하나 상황에 따라서 변경될 수 있다.

각 조명 간 거리는 멀수록 데이터의 품질이 높아질 수 있다. 또한 조명의 위치에 따라 영상 간 차이가 극명할수록 데이터 품질이 높아지는 효과가 있어, 조명 세팅 시 빛의 반사 및 응집을 보조할 수 있는 추가 장치를 사용할 수도 있다.

또한 조명/카메라는 측정하고자 하는 물체의 종류에 따라 가시광 또는 IR을 사용할 수 있다. 특히 사람을 측정하는 경우 가시광선을 사용하게 되면 얼굴 등을 측정하는 경우 장치에서 방출되는 빛에 의해 측정 대상이 불편함을 느낄 수 있으므로 IR 광원을 사용하는 것이 바람직하다. 이 때 카메라나 렌즈 등에 각 파장대에 맞는 필터 등을 사용하면 외부 광으로부터 발생하는 영향을 제거할 수 있어 3차원 데이터의 품질을 향상시킬 수 있다.

도 4는 포토메트릭 스테레오 원리를 이용하여 광원의 위치를 계산하고 이를 통해 측정 대상의 표면의 법선 정보를 계산하는 과정의 예를 나타낸 것이다.

도 5는 포토메트릭 스테레오 원리를 이용하여 미리 광원의 위치를 계산해 놓은 다음, 임의의 물체에 동일한 광원을 사용하여 영상을 획득하고 미리 계산된 광원의 위치를 참조로 하여 임의의 물체의 표면의 법선 정보를 계산하는 예시를 나타낸 그림이다.

도 6은 블록 미소변위를 결정하는 과정의 이해를 돕기 위한 개념도이다.

본 발명에 따른 3차원 측정 방법에서 중요한 부분인 블록 변형을 계산하기 위해서는 측정 대상으로부터 획득한 표면의 위치를 제외한 기타 정보를 이용하여 대칭 관계를 계산할 수 있어야 한다. 도 6은 측정 대상의 표면 법선 방향에 따라서 측정 대상으로부터 반사되어 나온 광원이 각 카메라에서 서로 다른 크기로 측정되는 것을 보여주고 있다.

일반적인 블록 매칭 방법에서는 카메라의 픽셀 기준으로 서로 다른 카메라에서 획득한 영상에 대한 차이를 비교한다. 하지만 카메라를 이용하여 실제 물체의 영상을 측정할 경우, 물체의 방향, 카메라의 방향 및 카메라의 위치에 따라서 카메라의 한 픽셀에 측정되는 실제 물체의 영역은 달라지게 된다. 보다 정확한 블록 매칭을 위해서는 이를 고려하여 보정할 필요가 있다.

도 7은 블록 변위에 따라서 블록 모양이 변화하는 것을 나타낸 개념도이다. 앞서 기술한 바와 같이 물체의 특성에 따라 여러 대의 서로 다른 카메라에서 보이는 모양이나 크기는 다르게 된다. 정확한 매칭을 위해서 블록 모양을 변형할 수 있다.

도 8은 미세 변위가 픽셀 방향에 따라 다르게 나타나는 것을 보여주는 예시도이다.

도 9는 변환된 블록을 가시화한 예시도이다. 블록 크기를 변환하는 방법은 여러 가지가 있을 수 있으나, 계산의 편의성을 위해 한쪽 카메라를 기준으로 균일하게 블록을 생성한 후 나머지 카메라의 블록을 기준 블록과 동일한 영역으로 생성하는 것이 용이하다. 도 9에서는 두 개의 카메라를 사용하는 경우 왼쪽 카메라에서 블록을 설정한 뒤 오른쪽 카메라에서 왼쪽 카메라의 블록 영역에 해당하는 블록이 생성된 결과를 보여주고 있다.

도 10은 3D 스캔 결과이다. 상기 변환된 블록을 이용하여 3차원 데이터를 생성한 것으로, 측정 대상의 세부 디테일과 묘사가 상세히 측정되었음을 확인할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (6)

1. 물체의 표면으로부터 반사된 빛을 촬영하여 영상 데이터를 생성할 수 있는 두 개 이상의 카메라로 구성된 영상 획득부;
   상기 물체의 표면에 빛을 조사할 수 있는 세 개 이상의 개별 조명으로 구성된 광원부;
   상기 영상 획득부와 상기 광원부를 제어하여 상기 개별 조명과 동기화된 영상을 획득할 수 있도록 하는 제어부;
   상기 동기화된 영상을 이용하여 상기 물체의 표면 정보를 구축하는 표면 구성부; 및
   상기 동기화된 영상과 상기 표면 정보를 이용하여 상기 두 개 이상의 카메라 간 블록 대응 관계를 계산하고 이로부터 상기 물체의 표면의 3차원 형상 정보를 계산하는 형상 재현부를 포함하고,
   상기 세 개 이상의 개별 조명은 가시광 또는 파장 2000nm 이하의 적외선이고, 상기 두 개 이상의 카메라는 상기 가시광 또는 적외선을 검출할 수 있고,
   상기 세 개 이상의 개별 조명 각각과 상기 두 개 이상의 카메라 각각은 서로 균등한 거리를 가지도록 배치되고,
   상기 블록 대응 관계를 계산할 때 상기 서로 다른 카메라 간에 대응되는 미소 변위량을 상기 표면 정보를 이용하여 계산하고 이로부터 상기 서로 다른 카메라로부터 획득한 영상에 적합한 블록의 크기 및 형상을 계산하고 이로부터 상기 서로 다른 영상에 대한 블록을 각각 생성한 뒤 상기 서로 다른 블록 간 대응 관계를 계산하여 상기 블록을 보정함으로써 변환된 블록을 이용하여 3차원 위치 정보를 계산하는 것을 특징으로 하는 3차원 데이터 획득 방법.
2. 청구항 1에 있어서,
   상기 표면 정보는 상기 물체 표면의 형상의 법선 방향인 것을 특징으로 하는 3차원 데이터 획득 방법.
3. 청구항 2에 있어서,
   상기 법선 방향을 계산할 때 서로 다른 위치의 조명이 켜진 상태에서 영상을 획득하고, 포토메트릭 스테레오 원리를 이용하여 계산하는 것을 특징으로 하는 3차원 데이터 획득 방법.
4. 삭제
5. 청구항 2에 있어서,
   상기 3차원 형상 정보를 획득한 후, 상기 3차원 형상 정보 내 각 3차원 위치 정보 간 연결 관계와 상기 법선 방향들 간 연결 관계의 변화량을 계산하여 연결 관계 간 차이가 클 경우 법선 방향들 간 연결 관계를 기준으로 3차원 위치 정보를 보정하는 것을 특징으로 하는 3차원 데이터 획득 방법
6. 삭제