KR101818189B1

KR101818189B1 - 영상 처리 장치 및 영상 처리 방법

Info

Publication number: KR101818189B1
Application number: KR1020160082199A
Authority: KR
Inventors: 이석한; 모하메드 나기브 아메드
Original assignee: 성균관대학교산학협력단
Priority date: 2016-06-30
Filing date: 2016-06-30
Publication date: 2018-01-15
Also published as: KR20180002989A

Abstract

영상 처리 장치는, 다중영상에서 복수의 라인 세그먼트(Line Segment)를 추출하는 라인 추출부; 라인 세그먼트를 병합한 후, 병합된 라인 세그먼트를 확장하는 라인 전처리부; K(단, K≥2) 개의 확장된 라인 세그먼트로 구성된 K-튜플을 선택하는 K-튜플 선택부; 다중영상 간에 K-튜플을 매칭시키는 K-튜플 매칭부; 및 매칭된 K-튜플을 이용하여, 다중영상의 영상 정합을 수행하는 영상 정합부; 를 포함할 수 있다.
이와 같은 영상 처리 장치 및 영상 처리 방법에 의하면, 종래 영상 정합 기법에서 요구되던 초기 작업 즉, 서로 다른 위치에서 촬영한 다중 영상의 최적 영상 정합을 위해 반드시 필요했던 두 장의 포인트 클라우드 세트를 최대한 가까운 곳으로 옮기는 작업을 생략할 수 있다. 또한, 포인트 클라우드가 안정적으로 존재하는 3차원 라인 세그먼트(3D Line Segment)를 이용함으로써, 텍스처가 부족하거나 영상의 품질이 변화되는 등의 환경에서도 안정적으로 영상 정합을 수행할 수 있다.

Description

영상 처리 장치 및 영상 처리 방법 {IMAGE PROCCESSING APPARATUS AND IMAGE PROCCESSING METHOD}

본 발명은 영상 정합을 수행하는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.

컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 얻어지게 된다. 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법으로, 영상 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상이 어떻게 대응되는지를 알 수 있다.

종래 영상 정합 기법의 대표적인 예로, ICP(Iterative Closest Point) 및 키넥트 퓨전(Kinect Fusion)을 들 수 있다. (Iterative Closest Point) 및 키넥트 퓨전(Kinect Fusion)은 포인트 클라우드 세트를 이용하는 최첨단(State of the Art) 기법이나, 같은 물체에서 얻은 두 개의 포인트 클라우드 세트의 초기 위치들이 가깝고 중첩된 부분이 충분히 많아야 잘 동작한다는 한계를 지닌다.

따라서, 훌륭한 ICP 정합을 위해서는 두 개의 포인트 클라우드 세트를 충분히 가까운 곳으로 옮기기 위한 초기 작업이 필요하며, 이를 위해 광학적 특징점 또는 기하학적 특징점을 검출하여 이용하게 된다.

다만, 대부분의 산업용 물체들은 텍스처가 부족해서 광학적 특징점의 검출이 어려우며, 광학적 특징점은 조명변화와 같이 영상의 품질이 큰 폭으로 변화되는 경우에는 검출되지 않거나 일정하게 검출되지 않아 안정적으로 사용하기 어려운 점이 있다. 또한, 기하학적 특징점 검출은 주로 평면형 물체로부터 평면 법선벡터 등을 추출하여 사용하고 있는데, 이는 많은 영산량이 요구되며, 불균등하게 분포된 포인트 클라우드 환경보다 비교적 균등하게 분포되거나 점의 수가 적은 메쉬(mesh)에 더 적합한 면이 있다.

따라서, 종래 기법의 초기 작업 즉, 서로 다른 위치에서 촬영한 다중 영상의 최적 영상 정합을 위해 반드시 필요했던 두 장의 포인트 클라우드 세트를 최대한 가까운 곳으로 옮기는 작업을 생략하고, 연산량을 줄여 안정적으로 영상 정합을 수행하는 영상 처리 장치에 대한 기술개발이 필요한 실정이다.

관련 선행기술로는 대한민국 공개특허공보 제10-2014-0115784호(발명의 명칭: 영상 정합 장치 및 그것의 동작 방법, 공개일자: 2014. 10. 01)가 있다.

본 발명은 영상 정합을 수행하는 영상 처리 장치 및 영상 처리 방법을 제공하고자 한다.

상술한 과제를 해결하기 위하여, 다음과 같은 영상 처리 장치 및 영상 처리 방법이 제공된다.

영상 처리 장치는, 다중영상에서 복수의 라인 세그먼트(Line Segment)를 추출하는 라인 추출부; 라인 세그먼트를 병합한 후, 병합된 라인 세그먼트를 확장하는 라인 전처리부; K(단, K≥2) 개의 확장된 라인 세그먼트로 구성된 K-튜플을 선택하는 K-튜플 선택부; 다중영상 간에 K-튜플을 매칭시키는 K-튜플 매칭부; 및 매칭된 K-튜플을 이용하여, 다중영상의 영상 정합을 수행하는 영상 정합부; 를 포함할 수 있다.

다중영상은, 서로 다른 위치에서 획득한 중첩이 있는 제 1영상 및 제 2 영상을 포함할 수 있다.

다중영상은, RGB-D 영상일 수 있다.

라인 세그먼트는, 3차원 라인 세그먼트일 수 있다.

라인 전처리부는, L2-norm 피팅을 이용하여, 라인 세그먼트를 병합할 수 있다.

라인 전처리부는, 병합된 라인 세그먼트의 길이방향에 존재하는 이웃 포인트를 이용하여, 병합된 라인 세그먼트를 확장할 수 있다.

영상 정합부는, 매칭된 K-튜플을 이용하여, 다중영상을 회전 변환(rotation)할 수 있다.

영상 정합부는, 방향 공간(ijk 공간)에서 다중영상을 회전 변환할 수 있다.

영상 정합부는, 방향 공간(ijk 공간) 상에서, 매칭된 K-튜플의 방향을 일치시키는 회전 변환을 수행할 수 있다.

영상 정합부는, 매칭된 K-튜플을 이용하여, 다중영상을 위치 변환(translation)할 수 있다.

영상 정합부는, 직교 공간(xyz 공간)에서 다중영상을 회전 변환할 수 있다.

영상 정합부는, 직교 공간(xyz 공간) 상에서, 매칭된 K-튜플의 위치를 일치시키는 회전 변환을 수행할 수 있다.

영상 처리 방법은, 다중영상에서 복수의 라인 세그먼트(Line Segment)를 추출하고; 라인 세그먼트를 병합한 후, 병합된 라인 세그먼트를 확장하고; K(단, K≥2) 개의 확장된 라인 세그먼트로 구성된 K-튜플을 선택하고; 다중영상 간에 K-튜플을 매칭시키고; 및 매칭된 K-튜플을 이용하여, 다중영상의 영상 정합을 수행하는; 것을 포함할 수 있다.

라인 세그먼트를 병합하는 것은, L2-norm 피팅을 이용하여, 라인 세그먼트를 병합하는 것일 수 있다.

병합된 라인 세그먼트를 확장하는 것은, 병합된 라인 세그먼트의 길이방향에 존재하는 이웃 포인트를 이용하여, 병합된 라인 세그먼트를 확장하는 것일 수 있다.

다중영상의 영상 정합을 수행하는 것은, 매칭된 K-튜플을 이용하여, 다중영상을 회전 변환(rotation)하는 것을 포함할 수 있다.

다중영상의 영상 정합을 수행하는 것은, 방향 공간(ijk 공간) 상에서, 매칭된 K-튜플의 방향을 일치시키는 회전 변환을 수행하는 것을 포함할 수 있다.

다중영상의 영상 정합을 수행하는 것은, 매칭된 K-튜플을 이용하여, 다중영상을 위치 변환(translation)하는 것을 포함할 수 있다.

다중영상의 영상 정합을 수행하는 것은, 직교 공간(xyz 공간) 상에서, 매칭된 K-튜플의 위치를 일치시키는 회전 변환을 수행하는 것을 포함할 수 있다.

이와 같은 영상 처리 장치 및 영상 처리 방법에 의하면, 종래 영상 정합 기법에서 요구되던 초기 작업 즉, 서로 다른 위치에서 촬영한 다중 영상의 최적 영상 정합을 위해 반드시 필요했던 두 장의 포인트 클라우드 세트를 최대한 가까운 곳으로 옮기는 작업을 생략할 수 있다.

또한, 포인트 클라우드가 안정적으로 존재하는 3차원 라인 세그먼트(3D Line Segment)를 이용함으로써, 텍스처가 부족하거나 영상의 품질이 변화되는 등의 환경에서도 안정적으로 영상 정합을 수행할 수 있다.

도 1은 영상 처리 장치의 일 실시예에 따른 블록도이다.
도 2는 라인 세그먼트가 위치한 부분의 기하학적 형상 및 이를 검출 방법을 설명하기 위한 도면이다.
도 3은 라인 세그먼트의 병합 방법을 설명하기 위한 도면이다.
도 4는 병합된 라인 세그먼트의 확장 방법을 설명하기 위한 도면이다.
도 5은 영상 처리 방법의 일 실시예에 따른 흐름도이다.
도 6는 다중영상의 영상 정합 과정을 나타내는 도면이다.

본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.

이하에서는 첨부된 도면을 참조하여 영상 처리 장치 및 영상 처리 방법을 후술된 실시예들에 따라 구체적으로 설명하도록 한다. 도면에서 동일한 부호는 동일한 구성 요소를 나타내는 것으로 한다.

도 1은 영상 처리 장치의 일 실시예에 따른 블록도이다.

도 1을 참조하면, 영상 처리 장치는 영상 획득부(100), 영상 처리부(200), 및 저장부(300)를 포함하여, 다중영상 정합을 수행한다.

영상 획득부(100)는 3차원(이하, '3D' 라 칭함) 다중영상을 획득한다. 여기서, 다중영상은 서로 다른 위치에서 획득한 중첩이 있는 두 장의 3D 영상(이하, '제 1영상' 및 '제 2영상' 이라 칭함)을 포함할 수 있다. 또한, 다중영상은 RGB-D 영상으로 마련될 수 있다. 이를 위해, 영상 획득부(100)는 카메라 센서, 예를 들어, RGB-D 센서로 마련될 수 있으나, 이에 한정되는 것은 아니다.

영상 획득부(100)에서 획득된 다중영상은 후술될 저장부(300)에 데이터 형태로 저장될 수 있으며, 영상 정합을 위해 영상 처리부(200)에 전달될 수 있다.

영상 처리부(200)는 라인 추출부(210), 라인 전처리부(220), K-튜플 선택부(230), K-튜플 매칭부(240), 및 영상 정합부(250)를 포함할 수 있다.

라인 추출부(210)는 영상 획득부(100)으로부터 전달받은 다중영상 각각에 대해 복수의 3D 라인 세그먼트(3D Line Segment, 이하 간단히 '라인 세그먼트' 라 칭함)를 추출한다.

여기서, 라인 세그먼트는 직교 공간(즉, xyz 공간) 및 방향 공간(즉, ijk 공간)으로 각각 표현될 수 있다. 먼저, xyz 공간에서, 라인 세그먼트는 양 끝점의 좌표 즉, 두 개의 좌표 포인트로 표현될 수 있다. 또한, ijk 공간에서, 라인 세그먼트는 단위구면상(2D surface of unit sphere)에 하나의 좌표 포인트로 표현될 수 있다. ijk 공간에서 표현되는 하나의 좌표 포인트는 라인 세그먼트의 방향성을 나타내며, 원점(0,0,0)을 시점으로 하는 법선 벡터(normalized vector)의 끝점을 의미하는 것으로 한다.

또한, 추출된 라인 세그먼트는 다음과 같은 특징을 갖는 것으로 한다. 즉, 라인 세그먼트는 라인 세그먼트가 위치한 부분의 기하학적 형상을 정의하고, 길이를 갖고, ijk 공간에서 고유한 방향을 갖으며, xyz 공간에서 근방의 라인 세그먼트와 거리를 갖는 특징이 있다.

여기서, 기하학적 형상은 경계(boundary), 평면(plane), 볼록한 모서리(convex edge), 및 오목한 모서리(concave edge) 중 하나를 의미하는 것으로 한다. 즉, 각각의 라인 세그먼트는 경계(boundary)에 위치하는 라인 세그먼트, 평면(plane) 상에 위치하는 라인 세그먼트, 볼록한 모서리(convex edge)에 위치하는 라인 세그먼트, 및 오목한 모서리(concave edge)에 위치하는 라인 세그먼트 중 하나이다.

라인 추출부(210)는 라인 세그먼트가 위치한 부분의 기하학적 형상을 검출할 수 있으며, 이에 대한 구체적 설명은 도 2를 참조하여 상술하기로 한다.

도 2는 라인 세그먼트가 위치한 부분의 기하학적 형상 및 이를 검출 방법을 설명하기 위한 도면이다.

도 2를 참조하면, 먼저 라인 세그먼트 qi 에 이웃한 복수의 3D 포인트 pi가 정의될 수 있다. 여기서, 이웃한 복수의 3D 포인트가 '포인트 클라우드' 를 의미하게 되며, 이하 간단히 '이웃 포인트' 라 칭할 수 있다. 또한, 이웃 포인트 pi 에서 표면 법선(surface normal)이 정의 되는데, 이 때, 표면 법선은 라인 세그먼트 qi 에 노말(normal)하거나 노말하게 변환된 것으로 한다.

또한, 이웃 포인트 pi 는 라인 세그먼트 qi 상에 투영된 3D 포인트(이하, '투영 포인트' 라 칭함)를 구성할 수 있으며, 투영 포인트에서 라인 세그먼트 qi 에 노말한 법선(

)가 정의될 수 있다. 이와 같이 정의된 법선을 '투영 법선' 이라 칭하기로 할 때, 라인 추출부(210)는 상술한 바와 같이 라인 세그먼트로부터 정의된 표면 법선과 투영 법선 사이의 각도, 또는 이웃 포인트의 히스토그램과 투영 법선의 히스토그램을 이용하여, 해당 라인 세그먼트가 위치한 부분의 기하학적 형상을 검출할 수 있다. 도 2에서는 빨간색으로 표시된 히스토그램이 이웃 포인트의 히스토그램을, 파란색으로 표시된 히스토그램이 투영 법선의 히스토그램을 각각 의미한다.

도 2에 예시된 바와 같이, 라인 추출부(210)는 이웃 포인트의 히스토그램에서 기준값 H 이상을 갖는 단일 피크(peak)가 존재하는 경우, 라인 세그먼트가 경계(boundary) P1에 위치하는 것으로 판단하고, 투영 법선의 히스토그램에서 기준값 H 이상을 갖는 단일 피크(peak)가 존재하는 경우에는, 라인 세그먼트가 평면(plane) P2에 위치하는 것으로 판단할 수 있다.

또한, 라인 추출부(210)는 이웃 포인트의 히스토그램 및 투영 법선의 히스토그램에서 기준값 H 이상을 갖으며 90°각도를 형성하는 두 개의 피크(peak)가 존재하고, 두 히스토그램이 반대 방향에 배치되는 경우, 라인 세그먼트가 볼록한 모서리(convex edge) P3에 위치하는 것으로 판단할 수 있다. 또한, 라인 추출부(210)는 이웃 포인트의 히스토그램 및 투영 법선의 히스토그램에서 기준값 H 이상을 갖으며 90°각도를 형성하는 두 개의 피크(peak)가 존재하고, 두 히스토그램이 동일한 방향에 배치되는 경우, 라인 세그먼트가 오목한 모서리(concave edge) P4에 위치하는 것으로 판단할 수 있다.

여기서, 기준값 H 는 기설정되어 후술될 저장부(300)에 저장되어 있는 것으로 한다.

라인 전처리부(220)는 복수의 3D 라인 세그먼트를 병합 및 확장하는 전처리를수행한다.

먼저, 라인 전처리부(220)는 라인 세그먼트를 병합할 수 있으며, 이에 대한 구체적 설명은 도 3을 참조하여 상술하기로 한다.

도 3은 라인 세그먼트의 병합 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 라인 전처리부(220)는 서로 다른 두 라인 세그먼트 S1 및 S2가 소정의 조건을 만족하는지 여부를 판단하고, 해당 조건을 만족하는 경우 라인 세그먼트 S1 및 S2의 병합을 수행한다.

구체적으로, 라인 전처리부(220)는 1) 라인 세그먼트 S1 및 S2 사이의 각도 γ가 기준값 T1 이하가 되고, 2) 라인 세그먼트 S1 및 S2의 가장 가까운 끝점 간의 거리 d1이 기준값 T2 이하가 되고, 및 3) 다른 라인 세그먼트의 중심점과의 가장 가까운 거리(즉, S1과 S2의 중심점과의 가장 가까운 거리 d2 및 S2와 S1의 중심점과의 가장 가까운 거리 d3)가 기준값 T3 이하가 되는 경우, L2-norm 피팅을 이용하여 두 라인 세그먼트 S1 및 S2을 병합하고 라인 F1 을 생성한다.

즉, 라인 전처리부(220)는 두 라인 세그먼트 S1 및 S2의 가장 먼 끝점을 L2-norm 투영시키고, 투영된 두 포인트를 양 끝점으로 하여 라인 F1(이하, '병합된 라인 세그먼트' 라 칭함)을 생성할 수 있다. 여기서, 기준값 T1, T2, 및 T3는 기설정되어 후술될 저장부(300)에 저장되어 있는 것으로 한다.

라인 전처리부(220)는 병합된 라인 세그먼트를 확장할 수 있으며, 이에 대한 구체적 설명은 도 4를 참조하여 상술하기로 한다.

도 4는 병합된 라인 세그먼트의 확장 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 라인 전처리부(220)는 병합된 라인 세그먼트 F1이 소정의 조건을 만족하는지 여부를 판단하고, 해당 조건을 만족하는 경우 병합된 라인 세그먼트 F1의 확장을 수행한다. 구체적으로, 라인 전처리부(220)는 1) 이웃 포인트와 병합된 라인 세그먼트 F1 간의 가장 가까운 거리가 d4가 기준값 T4 이하가 되고, 및 2) 이웃 포인트와 병합된 라인 세그먼트의 끝점 간의 가장 가까운 거리 d5가 기준값 T5 이하가 되는 경우, 병합된 라인 세그먼트 F1을 d5 만큼 확장한다.

여기서, 이웃 포인트는 병합된 라인 세그먼트의 길이방향에 존재하는 이웃한 3D 포인트를 의미하는 것으로, 라인 전처리부(220)는 병합된 라인 세그먼트 F1의 양 끝점에서 가까운 이웃 포인트부터 순차적으로 조건 만족 여부를 판단하여 라인 세그먼트를 확장해 나간다. 이와 같은 방법으로 최종적으로 확장된 라인 세그먼트를 이하, '확장된 라인 세그먼트' 라 칭하고 F2로 표기하기로 한다. 또한, 기준값 T4, 및 T5는 기설정되어 후술될 저장부(300)에 저장되어 있는 것으로 한다.

K-튜플 선택부(230)는 확장된 라인 세그먼트를 이용하여 K-튜플셋을 구성하고, K-튜플셋에서 영상 정합을 위한 기준 K-튜플을 선택한다. 여기서, K≥2 인 것으로 한다.

K-튜플셋에 대한 설명을 위해, 먼저 2-튜플에 대해 정의할 수 있다. 즉, n 개의 확장된 라인 세그먼트

에 대해, 2-튜플은

로써 정의될 수 있으며, 총

개의 2-튜플이 구성될 수 있다.

또한, 2-튜플은

에 대해, 각도

는 확장된 라인 세그먼트

및

가 이루는 각도, 거리

는 확장된 라인 세그먼트

및

사이의 가장 가까운 거리,

는 확장된 라인 세그먼트

및

의 길이 차 즉,

,

는 확장된 라인 세그먼트

및

가 위치한 부분의 기하학적 형상으로 각각 정의될 수 있으며, 2-튜플셋은 2-튜플들의 집합인

로 정의될 수 있다.

마찬가지로, K-튜플은

이며, K-튜플셋은 K-튜플들의 집합으로 정의될 수 있으나, 이하 설명의 편의를 위해 K=2 인 것으로 하여 상술하기로 한다.

K-튜플 선택부(230)는 서로 다른 두 개의 확장된 라인 세그먼트의 조합으로 K-튜플셋을 구성한다. 예를 들어, n 개의 확장된 라인 세그먼트

에 대해, K-튜플 선택부(230)는 2-튜플들의 집합인 2-튜플셋

을 구성할 수 있다.

그리고, K-튜플 선택부(230)는 K-튜플셋에서 적어도 하나의 K-튜플을 선택한다. 예를 들어, K-튜플 선택부(230)는 2-튜플셋

에서 2-튜플

을 선택할 수 있다.

이와 같이 선택된 K-튜플이 영상 정합을 위한 기준 K-튜플이 되는 것으로, 이하 '기준 K-튜플'이라 칭하기로 한다.

K-튜플 매칭부(240)는 기준 K-튜플을 다중영상 간에 매칭시킨다. K-튜플 매칭부(240)는 제 1영상에서 선택된 기준 K-튜플과 제 2영상에서 선택된 기준 K-튜플을 매칭시킨다. K-튜플 매칭부(240)는 제 2영상의 K-튜플셋에서 하기의 조건을 만족하는 K-튜플

을 검출하고, 검출된 K-튜플을 제 1영상의 기준 K-튜플

에 매칭되는 제 2영상의 기준 K-튜플

로 정의할 수 있다.

즉, K-튜플 매칭부(240)는 다중영상 간에 1)

, 2)

, 3)

, 및 4)

의 조건을 만족하는, 기준 K-튜플

과 기준 K-튜플

을 매칭시킬 수 있다. 여기서, 기준값 T6, T7, 및 T8은 기설정되어 후술될 저장부(300)에 저장되어 있는 것으로 한다.

영상 정합부(250)는 기준 K-튜플을 이용하여 영상 정합을 수행한다. 도 1을 다시 참조하면, 영상 정합부(250)는 회전 변환부(251) 및 위치 변환부(252)를 포함하여, 기준 K-튜플을 이용하여 회전 변환(rotation) 및 위치 변환(translation)하는 영상 정합을 수행할 수 있다.

회전 변환부(251)는 기준 K-튜플을 이용하여 다중영상의 회전 변환을 수행할 수 있다. 회전 변환부(251)는 ijk 공간에서 기준 K-튜플의 회전 변환을 수행할 수 있다. 회전 변환에 대한 설명을 위해, 기준 K-튜플

및

에 대한 ijk 공간에서의 좌표 포인트를 라인

및

으로 각각 표기하기로 한다. 즉, 제 1영상의 기준 K-튜플

에 대한 좌표 포인트를 라인

으로 표기하고, 제 2영상의 기준 K-튜플

에 대한 좌표 포인트를 라인

으로 표기하기로 한다.

회전 변환부(251)는 ijk 공간에서의 두 라인

및

을 동일 평면에 위치하도록 회전시키는 회전 변환을 수행할 수 있다. 예를 들어, 회전 변환부(251)는 하기의 [수학식 1]을 이용하여 회전 변환을 수행할 수 있다.

[수학식 1]

여기서,

은 회전축

에 대해 각도

만큼 회전하는 것을 의미한다.

회전 변환부(251)는

및

에 대해, 상술한 [수학식 1]을 이용하여 제 1회전 변환

을 수행하고,

및

에 대해, 상술한 [수학식 2]를 이용하여 제 2회전 변환

를 수행할 수 있다. 즉, 회전 변환부(251)는

의 회전 변환을 수행한다.

다만, 상술한 방법은 일 예에 불과한 것으로, 회전 변환부(251)는 제 1영상의 기준 K-튜플과 제 2영상의 기준 K-튜플의 ijk 공간 상에서의 방향이 매칭되도록 회전 변환을 수행할 수만 있다면, 공지된 임의의 회전 변환 방법 또는 알고리즘을 이용할 수 있음은 물론이다.

위치 변환부(252)는 기준 K-튜플을 이용하여 위치 변환을 수행할 수 있다. 위치 변환부(252)는 xyz 공간에서 기준 K-튜플의 위치 변환을 수행할 수 있다. 위치 변환에 대한 설명을 위해, 먼저, 제 1영상에서 정의된 라인 벡터 상에서 원점에 가장 가까운 포인트를

으로, 제 2영상에서 정의된 라인 벡터 상에서 원점에 가장 가까운 포인트를

로 각각 표기하기로 한다. 이 때,

는 하기의 [수학식 2]과 같은 관계를 갖는 것으로 한다.

[수학식 2]

여기서,

는 xyz 공간에서 제 2영상의 라인 벡터의 양 끝점을 의미한다.

상술한 바와 같은 정의에서,

의 위치를

의 위치에 대응시키는 위치 변환 D는 하기의 [수학식 3]을 이용하여 수행될 수 있다.

[수학식 3]

기준 K-튜플은 두 개의 라인 벡터 즉, 두 개의 확장된 라인 세그먼트로 구성되기 때문에, 위치 변환부(252)는 하기와 같이 [수학식 4]를 이용하여 위치 변환 D를 수행할 수 있다.

[수학식 4]

다만, 상술한 방법은 일 예에 불과한 것으로, 위치 변환부(252)는 제 1영상의 기준 K-튜플과 제 2영상의 기준 K-튜플의 xyz 공간 상에서의 위치가 매칭되도록 위치 변환을 수행할 수만 있다면, 공지된 임의의 위치 변환 방법 또는 알고리즘을 이용할 수도 있음은 물론이다.

영상 정합부(250)는 회전 변환부(251)를 통해 ijk 공간에서 기준 K-튜플의 회전 변환하고, 위치 변환부(252)를 통해 xyz 공간에서 기준 K-튜플의 위치 변환하여, 다중영상 간의 영상 정합을 수행할 수 있다.

다시 도 1을 참조하면, 저장부(300)는 영상 정합을 위한 데이터나 알고리즘을 저장할 수 있다.

예를 들어, 저장부(300)는 영상 획득부(100)를 통해 획득한 복수의 영상 즉, 다중영상을 저장할 수 있다. 저장부(300)는 획득된 영상 각각에 대해 추출된 복수의 라인 세그먼트를 저장할 수 있다. 저장부(300)는 병합된 라인 세그먼트 및 확장된 라인 세그먼트를 저장할 수 있다. 저장부(300)는 K-튜플셋 및 선택된 기준 K-튜플셋을 저장할 수 있다. 저장부(300)는 기설정된 기준값 T1 내지 T8를 저장할 수 있다.

또한, 저장부(300)는 라인 세그먼트를 병합하거나 확장하기 위한 알고리즘, 기준 K-튜플을 이용하여 영상의 회전 변환 또는 위치 변환을 수행하기 위한 알고리즘 등을 저장할 수 있다.

이와 같은 저장부(300)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 당업계에 알려져 있는 임의의 다른 형태로 구현될 수도 있다.

이상으로 영상 처리 장치를 예시된 블록도를 바탕으로 설명하였으며, 이하에서는 주어진 흐름도를 참조하여 영상 처리 방법을 살펴보기로 한다. 이 때, 도 1 내지 도 4를 통해 상술한 내용과 동일하거나 대응되는 설명은 생략하는 것으로 한다.

도 5은 영상 처리 방법의 일 실시예에 따른 흐름도이다.

도 5를 참조하면, 먼저, 영상 처리부(200)는 다중영상에서 복수의 라인 세그먼트를 각각 추출한다(510).

여기서, 다중영상은 3차원 영상을 의미한다. 다중영상은 서로 다른 위치에서 획득한 중첩이 있는 두 장의 3D 영상 즉, 제 1영상 및 제 2영상을 포함할 수 있다. 또한, 다중영상은 카메라 센서, 예를 들어, RGB-D 센서로부터 획득된 RGB-D 영상일 수 있다.

영상 처리부(200)는 다중영상 각각에 대해 복수의 라인 세그먼트를 추출할 수 있다. 여기서, 라인 세그먼트는 직교 공간(즉, xyz 공간) 및 방향 공간(즉, ijk 공간)으로 각각 표현될 수 있으며, 경계(boundary), 평면(plane), 볼록한 모서리(convex edge), 또는 오목한 모서리(concave edge) 상에 위치할 수 있다. 즉, 각각의 라인 세그먼트는 경계(boundary)에 위치하는 라인 세그먼트, 평면(plane) 상에 위치하는 라인 세그먼트, 볼록한 모서리(convex edge)에 위치하는 라인 세그먼트, 및 오목한 모서리(concave edge)에 위치하는 라인 세그먼트 중 하나이다.

다음으로, 영상 처리부(200)는 선택된 복수의 라인 세그먼트를 병합 및 확장하는 전처리를 수행한다(520).

먼저, 영상 처리부(200)는 라인 세그먼트를 병합할 수 있다. 영상 처리부(200)는 서로 다른 두 라인 세그먼트 S1 및 S2가 소정의 조건을 만족하는지 여부를 판단하고, 해당 조건을 만족하는 경우 라인 세그먼트 S1 및 S2의 병합을 수행한다.

구체적으로, 영상 처리부(200)는 1) 라인 세그먼트 S1 및 S2 사이의 각도 γ가 기준값 T1 이하가 되고, 2) 라인 세그먼트 S1 및 S2의 가장 가까운 끝점 간의 거리 d1이 기준값 T2 이하가 되고, 및 3) 다른 라인 세그먼트의 중심점과의 가장 가까운 거리(즉, S1과 S2의 중심점과의 가장 가까운 거리 d2 및 S2와 S1의 중심점과의 가장 가까운 거리 d3)가 기준값 T3 이하가 되는 경우, L2-norm 피팅을 이용하여 두 라인 세그먼트 S1 및 S2을 병합하고 병합된 라인 세그먼트 F1 을 생성할 수 있다.

영상 처리부(200)는 병합된 라인 세그먼트를 확장할 수 있다. 영상 처리부(200)는 병합된 라인 세그먼트 F1이 소정의 조건을 만족하는지 여부를 판단하고, 해당 조건을 만족하는 경우 병합된 라인 세그먼트 F1의 확장을 수행한다.

구체적으로, 영상 처리부(200)는 1) 이웃 포인트와 병합된 라인 세그먼트 F1 간의 가장 가까운 거리가 d4가 기준값 T4 이하가 되고, 및 2) 이웃 포인트와 병합된 라인 세그먼트의 끝점 간의 가장 가까운 거리 d5가 기준값 T5 이하가 되는 경우, 병합된 라인 세그먼트 F1을 d5 만큼 확장한다. 여기서, 이웃 포인트는 병합된 라인 세그먼트의 길이방향에 존재하는 이웃한 3D 포인트를 의미한다.

영상 처리부(200)는 병합된 라인 세그먼트 F1의 양 끝점에서 가까운 이웃 포인트부터 순차적으로 조건 만족 여부를 판단하여, 최대한 길게 확장된 라인 세그먼트 F2를 생성할 수 있다.

영상 처리부(200)는 확장된 라인 세그먼트로부터 K-튜플셋을 구성하고, 영상 정합을 위한 기준 K-튜플을 선택한다(530).

예를 들어, 영상 처리부(200)는 n 개의 확장된 라인 세그먼트

에 대해, 서로 다른 두 확장된 라인 세그먼트의 조합으로 구성된 2-튜플셋

을 획득할 수 있다. 그리고, 영상 처리부(200)는 2-튜플셋

에서 영상 정합의 기준이 되는 기준 2-튜플

을 선택할 수 있다.

영상 처리부(200)는 선택된 기준 K-튜플을 다중영상 즉, 제 1영상 및 제 2영상 간에 매칭시킨다(540).

영상 처리부(200)는 제 1영상에서 선택된 기준 K-튜플과 제 2영상에서 선택된 기준 K-튜플을 매칭시킨다. 영상 처리부(200)는 소정의 조건 예를 들어, 1)

, 2)

, 3)

, 및 4)

의 조건을 만족하는, 기준 K-튜플

과 기준 K-튜플

을 매칭시킬 수 있다.

영상 처리부(200)는 매칭된 기준 K-튜플을 이용하여 영상을 회전 변환 및 위치 변환시키는 영상 정합을 수행한다(550).

영상 처리부(200)는 기준 K-튜플을 이용하여, ijk 공간에서 다중영상의 회전 변환을 수행할 수 있다.

제 1영상의 기준 K-튜플

에 대한 ijk 공간에서의 좌표 포인트를 라인

으로, 제 2영상의 기준 K-튜플

에 대한 ijk 공간에서의 좌표 포인트를 라인

으로 각각 표기할 때, 영상 처리부(200)는 ijk 공간에서의 두 라인

및

을 동일 평면에 위치하도록 회전시키는 회전 변환을 수행할 수 있다.

영상 처리부(200)는 하기의 [수학식 1]을 이용하여,

및

에 대해 제 1회전 변환

을 수행하고,

및

에 대해 제 2회전 변환

를 수행할 수 있다. 즉, 영상 처리부(200)는

의 회전 변환을 수행할 수 있다.

[수학식 1]

여기서,

은 회전축

에 대해 각도

만큼 회전하는 것을 의미한다.

다만, 상술한 방법은 일 예에 불과한 것으로, 영상 처리부(200)는 제 1영상의 기준 K-튜플과 제 2영상의 기준 K-튜플의 ijk 공간 상에서의 방향이 매칭되도록 회전 변환을 수행할 수만 있다면, 공지된 임의의 회전 변환 방법 또는 알고리즘을 이용할 수 있음은 물론이다.

영상 처리부(200)는 기준 K-튜플을 이용하여, xyz 공간에서 다중영상의 위치 변환을 수행할 수 있다.

제 1영상의 라인 벡터 상에서 원점에 가장 가까운 포인트를

로 각각 정의할 때,

의 위치를

[수학식 3]

기준 K-튜플은 두 개의 라인 벡터 즉, 두 개의 확장된 라인 세그먼트로 구성되기 때문에, 영상 처리부(200)는 하기와 같이 [수학식 4]를 이용하여 위치 변환 D를 수행할 수 있다.

[수학식 4]

다만, 상술한 방법은 일 예에 불과한 것으로, 영상 처리부(200)는 제 1영상의 기준 K-튜플과 제 2영상의 기준 K-튜플의 xyz 공간 상에서의 위치가 매칭되도록 위치 변환을 수행할 수만 있다면, 공지된 임의의 위치 변환 방법 또는 알고리즘을 이용할 수도 있음은 물론이다.

영상 처리부(200)는 ijk 공간에서 기준 K-튜플의 회전 변환하고, xyz 공간에서 기준 K-튜플의 위치 변환하여 다중영상 간의 영상 정합을 수행할 수 있는 것이다.

도 6는 다중영상의 영상 정합 과정을 나타내는 도면이다. 구체적으로, 도 6의 (a)는 획득한 다중영상, 도 6의 (b)는 표면 법선, 도 6의 (c)는 확장된 라인 세그먼트, 도 6의 (d)는 다중영상 간의 2-튜플이 매칭된 상태, 도 6의 (e)는 제 1회전 변환을 수행한 상태, 도 6의 (f)는 제 2회전 변환을 수행한 상태, 및 도 6의 (g)는 위치 변환을 수행하여 영상 정합을 완료한 상태를 순차적으로 보여주고 있다.

도 6에 도시된 바와 같이, 3D 라인 세그먼트를 추출 및 확장된 라인 세그먼트를 이용하여 영상 정합의 수행이 가능하다. 확장된 라인 세그먼트로 구성된 2-튜플을 매칭시키고, 회전 변환 및 위치 변환을 통해 안정적인 영상 정합을 수행할 수 있다.

상술한 영상 처리 장치 및 영상 처리 방법에 의하면, 종래 영상 정합 기법에서 요구되던 초기 작업 즉, 서로 다른 위치에서 촬영한 다중 영상의 최적 영상 정합을 위해 반드시 필요했던 두 장의 포인트 클라우드 세트를 최대한 가까운 곳으로 옮기는 작업을 생략할 수 있다.

이상과 같이 예시된 도면을 참조로 하여, 영상 처리 장치 및 영상 처리 방법의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시 될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.

100 : 영상 획득부 200 : 영상 처리부
210 : 라인 추출부 220 : 라인 전처리부
230 : K-튜플 선택부 240 : K-튜플 매칭부
250 : 영상 정합부 251 : 회전 변환부
252 : 위치 변환부 300 : 저장부

Claims

다중영상에서 복수의 라인 세그먼트(Line Segment)를 추출하는 라인 추출부;
상기 라인 세그먼트를 병합한 후, 상기 병합된 라인 세그먼트의 길이방향에 존재하는 이웃 포인트를 이용하여, 상기 병합된 라인 세그먼트를 확장하는 라인 전처리부;
K(단, K≥2) 개의 상기 확장된 라인 세그먼트로 구성된 K-튜플을 선택하는 K-튜플 선택부;
상기 다중영상 간에 상기 K-튜플을 매칭시키는 K-튜플 매칭부; 및
상기 매칭된 K-튜플을 이용하여, 상기 다중영상의 영상 정합을 수행하는 영상 정합부;
를 포함하는 영상 처리 장치.
제 1 항에 있어서,
상기 다중영상은,
서로 다른 위치에서 획득한 중첩이 있는 제 1영상 및 제 2 영상을 포함하는 영상 처리 장치.
제 1 항에 있어서,
상기 다중영상은,
RGB-D 영상인 영상 처리 장치.
제 1 항에 있어서,
상기 라인 세그먼트는,
3차원 라인 세그먼트인 영상 처리 장치.
제 1 항에 있어서,
상기 라인 전처리부는,
L2-norm 피팅을 이용하여, 상기 라인 세그먼트를 병합하는 영상 처리 장치.
삭제
제 1 항에 있어서,
상기 영상 정합부는,
상기 매칭된 K-튜플을 이용하여, 상기 다중영상을 회전 변환(rotation)하는 영상 처리 장치.
제 7 항에 있어서,
상기 영상 정합부는,
방향 공간(ijk 공간)에서 상기 다중영상을 회전 변환하는 영상 처리 장치.
제 8 항에 있어서,
상기 영상 정합부는,
상기 방향 공간(ijk 공간) 상에서, 상기 매칭된 K-튜플의 방향을 일치시키는 상기 회전 변환을 수행하는 영상 처리 장치.
제 1 항에 있어서,
상기 영상 정합부는,
상기 매칭된 K-튜플을 이용하여, 상기 다중영상을 위치 변환(translation)하는 영상 처리 장치.
제 10 항에 있어서,
상기 영상 정합부는,
직교 공간(xyz 공간)에서 상기 다중영상을 회전 변환하는 영상 처리 장치.
제 11 항에 있어서,
상기 영상 정합부는,
상기 직교 공간(xyz 공간) 상에서, 상기 매칭된 K-튜플의 위치를 일치시키는 상기 회전 변환을 수행하는 영상 처리 장치.
다중영상에서 복수의 라인 세그먼트(Line Segment)를 추출하고;
상기 라인 세그먼트를 병합한 후, 상기 병합된 라인 세그먼트의 길이방향에 존재하는 이웃 포인트를 이용하여, 상기 병합된 라인 세그먼트를 확장하고;
K(단, K≥2) 개의 상기 확장된 라인 세그먼트로 구성된 K-튜플을 선택하고;
상기 다중영상 간에 상기 K-튜플을 매칭시키고; 및
상기 매칭된 K-튜플을 이용하여, 상기 다중영상의 영상 정합을 수행하는;
것을 포함하는 영상 처리 방법.
제 13 항에 있어서,
상기 라인 세그먼트를 병합하는 것은,
L2-norm 피팅을 이용하여, 상기 라인 세그먼트를 병합하는 것인 영상 처리 방법.
삭제
제 13 항에 있어서,
상기 다중영상의 영상 정합을 수행하는 것은,
상기 매칭된 K-튜플을 이용하여, 상기 다중영상을 회전 변환(rotation)하는 것을 포함하는 영상 처리 방법.
제 16 항에 있어서,
상기 다중영상의 영상 정합을 수행하는 것은,
방향 공간(ijk 공간) 상에서, 상기 매칭된 K-튜플의 방향을 일치시키는 상기 회전 변환을 수행하는 것을 포함하는 영상 처리 방법.
제 13 항에 있어서,
상기 다중영상의 영상 정합을 수행하는 것은,
상기 매칭된 K-튜플을 이용하여, 상기 다중영상을 위치 변환(translation)하는 것을 포함하는 영상 처리 방법.
제 18 항에 있어서,
상기 다중영상의 영상 정합을 수행하는 것은,
직교 공간(xyz 공간) 상에서, 상기 매칭된 K-튜플의 위치를 일치시키는 상기 위치 변환을 수행하는 것을 포함하는 영상 처리 방법.