KR102422292B1

KR102422292B1 - 2차원 영상으로부터 3차원 좌표를 추출하는 방법 및 그 장치

Info

Publication number: KR102422292B1
Application number: KR1020200145527A
Authority: KR
Inventors: 김동욱; 김진호
Original assignee: 김동욱
Priority date: 2020-11-03
Filing date: 2020-11-03
Publication date: 2022-07-18
Also published as: KR20220059844A

Abstract

2차원 영상으로부터 3차원 좌표를 추출하는 방법 및 그 장치가 개시된다. 3차원좌표추출장치는 일정 영역이 중첩된 제1 영상 및 제2 영상을 입력받으면 두 영상의 투영중심 및 자세정보를 포함하는 외부표정요소를 기초로 초기 공간좌표를 파악하고, 제1 영상에 3차원 좌표를 구하고자 하는 제1 지점을 표시하고, 초기 공간좌표의 높이값 변화에 따라 변경되는 영상좌표의 제2 지점을 제2 영상에 표시하며, 제1 영상에 표시된 제1 지점과 제2 영상에 표시된 제2 지점이 일치할 때 제2 영상에 표시된 제2 지점의 영상좌표를 기초로 공간좌표를 파악한다.

Description

2차원 영상으로부터 3차원 좌표를 추출하는 방법 및 그 장치{Method and apparatus for obtaining 3D-coordinates from 2D-image}

본 발명의 실시 예는 2차원 영상으로부터 3차원 좌표를 추출하는 방법 및 그 장치에 관한 것으로, 보다 상세하게는 드론을 포함한 비행체를 통해 촬영한 2차원 영상을 이용하여 3차원 좌표를 파악하는 방법 및 그 장치에 관한 것이다.

항공촬영을 통해 얻는 2차원의 항공사진으로부터 3차원 좌표를 얻기 위해서는 복수의 항공사진의 시차를 제거하고 3차원 좌표를 구하고자 하는 위치에 복수의 항공사진을 입체적으로 정확하게 위치시켜야 한다. 이를 위해 종래에는 스테레오 입체시 방법을 주로 사용한다.

입체시는 중복된 항공사진 내 특정 객체에 대한 원근감을 얻기 위하여 사용하는 방식으로 원근감을 통해 객체의 깊이를 정확하게 인지할 수 있어 3차원 좌표 측정시 주로 사용되는 방법이다. 입체시 방법은 편광 패시브(passive) 또는 셔터 액티브(active) 방식의 모니터와 각 모니터에 맞는 특수 제작된 안경을 사용하여 중복된 입체사진 중 왼쪽 사진은 왼쪽 눈에 투명하고 오른쪽 사진은 오른쪽 눈에 투영하여 지형이나 지물에 대한 3차원 좌표를 획득하는 과정이다.

그러나 종래의 입체시 방법은 중복된 영상에서 시차를 제거하여 정확하게 동일지역을 선택해야 하는 고도의 숙련된 기술이 필요할 뿐만 아니라 입체시 구현을 위한 스테레오 입체시 모니터 및 스테레오 비전 지원 그래픽 카드 등의 고가 장비가 필수적이므로 전문가가 아닌 일반인이 수행하기는 어렵다.

본 발명의 실시 예가 이루고자 하는 기술적 과제는, 일반 사용자도 용이하게 2차원 영상의 시차를 제거하여 정확한 3차원 좌표를 추출할 수 있는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 3차원 좌표 추출 방법의 일 예는, 일정 영역이 중첩된 제1 영상 및 제2 영상을 입력받는 단계; 상기 제1 영상 및 제2 영상의 투영중심 및 자세정보를 포함하는 외부표정요소를 기초로 상기 제1 영상 및 상기 제2 영상의 일정 위치의 영상좌표에 대한 공간좌표를 파악하는 상대표정을 수행하는 단계; 상기 제1 영상 및 제2 영상을 각각 표시하는 단계; 상기 제1 영상에 3차원 좌표를 구하고자 하는 제1 지점을 표시하는 단계; 상기 공간좌표의 높이값 변화에 따라 변경되는 영상좌표의 제2 지점을 상기 제2 영상에 표시하는 단계; 및 상기 제1 영상에 표시된 제1 지점과 상기 제2 영상에 표시된 제2 지점이 일치할 때 상기 제2 영상에 표시된 제2 지점의 영상좌표를 기초로 공간좌표를 파악하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 3차원좌표추출장치의 일 예는, 일정 영역이 중첩된 제1 영상 및 제2 영상을 입력받는 영상입력부; 상기 제1 영상 및 제2 영상의 투영중심 및 자세정보를 포함하는 외부표정요소를 기초로 상기 제1 영상 및 상기 제2 영상의 일정 위치의 영상좌표에 대한 공간좌표를 파악하는 상대표정을 수행하는 상대표정부; 상기 제1 영상 및 제2 영상을 각각 표시하는 영상표시부; 상기 제1 영상에서 3차원 좌표를 구하고자 하는 제1 지점을 표시하고, 상기 공간좌표의 높이값 변화에 따라 변경되는 영상좌표의 제2 지점을 상기 제2 영상에 표시하는 위치조정부; 및 상기 제1 영상에 표시된 제1 지점과 상기 제2 영상에 표시된 제2 지점이 일치하면 상기 제2 영상에 표시된 제2 지점의 영상좌표를 기초로 공간좌표를 파악하여 출력하는 좌표파악부;를 포함한다.

본 발명의 실시 예에 따르면, 일반 컴퓨터를 이용하여 일반 사용자도 2차원 영상으로부터 정확한 3차원 좌표를 추출할 수 있다.

도 1은 본 발명의 실시 예에 따라 일정 지역을 촬영한 2차원 영상의 일 예를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 2차원 영상으로부터 3차원 좌표를 추출하는 방법의 일 예를 도시한 흐름도,
도 3은 본 발명의 실시 예에 따른 상대표정 수행 후의 두 영상을 표시한 도면,
도 4는 본 발명의 실시 예에 따른 공간좌표의 높이값 변화에 대한 영상좌표의 변화의 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 영상의 공선조건의 일 예를 도시한 도면,
도 6 및 도 7은 본 발명의 실시 예에 따른 영상좌표계와 지상좌표계 사이의 변환 방법의 일 예를 도시한 도면,
도 8은 본 발명의 실시 예에 따른 상대표정의 방법의 일 예를 도시한 도면, 그리고,
도 9는 본 발명의 실시 예에 따른 3차원좌표추출장치의 일 예의 구성을 도시한 도면이다.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 3차원 좌표 추출 방법 및 그 장치에 대해 상세히 설명한다.

도 1은 본 발명의 실시 예에 따라 일정 지역을 촬영한 2차원 영상의 일 예를 도시한 도면이다.

도 1을 참조하면, 일정 지역을 중첩 촬영한 복수의 2차원 영상(이하, '영상'이라고 함)(100,120,130,140)이 존재할 수 있다. 영상은 드론을 포함한 다양한 종류의 비행체를 통해 촬영하여 획득할 수 있다. 예를 들어, 드론은 일정 지역을 왕복하면서 촬영 영역이 중첩되는 복수의 영상(100,120,130,140)을 촬영할 수 있다. 본 실시 예는 설명의 편의를 위하여 이하에서 촬영 주체의 일 예로 드론을 가정하여 설명한다. 다만, 본 실시 예는 영상의 촬영 주체가 무엇인지에 따라 한정되는 것은 아니다.

본 실시 예의 3차원 좌표 추출을 위해서는 촬영 영역이 중첩되는 적어도 두 개 이상의 영상이 필요하다. 일 실시 예로, 일정 영역이 중첩되는 두 개의 영상을 사용자가 직접 선택할 수 있다. 다른 실시 예로, 본 발명이 구현된 3차원좌표추출장치는 일정 지역을 중첩 촬영한 복수의 영상(100,120,130,140)에서 중첩 영역의 비율이 높은 순으로 두 개의 영상을 선택할 수 있다. 두 영상의 중첩 여부는 종래의 다양한 영상 인식 기술을 이용하거나 영상 내 동일 특징점의 개수를 기초로 결정될 수 있다. 영상의 특징점은 SIFT(scale-invariant feature transform), SURF(speeded up robust features) 등과 같은 종래의 다양한 특징점 추출자를 이용하여 추출할 수 있다. 이 외에도 3차원 좌표 추출을 위한 두 영상의 선택은 종래의 다양한 방법을 통해 결정될 수 있으며 어느 한 가지 방법으로 한정되는 것은 아니다.

본 실시 예는 설명의 편의를 위하여 복수의 영상(100,120,130,140)이 동일 평면에 정렬된 것처럼 도시하고 있으나, 실제 드론 등을 통해 촬영된 항공 영상은 촬영 방향 및 기울기 등은 서로 다를 수 있다. 다시 말해, 각 영상은 도 5와 같이 평면에 대하여 일정 각도 기울어져 있을 수 있다. 따라서 3차원 좌표를 구하기 위해서는 영상의 표정(orientation)이 필요하다.

이를 위해, 드론은 영상을 촬영할 때의 위치정보 및 자세정보를 파악하는 센서를 포함한다. 예를 들어, 드론은 GNSS(Global Navigaion Satellite System) 등을 통해 촬영 위치정보를 파악하고, 또한 지자기 센서, 자이로 센서, 가속도 센서 등을 통해 카메라의 촬영 자세정보(카메라 기울기, 방향 등)를 파악할 수 있다. 이 외에도 촬영 위치나 자세정보를 파악하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다. GPS/INS 안테나의 위치가 카메라의 초점면(focal plane)의 중심과 떨어져 있는 경우에 촬영 위치정보(즉, 안테나 위치)와 카메라의 초점거리 등을 이용하여 도 5에서 살펴볼 영상의 투영중심(L)을 구할 수 있다. 일 예로, GPS/INS 안테나의 위치가 카메라의 초점면에 위치하면 안테나를 통해 파악한 촬영 위치와 카메라의 투영중심이 일치할 수 있다. 본 실시 예는 이하에서 설명의 편의를 위하여 촬영 위치와 투영중심이 일치한다고 가정하여 설명한다.

도 2는 본 발명의 실시 예에 따른 2차원 영상으로부터 3차원 좌표를 추출하는 방법의 일 예를 도시한 흐름도이다.

도 2를 참조하면, 3차원좌표추출장치는 일정 영역이 중첩된 제1 영상 및 제2 영상을 입력받는다(S200). 제1 영상 및 제2 영상의 메타데이터는 카메라 정보를 포함한 투영중심 및 자세정보를 포함할 수 있고, 이 경우 3차원좌표추출장치는 영상의 메타데이터로부터 두 영상의 카메라 정보, 촬영 위치정보(즉, 투영중심) 및 자세정보를 파악할 수 있다. 카메라 정보는 초점거리, 이미지 해상도 등 실시 예에 따라 다양한 정보를 포함할 수 있다.

3차원좌표추출장치는 제1 영상 및 제2 영상의 투영중심 및 자세정보를 포함하는 외부표정요소(exterior orientation parameter)를 기초로 제1 영상 및 제2 영상의 일정 영상좌표(예를 들어, 각 영상의 중앙좌표 등)에 해당하는 공간좌표를 파악하는 상대표정(relative orientation)을 수행한다(S210). 여기서 영상좌표는 영상 내 특정 위치를 가리키는 2차원 좌표이고, 공간좌표는 3차원 공간위치를 가리키는 3차원 좌표이다.

드론이 X축 방향으로 진행하면서 영상을 촬영하는 경우에 상대표정은 영상의 Y시차를 제거하는 과정이다. 종래의 상대표정이라고 함은, 입체시 방법을 이용하여 두 영상에서 3차원 좌표를 구하고자 하는 지점을 특정한 후 스테레오 입체시 모니터 등을 이용하여 두 영상의 특정 지점이 입체적으로 일치하도록 정렬하여 두 영상의 Y 시차를 제거하는 방법이다.

이에 반해, 본 실시 예의 상대표정이라고 함은 두 영상의 외부표정요소를 기초로 두 영상이 에피폴라 기하를 만족하는 공간좌표를 추정하는 과정이다. 에피폴라 기하를 만족하는 공간좌표를 추정하는 과정을 통해 두 영상의 시차가 제거되는 효과를 얻을 수 있다. 두 영상의 영상좌표가 주어지면 외부표정요소를 이용하여 에피폴라 기하를 만족하는 공간좌표를 산출하는 방법의 일 예가 도 8에 도시되어 있다. 이 외에도 에피폴라 기하를 만족하는 공간좌표를 구하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있으며, 본 실시 예는 도 8의 방법으로 한정되는 것은 아니다.

종래와 같이 입체시를 통해 두 영상의 시차를 제거한 후 두 영상의 동일 지점을 특정하여 에피폴라 기하를 만족하는 공간좌표를 구하면 정확한 3차원 좌표를 얻을 수 있다. 그러나 본 실시 예는 입체시 방법 등을 사용하지 않으므로 미리 두 영상의 시차를 제거할 수가 없으며, 따라서 두 영상의 외부표정요소를 기초로 에피폴라 기하를 만족하는 초기 공간좌표를 추정하면, 그 초기 공간좌표는 정확하지 않다.

본 실시 예는 부정확한 초기 공간좌표를 보정하기 위하여 다음 과정을 수행한다.

먼저, 3차원좌표추출장치는 제1 영상 및 제2 영상을 화면에 각각 표시한다(S220). 예를 들어, 도 3 같이 두 영상(300,310)을 화면에 표시할 수 있다.

3차원좌표추출장치는 사용자로부터 3차원 좌표를 구하고자 하는 지점을 입력받아 제1 영상에 해당 지점(즉, 제1 지점)을 표시한다(S230). 도 3을 참조하면, 사용자가 제1 영상(300)에서 3차원 좌표를 구하고자 하는 지점(302)을 선택하면, 3차원좌표추출장치는 선택받은 지점(302)에 'X'자를 표시한다. 실시 예에 따라 'X' 외의 다양한 표식 방법이 사용될 수 있다.

3차원좌표추출장치는 초기 공간좌표에서 높이값의 변화에 따라 변경되는 제2 영상의 영상좌표(즉, 제2 지점)를 구하여 제2 영상에 표시한다(S240,S250). 이때 제1 영상의 공간좌표의 높이값은 고정하고, 제2 영상의 공간좌표의 높이값을 변경하여 제2 지점을 파악할 수 있다.

예를 들어, 3차원좌표추출장치는 초기 공간좌표의 높이값이 변경되면 변경된 높이값을 기초로 에피폴라 기하를 만족하는 공간좌표를 파악하는 상대표정을 다시 수행한다. 3차원좌표추출장치는 높이값 변화에 따라 새롭게 구한 공간좌표에 해당하는 제2 영상의 영상좌표를 공선조건을 통해 구하고, 제2 영상의 영상좌표에 'X'자를 표시한다. 도 3을 참조하면, 제1 영상(300)에는 3차원 좌표를 구하고자 하는 제1 지점(302)이 'X'로 표시되고, 제2 영상(310)에는 상대표정을 통해 추정한 공간좌표에 해당하는 영상좌표의 제2 지점(312)에 'X'가 표시된다.

3차원좌표추출장치는 제2 영상의 제2 지점이 제1 영상의 제1 지점과 일치할 때까지 제2 영상의 공간좌표의 높이값을 변경한다(S240~S260). 예를 들어, 공간좌표의 높이값 변화에 따라 도 4와 같이 제2 영상(400)의 제2 지점(410)과 제1 영상의 제1 지점(302)이 일치할 수 있다. 제1 지점과 제2 지점이 일치하는지 여부는 사용자가 두 영상에 각각 표시된 'X' 표시가 영상 내 동일 지점을 가리키는지 확인하여 파악할 수 있다. 다른 실시 예로, 3차원좌표추출장치는 두 영상 내 제1 지점과 제2 지점이 동일한 위치인지 여부를 종래의 다양한 영상인식방법 또는 딥러닝 등의 인공지능모델을 통해 파악할 수 있으며, 이 경우 사용자의 입력없이 3차원좌표추출장치가 높이값을 자동으로 변경하면서 제1 지점과 제2 지점이 일치하는 공간좌표의 높이값을 파악할 수 있다.

제1 영상의 제1 지점과 제2 영상의 제2 지점이 일치하면(S260), 3차원좌표추출장치는 제2 영상의 제2 지점의 영상좌표에 해당하는 공간좌표를 파악한다(S270). 제1 지점과 제2 지점이 일치할 때의 높이값을 알고 있으므로, 3차원좌표추출장치는 공선조건을 이용하여 제2 지점의 영상좌표에 해당하는 공간좌표를 파악할 수 있다.

예를 들어, 초기 상대표정을 통해 구한 초기 공간좌표의 높이값이 5이고, 제1 지점과 제2 지점을 일치시키기 위하여 높이값을 '+2'만큼 변경하였다면, 3차원좌표추출장치는 초기 공간좌표의 높이값에 조정한 높이값을 가감한 '7'을 3차원 좌표를 구하고자 하는 지점의 공간좌표의 높이값으로 결정할 수 있다. 3차원좌표추출장치는 제1 지점과 제2 지점이 일치할 때의 높이값과 제2 영상의 영상좌표를 기초로 공선조건을 만족하는 공간좌표의 X축 및 Y축의 좌표를 구할 수 있다. 예를 들어, 3차원좌표추출장치는 수학식 13을 이용하여 제1 영상의 제1 지점에 대한 3차원 좌표를 구할 수 있다.

이와 같은 방법으로 영상 내 다양한 지점에 대한 3차원 좌표를 구할 수 있다. 이때 3차원 좌표는 영상 내 각 지점 사이의 상대좌표값이다. 영상 내 특정 지점에 대한 높이 실측값이 존재하면, 이를 기초로 영상 내 각 지점의 절대좌표값을 구할 수 있다.

도 3은 본 발명의 실시 예에 따른 초기 상대표정 수행 후의 두 영상을 표시한 도면이다.

도 3을 참조하면, 3차원좌표추출장치는 두 영상(300,310)의 초기영상좌표(예를 들어, 영상의 중앙좌표)를 설정하고, 두 영상의 외부표정요소와 공선조건을 이용하여 에피폴라 기하를 만족하는 공간좌표를 구하는 초기 상대표정을 수행할 수 있다.

3차원좌표추출장치는 초기 상대표정을 수행한 후 두 영상(300,310)을 각각 표시하고, 제1 영상(300)에는 3차원 좌표를 구하고자 하는 제1 지점(302)을 표시한다. 3차원좌표추출장치는 초기 상대표정을 통해 구한 공간좌표에 해당하는 제2 영상(310)의 영상좌표에 제2 지점(312)을 표시한다.

도 4는 본 발명의 실시 예에 따른 공간좌표의 높이값 변화에 대한 영상좌표의 변화의 예를 도시한 도면이다.

도 4를 참조하면, 3차원좌표추출장치는 초기 상대표정을 통해 구한 초기 공간좌표의 높이값을 변경하고 그에 해당하는 제2 영상(400)의 영상좌표(410)를 파악하여 표시한다.

보다 구체적으로 살펴보면, 3차원좌표추출장치는 제1 영상의 제1 지점을 고정한다. 즉, 3차원좌표추출장치는 제1 영상의 높이값을 초기 상대표정을 통해 구한 초기 높이값으로 고정하고, 제2 영상에 대해서만 공간좌표의 높이값을 변경한다. 3차원좌표추출장치는 변경된 높이값을 기초로 상대표정을 수행하여 새로운 공간좌표를 구한다. 예를 들어, 3차원좌표추출장치는 변경된 높이값을 수학식 12에 적용하여 새로운 공간좌표의 X 좌표 및 Y 좌표를 구할 수 있다. 새로운 공간좌표에 해당하는 영상좌표의 제2 지점(410)을 제2 영상(400)에 표시한다. 제2 영상(400)의 제2 지점(410)이 제1 영상의 제1 지점(302)과 동일한 특징점(예를 들어, 영상 내 동일 객체의 동일 위치 등)을 가리킬 때까지 높이값 변경은 반복 수행된다.

도 5는 본 발명의 실시 예에 따른 영상의 공선조건의 일 예를 도시한 도면이다.

도 5를 참조하면, 영상에 대한 영상좌표계(xyz)와 지상에 대한 지상좌표계(XYZ)가 존재한다. 공선조건은 공간상의 임의의 점 A(X_A,Y_A,Z_A)와 영상의 점 a(x_a,y_a), 그리고 카메라의 투영중심(exposure station) L(X_L,Y_L,Z_L)이 동일직선 상에 존재하는 조건이다. 공선조건을 만족하면, A,a,L이 모두 동일 직선 상에 존재하므로, 영상좌표계에서 투영중심(L)으로부터 영상의 점(a)을 향하는 벡터는 다음과 같이 표현될 수 있다.

여기서, (x_a,y_a,-f)는 영상좌표계에서 영상 내 점(a)의 좌표이고, (x_p,y_p,0)은 영상좌표계에서 투영중심(L)의 좌표이다. f는 영상의 초점거리이다.

지상좌표계에서 투영중심(L)으로부터 공간상의 점(A)을 향하는 벡터는 다음과 같이 표현될 수 있다.

여기서, (X_A,Y_A,Z_A)는 지상좌표계에서 공간상의 점(A)의 자표이고, (X_L,Y_L,Z_L)는 지상좌표계에서 투영중심(L)의 좌표이다.

영상의 한 점(a)은 영상좌표계로 정의되고, 공간상의 한 점(A)은 지상좌표계로 정의되므로 두 좌표계 사이의 변환이 필요하다.

도 6 및 도 7은 본 발명의 실시 예에 따른 영상좌표계와 지상좌표계 사이의 변환 방법의 일 예를 도시한 도면이다.

도 6 및 도 7을 참조하면, 영상좌표계(xyz)와 지상좌표계(XYZ)는 일정 각도 기울어져 존재한다. 영상좌표계(xyz)를 각 축에 대하여 일정 각도만큼 회전하는 경우 회전변환이 적용된 새로운 영상좌표계(x'y'z')를 구할 수 있다.

예를 들어, 도 7과 같이 z축을 기준으로 일정 각도만큼 회전하는 경우 기존의 영상좌표계(xyz)와 새로운 영상좌표계(x'y'z') 사이의 관계는 다음과 같다.

여기서, α는 z축과 z'축 사이의 각도이다. 이와 같은 방법으로, x축 및 y축의 회전에 의한 영상좌표계(xyz)와 새로운 영상좌표계(x'y'z') 사이의 관계를 구할 수 있다.

영상의 자세정보를 기초로 영상좌표계와 지상좌표계 사이의 기울기를 파악할 수 있다. 예를 들어, 영상의 자세정보는 촬영방향정보로서 지상좌표계의 X축, Y축, Z축에 대한 각 기울기(ωφκ)를 포함한다. 따라서 영상의 자세정보를 기초로 영상영상좌표계(xyz)와 지상좌표계(XYZ) 사이의 변환 관계를 나타내면 다음과 같다.

여기서, λ는 스케일인자이고 M은 회전행렬을 나타낸다.

스케일인자(λ)는 영상좌표계와 지상좌표계의 크기 차이이며, 두 좌표계의 크기가 동일하면 스케일인자는 1이다.

공선조건을 만족하는 수학식 1 및 수학식 2의 두 벡터는 크기만 상이할 뿐 그 방향이 서로 동일하므로 두 벡터 사이의 관계를 수학식 4의 회전행렬을 이용하여 정리하면 다음과 같다.

여기서, (X_a,Y_a,Z_a)는 영상 내 점(a)에 대한 지상좌표계의 좌표값을 나타내고, (X_p,Y_p,Z_p)는 투영중심(L)에 대한 지상좌표계의 좌표값을 나타낸다.

수학식 5를 영상좌표계의 좌표값 (x_a,y_a)으로 정리하면 다음과 같다.

위 수학식 6을 이용하여, 공간상의 한 점(A)이 특정되면 그 점(A)과 투영중심(L)을 연결하는 직선과 만나는 영상 내 한 점(a)를 구할 수 있다. 반면, 영상 내 한 점(a)이 특정되어도 투영중심(L)과 영상 내 한 점(a)을 지나는 직선은 공간상의 다양한 지점(도 5의 A,A' 등)을 지나므로 어느 한 공간상의 지점을 구할 수 없다. 다시 말해, 도 5를 참조하면, 투영중심(L)과 영상 내 한 점(a)을 지나는 직선은 A 지점과 A' 지점을 모두 지난다. 따라서 2차원 영상으로부터 3차원 공간상의 한 지점을 특정하기 위해서는 적어도 2 장의 영상이 필요하다.

두 개의 2차원 영상으로부터 3차원 좌표를 구하기 위해서는 두 영상 사이의 시차를 제거하고 에피폴라 기하를 형성하는 상대표정이 필요하다.

도 8은 본 발명의 실시 예에 따른 상대표정의 방법의 일 예를 도시한 도면이다.

도 8을 참조하면, 두 영상의 영상좌표계는 일반적으로 지상좌표계와 기울어져있으며, 또한 두 영상의 영상좌표계 사이도 일반적으로 서로 일치하지 않고 기울어져 있다.

본 실시 예는 상대표정을 통해 영상의 Y시차를 제거하는 예를 도시하고 있다. 제1 영상의 영상좌표가 가리키는 공간상의 한 점과 제2 영상의 영상좌표가 가리키는 공간상의 한 점을 일치시켜 에피폴라 기하를 형성하도록 하여 Y 시차를 제거할 수 있다. 이를 위해 종래에는 3차원 좌표를 구하고자 하는 영상 내 특정 지점이 일치하도록 두 영상을 입체적으로 직접 보면서 정렬하는 입체시 방법을 사용하였다. 이러한 종래 방법은 입체시 구현을 위한 고가의 장비와 숙련된 기술이 요구된다.

본 실시 예는 입체시를 이용하지 않으므로 두 영상에서 구하고자 하는 특정 지점을 처음부터 직접 정렬할 수가 없다. 따라서 본 실시 예는 두 영상의 초기영상좌표와 공간좌표의 임의의 높이값을 설정한 후 이를 기초로 두 영상이 에피폴라 기하를 만족하는 공간좌표를 추정하고, 추정된 공간좌표의 높이값을 보정하여 3차원 좌표를 구하는 방법을 사용한다.

두 영상의 초기영상좌표와 임의의 공간좌표 높이값을 기초로 에피폴라 기하를 만족하는 공간좌표의 추정은 공선조건을 변형하여 수행할 수 있다. 예를 들어, 제1 영상의 초기영상좌표와 임의의 공간좌표 높이값이 주어지면 공선조건을 이용하여 에피폴라 기하를 만족하는 제1 공간좌표를 추정할 수 있다. 또한 제2 영상의 초기영상좌표와 임의의 공간좌표 높이값이 주어지면 공선조건을 이용하여 제2 공간좌표를 파악할 수 있다. 제1 공간좌표와 제2 공간좌표의 차이가 최소가 되도록 하는 공간좌표를 파악하는 과정을 통해 에피폴라 기하를 형성하는 초기 공간좌표를 구할 수 있다. 이를 수학적으로 살펴보면 다음과 같다.

먼저 수학식 6을 F 함수와 G 함수로 정의하면 다음과 같다.

여기서, x₀ 및 y₀은 투영중심의 영상좌표계의 좌표값이고, q,r,s는 다음과 같다.

테일러 이론에 따라 수학식 7의 각 미지수에 대한 편미분을 수행하여 수식을 선형화하면 다음과 같다.

여기서, F₀와 G₀는 F와 G의 함수이고, 수식 F와 G는 각 미지수의 초기치 계산을 위해 사용된다. 상대표정을 통해 구하고자 하는 각 미지수(즉, 공간좌표)는 추정값이므로 잔차가 존재한다. 잔차를 고려하여 위 수학식 9를 수정하면 다음과 같다.

여기서, b는 위 수학식 9의 각 편미분 값을 나타내고, J=x_a-F₀, K=y_a-G₀이고, v_x0와 v_y0는 각각 잔차를 의미한다.

수학식 10을 행렬로 나타내면 다음과 같다.

여기서, V는 영상좌표의 잔차에 대한 행렬, A는 편미분 값(b)에 대한 행렬, X는 구하고자 하는 미지수(즉, 공간좌표)의 행렬, 그리고 L은 J와 K에 대한 상수 행렬을 나타낸다.

위 수식의 각 미지수 항목에 대한 초기 근사치를 임의로 정하고 최소제곱법을 적용하여 값이 수렴할 때까지 반복 계산을 수행하면 최종적으로 얻고자 하는 미지수 값 X를 계산할 수 있다.

본 실시 예는 영상의 투영중심(L)과 자세정보를 알고 있으므로 수학식 10을 다음과 같이 간략화할 수 있다.

두 영상의 초기영상좌표가 주어지고, 공간좌표의 초기 높이값이 주어지면, 두 영상에 대하여 수학식 12를 동시에 만족하는 공간좌표의 X 좌표값 및 Y 좌표값을 최소제곱법 등을 이용하여 구할 수 있다. 선형 함수의 미지수 값을 추정하는 최소제곱법 등은 이미 널리 알려진 방법이므로 이에 대한 구체적인 설명은 생략한다.

또한 본 실시 예의 수학식 등은 본 발명의 이해를 돕기 위한 하나의 예일 뿐 두 영상에서 임의의 초기영상좌표(예를 들어, 영상의 중심좌표)와 공간좌표의 임의의 높이값을 설정한 후 에피폴라 기하를 만족하는 미지의 공간좌표를 구하는 다양한 수학적 방법이 본 실시 예에 적용될 수 있다.

도 9는 본 발명의 실시 예에 따른 3차원좌표추출장치의 일 예의 구성을 도시한 도면이다.

도 9를 참조하면, 3차원좌표추출장치(900)는 영상입력부(910), 상대표정부(920), 영상표시부(930), 위치조정부(940) 및 좌표파악부(950)를 포함한다. 3차원좌표추출장치는 메모리, 프로세서, 입출력 장치 등을 포함하는 일반 컴퓨터 또는 서버 등으로 구현될 수 있다. 예를 들어, 각 구성은 소프트웨어로 구현되어 메모리에 탑재된 후 프로세서에 의해 수행될 수있다.

영상입력부(910)는 일정 영역이 중첩된 제1 영상 및 제2 영상을 입력받는다. 영상입력부(910)는 또한 두 영상의 투영중심과 자세정보를 포함하는 외부표정요소와 카메라정보(예를 들어, 초점 거리 등)를 입력받는다.

상대표정부(920)는 두 영상에 대한 상대표정을 수행하여 초기 공간좌표를 파악한다. 상대표정부(920)는 두 영상의 임의의 초기영상좌표(예를 들어, 중앙좌표)와 임의의 공간 높이값을 설정한 후 공선조건을 이용하여 에피폴라 기하를 만족하는 초기 공간좌표를 파악할 수 있다. 초기 공간좌표의 파악 방법으로 수학식 12를 이용할 수 있다. 즉, 임의의 초기값(초기영상좌표, 임의의 높이값 등)을 수학식 12에 입력하고 최소제곱법 등을 적용하여 미지수인 공간좌표를 구할 수 있다.

영상표시부(930)는 두 영상을 표시한다. 영상표시부(930)는 3차원 좌표를 구하고자 하는 제1 지점을 제1 영상에 표시하고, 상대표정부(920)를 통해 구한 초기 공간좌표에 해당하는 영상좌표의 제2 지점을 제2 영상에 표시한다. 제1 지점 및 제2 지점이 표시된 두 영상의 일 예가 도 3에 도시되어 있다.

위치조정부(940)는 제1 영상은 고정하고 제2 영상에 대해서만 초기 공간좌표의 높이값을 변화시켜 제1 지점과 제2 지점이 일치하도록 조정한다. 다시 말해, 제1 영상의 공간좌표의 높이값은 고정하고, 제2 영상의 공간좌표의 높이값을 변경한다. 이 경우 제1 영상의 제1 지점은 변경되지 않고 고정되며, 제2 영상의 제2 지점은 공간좌표의 높이값 변화에 따라 도 4와 같이 변화한다. 영상표시부(930)는 공간좌표의 높이값 변경에 따라 변경되는 제2 영상의 영상좌표의 제2 지점을 표시한다.

좌표파악부(950)는 제1 영상의 제1 지점과 제2 영상의 제2 지점이 일치하면, 그 시점의 제2 영상의 영상좌표에 해당하는 공간좌표를 파악한다. 초기 공간좌표의 높이값으로부터 높이값을 변경하면서 제1 지점과 제2 지점을 일치시키므로, 제1 지점과 제2 지점이 일치할 때의 높이값은 알 수 있다. 따라서 좌표파악부(950)는 제1 지점과 제2 지점이 일치할 때의 제2 영상의 영상좌표와 높이값을 기초로 공선조건을 만족하는 공간좌표를 파악할 수 있다. 제1 지점과 제2 지점이 일치할 때 파악한 공간좌표가 제1 영상의 1 지점에 대한 3차원 좌표가 된다.

일 실시 예로, 좌표파악부(950)는 수학식 6의 공선조건식을 공간좌표의 X 및 Y 좌표의 공식으로 변형한 다음 수학식을 이용하여 공간좌표를 파악할 수 있다.

수학식 13은 본 발명의 이해를 돕기 위한 하나의 예일 뿐 본 발명이 본 수식에 반드시 한정되는 것은 아니며 제2 영상의 영상좌표와 높이값을 기초로 공선조건을 만족하는 공간좌표를 구하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

일정 영역이 중첩된 제1 영상 및 제2 영상을 입력받는 단계;
상기 제1 영상 및 제2 영상의 투영중심 및 자세정보를 포함하는 외부표정요소를 기초로 상기 제1 영상 및 상기 제2 영상의 일정 위치의 영상좌표에 대한 공간좌표를 파악하는 상대표정을 수행하는 단계;
상기 제1 영상 및 제2 영상을 각각 표시하는 단계;
상기 제1 영상에 3차원 좌표를 구하고자 하는 제1 지점을 표시하는 단계;
상기 공간좌표의 높이값 변화에 따라 변경되는 영상좌표의 제2 지점을 상기 제2 영상에 표시하는 단계; 및
상기 제1 영상에 표시된 제1 지점과 상기 제2 영상에 표시된 제2 지점이 일치할 때 상기 제2 영상에 표시된 제2 지점의 영상좌표를 기초로 공간좌표를 파악하는 단계;를 포함하는 것을 특징으로 하는 3차원 좌표 추출 방법.
제 1항에 있어서, 상기 제2 지점을 표시하는 단계는,
상기 제1 영상에 대한 공간좌표의 높이값은 고정하고, 상기 제2 영상에 대한 공간좌표의 높이값을 변경하는 단계;를 포함하는 것을 특징으로 하는 3차원 좌표 추출 방법.
제 1항에 있어서, 상기 공간좌표를 파악하는 단계는,
상기 제1 지점과 제2 지점이 일치할 때의 높이값과 상기 제2 지점의 영상좌표를 기초로 공선조건을 만족하는 공간좌표를 산출하는 것을 특징으로 하는 3차원 좌표 추출 방법.
제 1항에 있어서, 상기 상대표정을 수행하는 단계는,
상기 제1 영상 및 제2 영상의 초기영상좌표를 설정하고 공간좌표의 임의의 높이값을 설정하는 단계; 및
상기 외부표정요소와 상기 초기영상좌표 및 상기 높이값을 이용하여 에피폴라 기하를 형성하는 공간좌표를 파악하는 단계;를 포함하는 것을 특징으로 하는 3차원 좌표 추출 방법.
일정 영역이 중첩된 제1 영상 및 제2 영상을 입력받는 영상입력부;
상기 제1 영상 및 제2 영상의 투영중심 및 자세정보를 포함하는 외부표정요소를 기초로 상기 제1 영상 및 상기 제2 영상의 일정 위치의 영상좌표에 대한 공간좌표를 파악하는 상대표정을 수행하는 상대표정부;
상기 제1 영상 및 제2 영상을 각각 표시하는 영상표시부;
상기 제1 영상에서 3차원 좌표를 구하고자 하는 제1 지점을 표시하고, 상기 공간좌표의 높이값 변화에 따라 변경되는 영상좌표의 제2 지점을 상기 제2 영상에 표시하는 위치조정부; 및
상기 제1 영상에 표시된 제1 지점과 상기 제2 영상에 표시된 제2 지점이 일치하면 상기 제2 영상에 표시된 제2 지점의 영상좌표를 기초로 공간좌표를 파악하여 출력하는 좌표파악부;를 포함하는 것을 특징으로 하는 3차원좌표추출장치.
제 5항에 있어서, 상기 위치조정부는,
상기 제1 영상에 대한 공간좌표의 높이값을 고정하고, 상기 제2 영상에 대한 공간좌표의 높이값을 변경하여 상기 제2 지점을 파악하는 것을 특징으로 하는 3차원좌표추출장치.
제 5항에 있어서, 상기 좌표파악부는,
상기 제1 지점과 제2 지점이 일치할 때의 높이값과 상기 제2 지점의 영상좌표를 기초로 공선조건을 만족하는 공간좌표를 산출하는 것을 특징으로 하는 3차원좌표추출장치.
제 5항에 있어서, 상기 상대표정부는,
상기 제1 영상 및 제2 영상의 초기영상좌표와 공간좌표의 임의의 높이값을 설정하고, 상기 외부표정요소를 이용하여 에피폴라 기하를 형성하는 공간좌표를 파악하는 것을 특징으로 하는 3차원좌표추출장치.
제 1항 내지 제 4항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.