KR102129206B1

KR102129206B1 - 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치

Info

Publication number: KR102129206B1
Application number: KR1020190070530A
Authority: KR
Inventors: 배석훈; 박준영
Original assignee: 주식회사 큐픽스
Priority date: 2019-06-14
Filing date: 2019-06-14
Publication date: 2020-07-01
Also published as: US20200394809A1; US11222433B2

Abstract

본 발명은 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법에 관한 것으로서, 더욱 상세하게는 복수의 사진 이미지들을 분석하여 그 사진 이미지들에 공통적으로 표시된 점의 3차원 좌표를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법에 관한 것이다.
본 발명에 의한 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법에 카메라에 의해 촬영된 사진 이미지들을 이용하여 사진 이미지들에 표시된 임의의 점들의 3차원 좌표를 용이하게 계산할 수 있는 효과가 있다.

Description

사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치{3 Dimensional Coordinates Calculating Apparatus and 3 Dimensional Coordinates Calculating Method Using Photo Images}

본 발명은 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법에 관한 것으로서, 더욱 상세하게는 복수의 사진 이미지들을 분석하여 그 사진 이미지들에 공통적으로 표시된 측정점의 3차원 좌표를 효과적으로 계산하는 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법에 관한 것이다.

공간상의 두 점 사이의 거리를 실측하기 위해서는 줄자, 레이저 거리 센서 등의 다양한 측정 장치가 사용될 수 있다. 통상적으로 이러한 측정 장치를 사용하여 공간의 두 지점 사이의 거리를 측정하는 경우, 공간의 주요 지점이나 대표가 되는 지점 사이의 거리를 측정하여 기록하는 방법이 사용된다.

작업 환경이나 시간 등의 제약으로 인해 공간의 모든 지점에 대한 3차원 좌표값을 측정하거나 공간의 임의의 두 지점 사이의 거리를 모두 측정하는 것을 현실적으로 어렵다.

공간의 주요 지점에 대한 측량을 완료한 후에도, 시공 작업이나 설계 작업 또는 건물 리모델링 작업을 진행하는 동안에 추가로 공간 내의 두 지점 사이의 거리를 측정할 필요가 빈번하게 발생한다. 이러한 경우마다 현장을 반문하여 측량 또는 거리 측정을 다시 하는 것을 매우 번거롭고 비효율적이며 생산성을 저하시키는 원인이 된다.

3차원 스캐너와 같은 장비를 이용하여 주변 환경의 절대 깊이를 측정할 수도 있으나, 장비의 가격이 매우 높기 때문에 쉽게 사용하기 어려운 문제점이 있다. 또한, 3차원 스캐너를 이용하는 경우에도 장비의 해상도의 한계나 공간의 제약 조건으로 인하여 공간의 모든 지점에 대한 3차원 좌표를 신뢰할 수 있는 수준으로 얻는 것은 쉽지 않다.

3차원 스캐너 같은 고가의 장비를 사용하지 않고, 카메라로 촬영한 이미지를 이용하여 허용 오차 범위 내에서 공간의 임의의 지점에 대한 3차원 좌표를 얻을 수 있다면, 공간 측정에 시간과 노력을 절감하고 생산성을 비약적으로 향상시킬 수 있다. 즉, 매번 현장을 방문하여 필요한 치수를 실측하지 않고 미리 촬영된 이미지들에서 측정이 필요한 두 지점을 선택하는 것만으로도 두 지점 사이의 거리를 계산할 수 있다면, 건축 관련 작업의 생산성을 비약적으로 향상시킬 수 있다.

또한, 이와 같은 형태의 측정이 가능하다면, 건축 공사 과정의 치수상 오류를 검증하는 작업이나 건축물의 안전을 진단할 목적으로 건축물을 측량하는 작업을 매우 효율적으로 수행할 수 있다.

본 발명은 상술한 바와 같은 필요성을 해결하기 위하여 안출된 것으로, 카메라에 의해 촬영된 이미지들을 이용하여 이미지들에 표시된 임의의 점들의 3차원 좌표를 계산할 수 있는 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명에 따른 사진 이미지를 이용한 3차원 좌표 계산 방법은, 카메라에 의해 촬영된 복수의 사진 이미지들을 이용하여 상기 복수의 사진 이미지들에 공통적으로 표시된 측정점의 3차원 좌표를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 방법에 있어서, (a) 제1사진 이미지 좌표 모듈이 상기 복수의 이미지들 중 제1사진 이미지에 표시된 상기 측정점의 상기 제1사진 이미지 상의 좌표를 제1사진 이미지 좌표로서 입력 받는 단계; (b) 제2사진 지정 모듈이 상기 측정점이 표시된 제2사진 이미지를 지정하는 단계; (c) 카메라 정보 모듈이 상기 복수의 사진 이미지들을 촬영한 방향에 해당하는 카메라 방향과 투영 중심점의 좌표에 해당하는 카메라 위치를 카메라 정보로서 획득하는(achieving) 단계; (d) 이미지 평면 계산 모듈이 상기 제1사진 이미지 및 제2사진 이미지에 대응하는 카메라 정보를 이용하여 가상의 3차원 공간상에 상기 제1사진 이미지 및 제2사진 이미지가 투영되는 제1이미지 평면과 제2이미지 평면을 계산하는 단계; (e) 투영점 계산 모듈이 상기 제1이미지 평면에 상기 측정점이 표시되는 위치에 해당하는 제1투영점의 3차원 좌표를 상기 제1사진 이미지 좌표를 이용하여 계산하는 단계; (f) 제1투영 직선 계산 모듈이 상기 제1이미지 평면의 제1투영점과 상기 제1사진 이미지에 대응하는 상기 카메라 정보의 카메라 위치를 연결하는 제1투영 직선을 계산하는 단계; (g) 에피 라인 계산 모듈이 상기 제1투영 직선이 상기 제2이미지 평면에 투영된 에피폴라 라인(epipolar line)을 계산하는 단계; (h) 픽셀 비교 모듈이 상기 제1사진 이미지와 상기 제2사진 이미지의 픽셀을 비교하여 상기 에피폴라 라인의 경로 상에서 상기 제1투영점에 대응하는 제2투영점의 3차원 좌표를 계산하는 단계; (i) 제2투영 직선 계산 모듈이 상기 제2이미지 평면의 제2투영점과 상기 제2사진 이미지에 대응하는 상기 카메라 정보의 카메라 위치를 연결하는 제2투영 직선을 계산하는 단계; 및 (j) 측정점 계산 모듈이 상기 제1투영 직선 및 제2투영 직선에 대한 거리가 최소화되는 영역 내의 점의 좌표를 상기 측정점의 3차원 좌표로 결정하는 단계;를 포함하는 점에 특징이 있다.

또한, 본 발명에 따른 사진 이미지를 이용한 3차원 좌표 계산 장치는, 카메라에 의해 촬영된 복수의 사진 이미지들을 이용하여 상기 복수의 사진 이미지들에 공통적으로 표시된 측정점의 3차원 좌표를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 장치에 있어서, 상기 복수의 사진 이미지들 중 제1사진 이미지에 표시된 상기 측정점의 상기 제1사진 이미지 상의 좌표를 제1사진 이미지 좌표로서 입력 받는 제1사진 이미지 좌표 모듈; 상기 복수의 사진 이미지들 중 상기 측정점이 표시된 제2사진 이미지를 지정하는 제2사진 지정 모듈; 상기 복수의 사진 이미지들을 촬영한 방향에 해당하는 카메라 방향과 투영 중심점의 좌표에 해당하는 카메라 위치를 카메라 정보로서 획득하는(achieving) 카메라 정보 모듈; 상기 제1사진 이미지 및 제2사진 이미지에 대응하는 카메라 정보를 이용하여 가상의 3차원 공간상에 상기 제1사진 이미지 및 제2사진 이미지가 투영되는 제1이미지 평면과 제2이미지 평면을 계산하는 이미지 평면 계산 모듈; 상기 제1이미지 평면에 상기 측정점이 표시되는 위치에 해당하는 제1투영점의 3차원 좌표를 상기 제1사진 이미지 좌표를 이용하여 계산하는 투영점 계산 모듈; 상기 제1이미지 평면의 제1투영점과 상기 제1사진 이미지에 대응하는 상기 카메라 정보의 카메라 위치를 연결하는 제1투영 직선을 계산하는 제1투영 직선 계산 모듈; 상기 제1투영 직선이 상기 제2이미지 평면에 투영된 에피폴라 라인(epipolar line)을 계산하는 에피 라인 계산 모듈; 상기 제1사진 이미지와 상기 제2사진 이미지의 픽셀을 비교하여 상기 에피폴라 라인의 경로 상에서 상기 제1투영점에 대응하는 제2투영점의 3차원 좌표를 계산하는 픽셀 비교 모듈; 상기 제2이미지 평면의 제2투영점과 상기 제2사진 이미지에 대응하는 카메라 정보의 카메라 위치를 연결하는 제2투영 직선을 계산하는 제2투영 직선 계산 모듈; 및 상기 제1투영 직선 및 제2투영 직선에 대한 거리가 최소화되는 영역 내의 점의 좌표를 상기 측정점의 3차원 좌표로 결정하는 측정점 계산 모듈;을 포함하는 점에 특징이 있다.

본 발명에 의한 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법은, 카메라에 의해 촬영된 사진 이미지들을 이용하여 사진 이미지들에 표시된 임의의 점들의 3차원 좌표를 용이하게 계산할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 사진 이미지를 이용한 3차원 좌표 계산 장치의 블록도이다.
도 2는 본 발명의 일실시예에 따른 사진 이미지를 이용한 3차원 좌표 계산 방법의 순서도이다.
도 3은 본 발명의 작동을 설명하기 위한 도면이다.

이하에서는 첨부된 도면을 참조하여, 본 발명의 일실시예에 따른 사진 이미지를 이용한 3차원 좌표 계산 방법 및 사진 이미지를 이용한 3차원 좌표 계산 장치에 대해 설명한다.

도 1은 본 발명의 일실시예에 따른 사진 이미지를 이용한 3차원 좌표 계산 장치의 블록도이고, 도 2는 본 발명의 사진 이미지를 이용한 3차원 좌표 계산 방법에 따른 순서도를 도시한 것이다.

본 발명의 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법은 카메라에 의해 촬영된 복수의 사진 이미지를 이용하여 사진 이미지에 표시된 측정점(M)의 3차원 좌표를 계산하기 위한 것이다. 본 발명에 의해 복수의 사진 이미지들에 공통적으로 표시된 측정점(M)의 3차원 좌표를 계산하면, 사진 이미지만을 이용하여 그 사진 이미지들에 표시된 점들 사이의 거리를 계산하는 등 다양한 용도로 이용할 수 있다.

도 1을 참조하면 본 실시예의 사진 이미지를 이용한 3차원 좌표 계산 장치는 제1사진 이미지 좌표 모듈(100)과 제2사진 지정 모듈(200)과 카메라 정보 모듈(300)과 이미지 평면 계산 모듈(400)과 투영점 계산 모듈(500)과 제1투영 직선 계산 모듈(600)과 에피 라인 계산 모듈(700)과 픽셀 비교 모듈(900)과 제2투영 직선 계산 모듈(1000)과 측정점 계산 모듈(1100)을 포함하여 이루어진다.

제1사진 이미지 좌표 모듈(100)은 복수의 사진 이미지들 중 제1사진 이미지(S1)에 표시된 측정점(M)의 제1사진 이미지(S1) 상의 좌표를 제1사진 이미지 좌표로서 입력 받는다((a) 단계; S100). 즉, 제1사진 이미지 좌표 모듈(100)은 복수의 사진 이미지들 중 어느 하나의 사진 이미지(제1사진 이미지(S1))에 표시된 측정점(M)의 2차원 좌표의 형태로 측정점(M)의 사진 이미지 좌표를 입력 받는다. 제1사진 이미지 좌표를 입력 받는 도구로는 다양한 형태의 입력 장치가 사용될 수 있다. 예컨대, 컴퓨터의 표시 장치에 표시된 제1사진 이미지(S1)에서 사용자가 마우스를 이용하여 측정점(M)을 클릭하는 방법으로 제1사진 이미지 좌표를 입력 받는 형태의 제1사진 이미지 좌표 모듈(100)이 사용될 수 있다. 이와 같은 방법으로 사용자가 1장의 사진 이미지(제1사진 이미지(S1))에 표시된 측정점(M)의 좌표를 입력하면, 제1사진 이미지 좌표 모듈(100)은 제1사진 이미지(S1) 상의 측정점(M)의 2차원 좌표를 제1사진 이미지 좌표로서 수신하여 저장한다.

제2사진 지정 모듈(200)은 복수의 사진 이미지들 중 측정점(M)이 표시된 또 다른 사진인 제2사진 이미지(S2)를 지정한다((b) 단계; S200). 즉, 제2사진 지정 모듈(200)은 제1사진에서 사용자에 의해 선택된 측정점(M)이 표시된 또 다른 사진에 해당하는 제2사진 이미지(S2)를 지정한다. 제2사진 지정 모듈(200)이 제2사진 이미지(S2)를 지정하는 방법은 다양한 방법이 사용될 수 있다. 사용자가 복수의 사진 이미지들 중에 측정점(M)이 표시된 적어도 한 장의 사진을 마우스를 이용하여 클릭하면, 제2사진 지정 모듈(200)이 해당 사진을 제2사진 이미지(S2)로 지정할 수도 있다. 경우에 따라서는 제2사진 지정 모듈(200)이 복수의 사진 이미지들 중에 측정점(M)이 표시될 확률이 높은 제2사진 이미지(S2)를 자동으로 선택할 수도 있다. 제2사진 지정 모듈(200)이 자동으로 제2사진 이미지(S2)를 자동으로 지정하는 구체적인 방법은 뒤에서 설명하기로 한다.

본 발명은, 사용자가 제1사진 이미지(S1)에 측정점(M)을 지정하면 제2사진 이미지(S2)에서는 측정점(M)을 지정할 필요가 없는 점에 특징이 있다. 후술하는 방법에 의해 본 발명은 제2사진 이미지(S2)에 표시된 측정점(M)의 좌표를 자동으로 계산한다.

카메라 정보 모듈(300)은 측정점(M)이 표시된 이미지들을 촬영한 카메라의 위치와 방향을 카메라 정보로서 획득한다((c) 단계; S300). 이미지를 촬영할 때의 카메라의 위치와 방향을 이하에서 카메라 정보로 정의하여 설명한다. 카메라 정보의 카메라 위치(F1, F2)는 카메라의 투영 중심점의 좌표와 동일한 것이다.

카메라 정보 모듈(300)이 카메라 정보를 획득하는 방법은 여러 가지 방법이 사용될 수 있다.

첫째, 컴퓨터 비전 SfM(Structure from Motion) 방법을 이용하여 카메라 정보 모듈(300)이 카메라 정보를 획득할 수 있다. SfM 방법은 사진의 이미지만을 분석하여 각 사진 촬영 당시의 카메라의 3차원 좌표와 방향을 계산하는 기술이다.

둘째, 카메라에 의해 이미지 촬영을 할 때, 관성 측정 센서(IMU; Inertial Measurement Unit), 가속도 센서, 지자기 센서, 각변위 센서 등의 다양한 종류의 센서에 의해 측정된 값 또는 시간의 흐름에 따른 측정 값을 변화량을 이용하여 카메라 정보를 계산할 수 있다. 예컨대, 가속도를 두번 적분하면 변위의 변화량를 계산할 수 있으므로, 이와 같은 방법으로 계산된 값을 이용하여 더욱 정확하게 또는 더욱 신속하게 카메라 정보를 계산할 수 있다.

컴퓨터 비전 SfM 방법과 각종 센서의 측정값을 복합적으로 사용하여 카메라 정보를 획득하는 것도 가능하다.

경우에 따라서는 별도의 장치가 각 이미지 촬영시마다 측정한 카메라의 위치와 방향을 저장하고, 카메라 정보 모듈(300)은 이와 같이 저장된 카메라 정보를 이용할 수도 있다.

이미지 평면 계산 모듈(400)은 제1사진 이미지(S1) 및 제2사진 이미지(S2)에 대응하는 카메라 정보를 이용하여 가상의 3차원 공간상에 제1사진 이미지(S1) 및 제2사진 이미지(S2)가 투영되는 제1이미지 평면과 제2이미지 평면을 계산한다((d) 단계; S400). 카메라 위치와 제1사진 이미지(S1) 및 제2사진 이미지(S2) 사이의 3차원적 관계를 표시하면 도 3과 같다. 이미지 평면 계산 모듈(400)은 카메라 정보 모듈(300)이 획득한 카메라 정보와 제1사진 이미지(S1) 및 제2사진 이미지(S2)의 상대적 위치 및 크기를 고려하여, 카메라의 위치(카메라의 초점)으로부터 제1사진 이미지(S1) 및 제2사진 이미지(S2)가 각각 투영될 제1이미지 평면 및 제2이미지 평면을 계산한다. 즉, 이미지 평면 계산 모듈(400)은 제1사진 이미지(S1) 및 제2사진 이미지(S2)에 대응하는 이미지 평면의 방정식을 계산하게 된다.

투영점 계산 모듈(500)은 제1이미지 평면에 측정점(M)이 표시되는 위치에 해당하는 제1투영점(M1)의 3차원 좌표를 제1사진 이미지 좌표를 이용하여 계산한다((e) 단계; S500). 이미지 평면 계산 모듈(400)에 의해 제1이미지 평면을 알고 있고 제1사진 이미지 좌표 모듈(100)에 의해 제1사진 이미지 좌표를 알고 있으므로, 투영점 계산 모듈(500)은 이들 값을 이용하여 측정점(M)이 제1이미지 평면에 투영된 제1투영점(M1)의 3차원 좌표를 계산할 수 있다. 제1사진 이미지(S1)의 카메라의 위치와 측정점(M) 및 제1투영점(M1)의 관계는 도 3에 도시한 바와 같다.

참고로, 카메라의 투영면은 카메라의 이미지 센서에 해당한다. 디지털 카메라의 경우 CMOS 이미지 센서, CCD 이미지 센서 등이 투영면에 해당한다. 카메라의 투영 중심점과 투영면 사이의 상대적 위치와 투영면의 크기는 카메라 고유 파라메터(Camera Intrinsic Parameter)이므로, 그 값은 카메라에 대한 정보로부터 얻을 수 있다. 카메라 정보, 투영면의 크기와 위치 그리고 측정점(M)의 사진 이미지 좌표를 이용하면, 투영점 계산 모듈(500)은 제1투영점(M1)의 3차원 좌표를 계산할 수 있다.

이미지 평면 계산 모듈(400)과 투영점 계산 모듈(500)은 카메라의 투영 중심점과 투영면과 이미지 평면 사이의 상대적 위치를 고려하여 사진 이미지를 적절히 비례 확대하거나 투영 중심점에 대해 대칭 회전시켜 상대적 위치와 좌표를 계산하게 된다.

제1투영 직선 계산 모듈(600)은 제1이미지 평면의 제1투영점(M1)과 제1사진 이미지(S1)에 대응하는 카메라 정보의 카메라 위치(제1카메라 위치(F1))를 연결하는 제1투영 직선(L1)을 계산한다((f) 단계; S600). 제1카메라 위치(F1)와 제1투영점(M1)의 3차원 좌표를 알고 있으므로, 제1투영 직선 계산 모듈(600)은 제1투영 직선(L1)을 계산할 수 있다. 이와 같은 제1투영 직선(L1)은 도 3에 도시한 것과 같이 3차원 공간상의 측정점(M)을 경유하게 된다.

에피 라인 계산 모듈(700)은 제1투영 직선(L1)이 제2이미지 평면에 투영된 에피폴라 라인(EL; epipolar line)을 계산한다((g) 단계; S700). 제1투영 직선 계산 모듈(600)에 의해 제1투영 직선(L1)을 계산하였고 이미지 평면 계산 모듈(400)에 의해 제2이미지 평면을 계산하였으므로, 에피 라인 계산 모듈(700)은 제1투영 직선(L1)이 제2이미지 평면에 투영된 에피폴라 라인(EL)을 계산할 수 있다.

이와 같은 상태에서 픽셀 비교 모듈(900)은 제1사진 이미지(S1)와 제2사진 이미지(S2)의 픽셀을 비교하여 에피폴라 라인(EL)의 경로 상에서 제1투영점(M1)에 대응하는 제2투영점(M2)의 3차원 좌표를 계산한다((h) 단계; S900). 제1사진 이미지(S1)와 제2사진 이미지(S2)는 측정점(M)을 주위의 동일한 객체에 대해 촬영된 사진 이미지이므로, 제1사진 이미지(S1)와 제2사진 이미지(S2)의 픽셀을 비교하면 픽셀 비교 모듈(900)이 제1투영점(M1)에 대응하는 제2사진 이미지(S2)의 픽셀을 결정하고 그 픽셀을 제2투영점(M2)으로 결정하여 제2투영점(M2)의 3차원 좌표를 계산할 수 있다. 이때, 픽셀 비교 모듈(900)은 제2사진 이미지(S2)의 에피폴라 라인(EL) 상에 위치하는 픽셀들에 대해서만 제1투영점(M1)에 대응하는지 여부를 확인함으로써, 제1투영점(M1)에 대응하는 제2사진 이미지(S2)의 픽셀을 결정하고 그 픽셀을 이용하여 제2투영점(M2)의 3차원 좌표를 더욱 정확하게 계산할 수 있다.

픽셀 비교 모듈(900)이 제1투영점(M1)에 대응하는 제2투영점(M2)을 결정하는 방법은 공지된 다양한 방법이 사용될 수 있다. 먼저, 픽셀 비교 모듈(900)은 특징 기술자(feature descriptor)를 계산하여 유사성이 가장 높은 점을 찾는 방법을 사용할 수 있다. 픽셀 비교 모듈(900)이 에피폴라 라인(EL) 상의 픽셀들에 대해 특징 기술자를 계산하여 제1투영점(M1)과 특징 기술자 유사성(feature descriptor similarity)이 가장 높은 픽셀을 제2투영점(M2)으로 결정할 수 있다. 픽셀 비교 모듈(900)이 이미지 패치 비교(image patch comparison) 방법을 이용하여 제2투영점(M2)을 찾는 것도 가능하다. 제1사진 이미지(S1)의 제1투영점(M1) 주위에 패치를 설정하고 제2사진 이미지(S2)의 에피폴라 라인(EL) 주위의 패치들과 비교하여 패치 유사성(patch similarity)가 가장 높은 점을 찾는 방식으로 픽셀 비교 모듈(900)이 제2투영점(M2)을 결정할 수도 있다. 그 외 서로 다른 이미지를 비교하여 서로 대응하는 동일 점을 찾는 다양한 방식을 픽셀 비교 모듈(900)이 이용할 수 있다.

이때, 카메라 연결 직선 계산 모듈(800)을 이용하여 픽셀 비교 모듈(900)이 계산하는 시간을 줄이는 것도 가능하다. 카메라 연결 직선 계산 모듈(800)이 제1카메라 위치(F1)와 제2카메라 위치(F2)를 연결하는 카메라 연결 직선(CL)을 계산하고, 카메라 연결 직선(CL)이 제2이미지 평면과 만나는 제2에피 폴(E2; the second epipole)을 계산한다((k) 단계; S800). 이와 같이 계산된 제2에피 폴(E2)을 이용하여, 픽셀 비교 모듈(900)은 제2에피 폴(E2)에서 시작하여 에피폴라 라인(EL)을 따라 제2사진 이미지(S2)의 픽셀들과 제1투영점(M1)을 비교하여 제2투영점(M2)을 찾을 수도 있다.

한편, 앞에서 설명한 (b) 단계에서 제2사진 지정 모듈(200)이 제2사진 이미지(S2)를 지정할 때, 사용자로부터 제2사진 이미지(S2)를 입력 받지 않고 다음과 같은 방법으로 자동으로 제2사진 이미지(S2)를 자동으로 지정할 수도 있다.

먼저, 제2사진 지정 모듈(200)이 복수의 사진 이미지들 중 제1사진 이미지(S1)에 대한 가상의 3차원 공간상의 거리가 가장 가까운 사진 이미지를 제2사진 이미지로 지정할 수 있다. 제1사진 이미지(S1)에 대한 거리가 가까운 사진 이미지일수록 동일한 측정점(M)이 그 사진 이미지에도 촬영되었을 확률이 높으므로, 해당 사진을 제2사진 이미지(S2)로 지정하여 측정점(M)의 좌표를 계산하는 목적으로 사용하는 것이 가능하다.

다른 방법으로는, 복수의 사진 이미지들의 카메라 정보의 카메라 위치와 제1사진 이미지(S1)의 카메라 위치를 연결하는 직선과 제1투영 직선(L1) 사이의 각도가 45도에 가장 가까운 사진 이미지를 제2사진 지정 모듈(200)이 제2사진 이미지(S2)로 지정하는 방법도 가능하다. 위와 같은 기준을 적용하면, 대략적으로 제1사진 이미지(S1)와 제2사진 이미지(S2)를 각각 촬영하는 카메라의 방향이 서로 90도 간격이 될 가능성이 높아진다. 동일한 측정점(M)에 대해 가능한 큰 각도 차이로 촬영한 사진 이미지를 이용함으로써 측정점(M)의 3차원 좌표를 계산하는 정확도가 높아질 수 있다.

상술한 바와 같은 방법 이외에 제2사진 지정 모듈(200)이 제2사진 이미지(S2)를 지정하는 다른 다양한 기준이 사용될 수 있으며, 두 개 이상의 방법으로 복합적으로 사용하는 것도 가능하다.

이와 같이 제2투영점(M2)의 3차원 좌표가 계산되면, 제2투영 직선 계산 모듈(1000)은 제2투영점(M2)과 제2사진 이미지(S2)에 대응하는 카메라 정보의 카메라 위치(제2카메라 위치(F2))를 연결하는 제2투영 직선(L2)을 계산한다((i) 단계; S1000). 제2투영점(M2)과 제2카메라 위치(F2)를 알고 있으므로, 제2투영 직선 계산 모듈(1000)은 두 점을 연결하는 제2투영 직선(L2)의 방정식을 계산할 수 있다.

상술한 과정을 거쳐서 제1투영 직선(L1)과 제2투영 직선(L2)이 계산되었으므로, 측정점 계산 모듈(1100)은 제1투영 직선(L1) 및 제2투영 직선(L2)에 대한 거리가 최소화되는 영역 내의 점의 좌표를 측정점(M)의 3차원 좌표로 결정한다((j) 단계; S1100).

이론적으로, 제1투영 직선(L1)과 제2투영 직선(L2)은 측정점(M)에서 서로 교차하게 된다. 따라서, 측정점 계산 모듈(1100)은 제1투영 직선(L1)과 제2투영 직선(L2)이 교차하는 점의 좌표를 측정점(M)의 3차원 좌표로 결정한다. 실제 카메라에 의해 촬영된 이미지들을 이용하여 제1투영 직선(L1)과 제2투영 직선(L2)을 계산하는 경우에는 다양한 오차 원인으로 인해 제1투영 직선(L1)과 제2투영 직선(L2)이 서로 교차하지 않는 경우도 발생할 수 있다. 이 경우에는 측정점 계산 모듈(1100)은 제1투영 직선(L1)과 제2투영 직선(L2)에 대한 거리가 각각 같으면서 각 투영 직선에 대한 거리가 최소가 되는 점(제1투영 직선(L1)과 제2투영 직선(L2)을 최단거리로 연결하는 선분을 이등분하는 점)의 좌표를 측정점(M)의 3차원 좌표로 결정할 수도 있다. 경우에 따라서는 서로 다른 복수의 사진 이미지를 각각 제2사진 이미지(S2)로 지정하고 (b) 단계 이하의 과정을 반복하여 복수의 제2투영 직선(L2)을 계산하고, 제1투영 직선(L1)과 제2투영 직선(L2)에 대한 거리가 최소화되는 영역 내의 점으로 측정점 계산 모듈(1100)이 측정점(M)의 3차원 좌표를 결정할 수도 있다. 이때, 측정점 계산 모듈(1100)은 측정점(M)의 좌표를 결정하는 과정에서 평균값, 중간값, 중앙값과 같은 대표값을 사용하는 다양한 통계적 방법을 사용할 수 있다. 또한, 측정점 계산 모듈(1100)은 정규 분포와 표준 편차를 이용하여 허용 오차 범위를 넘어서는 아웃라이어(outlier)를 제외하고 측정점(M)의 좌표를 결정하는 방법을 사용할 수도 있다.

상술한 바와 같은 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법을 이용하여 두 개의 측정점(M)의 좌표를 계산하면 그 측정점(M) 사이의 거리도 쉽게 계산할 수 있다.

서로 다른 두 개의 측정점(M)에 대해 본 발명의 사진 이미지를 이용한 3차원 좌표 계산 장치 및 방법을 사용하면 각각의 측정점(M)에 대한 3차원 좌표를 계산할 수 있고 두 점 사이의 상대 거리도 계산할 수 있다. 상대 거리를 절대 거리로 환산할 수 있는 스케일을 입력 받아 사용하면, 두 측정점(M) 사이의 절대 거리도 쉽게 계산할 수 있다.

상술한 바와 같은 방법을 사용하면 공간상의 임의의 점에 대한 3차원 좌표를 측정하거나 두 점 사이의 거리를 계산하는 수고와 비용을 획기적으로 감소시킬 수 있다. 즉, 매번 현장을 방문하여 줄자와 같은 측정 장치를 사용하여 측정점(M) 사이의 거리를 직접 측정하는 것이 아니라, 미리 촬영한 복수의 사진만을 이용하여 임의의 지점 사이의 거리를 측정하는 것이 가능하다. 즉, 본 발명은 종래와 같이 측정이 필요할 때마다 현장을 다시 방문할 필요가 없고, 기존에 촬영된 사진만을 이용하여 거리 측정이 가능한 장점이 있다. 또한, 복수의 사진만을 촬영하면 임의의 지점 사이의 거리 측정이 가능하므로, 재방문하지 않고도 프로젝트 진행중에 추가로 필요한 두 점간의 거리를 측정할 수 있는 장점이 있다.

이와 같이 본 발명은 건축 설계, 리모델링 등의 작업 진행에 있어서 시간과 노력을 비약적으로 절감할 수 있고 결과적으로 생산성을 향상시키는 효과가 있다.

또한, 본 발명은 건축 공사 과정의 오류를 검증하는 용도로도 매우 유용하게 이용될 수 있다. 건축 공사 진행과정에서 공사 현장의 사진들을 반복적으로 촬영하여 보관하면, 본 발명에 의해 공사 진행과정에 따른 공사 현장의 치수 변화를 파악할 수 있다. 건축 공사 준공 후에 문제가 발생하였을 때 공사 과정에서 치수상 오류가 있었는지 여부를 당시 촬영한 사진들만을 이용하여 용이하게 검증 가능하다.

이상 본 발명에 대해 바람직한 예를 들어 설명하였으나 본 발명의 범위가 앞에서 설명하고 도시한 형태로 한정되는 것은 아니다.

예를 들어, 앞에서 본 발명은 카메라에 의해 촬영된 사진 이미지들을 이용하는 것으로 설명하였으나, 사진 이미지들을 획득하는 수단은 일반적인 디지털 카메라에 한정되는 것은 아니다. 3차원 스캐너에 의해 촬영된 사진 이미지들을 이용하여 본 발명을 실시하는 것도 가능하다. 3차원 스캐너는 디지털 카메라와 마찬가지로 촬영 대상물의 이미지를 얻고, 해당 이미지의 픽셀마다 해당 지점의 깊이(depth)를 측정하는 방법으로 3차원 대상물의 형상 정보를 확보한다. 이와 같이 3차원 스캐너에 의해 측정된 3차원 정보의 경우 면과 면이 만나는 모서리 부분 등에서 형상이 뭉개진 형태로 구성되므로, 거리 측정이 어렵거나 정확하지 않을 수 있다. 이때, 3차원 스캐너에 의해 확보된 이미지 정보에 대해 본 발명을 적용하면 효과적으로 측정점(M)의 좌표나 측정점(M) 사이의 거리를 계산하는 것이 가능하다. 즉, 본 발명은 3차원 스캐너의 결과물에 대해 보조적으로 또는 대안적으로 사용되어 거리 측정의 성능을 더욱 향상시킬 수 있다.

또한, 앞에서 픽셀 비교 모듈(900)이 제1투영점(M1)에 대응하는 제2투영점(M2)을 제2사진 이미지(S2)에서 찾는 과정에서 특징 기술자를 이용하거나 이미지 패치를 사용하는 경우를 예로 들어 설명하였으나 이와 같은 방법 이외에 다른 방법을 사용하는 것도 가능하다.

또한, 앞에서 (k) 단계에 카메라 연결 직선 계산 모듈(800)이 제2에피 폴(E2)에서 시작하여 에피폴라 라인(EL) 상의 픽셀들에 대해 제1투영점(M1)에 대응하는지 여부를 확인하는 것으로 설명하였으나, 카메라 연결 직선 계산 모듈(800)을 사용하지 않는 것도 가능하다. 다른 계산과 비교 회수를 줄이면서 빠르게 제1사진 이미지(S1)와 제2사진 이미지(S2)의 픽셀들을 비교하여 제2투영점(M2)을 찾아내는 다른 다양한 방법을 사용하는 것도 가능하다.

100: 제1사진 이미지 좌표 모듈 200: 제2사진 지정 모듈
300: 카메라 정보 모듈 400: 이미지 평면 계산 모듈
500: 투영점 계산 모듈 600: 제1투영 직선 계산 모듈
700: 에피 라인 계산 모듈 800: 카메라 연결 직선 계산 모듈
900: 픽셀 비교 모듈 1000: 제2투영 직선 계산 모듈
1100: 측정점 계산 모듈

Claims

카메라에 의해 촬영된 복수의 사진 이미지들을 이용하여 상기 복수의 사진 이미지들에 공통적으로 표시된 측정점의 3차원 좌표를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 방법에 있어서,
(a) 제1사진 이미지 좌표 모듈이 상기 복수의 이미지들 중 제1사진 이미지에 표시된 상기 측정점의 상기 제1사진 이미지 상의 좌표를 제1사진 이미지 좌표로서 입력 받는 단계;
(b) 제2사진 지정 모듈이 상기 측정점이 표시된 제2사진 이미지를 지정하는 단계;
(c) 카메라 정보 모듈이 상기 복수의 사진 이미지들을 촬영한 방향에 해당하는 카메라 방향과 투영 중심점의 좌표에 해당하는 카메라 위치를 카메라 정보로서 획득하는(achieving) 단계;
(d) 이미지 평면 계산 모듈이 상기 제1사진 이미지 및 제2사진 이미지에 대응하는 카메라 정보를 이용하여 가상의 3차원 공간상에 상기 제1사진 이미지 및 제2사진 이미지가 투영되는 제1이미지 평면과 제2이미지 평면을 계산하는 단계;
(e) 투영점 계산 모듈이 상기 제1이미지 평면에 상기 측정점이 표시되는 위치에 해당하는 제1투영점의 3차원 좌표를 상기 제1사진 이미지 좌표를 이용하여 계산하는 단계;
(f) 제1투영 직선 계산 모듈이 상기 제1이미지 평면의 제1투영점과 상기 제1사진 이미지에 대응하는 상기 카메라 정보의 카메라 위치를 연결하는 제1투영 직선을 계산하는 단계;
(g) 에피 라인 계산 모듈이 상기 제1투영 직선이 상기 제2이미지 평면에 투영된 에피폴라 라인(epipolar line)을 계산하는 단계;
(h) 픽셀 비교 모듈이 상기 제1사진 이미지와 상기 제2사진 이미지의 픽셀을 비교하여 상기 에피폴라 라인의 경로 상에서 상기 제1투영점에 대응하는 제2투영점의 3차원 좌표를 계산하는 단계;
(i) 제2투영 직선 계산 모듈이 상기 제2이미지 평면의 제2투영점과 상기 제2사진 이미지에 대응하는 상기 카메라 정보의 카메라 위치를 연결하는 제2투영 직선을 계산하는 단계;
(j) 측정점 계산 모듈이 상기 제1투영 직선 및 제2투영 직선에 대한 거리가 최소화되는 영역 내의 점의 좌표를 상기 측정점의 3차원 좌표로 결정하는 단계; 및
(k) 카메라 연결 직선 계산 모듈이 상기 제1사진 이미지의 카메라 위치와 제2사진 이미지의 카메라 위치를 연결하는 카메라 연결 직선을 계산하고, 상기 카메라 연결 직선이 상기 제2이미지 평면과 만나는 제2에피 폴을 계산하는 단계;를 포함하고,
상기 (h) 단계는, 상기 제2에피 폴에서 시작하여 상기 에피폴라 라인 상의 픽셀들에 대해 상기 제2투영점의 3차원 좌표를 찾는 계산을 실시하며,
상기 (b) 단계는, 상기 제2사진 지정 모듈이 상기 복수의 사진 이미지들의 카메라 정보의 카메라 위치와 상기 제1사진 이미지의 카메라 위치를 연결하는 직선과 상기 제1투영 직선 사이의 각도가 45도에 가장 가까운 사진 이미지를 상기 제2사진 이미지로 지정하는 사진 이미지를 이용한 3차원 좌표 계산 방법.
제1항에 있어서,
상기 (c) 단계는,
상기 카메라 정보 모듈이 컴퓨터 비전 SfM(Structure from Motion) 방법을 이용하여 상기 복수의 사진 이미지들에 대응하는 상기 카메라 정보를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 방법.
제1항에 있어서,
상기 (c) 단계는,
상기 카메라 정보 모듈이 상기 복수의 사진 이미지들 촬영시에 함께 저장된 관성 측정 센서(IMU; Inertial Measurement Unit)의 측정값을 이용하여 상기 복수의 사진 이미지들에 대응하는 상기 카메라 정보를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 방법.
제1항에 있어서,
상기 (j) 단계는,
측정점 계산 모듈이, 상기 제1투영 직선 및 제2투영 직선에 대한 거리가 각각 같으면서 각 투영 직선에 대한 거리가 최소가 되는 점의 좌표를 상기 측정점의 3차원 좌표로 결정하는 사진 이미지를 이용한 3차원 좌표 계산 방법.
제1항에 있어서,
상기 (h) 단계는, 상기 픽셀 비교 모듈이 제1사진 이미지와 제2사진 이미지의 픽셀들에 대한 특징 기술자(feature descriptor)를 계산하여 특징 기술자 유사성을 기준으로 상기 제2투영점의 3차원 좌표를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 방법.
제1항에 있어서,
상기 (h) 단계는, 상기 픽셀 비교 모듈이 제1사진 이미지의 제1투영점 주변의 패치를 설정하고 상기 제2사진 이미지의 상기 에피폴라 라인 상의 픽셀 주변의 패치를 설정하여 이미지 패치 비교 결과 유사성이 높은 픽셀을 상기 제2투영점의 3차원 좌표로 결정하는 사진 이미지를 이용한 3차원 좌표 계산 방법.
삭제
삭제
삭제
카메라에 의해 촬영된 복수의 사진 이미지들을 이용하여 상기 복수의 사진 이미지들에 공통적으로 표시된 측정점의 3차원 좌표를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 장치에 있어서,
상기 복수의 사진 이미지들 중 제1사진 이미지에 표시된 상기 측정점의 상기 제1사진 이미지 상의 좌표를 제1사진 이미지 좌표로서 입력 받는 제1사진 이미지 좌표 모듈;
상기 복수의 사진 이미지들 중 상기 측정점이 표시된 제2사진 이미지를 지정하는 제2사진 지정 모듈;
상기 복수의 사진 이미지들을 촬영한 방향에 해당하는 카메라 방향과 투영 중심점의 좌표에 해당하는 카메라 위치를 카메라 정보로서 획득하는(achieving) 카메라 정보 모듈;
상기 제1사진 이미지 및 제2사진 이미지에 대응하는 카메라 정보를 이용하여 가상의 3차원 공간상에 상기 제1사진 이미지 및 제2사진 이미지가 투영되는 제1이미지 평면과 제2이미지 평면을 계산하는 이미지 평면 계산 모듈;
상기 제1이미지 평면에 상기 측정점이 표시되는 위치에 해당하는 제1투영점의 3차원 좌표를 상기 제1사진 이미지 좌표를 이용하여 계산하는 투영점 계산 모듈;
상기 제1이미지 평면의 제1투영점과 상기 제1사진 이미지에 대응하는 상기 카메라 정보의 카메라 위치를 연결하는 제1투영 직선을 계산하는 제1투영 직선 계산 모듈;
상기 제1투영 직선이 상기 제2이미지 평면에 투영된 에피폴라 라인(epipolar line)을 계산하는 에피 라인 계산 모듈;
상기 제1사진 이미지와 상기 제2사진 이미지의 픽셀을 비교하여 상기 에피폴라 라인의 경로 상에서 상기 제1투영점에 대응하는 제2투영점의 3차원 좌표를 계산하는 픽셀 비교 모듈;
상기 제2이미지 평면의 제2투영점과 상기 제2사진 이미지에 대응하는 카메라 정보의 카메라 위치를 연결하는 제2투영 직선을 계산하는 제2투영 직선 계산 모듈;
상기 제1투영 직선 및 제2투영 직선에 대한 거리가 최소화되는 영역 내의 점의 좌표를 상기 측정점의 3차원 좌표로 결정하는 측정점 계산 모듈; 및
상기 제1사진 이미지의 카메라 위치와 제2사진 이미지의 카메라 위치를 연결하는 카메라 연결 직선을 계산하고, 상기 카메라 연결 직선이 상기 제2이미지 평면과 만나는 제2에피 폴을 계산하는 카메라 연결 직선 계산 모듈;을 포함하고,
상기 픽셀 비교 모듈은, 상기 제2에피 폴에서 시작하여 상기 에피폴라 라인 상의 픽셀들에 대해 상기 제2투영점의 3차원 좌표를 찾는 계산을 실시하며,
상기 제2사진 지정 모듈은, 상기 복수의 사진 이미지들의 카메라 정보의 카메라 위치와 상기 제1사진 이미지의 카메라 위치를 연결하는 직선과 상기 제1투영 직선 사이의 각도가 45도에 가장 가까운 사진 이미지를 상기 제2사진 이미지로 지정하는 사진 이미지를 이용한 3차원 좌표 계산 장치.
제10항에 있어서,
상기 카메라 정보 모듈은, 컴퓨터 비전 SfM(Structure from Motion) 방법을 이용하여 상기 복수의 사진 이미지들에 대응하는 상기 카메라 정보를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 장치.
제10항에 있어서,
상기 카메라 정보 모듈은 상기 복수의 사진 이미지들 촬영시에 함께 저장된 관성 측정 센서(IMU; Inertial Measurement Unit)의 측정값을 이용하여 상기 복수의 사진 이미지들에 대응하는 상기 카메라 정보를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 장치.
제10항에 있어서,
측정점 계산 모듈은, 상기 제1투영 직선 및 제2투영 직선에 대한 거리가 각각 같으면서 각 투영 직선에 대한 거리가 최소가 되는 점의 좌표를 상기 측정점의 3차원 좌표로 결정하는 사진 이미지를 이용한 3차원 좌표 계산 장치.
제10항에 있어서,
상기 픽셀 비교 모듈은, 제1사진 이미지와 제2사진 이미지의 픽셀들에 대한 특징 기술자(feature descriptor)를 계산하여 특징 기술자 유사성을 기준으로 상기 제2투영점의 3차원 좌표를 계산하는 사진 이미지를 이용한 3차원 좌표 계산 장치.
제10항에 있어서,
상기 픽셀 비교 모듈은, 제1사진 이미지의 제1투영점 주변의 패치를 설정하고 상기 제2사진 이미지의 상기 에피폴라 라인 상의 픽셀 주변의 패치를 설정하여 이미지 패치 비교 결과 유사성이 높은 픽셀을 상기 제2투영점의 3차원 좌표로 결정하는 사진 이미지를 이용한 3차원 좌표 계산 장치.
삭제
삭제
삭제