KR20100072843A - 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법 - Google Patents

평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법 Download PDF

Info

Publication number
KR20100072843A
KR20100072843A KR1020080131370A KR20080131370A KR20100072843A KR 20100072843 A KR20100072843 A KR 20100072843A KR 1020080131370 A KR1020080131370 A KR 1020080131370A KR 20080131370 A KR20080131370 A KR 20080131370A KR 20100072843 A KR20100072843 A KR 20100072843A
Authority
KR
South Korea
Prior art keywords
homography
calculating
absolute
camera
parallelogram
Prior art date
Application number
KR1020080131370A
Other languages
English (en)
Other versions
KR101166719B1 (ko
Inventor
김재헌
유정재
김혜미
김재환
김종성
김진호
정일권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131370A priority Critical patent/KR101166719B1/ko
Priority to US12/491,010 priority patent/US8401277B2/en
Publication of KR20100072843A publication Critical patent/KR20100072843A/ko
Application granted granted Critical
Publication of KR101166719B1 publication Critical patent/KR101166719B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 평행사변형을 기반으로 무한 호모그래피를 산출하고, 이를 토대로 건물 구조를 복원하는 방법으로서, 이를 위해 두 개 이상의 평행사변형을 찾아 이것을 이용하여 임의의 카메라를 기준으로 하는 카메라들 사이의 무한 호모그래피를 산출하고, 산출된 무한 호모그래피와 영상들 간의 대응점을 이용하여 아핀(affine) 공간상에서 카메라와 건물의 구조를 복원하고 그 후 복원 된 3차원 점들이 이루는 벡터 간의 직교성 및 거리의 비, 카메라 내부인자에 대한 제한 조건을 이용하여 이 복원 결과를 메트릭(metric) 공간상으로 변환한다. 그 결과 카메라의 내부인자 및 메트릭(metric) 공간상의 카메라의 위치와 건물의 구조를 복원하게 된다. 이 때 모든 영상에 대응하는 카메라의 내부변수가 일정하지 않아도 상기의 모든 복원이 가능할 수 있다.
카메라, 평행성, 3차원 복원, 구조 복원, 아핀, 무한 호모그래피

Description

평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법{METHOD FOR CALCULATING A LIMITLESS HOMOGRAPHY AND METHOD FOR RECONSTRUCTING ARCHITECTURE OF BUILDING USING THE SAME}
본 발명은 건물 복원에 관한 것으로, 더욱 상세하게는 카메라로 찍은 건물의 영상들에서 평행사변형을 이용하여 무한 호모그래피를 산출하고, 이를 이용하여 건물을 복원하는 방법에 관한 것이다.
본 발명은 지식 경제부 및 정보통신연구진흥원 의 IT 신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2007-S-051-02, 과제명: 디지털 크리쳐 제작 S/W 개발].
카메라를 이용하여 찍은 건물의 사진을 이용하여 건물의 구조나 카메라의 위치 등을 계산하는 분야는 이미지 기반 모델링의 범위에 든다고 할 수 있다. 이러한 작업은 컴퓨터 비젼 분야에서 그동안 많은 연구가 수행되어 왔으며 컴퓨터 그래픽스, 가상현실, 로봇분야 등에 광범위하게 이용될 수 있다.
기존의 이미지 기반 모델링의 방법은 크게 두가지로 나뉠 수 있다
첫째, 점 기반 방식이 있는데, 이 방식은 여러 영상에서 대응하는 특징점들을 추출하여 이 점들의 3차원 위치와 카메라의 위치를 복원하는 방식이다.
둘째, 프리미티브 기반 방식이 있는데, 이 방식은 공간상에 존재하는 모델에 맞는 기본 모델을 우선 사용자가 지정해 주고 이 모델의 파라미터를 변경시켜 가면서 이를 영상에 재투영 하여 오차를 줄여 복원을 하는 방식으로서, 적은 수의 영상만으로 정밀한 결과를 얻을 수 있다.
종래의 점 기반 방식은 정밀도를 확보하기 위해 많은 수의 영상이 필요하다는 단점이 있고, 프리미티브 기반 방식은 프리미티브가 존재 않는 일반적인 장면에 대해서는 적용이 어려운 단점이 있다.
본 발명은 복원 대상이 되는 건물에 대한 영상이 적은 수이고 건물에 존재하는 기하 정보로서 두 개 이상의 평행사변형만 존재할 경우 이를 이용하여 무한 호모그래피를 산출하고, 이를 이용하여 건물 구조를 복원한다.
본 발명에 따른 평행사변형 기반의 무한 호모그래피 산출 방법은, 카메라들에 의해 촬영된 각 영상들의 3차원 공간에 존재하는 각 평행사변형을 사각형으로 변환시켜 상기 각 영상에 대한 교정 호모그래피를 산출하는 단계와, 상기 산출된 교정 호모그래피를 이용하여 변환한 새로운 영상들 사이의 호모그래피를 산출하는 단계와, 상기 산출된 새로운 영상들 사이의 호모그래피와 상기 교정 호모그래피를 이용하여 상기 각 영상 사이의 무한 호모그래피에 대한 선형 제한 조건을 산출하는 단계와, 상기 영상 사이의 무한 호모그래피과 두 개의 영상에서 대응하는 소실점간의 관계를 이용하여 상기 소실점으로부터 상기 무한 호모그래피에 대한 선형 제한 조건을 산출하는 단계와, 상기 산출된 선형 제한 조건을 이용하여 상기 무한 호모그래피를 산출하는 단계를 포함한다.
또한, 본 발명에 따른 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법은, 카메라들에 의해 촬영된 영상들의 3차원 공간에 존재하는 각 평행사변형을 기반으로 하여 상기 영상들 사이의 무한 호모그래피를 산출하는 단계와, 상기 산출된 무한 호모그래피를 이용하여 아핀 공간에서 상기 각 카메라와 상기 영상 내들 건물의 구조를 복원하는 단계와, 상기 각 카메라의 내부 인자 또는 상기 각 영상에서 인지된 공간상의 제한 조건을 이용하여 상기 아핀 공간을 매트릭 공간으로 변환시키는 단계를 포함한다.
본 발명은 복원하고자 하는 건물에 대해 카메라로 촬영한 영상의 수가 적고, 배경에 존재하는 기하 정보로서 평행사변형일 경우 카메라의 보정 및 위치 복원 그리고 건물의 구조 복원을 동시에 하는 것이 가능해질 뿐만 아니라 임의로 촬영한 영상이나 인터넷 상에서 획득한 소수의 영상들을 가지고 정밀한 건물의 구조 복원이 가능해진다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명에 따른 객체 3차원 복원 과정을 도시한 흐름도이다.
도 1에 도시된 바와 같이, 먼저 영상 사이의 무한 호모그래피(
Figure 112008087982264-PAT00001
)를 산출(S100)하는데, 그 과정에 대해 도 2를 참조하여 설명한다.
도 2는 본 발명에 따른 무한 호모그래피를 산출하는 과정을 도시한 흐름도이다.
먼저, 도 2를 참조하면, 3차원 공간에 존재하는 평행사변형 하나에 대응하는 교정 호모그래피를 구한다. 예컨대, 도 3a 내지 도 3d에 도시된 바와 같이, 임의의 객체, 예컨대 건물에 존재하는 하나의 평행사변형 A에 대한 교정 호로그래피를 구한다. 도 3a 내지 도 3d에서와 같이 3차원 공간에 존재하는 평행사변형 중 하나의 A에 대한 두 카메라 영상으로의 투영을 임의의 직사각형으로 변환(S200)시키는 3x3 매트릭스인 2차원 교정 호모그래피(
Figure 112008087982264-PAT00002
,
Figure 112008087982264-PAT00003
)을 산출한다(S202). 즉, 도 3a에 도시된 바와 같이, 카메라에 의해 촬영된 평행사변형 A를 투영시켜 도 3b와 같 은 임의의 직사각형으로 변화시킴으로서, 2차원 호모그래피
Figure 112008087982264-PAT00004
을 생성하고, 도 3c에 도시된 바와 같이, 카메라에 의해 촬영된 평행사변형 A를 투영시켜 도 3d와 같은 임의의 직사각형으로 변화시킴으로서, 2차원 호모그래피
Figure 112008087982264-PAT00005
을 생성한다.
이와 같은 과정을 통해 생성된 3x3 매트릭스인 2차원 호모그래피,
Figure 112008087982264-PAT00006
,
Figure 112008087982264-PAT00007
을 본 발명에서는 교정 호모그래피라고 정의한다.
이러한 교정 호모그래피를 구하기 위한 임의의 직사각형은 영상의 가로, 세로축과 각 변이 평행하게 선정되기만 하면, 어떠한 크기나 모양이라도 상관이 없으며, 도 4a 내지 도 4d에 도시된 바와 같이 영상에 존재하는 또 다른 평행사변형, 예컨대 B에 대해서도 상기와 같은 과정을 통해 교정 호모그래피((
Figure 112008087982264-PAT00008
,
Figure 112008087982264-PAT00009
)를 구한다.
원래의 카메라 영상을 교정 호모그래피를 이용하여 변환한 새로운 영상들이 있을 경우 새로운 영상 사이의 호모그래피를 산출하는데(S204), 즉 도 3b와 도 3d 영상간의 호모그래피(
Figure 112008087982264-PAT00010
)과 도 4b와 도 4d 영상간의 호모그래피(
Figure 112008087982264-PAT00011
)를 산출한다. 새로운 영상들 사이의 호모그래피(
Figure 112008087982264-PAT00012
,
Figure 112008087982264-PAT00013
)는 (1,1)의 요소와 (2,2)의 요소가 같은 크기를 갖는다.
원래의 영상(도 3a와 도 3c 및 도 4a와 도 4c 영상)사이의 무한 호모그래피(
Figure 112008087982264-PAT00014
)와 평행사변형 A, B에 대해 교정 호모그래피(
Figure 112008087982264-PAT00015
,
Figure 112008087982264-PAT00016
,
Figure 112008087982264-PAT00017
,
Figure 112008087982264-PAT00018
)간의 관계는 아래의 수학식1과 같다.
Figure 112008087982264-PAT00019
상기의 수학식1을 정리하면 아래의 수학식 2와 같다.
Figure 112008087982264-PAT00020
상기 수학식1의 우변을 정리한 후 앞에서 언급한
Figure 112008087982264-PAT00021
요소의 특징을 이용하여 (1,1)의 요소와 (2,2)의 요소를 같게 두면, 1개의 무한 호모그래피(
Figure 112008087982264-PAT00022
)에 대한 선형 제한 조건을 산출할 수 있다(S206). 이러한 제한 조건은 도3a 내지 도 3d의 평행사변형 A 뿐만 아니라 추가로 존재하는 모든 평행 사변형으로부터 만들어 질 수 있다.
일반적으로 알려진 대로 두 영상 사이의 무한 호모그래피(
Figure 112008087982264-PAT00023
)는 두 영상에서 대응하는 소실점
Figure 112008087982264-PAT00024
,
Figure 112008087982264-PAT00025
들과 아래의 수학식3과 같은 관계를 갖는다.
Figure 112008087982264-PAT00026
상기의 수학식3으로부터 알 수 있듯이, 하나의 소실점으로부터 2개의 무한 호모그래피(
Figure 112008087982264-PAT00027
)에 대한 선형 제한 조건을 산출할 수 있다(S208). 이러한 조건들을 모두 이용하면, 도 3a 및 도 4a의 예와 같이 3개 이상의 소실점(
Figure 112008087982264-PAT00028
,
Figure 112008087982264-PAT00029
,
Figure 112008087982264-PAT00030
,
Figure 112008087982264-PAT00031
)이 있고, 두 개 이상의 평행사변을 이용하면, 8개의 무한 호모그래피(
Figure 112008087982264-PAT00032
)에 대한 선형 제한 조건을 구할 수 있다. 이때, 무한 호모그래피(
Figure 112008087982264-PAT00033
)는 8개의 자유도가 있기 때문에 무한 호모그래피(
Figure 112008087982264-PAT00034
)를 산출할 수 있다(S210).
이러한 과정에서 중요한 것은 도 3a 내지 도 3b에 도시된 영상에 보이는 평행사변형들은 공간상의 동일한 평행사변형일 필요가 없이 병진 이동되어 겹칠 수 있는 평행사변형도 동일한 평행사변형으로 간주하여 제한 조건을 만들 수 있다는 것이다. 예컨대 도 5 내지 도 8의 예에서 평행사변형 D와 E는 공간상의 다른 평행사변형이지만 병진 이동을 통해 겹칠 수 있기 때문에 같은 것으로 보고 위의 선형 제한 조건을 구할 수 있다.
따라서, 도 7 및 도 8의 예에서 평행사변형 카메라들의 시야 영역이 가능한 많이 겹쳐야 하는 제한 조건을 완화시킬 수 있다.
그런 다음, 무한 호모그래피(
Figure 112008087982264-PAT00035
)를 이용하여 아핀(affine) 공간 상에서 카메라와 건물의 구조를 복원(S110)한다. 그 과정에 대해 설명하면 아래와 같다.
먼저, 기준이 되는 영상 하나를 선정하고, 그 영상에 대응하는 기준 카메라에 대응되는 아핀 공간 상에서의 기준 카메라 수식은 아래의 수학식4에 의해 정의 될 수 있다.
[I|0]
상기의 수학식 4에서 I는 3x3의 항등행렬이다. 나머지 임의의 i번째 카메라와 기준 카메라 사이의 무한 호모그래피가
Figure 112008087982264-PAT00036
라면, i번째 카메라의 수식은 아래의 수학식 5에서 의해 정의될 수 있다.
Figure 112008087982264-PAT00037
상기 수학식 5에서
Figure 112008087982264-PAT00038
는 구해야 하는 3x1 벡터이다.
한편, 공간상의 복원해야 하는 j번째 점들을
Figure 112008087982264-PAT00039
라 두고, 이 점들의 i번째 카메라 상으로의 투영인
Figure 112008087982264-PAT00040
는 아래의 수학식 6에 의해 정의될 수 있다.
Figure 112008087982264-PAT00041
모든 점과 카메라에 대해 이 수식을 상기와 같은 방법으로 생성하고,
Figure 112008087982264-PAT00042
,
Figure 112008087982264-PAT00043
에 대해 정리하면 동차방정식이 나오고 이를 풀면 해를 구할 수 있다. 그 결과는 아핀 공간상에서 카메라와 건물의 구조복원이다.
그런 다음, 아핀 공간 상의 복원 결과를 공간상의 제한 조건을 이용하여 메 트릭(metric) 공간 상으로 변환하는 과정(S120)은 다음과 같다. 여기서, 공간상의 제한 조건은 카메라에 의해 촬영된 영상에서 추출되는데, 즉 영상에서 사용자가 직접 확인 가능한 정보일 수 있다.
먼저, 아핀 공간상에서 앱솔루트 코닉(Absolute Conic,
Figure 112008087982264-PAT00044
)을 찾아야 한다. 만약 복원된 점들을 이은 임의의 두 벡터(
Figure 112008087982264-PAT00045
,
Figure 112008087982264-PAT00046
)가 공간상의 제한 조건을 토대로 실제 메트릭 공간상에서 직교라면, 두 벡터(
Figure 112008087982264-PAT00047
,
Figure 112008087982264-PAT00048
)와 앱솔루트 코닉(Absolute Conic,
Figure 112008087982264-PAT00049
)간의 관계는 아래의 수학식 7에 의해 정의된다.
Figure 112008087982264-PAT00050
한편, 임의의 두 벡터(
Figure 112008087982264-PAT00051
,
Figure 112008087982264-PAT00052
)의 길이의 비가 제한 조건을 토대로 r이라면, 두 벡터(
Figure 112008087982264-PAT00053
,
Figure 112008087982264-PAT00054
)와 앱솔루트 코닉(Absolute Conic,
Figure 112008087982264-PAT00055
)간의 관계는 아래의 수학식 8에 의해 정의된다.
Figure 112008087982264-PAT00056
그리고 두 벡터((
Figure 112008087982264-PAT00057
,
Figure 112008087982264-PAT00058
) 사이의 길이의 비(r)와 더불어 사이 각, theta 를 알게 되면, 두 벡터(
Figure 112008087982264-PAT00059
,
Figure 112008087982264-PAT00060
)와 앱솔루트 코닉(Absolute Conic,
Figure 112008087982264-PAT00061
)간의 관계는 아래의 수학식 9에 의해 정의된다.
Figure 112008087982264-PAT00062
이상의 결과 식은 일반적인 건물에서 흔히 알 수 있는 정보들이고 이들 모두 또는 일부를 이용하면 앱솔루트 코닉(
Figure 112008087982264-PAT00063
)에 대한 동차 방정식을 산출한다.
상기의 수학식 7 내지 9에 정의된 앱솔루트 코닉(
Figure 112008087982264-PAT00064
)과 두 벡터(
Figure 112008087982264-PAT00065
,
Figure 112008087982264-PAT00066
) 사이의 관계 식은 인지된 제한 조건에 따라 선택적으로 적용되며, 적용된 수학식에 의해 앱솔루트 코닉(
Figure 112008087982264-PAT00067
) 의 동차 방정식을 산출할 수 있다.
카메라 내부인자의 제한 조건을 이용하여 앱솔루트 코닉(
Figure 112008087982264-PAT00068
)을 구하는 과정은 아래와 같다.
만약 카메라의 내부인자가 일정하다면, 앱솔루트 코닉(
Figure 112008087982264-PAT00069
)과 무한 호모그래피간의 관계는 아래의 수학식 10에 의해 정의될 수 있다.
Figure 112008087982264-PAT00070
또한, 임의의 메트릭스
Figure 112008087982264-PAT00071
의 (i,j)의 요소를 (
Figure 112008087982264-PAT00072
)_{ij} 라 표기하고, 카메라 픽셀의 가로 세로 축이 정방형이라면, 앱솔루트 코닉(
Figure 112008087982264-PAT00073
)과 무한 호모그래피간의 관계는 아래의 수학식 11에 의해 정의될 수 있다.
Figure 112008087982264-PAT00074
만약, 카메라의 광축이 이미지의 중심을 지난다면, 앱솔루트 코닉(
Figure 112008087982264-PAT00075
)과 무한 호모그래피간의 관계는 아래의 수학식 12에 의해 정의될 수 있다.
Figure 112008087982264-PAT00076
한편, 이미지 픽셀의 가로 세로 비율이 r이라면, 앱솔루트 코닉(
Figure 112008087982264-PAT00077
)과 무한 호모그래피간의 관계는 아래의 수학식 13에 의해 정의될 수 있다.
Figure 112008087982264-PAT00078
상기의 수학식 11 내지 수학식 13을 이용하여 앱솔루트 코닉(
Figure 112008087982264-PAT00079
)에 대한 동차 방정식을 제공하게 된다. 가능한 얻을 수 있는 조건으로부터 위의 모든 앱솔루트 코닉(
Figure 112008087982264-PAT00080
)에 대한 방정식을 구한 후 이를 풀어서 앱솔루트 코닉(
Figure 112008087982264-PAT00081
)를 구하면, 앱솔루트 코닉(
Figure 112008087982264-PAT00082
)과 A 매트릭스간의 관계인 아래의 수학식 14를 이용하여 A 매트릭스를 산출한다(S130).
Figure 112008087982264-PAT00083
A 매트릭스는 촐레스키 팩토라이제이션을 통해 구하면, A 매트릭스를 이용하여 아래의 같은 수학식 15를 통해 3차원 호모그래피(
Figure 112008087982264-PAT00084
)를 산출수 있다(S140).
Figure 112008087982264-PAT00085
다음으로, 상기 3차원 호모그래피(
Figure 112008087982264-PAT00086
)를 아핀공간상에서 복원된 카메라의 수학식과 점들에 대해 아래의 수학식 16을 적용하면 메트릭 공간으로 변환하게 된다(S150).
Figure 112008087982264-PAT00087
지금까지의 과정을 이용하여 도 5 내지 도 8을 이용하여 카메라의 보정 및 위치 복원 그리고 건물의 구조복원을 한 예가 도 9와 같다. 사용된 평행사변형은 C, D, E이고 언급했듯이 무한 호모그래피를 구하는데 있어서 D와 E는 같은 평행사변형으로 간주하였다. 여기서 사용된 공간상의 제한 조건은 도 5에서 표시된 벡터 a와 b의 수직인 점, 벡터 c와 d의 거리비가 1:6이라는 점이다.
본 발명의 바람직한 실시 예에 따른 3차원 건물 구조 복원 과정은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하 다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. 본 발명에 의한 폰트 롬 데이터구조도 컴퓨터로 읽을 수 있는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이터 저장 장치등과 같은 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다.
지금까지 본 발명의 바람직한 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
도 1은 본 발명에 따른 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 과정을 도시한 흐름도이며,
도 2는 본 발명에 따른 무한 호모그래피 산출 과정을 도시한 흐름도이며,
도 3a 내지 도 3d는 교정 호모그래피에 의해 변환된 교정 카메라 영상의 예시도이며,
도 4a 내지 도 4d는 도 3a 내지 도 3d에서 사용되지 않은 평행사변형에 대해서 적용되는 상황의 예시도이며,
도 5 내지 도 7은 본 발명의 내용을 검증하는 실행에 쓰인 도면이며,
도 8은 도 5 내지 도 7의 영상에 대해 본 발명의 방법을 적용하여 얻은 카메라와 건물의 복원 결과를 도시한 도면이다.
도 6은 본 발명의 내용을 검증하는 실행에 쓰인 도면이며,
도 7은 본 발명의 내용을 검증하는 실행에 쓰인 도면이며,
도 8은 본 발명의 내용을 검증하는 실행에 쓰인 도면이다.
도 9는 카메라의 보정 및 위치 복원 그리고 건물의 구조복원을 한 예시도이다.

Claims (13)

  1. 카메라들에 의해 촬영된 각 영상들의 3차원 공간에 존재하는 각 평행사변형을 사각형으로 변환시켜 상기 각 영상에 대한 교정 호모그래피를 산출하는 단계와,
    상기 산출된 교정 호모그래피를 이용하여 변환한 새로운 영상들 사이의 호모그래피를 산출하는 단계와,
    상기 산출된 새로운 영상들 사이의 호모그래피와 상기 교정 호모그래피를 이용하여 상기 각 영상 사이의 무한 호모그래피에 대한 선형 제한 조건을 산출하는 단계와,
    상기 영상 사이의 무한 호모그래피과 두 개의 영상에서 대응하는 소실점간의 관계를 이용하여 상기 소실점으로부터 상기 무한 호모그래피에 대한 선형 제한 조건을 산출하는 단계와,
    상기 산출된 선형 제한 조건을 이용하여 상기 무한 호모그래피를 산출하는 단계
    를 포함하는 평행사변형 기반의 무한 호모그래피 산출 방법.
  2. 제 1 항에 있어서,
    상기 교정 호모그래피를 산출하는 단계는, 어느 하나의 영상에서 보이는 평형사변형이 다른 영상에서 보이지 않고 상기 어느 하나의 영상 내 평행사변형이 병진 이동되어 겹칠 수 있는 평형사변형이 보일 경우 상기 어느 하나의 영상과 상기 다른 영상 내 평형사변형을 동일한 평행사변형으로 간주하여 상기 교정 호모그래피를 산출하는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법.
  3. 제 1 항에 있어서,
    상기 각 영상 사이의 무한 호모그래피에 대한 선형 제한 조건의 산출은, 아래의 수학식에 의해 산출되는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법.
    Figure 112009014306490-PAT00103
    ,
    Figure 112009014306490-PAT00104
    는 새로운 영상 사이의 호모그래피,
    Figure 112009014306490-PAT00105
    는 교정 호모그래피
  4. 제 1 항에 있어서,
    상기 소실점으로부터 상기 무한 호모그래피에 대한 선형 제한 조건의 산출은, 아래의 수학식으로부터 산출되는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법.
    (
    Figure 112009014306490-PAT00106
    ,
    Figure 112009014306490-PAT00107
    ,
    Figure 112009014306490-PAT00108
    는 소실점)
  5. 카메라들에 의해 촬영된 영상들의 3차원 공간에 존재하는 각 평행사변형을 기반으로 하여 상기 영상들 사이의 무한 호모그래피를 산출하는 단계와,
    상기 산출된 무한 호모그래피를 이용하여 아핀 공간에서 상기 각 카메라와 상기 영상 내들 건물의 구조를 복원하는 단계와,
    상기 각 카메라의 내부 인자 또는 상기 각 영상에서 인지된 공간상의 제한 조건을 이용하여 상기 아핀 공간을 매트릭 공간으로 변환시키는 단계
    를 포함하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
  6. 제 5 항에 있어서,
    상기 건물의 구조를 복원하는 단계는,
    상기 영상들 중 기준이 되는 영상을 선택하는 단계와,
    상기 선택된 영상을 촬영한 기준 카메라에 대한 아핀 공간 상에서 카메라 수학식을 정의하는 단계와,
    상기 기준 카메라를 제외한 나머지 임의의 카메라에 의해 촬영된 영상과 상기 기준 카메라에 의해 촬영된 영상 사이의 무한 호모그래피를 이용하여 상기 임의의 카메라에 대한 카메라 수학식을 정의하는 단계와,
    상기 아핀 공간 상에서 복원해야 하는 점들과 상기 각 점들의 i번째 카메라 상으로의 투영된 점들간의 관계를 수학식으로 정의하는 단계와,
    상기 카메라 수학식들과 상기 정의된 수학식들간의 연산을 통해 아핀 공간에서의 상기 각 카메라와 건물의 구조를 복원하는 단계
    를 포함하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
  7. 제 6 항에 있어서,
    상기 아핀 공간을 매트릭 공간으로 변환시키는 단계는,
    상기 아핀 공간 상에서의 카메라와 건물의 구조와 상기 영상에서 인지된 공간상의 제한 조건 또는 카메라 내부 인자를 이용하여 앱솔루트 코닉을 산출하는 단계와,
    상기 산출된 앱솔루트 코닉을 이용하여 A 매트릭스를 산출하는 단계와,
    상기 산출된 A 매트릭스를 이용하여 3차원 호모그래피를 산출하는 단계와,
    상기 산출된 3차원 호모그래픽를 상기 복원된 카메라 수학식과 점들에 적용하여 상기 아핀 공간을 매트릭 공간으로 변환시키는 단계
    를 포함하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
  8. 제 7 항에 있어서,
    상기 앱솔루트 코닉을 산출하는 단계는, 상기 복원된 점들을 연결한 임의의 두 벡터(
    Figure 112009014306490-PAT00109
    ,
    Figure 112009014306490-PAT00110
    )가 상기 공간 상의 제한 조건에서 직교인 경우 수학식(
    Figure 112009014306490-PAT00111
    )을 통해 상기 아핀 공간상의 앱솔루트 코닉을 산출하는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
  9. 제 7 항에 있어서,
    상기 앱솔루트 코닉을 산출하는 단계는, 상기 복원된 점들을 연결한 임의의 두 벡터(
    Figure 112009014306490-PAT00112
    ,
    Figure 112009014306490-PAT00113
    )의 길이의 비가 상기 제한 조건에서 r인 경우 수학식(
    Figure 112009014306490-PAT00114
    )을 통해 상기 아핀 공간 상의 앱솔루트 코닉을 산출하는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
  10. 제 7 항에 있어서,
    상기 앱솔루트 코닉을 산출하는 단계는, 상기 복원된 점들을 연결한 임의의 두 벡터(
    Figure 112009014306490-PAT00115
    ,
    Figure 112009014306490-PAT00116
    )의 길이의 비가 상기 제한 조건에서 r이고 사이 각이 θ일 경우 수학식(
    Figure 112009014306490-PAT00117
    )을 통해 상기 아핀 공간 상의 앱솔루트 코닉을 산출하는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
  11. 제 7 항에 있어서,
    상기 앱솔루트 코닉을 산출하는 단계는, 상기 카메라의 내부인자가 일정하다면, 상기 앱솔루트 코닉(
    Figure 112009014306490-PAT00118
    )과 무한 호모그래피간의 수학식(
    Figure 112009014306490-PAT00119
    )을 통해 상기 앱솔루트 코닉(
    Figure 112009014306490-PAT00120
    )을 산출하는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
  12. 제 7 항에 있어서,
    상기 앱솔루트 코닉을 산출하는 단계는, 임의의 메트릭스
    Figure 112009014306490-PAT00121
    의 (i,j)의 요소를
    Figure 112009014306490-PAT00122
    라 표기하고, 카메라 픽셀의 가로 세로 축이 정방형이라면, 상기 앱솔루트 코닉(
    Figure 112009014306490-PAT00123
    )과 무한 호모그래피간의 수학식(
    Figure 112009014306490-PAT00124
    )을 통해 상기 앱솔루트 코닉(
    Figure 112009014306490-PAT00125
    )을 산출하는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
  13. 제 7 항에 있어서,
    상기 앱솔루트 코닉을 산출하는 단계는, 이미지 픽셀의 가로 세로 비율이 r이라면, 상기 앱솔루트 코닉(
    Figure 112009014306490-PAT00126
    )과 무한 호모그래피간의 수학식(
    Figure 112009014306490-PAT00127
    )을 통해 상기 앱솔루트 코닉(
    Figure 112009014306490-PAT00128
    )을 산출하는 것을 특징으로 하는 평행사변형 기반의 무한 호모그래피 산출 방법을 이용한 건물 구조 복원 방법.
KR1020080131370A 2008-12-22 2008-12-22 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법 KR101166719B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080131370A KR101166719B1 (ko) 2008-12-22 2008-12-22 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법
US12/491,010 US8401277B2 (en) 2008-12-22 2009-06-24 Method for restoration of building structure using infinity homographies calculated based on parallelograms

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131370A KR101166719B1 (ko) 2008-12-22 2008-12-22 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법

Publications (2)

Publication Number Publication Date
KR20100072843A true KR20100072843A (ko) 2010-07-01
KR101166719B1 KR101166719B1 (ko) 2012-07-19

Family

ID=42266189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131370A KR101166719B1 (ko) 2008-12-22 2008-12-22 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법

Country Status (2)

Country Link
US (1) US8401277B2 (ko)
KR (1) KR101166719B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120071224A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법
KR20170030325A (ko) * 2015-09-09 2017-03-17 한국전자통신연구원 입방체 복원 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554121B2 (en) * 2015-01-30 2017-01-24 Electronics And Telecommunications Research Institute 3D scanning apparatus and method using lighting based on smart phone
US11158070B2 (en) * 2019-10-23 2021-10-26 1974266 AB Ltd (TAGDit) Data processing systems and methods using six-dimensional data transformations

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9716240D0 (en) 1997-07-31 1997-10-08 Tricorder Technology Plc Scanning apparatus and methods
US6137491A (en) * 1998-06-05 2000-10-24 Microsoft Corporation Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes
KR100370366B1 (ko) 2000-05-27 2003-01-30 한국과학기술원 소실선을 이용한 이미지 변환방법
SE518620C2 (sv) * 2000-11-16 2002-10-29 Ericsson Telefon Ab L M Scenkonstruktion och kamerakalibrering med robust användning av "cheiralitet"
KR100436904B1 (ko) 2002-09-06 2004-06-23 강호석 2차원이미지에 대한 입체영상생성방법
US7747067B2 (en) * 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
JP4554231B2 (ja) 2004-02-17 2010-09-29 三菱プレシジョン株式会社 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
US20070076977A1 (en) * 2005-10-05 2007-04-05 Kuan-Wen Chen Method for calibrating camera parameters
KR101195942B1 (ko) 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120071224A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법
KR20170030325A (ko) * 2015-09-09 2017-03-17 한국전자통신연구원 입방체 복원 장치 및 방법

Also Published As

Publication number Publication date
US8401277B2 (en) 2013-03-19
US20100158353A1 (en) 2010-06-24
KR101166719B1 (ko) 2012-07-19

Similar Documents

Publication Publication Date Title
US10944960B2 (en) Free-viewpoint video generating method and free-viewpoint video generating system
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
KR102227583B1 (ko) 딥 러닝 기반의 카메라 캘리브레이션 방법 및 장치
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
US8406509B2 (en) Three-dimensional surface generation method
US8452081B2 (en) Forming 3D models using multiple images
US8447099B2 (en) Forming 3D models using two images
JP3954211B2 (ja) 三次元シーンにおける形状及び模様の復元方法及び装置
US20150093042A1 (en) Parameter calibration method and apparatus
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
KR102449438B1 (ko) 입방체 복원 장치 및 방법
CN109410260B (zh) 点云数据网格化方法、装置、计算机设备和存储介质
da Silveira et al. Dense 3D scene reconstruction from multiple spherical images for 3-DoF+ VR applications
GB2567245A (en) Methods and apparatuses for depth rectification processing
KR101166719B1 (ko) 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법
JPH11504452A (ja) ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法
CN109215118B (zh) 一种基于图像序列的增量式运动结构恢复优化方法
CN115937002B (zh) 用于估算视频旋转的方法、装置、电子设备和存储介质
CN112002007A (zh) 基于空地影像的模型获取方法及装置、设备、存储介质
CN110111249A (zh) 一种隧道内壁拼图影像的获取和生成方法及系统
JP6156922B2 (ja) 三次元データ生成装置、三次元データ生成方法、及びプログラム
Xiong et al. Linearly estimating all parameters of affine motion using radon transform
US11790606B2 (en) Determining camera rotations based on known translations
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법
JP2005063012A (ja) 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee