KR20130121290A - 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 - Google Patents

회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 Download PDF

Info

Publication number
KR20130121290A
KR20130121290A KR1020120044341A KR20120044341A KR20130121290A KR 20130121290 A KR20130121290 A KR 20130121290A KR 1020120044341 A KR1020120044341 A KR 1020120044341A KR 20120044341 A KR20120044341 A KR 20120044341A KR 20130121290 A KR20130121290 A KR 20130121290A
Authority
KR
South Korea
Prior art keywords
coordinate system
image
point
camera
rotation
Prior art date
Application number
KR1020120044341A
Other languages
English (en)
Other versions
KR101342393B1 (ko
Inventor
이임평
오소정
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020120044341A priority Critical patent/KR101342393B1/ko
Publication of KR20130121290A publication Critical patent/KR20130121290A/ko
Application granted granted Critical
Publication of KR101342393B1 publication Critical patent/KR101342393B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Abstract

본 발명은 회전식 라인 카메라로 획득한 실내 전방위 영상에 대해, 실내에서 기준이 되는 객체좌표계를 정의하여 객체기준점을 확보하고, 회전식 라인 카메라로 획득한 실내 전방위 영상의 외부표정요소를 추정하며 가장 적합한 투영법을 결정하여, 고품질의 전방위 영상을 제공할 수 있는 지오레퍼런싱 방법에 관한 것이다.

Description

회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법{Georeferencing Method of Indoor Omni-Directional Images Acquired by Rotating Line Camera}
본 발명은 지오레퍼런싱 방법에 관한 것으로서, 회전식 라인 카메라로 획득한 실내 전방위 영상에 대해, 고품질의 전방위 영상 서비스를 제공할 수 있는 지오레퍼런싱 방법에 관한 것이다.
최근, '구글'의 스트리트뷰와 '다음'의 로드뷰 등과 같은 전방위 영상을 이용한 서비스 개발이 활발하다. 전방위(Omni-directional) 영상은 촬영지점을 기준으로 모든 방향을 촬영한 영상으로, 사용자를 중심으로 360°로 주변의 모든 곳을 볼 수 있다. 따라서 전방위 영상을 이용한 서비스들은 사용자들에게 방문한 적이 없는 장소의 정보를 보다 정확하게 전달할 수 있다. 예를 들어, 기존의 지도 서비스를 이용해서는 처음 방문하는 장소에서 방향을 찾기 어렵지만, 전방위 영상 서비스를 이용하면 현재 위치를 기준으로 모든 방향의 정보를 포함하고 있으므로 방향을 쉽게 찾을 수 있다.
전방위 영상은 취득되는 방식에 따라 크게 투영중심이 하나인 단시점 전방위 영상과 투영중심이 여러 개인 다시점 전방위 영상으로 분류된다. 단시점 전방위 영상은 거울을 이용하여 하나의 프레임 카메라로 전방위 영상을 생성하는 방법이다. 이 방법은 왜곡이 심하게 발생하고 보정하기 쉽지 않다. 또한 높고 균일한 해상도를 갖는 영상을 취득하기 어렵다. 이에 현재 제공되는 대부분의 전방위 영상 서비스는 다시점 전방위 영상을 활용하고 있다. 다시점 전방위 영상은 일반적으로 다수의 프레임 카메라가 동시에 촬영한 영상을 접합하여 생성한다. 비교적 균일한 고해상도의 영상정보가 제공되지만 특히 개별영상들이 접합될 때 중첩되는 영역에서 즉 하나의 개별영상의 중심에서 멀어질수록 왜곡이 많이 발생한다는 단점이 있다. 따라서 많은 수의 카메라를 사용하여 개별영상의 시야각(Field Of View)을 작게 함으로써 보다 왜곡이 적은 다시점 전방위 영상을 생성할 수 있다. 그러나 이 경우에도 개별영상의 개별픽셀마다 대상물까지의 거리를 정확히 알지 못하므로 완전한 왜곡 보정은 어렵다.
이러한 단점을 극복하기 위하여 시야각이 작은 하나의 카메라로 전방위 영상을 취득할 수 있는 회전식 라인 카메라를 이용할 수 있다. 회전식 라인 카메라는 하나의 라인 카메라를 360° 회전하면서 촬영한 라인 영상들을 순차적으로 접합하여 전방위 영상을 생성한다. 다수의 프레임 카메라로 동시에 취득한 영상을 접합하여 생성하는 기존의 방식과 달리 시야각이 아주 작은 라인 영상을 접합하기 때문에 왜곡이 거의 발생하지 않는다는 장점이 있다. 그러나 회전하는 동안 회전축이나 대상체가 움직이지 않아야한다는 단점 때문에 실외에서 차량에 탑재하여 이동하면서 전방위 영상을 취득하기 어렵다. 따라서 회전식 라인 카메라는 실내의 전방위 영상을 취득하는데 효과적이며 실내의 3차원 모델링이나 '다음'의 스토어뷰와 같은 실내 공간에 대한 공간영상정보 서비스에 효과적으로 활용될 수 있다.
그러나, 회전식 라인 카메라로 획득한 실내 전방위 영상을 이용하여 객체의 3차원 정보를 얻기 위해서, 1999년 ~ 2006년 사이에 'Wei', ' Tang', 'Shum', 'Li', 'Huang' 등이 여러가지 모델링을 수행하였으나, 이와 같은 기존의 연구에서 전방위 영상을 취득한 시점의 카메라의 위치와 자세를 객체좌표계 상에서 결정하지 않으며, 기준점 확보의 어려움이 있기 때문에 실내 전방위 영상의 지오레퍼런싱을 수행하기 어려운 문제점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 회전식 라인 카메라로 획득한 실내 전방위 영상에 대해, 실내에서 기준이 되는 객체좌표계를 정의하여 객체기준점을 확보하고, 회전식 라인 카메라로 획득한 실내 전방위 영상의 외부표정요소를 추정하며 가장 적합한 투영법을 결정하여, 고품질의 전방위 영상을 제공할 수 있는 지오레퍼런싱 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 본 발명의 일면에 따른, 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법은, 라인 카메라를 회전하면서 전방위에 대한 라인 단위의 영상을 획득하여 저장 수단에 저장하고 이를 이용해 초점거리(f) 상의 각 영상점(i, j)의 영상으로 투영되는 n×m 개 픽셀의 전방위 영상을 생성하되, 미리 선정한 실내의 복수 객체기준점(예, 적어도 3개 이상)과 획득한 상기 영상의 공선방정식을 이용하여 상기 라인 카메라의 자세 데이터를 포함하는 외부표정요소를 추정하여 상기 영상점(i, j)의 좌표값을 보정하며, 상기 공선방정식의 산출 과정은, 실내의 코너점을 원점으로 하고 상기 코너점에서 만나는 세개의 모서리로 3개의 축을 정의한 객체좌표계로 객체점(OP)을 표현하는 제1단계; 상기 객체점(OP)을 상기 영상이 촬영되는 순간의 위치와 자세로 정의된 카메라좌표계로 표현되는 객체점(CP)으로 변환하는 제2단계; 소정의 투영법에 기초하여 상기 카메라좌표계로 표현되는 라인 카메라의 초점거리(f) 상에서의 객체점(CP)에 대한 상기 영상점(i, j) 중 j방향 거리 rp을 산출하는 제3단계; 및 객체점(CP)이 상기 영상에 맺히는 각도(α-β)와 상기 rp로부터 객체점(CP)의 픽셀 위치를 계산해 상기 영상점(i, j)의 좌표값을 결정하는 제4단계; 및 회전식 상기 라인 카메라로 획득한 전방위 영상에 대한 상기 외부표정요소를 추정하는 제5단계를 포함한다.
상기 복수 객체기준점으로서 상기 객체좌표계로 표현된 적어도 3개 이상의 객체점(OP)을 이용하되, 실내의 한 코너점을 객체좌표계의 원점으로 정의하고 상기 코너점에서 만나는 세 모서리의 길이를 측정하여 측정 좌표계의 (Xb, Yb, Zb)을 획득하고 객체좌표계로 표현되는 3개 점의 좌표 (Xa, Ya, Za)로 변환하기 위해 [수학식10]을 이용하여 추정하되, (Xb, Yb, Zb)는 측정 좌표계로 표현된 3개 점의 3차원 좌표값, (Xa, Ya, Za)는 객체 좌표계로 표현된 3개 점의 3차원 좌표값, R은 객체 좌표계에서 측정 좌표계로 변환하는 회전변환행렬, t는 이동변환행렬이다.
상기 제2단계에서, 하기의 [수학식1]~[수학식5]을 이용하되, 여기서, r은 라인 카메라의 회전반경, α는 라인 카메라의 가상의 회전좌표계에서의 회전각, β는 라인 카메라와 회전축이 틀어진 각, θ는 회전좌표계의 X축과 객체점을 회전좌표계의 XY평면으로 투영시킨 점의 X축 회전각, ε는 θ와 α의 차이각, RP(RX, RY, RZ)는 회전좌표계에서의 객체점(OP) 좌표, CP(CX, CY, CZ)는 카메라좌표계에서의 객체점(OP) 좌표이다.
상기 제3단계에서, 하기의 [수학식6]~[수학식7]을 이용하되, 여기서, ρ는 라인 카메라로 들어오는 객체점(OP)의 광선과 광학축이 이루는 각도, CP(CX, CY, CZ)는 카메라좌표계에서의 객체점(OP) 좌표이다.
상기 제4단계에서, 하기의 [수학식8]을 이용하되, 여기서, (i,j)는 픽셀로 표현되는 영상 좌표계 상의 영상점, α는 라인 카메라의 가상의 회전좌표계에서의 회전각, β는 라인 카메라의 카메라좌표계에서의 회전각, n은 영상의 j방향 픽셀수, μα 는 픽셀당 회전각, μj 는 픽셀당 j방향 크기이다.
상기 제5단계에서, 영상점(i, j)에 대한 비선형 관측 방정식 [수학식9]을 이용하여 상기 외부표정요소인 라인 카메라의 가상의 회전좌표계에서의 원점(OXR, OYR, OZR)과 자세 데이터(ω, φ, κ,), 를 추정하되, 상기 투영법1, 상기 투영법2, 상기 투영법3, 및 상기 투영법4을 모두 적용 후 i, j 방향으로 잔차가 가장작은 투영법으로 추정한 상기 외부표정요소를 결정하며, 여기서, 객체기준점(oX, oY, oZ), 라인 카메라의 회전반경(r), 라인 카메라의 회전각(β)이 이용된다.
본 발명에 따른 지오레퍼런싱 방법에 따르면, 회전식 라인 카메라로 획득한 실내 전방위 영상에 대해, 정의된 객체좌표계와 객체기준점을 통해 추정된 외부표정요소를 이용한 투영법으로 고품질의 전방위 영상을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 고품질의 전방위 영상의 제공을 위한 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 회전식 라인 카메라의 영상 획득에 대한 각 좌표계의 3차원 기하모델을 설명하기 위한 도면이다.
도 3은 도 2의 좌표계의 2차원 기하모델을 설명하기 위한 도면이다.
도 4는 어안렌즈 카메라의 투영법을 설명하기 위한 도면이다.
도 5는 객체 좌표계의 일례를 설명하기 위한 도면이다.
도 6과 도 7은 각각 실내 전방위 내부 영상과 외부 영상의 일례이다.
도 8과 도 9는 좌표변환 수행 전과 후의 객체점들을 그린 것으로 측정좌표계와 객체좌표계로 표현된 객체점들의 일례이다.
도 10은 도 9에서 이상점과 이상점을 제거한 객체점들의 일례이다.
도 11은 실내 전방위 내부 영상의 i방향 잔차 분포도의 일례이다.
도 12는 실내 전방위 외부 영상의 j방향 잔차 분포도의 일례이다.
도 13은 회전각에 따른 실내 전방위 내부 영상의 i방향 잔차 분포도의 일례이다.
도 14는 회전각에 따른 실내 전방위 외부 영상의 j방향 잔차 분포도의 일례이다.
도 15는 실내 전방위 내부 영상의 i방향 잔차 분포도의 일례이다.
도 16은 실내 전방위 외부 영상의 j방향 잔차 분포도의 일례이다.
도 17은 Z값에 따른 실내 전방위 내부 영상의 j방향 잔차 분포도의 일례이다.
도 18은 Z값에 따른 실내 전방위 외부 영상의 j방향 잔차 분포도의 일례이다.
도 19는 거리에 따른 실내 전방위 내부 영상의 i방향 잔차 분포도의 일례이다.
도 20은 거리에 따른 실내 전방위 외부 영상의 i방향 잔차 분포도의 일례이다.
도 21은 거리에 따른 실내 전방위 내부 영상의 j방향 잔차 분포도의 일례이다.
도 22는 거리에 따른 실내 전방위 외부 영상의 j방향 잔차 분포도의 일례이다.
도 23은 방사거리에 따른 실내 전방위 내부 영상의 i방향 잔차 분포도의 일례이다.
도 24는 방사거리에 따른 실내 전방위 외부 영상의 i방향 잔차 분포도의 일례이다.
도 25는 방사거리에 따른 실내 전방위 내부 영상의 j방향 잔차 분포도의 일례이다.
도 26은 방사거리에 따른 실내 전방위 외부 영상의 j방향 잔차 분포도의 일례이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 발명에서는 회전식 라인 카메라로 취득한 단일 전방위 영상의 지오레퍼런싱, 즉 외부표정요소를 결정하는 방법을 설명한다. 이를 위해, 먼저 회전식 라인 카메라와 좌표계들을 정의하고, 회전식 라인 카메라로 취득한 전방위 영상에 대한 공선방정식을 유도한다. 또한, 지오레퍼런싱 과정에 필요한 객체기준점을 실내에서 효율적으로 획득하는 방법을 제시하고 공선방정식과 객체기준점을 이용하여 외부표정요소 추정을 위한 수학적 모델을 설명한다.
<회전식 라인 카메라 및 좌표계 정의>
도 1과 같이 본 발명에 따른 지오레퍼런싱을 통하여 고품질의 전방위 영상의 제공을 위한 시스템(100)은, 1×m개의 라인 픽셀들을 가지고 있는 라인 카메라(110) 한대가 회전중심으로부터 r만큼 떨어져 시계방향으로 360°를 회전하며 영상을 촬영하는 시스템이다. 라인 카메라(100)는 모터 회전축에 결합된 소정 지지 플레이트에 장착되며 제어장치(130)는 모터 회전축이 시계 방향 또는 반시계 방향으로 일정 속도로 회전하도록 그 구동을 제어하여 라인 카메라(110)를 회전할 수 있다. 라인 카메라(100)가 회전하며 촬영하여 획득하는 한 줄(column)의 영상들은 제어장치(130)의 저장매체(131)에 저장되며, 이때 제어장치(130)는 라인 카메라(110)가 영상 데이터를 획득 시에 대응되는 각각의 위치 데이터(카메라좌표계)에 대응시켜 전방위에 대한 각 라인 단위의 영상 데이터를 저장매체(131)에 저장할 수 있다. 제어장치(130)의 합성부(132)는 지오레퍼런싱을 통한 영상 접합에 따라 저장 매체(131)에 저장된 영상 데이터를 이용하여 최종적으로 n×m 개 픽셀의 각 좌표 (I,j)에 대한 2차원 전방위 영상을 생성할 수 있다.
실내에서 회전식 라인 카메라(110)로 전방위 영상을 획득할 때, 객체점들이 존재하는 객체좌표계, 카메라가 회전하는 회전좌표계, 영상이 촬영되는 순간의 카메라 좌표계로 구성된다. 도 2는 각 좌표계의 3차원 기하모델이고, 도 3은 이를 2차원 기하모델로 나타낸 것이다.
객체좌표계는 실내의 임의의 코너점을 원점으로 정의할 수 있다. 객체좌표계의 자세는 코너점에서 수직으로 만나는 세 개의 모서리들로 정의된 3개의 축을 기준으로 정의한다. 도 2와 같이 oZ축은 실내 천정에서 코너점으로 이어지는 모서리로 정의하고, oX축과 oY축은 나머지 두 개의 모서리로 정의할 수 있다.
가상의 회전좌표계의 원점은 회전 중심(OR)으로 정의한다. 회전좌표계의 RZ축은 천정방향으로 객체좌표계의 oZ축과 동일한 방향으로 정의하고, 회전좌표계의 RX축은 회전 중심(OR)과 회전을 시작하는 점을 연결하여 정의하며, 회전좌표계의 RY축은 RX축을 반시계방향으로 90°만큼 회전하여 정의한다.
카메라좌표계의 원점은 영상이 촬영되는 지점(OC)으로 정의한다. 카메라좌표계는 영상이 촬영되는 순간의 위치와 자세로 정의되므로 영상의 i방향에 따라 다르게 정의된다. 카메라좌표계의 CZ축은 광학축으로 정의하고 CY축은 천정방향으로 정의하며 CX축은CY 축을 반시계방향으로 90°만큼 회전하여 정의한다.
도 2 및 도 3에서, P는 객체점이고 P'는 객체점의 영상점이다. r은 회전반경이고 f는 라인 카메라(110)의 초점거리이며, ROC은 영상을 촬영하는 순간의 라인 카메라(110)의 위치이고, α는 영상을 촬영하는 순간의 회전좌표계에서의 회전각이다. β는 라인 카메라(110)의 광학축 CZ축이 CX축과 이루는 카메라(110)의 틀어진 회전각(또는 라인 카메라의 카메라좌표계에서의 회전각)을 나타내며, 촬영을 시작할 때 고정되는 CX축과의 상대적인 각도이다.
<전방위 영상에 대한 공선방정식>
공선방정식은 객체점 P이 영상에 투영된 지점 P'을 결정하는 공식으로써, 중심투영의 원리에 따라 투영중심(OC), 객체점(P)과 영상점(P')이 하나의 직선 상에 존재한다는 조건으로 유도된다. 전방위 영상에 대한 공선방정식은 객체점(P)의 좌표변환, 영상점(P')으로의 투영, 영상점(P')의 좌표변환으로 나누어 유도할 수 있다.
첫째, 객체점(P)의 좌표변환은 객체좌표계로 표현된(측정하여 획득된) 객체점(OP)(oX, oY, oZ)을 카메라좌표계로 표현되는 객체점(CP)(CX, CY, CZ)으로 변환한다. 먼저, [수학식1]을 이용하여 OP 를 회전좌표계로 표현되는 객체점 RP(RX, RY, RZ)으로 변환한다. 다음으로, [수학식2]를 이용하여 RP 를 CP 로 변환한다. OOR는 객체좌표계에서 표현된 회전좌표계의 원점이고, RRO는 객체좌표계에서 회전좌표계로의 회전변환행렬이다. ROC는 회전좌표계에서 표현된 카메라좌표계의 원점이고 CRR은 회전좌표계에서 카메라좌표계로의 회전변환행렬이다. 여기서 카메라좌표계의 원점 ROC은 [수학식3]과 같이 사진을 촬영하는 순간의 회전각 α로 결정할 수 있다. 카메라좌표계의 회전변환은 [수학식4]와 같이 α와 β로 결정할 수 있다. 이때 α는 도 3에서와 같이 θ와 ε으로 구할 수 있는데, -2π≤α≤0이고 θ는 회전좌표계로 표현된 객체점 RP 의 평면좌표값으로 구할 수 있으며 ε은 sin법칙에 의해서 γ를 구한 후, 삼각형 내각의 합 조건을 이용하여 구할 수 있다. α는 [수학식5]와 같이 정의할 수 있으며 β는 임의의 실수로 정의할 수 있고 β>0이다. θ는 회전좌표계의 X축과 객체점을 회전좌표계의 XY평면으로 투영시킨 점의 X축 회전각에 해당하고, ε는 θ와 α의 차이각에 해당한다.
[수학식1]
Figure pat00001
[수학식2]
Figure pat00002
[수학식3]
Figure pat00003
[수학식4]
Figure pat00004
[수학식5]
Figure pat00005
둘째, 영상점(P')으로의 투영은 카메라좌표계 상에서의 카메라의 투영법으로 결정할 수 있다. 본 발명에서는 어안렌즈(Fisheye Lens) 라인 카메라를 사용하였으므로 도 4와 같은 어안렌즈 카메라의 투영법을 이용한다. f는 라인 카메라(110)의 초점거리이고, ρ는 라인 카메라(110)로 들어오는 객체점(OP)의 광선과 광학축이 이루는 각도, rp는 라인 카메라(110)의 투영중심에서 영상점(P')까지의 거리로 본 발명에서 제안하는 전방위 영상의 방향 좌표값이다. 'Juho' 등(2004)은 4종류의 어안렌즈 카메라 투영법을 제시하였으나, 본 발명에서는 사용된 카메라에 적합한 투영법을 알지 못하므로 [수학식6]에서 제시한 4가지 투영법을 모두 적용하여 잔차가 가장 적은 투영법을 결정한다. [수학식7]은 영상점(P')에 대하여 라인 카메라(110)의 광선과 광학축과 이루는 각 ρ을 결정하는 식이다.
[수학식6]
Figure pat00006
[수학식7]
Figure pat00007
셋째, 영상점의 좌표변환은 카메라 좌표계로 표현된 객체의 영상점(CP)을 영상 좌표계에서 표현되도록 변환한다. 먼저, 영상의 i방향 좌표값은 [수학식8]과 같이 카메라의 위치 및 자세와 관계가 있으므로 객체점이 영상에 맺히는 각도(α-β)을 픽셀당 회전각(μα)으로 나누어 결정한다. μα 는 360°를 i방향의 총 픽셀수 m으로 나누어 결정한다. 다음으로 영상의 j방향 좌표값은 rp를 픽셀당 j방향의 크기(μj)로 나누어 결정할 수 있다. 그런데 영상의 j방향 좌표값은 -n/2에서 n/2(n은 영상의 j방향 픽셀수)의 범위를 가지므로 [수학식8]과 같이 영상의 방향 좌표값인 영상점 (i, j)(픽셀로 표현되는 영상 좌표계 상의 영상점)을 결정한다.
[수학식8]
Figure pat00008

<외부표정요소 추정>
일반적으로 실외 영상에 대한 외부표정요소 추정은 GPS(Global Position System) 또는 토탈스테이션으로 측정하여 취득되는 절대좌표값의 지상기준점을 이용한다. 토탈스테이션은 레이저를 대상 객체에 조사하고 반사되는 신호를 분석해 대상 객체까지의 수평거리, 방위각, 고저차 등을 산출하는 장치이다. 그러나 실내 영상의 경우, 절대좌표값의 지상기준점을 사용하기 어렵다. 따라서 실내 영상의 외부표정요소를 추정하기 위해서는 실내에서 정의되는 상술한 바와 같은 객체좌표계가 필요하며 객체좌표계로 표현된 객체기준점 좌표가 필요하다. 객체좌표계의 설정은 위에서 설명한 바와 같이 실내의 한 모서리점을 원점으로 정의하고 원점에서 만나는 세 개의 모서리를 각 축의 자세로 정의함으로써 가능하다. 이렇게 정의한 객체좌표계에서의 코너점들의 좌표값은 원점과의 거리를 이용하여 도 5와 같이 예시되는 방법으로 정의될 수 있다.
위와 같이 주로 코너점으로 취득되는 객체좌표계에서 표현된 객체기준점과 위에서 유도한 회전식 라인 카메라(110)로 획득한 전방위 영상의 공선방정식은 [수학식9]와 같은 관측방정식으로 개략적으로 표현할 수 있고 제어장치(130)의 합성부(132)는 이를 이용하여 외부표정요소를 추정한다. 즉, 영상점 (i, j)은 외부표정요소(ω, φ, κ, OXR, OYR, OZR), 즉, 회전좌표계에서의 원점(OXR, OYR, OZR)와 자세 데이터(ω, φ, κ,), 객체기준점(oX, oY, oZ), 회전반경(r), 카메라(110)의 틀어진 회전각(β)이 비선형으로 관계하고 있으며, 영상점(i, j)에 대한 비선형 관측 방정식 [수학식9]을 이용하여 외부표정요소를 추정하되, [수학식6]의 상기 투영법1, 상기 투영법2, 상기 투영법3, 및 상기 투영법4을 모두 적용 후 i, j 방향으로 잔차가 가장작은 투영법으로 추정한 상기 외부표정요소를 결정한다. 외부표정요소(ω, φ, κ)는 각각 전방(Roll축 방향), 전방의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 각각에 대한 카메라 자세 데이터일 수 있고, 외부표정요소(OXR, OYR, OZR)는 객체좌표계에서 표현된 객체기준점에 대한 회전좌표계의 원점 위치 데이터이다.
[수학식9]
Figure pat00009
하나의 객체기준점은 하나의 영상점에 대응되므로[수학식8], [수학식9]같은 두 개의 관측방정식을 수립할 수 있다. 위와 같은 6개의 외부표정요소를 풀려면 적어도 6개의 관측방정식이 필요하고 이에 따라 3개 이상의 기준점이 필요하다. 3개 이상의 기준점을 사용해서 위와 같은 관측방정식을 수립한 후 선형화하여 최소제곱법을 적용하여 외부표정요소를 추정할 수 있다. 추정된 외부표정요소는 다시 영상점 (i, j)의 오차 보정에 이용될 수 있다.
<실험 방법>
먼저, 회전식 라인 카메라(110)로 전방위 영상과 객체기준점(OCP)을 획득한 후 4종류의 투영법을 적용하여 지오레퍼런싱을 수행하고 잔차가 최소인 투영법을 결정한다. 또한, 결정된 투영법을 적용한 결과를 분석하여 제안하는 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱의 적합성을 판단한다.
<전방위 영상 획득>
여기서는 1×4000 픽셀을 가진 라인 카메라(110)를 사용하였고, 카메라의 초점거리는 15㎜이며 카메라와 회전좌표계의 RX축이 이루는 각을 90°로 고정하였다. 먼저, 회전반경을 0으로 설정하여 도 6과 같이 실내 전방위 내부 영상을 획득한 후, 회전반경(r)을 18cm로 설정하여 도 7과 같이 실내 전방위 외부 영상을 획득하였다. 전방위 영상의 크기는 8000×4000픽셀이고 픽셀당 크기는 10㎛×10㎛이다. 도 6및 도 7과 같은 영상에서 객체기준점으로 임의의 56개점을 사용하였다.
<객체기준점 획득>
회전식 라인 카메라(110)로 획득한 실내 전방위 영상의 외부표정요소를 추정하기 위해서는 3개 이상의 객체기준점이 필요하다. 본 실험에서는 회전식 라인 카메라(110)에 가장 적합한 투영법을 결정하기 위하여 다수의 객체기준점을 사용하였다.
예를 들어, 실내의 한 코너점을 원점으로 정의하고 해당 코너점에서 만나는 세 모서리의 길이를 측정하여 측정 좌표계의 (Xb, Yb, Zb)을 획득하고 객체좌표계로 표현되는 3개 점의 좌표 (Xa, Ya, Za)로 변환하기 위해 [수학식10]을 이용하여 추정할 수 있다. 여기서, (Xb, Yb, Zb)는 측정 좌표계로 표현된 3개 점의 3차원 좌표값, (Xa, Ya, Za)는 객체 좌표계로 표현된 3개 점의 3차원 좌표값, R은 객체 좌표계에서 측정 좌표계로 변환하기 위한 소정의 회전변환행렬, t는 에러 보정을 위해 일정 이동값을 더해주기 위한 이동변환행렬이다.
[수학식10]
Figure pat00010
먼저, 이와 같은 측정 좌표계와 객체 좌표계 간 파라미터 추정 방식을 이용하기 위하여 토탈스테이션으로 8개의 코너점과 74개의 객체점을 측정하였다. 객체점은 영상에서 보이는 책장들의 교차점들로 구성하였다. 4개의 코너점을 이용하여 측정좌표계와 객체좌표계간의 좌표변환계수를 추정하고, 추정된 좌표변환 계수를 이용하여 74개의 객체점을 객체좌표계로 좌표변환하였다. 마지막으로, 객체점의 이상점을 제거하여 최종적으로 52개의 객체점과 4개의 모서리점으로 56개의 객체기준점을 획득하였다. 이상점은 책장에서 비슷한 높이에 있어야 하는 두 점들 Z값의 차가 큰 것과 일정한 길이를 가지는 책장 길이의 차가 큰 것으로 정의하였다.
[표 1]은 좌표변환계수 추정시 사용한 4개의 코너점 좌표로 측정좌표계와 객체좌표계로 표현된 좌표값이다. [표 2]는 추정된 좌표변환계수로 객체좌표계에서 표현된 측정좌표계의 원점(Xt, Yt, Zt)과 자세(ω, φ, κ)이다. [표 3]은 좌표변환 수행 전과 후의 코너점 좌표로서, 측정좌표계와 객체좌표계로 표현된 8개 코너점들(C0~C7)이다. 도 8과 도 9는 좌표변환 수행 전과 후의 객체점들을 그린 것으로 측정좌표계와 객체좌표계로 표현된 객체점들이다. 도 10은 이상점과 이상점을 제거한 객체점들을 그린 것이다.
[표 1]
Figure pat00011
[표 2]
[표 3]
Figure pat00013

<회전식 라인 카메라에 적합한 투영법 결정>
최종적으로 결정한 56개의 객체기준점을 이용하여 내외부 영상의 외부표정요소를 추정하였다. 전방위 내외부 영상은 동시에 획득하지 않고 내부영상을 먼저 획득한 후에 외부 영상을 획득하였으므로 내외부 영상의 회전중심은 동일하고 출발시점은 다르다. 따라서 내외부 영상의 회전좌표계의 원점과 ω, φ는 비슷했고 κ는 많이 달랐다.
[표 4]는 내부 영상의 외부표정요소를 추정한 결과이고 [표 5]는 외부 영상의 외부표정요소를 추정한 결과이다. 투영법 1을 적용할 때 가장 정밀하게 추정되었다.
[표 4]
Figure pat00014
[표 5]
Figure pat00015
[표 6]은 투영법별로 적용하여 추정한 분산요소, 영상점의 i, j방향별 잔차들의 표준편차이다. 영상점의 i좌표값은 회전각과 관련이 있고, j좌표값은 투영법과 관련이 있으므로 영상점의 i, j 방향별로 표준편차를 살펴보았다. 투영법 1을 적용하였을 때, 관측치의 정밀도와 잔차의 표준편차가 가장 좋았다.
[표 6]
Figure pat00016
4가지 투영법을 적용한 결과, 상대적으로 영상의 i방향의 오차는 적었으나 j방향의 오차는 투영법별로 큰 차이가 있었다. 또한, j방향의 오차가 커질수록 i방향의 오차도 커지는 경향을 보인다. 이는 j방향에만 영향을 끼치는 투영법이 외부표정요소에도 영향을 미치고 추정된 외부표정요소는 영상점의 i좌표값에 영향을 미치기 때문으로 판단한다. 추정된 외부표정요소의 정밀도, 추정된 분산요소와 잔차의 표준편차가 투영법 1을 적용하였을 때 가장 작았다. 따라서 본 연구에서는 제안한 회전식 라인 카메라에 적합한 투영법으로 투영법 1을 결정하였다.
<제안한 지오레퍼런싱의 적합성 분석>
지오레퍼런싱의 적합성은 i, j방향별 잔차 크기의 분포와 주요 변수와 잔차와의 관련성으로 분석할 수 있다. 먼저, 투영법 1을 적용하여 추정한 외부표정요소로 계산된 영상점의 i방향 잔차 크기의 분포 경향을 살펴보았다. 도 11과 12는 내외부 영상의 i방향 영상점 잔차의 히스토그램이다. 몇몇의 이상값을 포함하지만 정규분포에서 크게 벗어나지 않는 것으로 보여진다.
다음으로 영상점의 i값을 결정하는 주요변수인 회전각(α)과 영상점의 i 방향 잔차를 살펴보았다. 도 13과 14에서 보듯이, 회전각과 영상점의 i방향 잔차간에는 큰 관련성이 없음을 알 수 있었다.
도 15와 16은 내외부 영상점의 j방향 잔차 크기의 히스토그램이다. 가장 적합한 어안렌즈 투영법을 적용했음에도 불구하고 표준편차가 작지 않은데 이는 왜곡이 심한 어안렌즈의 특성 때문인 것으로 판단한다.
다음으로 영상점의 j값은 주요변수인 객체점의 RZ값과만 관계가 있다. 따라서 객체점의 RZ값과 영상의 j방향 잔차와의 관련성을 살펴보았다. 도 17과 18에서 보듯이, RZ값과 j방향의 잔차 간에는 음의 상관관계가 있음을 알 수 있었다. 특히, -0.5m와 0.5m 사이에서 음의 상관관계가 뚜렷하게 나타났다.
또한, 영상점에 영향을 끼치는 주요한 변수인 카메라와 객체점간의 거리(D)와 영상점의 i, j 방향별 잔차와의 관련성을 살펴보았다. 도 19와 20은 카메라와 객체점간의 거리에 따른 내외부 영상의 방향 i잔차이고 도 21과 22는 내외부 영상의 j방향 잔차이다. 큰 관련성이 없음을 확인할 수 있었다.
마지막으로 방사거리에 따른 i방향과 j방향의 잔차를 살펴보았다. 도 23과 도 24는 방사거리에 따른 내외부 영상의 i방향 잔차이고 도 25과 26는 내외부 영상의 j방향 잔차이다. j방향 잔차의 분포가 방사거리와 뚜렷한 관련성을 나타내고 있으며 이는 렌즈왜곡의 영향이 j방향에 크게 미치기 때문이다.
<결론>
본 발명에서와 같이, 회전식 라인 카메라로 획득한 실내 단일 전방위 영상의 지오레퍼런싱을 위한 외부표정요소를 추정하기 위해, 회전식 라인 카메라 및 좌표계들을 정의하고, 공선방정식을 유도하여 이용하고, 또한 객체기준점 확보를 위하여 객체좌표계를 정의하고 좌표변환계수를 추정한 후, 좌표변환을 수행하여 객체좌표계로 표현된 객체기준점을 획득하여, 4가지 투영법을 적용하여 외부표정요소를 추정하였다. 추정 정밀도가 가장 좋은 투영법을 선정하고, 선정된 투영법으로 계산한 잔차의 분포 및 주요 변수와의 관련성에 대하여 분석함으로써, 제안한 지오레퍼런싱 방법이 회전식 라인 카메라로 획득한 실내 전방위 영상에 적합함을 확인하였다. 위의 실험예에서 추정된 외부표정요소의 위치는 1.4㎜의 정밀도로, 자세는 0.05°의 정밀도로 추정할 수 있었다. 또한 영상점 잔차는 i방향으로는 2.56 픽셀, j방향으로는 9.85 픽셀의 표준편차를 나타내었고, j방향 잔차는 객체점의 값과의 음의 상관관계가 있었다. 이 외에도 상대적으로 영상의 j방향 잔차가 방사거리와 뚜렷한 관련성을 보이는 것으로 보아 어안렌즈의 왜곡 보정이 필요한 것으로 보이며, 향후, 회전식 라인 카메라의 캘리브레이션을 수행한다면 회전중심의 거리(r)와 카메라가 틀어진 회전각(β), 어안렌즈 카메라의 왜곡계수 등의 추정이 가능할 것이고, 이를 통해 보다 정밀한 지오레퍼런싱을 수행할 수 있으며, 두 장 이상의 지오레퍼런싱된 실내 전방위 영상을 이용하여 객체점들의 3차원 좌표추정이 가능하고, 더 나아가 정밀한 실내 3차원 모델링이 가능할 것으로 기대된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
전방위 영상 제공 시스템(100)
라인 카메라(100)
제어장치(130)
저장매체(131)
합성부(132)

Claims (6)

  1. 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법에 있어서, 라인 카메라를 회전하면서 전방위에 대한 라인 단위의 영상을 획득하여 저장 수단에 저장하고 이를 이용해 초점거리(f) 상의 각 영상점(i, j)의 영상으로 투영되는 n×m 개 픽셀의 전방위 영상을 생성하되, 미리 선정한 실내의 복수 객체기준점과 획득한 상기 영상의 공선방정식을 이용하여 상기 라인 카메라의 자세 데이터를 포함하는 외부표정요소를 추정하여 상기 영상점(i, j)의 좌표값을 보정하며,
    상기 공선방정식의 산출 과정은, 실내의 코너점을 원점으로 하고 상기 코너점에서 만나는 세개의 모서리로 3개의 축을 정의한 객체좌표계로 객체점(OP)을 표현하는 제1단계;
    상기 객체점(OP)을 상기 영상이 촬영되는 순간의 위치와 자세로 정의된 카메라좌표계로 표현되는 객체점(CP)으로 변환하는 제2단계;
    소정의 투영법에 기초하여 상기 카메라좌표계로 표현되는 라인 카메라의 초점거리(f) 상에서의 객체점(CP)에 대한 상기 영상점(i, j) 중 j방향 거리 rp을 산출하는 제3단계; 및
    객체점(CP)이 상기 영상에 맺히는 각도(α-β)와 상기 rp로부터 객체점(CP)의 픽셀 위치를 계산해 상기 영상점(i, j)의 좌표값을 결정하는 제4단계; 및
    회전식 상기 라인 카메라로 획득한 전방위 영상에 대한 상기 외부표정요소를 추정하는 제5단계
    를 포함하는 것을 특징으로 하는 지오레퍼런싱 방법.
  2. 제1항에 있어서,
    상기 복수 객체기준점으로서 상기 객체좌표계로 표현된 적어도 3개 이상의 객체점(OP)을 이용하되,
    실내의 한 코너점을 객체좌표계의 원점으로 정의하고 상기 코너점에서 만나는 세 모서리의 길이를 측정하여 측정 좌표계의 (Xb, Yb, Zb)을 획득하고 객체좌표계로 표현되는 3개 점의 좌표 (Xa, Ya, Za)로 변환하기 위해 수학식
    Figure pat00017

    을 이용하여 추정하되, (Xb, Yb, Zb)는 측정 좌표계로 표현된 3개 점의 3차원 좌표값, (Xa, Ya, Za)는 객체 좌표계로 표현된 3개 점의 3차원 좌표값, R은 객체 좌표계에서 측정 좌표계로 변환하는 회전변환행렬, t는 이동변환행렬인 것을 특징으로 하는 지오레퍼런싱 방법.
  3. 제1항에 있어서,
    상기 제2단계에서,
    수학식들
    Figure pat00018

    Figure pat00019

    Figure pat00020

    Figure pat00021

    Figure pat00022

    을 이용하되, 여기서, r은 라인 카메라의 회전반경, α는 라인 카메라의 가상의 회전좌표계에서의 회전각, β는 라인 카메라와 회전축이 틀어진 각, θ는 회전좌표계의 X축과 객체점을 회전좌표계의 XY평면으로 투영시킨 점의 X축 회전각, ε는 θ와 α의 차이각, RP(RX, RY, RZ)는 회전좌표계에서의 객체점(OP) 좌표, CP(CX, CY, CZ)는 카메라좌표계에서의 객체점(OP) 좌표인 것을 특징으로 하는 지오레퍼런싱 방법.
  4. 제1항에 있어서,
    상기 제3단계에서,
    수학식들
    Figure pat00023

    Figure pat00024

    을 이용하되, 여기서, ρ는 라인 카메라로 들어오는 객체점(OP)의 광선과 광학축이 이루는 각도, f는 라인 카메라의 초점거리, CP(CX, CY, CZ)는 카메라좌표계에서의 객체점(OP) 좌표인 것을 특징으로 하는 지오레퍼런싱 방법.
  5. 제1항에 있어서,
    상기 제4단계에서,
    수학식
    Figure pat00025

    을 이용하되, 여기서, (i,j)는 픽셀로 표현되는 영상 좌표계 상의 영상점, α는 라인 카메라의 가상의 회전좌표계에서의 회전각, β는 라인 카메라의 카메라좌표계에서의 회전각, n은 영상의 j방향 픽셀수, μα 는 픽셀당 회전각, μj 는 픽셀당 j방향 크기인 것을 특징으로 하는 지오레퍼런싱 방법.
  6. 제4항에 있어서,
    상기 제5단계에서, 영상점(i, j)에 대한 비선형 관측 방정식,
    Figure pat00026

    을 이용하여 상기 외부표정요소인 라인 카메라의 가상의 회전좌표계에서의 원점(OXR, OYR, OZR)과 자세 데이터(ω, φ, κ,)를 추정하되,
    상기 투영법1, 상기 투영법2, 상기 투영법3, 및 상기 투영법4을 모두 적용 후 i, j 방향으로 잔차가 가장작은 투영법으로 추정한 상기 외부표정요소를 결정하며,
    여기서, 객체기준점(oX, oY, oZ), 라인 카메라의 회전반경(r), 라인 카메라와 회전축이 틀어진 각(β)이 이용되는 것을 특징으로 하는 지오레퍼런싱 방법.


KR1020120044341A 2012-04-27 2012-04-27 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 KR101342393B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120044341A KR101342393B1 (ko) 2012-04-27 2012-04-27 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120044341A KR101342393B1 (ko) 2012-04-27 2012-04-27 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법

Publications (2)

Publication Number Publication Date
KR20130121290A true KR20130121290A (ko) 2013-11-06
KR101342393B1 KR101342393B1 (ko) 2013-12-18

Family

ID=49851546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120044341A KR101342393B1 (ko) 2012-04-27 2012-04-27 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법

Country Status (1)

Country Link
KR (1) KR101342393B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188852A (zh) * 2018-10-17 2019-01-11 北京空间机电研究所 一种适用于非对称视场的拼接式相机的实验室检校方法
CN111060946A (zh) * 2018-10-17 2020-04-24 三星电子株式会社 用于估计位置的方法和装置
CN111767767A (zh) * 2019-05-24 2020-10-13 北京京东尚科信息技术有限公司 室内物体的检测方法、装置、电子设备与存储介质
CN112883325A (zh) * 2021-01-15 2021-06-01 中国测绘科学研究院 一种单像空间后方交会数值计算方法
KR102300570B1 (ko) * 2020-07-31 2021-09-09 주식회사 쓰리아이 전방위 이미지 촬영 어셈블리 및 이에 의해 수행되는 방법
CN113506208A (zh) * 2021-06-21 2021-10-15 中煤科工集团西安研究院有限公司 一种前视钻孔可视化观测仪的环状图像平面展开方法
WO2022025442A1 (ko) * 2020-07-31 2022-02-03 주식회사 쓰리아이 전방위 이미지 처리 방법 및 이를 수행하는 서버

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200116682A (ko) 2019-04-02 2020-10-13 주식회사 에스360브이알 주사형 모노 및 입체 전방위 영상 획득장치
KR102126159B1 (ko) 2019-11-10 2020-06-23 주식회사 에스360브이알 주사형 전방위 카메라 및 주사형 입체 전방위 카메라
KR102320398B1 (ko) 2020-05-07 2021-11-01 심재권 카메라 회전 촬영 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188852A (zh) * 2018-10-17 2019-01-11 北京空间机电研究所 一种适用于非对称视场的拼接式相机的实验室检校方法
CN111060946A (zh) * 2018-10-17 2020-04-24 三星电子株式会社 用于估计位置的方法和装置
CN109188852B (zh) * 2018-10-17 2020-11-10 北京空间机电研究所 一种适用于非对称视场的拼接式相机的实验室检校方法
CN111767767A (zh) * 2019-05-24 2020-10-13 北京京东尚科信息技术有限公司 室内物体的检测方法、装置、电子设备与存储介质
KR102300570B1 (ko) * 2020-07-31 2021-09-09 주식회사 쓰리아이 전방위 이미지 촬영 어셈블리 및 이에 의해 수행되는 방법
WO2022025442A1 (ko) * 2020-07-31 2022-02-03 주식회사 쓰리아이 전방위 이미지 처리 방법 및 이를 수행하는 서버
WO2022025441A1 (ko) * 2020-07-31 2022-02-03 주식회사 쓰리아이 전방위 이미지 촬영 어셈블리 및 이에 의해 수행되는 방법
CN112883325A (zh) * 2021-01-15 2021-06-01 中国测绘科学研究院 一种单像空间后方交会数值计算方法
CN112883325B (zh) * 2021-01-15 2023-09-22 中国测绘科学研究院 一种单像空间后方交会数值计算方法
CN113506208A (zh) * 2021-06-21 2021-10-15 中煤科工集团西安研究院有限公司 一种前视钻孔可视化观测仪的环状图像平面展开方法
CN113506208B (zh) * 2021-06-21 2023-07-14 中煤科工集团西安研究院有限公司 一种前视钻孔可视化观测仪的环状图像平面展开方法

Also Published As

Publication number Publication date
KR101342393B1 (ko) 2013-12-18

Similar Documents

Publication Publication Date Title
KR101342393B1 (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
US9965870B2 (en) Camera calibration method using a calibration target
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
EP3550513B1 (en) Method of generating panorama views on a mobile mapping system
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US8098958B2 (en) Processing architecture for automatic image registration
US8059887B2 (en) System and method for providing mobile range sensing
US20150116691A1 (en) Indoor surveying apparatus and method
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
JP2014529727A (ja) 自動シーン較正
US9881377B2 (en) Apparatus and method for determining the distinct location of an image-recording camera
WO2007133620A2 (en) System and architecture for automatic image registration
CN113115001B (zh) 一种油气田视频监控实时三维投影融合方法
Burkhard et al. Stereovision mobile mapping: System design and performance evaluation
EP3782363A1 (en) System and method for dynamic stereoscopic calibration
JP5991821B2 (ja) 写真測量装置
Chandaria et al. Realtime camera tracking in the MATRIS project
Chandaria et al. The MATRIS project: real-time markerless camera tracking for augmented reality and broadcast applications
CN115511961A (zh) 三维空间定位方法、系统及存储介质
JP2005275789A (ja) 三次元構造抽出方法
CN113034615B (zh) 一种用于多源数据融合的设备标定方法及相关装置
CN117882110A (zh) 可移动平台的位姿估计方法、可移动平台及存储介质
CN109945840B (zh) 三维影像摄取方法及系统
Hrabar et al. PTZ camera pose estimation by tracking a 3D target
DeChant et al. A close-range photogrammetric solution working with zoomed images from digital cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 6