KR102077498B1 - 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법 - Google Patents

상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법 Download PDF

Info

Publication number
KR102077498B1
KR102077498B1 KR1020130053643A KR20130053643A KR102077498B1 KR 102077498 B1 KR102077498 B1 KR 102077498B1 KR 1020130053643 A KR1020130053643 A KR 1020130053643A KR 20130053643 A KR20130053643 A KR 20130053643A KR 102077498 B1 KR102077498 B1 KR 102077498B1
Authority
KR
South Korea
Prior art keywords
camera
camera group
group
movement path
matching
Prior art date
Application number
KR1020130053643A
Other languages
English (en)
Other versions
KR20140134351A (ko
Inventor
추창우
김재헌
박일규
차영미
최진성
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130053643A priority Critical patent/KR102077498B1/ko
Priority to US14/271,029 priority patent/US9619892B2/en
Publication of KR20140134351A publication Critical patent/KR20140134351A/ko
Application granted granted Critical
Publication of KR102077498B1 publication Critical patent/KR102077498B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

이동 경로 추출 장치 및 방법에 관한 것으로, 이동 경로 추출 장치는 카메라 간의 상호 위치 관계가 고정된 카메라 군으로부터 영상을 수신하는 영상 수신부; 상기 카메라 군에 장착된 이동 물체의 지리좌표를 수신하는 지리좌표 수신부; 및 상기 영상과 상기 지리좌표를 이용하여 상기 카메라 군의 기준 카메라의 위치 및 방향에 따른 상기 카메라 군의 이동 경로를 추출하는 이동 경로 추출부를 포함할 수 있다.

Description

상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법{MOVEMENT PATH EXTRACTION DEVICES OF MUTUAL GEOMETRIC RELATIONS FIXED CAMERA GROUP AND THE METHOD}
본 발명은 이동 경로 추출 장치 및 방법에 관한 것이다. 보다 구체적으로 상호 기하 관계가 고정된 카메라 군을 이용하여 촬영한 영상열을 통해 카메라의 이동 경로를 추출하는 이동 경로 추출 장치 및 방법에 관한 것이다.
지도 서비스는 인터넷을 통한 PC 환경 및 모바일 환경 등에서 제공되는 서비스이다. 이러한 지도 서비스는 위성 영상 또는 항공 사진을 이용하여 사용자가 원하는 지도 데이터를 제공한다.
최근의 지도 서비스는 위성 영상 또는 항공 사진의 지도 데이터에 지상에서 촬영한 지상 영상을 포함하여 사용자가 원하는 지역을 미리 볼 수 있는 형태의 서비스를 제공한다. 이 때, 지도 서비스는 파노라마 형상 형태의 지상 영상을 제공한다. 그래서, 사용자는 사용자가 원하는 지역의 주위를 파노라마로 둘러본다.
한편, 지상 영상은 촬영된 위치에 대응하는 지도 데이터와 매핑된다. 일반적으로 지상 영상은 이동 수단에 장착된 촬영 장치로부터 획득된다. 이동 수단을 사용하는 것은 넓은 지역의 지상 영상을 빠른 시간 내에 획득하기 위한 것이다. 이 때, 이동 수단은 위치 추적 장치를 사용하여 이동 수단의 이동 경로를 파악한다.
최근의 위치 추적 장치는 기준국에서 보정된 위치를 네트워크를 통해 전달됨으로써, cm급의 오차내의 정확한 위치 정보를 획득한다. 그럼에도 불구하고 위치 추적 장치는 촬영 장치의 지상 영상 촬영 속도에 비해 낮은 빈도로 위치 정보를 획득한다. 그래서, 지도 서비스는 획득한 위치 정보를 참고하여, 획득한 지상 영상의 촬영 위치를 계산해야 한다.
그러므로, 본 발명은 촬영한 지상 영상을 분석하여 지상 영상을 촬영한 촬영 장치의 위치를 계산하는 방법을 제시하고자 한다.
본 발명은 상호 위치 관계가 고정된 카메라 군의 영상을 분석함으로써 카메라의 개수 및 배치에 제한되지 않으며, 촬영된 카메라 군의 위치를 용이하게 계산할 수 있는 이동 경로 추출 장치 및 방법을 제공한다.
본 발명은 카메라 군의 기준 카메라 및 기준 카메라를 제외한 카메라 군의 카메라에 대한 위치 및 방향을 기초한 카메라 군의 위치 및 방향과 이동 물체의 위치 정보를 이용하여 절대적인 위치 및 방향으로 변환함으로써, 상호 위치 관계가 고정된 카메라 군의 제약 조건에 관계없이 공간 지리 정보가 정합된 카메라 군의 이동 위치 및 방향을 효과적으로 계산할 수 있는 이동 경로 추출 장치 및 방법을 제공한다.
일실시예에 따른 이동 경로 추출 장치는 카메라 간의 상호 위치 관계가 고정된 카메라 군으로부터 영상을 수신하는 영상 수신부; 상기 카메라 군이 장착된 이동 물체의 지리좌표를 수신하는 지리좌표 수신부; 및 상기 영상과 상기 지리좌표를 이용하여 상기 카메라 군의 기준 카메라의 위치 및 방향에 따른 상기 카메라 군의 이동 경로를 추출하는 이동 경로 추출부를 포함할 수 있다.
일실시예에 따른 카메라 군은 상기 카메라 간의 투영원점이 동일한 형태의 상기 카메라 군을 포함하고, 상기 카메라 간의 투영원점이 일정 간격으로 고정된 형태의 상기 카메라 군을 포함할 수 있다.
일실시예에 따른 지리좌표 수신부는 상기 카메라 군의 위치를 위도 및 경도의 좌표로 변환하기 위해 상기 이동 물체의 지리좌표를 수신할 수 있다.
일실시예에 따른 이동 경로 추출부는 상기 영상의 영상열(Image Sequences)로부터 상기 기준 카메라를 통해 촬영한 영상들의 특징점을 추출하여 상기 기준 카메라로 촬영한 영상간의 특징점을 매칭하고, 상기 영상 간의 특징점이 매칭된 매칭 결과를 기초한 상기 기준 카메라의 위치 및 방향을 검출하여 상기 카메라 군의 이동 경로를 추출할 수 있다.
일실시예에 따른 이동 경로 추출부는 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라를 통해 촬영한 영상들의 특징점을 추출하여 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하고, 상기 영상들 간의 특징점이 매칭된 매칭 결과를 기초한 상기 나머지 카메라 군의 카메라 위치 및 방향을 검출하여 상기 카메라 군의 이동 경로를 추출할 수 있다.
일실시예에 따른 이동 경로 추출부는 특징점 매칭 제거(Outlier Removal) 알고리즘을 이용하여, 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하는 과정에서 잘못 정합된 특징점의 매칭 결과를 제거할 수 있다.
일실시예에 따른 이동 경로 추출부는 상기 기준 카메라의 이동 경로와 상기 기준 카메라에 대한 기준 카메라를 제외한 카메라 군의 나머지 카메라의 상대적인 위치 관계를 이용하여 시간 경과에 따라 이웃하는 영상 프레임 간의 매트릭스(Matrix)에 따른 이동 경로를 추출할 수 있다.
일실시예에 따른 매트릭스는 펀더멘탈 매트릭스(Fundamental Matrix) 또는 에센셜 매트릭스(Essential Matrix) 중 적어도 하나를 이용할 수 있다.
일실시예에 따른 이동 경로 추출부는 상기 기준 카메라 및 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라의 특징점을 취합한 3차원 지리 좌표와 상기 카메라 군의 위치 및 방향을 번들 조정(Bundle Adjustment)하여 최적화하여 이동 경로를 추출할 수 있다.
일실시예에 따른 이동 경로 추출부는 상기 기준 카메라 및 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라로 촬영한 영상의 특징점들의 대응관계에 따른 상기 카메라 군의 상대적인 이동 경로와 상기 지리 좌표를 이용하여 상기 카메라 군의 절대 경로로 변환할 수 있다
일실시예에 따른 이동 경로 추출 방법은 카메라 간의 상호 위치 관계가 고정된 카메라 군으로부터 영상을 수신하는 단계; 상기 카메라 군이 장착된 이동 물체의 지리좌표를 수신하는 단계; 및 상기 영상과 상기 지리좌표를 이용하여 상기 카메라 군의 기준 카메라의 위치 및 방향에 따른 상기 카메라 군의 이동 경로를 추출하는 단계를 포함할 수 있다.
일실시예에 따른 카메라 군은 상기 카메라 간의 투영원점이 동일한 형태의 상기 카메라 군을 포함하고, 상기 카메라 간의 투영원점이 일정 간격으로 고정된 형태의 상기 카메라 군을 포함할 수 있다.
일실시예에 따른 지리좌표를 수신하는 단계는 상기 카메라 군의 위치를 위도 및 경도의 좌표로 변환하기 위해 상기 이동 물체의 지리좌표를 수신할 수 있다.
일실시예에 따른 이동 경로를 추출하는 단계는 상기 영상의 영상열(Image Sequences)로부터 상기 기준 카메라를 통해 촬영한 영상들의 특징점을 추출하여 상기 기준 카메라로 촬영한 영상간의 특징점을 매칭하고, 상기 영상 간의 특징점이 매칭된 매칭 결과를 기초한 상기 기준 카메라의 위치 및 방향을 검출하여 상기 카메라 군의 이동 경로를 추출할 수 있다.
일실시예에 따른 이동 경로를 추출하는 단계는 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라를 통해 촬영한 영상들의 특징점을 추출하여 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하고, 상기 영상들 간의 특징점이 매칭된 매칭 결과를 기초한 상기 나머지 카메라 군의 카메라 위치 및 방향을 검출하여 상기 카메라 군의 이동 경로를 추출할 수 있다.
일실시예에 따른 이동 경로를 추출하는 단계는 특징점 매칭 제거(Outlier Removal) 알고리즘을 이용하여, 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하는 과정에서 잘못 정합된 특징점의 매칭 결과를 제거할 수 있다.
일실시예에 따른 이동 경로를 추출하는 단계는 상기 기준 카메라의 이동 경로와 상기 기준 카메라에 대한 기준 카메라를 제외한 카메라 군의 나머지 카메라의 상대적인 위치 관계를 이용하여 시간 경과에 따라 이웃하는 영상 프레임 간의 매트릭스(Matrix)에 따른 이동 경로를 추출할 수 있다.
일실시예에 따른 매트릭스는 펀더멘탈 매트릭스(Fundamental Matrix) 또는 에센셜 매트릭스(Essential Matrix) 중 적어도 하나를 이용할 수 있다.
일실시예에 따른 이동 경로를 추출하는 단계는 상기 기준 카메라 및 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라의 특징점을 취합한 3차원 지리 좌표와 상기 카메라 군의 위치 및 방향을 번들 조정(Bundle Adjustment)하여 최적화하여 이동 경로를 추출할 수 있다.
일실시예에 따른 이동 경로를 추출하는 단계는 상기 기준 카메라 및 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라로 촬영한 영상의 특징점들의 대응관계에 따른 상기 카메라 군의 상대적인 이동 경로와 상기 지리 좌표를 이용하여 상기 카메라 군의 절대 경로로 변환할 수 있다.
본 발명의 일실시예에 따른 이동 경로 추출 장치는 상호 위치 관계가 고정된 카메라 군의 영상을 분석함으로써 카메라의 개수 및 배치에 제한되지 않으며, 촬영된 카메라 군의 위치를 용이하게 계산할 수 있다.
본 발명의 일실시예에 따른 이동 경로 추출 장치는 카메라 군의 기준 카메라 및 기준 카메라를 제외한 카메라 군의 카메라에 대한 위치 및 방향을 기초한 카메라 군의 위치 및 방향과 이동 물체의 위치 정보를 이용하여 절대적인 위치 및 방향으로 변환함으로써, 상호 위치 관계가 고정된 카메라 군의 제약 조건에 관계없이 공간 지리 정보가 정합된 카메라 군의 이동 위치 및 방향을 효과적으로 계산할 수 있다.
도 1은 일실시예에 따른 이동 경로 추출 장치를 도시한 도면이다.
도 2는 일실시예에 따른 이동 경로 추출 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 카메라 군을 도시한 도면이다.
도 4는 일실시예에 따른 카메라 군의 위치 및 방향을 추출하는 과정을 도시한 도면이다.
도 5는 일실시예에 따른 이동 경로 추출 방법을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 이동 경로 추출 장치를 도시한 도면이다.
도 1을 참고하면, 이동 경로 추출 장치(101)는 카메라 군(102)으로부터 영상을 수신할 수 있다. 카메라 군(102)은 카메라 간의 상호 위치 관계가 고정될 수 있다. 이 때, 카메라 군(102)은 카메라 군(102)의 포함된 카메라의 개수 및 배치가 제한되지 않는다. 또한, 카메라 군(102)은 카메라 군(102)을 구성하는 각 카메라의 투영원점을 일치시킨 복수의 카메라를 포함할 수 있다. 카메라 군(102)은 카메라 군(102)을 구성하는 각 카메라의 투영원점 간에 일정 간격을 두고 고정 시킨 복수의 카메라를 포함할 수 있다.
이동 경로 추출 장치(101)는 카메라 군(102)이 장착된 이동 물체의 지리 좌표를 위치 수신 장치를 통해 수신할 수 있다. 위치 수신 장치는 물체의 지리적 좌표를 추적할 수 있는 GPS 수신 장치 등을 포함할 수 있다. 그리고, 이동 물체는 카메라 군이 장착되어, 장소의 이동이 가능한 물체일 수 있다. 일례로, 이동 경로 추출 장치(101)는 장소의 이동이 가능한 이동 교통 수단에 카메라 군을 고정할 수 있다. 그리고, 교통 수단은 자동차, 트럭, 오토바이 등으로 이동이 가능한 모든 수단을 포함할 수 있다. 또한, 지리 좌표는 카메라 군의 위치를 위도 및 경도의 좌표로 변환하기 위한 좌표일 수 있다.
그리고, 이동 경로 추출 장치(101)는 수신한 카메라 군의 영상을 분석할 수 있다. 이동 경로 추출 장치(101)는 분석된 영상을 통해 카메라 군의 위치 및 방향을 판단할 수 있다. 보다 구체적으로 이동 경로 추출 장치(101)는 카메라 군으로부터 수신한 영상과 지리 좌표를 이용하여 카메라 군의 이동 경로를 추출할 수 있다. 이 때, 이동 경로 추출 장치(101)는 카메라 군의 기준 카메라 및 기준 카메라를 제외한 카메라 군의 카메라에 대한 위치 및 방향을 기초한 카메라 군의 위치 및 방향과 이동 물체의 위치 정보를 이용하여 절대적인 위치 및 방향에 대한 절대 경로로 변화할 수 있다.
도 2는 일실시예에 따른 이동 경로 추출 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 이동 경로 추출 장치(201)는 영상 수신부(202), 지리좌표 수신부(203), 이동 경로 추출부(204)를 포함할 수 있다.
영상 수신부(202)는 카메라 군이 촬영한 영상을 수신할 수 있다. 이 때, 카메라 군은 카메라 군을 구성하는 각 카메라 간의 상호 위치 관계가 고정될 수 있다. 그리고, 카메라 군은 촬영한 영상을 파노라마 영상으로 제작하기 위한 복수의 카메라를 포함할 수 있다. 이 때, 영상 수신부(202)는 카메라 군에 포함된 카메라의 위치 및 방향에 관계없이 카메라 군에서 촬영하는 영상을 수신할 수 있다. 또한, 카메라 군은 카메라 간의 투영원점이 동일한 복수의 카메라 및 카메라 군은 카메라 간의 투영원점이 일정 간격으로 고정된 복수의 카메라를 포함할 수 있다.
다시 말해, 영상 수신부(202)는 이동 물체에 고정된 카메라 군이 이동 물체에 따라 이동하면서 카메라 군에 포함된 복수의 카메라를 통해 촬영한 영상을 수신할 수 있다.
지리좌표 수신부(203)는 카메라 군의 위치를 위도 및 경도의 좌표로 변환하기 위한 지리 좌표를 수신할 수 있다. 이를 위해, 지리좌표 수신부(203)는 이동 물체의 위치를 파악할 수 있는 위치 수신 장치를 이용하여 이동 물체의 지리 좌표를 수신할 수 있다.
이동 경로 추출부(204)는 수신한 영상과 위치 수신 장치로부터 수신한 지리 좌표를 이용하여 카메라 군의 기준 카메라의 위치 및 방향에 따른 카메라 군의 이동 경로를 추출할 수 있다.
구체적으로, 이동 경로 추출부(204)는 카메라 군을 구성하는 카메라 중 하나의 기준 카메라를 설정할 수 있다. 이 때, 기준 카메라는 카메라 군을 구성한 카메라 중에 사용자로부터 사용자 인터페이스를 통해 임의적으로 설정될 수 있다. 또한, 기준 카메라는 카메라 군의 이동 경로를 계산하기 위한 기준이 될 수 있다.
그리고, 이동 경로 추출부(204)는 카메라 군으로 촬영한 영상열(image sequences)로부터 기준 카메라의 영상의 특징점을 추출할 수 있다. 이동 경로 추출부(204)는 추출한 기준 카메라의 영상 간의 특징점을 매칭할 수 있다. 그리고, 이동 경로 추출부(204)는 영상 간의 특징점이 매칭된 매칭 결과를 이용하여 기준 카메라의 위치 및 방향을 계산될 수 있다. 또한, 이동 경로 추출부(204)는 계산된 기준 카메라의 위치 및 방향을 기초하여 시간 경과에 따른 기준 카메라의 이동 경로를 생성할 수 있다.
이동 경로 추출부(204)는 기준 카메라를 제외한 카메라 군을 구성하는 나머지 카메라를 통해 촬영한 영상의 특징점을 추출할 수 있다. 그리고, 이동 경로 추출부(204)는 추출한 카메라 군을 구성하는 나머지 카메라의 영상들 간의 특징점을 매칭할 수 있다. 그리고, 이동 경로 추출부(204)는 나머지 카메라로 촬영한 영상들 간의 특징점이 매칭된 매칭 결과를 이용하여 상기 나머지 카메라 군의 카메라의 위치 및 방향을 계산할 수 있다.
또한, 이동 경로 추출부(204)는 기준 카메라의 이동 경로 및 기준 카메라와 카메라 군을 구성하는 카메라와의 상대적인 위치 관계를 이용하여 시간 경과에 따른 영상 프레임을 계산할 수 있다. 이 때, 이동 경로 추출부(204)는 카메라 군을 구성하는 각 카메라에 대응하여 시간 경과에 따른 영상 프레임을 계산할 수 있다. 그리고, 이동 경로 추출부(204)는 시간 경과에 따른 영상 프레임 간의 펀더멘탈 매트릭스(Fundamental Matrix) 또는 에센셜 매트릭스(Essential Matrix)를 계산할 수 있다. 이동 경로 추출부(204)는 펀더멘탈 매트릭스 또는 에센셜 매트릭스의 결과를 이용하여 카메라 군을 구성하는 카메라 간의 추출된 특징점의 기하학적으로 의미 있는 매칭 결과를 얻을 수 있다. 그리고, 이동 경로 추출부(204)는 매칭 결과를 이용하여 카메라 군을 구성하는 카메라의 위치와 방향을 계산할 수 있다. 이 때, 이동 경로 추출부(204)는 카메라 군을 구성하는 카메라의 위치와 방향을 계산함으로써, 카메라 군을 구성하는 모든 카메라의 위치와 방향이 계산될 수 있다. 그리고, 이동 경로 추출부(204)는 수신한 이동 물체의 위치에 대한 지리좌표와 카메라 군의 위치와 방향을 이용하여 카메라 군의 절대적인 위치와 방향에 대한 절대 경로로 변환할 수 있다.
이동 경로 추출 장치는 상호 위치 관계가 고정된 카메라 군의 제약 조건을 이용하여 효과적으로 카메라군의 이동 위치와 방향을 계산할 수 있다. 더 나아가, 이동 경로 추출 장치의 카메라 군의 이동 위치와 방향에 다른 결과는 영상을 이용한 지도 서비스, 영상 등의 3차원 모델링 등에 활용될 수 있다.
도 3은 일실시예에 따른 카메라 군을 도시한 도면이다.
도 3을 참고하면, 카메라로 구성된 카메라 군(300)의 형태를 개시한다. 카메라 군(300)은 하나 이상의 카메라를 포함할 수 있다. 그리고, 카메라 군(300)은 카메라 군(300)에 포함된 카메라 중 하나의 기준 카메라(301)를 포함할 수 있다. 그리고, 기준 카메라(301)는 카메라 군의 이동 경로를 추출하기 위한 기준이 되는 카메라일 수 있다.
여기서, 도 3에 도시된 카메라 군의 형태는 카메라 군의 예시로 설명하기 위해 도시된 형태이다. 다시 말해, 카메라 군의 형태는 특정한 형태의 카메라 군, 카메라 군을 이루는 카메라의 개수, 위치 관계 등에 대한 제한 사항으로 한정 해석되어서는 안 된다.
도 4는 일실시예에 따른 카메라 군의 위치 및 방향을 추출하는 과정을 도시한 도면이다.
단계(401)에서 이동 경로 추출 장치는 카메라 군을 구성하는 카메라 중 하나의 기준 카메라를 설정할 수 있다. 이 때, 이동 경로 추출 장치는 사용자의 의해 사용자 인터페이스를 통해 임의로 기준 카메라를 설정할 수 있다.
단계(402)에서 이동 경로 추출 장치는 설정된 기준 카메라가 촬영한 영상의 특징점을 추출할 수 있다. 이 때, 이동 경로 추출 장치는 카메라 군으로 촬영한 영상열을 이용하여 기준 카메라가 촬영한 영상의 특징점을 추출할 수 있다. 그리고, 이동 경로 추출 장치는 영산 간의 특징점을 비교하여 매칭할 수 있다.
그리고, 이동 경로 추출 장치는 매칭 제거(outlier removal) 알고리즘을 적용할 수 있다. 구체적으로, 이동 경로 추출 장치는 매칭 제거(Outlier Removal) 알고리즘을 이용하여, 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하는 과정에서 잘못 정합된 특징점의 매칭 결과를 제거할 수 있다. 다시 말해, 이동 경로 추출 장치는 특징점 매칭 제거 알고리즘을 이용하여 기준 값을 벗어나 잘못 정합된 특징점의 매칭 결과를 제거함으로써, 보다 향상된 매칭 결과를 제공할 수 있다.
단계(403)에서 이동 경로 추출 장치는 매칭된 매칭 결과에 따라 기준 카메라의 위치 및 방향을 계산할 수 있다. 이 때, 이동 경로 추출 장치는 카메라 간의 물리적 거리의 제한 조건을 만족시키기 위해 기준 카메라의 위치 및 방향을 계산할 수 있다. 여기서, 카메라 간의 물리적 거리의 제한 조건은 카메라 군을 통해 촬영된 영상을 이용하여 파노라마 영상을 획득하기 위한 계산 중에 카메라 간의 물리적 거리가 무시되는 것을 의미할 수 있다. 이러한, 제한 조건은 카메라 군에 포함된 카메라 간의 물리적 거리가 카메라 군을 통해 촬영한 영상에 포착된 물체의 거리보다 짧기 때문 발생할 수 있다.
또한, 이동 경로 추출 장치는 계산된 기준 카메라의 위치와 방향을 기초하여 시간 경과에 따른 기준 카메라의 이동 경로를 생성할 수 있다.
단계(404)에서 이동 경로 추출 장치는 카메라 군으로 촬영한 영상열을 이용하여 기준 카메라를 제외한 카메라 군에 포함된 나머지 카메라가 촬영한 영상의 특징점을 추출할 수 있다. 그리고, 이동 경로 추출 장치는 나머지 카메라로 촬영한 영상들 간의 특징점을 비교하여 매칭할 수 있다.
상세하게, 이동 경로 추출 장치는 펀더멘탈 매트릭스(Fundamental Matrix) 또는 에센셜 매트릭스(Essential Matrix)를 계산할 수 있다. 이동 경로 추출 장치는 펀더멘탈 매트릭스 또는 에센셜 매트릭스를 계산함으로써 기하학적으로 의미 있는 매칭 결과를 획득할 수 있다. 여기서, 펀더멘탈 매트릭스 또는 에센셜 매트릭스는 기준 카메라의 이동 경로 및 기준 카메라와 카메라 군을 구성하는 카메라와의 상대적인 위치 관계를 이용하여 시간 경과에 따른 이웃하는 영상 프레임 간의 매트릭스 일수 있다.
또한, 이동 경로 추출 장치는 카메라 간의 상호 기하 관계의 여부에 따라 특징점을 매칭하는 과정에서 차이가 발생할 수 있다. 다시 말해, 카메라 간의 상호 기하 관계가 설립된 경우, 이동 경로 추출 장치는 펀더멘탈 매트릭스 또는 에센셜 매트릭스로 계산된 결과에 따라 특징점을 매칭함으로써, 카메라 간의 상호 기가 관계가 설립되지 않은 경우에 대비하여 매칭 소요 시간이 단축될 수 있다.
그리고, 이동 경로 추출 장치는 적어도 하나 이상의 카메라를 통한 넓은 범위의 영상을 사용하므로 위치와 방향의 계산 결과가 안정적일 수 있다. 그리고, 이동 경로 추출 장치는 매칭 제거(outlier removal) 알고리즘을 적용하여 잘못 정합된 특징점의 매칭 결과를 제거함할 수 있다. 이동 경로 추출 장치는 카메라 간 거리보다 특정 임계치 이상에 존재하는 물체의 특징점을 특징점 특징점 매칭 제거 알고리즘의 계산에서 제외하여 계산의 정확도를 높일 수 있다.
단계(405)에서 이동 경로 추출 장치는 매칭 결과를 이용하여 카메라 군을 구성하는 카메라의 위치 및 방향을 계산할 수 있다. 이 때, 이동 경로 추출 장치는 시간적으로 고정된 카메라 군을 구성하는 카메라의 위치 및 방향을 계산할 수 있다. 다시 말해, 이동 경로 추출 장치는 카메라 간의 상호 위치 관계가 고정되어 있기 때문에 시간적인 위치와 방향의 변화량이 동일한 카메라의 위치와 방향을 계산할 수 있다.
이 때, 이동 경로 추출 장치는 카메라 군을 구성하는 카메라의 위치와 방향을 계산함으로써, 카메라 군을 구성하는 모든 카메라의 위치와 방향이 계산될 수 있다. 다시 말해, 이동 경로 추출 장치는 카메라로 구성된 카메라 군의 위치와 방향을 계산할 수 있다.
또한, 카메라 군의 위치와 방향을 계산 할 때, 이동 경로 추출 장치는 기준 카메라에 대한 상대적인 위치와 방향을 최적화 파라미터에 추가하여 번들 조정 기술을 적용할 수 있다. 이 때, 이동 경로 추출 장치는 카메라 군의 카메라 간의 상호 기하 관계를 알 때 보다 최적화 파라미터가 많아지므로 시간이 더 소요될 수 있다.
또한, 이동 경로 추출 장치는 카메라 군을 구성하는 카메라의 위치와 방향을 이용하여 3차원 점의 영상 투영점 계산을 위한 투영 행렬(projection matrix) 데이터와 각 파라미터의 편미분 행렬 계산에 활용할 수 있다.
단계(406)에서 이동 경로 추출 장치는 계산된 기준 카메라의 위치 및 방향과 카메라 군을 구성하는 카메라의 위치 및 방향에서 동일한 3차원 좌표를 계산할 수 있다. 그리고, 이동 경로 추출 장치는 계산된 3차원 좌표와 카메라 군의 위치와 방향을 번들 조정(bundle adjustment) 기술을 이용하여 동시에 최적화할 수 있다.
일반적으로 번들 조정 기술은 모든 영상에 대해 카메라의 위치와 방향 값을 파라미터로 사용할 수 있다. 일실시예에 따른 번들 조정 기술은 카메라간의 상호 기하 관계가 고정된 카메라 군에서 기준 카메라의 위치와 방향을 최적화할 파라미터로 사용될 수 있다.
단계(407)에서 이동 경로 추출 장치는 상기 기준 카메라 및 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라로 촬영한 영상의 특징점들의 대응관계에 따른 상기 카메라 군의 상대적인 이동 경로와 상기 지리 좌표를 이용하여 상기 카메라 군의 절대 경로로 변환할 수 있다.. 다시 말해, 이동 경로 추출 장치는 카메라 군을 통해 촬영된 영상들 간의 특징점을 매칭하여 카메라 군의 상대적인 위치 및 방향을 계산할 수 있다. 그리고, 이동 경로 추출 장치는 상대적인 위치 및 방향의 이동 경로와 이동 물체의 위도 및 경도를 포함하는 지리좌표를 이용함으로써, 상태적인 이동 경로를 카메라 군의 절대 경로로 변화할 수 있다.
구체적으로, 이동 경로 추출 장치는 이동 물체의 위치를 수신한 시점과 유사한 시점에 카메라 군의 위치와 방향을 수집할 수 있다. 그리고, 이동 경로 추출 장치는 이동 물체의 위도와 경도에 대응하는 카메라 군의 상대적인 위치와 방향을 추출하여, 스케일 변환 및 회전, 이동 등의 값으로 계산함으로써, 절대적인 위치와 방향의 절대 경로로 변환할 수 있다.
여기서, 이동 경로 추출 장치는 특별한 비선형 최적화 단계 없이 카메라 군의 절대적인 위치와 방향의 절대 경로를 계산할 수 있다. 다시 말해, 이동 경로 추출 장치는 이동 물체의 위도 및 경도를 계산해야 할 파라미터 개수보다 절대적인 위치와 방향으로 계산하는 것이 많으므로, 특별한 비선형 최적화 단계 없이 카메라 군의 절대적인 위치와 방향의 절대 경로를 계산할 수 있다.
일실시예에 따른 이동 경로 추출 장치는 기술된 과정을 통해 카메라 군의 절대적인 위치와 방향을 계산함으로써, 카메라 군의 이동 경로를 추출할 수 있다.
일실시예에 따른 이동 경로 추출 장치는 카메라 군의 카메라 간 상호 기하 관계를 알지 못하더라도, 본 발명과 유사하게 카메라군의 위치와 방향을 계산할 수 있다.
도 5는 일실시예에 따른 이동 경로 추출 방법을 도시한 도면이다.
단계(501)에서 이동 경로 추출 장치는 각 카메라 간의 상호 위치 관계가 고정된 카메라 군으로부터 영상을 수신할 수 있다.
단계(502)에서 이동 경로 추출 장치는 카메라 군이 장착된 이동 물체의 위치를 파악할 수 있는 위치 수신 장치를 이용하여 이동 물체의 지리 좌표를 수신할 수 있다.
단계(503)에서 이동 경로 추출 장치는 수신한 영상과 지리 좌표를 이용하여 카메라 군의 기준 카메라의 위치 및 방향에 따른 카메라 군의 이동 경로를 추출할 수 있다. 그리고, 이동 경로 추출 장치는 카메라 군으로 촬영한 영상열(image sequences)로부터 기준 카메라의 영상의 특징점을 추출할 수 있다. 그리고, 그리고, 이동 경로 추출 장치는 영산 간의 특징점을 매칭하여 매칭 결과를 추출할 수 있다. 이 때, 매칭 결과는 기준 카메라의 위치 및 방향을 계산되어 시간 경과에 따른 기준 카메라의 이동 경로를 생성할 수 있다.
그리고, 이동 경로 추출 장치는 기준 카메라를 제외한 카메라 군을 구성하는 나머지 카메라에서 촬영한 영상의 특징점을 추출할 수 있다. 이동 경로 추출 장치는 카메라 군으로 촬영한 영상열을 이용하여 특징점을 추출하고, 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하여 매칭 결과를 추출할 수 있다.
이동 경로 추출 장치는 적어도 하나 이상의 카메라를 통한 넓은 범위의 영상을 사용하므로 위치와 방향의 계산 결과가 안정적일 수 있다. 그리고, 이동 경로 추출 장치는 특징점 매칭 제거 알고리즘을 이용함으로써, 잘못 계산된 특징점의 결과를 향상시킬 수 있다.
이동 경로 추출 장치는 매칭 결과를 이용하여 카메라 군을 구성하는 카메라의 위치 및 방향을 계산할 수 있다. 이동 경로 추출 장치는 카메라 군을 구성하는 카메라의 위치와 방향을 계산함으로써, 카메라 군을 구성하는 모든 카메라의 위치와 방향이 계산될 수 있다. 다시 말해, 이동 경로 추출 장치는 카메라로 구성된 카메라 군의 위치와 방향을 계산할 수 있다. 그리고, 카메라 군의 위치와 방향을 계산 할 때, 이동 경로 추출 장치는 기준 카메라에 대한 상대적인 위치와 방향을 최적화 파라미터에 추가하여 번들 조정 기술을 적용할 수 있다.
이동 경로 추출 장치는 계산된 기준 카메라의 위치 및 방향과 카메라 군을 구성하는 카메라의 위치 및 방향에서 동일한 3차원 좌표를 계산할 수 있다. 그리고, 이동 경로 추출 장치는 계산된 3차원 좌표와 카메라 군의 위치와 방향을 번들 조정 기술을 이용하여 동시에 최적화할 수 있다.
이동 경로 추출 장치는 카메라 군의 상대적인 위치와 방향에서 절대적인 위치와 방향으로 변환할 수 있다. 이동 경로 추출 장치는 수신한 이동 물체의 위치 정보를 이용하여 절대적인 위치와 방향으로 변환할 수 있다.
이동 경로 추출 장치는 카메라 군의 절대적 위치와 방향의 절대 경로로 변환함으로써, 카메라 군의 이동 경로를 추출할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 이동 경로 추출 장치
102: 카메라 군

Claims (20)

  1. 카메라 간의 상호 위치 관계가 고정된 카메라 군으로부터 영상을 수신하는 영상 수신부;
    상기 카메라 군에 장착된 이동 물체의 지리좌표를 수신하는 지리좌표 수신부; 및
    상기 영상과 상기 지리좌표를 이용하여 상기 카메라 군의 기준 카메라의 위치 및 방향에 따른 상기 카메라 군의 이동 경로를 추출하는 이동 경로 추출부
    를 포함하고,
    상기 이동 경로 추출부는,
    상기 영상의 영상열(Image Sequences)로부터 상기 기준 카메라를 통해 촬영한 영상들의 특징점을 추출하여 상기 기준 카메라로 촬영한 영상간의 특징점을 매칭하고, 상기 영상 간의 특징점이 매칭된 매칭 결과를 기초한 상기 기준 카메라의 위치 및 방향을 검출하며, 상기 기준 카메라의 위치와 방향을 기초하여 시간 경과에 따른 기준 카메라의 이동 경로를 생성하고,
    상기 기준 카메라의 이동 경로와 상기 기준 카메라와 상기 나머지 카메라와의 상대적인 위치 관계를 이용하여 상기 카메라 군을 구성하는 각 카메라에 대응하며 시간 경과에 따른 영상 프레임 간의 펀더멘탈 매트릭스 또는 에센셜 매트릭스를 계산하며,
    상기 영상 프레임 간의 펀더멘탈 매트릭스 또는 에센셜 매트릭스의 결과를 이용하여 상기 카메라 군을 구성하는 카메라들 간의 추출된 특징점의 기하학적 매칭 결과를 획득하고,
    상기 매칭 결과에 따라 상기 카메라 군을 구성하는 카메라의 위치와 방향이 계산하며, 상기 지리좌표와 카메라 군을 구성하는 카메라의 위치와 방향을 이용하여 카메라 군의 절대적인 위치와 방향에 대한 절대 경로로 변환하는 이동 경로 추출 장치.
  2. 제1항에 있어서,
    상기 카메라 군은,
    상기 카메라 간의 투영원점이 동일한 형태의 상기 카메라 군을 포함하고,
    상기 카메라 간의 투영원점이 일정 간격으로 고정된 형태의 상기 카메라 군을 포함하는 이동 경로 추출 장치.
  3. 제1항에 있어서,
    상기 지리좌표 수신부는,
    상기 카메라 군의 위치를 위도 및 경도의 좌표로 변환하기 위해 상기 이동 물체의 지리좌표를 수신하는 이동 경로 추출 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 이동 경로 추출부는,
    상기 기준 카메라를 제외한 카메라 군의 나머지 카메라를 통해 촬영한 영상들의 특징점을 추출하여 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하고,
    상기 영상들 간의 특징점이 매칭된 매칭 결과를 기초한 상기 나머지 카메라 군의 카메라 위치 및 방향을 검출하여 상기 카메라 군의 이동 경로를 추출하는 이동 경로 추출 장치.
  6. 제5항에 있어서,
    상기 이동 경로 추출부는,
    특징점 매칭 제거(Outlier Removal) 알고리즘을 이용하여, 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하는 과정에서 잘못 정합된 특징점의 매칭 결과를 제거하는 이동 경로 추출 장치.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 이동 경로 추출부는,
    상기 기준 카메라의 위치 및 방향과 상기 카메라 군을 구성하는 카메라의 위치 및 방향에서 동일한 3차원 좌표를 계산하고, 번들 조정(Bundle Adjustment) 기술을 이용하여 상기 3차원 좌표, 상기 카메라 군의 위치 및 방향을 최적화하는 이동 경로 추출 장치.
  10. 제1항에 있어서,
    상기 이동 경로 추출부는,
    상기 기준 카메라 및 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라로 촬영한 영상의 특징점들의 대응관계에 따른 상기 카메라 군의 상대적인 이동 경로와 상기 지리 좌표를 이용하여 상기 카메라 군의 절대 경로로 변환하는 이동 경로 추출 장치.
  11. 카메라 간의 상호 위치 관계가 고정된 카메라 군으로부터 영상을 수신하는 단계;
    상기 카메라 군이 장착된 이동 물체의 지리좌표를 수신하는 단계; 및
    상기 영상과 상기 지리좌표를 이용하여 상기 카메라 군의 기준 카메라의 위치 및 방향에 따른 상기 카메라 군의 이동 경로를 추출하는 단계
    를 포함하고,
    상기 이동 경로를 추출하는 단계는,
    상기 영상의 영상열(Image Sequences)로부터 상기 기준 카메라를 통해 촬영한 영상들의 특징점을 추출하여 상기 기준 카메라로 촬영한 영상간의 특징점을 매칭하고, 상기 영상 간의 특징점이 매칭된 매칭 결과를 기초한 상기 기준 카메라의 위치 및 방향을 검출하며, 상기 기준 카메라의 위치와 방향을 기초하여 시간 경과에 따른 기준 카메라의 이동 경로를 생성하고,
    상기 기준 카메라의 이동 경로와 상기 기준 카메라와 상기 나머지 카메라와의 상대적인 위치 관계를 이용하여 상기 카메라 군을 구성하는 각 카메라에 대응하며 시간 경과에 따른 영상 프레임 간의 펀더멘탈 매트릭스 또는 에센셜 매트릭스를 계산하며,
    상기 영상 프레임 간의 펀더멘탈 매트릭스 또는 에센셜 매트릭스의 결과를 이용하여 상기 카메라 군을 구성하는 카메라들 간의 추출된 특징점의 기하학적 매칭 결과를 획득하고,
    상기 매칭 결과에 따라 상기 카메라 군을 구성하는 카메라의 위치와 방향이 계산하며, 상기 지리좌표와 카메라 군을 구성하는 카메라의 위치와 방향을 이용하여 카메라 군의 절대적인 위치와 방향에 대한 절대 경로로 변환하는 이동 경로 추출 방법.
  12. 제11항에 있어서,
    상기 카메라 군은,
    상기 카메라 간의 투영원점이 동일한 형태의 상기 카메라 군을 포함하고,
    상기 카메라 간의 투영원점이 일정 간격으로 고정된 형태의 상기 카메라 군을 포함하는 이동 경로 추출 방법.
  13. 제11항에 있어서,
    상기 지리좌표를 수신하는 단계는,
    상기 카메라 군의 위치를 위도 및 경도의 좌표로 변환하기 위해 상기 이동 물체의 지리좌표를 수신하는 이동 경로 추출 방법.
  14. 삭제
  15. 제11항에 있어서,
    상기 이동 경로를 추출하는 단계는,
    상기 기준 카메라를 제외한 카메라 군의 나머지 카메라를 통해 촬영한 영상들의 특징점을 추출하여 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하고,
    상기 영상들 간의 특징점이 매칭된 매칭 결과를 기초한 상기 나머지 카메라 군의 카메라 위치 및 방향을 검출하여 상기 카메라 군의 이동 경로를 추출하는 이동 경로 추출 방법.
  16. 제15항에 있어서,
    상기 이동 경로를 추출하는 단계는,
    특징점 매칭 제거(Outlier Removal) 알고리즘을 이용하여, 상기 나머지 카메라로 촬영한 영상들 간의 특징점을 매칭하는 과정에서 잘못 정합된 특징점의 매칭 결과를 제거하는 이동 경로 추출 방법.
  17. 삭제
  18. 삭제
  19. 제11항에 있어서,
    상기 이동 경로를 추출하는 단계는,
    상기 기준 카메라의 위치 및 방향과 상기 카메라 군을 구성하는 카메라의 위치 및 방향에서 동일한 3차원 좌표를 계산하고, 번들 조정(Bundle Adjustment) 기술을 이용하여 상기 3차원 좌표, 상기 카메라 군의 위치 및 방향을 최적화하는 이동 경로 추출 방법.
  20. 제11항에 있어서,
    상기 이동 경로를 추출하는 단계는,
    상기 기준 카메라 및 상기 기준 카메라를 제외한 카메라 군의 나머지 카메라로 촬영한 영상의 특징점들의 대응관계에 따른 상기 카메라 군의 상대적인 이동 경로와 상기 지리 좌표를 이용하여 상기 카메라 군의 절대 경로로 변환하는 이동 경로 추출 방법.
KR1020130053643A 2013-05-13 2013-05-13 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법 KR102077498B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130053643A KR102077498B1 (ko) 2013-05-13 2013-05-13 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
US14/271,029 US9619892B2 (en) 2013-05-13 2014-05-06 Apparatus and method for extracting movement path of mutual geometric relationship fixed camera group

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130053643A KR102077498B1 (ko) 2013-05-13 2013-05-13 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140134351A KR20140134351A (ko) 2014-11-24
KR102077498B1 true KR102077498B1 (ko) 2020-02-17

Family

ID=51864815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130053643A KR102077498B1 (ko) 2013-05-13 2013-05-13 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법

Country Status (2)

Country Link
US (1) US9619892B2 (ko)
KR (1) KR102077498B1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017008246A1 (en) * 2015-07-14 2017-01-19 SZ DJI Technology Co., Ltd. Method, apparatus, and system for determining a movement of a mobile platform
CN105844696B (zh) * 2015-12-31 2019-02-05 清华大学 基于射线模型三维重构的图像定位方法以及装置
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
US10839203B1 (en) 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
JP7037302B2 (ja) * 2017-09-06 2022-03-16 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US11232294B1 (en) 2017-09-27 2022-01-25 Amazon Technologies, Inc. Generating tracklets from digital imagery
KR102211769B1 (ko) * 2017-12-07 2021-02-03 한국전자통신연구원 멀티 카메라 촬영 영상의 기하보정 방법 및 장치
CN108280858B (zh) * 2018-01-29 2022-02-01 重庆邮电大学 多视图重建中的一种线性全局相机运动参数估计方法
US11482045B1 (en) 2018-06-28 2022-10-25 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468698B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468681B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11443516B1 (en) * 2020-04-06 2022-09-13 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11398094B1 (en) 2020-04-06 2022-07-26 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
CN113744277A (zh) * 2020-05-29 2021-12-03 广州汽车集团股份有限公司 一种基于局部路径优化的视频去抖方法及系统
CN111898554B (zh) * 2020-07-31 2023-06-23 重庆广播电视大学重庆工商职业学院 根据特征点进行视频图像抓取的工作系统和工作方法
CN113223087B (zh) * 2021-07-08 2021-09-21 武大吉奥信息技术有限公司 一种基于视频监控的目标物体地理坐标定位方法和装置
US11858420B2 (en) * 2021-11-29 2024-01-02 Texas Instruments Incorporated Below vehicle rendering for surround view systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014443A (ja) * 2008-07-01 2010-01-21 Topcon Corp 位置測定方法、位置測定装置、およびプログラム
JP2010038822A (ja) * 2008-08-07 2010-02-18 Topcon Corp Ｇｐｓ付全方位カメラ及び空間データ収集装置
JP2011248830A (ja) * 2010-05-31 2011-12-08 Nissan Motor Co Ltd 移動体挙動検出装置及び方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5036474A (en) * 1989-03-31 1991-07-30 Honeywell Inc. Motion detection and tracking from a mobile platform
US5978017A (en) * 1997-04-08 1999-11-02 Tino; Jerald N. Multi-camera video recording system for vehicles
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
KR100550430B1 (ko) * 2003-07-26 2006-02-13 엘지전자 주식회사 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
US7949150B2 (en) * 2007-04-02 2011-05-24 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
JP5337170B2 (ja) * 2008-02-08 2013-11-06 グーグル インコーポレイテッド タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
US8373763B2 (en) * 2008-05-22 2013-02-12 GM Global Technology Operations LLC Self calibration of extrinsic camera parameters for a vehicle camera
EP2192546A1 (en) * 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US8903127B2 (en) * 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
US20130128050A1 (en) * 2011-11-22 2013-05-23 Farzin Aghdasi Geographic map based control
KR101919366B1 (ko) * 2011-12-22 2019-02-11 한국전자통신연구원 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법
US20130215239A1 (en) * 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
JP5832341B2 (ja) * 2012-03-09 2015-12-16 株式会社トプコン 動画処理装置、動画処理方法および動画処理用のプログラム
US8559802B1 (en) * 2012-05-25 2013-10-15 Google Inc. System and method for isolating camera movement
KR101694969B1 (ko) * 2012-10-29 2017-01-10 한국전자통신연구원 카메라 캘리브레이션 방법 및 장치
EP2851870B1 (en) * 2013-09-20 2019-01-23 Application Solutions (Electronics and Vision) Limited Method for estimating ego motion of an object
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010014443A (ja) * 2008-07-01 2010-01-21 Topcon Corp 位置測定方法、位置測定装置、およびプログラム
JP2010038822A (ja) * 2008-08-07 2010-02-18 Topcon Corp Ｇｐｓ付全方位カメラ及び空間データ収集装置
JP2011248830A (ja) * 2010-05-31 2011-12-08 Nissan Motor Co Ltd 移動体挙動検出装置及び方法

Also Published As

Publication number Publication date
US20140334675A1 (en) 2014-11-13
KR20140134351A (ko) 2014-11-24
US9619892B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
KR102077498B1 (ko) 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
US10885328B2 (en) Determination of position from images and associated camera positions
EP3447730B9 (en) Three-dimensional reconstruction method
EP2632160B1 (en) Method and apparatus for image processing
KR102400452B1 (ko) 이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출
CN106875467B (zh) 三维城市模型快速更新方法
WO2018104563A3 (en) Method and system for video-based positioning and mapping
US9165361B1 (en) Video tracking with jitter, slewing, or zoom
CN103903263B (zh) 一种基于Ladybug全景相机图像的360度全方位测距方法
CN106575447A (zh) 构建3d结构
US11948329B2 (en) System using image connectivity to reduce bundle size for bundle adjustment
JP2017201261A (ja) 形状情報生成システム
KR20120111805A (ko) 촬영화상의 카메라 자세 추정 시스템 및 방법
KR102124170B1 (ko) 다시점 블랙박스 영상 데이터를 이용한 교통사고 분석시스템
KR101234917B1 (ko) 가중치 적용된 임계값에 의한 영상 보정을 이용하는 3차원 공간 데이터 생성 방법 및 시스템
KR102033075B1 (ko) 딥러닝을 이용한 위치정보 시스템 및 그 제공방법
Detchev et al. Calibration of multi-camera photogrammetric systems
CN104519314A (zh) 事故现场全景信息快速采集方法
KR101879858B1 (ko) 보정 영상으로부터 추출된 대상 객체의 좌표 정보와 항공사진의 좌표 정보를 비교하여 공통점을 추출함으로써 공간데이터를 모델링하는 공간 모델링 시스템
CN115423863A (zh) 相机位姿估计方法、装置及计算机可读存储介质
Cavegn et al. Evaluation of matching strategies for image-based mobile mapping
Vasile et al. Efficient city-sized 3D reconstruction from ultra-high resolution aerial and ground video imagery
Huang et al. Constrained Bundle Adjustment for Structure From Motion Using Uncalibrated Multi-Camera Systems
WO2020081145A1 (en) Efficient egomotion estimation using patch based projected correlation
KR101332164B1 (ko) 복수개의 카메라로부터 획득된 영상 정보로부터 커브 성분을 제거함으로써 영상 보정을 수행하는 3차원 공간데이터 보정 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant