KR20120111805A - 촬영화상의 카메라 자세 추정 시스템 및 방법 - Google Patents

촬영화상의 카메라 자세 추정 시스템 및 방법 Download PDF

Info

Publication number
KR20120111805A
KR20120111805A KR1020110030390A KR20110030390A KR20120111805A KR 20120111805 A KR20120111805 A KR 20120111805A KR 1020110030390 A KR1020110030390 A KR 1020110030390A KR 20110030390 A KR20110030390 A KR 20110030390A KR 20120111805 A KR20120111805 A KR 20120111805A
Authority
KR
South Korea
Prior art keywords
photographed image
camera
tie point
tie
information
Prior art date
Application number
KR1020110030390A
Other languages
English (en)
Other versions
KR101755687B1 (ko
Inventor
정원조
이찬구
Original Assignee
에스케이씨앤씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이씨앤씨 주식회사 filed Critical 에스케이씨앤씨 주식회사
Priority to KR1020110030390A priority Critical patent/KR101755687B1/ko
Priority to PCT/KR2012/002415 priority patent/WO2012134237A2/ko
Publication of KR20120111805A publication Critical patent/KR20120111805A/ko
Application granted granted Critical
Publication of KR101755687B1 publication Critical patent/KR101755687B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 촬영화상의 카메라 자세 추정 시스템 및 방법에 관한 것으로, 보다 상세하게는 촬영화상의 카메라 자세 정보를 정밀하게 결정할 수 있는 시스템 및 방법에 관한 것이다.
이를 위해 본 발명의 일실시예에 따른 촬영화상의 카메라 자세 추정 시스템은 타이포인트 추출부, 카메라 자세 정보 보정부 및 타이포인트 판단부를 포함할 수 있다. 상기 타이포인트 추출부는 서로 다른 촬영화상으로부터 타이포인트(tie point)들을 추출한다. 상기 카메라 자세 정보 보정부는 상기 추출된 타이포인트들을 기초로 상기 촬영화상의 카메라 자세 정보를 보정한다. 상기 타이포인트 추출부는, 상기 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 상기 기준범위에 속하지 않는 경우, 타이포인트를 추가로 지정한다.

Description

촬영화상의 카메라 자세 추정 시스템 및 방법 {SYSTEM OF ESTIMATING CAMAERA POSE AND METHOD THEREOF}
본 발명은 촬영화상의 카메라 자세 추정 시스템 및 방법에 관한 것으로, 보다 상세하게는 촬영화상의 카메라 자세 정보를 정밀하게 결정할 수 있는 시스템 및 방법에 관한 것이다.
일반적으로 3차원 지리정보시스템(GIS)은 3차원 모형화 기술을 적용한 지리정보시스템으로서, 지형과 인공시설물을 3차원정보로 구축하고 지리정보시스템 및 증강 현실 기술과 연동하여 공간정보를 저장, 처리, 가공, 분석하는 시스템이다. 최근에는 2차원 지도정보로부터 3차원 모형을 제작한 후, 3차원 모형 위에 항공기에서 찍은 사진이나 컴퓨터 그래픽으로 처리된 이미지 또는 기존의 2차원 지도의 이미지를 투영하여 현실감 있는 3차원 지도를 제작한다. 주로 지상을 촬영하고, 촬영된 영상으로부터 정상영상, 또는 수치지도를 제작하거나 촬영한 영상의 구조물의 정보를 취득하기 위해서 항공기에 카메라, 레이저스캐너, GPS(위성항법장치)장비, INS(관성항법장치)장비 등을 장착한 후, 항공기로 지상 위를 비행하면서 카메라로 촬영하여 카메라의 위치정보와 자세정보를 동시에 취득하고 있다.
그런데 GPS장비나 INS장비로부터 취득하는 정보는 오차를 갖고 있어, 이를 바탕으로 얻어지는 화상의 각종 데이터도 오차가 발생한다. 그래서 보다 정밀한 화상의 후속데이터(정사화상, 수치지도, 구조물의 3차원 정보, 기하보정 등)를 얻기 위한 여러 방안이 제시되고 있다.
카메라의 위치정보와 자세정보는 각각 GPS의 위치정보와 INS의 자세정보로부터 얻는 것이어서, 종래의 기술들은 GPS의 위치정보와 INS의 자세정보 자체의 정밀도를 높이는데 주력하고 있다. 다시 말해, 카메라의 위치정보는 GPS의 위치정보에서 카메라와 GPS의 장착 위치 차이를 가감하면 되고, 카메라의 자세정보는 INS의 자세정보에서 카메라와 INS의 장착 자세 차이를 가감하면 되는 것이어서, GPS의 위치정보와 INS의 자세정보는 곧 카메라의 위치정보와 자세정보가 되는 것이다.
여기서, GPS의 위치정보와 INS의 자세정보가 곧 카메라의 위치정보와 자세정보가 된다는 것은 카메라, GPS장비, INS장비의 항공기에의 장착 위치와 자세가 변하지 않는다는 조건이 부과된 상태에서 인정될 수 있는 것이다.
그런데, 항공기의 이착륙 시 충격이나, 운항 중 와류나 엔진에 의한 항공기의 떨림 등의 영향으로 항공기에 장착되어 있는 카메라 등의 장착 위치와 자세가 수시로 변한다. 장착 위치의 변화는 수 mm에서 수백 mm 정도이므로, 카메라의 위치정보에 주는 영향은 무시할 수 있는 정도이나, 장착 자세의 변화는 미세하더라도 영상에 주는 영향이 크다. 항공기는 지상에서 수 km에서 수십 km 상공에서 지상을 촬영하게 되므로, 카메라 자세의 미세한 차이는 촬영되는 화상에서는 커다란 차이를 발생시킨다. 즉, 고해상도의 3차원 공간정보를 고신뢰도로 제공하기 위해서는 촬영화상들 간의 정합이 정밀해야 하는데, 카메라의 지향점이 변하게 되어 부정확한 카메라 자세 정보를 취득하게 되므로 연속된 촬영화상들 간의 정합이 정밀하게 이루어질 수 없는 문제점이 있어 이를 보정하는 과정이 필수적이다.
본 발명은 촬영화상의 카메라 자세 추정 시스템 및 방법에 관한 것으로, 보다 상세하게는 촬영화상의 카메라 자세 정보를 정밀하게 결정할 수 있는 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 여러가지 요인으로 타이포인트가 너무 적게 추출되어 촬영화상의 카메라 자세 정보가 오히려 더 많은 오차를 갖는 방향으로 조정되거나 보정 자체가 불가능하게 되는 문제를 해결하는 것을 목적으로 한다.
또한, 반대로 불필요하게 너무 많은 타이포인트를 추출하지 않도록 하여 계산 시간이나 메모리등이 낭비되는 일을 방지하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명에 따른 촬영화상의 카메라 자세 추정 시스템은 타이포인트 추출부, 카메라 자세 정보 보정부 및 타이포인트 판단부를 포함하여 구성된다. 상기 타이포인트 추출부는 서로 다른 촬영화상으로부터 상호간에 대응되는 지점을 나타내는 타이포인트(tie point)들을 추출한다. 상기 카메라 자세 정보 보정부는 상기 추출된 타이포인트들을 기초로 상기 촬영화상의 카메라 자세 정보를 보정한다. 타이포인트 판단부는 상기 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 기준범위에 속하는지 판단한다. 상기 타이포인트 추출부는, 상기 사용된 타이포인트들의 개수가 상기 기준범위에 속하지 않는 경우, 타이포인트를 추가로 지정한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 적절한 수의 타이포인트들을 확보하지 못한 경우에 타이포인트들을 추가로 추출할 수 있어, 필요한 수의 타이포인트들을 확보할 수 있으며, 이로 인해 신뢰성 있는 카메라 자세 정보를 구할 수 있는 효과가 있다.
또, 반대로 처음부터 높은 정밀도 등의 이유로 타이포인트를 필요 이상으로 추출할 경우 발생할 수 있는 계산 시간 및 작업 부하 증가, 메모리 낭비 등의 문제점을 해소할 수 있다.
또, 일반적으로 카메라로 지면을 촬영하는 과정에서는 대기조건이나, 지면의 기복, 카메라의 기울기 등과 같은 외부요소들에 의해 어느 정도의 오류 및 왜곡이 촬영정보에 포함되는데, 이러한 오류 및 왜곡의 본격적인 처리를 하기 전에 촬영화상 자체가 가지는 왜곡을 보정하여 차후 카메라 자세 정보 보정의 정확도를 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 촬영화상의 카메라 자세 추정 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 서로 다른 촬영화상으로부터 타이포인트를 추출하는 과정을 도시한 도면이다.
도 3은 카메라 자세 정보를 보정하는 과정을 도시한 도면이다.
도 4는 도 3에 의해 두 촬영화상 각각에 지정된 타이포인트들이 정합된 상태를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 촬영화상의 카메라 자세 추정 방법의 개략적인 흐름을 도시한 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며, 설명의 편의와 이해를 위하여 실제와는 달리 과장된 수치가 제시되었을 수 있다.
<시스템에 대한 설명>
도 1은 본 발명의 일실시예에 따른 촬영화상의 카메라 자세 추정 시스템의 개략적인 구성을 도시한 도면이며, 도 2는 서로 다른 촬영화상으로부터 타이포인트를 추출하는 과정을 도시한 도면이다.
본 명세서에서, 타이포인트(tie point)는 지형지도 또는 3차원 지형 모델을 생성하는 기준이 되는 지점을 의미하며, 일반적으로 코너포인트(corner point) 같은 특징점(feature point)을 추출하는 방법 등을 사용할 수 있다.
도 1을 참조하면, 본 발명에 따른 촬영화상의 카메라 자세 추정 시스템(100)은 촬영정보 저장부(111), 왜곡 보정부(112), 타이포인트 추출부(113), 카메라 자세 정보 보정부(114), 타이포인트 판단부(115)를 포함하여 구성된다.
촬영정보 저장부(111)는 항공기와 같은 관측장치에 탑재된 카메라나 라이다 등의 장비들을 통해 찍은 촬영화상(항공사진)들과, 이와 동시에 취득된 각각의 촬영화상에 대한 카메라 위치 정보, 카메라 자세 정보 등의 외부 표정 요소(exterior orientation parameter)를 저장한다. 지도를 제작하기 위해서는 동일한 지역을 중첩하여 촬영한 서로 다른 촬영화상들을 융합해서 하나의 이미지로 만들어야 한다. 이런 경우, 촬영영상을 정확하게 배열 및 조립하기 위해서는 각 촬영정보의 왜곡현상을 바로잡아 적절한 좌표체계로 보정시킬 필요가 있다. 즉, 높은 신뢰도와 정확도를 가진 지도를 제작하기 위해서는 왜곡된 촬영정보를 보정해야 하며, 본 발명에서는 카메라 자세 정보의 왜곡현상을 바로 잡도록 한다.
왜곡 보정부(112)는 촬영화상들의 왜곡을 보정한다. 일반적으로 카메라로 지면을 촬영하는 과정에서는 대기조건이나, 지면의 기복, 카메라의 기울기 등과 같은 외부요소들에 의해 어느 정도의 오류 및 왜곡이 촬영정보에 포함된다. 이러한 오류 및 왜곡의 본격적인 처리를 하기 전에 왜곡 보정부(112)는 촬영화상 자체가 가지는 왜곡을 보정하여 차후 카메라 자세 정보 보정의 정확도를 높인다. 예를 들면, 촬영화상에서 대기에 의한 영향을 배제하여 복원하거나, 노이즈를 제거하거나 빛과 그림자에 의한 정보를 보정하는 등 전처리 과정을 거친다.
타이포인트 추출부(113)는 상기 서로 다른 촬영화상으로부터 타이포인트(tie point)들을 추출한다. 선택된 하나의 기준 촬영화상 내에서 추출된 코너포인트(corner point) 같은 특징점(feature point)에 대응되는 지점을 기준으로 설정되는 일정영역(상기 지점을 중심으로 하는 m ㅧ n 크기의 영역)의 정합이미지가 다른 촬영화상 내의 특정 위치에 정합되면, 상기 지점 및 상기 정합된 위치를 타이포인트로 추출한다. 즉, 도 2 에 도시된 바와 같이 하나의 촬영화상에서 코너포인트 등의 방법으로 추출된 특징점에 대응되는 지점1을 기준으로 일정영역의 정합이미지가 지정되면, 상기 정합이미지를 다른 촬영화상 상에서 스캐닝하여 상기 정합이미지와 정합되는 대응이미지를 찾고, 정합되는 지점1과 지점2를 타이포인트 추출하는 것이다. 이를 다른 촬영화상들에도 적용하여 각각에 대응되는 타이포인트를 추출한다. 이때 카메라 자세정보 등의 부가적인 정보를 이용하여 대응되는 타이포인트를 포함할 가능성이 있는 촬영화상 또는 촬영화상 내에서의 영역을 한정하여 스캐닝할 수 있다.
카메라 자세 정보 보정부(114)는 촬영화상들로부터 추출된 타이포인트들을 기초로 촬영화상의 카메라 자세 정보를 보정(추정)한다. 카메라 자세 정보 보정부(114)가 촬영화상마다의 카메라 자세 정보의 왜곡된 초기값을 보정하면, 신뢰성 있는 카메라 자세 정보를 구할 수 있고, 이를 기초로 연속된 촬영화상들을 정확하게 정합할 수 있다.
항공기의 이착륙 시 충격이나, 운항 중 와류나 엔진에 의한 항공기의 떨림 등의 영향으로 항공기에 장착되어 있는 카메라 등의 장착 위치와 자세는 수시로 변한다. 장착 위치의 변화는 수 mm에서 수백 mm 정도이므로 카메라의 위치정보에 주는 영향은 무시할 수 있는 정도이나, 장착 자세의 변화는 미세하더라도 영상에 주는 영향이 크다. 항공기는 지상에서 수 km에서 수십 km 상공에서 지상을 촬영하게 되므로, 카메라 자세의 미세한 차이는 촬영되는 화상에서는 커다란 차이를 발생시킨다. 즉, 고해상도의 3차원 공간정보를 고신뢰도로 제공하기 위해서는 촬영화상들 간의 정합이 정밀해야 하는데, 카메라의 지향점이 변하게 되어 부정확한 카메라 자세 정보를 취득하게 되므로, 연속된 촬영화상들 간의 정합이 정밀하게 이루어질 수 없는 문제점이 있다. 따라서 본 발명에서는 카메라 자세 정보가 신뢰성을 가지도록 보정하여 촬영화상들의 정합도를 극대화하는 것이다.
한편, 카메라 자세 정보 보정부(114)는 카메라 자세 정보의 정확한 보정을 위해서 각 타이포인트에 대한 관측치와 상기 타이포인트에 대응되는 대응 타이포인트와 촬영화상의 카메라 자세 정보를 이용하여 프로젝션하여 계산된 추정값(estimated)의 차이를 기초로 오차를 계산하고, 상기 오차가 정해진 범위 이내가 될 때까지 촬영화상의 카메라 자세 정보를 보정하는 작업을 반복 수행한다. 만약, 상기 계산된 오차가 정해진 범위를 초과하는 경우에는 해당 타이포인트를 제거한다. 상기 계산을 위해서는 공선조건식(collinearity equation)을 이용하는데, 공선조건식은 촬영화상과 연계된 각종 정보를 이용하여 촬영화상의 기하왜곡을 보정하기 위해 널리 사용되는 식이다. 본 발명에서는 카메라 자세 정보 보정에 의해 보정된 를 공선조건식에 대입하여 상기 두 포인트의 불일치 정도를 구한다.
도 3은 카메라 자세 정보를 보정하는 과정을 도시한 도면이고, 도 5는 도 4에 의해 두 촬영화상 각각에 지정된 타이포인트들이 정합된 상태를 도시한 도면이다.
예를 들어, 대응하는 타이포인트를 포함하고 있는 제1, 2 촬영화상이 있다. 제2 촬영화상의 타이포인트는 제1 촬영화상의 타이포인트에 대응하는 관측치로, 도 3과 같다. 만일 제1, 2 촬영화상의 카메라 자세 정보가 정확하다면, 각각의 카메라 초점에서 시작하여 서로 대응하는 2개의 타이포인트를 지나는 각각의 직선은 정확히 한 지점(지면점)에서 만나게 되겠지만, 상기 설명한 여러가지 원인으로 인해 실제로는 교차하지 않을 가능성이 크다. 이러한 경우 최소제곱법(least square fit) 등의 방법으로 근사한 교차점(cross point)를 산출하여 다시 제2 촬영화상으로 투영하는 방법으로 추정값(좌표값)을 계산할 수 있다. 상기 추정값이 관측치의 위치와 다른 경우, 이는 지상을 촬영하면서 외부요인에 따라 촬영화상 상에 왜곡이 발생하여 해당 카메라 자세 정보가 부정확하게 얻어졌다는 것을 의미한다.
따라서 중첩되는 두 촬영화상에서 한 촬영화상의 관측치(타이포인트)와 추정값을 기초로 오차를 계산하고, 오차범위를 초과하는 타이포인트를 제거하는 과정이 반복해서 수행되면, 부정확한 타이포인트들이 제거되어 상대적으로 신뢰할 수 있는 타이포인트들만 도 4와 같이 남게 된다. 그리고 이 과정에서 해당 카메라 자세 정보를 점진적으로 변화시키면서 보정하면, 정확한 카메라 자세 정보를 얻을 수 있다.
타이포인트 판단부(115)는 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 기준범위에 속하는지 판단한다. 상기 기준범위는 촬영화상 당 추출된 타이포인트들의 정확도와 타이포인트들의 개수를 기준으로 범위가 설정된다. 타이포인트 판단부(115)의 판단 결과 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 상기 기준범위에 속하는 경우, 현재까지 보정되어 신뢰도 및 정확도가 극대화된 카메라 자세 정보가 최종 정보로 확정된다. 반대로 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 상기 기준범위에 속하지 않는 경우, 타이포인트 추출부는 타이포인트를 추가로 추출한다.
촬영화상별 최소로 필요한 타이포인트의 수를 충족시키지 못하면 충족되지 않는 해당 촬영화상의 카메라 자세정보가 제대로 보정되지 않을 가능성이 높으며, 본 발명에서 이를 방지하기 위해서 타이포인트 추출부로 하여금 추가 타이포인트를 추출하게 한다. 즉, 적절한 개수의 타이포인트들을 확보하지 못한 경우, 특징점 추출에 사용된 임계값(threshold)을 조절하는 등의 방법으로 추가 특징점을 추출하고 이를 바탕으로 추가 타이포인트들을 확보한다.
촬영화상의 일부 영역에만 특징점이 집중 분포되어 있는 경우에도 정합시 정밀해지지 않는 문제점이 있다. 이러한 경우에는 특징점의 분포가 드문 지역에 한정하여 타이포인트들을 추가 확보할 수 있으며, 이로 인해 신뢰성 있는 카메라 자세 정보를 구할 수 있는 효과가 있다.
<방법에 대한 설명>
본 발명의 촬영화상의 카메라 자세 추정 방법에 대해서 도 5에 도시된 흐름도를 참조하여 설명하되, 편의상 순서를 붙여 설명한다.
1. 촬영정보 저장단계<S501>
항공기와 같은 관측장치에 탑재된 카메라나 라이다 등의 장비들을 통해 찍은 촬영화상(항공사진)들과 촬영 시 취득된 각각의 촬영화상에 대한 카메라 자세 정보를 저장한다. 카메라 자세 정보를 획득하기 위해서는 통상의 장비가 사용될 수 있으므로, 그 구성에 대한 구체적인 설명은 생략한다.
2. 촬영화상의 왜곡 보정단계<S502>
상기 단계 S501에서 촬영된 촬영화상들의 왜곡을 보정한다. 카메라로 지면을 촬영하는 과정에서는 대개 대기조건이나, 지면의 기복, 카메라의 기울기 등 외부요소들에 의해 어느 정도의 오류 및 왜곡이 촬영정보에 포함된다. 상기 단계 S502는 최적의 화질을 가진 촬영화상을 제공하여 차후 카메라 자세 정보 보정의 정밀도를 향상시킬 수 있도록, 촬영화상에 나타난 역광 등에 따른 오류 및 왜곡을 보정하는 전처리 과정이다.
3. 타이포인트 추출단계<S503>
서로 다른 촬영화상으로부터 타이포인트(tie point)들을 추출하는 단계로, 도 2와 같이 하나의 촬영화상 내에서 타이포인트에 대응되는 지점을 기준으로 설정되는 일정영역의 정합이미지가 다른 촬영화상 내의 특정 위치에서 정합되면, 상기 지점 및 상기 정합된 위치를 타이포인트로 추출한다. 즉, 도 2에 도시된 바와 같이 제1 촬영화상은 코너포인트(corner point) 같은 특징점에 대응하는 지점1을 포함하고, 지점1이 포함된 일정영역의 정합이미지 스캔을 통해 제2 촬영화상 내 지점2를 찾으면, 두 지점을 타이포인트로 추출한다.
4. 카메라 자세 정보 보정단계<S504>
상기 단계 S503에 의해 추출된 타이포인트들을 기초로 촬영화상의 카메라 자세 정보를 보정한다.
이를 위해, 먼저 각 타이포인트에 대한 관측치와, 상기 타이포인트와 해당 촬영화상의 촬영정보를 이용하여 측정한 추정값의 차이를 기초로 오차를 계산한다(S504a). 그리고 상기 단계 S504a에서 계산된 오차가 정해진 범위를 초과하는지 판단하여(S504b), 상기 범위를 초과하는 경우, 해당 타이포인트를 제거한다(S504c). 오차를 계산하기 위해서는 카메라 자세 정보 보정에 의해 보정된 타이포인트와 해당 촬영화상의 촬영정보를 공선조건식에 대입하여 상기 두 포인트의 불일치 정도를 구한다. 이런 방식으로 오차가 정해진 범위 이내가 될 때까지 촬영화상의 카메라 자세 정보를 보정하는 작업을 반복 수행한다.
일반적으로 항공기의 이착륙 시 충격이나, 운항 중 와류나 엔진에 의한 항공기의 떨림 등의 영향으로 항공기에 장착되어 있는 카메라 등의 장착 위치와 자세는 수시로 변한다. 장착 위치의 변화는 수 mm에서 수백 mm 정도이므로 카메라의 위치정보에 주는 영향은 무시할 수 있는 정도이다. 하지만, 항공기는 지상에서 수 km에서 수십 km 상공에서 지상을 촬영하게 되므로, 카메라 자세의 미세한 차이는 촬영되는 화상에서는 커다란 차이를 발생시킨다. 즉, 카메라의 지향점이 변하게 되어 부정확한 카메라 자세 정보를 취득하게 되므로, 연속된 촬영화상들 간의 정합이 정밀하게 이루어질 수 없는 문제점이 있다. 따라서 본 발명에서는 카메라 자세 정보가 신뢰성을 가지도록 보정하여 촬영화상들의 정합도를 극대화하는 것이다.
예를 들어, 제2 촬영화상 내 타이포인트(지점2)에 대한 관측치와, 상기 타이포인트(지점2)와 이와 대응하는 제1 촬영화상 내 타이포인트(지점1) 및 각 촬영화상의 촬영정보를 이용하여 산출된 교차점으로부터 투영하여 얻어진 추정값이 도 3과 같다면, 이는 촬영화상의 해당 카메라 자세 정보가 부정확하게 얻어졌다는 것을 의미한다. 촬영화상의 해당 카메라 자세 정보가 정확하다면 관측치와 추정값 간의 위치가 정확히 일치할 것이나, 이상적일 수 없으므로, 도 3에서 보는 바와 같이 추정값이 관측치의 위치를 벗어나 있게 된다. 따라서 중첩되는 두 촬영화상에서 한 촬영화상의 관측치(타이포이트)와 추정값을 기초로 오차를 계산하고, 오차범위를 초과하는 타이포인트를 제거하는 과정이 반복해서 수행되면, 부정확한 타이포인트들이 제거되어 상대적으로 신뢰할 수 있는 타이포인트들만 남게 된다. 그리고 이 과정에서 해당 카메라 자세 정보를 점진적으로 변화시키면서 보정하면, 정확한 카메라 자세 정보를 얻을 수 있다.
5. 보정에 사용된 타이포인트들의 개수가 기준범위를 벗어나는지 여부 판단단계<S505>
상기 단계 S504 에서 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 기준범위에 속하는지 판단한다. 상기 기준범위는 촬영화상 당 추출된 타이포인트들의 정확도와 타이포인트들의 개수를 기준으로 범위가 설정된다. 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 상기 기준범위에 속하는 경우, 보정되어 신뢰도 및 정확도가 극대화된 카메라 자세 정보는 확정된다. 그리고 속하지 않는 경우, 하기의 타이포인트 추가 단계(S506)로 진행된다.
6. 타이포인트 추가 추출 단계<S506>
상기 단계 S504 에서 사용된 타이포인트들의 개수가 기준범위에 속하지 않는 경우, 타이포인트 추출부로 하여금 해당 촬영 화상을 기준으로 하는 추가 타이포인트를 추출하게 한다. 즉, 적절한 개수의 타이포인트들을 확보하지 못한 경우, 특징점 추출에 사용된 임계값(threshold)을 조절하는 등의 방법으로 추가 특징점을 추출하고 이를 바탕으로 추가 타이포인트들을 확보한다.
촬영화상의 일부 영역에만 특징점이 집중 분포되어 있는 경우에도 정합시 정밀해지지 않는 문제점이 있다. 이러한 경우에는 특징점의 분포가 드문 지역에 한정하여 타이포인트들을 추가 확보할 수 있으며, 이로 인해 신뢰성 있는 카메라 자세 정보를 구할 수 있는 효과가 있다.
본 발명에 따른 촬영화상의 카메라 자세 추정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 촬영화상의 카메라 자세 추정 시스템
111: 촬영정보 저장부 112: 왜곡 보정부
113: 시드포인트 지정부 114: 시드포인트 분산부
115: 타이포인트 추출부 116: 타이포인트 병합부
117: 카메라 자세 정보 보정부 118: 타이포인트 판단부

Claims (11)

  1. 서로 다른 촬영화상으로부터 타이포인트(tie point)들을 추출하는 타이포인트 추출부;
    상기 추출된 타이포인트들을 기초로 상기 촬영화상의 카메라 자세 정보를 보정하는 카메라 자세 정보 보정부; 및
    상기 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 기준범위에 속하는지 판단하는 타이포인트 판단부; 를 포함하고,
    상기 타이포인트 추출부는 상기 타이포인트 판단부의 판단 결과, 상기 사용된 타이포인트들의 개수가 상기 기준범위에 속하지 않는 경우, 타이포인트를 추가로 추출하는
    촬영화상의 카메라 자세 추정 시스템.
  2. 제1항에 있어서,
    상기 타이포인트 판단부는 각각의 촬영화상에 대하여 상기 추출된 타이포인트들의 개수 또는 분포 등의 지표가 상기 기준범위에 속하는지 여부를 판단하고,
    상기 타이포인트 추출부는 각각의 촬영 영상별로 사용된 상기 타이포인트들의 개수 또는 분포 등의 지표가 상기 기준범위에 속하지 않는 촬영영상 전체 또는 일부 영역을 기준으로 추가 타이포인트를 추출하는
    촬영화상의 카메라 자세 추정 시스템.
  3. 제1항에 있어서,
    상기 카메라 자세 정보 보정부는,
    상기 각 타이포인트에 대한 관측치와 상기 타이포인트에 대응되는 대응 타이포인트와 촬영화상의 카메라 자세 정보를 이용하여 프로젝션하여 계산된 추정값의 차이를 기초로 오차를 계산하고,
    상기 오차가 정해진 범위 이내가 될 때까지 상기 촬영화상의 카메라 자세 정보를 보정하는 작업을 반복 수행하는
    촬영화상의 카메라 자세 추정 시스템.
  4. 제3항에 있어서,
    상기 카메라 자세 정보 보정부는,
    상기 계산된 오차가 정해진 범위를 초과하는 경우, 상기 타이포인트를 제거하는
    촬영화상의 카메라 자세 추정 시스템.
  5. 제1항에 있어서,
    상기 촬영화상의 왜곡을 보정하는 왜곡 보정부; 를 더 포함하는
    촬영화상의 카메라 자세 추정 시스템.
  6. 서로 다른 촬영화상으로부터 타이포인트(tie point)들을 추출하는 단계;
    상기 추출된 타이포인트들을 기초로 상기 촬영화상의 카메라 자세 정보를 보정하는 단계;
    상기 카메라 자세 정보의 보정에 사용된 타이포인트들의 개수가 기준범위에 속하는지 판단하는 단계; 및
    상기 사용된 타이포인트들의 개수 또는 분포 등의 지표가 상기 기준범위에 속하지 않는 경우, 타이포인트를 추가로 추출하는 단계; 를 포함하는
    촬영화상의 카메라 자세 추정 방법.
  7. 제6항에 있어서,
    상기 사용된 타이포인트들의 개수 또는 분포 등의 지표가 상기 기준범위에 속하는지 판단하는 단계는,
    상기 촬영화상 각각에 대하여 상기 사용된 타이포인트들의 개수 또는 분포 등의 지표가 상기 기준범위에 속하는지 여부를 판단하고,
    상기 타이포인트를 추가로 추출하는 단계는,
    상기 촬영화상들 중 상기 사용된 타이포인트들의 개수 또는 분포 등의 지표가 상기 기준범위에 속하지 않는 촬영화상 및 해당 영역을 식별하는 단계; 및
    상기 식별된 촬영화상 및 해당 영역에 대하여 상기 타이포인트를 추가로 추출하는 단계; 를 포함하는
    촬영화상의 카메라 자세 추정 방법.
  8. 제6항에 있어서,
    상기 카메라 자세 정보를 보정하는 단계에서는,
    상기 각 타이포인트에 대한 관측치와 관측치와 상기 타이포인트에 대응되는 대응 타이포인트와 촬영화상의 카메라 자세 정보를 이용하여 프로젝션하여 계산된 추정값의 차이를 기초로 오차를 계산하고,
    상기 오차가 정해진 범위 이내가 될 때까지 상기 촬영화상의 카메라 자세 정보를 보정하는 작업을 반복 수행하는
    촬영화상의 카메라 자세 추정 방법.
  9. 제8항에 있어서,
    상기 카메라 자세 정보를 보정하는 단계에서는,
    상기 계산된 오차가 정해진 범위를 초과하는 경우, 상기 타이포인트를 제거하는
    촬영화상의 카메라 자세 추정 방법.
  10. 제8항에 있어서,
    상기 촬영화상의 왜곡을 보정하는 단계; 를 더 포함하는
    촬영화상의 카메라 자세 추정 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
KR1020110030390A 2011-04-01 2011-04-01 촬영화상의 카메라 자세 추정 시스템 및 방법 KR101755687B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110030390A KR101755687B1 (ko) 2011-04-01 2011-04-01 촬영화상의 카메라 자세 추정 시스템 및 방법
PCT/KR2012/002415 WO2012134237A2 (ko) 2011-04-01 2012-03-30 촬영화상의 카메라 자세 추정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110030390A KR101755687B1 (ko) 2011-04-01 2011-04-01 촬영화상의 카메라 자세 추정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120111805A true KR20120111805A (ko) 2012-10-11
KR101755687B1 KR101755687B1 (ko) 2017-07-07

Family

ID=46932179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110030390A KR101755687B1 (ko) 2011-04-01 2011-04-01 촬영화상의 카메라 자세 추정 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101755687B1 (ko)
WO (1) WO2012134237A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101967284B1 (ko) * 2017-11-21 2019-08-13 (주)쓰리디랩스 다중 영상 정렬 장치 및 방법
KR20190127838A (ko) * 2017-07-07 2019-11-13 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체
KR102288194B1 (ko) * 2021-03-05 2021-08-10 주식회사 맥스트 카메라 포즈 필터링 방법 및 이를 수행하기 위한 컴퓨팅 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102075686B1 (ko) 2018-06-11 2020-02-11 세메스 주식회사 카메라 자세 추정 방법 및 기판 처리 장치
CN111862203B (zh) * 2019-04-30 2024-05-17 高新兴科技集团股份有限公司 基于3d地图的球机位置与姿态参数校准方法、存储介质
US11024054B2 (en) 2019-05-16 2021-06-01 Here Global B.V. Method, apparatus, and system for estimating the quality of camera pose data using ground control points of known quality
CN112361959B (zh) * 2020-11-06 2022-02-22 西安新拓三维光测科技有限公司 用于直升机桨叶运动姿态测量的编码点坐标校正方法、系统及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090269A (ja) * 1998-09-09 2000-03-31 Nippon Telegr & Teleph Corp <Ntt> カメラ姿勢推定方法およびその処理手順を記録した記録媒体ならびにカメラ姿勢推定装置
JP2004020398A (ja) * 2002-06-18 2004-01-22 Nippon Telegr & Teleph Corp <Ntt> 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
JP5134784B2 (ja) * 2006-05-30 2013-01-30 株式会社パスコ 空中写真測量方法
JP2008224641A (ja) * 2007-03-12 2008-09-25 Masahiro Tomono カメラ姿勢推定システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190127838A (ko) * 2017-07-07 2019-11-13 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체
KR101967284B1 (ko) * 2017-11-21 2019-08-13 (주)쓰리디랩스 다중 영상 정렬 장치 및 방법
KR102288194B1 (ko) * 2021-03-05 2021-08-10 주식회사 맥스트 카메라 포즈 필터링 방법 및 이를 수행하기 위한 컴퓨팅 장치

Also Published As

Publication number Publication date
KR101755687B1 (ko) 2017-07-07
WO2012134237A3 (ko) 2013-01-03
WO2012134237A2 (ko) 2012-10-04

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
US10634500B2 (en) Aircraft and obstacle avoidance method and system thereof
KR20120111805A (ko) 촬영화상의 카메라 자세 추정 시스템 및 방법
CN106873619B (zh) 一种无人机飞行路径的处理方法
KR102077498B1 (ko) 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
JP6440539B2 (ja) 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法
JP5134784B2 (ja) 空中写真測量方法
CN102322859B (zh) 一种航空惯性导航测量系统及姿态校正方法
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
US11270467B2 (en) System and method for camera calibration
CN110675450A (zh) 基于slam技术的正射影像实时生成方法及系统
JP6877293B2 (ja) 位置情報記録方法および装置
US20210131804A1 (en) Placement table for unmanned aerial vehicle, surveying method, surveying device, surveying system and program
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
CN105606123A (zh) 一种低空航空摄影测量自动纠正数字地面高程模型的方法
JP3808833B2 (ja) 空中写真測量方法
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
Stow et al. Evaluation of geometric elements of repeat station imaging and registration
CN113689485B (zh) 无人机深度信息的确定方法、装置、无人机及存储介质
CN115359115A (zh) 一种动态环境下基于多传感器的同时定位与建图方法
KR102426282B1 (ko) 도로선형 기반의 3차원 공간객체 위치보정 방법
Chabok Eliminating and modelling non-metric camera sensor distortions Caused by sidewise and forward motion of the UAV
KR102494973B1 (ko) 유도 비행체의 탄착 정보 계측 방법 및 그를 위한 장치
KR102664900B1 (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
CN115265490B (zh) 基于三维数字孪生摄像技术的数据采集方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant