KR102211769B1 - 멀티 카메라 촬영 영상의 기하보정 방법 및 장치 - Google Patents

멀티 카메라 촬영 영상의 기하보정 방법 및 장치 Download PDF

Info

Publication number
KR102211769B1
KR102211769B1 KR1020170167846A KR20170167846A KR102211769B1 KR 102211769 B1 KR102211769 B1 KR 102211769B1 KR 1020170167846 A KR1020170167846 A KR 1020170167846A KR 20170167846 A KR20170167846 A KR 20170167846A KR 102211769 B1 KR102211769 B1 KR 102211769B1
Authority
KR
South Korea
Prior art keywords
image
camera
geometric
cameras
geometric relationship
Prior art date
Application number
KR1020170167846A
Other languages
English (en)
Other versions
KR20190067671A (ko
Inventor
추창우
강경규
김혜선
박창준
반윤지
유동완
유정재
이만희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170167846A priority Critical patent/KR102211769B1/ko
Priority to US16/209,577 priority patent/US20190180422A1/en
Publication of KR20190067671A publication Critical patent/KR20190067671A/ko
Application granted granted Critical
Publication of KR102211769B1 publication Critical patent/KR102211769B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 멀티 카메라를 통해 촬영한 영상의 기하보정 방법 및 영상 획득 장치에 관한 것으로, 특히, 상대적 기하관계가 고정된 멀티 카메라와 움직임이 자유로운 카메라를 함께 사용한 영상 촬영 장비를 통해 촬영한 영상들의 기하보정 방법 및 영상 획득 장치에 관한 것이다.
본 발명의 멀티 카메라 영상의 기하보정 방법은, 카메라로부터 촬영된 영상들을 수신하는, 영상 입력 단계, 상기 입력된 영상들의 특징점을 추출하고, 추출된 특징점 간의 상호 관련성을 확인하는, 영상 특징점 추출 단계, 상기 특징점간 상호 관련성을 이용하여 각 영상이 획득된 카메라의 위치와 방향을 추정하는, 위치 및 방향 추정 단계, 상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상으로 판단되는 경우, 상기 추정된 카메라의 위치 및 방향으로부터 멀티 카메라간 상대적 기하관계를 계산하는 단계, 및 상기 계산된 기하관계를 이용하여 각 영상의 기하보정을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 효율적인 기하보정 방법을 통해, 촬영 시간이 짧은 무인기를 이용한 영상 획득이 보다 용이하게 한다.

Description

멀티 카메라 촬영 영상의 기하보정 방법 및 장치 {Method and Apparatus for correcting geometric correction of images captured by multi cameras}
본 발명은 멀티 카메라(multi cameras)를 통해 촬영한 영상의 기하보정(geometric correction) 방법 및 영상 획득 장치에 관한 것이다. 특히, 상대적 기하관계가 고정된 멀티 카메라와 움직임이 자유로운 카메라를 함께 사용한 영상 촬영 장비를 통해 촬영한 영상들의 기하보정 방법 및 영상 획득 장치에 관한 것이다.
최근, 소형 무인 비행체 기술의 발달로 인해 드론(또는 무인기 또는 무인 비행체 또는 무인 비행기, 이하 '무인기'로 명함)에 대한 관심이 높아지고 있다. 무인기는 개인적인 영상 촬영 뿐만 아니라, 방송, 영화 영상 취득에도 많이 사용되고 있다. 또한, 드론은 3차원 매핑(3D mapping) 혹은 3차원 복원 분야에서는 고가의 항공영상 취득 장비를 대체하는 영상 촬영 장치로 떠오르고 있으며, 최근 가상현실(Virtual Reality) 분야에서는 항공 파노라마 영상 촬영 장비로도 사용되고 있다.
한편, 3차원 영상 획득 및 복원을 위해서는 복원할 대상을 여러 방향에서 촬영하기 위해, 여러 대의 카메라를 장착할 수 있는 리그(rig)를 제작하여 무인기에 설치할 수 있다. 또한, 무인기 시스템에 의한 영상 촬영은 무인기가 비행중에 이루어지기 때문에, 여러 개의 카메라가 고정된 리그에 장착되어 있어야 할 뿐만 아니라, 서로 동일한 시간에 촬영할 수 있어야 카메라간의 상호관계가 고정되었다고 판단할 수 있다. 예를 들어, 동일한 리그에 장착되어 있는 카메라일지라도 동기(sync)가 맞지 않으면, 비행 중에 촬영한 영상은 움직임이 자유로운 카메라로 촬영한 영상으로 분류될 수 있다.
한편, 항공기나 인공 위성 등 원격 탐사에 의해 취득된 영상에서 발생하는 기하학적인 왜곡을 보정하기 위해서 기하보정(geometric correction)을 적용한 영상 처리 과정이 수반된다. 즉, 영상 촬영 장치가 촬영하는 영상에 나타나는 지표면의 물체는 지도에 표시되는 위치와 정확하게 일치하지 않기 때문에, 촬영 당시 촬영 장치의 자세, 지구의 곡률, 지구의 자전, 관측 기기의 오차로 발생한다. 이러한 오차는 왜곡의 원인을 규명하여 역으로 투영하거나, 지상 기준점과 그 지상 기준점에 대응하는 영상의 위치를 상호 연관시켜 관계식을 구성함으로써 보정이 가능하게 되는 바, 이를 기하 보정이라 명한다.
하지만, 종래 멀티 카메라를 장착한 무인기는, 멀티 카메라간의 상호 기하관계를 물리적 방법으로만 설정함에 따라, 상기 기하보정시에도 많은 계산량이 소요되는 단점이 있었다. 따라서, 많은 연산량에 따른 배터리 효율의 저하로 촬영시간에 단축을 초래하고, 이는 전체적인 무인기 및 무인기 시스템의 성능을 저하시키는 원인이 되었다.
따라서, 본 발명의 목적은, 전술한 종래 기술의 문제점을 해결하기 위해, 멀티 카메라를 활용한 무인기 시스템에서 효율적인 기하보정 방법 및 장치를 제공하는 데 있다.
또한, 본 발명의 다른 목적은, 멀티 카메라의 촬영된 영상을 통해, 멀티 카메라간의 상대적 상호 기하관계를 계산 및 추정함으로서, 기하보정의 계산량을 현저히 감소시킨 새로운 기하보정 방법을 제공하는 데 있다.
또한, 본 발명의 다른 목적은, 무인기로부터 촬영된 영상을 입력받아, 멀티 카메라간의 상대적 상호 기하관계를 계산 및 추정함으로서, 효율적인 기하보정을 포함하는 영상 획득 장치를 제공하는 데 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한, 본 발명의 멀티 카메라 영상의 기하보정 방법은, 카메라로부터 촬영된 영상들을 수신하는, 영상 입력 단계, 상기 입력된 영상들의 특징점을 추출하고, 추출된 특징점 간의 상호 관련성을 확인하는, 영상 특징점 추출 단계, 상기 특징점간 상호 관련성을 이용하여 각 영상이 획득된 카메라의 위치와 방향을 추정하는, 위치 및 방향 추정 단계, 상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상으로 판단되는 경우, 상기 추정된 카메라의 위치 및 방향으로부터 멀티 카메라간 상대적 기하관계를 계산하는 단계, 및 상기 계산된 기하관계를 이용하여 각 영상의 기하보정을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라가 아닌 움직임이 자유로운 카메라로부터 획득된 영상이라고 판단되는 경우, 상기 추정된 카메라의 위치 및 방향을 적용하여 각 영상의 기하보정을 수행하는 단계를 더 포함한다.
또한, 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상을 기하보정하는 단계 및 상호 기하관계가 고정된 멀티 카메라가 아닌 움직임이 자유로운 카메라로부터 획득된 영상을 기하보정하는 단계를, 동시에 처리하는 것을 특징으로 한다.
또한, 상기 특징점간 상호 관련성을 이용하여 기하보정 초기화를 수행하는 기하보정 초기화 단계를 더 포함한다.
또한, 상기 기하보정 초기화 단계는, 초기 프레임 영상들로부터 영상간 필수 메트릭스(essential matrix)를 분해하여 상대적인 자세 및 위치값을 획득하는 것을 특징으로 한다.
또한, 상기 영상 입력 단계는, 근거리 무선통신 수단, 유무선 데이터 통신수단 또는 각 카메라로부터 직접 복사 중 어느 한 방법으로 촬영된 영상을 수신하는 것을 특징으로 한다
또한, 상기 영상 입력 단계는, 입력 영상의 메타정보(meta information)를 이용하여 상호 기하관계가 고정된 카메라에서 촬영된 영상을 분류하는 단계를 포함한다.
또한, 상기 영상 입력 단계는, 상기 상호 기하관계가 고정된 카메라에서 촬영된 영상으로 분류된 경우, 멀티 카메라중 어느 한 카메라로 획득한 영상을, 각 촬영시간별 참조 영상으로 결정하고, 나머지 다른 카메라에서 촬영한 영상을 참조 영상과 동일 시점에 촬영된 비교 영상으로 결정하는 단계를 더 포함한다.
또한, 상기 기하보정을 동시에 수행하는 단계는, 카메라간 상호 기하관계 및 카메라군, 움직임이 자유로운 카메라의 위치, 방향 동시 최적화를 수행하는 것을 특징으로 한다.
또한, 상기 카메라간 상호 기하관계 계산 단계는, 획득된 영상으로부터 영상 촬영시점의 카메라간 상호 기하관계를 추정하는 것을 특징으로 한다.
본 발명에 따른, 멀티 카메라 영상의 기하보정을 포함하는 영상 획득 장치는, 카메라로부터 촬영된 영상들을 수신하는 영상 입력부, 상기 입력된 영상들의 특징점을 추출하고, 추출된 특징점 간의 상호 관련성을 확인하는 영상 특징점 추출부, 상기 특징점간 상호 관련성을 이용하여 각 영상이 획득된 카메라의 위치와 방향을 추정하고, 상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상으로 판단되는 경우, 상기 추정된 카메라의 위치 및 방향으로부터 멀티 카메라간 상대적 기하관계를 계산하는 기하관계 판단부, 및 상기 계산된 기하관계를 이용하여 각 영상의 기하보정을 수행하는 기하보정 처리부를 포함한다.
또한, 기하보정될 영상 또는 기하보정된 영상을 시각적으로 보여주는 디스플레이부를 더 포함한다.
또한, 카메라 또는 외부 기기와 통신을 수행하는 통신부를 더 포함한다.
또한, 상기 기하보정 처리부는, 상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라가 아닌 움직임이 자유로운 카메라로부터 획득된 영상이라고 판단되는 경우, 상기 추정된 카메라의 위치 및 방향을 적용하여 각 영상의 기하보정을 수행하는 것을 특징으로 한다.
또한, 상기 기하보정 처리부는, 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상을 기하보정하는 과정 및 상호 기하관계가 고정된 멀티 카메라가 아닌 움직임이 자유로운 카메라로부터 획득된 영상을 기하보정하는 과정을, 동시에 처리하는 것을 특징으로 한다.
또한, 상기 영상 특징점 추출부는, 상기 특징점간 상호 관련성을 이용하여 기하보정 초기화를 수행하는 과정을 더 포함한다.
또한, 상기 영상 입력부는 입력 영상의 메타정보(meta information)를 이용하여 상호 기하관계가 고정된 카메라에서 촬영된 영상을 분류하는 과정을 포함한다.
또한, 상기 영상 입력부는, 상기 상호 기하관계가 고정된 카메라에서 촬영된 영상으로 분류된 경우, 멀티 카메라중 어느 한 카메라로 획득한 영상을, 각 촬영시간별 참조 영상으로 결정하고, 나머지 다른 카메라에서 촬영한 영상을 참조 영상과 동일 시점에 촬영된 비교 영상으로 결정하는 것을 특징으로 한다.
또한, 상기 기하보정 처리부는, 상기 기하보정을 동시에 수행함에 있어서, 카메라간 상호 기하관계 및 카메라군, 움직임이 자유로운 카메라의 위치, 방향 동시 최적화를 수행하는 것을 특징으로 한다.
또한, 상기 기하관계 판단부는, 획득된 영상으로부터 영상 촬영시점의 카메라간 상호 기하관계를 추정하는 것을 특징으로 한다.
본 발명의 실시예에 따르면 다음과 같은 효과가 있다.
첫째, 효율적인 기하보정 방법을 통해, 촬영 시간이 짧은 무인기를 이용한 영상 획득을 보다 용이하게 한다.
둘째, 예를 들어 3차원 영상 촬영 및 복원을 위해, 상호 기하관계가 고정된 멀티카메라 움직임이 자유로운 독립적인 카메라로 촬영한 영상을 모두 사용할 수 있게 되어, 무인기 시스템의 활용도를 높일 수 있게 된다.
세째, 예를 들어 3차원 영상 촬영 및 복원을 위한 무인기 시스템에서, 카메라간 촬영 동기화에 대한 제한을 완화하여 주는 효과도 발생한다.
도 1은 본 발명에 적용되는 멀티 카메라를 장착한 무인기 리그(rig)를 예를 들어 도시한 것이다.
도 2는 본 발명에 적용되는 멀티 카메라가 장착된 무인기에 인가되는 트리거(trigger) 신호를 예를 들어 도시한 것이다.
도 3은 본 발명에 적용되는 멀티 카메라 무인기 시스템를 예를 들어 도시한 것이다.
도 4는 본 발명에 따른 기하보정을 포함하는 영상 획득 장치를 예를 들어 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 기하보정 방법을 흐름도로 도시한 것이다.
도 6은 본 발명의 다른 실시예에 따른 기하보정 방법을 흐름도로 도시한 것이다.
도 7은 본 발명의 또 다른 실시예에 따른 기하보정 방법을 흐름도로 도시한 것이다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.
본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예들에 대해서 설명한다.
도 1은 본 발명에 적용되는 멀티 카메라를 장착한 무인기 리그(100, rig)를 예를 들어 도시한 것이고, 도 2는 본 발명에 적용되는 멀티 카메라가 장착된 무인기에 인가되는 트리거(trigger) 신호를 예를 들어 도시한 것이다.
무인기에 멀티 카메라를 장착하기 위해서는 종래 일반적으로 리그(rig)를 활용하였다. 도 1을 참조하면, 하나의 리그(100)에 복수의 멀티 카매라(300~700)를 장착한다. 또한, 리그(100)에는 각 카메라를 리그 본체에 장착함은 물론 카메라의 위치 및 자세 방향을 조정할 수 있는 조립부(200)를 더 구비한다. 상기 리그(100)는 무인기에 장착될 때 수평 유지를 위해 짐벌(gimbal)을 이용할 수 있다. 또한, 도 1에서는, 5개의 멀티 카메라(300~700)를 장착하는 것을 예를 들어 도시하였으나, 카메라의 갯수는 시스템에 따라 다양하게 제작할 수 있다.
관련하여, 상기 리그(100)에 장착된 멀티 카메라(300~700)는, 상호 기하관계가 고정된 카메라 및 움직임이 자유로운 독립적 카메라로 구분할 수 있다.
즉, 도 2와 같이, 각 카메라(300~700)에 인가되는 트리거(trigger) 신호로부터, 카메라 300~600은 동일 트리거 신호(800)가 인가 된다면, 상호 상대적 기하관계가 고정된 카메라(300,400,500,600)로 간주될 수 있다. 반면, 카메라 700과 같이 트리거 신호가 다른 카메라들(300~600)과는 상이하게 인가된다면, 움직임이 자유로운 카메라(700)로 간주될 수 있다. 관련하여, 도 1은 예를 들어 상호 기하관계가 고정된 카메라들(300~600)을 4개, 움직임이 자유로운 카메라(700)를 1개로 각각 도시하였으나, 카메라 갯수 및 위치는 도시된 것에 한정되지 않는다.
또한, 도 1은 예를 들어 상호 기하관계가 고정된 카메라(300~600) 및 움직임이 자유로운 카메라(700) 모두가 동일한 리그(100)에 장착된 경우를 도시하였으나, 상호 기하관계가 고정된 카메라(300~600)만을 동일 리그(100)에 장착하고, 움직임이 자유로운 카메라(700)는 별도 위치, 예를 들어, 다른 무인기 리그 또는 지상 공간에 구비하는 것도 가능하다.
도 3은 본 발명에 적용되는 멀티 카메라 무인기 시스템를 예를 들어 도시한 것이다. 도 3을 참조하면, 지상의 건물(1000)을 3차원 영상으로 복원하기 위해, 복수의 멀티 카메라(300~700)를 도시한 것이다. 예를 들어, 무인기(900)에 장착된 리그(100)에는 상호 기하관계가 고정된 카메라(300~600)를 구비할 수 있다. 또한, 건물(1000) 주변 지상에는 이동 경로(701)를 따라 움직이는 독립적인 카메리(700)를 구비할 수 있다. 단, 상기 이동 경로(701)는 임의 설정된 경로로서, 설정된 경로 없이 이동이 완전 자유로운 카메라(700)를 구비하는 것도 가능하다.
또한, 무인기(900)에 장착된 리그(100)에, 도 1과 같이 구성된 상호 기하관계가 고정된 카메라 및 움직임이 자유로운 카메라를 모두 구비하고, 지상에 추가적으로 움직임이 자유로운 카메라를 더 구비하는 것도 가능하다.
또한, 상기와 같은 멀티 카메라 구조를 복수개 포함하는 구조도 가능하다. 예를 들어, 제1 멀티 카메라 구조는 무인기에 상호 기하관계가 고정된 카메라 및 움직임이 자유로운 카메라를 모두 포함하는 구조로 구성하고, 제 2 카메라 구조는, 또 다른 무인기에 상호 기하관계가 고정된 카메라만 구비하고, 제3 카메라 구조는 지상에 움직임이 자유로운 카메라를 포함하는 구조로 복합적인 멀티 카메라 구조를 구성하는 것도 가능하다.
따라서, 상기 예와 같이, 상호 기하관계가 고정된 카메라 및 움직임이 자유로운 카메라를 구성하는 다양한 조합이 가능하다. 한편, 이와 같은 시스템에서 촬영된 영상을 구분하여, 기하보정을 수행시는 카메라간의 상호 기하관계를 미리 확인함에 의해 더욱 효율적인 기하보정이 가능하게 된다.
도 4는 본 발명에 따른 기하보정을 포함하는 영상 획득 장치를 예를 들어 도시한 것이다. 도 4의 영상 획득 장치(10)는, 상기 멀티 카메라(300~700)가 장착된 무인기(900)와는 분리된 별도의 영상 획득 장치(10)를 예를 들어 도시한 것이다. 단, 본 발명의 개념은 이에 한정되지 않으며, 상기 무인기(900)내에 도 4의 영상 획득 장치(10)를 구비할 수 있음은 물론이다.
도 4를 참조하면, 본 발명의 영상 획득 장치(10)는, 영상 입력부(11), 영상 특징점 추출부(12), 기하관계 판단부(13) 및 기하보정 처리부(14)를 포함한다. 또한, 본 발명의 영상 촬영 장치(10)는 기하보정될 영상 또는 기하보정된 영상을 시시각적으로 보여주는 디스플레이부(15), 사용자 명령을 입력받는 사용자 인터페이스(16), 영상을 저장하는 메모리(17) 및 카메라 또는 외부 기기와 통신을 수행하는 통신부(18)를 더 포함한다. 상기 영상 입력부(11), 영상 특징점 추출부(12), 기하관계 판단부(13) 및 기하보정 처리부(14)에 대해서는, 이하 본 발명의 실시예에 따른 기하보정 방법을 참조하여 함께 설명하고자 한다.
도 5는 본 발명의 일실시예에 따른 기하보정 방법을 흐름도로 도시한 것이다. 도 5는 상호 기하관계가 고정된 멀티 카메라 및 움직임이 자유로운 카메라로 구성된 무인기 또는 영상 획득 장치로 촬영한 영상의 기하보정 방법의 흐름도를 나타낸다.
상기 기하보정 방법은, 영상 입력 단계(S103), 영상 특징점 추출 및 매칭 단계(S105), 영상 위치 및 방향 추정 단계(S107), 상호 기하관계가 고정된 멀티 카메라로 촬영한 영상 여부 판단 단계(S109), 카메라간 상호 기하관계 계산 단계(S111), 카메라간 상호 기하관계를 고려한 기하보정 최적화 단계(S113) 및 움직임이 자유로운 카메라 기하보정 최적화 단계(S115)로 구성된다. 관련하여, 상기 영상 위치 및 방향 추정 단계(S107) 부터는 모든 개별 입력 영상에 대해 각각 수행함을 원칙으로 한다.
상기 영상 입력 단계(S103)는, 상기 영상 입력부(11)를 통해 카메라로부터 촬영된 영상을 수신하는 과정이다. 즉, 예를 들어 시스템의 구성에 따라, 근거리 무선통신이 가능한 와이파이(Wifi), 유무선 데이터 통신에 의한 영상 전송 및 각 카메라의 메모리카드를 영상 촬영 장치(10)에 직접 복사 등의 방법이 사용될 수 있다.
또한, 상기 영상 입력 단계(S103)는 추가적으로 입력된 영상의 분류 작업을 수행할 수도 있다. 예를 들어, 상호 기하관계가 고정된 카메라에서 촬영한 영상은 영상의 메타정보(meta information)를 이용하여 촬영 시간 및 촬영에 사용한 카메라 단위로 분류할 수 있다. 관련하여, 상호 기하관계가 고정된 카메라에서 촬영한 영상은 여러 개의 카메라 중 한 개의 카메라로 촬영한 영상을 각 촬영시간별 참조 영상으로 정하고, 다른 카메라에서 촬영한 영상은 참조 영상과 동일 시간에 촬영된 비교 영상으로 결정한다.
상기 영상 특징점 추출 및 매칭 단계(S105)는, 영상 특징점 추출부(12)를 통해, 상기 압력된 참조 영상 및 비교 영상의 특징점(feature point)을 추출한다. 아울러, 상기 특징점을 서술하는 서술자(descriptor)를 추출할 수 있다. 즉, 예를 들어, 상기 참조 영상 및 비교 영상간 특징점의 서술자(descriptor)를 서로 비교하여 대응되는 공통 관계를 찾는 것이 가능하다. 또한, 전이관계(transitive)를 이용하면 참조 영상 및 비교 영상간 또는 비교영상 상호간 특징점 대응관계를 여러 영상간 대응관계로 확장할 수 있다.
상기 영상 위치 및 방향 추정 단계(S107)는, 상기 기하관계 판단부(13)를 통해, 상기 특징점 매칭이 완료된 영상에 대해, 특징점간 매칭 정보를 이용하여 각 영상이 획득된 카메라의 위치와 방향을 추정한다. 즉, 카메라로부터 촬영된 영상간의 특징점 및 전이관계를 확인함에 따라, 영상이 촬영된 카메라간의 상호 위치 및 방향을 확인하는 것이 가능하게 된다.
상기 판단 단계(S109)는, 상기 기하관계 판단부(13)를 통해, 상기 추정된 카메라 위치 및 방향으로부터, 획득된 영상이 상호 기하 관계가 고정된 멀티 카메라로부터 획득된 영상인지, 또는 별도의 움직임이 자유로운 카메라로부터 획득된 영상인지를 판단한다. 관련하여, 본 판단 단계 S109는, 전술한 영상 입력 단계(S103)의 영상 분류에 따라 상대적 기하관계가 고정된 카메라로 촬영한 영상인지, 움직임이 자유로운 영상인지 판단하는 것도 가능하다.
상기 카메라간 상호 기하관계 계산 단계(S111)는, 상기 기하관계 판단부(13)를 통해, 상기 판단 단계(S109)에 의해 상대적 기하관계가 고정된 카메라로 촬영한 영상으로 판단된 경우('Yes' 패스), 획득된 영상으로부터 카메라간 상호 기하관계를 계산한다. 상기 카메라간 상호 기하관계는 초기에는 상기 추정된 카메라 위치 및 방향으로부터 기하관계를 계산하게 되지만, 처리한 영상의 개수가 증가하면 이후는 각 영상으로부터 획득된 기하관계의 미세한 조정을 업데이트하는 방식으로 처리될 수 있다.
상기 카메라간 상호 기하관계를 고려한 기하보정 최적화 단계(S113)는, 상기기하보정 처리부(14)를 통해, 상기 카메라간 상호 기하관계 계산 단계(S111)에서 최종 계산된 카메라간 기하관계를 고려하여, 기하보정 최적화를 수행한다. 즉, 카메라간 상호 기하관계 및 각 시간별 참조영상의 위치, 방향을 최적화함으로써 최적화할 파라미터 개수를 효율적으로 감소시켜 전체적인 연산 속도와 정확도를 높일 수 있게 된다.
또한, 상기 움직임이 자유로운 카메라 기하보정 최적화 단계(S115)는, 상기기하보정 처리부(14)를 통해, 상기 판단 단계(S109)에 의해 상대적 기하관계가 고정된 카메라로 촬영한 영상으로 판단되지 않는 경우('No' 패스), 단일 독립적인 카메라로 인식하고 기하보정 기준되는 지표면 특징점으로부터 기하보정 최적화를 수행하게 된다. 예를 들어, 움직임이 자유로운 카메라로 촬영한 영상은 자신이 참조 카메라인 카메라 한 개로 이루어진 멀티카메라 시스템으로 간주하여, 카메라간 상호 기하관계 및 각 시간별 참조영상의 위치, 방향을 자체적으로 최적화함으로써 최적화할 파라미터 개수를 줄여 속도와 정확도를 높일 수 있게 된다.
도 6은 본 발명의 다른 실시예에 따른 기하보정 방법을 흐름도로 도시한 것이다. 관련하여, 도 6 실시예에 따른 단계 S203, 205, 207, 209, 211은 전술한 도 5의 실시예 단계 S103, 105, 107, 109, 111와 동작이 동일하므로 이하 설명을 생략한다. 단, 도 6의 실시예는, 전술한 도 5의 실시예와 비교시, 기하보정 최적화 단계(S213)에 특징이 있다.
즉,도 6의 실시예에 따른 기하보정 최적화 단계(S213)는, 동일 시간대 촬영된, 모든 영상, 즉 상호 기하관계가 고정된 카메라 및 움직임이 자유로운 단일 독립적인 카메라의 동일 시간대 영상에 대해 동시에 기하보정 최적화를 동시 수행하는 것을 특징으로 한다. 또한, 상기 기하보정 최적화 단계(S213)는, 카메라간 상호 기하관계 및 카메라군, 움직임이 자유로운 카메라의 위치, 방향을 동시 최적화하는 단계를 의미한다. 관련하여, 상기 '카메라군'이란 상호 기하관계가 고정된 멀티카메라로 특정 시간에 동시 촬영한 영상들을 의미한다.
한편, 카메라간 상호 기하 관계를 미리 인지 하고 있는 경우에는 단계 S211을 생략하여, 영상 입력 장치에 대한 구분없이 기하보정 최적화 단계(S213)을 수행할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 기하보정 방법을 흐름도로 도시한 것이다. 관련하여, 도 7 실시예는, 전술한 도 6 실시예에 기하보정 초기화 단계(S206)을 추가한 것에 특징이 있다. 나머지 단계들은 도 6의 실시예와 동일한 도면 부호로 표시하였다.
상기 기하보정 초기화 단계(S206)는, 상기 영상 특징점 추출부(12)를 통해, 초기화를 위해 초기 프레임 영상들로부터 영상간 필수 메트릭스(essential matrix)를 분해(decomposition)하여 상대적인 자세 및 위치를 획득하는 과정이다. 상기 기하보정 초기화 단계(S206) 이후 전술한 영상 위치 및 방향 추정 단계(S207)을 통해, 상기 계산된 상대적인 자세 및 위치를 참조하여 매 영상마다 자세 추정(pose estimation) 알고리즘을 통해 영상이 획득된 카메리의 회전값과 위치값을 계산하게 된다.
즉, 예를 들어, 상기 기하보정 초기화 단계(S206)는, 각 영상별 적용되는 단계 S207이 수행되기 전에, 초기 두장의 영상으로 부터 필수 메트릭스(essential matrix)를 분해하여, 두 영상의 기하관계와 두 영상간 대응되는 특징점의 3차원 좌표를 계산하게 된다. 상기 계산된 값을 이용하여, 이후 영상부터는 각 영상에 대해 카메라의 회전값과 위치값을 계산함에 이후 영상 위치 및 방향 추정 단계(S207)를 수행하는 것이 가능하게 된다.
또한, 상기 기하보정 초기화 단계(S206)는, 전술한 도 5의 실시예에 적용시, 단계 S105 및 S107 사이에서 수행될 수 있으며, 이는 본 발명의 범위에 해당됨은 자명하다.
전술한 바와 같이, 본 발명은 상호 기하관계가 고정된 멀티 카메라 및 움직임이 자유로운 카메라로 이루어진 영상 획득 장치 및 이를 이용하여 촬영한 영상의 기하 보정 방법에 관한 것이다. 상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (20)

  1. 멀티 카메라 영상의 기하보정 방법에 있어서,
    카메라로부터 촬영된 영상들을 수신하는, 영상 입력 단계,
    상기 입력된 영상들의 특징점을 추출하고, 추출된 특징점 간의 상호 관련성을 확인하는, 영상 특징점 추출 단계,
    상기 특징점간 상호 관련성을 이용하여 각 영상이 획득된 카메라의 위치와 방향을 추정하는, 위치 및 방향 추정 단계,
    상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상으로 판단되는 경우, 상기 추정된 카메라의 위치 및 방향으로부터 멀티 카메라간 상대적 기하관계를 계산하고, 상기 계산된 기하관계를 이용하여 각 영상의 기하보정을 수행하는 단계, 및
    상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라가 아닌 움직임이 자유로운 카메라로부터 획득된 영상이라고 판단되는 경우, 상기 추정된 카메라의 위치 및 방향으로부터 각 영상의 기하보정을 수행하는 단계를 포함하되,
    상기 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상을 기하 보정하는 단계 및 상기 움직임이 자유로운 카메라로부터 획득된 영상을 동시에 기하 보정하는 단계를 포함하고, 상기 기하보정을 동시에 수행하는 단계는, 동일 시간대 촬영된 영상에 대해 카메라간 상호 기하관계 및 카메라군, 움직임이 자유로운 카메라의 위치, 방향 동시 최적화를 수행하는 것을 특징으로 하는, 멀티 카메라 영상의 기하보정 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 특징점간 상호 관련성을 이용하여 기하보정 초기화를 수행하는 기하보정 초기화 단계를 더 포함하는, 멀티 카메라 영상의 기하보정 방법.
  5. 제 4 항에 있어서,
    상기 기하보정 초기화 단계는,
    초기 프레임 영상들로부터 영상간 필수 메트릭스(essential matrix)를 분해하여 상대적인 자세 및 위치값을 획득하는 것을 특징으로 하는, 멀티 카메라 영상의 기하보정 방법.
  6. 제 1 항 있어서,
    상기 영상 입력 단계는, 근거리 무선통신 수단, 유무선 데이터 통신수단 또는 각 카메라로부터 직접 복사 중 어느 한 방법으로 촬영된 영상을 수신하는 것을 특징으로 하는, 멀티 카메라 영상의 기하보정 방법.
  7. 제 1 항에 있어서,
    상기 영상 입력 단계는, 입력 영상의 메타정보(meta information)를 이용하여 상호 기하관계가 고정된 카메라에서 촬영된 영상을 분류하는 단계를 포함하는 멀티 카메라 영상의 기하보정 방법.
  8. 제 7 항에 있어서,
    상기 영상 입력 단계는, 상기 상호 기하관계가 고정된 카메라에서 촬영된 영상으로 분류된 경우, 멀티 카메라중 어느 한 카메라로 획득한 영상을, 각 촬영시간별 참조 영상으로 결정하고, 나머지 다른 카메라에서 촬영한 영상을 참조 영상과 동일 시점에 촬영된 비교 영상으로 결정하는 단계를 더 포함하는 멀티 카메라 영상의 기하보정 방법.
  9. 삭제
  10. 제 1 항에 있어서,
    상기 카메라간 상호 기하관계 계산 단계는, 획득된 영상으로부터 영상 촬영시점의 카메라간 상호 기하관계를 추정하는 것을 특징으로 하는 멀티 카메라 영상의 기하보정 방법.
  11. 멀티 카메라 영상의 기하보정을 포함하는 영상 획득 장치에 있어서,
    카메라로부터 촬영된 영상들을 수신하는, 영상 입력부,
    상기 입력된 영상들의 특징점을 추출하고, 추출된 특징점 간의 상호 관련성을 확인하는, 영상 특징점 추출부,
    상기 특징점간 상호 관련성을 이용하여 각 영상이 획득된 카메라의 위치와 방향을 추정하고, 상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상으로 판단되는 경우, 상기 추정된 카메라의 위치 및 방향으로부터 멀티 카메라간 상대적 기하관계를 계산하는 기하관계 판단부, 및
    상기 계산된 기하관계를 이용하여 각 영상의 기하보정을 수행하는 기하보정 처리부를 포함하되,
    상기 기하보정 처리부는, 상기 입력된 영상들이, 상호 기하관계가 고정된 멀티 카메라가 아닌 움직임이 자유로운 카메라로부터 획득된 영상이라고 판단되는 경우, 상기 추정된 카메라의 위치 및 방향을 적용하여 각 영상의 기하보정을 수행하고,
    상기 기하보정 처리부는, 상기 상호 기하관계가 고정된 멀티 카메라로부터 획득된 영상을 기하 보정하는 과정 및 상기 움직임이 자유로운 카메라로부터 획득된 영상을 동시에 기하 보정하는 과정을 포함하되, 상기 기하보정 처리부는, 상기 기하보정을 동시에 수행함에 있어서, 동일 시간대 촬영된 영상에 대해 카메라간 상호 기하관계 및 카메라군, 움직임이 자유로운 카메라의 위치, 방향 동시 최적화를 수행하는, 영상 획득 장치.
  12. 제 11 항에 있어서,
    기하보정될 영상 또는 기하보정된 영상을 시각적으로 보여주는 디스플레이부를 더 포함하는, 영상 획득 장치.
  13. 제 11 항에 있어서,
    카메라 또는 외부 기기와 통신을 수행하는 통신부를 더 포함하는, 영상 획득 장치.
  14. 삭제
  15. 삭제
  16. 제 11 항에 있어서,
    상기 영상 특징점 추출부는, 상기 특징점간 상호 관련성을 이용하여 기하보정 초기화를 수행하는 과정을 포함하는, 영상 획득 장치.
  17. 제 11 항에 있어서,
    상기 영상 입력부는 입력 영상의 메타정보(meta information)를 이용하여 상호 기하관계가 고정된 카메라에서 촬영된 영상을 분류하는 과정을 포함하는, 영상 획득 장치.
  18. 제 17 항에 있어서,
    상기 영상 입력부는, 상기 상호 기하관계가 고정된 카메라에서 촬영된 영상으로 분류된 경우, 멀티 카메라중 어느 한 카메라로 획득한 영상을, 각 촬영시간별 참조 영상으로 결정하고, 나머지 다른 카메라에서 촬영한 영상을 참조 영상과 동일 시점에 촬영된 비교 영상으로 결정하는 것을 특징으로 하는, 영상 획득 장치.
  19. 삭제
  20. 제 11 항에 있어서,
    상기 기하관계 판단부는, 획득된 영상으로부터 영상 촬영시점의 카메라간 상호 기하관계를 추정하는 것을 특징으로 하는 영상 획득 장치.
KR1020170167846A 2017-12-07 2017-12-07 멀티 카메라 촬영 영상의 기하보정 방법 및 장치 KR102211769B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170167846A KR102211769B1 (ko) 2017-12-07 2017-12-07 멀티 카메라 촬영 영상의 기하보정 방법 및 장치
US16/209,577 US20190180422A1 (en) 2017-12-07 2018-12-04 Method and apparatus for performing geometric correction on images obtained by multiple cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170167846A KR102211769B1 (ko) 2017-12-07 2017-12-07 멀티 카메라 촬영 영상의 기하보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190067671A KR20190067671A (ko) 2019-06-17
KR102211769B1 true KR102211769B1 (ko) 2021-02-03

Family

ID=66697063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167846A KR102211769B1 (ko) 2017-12-07 2017-12-07 멀티 카메라 촬영 영상의 기하보정 방법 및 장치

Country Status (2)

Country Link
US (1) US20190180422A1 (ko)
KR (1) KR102211769B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053896A (ja) * 2009-05-18 2012-03-15 Kodaira Associates Kk 画像情報出力方法
JP2014228881A (ja) * 2013-05-17 2014-12-08 株式会社日立製作所 モザイク画像生成装置及び生成方法並びにモザイク画像生成プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
US9286680B1 (en) * 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053896A (ja) * 2009-05-18 2012-03-15 Kodaira Associates Kk 画像情報出力方法
JP2014228881A (ja) * 2013-05-17 2014-12-08 株式会社日立製作所 モザイク画像生成装置及び生成方法並びにモザイク画像生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jae-In Kim ET AL:"Fast Mosaicking Method for UAV Images", International Symposium on Remote Sensing(ISRS2016), 20-22 April 2016(2016.04.20.) 1부.*

Also Published As

Publication number Publication date
KR20190067671A (ko) 2019-06-17
US20190180422A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
CN109643373B (zh) 估计3d空间中的姿态
CN109544615B (zh) 基于图像的重定位方法、装置、终端及存储介质
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
CN106873619B (zh) 一种无人机飞行路径的处理方法
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN106650965B (zh) 一种远程视频处理方法及装置
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
CN112508865B (zh) 一种无人机巡检避障方法、装置、计算机设备和存储介质
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
CN112085790A (zh) 点线结合的多相机视觉slam方法、设备及存储介质
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
JP6155091B2 (ja) モザイク画像生成装置及び生成方法並びにモザイク画像生成プログラム
KR102083293B1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
KR102475790B1 (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
KR102211769B1 (ko) 멀티 카메라 촬영 영상의 기하보정 방법 및 장치
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
JP4896762B2 (ja) 画像処理装置および画像処理プログラム
CN114757984A (zh) 光场相机的场景深度估计方法及装置
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
WO2017209213A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
US10553022B2 (en) Method of processing full motion video data for photogrammetric reconstruction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant