KR20150097251A - 다중 영상간 대응점을 이용한 카메라 정렬 방법 - Google Patents

다중 영상간 대응점을 이용한 카메라 정렬 방법 Download PDF

Info

Publication number
KR20150097251A
KR20150097251A KR1020140018541A KR20140018541A KR20150097251A KR 20150097251 A KR20150097251 A KR 20150097251A KR 1020140018541 A KR1020140018541 A KR 1020140018541A KR 20140018541 A KR20140018541 A KR 20140018541A KR 20150097251 A KR20150097251 A KR 20150097251A
Authority
KR
South Korea
Prior art keywords
camera
image
edge
vertex
images
Prior art date
Application number
KR1020140018541A
Other languages
English (en)
Inventor
장경호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140018541A priority Critical patent/KR20150097251A/ko
Priority to US14/446,281 priority patent/US9576365B2/en
Publication of KR20150097251A publication Critical patent/KR20150097251A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

다중 영상간의 대응점 정보를 이용하여 카메라를 정렬하는 방법이 개시된다. 본 발명의 일 면에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법은 다중 카메라 시스템에서 촬영된 영상들 간의 대응관계를 정의하는 단계; 상기 영상들 간의 대응관계와, SFM(Structure From Motion) 알고리즘을 이용하여 카메라의 초기 위치를 추정하는 단계; 상기 카메라의 초기 위치 추정 결과 변경된 영상간의 대응관계를 번들 에지(bundle edge)를 이용하여 재정의하여 최적 에지(Optimal edge)를 생성하는 단계; 및 상기 최적 에지를 기반으로 카메라 위치를 보정하는 단계를 포함한다.

Description

다중 영상간 대응점을 이용한 카메라 정렬 방법{Camera alignment method using correspondences between multi-images}
본 발명은 다수의 카메라를 포함하는 다중 영상 촬영 시스템에서 카메라를 정렬하는 방법에 관한 것으로서, 더 구체적으로는 다중 영상간의 대응점 정보를 이용하여 카메라를 정렬하는 방법에 관한 것이다.
주어진 입력 영상들에서 각 영상의 카메라의 위치를 보정하기 위한 기술은 컴퓨터 비전분야에서 중요한 관심 분야 중 하나이다. 이를 위해서는 먼저 영상의 순서가 정의되어야 한다.
대부분의 연구자들은 정해진 방향으로 영상을 획득하여 임의적으로 영상의 순서를 부여하거나, 영상 순서가 미리 정해지는 비디오 카메라를 이용함으로써 카메라의 위치를 보정하고 있다.
비디오 카메라를 이용하여 영상의 순서를 정의하는 것은 촬영된 동영상에서 모든 프레임들을 추출하여, 카메라의 위치 정보를 추정하기 위한 중요 프레임들만 추출하는 것으로, 불필요한 프레임들을 제거하는 것과 같다.
Sainz는 촬영된 비디오 영상에서 특징점의 정보를 이용하여 카메라 보정에 필요한 영상을 부분집합으로 추출해 냄으로써 영상의 순서를 자동적으로 부여하고 있다. Nister는 3개의 프레임을 이용하여 카메라 보정을 위한 부분 영상열을 정의하고 대응점을 이용하여 추출하여 순서를 부여함으로써 카메라의 위치를 보정하고 있다. 그러나 이러한 방법들은 촬영 시 순서가 미리 정해져 있기 때문에 단순히 중복되는 영상을 제거하는데 목적을 두고 있어 임의의 위치에서 촬영된 촬영한 스냅 영상에 대하여서는 적용하기 힘들다. 또한, 앞, 뒤 영상간의 특징관계만을 이용하여 카메라를 보정하기 때문에 카메라 보정시 오차가 누적되는 현상이 발생할 수 있다.
다른 방법으로는 영상순서를 사용자가 직접적으로 정하여 수행하는 방법이다. 이러한 경우 모든 영상을 일일이 검토하여 영상의 순서를 지정해 주어야 한다. 이 경우, 엄청난 노력과 시간이 요구되며, 더구나 사람이 영상의 순서를 정의하기란 어려운 일이다.
본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로, 다중 영상간 대응점을 이용하여 실제 대응관계를 가지지만, 카메라 보정으로 인해 대응관계가 없어지는 점들을 최소화할 수 있는 카메라 정렬 방법을 제공하는 것을 목적으로 한다.
전술한 과제를 해결하기 위한 다중 영상을 촬영하는 다중 카메라 시스템에서 카메라의 위치를 정렬하는 방법에 있어서, 본 발명의 일 면에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법은 다중 카메라 시스템에서 촬영된 영상들 간의 대응관계를 정의하는 단계; 상기 영상들 간의 대응관계와, SFM(Structure From Motion) 알고리즘을 이용하여 카메라의 초기 위치를 추정하는 단계; 상기 카메라의 초기 위치 추정 결과 변경된 영상간의 대응관계를 번들 에지(bundle edge)를 이용하여 재정의하여 최적 에지(Optimal edge)를 생성하는 단계; 및 상기 최적 에지를 기반으로 카메라 위치를 보정하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 대응관계를 정의하는 단계는 각 영상을 정점(vertex)으로 정의하고, 각 영상 간의 관계를 에지(edge)로 표현한 그래프를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 대응관계를 정의하는 단계는 임의의 제1 영상 및 제2 영상에서 특징점을 추출하는 단계와, 상기 제1 영상의 특징점과 상기 제2 영상의 특징점을 비교하여 유효 대응점의 개수를 계산하는 단계와, 상기 유효 대응점의 개수가 기 설정된 임계 값을 초과하면, 상기 제1 영상과 상기 제2 영상 사이에 에지를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 최적 에지를 생성하는 단계는 상기 카메라의 초기 위치 추정 결과, 상기 그래프에 정의된 제1 정점과 제2 정점 사이의 에지가 끊어진 경우, 상기 제1 정점과 상기 제2 정점이 대응관계를 가지도록 번들 에지(bundle edge)를 연결하는 단계와, 대응관계를 갖는 상기 제1 정점과 상기 제2 정점을 포함하는 각 영상에 대한 정점들이 공유하는 3차원 점을 계산하는 단계와, 상기 3차원 점을 각 영상에 투영하여 2차원 점을 계산하는 단계와, 각 영상에서 계산된 2차원 점과 실제 각 영상 상에 존재하는 2차원 점 사이의 유클리디안 거리의 합이 기 설정된 임계치 이하이면, 상기 번들 에지를 포함한 최적 에지를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 최적 에지를 생성하는 단계는 상기 카메라의 초기 위치 추정 결과, 상기 그래프에 정의된 제1 정점과 제2 정점 사이에 에지가 연결되지 않는 경우, 상기 제1 정점과 상기 제2 정점이 대응관계를 가지도록 번들 에지(bundle edge)를 연결하는 단계와, 대응관계를 갖는 상기 제1 정점과 상기 제2 정점을 포함하는 각 영상에 대한 정점들이 공유하는 3차원 점을 계산하는 단계와, 상기 3차원 점을 각 영상에 투영하여 2차원 점을 계산하는 단계와, 각 영상에서 계산된 2차원 점과 실제 각 영상 상에 존재하는 2차원 점 사이의 유클리디안 거리의 합이 기 설정된 임계치를 초과하면, 상기 번들 에지가 제외된 최적 에지를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 카메라 위치를 보정하는 단계는 (a) 상기 최적 에지에 연결된 정점들이 공유하는 적어도 하나 이상의 3차원 점을 계산하는 단계와, (b) 상기 3차원 점을 이용하여 각 영상에 대한 카메라 파라미터 정보를 계산하는 단계와, (c) 상기 카메라 파라미터 정보를 이용하여 상기 3차원 점이 각 영상에 투영된 2차원 점과 실제 각 영상 상에 존재하는 2차원 점 사이의 유클리디안 거리의 합을 계산하는 단계와, (d) 상기 유클리디안 거리의 합이 기 설정된 임계치 이하가 될 때까지 상기 (a) 내지 (c) 단계를 재귀적으로 수행하는 단계를 포함한다.
전술한 목적을 달성하기 위한 본 발명의 다른 면에 따른 다중 영상간 대응점을 이용한 카메라 정렬 장치는 적어도 하나 이상의 프로세서에 의해 실행되는 코드가 저장된 비휘발성 메모리를 포함하되, 상기 프로세서는 다중 카메라 시스템에서 촬영된 영상들 간의 대응관계를 정의하고, 상기 영상들 간의 대응관계와, SFM(Structure From Motion) 알고리즘을 이용하여 카메라의 초기 위치를 추정하고,
상기 카메라의 초기 위치 추정 결과 변경된 영상간의 대응관계를 번들 에지(bundle edge)를 이용하여 재정의하여 최적 에지(Optimal edge)를 생성하고, 상기 최적 에지를 기반으로 카메라 위치를 보정하도록 구현된 것을 특징으로 한다.
본 발명에 따르면, 카메라 보정의 최적화 단계에서 하나의 3차원 점이 여러 개의 3차원 점으로 나타나는 현상을 최소화하여 카메라의 최적화를 최대화할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법을 도시한 도면.
도 2는 본 발명의 실시예에서 다중 영상간의 대응관계를 그래프로 표현한 일 예를 도시한 도면.
도 3은 본 발명의 실시예에서 SFM 알고리즘을 이용하여 초기 추정된 영상간의 대응관계를 그래프로 표현한 일 예를 도시한 도면.
도 4는 본 발명의 실시예에서 카메라 보정에 의해 SFM 에지가 끊어진 상황을 도시한 도면.
도 5는 본 발명의 실시예에서 영상 간의 대응점이 SFM 에지 상에 나타나지 않고, 번들 에지 상에 나타나는 경우를 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법이 실행될 수 있는 컴퓨터 장치의 일 구성을 도시한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이제 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법은 다중 영상간 대응점을 이용하여 그래프를 생성하는 단계(S10), SFM 기반 카메라 초기 위치 추정 단계(S20), 번들 정렬 및 최적 에지 생성 단계(S30), 최적 에지 기반 카메라 위치 재보정 단계(S40)를 포함한다.
이하에서는, 첨부된 도면들을 이용하여 카메라 위치 최적화를 위해 각 단계별로 수행되는 프로세스를 구체적으로 살펴보도록 한다. 여기서, 다중 영상이란 동일 객체, 또는 동일 대상을 서로 다른 여러 시점(multi-view)에서 촬영한 영상을 의미한다. 이러한 다중 영상(2차원 영상)을 이용하여 3차원 입체영상을 복원하는데 있어서, 어느 2차원 영상의 2차원 점과, 다른 2차원 영상의 2차원 점은 실제 3차원 입체영상에서 동일한 3차원 점을 해당할 수 있다. 이와 같이, 다중 영상간에는 대응관계가 있으며, 이러한 대응관계를 이용하여 서로 다른 위치에 존재하는 카메라들의 위치 정보를 보정 또는 정렬하는 방법이 개시된다.
그래프 생성 단계( S10 )- 다중 영상간의 관계를 나타내는 인접 그래프 정의
그래프는 정점(vertex)과 에지(edge)로 구성된다. 에지는 두 정점의 관계를 표현하며, 두 정점이 미리 정의된 관계 조건을 만족한다면, 두 정점 사이에는 에지가 존재하게 된다. 또한, 그래프에서 에지의 방향성이 존재하면, 해당하는 그래프를 방향 그래프(directed graph)라 한다. 그래프에서 두 정점의 관계를 표현하는 에지에 두 정점의 관계에 대한 정보를 부가적으로 표현하는 가중치를 정의 할 수 있는데, 이러한 그래프를 가중치 그래프(weighted graph)라 한다.
본 발명에서 정의된 인접 그래프(혹은 그래프)는 각 영상을 정점으로 정의하고, 에피폴라 기하학으로 정의된 영상간의 관계를 에지로 표현한다. 예컨대, 인접 그래프의 에지는 방향성을 가지며, 방향성은 영상간의 대응방향을 나타낸다. 또한, 인접 그래프에서 정점은 노드로 정의되며, 노드는 각 영상에 부여되는 고유 번호와 특징점, 영상간의 대응관계를 가질 수 있다. 인접 그래프는 각 영상에서 임의의 두 노드 간의 유효 대응점의 개수가 얼마나 존재하는지에 대한 여부에 기초하여 구성될 수 있다.
예를 들어, N개의 다중 영상이 주어졌다고 가정하자. 각 영상은 N-1개의 영상들과 비교되어 대응되는 점들이 구해지며, 이 경우 대응되는 점들의 수가 주어진 기준치를 넘어서는 경우, 두 영상간에는 대응되는 점들이 유효하게 된다.
이 관계는 그래프로 표현될 수 있는데 그 결과가 도 2에 예시적으로 도시된다. 한편, 도 2에는 도시되지 않았지만 두 정점의 관계에 대한 정보(예컨대, 대응되는 점들의 수)를 부가적으로 표현하는 가중치가 함께 표현될 수 있음은 앞서 살펴본 바와 같다.
SFM 기반 카메라 초기 위치 추정 단계( S20 )
S10 단계에서 생성된 다중 영상들간의 인접 그래프에서 카메라의 초기 위치를 추정하기 위해 SFM(Structure From Motion) 알고리즘이 사용된다. 그 결과가 도 3에 예시적으로 도시된다.
SFM 알고리즘은 순서가 정해진 영상들을 입력으로 하였을 때, 영상을 촬영한 카메라의 위치 정보를 추정할 뿐만 아니라, 영상에 대응하는 3차원 점을 추정하여 장면을 복원한다.
예컨대, 초기 2개의 영상과 3차원 점이 정의되었다고 가정하면, 다음에 입력으로 들어오는 영상에서 2차원 점과 3차원 점간의 대응관계는 해당 영상을 촬영한 카메라의 위치 정보를 직접적으로 추정하는데 사용된다.
또한, 새로이 입력된 영상에서 해당 영상을 촬영한 카메라의 위치 정보가 추정되었다면, 해당 영상에서 나타나는 3차원 점의 좌표 정보가 추정될 수 있다. 만약, 입력될 영상이 N개 라면, 모든 영상에 대한 카메라의 위치 정보가 추정될 때가지 전술한 과정은 반복된다.
한편, SFM 알고리즘은 두 영상간의 정확한 대응점의 수가 많으면 많을수록 보다 정확한 위치 추정 결과를 반환한다. 그러므로, SFM 알고리즘을 적용하기 위해서는 두 영상간에 가장 많은 대응점을 가진 경로를 구할 필요가 있다. 이 경로에서 영상간에 연결된 대응관계를 SFM 에지라고 정의한다. 즉, SFM 에지는 SFM 알고리즘을 적용하여 카메라의 위치 추정을 위한 영상간의 경로 정보를 표현한다.
번들 정렬 및 최적 에지( Optimal Edge ) 생성 단계( S30 )
S20 단계에서 전술한 SFM 기반 카메라 위치 추정은 영상과 영상 사이의 관계에만 기초한다. 이러한 과정은 단지 한 쌍의 영상 사이의 관계에 대해서만 고려할 뿐이다. 따라서, 계산이 진행되어 영상이 계속 추가될수록 영상 정렬에 대한 오차가 커지는 지터(jitter)가 발생할 수 있다. 이와 같은 오차 전파(error propagation)을 최소화하기 위해서는 모든 카메라와 모든 영상들의 대응관계가 정의된 번들 에지를 이용한 번들 정렬(bundle adjustment)을 수행할 필요가 있다.
카메라 위치 보정에 의해 다중 영상 간에 실제로는 대응되는 점들이지만 잡음으로 인식되어 대응관계가 끊어지거나, 같은 3차원 점이 영상에서 연속적으로 나타나지 않고 분산되어 나타나거나, 혹은 같은 3차원 점이 여러 개로 표현되는 현상이 자주 발생할 수 있다. 이러한 경우, 번들 정렬을 수행시키게 되면, 동일한 3차원점이 두 개 또는 여러 개의 3차원 점으로 인식되어 번들 정렬의 효율성을 저하시키는 원인이 된다. 그러므로 앞서 정의된 영상간의 대응관계를 재정의할 필요가 있다. 결국, 카메라 보정 시 끊어진 점과, 같은 3차원 점이지만 각 영상에 투영된 점이 연속적으로 나타나지 않아 2차원 대응관계가 끊어진 경우 하나의 3차원 점이 두 개 또는 여러 개의 점으로 나타나는 현상을 제거할 필요가 있는 것이다. 이를 위한 영상 재 정렬 과정은 도 4 및 도 5와 같이 나타낼 수 있다.
도 4에 도시된 바와 같이, C 영상과 L 영상 사이에는 원래 SFM 에지 성분이 존재하였지만, 카메라 보정 시 끊어져 L과 E 에서 계산된 3차원 점과, A,B,C,D에서 계산된 3차원 점과 같이 2개의 3차원 점을 가지는 것을 알 수 있다. 이때, C 영상과 L 영상 사이의 SFM 에지 연결이 참일 수도 있고, 거짓일 수도 있다. 이를 평가하기 위해 번들 에지(bundle edge)가 활용된다. 여기서, 번들 에지는 SFM 수행 후 모든 카메라의 정보와 3차원상의 모든 점들을 동시에 최적화하기 위한 번들 정렬의 경로로 사용된다.
구체적으로 설명하면, 카메라 위치 최적화를 위해, B 영상과 E 영상 사이에는 번들 에지가 연결된다. 즉, A,B,C,D,E와 L 영상은 하나의 점을 공유하는 것으로 간주하고, 이를 이용하여 계산된 카메라 정보와 대응점을 이용하여 3차원점을 계산한다. 3차원 점은 각각의 2차원 영상에 투영되고, 투영으로 계산된 2차원 점과 원래 2차원 점 사이의 유클리디안 거리의 합(수학식 1 참조)이 기준치 이하이면 C 영상과 L 영상 사이의 SFM 연결이 참이 되고, 만약 유클리디안 거리의 합이 기준치를 초과한다면, C 영상과 L 영상 사이의 SFM 연결은 거짓이 되는 것이다. 도 4에는 C 영상과 L 영상 사이의 SFM 연결이 참인 경우가 도시되어 있다. 최종적으로 C 영상과 L 영상 사이의 SFM 연결이 포함된 최적 에지(Optimal edge)가 다중 영상간에 생성된다. 한편, 도 4에는 도시되지 않았지만 C 영상과 L 영상 사이의 SFM 연결이 거짓이라면, 최적 에지로 연결된 2개의 그룹(L,E 그룹/A,B,C,D 그룹)이 생성되는 것이다.
Figure pat00001
Figure pat00002
여기서, Pi 는 i 번째 카메라 투영 행렬이며, X은 3차원 점,
Figure pat00003
는 i번째 영상의 2차원점을 의미한다.
도 5에는 대응되는 점이 SFM 에지 상에 나타나지 않고, 번들 에지 상에 나타나는 경우가 도시된다. 도 5에 도시된 바와 같이, A 영상과 B 영상 사이에 대응관계가 정의되어 있고, C,D,L,E 영상 사이에 대응관계가 정의되어 있다. 현재 영상간의 대응관계가 참인지 거짓인지 여부를 확인하기 위해, B 영상과 E 영상 사이에 번들 에지가 연결된다. 즉, A,B와, C,D,E, L 영상은 하나의 점을 공유하는 것으로 간주하고, 이를 이용하여 계산된 카메라 정보와 대응점을 이용하여 3차원점을 계산한다. 3차원 점은 각각의 2차원 영상에 투영되고, 투영으로 계산된 2차원 점과 원래 2차원 점 사이의 유클리디안 거리의 합(수학식 1 참조)이 기준치 이하이면 B 영상과 E 영상 사이의 번들 에지 연결이 참이 된다. 이 경우, B 영상과 E 영상 사이의 번들 에지 연결이 포함된 최적 에지가 생성된다. 한편, 도 5에는 도시되지 않았지만, B 영상과 E 영상 사이의 번들 에지 연결이 거짓이라면, A 영상과 B 영상 사이의 최적 에지가 생성되고, C,D,L,E 영상 사이에 최적 에지가 생성된 2개의 그룹이 생성될 것이다.
최적 에지 기반 카메라 위치 재보정 단계( S40 )
S30 단계에서 2차원 영상들 간의 관계를 재정의하는 구체적인 방법에 대해서 살펴보았다. 그 결과, 2차원 영상들은 최적 에지로 연결되고 S40 단계에서는 상기 최적 에지를 이용하여 카메라의 위치 정보를 재계산하는 과정이 수행된다.
구체적으로 설명하면, 먼저 최적 에지로 연결된 모든 정점(vertex)들을 이용하여 3차원 점을 계산한다. 이때, 아래 수학식 2와 같은 선형방정식이 이용될 수 있다.
Figure pat00004
여기서,
Figure pat00005
는 카메라 행렬, (X, Y, Z) 는 3차원점 (ui, vi)는 각 정점에서의 2차원 점을 의미한다.
이후, 각 2차원 영상에서 계산된 3차원 점을 기준으로 아래 수학식 3과 같이 각 2차원 영상에서의 카메라 파라미터 정보를 계산한다.
Figure pat00006
여기서,
Figure pat00007
는 i번째 3차원점과 대응되는 j번째 영상의 2차원 점의 X축 좌표 값, K는 카메라의 내부 파라미터 정보, R은 j번째 영상의 회전 정보, t는 j번째 영상의 위치 정보,
Figure pat00008
는 i 번째 3차원 점을 의미한다.
이때,
Figure pat00009
와
Figure pat00010
의 차이가 최소가 되는 K, R, t 의 정보를 구해낸다.
한편, 전술한 과정은 반복적으로 수행되며, 아래 수학식 4와 같이
Figure pat00011
와
Figure pat00012
의 차이가 기 정의된 기준치 아래이거나, 혹은 더 이상 변화가 인지되지 않으면, S40 단계의 최적화 단계는 종료된다.
Figure pat00013
여기서, Pi 는 i 번째 카메라 투영 행렬이며,
Figure pat00014
는 j 번째 3차원 점,
Figure pat00015
는 i번째 3차원 점과 대응되는 j번째 영상의 2차원점을 의미한다.
한편, 본 발명의 실시예에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 6에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(121)와, 메모리(123)와, 사용자 입력 장치(126)와, 데이터 통신 버스(126)와, 사용자 출력 장치(127)와, 저장소(128)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(122)를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서(121)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(123) 및/또는 저장소(128)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
상기 메모리(123) 및 상기 저장소(128)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(123)는 ROM(124) 및 RAM(125)을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 정렬 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 다중 영상간 대응점을 이용한 카메라 정렬 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 다중 영상을 촬영하는 다중 카메라 시스템에서 카메라의 위치를 정렬하는 방법에 있어서,
    다중 카메라 시스템에서 촬영된 영상들 간의 대응관계를 정의하는 단계;
    상기 영상들 간의 대응관계와, SFM(Structure From Motion) 알고리즘을 이용하여 카메라의 초기 위치를 추정하는 단계;
    상기 카메라의 초기 위치 추정 결과 변경된 영상간의 대응관계를 번들 에지(bundle edge)를 이용하여 재정의하여 최적 에지(Optimal edge)를 생성하는 단계; 및
    상기 최적 에지를 기반으로 카메라 위치를 보정하는 단계
    를 포함하는 다중 영상간 대응점을 이용한 카메라 정렬 방법.
  2. 제1항에 있어서, 상기 대응관계를 정의하는 단계는,
    각 영상을 정점(vertex)으로 정의하고, 각 영상 간의 관계를 에지(edge)로 표현한 그래프를 생성하는 단계를 포함하는 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 방법.

  3. 제1항에 있어서, 상기 대응관계를 정의하는 단계는,
    임의의 제1 영상 및 제2 영상에서 특징점을 추출하는 단계와,
    상기 제1 영상의 특징점과 상기 제2 영상의 특징점을 비교하여 유효 대응점의 개수를 계산하는 단계와,
    상기 유효 대응점의 개수가 기 설정된 임계 값을 초과하면, 상기 제1 영상과 상기 제2 영상 사이에 에지를 생성하는 단계를 포함하는 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 방법.
  4. 제2항에 있어서, 상기 최적 에지를 생성하는 단계는,
    상기 카메라의 초기 위치 추정 결과, 상기 그래프에 정의된 제1 정점과 제2 정점 사이의 에지가 끊어진 경우, 상기 제1 정점과 상기 제2 정점이 대응관계를 가지도록 번들 에지(bundle edge)를 연결하는 단계와,
    대응관계를 갖는 상기 제1 정점과 상기 제2 정점을 포함하는 각 영상에 대한 정점들이 공유하는 3차원 점을 계산하는 단계와,
    상기 3차원 점을 각 영상에 투영하여 2차원 점을 계산하는 단계와,
    각 영상에서 계산된 2차원 점과 실제 각 영상 상에 존재하는 2차원 점 사이의 유클리디안 거리의 합이 기 설정된 임계치 이하이면, 상기 번들 에지를 포함한 최적 에지를 생성하는 단계를 포함하는 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 방법.
  5. 제2항에 있어서, 상기 최적 에지를 생성하는 단계는,
    상기 카메라의 초기 위치 추정 결과, 상기 그래프에 정의된 제1 정점과 제2 정점 사이에 에지가 연결되지 않는 경우, 상기 제1 정점과 상기 제2 정점이 대응관계를 가지도록 번들 에지(bundle edge)를 연결하는 단계와,
    대응관계를 갖는 상기 제1 정점과 상기 제2 정점을 포함하는 각 영상에 대한 정점들이 공유하는 3차원 점을 계산하는 단계와,
    상기 3차원 점을 각 영상에 투영하여 2차원 점을 계산하는 단계와,
    각 영상에서 계산된 2차원 점과 실제 각 영상 상에 존재하는 2차원 점 사이의 유클리디안 거리의 합이 기 설정된 임계치를 초과하면, 상기 번들 에지가 제외된 최적 에지를 생성하는 단계를 포함하는 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 방법.
  6. 제1항에 있어서, 상기 카메라 위치를 보정하는 단계는,
    (a) 상기 최적 에지에 연결된 정점들이 공유하는 적어도 하나 이상의 3차원 점을 계산하는 단계와,
    (b) 상기 3차원 점을 이용하여 각 영상에 대한 카메라 파라미터 정보를 계산하는 단계와,
    (c) 상기 카메라 파라미터 정보를 이용하여 상기 3차원 점이 각 영상에 투영된 2차원 점과 실제 각 영상 상에 존재하는 2차원 점 사이의 유클리디안 거리의 합을 계산하는 단계와,
    (d) 상기 유클리디안 거리의 합이 기 설정된 임계치 이하가 될 때까지 상기 (a) 내지 (c) 단계를 재귀적으로 수행하는 단계를 포함하는 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 방법.
  7. 다중 영상을 촬영하는 다중 카메라 시스템에서 카메라의 위치를 정렬하는 장치에 있어서, 상기 장치는 적어도 하나 이상의 프로세서와, 상기 프로세서에 의해 실행되는 코드가 저장된 비휘발성 메모리를 포함하되, 상기 프로세서는,
    다중 카메라 시스템에서 촬영된 영상들 간의 대응관계를 정의하고,
    상기 영상들 간의 대응관계와, SFM(Structure From Motion) 알고리즘을 이용하여 카메라의 초기 위치를 추정하고,
    상기 카메라의 초기 위치 추정 결과 변경된 영상간의 대응관계를 번들 에지(bundle edge)를 이용하여 재정의하여 최적 에지(Optimal edge)를 생성하고,
    상기 최적 에지를 기반으로 카메라 위치를 보정하도록 구현된 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 장치.
  8. 제7항에 있어서, 상기 프로세서는,
    각 영상을 정점(vertex)으로 정의하고, 각 영상 간의 관계를 에지(edge)로 표현한 그래프를 생성하여 상기 영상들 간의 대응관계를 정의하도록 구현된 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 장치.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 카메라의 초기 위치 추정 결과, 상기 그래프에 정의된 제1 정점과 제2 정점 사이의 에지가 끊어진 경우, 상기 제1 정점과 상기 제2 정점이 대응관계를 가지도록 번들 에지(bundle edge)를 연결하고,
    대응관계를 갖는 상기 제1 정점과 상기 제2 정점을 포함하는 각 영상에 대한 정점들이 공유하는 3차원 점을 계산하고,
    상기 3차원 점을 각 영상에 투영하여 2차원 점을 계산하고,
    각 영상에서 계산된 2차원 점과 실제 각 영상 상에 존재하는 2차원 점 사이의 유클리디안 거리의 합이 기 설정된 임계치 이하이면, 상기 번들 에지를 포함한 최적 에지를 생성하도록 구현된 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 장치.

  10. 제8항에 있어서, 상기 프로세서는,
    상기 카메라의 초기 위치 추정 결과, 상기 그래프에 정의된 제1 정점과 제2 정점 사이에 에지가 연결되지 않는 경우, 상기 제1 정점과 상기 제2 정점이 대응관계를 가지도록 번들 에지(bundle edge)를 연결하고,
    대응관계를 갖는 상기 제1 정점과 상기 제2 정점을 포함하는 각 영상에 대한 정점들이 공유하는 3차원 점을 계산하고,
    상기 3차원 점을 각 영상에 투영하여 2차원 점을 계산하고,
    각 영상에서 계산된 2차원 점과 실제 각 영상 상에 존재하는 2차원 점 사이의 유클리디안 거리의 합이 기 설정된 임계치를 초과하면, 상기 번들 에지가 제외된 최적 에지를 생성하도록 구현된 것
    인 다중 영상간 대응점을 이용한 카메라 정렬 장치.
KR1020140018541A 2014-02-18 2014-02-18 다중 영상간 대응점을 이용한 카메라 정렬 방법 KR20150097251A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140018541A KR20150097251A (ko) 2014-02-18 2014-02-18 다중 영상간 대응점을 이용한 카메라 정렬 방법
US14/446,281 US9576365B2 (en) 2014-02-18 2014-07-29 Camera alignment method using correspondence between multi-images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140018541A KR20150097251A (ko) 2014-02-18 2014-02-18 다중 영상간 대응점을 이용한 카메라 정렬 방법

Publications (1)

Publication Number Publication Date
KR20150097251A true KR20150097251A (ko) 2015-08-26

Family

ID=53799290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140018541A KR20150097251A (ko) 2014-02-18 2014-02-18 다중 영상간 대응점을 이용한 카메라 정렬 방법

Country Status (2)

Country Link
US (1) US9576365B2 (ko)
KR (1) KR20150097251A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787464B (zh) * 2016-03-18 2019-04-09 南京大学 一种大量图片在三维场景中的视点标定方法
GB2561368B (en) * 2017-04-11 2019-10-09 Nokia Technologies Oy Methods and apparatuses for determining positions of multi-directional image capture apparatuses
US10924660B2 (en) * 2018-03-28 2021-02-16 Candice D. Lusk Augmented reality markers in digital photography
US10957062B2 (en) 2018-10-31 2021-03-23 Bentley Systems, Incorporated Structure depth-aware weighting in bundle adjustment
US10957074B2 (en) * 2019-01-29 2021-03-23 Microsoft Technology Licensing, Llc Calibrating cameras using human skeleton

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996254B2 (en) 2001-06-18 2006-02-07 Microsoft Corporation Incremental motion estimation through local bundle adjustment
US7313285B2 (en) * 2003-05-30 2007-12-25 Lucent Technologies Inc. Method and apparatus for compressing and decompressing images captured from viewpoints throughout N-dimensional space
JP5127128B2 (ja) 2004-12-21 2013-01-23 韓國電子通信研究院 カメラの位置及び姿勢情報補正方法及びその装置
US9020187B2 (en) * 2011-05-27 2015-04-28 Qualcomm Incorporated Planar mapping and tracking for mobile devices
US9036044B1 (en) * 2013-07-22 2015-05-19 Google Inc. Adjusting camera parameters associated with a plurality of images

Also Published As

Publication number Publication date
US20150237330A1 (en) 2015-08-20
US9576365B2 (en) 2017-02-21

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
JP4887374B2 (ja) ステレオビジョンにおいて散乱視差場を求める方法
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US11170202B2 (en) Apparatus and method for performing 3D estimation based on locally determined 3D information hypotheses
US20180276793A1 (en) Autonomous performance of an operation on an object using a generated dense 3d model of the object
US11184604B2 (en) Passive stereo depth sensing
EP2016559A2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
JP2003006619A (ja) 複数個の画像をマッチングする方法及び装置
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
WO2021108626A1 (en) System and method for correspondence map determination
WO2021027543A1 (zh) 基于单目图像的模型训练方法、装置及数据处理设备
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
US10346949B1 (en) Image registration
JP2009048516A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN112270748B (zh) 基于图像的三维重建方法及装置
JP6156922B2 (ja) 三次元データ生成装置、三次元データ生成方法、及びプログラム
WO2022107245A1 (ja) マップ生成装置、マップ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN115937002A (zh) 用于估算视频旋转的方法、装置、电子设备和存储介质
KR102236473B1 (ko) 영상 처리 방법 및 그 장치
JP2018049396A (ja) 形状推定方法、形状推定装置および形状推定プログラム
Russo et al. Blurring prediction in monocular slam

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid