KR20200057929A - 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램 - Google Patents

캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20200057929A
KR20200057929A KR1020180142248A KR20180142248A KR20200057929A KR 20200057929 A KR20200057929 A KR 20200057929A KR 1020180142248 A KR1020180142248 A KR 1020180142248A KR 20180142248 A KR20180142248 A KR 20180142248A KR 20200057929 A KR20200057929 A KR 20200057929A
Authority
KR
South Korea
Prior art keywords
camera
stereo
image
projection
matrix
Prior art date
Application number
KR1020180142248A
Other languages
English (en)
Inventor
오승택
Original Assignee
주식회사 스튜디오매크로그래프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스튜디오매크로그래프 filed Critical 주식회사 스튜디오매크로그래프
Priority to KR1020180142248A priority Critical patent/KR20200057929A/ko
Publication of KR20200057929A publication Critical patent/KR20200057929A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Abstract

캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법이 개시된다. 상기 방법은 켈리브레이트된 제1스테레오 카메라의 제1카메라 내부 파라미터 행렬과 제1카메라 외부 파라미터 행렬, 및 켈리브레이트된 제2스테레오 카메라의 제2카메라 내부 파라미터 행렬과 제2카메라 외부 파라미터 행렬을 수신하는 단계와, 3차원 공간에 있는 대상의 포인트들의 포인트 집합, 상기 포인트 집합이 상기 제1스테레오 카메라의 제1영상으로 프로젝션된 제1프로젝션 결과, 및 상기 포인트 집합이 상기 제2스테레오 카메라의 제2영상으로 프로젝션된 제2프로젝션 결과를 수신하는 단계와, 하나의 렉티피케이션 영상을 얻기 위해 상기 제1스테레오 카메라와 상기 제2스테레오 카메라 중에서 어느 하나를 가상 카메라로 대체하는 단계와, 상기 가상 카메라에 대한 가상 이미지 평면과 상기 가상 카메라에 대한 가상 카메라 외부 파라미터 행렬을 이용하여 가상 카메라 프로젝션 행렬을 계산하는 단계를 포함한다.

Description

캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램{METHOD FOR RECTIFICATION OF STEREO IMAGES CAPTURED BY CALIBRATED CAMERAS AND COMPUTER PROGRAM}
본 발명의 개념에 따른 실시 예는 스테레오 영상들의 렉티피케이션 방법에 관한 것으로, 특히 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램에 관한 것이다.
스테레오(stereo) 기반 3D 복원 기술은 서로 인접하는 두 개의 스테레오 카메라들로부터 촬영(또는 캡쳐된) 스테레오 영상들로부터 객체의 3D 기하 정보를 추출하는 기술이다. 스테레오 기반 3D 복원 기술은 스테레오 영상들에서 3차원상의 동일점으로 인식되는 대응점(correspondence point) 찾고, 각각의 스테레오 카메라의 중심으로부터 영상상의 대응점을 통과하는 광선을 구성하여 두 광선들의 3차원상에서의 교차점을 구하는 것을 기본 원리로 한다. 임의의 스테레오 영상들 사이에서 대응점들을 찾기 위해서는 스테레오 영상들의 모든 픽셀들이 비교되어야만 한다. 이 경우 대응점들을 추출하는 과정은 매우 비효율적인 프로세스가 되며, 잘못된 대응점들이 찾아질 가능성 또한 증가할 수 있다.
일반적으로 스테레오 영상들에서 효율적이고 정밀하게 대응점들을 찾기 위해서 렉티피케이션(rectification)이라는 영상 보정 방법이 사용된다. 스테레오 영상들에 렉티피케이션 과정을 적용하면, 상기 스테레오 영상들에서 같은 높이에 있는 픽셀들의 비교만으로 대응점들이 찾아지게 되어 상기 대응점들을 찾는 과정의 계산 복잡도가 현격하게 줄어들어 효율성이 높아지게 된다. 그러나, 스테레오 영상들에 잘못된 렉티피케이션이 적용될 경우 올바른 대응점들을 찾는 것이 원천적으로 불가능 해질 수 있으므로, 스테레오 영상들에 높은 정확도를 갖는 렉티피케이션 방법을 적용하는 것은 스테레오 기반 3D 복원 기술에서 매우 중요한 요소들 중의 하나이다.
등록특허공보: 등록번호 10-1095670호(2011.12.19.공개)
본 발명이 이루고자 하는 기술적인 과제는 캘리브레이트된 스테레오 카메라들과 상기 스테레오 카메라들에 대한 캘리브레이션 과정에서 자연스럽게 얻어지는 데이터를 입력으로 하여 간단하고 높은 정확도로 렉티피케이션하는 방법과 상기 방법을 수행할 수 있는 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 실시 예들에 따른 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법은 켈리브레이트된 제1스테레오 카메라의 제1카메라 내부 파라미터 행렬과 제1카메라 외부 파라미터 행렬, 및 켈리브레이트된 제2스테레오 카메라의 제2카메라 내부 파라미터 행렬과 제2카메라 외부 파라미터 행렬을 수신하는 단계와, 3차원 공간에 있는 대상의 포인트들의 포인트 집합, 상기 포인트 집합이 상기 제1스테레오 카메라의 제1영상으로 프로젝션된 제1프로젝션 결과, 및 상기 포인트 집합이 상기 제2스테레오 카메라의 제2영상으로 프로젝션된 제2프로젝션 결과를 수신하는 단계와, 하나의 렉티피케이션 영상을 얻기 위해 상기 제1스테레오 카메라와 상기 제2스테레오 카메라 중에서 어느 하나를 가상 카메라로 대체하는 단계와, 상기 가상 카메라에 대한 가상 이미지 평면과 상기 가상 카메라에 대한 가상 카메라 파라미터 행렬을 이용하여 가상 카메라 프로젝션 행렬을 계산하는 단계를 포함한다.
본 발명의 실시 예들에 따른 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법은 켈리브레이트된 제1스테레오 카메라의 제1카메라 내부 파라미터 행렬과 제1카메라 외부 파라미터 행렬, 및 켈리브레이트된 제2스테레오 카메라의 제2카메라 내부 파라미터 행렬과 제2카메라 외부 파라미터 행렬을 수신하는 단계와, 3차원 공간에 있는 대상의 포인트들의 포인트 집합, 상기 포인트 집합이 상기 제1스테레오 카메라의 제1영상으로 프로젝션된 제1프로젝션 결과, 및 상기 포인트 집합이 상기 제2스테레오 카메라의 제2영상으로 프로젝션된 제2프로젝션 결과를 수신하는 단계와, 렉티피케이션 영상들을 얻기 위해 상기 제1스테레오 카메라와 상기 제2스테레오 카메라를 가상 카메라들로 대체하는 단계와, 상기 가상 카메라들에 대한 가상 이미지 평면들과 상기 가상 카메라들에 대한 가상 카메라 파라미터 행렬들을 이용하여 가상 카메라 프로젝션 행렬들을 계산하는 단계를 포함한다.
본 발명의 실시 예들에 따른 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법을 수행할 수 있는 컴퓨터 프로그램은 컴퓨터 판독가능한 저장 매체에 저장된다.
본 발명의 실시 예에 따른 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법은 상기 스테레오 카메라들을 캘리브레이션하는 과정에서 자연적으로 얻어진 데이터를 이용하여 간단하고 정확하게 렉티피케이션 과정을 수행할 수 있으므로, 상기 스테레오 영상들에서 대응점들을 추출하고 추출된 대응점들을 이용하여 3차원 스테레오 영상을 복원하는 효율성과 복원된 3차원 스테레오 영상의 품질을 크게 향상시킬 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따라, 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법을 설명하기 위한 플로우차트이다.
도 2는 도 1에 도시된 렉티피케이션하는 방법을 수행하는 컴퓨터 시스템의 블록도이다.
도 은 스테레오 카메라들의 좌표계들을 나타낸다.
도 1은 본 발명의 실시 예에 따라, 미리 캘리브레이트된(calibrated) 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법을 설명하기 위한 플로우차트이고, 도 2는 도 1에 도시된 렉티피케이션하는 방법을 수행하는 컴퓨터 시스템의 블록도이다.
미리 캘리브레이트된 스테레오 카메라들(110과 130)에 의해 촬영(또는 캡쳐)된 스테레오 영상들(LIM과 RIM)을 렉티피케이션하는 방법은 컴퓨터 판독가능한 저장 매체(예컨대, 170 또는 180)에 저장된 컴퓨터 프로그램(또는 애플리케이션; 172)에 의해 수행될 수 있다.
컴퓨터 시스템(100)은 제1스테레오 카메라(110), 제2스테레오 카메라(130), 및 컴퓨팅 장치('컴퓨터'라고도 한다.; 150)을 포함한다. 컴퓨팅 장치(150)는 제1스테레오 카메라(110)로부터 출력된 제1영상(LIM)과 제2스테레오 카메라(130)로부터 출력된 제2영상(RIM)을 이용하여 스테레오소코픽 데이터를 생성할 수 있다.
컴퓨팅 장치(150)는 이미지 신호 프로세서(image signal processor(ISP); 160), 프로세서(170), 및 메모리 장치(180)를 포함한다.
ISP(160)는 제1영상(LIM)과 제2영상(RIM) 및/또는 각 영상(LIM과 RIM)에 포함된 정보를 수신하여 처리하고, 처리된 영상을 프로세서(170)로 전송할 수 있다. 예컨대, 각 영상(LIM과 RIM)은 컬러(color) 데이터와 깊이(depth) 데이터를 포함하고, ISP(160)는 각 영상(LIM과 RIM)로부터 상기 컬러 데이터와 상기 깊이 데이터를 분리할 수 있다.
또한, ISP(160)는 영상들(LIM와 RIM)을 이용하여 단계들(S110과 S120)에서 설명될 정보(
Figure pat00001
,
Figure pat00002
, 및
Figure pat00003
)를 생성하고, 이들을 프로세서(170)로 전송할 수 있다.
프로세서(170)는 본 명세서에서 설명될 컴퓨터 프로그램(172)을 메모리 장치 (180)로부터 읽어들여 이를 실행할 수 있고, 메모리 장치(180)는 컴퓨터 프로그램 (172)을 저장하는 기록 매체(또는, 데이터 저장 장치)의 기능을 수행할 수 있다. 메모리 장치(180)는 휘발성 메모리 장치와 불휘발성 메모리 장치를 총칭한다. 상기 휘발성 메모리 장치는 DRAM 또는 SRAM일 수 있고, 상기 불휘발성 메모리 장치는 HDD(hard disk drive), SSD(solid state drive)일 수 있다.
도 2에서는 ISP(160)와 프로세서(170)가 서로 다른 칩으로 구현된 실시 예가 도시되어 있으나, ISP(160)의 기능을 수행하는 하드웨어는 프로세서(170) 내부에 구현될 수 있다.
실시 예들에 따라, 컴퓨터 프로그램(172)은 제1스테레오 카메라(110)에 대한 제1캘리브레이션 결과들(K1과 T1)과 제2스테레오 카메라(130)에 대한 제2캘리브레이션 결과들(K2와 T2)을 수신한다(S110).
실시 예들에 따라, 컴퓨터 프로그램(172)은 제1스테레오 카메라(예컨대, 왼쪽 카메라와 오른쪽 카메라 중에서 어느 하나; 110)의 제1카메라 프로젝션 행렬(P1)과 제2스테레오 카메라(예컨대, 왼쪽 카메라와 오른쪽 카메라 중에서 다른 하나; 120)의 제2카메라 프로젝션 행렬(P2)를 수신한다(S110).
스테레오 카메라(110과 120을 총칭함)의 카메라 내부 파라미터(K, K는 K1과 K2를 총칭함)는 상기 스테레오 카메라의 고유 특성들에 관한 것으로서 수학식 1과 같이 4×4 행렬로 표현될 수 있다.
[수학식 1]
Figure pat00004
여기서, fx는 X-축 방향으로의 촛점 거리(또는 스케일링 팩터)를 나타내고, fy는 Y-축 방향으로의 촛점 거리(또는 스케일링 팩터)를 나타내고, s는 스테레오 카메라에 의해 생성된 이미지의 평면(이하, '이미지 평면'이라 한다.)의 X-축과 Y-축 사이의 스큐(skew)를 나타내고, cx와 cy는 상기 스테레오 카메라의 Z-축이 상기 이미지 평면과 만나는 점의 좌표를 나타낸다.
제1스테레오 카메라(110)와 제2스테레오 카메라(130) 각각이 이상적인 (ideal) 스테레오 카메라일 때, fx = fy이고, 상기 이미지 평면의 X-축과 Y-축은 서로 수직이다. 즉 s = 0 이다.
스테레오 카메라의 카메라 외부 파라미터(T, T는 T1과 T2를 총칭함)는 상기 스테레오 카메라의 위치와 회전에 관한 것으로서 수학식 2와 같이 4×4 행렬로 표현될 수 있다.
[수학식 2]
Figure pat00005
여기서, R은 3×3 행렬로서 스테레오 카메라의 회전(또는 회전 정보)을 나타내고, t는 3차원 벡터로서 월드 좌표계(또는 절대 좌표계)의 원점을 상기 스테레오 카메라의 로컬 좌표계(객체(object)를 기준으로 한 상대 좌표계)로 표시한 것이다.
해당 스테레오 카메라가 왼쪽 카메라이고 상기 왼쪽 카메라의 로컬 좌표계가 도 3의 도면번호(102)와 같이 표시될 때, R과 t는 수학식 3과 같이 표시된다.
[수학식 3]
Figure pat00006
여기서, T는 전치 행렬을 위한 오퍼레이터(operator)를 의미한다.
제1스테레오 카메라(110)의 카메라 프로젝션 행렬(P1)과 제2스테레오 카메라 (130)의 카메라 프로젝션 행렬(P2)은 수학식 4와 같다.
[수학식 4]
Figure pat00007
Figure pat00008
여기서, K1은 제1스테레오 카메라(110)의 제1카메라 내부 파라미터 행렬이고, K2는 제2스테레오 카메라(130)의 제2카메라 내부 파라미터 행렬이고, T1은 제1스테레오 카메라(110)의 제1카메라 외부 파라미터 행렬이고, T2는 제2스테레오 카메라(130)의 제2카메라 외부 파라미터 행렬이다. 각 카메라 내부 파라미터 행렬(K1과 K2)은 수학식 1의 형태로 표현될 수 있고, 각 카메라 외부 파라미터 행렬(T1과 T2)은 수학식 2의 형태로 표현될 수 있다.
따라서 파라미터들(K1, K2, T1, 및 T2)이 컴퓨터 프로그램(172)으로 입력되면, 컴퓨터 프로그램(172)은 수학식 4를 이용하여 스테레오 카메라들(110과 130)의 카메라 프로젝션 행렬들(P1과 P2)을 계산할 수 있다.
또한, 스테레오 카메라들(110과 130)의 카메라 프로젝션 행렬들(P1과 P2)이 컴퓨터 프로그램(172)으로 입력되면, 컴퓨터 프로그램(172)은 수학식 4를 이용하여 파라미터들(K1, K2, T1, 및 T2)을 계산할 수 있다. 쌍을 이루는 값들(P1과 P2, K1과 K2, 및 T1과 T2)의 형태는 본질적으로 동일하다.
컴퓨터 프로그램(172)은 3차원 공간에 존재하는 객체(object)의 포인트들의 집합인 포인트 집합(
Figure pat00009
), 포인트 집합(
Figure pat00010
)이 제1스테레오 카메라(110)에 의해 촬영(또는 캡처)된 영상으로 프로젝션된 제1프로젝션 결과(
Figure pat00011
), 및 포인트 집합 (
Figure pat00012
)이 제2스테레오 카메라(130)에 의해 촬영(또는 캡처)된 영상으로 프로젝션된 제2프로젝션 결과(
Figure pat00013
)를 수신한다(S120). 이하,
Figure pat00014
와
Figure pat00015
를 '초기 프로젝션 결과들'이라고 한다.
포인트 집합(
Figure pat00016
), 제1프로젝션 결과(
Figure pat00017
), 및/또는 제2프로젝션 결과(
Figure pat00018
)는 스테레오 카메라들(110과 130)에 대한 캘리브레이션 과정에서 자연스럽게 얻어진 데이터(또는 특징점들)일 수도 있고, 특징점(feature point) 추출 기법에 따라 상기 캘리브레이션 과정 이후에 생성된 데이터(또는 특징점들)일 수 있다.
만일, 스테레오 카메라들(110과 130)에 대한 캘리브레이션 과정에서 체크 보드(check board)가 사용되었다면, 상기 캘리브레이션 과정 도중에 생성되는 상기 체크 보드에서의 격자점 데이터가 데이터(
Figure pat00019
,
Figure pat00020
, 및/또는
Figure pat00021
)로서 사용될 수 있다. 그러나 캘리브레이션 과정에서 체크 보드가 이용되지 않았더라도 특징점 추출 기법에 따라 데이터(
Figure pat00022
,
Figure pat00023
, 및/또는
Figure pat00024
)가 생성될 수 있다.
만일, 랙티피케이션 과정에서 캘리브레이션 과정에서 사용된 특징점들에 대한 정보가 없는 경우에는, 스테레오 카메라들을 이용하여 체크 보드 등과 같이 특징점들을 추출하기에 용이한 객체를 촬영함에 따라 데이터(
Figure pat00025
,
Figure pat00026
, 및/또는
Figure pat00027
)가 생성될 수 있다.
컴퓨터 프로그램(172)은 렉티피케이션을 위한 또는 렉티피케이션 영상을 획득하기 위한 새로운 이미지 평면(또는 새로운 이미지 평면들), 카메라 파라미터 행렬들(예컨대, 카메라 내부 파라미터 행렬, 카메라 외부 파라미터 행렬, 가상 카메라 내부 파라미터, 및/또는 가상 카메라 외부 파라미터를 포함), 및/또는 가상 카메라 프로젝션 행렬들을 생성(또는 계산)한다(S130).
두 대의 스테레오 카메라들이 구성(또는 배치)될 때, 상기 두 대의 스테레오 카메라들 각각의 방향(orientation)이 매우 유사하다고 가정하고, 제1스테레오 카메라(110)가 왼쪽 카메라이고 제2스테레오 카메라(130)가 오른쪽 카메라라고 가정한다.
왼쪽 카메라(110)에 의해 촬영된 왼쪽 영상은 그대로 두고, 왼쪽 카메라 (110)가 평행이동된 위치에 오른쪽 카메라(예컨대, 가상 카메라)가 위치한다고 가정하면, 컴퓨터 프로그램(172)은 오른쪽 카메라(130)에 의해 촬영된 오른쪽 영상을 호모그래피(homography)변환하여 랙티피케이션 영상을 얻을 수 있다.
왼쪽 영상에 대해 컴퓨터 프로그램(172)은 제1내부 파라미터 행렬(K1)과 제1외부 파라미터 행렬(T1)을 그대로 사용하고, 오른쪽 영상에 대해 컴퓨터 프로그램 (172)은 새로운 이미지 평면과 제1내부 파라미터 행렬(K1)을 적용한다. 상기 새로운 이미지 평면은 왼쪽 영상의 이미지 평면이 X-축 방향으로 평행이동된 평면(예컨대, 가상 이미지 평면)이다.
도 2의 (a)는 월드 좌표계이고, (b)는 왼쪽 카메라(110)에 대한 로컬 좌표계이고, (c)는 오른쪽 카메라(130)에 대한 로컬 좌표계이고,
Figure pat00028
는 각 로컬 좌표계의 원점이다.
각 스테리오 카메라(110과 130)의 카메라 외부 파라미터 행렬(
Figure pat00029
)는 수학식 5와 같다.
[수학식 5]
Figure pat00030
여기서,
Figure pat00031
이다.
컴퓨터 프로그램(172)은, 오른쪽 카메라(130)가 제1내부 파라미터 행렬(K1)과 새로운 가상 카메라 외부 파라미터 행렬(
Figure pat00032
)을 갖는 가상 카메라로 대체되면, 오른쪽 영상의 렉티피케이션 영상에 대한 새로운 이미지 평면(예컨대, 가상 이미지 평면)과 상기 가상 카메라에 대한 가상 카메라 프로젝션 행렬(
Figure pat00033
)을 설정(또는 계산)한다.
새로운 가상 카메라 외부 파라미터 행렬(
Figure pat00034
)은 수학식 6과 같고, 가상 카메라 프로젝션 행렬(
Figure pat00035
)은 수학식 7과 같다.
[수학식 6]
Figure pat00036
여기서,
Figure pat00037
이다.
[수학식 7]
Figure pat00038
이때, 제1카메라 프로젝션 행렬(P1)은 변화가 없으나, 수학식 10과의 일관성을 위해
Figure pat00039
라 한다.
앞에서는 왼쪽 영상을 그대로 두고 오른쪽 영상의 렉티피케이션 영상에 대한 새로운 이미지 평면과 오른쪽 카메라(130)의 가상 카메라에 대한 가상 카메라 프로젝션 행렬을 설정(또는 계산)하는 과정들이 설명되었으나, 본 발명의 기술적 사상은 오른쪽 영상을 그대로 두고 왼쪽 영상의 렉티피케이션 영상에 대한 새로운 이미지 평면과 왼쪽 카메라의 가상 카메라에 대한 가상 카메라 프로젝션 행렬을 설정(또는 계산)하는 과정들에 그대로 적용될 수 있다.
실시 예들에 따라 왼쪽 카메라(110)와 오른쪽 카메라(130) 모두가 가상 카메라들로 대체될 수 있다. 새로운 가상 카메라들 각각은 왼쪽 카메라(110)와 오른쪽 카메라(130) 각각과 유사한 카메라 내부 파라미터 행렬과 카메라 외부 파라미터 행렬을 갖는다고 가정한다.
가상 카메라들 각각의 카메라 내부 파라미터 행렬을 K3라 하고, 왼쪽 가상 카메라의 카메라 외부 파라미터 행렬을 수학식 8과 같이 T3라 한다.
[수학식 8]
Figure pat00040
여기서,
Figure pat00041
는 왼쪽 가상 카메라의 회전 행렬을 나타내고,
Figure pat00042
라 하고,
Figure pat00043
는 상기 왼쪽 가상 카메라의 카메라 좌표계의 원점이다.
오른쪽 가상 카메라는 왼쪽 가상 카메라와 동일한 회전 행렬(
Figure pat00044
)을 갖고, 상기 오른쪽 가상 카메라의 카메라 좌표계의 원점(
Figure pat00045
)은
Figure pat00046
와 같이 설정될 수 있고,
Figure pat00047
이다. 즉,
Figure pat00048
는
Figure pat00049
로부터 왼쪽 카메라(110)의 로컬 좌표계의 X-축 방향으로
Figure pat00050
만큼 떨어져서 위치한다.
오른쪽 가상 카메라의 가상 카메라 외부 파라미터 행렬(
Figure pat00051
)은 수학식 9와 같다.
[수학식 9]
Figure pat00052
왼쪽 가상 카메라와 오른쪽 가상 카메라의 가상 카메라 프로젝션 행렬은 수학식 10과 같다.
[수학식 10]
Figure pat00053
컴퓨터 프로그램(172)은, 새로운 이미지 평면과 가상 카메라 파라미터 행렬들로 결정되는 가상 카메라 프로젝션 행렬들을 이용하여, 단계(S120)에서 입력된 포인트 집합(
Figure pat00054
)을 새롭게 프로젝션하여 새로운 프로젝션 결과들을 생성한다(S140). 포인트 집합 (
Figure pat00055
)은 3차원 공간상의 포인트들의 집합이고, 상기 새로운 프로젝션 결과들은 2차원 이미지상의 포인트들의 집합이다.
컴퓨터 프로그램(172)은 가상 카메라 프로젝션 행렬들(
Figure pat00056
및
Figure pat00057
)을 이용하여 새롭게 프로젝션된 새로운 프로젝션 결과들(
Figure pat00058
)을 수학식 11을 이용하여 계산한다(S140). 예컨대, 새로운 프로젝션 결과들(
Figure pat00059
)은 특징점들(
Figure pat00060
)일 수 있다.
[수학식 11]
Figure pat00061
여기서,
Figure pat00062
이다.
컴퓨터 프로그램(172)은 매핑 관계(
Figure pat00063
)로부터 이미지 평면들 사이의 호모그래피 행렬(
Figure pat00064
)을 계산한다(S150). 예컨대, 컴퓨터 프로그램 (172)은 초기 프로젝션 결과들과 새로운 프로젝션 결과들 사이를 매핑시키는 호모그래피 행렬 (
Figure pat00065
)을 계산한다(S150).
호모그래피 행렬(
Figure pat00066
)은 수학식 12를 만족하는 3×3 행렬이다.
[수학식 12]
Figure pat00067
예컨대, 수학식 12을 만족하는 호모그래피 행렬(
Figure pat00068
)은 SVD(singular value decomposition)과 같은 수치적인 알고리즘으로 계산될 수 있다. 컴퓨터 프로그램(172)은 오른쪽 영상(또는 왼쪽 영상과 오른쪽 영상 각각)에 호모그래피 행렬(
Figure pat00069
)을 적용하여 렉티피케이션된 스테레오 영상(또는 영상들)을 얻을 수 있다(S160).
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 컴퓨터 시스템
110: 제1스테레오 카메라 또는 왼쪽 카메라
130: 제2스테레오 카메라 또는 오른쪽 카메라
150: 컴퓨터 또는 컴퓨팅 시스템
170: 프로세서
172: 컴퓨터 프로그램 또는 애플리케이션
180: 메모리 장치 또는 저장 매체

Claims (12)

  1. 켈리브레이트된 제1스테레오 카메라의 제1카메라 내부 파라미터 행렬과 제1카메라 외부 파라미터 행렬, 및 켈리브레이트된 제2스테레오 카메라의 제2카메라 내부 파라미터 행렬과 제2카메라 외부 파라미터 행렬을 수신하는 (a) 단계;
    3차원 공간에 있는 대상의 포인트들의 포인트 집합, 상기 포인트 집합이 상기 제1스테레오 카메라의 제1영상으로 프로젝션된 제1프로젝션 결과, 및 상기 포인트 집합이 상기 제2스테레오 카메라의 제2영상으로 프로젝션된 제2프로젝션 결과를 수신하는 단계;
    하나의 렉티피케이션 영상을 얻기 위해 상기 제1스테레오 카메라와 상기 제2스테레오 카메라 중에서 어느 하나를 가상 카메라로 대체하는 단계; 및
    상기 가상 카메라에 대한 가상 이미지 평면과 상기 가상 카메라에 대한 가상 카메라 파라미터 행렬을 이용하여 가상 카메라 프로젝션 행렬을 계산하는 단계를 포함하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  2. 제1항에 있어서,
    상기 제1카메라 내부 파라미터 행렬은 상기 제1스테레오 카메라의 X-축 방향으로의 촛점 거리, Y-축 방향으로의 촛점 거리, 상기 제1영상에 해당하는 제1이미지의 X-축과 Y-축 사이의 스큐, 및 상기 제1스테레오 카메라의 X-축이 상기 제1이미지 평면과 만나는 점의 좌표를 포함하고,
    상기 제2카메라 내부 파라미터 행렬은 상기 제2스테레오 카메라의 X-축 방향으로의 촛점 거리, Y-축 방향으로의 촛점 거리, 상기 제2영상에 해당하는 제2이미지의 X-축과 Y-축 사이의 스큐, 및 상기 제2스테레오 카메라의 X-축이 상기 제2이미지 평면과 만나는 점의 좌표를 포함하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  3. 제2항에 있어서,
    상기 제1카메라 외부 파라미터 행렬은 상기 제1스테레오 카메라의 회전 정보, 및 월드 좌표계의 원점을 상기 제1스테레오 카메라의 로컬 좌표계로 표시한 값을 포함하고,
    상기 제2카메라 외부 파라미터 행렬은 상기 제2스테레오 카메라의 회전 정보, 및 상기 월드 좌표계의 원점을 상기 제2스테레오 카메라의 로컬 좌표계로 표시한 값을 포함하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  4. 제3항에 있어서,
    상기 가상 카메라 프로젝션 행렬을 이용하여 상기 포인트 집합을 새롭게 프로젝션하여 새로운 프로젝션 결과들을 획득하는 단계;
    상기 제1프로젝션 결과와 상기 제2프로젝션 결과를 포함하는 초기 프로젝션 결과들, 및 상기 새로운 프로젝션 결과들 사이를 매핑시키는 호모그래피 행렬들을 계산하는 단계; 및
    상기 제1영상과 상기 제2영상에 상기 호모그래피 행렬을 적용하여 렉티피케이션된 스테레오 영상들을 획득하는 단계를 더 포함하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  5. 제1항에 있어서, 상기 (a)단계는,
    상기 제1카메라 내부 파라미터 행렬(K1)과 상기 제1카메라 외부 파라미터 행렬(T1)에 의해 정의되는 제1카메라 프로젝션 행렬(P1=K1T1), 및 상기 제2카메라 내부 파라미터 행렬(K2)과 상기 제2카메라 외부 파라미터 행렬(T2)에 의해 정의되는 제2카메라 프로젝션 행렬(P2=K2T2)을 수신하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  6. 켈리브레이트된 제1스테레오 카메라의 제1카메라 내부 파라미터 행렬과 제1카메라 외부 파라미터 행렬, 및 켈리브레이트된 제2스테레오 카메라의 제2카메라 내부 파라미터 행렬과 제2카메라 외부 파라미터 행렬을 수신하는 (a) 단계;
    3차원 공간에 있는 대상의 포인트들의 포인트 집합, 상기 포인트 집합이 상기 제1스테레오 카메라의 제1영상으로 프로젝션된 제1프로젝션 결과, 및 상기 포인트 집합이 상기 제2스테레오 카메라의 제2영상으로 프로젝션된 제2프로젝션 결과를 수신하는 단계;
    렉티피케이션 영상들을 얻기 위해 상기 제1스테레오 카메라와 상기 제2스테레오 카메라를 가상 카메라들로 대체하는 단계; 및
    상기 가상 카메라들에 대한 가상 이미지 평면들과 상기 가상 카메라들에 대한 가상 카메라 파라미터 행렬들을 이용하여 가상 카메라 프로젝션 행렬들을 계산하는 단계를 포함하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  7. 제6항에 있어서,
    상기 제1카메라 내부 파라미터 행렬은 상기 제1스테레오 카메라의 X-축 방향으로의 촛점 거리, Y-축 방향으로의 촛점 거리, 상기 제1영상에 해당하는 제1이미지의 X-축과 Y-축 사이의 스큐, 및 상기 제1스테레오 카메라의 X-축이 상기 제1이미지 평면과 만나는 점의 좌표를 포함하고,
    상기 제2카메라 내부 파라미터 행렬은 상기 제2스테레오 카메라의 X-축 방향으로의 촛점 거리, Y-축 방향으로의 촛점 거리, 상기 제2영상에 해당하는 제2이미지의 X-축과 Y-축 사이의 스큐, 및 상기 제2스테레오 카메라의 X-축이 상기 제2이미지 평면과 만나는 점의 좌표를 포함하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  8. 제7항에 있어서,
    상기 제1카메라 외부 파라미터 행렬은 상기 제1스테레오 카메라의 회전 정보, 및 월드 좌표계의 원점을 상기 제1스테레오 카메라의 로컬 좌표계로 표시한 값을 포함하고,
    상기 제2카메라 외부 파라미터 행렬은 상기 제2스테레오 카메라의 회전 정보, 및 상기 월드 좌표계의 원점을 상기 제2스테레오 카메라의 로컬 좌표계로 표시한 값을 포함하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  9. 제8항에 있어서,
    상기 가상 카메라 프로젝션 행렬들을 이용하여 상기 포인트 집합을 새롭게 프로젝션하여 새로운 프로젝션 결과들을 획득하는 단계;
    상기 제1프로젝션 결과와 상기 제2프로젝션 결과를 포함하는 초기 프로젝션 결과들, 및 상기 새로운 프로젝션 결과들 사이를 매핑시키는 호모그래피 행렬들을 계산하는 단계; 및
    상기 제1영상과 상기 제2영상에 상기 호모그래피 행렬들을 적용하여 렉티피케이션된 스테레오 영상들을 획득하는 단계를 더 포함하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  10. 제6항에 있어서, 상기 (a)단계는,
    상기 제1카메라 내부 파라미터 행렬(K1)과 상기 제1카메라 외부 파라미터 행렬(T1)에 의해 정의되는 제1카메라 프로젝션 행렬(P1=K1T1) 및 상기 제2카메라 내부 파라미터 행렬(K2)과 상기 제2카메라 외부 파라미터 행렬(T2)에 의해 정의되는 제2카메라 프로젝션 행렬(P2=K2T2)을 수신하는 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법.
  11. 제1항에 기재된 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법을 수행하기 위해 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램.
  12. 제6항에 기재된 캘리브레이트된 스테레오 카메라들에 의해 캡쳐된 스테레오 영상들을 렉티피케이션하는 방법을 수행하기 위해 컴퓨터 판독가능한 저장 매체에 저장된 컴퓨터 프로그램.



KR1020180142248A 2018-11-19 2018-11-19 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램 KR20200057929A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180142248A KR20200057929A (ko) 2018-11-19 2018-11-19 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180142248A KR20200057929A (ko) 2018-11-19 2018-11-19 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20200057929A true KR20200057929A (ko) 2020-05-27

Family

ID=70911060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180142248A KR20200057929A (ko) 2018-11-19 2018-11-19 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20200057929A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112655024A (zh) * 2020-10-30 2021-04-13 华为技术有限公司 一种图像标定方法及装置
CN112837373A (zh) * 2021-03-03 2021-05-25 福州视驰科技有限公司 一种不需要特征点匹配的多相机位姿估计方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101095670B1 (ko) 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101095670B1 (ko) 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112655024A (zh) * 2020-10-30 2021-04-13 华为技术有限公司 一种图像标定方法及装置
CN112655024B (zh) * 2020-10-30 2022-04-22 华为技术有限公司 一种图像标定方法及装置
CN112837373A (zh) * 2021-03-03 2021-05-25 福州视驰科技有限公司 一种不需要特征点匹配的多相机位姿估计方法
CN112837373B (zh) * 2021-03-03 2024-04-26 福州视驰科技有限公司 一种不需要特征点匹配的多相机位姿估计方法

Similar Documents

Publication Publication Date Title
US10559090B2 (en) Method and apparatus for calculating dual-camera relative position, and device
CN110705574B (zh) 定位方法及装置、设备、存储介质
WO2017076106A1 (zh) 图像的拼接方法和装置
US8355565B1 (en) Producing high quality depth maps
US10194130B2 (en) Image processing apparatus, image processing method, and program
US9491452B2 (en) Camera calibration
US11488354B2 (en) Information processing apparatus and information processing method
US9460513B1 (en) Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
US20200288102A1 (en) Image processing method and apparatus
WO2022052582A1 (zh) 一种图像配准方法、装置及电子设备和存储介质
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
US10769811B2 (en) Space coordinate converting server and method thereof
CN115035235A (zh) 三维重建方法及装置
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN113494893A (zh) 一种三维激光扫描系统的标定方法、装置和计算机设备
TWI599987B (zh) 點雲拼接系統及方法
WO2022267939A1 (zh) 图像处理方法及装置、计算机可读存储介质
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
US11205281B2 (en) Method and device for image rectification
JP5769248B2 (ja) ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
GB2561525A (en) Method and corresponding device for digital 3D reconstruction
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017126264A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right