KR20210085953A - 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법 - Google Patents

구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법 Download PDF

Info

Publication number
KR20210085953A
KR20210085953A KR1020190179557A KR20190179557A KR20210085953A KR 20210085953 A KR20210085953 A KR 20210085953A KR 1020190179557 A KR1020190179557 A KR 1020190179557A KR 20190179557 A KR20190179557 A KR 20190179557A KR 20210085953 A KR20210085953 A KR 20210085953A
Authority
KR
South Korea
Prior art keywords
cost function
spherical object
equation
camera
transformation matrix
Prior art date
Application number
KR1020190179557A
Other languages
English (en)
Other versions
KR102375135B1 (ko
Inventor
최욱
황원준
권영찬
장재원
Original Assignee
인천대학교 산학협력단
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단, 아주대학교산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020190179557A priority Critical patent/KR102375135B1/ko
Publication of KR20210085953A publication Critical patent/KR20210085953A/ko
Application granted granted Critical
Publication of KR102375135B1 publication Critical patent/KR102375135B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법은 다시점 카메라 위치 보정에서 복수의 깊이 센서의 시점 간의 변환 정보의 계산시 정확하고 효율적인 번들 조정을 수행하여 정확도를 유지하면서 계산 시간을 획기적으로 줄일 수 있는 효과가 있다.

Description

구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법{Apparatus and Method for Cailbrating Carmeras Loaction of Muti View Using Spherical Object}
본 발명은 카메라 위치 보정 장치에 관한 것으로서, 더욱 상세하게는 다시점 카메라 위치 보정에서 복수의 깊이 센서의 시점 간의 변환 정보의 계산시 정확하고 효율적인 번들 조정을 수행하여 정확도를 유지하면서 계산 시간을 획기적으로 줄일 수 있는 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법에 관한 것이다.
3차원 스캐닝 기술은 컴퓨터 비전 및 그래픽스 분야에서 오랫동안 연구가 진행된 분야이다. 물체의 3차원 스캐닝을 위해서는 고가의 3차원 스캐너 장치가 필요하기 때문에 주로 산업용으로만 사용되어 왔다.
그러나 2010년 마이크로소프트사의 키넥트(Kinect)가 기존의 장치에 비하여 매우 저가로 출시되면서 산업용에서 일반 산업용으로 활용 범위가 확대되고 있다.
키넥트는 게임용 인터페이스 용도로 출시되었기 때문에 3차원 스캐닝의 정밀도가 산업용에 비하여 현저히 떨어진다.
3차원 스캐너를 보다 다양한 분야에 적용하기 위해서는 물체의 3차원 형상을 획득하는 것이 필수적이다. 이를 위해 키넥트는 한 개의 RGB 카메라와 한 개의 깊이(Depth) 카메라로 구성되어 있으며, 이러한 카메라를 일반적으로 RGB-D 카메라라고 부른다.
한편 여러 대의 3차원 RGB-D 카메라를 동시에 사용하여 물체의 360도 전체의 3차원 스캐닝을 위한 연구도 진행되고 있다.
하나의 RGB-D 카메라는 단일 시점에서만 물체의 형상와 색상 정보를 획득하기 때문에 물체의 전체 형상과 색상 정보를 복원할 수 없다. 반면, 여러 대의 RGB-D 카메라를 사용하면, 물체의 전체 형상과 색상 정보를 복원할 수 있고, 그 결과를 이용하여 정밀한 동작 인식, 360도 3차원 모델링, 가상 피팅, 특수 효과 등의 분야에 적용할 수 있는 장점이 있다.
여러 대의 RGB-D 카메라는 구형 물체의 여러 쌍의 컬러 및 깊이 이미지를 동시에 획득하고, 각 색상 및 깊이 이미지의 쌍으로부터 구 중심의 3D 좌표를 추정하며, 구면 중심을 뷰 전체의 해당 지점으로 사용하여 RGB-D 카메라 간의 변환이 추정된다.
마지막으로 기준 카메라에서 나머지 RGB-D 카메라로의 변환은 번들 조정 알고리즘에 의해 구체화된다.
3차원 재구성에서 사용하는 번들 조정 알고리즘은 3차원 점들을 2차원 이미지에 투영하여 재투영점을 계산하고, 파라미터의 값을 변화시켜가면서 특징점과 재투영점의 차이인 에러를 계산한다. 이러한 복잡한 연산 특징으로 인하여 계산 집약적인 특성이 두드러져 실시간으로 번들 조정 알고리즘을 구현하기 어려운 문제점이 있다. 이러한 문제점을 해결하기 위하여 멀티코어 CPU를 활용하여 연산 속도를 높이는 연구, GPU의 병렬 처리 등 번들 조정 알고리즘의 처리 속도를 향상시키기 위한 다양한 연구가 진행되고 있으나, 획기적인 처리 속도 향상이 이루어지지 않고 있다.
한국 등록특허번호 제10-1891201호
이와 같은 문제점을 해결하기 위하여, 본 발명은 다시점 카메라 위치 보정에서 복수의 깊이 센서의 시점 간의 변환 정보의 계산시 정확하고 효율적인 번들 조정을 수행하여 정확도를 유지하면서 계산 시간을 획기적으로 줄일 수 있는 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 구형 물체를 이용한 다시점 카메라 위치 보정 장치는,
위치가 고정된 복수의 깊이 센서에 의해 제1 위치로부터 제N 위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하는 RGB-D 카메라부;
상기 각각의 위치에서 획득한 상기 구형 물체의 깊이 정보를 이용하여 상기 각각의 위치에 대한 상기 구형 물체의 중심점의 좌표를 추출하는 좌표 추출부;
상기 추출한 구형 물체의 중심점의 좌표와 카메라 자세 파라미터인 회전 변환 행렬과 평행이동 벡터를 이용하여 상기 복수의 깊이 센서의 시점 간의 변환 정보를 계산하는 자세 추정부; 및
상기 자세 추정부에서 변환 정보를 계산하는 경우, 상기 중심점의 좌표를 고정하고, 상기 회전 변환 행렬과 상기 평행이동 벡터에 대한 제1 비용함수를 생성하고, 상기 회전 변환 행렬과 상기 평행이동 벡터를 고정하고, 상기 중심점의 좌표에 대한 제2 비용함수를 생성하여 2개의 블록으로 변수를 분할하고, 상기 제1 비용함수에서 에러가 최소일 때의 제1 파라미터 값을 계산한 후, 다시 상기 제2 비용함수에서 에러가 최소일 때의 제2 파라미터 값을 계산하며, 상기 제1 비용함수와 상기 제2 비용함수를 서로 번갈아 가면서 계산하는 교번 최적화 알고리즘을 수행하여 상기 변화 정보를 계산하는 번들 조정부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 구형 물체를 이용한 다시점 카메라 위치 보정 방법은,
RGB-D 카메라부에서 위치가 고정된 복수의 깊이 센서에 의해 제1 위치로부터 제N 위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하는 제1 단계;
상기 각각의 위치에서 획득한 상기 구형 물체의 깊이 정보를 이용하여 상기 각각의 위치에 대한 상기 구형 물체의 중심점의 좌표를 추출하는 제2 단계;
상기 추출한 구형 물체의 중심점의 좌표와 카메라 자세 파라미터인 회전 변환 행렬과 평행이동 벡터를 이용하여 상기 복수의 깊이 센서의 시점 간의 변환 정보를 계산하는 제3 단계;
상기 변환 정보를 계산하는 경우, 상기 중심점의 좌표를 고정하고, 상기 회전 변환 행렬과 상기 평행이동 벡터에 대한 제1 비용함수를 생성하고, 상기 제1 비용함수에서 에러가 최소일 때의 제1 파라미터 값을 계산하는 제4 단계; 및
상기 회전 변환 행렬과 상기 평행이동 벡터를 고정하고, 상기 중심점의 좌표에 대한 제2 비용함수를 생성하고, 상기 제2 비용함수에서 에러가 최소일 때의 제2 파라미터 값을 계산하는 제5 단계를 포함하며,
상기 제4 단계와 상기 제5 단계를 서로 번갈아 가면서 수행하는 교번 최적화 알고리즘을 수행하여 상기 변환 정보를 최종적으로 계산하는 단계를 더 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 다시점 카메라 위치 보정에서 복수의 깊이 센서의 시점 간의 변환 정보의 계산시 정확하고 효율적인 번들 조정을 수행하여 정확도를 유지하면서 계산 시간을 획기적으로 줄일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 구형 물체를 다시점에서 RGB-D 카메라로 촬영하는 모습을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 구형 물체를 이용한 다시점 카메라 위치 보정 장치의 내부 구성을 간략하게 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 비감소 함수를 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 번들 조정 알고리즘의 속도 향상을 위한 방법을 강력한 비용함수를 번갈아 최적화하여 정확하고 효율적인 번들 조정 알고리즘을 제공함으로써 정확도를 유지하면서 계산 시간을 획기적으로 줄일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 구형 물체를 다시점에서 RGB-D 카메라로 촬영하는 모습을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 구형 물체를 이용한 다시점 카메라 위치 보정 장치의 내부 구성을 간략하게 나타낸 블록도이다.
본 발명의 실시예에 따른 구형 물체를 이용한 다시점 카메라 위치 보정 장치는 RGB-D 카메라부(12, 14, 16, 18), 제어부(110), 좌표 추출부(120), 자세 추정부(130) 및 번들 조정부(140)를 포함한다.
RGB-D 카메라부(12, 14, 16, 18)는 한 개의 RGB 카메라와 한 개의 깊이(Depth) 카메라로 구성된다.
RGB-D 카메라부(12, 14, 16, 18)는 하나의 구형 물체에 대하여 여러 각도에서 M개의 RGB-D 카메라부(12, 14, 16, 18)와 N개의 깊이 이미지를 생성한다.
RGB-D 카메라부(12, 14, 16, 18)는 위치가 고정된 복수의 깊이 센서에 의해 제1 위치로부터 제N 위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득한다.
좌표 추출부(120)는 각각의 위치에서 획득한 구형 물체의 깊이 정보를 이용하여 각각의 위치에 대한 구형 물체의 중심점의 좌표를 추출한다.
i=1 내지 N,
Figure pat00001
에 속하는
Figure pat00002
와
Figure pat00003
의 쌍들에 각각 대응하는
Figure pat00004
와
Figure pat00005
카메라들의
Figure pat00006
와
Figure pat00007
의 i번째 깊이 이미지를 나타낸다.
좌표 추출부(120)는 깊이 이미지에서 3D 구형 물체의 중심을 추정한다. 3D 구형 물체의 중심(
Figure pat00008
)는
Figure pat00009
에 의해 나타낸다.
X 좌표, Y 좌표, Z 좌표는
Figure pat00010
,
Figure pat00011
및
Figure pat00012
로 각각 나타낸다.
제어부(110)는
Figure pat00013
에서 구체를 감지하는 못하는 경우,
Figure pat00014
의 가시성
Figure pat00015
을 0으로 설정하고, 구형 물체를 감지하는 경우,
Figure pat00016
의 가시성
Figure pat00017
을 1로 설정한다.
제어부(110)는 배경 혼란이나 RGB-D 카메라부(12, 14, 16, 18)의 불완전한 동기화로 인하여
Figure pat00018
=1 일지라도
Figure pat00019
가 정확하지 않을 수 있다.
자세 추정부(130)는 추출한 구형 물체의 중심점의 좌표와 카메라 자세 파라미터인 회전 변환 행렬과 평행이동 벡터를 이용하여 복수의 깊이 센서의 시점 간의 변환 정보를 계산한다.
자세 추정부(130)에서 계산되는
Figure pat00020
번째 카메라 프레임으로부터 기준 카메라 프레임까지 변환 정보는 3×3 회전 변환 행렬(
Figure pat00021
)과 3D 평행이동 벡터(
Figure pat00022
)에 의해 하기의 수학식 1과 같이 표현된다.
기준 카메라 프레임은 복수의 RGB-D 카메라 중에서 기준이 되는 카메라에서 촬영한 영상 프레임을 나타낸다.
Figure pat00023
여기서,
Figure pat00024
는 기준 카메라 프레임에서 구형 물체의 중심으로 변환되고, T는 역변환 행렬을 나타내고, q는 카메라 인덱스, i는 구형 물체를 촬영하는 횟수,
Figure pat00025
는 3×3 회전 변환 행렬,
Figure pat00026
는 평행이동 벡터를 나타낸다.
R1와 T1는 3×3 항등 행렬(Identity Matrix)과 크기가 0인 3D 영 벡터로 각각 고정된다.
기준 카메라 프레임에서
Figure pat00027
의 초기값들과 3D 구형 물체의 중심들(
Figure pat00028
)의 초기값은 하기의 수학식 2에 의해 계산된다.
Figure pat00029
와
Figure pat00030
는 하기의 수학식 2의 비용함수를 최소화하여 계산된다.
Figure pat00031
여기서,
Figure pat00032
는
Figure pat00033
의 음이 아닌 비감소 함수이고, 에러 e는 기준 카메라 프레임, 즉 기준이 되는 카메라 좌표계에서 계산된다.
수학식 2는 기준 카메라로 설정한 1번 카메라를 제외한 모든 카메라(q=2,...,M)의 3차원 회전 변환 행렬
Figure pat00034
, 평행이동 벡터
Figure pat00035
와 모든 N개의 영상에 대한 기준 카메라 좌표계에서의 구형 물체의 중심
Figure pat00036
이다.
카메라들의 3차원 회전 변환 행렬들과 평행이동 벡터, 기준 카메라 좌표계에서의 구의 중심들을 변수라고 하면, 수학식 2의 비용함수 J를 최소화시키는 변수를 찾는 것이다. 이때, 3차원 회전 변환 행렬, 평행이동 벡터, 기준 좌표계에서의 구의 중심의 초기값은 주어져 있다고 가정하고, 각각의 카메라에서 관측한 구형 물체의 중심 좌표
Figure pat00037
도 주어져 있다고 가정한다.
수학식 2의 J를 간략하게 정의하면, 카메라들의 3차원 회전 변환 행렬, 평행이동 벡터, 기준 좌표계에서의 구형 물체의 중심들이 최소화시켜야 하는 비용함수이다.
수학식 2를 최소화시키는 변수를 한 번에 찾는 방법은 없으며, 점진적으로 초기값을 갱신하여 수학식 2의 비용함수 J를 최소화시킨다.
이때,
Figure pat00038
가 모든 영상에 대해서 주어졌다고 가정하면, 변수는 3차원 회전 변환 행렬, 평행이동 벡터로 줄어들게 된다.
Figure pat00039
번째 카메라의 i번째 영상에서 관측된 구형 물체의 중심(
Figure pat00040
)를 수학식 1을 이용하여 기준 카메라 좌표계로 변환하면,
Figure pat00041
를 얻을 수 있다.
기준 카메라 좌표계에서 표현되는 구형 물체의 중심(
Figure pat00042
)은 모든 카메라의 i번째 영상에서 관측될 수 있지만, 관측된
Figure pat00043
를 기준 좌표계로 변환한
Figure pat00044
는 항상 일치하지 않는다.
본 발명의 구형 물체의 중심(
Figure pat00045
)은 모든 카메라에 대해서(즉, q=1,...,M)
Figure pat00046
와의 에러를 최소화시키는
Figure pat00047
이다. 이때, 에러는 수학식 2와 같이, X 좌표, Y 좌표, Z 좌표에 대해서 각각 정의된다.
예를 들면,
Figure pat00048
와
Figure pat00049
의 X축 방향의 차이는
Figure pat00050
로 나타낸다.
Figure pat00051
의 변환은
Figure pat00052
번째 카메라 프레임부터 기준 카메라 프레임까지이며, 에러 e는 기준 카메라 프레임에서 계산된다. 이러한 변환 정보는 비용함수가
Figure pat00053
의 특별한 경우에 대한 단순화된 교번 최적화 알고리즘과 일치하게 한다.
번들 조정 문제는 비선형 최적화 알고리즘을 적용하여 해결할 수 있다. 종래의 비용함수는 높은 계산 복잡도를 희생시키면서 Levenberg-Marquardt 알고리즘을 통해 최소화한다.
본 발명은 변수들을 두 개의 블록으로 변수를 분할함에 따라 서로 번갈아 가면서 계산하는 교번 최적화 알고리즘을 구성하고, 교번 최적화 알고리즘은 효율적이며, 병렬화가 가능하다.
번들 조정부(140)는 자세 추정부(130)에서 변환 정보를 계산하는 경우, 구형물체의 중심점의 좌표(
Figure pat00054
)를 고정하고, 카메라 자세 파라미터인 회전 변환 행렬과 평행이동 벡터에 대한 제1 비용함수(하기의 수학식 4)를 생성하고, 상기 회전 변환 행렬과 상기 평행이동 벡터를 고정하고(
Figure pat00055
), 상기 중심점의 좌표에 대한 제2 비용함수(하기의 수학식 6)를 생성한다.
번들 조정부(140)는 2개의 블록으로 변수를 분할하고, 제1 비용함수에서 에러가 최소일 때의 제1 파라미터 값을 계산한 후, 다시 제2 비용함수에서 에러가 최소일 때의 제2 파라미터 값을 계산하며, 제1 비용함수와 제2 비용함수를 서로 번갈아 가면서 계산하는 교번 최적화 알고리즘을 수행한다. 더욱 자세한 설명은 하기의 수학식 3 내지 6과 같다.
Figure pat00056
을 고정한 상태에서 하기의 수학식 3의 비용함수에서 에러를 최소일 때의 파라미터 값인
Figure pat00057
를 계산하는 문제로 축소된다.
Figure pat00058
여기서, JRT는 수학식 2의 비용함수 J와 동일하며, 다만 변수 중에
Figure pat00059
가 모든 i에 대해서 주어졌다고 가정하는 것이 차이점이 있다.
Figure pat00060
가 모든 영상에 대해서 주어졌다고 가정하면, 각각의 카메라에 대해서 독립적으로
Figure pat00061
를 최소화시키는 JRT를 최소화시키는 것과 동일하다.
하기의 수학식 4의
Figure pat00062
는
Figure pat00063
가 모든 영상에 대해서 주어졌다고 가정할 때, JRT 또는 J를 최소화시키기 위해서 각각의 3차원 회전 변환 행렬
Figure pat00064
, 평행이동 벡터
Figure pat00065
가 최소화시켜야 하는 비용함수이다.
Figure pat00066
수학식 4의
Figure pat00067
를 최소화하는 것은
Figure pat00068
와
Figure pat00069
와 무관하다.
Figure pat00070
을 고정한 상태에서
Figure pat00071
는
Figure pat00072
와
Figure pat00073
(q=2,...,M)에 대한 문제로 축소된다.
기준 카메라 프레임에 대해서 카메라 자세 파라미터(
Figure pat00074
와
Figure pat00075
)를 계산하는 것이 잘 알려진 자세 추정 방법이다.
번들 조정부(140)는
Figure pat00076
을 고정한 상태에서,
Figure pat00077
은 모든 q와 i를 고정한다.
번들 조정부(140)는 수학식 5의 비용함수에서 에러가 최소일 때의 파라미터 값인
Figure pat00078
를 계산하는 문제로 축소된다.
수학식 5는 전술한 수학식 4와 반대로 변수 중에 모든 카메라에 대해서 3차원 회전 변환 행렬
Figure pat00079
, 평행이동 벡터
Figure pat00080
가 주어졌다고 가정했을 때의 J이다. 즉, 수학식 5의 Jc는 수학식 2의 J와 동일하다.
다만, 변수 중에
Figure pat00081
,
Figure pat00082
가 모든 q에 대해서 주어졌다고 가정하는 점이 차이점이다.
수학식 5는 3차원 회전 변환 행렬
Figure pat00083
, 평행이동 벡터
Figure pat00084
가 모든 카메라에 대해서 주어졌다고 가정하면, 각각의 구형 물체의 중심좌표
Figure pat00085
에 대해서 독립적으로
Figure pat00086
를 최소화시키는 것은 Jc를 최소화시키는 것과 동일하다.
Figure pat00087
수학식 6은 3차원 회전 변환 행렬
Figure pat00088
, 평행이동 벡터
Figure pat00089
가 모든 카메라에 대해서 주어졌다고 가정할 때, Jc 또는 J를 최소화시키기 위해서 각각의
Figure pat00090
를 최소화시켜야 하는 비용함수이다.
Figure pat00091
Figure pat00092
에 유사한 방식으로
Figure pat00093
는
Figure pat00094
(i=1,...,N)에 대하여 병렬로 최소화할 수 있다.
Figure pat00095
를 최소화하는 두 가지 하위 문제를 기반으로 하고, 교번 최적화 알고리즘은
Figure pat00096
을 최소화하는데 서로 번갈아 가면서 계산하는 일례를 나타낸다.
번들 조정부(140)는 구형물체의 중심점의 좌표(
Figure pat00097
)를 고정하고 Step 2(제1 비용함수)를 계산하고,
Figure pat00098
을 고정하고, Step3(제2 비용함수)를 다시 계산하는 방식으로 서로 번갈아 가면서 계산하는 교번 최적화 알고리즘을 수행할 수 있다.
Figure pat00099
Figure pat00100
는 잘린 사각형 함수(Truncated Square Function)이고,
Figure pat00101
인 경우,
Figure pat00102
를 리턴하고, 그렇지 않은 경우,
Figure pat00103
를 리턴한다.
이러한
Figure pat00104
를 수학식 7과 도 3과 같이 나타낼 수 있다.
Figure pat00105
본 발명은 Levenberg-Marquardt 알고리즘에 의해
Figure pat00106
또는
Figure pat00107
의 최소값을 찾는다.
잘린 사각형 함수의 기울기가
Figure pat00108
근처에 잘 정의되어 있지 않지만, Levenberg-Marquardt 알고리즘의 구현은 실제로 잘 작동한다.
본 발명은 강력한 손실 함수를 제안하고 있지만, 다른 형식을 가지도록
Figure pat00109
를 변경할 수 있다.
예를 들면,
Figure pat00110
는
Figure pat00111
와 같은 사각형 함수(Square Function)일 수 있다.
교번 최적화 알고리즘의 3 단계는 선형 최소 제곱 문제(또는 L2 규범 최소화 문제)가 되고, 그 해는
Figure pat00112
의 평균이다. 따라서, 본 발명은 선형 최소 제곱 문제를 평균 계산으로 대체하여 3단계를 단순화할 수 있다.
본 발명의 에러는 기준 카메라 프레임에서 정의되어 있고, 평균은 실제로
Figure pat00113
의 최소값을 나타낸다.
교번 최적화는 블록 비선형 가우스-자이 델법으로 알려져 있으며, 변수의 파티셔닝은
Figure pat00114
의 첫 번째 블록과
Figure pat00115
의 두 번째 블록의 2개의 블록 분해로 간주 할 수 있다.
전역 최소화는 적어도 하나의 구성 요소에 대해 잘 정의되어 있고, 로컬 최소화는 나머지 구성 요소에 대해 잘 정의되어 있다고 가정한다면, 2개의 블록 분해 방법은 고정점에 대해 전체적으로 수렴됨을 증명할 수 있다.
충분히 큰 kmax의 증거로, L2 표준 최소화에 대한 글로벌 최소화가 잘 정의되어 있기 때문에 L2 표준 최소화의 특수 경우의 글로벌 수렴이 보장된다. 본 발명은 비용함수를 완전히 최소화하기보다 2단계와 3단계에 대해서 Levenberg-Marquardt 알고리즘의 최소화 단계를 하나만 적용한다. 이러한 절차는 비용을 증가시키지 않습니다.
본 발명은 에러를 줄이는 과정에서는 공지의 비선형 최적화 프로세스인 Levenberg-Marquardt 알고리즘을 사용한다.
본 발명은 번들 조정 알고리즘의 속도 향상을 위한 강력한 비용함수를 번갈아 최적화하여 정확하고 효율적인 번들 조정 알고리즘을 제공함으로써 정확도를 유지하면서 계산 시간을 획기적으로 줄일 수 있는 효과가 있다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
12: RGB-D 카메라부
14: RGB-D 카메라부
16: RGB-D 카메라부
18: RGB-D 카메라부
100: 카메라 위치 보정 장치
110: 제어부
120: 좌표 추출부
140: 번들 조정부

Claims (8)

  1. 위치가 고정된 복수의 깊이 센서에 의해 제1 위치로부터 제N 위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하는 RGB-D 카메라부;
    상기 각각의 위치에서 획득한 상기 구형 물체의 깊이 정보를 이용하여 상기 각각의 위치에 대한 상기 구형 물체의 중심점의 좌표를 추출하는 좌표 추출부;
    상기 추출한 구형 물체의 중심점의 좌표와 카메라 자세 파라미터인 회전 변환 행렬과 평행이동 벡터를 이용하여 상기 복수의 깊이 센서의 시점 간의 변환 정보를 계산하는 자세 추정부; 및
    상기 자세 추정부에서 변환 정보를 계산하는 경우, 상기 중심점의 좌표를 고정하고, 상기 회전 변환 행렬과 상기 평행이동 벡터에 대한 제1 비용함수를 생성하고, 상기 회전 변환 행렬과 상기 평행이동 벡터를 고정하고, 상기 중심점의 좌표에 대한 제2 비용함수를 생성하여 2개의 블록으로 변수를 분할하고, 상기 제1 비용함수에서 에러가 최소일 때의 제1 파라미터 값을 계산한 후, 다시 상기 제2 비용함수에서 에러가 최소일 때의 제2 파라미터 값을 계산하며, 상기 제1 비용함수와 상기 제2 비용함수를 서로 번갈아 가면서 계산하는 교번 최적화 알고리즘을 수행하여 상기 변화 정보를 계산하는 번들 조정부를 포함하는 것을 특징으로 하는 구형 물체를 이용한 다시점 카메라 위치 보정 장치.
  2. 제1항에 있어서,
    상기 자세 추정부에서 계산되는
    Figure pat00116
    번째 카메라 프레임으로부터 기준 카메라 프레임까지 변환 정보는 3×3 회전 변환 행렬과 3D 평행이동 벡터에 의해 하기의 수학식 1과 같이 표현되고,
    상기 기준 카메라 프레임에서
    Figure pat00117
    의 초기값들과 3D 구형 물체의 중심들(
    Figure pat00118
    )의 초기값은 하기의 수학식 2의 비용함수를 최소화하여 계산되는 것을 특징으로 하는 구형 물체를 이용한 다시점 카메라 위치 보정 장치.
    [수학식 1]
    Figure pat00119

    여기서,
    Figure pat00120
    는 기준 카메라 프레임에서 구형 물체의 중심으로 변환되고, T는 역변환 행렬을 나타내고, q는 카메라 인덱스, i는 구형 물체를 촬영하는 횟수,
    Figure pat00121
    는 3×3 회전 변환 행렬,
    Figure pat00122
    는 3D 평행이동 벡터를 나타내고, R1와 T1는 3×3 항등 행렬(Identity Matrix)과 크기가 0인 3D 영 벡터를 나타냄.
    [수학식 2]
    Figure pat00123

    여기서, 수학식 2는
    Figure pat00124
    ,
    Figure pat00125
    , 기준 카메라 좌표계에서의 구형 물체의 중심들이 최소화시켜야 하는 비용함수 J이고,
    Figure pat00126
    는
    Figure pat00127
    와
    Figure pat00128
    의 X축 방향의 차이이고,
    Figure pat00129
    는
    Figure pat00130
    의 음이 아닌 비감소 함수이고, 에러 e는 기준 카메라 프레임, 즉 기준이 되는 카메라 좌표계에서 계산됨.
  3. 제2항에 있어서,
    상기 번들 조정부는 상기 자세 추정부에서 변환 정보를 계산하는 경우, 상기 중심점의 좌표(
    Figure pat00131
    )을 고정하고, 상기 회전 변환 행렬과 상기 평행이동 벡터에 대한 제1 비용함수를 수학식 3과 수학식 4에 의해 생성하고, 상기 제1 비용함수에서 에러가 최소일 때의 제1 파라미터 값을 계산하는 것을 특징으로 하는 구형 물체를 이용한 다시점 카메라 위치 보정 장치.
    [수학식 3]
    Figure pat00132

    JRT는
    Figure pat00133
    가 모든 영상에 대해서 주어졌을 때, 각각의 카메라에 대해서 독립적으로
    Figure pat00134
    를 최소화시키는 비용함수임.
    [수학식 4]
    Figure pat00135

    여기서,
    Figure pat00136
    는
    Figure pat00137
    가 모든 영상에 대해서 주어졌다고 가정할 때, JRT 또는 J를 최소화시키기 위해서 각각의 3차원 회전 변환 행렬
    Figure pat00138
    , 평행이동 벡터
    Figure pat00139
    가 최소화시켜야 하는 비용함수임.
  4. 제2항에 있어서,
    상기 번들 조정부는 상기 회전 변환 행렬과 상기 평행이동 벡터인
    Figure pat00140
    을 고정하고, 상기 중심점의 좌표에 대한 제2 비용함수를 수학식 5와 수학식 6에 의해 생성하여 상기 제2 비용함수에서 에러가 최소일 때의 제2 파라미터 값을 계산하는 것을 특징으로 하는 구형 물체를 이용한 다시점 카메라 위치 보정 장치.
    [수학식 5]
    Figure pat00141

    여기서, Jc는 각각의 구형 물체의 중심좌표
    Figure pat00142
    에 대해서 독립적으로 비용함수
    Figure pat00143
    를 최소화시키는 것임.
    [수학식 6]
    Figure pat00144

    여기서,
    Figure pat00145
    은 3차원 회전 변환 행렬
    Figure pat00146
    , 평행이동 벡터
    Figure pat00147
    가 모든 카메라에 대해서 주어졌을 때, Jc 또는 J를 최소화시키기 위해서 각각의
    Figure pat00148
    를 최소화시켜야 하는 비용함수임.
  5. RGB-D 카메라부에서 위치가 고정된 복수의 깊이 센서에 의해 제1 위치로부터 제N 위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하는 제1 단계;
    상기 각각의 위치에서 획득한 상기 구형 물체의 깊이 정보를 이용하여 상기 각각의 위치에 대한 상기 구형 물체의 중심점의 좌표를 추출하는 제2 단계;
    상기 추출한 구형 물체의 중심점의 좌표와 카메라 자세 파라미터인 회전 변환 행렬과 평행이동 벡터를 이용하여 상기 복수의 깊이 센서의 시점 간의 변환 정보를 계산하는 제3 단계;
    상기 변환 정보를 계산하는 경우, 상기 중심점의 좌표를 고정하고, 상기 회전 변환 행렬과 상기 평행이동 벡터에 대한 제1 비용함수를 생성하고, 상기 제1 비용함수에서 에러가 최소일 때의 제1 파라미터 값을 계산하는 제4 단계; 및
    상기 회전 변환 행렬과 상기 평행이동 벡터를 고정하고, 상기 중심점의 좌표에 대한 제2 비용함수를 생성하고, 상기 제2 비용함수에서 에러가 최소일 때의 제2 파라미터 값을 계산하는 제5 단계를 포함하며,
    상기 제4 단계와 상기 제5 단계를 서로 번갈아 가면서 수행하는 교번 최적화 알고리즘을 수행하여 상기 변환 정보를 최종적으로 계산하는 단계를 더 포함하는 것을 특징으로 하는 구형 물체를 이용한 다시점 카메라 위치 보정 방법.
  6. 제5항에 있어서,
    상기 변환 정보를 계산하는 제3 단계는,
    Figure pat00149
    번째 카메라 프레임으로부터 기준 카메라 프레임까지 변환 정보는 3×3 회전 변환 행렬과 3D 평행이동 벡터에 의해 하기의 수학식 1과 같이 표현되고,
    상기 기준 카메라 프레임에서
    Figure pat00150
    의 초기값들과 3D 구형 물체의 중심들(
    Figure pat00151
    )의 초기값은 하기의 수학식 2의 비용함수를 최소화하여 계산되는 단계를 더 포함하는 것을 특징으로 하는 구형 물체를 이용한 다시점 카메라 위치 보정 방법.
    [수학식 1]
    Figure pat00152

    여기서,
    Figure pat00153
    는 기준 카메라 프레임에서 구형 물체의 중심으로 변환되고, T는 역변환 행렬을 나타내고, q는 카메라 인덱스, i는 구형 물체를 촬영하는 횟수,
    Figure pat00154
    는 3×3 회전 변환 행렬,
    Figure pat00155
    는 3D 평행이동 벡터를 나타내고, R1와 T1는 3×3 항등 행렬(Identity Matrix)과 크기가 0인 3D 영 벡터를 나타냄.
    [수학식 2]
    Figure pat00156

    여기서, 수학식 2는
    Figure pat00157
    ,
    Figure pat00158
    , 기준 카메라 좌표계에서의 구형 물체의 중심들이 최소화시켜야 하는 비용함수 J이고,
    Figure pat00159
    는
    Figure pat00160
    와
    Figure pat00161
    의 X축 방향의 차이이고,
    Figure pat00162
    는
    Figure pat00163
    의 음이 아닌 비감소 함수이고, 에러 e는 기준 카메라 프레임, 즉 기준이 되는 카메라 좌표계에서 계산됨.
  7. 제6항에 있어서,
    상기 제1 파라미터 값을 계산하는 제4 단계는,
    상기 변환 정보를 계산하는 경우, 상기 중심점의 좌표(
    Figure pat00164
    )을 고정하고, 상기 회전 변환 행렬과 상기 평행이동 벡터에 대한 제1 비용함수를 수학식 3과 수학식 4에 의해 생성하고, 상기 제1 비용함수에서 에러가 최소일 때의 제1 파라미터 값을 계산하는 단계를 더 포함하는 것을 특징으로 하는 구형 물체를 이용한 다시점 카메라 위치 보정 방법.
    [수학식 3]
    Figure pat00165

    JRT는
    Figure pat00166
    가 모든 영상에 대해서 주어졌을 때, 각각의 카메라에 대해서 독립적으로
    Figure pat00167
    를 최소화시키는 비용함수임.
    [수학식 4]
    Figure pat00168

    여기서,
    Figure pat00169
    는
    Figure pat00170
    가 모든 영상에 대해서 주어졌을 때, JRT 또는 J를 최소화시키기 위해서 각각의 3차원 회전 변환 행렬
    Figure pat00171
    , 평행이동 벡터
    Figure pat00172
    가 최소화시켜야 하는 비용함수임.
  8. 제6항에 있어서,
    상기 제3 파라미터 값을 계산하는 제5 단계는,
    상기 회전 변환 행렬과 상기 평행이동 벡터인
    Figure pat00173
    을 고정하고, 상기 중심점의 좌표에 대한 제2 비용함수를 수학식 5와 수학식 6에 의해 생성하여 상기 제2 비용함수에서 에러가 최소일 때의 제2 파라미터 값을 계산하는 단계를 더 포함하는 것을 특징으로 하는 구형 물체를 이용한 다시점 카메라 위치 보정 방법.
    [수학식 5]
    Figure pat00174

    여기서, Jc는 각각의 구형 물체의 중심좌표
    Figure pat00175
    에 대해서 독립적으로 비용함수
    Figure pat00176
    를 최소화시키는 것임.
    [수학식 6]
    Figure pat00177

    여기서,
    Figure pat00178
    은 3차원 회전 변환 행렬
    Figure pat00179
    , 평행이동 벡터
    Figure pat00180
    가 모든 카메라에 대해서 주어졌다고 가정할 때, Jc 또는 J를 최소화시키기 위해서 각각의
    Figure pat00181
    를 최소화시켜야 하는 비용함수임.
KR1020190179557A 2019-12-31 2019-12-31 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법 KR102375135B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179557A KR102375135B1 (ko) 2019-12-31 2019-12-31 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179557A KR102375135B1 (ko) 2019-12-31 2019-12-31 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210085953A true KR20210085953A (ko) 2021-07-08
KR102375135B1 KR102375135B1 (ko) 2022-03-17

Family

ID=76894662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179557A KR102375135B1 (ko) 2019-12-31 2019-12-31 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102375135B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240014244A (ko) 2022-07-25 2024-02-01 한국전자통신연구원 다시점 rgb-d 카메라 기반 3차원 관절 데이터 합성 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891201B1 (ko) 2016-12-09 2018-08-23 한국과학기술원 전방향 카메라의 깊이 지도 획득 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891201B1 (ko) 2016-12-09 2018-08-23 한국과학기술원 전방향 카메라의 깊이 지도 획득 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Fast and Robust Extrinsic Calibration for RGB-D Camera Networks, Sensors 18(1), 2018.01.* *
Multi-Cue-Based Circle Detection and Its Application to Robust Extrinsic Calibration of RGB-D Cameras, Sensors 19(7), 2019.03.* *

Also Published As

Publication number Publication date
KR102375135B1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
JP3745117B2 (ja) 画像処理装置及び画像処理方法
KR100721536B1 (ko) 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법
KR100755450B1 (ko) 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP2020535547A (ja) 深度推定方法及び装置、電子機器、プログラム並びに媒体
CN102129708A (zh) 增强现实环境中快速多层次虚实遮挡处理方法
CN110853151A (zh) 一种基于视频的三维立体点集恢复方法
JP2000215311A (ja) 仮想視点画像生成方法およびその装置
CN112734890A (zh) 基于三维重建的人脸替换方法及装置
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
JP5178538B2 (ja) 深度マップを画像から決定する方法、深度マップを決定する装置
KR102375135B1 (ko) 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법
JP2009530701A5 (ko)
JP2016126673A (ja) 情報処理装置及びその制御方法、並びに、ビデオカメラ
JP2014116012A (ja) 画像間の色転送を行う方法および装置
KR100837776B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
JP7033294B2 (ja) 撮像システム、撮像方法
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
CN115841539A (zh) 一种基于可视外壳的三维光场生成方法和装置
CN112116653B (zh) 一种多张rgb图片的物体姿态估计方法
Knorr et al. From 2D-to stereo-to multi-view video
Okura et al. Motion parallax representation for indirect augmented reality
CN111915740A (zh) 一种快速的三维图像获取方法
Wu et al. Projective rectification based on relative modification and size extension for stereo image pairs

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right