KR20080107345A - 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법 - Google Patents

입체 카메라, 및 입체 카메라의 입체 영상 인식 방법 Download PDF

Info

Publication number
KR20080107345A
KR20080107345A KR1020080118409A KR20080118409A KR20080107345A KR 20080107345 A KR20080107345 A KR 20080107345A KR 1020080118409 A KR1020080118409 A KR 1020080118409A KR 20080118409 A KR20080118409 A KR 20080118409A KR 20080107345 A KR20080107345 A KR 20080107345A
Authority
KR
South Korea
Prior art keywords
image
plane
images
subject
camera
Prior art date
Application number
KR1020080118409A
Other languages
English (en)
Inventor
김중구
유재형
최수욱
손미향
Original Assignee
(주) 비전에스티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 비전에스티 filed Critical (주) 비전에스티
Priority to KR1020080118409A priority Critical patent/KR20080107345A/ko
Publication of KR20080107345A publication Critical patent/KR20080107345A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

입체 카메라, 및 입체 카메라의 입체 영상 인식 방법이 개시된다. 입체 카메라는 평면 영상 검출부, 및 변환 영상 산출부를 포함한다. 평면 영상 검출부는 소정 거리 서로 이격된 복수의 경로로 각각 입력된 피사체에 대한 복수의 평면 영상을 검출한다. 변환 영상 산출부는 피사체상의 위치와 대응하는 평면 영상상 위치의 대응 관계를 표현하는 소정의 파라미터를 이용하여 각 평면 영상을 변환한 복수의 변환 평면 영상을 산출한다. 이와 같이, 미리 설정된 파라미터를 이용해 검출된 영상 정보를 변환함으로써 피사체의 입체 정보를 계산하기 위해 필요한 정확한 영상 정보를 획득할 수 있게 된다.
스테레오 카메라, 칼리브레이션, 파라미터, 에피폴라라인

Description

입체 카메라, 및 입체 카메라의 입체 영상 인식 방법{stereo camera and method for recognizing stereoscopic image of stereo camera}
본 발명은 카메라, 및 카메라의 영상 인식 방법에 관한 것으로서, 더욱 상세하게는 입체 영상을 촬영하는 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법에 관한 것이다.
일반적으로 스테레오 카메라(stereo camera)란 동시에 2장의 화상을 얻을 수 있게 한 특수 카메라로서, 카메라 몸통 좌우에 7cm 정도의 간격을 두고, 2개의 렌즈를 설치하여 같은 피사체를 촬영하여 동시에 2장의 화상을 얻을 수 있다.
사람은 두 눈으로 물체를 입체시하고 원근을 판단하게 된다. 입체 카메라는 이런 원리를 응용하여 만든 것으로, 두 눈의 간격은 대체로 6 ~ 7cm 정도이며, 입체 카메라도 이에 따라 6.5 ~ 7cm 정도의 기선간격을 두고 같은 성능의 렌즈를 좌우에 나란히 설치한 쌍안 카메라로 이루어진다. 두 렌즈는 초점 조절과 노출 조절, 그리고 셔터의 작동이 연동되도록 설계되어 있다.
입체 카메라로 촬영한 슬라이드나 사진을 스테레오 뷰어(stereo scopic viewer: 스테레오 카메라나 스테레오 어댑터로 촬영한 포지티브 필름)로 보면 두 렌즈의 시점의 차로 인한 시차로 인해 입체적으로 피사체의 상이 보이게 된다.
인간이 좌우 두 눈을 통해서 사물을 보고 입체적으로 인식하는 능력은 뇌의 시각 피질에서 일어나는 신비로운 현상으로 많은 시각 기능 중 가장 핵심 기능에 속한다.
로봇 등의 시스템에서 이러한 인간의 시각 기능을 모방하여 입체 정보를 얻을 수 있는 독립된 스테레오 시각 시스템을 구현하기 위해서는 사람의 뇌에서 일어나는 입체 시각 기능을 카메라에서 구현해 주어야 한다.
그러나 종래의 스테레오 카메라는 단순히 두 개의 좌우 영상을 만들어서 출력만 해 주는 기능을 가지며, 사람이 스테레오 카메라를 통해 얻은 영상을 직접 눈으로 봄으로서 사람의 뇌에서 입체 현상을 경험하도록 고안되어 있는 경우가 대부분이다.
로봇과 같이 인간의 시각 기능을 모방하여 입체 정보를 얻을 수 있는 독립된 스테레오 시각 시스템을 구현하기 위해서는 사람의 뇌에서 일어나는 입체 시각 기능을 카메라에서 계산해 주어야 한다.
이 경우, 스테레오 카메라는 단순한 카메라의 좌우 배열을 통해서 구현되는 것이 아니라, 입체 시각 기능의 계산을 위한 정확한 영상 정보를 획득하여야 한다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 인간의 입체 시각 기능을 구현하기 위해 필요한 정확한 영상 정보를 획득할 수 있는 카메라, 및 정확한 영상 정보 획득 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에 따른 입체 카메라는 평면 영상 검출부, 및 변환 영상 산출부를 포함한다. 평면 영상 검출부는 소정 거리 서로 이격된 복수의 경로로 각각 입력된 피사체에 대한 복수의 평면 영상을 검출한다. 변환 영상 산출부는 피사체상의 위치와 대응하는 평면 영상상 위치의 대응 관계를 표현하는 소정의 파라미터를 이용하여 각 평면 영상을 변환한 복수의 변환 평면 영상을 산출한다. 이와 같이, 미리 설정된 파라미터를 이용해 검출된 영상 정보를 변환함으로써 피사체의 입체 정보를 계산하기 위해 필요한 정확한 영상 정보를 획득할 수 있게 된다.
소정의 파라미터를 저장하는 파라미터 저장부를 더 포함할 수 있다. 파라미터 저장함으로써 저장된 파라미터를 외부로 전송하거나, 외부로부터 파라미터를 전송받아 저장할 수 있게 된다.
피사체상의 점들과 상기 피사체 상의 점에 대응하는 복수의 평면 영상상의 점들을 포함하는 평면과, 평면 영상의 평면이 교차하는 선을 산출하는 에피폴라라인 산출부를 더 포함할 수 있다. 에피폴라라인을 산출함으로써 복수의 변환 평면 영상에서 피사체의 대응점들을 보다 용이하게 구할 수 있게 된다.
변환된 복수의 변환 평면 영상이 서로 동일한 밝기를 가지도록 제어하는 밝기 제어부를 더 포함할 수 있다. 복수의 변환 평면 영상들이 동일한 밝기를 가지도록 함으로써 보다 정확한 입체 영상 정보를 얻을 수 있게 된다.
복수의 변환 평면 영상으로부터 피사체의 입체 정보를 산출하는 입체 정보 산출부를 더 포함할 수 있다. 입체 정보 산출부는 카메라에서 입체 시각 구현을 위한 영상 정보 획득뿐만 아니라 입체 시각 정보의 구현도 가능하게 해 준다.
아울러, 상기 입체 카메라가 입체 영상을 인식하는 방법이 함께 개시된다.
본 발명에 의하면, 입체 시각 기능의 계산을 위한 정확한 영상 정보를 획득할 수 있게 되어, 인간의 시각 기능을 모방하여 입체 정보를 얻을 수 있는 독립된 스테레오 시각 시스템을 구현할 수 있게 된다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명에 따른 입체 카메라의 일 실시예의 개략적인 블록도이다.
도면에서 입체 카메라(100)는 평면 영상 검출부(110), 변환 영상 산출부(120), 파라미터 저장부(130), 에피폴라라인 산출부(140), 밝기 제어부(150), 입 체 정보 산출부(160)를 포함한다.
평면 영상 검출부(110)는 소정 거리 서로 이격된 복수의 경로로 각각 입력된 피사체에 대한 복수의 평면 영상을 검출한다. 평면 영상 검출부(110)는 렌즈, 및 CMOS와 같은 영상 센서를 이용하여 구현될 수 있다.
변환 영상 산출부(120)는 피사체상의 위치와 대응하는 평면 영상상 위치의 대응 관계를 표현하는 소정의 파라미터를 이용하여 각 평면 영상을 변환한 복수의 변환 평면 영상을 산출한다. 이와 같이, 미리 설정된 파라미터를 이용해 검출된 영상 정보를 변환함으로써 피사체의 입체 정보를 계산하기 위해 필요한 정확한 영상 정보를 획득할 수 있게 된다.
파라미터 저장부(130)는 소정의 파라미터를 저장한다. 파라미터 저장함으로써 저장된 파라미터를 외부로 전송하거나, 외부로부터 파라미터를 전송받아 저장할 수 있게 된다.
에피폴라라인 산출부(140)는 피사체 상의 점들과 상기 피사체 상의 점에 대응하는 복수의 평면 영상 상의 점들을 포함하는 평면과, 평면 영상의 평면이 교차하는 선을 산출한다. 에피폴라라인을 산출함으로써 복수의 변환 평면 영상에서 피사체의 대응점들을 보다 용이하게 구할 수 있게 된다.
밝기 제어부(150)는 변환된 복수의 변환 평면 영상이 서로 동일한 밝기를 가지도록 제어한다. 복수의 변환 평면 영상들이 동일한 밝기를 가지도록 함으로써 보다 정확한 입체 영상 정보를 얻을 수 있게 된다.
입체 정보 산출부(160)는 복수의 변환 평면 영상으로부터 피사체의 입체 정 보를 산출한다. 입체 정보 산출부(160)는 카메라에서 입체 시각 구현을 위한 영상 정보 획득뿐만 아니라 입체 시각 정보의 구현도 가능하게 해 준다.
본 실시예에서 변환 영상 산출부(120), 에피폴라라인 산출부(140), 밝기 제어부(150), 입체 정보 산출부(160)는 각각의 별개의 구성으로 표현되었지만, 실제로 구현 시에는 하나 또는 다른 수의 장치로 구현될 수도 있을 것이다.
또한, 본 실시예에서는 입체 정보 산출부(160)가 입체 카메라(100)에 포함되었지만, 다른 실시예에서는 별도의 장치로 구현되어, 입체 카메라(100)로부터 획득한 영상 정보를 전송받아 입체 정보를 산출할 수도 있을 것이다.
도 2는 도 1의 입체 카메라의 보다 구체적인 형태의 개략적인 블록도이다.
왼쪽 및 오른쪽 카메라(212, 214)는 렌즈와 CMOS 센서 (또는 CCD 센서)로 구성되며, BT656 데이터 포맷으로 영상 입력 데이터 (IL,IR)가 DSP 모듈(220)로 전달된다. DSP 모듈은 SDRAM(230)을 이용하여 초기 입력 영상과 계산과정에서 발생한 중간 결과 영상을 저장한다.
카메라 칼리브레이션, 렉티피케이션, 밝기 조절 등의 영상 전처리를 수행한 후 전처리 과정을 마친 좌우 영상 (IL',IR')을 USB2.0 인터페이스(250)를 통해 출력하거나, 실시간 스테레오 정합 모듈(240)로 좌우 영상 정보(IL',IR')를 전달한 후 디스페리티 맵(disparity map)을 USB2.0 인터페이스(250)를 통해 출력한다.
스테레오 카메라에 필요한 파라미터(θ)는 PC로부터 필요에 따라 USB2.0 인터페이스를 통해서 전달받아 Flash 메모리에 저장하거나, PC 쪽으로 백업을 할 수 있도록 한다.
스테레오 영상 전처리의 핵심이 되는 카메라 칼리브레이션, 렉티피케이션, 밝기 조절에 대하여 설명하자면 다음과 같다.
카메라 칼리브레이션
카메라를 통해 투영된 영상으로부터 스테레오 정합을 제대로 하려면 먼저 카메라의 기구적, 광학적 특징을 나타내는 카메라 칼리브레이션 과정이 반드시 선행되어야 한다. 카메라 칼리브레이션이란 3차원 공간상에 존재하는 물체는 카메라를 통해 2차원의 평면에 투영된 상으로 맺히게 되는데 이때 3차원 공간상의 점과 이 점이 카메라를 통하여 투영되어 얻어진 점 사이의 대응 관계를 기술하는 데에 사용되는 파라미터들을 찾아내는 과정을 의미한다.
카메라 모델
비전 문제를 다룰 때 흔히 사용하는 카메라 모델은 바늘구멍 모델(pinhole model)이다. 바늘구멍 모델의 구성은 도 3과 같다. 3차원 공간상의 임의의 점 Mc의 이미지의 mr은 점 Mc와 점 C를 이은 직선이 가상의 평면 r과 만나는 점에 해당된다. 이때 점 C를 광중심(optical center)이라 하고 가상 평면 r을 retinal plane 이라 한다. 그리고 점 C를 통과하고 가상 평면 r에 수직인 직선을 생각할 수 있는데 이것을 광축(optical axis)이라 한다. 일반적으로 점 C를 카메라 좌표계의 원점으로 놓으며 광축을 직교 좌표계의 Z축과 일치시킨다.
카메라 모델이 결정되면 그 다음부터는 카메라의 구조를 여러 가지 파라미터들의 값으로 표현하는 것이 가능하게 된다. 카메라를 기술하는데 사용되는 파라미터는 크게 두 가지로 나뉜다. 첫 번째는 3차원 좌표로 표현되는 카메라 좌표계 상의 점들과 이것이 투영되어 2차원 좌표로 표현되는 retinal plane상의 대응관계를 기술하는 내부 파라미터(intrinsic parameters)와 두 번째로 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 표현하는 외부 파라미터(extrinsic parameters)로 분류할 수 있다.
내부 파라미터(Instrinsic Parameters)
도 3을 보면 카메라 좌표계 상의 임의의 한 점
Figure 112008081698813-PAT00001
와 그것에 대응되는 retinal plane상의 점
Figure 112008081698813-PAT00002
사이의 관계는 다음과 같이 주어짐을 알 수 있다.
Figure 112008081698813-PAT00003
여기에서 f는 optical center C와 optical axis가 retinal plane을 관통하는 점인 c사이의 거리로서 초점 거리(focal length)라고 부른다. 그리고 점 c는 기점(principal point)이라 부른다.
Retinal plane에 맺힌 상은 CCD array에 의해 샘플링되고 그 결과는 비디오 신호로 바뀌어 카메라로부터 출력되어 frame buffer에 저장된다. 따라서 최종적으로 얻는 이미지의 좌표값은 가상의 평면인 retinal plane상의 좌표값이 아닌 픽셀(pixel) 좌표값이 된다. mr에 해당하는 픽셀 좌표를
Figure 112008081698813-PAT00004
라고 하면 두 좌표 사이의 변환 관계는 다음과 같이 주어진다.
Figure 112008081698813-PAT00005
여기에서 ku,kv는 두 좌표 사이의 스케일 변환을 나타내는 값들이고 u0,v0는 기점 c의 픽셀 좌표값이다. 수학식2에 의해 주어진 관계는 CCD array의 배열이 완전히 직각으로 이루어져 있을 경우에 성립한다. 그러나 실제적으로는 완벽하게 직각을 이루기 어려우므로 이 점을 고려하여 관계식을 구할 필요가 있다. 도 4에서 보듯이 픽셀 좌표계를 이루는 양 축이 이루는 각을 θ라고 하면, retinal plane상의 좌표와 픽셀 좌표 사이에는 다음과 같은 관계가 성립한다.
Figure 112008081698813-PAT00006
수학식1을 수학식3에 대입하면 최종적으로 카메라 좌표계 상의 3차원 좌표와 픽셀 좌표 간의 관계식을 얻을 수 있다.
Figure 112008081698813-PAT00007
수학식4에 나타낸 바와 같이 내부 파라미터들은 α,β,γ, u0, v0의 5개로 이루어져 있다. 여기서
Figure 112008081698813-PAT00008
,
Figure 112008081698813-PAT00009
,
Figure 112008081698813-PAT00010
,
Figure 112008081698813-PAT00011
이다.
외부 파라미터(extrinsic parameters)
흔히 3차원 공간상의 점들을 카메라 좌표계와는 다른 좌표계에서 기술하는데, 이 좌표계를 보통 월드 좌표계(world coordinate)라고 부른다. 따라서 월드 좌 표계에서 카메라 좌표계로의 변환식이 필요한데, 각 좌표계의 원점 간 상대적인 위치를 나타내는 평행 이동 벡터(translation vector)와 각 좌표축의 회전량을 나타내는 회전 행렬(rotation matrix)로 표현이 가능하다. 월드 좌표로 표현되는 임의의 점을
Figure 112008081698813-PAT00012
라고 하고 그것이 카메라 좌표계에서 Mc로 변환될 때, 둘 사이의 관계식은
Figure 112008081698813-PAT00013
으로 주어진다. 여기에서 R은 회전 행렬을 나타내고 t는 평행 이동 벡터를 나타낸다. R을 구성하는 독립적인 파라미터들은 3개이고 t을 구성하는 요소 역시 3개이므로 외부 파라미터는 총 6개가 된다.
Projective geometry를 이용한 카메라 모델 표현
카메라의 바늘구멍 모델을 homogeneous coordinates 라는 개념을 도입하여 선형적인 표현을 가능하게 할 수 있다. 2차원 픽셀 좌표계의 점을
Figure 112008081698813-PAT00014
라고 정의하자. 그리고 이 점과 대응되는 3차원 월드 좌표계상의 좌표를
Figure 112008081698813-PAT00015
라고 정의하자. 그러면 이 벡터들의 마지막 항에 1을 추가한 homogeneous coordinates는
Figure 112008081698813-PAT00016
,
Figure 112008081698813-PAT00017
이 된다. 3차원 상의 점 M과 그것이 투영된 m의 관계식은 지금까지 설명한 바늘구멍 모델로 표현하면 다음과 같다.
Figure 112008081698813-PAT00018
여기서 s는 임의의 스케일 값이며, R,t는 각각 회전 행렬과 평행 이동 벡터로서 외부 파라미터다. A는 내부 파라미터의 행렬이며 이를 칼리브레이션 행렬(calibration matrix)이라 한다.
Figure 112008081698813-PAT00019
A의 각 원소의 의미는 수학식4에 나타낸 바와 같다. 즉 α,β는 영상 u,v축으로의 scale 값에 해당하고 γ는 두 영상 축의 일그러짐(skewness)에 해당하며 u0,v0는 기점(principal point)이다.
카메라 칼리브레이션을 위한 기본 방정식
모델 평면의 점들이 모두 월드좌표계에서 Z=0이라고 놓으면 다음과 같이 평면과 평면 사이의 변환(homography) H로 표현할 수 있다.
Figure 112008081698813-PAT00020
여기서
Figure 112008081698813-PAT00021
이며 3 X 3 행렬로 정의된다.
모델 평면 영상이 주어지면 homography를 추정할 수 있다. 수학식8에서 나타낸 바와 같이 homography를 H라 하면 다음과 같다.
Figure 112008081698813-PAT00022
여기서 λ는 임의의 스칼라값이다. 우리는 r1과 r2가 직교정규화 관계에 있다는 것을 알고 있으므로 이를 이용하여 다음의 두 제한 조건을 만들어 낼 수 있 다.
Figure 112008081698813-PAT00023
Figure 112008081698813-PAT00024
위의 수학식9와 수학식10이 하나의 homography에 대하여 내부 파라미터에 대한 기본 제한 조건에 해당한다. 모델 평면과 그 모델 평면의 투영된 영상 간의 homography를 추정하는 방법에는 여러 가지가 존재하는데 본 발명에서는 maximum likelihood criterion에 기반 한 방법을 적용하기로 한다. Mi와 mi를 각각 모델과 그것이 투영된 영상이라고 놓자. 이상적으로는 이들이 수학식8을 만족해야 한다. 하지만, 추출된 포인트들에는 오차가 존재하기 때문에 실제로는 수학식8을 만족시키지 못한다. 따라서 mi를 평균이 0이고 공분산행렬이 Λmi인 가우시안 노이즈에 의해 왜곡된 영상의 점들로 가정한다. 그러면 다음의 식을 최소화함으로써 H의 maximum likelihood estimation이 가능하다.
Figure 112008081698813-PAT00025
여기서
Figure 112008081698813-PAT00026
이고
Figure 112008081698813-PAT00027
는 H의 ith의 행벡터이다. 여기서 우리는 실제로 모든 i에 대하여
Figure 112008081698813-PAT00028
로 가정할 수 있다 왜냐하면 점들의 추출은 서로 간에 독립적인 문제이기 때문에 이러한 가정은 타당하다. 이러한 경우 이 문제는
Figure 112008081698813-PAT00029
의 비선형 최소 제곱법을 푸는 문제가 된다. 이 비선형 최소화 문제는 Levenberg-Marquardt Algorithm으로 해결한다. 구하고자 하는 homography를
Figure 112008081698813-PAT00030
으로 놓으면 수학식8은 다음과 같이 표현할 수 있다.
Figure 112008081698813-PAT00031
하나의 영상에 n개의 점들이 주어진다면, 위의 방정식을 n개 만들 수 있다. 그러면 이러한 행렬 방정식은 Lx=0의 형태가 되며 L은 2n X 9 행렬이 된다. 이 방정식의 해는 LTL의 가장 작은 고유치에 대응하는 고유벡터가 된다.
카메라 칼리브레이션의 방법
Closed-form solution
Figure 112008081698813-PAT00032
이라 놓으면 다음과 같다.
Figure 112008081698813-PAT00033
B는 대칭행렬이므로 이를 6차원의 벡터로 정리하면 다음과 같다.
Figure 112008081698813-PAT00034
H의 ith 열벡터를
Figure 112008081698813-PAT00035
로 놓으면 다음과 같이 정리할 수 있다.
Figure 112008081698813-PAT00036
여기서,
Figure 112008081698813-PAT00037
이다. 하나의 homography에 대하여 수학식9, 10의 두 가지 제한 조건을 적용할 수 있으므로 수학식13을 다음과 같이 표현할 수 있다.
Figure 112008081698813-PAT00038
모델 평면을 투영한 n개의 영상이 있다고 하면 n개의 방정식을 엮어서 수학식14의 형태로 표현하면 다음과 같은 식이 된다.
Vb = 0
여기서 V행렬은 2n X 6 크기의 행렬이 된다. 따라서 n≥3이면 b의 유일해를 계산할 수 있다. 일단 b가 얻어지면 카메라의 내부 파라미터에 해당하는 A와 외부 파라미터
Figure 112008081698813-PAT00039
과 t를 다음과 같이 계산한다.
Figure 112008081698813-PAT00040
Maximum likelihood estimation
앞에서 구한 방법은 물리적으로 의미가 없는 대수학적 거리의 최소화 방법을 사용한 것이므로 정확하지 않다. 이를 maximum likelihood estimation 개념의 최적화 방법으로서 개선할 수 있다. m개의 점이 있는 모델 평면에 대한 n개의 영상이 있다고 하고 각 영상 점들은 독립적이며 동일한 분포를 갖는 노이즈에 의해 왜곡된다고 가정하면 maximum likelihood estimate는 다음을 최소화함으로써 구할 수 있다.
Figure 112008081698813-PAT00041
여기서
Figure 112008081698813-PAT00042
는 수학식6에 의하여 영상 i의 점 Mj가 투영된 점이다. 회전 행렬 R은 3개의 파라미터를 갖는 벡터로 표현할 수 있다. 이 벡터는 회전축과 평행하고 그 크기가 회전각과 같은 벡터가 된다. 수학식16의 최소화 문제는 비선형 최소화 방법의 문제에 해당되며 Levenberg-Marquardt algorithm으로 구하면 된다. 이 알고리듬은 초기값을 필요로 하는데 앞에서 설명한 closed-form으로 구한 값을 초기값으로 넣어주면 된다.
광각 왜곡의 보정
광각 렌즈를 사용할 경우 렌즈의 왜곡은 매우 두드러지게 나타난다. 카메라 좌표 상의 점을
Figure 112008081698813-PAT00043
로 표현하고 이를 정규화한 점을 Mn으로 표현하면 다음과 같다.
Figure 112008081698813-PAT00044
즉 xn,yn은 광각의 왜곡을 고려하기 전의 정규화된 좌표값이다. 여기서
Figure 112008081698813-PAT00045
으로 놓자. 렌즈의 왜곡으로 얻어진 좌표를 Md라 하면 다음과 같다.
Figure 112008081698813-PAT00046
여기서
Figure 112008081698813-PAT00047
은 radial distortion이고 t(Mn)은 tangential distortion에 해당한다. 렌즈 왜곡에 대한 자세한 설명은 이미 공지된 자료에서 확인할 수 있으므로, 본 명세서에서는 생략한다. t(Mn)은 다음과 같다.
Figure 112008081698813-PAT00048
따라서 광각 왜곡을 고려한 파라미터
Figure 112008081698813-PAT00049
를 수학식16에 포함시켜 비선형 최소화를 수행한다. 즉 다음과 같다.
Figure 112008081698813-PAT00050
실시간 하드웨어 구현
이상 설명한 칼리브레이션은 실시간 스테레오 정합을 위하여 실시간 처리가 가능하도록 하드웨어로 구현을 한다. 실시간 구현은 고속의 DSP 또는 FPGA를 통해서 가능하다. 스테레오 카메라의 경우 좌우 두 영상을 입력받는 점을 감안하면 DM642와 같은 고속의 DSP를 좌우 카메라에 적용하여 칼리브레이션을 실시간으로 구현할 수 있다. 즉, 좌우 영상 동시 칼리브레이션 구현은 FPGA나 DM642 DSP를 통해 하드웨어로 구현하고 DSP 프로그램을 이용하여 구현한다. 이상의 내용을 바탕으로 구현한 카메라 칼리브레이션의 결과는 도 5에 보였다. 칼리브레이션 전 후의 그림에서 왜곡된 점들의 분포가 바르게 펴진 것을 확인할 수 있다.
스테레오 카메라
스테레오 카메라 시스템 구조를 도 6에 나타내었다. 그림에서 P는 실제 3D 세계의 임의의 한 점을 나타내며 이 점은 좌우 이미지상에서 각각 한 점으로 매핑(mapping)이 된다. 이렇게 매핑된 두 점을 서로 대응점(matching point 또는 corresponding point)라고 하며 좌우 영상에서 모든 대응점을 찾는 것을 스테레오 영상 정합(stereo image matching) 이라고 한다. 그림에서 b 는 좌우 렌즈 사이 거리의 1/2 거리를 나타내며, F 는 초점 거리를 나타낸다. 좌우 영상 평면에 나타난 P의 대응점 xl과 xr의 차이
Figure 112008081698813-PAT00051
를 디스페리티 (disparity)라고 하고 영상 전체에 대하여 계산한 대응점 차이를 디스페리티 맵(disparity map) 이라고 한다. 스테레오 카메라의 최종 목표는 디스페리티 맵을 찾는 것이라고 할 수 있다.
렉티피케이션
도 6에서 한쪽 영상의 매핑 되는 점이 다른 영상에서 대응점으로 나타날 때, 그 대응점은 그림에서 보인 바와 같이 에피폴라라인(epipolar line) 이라고 하는 가상의 선분 위에 존재하게 된다. 공간상의 한 점 P 와 좌우 영상에 대응되는 점들 간에 만들어지는 평면을 에피폴라 평면이라고 하고 에피폴라 평면이 지나는 영상 상의 선분을 에피폴라라인이라고 한다.
에피폴라라인을 가정함으로써, 영상의 대응점 찾기는 왼쪽 영상의 한 점에 대응하는 오른쪽 영상의 대응점을 에피폴라라인 상에서 찾는 문제로 보다 쉽게 표현할 수 있다. 이론적으로 에피폴라라인은 영상 평면상의 가로 축과 수평을 이루나, 실제의 경우는 센서의 배열의 부정확함과 렌즈 왜곡 등으로 다르게 나타난다.
스테레오 카메라에서 좌우 영상간의 에피폴라라인을 찾는 과정을 렉티피케이션 (rectification)이라고 한다. 렉티피케이션 과정을 통해서 왼쪽 또는 오른쪽 영 상은 새로운 영상으로 변환이 되며, 스테레오 카메라는 변환된 영상을 이용하여 스테레오 영상 정합 과정을 가지게 된다.
영상에서 변환되기 전의 좌표값을 각각 x,y라 하고, 변환된 후의 좌표값을
Figure 112008081698813-PAT00052
,
Figure 112008081698813-PAT00053
이라 하면, 변환 행렬 (transform matrix)에 의해 다음과 같이 변환된다.
Figure 112008081698813-PAT00054
수학식21과 같이 좌표변환이 이루어지기 위해서는 9개의 파라미터를 구해야 하지만, 변환 전의 영상의 중심이 영상 평면의 원점으로 매핑되고 이미지의 회전이나 뒤틀림이 없다고 가정하면, 파라미터의 수는 줄어들게 된다. 그리고 이 수학식21을 이용해 행렬 연산 후 정규화(normalization) 과정을 나타내는 수학식22을 거쳐 변환 좌표값을 구한다.
Figure 112008081698813-PAT00055
밝기 조절
스테레오 카메라 모듈은 좌우 별도의 CMOS 센서를 사용하기 때문에 동일한 밝기의 영상을 확보하는 데엔 물리적으로 한계가 있다. 스테레오 영상 정합을 할 경우 그 방법에 따라서 영상의 밝기에 민감하지 않은 특징점을 이용할 수도 있지만, 카메라의 환경에서는 일단 좌우 영상의 밝기가 동일하도록 설정되는 것이 효과적이다. 영상의 밝기 조절은 일반적인 카메라의 경우 조리개 (iris)를 조절하여 빛의 양을 제어하거나, 카메라 내부 회로에 의하여 밝기값을 피드백한 후 신호레벨에서 제어하거나, 혹은 PC를 이용하는 경우라면 이미지 그래버의 ADC의 입력 게인을 조절하여 구현할 수 있다. 본 발명에서는 두 개의 카메라 센서의 특성이 비슷하다는 점을 감안하여 신호 레벨에서 밝기 값을 조절할 수 있도록 하였다. 도 7에 밝기 레벨 조절 과정의 흐름도를 보였다. 그림에서 보는 바와 같이 좌우 영상은 AD컨버터(analog to digital converter)를 거쳐 디지털화된 후 DSP에서 신호의 크기를 비교한 후 좌우 영상 신호의 밝기를 일치하도록 조절한다. 실시간 제어하여 카메라 영상의 레벨을 조절할 수 있는 실험한 결과를 같은 도 7에서 보였다.
영상 출력
좌우 영상의 전처리를 마친 영상은 USB2.0 인터페이스를 통해서 출력한다. 출력 정보는 PC (또는 임베디드 시스템) 쪽에서 요청 신호를 받아서 출력하며, 왼 쪽 영상을 요청하는 경우 왼쪽 영상을, 오른쪽 영상을 요청하는 경우 오른쪽 영상을 각각 초당 30 프레임씩 출력한다. 왼쪽 영상과 오른쪽 영상을 요청하는 경우는 왼쪽 영상과 오른쪽 영상을 번갈아 출력하며 좌우 각각 초당 15 프레임씩 출력한다. 디스페리티 맵을 요청하는 경우 디스페리티 맵을 출력한다.
왼쪽 영상, 오른쪽 영상, 디스페리티 맵을 요청하는 경우 순차적으로 출력한다. 도 9에 영상 출력의 흐름을 표시하였다.
이상의 실시예에서, 좌우 CMOS / CCD 센서로부터 영상 신호를 입력으로 받아 카메라 칼리브레이션, 렉티피케이션, 밝기 조절 등의 영상 전처리 (pre-processing) 과정을 고속 DSP (또는 FPGA)를 이용하여 실시간으로 처리한 후 실시간 스테레오 정합 모듈을 통해 계산한 물체의 깊이 정보(depth map)를 의미하는 디스페리티 맵(disparity map) 과 전처리를 마친 좌우 영상을 출력하는 양안 스테레오 카메라가 설명되었다.
양안 스테레오 카메라 (binocular stereo camera)는 동물이나 인간이 2개의 눈으로 사물을 보고 뇌에서 입체 시각을 지각하는 과정을 모방하여 만든 2대 카메라 시스템으로, 최근 지능형 로봇 등에 인간과 유사한 형태의 시각 기능과 시각 기반 지능을 부여하기 위한 가장 핵심이 되는 시각 센서라고 할 수 있다.
양안 스테레오 카메라의 영상을 바탕으로 스테레오 영상 정합을 하기 위해서는 좌우 카메라의 센서(CMOS/CCD)와 센서로부터 얻어진 좌우 영상의 전처리 (pre-processing) 과정이 반드시 필요하며, 본 발명의 실시예들에서는 고속 DSP (Digital Signal Processor)를 사용하여 카메라 칼리브레이션, 렉티피케이션, 밝기 조절 등의 전처리 과정을 실시간으로 수행하고, 전처리 과정을 마친 좌우 영상을 바탕으로 FPGA로 구성된 스테레오 영상 정합 모듈에서 디스페리티 맵을 실시간 계산한 후 USB2.0 인터페이스를 통해 전처리를 마친 좌우 영상 및 디스페리티 맵을 출력한다.
설명된 실시예들에 따르면, 좌우 두 개의 CMOS / CCD 센서를 통해 스테레오 영상을 획득한 후 고속 DSP를 통해서 카메라 칼리브레이션, 렉티피케이션, 좌우 영상 밝기 조절 등의 영상 전처리 과정을 실시간으로 구현한 후, 계속해서 전처리를 마친 좌우 영상을 바탕으로 FPGA로 구현된 실시간 스테레오 정합 모듈을 통해서 스테레오 정합 (stereo image matching)을 하고 USB2.0 인터페이스를 통해서 PC (또는 임베디드 시스템) 쪽으로 좌우 영상 및 정합 결과인 디스페리티 맵 (disparity map)을 전송하는 양안 스테레오 카메라 시스템을 구현한다.
도 11은 본 발명에 따른 입체 카메라의 입체 영상 인식 방법을 수행하기 위한 개략적인 흐름도이다.
먼저, 소정 거리 서로 이격된 복수의 경로로 각각 입력된 피사체에 대한 복수의 평면 영상을 검출하고(S110), 피사체상의 위치와 대응하는 평면 영상상 위치의 대응 관계를 표현하는 소정의 파라미터를 이용하여 각 평면 영상을 변환한 복수의 변환 평면 영상을 산출한다(S120).
이와 같이, 미리 설정된 파라미터를 이용해 검출된 영상 정보를 변환함으로써 피사체의 입체 정보를 계산하기 위해 필요한 정확한 영상 정보를 획득할 수 있게 된다. 이러한 과정을 카메라 칼리브레이션이라고 하며, 실제 영상에 대한 입체 카메라의 특성을 반영하기 위한 과정이다.
소정의 파라미터는 카메라 내의 저장 장치에 저장될 수 있는데, 파라미터 저장함으로써 저장된 파라미터를 외부로 전송하거나, 외부로부터 파라미터를 전송받아 저장할 수 있게 된다.
이어서, 피사체 상의 점들과 상기 피사체 상의 점에 대응하는 복수의 평면 영상 상의 점들을 포함하는 평면과, 평면 영상 평면이 교차하는 선을 산출한다(S130). 이러한 과정을 렉티피케이션이라고 하는데, 에피폴라라인을 산출함으로써 복수의 변환 평면 영상에서 피사체의 대응점들을 보다 용이하게 구할 수 있게 된다.
이어서, 변환한 복수의 변환 평면 영상이 동일한 밝기를 가지도록 제어한다(S140). 이와 같이, 복수의 변환 평면 영상들이 동일한 밝기를 가지도록 함으로써 보다 정확한 입체 영상 정보를 얻을 수 있게 된다.
이어서, 복수의 변환 평면 영상으로부터 피사체의 입체 정보를 산출한다(S150). 이러한 디스패리티 계산 과정은 카메라에서 입체 시각 구현을 위한 영상 정보 획득뿐만 아니라 입체 시각 정보의 구현도 가능하게 해 준다.
마지막으로, 획득한 입체 영상 정보, 또는 디스페리티 계산 결과를 USB2.0 인터페이스와 같은 인터페이스 수단을 통하여 외부로 출력한다(S160).
도 1은 본 발명에 따른 입체 카메라의 일 실시예의 개략적인 블록도.
도 2는 도 1의 입체 카메라의 보다 구체적인 형태의 개략적인 블록도.
도 3은 카메라의 바늘구멍 모델을 설명하기 위한 도면.
도 4는. CCD array가 직각으로 이루어져 있지 않은 경우의 좌표 관계를 나타낸 도면.
도 5는 카메라 칼리브레이션 전 후의 영상을 비교한 도면.
도 6. 스테레오 카메라의 에피폴라라인을 도시한 도면.
도 7은 도 1의 밝기 제어부의 개략적인 블록도.
도 8은 영상의 밝기가 제어되는 결과 화면.
도 9는 외부 시스템과 스테레오 카메라 간의 데이터 전송 방식을 도시한 도면.
도 10은 스테레오 카메라 제품의 내부 및 외형의 사진.
도 11은 본 발명에 따른 입체 카메라의 입체 영상 인식 방법을 수행하기 위한 개략적인 흐름도.

Claims (10)

  1. 소정 거리 서로 이격된 복수의 경로로 각각 입력된 피사체에 대한 복수의 평면 영상을 검출하는 평면 영상 검출부; 및
    상기 피사체 상의 위치와 대응하는 상기 각 평면 영상 상의 위치의 위치상의 대응 관계를 표현하는 소정의 파라미터를 이용하여 상기 각 평면 영상을 각각 변환한 복수의 변환 평면 영상을 산출하는 변환 영상 산출부를 포함하는 입체 카메라로서,
    상기 변환 평면 영상은 소정의 가상 평면에 투영되는 것으로 설정된 상기 피사체의 영상인 것을 특징으로 하는 입체 카메라.
  2. 제 1항에 있어서,
    상기 소정의 파라미터를 저장하는 파라미터 저장부를 더 포함하는 것을 특징으로 하는 입체 카메라.
  3. 제 1항에 있어서,
    상기 피사체 상의 점들과 상기 피사체 상의 점에 대응하는 상기 복수의 평면 영상 상의 점들을 포함하는 평면과, 상기 평면 영상의 평면이 교차하는 선을 산출하는 에피폴라라인 산출부를 더 포함하는 것을 특징으로 하는 입체 카메라.
  4. 제 1항에 있어서,
    상기 변환된 복수의 변환 평면 영상이 서로 동일한 밝기를 가지도록 제어하는 밝기 제어부를 더 포함하는 것을 특징으로 하는 입체 카메라.
  5. 제 1항에 있어서,
    상기 복수의 변환 평면 영상으로부터 상기 피사체의 입체 정보를 산출하는 입체 정보 산출부를 더 포함하는 것을 특징으로 하는 입체 카메라.
  6. 제 1항에 있어서,
    상기 검출된 평면 또는 상기 변환 평면 영상을 저장하는 평면 영상 저장부를 더 포함하는 것을 특징으로 하는 입체 카메라.
  7. 소정 거리 서로 이격된 복수의 경로로 각각 입력된 피사체에 대한 복수의 평면 영상을 검출하는 단계; 및
    상기 피사체 상의 위치와 대응하는 상기 각 평면 영상 상의 위치의 위치상의 대응 관계를 표현하는 소정의 파라미터를 이용하여 상기 각 평면 영상을 각각 변환한 복수의 변환 평면 영상을 산출하는 단계를 포함하는 입체 카메라의 입체 영상 인식 방법으로서,
    상기 변환 평면 영상은 소정의 가상 평면에 투영되는 것으로 설정된 상기 피사체의 영상인 것을 특징으로 하는 입체 카메라의 입체 영상 인식 방법.
  8. 제 7항에 있어서,
    상기 피사체 상의 점들과 상기 피사체 상의 점에 대응하는 상기 복수의 평면 영상 상의 점들을 포함하는 평면과, 상기 평면 영상 평면이 교차하는 선을 산출하는 단계를 더 포함하는 것을 특징으로 하는 입체 카메라의 입체 영상 인식 방법.
  9. 제 7항에 있어서,
    상기 변환한 복수의 변환 평면 영상이 동일한 밝기를 가지도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 입체 카메라의 입체 영상 인식 방법.
  10. 제 7항에 있어서,
    상기 복수의 변환 평면 영상으로부터 상기 피사체의 입체 정보를 산출하는 단계를 더 포함하는 것을 특징으로 하는 입체 카메라의 입체 영상 인식 방법.
KR1020080118409A 2008-11-26 2008-11-26 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법 KR20080107345A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080118409A KR20080107345A (ko) 2008-11-26 2008-11-26 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080118409A KR20080107345A (ko) 2008-11-26 2008-11-26 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020060083389A Division KR20080020214A (ko) 2006-08-31 2006-08-31 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법

Publications (1)

Publication Number Publication Date
KR20080107345A true KR20080107345A (ko) 2008-12-10

Family

ID=40367675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080118409A KR20080107345A (ko) 2008-11-26 2008-11-26 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법

Country Status (1)

Country Link
KR (1) KR20080107345A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117111A1 (ko) * 2009-04-06 2010-10-14 (주)에이직뱅크 입체영상 생성용 이미지센서
WO2019117374A1 (ko) * 2017-12-12 2019-06-20 연세대학교 산학협력단 동적 객체 검출 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117111A1 (ko) * 2009-04-06 2010-10-14 (주)에이직뱅크 입체영상 생성용 이미지센서
WO2019117374A1 (ko) * 2017-12-12 2019-06-20 연세대학교 산학협력단 동적 객체 검출 장치 및 방법

Similar Documents

Publication Publication Date Title
US11223820B2 (en) Augmented reality displays with active alignment and corresponding methods
US10869024B2 (en) Augmented reality displays with active alignment and corresponding methods
US8897502B2 (en) Calibration for stereoscopic capture system
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN105574525B (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
WO2019030235A1 (en) APPARATUS AND METHOD FOR GENERATING A REPRESENTATION OF A SCENE
WO2018141414A1 (en) Device and method for obtaining depth information from a scene
CN109285189B (zh) 一种无需双目同步的直线轨迹快速计算方法
WO2015013022A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
WO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
CN112929639A (zh) 人眼追踪装置、方法及3d显示设备、方法和终端
KR20120002723A (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
KR20080107345A (ko) 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR20080020214A (ko) 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법
CN111481293B (zh) 一种基于最优视点选择的多视点光学定位方法及系统
CN114155280A (zh) 一种双目视线追踪方法、装置及设备
KR20130019582A (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
JP2016057906A (ja) 視点位置の計測方法及び計測システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid