KR20120047482A - 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치 - Google Patents

평면 영역을 이용한 이종 카메라간 교정 방법 및 장치 Download PDF

Info

Publication number
KR20120047482A
KR20120047482A KR1020100109060A KR20100109060A KR20120047482A KR 20120047482 A KR20120047482 A KR 20120047482A KR 1020100109060 A KR1020100109060 A KR 1020100109060A KR 20100109060 A KR20100109060 A KR 20100109060A KR 20120047482 A KR20120047482 A KR 20120047482A
Authority
KR
South Korea
Prior art keywords
color
depth
camera
image
transformation matrix
Prior art date
Application number
KR1020100109060A
Other languages
English (en)
Other versions
KR101666932B1 (ko
Inventor
이승규
임화섭
한사드 마일즈
호라우드 라두
김도균
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100109060A priority Critical patent/KR101666932B1/ko
Publication of KR20120047482A publication Critical patent/KR20120047482A/ko
Application granted granted Critical
Publication of KR101666932B1 publication Critical patent/KR101666932B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

평면 영역을 이용하여 깊이 카메라와 컬러 카메라 간을 교정하기 위한 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치에 관한 것이다. 평면 영역을 이용한 이종 카메라간 교정 장치는 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하여 변환 행렬을 생성하고, 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정(Calibration)함으로써, 정밀도 높은 3차원 영상을 복원할 수 있다.

Description

평면 영역을 이용한 이종 카메라간 교정 방법 및 장치{CALIBRATION APPARATUS AND METHOD BETWEEN HETEROGENEOUS CAMERAS USING PLANE AREA}
본 발명의 일실시예는 깊이 카메라와 컬러 카메라 간에 교정하는 기술에 관한 것이다.
한대 이상의 이종(heterogeneous) 카메라로 구성된 카메라 셋, 이를테면 컬러(color) 카메라와 깊이(depth) 카메라의 세트를 이용하여 3D 정보를 취득하는 시스템에서, 이종 카메라에서 얻어진 정보간 매칭을 위하여 카메라간 교정(Calibration)을 수행해야 한다.
종래에는 서로 다른 공간 위치에 있는 복수 개의 카메라간의 교정을 수행하기 위하여, 알려져 있는 패턴을 이용하여 대응점(corresponding points)들을 추출하고, 추출된 대응점을 이용하여, 카메라들간의 공간(geometry) 위치 차이 정보를 계산해 내기도 하였다.
그런데, 3D 오브젝트에 대해 정확한 3D 정보 취득을 위하여 점차 컬러 카메라와 깊이 카메라 등 서로 다른 종류의 카메라가 셋을 이루어 사용되는 경우가 많아지고 있으며, 이러한 경우에도 고정밀 영상 취득을 위하여 카메라간 교정은 필수적이다.
본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 장치는 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하는 변환 행렬을 생성하는 평면 영역 매칭부, 및 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정하는 교정(Calibration)부를 포함한다.
상기 평면 영역 매칭부는 상이한 복수의 각도에 대해 순차적으로 추출된 깊이 평면 영역과 컬러 평면 영역을 각각 매칭하여, 상기 변환 행렬을 생성할 수 있다.
상기 평면 영역을 이용한 이종 카메라간 교정 장치는 하나 이상의 컬러 카메라로부터 획득한 컬러 영상들로부터 컬러 특징점을 추출하는 포인트 추출부, 및 상기 추출된 컬러 특징점을 이용하여 상기 컬러 평면 영역을 추출하는 컬러 평면 영역 추출부를 더 포함할 수 있다.
상기 컬러 평면 영역 추출부는 제1 컬러 카메라에서 추출된 제1 컬러 특징점과 제2 컬러 카메라에서 추출된 제2 컬러 특징점간의 관계를 이용하여 상기 컬러 평면 영역을 추출할 수 있다.
상기 평면 영역 매칭부는 상기 컬러 평면 영역에 포함된 컬러 특징점을 상기 깊이 평면 영역에 포함된 깊이 특징점에 역투사(back-projection)하여, 상기 변환 행렬을 생성할 수 있다.
상기 평면 영역 매칭부는 상기 컬러 특징점과 상기 컬러 특징점에 역투사된 깊이 특징점 간의 거리, 또는 상기 깊이 특징점과 상기 깊이 특징점에 투사된 상기 컬러 특징점 간의 거리를 이용하여 상기 변환 행렬을 조정할 수 있다.
상기 교정부는 상기 생성된 변환 행렬을 이용하여 상기 깊이 카메라와 상기 컬러 카메라간의 공간 거리(distance)을 교정하고, 상기 교정된 깊이 카메라에서 생성된 깊이 영상과 상기 교정된 컬러 카메라에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 방법은 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하는 변환 행렬을 생성하는 단계, 및 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정하는 단계를 포함한다.
본 발명의 일 측면에 따르면, 포인트 교정 방식을 적용하기 어려운 ToF(Time of Flight) 방식의 깊이 카메라에 평면 교정 방식을 적용함으로써, 정밀도 높은 3차원 영상을 복원(reconstruction)할 수 있다.
본 발명의 일 측면에 따르면, 서로 매칭된 깊이 평면 영역과 컬러 평면 영역에 포함된 각각의 특징점을 이용하여 깊이 카메라와 컬러 카메라 간을 더욱 정확하게 교정할 수 있다.
본 발명의 일 측면에 따르면, 깊이 영상의 인텐서티(intensity)를 이용하지 않고 평면 영역을 이용하여 깊이 영상과 컬러 영상을 서로 매칭할 수 있다.
도 1은 본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 장치의 구성을 도시한 블록도이다.
도 2는 컬러 카메라와 깊이 카메라로부터 각 평면 영역을 추출하는 일례를 도시한 도면이다.
도 3은 깊이 평면 영역과 컬러 평면 영역을 매칭한 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 평면 영역을 이용한 이종 카메라간 교정 장치(100, 이하 '이종 카메라간 교정 장치'라 함)는 깊이 카메라(110), 컬러 카메라(120), 깊이 영상 획득부(130), 컬러 영상 획득부(140), 포인트 추출부(150), 깊이 평면 영역 추출부(160), 컬러 평면 영역 추출부(170), 평면 영역 매칭부(180), 및 교정부(190)를 포함할 수 있다.
깊이 카메라(110, Depth Camera)는 깊이(depth) 영상을 생성할 수 있다. 깊이 영상 획득부(130)는 깊이 카메라(110)에서 생성한 상기 깊이 영상을 획득할 수 있다. 깊이 평면 영역 추출부(160)는 상기 획득한 깊이 영상으로부터 깊이 평면 영역(Depth Plane Area)을 추출할 수 있다. 여기서, 깊이 영상은 3차원 영상이므로, 3차원 영상으로부터 2차원 평면 영역을 추출하기 매우 용이하다. 따라서, 평면 영역 추출부(160)는 상기 획득한 3차원 깊이 영상으로부터 2차원 깊이 평면 영역을 추출할 수 있다.
컬러 카메라(120, Color Camera)는 컬러 영상을 생성할 수 있다. 컬러 영상 획득부(140)는 컬러 카메라(120)에서 생성한 상기 컬러 영상을 획득할 수 있다. 컬러 평면 영역 추출부(170)는 상기 획득한 컬러 영상으로부터 컬러 평면 영역(Color Plane Area)을 추출할 수 있다. 컬러 영상은 색상을 나타내기 때문에, 컬러 영상에서 2차원 평면 영역을 추출하는데 어려움이 있다.
따라서, 컬러 카메라(120)는 두 대 이상일 수 있으며, 포인트 추출부(150)는 두 대 이상의 컬러 카메라(120)에서 생성한 컬러 영상으로부터 컬러 특징점(color feature points)을 추출할 수 있다. 컬러 평면 영역 추출부(170)는 상기 추출된 컬러 특징점을 이용하여 상기 컬러 평면 영역을 추출할 수 있다. 실시예로, 컬러 평면 영역 추출부(170)는 제1 컬러 카메라에서 추출된 제1 컬러 특징점과 제2 컬러 카메라에서 추출된 제2 컬러 특징점간의 기본 행렬을 이용하여 상기 컬러 평면 영역을 추출할 수 있다.
Figure pat00001
n은 컬러 특징점 개수이고, pi는 제1 컬러 카메라(컬러 카메라 i)에서 생성된 제1 컬러 영상으로부터 추출된 제1 컬러 특징점이고, pj는 제2 컬러 카메라(컬러 카메라 j)에서 생성된 제2 컬러 영상으로부터 추출된 제2 컬러 특징점이다. Fij는 상기 제1 컬러 특징점과 상기 제2 컬러 특징점 간의 움직임, 회전 등의 관계를 나타내는 기본 행렬(Fundamental Matrix)이다.
컬러 평면 영역 추출부(170)는 서로 대응되는 상기 제1 컬러 특징점과 상기 제2 컬러 특징점 간의 관계를 나타내는 기본 행렬을 구함으로써, 기본 행렬을 이용하여 상기 컬러 평면 영역을 추출할 수 있다.
깊이 카메라(110)와 컬러 카메라(120)가 한 세트를 이루어 3차원 영상을 획득하는 경우, 깊이 카메라(110)와 컬러 카메라(120)가 서로 다른 위치에서 서로 다른 방향을 향하고 있을 수 있다. 이 경우, 고정밀 3차원 영상을 복원(reconstruction)하기 위하여서는 카메라간 교정이 필수적이다.
평면 영역 매칭부(180)는 상기 깊이 평면 영역과 상기 컬러 평면 영역을 매칭하는 변환 행렬을 생성한다. 변환 행렬(Transformation matrix)은 상기 기본 행렬과 유사하게, 상기 깊이 평면 영역과 상기 컬러 평면 영역 간의 대응영역을 서로 잘 매칭하기 위한 것이다.
Figure pat00002
Figure pat00003
는 깊이 평면 영역을 의미하고, V는 컬러 평면 영역을 의미하며, H는 4 X 4 변환 행렬을 의미한다. 변환 행렬은 알려지지 않은 행렬로서, 상기 깊이 평면 영역과 상기 컬러 평면 영역 간의 매칭을 통해 구할 수 있다.
Figure pat00004
는 변환 행렬을 대각선 대칭으로 조정한 것을 의미할 수 있다.
종래에는 깊이 영상과 컬러 영상에 포함된 각 특징점들을 이용하는 매칭을 하기 위해 깊이 영상의 인텐서티(intensity)를 이용하였지만, 본 발명에서는 상기 인텐서티를 이용하지 않고, 깊이 평면 영역과 컬러 평면 영역을 이용하여, 상기 깊이 영상과 상기 컬러 영상을 서로 매칭할 수 있다.
실시예로, 평면 영역 매칭부(180)는 더욱 정확한 변환 행렬을 생성하기 위하여, 상이한 복수의 각도에 대해 순차적으로 추출된 깊이 평면 영역과 컬러 평면 영역을 각각 매칭하여, 상기 변환 행렬을 생성할 수 있다. 즉, 평면 영역 매칭부(180)는 서로 다른 각도에서 추출된 복수의 깊이 평면 영역과 복수의 컬러 평면 영역 간의 매칭을 통해 더욱 정확한 변환 행렬을 생성할 수 있다.
다른 실시예로, 평면 영역 매칭부(180)는 상기 생성된 변환 행렬을 이용하여 상기 깊이 평면 영역과 상기 컬러 평면 영역이 잘 매칭되는지 여부를 판단하고, 판단 결과에 따라 상기 변환 행렬을 조정할 수 있다. 따라서, 평면 영역 매칭부(180)는 상기 변환 행렬의 에러값을 구하여, 에러값에 따라 상기 변환 행렬을 조정할 수 있다.
Figure pat00005
n은 각 특징점 개수이고, pi는 제1 컬러 카메라(컬러 카메라 i)에서 생성된 제1 컬러 영상으로부터 추출된 제1 컬러 특징점이고, pj는 제2 컬러 카메라(컬러 카메라 j)에서 생성된 제2 컬러 영상으로부터 추출된 제2 컬러 특징점이다. Gij는 상기 제1 컬러 특징점과 상기 제2 컬러 특징점을 매칭하는 3 X 3 호모그래피 행렬(Homography Matrix)이다. E2은 2차원 대칭 전송 에러(symmetry transfer error)를 의미하고, D2은 2차원에서의 거리를 의미한다.
예컨대, 평면 영역 매칭부(180)는 수학식 3을 통해 구한 에러값이 작은 변환 행렬을 구할 수 있다. 구체적으로, 평면 영역 매칭부(180)는 수학식 3을 통해 구한 에러값이 선정된 문턱값(Threshold)보다 작은 경우, 상기 생성된 변환 행렬을 그대로 이용할 수 있다. 또는, 평면 영역 매칭부(180)는 상기 에러값이 선정된 문턱값보다 큰 경우, 상기 변환 행렬을 조정할 수 있다. 문턱값은 영상의 특성에 따라 가변적으로 정해질 수 있는 것으로, 일정한 수치로 한정하지 않는다.
또 다른 실시예로, 평면 영역 매칭부(180)는 상기 컬러 평면 영역에 포함된 컬러 특징점을 상기 깊이 평면 영역에 포함된 깊이 특징점에 역투사(back-projection)하여, 상기 변환 행렬을 생성할 수 있다.
Figure pat00006
n은 각 특징점 개수이고, pij는 두 대의 컬러 카메라(컬러 카메라 i, 컬러 카메라 j)에서 생성된 컬러 영상의 컬러 평면 영역으로부터 추출된 컬러 특징점(두 개가 한쌍인 컬러 특징점)을 의미하고, pk는 깊이 평면 영역으로부터 추출된 깊이 특징점(depth feature points)이다. H- 1는 상기 변환 행렬(H)의 역행렬이다. E3은 3차원 대칭 전송 에러를 의미하고, D3은 3차원에서의 거리를 의미한다.
실시예로, 평면 영역 매칭부(180)는 상기 컬러 특징점과 상기 컬러 특징점에 역투사된 깊이 특징점 간의 거리(
Figure pat00007
), 또는 상기 깊이 특징점과 상기 깊이 특징점에 투사된 상기 컬러 특징점 간의 거리(
Figure pat00008
)를 이용하여 상기 변환 행렬을 조정할 수 있다. 따라서, 평면 영역 매칭부(180)는 수학식 4를 통해 계산된 에러값이 최소가 되도록 상기 변환 행렬을 조정할 수 있다.
도 2는 컬러 카메라와 깊이 카메라로부터 각 평면 영역을 추출하는 일례를 도시한 도면이다.
도 2를 참고하면, 컬러 평면 영역 추출부(170)는 두 대의 컬러 카메라(컬러 카메라 1, 2)에서 생성한 컬러 영상들로부터 컬러 평면 영역(210)을 추출할 수 있다. 깊이 평면 영역 추출부(160)는 깊이 카메라(110)에서 생성한 깊이 영상으로부터 깊이 평면 영역(220)을 추출할 수 있다. 이때, 평면 영역 매칭부(180)는 컬러 평면 영역(210)과 깊이 평면 영역(220)간의 정확한 매칭을 위하여, 컬러 평면 영역(210)에 포함된 컬러 특징점들(211, 212)과 깊이 평면 영역(220)에 포함된 깊이 특징점들(221, 222)간의 관계를 이용하여 상기 변환 행렬(H)을 생성할 수 있다.
Figure pat00009
Figure pat00010
는 깊이 특징점을 의미하고, P는 컬러 특징점을 의미한다. 평면 영역 매칭부(180)는 수학식 5를 통해 깊이 특징점과 컬러 특징점을 이용하여 변환 행렬(H)을 구할 수 있다.
평면 영역 매칭부(180)는 상기 변환 행렬 H를 잘 모르기 때문에, 변환 행렬을 구하기 위해, 크로네커(Kronecker) 방식을 이용하여 수학식 6과 같은 단위 벡터(Identity Vector)를 도출할 수 있다. 예컨대, 크로네커 방식에 따른 단위 벡터는
Figure pat00011
로 표현될 수 있다.
Figure pat00012
h는 4 X 4 변환 행렬을 16 X 1 열벡터(column vector)로 표기한 것이다.
또한, 수학식 6은 깊이 평면 영역과 컬러 평면 영역에 포함된 복수의 특징점들과 연관된 변환 행렬을 구하기 위해, 다음과 같이 표현할 수 있다.
Figure pat00013
N은 각 특징점 개수이고, pij는 두 대의 컬러 카메라(컬러 카메라 i, 컬러 카메라 j)에서 생성된 컬러 영상의 컬러 평면 영역으로부터 추출된 컬러 특징점(두 개가 한쌍인 컬러 특징점)을 의미하고, pk는 깊이 평면 영역으로부터 추출된 깊이 특징점이다.
Figure pat00014
은 N에 대응하는 6 X 16 행렬로 표현될 수 있다.
평면 영역 매칭부(180)는 수학식 7에서, SVD(Singular Value Decomposition) 방식의 6N X 16 행렬로부터 변환 행렬 'h'를 구할 수 있다. 예를 들어, 에러값이 최소가 되도록 하기 위하여,
Figure pat00015
에서 N=5를 적용하면,
Figure pat00016
는 30 X 16 행렬이 되고, N=20을 적용하면,
Figure pat00017
는 120 X 16 행렬이 될 것이다.
교정(Calibration)부(190)는 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라(110)와 상기 컬러 영상을 생성하는 컬러 카메라(120)간을 교정한다. 교정부(190)는 상기 생성된 변환 행렬을 이용하여 깊이 카메라(110)와 컬러 카메라(120)간의 공간 거리를 교정하고, 교정된 후, 깊이 카메라(110)에서 생성된 깊이 영상과 컬러 카메라(120)에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성할 수 있다.
도 3은 깊이 평면 영역과 컬러 평면 영역을 매칭한 일례를 도시한 도면이다.
도 3을 참조하면, 평면 영역 매칭부(180)는 깊이 평면 영역과 컬러 평면 영역을 매칭하여, 공간상으로 서로 떨어진 카메라에서 촬영된 영상들을 매칭할 수 있다. 예컨대, 평면 영역 매칭부(180)는 오른쪽에 있는 깊이 특징점들을 왼쪽에 있는 컬러 특징점들로 매칭시킬 수 있다.
도 4는 본 발명의 일실시예에 따른 평면 영역을 이용한 이종 카메라간 교정 방법의 순서를 도시한 흐름도이다.
도 4를 참조하면, 단계 410에서, 이종 카메라간 교정 장치(100)는 깊이 영상으로부터 깊이 평면 영역을 추출하고, 컬러 영상으로부터 컬러 평면 영역을 추출할 수 있다. 상기에서도 설명한 바와 같이, 깊이 영상은 3차원 영상이기 때문에, 깊이 평면 영역을 추출하기 용이하다. 반면, 컬러 영상은 색상으로 표현된 영상이기 때문에, 컬러 평면 영역을 추출하기 용이하지 않다. 이 경우, 이종 카메라간 교정 장치(100)는 하나 이상의 컬러 카메라로부터 획득한 컬러 영상으로부터 컬러 특징점을 추출하고, 상기 추출된 컬러 특징점을 이용하여 상기 컬러 평면 영역을 추출할 수 있다.
단계 420에서, 이종 카메라간 교정 장치(100)는 상기 추출된 깊이 평면 영역과 상기 컬러 평면 영역들을 매칭하여 변환 행렬(H)을 생성할 수 있다. 변환 행렬은 알려지지 않은 행렬로서, 이종 카메라간 교정 장치(100)는 상기 깊이 평면 영역과 상기 컬러 평면 영역 간의 매칭을 통해 상기 변환 행렬을 구할 수 있다. 변환 행렬을 구하는 구체적인 실시예는 도 1을 통해 충분히 설명하였으므로, 이하에서는 설명을 생략한다.
단계 430에서, 이종 카메라간 교정 장치(100)는 상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라(110)와 상기 컬러 영상을 생성하는 컬러 카메라(120)간을 교정할 수 있다. 즉, 이종 카메라간 교정 장치(100)는 상기 생성된 변환 행렬을 이용하여 깊이 카메라(110)와 컬러 카메라(120)간의 공간 거리를 교정함으로써, 깊이 카메라(110)에서 생성된 깊이 영상과 컬러 카메라(120)에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 평면 영역을 이용한 이종 카메라간 교정 장치
110: 깊이 카메라 120: 컬러 카메라
130: 깊이 영상 획득부 140: 컬러 영상 획득부
150: 포인트 추출부 160: 깊이 평면 영역 추출부
170: 컬러 평면 영역 추출부 180: 평면 영역 매칭부
190: 교정부

Claims (12)

  1. 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하는 변환 행렬을 생성하는 평면 영역 매칭부; 및
    상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정(Calibration)하는 교정부
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  2. 제1항에 있어서,
    상기 평면 영역 매칭부는,
    상이한 복수의 각도에 대해 순차적으로 추출된 깊이 평면 영역과 컬러 평면 영역을 각각 매칭하여, 상기 변환 행렬을 생성하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  3. 제1항에 있어서,
    하나 이상의 상기 컬러 카메라로부터 획득한 컬러 영상으로부터 컬러 특징점을 추출하는 포인트 추출부; 및
    상기 추출된 컬러 특징점을 이용하여 상기 컬러 평면 영역을 추출하는 컬러 평면 영역 추출부
    를 더 포함하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  4. 제3항에 있어서,
    상기 컬러 평면 영역 추출부는,
    제1 컬러 카메라에서 추출된 제1 컬러 특징점과 제2 컬러 카메라에서 추출된 제2 컬러 특징점간의 기본 행렬을 이용하여 상기 컬러 평면 영역을 추출하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  5. 제1항에 있어서,
    상기 평면 영역 매칭부는,
    상기 컬러 평면 영역에 포함된 컬러 특징점을 상기 깊이 평면 영역에 포함된 깊이 특징점에 역투사(back-projection)하여, 상기 변환 행렬을 생성하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  6. 제5항에 있어서,
    상기 평면 영역 매칭부는,
    상기 컬러 특징점과 상기 컬러 특징점에 역투사된 깊이 특징점 간의 거리, 또는 상기 깊이 특징점과 상기 깊이 특징점에 투사된 상기 컬러 특징점 간의 거리를 이용하여 상기 변환 행렬을 조정하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  7. 제1항에 있어서,
    상기 교정부는,
    상기 생성된 변환 행렬을 이용하여 상기 깊이 카메라와 상기 컬러 카메라간의 공간 거리(distance)를 교정하고, 상기 교정된 깊이 카메라에서 생성된 깊이 영상과 상기 교정된 컬러 카메라에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성하는, 평면 영역을 이용한 이종 카메라간 교정 장치.
  8. 깊이 영상으로부터 추출된 깊이 평면 영역과 컬러 영상으로부터 추출된 컬러 평면 영역을 매칭하는 변환 행렬을 생성하는 단계; 및
    상기 생성된 변환 행렬을 이용하여 상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정(Calibration)하는 단계
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
  9. 제8항에 있어서,
    상기 변환 행렬을 생성하는 단계는,
    상이한 복수의 각도에 대해 순차적으로 추출된 깊이 평면 영역과 컬러 평면 영역을 각각 매칭하여, 상기 변환 행렬을 생성하는 단계
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
  10. 제8항에 있어서,
    상기 변환 행렬을 생성하는 단계는,
    상기 컬러 평면 영역에 포함된 컬러 특징점을 상기 깊이 평면 영역에 포함된 깊이 특징점에 역투사(back-projection)하여, 상기 변환 행렬을 생성하는 단계
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
  11. 제10항에 있어서,
    상기 컬러 특징점과 상기 컬러 특징점에 역투사된 깊이 특징점 간의 거리, 또는 상기 깊이 특징점과 상기 깊이 특징점에 투사된 상기 컬러 특징점 간의 거리를 이용하여 상기 변환 행렬을 조정하는 단계
    를 더 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
  12. 제8항에 있어서,
    상기 깊이 영상을 생성하는 깊이 카메라와 상기 컬러 영상을 생성하는 컬러 카메라간을 교정하는 단계는,
    상기 생성된 변환 행렬을 이용하여 상기 깊이 카메라와 상기 컬러 카메라간의 공간 거리를 교정하는 단계; 및
    상기 교정된 깊이 카메라에서 생성된 깊이 영상과 상기 교정된 컬러 카메라에서 생성된 컬러 영상을 이용하여 3차원 영상을 생성하는 단계
    를 포함하는, 평면 영역을 이용한 이종 카메라간 교정 방법.
KR1020100109060A 2010-11-04 2010-11-04 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치 KR101666932B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100109060A KR101666932B1 (ko) 2010-11-04 2010-11-04 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100109060A KR101666932B1 (ko) 2010-11-04 2010-11-04 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120047482A true KR20120047482A (ko) 2012-05-14
KR101666932B1 KR101666932B1 (ko) 2016-10-17

Family

ID=46266213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100109060A KR101666932B1 (ko) 2010-11-04 2010-11-04 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101666932B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780618A (zh) * 2016-11-24 2017-05-31 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
US9846919B2 (en) 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
KR101978830B1 (ko) * 2017-12-19 2019-05-15 전자부품연구원 이종 센서의 감지 결과 정합 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027507A (ja) * 2000-07-13 2002-01-25 Sony Corp カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2005228134A (ja) * 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 画象処理装置、画像処理方法及びプログラム
KR20090087638A (ko) * 2008-02-13 2009-08-18 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027507A (ja) * 2000-07-13 2002-01-25 Sony Corp カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2005228134A (ja) * 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 画象処理装置、画像処理方法及びプログラム
KR20090087638A (ko) * 2008-02-13 2009-08-18 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846919B2 (en) 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
US10417735B2 (en) 2015-02-16 2019-09-17 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
US11049212B2 (en) 2015-02-16 2021-06-29 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
CN106780618A (zh) * 2016-11-24 2017-05-31 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
CN106780618B (zh) * 2016-11-24 2020-11-03 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
KR101978830B1 (ko) * 2017-12-19 2019-05-15 전자부품연구원 이종 센서의 감지 결과 정합 시스템 및 방법

Also Published As

Publication number Publication date
KR101666932B1 (ko) 2016-10-17

Similar Documents

Publication Publication Date Title
EP3754295B1 (en) Three-dimensional measuring system and three-dimensional measuring method
JP7134012B2 (ja) 視差推定装置及び方法
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN108225216B (zh) 结构光系统标定方法及装置、结构光系统及移动设备
US20150093042A1 (en) Parameter calibration method and apparatus
US20150304617A1 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
Bethmann et al. Least-squares matching with advanced geometric transformation models
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
JP2010152535A (ja) ３次元形状復元装置及びそのプログラム
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112686961A (zh) 一种深度相机标定参数的修正方法、装置
KR20150133591A (ko) 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP2019091122A (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
JP5752770B2 (ja) 画像処理方法および装置
WO2018133027A1 (zh) 基于灰度约束的三维数字散斑的整像素搜索方法及装置
KR20120047482A (ko) 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치
US9721348B2 (en) Apparatus and method for raw-cost calculation using adaptive window mask
JP6359985B2 (ja) デプス推定モデル生成装置及びデプス推定装置
CN109741245B (zh) 平面信息的插入方法及装置
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
JP2011022084A (ja) 三次元姿勢測定装置および三次元姿勢測定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4