KR20130041440A - Image processing apparatus and method thereof - Google Patents

Image processing apparatus and method thereof Download PDF

Info

Publication number
KR20130041440A
KR20130041440A KR1020110105669A KR20110105669A KR20130041440A KR 20130041440 A KR20130041440 A KR 20130041440A KR 1020110105669 A KR1020110105669 A KR 1020110105669A KR 20110105669 A KR20110105669 A KR 20110105669A KR 20130041440 A KR20130041440 A KR 20130041440A
Authority
KR
South Korea
Prior art keywords
image
dimensional
tof sensor
color
parameter
Prior art date
Application number
KR1020110105669A
Other languages
Korean (ko)
Inventor
최욱
이기창
임화섭
김도균
권인소
정지영
정예근
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020110105669A priority Critical patent/KR20130041440A/en
Publication of KR20130041440A publication Critical patent/KR20130041440A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/50—Detectors
    • G01N2223/506—Detectors time-of-flight

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An image processing device and a method thereof are provided to easily detect a response point by only sensing an irregularly placed hole during photographing with a 3D TOF(Time of Flight) sensor by using a 2.5D pattern. CONSTITUTION: An image processing device obtains a color image, an amplitude image, and 3D measurement values(310). The image processing device optimizes an implicitness parameter of a 3D TOF sensor(320). The image processing device corrects a radial distortion from the amplitude image(330). The image processing device optimizes a cost function(340). [Reference numerals] (310) Obtaining a color image, a luminosity image, and a 3D measurement values; (320) Optimizing the implicitness parameter of a 3D TOF sensor; (330) Correcting radial distortion; (340) Optimizing a cost function; (AA) Start; (BB) End;

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}Image processing apparatus and method {IMAGE PROCESSING APPARATUS AND METHOD THEREOF}

기술분야는 3D TOF 센서와 컬러 카메라의 외적 캘리브레이션 장치 및 방법에 관한 것이다. TECHNICAL FIELD The art relates to an external calibration apparatus and method for 3D TOF sensors and color cameras.

3차원 TOF(Time-of-Flight) 센서는 근적외선을 쏘아 돌아오는 신호의 세기와 위상을 측정하여 촬영 대상과의 거리를 계산하는 방식으로 3차원 값들을 측정한다. 2차원 레이저 스캐너는 촬영 대상을 한 줄로 스캔 하는 반면, 3차원 TOF 센서는 2차원으로 배열된 여러 개의 LED가 동시에 촬영 대상을 향해 근적외선을 쏘아 특정 높이의 거리 측정에 한정되지 않고, FULL 3D(Dimension)를 촬영한다. A three-dimensional time-of-flight (TOF) sensor measures three-dimensional values by measuring the strength and phase of a signal that is emitted from near-infrared rays and calculating a distance to a photographing object. A two-dimensional laser scanner scans a subject in a row, while a three-dimensional TOF sensor is not limited to measuring distances of a specific height by multiple N-arranged LEDs simultaneously shooting near-infrared rays toward the subject. ).

그러나, 현재의 3차원 TOF 센서는 2차원 레이스 스캐너에 비해 측정값의 정확도가 낮고, 함께 사용되는 컬러 영상에 비해 해상도가 낮다. However, current three-dimensional TOF sensors have lower accuracy of measurement values than two-dimensional race scanners and lower resolution than color images used together.

따라서, 기존의 2차원 레이저 스캐너와 컬러 카메라를 외적 캘리브레이션 하는 방법 또는 컬러 영상 만으로 캘리브레이션 하는 방법으로는 3차원 TOF 센서와 컬러 카메라를 정확하게 외적으로 캘리브레이션 할 수 없다.Therefore, by externally calibrating a conventional two-dimensional laser scanner and a color camera or a method of calibrating only a color image, it is impossible to accurately externally calibrate the three-dimensional TOF sensor and the color camera.

3차원 TOF 센서와 같이 낮은 해상도와 부정확한 측정값을 보완하면서 외적 캘리브레이션을 수행할 수 있는 기술에 대한 연구가 필요하다. There is a need for a technique for performing external calibration, such as a three-dimensional TOF sensor, to compensate for low resolution and inaccurate measurements.

일 측면에 있어서, 영상 처리 방법은 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하는 단계, 상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 단계, 최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하는 단계 및 원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화하는 단계를 포함한다.In one aspect, the image processing method is obtained by capturing a 2.5-dimensional pattern with a color camera to obtain a color image, and by taking a 2.5-dimensional pattern with a three-dimensional time of flight (TOF) sensor and the luminance image and three Obtaining dimensional measurements, optimizing the internal parameters of the three-dimensional TOF sensor to minimize the transfer error of the three-dimensional measurements in consideration of the internal parameters of the three-dimensional TOF sensor and the three-dimensional measurements; Correcting a circumferential distortion in the luminance image in consideration of the internal product parameters, a feature point of the luminosity image with circumferential distortion correction, a feature point of the color image, an internal parameter and an external parameter of the color camera, Optimized cost function considering optimized internal and external parameters and depth constraints of 3D TOF sensor .

다른 일 측면에 있어서, 영상 처리 방법은 상기 컬러 영상 및 상기 광도 영상에 대해 초기 캘리브레이션을 수행하여 상기 컬러 카메라의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하고, 상기 3차원 TOF 센서의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하는 단계를 더 포함할 수 있다.In another aspect, the image processing method performs initial calibration on the color image and the luminance image to calculate the internal parameter and the external parameter of the color camera, and the internal parameter and the third parameter of the 3D TOF sensor. The method may further include calculating an external parameter.

상기 비용함수를 최적화하는 단계는 상기 원주방향 왜곡이 보정된 광도 영상의 특징점을 획득하고, 상기 컬러 영상의 특징점을 획득하는 단계를 포함할 수 있다.The optimizing of the cost function may include acquiring a feature point of the luminosity image in which the circumferential distortion is corrected, and acquiring a feature point of the color image.

다른 일 측면에 있어서, 영상 처리 방법은 최적화된 비용 함수를 이용하여 상기 컬러 카메라와 상기 3차원 TOF 센서 간의 위치 및 각도를 추정하는 단계를 더 포함할 수 있다.In another aspect, the image processing method may further include estimating a position and an angle between the color camera and the three-dimensional TOF sensor using an optimized cost function.

상기 2.5차원 패턴은 상기 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지고, 대칭(symmetric)적인 형태를 가지는 구멍이 불규칙하게 배치된 패턴임을 특징으로 할 수 있다.The 2.5-dimensional pattern may have a size that allows the near infrared ray of the 3D TOF sensor to pass through, and may be a pattern in which holes having a symmetrical shape are irregularly disposed.

상기 3차원 TOF 센서는 상기 2.5차원 패턴의 깊이 값을 측정할 수 있다.The 3D TOF sensor may measure a depth value of the 2.5D pattern.

상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 단계는 상기 3차원 측정값들을 상기 내적 파라미터를 이용하여 상기 광도 영상으로 전사한 결과, 해당 픽셀의 좌표와 상기 3차원 측정값들과 맵핑되는 상기 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 Levenberg-Marquardt 방식을 이용하여 최적화를 수행할 수 있다.The step of optimizing the internal parameter of the three-dimensional TOF sensor is a result of transferring the three-dimensional measurement values to the luminance image using the internal parameter, the luminance image is mapped to the coordinates of the pixel and the three-dimensional measurement values Optimization can be performed using the Levenberg-Marquardt method so that the error between the coordinates of the pixel is minimized.

상기 원주방향 왜곡(radial distortion)을 보정하는 단계는 상기 광도 영상에 포함된 원주방향 왜곡(radial distortion) 성분을 상기 최적화된 내적 파라미터를 고려하여, Levenberg-Marquardt 방식을 이용하여 보정할 수 있다.The step of correcting the radial distortion may be corrected by using the Levenberg-Marquardt method in consideration of the optimized internal parameter of the radial distortion component included in the luminance image.

상기 깊이 제약조건은 상기 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 상기 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것임을 특징으로 할 수 있다.The depth constraint may be characterized by estimating values located in the 2.5-dimensional pattern plane among 3D measured values measured by the 3D TOF sensor.

상기 비용 함수는 상기 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 원주방향 왜곡이 보정된 광도 영상의 특징점에 대응하는 점이 상기 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 상기 컬러 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 컬러 영상의 특징점에 대응하는 점이 상기 컬러 영상으로 투영된 점의 좌표 간의 차이 및 상기 깊이 제약조건을 포함할 수 있다.The cost function may include the coordinates of the feature points of the luminosity image in which the circumferential distortion is corrected and the points corresponding to the feature points of the luminosity image in which the circumferential distortion is corrected in the 2.5-dimensional pattern are projected onto the luminosity image in which the circumferential distortion is corrected. The difference between the coordinates of the point, the coordinates of the feature point of the color image and the point corresponding to the feature point of the color image in the 2.5-dimensional pattern may include the difference between the coordinates of the point projected to the color image and the depth constraint.

일 측면에 있어서, 영상 처리 장치는 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하는 촬영부, 상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 제1 최적화부, 최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하는 보정부 및 원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화하는 제2 최적화부를 포함한다.In an aspect, the image processing apparatus may acquire a color image by capturing a 2.5-dimensional pattern with a color camera, and photograph the 2.5-dimensional pattern with a 3D time of flight (TOF) sensor to obtain an luminance image and a 3 A photographing unit obtaining dimension measurements, the first parameter to optimize the internal parameter of the three-dimensional TOF sensor to minimize the transfer error of the three-dimensional measurement in consideration of the internal parameter of the three-dimensional TOF sensor and the three-dimensional measurement values An optimizer, a corrector for correcting radial distortion in the luminance image in consideration of the optimized inner product parameter, a feature point of the luminance image in which the circumferential distortion is corrected, a feature point of the color image, and an inner parameter of the color camera And cost considering external parameter, optimized internal parameter, external parameter and depth constraint of the 3D TOF sensor The optimization includes two parts to optimize the number.

다른 일 측면에 있어서, 영상 처리 장치는 상기 컬러 영상 및 상기 광도 영상에 대해 초기 캘리브레이션을 수행하여 상기 컬러 카메라의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하고, 상기 3차원 TOF 센서의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하는 계산부를 더 포함할 수 있다.In another aspect, the image processing apparatus performs initial calibration on the color image and the luminance image to calculate the internal parameter and the external parameter of the color camera, and the internal parameter and the internal parameter of the 3D TOF sensor. The apparatus may further include a calculator configured to calculate the external parameter.

상기 2.5차원 패턴은 상기 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지는 원형 구멍이 불규칙하게 배치된 패턴임을 특징으로 할 수 있다.The 2.5-dimensional pattern may be a pattern in which a circular hole having a size enough to pass near infrared rays of the 3D TOF sensor is irregularly disposed.

제1 최적화부는 상기 3차원 측정값들을 상기 내적 파라미터를 이용하여 상기 광도 영상으로 전사한 결과, 해당 픽셀의 좌표와 상기 3차원 측정값들과 맵핑되는 상기 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 최적화를 수행할 수 있다.The first optimizer transfers the three-dimensional measurement values to the luminance image using the internal parameter, and as a result, the error between the coordinates of the pixel and the pixel of the luminance image mapped to the three-dimensional measurement values is minimal. Optimization can be performed as much as possible.

상기 깊이 제약조건은 상기 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 상기 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것임을 특징으로 할 수 있다.The depth constraint may be characterized by estimating values located in the 2.5-dimensional pattern plane among 3D measured values measured by the 3D TOF sensor.

상기 제2 최적화부는 상기 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 원주방향 왜곡이 보정된 광도 영상의 특징점에 대응하는 점이 상기 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 상기 컬러 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 컬러 영상의 특징점에 대응하는 점이 상기 컬러 영상으로 투영된 점의 좌표 간의 차이 및 상기 깊이 제약조건을 포함하는 비용함수의 최소값을 계산할 수 있다.The second optimizer projects the coordinates of the feature points of the luminosity image in which the circumferential distortion is corrected and the points corresponding to the feature points of the luminosity image in which the circumferential distortion is corrected in the 2.5-dimensional pattern to the luminosity image in which the circumferential distortion is corrected. A cost function comprising the difference between the coordinates of the plotted points, the coordinates of the feature points of the color image and the coordinates of the points corresponding to the feature points of the color image in the 2.5-dimensional pattern projected onto the color image and the depth constraint The minimum value of can be calculated.

근적외선이 통과할 수 있는 크기의 구멍이 불규칙하게 배치된 2.5차원 패턴을 이용함으로써, 3차원 TOF 센서로 촬영하는 경우 불규칙하게 배치된 구멍의 감지만으로 쉽게 대응점을 검출할 수 있다.By using a 2.5-dimensional pattern of irregularly arranged holes that can pass near infrared rays, the corresponding point can be easily detected only by detecting irregularly arranged holes when photographing with a 3D TOF sensor.

최적화된 내적 파라미터를 이용하여 3차원 TOF 센서에서 촬영된 광도영상에서 원주방향 왜곡(radial distortion)을 보정함으로써, 더 많은 대응점을 검출할 수 있다. More correspondence can be detected by correcting the radial distortion in the luminosity image captured by the three-dimensional TOF sensor using the optimized internal parameter.

컬러 영상의 전사 오차, 원주방향 왜곡이 보정된 광도 영상의 전사 오치 및 3차원 측정값을 포함하는 비용함수를 최적화함으로써, 컬러 카메라가 제공하지 않는 3차원 특성이 캘리브레이션에 반영될 수 있고, 부정확한 측정값을 보완할 수 있다.By optimizing the cost function including the transfer error of the color image, the transfer error of the luminance image with the circumferential distortion corrected, and the three-dimensional measurement value, the three-dimensional characteristic that the color camera does not provide may be reflected in the calibration and may be incorrect. The measured value can be complemented.

도 1은 2차원 패턴과 본 발명의 일실시예에 따른 2.5차원 패턴을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에서 컬러 카메라, 3차원 TOF 센서 및 2.5차원 패턴을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 방법의 흐름도이다.
도 4는 본 발명의 다른 일실시예에 따른 영상 처리 방법의 흐름도이다.
도 5는 본 발명의 일실시예에 따른 영상 처리 과정에서 내적 파라미터의 최적화 전과 최적화 후에 영상에 전사된 결과를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 영상 처리 장치의 블록도이다.1 is a view showing a two-dimensional pattern and a 2.5-dimensional pattern according to an embodiment of the present invention.
2 is a view illustrating a color camera, a 3D TOF sensor, and a 2.5D pattern in an image processing apparatus according to an embodiment of the present invention.
3 is a flowchart of an image processing method according to an embodiment of the present invention.
4 is a flowchart of an image processing method according to another exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating a result of being transferred to an image before and after optimization of an internal parameter in an image processing process according to an embodiment of the present invention.
6 is a block diagram of an image processing apparatus according to an embodiment of the present invention.

이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

3차원 TOF 센서에서 측정된 거리 값이 컬러 카메라가 촬영한 영상의 어느 위치에 해당하는 지를 알기 위해서는, 3차원 TOF 센서와 컬러 카메라 간에 정확한 캘리브레이션이 이루어 져야 한다. 일 측면에 있어서, 영상 처리 방법은 위의 캘리브레이션에 관련된 것이다. In order to know where the distance value measured by the 3D TOF sensor corresponds to the image captured by the color camera, accurate calibration should be performed between the 3D TOF sensor and the color camera. In one aspect, the image processing method relates to the above calibration.

이러한 캘리브레이션은 3차원 TOF 센서와 컬러 카메라를 함께 이용하는 산업 전반에 적용될 수 있다. 예를 들어, 상기 캘리브레이션은 로봇 또는 자동차에 3차원 TOF 센서와 컬러 카메라를 함께 탑재하여 거리 측정, 자율 주행, 장애물 감지 및 물체 인식을 할 때 활용될 수 있다.This calibration can be applied throughout the industry using three-dimensional TOF sensors and color cameras together. For example, the calibration may be used when distance measurement, autonomous driving, obstacle detection, and object recognition are performed by mounting a 3D TOF sensor and a color camera together in a robot or a vehicle.

또한, 상기 캘리브레이션은 3차원 TOF 센서와 컬러 카메라를 이용한 3차원 모델 획득 및 3차원 컨텐츠 제작에도 활용될 수 있다. 즉, 3차원 실감 방송, 홈쇼핑 및 인터넷 쇼핑을 위한 3차원 가상 체험, 3차원 영화 제작을 포함한 관련 분야에서 컨텐츠 제작 시, 3차원 TOF 센서와 컬러 카메라를 이용할 때 직접적으로 적용될 수 있다.In addition, the calibration may be used to obtain a 3D model and to produce 3D content using a 3D TOF sensor and a color camera. That is, it can be directly applied when using a 3D TOF sensor and a color camera when producing content in related fields including 3D realistic broadcasting, 3D virtual experience for home shopping and internet shopping, and 3D movie production.

도 1은 2차원 패턴과 본 발명의 일실시예에 따른 2.5차원 패턴을 나타낸 도면이다.1 is a view showing a two-dimensional pattern and a 2.5-dimensional pattern according to an embodiment of the present invention.

도 1을 참조하면, 컬러 영상(110)은 2차원의 체커보드를 컬러 카메라로 촬영한 영상이다. 광도 영상(120)은 2차원의 체커 보드를 3차원 TOF 센서로 촬영한 영상이다.Referring to FIG. 1, the color image 110 is an image captured by a two-dimensional checker board with a color camera. The luminance image 120 is an image of a 2D checker board taken with a 3D TOF sensor.

3차원 TOF 센서와 컬러 카메라 간에 외적 캘리브레이션을 위해서는 3차원 상의 위치를 알고 있는 점과 이 점을 촬영한 영상에서 대응점을 정확하게 판단하는 것이 중요하다. 위치를 알고 있는 점과 대응점 간의 대응관계를 이용하여 전사 오차(reprojection error)를 최소화하는 3차원 TOF 센서 또는 컬러 카메라의 파라미터를 계산할 수 있기 때문이다.For external calibration between the 3D TOF sensor and the color camera, it is important to accurately determine the point of knowing the position of the 3D image and the corresponding point in the captured image. This is because a parameter of a 3D TOF sensor or a color camera that minimizes a reprojection error may be calculated by using a correspondence between a location and a corresponding point.

컬러 카메라를 캘리브레이션 하는 경우, 주로 체커보드를 촬영하고, 코너 검출(corner detection)을 통해 컬러 영상(110) 상의 대응점을 계산한다. 그러나 3차원 TOF 센서로 촬영된 광도 영상(120)은 해상도가 낮고, 노이즈가 심하여 코너 검출을 통해 정확하게 대응점을 계산하는 것이 쉽지 않다.When calibrating a color camera, a checkerboard is mainly photographed and a corresponding point on the color image 110 is calculated through corner detection. However, since the brightness image 120 captured by the 3D TOF sensor has low resolution and high noise, it is difficult to accurately calculate a corresponding point through corner detection.

컬러 영상(130)은 2.5차원의 패턴을 컬러 카메라로 촬영한 영상이다. 광도 영상(140)은 2.5차원의 패턴을 3차원 TOF 센서로 촬영한 영상이다.The color image 130 is an image obtained by photographing a 2.5-dimensional pattern with a color camera. The luminance image 140 is an image obtained by capturing a 2.5-dimensional pattern with a 3D TOF sensor.

여기서 2.5차원의 패턴은 평면에 구멍이 불규칙하게 뚫린 패턴을 의미한다. 이때, 구멍은 3차원 TOF 센서에서 출력되는 근적외선이 충분히 통과할 수 있을 정도의 크기를 가진다. 또한, 구멍은 원의 형태로 영상에 나타나기 때문에 구멍의 중심의 위치는 등방성의 노이즈에 영향을 크게 받지 않을 수 있다. 따라서, 2.5차원 패턴은 광도 영상(140)에서 정확하게 대응점을 계산하는데 용이하게 이용될 수 있다. Here, the 2.5-dimensional pattern means a pattern in which holes are irregularly drilled in the plane. At this time, the hole has a size enough to allow the near infrared ray output from the three-dimensional TOF sensor to pass through. In addition, since the hole appears in the image in the form of a circle, the position of the center of the hole may not be greatly affected by the isotropic noise. Therefore, the 2.5-dimensional pattern may be easily used to accurately calculate the corresponding point in the luminance image 140.

2.5차원 패턴은 해상도가 낮고 노이즈가 심한 광도 영상(140)에서도 구멍의 중심을 찾는 것이 쉽다. 또한, 불규칙한 패턴으로 인하여 2.5차원 패턴 평면의 일부만 보이거나, 위아래가 바뀌더라도 광도 영상과 2.5차원 패턴 간의 대응 점이 자동으로 검출될 수 있다.
2.5-dimensional pattern is easy to find the center of the hole even in the low-resolution and intensive luminosity image 140. In addition, due to the irregular pattern, only a part of the 2.5-dimensional pattern plane is visible or even when the top and bottom sides are changed, a corresponding point between the luminance image and the 2.5-dimensional pattern may be automatically detected.

도 2는 본 발명의 일실시예에 따른 영상 처리 장치에서 컬러 카메라, 3차원 TOF 센서 및 2.5차원 패턴을 나타낸 도면이다.2 is a view illustrating a color camera, a 3D TOF sensor, and a 2.5D pattern in an image processing apparatus according to an embodiment of the present invention.

도 2를 참조하면, 컬러 카메라(210)는 2.5차원 패턴(230)을 촬영하여 컬러 영상(211)을 획득하고, 3차원 TOF 센서(220)는 2.5차원 패턴(230)을 촬영하여 3차원 측정값들(221)을 획득할 수 있다.Referring to FIG. 2, the color camera 210 captures a 2.5D pattern 230 to obtain a color image 211, and the 3D TOF sensor 220 captures a 2.5D pattern 230 to measure 3D. Values 221 may be obtained.

외적 캘리브레이션(Extrinsic Calibration)이란 두 개 또는 두 개 이상의 이종/동종 센서 간에 상호 위치와 각도를 알아내는 방법을 의미한다. 외적 캘리브레이션을 통해 복수의 센서들이 동일한 위치에서 촬영 대상을 촬영한 것처럼 영상이 처리될 수 있다.Extrinsic calibration refers to the method of determining the mutual position and angle between two or more heterogeneous / homogeneous sensors. Through external calibration, an image may be processed as if a plurality of sensors photographed a photographing target at the same location.

컬러 카메라(210)와 3차원 TOF 센서(220) 간에 외적 캘리브레이션이 이루어져야 한다. External calibration should be made between the color camera 210 and the three-dimensional TOF sensor 220.

컬러 카메라(210)를 통해 2.5차원 패턴(230)을 촬영함으로써, 컬러 영상(211)에서 특징점이 쉽게 검출될 수 있다. 2.5차원 패턴(230)의 특징점과 컬러 영상(211)에서 특징점에 대응하는 대응점의 관계를 고려하여 컬러 카메라(210)의 초기 캘리브레이션이 수행될 수 있다.By photographing the 2.5-dimensional pattern 230 through the color camera 210, the feature point in the color image 211 can be easily detected. An initial calibration of the color camera 210 may be performed in consideration of the relationship between the feature point of the 2.5D pattern 230 and the corresponding point corresponding to the feature point in the color image 211.

3차원 TOF 센서(220)를 통해 2.5차원 패턴(230)을 촬영함으로써, 광도 영상에서 특징점이 쉽게 검출될 수 있다. 2.5차원 패턴(230)의 특징점과 광도 영상에서 특징점에 대응하는 대응점의 관계를 고려하여 3차원 TOF 센서(220)의 초기 캘리브레이션이 수행될 수 있다. 캘리브레이션이 수행되는 구체적인 방식은 Z.Zhang이 제안한 카메라 캘리브레이션 방식을 통하여 수행될 수 있다.
By capturing the 2.5D pattern 230 through the 3D TOF sensor 220, the feature point may be easily detected in the luminance image. An initial calibration of the 3D TOF sensor 220 may be performed in consideration of the relationship between the feature point of the 2.5D pattern 230 and the corresponding point corresponding to the feature point in the luminance image. The specific method of performing the calibration may be performed through a camera calibration method proposed by Z. Zhang.

도 3은 본 발명의 일실시예에 따른 영상 처리 방법의 흐름도이다.3 is a flowchart of an image processing method according to an embodiment of the present invention.

310단계에서, 영상 처리 장치는 컬러영상(Color Image), 광도 영상(Amplitude Image) 및 3차원 측정값들을 획득한다. 영상 처리 장치는 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득할 수 있다. 컬러 영상은 2.5차원 패턴의 컬러 성분이 담긴 영상을 의미한다. In operation 310, the image processing apparatus acquires a color image, an amplitude image, and three-dimensional measurement values. The image processing apparatus may acquire a color image by photographing the 2.5D pattern with a color camera. The color image refers to an image containing color components of a 2.5-dimensional pattern.

영상 처리 장치는 2.5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도 영상 및 3차원 측정값들을 획득할 수 있다. 광도 영상은 2.5차원 패턴으로부터 반사 및 굴절된 광선의 세기를 통하여 측정되므로 2.5차원 패턴의 식별을 가능하게 하고, 3차원 측정값들은 2.5차원 패턴이 3차원 TOF센서로부터 얼마나 떨어져 있는지, 즉 원근감을 나타낼 수 있다. 3차원 측정값은 광도 영상의 각 픽셀마다 측정된 3차원 좌표값을 의미한다.The image processing apparatus may acquire the luminance image and the 3D measurement values by photographing the 2.5D pattern with a 3D time of flight (TOF) sensor. Luminance images are measured through the intensity of the reflected and refracted rays from the 2.5-dimensional pattern, allowing for the identification of 2.5-dimensional patterns, and the 3-dimensional measurements indicate how far the 2.5-dimensional pattern is from the 3D TOF sensor, ie perspective. Can be. The 3D measurement value refers to a 3D coordinate value measured for each pixel of the luminance image.

영상 처리 장치는 컬러 영상에 대해 초기 캘리브레이션을 수행하여 컬러 카메라의 내적 파라미터의 초기값 및 외적 파라미터의 초기값을 계산할 수 있다. 영상 처리 장치는 광도 영상에 대해 초기 캘리브레이션을 수행하여 3차원 TOF 센서의 내적 파라미터의 초기값 및 외적 파라미터의 초기값을 계산할 수 있다.The image processing apparatus may calculate an initial value of the internal parameter and an external parameter of the color camera by performing initial calibration on the color image. The image processing apparatus may calculate an initial value of an internal parameter and an external parameter of the 3D TOF sensor by performing initial calibration on the luminance image.

내적 파라미터는 카메라의 초점 길이 및 카메라로 촬영된 영상의 중심을 나타내며, 외적 파라미터는 2.5차원 패턴 평면이 카메라로부터 어떤 위치 및 각도에 있는지를 나타낼 수 있다.The internal parameter represents the focal length of the camera and the center of the image taken by the camera, and the external parameter may indicate at which position and angle the 2.5-dimensional pattern plane is from the camera.

초기 캘리브레이션은 Qilong Zhang and Robert Pless, IROS 2004의 방식을 이용하여 이루어질 수 있다. Initial calibration can be done using Qilong Zhang and Robert Pless, IROS 2004.

컬러 영상 또는 광도 영상과 촬영 대상인 2.5패턴과의 관계는 다음의 식으로 표현될 수 있다. The relationship between the color image or the luminance image and the 2.5 pattern to be photographed may be expressed by the following equation.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

Figure pat00003
Figure pat00003

s는 임의의 스케일 팩터이고, [u,v]는 2.5차원 패턴 상의 점이 영상-컬러 영상 또는 광도 영상-에 투영된 점, [u,v,1]에서 1은 행렬 계산을 위해 추가된 확장 벡터(augmented vector), [u,v,1]T는 [u,v,1]의 전치행렬(transposed matrix), K는 내적 파라미터, [r1, r2, t]는 외적 파라미터로 R=[r1,r2,r3]로 회전 매트릭스(Rotation Matrix), t는 병진 벡터(translation vector), [X,Y]는 2.5차원 패턴 상의 점-예를 들면 각 구멍의 중심의 위치-, [X,Y,1]에서 1은 행렬 계산을 위해 추가된 확장 벡터, [X,Y,1]T는 [X,Y,1]의 전치행렬, H=[h1,h2,h3]는 2.5차원 패턴 상의 점과 영상에 투영된 점 간의 호모그래피(Homography)를 나타낸다. λ는 임의의 상수를 의미한다.s is any scale factor, [u, v] is the point where the point on the 2.5-dimensional pattern is projected on the image-color image or luminosity image, and in [u, v, 1] 1 is the extension vector added for matrix calculation (augmented vector), [u, v, 1] T is the transposed matrix of [u, v, 1], K is an internal parameter, [r 1 , r 2 , t] is an external parameter and R = [ r 1 , r 2 , r 3 ] is the rotation matrix, t is the translation vector, [X, Y] is the point on the 2.5-dimensional pattern, e.g. the position of the center of each hole, 1 in X, Y, 1] is an extension vector added for matrix calculation, [X, Y, 1] T is a transpose of [X, Y, 1], H = [h 1 , h 2 , h 3 ] Denotes homography between the points on the 2.5-dimensional pattern and the points projected on the image. λ means any constant.

내부 파라미터 K는 다음의 조건을 만족하도록 계산될 수 있다.The internal parameter K can be calculated to satisfy the following condition.

Figure pat00004
Figure pat00004

3차원 TOF 센서에서 측정된 3차원 측정값은 2.5차원 패턴 상의 점의 깊이 값을 포함한다. 이때, 측정된 깊이 값이 정확하다고 가정하고, 3차원 TOF 센서로 측정한 깊이 값들이 동일한 평면 상에 위치한다는 제약 조건을 이용하여 외적 파라미터가 계산될 수 있다. The three-dimensional measurement measured at the three-dimensional TOF sensor includes the depth value of the point on the 2.5-dimensional pattern. In this case, assuming that the measured depth value is accurate, the external parameter may be calculated using a constraint that the depth values measured by the 3D TOF sensor are located on the same plane.

이때, 외적 파라미터는 다음의 조건을 만족하도록 계산될 수 있다.In this case, the external parameter may be calculated to satisfy the following condition.

Figure pat00005
Figure pat00005

Figure pat00006
,
Figure pat00007
Figure pat00006
,
Figure pat00007

Figure pat00008
Figure pat00008

M은 3차원 TOF 센서의 좌표계에서 촬영된 2.5차원 패턴 상의 점을 나타내는 행렬, Q는 3차원 TOF 센서의 광도영상에서 2.5차원 패턴 상의 점이 투영된 점을 나타내는 행렬, [RL tL]는 외적 파라미터, N은 2.5차원 패턴 평면의 Normal,

Figure pat00009
은 M에 확장 벡터가 추가된 행렬을 의미한다.M is a matrix representing points on a 2.5D pattern photographed in the coordinate system of the 3D TOF sensor, Q is a matrix representing points projected on the 2.5D pattern in the luminosity image of the 3D TOF sensor, and [R L t L ] is an external product. Parameter, N is the normal,
Figure pat00009
Denotes a matrix in which an extension vector is added to M.

2.5차원 패턴은 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지고 대칭(symmetric)적인 형태를 가지는 구멍이 불규칙 적으로 배치된 패턴일 수 있다. 2.5차원 패턴은 불규칙적으로 배치된 원형 모양의 구멍으로 구성된 패턴일 수 있다. The 2.5-dimensional pattern may be a pattern in which a near-infrared ray of the 3D TOF sensor is large enough to pass through and a hole having a symmetrical shape is irregularly disposed. The 2.5-dimensional pattern may be a pattern consisting of irregularly arranged circular holes.

타원으로 구성된 2.5차원 패턴의 경우는 등방형 노이즈가 있는 경우에도, 촬영된 영상에서 타원의 중심이 변하지 않으므로, 해상도가 낮은 경우에도, 타원의 중심이 특징점으로 이용될 수 있다.In the case of a 2.5-dimensional pattern composed of ellipses, even when there is isotropic noise, the center of the ellipse does not change in the captured image, and therefore, even when the resolution is low, the center of the ellipse may be used as a feature point.

예를 들면, 4cm의 구멍이 불규적으로 배치된 2.5차원 패턴의 경우, 구멍을 통해 근적외선(NIR, Near Infrared Ray)의 통과가 가능하므로, 컬러 영상에서도 컬러 차이에 의해 쉽게 구멍의 검출이 가능하다. 또한, 광도 영상에서도 깊이 값의 차이에 의해 쉽게 구멍의 검출이 가능하다.For example, in the case of a 2.5-dimensional pattern in which a 4 cm hole is irregularly arranged, the near infrared ray (NIR) can pass through the hole, and thus, even in a color image, the hole can be easily detected by the color difference. . In addition, in the luminance image, the hole can be easily detected by the difference in the depth value.

3차원 TOF 센서는 2.5차원 패턴 상의 점의 깊이 값을 측정할 수 있다.The three-dimensional TOF sensor can measure the depth value of the point on the 2.5-dimensional pattern.

3차원 TOF 센서의 초기 내적 파라미터를 이용하여 3차원 측정값들이 광도 영상으로 전사(project)되면, 각 3차원 측정값이 가지는 영상 좌표 값과 다른 위치에 전사되는 경우가 많다.When the 3D measurement values are projected to the luminance image by using the initial dot product parameters of the 3D TOF sensor, the 3D TOF sensors are often transferred to positions different from the image coordinate values of each 3D measurement value.

320단계에서, 영상 처리 장치는 3차원 TOF 센서의 내적 파라미터를 최적화한다. 영상 처리 장치는 3차원 측정값들이 원래의 좌표, 즉 3차원 측정값이 가지는 좌표로 전사가 되도록 내적 파라미터를 최적화할 수 있다.In operation 320, the image processing apparatus optimizes an internal parameter of the 3D TOF sensor. The image processing apparatus may optimize the internal parameter such that the 3D measured values are transferred to the original coordinates, that is, the coordinates of the 3D measured values.

영상 처리 장치는 3차원 TOF 센서의 내적 파라미터와 3차원 측정값들을 고려하여, 3차원 측정값들의 광도 영상으로의 전사 오차가 최소화하도록 3차원 TOF 센서의 내적 파라미터를 최적화할 수 있다. 이때, 3차원 측정값과 광도 영상의 좌표 간의 맵핑 관계는 핀홀 카메라 모델로 모델링되어 내적 파라미터가 최적화될 수 있다. The image processing apparatus may optimize the internal parameter of the 3D TOF sensor to minimize the transfer error of the 3D measured values to the luminance image in consideration of the internal parameter and the 3D measured values of the 3D TOF sensor. In this case, the mapping relationship between the 3D measurement value and the coordinates of the luminance image may be modeled by a pinhole camera model to optimize an internal parameter.

영상 처리 장치는 3차원 측정값들을 내적 파라미터를 이용하여 광도 영상으로 전사할 수 있다. 영상 처리 장치는 3차원 측정값들이 전사된 픽셀의 좌표와 3차원 측정값들이 원래 맵핑되어야 할 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 Levenberg-Marquardt 알고리즘을 이용하여 최적화를 수행할 수 있다.The image processing apparatus may transfer the 3D measured values to the luminance image by using an internal parameter. The image processing apparatus may perform optimization using the Levenberg-Marquardt algorithm so that an error between the coordinates of the pixel from which the 3D measurements are transferred and the coordinates of the pixel of the luminance image to which the 3D measurements are originally mapped is minimized.

330단계에서, 영상 처리 장치는 광도 영상에서 원주방향 왜곡(radial distortion)을 보정한다. 영상 처리 장치는 최적화된 내적 파라미터를 고려하여 광도 영상에서 원주방향 왜곡을 보정할 수 있다.In operation 330, the image processing apparatus corrects circumferential distortion in the luminance image. The image processing apparatus may correct the circumferential distortion in the luminance image in consideration of the optimized internal parameter.

원주방향 왜곡이 보상되면, 원주방향 왜곡 때문에 감지되지 않았던 광도 영상 상의 특징점들이 감지되어 더 많은 대응점을 획득할 수 있다. 예를 들면, 특징점은 2.5차원 패턴의 구멍이 될 수 있다.When the circumferential distortion is compensated for, the feature points on the luminosity image which were not detected due to the circumferential distortion may be detected to obtain more corresponding points. For example, the feature point may be a hole in a 2.5 dimensional pattern.

영상 처리 장치는 원주방향 왜곡이 보상된 광도 영상에서 특징점을 검출할 수 있다. 광도 영상에 넓게 퍼져 있는 특징점이 많을수록 외적 캘리브레이션은 정확해질 수 있다.The image processing apparatus may detect a feature point in the luminance image in which circumferential distortion is compensated. The more feature points spread widely in the luminance image, the more accurate the external calibration can be.

영상 처리 장치는 광도 영상에 포함된 원주방향 왜곡 성분을 최적화된 내적 파라미터를 고려하여, Levenberg-Marquardt 알고리즘을 이용하여 보정할 수 있다. 영상 처리 장치는 3차원 TOF 센서의 한 픽셀에서 측정된 3차원 점이 전사되어야 할 원래의 픽셀로 다시 전사되어야 한다는 제약 조건을 이용하여 원주방향 왜곡을 보정할 수 있다.The image processing apparatus may correct the circumferential distortion component included in the luminance image by using the Levenberg-Marquardt algorithm in consideration of the optimized internal parameter. The image processing apparatus may correct the circumferential distortion by using a constraint that the 3D point measured at one pixel of the 3D TOF sensor must be transferred back to the original pixel to be transferred.

340단계에서, 영상 처리 장치는 비용함수를 최적화한다. 비용함수는 원주방향 왜곡이 보정된 광도 영상의 특징점, 컬러 영상의 특징점, 컬러 카메라의 내적 파라미터와 외적 파라미터, 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약 조건(Depth Constraint)이 고려된 함수일 수 있다.In operation 340, the image processing apparatus optimizes the cost function. The cost function takes into account the characteristic points of the luminosity image with the correction of the circumferential distortion, the characteristic points of the color image, the internal and external parameters of the color camera, the optimized internal and external parameters of the three-dimensional TOF sensor, and the depth constraint. It can be a function.

깊이 제약 조건은 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것일 수 있다. The depth constraint may be to estimate values located in the 2.5D pattern plane among the 3D measured values measured by the 3D TOF sensor.

비용함수는 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 2.5차원 패턴에서 상기 특징점에 대응하는 점이 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 컬러 영상의 특징점의 좌표와 2.5차원 패턴에서 컬러 영상의 특징점에 대응하는 점이 컬러 영상으로 투영된 점의 좌표 간의 차이 및 깊이 제약 조건을 포함할 수 있다.The cost function is the difference between the coordinates of the feature points of the luminance image corrected for the circumferential distortion and the coordinates of the points projected to the luminance image corrected for the circumferential distortion in the 2.5-dimensional pattern, and the coordinates of the feature points of the color image. A point corresponding to a feature point of the color image in the 2.5-dimensional pattern may include a difference between the coordinates of the point projected into the color image and a depth constraint.

2.5차원 패턴 상의 한 점은 컬러 영상으로 투영했을 때, 컬러 영상에서 검출된 특징점과 일치해야 한다. 또한, 2.5차원 패턴 상의 한 점은 광도 영상으로 투영했을 때, 광도 영상에서 검출된 특징점과 일치해야 한다. 또한, 3차원 TOF 센서로 측정한 한 평면 상의 점들은 2.5차원 패턴 평면 위에 존재해야 한다. 이러한 조건들이 비용함수에 반영될 수 있다. One point on the 2.5-dimensional pattern should coincide with the feature points detected in the color image when projected onto the color image. In addition, one point on the 2.5-dimensional pattern should coincide with the feature point detected in the luminance image when projected onto the luminance image. In addition, the points on one plane measured by the three-dimensional TOF sensor should be on the 2.5-dimensional pattern plane. These conditions can be reflected in the cost function.

영상 처리 장치는 Levenberg-Marquardt 알고리즘을 이용하여 비용함수에 최적화를 수행함으로써, 컬러 카메라의 외적 파라미터 및 3차원 TOF 센서의 외적 파라미터들을 보정할 수 있다.The image processing apparatus may correct the external parameters of the color camera and the external parameters of the 3D TOF sensor by optimizing the cost function using the Levenberg-Marquardt algorithm.

파라미터들은 다음과 같이 표현될 수 있다. The parameters can be expressed as follows.

Figure pat00010
Figure pat00010

Rc2t, tc2t는 3차원 TOF 센서의 외적 파라미터로 회전 행렬과 병진 행렬을 나타낸다. Rc1, tc1, Rci, tci, RcN, tcN은 컬러 카메라의 외적 파라미터로 회전 행렬과 병진 행렬을 나타낸다.R c2t and t c2t are the external parameters of the three-dimensional TOF sensor and represent rotation and translation matrices. R c1 , t c1 , R ci , t ci , R cN and t cN are the external parameters of the color camera and represent the rotation matrix and the translation matrix.

비용함수(f(P))는 다음과 같이 정의될 수 있다.The cost function f (P) can be defined as

Figure pat00011
Figure pat00012
Figure pat00011
Figure pat00012

여기서,

Figure pat00013
는 컬러 영상에서 검출된 특징점의 좌표,
Figure pat00014
는 컬러 영상에 투영된 특징점의 좌표,
Figure pat00015
는 3차원 TOF 센서에서 촬영된 광도 영상에서 검출된 특징점의 좌표,
Figure pat00016
는 광도 영상에 투영된 특징점의 좌표,
Figure pat00017
는 깊이 제약조건,
Figure pat00018
는 2.5차원 패턴 평면 상의 점에 대해 측정된 3차원 측정값을 나타낸다. here,
Figure pat00013
Is the coordinate of the feature point detected in the color image,
Figure pat00014
Is the coordinate of the feature point projected on the color image,
Figure pat00015
Is the coordinate of the feature point detected in the luminance image captured by the 3D TOF sensor,
Figure pat00016
Is the coordinate of the feature point projected on the luminance image,
Figure pat00017
Is the depth constraint,
Figure pat00018
Denotes a three dimensional measurement measured for a point on a 2.5 dimensional pattern plane.

영상 처리 장치는 원주방향 왜곡이 보정된 광도 영상의 특징점을 획득할 수 있고, 컬러 영상의 특징점을 획득할 수 있다.The image processing apparatus may acquire a feature point of the luminance image in which the circumferential distortion is corrected, and may acquire a feature point of the color image.

영상 처리 장치는 최적화된 비용함수를 이용하여, 컬러 카메라와 3차원 TOF 센서 간의 위치 및 각도를 추정할 수 있다.
The image processing apparatus may estimate the position and angle between the color camera and the 3D TOF sensor using the optimized cost function.

도 4는 본 발명의 다른 일실시예에 따른 영상 처리 방법의 흐름도이다.4 is a flowchart of an image processing method according to another exemplary embodiment of the present invention.

도 4를 참조하면, 컬러 카메라(403)는 2.5차원 패턴(401)을 촬영하여 컬러 영상(407)을 획득할 수 있다. TOF 센서(405)는 2.5차원 패턴(401)을 촬영하여 광도 영상(409) 및 3차원 측정값(411)을 획득할 수 있다. 영상 처리 장치는 컬러 영상(407), 광도 영상(409) 및 3차원 측정값(411)을 획득할 수 있다. 컬러 카메라(403) 및 TOF 센서(405)는 영상 처리 장치의 일 구성요소로 포함될 수도 있고, 영상 처리 장치와는 별개의 독립된 외부 장치일 수도 있다.Referring to FIG. 4, the color camera 403 may acquire the color image 407 by photographing the 2.5D pattern 401. The TOF sensor 405 may acquire the luminance image 409 and the 3D measured value 411 by photographing the 2.5D pattern 401. The image processing apparatus may acquire a color image 407, a luminance image 409, and a 3D measurement value 411. The color camera 403 and the TOF sensor 405 may be included as one component of the image processing apparatus, or may be an external device separate from the image processing apparatus.

영상 처리 장치는 컬러 영상(407)을 통하여 초기 캘리브레이션(413)을 수행하고, 내적 파라미터(417) 및 외적 파라미터(419)를 계산할 수 있다. 내적 파라미터(417)는 컬러 카메라(403)의 초점 거리(focal length) 및 컬러 영상(407)의 중심을 나타낼 수 있다. 외적 파라미터(419)는 2.5차원 패턴(401)의 평면이 컬러 카메라(403)로부터 어떤 위치 및 각도에 있는지를 나타낼 수 있다.The image processing apparatus may perform an initial calibration 413 through the color image 407, and calculate an internal parameter 417 and an external parameter 419. The internal parameter 417 may represent the focal length of the color camera 403 and the center of the color image 407. The external parameter 419 can indicate at what position and angle the plane of the 2.5-dimensional pattern 401 is from the color camera 403.

영상 처리 장치는 광도 영상(409)을 통하여 초기 캘리브레이션(415)을 수행하고, 내적 파라미터(421) 및 외적 파라미터(423)를 계산할 수 있다. 내적 파라미터(421)는 TOF 센서(405)의 초점 거리(focal length) 및 광도 영상(409)의 중심을 나타낼 수 있다. 외적 파라미터(423)는 2.5차원 패턴(401)의 평면이 TOF 센서(405)로부터 어떤 위치 및 각도에 있는지를 나타낼 수 있다.The image processing apparatus may perform an initial calibration 415 through the luminance image 409, and calculate an internal parameter 421 and an external parameter 423. The internal parameter 421 may represent the focal length of the TOF sensor 405 and the center of the luminance image 409. The external parameter 423 can indicate at what position and angle the plane of the 2.5-dimensional pattern 401 is from the TOF sensor 405.

3차원 측정값(411)은 광도 영상(409)의 각 픽셀마다 측정된 3차원 좌표값을 의미한다.The 3D measurement value 411 means a 3D coordinate value measured for each pixel of the luminance image 409.

내적 파라미터(421)를 이용하여 3차원 측정값(411)이 광도 영상(409)으로 전사되는 경우, 전사된 좌표값은 3차원 측정값(411)이 전사되어야 할 3차원 좌표값과 차이가 있다. 즉, 오차가 발생한다.When the 3D measurement value 411 is transferred to the luminance image 409 using the internal parameter 421, the transferred coordinate value is different from the 3D coordinate value to which the 3D measurement value 411 is to be transferred. . That is, an error occurs.

영상 처리 장치는 상기 오차를 최소화하기 위해 내적 파라미터(421)를 최적화(425)한다. 이때, 영상 처리 장치는 상기 오차가 최소가 되는 최적화된 내적 파라미터(427)를 계산하기 위해, 3차원 측정값(411) 및 Levenberg-Marquardt 알고리즘을 이용할 수 있다.The image processing apparatus optimizes 425 the internal parameter 421 to minimize the error. In this case, the image processing apparatus may use the 3D measurement value 411 and the Levenberg-Marquardt algorithm to calculate the optimized internal parameter 427 in which the error is minimal.

영상 처리 장치는 최적화된 내적 파라미터(427)를 이용하여 광도 영상(409)에서 원주방향 왜곡을 제거(429)할 수 있다.The image processing apparatus may remove circumferential distortion 429 from the luminance image 409 using the optimized inner product parameter 427.

영상 처리 장치는 왜곡 없는 영상(431)의 대응점-2.5차원 패턴의 특징점에 대응하는 점-, 컬러 영상(403)의 대응점, 컬러 카메라(403)의 내적 파라미터(417), 외적 파라미터(419), TOF 센서(405)의 최적화된 내적 파라미터(427), 외적 파라미터(423), 3차원 측정값(411) 중 2.5차원 패턴 평면을 측정한 값을 요소로 하는 비용함수를 최종 최적화(433)할 수 있다.The image processing apparatus includes a corresponding point of the image 431 without distortion—a point corresponding to a feature point of a 2.5-dimensional pattern—a corresponding point of the color image 403, an internal parameter 417 of the color camera 403, an external parameter 419, The final function 433 of the optimized internal parameter 427, the external parameter 423, and the three-dimensional measured value 411 of the TOF sensor 405 can be finally optimized 433. have.

영상 처리 장치는 TOF 센서(405)의 최적화된 내적 파라미터(427) 및 왜곡 없는 영상(431)의 대응점을 고려함으로써, 광도 영상(409)에서 더욱 많은 대응점을 계산에 반영할 수 있다. 또한, 차원 측정값(411) 중 2.5차원 패턴 평면을 측정한 값을 고려함으로써, 컬러 카메라(403)가 제공하지 않는 3차원 특성이 외적 캘리브레이션에 반영될 수 있다. The image processing apparatus may reflect more correspondence points in the luminance image 409 by considering the correspondence points of the optimized internal parameter 427 of the TOF sensor 405 and the image 431 without distortion. In addition, by taking into account the measured value of the 2.5-dimensional pattern plane of the dimensional measurement value 411, the three-dimensional characteristics that the color camera 403 does not provide may be reflected in the external calibration.

영상 처리 장치는 컬러 카메라(403)의 내적 파라미터(417), TOF 센서(405)의 최적화된 내적 파라미터(427), 왜곡 없는 영상(431)의 대응점, 컬러 영상(403)의 대응점을 이용하여 계산한 2.5차원 패턴의 특징점의 전사 오차와 3차원 측정값(411)의 오차를 최소화하도록 최적화를 수행할 수 있다. 이때, 영상 처리 장치는 Levenberg-Marquardt 알고리즘을 이용하여 오차를 최소화할 수 있다.
The image processing apparatus calculates using the dot product parameter 417 of the color camera 403, the optimized dot product 427 of the TOF sensor 405, the corresponding point of the image 431 without distortion, and the corresponding point of the color image 403. Optimization may be performed to minimize the transfer error of the feature point of the 2.5D pattern and the error of the 3D measured value 411. In this case, the image processing apparatus may minimize the error by using the Levenberg-Marquardt algorithm.

도 5는 본 발명의 일실시예에 따른 영상 처리 과정에서 내적 파라미터의 최적화 전과 최적화 후에 영상에 전사된 결과를 나타낸 도면이다.FIG. 5 is a diagram illustrating a result of being transferred to an image before and after optimization of an internal parameter in an image processing process according to an embodiment of the present invention.

도 5를 참조하면, 전사된 결과(510)는 광도 영상만으로 초기 캘리브레이션을 수행한 결과 획득한 내적 파라미터를 이용하여 3차원 측정값이 영상으로 전사된 결과이다. 3차원 측정값들이 영상에서 대응하는 좌표값들로 전사되지 않는 것을 발견할 수 있다.Referring to FIG. 5, the transferred result 510 is a result of transferring a 3D measured value to an image using an internal parameter obtained as a result of performing an initial calibration using only a luminance image. It can be found that the three-dimensional measurements are not transferred to the corresponding coordinate values in the image.

정확한 외적 캘리브레이션을 위해서는 영상에 퍼져있는 대응점들을 많이 찾는 것이 중요하다. 원주방향 왜곡이 보정되지 않은 광도 영상은 원주방향 왜곡이 심해서, 구멍이 감지되더라도 호모그래피 제약조건(homography constraint)을 만족하지 못하고, 따라서 감지된 구멍이 2.5차원 패턴과 대응하는 점들로 검출되지 못한다. 특히 영상의 가장자리에 있는 구멍일수록 대응점으로 검출되지 못할 확률이 높다. 보다 많은 대응점을 검출하기 위해서는 광도 영상의 원주방향 왜곡을 제거할 필요가 있고, 원주방향 왜곡을 제거하기 위해서는 3차원 TOF 센서의 정확한 내적 파라미터가 필요하다.For accurate external calibration, it is important to find many correspondences that are spread out in the image. Luminance images with no circumferential distortion corrected are circumferentially distorted, so that even if a hole is detected, the homography constraint is not satisfied, and thus, the detected hole is not detected as points corresponding to the 2.5-dimensional pattern. In particular, the hole at the edge of the image has a higher probability of not being detected as a corresponding point. In order to detect more correspondence points, it is necessary to remove the circumferential distortion of the luminance image, and to remove the circumferential distortion, accurate internal parameters of the three-dimensional TOF sensor are required.

정확한 내적 파라미터는 내적 파라미터의 최적화를 통해 획득할 수 있다. 최적화된 내적 파라미터는 내적 파라미터의 초기값을 이용하여 3차원 측정값들이 전사된 좌표와 원래 3차원 측정값들이 전사되어야 할 좌표 사이의 오차를 최소화하여 획득될 수 있다.The exact dot product can be obtained through optimization of the dot product. The optimized dot product can be obtained by minimizing an error between the coordinates from which the 3D measurements are transferred and the coordinates from which the original 3D measurements are to be transferred using the initial value of the dot product.

전사된 결과(520)는 최적화된 내적 파라미터를 이용하여 3차원 측정값이 영상으로 전사된 결과이다. 전사된 결과(510)와 비교하면, 전사된 결과(520)는 3차원 측정값들이 가장자리에도 전사되어, 전사되어야 할 영상 좌표로 전사되었음을 확인할 수 있다. 또한, 전사된 결과(520)에서 특징점에 대응하는 대응점을 보다 많이 검출할 수 있을 것으로 예상할 수 있다.
The transferred result 520 is a result of transferring the 3D measurement value to the image by using the optimized internal parameter. Compared with the transferred result 510, the transferred result 520 may confirm that the 3D measurement values are also transferred to the edge and transferred to image coordinates to be transferred. In addition, it may be expected that more corresponding points corresponding to the feature points may be detected in the transferred result 520.

도 6은 본 발명의 일실시예에 따른 영상 처리 장치의 블록도이다.6 is a block diagram of an image processing apparatus according to an embodiment of the present invention.

도 6을 참조하면, 영상 처리 장치는 촬영부(610), 계산부(620), 제1 최적화부(630), 제어부(640), 보정부(650) 및 제2 최적화부(660)를 포함한다.Referring to FIG. 6, the image processing apparatus includes a photographing unit 610, a calculator 620, a first optimizer 630, a controller 640, a corrector 650, and a second optimizer 660. do.

촬영부(610)는 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득한다. 촬영부(610)는 2.5차원 패턴을 3차원 TOF 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득한다.The photographing unit 610 acquires a color image by capturing a 2.5-dimensional pattern with a color camera. The photographing unit 610 captures a 2.5-dimensional pattern with a 3D TOF sensor to obtain an intensity image and 3D measurement values.

2.5차원 패턴은 3차원 TOF 센서에서 방사된 근적외선이 통과할 수 있을 정도의 크기를 가지는 원형 구멍이 불규칙하게 배치된 평판일 수 있다.The 2.5-dimensional pattern may be a flat plate having irregularly arranged circular holes that are large enough to pass near-infrared rays emitted from the 3D TOF sensor.

계산부(620)는 컬러 영상에 대해 초기 캘리브레이션을 수행하여 컬러 카메라의 내적 파라미터의 초기값 및 외적 파라미터의 초기값을 계산할 수 있다. 계산부(620)는 광도 영상에 대해 초기 캘리브레이션을 수행하여 3차원 TOF 센서의 내적 파라미터의 초기값 및 외적 파라미터의 초기값을 계산할 수 있다.The calculator 620 may calculate an initial value of an internal parameter and an external parameter of the color camera by performing initial calibration on the color image. The calculator 620 may calculate an initial value of an internal parameter and an external parameter of the 3D TOF sensor by performing initial calibration on the luminance image.

제1 최적화부(630)는 3차원 TOF 센서의 내적 파라미터와 3차원 측정값들을 고려하여 3차원 측정값들의 전사 오차를 최소화하도록 3차원 TOF 센서의 내적 파라미터를 최적화할 수 있다.The first optimizer 630 may optimize the internal parameter of the 3D TOF sensor to minimize the transfer error of the 3D measured values in consideration of the internal parameter and the 3D measured values of the 3D TOF sensor.

제1 최적화부(630)는 3차원 측정값들을 내적 파라미터를 이용하여 광도 영상으로 전사할 수 있다. 제1 최적화부(630)는 3차원 측정값들이 전사된 픽셀의 좌표와 3차원 측정값들이 원래 맵핑되어야 할 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 Levenberg-Marquardt 알고리즘을 이용하여 최적화를 수행할 수 있다.The first optimizer 630 may transfer the 3D measured values to the luminance image using the internal parameter. The first optimizer 630 performs optimization using the Levenberg-Marquardt algorithm so that an error between the coordinates of the pixel to which the 3D measurement values are transferred and the coordinates of the pixel of the luminance image to which the 3D measurement values are originally mapped is minimized. can do.

보정부(650)는 최적화된 내적 파라미터를 고려하여 광도 영상에서 원주방향 왜곡을 보정할 수 있다.The correction unit 650 may correct the circumferential distortion in the luminance image in consideration of the optimized internal parameter.

제2 최적화부(660)는 비용함수를 최적화한다. 비용함수는 원주방향 왜곡이 보정된 광도 영상의 특징점, 컬러 영상의 특징점, 컬러 카메라의 내적 파라미터와 외적 파라미터, 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약 조건(Depth Constraint)이 고려된 함수일 수 있다.The second optimizer 660 optimizes the cost function. The cost function takes into account the characteristic points of the luminosity image with the correction of the circumferential distortion, the characteristic points of the color image, the internal and external parameters of the color camera, the optimized internal and external parameters of the three-dimensional TOF sensor, and the depth constraint. It can be a function.

깊이 제약 조건은 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것일 수 있다.The depth constraint may be to estimate values located in the 2.5D pattern plane among the 3D measured values measured by the 3D TOF sensor.

제2 최적화부(660)는 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 2.5차원 패턴에서 상기 특징점에 대응하는 점이 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 컬러 영상의 특징점의 좌표와 2.5차원 패턴에서 컬러 영상의 특징점에 대응하는 점이 컬러 영상으로 투영된 점의 좌표 간의 차이 및 깊이 제약 조건을 포함하는 비용함수의 최소값을 계산할 수 있다.The second optimizer 660 may include a difference between the coordinates of the feature points of the luminosity image in which the circumferential distortion is corrected and the coordinates of the points corresponding to the feature points in the 2.5-dimensional pattern as the luminescence image in which the circumferential distortion is corrected, the color image. The minimum value of the cost function including the depth constraint and the difference between the coordinates of the feature points of the point and the coordinates of the point projected to the color image of the point corresponding to the feature point of the color image in the 2.5-dimensional pattern can be calculated.

제어부(640)는 영상 처리 장치의 전반적인 제어를 담당하고, 촬영부(610), 계산부(620), 제1 최적화부(630), 보정부(650) 및 제2 최적화부(660)의 기능을 수행할 수 있다. 도 6의 실시 예에서 이를 별도로 구성하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 실제로 제품을 구현하는 경우에 이들 모두를 제어부(640)에서 처리하도록 구성할 수도 있으며, 이들 중 일부만을 제어부(640)에서 처리하도록 구성할 수도 있다.The controller 640 is responsible for overall control of the image processing apparatus, and functions of the photographing unit 610, the calculator 620, the first optimizer 630, the corrector 650, and the second optimizer 660. Can be performed. In the embodiment of FIG. 6, this configuration is illustrated separately to describe each function. Therefore, in the case of actually implementing a product, all of them may be configured to be processed by the controller 640, and only some of them may be configured to be processed by the controller 640.

상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The above-described methods may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims (16)

2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하는 단계;
상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 단계;
최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하는 단계; 및
원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화하는 단계
를 포함하는 영상 처리 방법.Capturing a 2.5-dimensional pattern with a color camera to obtain a color image, and capturing the 2.5-dimensional pattern with a 3D time of flight (TOF) sensor to obtain luminance images and 3D measurements;
Optimizing the internal parameter of the three-dimensional TOF sensor to minimize the transfer error of the three-dimensional measured values in consideration of the internal parameter of the three-dimensional TOF sensor and the three-dimensional measured values;
Correcting radial distortion in the luminance image in consideration of the optimized internal parameter; And
Features of luminosity image with circumferential distortion correction, features of the color image, internal and external parameters of the color camera, optimized internal and external parameters and depth constraints of the 3D TOF sensor are considered The optimized cost function
And an image processing method. 제1항에 있어서,
상기 컬러 영상 및 상기 광도 영상에 대해 초기 캘리브레이션을 수행하여 상기 컬러 카메라의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하고, 상기 3차원 TOF 센서의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하는 단계
를 더 포함하는 영상 처리 방법.The method of claim 1,
Performing initial calibration on the color image and the luminance image to calculate the internal parameter and the external parameter of the color camera, and calculating the internal parameter and the external parameter of the three-dimensional TOF sensor.
Further comprising the steps of: 제1항에 있어서,
상기 비용함수를 최적화하는 단계는
상기 원주방향 왜곡이 보정된 광도 영상의 특징점을 획득하고, 상기 컬러 영상의 특징점을 획득하는 단계
를 포함하는 영상 처리 방법.The method of claim 1,
Optimizing the cost function
Acquiring a feature point of the luminosity image in which the circumferential distortion is corrected, and obtaining a feature point of the color image
And an image processing method. 제1항에 있어서,
최적화된 비용 함수를 이용하여 상기 컬러 카메라와 상기 3차원 TOF 센서 간의 위치 및 각도를 추정하는 단계
를 더 포함하는 영상 처리 방법.The method of claim 1,
Estimating the position and angle between the color camera and the three-dimensional TOF sensor using an optimized cost function
Further comprising the steps of: 제1항에 있어서,
상기 2.5차원 패턴은
상기 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지고, 대칭(symmetric)적인 형태를 가지는 구멍이 불규칙하게 배치된 패턴임을 특징으로 하는
영상 처리 방법.The method of claim 1,
The 2.5-dimensional pattern is
Near-infrared rays of the three-dimensional TOF sensor has a size enough to pass, characterized in that the pattern is irregularly arranged holes having a symmetrical shape
Image processing method. 제1항에 있어서,
상기 3차원 TOF 센서는
상기 2.5차원 패턴 상의 점의 깊이 값을 측정하는
를 포함하는 영상 처리 방법.The method of claim 1,
The three-dimensional TOF sensor
To measure the depth value of the point on the 2.5-dimensional pattern
And an image processing method. 제1항에 있어서,
상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 단계는
상기 3차원 측정값들을 상기 내적 파라미터를 이용하여 상기 광도 영상으로 전사한 결과, 해당 픽셀의 좌표와 상기 3차원 측정값들과 맵핑되는 상기 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 Levenberg-Marquardt 방식을 이용하여 최적화를 수행하는
영상 변환 방법.The method of claim 1,
Optimizing the internal parameter of the three-dimensional TOF sensor
Levenberg-Marquardt so that the error between the coordinates of the pixel and the coordinates of the pixel of the luminance image mapped to the three-dimensional measurement value is minimized as a result of transferring the three-dimensional measurement values to the luminance image using the internal parameter To optimize using
Video conversion method. 제1항에 있어서,
상기 원주방향 왜곡(radial distortion)을 보정하는 단계는
상기 광도 영상에 포함된 원주방향 왜곡(radial distortion) 성분을 상기 최적화된 내적 파라미터를 고려하여, Levenberg-Marquardt 방식을 이용하여 보정하는
영상 변환 방법.The method of claim 1,
Correcting the radial distortion
The circumferential distortion component included in the luminance image is corrected by using the Levenberg-Marquardt method in consideration of the optimized internal parameter.
Video conversion method. 제1항에 있어서,
상기 깊이 제약조건은
상기 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 상기 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것임을 특징으로 하는
영상 변환 방법.The method of claim 1,
The depth constraint is
Estimating values located in the 2.5-dimensional pattern plane among three-dimensional measured values measured by the three-dimensional TOF sensor
Video conversion method. 제9항에 있어서,
상기 비용 함수는
상기 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 원주방향 왜곡이 보정된 광도 영상의 특징점에 대응하는 점이 상기 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 상기 컬러 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 컬러 영상의 특징점에 대응하는 점이 상기 컬러 영상으로 투영된 점의 좌표 간의 차이 및 상기 깊이 제약조건
을 포함하는 영상 변환 방법.10. The method of claim 9,
The cost function is
Between a coordinate of a feature point of the luminosity image with the circumferential distortion corrected and a point corresponding to a feature point of the luminosity image with the circumferential distortion corrected in the 2.5-dimensional pattern between the coordinates of the point projected into the luminosity image with the circumferential distortion corrected The difference, the difference between the coordinates of the feature points of the color image and the coordinates of the points corresponding to the feature points of the color image in the 2.5-dimensional pattern to the color image and the depth constraint
Image conversion method comprising a. 2.5차원 패턴을 컬러 카메라로 촬영하여 컬러 영상을 획득하고, 상기 2. 5차원 패턴을 3차원 TOF(Time of Flight) 센서로 촬영하여 광도(Amplitude) 영상 및 3차원 측정값들을 획득하는 촬영부;
상기 3차원 TOF 센서의 내적 파라미터와 상기 3차원 측정값들을 고려하여 상기 3차원 측정값들의 전사 오차를 최소화하도록 상기 3차원 TOF 센서의 내적 파라미터를 최적화하는 제1 최적화부;
최적화된 내적 파라미터를 고려하여 상기 광도 영상에서 원주방향 왜곡(radial distortion)을 보정하는 보정부; 및
원주방향 왜곡이 보정된 광도 영상의 특징점, 상기 컬러 영상의 특징점, 상기 컬러 카메라의 내적 파라미터와 외적 파라미터, 상기 3차원 TOF 센서의 최적화된 내적 파라미터와 외적 파라미터 및 깊이 제약조건(Depth Constraint)이 고려된 비용 함수를 최적화하는 제2 최적화부
를 포함하는 영상 처리 장치.A photographing unit which acquires a color image by capturing a 2.5-dimensional pattern with a color camera, and acquires a luminance image and three-dimensional measurement values by capturing the 2.5-dimensional pattern with a three-dimensional TOF sensor;
A first optimizer for optimizing an internal parameter of the 3D TOF sensor in order to minimize a transfer error of the 3D measured values in consideration of the internal parameter of the 3D TOF sensor and the 3D measured values;
A correction unit for correcting radial distortion in the luminance image in consideration of an optimized internal parameter; And
Features of luminosity image with circumferential distortion correction, features of the color image, internal and external parameters of the color camera, optimized internal and external parameters and depth constraints of the 3D TOF sensor are considered Second optimization unit for optimizing the estimated cost function
And the image processing apparatus. 제11항에 있어서,
상기 컬러 영상 및 상기 광도 영상에 대해 초기 캘리브레이션을 수행하여 상기 컬러 카메라의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하고, 상기 3차원 TOF 센서의 상기 내적 파라미터 및 상기 외적 파라미터를 계산하는 계산부
를 더 포함하는 영상 처리 장치.The method of claim 11,
A calculation unit configured to calculate the internal parameter and the external parameter of the color camera by performing initial calibration on the color image and the luminance image, and calculate the internal parameter and the external parameter of the 3D TOF sensor
Further comprising: 제11항에 있어서,
상기 2.5차원 패턴은
상기 3차원 TOF 센서의 근적외선이 통과할 수 있을 정도의 크기를 가지는 원형 구멍이 불규칙하게 배치된 패턴임을 특징으로 하는
영상 처리 장치.The method of claim 11,
The 2.5-dimensional pattern is
Characterized in that the circular holes having a size that can pass through the near infrared rays of the three-dimensional TOF sensor is irregularly arranged
Image processing device. 제11항에 있어서,
제1 최적화부는
상기 3차원 측정값들을 상기 내적 파라미터를 이용하여 상기 광도 영상으로 전사한 결과, 해당 픽셀의 좌표와 상기 3차원 측정값들과 맵핑되는 상기 광도 영상의 픽셀의 좌표간의 오차가 최소가 되도록 최적화를 수행하는
영상 변환 장치.The method of claim 11,
The first optimization unit
As a result of transferring the three-dimensional measured values to the luminance image using the internal parameter, optimization is performed such that an error between the coordinate of the pixel and the coordinate of the pixel of the luminance image mapped to the three-dimensional measured values is minimized. doing
Video conversion device. 제11항에 있어서,
상기 깊이 제약조건은
상기 3차원 TOF 센서에서 측정된 3차원 측정값들 중에서 상기 2.5차원 패턴 평면에 위치하는 값들을 추정하는 것임을 특징으로 하는
영상 변환 장치.The method of claim 11,
The depth constraint is
Estimating values located in the 2.5-dimensional pattern plane among three-dimensional measured values measured by the three-dimensional TOF sensor
Video conversion device. 제15항에 있어서,
상기 제2 최적화부는
상기 원주방향 왜곡이 보정된 광도 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 원주방향 왜곡이 보정된 광도 영상의 특징점에 대응하는 점이 상기 원주방향 왜곡이 보정된 광도 영상으로 투영된 점의 좌표 간의 차이, 상기 컬러 영상의 특징점의 좌표와 상기 2.5차원 패턴에서 상기 컬러 영상의 특징점에 대응하는 점이 상기 컬러 영상으로 투영된 점의 좌표 간의 차이 및 상기 깊이 제약조건을 포함하는 비용함수의 최소값을 계산하는
영상 변환 장치.16. The method of claim 15,
The second optimizer
Between a coordinate of a feature point of the luminosity image with the circumferential distortion corrected and a point corresponding to a feature point of the luminosity image with the circumferential distortion corrected in the 2.5-dimensional pattern between the coordinates of the point projected into the luminosity image with the circumferential distortion corrected Calculating a minimum value of a cost function including the depth constraint and the difference between the coordinates of the feature points of the color image and the point corresponding to the feature points of the color image in the 2.5-dimensional pattern;
Video conversion device.
KR1020110105669A 2011-10-17 2011-10-17 Image processing apparatus and method thereof KR20130041440A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110105669A KR20130041440A (en) 2011-10-17 2011-10-17 Image processing apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110105669A KR20130041440A (en) 2011-10-17 2011-10-17 Image processing apparatus and method thereof

Publications (1)

Publication Number Publication Date
KR20130041440A true KR20130041440A (en) 2013-04-25

Family

ID=48440584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110105669A KR20130041440A (en) 2011-10-17 2011-10-17 Image processing apparatus and method thereof

Country Status (1)

Country Link
KR (1) KR20130041440A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384381B2 (en) 2013-10-24 2016-07-05 Samsung Electronics Co., Ltd. Image processing device for extracting foreground object and image processing method thereof
KR20180091558A (en) * 2017-02-07 2018-08-16 한국전자통신연구원 APPARATUS AND METHOD FOR CALIBRATION USING 3D ToF SENSOR AND LINE SLIT
CN112200876A (en) * 2020-12-02 2021-01-08 深圳市爱夫卡科技股份有限公司 5D four-wheel positioning calibration system and calibration method
CN112446836A (en) * 2019-09-05 2021-03-05 浙江舜宇智能光学技术有限公司 Data processing method and system for TOF depth camera

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384381B2 (en) 2013-10-24 2016-07-05 Samsung Electronics Co., Ltd. Image processing device for extracting foreground object and image processing method thereof
KR20180091558A (en) * 2017-02-07 2018-08-16 한국전자통신연구원 APPARATUS AND METHOD FOR CALIBRATION USING 3D ToF SENSOR AND LINE SLIT
CN112446836A (en) * 2019-09-05 2021-03-05 浙江舜宇智能光学技术有限公司 Data processing method and system for TOF depth camera
CN112446836B (en) * 2019-09-05 2023-11-03 浙江舜宇智能光学技术有限公司 Data processing method and system for TOF depth camera
CN112200876A (en) * 2020-12-02 2021-01-08 深圳市爱夫卡科技股份有限公司 5D four-wheel positioning calibration system and calibration method
CN112200876B (en) * 2020-12-02 2021-06-08 深圳市爱夫卡科技股份有限公司 Calibration method of 5D four-wheel positioning calibration system

Similar Documents

Publication Publication Date Title
KR102085228B1 (en) Imaging processing method and apparatus for calibrating depth of depth sensor
US10234873B2 (en) Flight device, flight control system and method
US8306323B2 (en) Method and apparatus for correcting depth image
CN109831660B (en) Depth image acquisition method, depth image acquisition module and electronic equipment
CN109961468B (en) Volume measurement method and device based on binocular vision and storage medium
CN106548489B (en) A kind of method for registering, the three-dimensional image acquisition apparatus of depth image and color image
JP6394081B2 (en) Image processing apparatus, image processing system, image processing method, and program
KR101626072B1 (en) Method and Apparatus for Compensating Image
US8970853B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
US11536814B2 (en) Distance measuring apparatus having distance correction function
CN106875435B (en) Method and system for obtaining depth image
JP6413595B2 (en) Image processing apparatus, system, image processing method, and program
JP6282377B2 (en) Three-dimensional shape measurement system and measurement method thereof
JPH11160021A (en) Wide area three-dimensional position measuring method and equipment
US20220254044A1 (en) Ranging device and ranging method
KR20130041440A (en) Image processing apparatus and method thereof
JP3666348B2 (en) Distance recognition device
CN106683133B (en) Method for obtaining target depth image
JP5482032B2 (en) Distance measuring device and distance measuring method
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
JP2002352231A (en) Method and device for detecting end point of human body
JP2004309318A (en) Position detection method, its device and its program, and calibration information creation method
CN109565544B (en) Position designating device and position designating method
JP2011252835A (en) Three dimensional shape measuring device
US20210350575A1 (en) Three-dimensional camera pose determination

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application