KR20020078653A - 기준점의 극 좌표를 이용한 이차원 차량 이미지의 삼차원변환 영상 검지 방법 - Google Patents

Abstract

본 발명은 영상 검지기에 있어서, 카메라를 통하여 입력되는 이차원 이미지를 삼차원 이미지 변환을 위한 방법에 관한 것이다.

일반적인 영상 검지장치는 3차원 변환을 위해 스테레오 비젼이나 카메라 칼리 브레이션(camera calibration)만을 이용하여 차량의 검지를 수행하고 있다. 스테레오 비젼은 그 효율은 좋지만 그 비용의 증가와 처리 속도의 문제가 있으며, 차량의 에지 분포 및 에지들의 연결 각도 분석에 의한 차량의 3차원 모델링 검출 방법은 실제 차량의 영상으로 교통 정보를 산출하는 것이 아니라 모델링 자료과 분석된 자료를 비교하여 그 정보를 산출하게 되므로, 오차를 수반한다.

본 발명에서는 카메라의 설치위치로 부터 임의의 위치에 3차원 좌표값의 설정을 위한 설정용 기구물을 설치하고, 이로 부터 취득된 영상을 기준으로 배경영상에 대한 정보 즉, 설정용 기구물의 정보를 미리 기설정(setting)하여 두고, 이를 이용하여 이동 물체에 대한 3차원 모델링이 가능하도록 하므로써, 단일 카메라를 통해서도 입력되는 2차원 이미지에 대하여 정확하고 효율적인 3차원 변환이 가능하도록 한 것이다.

Description

기준점의 극 좌표를 이용한 이차원 차량 이미지의 삼차원 변환 영상 검지 방법{Method for 3D modeling of 2D image using coordinates of base point}

본 발명은 영상 검지기에 있어서, 카메라를 통하여 입력되는 이차원 이미지를 삼차원 이미지 변환을 위한 방법에 관한 것으로, 특히 도로에 설치된 카메라로 부터 취득되는 차량 이미지에 대하여 3차원 변환을 통해 정확한 교통정보를 산출할 수 있도록 하는 기준점의 극 좌표를 이용한 이차원 차량 이미지의 삼차원 변환 영상 검지 방법에 관한 것이다.

도로의 교통정보를 얻기 위하여 도로의 일정위치에 카메라가 설치되고, 이러한 카메라로 부터 영상을 제공받아 각 센터 또는 중계지점의 영상검지장치에서 이미지 정보를 추출하여 교통정보를 산출하게 된다.

이와 같은 영상검지장치는 정확한 교통정보를 얻기 위하여 카메라를 통해 입력되는 2차원 입력 이미지를 3차원으로 모델링하게 되는 바, 본 발명은 이와 같은 3차원 변환 방법을 제안하고자 하는 것이다.

2차원 하의 노면 영상은 3차원에 대한 공간 좌표가 비어 있다.

따라서 보다 정확한 물체의 정보(공간좌표)를 획득하기 위하여서는 이득 편차의 스테레오 비젼을 통한 편각의 영상을 취득하여 두 영상의 조합으로 삼차원 이미지를 얻는 방법이 있다.

일반적인 영상 검지장치는 3차원 변환을 위해 상기한 바와 같은 스테레오 비젼이나 카메라 칼리 브레이션(camera calibration)만을 이용하여 차량의 검지를 수행하고 있다.

스테레오 비젼은 그 효율은 좋지만 그 비용의 증가와 처리 속도의 문제가 있으며, 차량의 에지 분포 및 에지들의 연결 각도 분석에 의한 차량의 3차원 모델링 검출 방법은 실제 차량의 영상으로 교통 정보를 산출하는 것이 아니라 모델링 자료과 분석된 자료를 비교하여 그 정보를 산출하게 되므로, 오차를 수반한다.

또한, 카메라의 설치위치 정보에 따른 카메라 칼리 브레이션 정보만을 이용할 경우 정확한 3차원 공간좌표를 얻을 수 없어 정확한 이미지 분석이 어렵다.

도 1은 이와 같은 두 영상의 조합으로 삼차원 이미지를 얻는 방법에 있어 그과정을 개략적인 블록으로 표현한 것으로, 이를 참조하여 그 과정을 살펴보면 다음과 같다.

스테레오 비젼은 입력된 두개의 동일 영상간의 이미지 편차에 의한 영상의 3차원화이며 이는 다음과 같은 과정을 거친다.

두개의 카메라(stereo camera pair)(1,2)를 영상조합하여 영상의 특성을 추출하는 센서 프로세싱(sensor processing)과정과, 조합된 영상으로 부터 3차원 공간좌표를 추출하여 표면을 복원(삼차원 모델링화)하는 이미지 페어 프로세싱(Image pair processing)과정과, 삼차원 모델링된 영상을 표시하는 모델 베이스드 시퀀스 프로세싱(Model-based sequence processing)과정으로 이루어진다.

그 과정들을 살펴보면, 두개의 카메라(1,2)로 부터 취득된 영상을 조합(Image rectification)(3)하여 카메라 칼리브레이션(4)에 의해 제공되는 칼리브레이션 좌표(Cs; sensor calibration coordinates)와 함께 이미지(Lk,Rk ; stereoscopic image pair)를 제공하게 된다.

이로 부터 높이를 갖는 Z축 공간좌표를 추출(Depth estimation)(5)하게 되고, 추출된 공간좌표(Pk ; depth map)와 카메라 칼리브레이션 좌표(Cs)를 이용하여 3차원 모델링(3-d surface representation)(6)하게 된다.

이와 같은 과정을 통해 3차원 모델링된 영상을 표시(Fusion multiple view)(7)하게 된다.

이때, 3차원 모델링된 3D 모델은 저장(Model storage)(8)되고, 이 저장된 모델(Mk-1)은 다시 읽어들어져 이후의 조합된 영상(Lk,Rk)으로 부터 움직임 보상(3-dmotion compensation)(9)단계를 거치게 되고, 움직임이 보상된 3-d 모델을 업데이트(3-d model update)(10)하여 최종 3차원 모델링화를 완료하게 된다.

이와 같이 두개의 입력 2차원 이미지를 조합하여 3차원 이미지로 변환(modelling)하는 방법은 카메라 칼리 브레이션에 의하여 2차원 좌표는 얻을 수 있으나, 3차원 공간 좌표는 두개의 이미지를 조합하여 추출하게 되므로, 정확한 3차원 공간좌표의 추출이 어렵다.

그러나, 이와 같은 처리과정은 촬영지점으로 부터의 거리 및 임의의 지점에 대한 좌표 및 실거리값 등의 배경영상에 대한 정보가 있을 경우 상기한 바와 같은 스테레오 비젼을 이용하지 않아도 이동물체에 대한 연속적인 프레임간의 에지 변화로도 이동물체에 대한 3차원 값을 산출할 수 있다.

따라서, 본 발명에서는 임의의 물체에 대하여 3차원 좌표를 입력한 후 이를 바탕으로 이동 차량 영상을 기준 물체 대비 3차원 모델링을 수행한 후 교통정보를 산출하는 방법을 제안하고자 하는 것으로,

카메라의 설치위치로 부터 임의의 위치에 3차원 좌표값의 설정을 위한 설정용 기구물을 설치하고, 이로 부터 취득된 영상을 기준으로 배경영상에 대한 정보 즉, 설정용 기구물의 정보를 미리 기설정(setting)하여 두고, 이를 이용하여 이동 물체에 대한 3차원 모델링이 가능하도록 하므로써, 단일 카메라를 통해서도 입력되는 2차원 이미지에 대하여 정확하고 효율적인 3차원 변환이 가능하도록 한 것이다.

도 1은 두개의 카메라로 부터 얻어지는 두 영상의 조합으로 삼차원 이미지를 얻는 방법에 있어 그 과정을 개략적으로 표현한 블록도.

도 2는 본 발명에 있어서, 설정용 기구물의 설치위치의 예를 보인 도면.

도 3은 본 발명에 있어서, 설정용 기구물에 대한 3차원 공간좌표의 설정과정을 설명하기 위한 설정용 기구물의 2차원적 이미지의 일예를 나타낸 도면.

도 4는 본 발명에 있어서, 도 4는 이미지에 나타나는 각도 변화에 따른 길이의 변화를 나타낸 그래프.

일정한 기준 크기를 갖는 설정용 기구물을 카메라의 설치 위치로 부터 소정의 위치에 설치하고, 설정용 기구물을 촬영하여 설정용 기구물에 대한 2차원 이미지를 취득하고, 취득된 2차원 이미지에 대하여, 설정용 기구물의 설치지점에 대한 실제거리 및 설정용 기구물의 3차원 데이터를 포함하는 배경 영상에 대한 정보를 해당 카메라 정보에 설정하여 두고, 이후 모션이 검출되는 대상물에 대하여 설정된 설정용 기구물의 배경 영상에 대한 정보를 이용하여 대상물의 2차원 이미지로 부터 3차원값을 산출하여 이로 부터 3차원 변환이 가능하도록 함을 특징으로 한다.

그리고, 상기 배경영상에 대한 정보에 포함되는 3차원 데이터는 설정용 기구물의 고정된 높이값(길이)과,

고정된 높이각(90°)을 기준으로 하여 카메라 칼리 브레이션에 의하여 구해지는 높이각에 따른 가중값(weighted)로 변환한 값과,

이미 알고 있는 카메라에 취득된 해당 높이값에 해당하는 픽셀을 이용하여 현재 카메라에 의해 취득되는 이미지의 1픽셀당 길이값을 구하기 위한 가중값(weighted)를,

구하여 설정하는 것을 특징으로 한다.

이와 같은 특징을 갖는 본 발명은 미리 그 크기가 정해진 기구물에 대하여 촬영하고, 이에 대해 3차원 정보를 설정하여 두고, 해당하는 카메라로 부터 촬영되는 차량 이미지에 대하여 상기한 3차원 정보를 이용하여 3차원 변환이 가능하도록 함에 그 특징이 있는 것이다.

본 발명이 적용되는 3차원 모델링 처리과정을 설명하면 다음과 같다.

설정용 기구물의 기준 지점에 대한 실제 거리 및 설정용 기구물의 3차원 데이터를 설정하는 포지션 칼리브레이션(position calibration)과정을 거치게 된다.

포지션 칼리브레이션 과정은 배경영상 즉, 설정용 기구물의 영상에 대한 정보를 설정하여 두게 되는 데, 설정용 기구물의 3차원 좌표를 미리 입력해두게 되는 것이다.

여기서, 카메라의 설치위치, 카메라로 부터 설정용 기구물과의 거리 등에 의해 실제 크기가 달라질 수 있는 데, 이는 카메라 칼리브레이션에 의해 그 거리를 보상하여 구할 수 있게 된다.

즉, 포지션 칼리브레이션 과정은 종래에 있어서의 대상물에 대한 2차원 칼리 브레이션을 위한 카메라 설치정보를 설정하는 종래의 일반적인 설정과정에 있어서, 높이를 갖는 3차원 공간좌표에 대하여 설정용 기구물을 이용하여 미리 산출하여 저장하여 두게 되는 것을 의미하는 것이다.

이와 같은 포지션 칼리브레이션 과정을 도면을 참조하여 상세히 설명하면 다음과 같다.

도 2에 도시된 바와 같이, 카메라로 부터 일정위치(A)에 설정용 기구물을 설치하게 된다.

이와 같이 설치된 설정용 기구물을 촬영하여 상기 설정용 기구물에 대한 2차원 영상을 얻게 된다.

도 3은 상기 설정용 기구물에 대한 3차원 공간좌표의 설정과정을 설명하기 위한 설정용 기구물의 2차원적 이미지의 일예를 나타낸 것이다.

여기서, 설정용 기구물의 높이(Lh)는 다음의 수학식 1을 통해 구할 수 있다.

Lh=f(θ)*f(p_w)*P

; Lh는 설정용 기구물의 높이

f(θ)는 90°를 기준으로 하여 현재 카메라에 나타나는 θ에 따른 가중값 변환함수를 나타내며, P는 높이(Lh)에 해당하는 픽셀수, f(p_w)는 1픽셀당 화면상에 나타나는 길이를 구하기 위한 가중값(weighted)를 나타낸 것이다.

수학식 1을 살펴보면, 설정용 기구물의 높이(Lh)는 고정된 값(이미 알고 있는 값)이고, 픽셀수(P) 또한 얻어진 2차원 이미지를 통해 알 수 있다.

또한, 카메라를 통해 나타나는 이미지에서의 각도(θ)는 설정용 기구물이 지면으로 부터 수직선상에 위치하므로, 실제로는 90°인 바, 따라서 카메라를 통해 얻어진 이미지로 부터 나타나는 각도(θ)에 대한 보상을 위한 가중값 변환함수 f(θ)을 구할 수 있다.

이와 같은 변환함 수 f(θ)는 다음의 도면 도 4에서와 같이 구할 수 있다.

도 4는 이미지에 나타나는 각도 변화에 따른 길이의 변화를 나타낸 그래프로서, 각도가 작아지면 작아질 수 록 그 길이(L)가 짧아지게 나타나게 됨을 알 수 있다.

이와 같은 도 4의 그래프로 부터, 실제 각도인 90°에 대하여 θ일때의 보상을 위한 가중값 f(θ)를 구할 수 있다.

즉, θ가 90°일 경우 f(θ)는 1이 되는 것을 의미한다.

그러므로, 이와 같이 알고 있는 값으로 부터 1픽셀당 화면상에 나타나는 길이를 구하기 위한 가중값 f(p_w)를 구할 수 있게 된다.

이로 부터 설정용 기구물에 대한 3차원 공간좌표를 완전하게 구할 수 있게 되며, 이러한 정보를 영상 검지장치에 해당 카메라 정보에 설정하게 된다.

즉, 설정용 기구물의 고정된 길이에 대하여 이미지상에 나타나는 각도 및 길이에 대한 정보를 미리 설정하여 두므로써, 이후의 3차원 모델링과정에 있어서, 이미지상에 나타나는 각도 및 길이에 따라 그 높이(길이)를 정확히 산출하여 3차원 좌표를 정확하게 구할 수 있도록 함에 그 특징이 있는 것이다.

이후, 3차원 모델링 과정을 설명하면 다음과 같다.

도로상의 차량에 대하여 카메라로 부터 영상이 취득되면, 카메라를 통해 얻어지는 2차원 이미지로 부터 움직임이 있는 대상물(object)이 있는 가를 검색하는 움직임 검색과정(moving object detection)을 실행하게 된다.

이와 같은 과정을 통해 움직임이 있는 대상물을 검출하게 되면, 움직임이 검출된 2차원 이미지에 대하여 특징점을 추출하여 에지 포인트를 추출하는 특징점 추출과정을 진행하게 된다.

이와 같이 얻어지는 각 에지에 대하여 칼리브레이션을 통해 각 에지의 2차원 좌표를 설정하고, 입력영상을 제공한 카메라 정보에 기 설정되어 있는 3차원 데이터를 이용하여 검색 대상물 차량의 높이에 대한 3차원 좌표를 구하여 모델링을 수행하게 되는 바,

기 설정되어 있는 1픽셀당 화면상에 나타나는 길이를 구하기 위한 가중값f(p_w)를 알고 있으므로, 상기의 수학식 1을 이용하여, 현재 대상물 차량의 높이를 구할 수 있다.

즉, 각 에지에 있어, 각도(θ)를 갖는 에지를 높이를 갖는 에지로 검출하고,상기 각각의 에지에 대하여 기 설정되어 있는 3차원 데이터를 이용하여 3차원 좌표를 설정하게 되는 것이다.

이와 같은 과정을 통해 정확한 3차원 데이터를 적용하여 해당 대상물 차량의 모델링을 수행하게 된다.

이상에서 설명한 바와 같이, 본 발명은 2차원 영상으로 표현되는 정보를 미리 설정용 기구물의 촬영영상으로 부터 구하여 해당 카메라 정보에 설정하여 두므로써, 이후 3차원 변환과정에 있어서, 입력영상이 취득된 카메라에 설정된 3차원 좌표를 이용하여 정확한 3차원 좌표의 산출이 가능하도록 하는 것으로, 정확한 3차원 모델링을 통한 영상내의 차량에 대하여 정확한 분석이 가능하므로, 신뢰성있는 교통정보를 얻을 수 있게 된다.

Claims (3)

1. 일정한 기준 크기를 갖는 설정용 기구물을 카메라의 설치 위치로 부터 소정의 위치에 설치하고, 설정용 기구물을 촬영하여 설정용 기구물에 대한 2차원 이미지를 취득하고, 취득된 2차원 이미지에 대하여, 설정용 기구물의 설치지점에 대한 실제거리 및 설정용 기구물의 높이에 해당하는 각 3차원 좌표 정보를 포함하는 배경 영상에 대한 정보를 해당 카메라 정보에 설정하여 두고, 이후 모션이 검출되는 대상물에 대하여 설정된 설정용 기구물의 배경 영상에 대한 정보를 이용하여 대상물의 2차원 이미지로 부터 3차원값을 산출하여 이로 부터 3차원 변환이 가능하도록 함을 특징으로 하는 기준점의 극 좌표를 이용한 이차원 차량 이미지의 삼차원 변환 영상 검지 방법.
2. 제 1항에 있어서, 상기 배경영상에 대한 정보에 포함되는 3차원 데이터는 설정용 기구물의 고정된 높이값(길이)(Lh)과,

   고정된 높이각(90°)을 기준으로 하여 카메라 칼리 브레이션에 의하여 구해지는 높이각에 따른 가중값(weighted)로 변환한 값(f(θ))과,

   이미 알고 있는 카메라에 취득된 해당 높이값에 해당하는 픽셀(P)을 이용하여 현재 카메라에 의해 취득되는 이미지의 1픽셀당 길이값을 구하기 위한 가중값(weighted)(f(p_w))을,

   구하여 설정하는 것을 특징으로 하는 기준점의 극 좌표를 이용한 이차원 차량 이미지의 삼차원 변환 영상 검지 방법.
3. 제 2항에 있어서, 상기 현재 카메라에 의해 취득되는 이미지의 1픽셀당 길이값을 구하기 위한 가중값(fp_w)은,

   [f(θ)*P]/Lh 에 의해 산출되는 것을 특징으로 하는 기준점의 극 좌표를 이용한 이차원 차량 이미지의 삼차원 변환 영상 검지 방법.