KR101645451B1

KR101645451B1 - 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템

Info

Publication number: KR101645451B1
Application number: KR1020150052652A
Authority: KR
Inventors: 이종훈; 천준호; 박성근; 김도윤
Original assignee: 공간정보기술 주식회사
Priority date: 2015-04-14
Filing date: 2015-04-14
Publication date: 2016-08-12

Abstract

본 발명은 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템에 관한 것으로, 더욱 상세하게는 각종 센서 구성없이 스테레오 영상 내 사용자가 지정한 영역 범위에 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하여 공간 연산을 통해 결과값을 도출하되, 공간 연산에 의해 이동 객체를 검출하여 해당 이동 객체 검출 이미지를 포함한 멀티메세지를 지정된 모바일이나 컴퓨터단말기로 실시간으로 제공하기 위한 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템에 관한 것이다.

Description

스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템{Spatial analysis system using stereo camera}

영상으로부터 3차원 모델을 복원하는 기법은, 컴퓨터 비전 영역에서 매우 오래된 연구 주제이다.

그 대표적인 기술로서 빛과 그림자의 관계로부터 3차원 정보를 복원하는 기법(shape from shading), 물체 표면 패턴으로부터 3차원 정보를 복원하는 기법(shape from texture) 및 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull) 등이 있다.

특히, 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull)은 매우 간단하면서도 효율적으로 3차원 모델을 복원할 수 있어 최근 많은 연구가 이루어졌다.

한편, 스테레오 영상을 이용한 영상 처리기법이 활발히 연구되고 있는데, 두 대의 카메라에서 얻어진 영상에서 생기는 양안 시차를 이용하여 깊이를 추정하는 기술이지만 이를 활용하기 위한 어플리케이션 기술 개발이 시급한 실정이다.

또한, 기존 지능형 CCTV의 특징으로서, 색상이나 모양으로 이동객체를 판별하는 방식으로서, 기상 조건이 안좋거나, 야간에는 판별하기가 불가능하다.

따라서, 상기한 단점을 보완하고자 각종 인체 감지센서 등을 도입하여 지능형 CCTV와 연동하여 이동 객체를 판별하는 방식을 주로 이용하고 있었다.

상기한 방식의 경우에는 감지센서의 감지 범위가 넓지 않아 일정 간격으로 복수개를 설치 구성해야 하기 때문에 이에 따른 설치 비용 및 설치 인건비가 중복적으로 소요되는 문제점이 발생하였다.

결국, CCTV 카메라만으로도 이동 객체를 주간뿐만 아니라, 야간에도 판별할 수 있는 시스템이 필요하게 된 것이다.

대한민국 등록특허공보 10-1290197호(2013.07.22)

본 발명의 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템은 상기와 같은 종래 기술에서 발생하는 문제점을 해소하기 위한 것으로, 각종 센서 구성없이 스테레오 영상 내 사용자가 지정한 영역 범위에 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하여 공간 연산을 통해 결과값을 도출하되, 공간 연산에 의해 이동 객체를 검출하여 해당 이동 객체 검출 이미지를 포함한 멀티메세지를 지정된 모바일이나 컴퓨터단말기로 실시간으로 제공하는데 있다.

본 발명의 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템은 상기와 같은 과제를 해결하기 위하여, 각 카메라의 특징점을 가지고 좌측 영상에 대한 회전변환행렬과 우측 영상에 대한 회전변환행렬을 계산하며, 좌측 영상과 우측 영상의 경계선을 추출한 후 추출된 좌우측 경계값의 차이값을 영상이 검색할 시차값(search length)만큼 생성하며, 이미지 width, 이미지 height, search length의 3차원 배열을 생성한 후, 3차원 배열의 각 픽셀 위치의 값이 최소값인 것을 검색하여 디스패러티 구성하기 위한 영상정합수단(100)과;

좌측 카메라와 우측 카메라의 거리, 카메라의 초점거리(focallength) , 카메라의 이미지크기(ImageSize)와 센서크기(sensor size)에 비례하는 픽셀크기(Pixelsize)를 참조하여 카메라 중심 좌표값을 설정하여 3차원 좌표로 변환하여 3차원 깊이지도를 생성하기 위한 깊이지도구축수단(200)과;

지도에서의 좌표(RealCoordinates)의 n개 기준점에 선택 대응되는 로컬에서의 좌표(LocalCoordinates)의 n개 기준점을 선택하여 좌표변환Matrix를 생성하며, 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하며, 사용자에 의해 설정된 경계값을 가지고 공간 연산을 통해 결과값을 도출하되, 공간 연산에 의해 이동 객체를 검출하기 위한 공간연산수단(300);을 포함하여 구성되어 본 발명의 과제를 해결하게 된다.

본 발명에 의해, 각종 센서 구성없이 스테레오 영상 내 사용자가 지정한 영역 범위에 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하여 공간 연산을 통해 결과값을 도출하되, 공간 연산에 의해 이동 객체를 검출하여 해당 이동 객체 검출 이미지를 포함한 멀티메세지를 지정된 모바일이나 컴퓨터단말기로 실시간으로 제공하는 효과가 있다.

또한, 야간에도 3차원 깊이지도를 통해 이동 객체를 추출할 수 있으며, 3차원 깊이지도에 대한 수치화가 가능한 장점과 실내 뿐만 아니라, 실외에서도 이동 객체를 판별할 수 있는 확장성을 제공하게 된다.

도 1은 본 발명의 실시예에 따른 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템의 전체 구성도이다.
도 2는 본 발명의 실시예에 따른 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템의 영상정합수단 블록도이다.
도 3은 본 발명의 실시예에 따른 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템의 공간연산수단 블록도이다.
도 4는 본 발명의 실시예에 따른 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템의 객체감지결과통지수단 블록도이다.
도 5는 스테레오 카메라를 나타낸 예시도이며, 도 6은 모바일에 표시된 감지 화면 예시도이며, 도 7 내지 도 10은 감지 영역 내에 이동객체가 존재할 경우에 변화되는 영상 이미지를 나타낸 예시도이다.

이하, 첨부된 도면을 통해 본 발명의 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템의 전체 구성도이다.

도 1에 도시한 바와 같이, 본 발명의 시스템은 영상정합수단(100)과; 깊이지도구축수단(200)과; 공간연산수단(300);을 포함하여 구성된다.

도 5에 도시한 바와 같이, 스테레오 카메라는 2대의 카메라가 서로 평행하게 배치되어 카메라의 전방을 촬영하여 2개의 좌우 영상을 생성하게 된다.

이때, 영상정합수단(100)은 각 카메라의 특징점을 가지고 좌측 영상에 대한 회전변환행렬과 우측 영상에 대한 회전변환행렬을 계산하며, 좌측 영상과 우측 영상의 경계선을 추출한 후 추출된 좌우측 경계값의 차이값을 영상이 검색할 시차값(search length)만큼 생성하며, 이미지 width, 이미지 height, search length의 3차원 배열을 생성한 후, 3차원 배열의 각 픽셀 위치의 값이 최소값인 것을 검색하여 디스패러티 구성하는 기능을 수행하게 된다.

이때, 깊이지도구축수단(200)은 좌측 카메라와 우측 카메라의 거리, 카메라의 초점거리(focallength) , 카메라의 이미지크기(ImageSize)와 센서크기(sensor size)에 비례하는 픽셀크기(Pixelsize)를 참조하여 카메라 중심 좌표값을 설정하여 3차원 좌표로 변환하여 3차원 깊이지도를 생성하는 기능을 수행하게 된다.

이때, 상기 공간연산수단(300)은 지도에서의 좌표(RealCoordinates)의 n개 기준점에 선택 대응되는 로컬에서의 좌표(LocalCoordinates)의 n개 기준점을 선택하여 좌표변환Matrix를 생성하며, 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하며, 사용자에 의해 설정된 경계값을 가지고 공간 연산을 통해 결과값을 도출하되, 이동객체가 존재할 경우에 공간 연산에 의해 이동 객체를 검출하는 기능을 수행하게 되는 것이다.

한편, 공간연산수단에서 객체 감지시, 상기 객체 감지값을 획득하여 설정된 모바일 혹은 컴퓨터단말기로 현재 상황 사진 정보와 발생시간 정보를 전송하기 위한 객체감지결과통지수단(400)을 더 포함하여 구성할 수 있다.

즉, 도 6에 도시한 바와 같이, 사용자에 의해 지도상에서 감지 영역을 설정하게 되면, 해당 감지 영역에 존재하는 이동객체를 감지하게 되며, 상기 감지된 영상과 감지 시간 정보를 설정된 모바일이나 컴퓨터단말기로 제공하게 되는 것이다.

상기와 같이, 구성하게 되면, 각종 센서없이도 2대의 스테레오 카메라만으로 공간 변화, 이동객체 등을 감지할 수 있게 되며, 지도와 연동하여 사용이 가능하게 되는 것이다.

도 2는 본 발명의 실시예에 따른 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템의 영상정합수단 블록도이다.

도 2에 도시한 바와 같이, 상기 영상정합수단(100)은 회전변환행렬계산부(110)와, 경계선추출부(120)와, 차이값생성부(130)와, 가로크기계산부(140)와, 3차원배열생성부(150)와, 디스패러티구성부(160)를 포함하여 구성되게 된다.

상기 회전변환행렬계산부(110)는 각 카메라의 특징점을 가지고 좌측 영상에 대한 회전변환행렬과 우측 영상에 대한 회전변환행렬을 계산하게 된다.
상기한 특징점을 추출하는 기술은 공지된 기술로서, 가우시안 필터에 통과시키고, 통과된 이미지들을 스케일에 따라 순차적으로 감산하여 차이 이미지를 생성한 후, 차이 이미지로부터 극값(최대, 최소값)에 해당하는 픽셀의 위치를 추출하게 되는데, 상기한 극값에 해당하는 픽셀이 특징점으로 추출되는 것이다.
이때, 상기 추출된 특징점을 가지고 좌측 영상에 대한 회전변환행렬과 우측 영상에 대한 회전변환행렬을 계산하는 것이다.

예를 들어, General_EstimateGeometry(nModelPoint_EXT, bEstimation_EXT, m_ModelPoint_01, m_ModelPoint_02, m_CheckPoint_01, m_CheckPoint_02, m_Image_01, m_Image_02, m_CamInfo_01, m_CamInfo_02, m_CamDistCoef_01, m_CamDistCoef_02, m_dBaseline, m_ROParam);

int nModelPoint_EXT = 0; // 모델점 개수

bool bEstimation_EXT = false; // 기하추정 수행 여부

Vector2D m_ModelPoint_01; // 영상1 모델점

Vector2D m_ModelPoint_02; // 영상2 모델점

Vector2D m_CheckPoint_01; // 영상1 검사점

Vector2D m_CheckPoint_02; // 영상2 검사점

Image *m_Image_01; // 카메라1 영상

Image *m_Image_02; // 카메라2 영상

Mat *m_CamInfo_01; // 카메라1 내부표정요소

Mat *m_CamInfo_02; // 카메라2 내부표정요소

Mat *m_CamDistCoef_01; // 카메라1 렌즈왜곡계수

Mat *m_CamDistCoef_02; // 카메라2 렌즈왜곡계수

double m_dBaseline; // 실측된 기선거리

ROPara m_ROParam; // 회전 계수

Mat *m_Rmatrix1 // 왼쪽영상에 대한 회전변환행렬

Mat *m_Rmatrix2 // 오른쪽영상에 대한 회전변환행렬

상기와 같이, 각 카메라의 특징점 그리고, 카메라의 요소들을 가지고 좌측 영상에 대한 회전변환행렬과 우측 영상에 대한 회전변환행렬을 계산하게 되는 것이다.

상기 경계선추출부(120)는 회전변환행렬계산부에 의해 변환된 좌측 영상과 우측 영상을 흑백영상으로 변환하며, 좌측 영상과 우측 영상의 경계선을 추출하게 되는 것이다.

예를 들어, m_disparity.grayColor(dataL, grayLb, ImageSize);

m_disparity.grayColor(dataR, grayRb, ImageSize);

InPut

dataL -> 회전변환행렬로 통해 변환된 Left Image

ImageSize -> image의 Width * Height 값

OutPut

grayLb -> 흑백영상

상기와 같은 연산을 통해 좌측 영상과 우측 영상을 흑백영상으로 변환하게 되고,

m_disparity.CT(grayLb, cTLeft, ImageSize, IMAGEWIDTH64BIT, imagesize24, writestart); //좌측 영상의 경계선 추출

m_disparity.CT(grayRb, cTRight, ImageSize, IMAGEWIDTH64BIT, imagesize24, writestart); //우측 영상의 경계선 추출

IntPut

grayLb -> 좌측 흑백영상

ImageSize -> image의 Width * Height 값

IMAGEWIDTH64BIT -> image Width의 64bit 값

Imagesize24 -> 경계선 추출 시작 지점과 이미지 CT Window Height size를 제외한 값

Readstart -> 영상의 경계선 추출연산 Start 지점

OutPut

cTLeft -> 좌측 CT(경계선 영상) 영상

상기와 같은 연산을 통해 좌측 영상과 우측 영상의 경계선을 추출하게 되는 것이다.

이후, 상기 차이값생성부(130)는 경계선추출부에 의해 추출된 좌우측 경계값의 차이값을 영상이 검색할 시차값(search length)만큼 생성하는 기능을 수행하게 된다.

예를 들어, m_disparity.p_HD(HD, cTLeft, cTRight, ImageSize, searchLength); // 좌우측 경계선 추출 영상에서의 차이 값(HD)을 영상의 검색할 시차 값(searchLength) 만큼 구한다.

IntPut

searchLength -> 좌우영상을 검색할 시차 값

ImageSize -> image의 Width * Height 값을 가지고 있다.

cTLeft -> 좌측 CT(경계선 영상) 영상

cTRight -> 우측 CT(경계선 영상) 영상

OutPut

HD -> 같은 비트 수를 갖는 2진 부호 사이에 대응되는 비트값이 일치하지 않는 값을 시차값(searchLength) 만큼 생성(ImageSize * searchLength Size만큼 생성)한다.

이후, 상기 가로크기계산부(140)는 영상의 경계선을 추출한 값의 사각형 박스 크기의 width 크기만큼 더하게 된다.

예를 들어, m_disparity.p_HD_Width_Sum(HD, HWidSum, ImageSize, searchLength); // 각 픽셀에서 중심으로 비교할 사각형 박스 크기의 Search Width 크기 만큼 더한 값이다.

IntPut

searchLength -> 좌우영상을 검색할 시차 값.

ImageSize -> image의 Width * Height 값을 가지고 있다.

OutPut

HWidSum -> 영상의 경계선을 추출한 값의 사각형 박스의 크기의 Width 크기 만큼 더한 결과물이다.

이후, 상기 3차원배열생성부(150)는 각 픽셀의 중심으로 비교 박스 크기의 width 크기 만큼 더한 값에서 비교 박스의 height 크기 만큼 더하여 이미지 width, 이미지 height, search length의 3차원 배열을 생성하게 된다.

예를 들어, m_disparity.p_HDSum(HDWidSum, HDSum, WidthRer, widthMul2, heightMul100, widthDiv80); // 각 픽셀에서 중심으로 비교할 사각형 박스의 크기의 Search Height크기 만큼 더한 값이다.

OutPut

HDSum -> 각 Pixel의 중심으로 비교 박스 크기의 Width 만큼 더한 값에서 비교 박스의 Height 크기 만큼 더하여 전체 비교 박스에 더한 값이 [ImageWidth * ImageHeight * searchLength]의 3차원 배열로 생성되는 것이다.

이후, 상기 디스패러티구성부(160)는 3차원 배열의 각 픽셀 위치의 값이 최소값인 것을 검색하여 디스패러티 구성하게 되는 것이다.

예를 들어, m_disparity.p_Disparity(disparity, HDSum, depthIndex, resultPoint, ImageSize2mul, ImageEndPoint, searchLength); // HDSum의 각 pixel 위치의 최소값을 찾아 disparity 구성한다.

IntPut

ImageEndPoint -> 영상처리 끝점을 알려준다.

depthIndex -> 각 Pixel 의 최소값은 저장한다.

resultPoint -> Disparity 의 값을 정할 위치값을 정한다.

OutPut

Disparity -> HDSum의 각 Pixel 위치 값이 최소값인 것을 찾아 Disparity 구성한다.

결국, 상기 영상정합수단(100)은 회전변환행렬계산부(110), 경계선추출부(120), 차이값생성부(130), 가로크기계산부(140), 3차원배열생성부(150), 디스패러티구성부(160)의 연산 처리에 의하여 2개의 영상(좌측 영상, 우측 영상)을 정합하게 되는 것이다.

이후, 상기 깊이지도구축수단(200)을 통해 좌측 카메라와 우측 카메라의 거리, 카메라의 초점거리(focallength) , 카메라의 이미지크기(ImageSize), 센서크기(sensor size)에 비례하는 픽셀크기(Pixelsize)를 참조하여 카메라 중심 좌표값을 설정하여 3차원 좌표로 변환하여 3차원 깊이지도를 생성하게 되는 것이다.

예를 들어, for (int i = 0; i < NUM_RGB; i++)

{

depthMap[i] = (byte)(disparity[i]);

}

void GTCLocalXYZ::LocalCoord(double* localXYZ, int width, int height, double Baseline, double Pixelsize, double Focallength, int x, int y, double* depthMap)

{

localXYZ[0] = (x - (width / 2.0) + 0.5) * (Baseline / (depthMap[x + y*width])); //LocalX

localXYZ[1] = (y - (height / 2.0) + 0.5) * (Baseline / (depthMap[x + y*width])); //LocalY

localXYZ[2] = (Focallength / Pixelsize) * (Baseline / (depthMap[x + y*width])); //LocalZ

}

상기와 같이, 깊이지도구축수단의 연산 처리를 통해 3차원 깊이지도를 생성하게 되는 것이다.

도 3은 본 발명의 실시예에 따른 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템의 공간연산수단 블록도이다.

도 3에 도시한 바와 같이, 상기 공간연산수단(300)은 좌표변환매트릭스생성부(310)와, 로컬좌표할당부(320)와, 지도좌표변환부(330)와, 공간연산부(340)를 포함하여 구성되게 된다.

상기 좌표변환매트릭스생성부(310)는 지도에서의 좌표(RealCoordinates)의 n개 기준점에 선택 대응되는 로컬에서의 좌표(LocalCoordinates)의 n개 기준점을 선택하여 하기와 같은 좌표변환Matrix를 생성하게 되는 것이다.

상기 A는 지도에서의 좌표의 n개의 기준점 선택, B는 깊이지도맵에서 대응되는 n개의 기준점 선택을 의미하며, H는 좌표변환매트릭스를 의미한다.

예를 들어, Projection(RealCoordinates, LocalCoordinates, H); // 지도(RealCoordinates)에서의 좌표, n개의 기준점을 선택 대응되는 LocalCoordinates의 n개의 기준점 선택하여 변환 Matrix H를 생성함.

상기 로컬좌표할당부(320)는 로컬에서의 좌표(LocalCoordinates)값을 좌표변환매트릭스에 할당하는 기능을 수행하게 된다.

예를 들어, Mat * LocalCoordi = CreateMat(count, 4, 32F); // Local Coordinate 값을 Matrix에 할당. 와 같은 연산을 통해 처리하게 된다.

상기 지도좌표변환부(330)는 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하기 위한 기능을 수행하게 된다.

예를 들어, RealCoordi = LocalCoordi * m_H // 변환 Matrix(m_H)를 통해 RealCoordi 실 좌표로 변환. 과 같은 연산을 통해 처리하게 된다.

이후, 상기 공간연산부(340)는 사용자에 의해 설정된 경계값을 가지고 공간 연산을 통해 결과값을 도출하게 되는 것이다.

예를 들어, p_CStaticImage.getBoundaryByColor(RealCoordi, m_LeftImage, m_pBoundaryImage_temp, mHeightLimit_Bottom, mHeightLimit_Top, ptotalgAver); // 사용자가 설정한 경계 값을 가지고 In, Out check(공간연산)를 통해 결과값을 도출함. 과 같은 연산을 통해 처리하게 되는 것이다.

도 4는 본 발명의 실시예에 따른 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템의 객체감지결과통지수단 블록도이다.

도 4에 도시한 바와 같이, 객체감지결과통지수단(400)은,

원본 영상에서 검출한 객체를 오버랩시킨 영상을 생성하기 위한 객체영상생성부(410)와,

지도 상에 설정한 지역 내에 공간 연산된 포인트를 출력하기 위한 공간연산포인트처리부(420)와,

설정된 모바일 혹은 컴퓨터단말기로 상기 처리된 영상 정보와 발생 시간 정보를 포함한 현재 상황 메세지를 생성하여 전송하기 위한 현재상황메세지송출부(430)를 포함하여 구성하게 된다.

예를 들어, IntPut

ptotalgAver -> 경계값을 가지고 있음.

RealCoordi -> Local Coordinate값이 변환 Matrix(m_H)를 통해 변환된 좌표 값.

mHeightLimit_Top, mHeightLimit_Bottom 평면에서의 최소값과 최대값의 설정 값.

OutPut

m_LeftImage -> 원본영상에 검출한 객체를 오버랩 시킨 영상.

m_pBoundaryImage_temp -> 지도에 설정한 지역에 공간 연산된 Points를 나타낸다.

m_SelectPointCount -> 공간 연산하여 감지된 값.

pointInPolygon(pLine, ptr) -> 지정된 평면에서 point 값의 In, Out을 체크 함.

If(m_SelectPointCount) // 공간 연산하여 감지된 값을 통해 현재 상황 사진을 전송함.과 같은 연산을 수행하게 되는 것이다.

도 7 내지 도 10에 도시한 바와 같이, 실제 지도 상에 사용자에 의해 감시 영역을 설정하게 된다.

이후, 도 8과 같이, 이동객체가 감지 영역에 나타나게 되면 A와 같은 영상 변화를 감지하게 되는 것이다.

한편, 도 9와 같이, 이동객체가 감지 영역에 나타나지 않게 되면 현재 상황 메세지를 송출하지 않지만, 도 10과 같이, 이동객체가 다른 감지 영역에 나타나게 되면 B와 같은 영상 변화를 감지하게 되는 것이다.

이때, 객체감지결과통지수단(400)은 도 6과 같이, 현재 상황 사진 정보와 발생시간 정보를 전송하게 되는 것이다.

본 발명의 구성 및 동작을 통해 각종 센서 구성없이 스테레오 영상 내 사용자가 지정한 영역 범위에 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하여 공간 연산을 통해 결과값을 도출하되, 공간 연산에 의해 이동 객체를 검출하여 해당 이동 객체 검출 이미지를 포함한 멀티메세지를 지정된 모바일이나 컴퓨터단말기로 실시간으로 제공하는 효과가 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 영상정합수단
200 : 깊이지도구축수단
300 : 공간연산수단
400 : 객체감지결과통지수단

Claims

스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템에 있어서,
각 카메라의 특징점을 가지고 좌측 영상에 대한 회전변환행렬과 우측 영상에 대한 회전변환행렬을 계산하며, 좌측 영상과 우측 영상의 경계선을 추출한 후 추출된 좌우측 경계값의 차이값을 영상이 검색할 시차값(search length)만큼 생성하며, 이미지 width, 이미지 height, search length의 3차원 배열을 생성한 후, 3차원 배열의 각 픽셀 중 최소값에 해당하는 픽셀의 위치를 검색하여 디스패러티(disparity)값을 추출하기 위한 영상정합수단(100)과;
좌측 카메라와 우측 카메라의 거리, 카메라의 초점거리(focallength) , 카메라의 이미지크기(ImageSize)와 센서크기(sensor size)에 비례하는 픽셀크기(Pixelsize)를 참조하여 카메라 중심 좌표값을 설정하여 3차원 좌표로 변환하여 3차원 깊이지도를 생성하기 위한 깊이지도구축수단(200)과;
지도에서의 좌표(RealCoordinates)의 n개 기준점에 선택 대응되는 로컬에서의 좌표(LocalCoordinates)의 n개 기준점을 선택하여 좌표변환Matrix를 생성하며, 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하며, 사용자에 의해 설정된 경계값을 가지고 공간 연산을 통해 결과값을 도출하되, 공간 연산에 의해 이동 객체를 검출하기 위한 공간연산수단(300);을 포함하여 구성되는 것을 특징으로 하는 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템.
제 1항에 있어서,
상기 공간연산수단에서 객체 감지시,
객체 감지값을 획득하여 설정된 모바일 혹은 컴퓨터단말기로 현재 상황 사진 정보와 발생시간 정보를 전송하기 위한 객체감지결과통지수단(400);을 더 포함하여 구성되는 것을 특징으로 하는 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템.
제 1항 또는 제 2항에 있어서,
상기 영상정합수단(100)은,
각 카메라의 특징점을 가지고 좌측 영상에 대한 회전변환행렬과 우측 영상에 대한 회전변환행렬을 계산하기 위한 회전변환행렬계산부(110)와,
상기 회전변환행렬계산부에 의해 변환된 좌측 영상과 우측 영상을 흑백영상으로 변환하며, 좌측 영상과 우측 영상의 경계선을 추출하기 위한 경계선추출부(120)와,
상기 경계선추출부에 의해 추출된 좌우측 경계값의 차이값을 영상이 검색할 시차값(search length)만큼 생성하기 위한 차이값생성부(130)와,
영상의 경계선을 추출한 값의 사각형 박스 크기의 width 크기만큼 더하기 위한 가로크기계산부(140)와,
각 픽셀의 중심으로 비교 박스 크기의 width 크기 만큼 더한 값에서 비교 박스의 height 크기 만큼 더하여 이미지 width, 이미지 height, search length의 3차원 배열을 생성하기 위한 3차원배열생성부(150)와,
상기 3차원 배열의 각 픽셀 중 최소값에 해당하는 픽셀의 위치를 검색하여 디스패러티(disparity) 값을 추출하기 위한 디스패러티구성부(160)를 포함하여 구성되는 것을 특징으로 하는 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템.
제 1항 또는 제 2항에 있어서,
상기 공간연산수단(300)은,
지도에서의 좌표(RealCoordinates)의 n개 기준점에 선택 대응되는 로컬에서의 좌표(LocalCoordinates)의 n개 기준점을 선택하여 좌표변환Matrix를 생성하기 위한 좌표변환매트릭스생성부(310)와,
로컬에서의 좌표(LocalCoordinates)값을 좌표변환매트릭스에 할당하기 위한 로컬좌표할당부(320)와,
상기 좌표변환매트릭스를 통해 지도에서의 좌표(RealCoordinates)로 변환하기 위한 지도좌표변환부(330)와,
사용자에 의해 설정된 경계값을 가지고 공간 연산을 통해 결과값을 도출하기 위한 공간연산부(340)를 포함하여 구성되는 것을 특징으로 하는 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템.
제 2항에 있어서,
상기 객체감지결과통지수단(400)은,
원본 영상에서 검출한 객체를 오버랩시킨 영상을 생성하기 위한 객체영상생성부(410)와,
지도 상에 설정한 지역 내에 공간 연산된 포인트를 출력하기 위한 공간연산포인트처리부(420)와,
설정된 모바일 혹은 컴퓨터단말기로 상기 공간연산포인트처리부에서 처리된 영상 정보와 발생 시간 정보를 포함한 현재 상황 메세지를 생성하여 전송하기 위한 현재상황메세지송출부(430)를 포함하여 구성되는 것을 특징으로 하는 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템.