KR101614874B1 - Intelligent 3D CCTV Camera image processing device. - Google Patents

Intelligent 3D CCTV Camera image processing device. Download PDF

Info

Publication number
KR101614874B1
KR101614874B1 KR1020140102523A KR20140102523A KR101614874B1 KR 101614874 B1 KR101614874 B1 KR 101614874B1 KR 1020140102523 A KR1020140102523 A KR 1020140102523A KR 20140102523 A KR20140102523 A KR 20140102523A KR 101614874 B1 KR101614874 B1 KR 101614874B1
Authority
KR
South Korea
Prior art keywords
image
unit
dimensional
point
intelligent
Prior art date
Application number
KR1020140102523A
Other languages
Korean (ko)
Other versions
KR20160018224A (en
Inventor
박병진
윤승재
Original Assignee
에쓰온(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에쓰온(주) filed Critical 에쓰온(주)
Priority to KR1020140102523A priority Critical patent/KR101614874B1/en
Publication of KR20160018224A publication Critical patent/KR20160018224A/en
Application granted granted Critical
Publication of KR101614874B1 publication Critical patent/KR101614874B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명은 지능형 3차원 씨씨티브이 카메라 영상 처리장치에 관한 것으로, 더욱 상세하게는 2개의 씨씨티브이 카메라를 통해 획득된 영상 내 사물에 대한 3차원 영상으로 처리하여 평면 표면추출 및 객체 추적을 수행할 수 있도록 하는 지능형 3차원 씨씨티브이 카메라 영상 처리장치에 관한 것이다.The present invention relates to an intelligent three-dimensional CCD camera image processing apparatus, and more particularly, to an intelligent three-dimensional CCD camera image processing apparatus capable of performing plane surface extraction and object tracking by processing a three-dimensional image of an object in an image acquired through two CCD cameras Dimensional camera image processing apparatus.

Description

지능형 3차원 씨씨티브이 카메라 영상 처리장치{Intelligent 3D CCTV Camera image processing device.}Technical Field [0001] The present invention relates to an intelligent 3D CCTV camera image processing device.

본 발명은 지능형 3차원 씨씨티브이 카메라 영상 처리장치에 관한 것으로, 더욱 상세하게는 2개의 씨씨티브이 카메라를 통해 획득된 영상 내 사물에 대한 3차원 영상으로 처리하여 평면 표면추출 및 객체 추적을 수행할 수 있도록 하는 지능형 3차원 씨씨티브이 카메라 영상 처리장치에 관한 것이다.
The present invention relates to an intelligent three-dimensional CCD camera image processing apparatus, and more particularly, to an intelligent three-dimensional CCD camera image processing apparatus capable of performing plane surface extraction and object tracking by processing a three-dimensional image of an object in an image acquired through two CCD cameras Dimensional camera image processing apparatus.

영상으로부터 3차원 모델을 복원하는 기법은, 컴퓨터 비전 영역에서 매우 오래된 연구 주제이다. The technique of reconstructing the 3D model from the image is a very old research topic in the field of computer vision.

그 대표적인 기술로서 빛과 그림자의 관계로부터 3차원 정보를 복원하는 기법(shape from shading), 물체 표면 패턴으로부터 3차원 정보를 복원하는 기법(shape from texture) 및 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull) 등이 있다.As a typical technique, there is a technique of restoring three-dimensional information from the relationship of light and shadow (shape from shading), a technique of restoring three-dimensional information from an object surface pattern (shape from texture) (visual hull).

특히, 윤곽선 정보로부터 3차원 정보를 복원하는 기법(visual hull)은 매우 간단하면서도 효율적으로 3차원 모델을 복원할 수 있어 최근 많은 연구가 이루어졌다. In particular, the visual hull reconstruction method from the contour information is very simple and efficient, and the 3D model can be reconstructed.

그러나, 이 기법은 오목한 영역에 대한 복원이 불가능한 문제점이 있으며, 카메라의 수가 적은 경우 매우 조악한 모델이 생성되는 문제점이 있다.However, this technique has a problem in that it can not be restored to the concave area, and a very coarse model is generated when the number of cameras is small.

한편, 스테레오 영상을 이용한 영상 처리기법이 활발히 연구되고 있는데, 두 대의 카메라에서 얻어진 영상에서 생기는 양안 시차를 이용하여 깊이를 추정하는 기술이지만 이를 활용하기 위한 어플리케이션 기술 개발이 시급한 실정이다.On the other hand, image processing techniques using stereo images have been actively studied. However, it is a technique for estimating the depth using the binocular parallax generated in images obtained from two cameras, but it is urgent to develop application technology to utilize them.

특히, CCTV 관제 센터의 감시인력 1인당 평균 45대를 모니터링하고 있는데, 감시인력 1인이 실시간 확인할 수 있는 범위를 초과하고 있다.In particular, CCTV monitoring centers are monitoring 45 monitors on average per surveillance worker, exceeding the range that can be confirmed by one monitoring person in real time.

구체적으로 관제인력이 2대 이상의 CCTV를 감시하면 12분이 지나면 위험 상황의 45%를 놓치며, 22분이 지나면 위험 상황의 95%를 놓치게 된다.Specifically, if the control personnel monitor two or more CCTVs, they lose 45% of the risk situation after 12 minutes and 95% of the risk situation after 22 minutes.

종래 지능형 CCTV의 특징은 인공지능 방식의 인식으로서, 사람의 얼굴, 물체의 인식, 물체의 추적분야로 발달되어 있으며, 해상도 및 화소의 밝기만으로 물체를 판별하고 있는데, 최대 문제점은 오탐지 및 오경보에 대한 신뢰도가 떨어지는 것이다.Conventional intelligent CCTV is a recognition of artificial intelligence, which is developed in the fields of human face, object recognition, object tracking, and distinguishes objects by resolution and brightness of pixels. The biggest problem is that false detection and false alarm The reliability is low.

오탐지 및 오경보의 원인은 기존 일반 카메라에서의 영상 왜곡 현상을 보정하기 어렵고, 카메라와 객체의 정확한 위치, 길이, 높이, 크기, 방향을 알 수 없기 때문이다.The reason for false detection and false alarm is that it is difficult to correct the image distortion in the conventional camera, and the accurate position, length, height, size and direction of the camera and object can not be known.

특히, 본 발명과 관련있는 일반 cctv 카메라에 도입하여 사건 사고발생시 평면에서 파악하기 힘든 자료들을 입체적으로 판단할 경우에 신뢰도있는 자료가 될 수 있다는 동기 아래 제안하게 된 것이다.In particular, it is proposed that a cctv camera, which is related to the present invention, can be used as a reliable data when three-dimensionally judge materials which are difficult to grasp in the plane in case of an accident.

대한민국 공개특허공보 10-2007-0009899호(2007.01.19)Korean Patent Publication No. 10-2007-0009899 (2007.01.19)

본 발명의 지능형 3차원 씨씨티브이 카메라 영상 처리장치는 상기와 같은 종래 기술에서 발생하는 문제점을 해소하기 위한 것으로, 일반 cctv 카메라에 도입하여 사건 사고발생시 평면에서 파악하기 힘든 증거 자료들을 입체적으로 판단하도록 영상 처리를 수행하도록 하는데 있다.
The intelligent three-dimensional CCD camera image processing apparatus of the present invention is provided to solve the problems occurring in the related art as described above. The intelligent three-dimensional CCD camera image processing apparatus of the present invention can be applied to a general cctv camera, Processing is performed.

본 발명의 지능형 3차원 씨씨티브이 카메라 영상 처리장치는 상기와 같은 과제를 해결하기 위하여, 2개의 카메라를 통해 촬영된 좌측 영상 및 우측 영상을 획득하기 위한 스테레오영상수집부(100);According to another aspect of the present invention, there is provided an intelligent three-dimensional CCD camera image processing apparatus comprising: a stereo image acquisition unit (100) for acquiring a left image and a right image photographed through two cameras;

좌측 영상 및 우측영상의 흔들림을 보정하여 정렬하기 위한 자동보정정렬부(200);An automatic correction alignment unit 200 for correcting and aligning the shake of the left and right images;

좌측 영상의 특정 지점에 대하여 우측 영상의 동일한 특정 지점을 검색하며, 좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하기 위한 에피폴라처리부(300);An epipolar processor 300 for searching for a specific point of the right image with respect to a specific point of the left image and correcting the vertical parallax of the three-dimensional stereo image based on the left image;

좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하며, 영상의 특징과 일치점을 찾기 위한 기본행렬을 추정하며, 좌이미지 및 아웃 라인에 우 이미지 포인터 검색을 추출하며, 최대 및 최소 불일치 포인터를 검색하여 추출하고, 평균 깊이를 산출하기 위한 깊이맵처리부(400);We extract the left and right stereo images to extract the matching pointer attributes, estimate the basic matrix to find matching points with the features of the image, extract the right image pointer search in the left image and outline, search the maximum and minimum mismatch pointer A depth map processing unit 400 for calculating an average depth,

스테레오 이미지와 깊이맵을 표출하기 위한 결과표출부(500);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
And a result display unit 500 for displaying a stereo image and a depth map, thereby solving the problems of the present invention.

본 발명에 의해, 일반 cctv 카메라에 도입하여 사건 사고발생시 평면에서 파악하기 힘든 증거 자료들을 입체적으로 판단하도록 영상 처리를 수행하도록 함으로써, 신뢰도있는 자료를 제공할 수 있게 된다.According to the present invention, it is possible to provide reliable data by performing image processing so as to three-dimensionally judge evidence materials which are difficult to grasp in a plane in case of an incident, by introducing the data into a general cctv camera.

활용적인 측면으로 3차원 객체 추출로 오인식이 적은 객체 추적에 활용할 수 있어 인식률을 높여 지능형 통합 관제시스템에 적용할 수 있으며, CCTV 자료의 활용성을 증대시킬 수 있다.
As a practical aspect, 3 - dimensional object extraction can be applied to object tracking with less false recognition, which can be applied to intelligent integrated control system by increasing recognition rate and can increase the utilization of CCTV data.

도 1은 본 발명의 실시예에 따른 지능형 3차원 씨씨티브이 카메라 영상 처리장치의 전체 블록도이다.
도 2는 좌측 영상 및 우측영상의 흔들림을 보정하여 정렬하는 예시도이며, 도 3 내지 도 4는 에피폴라 삼각측량을 나타낸 예시도이며, 도 5는 깊이지도 예시도이며, 도 6은 지능형 3차원 씨씨티브이 카메라 영상 처리장치의 깊이맵처리부 블록도이다.1 is an overall block diagram of an intelligent 3D cctv camera image processing apparatus according to an embodiment of the present invention.
3 is a diagram showing an example of an epipolar triangulation, FIG. 5 is an example of a depth map, and FIG. 6 is an example of an intelligent three-dimensional FIG. 1 is a block diagram of a depth map processing unit of a CCD camera image processing apparatus.

이하, 첨부된 도면을 통해 본 발명의 지능형 3차원 씨씨티브이 카메라 영상 처리장치에 대해 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an intelligent three-dimensional CCD camera image processing apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

종래의 영상 감시시스템은 색상 변화에 동작하며, 원근에 따른 왜곡이 발생하며, 미인식 및 오인식 발생, 생성된 자료의 활용이 어렵다.Conventional video surveillance system operates on color change, distortion occurs according to perspective, unrecognition and misunderstandings occur, and it is difficult to utilize the generated data.

그러나, 본 발명의 장치는 객체의 위치에 동작하며, 왜곡에 강인하며, 좌표에 따른 분석이 가능하고, 자료의 활용 범위가 넓은 장점이 있다.However, the apparatus of the present invention is advantageous in that it operates at the position of an object, is robust against distortion, enables analysis according to coordinates, and has a wide range of utilization of data.

이는 수평 정렬을 자동으로 재배열하며, 3차원 깊이 지도를 이용한 실제 좌표를 측정할 수 있으며, 관심 객체의 위치, 크기, 변위(방향,속도)를 추출할 수 있으며, 3차원 정보로 다양한 방향으로 활용이 가능하다.It automatically rearranges the horizontal alignment, can measure the actual coordinates using the 3D depth map, extracts the position, size, displacement (direction, velocity) of the object of interest, It is available.

도 1은 본 발명의 실시예에 따른 지능형 3차원 씨씨티브이 카메라 영상 처리장치의 전체 블록도이다.1 is an overall block diagram of an intelligent 3D cctv camera image processing apparatus according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 지능형 3차원 씨씨티브이 카메라 영상 처리장치(1000)는,As shown in Fig. 1, the intelligent three-dimensional CCD camera image processing apparatus 1000 includes:

2개의 카메라를 통해 촬영된 좌측 영상 및 우측 영상을 획득하기 위한 스테레오영상수집부(100);A stereo image acquisition unit 100 for acquiring a left image and a right image photographed through two cameras;

좌측 영상 및 우측영상의 흔들림을 보정하여 정렬하기 위한 자동보정정렬부(200);An automatic correction alignment unit 200 for correcting and aligning the shake of the left and right images;

좌측 영상의 특정 지점에 대하여 우측 영상의 동일한 특정 지점을 검색하며, 좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하기 위한 에피폴라처리부(300);An epipolar processor 300 for searching for a specific point of the right image with respect to a specific point of the left image and correcting the vertical parallax of the three-dimensional stereo image based on the left image;

좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하며, 영상의 특징과 일치점을 찾기 위한 기본행렬을 추정하며, 좌이미지 및 아웃 라인을 참조하여 우 이미지 포인터 검색을 추출하기 위한 깊이맵처리부(400);A depth map processing unit 400 for extracting a right and left stereo image and extracting a matching pointer attribute, estimating a basic matrix for matching points of features of an image, and extracting a right image pointer search by referring to a left image and an outline, );

스테레오 이미지와 깊이맵을 표출하기 위한 결과표출부(500);를 포함하여 구성된다.And a result display unit 500 for displaying a stereo image and a depth map.

상기 스테레오영상수집부(100)는 도 2에 도시한 바와 같이, 2개의 카메라를 통해 촬영된 좌측 영상 및 우측 영상을 획득하게 된다.The stereo image collection unit 100 acquires a left image and a right image photographed through two cameras, as shown in FIG.

상기 자동보정정렬부(200)는 좌측 영상 및 우측영상의 흔들림을 보정하여 정렬하기 위한 기능을 수행한다.The automatic correction alignment unit 200 performs a function of correcting and aligning the shake of the left and right images.

즉, 흔들림이 발생하면 에피폴라처리부에서 데이터 처리시에 동일한 특정 지점을 검색함에 있어서 에러가 발생할 수 있기 때문에 자동 보정을 하여 정렬하게 되는 것이다.That is, when the shaking occurs, an error may occur in searching for the same specific point at the time of data processing in the epipolar processing unit, so that the automatic correction is performed by aligning.

상기 에피폴라처리부(300)는 좌측 영상의 특정 지점에 대하여 우측 영상의 동일한 특정 지점을 검색하며, 좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하기 위한 기능을 수행하게 된다.The epipolar processing unit 300 searches for a specific point of the right image with respect to a specific point of the left image and performs a function of correcting the vertical parallax of the three-dimensional stereo image based on the left image.

도 3에 도시한 바와 같이, 삼각 측량을 통해 포인터의 이미지 위치 결정은 다른 이미지에 동일한 포인터의 위치를 하나의 이미지에서 물체 포인터의 이미지와 일치하는 위치를 검색 추출한다. As shown in Fig. 3, the image positioning of the pointer through triangulation searches and extracts the position of the same pointer in another image, the position corresponding to the image of the object pointer in one image.

또한, 도 4에 도시한 바와 같이, 에피폴은 optical center를 연결하는 선의 교점 즉, 기준 화상면과 에피폴은 다른 카메라의 optical center의 하나의 카메라에 이미지이다. Also, as shown in Fig. 4, the epipole is an image at the intersection of the lines connecting the optical centers, that is, the reference image plane and the epipole are one camera of the optical center of another camera.

에피폴라 평면은 3D 지점에 의해 정의된 평면이며, M 및 optical center C 와 C'이다.The epipolar plane is the plane defined by the 3D point, M and the optical centers C and C '.

에피 폴라선을 화상면과 에피 폴라 평면의 교차 직선이다.The epipolar line is an intersecting straight line of the image plane and the epipolar plane.

이는 다른 카메라의 optical center와 이미지 평면 지점을 통해 하나의 카메라에 이미지 정합한다.It matches the image to one camera through the optical center of the other camera and the image plane point.

상기 깊이맵처리부(400)는 일반적인 깊이맵을 처리하는 기술로서, 일반적으로 좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하며, 영상의 특징과 일치점을 찾기 위한 기본행렬을 추정하며, 좌이미지 및 아웃 라인을 참조하여 우 이미지 포인터 검색을 추출하며, 최대 및 최소 불일치 포인터를 검색하여 추출하고, 평균 깊이를 산출하기 위한 기능을 수행한다.
상기 평균 깊이를 산출하기 위한 기술은 당업자들에게 널리 알려진 3차원 스테레오 영상 처리 기술의 깊이맵을 수행하기 위한 기술이다.The depth map processing unit 400 is a technique for processing a general depth map. In general, the depth map processing unit 400 acquires left and right stereo images to extract a matching pointer attribute, estimates a basic matrix for finding a coincidence with a feature of an image, And extracts the right image pointer search by referring to the outline, retrieves and extracts the maximum and minimum discrepancy pointers, and performs a function for calculating the average depth.
The technique for calculating the average depth is a technique for performing a depth map of a three-dimensional stereo image processing technique widely known to those skilled in the art.

도 5에 도시한 바와 같이, 정합 맵핑 기능과 화면의 이미지 포인트에 대응하는 점들은 3차원 세계의 모든 카메라 시스템은 에피 폴라 평면을 정의한다.As shown in Fig. 5, the matching mapping functions and the points corresponding to the image points of the screen define the epipolar plane for all camera systems in the 3D world.

일반적으로 이러한 교차점과 이미지 평면, 평면 이미지를 에피 폴라선이라고 한다.Generally, these intersections, image planes, and planar images are called epipolar lines.

주어진 에피 폴라 라인의 모든 지점은 일치해야 한다.All points in a given epipolar line must match.

해당 에피 폴라 라인에서 단일 지점에 대한 검색하여 추출하고 첫번째 이미지에서 점의 매치가 감소될 이미지 평면에 일차원 근접 에피 폴라 라인과 에피 폴라 평면의 일치를 검색 및 결정하게 된다.A single point in the epipolar line is searched for and extracted, and a match of the one-dimensional near epipolar line and the epipolar plane is determined and determined on the image plane where the match of points in the first image is to be reduced.

한편, 도 1에 도시한 바와 같이, 상기 에피폴라처리부(300)는,1, the epipolar processing unit 300 includes:

좌측 영상의 특정 지점에 대하여 우측 영상의 동일한 특정 지점을 검색하기 위한 동일지점검색부(310),An identical point searching unit 310 for searching for the same specific point of the right image with respect to a specific point of the left image,

좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하기 위한 수직시차보정부(320)를 포함하여 구성되게 된다.And a vertical direction difference unit 320 for correcting the vertical parallax of the three-dimensional stereo image based on the left image.

즉, 동일지점검색부(310)는 좌측 영상의 특정 지점에 대하여 우측 영상의 동일한 특정 지점을 검색하게 되며, 수직시차보정부(320)는 좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하게 된다.In other words, the same point searching unit 310 searches for a specific point of the right image with respect to a specific point of the left image, and the perpendicular direction searching unit 320 corrects the vertical parallax of the three-dimensional stereo image based on the left image .

한편, 도 6에 도시한 바와 같이, 상기 깊이맵처리부(400)는,On the other hand, as shown in Fig. 6, the depth map processing unit 400,

좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하기 위한 정합포인터속성추출부(410),A matching pointer attribute extracting unit 410 for obtaining left and right stereo images and extracting a matching pointer attribute,

영상의 특징과 일치점을 찾기 위한 기본행렬을 추정하기 위한 기본행렬추정부(420),A basic matrix estimating unit 420 for estimating a basic matrix for finding a characteristic point of the image,

좌측 이미지 및 아웃 라인에 우측 이미지 포인터 검색을 추출하기 위한 우측이미지포인터검색추출부(430),A right image pointer search and extraction unit 430 for extracting the right image pointer search in the left image and the outline,

최대 및 최소 불일치 포인터를 검색하여 추출하기 위한 최대및최소불일치포인터검색추출부(440),A maximum and minimum mismatch pointer search and extraction unit 440 for searching and extracting the maximum and minimum mismatch pointer,

평균 깊이를 산출하기 위한 평균깊이산출부(450)를 포함하여 구성되게 된다.And an average depth calculating unit 450 for calculating an average depth.

즉, 정합포인터속성추출부(410)에서 좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하게 된다.That is, the matching pointer attribute extracting unit 410 obtains the left and right stereo images and extracts the matching pointer attributes.

이후, 상기 기본행렬추정부(420)는 영상의 특징과 일치점을 찾기 위한 기본행렬을 추정하게 되고, 상기 우측이미지포인터검색추출부(430)는 좌측 이미지 및 아웃 라인에 우측 이미지 포인터 검색을 추출하게 된다.Then, the basic matrix estimator 420 estimates a basic matrix for finding coincidence with characteristics of an image, and the right image pointer search and extraction unit 430 extracts a right image pointer search to the left image and the outline do.

이때, 상기 최대및최소불일치포인터검색추출부(440)는 최대 및 최소 불일치 포인터를 검색하여 추출하여 적합한 포인터를 검색하여 추출하게 되는 것이며, 평균깊이산출부(450)는 평균 깊이를 산출하게 되는 것이다.At this time, the maximum and minimum mismatch pointer search and extraction unit 440 searches and extracts the maximum and minimum mismatch pointers, and searches for and extracts an appropriate pointer, and the average depth calculation unit 450 calculates the average depth .

한편, 추가적인 구성에 따라 본 발명의 장치는,On the other hand, according to a further configuration,

설정된 점에 대한 좌표 정보를 표출하기 위한 설정좌표표출부;A set coordinate display unit for displaying coordinate information for a set point;

설정된 직선에 대한 길이를 계산하여 표출하기 위한 길이값표출부;A length value display unit for calculating and expressing the length of the set straight line;

설정된 평면 표면을 추출하여 표출하기 위한 평면표면표출부를 더 포함하여 구성할 수 있다.And a planar surface display unit for extracting and exposing the set planar surface.

본 발명의 장치는 컴퓨터 화면에 스테레오 이미지, 깊이지도맵, 좌표, 측정값 출력을 정해진 레이 아웃에 출력하게 된다.The apparatus of the present invention outputs stereo images, depth map maps, coordinates, and measured value outputs to a predetermined layout on a computer screen.

이때, 관리자에 의해 특정 포인트(점)을 선택하게 되면 설정좌표표출부는 설정된 점에 대한 좌표 정보를 표출하게 되고, 길이값표출부는 설정된 직선에 대한 길이를 계산하여 표출하게 된다.At this time, when a specific point (point) is selected by the manager, the set coordinate display unit displays the coordinate information for the set point, and the length value display unit calculates and displays the length for the set straight line.

즉, 직선을 긋게 되면 해당 직선의 길이를 계산하여 표출해주는 것이다.That is, when the straight line is drawn, the length of the straight line is calculated and displayed.

또한, 평면표면표출부는 설정된 평면 표면을 추출하여 표출하게 되는 것이다.Further, the planar surface display unit extracts and displays the set planar surface.

이를 통해 카메라와 객체의 정확한 위치, 길이, 높이, 크기, 방향 등을 알 수 있어 오인식이 적은 객체 추적에 활용할 수 있으므로, 인식률이 높은 본 발명의 장치를 지능형 통합 관제시스템에 적용하여 관제 센터에서 활용할 수 있게 된다.Since the accurate position, length, height, size, direction and the like of the camera and the object can be known through this, it can be utilized in object tracking with less false recognition. Therefore, the device of the present invention having high recognition rate can be applied to the intelligent integrated control system, .

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100 : 스테레오영상수집부
200 : 자동보정정렬부
300 : 에피폴라처리부
400 : 깊이맵처리부
500 : 결과표출부100: Stereo image collecting unit
200: Automatic correction alignment unit
300: epipolar processor
400: depth map processing section
500: Result display section

Claims (5)

삭제delete 지능형 3차원 씨씨티브이 카메라 영상 처리장치에 있어서,
2개의 카메라를 통해 촬영된 좌측 영상 및 우측 영상을 획득하기 위한 스테레오영상수집부(100);
좌측 영상 및 우측영상의 흔들림을 보정하여 정렬하기 위한 자동보정정렬부(200);
좌측 영상의 특정 지점에 대하여 우측 영상의 동일한 특정 지점을 검색하며, 좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하기 위한 에피폴라처리부(300);
좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하며, 영상의 특징과 일치점을 찾기 위한 기본행렬을 추정하기 위한 깊이맵처리부(400);
스테레오 이미지와 깊이맵을 표출하기 위한 결과표출부(500);
컴퓨터 화면에서 관리자에 의해 특정 포인트(점)을 선택하게 되면, 선택된 점에 대한 좌표 정보를 표출하기 위한 설정좌표표출부;
컴퓨터 화면에서 관리자에 의해 특정 직선을 선택하게 되면, 선택된 직선에 대한 길이를 계산하여 표출하기 위한 길이값표출부;
컴퓨터 화면에서 관리자에 의해 특정 평면을 선택하게 되면, 선택된 평면 표면을 추출하여 표출하기 위한 평면표면표출부;를 포함하여 구성되는 것을 특징으로 하는 지능형 3차원 씨씨티브이 카메라 영상 처리장치.An intelligent three-dimensional CCD camera image processing apparatus comprising:
A stereo image acquisition unit 100 for acquiring a left image and a right image photographed through two cameras;
An automatic correction alignment unit 200 for correcting and aligning the shake of the left and right images;
An epipolar processor 300 for searching for a specific point of the right image with respect to a specific point of the left image and correcting the vertical parallax of the three-dimensional stereo image based on the left image;
A depth map processing unit 400 for obtaining a left and right stereo image to extract a matching pointer attribute, and estimating a basic matrix for matching points of features of the image;
A result display unit 500 for displaying a stereo image and a depth map;
A set coordinate display unit for displaying coordinate information for a selected point when a specific point (point) is selected by an administrator on a computer screen;
A length value display unit for calculating and expressing the length of the selected straight line when a specific straight line is selected by the administrator on the computer screen;
And a planar surface display unit for extracting and expressing the selected planar surface when a specific plane is selected by the administrator on the computer screen. 제 2항에 있어서,
상기 에피폴라처리부(300)는,
좌측 영상의 특정 지점에 대하여 우측 영상의 동일한 특정 지점을 검색하기 위한 동일지점검색부(310),
좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정하기 위한 수직시차보정부(320)를 포함하여 구성되는 것을 특징으로 하는 지능형 3차원 씨씨티브이 카메라 영상 처리장치.
3. The method of claim 2,
The epipolar processing unit 300 includes:
An identical point searching unit 310 for searching for the same specific point of the right image with respect to a specific point of the left image,
And a vertical direction difference unit (320) for correcting vertical parallax of the three-dimensional stereo image based on the left image.
제 2항에 있어서,
상기 깊이맵처리부(400)는,
좌, 우 스테레오 영상을 획득하여 정합 포인터 속성을 추출하기 위한 정합포인터속성추출부(410),
영상의 특징과 일치점을 찾기 위한 기본행렬을 추정하기 위한 기본행렬추정부(420),
좌측 이미지 및 아웃 라인을 참조하여 우측 이미지 포인터 검색을 추출하기 위한 우측이미지포인터검색추출부(430)를 포함하여 구성되는 것을 특징으로 하는 지능형 3차원 씨씨티브이 카메라 영상 처리장치.
3. The method of claim 2,
The depth map processing unit 400,
A matching pointer attribute extracting unit 410 for obtaining left and right stereo images and extracting a matching pointer attribute,
A basic matrix estimating unit 420 for estimating a basic matrix for finding a characteristic point of the image,
And a right image pointer search and extraction unit (430) for extracting a right image pointer search by referring to a left image and an outline of the three-dimensional image.
제 2항에 있어서,
상기 지능형 3차원 씨씨티브이 카메라 영상 처리장치는,
사물에 대한 3차원 영상으로 처리하여 평면 표면추출 및 객체 추적을 수행하는 것을 특징으로 하는 지능형 3차원 씨씨티브이 카메라 영상 처리장치.
3. The method of claim 2,
The intelligent three-dimensional CCD camera image processing apparatus includes:
Dimensional image of the object, and performs planar surface extraction and object tracking by processing the three-dimensional image of the object.
KR1020140102523A 2014-08-08 2014-08-08 Intelligent 3D CCTV Camera image processing device. KR101614874B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140102523A KR101614874B1 (en) 2014-08-08 2014-08-08 Intelligent 3D CCTV Camera image processing device.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140102523A KR101614874B1 (en) 2014-08-08 2014-08-08 Intelligent 3D CCTV Camera image processing device.

Publications (2)

Publication Number Publication Date
KR20160018224A KR20160018224A (en) 2016-02-17
KR101614874B1 true KR101614874B1 (en) 2016-04-22

Family

ID=55457511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140102523A KR101614874B1 (en) 2014-08-08 2014-08-08 Intelligent 3D CCTV Camera image processing device.

Country Status (1)

Country Link
KR (1) KR101614874B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464804A (en) 2020-04-08 2020-07-28 北京小米松果电子有限公司 Omnidirectional parallax view synthesis method and device and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101125061B1 (en) * 2010-04-06 2012-03-21 (주)리얼디스퀘어 A Method For Transforming 2D Video To 3D Video By Using LDI Method
KR101339616B1 (en) * 2012-11-27 2013-12-10 재단법인대구경북과학기술원 Object detection and tracking method and device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748719B1 (en) 2005-07-14 2007-08-13 연세대학교 산학협력단 Apparatus and method for 3-dimensional modeling using multiple stereo cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101125061B1 (en) * 2010-04-06 2012-03-21 (주)리얼디스퀘어 A Method For Transforming 2D Video To 3D Video By Using LDI Method
KR101339616B1 (en) * 2012-11-27 2013-12-10 재단법인대구경북과학기술원 Object detection and tracking method and device

Also Published As

Publication number Publication date
KR20160018224A (en) 2016-02-17

Similar Documents

Publication Publication Date Title
CN110426051B (en) Lane line drawing method and device and storage medium
US20170337701A1 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
CN106920276B (en) A kind of three-dimensional rebuilding method and system
EP3695381B1 (en) Floor detection in virtual and augmented reality devices using stereo images
CN202362833U (en) Binocular stereo vision-based three-dimensional reconstruction device of moving vehicle
CN104677330A (en) Small binocular stereoscopic vision ranging system
CN112686877B (en) Binocular camera-based three-dimensional house damage model construction and measurement method and system
JP6858415B2 (en) Sea level measurement system, sea level measurement method and sea level measurement program
CN110889873A (en) Target positioning method and device, electronic equipment and storage medium
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
CN103528562A (en) Method for detecting distance of human eyes and display terminal based on single camera
CN109035307B (en) Set area target tracking method and system based on natural light binocular vision
CN104182968A (en) Method for segmenting fuzzy moving targets by wide-baseline multi-array optical detection system
CN113888639A (en) Visual odometer positioning method and system based on event camera and depth camera
CN111127556B (en) Target object identification and pose estimation method and device based on 3D vision
Angladon et al. The toulouse vanishing points dataset
CN109493378B (en) Verticality detection method based on combination of monocular vision and binocular vision
CN108399630B (en) Method for quickly measuring distance of target in region of interest in complex scene
Zhang et al. Automatic terrain extraction using multiple image pair and back matching
Kochi et al. 3D modeling of architecture by edge-matching and integrating the point clouds of laser scanner and those of digital camera
KR101614874B1 (en) Intelligent 3D CCTV Camera image processing device.
CN110800020A (en) Image information acquisition method, image processing equipment and computer storage medium
KR20150069739A (en) Method measuring fish number based on stereovision and pattern recognition system adopting the same
Neverova et al. 2 1/2 D scene reconstruction of indoor scenes from single RGB-D images
CN106303501B (en) Stereo-picture reconstructing method and device based on image sparse characteristic matching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 4

R401 Registration of restoration