KR102200204B1 - Cctv 영상을 활용한 3차원 영상분석 시스템 - Google Patents

Abstract

본 발명의 CCTV 영상을 활용한 3차원 영상분석 시스템은, 영상을 촬영하여 송출하는 CCTV와; 영상분석 컨트롤러로 이루어지며, 상기 영상분석 컨트롤러는 상기 CCTV로부터 수신한 영상을 프레임별로 분석하는 영상분석부와; 상기 영상분석부로부터 수신된 결과를 통계적으로 분석하는 통계분석부와; 상기 영상분석부 및 통계분석부로부터 분석된 결과를 표시하는 디스플레이부와; 영상분석부 및 통계분석부로부터 분석된 결과를 저장하는 데이터베이스부를 포함하여 이루어진 것을 특징으로 한다.

Description

CCTV 영상을 활용한 3차원 영상분석 시스템 {3-D Image Analyzing System Using CCTV Image}

본 발명은 CCTV 영상을 활용한 3차원 영상분석 시스템에 관한 것으로, 보다 상세하게는 2차원 영상인 CCTV 영상을 활용하여 오브젝트의 인식 및 거동을 3차원적으로 분석할 수 있는 영상분석 시스템 및 그 제어방법에 관한 것이다.

방범용, 교통상황 수집 또는 교통법규 위반단속 등의 목적으로 CCTV 또는 카메라가 도로 상에 많이 설치되어 있다.

통상 CCTV와 카메라는 레이저 또는 노면에 설치된 유도 루프에 의해 차량의 진입이나 속도를 감지하여 촬영하는 방식으로 운용된다.

카메라의 경우에는 단 하나의 촬영된 이미지만으로 차량번호를 파악하여야 하므로 번호인식의 신뢰성이 낮다.

영상으로 촬영하는 CCTV의 경우에도 통상 영상의 첫 프레임의 이미지 또는 2~3개 이미지 만을 사용하여 차량번호를 파악하기 때문에 번호인식의 신뢰성이 높아지지는 않는다.

또한, 유도 루프의 경우에는 도로의 일부 구간을 절개하여 유도 루프를 매몰하여야 하므로 설치시 도로를 파손하여야 하는 문제점이 있고, 레이저 방식의 경우에는 날벌레 등에 의해 빛이 교란되어 속도 측정에 대한 신뢰성이 저하되는 문제점이 있다.

이와 같은 단점을 보완하기 위해, 최근에는 CCTV의 영상을 분석하여 차량의 식별이나 속도 등을 측정하는 시스템들이 개발되고 있다. 이와 같은 시스템의 하나로 대한민국 등록특허 10-2001002호를 그 예로 들 수 있다. 대한민국 등록특허 10-2001002호에서는 차량과 모터사이클이 혼재된 경우 번호판 인식효율을 높이기 위해 딥러닝 기법을 사용하고 있다. 영상을 이루는 프레임 이미지 중 일부에서만 차량의 번호판을 인식하고, 이후 영상에서 다시 차량번호판을 인식하여 차량번호가 같을 경우 이동거리와 시간을 감안하여 속도를 산출하는 것이 개시되어 있지만, 선택된 프레임의 영상에서 차량번호를 인식하는 것이 실패하는 경우 속도 산출이 불가능하게 된다.

또한, 대한민국 등록특허 10-1971878호에서는 다차로에서의 차량번호 인식 시스템을 개시하고 있는데, 영상에서 이미지를 추출한 다음 차량번호를 추출하지만, 얻을 수 있는 정보가 차량번호에 한정되어 방범용 정도로만 사용될 뿐, 교통법규의 위반 단속 등에는 사용될 수 없는 문제점이 있다.

또한 상기와 같은 종래기술들에서는 분석에 사용되는 이미지의 개수가 1~3개정도여서 번호판이 훼손되거나, 불법으로 번호판에 필름을 부착한 경우에는 차량번호를 인식하기 힘든 경우도 많다.

KR 10-2001002 B, 2019.07.17., 도면8 KR 10-1971878 B, 2019.04.26., 청구범위

상기와 같은 종래기술의 문제점을 해결하기 위해 안출된 본 발명은,

번호판이 훼손되거나, 불법적으로 번호판에 필름을 부착한 경우에도 차량번호 인식의 신뢰성을 높일 수 있을 뿐 만 아니라, 유도루프나 레이저 없이도 통과 차량의 종류, 속도 등 다양한 정보를 통계적 기법에 따라 분석할 수 있도록 하는 것을 그 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 CCTV 영상을 활용한 3차원 영상분석 시스템은,

영상을 촬영하여 송출하는 CCTV와;
영상을 분석하기 위한 영상분석 컨트롤러로 이루어지며;
상기 영상분석 컨트롤러는,
상기 CCTV로부터 수신한 영상의 각 프레임에서 얻어지는 이미지들로부터 오브젝트를 추출하고, 오브젝트를 식별하고, 오브젝트 내의 정보를 인식하며, 이미지의 픽셀간 거리와 도로 상의 실제 거리의 상관관계로부터 오브젝트의 이동에 따른 속도 및 방향을 분석하며,
오브젝트 중 승용차는 승용차의 길이에 3미터를 더한 거리, 승합차는 승합차의 길이에 4미터를 더한 거리, 대형트럭은 트럭의 길이에 6미터를 더한 거리를 이동하였을 때의 프레임별 시간을 측정하여 속도를 계산하는 영상분석부와;
상기 영상분석부로부터 수신된 결과를 통계적으로 분석하는 통계분석부와;
상기 영상분석부 및 통계분석부로부터 분석된 결과를 표시하는 디스플레이부와;

영상분석부 및 통계분석부로부터 분석된 결과를 저장하는 데이터베이스부를 포함하여 이루어진 것을 특징으로 한다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

상기 데이터베이스부에는 상기 통계분석부에서 선택된 정보에 속하는 프레임의 이미지를 함께 저장하는 것이 바람직하다.

상기 데이터베이스부는 CCTV설치위치, 설치된 위치의 기본 이미지, 이미지 내 위치 및 픽셀수에 따라 오브젝트의 크기나 길이를 계산하기 위한 상관계수, 오브젝트의 크기 및 속도에 따라 오브젝트가 차량/행인/이륜차인지를 식별할 수 있는 기준값, 오브젝트가 차량인 경우 차량의 크기에 따른 등급을 결정하는 기준값을 포함하는 초기설정치가 더 저장되어 있는 것이 바람직하다.

본 발명에 의하면, CCTV의 영상으로부터 오브젝트에 관한 분류 및 정보, 오브젝트의 속도 및 방향 들을 통계적 기법에 의해 신뢰성 있게 파악하는 것이 가능하며, 또한 유도 루프나 레이저의 설치가 필요없는 효과가 있다.

도 1은 본 발명 일 실시예 시스템의 구성을 나타낸 도.
도 2는 본 발명 일 실시예 프레임 이미지를 나타낸 도.
도 3은 오브젝트를 인식하는 것을 설명하기 위한 도.

이하, 본 발명에 대하여 그 실시예에 따라 도면을 참조하여 보다 상세하게 설명한다.

도 1과 같이, 영상을 촬영하여 송출하는 CCTV와, 영상분석 컨트롤러로 이루어진다.

영상분석 컨트롤러는 상기 CCTV로부터 수신한 영상을 프레임별로 분석하는 영상분석부와; 상기 영상분석부로부터 수신된 결과를 통계적으로 분석하는 통계분석부와; 상기 영상분석부 및 통계분석부로부터 분석된 결과를 표시하는 디스플레이부와; 영상분석부 및 통계분석부로부터 분석된 결과를 저장하는 데이터베이스부를 포함하여 이루어진다.

본 출원서에서 영상이라 함은 동영상을 뜻하는 것이며 아날로그 영상일 수도 있고, 디지털 영상일 수도 있다. 영상은 프레임으로 구분되는 여러 이미지가 모여 형성되는 것이다. 또한 이미지는 정지된 장면을 나타내는 사진과 같은 것이다.

본 실시예에 사용되는 CCTV는 아날로그 방식 또는 디지털 방식 중 어떠한 것을 사용해도 무방하다. 단 아날로그 방식인 경우에는 영상을 송신하기 위해 아날로그 영상을 디지털 영상으로 변환하는 변환기를 사용하는 것이 필요하다.

통상 도로상의 구조물에 설치되는 CCTV의 해상도가 2~3메가 픽셀인 경우 2차선 도로를 촬영할 수 있으며, 5메가 픽셀의 경우 3차선 도로를, 8메가 픽셀의 경우 4차선 도로를 영상으로 촬영하는 것이 가능하다.

이와 같은 CCTV의 영상은 RTSP(Ral Time Streaming Protocol)에 따라 실시간으로 송출되는 것이 바람직하다.

디지털 영상은 인터넷이나 내부 전산망을 통하여 영상분석부로 송출되며, 이를 수신한 영상분석부는 영상을 프레임 별 이미지로 나누어 분석한다.

종래 기술에서는 이러한 영상의 분석은 마지막 사진 또는 영상 중 2~3 프레임을 추출하여 분석하였다. 그러나 이러한 종래의 분석시스템은 눈이나 비가 올 때, 또는 훼손되거나 불법으로 필름을 부착한 번호판을 식별하여야 할 때, 차량번호의 인식이 어려운 문제점이 있었다.

본 실시예의 영상 분석부는 다음과 같은 과정을 통해 차량번호의 정보를 인식하게 된다.

먼저 영상분석부는 후술할 데이터베이스부에 저장되어 있는 CCTV의 기본 이미지에 대한 정보를 활용하여 영상을 분석하게 된다.

데이터베이스부에는 CCTV의 설치 위치 뿐 만 아니라, CCTV에서 얻어진 이미지의 픽셀간 거리와 실제 도로상 실제거리에 대한 지점과의 상관관계, 그리고 차량이나 행인과 같은 별도의 오브젝트가 없는 상태에서의 기본 이미지 등이 저장되어 있다.

CCTV에서 얻어진 이미지의 픽셀간 거리와 실제 도로상 실제거리에 대한 상관관계는 예를 들어 도 1에서 A,B 영역을 나타내는 사각형의 가로 세로의 길이와 도로상의 실제 길이의 상관관계를 뜻하는 것이다. A 영역의 이미지에서 10개의 픽셀로 이루어진 직선이 5cm를 나타낸다면, B영역의 10개의 픽셀이 이루는 직선은 1cm를 이루게 될 것이며, 이러한 상관관계는 이미지 내에서 비례적인 것으로 ,이미지의 임의 영역에서의 오브젝트의 크기를 계산하는 것이 가능하다.

영상분석부는 도 3과 같이 입력되는 영상을 상기 기본 이미지와 대비하여, 차이가 나는 픽셀들을 오브젝트로 정의하며 경계를 추출하게 된다.

추출된 경계선과 상기 위치 관계 정보에 의해 이미지 내 오브젝트의 크기를 계산할 수 있다. 계산된 오브젝트의 크기에 따라 차량의 종류, 즉 대형트럭이나 버스, 중소형 트럭이나 승합차, 승용차 등으로 구분이 가능하게 된다. 물론 행인도 구분이 가능하지만 오토바이와 같은 이륜차의 크기와 구분이 불가능한 경우가 생길 수 있어, 이 점에 대해서는 이후 설명하기로 한다.

앞서 설명한 바와 같이 오브젝트의 크기에 따라 차종이 결정되면 차량번호를 인식하여야 한다. 차량번호판의 위치는 차량의 정중앙 그리고 지면으로부터 12cm 이상의 높이에 부착하도록 법률에 정해져 있으므로, 오브젝트로부터 차량번호판의 위치를 추출해내는 것이 가능하다. 또는 오브젝트의 화상을 분석하여 차량번호판의 형태 및 숫자로 인식되는 영역을 차량번호판으로 인식하는 것도 가능하다.

차량번호판을 인식하게 되면, 그 차량번호판의 색상에 따라 차량이 영업용인지, 자가용인지 등등을 구분할 수 있을 뿐만 아니라, 차량번호판에 기재된 문자(숫자 포함)를 인식하게 된다.

이와 같은 숫자 및 문자의 인식률은 매우 높을 것이 요구되는데, 앞서 설명한 바와 같이 종래 기술에서는 인식률을 낮게 하는 여러 가지 요인이 존재하며 또한 분석하는 영상의 프레임 수가 절대적으로 부족하기 때문에 신뢰성이 낮은 문제점이 있다.

본 발명에서는 오브젝트가 차량으로 인식되는 시점부터 영상의 프레임별 이미지를 분석하여 번호판의 위치를 산출하고 문자로 인식하는 것을 시작하여, 정해진 종료 조건까지 계속해서 영상을 이루는 프레임 이미지들에서 차량번호를 인식한다.

각 프레임 이미지 별로 인식된 차량번호는 영상의 프레임 수 만큼 발생하게 되는데, 통계분석부는 이를 통계적으로 처리하여 가장 신뢰성 있는 것으로 차량번호를 결정하게 된다. 예를 들어 통계분석부는 가장 빈도가 크게 파악된 차량번호를 오브젝트의 차량번호로 결정할 수 있다. 또한 통계분석부는 인식되는 차량번호의 산포를 분석하여 그 신뢰도가 충분한 경우 차량번호 인식을 위한 영상분석을 중지시킬 수 있다. 영상분석부는 일정 시간 동안의 영상만으로 차량번호 인식을 위한 영상분석을 행할 수도 있다.

이에 따라 훼손되거나 불법으로 필름을 부착한 번호판에서도 매우 높은 신뢰도로 차량번호의 인식이 가능하다.

이와 같이 차량번호가 결정되면 그 차량번호가 나타난 프레임 이미지를 차량번호와 함께 데이터베이스부에 저장된다.

또한, 오브젝트가 이동하면 이미지 내의 위치도 변동되게 된다. 이때 프레임의 생성시간과 이미지 내에서의 오브젝트 위치를 파악하면 오브젝트의 속도와 이동방향을 알 수 있다. 오토바이와 행인의 구별은 오브젝트의 속도 및/또는 오브젝트의 위치(도로 또는 인도)에 따라 결정될 수 있다.

예를 들어 60 km/h 의 속도로 달리는 자동차를 측정하면, 자동차는 1초에 약 16.67m를 달리게 되며, 1초 동안 30 프레임의 이미지를 촬영하는 30 fps(frames per sec)의 영상의 경우, 오브젝트(자동차)는 프레임당 0.5m를 전진하는 것으로 파악되며 이미지 내의 오브젝트 위치에 따라 그 측정 정밀도가 달라질 수 있다. 측정 정밀도를 높이기 위해서는 프레임의 시간을 보다 정밀하게 측정하거나, 분석하는 프레임의 간격을 넓게 하여 속도를 계산하거나, 프레임 간의 다수의 속도로 측정한 후 통계분석부에 의해 통계적 기법으로 처리하는 것으로 속도의 정밀도를 높일 수 있다.

또한, 오브젝트의 종류에 따라 승용차는 승용차의 길이에 3미터를 더한 거리, 승합차는 승합차의 길이에 4미터를 더한 거리, 대형트럭은 트럭의 길이에 6미터를 더한 거리를 이동하였을 때의 프레임별 시간을 측정하여 속도를 계산하는 것도 속도의 신뢰도를 높일 수 있다.

오브젝트의 이동이 일정시간 없는 경우에는 속도 계산을 위한 단계는 종료시킨다.

차량번호의 인식이나 속도 계산은 영상내 동일한 프레임 구간에서 이루어질 수도 있고, 별개로 이루어지는 것도 무방하다.

상기와 같이 영상분석부 및 통계분석부에 의해 파악된 차량의 번호판 색상, 차량번호, 속도, 진행방향 등에 대한 정보는 이미지와 함께 데이터베이스부에 저장된다.

이와 같은 분석을 위해 데이터베이스부에는 기본 이미지 뿐만 아니라, 이미지 내의 위치 및 픽셀수에 따라 오브젝트의 크기나 길이를 계산하기 위한 상관계수, 오브젝트의 크기 및 속도에 따라 오브젝트가 차량/행인/이륜차인지를 식별할 수 있는 기준값, 오브젝트가 차량인 경우 차량의 종류를 구분하는 기준값등이 저장되어 있는 것이 바람직한데, 영상분석부 자체의 초기값으로 미리 입력되어 사용될 수도 있다.

또한, 관제실 등의 모니터에 이와 같은 분석결과를 표시할 수 있도록 디스플레이부가 더 구비되며, 디스플레이부에는 현재 분석결과가 영상으로 표시되는 것이 바람직하다.

Claims (5)

1. 영상을 촬영하여 송출하는 CCTV와;
   영상을 분석하기 위한 영상분석 컨트롤러로 이루어지며;
   
   상기 영상분석 컨트롤러는,
   상기 CCTV로부터 수신한 영상의 각 프레임에서 얻어지는 이미지들로부터 오브젝트를 추출하고, 오브젝트를 식별하고, 오브젝트 내의 정보를 인식하며, 이미지의 픽셀간 거리와 도로 상의 실제 거리의 상관관계로부터 오브젝트의 이동에 따른 속도 및 방향을 분석하며,
   오브젝트 중 승용차는 승용차의 길이에 3미터를 더한 거리, 승합차는 승합차의 길이에 4미터를 더한 거리, 대형트럭은 트럭의 길이에 6미터를 더한 거리를 이동하였을 때의 프레임별 시간을 측정하여 속도를 계산하는 영상분석부와;
   
   상기 영상분석부로부터 수신된 결과를 통계적으로 분석하는 통계분석부와;
   상기 영상분석부 및 통계분석부로부터 분석된 결과를 표시하는 디스플레이부와;
   영상분석부 및 통계분석부로부터 분석된 결과를 저장하는 데이터베이스부를 포함하여 이루어진 것을 특징으로 하는 CCTV 영상을 활용한 3차원 영상분석 시스템.
   
   
2. 삭제
3. 제 1 항에 있어서,
   상기 통계분석부는 영상분석부에서 프레임별로 얻어지는 정보 중 가장 빈도가 높은 정보를 선택하는 것을 특징으로 하는 CCTV 영상을 활용한 3차원 영상분석 시스템.
   
4. 제 1 항에 있어서,
   상기 데이터베이스부에는 상기 통계분석부에서 선택된 정보에 속하는 프레임의 이미지를 함께 저장하는 것을 특징으로 하는 CCTV 영상을 활용한 3차원 영상분석 시스템.
   
5. 제 4 항에 있어서,
   상기 데이터베이스부는 CCTV설치위치, 설치된 위치의 기본 이미지, 이미지 내 위치 및 픽셀수에 따라 오브젝트의 크기나 길이를 계산하기 위한 상관계수, 오브젝트의 크기 및 속도에 따라 오브젝트가 차량/행인/이륜차인지를 식별할 수 있는 기준값, 오브젝트가 차량인 경우 차량의 크기에 따른 등급을 결정하는 기준값을 포함하는 초기설정치가 더 저장되어 있는 것을 특징으로 하는 CCTV 영상을 활용한 3차원 영상분석 시스템.

Images