KR102141781B1

KR102141781B1 - 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법

Info

Publication number: KR102141781B1
Application number: KR1020200041632A
Authority: KR
Inventors: 김태경; 김수경
Original assignee: 주식회사 넥스파시스템
Priority date: 2020-04-06
Filing date: 2020-04-06
Publication date: 2020-08-06

Abstract

본 발명은 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법에 관한 것으로, 검출결과에서 객체 특징정보를 추출 후 객체로 식별된 데이터를 저장하고 다시 일정 시간 또는 다른 환경(Field of View) 상태에서 유사 객체를 식별 혹은 재식별을 위한 장치 및 방법에 관한 것이다.

Description

지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법 {Object Re-IdentificatioApparatus Using Locally Matching Method and Its Method}

오늘날 공공안전과 시설물 및 개인의 안전으로부터 위협받거나 생활의 편의를 도모하기 위한 이유로 지역, 도심, 고속도로를 포함하는 도로 등의 곳곳에 CCTV(closed circuit television)가 설치되어 있고, 현재도 유지보수 및 신규로 설치가 진행되고 있다. 이러한 배경들은 IT기술의 지속적인 발전에 따른 기능을 유연하게 수용하며 미래 환경변화에 대응할 수 있는 차세대 무인교통(단속)장비 및 CCTV 지능형 영상솔루션들의 객체 검출과 행동분석을 통한 감시 및 재난, 재해 방지 등의 역할로 발전하게 되었다.

또 다른 분야에서는 자율주행시스템 기술의 발전으로 전 세계에 다양한 연구가 진행 중이다.

자율주행시스템은 기존 자동차에 ICT 기술을 도입하여 스스로 주행환경을 인식, 위험 판단, 경로를 계획하는 등 운전자 조작을 최소화하여 운행하는 기술을 말한다.

이러한 안전과 기술의 개발로 인해 전 세계적으로 선진 국가를 중심으로 교통에 대한 관심을 갖고 교통감시라는 새로운 ICT 기술을 접목해 나가고 있다. 이는 차량의 첨단화되고, 이동통신기술의 발달과 함께 정보 수집과 제공 서비스가 빠르게 발전하고 있으며, 특히 스마트폰의 확산은 이동하는 차량에서 교통정보를 손쉽게 수집하거나 제공하는 환경으로 형성이 되었다.

그 결과 지능형 차량이라고 불리는 환경에서 스스로 주변상황을 감지하여 운전자에게 충돌사고 위험을 미리 알려주는 기능까지 갖추게 된 시대를 맞이하고 있다.

하지만 기술의 발전이 거듭할 수 있도록 자동차의 기술이 발전되고, 이동통신이나 사회적 안전에 대한 불안감은 해소가 될 수 있으나, 도로 환경과 밀접한 주거공간의 환경에 따른 교통체증의 대응문제만큼은 도로 인프라가 개선되어야 하고, 도로의 상태와 환경이 향후 개발되는 스마트 자동차와의 정보 교환을 통한 상호접속 기능이 갖춰야 만 교통흐름과 체계에서 쌍방향성 또는 능동형 체계를 새롭게 변화를 시킬 수 있을 것이다.

이러한 변화들 속에서 상황인식이나 주변환경들의 감시하기 위한 기술들이 카메라 센서에서 컴퓨터 비전 기술들을 활용하고 있고, 자동차나 보행자와 객체(물체)인식 및 장애물 회피, 알람, 이벤트(로그)처리, 차선, 표지판, 주정차 차량, 갓길이나 도로 주변의 고정된 형태의 물체감시 등을 지속적으로 다양한 연구가 활발하게 진행되고 있다.

그럼에도 불구하고 여전히 도로환경의 실시간으로 반영되기에는 설치된 시설물 관리와 감독 그리고 경제적인 혜택을 누리기 위한 자동차의 수요 증가 등이 교통 흐름에서 해결해야 할 문제점으로 대두된다.

또한, 우리나라의 교통정체로 인한 사회적 비용을 조사하는 기관마다, 또는 대입하는 요소에 따라 조금씩 달라지지만 대체로 30조원에서 35조원 정도라고 예측하고 있고, 교통사고로 인한 지정체가 포함되는 것이 보통이어서 교통사고는 사고 당사자에만 피해를 입히는 것이 아니라는 점도 주목할만한 시사점이다. 이러한 사회적 비용이 큰 이유는 자동차 등록대수가 2천344만대로 인구 2.2명당 1대를 보유한 것으로 나타났으며, 국토교통부 자동차관리정보시스템(VMIS)을 보면 2019년 6월달 말 기준으로 우리나라 자동차 누적 등록대수가 이같이 집계돼 지난해 말에 비해 1% 증가한 것으로 파악되었다. 이로 인한 교통흐름에 대한 문제가 사회적 비용을 높이게 되고, 교통혼잡도를 높이는 계기가 된다.

대한민국 특허청 등록번호 제10-1565978호

본 발명은 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법을 사용자에게 제공하고자 한다.

구체적으로 본 발명은 전술한 문제점을 해소하기 위해, 교통 흐름의 체계와 사회적 비용 및 혼잡도를 개선하기 위한 단속시스템에 필요 시 되는 자동차(차량) 검지기술을 바탕으로 이를 관리 및 감독하기 위한 시스템 내의 요소기술을 개발 및 서비스에 제공하는 한편, 교통흐름을 실시간으로 관리 및 감독하기에는 교통과 관련된 시스템들이 저변확대가 되어야 하고 신뢰성 높은 기술의 성능을 확보하여 사용자에게 제공하고자 한다.

즉, 본 발명에서는, 검출결과에서 객체 특징정보를 추출 후 객체로 식별된 데이터를 저장하고 다시 일정 시간 또는 다른 환경(Field of View) 상태에서 유사 객체를 식별 혹은 재식별을 위한 장치 및 방법을 사용자에게 제공하고자 한다.

또한, 본 발명에서는 기존의 SSD와 DSSD의 구조내에서 레이어 구조간의 설계방법을 제시하고 이를 활용하여 객체검출로 활용하였고, 동일한 객체 식별을 위해서는 정의가 필요시 된다. 객체 정의는 객체가 갖는 특징분석의 변화로 관측이 되고, 색상, 크기, 위치, 그리고 특징점들의 분포에 따라 매칭결과를 얻고자 한다.

또한, 본 발명에서는 객체가 차량일 경우 고유정보로 활용될 수 있는 부분이 번호인식이므로 이를 검출방법 결과에서 특징정보와 함께 사용될 경우 보다 정확한 식별이 가능하고 1-2회 동일한 식별방법에서도 정확도가 크게 개선될 수 있으며 부정확한 결과를 갖더라도 제안하는 매칭 방법으로 해결하고자 한다.

또한, 본 발명에서는 식별이 되지 않은 데이터에 대해서는 선택적 식별을 통해서 재확인이 가능하도록 설정하고, 이로써 동일한 객체 재식별을 위한 방법이 기존의 동일객체 판단을 위한 정확도를 향상시키고자 한다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 지역적 매칭을 이용한 객체 재식별 방법에 있어서, 카메라를 통해 제 1 영상을 획득하는 제 1-1 단계; 제어부가 상기 제 1 영상 내에 존재하는 제 1 객체를 검출하는 제 1-2 단계; 상기 제어부가 상기 제 1 영상 내에서 상기 제 1 객체가 존재하는 제 1 영역에 대해 번호 인식을 시도하는 제 1-3 단계; 상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생된 경우, 상기 제어부가 상기 제 1 영역의 특징정보를 추출하는 제 1-4 단계; 메모리가 상기 제 1 영역의 특징정보 및 상기 제 1 영상 내의 상기 제 1 객체와 관련된 제 1 추가정보를 함께 저장하는 제 1-5 단계; 미리 지정된 시간이 경과한 이후, 상기 카메라를 통해 제 2 영상을 획득하는 제 2-1 단계; 상기 제어부가 상기 제 2 영상 내에 존재하는 상기 제 2 객체를 검출하는 제 2-2 단계; 상기 제어부가 상기 제 2 영상 내에서 상기 제 2 객체가 존재하는 제 2 영역에 대해 번호 인식을 시도하는 제 2-3 단계; 상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생된 경우, 상기 제어부가 상기 제 2 영역의 특징정보를 추출하는 제 2-4 단계; 상기 메모리가 상기 제 2 영역의 특징정보 및 상기 제 2 영상 내의 상기 제 2 객체와 관련된 제 2 추가정보를 함께 저장하는 제 2- 5 단계; 상기 제어부가 상기 제 1 영역의 특징정보, 상기 제 1 추가정보, 상기 제 2 영역의 특징정보 및 상기 제 2 추가정보를 이용하여, 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인지 여부를 판단하는 제 3-1 단계; 및 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인 경우, 상기 제어부가 상기 제 1 영역과 상기 제 2 영역에 대해 번호 인식을 시도한 결과를 함께 이용하여 상기 제 1 객체의 번호를 인식하는 제 3-2 단계; 를 포함할 수 있다.

또한, 상기 제 1-4 단계 또는 상기 제 2-4 단계는, 상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생되는 단계; 상기 제어부가 복수의 서브 블록으로 구성된 매크로 블록을 이용하여, 상기 제 1 영역 또는 상기 제 2 영역을 하나의 그리드(grid)로 설정하는 단계; 및 상기 제어부가 상기 그리드 상의 중심점을 기준으로 대칭 형태 구조를 생성하고, 상기 대칭 형태 구조 및 중심라인을 기준으로 상기 복수의 서브 블록 중 상기 제 1 영역 또는 상기 제 2 영역을 식별할 수 있는 제 1 서브 블록 또는 제 2 서브 블록을 상기 제 1 영역 또는 상기 제 2 영역의 특징정보로 추출하는 단계; 를 포함할 수 있다.

또한, 상기 제 3-1 단계에서, 상기 제어부는, 상기 제 1 서브 블록의 그레디언트(gradient) 성분 변화와 상기 제 2 서브 블록의 그레디언트 성분 변화를 이용하여 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인지 여부를 판단할 수 있다.

또한, 상기 제 1 추가정보 및 상기 제 2 추가정보는, 상기 제 1 객체 또는 상기 제 2 객체와 관련된 색상정보, 위치정보 및 좌표정보를 포함할 수 있다.

또한, 상기 제 1 영역의 특징정보, 상기 제 1 추가정보, 상기 제 2 영역의 특징정보 및 상기 제 2 추가정보는, 미리 지정된 메타데이터 구조에 따른 형식으로 상기 메모리에 저장되고, 상기 상기 제 1 추가정보 및 상기 제 2 추가정보는, 상기 미리 지정된 메타데이터 구조 상의 영상프레임 정보, 영역좌표 정보, GPS 좌표 정보, 색상 정보, 날짜 정보, 시간 정보 및 상기 제 1 객체 또는 상기 제 2 객체의 배경과 관련된 정보를 포함할 수 있다.

또한, 상기 제 1-2 단계의 상기 제 1 객체의 검출 및 상기 제 2-2 단계의 상기 제 2 객체의 검출은, DSS(Single Shot Detector), DSSD(Deconvolution Single Shot Detector), E-DSSD(Enhanced Deconvolution Single Shot Detector), YOLO v3 및 Fast-RCNN 중 적어도 하나를 기초로 한 객체인식 방법에 의해 수행될 수 있다.

한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 카메라, 제어부 및 제어부를 포함하는 지역적 매칭을 이용한 객체 재식별 장치에 있어서, 상기 카메라는, 제 1 영상을 획득하고, 상기 제어부는, 상기 제 1 영상 내에 존재하는 제 1 객체를 검출하고, 상기 제 1 영상 내에서 상기 제 1 객체가 존재하는 제 1 영역에 대해 번호 인식을 시도하며, 상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생된 경우, 상기 제 1 영역의 특징정보를 추출하고, 메모리는, 상기 제 1 영역의 특징정보 및 상기 제 1 영상 내의 상기 제 1 객체와 관련된 제 1 추가정보를 함께 저장하며, 미리 지정된 시간이 경과한 이후, 상기 카메라는 통해 제 2 영상을 획득하고, 상기 제어부는, 상기 제 2 영상 내에 존재하는 상기 제 2 객체를 검출하고, 상기 제 2 영상 내에서 상기 제 2 객체가 존재하는 제 2 영역에 대해 번호 인식을 시도하며, 상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생된 경우, 상기 제 2 영역의 특징정보를 추출하고, 상기 메모리는, 상기 제 2 영역의 특징정보 및 상기 제 2 영상 내의 상기 제 2 객체와 관련된 제 2 추가정보를 함께 저장하며, 상기 제어부는, 상기 제 1 영역의 특징정보, 상기 제 1 추가정보, 상기 제 2 영역의 특징정보 및 상기 제 2 추가정보를 이용하여, 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인지 여부를 판단하고, 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인 경우, 상기 제어부는, 상기 제 1 영역과 상기 제 2 영역에 대해 번호 인식을 시도한 결과를 함께 이용하여 상기 제 1 객체의 번호를 인식할 수 있다.

또한, 상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생되는 경우, 상기 제어부는, 복수의 서브 블록으로 구성된 매크로 블록을 이용하여, 상기 제 1 영역 또는 상기 제 2 영역을 하나의 그리드(grid)로 설정하고, 상기 그리드 상의 중심점을 기준으로 대칭 형태 구조를 생성하고, 상기 대칭 형태 구조 및 중심라인을 기준으로 상기 복수의 서브 블록 중 상기 제 1 영역 또는 상기 제 2 영역을 식별할 수 있는 제 1 서브 블록 또는 제 2 서브 블록을 상기 제 1 영역 또는 상기 제 2 영역의 특징정보로 추출할 수 있다.

또한, 상기 제어부는, 상기 제 1 서브 블록의 그레디언트(gradient) 성분 변화와 상기 제 2 서브 블록의 그레디언트 성분 변화를 이용하여 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인지 여부를 판단할 수 있다.

또한, 상기 제 1 객체의 검출 및 상기 제 2 객체의 검출은, DSS(Single Shot Detector), DSSD(Deconvolution Single Shot Detector), E-DSSD(Enhanced Deconvolution Single Shot Detector), YOLO v3 및 Fast-RCNN 중 적어도 하나를 기초로 한 객체인식 방법에 의해 수행될 수 있다.

본 발명은 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법을 사용자에게 제공할 수 있다.

구체적으로 본 발명은 전술한 문제점을 해소하기 위해, 교통 흐름의 체계와 사회적 비용 및 혼잡도를 개선하기 위한 단속시스템에 필요 시 되는 자동차(차량) 검지기술을 바탕으로 이를 관리 및 감독하기 위한 시스템 내의 요소기술을 개발 및 서비스에 제공하는 한편, 교통흐름을 실시간으로 관리 및 감독하기에는 교통과 관련된 시스템들이 저변확대가 되어야 하고 신뢰성 높은 기술의 성능을 확보하여 사용자에게 제공할 수 있다.

즉, 본 발명에서는, 검출결과에서 객체 특징정보를 추출 후 객체로 식별된 데이터를 저장하고 다시 일정 시간 또는 다른 환경(Field of View) 상태에서 유사 객체를 식별 혹은 재식별을 위한 장치 및 방법을 사용자에게 제공할 수 있다.

또한, 본 발명에서는 기존의 SSD와 DSSD의 구조내에서 레이어 구조간의 설계방법을 제시하고 이를 활용하여 객체검출로 활용하였고, 동일한 객체 식별을 위해서는 정의가 필요시 된다. 객체 정의는 객체가 갖는 특징분석의 변화로 관측이 되고, 색상, 크기, 위치, 그리고 특징점들의 분포에 따라 매칭결과를 제공할 수 있다.

또한, 본 발명에서는 객체가 차량일 경우 고유정보로 활용될 수 있는 부분이 번호인식이므로 이를 검출방법 결과에서 특징정보와 함께 사용될 경우 보다 정확한 식별이 가능하고 1-2회 동일한 식별방법에서도 정확도가 크게 개선될 수 있으며 부정확한 결과를 갖더라도 제안하는 매칭 방법으로 해결할 수 있다.

또한, 본 발명에서는 식별이 되지 않은 데이터에 대해서는 선택적 식별을 통해서 재확인이 가능하도록 설정하고, 이로써 동일한 객체 재식별을 위한 방법이 기존의 동일객체 판단을 위한 정확도를 향상시킬 수 있다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 적용될 수 있는 불법 주정차 단속 시스템의 블록 구성도의 일례를 나타낸 것이다.
도 2는 본 발명에 적용될 수 있는 제어부의 블록 구성도의 일례를 나타낸다.
도 3은 본 발명이 제안하는 검출 영역내의 분할(Grid) 계산방법의 순서도를 도시한 것이다.
도 4는 본 발명이 제안하는 검출 영역내의 분할 설정방법과 관련하여, 분할(Grid) 영역내의 매크로 블록을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 분할(Grid) 영역에서 매크로 블록 구조내의 설정 구조의 일례를 도시한 것이다.
도 6은 본 발명과 관련하여, 검출된 객체로부터 생성된 그리드와 매크로 블록 설정 및 위치의 구체적인 일례를 도시한 것이다.
도 7은 본 발명과 관련하여, 지역적 매칭 방법을 이용한 차량 재-식별 시스템 흐름도를 도시한 것이다.
도 8은 본 발명과 관련하여, 개선된 E-DSSD 구조의 일례를 도시한 것이다.
도 9는 본 발명과 관련하여, 특징점의 위치로부터 특징벡터를 검출한 구체적인 일례를 도시한 것이다.
도 10은 본 발명의 실험결과와 관련하여 입력데이터를 도시한 것이고, 도 11은 도 10에서의 1-2차 검출결과를 도시한 것이다.
도 12는 본 발명에 적용되는 메타데이터 구조적 정의를 표로 정리한 것이다.
도 13은 본 발명과 관련하여, 검출결과로부터 특징을 매칭한 구체적인 결과를 도시한 것이다.

단속 시스템

이하, 도면을 참조하여 본 발명의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 일 실시례는 청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.

종래에는 불법 주정차 차량으로 인한 교통 정체와 혼잡을 방지하고자 주정차 금지구역에 감시 카메라를 설치하여 불법 주정차 차량을 단속하였다.

그러나, 주정차 금지구역 주변에 존재하는 차량 이외의 물체가 검지 카메라에 의하여 촬영된 영상에 포함되어 차량이 아닌 물체가 검지되는 오검지의 문제가 빈번하게 발생할 수 있다는 문제점이 있었다. 또한, 검지 카메라로부터 멀리 떨어진 곳에 주정차된 차량의 경우 단속이 어렵다는 문제점도 있었다.

이하에서는, 본 발명이 제안하는 단속 시스템을 구체적으로 설명한다.

도 1은 본 발명에 적용될 수 있는 단속 시스템의 블록 구성도의 일례를 나타낸 것이다.

상기 단속 시스템(10)은 카메라 모듈(100), 출력부(200), 통신부(300), 메모리(400), 인터페이스부(500), 전원공급부(600), 제어부(700) 등을 포함할 수 있다.

단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 단속 시스템이 구현될 수도 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

카메라 모듈(100)은 주정차 금지구역을 촬영하여 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 카메라 모듈(100)에서 처리된 화상 프레임은 메모리(400)에 저장되거나 통신부(300)를 통하여 외부로 전송될 수 있다. 처리된 화상 프레임은 디스플레이부(210)에 표시될 수도 있다.

이때, 카메라 모듈(100)에 사용되는 카메라는 사용 환경에 따라 2개 이상이 구비될 수 있다.

일례로, 카메라 모듈(100)은 검지 카메라(110)와 단속 카메라(120) 등을 포함할 수 있다. 다만, 본 발명은 이러한 구성으로 한정되는 것은 아니며, 다른 촬영수단을 구비하는 구성도 포함될 수 있다.

검지 카메라(110)는 주정차 금지구역을 촬영하며, 이렇게 촬영된 검지영상을 이용하여 주정차 금지구역 내로 차량이 진입하는지 여부를 검지할 수 있다.

상기 검지 카메라(110)는 어안렌즈(Fisheye Lens)가 장착된 카메라를 사용하여 구현될 수도 있다. 넓은 화각을 갖는 어안렌즈를 사용하는 경우에는 검지 카메라(110)를 중심으로 전방위(360˚) 영역의 영상을 촬영하여 검지영상으로 활용할 수 있다.

다만, 상기 검지 카메라(110)가 설치되어 있더라도 주정차 금지구역의 특정 지점을 확대하여 볼 수 있는 것은 아니므로 팬, 틸트, 줌 동작을 수행할 수 있는 단속 카메라(120)가 필요하다.

단속 카메라(120)는 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 주정차 금지구역 내에 불법으로 주정차하고 있는 차량의 번호판을 촬영할 수 있다. 이러한 단속 카메라(120)는 바람직하게는 LPR(License Plate Recognition) 카메라를 사용할 수 있다.

LPR 카메라는 x축, y축, z축 방향으로 각각 틸팅할 수 있는 틸팅장치를 구비하고 있으며, 이러한 구성은 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 용이한 사항이므로 구체적인 설명을 생략하기로 한다. 이와 같은 LPR 카메라는 지정된 x, y 좌표로 카메라를 회전시켜 차량에 대해 줌인(zoom-in) 영상 또는 줌아웃(zoom-out) 영상을 촬영할 수 있는 구성을 갖고 있다.

한편, 출력부(200)는 시각 또는 청각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(210), 경고부(220) 등이 포함될 수 있다.

디스플레이부(210)는 단속 시스템(10)에서 처리되는 정보를 표시(출력)할 수 있다. 예를 들어, 단속 시스템(10)과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 카메라 모듈(100)에서 촬영된 정지영상이나 동영상, 통신부(300)를 통하여 송/수신된 영상, UI, GUI 등을 표시할 수 있다.

또한, 디스플레이부(210)는 야간이나 어두운 공간에서 불법으로 주정차한 차량을 단속하거나 단속 시스템(10)을 방범용으로 사용하는 경우 방범영역을 단속하기 위한 조명등으로 이용될 수도 있다.

상기 디스플레이부(210)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(ThiFilm Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.

경고부(220)는 단속 시스템(10)의 이벤트 발생을 알리기 위한 신호를 출력한다. 단속 시스템(10)에서 발생 되는 이벤트의 예로는 주정차 금지구역에 차량의 불법 주정차 등이 있다.

경고부(220)는 오디오 신호나 비디오 신호 이외에 다른 형태, 예를 들어 경고 안내 문서 등을 출력할 수도 있으며, 이 경우 경고 안내 문서를 출력하기 위한 프린터가 연결될 수 있다.

상기 비디오 신호는 디스플레이부(210)를 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(210)는 경고부(220)의 일종으로 분류될 수도 있다.

한편, 통신부(300)는 단속 시스템(10)과 유/무선 통신 시스템 사이 또는 단속 시스템(10)과 단속 시스템(10)이 위치한 네트워크 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(300)는 유/무선 인터넷 모듈(310), 근거리 통신 모듈(320) 및 위치정보 모듈(330) 등을 포함할 수 있다.

유/무선 인터넷 모듈(310)은 유/무선 인터넷 접속을 위한 모듈을 말하는 것으로, 불법 주정차 시스템에 내장되거나 외장될 수 있다.

상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), WCDMA(Wideband Code DivisioMultiple Access), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등이 이용될 수 있다.

근거리 통신 모듈(320)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

위치 정보 모듈(330)은 불법 주정차 시스템(10)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global PositioSystem) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.

한편, 메모리(400)는 제어부(700)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 정지영상, 동영상 등의 특징벡터 정보)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(400)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 특징벡터 정보에 대한 사용빈도)도 함께 저장될 수 있다.

상기와 같은 메모리(400)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 단속 시스템(10)은 인터넷(internet) 상에서 상기 메모리(400)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

한편, 인터페이스부(500)는 단속 시스템(10)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(500)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단속 시스템(10) 내부의 각 구성 요소에 전달하거나, 단속 시스템(10) 내부의 데이터가 외부 기기로 전송되도록 한다.

예를 들어, 카메라 모듈(100)로 촬영된 이미지 또는 영상을 외부로 연결하는 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트 등이 인터페이스부(500)에 포함될 수 있다.

한편, 전원공급부(600)는 제어부(700)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

한편, 제어부(controller)(700)는 통상적으로 단속 시스템(10)의 전반적인 동작을 제어한다. 예를 들어 영상 촬영, 불법 주정차 차량 검지, 단속자료 생성 등을 위한 관련된 제어 및 처리를 수행한다.

예를 들어, 제어부(700)는 검지 카메라(110)가 촬영한 영상을 수신받으며, 주정차 금지구역에 차량이 주정차를 하는 경우 상기 차량을 단속할지 여부를 판단할 수 있다. 또한, 제어부(700)는 주정차 금지구역의 조도가 불균일한 경우, 조도를 검지하여 밝은 영역을 향하는 디스플레이부(210)의 투광 세기는 약하게 조절하고, 어두운 영역을 향하는 디스플레이부(210)의 투광 세기는 강하게 조절할 수 있다.

여기에 설명되는 다양한 실시례는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시례는 ASICs (ApplicatioSpecific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시례들이 제어부(700) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시례들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰인 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(400)에 저장되고, 제어부(700)에 의해 실행될 수 있다.

한편, 도 2는 본 발명에 적용될 수 있는 제어부의 블록 구성도의 일례를 나타낸다.

도 2에 도시된 것과 같이, 발명의 일례에 적용될 수 있는 제어부(700)는 차량 인식수단(710), 불법 주정차 판단수단(720), 번호판 인식수단(730), 필터링 수단(740), 카메라 제어수단(750), 메모리 제어수단(760) 등이 포함될 수 있다. 단, 제어부(700)의 구성이 이에 한정되는 것은 아니며, 이보다 많거나 이보다 적은 구성요소들로 구현하는 것도 가능하다.

먼저, 차량 인식수단(710)은 검지 카메라(110)가 촬영한 주정차 금지구역에 대한 검지영상을 수신받으며, 특징벡터를 이용하여 상기 검지영상으로부터 특징벡터 정보를 분석할 수 있다.

상기 특징벡터는 단속 시스템(10)의 단속 대상인 차량을 인식하기 위한 특징벡터를 추출하고 분석하는 방법으로서, SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), Adaboost, BMA(Block Matching Algorithm), HOG(Histogram of Oriented Gradients), Haar-like features 및 Gabor Wavelet(filter) 중 어느 하나를 이용할 수 있다.

여기서, SIFT 알고리즘은 영상의 특징벡터를 추출하는 대표적인 알고리즘으로서, 이미지 회전, 스케일링, 이동, 부분 조명 변화 및 투영변환(projective transform)에 불변인 특성을 지니고 있다. SIFT 알고리즘은 로컬 이미지의 특성을 고려하여 특징의 위치, 스케일 및 방향 등의 속성을 추출할 수 있다.

즉, 첫 번째 단계로, DOG(Difference-Of-Gaussian) 함수를 통해 생성한 스케일 공간에서 최대·최소(extrema)를 검색하여 샘플점(또는 후보 픽셀)을 선택한다(Scale-space extrema detection).

두 번째 단계로, 안정도(stability) 수치에 기반하여 키포인트들을 선택한다(Keypoint localization).

세 번째 단계로, 각각의 키포인트에 대하여 1 이상의 방향을 할당한다(Orientatioassignment).

마지막 단계로, 로컬 이미지 기울기(local image gradient)들을 이용하여 키포인트 기술자를 생성한다(Keypoint descriptor).

상기 SIFT 알고리즘에 관한 상세한 설명은 "Distinctive image features from scale-invariant keypoints" 논문에 자세하게 나와있다.

또한, SURF 알고리즘은 여러 개의 영상으로부터 크기, 조명, 시점 등의 환경 변화를 고려하여 환경 변화에 불변하는 특징을 찾는 알고리즘으로서, 일반적으로 성능이 우수하다고 알려진 SIFT 알고리즘과 견줄만한 성능을 보이면서 동시에 속도를 크게 향상시킨 알고리즘이다.

상기 SURF 알고리즘에 관한 상세한 설명은 "Robust Interest Point Detectioand Descriptor" 논문에 자세하게 나와있다.

또한, HOG 알고리즘은 영상 내에서 특정 물체의 외관과 형상은 기울기 크기나 모서리 방향의 분포에 의하여 결정될 수 있다는 점을 기반으로 한다.

HOG 알고리즘은 영상을 셀(cell)이라고 지칭되는 다수의 영역으로 분할하고, 각 셀마다 기울기나 모서리의 방향의 히스토그램을 작성하여 특정 물체를 인식할 수 있다.

상기 HOG 알고리즘에 관한 상세한 설명은 "Histograms of oriented gradients for humadetection" 논문에 자세하게 나와있다.

또한, Haar-like features 알고리즘은 모서리의 특징 정보를 나타내는 포로토타입과 선의 특징 정보를 나타내는 프로토타입을 이용하여 특정 물체를 인식할 수 있다. 이에 대한 자세한 설명은 "AExtended Set of Haar-like Features for Rapid Object Detection" 논문에 설명되어 있다.

또한, Gabor Wavelet(filter) 알고리즘에 관한 상세한 설명은 "Uncertainty relatiofor resolutioispace, spatial frequency, and orientatiooptimized by two-dimensional visual cortical filters."에 자세하게 나와있다.

또한, BMA 알고리즘에 관한 상세한 설명은 "Combined shape and feature-based video analysis and its applicatioto non-regid object tracking"에 자세하게 나와 있다.

이러한 특징벡터에 의하여 추출된 특징벡터 정보는 메모리(400)에 저장되어 있는 학습 데이터와 비교된다.

상기 학습 데이터는 일반적인 차량의 영상에 대한 특징벡터의 벡터성분들의 정보를 포함하고 있으므로, 차량 인식수단(710)은 검지영상에 촬영된 객체 중 차량이 있는지 판단할 수 있으며 차량에 대한 인식을 할 수 있다.

또한, 검지영상으로부터 차량을 인식하는 과정에서는 선형 최근접점 탐색이 사용될 수 있으며, 이는 비교되는 특징벡터 중 유사도가 높은 특징벡터의 개수에 따라 결정하는 방법이다. 하지만 선형 최근접점 탐색은 메모리(400)에 저장된 모든 학습 데이터와 비교하여야 하므로 연산량이 너무 많으며 계산 속도가 느릴 수 있다. 따라서, 학습 데이터에 특징벡터 정보와 관련된 색인(index)을 만들어 탐색을 고속화하는 방법이 이용될 수도 있다.

또한, 차량 인식수단(710)은 차량이 주정차 금지구역에 진입하는지 여부와 상기 차량이 주정차 금지구역에 정지한 위치를 판단할 수 있다.

이를 위하여 차량의 모션을 검지하는 모션 검지 알고리즘 또는 주정차 금지구역의 배경 영상과 차량 주차 시 영상을 대비하는 영상 검지 알고리즘이 사용될 수 있으며, 바람직하게는 더 정확한 차량 검지를 위해 두 개의 알고리즘을 모두 사용할 수 있다.

한편, 불법 주정차 판단수단(720)은 차량이 주정차 금지구역 상에 주정차하였는지 여부를 판단할 수 있다.

즉, 차량 인식수단(710)이 검지 카메라(110)가 촬영한 검지영상을 수신하여 주정차 금지구역에 있는 차량을 인식한 경우, 불법 주정차 판단수단(720)은 이 차량이 불법 주정차하였는지 여부를 판단하여 단속처리를 수행할지 여부를 결정할 수 있다.

검지영상에 차량이 인식되었다는 사정만으로 그 차량이 불법 주정차하였다고 단정할 수 없으며, 차량이 기 설정된 시간 이상 주정차 금지구역에 정지한 경우에야 비로소 그 차량이 불법 주정차를 하였다고 할 수 있다.

따라서, 통상적으로 불법 주정차 판단수단(720)은 기 설정된 시간의 간격으로 촬영된 검지영상을 이용하여 차량의 불법 주정차 여부를 판단할 수 있다.

즉, 불법 주정차 판단수단(720)은 초기에 주정차 금지구역에 차량의 존재를 인식한 경우, 기 설정된 시간이 경과한 후에 검지 카메라(110)가 다시 주정차 금지구역을 촬영하도록 제어한다. 이를 위하여 카메라 제어수단(750)이 검지 카메라(110)의 동작을 함께 제어할 수 있다.

차량 인식수단(710)은 상기 기 설정된 시간 경과 후 촬영된 검지영상을 수신하고, 다시 특징벡터를 분석하여 상기 검지영상으로부터 특징벡터 정보를 추출한다.

이렇게 추출된 특징벡터는 메모리(400)에 저장되어 있는 학습 데이터와 비교되며, 차량 인식수단(710)은 기 설정된 시간 경과 후 촬영된 검지영상에 촬영된 객체 중 차량이 있는지 판단할 수 있으며 차량에 대한 인식을 할 수 있다.

불법 주정차 판단수단(720)이 기 설정된 시간 경과 후의 검지영상에서 인식된 차량이 초기의 검지영상에서 인식된 차량과 동일하다고 판단하는 경우, 상기 차량은 불법 주정차를 한 것이라고 간주된다.

반대로, 기 설정된 시간 경과 후의 검지영상에서 인식된 차량과 초기의 검지영상에서 인식된 차량이 동일하지 않다고 판단하는 경우에는 상기 차량은 불법 주정차하지 않은 것이라고 인정되며, 다시 검지 카메라(110)를 이용하여 주정차 금지구역을 촬영하며 차량의 진입 여부를 탐색한다.

한편, 번호판 인식수단(730)은 단속 카메라(120)가 촬영한 영상을 수신하여 불법 주정차 차량의 번호판의 문자를 인식할 수 있다.

문자 인식을 위하여 우선 차량 번호판 위치의 3가지 검출방법 중 하나가 실행될 수 있다.

첫째는 촬영된 영상으로부터 수직 및 수평 가장자리 정보를 이용하여 번호판의 특징영역을 검출하는 것이다.

두 번째는 스캔 데이터 분석에 의해 차량 번호판의 위치를 검출하는 것이다.

세 번째는 숫자와 문자를 직접 검색하여 정확한 차량 번호판을 검출하는 것이다.

차량 번호판의 위치가 검출되면, 템플렛 정합에 의한 문자 인식(한글자음 + 번호), 구조적 특징에 의한 문자 인식(한글모음)을 하고, 오인식을 줄이기 위하여 내부의 인식 알고리즘은 숫자, 문자(자음, 모음) 등 특징을 상세하게 분류하여 인식된 문자를 재확인처리를 함으로써 문자 해독 시 오류를 최소화할 수 있다.

한편, 필터링 수단(740)은 검지영상에 찍힌 차량의 크기를 고려하여 단속 대상에서 제외할 것인지 여부를 결정할 수 있다.

검지 카메라(110)를 이용하여 주정차 금지구역에 대한 검지영상을 촬영하는 경우, 촬영된 검지영상에 찍힌 차량의 크기는 검지 카메라(110)로부터 실제 차량의 위치까지의 거리에 따라서 달라진다.

즉, 검지영상의 하단 부분은 단속 시스템(10)이 설치된 지주에서 가까운 공간이므로, 실제 차량이 검지 카메라(110)에 가까운 곳에 위치한다면, 검지영상에 찍힌 차량은 검지영상의 하단 부분에 위치할 것이며, 검지영상에 찍힌 차량의 크기는 크게 나타날 것이다.

반대로, 실제 차량이 검지 카메라(110)에서 먼 곳에 위치한다면, 검지영상에 찍힌 차량은 검지영상의 상단 부분에 위치할 것이며, 검지영상에 찍힌 차량의 크기는 작게 나타날 것이다.

이렇게, 필터링 수단(740)은 차량 인식수단(710)에 의하여 인식된 차량의 검지영상에서의 위치를 이용하여 검지 카메라(110)로부터 실제 차량의 위치까지의 거리를 계산할 수 있다.

또한, 필터링 수단(740)은 상기 계산된 거리를 이용하여 검지영상에서의 예상되는 차량 영상의 크기를 산출할 수 있으며, 검지영상 상의 차량 영상의 크기가 예상되는 차량 영상의 크기와 차이가 많이 난다면 이를 단속 대상에서 제외함으로써 오검지를 방지할 수 있다.

즉, 차량 인식수단(710)에 의하여 인식된 차량이 검지영상의 하단 부분에 찍혀 있어서 검지 카메라(110)로부터 가까운 곳에 있다고 계산되었는데, 검지영상 상의 차량 영상의 크기가 작게 찍혀있는 경우에는, 상기 인식된 차량은 실제로는 차량이 아니고 오검지일 가능성이 많기 때문에 이를 단속 대상에서 제외시킬 수 있다.

반대로, 차량 인식수단(710)에 의하여 인식된 차량이 검지영상의 상단 부분에 찍혀 있어서 검지 카메라(110)로부터 먼 곳에 있다고 계산되었는데, 검지영상 상의 차량 영상의 크기가 크게 찍혀있는 경우에는, 상기 인식된 차량은 실제로는 차량이 아니고 오검지일 가능성이 많기 때문에 이 또한 단속 대상에서 제외시킬 수 있다.

한편, 카메라 제어수단(750)은 카메라 모듈(100)에 속하는 검지 카메라(110)와 단속 카메라(120)의 전반적인 동작을 제어할 수 있다.

카메라 제어수단(750)은 단속 시스템(10)이 주정차 금지구역에 정지하는 차량을 단속하도록 검지 카메라(110)를 이용하여 주정차 금지구역에 대한 검지영상을 촬영하도록 제어할 수 있다.

또한, 카메라 제어수단(750)은 주정차 금지구역에 정지한 차량이 주정차 금지구역 상에 주정차한 것인지 여부를 판단할 수 있도록 기 설정된 시간 이후에 다시 주정차 금지구역에 대한 검지영상을 촬영하도록 제어할 수 있다. 이는 불법 주정차 판단수단(720)과 함께 제어될 수 있다.

또한, 카메라 제어수단(750)은 차량 인식수단(710)에 의하여 판단된 정지된 차량의 위치 정보를 수신하며, 이를 이용하여 단속 카메라(120)가 주정차 금지구역에 정지한 차량의 번호판을 촬영할 수 있도록 단속 카메라(120)의 팬, 틸트, 줌 동작 중 적어도 하나를 수행하도록 제어를 할 수 있다.

한편, 메모리 제어수단(760)은 메모리(400)로 입/출력되는 각종 데이터에 대한 전반적인 동작을 제어할 수 있다.

제어부(700)의 차량 인식수단(710)은 검지영상으로부터 특징벡터를 추출하며, 상기 추출된 특징벡터를 메모리(400)의 일반적인 차량 영상에 대한 특징벡터 정보와 비교한다.

이를 위하여, 메모리 제어수단(760)은 메모리(400)가 일반적인 차량 영상에 대한 특징벡터 정보가 포함된 학습 데이터를 차량 인식수단(710)으로 출력하도록 제어할 수 있다.

또한, 차량 인식수단(710) 및/또는 필터링 수단(750)에 의하여 인식된 차량에 대한 특징벡터 정보가 메모리(400)의 학습 데이터에 존재하지 않는 경우, 이를 다음 학습 데이터와의 비교에 사용할 수 있도록 상기 특징벡터 정보를 메모리(400)에 저장할 수 있다.

이를 위하여, 메모리 제어수단(760)은 차량 인식수단(710) 및/또는 필터링 수단(750)에 의하여 인식된 차량에 대한 특징벡터 정보를 메모리(400)로 입력되도록 제어할 수 있다.

지역적 매칭 방법을 이용한 차량 재식별 시스템

본 발명에서는 교통 흐름의 체계와 사회적 비용 및 혼잡도를 개선하기 위한 단속시스템에 필요 시 되는 자동차(차량) 검지기술을 바탕으로 이를 관리 및 감독하기 위한 시스템 내의 요소기술을 개발 및 서비스에 제공하는 한편, 교통흐름을 실시간으로 관리 및 감독하기에는 교통과 관련된 시스템들이 저변확대가 되어야 하고 신뢰성 높은 기술의 성능을 확보하고자 한다.

이와 같은 배경은 현재의 상황에서 캠코더/스마트폰/블랙박스/거치용 카메라 등을 이용하여 영상 단속을 시행하거나 도로환경에 주행중인 차량이용자로부터 정보를 수집하거나 무인교통감시 시스템 및 방법기능을 갖는 영상수집 카메라 등이 활용되고 있는 실정에서 효과적인 결과를 얻기에는 자동보다는 수동화된 시스템을 의존할 수밖에 없기 때문이다.

이러한 문제를 극복하기 위해 컴퓨터 비전 분야내의 다양한 기술들이 존재하지만 최근에는 인공지능 및 영상인식기술을 접목한 머신러닝(Machine Learning)이나 딥러닝(Deep Learning) 기술이 발전하면서 각종 산업에서 가장 괄목할만한 성과를 나타내고 있고 의료 영상 진단기술, 자율 주행, 스마트 홈, 보안 및 영상감시 산업, 산업용 로봇의 시각 지능, 서비스 로봇 및 지능형 로봇, 스마트 팩토리, 국방 및 우주항공, 헬스 케어, 가전, 스마트 쇼핑, 엔터테인먼트 등 다양한 분야에서도 산업과 사회에 새로운 가치 실현의 기반이 되고 있다.

기존의 객체검출 시스템의 경우 특징을 분석하기 위해 배경성분과 객체성분을 분리하거나 특징점을 추출하여 임의의 값에 따라 객체로 판단하게 된다. 이때 의미 있는 정보를 추출하기 위해 입력된 영상내의 변화를 측정하는 프레임 차이 방법이나 픽셀값의 변화를 측정하여 인접한 프레임간의 성분차이를 추정하기도 한다.

대부분의 시스템의 경우 실시간 처리를 위해 픽셀단위의 변화를 측정하는 방법을 적용하기도 하지만 현재의 기계학습을 통한 빅데이터 처리기반으로 정의된 패턴과 유사한 객체를 검출하기도 한다.

이는 학습데이터의 수집 환경에서 적응적으로 객체 검출이 가능하고 정확성을 효과적으로 보일 수 있으나 해당 환경 이외의 다른 환경에서 동일한 학습데이터 성분으로 객체를 검출할 경우에는 부정확한 결과가 나타나게 되고 이를 보완하기 위해 해당 환경에서 데이터를 수집 및 학습 데이터에 추가하여 정확도를 높이게 된다.

본 발명에서는 객체 검출방식을 기존의 SSD 방법에서 개선된(Enhanced) DSSD방법을 사용하여 표준 데이터와 다양한 환경에서 수집된 데이터를 학습하여 E-DSSD 구조내의 레이어 크기를 서로 달리 적용하고 이를 결합하여 배경성분이 일부 포함된 객체 검출방식을 채택한다.

이는 복잡하고 다양한 환경에서 배경성분과 객체성분이 동일한 성질의 패턴이나 질감 그리고 변화량이 존재할 가능성이 높다.

또한, 검출된 객체에서 동일한 객체를 서로 다른 카메라 또는 환경에서 매칭하기 위한 방법을 적용하여 검출의 재식별 방법을 제시하고, 이를 적용하기 위한 Speed-Up Robust Feature(SURF) 방법을 제시한다.

이는 다양한 비전 기반 응용 분야에 강력하고 유용한 기능으로 객체 탐지 방법이기도 하지만 대칭 객체를 검지가 어렵다. 하지만 본 발명에서는 초기 객체인식 또는 객체식별을 통해 가능한 동일 객체를 재식별 하기 위해 SURF의 성능을 강화하는 강인한 대칭 구조에서 영역내의 SURF 서술자(SURF Descriptor)을 제안한다.

객체 재식별(Re-Identification)을 하기 위해, 제안된 대칭(Symmetrical) 구조 서술자(Descriptor)는 모션 특징을 사용하지 않고 객체 검출 또는 객체 인식을 통한 결과로부터 동일한 객체의 관심 영역을 결정하도록 하였다.

이러한 대칭 구조는 두 가지 장점을 제공합니다. 딥러닝을 통한 객체인식 방법을 기반하기 때문에 기존의 객체 검출방법에서 많이 사용하던 배경차분 방법이 필요 없고, 실시간 처리를 위한 배경의 복잡한 환경에서 객체 검출의 정확도가 떨어지는 단점이 있기 때문이다.

따라서 딥러닝 기반의 학습 모델을 적용하거나, 객체인식을 통한 검지의 실시간 처리에 효과적으로 사용될 수 있다.

그런 다음 두 가지 대칭 구조의 서술자(Symmetrical structure descriptor)의 모델 구조의 문제, 즉 다양성(Multiplicity)과 모호성(Ambiguity) 문제를 해결한다. 예를 들면 다양성 문제는 종종 도로에서 다른 모델의(차량의) 형태를 갖는 하나의 차량 모델에서 비롯된다. 모호성 문제는 차량의 제조사 마다 고유의 차량특징을 갖고 있으나 대부분의 객체들이 크기, 형태, 모양, 색상, 질감, 위치 등을 포함하고 있고 객체간 유사 특징을 보인다.

기존의 시스템은 객체검출과 인식단계에서 인접한 프레임간 차이 변화 값으로 판단한다.

이는 프레임간의 변화가 적다는 가정과 움직임의 크기가 작아서 변화 범위가 적기 때문에 유사성의 관계에서 처리하는 이유이다. 하지만 프레임의 간격을 넓게할 경우 변화의 크기가 크게 되고 움직임의 변화도 쉽게 예측이 가능하여 객체 검출 방법에 쉽게 적용이 가능하다.

하지만 객체 움직임의 변화도 있지만 배경의 변화 또는 밝기의 변화 등의 환경적인 요소변화들도 발생하기에 객체로 판단하기 위한 수단이 추가적으로 필요하다. 예를 들면, 차량을 객체검출 할 경우 차량검출의 결과에서 번호인식을 할 경우 인식된 번호가 차량의 번호인지를 판단하게 된다면 해당 객체 검출 결과가 차량으로 최종 판단하면 된다.

또한 기존의 시스템은 최종 객체 판단을 위해 1회 검출과정과 2회 검출 과정을 동시에 수행하거나 순차적으로 처리하여 동일한 결과가 보일 경우에만 해당 검출 결과를 판단하는 구조이다.

요컨대 1회 검출 결과에서 사람의 경우 얼굴인식을 통해서 사람으로 판단하던지 차량의 경우 번호판이나 번호인식을 통해서 차량으로 판단 또는 바이클, 이륜차, 도로 표지판 등등 주변환경의 객체로 판단하는 모든 사물에 대해서는 동일한 과정으로 처리된다.

1회 검출 결과에서 검출결과가 부정확할 경우 객체로 판단되지 않기 때문에 2회 검출 결과에서도 동일한 결과가 발생될 확률이 높다.

그리고 1-2회 검출 결과에서 동일한 결과가 나오더라도 원하는 객체 검출의 인식 결과가 대상의 객체가 아닌 다른 객체로 판단될 확률도 존재한다.

따라서 1회 검출 결과와 2회 검출 결과로부터 동일한 객체 인지를 판단하기 위한 수단이 필요하며 이러한 문제 해결을 위해 매칭 방법을 이용하여 특정 영역 또는 위치에 따른 값의 변화를 계산함으로써 정확도를 높인다.

2회 검출 결과에서 1회 검출로 인한 결과가 상이할 경우 인식 단계에 따라 대상 객체를 판단되어도 1-2회 검출 및 인식에서 동일한 값 이외의 경우는 최종 확인이 가능한 식별(수동 또는 육안)이 필요하다.

요약하면, 개선된 E-DSSD(Enhanced-DSSD: DeconvolutioSingle Shot Detector) 방법을 통해 1회 검출 단계에서 객체 인식을 통해 객체검출이 될 경우 식별방법(번호인식, 얼굴인식 등)으로 1회 검출의 결과로 판단하고, 2회 검출 단계에서도 1회 검출 및 인식 단계를 수행 한 후 1-2회 최종 결과에 대해 동일한 객체를 판단을 위한 매칭으로 최종적으로 판단한다.

이때, 매칭에 활용될 수 있는 데이터는 색상정보, 위 치정보, 영역내의 좌표정보, 메타 구조체의 정의된 식별코드, 얼굴 또는 차량의 번호판 및 번호인식 결과 등 다양한 정보를 활용한다.

본 발명에서는 색상, 위치(GPS), 검출 영역내의 좌표, 저장된 메타데이터 구조 범위 값, 특징 변화 값들로 구성된다.

이로써 기존의 시스템인 경우 최종 판단과정에서 인식의 결과를 얼굴이나 차량의 번호인식을 통해 반복적으로 동일할 경우 이외에서 수행하여 오검지, 오인식, 미인식, 부분인식 등의 부정확한 결과를 나타내기에 이를 극복하기 위한 방법을 제안하였다.

이하에서는 본 발명이 제안하는 방법에 대해 도면을 참조하여 구체적으로 설명한다.

본 발명에서는, 그리드(Grid) 분할 방식을 사용하여 객체를 여러 그리드(Grid)로 분리 할 수 있으며, 그리드(Grid)에서 학습된 다른 약한 분류기가 강력한 앙상블 분류기를 설계 할 수 있다.

컴퓨터 비전에서 한 가지 중요한 작업은 동일한 객체 또는 장면의 두 이미지 간의 대응 관계를 식별하는 것인데, 이러한 응용 프로그램에는 객체 인식, 객체 검색, 제스처 인식, 로봇 내비게이션, 이미지 스티칭, 3D 모델링, 비디오 추적, 산업 검사, 그리고 비디오 감시이다.

특히, 프로그램이 안정적으로 수행되려면, 다양한 조명 변화 및 기하학적 변환에서 두 이미지에서 반복성이 높은 중요한 관심 기능을 먼저 찾는 것이 중요하다

그런 다음 각 특징점을 표현하고 대응 집합들을 추가로 설정하기 위해 강력한 기술자(descriptor)가 구성되어야 한다. 관심 포인트(interest points)을 추출하고 나타내는 데 가장 일반적으로 사용되는 방법 중 하나는 SIFT (Scale-Invariant Feature Transform)이다.

이 방법은 균일한 스케일링 및 방향에 불변이고, 부분적으로 불변성 및 조명 변화에 영향을 미치지 않는다.

그러나 DOG(Difference of Gaussian)필터로 인해 온라인 응용 프로그램에는 속도가 충분하지 않는 단점이 있다.

한편, 특징점(feature points)을 신속하게 계산하고 비교하기 위해 SURF (Speeded-Up Robust Features)라는 새로운 스케일 불변 특성 검출기가 적용될 수 있다.

이 방법은 이미지 컨볼루션(image convolutions)을 위한 필수 이미지에 의존하며 SIFT 방법보다 효율적이다.

또한, 실시간 처리가 가능해서 컴퓨터 비전 분야에서 가장 일반적으로 검지에 사용된다.

그러나 대칭쌍(symmetrical pairs)의 특징점(feature points)을 찾는 기능이 없다. 하지만 실 세계에서는 대칭 특성 및 수평대칭을 갖는 다양한 물체(객체)들이 포함되어 있다.

예를 들어 대칭은 가구, 차량 및 건물과 같은 많은 인공물에 존재하게 되고, 이러한 속성들은 자연 장면 (달), 자연 물체 (사과) 또는 동물 (얼굴)에도 존재한다.

아울러 자동차의 특징정보로 판단될 수 있는 접근방법으로 특징점을 이용한 객체 또는 물체 인식의 경우 각 영역에 대한 특징 값들을 정량적으로 산출하는 특징 추출(feature extraction)과 이를 근거로 하는 매칭 방법으로 해리스 코너 이론(Harris and Stephens, 1988), Shi & Tomasi 이론(Shi and Tomasi, 1994), SIFT(Scale Invariant Feature Transform)이론(Lowe, 2004), SURF(Speeded up robust features)이론(Bay et al., 2006) 등이 사용될 수 있으며, 특히, 해리스 코너, SIFT, SURF 등의 검출기는 객체 또는 물체 인식에 안정적인 인식률에 많이 이용되지만 많은 수의 특징정보들을 추출하고 이것을 이용하여 차량 분류(grouping)를 통한 많은 연산 시간으로 인해서 실시간 처리에 부적합 하다는 단점이 있다.

하지만 검출된 영역을 중심으로 SURF 방법을 이용할 경우 연산량을 최소화가 가능하며 그리드 기반에서 매크로 블록중심으로 특징점을 추출하여 실시간 처리에 적합하도록 설계할 수 있다.

따라서 본 발명에서는 객체검출기반에서 관심대상의 객체영역을 추출하고 영역내의 크기를 대칭 구조의 형태로 재설계 후 대칭 구조 서술자(symmetrical structure descriptor)로 재구성한다.

이때 대칭 구조 서술자(symmetrical structure descriptor)는 매칭(SURF)을 통한 동일한 객체로 판단하기 위한 측정도구의 방법으로 활용한다.

특히, 본 발명에서는 검출 영역에서 매크로 블록단위로 나누고 각 매크로 블록 내에 서브 매크로 블록단위로 조정한다.

이 구조는 그리드 형태가 되며, 블록 크기는 각각 4 x 4와 2 x 2로 구성된다.

특히, 서브 매크로 블록의 크기는 그래디언트(gradient)내의 구조와 동일하게 적용하였고, 벡터의 크기에 따라 대상 객체를 포함하는지 판단하게 된다. 전체 그리드 분할은 검출 영역의 중심점과 중심점을 포함하는 중심라인으로 기준하였다.

이는 중심점과 중심라인에서 대사 객체의 성분들이 존재할 확률이 높기 때문이며, HoG 방법이나 SVM(support vector machine) 기반의 classifier를 수행하지 않기 위한 부분이다.

이러한 이유는 객체인식을 기반으로 설정된 영역이고 HOG 또는 SVM 방법들의 처리 방식을 동일한 구조를 이용하지 않는 것이고, 대칭 구조내의 검색방식을 제안한다.

도 3은 본 발명이 제안하는 검출 영역내의 분할(Grid) 계산방법의 순서도를 도시한 것이다.

도 3을 참조하면, 발명이 제안하는 검출 영역내의 분할(Grid) 계산방법은, 차량 인식단계(S1), 검출영역(ROI)을 추출하는 단계(S2), 중심점과 중심라인을 설정하는 단계(S3), 매크로 블록 각각에 대해 그리드를 결정하는 단계(S4), 매크로 서브 블록들로 재설정하는 단계(S5), 중심 그리드 분석을 기초로 한 수직 및 수평 요소들을 도출하는 단계(S6) 및 특징을 매칭하는 단계(S7)를 포함할 수 있다.

도 3에서, 검출영역(ROI)으로부터 중심점과 중심라인의 설정은 대칭 서술자(symmetrical descriptor)를 사용하기 위한 기준이며, 중심점은 대칭의 수단으로 활용되고 중심라인의 경우는 특징분포에 가장 높은 후보영역이 될 수 있는 기준으로 활용된다.

또한, 도 4는 본 발명이 제안하는 검출 영역내의 분할 설정방법과 관련하여, 분할(Grid) 영역내의 매크로 블록을 설명하기 위한 도면이다.

도 4는 그리드(grid) 영역내에서 중심점, 중심라인 그리고 매크로블록의 구조이다.

인식된 객체 영역을 하나의 그리드로 생성하고, 매크로 블록단위와 서브 매크로 블록단위로 설정한 후, 중심점을 기준하여 대칭형태 구조로 갖게 되며, 각각의 서브 매크로블록 단위마다 그래디언트(gradient)를 계산한다.

각각의 서브 매크로블록에서 계산된 그래디언트(gradient)에 따라 객체 성분가 배경성분 또는 배경성분만을 취하는 경우로 나눠서 구분이 될 수 있고, 변화되는 값들이 존재하는 경우들이 특징으로 판단될 수 있으므로 분류기를 사용하지 않아도 성분 구분이 가능하다.

이로써 특징으로 판단되는 서브 매크로 블록에 대해 매칭을 적용시킨다.

또한, 서브 매크로 블록들간의 특징으로 성분 구분이 가능하지만 전체 검출된 영역내에 객체로 판단되는 성분들을 찾는 부분은 혼합된 성분(배경과 객체)으로 구성되어 있고, 원하는 값들이 존재 하지 않을 수 있으므로 중심점과 중심라인을 기준하여 수직과 수평의 서브 매크로 블록에 대해서 성분값들의 매칭 기준을 재구성한다.

도 4는 그리드 영역내의 매크로 블록정의 단계에서 서브 매크로 블록간의 매칭 기준을 재설정한다.

한편, 도 5는 본 발명에 따른 분할(Grid) 영역에서 매크로 블록 구조내의 설정 구조의 일례를 도시한 것이다.

도 5의 (a)는 매크로 블록 구조를 도시한 것이고, 도 5의 (b)는 매크로 블록 구조 내의 수직한 요소 및 수평한 요소들을 도시한 것이다.

도 5를 참조하면, 서브 매크로 블록 설정을 위해 중심점과 중심라인의 위치를 나타내며, 서브 매크로 블록들은 수직성분과 수평성분들이 분포위치에 설정되어 있다. 이때 중심점의 위치는 대칭형태를 보이며 수평과 수직성분 위에 놓여진 서브 매크로블록에 대해 서술자(descriptor)가 특징성분을 검출하게 되고, 성분으로 선택된 서브 매크로 블록들이 특징분포 값이 되며, 특징분포의 값들은 다음 단계에서 매칭 특징분포로 비교를 한다.

한편, 도 6은 본 발명과 관련하여, 검출된 객체로부터 생성된 그리드와 매크로 블록 설정 및 위치의 구체적인 일례를 도시한 것이다.

도 6의 (a)는 인식된 객체의 결과이고, (b)와 (c)는 검출된 결과로부터 그리드 생성결과이며, (d)는 매크로 블록 및 서브 매크로 블록 그리고 수평과 수직 성분에 대한 영역을 나타낸다.

이때, 도 6의 (c)에서 중심점의 위치((c)에서 영상 중심위치의 Point)가 표시되어 있고, 도 6의 (d)에서는 중심점의 위치로부터 수직과 수평성분의 서브 매크로 블록의 영역들이 존재하게 된다.

그리고 도 6의 (d)에서 검정색 블록단위를 중심으로 그레디언트(gradient) 성분을 분석한다.

여기서 특징점 추출방법(Gradient and corner detection)을 통해 변화되는 값들의 성분을 찾는다.

그 이외의 영역들은 배경성분과 객체성분 중에서 특징분포가 나타나지만 검출된 영역내의 객체 내부 중심으로 특징분포가 최소한의 객체성분들이 존재하는 가정도 포함될 수 있기 때문이다.

한편, 도 7은 본 발명과 관련하여, 지역적 매칭 방법을 이용한 차량 재-식별 시스템 흐름도를 도시한 것이다.

도 7을 참조하면, 카메라로부터 입력된 영상(S100)에서 객체 검출을 위한 인식과정(S110)과 번호인식과정(S120)을 수행한다. 이를 1 회 검출단계(S130)로 정의하고 인식된 객체 영역에서 번호인식을 수행한다.

또한, 수행된 결과가 정인식 될 경우 1 차 검출결과를 저장한다(S140, S150).

만약, 1회 검출단계에서 인식된 객체 영역으로부터 번호인식 결과가 미인식, 부분인식, 오인식의 결과일 경우(S160), 인식된 결과만을 저장하고 그 이외의 내용은 삭제한다(S140, S150, S160).

이때, 저장되는 형식은 미리 정의된 메타데이터 구조이고, 인식된 결과와 함께 해당 프레임(배경이미지)도 저장한다.

또한, 일정시간 이후에 카메라로부터 입력된 영상에서 객체 검출방법을 통해 인식결과가 입력되면 1회 검출단계의 반복과정을 수행하고, 해당 인식결과의 정인식인 될 경우를 비롯한 미인식, 부분인식, 오인식의 저장 데이터와 매칭방법을 이용하여 동일 객체식별을 수행한다(S170, S180).

이러한 해당 과정을 2회 검출단계(S190)로 정의하며, 1-2회 인식결과로부터 정인식이 아닌 경우일 때 각각의 1-2회 검출된 결과의 저장 데이터를 수동(육안)식별(S200)이 가능하도록 데이터베이스에 정의된 위치에 저장한다(S210).

따라서 본 발명이 제안하는 단계는, 검출단계와 인식단계 그리고 재식별을 위한 매칭 단계로 크게 구분되며, 식별의 결과가 상이할 경우는 수동(육안)식별이 가능하도록 설정할 수 있다.

입력영상과 적용된 객체 검출 방법

이하에서는, 본 발명에 적용되는 모듈별로 기술적 특징을 설명한다.

본 발명에 따른 입력영상과 적용된 객체 검출 방법과 관련하여, 영상의 입력은 카메라로부터 취득된 디지털화 된 데이터이다.

즉, 동영상이 대상이 되고, 각 프레임(영상)은 2차원의 데이터로 구성된다.

이때, 영상내의 객체 검출은 DSS(Single Shot Detector), DSSD(Deconvolution Single Shot Detector), E-DSSD(Enhanced Deconvolution Single Shot Detector), YOLO v3 또는 Fast-RCNN 기반의 객체인식 방법을 활용한다.

또한, 검출대상은 차량을 목적으로 하되, 사람, 이륜차, 오토바이, 자전거, 버스, 트럭, 유모차, 전동바이클 등의 움직임을 대상으로 하는 모든 객체를 포함한다.

객체 검출에서 검출된 영역을 대상으로 번호인식 1회를 수행하고, 미인식과 부분인식인 경우 검출된 영역에서 특징정보를 추출한다.

이때, 추출된 정보들은 영역내 좌표 및 위치, 색상, GPS 값, 메타정보(저장을 위한 생성된 값들, 날짜와 시간, 정의된 파일이름 등)들로 구성된다.

이런 과정을 1회 즉 1차 정보로 정의한다.

또한, 영상의 카메라 위치정보로 GPS, 영상내의 객체 검출된 영역좌표, 영역내의 객체 대표 색상정보, 날짜와 시간 그리고 주변 영상으로 식별이 가능한 범위의 배경이미지도 함께 저장한다. 여기서 GPS, 영역좌표, 메타정의형식의 구조는 매칭 조건에 활용되는 변수들의 집합이다.

본 발명에서 제안하고자 하는 목적중의 하나가 객체 검출 이후의 동일한 객체인지를 판단하기 위한 식별 방법이며, 동일한 판단을 위해서는 1회와 2회로 나눠서 일정한 스트리밍(시간동기화)를 통해서 최초 검출된 인식 결과와 최종 검출된 인식결과 간의 매칭(Matching)과정을 통해서 최종 동일 객체로 판단하는 목적이다.

즉, 본 발명에서는 1차 차량검지와 번호인식을 했을 경우 미인식/부분인식이 발생되면 해당 이미지를 저장하고, 다시 일정 시간이 지나서(1회 단속의 의미) 2차 차량검지와 번호인식을 했을 경우, 인식된 경우를 제외하고 동일하게 미인식/부분인식이 되었을 때, 1차때 저장된 이미지와 2차때 저장할 이미지 간의 동일차량인지 여부를 식별하는데 이용될 수 있다.

여기서 입력된 카메라의 위치와 화각(Field of view)에서 빅데이터기반에서 객체 인식방법을 통해 학습된 빅데이터간의 다양한 차량 형태가 육안으로 식별이 가능한 범위 내에 존재해야 하고 번호판 식별이 가능한 객체가 포함된다.

그리고 영상내에 존재하는 객체 즉, 차량, 사람, 사물, 가로등, 주차금지 안내판, 공사 안내표지판, 주변 물체들의 모든 객체검출의 결과를 저장하여 1-2회 수행하고 동일한 객체의 식별은 매칭방법을 통해 처리한다.

본 발며에 따라 제안된 방법은 검출대상의 객체 인식으로 1-2회 검출된 결과를 비교 분석하여 동일한 객체로 판단하며, 검출된 결과의 영역에서 영역 중심점을 기준하여 수직과 수평 영역내의 특징분석을 통한 방법도 적용한다.

특징분석은 그레디언트 방법을 통해 특징으로 판단될 수 있는 서브 블록내의 분포로 활용되며, 1-2회 검출된 영역의 결과의 비교 수단에 적용된다. 이때 객체간 영역에서 추출된 GPS, 메타데이터 정의된 구조에서 비교 수단으로 적용되어 보다 정확한 동일 객체를 판단한다.

검출된 객체는 1-2회 인식결과로부터 번호인식을 수행하고 정인식, 즉 1회 검출 결과 이후 번호인식 단계를 수행하고 해당 결과를 저장하며, 일정한 시간 이후 다시 입력된 영상에서 검출된 인식 결과의 번호인식 수행 후 1회 검출결과 간의 동일한 조건으로 동일한 객체판단을 수행한다.

도 8은 본 발명과 관련하여, 개선된 E-DSSD(Enhanced-DSSD: Deconvolution Single Shot Detector) 구조의 일례를 도시한 것이다.

도 8에서 도시된 개선된 E-DSSD 구조는, 입력된 영상에서 객체 검출 단계에 적용된다.

검출된 객체는 해당 영역의 좌표와 GPS, 객체의 대표색상성분 그리고 메타 데이터 구조에 따라 저장된다.

여기서 메타데이터 구조는 영상프레임 정보, 검출된 영역좌표, GPS 좌표, 영역내의 객체 대표 색상, 날짜와 시간 그리고 배경 이미지로 근거가 될 단일 이미지(프레임 정보와 동일한 위치의 스트리밍 내의 이미지) 등의 파일 이름형식을 나타낸다.

검출된 객체 특징 추출 및 제안된 영역 구조 설계 방법

본 발명에서는, 기존의 SSD(Single Shot Detector)와 DSSD(Deconvolution Single Shot Detector) 구조에서 개선된 방법(E-DSSD: Enhanced Deconvolution Single Shot Detector)을 이용하여 영상내에 존재하는 대상 객체를 검출하고, 그 영역에서 특징을 추출한다.

여기서 특징 추출은 검출된 영역(region)내에 종횡비(aspect ratio) 크기에 따라 위-아래쪽, 좌-우측 좌표의 중앙좌표를 계산한다. 이때 중앙좌표는 검출결과에 따라 해당 위치 좌표가 다르게 측정될 수 있으며, 객체가 갖는 모양과 형태에 따라 차이가 나타난다. 그리고 위-아래, 좌-우 좌표의 구조적인 형태는 대칭구조이다.

이때, 대칭구조를 검출영역(ROI)로 정의하고 중심점과 중심라인의 설정한다.

여기서 검출영역(ROI)는 대칭 서술자(symmetrical descriptor)를 사용하기 위한 기준이며, 중심점은 대칭의 수단으로 활용되고 중심라인의 경우는 특징분포에 가장 높은 후보영역이 기준이 된다.

또한, 검출영역(ROI)에서 중심점, 중심라인 그리고 매크로블록 단위를 구성하기 위한 설계구조를 생성한다.

그리고 좌표값에서 중심라인과 중심점을 계산하고, 검출영역(ROI)에 대해서는 2X2 크기의 블록단위로 그리드(grid)를 생성한다.

이때, 검출영역(ROI)에서 매크로 블록 크기설정을 동일한 크기로 재계산하여 스케일(scale) 형태를 맞추게 된다.

이는 영역의 크기가 달라져도 영역내의 객체성분에 대한 특징분포는 유사성분으로 존재하기 때문에 검출의 결과에 손실이 이루어지지 않는다.

검출된 영역을 하나의 그리드(grid)로 생성하고, 매크로 블록단위에서 서브 매크로 블록단위로 설정한 후 중심점을 기준하여 대칭형태 구조로 갖게 되며, 각각의 서브 매크로블록 단위마다 그래디언트(gradient)를 계산한다.

객체 특성을 고려했을 때 가정과 카메라 위치에 따라 달리 육안으로 식별이 될 수 있으나 대부분의 경우는 카메라 위치가 Top View 형태로 갖는다는 가정도 포함하고 있다.

차량의 형태학적 요소에서 번호판 위치가 아래 부분에 위치되어 있고, 좌우 대칭의 특징이 있으므로 검출영역에서 중심점을 기준하여 수평-수직 성분 기준으로 서브매크로 블록크기로 대칭의 형태구조를 갖게 설계한다.

검출영역에서 중간좌표지점으로 하나의 점(Point)에 대한 좌표설정은 검출 영역의 가장자리 위치(좌표)인 4개의 좌표의 값으로부터 아래 두 개의 점에 대한 좌표로 계산한다.

또한 4개의 좌표로 인한 검출영역은 단일 객체로 저장하고 해당좌표로 인한 재할당이 가능한 값으로 설정하였다. 즉 4개의 좌표값 위치는 검출단계에서 결정된다.

객체 검출결과로부터 아래쪽 두개의 좌표에 대한 중간 좌표 계산은 다음과 같다.

검출된 영역과 종횡비에 대한 계산은 다음의 수학식 1과 같다.

수학식 1

상기 수학식 1에서,

는 0.3이고,

는 0.95이며,

은 multi-feature maps의 개수를 나타낸다.

이때 각 feature map에서 default box의 크기를 구하고 종횡비(aspect ratio)를 계산한다.

수학식 1에서

는 검출 영역 개수를 말하며, 이때 종횡비(aspect ratio)가 1일 때 가장 최적의 default box를 말한다.

또한, 해당 default box에서 한 점에 대한 객체 검출 특징점(feature point)은 하기의 수학식 2와 같다.

수학식 2

수학식 2는 영역내의 한 점의 특징점(feature point)으로 표현하기 위한 계산이다.

수학식 2에 따라 한 점의 특징점이 생성되고 이를 기준으로 수평-수직 성분으로 구성된 서브 매크로 블록의 형태를 갖게 설계된다.

수학식 2에 따라서 특징점의 위치로부터 특징벡터를 계산한다. 여기서 특징벡터는 2x2 크기에서 그래디언트를 구하여 특징 존재를 파악한다.

여기서 동일한 객체 속성을 판단하기 위한 하나의 값이며 이와 연관되어 색상, 크기, GPS 좌표 등의 요소(component) 값이다.

또한, 수학식 3은 특징벡터의 분포를 계산하다.

수학식 3

여기서 f는 특징벡터 함수이고, 서브매크로 블록내의 특징강도의(feature intensity)를 계산하여 특징분포를 나타낸다.

도 9는 본 발명과 관련하여, 특징점의 위치로부터 특징벡터를 검출한 구체적인 일례를 도시한 것이다.

도 9를 참조하면, 붉은색 한점이 특징점이 되고, 특징점의 위치로부터 특징 벡터를 검출하게 된다.

해당 특징분포와 함께 검출영역내의 객체 색상정보를 계산하여 동일한 객체로 판단하는 기준으로써 활용되고, 수학식 4와 같이 객체가 갖는 대표 색상값을 계산한다.

수학식 4

이때 각 화소에서 색상 구분을 위해서 흰색과 검은색의 명암도 화소인지 적색, 녹색, 청색 등의 다양한 색상 성분의 화소인지를 구분해야 한다.

명암도 화소는 적색, 녹색, 청색 성분이 유사한 값을 가지는 특징을 가지고 있다.

따라서 상기 수학식 4와 같이 각 화소에서 색상 채널의 평균과 분산을 구할 수 있다.

그리고 하기 수학식 5는 동일한 객체로 판단하기 위한 기준 값들로써 조건에 만족하는 경우에 대해서 동일 객체로 판단한다.

수학식 5

수학식 5에서

는 특징벡터의 성분값이고,

는 GPS 좌표값,

는 컬러 성분값,

는 크기,

는 메타데이터의 구조 값이며 1회 검출결과의 저장된 이미지 내의 고유값들로 구성되어 있다.

반면 2회 검출결과의 저장된 이미지 내의 고유값들은 j 첨자로 구성된 값들이며 1회와 2회간의 차이로 인한 값이 설정된

보다 적거나 같은 경우에는 동일한 객체로 판단한다.

여기서

는 0과 1 사이의 값이며 최초 설정값은 0.95로 설정한다.

본 발명에 따른 실험 결과

본 발명이 제안하는 시스템은 객체검출과 이를 이용하여 1차 검출결과와 2차 검출결과로부터 동일한 객체를 재식별하는 방법으로 검출결과에서 영역내의 객체 특징정보를 색상, 크기, GPS 좌표의 메타데이터, 그리고 객체가 갖고 있는 고유정보들을 활용하여 서술자 구조 내의 정보를 추출한다.

도 10은 본 발명의 실험결과와 관련하여 입력데이터를 도시한 것이고, 도 11은 도 10에서의 1-2차 검출결과를 도시한 것이다.

도 11에서 (a)와 (b) 그리고 (e)와 (f)에 대해서는 각각 입력영상이고, 도 11의 (c)와 (g)는 1차 객체 검출결과이며, 도 11의 (d)와 (h)는 2차 검출결과를 나타낸다.

도 11의 결과로부터 객체의 특징정보를 추출하기 위해서 설정된 서브 매크로 블록내의 특징정보와 색상, 크기, GPS 위치정보, 차량인 경우 번호인식 또는 사람인 경우 해당 정보만을 대상으로 1차 데이터를 저장한다.

저장되는 형식은 메타데이터 정의로부터 구조적인 값으로 변환된다.

여기서 메타데이터 정의에 따른 구조는 도 12에 표현하였다.

즉, 도 12는 본 발명에 적용되는 메타데이터 구조적 정의를 표로 정리한 것이다.

도 11에 대한 정의와 함께 검출된 객체로부터 매칭은 도 13과 같다.

도 13은 본 발명과 관련하여, 검출결과로부터 특징을 매칭한 구체적인 결과를 도시한 것이다.

기존의 객체 검출 방법 및 동일 객체판단을 위해서 객체 정보를 추출하는 단계에서 검출방법이 중요하고, 그에 따라서 결과도 잡음, 크기, 색상, 위치 등으로부터 오류가 발생하게 된다.

따라서 기존의 SSD와 DSSD의 구조내에서 레이어 구조간의 설계방법을 제시하고 이를 활용하여 객체검출로 활용하였고, 동일한 객체 식별을 위해서는 정의가 필요시 된다.

객체 정의는 객체가 갖는 특징분석의 변화로 관측이 되고, 색상, 크기, 위치, 그리고 특징점들의 분포에 따라 매칭결과로부터 얻을 수 있다.

본 발명에서는 검출결과에서 객체 특징정보를 추출 후 객체로 식별된 데이터를 저장하고 다시 일정 시간 또는 다른 환경(Field of View) 상태에서 유사 객체를 식별 혹은 재식별을 위한 방법을 제안하였다.

또한, 객체가 차량일 경우 고유정보로 활용될 수 있는 부분이 번호인식이므로 이를 검출방법 결과에서 특징정보와 함께 사용될 경우 보다 정확한 식별이 가능하고 1-2회 동일한 식별방법에서도 정확도가 크게 개선될 수 있으며 부정확한 결과를 갖더라도 제안하는 매칭 방법으로 해결하였다.

식별이 되지 않은 데이터에 대해서는 선택적 식별을 통해서 재확인이 가능하도록 설정하였다.

이로써 동일한 객체 재식별을 위한 방법이 기존의 동일객체 판단을 위한 정확도를 향상시켰다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(ApplicatioSpecific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims

카메라를 통해 제 1 영상을 획득하는 제 1-1 단계;
제어부가 상기 제 1 영상 내에 존재하는 제 1 객체를 검출하는 제 1-2 단계;
상기 제어부가 상기 제 1 영상 내에서 상기 제 1 객체가 존재하는 제 1 영역에 대해 번호 인식을 시도하는 제 1-3 단계;
상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생된 경우, 상기 제어부가 상기 제 1 영역의 특징정보를 추출하는 제 1-4 단계;
메모리가 상기 제 1 영역의 특징정보 및 상기 제 1 영상 내의 상기 제 1 객체와 관련된 제 1 추가정보를 함께 저장하는 제 1-5 단계;

미리 지정된 시간이 경과한 이후, 상기 카메라를 통해 제 2 영상을 획득하는 제 2-1 단계;
상기 제어부가 상기 제 2 영상 내에 존재하는 상기 제 2 객체를 검출하는 제 2-2 단계;
상기 제어부가 상기 제 2 영상 내에서 상기 제 2 객체가 존재하는 제 2 영역에 대해 번호 인식을 시도하는 제 2-3 단계;
상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생된 경우, 상기 제어부가 상기 제 2 영역의 특징정보를 추출하는 제 2-4 단계;
상기 메모리가 상기 제 2 영역의 특징정보 및 상기 제 2 영상 내의 상기 제 2 객체와 관련된 제 2 추가정보를 함께 저장하는 제 2- 5 단계;

상기 제어부가 상기 제 1 영역의 특징정보, 상기 제 1 추가정보, 상기 제 2 영역의 특징정보 및 상기 제 2 추가정보를 이용하여, 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인지 여부를 판단하는 제 3-1 단계; 및
상기 제 1 객체와 상기 제 2 객체가 동일한 객체인 경우, 상기 제어부가 상기 제 1 영역과 상기 제 2 영역에 대해 번호 인식을 시도한 결과를 함께 이용하여 상기 제 1 객체의 번호를 인식하는 제 3-2 단계; 를 포함하고,

상기 제 1-4 단계 또는 상기 제 2-4 단계는,
상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생되는 단계;
상기 제어부가 복수의 서브 블록으로 구성된 매크로 블록을 이용하여, 상기 제 1 영역 또는 상기 제 2 영역을 그리드(grid)로 설정하는 단계; 및
상기 제어부가 상기 그리드 상의 중심점을 기준으로 대칭 형태 구조를 생성하고, 상기 대칭 형태 구조 및 중심라인을 기준으로 상기 복수의 서브 블록 중 상기 제 1 영역 또는 상기 제 2 영역을 식별할 수 있는 제 1 서브 블록 또는 제 2 서브 블록을 상기 제 1 영역 또는 상기 제 2 영역의 특징정보로 추출하는 단계; 를 포함하는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 방법.
삭제
제 1항에 있어서,
상기 제 3-1 단계에서,
상기 제어부는, 상기 제 1 서브 블록의 그레디언트(gradient) 성분 변화와 상기 제 2 서브 블록의 그레디언트 성분 변화를 이용하여 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인지 여부를 판단하는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 방법.
제 1항에 있어서,
상기 제 1 추가정보 및 상기 제 2 추가정보는,
상기 제 1 객체 또는 상기 제 2 객체와 관련된 색상정보, 위치정보 및 좌표정보를 포함하는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 방법.
제 1항에 있어서,
상기 제 1 영역의 특징정보, 상기 제 1 추가정보, 상기 제 2 영역의 특징정보 및 상기 제 2 추가정보는, 미리 지정된 메타데이터 구조에 따른 형식으로 상기 메모리에 저장되고,
상기 상기 제 1 추가정보 및 상기 제 2 추가정보는, 상기 미리 지정된 메타데이터 구조 상의 영상프레임 정보, 영역좌표 정보, GPS 좌표 정보, 색상 정보, 날짜 정보, 시간 정보 및 상기 제 1 객체 또는 상기 제 2 객체의 배경과 관련된 정보를 포함하는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 방법.
제 1항에 있어서,
상기 제 1-2 단계의 상기 제 1 객체의 검출 및 상기 제 2-2 단계의 상기 제 2 객체의 검출은, DSS(Single Shot Detector), DSSD(Deconvolution Single Shot Detector), E-DSSD(Enhanced Deconvolution Single Shot Detector), YOLO v3 및 Fast-RCNN 중 적어도 하나를 기초로 한 객체인식 방법에 의해 수행되는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 방법.
카메라, 제어부, 메모리 및 제어부를 포함하는 지역적 매칭을 이용한 객체 재식별 장치에 있어서,

상기 카메라는, 제 1 영상을 획득하고,
상기 제어부는,
상기 제 1 영상 내에 존재하는 제 1 객체를 검출하고,
상기 제 1 영상 내에서 상기 제 1 객체가 존재하는 제 1 영역에 대해 번호 인식을 시도하며,
상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생된 경우, 상기 제 1 영역의 특징정보를 추출하고,

상기 메모리는, 상기 제 1 영역의 특징정보 및 상기 제 1 영상 내의 상기 제 1 객체와 관련된 제 1 추가정보를 함께 저장하며,

미리 지정된 시간이 경과한 이후, 상기 카메라는 통해 제 2 영상을 획득하고,
상기 제어부는,
상기 제 2 영상 내에 존재하는 상기 제 2 객체를 검출하고,
상기 제 2 영상 내에서 상기 제 2 객체가 존재하는 제 2 영역에 대해 번호 인식을 시도하며,
상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생된 경우, 상기 제 2 영역의 특징정보를 추출하고,
상기 메모리는, 상기 제 2 영역의 특징정보 및 상기 제 2 영상 내의 상기 제 2 객체와 관련된 제 2 추가정보를 함께 저장하며,

상기 제어부는,
상기 제 1 영역의 특징정보, 상기 제 1 추가정보, 상기 제 2 영역의 특징정보 및 상기 제 2 추가정보를 이용하여, 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인지 여부를 판단하고,

상기 제 1 객체와 상기 제 2 객체가 동일한 객체인 경우, 상기 제어부는,
상기 제 1 영역과 상기 제 2 영역에 대해 번호 인식을 시도한 결과를 함께 이용하여 상기 제 1 객체의 번호를 인식하며,

상기 번호의 미 인식 및 부분 인식 중 적어도 하나의 이벤트가 발생되는 경우, 상기 제어부는,
복수의 서브 블록으로 구성된 매크로 블록을 이용하여, 상기 제 1 영역 또는 상기 제 2 영역을 그리드(grid)로 설정하고,
상기 그리드 상의 중심점을 기준으로 대칭 형태 구조를 생성하고, 상기 대칭 형태 구조 및 중심라인을 기준으로 상기 복수의 서브 블록 중 상기 제 1 영역 또는 상기 제 2 영역을 식별할 수 있는 제 1 서브 블록 또는 제 2 서브 블록을 상기 제 1 영역 또는 상기 제 2 영역의 특징정보로 추출하는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 장치.
삭제
제 7항에 있어서,
상기 제어부는,
상기 제 1 서브 블록의 그레디언트(gradient) 성분 변화와 상기 제 2 서브 블록의 그레디언트 성분 변화를 이용하여 상기 제 1 객체와 상기 제 2 객체가 동일한 객체인지 여부를 판단하는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 장치.
제 7항에 있어서,
상기 제 1 추가정보 및 상기 제 2 추가정보는,
상기 제 1 객체 또는 상기 제 2 객체와 관련된 색상정보, 위치정보 및 좌표정보를 포함하는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 장치.
제 7항에 있어서,
상기 제 1 영역의 특징정보, 상기 제 1 추가정보, 상기 제 2 영역의 특징정보 및 상기 제 2 추가정보는, 미리 지정된 메타데이터 구조에 따른 형식으로 상기 메모리에 저장되고,
상기 상기 제 1 추가정보 및 상기 제 2 추가정보는, 상기 미리 지정된 메타데이터 구조 상의 영상프레임 정보, 영역좌표 정보, GPS 좌표 정보, 색상 정보, 날짜 정보, 시간 정보 및 상기 제 1 객체 또는 상기 제 2 객체의 배경과 관련된 정보를 포함하는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 장치.
제 7항에 있어서,
상기 제 1 객체의 검출 및 상기 제 2 객체의 검출은,
DSS(Single Shot Detector), DSSD(Deconvolution Single Shot Detector), E-DSSD(Enhanced Deconvolution Single Shot Detector), YOLO v3 및 Fast-RCNN 중 적어도 하나를 기초로 한 객체인식 방법에 의해 수행되는 것을 특징으로 하는 지역적 매칭을 이용한 객체 재식별 장치.