KR102331217B1 - 구간별 현장정보의 실시간 수집을 통한 mms 기반의 수치지도 업데이팅 시스템 - Google Patents

Abstract

본 발명은 구간별 현장정보의 실시간 수집을 통한 MMS 기반의 수치지도 업데이팅 시스템에 관한 것으로, MMS 차량의 GPS 위치값을 측정하는 GPS장치; 촬영을 통해 영상이미지를 생성하는 카메라; 상기 MMS 차량과 지상물 간의 거리를 측정하는 라이다; 촬영 시의 위치값을 기준으로 영상이미지를 분류해서 수집정보DB에 영상이미지 정보로 저장되도록 처리하는 MMS모듈; 지정구역으로의 MMS 진입과 이탈을 확인하는 대상구간 확인모듈; 상기 지정구역의 식별코드와 진입코드 또는 식별코드와 이탈코드를 영상이미지 정보에 링크해서 발신하는 제1통신모듈;로 이루어진 MMS, 상기 MMS로부터 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 수신하는 제2통신모듈; 상기 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 업데이트 대상으로 분류하는 업데이트 설정모듈; 업데이트 대상으로 분류된 영상이미지 정보를 저장하는 수집정보DB; 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장하되, 상기 학습정보는 차종별 앞면구간과 뒷면구간의 이미지를 포함하는 학습정보DB; 상기 차종별 제원 정보를 저장하는 차량정보DB; 현장정보를 저장하되, 상기 현장정보는 블러 처리된 차량이미지를 갖춘 영상이미지를 포함하고, 상기 현장정보는 영상이미지에 구성된 지상물 이미지의 위치정보가 링크되며, 상기 현장정보가 소속될 수치지도의 대상구간이 지정되는 현장정보DB; 지상물 이미지와 현장정보로 구성된 대상구간이 서로 조합해 이루는 수치지도 데이터를 저장하는 수치지도DB; 블러 처리된 영상이미지의 위치값을 확인해서 수치지도의 대상구간을 지정하고 현장정보로 생성하며, 상기 수치지도에 구성된 지상물 이미지의 위치정보를 현장정보에 링크해서 현장정보DB에 저장하는 대상구간 지정모듈; 수치지도의 업데이트 대상으로 분류된 대상구간을 상기 수치지도DB에서 검색하고, 상기 대상구간에 속하는 지상물 이미지를 확인하며, 상기 지상물 이미지에 링크된 현장정보를 현장정보DB에서 검색해서, 상기 대상구간 단위로 지상물 이미지와 해당 현장정보를 수정하는 갱신모듈; 갱신된 상기 대상구간의 지상물 이미지 및 현장정보의 개수 비교하고, 상기 개수가 불일치하면 오류로 간주하여 통지하는 오류확인모듈; 상기 영상이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하되, 추출된 차량이미지의 구성 색상을 분석해서 차량이미지 내에 객체이미지를 파악하고, 상기 차량이미지의 측면구간과 앞면구간, 또는 측면구간과 뒷면구간을 분할해서 앞면구간 또는 뒷면구간의 형태를 바탕으로 딥러닝을 통해 차량이미지의 차종을 확인하되, 상기 측면구간은 차량이미지에서 원형 또는 타원형을 이루며 하방 돌출한 둘 이상의 바퀴 이미지가 형성된 구간이며, 상기 앞면구간 또는 뒷면구간은 차량이미지에서 측면구간의 반대측 구간에 위치한 지정 색상의 객체이미지를 경계로 나뉜 구간이 되는 딥러닝 모듈; 상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하며, 하기 유효구간 내에서 글자를 탐색하는 이미지 분석모듈; 상기 이미지 분석모듈이 추출한 번호판 이미지를 블러 처리하는 블러모듈; 상기 딥러닝 모듈이 확인한 차종의 제원 정보를 차량정보DB에서 검색하고, 상기 차량이미지의 측면구간과 앞면구간 또는 측면구간과 뒷면구간 간의 길이 비율과 제원 정보를 비교해서 해당 차량이미지의 촬영각과, 상기 촬영각으로 촬영되는 번호판 이미지의 폭 길이를 연산하고, 상기 차량이미지의 앞면구간 또는 뒷면구간의 중심선을 기준으로 폭 길이에 상응하는 구간을 유효구간으로 설정하되, 상기 차종 앞면구간 또는 뒷면구간의 폭 길이 대비 해당 차량이미지의 앞면구간 또는 뒷면구간의 폭 길이의 비율로 번호판 이미지의 폭 길이를 조정하는 구간분석모듈;로 이루어진 수치지도 서버(SR)를 포함하는 것이다.

Description

구간별 현장정보의 실시간 수집을 통한 MMS 기반의 수치지도 업데이팅 시스템{MAP UPDATING SYSTEM BASED ON MMS BY REAL TIME SPOT INFORMATION EACH SECTION}

본 발명은 구간별 현장정보의 실시간 수집을 통한 MMS 기반의 수치지도 업데이팅 시스템에 관한 것이다.

수치지도는 다양한 루트를 통해 수집된 데이터를 지정된 프로세스에 따라 가공해서 제작된다. 이중 수치지도의 상세 정보는 현장에서의 데이터 수집을 통해 이루어지고, 현장 정보 수집은 MMS(Mobile Mapping System) 방식에 의해 이루어진다.

MMS는 차량에 설치되고 라이다와 카메라와 GPS장치를 구성해서 현 위치를 중심으로 한 주변공간의 형상적 구조 정보와 영상이미지 정보와 현 위치의 위치정보를 수집하는 공지의 기술이다.

이렇게 수집한 형상적 구조 정보는 3D 수치지도 영상의 도화 자료로 활용되고, 영상이미지 정보는 인터넷 포털사이트에서 제공하는 거리현장의 이미지 제공 서비스(이하 '거리뷰 서비스') 등으로 활용된다.

한편, 수치지도는 건축물 등의 지상물 이미지와 도로, 교각 등의 구조물 이미지(이하 '지상물 이미지')에 현장정보를 링크해서 정보를 제공한다. 즉, 사용자가 지상물 이미지를 선택하면, 해당 지상물 이미지의 지상물 정보와 MMS를 통해 수집한 현장정보가 출력되는 것이다.

그런데 이러한 수치지도는 지상 현장의 변화에 따라 빈번한 갱신이 불가피하므로, 수치지도에서 변화가 발생한 지상 현장에 대한 수치지도의 해당 구간을 편집해야 한다. 이때, 지상물 이미지별로 링크된 현장정보도 지상물 이미지의 변화에 따라 변경되어야 하고, 변경되는 MMS의 현장정보는 구간 단위로 일괄해 변경되어야 한다.

그러나 종래에는 MMS의 현장정보가 지상물 단위로 수집되므로, 수치지도를 구간 단위로 편집할 경우에는 해당 구간에 위치한 모든 지상물의 현장정보를 작업자가 일일이 맞춰서 편집해야 하므로 수치지도 데이터의 오류 발생률이 높았다. 더욱이 이렇게 발생한 오류는 사용자에 의해 확인되기 전까지는 확인이 사실상 불가능하므로 수치지도의 질적 저하를 초래하였다.

한편, MMS가 이동하며 촬영한 거리현장의 영상이미지에는 차량의 번호판과 보행자의 얼굴 등을 포함한다. 즉, 수치지도의 지상물 이미지에 링크되는 MMS의 현장정보에는 수집 당시에 MMS가 통행한 차량 및 보행자의 개인정보가 그대로 노출되는 것이다.

따라서 영상이미지 내에 촬영된 차량의 번호판과 보행자의 얼굴은 수치지도의 거리뷰 서비스 제공 이전에 제3자가 식별할 수 없도록 스크린되어야 한다.

종래에는 차량의 번호판을 스크린 하기 위해서 작업자가 직접 일일이 수작업으로 블러 처리했다. 하지만, 상기 수작업 방식은 작업시간을 연장하고 스크린 정확도를 낮추며 인건비를 증가시키는 원인이므로, 시급히 개선해야 할 과제였다.

선행기술문헌 1. 특허공개번호 제10-2019-0095571호(2019.08.16 공개)

이에 본 발명은 상기의 문제를 해소하기 위한 것으로, 수치지도의 구간 단위 갱신 시 대상 구간에 속하는 지상물 이미지의 MMS 현장정보를 일괄해 변경해서 지상물 이미지에 대한 현장정보 데이터의 링크 정확성을 높이고 링크 오류를 정확히 확인하며 MMS 현장정보의 영상이미지에 구성되는 차량이미지의 번호판 이미지를 블러 처리해서 개인정보를 보호하는 구간별 현장정보의 실시간 수집을 통한 MMS 기반의 수치지도 업데이팅 시스템의 제공을 해결하고자 하는 과제로 한다.

상기의 과제를 달성하기 위하여 본 발명은,

MMS 차량의 GPS 위치값을 측정하는 GPS장치; 촬영을 통해 영상이미지를 생성하는 카메라; 상기 MMS 차량과 지상물 간의 거리를 측정하는 라이다; 촬영 시의 위치값을 기준으로 영상이미지를 분류해서 수집정보DB에 영상이미지 정보로 저장되도록 처리하는 MMS모듈; 지정구역으로의 MMS 진입과 이탈을 확인하는 대상구간 확인모듈; 상기 지정구역의 식별코드와 진입코드 또는 식별코드와 이탈코드를 영상이미지 정보에 링크해서 발신하는 제1통신모듈;로 이루어진 MMS, 및

상기 MMS로부터 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 수신하는 제2통신모듈; 상기 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 업데이트 대상으로 분류하는 업데이트 설정모듈; 업데이트 대상으로 분류된 영상이미지 정보를 저장하는 수집정보DB; 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장하되, 상기 학습정보는 차종별 앞면구간과 뒷면구간의 이미지를 포함하는 학습정보DB; 상기 차종별 제원 정보를 저장하는 차량정보DB; 현장정보를 저장하되, 상기 현장정보는 블러 처리된 차량이미지를 갖춘 영상이미지를 포함하고, 상기 현장정보는 영상이미지에 구성된 지상물 이미지의 위치정보가 링크되며, 상기 현장정보가 소속될 수치지도의 대상구간이 지정되는 현장정보DB; 지상물 이미지와 현장정보로 구성된 대상구간이 서로 조합해 이루는 수치지도 데이터를 저장하는 수치지도DB; 블러 처리된 영상이미지의 위치값을 확인해서 수치지도의 대상구간을 지정하고 현장정보로 생성하며, 상기 수치지도에 구성된 지상물 이미지의 위치정보를 현장정보에 링크해서 현장정보DB에 저장하는 대상구간 지정모듈; 수치지도의 업데이트 대상으로 분류된 대상구간을 상기 수치지도DB에서 검색하고, 상기 대상구간에 속하는 지상물 이미지를 확인하며, 상기 지상물 이미지에 링크된 현장정보를 현장정보DB에서 검색해서, 상기 대상구간 단위로 지상물 이미지와 해당 현장정보를 수정하는 갱신모듈; 갱신된 상기 대상구간의 지상물 이미지 및 현장정보의 개수 비교하고, 상기 개수가 불일치하면 오류로 간주하여 통지하는 오류확인모듈; 상기 영상이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하되, 추출된 차량이미지의 구성 색상을 분석해서 차량이미지 내에 객체이미지를 파악하고, 상기 차량이미지의 측면구간과 앞면구간, 또는 측면구간과 뒷면구간을 분할해서 앞면구간 또는 뒷면구간의 형태를 바탕으로 딥러닝을 통해 차량이미지의 차종을 확인하되, 상기 측면구간은 차량이미지에서 원형 또는 타원형을 이루며 하방 돌출한 둘 이상의 바퀴 이미지가 형성된 구간이며, 상기 앞면구간 또는 뒷면구간은 차량이미지에서 측면구간의 반대측 구간에 위치한 지정 색상의 객체이미지를 경계로 나뉜 구간이 되는 딥러닝 모듈; 상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하며, 하기 유효구간 내에서 글자를 탐색하는 이미지 분석모듈; 상기 이미지 분석모듈이 추출한 번호판 이미지를 블러 처리하는 블러모듈; 상기 딥러닝 모듈이 확인한 차종의 제원 정보를 차량정보DB에서 검색하고, 상기 차량이미지의 측면구간과 앞면구간 또는 측면구간과 뒷면구간 간의 길이 비율과 제원 정보를 비교해서 해당 차량이미지의 촬영각과, 상기 촬영각으로 촬영되는 번호판 이미지의 폭 길이를 연산하고, 상기 차량이미지의 앞면구간 또는 뒷면구간의 중심선을 기준으로 폭 길이에 상응하는 구간을 유효구간으로 설정하되, 상기 차종 앞면구간 또는 뒷면구간의 폭 길이 대비 해당 차량이미지의 앞면구간 또는 뒷면구간의 폭 길이의 비율로 번호판 이미지의 폭 길이를 조정하는 구간분석모듈;로 이루어진 수치지도 서버(SR)

를 포함하는 구간별 현장정보의 실시간 수집을 통한 MMS 기반의 수치지도 업데이팅 시스템이다.

상기의 본 발명은, 수치지도의 구간 단위 갱신 시 대상 구간에 속하는 지상물 이미지의 MMS 현장정보를 일괄해 변경해서 지상물 이미지와 관련한 MMS 현장정보를 작업자가 수작업으로 일일이 편집할 필요가 없고 지상물 이미지에 대한 현장정보 데이터의 링크 정확성을 높이며 링크 오류를 정확히 확인할 수 있는 한편, MMS가 차량의 이동을 따라 현장을 촬영하며 수집한 현장정보의 영상이미지 정보에서 개인정보에 해당하는 차량의 번호판을 자동으로 정확하게 식별하고 블러 처리하므로 신뢰할 수 있는 개인정보 보호는 물론 수동 방식과 비교해 경제적이고 신속한 편집 효과를 기대할 수 있다.

도 1은 본 발명에 따른 수치지도 업데이팅 시스템의 개념을 개략적으로 도시한 구성도이고,
도 2는 본 발명에 따른 수치지도 업데이팅 시스템의 일 실시 예를 도시한 블록도이고,
도 3은 본 발명에 따른 수치지도 업데이팅 시스템의 MMS 차량이 대상구간을 통과하는 모습을 개략적으로 도시한 도면이고,
도 4는 본 발명에 따른 수치지도 업데이팅 시스템을 통해 출력된 수치지도의 모습을 보인 이미지이고,
도 5는 본 발명에 따른 수치지도 업데이팅 시스템의 구간 단위의 수치지도 갱신 모습을 개략적으로 도시한 도면이고,
도 6는 본 발명에 따른 수치지도 업데이팅 시스템의 동작 프로세스의 일 실시 예를 도시한 플로차트이고,
도 7은 본 발명에 따른 수치지도 업데이팅 시스템이 처리하는 영상이미지를 보인 이미지이고,
도 8는 상기 영상이미지에 구성된 차량이미지의 구성 픽셀을 개략적으로 도시한 도면이고,
도 9는 상기 영상이미지의 블러 처리 모습을 도시한 도면이고,
도 10은 본 발명에 따른 수치지도 업데이팅 시스템이 상기 영상이미지에서 차량이미지를 블러 처리한 모습을 보인 이미지이고,
도 11은 본 발명에 따른 수치지도 업데이팅 시스템이 이미지 분석을 통해 차량의 번호판을 탐색하는 과정을 순차로 보인 이미지이고,
도 12은 본 발명에 따른 수치지도 업데이팅 시스템이 번호판 이미지를 블러 처리한 모습을 보인 이미지이고,
도 13는 본 발명에 따른 수치지도 업데이팅 시스템의 다른 실시 예를 도시한 블록도이고,
도 14은 본 발명에 따른 수치지도 업데이팅 시스템의 동작 프로세스의 다른 실시 예를 도시한 플로차트이고,
도 15와 도 16는 본 발명에 따른 수치지도 업데이팅 시스템이 차량이미지의 가려진 부분을 제외하고 구간을 분류하는 모습을 도시한 도면이고,
도 17은 본 발명에 따른 수치지도 업데이팅 시스템이 촬영각에 따른 차량의 구간 비율을 개략적으로 도시한 도면이고,
도 18는 본 발명에 따른 수치지도 업데이팅 시스템이 차량이미지에서 번호판 이미지가 위치하는 유효구간을 표시한 도면이다.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.

이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.

도 1은 본 발명에 따른 수치지도 업데이팅 시스템의 개념을 개략적으로 도시한 구성도이고, 도 2는 본 발명에 따른 수치지도 업데이팅 시스템의 일 실시 예를 도시한 블록도이고, 도 3은 본 발명에 따른 수치지도 업데이팅 시스템의 MMS 차량이 대상구간을 통과하는 모습을 개략적으로 도시한 도면이다.

도 1 내지 도 3을 참조하면, 본 발명에 따른 수치지도 업데이팅 시스템은, 차량 등의 이동수단에 장착되며 현장의 GPS 위치 측정, 라이다 측량, 촬영 등을 수행하는 MMS와, MMS로부터 수신한 데이터를 처리해서 수치지도를 대상구간 단위로 업데이트하는 수치지도 서버(SR)로 구성된다.

여기서 MMS는 MMS 차량(MMS1, MMS2)의 GPS 위치값을 측정하는 GPS장치(11)와, 촬영을 통해 영상이미지를 생성하는 카메라(12)와, MMS 차량(MMS1, MMS2)을 기준으로 현장 지상물과의 거리를 측정하는 라이다(13)와, 상기 영상이미지에 위치값을 설정하고 분류해서 수집정보DB(15)에 영상이미지 정보로 저장되도록 처리하는 MMS모듈(14)과, 수치지도에서 구획된 지정구역(P)으로의 진입과 이탈을 확인하는 대상구간 확인모듈(28)과, 지정구역(P)의 식별코드와 진입코드 또는 식별코드와 이탈코드를 영상이미지 정보에 링크해서 발신하는 제1통신모듈(TR1)로 이루어진다.

따라서, 도 3과 같이 MMS 차량(MMS1)이 지정구역(P)에 진입하면 대상구간 확인모듈(28)은 GPS 위치값을 확인해서 해당 지정구역(P)의 식별코드를 검색하고, MMS 차량(MMS1)이 지정구역(P)에 진입하였음을 안내하기 위한 진입코드를 생성한다. 이후 대상구간 확인모듈(28)은 지정구역(P) 경계에서 카메라(12)가 수집한 영상이미지에 식별코드와 진입코드를 링크한다. 또한, MMS 차량(MMS2)이 지정구역(P)을 이탈하면 대상구간 확인모듈(28)은 GPS 위치값을 확인해서 해당 지정구역(P)의 식별코드를 검색하고 MMS 차량(MM2)이 지정구역(P)을 이탈하였음을 안내하기 위한 이탈코드를 생성한다. 이후 대상구간 확인모듈(28)은 지정구역(P) 경계에서 카메라(12)가 수집한 영상이미지에 식별코드와 이탈코드를 링크한다. 참고로, MMS 차량(MMS1, MMS2)이 진입 및 이탈한 지정구역(P)은 수치지도의 업데이트 대상구간으로 설정되며, 상기 대상구간에 속하는 지상물 이미지와 해당 현장정보는 갱신모듈(26)에 의해 업데이트 된다.

계속해서, 수치지도 서버(SR)는, 제2통신모듈(TR2)과 업데이트 설정모듈(29)과 수집정보DB(15)와 학습정보DB(16)와 현장정보DB(23)와 수치지도DB(24)와 대상구간 지정모듈(25)과 갱신모듈(26)과 오류확인모듈(27)과 딥러닝 모듈(17)과 이미지 분석모듈(18)과 블러모듈(19)과 구간분석모듈(22)로 이루어진다.

여기서 제2통신모듈(TR2)은, MMS로부터 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 수신한다. 제1통신모듈(TR1)과 제2통신모듈(TR2) 간의 통신은 무선으로 이루어질 수 있고, 보안성을 목적으로 데이터의 암호화 처리가 이루어진다.

업데이트 설정모듈(29)은 제2통신모듈(TR2)을 통해 수신한 데이터에서 상기 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 확인하고, 해당하는 영상이미지 정보를 업데이트 대상으로 분류한다. 결국, 갱신모듈(26)은 수치지도에서 해당 대상구간의 지상물 이미지와 현장정보를 일괄해 수정한다.

도 4는 본 발명에 따른 수치지도 업데이팅 시스템을 통해 출력된 수치지도의 모습을 보인 이미지이고, 도 5는 본 발명에 따른 수치지도 업데이팅 시스템의 구간 단위의 수치지도 갱신 모습을 개략적으로 도시한 도면이다.

도 1 내지 도 5를 참조하면, 본 발명에 따른 수치지도 업데이팅 시스템은, MMS 이동수단(MMS1, MMS2)의 GPS 위치값을 측정하는 GPS장치(11); 촬영을 통해 영상이미지를 생성하는 카메라(12); MMS 차량(MMS1, MMS2)과 지상물 간의 거리를 측정하는 라이다(13); 촬영 시의 위치값을 기준으로 영상이미지를 분류해서 수집정보DB(15)에 영상이미지 정보로 저장되도록 처리하는 MMS모듈(14); 지정구역(P)으로의 MMS 진입과 이탈을 확인하는 대상구간 확인모듈(28); 지정구역(P)의 식별코드와 진입코드 또는 식별코드와 이탈코드를 영상이미지 정보에 링크해서 발신하는 제1통신모듈(TR1);로 이루어진 MMS를 포함한다. 참고로 수치지도(MA)의 지상물 이미지(H1, H2)는 도로 이미지(St)도 포함할 수 있다.

또한, 본 발명에 따른 수치지도 업데이팅 시스템은, 상기 MMS로부터 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 수신하는 제2통신모듈(TR2); 상기 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 업데이트 대상으로 분류하는 업데이트 설정모듈(29); 업데이트 대상으로 분류된 영상이미지 정보를 저장하는 수집정보DB(15); 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장하되, 상기 학습정보는 차종별 앞면구간과 뒷면구간의 이미지를 포함하는 학습정보DB(16); 상기 차종별 제원 정보를 저장하는 차량정보DB(21); 현장정보를 저장하되, 상기 현장정보는 블러 처리된 차량이미지를 갖춘 영상이미지를 포함하고, 상기 현장정보는 영상이미지에 구성된 지상물 이미지의 위치정보가 링크되며, 상기 현장정보가 소속될 수치지도의 대상구간(P1, P2)이 지정되는 현장정보DB(23); 지상물 이미지와 현장정보로 구성된 대상구간이 서로 조합해 이루는 수치지도 데이터를 저장하는 수치지도DB(24); 블러 처리된 영상이미지의 위치값을 확인해서 수치지도의 대상구간을 지정하고 현장정보로 생성하며, 상기 수치지도에 구성된 지상물 이미지의 위치정보를 현장정보에 링크해서 현장정보DB(23)에 저장하는 대상구간 지정모듈(25); 수치지도의 업데이트 대상으로 분류된 대상구간을 상기 수치지도DB(24)에서 검색하고, 상기 대상구간에 속하는 지상물 이미지를 확인하며, 상기 지상물 이미지에 링크된 현장정보를 현장정보DB(23)에서 검색해서, 상기 대상구간 단위로 지상물 이미지와 해당 현장정보를 수정하는 갱신모듈(26); 갱신된 상기 대상구간의 지상물 이미지 및 현장정보의 개수 비교하고, 상기 개수가 불일치하면 오류로 간주하여 통지하는 오류확인모듈(27); 상기 영상이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하되, 추출된 차량이미지의 구성 색상을 분석해서 차량이미지 내에 객체이미지를 파악하고, 상기 차량이미지의 측면구간과 앞면구간, 또는 측면구간과 뒷면구간을 분할해서 앞면구간 또는 뒷면구간의 형태를 바탕으로 딥러닝을 통해 차량이미지의 차종을 확인하되, 상기 측면구간은 차량이미지에서 원형 또는 타원형을 이루며 하방 돌출한 둘 이상의 바퀴 이미지가 형성된 구간이며, 상기 앞면구간 또는 뒷면구간은 차량이미지에서 측면구간의 반대측 구간에 위치한 지정 색상의 객체이미지를 경계로 나뉜 구간이 되는 딥러닝 모듈(17); 상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하며, 하기 유효구간 내에서 글자를 탐색하는 이미지 분석모듈(18); 상기 이미지 분석모듈이 추출한 번호판 이미지를 블러 처리하는 블러모듈(19); 상기 딥러닝 모듈(17)이 확인한 차종의 제원 정보를 차량정보DB(21)에서 검색하고, 상기 차량이미지의 측면구간과 앞면구간 또는 측면구간과 뒷면구간 간의 길이 비율과 제원 정보를 비교해서 해당 차량이미지의 촬영각과, 상기 촬영각으로 촬영되는 번호판 이미지의 폭 길이를 연산하고, 상기 차량이미지의 앞면구간 또는 뒷면구간의 중심선을 기준으로 폭 길이에 상응하는 구간을 유효구간으로 설정하되, 상기 차종 앞면구간 또는 뒷면구간의 폭 길이 대비 해당 차량이미지의 앞면구간 또는 뒷면구간의 폭 길이의 비율로 번호판 이미지의 폭 길이를 조정하는 구간분석모듈(22);로 이루어진 수치지도 서버(SR)를 포함한다.

각 구성을 좀 더 구체적으로 설명하면, 수집정보DB(15)는 MMS(Mobile Mapping System)의 GPS장치(11)가 측정한 위치값과, 카메라(12)가 촬영한 영상이미지와, 라이다(13)가 측정한 지상물과의 거리값을 데이터로 저장한다. 여기서 영상이미지는 현 위치값과 링크되어서 해당 영상이미지의 촬영 위치를 확인할 수 있다. 영상이미지에 위치값이 설정된 영상이미지 정보는 해당 영상이미지와는 독립시켜서 저장할 수도 있다.

학습정보DB(16)는, 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장한다. 본 발명의 수치지도 업데이팅 시스템은 R-CNN(Convolutional Neural Network) 기반의 딥러닝 기술을 활용해서 영상이미지를 분석하고 차량이미지를 탐색하므로, 딥러닝 학습을 위한 차량의 형상과 색상 등의 학습정보를 확보한다. 또한, 탐색한 차량이미지는 학습정보에 보강되어서 딥러닝의 성능을 높인다.

차량정보DB(21)는 차종별 제원 정보를 저장한다. 차종은 승용차, 트럭, 버스는 물론 일반 크레인, 굴삭기 등 특수목적 차량도 포함할 수 있다. 제원은 이러한 차량의 외관 치수를 포함하며, 제작사별 모델 단위의 상세한 데이터인 것이 바람직하다.

현장정보DB(23)는 해당 지상물 이미지(H1, H2)에 링크된 현장정보를 저장한다. 현장정보는 블러 처리된 차량이미지를 갖춘 MMS 영상이미지를 포함한다. 또한, 현장정보는 해당하는 지상물 이미지(H1, H2)에 링크되며, 이를 위해 영상이미지에 구성된 해당 지상물 이미지(H1, H2)의 위치정보가 해당 현장정보에 링크된다. 결국, 사용자가 수치지도(MA)에서 지상물 이미지(H1, H2)를 선택하면, 해당 지상물 이미지(H1, H2)의 위치정보에 따라 현장정보, 즉 영상이미지가 도 4와 같이 출력된다. 한편, 수치지도(MA)는 하나 이상의 대상구간(P1, P2)이 조합되어 이루는데, 현장정보로 활용되는 영상이미지는 수치지도(MA)의 대상구간(P1, P2)이 위치값에 의해 지정된다. 따라서 사용자는 현장정보가 위치하는 대상구간(P1, P2)과 지상물 이미지(H1, H2)를 확인할 수 있다.

수치지도DB(24)는 지상물 이미지(H1, H2)와 현장정보로 구성된 대상구간(P1, P2)이 서로 조합해 이루는 수치지도(MA) 데이터를 저장한다.

계속해서, 본 발명에 따른 수치지도 업데이팅 시스템은, 블러 처리된 영상이미지의 위치값에 따라 해당하는 지상물 이미지(H1, H2)와 수치지도(MA)의 대상구간(P1, P2)을 지정하고 현장정보DB에 저장하는 대상구간 지정모듈(25); 갱신 대상 수치지도(MA)를 수치지도DB(24)에서 검색하고, 갱신 대상구간(P1, P2)에 속하는 현장정보를 현장정보DB(23)에서 검색해서, 갱신 대상구간(P1, P2)의 지상물 이미지(H1, H2)에 링크된 현장정보를 모두 수정하는 갱신모듈(26); 수치지도(MA)에서 갱신 대상구간(P1, P2)의 지상물 이미지(H1, H2)의 개수와 대상구간(P1, P2)에 링크된 현장정보의 개수를 비교해서, 상기 개수가 불일치하면 오류를 인지하고 통지하는 오류확인모듈(27); 상기 영상이미지에 위치값을 설정하고 분류해서 수집정보DB(15)에 영상이미지 정보로 저장하는 MMS모듈(14); 상기 영상이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하되, 추출된 차량이미지의 구성 색상을 분석해서 차량이미지 내에 객체이미지를 파악하고, 상기 차량이미지의 측면구간과 앞면구간, 또는 측면구간과 뒷면구간을 분할해서 앞면구간 또는 뒷면구간의 형태를 바탕으로 딥러닝을 통해 차량이미지의 차종을 확인하되, 상기 측면구간은 차량이미지에서 원형 또는 타원형을 이루며 하방 돌출한 둘 이상의 바퀴 이미지가 형성된 구간이며, 상기 앞면구간 또는 뒷면구간은 차량이미지에서 측면구간의 반대측 구간에 위치한 지정 색상의 객체이미지를 기준으로 나뉜 구간이 되는 딥러닝 모듈(17; 도 13 참조); 상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하며, 하기 유효구간 내에서 글자를 탐색하는 이미지 분석모듈(18); 이미지 분석모듈(18)이 추출한 번호판 이미지를 블러 처리하는 블러모듈(19); 딥러닝 모듈(17)이 확인한 차종의 제원 정보를 차량정보DB(21)에서 검색하고, 상기 차량이미지의 측면구간과 앞면구간 또는 측면구간과 뒷면구간 간의 길이 비율과 제원 정보를 비교해서 해당 차량이미지의 촬영각과, 상기 촬영각으로 촬영되는 번호판 이미지의 폭 길이를 연산하고, 상기 차량이미지의 앞면구간 또는 뒷면구간의 중심선을 기준으로 폭 길이에 상응하는 구간을 유효구간으로 설정하되, 상기 차종 앞면구간 또는 뒷면구간의 폭 길이 대비 해당 차량이미지의 앞면구간 또는 뒷면구간의 폭 길이의 비율로 번호판 이미지의 폭 길이를 조정하는 구간분석모듈(22);을 더 포함한다.

대상구간 지정모듈(25)은 블러 처리된 영상이미지의 위치값을 확인해서 수치지도(MA)의 대상구간(P1, P2)을 지정하고 현장정보로 생성하며, 상기 수치지도(MA)에 구성된 지상물 이미지(H1, H2)의 위치정보를 현장정보에 링크해서 현장정보DB(23)에 저장한다. 따라서 현장정보에 구성된 영상이미지는 해당 위치값에 의해 자신이 속할 대상구간(P1, P2)이 지정되고, 상기 현장정보는 지상물 이미지(H1, H2)의 위치정보가 링크되어서 사용자가 수치지도(MA) 내에 지상물 이미지(H1, H2)를 선택하면 해당하는 현장정보가 도 4와 같이 출력된다.

갱신모듈(26)은, 수치지도(MA)의 갱신 대상구간(P1, P2)을 상기 수치지도DB에서 검색하고, 상기 대상구간(P1, P2)에 속하는 지상물 이미지(H1, H2)를 확인하며, 상기 지상물 이미지(H1, H2)에 링크된 현장정보를 현장정보DB(23)에서 검색해서, 상기 대상구간(P1, P2) 단위로 지상물 이미지(H1, H2)와 해당 현장정보를 수정한다. 본 발명에서 수치지도(MA)는 대상구간(P1, P2) 단위로 갱신이 이루어지므로, 갱신모듈(26)은 갱신 대상구간(P1, P2)을 수치지도DB(24)에서 검색해서 해당 대상구간(P1, P2)에 속하는 지상물 이미지(H1, H2)와 현장정보를 검색한다. 현장정보는 현장정보DB(23)에서 검색한다. 지상물 이미지(H1, H2)와 현장정보가 검색되면, 갱신모듈(26)은 갱신 대상에 속하는 지상물 이미지(H1, H2)와 현장정보를 일괄해 수정한다. 수치지도(MA)의 대상구간(P1, P2) 범위에서는 MMS에 의한 영상이미지가 일괄해 수정되므로, 대상구간(P1, P2) 내에 건축물이 신축되거나 철거되었어도 상기 대상구간(P1, P2)의 모든 MMS 영상이미지에서는 건축물의 신축 또는 철거 여부를 시각적으로 확인할 수 있다.

오류확인모듈(27)은, 갱신된 상기 대상구간(P1, P2)의 지상물 이미지(H1, H2) 및 현장정보의 개수 비교하고, 상기 개수가 불일치하면 오류로 간주하여 통지한다. 전술한 바와 같이 갱신모듈(26)은 갱신 대상구간(P1, P2)에 속하는 지상물 이미지(H1, H2)와 현장정보를 모두 검색해서 일괄 수정하므로, 갱신 이후의 대상구간(P1, P2)에 속하는 지상물 이미지(H1, H2)의 개수와 현장정보의 개수는 일치할 수밖에 없다. 그러나 갱신과정에서 지상물 이미지(H1, H2) 또는 현장정보가 누락될 수 있고, 이를 통해 대상구간(P1, P2)에 지상물 이미지(H1, H2)만이 표시되거나, 지상물 이미지(H1, H2)가 없는 상태에서 현장정보만이 출력되는 오류가 발생할 수 있다. 따라서 오류확인모듈(27)은 지상물 이미지(H1, H2)의 개수와 현장정보의 개수를 비교해서 일치 여부를 확인한다. 그러나 특정 대상구간(P1, P2)에서는 지상물 이미지(H1, H2)와 현장정보의 불일치가 있을 수 있으므로, 이 경우에는 대상구간(P1, P2)에 참조정보를 부가해서 오류확인모듈(27)이 해당 불일치를 디폴트하도록 처리한다.

MMS모듈(14)은, 영상이미지에 위치값을 설정하고 분류해서 수집정보DB(15)에 영상이미지 정보로 저장한다. 전술한 바와 같이 GPS장치(11)는 위치값을 측정하고, 카메라(12)는 주변 환경을 촬영하여 영상이미지를 수집하며, MMS모듈(14)은 영상이미지에 해당 위치값을 설정한다. 결국, 위치값을 입력하면 수집정보DB(15)에서 해당 위치의 영상이미지를 검색하고 출력시킨다.

딥러닝 모듈(17)은 영상이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출한다. 영상이미지는 RGB값을 갖는 컬러 영상이므로 딥러닝 모듈(17)은 영상이미지의 RGB값을 분석해서 색상을 확인하고, 이를 기반으로 영상이미지에 구성된 객체를 탐색한다. 즉, 동일한 RGB값이 군집해 이루는 구역을 하나의 객체로 간주하고, 해당 구역의 경계를 윤곽 라인으로 해서 윤곽 라인이 폐구간을 이루는 구역을 하나의 객체로 간주하는 것이다. 참고로, 차량이미지에는 차체 이미지 내에 전조등 이미지, 후미등 이미지, 방향지시등 이미지, 흡기구 이미지, 전체면유리 이미지, 도어 유리 이미지, 후면유리 이미지 등이 구성되고, 각각의 이미지는 윤곽 라인이 폐구간을 이루어서 하나의 객체를 이룬다. 딥러닝 모듈(17)은 상기 학습정보에 따라 해당 객체를 분석해서 차체 이미지만을 차량이미지로 간주하고 다른 이미지는 제외한다.

딥러닝 모듈(17)은 완전한 형태의 차량이미지를 영상이미지 내에서 추출할 수도 있으나, 다른 차량이미지 또는 구조물 등에 의해 일부가 가려진 차량이미지도 영상이미지 내에서 추출할 수 있다. 참고로 차량이미지 일치율이 기준치 이상인 객체만을 차량이미지로 지정하고, 기준치 미만인 객체는 무시한다.

이미지 분석모듈(18)은 딥러닝 모듈(17)이 추정한 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인한다. 이미지 분석모듈(18)의 보다 구체적인 동작 프로세스는 아래에서 다시 설명한다.

블러모듈(19)은 이미지 분석모듈(18)이 추출한 번호판 이미지를 블러 처리한다. 번호판 이미지는 개인정보이므로, 외부에 공개할 때에는 삭제 또는 블러 처리를 해야 한다. 이를 위해 전술한 과정에 따라 영상이미지 내에 번호판 이미지의 위치가 자동으로 추적되고, 블러모듈(19)은 해당 위치의 이미지를 박스 또는 흐리게 편집해서 번호판에 기재된 차량번호가 드러나지 않도록 처리한다. 블러모듈(19)의 이미지 편집은 일반적인 이미지 애플리케이션의 기본 메뉴이므로, 이에 대한 구체적인 프로세스와 코드 구조의 설명은 생략한다.

도 6는 본 발명에 따른 수치지도 업데이팅 시스템의 동작 프로세스의 일 실시 예를 도시한 플로차트이고, 도 7은 본 발명에 따른 수치지도 업데이팅 시스템이 처리하는 영상이미지를 보인 이미지이고, 도 8는 상기 영상이미지에 구성된 차량이미지의 구성 픽셀을 개략적으로 도시한 도면이고, 도 9는 상기 영상이미지의 블러 처리 모습을 도시한 도면이고, 도 10은 본 발명에 따른 수치지도 업데이팅 시스템이 상기 영상이미지에서 차량이미지를 블러 처리한 모습을 보인 이미지이고, 도 11은 본 발명에 따른 수치지도 업데이팅 시스템이 이미지 분석을 통해 차량의 번호판을 탐색하는 과정을 순차로 보인 이미지이고, 도 12은 본 발명에 따른 수치지도 업데이팅 시스템이 번호판 이미지를 블러 처리한 모습을 보인 이미지이다.

도 2, 도 6 내지 도 12을 참조해서 본 발명에 따른 수치지도 업데이팅 시스템의 동작 프로세스를 순차 설명한다.

S10; 정보 수집 단계

MMS는 현장을 이동하며 GPS장치(11)와 카메라(12)와 라이다(13)를 이용해 위치값과 영상이미지(IM1)와 거리값을 실시간으로 수집하고, MMS모듈(14)은 카메라(12)로부터 수신한 영상이미지(IM1)에 해당 위치값을 설정해서 영상이미지(IM1) 정보로 생성한다. MMS모듈(14)은 영상이미지(IM1) 정보를 수집정보DB(15)에 저장한다.

S20; 영상이미지 객체 탐색 단계

딥러닝 모듈(17)은 수집정보DB(15)에 저장된 영상이미지(IM1)의 RGB값을 픽셀 단위로 확인해서 동일한 RGB값이 군집한 구간을 하나의 객체로 간주하여 분류한다. RGB값을 기준으로 분류한 객체는 차량이미지(C1)는 물론 차량이미지(C1) 내에 위치한 물체와, 차량이미지(C1) 외에 위치한 물체를 모두 포함한다.

도 8의 (a)도면과 같이 영상이미지(IM2)에서의 객체 탐색은 픽셀(31)의 RGB값 확인을 통해 이루어진다. 본 실시에서 딥러닝 모듈(17)은 일정 개수의 픽셀(31)을 하나의 셋(32)으로 구성해서 영상이미지(IM2)를 셋(32) 단위로 분석한다. 본 실시에서 셋(32)은 4x4 픽셀을 이룬다. 딥러닝 모듈(17)은 셋(32) 단위로 픽셀(31)을 분석하면서 구성 픽셀(31)의 RGB값이 모두 동일하면 해당 셋(32)에 구성된 픽셀(31) 단위의 분석을 생략하고, 서로 다른 RGB값의 픽셀(31)이 확인되면 해당 셋(32)에 구성된 픽셀(31)을 일일이 분석한다.

셋(32) 단위의 분석 방식을 통해서 이웃하는 픽셀과 RGB값이 다른 픽셀(33)을 확인하고, 해당 픽셀(33)의 조합이 이루는 라인의 형태가 차량이미지인지 여부를 딥러닝 기술을 통해 분석한다. 딥러닝 기술은 차량이미지 아래에서 설명하는 추출 과정에서 좀 더 구체적으로 설명한다. 상기 딥러닝 과정을 통해 차량이미지(C2)의 일부분(C21)인지 여부가 확인되면, 해당 픽셀(33)을 차량이미지(C2)의 윤곽 중 외곽으로 설정한다. 주지된 바와 같이 픽셀(33)은 하나의 RGB값을 출력하므로, 도 8의 (a)도면에 도시된 하나의 픽셀(33)은 둘 이상의 중복된 색상이 아닌 하나의 색상을 출력해야 한다. 그러나 도면의 이해를 돕기 위해서 해당 픽셀(33)에는 차량이미지(C2)의 외곽 라인을 도시하였다. 계속해서, 딥러닝 모듈(17)은 픽셀(33)의 조합이 이루는 라인의 형태가 폐구간을 이루면 해당 폐구간을 영상이미지(IM2)에서 객체로 간주하고, 상기 라인을 해당 객체의 외곽으로 설정한다.

이외에도 딥러닝 모듈(17)은 도 9의 (a)도면과 같이 차량이미지(C2)를 셋(32) 단위가 아닌 픽셀(31) 단위의 분석 방식을 통해서 이웃하는 픽셀과 RGB값이 다른 픽셀(34)을 확인하고, 해당 픽셀(34)의 조합이 이루는 라인의 형태가 차량이미지인지 여부를 딥러닝 기술을 통해 분석할 수 있다. 이러한 분석 방식은 셋(32) 단위의 영상이미지(IM2) 분석에 비해 분석 시간과 시스템 부하가 상대적으로 크지만, 영상이미지(IM2)의 분석 정밀도를 높인다. 계속해서, 딥러닝 모듈(17)은 픽셀(34)의 조합이 이루는 라인의 형태가 폐구간을 이루면 해당 폐구간을 영상이미지(IM2)에서 객체로 간주하고, 상기 라인을 해당 객체의 외곽으로 설정한다.

참고로, 차량이미지(C1) 내에 위치한 물체는 전조등 이미지, 후미등 이미지, 방향지시등 이미지, 흡기구 이미지, 전체면유리 이미지, 도어 유리 이미지, 후면유리 이미지 등이 있고, 차량이미지(C1) 외에 위치한 물체는 신호등 이미지, 차선 이미지, 나무 이미지, 건물 이미지 등이 있다.

S30; 딥러닝을 통한 차량이미지 추출 단계

딥러닝 모듈(17)은 영상이미지(IM2)의 픽셀(31) 분석을 통해 탐색한 객체의 외곽 라인을 이미지의 형태로 분석해서 외곽 라인이 차량이미지(C1)로 추정되는 객체를 추출한다.

딥러닝 모듈(17)은 학습정보DB(16)에 저장된 학습정보를 기반으로 차량이미지(C1)를 추출하는데, 전술한 바와 같이 학습정보는 다양한 형태의 차량이미지이고, 딥러닝 모듈(17)은 상기 학습정보를 기반으로 차량이미지에 대한 형태를 학습해서 영상이미지(IM2)에서 탐색한 객체들 중 차량이미지(C2)를 추출한다.

R-CNN 방식의 딥러닝 기술은 이미 공지의 기술이므로, 여기서는 딥러닝의 이미지 확인과 검출에 대한 구체적인 동작 프로세스 설명은 생략한다.

S40; 차량이미지 윤곽 분석 단계

도 11과 같이 이미지 분석모듈(18)은 영상이미지(IM3)에서 딥러닝 모듈(17)에 의해 추출된 차량이미지(C3)를 분석해서, 차량이미지(C3)의 외곽 라인은 물론 차량이미지(C3)의 내부 라인 등의 윤곽 라인 모두를 추출한다. 이를 위해서 이미지 분석모듈(18)은 파이썬(Python)과 같은 이미지 애플리케이션의 윤곽 라인(Find Contours) 기능이 활용될 수 있다.

이미지 분석모듈(18)이 추출한 윤곽 라인은 시점과 종점을 갖는 하나의 라인이거나, 두 라인이 서로 교차하며 이루는 라인이거나, 폐구간을 이루는 라인일 수 있는데, 이미지 분석모듈(18)은 윤곽 라인의 외곽지점과 접하며 윤곽 라인 전체를 덮는 면적의 4각 형상을 Prepare Data와 같이 생성한다.

S50; 번호판 이미지 추출 단계

이미지 분석모듈(18)는 전술한 프로세스에 따라 생성된 4각 형상을 분석해서 차량이미지(C3) 내에 글자를 탐색한다. 차량이미지(C3)에는 차량의 명칭 및 각종 글자들이 포함될 수 있고, 차량이미지(C3)에 표시된 글자는 이미지 분석모듈(18)의 Prepare Data 과정에 따라 4각 형상으로 표현되므로, 이미지 분석모듈(18)은 영상이미지(IM3)에 표현된 4각 형상들 중 지정 개수 이상이 일정한 배열성을 갖는 대상을 검색한다.

차량번호는 지정된 형식의 배열성이 있으므로, 탐색된 4각 형상에서 차량번호의 형식에 부합하는 배열성을 갖는 4각 형상을 확인하면 해당 4각 형상의 글자를 차량번호로 확정한다.

차량번호가 확정되면, 해당 글자가 위치한 구간이 번호판이므로, 딥러닝 모듈(17)이 영상이미지(IM3)에서 탐색한 객체 중 이미지 분석모듈(18)이 확정한 구간 내에 객체를 번호판 이미지로 추출한다.

S60; 블러 처리 단계

블러모듈(19)은 번호판 이미지로 추출된 구간의 픽셀을 편집해서 도 12과 같이 해당 레이어(B3)에 의해 차량번호가 노출되지 않도록 한다. 따라서 영상이미지(IM1)에서 차량이미지(C1)는 블러 처리 없이 모두 노출되고, 해당 번호판 이미지는 블러 처리된다.

이외에도 딥러닝 모듈(17)이 RGB값 분석을 통해 영상이미지(IM2)에서 객체를 탐색하고 해당 객체가 차량이미지(C2)인 것으로 확인되면, 블러모듈(19)은 해당 차량이미지(C2)의 전체 픽셀(33)을 지정된 RGB값으로 변경한다. 본 실시의 블러모듈(19)은 도 8의 (b)도면과 같이 차량이미지(C2)의 RGB값을 갖는 픽셀(31)의 셋(32)으로 레이어(B1)를 생성하고, 해당 레이어(B1)는 지정된 RGB값이 출력되도록 변경한다. 도 8의 (b)도면은 블러 처리를 위한 레이어(B1)가 4각 형태인 것으로 예시하였다. 도 10의 (a)도면은 본 실시의 블러 처리 기술을 적용한 이미지이다.

이외에도 딥러닝 모듈(17)이 도 9의 (a)도면과 같이 차량이미지(C2)를 셋(32) 단위가 아닌 픽셀(34) 단위로 분석하고, 해당 객체가 차량이미지(C2)인 것으로 확인되면 블러모듈(19)은 해당 차량이미지(C2)의 전체 픽셀(33)을 지정된 RGB값으로 변경한다. 본 실시의 블러모듈(19)은 도 9의 (b)도면과 같이 차량이미지(C2)의 외곽을 이루는 RGB값의 픽셀(34)을 확인하고, 해당 픽셀(34)로 둘러싸인 픽셀들을 레이어(B2)로 생성하며, 해당 레이어(B2)의 픽셀에 지정된 RGB값이 출력되도록 변경한다. 결국, 도 9의 (b)도면과 같이 생성된 레이어(B2)는 차량이미지(C2)의 형태에 대응하게 형성된다. 도 10의 (b)도면은 본 실시의 블러 처리 기술을 적용한 이미지이다.

도 13는 본 발명에 따른 수치지도 업데이팅 시스템의 다른 실시 예를 도시한 블록도이고, 도 14은 본 발명에 따른 수치지도 업데이팅 시스템의 동작 프로세스의 다른 실시 예를 도시한 플로차트이고, 도 15와 도 16는 본 발명에 따른 수치지도 업데이팅 시스템이 차량이미지의 가려진 부분을 제외하고 구간을 분류하는 모습을 도시한 도면이고, 도 17은 본 발명에 따른 수치지도 업데이팅 시스템이 촬영각에 따른 차량의 구간 비율을 개략적으로 도시한 도면이고, 도 18는 본 발명에 따른 수치지도 업데이팅 시스템이 차량이미지에서 번호판 이미지가 위치하는 유효구간을 표시한 도면이다.

도 13 내지 도 18를 참조하면, 본 발명에 따른 수치지도 업데이팅 시스템은, 학습정보DB(16)의 학습정보가 차종별 앞면구간과 뒷면구간(Z2)의 이미지를 포함한다.

또한, 딥러닝 모듈(17)은, 추출된 차량이미지(C4, C5)의 구성 색상을 분석해서 영상이미지에 표시된 차량이미지(C4, C5)의 전체면 색상을 파악하고, 차량이미지(C4, C5)의 측면구간(Z3)과 앞면구간, 또는 측면구간(Z3)과 뒷면구간(Z2)을 분할해서 앞면구간 또는 뒷면구간(Z2)의 형태를 바탕으로 딥러닝을 통해 차량이미지(C4, C5)의 차종을 확인하되, 측면구간(Z3)은 차량이미지(C4, C5)에서 하방 돌출한 둘 이상의 바퀴 이미지(T)가 형성된 구간이며, 앞면구간 또는 뒷면구간(Z3)은 차량이미지(C4, C5)에서 측면구간(Z3)의 반대측 구간에 위치한 지정 색상의 객체이미지(L)를 기준으로 나뉜 구간이다.

또한, 이미지 분석모듈(18)은, 하기 유효구간(Z4) 내에서 글자를 탐색한다.

또한, 본 발명의 수치지도 업데이팅 시스템은, 상기 차종별 제원 정보를 저장하는 차량정보DB(21); 딥러닝 모듈(17)이 분석한 차량이미지(C4, C5)의 색상과 형태 및 분류 구간에 대응하는 차종을 확인해서 해당 차종의 제원을 차량정보DB(21)에서 검색하고, 차량이미지(C4, C5)의 측면구간과 앞면구간 또는 뒷면구간(Z2) 간의 비율과 제원 정보를 비교해서 해당 차량이미지(C4, C5)의 촬영각을 연산하며, 해당 차량이미지(C4, C5)의 번호판 이미지(C51)가 위치한 구간을 파악해서 유효구간(Z4)으로 설정하는 구간분석모듈(22);을 더 포함한다.

학습정보DB(16)에 저장된 학습정보에서 차량이미지(C4, C5) 중의 앞면구간과 뒷면구간(Z2)이 차종별로 구성된다. 즉, 차량이미지(C4, C5)를 트럭, 승용차, 버스 등으로 분류하고 더 상세하게는 차량의 모델별로 분류해서 해당 차량의 앞면구간과 뒷면구간(Z2)의 이미지를 차종별로 저장하는 것이다. 여기서 차량의 모델이란 제작회사와 차량의 모델명 등의 분류 기준을 의미한다.

이미지 분석모듈(18)은 전술한 바와 같이 일정한 배열성을 갖는 4각 형상의 검색 대상 범위가 영상이미지 전체인데, 본 실시에서는 구간분석모듈(22)이 설정한 유효구간(Z4)의 범위 내로 검색 대상 범위가 한정된다. 따라서 번호판 이미지 추출을 위한 소요시간과 시스템 부하를 크게 줄일 수 있다.

차량정보DB(21)와 구간분석모듈(22)은 하기 프로세스 설명을 통해 명확히 한다.

S21; 영상이미지의 구성 색상 분류 단계

전술한 바와 같이 딥러닝 모듈(17)은 영상이미지의 구성 픽셀을 분석해서 RGB값을 확인하고, 이를 기반으로 영상이미지에서 객체를 탐색한다.

객체 탐색은 전술한 바 있으므로, 여기서는 추가 설명을 생략한다.

S22; 지정구간 내 객체이미지 추출 단계

딥러닝 모듈(17)은 영상이미지에서 차량이 통행하는 도로이미지를 추출하고, 도로이미지가 위치한 구간을 지정구간으로 설정한다.

MMS의 이동수단(예; 자동차, 사람 등)은 도로를 따라 주행하며 주변의 각종 정보를 수집한다. 그런데 도로는 차량과 보행자가 통행하므로, 영상이미지에는 도로이미지를 따라 차량이미지와 보행자 이미지가 위치한다. 따라서 딥러닝 모듈(17)은 블러 처리 대상인 차량이미지를 도로이미지의 범위 내에서 검색하고 추출한다. 여기서 도로이미지는 도로의 방향과 횡폭 등에 따라 범위가 달라지므로, 딥러닝 모듈(17)은 도로의 지정된 색상, 라이다(13)가 측정한 거리값, 이동수단에 설치된 MMS의 높이 등에 맞춰서 영상이미지에 도로이미지가 위치할 수 있는 범위 등을 고려하여 지정한다.

S31; 딥러닝을 통한 차량이미지 추출 단계

딥러닝 모듈(17)은 상기 지정범위에서 픽셀의 RGB값 분석을 통해 객체이미지를 탐색하고, 학습정보에 따른 딥러닝을 기반해서 상기 객체이미지들 중 차량이미지를 추출한다.

차량이미지 추출에 관한 설명은 전술한 바 있으므로 여기서는 설명을 생략한다.

참고로, 딥러닝 모듈(17)의 차량이미지 추출을 위한 기준치인 일치율을 도 15과 같이 완전한 형태의 차량이미지(C4) 추출을 위한 크기에 한정하지 않으며, 다른 객체이미지에 의해 일부가 가려진 차량이미지(C5)도 차량이미지로서 추출할 수 있는 크기인 것이 바람직하다. 따라서 딥러닝 모듈(17)은 설정된 일치율에 따라 영상이미지에서 정면에 바로 보이는 차량이미지(C4)뿐만 아니라 해당 차량이미지(C4)에 의해 일부가 가려진 차량이미지(C5)도 추출할 수 있다.

물론, 딥러닝 모듈(17)은 영상이미지에서 차량이미지 추출 시에 객체이미지가 지정된 일치율 미만이면, 해당 객체이미지는 차량이미지가 아닌 것으로 판단하고 추출 대상에서 제외한다.

S32; 차량이미지의 구성 색상 분석 단계

딥러닝 모듈(17)은 차량이미지(C4, C5) 추출 과정에서 확인한 객체이미지의 윤곽 라인 중 차량이미지(C4, C5) 내에 위치한 윤곽 라인을 확인해서 차량이미지(C4, C5)를 이루는 객체이미지의 구성과 객체이미지별 색상을 확인한다.

차량이미지(C4, C5)의 구성 및 색상 분석을 통해 전조등 이미지, 후미등 이미지, 방향지시등 이미지, 흡기구 이미지, 전체면유리 이미지, 도어 유리 이미지, 후면유리 이미지, 바퀴 이미지 등을 확인할 수 있다.

S33; 차량측면 구간 확인 단계

딥러닝 모듈(17)은 차량이미지(C5)의 구성 및 색상 분석을 통해 전술한 객체이미지를 확인하고, 상기 객체이미지 중 둘 이상의 바퀴 이미지를 탐색한다. 여기서 차량이미지에 앞면구간 또는 뒷면구간만 촬영된 경우에는 검은 색상의 원형 또는 타원형으로 된 둘 이상의 바퀴 이미지가 탐색되지 않고, 도시한 바와 같이 뒷면구간과 측면구간이 촬영된 경우에는 검은 색상의 타원형으로 된 둘 이상의 바퀴 이미지가 탐색된다. 또한, 측면구간만 촬영된 경우에는 검은 색상의 원형으로 된 둘 이상의 바퀴 이미지가 탐색된다. 결국, 바퀴 이미지가 미탐색되면 해당 차량이미지는 차량의 앞면 또는 뒷면이고, 타원형의 바퀴 이미지가 둘 이상 탐색되면 해당 차량이미지(C5)는 차량의 앞면 또는 뒷면이며, 원형의 바퀴 이미지가 둘 이상 탐색되면 해당 차량이미지는 차량의 측면이다.

S34; 차량의 앞면 또는 뒷면 구간 확인 단계

차량이미지(C5)에서 측면 구간이 확인되면, 차량이미지(C5)의 다른 한쪽은 앞면 구간 또는 뒷면 구간이다. 그런데 차량의 앞면에는 전조등 및 방향지시등이 배치되고 뒷면에는 후미등 및 방향지시등이 배치되며, 특히 방향지시등은 앞면 또는 뒷면의 최외곽에 위치하므로, 방향지시등을 앞면과 측면 또는 뒷면과 측면을 구분한다.

이를 응용해서 앞면구간 또는 뒷면구간(Z2)은 차량이미지(C5)에서 측면구간(Z3)의 반대측 구간에 위치한 지정 색상의 객체이미지(L)를 기준으로 나뉜 구간이다. 즉, 방향지시등의 색상인 붉은 색상을 앞면구간과 측면구간(L3), 또는 뒷면구간(Z2)과 측면구간(L3)의 경계점인 객체이미지(L)로 색상으로 지정하고, 딥러닝 모듈(17)은 영상이미지 분석 과정에서 붉은 색상의 객체이미지(L)를 탐색하여 이를 기준으로 차량이미지(C5)의 앞면구간 또는 뒷면구간(Z2)을 확인하는 것이다. 본 실시 예에서 앞면구간과 측면구간(L3), 또는 뒷면구간(Z2)과 측면구간(L3)의 경계점은 도 16의 (b)도면과 같이 객체이미지(L)에서 측면구간(L3) 측 단부이다.

S35; 차종 확인 단계

앞면구간 또는 뒷면구간(Z2)을 확인하면, 딥러닝 모듈(17)은 차량이미지(C5)의 앞면구간 또는 뒷면구간(Z2)의 이미지를 기준으로 해당하는 차종을 학습정보DB(16)에서 검색한다. 차량이미지(C5)의 앞면구간과 뒷면구간(Z2)은 차량의 촬영각과 모델명과 색상 등에 따라 이미지가 다르므로, 다양한 디자인의 이미지를 학습정보를 저장해서 딥러닝 모듈(17)이 학습을 통해 차량이미지(C5)로부터 확인한 앞면 이미지 또는 뒷면(Z2) 이미지로부터 차종을 정확히 확인할 수 있게 한다.

S36; 번호판 유효구간 확인 단계

구간분석모듈(22)은 딥러닝 모듈(17)이 분석한 차량이미지(C5)의 색상과 형태 및 분류 구간에 대응하는 차종을 추정해서 해당 차종의 제원 정보를 차량정보DB에서 검색한다. 여기서 제원 정보는 해당 차종 차량의 치수를 포함한다.

또한 구간분석모듈(22)은 차량이미지(C5)의 측면구간(Z3)과 앞면구간 또는 측면구간(Z3)과 뒷면구간(Z2) 간의 폭 길이 비율과 제원 정보를 비교해서 해당 차량이미지(C5)의 촬영각과, 상기 촬영각으로 촬영되는 번호판 이미지(C51)의 폭 길이를 연산한다.

차량(CA)은 차종에 따라 다른 제원을 가지며, 차량을 보는 시선 각도(촬영각)에 따라 차량(CA)의 뒷면구간(D1 내지 D4)과 측면구간(S1 내지 S3), 또는 앞면구간과 측면구간(S1 내지 S3) 각각의 폭 길이 비율이 달라진다. 즉, 도 17의 (a)도면 내지 (d)도면과 같이 시선 각도가 차량(CA)의 측면구간(S1 내지 S3)으로 근접할수록 뒷면구간(D1 내지 D4)의 폭 길이 대비 측면구간(S1 내지 S3)의 폭 길이가 증가하는 것이다. 이를 응용해서 구간분석모듈(22)은 해당 차종의 뒷면구간(D1 내지 D4)의 폭 길이 대비 측면구간(S1 내지 S3)의 폭 길이 비율을 시선 각도(촬영각)에 따라 연산하고, 차량이미지(C5)에서 뒷면구간(Z2)과 측면구간(Z3)의 폭 길이 비율을 연산한다.

구간분석모듈(22)은 상기 연산을 통해 차량이미지(C5)의 폭 길이 비율에 상응하는 제원 정보 기반의 폭 길이 비율을 검색해서 해당하는 촬영각을 확인한다.

또한 구간분석모듈(22)은 규격화된 폭 길이의 번호판을 상기 촬영각으로 볼 경우의 폭 길이로 연산해서 해당 번호판 이미지를 확인하고, 해당 차종의 앞면구간 또는 뒷면구간(D1 내지 D4)의 폭 길이 대비 해당 차량이미지의 앞면구간 또는 뒷면구간(Z2)의 폭 길이의 비율로 번호판 이미지의 폭 길이를 조정한다.

번호판 이미지의 크기가 연산되면, 구간분석모듈(22)은 차량이미지(C5)의 앞면구간 또는 뒷면구간(Z2)의 중심선(MY)을 기준으로 번호판 이미지의 폭 길이에 상응하는 구간을 유효구간(Z4)으로 설정한다. 따라서 이미지 분석모듈(18)은 유효구간(Z4)의 폭 길이 범위 내에 위치하는 4각 형상(C52)만을 탐색해서 일정한 배열성 여부에 따라 차량번호 여부를 결정한다.

참고로, 번호판 이미지(C51)의 배치 기준이 되는 앞면구간 또는 뒷면구간(Z2, D1 내지 D4)의 중심선(MY)은 도 17과 같이 차량(CA)에 대한 시선 각도(촬영각)에 따라 위치가 변한다. 즉, 차량(CA)에 대한 시선 각도(촬영각)가 측면구간(S1 내지 S3)으로 향할수록 중심선(MY)은 뒷면구간(D1 내지 D4)에서 편향하는 것이다. 따라서 차량이미지(C5)의 앞면구간 또는 뒷면구간(Z2)에 배치할 중심선(MY)의 위치는 해당 촬영각에 따른 좌단(d11 내지 d14)과 우단(d21 내지 d24)의 폭 길이 비율에 맞춰진다.

S41; 윤곽라인 확인 단계

이미지 분석모듈(18)은 전술한 바와 같이 차량이미지(C5)의 윤곽 분석을 통해 차량이미지(C5) 내에 위치한 객체이미지의 윤곽라인을 검출한다.

S42; 유효구간의 번호 추출 단계

이미지 분석모듈(22)은 차량이미지(C5)에서 구간분석모듈(22)이 설정한 유효범위(Z4) 내에 4각 형상(C52)을 탐색하고, 탐색된 4각 형상(C52)의 일정한 배열성 여부를 확인해서 차량번호를 추출한다. 차량번호가 추출되면 이미지 분석모듈(22)은 해당 차량번호의 위치를 기준으로 번호판 이미지(C51)의 범위를 지정해서 블러모듈(19)이 해당 범위의 번호판 이미지(C52)를 블러 처리하게 한다.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

31, 33, 34; 픽셀 32; 셋
B1 내지 B3; 레이어 C1 내지 C5; 차량이미지 C51; 번호판 이미지
C52; 4각 형상 CA; 차량
D1 내지 D4; 뒷면구간 d11 내지 d14; 좌단 d21 내지 d24; 우단
H1, H2; 지상물 이미지 IM1 내지 IM3; 영상이미지
MA; 수치지도 MY; 중심선 P1, P2; 대상구간
S1 내지 S3; 측면구간 St; 도로 이미지
Z2; 뒷면구간 Z3; 측면구간 Z4; 유효구간

Claims (1)

1. 차량에 장착되어 데이터를 수집하는 이동식 도면화 시스템(Mobile Mapping System; 이하 'MMS')와, 상기 MMS로부터 수신한 데이터를 처리해서 수치지도를 대상구간 단위로 업데이트하는 수치지도 서버로 구성된 구간별 현장정보의 실시간 수집을 통한 MMS 기반의 수치지도 업데이팅 시스템에 있어서,
   상기 MMS는, MMS 차량의 GPS 위치값을 측정하는 GPS장치; 촬영을 통해 영상이미지를 생성하는 카메라; 상기 MMS 차량과 지상물 간의 거리를 측정하는 라이다; 촬영 시의 위치값을 기준으로 영상이미지를 분류해서 수집정보DB에 영상이미지 정보로 저장되도록 처리하는 MMS모듈; 지정구역으로의 MMS 진입과 이탈을 확인하는 대상구간 확인모듈; 상기 지정구역의 식별코드와 진입코드 또는 식별코드와 이탈코드를 영상이미지 정보에 링크해서 발신하는 제1통신모듈;로 이루어지고,
   상기 수치지도 서버는, 상기 MMS로부터 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 수신하는 제2통신모듈; 상기 식별코드와 진입코드 또는 이탈코드가 링크된 영상이미지 정보를 업데이트 대상으로 분류하는 업데이트 설정모듈; 업데이트 대상으로 분류된 영상이미지 정보를 저장하는 수집정보DB; 딥러닝을 위한 차량의 형상과 색상에 대한 학습정보를 저장하되, 상기 학습정보는 차종별 앞면구간과 뒷면구간의 이미지를 포함하는 학습정보DB; 상기 차종별 제원 정보를 저장하는 차량정보DB; 현장정보를 저장하되, 상기 현장정보는 블러 처리된 차량이미지를 갖춘 영상이미지를 포함하고, 상기 현장정보는 영상이미지에 구성된 지상물 이미지의 위치정보가 링크되며, 상기 현장정보가 소속될 수치지도의 대상구간이 지정되는 현장정보DB; 지상물 이미지와 현장정보로 구성된 대상구간이 서로 조합해 이루는 수치지도 데이터를 저장하는 수치지도DB; 블러 처리된 영상이미지의 위치값을 확인해서 수치지도의 대상구간을 지정하고 현장정보로 생성하며, 상기 수치지도에 구성된 지상물 이미지의 위치정보를 현장정보에 링크해서 현장정보DB에 저장하는 대상구간 지정모듈; 수치지도의 업데이트 대상으로 분류된 대상구간을 상기 수치지도DB에서 검색하고, 상기 대상구간에 속하는 지상물 이미지를 확인하며, 상기 지상물 이미지에 링크된 현장정보를 현장정보DB에서 검색해서, 상기 대상구간 단위로 지상물 이미지와 해당 현장정보를 수정하는 갱신모듈; 갱신된 상기 대상구간의 지상물 이미지 및 현장정보의 개수를 비교하고, 상기 개수가 불일치하면 오류로 간주하여 통지하는 오류확인모듈; 상기 영상이미지의 색상을 분석해서 구성 객체를 탐색하고, 상기 학습정보를 기반으로 딥러닝해서 객체 중에 차량이미지를 추출하되, 추출된 차량이미지의 구성 색상을 분석해서 차량이미지 내에 객체이미지를 파악하고, 상기 차량이미지의 측면구간과 앞면구간, 또는 측면구간과 뒷면구간을 분할해서 앞면구간 또는 뒷면구간의 형태를 바탕으로 딥러닝을 통해 차량이미지의 차종을 확인하되, 상기 측면구간은 차량이미지에서 원형 또는 타원형을 이루며 하방 돌출한 둘 이상의 바퀴 이미지가 형성된 구간이며, 상기 앞면구간 또는 뒷면구간은 차량이미지에서 측면구간의 반대측 구간에 위치한 지정 색상의 객체이미지를 경계로 나뉜 구간이 되는 딥러닝 모듈; 상기 차량이미지의 윤곽 라인을 분석해서 글자를 탐색하고, 상기 글자의 배열성을 파악해서 번호판 여부를 확인하며, 하기 유효구간 내에서 글자를 탐색하는 이미지 분석모듈; 상기 이미지 분석모듈이 추출한 번호판 이미지를 블러 처리하는 블러모듈; 상기 딥러닝 모듈이 확인한 차종의 제원 정보를 차량정보DB에서 검색하고, 상기 차량이미지의 측면구간과 앞면구간 또는 측면구간과 뒷면구간 간의 길이 비율과 제원 정보를 비교해서 해당 차량이미지의 촬영각과, 상기 촬영각으로 촬영되는 번호판 이미지의 폭 길이를 연산하고, 상기 차량이미지의 앞면구간 또는 뒷면구간의 중심선을 기준으로 폭 길이에 상응하는 구간을 유효구간으로 설정하되, 상기 차종 앞면구간 또는 뒷면구간의 폭 길이 대비 해당 차량이미지의 앞면구간 또는 뒷면구간의 폭 길이의 비율로 번호판 이미지의 폭 길이를 조정하는 구간분석모듈;로 이루어진 것을 특징으로 하는 구간별 현장정보의 실시간 수집을 통한 MMS 기반의 수치지도 업데이팅 시스템.

Images