KR102502231B1 - 이미지 딥러닝 알고리즘을 활용한 보행로 분석 장치 - Google Patents

이미지 딥러닝 알고리즘을 활용한 보행로 분석 장치 Download PDF

Info

Publication number
KR102502231B1
KR102502231B1 KR1020210041810A KR20210041810A KR102502231B1 KR 102502231 B1 KR102502231 B1 KR 102502231B1 KR 1020210041810 A KR1020210041810 A KR 1020210041810A KR 20210041810 A KR20210041810 A KR 20210041810A KR 102502231 B1 KR102502231 B1 KR 102502231B1
Authority
KR
South Korea
Prior art keywords
walking path
image
image data
state
unit
Prior art date
Application number
KR1020210041810A
Other languages
English (en)
Other versions
KR20220135735A (ko
Inventor
이승재
최민제
나성용
구동균
변주은
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020210041810A priority Critical patent/KR102502231B1/ko
Publication of KR20220135735A publication Critical patent/KR20220135735A/ko
Application granted granted Critical
Publication of KR102502231B1 publication Critical patent/KR102502231B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

분석 장치가 제공된다. 상기 분석 장치는 보행로를 촬영한 영상 데이터를 획득하는 획득부; 상기 영상 데이터에 포함된 보행로 이미지를 분석하고, 상기 보행로 이미지의 분석을 통해 상기 보행로의 상태를 파악하는 분석부;를 포함할 수 있다.

Description

이미지 딥러닝 알고리즘을 활용한 보행로 분석 장치{Apparatus and method for analyzing pedestrian paths using image deep learning algorithms}
본 발명은 보행로를 촬영한 이미지를 이용해 보행로의 상태를 평가하고 분석하는 장치에 관한 것이다.
보행자 중심 정책으로 보행로 개선에 대한 필요성이 증대되고 있다. 하지만, 보행로 평가에 대한 객관화된 기준 및 보행로의 상태를 자동으로 평가하는 시스템이 미비한 관계로, 개선이 필요한 보행로의 탐지가 어려운 실정이다.
등록특허공보 제2074999호에는 블록 체인에 기반한 보행 환경 데이터의 측정 시스템이 나타나 있다.
등록특허공보 제2074999호
본 발명은 보행로의 현재 상태를 자동으로 분석하고 평가하는 분석 장치 및 분석 방법을 제공하기 위한 것이다.
본 발명의 분석 장치는 보행로를 촬영한 영상 데이터를 획득하는 획득부; 상기 영상 데이터에 포함된 보행로 이미지를 분석하고, 상기 보행로 이미지의 분석을 통해 상기 보행로의 상태를 파악하는 분석부;를 포함할 수 있다.
본 발명의 분석 방법은 상기 보행로를 촬영한 영상 데이터를 획득하는 제1 획득 단계; 상기 영상 데이터를 이미지 처리하는 제1 처리 단계; 이미지 처리된 상기 영상 데이터를 입력으로 하는 기계 학습을 수행하는 학습 단계;를 포함할 수 있다.
상기 학습 단계는 이미지 처리된 상기 영상 데이터에 포함된 보행로 이미지를 추출하는 분석 모델, 상기 보행로의 손상 상태를 평가하는 평가 모델, 보행로에 대한 장애물의 침범 상태를 판별하는 판별 모델, 상기 손상 상태와 상기 침범 상태를 이용해서 보행로의 현재 상태를 도출하는 도출 모델 중 적어도 하나를 생성할 수 있다.
본 발명의 분석 방법은 상기 보행로를 촬영한 영상 데이터를 획득하는 제2 획득 단계; 상기 영상 데이터를 이미지 처리하는 제2 처리 단계; 상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 분석 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로 이미지를 추출하는 추출 단계; 상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 평가 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로의 손상 상태를 평가하는 평가 단계; 상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 평가 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로에 대한 장애물의 침범 상태를 판별하는 판별 단계; 상기 손상 상태의 평가 결과와 상기 침범 상태의 판별 결과를 이용해서 상기 보행로의 현재 상태를 도출하고, 기설정된 보행로 가이드 라인에 따라 상기 현재 상태를 점수화해서 출력하는 도출 단계;를 포함할 수 있다.
본 발명의 분석 장치는 보행로를 실시간 또는 간헐적으로 촬영하는 외부 촬영 수단으로부터 입수된 영상 데이터를 분석할 수 있다.
본 발명에 따르면, 영상 데이터의 분석을 통해 영상 데이터에 포함된 보행로가 추출될 수 있다. 또한, 본 발명에 따르면, 기계 학습을 통해 생성된 모델을 통해 영상 데이터에 포함된 보행로의 손상 상태, 보행로에 대한 장애물의 침범 상태 등이 자동으로 인식될 수 있다.
본 발명의 분석 장치 및 분석 방법은 자동으로 인식된 손상 상태 또는 침범 상태를 이용해 보행로의 현재 상태를 도출할 수 있다.
결과적으로, 본 발명에 따르면, 사용자는 별도의 작업을 수행하지 않더라도 자동으로 보행로의 현재 상태를 입수할 수 있다. 사용자에게 제공되는 보행로의 현재 상태는 보행교통 개선지표 지침 등과 같은 보행로 가이드 라인에 맞춰 점수화될 수 있다. 사용자는 보행로 가이드 라인에 맞춰 도로의 유지 보수 계획 등을 수립할 수 있다.
도 1은 본 발명의 분석 장치를 나타낸 개략도이다.
도 2는 분석 장치의 동작을 나타낸 개략도이다.
도 3은 평가부의 동작을 나타낸 개략도이다.
도 4는 평가 모델과 판별 모델의 형성 과정을 나타낸 개략도이다.
도 5는 본 발명의 분석 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 분석 장치(100)를 나타낸 개략도이다. 도 2는 분석 장치(100)의 동작을 나타낸 개략도이다.
도면에 도시된 분석 장치(100)는 획득부(110), 분석부(130), 평가부(150), 판별부(170), 도출부(190)를 포함할 수 있다.
획득부(110)는 보행로를 촬영한 영상 데이터 a를 획득할 수 있다.
일 예로, 획득부(110)는 보행로를 촬영하는 카메라와 통신하거나, 카메라에서 촬영된 영상 데이터를 저장하는 데이터베이스와 통신하는 통신 모듈을 포함할 수 있다.
획득부(110)는 보행로와 관련된 구글 이미지, 카카오 맵 로드뷰, 네이버지도 로드뷰 중 적어도 하나로부터 영상 데이터 a를 획득할 수 있다.
획득부(110)는 분석부(130)에서 수행되는 분석 작업의 균일화를 도모하고 분석부(130)의 작업 부하를 저감시키기 위해, 영상 데이터 a에 대하여 이미지 처리를 수행할 수 있다.
일 예로, 획득부(110)는 이미지 전처리, ASPP(Atrous Spatial Pyramid Pooling) 처리, 업스케일링(Upscaling) 처리의 순서대로 영상 데이터 a를 처리할 수 있다.
이미지 전처리에 의해 RGB(Red, Green, Blue) 칼라 이미지에 해당하는 영상 데이터 a가 흑백 이미지로 이진화되거나 변환될 수 있다.
ASPP 처리에 의해 흑백 변환 과정에서 놓칠 수 있는, 예를 들어 제거되는 영상 데이터 a의 디테일 정보가 강조되거나 보존될 수 있다.
ASPP 처리에 의해 보존된 디테일 정보의 유지를 위해 업스케일링 처리가 사용될 수 있다.
업스케일링 처리에 의해 영상 데이터 a가 변환된 흑백 이미지의 해상도가 높아질 수 있다. ASPP 처리에 의해 보존된 디테일 정보는 원본 흑백 이미지보다 높은 해상도를 갖는 이미지에 훼손없이 포함될 수 있다.
분석부(130)는 영상 데이터 a에 포함된 보행로 이미지 k를 분석하고, 보행로 이미지 k의 분석을 통해 보행로의 상태를 파악할 수 있다. 분석부(130)는 획득부(110)에서 처리된 영상 데이터에 포함된 보행로 이미지 k를 분석하는 분석 모델 m1을 포함할 수 있다.
분석 모델 m1은 이미지 전처리, ASPP 처리, 업스케일링 처리의 순서대로 처리된 영상 데이터를 입력으로 하는 CNN(Convolution Neural Network) 알고리즘이 적용된 기계 학습을 통해 생성될 수 있다. 분석 모델 m1은 비정상 상태로 규정된 보행로를 추출하도록 학습될 수 잇다. 비정상 상태는 보행을 방해하는 보행로의 손상 또는 보행로 상에 존재하는 장애물 h에 의해 발생될 수 있다.
일 예로, 비정상 상태는 보행교통 개선지표 지침 등과 같은 보행로 가이드 라인에서 지정한 비정상 보행로의 조건을 만족하는 상태를 나타낼 수 있다. 예를 들어, 비정상 상태는 나무가 쓰러져 보행로를 막고 있는 상태, 보행로가 손상되어 보행자가 위협을 받는 상태 등을 포함할 수 있다.
분석부(130)는 분석 모델을 이용해 영상 데이터 a에 포함된 보행로 이미지 k를 영상 데이터 a 내의 다른 이미지, 예를 들어 배경 i와 구분할 수 있다.
평가부(150)는 보행로의 손상 상태를 평가할 수 있다. 구체적으로, 평가부(150)는 보행로 이미지의 분석을 통해 보행로의 손상 상태를 복수의 손상 레벨로 구분할 수 있다. 일 예로, 평가부(150)는 보행로의 손상 상태를 순서대로 좋음, 보통, 나쁨, 아주 나쁨을 나타내는 'Good', 'SoSo', 'Bad', 'Very Bad'와 같이 구분할 수 있다.
일 예로, 평가부(150)는 보행로 이미지 k를 설정 크기의 셀 s 단위로 분할할 수 있다. 예를 들어, 분석부(130)에 의해 영상 데이터 a로부터 추출된 보행로 이미지 k가 가로 1000픽셀, 세로 1000픽셀로 형성된 경우, 셀 s는 보행로 이미지 k보다 작은 픽셀수를 갖는 폐곡선 형상으로 형성될 수 있다. 보행로 이미지 k 전체를 빠짐없이 분석하기 위해 셀 s는 다른 셀의 경계와 불협화음 없이 맞닿을 수 있는 삼각형, 사각형 등의 도형 형상으로 형성될 수 있다.
도 3은 평가부(150)의 동작을 나타낸 개략도이다.
도 3에서 'surface picture'에 위치한 사각형이 셀 s에 해당될 수 있다. 셀 s는 영상 데이터 a와 대비하여 0.1배 이하의 크기로 형성될 수 있다.
평가부(150)는 셀 s에 포함된 파손 이미지 d의 비율에 따라 보행로의 손상 상태를 복수의 손상 레벨로 구분할 수 있다. 파손 이미지 d는 평가 모델 m2에 의해 보행로에서 손상된 영역의 이미지를 포함할 수 있다.
파손 이미지 d는 불규칙한 형태로 나타날 수 있다. 불규칙한 형태를 갖는 파손 이미지 d의 면적을 산출하는 것이 곤란할 수 있다. 따라서, 평가부(150)는 셀 s와 동일한 형상을 가지면서 셀보다 작은 크기의 박스 b를 이용해서 파손 이미지 d의 면적을 산출할 수 있다.
일 예로 평가부(150)는 기본적으로 파손 이미지 d가 내접하는 크기로 박스 b를 형성할 수 있다. 한편, 이미지 처리 과정에서 파손 이미지의 가장자리 일부가 누락될 수 있는 경우를 고려하여, 평가부(150)는 박스 b의 안쪽에 박스 b와 동일한 형상을 가지면서 박스 b보다 작은 크기의 가상 도형을 추가로 형성하고, 가상 도형을 박스 b의 중심에 배치할 수 있다. 평가부(150)는 파손 이미지 d가 내접하는 크기로 가상 도형을 형성할 수 있다. 본 실시예에 따르면, 박스 b는 파손 이미지 d의 경계로부터 항상 설정 거리만큼 이격된 상태가 될 수 있다. 이때의 이격 거리로 인해 누락 가능성이 있는 손상 부위에 대한 보상이 충분하게 이루어질 수 있다. 한편, 가상 도형을 이용하는 경우, 평가부(150)는 파손 이미지 d의 면적을 산출할 때, 가상 도형의 면적이 아니라 박스 b의 면적을 파손 이미지 d의 면적으로서 산출할 수 있다.
도 3의 경우, 좌측에서 우측으로 3개의 셀 s가 위치하고 있다.
맨 좌측의 셀 s는 영점을 기준으로 0~100m에서 입수된 것이다. 해당 셀에서 파손 이미지 d의 비율에 해당하는 박스 b의 면적 비율은 대량 20%일 수 있다.
가운데의 셀 s는 100m~200m에서 입수된 것이다. 해당 셀에서 박스 b의 면적 비율은 대략 40%일 수 있다.
맨 우측의 셀 s는 200m~300m에서 입수된 것이다. 해당 셀에서 박스 b의 면적 비율은 대략 52%일 수 있다.
평가부(150)는 보행로의 손상 상태를 예를 들어, 0~20%는 1레벨, 20~35%는 2레벨, 35~50%는 3레벨, 50% 이상은 4레벨로 분류할 수 있다. 평가부(150)에 의해 구분된 손상 레벨은 추후 보행로의 유지 보수 정책의 수립에 이용될 수 있다.
셀 s에 포함된 파손 이미지 d를 추출하기 위해 평가부(150)는 보행로 이미지 k의 분석을 통해 보행로의 구성 재료를 파악할 수 있다.
평가부(150)는 구성 재료의 정상 표면의 이미지를 데이터베이스 등으로부터 로딩할 수 있다. 일 예로, 구성 재료가 직육면체의 벽돌 형상인 것으로 파악되면, 벽돌 형상의 구성 재료의 정상 표면의 이미지를 외부 서버 등으로부터 로딩할 수 있다.
평가부(150)는 정상 표면의 이미지와 보행로 이미지를 비교할 수 있다.
평가부(150)는 정상 표면의 이미지와 보행로 이미지의 차이값이 설정값을 만족하면, 보행로가 손상된 것으로 평가할 수 있다.
벽돌 형상의 구성 재료를 배열해서 보행로가 형성된 경우, 각 구성 재료의 경계가 형성하는 도형이 도출될 수 있다. 이때의 도형의 모양, 도형을 둘러싼 선분들 간의 각도는 정상 상태일 때와 비정상 상태일 때가 다를 수 있다. 일 예로, 제1 구성 재료와 제2 구성 재료가 붙어 있는 경우, 서로 맞닿은 선분 간의 각도가 20도 이상 벌어지면 어느 하나의 구성 재료가 땅으로 푹 꺼진 것으로 파악될 수 있다. 이때, 구성 재료가 땅으로 푹 꺼진 이미지가 파손 이미지로 추출될 수 있다.
판별부(170)는 보행로 이미지 k의 분석을 통해 보행로를 침범한 장애물 h를 판별할 수 있다. 일 예로, 보행로에 설치된 가로수, 보행자가 차도로 넘어가는 것을 방지하는 펜스, 포장마차 등이 보행을 방해하는 장애물에 해당될 수 있다. 판별부(170)는 판별 모델 m3를 이용하여 보행로에 대한 장애물의 침범 상태를 판별할 수 있다.
판별부(170)는 장애물이 보행로를 침범한 침범 상태를 복수의 침범 레벨로 구분할 수 있다. 일 예로, 보행로의 50% 이상을 점거하는 장애물의 침범 레벨은 4레벨로 구분될 수 있다. 4레벨보다 작은 범위 내에서 보행로의 35% 이상을 점거하는 장애물의 침범 레벨은 3레벨로 구분될 수 있다. 3레벨보다 작은 범위 내에서 보행로의 20% 이상을 점거하는 장애물의 침범 레벨은 2레벨로 구분될 수 있다. 2레벨보다 작은 범위 내에서 1% 이상을 점거하는 장애물의 침범 레벨은 1레벨로 구분될 수 있다.
판별부(170)에 의해 구분된 침범 레벨은 추후 해당 장애물의 제거 여부를 결정하는 정책 결정에 사용될 수 있다.
한편, 보행로를 점거하는 장애물이라 하더라도 필수적으로 도로에 존재해야 하는 시설물 또는 구조물이 존재할 수 있다. 일 예로, 보행자의 안전을 위해 마련된 교통 관련 표지판은 보행로의 점거에도 불구하고 반드시 보행로에 마련될 필요가 있다. 보행로에 필수적으로 설치되어야 하는 시설을 제거 가능한 다른 장애물과 구분하기 위해 판별부(170)는 보행로 이미지 k의 분석을 통해 보행로를 침범한 장애물의 종류를 판별할 수 있다. 판별부(170)는 판별 결과에 따라 장애물을 필수 시설물에 해당하는 필수물과 제거 가능한 개선물로 구분할 수 있다.
앞에서 설명된 교통 관련 표지판이 필수물에 해당될 수 있다. 한편, 허가받지 않은 포장마차 등은 보행 공간의 확보를 위해 보행로에서 제거될 수 있는 개선물에 해당될 수 있다.
도출부(190)는 평가부(150)에서 평가된 보행로의 손상 상태의 평가 결과, 판별부(170)에서 판별된 보행로에 대한 장애물의 침범 상태의 판별 결과를 이용해 보행로의 현재 상태를 도출할 수 있다.
일 예로, 평가부(150)가 손상 상태를 복수의 레벨로 구분하고, 판별부(170)가 침범 상태를 복수의 레벨로 구분할 때, 도출부(190)는 손상 상태의 레벨별로 부여된 점수 및 침범 상태의 레벨별로 부여된 점수를 이용해 보행로의 현재 상태를 점수화할 수 있다. 점수화된 현재 상태는 각종 정책 수립에 사용된 인자값으로 기능할 수 있다.
분석 장치(100)의 평가부(150)는 CNN(Convolution Neural Network) 알고리즘을 활용하여 노면 상태를 평가할 수 있다. 노면 상태의 평가는 손상 상태의 평가와 일맥 상통할 수 있다. 평가부(150)는 보행로 이미지의 분석을 통해 손상 정도를 설정 레벨, 예를 들어 1점부터 4점까지 분류하거나, 1레벨부터 4레벨까지 분류할 수 있다. 평가부(150)에서 사용되는 평가 모델 m2는 예를 들어 설정 크기의 셀 s 대비 파손 이미지 d의 비율을 이용해 파손 이미지를 복수의 레벨로 분류할 수 있다.
분석 장치(100)의 판별부(170)는 Yolo(You only look once) 알고리즘을 활용하여 보행로를 침범한 장애물을 판별할 수 있다. 판별부(170)에서 사용되는 평가 모델 m2는 개선 가능한 장애물에 해당하는 포장마차, 쓰레기, 기타 시설물 등의 개선물, 잠재적으로 개선이 어려운 가로수, 가로등 등과 같은 필수물을 구분하도록 기계 학습된 것일 수 있다.
분석 장치(100)의 도출부(190)는 손상 상태와 침범 상태를 포함하는 보행로의 현재 상태를 파악하고, 평가 체계를 구축할 수 있다. 도출부(190)는 보행교통 개선지표 지침 등과 같은 보행로 가이드 라인에서 제시한 기준에 따라 분석 장치(100)에 입력된 영상 데이터에 포함된 보행로 이미지 k의 손상 상태와 침범 상태를 평가할 수 있다. 해당 평가 결과를 영상 데이터에 매칭되는 위치 정보와 함께 관리될 수 있다. 본 실시예에 따르면, 특정 위치의 보행로에 대한 현재 상태가 신속하게 분석되고 평가될 수 있다.
도 4는 평가 모델과 판별 모델의 형성 과정을 나타낸 개략도이다.
평가 모델과 판별 모델은 학습부가 마련된 분석 장치(100)에 의해 수행될 수 있다.
평가 모델 m2와 판별 모델 m3는 다음의 과정을 통해 생성될 수 있다.
보행로를 촬영한 영상 데이터를 획득하는 제1 획득 단계가 수행될 수 있다. 제1 획득 단계는 획득부(110) 또는 획득부(110)와 유사한 구성의 학습 수단에 의해 수행될 수 있다(S 11, S 12). 획득부(110) 또는 학습 수단은 획득한 영상 데이터를 이미지 처리하는 제1 처리 단계를 수행할 수 있다.
이미지 처리된 영상 데이터를 입력으로 기계 학습을 수행하는 학습 단계가 수행될 수 있다. 학습 단계는 별도의 학습부를 통해 수행될 수 있다.
학습 단계는 분석 모델 m1, 평가 모델 m2, 판별 모델 m3, 도출 모델 중 적어도 하나를 생성할 수 있다.
이미지 처리된 영상 데이터에 포함된 보행로 이미지를 추출하는 분석 모델 m1을 생성하기 위해, 학습부는 영상 데이터 또는 보행로 이미지를 기계 학습할 수 있다. 또한, 보행로의 손상 상태를 평가하는 평가 모델 m2를 생성하기 위해, 학습부는 영상 데이터 또는 보행로 이미지를 손상 정보에 따른 설정 개수의 레벨, 클래스 등으로 분류할 수 있다(S 12). 학습부는 관리자의 관리 감독을 통해 최적의 결과가 나올 때까지 기계 학습을 수행할 수 있다(S 13). 최적의 결과를 출력하는 분석 모델 m1은 분석부(130)에 제공되고, 평가 모델 m2는 평가부(150)에 제공될 수 있다.
획득부(110)에 의해 영상 데이터 a에 해당하는 보행로 테스트 이미지가 입수되면(S 14), 분석부(130)는 분석 모델 m1을 통해 영상 데이터 a에서 보행로 이미지 k를 추출할 수 있다. 평가부(150)는 평가 모델 m2를 이용해서 보행로 이미지 k에 포함된 손상 이미지 d를 기설정된 레벨에 따라 분류할 수 있다(S 15). 도출부(190)는 손상 이미지 d의 분류 레벨에 따라 점수를 부여하거나 평가할 수 있다.
보행로에 대한 장애물의 침범 상태를 판별하는 판별 모델 m3를 생성하기 위해, 학습부는 제1 처리 단계에서 이미지 처리된 영상 데이터 또는 보행로 이미지를 개선 가능 여부에 따라 장애물을 분류할 수 있다(S 22). 일 예로, 학습부는 특정 장애물을 필수물로 분류하거나 개선물로 분류할 수 있다. 해당 분류 동작은 관리자의 감독 하에 최적의 결과가 나올 때까지 반복적으로 기계 학습될 수 있다(S 23). 최적의 결과를 출력하는 판별 모델 m3는 판별부(170)에 제공될 수 있다.
획득부(110)에 의해 영상 데이터 d에 해당하는 보행로 테스트 이미지가 입수되면(S 24), 판별부(170)는 개선 가능한 이미지 개수에 따라 점수를 판별할 수 있다. 판별 결과에 따라 보행로 이미지 k에 포함된 장애물은 기설정된 레벨에 따라 분류될 수 있다(S 25). 도출부(190)는 장애물의 분류 레벨에 따라 점수를 부여하거나 평가할 수 있다.
학습부는 평가 모델 m2 및 판별 모델 m3로부터 각각 출력되는 보행로의 손상 상태와 보행로에 대한 침범 상태를 이용해서, 보행로의 현재 상태를 도출하는 도출 모델을 생성할 수 있다.
도출부(190)는 도출 모델을 이용해서 보행로의 현재 상태를 도출할 수 있다. 보행로의 현재 상태의 판단 기준은 사용자가 입력한 보행로 가이드 라인 등이 될 수 있다.
도출부(190)는 현 보행로의 손상 상태 및 침범 상태를 보행로 가이드 라인의 각 항목과 비교하고, 각 항목의 만족 여부에 따라 점수를 산출할 수 있다. 도출부(190)는 산출된 점수를 보행로의 현재 상태로 출력할 수 있다.
도 5는 본 발명의 분석 방법을 나타낸 흐름도이다.
도 5에 도시된 분석 방법은 도 1에 도시된 분석 장치(100)에 의해 수행될 수 있다.
본 발명의 분석 방법은 제2 획득 단계(S 510), 제2 처리 단계(S 520), 추출 단계(S 530), 평가 단계(S 540), 판별 단계(S 550), 도출 단계(S 560)를 포함할 수 있다.
제2 획득 단계(S 510)는 보행로를 촬영한 영상 데이터를 획득할 수 있다. 제2 획득 단계(S 510)는 획득부(110)에 의해 수행될 수 있다.
제2 처리 단계(S 520)는 영상 데이터를 이미지 처리할 수 있다. 제2 처리 단계(S 520)는 획득부(110)에 의해 수행될 수 있다.
추출 단계(S 530)는 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 분석 모델 m1을 이용하여, 이미지 처리된 특정 영상 데이터에 포함된 보행로 이미지를 추출할 수 있다. 추출 단계(S 530)는 분석부(130)에 의해 수행될 수 있다.
평가 단계(S 540)는 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 평가 모델 m2를 이용하여, 이미지 처리된 특정 영상 데이터에 포함된 보행로의 손상 상태를 평가할 수 있다. 평가 단계(S 540)는 평가부(150)에 의해 수행될 수 있다.
판별 단계(S 550)는 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 평가 모델 m3를 이용하여, 이미지 처리된 영상 데이터에 포함된 보행로에 대한 장애물의 침범 상태를 판별할 수 있다. 판별 단계(S 550)는 판별부(170)에 의해 수행될 수 있다.
도출 단계(S 560)는 손상 상태의 평가 결과와 침범 상태의 판별 결과를 이용해서 보행로의 현재 상태를 도출하고, 기설정된 보행로 가이드 라인에 따라 현재 상태를 점수화해서 출력할 수 있다. 도출 단계(S 560)는 도출부(190)에 의해 수행될 수 있다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 6의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 분석 장치(100) 등) 일 수 있다.
도 6의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100...분석 장치 110...획득부
130...분석부 150...평가부
170...판별부 190...도출부

Claims (10)

  1. 보행로를 촬영한 영상 데이터를 획득하고, 상기 영상 데이터를 이미지 처리하는 획득부;
    상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 분석 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로 이미지를 추출하는 분석부;
    상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 평가 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로의 손상 상태를 평가하는 평가부;
    상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 판별 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로에 대한 장애물의 침범 상태를 판별하는 판별부;
    상기 손상 상태의 평가 결과와 상기 침범 상태의 판별 결과를 이용해서 상기 보행로의 현재 상태를 도출하고, 기설정된 보행로 가이드 라인에 따라 상기 현재 상태를 점수화해서 출력하는 도출부;
    를 포함하는 분석 장치.
  2. 제1항에 있어서,
    상기 획득부는 보행로 관련 구글 이미지, 카카오 맵 로드뷰, 네이버지도 로드뷰 중 적어도 하나로부터 상기 영상 데이터를 획득하는 분석 장치.
  3. 제1항에 있어서,
    상기 획득부는 이미지 전처리, ASPP(Atrous Spatial Pyramid Pooling) 처리, 업스케일링 처리의 순서대로 상기 영상 데이터를 처리하고,
    상기 분석부는 상기 획득부에서 처리된 영상 데이터에 포함된 상기 보행로 이미지를 분석하는 분석 모델을 포함하며,
    상기 분석 모델은 상기 이미지 전처리, 상기 ASPP 처리, 상기 업스케일링 처리의 순서대로 처리된 영상 데이터를 입력으로 하는 CNN(Convolution Neural Network) 알고리즘이 적용된 기계 학습을 통해 생성되고,
    상기 분석 모델은 비정상 상태로 규정된 보행로를 추출하도록 학습된 분석 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 평가부는 상기 보행로 이미지를 설정 크기의 셀 단위로 분할하고,
    상기 평가부는 상기 셀에 포함된 파손 이미지의 비율에 따라 상기 보행로의 손상 상태를 복수의 손상 레벨로 구분하는 분석 장치.
  6. 제1항에 있어서,
    상기 평가부는 상기 보행로 이미지의 분석을 통해 상기 보행로의 구성 재료를 파악하며,
    상기 평가부는 상기 구성 재료의 정상 표면의 이미지를 로딩하고,
    상기 평가부는 상기 정상 표면의 이미지와 상기 보행로 이미지를 비교하며,
    상기 평가부는 상기 정상 표면의 이미지와 상기 보행로 이미지의 차이값이 설정값을 만족하면, 상기 보행로가 손상된 것으로 평가하는 분석 장치.
  7. 제1항에 있어서,
    상기 판별부는 상기 보행로 이미지의 분석을 통해 상기 보행로를 침범한 장애물의 종류를 판별하고,
    상기 판별부는 판별 결과에 따라 상기 장애물을 필수 시설물에 해당하는 필수물과 제거 가능한 개선물로 구분하는 분석 장치.
  8. 제1항에 있어서,
    상기 평가부는 상기 손상 상태를 복수의 레벨로 구분하며,
    상기 판별부는 상기 침범 상태를 복수의 레벨로 구분하고,
    상기 도출부는 상기 손상 상태의 레벨별로 부여된 점수 및 상기 침범 상태의 레벨별로 부여된 점수를 이용해 상기 보행로의 현재 상태를 점수화하는 분석 장치.
  9. 삭제
  10. 분석 장치에 의해 수행되는 분석 방법에 있어서,
    보행로를 촬영한 영상 데이터를 획득하는 제2 획득 단계;
    상기 영상 데이터를 이미지 처리하는 제2 처리 단계;
    상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 분석 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로 이미지를 추출하는 추출 단계;
    상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 평가 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로의 손상 상태를 평가하는 평가 단계;
    상기 이미지 처리와 동일하게 처리된 복수의 영상 데이터를 입력으로 하는 기계 학습을 통해 생성된 판별 모델을 이용하여, 상기 이미지 처리된 상기 영상 데이터에 포함된 보행로에 대한 장애물의 침범 상태를 판별하는 판별 단계;
    상기 손상 상태의 평가 결과와 상기 침범 상태의 판별 결과를 이용해서 상기 보행로의 현재 상태를 도출하고, 기설정된 보행로 가이드 라인에 따라 상기 현재 상태를 점수화해서 출력하는 도출 단계;
    를 포함하는 분석 방법.
KR1020210041810A 2021-03-31 2021-03-31 이미지 딥러닝 알고리즘을 활용한 보행로 분석 장치 KR102502231B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210041810A KR102502231B1 (ko) 2021-03-31 2021-03-31 이미지 딥러닝 알고리즘을 활용한 보행로 분석 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210041810A KR102502231B1 (ko) 2021-03-31 2021-03-31 이미지 딥러닝 알고리즘을 활용한 보행로 분석 장치

Publications (2)

Publication Number Publication Date
KR20220135735A KR20220135735A (ko) 2022-10-07
KR102502231B1 true KR102502231B1 (ko) 2023-02-20

Family

ID=83595379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041810A KR102502231B1 (ko) 2021-03-31 2021-03-31 이미지 딥러닝 알고리즘을 활용한 보행로 분석 장치

Country Status (1)

Country Link
KR (1) KR102502231B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102074999B1 (ko) 2019-02-19 2020-02-10 포항공과대학교 산학협력단 블록체인에 기반한 보행 환경 데이터의 측정 시스템 및 방법, 컴퓨터로 독출 가능한 기록 매체
KR102377044B1 (ko) * 2019-11-29 2022-03-22 울산과학기술원 보행 안전 위험 평가 장치 및 방법, 그리고 이를 구현하기 위한 프로그램이 기록된 기록매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Galen Weld et al., ‘Deep Learning for Automatically Detecting Sidewalk Accessibility Problems Using Streetscape Imagery,’ In The ASSETS '19: The 21st International ACM SIGACCESS Conference on Computers and Accessibility, ACM, pp.196-209 (2019.10.28.)*
최민제 외 4인 공저, ‘이미지 딥러닝 알고리즘을 활용한 보행로 개선 연구,’ 대한교통학회 제83회 학술발표회 (2020. 10. 29-30) 442-443쪽 (2020.10.29.) 1부.*

Also Published As

Publication number Publication date
KR20220135735A (ko) 2022-10-07

Similar Documents

Publication Publication Date Title
CN112216049B (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
KR102095685B1 (ko) 차량 식별 방법 및 장치
CN106600977B (zh) 基于多特征识别的违停检测方法及系统
KR102051829B1 (ko) 차량번호 인식을 통한 빅데이터 예측뷰포트 다중해상도 영상전송 기반의 스마트 교통정보 수집장치 및 그 장치를 이용한 교통관제 방법
CN103069434B (zh) 用于多模式视频事件索引的方法和系统
KR101748121B1 (ko) 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법
KR20180135898A (ko) 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법
Hadjidemetriou et al. Automated detection of pavement patches utilizing support vector machine classification
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
KR102011624B1 (ko) 개선된 차량검출 방법과 이를 활용한 비정상적 주정차 차량식별 시스템
CN109815798A (zh) 无人机图像处理方法及系统
CN110852236A (zh) 目标事件的确定方法及装置、存储介质、电子装置
CN114022846A (zh) 作业车辆的防碰撞监控方法、装置、设备和介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN112418081A (zh) 一种空地联合快速勘察交通事故的方法及系统
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
KR102026686B1 (ko) 커넥티드 차량을 이용한 도로 파손 정보 제공 장치 및 도로 파손 판정 모델 생성 서버
KR102296471B1 (ko) 인공지능 기반 차량 적재불량 검출 시스템
KR102502231B1 (ko) 이미지 딥러닝 알고리즘을 활용한 보행로 분석 장치
CN114359825A (zh) 监测方法和相关产品
Guo et al. Detection of occluded road signs on autonomous driving vehicles
Katsamenis et al. Real time road defect monitoring from UAV visual data sources
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
CN113361968B (zh) 基于人工智能和大数据的电网基建人员安全风险评估方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant