KR102334709B1 - 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치 및 도로 크랙 검출 방법, 이를 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 차량용 블랙박스 영상을 이용하여 도로 크랙을 검출하는 딥러닝 기반의 도로 크랙 검출 장치 및 도로 크랙 검출 방법에 관한 것으로,
본 발명의 실시예에 따른 도로 크랙 검출 장치는, 차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집부; 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출부; 상기 이미지 추출부에서 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부; 상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및, 임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출부;를 포함한다.

Description

블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치 및 도로 크랙 검출 방법, 이를 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 {Deep learning based road crack detection device using black box image and road crack detection method, and computer program for executing the same}

본 발명은 도로 크랙 검출 장치에 관한 것으로, 보다 구체적으로는 차량용 블랙박스 영상을 이용하여 도로 크랙을 검출하는 딥러닝 기반의 도로 크랙 검출 장치 및 도로 크랙 검출 방법에 관한 것이다.

또한, 본 발명은 딥러닝 기반의 도로 크랙 검출 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 관한 것이다.

공공 기관에서 여러 장비가 설치된 특수차량이나 수작업으로 노면 손상을 검사하고 있다. 시간과 비용이 많이 드는 기존 방법에 대한 대안으로 일반 차량에서 얻을 수 있는 블랙박스 영상을 활용하는 연구들이 제안되어 왔다. 블랙박스 영상이란 주행 차량의 전방 영상을 촬영한 영상을 말한다.

차량용 블랙박스 영상을 이용하여 노면 손상(도로 크랙)을 분석한 종래 기술로, 연속적인 프레임을 분석해서 노면 손상 중 하나인 포트홀(pothole)을 검출하는 기술이 있다. 포트홀은 원형 모양으로 한 장의 이미지 프레임 내에 포함되는 물체인데, 이와는 달리, 도로의 노면 균열은 얇고 긴 선 모양이 때문에 블랙박스 영상에 있는 노면 위에 외부 환경에 의해 보이지 않는 경우도 있으며, 단일 프레임에 전부 담기는 물체가 아니기 때문에 영상 분석에 어려움이 있다.

또한, 차량용 블랙박스 영상을 이용하여 노면 손상을 분석한 종래 기술로, 단일 이미지를 활용해서 균열 검출을 수행한 연구를 기반으로, 연속적인 블랙박스 이미지들에 모자이킹 방법을 적용하여 균열 검출 결과를 통합한 방법이 있다. 하지만, 이 방법은 도로에 다른 차량이 존재하지 않아야 적용 가능하며 차량의 속도를 일정하게 유지해야 하는 단점이 있다. 블랙박스 영상에 포함된 노면은 주행 차량 주변의 차량들, 그리고 날씨에 의한 외부 환경에 따라 영향을 받기 때문에 단일 영상을 분석하는 방법은 정확한 노면 정보를 획득하는 것에 한계가 있다.

대한민국 공개특허공보 제10-2016-0039316호 대한민국 등록특허공보 제10-1543342호 대한민국 등록특허공보 제10-1772916호 대한민국 등록특허공보 제10-1178772호

본 발명은 차량용 블랙박스 영상을 이용하여 도로 크랙을 검출하는 딥러닝 기반의 도로 크랙 검출 장치 및 도로 크랙 검출 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시예에 따른 도로 크랙 검출 장치는,

차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집부; 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출부; 상기 이미지 추출부에서 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부; 상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및, 임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출부;를 포함한다.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 이미지 추출부는, 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지를 기준 이미지로 추출할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 이미지 추출부는, 산출된 누적 이동 거리가 상기 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 기준 이미지를 추출하며, 상기 n개의 기준 이미지 각각은 상기 기준 거리의 배수가 되는 최초의 위치 정보를 포함할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 이미지 추출부는, 상기 위치 정보가 포함된 이미지들 사이에 존재하는, 복수개의 위치 정보가 포함되지 않은 이미지들에 대해서는 이미지들 각각의 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 상기 기준 이미지를 추출할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 패치 이미지 생성부는, 40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성하고, 상기 패치 이미지 생성부는, 상기 이미지 추출부로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 장치에 있어서, 상기 모델 훈련부는, 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며, 상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 방법은,

차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집단계; 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출단계; 상기 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성단계; 상기 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련단계; 및, 임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련단계에서 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출단계;를 포함한다.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 이미지 추출단계는, 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지를 기준 이미지로 추출할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 이미지 추출단계는, 산출된 누적 이동 거리가 상기 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 기준 이미지를 추출하며, 상기 n개의 기준 이미지 각각은 상기 기준 거리의 배수가 되는 최초의 위치 정보를 포함할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 이미지 추출단계는, 상기 위치 정보가 포함된 이미지들 사이에 존재하는, 복수개의 위치 정보가 포함되지 않은 이미지들에 대해서는 이미지들 각각의 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 상기 기준 이미지를 추출할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 패치 이미지 생성단계는, 40 × 40 픽셀 크기의 패치 단위로 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 생성하고, 상기 이미지 추출단계로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 방법에 있어서, 상기 모델 훈련단계는, 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며, 상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출할 수 있다.

본 발명의 실시예에 따른 도로 크랙 검출 방법은, 컴퓨터에 의해 실행되며, 차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집단계; 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출단계; 상기 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성단계; 상기 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련단계; 및, 임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련단계에서 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출단계;를 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능한 기록 매체에 의해 실행될 수 있다.

기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.

본 발명의 실시 형태에 따르면, 차량이 일정한 거리를 이동할 때마다, 한 장의 이미지 프레임을 추출하여 효율적으로 데이터를 처리하고, 누락된 도록 구간을 최소화할 수 있다.

또한, 차량용 블랙박스의 영상을 이용하여 도로 크랙을 검출함으로써, 블랙박스 영상의 해상도가 넓은 면적을 포함한 도로 표면의 촬영이 가능하며, 데이터 획득이 용이하고, 데이터를 획득하기 위한 추가적인 작업이 필요하지 않아 비용 및 시간 절약이 가능하다.

또한, 차량용 블랙박스 영상으로부터 패치 단위로 도로 크랙을 검출하여 정확한 도로 크랙 검출이 가능하다.

또한, 빠른 시간 내에 원하는 도로 구간의 정보를 다량의 영상 데이터로부터 획득하는 것이 가능하여 신속하게 도로 상태를 파악할 수 있다.

도 1은 본 발명의 실시예에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치가 도시된 블록도이다.
도 2는 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 시간 정보 및 위치 정보를 개념적으로 예시한 표이다.
도 3은 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 위치 정보를 기반으로 차량의 이동 거리를 보여주는 그래프이다.
도 4는 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 위치 정보를 기반으로 산출된 이동 거리 및 누적 이동 거리가 예시된 표이다.
도 5는 산출된 누적 이동 거리를 기반으로 도로 크랙 검출을 위한 프레임을 추출하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 신경망 모델 구조가 도시된 도면이다.
도 7은 동일한 경로로 주행했을 때 기록된 3개의 블랙박스 영상에서 도로 크랙을 검출한 결과가 도시된 도면이다.
도 8은 2개의 차량용 블랙박스에서 수집된 영상 데이터에 포함된 GPS 신호의 플롯(plot)이 도시된 도면이다.
도 9는 본 발명에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 방법이 도시된 순서도이다.
도 10은 도 9에 도시된 신경망 모델 훈련 루틴이 도시된 순서도이다.
도 11은 본 발명의 실시예에 따른 블랙박스 영상에서 추출된 기준 이미지를 보여주는 사진이다.
도 12는 본 발명의 실시예에 따른 도로 표면 추출 상태를 보여주는 도면이다.
도 13은 본 발명의 실시예에 따른 크랙 영역 분할 상태를 나타내는 도면이다.
도 14는 본 발명의 실시예에 따른 도로 크랙 검출 상태를 나타내는 도면들이다.
도 15는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치 및 도로 크랙 검출 방법을 설명한다.

도 1은 본 발명에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 장치(이하, “도로 크랙 검출 장치”라 함)가 도시된 블록도이다.

도 1을 참조하면, 본 발명의 도로 크랙 검출 장치(100)는 도로 표면의 크랙을 검출하기 위하여, 차량용 블랙박스(10)의 영상을 이용하여 일정 크기의 패치(patch) 단위로 딥러닝 기반의 모델을 훈련하고, 블랙박스 영상의 이미지로부터 훈련된 모델을 적용하여 픽셀 단위의 도로 크랙을 검출한다.

이를 위해, 본 발명의 도로 크랙 검출 장치(100)는 복수 개의 차량용 블랙박스(10)로부터 영상 데이터를 수집하고, 수집된 영상 데이터 각각에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리를 기반으로 복수개의 이미지를 추출하고, 각각의 추출된 이미지에서 도로 크랙, 차선 및 손상되지 않은 도로로 클래스를 분류하고, 분류된 각각의 클래스에 따른 이미지를 패치 단위로 딥러닝 기반의 모델에 적용하여 훈련하도록 처리한다.

또한, 본 발명의 도로 크랙 검출 장치(100)는 블랙박스(10)의 영상으로부터 위치 정보를 이용하여 산출된 차량의 이동 거리를 기반으로 복수개의 이미지를 추출하고 추출된 이미지에 훈련된 모델을 적용하여 패치 단위로 도로 크랙을 검출한다.

구체적으로, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 도로 크랙 검출 장치(100)는, 데이터 수집부(110)와, 이미지 추출부(120)와, 패치 이미지 생성부(130)와, 모델 훈련부(140)와, 크랙 검출부(150)를 포함한다. 도 1에서 블랙박스(10a)는 모델을 훈련시키기 위한 학습 데이터를 수집하는 블랙박스이며, 블랙박스(10b)는 학습된 모델(모델 훈련부(140))에 크랙을 검출하기 위한 영상 데이터를 입력하기 위한 블랙박스일 수 있다.

데이터 수집부(110)는 복수 개의 차량용 블랙박스(10a)들 각각으로부터 촬영된 전방 도로 표면에 대한 영상 데이터를 수집한다. 데이터 수집부(110)는 예를 들어, 유선 또는 무선 통신망을 통해 실시간으로 블랙박스(10a)와 연결되어 동영상 데이터를 수집하거나, 블랙박스(10a)의 영상을 저장하는 데이터 저장 매체를 통해 영상 데이터를 수집한다.

이미지 추출부(120)는 데이터 수집부(110)로부터 수집된 영상 데이터를 수신하여 도로 크랙을 검출하기 위한 복수 개의 기준 이미지를 추출한다. 이미지 추출부(120)는 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 이동 거리 및 누적 이동 거리를 산출하고, 산출된 차량의 이동 거리 및 누적 이동 거리를 기반으로 복수개의 기준 이미지를 추출한다. 여기서, 추출된 기준 이미지는 보다 정확히는 이미지 프레임이나, 설명의 편의를 위해 이미지로 칭하기도 한다. 예를 들어, 블랙박스(10a)의 영상 데이터로부터 차량의 이동 거리 및 누적 이동 거리를 기반으로 수십 ~ 수천 개의 이미지 프레임이 추출될 수 있고, 추출된 이미지 프레임은 딥러닝 기반의 CNN 모델을 훈련시키기 위해 활용된다. 이미지 추출부(120)에서의 도로 크랙 검출을 위한 기준 이미지 추출 과정에 대해서 도 2 내지 도 5를 참조하여 설명한다.

도 2는 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 시간 정보 및 위치 정보를 개념적으로 예시한 표이고, 도 3은 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 위치 정보를 기반으로 차량의 이동 거리를 보여주는 그래프이며, 도 4는 차량용 블랙박스에 의해 촬영된 영상 데이터에 포함된 위치 정보를 기반으로 산출된 누적 이동 거리가 예시된 표이고, 도 5는 산출된 누적 이동 거리를 기반으로 도로 크랙 검출을 위한 프레임을 추출하는 과정을 설명하기 위한 도면이다.

데이터 수집부(110)에서 수집된 영상 데이터는, 도 2에 예시된 바와 같은 시간 정보(TimeLocal)와 위치 정보(Latitude, Longtitude)를 포함할 수 있다. 예를 들어, 블랙박스로 촬영된 영상 데이터는 초당 30개의 이미지 프레임으로 구성될 수 있으며, 위치 정보는 1초에 한번씩 기록될 수 있다. 즉, 예를 들어 30개의 이미지 프레임 마다 1개의 위치 정보가 기록될 수 있다. 도 2는 수집된 영상 데이터에 포함된 일부 이미지 프레임의 시간 정보와 위치 정보를 예시하고 있다. 물론, 초당 이미지 프레임의 갯수와, 위치 정보가 기록되는 시간 간격이 이에 한정되지는 않는다.

통상, 도로 사정을 고려하면, 차량의 이동 속도는 일정하지 않다. 이러한 상황에서 모든 이미지 프레임을 이용하여 도로의 크랙을 검출하는 것은 효율적인 데이터 처리를 방해하게 된다. 예를 들어, 교통 체증시의 영상 데이터는 수초 ~ 수십초 단위로 동일하거나 유사한 영상일 수 있는데, 이때의 매초마다 영상 데이터를 활용하는 것은 매우 비효율적이다. 또한, 예를 들어, 고속 도로나, 교통이 원할한 시간 동안에는 1초에 수십 미터를 운행할 수 있으므로, 1초 단위의 이미지를 활용할 경우, 일부 도로 구간은 누락될 수 있다.

이에, 본 발명의 이미지 추출부(120)는 일정한 거리를 이동할 때마다, 한 장의 이미지 프레임을 추출하여 효율적으로 데이터를 처리하고, 누락된 도록 구간을 최소화한다.

구체적으로 이미지 추출부(120)는 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지 프레임을 기준 이미지로 추출한다.

이미지 추출부(120)는 이미지 프레임에 포함된 위치 정보를 이용하여 매초당 차량의 이동 거리를 산출할 수 있다. 즉, 도 3에 예시된 바와 같이, 각각의 이미지 프레임의 위치 정보는 (x, y) 좌표쌍으로 표시될 수 있으며, 인접한 두 좌표쌍 간의 거리를 구하여 차량의 이동 거리를 산출할 수 있다. 또한, 각 시간대별 이동 거리를 누적 합산하여 누적 이동 거리(cumulative distance)로 산출할 수 있다. 도 4에, 이와 같이 산출된 차량의 누적 이동 거리가 예시되어 있다.

이미지 추출부(120)는 기준 시간(예를 들어, 1초) 동안 산출된 차량의 이동 거리가 기설정된 기준 거리가 될 때마다, 해당 이미지 프레임을 기준 이미지로 추출한다. 물론, 기준 시간 동안 산출된 차량의 이동 거리가 기설정된 기준 거리 미만이면, 기준 이미지를 추출하지 않을 수 있다. 이미지 추출부(120)는 기준 시간 동안 산출된 차량의 이동 거리가 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 이미지 프레임을 기준 이미지로 추출한다. 예를 들어, 기준 거리가 5m이고, 특정 시간의 1초당 산출된 이동 거리가 7m이면, 해당 시간의 30개 프레임 중에서 어느 하나를 추출하고, 이동 거리가 11m이면, 2개의 프레임을 추출하고, 이동 거리가 17m이면 3개의 프레임을 추출한다.

이때, 이미지 추출부(120)는 복수개의 프레임 중에서 기준 거리 이상이며 기준 거리와 가장 가까운 이동 거리에 해당하는 프레임을 추출하는데, 모든 프레임에 위치 정보가 포함된 것은 아니므로, 위치 정보가 포함된 프레임 간의 비례식을 이용하여 프레임을 추출한다. 즉, 특정 기준 시간 1초 동안의 30개 프레임에 대해 각 프레임 간의 이동 거리는 동일한 것으로 간주하는 비례식을 적용하여 기준 거리인 5m와 가장 가까운 이미지 프레임을 기준 이미지로 추출한다.

예를 들어, 도 5의 (a)에서 A 구간을 참조하면, 11시 59분 9초에 해당하는 프레임이 영상에서 2245번째이고 누적 이동 거리는 2.09m이며, 11시 59분 10초에 해당하는 프레임이 영상에서 2275번째이고 누적 이동 거리는 5.38m이다. 이 경우, 이미지 추출부(120)는 도 5의 (b)와 같이 각 프레임 당 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 2245번째 프레임과 2275번째 프레임 사이의 프레임 중에서 기준 거리인 5m와 가장 가까운 프레임을 계산한 후 추출한다.

한편, 데이터 처리를 더욱 효과적으로 하기 위해 이미지 추출부(120)는 매초당 이동 거리를 산출하지 않고, 수초 간격으로 이동 거리를 산출할 수 있다.

예를 들어, 도 5의 (a)에서 B 구간을 참조하면, 11시 59분 17초(2485번째 프레임)까지의 누적 이동 거리는 62.24m이고, 11시 59분 20초(2575번째 프레임)까지의 이동거리는 99.01m이다. 이 경우, 이미지 추출부(120)는 도 5의 (c)와 같이 2485번째 프레임과 2575번째 프레임 사이의 프레임 중에서 누적 이동 거리가 기준 거리인 5m의 배수가 되는 7장의 프레임을 계산한 후 추출한다. 여기서, “기준 거리의 배수가 되는 이미지 프레임”은 반드시 기준 거리의 배수인 것을 의미하는 것이 아니라, 기준 거리의 배수와 가장 가까운 이동 거리를 나타내는 프레임 프레임을 포함할 수 있다.

패치 이미지 생성부(130)는 패치 단위로 크랙을 검출하기 위하여, 이미지 추출부(120)로부터 추출된 기준 이미지에서 오퍼레이터에 의해 원하는 지점이 선택되면, 선택된 지점을 중앙으로 하여 일정 크기의 이미지 즉, 패치 이미지를 생성한다.

예를 들어, 패치 이미지는 40 × 40 픽셀 크기를 가질 수 있다. 패치 이미지는 3 가지의 클래스(class)에 대해 각각 생성될 수 있다. 즉, 패치 이미지들은 크랙, 차선 및 손상되지 않은 도로에 대한 데이터로 각각 생성될 수 있다.

모델 훈련부(140)는 패치 이미지 생성부(130)에서 생성된 각각의 패치 이미지를 딥러닝 기반의 모델을 이용하여 훈련하도록 처리한다. 모델 훈련부(140)는 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련하여 도로 크랙을 검출하기 위한 확률을 계산하여 출력한다.

또한, 모델 훈련부(140)는 실제로 블랙박스 영상(10b)을 입력받아서 패치 단위로 도로 크랙을 검출하기 위해 크랙, 차선 및 손상되지 않은 도로에 대해 훈련된 모델을 적용하도록 처리할 수 있다.

예를 들어, 모델 훈련부(140)는 신경망(CNN) 모델을 포함할 수 있다. 신경망(CNN) 모델은, 컨볼루션 레이어(Conovolutional layer, 이하 Conv층), 풀링 레이어(Pooling layer, 이하 Pool층) 그리고 풀리 커넥티드 레이어(Fully-connected layer, 이하 FC층) 등 크게 3개의 층들로 구성될 수 있다.

Conv층을 구성하는 필터(filter)는 이전 층의 결과값과 합성곱(convolution) 연산이 수행되며 이는 다음 층의 입력값이 된다. Pool층은 이전 층의 결과값을 작은 크기로 축소(downsampling)하는 역할을 한다. FC층은 이전층의 모든 노드(node)와 연결되어 있으며 주로 CNN 모델의 뒷부분을 구성한다. CNN 모델의 최종 출력값은 FC층으로 구성되며, 각 클래스(class)에 속하는 확률을 계산하는 역할을 한다. CNN 모델이 이미지 분류기로 활용될 때 최종 출력값 중 가장 높은 확률을 갖는 클래스를 입력 이미지에 대한 클래스로 예측한다.

본 발명의 실시예에서 CNN 모델은 도 6에 예시된 바와 같은 구조로 설계될 수 있다. 도 6의 신경망(CNN) 모델은 각 클래스에 대한 레이어에 가중치를 결정하여 모델 훈련에 적용하고, 패치 이미지의 크기를 점차 줄여가면서 레이어를 결정하여 최종적으로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 확률을 계산하여 출력한다. 이미지는 세 클래스 중 가장 높은 확률값을 가지는 클래스에 속한다. 크랙일 확률이 가장 높을 경우, 크랙으로 판단한다.

크랙 검출부(150)는 블랙박스로부터 영상(10b)이 입력되면, 모델 훈련부(140)에 의해 훈련된 모델을 적용하여 도로 크랙을 검출한다. 크랙 검출부(150)는 모델 훈련부(140)에 의해 훈련된 모델을 적용하여 각 패치 이미지 마다 클래스를 구분하여 예측값을 계산하고, 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단한다.

따라서 본 발명의 도로 크랙 검출 장치(100)는 차량용 블랙박스의 영상 데이터(10a)에서 일정한 거리 단위로 기준 이미지를 추출하고, 추출된 기준 이미지에서 다시 패치 단위로 이미지를 추출하여 딥러닝 기반의 모델에 훈련시키고, 훈련된 모델을 블랙박스 영상(10b)에 적용하여 패치 단위로 도로 크랙을 검출할 수 있다.

한편, 동일한 경로를 주행한 복수 개의 차량으로부터 수집된 블랙박스 영상 데이터를 이용할 때, 도로 크랙을 추출하는 모델 훈련부(140)의 훈련 결과의 정확성은 더욱 향상될 수 있다.

도 7은 동일한 경로로 주행했을 때 기록된 3개의 블랙박스 영상에서 도로 크랙을 검출한 결과를 보여준다. 3개의 그래프는 각각 기준 거리 5m를 기준으로 기준 이미지(프레임)를 추출하였고, 크랙 검출의 대상인 부분 구간을 50m, 100m, 그리고 150m로 정하였을 때 크랙 검출 결과를 보여 주며, 하나의 그래프 내에 3개 영상으로부터의 균열 검출 결과가 함께 표시되어 있다. 여러 영상으로부터 부분 구간의 길이를 일정하게 설정한 크랙 검출의 평균 결과는 단일 영상에서 제공되는 결과보다 더 높은 신뢰도를 가질 수 있다.

도 8은 2개의 차량용 블랙박스에서 수집된 영상 데이터에 포함된 GPS 신호의 플롯(plot)을 보여 준다. 도 8에서 어느 하나의 GPS 좌표는 빨간색 사각형으로, 나머지 하나의 GPS 좌표는 초록색 원형으로 표시하였다. 두 차량은 동일한 구간을 주행하였지만 기록된 GPS 좌표는 다를 수 있다. 검정색 실선과 점선은 실제 동일한 위치를 나타내는 장면과 함께 그 시간에 기록된 GPS좌표를 대응시킨 것이다.

다음, 도 9 및 도 10을 참조하여 본 발명에 따른 블랙박스 영상을 이용한 딥러닝 기반 도로 크랙 검출 방법(이하, “도로 크랙 검출 방법”)을 설명한다. 도 9는 본 발명에 따른 도로 크랙 검출 방법이 도시된 순서도이고, 도 10은 도 9에 도시된 신경망 모델 훈련 루틴이 도시된 순서도이다. 본 발명에 따른 도로 크랙 검출 방법은 전술한 도로 크랙 검출 장치(100)를 이용하여 수행될 수 있다.

단계 S160에서, 데이터 수집부(110)가 복수 개의 블랙박스로부터 영상 데이터를 수집한다.

단계 S162에서, 이미지 추출부(120)가 데이터 수집부(110)로부터 수집된 영상 데이터를 수신하여 도로 크랙을 검출하기 위한 복수 개의 프레임(기준 이미지)을 추출한다. 이미지 추출부(120)는 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 이동 거리 및 누적 이동 거리를 산출하고, 산출된 차량의 이동 거리 및 누적 이동 거리를 기반으로 복수개의 기준 이미지를 추출한다. 이미지 추출부(120)에서의 기준 이미지 추출 과정은 전술한 도 2 내지 도 5를 참조하여 설명한 바와 동일하므로 반복 설명은 생략한다.

추출된 프레임을 신경망 모델을 이용하여 훈련하는 경우, 단계 S164에서, 패치 이미지 생성부(130)는 패치 단위로 크랙을 검출하기 위하여, 이미지 추출부(120)로부터 추출된 기준 이미지로부터 원하는 지점을 선택하고, 선택된 지점을 중앙으로 하여 일정 크기의 이미지 즉, 패치 이미지를 생성한다. 예를 들어, 패치 이미지는 40 × 40 픽셀 크기를 갖는다. 패치 이미지는 3 가지의 클래스 즉, 크랙, 차선 및 손상되지 않은 도로에 대해 각각 생성된다.

단계 S166에서, 모델 훈련부(140)는 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 신경망 모델을 이용하여 훈련시킨다. 구체적으로 신경망(CNN) 모델 훈련 루틴(S166)은 도 10에 도시된 바와 같이, 단계 S190에서 클래스를 구분하고, 단계 S192에서 구분된 클래스별로 모델 예측값을 계산하여 도로 크랙인지를 판별하기 위한 확률을 계산하여 출력한다. 단계 S194에서 확률이 일정 크기 이상이면, 크랙으로 판단한다. 세 클래스 중 크랙일 확률이 가장 높을 경우, 크랙으로 판단된다.

이렇게 훈련된 모델은 추후 블랙박스 영상이 입력되면, 크랙 검출부(150)가 도로 크랙을 검출하는데 적용된다. 즉, 다시 도 9을 참조하면, 단계 S170에서 블랙박스 영상으로부터 도로 크랙을 검출하기 위한 프레임이 추출되면, 추출된 프레임에서 도로 표면에 대한 이미지를 추출한다. 이때, 단계 S162에서 설명된 방식과 동일한 방식으로 프레임이 추출된다. 추출된 프레임에는 도로 표면, 도로 표면이 아닌 부분, 그리고 차량의 앞부분(즉, 보닛)이 함께 추출되는데, 도로 표면이 아닌 부분에 대한 이미지와 차량의 앞부분 이미지를 제외시킨다.

단계 S172에서, 도로 표면 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한시킨다. 이 실시예에서 도로 표면 이미지는 720 × 240 픽셀 크기로 추출된다. 이 도로 표면 이미지에는 도로 크랙, 차선 및 손상되지 않은 도로에 따른 영역이 포함된다.

단계 S174에서 도로 표면 이미지를 일정 크기의 패치 단위로 영역을 분할한다. 단계 S176에서 패치 단위로 분할된 도로 표면 이미지에 훈련된 신경망 모델을 적용하고, 단계 S178에서 도로 크랙, 차선 및 손상되지 않은 도로로 클래스를 분류한다. 이어서 단계 S180에서 분류된 클래스를 이용하여 도로 크랙을 검출한다.

도 11는 본 발명의 실시예에 따른 블랙박스 영상에서 추출된 이미지를 나타내는 도면이다.

도 11를 참조하면, 본 발명의 실시예에서는 추출된 도로 표면에 대하여 40 × 40 픽셀 크기의 패치 단위로 크랙을 검출하는 딥러닝 모델을 훈련시키기 위해 3 가지 클래스에 대한 데이터를 만든다. 블랙박스 영상으로부터 데이터를 추출할 이미지(200)를 예컨대, 100 여장 선정한 후, 파이선 코딩을 통해 이미지(200)를 화면에 띄우고 원하는 지점을 선택한다. 선택한 지점을 중앙으로 하는 40 × 40 픽셀 크기의 이미지가 생성된다. 이러한 방식으로 도로 크랙, 차선 그리고 손상되지 않은 도로 3 가지 클래스에 대한 데이터를 생성한다. 도 11에서 크랙 부분에 빨간색으로 표시된 부분(202)들이 각각 선택된 지점이다.

도 12은 본 발명의 실시예에 따른 도로 표면 추출 상태를 보여주는 도면이고, 도 13은 본 발명의 실시예에 따른 크랙 영역 분할 상태를 나타내는 도면이며, 도 14는 본 발명의 실시예에 따른 도로 크랙 검출 상태를 나타내는 도면들이다.

도 12 내지 도 14를 참조하면, 본 발명의 실시예에서 블랙박스 영상에서 추출된 프레임(기준 이미지)에는 도로 표면과, 도로 표면이 아닌 부분 및 차량의 앞부분(보닛)이 함께 추출된다. 따라서 도로 표면 이미지(220)는 도로 표면이 아닌 부분(204)과 차량의 보닛 부분(206)을 제외시킨다.

신경망 모델을 이용하여 훈련시키기 위하여, 도로 표면 이미지(220)를 도 13에 도시된 바와 같이, 도로 표면 영역에 대한 패치 이미지(230)를 생성한다. 이 때, 패치 이미지(230)는 720 × 240 픽셀 크기의 패치 이미지(232)로 크랙 검출 영역을 제한한다.

설계된 CNN 모델(210)은 720 × 240 픽셀 크기의 패치 이미지(232) 내에서 40 × 40 픽셀 크기의 패치를 선택하여 도로 크랙, 차선 그리고 손상되지 않은 도로 표면의 클래스로 구분한다. 크랙의 경우, 패치 이미지(232)의 가장자리에 있으면 검출이 되지 않을 수 있으므로, 패치 이미지(232)에서 가장자리에 있는 크랙 부분도 검출할 수 있도록 설계한다.

이를 위해 40 × 40 픽셀 크기의 패치가 원래 위치로부터 상하 좌우 방향 각각으로 20 픽셀씩 떨어진 곳에 위치한 사각형 이미지(234) 또한 테스트 이미지로 활용되도록 데이터를 구축한다. 즉, 사각형 이미지(232)는 패치 이미지(232)에서 상하 좌우 방향으로 20 픽셀씩 떨어져 생성된 패치 이미지이다. 따라서 도로 표면에 대한 패치 이미지(232)와 사각형 이미지(234)를 중첩시켜서 중첩 패치 이미지(236, 238)을 생성한다.

40 × 40 픽셀 크기의 패치에 대해 CNN 모델을 적용한 결과, 도 14에 도시된 바와 같이, 도로 크랙으로 검출(240)된다. 여기서 도로 크랙으로 분류된 패치(242)는 붉은 색 테두리로 나타낸다.

도 15는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 15의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 도로 크랙 검출 장치 일 수 있다.

도 15의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 본 발명은 하드웨어와 결합되어, 본 발명에 따른 도로 크랙 검출 방법을 실행시키기 위하여, 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다.

기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다.

이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10a, 10b : 블랙박스 100 : 도로 크랙 검출 장치
110 : 데이터 수집부 120 : 이미지 추출부
130 : 패치 이미지 생성부 140 : 모델 훈련부
150 : 크랙 검출부

Claims (13)

1. 차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집부;
   상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출부;
   상기 이미지 추출부에서 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성부;
   상기 패치 이미지 생성부로부터 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련부; 및,
   임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련부로부터 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출부;를 포함하며
   상기 이미지 추출부는, 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지를 기준 이미지로 추출하며, 상기 이미지 추출부는, 상기 위치 정보가 포함된 이미지들 사이에 존재하는, 복수개의 위치 정보가 포함되지 않은 이미지들에 대해서는 이미지들 각각의 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 상기 기준 이미지를 추출하는 도로 크랙 검출 장치.
2. 삭제
3. 청구항 1에 있어서, 상기 이미지 추출부는,
   산출된 누적 이동 거리가 상기 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 기준 이미지를 추출하며, 상기 n개의 기준 이미지 각각은 상기 기준 거리의 배수가 되는 최초의 위치 정보를 포함하는 도로 크랙 검출 장치.
4. 삭제
5. 청구항 1에 있어서,
   상기 패치 이미지 생성부는, 상기 이미지 추출부로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성하는, 도로 크랙 검출 장치.
6. 청구항 1에 있어서, 상기 모델 훈련부는,
   도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며,
   상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출하는 도로 크랙 검출 장치.
7. 차량용 블랙박스에 의해 촬영되며 위치 정보를 포함하는 복수개의 영상 데이터를 수집하는 데이터 수집단계;
   상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 이미지를 추출하는 이미지 추출단계;
   상기 추출된 기준 이미지를 일정 크기의 픽셀 단위로 선택하여 도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 클래스를 분류하고, 분류된 클래스 각각에 대한 패치 이미지를 생성하는 패치 이미지 생성단계;
   상기 생성된 각각의 패치 이미지를 신경망 모델을 이용하여 도로 크랙을 추출하도록 훈련시키는 모델 훈련단계; 및,
   임의의 차량용 블랙박스로부터 위치 정보를 포함하는 복수개의 영상 데이터가 입력되면, 입력된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 산출된 차량의 이동 거리 정보를 기반으로 복수개의 기준 프레임을 추출하고, 추출된 복수개의 기준 프레임에서 도로 표면에 대한 이미지를 추출하고, 추출된 이미지에 상기 모델 훈련단계에서 훈련된 신경망 모델을 적용하여 도로 크랙을 검출하는 크랙 검출단계;를 포함하며,
   상기 이미지 추출단계는, 상기 수집된 복수개의 영상 데이터에 포함된 위치 정보를 이용하여 차량의 누적 이동 거리를 산출하고, 산출된 누적 이동 거리가 기설정된 기준 거리의 배수가 되는 위치 정보를 포함하는 이미지를 기준 이미지로 추출하며, 상기 이미지 추출단계는, 상기 위치 정보가 포함된 이미지들 사이에 존재하는, 복수개의 위치 정보가 포함되지 않은 이미지들에 대해서는 이미지들 각각의 이동 거리가 동일한 것으로 간주하는 비례식을 이용하여 상기 기준 이미지를 추출하는 도로 크랙 검출 방법.
8. 삭제
9. 청구항 7에 있어서, 상기 이미지 추출단계는,
   산출된 누적 이동 거리가 상기 기준 거리의 n배 이상 (n+1)배 미만이면 n개의 기준 이미지를 추출하며, 상기 n개의 기준 이미지 각각은 상기 기준 거리의 배수가 되는 최초의 위치 정보를 포함하는 도로 크랙 검출 방법.
10. 삭제
11. 청구항 7에 있어서,
    상기 패치 이미지 생성부는, 상기 이미지 추출단계로부터 추출된 이미지를 일정 크기의 이미지로 추출하여 크랙 검출 영역을 제한하고, 제한된 크랙 검출 영역에서 상기 패치 이미지를 생성하는, 도로 크랙 검출 방법.
12. 청구항 7에 있어서, 상기 모델 훈련단계는,
    도로 크랙, 차선 및 손상되지 않은 도로 각각에 대한 패치 이미지를 훈련시켜서 도로 크랙을 검출하기 위한 확률을 계산하여 출력하며,
    상기 도로 표면에 대한 이미지는, 추출된 프레임에는 도로 표면이 아닌 부분과 차량의 앞부분 이미지를 제외시켜서 도로 표면에 대한 이미지를 추출하는 도로 크랙 검출 방법.
13. 컴퓨터에 의해 실행되며, 청구항 7에 따른 도로 크랙 검출 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능한 기록 매체.

Images