KR20060037972A - 크랙실링 장비의 크랙 인식 및 제어 시스템 - Google Patents

Abstract

본 발명은 도로면에 형성된 크랙을 실링처리하는 크랙실링 장비에서 사용하기 위한 크랙 인식 및 제어 시스템에 관한 것이다. 본 발명의 시스템은 카메라에 의해 입력된 도로면 영상을 크랙 네트워크를 포함하는 도로면 영상으로 이진화하고, 이진화된 도로면 영상에서 크랙 네트워크 주변의 노이즈를 제거하고, 노이즈 제거된 도로면 영상을 세선화 알고리즘을 이용하여 크랙 네트워크 중심 뼈대만을 남기고 나머지 부분을 삭제하여 세선화하고, 세선화된 도로면 영상 내 크랙 네트워크의 교차점을 삭제하여 하나 이상의 크랙 네트워크를 독립적으로 추출하고, 추출된 상기 크랙 네트워크의 위치정보를 연속된 좌표로 생성하고, 상기 크랙 네트워크의 좌표를 따라서 상기 실런트 분사노즐이 이동할 경로를 계획하며, 상기 경로 계획에 따라 실런트 분사노즐을 이동시키는 컴퓨터를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면, 도로면의 크랙 네트워크를 맵핑 및 모델링하고 실런트 분사를 위한 경로를 계획하여 크랙실링 장비의 실런트 분사노즐이 크랙 네트워크의 경로를 따라 크랙을 자동으로 실링처리할 수 있는 효과를 갖는다.

Description

크랙실링 장비의 크랙 인식 및 제어 시스템{CRACK RECOGNITION AND CONTROL SYSTEM FOR USE IN CRACK SEALER}

도 1은 본 발명에 따른 크랙실링 장비의 구성을 나타내는 도면,

도 2는 도 1에 도시된 컴퓨터에 내장된 도로면 크랙실링 크랙 인식 및 제어 프로그램의 상세 블록 구성도,

도 3a는 도 1에 도시된 CCD 카메라에 의해 촬영된 도로면 영상을 도시하는 도면,

도 3b는 히스토그램 분포를 도시하는 도면,

도 3c는 30ㅧ 30 픽셀 크기의 마스크를 이용하여 래스터 스캔(raster scan) 방식으로 마스크 검사를 수행하는 것을 도시한 도면,

도 3d는 도 2에 도시된 이진화 블록에 의해 처리된 이진화된 도로면 영상을 도시하는 도면,

도 4는 도 2에 도시된 이진화 블록에서 수행되는 이진화 알고리즘을 설명하는 도면,

도 5a 및 도 5b는 각기 도 2에 도시된 노이즈 제거 블록에서 수행되는 라벨링 알고리즘과 경계선 추적 알고리즘을 설명하는 도면,

도 5c는 도 2에 도시된 노이즈 제거 블록에서 실행되는 크랙 분별을 위한 다 른 실시예의 신경망 모델을 도시하는 도면,

도 6a는 세선화 알고리즘에 사용되는 3ㅧ3 마스크를 나타내는 도면,

도 6b는 도 2에 도시된 세선화 블록으로 입력된 이진화된 도로면 영상을 나타내는 도면,

도 6c는 도 6b에 도시된 도로면 영상 내 흑픽셀에 가중치를 부여한 것을 나타내는 도면,

도 7은 도 2에 도시된 세선화 블록에서 사용되는 삭제 조건의 패턴을 도시하는 도면,

도 8은 도 2에 도시된 팽창 연산 블록에 의해 팽창된 도로면 영상 내 크랙 네트워크를 도시하는 도면,

도 9는 도 2에 도시된 중심선 추출 블록에서 사용된 마스크의 종류를 도시하는 도면,

도 10은 도 2에 도시된 중심선 추출 블록에서 크랙 네트워크의 중심선을 추출하고 모델링한 결과를 도시하는 도면,

도 11은 도 2에 도시된 에지 링킹 블록에서 수행되는 에지 링킹 과정을 설명하는 도면,

도 12는 도 11의 결과로서 에지 링킹의 결과를 도시하는 도면,

도 13a 및 도 13b는 각기 그리디 경로 계획 알고리즘 및 최적 경로 알고리즘을 적용한 결과를 도시하는 도면.

♣ 도면의 주요 부분에 대한 부호의 설명 ♣

70 : 카메라 76 : 컴퓨터

210 : 영상처리 모듈 212 : 이진화 블록

214 : 노이즈 제거 블록 216 : 팽창 연산 블록

218 : 세선화 블록 220 : 중심선 추출 블록

222 : 에지 링킹 블록 240 : 경로 계획 모듈

본 발명은 도로면에 형성된 크랙을 실링처리하는 크랙실링 장비에 관한 것으로서, 보다 상세하게는 크랙실링 장비의 크랙실링 크랙 인식 및 제어 시스템에 관한 것이다.

포장도로의 아스팔트 및 콘크리트는 시간이 지남에 따라 노후화되어 점차적으로 파손되거나 손상된다. 특히, 아스팔트 및 콘크리트 포장에 형성된 균열, 즉 크랙은 도로의 수명을 단축시키는 가장 큰 원인이 된다. 따라서 크랙이 형성되면, 이를 신속하게 보수해주어야만 한다.

전형적인 크랙의 보수는 실런트(sealant)로써 크랙을 실링처리하는 방법이 사용된다. 이 방법은 크랙을 청소기로 청소하여 이물질을 제거한 다음, 이물질이 제거된 크랙에 용융된 실런트를 주입하고, 실런트가 주입된 크랙의 상면과 주변을 스퀴저(squeezer) 또는 로울러로 가압하여 평탄하게 압착하는 과정으로 수행된다.

크랙실링 자동화 장비는 도로면에 존재하는 크랙 네트워크의 위치를 정확히 탐지 및 맵핑(mapping)하고 이를 모델링(modeling)한 후 경로 계획(path planning) 과정을 통해 크랙 네트워크의 중앙(spine)을 따라 실런트(sealant)를 분사하여 크랙을 효과적으로 실링할 수 있도록 하는 장비이다. 따라서 크랙실링 장비에는 실링될 크랙 네트워크의 정확한 위치를 모델링하기 위한 디지털 영상처리 알고리즘 및 최적 경로계획 알고리즘이 사용된다.

현재까지 도로면 크랙실링 자동화 장비에 적용된 디지털 영상처리 알고리즘은 크랙을 탐지하고 모델링하는 일련의 과정을 전적으로 컴퓨터에 의존하는 완전자동화 방식과 인간과 컴퓨터간의 협업체제를 이용한 반자동화 방식으로 분류할 수 있다. 완전자동화 방식 중의 하나는 하스(Haas)에 의해 제안된 멀티 레이어 쿼드트리(multi-layer quadtree) 알고리즘을 포함한다. 멀티 레이어 쿼드트리 방법은 CCD 카메라와 레이저 레인지 스캐너(laser-range scanner)로부터 입력된 크랙 네트워크 영상과 프로파일(profile) 데이터간의 합성(sensor fusion) 및 영상처리 과정을 통해, 실링되어질 크랙 네트워크를 탐지하고 맵핑하는 완전 자동화 방식이다. 하스의 영상처리 알고리즘은 다음과 같은 7단계의 과정으로 이루어져 있다.

① 카메라를 통해 입력된 크랙 네트워크 영상의 이진화

② 미디언 필터링(median filtering)에 의한 노이즈 제거

③ 골격화(skeletonization)

④ 4-연결(connecting)을 통한 객체 연결(edge linking)

⑤ 멀티 레이어 쿼드트리 변환

⑥ 결합(union) 및 교차(intersection) 연산을 통해 노이즈 컴포넌트(small component) 제거

⑦ 레이저 영상과 컴포넌트 데이터간의 합성 및 비교를 통한 데이터 수정 및 크랙 네트워크 데이터 도출

그러나, 하스의 경우, 고가의 레이저 레인지 스캐너를 활용하여 영상 데이터와 프로파일 데이터간의 합성을 시도하였음에도 불구하고 결국 도로면(background)과 크랙 네트워크(object)간의 미세한 명암 차이, 그림자, 기후 조건에 따른 영상의 밝기 변화, 도로면에 존재하는 다양한 노이즈 등의 요인으로 인해 모델링 결과(크랙 인식률)의 정확성이 떨어지고 영상처리에 과다 시간이 소요된다는 문제가 있었다.

반자동 방식의 영상처리 알고리즘으로서, Kim에 의해 제안된 매뉴얼 맵핑(manual mapping) 및 라인 스냅핑(line snapping) 알고리즘을 들 수 있다. Kim은 하스의 완전자동화 방식에 의한 크랙 네트워크 모델링의 문제점을 인식하고 그래피컬 프로그래밍 기술을 응용한 반자동 형식의 영상처리 알고리즘을 제안하였다. 인간과 컴퓨터간의 협업체제를 활용한 Kim의 영상처리 알고리즘 절차는 다음과 같다.

① 카메라를 통해 터치 모니터(touch-sensitive monitor) 상에 도로면 영상이 입력되면 장비 운영자는 크랙 네트워크를 육안으로 확인함과 동시에 펜(stylus)을 이용하여 실링되어질 크랙 라인에 대한 맵핑(manual mapping) 작업을 수행

② 컴퓨터는 장비 사용자가 입력한 라인 데이터를 기반으로 로컬 서치(local search)를 수행하고 크랙 중심부를 자동으로 탐지하여 매뉴얼 맵핑 라인을 보정(line snapping)해 줌으로써 장비 사용자에 의한 오류(human hand-eye coordination errors)를 수정하고 크랙 네트워크의 1차 모델링 완성

③ 컴퓨터에 의한 라인 스냅핑 결과에 오류가 발생되었을 경우 장비 사용자에 의한 라인 에디팅(line editing with rubber banding capability) 작업을 통해 최종 크랙 네트워크 모델링 완성

특히, Kim의 라인 스냅핑 알고리즘은 사용자에 의한 매뉴얼 맵핑의 오류를 신속히 보정할 수 있고 완전자동화 방식에 비해 크랙 네트워크의 정확한 모델링이 가능하며 주변 환경 요인으로 인한 영향을 거의 받지 않는 장점이 있다. 그러나 모델링을 위해 장비 운영자가 직접 펜으로 작업을 수행하므로 크랙 네트워크가 복잡할 경우 매뉴얼 맵핑을 위한 시간이 많이 소요된다는 문제가 있었다.

따라서, 본 발명은 완전자동화 방식과 반자동화 방식이 지닐 수 있는 강점만을 혼용하여 신속하고도 정확하게 크랙 네트워크를 맵핑하고 모델링할 수 있는 도로면 크랙 인식 및 제어 방법 및 장치를 제공하는 것을 그 목적으로 한다.

이러한, 목적을 달성하기 위하여 본 발명의 실시예에 따르면, 도로면에 형성된 크랙에 실런트를 크랙에 분사하는 실런트 분사노즐을 갖는 크랙실링 장비에서 사용하기 위한 크랙 인식 및 제어 장치는, 상기 도로면의 영상을 캡처링하는 카메라; 상기 카메라에 의해 입력된 도로면 영상을 크랙 네트워크를 포함하는 도로면 영상으로 이진화하는 이진화 수단; 상기 이진화 수단에 의해 이진화된 도로면 영상에서 크랙 네트워크 주변의 노이즈를 제거하는 노이즈 제거 수단; 상기 노이즈 제 거 수단에 의해 추출된 도로면 영상을 가중치를 이용한 세선화 알고리즘을 이용하여 크랙 네트워크 중심 뼈대만을 남기고 나머지 부분을 삭제하는 세선화 수단; 상기 세선화된 도로면 영상 내 크랙 네트워크의 교차점을 삭제하여 하나 이상의 크랙 네트워크를 독립적으로 추출하고, 추출된 상기 크랙 네트워크의 위치정보를 연속된 좌표로 생성하는 중심선 추출 수단; 상기 중심선 추출 수단에 의해 생성된 크랙 네트워크의 좌표를 따라서 상기 실런트 분사노즐이 이동할 경로를 계획하는 경로 계획 수단; 및 상기 실런트 분사노즐을 이동시키는 이동수단을 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 도로면에 형성된 크랙에 실런트를 크랙에 분사하여 실링처리하는 실런트 분사노즐을 갖는 크랙실링 장비의 도로면 크랙 인식 및 제어 방법은, (a) 카메라로부터 제공된 크랙 네트워크를 갖는 도로면 영상을 이진화하는 이진화 단계; (b) 상기 이진화된 도로면 영상에서 크랙 네트워크 주변의 노이즈를 제거하는 노이즈 제거 단계; (c) 상기 노이즈 제거된 도로면 영상을 가중치를 이용한 세선화 알고리즘을 이용하여 크랙 네트워크 중심 뼈대만을 남기고 나머지 부분을 삭제하는 세선화 단계; (d) 상기 세선화된 도로면 영상 내 크랙 네트워크의 교차점을 삭제하여 하나 이상의 크랙 네트워크를 독립적으로 추출하고, 추출된 상기 크랙 네트워크의 위치정보를 연속된 좌표로 생성하는 중심선 추출 단계; (e) 상기 추출된 각각의 크랙 네트워크의 좌표를 따라서 상기 실런트 분사노즐이 이동할 경로를 계획하는 단계; (f) 상기 계획된 경로에 따라 상기 실런트 분사 노즐을 이동시켜 실런트를 분사하는 단계를 포함하는 것을 특징으로 한다.

이하, 본 발명에 따른 도로면 크랙 인식 및 제어 시스템의 바람직한 실시예를 첨부된 도면에 의거하여 상세하게 설명한다.

도 1을 참조하면, 본 발명의 크랙 인식 및 제어 시스템이 적용되는 크랙실링 장비가 도시된다. 크랙실링 장비는 크랙이 형성된 도로면까지 견인할 수 있도록 바퀴를 갖는 프레임(10)과, 프레임(10)에 X축 방향으로 운동가능하게 설치되는 제 1캐리지(20)와, 제 1캐리지(20)에 Y축 방향으로 운동가능하게 설치되는 제 2캐리지(30)와, 제 2캐리지(30)에 설치되며, 실런트 멜터(67)로부터 공급된 용융된 실런트를 크랙(E1)에 분사하는 실런트 분사노즐(60)과, 실런트 분사노즐(60)로부터 크랙을 향해 분사된 실런트를 긁어모아 크랙의 내부로 밀어넣어주는 스퀴저(80)를 포함한다. 또한, 크랙실링 장비는 실런트 분사노즐(60)이 크랙의 경로를 따라 X축 방향으로 운동할 수 있도록 제 1캐리지(20)를 X축 방향으로 운동시키는 X축 운동수단과, 실런트 분사노즐(60)이 크랙의 경로를 따라 Y축 방향으로 운동할 수 있도록 상기 제 2캐리지(30)를 Y축 방향으로 운동시키는 Y축 운동수단을 더 포함한다.

X축 운동수단은 양쪽의 세로빔(미도시)에 회전가능하게 설치되는 한 쌍의 스크류이송축(40) 및 스크류이송축(40)을 회전시키도록 프레임(10)에 설치되는 X축 구동모터(44)로 구성된다. 여기서, X축 구동모터(44)와 양쪽의 스크류이송축(40)은 벨트전동기구(45)에 의해 연결된다.

그리고 Y축 운동수단은 제 1캐리지(20)에 회전가능하게 설치되는 스크류이송축 및 스크류이송축을 회전시키도록 제 1캐리지(20)에 설치되는 Y축 구동모터(54)로 구성된다. 여기서, Y축 구동모터(54)와 스크류이송축은 도시안된 벨트전동기구 에 의해 연결된다.

프레임(10)의 상부에는 도로면(E)을 촬영하는 카메라(70)와, 도로면(E)을 조명하는 조명장치(72) 및 촬영되는 도로면(E)을 외부의 광원으로부터 차단하도록 프레임(10)의 사방 측면을 가리는 차단막(74)이 설치된다.

카메라(70)는, 예를 들어 적외선 카메라 또는 디지털 카메라 등으로 구성되며, 수직하방의 도로면(E), 특히 프레임(10)의 하부에 형성된 작업공간(12c)의 하측 도로면(E)을 촬영하여 상기 도로면(E)의 이미지를 캡쳐링하는 역할을 한다.

조명장치(72)는 도로면(E)을 조명함으로써 도로면(E)의 이미지가 카메라(70)에 명확하게 입력될 수 있게 한다. 그리고 차단막(74)은 카메라(70)에 의해 촬영되는 도로면(E)에, 외부의 광원이 유입되는 것을 차단하는 것으로, 도로면(E)의 이미지가 외부의 광원에 의해 왜곡되는 것을 방지한다. 여기서, 차단막(74)은 사용하지 않을 경우, 상부프레임(14)에 말아올려 보관하도록 구성된다.

또한, 크랙실링 장비는 카메라(70)로부터 입력된 도로면(E)의 이미지데이터를 처리하여 도로면(E)에 형성된 크랙(E1)을 추출하고, 추출된 크랙(E1)의 경로를 좌표데이터로 변환하는 컴퓨터(76)와, 컴퓨터(76)에 의해 변환된 좌표데이터에 따라 실런트 분사노즐(60)을 X축, Y축 운동시킬 수 있도록 X축 구동모터(44)와 Y축 구동모터(54)와 실런트 분사노즐(60)을 정,역회전시키는 회전모터(102)를 제어하는 콘트롤러(78)를 구비한다.

컴퓨터(76)는 도시하지 않은 마이크로프로세서, 메모리, 모니터, 프린터 등의 출력장치와, 키보드 등의 입력장치를 갖추고 있다. 컴퓨터(76)는 카메라(70)로 부터 캡처링된 도로면(E)의 영상이 입력되면, 입력된 도로면(E)의 영상으로부터 크랙 네트워크의 위치를 정확히 탐지 및 맵핑(mapping)하고, 이를 모델링(modeling)한 후 경로 계획(path planning) 과정을 통해 크랙 네트워크의 중앙(spine)을 따라 크랙실링 장비를 제어하는 도로면 크랙 인식 및 제어프로그램을 내장하고 있다.

그리고 콘트롤러(78)는 경로 계획 알고리즘에 따라 X축 구동모터(44)와 Y축 구동모터(54)를 제어함으로써, 실런트 분사노즐(60)을 크랙(E1)의 경로를 따라 이동시켜 크랙(E1)에 실런트를 주입할 수 있게 한다.

이제 도 2를 참조하면, 크랙실링 장비의 컴퓨터(76)에 의해 실행되는 도로면 크랙 인식 및 제어 프로그램의 구성이 도시된다.

도 2에 도시된 바와 같이, 컴퓨터(76)에 내장된 도로면 크랙 인식 및 제어 프로그램은 디지털 영상처리 모듈(210) 및 최적 경로 계획 모듈(240)을 포함한다. 디지털 영상처리 모듈(210)은 이진화 블록(212), 노이즈 제거 블록(214), 팽창 연산 블록(216), 세선화 블록(218), 중심선 추출 블록(220) 및 에지 링킹 블록(222)을 포함한다. 경로 계획 블록(240)은 영상 내에 존재하는 다수의 크랙 네트워크에 대하여 크랙실링 장비의 실런트 분사 노즐(60)이 이동할 경로를 계획하는 기능을 수행한다.

CCD 카메라(70)에 의해 촬영된 도로면 영상(도 3a 참조)은 예를 들면, Mㅧ N 픽셀로 구성된 8비트 그레이 영상(8bits gray image)의 디지털 신호로 변환되어 이진화 블록(212)으로 제공된다. 각 픽셀에 대한 영상 데이터는 명도 값(intensity value)을 나타내는 0(흑) ~ 255(백) 사이의 정수 값을 가지고 있다. 이진화 블록 (212)은 도로면 영상에서 크랙의 형태를 보전하는 크랙 네트워크와 도로면을 분리하기 위해 지역적 이진화 기법과 도로면 영상의 특성을 분석하여 임계 값을 동적으로 찾기 위해 히스토그램(histogram)을 사용한다. 도 3b에 도시된 바와 같은 히스토그램은 영상을 이루고 있는 각 픽셀의 명도 값에 대한 빈도수를 나타낸 그래프로서 물체와 배경을 구분하기 위하여 사용된다.

이진화 블록(212)에서 수행되는 지역적 이진화 알고리즘은 도 3c와 같이 30ㅧ30 픽셀 크기의 마스크(mask)를 생성하고 검사 대상 픽셀의 위치를 모서리의 한 점으로 정한 다음 래스터 스캔(raster scan) 방식으로 마스크 검사를 수행한다. 마스크는 모두 900(30ㅧ30)개 픽셀의 명도 값을 가지게 되고 검사 대상 픽셀의 명도 값이 마스크에 대한 히스토그램의 상위 20% 내에 존재하면 흑(0)으로 기록한다. 도 3c의 30ㅧ30 마스크 영상과 같이 마스크의 우-하단 픽셀을 검사 대상 픽셀로 정하여 이진화한 결과는 모든 크랙 네트워크의 우측방향 노이즈가 제거된 출력 이미지가 생성된다. 마찬가지로, 크랙 네트워크 좌측, 상부, 하부에 존재하는 노이즈를 제거하기 위해 마스크의 나머지 세 개 모서리에 대해 같은 연산이 수행되고 이진화가 수행된 4개의 영상이 합성되어 이진화된 도로 영상(Output Image)(도 3d)이 생성된다. 본 발명에서는 전술한 이미지 합성 과정에서 임의의 픽셀 p(i,j)에 대해 4개 영상 모두 흑(0)이면 흑(0)으로 기록하고 나머지 모든 경우는 백(255)으로 처리된다.

그러나, 전술한 이진화 작업의 연산 시간이 과다하므로, 본 발명은 이진화 연산의 시간을 단축하도록 도 4에 도시된 바와 같이 큐(queue)형식의 마스크와 버 퍼(buffer)를 사용한다.

큐(queue)는 데이터 저장 구조로써 선입선출(FIFO, first-in first-out)방식으로 입출력되는 구조이다. 큐는 2개의 포인터(front, rear pointer)를 가지고 있는데 첫 번째 포인터(front pointer)는 처음 입력된 데이터를 가리키고 두 번째 포인터(rear)는 마지막에 입력된 데이터를 가리킨다. 큐에 임의의 데이터 d를 입력(push_queue(&d))하면 마지막 데이터를 가리키던 포인터(rear pointer)는 d를 가리킨다. 또한, 큐에 있는 데이터를 출력(pop_queue(&d))하면 첫 번째 포인터(front pointer)가 가리키고 있던 데이터가 출력되고 포인터는 다음 데이터를 가리킨다. 본 발명에서는 큐형태의 자료구조를 사용함으로써 마스크에 해당하는 영역의 명암 값을 로드(load)하는 시간을 단축하였다. 도 4에서와 같이 래스터 스캔 방식의 마스크 연산에서 임의의 픽셀 p(i,j)에 대해 마스크는 900(30ㅧ30)개의 명암 값을 로드해야 한다. 그러나 임의의 픽셀 p(i,j)에 대한 마스크와 다음 픽셀 p(i, j+1)에 대한 마스크 비교 결과 중복하여 로드해야 하는 데이터가 840(30ㅧ28)개 존재한다. 즉, 래스터 스캔 방식에 따라 한 픽셀을 이동하면서 스캔을 수행할 때마다 30개의 데이터가 새로 마스크에 포함되고 기존 30개의 데이터가 삭제된다. 이 때 입출력 데이터(큐 상의 rear 30, front 30 픽셀)를 제외한 나머지 데이터(rear 30픽셀과 front 30픽셀을 제외한 840 픽셀)는 동일하다. 따라서, 30개의 명암값을 저장한 배열(array)을 하나의 데이터로 하는 큐 형태로 바꾸고 입출력되는 데이터만 히스토그램에 반영함으로써 이진화 작업을 고속으로 수행할 수 있다. 또한, 본 발명에서는 이진화 작업의 보다 빠른 수행을 위해 영상과 같은 크기의 데이터 임시저장 공 간인 버퍼(buffer)를 사용한다. 버퍼를 사용한 영상 처리 과정은 마스크의 네 모서리를 검사대상 픽셀로 설정하고 기존과 같은 방식으로 히스토그램의 임계 값을 설정한 다음 마스크의 각 모서리의 픽셀이 임계 값보다 낮으면 해당 버퍼에 1의 값을 가산하고 임계 값보다 높으면 0을 가산한다. 즉, 각 마스크마다 네 모서리 값을 한 번씩 버퍼에 기록하게 되므로 전 영역에 대한 마스크 연산을 래스터 스캔 방식으로 수행하면 해당 버퍼는 0에서 4사이의 값을 가지게 된다. 전술한 바와 같이 본 발명에서는 버퍼를 사용함으로써 중심픽셀의 위치에 따라 4번의 래스터 스캔을 수행해야만 하는 과정을 한 번의 래스터 스캔으로 처리할 수 있도록 함으로써 이진화를 위한 연산시간이 단축될 수 있다. 이진화 블록(212)에 의해 이진화된 도로면 영상은 다음 단의 노이즈 제거 블록(214)으로 제공된다.

노이즈 제거 블록(214)은 이진화된 도로면 영상에서 크랙 네트워크의 주변을 제외한 노이즈를 삭제(elimination)하는 기능을 수행한다. 이를 위하여, 노이즈 제거 블록(214)은 이진화된 도로면 영상에서 서로 연결된 인접 흑픽셀 영역을 그룹핑(grouping)함으로써 각각의 객체(object)로 설정하고, 각 객체에 일정한 라벨을 부여(labeling)하고, 각 객체의 기하학적인 특성을 추출(feature extraction)함으로써 크랙 네트워크와 노이즈를 분리한다. 노이즈 제거 블록(214)에 의해 수행되는 라벨링(labeling) 알고리즘은 그룹핑된 각 객체의 특성을 추출하기 위하여 서로 인접한 흑픽셀 영역을 값이 동일한 하나의 번호로 변환하는 알고리즘으로 탐색, 라벨링, 중심 이동의 3가지 단계를 반복적으로 수행한다. 보다 상세히 말해서, 라벨링 알고리즘은, 예를 들면, 3ㅧ3픽셀 크기의 마스크를 기반으로 래스터 스캔 방식의 탐색을 수행하고, 마스크가 흑픽셀(0)을 만나면 해당 흑픽셀을 1로 라벨링한다. 그 다음, 1로 라벨링된 픽셀의 위치로 마스크의 중심 위치를 이동한 후 마스크 내에서 흑픽셀을 탐색하여 인접한 흑픽셀이 없을 때까지 상기 세 단계를 반복하여 라벨링함으로써 각각의 객체를 쉽게 인식 할 수 있다.

본 발명의 노이즈 제거 블록(214)에서 수행되는 라벨링 알고리즘은 도 5a에 예시된 바와 같이 스택을 사용하여 구현된다. 스택은 큐(queue)와 유사한 데이터 구조로써 후입선출(LIFO, Last-In First-Out) 방식으로 데이터를 입출력한다. 스택은 큐와는 달리 하나의 포인터(top pointer)를 가지고 있고 이 포인터는 항상 가장 나중에 입력(push)된 데이터를 가리킨다. 예로써, 스택에 어떤 데이터를 입력하면 포인터는 가장 나중에 입력된 데이터 d를 가리키게 되고 스택의 길이는 늘어난다. 반대로 스택의 데이터를 출력(pop)하면 포인터(top)가 가리키고 있던 데이터를 출력하고 포인터는 다음 데이터를 가리킨다.

스택을 사용한 라벨링 알고리즘은 마스크 탐색 중 새로운 흑픽셀을 발견하면 해당 픽셀을 라벨링하고 스택에 좌표를 입력(push)한다. 마스크 내에 새로운 흑픽셀이 발견되지 않으면 스택에 저장된 데이터를 출력(pop)하여 마스크의 중심 위치를 출력된 좌표로 이동하고 다시 탐색을 수행한다. 그 결과 도 5a에 도시된 바와 같이, 입력 영상을 스택을 이용하여 라벨링 알고리즘을 수행함으로써 각각의 객체에 대해 완벽하게 라벨링된 출력 영상을 구할 수 있다.

라벨링 알고리즘을 통해 도로면 영상의 인접 흑 픽셀들을 모두 정수 형태의 ID(identification)를 가진 객체로 구분될 수 있고, 각 객체는 기하학적 특성을 갖 게 된다. 본 발명에서는 객체 기반의 노이즈 제거 알고리즘을 사용하여 각 객체의 기하학적인 특성을 추출(feature extraction)함으로써 크랙 객체와 노이즈 객체를 구분할 수 있도록 하였다. 크랙 객체와 노이즈 객체를 구분하기 위해 사용된 객체의 형태적 특성은 표 1과 같다.

[표 1]

특성	내용
평균명도	객체 영역에 해당하는 모드 픽셀의 명도 평균
면적	객체 영역에 해당하는 픽셀의 개수
둘레	객체 영역에 외접하는 픽셀의 개수
직경	객체의 경계에 존재하며 가장 멀리 떨어진 픽셀간의 거리
둘레-면적비율	둘레/면적
직경-면적비율	직경/면적
원형도	객체의 형태가 원에 가까운 정도를 나타내는 척도

본 발명에서 사용한 객체의 7가지 특성 중 평균 명도와 면적은 라벨링 알고리즘을 수행하는 과정에서 구할 수 있다. 즉, 객체의 면적은 라벨링한 픽셀 개수를 합이고, 평균 명도 값은 라벨링한 픽셀의 명도 값을 모두 더하여 면적으로 나누어 구할 수 있다. 또한, 본 발명에서는 나머지 5가지 특성 중 각 객체의 둘레와 직경을 구하기 위해 도 5b에 도시된 바와 같은 경계선 추적 알고리즘(chain code algorithm)을 사용하였다. 영역의 경계선 추적이란 이진화된 영상에서 일정한 명도 값을 가지는 영역의 경계를 추적하여 경계 픽셀의 순서화된 정보를 얻는 것이다. 경계선 추적 알고리즘은 라벨링 알고리즘과 마찬가지로 3ㅧ3 마스크 연산을 기반으로 하고 있으며 스택을 사용한다. 경계선 추적 알고리즘의 실행 과정은 탐색, 저장 및 표시, 중심 이동의 세 단계로 이루어진다. 래스터 스캔 방식으로 영상을 탐색하여 임의의 흑픽셀 p(i,j)를 만나면 p의 위치를 스택에 입력(push)하고 3ㅧ3 마스크를 생성한다. 이 마스크는 라벨링 알고리즘에서 사용된 마스크와는 달리 항상 시계 방향으로 다음 흑픽셀을 검색한다. 첫 번째 마스크에서 시계 방향 검색의 시작점은 중심 픽셀 p(i,j)를 기준으로 p(i, j-1)이다. 마스크의 기준점부터 시계 방향으로 검색하여 첫 번째 흑픽셀 f를 만나면 p를 1(counter)로 표시(marking)하고 마스크의 중심을 f로 이동한다. 두 번째 마스크부터 시계 방향 검색의 시작점은 스택의 포인터(top)가 가리키고 있는 위치(p)를 기준으로 하여 경계선 추적을 반복 수행한다. 마스크에서 p가 경계선 추적의 시작점과 일치하면 경계선 추적을 중단하고 스택에 저장된 픽셀을 하나씩 출력하여 결과 영상에 표시한다. 이 때 스택이 출력하는 픽셀의 수를 이용하여 객체의 둘레를 구할 수 있다. 또한, 경계선 추적 알고리즘에서 직경은 스택에 하나의 픽셀이 입력될 때마다 저장된 모든 픽셀들의 거리를 측정하고 그 중 가장 큰 값이 된다. 둘레-면적비율 및 직경-면적비율, 원형도는 산출된 면적 및 둘레, 직경을 이용하여 구할 수 있다.

본 발명에서는 객체의 특성에 따라 크랙과 노이즈를 분리하기 위해 실험을 통해 크랙 객체와 노이즈 객체가 가지는 특성 값을 측정하여 객체 판결 기준을 표 2와 같이 정의하였다.

[표 2]

평균명도	전체 명도 값 분포의 상위 50%
면적	50 이하	51~600	601 이상
직경	-	35 이상	-
둘레-면적 비율	0.6 이하	0.6 이상	0.6 이하
직경-면적 비율	-	0.2 이하	-
원형도	0.3 이하	0.5 이하	0.3 이하

도로면 영상으로부터 크랙객체와 노이즈 객체를 판별하는 과정은 각 객체의 평균 명도 값을 기반으로 상위 50%에 해당하는 객체를 크랙 객체로 1차 분리하고 표 2의 객체 판별 기준 조건을 모두 만족하는 객체를 2차 분리하였다. 그 결과, 노이즈가 많이 포함된 도로면 영상으로부터 크랙 객체만이 완벽하게 분리될 수 있다.

도 5c는 노이즈 제거 블록(214)에 의해 실행되는 라벨링 알고리즘과 경계선 추적 알고리즘의 다른 실시예로서, 신경망 학습 기법을 적용한 신경망 모델을 도시한다.

도 5c의 신경망 모델에 학습시킬 데이터는 이진화 도로 영상에서 추출한 객체의 특성 값으로써 추출한 7가지 특성과 객체의 외곽 픽셀의 방향 분포를 지수로 나타낸 방향분포지수 특성을 포함한 모두 8가지 특성이 신경망 모델의 학습 대상 데이터이다. 객체의 8가지 특성을 추출하기 위해 본 발명에서는 실제 도로면 영상 20장을 선정하였고, 해당 영상으로부터 모두 28,626개의 객체 데이터를 추출하였다. 하나의 객체 데이터는 8가지 특성 값으로 구성되어 있는데 추출된 객체 데이터 중 모든 특성이 동일한 중복 데이터와 면적 특성이 100이하인 데이터 22,524개를 삭제하고 6,102개의 객체 데이터를 최종 학습 데이터로 선정하였다. 객체 데이터의 각 특성들은 다양한 범위의 값을 가지고 있으나 해당 신경망의 경우 출력층의 범위가 0과 1 사이의 값을 가져야 하므로 각 특성들의 값을 최대 값으로 나누어 모든 특성 값이 0과 1사이의 값을 가지도록 데이터를 변환하여 입력하였고 목적 패턴은 크랙인 경우는 (1, 0)을, 노이즈인 경우는 (0, 1)을 입력하였다.

본 발명에서는 신경망 모델의 학습을 위해 오류역전파 알고리즘(error backpropagation algorithm)을 사용하였고 제어변수인 학습률은 0.7, 모멘텀 계수는 0.9를 사용하였다. 크랙 판별 신경망 모델은 모두 4개층-입력층, 은닉층, 은닉 층, 출력층-으로 구성되었고, 입력층 노드의 개수는 객체의 특성 수와 같은 8개이다. 은닉층은 각각 12개, 6개의 노드로 구성되고 출력층은 2개의 노드(크랙과 노이즈)로 구성된다.

그 결과, 신경망 모델에 의해 노이즈가 포함된 도로면 영상으로부터 크랙 객체가 분리된다. 노이즈 제거 블록(214)을 통해 분리된 크랙 네트워크(객체)의 도로면 영상은 팽창 연산 블록(216)으로 제공된다.

팽창 연산 블록(216)은 다음의 세선화 블록(218)에 의해 수행되는 세선화 과정의 전처리 단계로서 팽창 연산을 수행한다. 팽창 연산은 블록3ㅧ3픽셀 크기의 마스크를 래스터 스캔 방식으로 검사를 수행하여 마스크 내에 하나라도 흑픽셀이 있으면 주변 8개 픽셀을 모두 흑픽셀로 바꾸는 과정이다. 이와 같은 팽창 연산을 통해 각 크랙 네트워크들은 전체적으로 확대되어 공극을 메우게 되고 크랙의 경계는 평활화(smoothing)된다. 팽창 연산 블록(216)에 의해 팽창 처리된 도로면 영상은 다음 단의 세선화 블록(218)으로 제공된다.

세선화 블록(218)은 도로면 영상 내 크랙 네트워크의 중심선을 추출하기 위해 세선화 알고리즘(thinning algorithm)을 사용한다. 다시 말해서, 세선화 블록(218)은 이진화 및 노이즈 제거, 팽창과정을 거쳐 추출된 크랙 네트워크를 맵핑하고 모델링하기 위한 세선화 알고리즘을 수행한다. 세선화 알고리즘은 크랙 네트워크의 외곽을 순차적으로 제거하여 중심 뼈대(skeleton)(보통 1 픽셀 폭)만을 추출하는 기법이다. 세선화 알고리즘의 원리는 크랙 네트워크의 외곽을 순차적으로 삭제하면서 중심 뼈대(skeleton)만을 추출하는 것으로써 1 픽셀의 굵기가 되었을 때 처리 과정을 마친다. 결과적으로 세선화된 크랙 네트워크의 폭은 1 픽셀이 된다.

본 발명에 따른 세선화 알고리즘은 도 6a에 도시된 바와 같이 3ㅧ3 마스크를 기반으로 하고 있으며 임의의 픽셀 p는 x1~x8에 해당하는 8개의 이웃 픽셀을 갖는다. 가중치는 임의의 흑픽셀에 있어서 8-이웃에 위치한 흑픽셀의 개수이다. 도 6b 및 도 6c는 각기 입력된 도로면 영상과 그 영상의 흑픽셀에 가중치를 부여한 것을 도시한다.

본 발명에서는 임의의 픽셀 p가 흑픽셀일 때 p를 백픽셀로 변환할 것인가를 결정하기 위해 임의의 픽셀 p의 가중치를 결정한 후 도 7과 같은 패턴의 조건일 때는 p를 백픽셀로 변환하고, 상이한 조건일 때는 p를 흑픽셀로 보존함으로써 크랙 네트워크를 효과적으로 세선화하였다.

가중치를 이용한 병렬 세선화 알고리즘의 단계별 과정은 다음과 같다.

1 단계 : 각 흑픽셀의 가중치를 결정한다.

2 단계 : p의 가중치에 해당하는 삭제 조건을 검색하여 p 변환 (가중치 9 삭제)

3 단계 : 각 흑픽셀의 가중치를 결정한다.

4 단계 : p의 가중치에 해당하는 삭제 조건을 검색하여 p 변환 (가중치 9 유지)

5 단계 : 삭제 조건을 더 이상 만족하는 p가 없을 때까지 3단계와 4단계를 반복한다.

도 8은 640 ㅧ 480 크기의 영상을 대상으로 세선화 알고리즘을 수행한 결과 를 도시한다. 세선화 블록(218)에 의해 세선화된 영상은 중심선 추출 블록(220)으로 제공된다.

컴퓨터(76)는 중간 처리과정 없이 크랙 네트워크의 위치 정보를 알 수 없으므로 크랙실링 장비의 말단장치, 즉 실런트 분사노즐(60)이 크랙 네트워크의 중앙을 따라 움직이며 크랙을 실링하기 위해서는 세선화된 크랙 네트워크를 모델링하여 크랙 네트워크 중앙의 좌표를 인식할 수 있도록 해야 한다. 이를 위해, 도 8에서와 같이 교차되어 있는 크랙 네트워크를 모두 분리하고 각 크랙 네트워크의 위치정보를 연속된 좌표 형태로 메모리에 저장하는 과정이 필요하다. 교차되어 있는 크랙 네트워크를 선형으로 분리 위해서는 전체 도로면 영상에서 크랙 네트워크의 교차점을 검색하여 삭제해야 한다. 중심선 추출 블록(220)은 교차점 삭제를 위해 도 9와 같은 3가지 형태의 마스크를 사용한다.

도 9에서 임의의 픽셀 p에 대해 이웃 흑픽셀의 개수를 N이라고 하면 N=1인 점은 크랙의 끝점(edge point)이고 N=2인 점은 크랙 내부의 점이며 N=3이상이면 교차점이 된다. 따라서, 도로면 영상을 래스터 스캔 방식으로 마스크 검사를 수행하여 교차점을 모두 삭제하는 과정을 통해 N=3이상인 점이 더 이상 존재하지 않으면 크랙 네트워크는 모두 분리된다. 도로면 영상에서 교차점을 모두 삭제하면 각각의 크랙 네트워크를 독립적으로 추출할 수 있다. 각각의 크랙 네트워크를 추출하는 과정은 도 10과 같이 래스터 스캔 방식으로 3ㅧ3픽셀 크기의 마스크 검사를 수행한다. 마스크 검사 과정 중 시작점에 해당하는 임의의 흑픽셀 p를 만나면 p에 대해 주변 8-이웃픽셀을 시계방향으로 검사하고 마스크 내에서 또 다른 흑픽셀이 발견되 면 시작점에 대한 좌표를 큐(Path[0])에 저장(push)한다. 다음 과정은 시작점의 명도 값을 255(백)로 바꾸고 마스크의 중심을 새롭게 발견된 흑픽셀로 이동한다. 마스크에서 주변 8-이웃픽셀이 모두 백픽셀이 될 때까지 마스크 검사를 지속적으로 반복한다. 이 과정에서 한 개의 크랙 네트워크 중심선은 모두 큐 형태의 데이터로 메모리에 저장되고 실제 영상에서는 삭제된다. 중심선을 추출하는 과정에서 더 이상 흑픽셀이 존재하지 않으면 추적을 시작한 위치에서 영상 내에 다른 크랙 네트워크가 존재하는지 계속 검사를 수행한다. 세선화 블록(220)에 의해 세선화된 도로면 영상은 다음 단의 에지 링킹 블록(222)으로 제공된다.

세선화된 영상에서 각 크랙 네트워크의 좌표를 추출하여 원본 영상에 맵핑한 결과 도 11과 같이 불완전하게 맵핑된 부분이 발생한 것을 알 수 있다. 이는 이진화 과정에서 30ㅧ30 픽셀 크기의 마스크를 사용하였기 때문에 영상의 테두리 30개 픽셀은 영상 처리 영역에서 제외되었고, 이진화와 노이즈 제거 과정에서 부분적으로 크랙 네트워크의 손실이 발생하였기 때문이다. 따라서, 본 발명의 에지 링킹 블록(222)은 이와 같이 불완전하게 맵핑된 부분을 보완하기 위해 에지 링킹을 수행한다. 에지 링킹 블록(222)에 의해 수행되는 에지 링킹의 첫 번째 과정은 도 11과 같이 한 크랙 네트워크의 끝점에서 가상의 한 점 C2를 정하고 로컬 탐색(local search)을 수행할 영역을 설정하는 것이다. 맵핑 및 모델링 처리된 끝점을 C1이라고 하고, C1의 전점(前點)을 C0라고 하면 C2는 C1을 중심으로 C0에 대칭이 되도록 설정하였다. 이 때 C2의 위치는 C0과 C1사이의 거리와 기울기(m)를 이용하여 구할 수 있다. C2의 위치가 결정되면 C1과 C2사이의 기울기 m과 수직 기울기 m’를 구한 다음 C1과 C2사이에 로컬 박스(local box)를 생성한다. 로컬 박스를 생성한 후 박스 내에서 크랙을 탐색하여 가상의 점 C2를 크랙 네트워크가 탐지된 위치로 이동한다. 상기와 같은 과정을 반복하여 더 이상 크랙 네트워크가 인식되지 않을 때까지 에지 링킹 과정을 수행한다. 도 12는 에지 링킹 블록(222)의 에지 링킹 과정을 통해 끊김 현상이 발생한 크랙 네트워크를 보정(補正)한 결과를 도시한다. 에지 링킹 블록(222)에 의해 에지 링킹 처리된 영상은 다음 단의 경로 계획 블록(240)으로 제공된다.

경로 계획 블록(240)은 도로면 영상 내에 존재하는 다수의 크랙 네트워크에 대하여 크랙실링 장비의 실런트 분사노즐(60)이 크랙 네트워크의 중앙을 따라 이동할 경로를 계획한다. 경로 계획 블록(240)에서 수행되는 경로계획을 수립하기 위해 요구되는 기본 조건은 다음과 같다.

① 원점의 좌표는 (0,0)이고 영상의 좌상단 끝점에 위치한다.

② 모든 크랙은 한 번씩 실링된다. 즉, 한 번 실링된 크랙은 다음 이동 경로 대상에서 제외된다.

③ 하나의 크랙은 2개의 끝점을 가지며 그 중 한 점으로 진입하여 실링 작업을 시작하고 반드시 다른 한 점에서 실링 작업을 종료한다. 실링 작업을 종료하는 지점은 다른 크랙으로 이동하기 위한 시작점이 된다.

④ 모든 크랙 네트워크에 대하여 실링 작업을 종료한 후 원점으로 복귀하는 거리는 경로 계획에 포함하지 않는다.

하나의 영상에 n개의 크랙 네트워크가 존재할 경우 2ⁿ x n!가지의 경로가 존재한다. 본 발명에 따르면, 경로 계획을 위하여 도 13a에 도시된 바와 같이 도로면 크랙실링을 자동화하기 위한 경로계획으로 원점에서 가장 가까운 크랙 네트워크를 찾아 실링하고, 실링된 지점에서 가장 가까운 크랙 네트워크를 찾아 실링하는 과정을 반복하는 그리디 경로계획 알고리즘(greedy path planning algorithm)이 사용된다.

그러나 그리디 경로계획 알고리즘은 크랙 네트워크의 수 n이 많아질수록 최적의 경로를 찾을 확률이 낮아지는 단점을 가지고 있으므로 본 발명에서는 크랙 네트워크를 경우의 수만큼 직접 방문 연산하여 가장 적은 시간이 소요되는 경로를 찾아내는 최적 경로계획 알고리즘을 그리디 경로계획 알고리즘과 병행하여 사용한다. 도 13b에 도시된 바와 같이, 최적 경로계획 알고리즘은 크랙 네트워크의 수가 6개 이하일 때 최적의 성능을 발휘하며, 6개를 초과할 때는 연산시간이 기존 그리디 경로계획 알고리즘보다 많이 소요된다. 따라서, 본 발명에서는 크랙 네트워크의 수가 6개 이하일 때는 최적 경로계획 알고리즘을 사용하고, 6개를 초과할 때는 기존 그리디 경로계획을 컴퓨터(67)가 자동으로 판단하여 사용될 수 있도록 구성된다.

전술한 본 발명은 완전자동화 방식에 따른 크랙 인식 및 제어 시스템에 대하여 설명되었지만, 자동인식의 한계를 보완하기 위해서 필요할 경우 수동 조작(반자동)이 가능하도록 구성될 수도 있다. 반자동 방식은 사용자 인터페이스(250) 상의 화면상에 디스플레이되는 도로면 영상 내에서 크랙 네트워크를 따라가면서 사용자 가 커서를 이용하여 선을 그어줌으로써 컴퓨터(67)로 하여금 크랙 네트워크에 정확히 일치하는 크랙실링 라인을 만들어 주도록 프로그램 된다. 이러한 반자동 방식은 전술한 완전자동화 방식과 병행하여 사용될 수도 있다.

이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.

이상에서 설명한 바와 같이, 본 발명에 따른 크랙실링 장비는, 도로면에 형성된 크랙의 경로를 추출한 다음, 추출된 크랙의 경로를 따라 실런트 분사노즐을 자동으로 이동시키고, 자동으로 이동되는 실런트 분사노즐로 하여금 크랙의 내부에 실런트를 분사케 하도록 크랙 네트워크를 맵핑 및 모델링하고 경로 계획함으로써 도로면에 형성된 크랙을 자동으로 실링처리할 수 있는 효과를 갖는다. 또한, 자동화 방식과 병행하여 사용자 인터페이스를 이용하여 도로면 영상 내에서 크랙 네트워크의 경로를 선으로 그어줌으로써 크랙 네트워크에 정확히 일치하는 크랙실링 라인을 만들어 줄 수도 있으므로, 자동인식의 한계를 보완할 수 있다는 효과를 갖는다.

Claims (20)

1. 도로면에 형성된 크랙에 실런트를 크랙에 분사하는 실런트 분사노즐을 갖는 크랙실링 장비에서 사용하기 위한 크랙 인식 및 제어 장치에 있어서,

   상기 도로면의 영상을 캡처링하는 카메라;

   상기 카메라에 의해 입력된 도로면 영상을 크랙 네트워크를 포함하는 도로면 영상으로 이진화하는 이진화 수단;

   상기 이진화 수단에 의해 이진화된 도로면 영상에서 크랙 네트워크 주변의 노이즈를 제거하는 노이즈 제거 수단;

   상기 노이즈 제거 수단에 의해 추출된 도로면 영상을 가중치를 이용한 세선화 알고리즘을 이용하여 크랙 네트워크 중심 뼈대만을 남기고 나머지 부분을 삭제하는 세선화 수단;

   상기 세선화된 도로면 영상 내 크랙 네트워크의 교차점을 삭제하여 하나 이상의 크랙 네트워크를 독립적으로 추출하고, 추출된 상기 크랙 네트워크의 위치정보를 연속된 좌표로 생성하는 중심선 추출 수단;

   상기 중심선 추출 수단에 의해 생성된 크랙 네트워크의 좌표를 따라서 상기 실런트 분사노즐이 이동할 경로를 계획하는 경로 계획 수단; 및

   상기 실런트 분사노즐을 이동시키는 이동수단을 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
2. 제 1항에 있어서,

   상기 이진화 수단은:

   상기 도로면 영상에 대하여 Nㅧ N 마스크를 래스터 스캔에 따라 한 픽셀 단위로 이동시킬 때 새로이 스캔된 픽셀들의 명도 데이터를 큐 형태로 저장하는 마스크 큐;

   상기 마스크 큐에서 입출력되는 상기 스캔된 픽셀들 중의 상기 Nㅧ N 마스크의 네 모소리에 위치한 각각의 검사 대상 픽셀의 명도 데이터를 저장하는 버퍼;

   상기 버퍼에 저장된 각각의 검사 대상 픽셀의 명도 데이터를 기설정된 명도 데이터와 비교하여 흑픽셀을 나타내는 제1 값 또는 백픽셀을 나타내는 제2 값으로 설정하는 수단을 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
3. 제 2항에 있어서,

   상기 기설정 명도 데이터는 상기 마스크 내에 포함된 픽셀들의 명도 값의 분포를 나타낸 히스토그램에서 선택된 특정 분포 값인 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
4. 제 1항에 있어서,

   상기 노이즈 제거 수단은:

   상기 이진화 수단에 의해 이진화된 도로면 영상에서 서로 인접하게 연결되고 제1값을 갖는 픽셀들을 각기 그룹핑하여 객체로 설정하는 수단;

   각각의 상기 객체마다 라벨을 부여하고, 각 객체의 기하학적 특성을 추출하여 상기 도로면 영상 내에서 크랙 네트워크와 노이즈를 분리하는 노이즈 분리 수단을 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
5. 제 4 항에 있어서,

   상기 노이즈 분리 수단은:

   상기 객체의 특성의 개수와 동일한 입력 노드를 갖는 입력층, 은닉층 및 크랙 및 노이즈를 각기 출력하는 2개의 출력 노드를 갖는 출력층으로 구성된 신경 회로망인 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
6. 제 4항 또는 제 5 항에 있어서,

   상기 객체의 특성은 상기 라벨링된 픽셀의 명도 데이터의 평균을 나타내는 평균 명도, 상기 라벨링된 픽셀들의 개수의 합을 나타내는 면적, 상기 라벨링된 픽셀들의 둘레, 상기 라벨링된 픽셀들에서 가장 멀리 떨어진 픽셀까지의 거리를 나타내는 직경, 상기 둘레를 면적으로 나눈 둘레-면적 비율, 상기 직경을 면적으로 나눈 직경-면적 비율 및 상기 라벨링된 픽셀들의 원형 정도를 나타내는 원형도를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
7. 제 1 항에 있어서,

   상기 세선화 수단은:

   상기 도로면 영상에 대하여 스캔되는 Nㅧ N 마스크 내 임의의 픽셀에 대하여 이웃하고 동일한 제1값을 갖는 픽셀들의 수를 상기 임의의 픽셀의 가중치로 부여하는 수단;

   상기 가중치 부여된 픽셀이 상기 가중치와 동일한 개수의 픽셀을 갖는 기설정 패턴들과 비교하여 상기 가중치 부여된 픽셀의 제1 값을 제2값으로 변환하여 상기 크랙 네트워크가 제1 값을 갖는 중심 뼈대만을 남겨놓게 하는 수단을 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
8. 제 1 항에 있어서,

   상기 중심선 추출 수단은:

   상기 도로면 영상에 대하여 래스터 스캔 방식으로 마스크 검사를 수행하며, 상기 검사된 임의의 픽셀의 이웃하는 제1 값을 갖는 픽셀의 개수에 따라 크랙의 끝점, 크랙의 내부 점, 교차점으로 설정하는 마스크;

   상기 마스크 검사된 도로면 영상에서 교차점을 삭제하여 크랙 네트워크를 독립적으로 추출하는 수단;

   상기 분리된 크랙 네트워크의 끝점 및 내부 점을 포함하는 크랙위치 정보를 연속된 좌표 값으로 저장하는 메모리를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
9. 제 1 항에 있어서,

   상기 세선화 수단에 의한 세선화 이전에, 상기 노이즈 제거 수단으로부터 제공된 도로면 영상에 대하여 3x3 픽셀 크기의 마스크를 래스터 스캔 방식으로 마스크 검사를 수행하여 상기 마스크 내 임의의 픽셀에 이웃하는 픽셀 중 제1 값을 갖는 적어도 하나의 픽셀이 존재하면, 상기 임의의 픽셀 주변의 픽셀을 모두 상기 제1 값을 갖도록 변환하는 팽창 연산 수단; 및

   상기 중심선 추출 수단에 의해 추출된 하나 또는 그 이상의 크랙 네트워크에서 끊김이 발생한 크랙 네트워크를 보정하는 에지 링킹 수단을 더 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
10. 제1 항에 있어서,

    상기 이동수단은:

    상기 크랙실링 장비의 프레임에 X축 방향으로 운동가능하게 설치된 제1 캐리지와;

    상기 제1 캐리지에 Y축 방향으로 운동가능하게 설치되고, 상기 실런트 분사노즐이 설치된 제2 캐리지와;

    상기 실런트 분사노즐이 상기 크랙 네트워크의 좌표를 따라서 X축 방향으로 운동할 수 있도록 상기 제1 캐리지를 X축 방향으로 운동시키는 X축 운동수단과;

    상기 실런트 분사노즐이 상기 크랙 네트워크의 좌표를 따라서 Y축 방향으로 운동할 수 있도록 상기 제2 캐리지를 Y축 방향으로 운동시키는 Y축 운동수단을 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 시스템.
11. 도로면에 형성된 크랙에 실런트를 크랙에 분사하여 실링처리하는 실런트 분사노즐을 갖는 크랙실링 장비의 크랙 인식 및 제어 방법에 있어서,

    (a) 카메라로부터 제공된 크랙 네트워크를 갖는 도로면 영상을 이진화하는 이진화 단계;

    (b) 상기 이진화된 도로면 영상에서 크랙 네트워크 주변의 노이즈를 제거하는 노이즈 제거 단계;

    (c) 상기 노이즈 제거된 도로면 영상을 가중치를 이용한 세선화 알고리즘을 이용하여 크랙 네트워크 중심 뼈대만을 남기고 나머지 부분을 삭제하는 세선화 단계;

    (d) 상기 세선화된 도로면 영상 내 크랙 네트워크의 교차점을 삭제하여 하나 이상의 크랙 네트워크를 독립적으로 추출하고, 추출된 상기 크랙 네트워크의 위치정보를 연속된 좌표로 생성하는 중심선 추출 단계;

    (e) 상기 추출된 각각의 크랙 네트워크의 좌표를 따라서 상기 실런트 분사노즐이 이동할 경로를 계획하는 단계;

    (f) 상기 계획된 경로에 따라 상기 실런트 분사 노즐을 이동시켜 실런트를 분사하는 단계를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.
12. 제 11항에 있어서,

    상기 단계(a)는:

    상기 도로면 영상에 대하여 픽셀 마스크를 래스터 스캔에 따라 한 픽셀 단위로 이동시키는 단계;

    스캔되는 상기 픽셀 마스크 내에 포함된 픽셀들의 명도 값의 분포를 계산하고, 상기 픽셀 마스크의 모소리에 각기 위치한 검사 대상 픽셀의 명도 데이터가 상기 명도 값의 분포 중의 기설정된 범위에 속하는 지의 여부에 따라 상기 검사 대상 픽셀을 제1 값 또는 제2 값으로 설정하는 단계를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.
13. 제 12 항에 있어서,

    상기 기설정 범위는 명도 값의 분포 중의 상위 20% 이상인 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.
14. 제 11항에 있어서,

    상기 노이즈 제거 단계(b)는:

    상기 이진화된 도로면 영상에서 서로 인접하게 연결되고 제 1 값을 갖는 픽셀들을 각기 그룹핑하여 객체로 설정하는 단계;

    각각의 상기 객체마다 일정한 라벨을 부여하고, 각 객체의 기하학적 특성을 추출하여 상기 도로면 영상에서 크랙 네트워크와 노이즈를 분리하는 단계를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.
15. 제 14항에 있어서,

    상기 객체의 특성은 상기 라벨링된 픽셀의 명도 데이터의 평균을 나타내는 평균 명도, 상기 라벨링된 픽셀들의 개수의 합을 나타내는 면적, 상기 라벨링된 픽셀들의 둘레, 상기 라벨링된 픽셀들에서 가장 멀리 떨어진 픽셀까지의 거리를 나타내는 직경, 상기 둘레를 면적으로 나눈 둘레-면적 비율, 상기 직경을 면적으로 나눈 직경-면적 비율 및 상기 라벨링된 픽셀들의 원형 정도를 나타내는 원형도를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.
16. 제 11 항에 있어서,

    상기 세선화 단계(c)는:

    이진화된 상기 도로면 영상에 대하여 스캔되는 Nㅧ N 마스크 내 각 픽셀의 가중치를 부여하는 단계와, 상기 가중치는 상기 마스크 내 임의의 픽셀에 이웃하면서 동일한 제1 값을 갖는 픽셀들의 개수이며;

    상기 가중치 부여된 픽셀의 패턴을 상기 가중치와 동일한 개수의 픽셀을 갖는 기설정 패턴들과 비교하는 단계;

    상기 기설정 패턴과 동일한 상기 가중치 부여된 픽셀의 제1값을 제2 값으로 변환하여 상기 크랙 네트워크의 중심 뼈대만을 남겨놓게 하는 단계를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.
17. 제 11 항에 있어서,

    상기 중심선 추출 단계(d)는:

    상기 도로면 영상에 대하여 래스터 스캔 방식으로 마스크 검사를 수행하는 단계;

    상기 검사된 임의의 픽셀에 이웃하고 제1 값을 갖는 픽셀의 개수를 결정하는 단계;

    상기 결정된 개수에 따라 상기 픽셀의 위치를 크랙의 끝점, 크랙의 내부 점, 교차점으로 설정하는 단계;

    상기 마스크 검사된 도로면 영상에서 교차점을 삭제하여 각각의 크랙 네트워크를 독립적으로 추출하는 단계;

    상기 독립적으로 추출된 각각의 크랙 네트워크의 끝점 및 내부 점을 크랙위치를 나타내는 연속된 좌표 값으로 결정하는 단계를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.
18. 제 11 항에 있어서,

    상기 경로 계획 단계(e)는:

    상기 독립적으로 분리된 크랙 네트워크의 개수가 기설정 개수를 만족하는 지를 판단하는 단계;

    상기 크랙 네트워크의 개수가 기설정 개수를 초과할 때, 원점(0, 0)에서 가장 가까운 크랙 네트워크를 찾아 실링하고, 상기 실링된 지점에서 가장 가까운 네트워크를 찾아 실링하는 과정을 반복하도록 상기 실런트 분사노즐이 이동할 경로를 계획하는 단계;

    상기 크랙 네트워크의 개수이 기설정 개수 이하일 때, 상기 크랙 네트워크가 존재할 경우의 수만큼 상기 크랙 네트워크를 직접 방문 연산하여 최적의 경로를 계획하는 단계를 포함하는 것을 특징으로 도로면 크랙 인식 및 제어 방법.
19. 제 11 항에 있어서,

    상기 세선화 단계(c) 이전에, 상기 노이즈 제거된 도로면 영상에 대하여 3x3 픽셀 크기의 마스크를 래스터 스캔 방식으로 마스크 검사를 수행하여 상기 마스크 내 임의의 픽셀에 이웃하는 픽셀 중 상기 크랙 네트워크를 구성하는 제1 값을 갖는 적어도 하나의 픽셀이 존재하면, 상기 임의의 픽셀 주변의 픽셀을 모두 상기 크랙 네트워크에 속하는 제1 값을 갖도록 변환하는 팽창 단계; 및

    상기 중심선 추출 단계(d)에 의해 분리된 하나 또는 그 이상의 크랙 네트워크에서 끊김이 발생한 크랙 네트워크를 보정하는 에지 링킹 단계를 더 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.
20. 제 19 항에 있어서,

    상기 에지 링킹 단계는:

    상기 크랙 네트워크의 끝점에서 가상의 한점(C2)을 정하고 로컬 탐색을 수행할 영역을 설정하는 단계;

    상기 크랙 네트워크에서 모델링 처리된 끝점(C1)과 상기 가상점(C2) 사이에 로컬 박스를 생성하는 단계;

    상기 로컬 박스 내에서 크랙을 탐색하여 상기 가상 점(C2)을 크랙 네트워크가 탐색된 위치로 이동하는 단계;

    상기 단계를 더 이상의 크랙 네트워크가 탐색되지 않을 때 가지 반복하여 끊김이 발생한 크랙 네트워크를 보정하는 단계를 포함하는 것을 특징으로 하는 도로면 크랙 인식 및 제어 방법.

Images