KR102526869B1

KR102526869B1 - 음향과 영상 정보를 이용한 도로 포장 구분 장치 및 방법

Info

Publication number: KR102526869B1
Application number: KR1020210083160A
Authority: KR
Inventors: 장서일; 김보경; 이재관; 최호식; 이수일
Original assignee: 서울시립대학교 산학협력단
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2023-04-27
Also published as: KR20230000709A

Abstract

구분 장치가 제공된다. 상기 구분 장치는 도로를 주행하는 차량의 노면 소음이 포함된 음향 정보, 상기 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득하는 획득 유니트; 상기 도로의 포장 종류에 따라 달라지는 상기 환경 정보의 분석을 통해 상기 도로의 포장 종류를 구분하는 구분 유니트;를 포함할 수 있다.

Description

음향과 영상 정보를 이용한 도로 포장 구분 장치 및 방법{Apparatus and method for classifying types of road pavement using sound information and image information}

본 발명은 음향 정보와 영상 정보를 이용하여 도로 포장의 종류를 구분하는 장치 및 방법에 관한 것이다.

차량이 주행하는 도로의 관리를 자동화하기 위해, 도로 포장의 훼손 상태를 정확하게 측정하고 유지 보수 시점을 도출하는 기술이 필요하다. 또한, 도로를 주행하는 차량의 탑승자에게 불쾌감을 주는 차량과 도로의 마찰 소음을 줄이기 위해 도로의 포장 상태가 관리될 필요가 있다.

도로의 훼손 장치 및 유지 보수 시점을 정확하게 측정/도출하거나 마찰 소음을 줄이기 위한 도로의 포장 상태의 관리를 위한 사전 작업으로 도로 포장의 유형, 종류, 타입이 자동으로 구분될 필요가 있다.

한국등록특허 제0758705호에는 노면 촬영 이미지의 분석을 통해 도로의 훼손 상태를 측정하는 기술이 나타나 있다.

한국등록특허공보 제0758705호

본 발명은 도로의 종류, 유형, 타입을 자동으로 구분하거나 식별하는 구분 장치 및 구분 방법을 제공하기 위한 것이다.

본 발명의 구분 장치는 도로를 주행하는 차량의 노면 소음이 포함된 음향 정보, 상기 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득하는 획득 유니트; 상기 도로의 포장 종류에 따라 달라지는 상기 환경 정보의 분석을 통해 상기 도로의 포장 종류를 구분하는 구분 유니트;를 포함할 수 있다.

본 발명의 구분 방법은 도로를 주행하는 차량의 노면 소음이 포함된 음향 정보, 상기 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득하는 단계; 상기 도로의 포장 종류에 따라 달라지는 상기 환경 정보의 분석을 통해 상기 도로의 포장 종류를 구분하는 단계;를 포함할 수 있다.

본 발명의 구분 장치는 차량의 노면 소음이 포함된 음향 정보 또는 노면을 촬영한 영상 정보를 이용하여 도로의 포장 종류, 유형, 타입(type)을 자동으로 구분, 분류, 분석, 추출할 수 있다.

일 예로, 본 발명은 음향 정보와 영상 정보를 별개로 사용하는 대신, 타이어 노면 소음 데이터와 노면 이미지 데이터를 결합한 후 결합된 데이터를 인공 신경망 모델에 적용하여 도로 포장의 유형을 분류할 수 있다.

본 발명의 구분 장치 및 구분 방법은 복수의 데이터(음향 데이터, 이미지 데이터)를 이용한다는 점과 인공 신경망 모델을 이용한다는 점을 통해 도로 포장의 종류, 유형을 파악할 수 있다. 본 발명에 의해 파악된 도로 포장의 유형 정보는 도로 교통 소음의 측정 정확도를 개선하는데 사용될 수 있다.

도 1은 본 발명의 구분 장치를 나타낸 블록도이다.
도 2는 본 발명의 구분 방법을 나타낸 흐름도이다.
도 3은 제1 분석부의 동작을 나타낸 개략도이다.
도 4는 제2 분석부의 동작을 나타낸 개략도이다.
도 5는 제2 분석부의 호그 분석을 나타낸 개략도이다.
도 6은 제2 분석부에 의해 생성된 입력 데이터를 나타낸 도표이다.
도 7은 처리부의 동작을 나타낸 개략도이다.
도 8a와 도 8b는 처리부에 의해 생성된 제1 벡터 데이터를 나타낸 도표이다.
도 9는 처리부의 다른 동작을 나타낸 도표이다.
도 10은 최종 입력 데이터를 나타낸 도표이다.
도 11은 학습 유니트에 형성된 인공 신경망을 나타낸 개략도이다.
도 12는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.

도 1은 본 발명의 구분 장치를 나타낸 블록도이다.

도 1에 도시된 구분 장치는 획득 유니트(110), 구분 유니트(130), 학습 유니트(150)를 포함할 수 있다.

획득 유니트(110)는 환경 정보를 획득할 수 있다.

환경 정보에는 도로를 주행하는 차량(10)의 노면 소음이 포함된 음향 정보 s, 도로의 노면을 촬영한 영상 정보 i 중 적어도 하나가 포함될 수 있다.

차량(10)에는 노면 소음을 수집하기 위한 마이크(111)가 마련될 수 있다. 마이크(111)는 도 3과 같이 차량(10)의 타이어(19)와 노면의 접촉 부위에 최대한 가깝게 형성될 수 있다.

차량(10)에는 노면을 촬영한 영상 정보를 수집하는 카메라(112)가 설치될 수 있다. 카메라(112)는 차량(10)에 최대한 가까운 위치의 노면을 촬영하도록 차량(10)에 설치되는 것이 좋다.

차량(10) 주행 중에는 공기 저항에 따른 풍절음, 타이어(19)의 회전에 따라 타이어(19)와 지면의 마찰로 인하여 발생하는 노면 소음 등이 발생할 수 있다. 노면 소음은 노면과 타이어(19)의 접촉에 의하여 발생하는 다양한 주파수 대역의 소음을 포함할 수 있다. 노면 소음에는 타이어(19)에 형성된 트레드 패턴 배열의 트레드가 노면과 접촉할 때 발생하는 일정 주파수 대역의 패턴 노이즈(pattern noise), 트레드가 노면과 접촉할 때 노면을 두드리면서 발생하는 저주파 대역의 소음인 스켈치(squelch) 및 타이어(19)와 노면 간의 슬립에 의하여 발생하는 스퀼(squeal) 등이 포함될 수 있다.

구분 유니트(130)는 도로의 포장 종류에 따라 달라지는 환경 정보의 분석을 통해 도로의 포장 종류, 유형 등을 구분할 수 있다.

포장 종류의 구분 정확도를 개선하기 위해, 구분 유니트(130)는 음향 정보 s와 영상 정보 i를 별개로 사용하는 대신, 음향 정보 s와 영상 정보 i를 함께 이용해서 포장 종류를 구분할 수 있다.

학습 유니트(150)는 포장 종류를 구분하는 구분 모델을 생성할 수 있다.

학습 유니트(150)는 기획득된 음향 정보와 영상 정보 중 적어도 하나를 입력 데이터셋으로 하는 기계 학습을 통해 구분 모델을 생성할 수 있다.

구분 유니트(130)는 구분 모델을 이용하여 도로의 포장 종류를 구분할 수 있다.

구분 유니트(130)에는 제1 분석부(131), 제2 분석부(132), 처리부(133), 구분부(135)가 마련될 수 있다.

제1 분석부(131)는 음향 정보의 음압 수준, 소음 강도, 음질 지수 중 적어도 하나를 분석하고, 분석 결과를 이용해 도로의 포장 종류별 음향 특성을 추출할 수 있다.

제1 분석부(131)는 음향 특성을 이용하여, 노면 소음 중에서 도로의 훼손으로 인해 발생되거나 다른 포장 종류의 도로로 넘어가는 경계선 통과 과정에서 발생되는 임팩트 소음을 정상 소음과 구분할 수 있다. 정상 소음은 훼손되지 않은 정상적인 단일 종류의 포장 도로를 주행할 때 획득되는 노면 소음에 해당될 수 있다.

일 예로, 제1 분석부(131)는 노면 소음이 도로의 훼손으로 인해 발생되거나 다른 포장 종류의 도로로 넘어가는 경계선 통과 과정에서 발생되는 임팩트 소음인지 정상 기준을 만족하는 노면을 주행하는 과정에서 발생하는 정상 소음인지 1차 분석할 수 있다. 제1 분석부(131)는 정상 소음과 임팩트 소음 중에서 정상 소음만을 이용해서 도로의 포장 종류를 2차 분석할 수 있다.

구분 유니트(130)의 구분부(135)는 도로의 훼손을 추출하거나 도로의 경계선을 추출하는데 사용되는 임팩트 소음을 배제하고, 정상 소음만을 이용해서 도로의 포장 종류를 구분할 수 있다.

정리하면, 제1 분석부(131)는 노면 소음에 포함된 임팩트 소음을 배제하고, 임팩트 소음이 배제된 노면 소음을 이용하여 도로의 포장 종류를 분석할 수 있다.

임팩트 소음은 노면 소음을 획득하는 마이크(111)가 설치된 차량(10)이 훼손된 상태의 특정 노면을 통과하거나 현재 도로에서 다른 종류의 포장 도로로 넘어갈 때 발생될 수 있다.

정상 소음과 임팩트 소음을 구분하고, 임팩트 소음을 이용해 도로의 훼손 상태, 도로의 이상 유무를 파악하는 비교 실시예가 존재할 수 있다. 제1 분석부(131)는 1차 분석을 통해 정상 소음과 임팩트 소음을 구분하거나 임팩트 소음을 파악할 수 있다. 하지만, 제1 분석부(131)는 임팩트 소음을 이용하여 도로의 훼손 상태 또는 이상 유무를 파악하는 것이 아니라, 임팩트 소음이 배제된 순수한 정상 소음을 획득하기 위해 임팩트 소음을 파악하는 것임을 환기한다.

제2 분석부(132)는 도로의 노면을 촬영한 영상 정보에서 관심 영역 r을 추출할 수 있다. 제2 분석부(132)는 상기 관심 영역 r을 설정 개수의 세부 영역으로 분할한 후 호그(HOG, Histogram Of Gradient)를 수행할 수 있다.

제2 분석부(132)는 원점(중심점)을 기준으로 점대칭되는 각도 구간끼리 합하여 한 개의 값으로 사용하는 방식을 통해 각 세부 영역별로 계산되는 0~360도의 호그값을 0~180도로 변환할 수 있다. 일 예로, 제2 분석부(132)는 0~20도 범위의 값과 -160~-180도 범위 값을 합하여 한 개의 값으로 사용할 수 있다. 0~20도 범위는 0도 이상이면서 20도 미만인 각도 구간을 나타낼 수 있다. 이와 같은 방식이 20~40도 범위 값 등에도 동일하게 적용될 수 있다.

구분 유니트(130)의 구분부(135)는 0~180도로 변환된 호그값을 이용하여 도로의 포장 종류를 구분할 수 있다.

제2 분석부(132)는 영상 정보에 대해 허프(Hough) 변환과 호그(HOG, Histogram Of Gradient)를 적용하여, 포장 종류별 이미지 특성을 추출할 수 있다.

처리부(133)는 제1 분석부(131)에서 추출된 복수의 음향 특성과 제2 분석부(132)에서 추출된 복수의 이미지 특성을 합쳐서 도 8a, 도 8b, 도 10과 같이 하나의 벡터 데이터를 생성할 수 있다.

구분부(135)는 벡터 데이터를 이용하여 포장 종류를 구분할 수 있다.

단위 시간당 획득된 음향 정보의 제1 샘플링 데이터 개수와 영상 정보의 제2 샘플링 데이터 개수가 서로 다를 수 있다.

처리부(133)는 서로 동일한 시각에 획득된 특정 제1 샘플링 데이터와 특정 제2 샘플링 데이터를 추출 및 취합해서 한 개의 벡터 데이터로 생성할 수 있다. 벡터 데이터의 형태는 도 8a, 도 8b가 하나로 합쳐진 도표와 같을 수 있다. 벡터 데이터는 가로축과 세로축 중 어느 한 축이 이미지 특성 및 음향 특성이고, 나머지 한 축이 시간축에 배열된 데이터를 포함할 수 있다.

처리부(133)는 벡터 데이터에 포함된 복수의 변수에 대해 랜덤 포레스트(random forest) 모형을 적용하여 도 9와 같이 중요도 순위에 따라 설정 개수의 변수를 선택할 수 있다.

구분부(135)는 처리부(133)에서 선택된 변수를 벡터 데이터를 도 10과 같이 정리하고, 도 10과 같이 정리된 벡터 데이터를 이용하여 도로의 포장 종류를 구분할 수 있다.

도 2는 본 발명의 구분 방법을 나타낸 흐름도이다.

도 2의 구분 방법은 도 1에 도시된 구분 장치에 의해 수행될 수 있다.

구분 방법은 크게 획득 단계(S 510) 및 구분 단계(S 520)를 포함할 수 있다.

획득 단계(S 510)는 도로를 주행하는 노면 소음이 포함된 음향 정보, 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득할 수 있다. 획득 단계(S 510)는 획득 유니트(110)에 의해 수행될 수 있다.

구분 단계(S 530)는 도로의 포장 종류에 따라 달라지는 환경 정보의 분석을 통해 도로의 포장 종류를 구분할 수 있다. 구분 단계(S 530)는 구분 유니트(130)에 의해 수행될 수 있다.

구분 단계(S 530)는 제1 분석 단계(S 531), 제2 분석 단계(S 532), 처리 단계(S 533), 실행 단계(S 535)를 포함할 수 있다.

제1 분석 단계(S 531)는 제1 분석부(131)에 의해 수행될 수 있다.

제1 분석 단계(S 531)는 음향 정보의 음압 수준, 소음 강도, 음질 지수 중 적어도 하나를 분석하고, 포장 종류별 음향 특성을 추출할 수 있다.

제2 분석 단계(S 532)는 제2 분석부(132)에 의해 수행될 수 있다.

제2 분석 단계(S 532)는 영상 정보에 대해 허프(Hough) 변환과 호그(HOG, Histogram Of Gradient)를 적용하여, 포장 종류별 이미지 특성을 추출할 수 있다.

처리 단계(S 533)는 처리부(133)에 의해 수행될 수 있다.

처리 단계(S 533)는 복수의 음향 특성과 복수의 이미지 특성을 합쳐서 하나의 벡터 데이터를 생성할 수 있다.

실행 단계(S 535)는 구분부(135)에 의해 수행될 수 있다.

실행 단계(S 535)는 벡터 데이터를 이용하여 도로의 포장 종류를 구분할 수 있다.

이상에서 살펴본 구분 장치 및 구분 방법에 대해 도면을 참조하여 상세하게 설명한다.

도 3은 제1 분석부(131)의 동작을 나타낸 개략도이다.

타이어(19)와 노면의 접촉면에 대면하게 설치된 마이크(111)를 이용하여 노면 소음이 포함된 음향 정보가 수집될 수 있다. 획득 데이터는 해당 마이크(111)를 직접 포함하거나, 마이크(111)와 통신하는 통신 수단을 포함할 수 있다. 획득 유니트(110)는 마이크(111)를 통해 음향 정보를 획득하고, 해당 음향 정보는 제1 분석부(131)에 제공될 수 있다.

음향 정보는 제1 분석부(131)에 의해 분석될 수 있다.

제1 분석부(131)는 예를 들어, 0.1초당 음향 정보 한 개씩을 입력받을 수 있다.

제1 분석부(131)는 음향 정보의 소음 강도(sound intensity), 음압 수준(SPL, Sound Pressure Level), 음질 지수(SQ index, Sound Quality index)를 분석할 수 있다.

제1 분석부(131)는 소음 강도와 관련하여 Bandsum(400Hz~5kHz) SIL(Sound Intensity Level), 주파수 대역별 소음 강도(400hz 소음 강도, 500Hz 소음 강도 등) 등 13개의 변수를 추출하거나 분석할 수 있다.

제1 분석부(131)는 음압 레벨과 관련하여 1개의 변수를 추출하거나 분석할 수 있다.

제1 분석부(131)는 음질 지수와 관련하여 5개의 변수(Loudness Sharpness, Roughness, Fluctuation strength, Tonality)를 추출하거나 분석할 수 있다.

제1 분석부(131)는 처리부(133), 구분부(135), 학습 유니트(150) 중 적어도 하나에 제공될 하나의 입력 데이터에 19개의 입력값(Bandsum ~ tonality)과 한 개의 정답을 포함시킬 수 있다.

도 4는 제2 분석부(132)의 동작을 나타낸 개략도이다.

차량(10)에 설치된 카메라(112)를 통해 노면이 촬영된 영상 정보가 수집될 수 있다. 획득 유니트(110)는 카메라(112)를 직접 포함하거나 카메라(112)와 통신하는 통신 수단을 포함할 수 있다. 획득 유니트(110)를 통해 획득된 영상 정보는 제2 분석부(132)에 제공될 수 있다.

영상 정보는 제2 분석부(132)에 의해 분석될 수 있다.

제2 분석부(132)는 영상 정보로부터 이미지 특징을 추출하기 위해 허프(Hough) 변환, 호그(HOG, Histogram Of Gradient), GLCM(Grey Level Co-occurrence Matrix)을 이용할 수 있다.

제2 분석부(132)는 허프 변환을 통해 노면에 형성된 종방향 직선의 개수를 변수로 추출할 수 있다. 허프 변환을 통해 노면상에 형성된 종방향(차량(10)의 진행 방향과 평행) 직선의 개수를 파악할 수 있다. 종방향 직선의 개수는 도로의 포장 종류에 따라 달라질 수 있다.

제2 분석부(132)는 관심 영역 r을 설정 개수의 셀(cell)로 분할하고, 각 셀의 호그를 산출할 수 있다. 예를 들어, 제2 분석부(132)는 총 36개의 변수(호그값)을 추출할 수 있다.

제2 분석부(132)는 GLCM을 이용하여 4개의 변수(Contrast, Correlation, Energy, Homogeneity)를 추출할 수 있다.

도 5는 제2 분석부(132)의 호그 분석을 나타낸 개략도이다.

호그(HOG, Histogram Of Gradient)란 픽셀의 변화량을 각도와 크기를 고려하여 히스토그램 형태의 특징(feature)를 추출하는 방법이다.

본 발명에서 호그 분석은 원본 이미지에서 잘라낸 관심 영역 r을 4개의 영역(셀, cell)으로 나눈 후에 수행될 수 있다.

제2 분석부(132)는 각 영역별로 계산되는 0~360도의 호그값을 0~180도로 변환할 수 있다.

예를 들어, 제2 분석부(132)는 0~20도 범위의 값과 -160~-180도 범위의 값을 합하여 한 개의 값으로 사용할 수 있다. 제2 분석부(132)는 20~40도 범위의 값과 -140~-160도 범위의 값을 합하여 한 개의 값으로 사용할 수 있다. 제2 분석부(132)는 나머지 각도 구간도 동일한 방법으로 합하여 각 각도별 값을 사용할 수 있다(총 9개의 범위).

제2 분석부(132)에서 추출된 이미지 특성은 처리부(133), 구분부(135), 학습 유니트(150) 중 적어도 어느 하나의 입력 데이터로 사용될 수 있다.

도 6은 제2 분석부(132)에 의해 생성된 입력 데이터를 나타낸 도표이다.

입력 데이터는 촬영 프레임당 한 개씩 출력될 수 있다. 입력 데이터 한 개에 총 41개의 입력값과 한 개의 정답이 포함될 수 있다.

도 7은 처리부(133)의 동작을 나타낸 개략도이다.

제1 분석부(131)로부터 출력된 음향 정보 기반의 입력 데이터는 0.1초당 한 개일 수 있다.

제2 분석부(132)로부터 출력된 영상 정보 기반의 입력 데이터는 촬영 프레임당 한 개(예를 들어, 초당 30프레임으로 촬영하고 프레임마다 특징 분석 결과 사용)일 수 있다.

이 경우, 1초에 음향 정보 입력 데이터는 10개이고, 영상 정보 입력 데이터는 30개이므로, 데이터의 개수가 서로 다를 수 있다. 이때, 처리부(133)는 서로 동일한 시각에 수집된 데이터를 붙여 한 개의 벡터 데이터로 생성할 수 있다.

도 8a와 도 8b는 처리부(133)에 의해 생성된 제1 벡터 데이터를 나타낸 도표이다.

도 8a의 이미지 특성과 도 8b의 음향 특성은 본래 하나로 연결된 상태로 벡터 데이터이나, 지면상의 크기 제한으로 인해 도 8a와 도 8b로 나누어 나타내었다.

막대한 데이터의 양을 최소화하기 위한 일환으로 처리부(133)는 벡터 데이터에 포함된 변수의 개수를 줄일 수 있다.

도 9는 처리부(133)의 다른 동작을 나타낸 도표이다.

처리부(133)는 랜덤 포레스트 모형을 이용하여 변수의 개수를 줄일 수 있다.

일 예로, 처리부(133)는 음향 특징에 랜덤 포레스트를 적용하고, 최종 모형에서 입력 데이터들의 중요도에 따라 상위 10개의 변수를 선정할 수 있다.

도 9에서는 Band Sum SIL, Tonality, Sharpness, 800Hz sound intensity, 1kHz sound intensity, 1.25kHz sound intensity, 1.6kHz sound intensity, 2kHz sound intensity, Loudness, Fluctuation strength가 상위 10개의 변수로 선정되었다.

처리부(133)는 이미지 특징에 대해서도 랜덤 포레스트를 적용하고, 최종 모형에서 입력 데이터들의 중요도에 따라 상위 10개의 변수를 선정할 수 있다.

그 결과, 도 5에서 관심 영역 내의 '(2,2)'에 해당하는 Cell(2.2)의 호그 9개, 종방향 직선 개수가 선정되었다. 처리부(133)는 GLCM(Homogeneity)를 변수에 추가할 수 있다.

도 10은 최종 입력 데이터를 나타낸 도표이다.

처리부(133)는 10개의 음향 정보 기반의 입력 데이터와 11개의 영상 정보 기반의 입력 데이터를 하나로 합친 벡터 데이터를 생성할 수 있다.

해당 벡터 데이터는 도 11에 나타낸 인공 신경망의 학습 데이터로 입력될 수 있다. 도 11은 학습 유니트(150)에 형성된 인공 신경망을 나타낸 개략도이다.

또는, 해당 벡터 데이터는 해당 인공 신경망을 통해 생성된 구분 모델에 입력될 수 있다. 구분 모델은 구분부(135)에 탑재되고, 해당 벡터 데이터를 입력받아 도로의 포장 종류를 구분할 수 있다.

도 12는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 12의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 구분 장치 등) 일 수 있다.

도 12의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10...차량 19...타이어
110...획득 유니트 111...마이크
112...카메라 130...구분 유니트
131...제1 분석부 132...제2 분석부
133...처리부 135...구분부
150...학습 유니트

Claims

도로를 주행하는 차량의 노면 소음이 포함된 음향 정보, 상기 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득하는 획득 유니트;
상기 도로의 포장 종류에 따라 달라지는 상기 환경 정보의 분석을 통해 상기 도로의 포장 종류를 구분하는 구분 유니트;를 포함하고,
제1 분석부가 마련되고,
상기 제1 분석부는 상기 노면 소음이 상기 도로의 훼손으로 인해 발생되거나 다른 포장 종류의 도로로 넘어가는 경계선 통과 과정에서 발생되는 임팩트 소음인지 정상 기준을 만족하는 노면을 주행하는 과정에서 발생하는 정상 소음인지 1차 분석하고,
상기 제1 분석부는 상기 정상 소음과 상기 임팩트 소음 중에서 상기 정상 소음만을 이용해서 상기 도로의 포장 종류를 2차 분석하는 구분 장치.
삭제
제1항에 있어서,
상기 포장 종류를 구분하는 구분 모델을 생성하는 학습 유니트가 마련되고,
상기 학습 유니트는 기획득된 상기 음향 정보와 상기 영상 정보 중 적어도 하나를 입력 데이터셋으로 하는 기계 학습을 통해 상기 구분 모델을 생성하며,
상기 구분 유니트는 상기 구분 모델을 이용하여 상기 도로의 포장 종류를 구분하는 구분 장치.
도로를 주행하는 차량의 노면 소음이 포함된 음향 정보, 상기 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득하는 획득 유니트;
상기 도로의 포장 종류에 따라 달라지는 상기 환경 정보의 분석을 통해 상기 도로의 포장 종류를 구분하는 구분 유니트;를 포함하고,
상기 음향 정보의 음압 수준, 소음 강도, 음질 지수 중 적어도 하나를 분석하고, 분석 결과를 이용해 상기 도로의 포장 종류별 음향 특성을 추출하는 제1 분석부가 마련되고,
상기 제1 분석부는 상기 음향 특성을 이용하여, 상기 노면 소음 중에서 상기 도로의 훼손으로 인해 발생되거나 다른 포장 종류의 도로로 넘어가는 경계선 통과 과정에서 발생되는 임팩트 소음을 정상 소음과 구분하고,
상기 구분 유니트는 상기 도로의 훼손을 추출하거나 상기 도로의 경계선을 추출하는데 사용되는 상기 임팩트 소음을 배제하고, 상기 정상 소음만을 이용해서 상기 도로의 포장 종류를 구분하는 구분 장치.
삭제
제1항에 있어서,
상기 임팩트 소음은 상기 노면 소음을 획득하는 마이크가 설치된 차량이 훼손된 상태의 특정 노면을 통과할 때 발생되는 구분 장치.
도로를 주행하는 차량의 노면 소음이 포함된 음향 정보, 상기 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득하는 획득 유니트;
상기 도로의 포장 종류에 따라 달라지는 상기 환경 정보의 분석을 통해 상기 도로의 포장 종류를 구분하는 구분 유니트;를 포함하고,
제2 분석부가 마련되며,
상기 제2 분석부는 상기 영상 정보에서 관심 영역을 추출하고,
상기 제2 분석부는 상기 관심 영역을 설정 개수의 세부 영역으로 분할한 후 호그(HOG, Histogram Of Gradient)를 수행하며,
상기 제2 분석부는 원점을 기준으로 점대칭되는 각도 구간끼리 합하여 한 개의 값으로 사용하는 방식을 통해 각 세부 영역별로 계산되는 0~360도의 호그값을 0~180도로 변환하고,
상기 구분 유니트는 0~180도로 변환된 상기 호그값을 이용하여 상기 도로의 포장 종류를 구분하는 구분 장치.
도로를 주행하는 차량의 노면 소음이 포함된 음향 정보, 상기 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득하는 획득 유니트;
상기 도로의 포장 종류에 따라 달라지는 상기 환경 정보의 분석을 통해 상기 도로의 포장 종류를 구분하는 구분 유니트;를 포함하고,
제1 분석부, 제2 분석부, 처리부, 구분부가 마련되고,
상기 제1 분석부는 상기 음향 정보의 음압 수준, 소음 강도, 음질 지수 중 적어도 하나를 분석하고, 포장 종류별 음향 특성을 추출하며,
상기 제2 분석부는 상기 영상 정보에 대해 허프(Hough) 변환과 호그(HOG, Histogram Of Gradient)를 적용하여, 포장 종류별 이미지 특성을 추출하고,
상기 처리부는 복수의 상기 음향 특성과 복수의 상기 이미지 특성을 합쳐서 하나의 벡터 데이터를 생성하며,
상기 구분부는 상기 벡터 데이터를 이용하여 상기 포장 종류를 구분하는 구분 장치.
제8항에 있어서,
단위 시간당 획득된 상기 음향 정보의 제1 샘플링 데이터 개수와 상기 영상 정보의 제2 샘플링 데이터 개수가 서로 다를 때,
상기 처리부는 서로 동일한 시각에 획득된 특정 제1 샘플링 데이터와 특정 제2 샘플링 데이터를 추출 및 취합해서 한 개의 벡터 데이터로 생성하고,
상기 처리부는 상기 벡터 데이터에 포함된 복수의 변수에 대해 랜덤 포레스트 모형을 적용하여 중요도 순위에 따라 설정 개수의 변수를 선택하며,
상기 구분부는 상기 처리부에서 선택된 변수를 이용하여 상기 도로의 포장 종류를 구분하는 구분 장치.
구분 장치에 의해 수행되는 구분 방법에 있어서,
도로를 주행하는 차량의 노면 소음이 포함된 음향 정보, 상기 도로의 노면을 촬영한 영상 정보 중 적어도 하나가 포함된 환경 정보를 획득하는 단계;
상기 도로의 포장 종류에 따라 달라지는 상기 환경 정보의 분석을 통해 상기 도로의 포장 종류를 구분하는 단계;를 포함하고,
상기 구분하는 단계는,
상기 노면 소음이 상기 도로의 훼손으로 인해 발생되거나 다른 포장 종류의 도로로 넘어가는 경계선 통과 과정에서 발생되는 임팩트 소음인지 정상 기준을 만족하는 노면을 주행하는 과정에서 발생하는 정상 소음인지 1차 분석하고, 상기 정상 소음과 상기 임팩트 소음 중에서 상기 정상 소음만을 이용해서 상기 도로의 포장 종류를 2차 분석하거나,

상기 구분하는 단계는,
상기 영상 정보에서 관심 영역을 추출하고, 상기 관심 영역을 설정 개수의 세부 영역으로 분할한 후 호그(HOG, Histogram Of Gradient)를 수행하며, 원점을 기준으로 점대칭되는 각도 구간끼리 합하여 한 개의 값으로 사용하는 방식을 통해 각 세부 영역별로 계산되는 0~360도의 호그값을 0~180도로 변환하고, 0~180도로 변환된 상기 호그값을 이용하여 상기 도로의 포장 종류를 구분하는 구분 방법.