KR20230120313A - 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 - Google Patents

Abstract

본 발명의 학습 데이터를 생성하기 위한 방법은 데이터처리부가 서로 다른 매체를 통해 계측된 도로의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 수집하는 단계와, 상기 데이터처리부가 시간 축 상에서 상기 복수의 종류의 계측 데이터를 정합하여 멀티모달 데이터를 생성하는 단계와, 상기 데이터처리부가 시간 축 상에서 상기 멀티모달 데이터를 소정의 시간 기간 단위로 구분하여 복수의 단위멀티모달 데이터를 생성하는 단계와, 라벨링부가 상기 복수의 단위멀티모달 데이터 각각에 대해 도로의 노면 상태를 나타내는 상태벡터로 라벨링하는 단계를 포함한다.

Description

노면 상태 분석을 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법{Apparatus for generating learning data for road surface condition analysis and method therefor}

본 발명은 학습 데이터를 생성하기 기술에 관한 것으로, 더욱 상세하게는, 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법에 관한 것이다.

통상적으로 수막, 결빙, 적설 등의 악천후 노면상태 정보는 효율적인 도로관리 및 교통 안전에 중요한 역할을 한다. 최근 블랙아이스(Black ice 또는 clear ice)에 의한 사고의 발생이 빈번한데, 블랙아이스는 도로 표면에 코팅한 것처럼 얇은 얼음막이 생기는 현상을 말한다. 이는 아스팔트 표면의 틈 사이로 눈과 습기가 공기 중의 매연, 먼지와 뒤엉켜 스며든 뒤 검게 얼어붙는 현상을 포함한다. 추운 겨울에 다리 위, 터널의 출입구, 그늘진 도로, 산모퉁이 음지 등 그늘지고 온도가 낮은 곳에 주로 생긴다.

기존의 노면상태 관리는 도로 기상정보 시스템이라는 장비를 활용하고 있으며, 이러한 도로 기상정보 시스템은 기상관측 시스템의 자료를 이용하여 도로 노면 및 대기 상태 예측 시스템으로 예측 정보까지 제공할 수 있는 시스템이다. 이러한 도로 기상정보 시스템은 측정된 기상 데이터와 노면상태 정보를 실시간으로 제공함으로써, 운전자의 안전 운행을 위한 정보를 제공해주며, 도로 운영자에게 도로 관리에 대한 효율적인 의사 결정 정보를 제공해줄 수 있지만, 이러한 도로 기상정보 시스템은 장비 설치 및 유지관리비가 매우 고가이기 때문에 그 보급에 한계가 있다.

한국공개특허 제2020-0086492호 (2020년07월17일 공개)

본 발명의 목적은 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법을 제공함에 있다.

본 발명의 학습 데이터를 생성하기 위한 방법은 데이터처리부가 서로 다른 매체를 통해 계측된 도로의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 수집하는 단계와, 상기 데이터처리부가 시간 축 상에서 상기 복수의 종류의 계측 데이터를 정합하여 멀티모달 데이터를 생성하는 단계와, 상기 데이터처리부가 시간 축 상에서 상기 멀티모달 데이터를 소정의 시간 기간 단위로 구분하여 복수의 단위멀티모달 데이터를 생성하는 단계와, 라벨링부가 상기 복수의 단위멀티모달 데이터 각각에 대해 도로의 노면 상태를 나타내는 상태벡터로 라벨링하는 단계를 포함한다.

상기 라벨링하는 단계는 상기 라벨링부가 상기 단위멀티모달 데이터를 표출하는 단계와, 상기 라벨링부가 복수의 노면의 상태 중 어느 하나를 지정하는 입력에 따라 상기 단위멀티모달 데이터를 라벨링하는 단계를 포함한다.

상기 라벨링하는 단계는 인식부가 상기 단위멀티모달 데이터 중 적어도 일부를 분석하여 도로의 상태를 예측하는 영상인식모델을 통해 상기 노면의 상태를 인식하는 단계와, 상기 라벨링부가 상기 인식된 노면의 상태를 나타내는 가이드 정보를 표출하는 단계와, 상기 라벨링부가 상기 가이드 정보를 승인하는 입력이 있으면, 상기 인식된 노면의 상태를 나타내는 상태벡터로 상기 단위멀티모달 데이터를 라벨링하는 단계를 포함한다.

상기 노면의 상태를 인식하는 단계는 상기 인식부가 상기 단위멀티모달 데이터 중 적어도 일부인 입력 데이터를 인식모델에 입력하는 단계와, 상기 인식모델이 상기 입력 데이터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 노면의 복수의 상태 각각에 대해 예측한 확률인 예측값을 도출하는 단계와, 상기 인식부가 상기 예측값에 따라 상기 노면의 상태를 인식하는 단계를 포함한다.

상기 방법은 상기 복수의 종류의 계측 데이터를 수집하는 단계 전, 학습부가 학습용 입력 데이터 및 상기 학습용 입력 데이터에 대응하는 라벨을 포함하는 학습 데이터를 마련하는 단계와, 상기 학습부가 상기 학습용 입력 데이터를 학습이 완료되지 않은 인식모델에 입력하는 단계와, 상기 인식모델이 상기 학습용 입력 데이터에 대해 복수의 계층간 학습이 완료되지 않은 가중치가 적용되는 복수의 연산을 통해 노면의 복수의 상태 각각에 대해 예측한 확률인 학습용 예측값을 산출하는 단계와, 상기 학습부가 상기 학습용 예측값과 상기 라벨의 차이를 나타내는 손실을 산출하는 단계와, 상기 학습부가 상기 손실이 최소가 되도록 상기 인식모델의 가중치를 수정하는 최적화를 수행하는 단계를 더 포함한다.

상기 복수의 종류의 계측 데이터는 상기 노면을 촬영한 영상 신호, 상기 노면에서 발생한 주행 소음을 수신한 오디오 신호, 상기 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터 및 상기 노면이 위치한 지역의 지도 데이터를 포함한다.

본 발명의 학습 데이터를 생성하기 위한 장치는 서로 다른 매체를 통해 계측된 도로의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 수집하고, 시간 축 상에서 상기 복수의 종류의 계측 데이터를 정합하여 멀티모달 데이터를 생성하고, 시간 축 상에서 상기 멀티모달 데이터를 소정의 시간 기간 단위로 구분하여 복수의 단위멀티모달 데이터를 생성하는 데이터처리부와, 상기 복수의 단위멀티모달 데이터 각각에 대해 도로의 노면 상태를 나타내는 상태벡터로 라벨링하는 라벨링부를 포함한다.

상기 라벨링부는 상기 단위멀티모달 데이터를 표출하고, 복수의 노면의 상태 중 어느 하나를 지정하는 입력에 따라 상기 단위멀티모달 데이터를 라벨링하는 것을 특징으로 한다.

상기 장치는 상기 단위멀티모달 데이터 중 적어도 일부를 분석하여 도로의 상태를 예측하는 영상인식모델을 통해 상기 노면의 상태를 인식하는 인식부를 더 포함한다.

상기 라벨링부는 상기 인식된 노면의 상태를 나타내는 가이드 정보를 표출하고, 상기 가이드 정보를 승인하는 입력이 있으면, 상기 인식된 노면의 상태를 나타내는 상태벡터로 상기 단위멀티모달 데이터를 라벨링하는 것을 특징으로 한다.

상기 인식부는 상기 단위멀티모달 데이터 중 적어도 일부인 입력 데이터를 인식모델에 입력하고, 상기 인식모델이 상기 입력 데이터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 노면의 복수의 상태 각각에 대해 예측한 확률인 예측값을 도출하면, 상기 예측값에 따라 상기 노면의 상태를 인식하는 것을 특징으로 한다.

상기 장치는 학습용 입력 데이터 및 상기 학습용 입력 데이터에 대응하는 라벨을 포함하는 학습 데이터를 마련하고, 상기 학습용 입력 데이터를 학습이 완료되지 않은 인식모델에 입력하여, 상기 인식모델이 상기 학습용 입력 데이터에 대해 복수의 계층간 학습이 완료되지 않은 가중치가 적용되는 복수의 연산을 통해 노면의 복수의 상태 각각에 대해 예측한 확률인 학습용 예측값을 산출하면, 상기 학습용 예측값과 상기 라벨의 차이를 나타내는 손실을 산출하고, 상기 손실이 최소가 되도록 상기 인식모델의 가중치를 수정하는 최적화를 수행하는 학습부를 더 포함한다.

상기 복수의 종류의 계측 데이터는 상기 노면을 촬영한 영상 신호, 상기 노면에서 발생한 주행 소음을 수신한 오디오 신호, 상기 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터 및 상기 노면이 위치한 지역의 지도 데이터를 포함한다.

본 발명에 따르면, 복수의 종류의 계측 데이터를 시간 축 상에서 정합하여 멀티모달 데이터를 생성하고, 이러한 멀티모달 데이터에 노면의 상태를 나타내는 상태벡터로 라벨링을 수행한다. 이로써, 노면의 상태를 학습시킬 수 있는 학습 데이터를 완성할 수 있다. 이러한 학습 데이터는 다양한 매체를 통해 계측된 도로의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 포함하기 때문에 다양한 형식의 인공신경망 모델을 학습시킬 수 있으며, 복수의 종류의 계측 데이터의 상호 보완에 의해 학습된 인공신경망 모델을 이용한 분석 결과의 신뢰도가 향상된다.

도 1은 본 발명의 실시예에 따른 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 교통서버의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 학습 데이터를 생성하기 위한 인식모델의 구성을 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 실시예에 따른 학습 데이터를 생성하기 위한 화면 인터페이스를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 인식모델을 생성하기 위한 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 9는 본 발명의 실시예에 따른 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 장치를 구현하기 위한 하드웨어 시스템의 예시도이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.

이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.

아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서 적용될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.

먼저, 본 발명의 실시예에 따른 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 시스템은 교통서버(10), 교통서버(10)가 관리하는 복수의 센서장치(20), 관리자장치(30) 및 정보제공서버(40)를 포함한다.

교통서버(10)는 도로(1) 주변에 설치된 센서장치(20)로부터 서로 다른 매체를 통해 계측된 노면의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 수집한다. 여기서, 복수의 종류의 계측 데이터는 노면을 촬영한 입력 데이터, 노면에서 발생한 주행 소음을 수신한 오디오 신호, 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터 및 노면이 위치한 지역의 지도 데이터를 포함한다. 교통서버(10)는 시간 축 상에서 수집된 복수의 종류의 계측 데이터를 정합하여 멀티모달 데이터를 생성하고, 생성된 멀티모달 데이터를 소정의 시간 기간 단위로 구분하여 복수의 단위멀티모달 데이터를 생성한다. 그런 다음, 교통서버(10)는 복수의 단위멀티모달 데이터 각각을 도로의 노면 상태를 나타내는 상태벡터로 라벨링한다. 이에 따라, 노면 상태 분석을 위한 학습 데이터가 완성된다.

센서장치(20)는 도로(1)의 가장자리에 설치되며, 소정 간격 이격된 상태로 배치될 수 있다. 그리고 센서장치(20)는 도로(1)의 양 가장 자리에 지그 재그로 배치되거나, 한쪽 가장자리에 일렬로 배치될 수도 있다. 센서장치(20)는 도로의 노면을 촬영하여 입력 데이터를 생성하기 위한 카메라, 차량의 주행에 따라 노면에서 발생하는 주행 소음인 오디오 신호를 수집하기 위한 마이크로폰(Microphone), 및 입력 데이터 및 오디오 신호를 교통서버(10)로 전송하기 트랜시버(Transceiver) 그리고 카메라, 마이크로폰 및 트랜시버를 제어하기 위한 마이크로컨트롤러 유닛(MCU: Micro-Controller Unit)을 포함할 수 있다. 이러한 센서장치(20)는 IoT(Internet of Things) 장치가 될 수 있다. 센서장치(20)는 네트워크를 통해 교통서버(10)에 접속하여 교통서버(10)로 설치된 장소에서 수집된 입력 데이터 및 오디오 신호를 전달할 수 있다. 특히, 복수의 센서장치(20)가 존재하는 경우, 복수의 센서장치(20)는 센서 네트워크를 구성하여 복수의 센서장치(20) 각각이 측정한 복수의 입력 데이터 및 오디오 신호를 어느 하나의 센서장치(20)로 전달하고, 해당 센서장치(20)가 복수의 입력 데이터 및 오디오 신호를 교통서버(10)로 전달할 수도 있다.

관리자장치(30)는 교통서버(10) 및 센서장치(20)에 대한 관리 책임이 있는 관리자가 사용하는 장치이다. 관리자장치(30)는 스마트폰, 태블릿, 패블릿, 노트북, 퍼스터널컴퓨터 등을 예시할 수 있다. 관리자장치(30)는 관리자의 조작에 따라 교통서버(10)에 접속하여 필요한 설정을 입력하거나, 교통서버(10)가 제공하는 정보를 제공받을 수 있다.

정보제공서버(40)는 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터를 제공하기 위한 날씨정보서버 혹은 상기 노면이 위치한 지역의 지도 데이터를 제공하기 위한 지도정보서버가 될 수 있다. 정보제공서버(40)는 교통서버(10)의 요청에 따라 교통서버(10)에 날씨 데이터 및 지도 데이터를 제공한다.

다음으로, 본 발명의 실시예에 따른 교통서버(10)에 대해 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 교통서버의 구성을 설명하기 위한 블록도이다. 도 3은 본 발명의 일 실시예에 따른 학습 데이터를 생성하기 위한 인식모델의 구성을 설명하기 위한 도면이다. 도 4 및 도 5는 본 발명의 실시예에 따른 학습 데이터를 생성하기 위한 화면 인터페이스를 설명하기 위한 도면이다.

먼저, 도 2를 참조하면, 교통서버(10)는 학습부(100), 데이터처리부(200), 인식부(300) 및 라벨링부(400)를 포함한다.

학습부(100)는 인식모델(RM)을 학습시키기 위한 것이다. 학습부(100)는 학습된 인식모델(RM)을 인식부(200)에 제공할 수 있다. 인식모델(RM)은 노면의 복수의 상태(정상, 수막, 결빙, 적설)에 대한 확률을 산출하는 분류형 네트워크가 될 수 있다.

인식모델(RM)은 대표적으로, CNN(Convolution Neural Network), RNN(Recurrent Neural Network) 등을 예시할 수 있다. 인식모델(RM)은 복수의 계층을 포함하며, 복수의 계층 각각은 복수의 연산을 수행한다. 어느 하나의 계층의 복수의 연산 모듈의 연산 결과 각각은 가중치가 적용되어 다음 계층에 전달된다. 이는 현 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 것을 의미한다. 즉, 인식모델(RM)은 복수의 계층의 가중치가 적용되는 복수의 연산을 수행한다. 인식모델(RM)의 복수의 계층은 완전연결계층(Fully-connected layer), 컨벌루션계층(Convolutional layer), 순환계층(Recurrent layer), 그래프계층(Graph layer), 풀링계층(Pooling Layer) 중 하나 이상의 조합을 포함한다. 복수의 연산은 컨볼루션(Convolution) 연산, 다운샘플링(Down Sampling) 연산, 업샘플링(Up Sampling) 연산, 활성화함수에 의한 연산 등을 예시할 수 있다. 여기서, 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다.

도 3에 인식모델(RM)이 CNN(Convolution Neural Network)인 경우의 일례가 도시되었다. 도시된 바와 같이, 인식모델(RM)은 연산의 대상이 되는 입력 데이터(또는 학습용 입력 데이터)를 입력 받기 위한 입력층(IL: Input Layer), 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하는 컨벌루션층(CL: Convolution Layer), 풀링 연산 및 활성화함수에 의한 연산을 수행하는 풀링층(PL: Pooling Layer), 및 활성화함수에 의한 연산을 수행하는 완전연결층(FL: Fully-connected Layer) 및 활성화함수에 의한 연산을 수행하는 출력층(OL: Output Layer)를 포함한다.

인식모델(RM)은 입력 데이터(혹은 학습용 입력 데이터)가 입력되면, 입력된 입력 데이터(혹은 학습용 입력 데이터)에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 노면의 복수의 상태(정상, 수막, 결빙, 적설) 각각에 대해 예측한 확률인 예측값을 산출한다. 이러한 예측값은 노면의 복수의 상태 각각에 대해 예측한 확률이다. 예컨대, 노면의 상태가 정상, 수막, 결빙, 적설을 포함하는 4가지라고 가정하면, 예측값은 정상, 수막, 결빙, 적설 상태 각각에 대한 확률을 나타낸다. 예컨대, 예측값은 '(정상, 수막, 결빙, 적설)=[0.01, 0.02, 0.17, 0.80]'와 같다. 이는 노면의 상태가 정상일 확률이 1%이고, 수막 상태일 확률이 2%이고, 결빙 상태일 확률이 17%이고, 적설 상태일 확률이 80%임을 의미한다.

데이터처리부(200)는 센서장치(20) 및 정보제공서버(40)로부터 복수의 종류의 계측 데이터를 수집할 수 있다. 복수의 종류의 계측 데이터는 서로 다른 매체를 통해 계측된 도로의 상태 혹은 환경을 나타낸다. 이러한 복수의 종류의 계측 데이터는 여기서, 복수의 종류의 계측 데이터는 노면을 촬영한 입력 데이터, 노면에서 발생한 주행 소음을 수신한 오디오 신호, 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터 및 노면이 위치한 지역의 지도 데이터를 포함한다. 이때, 사용자에 의해 지역(혹은 도로)이 선택될 수 있다. 이러한 경우, 데이터처리부(200)는 해당 지역(혹은 도로)의 센서장치(20)로부터 입력 데이터 및 오디오 신호를 수집하고, 정보제공서버(40)로부터 해당 지역의 날씨 데이터 및 지도 데이터를 수집할 수 있다.

도 4 및 도 5에 도시된 바와 같이, 데이터처리부(200)는 시간(T) 축 상에서 복수의 종류의 계측 데이터(VS, AS, WD, MD)를 정합하여 멀티모달 데이터(MMD)를 생성한다. 즉, 데이터처리부(200)는 입력 데이터(VS), 오디오 신호(AS), 날씨 데이터(WD) 및 지도 데이터(MD)를 시간(T) 순서대로 정렬하여 정합함으로써 멀티모달 데이터(MMD)를 생성한다. 그런 다음, 도 5에 도시된 바와 같이, 데이터처리부(200)는 시간(T) 축 상에서 멀티모달 데이터(MMD)를 소정의 시간 기간 단위(t1, t2, t3, t4, t5)로 구분하여 복수의 단위멀티모달 데이터(UMMD)를 생성할 수 있다. 이때, 사용자에 의해 전체 시간(T)에서 일부의 기간(SP)을 선택할 수 있다. 그러면, 도 5에 도시된 바와 같이, 선택된 기간(SP)의 멀티모달 데이터(MMD)를 소정의 시간 기간 단위(tn: t1, t2, t3, t4, t5)로 구분하여 복수의 단위멀티모달 데이터(UMMD)를 생성할 수 있다. 따라서 단위멀티모달 데이터(UMMD)는 입력 데이터(VS)가 소정의 시간 기간 단위(tn: t1, t2, t3, t4, t5)로 구분된 단위 입력 데이터(UVS), 오디오 신호(AS)가 소정의 시간 기간 단위(tn: t1, t2, t3, t4, t5)로 구분된 단위 오디오 신호(UAS), 날씨 데이터(WD)가 소정의 시간 기간 단위(tn: t1, t2, t3, t4, t5)로 구분된 단위 날씨 데이터(UWD) 및 지도 데이터(MD)가 소정의 시간 기간 단위(tn: t1, t2, t3, t4, t5)로 구분된 단위 지도 데이터(UMD)를 포함할 수 있다.

인식부(300)는 인식모델(RM)을 통해 복수의 단위멀티모달 데이터 중 적어도 일부인 입력 데이터를 분석하여 입력 데이터가 나타내는 노면 상태를 예측한 예측값을 도출한다. 예측값이 도출되면, 인식부(300)는 예측값에 따라 노면의 상태를 인식한다.

라벨링부(400)는 복수의 단위멀티모달 데이터 각각에 도로의 노면 상태를 나타내는 상태벡터로 라벨을 부여한다. 여기서, 라벨은 정상, 수막, 결빙, 적설 상태 중 어느 하나를 나타내는 상태벡터가 될 수 있다. 이러한 상태벡터는 일례로, 원핫인코딩(one-hot-encoding) 벡터가 될 수 있다. 예를 들면, 단위멀티모달 데이터가 노면의 4개의 상태(예컨대, 정상, 수막, 결빙, 적설 상태) 중 결빙을 나타내는 것이라면, 라벨은 '(정상, 수막, 결빙, 적설)=[0, 0, 1, 0]'와 같다. 이와 같이, 라벨링이 수행되면, 각각에 라벨이 부여된 복수의 단위멀티모달 데이터를 포함하는 학습 데이터가 완성된다.

다음으로, 본 발명의 실시예에 따른 인식모델(RM)을 학습시키기 위한 방법에 대해서 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 인식모델을 생성하기 위한 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 학습부(100)는 S110 단계에서 인식모델(RM)에 대한 학습 데이터를 마련한다. 여기서, 학습 데이터는 학습용 입력 데이터 및 라벨을 포함한다. 학습용 입력 데이터는 노면을 촬영한 영상 신호, 노면에서 발생한 주행 소음을 수신한 오디오 신호, 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터 및 노면이 위치한 지역의 지도 데이터 중 하나 또는 2 이상의 조합을 포함한다. 또한, 라벨은 학습용 입력 데이터에 대응하는 노면의 상태를 나타내는 벡터값이 될 수 있다. 예컨대, 라벨은 정상, 수막, 결빙, 적설 상태 중 어느 하나를 나타내는 원핫인코딩(one-hot-encoding) 벡터가 될 수 있다. 예를 들면, 학습용 입력 데이터가 노면의 4개의 상태, 즉, 정상, 수막, 결빙, 적설 중 결빙을 나타내는 것이라면, 라벨은 '(정상, 수막, 결빙, 적설)=[0, 0, 1, 0]'와 같다.

학습부(100)는 S120 단계에서 학습용 입력 데이터를 학습이 완료되지 않은 인식모델(RM)에 입력한다. 그러면, 인식모델(RM)은 S130 단계에서 복수의 계층 간 학습이 완료되지 않은 가중치가 적용되는 복수의 연산을 통해 학습용 예측값을 산출한다. 학습용 예측값은 노면의 복수의 상태 각각에 대해 예측한 확률을 나타낸다. 예컨대, 학습용 예측값은 '(정상, 수막, 결빙, 적설)=[0.01, 0.02, 0.17, 0.80]'와 같다. 이는 노면의 상태가 정상일 확률이 1%이고, 수막 상태일 확률이 2%이고, 결빙 상태일 확률이 17%이고, 적설 상태일 확률이 80%임을 의미한다.

이어서, 학습부(100)는 S140 단계에서 손실함수를 통해 학습용 예측값과 라벨과의 차이를 나타내는 손실을 산출한다. 예를 들면, 학습부(100)는 손실함수인 이진 교차 엔트로피(binary cross-entropy) 함수를 통해 손실을 구할 수 있다.

다음으로, 학습부(100)는 S150 단계에서 손실함수를 통해 도출되는 손실이 최소가 되도록 인식모델(RM)의 가중치를 수정하는 최적화를 수행한다. 예를 들면, 학습부(100)는 이진교차엔트로피(binary cross-entropy) 손실이 최소가 되도록 인식모델(RM)의 가중치를 수정하는 최적화를 수행할 수 있다.

전술한 S120 단계 내지 S150 단계는 서로 다른 복수의 학습 데이터를 이용하여 반복 수행되며, 이러한 반복에 따라 인식모델(RM)의 가중치는 반복하여 갱신된다. 그리고 이러한 반복은 손실이 기 설정된 목표치 이하가 될 때까지 이루어진다. 따라서 학습부(100)는 S160 단계에서 앞서(S140) 산출한 손실이 기 설정된 목표치 이하인지 여부를 판별하고, 손실이 기 설정된 목표치 이하이면, S170 단계에서 인식모델(RM)에 대한 학습을 완료한다.

다음으로, 본 발명의 실시예에 따른 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 방법에 대해서 설명하기로 한다. 도 7 내지 도 9는 본 발명의 실시예에 따른 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 방법을 설명하기 위한 흐름도이다.

도 7을 참조하면, 데이터처리부(200)는 S210 단계에서 서로 다른 매체를 통해 계측된 도로의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 수집한다. 이때, 데이터처리부(200)는 센서장치(20) 및 정보제공서버(40)로부터 복수의 종류의 계측 데이터를 수집할 수 있다. 복수의 종류의 계측 데이터는 서로 다른 매체를 통해 계측된 도로의 상태 혹은 환경을 나타낸다. 이러한 복수의 종류의 계측 데이터는 여기서, 복수의 종류의 계측 데이터는 노면을 촬영한 입력 데이터, 노면에서 발생한 주행 소음을 수신한 오디오 신호, 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터 및 노면이 위치한 지역의 지도 데이터를 포함한다.

다음으로, 데이터처리부(200)는 S220 단계에서 시간 축 상에서 복수의 종류의 계측 데이터를 정합하여 멀티모달 데이터를 생성한다. 즉, 데이터처리부(200)는 입력 데이터, 오디오 신호, 날씨 데이터 및 지도 데이터를 시간 순서대로 정렬하여 정합함으로써 멀티모달 데이터를 생성한다.

이어서, 데이터처리부(200)는 S230 단계에서 시간 축 상에서 멀티모달 데이터를 소정의 시간 기간 단위로 구분하여 복수의 단위멀티모달 데이터를 생성할 수 있다. 따라서 단위멀티모달 데이터는 입력 데이터가 소정의 시간 기간 단위로 구분된 단위 입력 데이터, 오디오 신호가 소정의 시간 기간 단위로 구분된 단위 오디오 신호 및 날씨 데이터가 소정의 시간 기간 단위로 구분된 단위 날씨 데이터를 포함한다. 또한, 단위멀티모달 데이터는 단위 지도 데이터를 더 포함할 수 있다.

다음으로, 라벨링부(400)는 S240 단계에서 복수의 단위멀티모달 데이터 각각에 대한 라벨링을 수행한다. 일 실시예에 따르면, S240 단계는 인식모델(RM)을 이용하지 않고 사용자의 입력에 따라 수행될 수 있다. 다른 실시예에 따르면, S240 단계는 인식모델(RM)을 이용하여 실시될 수 있다.

먼저, 도 8을 참조하여 본 발명의 일 실시예에 따른 S240 단계에 대해 보다 상세하게 설명하기로 한다. 도 8을 참조하면, 라벨링부(400)는 S310 단계에서 순차로 단위멀티모달 데이터를 화면을 통해 표출한다. 그러면, 사용자는 단위멀티모달 데이터를 열람하고, 복수의 노면(정상, 수막, 결빙, 적설)의 상태 중 어느 하나의 상태를 지정하는 입력을 할 수 있다. 이에 따라, 라벨링부(400)는 S320 단계에서 복수의 노면의 상태 중 어느 하나를 지정하는 입력을 수신하고, S330 단계에서 수신된 입력에 따라 단위멀티모달 데이터에 대해 라벨링을 수행할 수 있다.

한편, 도 9를 참조하여 본 발명의 다른 실시예에 따른 S240 단계에 대해 보다 상세하게 설명하기로 한다. 도 9를 참조하면, 인식부(300)는 S410 단계에서 단위멀티모달 데이터 중 적어도 일부인 입력 데이터를 인식모델(RM)에 입력한다. 예컨대, 단위멀티모달 데이터는 단위 입력 데이터, 단위 오디오 신호 및 날 단위 날씨 데이터 및 단위 지도 데이터를 포함한다. 이에 따라, 입력 데이터는 단위 입력 데이터, 단위 오디오 신호 및 날 단위 날씨 데이터 및 단위 지도 데이터 중 하나 또는 2 이상의 조합이 될 수 있다.

그러면, 인식모델(RM)은 S420 단계에서 입력 데이터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 노면의 복수의 상태 각각에 대해 예측한 확률인 예측값을 도출한다. 예를 들면, 정상, 수막, 결빙, 적설 상태 각각에 대해 예측값이 (정상, 수막, 결빙, 적설)=[0.01, 0.02, 0.17, 0.80]이 될 수 있다. 이는 노면의 상태가 정상일 확률이 1%이고, 수막 상태일 확률이 2%이고, 결빙 상태일 확률이 17%이고, 적설 상태일 확률이 80%임을 의미한다.

단위멀티모달 데이터의 입력 데이터에 대응하는 예측값이 산출되면, 인식부(300)는 S430 단계에서 예측값에 따라 노면의 상태를 인식할 수 있다. 앞서 설명된 바와 같이, 예측값은 노면의 복수의 상태 각각에 대해 예측한 확률이기 때문에 인식부(300)는 예측값에 따라 복수의 상태 중 확률이 가장 높은 상태를 노면의 상태로 인식할 수 있다. 예를 들면, 정상, 수막, 결빙, 적설 상태 각각에 대해 예측값(SP)이 SP(정상, 수막, 결빙, 적설)=[0.01, 0.02, 0.17, 0.80]인 경우, 이는 노면의 상태가 정상일 확률이 1%이고, 수막 상태일 확률이 2%이고, 결빙 상태일 확률이 17%이고, 적설 상태일 확률이 80%임을 의미한다. 이에 따라, 인식부(300)는 노면의 상태를 가장 확률이 높은 적설 상태로 인식할 수 있다.

노면의 상태가 인식되면, 라벨링부(400)는 S440 단계에서 인식된 노면의 상태를 나타내는 가이드 정보를 표출한다.

이에 따라, 그러면, 사용자는 단위멀티모달 데이터에 대응하는 노면 상태를 안내하는 가이드 정보를 열람할 수 있다. 이러한 가이드 정보를 참조로 사용자는 해당 가이드 정보를 그대로 라벨에 적용할지 여부를 판단할 수 있다. 그리고 사용자가 가이드 정보에 동의하는 경우, 가이드 정보를 승인하는 입력을 할 수 있다. 이러한 경우, 라벨링부(400)는 S450 단계에서 가이드 정보를 승인하는 입력을 수신할 수 있다. 그러면, 라벨링부(400)는 수신된 입력에 따라 S460 단계에서 인식된 노면의 상태를 나타내는 상태벡터로 단위멀티모달 데이터에 대한 라벨링을 수행한다.

도 10은 본 발명의 일 실시예에 따른 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 장치를 구현하기 위한 하드웨어 시스템의 예시도이다.

도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 하드웨어 시스템(2000)은, 프로세서부(2100), 메모리 인터페이스부(2200), 및 주변장치 인터페이스부(2300)를 포함하는 구성을 가질 수 있다.

이러한, 하드웨어 시스템(2000) 내 각 구성은, 개별 부품이거나 하나 이상의 집적 회로에 집적될 수 있으며, 이러한 각 구성들은 버스 시스템(도시 안됨)에 의해서 결합될 수 있다.

여기서, 버스 시스템의 경우, 적절한 브리지들, 어댑터들, 및/또는 제어기들에 의해 연결된 임의의 하나 이상의 개별적인 물리 버스들, 통신 라인들/인터페이스들, 및/또는 멀티 드롭(multi-drop) 또는 포인트 투 포인트(point-to-point) 연결들을 나타내는 추상화(abstraction)이다.

프로세서부(2100)는 하드웨어 시스템에서 다양한 기능들을 수행하기 위해 메모리 인터페이스부(2200)를 통해 메모리부(2210)와 통신함으로써, 메모리부(2210)에 저장된 다양한 소프트웨어 모듈을 실행하는 역할을 수행하게 된다.

여기서, 메모리부(2210)에는 앞서 도 2를 참조하여 설명한 학습부(100), 데이터처리부(200), 인식부(300) 및 라벨링부(400)를 포함하는 구성 각각은 소프트웨어 모듈 형태로 저장될 수 있으며, 그 외 운영 체계(OS)가 추가로 저장될 수 있다. 이러한 학습부(100), 데이터처리부(200), 인식부(300) 및 라벨링부(400)를 포함하는 구성은 프로세서부(2100)에 로드되어 실행될 수 있다.

이상 설명한 학습부(100), 데이터처리부(200), 인식부(300) 및 라벨링부(400)를 포함하는 각 구성은 프로세서에 의해 실행되는 소프트웨어 모듈 또는 하드웨어 모듈 형태로 구현되거나, 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있다.

이와 같이, 프로세서에 의해 실행되는 소프트웨어 모듈, 하드웨어 모듈, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태는 실제 하드웨어 시스템(예: 컴퓨터 시스템)으로 구현될 수 있을 것이다.

운영 체계(예: I-OS, Android, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체계)의 경우, 일반적인 시스템 작업들(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)을 제어 및 관리하는 다양한 절차, 명령어 세트, 소프트웨어 컴포넌트 및/또는 드라이버를 포함하고 있으며 다양한 하드웨어 모듈과 소프트웨어 모듈 간의 통신을 용이하게 하는 역할을 수행하게 된다.

참고로, 메모리부(2210)는 캐쉬, 메인 메모리 및 보조 기억장치(secondary memory)를 포함하지만 이에 제한되지 않는 메모리 계층구조가 포함할 수 있는데, 이러한 메모리 계층구조의 경우 예컨대 RAM(예: SRAM, DRAM, DDRAM), ROM, FLASH, 자기 및/또는 광 저장 장치[예: 디스크 드라이브, 자기 테이프, CD(compact disk) 및 DVD(digital video disc) 등]의 임의의 조합을 통해서 구현될 수 있다.

주변장치 인터페이스부(2300)는 프로세서부(2100)와 주변장치 간에 통신을 가능하게 하는 역할을 수행한다.

여기서 주변장치의 경우, 하드웨어 시스템(2000)에 상이한 기능을 제공하기 위한 것으로서, 본 발명의 일 실시예에서는, 예컨대, 통신부(2310)가 포함될 수 있다.

여기서, 통신부(2310)는 다른 장치와의 통신 기능을 제공하는 역할을 수행하는 수행하게 되며, 이를 위해 예컨대, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로를 포함할 수 있다.

이러한, 통신부(2310)가 지원하는 통신 프로토콜로는, 예컨대, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 5G 통신시스템, 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있으며, 이제 제한되는 것이 아닌, 다른 장치와의 통신 환경을 제공할 수 있는 프로토콜은 모두 포함될 수 있다.

본 발명의 일 실시예에 따른 하드웨어 시스템(2000)에서 메모리부(2210)에 소프트웨어 모듈 형태로 저장되어 있는 각 구성은 프로세서부(2100)에 의해 실행되는 명령어의 형태로 메모리 인터페이스부(2200)와 주변장치 인터페이스부(2300)를 매개로 통신부(2310)와의 인터페이스를 수행한다.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시 형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시 형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시 형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시 형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.

본 명세서에서 설명한 주제의 특정한 실시 형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부 도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정해져야 한다.

본 발명은 노면 상태 분석을 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법에 관한 것이다. 본 발명은 복수의 종류의 계측 데이터를 시간 축 상에서 정합하여 멀티모달 데이터를 생성하고, 이러한 멀티모달 데이터에 노면의 상태를 나타내는 상태벡터로 라벨링을 수행한다. 이로써, 노면의 상태를 학습시킬 수 있는 학습 데이터를 완성할 수 있다. 이러한 학습 데이터는 다양한 매체를 통해 계측된 도로의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 포함하기 때문에 다양한 형식의 인공신경망 모델을 학습시킬 수 있다. 더욱이, 복수의 종류의 계측 데이터의 상호 보완에 의해 학습된 인공신경망 모델을 이용한 분석 결과의 신뢰도가 향상된다. 따라서 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

10: 교통서버 11: 통신부
12: 저장부 13: 제어부
20: 센서장치 30: 관리장치
100: 학습부 200: 데이터처리부
300: 인식부 400: 라벨링부

Claims (12)

1. 데이터처리부가 서로 다른 매체를 통해 계측된 도로의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 수집하는 단계;
   상기 데이터처리부가 시간 축 상에서 상기 복수의 종류의 계측 데이터를 정합하여 멀티모달 데이터를 생성하는 단계;
   상기 데이터처리부가 시간 축 상에서 상기 멀티모달 데이터를 소정의 시간 기간 단위로 구분하여 복수의 단위멀티모달 데이터를 생성하는 단계; 및
   라벨링부가 상기 복수의 단위멀티모달 데이터 각각에 대해 도로의 노면 상태를 나타내는 상태벡터로 라벨링하는 단계;
   를 포함하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 방법.
   
2. 제1항에 있어서,
   상기 라벨링하는 단계는
   상기 라벨링부가 상기 단위멀티모달 데이터를 표출하는 단계; 및
   상기 라벨링부가 복수의 노면의 상태 중 어느 하나를 지정하는 입력에 따라 상기 단위멀티모달 데이터를 라벨링하는 단계;
   를 포함하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 방법.
   
3. 제1항에 있어서,
   상기 라벨링하는 단계는
   인식부가 상기 단위멀티모달 데이터 중 적어도 일부를 분석하여 도로의 상태를 예측하는 영상인식모델을 통해 상기 노면의 상태를 인식하는 단계;
   상기 라벨링부가 상기 인식된 노면의 상태를 나타내는 가이드 정보를 표출하는 단계; 및
   상기 라벨링부가 상기 가이드 정보를 승인하는 입력이 있으면, 상기 인식된 노면의 상태를 나타내는 상태벡터로 상기 단위멀티모달 데이터를 라벨링하는 단계;
   를 포함하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 방법.
   
4. 제3항에 있어서,
   상기 노면의 상태를 인식하는 단계는
   상기 인식부가 상기 단위멀티모달 데이터 중 적어도 일부인 입력 데이터를 인식모델에 입력하는 단계;
   상기 인식모델이 상기 입력 데이터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 노면의 복수의 상태 각각에 대해 예측한 확률인 예측값을 도출하는 단계; 및
   상기 인식부가 상기 예측값에 따라 상기 노면의 상태를 인식하는 단계;
   를 포함하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 방법.
   
5. 제3항에 있어서,
   상기 복수의 종류의 계측 데이터를 수집하는 단계 전,
   학습부가 학습용 입력 데이터 및 상기 학습용 입력 데이터에 대응하는 라벨을 포함하는 학습 데이터를 마련하는 단계;
   상기 학습부가 상기 학습용 입력 데이터를 학습이 완료되지 않은 인식모델에 입력하는 단계;
   상기 인식모델이 상기 학습용 입력 데이터에 대해 복수의 계층간 학습이 완료되지 않은 가중치가 적용되는 복수의 연산을 통해 노면의 복수의 상태 각각에 대해 예측한 확률인 학습용 예측값을 산출하는 단계;
   상기 학습부가 상기 학습용 예측값과 상기 라벨의 차이를 나타내는 손실을 산출하는 단계; 및
   상기 학습부가 상기 손실이 최소가 되도록 상기 인식모델의 가중치를 수정하는 최적화를 수행하는 단계;
   를 더 포함하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 방법.
   
6. 제1항에 있어서,
   상기 복수의 종류의 계측 데이터는
   상기 노면을 촬영한 영상 신호,
   상기 노면에서 발생한 주행 소음을 수신한 오디오 신호,
   상기 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터 및
   상기 노면이 위치한 지역의 지도 데이터를 포함하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 방법.
   
7. 서로 다른 매체를 통해 계측된 도로의 상태 혹은 환경을 나타내는 복수의 종류의 계측 데이터를 수집하고,
   시간 축 상에서 상기 복수의 종류의 계측 데이터를 정합하여 멀티모달 데이터를 생성하고,
   시간 축 상에서 상기 멀티모달 데이터를 소정의 시간 기간 단위로 구분하여 복수의 단위멀티모달 데이터를 생성하는 데이터처리부; 및
   상기 복수의 단위멀티모달 데이터 각각에 대해 도로의 노면 상태를 나타내는 상태벡터로 라벨링하는 라벨링부;
   를 포함하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 장치.
   
8. 제7항에 있어서,
   상기 라벨링부는
   상기 단위멀티모달 데이터를 표출하고, 복수의 노면의 상태 중 어느 하나를 지정하는 입력에 따라 상기 단위멀티모달 데이터를 라벨링하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 장치.
   
9. 제7항에 있어서,
   상기 장치는
   상기 단위멀티모달 데이터 중 적어도 일부를 분석하여 도로의 상태를 예측하는 영상인식모델을 통해 상기 노면의 상태를 인식하는 인식부;
   를 더 포함하며,
   상기 라벨링부는
   상기 인식된 노면의 상태를 나타내는 가이드 정보를 표출하고,
   상기 가이드 정보를 승인하는 입력이 있으면, 상기 인식된 노면의 상태를 나타내는 상태벡터로 상기 단위멀티모달 데이터를 라벨링하는 것을 특징으로 하는
   학습 데이터를 생성하기 위한 장치.
   
10. 제9항에 있어서,
    상기 인식부는
    상기 단위멀티모달 데이터 중 적어도 일부인 입력 데이터를 인식모델에 입력하고,
    상기 인식모델이 상기 입력 데이터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 노면의 복수의 상태 각각에 대해 예측한 확률인 예측값을 도출하면,
    상기 예측값에 따라 상기 노면의 상태를 인식하는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 장치.
    
11. 제9항에 있어서,
    학습용 입력 데이터 및 상기 학습용 입력 데이터에 대응하는 라벨을 포함하는 학습 데이터를 마련하고,
    상기 학습용 입력 데이터를 학습이 완료되지 않은 인식모델에 입력하여,
    상기 인식모델이 상기 학습용 입력 데이터에 대해 복수의 계층간 학습이 완료되지 않은 가중치가 적용되는 복수의 연산을 통해 노면의 복수의 상태 각각에 대해 예측한 확률인 학습용 예측값을 산출하면,
    상기 학습용 예측값과 상기 라벨의 차이를 나타내는 손실을 산출하고, 상기 손실이 최소가 되도록 상기 인식모델의 가중치를 수정하는 최적화를 수행하는 학습부;
    를 더 포함하는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 장치.
    
12. 제7항에 있어서,
    상기 복수의 종류의 계측 데이터는
    상기 노면을 촬영한 영상 신호,
    상기 노면에서 발생한 주행 소음을 수신한 오디오 신호,
    상기 노면이 위치한 지역의 날씨를 나타내는 날씨 데이터 및
    상기 노면이 위치한 지역의 지도 데이터를 포함하는 것을 특징으로 하는
    학습 데이터를 생성하기 위한 장치.
    

Images