KR101856584B1

KR101856584B1 - 교통 표지의 인식 방법 및 장치

Info

Publication number: KR101856584B1
Application number: KR1020167027213A
Authority: KR
Inventors: 지후이 하오; 닝 왕; 레이밍 지
Original assignee: 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date: 2015-03-31
Filing date: 2015-12-25
Publication date: 2018-05-10
Also published as: KR20160132331A; JP6400117B2; CN104700099B; CN104700099A; JP2017516197A; WO2016155371A1

Abstract

본 발명은 교통 표지의 인식 방법 및 장치를 개시한다. 상기 방법의 구체적인 실시행태는, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하는 단계; 상기 스캐닝 윈도우 이미지의 특징 값과, 스캐닝 윈도우 이미지의 샘플 및 이의 특징 값에 따라 트레이닝되는 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 단계; 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라 트레이닝되는 사전 트레이닝된 컨볼루션 신경망 모델에 따라, 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득하는 단계를 포함한다. 상기 실시행태는 파노라마 이미지에서 교통 표지의 검출 및 인식의 정확도를 향상시키고, 아울러 도로망 데이터의 업데이트 효율을 향상시킨다.

Description

교통 표지의 인식 방법 및 장치{METHOD AND DEVICE FOR IDENTIFYING TRAFFIC SIGNS}

본원 발명은 출원일자가 2015년 03월 31일이고, 출원번호가 201510150525.8인 중국특허출원의 우선권을 주장하는 바, 상기 중국특허출원의 모든 내용은 참조로서 본원 발명에 원용된다.

본 발명은 컴퓨터 기술분야에 관한 것으로서, 구체적으로는 컴퓨터 오브젝트 인식 기술분야에 관한 것이며, 특히는 교통 표지의 인식 방법 및 장치에 관한 것이다.

정확하고 완벽한 네비게이션 데이터를 제공하기 위해, 교통 도로망 중의 교통 표지에 대한 인식을 진행해야 한다.

기존의 교통 표지의 인식 방법은, 주요하게 인위적인 처리에 의지하는 바, 미리 특정된 프로그램 소프트웨어와 맵 데이터를 수집 차량에 설치하고, 숙달된 외부 작업자가 차량과 함께 작업을 진행함으로써, 교통 표지판을 관찰한 후, 작업자가 수동으로 교통 표지판의 유형과 목측한 거리를 소프트웨어에 입력하고, 외부 작업 수집이 종료된 후, 내부 작업자가 작업 전후의 기본도를 비교하여 유효한 정보를 도로망 데이터 베이스에 업데이트시킨다. 이러한 과정은 여러 소프트웨어의 지원을 필요로 하나, 데이터 결과의 정확도는 주요하게 작업자의 개인 능력과 몰입도에 의해 결정되며, 아울러 복잡한 수집 과정은 도로망 데이터의 업데이트 효율을 저감시켰다.

본 발명은 상기 배경 기술 부분에서 언급된 기술적 문제를 해결하기 위해 안출된 것으로, 교통 표지의 인식 방법 및 장치를 제공하고자 한다.

제1 양태에 있어서, 본 발명은 교통 표지의 인식 방법을 제공하며, 상기 교통 표지의 인식 방법은, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하는 단계; 상기 스캐닝 윈도우 이미지의 특징 값과, 스캐닝 윈도우 이미지의 샘플 및 이의 특징 값에 따라 트레이닝되는 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 단계; 및 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라 트레이닝되는 사전 트레이닝된 컨볼루션 신경망 모델에 따라, 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득하는 단계를 포함한다.

제2 양태에 있어서, 본 발명은 교통 표지의 인식 장치를 제공하며, 상기 교통 표지의 인식 장치는, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하도록 구성된 특징 값 획득 모듈; 상기 스캐닝 윈도우 이미지의 특징 값과, 스캐닝 윈도우 이미지의 샘플 및 이의 특징 값에 따라 트레이닝되는 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하도록 구성된 교통 표지 검출 모듈; 및 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라 트레이닝되는 사전 트레이닝된 컨볼루션 신경망 모델에 따라, 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득하도록 구성된 교통 표지 인식 모듈을 포함한다.

본 발명에서 제공하는 교통 표지의 인식 방법 및 장치는, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하고, 다음 상기 스캐닝 윈도우 이미지의 특징 값과 사전 트레이닝된 검출 분류기 모델에 따라 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하고, 다음 사전 트레이닝된 컨볼루션 신경망 모델에 따라 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득함으로써, 사전 트레이닝된 검출 분류기 모델로 확인하고자 하는 교통 표지 윈도우 이미지를 검출하는 것을 실현하였고, 사전 트레이닝된 컨볼루션 신경망 모델로 교통 표지 종류를 인식함으로써, 파노라마 이미지에서 교통 표지의 검출 및 인식의 정확도를 향상시키고, 아울러 도로망 데이터의 업데이트 효율을 향상시킨다.

아래의 도면들을 참조하여 진행한 비한정적인 실시예들에 대한 상세한 설명으로부터 본 발명의 기타 특징, 목적 및 장점은 더욱 명확해질 것이다.
도1은 본 발명의 실시예에 따른 교통 표지의 인식 방법의 예시적인 흐름도이다.
도2는 본 발명의 실시예에 따른 사전 트레이닝된 검출 모델을 트레이닝하는 방법의 예시적인 흐름도이다.
도3은 본 발명의 실시예에 따른 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 방법의 한가지 예시적인 흐름도이다.
도4는 본 발명의 실시예에 따른 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하는 방법의 예시적인 흐름도이다.
도5는 본 발명의 실시예에 따른 기설정된 컨볼루션 신경망 모델의 한가지 예시적인 구조도이다.
도6은 본 발명의 실시예에 따른 교통 표지의 인식 장치의 구조 예시도이다.
도7은 본 발명의 실시예에 따른 검출 분류기 모델의 트레이닝 장치의 예시적인 구조도이다.
도8은 확인하고자 하는 교통 표지 윈도우 이미지를 획득하기 위한 장치의 예시적인 구조도이다.
도9는 본 발명의 실시예에 따른 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하기 위한 장치의 예시적인 구조도이다.
도10은 본 발명의 실시예에 따라 제공되는 컴퓨터 시스템의 구조적 개략도이다.

아래에 첨부된 도면 및 실시예들을 결부하여 본 발명에 대한 더욱 상세한 설명을 진행하기로 한다. 여기서 설명하는 구체적인 실시예들은 단지 관련 발명을 해석하기 위한 것일 뿐, 당해 발명을 한정하기 위한 것이 아님을 이해해야 할 것이다. 또한, 설명의 편의를 위해, 첨부된 도면에서는 단지 발명과 관련된 부분만 도시되었음을 미리 설명하는 바이다.

서로 모순되지 않는 한, 본 발명 중의 실시예들 및 실시예 중의 특징들은 서로 조합될 수 있음을 설명하는 바이다. 아래에 도면을 참조하고 실시예를 결부하여 본 발명에 대한 상세한 설명을 진행하기로 한다.

도1은 본 발명의 실시예에 따른 교통 표지의 인식 방법의 예시적인 흐름도이다.

도1에 도시된 바와 같이, 교통 표지의 인식 방법(100)은 하기와 같은 단계들을 포함할 수 있다.

단계(110)에서, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득한다.

여기서, 우선 교통 표지 인식을 진행해야 할 파노라마 구면 이미지를 획득하고, 다음 기설정 사이즈의 윈도우를 통해 파노라마 구면 이미지를 스캐닝함으로써, 스캐닝 윈도우 이미지를 획득하고, 그 다음 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 스캐닝 윈도우 이미지의 특징 값을 획득할 수 있다.

여기서, 파노라마 구면 이미지는 파노라마를 표시할 수 있는 다수의 어안 이미지로 모자이킹(mosaicing)되어 이루어진 이미지를 가리킨다. 기설정 사이즈의 윈도우는 통상적으로 오브젝트 물체의 사이즈에 따라 기설정된 윈도우이다.

기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 스캐닝 윈도우 이미지의 특징 값을 획득할 경우, 기정의 인테그랄 채널은 이미지 처리 분야에서의 선행기술 중의 임의의 하나 또는 다수의 인테그랄 채널이거나 미래의 기술 중에서 발전 가능한 임의의 하나 또는 다수의 인테그랄 채널일 수 있으며, 기정의 특징 알고리즘은 이미지 처리분야에서의 선행기술 중의 임의의 하나 또는 다수의 특징 알고리즘이거나 미래의 기술중에서 발전 가능한 임의의 하나 또는 다수의 특징 알고리즘일 수 있음을 설명하는 바이다. 본 발명은 특징 값을 획득하는 구체적인 방식에 대한 한정을 진행하지 않는 바, 사용자는 실제적인 사용 수요에 따라 이에 대한 선택을 진행할 수 있다. 예를 들어, 그레이 스케일 이미지 채널에서 하르 알고리즘으로 하르(haar) 특징 값을 획득하고, 상이한 각도 파라미터의 경사도 이미지 채널에서 히스토그램 특징 값 알고리즘으로 히스토그램 특징 값을 획득하며, 아울러 적색, 녹색, 남색의 단일 색상 이미지 채널에서 랜덤 특징 값 알고리즘으로 랜덤 특징 값을 획득하는 등 방식을 선택할 수 있다.

스캐닝 윈도우 이미지의 특징 값을 획득하는 속도를 더욱 향상시키기 위해, 인테그랄 이미지를 통해 스캐닝 윈도우 이미지의 특징 값을 획득할 수 있다. 선택적으로, 상기 실시예에 있어서, 단계(110)은, 기정의 인테그랄 채널에서 파노라마 구면 이미지의 인테그랄 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득하는 단계(111)와, 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라 스캐닝 윈도우 이미지의 특징 값을 획득하는 단계(112)를 포함한다.

상기 파노라마 구면 이미지의 인테그랄 이미지를 사용하여 스캐닝 윈도우 이미지의 특징 값을 산출함으로써, 스캐닝 윈도우 이미지의 특징 값의 산출을 가속시키고 스캐닝 윈도우 이미지의 특징 값의 산출 효율을 향상시킬 수 있다.

선택적으로, 스캐닝 윈도우 이미지의 특징 값과 사전 트레이닝된 모니터링 분류기 모델 중의 교통 표지 윈도우 이미지의 샘플의 특징 값에 대한 비교를 가속시키기 위해, 교통 표지 종류에 따라, 교통 표지 윈도우 이미지의 샘플의 특징 값과 스캐닝 윈도우 이미지의 특징 값을 획득하는 기정의 인테그랄 채널과 기정의 특징 알고리즘을 결정할 수 있다. 예를 들면, 속도 제한 등과 같은 금지류 표지는, 적색 채널 상의 설명을 강화시킬 수 있다. 바람직하게, 기정의 인테그랄 채널은 그레이 스케일 이미지 채널, 적색, 녹색, 남색의 단일 색상의 이미지 채널, 상이한 각도 파라미터의 경사도 이미지 채널 및 에지 검출 이미지 채널 등 중의 하나 또는 다수를 포함할 수 있고, 기정의 특징 알고리즘은 하르특징 알고리즘, 로컬 바이너리 패턴 특징 알고리즘, 히스토그램 특징 알고리즘 및 랜덤 특징 알고리즘 등 중의 하나 또는 다수를 포함할 수 있다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 수요에 따라 상기 실시예 중의 기정의 인테그랄 채널과 기정의 특징 알고리즘을 조합하여 스캐닝 윈도우 이미지의 검출에 필요한 특징 값을 획득할 수 있음을 자명할 것이다.

상기 교통 표지 종류에 따라 결정된 교통 표지 윈도우 이미지의 샘플의 특징 값과 스캐닝 윈도우 이미지의 특징 값을 획득하는 기정의 인테그랄 채널과 기정의 특징 알고리즘은, 다수의 상이한 각도로부터 오브젝트의 특징을 설명함으로써, 상이한 각도와 조사도로 인한 오브젝트의 변화를 극복할 수 있다.

단계(120)에서, 스캐닝 윈도우 이미지의 특징 값과, 스캐닝 윈도우 이미지의 샘플 및 이의 특징 값에 따라 트레이닝되는 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득한다.

여기서, 사전 트레이닝된 검출 분류기 모델은, 우선 인공 태깅을 수신하고, 스캐닝 윈도우 이미지에서 교통 표지를 포함하는 스캐닝 윈도우 이미지와 교통 표지를 포함하지 않은 스캐닝 윈도우 이미지를 교통 표지 윈도우 이미지의 샘플로 결정한 후, 샘플의 특징 값을 획득하며, 그 다음 샘플 및 이의 특징 값을 사용하여 실제 수요에 따라 설정된 분류기 모델의 파라미터에 대해 트레이닝을 진행함으로써 획득한 사전 트레이닝된 검출 분류기 모델이다.

상기 단계(110)에서 스캐닝 윈도우 이미지의 특징 값을 획득한 후, 스캐닝 윈도우 이미지의 특징 값과 상기 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지로서 교통 표지로 의심되는 윈도우 이미지를 획득한다.

단계(S130)에서, 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라 트레이닝되는 사전 트레이닝된 컨볼루션 신경망 모델에 따라, 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득한다.

여기서, 사전 트레이닝된 컨볼루션 신경망 모델은, 우선 인공 태깅을 수신하고, 검출 분류기 모델이 검출해 낸 확인하고자 하는 교통 표지 윈도우 이미지의 샘플에 대해 분류를 진행하여 구체적인 교통 표지 종류 또는 비교통 종류로 태깅한 후, 확인하고자 하는 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류를 사용하여 실제 수요에 따라 설정된 컨볼루션 신경망 모델에 대해 트레이닝을 진행함으로써 획득한 사전 트레이닝된 컨볼루션 신경망 모델이다.

상기 단계(120)에서 확인하고자 하는 교통 표지 윈도우 이미지를 획득한 후, 확인하고자 하는 교통 표지 윈도우 이미지와 상기 사전 트레이닝된 컨볼루션 신경망 모델에 따라 확인하고자 하는 교통 표지 윈도우 이미지에 대해 인식을 진행하여 확인하고자 하는 교통 표지 윈도우 이미지에 대응될 확율이 제일 큰 교통 표지 종류를 인식된 교통 표지 종류로서 획득한다.

본 발명의 상기 실시예의 교통 표지의 인식 방법은, 교통 표지에 대한 파노라마 이미지에서의 검출 및 인식의 정확도를 향상시킴에 아울러 도로망 데이터의 업데이트 효율을 향상시킨다.

이하, 도2를 결부하여 사전 트레이닝된 검출 모델을 트레이닝하는 방법을 설명한다.

도2는 본 발명의 실시예에 따른 사전 트레이닝된 검출 모델을 트레이닝하는 방법의 예시적인 흐름도이다.

도2에 도시된 바와 같이, 사전 트레이닝된 검출 분류기 모델을 트레이닝하는 방법(200)은 하기와 같은 단계들을 포함할 수 있다.

단계(201)에서, 스캐닝 윈도우 이미지의 샘플 중의 교통 표지의 윈도우 이미지를 포함하거나 교통 표지 및 이의 주위를 확충한 기설정 픽셀의 윈도우 이미지를 포함하는 포지티브 샘플 및 포지티브 샘플을 제외한 나머지 스캐닝 윈도우 이미지를 포함하는 네거티브 샘플을 획득한다.

여기서, 스캐닝 윈도우 이미지의 샘플 중의 포지티브 샘플과 네거티브 샘플에 있어서, 우선 스캐닝 윈도우 이미지에서 샘플을 획득한 후, 수신한 인공 태깅에 따라 상기 스캐닝 윈도우 이미지의 샘플에서 교통 표지의 윈도우 이미지를 포함하거나 교통 표지 및 이의 주위를 확충한 기설정 픽셀을 포함하는 윈도우 이미지를 포지티브 샘플로 하고, 샘플에서 포지티브 샘플을 제외한 나머지 스캐닝 윈도우 이미지를 네거티브 샘플로 한다.

상기 포지티브 샘플이 단지 교통 표지의 윈도우 이미지를 포함할 경우, 포지티브 샘플의 특징 값의 산출 효율을 향상시킬 수 있다. 오브젝트 물체 주위 픽셀도 효과적으로 오브젝트 물체 자체를 설명할 수 있으므로, 포지티브 샘플이 교통 표지 및 이의 주위를 확충한 기설정 픽셀의 윈도우 이미지를 포함할 경우, 포지티브 샘플을 설명하는 특징 값의 정확도를 향상시킬 수 있다.

단계(202)에서, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 포지티브 샘플과 네거티브 샘플의 특징 값을 획득한다.

여기서, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 포지티브 샘플과 네거티브 샘플의 특징 값을 획득할 경우, 기정의 인테그랄 채널은 이미지 처리 분야에서의 선행기술 중의 임의의 하나 또는 다수의 인테그랄 채널이거나 미래의 기술 중에서 발전 가능한 임의의 하나 또는 다수의 인테그랄 채널일 수 있으며, 기정의 특징 알고리즘은 이미지 처리분야에서의 선행기술 중의 임의의 하나 또는 다수의 특징 알고리즘이거나 미래의 기술 중에서 발전 가능한 임의의 하나 또는 다수의 특징 알고리즘일 수 있다. 본 발명은 구체적인 획득 특징 값의 기정의 인테그랄 채널과 기정의 특징 알고리즘에 대한 한정을 진행하지 않는 바, 사용자가 실제적인 사용 수요에 따라 이에 대한 선택을 진행할 수 있다. 예를 들어, 그레이 스케일 이미지 채널에서 하르 특징 알고리즘으로 획득한 하르(haar) 특징 값, 상이한 각도 파라미터의 경사도 이미지 채널에서 히스토그램 특징 알고리즘으로 획득한 히스토그램 특징 값, 적색, 녹색, 남색의 단일 색상의 이미지 채널에서 랜덤 특징 알고리즘으로 획득한 랜덤 특징 값 등을 선택할 수 있다.

선택적으로, 샘플의 특징 값에 대한 구체적인 산출을 진행할 경우, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 포지티브 샘플과 네거티브 샘플의 특징 값을 신속하고 효과적으로 획득하기 위해, 교통 표지 종류에 따라 교통 표지 윈도우 이미지의 샘플의 기정의 인테그랄 채널과 기정의 특징 알고리즘을 결정할 수 있다. 예를 들면, 속도 제한 등과 같은 금지류 표지에 대해 적색 채널상의 설명을 강화할 수 있다. 바람직하게, 기정의 인테그랄 채널은 그레이 스케일 이미지 채널, 적색, 녹색, 남색의 단일 색상의 이미지 채널, 상이한 각도 파라미터의 경사도 이미지 채널 및 에지 검출 이미지 채널 중의 하나 또는 다수를 포함할 수 있으며, 기정의 특징 알고리즘은 하르특징 알고리즘, 로컬 바이너리 패턴 특징 알고리즘, 히스토그램 특징 알고리즘 및 랜덤 특징 알고리즘의 하나 또는 다수를 포함할 수 있다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는, 수요에 따라 상기 실시예 중의 기정의 인테그랄 채널과 기정의 특징 알고리즘을 조합하여 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 포지티브 샘플과 네거티브 샘플의 특징 값을 획득할 수 있음을 자명할 것이다.

단계(203)에서, 포지티브 샘플과 네거티브 샘플 및 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 이들의 특징 값에 따라, 부스팅(boosting) 알고리즘으로 검출 분류기 모델에 대해 트레이닝을 진행하여 사전 트레이닝된 검출 분류기 모델을 획득한다.

여기서, 상기 단계(202)에서 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 포지티브 샘플과 네거티브 샘플의 특징 값을 획득한 후, 부스팅 알고리즘으로 검출 분류기 모델에 대해 트레이닝을 진행하여 하나의 고정확도의 결과 분류기를 사전 트레이닝된 검출 분류기 모델로서 획득할 수 있다.

이하, 도3을 결부하여, 상기 실시예를 기초로 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 방법을 설명한다.

도3은 본 발명의 실시예에 따른 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 방법의 한가지 예시적인 흐름도이다.

도3에 도시된 바와 같이, 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 방법(300)은 하기와 같은 단계들을 포함한다.

단계(301)에서, 파노라마 구면 이미지에 대해 연속적인 다운샘플링을 진행하여 이미지 피라미드를 획득한다.

여기서, 파노라마 구면 이미지에 대해 예를 들어 라플라스 피라미드 변환 등과 같은 피라미드 변환을 진행하여 파노라마 구면 이미지를 오리지널 사이즈로부터 상이한 척도 공간으로 변환시켜 멀티레벨 이미지를 포함하는 이미지 피라미드를 획득할 수 있다.

단계(302)에서, 기정의 인테그랄 채널에서 이미지 피라미드의 인테그랄 이미지 구획으로 획득한 이미지 피라미드 중 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득한다.

상기 단계(301)에서 이미지 피라미드를 획득한 후, 우선 기정의 인테그랄 채널에서 이미지 피라미드의 각 레벨 이미지에 대해 인테그랄을 진행하여 이미지 피라미드의 인테그랄 이미지를 획득한 후, 기설정 사이즈의 윈도우를 통해 이미지 피라미드의 인테그랄 이미지에 대한 구분을 진행하여 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득할 수 있다.

단계(303)에서, 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라, 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값을 획득한다.

상기 단계(302)에서 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득한 후, 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지를 이용하여 연산을 진행하여 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값을 신속하게 획득할 수 있다.

단계(304)에서, 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값과 사전 트레이닝된 검출 분류기 모델에 따라, 각 레벨 이미지의 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득한다.

상기 단계(303)에서 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값을 획득한 후, 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값에 따라 사전 트레이닝된 검출 분류기 모델을 통해 각 레벨 이미지의 스캐닝 윈도우 이미지를 검출하여 교통 표지로 의심되는 윈도우 이미지를 확인하고자 하는 교통 표지 윈도우 이미지로 획득함으로써, 이미지 피라미드 중의 모든 확인하고자 하는 교통 표지 윈도우 이미지를 획득할 수 있다.

본 발명의 상기 실시예의 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 방법은, 파노라마 구면 이미지에서 피라미드 변환을 통해 획득한 피라미드 이미지에서 스캐닝 윈도우 이미지를 획득한 후, 각 레벨 이미지의 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득함으로써, 파노라마 구면 이미지에서 확인하고자 하는 교통 표지 윈도가 누락될 가능성을 감소시켜, 확인하고자 하는 교통 표지 윈도우의 획득 정확도를 향상시킨다. 또한, 인테그랄 이미지를 이용하여 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값을 획득하므로, 특징 값의 획득 속도를 향상시킨다.

이하, 도4를 결부하여, 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하는 방법을 설명한다.

도4는 본 발명의 실시예에 따른 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하는 방법의 예시적인 흐름도이다.

도4에 도시된 바와 같이, 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하는 방법(400)은 하기와 같은 단계들을 포함한다.

단계(401)에서, 가우스 분포에 따라, 순차적으로 연결된 컨볼루션층, 추출층, 완전 연결층과 정규화층을 포함하는 기설정된 컨볼루션 신경망 모델의 컨볼루션층과 완전 연결층 양자의 가중치를 초기화시킨다.

여기서, 순차적으로 연결된 컨볼루션층, 추출층, 완전 연결층과 정규화층은 하나의 컨볼루션층, 하나의 추출층, 하나의 완전 연결층 및 하나의 정규화층을 포함하거나, 다수의 컨볼루션층 및 컨볼루션층과 일일이 대응되는 추출층, 하나 이상의 완전 연결층과 하나의 정규화층을 포함할 수 있다.

여기서 설치된 컨볼루션층은 컨볼루션 연산을 통해 오리지널 신호 특징을 강화시키고 소음을 감소시킬 수 있다. 설치된 추출층은 이미지의 부분 연관성 원리를 이용하여 이미지에 대해 서브 샘플링을 진행하여 데이터 처리량을 감소시킴에 아울러 유용한 정보를 보류할 수 있다.

이하, 도5를 예로 들어, 기설정된 컨볼루션 신경망 모델을 설명한다.

도5는 본 발명의 실시예에 따른 기설정된 컨볼루션 신경망 모델의 한가지 예시적인 구조도이다.

도5에 도시된 바와 같이, 기설정된 컨볼루션 신경망 모델(500)은, 순차적으로 연결된 컨볼루션층(conv1), 추출층(pool1), 컨볼루션층(conv2), 추출층(pool2), 컨볼루션층(conv3), 추출층(pool3), 완전 연결층(fc1) 및 완전 연결층(fc2)을 포함한다.

여기서, conv1에는 크기가 5*5*3인 16개의 컨볼루션 커널이 존재하고, conv2에는 크기가 5*5*16인 32개의 컨볼루션 커널이 존재하며, conv3에는 크기가 5*5*32인 64개의 컨볼루션 커널이 존재한다. 두개의 완전 연결층에는 각각 512개의 신경원과 120개의 신경원이 존재한다.

선택적으로, 유사 오브젝트와 비유사 오브젝트의 출력 차이를 증가시키기 위해, 기설정된 컨볼루션 신경망 모델은 손실 함수층을 더 포함할 수 있다. 예를 들어, 손실 함수는 여러가지 대수 손실(logarithmic loss) 함수로 산출할 수 있는 바, 즉:

(a)이고,

여기서 L는 손실 함수이고, N는 트레이닝 샘플의 수량이며, M는 종류의 수량이고,

는 네트워크에서 출력된 제i개 샘플이 제j류인 확율이며,

는 샘플의 진리 값이고, 제i개 샘플이 제j류에 속하면 1이고 속하지 않으면 0이다.

다시 도4를 참조하면, 단계(402)에서, 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라, 오차역전파 BP 알고리즘으로 컨볼루션층과 완전 연결층 양자의 가중치에 대해 반복(iteration)을 진행한다.

여기서, 이미 확인한 교통 표지 윈도우 이미지의 샘플은, 확인하고자 하는 교통 표지 윈도우 이미지에서 추출한 샘플 중 교통 표지를 포함하는 수신한 인공 태깅에 따라 확인한 윈도우 이미지의 샘플이다.

나아가, 이미 확인한 교통 표지 윈도우 이미지의 샘플은 원래 이미 확인된 교통 표지 윈도우 이미지의 샘플 및 원래 이미 확인된 교통 표지 윈도우 이미지의 샘플을 회전, 평행이동과 축소 중의 하나 또는 다수의 처리를 거친 후 기설정 윈도우 사이즈로 규합시킨 이미지를 포함할 수 있다. 샘플을 확충하는 것을 토해 샘플의 인식 정확도를 향상시킬 수 있다.

단계(401)에서 손실 함수층을 설치하는 것과 대응되게, 오차역전파 BP 알고리즘으로 컨볼루션층과 완전 연결층 양자의 가중치에 대해 반복(iteration)을 진행하는 단계는, 손실 함수와 BP 알고리즘으로 컨볼루션층과 완전 연결층 양자의 가중치에 대해 각각 반복(iteration)을 진행하는 단계를 포함할 수 있다. 예를 들면, 가우스 분포로 모든 가중치를 초기화시킨 이후, 랜넘 경사도 하강 알고리즘을 사용하여 네트워크 모델에 대해 수차례의 반복(iteration)을 진행하고, 매번 반복(iteration)할 때마다 우선 상기 손실 함수 공식(a)으로 네트워크의 손실 함수(L)을 점진적으로 산출하고, 그 다음 반대로 함수(L)가 각 층의 가중치(

)에 대한 경사도를 후진적으로 산출하며, 그 다음 각 층의 가중치(

)의 경사도에 따라 가중치(

)를 업데이트하는 바, 즉:

-

(b)

여기서, α는 기설정된 경사도 하강의 학습율이고,

는 손실 함수(L)가 가중치(

)에 대한 경사도이다.

이후, 단계(S403) 또는 단계(S404)로 최적 가중치의 컨볼루션 신경망 모델을 결정할 수 있다.

단계(S403): 현재 반복된 가중치와 바로 전에 반복된 가중치의 차이값이 기설정 값보다 작으면, 현재 반복된 가중치를 최적 가중치로 결정한다.

단계(S404): 착오율이 가장 낮은 반복된 가중치가 나타나면, 착오율이 가장 낮은 반복된 가중치를 최적 가중치로 결정한다.

단계(S405): 최적 가중치를 포함하는 컨볼루션 신경망 모델을 사전 트레이닝된 컨볼루션 신경망 모델로 설정한다.

사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝해 낸 후, 도1 중의 단계(130)은, 확인하고자 하는 교통 표지 윈도우 이미지를 컨볼루션 신경망 모델에 입력하여 정규화층이 출력하는 가중치가 가장 큰 교통 표지 종류를 획득하는 단계; 및 가중치가 가장 큰 교통 표지 종류를 인식된 교통 표지 종류로 설정하는 단계를 포함할 수 있다.

도6은 본 발명의 실시예에 따른 교통 표지의 인식 장치의 구조 예시도이다.

도6에 도시된 바와 같이, 상기 교통 표지의 인식 장치(600)는 특징 값 획득 모듈(610), 교통 표지 검출 모듈(620) 및 교통 표지 인식 모듈(630)을 포함할 수 있다.

특징 값 획득 모듈(610)은, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하도록 구성된다.

선택적으로, 특징 값 획득 모듈(610)은, 기정의 인테그랄 채널에서 파노라마 구면 이미지의 인테그랄 이미지 구획으로 획득한 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득하도록 구성된 인테그랄 이미지 획득 제1 서브모듈(611); 및 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라 스캐닝 윈도우 이미지의 특징 값을 획득하도록 구성된 특징 값 획득 제1 서브모듈(612)을 포함할 수 있다.

교통 표지 검출 모듈(620)은, 스캐닝 윈도우 이미지의 특징 값과 스캐닝 윈도우 이미지의 샘플 및 이의 특징 값에 따라 트레이닝되는 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하도록 구성된다.

교통 표지 인식 모듈(630)은, 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라 트레이닝되는 사전 트레이닝된 컨볼루션 신경망 모델에 따라, 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득하도록 구성된다.

본 발명의 상기 실시예의 교통 표지의 인식 장치는, 파노라마 이미지에서 교통 표지의 검출 및 인식의 정확도를 향상시키고, 아울러 도로망 데이터의 업데이트 효율을 향상시킨다.

선택적으로, 상기 사전 트레이닝된 검출 분류기 모델은, 스캐닝 윈도우 이미지의 샘플 중 교통 표지의 윈도우 이미지를 포함하거나 교통 표지 및 이의 주위를 확충한 기설정 픽셀의 윈도우 이미지를 포함하는 포지티브 샘플과 포지티브 샘플을 제외한 나머지 스캐닝 윈도우 이미지를 포함하는 네거티브 샘플을 획득하고, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 포지티브 샘플과 네거티브 샘플의 특징 값을 획득하고, 포지티브 샘플과 네거티브 샘플 및 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 이들의 특징 값에 따라, 부스팅 알고리즘으로 검출 분류기 모델에 대해 트레이닝을 진행하여 사전 트레이닝된 검출 분류기 모델을 획득함으로써 획득할 수 있다

상기 사전 트레이닝된 검출 분류기 모델을 획득하는 방법은, 도7에 도시된 검출 분류기 모델의 트레이닝 장치를 통해 실현된다.

도7은 본 발명의 실시예에 따른 검출 분류기 모델의 트레이닝 장치의 예시적인 구조도이다.

도7에 도시된 바와 같이, 검출 분류기 모델의 트레이닝 장치(700)는, 샘플 획득 모듈(701), 샘플 특징 값 획득 모듈(702) 및 검출 모델 트레이닝 모듈(703)을 포함할 수 있다.

샘플 획득 모듈(701)은, 스캐닝 윈도우 이미지의 샘플 중 교통 표지의 윈도우 이미지를 포함하거나 교통 표지 및 이의 주위를 확충한 기설정 픽셀의 윈도우 이미지를 포함하는 포지티브 샘플과 포지티브 샘플을 제외한 나머지 스캐닝 윈도우 이미지를 포함하는 네거티브 샘플을 획득하도록 구성된다.

샘플 특징 값 획득 모듈(702)은, 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 포지티브 샘플과 네거티브 샘플의 특징 값을 획득하도록 구성된다.

여기서, 기정의 인테그랄 채널은 그레이 스케일 이미지 채널, 적색, 녹색, 남색의 단일 색상의 이미지 채널, 상이한 각도 파라미터의 경사도 이미지 채널과 에지 검출 이미지 채널의 하나 또는 다수를 포함할 수 있다. 기정의 특징 알고리즘은 하르 특징 알고리즘, 로컬 바이너리 패턴 특징 알고리즘, 히스토그램 특징 알고리즘과 랜덤 특징 알고리즘의 하나 또는 다수를 포함할 수 있다.

검출 모델 트레이닝 모듈(703)은, 포지티브 샘플과 네거티브 샘플 및 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 이들의 특징 값에 따라, 부스팅 알고리즘으로 검출 분류기 모델에 대해 트레이닝을 진행하여 사전 트레이닝된 검출 분류기 모델을 획득하도록 구성된다.

이하, 도8과 결부하여, 상기 실시예를 기초로, 확인하고자 하는 교통 표지 윈도우 이미지의 획득 장치를 설명한다.

도8은 확인하고자 하는 교통 표지 윈도우 이미지를 획득하기 위한 장치의 예시적인 구조도를 나타낸다.

도8에 도시된 바와 같이, 확인하고자 하는 교통 표지 윈도우 이미지를 획득하기 위한 장치(800)는, 다운샘플링 서브모듈(801), 인테그랄 이미지 획득 제2 서브모듈(802), 특징 값 제2 획득 서브모듈(803) 및 멀티레벨 검출 서브모듈(804)을 포함할 수 있다.

다운샘플링 서브모듈(801)은, 파노라마 구면 이미지를 연속적으로 다운샘플링하여 이미지 피라미드를 획득하도록 구성된다.

인테그랄 이미지 획득 제2 서브모듈(802)은, 기정의 인테그랄 채널에서 이미지 피라미드의 인테그랄 이미지 구획으로 획득한 이미지 피라미드 중 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득하도록 구성된다.

특징 값 제2 획득 서브모듈(803)은, 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라, 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값을 획득하도록 구성된다.

멀티레벨 검출 서브모듈(804)은, 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값과 사전 트레이닝된 검출 분류기 모델에 따라, 각 레벨 이미지의 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하도록 구성된다.

본 발명의 실시예의 상기 확인하고자 하는 교통 표지 윈도우 이미지 획득 장치를 통해, 확인하고자 하는 교통 표지 윈도우 이미지의 획득 정확도를 진일보 향상시키고 확인하고자 하는 교통 표지 윈도우 이미지의 검출 속도를 향상시킬 수 있다.

선택적으로, 상기 도6 중의 사전 트레이닝된 컨볼루션 신경망 모델은, 가우스 분포에 따라 순차적으로 연결된 컨볼루션층, 추출층, 완전 연결층과 정규화층을 포함하는 기설정된 컨볼루션 신경망 모델의 컨볼루션층과 완전 연결층 양자의 가중치를 초기화시키고, 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라 오차역전파 BP 알고리즘으로 상기 컨볼루션층과 상기 완전 연결층 양자의 가중치에 대해 반복(iteration)을 진행하되, 현재 반복된 가중치와 바로 전에 반복된 가중치의 차이값이 기설정 값보다 작으면, 현재 반복된 가중치를 최적 가중치로 결정하고, 최적 가중치를 포함한 컨볼루션 신경망 모델을 상기 사전 트레이닝된 컨볼루션 신경망 모델로 설정하거나, 또는 착오율이 가장 낮은 반복된 가중치가 나타나면, 착오율이 가장 낮은 반복된 가중치를 최적 가중치로 결정하고, 최적 가중치를 포함한 컨볼루션 신경망 모델을 상기 사전 트레이닝된 컨볼루션 신경망 모델로 설정 함으로써 획득할 수 있다.

여기서, 이미 확인한 교통 표지 윈도우 이미지의 샘플은, 확인하고자 하는 교통 표지 윈도우 이미지에서 추출한 샘플에서 수신한 인공 태깅에 따라 확인된 교통 표지를 포함하는 윈도우 이미지의 샘플이다.

나아가, 이미 확인한 교통 표지 윈도우 이미지의 샘플은, 원래 이미 확인된 교통 표지 윈도우 이미지의 샘플 및 원래 이미 확인된 교통 표지 윈도우 이미지의 샘플을 회전, 평행이동 및 축소 중의 하나 또는 다수의 처리를 거친 후 기설정 윈도우 사이즈로 정규화시킨 이미지를 포함할 수 있다.

여기서, 순차적으로 연결된 컨볼루션층, 추출층, 완전 연결층과 정규화층은, 다수의 컨볼루션층 및 컨볼루션층과 일일이 대응되는 추출층, 하나 이상의 완전 연결층과 하나의 정규화층을 포함한다.

나아가, 기설정된 컨볼루션 신경망 모델은 손실 함수층을 더 포함할 수 있다.

기설정된 컨볼루션 신경망 모델이 손실 함수층을 더 포함하는 것에 대응하여, 오차역전파 BP 알고리즘으로 상기 컨볼루션층과 상기 완전 연결층 양자의 가중치에 대해 반복(iteration)을 진행하는 단계는, 손실 함수와 BP 알고리즘으로 컨볼루션층과 완전 연결층 양자의 가중치에 대해 각각 반복(iteration)을 진행하는 단계를 포함할 수 있다.

상기 사전 트레이닝된 컨볼루션 신경망 모델을 획득하는 방법은 도9에 도시된 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하는 장치를 통해 실현될 수 있다.

도9는 본 발명의 실시예에 따른 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하기 위한 장치의 예시적인 구조도를 나타낸다.

도9에 도시된 바와 같이, 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하기 위한 장치(900)은 하기와 같은 모듈들을 포함한다.

초기화 모듈(901)은, 가우스 분포에 따라, 순차적으로 연결된 컨볼루션층, 추출층, 완전 연결층과 정규화층을 포함하는 기설정된 컨볼루션 신경망 모델의 컨볼루션층과 완전 연결층 양자의 가중치를 초기화시키도록 구성된다.

선택적으로, 기설정된 컨볼루션 신경망 모델은 손실 함수층을 더 포함한다.

가중치 반복 모듈(902)은, 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라, 오차역전파 BP 알고리즘으로 컨볼루션층과 완전 연결층 양자의 가중치에 대해 반복(iteration)을 진행하도록 구성된다.

제1 최적 가중치 결정 모듈(903)은, 현재 반복된 가중치와 바로 전에 반복된 가중치의 차이값이 기설정 값보다 작으면, 현재 반복된 가중치를 최적 가중치로 결정하도록 구성된다.

제2 최적 가중치 결정 모듈(904)은, 착오율이 가장 낮은 반복된 가중치가 나타나면, 착오율이 가장 낮은 반복된 가중치를 최적 가중치로 결정하도록 구성된다.

모델 설정 모듈(905)은, 최적 가중치를 포함하는 컨볼루션 신경망 모델을 사전 트레이닝된 컨볼루션 신경망 모델로 설정하도록 구성된다.

기설정된 컨볼루션 신경망 모델은 손실 함수층을 더 포함하는 것에 대응하여, 가중치 반복 모듈(902)은 손실 함수와 BP 알고리즘으로 컨볼루션층과 완전 연결층 양자의 가중치에 대해 각각 반복(iteration)을 진행하도록 더 구성된다.

사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하기 위한 장치(900)는 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝해낸 후, 도6 중의 교통 표지 인식 모듈(630)은, 확인하고자 하는 교통 표지 윈도우 이미지를 컨볼루션 신경망 모델에 입력하고, 정규화층이 출력하는 가중치가 가장 큰 교통 표지 종류를 획득하도록 구성된 최대 가중치 인식 모듈(미도시); 및 가중치가 가장 큰 교통 표지 종류를 인식된 교통 표지 종류로 설정하도록 구성된 표지 종류 설정 모듈(미도시)을 포함할 수 있다.

장치(600)에 기재된 여러 유닛과 도1에서 설명된 방법 중의 각 단계들이 서로 대응되고, 장치(700)에 기재된 여러 유닛과 도2에서 설명된 방법 중의 각 단계들이 서로 대응된고, 장치(800)에 기재된 여러 유닛과 도3에서 설명된 방법 중의 각 단계들이 서로 대응되며, 장치(900)에 기재된 여러 유닛과 도4에서 설명된 방법 중의 각 단계들이 서로 대응되는 것을 는 것을 이해하여야 한다. 이로써, 이상의 설명에서 교통 표지의 인식 방법에 관하여 설명된 조작과 특징들은 동일하게 장치(600) 및 이에 포함된 유닛들에 적용되고, 이상의 설명에서 사전 트레이닝된 검출 모델을 트레이닝하는 방법에 관하여 설명된 조작과 특징들은 동일하게 장치(700) 및 이에 포함된 유닛들에 적용되며, 이상의 설명에서 확인하고자 하는 교통 표지 윈도우 이미지의 획득 방법에 관하여 설명된 조작과 특징들은 동일하게 장치(800) 및 이에 포함된 유닛들에 적용되고, 이상의 설명에서 사전 트레이닝된 컨볼루션 신경망 모델을 트레이닝하는 방법에 관하여 설명된 조작과 특징들은 동일하게 장치(900) 및 이에 포함된 유닛들에 적용되므로, 여기서 중복된 설명은 생략하기로 한다. 장치(600, 700, 800 및 900) 중의 상응한 유닛들은 단말기 장치 및/또는 서버 중의 유닛들과 서로 협력하여 본 발명의 실시예의 수단을 실현할 수 있다.

본 발명의 실시예에서 언급된 모듈은 소프트웨어의 방식으로 실현되거나 하드웨어의 방식으로 실현될 수 있다. 설명되는 모듈은 프로세서에 설치될 수도 있는 바, 예를 들면, 특징 값 획득 모듈, 검출 모듈과 인식 모듈을 포함하는 프로세서로 설명될 수 있다. 여기서, 이러한 모듈들의 명칭은 일부 경우에 상기 모듈 자체에 대한 한정을 구성하지 않는 바, 예를 들면, 특징 값 획득 모듈은 “기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하도록 구성된 모듈”로 설명될 수 있다.

도10은 본 발명의 실시예의 기기의 실현에 적용되는 컴퓨터 시스템(1000)의 구조적 개략도이다.

도10에 도시된 바와 같이, 컴퓨터 시스템(1000)은 중앙 처리 유닛(CPU)(1001)을 포함하고, 이는 읽기 전용 메모리 장치(ROM)(1002)에 저장된 프로그램 또는 저장부(1008)로부터 랜덤 액세스 메모리 장치(RAM)(1003)에 로딩된 프로그램에 의하여 각종 적당한 동작 및 처리를 실행할 수 있다. RAM(1003)에는 시스템(1000) 조작에 필요한 각종 프로그램 및 데이터이 더 저장되어 있다. CPU(1001), ROM(1002) 및 RAM(1003)은 버스라인(1004)을 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(1005)도 버스라인(1004)에 연결된다.

I/O 인터페이스(1005)에 연결되는 부재로서, 키보드, 마우스 등을 포함하는 입력부(1006)와, 예를 들어 음극선관(CRT), 액정 표시 장치(LCD) 등 및 스피커 등을 포함하는 출력부(1007)와, 하드 디스크 등을 포함하는 저장부(1008)와, 예를 들어 LAN 카드, 모뎀 등의 네트워크 인터페이스 카드를 포함하는 통신부(1009)가 포함된다. 통신부(1009)는 인터넷과 같은 네트워크를 통하여 통신 처리를 실행한다. 구동부(1010)도 수요에 따라I/O 인터페이스(1005)에 연결된다. 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 장치 등과 같은 착탈 가능한 매체(1011)는 구동부(1010)로부터 판독된 컴퓨터 프로그램을 수요에 따라 저장부(1008)에 설치하도록 수요에 따라 구동부(1010)에 설치된다.

특히, 본 개시의 실시예에 의하면, 흐름도를 참조하여 설명한 상기 과정들은 컴퓨터 소프트웨어 프로그램으로 실현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 프로그램 제품을 포함하고, 기계 판독 가능한 매체에 유형적으로 포함되는 컴퓨터 프로그램을 포함하며, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에 있어서, 상기 컴퓨터 프로그램은 통신부(1009)를 경유하여 네트워크로부터 다운로드되어 설치되거나, 및/또는 착탈 가능한 매체(1011)로부터 설치될 수 있다.

첨부된 도면 중의 흐름도 및 블록도는 본 출원의 각 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계구조, 기능 및 조작을 도시하였다. 이러한 방면에서, 흐름도 또는 블록도 중의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 코드의 일부분은 규정된 로직 기능을 구현하기 위한 하나 또는 다수의 실행 가능한 명령을 포함한다. 일부 대체적인 구현에 있어서, 블록에 표기된 기능은 첨부된 도면에 표기된 순서와 다른 순서로 발생할 수도 있음을 주의하여야 한다. 예를 들어, 순차적으로 표시된 두개의 블록은 실제적으로 기본상 동시에 실행될 수 있고, 경우에 따라 반대된 순서에 따라 실행될 수도 있으며, 이는 관련된 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각 블록 및 블록도 및/또는 흐름도 중의 블록의 조합은 규정된 기능 또는 조작에 전용되는 하드웨어를 기반으로 하는 시스템으로 구현되거나, 전용 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있음을 주의하여야 한다.

다른 한 방면에 있어서, 본 출원은 또한 비휘발성 컴퓨터 저장 매체를 제공하며, 상기 비휘발성 컴퓨터 저장 매체는 상술한 실시예 중의 상기 장치에 포함된 비휘발성 컴퓨터 저장 매체이거나, 독립적으로 존재하며 단말기 장치에 설치되지 않은 비휘발성 컴퓨터 저장 매체일 수 있다. 상기 비휘발성 컴퓨터 저장 매체는 하나 또는 복수의 프로그램을 저장하고, 상기 하나 또는 복수의 프로그램은 본 출원에 설명된 교통 표지의 인식 방법을 실행하도록 하나 또는 다수의 프로세서에 의해 실행된다.

이상의 설명은 오직 본 출원의 비교적 바람직한 실시예 및 운용하는 기술적 원리에 대한 설명이다. 해당 기술분야의 당업자는 본 발명에 관련된 발명의 범위가 상기 기술적 특징들의 특정 조합으로 이루어진 기술적 방안들에 한정되는 것이 아니라 본 발명의 주지를 벗어나지 않고서 상기 기술적 특징들 또는 그들의 균등한 특징들의 임의의 조합으로 이루어진 기타 기술적 방안들, 예를 들어, 상기 특징을 본 출원에 개시되어 있으나 이에 한정되지 않는 유사한 기능을 구비한 기술적 특징과 서로 대체하여 이루어진 기술적 방안도 포함하고 있음을 자명할 것이다.

Claims

기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하는 단계;
상기 스캐닝 윈도우 이미지의 특징 값과, 스캐닝 윈도우 이미지의 샘플 및 이의 특징 값에 따라 트레이닝되는 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 단계; 및
이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라 트레이닝되는 사전 트레이닝된 컨볼루션 신경망 모델에 따라, 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득하는 단계를 포함하는 것을 특징으로 하는 교통 표지의 인식 방법.
제1항에 있어서,
상기 사전 트레이닝된 검출 분류기 모델은,
스캐닝 윈도우 이미지의 샘플 중 교통 표지의 윈도우 이미지를 포함하거나 교통 표지 및 이의 주위를 확충한 기설정 픽셀의 윈도우 이미지를 포함하는 포지티브 샘플과 포지티브 샘플을 제외한 나머지 스캐닝 윈도우 이미지를 포함하는 네거티브 샘플을 획득하고,
상기 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 상기 포지티브 샘플과 상기 네거티브 샘플의 특징 값을 획득하고,
상기 포지티브 샘플과 상기 네거티브 샘플 및 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 이들의 특징 값에 따라, 부스팅(boosting) 알고리즘으로 검출 분류기 모델에 대해 트레이닝을 진행하여 상기 사전 트레이닝된 검출 분류기 모델을 획득함으로써 획득되는 것을 특징으로 하는 교통 표지의 인식 방법.
제1항에 있어서,
기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 상기 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하는 단계는,
기정의 인테그랄 채널에서 파노라마 구면 이미지의 인테그랄 이미지 구획으로 획득한 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득하는 단계; 및
상기 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라, 상기 스캐닝 윈도우 이미지의 특징 값을 획득하는 단계를 포함하는 것을 특징으로 하는 교통 표지의 인식 방법.
제3항에 있어서,
상기 기정의 인테그랄 채널에서 파노라마 구면 이미지의 인테그랄 이미지 구획으로 획득한 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득하는 단계는,
상기 파노라마 구면 이미지에 대해 연속적인 다운샘플링을 진행하여 이미지 피라미드를 획득하는 단계; 및
기정의 인테그랄 채널에서 이미지 피라미드의 인테그랄 이미지 구획으로 획득한 이미지 피라미드 중 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득하는 단계를 포함하고,
상기 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라, 상기 스캐닝 윈도우 이미지의 특징 값을 획득하는 단계는,
상기 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라, 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값을 획득하는 단계를 포함하고,
상기 스캐닝 윈도우 이미지의 특징 값과 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 단계는,
상기 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값과 사전 트레이닝된 검출 분류기 모델에 따라, 상기 각 레벨 이미지의 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 교통 표지의 인식 방법.
제1항 내지 제4항 중의 임의의 한 항에 있어서,
상기 사전 트레이닝된 컨볼루션 신경망 모델은
가우스 분포에 따라, 순차적으로 연결된 컨볼루션층, 추출층, 완전 연결층과 정규화층을 포함하는 기설정된 컨볼루션 신경망 모델의 컨볼루션층과 완전 연결층 양자의 가중치를 초기화시키고,
이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라, 오차역전파 BP 알고리즘으로 상기 컨볼루션층과 상기 완전 연결층 양자의 가중치에 대해 반복(iteration)을 진행하되, 현재 반복된 가중치와 바로 전에 반복된 가중치의 차이값이 기설정 값보다 작으면, 현재 반복된 가중치를 최적 가중치로 결정하고, 최적 가중치를 포함한 컨볼루션 신경망 모델을 상기 사전 트레이닝된 컨볼루션 신경망 모델로 설정하거나, 착오율이 가장 낮은 반복된 가중치가 나타나면, 착오율이 가장 낮은 반복된 가중치를 최적 가중치로 결정하고, 최적 가중치를 포함한 컨볼루션 신경망 모델을 상기 사전 트레이닝된 컨볼루션 신경망 모델로 설정함으로써 획득되는 것을 특징으로 하는 교통 표지의 인식 방법.
제5항에 있어서,
상기 기설정된 컨볼루션 신경망 모델은 손실 함수층을 더 포함하고,
상기 오차역전파 BP 알고리즘으로 상기 컨볼루션층과 상기 완전 연결층 양자의 가중치에 대해 반복(iteration)을 진행하는 것은, 손실 함수와 BP 알고리즘으로 상기 컨볼루션층과 상기 완전 연결층 양자의 가중치에 대해 각각 반복(iteration)을 진행하는 것을 포함하는 것을 특징으로 하는 교통 표지의 인식 방법.
제5항에 있어서,
상기 사전 트레이닝된 컨볼루션 신경망 모델에 따라, 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득하는 단계는,
상기 확인하고자 하는 교통 표지 윈도우 이미지를 상기 컨볼루션 신경망 모델에 입력하고, 정규화층이 출력한 가중치가 가장 큰 교통 표지 종류를 획득하는 단계; 및
상기 가중치가 가장 큰 교통 표지 종류를 인식된 교통 표지 종류로 설정하는 단계를 포함하는 것을 특징으로 하는 교통 표지의 인식 방법.
기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 파노라마 구면 이미지 구획으로 획득된 스캐닝 윈도우 이미지의 특징 값을 획득하도록 구성된 특징 값 획득 모듈;
상기 스캐닝 윈도우 이미지의 특징 값과, 스캐닝 윈도우 이미지의 샘플 및 이의 특징 값에 따라 트레이닝되는 사전 트레이닝된 검출 분류기 모델에 따라, 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하도록 구성된 교통 표지 검출 모듈; 및
이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라 트레이닝되는 사전 트레이닝된 컨볼루션 신경망 모델에 따라, 확인하고자 하는 교통 표지 윈도우 이미지를 인식하여 교통 표지 종류를 획득하도록 구성된 교통 표지 인식 모듈을 포함하는 것을 특징으로 하는 교통 표지의 인식 장치.
제8항에 있어서,
상기 사전 트레이닝된 검출 분류기 모델은,
스캐닝 윈도우 이미지의 샘플 중 교통 표지의 윈도우 이미지를 포함하거나 교통 표지 및 이의 주위를 확충한 기설정 픽셀의 윈도우 이미지를 포함하는 포지티브 샘플과 포지티브 샘플을 제외한 나머지 스캐닝 윈도우 이미지를 포함하는 네거티브 샘플을 획득하고,
상기 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 포지티브 샘플과 네거티브 샘플의 특징 값을 획득하고,
상기 포지티브 샘플과 상기 네거티브 샘플 및 기정의 인테그랄 채널에서 기정의 특징 알고리즘으로 획득한 이들의 특징 값에 따라, 부스팅(boosting) 알고리즘으로 검출 분류기 모델에 대해 트레이닝을 진행하여 상기 사전 트레이닝된 검출 분류기 모델을 획득함으로써 획득되는 것을 특징으로 하는 교통 표지의 인식 장치.
제8항에 있어서,
상기 특징 값 획득 모듈은,
기정의 인테그랄 채널에서 파노라마 구면 이미지의 인테그랄 이미지 구획으로 획득한 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득하도록 구성된 인테그랄 이미지 획득 제1 서브모듈; 및
상기 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라, 상기 스캐닝 윈도우 이미지의 특징 값을 획득하도록 구성된 특징 값 획득 제1 서브모듈을 포함하는 것을 특징으로 하는 교통 표지의 인식 장치.
제10항에 있어서,
상기 인테그랄 이미지 획득 제1 서브모듈은,
상기 파노라마 구면 이미지에 대해 연속적인 다운샘플링을 진행하여 이미지 피라미드를 획득하도록 구성된 다운샘플링 서브모듈; 및
기정의 인테그랄 채널에서 이미지 피라미드의 인테그랄 이미지 구획으로 획득한 이미지 피라미드 중 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지를 획득하도록 구성된 인테그랄 이미지 획득 제2 서브모듈을 포함하고,
상기 특징 값 획득 제1 서브모듈은,
상기 각 레벨 이미지의 스캐닝 윈도우 이미지의 인테그랄 이미지에 따라, 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값을 획득하도록 구성된 특징 값 제2 획득 서브모듈을 포함하며,
상기 검출 모듈은,
상기 각 레벨 이미지의 스캐닝 윈도우 이미지의 특징 값과 사전 트레이닝된 검출 분류기 모델에 따라, 상기 각 레벨 이미지의 스캐닝 윈도우 이미지를 검출하여 확인하고자 하는 교통 표지 윈도우 이미지를 획득하도록 구성된 멀티레벨 검출 서브모듈을 포함하는 것을 특징으로 하는 교통 표지의 인식 장치.
제8항 내지 제11항 중의 임의의 한 항에 있어서,
상기 사전 트레이닝된 컨볼루션 신경망 모델은,
가우스 분포에 따라, 순차적으로 연결된 컨볼루션층, 추출층, 완전 연결층과 정규화층을 포함하는 기설정된 컨볼루션 신경망 모델의 컨볼루션층과 완전 연결층 양자의 가중치를 초기화시키고,
가중치 반복 모듈이 이미 확인한 교통 표지 윈도우 이미지의 샘플 및 이의 교통 표지 종류에 따라, 오차역전파 BP 알고리즘으로 상기 컨볼루션층과 상기 완전 연결층 양자의 가중치에 대해 반복(iteration)을 진행하되, 현재 반복된 가중치와 바로 전에 반복된 가중치의 차이값이 기설정 값보다 작으면, 현재 반복된 가중치를 최적 가중치로 결정하고, 최적 가중치를 포함한 컨볼루션 신경망 모델을 상기 사전 트레이닝된 컨볼루션 신경망 모델로 설정하거나, 착오율이 가장 낮은 반복된 가중치가 나타나면, 착오율이 가장 낮은 반복된 가중치를 최적 가중치로 결정하고, 최적 가중치를 포함한 컨볼루션 신경망 모델을 상기 사전 트레이닝된 컨볼루션 신경망 모델로 설정함으로써 획득되는 것을 특징으로 하는 교통 표지의 인식 장치.
제12항에 있어서,
상기 기설정된 컨볼루션 신경망 모델은 손실 함수층을 더 포함하고,
상기 가중치 반복 모듈은 손실 함수와 BP 알고리즘으로 상기 컨볼루션층과 상기 완전 연결층 양자의 가중치에 대해 각각 반복(iteration)을 진행하도록 더 구성되는 것을 특징으로 하는 교통 표지의 인식 장치.
제12항에 있어서,
상기 교통 표지 인식 모듈은,
상기 확인하고자 하는 교통 표지 윈도우 이미지를 상기 컨볼루션 신경망 모델에 입력하고, 정규화층이 출력한 가중치가 가장 큰 교통 표지 종류를 획득하도록 구성된 최대 가중치 인식 모듈; 및
상기 가중치가 가장 큰 교통 표지 종류를 인식된 교통 표지 종류로 설정하도록 구성된 표지 종류 설정 모듈을 포함하는 것을 특징으로 하는 교통 표지의 인식 장치.
프로세서; 및
메모리를 포함하되,
상기 메모리에는 상기 프로세서에 의해 수행될 수 있는 컴퓨터 판독 가능 인스트럭션이 저장되어 있고, 상기 컴퓨터 판독 가능 인스트럭션이 수행될 경우, 상기 프로세서는 제1항 내지 제4항 중의 임의의 한 항에 따른 방법을 수행하는 것을 특징으로 하는 기기.
프로세서에 의해 수행될 수 있는 컴퓨터 판독 가능 인스트럭션이 저장되어 있는 비휘발성 컴퓨터 저장 매체에 있어서,
상기 컴퓨터 판독 가능 인스트럭션이 프로세서에 의해 수행될 경우, 상기 프로세서는 제1항 내지 제4항 중의 임의의 한 항에 따른 방법을 수행하는 것을 특징으로 하는 비휘발성 컴퓨터 저장 매체.