KR20210031427A - 교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체 - Google Patents

교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체 Download PDF

Info

Publication number
KR20210031427A
KR20210031427A KR1020207035694A KR20207035694A KR20210031427A KR 20210031427 A KR20210031427 A KR 20210031427A KR 1020207035694 A KR1020207035694 A KR 1020207035694A KR 20207035694 A KR20207035694 A KR 20207035694A KR 20210031427 A KR20210031427 A KR 20210031427A
Authority
KR
South Korea
Prior art keywords
picture
interference
traffic
recognizing
image
Prior art date
Application number
KR1020207035694A
Other languages
English (en)
Inventor
얀 리우
양 왕
신 하오
유에셩 우
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20210031427A publication Critical patent/KR20210031427A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/34—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/0075—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 출원의 실시예는 교통 이미지를 인식하는 방법, 장치, 기기 및 매체를 개시한다. 여기서 상기 방법은, 차량에 의해 수집된 비디오 스트리밍을 획득하고 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 하는 단계; 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하는 단계 - 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 방식은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함함 - ; 및 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리하는 단계;를 포함한다. 본 출원의 실시예는 적대적 샘플이 교통 표지 인식 모델을 공격한 후의 교통 표지를 정확하게 인식하는 방식을 제공하는바, 교통 이미지 내에서 적대적 샘플의 간섭을 저감시키고 이미지에 대한 인식 정확률을 향상시키며 무인 주행 또는 스마트 운전의 안전성을 향상시킬 수 있다.

Description

교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체
본 출원은 2019년 2월 25일 중국 특허청에 제출한 출원번호가 201910138054.7인 중국특허출원에 대한 우선권을 주장하며, 당해 출원의 전체 내용은 원용되어 본 출원에 포함된다.
본 출원의 실시예는 자율주행 픽처처리 기술 분야에 관한 것이고, 예컨대 교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체에 관한 것이다.
무인차는 주행 과정 또는 스마트 운전 제어 과정에서 비디오 스트리밍의 형식으로 교통 신호등, 교통 표지판 등 정보를 획득한다. 예컨대, 운전 제어 시스템은 카메라 또는 레이더에 의해 획득된 영상을 전처리하여 특징 정보를 포함하는 픽처를 획득하고, 나아가 특징 정보를 포함하는 픽처를 교통 신호등, 교통 표지판의 분류 모델에 입력하여 예측을 수행하는데, 예를 들어 적색 등인지 아니면 녹색 등인지, 속도제한 60키로인지 아니면 주차 표지판인지를 판단한다.
그러나, 무인차 시스템에서의 분류 모델은 통상적으로는 심층학습 모델로, 아주 쉽게 적대적 샘플의 공격을 받아 오판이 발생하게 된다. 예컨대, 도로 표지판 또는 교통 신호등에 스티커를 붙이고 스티커에 적대적 샘플을 구성함으로써 분류 모델에 오판을 발생시켜, 도로 표지판 또는 신호등을 정상적으로 인식할 수 없게 되므로 무인차의 운전 안전에 영향을 주게 된다.
아래는 본 명세서에서 상세히 설명한 주제에 대한 개요이다. 본 개요는 청구항의 보호범위를 한정하고자 하는 것이 아니다.
본 출원의 실시예는 교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체를 제공하는 바, 교통 이미지 속의 대적 샘플의 간섭을 저감시키고 이미지에 대한 인식 정확률을 향상시키며 스마트 운전의 안전성을 향상시킨다.
첫 번째 측면으로, 본 출원의 실시예는 교통 이미지를 인식하는 방법을 제공하는바, 당해 방법은 차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 하는 단계; 상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하는 단계 - 상기 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 방식은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함함 - ; 및 상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리하는 단계를 포함한다.
두 번째 측면으로, 본 출원의 실시예는 교통 이미지를 인식하는 장치를 더 제공하는바, 당해 장치는, 차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 하도록 구성되는 픽처 수집 모듈; 상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하도록 구성되는 픽처 전처리 모듈 - 상기 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 유형은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함함 - ; 및 상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리하도록 구성되는 픽처 인식 모듈;을 포함한다.
세 번째 측면으로, 본 출원의 실시예는 컴퓨터 기기를 더 제공하는바, 당해 컴퓨터 기기는 하나 또는 복수의 프로세서; 및 적어도 하나의 프로그램을 저장하도록 구성되는 저장 장치를 포함하고, 상기 적어도 하나의 프로그램이 상기 적어도 하나의 프로세서에 의해 실행되는 경우, 상기 적어도 하나의 프로세서에 의해 본 출원의 실시예의 어느 한 교통 이미지를 인식하는 방법을 구현하도록 한다.
네 번째 측면으로, 본 출원의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 더 제공하는바, 당해 프로그램이 프로세서에 의해 실행되는 경우, 본 출원의 실시예 중 어느 하나에 따른 교통 이미지를 인식하는 방법을 구현하도록 한다.
본 출원의 실시예는 차량에 의해 수집된 비디오 스트리밍 내의 픽처를 간섭제거 오토인코더에 입력하고, 간섭제거 오토인코더의 전처리를 거쳐 간섭을 필터링한 픽처를 획득하고, 나아가 간섭이 없는 픽처를 교통 표지 인식 모델에 입력하여 인식 처리함으로써, 후속적인 정확한 차량 제어 명령의 생성이 편리하도록 하고, 적대적 샘플이 교통 표지 인식 모델을 공격함으로 인해 교통 표지 인식 착오가 유발되는 문제를 해결하고; 또한, 교통 이미지 속의 적대적 샘플의 간섭을 감소시켜 이미지 인식 정확률을 향상시키고 무인 주행 또는 스마트 운전의 안전성을 향상시킬 수 있다.
첨부도면 및 상세한 설명을 읽고 이해하면 다른 측면들을 알 수 있다.
도 1은 본 출원의 실시예 1에서의 교통 이미지를 인식하는 방법의 흐름도이다.
도 2a는 본 출원의 실시예 2에서의 교통 이미지를 인식하는 방법의 흐름도이다.
도 2b는 본 출원의 실시예 2에서의 오토인코더 신경망의 개략적인 구조도이다.
도 3은 본 출원의 실시예 3에서의 교통 이미지를 인식하는 장치의 개략적인 구조도이다.
도 4는 본 출원의 실시예 4에서의 컴퓨터 기기의 개략적인 구조도이다.
아래 첨부도면과 실시예를 결부하여 본 출원의 실시예에 대해 나아가 더 상세히 설명하고자 한다. 여기서 설명하는 구체적인 실시예는 본 출원의 실시예를 해석하기 위한 것일 뿐, 본 출원을 한정하고자 하는 것이 아님을 이해할 수 있다. 또 더 부연하면, 설명의 편의를 위하여, 첨부도면은 본 출원의 모든 구조가 아닌, 실시예에 관련되는 일부 구조 만을 도시하였다.
실시예 1
도 1은 본 실시예 1에 의해 제공되는 교통 이미지를 인식하는 방법의 흐름도이고, 본 실시예는 적대적 샘플에 기반한 무인차 또는 스마트 운전 제어 시스템의 도로 표지판과 교통 신호등 인식 모델에 대한 공격에 방어하는 상황에 적용 가능한바, 당해 방법은 교통 이미지를 인식하는 장치에 의해 구현될 수 있고, 구체적으로 기기 내의 소프트웨어 및/또는 하드웨어에 의해 실시될 수 있는바, 예를 들면, 무인 주행 차량 또는 스마트 운전 가능 차량 내의 차량 운전 제어 시스템에 의해 실시될 수 있다. 도 1에 도시한 바와 같이, 교통 이미지를 인식하는 방법은 구체적으로 하기 단계들을 포함한다.
S110, 차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 한다.
여기서, 차량은 무인 주행하는 차량이거나 또는 스마트 운전 기능을 구비한 차량일 수 있다. 상술한 2가지 유형의 차량에는 모두 카메라, 레이더 또는 카메라와 레이더 양자가 구성되어 있는데, 이들은 차량 주행 과정에서 차량의 전진 방향 및 차량 주변의 비디오 스트리밍을 수집하기 위한 것이다. 비디오 스트리밍에서의 이미지 콘텐츠는 통상적으로 교통 표지, 신호등, 차선 및 기타의 차량, 행인, 건물 등 콘텐츠를 포함한다. 수집된 비디오 스트리밍은 차량의 제어 시스템에 송신되고, 그 다음, 제어 시스템은 비디오 스트리밍에서 각 프레임의 이미지, 즉 제1 픽처를 추출하여, 분석할 타깃 대상으로 한다. 상술한 추출한 각 프레임의 이미지는 다른 처리를 거친 후 교통 표지 인식을 수행하도록 결정된 타깃 이미지로 이해될 수 있다.
S120, 상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하되, 상기 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 방식은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함한다.
제1 픽처는 교통 표지, 신호등 또는 차선 등의 교통지시 작용을 하는 정보를 포함하거나 또는 포함하지 않을 수도 있다. 여기서, 교통지시 정보를 포함하는 제1 픽처는 통상적으로 차량의 제어에 결정적인 작용을 한다. 일부 상황에서 교통 표지판, 신호등 또는 차선 등의 교통 표지에는 광고, 라벨이 붙게 되거나 또는 스티커가 중첩되는 등 방식으로 간섭되어 교통 표지 인식 모델이 교통 표지를 정확하게 인식할 수 없게 되므로, 이에 의해 교통규칙을 위반하거나, 심지어 승객의 생명 안전 및 대중교통 안전에 위험을 주게 된다.
따라서, 교통 표지를 포함하는 픽처를 교통 표지 인식 모델에 입력하기 전에 픽처를 전처리하여 픽처에 존재할 수 있는 간섭 정보를 필터링하는 것이 필요하며, 이는 픽처 내의 핵심 물체 정보를 추출하는 것에 해당한다.
예컨대, 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써, 교통 표지 정보를 포함하는 제1 이미지에 간섭 정보가 포함되는 경우에 간섭 정보를 필터링하여 제2 픽처, 즉, 간섭이 없는 이미지를 획득할 수 있다. 교통 표지 정보를 포함하지 않거나 또는 교통 표지 정보를 포함하나 간섭 정보가 추가되지 않은 제1 픽처에 대하여, 간섭제거 오토인코더의 전처리는 당해 픽처에 대하여 크게 영향 주지 않는바, 원본 이미지에 가까운 출력 이미지를 획득할 수 있다. 여기서, 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 통해 트레이닝하여 획득되는 것으로, 단일한 픽처 간섭 처리에 의한 간섭을 필터링할 수 있을 뿐만 아니라, 다양한 간섭 처리 방법의 조합에 의한 간섭을 필터링할 수도 있으므로, 이는 적대적 샘플 픽처 내의 교란 필터링 효과를 향상시킬 수 있다.
각 유형의 안티-간섭 샘플 세트는 적어도 하나의 샘플 쌍을 포함하고, 각 샘플 쌍마다 하나의 오리지널 픽처 및 당해 오리지널 픽처에 대응되는 하나의 적대적 샘플을 포함한다. 한 유형의 안티-간섭 샘플 세트에서, 각 적대적 샘플은 상응한 오리지널 픽처에 대해 모두 같은 유형의 교란 처리를 거쳐 생성된 것이다. 이른바 같은 유형은, 적용한 교란 방식의 조합이 같은 것을 가리킨다. 교란 방식의 조합은 단일한 한 유형의 교란 방식을 포함하거나, 또는 2가지 또는 그 이상의 교란 방식의 조합을 포함할 수도 있다. 한 유형의 안티-간섭 샘플 세트에서, 적용한 교란 방식 조합은 같으나 각 유형의 교란 방식에 적용된 구체적인 파라미터는 같거나 또는 다를 수 있다. 본 출원의 실시예에서 적용한 교란 방식은 다양할 수 있는바, 선택적으로, 교란 방식은 잡음, 아핀 변환(affine transform), 필터링 퍼지화(Filter fuzzification; 또는 필터링 흐림), 밝기 변화 및 단색화(monochromatization) 중 적어도 2가지를 포함할 수 있다.
일 바람직일 실시예에서, 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리하기 전에, 제1 픽처를 컬러 차원에서 압축 처리할 수 있는바, 즉, RGB 컬러 정보, 그레이 레벨 또는 RGB 컬러 정보와 그레이 레벨 양 측면에서 압축 처리할 수 있다. 이는 교통 표지의 인식이 주로 교통 표지 도안의 구조, 형상, 본체 컬러에 따를 뿐, 세부 컬러에 대하여서는 민감하지 않기 때문이다. 통상적인 상황에서, 해빗, 어두운 곳에서 교통 표지 수집하여 나타나는 컬러에도 차이가 있으므로, 미세한 컬러 차이의 압축은 교통 표지 도안의 인식에 영향 주지 않는다. 이미지를 컬러 차원에서 압축함으로써, 이미지 처리 과정에서 연산되는 데이터 양을 감소시킬 수 있다.
S130, 상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리한다.
여기서, 교통 표지 인식 모델은 통상적으로 심층학습에 기반하는 네트워크 모델이다.
교통 표지 인식 모델은 제2 이미지 내의 특징 정보를 인식하고 특징 정보가 어느 한 교통 표지 - 예컨대 속도제한 표지판 또는 교통신호등 등 - 에 속하는지 여부를 판단하여 차량운전 제어 시스템의 의사결정 모듈이 교통 표지 인식 모델의 인식 결과에 따라 제어 의사결정을 하여 차량주행 과정에서의 제어를 수행하도록 할 수 있다.
본 실시예의 기술방안은, 차량에 의해 수집된 비디오 스트리밍 내의 픽처를 간섭제거 오토인코더에 입력하고, 간섭제거 오토인코더의 전처리를 거쳐 간섭을 필터링한 픽처를 획득하고, 나아가 간섭이 없는 픽처를 교통 표지 인식 모델에 입력하여 인식 처리함으로써, 후속적으로 정확한 차량 제어 명령을 생성할 수 있도록 함으로써, 적대적 샘플이 교통 표지 인식 모델을 공격함으로 인해 교통 표지 인식 착오가 야기되는 문제를 해결할 수 있고, 또한 교통 이미지 내의 적대적 샘플의 간섭을 저감시키고 이미지 인식 정확률을 향상시키며 무인 주행 또는 스마트 운전의 안전성을 향상시킬 수 있다.
본 출원의 실시예의 기술방안은, 일부 불법 사용자가 교통 표지 인식에 사용되는 심층학습 모델이 불확실한 경우에 개시하는 블랙박스 공격 및 심층학습 모델이 확실한 경우의 화이트박스 공격, 2가지 상황에 모두 적용될 수 있다. 블랙박스 공격은 화이트박스 공격과 다르다. 화이트박스 공격은 흔히 심층학습 모델의 모델 구조 및 구체적인 파라미터가 이미 알려진 경우에 패스트 그래디언트 사인 방법(Fast Gradient Sign Method, FGSM), 클라크　&　라이트(Clarke and Wright, CW), 야코비 기반의 현저맵 접근(Jacobian-based saliency map approach, JSMA) 등의 적대적 샘플 알고리즘을 방향성 있게 적용하여 화이트박스 공격을 수행한다. 그러나 블랙박스 공격은 심층학습 모델이 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 등과 같은 교란 방식으로 복잡다변한 블랙박스 공격을 개시한다. 본 출원의 실시예는 블랙박스 공격과 화이트박스 공격 상황을 효과적으로 해결하여 각각의 유형의 교란을 필터링함으로써 교통 표지 인식의 심층학습 모델이 효과적으로 인식 및 필터링할 수 있도록 한다.
실시예 2
도 2a는 본 출원의 실시예 2에 의해 제공되는 교통 이미지를 인식하는 방법의 흐름도이다. 본 실시예는 상술일 실시예에서의 각 선택적인 방안에 기초하여 간섭제거 오토인코더의 트레이닝 과정을 제공한다. 도 2a에 도시한 바와 같이, 본 출원의 실시예에서 제공되는 교통 이미지를 인식하는 방법은 하기의 단계들을 포함한다.
S210, 오리지널 픽처를 기반으로 적어도 2가지 간섭을 추가하여 적어도 2가지 유형의 간섭 샘플 세트를 형성한다.
여기서, 오리지널 픽처는 간섭을 추가한 적이 없는 픽처이고, 픽처의 콘텐츠는 실제 교통 신호등, 교통 표지판, 차선 및 도로 표지판 등의 콘텐츠이다. 오리지널 픽처를 획득하는 방식으로는, 촬영 기능을 구비한 단말에 의해 촬영하여 획득할 수도 있고 어느 한 영상에서 캡처링할 수도 있다. 오리지널 픽처를 획득한 후, 샘플 세트를 생성하기 시작한다. 우선, 잡음을 추가하는 것, 아핀 변환을 추가하는 것, 필터링 퍼지화 변화를 중첩하는 것, 밝기 변화를 중첩하는 것, 단색화 변화를 중첩하는 것 중의 하나 또는 복수의 교란 방식으로 오리지널 픽처를 처리하여 간섭 픽처를 형성한다. 그 다음, 오리지널 픽처와 간섭 픽처를 하나의 샘플 쌍으로 하여 적어도 2가지 유형의 샘플 쌍 집합을 선택하여 상기 간섭 샘플 세트로 한다. 각 유형의 간섭 샘플 세트에 동일한 교란 방식 조합을 적용하도록 결정한다.
예시적으로, 제1 오리지널 픽처에 아핀 변환과 필터링 퍼지화 변화를 추가하여 하나의 제1 간섭 픽처를 생성하되, 당해 제1 오리지널 픽처와 당해 제1 간섭 픽처가 하나의 샘플 쌍을 이룬다. 마찬가지로, 다른 오리지널 픽처에 아핀 변환과 필터링 퍼지화 변화를 추가하여 상응한 간섭 픽처를 생성하여 복수의 샘플 쌍을 획득하되, 같은 변화를 거쳐 획득한 샘플 쌍은 같은 유형의 샘플 쌍 집합, 즉, 제1 유형의 샘플 쌍 집합에 속하게 된다. 제1 오리지널 픽처에 필터링 퍼지화 변화를 중첩, 밝기 변화를 중첩 및 단색화 변화를 중첩할 경우, 이 또한 상응한 간섭 픽처를 생성하고 상응한 샘플 쌍을 이루게 되며, 이때 획득한 샘플 쌍 집합은 제1 유형의 샘플 쌍 집합과는 상이한 제2 유형의 샘플 쌍 집합이다. 마찬가지로, 오리지널 픽처에 서로 다른 유형 및 수량의 간섭 정보를 선택적으로 중첩함으로써, 더 많은 다양한 유형의 샘플 쌍 집합을 획득할 수 있다. 이로써, 적어도 2가지 유형의 샘플 쌍 집합을 선택하여 상기 간섭 샘플 세트로 함으로써 트레이닝 샘플을 더욱 풍부하도록 하고, 더 많은 교란 방식을 커버하도록 할 수 있으므로 적대적 샘플의 필터링 효율을 향상시킬 수 있다.
다른 실시예에서, 잡음을 추가하는 것, 아핀 변환을 추가하는 것, 필터링 퍼지화 변화를 중첩하는 것, 밝기 변화를 중첩하는 것, 단색화 변화를 중첩하는 것 중의 하나 또는 복수의 교란 방식으로 상기 오리지널 픽처를 처리하기 전에, 또한, 어느 한 유형의 교란 방식의 적어도 하나의 교란 파라미터 값을 조정하여 적어도 2가지 유형의 교란을 형성할 수 있는바, 따라서 동일한 오리지널 픽처에 대하여 생성하는 간섭 픽처의 수를 증가시킬 수 있고 나아가 샘플 쌍 집합의 수를 증가시킬 수 있다. 예시적으로, 어느 한 유형의 교란 방식의 적어도 하나의 교란 파라미터 값을 조정하여 적어도 2가지 유형의 교란을 형성하는 단계는, 아핀 변환에서의 줌 비율 파라미터를 조정하여 서로 다른 줌 비율의 교란을 형성하는 단계; 필터링 퍼지화에서의 흐림 제어기의 입력 파라미터를 조정하여 서로 다른 흐림 정도의 교란을 형성하는 단계; 밝기 변화에서의 밝기 값을 조정하여 서로 다른 밝기의 교란을 형성하는 단계; 및 단색화 변화에서의 화소 점의 화소 값을 조정하여 서로 다른 컬러의 교란을 형성하는 단계; 중 적어도 하나를 포함할 수 있다. 여기서 어느 하나의 교란 방식이 복수의 교란 파라미터를 포함하는 경우, 복수의 파라미터 값을 동시에 변경하여 서로 다른 간섭 픽처를 형성할 수 있는바, 예를 들어 아핀 변환에서의 회전 각도 파라미터와 전단 각도 (Shear Angle) 파라미터, 및 밝기 변화에서의 밝기 값을 동시에 변경할 수 있다.
S220, 각 상기 간섭 샘플 세트 내의 샘플 쌍을 각각 입력 픽처와 출력 픽처로 하여 오토인코더에 입력하여 트레이닝한다.
오토인코터(Auto Encoders)는 심층학습에서 흔히 볼수 있는 모델로, 그 구조는 하나의 3계층 신경망 구조이고, 당해 구조는 하나의 입력층, 하나의 은닉층 및 하나의 출력층을 포함하고, 여기서, 출력층과 입력층은 같은 차원수를 가지는바, 구체적으로 도 2b를 참조할 수 있다. 구체적으로, 입력층과 출력층은 각각 신경망의 입력층과 출력층을 대표하고, 은닉층은 인코더와 디코더의 역할을 수행하며, 인코딩 과정은 바로 고차원의 입력층에서 저차원의 은닉층으로 전환하는 과정이고, 반대로, 디코딩 과정은 저차원의 은닉층에서 고차원의 출력층으로 전환하는 과정이며, 따라서, 오토인코더는 손실적인 전환 과정이고, 입력과 출력의 차이를 비교함으로써 손실함수를 정의한다. 트레이닝하는 과정에는 데이터를 레이블링할 필요가 없고, 전체 과정은 손실함수를 최소화하는 해를 계속적으로 구하는 과정이다.
본 실시예에서, 임의의 샘플 쌍에 잡음을 중첩한 간섭 픽처를 입력층에 입력하고, 그 다음, 출력층에서 오토인코더의 은닉층에 의해 복원된 픽처를 획득하고, 그 다음, 오리지널 픽처와 복원을 거친 픽처를 손실함수에 동시에 입력하고, 손실함수의 출력 결과에 따라 오토인코터를 최적화하여야 하는지 여부를 판단하는바, 손실함수의 출력 결과가 사전 설정 조건을 충족하는 경우, 트레이닝 과정을 종료시키고 최종적으로 간섭제거 오토인코더를 획득할 수 있다.
다른 일 실시예에서, 차량에 의해 수집된 비디오 스트리밍에서의 이미지 정보는 시간적으로 연속되고 연관관계를 가지는 이미지 정보이므로, 간섭 오토인코더는 장단기 메모리 네트워크(Long Short-Term Memory, LSTM)의 컨볼루션 신경망 모델일 수 있다. 이때, 간섭 샘플 세트의 샘플은 연속되는 적어도 2개 프레임의 픽처를 포함하게 된다. 즉, 오리지널 픽처는 적어도 2폭의 연속적인 프레임 픽처로 구성되는 오리지널 샘플 그룹이고, 오리지널 샘플 그룹에 대응되는 간섭 픽처 그룹은 오리지널 샘플 그룹에 기반하여 같은 교란 방식으로 간섭 정보를 중첩한 픽처이다. 여기서, 같은 교란 방식은 적용한 교란 방식의 조합이 동일한 것을 가리킨다. 교란 방식의 조합은 단일한 한 유형의 교란 방식을 포함하거나, 또는 2가지 또는 그 이상의 교란 방식의 조합을 포함할 수도 있다. 한 유형의 안티-간섭 샘플 세트에서, 적용한 교란 방식 조합은 같으나 각 유형의 교란 방식에 적용된 구체적인 파라미터는 동일하거나 또는 상이할 수 있다. 본 출원의 실시예에서 적용한 교란 방식은 다양할 수 있는바, 선택적으로, 교란 방식은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함할 수 있다.
일 바람직일 실시예에서, 오토인코더를 트레이닝하기 전에, 또한, 샘플 세트 내의 샘플 이미지를 컬러 차원에서 압축 처리할 수 있는바, 즉, RGB 컬러 정보, 그레이 레벨 또는 RGB 컬러 정보와 그레이 레벨 양 측면에서 압축 처리할 수 있다. 이는 교통 표지의 인식이 주로 물체의 구조, 형상, 본체 컬러에 따를 뿐, 세부 컬러에 대하여서는 민감하지 않기 때문이다. 이미지를 컬러 차원에서 압축함으로써, 이미지 처리 과정에서 연산되는 데이터 양을 감소시킬 수 있다.
S230, 차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 한다.
S240, 상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력한다.
S250, 상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리한다.
S230 내지 S250의 구체적인 내용은 실시예 1에서의 관련 설명을 참조할 수 있다.
본 실시예의 기술방안은, 오리지널 픽처에 서로 다른 교란 방식으로 간섭 잡음을 추가하여 서로 다른 유형의 간섭 샘플 세트를 형성하고, 오토인코더를 트레이닝하여 다양한 간섭을 필터링할 수 있는 간섭제거 오토인코더를 획득하고, 그 다음, 당해 간섭제거 오토인코더를 사용하여 차량에 의해 수집된 비디오 스트리밍에서의 픽처를 간섭제거 전처리하여 간섭이 필터링된 픽처를 획득하고, 전처리를 거친 픽처를 교통 표지 인식 모델에 입력하여 인식 처리함으로써, 정확한 차량 제어 명령을 생성할 수 있도록 함으로써, 적대적 샘플이 교통 표지 인식 모델을 공격함으로 인해 교통 표지 인식 착오가 야기되는 문제를 해결하여, 교통 이미지 내의 적대적 샘플의 간섭을 저감시키고 이미지 인식 정확률을 향상시키며 무인 주행 또는 스마트 운전의 안전성을 향상시킬 수 있다.
실시예 3
도 3은 본 출원의 실시예 3에 의해 제공되는 교통 이미지를 인식하는 장치의 개략적인 구조도를 도시하고, 본 출원의 실시예는 적대적 샘플에 기반한 무인차 또는 스마트 운전 제어 시스템의 도로 표지판과 교통 신호등 인식 모델에 대한 공격에 방어하는 상황에 적용 가능하다.
도 3에 도시한 바와 같이, 본 출원의 실시예에서 교통 이미지를 인식하는 장치는 픽처 수집 모듈(310), 픽처 전처리 모듈(320) 및 픽처 인식 모듈(330)을 포함한다.
여기서, 픽처 수집 모듈(310)은, 차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 하도록 구성되고; 픽처 전처리 모듈(320)은, 상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하도록 구성되고 - 상기 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 유형은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함함 - ; 픽처 인식 모듈(330)은, 상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리하도록 구성된다.
본 실시예의 기술방안은, 차량에 의해 수집된 비디오 스트리밍 내의 픽처를 간섭제거 오토인코더에 입력하고, 간섭제거 오토인코더의 전처리를 거쳐 간섭을 필터링한 픽처를 획득하고, 나아가 간섭이 없는 픽처를 교통 표지 인식 모델에 입력하여 인식 처리함으로써, 정확한 차량 제어 명령을 생성할 수 있도록 함으로써, 적대적 샘플이 교통 표지 인식 모델을 공격함으로 인해 교통 표지 인식 착오가 야기되는 문제를 해결하여, 교통 이미지 속의 적대적 샘플의 간섭을 저감시키고 이미지 인식 정확률을 향상시키며 무인 주행 또는 스마트 운전의 안전성을 향상시킬 수 있다.
일 실시예에서, 교통 이미지를 인식하는 장치는 오리지널 픽처를 기반으로 적어도 2가지 간섭을 추가하여 적어도 2가지 유형의 간섭 샘플 세트를 형성하도록 구성되는 샘플 세트 생성 모듈; 및 각 상기 간섭 샘플 세트 내의 샘플 쌍을 각각 입력 픽처와 출력 픽처로 하여 오토인코더에 입력하여 트레이닝하도록 구성되는 모델 트레이닝 모듈;을 더 포함한다.
일 실시예에서, 샘플 세트 생성 모듈은, 오리지널 픽처를 획득하고; 잡음을 추가하는 것, 아핀 변환을 추가하는 것, 필터링 퍼지화 변화를 중첩하는 것, 밝기 변화를 중첩하는 것, 단색화 변화를 중첩하는 것 중의 하나 또는 복수의 교란 방식으로 상기 오리지널 픽처를 처리하여 간섭 픽처를 형성하고; 오리지널 픽처와 간섭 픽처를 하나의 샘플 쌍으로 하여 적어도 2가지 유형의 샘플 쌍 집합을 선택하여 상기 간섭 샘플 세트로 하도록 구성된다.
일 실시예에서, 샘플 세트 생성 모듈은 또한, 어느 한 유형의 교란 방식의 적어도 하나의 교란 파라미터 값을 조정하여 적어도 2가지 유형의 교란을 형성하도록 구성된다.
일 실시예에서, 어느 한 유형의 교란 방식의 적어도 하나의 교란 파라미터 값을 조정하여 적어도 2가지 유형의 교란을 형성하는 것은, 아핀 변환에서의 줌 비율 파라미터를 조정하여 서로 다른 줌 비율의 교란을 형성하는 것; 필터링 퍼지화에서의 흐림 제어기의 입력 파라미터를 조정하여 서로 다른 흐림 정도의 교란을 형성하는 것; 밝기 변화에서의 밝기 값을 조정하여 서로 다른 밝기의 교란을 형성하는 것; 및 단색화 변화에서의 화소 점의 화소 값을 조정하여 서로 다른 컬러의 교란을 형성하는 것 중 적어도 하나를 포함한다.
일 실시예에서, 오토인코더의 입력층과 출력층은 같은 구조를 가지므로써 출력 픽처가 오리지널 픽처와 같은 해상도를 갖도록 한다.
일 실시예에서, 교통 이미지를 인식하는 장치는, 상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리하기 전에, 상기 제1 픽처를 컬러 차원에서 압축 처리하도록 구성되는 이미지 압축 모듈을 더 포함한다.
일 실시예에서, 상기 간섭제거 오토인코더는 장단기 메모리(LSTM)의 컨볼루션 신경망 모델이고, 상기 간섭 샘플 세트는 연속되는 적어도 2개 프레임의 픽처를 포함한다.
본 출원의 실시예에 의해 제공되는 교통 이미지를 인식하는 장치는 본 출원의 임의의 실시예에 의해 제공되는 교통 이미지를 인식하는 방법을 수행할 수 있고, 방법을 수행함에 있어서 상응한 기능 모듈과 유익한 효과를 가진다.
실시예 4
도 4는 본 출원의 실시예 4에서의 컴퓨터 기기의 개략적인 구조도이다. 도 4는 본 출원의 실시 방식을 구현하기에 적합한 예시적인 컴퓨터 기기(412)의 블록도를 도시한다. 도 4에 나타낸 컴퓨터 기기(412)는 하나의 예시일 뿐, 본 출원의 실시예의 기능과 사용범위에 대하여 어떠한 한정이 되어서도 안된다.
도 4에 도시한 바와 같이, 컴퓨터 기기(412)는 범용 컴퓨팅 기기의 형식으로 구현된다. 컴퓨터 기기(412)의 부재는 하나 또는 복수의 프로세서 또는 처리 유닛(416), 시스템 메모리(428), 서로 다른 시스템 부재(시스템 메모리(428)와 처리 유닛(416)을 포함함)를 연결하는 버스(418)를 포함할 수 있으나 이에 한정되지 않는다.
버스(418)는 다양한 유형의 버스 구조 중의 하나 또는 복수를 표시하는바, 메모리 버스 또는 메모리 제어기, 주변 버스, 가속 그래픽 포트, 프로세서 또는 복수 유형의 버스 구조에서의 임의 버스 구조를 사용하는 로컬 버스를 포함한다. 예를 들면, 이러한 아키텍처는 산업 표준 아키텍처(ISA) 버스, 마이크로채널 아키텍처 버스(MAC) 버스, 확장 ISA버스, 비디오 전자공학 표준위원회(VESA) 로컬 버스 및 주변 컴포넌트 상호 연결(PCI) 버스를 포함하나 이에 한정되지 않는다.
컴퓨터 기기(412)는 전형적으로 다양한 컴퓨터 시스템 판독 가능한 매체를 포함한다. 이러한 매체는 컴퓨터 기기(412)에 의해 액세스될 수 있는 임의의 사용 가능한 매체일 수 있는바, 휘발성 및 비휘발성 매체, 착탈 가능한 및 착탈 불가능한 매체를 포함할 수 있다.
시스템 메모리(428)는 휘발성 메모리 형식의 컴퓨터 시스템 판독 가능한 매체, 예컨대 랜덤 액세스 메모리(RAM; 430) 및/또는 캐시(432)를 포함할 수 있다. 나아가, 컴퓨터 기기(412)는 다른 착탈 가능한/착탈 불가능한, 휘발성/비휘발성 컴퓨터 시스템 저장 매체를 더 포함할 수 있다. 예로 들면, 저장 시스템(434)은 착탈 불가능한, 비휘발성 자기 매체(도 4에 미도시, 통상적으로는 '하드 디스크 드라이브'로 지칭됨)에 대해 판독 및 기록하기 위한 것일 수 있다. 비록 도 4에는 도시하지 않았으나, 착탈 가능한 비휘발성 자기 디스크(예컨대 '플로피 디스크')에 대해 판독 및 기록하기 위한 자기 디스크 드라이브, 그리고 착탈 가능한 비휘발성 광디스크(예컨대 CD-ROM, DVD-ROM 또는 기타의 광 매체)에 대해 판독 및 기록하기 위한 광디스크 드라이브가 제공될 수 있다. 이러한 경우, 각각의 드라이브는 하나 또는 복수의 데이터 매체 인터페이스를 통해 버스(418)에 연결될 수 있다. 메모리(428)는 프로그램 제품을 적어도 하나 포함할 수 있는바, 당해 프로그램 제품은 일 그룹(예컨대 적어도 하나)의 프로그램 모듈을 구비하고, 이러한 프로그램 모듈은 본 출원의 각 실시예의 기능을 실행하도록 구성된다.
일 그룹(적어도 하나)의 프로그램 모듈(442)을 구비하는 프로그램/유틸리티 도구(440)는 예컨대 메모리(428)에 저장될 수 있는바, 이러한 프로그램 모듈(442)은 운영 체제, 하나 또는 복수의 응용 프로그램, 기타의 프로그램 모듈 및 프로그램 데이터를 포함하나 이에 한정되지 않고, 이러한 예시에서의 각각의 또는 어떠한 조합에는 네트워크 환경의 구현이 포함될 수 있다. 프로그램 모듈(442)은 통상적으로 본 발명에서 설명된 실시예 중의 기능 및/또는 방법을 실행한다.
컴퓨터 기기(412)는 하나 또는 복수의 외부 기기(414; 예컨대 키보드, 위치 지정 도구, 디스플레이 장치(424) 등)와 통신할 수도 있고, 또한 사용자가 당해 컴퓨터 기기(412)와 인터렉션할 수 있도록 하는 하나 또는 복수의 기기와 통신할 수도 있고, 및/또는 당해 컴퓨터 기기(412)가 하나 또는 복수 기타 컴퓨팅 기기와 통신을 진행할 수 있도록 하는 임의 기기(예컨대 네트워크 카드, 모뎀 등)와 통신할 수도 있다. 이러한 통신은 입력/출력(I/O) 인터페이스(422)를 통해 진행할 수 있다. 그리고, 컴퓨터 기기(412)는 또한 네트워크 어댑터(420)를 통해 하나 또는 복수의 네트워크(예컨대 근거리 통신망(LAN), 광역 통신망(WAN) 및/또는 공용 네트워크, 예컨대 인터넷)와 통신할 수 있다. 도시한 바와 같이, 네트워크 어댑터(420)는 버스(418)를 통해 컴퓨터 기기(412)의 기타 모듈과 통신한다. 비록 도시되지 않았으나, 컴퓨터 기기(412)에 결합하여 다른 하드웨어 및/또는 소프트웨어 모듈을 사용할 수 있는바, 마이크로코드, 기기 드라이버, 리던던트 처리 유닛, 외장 자기 디스크 드라이브 어레이, RAID 시스템, 자기 테이프 드라이브 및 데이터 백업 저장 시스템 등이 포함되나 이에 한정되지 않는다.
처리 유닛(416)은 시스템 메모리(428)에 저장되어 있는 프로그램을 작동시킴으로써 각 유형의 기능 애플리케이션 및 데이터 처리를 수행하는바, 예를 들면 본 출원의 실시예에 의해 제공되는 교통 이미지를 인식하는 방법을 구현하고, 당해 방법은 주로, 차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 하는 단계; 상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하는 단계 - 상기 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 방식은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함함 - ; 및 상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리하는 단계;를 포함한다.
실시예5
본 출원의 실시예5는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 더 제공하는바, 당해 프로그램이 프로세서에 의해 실행되는 경우, 본 출원의 실시예에 의해 제공되는 교통 이미지를 인식하는 방법을 구현하도록 하고, 당해 방법은 주로, 차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 하는 단계; 상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하는 단계 - 상기 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 방식은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함함 - ; 및 상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리하는 단계;를 포함한다.
본 출원의 실시예의 컴퓨터 저장 매체는 하나 또는 복수의 컴퓨터 판독 가능한 매체의 임의의 조합을 적용할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 신호 매체 또는 컴퓨터 판독 가능한 저장 매체일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예컨대 전기, 자기, 광, 전자기, 적외선, 또는 반도체의 시스템, 장치 또는 디바이스, 또는 이들의 임의 조합일 수 있으나 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 더 구체적인 예(불완전 리스트)는, 하나 또는 복수의 도선을 구비하는 전기적 연결, 휴대용 컴퓨터 자기 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광 저장 디바이스, 자기 저장 디바이스, 또는 상술한 것의 임의의 적합한 조합을 포함한다. 본 문서에서, 컴퓨터 판독 가능 저장 매체는 프로그램을 포함하거나 저장하는, 임의의 유형 매체일 수 있고, 당해 프로그램은 명령어 실행 시스템, 장치 또는 디바이스에 의해 사용되거나 또는 이들과 결합되어 사용될 수 있다.
컴퓨터 판독 가능 신호 매체는 기저대역에서 또는 반송파의 일부분으로 전파되는 데이터 신호를 포함할 수 있고, 컴퓨터 판독 가능 프로그램 코드가 그 중에 탑재되어 있다. 이렇게 전파되는 데이터 신호는 다양한 형식을 적용할 수 있는바, 이는 전자기 신호, 광 신호 또는 상술한 것의 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 컴퓨터 판독 가능한 신호 매체는 또한 컴퓨터 판독 가능한 저장 매체 이외의 임의의 컴퓨터 판독 가능한 매체일 수 있고, 당해 컴퓨터 판독 가능한 매체는 명령어 실행 시스템, 장치 또는 디바이스에 의해 사용되거나 또는 이들과 결합되어 사용되는 프로그램을 송신, 전파, 또는 전송할 수 있다.
컴퓨터 판독 가능한 매체에 포함되는 프로그램 코드는 임의의 적당한 매체를 사용하여 전송할 수 있는바, 이는 무선, 전선, 광케이블, RF 등, 또는 상술한 임의의 적합한 조합을 포함하나 이에 한정되지 않는다.
하나 또는 복수의 프로그램 설계 언어 또는 그 조합으로 본 출원의 조작을 실행하기 위한 컴퓨터 프로그램 코드를 작성할 수 있고, 상기 프로그램 설계 언어는 Java, Smalltalk, C++와 같은 객체 지향 프로그램 설계 언어를 포함하고, 또한 'C' 언어 또는 이와 유사한 프로그램 설계 언어와 같은 종래의 절차 지향 프로그램 설계 언어도 포함한다. 프로그램 코드는 사용자 컴퓨터에서 전부 실행되거나, 사용자 컴퓨터에서 일부 실행되거나, 하나의 독립적인 소프트웨어 패키지로서 실행되어 일부는 사용자 컴퓨터에서, 일부는 원격 컴퓨터에서 실행되거나, 혹은 원격 컴퓨터에서 또는 서버에서 전부 실행될 수 있다. 원격 컴퓨터와 관련되는 상황에서 원격 컴퓨터는 근거리 통신망(LAN) 및 광역 통신망(WAN)을 포함하는 임의 유형의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예컨대, 인터넷 서비스 제공업체를 이용하여 인터넷을 통해 연결된다).

Claims (12)

  1. 교통 이미지를 인식하는 방법으로,
    차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 하는 단계;
    상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하는 단계 - 상기 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 방식은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함함 - ; 및
    상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리하는 단계;를 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 방법.
  2. 제1항에 있어서,
    오리지널 픽처를 기반으로 적어도 2가지 간섭을 추가하여 적어도 2가지 유형의 간섭 샘플 세트를 형성하는 단계; 및
    각 상기 간섭 샘플 세트 내의 샘플 쌍을 각각 입력 픽처와 출력 픽처로 하여 오토인코더에 입력하여 트레이닝하는 단계;를 더 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 방법.
  3. 제2항에 있어서,
    오리지널 픽처를 기반으로 적어도 2가지 간섭을 추가하여 적어도 2가지 유형의 간섭 샘플 세트를 형성하는 단계는
    오리지널 픽처를 획득하는 단계;
    잡음을 추가하는 것, 아핀 변환을 추가하는 것, 필터링 퍼지화 변화를 중첩하는 것, 밝기 변화를 중첩하는 것, 단색화 변화를 중첩하는 것 중 적어도 하나의 교란 방식으로 상기 오리지널 픽처를 처리하여 간섭 픽처를 형성하는 단계; 및
    오리지널 픽처와 간섭 픽처를 하나의 샘플 쌍으로 하여 적어도 2가지 샘플 쌍 집합을 선택하여 상기 간섭 샘플 세트로 하는 단계;를 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 방법.
  4. 제3항에 있어서,
    잡음을 추가하는 것, 아핀 변환을 추가하는 것, 필터링 퍼지화 변화를 중첩하는 것, 밝기 변화를 중첩하는 것, 단색화 변화를 중첩하는 것 중 적어도 하나의 교란 방식으로 상기 오리지널 픽처를 처리하기 전에,
    어느 한 유형의 교란 방식의 적어도 하나의 교란 파라미터 값을 조정하여 적어도 2가지 유형의 교란을 형성하는 단계를 더 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 방법.
  5. 제4항에 있어서,
    어느 한 유형의 교란 방식의 적어도 하나의 교란 파라미터 값을 조정하여 적어도 2가지 유형의 교란을 형성하는 단계는,
    아핀 변환에서의 줌 비율 파라미터를 조정하여 서로 다른 줌 비율의 교란을 형성하는 단계;
    필터링 퍼지화에서의 흐림 제어기의 입력 파라미터를 조정하여 서로 다른 흐림 정도의 교란을 형성하는 단계;
    밝기 변화에서의 밝기 값을 조정하여 서로 다른 밝기의 교란을 형성하는 단계; 및
    단색화 변화에서의 화소 점의 화소 값을 조정하여 서로 다른 컬러의 교란을 형성하는 단계; 중 적어도 하나를 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 방법.
  6. 제2항 내지 제5항 중의 어느 한 항에 있어서,
    상기 오토인코더의 입력층과 출력층은 같은 구조를 가지므로써, 출력 픽처가 오리지널 픽처와 같은 해상도를 갖도록 하는
    것을 특징으로 하는 교통 이미지를 인식하는 방법.
  7. 제6항에 있어서,
    상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리하기 전에,
    상기 제1 픽처를 컬러 차원에서 압축 처리하는 단계를 더 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 방법.
  8. 제1항에 있어서,
    상기 간섭제거 오토인코더는 장단기 메모리(LSTM)의 컨볼루션 신경망 모델이고, 상기 간섭 샘플 세트는 연속되는 적어도 2개 프레임의 픽처를 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 방법.
  9. 교통 이미지를 인식하는 장치로서,
    차량에 의해 수집된 비디오 스트리밍을 획득하고 상기 비디오 스트리밍에서 각 프레임의 이미지를 추출하여 제1 픽처로 하도록 구성되는 픽처 수집 모듈;
    상기 제1 픽처를 간섭제거 오토인코더에 입력하여 전처리함으로써 상기 제1 픽처 내의 간섭을 필터링하여 제2 픽처를 출력하도록 구성되는 픽처 전처리 모듈 - 상기 간섭제거 오토인코더는 적어도 2가지 유형의 간섭 샘플 세트를 트레이닝하여 획득된 것이고, 서로 다른 유형의 간섭 샘플 세트에 추가되는 교란 유형은 잡음, 아핀 변환, 필터링 퍼지화, 밝기 변화 및 단색화 중 적어도 2가지를 포함함 - ; 및
    상기 제2 픽처를 교통 표지 인식 모델에 입력하여 인식 처리하도록 구성되는 픽처 인식 모듈;을 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 장치.
  10. 제9항에 있어서,
    오리지널 픽처를 기반으로 적어도 2가지 간섭을 추가하여 적어도 2가지 유형의 간섭 샘플 세트를 형성하도록 구성되는 샘플 세트 생성 모듈; 및
    각 상기 간섭 샘플 세트 내의 샘플 쌍을 각각 입력 픽처와 출력 픽처로 하여 오토인코더에 입력하여 트레이닝하도록 구성되는 모델 트레이닝 모듈;을 더 포함하는
    것을 특징으로 하는 교통 이미지를 인식하는 장치.
  11. 컴퓨터 기기에 있어서,
    적어도 하나의 프로세서; 및
    적어도 하나의 프로그램을 저장하도록 구성되는 저장 장치를 포함하되,
    상기 적어도 하나의 프로그램이 상기 적어도 하나의 프로세서에 의해 실행되는 경우, 상기 적어도 하나의 프로세서가 제1항 내지 제8항 중 어느 한 항의 교통 이미지를 인식하는 방법을 구현하도록 하는
    것을 특징으로 하는 컴퓨터 기기.
  12. 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행되는 경우, 제1항 내지 제8항 중 어느 한 항의 교통 이미지를 인식하는 방법을 구현하는
    것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
KR1020207035694A 2019-02-25 2019-08-22 교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체 KR20210031427A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910138054.7 2019-02-25
CN201910138054.7A CN109886210B (zh) 2019-02-25 2019-02-25 一种交通图像识别方法、装置、计算机设备和介质
PCT/CN2019/102027 WO2020173056A1 (zh) 2019-02-25 2019-08-22 交通图像识别方法、装置、计算机设备和介质

Publications (1)

Publication Number Publication Date
KR20210031427A true KR20210031427A (ko) 2021-03-19

Family

ID=66929338

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035694A KR20210031427A (ko) 2019-02-25 2019-08-22 교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체

Country Status (6)

Country Link
US (1) US20210117705A1 (ko)
EP (1) EP3786835A4 (ko)
JP (1) JP2022521448A (ko)
KR (1) KR20210031427A (ko)
CN (1) CN109886210B (ko)
WO (1) WO2020173056A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886210B (zh) * 2019-02-25 2022-07-19 百度在线网络技术（北京）有限公司 一种交通图像识别方法、装置、计算机设备和介质
CN110717028B (zh) * 2019-10-18 2022-02-15 支付宝(杭州)信息技术有限公司 一种剔除干扰问题对的方法及系统
CN112906424B (zh) * 2019-11-19 2023-10-31 上海高德威智能交通系统有限公司 图像识别方法、装置及设备
KR102382324B1 (ko) * 2019-11-21 2022-04-01 연세대학교 산학협력단 신경 파형 분류 장치 및 방법
CN111191717B (zh) * 2019-12-30 2022-05-10 电子科技大学 一种基于隐空间聚类的黑盒对抗样本生成算法
CN111553952A (zh) * 2020-05-08 2020-08-18 中国科学院自动化研究所 基于生存对抗的工业机器人视觉图像识别方法及系统
CN111783604A (zh) * 2020-06-24 2020-10-16 中国第一汽车股份有限公司 基于目标识别的车辆控制方法、装置、设备及车辆
CN111899199B (zh) * 2020-08-07 2024-03-19 深圳市捷顺科技实业股份有限公司 一种图像处理方法、装置、设备及存储介质
CN111967368B (zh) * 2020-08-12 2022-03-11 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
CN112241532B (zh) * 2020-09-17 2024-02-20 北京科技大学 一种基于雅可比矩阵生成与检测恶性对抗样本的方法
CN112990015B (zh) * 2021-03-16 2024-03-19 北京智源人工智能研究院 一种病变细胞自动识别方法、装置和电子设备
JP6968475B1 (ja) * 2021-06-03 2021-11-17 望 窪田 情報処理方法、プログラム及び情報処理装置
CN113255609B (zh) * 2021-07-02 2021-10-29 智道网联科技(北京)有限公司 基于神经网络模型的交通标识识别方法及装置
CN113537463A (zh) * 2021-07-02 2021-10-22 北京航空航天大学 基于数据扰动的对抗样本防御方法与装置
EP4120136A1 (en) * 2021-07-14 2023-01-18 Volkswagen Aktiengesellschaft Method for automatically executing a vehicle function, method for training a machine learning defense model and defense unit for a vehicle
CN113537494B (zh) * 2021-07-23 2022-11-11 江南大学 一种基于黑盒场景的图像对抗样本生成方法
CN114004757B (zh) * 2021-10-14 2024-04-05 大族激光科技产业集团股份有限公司 去除工业图像中干扰的方法、系统、设备和存储介质
US11887475B1 (en) * 2021-12-13 2024-01-30 Ford Global Technologies, Llc Systems and methods for controlling a programmable traffic light
CN115588131B (zh) * 2022-09-30 2024-02-06 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128250A (ja) * 1991-11-08 1993-05-25 Toshiba Corp 画像認識装置
JP2004354251A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP5082512B2 (ja) * 2007-03-08 2012-11-28 富士ゼロックス株式会社 情報処理装置、画像処理装置、画像符号化装置、情報処理プログラム、画像処理プログラム及び画像符号化プログラム
CN103020623B (zh) * 2011-09-23 2016-04-06 株式会社理光 交通标志检测方法和交通标志检测设备
CN105590088A (zh) * 2015-09-17 2016-05-18 重庆大学 一种基于稀疏自编码和稀疏表示进行交通标志识别的方法
CN105139342A (zh) * 2015-09-29 2015-12-09 天脉聚源（北京）教育科技有限公司 一种图片缩放的方法和装置
WO2017127457A2 (en) * 2016-01-18 2017-07-27 Waveshift Llc Evaluating and reducing myopiagenic effects of electronic displays
JP6688090B2 (ja) * 2016-01-22 2020-04-28 株式会社デンソーテン 物体認識装置および物体認識方法
CN106022268A (zh) * 2016-05-23 2016-10-12 广州鹰瞰信息科技有限公司 一种限速标识的识别方法和装置
CN106127702B (zh) * 2016-06-17 2018-08-14 兰州理工大学 一种基于深度学习的图像去雾方法
CN106529589A (zh) * 2016-11-03 2017-03-22 温州大学 采用降噪堆叠自动编码器网络的视觉目标检测方法
CN106919939B (zh) * 2017-03-14 2019-11-22 潍坊学院 一种交通标识牌跟踪识别方法及系统
CN107122737B (zh) * 2017-04-26 2020-07-31 聊城大学 一种道路交通标志自动检测识别方法
CN107571867B (zh) * 2017-09-05 2019-11-08 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN107679508A (zh) * 2017-10-17 2018-02-09 广州汽车集团股份有限公司 交通标志检测识别方法、装置及系统
CN108122209B (zh) * 2017-12-14 2020-05-15 浙江捷尚视觉科技股份有限公司 一种基于对抗生成网络的车牌去模糊方法
CN108416752B (zh) * 2018-03-12 2021-09-07 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN108537133A (zh) * 2018-03-16 2018-09-14 江苏经贸职业技术学院 一种基于监督学习深度自编码器的人脸重构方法
CN108520503B (zh) * 2018-04-13 2020-12-22 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN108710831B (zh) * 2018-04-24 2021-09-21 华南理工大学 一种基于机器视觉的小数据集人脸识别算法
CN108961217B (zh) * 2018-06-08 2022-09-16 南京大学 一种基于正例训练的表面缺陷检测方法
CN109191402B (zh) * 2018-09-03 2020-11-03 武汉大学 基于对抗生成神经网络的图像修复方法和系统
US11106925B2 (en) * 2018-10-25 2021-08-31 Intel Corporation Computer-assisted or autonomous driving traffic sign recognition method and apparatus
CN109886210B (zh) * 2019-02-25 2022-07-19 百度在线网络技术（北京）有限公司 一种交通图像识别方法、装置、计算机设备和介质

Also Published As

Publication number Publication date
JP2022521448A (ja) 2022-04-08
EP3786835A4 (en) 2022-01-26
EP3786835A1 (en) 2021-03-03
WO2020173056A1 (zh) 2020-09-03
CN109886210A (zh) 2019-06-14
CN109886210B (zh) 2022-07-19
US20210117705A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
KR20210031427A (ko) 교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체
CN109753913B (zh) 计算高效的多模式视频语义分割方法
US20190244107A1 (en) Domain adaption learning system
CN110120024B (zh) 图像处理的方法、装置、设备和存储介质
CN111709343A (zh) 一种点云检测方法、装置、计算机设备和存储介质
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
CN111899515B (zh) 一种基于智慧道路边缘计算网关的车辆检测系统
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN108846387B (zh) 一种交警手势识别方法及装置
US20230394829A1 (en) Methods, systems, and computer-readable storage mediums for detecting a state of a signal light
Singh Surround-view vision-based 3d detection for autonomous driving: A survey
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
CN117152443A (zh) 一种基于语义前导指引的图像实例分割方法及系统
CN115577768A (zh) 半监督模型训练方法和装置
Ngo et al. Beamforming and scalable image processing in vehicle-to-vehicle networks
CN113487530A (zh) 一种基于深度学习的红外与可见光融合成像方法
CN111210411B (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN115965531A (zh) 模型训练方法及图像生成方法、装置、设备和存储介质
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
Razzok et al. Pedestrian detection under weather conditions using conditional generative adversarial network
CN114127799A (zh) 图像识别评价程序、图像识别评价方法、评价装置以及评价系统
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
CN117237988A (zh) 一种图像处理模型的训练方法、装置及相关设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application