KR20200022001A - 희귀 인스턴스 분류기들 - Google Patents

희귀 인스턴스 분류기들 Download PDF

Info

Publication number
KR20200022001A
KR20200022001A KR1020207002036A KR20207002036A KR20200022001A KR 20200022001 A KR20200022001 A KR 20200022001A KR 1020207002036 A KR1020207002036 A KR 1020207002036A KR 20207002036 A KR20207002036 A KR 20207002036A KR 20200022001 A KR20200022001 A KR 20200022001A
Authority
KR
South Korea
Prior art keywords
input image
score
instance
scores
classifier
Prior art date
Application number
KR1020207002036A
Other languages
English (en)
Other versions
KR102371317B1 (ko
Inventor
완-옌 로
아브히짓 오갈
양 가오
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20200022001A publication Critical patent/KR20200022001A/ko
Application granted granted Critical
Publication of KR102371317B1 publication Critical patent/KR102371317B1/ko

Links

Images

Classifications

    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G06K9/00805—
    • G06K9/00818—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

일부 구현들에서, 자율 또는 반자율 차량의 이미지 분류 시스템은, 드물게 발생하는 물체로 간주되는 물체의 반복되는 부정확한 분류를 감소시킴으로써 다중-물체 분류를 개선할 수 있다. 시스템은, 일반 물체(예를 들어, 흔하게 발생하는 물체 및 드물게 발생하는 물체)를 명시된 물체 범주에 속하는 것으로 식별 및 인식하도록 훈련된 일반 인스턴스 분류기(common instance classifier), 및 입력 이미지가 일반 인스턴스 분류기에 의해 정확하게 분류되는 가능성을 나타내는 하나 이상의 희귀성 점수를 계산하도록 훈련된 희귀 인스턴스 분류기(rare instance classifier)를 포함할 수 있다. 희귀 인스턴스 분류기의 출력은, 입력 이미지가 부정확하게 분류될 가능성이 감소되도록 일반 인스턴스 분류기의 분류 출력을 조정하는데 이용될 수 있다.

Description

희귀 인스턴스 분류기들
본 명세서는 자율 차량(autonomous vehicle)에 관한 것이다.
자율 차량은, 자율 주행 자동차, 보트 및 항공기를 포함한다. 자율 차량은 다양한 온보드 센서와 컴퓨터 시스템을 이용하여 주변 물체를 검출하고 이러한 검출을 이용하여 제어 및 네비게이션 결정을 내린다.
일부 자율 차량은, 이미지 내 물체 분류를 위해 신경망을 구현하는 컴퓨터 시스템을 갖는다.
신경망, 또는 간결하게 말하면, 망은, 하나 이상의 입력으로부터 하나 이상의 출력을 예측하기 위해 복수 계층의 동작들을 채용하는 머신 학습 모델이다. 신경망은 전형적으로 입력 계층과 출력 계층 사이에 위치한 하나 이상의 은닉 계층(hidden layer)을 포함한다. 각각의 계층의 출력은, 망 내의 또 다른 계층, 예를 들어, 다음 은닉 계층 또는 출력 계층에 대한 입력으로서 이용된다.
신경망의 각각의 계층은, 그 계층에 대한 입력에 관해 수행될 하나 이상의 변환 동작을 명시한다. 일부 신경망 계층들은 뉴런(neuron)이라고 하는 동작을 갖는다. 각각의 뉴런은 하나 이상의 입력을 수신하고, 또 다른 신경망 계층에 의해 수신되는 출력을 생성한다. 종종, 각각의 뉴런은 다른 뉴런들로부터 입력을 수신하고, 각각의 뉴런은 하나 이상의 다른 뉴런에 출력을 제공한다.
신경망의 아키텍처는, 망에 포함된 계층들과 그들의 속성뿐만 아니라, 망의 각각의 계층의 뉴런들이 접속되는 방법을 명시한다. 다시 말해, 아키텍처는 어떤 계층들이 다른 계층들에 대한 입력으로서 그들의 출력을 제공하고 출력이 제공되는 방법을 명시한다.
각각의 계층의 변환 동작은, 변환 동작을 구현하는 소프트웨어 모듈이 설치된 컴퓨터에 의해 수행된다. 따라서, 동작을 수행하는 것으로 기술되고 있는 계층은, 계층의 변환 동작을 구현하는 컴퓨터가 동작을 수행한다는 것을 의미한다.
각각의 계층은, 그 계층에 대한 한 세트의 파라미터들의 현재 값을 이용하여 하나 이상의 출력을 생성한다. 따라서 망을 훈련시키는 것은, 입력에 관해 순방향 패스(forward pass)를 지속적으로 수행하고, 그래디언트 값을 계산하고, 각각의 계층에 대한 파라미터들의 세트에 대한 현재 값들을 업데이트하는 것을 포함한다. 일단 신경망이 훈련되고 나면, 파라미터들의 최종 세트가 이용되어 생산 시스템에서 예측을 할 수 있다.
콘볼루션 신경망은 콘볼루션 신경망 계층들을 포함한다. 콘볼루션 신경망 계층들은 입력 데이터에서 공간적으로 로컬 상관관계를 이용하는 뉴런 접속을 갖고 있다. 그렇게 하기 위해, 콘볼루션 신경망 계층들은 하나의 콘볼루션 계층의 뉴런들이 이전 신경망 계층의 뉴런들의 작은 서브세트로부터만 입력을 수신하는, 성긴 접속(sparse connectivity)을 갖는다. 뉴런이 그 자신의 입력을 수신하는 다른 뉴런들은 그 뉴런에 대한 수용 필드(receptive field)를 정의한다.
콘볼루션 신경망 계층은, 계층의 파라미터들에 의해 정의되는 하나 이상의 필터를 갖는다. 콘볼루션 신경망 계층은, 그 계층의 입력과 각각의 뉴런의 필터의 콘볼루션을 수행함으로써 출력을 생성한다.
또한, 각각의 콘볼루션 망 계층은, 깊이, 폭, 및 높이 차원들을 갖는 3차원 배열로 뉴런을 가질 수 있다. 폭 및 높이 차원은 계층 입력의 2차원 피처에 대응한다. 깊이 차원은 뉴런의 하나 이상의 깊이 서브계층을 포함한다. 일반적으로, 콘볼루션 신경망은, 깊이 서브계층의 모든 뉴런이 동일한 가중치를 갖도록 가중치 공유를 채용한다. 이것은, 입력에서 피처를 검출할 때 변환 불변성(translation invariance)을 제공한다.
콘볼루션 신경망은 또한, 완전-접속된 계층들 및 다른 종류들의 계층들을 포함할 수 있다. 완전-접속된 계층들의 뉴런들은 이전 신경망 계층의 각각의 뉴런으로부터 입력을 수신한다.
자율 및 반자율 차량 시스템들은 주행 결정을 내리기 위해 물체 검출 예측을 이용할 수 있다.
자율 차량 시스템은 인간이 프로그램한 로직을 이용하여 물체 검출 예측을 수행할 수 있다. 인간이 프로그램한 로직은, 완전-물체 예측을 계산하기 위하여, 온보드 센서들의 출력들이 결합, 변환 및 가중되어야 하는 방법을 정확하게 명시한다.
일부 구현들에서, 자율 또는 반자율 차량의 이미지 분류 시스템은, 드물게 발생하는 물체로 간주되는 물체의 반복되는 부정확한 분류를 감소시킴으로써 다중-물체 분류를 개선할 수 있다. 시스템은, 일반 물체(예를 들어, 흔하게 발생하는 물체 및 드물게 발생하는 물체)를 명시된 물체 범주에 속하는 것으로 식별 및 인식하도록 훈련된 일반 인스턴스 분류기(common instance classifier), 및 입력 이미지가 일반 인스턴스 분류기에 의해 정확하게 분류되는 가능성을 나타내는 하나 이상의 희귀성 점수를 계산하도록 훈련된 희귀 인스턴스 분류기(rare instance classifier)를 포함할 수 있다. 희귀 인스턴스 분류기의 출력은, 입력 이미지가 부정확하게 분류될 가능성이 감소되도록 일반 인스턴스 분류기의 분류 출력을 조정하는데 이용될 수 있다.
본 명세서에 설명된 주제의 특정한 실시예들은 다음과 같은 이점들 중 하나 이상을 실현하도록 구현될 수 있다. 자율 또는 반자율 차량 시스템은, 완전히-훈련된 분류기 서브시스템을 이용하여 분류기를 재훈련하지 않고 드물게 발생하는 물체에 대한 반복된 에러를 신속하게 감소시킬 수 있다. 시스템은 기술들을 이용하여 소정의 물체를 포함하는 것으로서의 이미지의 분류 정확도를 향상시킬 수 있다. 시스템은 또한, 특정한 분류기 서브시스템을 통해 입력 이미지를 처리하여 정확한 물체 예측을 생성하는데 요구되는 계산 자원을 감소시킬 수 있다.
또한, 시스템은, 오분류된 드물게 발생하는 물체의 이미지 분류 성능을 향상시키기 위해 일반 인스턴스 및 희귀 인스턴스 분류기를 병렬로 적용할 수 있다. 예를 들어, 이미지가 희귀 물체 또는 일반 인스턴스 분류기에 의해 빈번하게 오분류되는 또 다른 종류의 물체의 이미지를 포함할 가능성이 높은 결정은, 이미지 분류 시스템에 의한 이미지의 긍정 오류(false positive) 분류를 감소시키기 위해 네거티브 피드백으로서 이용될 수 있다.
시스템은 추가로, 상이한 종류의 센서들, 예를 들어 LIDAR 및 비디오 카메라들로부터의 데이터를 처리하기 위해 적용될 수 있고, 전체 이미지 분류 성능을 향상시키기 위해 상이한 센서들로부터의 데이터를 결합할 수 있다.
하나의 일반적인 양태에서, 한 방법은, 입력 이미지를 수신하는 단계; 일반 인스턴스 신경망을 이용하여 입력 이미지를 처리하는 단계 - 일반 인스턴스 신경망은 입력 이미지를 처리하여 하나 이상의 제1 물체 범주 각각에 대응하는 각각의 제1 물체 점수를 포함하는 일반 인스턴스 출력을 생성하도록 구성되고, 각각의 제1 물체 점수는 입력 이미지가 대응하는 제1 물체 범주에 속하는 물체의 이미지를 포함할 가능성을 나타냄 -; 희귀 인스턴스 신경망을 이용하여 입력 이미지를 처리하는 단계 - 희귀 인스턴스 신경망은 입력 이미지를 처리하여 입력 이미지가 일반 인스턴스 신경망에 의해 부정확하게 분류될 가능성을 나타내는 희귀성 점수를 포함하는 희귀 인스턴스 출력을 생성하도록 구성됨 -; 희귀성 점수를 이용하여 입력 이미지를 분류하는데 있어서 하나 이상의 각각의 제1 물체 점수에 할당될 가중치를 결정하는 단계; 및 결정된 가중치에 따라 입력 이미지를 분류하는 단계를 포함한다.
하나 이상의 구현은 다음과 같은 임의적 피처를 포함할 수 있다. 예를 들어, 일부 구현들에서, 희귀 인스턴스 신경망은 일반 인스턴스 신경망에 의해 오분류된 훈련 이미지에 대해 훈련되었다.
일부 구현들에서, 희귀 인스턴스 신경망은 일반 인스턴스 신경망을 훈련시키는데 이용되는 이미지들에서 드물게 발생하는 물체 유형들의 이미지들에 대해 훈련되었다.
일부 구현들에서, 희귀 인스턴스 출력은 하나 이상의 제2 물체 범주 각각에 대응하는 각각의 제2 물체 점수를 더 포함하고, 각각의 제2 물체 점수는 입력 이미지가 대응하는 제2 물체 범주에 속하는 물체의 이미지를 포함할 가능성을 나타내며; 이 방법은, 희귀성 점수를 이용하여 입력 이미지를 분류하는데 있어서 하나 이상의 제2 물체 점수를 할당하기 위해 가중치를 결정하는 동작을 더 포함한다.
일부 구현들에서, 제2 물체 범주들은 제1 물체 범주들 중 하나 이상을 포함한다.
일부 구현들에서, 하나 이상의 제2 물체 점수를 할당하기 위한 가중치를 결정하는 단계는 희귀성 점수를 제2 물체 점수에 대한 가중치로서 이용하는 단계를 포함한다.
일부 구현들에서, 하나 이상의 제2 물체 점수 및 하나 이상의 제1 물체 점수를 할당하기 위한 가중치를 결정하는 단계는: 희귀성 점수가 미리결정된 임계값을 충족시키지 않는다고 결정하는 단계, 이에 응답하여, 입력 이미지를 분류하는데 있어서 하나 이상의 각각의 제2 물체 점수에 할당된 가중치를 감소시키는 단계를 포함한다.
일부 구현들에서, 하나 이상의 제2 물체 점수 및 하나 이상의 제1 물체 점수를 할당하기 위한 가중치를 결정하는 단계는: 희귀성 점수가 미리결정된 임계값을 충족시킨다고 결정하는 단계, 희귀성 점수가 미리결정된 임계값을 충족시킨다고 결정하는 단계에 응답하여, 입력 이미지를 분류하는데 있어서 하나 이상의 각각의 제1 물체 점수에 할당된 가중치를 감소시키는 단계를 포함한다.
일부 구현들에서, 하나 이상의 각각의 제1 물체 점수에 할당된 가중치를 감소시키는 단계는, 입력 이미지를 분류하는데 있어서 제1 물체 점수가 이용되지 않음을 나타내는 값에 가중치를 할당하는 단계를 포함한다.
일부 구현들에서, 입력 이미지를 분류하는 단계는: 결합 신경망을 이용하여 일반 인스턴스 출력 및 희귀 인스턴스 출력을 처리하는 단계 - 결합 신경망은 하나 이상의 제1 물체 범주 각각에 대응하는 각각의 제3 물체 점수를 계산하도록 구성되고, 각각의 제3 물체 점수는 하나 이상의 각각의 제1 물체 점수에 할당된 결정된 가중치 및 하나 이상의 각각의 제2 물체 점수에 할당된 결정된 가중치에 기초하여 계산됨 -; 및 제3 물체 점수들의 각각의 값에 기초하여 입력 이미지를 분류하는 단계를 포함한다.
일부 구현들에서, 하나 이상의 각각의 제1 물체 점수를 할당하기 위한 가중치를 결정하는 단계는: 희귀성 점수가 미리결정된 임계값을 충족시킨다고 결정하는 단계; 희귀성 점수가 미리결정된 임계값을 충족시킨다고 결정하는 단계에 응답하여, 입력 이미지를 분류하는데 있어서 하나 이상의 각각의 제1 물체 점수에 할당된 가중치를 감소시키는 단계를 포함한다.
본 명세서에의 주제의 하나 이상의 실시예의 상세사항이 첨부된 도면과 이하의 설명에 개시되어 있다. 본 주제의 다른 피처들, 양태들, 및 이점들은, 상세한 설명, 도면, 및 청구항들로부터 명백해질 것이다.
도 1은 시스템의 한 예의 블록도이다.
도 2는 자율 차량 주변의 환경의 이미지들을 분류하기 위한 프로세스의 한 예의 플로차트이다.
도 3a는 일반 인스턴스 분류기 및 희귀 인스턴스 분류기를 포함하는 아키텍처의 한 예의 개략도이다.
도 3b는 희귀 인스턴스 분류기가 입력 이미지 내에서 드물게 발생하는 물체를 식별하는 아키텍처의 한 예의 개략도이다.
도 3c는 희귀 인스턴스 분류기가 입력 이미지 내에서 흔하게 발생하는 물체를 식별하는 아키텍처의 한 예의 개략도이다.
도 4는 일반 인스턴스 분류기 및 희귀 인스턴스 분류기의 출력들을 처리하는 결합 신경망을 포함하는 아키텍처의 한 예의 개략도이다.
다양한 도면에서 유사한 참조 번호 및 명칭들은 유사한 요소들을 나타낸다.
본 명세서는, 차량, 예를 들어 자율 또는 반자율 차량이 하나 이상의 완전-학습된 분류기를 이용하여, 드물게 발생하는 물체인 것으로 결정된 물체를 포함하는 이미지 또는 일반 인스턴스 분류기에 의해 빈번하게 오분류되는 다른 이미지의 반복되는 부정확한 분류를 감소시킴으로써 차량의 센서들에 의해 검출된 물체의 분류를 향상시키는 방법을 설명한다. 예를 들어, 드물게 발생하는 물체는, 일반 인스턴스 분류기를 훈련시키는데 이용되는 훈련 데이터에서 드물게 발생하는 물체를 포함할 수 있다. 다른 예에서, 드물게 발생하는 물체는, 차량 주변의 환경에서 소정의 물체 범주에 포함되는 것으로 드물게 분류되는 물체를 포함할 수 있다. 각각의 물체 범주는, 차량이 이동할 때 차량 부근 내에서 발생할 수 있는 물체의 유형을 명시할 수 있다. 예를 들어, 물체 범주는, 표지판, 보행자, 자전거, 또는 차량에 근접한 다른 차량들을 나타낼 수 있다.
이 설명 전체에서 사용될 때, "완전히-학습된" 머신 학습 모델은, 원하는 예측을 계산하도록 훈련된 모델이다. 다시 말해서, 완전히-학습된 모델은, 인간이 프로그램한 결정이 아니라 훈련 데이터에 대해 훈련되는 것에만 기초하여 출력을 생성한다.
도 1은 예시적인 시스템(100)의 도면이다. 시스템(100)은 훈련 시스템(110) 및 온보드 시스템(130)을 포함한다.
온보드 시스템(130)은 차량(122)에 온보드로 물리적으로 위치한다. 도 1의 차량(122)은 자동차로서 예시되어 있지만, 온보드 시스템(130)은 임의의 적절한 차량 유형에 온보드로 위치할 수 있다. 차량(122)은, 완전-자율 주행 결정을 통보하기 위해 물체 검출 예측을 이용하는 완전 자율 차량일 수 있다. 차량(122)은 또한, 인간 운전자를 보조하기 위해 이미지 분류 예측을 이용하는 반자율 차량일 수 있다. 예를 들어, 차량(122)은, 인간 운전자가, 검출된 물체, 예를 들어 보행자, 자전거 운전자, 또 다른 차량과 충돌하려고 한다는 것을 완전-물체 예측이 나타낸다면, 브레이크를 자율적으로 적용할 수 있다.
온보드 시스템(130)은 하나 이상의 센서 서브시스템(132)을 포함한다. 센서 서브시스템은, 전자기 복사의 반사를 수신하는 컴포넌트들, 예를 들어 레이저 광의 반사를 검출하는 LIDAR 시스템들, 전파의 반사를 검출하는 레이더 시스템들, 및 가시광의 반사를 검출하는 카메라 시스템들의 조합을 포함한다.
센서 서브시스템은 또한, 단거리 및 장거리 레이저 센서들의 조합을 포함할 수 있다. 예를 들어, 단거리 레이저 센서는, 차량(122) 주변의 지상 및 차량(122)으로부터 40m 이내의 주변 물체를 검출하는데 이용될 수 있다. 또 다른 예에서, 장거리 레이저 센서는 차량(122) 주변의 최대 200 미터까지의 물체를 검출하는데 이용될 수 있다.
원시 입력 센서 데이터는, 반사된 복사의 거리, 방향, 및 강도를 나타낸다. 각각의 센서는, 특정한 방향으로 전자기 복사의 하나 이상의 펄스를 전송할 수 있고, 반사가 수신된 시간뿐만 아니라 임의의 반사의 강도를 측정할 수 있다. 펄스와 그 대응하는 반사 사이에 걸리는 시간을 결정함으로써 거리가 계산될 수 있다. 각각의 센서는, 각도, 방위각, 또는 양쪽 모두에서, 특정한 공간을 지속적으로 스위핑할 수 있다. 방위각에서 스위핑하는 것은, 예를 들어, 센서가 동일한 시선을 따라 복수의 물체를 검출하는 것을 허용할 수 있다.
센서 서브시스템(132)은 입력 센서 데이터(155)를 온보드 분류기 서브시스템(134)에 제공한다. 입력 센서 데이터(155)는 데이터의 복수의 채널을 포함할 수 있고, 각각의 채널은 반사된 전자기 복사의 상이한 특성을 나타낸다. 따라서, 동일한 센서로부터의 측정으로부터 입력 센서 데이터(155)의 복수의 채널이 생성될 수 있다. 예를 들어, 입력 센서 데이터(155)는 차량을 둘러싸는 환경의 카메라에 의해 캡처된 이미지를 포함할 수 있다.
센서 서브시스템(132), 온보드 분류기 서브시스템(134), 또는 양쪽 모두의 일부 조합은, 원시 센서 데이터를 입력 센서 데이터(155)의 복수의 채널로 변환한다. 이렇게 하기 위해, 온보드 시스템(130)은 원시 센서 데이터의 다양한 특성을 공통 좌표계에 투영할 수 있다.
온보드 분류기 서브시스템(134)은, 이미지 분류에 관련된, 즉, 차량 주변의 환경의 이미지를 하나 이상의 물체 범주로부터의 물체를 포함하는 것으로 분류하는 것에 관련된 예측을 하도록 훈련된 한 세트의 분류기들의 동작들을 구현한다. 온보드 분류기 서브시스템(134)은, 완전히-훈련된 일반 인스턴스 분류기(310) 및 완전히-훈련된 희귀 인스턴스 분류기(320)를 포함하고, 이들은 도 3a, 도 3b 및 도 4에 도시되어 있다. 도 3a에 도시된 바와 같이, 일반 및 희귀 인스턴스 분류기들(310 및 320)은 병렬로 적용되어, 입력 센서 데이터(155) 내의 입력 이미지(302)를 처리해 이미지 분류의 정확도를 향상시킬 수 있다. 예를 들어, 희귀 인스턴스 분류기(320)는, 입력 이미지(302)가 일반 인스턴스 분류기(310)에 의해 오분류될 가능성이 큰 유형의 물체, 예를 들어, 드물게 발생하는 물체를 포함할 가능성을 나타내는 희귀성 점수를 계산한다. 희귀성 점수는, 이하에 상세히 설명되는 바와 같이, 입력 이미지(302)를 잘못 인식할 가능성을 감소시키기 위해 입력 이미지(302)의 분류를 조정하는데 이용될 수 있다.
온보드 분류기 서브시스템(134)은, 훈련 시스템(110)으로부터 수신된 모델 파라미터(172)의 수집본을 로딩함으로써 분류기의 동작을 구현할 수 있다. 논리적으로 분리된 것으로 예시되어 있지만, 모델 파라미터(170) 및 동작을 수행하는 소프트웨어 또는 하드웨어 모듈은 실제로 동일한 컴퓨팅 디바이스 상에 위치하거나, 실행중인 소프트웨어 모듈의 경우, 동일한 메모리 디바이스 내에 저장될 수 있다.
온보드 분류기 서브시스템(134)은, 분류기의 동작을 구현하기 위해 하드웨어 가속 또는 다른 특수 목적 컴퓨팅 디바이스를 이용할 수 있다. 예를 들어, 일부 계층들의 일부 동작들은, 고도로 병렬화된 하드웨어에 의해, 예를 들어 그래픽 처리 유닛 또는 다른 종류의 전문화된 컴퓨팅 디바이스에 의해 수행될 수 있다. 다시 말해, 각각의 계층의 모든 동작이 온보드 분류기 서브시스템(134)의 중앙 처리 유닛(CPU)에 의해 수행될 필요는 없다.
온보드 분류기 서브시스템(134)은 입력 센서 데이터(155)를 이용하여 하나 이상의 이미지 분류 예측(165)을 생성한다. 온보드 분류기 서브시스템(134)은, 하나 이상의 이미지 분류 예측(165)을 계획 서브시스템(136), 사용자 인터페이스 서브시스템(138), 또는 양쪽 모두에 제공할 수 있다.
계획 서브시스템(136)이 하나 이상의 이미지 분류 예측(165)을 수신할 때, 계획 서브시스템(136)은 하나 이상의 이미지 분류 예측(165)을 이용하여 완전-자율 또는 반자율 주행 결정을 내릴 수 있다. 예를 들어, 계획 서브시스템(136)은 자전거 운전자 및 보행자를 피하면서 고속도로 상의 다른 차량들을 통해 또는 다른 차량들 주변을 네비게이션하기 위한 완전-자율 계획을 생성할 수 있다. 또 다른 예로서, 계획 서브시스템(136)은 인간 운전자가 브레이크를 적용하기 위한 반자율적 추천을 생성할 수 있다.
사용자 인터페이스 서브시스템(138)은, 이미지 분류 예측(165) 또는 또 다른 컴포넌트에 의한 이미지 분류 예측(165)의 후처리 결과를 수신할 수 있고, 주변 물체의 위치를 나타내는 사용자 인터페이스 프리젠테이션을 생성할 수 있다. 예를 들어, 사용자 인터페이스 서브시스템(138)은, 물체에 의해 점유될 가능성이 높은 공간의 영역들의 표현을 포함하는 이미지 또는 비디오 데이터를 갖는 사용자 인터페이스 프리젠테이션을 생성할 수 있다. 그 다음, 온보드 디스플레이 디바이스는, 차량(122)의 승객에 대한 사용자 인터페이스 프리젠테이션을 디스플레이할 수 있다.
온보드 분류기 서브시스템(134)은 또한, 훈련 데이터(123)를 생성하기 위해 입력 센서 데이터(155)를 이용할 수 있다. 훈련 데이터(123)는, 입력 센서 데이터의 상이한 채널들의 투영된 표현을 포함할 수 있다. 온보드 시스템(130)은, 오프라인 일괄로 또는 온라인 방식으로, 예를 들어 생성될 때마다 지속적으로, 훈련 데이터(123)를 훈련 시스템(110)에 제공할 수 있다. 도시된 바와 같이, 훈련 데이터(123)는, 흔하게 발생하는 물체 및 드물게 발생하는 물체의 이미지를 각각 나타내는 훈련 예(123A 및 123B)를 포함한다. 훈련 동작 동안, 훈련 예(123A)는 일반 인스턴스 분류기(310)를 훈련시키는데 이용되고 훈련 예(123B)는 희귀 인스턴스 분류기(320)를 훈련시키는데 이용된다.
일부 구현들에서, 훈련 예(123B)는, 훈련 예(123A)에 포함되고 일반 인스턴스 분류기(310)를 훈련하기 위해 이용되지만 일반 인스턴스 분류기(310)가 훈련된 후에 일반 인스턴스 분류기(310)에 의해 오분류된 이미지를 포함한다. 오분류된 이미지는, 훈련된 일반 인스턴스 분류기(310)가 이미지가 상이한 범주로부터의 물체, 또는 범주가 없는 물체를 포함한다는 것을 나타내는 분류 출력을 생성한 다음, 그 이미지에 대해 알려진 라벨로 표시되는 이미지이다.
그 다음, 일반 인스턴스 분류기(310)에 의해 오분류된 이미지는, 희귀 인스턴스 분류기(320)를 훈련시키는데 이용될 수 있다. 일부 구현들에서, 훈련 예(123B)에 포함된 오분류된 이미지는, 새로운 자세, 관점 등을 도입하기 위해 이미지 처리 기술을 이용하여 수정될 수 있다. 이러한 구현들에서, 훈련 예(123B)는, 원래의 오분류된 이미지 및 오분류된 이미지의 처리된 버전을 포함한다.
다시 말해, 훈련 데이터(123)는, 차량 주변의 환경의 이미지를 하나 이상의 물체 범주로부터의 물체를 포함하는 것으로 분류하는데 이용되는 상이한 분류기를 각각 훈련시키는데 이용되는 복수의 세그먼트를 포함한다. 예를 들어, 훈련 예(123A 및 123B)를 포함하는 훈련 세그먼트는 일반 인스턴스 분류기를 훈련시키는데 이용될 수 있고, 훈련 예(123B)만을 포함하는 또 다른 훈련 세그먼트는 희귀 인스턴스 분류기를 훈련시키는데 이용될 수 있다.
훈련 시스템(110)은 전형적으로, 하나 이상의 위치에 수백 또는 수천 대의 컴퓨터를 갖는 분산형 컴퓨팅 시스템일 수 있는 데이터 센터(112) 내에 호스팅된다.
훈련 시스템(110)은, 입력 센서 데이터로부터 이미지 분류 예측을 하도록 설계된 분류기의 동작을 구현할 수 있는 훈련 분류기 서브시스템(114)을 포함한다. 훈련 분류기 서브시스템(114)은, 분류기의 아키텍처에 따라 분류기의 각각의 동작을 구현하는 소프트웨어 또는 하드웨어 모듈을 갖는 복수의 컴퓨팅 디바이스를 포함한다.
훈련 분류기는 일반적으로 온보드 분류기와 동일한 아키텍처를 갖는다. 그러나, 훈련 시스템(110)은 각각의 계층의 동작을 계산하기 위해 동일한 하드웨어를 이용할 필요는 없다. 다시 말해, 훈련 시스템(110)은, CPU만, 또는 고도로 병렬화된 하드웨어, 또는 이들의 일부 조합을 이용할 수 있다.
훈련 분류기 서브시스템(114)은, 모델 파라미터의 수집본(170)에 저장된 파라미터(115)의 현재 값을 이용하여 분류기의 각각의 계층의 동작을 계산할 수 있다. 논리적으로 분리된 것으로 예시되어 있지만, 모델 파라미터(170) 및 동작을 수행하는 소프트웨어 또는 하드웨어 모듈은 실제로 동일한 컴퓨팅 디바이스 상에 또는 동일한 메모리 디바이스 상에 위치할 수 있다.
분류기 서브시스템(114)은 입력으로서 훈련 예(123A 및 123B)를 수신할 수 있다. 훈련 예(123A 및 123B)는, 일반적으로, 자동-라벨링된 훈련 데이터, 인간-라벨링된 훈련 데이터, 또는 이들 둘의 일부 조합을 포함할 수 있다. 훈련 예들(123A 및 123B) 각각은, 기준 물체의 이미지뿐만 아니라 각각의 이미지에 대한 하나 이상의 라벨을 포함한다. 각각의 라벨은 이미지에 대한 정확한 분류를 식별한다, 즉, 이미지에 도시된 하나 이상의 물체가 속하는 하나 이상의 물체 범주를 식별한다.
훈련 예(123A)는, 차량 부근의 환경에서 흔하게 검출되는 상이한 물체 범주들, 예를 들어, 표지판, 보행자와 연관되도록 미리결정된 기준 물체의 이미지를 포함할 수 있다. 흔하게 발생하는 물체의 예는, 정지 표지판, 위험 표지판, 및 신호등을 포함한다.
훈련 예(123B)는, 차량 부근의 환경에서 흔하게 검출되지 않는(예를 들어, 드물게 검출되는) 상이한 물체 범주들과 연관되도록 미리결정된 기준 물체의 이미지를 포함할 수 있다. 드물게 발생하는 물체의 예는, 위치-특유의 교통 표지, 소규모 회사를 위한 광고 게시판, 또는 흔하게 발생하는 물체의 왜곡된 표현을 포함한다. 일부 구현들에서, 훈련 예들(123A 및 123B)은 동일한 범주에 속하는 상이한 물체들, 예를 들어 "차량" 물체 범주에 대한 자전거 및 자동차의 이미지들을 포함한다.
훈련 분류기 서브시스템(114)은, 각각의 훈련 예(123)에 대해, 하나 이상의 이미지 분류 예측(135)을 생성할 수 있다. 훈련 엔진(116)은 이미지 분류 예측(135)을 분석하고 이미지 분류 예측을 훈련 예(123)의 라벨과 비교한다. 그 다음, 훈련 엔진(116)은, 적절한 훈련 기술, 예를 들어 역전파(backpropagation)를 이용함으로써, 업데이트된 모델 파라미터 값(145)을 생성한다. 그 다음, 훈련 엔진(116)은 업데이트된 모델 파라미터 값(145)을 이용하여 모델 파라미터(170)의 수집본을 업데이트할 수 있다.
훈련이 완료된 후, 훈련 시스템(110)은, 예를 들어 유선 또는 무선 접속에 의해, 완전 자율 또는 반자율 주행 결정을 내리는데 이용하기 위한 모델 파라미터 값(171)의 최종 세트를 온보드 시스템(130)에 제공할 수 있다.
도 2는 자율 차량 주변의 환경의 이미지들을 분류하기 위한 프로세스(200)의 한 예의 플로차트이다. 편의상, 프로세스(200)는 하나 이상의 위치에 위치한 하나 이상의 컴퓨터의 시스템에 의해 수행되는 것으로 설명될 것이다. 예를 들어, 본 명세서에 따라 적절히 프로그램된 분류기 시스템, 예를 들어, 도 1의 온보드 시스템(130)은 프로세스(200)를 수행할 수 있다.
일반적으로, 분류기 시스템은, 일반 인스턴스 분류기(310) 및 희귀 인스턴스 분류기(320)를 포함하는 아키텍처(300A)의 한 예의 개략도인 도 3a에 더 상세히 도시된 병렬 네트워크 아키텍처를 이용하여 시종일관 설명된 이미지 분류 기술을 수행한다. 일반 인스턴스 분류기(310) 및 희귀 인스턴스 분류기(320) 각각은, 도 3a에 도시되고 이하에서 상세히 설명되는 바와 같이 입력 이미지(320)를 처리한다.
간략하게, 프로세스(200)는, 입력 이미지를 수신하는 단계(210), 각각의 제1 물체 점수를 포함하는 일반 인스턴스 출력을 생성하기 위해 일반 인스턴스 분류기를 이용하여 입력 이미지를 처리하는 단계(220), 희귀성 점수를 포함하는 희귀 인스턴스 출력을 생성하기 위해 희귀 인스턴스 분류기를 이용하여 입력 이미지를 처리하는 단계(230), 하나 이상의 각각의 제1 물체 점수에 할당될 가중치를 결정하는 단계(240), 및 결정된 가중치에 따라 입력 이미지를 분류하는 단계(250)를 포함할 수 있다.
더 상세하게는, 시스템은 입력 이미지를 수신한다(210). 입력 이미지(302)는 자율 차량 주변의 환경의 이미지이다. 입력 이미지(302)는, 센서 서브시스템(132) 등의 차량의 온보드 센서에 의해 캡처될 수 있고 입력 센서 데이터(155) 내에 포함될 수 있다.
시스템은 일반 인스턴스 분류기를 이용하여 입력 이미지를 처리하여 하나 이상의 제1 물체 점수를 포함하는 일반 인스턴스 출력을 생성한다(220). 예를 들어, 일반 인스턴스 분류기(310)는 입력 이미지(302)를 처리하여 일반 인스턴스 출력(304A)을 생성한다. 예를 들어, 일반 인스턴스 분류기(310)는 이미지 분류 기술을 이용하여 입력 이미지(302)를 처리하여 일반 인스턴스 출력(304A)에 포함되는 입력 이미지(302)에 대한 하나 이상의 제1 물체 점수를 계산한다. 각각의 제1 물체 점수는, 이미지가 대응하는 물체 범주에 속하는 물체의 이미지를 포함할 가능성을 나타낼 수 있다. 일부 구현들에서, 일반 인스턴스 출력(304A)은, 각각이 상이한 물체 범주에 대응하는 복수의 물체 점수를 포함한다. 시스템은 희귀 인스턴스 분류기를 이용하여 입력 이미지를 처리하여 희귀성 점수(230)를 포함하는 희귀 인스턴스 출력을 생성한다. 예를 들어, 희귀 인스턴스 분류기(320)는 입력 이미지(302)를 처리하여 희귀 인스턴스 출력(304B)을 생성한다. 희귀성 점수는, 예를 들어, 이미지(302)가 드물게 발생하는 물체의 이미지를 포함하기 때문에, 입력 이미지(302)가 제1 분류기에 의해 오분류될 가능성을 나타낸다. 예를 들어, 드물게 발생하는 물체는, 일반 인스턴스 분류기를 훈련시키는데 이용되는 훈련 데이터에서 드물게 발생하는 물체를 포함할 수 있다. 다른 예에서, 드물게 발생하는 물체는, 흔하게 발생하는 물체와는 상이한 외관을 가져, 다른 흔하게 발생하는 정지 표지판에 비해 작은 "STOP" 텍스트를 갖는 분류된 정지 표지판에 의해 오분류될 가능성이 높은 물체일 수 있다.
일부 구현들에서, 희귀 인스턴스 출력(304B)은 하나 이상의 제2 물체 점수를 추가로 포함한다. 일반 인스턴스 출력(304A)에 관하여 전술된 바와 같이, 각각의 제2 물체 점수는, 이미지가 대응하는 물체 범주에 속하는 물체의 이미지를 포함할 가능성을 나타낼 수 있다. 희귀 인스턴스 출력(304B)은, 일부 인스턴스에서, 각각이 상이한 물체 범주에 대응하는 복수의 물체 점수를 포함할 수 있다.
일반 및 희귀 인스턴스 출력들(304A 및 304B)은, 동일한 물체 범주에 대해 계산되는 물체 점수들을 포함할 수 있다. 예를 들어, 일반 및 희귀 인스턴스 출력들(304A 및 304B)은 "정지 표지판" 및 "보행자" 물체 범주에 대해 계산된 물체 점수를 포함할 수 있다. 이 예에서, 전술된 제1 및 제2 물체 점수는, 동일한 물체 범주에 대해 각각 일반 및 희귀 인스턴스 분류기(310 및 320)에 의해 계산된 점수를 나타낸다.
대안으로서, 일반 및 희귀 인스턴스 출력들(304A 및 304B)은, 상이한 물체 범주들에 대해 계산된 물체 점수들을 포함한다. 예를 들어, 일반 인스턴스 출력(304A)은 "정지 표지판" 물체 범주에 대해 계산된 물체 점수를 포함할 수 있는 반면, 희귀 인스턴스 출력(304B)은 "녹색 정지 표지판" 또는 "팔각 양보 표지판" 범주에 대해 계산된 물체 점수를 포함할 수 있다.
시스템은 희귀성 점수로부터 하나 이상의 각각의 제1 물체 점수에 할당될 가중치를 결정한다(240). 예를 들어, 시스템은 희귀성 점수를 이용하여 일반 인스턴스 출력(304A) 및 희귀 인스턴스 출력(304B) 내에 포함된 물체 점수에 할당될 가중치를 결정한다.
일부 구현들에서, 시스템은, 희귀성 점수를 미리결정된 임계값과 비교하고 희귀성 점수가 미리결정된 임계값을 충족한다는 결정에 응답하여, 시스템은 입력 이미지(302)가 일반 인스턴스 분류기에 의해 오분류되었을 가능성이 높다고, 예를 들어 드물게 발생하는 물체의 이미지라고 결정한다. 이러한 구현들에서, 시스템은, 입력 이미지(302) 내의 물체가 오분류되었을 가능성이 높다는 결정에 기초하여 일반 인스턴스 출력(310) 내의 물체 점수를 조정한다. 예를 들어, 일반 인스턴스 분류기(310)에 의해 계산된 물체 점수가 감소될 수 있다. 일부 구현들에서, 시스템은, 희귀성 점수를 이용하여 일반 인스턴스 출력(304A) 및 희귀 인스턴스 출력(304B) 내에 포함된 물체 점수들 중 하나를 선택하여 입력 이미지(302)에 대해 계산된 전체 물체 점수로서 나타낸다. 예를 들어, 희귀성 점수가 미리결정된 임계값을 충족시키지 못하면, 시스템은 전체 물체 점수로서, 일반 인스턴스 출력(304A) 내에 포함된 물체 점수를 선택한다, 즉, 일반 인스턴스 출력(304A) 내의 물체 점수를 수정하지 않는다. 대안으로서, 희귀성 점수가 미리결정된 임계값을 충족시킨다면, 시스템은 전체 물체 점수로서, 희귀 인스턴스 출력(304B) 내에 포함된 물체 점수를 대신에 선택한다, 즉, 일반 인스턴스 출력(304A) 내의 물체 점수를 이용하지 않는다.
일부 다른 구현들에서, 물체 점수들 중 하나를 선택하는 것 대신에, 시스템은 대신에 각각의 물체 점수를 결합하여 새로운 전체 물체 점수를 계산할 수 있다. 예를 들어, 희귀성 점수가 미리결정된 임계값을 충족시킨다는 결정에 응답하여, 시스템은 각각의 물체 점수의 평균값을 계산할 수 있다. 일부 다른 예들에서, 시스템은 희귀성 점수 값과 미리결정된 임계값 사이의 차이에 기초하여 가중 평균을 계산할 수 있다.
대안으로서, 시스템은 대응하는 값들의 범위 내에 속하는 희귀성 점수의 값에 기초하여 미리결정된 양만큼 물체 점수의 값을 조정할 수 있다. 값들의 범위는, 희귀성 점수에 대한 하한값과 상한값에 기초하여 검출된 물체의 희귀성을 나타내는 "높은(HIGH)", "중간(MEDIUM)" 및 "낮은(LOW)" 범위들을 포함할 수 있다. 예를 들어, "높은" 범위 내에 속하는 제1 희귀성 점수를 가진 제1 검출된 물체에 대한 제1 물체 점수는, "낮은" 범위 내에 속하는 희귀성 점수를 가진 검출된 물체에 대한 제2 물체 점수보다 큰 정도로 조정될 수 있다. 이 예에서, 제1 검출된 물체는 드물게 발생하는 물체로 식별되는 반면, 제2 검출된 물체는 흔하게 발생하는 물체로 식별되기 때문에, 제1 물체 점수는 제2 물체 점수보다 큰 정도로 조정된다.
시스템은 결정된 가중치에 따라 입력 이미지를 분류한다(250). 시스템은, 결정된 가중치를 이용하여 계산된 물체 점수에 기초하여 입력 이미지(302)의 검출된 물체를 하나 이상의 물체 범주에 대응하는 것으로 분류한다. 예를 들어, 시스템은, 흔하게 발생하는 물체로서 식별되는 물체를 한 물체 범주에 속하는 것으로 분류하지만 드물게 발생하는 물체로서 식별되는 물체의 분류를 방지한다. 이 예에서, 물체에 대한 희귀성 점수를 이용하여 결정된 물체 점수의 값은, 임계값을 충족하는 물체 점수를 갖는 물체(예를 들어, 흔하게 발생하는 물체)를 분류하고 임계값을 충족하지 않는 물체 점수를 갖는 다른 물체(예를 들어, 드물게 발생하는 물체)의 분류를 방지하는데 이용된다. 다른 예에서, 물체의 분류를 방지하는 것 대신에, 시스템은, 희귀 인스턴스 분류기를 이용하여 분류를 수행하거나 다른 물체 범주들과 연관되지 않는 기타 범주로서 물체를 분류할 수 있다. 이와 관련하여, 시스템은 동작(200)을 이용하여 드물게 발생하는 물체로서 식별되는 물체의 반복되는 부정확한 분류의 가능성을 감소시킨다.
이제 도 3a를 참조하면, 일반 인스턴스 분류기(310) 및 희귀 인스턴스 분류기(320)를 포함하는 아키텍처(300A)의 한 예의 개략도가 도시되어 있다. 간략하게 말하면, 일반 인스턴스 분류기(310)는 검출된 물체(302A)를 포함하는 입력 이미지(302)를 수신한다. 일반 인스턴스 분류기(310)는 입력 이미지(302)를 처리하여 물체 점수(305)를 포함하는 일반 인스턴스 출력(304A)을 생성한다. 희귀 인스턴스 분류기(312)는 일반 인스턴스 분류기(310)와 병렬로 입력 이미지(302)를 수신 및 처리하여 물체 점수(306) 및 희귀성 점수(308)를 포함하는 희귀 인스턴스 신경 출력(304B)을 생성한다.
일반 인스턴스 분류기(310) 및 희귀 인스턴스 분류기(320)는, 일반적으로, 전술되고 도 1에 도시된 바와 같이 온보드 분류기 서브시스템(134) 내에 구현되는 소프트웨어 모듈을 나타낼 수 있다. 일반 인스턴스 및 희귀 인스턴스 분류기들(310 및 320)은, 온보드 분류기 서브시스템(134)의 단일 하드웨어 모듈에서 논리적으로 분리되거나, 또는 대안으로서, 온보드 분류기 서브시스템(134)의 별개의 하드웨어 모듈들에서 구현될 수 있다. 입력 이미지(302)는 센서 서브시스템(132)에 의해 수집될 수 있다. 일부 구현들에서, 입력 이미지(302)는, 입력 이미지(102)가 일반 및 희귀 인스턴스 분류기들(310 및 320)에 대한 입력으로서 제공되기 전에, 물체의 존재를 검출하는 물체 검출 분류기에 대한 입력으로서 초기에 제공된다.
일부 구현들에서, 일반 인스턴스 및 희귀 인스턴스 분류기들(310 및 320)은, 입력 이미지(302)를 처리하고 입력 이미지를 하나 이상의 물체 범주에 속하는 물체를 갖는 것으로서 분류하기 위해 적절한 계층 아키텍처를 포함하는 신경망일 수 있다. 예를 들어, 일반 및 희귀 인스턴스 분류기들(310 및 320)은, 입력 이미지(302)가 물체 점수와 연관된 물체 범주에 속하는 물체를 포함할 가능성을 각각 나타내는 물체 점수들을 계산하도록 훈련된 콘볼루션 신경망일 수 있다.
일부 구현들에서, 희귀 인스턴스 신경망은 일반 인스턴스 신경망보다 적은 수의 파라미터를 가질 수 있다. 예를 들어, 일반 인스턴스 신경망은 복수의 물체 범주에 대응하는 입력 이미지(302)에 대한 복수의 물체 점수를 계산하도록 훈련될 수 있는 반면, 희귀 인스턴스 신경망은 입력 이미지(302)에 대한 단일 희귀성 점수를 계산하도록만 훈련될 수 있다. 또 다른 예에서, 희귀 인스턴스 신경망의 계층들은, 일반 인스턴스 신경망의 계층들에 비해 더 적은 깊이 및 계산을 가질 수 있다, 예를 들어 50% 더 적은 깊이, 및 75% 더 적은 계산. 또한, 일부 구현들에서, 희귀 인스턴스 신경망은, 일반 인스턴스 신경망에 포함될 수 있는 평균 풀링(average pooling) 및 완전히 접속된 계층들을 배제할 수 있다.
입력 이미지(302)는, 차량 경로를 따라 범프가 근처에 있음을 운전자에게 알려주는 교통-관련 표지판에 대응하는 검출된 물체(302A)의 표현을 포함한다. 입력 이미지(302)는, 이미지 분류 기술을 이용하여 물체 범주 "정지 표지판(STOP SIGN)"에 대한 물체 점수(305)를 계산하는, 일반 인스턴스 분류기(310)에 대한 입력으로서 제공된다. 이 예에서, 물체 점수(305)는 입력 이미지(302) 내의 검출된 물체(302A)가 정지 표지판을 나타낸다는, 일반 인스턴스 분류기(310)에 의해 결정된 가능성을 나타낸다.
입력 이미지(302)는, 검출된 물체(302A)에 대한 희귀성 점수(308)를 계산하기 위해 이미지 분류 기술을 이용하는 희귀 인스턴스 분류기(312)에 대한 입력으로서 추가로 제공된다. 희귀성 점수(308)는, 입력 이미지(302) 내에서 검출된 물체가 위치-특유의 교통 표지판, 고유한 물체, 또는 어떤 다른 유형의 물체의 왜곡된 표현 등의, 드물게 발생하는 물체라고, 희귀 인스턴스 분류기(310)에 의해 결정된 가능성을 나타낸다.
도시된 예에서, 희귀 인스턴스 분류기(312)는, 물체 범주 "정지 표지판"에 대한 물체 점수(306)를 또한 계산한다. 물체 점수(306)는, 입력 이미지(302) 내의 검출된 물체(302A)가 정지 표지판을 나타낸다고, 희귀 인스턴스 분류기(320)에 의해 결정된 가능성을 나타낸다. 이 예는 동일한 물체 범주(예를 들어, "정지 표지판")에 대한 각각의 물체 점수를 계산하는 희귀 및 일반 분류기(310 및 320)를 도시하지만, 다른 구현에서, 각각의 분류기는 상이한 물체 범주들 또는 물체 범주들의 그룹에 대한 물체 점수들을 계산할 수 있다. 이러한 구현들에서, 희귀 인스턴스 분류기(320)는, 검출된 물체가 드물게 발생하는 물체와만 흔하게 연관되는 물체 범주에 속하는지를 결정하는 2차 분류기로서 이용될 수 있다.
도 3a에 도시된 예에 도시된 바와 같이, 일반 인스턴스 분류기(310)는 "0.63"의 값을 갖는 물체 점수를 계산하고, 희귀 인스턴스 분류기(310)는 각각 "0.23" 및 "0.85" 값을 갖는 물체 점수 및 희귀성 점수를 계산한다. 이 예에서, 물체 점수(305)의 값은, 검출된 물체(302A)가 정지 표지판을 나타낼 가능성이 높다고 일반 인스턴스 분류기(310)가 결정한다는 것을 나타낸다. 그러나, 물체 점수(306)의 값은, 검출된 물체(302A)가 정지 표지판을 나타낼 가능성이 낮음을 희귀 인스턴스 분류기(320)가 결정한다는 것을 나타낸다. 희귀성 점수(308)가 높기 때문에, 이미지 분류 절차 동안 물체 점수(306)에는 더 적은 가중치가 주어져, 입력 이미지(302)가 "정지 표지판" 범주에 속하는 물체를 포함하는 이미지로서 분류될 가능성을 감소시킨다. 시스템은, 일반 인스턴스 및 희귀 인스턴스 출력들(304A 및 304B)의 내용에 기초하여 검출된 물체(302A)를 분류한다. 도시된 예에서, 물체 점수(305)는 검출된 물체(305)가 정지 표지판일 가능성이 높음을 식별케 하지만, 그럼에도 불구하고, 시스템은 검출된 물체(302A)를 정지 표지판으로서 분류하지 않는데, 그 이유는, 희귀 인스턴스 출력(304B)이, 검출된 물체(302A)가 정지 표지판을 나타낼 가능성이 낮은 드물게 발생하는 물체임을 나타내기 때문이다. 이 예에서, 따라서 희귀 인스턴스 출력(304B)은 일반 인스턴스 출력(304A)의 내용에 기초하여 검출된 물체(302A)가 정지 표지판으로서 부정확하게 분류되는 것을 방지하는데 이용된다. 따라서, 희귀 인스턴스 출력(304B)은 흔하게 발생하는 물체와 연관된 이미지 분류 기술을 이용하는 것에만 기초하여 긍정 오류 분류를 감소시키는데 이용될 수 있다. 추가로, 또는 대안으로서, 희귀 인스턴스 출력(304B)은, 드물게 발생하는 물체를 기타 물체 범주에 속하는 것으로서 분류함으로써 부정 오류(false negative) 분류를 감소시키는데 이용될 수 있다.
일부 구현들에서, 희귀 인스턴스 분류기(320)는, 도 3a에 도시되고 전술된 바와 같이 일반 인스턴스 분류기(310)와 병렬로 동작하는 것과 달리 소정의 환경에서 선택적으로 활성화된다. 예를 들어, 희귀 인스턴스 분류기(320)는, 물체 점수(305)가 임계값을 충족시키지 못하여, 검출된 물체(302A)가 드물게 발생하는 물체일 수 있음을 나타낸다면, 활성화될 수 있다. 이 예에서, 희귀 인스턴스 분류기(320)는, 일반 인스턴스 분류기(310)의 분류 결과를 검증 및/또는 지원하는 2차 이미지 분류 컴포넌트이다. 또 다른 예에서, 입력 이미지(302)는 초기에, 물체가 입력 이미지(302) 내에 존재하는지를 결정하는 물체 검출 분류기에 제공될 수 있다. 이 예에서, 희귀 인스턴스 분류기(320)는, 물체 검출 분류기의 검출 결과에 기초하여 선택적으로 활성화될 수 있다. 예를 들어, 입력 이미지(302)가 검출된 물체를 포함할 가능성을 나타내는 물체 검출 점수가 미리결정된 임계값을 충족시키지 못한다면, 희귀 인스턴스 분류기(320)는 입력 이미지(302)가 드물게 발생하는 물체를 포함하는지를 결정하기 위해 선택적으로 활성화될 수 있다.
일부 구현에서, 희귀 인스턴스 분류기(320)는, 입력 이미지(302)가 일반 인스턴스 분류기(310)에 의해 부정확하게 분류될 각각의 가능성을 나타내는 하나 이상의 추가 희귀성 점수를 계산할 수 있다. 하나 이상의 추가 희귀성 점수는, 입력 이미지(302)가 드물게 발생하는 물체를 포함하지 않지만 일반 인스턴스 분류기(310)에 의해 오분류될 가능성을 반영하는 점수를 포함할 수 있다. 예를 들어, 입력 이미지(302)가 물체 검출에 이용되는 물체의 속성을 왜곡하는 이미지 왜곡을 포함한다면, 점수는 오분류의 가능성이 높음을 반영할 수 있다. 또 다른 예에서, 입력 이미지(302)가 실제로 물체를 포함하지 않지만 물체와 연관된 속성을 포함한다면, 점수는 오분류의 가능성이 높음을 반영할 수 있다.
도 3b 및 도 3c는 가중 계산 기술을 이용하여 입력 이미지를 분류하는 아키텍처의 예들의 개략도이다. 이들 예에서, 일반 인스턴스 및 희귀 인스턴스 분류기들(310 및 320) 각각은 입력 이미지에 대한 물체 점수를 계산한다. 각각의 물체 점수는, 입력 이미지가 "정지 표지판" 물체 범주에 속하는 물체를 포함할 가능성을 나타낸다.
도시된 바와 같이, 시스템은, 가중 기술을 이용하여, 검출된 물체에 대해 계산된 희귀성 점수의 값에 기초하여 입력 이미지에 대한 전체 물체 점수를 결정한다. 시스템은, 희귀성 점수의 값을 이용하여, 각각의 물체 점수에 적용할 각각의 가중치를 결정한 다음, 가중치 물체 점수들을 결합하여 시스템이 입력 이미지를 분류하는데 이용하는 최종 물체 점수를 계산한다.
도 3b에 도시된 예를 먼저 참조하면, 시스템은, 희귀 인스턴스 분류기(320)에 의해 계산된 희귀성 점수(316B)가 "0.75"의 미리결정된 희귀성 임계값을 초과한다는 결정에 기초하여 입력 이미지(302B)가 드물게 발생하는 물체를 포함할 가능성이 높다고 결정한다. 이 예에서, 시스템은 입력 이미지(302B)가 "정지 표지판" 물체 범주에 속하는 물체를 포함하는 이미지로서 분류되어야 한다는 가능성을 더 정확하게 반영하는 최종 물체 점수를 계산하기 위하여 일반 인스턴스 출력(316A) 내의 제1 물체 점수를 하향 가중하고 희귀 인스턴스 출력(316B) 내의 제2 물체 점수를 상향 가중한다.
도 3c에 도시된 예를 이제 참조하면, 시스템은, 희귀 인스턴스 분류기(320)에 의해 계산된 희귀성 점수(326B)가 "0.75"의 미리결정된 희귀성 임계값을 초과하지 않는다는 결정에 기초하여 입력 이미지(302C)가 드물게 발생하는 물체를 포함할 가능성이 낮음을 결정한다. 이 예에서, 시스템은 일반 인스턴스 출력(326a) 내의 제1 물체 점수를 상향 가중하고 희귀 인스턴스 출력(326B) 내의 제2 물체 점수를 하향 가중한다. 따라서, 도 3b에 도시된 예와는 대조적으로, 시스템은 입력 이미지(302B)가 "정지 표지판" 물체 범주에 속하는 물체를 포함하는 이미지로서 분류되어야 할 가능성이 높음을 나타내는 최종 물체 점수를 계산한다.
도시된 예는 시스템이 적용하는 한 유형의 가중 분류 기술의 예를 제공하지만, 일부 구현에서, 시스템은 추가의 또는 대안적인 가중 기술을 이용할 수 있다. 예를 들어, 일부 구현들에서, 각각의 물체 점수와 연관된 각각의 가중치를 결정하는 것 대신에, 시스템은 희귀성 점수의 값에 기초하여 하나 이상의 물체 점수의 값을 감소시키거나 증가시킬 수 있다. 예를 들어, 희귀 인스턴스 분류기가 희귀성 점수만을 계산하는 소정의 인스턴스에서, 명시된 임계값에 관한 희귀성 점수의 값이 이용되어 일반 인스턴스 분류기에 의해 계산된 물체 점수를 증가시키거나 감소시킬 수 있다. 또 다른 예에서, 시스템은 각각의 물체 점수에 대해 각각의 가중치를 적용하는 것 대신에, 희귀성 점수의 값에 기초하여 하나 이상의 물체 점수의 값을 미리결정된 값만큼 조정할 수 있다. 이러한 예에서, 희귀성 점수의 값이 낮다면, 시스템은 일반 인스턴스 분류기(310)에 의해 계산된 물체 점수의 값을 증가시키거나, 희귀성 점수의 값이 높다면 희귀 인스턴스 분류기에 의해 계산된 물체 점수의 값을 증가시키거나, 양쪽 모두의 조합을 수행(예를 들어, 희귀성 점수의 값에 기초하여 각각의 물체 점수를 동시에 증가 및/또는 감소)할 수 있다.
도 4는 일반 인스턴스 분류기(310) 및 희귀 인스턴스 분류기(320)의 출력들을 처리하는 결합 분류기(330)를 포함하는 아키텍처(400)의 한 예의 개략도이다. 이 예에서, 일반 인스턴스 분류기(310) 및 희귀 인스턴스 분류기(320)는 도 3a와 관련하여 전술된 바와 유사한 방식으로 입력 이미지(402)를 수신하고 처리한다. 그러나, 도 3a에 도시된 아키텍처(300A)와는 대조적으로, 일반 인스턴스 출력(304A) 및 희귀 인스턴스 출력(304B)은 결합 분류기(330)에 대한 입력으로서 제공된다.
결합 분류기(330)는, 일반 및 희귀 인스턴스 출력(304A 및 304B) 내에 포함된 물체 점수에 대응하는 하나 이상의 물체 범주와 연관된 전문화된 이미지 분류 능력을 갖는 고정밀 분류기일 수 있다. 예를 들어, 결합 분류기(330)가 단일 물체 범주와 연관된다면, 결합 분류기는 입력 이미지(402)를 물체 범주에 속하는 물체를 포함하는 이미지로서 또는 속하는 물체 범주에 속하는 물체를 포함하지 않는 이미지로서 분류한다. 대안으로서, 결합 분류기(330)가 복수의 물체 범주와 연관된다면, 결합 분류기(330)는 복수의 물체 범주 각각에 관해 입력 이미지(402)를 분류한다.
결합 분류기(330)는 또한, 도 3a 내지 도 3c와 관련하여 전술된 바와 같이 물체 점수 조정을 수행할 수 있다.
일부 구현들에서, 결합 분류기(330)는 특정한 물체 범주에 속하지 않는 드물게 발생하는 물체로서 식별되는 물체와, 실제로 특정한 물체 범주에 속하는 드물게 발생하는 물체로서 식별되는 물체 사이에서 구별할 수 있다. 예를 들어, 결합 분류기(330)는 교통 표지판이 아닌 희귀 교통 표지판(예를 들어, 도 3a에 도시된 검출된 물체(302A))와 교통 표지판의 왜곡된 이미지 내의 물체(예를 들어, 교통 표지판의 왜곡된 물체) 사이에서 구별하도록 훈련될 수 있다. 이 예에서, 결합 분류기(330)는, 희귀 인스턴스 분류기(320)에 의해 드물게 발생하는 물체인 것으로 식별된 물체가 실제로는 특정한 물체 범주에 속하지 않아야 하는 물체임을 검증함으로써 시스템의 이미지 분류 성능을 향상시키는데 이용될 수 있다.
단일 결합 분류기(330)가 도 4에 도시되어 있지만, 아키텍처(400)는 하나 이상의 상이한 물체 범주와 각각 연관된 복수의 결합 분류기의 이용을 가능케한다. 일반 및 희귀 인스턴스 분류기들(310 및 320)이 다중-물체 분류를 수행하는 구현에서, 일반 및 희귀 인스턴스 출력들(304A 및 304B) 각각은 단일 물체 범주에 관해 세그먼트화될 수 있다. 그 다음, 세그먼트화된 출력들은, 대응하는 물체 범주들과 연관된 각각의 결합 분류기에 대한 입력으로서 제공된다. 예를 들어, 일반 및 희귀 인스턴스 출력들(304A 및 304B)이 "정지 표지판" 및 "차량(VEHICLE)" 물체 범주에 대한 물체 점수를 포함한다면, "정지 표지판" 물체 범주에 대한 물체 점수와 연관된 출력들(304A 및 304B)의 부분들은 제1 결합 분류기에 대한 입력으로서 제공되고, "차량" 물체 범주에 대한 물체 점수와 연관된 출력들(304A 및 304B)의 부분들은 제2 결합 분류기에 대한 입력으로서 제공된다. 이 예에서, 복수의 결합 분류기의 이용은 특정한 물체 범주에 관한 이미지 분류의 정확도를 향상시키는데 이용될 수 있다.
또한, 일반 인스턴스, 희귀 인스턴스, 및 결합 분류기들에 의해 수행되는 기능은 차량에 물리적으로 배치된 온보드 시스템을 실행하는 차량의 정황에서 설명되며, 분류기들은, 다른 목적을 위한 다른 종류의 이미지들을 분류하는 하나 이상의 컴퓨터로 된 다른 시스템들의 일부로서 추가로 이용될 수 있다. 예를 들어, 전체에 걸쳐 설명된 기술들은, 속성 외부의 보안 장면을 캡처하는 카메라에 의해 캡처된 이미지의 분류를 향상시키기 위한 기술을 이용하여 속성의 상태를 모니터링하는데 적용될 수 있다.
설명된 피처들은, 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 장치는, 프로그램가능한 프로세서에 의해 실행되기 위한, 정보 캐리어, 예를 들어, 머신 판독가능한 저장 디바이스에 유형적으로 구현된 컴퓨터 프로그램 제품으로 구현될 수 있고; 방법 단계들은, 입력 데이터에 관해 동작하여 출력을 생성함으로써 설명된 구현들의 기능을 수행하는 명령어들의 프로그램을 실행하는 프로그램가능한 프로세서에 의해 수행될 수 있다. 설명된 피처들은 유익하게도, 데이터 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스와 데이터 및 명령어를 전송 및 수신하도록 결합된 적어도 하나의 프로그램가능한 프로세서를 포함하는 프로그램가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램에서 구현될 수 있다. 컴퓨터 프로그램은, 컴퓨터에서 직접 또는 간접으로 이용되어 소정의 활동을 수행하거나 소정의 결과를 야기할 수 있는 한 세트의 명령어들이다. 컴퓨터 프로그램은, 컴파일형 또는 인터프리터형 언어를 포함한 임의 형태의 프로그래밍 언어로 작성될 수 있고, 단독형 프로그램이나 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서 이용하기에 적합한 기타의 유닛을 포함한 임의 형태로 배치될 수 있다.
명령어들로 된 프로그램을 실행하기에 적합한 프로세서로는, 예로서, 범용 및 특수 목적 마이크로프로세서, 임의 종류의 컴퓨터의 복수의 프로세서 중 하나 또는 단일 프로세서가 포함된다. 일반적으로, 프로세서는 판독 전용 메모리나 랜덤 액세스 메모리 또는 양쪽 모두로부터 명령어와 데이터를 수신할 것이다. 컴퓨터의 본질적 요소는, 명령어를 실행하기 위한 프로세서와, 명령어 및 데이터를 저장하기 위한 하나 이상의 메모리이다. 일반적으로, 컴퓨터는 또한, 데이터 파일을 저장하기 위한 하나 이상의 대용량 저장 디바이스를 포함하거나 이와 동작적으로 결합되어 통신할 것이다; 이러한 디바이스들로는, 내부 하드 디스크 및 이동식 디스크 등의, 자기 디스크; 광자기 디스크; 및 광 디스크가 포함된다. 컴퓨터 프로그램 명령어 또는 데이터를 유형적으로 구현(tangibly embodying)하기에 적합한 저장 디바이스로는, 예로서, EPROM, EEPROM, 및 플래시 메모리 디바이스 등의, 반도체 메모리 디바이스; 내부 하드 디스크 및 이동식 디스크 등의 자기 디스크; 광자기 디스크; 및 CD-ROM 및 DVD-ROM 디스크를 포함한, 모든 형태의 비휘발성 메모리가 포함된다.
프로세서와 메모리는 ASIC(application-specific integrated circuits)에 의해 보충되거나 ASIC에 병합될 수 있다.
사용자와의 상호작용을 제공하기 위해, 이 피처들은, 사용자에게 정보를 디스플레이하기 위한 CRT(음극선 관) 또는 LCD(액정 디스플레이) 모니터 등의 디스플레이 디바이스, 사용자가 컴퓨터에 입력을 제공하기 위해 이용할 수 있는 키보드, 및 마우스 또는 트랙볼 등의 포인팅 디바이스를 갖는 컴퓨터에서 구현될 수 있다. 추가로, 이러한 활동들은 터치 스크린 평판 디스플레이 및 기타의 적절한 메커니즘을 통해 구현될 수 있다.
이 피처들은, 데이터 서버 등의 백엔드 컴포넌트를 포함하거나, 애플리케이션 서버 또는 인터넷 서버 등의 미들웨어 컴포넌트를 포함하거나, 그래픽 사용자 인터페이스 또는 인터넷 브라우저를 갖는 클라이언트 컴퓨터 등의 프론트엔드 컴포넌트를 포함하거나, 이들의 임의의 조합을 포함하는 컴퓨터 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은, 통신 네트워크 등의 임의 형태 또는 매체의 디지털 데이터 통신에 의해 접속될 수 있다. 통신 네트워크의 예로서는, 근거리 통신망( "LAN"), 광역 통신망("WAN"), (애드-혹 또는 정적 멤버들을 갖는) 피어 투 피어 네트워크, 그리드 컴퓨팅 인프라스트럭처, 및 인터넷이 포함된다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로는 서로 멀리 떨어져 있고, 전형적으로, 설명된 것 등의 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는, 각각의 컴퓨터 상에서 실행중이며 서로에 관해 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들 때문에 발생한다.
본 명세서가 많은 특정한 구현 상세사항들을 포함하지만, 이들은 임의의 발명 또는 청구항들의 범위에 관한 제한으로서 해석되어서는 안 되고, 본 발명의 특정한 구현들 특유의 피처들의 설명으로서 해석되어야 한다. 별개의 구현들의 정황에서 본 명세서에서 설명된 소정의 피처들은 또한, 조합하여 단일의 구현으로 구현될 수 있다. 역으로, 단일 구현의 정황에서 설명된 다양한 피처들은 또한, 복수의 구현들에서 별개로 구현되거나 임의의 적절한 서브조합(subcombination)으로 구현될 수 있다. 게다가, 피처들이 소정의 조합으로 작용하는 것으로 전술되거나 심지어 이러한 것으로서 처음 청구되더라도, 청구된 조합으로부터의 하나 이상의 피처는 일부 경우에는 그 조합으로부터 삭제될 수 있고, 청구된 조합은 서브조합이나 서브조합의 변형에 관한 것일 수도 있다.
유사하게, 동작들이 도면에서 특정 순서로 도시되더라도, 이것은, 바람직한 결과를 달성하기 위해 이러한 동작들이 도시된 특정 순서로 또는 순차적 순서로 수행될 것을 요구하거나, 도시된 모든 동작들이 수행될 것을 요구하는 것으로 이해되어서는 안 된다. 소정 상황에서는, 멀티태스킹 및 병렬 처리가 유익할 수도 있다. 게다가, 전술된 실시예들에서의 다양한 시스템 모듈들 및 컴포넌트들의 분리는, 모든 실시예에서 이러한 분리를 요구하는 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 전체적으로 하나의 소프트웨어 제품으로 함께 통합되거나 복수의 소프트웨어 제품으로 팩키징될 수 있는 것으로 이해하여야 한다.
본 주제의 특정한 실시예들이 설명되었다. 다른 실시예들은 이하의 청구항들의 범위 내에 있다. 예를 들어, 청구항에서 인용되는 동작들은 상이한 순서로 수행되어 여전히 바람직한 결과를 달성할 수 있다. 한 예로서, 첨부된 도면에 도시된 프로세스들은, 바람직한 결과를 달성하기 위해, 도시된 특정한 순서 또는 순차적 순서를 반드시 요구할 필요는 없다. 소정의 경우, 멀티태스킹 및 병렬 처리가 유익할 수도 있다.

Claims (14)

  1. 방법으로서,
    입력 이미지를 수신하는 단계;
    일반 인스턴스 신경망(common instance neural network)을 이용하여 상기 입력 이미지를 처리하는 단계 - 상기 일반 인스턴스 신경망은 상기 입력 이미지를 처리하여 하나 이상의 제1 물체 범주 각각에 대응하는 각각의 제1 물체 점수를 포함하는 일반 인스턴스 출력을 생성하도록 구성되고, 각각의 제1 물체 점수는 상기 입력 이미지가 대응하는 제1 물체 범주에 속하는 물체의 이미지를 포함할 가능성을 나타냄 -;
    희귀 인스턴스 신경망(rare instance neural network)을 이용하여 상기 입력 이미지를 처리하는 단계 - 상기 희귀 인스턴스 신경망은 상기 입력 이미지를 처리하여 상기 입력 이미지가 상기 일반 인스턴스 신경망에 의해 부정확하게 분류될 가능성을 나타내는 희귀성 점수를 포함하는 희귀 인스턴스 출력을 생성하도록 구성됨 -;
    상기 희귀성 점수를 이용하여 상기 입력 이미지를 분류하는데 있어서 하나 이상의 각각의 제1 물체 점수에 할당될 가중치를 결정하는 단계; 및
    상기 결정된 가중치에 따라 상기 입력 이미지를 분류하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 희귀 인스턴스 신경망은 상기 일반 인스턴스 신경망보다 적은 수의 파라미터들을 갖는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 희귀 인스턴스 신경망은 상기 일반 인스턴스 신경망에 의해 오분류된 훈련 이미지들에 대해 훈련되는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 희귀 인스턴스 신경망은 상기 일반 인스턴스 신경망을 훈련시키는데 이용되는 이미지들에서 드물게 발생하는 물체 유형들의 이미지들에 대해 훈련되는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 희귀 인스턴스 출력은 하나 이상의 제2 물체 범주 각각에 대응하는 각각의 제2 물체 점수를 더 포함하고, 각각의 제2 물체 점수는 상기 입력 이미지가 대응하는 제2 물체 범주에 속하는 물체의 이미지를 포함할 가능성을 나타내며;
    상기 방법은 상기 희귀성 점수를 이용하여 상기 입력 이미지를 분류하는데 있어서 상기 하나 이상의 제2 물체 점수를 할당하기 위한 가중치를 결정하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서, 상기 제2 물체 범주들은 상기 제1 물체 범주들 중 하나 이상을 포함하는 방법.
  7. 제5항 또는 제6항에 있어서, 상기 하나 이상의 제2 물체 점수를 할당하기 위한 가중치를 결정하는 단계는 상기 희귀성 점수를 상기 제2 물체 점수들에 대한 가중치로서 이용하는 단계를 포함하는 방법.
  8. 제5항 또는 제6항에 있어서, 상기 하나 이상의 제2 물체 점수 및 상기 하나 이상의 제1 물체 점수를 할당하기 위한 가중치를 결정하는 단계는:
    상기 희귀성 점수가 미리결정된 임계값을 충족시키지 않는다고 결정하는 단계, 및
    이에 응답하여, 상기 입력 이미지를 분류하는데 있어서 하나 이상의 각각의 제2 물체 점수에 할당된 가중치를 감소시키는 단계
    를 포함하는 방법.
  9. 제5항 또는 제6항에 있어서, 상기 하나 이상의 제2 물체 점수 및 상기 하나 이상의 제1 물체 점수를 할당하기 위한 가중치를 결정하는 단계는:
    상기 희귀성 점수가 미리결정된 임계값을 충족시킨다고 결정하는 단계, 및
    상기 희귀성 점수가 미리결정된 임계값을 충족시킨다고 결정하는 단계에 응답하여, 상기 입력 이미지를 분류하는데 있어서 하나 이상의 각각의 제1 물체 점수에 할당된 가중치를 감소시키는 단계
    를 포함하는 방법.
  10. 제9항에 있어서, 상기 하나 이상의 각각의 제1 물체 점수에 할당된 가중치를 감소시키는 단계는 상기 입력 이미지를 분류하는데 있어서 상기 제1 물체 점수들이 이용되지 않음을 나타내는 값에 가중치를 할당하는 단계를 포함하는 방법.
  11. 제5항 내지 제10항 중 어느 한 항에 있어서, 상기 입력 이미지를 분류하는 단계는:
    결합 신경망을 이용하여 상기 일반 인스턴스 출력 및 상기 희귀 인스턴스 출력을 처리하는 단계 - 상기 결합 신경망은 상기 하나 이상의 제1 물체 범주 각각에 대응하는 각각의 제3 물체 점수를 계산하도록 구성되고, 각각의 제3 물체 점수는 상기 하나 이상의 각각의 제1 물체 점수에 할당된 상기 결정된 가중치들 및 상기 하나 이상의 각각의 제2 물체 점수에 할당된 상기 결정된 가중치들에 기초하여 계산됨 -; 및
    상기 제3 물체 점수들의 각각의 값들에 기초하여 상기 입력 이미지를 분류하는 단계
    를 포함하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 하나 이상의 각각의 제1 물체 점수를 할당하기 위한 가중치를 결정하는 단계는:
    상기 희귀성 점수가 미리결정된 임계값을 충족시킨다고 결정하는 단계; 및
    희귀성 점수가 미리결정된 임계값을 충족시킨다고 결정하는 단계에 응답하여, 상기 입력 이미지를 분류하는데 있어서 상기 하나 이상의 각각의 제1 물체 점수에 할당된 가중치를 감소시키는 단계
    를 포함하는 방법.
  13. 시스템으로서,
    하나 이상의 컴퓨터; 및
    상기 하나 이상의 컴퓨터에 의해 실행될 때, 상기 하나 이상의 컴퓨터로 하여금 제1항 내지 제12항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 명령어들을 저장한 하나 이상의 저장 디바이스
    를 포함하는 시스템.
  14. 컴퓨터 프로그램 명령어들로 인코딩된 하나 이상의 컴퓨터-판독가능한 저장 매체로서, 상기 컴퓨터 프로그램 명령어들은 하나 이상의 컴퓨터에 의해 실행될 때, 상기 하나 이상의 컴퓨터로 하여금 제1항 내지 제12항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 하나 이상의 컴퓨터-판독가능한 저장 매체.
KR1020207002036A 2017-06-22 2018-06-19 희귀 인스턴스 분류기들 KR102371317B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/630,275 2017-06-22
US15/630,275 US10346724B2 (en) 2017-06-22 2017-06-22 Rare instance classifiers
PCT/US2018/038318 WO2018236895A1 (en) 2017-06-22 2018-06-19 CLASSIFACTORS OF RARE BODIES

Publications (2)

Publication Number Publication Date
KR20200022001A true KR20200022001A (ko) 2020-03-02
KR102371317B1 KR102371317B1 (ko) 2022-03-07

Family

ID=62875320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207002036A KR102371317B1 (ko) 2017-06-22 2018-06-19 희귀 인스턴스 분류기들

Country Status (10)

Country Link
US (2) US10346724B2 (ko)
EP (1) EP3642762A1 (ko)
JP (1) JP7090105B2 (ko)
KR (1) KR102371317B1 (ko)
CN (1) CN110945534B (ko)
AU (1) AU2018288720B2 (ko)
CA (1) CA3068258C (ko)
IL (1) IL271568B2 (ko)
SG (1) SG11201912665RA (ko)
WO (1) WO2018236895A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346724B2 (en) 2017-06-22 2019-07-09 Waymo Llc Rare instance classifiers
US10373027B1 (en) * 2019-01-30 2019-08-06 StradVision, Inc. Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
JP7162550B2 (ja) * 2019-02-15 2022-10-28 オムロン株式会社 モデル生成装置、予測装置、モデル生成方法、及びモデル生成プログラム
CN110188613A (zh) * 2019-04-28 2019-08-30 上海鹰瞳医疗科技有限公司 图像分类方法及设备
US11507090B2 (en) * 2019-06-19 2022-11-22 Uber Technologies, Inc. Systems and methods for vehicle motion control with interactive object annotation
JP7231511B2 (ja) * 2019-07-29 2023-03-01 株式会社日立製作所 管理装置、管理方法、および管理プログラム
EP3786845A1 (en) * 2019-08-29 2021-03-03 Robert Bosch GmbH Difficulty-adaptive training for machine learning modules
JP7383939B2 (ja) * 2019-09-03 2023-11-21 東ソー株式会社 学習装置、学習方法、細胞判別装置、細胞判別方法、細胞判別学習プログラムおよび細胞判別プログラム
US11557151B2 (en) * 2019-10-24 2023-01-17 Deere & Company Object identification on a mobile work machine
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111114541B (zh) * 2019-12-31 2021-08-20 华为技术有限公司 车辆控制方法、装置、控制器和智能车
US11475304B2 (en) 2020-05-12 2022-10-18 International Business Machines Corporation Variational gradient flow
US10885387B1 (en) * 2020-08-04 2021-01-05 SUPERB Al CO., LTD. Methods for training auto-labeling device and performing auto-labeling by using hybrid classification and devices using the same
US10902291B1 (en) * 2020-08-04 2021-01-26 Superb Ai Co., Ltd. Methods for training auto labeling device and performing auto labeling related to segmentation while performing automatic verification by using uncertainty scores and devices using the same
JP2022045521A (ja) * 2020-09-09 2022-03-22 トヨタ自動車株式会社 情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ
EP4080239A1 (en) * 2021-04-20 2022-10-26 Robert Bosch GmbH Measuring the performance of radar, ultrasound or audio classifiers
CN113095445B (zh) * 2021-06-08 2021-10-19 中国铁塔股份有限公司湖北省分公司 一种目标识别方法及装置
US11698910B1 (en) * 2022-07-21 2023-07-11 Plusai, Inc. Methods and apparatus for natural language-based safety case discovery to train a machine learning model for a driving system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070004662A (ko) * 2004-01-30 2007-01-09 세다라 소프트웨어 코포레이션 영상 분석에 실제 외관 모델을 적용하기 위한 시스템 및방법
KR20070034966A (ko) * 2005-09-26 2007-03-29 캐논 가부시끼가이샤 정보 처리 장치 및 그 제어방법
KR20130091366A (ko) * 2011-12-30 2013-08-19 조성제 3차원 패턴 커널을 이용한 객체 검사 방법 및 시스템, 컴퓨터 판독 가능 기록매체 및 컴퓨터 장치
KR20170008747A (ko) * 2014-05-12 2017-01-24 퀄컴 인코포레이티드 공통 피처들에 대한 분류자의 업데이트

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0363775A (ja) * 1989-07-31 1991-03-19 Omron Corp ニューラルネットワークシステム
CN102449661A (zh) * 2009-06-01 2012-05-09 惠普发展公司，有限责任合伙企业 确定级联分类器的检测确定性
CN103716204B (zh) * 2013-12-20 2017-02-08 中国科学院信息工程研究所 一种基于维纳过程的异常入侵检测集成学习方法及装置
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
CN105938558B (zh) * 2015-03-06 2021-02-09 松下知识产权经营株式会社 学习方法
US9973593B2 (en) * 2015-06-30 2018-05-15 Amazon Technologies, Inc. Device gateway
US9805305B2 (en) 2015-08-07 2017-10-31 Yahoo Holdings, Inc. Boosted deep convolutional neural networks (CNNs)
KR102415503B1 (ko) 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
US10332028B2 (en) * 2015-08-25 2019-06-25 Qualcomm Incorporated Method for improving performance of a trained machine learning model
EP3430576A1 (en) * 2016-03-15 2019-01-23 IMRA Europe S.A.S. Method for classification of unique/rare cases by reinforcement learning in neural networks
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
US10185880B2 (en) * 2017-03-31 2019-01-22 Here Global B.V. Method and apparatus for augmenting a training data set
US10346724B2 (en) 2017-06-22 2019-07-09 Waymo Llc Rare instance classifiers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070004662A (ko) * 2004-01-30 2007-01-09 세다라 소프트웨어 코포레이션 영상 분석에 실제 외관 모델을 적용하기 위한 시스템 및방법
KR20070034966A (ko) * 2005-09-26 2007-03-29 캐논 가부시끼가이샤 정보 처리 장치 및 그 제어방법
KR20130091366A (ko) * 2011-12-30 2013-08-19 조성제 3차원 패턴 커널을 이용한 객체 검사 방법 및 시스템, 컴퓨터 판독 가능 기록매체 및 컴퓨터 장치
KR20170008747A (ko) * 2014-05-12 2017-01-24 퀄컴 인코포레이티드 공통 피처들에 대한 분류자의 업데이트

Also Published As

Publication number Publication date
CN110945534B (zh) 2024-03-19
CA3068258C (en) 2022-11-08
WO2018236895A1 (en) 2018-12-27
CA3068258A1 (en) 2018-12-27
AU2018288720B2 (en) 2021-02-25
US20180373963A1 (en) 2018-12-27
KR102371317B1 (ko) 2022-03-07
JP2020524854A (ja) 2020-08-20
AU2018288720A1 (en) 2020-01-23
CN110945534A (zh) 2020-03-31
JP7090105B2 (ja) 2022-06-23
US20190318207A1 (en) 2019-10-17
US11093799B2 (en) 2021-08-17
EP3642762A1 (en) 2020-04-29
US10346724B2 (en) 2019-07-09
SG11201912665RA (en) 2020-01-30
IL271568B2 (en) 2024-03-01
IL271568B1 (en) 2023-11-01
IL271568A (en) 2020-02-27

Similar Documents

Publication Publication Date Title
KR102371317B1 (ko) 희귀 인스턴스 분류기들
US11720799B2 (en) Object detection neural networks
US11928866B2 (en) Neural networks for object detection and characterization
US11531894B1 (en) Neural networks for object detection
US11783568B2 (en) Object classification using extra-regional context
US11327178B2 (en) Piece-wise network structure for long range environment perception
US8812226B2 (en) Multiobject fusion module for collision preparation system
CN115244421A (zh) 使用相机地图和/或雷达信息的对象尺寸估计
US20230213643A1 (en) Camera-radar sensor fusion using local attention mechanism
US20220309794A1 (en) Methods and electronic devices for detecting objects in surroundings of a self-driving car
US20220230418A1 (en) Computer-implemented method for training a computer vision model
US20240062386A1 (en) High throughput point cloud processing
US20240135195A1 (en) Efficient search for data augmentation policies
Danzer Object detection in high-resolution radar data
CN118115557A (zh) 关联lidar数据和图像数据

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant