KR102557512B1 - 이미지들에서의 오브젝트 검출을 위한 콘텍스트-기반 프라이어들 - Google Patents

이미지들에서의 오브젝트 검출을 위한 콘텍스트-기반 프라이어들 Download PDF

Info

Publication number
KR102557512B1
KR102557512B1 KR1020187000472A KR20187000472A KR102557512B1 KR 102557512 B1 KR102557512 B1 KR 102557512B1 KR 1020187000472 A KR1020187000472 A KR 1020187000472A KR 20187000472 A KR20187000472 A KR 20187000472A KR 102557512 B1 KR102557512 B1 KR 102557512B1
Authority
KR
South Korea
Prior art keywords
regions
context
interest
context label
image
Prior art date
Application number
KR1020187000472A
Other languages
English (en)
Other versions
KR20180028442A (ko
Inventor
다니엘 헨드리쿠스 프란시스쿠스 디크만
레건 블라이스 토월
벤카타 스레칸타 레디 안나푸레디
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180028442A publication Critical patent/KR20180028442A/ko
Application granted granted Critical
Publication of KR102557512B1 publication Critical patent/KR102557512B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G06Y10/58—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

이미지들에서 오브젝트들을 검출하기 위해 머신 러닝 네트워크들 (예를 들어, 신경망들) 에서 콘텍스트-기반 프라이어들이 이용된다. 오브젝트들의 가능성있는 로케이션들이 콘텍스트 라벨들에 기초하여 추정된다. 머신 러닝 네트워크는 전체 이미지의 콘텍스트 라벨을 식별한다. 그것에 기초하여, 네트워크는 이미지에서 관심있는 오브젝트들을 검출할 가능성있는 영역들의 세트를 선택한다.

Description

이미지들에서의 오브젝트 검출을 위한 콘텍스트-기반 프라이어들
본 출원은 "REAL-TIME OBJECT DETECTION IN IMAGES VIA ONE GLOBAL-LOCAL NETWORK" 라는 발명의 명칭으로 2015 년 7 월 9 일에 출원된 미국 가특허출원 제 62/190,685 호의 이익을 주장하며, 그 개시 내용은 그 전체가 본원에 참조로서 명시적으로 포함된다.
본 개시의 소정의 양태들은 일반적으로 머신 러닝에 관한 것으로서, 특히 이미지들에서 오브젝트들을 검출하기 위해 머신 러닝 네트워크에서 콘텍스트-기반 프라이어들을 이용하는 것에 관한 것이다.
인공 뉴런들 (즉, 뉴런 모델들) 의 상호 연결된 그룹을 포함할 수도 있는 인공 신경망은 연산 디바이스이거나 연산 디바이스에 의해 수행될 방법을 표현한다.
콘볼루션 신경망들은 일종의 피드-포워드 인공 신경망이다. 콘볼루션 신경망들은 각각 수용 필드 (receptive field) 를 가지고 집합적으로 입력 공간을 타일링하는 뉴런들의 집합들을 포함할 수도 있다. 콘볼루션 신경망들 (CNNs) 은 다수의 애플리케이션들을 갖는다. 특히, CNN 들은 패턴 인식 및 분류의 영역에서 널리 사용되어 왔다.
딥 빌리프 네트워크들 (deep belief networks) 및 딥 콘볼루션 네트워크들과 같은 딥 러닝 아키텍쳐들은 계층화된 신경망 아키텍쳐들이며, 여기서 제 1 계층의 뉴런들의 출력은 제 2 계층의 뉴런들에 대한 입력이 되고, 제 2 계층의 뉴런들의 출력은 제 3 계층의 뉴런들에 대한 입력이 되는 등이다. 딥 신경망들은 특징들의 하이어라키 (hierarchy) 를 인식하도록 트레이닝될 수도 있고, 따라서 그들은 오브젝트 인식 애플리케이션들에서 점점 더 많이 사용되어 왔다. 콘볼루션 신경망들처럼, 이들 딥 러닝 아케텍쳐들에서의 연산은 하나 이상의 연산 체인들로 구성될 수도 있는 일군의 프로세싱 노드들을 통해 분포될 수도 있다. 이들 다중-계층화 아키텍쳐들은 한 번에 하나의 계층이 트레이닝될 수도 있고, 후방 전파 (back propagation) 를 사용하여 미세 튜닝될 수도 있다.
다른 모델들이 또한 오브젝트 인식을 위해 이용가능하다. 예를 들어, 서포트 벡터 머신들 (support vector machines: SVMs) 은 분류를 위해 적용될 수 있는 학습 툴들 (learning tools) 이다. 서포트 벡터 머신들은 데이터를 카테고리화하는 분리 하이퍼플레인 (hyperplane) (예를 들어, 결정 경계) 을 포함한다. 하이퍼플레인은 감독된 학습에 의해 정의된다. 원하는 하이퍼플레인은 트레이밍 데이터의 마진을 증가시킨다. 즉, 하이프플레인은 트레이닝 예들에 대한 최소 거리를 가져야 한다.
이들 해결책들이 다수의 분류 벤치마크들에 대한 우수한 결과들을 달성하지만, 그들의 연산 복잡성은 엄청나게 높을 수 있다. 또, 모델들의 트레이닝이 힘들 수도 있다.
하나의 양태에서, 오브젝트 검출의 방법이 개시된다. 방법은 전체 이미지의 콘텍스트 라벨을 식별하는 단계를 포함한다. 방법은 또한 식별된 콘텍스트 라벨에 기초하여 이미지에서 관심있는 오브젝트들을 검출할 가능성있는 영역들의 세트를 선택하는 단계를 포함한다.
다른 양태는 메모리 및 메모리에 커플링된 적어도 하나의 프로세서를 갖는 오브젝트 검출을 위한 장치를 개시한다. 프로세서(들) 은 전체 이미지의 콘텍스트 라벨을 식별하도록 구성된다. 프로세서(들) 은 또한 식별된 콘텍스트 라벨에 기초하여 이미지에서 관심있는 오브젝트들을 검출할 가능성있는 영역들의 세트를 선택하도록 구성된다.
다른 양태는 오브젝트 검출을 위한 비일시적 컴퓨터 판독가능 매체를 개시한다. 비일시적 컴퓨터 판독가능 매체는 기록된 비일시적 프로그램 코드를 가지며, 그 비일시적 프로그램 코드는, 프로세서(들) 에 의해 실행될 때, 프로세서(들) 로 하여금 전체 이미지의 콘텍스트 라벨을 식별하는 동작들을 수행하게 한다. 프로그램 코드는 또한 프로세서(들) 로 하여금 식별된 콘텍스트 라벨에 기초하여 이미지에서 관심있는 오브젝트들을 검출할 가능성있는 영역들의 세트를 선택하게 한다.
다른 양태는 오브젝트 검출을 위한 장치를 개시하고, 전체 이미지의 콘텍스트 라벨을 식별하는 수단을 포함한다. 방법은 또한 식별된 콘텍스트 라벨에 기초하여 이미지에서 관심있는 오브젝트들을 검출할 가능성있는 영역들의 세트를 선택하는 수단을 포함한다.
본 개시의 추가적인 피쳐들 및 이점들이 하기에서 설명될 것이다. 당업자에 의해, 본 개시가 본 개시의 동일한 목적을 수행하기 위한 다른 구조들을 수정하거나 설계하는 기초로서 쉽게 이용될 수도 있음이 이해되어야만 한다. 당업자라면, 이러한 등가의 구성들이 첨부된 청구항들에서 설명되는 본 개시의 교시들을 벗어나지 않는다는 것을 알 수 있어야 한다. 동작의 구성 및 방법 양자에 관한 본 개시의 특징으로 여겨지는 신규의 특징들은, 다른 목적들 및 이점들과 함께, 첨부된 도면과 연계하여 고려될 때 하기의 설명으로부터 더욱 이해될 것이다. 그러나, 각각의 도면은 도해 및 설명의 목적으로만 제공된 것이며, 본 개시의 제한들의 정의로서 의도된 것은 아님이 명확히 이해되어야 한다.
본 개시의 특징들, 속성, 및 이점들은, 도면들과 연계하여 취해지는 경우, 하기에 제시된 상세한 설명으로부터 더욱 자명해질 것이며, 도면들에서, 유사한 도면 부호들은 명세서 전체에 걸쳐 그에 대응하는 것을 식별한다.
도 1 은 본 개시의 소정의 양태들에 따른 범용 프로세서를 포함하는, 시스템-온-칩 (SOC) 을 사용하여 신경망을 설계하는 예시의 구현을 도시한다.
도 2 는 본 개시의 양태들에 따른 시스템의 예시의 구현을 도시한다.
도 3a 는 본 개시의 양태들에 따른 신경망을 도시하는 다이어그램이다.
도 3b 는 본 개시의 양태들에 따른 예시적인 딥 콘볼루션 네트워크 (DCN) 를 도시하는 블록도이다.
도 4 는 본 개시의 양태들에 따른 인공 지능 (AI) 기능들을 모듈화할 수도 있는 예시적인 소프트웨어 아키텍쳐를 도시하는 블록도이다.
도 5 는 본 개시의 양태들에 따른 스마트폰상의 AI 애플리케이션의 런-타임 동작을 도시하는 블록도이다.
도 6 은 이미지에서 오브젝트들을 식별하기 위해 사용되는 예시의 경계 박스들을 도시한다.
도 7 은 다중 경계 박스 검색 방법을 위해 이용되는 N 개의 프라이어들을 도시한다.
도 8 은 본 개시의 양태들에 따른 이미지들에서 오브젝트들을 검출하기 위해 콘텍스트를 이용하는 전체 방법의 예를 도시한다.
도 9 는 본 개시의 양태들에 따른 이미지들에서 오브젝트들을 검출하기 위한 예시의 네트워크 아키텍쳐를 도시한다.
첨부된 도면들과 연계하여 하기에 설명되는 상세한 설명은, 여러 구성들의 설명으로서 의도된 것이며 본원에서 설명되는 개념들이 실시될 수도 있는 유일한 구성들만을 나타내도록 의도된 것은 아니다. 상세한 설명은 여러 개념들의 완전한 이해를 제공하기 위한 목적으로 특정 세부사항들을 포함한다. 그러나, 이들 개념들이 이들 특정 세부사항들 없이 실시될 수도 있음이 당업자에게는 명백할 것이다. 일부 사례들에서, 이러한 개념들을 모호하게 하는 것을 방지하기 위해 공지의 구조들 및 컴포넌트들이 블록도의 형태로 도시된다.
본 개시물의 임의의 다른 양태들과 독립적으로 또는 결합하여 구현되는지 여부에 관계없이, 본 교시들에 기초하여, 당업자들은 본 개시의 범위가 본 개시의 임의의 양태를 커버하도록 의도된다는 것을 인정해야 한다. 예를 들어, 제시된 임의의 개수의 양태들을 이용하여 장치가 구현될 수도 있거나 방법이 실시될 수도 있다. 또한, 본 개시의 범위는 본원에 제시된 개시의 다양한 양태들에 더해 또는 그 외에 다른 구조, 기능성, 또는 구조와 기능성을 이용하여 실시되는 그러한 장치 또는 방법을 커버하고자 한다. 본원에 개시된 개시의 임의의 양태는 청구항의 하나 이상의 요소들에 의해 구체화될 수도 있다.
단어 "예시적인" 은 본원에서 "예, 예시, 또는 설명의 역할을 하는" 것을 의미하기 위해 사용된다. "예시적인" 으로 본원에서 설명된 임의의 양태는 반드시 다른 양태들보다 바람직하거나 이로운 것으로 해석되지는 않는다.
특정 양태들이 본원에서 설명되지만, 이러한 양태들의 많은 변형예들 및 치환예들이 본 개시의 범위 내에 속한다. 바람직한 양태들의 일부 이득들 및 이점들이 언급되었지만, 본 개시의 범위는 특정 이득들, 이용들, 또는 목적들로 제한되고자 하지 않는다. 오히려, 본 개시의 양태들은 상이한 기술들, 시스템 구성들, 네트워크들, 및 프로토콜들에 널리 적용되고자 하며, 본 개시물의 양태들 중 일부는 도면들에서 그리고 다음의 바람직한 양태들의 설명에서 예로서 예시된다. 상세한 설명 및 도면들은 제한하는 것이기 보다는 단지 본 개시물의 예시일 뿐이며, 본 개시물의 범위는 첨부된 청구항들 및 그의 등가물들에 의해 정의된다.
본 개시의 양태들은 이미지들에서 오브젝트들을 검출 (로케이팅) 하기 위한 딥 신경망 아키텍쳐로 지향된다. 특히, 본 개시의 양태들은 오브젝트 검출을 위해 콘텍스트-기반 프라이어들 (priors) 을 이용한다. 본 개시의 추가의 양태들은 내부 피드백 메커니즘을 트레이닝하는 것을 포함한다.
도 1 은 본 개시의 소정의 양태들에 따른 범용 프로세서 (CPU) 또는 다중-코어 범용 프로세서들 (CPUs) (102) 를 포함할 수도 있는, 시스템-온-칩 (SOC) (100) 을 사용하는 상술된 딥 신경망 아키텍쳐의 예시의 구현 (100) 을 도시한다. 변수들 (예를 들어, 신경 신호들 및 시냅틱 가중치들), 연산 디바이스와 연관된 시스템 파라미터들 (예를 들어, 가중치들을 갖는 신경망), 지연들, 주파수 빈 정보, 및 태스크 정보는 신경 프로세싱 유닛 (NPU) (108) 과 연관된 메모리 블록에, CPU (102) 와 연관된 메모리 블록에, 그래픽 프로세싱 유닛 (GPU) (104) 과 연관된 메모리 블록에, 디지털 신호 프로세서 (DSP) (106) 와 연관된 메모리 블록에, 전용 메모리 블록 (118) 에 저장될 수도 있거나, 다수의 블록들에 걸쳐 분포될 수도 있다. 범용 프로세서 (102) 에서 실행되는 명령들은 CPU (102) 와 연관된 프로그램 메모리로부터 로딩될 수도 있거나 전용 메모리 블록 (118) 으로부터 로딩될 수도 있다.
SOC (100) 는 또한 GPU (104), DSP (106), 제 4 세대 롱 텀 에볼루션 (4G LTE) 연결성, 비허가 Wi-Fi 연결성, USB 연결성, 블루투스 연결성 등을 포함할 수도 있는 연결성 블록 (110), 및 예를 들어, 제스쳐들을 검출 및 인식할 수도 있는 멀티미디어 프로세서 (112) 와 같은 특정의 기능들로 테일러링된 추가적인 프로세싱 블록들을 포함할 수도 있다. 하나의 구현에서, NPU 는 CPU, DSP, 및/또는 GPU 에서 구현된다. SOC (100) 는 또한 센서 프로세서 (114), 이미지 신호 프로세서들 (ISPs) (116), 및/또는 글로벌 포지셔닝 시스템을 포함할 수도 있는 네비게이션 (120) 을 포함할 수도 있다.
SOC 는 ARM 명령 세트에 기초할 수도 있다. 본 개시의 양태에서, 범용 프로세서 (102) 로 로딩된 명령들은 콘텍스트 라벨을 식별하는 코드를 포함할 수도 있다. 범용 프로세서 (102) 로 로딩된 명령들은 또한 식별된 콘텍스트 라벨에 기초하여 이미지에서 관심있는 오브젝트들을 검출할 가능성있는 영역들의 세트를 선택하는 코드를 포함할 수도 있다.
도 2 는 본 개시의 소정의 양태들에 따른 시스템 (200) 의 예시적인 구현을 도시한다. 도 2 에 도시된 바와 같이, 시스템 (200) 은 여기에 기술된 방법들의 다양한 동작들을 수행할 수도 있는 다수의 로컬 프로세싱 유닛들 (202) 을 가질 수도 있다. 각각의 로컬 프로세싱 유닛 (202) 은 신경망의 파라미터들을 저장할 수도 있는 로컬 상태 메모리 (204) 및 로컬 파라미터 메모리 (206) 를 포함할 수도 있다. 더불어, 로컬 프로세싱 유닛 (202) 은 로컬 모델 프로그램을 저장하기 위한 로컬 (신경) 모델 프로그램 (local model program; LMP) 메모리 (208), 로컬 학습 프로그램을 저장하기 위한 로컬 학습 프로그램 (local learning program; LLP) 메모리 (210), 및 로컬 연결 메모리 (212) 를 가질 수도 있다. 또한, 도 2 에 도시된 바와 같이, 각각의 로컬 프로세싱 유닛 (202) 은 로컬 프로세싱 유닛의 로컬 메모리들을 위한 구성을 제공하기 위한 구성 프로세서 유닛 (214), 및 로컬 프로세싱 유닛들 (202) 사이에 라우팅을 제공하는 라우팅 연결 프로세싱 유닛 (216) 과 인터페이싱할 수도 있다.
딥 러닝 아키텍쳐들은 각각의 계층에서 추상화의 연속적으로 더 높은 레벨들에서 입력들을 표현하기 위해 학습에 의한 오브젝트 인식 태스크를 수행하고, 이것에 의해 입력 데이터의 유용한 특징 표현을 구축할 수도 있다. 이러한 방식으로, 딥 러닝은 전통적인 머신 러닝의 주요한 병목을 다룬다. 딥 러닝의 도래 이전에, 오브젝트 인식 문제에 대한 머신 러닝 접근법은 아마도 섈로우 (shallow) 분류기와 결합하여, 인간 조작된 (human engineered) 특징들에 크게 의존했을 수도 있다. 섈로우 분류기는 예를 들어 2-클래스 선형 분류기일 수도 있으며, 여기서 특징 벡터 컴포넌트들의 가중된 합은 입력이 어느 클래스에 속하는지를 예측하기 위해 임계값과 비교될 수도 있다. 인간 조작된 특징들은 도메인 전문 기술을 갖는 엔지니어들에 의해 특정의 문제 도메인으로 테일러링된 템플릿들 또는 커널들일 수도 있다. 딥 러닝 아키텍쳐들은, 대조적으로, 트레이닝을 통해서만 인간 엔지니어가 설계할지도 모르는 것과 유사한 특징들을 표현하는 것을 학습할 수도 있다. 더욱이, 딥 네트워크는 인간이 고려했을지도 모르는 새로운 타입들의 특징들을 표현 및 인식하는 것을 학습할 수도 있다.
딥 러닝 아키텍쳐는 특징들의 하이어라키 (hierarchy) 를 학습할 수도 있다. 예를 들어, 시각적 데이터가 제시되는 경우, 제 1 계층은 입력 스트림에서 에지들과 같은 간단한 특징들을 인식하는 것을 학습할 수도 있다. 청각적 데이터가 제시되는 경우, 제 1 계층은 특정의 주파수들에서의 스펙트럼 전력을 인식하는 것을 학습할 수도 있다. 제 2 계층은, 제 1 계층의 출력을 입력으로서 취하여, 시각적 데이터에 대한 간단한 형상들 또는 청각적 데이터에 대한 사운드들의 조합들과 같은 특징들의 조합들을 인식하는 것을 학습할 수도 있다. 더 높은 계층들은 시각적 데이터에서 복잡한 형상들 또는 청각적 데이터에서 단어들을 표현하는 것을 학습할 수도 있다. 여전히 더 높은 계층들은 공통적인 시각적 오브젝트들 또는 발화된 어구들을 인식하는 것을 학습할 수도 있다.
딥 러닝 아키텍쳐들은 자연의 하이어라키 구조를 갖는 문제들에 적용될 때 특히 잘 수행될 수도 있다. 예를 들어, 자동차들의 분류는 처음에 바퀴들, 전면 유리들, 및 다른 특징들을 인식하는 것을 학습하는 것으로부터 이익을 얻을 수도 있다. 이들 특징들은 자동차들, 트럭들, 및 비행기들을 인식하기 위해 상이한 방식들로 더 높은 계층들에서 결합될 수도 있다.
신경망들은 다양한 연결성 패턴들로 설계될 수도 있다. 피드-포워드 네트워크들에서, 정보는 더 낮은 계층으로부터 더 높은 계층으로 전달되며, 주어진 계층에서의 각각의 뉴런은 더 높은 계층들에서의 뉴런들로 통신한다. 하이어라키 표현은 상술된 바와 같이 피드-포워드 네트워크의 연속적인 계층들에서 구축될 수도 있다. 신경망들은 또한 회귀 또는 피드백 (또한 톱-다운 (top-down) 으로도 불림) 연결들을 가질 수도 있다. 회귀 연결에서, 주어진 계층에서의 뉴런으로터의 출력은 동일한 계층에서의 다른 뉴런으로 통신된다. 회귀 아키텍쳐는 시간에 있어서 전개되는 패턴들을 인식하는데 있어서 도움이 될 수도 있다. 주어진 계층에서의 뉴런으로부터 더 낮은 계층에서의 뉴런으로의 연결은 피드백 (또는 톱-다운) 연결로 지칭된다. 다수의 피드백 연결들을 갖는 네트워크는 고레벨 개념이 입력의 특정의 저레벨 특징들을 판별하는데 도움을 줄 수도 있는 경우에 도움이 될 수도 있다.
도 3a 를 참조하면, 신경망의 계층들 사이의 연결들은 완전히 연결되거나 (302) 로컬로 연결될 수도 있다 (304). 완전히 연결된 네트워크 (302) 에서, 주어진 계층에서의 뉴런은 다음의 계층에서의 모든 뉴런으로 그것의 출력을 통신할 수도 있다. 대안적으로, 로컬로 연결된 네트워크 (304) 에서는, 주어진 계층에서의 뉴런은 다음의 계층에서의 제한된 수의 뉴런들로 연결될 수도 있다. 콘볼루션 네트워크 (306) 는 로컬로 연결될 수도 있고, 더욱이 주어진 계층에서의 각 뉴런과 연관된 연결 강도들이 공유되는 특수한 케이스 (예를 들어, 308) 이다. 더욱 일반적으로, 네트워크의 로컬로 연결된 계층은 계층에서의 각 뉴런이 동일하거나 유사한 연결성 패턴을 갖지만, 상이한 값들 (예를 들어, 310, 312, 314, 및 316) 을 가질 수도 있는 연결 강도들을 갖도록 구성될 수도 있다. 로컬로 연결된 연결성 패턴은 더 높은 계층에서 공간적으로 별개의 각각의 필드들을 발생시킬 수도 있으며, 이는 주어진 영역에서의 더 높은 계층 뉴런들은 네트워크에 대한 총 입력의 제한된 부분의 특성들로 트레이닝을 통해 튜닝되는 입력들을 수신할 수도 있기 때문이다.
로컬로 연결된 신경망들은 입력들의 공간적 로케이션들이 의미있는 문제들에 잘 적합될 수도 있다. 예를 들어, 자동차-탑재 카메라로부터 시각적 특징들을 인식하도록 설계된 네트워크 (300) 는 상이한 특성들을 갖는 높은 계층 뉴런들을, 이미지의 하위 대 상위 부분과의 그들의 연관에 따라 개발할 수도 있다. 예를 들어, 이미지의 하위 부분과 연관된 뉴런들은 차선 표시들을 인식하는 것을 학습할 수도 있는 반면, 이미지의 상위 부분과 연관된 뉴런들은 교통 신호등, 교통 표지판, 등을 인식하는 것을 학습할 수도 있다.
DCN 은 감독된 학습으로 트레이닝될 수도 있다. 트레이닝 동안, DCN 은 속도 제한 표지판 (326) 의 크로핑된 이미지와 같은 이미지가 제시될 수도 있고, "포워드 패스 (forward pass)" 는 그 후 출력 (328) 를 생성하기 위해 컴퓨팅될 수도 있다. 출력 (328) 은 "표지판", "60", 및 "100" 과 같은 특징들에 대응하는 값들의 벡터일 수도 있다. 네트워크 설계자는 DCN 이 출력 특징 벡터, 예를 들어 트레이닝되었던 네트워크 (300) 에 대한 출력 (328) 에서 보여진 바와 같은 "표지판" 및 "60" 에 대응하는 것들에서 뉴런들의 일부에 대해 높은 스코어를 출력하기를 원할 수도 있다. 트레이닝 전에, DCN 에 의해 생성된 출력은 정확하지 않기 쉽고, 따라서 에러가 실제의 출력과 목표 출력 사이에 계산될 수도 있다. DCN 의 가중치들은 그 후 DCN 의 출력 스코어들이 목표와 더 가깝게 정렬되도록 조정될 수도 있다.
가중치들을 적절하게 조정하기 위해, 학습 알고리즘은 가중치들에 대한 기울기 벡터를 컴퓨팅할 수도 있다. 기울기는 가중치가 약간 조정되는 경우에 에러가 증가하거나 감소할 양을 나타낼 수도 있다. 상부 (top) 계층에서, 기울기는 페널티메이트 (penultimate) 계층에서의 활성화된 뉴런 및 출력 계층에서의 뉴런을 연결하는 가중치의 값에 직접 대응할 수도 있다. 더 낮은 계층들에서, 기울기는 가중치들의 값에 및 더 높은 계층들의 컴퓨팅된 에러 기울기들에 의존할 수도 있다. 가중치들은 그 후 에러를 감소시키기 위해 조정될 수도 있다. 가중치들을 조정하는 이러한 방식은 그것이 신경망을 통한 "백워드 패스" 를 수반하기 때문에 "후방 전파" 로 지칭될 수도 있다.
실제로, 가중치들의 에러 기울기는 계산된 기울기가 실제의 에러 기울기에 근사화하도록 적은 수의 예들에 대해 계산될 수도 있다. 이러한 근사화 방법은 확률적 기울기 하강으로 지칭될 수도 있다. 확률적 기울기 하강은 전체 시스템의 달성가능한 에러 레이트가 감소하기를 중단한 때까지 또는 에러 레이트가 목표 레벨에 도달한 때까지 반복될 수도 있다.
학습 후에, DCN 은 새로운 이미지들 (326) 이 제시될 수도 있고, 네트워크를 통한 포워드 패스는 DCN 의 추론 또는 예측이 고려될 수도 있는 출력 (328) 을 산출할 수도 있다.
딥 빌리프 네트워크들 (DBNs) 은 다수의 계층들의 은닉된 노드들을 포함하는 확률 모델들이다. DBN 들은 트레이닝 데이터 세트들의 하이어라키 표현을 추출하기 위해 사용될 수도 있다. DBN 은 제한된 볼츠만 머신들 (Restricted Boltzmann Machines: RBMs) 의 계층들을 적층함으로써 획득될 수도 있다. RBM 은 입력들의 세트를 통한 확률 분포를 학습할 수 있는 일 타입의 인공 신경망이다. RBM 들은 각 입력이 카테고리화되어야 하는 클래스에 대한 정보의 부재 시에 확률 분포를 학습할 수 있기 때문에, RBM 들은 종종 비감독 (unsupervised) 학습에 사용된다. 하이브리드 비감독 및 감독 파라다임을 사용하여, DBN 의 저부 RBM 들은 비감독 방식으로 트레이닝될 수도 있고 특징 추출기들로서 작용할 수도 있으며, 상부 RBM 은 (이전의 계층 및 목표 클래스들로부터의 입력들의 조인트 분포에 대해) 감독 방식으로 트레이닝될 수도 있다.
딥 콘볼루션 네트워크들 (DCNs) 은 추가적인 풀링 (pooling) 및 정규화 계층들로 구성된 콘볼루션 네트워크들 중의 네트워크들이다. DCN 들은 다수의 태스크들에 대한 종래 기술의 성능을 달성했다. DCN 들은 입력 및 출력 목표들 양자 모두가 다수의 전형들에 대해 알려져 있고 기울기 하강 방법들을 사용하여 네트워크의 가중치들을 변경하기 위해 사용되는 감독 학습을 사용하여 트레이닝될 수 있다.
DCN 들은 피드-포워드 네트워크들일 수도 있다. 또, 상술된 바와 같이, DCN 의 제 1 계층에서의 뉴런으로부터 다음의 더 높은 계층에서의 뉴런들의 그룹으로의 연결들은 제 1 계층에서의 뉴런들에 걸쳐 공유된다. DCN 들의 피드-포워드 및 공유된 연결들은 고속 프로세싱을 위해 활용될 수도 있다. DCN 의 계산적 짐은 예를 들어 회귀 또는 피드백 연결들을 포함하는 유사한 사이즈의 신경망의 그것보다 훨씬 작을 수도 있다.
콘볼루션 네트워크의 각 계층의 프로세싱은 공간적 가변 템플릿 또는 기저 투영으로 고려될 수도 있다. 입력이 먼저 컬러 이미지의 적색, 녹색 및 청색 채널들과 같은 다수의 채널들로 분해된다면, 그 입력에 대해 트레이닝된 콘볼루션 네트워크는 이미지의 축들을 따른 2 개의 공간적 차원들 및 컬러 정보를 캡쳐하는 제 3 차원을 갖는 3 차원적인 것으로 고려될 수도 있다. 콘볼루션 연결들의 출력들은 후속 계층 (318, 320, 및 322) 에서 특징 맵을 형성하는 것으로 고려될 수도 있고, 특징 맵 (예를 들어, 320) 의 각 엘리먼트는 이전의 계층 (예를 들어, 318) 에서의 뉴런들의 범위로부터 및 다수의 채널들 각각으로부터 입력을 수신한다. 특징 맵에서의 값들은 정류 (rectification), max (0,x) 와 같은 비선형성으로 더욱 프로세싱될 수도 있다. 인접한 뉴런들로부터의 값들은 더욱 풀링될 수도 있으며 (324), 이것은 다운 샘플링에 대응하고, 추가적인 로컬 불변성 및 차원성 감소를 제공할 수도 있다. 화이트닝 (whitening) 에 대응하는 정규화가 또한 특징 맵에서의 뉴런들 사이의 측면 억제 (lateral inhibition) 를 통해 적용될 수도 있다.
딥 러닝 아키텍쳐들의 성능은 더 많은 라벨링된 데이터 포인트들이 이용가능하게 됨에 따라 또는 계산 전력이 증가함에 따라 증가할 수도 있다. 현대의 딥 신경망들은 단지 15년 전에 통상적인 연구자들에게 이용가능했던 것보다 수천배 더 큰 컴퓨팅 자원들로 루틴하게 트레이닝된다. 새로운 아키텍쳐들 및 트레이닝 파라다임들은 딥 러닝의 성능을 더욱 부스팅할 수도 있다. 정류된 선형 유닛들은 소실하는 기울기들 (vanishing gradients) 로서 알려진 트레이닝 문제를 감소시킬 수도 있다. 새로운 트레이닝 기법들은 오버-피팅 (over-fitting) 을 감소시킬 수도 있고, 따라서 더 큰 모델들이 더 양호한 일반화를 달성하는 것을 가능하게 할 수도 있다. 캡슐화 기법들은 주어진 각각의 필드에서 데이터를 추출하고 전체 성능을 더욱 부스팅할 수도 있다.
도 3b 는 예시적인 딥 콘볼루션 네트워크 (350) 를 도시하는 블록도이다. 딥 콘볼루션 네트워크 (350) 는 연결성 및 가중치 공유에 기초하여 다수의 상이한 타입들의 계층들을 포함할 수도 있다. 도 3b 에 도시된 바와 같이, 예시적인 딥 콘볼루션 네트워크 (350) 는 다수의 콘볼루션 블록들 (예를 들어, C1 및 C2) 을 포함한다. 콘볼루션 블록들 각각은 콘볼루션 계층, 정규화 계층 (LNorm), 및 풀링 계층으로 구성될 수도 있다. 콘볼루션 계층들은 특징 맵을 생성하기 위해 입력 데이터에 적용될 수도 있는 하나 이상의 콘볼루션 필터들을 포함할 수도 있다. 단지 2 개의 콘볼루션 블록들이 도시되지만, 본 개시는 그렇게 제한하지 않고, 대신에, 임의의 수의 콘볼루션 블록들이 설계 선호에 따라 딥 콘볼루션 네트워크 (350) 에 포함될 수도 있다. 정규화 계층은 콘볼루션 필터들의 출력을 정규화하기 위해 사용될 수도 있다. 예를 들어, 정규화 계층은 화이트닝 또는 측면 억제를 제공할 수도 있다. 풀링 계층은 로컬 불변성 및 차원성 감소를 위해 공간에 대해 다운 샘플링 집성 (aggregation) 을 제공할 수도 있다.
예를 들어, 딥 콘볼루션 네트워크의 병렬 필터 뱅크들은 고성능 및 저전력 소비를 달성하기 위해, 선택적으로 ARM 명령 세트에 기초하여, SOC (100) 의 CPU (102) 또는 GPU (104) 상에 로딩될 수도 있다. 대안적인 실시형태들에서, 병렬 필터 뱅크들은 SOC (100) 의 DSP (106) 또는 ISP (116) 상에 로딩될 수도 있다. 또, DCN 은 센서들 (114) 및 네비게이션 (120) 에 전용된 프로세싱 블록들과 같은, SOC 상에 존재할 수도 있는 다른 프로세싱 블록들을 액세스할 수도 있다.
딥 콘볼루션 네트워크 (350) 는 또한 하나 이상의 완전히 연결된 계층들 (예를 들어, FC1 및 FC2) 을 포함할 수도 있다. 딥 콘볼루션 네트워크 (350) 는 로지스틱 회귀분석 (logistic regression: LR) 계층을 더 포함할 수도 있다. 딥 콘볼루션 네트워크 (350) 의 각 계층 사이에 업데이트되어야 하는 가중치들 (도시하지 않음) 이 존재한다. 각 계층의 출력은 제 1 콘볼루션 블록 (C1) 에서 공급된 입력 데이터 (예를 들어, 이미지들, 오디오, 비디오, 센서 데이터 및/또는 다른 입력 데이터) 로부터 계층적 특징 표현들을 학습하기 위해 딥 콘볼루션 네트워크 (350) 에서 계속되는 계층의 입력으로서 작용할 수도 있다.
도 4 는 인공 지능 (AI) 기능들을 모듈화할 수도 있는 예시적인 소프트웨어 아키텍쳐를 도시하는 블록도이다. 그 아키텍쳐를 사용하여, SOC (420) 의 여러 프로세싱 블록들 (예를 들어, CPU (422), DSP (424), GPU (426) 및/또는 NPU (428)) 로 하여금 애플리케이션 (402) 의 런-타임 동작 동안 계산들을 지원하는 것을 수행하게 할 수도 있는 애플리케이션들 (402) 이 설계될 수도 있다.
AI 애플리케이션 (402) 은 예를 들어 디바이스가 현재 동작하는 로케이션을 나타내는 장면의 검출 및 인식을 제공할 수도 있는 사용자 공간 (404) 에서 정의된 함수들을 호출하도록 구성될 수도 있다. AI 애플리케이션 (402) 은 예를 들어 그 인식된 장면이 사무실, 강의실, 식당, 또는 호수와 같은 옥외 설정인지 여부에 따라 상이하게 마이크로폰 및 카메라를 구성할 수도 있다. AI 애플리케이션 (402) 은 현재의 장면의 추정을 제공하기 위해 장면검출 (SceneDetect) 애플리케이션 프로그래밍 인터페이스 (API) (406) 에서 정의된 라이브러리와 연관된 컴파일링된 프로그램 코드에 대한 요청을 행할 수도 있다. 이러한 요청은 예를 들어 비디오 및 포지셔닝 데이터에 기초하여 장면 추정들을 제공하도록 구성된 딥 신경망의 출력에 궁극적으로 의존할 수도 있다.
런타임 프레임워크의 컴파일링된 코드일 수도 있는 런-타임 엔진 (408) 은 AI 애플리케이션 (402) 에 대해 추가로 액세스가능할 수도 있다. AI 애플리케이션 (402) 은 런-타임 엔진으로 하여금, 예를 들어, 특정의 시간 간격으로 또는 애플리케이션의 사용자 인터페이스에 의해 검출된 이벤트에 의해 트리거되어 장면 추정을 요청하게 할 수도 있다. 장면을 추정하도록 하게 되는 경우, 런-타임 엔진은 차례로 SOC (420) 상에서 실행하는, 리눅스 커널 (412) 과 같은 운영 시스템 (410) 으로 신호를 전송할 수도 있다. 운영 시스템 (410) 은, 차례로, 계산이 CPU (422), DSP (424), GPU (426), NPU (428), 또는 이들의 일부 조합상에서 수행되게 할 수도 있다. CPU (422) 는 운영 시스템에 의해 직접 액세스될 수도 있고, 다른 프로세싱 블록들은 DSP (424) 에 대한, GPU (426) 에 대한, 또는 NPU (428) 에 대한 구동기 (414-418) 와 같은 구동기를 통해 액세스될 수도 있다. 예시적인 예에서, 딥 신경망은 CPU (422) 및 GPU (426) 와 같은 프로세싱 블록들의 조합상에서 실행하도록 구성될 수도 있다.
도 5 는 스마트폰 (502) 상의 AI 애플리케이션의 런-타임 동작 (500)을 도시하는 블록도이다. AI 애플리케이션은 이미지의 포맷을 변환하고 (506) 및 그 후 이미지를 크로핑 및/또는 리사이징하도록 (508) (예를 들어, 자바 프로그래밍 언어를 사용하여) 구성될 수도 있는 사전-프로세스 모듈 (504) 을 포함할 수도 있다. 사전-프로세싱된 이미지는 그 후 시각적 입력에 기초하여 장면들을 검출 및 분류하기 위해 (예를 들어, C 프로그래밍 언어를 사용하여) 구성될 수도 있는 장면검출 백엔드 (Backend) 엔진 (512) 을 포함하는 분류 애플리케이션 (510) 으로 통신될 수도 있다. 장면검출 백엔드 엔진 (512) 은 스케일링 (516) 및 크로핑 (518) 에 의해 이미지를 더욱 사전프로세싱하도록 (514) 구성될 수도 있다. 예를 들어, 이미지는 결과의 이미지가 224 화소 바이 (by) 224 화소이도록 스케일링 및 크로핑될 수도 있다. 이들 차원들은 신경망의 입력 차원들로 맵핑할 수도 있다. 신경망은 SOC (420) 의 여러 프로세싱 블록들로 하여금 딥 신경망으로 이미지 화소들을 더욱 프로세싱하게 하기 위해 딥 신경망 블록 (520) 에 의해 구성될 수도 있다. 딥 신경망의 결과들은 그 후 임계값이 적용되고 (522) 분류 애플리케이션 (510) 에서의 지수적 평활화 블록 (524) 을 통해 통과될 수도 있다. 평활화된 결과들은 그 후 스마트폰 (502) 의 설정들 및/또는 디스플레이의 변경을 야기할 수도 있다.
이미지들에서의 오브젝트 검출
딥 신경 망들은 이미지들에서 오브젝트들을 검출 및 로케이팅하기 위해 컴퓨터 비젼에서 사용될 수도 있다. 오브젝트들은 여러 상이한 카테고리들 (예를 들어, 새, 전기 드릴 또는 백팩) 에 의해 특징지워질 수도 있다. 오브젝트는 도 6 에 도시된 바와 같이 그것 주위에 타이트한 축-정렬된 경계 박스를 놓음으로써 이미지에서 로케이팅될 수도 있다. 특히, 이미지 (600) 에서, 제 1 경계 박스 (602) 는 이미지 (600) 에서 꽃 오브젝트 주위에 있다. 제 2 경계 박스 (604) 는 제 2 오브젝트 (예를 들어, 고양이) 주위에 있고, 제 3 경계 박스 (606) 는 꽃 오브젝트 주위에 있다. 이들 경계 박스들은 4 개의 값들에 의해 특정될 수도 있다: 박스의 최소 및 최대 x 및 y 좌표들. 검출 시스템이 경계 박스를 제안하면, 그 경계 박스가 인간의 주석을 통해 결정된 바와 같은 지상 검증 (ground truth) 경계 박스와 50% 이상 중첩하는 경우에 그것이 올바른 것으로 판단된다 (예를 들어, intersection(ground_truth, proposed)/union(ground_truth, proposed) > 0.5). 이미지에서 오브젝트를 검출하는 것은 동일한 카테고리의 다수의 가능한 뷰들 및 스케일들에 의해 및 부분적 폐색들에 의해 어렵게 된다.
오브젝트들을 검색하는 여러 방법들의 예들은 선택적 검색 및 딥 신경망 (DNN) 분류기, 선택적 검색/공간 피라미드 풀링/서포트 벡터 머신 (SVM) 분류기의 조합, 딥 ID 검색, 및 다중 경계 박스 검색을 포함한다.
선택적 검색은 카테고리-불가지적 경계 박스 제안 방법을 지칭한다. 이미지가 주어지면, 선택적 검색은 여러 기준들에 따라 화소들을 클러스터링함으로써 여러 영역들로 이미지를 세그멘팅한다. 설정들에 의존하여, 선택적 검색은 이들 영역들 주위에 500 내지 5000 개의 경계 박스 제안들의 범위에서 리턴한다. 경계 박스 제안들은 실제의 오브젝트들의 경계 박스들에 가까울 수도 있거나 가깝지 않을 수도 있다. 딥 신경망 (DNN) 분류기는 그 후 오브젝트 카테고리들 중 하나로서, 또는 다른 것으로서 각각의 제안된 박스의 크로핑된 컨텐츠를 분류하기 위해 트레이닝된다. 또, 콘텍스트 라벨이 이미지가 존재하는 환경 또는 설정을 기술하기 위해 적용될 수도 있다. 별개의 신경망은 전체 이미지의 컨텐츠의 분류에 대한 이전의 트레이닝에 의해 전체-이미지 콘텍스트를 공급하도록 트레이닝될 수도 있다. 전체-이미지 콘텍스를 갖는 것은 중요하다. 예를 들어, 별개로 보여질 때, 골프공으로부터 탁구공을 구별하는 것은 어려울 수도 있을 것이지만, 콘텍스트 (예를 들어, 골프 코스 대 탁구 테이블) 에서 보여질 때 이것은 즉각적으로 명백하다.
선택적 검색은 계산적으로 상대적으로 고가이다. 하나의 이미지에 대해 박스들을 컴퓨팅하는 것은 최근의 데스크톱 CPU 의 단일의 코어 상에서 1초 정도가 걸린다. 데스크톱 CPU 의 단일의 코어는 매 초 10 개 정도의 박스들을 분류할 수 있기 때문에, 수백 개의 박스들에 대해 분류기를 실행하는 것은 또한 다수의 초들이 걸린다 (이것은 신경망의 사이즈에 의존한다).
선택적 검색, 공간 피라미드 풀링 및 SVM 분류의 결합은 R-CNN 과 유사한 접근법을 취할 수도 있지만, 입력 이미지로부터의 크롭들 (crops) 을 취하는 대신에, 그것은 콘볼루션 네트워크에 의해 생성된 특징-맵들로부터의 크롭들을 취한다. 공간 파리미드 풀링은 특징 맵에서의 임의의 사이징된 윈도우를 이진 SVM (각각의 카테고리에 대해 하나의 SVM) 으로 분류 및 피딩되는 고정 길이 특징 벡터로 변환하기 위해 사용된다. 공간 피라미드 풀링 접근법에서, 박스-분류 네트워크는 고해상도 입력 이미지에 대해 단지 한번만 실행된다.
딥 ID 검색의 방법은 제공된 박스들을 사용하는 데이터세트에 대한 프리-트레이닝 및 기존의 검출 시스템에 따라 무익한 것으로 여겨지는 선택적 검색 박스들을 폐기하는 것과 같은 추가적인 개선들을 갖는 R-CNN (regions with CNN features) 에 기초한다. 딥 ID 검색 방법은 또한 캐스케이드된 (cascaded) 분류기들 (예를 들어, 선행 계층이 올바르게 분류할 수 없었을 때 예에 의해서만 학습하는 여분의 완전히 연결된 계층들) 을 이용하고, 변형 풀링을 통합하며, 고 다양성을 갖는 모델들의 앙상블을 이용한다.
다중 경계 박스 검색은 대략 10 내지 1000 개의 경계 박스들을 제안하기 위해 딥 신경망 (DNN) 을 이용할 수도 있다. 박스들의 수는 네트워크의 구성에 의해 트레이닝하기 전에 결정된다. 예를 들어, 100 내지 200 개의 박스들이 검출 국면에서 사용될 수도 있다. 제안된 박스들의 컨텐츠는 제 3 네트워크로부터의 전체-이미지 콘텍스트 특징들에 의해 지원되는 제 2 네트워크에 의해 분류된다.
다중 경계 박스들은 고정된 수의 N 개의 박스들을 출력하도록 설계 및 트레이닝된 경계 박스 제안 네트워크를 포함할 수도 있다. N 개의 박스들 각각의 경우, 그것은 관심의 오브젝트가 그 박스 내에 있는 신뢰도 (0 내지 1 의 범위 내의 값) 를 예측하기 위해 단일의 출력을 갖는다. 이러한 신뢰도 출력들은 로지스틱 손실 함수로 트레이닝된다. 또, N 개의 박스들 각각에 대해, 네트워크는 경계 박스를 추정하기 위해 4 개의 로케이션 출력들 (최소 및 최대 x 및 y 좌표들) 을 갖는다. 좌표들은 0 (정사각형 입력 이미지의 좌측 또는 상측) 에서 1 (정사각형 입력 이미지의 우측 또는 하측) 까지의 범위에 있다. 이러한 로케이션 유닛들은 SSD(sum-of-squared difference) 코스트 함수로 트레이닝된다. 또, 신뢰도 및 로케이션 쌍들 각각은 입력 이미지의 소정의 윈도우 (또는 부분) 만을 핸들링하도록 트레이닝된다. 이들 윈도우들은 트레이닝 세트로부터 N 개의 프라이어들 (priors) 로 박스들의 큰 세트를 클러스터링함으로써 트레이닝 전에 결정된다.
트레이닝 동안, 트레이닝 예들로부터의 각각의 경계 박스는 먼저 가장 가까운 프라이어와 매칭되고, 그러한 특정의 프라이어에 대한 각각의 신뢰도 및 로케이션 쌍이 그 박스에 대해 트레이닝된다. 이것은 각각의 신뢰도 및 로케이션 쌍이 출력에서 소정의 '관심의 윈도우' 를 담당하게 한다. 이러한 윈도우는 암시적으로, 하나의 큰 프라이어 윈도우가 수개의 더 작은 것들을 포함하거나 중첩할 수도 있기 때문에, 오브젝트의 스케일을 또한 포함한다.
도 7 은 다수의 경계 박스들을 사용하여 오브젝트들을 검색하는 예를 도시한다. 이러한 예에서, 네트워크는 도면에 도시된 바와 같이 N 개의 박스들 (여기서 N=100) 을 출력한다. 프라이어 박스 (702) 의 확대가 도시되고 그 프라이어 박스 (702) 에 맵핑하는 경계 박스들의 서브세트를 도시한다. 경계 박스들의 서브세트는 대응하는 신뢰도 및 로케이션 쌍의 관심의 윈도우를 도시한다.
이미지 검출을 위한 콘텍스트 -기반 프라이어들
머신 러닝 아키텍쳐, 예를 들어 딥 신경망 아키텍쳐는 이미지들에서 오브젝트들을 검출 및 로케이팅하기 위해 이용될 수도 있다. 네크워크 아키텍쳐는 이미지들에서 오브젝트들을 발견하는 것의 복잡성을 감소시키기 위해 특정의 데이터세트로부터 도출된 프라이어들을 이용할 수도 있다. 이미지 내의 모든 가능한 박스가 오브젝트를 포함하는지 여부에 대해 보우팅 (voting) 하기 보다는, 오브젝트들을 가장 포함할 것 같은 그러한 박스들만으로 가능한 로케이션들을 감소시키기 위해 프라이어들이 사용된다. 오브젝트들을 가장 포함할 것 같은 박스들은 모든 지상 검증 박스들의 로케이션들을 클러스터링하고 N 개의 클러스터 센터들을 프라이어 박스들로서 취함으로써 결정된다. 이러한 접근법은 박스들의 로케이션들만을 사용하고 이미지 또는 박스에 포함되는 것과 관련된 정보를 무시한다.
본 개시의 양태들은 이미지들에서 오브젝트들을 검출하기 위해 콘텍스트-기반 프라이어들을 사용하는 것으로 지향된다. 즉, 오브젝트들의 가능한 로케이션들은 콘텍스트 라벨들에 기초하여 추정된다. 예를 들어, 콘텍스트가 "하늘" 인 것으로 결정되는 경우 새를 위해 이미지의 상부를 검사하는 것이 표시될 수도 있다. "옥외" 와 같은 콘텍스트 라벨들을 갖는 이미지들은 더 작고 더 넓게 분포된 프라이어들 (예를 들어, 운전 시나리오에 대한 수평선을 바라보기) 을 갖기 쉽지만, "실내" 와 같은 콘텍스트 라벨들을 갖는 이미지들은 더 크고 더 집중적으로 로케이팅된 프라이어들 (예를 들어, 로봇을 집중적으로 찾기) 을 갖기 쉽다. 콘텍스트-기반 프라이어들을 통합하기 위해, 그들이 M 개의 콘텍스트 라벨들에 의해 분리된 후 지상 검증 박스들에 대해 k-평균 클러스터링이 수행되어, Nm 개의 프라이어들의 M 개의 그룹들을 야기할 수도 있다. 트레이닝 및 추론 동안, 콘텍스트 라벨들은 프라이어들의 어느 그룹을 트레이닝/테스팅할지를 선택하는 스위치로서 사용될 수도 있다. 2 이상의 콘텍스트 라벨이 이미지에 대해 제시되는 경우, 프라이어들의 2 이상의 그룹이 한번에 트레이닝될 수도 있다. 중요한 건, 모든 Nm 개의 프라이어들의 합은 콘텍스트 라벨들이 프라이어 박스들과 강하게 상관되는 경우 동일한 성능으로 N (모든 콘텍스트 카테고리들을 가로지르는 프라이어들의 수) 보다 잠재적으로 더 작을 수도 있다. 콘텍스트-기반 프라이어들은 전체 이미지에 대한 전체 네트워크 검색을 갖기보다는, 이미지에서 특정의 로케이션들에 네트워크의 검색을 포커싱하기 위해 사용될 수도 있다.
콘텍스트-기반 프라이어들은 더 관련성 있는 프라이어들이 특정의 콘텍스트에 대해 고려되는 것을 가능하게 함으로써 프라이어들의 더 풍부한 세트의 고려를 가능하게 한다. 또한, 이미지의 콘텍스트에 대해 프라이어들을 바이어싱함으로써, 데이터세트 종속성이 감소된다.
도 8 은 이미지에서 오브젝트들을 검출하기 위해 딥 신경망에 의해 이용되는 방법 (800) 을 도시한다. 하나의 양태에서, 딥 신경망 아키텍쳐는 단일의 신경망으로 이루어진다. 대안적으로, 선택적 구성에서, 신경망 아키텍쳐는 이미지들에서 오브젝트들을 검출하기 위해 함께 공동으로 작동하는 다수의 신경망들을 포함한다.
블록 (802) 에서, 신경망은 전체 이미지에 대한 콘텍스트 라벨을 식별한다. 콘텍스트 라벨은 이미지의 유의미한 카테고리화를 제공할 수 있다. 다음에, 신경망은, 블록 (804) 에서, 식별된 콘텍스트 라벨에 기초하여 이미지에서 관심있는 오브젝트들을 검출할 가능성있는 영역들의 세트를 선택한다. 또, 그 가능성 있는 영역들의 세트는 콘텍스트 라벨에 기초하여 생성될 수도 있다. 예를 들어, 콘텍스트 라벨이 "바깥" 인 경우, 신경망은 잔디를 검출하기 위해 이미지의 더 낮은 영역들을 볼 수도 있고 하늘에 있는 새를 검출하기 위해 더 상부 영역들을 볼 수도 있다. 신경망은 또한 추가적인 콘텍스트 라벨(들) 을 식별하고 추가적인 식별된 콘텍스트 라벨(들) 에 기초하여 관심있는 오브젝트들을 검출하기 위해 가능성있는 영역들의 다른 세트들을 선택할 수 있다. 예를 들어, 신경망은 다른 콘텍스트 라벨을 식별하고 그 다른 식별된 콘텍스트 라벨에 기초하여 이미지에서의 관심있는 오브젝트들을 검출하기 위해 가능성있는 영역들의 다른 세트를 선택할 수도 있다.
다른 양태에서, 콘텍스트 라벨은 사용자 입력에 기초할 수도 있다. 선택적으로, 콘텍스트 라벨은 비감독 학습에 기초할 수도 있다. 또 다른 양태에서, 신경망은 오브젝트들을 검출하도록 트레이닝될 수도 있다. 예를 들어, 신경망은 가능성있는 영역들의 세트를 정제하도록 트레이닝될 수도 있다. 또, 신경망은 관심있는 오브젝트가 가능성있는 영역들 각각에 대해 존재하는지 여부를 결정하도록 트레이닝될 수도 있다. 신경망은 또한 콘텍스트 라벨에 따라 가능성있는 영역들 각각을 분류하도록 트레이닝될 수도 있다.
도 9 는 이미지들에서 오브젝트들을 검출하기 위한 예시의 네트워크 아키텍쳐 (900) 를 도시한다. 하나의 양태에서, 네트워크 아키텍쳐는 단일의 신경망으로 이루어진다. 대안적으로, 선택적 구성에서, 네트워크 아키텍쳐는 이미지들에서 오브젝트들을 검출하기 위해 함께 공동으로 작동하는 다수의 신경망들을 포함한다.
네트워크 아키텍쳐 (900) 는 글로벌 경로 (904) 및 로컬 경로 (910) 으로 분할된다. 글로벌 경로 (904) 는 이미지에 존재하는 것의 글로벌 인상을 결정하기 위해 전체 이미지를 검사한다. 로컬 경로 (910) 는 이미지의 부분 (예를 들어, 로컬 영역) 을 검사하고 로컬 영역에 존재하는 것을 결정한다. 하나의 양태에서, 글로벌 경로 (904) 및 로컬 경로 (910) 는 동시적으로 실행될 수도 있다.
베이스 네트워크 (902) 는 콘볼루션 신경망 모듈을 포함하고 수신된 이미지 (920) 에 대해 다수의 계층들에서 콘볼루션들을 수행하도록 구성된다. 하나의 예에서, 베이스 네트워크 (902) 는 최대 풀링 (pooling) 대신에 평균 풀링을 이용할 수도 있다. 또한, 베이스 네트워크 (902) 는 트레이닝을 위해 구성될 수도 있다.
상술된 바와 같이, 베이스 네트워크 (902) 는 2 개의 경로들로 분할된다: 글로벌 경로 (904) 및 로컬 경로 (910). 글로벌 경로 (904) 는 2 개의 경로들로 분할된다: 이미지에 무슨 오브젝트들이 존재하는지 (콘텍스트 경로/'글로벌 홧 (what)') 및 오브젝트의 대략적인 로케이션/배치 (어텐션 (attention) 경로/"글로벌 훼어 (where)") 를 결정하기 위해 콘텍스트 경로 (906) ("글로벌 홧" 경로) 및 어텐션 경로 (908) ("글로벌 훼어" 경로). 로컬 경로 (910) 는 또한 2 개의 경로들로 분할된다: 무엇이 수신된 로컬화된 이미지에 존재하는지 (분류 경로, '로컬 홧') 및 관심있는 오브젝트가 로컬화된 이미지에서 정확히 어디에 로케이팅되는지 (로컬화 경로, '로컬 훼어') 를 추론하기 위해 분류 경로 (912) 및 로컬화 경로 (914). 또한, 콘텍스트 경로 (906), 어텐션 경로 (908), 분류 경로 (912) 및 로컬화 경로 (914) 는 모두 동시적으로 실행될 수도 있다.
이미지 (920) 가 베이스 네트워크 (902) 로 입력된다. 일단 이미지 (920) 가 입력되면, 베이스 네트워크 (902) 는 다수의 계층들에서 콘볼루션들을 수행하도록 구성된다. 하나의 예에서, 베이스 네트워크 (902) 는 글로벌 경로 (904) 및 로컬 경로 (910) 양자 모두로 14x14 이미지를 출력한다.
박스 (950) 에서, 글로벌 경로 (904) 는 수신된 이미지 (920) 를 다운샘플링한다. 예를 들어, 글로벌 경로 (904) 는 14x14 이미지를 7x7 이미지로 다운샘플링할 수도 있다. 네트워크의 로케이션 민감도를 보존하기 위해 최대 풀링 대신에 다운샘플링을 수행하기 위해 스트라이드 (stride) 가 이용될 수도 있다.
박스 (951) 에서, 콘볼루션 신경망 (CNN) 모듈은 다수의 계층들에서 콘볼루션들을 수행하고 콘텍스트 경로 (906) 및 어텐션 경로 (908) 로 출력을 전송한다. 박스 (952) 에서, 콘텍스트 경로 (906) 는 특정의 오브젝트들이 이미지 (920) 의 장면 (또는 윈도우) 에서 예상되는지 여부를 결정한다. 콘텍스트 경로 (906) 는 수신된 이미지들의 전체-이미지 콘텍스트를 제공하며, 이것은 그 후 로컬 경로 (910) 에 의한 분류를 위해 사용될 수도 있다. 특히, 콘텍스트 경로 (906) 는 분류 경로 (912) 로 출력 (962) 을 전송할 수도 있다.
박스 (953) 에서, 어텐션 경로 (908) 의 출력은 신뢰도 출력을 제공할 수도 있다. 특히, N 개의 프라이어 박스들 각각에 대해, 어텐션 경로 (908) 는 대응하는 윈도우에 관심있는 오브젝트가 존재하는지 여부를 시그널링하기 위해 로지스틱 (logistic) 출력들을 제공한다. 또한, 로지스틱 출력들은 경계 박스가 대응하는 프라이어에 매칭되었는지 여부에 기초하여 모듈 (971) 에서 트레이닝될 수도 있다. 어텐션 경로 (908) 는 필터들의 수를 허용가능한 수로 감소시키기 위해 콘볼루션 네트워크를 갖는 여분의 계층을 포함할 수도 있다. 또한, 박스 (953) 에서, 어텐션 경로 (908) 는 관심있는 오브젝트가 대응하는 윈도우에 존재하는지 여부를 나타내는 신호를 출력한다.
베이스 네트워크 (902) 로부터의 출력은 로컬 경로 (910) 로 피딩되고, 로컬 경로 (910) 는 그 후 박스 (960) 에서 이미지 (920) 를 크로핑 및 스케일링한다. CNN 모듈은 박스 (961) 에서 각 계층에서 콘볼루션들을 수행하고, 무엇이 수신된 이미지 (920) 에 존재하는지 (분류 경로, '로컬 홧') 및 관심있는 오브젝트가 정확히 어디에 로케이팅되는지 (로컬화 경로, '로컬 훼어') 를 추론하기 위해 분류 경로 (912) 및 로컬화 경로 (914) 로 그 출력을 분할한다. 분류 경로 (912) 는 콘텍스트 경로 (906) 로부터 수신된 콘텍스트 특징들에 의해 지원된다. 로컬화 경로 (914) 는 관심있는 오브젝트가 윈도우 내에서 어디에 있는지를 결정한다. 로컬화 경로 (914) 의 출력은 윈도우에 대해서이고, 글로벌 이미지 레벨로 다시 변환된다.
로컬 경로 (910) 는 그것이 무슨 프라이어 윈도우에 대해 동작하고 있는지를 아는 것으로부터 이익을 얻을 수도 있다. 예를 들어, 각각의 윈도우는 그 자신의 통계를 가질 수도 있고 네트워크는 이들 특정의 통계들에 적응할 수 있을 수도 있다. 크롭의 좌표들 및 프라이어의 ID 가 여분의 특징 맵들로서 로컬 경로 (910) 로 주입될 수도 있다. 예를 들어, 13 개의 채널들이 추가될 수도 있다 (4 개의 글로벌 프라이어 박스 좌표들, 4 개의 로컬 프라이어 박스 좌표들, 4 개의 윈도우 좌표들 및 프라이어 ID). 동일한 13 개의 값들이 모든 화소들에 걸쳐 반복될 수 있을 것이다. 예를 들어, 하늘이 관람되고 있다는 것이 알려져 있는 경우, 이러한 정보는 결정들을 행할 때 고려될 수 있다.
네트워크 아키텍쳐 (900) 는 트레이닝 모듈들 (971, 972, 973, 및 974) 을 이용하여 트레이닝될 수도 있다. 예를 들어, 트레이닝은 에러 백(back)-전파를 통해 수행될 수도 있다. 트레이닝 동안, 데이터 제공자 (도시하지 않음) 는 데이터 증대 (스케일링, 트랜슬레이션, 수평 미러링) 를 수행하고 이에 따라 경계 박스 주석들을 조정한다. 뷰의 밖에 있는 박스들은 폐기된다. 데이터 제공자는 동일한 프라이어에 대해 경합하는 박스들 사이의 임의의 충돌들을 해결하기 위해 양자간의 매칭을 사용하여 프라이어들 중 하나에 경계 박스들 각각을 매칭한다.
일단 매칭이 결정되었으면, 데이터 제공자는 "박스 존재" 입력을 생성한다. 이러한 입력은 대응하는 윈도우에서의 오브젝트의 존재 또는 부재를 시그널링하는 각 프라이어에 대한 하나의 이진수 값으로 이루어진다. 데이터 제공자는 그 후 로컬 경로 (910) 에 의한 트레이닝을 위해 윈도우를 고른다. 시도될 수도 있는 여러 휴리스틱들 (heuristics) 의 예들은 다음과 같다:
a) 먼저 어텐션 경로 (908) 를 트레이닝하고, 그 후 로컬 경로 (910) 를 트레이닝하기 위해 어텐션 경로 (908) 의 출력을 사용하는 것;
b) 데이터세트로부터 매칭된 경계 박스들에 대응하는 윈도우들을 선택하는 것;
c) 네거티브 예들로서 박스들을 갖는 랜덤 윈도우들을 선택하는 것; 및
d) 네거티브 예들에 대해 하드 네거티브 마이닝 (hard negative mining) 을 수행하는 것.
선택된 윈도우가 주어진 경우, 데이터 제공자는 박스 좌표들, 박스 라벨들 및 영역 선택을 생성한다 (모듈들 (973 및 974) 내에서 도시됨). 예를 들어, 모듈 (974) 는 관심있는 오브젝트와 더 타이트하게 피팅하기 위해 박스의 좌표들을 업데이트할 수 있다. 박스 좌표들은 경계 박스의 최소 및 최대 좌표들이다. 이들 좌표들은 0 내지 1 의 범위에 있고 로컬 윈도우에 상대적이다. 경계 박스가 윈도우 내에 존재하지 않는 경우, 그 윈도우에 대한 경계 박스 코스트 함수는 디스에이블될 수도 있다. 박스 라벨들은 M 개의 카테고리들 각각에 대해 포지티브, 네거티브 또는 스킵 값이다. 윈도우가 단지 부분적으로만 박스와 중첩하는 경우, 범위 0 내지 1 에서의 값들은 또한 경계 박스가 윈도우 밖에 부분적으로놓여 있다는 것을 나타내기 위해 사용될 수도 있다. 그러나, 데이터 증대 시스템에 기인한 폐색은 네트워트가 자연스럽게 발생하는 폐색과 구별하기가 어려울 수도 있다. 영역 선택은 크로핑 및/또는 스케일링을 위해 사용되도록 윈도우를 인코딩한다.
하나의 양태에서, 검출 태스크가 2 가지 타입들의 주석들과 함께 이용된다. 제 1 타입은 전체-이미지 (full-image) 주석이고 각 카테고리에 대해 포지티브/네거티브/스킵을 포함한다. 제 2 타입의 주석은 각 카테고리에 대해 포지티브 경계 박스들을 포함한다.
다수의 이미지들에 대해, 일부 경계 박스 주석들은 손실되어 있을 것이다. 손실된 박스 주석들은 박스의 현재의 입력이 다수의 포지티브들을 손실할 것이라는 것을 나타낸다. 이것은 그것이 이들 영역들에 대해 (올바르게) 트리거할 것이지만, 경계 박스 주석이 손실되어 있기 때문에 벌을 받기 때문에 어텐션 경로 (908) 의 품질을 열화시킨다. (트레이닝 모듈 (973) 로부터의) 로컬-경로 박스 라벨들의 입력은 경계 박스 레벨에서 손실된 주석들을 스킵하도록 설정하기 위해 전체-이미지 주석들 (이들이 완벽하다고 가정) 을 사용할 수도 있다.
로컬 경로 (910) 의 트레이닝을 가속화하기 위해, 로컬 경로의 다수의 카피들이 동시에 인스턴스화될 수도 있다. 이들 카피들은 그들 각각의 계층들 사이에서 가중치들을 공유한다. 데이터 제공자는 그 후 각 로컬 경로에 대해 윈도우를 선택한다. 또한, 로컬 경로는 각 프라이어에 대해 인스턴스화될 수도 있다. 이것은 상대적으로 낮은 코스트로 동시에 이미지에서의 모든 프라이어 윈도우들 및 모든 경계 박스 주석들에 대해 트레이닝한다. 또, 다른 예에서, 단일 로컬 경로는 모든 프라이어들을 포워드 전파하고, 최악의 수행 예들만을 백-전파하기 위해 이용되어, 본질적으로 온-더-플라이 하드-네거티브 마이닝을 야기할 수도 있다.
도 9 에 도시된 바와 같이, 네트워크 아키텍쳐 (900) 는 글로벌 및 로컬 네트워크들에서 장소 및 통로들을 커버하기 위해 (각각 트레이닝 모들들 (971, 972, 973, 및 974) 내에 로케이팅된) 4 개의 코스트 함수들을 갖는다. 스테이지들에서 또는 가중된 코스트 함수로, 이러한 네트워크를 트레이닝하기 위한 2 개의 주요 옵션들이 존재한다.
첫번째 방법에서, 공통 네트워크는 이미지들의 데이터베이스에 대해 프리-프레이닝되고 그 후 동결된다. 글로벌 및 로컬 네트워크들 각각은 그 후 홧 및 훼어 컴포넌트들 사이에서 가중된 코스트 함수를 사용하여 독립적으로 트레이닝된다.
두번째 방법에서, 모든 4 개의 출력들에 대한 결합된 코스트 함수는 다음과 같이 생성될 수도 있다:
알파 값들은 교차 타당화 (cross-validation) 를 통해 결정될 수도 있다. 선택적으로, 알파들은 그들을 합이 1 이 되게 강제할 알파들만에 대해 코스트 함수를 사용함으로써 학습될 수도 있다.
하나의 예에서, 네트워크 아키텍쳐 (900) 로의 추론은 먼저 (그것이 로컬 경로에 전체-이미지 콘텍스트 특징들을 제공하기 때문에) 콘텍스트 경로에 대해 실행되고, 그 후 가시적인 장소 및 가시적인 것을 결정하기 위해 각 로컬 윈도우에 대해 반복된다. 어텐션 경로 (908) 는 이러한 시나리오에서 무시될 수도 있다.
본 개시의 다른 양태는 전력 관리에 지향된다. 예를 들어, 모바일 설정에서, 검출은 작은 전력 사용으로 수행될 수도 있다. 특히, 어텐션 경로 및 콘텍스트 경로들은 로컬 경로에서 어떤 윈도우들을 평가할지에 대한 효율적인 표시자들로서 사용될 수도 있다. 예를 들어, 단지 상부 X 개의 윈도우들만이 체크될 수도 있거나, 어텐션 출력이 소정의 임계값 위에 있는 윈도우들만이 체크될 수도 있다.
하나의 양태에서, 효율적인 전력 관리를 적용하면서, 콘텍스트 경로 (906) 가 먼저 실행된다. 그것이 관심있는 오브젝트들이 (낮은 임계값을 갖는) 이미지 (920) 에서의 어딘가에 존재한다고 나타내는 경우, 어텐션 경로 (908) 가 그 후 가장 유망한 윈도우들을 결정하기 위해 실행될 수도 있다. 다음에, 가장 유망한 것으로 결정된 윈도우들 각각에 대해, 로컬 경로 (910) 가 이미지 (920) 에 존재하는 것 및 그 로케이션을 결정하기 위해 실행된다.
선택적으로, 다른 양태에서, 모든 4 개의 상부-레벨 경로들 (예를 들어, 콘텍스트 경로 (906), 어텐션 경로 (908), 분류 경로 (912) 및 로컬화 경로 (914)) 이 모든 이미지 (920) 에 대해 실행되지는 않는다. 콘텍스트 경로 (906) 는 특정의 오브젝트들이 장면에서 예상되는지 여부를 나타낼 수 있다. 예를 들어, "황혼" 의 콘텍스트는 오브젝트들에 대한 추가의 프로세싱을 보증하지 않을 수도 있지만, "축구 경기" 의 콘텍스트는 그것을 보증할 수도 있다. 따라서, 콘텍스트 경로 (906) (글로벌-홧) 는 모든 이미지 (920) 에 대해 실행될 수도 있고, 그 후 어텐션 경로 (908) (글로벌-훼어) 를 실행할지 여부에 대한 결정이 행해질 수도 있고 (분류 경로 (912) 및 로컬화 경로 (914) 를 포함하는) 로컬 경로 (910) 가 후속될 수도 있다.
또, 콘텍스트는 로컬 경로가 검색하는 카테고리들을 제한하거나 변경하기 위해 이용될 수도 있다. 어텐션 경로 (908) 는 콘텍스트 경로 (906) 또는 로컬 경로들 (예를 들어, 분류 경로 (912) 및 로컬화 경로 (914)) 이 실행되기 전에 이미지 (920) 에 흥미로운 오브젝트들이 존재하는지 여부를 결정하기 위해 사용될 수도 있다. (일부 임계값에 기초하여) 흥미로운 오브젝트들이 존재하지 않는 경우, 하나의 양태에서, 다른 경로들은 실행되지 않는다. 또한, 로컬화 경로 (914) 는 그 목표가 이미지에서 특정의 오브젝트의 존재 또는 부재를 결정하는 것일 때에만 스킵될 수도 있다. 예를 들어, 태스크가 특정의 개의 사진들을 위해 포토 갤러리를 검색하는 것인 경우, 사용자는 개가 사진 내에서 어디에 있는지는 관심이 없고, 단지 개가 이미지/사진 내의 어딘가에 있다는 것만에 관심이 있다.
네트워크 아키텍쳐 (900) 는, 도 9 에 도시된 바와 같이, 캐스케이드된 분류기로서 보여질 수도 있다. 어텐션 경로 (908) (예를 들어, 글로벌 훼어 경로) 는 관심있는 오브젝트가 프라이어 박스들 중 임의의 것 내에 존재할지 여부를 결정한다. 어텐션 경로 (908) 가 충분히 확신하는 경우, 분류 경로 (912) (예를 들어, 로컬 홧 경로) 가 더 정밀한 분류를 수행하기 위해 실행된다.
여분의 분류기가 이들 2 개의 단계들 사이에 삽입될 수도 있다. 이러한 분류기에 대한 입력은 박스 (960) 에서의 스케일 및 크롭으로부터 오는 특징들이다. 추가적인 분류기는 로컬 경로 (910) 를 통한 포워드 패스들 (forward passes) 의 수를 감소시키기 위해 어텐션 경로 (908) (글로벌 훼어 경로) 를 통과하는 박스들을 거절할 수도 있다. 하나의 양태에서, 분류기는 간단하고 상당한 계산적 오버헤드를 추가하지 않는다. 분류기는 서포트 벡터 머신 또는 완전 연결된 계층으로서 구현될 수도 있다.
대안적인 양태에서, 어텐션 경로 (908) 는 선택적 검색 모듈에 의해 대체될 수도 있다. 선택적으로, 다른 양태는 어텐션 경로 (908) 에서 프라이어 박스들에 대한 스코어들을 변조시키기 위해 그레디언트들의 백-전파를 이용한다. 클래스 돌출성 시각화 (class saliency visualization) 에 대한 기법은 신경망의 코스트 함수에서 인공적 에러 그레디언트를 생성하고, 이러한 그레디언트를 입력 이미지로 이러한 그레디언트를 백-전파함으로써 작동한다. 에러 그레디언트가 가장 큰 크기를 갖는 입력 이미지에서의 화소들은 오브젝트가 로케이팅되는 가능성있는 화소들이다. 이러한 기법은 어텐션 경로에서 프라이어 박스들에 대한 스코어들을 변조하기 위해 사용될 수도 있다. 특히, 콘텍스트 경로에서 가장 높은 스코어링 클래스들에 대한 에러 신호가 백-전파될 수도 있다. 또, (프라이어에 대응하는 전체 윈도우에 대한) 프라이어들 각각에 대한 그레디언트들의 크기가 집적된다. 결과의 값이 어텐션 경로 (908) 에 의해 생성된 스코어들을 업데이트하기 위해 사용된다. 백-전파는 또한 글로벌 콘텍스트 라벨들을 위해 모듈 (972) 에 적용될 수 있다.
하나의 구성에서, 머신 러닝 모델은 전체 이미지의 콘텍스트 라벨을 식별하기 위해 구성된다. 모델은 또한 식별된 콘텍스트 라벨에 기초하여 이미지에서 관심있는 오브젝트들을 검출할 가능성있는 영역들의 세트를 선택하기 위해 구성된다.
모델은 식별하는 수단, 및 선택하는 수단을 포함한다. 하나의 양태에서, 식별하는 수단, 및/또는 선택하는 수단은 범용 프로세서 (102), 범용 프로세서 (102) 와 연관된 프로그램 메모리, 메모리 블록 (118), 로컬 프로세싱 유닛들 (202), 및 또는 기재된 기능들을 수행하도록 구성된 라우팅 연결 프로세싱 유닛들 (216) 일 수도 있다. 다른 구성에서, 상술된 수단은 상술된 수단에 의해 기재된 기능들을 수행하도록 구성된 임의의 모듈 또는 임의의 장치일 수도 있다.
모델은 또한 트레이닝하는 수단 및 생성하는 수단을 포함할 수도 있다. 하나의 양태에서, 트레이닝 수단 및/또는 생성 수단은 범용 프로세서 (102), 범용 프로세서 (102) 와 연관된 프로그램 메모리, 메모리 블록 (118), 로컬 프로세싱 유닛들 (202), 및 또는 기재된 기능들을 수행하도록 구성된 라우팅 연결 프로세싱 유닛들 (216) 일 수도 있다.
본 개시의 소정의 양태들에 따르면, 각 로컬 프로세싱 유닛 (202) 은 모델의 원하는 하나 이상의 기능적 특징들에 기초하여 모델의 파라미터들을 결정하고, 결정된 파라미터들이 추가로 적응되고, 튜닝되며, 업데이트됨에 따라 하나 이상의 기능적 특징들을 원하는 기능적 특징들로 전개하도록 구성될 수도 있다.
상술된 방법들의 여러 동작들은 대응하는 기능들을 수행할 수 있는 임의의 적합한 수단에 의해 수행될 수도 있다. 그 수단은 회로, 주문형 반도체 (ASIC), 또는 프로세서를 포함하지만, 이들에 제한되지 않는 여러 하드웨어 및/또는 소프트웨어 컴포넌트(들) 및/또는 모듈(들) 을 포함할 수도 있다. 일반적으로, 도면들에 도시된 동작들이 존재하는 경우, 이들 동작들은 유사한 넘버링을 갖는 대응하는 카운터파트 수단-플러스-기능 컴포넌트들을 가질 수도 있다.
본원에서 이용되는 바와 같이, 용어 "결정하기" 는 매우 다양한 액션들을 망라한다. 예를 들어, "결정하기" 는 산출하기, 연산하기, 프로세싱하기, 도출하기, 조사하기, 검색하기 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 검색하기), 확인하기 등을 포함할 수도 있다. 또한, "결정하기" 는 수신하기 (예를 들어, 정보 수신하기), 액세스하기 (예를 들어, 메모리 내의 데이터에 액세스하기) 등을 포함할 수도 있다. 또한, "결정하기" 는 해결하기, 선택하기, 고르기, 설정하기 등을 포함할 수도 있다.
본원에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 구성부를 포함하여, 이러한 아이템들의 임의의 조합을 지칭한다. 예로서, "a, b, 또는 c" 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 를 포함하고자 한다.
본원 개시물과 연계하여 설명된 다양한 예증적인 논리 블록들, 모듈들, 및 회로들은 본원에서 개시된 기능들을 수행하도록 디자인된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그램가능한 게이트 어레이 (FPGA) 또는 다른 프로그램가능한 로직 디바이스 (PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있으나, 대안으로, 프로세서는 임의의 상업적으로 이용가능한 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.
본 개시물과 연계하여 설명된 방법의 단계들 또는 알고리즘은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 공지된 임의의 형태의 저장 매체 내에 있을 수도 있다. 이용될 수도 저장 매체들의 일부 예들은, 랜덤 액세스 메모리 (random access memory; RAM), 판독 전용 메모리 (read only memory; ROM), 플래시 메모리, 소거가능한 프로그램가능 판독 전용 메모리 (erasable programmable read-only memory; EPROM), 전기적으로 소거가능한 프로그램가능 판독 전용 메모리 (electrically erasable programmable read-only memory; EEPROM), 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령 또는 많은 명령들을 포함할 수도 있고, 상이한 프로그램들 사이에서 여러 상이한 코드 세그먼트들에 걸쳐, 그리고 다수의 저장 매체들에 걸쳐 분배될 수도 있다. 저장 매체는 프로세서에 연결되어, 프로세서가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다.
본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 단계들 또는 액션들에 대한 특정 순서가 명시되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.
설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어에서 구현된다면, 일 예시적인 하드웨어 구성은 디바이스에서의 프로세싱 시스템을 포함할 수도 있다. 프로세싱 시스템은 버스 아키텍쳐로 구현될 수도 있다. 버스는 프로세싱 시스템 및 전체 설계 제약들의 특정 애플리케이션들에 따라 임의의 개수의 상호연결하는 버스들 및 브리지들을 포함할 수도 있다. 버스는 프로세서, 머신-판독가능 매체들, 및 버스 인터페이스를 포함하여 다양한 회로들을 함께 링크할 수도 있다. 버스 인터페이스는 다른 것들 중에서 네트워크 어댑터를 버스를 통해 프로세싱 시스템에 연결하는데 이용될 수도 있다. 네트워크 어댑터는 신호 프로세싱 기능들을 구현하는데 이용될 수도 있다. 소정의 양태들에서, 사용자 인터페이스 (예를 들어, 키보드, 디스플레이, 마우스, 조이스틱 등) 가 또한 버스에 연결될 수도 있다. 버스는 또한 다양한 다른 회로들, 예컨대, 타이밍 소스들, 주변기기들, 전압 조절기들, 전력 관리 회로들 등을 링크할 수도 있으며, 이는 공지되어 있으므로, 더 이상 설명되지 않을 것이다.
프로세서는 컴퓨터 판독가능 매체 상에 저장된 소프트웨어의 실행을 포함하여 버스 및 범용 프로세싱을 관리하는 역할을 할 수도 있다. 프로세서는 하나 이상의 범용 및/또는 특수-목적용 프로세서들로 구현될 수도 있다. 예들은 마이크로프로세서들, 마이크로제어기들, DSP 제어기들, 및 소프트웨어를 실행할 수 있는 다른 회로부를 포함한다. 소프트웨어는 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 서술 언어, 또는 다른 것으로 지칭되더라도, 명령들, 데이터, 또는 이들의 임의의 조합을 의미하는 것으로 광범위하게 해석될 수 있다. 머신-판독가능 매체들은, 예로서, 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능한 판독 전용 메모리 (PROM), 소거가능한 프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그램가능 판독 전용 메모리 (EEPROM), 레지스터들, 자기 디스크들, 광학 디스크들, 하드 드라이브들, 또는 임의의 다른 적합한 저장 매체, 또는 이들의 임의의 조합을 포함할 수도 있다. 머신-판독가능 매체들은 컴퓨터-프로그램 제품으로 구체화될 수도 있다. 컴퓨터-프로그램 제품은 패키징 재료들을 포함할 수도 있다.
하드웨어 구현에서, 머신-판독가능 매체들은 프로세서와 별개인 프로세싱 시스템의 일부일 수도 있다. 그러나, 머신-판독가능 매체들, 또는 이의 임의의 부분은 프로세싱 시스템의 외부에 있을 수도 있음을 당업자들은 쉽게 이해할 것이다. 예로서, 머신-판독가능 매체들은 송신 라인, 데이터에 의해 변조된 반송파, 및/또는 디바이스와 별도인 컴퓨터 제품 포함할 수도 있으며, 이 모두는 버스 인터페이스를 통해 프로세서에 의해 액세스가능하게 될 수도 있다. 대안으로, 또는 이에 더해, 머신-판독가능 매체들, 또는 이들의 임의의 부분은 프로세서에 통합될 수도 있으며, 그러한 경우에는 캐시 및/또는 범용 레지스터 파일들과 함께 있을 수도 있다. 논의된 다양한 컴포넌트들이 로컬 컴포넌트와 같이 특정 위치를 갖는 것으로 설명되었으나, 그것들은 또한 소정의 컴포넌트들이 분산 컴퓨팅 시스템의 일부로서 구성되는 것과 같이 다양한 방식들로 구성될 수도 있다.
프로세싱 시스템은 프로세서 기능성을 제공하는 하나 이상의 마이크로프로세서들 및 적어도 일부분의 머신-판독가능 매체들을 제공하는 외부 메모리로 구현될 수도 있으며, 모두 외부 버스 아키텍쳐를 통해 다른 지원하는 회로부와 함께 링크된다. 대안으로, 프로세싱 시스템은 뉴런 모델들 및 본원에서 설명된 신경 시스템들의 모델들을 구현하기 위한 하나 이상의 뉴로모픽 프로세서들을 포함할 수도 있다. 다른 대안으로서, 프로세싱 시스템은 프로세서를 갖는 주문형 반도체 (ASIC), 버스 인터페이스, 사용자 인터페이스, 지원 회로부, 및 단일 칩 내에 통합되는 적어도 일부분의 머신-판독가능 매체들로, 또는 하나 이상의 필드 프로그램가능 게이트 어레이 (FPGA) 들, 프로그램가능 로직 디바이스 (PLD) 들, 제어기들, 상태 머신들, 게이트 로직, 이상 하드웨어 컴포넌트들, 또는 임의의 다른 적합한 회로부, 또는 본 개시물을 통해 설명된 다양한 기능성을 수행할 수 있는 회로들의 임의의 조합으로 구현될 수도 있다. 특정 응용 및 전체 시스템에 부과되는 전체 설계 제약들에 따라 본 개시물에 걸쳐 제시된 설명된 기능성을 가장 잘 구현하기 위한 방법을 당업자들은 인지할 것이다.
머신-판독가능 매체들은 다수의 소프트웨어 모듈들을 포함할 수도 있다. 소프트웨어 모듈들은, 프로세서에 의해 실행되는 경우, 프로세싱 시스템으로 하여금 다양한 기능들을 수행하게 하는 명령들을 포함한다. 소프트웨어 모듈들은 송신 모듈 및 수신 모듈을 포함할 수도 있다. 각각의 소프트웨어 모듈은 단일 저장 디바이스에 있을 수도 있거나 다수의 저장 디바이스들에 걸쳐 분산될 수도 있다. 예로서, 소프트웨어 모듈은 트리거링 이벤트가 발생하는 경우 하드웨어 드라이브로부터 RAM 으로 로딩될 수도 있다. 소프트웨어 모듈의 실행 중에, 프로세서는 액세스 속도를 증가시키기 위해 명령들의 일부를 캐시 내로 로딩할 수도 있다. 하나 이상의 캐시 라인들은 그러면 프로세서에 의한 실행을 위해 범용 레지스터 파일 내로 로딩될 수도 있다. 하기에서 소프트웨어 모듈의 기능성을 언급하는 경우, 그러한 기능성은 해당 소프트웨어 모듈로부터 명령들을 실행하는 경우 프로세서에 의해 구현된다는 것이 이해될 것이다. 또한, 본 개시의 양태들은 그러한 양태들을 구현하는 프로세서, 컴퓨터, 머신, 또는 다른 시스템의 기능에 대한 개선들을 야기한다.
소프트웨어로 구현된다면, 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 전송될 수도 있다. 컴퓨터-판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체들 및 컴퓨터 저장 매체들 양자 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터-판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결부는 컴퓨터-판독가능 매체라고 적절히 칭해진다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선 (IR), 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송된다면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피디스크 및 블루레이® 디스크를 포함하며, 여기서 디스크 (disk) 는 통상 자기적으로 데이터를 재생하고, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 따라서, 일부 양태들에서, 컴퓨터-판독가능 매체들은 비일시적 컴퓨터-판독가능 매체들 (예를 들어, 타입의 매체들) 을 포함할 수도 있다. 또한, 다른 양태들에 있어서, 컴퓨터-판독가능 매체들은 일시적 컴퓨터-판독가능 매체들 (예를 들어, 신호) 을 포함할 수도 있다. 위의 조합들도 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.
따라서, 소정의 양태들은 본원에 제시된 동작들을 수행하는 컴퓨터 프로그램 제품을 포함할 수도 있다. 예를 들어, 이러한 컴퓨터 프로그램 제품은 저장된 (및/또는 인코딩된) 명령들을 갖는 컴퓨터 판독가능 매체를 포함할 수도 있으며, 명령들은 본원에 설명된 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능할 수도 있다. 소정의 양태들에 있어서, 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수도 있다.
또한, 본원에 설명된 방법들 및 기법들을 수행하는 모듈들 및/또는 다른 적절한 수단은 다운로드될 수도 있고/있거나, 그렇지 않으면 가능한 적용가능한 사용자 단말 및/또는 기지국에 의해 획득될 수도 있다. 예를 들어, 본원에서 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하기 위한 서버에 디바이스가 연결될 수도 있다. 대안으로, 본원에 설명된 다양한 방법들이 저장 수단 (예를 들어, RAM, ROM, 물리적 컴팩트 디스크 (CD) 나 플로피 디스크와 같은 물리적 저장 매체 등) 을 통해 제공될 수도 있어, 사용자 단말 및/또는 기지국은 디바이스에 연결할 시에 또는 디바이스에 저장 수단을 제공할 시에 다양한 방법들을 획득할 수 있다. 또한, 본원에서 설명된 방법들 및 기술들을 디바이스에 제공하기 위해 임의의 다른 적절한 기술들이 활용될 수 있다.
청구항들은 위에서 예시된 정확한 구성 및 컴포넌트들로 제한되지 않는 것으로 이해되어야 한다. 청구항의 범위를 벗어나지 않으면서, 본원에서 설명된 시스템들, 방법들, 및 장치들의 배치, 동작 및 세부사항들에서 다양한 수정예들, 변경예들, 및 변형예들이 행해질 수도 있다.

Claims (28)

  1. 오브젝트 검출 장치에 의해 수행되는 오브젝트 검출의 방법으로서,
    딥 신경망 (DNN) 을 통해, 전체 이미지의 장면에 대응하는 콘텍스트 라벨을 식별하는 단계;
    상기 식별된 콘텍스트 라벨에 적어도 부분적으로 기초하여 상기 전체 이미지에서 관심있는 오브젝트를 포함할 것으로 예상되는 영역들의 세트를 선택하는 단계로서, 상기 영역들의 세트는 상기 전체 이미지에서 관심있는 상기 오브젝트를 로케이팅하기 이전에 선택되는, 상기 영역들의 세트를 선택하는 단계; 및
    상기 영역들의 세트에서 관심있는 상기 오브젝트를 검색하는 단계를 포함하는, 오브젝트 검출의 방법.
  2. 제 1 항에 있어서,
    상기 영역들의 세트를 정제하기 위해 상기 DNN 을 트레이닝하는 단계를 더 포함하는, 오브젝트 검출의 방법.
  3. 제 1 항에 있어서,
    사용자 입력에 적어도 부분적으로 기초하여 상기 콘텍스트 라벨을 생성하는 단계를 더 포함하는, 오브젝트 검출의 방법.
  4. 제 1 항에 있어서,
    비감독 학습에 적어도 부분적으로 기초하여 상기 콘텍스트 라벨을 생성하는 단계를 더 포함하는, 오브젝트 검출의 방법.
  5. 제 1 항에 있어서,
    상기 콘텍스트 라벨에 적어도 부분적으로 기초하여 상기 영역들의 세트를 생성하는 단계를 더 포함하는, 오브젝트 검출의 방법.
  6. 제 1 항에 있어서,
    다른 콘텍스트 라벨을 식별하는 단계; 및
    다른 식별된 콘텍스트 라벨에 적어도 부분적으로 기초하여, 관심있는 오브젝트들을 포함할 것으로 예상되는, 상기 전체 이미지 내의 영역들의 다른 세트를 선택하는 단계를 더 포함하는, 오브젝트 검출의 방법.
  7. 제 1 항에 있어서,
    상기 관심있는 오브젝트가 존재하는지 여부를 상기 영역들 각각에 대해 결정하기 위해 상기 DNN 을 트레이닝하는 단계를 더 포함하는, 오브젝트 검출의 방법.
  8. 제 1 항에 있어서,
    상기 콘텍스트 라벨에 따라 상기 영역들 각각을 분류하기 위해 상기 DNN 을 트레이닝하는 단계를 더 포함하는, 오브젝트 검출의 방법.
  9. 오브젝트 검출을 위한 장치로서,
    명령들을 저장하는 메모리; 및
    상기 메모리에 커플링된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는 상기 메모리에 저장된 명령들을 실행함으로써,
    딥 신경망 (DNN) 을 통해, 전체 이미지의 장면에 대응하는 콘텍스트 라벨을 식별하도록;
    상기 식별된 콘텍스트 라벨에 적어도 부분적으로 기초하여 상기 전체 이미지에서 관심있는 오브젝트를 포함할 것으로 예상되는 영역들의 세트를 선택하도록 하는 것으로서, 상기 영역들의 세트는 상기 전체 이미지에서 관심있는 상기 오브젝트를 로케이팅하기 이전에 선택되는, 상기 영역들의 세트를 선택하도록; 및
    상기 영역들의 세트에서 관심있는 상기 오브젝트를 검색하도록
    구성된, 오브젝트 검출을 위한 장치.
  10. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 상기 영역들의 세트를 정제하기 위해 상기 DNN 을 트레이닝하도록 구성되는, 오브젝트 검출을 위한 장치.
  11. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 사용자 입력에 적어도 부분적으로 기초하여 상기 콘텍스트 라벨을 생성하도록 구성되는, 오브젝트 검출을 위한 장치.
  12. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 비감독 학습에 적어도 부분적으로 기초하여 상기 콘텍스트 라벨을 생성하도록 구성되는, 오브젝트 검출을 위한 장치.
  13. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 상기 콘텍스트 라벨에 적어도 부분적으로 기초하여 상기 영역들의 세트를 생성하도록 구성되는, 오브젝트 검출을 위한 장치.
  14. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 또한,
    다른 콘텍스트 라벨을 식별하도록; 및
    다른 식별된 콘텍스트 라벨에 적어도 부분적으로 기초하여, 관심있는 오브젝트들을 포함할 것으로 예상되는, 상기 전체 이미지 내의 영역들의 다른 세트를 선택하도록
    구성되는, 오브젝트 검출을 위한 장치.
  15. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 관심있는 오브젝트가 존재하는지 여부를 상기 영역들 각각에 대해 결정하기 위해 상기 DNN 을 트레이닝하도록 구성되는, 오브젝트 검출을 위한 장치.
  16. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 상기 콘텍스트 라벨에 따라 상기 영역들 각각을 분류하기 위해 상기 DNN 을 트레이닝하도록 구성되는, 오브젝트 검출을 위한 장치.
  17. 기록된 비일시적 프로그램 코드를 갖는 오브젝트 검출을 위한 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 프로그램 코드는,
    딥 신경망 (DNN) 을 통해, 전체 이미지의 장면에 대응하는 콘텍스트 라벨을 식별하는 프로그램 코드;
    상기 식별된 콘텍스트 라벨에 적어도 부분적으로 기초하여 상기 전체 이미지에서 관심있는 오브젝트를 포함할 것으로 예상되는 영역들의 세트를 선택하는 프로그램 코드로서, 상기 영역들의 세트는 상기 전체 이미지에서 관심있는 상기 오브젝트를 로케이팅하기 이전에 선택되는, 상기 영역들의 세트를 선택하는 프로그램 코드; 및
    상기 영역들의 세트에서 관심있는 상기 오브젝트를 검색하는 프로그램 코드를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  18. 제 17 항에 있어서,
    상기 영역들의 세트를 정제하기 위해 상기 DNN 을 트레이닝하는 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  19. 제 17 항에 있어서,
    사용자 입력에 적어도 부분적으로 기초하여 상기 콘텍스트 라벨을 생성하는 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 제 17 항에 있어서,
    비감독 학습에 적어도 부분적으로 기초하여 상기 콘텍스트 라벨을 생성하는 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  21. 제 17 항에 있어서,
    상기 콘텍스트 라벨에 적어도 부분적으로 기초하여 상기 영역들의 세트를 생성하는 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  22. 제 17 항에 있어서,
    다른 콘텍스트 라벨을 식별하는 프로그램 코드; 및
    다른 식별된 콘텍스트 라벨에 적어도 부분적으로 기초하여, 관심있는 오브젝트들을 포함할 것으로 예상되는, 상기 전체 이미지 내의 영역들의 다른 세트를 선택하는 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  23. 제 17 항에 있어서,
    상기 관심있는 오브젝트가 존재하는지 여부를 상기 영역들 각각에 대해 결정하기 위해 상기 DNN 을 트레이닝하는 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  24. 제 17 항에 있어서,
    상기 콘텍스트 라벨에 따라 상기 영역들 각각을 분류하기 위해 상기 DNN 을 트레이닝하는 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  25. 무선 통신을 위한 장치로서,
    딥 신경망 (DNN) 을 통해, 전체 이미지의 장면에 대응하는 콘텍스트 라벨을 식별하는 수단;
    상기 식별된 콘텍스트 라벨에 적어도 부분적으로 기초하여 상기 전체 이미지에서 관심있는 오브젝트를 포함할 것으로 예상되는영역들의 세트를 선택하는 수단으로서, 상기 영역들의 세트는 상기 전체 이미지에서 관심있는 상기 오브젝트를 로케이팅하기 이전에 선택되는, 상기 영역들의 세트를 선택하는 수단; 및
    상기 영역들의 세트에서 관심있는 상기 오브젝트를 검색하는 수다을 포함하는, 무선 통신을 위한 장치.
  26. 제 25 항에 있어서,
    상기 영역들의 세트를 정제하기 위해 상기 DNN 을 트레이닝하는 수단을 더 포함하는, 무선 통신을 위한 장치.
  27. 제 25 항에 있어서,
    비감독 학습에 적어도 부분적으로 기초하여 상기 콘텍스트 라벨을 생성하는 수단을 더 포함하는, 무선 통신을 위한 장치.
  28. 제 25 항에 있어서,
    다른 콘텍스트 라벨을 식별하는 수단; 및
    다른 식별된 콘텍스트 라벨에 적어도 부분적으로 기초하여, 관심있는 오브젝트들을 포함할 것으로 예상되는, 상기 전체 이미지 내의 영역들의 다른 세트를 선택하는 수단을 더 포함하는, 무선 통신을 위한 장치.

KR1020187000472A 2015-07-09 2016-06-27 이미지들에서의 오브젝트 검출을 위한 콘텍스트-기반 프라이어들 KR102557512B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562190685P 2015-07-09 2015-07-09
US62/190,685 2015-07-09
US14/882,373 2015-10-13
US14/882,373 US10410096B2 (en) 2015-07-09 2015-10-13 Context-based priors for object detection in images
PCT/US2016/039651 WO2017007626A1 (en) 2015-07-09 2016-06-27 Context-based priors for object detection in images

Publications (2)

Publication Number Publication Date
KR20180028442A KR20180028442A (ko) 2018-03-16
KR102557512B1 true KR102557512B1 (ko) 2023-07-19

Family

ID=56373162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187000472A KR102557512B1 (ko) 2015-07-09 2016-06-27 이미지들에서의 오브젝트 검출을 위한 콘텍스트-기반 프라이어들

Country Status (7)

Country Link
US (1) US10410096B2 (ko)
EP (1) EP3320486A1 (ko)
JP (1) JP6743124B2 (ko)
KR (1) KR102557512B1 (ko)
CN (1) CN107851191B (ko)
BR (1) BR112018000502A2 (ko)
WO (1) WO2017007626A1 (ko)

Families Citing this family (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015085190A (ja) * 2013-09-25 2015-05-07 富士フイルム株式会社 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法
US20170068863A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Occupancy detection using computer vision
US10013640B1 (en) * 2015-12-21 2018-07-03 Google Llc Object recognition from videos using recurrent neural networks
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
US10878318B2 (en) 2016-03-28 2020-12-29 Google Llc Adaptive artificial neural network selection techniques
JP6708044B2 (ja) * 2016-07-28 2020-06-10 富士通株式会社 画像認識装置、画像認識プログラム、画像認識方法および認識装置
US10354159B2 (en) * 2016-09-06 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10346723B2 (en) * 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
WO2018140969A1 (en) * 2017-01-30 2018-08-02 Google Llc Multi-task neural networks with task-specific paths
EP3566177A1 (en) * 2017-02-03 2019-11-13 Siemens Aktiengesellschaft A method and apparatus for detecting objects of interest in images
US10546242B2 (en) 2017-03-03 2020-01-28 General Electric Company Image analysis neural network systems
KR101878490B1 (ko) * 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) 차선 인식 시스템 및 방법
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
EP3607489B1 (en) 2017-04-04 2023-05-24 Robert Bosch GmbH Direct vehicle detection as 3d bounding boxes using neural network image processing
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US20180314908A1 (en) * 2017-05-01 2018-11-01 Symbol Technologies, Llc Method and apparatus for label detection
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
JP7023613B2 (ja) * 2017-05-11 2022-02-22 キヤノン株式会社 画像認識装置および学習装置
JP7331172B2 (ja) * 2017-05-11 2023-08-22 キヤノン株式会社 画像認識装置および学習装置
WO2018209057A1 (en) 2017-05-11 2018-11-15 The Research Foundation For The State University Of New York System and method associated with predicting segmentation quality of objects in analysis of copious image data
CN108521820B (zh) 2017-06-06 2021-08-20 美的集团股份有限公司 使用深度神经网络的从粗略到精细的手部检测方法
CN111295669A (zh) * 2017-06-16 2020-06-16 马克波尔公司 图像处理系统
US11875250B1 (en) * 2017-06-19 2024-01-16 Amazon Technologies, Inc. Deep neural networks with semantically weighted loss functions
US10019654B1 (en) 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
JP6729516B2 (ja) * 2017-07-27 2020-07-22 トヨタ自動車株式会社 識別装置
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
JP6970553B2 (ja) * 2017-08-17 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
KR102521054B1 (ko) 2017-10-18 2023-04-12 삼성전자주식회사 조기 중단에 기반한 심층 신경망의 연산 제어 방법 및 시스템
US10510157B2 (en) * 2017-10-28 2019-12-17 Altumview Systems Inc. Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems
US10671918B2 (en) * 2017-10-24 2020-06-02 International Business Machines Corporation Attention based sequential image processing
US20190156204A1 (en) * 2017-11-20 2019-05-23 Koninklijke Philips N.V. Training a neural network model
US11416738B1 (en) * 2017-11-21 2022-08-16 Amazon Technologies, Inc. Model reutilization with heterogeneous sensor stacks via sensor data auto-normalization
US10586350B2 (en) 2017-12-03 2020-03-10 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
CN111670457B (zh) * 2017-12-03 2023-12-01 元平台公司 动态对象实例检测、分割和结构映射的优化
US10796452B2 (en) 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
CN107818326B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
US10453220B1 (en) 2017-12-29 2019-10-22 Perceive Corporation Machine-trained network for misalignment-insensitive depth perception
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
JP2019142304A (ja) * 2018-02-19 2019-08-29 株式会社明電舎 落下物検出装置及び落下物検出方法
US10740647B2 (en) 2018-03-14 2020-08-11 Adobe Inc. Detecting objects using a weakly supervised model
CN108509900A (zh) * 2018-03-29 2018-09-07 深圳前向启创数码技术有限公司 交通标志检测和识别方法、系统及存储介质
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10546389B2 (en) * 2018-04-06 2020-01-28 Elekta Ab (Publ) Devices and methods for identifying an object in an image
CN108830277B (zh) * 2018-04-20 2020-04-21 平安科技（深圳）有限公司 语义分割模型的训练方法、装置、计算机设备和存储介质
US10796200B2 (en) 2018-04-27 2020-10-06 Intel Corporation Training image signal processors using intermediate loss functions
KR102132383B1 (ko) * 2018-05-28 2020-07-09 슈어소프트테크주식회사 딥러닝 알고리즘 및 트리를 이용한 ui테스팅 자동화 방법 및 동일 방법으로 구현된 장치
CN108681752B (zh) * 2018-05-28 2023-08-15 电子科技大学 一种基于深度学习的图像场景标注方法
CN110555345B (zh) * 2018-06-01 2022-06-28 赛灵思电子科技(北京)有限公司 智能图像分析系统和方法
CN110580487A (zh) 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN108810413B (zh) * 2018-06-15 2020-12-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
EP3588371A3 (en) * 2018-06-25 2020-03-11 Panasonic Intellectual Property Corporation of America Information processing device, information processing method, and program
JP7268063B2 (ja) * 2018-06-29 2023-05-02 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 低電力のリアルタイムオブジェクト検出用のシステム及び方法
CN110717575B (zh) * 2018-07-13 2022-07-26 奇景光电股份有限公司 无帧缓冲器的卷积神经网络系统与方法
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
KR102051032B1 (ko) * 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US10304009B1 (en) * 2018-10-08 2019-05-28 StradVision, Inc. Learning method and testing method for object detector based on R-CNN, and learning device and testing device using the same
IL282172B2 (en) 2018-10-11 2024-02-01 Tesla Inc Systems and methods for training machine models with enhanced data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US10438082B1 (en) * 2018-10-26 2019-10-08 StradVision, Inc. Learning method, learning device for detecting ROI on the basis of bottom lines of obstacles and testing method, testing device using the same
CN109493326B (zh) * 2018-10-31 2021-07-20 广州蚁群信息科技有限公司 一种用于医疗检测领域的移动式识别分析系统
CN109492650B (zh) * 2018-10-31 2021-07-20 广州蚁群信息科技有限公司 一种基于神经网络的ivd图像识别判定方法
WO2020093792A1 (en) * 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving color quality of images
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) * 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
US10755128B2 (en) 2018-12-18 2020-08-25 Slyce Acquisition Inc. Scene and user-input context aided visual search
US11024187B2 (en) * 2018-12-19 2021-06-01 The Boeing Company Aircraft positioning on a taxiway
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US10402692B1 (en) * 2019-01-22 2019-09-03 StradVision, Inc. Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
US10395140B1 (en) * 2019-01-23 2019-08-27 StradVision, Inc. Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same
US10325185B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same
WO2020152627A1 (en) * 2019-01-23 2020-07-30 Aptiv Technologies Limited Automatically choosing data samples for annotation
US10387753B1 (en) * 2019-01-23 2019-08-20 StradVision, Inc. Learning method and learning device for convolutional neural network using 1×1 convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
US10325352B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Method and device for transforming CNN layers to optimize CNN parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization
US10496899B1 (en) * 2019-01-25 2019-12-03 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same
US10445611B1 (en) * 2019-01-25 2019-10-15 StradVision, Inc. Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US10373027B1 (en) * 2019-01-30 2019-08-06 StradVision, Inc. Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
US10423840B1 (en) * 2019-01-31 2019-09-24 StradVision, Inc. Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
US10373004B1 (en) * 2019-01-31 2019-08-06 StradVision, Inc. Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US20200293823A1 (en) * 2019-03-13 2020-09-17 Hitachi, Ltd. Method and system of auto build of image analytics program
EP3716157A1 (en) * 2019-03-28 2020-09-30 Canon Medical Systems Corporation Apparatus and method for training models
US11373298B2 (en) 2019-03-28 2022-06-28 Canon Medical Systems Corporation Apparatus and method for training neural networks using small, heterogeneous cohorts of training data
US11460850B1 (en) * 2019-05-14 2022-10-04 Zoox, Inc. Object trajectory from wheel direction
KR20200133863A (ko) 2019-05-20 2020-12-01 삼성전자주식회사 첨단 운전자 지원 장치, 이의 캘리브레이션 방법 및 이의 객체를 검출하는 방법
EP3975112A4 (en) 2019-05-23 2022-07-20 Konica Minolta, Inc. OBJECT DETECTION DEVICE, OBJECT DETECTION METHOD, PROGRAM AND RECORDING MEDIUM
US20220215648A1 (en) 2019-05-23 2022-07-07 Konica Minolta, Inc. Object detection device, object detection system, object detection method, program, and recording medium
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
CN114730498A (zh) 2019-06-14 2022-07-08 奇跃公司 跨现实系统中的可缩放三维对象识别
CN112149463B (zh) * 2019-06-27 2024-04-23 京东方科技集团股份有限公司 图像处理方法和装置
KR20210009458A (ko) * 2019-07-16 2021-01-27 삼성전자주식회사 객체 검출 방법 및 객체 검출 장치
US11302033B2 (en) 2019-07-22 2022-04-12 Adobe Inc. Classifying colors of objects in digital images
US11107219B2 (en) 2019-07-22 2021-08-31 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11468550B2 (en) 2019-07-22 2022-10-11 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11631234B2 (en) 2019-07-22 2023-04-18 Adobe, Inc. Automatically detecting user-requested objects in images
GB2586678B (en) * 2019-07-22 2022-06-22 Adobe Inc Utilizing multiple object detection models to automatically select user-requested objects in images
CN110427940A (zh) * 2019-08-05 2019-11-08 山东浪潮人工智能研究院有限公司 一种为物体检测模型生成预选框的方法
CN110533088A (zh) * 2019-08-16 2019-12-03 湖北工业大学 一种基于区分式卷积神经网络的场景文字语种识别方法
JP7021161B2 (ja) 2019-09-19 2022-02-16 ヤフー株式会社 学習装置、学習方法および学習プログラム
EP4058930A1 (en) * 2019-11-15 2022-09-21 Qualcomm Technologies, Inc. Context-driven learning of human-object interactions
CN112906726B (zh) * 2019-11-20 2024-01-16 北京沃东天骏信息技术有限公司 模型训练方法、图像处理方法、装置、计算设备、介质
CN110968725B (zh) * 2019-12-03 2023-04-28 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN111985518A (zh) * 2020-02-18 2020-11-24 广东三维家信息科技有限公司 门窗检测方法及其模型训练的方法、装置
US11468110B2 (en) 2020-02-25 2022-10-11 Adobe Inc. Utilizing natural language processing and multiple object detection models to automatically select objects in images
US11055566B1 (en) 2020-03-12 2021-07-06 Adobe Inc. Utilizing a large-scale object detector to automatically select objects in digital images
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
JP7098180B2 (ja) * 2020-04-15 2022-07-11 株式会社Ridge-i 情報処理装置、情報処理方法及び情報処理プログラム
CN111582409B (zh) * 2020-06-29 2023-12-26 腾讯科技（深圳）有限公司 图像标签分类网络的训练方法、图像标签分类方法及设备
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
CN111814726B (zh) * 2020-07-20 2023-09-22 南京工程学院 一种探测机器人视觉目标检测方法
KR102533140B1 (ko) * 2020-08-24 2023-05-17 경기대학교 산학협력단 심층 신경망을 이용한 장면 그래프 생성 시스템
KR102397079B1 (ko) * 2020-09-07 2022-05-12 울산과학기술원 단일 뉴럴 네트워크를 이용한 로봇 파지 방법 및 이를 수행하는 장치
CN112183258A (zh) * 2020-09-16 2021-01-05 太原理工大学 一种基于上下文信息和注意力机制的遥感图像道路分割方法
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
CN112347895A (zh) * 2020-11-02 2021-02-09 北京观微科技有限公司 一种基于边界优化神经网络的舰船遥感目标检测方法
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11769318B2 (en) * 2020-11-23 2023-09-26 Argo AI, LLC Systems and methods for intelligent selection of data for building a machine learning model
KR102435957B1 (ko) * 2020-11-27 2022-08-24 인하대학교 산학협력단 다양한 샘플을 이용하여 개선한 확률기반 사물검출기
US11943271B2 (en) 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
US11587234B2 (en) 2021-01-15 2023-02-21 Adobe Inc. Generating class-agnostic object masks in digital images
US11972569B2 (en) 2021-01-26 2024-04-30 Adobe Inc. Segmenting objects in digital images utilizing a multi-object segmentation model framework
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140185925A1 (en) 2013-01-02 2014-07-03 International Business Machines Corporation Boosting object detection performance in videos

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2835314B1 (fr) * 2002-01-25 2004-04-30 Airbus France Procede de guidage d'un aeronef en phase finale d'atterrissage et dispositif correspondant
US7089092B1 (en) * 2002-07-18 2006-08-08 Rockwell Collins, Inc. Airborne system and method for improving the integrity of electronic landing aids
JP3731672B2 (ja) * 2004-02-05 2006-01-05 秋田県 パターン抽出装置
CN102254150A (zh) * 2005-10-14 2011-11-23 尤尼森斯繁殖技术公司 细胞群的变化的测定
US8699767B1 (en) 2006-10-06 2014-04-15 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals
US8214309B1 (en) 2008-12-16 2012-07-03 Hrl Laboratories, Llc Cognitive-neural method for image analysis
US7852236B2 (en) * 2008-07-31 2010-12-14 Honeywell International Inc. Aircraft synthetic vision system for approach and landing
US8345921B1 (en) 2009-03-10 2013-01-01 Google Inc. Object detection with false positive filtering
US8625869B2 (en) * 2010-05-21 2014-01-07 Siemens Medical Solutions Usa, Inc. Visualization of medical image data with localized enhancement
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
US8509483B2 (en) * 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
US8379979B2 (en) * 2011-02-25 2013-02-19 Sony Corporation System and method for effectively performing a scene rectification procedure
US20130041529A1 (en) * 2011-08-11 2013-02-14 Honeywell International Inc. Aircraft vision system having redundancy for low altitude approaches
CA2852614A1 (en) * 2011-10-19 2013-04-25 The University Of Sydney Image processing and object classification
US9235799B2 (en) * 2011-11-26 2016-01-12 Microsoft Technology Licensing, Llc Discriminative pretraining of deep neural networks
US9619580B2 (en) * 2012-09-11 2017-04-11 International Business Machines Corporation Generation of synthetic context objects
US9053367B2 (en) * 2012-11-09 2015-06-09 Seiko Epson Corporation Detector evolution with multi-order contextual co-occurrence
KR102059913B1 (ko) * 2012-11-20 2019-12-30 삼성전자주식회사 태그 정보 저장 방법 및 장치와 태그 정보를 이용한 이미지 검색 방법 및 장치
CN103049763B (zh) * 2012-12-07 2015-07-01 华中科技大学 一种基于上下文约束的目标识别方法
CN103020971A (zh) * 2012-12-28 2013-04-03 青岛爱维互动信息技术有限公司 从图像中自动分割目标对象的方法
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
US9342759B1 (en) * 2013-03-14 2016-05-17 Hrl Laboratories, Llc Object recognition consistency improvement using a pseudo-tracklet approach
US9275308B2 (en) * 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9668699B2 (en) * 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9477908B2 (en) * 2014-04-10 2016-10-25 Disney Enterprises, Inc. Multi-level framework for object detection
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
WO2016020391A2 (en) * 2014-08-04 2016-02-11 Ventana Medical Systems, Inc. Image analysis system using context features
US9633306B2 (en) * 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
CN105302315A (zh) * 2015-11-20 2016-02-03 小米科技有限责任公司 图片处理方法及装置
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140185925A1 (en) 2013-01-02 2014-07-03 International Business Machines Corporation Boosting object detection performance in videos

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. Szegedy et al. ‘Scalable, High-Quality Object Detection,’ arXiv:1412.1441v2 [cs.CV] (2015.02.26.) 1부.*

Also Published As

Publication number Publication date
BR112018000502A2 (pt) 2018-09-11
CN107851191B (zh) 2022-08-26
CN107851191A (zh) 2018-03-27
JP6743124B2 (ja) 2020-08-19
JP2018526723A (ja) 2018-09-13
WO2017007626A1 (en) 2017-01-12
KR20180028442A (ko) 2018-03-16
US20170011281A1 (en) 2017-01-12
EP3320486A1 (en) 2018-05-16
US10410096B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
KR102557512B1 (ko) 이미지들에서의 오브젝트 검출을 위한 콘텍스트-기반 프라이어들
US10438068B2 (en) Adapting to appearance variations of a target object when tracking the target object in a video sequence
US10902615B2 (en) Hybrid and self-aware long-term object tracking
US10740654B2 (en) Failure detection for a neural network object tracker
KR102595399B1 (ko) 미지의 클래스들의 검출 및 미지의 클래스들에 대한 분류기들의 초기화
US10318848B2 (en) Methods for object localization and image classification
US10896342B2 (en) Spatio-temporal action and actor localization
US10878320B2 (en) Transfer learning in neural networks
US10275719B2 (en) Hyper-parameter selection for deep convolutional networks
US20180129742A1 (en) Natural language object tracking
KR102582194B1 (ko) 선택적 역전파
US20180129906A1 (en) Deep cross-correlation learning for object tracking
US10776628B2 (en) Video action localization from proposal-attention
KR102570706B1 (ko) 분류를 위한 강제된 희소성
US20160283864A1 (en) Sequential image sampling and storage of fine-tuned features
KR20170140214A (ko) 신경망을 위한 훈련 기준으로서의 필터 특이성
EP3329425A1 (en) Media classification
US20190108400A1 (en) Actor-deformation-invariant action proposals
US10002136B2 (en) Media label propagation in an ad hoc network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant