KR20210113242A - 검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체 - Google Patents

검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체 Download PDF

Info

Publication number
KR20210113242A
KR20210113242A KR1020217023154A KR20217023154A KR20210113242A KR 20210113242 A KR20210113242 A KR 20210113242A KR 1020217023154 A KR1020217023154 A KR 1020217023154A KR 20217023154 A KR20217023154 A KR 20217023154A KR 20210113242 A KR20210113242 A KR 20210113242A
Authority
KR
South Korea
Prior art keywords
convolution operation
extension rate
convolution
fixed
detector
Prior art date
Application number
KR1020217023154A
Other languages
English (en)
Inventor
준란 펑
밍 순
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210113242A publication Critical patent/KR20210113242A/ko

Links

Images

Classifications

    • G06K9/00885—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체에 관한 것으로, 상기 방법은 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 것과, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하고, 상기 상한 확장율을 상기 제1 서브 합성곱 조작의 확장율로 하고, 상기 하한 확장율을 상기 제2 서브 합성곱 조작의 확장율로 하는 것과, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것을 포함하는 것으로, 본 발명의 실시예에 배치되어 이루어지는 검출기는 대상물 검출에 필요한 시간을 감소시킬 수 있기 때문에, 실시간 장면에 적용 가능하다.

Description

검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체
본 발명은 2019년 8월 30일에 중국 특허청에 출원된 제201910816321.1호 「검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체」를 발명의 명칭으로 한 중국 특허출원의 우선권을 주장하고, 그 내용 전체가 인용에 의해 본 발명에 포함된다.
본 발명은 컴퓨터 시각 분야에 관한 것으로, 특히 검출기의 배치 방법 및 장치, 대상물 검출 방법 및 장치, 전자 기기 및 기억 매체에 관한 것이다.
대상물 검출은 컴퓨터 시각에서 매우 중요하며 기초가 되는 기술이고, 이미지에서 대상의 위치 및 종류를 검출하는 것을 목적으로 한다. 대상물 검출 기술은 예를 들면, 자동 운전 중의 보행자와 차량 검출, 스마트 홈의 생체 검출, 보안 감시에서의 보행자 검출 등 많은 분야에서 중요한 역할을 하고 있다. 얼굴 인식, 신원 인식, 대상 추적 등의 태스크에서는 대상을 잠그거나 초기 프레임을 제공하기 위해, 대상물 검출도 필수 불가결한 것이다. 실제 사용 장면에서는 대상의 스케일은 다양하고, 사이즈도 다양하다.
본 발명은 대상물 검출 기술을 제공한다.
본 발명의 일 측면에서는 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 것과, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우에, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하고, 상기 상한 확장율을 상기 제1 서브 합성곱 조작의 확장율로 하고, 상기 하한 확장율을 상기 제2 서브 합성곱 조작의 확장율로 하는 것과, 상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것을 포함하는 검출기의 배치 방법을 제공한다.
본 발명의 실시예에 있어서, 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 예를 들면, 상기 합성곱 조작의 고정 확장율이 소수인 경우, 상기 합성곱 조작을 확장율이 정수의 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해함으로써, 합성곱 연산 과정에서 바이리니어 보간 조작을 감소시킬 수 있고, 연산 속도를 높일 수 있다.
하나의 가능한 실시형태에서는 상기 검출기는 본체 네트워크를 포함하고, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 상기 본체 네트워크에서의 원래 합성곱 커널 치수가 지정 치수인 하나 이상의 합성곱 조작을 포함한다.
하나의 가능한 실시형태에서는 상기 검출기는 확장율 학습기를 추가로 구비하고, 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 것은 상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것과, 상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 것을 포함한다.
이 실시형태에서는 상기 합성곱 조작에 기초하여, 복수의 트레이닝 이미지의 제1 확장율에 대해 상기 합성곱 조작의 고정 확장율을 결정하기 때문에, 이와 같이 결정한 고정 확장율의 정밀도가 높고, 검출기에 의한 대상물 검출의 정밀도를 확보할 수 있다.
하나의 가능한 실시형태에서는 상기 확장율 학습기는 글로벌 평균 풀링층과 전체 결합층을 구비한다.
하나의 가능한 실시형태에서는 상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것은 상기 복수의 트레이닝 이미지 중 어느 것에 대해 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제2 확장율을 취득하는 것과, 상기 제2 확장율에 기초하여 상기 트레이닝 이미지에 대응하는 대상물 검출 결과를 취득하는 것과, 상기 트레이닝 이미지에 대응하는 대상물 검출 결과에 기초하여 상기 확장율 학습기의 파라미터를 갱신하는 것과, 파라미터가 갱신된 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것을 포함한다.
이 실시형태에서는 확장율 학습기에 의해 복수회의 학습을 행함으로써, 고정 확장율을 결정하기 위한 제1 확장율의 정밀도를 높일 수 있고, 결정된 고정 확장율의 정밀도를 높일 수 있고, 이에 의해, 검출기에 의한 대상물 검출의 정밀도를 확보할 수 있다.
하나의 가능한 실시형태에서는 상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 것은 상기 제1 확장율 평균값을 상기 합성곱 조작의 고정 확장율로서 결정하는 것을 포함한다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 것은 상기 합성곱 조작의 고정 확장율이 소수인 것과, 상기 합성곱 조작의 고정 확장율과, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수의 거리를 나타내는, 상기 합성곱 조작의 고정 확장율과 정수의 최소 거리가 제1 임계치보다 큰 것 중 어느 것을 포함한다.
이 실시형태에 의하면, 상기 합성곱 조작의 종방향 고정 확장율과 횡방향 고정 확장율 중 일방과 정수의 최소 거리가 제1 임계치 이하인 경우, 상기 일방을 분해할 필요가 없기 때문에, 검출기 배치의 연산량을 저감시킬 수 있다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하는 것은 상기 합성곱 조작의 고정 확장율보다 크고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율로 결정하는 것과, 상기 합성곱 조작의 고정 확장율보다 작고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 하한 확장율로 결정하는 것을 포함한다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것은 상기 합성곱 조작의 고정 확장율과 상기 하한 확장율의 차분에 기초하여, 상기 합성곱 조작에 대응하는 전체 차분 계수를 결정하는 것과, 상기 합성곱 조작의 출력 채널수와, 상기 합성곱 조작에 대응하는 전체 차분 계수에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것을 포함한다.
하나의 가능한 실시형태에서는 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정한 후, 상기 검출기의 파라미터를 최적화하기 위해 트레이닝용 대상물 이미지 세트를 사용하여 상기 검출기를 트레이닝하는 것을 추가로 포함한다.
본 발명의 일 측면에서는 피검출 이미지를 취득하는 것과, 상기 검출기의 배치 방법으로 트레이닝된 상기 검출기를 사용하여 상기 피검출 이미지에 대해 대상물 검출을 행하고, 상기 피검출 이미지에 대응하는 대상물 검출 결과를 취득하는 것을 포함하는 대상물 검출 방법을 제공한다.
본 발명의 일 측면에서는 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 제1 결정 모듈과, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우에, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하고, 상기 상한 확장율을 상기 제1 서브 합성곱 조작의 확장율로 하고, 상기 하한 확장율을 상기 제2 서브 합성곱 조작의 확장율로 하는 제2 결정 모듈과, 상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 제3 결정 모듈을 구비하는 검출기 배치 장치를 제공한다.
하나의 가능한 실시형태에서는 상기 검출기는 본체 네트워크를 포함하고, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 상기 본체 네트워크에서의 원래 합성곱 커널 치수가 지정 치수인 하나 이상의 합성곱 조작을 포함한다.
하나의 가능한 실시형태에서는 상기 검출기는 확장율 학습기를 추가로 구비하고, 상기 제1 결정 모듈은 상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 제1 결정 서브 모듈과, 상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 제2 결정 서브 모듈을 구비한다.
하나의 가능한 실시형태에서는 상기 확장율 학습기는 글로벌 평균 풀링층과 전체 결합층을 구비한다.
하나의 가능한 실시형태에서는 상기 제1 결정 서브 모듈은 상기 복수의 트레이닝 이미지 중 어느 것에 대해 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제2 확장율을 취득하고, 상기 제2 확장율에 기초하여 상기 트레이닝 이미지에 대응하는 대상물 검출 결과를 취득하고, 상기 트레이닝 이미지에 대응하는 대상물 검출 결과에 기초하여 상기 확장율 학습기의 파라미터를 갱신하고, 파라미터가 갱신된 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득한다.
하나의 가능한 실시형태에서는 상기 제2 결정 서브 모듈은 상기 제1 확장율 평균값을 상기 합성곱 조작의 고정 확장율로 결정한다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 것은 상기 합성곱 조작의 고정 확장율이 소수인 것과, 상기 합성곱 조작의 고정 확장율과, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수의 거리를 나타내는, 상기 합성곱 조작의 고정 확장율과 정수의 최소 거리가 제1 임계치보다 큰 것 중 어느 것을 포함한다.
하나의 가능한 실시형태에서는 상기 제2 결정 모듈은 상기 합성곱 조작의 고정 확장율보다 크고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율로 결정하는 제3 결정 서브 모듈과, 상기 합성곱 조작의 고정 확장율보다 작고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 하한 확장율로 결정하는 제4 결정 서브 모듈을 구비한다.
하나의 가능한 실시형태에서는 상기 제3 결정 모듈은 상기 합성곱 조작의 고정 확장율과 상기 하한 확장율의 차분에 기초하여, 상기 합성곱 조작에 대응하는 전체 차분 계수를 결정하는 제5 결정 서브 모듈과, 상기 합성곱 조작의 출력 채널수와, 상기 합성곱 조작에 대응하는 전체 차분 계수에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 제6 결정 서브 모듈을 구비한다.
하나의 가능한 실시형태에서는 상기 검출기의 파라미터를 최적화하기 위해 트레이닝용 대상물 이미지 세트를 사용하여 상기 검출기를 트레이닝하는 트레이닝 모듈을 추가로 포함한다.
본 발명의 일 측면에서는 피검출 이미지를 취득하는 취득 모듈과, 상기 검출기의 배치 장치로 트레이닝된 상기 검출기를 사용하여 상기 피검출 이미지에 대해 대상물 검출을 행하고, 상기 피검출 이미지에 대응하는 대상물 검출 결과를 취득하는 대상물 검출 모듈을 구비하는 대상물 검출 장치를 제공한다.
본 발명의 일 측면에서는 하나 이상의 프로세서와, 상기 하나 이상의 프로세서에 의해 판독되고 실행되면, 상기 검출기의 배치 방법을 실행하는 실행 가능한 명령을 기억하는, 상기 하나 이상의 프로세서에 관련된 메모리를 구비하는 전자 기기를 제공한다.
본 발명의 일 측면에서는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 검출기의 배치 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다.
본 발명의 일 측면에서는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 제공한다.
본 발명의 실시예에서, 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하고, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우에, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하고, 상기 상한 확장율을 상기 제1 서브 합성곱 조작의 확장율로 하고, 상기 하한 확장율을 상기 제2 서브 합성곱 조작의 확장율로 하고, 상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정함으로써, 검출기에서 확장 합성곱을 행하는 합성곱 조작을 분해하고, 이에 의해, 합성곱 연산 과정에서 시간이 걸리는 바이리니어 보간 조작을 감소시킬 수 있고, 이 때문에 연산 속도를 높일 수 있고, 대상물 검출에 필요한 시간을 감소시킬 수 있기 때문에, 실시간 장면에 적용 가능하다.
또한, 이상의 일반적인 설명 및 후술하는 상세한 설명은 예시적·해석적인 것에 불과하고, 본 발명을 제한하는 것은 아니다.
본 발명의 그 밖의 특징 및 측면이 보다 명확해지도록 이하에 도면을 참조하면서 예시적인 실시예를 상세히 설명한다.
본 명세서의 도면은 본 발명에 적합한 실시예를 나타내는 것으로서 명세서에 포함되고, 명세서의 일부분으로서 본문과 함께 본 발명을 설명하는 것이다.
도 1은 본 발명의 실시예에 따른 검출기의 배치 방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 검출기의 배치 방법의 확장율 학습기의 모식도이다.
도 3은 본 발명의 실시예에 따른 검출기의 배치 방법의 제1 서브 합성곱 조작 Convu에 대응하는 출력 채널수 및 제2 서브 합성곱 조작 Convl에 대응하는 출력 채널수의 모식도이다.
도 4는 본 발명의 실시예에 따른 검출기의 배치 방법의 검출기에서 확장 합성곱을 행하는 합성곱 조작을 2개의 서브 합성곱 조작 Convu, Convl으로 분해하는 모식도이다.
도 5는 본 발명의 실시예에 따른 검출기의 배치 방법의 모식도이다.
도 6은 본 발명의 실시예에 따른 검출기의 배치 장치의 블록도이다.
도 7은 본 발명의 실시예에 따른 전자 기기(800)의 블록도이다.
도 8은 본 발명의 실시예에 따른 전자 기기(1900)의 블록도이다.
이하, 도면을 참조하면서 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 부호는 동일하거나 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 측면을 나타냈지만, 특별히 언급하지 않는 한, 비례에 따라 도면을 그릴 필요가 없다.
본 명세서에서 사용되는 「예시적」이란 용어는 「예, 실시예, 또는 설명예로서의 역할을 하는 것」을 의미한다. 본 명세서에서 「예시적」으로 설명되는 임의의 실시예는 반드시 다른 실시예보다 바람직하거나 또는 유리한 것으로 해석되어서는 안된다.
본 명세서에서의 용어 「및/또는」이라는 용어는 관련된 사항의 관련성 관계를 설명하는 것으로서, 3개의 관계가 있을 수 있음을 의미하고, 예를 들면, A 및/또는 B란, A만, A와 B 양방, B만과 같은 3개의 경우를 나타낼 수 있다. 또한, 본 명세서에서 「하나 이상」 이라는 용어는 복수 중 어느 하나, 또는 복수 중 적어도 2개의 임의의 조합을 의미하고, 예를 들면, A, B, 및 C 중 하나 이상을 포함하는 것은 A, B 및 C로 이루어지는 군에서 선택된 어느 하나 또는 복수의 것을 포함하는 것을 나타낼 수 있다.
또한, 본 발명을 보다 잘 설명하기 위해 이하의 실시형태에서 다양한 상세 정보를 나타낸다. 약간의 상세 정보가 없어도 본 발명이 동일하게 실시할 수 있음을 당업자는 이해해야 한다. 일부 실시에서는 본 발명의 취지를 강조하기 위해 당업자에게 알려진 방법, 수단, 요소 및 회로에 대해서는 상세한 설명을 생략한다.
상술한 과제를 해결하기 위해, 본 발명의 실시예는 검출기의 배치 방법 및 장치, 대상물 검출 방법 및 장치, 전자 기기 및 기억 매체를 제공한다. 이에 의해, 대상물 검출에 필요한 시간을 감소시킬 수 있고, 실시간 장면에 적용 가능하다.
도 1은 본 발명의 실시예에 따른 검출기의 배치 방법의 흐름도이다. 상기 검출기의 배치 방법의 실행 본체는 검출기의 배치 장치여도 된다. 예를 들면, 상기 검출기의 배치 방법은 단말 장치 또는 서버 또는 그 밖의 처리 장치에 의해 실행되어도 된다. 여기서, 단말 장치로는 사용자 기기(User Equipment, UE), 모바일 디바이스, 사용자 단말, 단말, 휴대 전화, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 디바이스, 컴퓨팅 디바이스, 차재 디바이스, 웨어러블 디바이스 등을 들 수 있다. 일부 가능한 실시형태에서는 상기 검출기의 배치 방법은 프로세서가 메모리에 기억된 컴퓨터 판독 가능 명령을 불러냄으로써 실시할 수 있다. 상기 검출기의 배치 방법은 도 1에 나타내는 바와 같이, 단계(S11)∼단계(S13)을 포함한다.
단계(S11)로 진행하기 전에 검출기의 타입 및 검출기의 본체 네트워크를 결정해도 된다. 예를 들면, 검출기의 타입으로서, Faster-RCNN, RFCN, RetinaNet 또는 SSD를 들 수 있고, 검출기의 본체 네트워크로서, VGG, ResNet, ResNeXt 등을 들 수 있다.
단계(S11)에서는 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정한다.
본 발명의 실시예에 있어서, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작의 수는 1개 이상이다. 예를 들면, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 일부 또는 모든 합성곱 조작이어도 된다. 즉, 상기 검출기는 확장 합성곱을 행하는 합성곱 조작을 포함해도 되고, 확장 합성곱을 행하지 않는 합성곱 조작을 포함해도 된다.
본 발명의 실시예에서, 검출기의 동일한 합성곱 조작은 상이한 트레이닝 이미지에 대한 확장율이 상이해도 되고, 동일해도 된다. 검출기의 상이한 합성곱 조작은 동일한 트레이닝 이미지에 대한 확장율이 상이해도 되고, 동일해도 된다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 합성곱 커널이 2개의 차원을 포함하는 경우는 상기 합성곱 조작의 확장율은 종방향 확장율과 횡방향 확장율을 포함할 수 있다. 상기 합성곱 조작의 종방향 확장율과 횡방향 확장율은 상이해도 되고, 동일해도 된다. 예를 들면, 고정 확장율은 종방향 고정 확장율과 횡방향 고정 확장율을 포함할 수 있다. 후술하는 제1 확장율은 제1 종방향 확장율과 제1 횡방향 확장율을 포함할 수 있고, 제2 확장율은 제2 종방향 확장율과 제2 횡방향 확장율을 포함할 수 있다. 합성곱 조작이 상이한 차원에 대응하는 확장율을 배치함으로써, 검출기에서의 합성곱 조작의 합성곱 커널 치수를 보다 유연하게 할 수 있고, 이렇게 얻어진 검출기는 대상물 검출의 정밀도를 더욱 향상시킬 수 있다.
다른 가능한 실시형태에서는 상기 합성곱 조작의 확장율은 종방향 확장율과 횡방향 확장율로 구분되지 않아도 된다. 이 실시형태에서는 상기 합성곱 조작의 종방향 확장율과 횡방향 확장율이 동일한 것으로 상정할 수 있고, 즉 상기 합성곱 조작의 상이한 차원의 확장율이 동일한 것으로 상정할 수 있다.
하나의 가능한 실시형태에서는 팽창의 합성곱 커널 치수＝확장율×(원래 합성곱 커널 치수-1)＋1이 된다. 예를 들면, 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 확장율이 종방향 확장율과 횡방향 확장율을 포함하는 경우, 팽창의 합성곱 커널의 종방향 치수＝종방향 확장율×(원래 합성곱 커널 종방향 치수-1)＋1, 팽창의 합성곱 커널 횡방향 치수＝횡방향 확장율×(원래 합성곱 커널 횡방향 치수-1)＋1이 된다.
하나의 가능한 실시형태에서는 상기 검출기는 본체 네트워크를 포함하고, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 상기 본체 네트워크에서의 원래 합성곱 커널 치수가 지정 치수인 하나 이상의 합성곱 조작을 포함한다. 예를 들면, 지정 치수는 3×3이어도 되고, 5×5, 7×7 등이어도 된다.
이 실시형태의 하나의 예로서, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 본체 네트워크에서의 원래 합성곱 커널 치수가 지정 치수인 모든 합성곱 조작을 포함한다. 예를 들면, 본체 네트워크는 ResNet이고, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 ResNet의 conv2, conv3, conv4, conv5에서의 모든 3×3 합성곱 조작을 포함할 수 있다.
이 실시예의 다른 예로서, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 본체 네트워크에서의 원래 합성곱 커널 치수가 지정 치수인 일부 합성곱 조작을 포함한다. 예를 들면, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 상기 본체 네트워크의 지정된 합성곱층에서의 원래 합성곱 커널 치수가 지정 치수인 하나 이상의 합성곱 조작을 포함할 수 있다. 예를 들면, 본체 네트워크는 ResNet이고, 지정된 합성곱층은 conv3, conv4, conv5여도 되고, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 ResNet의 conv3, conv4, conv5에서의 모든 3×3 합성곱 조작을 포함할 수 있다. 이 예에서, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 conv2에서의 3×3 합성곱 조작을 포함하지 않아도 된다.
다른 가능한 실시형태에서는 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 본체 네트워크의 지정된 합성곱층에서의 합성곱 조작을 포함할 수 있다. 예를 들면, 본체 네트워크는 ResNet이고, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 conv2, conv3, conv4, conv5에서의 합성곱 조작을 포함할 수 있다.
다른 가능한 실시형태에서는 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 본체 네트워크 이외의 합성곱 조작을 추가로 포함할 수 있다. 예를 들면, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 본체 네트워크 이외의, 원래 합성곱 커널 치수가 지정 치수인 합성곱 조작을 추가로 포함할 수 있다.
하나의 가능한 실시형태에서는 상기 검출기는 확장율 학습기를 추가로 구비하고, 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 것은 상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것과, 상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 것을 포함한다. 이 실시형태에서는 상기 합성곱 조작에 기초하여, 복수의 트레이닝 이미지에 대한 제1 확장율에 대해 상기 합성곱 조작의 고정 확장율을 결정하기 때문에, 이와 같이 결정한 고정 확장율의 정밀도가 높고, 검출기에 의한 대상물 검출의 정밀도를 확보할 수 있다.
이 실시형태에서는 확장율 학습기는 트레이닝 이미지에 대한 상기 합성곱 조작의 확장율을 학습하는 것으로서 이용할 수 있다. 확장율 학습기는 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작에 일대일로 대응하고 있어도 된다. 즉, 하나의 확장율 학습기는 확장 합성곱을 행하는 하나의 합성곱 조작의 확장율을 학습하는 것으로서 이용할 수 있다. 이 실시형태에서는 확장율 학습기는 확장 합성곱을 행하는 합성곱 조작과 당해 확장 합성곱을 행하는 합성곱 조작보다 이전의 조작 사이에 배치할 수 있다.
이 실시형태 중 하나의 예로서, 상기 확장율 학습기는 글로벌 평균 풀링층과 전체 결합층을 구비한다. 예를 들면, 확장율 학습기는 하나의 글로벌 평균 풀링층과 1개의 전체 결합층을 구비하는 것이어도 된다. 이 예에서 글로벌 평균 풀링 조작과 전체 결합 조작에 의해, 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득할 수 있다. 예를 들면, 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해, 상기 합성곱 조작보다 이전의 특징(즉, 검출기의 초기 구성에서의 상기 합성곱 조작의 입력 특징 맵)을 글로벌 평균 풀링 조작과 전체 결합 조작에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 확장율을 예측할 수 있다. 도 2는 본 발명의 실시예에 따른 검출기의 배치 방법의 확장율 학습기의 모식도이다. 도 2에 나타내는 바와 같이, 확장율 학습기는 글로벌 평균 풀링(GAP, Global Average Pooling)층과 전체 결합층을 구비하는 것이면 된다. 전체 결합층은 선형(Linear)층이어도 된다. 도 2에 나타내는 바와 같이, 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작 전에 글로벌 평균 풀링층과 전체 결합층의 각각에 접속하고, 상기 합성곱 조작을 변형 가능한 합성곱으로 치환하고, 예측한 확장율을 사용하여 합성곱 조작을 행할 수 있다.
이 실시형태의 하나의 예로서, 상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것은 상기 복수의 트레이닝 이미지 중 어느 것에 대해 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제2 확장율을 취득하는 것과, 상기 제2 확장율에 기초하여 상기 트레이닝 이미지에 대응하는 대상물 검출 결과를 취득하는 것과, 상기 트레이닝 이미지에 대응하는 대상물 검출 결과에 기초하여 상기 확장율 학습기의 파라미터를 갱신하는 것과, 파라미터가 갱신된 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것을 포함한다.
이 예에서, 상기 복수의 트레이닝 이미지 중 어느 것에 대해 상기 트레이닝 이미지에 대한 상기 검출기에서 확장 합성곱을 행하는 각각의 합성곱 조작의 제2 확장율에 기초하여 확장 합성곱을 행하는 각각의 합성곱 조작에 대응하는 팽창의 합성곱 커널 치수를 결정하고, 팽창 후의 검출기에 기초하여, 상기 트레이닝 이미지에 대응하는 대상물 검출 결과를 취득할 수 있다. 상기 트레이닝 이미지에 대응하는 대상물 검출 결과는 상기 트레이닝 이미지 중 대상물 검출 프레임의 위치 정보와, 상기 트레이닝 이미지가 각 분류에 속할 확률을 포함할 수 있다. 상기 트레이닝 이미지에 대응하는 대상물 검출 결과 및 상기 트레이닝 이미지의 실제 값에 기초하여, 검출기의 손실 함수의 값을 얻을 수 있기 때문에, 검출기의 손실 함수의 값에 기초하여, 상기 확장율 학습기의 파라미터를 갱신할 수 있다. 어느 트레이닝 이미지에 대해 확장율을 트레이닝하는 횟수는 소정값이어도 된다. 예를 들면, 소정값은 13이어도 된다. 또는 어느 트레이닝 이미지에 대해 확장율이 수렴될 때까지 트레이닝해도 된다. 이 예에서, 확장율 학습기에 의해 복수회의 학습을 행함으로써, 고정 확장율을 결정하기 위한 제1 확장율의 정밀도를 높일 수 있고, 결정된 고정 확장율의 정밀도를 높일 수 있고, 이에 의해 검출기에 의한 대상물 검출의 정밀도를 확보할 수 있다.
이 예에서, 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율은 상기 트레이닝 이미지의 트레이닝 종료 후의, 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 확장율이어도 된다. 즉, 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율은 상기 트레이닝 이미지에 대해 확장율을 트레이닝하는 횟수가 소정값에 도달한 후의, 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 확장율이어도 되고, 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 수렴된 확장율이어도 된다.
이 예에서, 검출기는 상이한 트레이닝 이미지의 각각에 대해 확장율을 트레이닝함으로써 검출기의 확장 합성곱을 행하는 합성곱층 중 어느 것에 대해서도 복수의 트레이닝 이미지에 대응하는 복수의 제1 확장율을 취득할 수 있다.
이 실시형태의 하나의 예로서, 상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 것은 상기 제1 확장율 평균값을 상기 합성곱 조작의 고정 확장율로 결정하는 것을 포함한다. 예를 들면, 상기 합성곱 조작의 고정 확장율이 종방향 고정 확장율과 횡방향 고정 확장율을 포함하는 경우, 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 종방향 확장율 평균값을 상기 합성곱 조작의 종방향 고정 확장율로 결정하고, 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 횡방향 확장율의 평균값을 상기 합성곱 조작의 횡방향 고정 확장율로 결정할 수 있다. 예를 들면, 종방향 고정 확장율이 1.7, 횡방향 고정 확장율이 2.9이다.
이 예에서, 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해, 일부 트레이닝 이미지(예를 들면, 1000장의 트레이닝 이미지)에 대한 상기 합성곱 조작의 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정할 수 있다. 예를 들면, 검출기의 conv3의 첫 번째의 3×3 합성곱 조작에 대해, 1000장의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율에 기초하여, 상기 합성곱 조작의 고정 확장율을 결정할 수 있다. 또는 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해, 모든 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정할 수도 있다.
단계(S12)에서는 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하고, 상기 상한 확장율을 상기 제1 서브 합성곱 조작의 확장율로 하고, 상기 하한 확장율을 상기 제2 서브 합성곱 조작의 확장율로 한다.
예를 들면, 상기 합성곱 조작의 고정 확장율이 D, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율이 Du, 상기 합성곱 조작의 고정 확장율에 대응하는 하한 확장율이 Dl이다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 것은 상기 합성곱 조작의 고정 확장율이 소수인 것과, 상기 합성곱 조작의 고정 확장율과, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수의 거리를 나타내는, 상기 합성곱 조작의 고정 확장율과 정수의 최소 거리가 제1 임계치보다 큰 것 중 어느 것을 포함한다.
이 실시형태의 하나의 예로서, 상기 합성곱 조작의 고정 확장율이 종방향 고정 확장율과 횡방향 고정 확장율을 포함하는 경우, 상기 합성곱 조작의 고정 확장율이 소수인 것은 상기 합성곱 조작의 종방향 고정 확장율과 횡방향 고정 확장율 중 적어도 일방은 소수인 것이어도 된다.
이 실시형태의 하나의 예로서, 상기 합성곱 조작의 고정 확장율이 종방향 고정 확장율과 횡방향 고정 확장율을 포함하는 경우, 상기 합성곱 조작의 고정 확장율과 정수의 최소 거리가 제1 임계치보다 큰 것은 상기 합성곱 조작의 종방향 고정 확장율과 횡방향 고정 확장율 중 적어도 일방과 정수의 최소 거리가 제1 임계치보다 크다. 예를 들면, 제1 임계치가 0.05, 어느 합성곱 조작의 종방향 고정 확장율이 2.02, 횡방향 고정 확장율이 1.7인 경우, 상기 합성곱 조작의 종방향 고정 확장율과 정수의 최소 거리는 0.02로 제1 임계치보다 작고, 상기 합성곱 조작의 횡방향 고정 확장율과 정수의 최소 거리는 0.3으로 제1 임계치보다 크기 때문에, 상기 합성곱 조작은 분해 조건을 만족하는 것으로 판정할 수 있다.
하나의 예에 있어서, 상기 합성곱 조작의 종방향 고정 확장율과 횡방향 고정 확장율 중 일방과 정수의 최소 거리가 제1 임계치 이하이고, 타방과 정수의 최소 거리가 제1 임계치보다 큰 경우, 타방에 기초하여 분해할 수 있다. 예를 들면, 상기 합성곱 조작의 종방향 고정 확장율이 2.02, 횡방향 고정 확장율이 1.7인 경우, 제1 서브 합성곱 조작은 종방향 확장율이 2, 횡방향 확장율이 2, 제2 서브 합성곱 조작은 종방향 확장율이 2, 횡방향 확장율이 1이다. 이 예에서, 상기 합성곱 조작의 종방향 고정 확장율과 횡방향 고정 확장율 중 일방과 정수의 최소 거리가 제1 임계치 이하인 경우, 상기 일방을 분해할 필요가 없기 때문에, 검출기 배치의 연산량을 저감시킬 수 있다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하는 것은 상기 합성곱 조작의 고정 확장율보다 크고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율로 결정하는 것과, 상기 합성곱 조작의 고정 확장율보다 작고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 하한 확장율로 결정하는 것을 포함한다. 예를 들면, 종방향 고정 확장율이 1.7, 횡방향 고정 확장율이 2.9인 경우, 종방향 상한 확장율을 2, 종방향 하한 확장율을 1, 횡방향 상한 확장율을 3, 횡방향 하한 확장율을 2로 결정할 수 있다. 이 예에서, 종방향 상한 확장율 2, 횡방향 상한 확장율 3을 제1 서브 합성곱 조작의 확장율로 결정하고, 종방향 하한 확장율 1, 횡방향 하한 확장율 2를 제2 서브 합성곱 조작의 확장율로 결정할 수 있다.
본 발명의 실시예에 있어서, 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 예를 들면, 상기 합성곱 조작의 고정 확장율이 소수인 경우, 상기 합성곱 조작을 확장율이 정수의 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해함으로써, 합성곱 연산 과정에서 바이리니어 보간 조작을 감소시킬 수 있고, 연산 속도를 높일 수 있다.
단계(S13)에서는 상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정한다.
예를 들면, 상기 합성곱 조작의 출력 채널수가 C, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수가 Cu, 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수가 Cl이다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것은 상기 합성곱 조작의 고정 확장율과 상기 하한 확장율의 차분에 기초하여, 상기 합성곱 조작에 대응하는 전체 차분 계수를 결정하는 것과, 상기 합성곱 조작의 출력 채널수와, 상기 합성곱 조작에 대응하는 전체 차분 계수에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것을 포함한다.
이 실시형태에서는 상기 합성곱 조작의 고정 확장율(D)와 상기 하한 확장율 (Dl)의 차분(D-Dl)에 기초하여, 상기 합성곱 조작에 대응하는 전체 차분 계수를 결정할 수 있다.
이 실시형태의 하나의 예로서, 상기 합성곱 조작의 고정 확장율이 종방향 고정 확장율과 횡방향 고정 확장율을 포함하는 경우, 상기 합성곱 조작의 종방향 고정 확장율과 종방향 하한 확장율의 제1 차분을 결정하고, 상기 합성곱 조작의 횡방향 고정 확장율과 횡방향 하한 확장율의 제2 차분을 결정하고, 제1 차분과 2 차분의 평균값을 상기 합성곱 조작에 대응하는 전체 차분 계수로 할 수 있다. 예를 들면, 상기 합성곱 조작의 고정 확장율이 종방향 고정 확장율 1.7과 횡방향 고정 확장율 2.9를 포함하고, 상기 합성곱 조작의 종방향 고정 확장율 1.7과 종방향 하한 확장율 1의 제1 차분a종＝0.7, 상기 합성곱 조작의 횡방향 고정 확장율 2.9와 횡방향 하한 확장율 2의 제2 차분a횡＝0.9인 경우, 상기 합성곱 조작에 대응하는 전체 차분 계수a＝0.8이다.
예를 들면, 제1 서브 합성곱 조작에 대응하는 출력 채널수 Cu＝aC, 제2 서브 합성곱 조작에 대응하는 출력 채널수 Cl＝(1-a)C이다.
도 3은 본 발명의 실시예에 따른 검출기의 배치 방법의 제1 서브 합성곱 조작 Convu에 대응하는 출력 채널수 및 제2 서브 합성곱 조작 Convl에 대응하는 출력 채널수의 모식도이다. 도 3에서 제1 서브 합성곱 조작 Convu는 종방향 확장율이 2, 횡방향 확장율이 3이고, 제2 서브 합성곱 조작 Convl는 종방향 확장율이 1, 횡방향 확장율이 2이다. H×W×Cin은 상기 합성곱 조작의 입력 특징 맵의 높이, 폭 및 채널수를 나타내므로, 제1 서브 합성곱 조작 Convu와 제2 서브 합성곱 조작 Convl의 입력 특징맵의 높이, 폭 및 채널수도 H×W×Cin이다. Cout이 상기 합성곱 조작의 출력 채널수, 상기 합성곱 조작의 종방향 고정 확장율이 1.7, 횡방향 고정 확장율이 2.9이다. 제1 서브 합성곱 조작 Convu에 대응하는 출력 채널수가 0.8, 제2 서브 합성곱 조작 Convl에 대응하는 출력 채널수가 0.2이다.
당연히 다른 가능한 실시형태에서는 상기 합성곱 조작의 고정 확장율과 상기 상한 확장율의 차분에 기초하여, 상기 합성곱 조작에 대응하는 전체 차분 계수를 결정해도 된다.
본 발명의 실시예에서, 검출기에서 확장 합성곱을 행하는 합성곱 조작을 분해함으로써, 합성곱 연산 과정에서 시간이 걸리는 바이리니어 보간 조작을 감소시킬 수 있고, 이 때문에, 연산 속도를 높일 수 있고, 대상물 검출에 필요한 시간을 감소시킬 수 있기 때문에, 실시간 장면에 적용 가능하다.
하나의 가능한 실시형태에서는 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정한 후, 상기 검출기의 파라미터를 최적화하기 위해 트레이닝용 대상물 이미지 세트를 사용하여 상기 검출기를 트레이닝하는 것을 추가로 포함한다.
이 실시형태에서는 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정한 후, 검출기는 확장율 학습기를 구비하지 않아도 되고, 검출기에서 확장 합성곱을 행하는 합성곱 조작을 2개의 서브 합성곱 조작으로 분해해도 된다. 도 4는 본 발명의 실시예에 따른 검출기의 배치 방법의 검출기에서 확장 합성곱을 행하는 합성곱 조작을 2개의 서브 합성곱 조작 Convu, Convl로 분해하는 경우의 모식도이다.
도 5는 본 발명의 실시예에 따른 검출기의 배치 방법의 모식도이다. 도 5에 나타내는 바와 같이, 검출기의 본체 네트워크는 ResNet이고, Res2, Res3, Res4, Res5에서의 3×3 합성곱 조작을 분해하고, Res2, Res3, Res4, Res5에서의 3×3 합성곱 조작의 각각을 각각 2개의 서브 합성곱 조작으로 분해한다.
하나의 가능한 실시형태에서는 검출기를 트레이닝할 때, 운동량이 0.9, 가중치 감쇠율이 0.0001, 초기 학습률이 0.00125/1장의 트레이닝 이미지인 SGD를 최적화 학습기로서 사용할 수 있다. 트레이닝 시간은 13사이클로 설정하고, 8사이클째와 11사이클째 이후의 학습률을 10배의 저하 비율로 낮출 수 있다.
본 발명의 실시예에 따른 검출기의 배치 방법은 하드 코딩이 필요한 장면에 적용 가능하고, 멀티 스케일 대상이 처리 가능한 것을 확보한 후에, 적응 모듈을 생략했기 때문에, 걸리는 시간을 감소시키고, 검출 속도를 향상시키는 효과를 나타낸다. 또한, 본 발명의 실시예에 따른 하드 코딩 방법은 적응법에 비해 하드웨어와의 호환성을 빠르게 할 수 있기 때문에, 실제 사용에 도움이 된다.
본 발명의 실시예는 피검출 이미지를 취득하는 것과, 상기 검출기의 배치 방법으로 트레이닝된 상기 검출기를 사용하여 상기 피검출 이미지에 대해 대상물 검출을 행하고, 상기 피검출 이미지에 대응하는 대상물 검출 결과를 취득하는 것을 포함하는 대상물 검출 방법을 추가로 제공한다.
본 발명의 실시예는 확장율 구조가 형성된 딥러닝 네트워크를 사용하여 대상물 검출을 행함으로써 복수종의 스케일의 대상을 동시에 양호한 정밀도로 검출할 수 있고, 대상물 검출의 정밀도를 확보한 후에, 멀티 스케일의 대상물 검출에 필요한 시간을 감소시킬 수 있고, 이에 의해, 멀티 스케일의 대상물 검출의 실시간 장면에 적용 가능하다. 예를 들면, 본 발명의 실시예는 자동 운전 중에서의 크기나 근접도가 상이한 차량 및 보행자의 검출, 실시간 스마트 비디오 분석에서의 키 프레임 검출, 보안 감시에서의 보행자 검출, 스마트 홈에서의 생체 검출 등에 적용 가능하다.
본 발명에 기재된 상기 각 방법의 실시예는 기본 로직에서 괴리되지 않는 한, 서로 조합함으로써 조합된 실시예로 할 수 있고, 지면의 사정으로 상세한 설명은 생략한다.
당업자라면 구체적인 실시예에 따른 상기 방법에서는 각 단계의 기재 순서는 실행 순서를 엄격하게 한정하여 실시 과정을 한정하는 것이 아니고, 각 단계의 실행 순서가 그 기능과 내부의 논리에 의해 구체적으로 결정되는 것을 이해해야 한다.
또한, 본 발명은 추가로 검출기의 배치 장치, 대상물 검출 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 제공한다. 이러한 발명 및 설명은 방법에 관한 설명을 참조하면 되고, 상세한 설명은 생략한다.
도 6은 본 발명의 실시예에 따른 검출기의 배치 장치의 블록도이다. 상기 검출기의 배치 장치는 도 6에 나타내는 바와 같이, 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 제1 결정 모듈(21)과, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하고, 상기 상한 확장율을 상기 제1 서브 합성곱 조작의 확장율로 하고, 상기 하한 확장율을 상기 제2 서브 합성곱 조작의 확장율로 하는 제2 결정 모듈(22)과, 상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 제3 결정 모듈(23)을 구비한다.
하나의 가능한 실시형태에서는 상기 검출기는 본체 네트워크를 포함하고, 상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 상기 본체 네트워크에서의 원래 합성곱 커널 치수가 지정 치수인 하나 이상의 합성곱 조작을 포함한다.
하나의 가능한 실시형태에서는 상기 검출기는 확장율 학습기를 추가로 구비하고, 상기 제1 결정 모듈(21)은 상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 제1 결정 서브 모듈과, 상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 제2 결정 서브 모듈을 구비한다.
하나의 가능한 실시형태에서는 상기 확장율 학습기는 글로벌 평균 풀링층과 전체 결합층을 구비한다.
하나의 가능한 실시형태에서는 상기 제1 결정 서브 모듈은 상기 복수의 트레이닝 이미지 중 어느 것에 대해 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제2 확장율을 취득하고, 상기 제2 확장율에 기초하여 상기 트레이닝 이미지에 대응하는 대상물 검출 결과를 취득하고, 상기 트레이닝 이미지에 대응하는 대상물 검출 결과에 기초하여 상기 확장율 학습기의 파라미터를 갱신하고, 파라미터가 갱신된 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득한다.
하나의 가능한 실시형태에서는 상기 제2 결정 서브 모듈은 상기 제1 확장율의 평균값을 상기 합성곱 조작의 고정 확장율로 결정한다.
하나의 가능한 실시형태에서는 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 것은 상기 합성곱 조작의 고정 확장율이 소수인 것과, 상기 합성곱 조작의 고정 확장율과, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수의 거리를 나타내는, 상기 합성곱 조작의 고정 확장율과 정수의 최소 거리가 제1 임계치보다 큰 것 중 어느 것을 포함한다.
하나의 가능한 실시형태에서는 상기 제2 결정 모듈(22)은 상기 합성곱 조작의 고정 확장율보다 크고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율로 결정하는 제3 결정 서브 모듈과, 상기 합성곱 조작의 고정 확장율보다 작고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 하한 확장율로 결정하는 제4 결정 서브 모듈을 구비한다.
하나의 가능한 실시형태에서는 상기 제3 결정 모듈(23)은 상기 합성곱 조작의 고정 확장율과 상기 하한 확장율의 차분에 기초하여, 상기 합성곱 조작에 대응하는 전체 차분 계수를 결정하는 제5 결정 서브 모듈과, 상기 합성곱 조작의 출력 채널수와, 상기 합성곱 조작에 대응하는 전체 차분 계수에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 제6 결정 서브 모듈을 구비한다.
하나의 가능한 실시형태에서는 상기 검출기의 파라미터를 최적화하기 위해 트레이닝용 대상물 이미지 세트를 사용하여 상기 검출기를 트레이닝하는 트레이닝 모듈을 추가로 포함한다.
본 발명의 실시예는 피검출 이미지를 취득하는 취득 모듈과, 상기 검출기의 배치 장치로 트레이닝된 상기 검출기를 사용하여 상기 피검출 이미지에 대해 대상물 검출을 행하고, 상기 피검출 이미지에 대응하는 대상물 검출 결과를 취득하는 대상물 검출 모듈을 구비하는 대상물 검출 장치를 추가로 제공한다.
일부 실시예에서는 본 발명의 실시예에 따른 장치가 구비하는 기능 또는 모듈은 상술한 방법의 실시예에 설명되는 방법을 실행하기 위해 이용할 수 있고, 그 구체적인 실현에 대해 상술한 방법의 실시예의 설명을 참조하면 되고, 간략화를 위해, 여기에서 상세한 설명을 생략한다.
본 발명의 실시예는 추가로, 컴퓨터 프로그램 명령을 기억한 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다. 상기 컴퓨터 판독 가능 기억 매체는 컴퓨터 판독 가능 불휘발성 기억 매체여도 되고, 컴퓨터 판독 가능 휘발성 기억 매체여도 된다.
본 발명의 실시예는 추가로, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 제공한다.
본 발명의 실시예는 추가로, 하나 이상의 프로세서와, 상기 하나 이상의 프로세서에 관련되고, 실행 가능한 명령을 기억하는 메모리로서, 상기 실행 가능한 명령은 상기 하나 이상의 프로세서에 의해 판독되어 실행되면, 상기 방법을 실행시키는 메모리를 구비하는 전자 기기를 제공한다.
전자 기기는 단말, 서버 또는 다른 형태의 디바이스로서 제공할 수 있다.
도 7은 본 발명의 실시예에 따른 전자 기기(800)의 블록도이다. 예를 들면, 전자 기기(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 기기, 게임 콘솔, 태블릿형 기기, 의료 기기, 피트니스 기기, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.
도 7을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810) 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.
처리 컴포넌트(802)는 통상 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법의 전부 또는 일부 단계를 실행하기 위해, 명령을 실행하는 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함해도 된다.
메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 이들 데이터는 예로서, 전자 기기(800)에서 조작하는 모든 어플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 불휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련된 다른 컴포넌트를 포함해도 된다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하기 위해 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 배면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 배면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 배면 카메라는 고정된 광학 렌즈계 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나 또는 통신 컴포넌트(816)를 통해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 이들 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위해 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은 이미징 어플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 WiFi, 2G, 3G, 4G/LTE, 5G 또는 이들 조합 등의 통신 규격에 기초하는 무선 네트워크에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.
예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 프로세서(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용될 수 있다.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면 상기 방법을 실행시킬 수 있다.
도 8은 본 발명의 실시예에 따른 다른 전자 기기(1900)의 블록도를 나타낸다. 예를 들면, 전자 기기(1900)는 서버로서 제공되어도 된다. 도 8을 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 어플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억되어 있는 어플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.
전자 기기(1900)는 추가로, 전자 기기(1900)의 전원 관리를 실행하도록 구성되는 전원 컴포넌트(1926)와, 전자 기기(1900)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억되어 있는 오퍼레이팅 시스템, 예를 들면, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것에 기초하여 동작할 수 있다.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령을 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.
컴퓨터 판독 가능 기억 매체는 명령 실행 기기에 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치, 또는 상기의 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 보다 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기의 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스), 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.
여기서 기술한 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 통해 외부의 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C＋＋ 등의 오브젝트 지향 프로그래밍 언어, 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써 본 발명의 각 측면을 실현하도록 해도 된다.
여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명했지만, 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있음을 이해해야 한다.
이들 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되고, 이들 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현시키도록 장치를 제조해도 된다. 이들 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기를 특정 방식으로 동작시키도록 해도 된다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하는 명령을 갖는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드되고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 다른 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실시되는 프로세스를 생성하도록 해도 된다. 이렇게 하여, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작을 실현한다.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능한 명령을 포함한다. 일부 대체로서의 실현형태에서는 블록에 표기되는 기능은 도면에 붙인 순서와 상이하게 실현해도 된다. 예를 들면, 연속적인 2개의 블록은 실질적으로 병렬로 실행해도 되고, 또한 관련된 기능에 따라 반대 순서로 실행해도 된다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되며, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 된다는 점에도 주의해야 한다.
이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 기존 기술에 대한 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims (25)

  1. 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 것과,
    상기 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하고, 상기 상한 확장율을 상기 제1 서브 합성곱 조작의 확장율로 하고, 상기 하한 확장율을 상기 제2 서브 합성곱 조작의 확장율로 하는 것과,
    상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것을 포함하는, 검출기의 배치 방법.
  2. 제 1 항에 있어서,
    상기 검출기는 본체 네트워크를 포함하고,
    상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 상기 본체 네트워크에서의 원래 합성곱 커널 치수가 지정 치수인 하나 이상의 합성곱 조작을 포함하는, 검출기의 배치 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 검출기는 확장율 학습기를 추가로 구비하고,
    검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 것은,
    상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것과,
    상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 것을 포함하는, 검출기의 배치 방법.
  4. 제 3 항에 있어서,
    상기 확장율 학습기는 글로벌 평균 풀링층과 전체 결합층을 구비하는, 검출기의 배치 방법.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것은,
    상기 복수의 트레이닝 이미지 중 어느 것에 대해 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제2 확장율을 취득하는 것과,
    상기 제2 확장율에 기초하여 상기 트레이닝 이미지에 대응하는 대상물 검출 결과를 취득하는 것과,
    상기 트레이닝 이미지에 대응하는 대상물 검출 결과에 기초하여 상기 확장율 학습기의 파라미터를 갱신하는 것과,
    파라미터가 갱신된 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 것을 포함하는, 검출기의 배치 방법.
  6. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 것은,
    상기 제1 확장율 평균값을 상기 합성곱 조작의 고정 확장율로 결정하는 것을 포함하는, 검출기의 배치 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 것은,
    상기 합성곱 조작의 고정 확장율이 소수인 것과,
    상기 합성곱 조작의 고정 확장율과 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수의 거리를 나타내는, 상기 합성곱 조작의 고정 확장율과 정수의 최소 거리가 제1 임계치보다 큰 것 중 어느 것을 포함하는, 검출기의 배치 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하는 것은,
    상기 합성곱 조작의 고정 확장율보다 크고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율로 결정하는 것과,
    상기 합성곱 조작의 고정 확장율보다 작고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 하한 확장율로 결정하는 것을 포함하는, 검출기의 배치 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것은,
    상기 합성곱 조작의 고정 확장율과 상기 하한 확장율의 차분에 기초하여, 상기 합성곱 조작에 대응하는 전체 차분 계수를 결정하는 것과,
    상기 합성곱 조작의 출력 채널수와, 상기 합성곱 조작에 대응하는 전체 차분 계수에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 것을 포함하는, 검출기의 배치 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정한 후,
    상기 검출기의 파라미터를 최적화하기 위해 트레이닝용 대상물 이미지 세트를 사용하여 상기 검출기를 트레이닝하는 것을 추가로 포함하는, 검출기의 배치 방법.
  11. 피검출 이미지를 취득하는 것과,
    제 10 항의 방법으로 트레이닝된 상기 검출기를 사용하여 상기 피검출 이미지에 대해 대상물 검출을 행하고, 상기 피검출 이미지에 대응하는 대상물 검출 결과를 취득하는 것을 포함하는, 대상물 검출 방법.
  12. 검출기에서 확장 합성곱을 행하는 합성곱 조작의 고정 확장율을 결정하는 제1 결정 모듈과,
    상기 검출기에서 확장 합성곱을 행하는 합성곱 조작 중 어느 것에 대해 상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 경우, 상기 합성곱 조작을 제1 서브 합성곱 조작과 제2 서브 합성곱 조작으로 분해하고, 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율과 하한 확장율을 결정하고, 상기 상한 확장율을 상기 제1 서브 합성곱 조작의 확장율로 하고, 상기 하한 확장율을 상기 제2 서브 합성곱 조작의 확장율로 하는 제2 결정 모듈과,
    상기 합성곱 조작의 출력 채널수 및 상기 합성곱 조작의 고정 확장율에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 제3 결정 모듈을 구비하는, 검출기의 배치 장치.
  13. 제 12 항에 있어서,
    상기 검출기는 본체 네트워크를 포함하고,
    상기 검출기에서 확장 합성곱을 행하는 합성곱 조작은 상기 검출기의 상기 본체 네트워크에서의 원래 합성곱 커널 치수가 지정 치수인 하나 이상의 합성곱 조작을 포함하는, 검출기의 배치 장치.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 검출기는 확장율 학습기를 추가로 구비하고,
    상기 제1 결정 모듈은,
    상기 확장율 학습기에 의해 복수의 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는 제1 결정 서브 모듈과,
    상기 제1 확장율에 기초하여 상기 합성곱 조작의 고정 확장율을 결정하는 제2 결정 서브 모듈을 구비하는, 검출기의 배치 장치.
  15. 제 14 항에 있어서,
    상기 확장율 학습기는 글로벌 평균 풀링층과 전체 결합층을 구비하는, 검출기의 배치 장치.
  16. 제 14 항 또는 제 15 항에 있어서,
    상기 제1 결정 서브 모듈은,
    상기 복수의 트레이닝 이미지 중 어느 것에 대해 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제2 확장율을 취득하고,
    상기 제2 확장율에 기초하여 상기 트레이닝 이미지에 대응하는 대상물 검출 결과를 취득하고,
    상기 트레이닝 이미지에 대응하는 대상물 검출 결과에 기초하여 상기 확장율 학습기의 파라미터를 갱신하고,
    파라미터가 갱신된 상기 확장율 학습기에 의해 상기 트레이닝 이미지에 대한 상기 합성곱 조작의 제1 확장율을 취득하는, 검출기의 배치 장치.
  17. 제 14 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 제2 결정 서브 모듈은,
    상기 제1 확장율 평균값을 상기 합성곱 조작의 고정 확장율로 결정하는, 검출기의 배치 장치.
  18. 제 12 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 합성곱 조작의 고정 확장율이 분해 조건을 만족하는 것은,
    상기 합성곱 조작의 고정 확장율이 소수인 것과,
    상기 합성곱 조작의 고정 확장율과 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수의 거리를 나타내는, 상기 합성곱 조작의 고정 확장율과 정수의 최소 거리가 제1 임계치보다 큰 것 중 어느 것을 포함하는, 검출기의 배치 장치.
  19. 제 12 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 제2 결정 모듈은,
    상기 합성곱 조작의 고정 확장율보다 크고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 상한 확장율로 결정하는 제3 결정 서브 모듈과,
    상기 합성곱 조작의 고정 확장율보다 작고, 상기 합성곱 조작의 고정 확장율에 가장 가까운 정수를 상기 합성곱 조작의 고정 확장율에 대응하는 하한 확장율로 결정하는 제4 결정 서브 모듈을 구비하는, 검출기의 배치 장치.
  20. 제 12 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 제3 결정 모듈은,
    상기 합성곱 조작의 고정 확장율과 상기 하한 확장율의 차분에 기초하여, 상기 합성곱 조작에 대응하는 전체 차분 계수를 결정하는 제5 결정 서브 모듈과,
    상기 합성곱 조작의 출력 채널수와, 상기 합성곱 조작에 대응하는 전체 차분 계수에 기초하여, 상기 제1 서브 합성곱 조작에 대응하는 출력 채널수 및 상기 제2 서브 합성곱 조작에 대응하는 출력 채널수를 결정하는 제6 결정 서브 모듈을 구비하는, 검출기의 배치 장치.
  21. 제 12 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 검출기의 파라미터를 최적화하기 위해 트레이닝용 대상물 이미지 세트를 사용하여 상기 검출기를 트레이닝하는 트레이닝 모듈을 추가로 구비하는, 검출기의 배치 장치.
  22. 피검출 이미지를 취득하는 취득 모듈과,
    제 21 항의 장치로 트레이닝된 상기 검출기를 사용하여 상기 피검출 이미지에 대해 대상물 검출을 행하고, 상기 피검출 이미지에 대응하는 대상물 검출 결과를 취득하는 대상물 검출 모듈을 구비하는, 대상물 검출 장치.
  23. 하나 이상의 프로세서와,
    상기 하나 이상의 프로세서와 관련되고, 실행 가능한 명령을 기억하는 메모리로서, 상기 실행 가능한 명령은 상기 하나 이상의 프로세서에 의해 판독되어 실행되면 제 1 항 내지 제 11 항 중 어느 한 항의 방법을 실행하는 메모리를 구비하는, 전자 기기.
  24. 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서,
    상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 제 1 항 내지 제 11 항 중 어느 한 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
  25. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 판독 가능 코드는 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 11 항 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.
KR1020217023154A 2019-08-30 2019-11-18 검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체 KR20210113242A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910816321.1 2019-08-30
CN201910816321.1A CN110543849B (zh) 2019-08-30 2019-08-30 检测器的配置方法及装置、电子设备和存储介质
PCT/CN2019/119161 WO2021036013A1 (zh) 2019-08-30 2019-11-18 检测器的配置方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
KR20210113242A true KR20210113242A (ko) 2021-09-15

Family

ID=68711000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217023154A KR20210113242A (ko) 2019-08-30 2019-11-18 검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체

Country Status (7)

Country Link
US (1) US20210326649A1 (ko)
JP (1) JP2022515274A (ko)
KR (1) KR20210113242A (ko)
CN (1) CN110543849B (ko)
SG (1) SG11202106971YA (ko)
TW (1) TWI733276B (ko)
WO (1) WO2021036013A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989169A (zh) * 2020-07-08 2022-01-28 嘉楠明芯(北京)科技有限公司 一种膨胀卷积加速计算方法及装置
CN112101374B (zh) * 2020-08-01 2022-05-24 西南交通大学 基于surf特征检测和isodata聚类算法的无人机障碍物检测方法
CN112037157B (zh) * 2020-09-14 2024-07-02 Oppo广东移动通信有限公司 数据处理方法及装置、计算机可读介质及电子设备
CN111951269B (zh) * 2020-10-16 2021-01-05 深圳云天励飞技术股份有限公司 图像处理方法及相关设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151682A (en) * 1997-09-08 2000-11-21 Sarnoff Corporation Digital signal processing circuitry having integrated timing information
CN107742150B (zh) * 2016-10-31 2020-05-12 腾讯科技（深圳）有限公司 一种卷积神经网络的数据处理方法和装置
CN108229478B (zh) * 2017-06-30 2020-12-29 深圳市商汤科技有限公司 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN113627458A (zh) * 2017-10-16 2021-11-09 因美纳有限公司 基于循环神经网络的变体致病性分类器
US11734545B2 (en) * 2017-11-14 2023-08-22 Google Llc Highly efficient convolutional neural networks
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN108364061B (zh) * 2018-02-13 2020-05-05 北京旷视科技有限公司 运算装置、运算执行设备及运算执行方法
CN108647776A (zh) * 2018-05-08 2018-10-12 济南浪潮高新科技投资发展有限公司 一种卷积神经网络卷积膨胀处理电路及方法
CN108960069A (zh) * 2018-06-05 2018-12-07 天津大学 一种用于单阶段物体检测器的增强上下文的方法
CN109598269A (zh) * 2018-11-14 2019-04-09 天津大学 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法
CN109886090B (zh) * 2019-01-07 2020-12-04 北京大学 一种基于多时间尺度卷积神经网络的视频行人再识别方法
CN109829863B (zh) * 2019-01-22 2021-06-25 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110009648B (zh) * 2019-03-04 2023-02-24 东南大学 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法
CN110009095B (zh) * 2019-03-04 2022-07-29 东南大学 基于深度特征压缩卷积网络的道路行驶区域高效分割方法
CN110047069B (zh) * 2019-04-22 2021-06-04 北京青燕祥云科技有限公司 一种图像检测装置

Also Published As

Publication number Publication date
CN110543849B (zh) 2022-10-04
TWI733276B (zh) 2021-07-11
WO2021036013A1 (zh) 2021-03-04
US20210326649A1 (en) 2021-10-21
SG11202106971YA (en) 2021-07-29
TW202109365A (zh) 2021-03-01
JP2022515274A (ja) 2022-02-17
CN110543849A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
KR102593020B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
KR102436593B1 (ko) 이미지 처리 방법 및 장치, 전자 기기와 기억 매체
TWI781359B (zh) 人臉和人手關聯檢測方法及裝置、電子設備和電腦可讀儲存媒體
CN110287874B (zh) 目标追踪方法及装置、电子设备和存储介质
KR20210113242A (ko) 검출기의 배치 방법 및 장치, 전자 기기 및 기억 매체
US11301726B2 (en) Anchor determination method and apparatus, electronic device, and storage medium
JP2022500791A (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
KR20210102180A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN110009090B (zh) 神经网络训练与图像处理方法及装置
KR20220053670A (ko) 목표 대상물 매칭 방법 및 장치, 전자 기기 및 기억 매체
JP2021516838A (ja) キーポイント検出方法、装置、電子機器及び記憶媒体
KR20210090238A (ko) 비디오 처리 방법 및 장치, 전자 기기, 및 기억 매체
KR20220053631A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
KR102454515B1 (ko) 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체
CN109615006B (zh) 文字识别方法及装置、电子设备和存储介质
CN111539410B (zh) 字符识别方法及装置、电子设备和存储介质
CN110458218B (zh) 图像分类方法及装置、分类网络训练方法及装置
CN113065591B (zh) 目标检测方法及装置、电子设备和存储介质
CN111523599B (zh) 目标检测方法及装置、电子设备和存储介质
CN111523555A (zh) 图像处理方法及装置、电子设备和存储介质
WO2022141969A1 (zh) 图像分割方法及装置、电子设备、存储介质和程序
CN114202562A (zh) 视频处理方法及装置、电子设备和存储介质
CN111988622B (zh) 视频预测方法及装置、电子设备和存储介质
KR20210113617A (ko) 네트워크 트레이닝 방법 및 장치, 이미지 처리 방법 및 장치
CN114842404A (zh) 时序动作提名的生成方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application