KR20210006429A - 오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체 - Google Patents
오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체 Download PDFInfo
- Publication number
- KR20210006429A KR20210006429A KR1020207035012A KR20207035012A KR20210006429A KR 20210006429 A KR20210006429 A KR 20210006429A KR 1020207035012 A KR1020207035012 A KR 1020207035012A KR 20207035012 A KR20207035012 A KR 20207035012A KR 20210006429 A KR20210006429 A KR 20210006429A
- Authority
- KR
- South Korea
- Prior art keywords
- image sample
- image
- sample set
- neural network
- object detection
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 239
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 254
- 238000000034 method Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 description 63
- 230000009977 dual effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G06K9/62—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1916—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19167—Active pattern learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Probability & Statistics with Applications (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 출원의 실시예는 오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체를 개시한다. 오브젝트 검출 방법은, 제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하는 단계- 그 중에서 신경망은 제 1 이미지 샘플 세트로 훈련됨 -와, 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 하는 단계와; 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하는 단계와; 신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하는 단계와; 출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치(ground truth)에 따라 신경망의 네트워크 매개 변수를 조정하는 단계를 포함한다. 본 출원의 실시예에 있어서, 신경망은 훈련된 장면에서 기존의 검출 성능을 유지할 수 있고, 또한 새로운 장면의 오브젝트에 대한 검출 수요도 충족시킬 수 있다.
Description
(관련 출원)
본 출원은 중국 특허청에 제출된 중국 특허 출원의 우선권을 주장하고, 출원일은 2019년 5월 27일이고, 출원 번호는 CN201910449107.7이며, 발명의 명칭은 ‘오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체’이며, 그 전문이 본원에 참조로 포함된다.
본 발명은 딥 러닝 기술 분야에 관한 것으로, 보다 구체적으로 오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
딥 러닝 신경망(Deep Learning Neural Networks)의 발전에 따라 딥 러닝 신경망은 각 분야에서 널리 사용되고 있으며, 예를 들어, 목표 검출에 사용되는 컨볼 루션 신경망(Convolutional Neural Networks, CNN), 언어 번역에 사용되는 순환 신경망(Recurrent Neural Network, RNN) 등이다.
딥 신경망을 훈련하기 시작할 때, 모든 데이터가 준비되어 있다고 가정한다. 신경망의 훈련 과정에서 신경망의 매개 변수는 목표 임무에 따라 업데이트되므로, 신경망을 목표 데이터에 성공적으로 피팅(Fitting)시킬 수 있다. 새로운 임무와 새로운 데이터가 도착할 때, 신경망이 이전에 배운 지식은 훈련 기간 동안 갱신되므로, 신경망은 이전의 임무와 데이터에 대한 성능을 잃게 된다.
본 출원의 실시예는 오브젝트 검출 방법을 제공하며, 신경망은 훈련된 장면에서 기존의 검출 성능을 유지할 수 있고, 또한 새로운 장면의 오브젝트에 대한 검출 성능을 신속하게 획득할 수 있다. 신경망은 지속적인 학습 능력을 가지며, 즉 신경망은 원래 장면의 처리 성능을 유지함과 동시에 새로운 장면의 임무 처리 요건을 충분히 만족시킬 수있다.
제 1 양태에서, 본 출원의 실시예는 오브젝트 검출 방법을 제공한다. 오브젝트 검출 방법은,
제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하는 단계- 그 중에서 신경망은 제 1 이미지 샘플 세트로 훈련됨 -와,
검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 하는 단계와;
제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하는 단계와;
신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하는 단계와;
출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치(ground truth)에 따라 신경망의 네트워크 매개 변수를 조정하는 단계를 포함한다.
선택 가능한 실시예에 있어서, 상기 방법은,
네트워크 매개 변수가 갱신된 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하는 단계를 더 포함한다.
선택 가능한 실시예에 있어서, 제 2 도메인은 하나이고, 제 2 이미지 샘플 세트는 하나이며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 1 비율 범위 내에 있다.
선택 가능한 실시예에 있어서, 제 2 도메인은 k개이고, 제 2 이미지 샘플 세트는 k개이며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 각 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 각 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 2 비율 범위 내에 있으며, 그 중에서 k는 1보다 큰 정수이다.
선택 가능한 실시예에 있어서, 네트워크 매개 변수가 갱신된 신경망을 획득한 후에, 상기 방법은,
제 2 이미지 샘플 세트와 제 1 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트를 획득하는 단계를 더 포함한다.
선택 가능한 실시예에 있어서, 새로운 제 1 이미지 샘플 세트를 획득한 후에, 상기 방법은,
네트워크 매개 변수가 갱신된 신경망에 의해 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별하는 단계를 더 포함한다.
선택 가능한 실시예에 있어서, 네트워크 매개 변수가 갱신된 신경망에 의해 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별하는 것은,
새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 네트워크 매개 변수가 갱신된 신경망에 입력하여 각 이미지 샘플의 처리 결과를 획득하는 것과,
각 이미지 샘플의 처리 결과 및 그 진리치를 기반으로 네트워크 매개 변수가 갱신된 신경망에 의해 각 이미지 샘플을 처리할 때에 생성된 이미지 샘플의 손실값을 확정하는 것과,
새로운 제 1 이미지 샘플 세트 내의 손실값이 제 2 임계값보다 작은 이미지 샘플을 버리는 것을 포함한다.
선택 가능한 실시예에 있어서, 다음과 같이 검출 결과의 신뢰성을 확정한다. 검출 결과와 검출 결과에 대응하는 이미지의 진리치를 비교하여 검출 결과의 신뢰성을 획득한다.
제 2 양태에서, 본 출원의 실시예는 오브젝트 검출 장치를 제공한다. 오브젝트 검출 장치는 검출 모듈, 샘플 수집 모듈, 샘플 선택 모듈 및 매개 변수 조정 모듈을 포함한다.
검출 모듈은 제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출를 수행하여 검출 결과를 획득하는 데에 사용되며, 그 중에서 신경망은 제 1 이미지 샘플 세트로 훈련된다.
샘플 수집 모듈은 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 하는 데에 사용된다.
샘플 선택 모듈은 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하는 데에 사용된다.
검출 모듈은 또한 신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하는 데에 사용된다.
매개 변수 조정 모듈은 출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정하는 데에 사용된다.
선택 가능한 실시예에 있어서, 검출 모듈은 또한 네트워크 매개 변수가 갱신된 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하는 데에 사용된다.
선택 가능한 실시예에 있어서, 제 2 도메인은 하나이고, 제 2 이미지 샘플 세트는 하나이며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 1 비율 범위 내에 있다.
선택 가능한 실시예에 있어서, 제 2 도메인은 k개이고, 제 2 이미지 샘플 세트는 k개이며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 각 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 각 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 2 비율 범위 내에 있으며, 그 중에서 k는 1보다 큰 정수이다.
선택 가능한 실시예에 있어서, 오브젝트 검출 장치는 샘플 합병 모듈을 더 포함한다. 샘플 합병 모듈은 네트워크 매개 변수가 갱신된 신경망을 획득한 후에, 제 2 이미지 샘플 세트와 제 1 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트를 획득하는 데에 사용된다.
선택 가능한 실시예에 있어서, 오브젝트 검출 장치는 선별 모듈을 더 포함한다. 선별 모듈은 새로운 제 1 이미지 샘플 세트를 획득한 후에, 네트워크 매개 변수가 갱신된 신경망에 의해 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별하는 데에 사용된다.
선택 가능한 실시예에 있어서, 선별 모듈은 처리 서브 모듈, 확정 서브 모듈 및 삭제 서브 모듈을 포함한다.
처리 서브 모듈은 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 네트워크 매개 변수가 갱신된 신경망에 입력하여 각 이미지 샘플의 처리 결과를 획득하는 데에 사용된다.
확정 서브 모듈은 각 이미지 샘플의 처리 결과 및 그 진리치를 기반으로 네트워크 매개 변수가 갱신된 신경망에 의해 각 이미지 샘플을 처리할 때에 생성된 이미지 샘플의 손실값을 확정하는 데에 사용된다.
삭제 서브 모듈은 새로운 제 1 이미지 샘플 세트 내의 손실값이 제 2 임계값보다 작은 이미지 샘플을 버리는 데에 사용된다.
선택 가능한 실시예에 있어서, 오브젝트 검출 장치는 비교 모듈을 더 포함한다. 비교 모듈은 검출 결과와 검출 결과에 대응하는 이미지의 진리치를 비교하여 검출 결과의 신뢰성을 획득하는 데에 사용된다.
제 3 양태에서, 본 출원의 실시예는 오브젝트 검출 장비를 제공한다. 오브젝트 검출 장비는 메모리 및 프로세서를 포함하고, 메모리는 컴퓨터 실행 가능 명령어를 저장하는 데에 사용되며, 메모리에 저장된 컴퓨터 실행 가능 명령어가 프로세서에 의해 실행될 때에 제 1 양태의 방법을 실행한다.
제 4 양태에서, 본 출원의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공한다. 컴퓨터 프로그램이 프로세서에 의해 실행되면 제 1 양태의 방법을 실행한다.
제 5 양태에서, 본 출원의 실시예는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 프로그램 제품은 컴퓨터 실행 가능 명령어를 포함하고, 컴퓨터 실행 가능 명령어가 컴퓨터에서 실행될 때에 제 1 양태의 방법을 실현할 수 있다.
본 출원의 실시예에 있어서, 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득한 후에, 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플로 하며, 신경망을 사용하여 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트에서 선택된 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 획득하고, 마지막으로 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정한다. 신경망을 훈련할 때에 제 1 이미지 샘플 세트의 이미지 샘플을 사용하여 신경망을 훈련할뿐만 아니라 제 2 이미지 샘플 세트의 이미지 샘플을 사용하여 신경망을 훈련하기 때문에, 신경망은 제 1 도메인의 검출 성능을 유지할뿐만 아니라, 제 2 도메인의 검출 수요도 충족할 수 있다. 즉, 신경망은 이미 훈련된 장면에서 기존의 검출 성능을 유지할 수 있고, 또한 새로운 장면의 오브젝트에 대한 검출 수요도 충족시킬 수 있다.
본 출원의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위하여, 이하 실시예를 설명하는 데에 사용되는 도면을 간단히 소개한다.
도 1은 본 발명의 실시예에 따른 오브젝트 검출 방법을 나타내는 흐름도이다.
도 2는 본 발명의 실시예에 따른 다른 오브젝트 검출 방법을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따른 또 다른 오브젝트 검출 방법을 나타내는 흐름도이다.
도 4는 본 발명의 실시예에 따른 오브젝트 검출 방법에 사용되는 신경망의 훈련 프레임 워크를 나타내는 개략도이다.
도 5는 본 발명의 실시예에 따른 듀얼 풀 데이터의 결합으로 신경망을 훈련하는 것을 나타내는 개략도이다.
도 6은 본 발명의 실시예에 따른 멀티 풀 데이터의 결합으로 신경망을 훈련하는 것을 나타내는 개략도이다.
도 7은 본 발명의 실시예에 따른 오브젝트 검출 장치를 나타내는 블록도이다.
도 8은 본 발명의 실시예에 따른 오브젝트 검출 장비의 구조를 나타내는 개략도이다.
도 1은 본 발명의 실시예에 따른 오브젝트 검출 방법을 나타내는 흐름도이다.
도 2는 본 발명의 실시예에 따른 다른 오브젝트 검출 방법을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따른 또 다른 오브젝트 검출 방법을 나타내는 흐름도이다.
도 4는 본 발명의 실시예에 따른 오브젝트 검출 방법에 사용되는 신경망의 훈련 프레임 워크를 나타내는 개략도이다.
도 5는 본 발명의 실시예에 따른 듀얼 풀 데이터의 결합으로 신경망을 훈련하는 것을 나타내는 개략도이다.
도 6은 본 발명의 실시예에 따른 멀티 풀 데이터의 결합으로 신경망을 훈련하는 것을 나타내는 개략도이다.
도 7은 본 발명의 실시예에 따른 오브젝트 검출 장치를 나타내는 블록도이다.
도 8은 본 발명의 실시예에 따른 오브젝트 검출 장비의 구조를 나타내는 개략도이다.
아래, 본 출원의 실시예의 첨부 도면을 참조하면서 본 출원의 실시예의 기술 방안을 명확하고 완전하게 설명한다. 물론, 기재된 실시예는 본 발명의 실시예의 일부에 지나지 않고, 모든 실시예가 아니다. 창조적인 노력없이 당업자가 본 발명의 실시예에 따라 얻을 수 있는 모든 다른 실시예는 본 발명의 보호 범위에 포함된다.
본 발명의 명세서 및 청구범위에 기재된 용어 ‘포함한다’, ‘갖고 있다’는 기재된 특징, 전체, 단계, 조작, 소자 및/또는 구성 요소의 존재를 나타내지만, 하나 이상의 다른 특징, 전체, 단계, 조작, 소자, 구성 요소 및/또는 그 집합의 존재 또는 추가를 제외하지 않는다.
또한, 본 출원의 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하는 데에 사용될 뿐이며, 본 출원을 한정하고자 하는 것이 아님을 이해하여야 한다. 본 출원의 명세서 및 첨부된 청구범위에서 사용되는 바와 같이, 문맥이 다른 상황을 명확히 표시하지 않는 한, 단수 형태의 ‘일’, ‘하나의’ 및 ‘상기’는 복수 형태를 포함하는 것을 의도한다.
본 출원의 명세서 및 청구범위에서 사용되는 용어 ‘및/또는’이라는 용어는 열거된 관련 항목 중 하나 이상의 조합 및 모든 가능한 조합을 가리키며, 또한 이러한 조합을 포함한다는 것을 가리킨다.
본 명세서 및 첨부된 청구범위에서 사용되는 바와 같이, ‘만약’이라는 용어는 문맥에 따라 ‘... 때에’ 또는 ‘...으면(... 이라면)’ 또는 ‘확정된 것에 응답한다’ 또는 ‘검출된 것에 응답한다’는 것으로 해석할 수 있다. 마찬가지로, ‘만약 확정되면’ 또는 ‘만약 검출되면(기재된 조건 또는 사건)’라는 어구는 문맥에 따라 ‘확정되면’ 또는 ‘확정된 것에 응답한다’ 또는 ‘검출되면(기개된 조건 또는 사건)’ 또는 ‘검출된 것에 응답한다(기재된 조건 또는 사건)’는 것으로 해석할 수 있다.
각 장소에 빨리 적용할 수 있도록, 뛰어난 신경망은 일반적으로 일정한 적응성을 갖고 있어야 한다. 그러나 신경망 자체의 능력에 한정되고, 또한 서로 다른 지역 또는 서로 다른 장면의 이미지 샘플 데이터는 다르며, 예를 들어, 많은 건물이 있는 도시의 도로, 많은 식물 피복이 있는 시골 길 등이며, 단일한 이미지 샘플 데이터 소스를 사용하여 훈련된 신경망이 다른 지역 또는 장면에 사용될 때에 문제가 발생할 수 있다. 예를 들어, 도로 식별에 대하여, 훈련에 사용되는 이미지 샘플이 모두 도시 도로 샘플일 경우, 사용할 때, 도시 도로는 잘 식별할 수 있지만, 시골 길은 잘못 식별할 수 있다. 가장 안전한 방법은 서로 다른 지역에 대하여, 서로 다른 신경망을 훈련하는 것이다. 그러나 이러한 방법은 새로운 데이터를 수집하고, 데이터를 표기하여야 하며, 신경망을 다시 훈련할 필요가 있기 때문에, 많은 시간과 노력이 필요된다.
본 출원의 실시예는 오브젝트 검출 방법을 제공하며, 신경망은 훈련된 장면에서 기존의 검출 성능을 유지할 수 있고, 또한 새로운 장면의 오브젝트 검출 성능을 신속하게 획득할 수 있다 .
도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 오브젝트 검출 방법을 나타내는 흐름도이다. 상기 방법은 아래 단계를 포함한다.
101, 제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하며, 그 중에서 신경망은 제 1 이미지 샘플 세트로 훈련된다.
본 출원의 실시예에 있어서, 제 1 도메인과 제 2 도메인은 신경망의 두가지 부동한 응용 범위를 가리킨다. 제 1 도메인과 제 2 도메인의 차이점은 아래와 같다. ① 응용 영역이 다르고, 스마트 영상, 보안 모니터링, 첨단 운전자 지원 시스템(Advanced Driving Assistant System, ADAS), 자동 운전(Automatic Driving, AD) 등 응용 영역이 포함된다. 예를 들어, 제 1 도메인은 보안 모니터링 영역에서 A 대상을 검출하는 것이고, 제 2 도메인은 자동 운전 영역에서 A 대상 또는 A 대상과 유사한 대상을 검출하는 것이다. ② 시공이 다르다. ③ 데이터 소스가 다르며, 예를 들어, 제 1 도메인은 모의환경에서 A대상을 검출하는 것이고, 제 2 도메인은 실제 환경에서 A 대상 또는 A 대상과 유사한 대상을 검출하는 것이다. 상술한 대상은 사람, 동물, 자동차, 비 자동차, 교통 표지, 신호등, 장애물 등일 수 있다.
본 출원의 실시예에 있어서, 신경망은 임의의 딥 러닝 신경망일 수 있다. 예를 들어, 목표 검출에 사용되는 컨볼 루션 신경망(Convolutional Neural Networks, CNN), 언어 식별에 사용되는 순환 신경망(Recurrent Neural Network, RNN) 또는 장면 식별에 사용되는 재귀 신경망(recursive neural network, RNN) 등일 수 있다.
어떤 신경망이든 관계없이, 신경망을 실제로 사용하기 전에 신경망이 적용되는 장면의 최적의 가중치 파라미터를 얻기 위해 신경망을 훈련할 필요가 있으며, 따라서 신경망을 상기 장면에 적용할 수 있다. 신경망을 훈련할 때, 훈련용 이미지 샘플을 수집하고, 이미지 샘플을 표기하여 이미지 샘플 세트를 획득할 필요가 있다. 그리고, 이미지 샘플 세트를 사용하여 신경망을 훈련한다. 훈련된 신경망을 테스트하고, 테스트 결과가 조건을 만족하는 경우, 신경망을 실제 생산 응용에 응용할 수 있다.
본 출원의 실시예에 있어서, ‘제 1 도메인에 사용되는 신경망 (신경망은 제 1 이미지 샘플 세트로 훈련됨)’이라는 것은, 신경망이 제 1 이미지 샘플 세트로 훈련되고, 또한 제 1 도메인에 응용되며, 제 1 도메인의 이미지에 대하여 오브젝트 검출을 수행할 때, 오브젝트 검출의 요구 사항을 충족할 수 있으며, 그 다음에 상기 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하는 것을 의미한다. 예를 들어, 신경망이 훈련된 후에, 원래는 A구역의 도로 이미지에 대하여 차량 검출을 수행하는 데에 사용되는 신경망은 현재는 직접 B구역의 도로 이미지에 대하여 차량 검출을 수행하는 데에 사용된다.
선택 가능한 실시예에 있어서, 아래와 같이 제 1 이미지 샘플 세트로 신경망을 훈련한다. 제 1 이미지 샘플 세트의 이미지 샘플을 예정된 수량의 이미지 샘플 그룹으로 나누며, 예정된 수량의 이미지 샘플 그룹을 순차적으로 사용하여 신경망을 훈련한다. 단일 그룹의 이미지 샘플을 사용하여 신경망을 훈련하는 구체적인 과정은 아래와 같다. 한 그룹의 이미지 샘플을 신경망에 입력하고 순방향 전파하여 신경망 각 계층의 출력 결과를 얻으며, 그 다음에 이미지 샘플의 표기 결과를 사용하여 신경망 각 계층의 오류항을 역으로 계산하며, 마지막으로 경상 하강법을 이용하여 손실 함수를 사용하여 신경망의 가중치 매개 변수를 갱신한다.
상술한 훈련 방법은 이미지 샘플 데이터를 여러 그룹으로 나누고, 신경망의 매개 변수는 그룹별로 갱신된다. 이러한 방식으로 동일한 그룹의 데이터는 함께 경사 방향을 결정하기 때문에, 하강 편차가 쉽게 발생하지 않으며, 임의성을 감소시킨다. 또한, 단일 그룹의 이미지 샘플의 수량은 이미지 샘플 세트 전체의 이미지 샘플 수량보다 훨씬 적기 때문에, 계산량이 감소된다. 그 중에서 손실 함수를 사용하여 신경망의 가중치 매개 변수를 갱신하고, 그 계산식은 아래와 같다.
그 중에서, η는 단계 크기(Step Size)이고, 또는 학습율(Learning Rate)이라고도 하며, w는 매개 변수이고, Q는 손실 함수이며, n은 각 그룹의 이미지 샘플의 수량이다.
102, 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 한다.
그 중에서, 신경망이 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득한 다음에, 검출 결과와 검출 결과에 대응하는 이미지의 이미지 진리치를 비교하여 차이값을 획득한다. 차이값이 작을수록 검출 결과가 이미지 진리치에 접근함을 설명하고, 검출 결과의 신뢰성이 높다. 차이값이 클수록 검출 결과가 이미지 진리치에서 이탈되고, 검출 결과의 신뢰성이 낮다. 그 중에서, 이미지의 진리치는 이미지의 표기 정보일 수 있으며, 이미지 자체(실제 이미지)일 수도 있다.
실제 장면은 매우 복잡하고, 알수 없는 다양한 상황이 있다. 일반적인 데이터 수집은 매우 제한된 서브 세트만 커버할 수 있다. 제 1 이미지 샘플 세트를 사용하여 신경망을 훈련한 다음에, 제 1 이미지 샘플 세트에는 모든 장면의 이미지가 포함되어 있지 않으므로, 신경망을 이용하여 일부 장면의 이미지에 대하여 오브젝트 검출을 수행하여 획득한 검출 결과는 요구 사항을 충족시킬 수 있지만, 제 1 이미지 샘플 세트에 포함되지 않은 장면의 이미지에 대하여 오브젝트 검출을 수행하여 획득한 검출 결과는 정확하지 않다. 또는 제 1 이미지 샘플 세트에 각 장면의 이미지 샘플이 균일하게 분포되어 있지 않기 때문에, 신경망의 오 검출 또는 검출 누락을 초래한다. 예를 들어, 서로 다른 지역의 도로 이미지에 대하여 오브젝트 검출을 수행할 때에 발생할 수 있다.
상술한 문제에 대하여, 본 출원의 실시예에 있어서, 제 1 이미지 샘플 세트를 사용하여 신경망을 훈련한 다음에, 검출 요건을 충족하는 장면에 대하여 계속 상기 신경망을 사용하여 오브젝트 검출을 수행하지만, 검출 요건을 충족할 수 없는 장면에 대하여 오브젝트 검출을 수행할 때에 문제 있는 검출 결과에 대응하는 이미지를 수집하고, 문제 있는 검출 결과에 대응하는 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 한다. 그 중에서, 문제 있는 검출 결과는 검출 결과의 신뢰성이 제 1 임계치보다 낮은 상황을 말하며, 구체적으로는 검출 결과와 검출 결과에 대응하는 이미지의 진리치를 비교하여 상술한 검출 결과의 신뢰성을 획득한다.
그 중에서, 검출 결과의 신뢰성이 제 1 임계값보다 낮은지 여부를 판단할 때, 구체적으로 검출 결과와 대응하는 정확한 결과를 수동으로 비교하여 판단하거나, 또는 반자동 방식으로 판단하며, 예를 들어, 더욱 복잡한 구조를 갖는 신경망을 사용하여 이미지 처리를 수행하고, 두개의 처리 결과를 비교한다.
선택 가능한 실시예에 있어서, 제 2 이미지 샘플 세트의 이미지 샘플은 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지뿐만 아니라, 이러한 이미지와 유사한 특징을 갖는 이미지일 수도 있기 때문에, 제 2 이미지 샘플 세트의 이미지와 유사한 특징을 갖는 이미지를 획득하여 제 2 이미지 샘플 세트의 이미지 샘플로 할 수도 있다. 구체적으로, 신경망을 훈련하기 위하여, 제 2 도메인에서 훈련용 샘플을 수집하여 제 2 이미지 샘플 세트의 이미지 샘플로 할 수 있다.
103, 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택한다.
본 출원의 실시예에 있어서, 제 2 도메인의 제 2 이미지 샘플 세트를 획득한 다음에, 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택한다. 신경망을 사용하여 선택된 각 이미지 샘플을 처리하여 예측 결과를 획득하고, 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 매개 변수를 최적화 및 조정하며, 즉 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트를 사용하여 함께 신경망을 훈련한다.
선택 가능한 실시예에 있어서, 제 2 도메인은 하나이고, 제 2 이미지 샘플 세트는 하나이며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 1 비율 범위 내에 있다.
제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 1 비율 범위 내에 있으며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많기 때문에, 훈련 기간 동안 신경망의 성능 매개 변수를 제 2 이미지 샘플 세트에 신속하게 피팅시킬 수 있도록, 두개의 샘플 세트에서 샘플을 선택할 때마다 두개의 샘플 세트에서 선택된 이미지 샘플 수량의 비율이 제 1 비율 범위 내에 있도록 한다. 예를 들어, 신경망이 원래의 제 1 도메인의 검출 성능을 유지할 수 있고, 또한 제 2 도메인의 검출 성능을 빨리 학습하여 획득할 수 있도록, 상술한 비율은 약 1:1일 수 있다.
다른 가능한 실시예에 있어서, 하나의 제 2 도메인을 기반으로 제 2 도메인의 수량은 복수개일 수도 있고, 즉 여러개의 제 2 도메인이 존재한다. 구체적으로, 제 2 도메인은 k개이고, 제 2 이미지 샘플 세트는 k개이며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 각 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 각 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 2 비율 범위 내에 있으며, 그 중에서 k는 1보다 큰 정수이다. 신경망이 원래의 제 1 도메인에서의 검출 성능을 유지할 수 있고, 또한 제 2 도메인에서의 검출 성능을 빨리 학습하여 획득할 수 있도록, 제 1 이미지 샘플 세트 및 각 제 2 이미지 샘플 세트에서 동일한 수량의 이미지 샘플을 선택할 수 있으며, 즉 제 2 비례 범위는 약 1이다.
104, 신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하고, 출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정한다.
단계 104에서 출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정하는 것은 반복적인 프로세스(iterative process)이다. 반복 프로세스는 출력된 예측 결과와 선택된 각 이미지 샘플의 진리치의 차이가 요건을 충족할 때까지 계속된다.
그 중에서, 선택된 각 이미지 샘플의 진리치는 선택된 각 이미지 샘플의 표기 정보를 말한다. 예를 들어, 이미지 검출 분류용 이미지 샘플에 대하여, 이미지 샘플의 오브젝트가 차량인 경우, 이미지 샘플의 진리치는 이미지 샘플 내의 차량이다.
딥 학습에서 훈련은 피팅을 의미하며, 즉 신경망을 특정된 이미지 샘플 데이터 세트에 피팅(Fitting)시킨다. 일반적으로 서로 다른 이미지 샘플 데이터는 서로 다른 분포를 가진다. 이미지 샘플 데이터의 타겟 오브젝트는 큰 차이가 있다. 새로운 이미지 샘플 데이터 소스를 사용하여 훈련하면, 원래의 이미지 샘플 데이터 소스의 성능에 영향을 미치고, 또한 차이가 클수록 성능 저하가 심각하다.
신경망을 훈련하는 본질은 다음과 같다. 이미지 샘플에 대한 신경망의 예측 결과, 이미지 샘플의 진리치(즉, 이미지 샘플의 표기 정보 또는 실제 이미지이다)에 따라 신경망의 매개 변수를 지속적으로 조정함으로써, 예측 결과와 이미지 샘플의 진리치의 차이가 요건을 충족하도록 한다. 신경망의 훈련 기간 동안, 특정된 데이터 소스의 액세스 빈도는 신경망을 상기 데이터 소스에 피팅시킬 수 있는 확률을 나타낸다. 액세스 빈도가 높을수록 신경망은 상기 데이터 소스에 피팅되기 쉽고, 즉 신경망은 상기 데이터 소스에 대하여 뛰어난 성능을 발휘한다. 새로운 데이터 소스가 나타나는 경우, 단지 새로운 데이터 소스로 훈련하면, 훈련된 신경망을 다시 새로운 데이터 소스에 피팅시켜 신경망이 이전의 데이터에 피팅할 수 없게 된다. 따라서, 새로운 데이터 소스와 이전의 데이터 소스의 액세스 빈도를 동시에 유지하는 것은 본 출원의 실시예에 있어서의 신경망을 훈련시키는 관건이다.
본 출원의 실시예에 있어서, 제 1 이미지 샘플 세트는 이전의 데이터이고, 제 2 이미지 샘플 세트는 새로운 데이터이다. 신경망이 원래의 제 1 이미지 샘플 세트의 성능을 유지할 수 있고, 또한 제 2 이미지 샘플 세트에 잘 피팅할 수 있도록, 동시에 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트에서 이미지 샘플을 선택하고, 선택된 샘플에 대하여 오브젝트 검출을 수행하며, 또한 검출 결과와 검출 결과에 대응하는 진리치(표기 결과 또는 실제 이미지이다)에 따라 신경망의 매개 변수를 조정할 필요가 있다.
본 출원의 실시예에 있어서, 신경망이 제 1 도메인에 대한 검출 성능을 잃지 않도록, 제 2 이미지 샘플 세트를 수집한 후에 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트를 사용하여 함께 신경망을 훈련하여 신경망의 매개 변수를 갱신함으로써, 신경망은 제 1 도메인의 이미지에 대한 오브젝트 검출 성능을 유지할 수 있고, 또한 제 2 도메인의 이미지에 대한 오브젝트 검출 성능도 갖고 있다. 구체적인 훈련 과정은 상술한 제 1 이미지 샘플 세트만을 사용하여 신경망을 훈련하는 과정과 유사하며, 그룹별로 이미지 샘플 세트에서 이미지 샘플을 획득한다. 다른 점은 각 그룹의 샘플은 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하여 한 그룹의 훈련 샘플로 한다. 그리고 위의 식(1)을 사용하여 신경망의 매개 변수가 최적으로 될 때까지 신경망의 가중치 매개 변수를 업데이트한다.
제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트의 이미지 샘플로 신경망을 훈련시키는 과정에서, 매번 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트에서 n개(각 그룹의 이미지 샘플의 수량이다)의 이미지 샘플이 무작위로 선택되면, 각 이미지 샘플이 샘플링되는 확률은 n/N(N은 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트의 이미지 샘플의 총량이다)이기 때문에, 아래 문제가 발생할 수 있다. 즉 특정 분포를 갖는 이미지 샘플 데이터에 대하여, 이 부분의 이미지 샘플 데이터의 양이 적으면, 이미지 샘플 데이터가 훈련에 참여할 수 있는 기회가 매우 적고, 신경망의 훈련에 기여하는 공헌도가 희석되며, 신경망이 특정 분포를 갖는 이미지 샘플 데이터에 잘 피팅될 수 없게 된다. 따라서 새로운 이미지 샘플 데이터를 충분히 수집하여 성능을 향상시킬 필요가 있다. 또한, 새로운 이미지 샘플 데이터만 사용하면 원래의 이미지 샘플 데이터는 훈련에 참여할 수 없게 되어 신경망은 새로운 이미지 샘플 데이터에 피팅되고, 원래의 이미지 샘플 데이터의 성능이 저하된다.
선택 가능한 실시예에 있어서, 새로운 이미지 샘플 데이터의 양이 적어 신경망의 성능을 향상시키는 데에 영향을 주는 문제를 해결하기 위하여, 본 출원의 실시예에 있어서, 순방향 전파에 참여하는 각 그룹의 이미지 샘플 데이터는 제 1 이미지 샘플 세트에서 선택된 이미지 샘플과 제 2 이미지 샘플 세트에서 선택된 이미지 샘플을 제 1 비율에 따라 결합시켜 구성된다. 예를 들어, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플과 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 비율은 1:1이며, 실제 상황에 따라 적절하게 조정할 수 있다. 예를 들어, 현재 각 그룹의 이미지 샘플의 수량이 32로 설정되어 있는 경우, 16개의 이미지 샘플은 제 1 이미지 샘플 세트에서 선택되고, 16개의 이미지 샘플은 제 2 이미지 샘플 세트에서 선택된다. 또한 제 1 이미지 샘플 세트의 이미지 샘플의 수량과 제 2 이미지 샘플 세트의 이미지 샘플의 수량은 다르기 때문에, 제 1 이미지 샘플 세트의 이미지 샘플과 제 2 이미지 샘플 세트의 이미지 샘플이 훈련에 참여하는 횟수도 다르다. 참여 횟수에 따라 서로 다른 데이터 소스의 비율을 조정함으로써, 여러 이미지 샘플 데이터 소스에서 최적점을 찾는 것은 대량의 새로운 이미지 샘플 데이터를 수집하는 방법보다 편리하다.
네트워크 매개 변수가 갱신된 후희 신경망은 재 1 도메인에 대한 검출 성능을 유지할 수 있고, 또한 제 2 도메인에 대한 검출 성능도 향상시킬 수 있으므로, 선택적으로 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하는 경우, 네트워크 매개 변수가 갱신된 신경망을 사용할 수 있다. 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 다른 오브젝트 검출 방법은 아래 단계를 포함한다.
201, 제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하며, 그 중에서 신경망은 제 1 이미지 샘플 세트로 훈련된다.
202, 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 한다.
203, 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택한다.
204, 신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하고, 출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정한다.
205, 네트워크 매개 변수가 갱신된 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행한다.
본 출원의 실시예에 있어서, 신경망의 네트워크 매개 변수는 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트 양자에 따라 갱신되므로, 신경망은 제 1 도메인에 대한 검출 성능을 유지할 수 있고, 또한 제 2 도메인에 대한 검출 성능을 향상시킬 수 있으므로, 네트워크 매개 변수가 갱신된 신경망을 사용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하면, 검출 결과가 더 정확하다.
본 출원의 실시예에 있어서, 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득한 후에, 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 하며, 신경망을 사용하여 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트에서 선택된 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 획득하고, 마지막으로 새로운 이미지 샘플의 예측 결과, 이전 이미지 샘플의 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정한다. 신경망을 훈련할 때, 새로운 이미지 샘플 세트가 추가되고, 또한 이전의 이미지 샘플 세트를 보류함으로써, 훈련된 신경망은 제 1 도메인에 대한 검출 성능을 유지할 수 있고, 또한 새로운 이미지 샘플 세트에 잘 피팅될 수 있으며, 즉 신경망은 이미 훈련된 장면에서 기존의 검출 성능을 유지할 수 있고, 또한 새로운 장면의 오브젝트 검출 성능을 빠르게 획득할 수 있다.
도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 또 다른 오브젝트 검출 방법을 나타내는 흐름도이다. 도면에 도시된 바와 같이, 상기 방법은 아래 단계를 포함한다.
301, 제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하며, 그 중에서 신경망은 제 1 이미지 샘플 세트로 훈련된다.
302, 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 한다.
303, 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택한다.
304, 신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하고, 출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정한다.
네트워크 매개 변수가 갱신된 신경망에서 출력된 예측 결과와 선택된 각 이미지 샘플의 진리치의 차이가 요건을 충족하면 단계 304은 종료된다.
305, 네트워크 매개 변수가 갱신된 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행한다.
단계 304가 완료된 후에, 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하는 신경망을 업그레이드할 수 있으며, 즉 네트워크 매개 변수가 갱신된 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행한다.
단계 304 이후에 추가로 아래 단계를 포함할 수 있다.
306, 제 2 이미지 샘플 세트와 제 1 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트를 획득한다.
그 중에서 단계 305와 단계 306은 동시에 수행될 수 있으며, 양자는 수행 순서에 제한이 없다.
본 출원의 실시예에 있어서, 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트를 사용하여 신경망을 훈련한 후에, 원래의 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트로 한다. 따라서 신경망의 응용 과정에서 다시 문제가 발생할 경우, 문제가 발생한 장면에 대하여 새로운 제 2 이미지 샘플 세트를 수집하고, 새로운 제 2 이미지 샘플 세트를 제 2 이미지 샘플 세트로 간주하고, 새로운 제 1 이미지 샘플 세트를 제 1 이미지 샘플 세트로 간주하여 다시 단계 301~304을 실행하고, 새로운 장면(즉, 새로운 제 2 도메인)에 대하여 신경망의 네트워크 매개 변수를 다시 갱신 및 조정한다.
제 1 이미지 샘플 세트를 이미 훈련된 이전의 이미지 샘플 세트로 간주할 수 있으며, 신경망이 새로운 장면 또는 영역에 대하여 학습하는 것을 필요로 하는 경우, 새로운 이미지 샘플 세트(즉, 제 2 이미지 샘플 세트 또는 새로운 제 2 이미지 샘플 세트)를 수집하고, 새로운 이미지 샘플 세트 및 이전의 이미지 샘플 세트를 함께 사용하여 신경망을 훈련시킴으로써, 신경망은 새로운 장면 또는 영역에 대하여 학습할 수 있고, 또한 이전에 배운 것을 잊지 않는다.
본 출원의 실시예에 있어서, 매번 새로운 이미지 샘플 세트와 이전의 이미지 샘플 세트(즉, 제 1 이미지 샘플 세트이다)를 사용하여 신경망을 훈련한 다음에 새로운 이미지 샘플 세트와 이전의 이미지 샘플 세트를 합병하여 다음번 훈련할 때에 사용되는 이전의 이미지 샘플 세트로 하기 때문에, 신경망의 응용 장면이 점점 많아짐에 따라 이전의 이미지 샘플 세트는 점점 커진다. 그러나 신경망이 이전의 이미지 샘플 세트의 이미지 샘플을 적절히 처리할 수 있는 경우(검출, 식별 등), 이것은 상기 이미지 샘플이 훈련 과정에서 유용한 정보를 제공할 수 없음을 의미하며, 따라서 훈련하기 전에 상기 이미지 샘플을 이전의 이미지 샘플 세트에서 제거하여 불필요한 훈련을 감소하고, 이전의 이미지 샘플 세트의 샘플 수량을 감소하여 저장 공간을 절약한다.
따라서, 본 출원의 실시예에 따른 오브젝트 검출 방법은 단계 306 이후에 추가로 아래 단계를 포함한다.
307, 네트워크 매개 변수가 갱신된 신경망에 의해 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별한다.
본 출원의 실시예에 있어서, 제 2 이미지 샘플 세트와 제 1 이미지 샘플 세트를 합병하여 새로운 이미지 샘플 세트를 형성한 다음에, 새로운 이미지 샘플 세트의 각 이미지 샘플을 네트워크 매개 변수가 갱신된 신경망에 입력하여 각 이미지 샘플의 처리 결과를 획득하고, 네트워크 매개 변수가 갱신된 신경망에 의해 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 네트워크 매개 변수가 갱신된 신경망의 손실 함수를 사용하여 네트워크 매개 변수가 갱신된 신경망에 의해 각 이미지 샘플을 처리할 때에 생성된 이미지 샘플의 손실값을 계산하고, 마지막으로 손실값이 임계값보다 작은 이미지 샘플을 삭제하며, 즉 새로운 제 1 이미지 샘플 세트에 있어서의 훈련에 공헌을 기여하지 않는 이미지 샘플을 삭제함으로써 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별하는 목적을 달성하고, 불필요한 훈련을 줄이고, 훈련 효율을 향상시킨다. 우선 이전의 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트의 이미지 샘플을 선별할 수 있으며, 따라서 이전의 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트에 있어서의 훈련에 공헌을 기여하지 않는 이미지 샘플을 제거한 다음에, 선별된 후의 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트를 획득할 수도 있다.
선택 가능한 실시예에 있어서, 네트워크 매개 변수가 갱신된 신경망이 목표 검출에 사용되는 컨볼 루션 신경망인 경우, 네트워크 매개 변수가 갱신된 신경망에 의해 이미지 샘플을 처리할 때에 생성된 이미지 샘플의 손실값은 분류 손실과 회귀 손실로 구성될 수 있고, 구체적인 공식은 아래와 같다.
그 중에서, 
은 손실을 나타내고, 
은 분류 손실을 나타내고, 
는 회귀 손실을 나타내며, x는 입력된 이미지 샘플 데이터를 나타내고, c는 입력된 이미지 샘플 데이터의 유형을 나타내며, l는 예측된 검출 프레임을 나타내고, g는 표기 프레임을 나타내며, N은 입력된 이미지 샘플 데이터의 수량을 나타내며, α는 가중치를 나타낸다.
선택 가능한 실시예에 있어서, 제 1 이미지 샘플 세트를 사용하여 신경망을 훈련하고, 훈련된 신경망이 제 1 도메인에 성공적으로 사용된 후에, 사용자는 신경망을 여러 제 2 도메인에 사용하려고 한다. 신경망이 여러 제 2 도메인에 사용될 때, 여러 제 2 이미지 샘플 세트가 수집될 수 있다. 제 1 이미지 샘플 세트와 여러 제 2 이미지 샘플 세트를 사용하여 신경망을 훈련하는 과정에서 그룹별로 제 1 이미지 샘플 세트 및 여러 제 2 이미지 샘플 세트에서 이미지 샘플을 추출하여 신경망을 훈련할 수 있다. 그 중에서 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 각 제 2 이미지 샘플 세트에서 선택된 이미지 샘플 수량 사이의 비율은 제 2 비율 범위 내에 있다. 이미지 샘플 세트의 훈련에 참여하는 이미지 샘플의 수량이 많을수록 신경망이 이미지 샘플 세트에 더 잘 피팅되므로, 신경망이 각 이미지 샘플 세트에 균일하게 피팅될 수 있도록, 제 2 비율 범위는 약 1이다.
예를 들어, 제 1 이미지 샘플 세트에 200개의 이미지 샘플이 있고, 두개의 제 2 이미지 샘플 세트에 각각 100개의 이미지 샘플이 있다고 가정한다.그룹별로 제 1 이미지 샘플 세트와 2개의 제 2 이미지 샘플 세트에서 60개의 이미지 샘플을 추출하여 신경망을 훈련한다. 각 그룹의 이미지 샘플에 있어서, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플과 두개의 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 비율은 3:1:2이며, 즉 제 1 이미지 샘플 세트에서 30개의 이미지 샘플을 선택하고, 하나의 제 2 이미지 샘플 세트에서 10개의 이미지 샘플을 선택하며, 다른 제 2 이미지 샘플 세트에서 20개의 이미지 샘플을 선택한다.
308, 신경망의 응용 과정에서 다시 문제가 발생할 경우, 문제가 발생한 장면에 대하여 새로운 제 2 이미지 샘플 세트를 수집하고, 새로운 제 2 이미지 샘플 세트를 제 2 이미지 샘플 세트로 간주하고, 새로운 제 1 이미지 샘플 세트를 제 1 이미지 샘플 세트로 간주하여 다시 단계 301~304을 실행한다.
보다 싶이, 본 출원의 실시예에 있어서, 제 1 도메인에 사용되는 신경망을 제 2 도메인에 사용할 때, 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하고, 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 수집하여 제 2 이미지 샘플로 하며, 수집된 여러 제 2 이미지 샘플은 제 2 이미지 샘플 세트를 구성하고, 제 1 이미지 샘플 세트(제 1 도메인에 사용하기 전에 신경망을 훈련할 때에 사용되는 이미지 샘플 세트이다) 와 제 2 이미지 샘플 세트를 함께 사용하여 신경망을 훈련한다. 따라서 제 1 도메인에 대한 신경망의 검출 성능을 유지할 수 있고, 또한 제 2 도메인에 대한 신경망의 검출 성능을 향상시킬 수 있으며, 즉, 신경망은 이미 학습한 지식을 잊지 않고, 새로운 지식을 계속 학습할 수 있다.
또한, 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트를 사용하여 신경망을 훈련한 다음에, 상기 신경망이 처리할 수 없는 새로운 장면 또는 영역이 존재할 가능성이 있기 때문에, 새로운 제 2 이미지 샘플 세트를 계속 수집할 수 있으며, 또한 이전의 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트를 형성하고, 새로운 제 1 이미지 샘플 세트 및 새로운 제 2 이미지 샘플 세트를 사용하여 상기 신경망을 계속 훈련한다.
또한 매번 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트를 사용하여 신경망을 훈련한 다음에 제 2 이미지 샘플 세트와 제 1 이미지 샘플 세트를 합병하여 다음번 훈련할 때에 사용되는 제 1 이미지 샘플 세트로 하기 때문에, 제 1 이미지 샘플 세트는 훈련 횟수에 따라 점점 커진다. 그러나 신경망이 제 1 이미지 샘플 세트의 이미지 샘플을 적절히 처리할 수 있는 경우(검출, 식별 등), 상기 이미지 샘플은 훈련 과정에서 유용한 정보를 제공할 수 없기 때문에, 훈련하기 전에 훈련 과정에서 유용한 정보를 제공할 수 없는 이미지 샘플을 제 1 이미지 샘플 세트에서 제거하여 불필요한 훈련을 감소하고, 제 1 이미지 샘플 세트의 샘플 수량을 감소하여 저장 공간을 절약할 수 있다.
도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 오브젝트 검출 방법에 사용되는 신경망의 훈련 프레임 워크를 나타내는 개략도이다. 도 4에 도시된 바와 같이, 신경망의 훈련 프레임 워크는 대규모 풀 데이터(401), 소규모 풀 데이터(402), 듀얼 풀 데이터(403), 이전의 타겟 검출 모델(404)(제 1 도메인에 사용되는 신경망에 해당됨) 및 새로운 타겟 검출 모델(405)(네트워크 매개 변수가 갱신된 신경망에 해당됨)을 포함할 수 있다.
대규모 풀 데이터: 대규모 풀 데이터는 제 1 도메인에 사용되는 신경망을 훈련하기 위한 이미지 샘플 데이터이며, 제 1 이미지 샘플 세트에 대응된다.
소규모 풀 데이터: 소규모 풀 데이터는 신경망이 제 2 도메인에 사용될 때에 수집된 이미지 샘플 데이터이며, 제 2 이미지 샘플 세트에 대응된다.
듀얼 풀 데이터: 듀얼 풀 데이터는 대규모 풀 데이터(401)와 소규모 풀 데이터(402)를 합병하여 형성되고, 제 2 이미지 샘플 세트와 제 1 이미지 샘플 세트를 합병하여 형성된 이미지 샘플 세트에 대응된다.
이전의 타겟 검출 모델(404): 이전의 타겟 검출 모델은 대규모 풀 데이터로 훈련된다. 이전의 타겟 검출 모델은 제 1 도메인에 사용되는 신경망에 대응되거나, 또는 새로운 제 1 이미지 샘플 세트 및 새로운 제 2 이미지 샘플 세트를 사용하여 신경망을 훈련하기 전에 제 1 샘플 이미지 세트 및 제 2 이미지 샘플 세트로 훈련된 신경망에 대응된다.
새로운 타겟 검출 모델: 새로운 타겟 검출 모델은 대규모 풀 데이터와 소규모 풀 데이터로 훈련되고, 네트워크 매개 변수가 갱신된 신경망에 대응되며, 즉 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트로 훈련된 신경망에 대응되거나, 또는 새로운 제 1 이미지 샘플 세트 및 새로운 제 2 이미지 샘플 세트로 훈련된 신경망에 대응된다.
구체적으로, 우선 대규모 풀 데이터로 상술한 타겟 검출 모델을 훈련하여 이전의 신경망을 획득한다. 이전의 신경망은 특정 장면에 사용될 수 있으며, 예를 들면, 제 1 도메인의 이미지에 대하여 오브젝트 검출을 수행한다. 이전의 타겟 검출 모델이 제 2 도메인에 사용되는 경우, 사용 또는 테스트 과정에서 발생하는 문제에 대하여 새로운 이미지 샘플 세트가 수집된다. 수집된 새로운 이미지 샘플 세트를 소규모 풀 데이터로 간주할 수 있다. 소규모 풀 데이터와 대규모 풀 데이터를 결합하여 듀얼 풀 데이터를 획득한 다음에, 듀얼 풀 데이터로 이전의 타겟 검출 모델을 다시 훈련하여 새로운 타겟 검출 모델을 얻을 수 있다. 마지막으로, 새로운 타겟 검출 모델과 대응하는 손실 함수를 사용하여 듀얼 풀 데이터를 선별하여 새로운 대규모 풀 데이터를 획득하고, 다음번 반복에 사용된다.
도 5를 참조하면, 도 5는 본 발명의 실시예에 따른 듀얼 풀 데이터를 결합하여 듀얼 풀 데이터를 획득하고 듀얼 풀 데이터로 신경망을 다시 훈련하는 것을 나타내는 개략도이다. 도 5에 도시된 바와 같이, 신경망은 컨볼 루션 신경망이다. 우선, 대규모 풀 데이터와 소규모 풀 데이터가 입력으로 사용되고, 1:1 비율에 따라 대규모 풀 데이터와 소규모 풀 데이터에서 데이터를 선택하여 컨볼 루션 신경망을 훈련한다.
선택 가능한 실시예에 있어서, 상술한 듀얼 풀 데이터를 기반으로 또한 멀티 풀 데이터로 구현될 수 있으며, 예를 들어, 도 6에 도시된 멀티 풀 데이터 구조를 이용한 훈련 방법이다. 그 중에서, 서로 다른 풀 데이터는 서로 다른 이미지 샘플 세트를 나타낸다. 멀티 풀 데이터 구조의 원리는 듀얼 풀 방식의 원리와 같고, 특정 데이터 소스의 훈련 참여도를 향상시키는 것이다. 멀티 풀 데이터 방안은 더 많은 데이터 소스를 동시에 고려할 수 있으며, 여러 데이터 분포에서 최적 값을 찾을 수 있다. 구체적인 과정은 도 5에 도시된 방법과 유사하기 때문에, 자세히 설명하지 않는다.
본 출원의 실시예에 따른 훈련 방법에 의해 신경망은 연속 학습 능력을 가질 수 있다. 즉, 신경망은 이미 배운 지식을 잊지 않고 새로운 지식을 계속 학습할 수 있다.
예를 들어, 실제로 사용되는 훈련된 신경망이 있다. 신경망의 훈련에 사용되는 데이터는 영역(A)에서 수집되고, 스마트 운전에 사용된다. 비즈니스 수요때문에 신경망을 영역(B)에 사용한다. 영역(B)의 데이터로 신경망을 훈련하지 않으면, 신경망의 검출 효과는 좋지 않다. 예를 들어, 영역(B)의 고유 차량에 대하여, 감지기는 차량을 감지하지 못하는 경우가 있다. 다른 예로서, 영역(B)의 일부 교통 꼬깔콘도 잘못 판정할 수 있다. 그러나 단지 영역(B)의 데이터로 다시 훈련하면 망각으로 인해 영역(A)에 대한 신경망의 검출 성능이 저하될 수 있다. 이런 경우, 듀얼 풀 훈련 방식을 사용할 수 있다. 영역(B)의 비디오를 수집하여 소규모 풀 데이터로 하고, 원래 영역(A)의 대규모 풀 데이터와 협력하여, 신경망은 원래 장면(영역 A)에서의 성능을 유지할 수 있을 뿐만아니라, 새로운 장면(영역 B)에 잘 피팅될 수 있다. 훈련이 완료되면, 소규모 풀 데이터와 대규모 풀 데이터를 결합할 수 있다. 즉, 신경망의 반복(iteration)이 완료된다.
또 다른 예시로서, 실제로 사용되는 훈련된 신경망이 있다. 신경망은 일반적인 데이터로 훈련되고, 훈련된 신경망은 보안 모니터링에 사용된다. 훈련된 신경망을 원격지 및 특수 장면에 사용하면, 장면의 차이가 크기 때문에, 신경망은 틀리게 검출하거나 검출이 누설되기 쉽다. 이런 경우, 듀얼 풀 훈련 방식을 사용할 수 있다. 새로운 장면의 비디오를 수집하여 소규모 풀 데이터로 하고, 원래의 대규모 풀 데이터와 협력하여 새로운 장면에 대한 신경망의 검출 성능을 빠르게 개선하고 지나치게 피팅되는 것을 방지한다. 훈련이 완료되면 소규모 풀 데이터와 대규모 풀 데이터를 결합할 수 있다. 즉, 신경망의 반복이 완료된다.
본 출원의 실시예는 또한 오브젝트 검출 장치를 제공한다. 오브젝트 검출 장치는 상술한 방법 중 하나를 수행하는 데에 사용된다. 구체적으로, 도 7을 참조하면, 도 7은 본 출원의 실시예에 따른 오브젝트 검출 장치를 나타내는 블록도이다. 본 실시예의 장치는 검출 모듈(710), 샘플 수집 모듈(720), 샘플 선택 모듈(730) 및 매개 변수 조정 모듈(740)을 포함한다.
검출 모듈(710)은 제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하는 데에 사용되고, 신경망은 제 1 이미지 샘플 세트로 훈련된다.
샘플 수집 모듈(720)은 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 하는 데에 사용된다.
샘플 선택 모듈(730)은 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하는 데에 사용된다.
검출 모듈(710)은 또한 신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하는 데에 사용된다.
매개 변수 조정 모듈(740)은 출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정하는 데에 사용된다.
선택 가능한 실시예에 있어서, 검출 모듈(710)은 또한 네트워크 매개 변수가 갱신된 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하는 데에 사용된다.
선택 가능한 실시예에 있어서, 제 2 도메인은 하나이고, 제 2 이미지 샘플 세트는 하나이며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 1 비율 범위 내에 있다.
선택 가능한 실시예에 있어서, 제 2 도메인은 k개이고, 제 2 이미지 샘플 세트는 k개이며, 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 각 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 각 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 2 비율 범위 내에 있으며, 그 중에서 k는 1보다 큰 정수이다.
선택 가능한 실시예에 있어서, 오브젝트 검출 장치는 샘플 합병 모듈(750)을 더 포함한다. 샘플 합병 모듈(750)은 네트워크 매개 변수가 갱신된 신경망을 획득한 후에, 제 2 이미지 샘플 세트와 제 1 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트를 획득하는 데에 사용된다.
선택 가능한 실시예에 있어서, 본 출원의 실시예에 따른 오브젝트 검출 장치는 선별 모듈(760)을 더 포함한다. 선별 모듈(760)은 새로운 제 1 이미지 샘플 세트를 획득한 후에, 네트워크 매개 변수가 갱신된 신경망에 의해 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별하는 데에 사용된다.
선택 가능한 실시예에 있어서, 선별 모듈(760)은 처리 서브 모듈, 확정 서브 모듈 및 삭제 서브 모듈을 포함한다.
처리 서브 모듈은 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 네트워크 매개 변수가 갱신된 신경망에 입력하여 각 이미지 샘플의 처리 결과를 획득하는 데에 사용된다.
확정 서브 모듈은 각 이미지 샘플의 처리 결과 및 그 진리치를 기반으로 네트워크 매개 변수가 갱신된 신경망에 의해 각 이미지 샘플을 처리할 때에 생성된 이미지 샘플의 손실값을 확정하는 데에 사용된다.
삭제 서브 모듈은 새로운 제 1 이미지 샘플 세트 내의 손실값이 제 2 임계값보다 작은 이미지 샘플을 버리는 데에 사용된다.
선택 가능한 실시예에 있어서, 본 출원의 실시예에 따른 오브젝트 검출 장치는 비교 모듈(770)을 더 포함한다. 비교 모듈(770)은 검출 결과와 검출 결과에 대응하는 이미지의 진리치를 비교하여 검출 결과의 신뢰성을 획득하는 데에 사용된다.
보다 싶이, 본 출원의 실시예에 있어서, 제 1 도메인에 적용된 신경망을 제 2 도메인에 적용하는 경우, 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하고, 검출 결과의 신뢰 성이 제 1 임계값보다 낮은 이미지를 수집하여 제 2 이미지 샘플로 하며, 수집된 여러 제 2 이미지 샘플은 제 2 이미지 샘플 세트를 구성한다. 다음 신경망을 사용하여 제 1 이미지 샘플 세트와 제 2 이미지 샘플 세트에서 선택된 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 획득한다. 마지막으로, 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 신경망의 네트워크 매개 변수를 조정한다. 즉, 신경망이 다시 훈련될 때, 새로운 이미지 샘플 세트를 추가하고, 이전의 이미지 샘플 세트를 보류하고 있으므로, 다시 훈련된 신경망은 제 1 도메인에 대한 검출 성능을 유지할 수 있을 뿐만아니라, 제 2 도메인에 대한 검출 성능을 향상시킨다. 즉, 신경망은 훈련된 장면에서의 기존의 검출 성능을 유지할 수 있고, 또한 새로운 장면의 오브젝트 검출 성능을 신속하게 획득할 수 있다.
도 8 본 출원의 실시예에 따른 오브젝트 검출 장비의 구조를 나타내는 개략도이다. 오브젝트 검출 장비(4000)는 프로세서(41)를 포함한다. 오브젝트 검출 장비(4000)는 입력 장치(42), 출력 장치(43) 및 메모리(44)를 더 포함 할 수 있다. 입력 장치(42), 출력 장치(43), 메모리(44)와 프로세서(41)는 버스에 의해 서로 연결된다.
메모리는 랜덤 액세스 메모리(Random Access Memory, RAM), 읽기 전용 메모리(Read-Only Memory, ROM), 삭제 가능 프로그램 가능 읽기 전용 메모리(erasable programmable read only memory, EPROM) 또는 휴대용 읽기 전용 메모리(compact disc ROM (CD ROM 등)가 포함되지만 이것에 한정되지 않는다. 메모리는 명령어와 데이터를 저장하는 데에 사용된다.
입력 장치는 데이터 및/또는 신호를 입력하는 데에 사용된다. 출력 장치는 데이터 및/또는 신호를 출력하는 데에 사용된다. 출력 장치와 입력 장치는 서로 분리되어 있어도 좋고, 또는 서로 통합될 수도 있다.
프로세서는 하나 이상의 프로세서를 포함할 수있다. 예를 들어, 프로세서는 하나 이상의 중앙 처리 장치(CPU)를 포함한다. 하나의 예시로서, 프로세서는 CPU이며, CPU는 단일 코어 CPU 또는 멀티 코어 CPU일 수 있다. 프로세서는 하나 이상의 전용 프로세서를 더 포함할 수있다. 전용 프로세서는 일반 처리 장치(general processing unit, GPU), 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA)를 포함할 수 있으며, 고속 처리에 사용된다.
메모리는 네트워크 장비의 프로그램 코드 및 데이터를 저장하는 데에 사용된다.
프로세서는 메모리에 저장된 프로그램 코드와 데이터를 호출하여 상술한 방법 실시예의 단계를 수행하는 데에 사용된다. 구체적으로 방법 실시예의 설명을 참조할 수 있으며, 여기에서 반복하지 않는다.
도 8은 단지 오브젝트 검출 장비의 간소화된 디자인을 나타내고 있다. 실제 응용에 있어서, 동작 식별 장치는 다른 필요한 요소를 더 포함할 수 있으며, 임의의 수량의 입력/출력 장치, 프로세서, 컨트롤러, 메모리 등을 포함하지만 이것에 한정되지 않는다. 본 출원의 실시예를 실시할 수 있는 모든 동작 식별 장치는 본 출원의 보호 범위에 포함된다.
본 출원의 실시예는 또한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공한다. 컴퓨터 프로그램이 프로세서에 의해 실행되면, 본 출원의 실시예에서 제공되는 임의의 오브젝트 검출 방법을 실현한다. 본 출원의 실시예는 컴퓨터 프로그램 제품을 더 제공한다. 컴퓨터 프로그램 제품은 컴퓨터 실행 가능 명령어를 포함된다. 컴퓨터 실행 명령어가 실행되면, 본 출원의 실시 예에서 제공되는 임의의 오브젝트 검출 방법을 실현할 수 있다.
당업자라면 설명의 편리와 간결을 위해 상술한 시스템, 장치 및 유닛의 구체적인 작업 과정은 상술한 방법 실시예의 대응하는 프로세스를 참조할 수 있음을 명확하게 이해할 수 있으며, 여기에서 반복하지 않는다.
본 출원에서 제공되는 몇몇 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현할 수 있다는 것을 이해할 수 있다. 예를 들어, 유닛의 분할은 논리적인 기능 분할일 뿐, 실제 구현에서는 다른 분할 방식이 있을 수 있으며, 예들 들어, 여러 개의 유닛 또는 컴포넌트가 결합되거나 다른 시스템에 통합될 수 있고, 또는 일부 기능은 무시되거나 실행되지 않을 수 있다. 또한, 표시되거나 논의된 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛을 통한 간접적 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태일 수 있다.
분리된 구성 요소로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수도 있고, 유닛으로 표시되는 구성 요소는 물리적 유닛일 수 있고 아닐 수도 있으며, 한 위치에 배치되거나 여러 네트워크 유닛에 분포되어 있을 수도 있다. 본 실시예 방안의 목적을 달성하기 위해 실제 요구에 따라 그중의 일부 또는 모든 유닛을 선택할 수 있다.
상술한 실시예에 있어서, 전부 또는 일부는 소프트웨어, 하드웨어, 펌웨어(firmware), 또는 다른 임의의 조합에 의해 실현될 수 있다. 소프트웨어에 의해 실현하는 경우, 전부 또는 일부는 컴퓨터 프로그램 제품의 형태로 실현될 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령어를 포함한다. 컴퓨터에 컴퓨터 프로그램 명령어를 로딩하여 실행되는 경우, 본 발명의 실시예에서 설명된 프로세스 또는 기능의 전부 또는 일부가 실행된다. 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크, 또는 다른 프로그래밍 가능한 장치일 수 있다. 컴퓨터 명령어는 컴퓨터 판독 가능한 기억 매체에 저장될 수 있으며, 또는 컴퓨터 판독 가능한 기억 매체에 의해 전송될 수 있다. 예를 들어, 컴퓨터 명령어는 유선(예를 들어, 동축 케이블, 광섬유, 디지털 가입자 회선(digital subscriber line, DSL)) 또는 무선(예를 들어, 적외선, 무선, 마이크로파 등) 방식으로 한 웹 사이트, 컴퓨터, 서버 또는 데이터 센터에서 다른 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 컴퓨터 판독 가능한 기억 매체는, 컴퓨터가 액세스할 수 있는 임의의 사용 가능한 매체, 또는 하나 이상의 사용 가능한 매체 통합을 포함하는 서버, 데이터 센터 등 데이터 저장 장치일 수 있다. 사용 가능한 매체는 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 자기 매체(예를 들면, 소프트 디스크, 하드 디스크, 자기 테이프, 자기 디스크), 광학 매체(예를 들어, 디지털 비디오 디스크(digital video disc, DVD)) 또는 반도체 매체(예를 들어, 솔리드 스테이트 디스크(solid state disk, SSD)) 등일 수 있다.
상술한 것은 단지 본 출원의 구체적인 실시예이며, 본 출원의 보호 범위는 이것에 한정되지 않는다. 당업자라면 본 출원에 개시된 기술 범위 내에서 변경 또는 교체를 쉽게 생각할 수 있으며, 이러한 변경 또는 교체는 모두 본 출원의 범위 내에 포함되어야 한다. 따라서 본 출원의 보호 범위는 청구 범위에 의해 결정된다.
Claims (19)
- 오브젝트 검출 방법으로서,
제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하여 검출 결과를 획득하는 단계- 그 중에서 상기 신경망은 제 1 이미지 샘플 세트로 훈련됨 -와;
상기 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 하는 단계와;
상기 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 상기 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하는 단계와;
상기 신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하는 단계와;
출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 상기 신경망의 네트워크 매개 변수를 조정하는 단계를 포함하는 것을 특징으로 하는 오브젝트 검출 방법.
- 제 1 항에 있어서,
상기 방법은,
네트워크 매개 변수가 갱신된 신경망을 이용하여 상기 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하는 단계를 더 포함하는 것을 특징으로 하는 오브젝트 검출 방법.
- 제 2 항에 있어서,
상기 제 2 도메인은 하나이고, 상기 제 2 이미지 샘플 세트는 하나이며, 상기 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 상기 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 상기 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 상기 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 1 비율 범위 내에 있는 것을 특징으로 하는 오브젝트 검출 방법.
- 제 2 항에 있어서,
상기 제 2 도메인은 k개이고, 상기 제 2 이미지 샘플 세트는 k개이며, 상기 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 각 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 상기 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 각 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 2 비율 범위 내에 있으며, 그 중에서 k는 1보다 큰 정수인 것을 특징으로 하는 오브젝트 검출 방법.
- 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
네트워크 매개 변수가 갱신된 신경망을 획득한 후에, 상기 방법은,
상기 제 2 이미지 샘플 세트와 상기 제 1 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트를 획득하는 단계를 더 포함하는 것을 특징으로 하는 오브젝트 검출 방법.
- 제 5 항에 있어서,
상기 새로운 제 1 이미지 샘플 세트를 획득한 후에, 상기 방법은,
상기 네트워크 매개 변수가 갱신된 신경망에 의해 상기 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 상기 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 상기 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별하는 단계를 더 포함하는 것을 특징으로 하는 오브젝트 검출 방법.
- 제 6 항에 있어서,
상기 네트워크 매개 변수가 갱신된 신경망에 의해 상기 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 상기 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 상기 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별하는 것은,
상기 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 상기 네트워크 매개 변수가 갱신된 신경망에 입력하여 각 이미지 샘플의 처리 결과를 획득하는 것과,
각 이미지 샘플의 처리 결과 및 그 진리치를 기반으로 상기 네트워크 매개 변수가 갱신된 신경망에 의해 각 이미지 샘플을 처리할 때에 생성된 이미지 샘플의 손실값을 확정하는 것과,
상기 새로운 제 1 이미지 샘플 세트 내의 손실값이 제 2 임계값보다 작은 이미지 샘플을 버리는 것을 포함하는 것을 특징으로 하는 오브젝트 검출 방법.
- 제 7 항에 있어서,
검출 결과의 신뢰성을 확정하는 것은,
상기 검출 결과와 상기 검출 결과에 대응하는 이미지의 진리치를 비교하여 상기 검출 결과의 신뢰성을 획득하는 것을 포함하는 것을 특징으로 하는 오브젝트 검출 방법.
- 오브젝트 검출 장치로서,
검출 모듈, 샘플 수집 모듈, 샘플 선택 모듈 및 매개 변수 조정 모듈을 포함하고,
상기 검출 모듈은 제 1 도메인에 사용되는 신경망을 이용하여 제 2 도메인의 이미지에 대하여 오브젝트 검출를 수행하여 검출 결과를 획득하는 데에 사용되며, 그 중에서 상기 신경망은 제 1 이미지 샘플 세트로 훈련되고,
상기 샘플 수집 모듈은 상기 검출 결과의 신뢰성이 제 1 임계값보다 낮은 이미지를 제 2 이미지 샘플 세트의 이미지 샘플로 하는 데에 사용되고,
상기 샘플 선택 모듈은 상기 제 1 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하고, 또한 상기 제 2 이미지 샘플 세트에서 적어도 하나의 이미지 샘플을 선택하는 데에 사용되고,
상기 검출 모듈은 또한 상기 신경망을 사용하여 선택된 각 이미지 샘플에 대하여 오브젝트 검출을 수행하여 예측 결과를 출력하는 데에 사용되며,
상기 매개 변수 조정 모듈은 출력된 예측 결과 및 선택된 각 이미지 샘플의 진리치에 따라 상기 신경망의 네트워크 매개 변수를 조정하는 데에 사용되는 것을 특징으로 하는 오브젝트 검출 장치.
- 제 9 항에 있어서,
상기 검출 모듈은 또한 네트워크 매개 변수가 갱신된 신경망을 이용하여 상기 제 2 도메인의 이미지에 대하여 오브젝트 검출을 수행하는 데에 사용되는 것을 특징으로 하는 오브젝트 검출 장치.
- 제 10 항에 있어서,
상기 제 2 도메인은 하나이고, 상기 제 2 이미지 샘플 세트는 하나이며, 상기 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 상기 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 상기 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 상기 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 1 비율 범위 내에 있는 것을 특징으로 하는 오브젝트 검출 장치.
- 제 10 항에 있어서,
상기 제 2 도메인은 k개이고, 상기 제 2 이미지 샘플 세트는 k개이며, 상기 제 1 이미지 샘플 세트의 이미지 샘플의 수량은 각 제 2 이미지 샘플 세트의 이미지 샘플의 수량보다 많고, 상기 제 1 이미지 샘플 세트에서 선택된 이미지 샘플의 수량과 각 제 2 이미지 샘플 세트에서 선택된 이미지 샘플의 수량 사이의 비율은 제 2 비율 범위 내에 있으며, 그 중에서 k는 1보다 큰 정수인 것을 특징으로 하는 오브젝트 검출 장치.
- 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 오브젝트 검출 장치는 샘플 합병 모듈을 더 포함하고,
상기 샘플 합병 모듈은 네트워크 매개 변수가 갱신된 신경망을 획득한 후에, 상기 제 2 이미지 샘플 세트와 상기 제 1 이미지 샘플 세트를 합병하여 새로운 제 1 이미지 샘플 세트를 획득하는 데에 사용되는 것을 특징으로 하는 오브젝트 검출 장치.
- 제 13 항에 있어서,
상기 오브젝트 검출 장치는 선별 모듈을 더 포함하고,
상기 선별 모듈은 상기 새로운 제 1 이미지 샘플 세트를 획득한 후에, 상기 네트워크 매개 변수가 갱신된 신경망에 의해 상기 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 처리하여 얻어지는 처리 결과 및 상기 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플의 진리치를 기반으로 상기 새로운 제 1 이미지 샘플 세트의 이미지 샘플을 선별하는 데에 사용되는 것을 특징으로 하는 오브젝트 검출 장치.
- 제 14 항에 있어서,
상기 선별 모듈은 처리 서브 모듈, 확정 서브 모듈 및 삭제 서브 모듈을 포함하고,
상기 처리 서브 모듈은 상기 새로운 제 1 이미지 샘플 세트의 각 이미지 샘플을 상기 네트워크 매개 변수가 갱신된 신경망에 입력하여 각 이미지 샘플의 처리 결과를 획득하는 데에 사용되고,
상기 확정 서브 모듈은 각 이미지 샘플의 처리 결과 및 그 진리치를 기반으로 상기 네트워크 매개 변수가 갱신된 신경망에 의해 각 이미지 샘플을 처리할 때에 생성된 이미지 샘플의 손실값을 확정하는 데에 사용되며,
상기 삭제 서브 모듈은 상기 새로운 제 1 이미지 샘플 세트 내의 손실값이 제 2 임계값보다 작은 이미지 샘플을 버리는 데에 사용되는 것을 특징으로 하는 오브젝트 검출 장치.
- 제 15 항에 있어서,
상기 오브젝트 검출 장치는 비교 모듈을 더 포함하고,
상기 비교 모듈은 검출 결과와 상기 검출 결과에 대응하는 이미지의 진리치를 비교하여 상기 검출 결과의 신뢰성을 획득하는 데에 사용되는 것을 특징으로 하는 오브젝트 검출 장치.
- 오브젝트 검출 장비로서,
프로세서 및 메모리를 포함하고, 상기 메모리는 컴퓨터 실행 가능 명령어를 저장하는 데에 사용되며, 상기 메모리에 저장된 컴퓨터 실행 가능 명령어가 상기 프로세서에 의해 실행되면, 청구항 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 상기 오브젝트 검출 방법을 실현하는 것을 특징으로 하는 오브젝트 검출 장비.
- 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행되면, 청구항 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 상기 오브젝트 검출 방법을 실현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
- 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 컴퓨터 실행 가능 명령어를 포함하고, 상기 컴퓨터 실행 가능 명령어가 컴퓨터에서 실행되면, 청구항 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 오브젝트 검출 방법을 실현하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019104491077 | 2019-05-27 | ||
| CN201910449107.7A CN112001211B (zh) | 2019-05-27 | 2019-05-27 | 对象检测方法、装置、设备及计算机可读存储介质 |
| PCT/CN2019/121300 WO2020238101A1 (zh) | 2019-05-27 | 2019-11-27 | 对象检测方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210006429A true KR20210006429A (ko) | 2021-01-18 |
| KR102455745B1 KR102455745B1 (ko) | 2022-10-17 |
Family
ID=73461428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207035012A KR102455745B1 (ko) | 2019-05-27 | 2019-11-27 | 오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210117725A1 (ko) |
| JP (1) | JP7101267B2 (ko) |
| KR (1) | KR102455745B1 (ko) |
| CN (1) | CN112001211B (ko) |
| SG (1) | SG11202012295UA (ko) |
| WO (1) | WO2020238101A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118521942A (zh) * | 2024-06-19 | 2024-08-20 | 北京网藤科技有限公司 | 一种基于计算机视觉的复杂场景下原油泄漏检测方法及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210067442A (ko) * | 2019-11-29 | 2021-06-08 | 엘지전자 주식회사 | 객체 인식을 위한 자동 레이블링 장치 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096538A (zh) * | 2016-06-08 | 2016-11-09 | 中国科学院自动化研究所 | 基于定序神经网络模型的人脸识别方法及装置 |
| CN108229591A (zh) * | 2018-03-15 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络自适应训练方法和装置、设备、程序和存储介质 |
| CN109242096A (zh) * | 2017-07-01 | 2019-01-18 | 英特尔公司 | 用于训练深度神经网络的技术 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012243180A (ja) * | 2011-05-23 | 2012-12-10 | Sony Corp | 学習装置および方法、並びにプログラム |
| WO2015017796A2 (en) * | 2013-08-02 | 2015-02-05 | Digimarc Corporation | Learning systems and methods |
| US10115040B2 (en) * | 2016-09-14 | 2018-10-30 | Kla-Tencor Corporation | Convolutional neural network-based mode selection and defect classification for image fusion |
| CN108229267B (zh) * | 2016-12-29 | 2020-10-16 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN108229455B (zh) * | 2017-02-23 | 2020-10-16 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| US10318889B2 (en) * | 2017-06-26 | 2019-06-11 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| CN108171256A (zh) * | 2017-11-27 | 2018-06-15 | 深圳市深网视界科技有限公司 | 人脸图像质评模型构建、筛选、识别方法及设备和介质 |
| CN108376235A (zh) * | 2018-01-15 | 2018-08-07 | 深圳市易成自动驾驶技术有限公司 | 图像检测方法、装置及计算机可读存储介质 |
| CN108898218A (zh) * | 2018-05-24 | 2018-11-27 | 阿里巴巴集团控股有限公司 | 一种神经网络模型的训练方法、装置、及计算机设备 |
| CN109299716B (zh) * | 2018-08-07 | 2021-07-06 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、图像分割方法、装置、设备及介质 |
-
2019
- 2019-05-27 CN CN201910449107.7A patent/CN112001211B/zh active Active
- 2019-11-27 JP JP2020567517A patent/JP7101267B2/ja active Active
- 2019-11-27 SG SG11202012295UA patent/SG11202012295UA/en unknown
- 2019-11-27 WO PCT/CN2019/121300 patent/WO2020238101A1/zh active Application Filing
- 2019-11-27 KR KR1020207035012A patent/KR102455745B1/ko active IP Right Grant
-
2020
- 2020-12-07 US US17/113,721 patent/US20210117725A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096538A (zh) * | 2016-06-08 | 2016-11-09 | 中国科学院自动化研究所 | 基于定序神经网络模型的人脸识别方法及装置 |
| CN109242096A (zh) * | 2017-07-01 | 2019-01-18 | 英特尔公司 | 用于训练深度神经网络的技术 |
| CN108229591A (zh) * | 2018-03-15 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络自适应训练方法和装置、设备、程序和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118521942A (zh) * | 2024-06-19 | 2024-08-20 | 北京网藤科技有限公司 | 一种基于计算机视觉的复杂场景下原油泄漏检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112001211A (zh) | 2020-11-27 |
| CN112001211B (zh) | 2024-04-19 |
| KR102455745B1 (ko) | 2022-10-17 |
| JP2021530015A (ja) | 2021-11-04 |
| JP7101267B2 (ja) | 2022-07-14 |
| SG11202012295UA (en) | 2021-01-28 |
| US20210117725A1 (en) | 2021-04-22 |
| WO2020238101A1 (zh) | 2020-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190279088A1 (en) | Training method, apparatus, chip, and system for neural network model | |
| KR20200047307A (ko) | 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| JP2022531974A (ja) | 人工知能のための希な訓練データへの対処 | |
| CN113342905A (zh) | 一种停留点确定方法及装置 | |
| US20210312587A1 (en) | Distributed image analysis method and system, and storage medium | |
| CN111723815A (zh) | 模型训练方法、图像处理方法、装置、计算机系统和介质 | |
| KR102455745B1 (ko) | 오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체 | |
| US11977993B2 (en) | Data source correlation techniques for machine learning and convolutional neural models | |
| CN115273191A (zh) | 一种人脸聚档方法、人脸识别方法、装置、设备及介质 | |
| CN117671597B (zh) | 一种老鼠检测模型的构建方法和老鼠检测方法及装置 | |
| CN116974735A (zh) | 模型训练的方法、电子设备和计算机程序产品 | |
| CN114419005A (zh) | 基于改进轻量型cnn与迁移学习的裂缝自动检测方法 | |
| CN118038163A (zh) | 一种模型训练方法、跨域目标检测方法及电子设备 | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN116188834B (zh) | 基于自适应训练模型的全切片图像分类方法及装置 | |
| CN111814813A (zh) | 神经网络训练和图像分类方法与装置 | |
| CN111582456B (zh) | 用于生成网络模型信息的方法、装置、设备和介质 | |
| CN114170271A (zh) | 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 | |
| CN115587297A (zh) | 构建图像识别模型和图像识别的方法、装置、设备及介质 | |
| CN113469204A (zh) | 数据处理方法、装置、设备和计算机存储介质 | |
| CN115774800B (zh) | 基于numa架构的时变图处理方法、电子设备、介质 | |
| CN111401464B (zh) | 分类方法、装置、电子设备及计算机可读存储介质 | |
| CN117994611B (zh) | 一种图像分类模型的训练方法、装置及电子设备 | |
| CN117197592B (zh) | 一种目标检测模型训练方法、装置、电子设备及介质 | |
| CN111582482B (zh) | 用于生成网络模型信息的方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |