KR102440041B1 - Object recognition apparatus with customized object detection model - Google Patents
Object recognition apparatus with customized object detection model Download PDFInfo
- Publication number
- KR102440041B1 KR102440041B1 KR1020200071059A KR20200071059A KR102440041B1 KR 102440041 B1 KR102440041 B1 KR 102440041B1 KR 1020200071059 A KR1020200071059 A KR 1020200071059A KR 20200071059 A KR20200071059 A KR 20200071059A KR 102440041 B1 KR102440041 B1 KR 102440041B1
- Authority
- KR
- South Korea
- Prior art keywords
- object detection
- detection model
- data
- learning
- present specification
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Geophysics And Detection Of Objects (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Analysis (AREA)
Abstract
본 명세서는 종래 기술에 비해 추론 정확도가 향상된 객체 검출 장치를 개시한다. 본 명세서에 따른 객체 검출 장치는, 이미지 데이터를 수신하는 데이터 수신부; 객체 검출 모델을 저장하는 메모리부; 및 상기 데이터 수신부를 통해 수신된 이미지 데이터에 포함된 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 프로세서;를 포함하는 객체 검출 장치로서, 상기 객체 검출 모델은 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터에 의해 구분된 적어도 하나 이상의 학습 데이터들(이하 '학습 데이터 세트')을 통해 학습된 적어도 하나 이상의 객체 검출 모델일 수 있다.The present specification discloses an object detection apparatus with improved inference accuracy compared to the prior art. An object detecting apparatus according to the present specification includes: a data receiving unit for receiving image data; a memory unit for storing the object detection model; and a processor executing the object detection model stored in the memory unit to detect the object included in the image data received through the data receiving unit; It may be at least one object detection model learned through at least one or more training data (hereinafter, 'learning data set') divided by a parameter related to a photographing condition for .
Description
본 발명은 객체 검출 기술에 관한 것이며, 보다 상세하게는 촬영 조건을 고려한 학습 모델에 따라 추론의 정확도가 향상된 객체 검출 기술에 관한 것이다. The present invention relates to an object detection technology, and more particularly, to an object detection technology in which inference accuracy is improved according to a learning model in consideration of shooting conditions.
객체 검출(Object Detection)은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로 객체 검출은 딥러닝과 머신러닝 알고리즘을 통해 산출되는 기술이다. 객체 검출(object detection)이란 사진이나 비디오에 촬영된 객체의 종류를 분류(classification)하고, 해당 객체의 위치를 추출하는(localization) 과정을 동시에 수행하는 것을 의미한다. 사람은 사진 또는 비디오를 볼 때 인물, 물체, 장면 및 시각적 세부 사항을 쉽게 알아볼 수 있다. 이처럼 사람이라면 당연히 할 수 있는 일을 컴퓨터가 할 수 있도록 학습시키는 것을 객체 검출 학습이라고 한다.Object detection is a computer vision technology that identifies objects on an image or video. Object detection is a technology that is calculated through deep learning and machine learning algorithms. Object detection refers to simultaneously performing a process of classifying a type of an object captured in a photo or video and extracting a location of the object (localization). Humans can easily recognize people, objects, scenes, and visual details when viewing a photo or video. In this way, learning to make a computer do what a human can do is called object detection learning.
본 명세서는 종래 기술에 비해 추론 정확도가 향상된 객체 검출 장치를 제공하는 것을 목적으로 한다.An object of the present specification is to provide an apparatus for detecting an object having improved inference accuracy compared to the prior art.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The present specification is not limited to the above-mentioned problems, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 과제를 해결하기 위한 본 명세서에 따른 객체 검출 장치는, 이미지 데이터를 수신하는 데이터 수신부; 객체 검출 모델을 저장하는 메모리부; 및 상기 데이터 수신부를 통해 수신된 이미지 데이터에 포함된 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 프로세서;를 포함하는 객체 검출 장치로서, 상기 객체 검출 모델은 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터에 의해 구분된 적어도 하나 이상의 학습 데이터들(이하 '학습 데이터 세트')을 통해 학습된 적어도 하나 이상의 객체 검출 모델일 수 있다.An object detection apparatus according to the present specification for solving the above-described problems includes: a data receiving unit configured to receive image data; a memory unit for storing the object detection model; and a processor executing the object detection model stored in the memory unit to detect the object included in the image data received through the data receiving unit; It may be at least one object detection model learned through at least one or more training data (hereinafter, 'learning data set') divided by a parameter related to a photographing condition for .
본 명세서의 일 실시예에 따르면, 상기 파라미터는 촬영고도일 수 있다.According to an embodiment of the present specification, the parameter may be a shooting altitude.
이 경우, 상기 학습 데이터 세트는 미리 설정된 범위의 고도(이하 '촬영고도의 범위')에서 촬영된 학습 데이터들로 이루어질 수 있다.In this case, the learning data set may be made of learning data captured at an altitude of a preset range (hereinafter, 'range of shooting altitude').
그리고 상기 촬영고도의 범위는 영상 전체에서 검출하고자 하는 3차원 객체가 차지하는 비율의 범위에 따라 구분될 수 있다.In addition, the range of the photographing altitude may be divided according to the range of the ratio occupied by the 3D object to be detected in the entire image.
본 명세서의 다른 실시예에 따르면, 상기 파라미터는 촬영각도일 수 있다.According to another embodiment of the present specification, the parameter may be a photographing angle.
이 경우, 상기 학습 데이터 세트는 미리 설정된 범위의 각도(이하 '촬영각도의 범위')에서 촬영된 학습 데이터들로 이루어질 수 있다. In this case, the learning data set may include learning data captured at an angle within a preset range (hereinafter, 'range of shooting angle').
그리고, 상기 촬영각도의 범위는 검출하고자 하는 3차원 객체의 측면이 차지하는 비율 범위에 따라 구분될 수 있다.And, the range of the shooting angle may be divided according to the ratio range occupied by the side of the 3D object to be detected.
본 명세서의 또 다른 일 실시예에 따르면, 상기 메모리부는 서로 다른 학습 데이터 세트를 통해 학습된 2이상의 객체 검출 모델을 저장할 수 있다.According to another embodiment of the present specification, the memory unit may store two or more object detection models learned through different training data sets.
이 경우, 상기 데이터 수신부는 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터 정보를 더 수신하고, 상기 프로세서는 상기 2이상의 객체 검출 모델 중 상기 데이터 수신부를 통해 수신된 파라미터 정보에 대응하는 객체 검출 모델을 실행할 수 있다.In this case, the data receiver further receives parameter information related to a shooting condition of a 3D object to be detected, and the processor detects an object corresponding to the parameter information received through the data receiver among the two or more object detection models You can run the model.
본 명세서의 일 실시예에 따르면, 상기 데이터 수신부는 드론에 설치된 카메라에서 촬영된 이미지 데이터를 수신할 수 있다. According to an embodiment of the present specification, the data receiver may receive image data captured by a camera installed in a drone.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
본 명세서의 일 측면에 따르면, 종래 기술에 비해 학습 데이터의 양이 줄어들며, 학습에 소요되는 시간 및 비용을 감소시킬 수 있다.According to one aspect of the present specification, the amount of learning data is reduced compared to the prior art, and the time and cost required for learning can be reduced.
본 명세서의 다른 측면에 따르면, 종래 기술에 비해 객체 검출 모델의 데이터 양 및 실행시 필요한 연산량이 감소하여 소형 장치에 적용이 가능하면, 실행 속도가 향상될 수 있다.According to another aspect of the present specification, if the data amount of the object detection model and the amount of computation required for execution are reduced compared to the prior art, so that it can be applied to a small device, the execution speed may be improved.
본 명세서의 또 다른 측면에 따르면, 종래 기술에 비해 특정 조건에 더 강화된 학습을 거친 객체 검출 모델을 사용할 수 있어서, 추론 정확도가 향상될 수 있다.According to another aspect of the present specification, an object detection model that has undergone more reinforced learning for a specific condition can be used compared to the prior art, so that inference accuracy can be improved.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 명세서에 따른 객체 검출 장치의 사용 환경의 예시도이다.
도 2는 본 명세서에 따른 객체 검출 장치의 구성을 개략적으로 도시한 블럭도이다.
도 3은 촬영고도에 따른 객체 이미지 차이에 대한 참고도이다.
도 4는 촬영각도에 따른 객체 이미지 차이에 대한 참고도이다.
도 5는 학습 데이터 세트와 이에 따른 객체 검출 모델의 관계도이다.1 is an exemplary diagram of a usage environment of an object detection apparatus according to the present specification.
2 is a block diagram schematically illustrating a configuration of an object detection apparatus according to the present specification.
3 is a reference diagram for differences in object images according to shooting altitude.
4 is a reference diagram for a difference in object image according to a photographing angle.
5 is a diagram illustrating a relationship between a training data set and an object detection model according thereto.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the invention disclosed herein, and methods of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present specification is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present specification to be complete, and those of ordinary skill in the art to which this specification belongs. It is provided to fully inform those skilled in the art (hereinafter 'those skilled in the art') the scope of the present specification, and the scope of the present specification is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the scope of the present specification. In this specification, the singular also includes the plural, unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this specification belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly specifically defined. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 명세서에 따른 객체 검출 장치의 사용 환경의 예시도이다.1 is an exemplary diagram of a usage environment of an object detection apparatus according to the present specification.
도 1을 참조하면, 카메라를 탑재한 드론(10)이 차량(20)을 촬영한 이미지 데이터를 본 명세서에 따른 객체 검출 장치(100)에게 전송하는 예시를 확인할 수 있다. 상기 예시는 드론(10)을 이용하여 특정 차량을 찾는 상황이다. 이 경우, 이미지 또는 비디오 영상에서 객체를 식별하는 알고리즘이 필요하다. 객체 검출(object detection) 알고리즘은 최근 딥러닝 또는 머신러닝으로 알려진 인공지능 기술을 통해 구현이 가능하다. 일반적인 객체 검출 알고리즘은 식별하고자 하는 객체(예: 자동차)를 다양한 환경에서 촬영한 다수의 사진(이른바 '빅데이터')을 이용하여 학습(예: Deep Learning) 과정을 거쳐서 생성된다. 본 명세서에서는 이렇게 생성된 객체 검출 알고리즘을 '객체 검출 모델'이라고 명명하겠다.Referring to FIG. 1 , an example in which a
도 2는 본 명세서에 따른 객체 검출 장치의 구성을 개략적으로 도시한 블럭도이다.2 is a block diagram schematically illustrating a configuration of an object detection apparatus according to the present specification.
도 2를 참조하면, 본 명세서에 따른 객체 검출 장치(100)는 데이터 수신부(110), 메모리부(120) 및 프로세서(130)를 포함할 수 있다.Referring to FIG. 2 , the
상기 데이터 수신부(110)는 이미지 데이터를 수신하는 역할을 할 수 있다. 도 1에 도시된 예시와 같이 영상을 촬영하는 카메라와 물리적으로 분리된 경우, 상기 데이터 수신부(110)는 이미지 데이터를 수신할 수 있는 유선 또는 무선 통신 모듈이 될 수 있다. 또한, 본 명세서에 따른 객체 검출 장치(100)가 드론에 직접 탑재된 경우, 상기 데이터 수신부(110)는 이미지 데이터를 출력하는 카메라와 직접 또는 간접적으로 연결된 구성일 수 있다. 또한, 실시간 영상으로부터 객체 검출을 수행하지 않고 미리 촬영된 이미지 데이터에서 특정 객체를 검출하는 경우, 상기 데이터 수신부(110)는 이미지 데이터를 저장한 저장 장치와 직접 또는 간접적으로 연결된 구성일 수 있다. 본 명세서에서는 상기 데이터 수신부(110)가 드론에 설치된 카메라에서 촬영된 이미지 데이터를 수신하는 예시로 설명하겠다.The
상기 메모리부(120)는 객체 검출 모델을 저장할 수 있다. 상기 프로세서(130)는 상기 데이터 수신부(110)를 통해 수신된 이미지 데이터에 포함된 객체를 검출하도록 상기 메모리부(120)에 저장된 객체 검출 모델을 실행할 수 있다.The
상기 데이터 수신부(110), 메모리부(120) 및 프로세서(130)는 객체 검출 알고리즘을 실행하기 위한 기본적인 구성에 해당하며, 객체 검출 알고리즘이 실행되는 원리는 당업자에게 알려진 기술이므로 상세한 설명은 생략하도록 한다. 또한, 인공지능, 머신러닝, 딥러닝 등 관련 사항 역시 당업자에게 알려진 기술이므로 상세한 설명은 생략한다.The
한편, 종래 기술은 객체 검출 모델을 학습시키기 위해 다량의 학습 데이터를 단순히 사용하였다. 컨벌루션 뉴럴 네트워크(CNN)의 경우 학습 데이터의 양이 많을 수록, 신경망의 레이어가 많을 수록 정확도가 향상되지만 그만큼 객체 검출 모델을 학습시키는데 시간과 비용이 많이 소요된다. 또한, 이러한 종래 방식으로 학습된 객체 검출 모델은 레이어가 많은 만큼 모데 자체의 데이터량이 증가하고, 연산량 역시 증가하기 빠른 연산을 기대하기 어려우며, 소형 장치에 적용하기 어려운 단점이 있다.On the other hand, the prior art simply used a large amount of training data to train the object detection model. In the case of a convolutional neural network (CNN), the greater the amount of training data and the more layers of the neural network, the better the accuracy, but it takes a lot of time and money to train the object detection model. In addition, the object detection model trained in this conventional method has disadvantages in that the data amount of the mode itself increases as the number of layers is large, it is difficult to expect a fast operation in which the amount of computation also increases, and it is difficult to apply to a small device.
본 명세서에 따른 객체 검출 장치(100)는 상술된 종래 기술의 단점을 극복하고자, 촬영 조건(환경)에 특화된 객체 검출 모델을 학습시켜 이를 상황에 따라 활용하고자 하는 방식을 제안한다. 보다 구체적으로 본 명세서에 따른 객체 검출 모델은, 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터에 의해 구분된 적어도 하나 이상의 학습 데이터들(이하 '학습 데이터 세트')을 통해 학습된 적어도 하나 이상의 객체 검출 모델이다. 상기 파라미터는 촬영고도 또는/및 촬영각도가 될 수 있다. 상기 파라미터에 대해 보다 자세히 설명하겠다.The
도 3은 촬영고도에 따른 객체 이미지 차이에 대한 참고도이다.3 is a reference diagram for differences in object images according to shooting altitude.
도 3을 참조하면, 카메라를 탑재한 드론이 고고도, 중고도, 저고도에 각각 차량을 촬영하는 상태를 확인할 수 있다. 카메라의 렌즈, CCD의 해상도 등에 따라 촬영된 이미지에 차이가 있을 수 있겠지만, 촬영고도를 제외한 나머지 조건을 모두 동일하게 하였을 때, 촬영고도에 따라 촬영된 차량의 이미지는 차이점이 있다. 촬영고도에 따라 영상에서 차량이 차지하는 픽셀의 개수도 감소하지만, 촬영고도에 따라 차량의 특징을 나타내는 특징점의 개수도 달라질 수 있다. 고고도에서 촬영한 영상에서는 차량의 최외각 형태와 관련된 특징점만 파악이 될 수 있을 것이다. 중고도에서 촬영한 영상에서는 차량의 최외각 형태뿐만 아니라, 메인 프레임을 구성하는 주요 경계 부분에 대한 특징점의 파악도 가능할 것이다. 저고도에서는 차량의 최외각, 메인 프레임의 주요 경계뿐만 아니라, 차량마다 가지고 있는 디자인적 특징에 따른 특징점의 파악도 가능할 것이다.Referring to FIG. 3 , it is possible to check a state in which a drone equipped with a camera records a vehicle at a high altitude, a medium altitude, and a low altitude, respectively. There may be differences in the photographed images depending on the camera lens, the resolution of the CCD, etc. However, when all other conditions except for the photographing altitude are the same, the photographed vehicle image is different according to the photographing altitude. The number of pixels occupied by the vehicle in the image decreases according to the shooting altitude, but the number of feature points representing the characteristics of the vehicle may also vary according to the shooting altitude. In the image taken at high altitude, only the characteristic points related to the outermost shape of the vehicle can be identified. In the image taken at medium altitude, it will be possible to grasp not only the outermost shape of the vehicle, but also the characteristic points of the main boundary parts constituting the main frame. At low altitude, it will be possible to identify not only the outermost edge of the vehicle, the main boundary of the main frame, but also the characteristic points according to the design characteristics of each vehicle.
이처럼, 검출하고자 하는 3차원 객체에 대한 촬영 조건 즉, 촬영고도에 따라 이미지 데이터에서 추출되는 특징점에 차이점이 발생한다. 따라서, 객체 검출 모델이 사용되는 촬영 조건을 미리 알고 있는 경우, 해당 촬영 조건에 대응하는 학습 데이터들로 객체 검출 모델을 학습시키면 보다 향상된 성능을 가진 객체 검출 모델을 기대할 수 있다. 또한, 종래 기술에 비해 학습과정에서 불필요한 학습 데이터를 입력할 필요가 없으므로, 학습 시간 및 비용의 절감을 기대할 수 있다.As such, a difference occurs in the feature points extracted from the image data according to the shooting conditions for the 3D object to be detected, that is, the shooting altitude. Accordingly, when the photographing condition in which the object detection model is used is known in advance, an object detection model with improved performance can be expected by learning the object detection model using learning data corresponding to the corresponding photographing condition. In addition, since there is no need to input unnecessary learning data in the learning process compared to the prior art, it is expected to reduce learning time and cost.
참고로, 촬영고도와 관련된 객체 검출 모델을 학습시키는 방법을 살펴보겠다. 먼저, 촬영고도에 의해 학습 데이터를 구분한다. 이때, 촬영고도의 범위는 예를 들어, 0m~25m, 25m~50m, 50m 초과 등 다양하게 설정될 수 있다. 본 명세서의 일 실시예에 따르면, 상기 촬영고도의 범위는 영상 전체에서 검출하고자 하는 3차원 객체가 차지하는 비율의 범위(예를 들어, 객체가 차지하는 비율이 10%이하, 10%~60%, 60% 초과 등)에 따라 구분될 수 있다. 촬영고도에 따라 구분된 학습 데이터들(학습 데이터 세트)를 통해 각각의 객체 검출 모델을 학습시킨다. 이러한 학습 과정을 거친 각각의 객체 검출 모델은 촬영 조건에 따라 상기 메모리부(120)에 저장되고, 프로세서(130)에 의해 실행된다.For reference, we will look at how to train an object detection model related to the shooting altitude. First, the learning data is classified according to the shooting altitude. In this case, the range of the shooting altitude may be variously set, for example, 0m to 25m, 25m to 50m, more than 50m. According to an embodiment of the present specification, the range of the shooting altitude is the range of the ratio of the 3D object to be detected in the entire image (eg, the ratio of the object is 10% or less, 10% to 60%, 60 % excess, etc.). Each object detection model is trained through the training data (learning data set) classified according to the shooting altitude. Each object detection model that has undergone such a learning process is stored in the
도 4는 촬영각도에 따른 객체 이미지 차이에 대한 참고도이다.4 is a reference diagram for a difference in object image according to a photographing angle.
도 4을 참조하면, 카메라를 탑재한 드론이 동일한 고도에서 90도, 45도, 10도의 촬영각도로 각각 차량을 촬영하는 상태를 확인할 수 있다. 마찬가지로, 카메라의 렌즈, CCD의 해상도 등에 따라 촬영된 이미지에 차이가 있을 수 있겠지만, 촬영각도를 제외한 나머지 조건을 모두 동일하게 하였을 때, 촬영각도에 따라 촬영된 차량의 이미지는 차이점이 있다. 촬영각도에 따라 영상에서 보여지는 차량의 모습이 달라진다. 촬영각도 90도인 경우, 영상에서는 차량의 상부면과 관련 특징점을 많이 포함할 것이다. 촬영각도 45도인 경우, 영상에서는 차량의 상부면과 측면에 대한 특징점을 많이 포함할 것이다. 촬영각도 10도인 경우, 차량의 측면(정면, 후면 모두 포함)에 대한 특징점을 많이 포함할 것이다.Referring to FIG. 4 , a state in which a drone equipped with a camera is photographing a vehicle at a shooting angle of 90 degrees, 45 degrees, and 10 degrees at the same altitude can be confirmed. Similarly, there may be differences in the photographed image depending on the camera lens, the resolution of the CCD, etc. However, when all conditions except the photographing angle are the same, there is a difference in the photographed image of the vehicle according to the photographing angle. The shape of the vehicle shown in the video changes depending on the shooting angle. In the case of a shooting angle of 90 degrees, the image will include a lot of the upper surface of the vehicle and related feature points. In the case of a shooting angle of 45 degrees, the image will include many feature points for the upper surface and side of the vehicle. When the shooting angle is 10 degrees, it will include many feature points for the side (both front and rear) of the vehicle.
이처럼, 검출하고자 하는 3차원 객체에 대한 촬영 조건 즉, 촬영각도에 따라 이미지 데이터에서 추출되는 특징점에 차이점이 발생한다. 따라서, 객체 검출 모델이 사용되는 촬영 조건을 미리 알고 있는 경우, 해당 촬영 조건에 대응하는 학습 데이터들로 객체 검출 모델을 학습시키면 보다 향상된 성능을 가진 객체 검출 모델을 기대할 수 있다. 또한, 종래 기술에 비해 학습과정에서 불필요한 학습 데이터를 입력할 필요가 없으므로, 학습 시간 및 비용의 절감을 기대할 수 있다.As such, a difference occurs in the feature points extracted from the image data according to the shooting conditions for the 3D object to be detected, that is, the shooting angle. Accordingly, when the photographing condition in which the object detection model is used is known in advance, an object detection model with improved performance can be expected by learning the object detection model using learning data corresponding to the corresponding photographing condition. In addition, since there is no need to input unnecessary learning data in the learning process compared to the prior art, it is expected to reduce learning time and cost.
참고로, 촬영각도와 관련된 객체 검출 모델을 학습시키는 방법을 살펴보겠다. 먼저, 촬영각도에 의해 학습 데이터를 구분한다. 이때, 촬영각도의 범위는 예를 들어, 0~10도, 10~50도, 50~90도 등 다양하게 설정될 수 있다. 본 명세서의 일 실시예에 따르면, 상기 촬영각도의 범위는 상기 촬영각도의 범위는 검출하고자 하는 3차원 객체의 측면이 차지하는 비율 범위(예를 들어, 객체의 측면이 10%이하, 10%~60%, 60% 초과 등)에 따라 구분될 수 있다. For reference, we will look at how to train an object detection model related to the shooting angle. First, the learning data is divided by the shooting angle. In this case, the range of the shooting angle may be variously set, for example, 0 to 10 degrees, 10 to 50 degrees, 50 to 90 degrees, and the like. According to one embodiment of the present specification, the range of the shooting angle is the range of the ratio occupied by the side of the 3D object to be detected (for example, the side of the object is 10% or less, 10% to 60 %, more than 60%, etc.).
촬영각도에 따라 구분된 학습 데이터들(학습 데이터 세트)를 통해 각각의 객체 검출 모델을 학습시킨다. 이러한 학습 과정을 거친 각각의 객체 검출 모델은 촬영 조건에 따라 상기 메모리부(120)에 저장되고, 프로세서(130)에 의해 실행된다.Each object detection model is trained through the training data (learning data set) divided according to the shooting angle. Each object detection model that has undergone such a learning process is stored in the
도 3 및 도 4에서는 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터를 촬영고도와 촬영각도로 각각 나누어 설명하였으나, 상기 파라미터는 촬영고도 및 촬영각도를 모두 포함한 것일 수도 있다. 이 경우에도 마찬가지로, 상기 학습 데이터 세트는 미리 설정된 범위의 고도 및 미리 설정된 범위의 각도에서 촬영된 학습 데이터들로 이루어질 수 있다.In FIGS. 3 and 4, the parameters related to the shooting conditions for the three-dimensional object to be detected are divided into the shooting altitude and the shooting angle, respectively, but the parameters may include both the shooting altitude and the shooting angle. Likewise in this case, the learning data set may be made of learning data photographed at an altitude of a preset range and an angle of a preset range.
도 5는 학습 데이터 세트와 이에 따른 객체 검출 모델의 관계도이다.5 is a diagram illustrating a relationship between a training data set and an object detection model according thereto.
도 5를 참조하면, 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터로서, 촬영고도 및 촬영각도에 따른 9개의 학습 데이터 세트와 이에 대응하는 9개의 객체 검출 모델을 확인할 수 있다. 앞서 설명하였듯이, 각각의 객체 검출 모델은 서로 다른 학습 데이터 세트를 통해 학습된 객체 검출 모델이다. 본 명세서에 따른 객체 검출 장치(100)의 사용자는 검출하고자 하는 3차원 객체에 대한 촬영 조건(환경)에 맞는 객체 검출 모델을 상기 메모리부(120)에 선택적으로 저장시켜서 사용할 수 있다. 또한, 상기 메모리부(120)는 서로 다른 학습 데이터 세트를 통해 학습된 2이상의 객체 검출 모델을 저장하고, 사용자는 상황에 따라 선택할 수도 있다.Referring to FIG. 5 , as parameters related to a shooting condition for a 3D object to be detected, 9 learning data sets according to a shooting altitude and a shooting angle and 9 object detection models corresponding thereto can be identified. As described above, each object detection model is an object detection model trained through different training data sets. A user of the
한편, 검출하고자 하는 3차원 객체에 대한 촬영 조건이 고정되지 않은 경우 즉, 촬영 조건이 실시간으로 변화될 수 있는 경우를 고려할 수 있다. 이 경우, 상기 데이터 수신부(110)는 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터 정보를 더 수신하고, 상기 프로세서(130)는 상기 2이상의 객체 검출 모델 중 상기 데이터 수신부(110)를 통해 수신된 파라미터 정보에 대응하는 객체 검출 모델을 실행할 수 있다. 이 경우, 상기 메모리부(120)는 서로 다른 2이상의 객체 검출 모델이 저장된 상태를 전제로 한다.On the other hand, a case in which the photographing condition for a 3D object to be detected is not fixed, that is, a case in which the photographing condition can be changed in real time, may be considered. In this case, the
한편, 상기 프로세서(130)는 상술된 객체 검출 모델의 실행뿐만 아니라, 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 마이크로프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 객체 검출 모델이 소프트웨어로 구현될 때, 상기 프로세서는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 상기 메모리부(120)에 저장되고, MCU에 의해 실행될 수 있다.Meanwhile, the
상기 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The computer program is C/C++, C#, JAVA, Python that can be read by a processor (CPU) of the computer through a device interface of the computer in order for the computer to read the program and execute the methods implemented as a program , may include code coded in a computer language such as machine language. Such code may include functional code related to a function defining functions necessary for executing the methods, etc. can do. In addition, the code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user. In addition, the medium may be distributed in a computer system connected by a network, and computer-readable codes may be stored in a distributed manner.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As mentioned above, although the embodiments of the present specification have been described with reference to the accompanying drawings, those skilled in the art to which this specification belongs can realize that the present invention may be embodied in other specific forms without changing the technical spirit or essential features thereof. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
100 : 객체 검출 장치 110 : 데이터 수신부
120 : 메모리부 130 : 프로세서100: object detection device 110: data receiving unit
120: memory unit 130: processor
Claims (10)
객체 검출 모델을 저장하는 메모리부; 및
상기 데이터 수신부를 통해 수신된 이미지 데이터에 포함된 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 프로세서;를 포함하는 객체 검출 장치로서,
상기 객체 검출 모델은,
영상 전체에서 검출하고자 하는 3차원 객체가 차지하는 비율의 범위에 따라 미리 설정된 촬영고도로 구분된 적어도 하나 이상의 학습 데이터들(이하 '학습 데이터 세트')을 통해 학습된 적어도 하나 이상의 객체 검출 모델인 객체 검출 장치.a data receiving unit for receiving image data;
a memory unit for storing the object detection model; and
As an object detection device comprising a;
The object detection model is
An object detection device that is at least one object detection model learned through at least one or more learning data (hereinafter, 'learning data set') divided by a preset shooting altitude according to a range of a ratio occupied by a 3D object to be detected in the entire image .
상기 메모리부는 서로 다른 학습 데이터 세트를 통해 학습된 2이상의 객체 검출 모델을 저장한 것을 특징으로 하는 객체 검출 장치.The method according to claim 1,
wherein the memory unit stores two or more object detection models learned through different training data sets.
상기 데이터 수신부는 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터 정보를 더 수신하고,
상기 프로세서는 상기 2이상의 객체 검출 모델 중 상기 데이터 수신부를 통해 수신된 파라미터 정보에 대응하는 객체 검출 모델을 실행하는 것을 특징으로 하는 객체 검출 장치.9. The method of claim 8,
The data receiving unit further receives parameter information related to a shooting condition for a three-dimensional object to be detected,
and the processor executes an object detection model corresponding to the parameter information received through the data receiver among the two or more object detection models.
상기 데이터 수신부는 드론에 설치된 카메라에서 촬영된 이미지 데이터를 수신하는 것을 특징으로 하는 객체 검출 장치.The method according to claim 1,
The data receiving unit is an object detection device, characterized in that for receiving image data captured by a camera installed in the drone.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200071059A KR102440041B1 (en) | 2020-06-11 | 2020-06-11 | Object recognition apparatus with customized object detection model |
| KR1020220109571A KR20220127188A (en) | 2020-06-11 | 2022-08-31 | Object recognition apparatus with customized object detection model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200071059A KR102440041B1 (en) | 2020-06-11 | 2020-06-11 | Object recognition apparatus with customized object detection model |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220109571A Division KR20220127188A (en) | 2020-06-11 | 2022-08-31 | Object recognition apparatus with customized object detection model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210153989A KR20210153989A (en) | 2021-12-20 |
| KR102440041B1 true KR102440041B1 (en) | 2022-09-06 |
Family
ID=79034040
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200071059A KR102440041B1 (en) | 2020-06-11 | 2020-06-11 | Object recognition apparatus with customized object detection model |
| KR1020220109571A KR20220127188A (en) | 2020-06-11 | 2022-08-31 | Object recognition apparatus with customized object detection model |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220109571A KR20220127188A (en) | 2020-06-11 | 2022-08-31 | Object recognition apparatus with customized object detection model |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102440041B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102589150B1 (en) | 2022-12-12 | 2023-10-16 | 유티정보 주식회사 | Long-distance object detection system using cumulative difference image |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101025651B1 (en) | 2008-11-13 | 2011-03-31 | 엘지전자 주식회사 | Apparatus and method for identifying video object |
| KR102404791B1 (en) * | 2017-03-30 | 2022-06-02 | 삼성전자주식회사 | Device and method for recognizing objects included in input image |
| KR102022695B1 (en) * | 2017-12-26 | 2019-09-19 | 주식회사 솔탑 | Method and apparatus for controlling drone landing |
| KR102177655B1 (en) * | 2018-11-14 | 2020-11-11 | 이병섭 | System for tracking an object in unmanned aerial vehicle based on mvs |
-
2020
- 2020-06-11 KR KR1020200071059A patent/KR102440041B1/en active IP Right Grant
-
2022
- 2022-08-31 KR KR1020220109571A patent/KR20220127188A/en unknown
Non-Patent Citations (2)
| Title |
|---|
| Ilker Bozcan 등, AU-AIR: A Multi-modal Unmanned Aerial Vehicle Dataset for Low Altitude Traffic Surveillance, arXiv:2001.11737v2(2020.02.03.) |
| 진유진 등, 드론 영상의 차량 레이블링을 통한 간선도로 차간간격 산정, 한국ITS학회논문지(2017.12.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210153989A (en) | 2021-12-20 |
| KR20220127188A (en) | 2022-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220138490A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| KR102319177B1 (en) | Method and apparatus, equipment, and storage medium for determining object pose in an image | |
| US11205274B2 (en) | High-performance visual object tracking for embedded vision systems | |
| US20200143146A1 (en) | Target object recognition method and apparatus, storage medium, and electronic device | |
| WO2020018359A1 (en) | Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses | |
| US11106903B1 (en) | Object detection in image data | |
| TW202101371A (en) | Method and apparatus for processing video stream | |
| JP5591360B2 (en) | Classification and object detection method and apparatus, imaging apparatus and image processing apparatus | |
| KR101781358B1 (en) | Personal Identification System And Method By Face Recognition In Digital Image | |
| CN111598065B (en) | Depth image acquisition method, living body identification method, apparatus, circuit, and medium | |
| JP6351243B2 (en) | Image processing apparatus and image processing method | |
| WO2020029874A1 (en) | Object tracking method and device, electronic device and storage medium | |
| WO2021084972A1 (en) | Object tracking device and object tracking method | |
| CN112784712B (en) | Missing child early warning implementation method and device based on real-time monitoring | |
| CN110909561A (en) | Eye state detection system and operation method thereof | |
| JPWO2014010203A1 (en) | Fall detection device, fall detection method, fall detection camera, and computer program | |
| CN112541394A (en) | Black eye and rhinitis identification method, system and computer medium | |
| KR20220127188A (en) | Object recognition apparatus with customized object detection model | |
| CN113128428B (en) | Depth map prediction-based in vivo detection method and related equipment | |
| CN113048951B (en) | Surveying and mapping unmanned aerial vehicle shake detection method and system based on artificial intelligence | |
| CN111429727B (en) | License plate identification method and system in open type parking space | |
| KR101268596B1 (en) | Foreground extraction apparatus and method using CCB and MT LBP | |
| EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
| US10140503B2 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus | |
| KR20220074290A (en) | Performance improving method for device using yolo algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |