KR101965058B1 - Method and apparatus for providing feature information of object for object recognition, method and apparatus for learning object recognition of image using thereof - Google Patents

Method and apparatus for providing feature information of object for object recognition, method and apparatus for learning object recognition of image using thereof Download PDF

Info

Publication number
KR101965058B1
KR101965058B1 KR1020170063367A KR20170063367A KR101965058B1 KR 101965058 B1 KR101965058 B1 KR 101965058B1 KR 1020170063367 A KR1020170063367 A KR 1020170063367A KR 20170063367 A KR20170063367 A KR 20170063367A KR 101965058 B1 KR101965058 B1 KR 101965058B1
Authority
KR
South Korea
Prior art keywords
image
feature information
pixel
rotation angle
input image
Prior art date
Application number
KR1020170063367A
Other languages
Korean (ko)
Other versions
KR20180128182A (en
Inventor
이철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170063367A priority Critical patent/KR101965058B1/en
Publication of KR20180128182A publication Critical patent/KR20180128182A/en
Application granted granted Critical
Publication of KR101965058B1 publication Critical patent/KR101965058B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

객체 인식을 위한 파라미터 제공 방법, 장치 및 그를 이용하여 사이즈 변경 영상의 객체를 인식하는 학습 방법, 장치가 제공된다. 본 발명의 일 실시예에 따른 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상에서 상기 입력영상과 동일한 객체를 인식하는 학습 장치는 상기 입력영상의 각 픽셀과 상기 사이즈 변경 영상의 각 픽셀간 상대 위치 정보, 상기 입력영상 및 상기 입력영상의 객체에 대한 정보를 포함하는 학습 입력 파라미터를 입력받는 입력부 및 상기 학습 입력 파라미터를 이용하여, 상기 사이즈 변경 영상에서 상기 입력영상의 객체와 동일한 객체를 인식하도록 학습하는 학습부를 포함하되, 상기 입력영상과 상기 사이즈 변경 영상은 동일한 픽셀 수를 가지며, 상기 입력영상의 각 픽셀과 상기 사이즈 변경 영상의 각 픽셀은 동일한 위치에서 서로 대응되고, 상기 상대 위치 정보는 상기 입력영상의 각 픽셀별 픽셀 값 및 상기 입력영상과 상기 사이즈 변경 영상이 미리 정해진 일정 거리(d)만큼 떨어진 상태에서 상기 입력영상의 각 픽셀별로 상기 사이즈 변경 영상에서 서로 대응되는 픽셀에 대한 좌우 방향의 회전 각도(

Figure 112017049035597-pat00057
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00058
)를 포함하는 것을 특징으로 한다.A parameter providing method for object recognition, an apparatus, and a learning method and apparatus for recognizing an object of a resized image using the apparatus are provided. A learning apparatus for recognizing the same object as the input image in a resized image obtained by enlarging or reducing an input image at a predetermined ratio according to an embodiment of the present invention includes a memory An input unit for inputting learning input parameters including relative position information, information about the input image and objects of the input image, and an input unit for recognizing the same object as the input image in the size- Wherein the input image and the resized image have the same number of pixels and each pixel of the input image and each pixel of the resized image correspond to each other at the same position, A pixel value of each pixel of the input image and a pixel value of the input image and the size And a left-to-right rotation angle of the pixel corresponding to each of the pixels in the size-changed image, in a state where the changed image is separated by a predetermined constant distance d
Figure 112017049035597-pat00057
) And a vertical rotation angle (
Figure 112017049035597-pat00058
).

Description

영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치{METHOD AND APPARATUS FOR PROVIDING FEATURE INFORMATION OF OBJECT FOR OBJECT RECOGNITION, METHOD AND APPARATUS FOR LEARNING OBJECT RECOGNITION OF IMAGE USING THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for providing object feature information for recognizing an object of an image, and a learning method and apparatus for recognizing an object of an image using the object. IMAGE USING THEREOF}

본 발명은 영상의 객체 인식을 위한 객체 특징 정보를 제공하는 기술 및 그를 이용하여 영상의 객체를 인식하기 위한 학습을 수행하는 기술에 관한 것이다.The present invention relates to a technique for providing object feature information for object recognition of an image and a technique for performing learning for recognizing an object of the image using the object feature information.

근래에 들어 딥러닝(deep-learning)은 얼굴 인식, 전신 인식, 자세 인식, 음성 인식, 객체 인식, 데이터 마이닝 등 다양한 인식에 적용되고 있다.In recent years, deep-learning has been applied to various recognition such as face recognition, body recognition, posture recognition, speech recognition, object recognition, and data mining.

특히, 영상으로부터 특정 객체를 인식하는 객체 인식과 딥러닝 학습 네트워크를 접목시키는 연구는 다양한 방식으로 활발히 이루어지고 있다.Particularly, researches for combining object recognition and deep learning learning network that recognize a specific object from video are actively performed in various ways.

딥러닝에 의한 객체 인식의 가장 큰 장점은 기존에는 연구자들이 인식을 위해 구축한 최적의 특징(SIFT, LBP, HOG 등) 설계에 많은 노력이 필요했지만 딥러닝은 데이터로부터 자연스러운 특징을 스스로 학습할 수 있어 해당 분야 전문가의 지식이나 응용 분야의 제한을 적게 받는다는 점이다.The biggest advantage of object recognition by deep learning is that it has required a great deal of effort in designing optimal features (SIFT, LBP, HOG, etc.) that researchers have built for recognition, but deep learning can learn natural features from data This means that the experts in the field are not limited in their knowledge or application.

이러한 장점에도 불구하고, 딥러닝을 이용한 객체 인식은 여전히 초기 단계여서 인식률이 높지 않으며, 특히 학습된 영상의 객체에 비해 인식 대상 영상의 객체가 일정 비율 이상으로 확대 또는 축소되어 있는 경우 객체에 대한 인식률이 현저히 감소되는 문제가 있다.In spite of these advantages, object recognition using deep learning is still in the early stage and the recognition rate is not high. Especially, when the object of the recognition target image is enlarged or reduced more than a certain ratio compared to the object of the learned image, There is a problem that is significantly reduced.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 학습된 영상의 객체에 비해 인식 대상 영상의 객체가 일정 비율 이상으로 확대 또는 축소되어 있을지라도 해당 객체에 대한 인식률을 높일 수 있는 방안을 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the conventional art, and it is an object of the present invention to provide a method of increasing the recognition rate of a target object even if the object of the target object is enlarged or reduced more than a certain ratio I want to.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상의 객체를 인식하기 위한 학습 장치는 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부, 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 사이즈 변경 영상 생성부, 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부 및 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 학습부를 포함하되, 상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(

Figure 112017049035597-pat00001
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00002
)를 포함하는 것을 특징으로 한다.In order to achieve the above object, a learning apparatus for recognizing an object of an image according to an embodiment of the present invention includes an input image including an object to be recognized and an image input unit for receiving information about the object, A resizing image generating unit for generating a resizing image in which an input image is enlarged or reduced at a predetermined ratio; a step of arranging the input image and the resizing image in a virtual space at a predetermined distance d in the vertical direction of the image plane An object feature information extracting unit for extracting a relative position of each pixel of the input image with respect to each pixel of the resized image and a pixel value of each pixel of the input image as feature information of the object, And a learning unit that performs learning to recognize an object using the feature information, wherein the relative position of each pixel of the input image The rotation angle of the corresponding pixel in the left-to-right direction
Figure 112017049035597-pat00001
) And a vertical rotation angle (
Figure 112017049035597-pat00002
).

상기와 같은 목적을 달성하기 위해, 본 발명의 다른 실시예에 따른 영상의 객체를 인식하기 위한 학습 장치는 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부, 상기 입력영상의 각 픽셀별로, 상기 상하 방향의 회전 각도(

Figure 112017049035597-pat00003
)를 나타내는 상하회전각도 거리, 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00004
) 및 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부 및 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 학습부를 포함하되, 상기 상하회전각도 거리는 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a learning apparatus for recognizing an object of an image, including an input image including an object to be recognized and an image input unit for receiving information about the object, For each pixel in the vertical direction
Figure 112017049035597-pat00003
A vertical rotation angle distance indicating the rotation angle in the left and right direction
Figure 112017049035597-pat00004
An object feature information extracting unit for extracting a pixel value as feature information of the object and a learning unit for performing learning to recognize an object using the feature information of the extracted object, And a distance from the center.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 장치는 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부, 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 사이즈 변경 영상 생성부 및 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부를 포함하되, 상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(

Figure 112017049035597-pat00005
)와 상하 방향의 회전 각도()를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for providing feature information of an object for learning to recognize an object of an image, the apparatus including an input image including an object to be recognized, A size changing image generating unit for generating a size changing image in which the inputted input image is enlarged or reduced at a predetermined ratio, and a size changing image generating unit for changing the input image and the size changing image to vertical (D) for extracting a relative position of each pixel of the input image with respect to each pixel of the resized image and a pixel value of each pixel of the input image as feature information of the object, And a feature information extracting unit, wherein a relative position of each pixel of the input image is determined in correspondence with the size- The angle of rotation in the lateral direction with respect to the pixel
Figure 112017049035597-pat00005
) And a vertical rotation angle (&thetas;).

상기와 같은 목적을 달성하기 위해, 본 발명의 다른 실시예에 따른 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 장치는 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부 및 상기 입력영상의 각 픽셀별로, 상기 상하 방향의 회전 각도(

Figure 112017049035597-pat00006
)를 나타내는 상하회전각도 거리, 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00007
) 및 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부를 포함하되, 상기 상하회전각도 거리는 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for providing feature information of an object for learning to recognize an object of an image, the apparatus comprising: an input image including an object to be recognized; For each pixel of the input image, a vertical rotation angle (&thetas;
Figure 112017049035597-pat00006
A vertical rotation angle distance indicating the rotation angle in the left and right direction
Figure 112017049035597-pat00007
And an object feature information extracting unit for extracting a pixel value as feature information of the object, wherein the up / down rotation angle distance is displayed as a distance from the center of the transformed image.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 학습 장치가 영상의 객체를 인식하기 위해 학습하는 방법은 (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계, (b) 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 단계, (c) 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계 및 (d) 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 단계를 포함하되, 상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(

Figure 112017049035597-pat00008
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00009
)를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method for a learning apparatus for learning an object of an image, the method comprising: (a) inputting an input image including an object to be recognized and information about the object; (B) generating a resized image in which the input image is enlarged or reduced at a predetermined ratio; (c) generating a resized image in the virtual space in a direction perpendicular to the image plane the step of pre-arranged in a defined distance (d) and extracting the picture elements (pixels) by the pixel value of each pixel relative position and the input image each of the input image for each pixel of the resized image as the feature information of the object and ( and d) performing learning to recognize an object using feature information of the extracted object, wherein a relative position of each pixel of the input image is determined based on the size The left-to-right rotation angle of the corresponding pixel in the changed image (
Figure 112017049035597-pat00008
) And a vertical rotation angle (
Figure 112017049035597-pat00009
).

상기와 같은 목적을 달성하기 위해, 본 발명의 다른 실시예에 따른 학습 장치가 영상의 객체를 인식하기 위해 학습하는 방법은 (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계, (b) 상기 입력영상의 각 픽셀별로, 상기 입력영상의 중심으로부터의 거리, 상기 좌우 방향의 회전 각도(?) 및 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계 및 (c) 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 단계를 포함하되, 상기 입력영상의 중심으로부터 각 픽셀까지의 거리는 구 좌표의 반지름(r)인 것을 특징으로 한다.According to another aspect of the present invention, there is provided a learning method for a learning apparatus for recognizing an object of an image, the method comprising: (a) inputting an input image including an object to be recognized and information about the object; receiving, (b) step and the (c) for each pixel of the input image, to extract the distance, angle of rotation (?) of the right and left direction and the pixel value of the center of the input image as the feature information of the object, wherein And performing learning to recognize the object using feature information of the extracted object, wherein the distance from the center of the input image to each pixel is a radius ( r ) of the spherical coordinate.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 객체의 특징 정보를 제공하는 장치가 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 방법은 (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계, (b) 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 단계 및 (c) 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계를 포함하되, 상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(

Figure 112017049035597-pat00010
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00011
)를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of providing feature information of a video object for learning to recognize an image object, the method comprising the steps of: (a) (B) generating a resized image in which the input image is enlarged or reduced at a predetermined ratio; and (c) generating a resized image by enlarging or reducing the input image at a predetermined ratio, Wherein the input image and the resized image are arranged at a predetermined distance ( d ) in the vertical direction of the image plane, and the relative position of each pixel of the input image to each pixel of the resized image, And extracting pixel-by-pixel pixel values as feature information of the object, wherein a relative position of each pixel of the input image is represented by The rotation angle in the left-right direction with respect to the pixel to be matched (
Figure 112017049035597-pat00010
) And a vertical rotation angle (
Figure 112017049035597-pat00011
).

상기와 같은 목적을 달성하기 위해, 본 발명의 다른 실시예에 따른 영상 객체의 특징 정보를 제공하는 장치가 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 방법은 (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계 및 (b) 상기 입력영상의 각 픽셀별로, 상기 상하 방향의 회전 각도(

Figure 112017049035597-pat00012
)를 나타내는 상하회전각도 거리, 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00013
) 및 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계를 포함하되, 상기 상하회전각도 거리는 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of providing feature information of a video object for learning to recognize an image object, the method comprising the steps of: (a) Receiving an input image including an object to be recognized and information about the object; and (b)
Figure 112017049035597-pat00012
A vertical rotation angle distance indicating the rotation angle in the left and right direction
Figure 112017049035597-pat00013
And extracting the pixel value as the feature information of the object, wherein the up and down rotation angle distance is represented by a distance from the center of the transformed image.

본 발명의 일 실시예에 따르면, 학습된 영상에 비해 인식 대상 영상의 객체가 일정 비율 이상으로 확대 또는 축소되더라도 객체에 대한 인식률을 높일 수 있는 장점이 있다.According to an embodiment of the present invention, there is an advantage that the recognition rate for an object can be increased even if the object of the recognition target image is enlarged or reduced more than a certain ratio as compared with the learned image.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.

도 1은 본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 특징 정보 제공 장치의 구성을 도시한 블록도이다.
도3은 본 발명의 일 실시예에 따른 상대 위치 정보를 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 학습 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 객체 특징 정보 제공 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 과정을 도시한 흐름도이다.
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 변환영상 및 변환영상에 모폴로지 기법을 적용한 영상을 도시한 도면이다.
도 8a 내지 도 8d는 본 발명의 다른 실시예에 따른 변환영상 및 변환영상에 모폴로지 기법을 적용한 영상을 도시한 도면이다.
도 9는 상하회전각도 거리를 변환 영상의 중심으로부터의 거리로 표시한 영상의 일례를 도시한 도면이다.1 is a diagram illustrating a configuration of a learning system for recognizing an object according to an embodiment of the present invention.
2 is a block diagram illustrating the configuration of an apparatus for providing object feature information according to an exemplary embodiment of the present invention.
3 is a view for explaining relative position information according to an embodiment of the present invention.
4 is a block diagram showing a configuration of a learning apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating an object characteristic information providing process according to an embodiment of the present invention.
6 is a flowchart illustrating a learning process for recognizing an object according to an exemplary embodiment of the present invention.
FIGS. 7A to 7D are views showing images obtained by applying a morphology technique to transformed images and transformed images according to an embodiment of the present invention.
FIGS. 8A to 8D are views showing images obtained by applying a morphology technique to transformed images and transformed images according to another embodiment of the present invention.
9 is a diagram showing an example of an image in which the vertical rotation angle distance is indicated by the distance from the center of the converted image.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "indirectly connected" .

또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.Also, when an element is referred to as " comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 시스템의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of a learning system for recognizing an object according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 시스템은 객체 특징 정보 제공 장치(100) 및 학습 장치(200)를 포함할 수 있다.The learning system for recognizing an object according to an embodiment of the present invention may include an object feature information providing apparatus 100 and a learning apparatus 200. [

본 발명에서는 영상의 객체에 대한 특징 정보를 추출하기 위해서, 인식 대상인 객체를 포함하는 입력영상을 미리 정해진 비율로 확대 또는 축소한 '사이즈 변경 영상'을 이용하며, 사이즈 변경 영상은 입력영상의 사이즈만 변경된 것이므로, 입력영상의 픽셀 수와 사이즈 변경 영상의 픽셀 수는 동일하다.In the present invention, in order to extract feature information on an object of an image, a 'resized image' is used, in which an input image including an object to be recognized is enlarged or reduced at a predetermined ratio, The number of pixels of the input image is the same as the number of pixels of the size-changed image.

각 구성 요소를 간략히 설명하면, 객체 특징 정보 제공 장치(100)는 입력영상의 객체에 대한 특징 정보(이하 '객체 특징 정보'라 칭함)를 추출하여 학습 장치(200)로 제공할 수 있다.The object feature information providing apparatus 100 may extract feature information (hereinafter, referred to as 'object feature information') about an object of an input image and provide the extracted feature information to the learning apparatus 200.

여기서 '객체 특징 정보'는 입력영상의 각 픽셀별 픽셀 값(R, G, B) 및 사이즈 변경 영상의 대응 픽셀에 대한 입력영상의 각 픽셀별 상대 위치 - 좌우 방향의 회전 각도(

Figure 112017049035597-pat00014
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00015
) - 를 포함할 수 있다.Here, the 'object feature information' is information on the pixel values (R, G, and B) of each pixel of the input image and the relative position of each pixel of the input image to the corresponding pixel of the resized image,
Figure 112017049035597-pat00014
) And a vertical rotation angle (
Figure 112017049035597-pat00015
) -. ≪ / RTI >

이를 위해 객체 특징 정보 제공 장치(100)는 입력영상이 입력되면, 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하고, 가상의 공간에서 입력영상과 사이즈 변경 영상을 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 입력영상의 각 픽셀별로 상기 객체 특징 정보를 추출할 수 있다.To this end, the object feature information providing apparatus 100 generates a size-changed image that is enlarged or reduced at a predetermined ratio when an input image is input, and displays the input image and the resized image in a virtual space in a predetermined ( D ), and extract the object feature information for each pixel of the input image.

또한, 객체 특징 정보 제공 장치(100)는 객체 특징 정보를 전술한 바와 같이 입력영상의 각 픽셀별 픽셀 값(R, G, B) 및 사이즈 변경 영상의 대응 픽셀에 대한 입력영상의 각 픽셀별 상대 위치로 제공할 수도 있고, 다른 실시예로서 좌우 방향의 회전 각도(

Figure 112017049035597-pat00016
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00017
)에 대한 픽셀 값의 분포를 나타내는 변환영상으로 제공할 수도 있다.In addition, the object feature information providing apparatus 100 may convert object feature information into pixel values (R, G, and B) of each pixel of the input image and a relative value of each pixel of the input image Alternatively, as another embodiment, the rotation angle in the lateral direction
Figure 112017049035597-pat00016
) And a vertical rotation angle (
Figure 112017049035597-pat00017
) As a transformed image representing a distribution of pixel values.

또 다른 실시예로서, 객체 특징 정보 제공 장치(100)는 상기 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 객체 특정 정보로서 제공할 수 있다.In yet another embodiment, the object feature information providing apparatus 100 may provide information obtained by applying a morphology technique to the transformed image as object specifying information.

참고로, 상기 객체 특징 정보는 전술한 바와 같이 객체 특징 정보 제공 장치(100)가 추출하여 학습 장치(200)로 제공할 수도 있고, 학습 장치(200) 내에 객체 특징 정보 제공 장치(100)가 포함되어 상기 객체 특징 정보를 추출할 수도 있다.The object feature information may be extracted by the object feature information providing apparatus 100 and provided to the learning apparatus 200 as described above and the object feature information providing apparatus 100 may be included in the learning apparatus 200 And may extract the object feature information.

한편, 학습 장치(200)는 객체 특징 정보 제공 장치(100)로부터 입력영상의 객체 특정 정보와 객체에 대한 정보(예를 들어 객체의 명칭 등, 이하 '객체의 명칭'이라 칭함)를 제공받을 수 있으며, 객체의 특징 정보를 객체의 명칭과 매칭시켜 입력영상의 객체를 객체의 명칭으로 인식하기 위한 학습을 수행할 수 있다.On the other hand, the learning apparatus 200 receives the object specifying information of the input image and information (e.g., the name of the object, hereinafter referred to as 'object name') of the object from the object characteristic information providing apparatus 100 And can perform learning to recognize the object of the input image as the name of the object by matching the feature information of the object with the name of the object.

다른 실시예로서, 학습 장치(200)가 객체 특징 정보 제공 장치(100)로부터 객체 특징 정보를 제공받지 않고, 입력영상과 객체의 명칭을 입력받아 학습 장치(200) 내에서 객체 특징 정보를 추출하고, 상기 학습을 수행할 수도 있다.In another embodiment, the learning apparatus 200 receives the input image and the object name without receiving the object characteristic information from the object characteristic information providing apparatus 100, extracts the object characteristic information from the learning apparatus 200 , The learning may be performed.

학습 수행이 완료된 후 특정 객체를 다양한 비율로 확대 또는 축소한 영상이 입력되더라도, 학습 장치(200)는 상기 학습 수행 결과에 기초하여 입력 영상에서의 객체 인식률을 높일 수 있다.The learning device 200 can increase the object recognition rate in the input image based on the result of the learning even if an image obtained by enlarging or reducing the specific object at various ratios is input after the completion of the learning.

참고로 학습 장치(200)는 DNN(Deep Neural Network) 및 CNN(Convolutional Neural Network)과 같은 다양한 종류의 신경망 네트워크를 포함할 수 있으며, 필터링에 의한 특징 추출과 서브 샘플링 과정 등을 통해, 영상의 객체를 인식하기 위한 학습을 수행할 수 있다.For reference, the learning apparatus 200 may include various types of neural network such as DNN (Deep Neural Network) and CNN (Convolutional Neural Network). Through the feature extraction and sub-sampling process by filtering, Can be performed.

도 2는 본 발명의 일 실시예에 따른 객체 특징 정보 제공 장치(100)의 구성을 도시한 블록도이고, 도 3a, 도3b 및 도 3c는 본 발명의 일 실시예에 따른 상대 위치 정보와 객체 특징 정보를 설명하는 도면이다.FIG. 2 is a block diagram illustrating a configuration of an object feature information providing apparatus 100 according to an exemplary embodiment of the present invention. FIG. 3A, FIG. 3B, and FIG. Fig.

본 발명의 일 실시예에 따른 객체 특징 정보 제공 장치(100)는 영상 입력부(110), 사이즈 변경 영상 생성부(120), 객체 특징 정보 추출부(130), 제어부(140) 및 저장부(150)를 포함할 수 있다.The object feature information providing apparatus 100 according to an embodiment of the present invention includes an image input unit 110, a resized image generating unit 120, an object feature information extracting unit 130, a control unit 140, and a storage unit 150 ).

각 구성 요소를 설명하면, 영상 입력부(110)는 인식할 객체를 포함하는 입력영상과 해당 객체에 대한 정보, 예를 들어 객체의 명칭을 입력받을 수 있다.The image input unit 110 may receive an input image including an object to be recognized and information about the object, for example, the name of the object.

한편, 사이즈 변경 영상 생성부(120)는 입력된 입력영상을 미리 전해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성할 수 있다.On the other hand, the resized image generating unit 120 may generate a resized image obtained by enlarging or reducing the inputted input image in advance.

여기서 확대 또는 축소 비율은 사전에 미리 결정될 수 있으며, 실시예에 따라서 다양한 비율로 설정될 수 있다.Here, the enlargement or reduction ratio may be predetermined in advance, and may be set at various ratios according to the embodiment.

한편, 객체 특징 정보 추출부(130)는 입력된 입력영상의 각 픽셀과 사이즈 변경 영상의 각 픽셀간 상대 위치 정보 및 입력된 입력영상의 각 픽셀별 픽셀 값을 추출할 수 있다.On the other hand, the object feature information extracting unit 130 may extract relative position information between each pixel of the inputted input image and each pixel of the resized image, and pixel values of each pixel of the inputted input image.

여기서 '상대 위치 정보'는 사이즈 변경 영상의 대응 픽셀에 대한 입력영상의 각 픽셀별 상대 위치 - 좌우 방향의 회전 각도(?)와 상하 방향의 회전 각도(?) - 를 포함할 수 있다.Here, the relative position information, the size of each pixel by changing the relative position of the input image for the corresponding pixel of the image may include a (?), The rotational angle of the rotational angle in the horizontal direction and the vertical direction (?).

도 3a는 입력영상의 픽셀과 사이즈 변경 영상의 대응 픽셀을 도시한 것이다.3A shows the pixels of the input image and corresponding pixels of the resized image.

입력영상과 사이즈 변경 영상은 동일한 픽셀 수를 가지므로 각 픽셀들은 도 3a에 도시된 바와 같이 동일한 위치에서 서로 대응될 수 있다. 즉 a픽셀은 A픽셀과, e픽셀은 E픽셀과, m픽셀은 M픽셀과 각각 대응될 수 있다.Since the input image and the resized image have the same number of pixels, each pixel can correspond to each other at the same position as shown in FIG. 3A. That is, a pixel corresponds to A pixel, e pixel corresponds to E pixel, and m pixel corresponds to M pixel, respectively.

도 3b는 상대 위치 정보 중 좌우 방향의 회전 각도(?)와 상하 방향의 회전 각도(?)를 나타낸 것으로서, 입력영상의 a픽셀과 사이즈 변경 영상의 A픽셀에 대한 상대적 위치를 도시하였다. Figure 3b is shown as the angle of rotation (?) Of rotational angle (?) In the lateral direction of the relative location information and up-and-down direction, is shown the relative positions of the A pixel of an input video image of a pixel and the size change.

객체 특징 정보 추출부(130)는 가상의 공간에서 입력영상과 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 도 3b에 도시된 바와 같이 입력영상의 픽셀을 기준으로 사이즈 변경 영상의 대응 픽셀에 대한 좌우 방향의 회전 각도(

Figure 112017049035597-pat00018
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00019
)를 계산할 수 있다.The object feature information extracting unit 130 arranges the input image and the resized image in a virtual space at a predetermined distance d in the vertical direction of the image plane and extracts the resized image based on the pixel of the input image as shown in FIG. The rotation angle of the resized image in the horizontal direction with respect to the corresponding pixel (
Figure 112017049035597-pat00018
) And a vertical rotation angle (
Figure 112017049035597-pat00019
) Can be calculated.

그리고 객체 특징 정보 추출부(130)는 입력영상의 각 픽셀별 픽셀 값을 추출할 수 있다.The object feature information extracting unit 130 may extract pixel values for each pixel of the input image.

또한, 객체 특징 정보의 다른 실시예로서, 객체 특징 정보 추출부(130)는 입력영상의 각 픽셀별 좌우 방향의 회전 각도(

Figure 112017049035597-pat00020
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00021
)에 대한 픽셀 값의 분포를 나타내는 변환영상을 객체 특징 정보로서 추출할 수 있다. 예를 들어, 변환영상의 세로축은 좌우 방향의 회전 각도(
Figure 112017049035597-pat00022
)은 가로축은 상하 방향의 회전 각도(
Figure 112017049035597-pat00023
)를 나타내도록 변환영상을 생성할 수 있다. 도 8는 이와 같은 방법으로 생성된 영상을 보여준다.As another embodiment of the object feature information, the object feature information extracting unit 130 extracts the object feature information from the rotation angles
Figure 112017049035597-pat00020
) And a vertical rotation angle (
Figure 112017049035597-pat00021
) As the object feature information. For example, the vertical axis of the transformed image is rotated in the horizontal direction
Figure 112017049035597-pat00022
The horizontal axis represents the rotation angle in the vertical direction
Figure 112017049035597-pat00023
Quot;) < / RTI > FIG. 8 shows an image generated in this manner.

또한, 객체 특징 정보의 또 다른 실시예로서, 객체 특징 정보 추출부(130)는 상기 변환영상에 모폴로지(morphology) 기법을 적용한 결과(이하 '모폴로지 정보'라 칭함)를 객체 특징 정보로서 추출할 수 있다.As another embodiment of the object feature information, the object feature information extracting unit 130 may extract a result (hereinafter referred to as 'morphology information') obtained by applying a morphology technique to the transformed image as object feature information have.

또한, 객체 특징 정보의 또 다른 실시예로서, 객체 특징 정보 추출부(130)는 도 3c에 도시된 바와 같이 상기 상하 방향의 회전 각도(θ)를 나타내는 상하회전각도 거리와, 상기 좌우 방향의 회전 각도(

Figure 112017049035597-pat00024
) 및 각 픽셀별 픽셀 값을 객체 특징 정보로서 추출할 수 있다. 상기 상하회전각도 거리를 r이라 할 때 다음과 식을 사용하여 비선형 변환을 적용할 수 있다.3C, the object feature information extracting unit 130 extracts the object feature information from the up-and-down rotation angle distance representing the up-down rotation angle [theta] Angle(
Figure 112017049035597-pat00024
) And pixel values for each pixel as object feature information. When the up and down rotation angle distance is r , nonlinear transformation can be applied using the following equation.

Figure 112017049035597-pat00025
Figure 112017049035597-pat00025

여기서 p의 값이 0과 1 사이이면 낮은 범위의 r값이 확대되며, p>1이면 낮은 범위의 r값이 압축된다. 도 10는 이러한 방법으로 생성된 변환 영상의 예를 보여 준다. Here, if the value of p is between 0 and 1, the value of r in the lower range is enlarged. If p > 1, the value of r in the lower range is compressed. Fig. 10 shows an example of the converted image generated by this method.

도 7a 내지 도 8d를 참조하여 후술하겠지만, 변환영상과 모폴로지 정보는 객체의 확대나 축소, 그리고 회전에 대하여 강인한 특성을 가지며, 학습 장치(200)는 입력영상의 객체를 해당 객체의 명칭으로 인식하기 위한 학습을 수행 시, 객체 특징 정보의 이러한 특성을 이용하여 학습함으로써 객체 인식률을 높일 수 있게 된다.As described later with reference to FIGS. 7A to 8D, the transformed image and the morphology information are robust to magnification, reduction, and rotation of the object, and the learning apparatus 200 recognizes the object of the input image as the name of the corresponding object , It is possible to increase the object recognition rate by learning using these characteristics of the object feature information.

한편, 제어부(140)는 객체 특징 정보 제공 장치(100)의 구성 요소들, 예를 들어 픽셀 정보 획득부(110), 상대 위치 정보 계산부(120) 및 객체 특징 정보 추출부(130)가 전술한 동작을 수행하도록 제어할 수 있으며, 저장부(150) 또한 제어할 수 있다. 또한 제어부는 영상입력부를 통하여 입력 받은 입력영상을 사이즈 변경 영상 생성부, 객체 특징 정보 추출부 등으로 전달할 수 있고, 사이즈 변경 영상 생성부와 객체 특징 정보 추출부의 출력도 필요한 곳에 전달할 수 있다.The control unit 140 controls the operation of the object feature information providing apparatus 100 such as the pixel information obtaining unit 110, the relative position information calculating unit 120 and the object feature information extracting unit 130, And the storage unit 150 can also be controlled. Also, the control unit may transmit the input image input through the image input unit to the resizing image generating unit, the object characteristic information extracting unit, and the like, and may transmit the output of the resizing image generating unit and the object characteristic information extracting unit to a necessary place.

한편, 저장부(150)는 제어부(140)가 객체 특징 정보 제공 장치(100)의 구성 요소들을 제어하기 위한 알고리즘 및 해당 알고리즘에 의한 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.Meanwhile, the storage unit 150 may store various data required or derived in an algorithm for controlling the components of the object feature information providing apparatus 100 and a control process of the object feature information providing apparatus 100 by the controller 140.

도 4는 본 발명의 일 실시예에 따른 학습 장치(200)의 구성을 도시한 블록도이다.4 is a block diagram showing a configuration of a learning apparatus 200 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 학습 장치(200)는 영상 입력부(210), 사이즈 변경 영상 생성부(220), 객체 특징 정보 추출부(230), 학습부(240), 제어부(250) 및 저장부(260)를 포함할 수 있다.The learning apparatus 200 according to an embodiment of the present invention includes an image input unit 210, a resized image generation unit 220, an object feature information extraction unit 230, a learning unit 240, a control unit 250, (260).

참고로, 실시예에 따라서 객체 특징 정보 제공 장치(100)로부터 학습에 필요한 객체 특징 정보가 제공되는 경우, 영상 입력부(210), 사이즈 변경 영상 생성부(220) 및 객체 특징 정보 추출부(230)는 생략될 수 있다.When the object feature information necessary for learning is provided from the object feature information providing apparatus 100 according to the embodiment, the image input unit 210, the resized image generating unit 220, and the object feature information extracting unit 230, Can be omitted.

각 구성 요소를 설명하면, 영상 입력부(210)는 인식할 객체를 포함하는 입력영상과 해당 객체에 대한 정보, 예를 들어 객체의 명칭을 입력받을 수 있다.The image input unit 210 may receive an input image including an object to be recognized and information about the object, for example, the name of the object.

한편, 사이즈 변경 영상 생성부(220)는 입력된 입력영상을 미리 전해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성할 수 있다.On the other hand, the resized image generating unit 220 can generate a resized image obtained by enlarging or reducing the inputted input image in advance.

한편, 객체 특징 정보 추출부(230)는 입력된 입력영상의 각 픽셀과 사이즈 변경 영상의 각 픽셀간 상대 위치 정보 및 입력된 입력영상의 각 픽셀별 픽셀 값을 추출할 수 있으며, 입력영상의 각 픽셀별 상대 위치 정보와 픽셀 값을 객체 특징 정보로서 제공할 수 있다.On the other hand, the object feature information extracting unit 230 can extract relative position information between each pixel of the inputted input image and each pixel of the resized image, and pixel values of each pixel of the inputted input image, Pixel relative position information and pixel value as object feature information.

객체 특징 정보 추출부(230)는 전술한 바와 같이 입력영상과 사이즈 변경 영상을 이용하여 변환영상이나 모폴로지 정보를 객체 특징 정보로서 추출할 수도 있고, 입력영상만을 이용하여 상기 상하 방향의 회전 각도(θ)를 나타내는 상하회전각도 거리와 상기 좌우 방향의 회전 각도(

Figure 112017049035597-pat00026
) 그리고 각 픽셀별 픽셀 값을 객체 특징 정보로서 추출할 수도 있다.The object feature information extracting unit 230 may extract the transformed image or morphology information as object feature information using the input image and the resized image as described above, ) And the rotation angle in the left-right direction (
Figure 112017049035597-pat00026
) And extract pixel values for each pixel as object feature information.

상기 영상 입력부(210), 사이즈 변경 영상 생성부(220) 및 객체 특징 정보 추출부(230)의 동작은 객체 특징 정보 제공 장치(100)의 영상 입력부(110), 사이즈 변경 영상 생성부(120) 및 객체 특징 정보 추출부(130)와 동일하므로 상세한 설명은 생략하도록 한다.The operations of the image input unit 210, the resized image generating unit 220 and the object feature information extracting unit 230 are performed by the image input unit 110, the resized image generating unit 120, And the object feature information extracting unit 130, detailed description thereof will be omitted.

한편, 학습부(240)는 전술한 입력영상의 객체 특징 정보를 객체의 명칭과 매칭시켜, 입력영상의 객체를 객체의 명칭으로 인식하기 위한 학습을 수행할 수 있다. 앞서 기술한 바와 같이 제어부(250)은 입출력을 공유하게 할 수 있다.Meanwhile, the learning unit 240 may perform learning to recognize the object of the input image as the name of the object by matching the object feature information of the input image with the object name. As described above, the control unit 250 can share input / output.

전술한 바와 같이, 객체 특징 정보는 객체의 확대나 축소, 그리고 회전에 대하여 강인한 특성을 가지며, 학습부(240)는 객체 특징 정보의 이러한 특성을 이용하여 학습함으로써 객체 인식률을 높일 수 있게 된다.As described above, the object feature information has robust characteristics with respect to enlargement, reduction, and rotation of the object, and the learning unit 240 can increase the object recognition rate by learning using the characteristics of the object feature information.

도 7a 내지 도 8d의 실제 실험 결과를 통해 이에 대한 내용을 설명하도록 한다.The contents of this will be described through the experimental results of FIGS. 7A to 8D.

한편, 제어부(250)는 학습 장치(200)의 구성 요소들, 예를 들어 영상 입력부(210), 사이즈 변경 영상 생성부(220), 객체 특징 정보 추출부(230) 및 학습부(240)가 전술한 동작을 수행하도록 제어할 수 있으며, 저장부(260) 또한 제어할 수 있다.The control unit 250 may include elements of the learning apparatus 200 such as the image input unit 210, the resized image generating unit 220, the object feature information extracting unit 230, and the learning unit 240 May be controlled to perform the above-described operation, and the storage unit 260 may also be controlled.

한편, 저장부(260)는 제어부(250)가 학습 장치(200)의 구성 요소들을 제어하기 위한 알고리즘 및 해당 알고리즘에 의한 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.Meanwhile, the storage unit 260 may store various data required or derived in an algorithm for controlling the components of the learning device 200 and a control process by the control unit 250 of the control unit 250.

도 5는 본 발명의 일 실시예에 따른 객체 특징 정보 제공 과정을 도시한 흐름도이다.5 is a flowchart illustrating an object characteristic information providing process according to an embodiment of the present invention.

도 5의 흐름도는 도 2에 도시된 객체 특징 정보 제공 장치(100)에 의해 수행될 수 있다.The flowchart of FIG. 5 may be performed by the object feature information providing apparatus 100 shown in FIG.

먼저, 객체 특징 정보 제공 장치(100)는 인식할 객체를 포함하는 입력영상과 입력영상의 객체에 대한 정보로서 객체 명칭을 입력받는다(S501).First, the object feature information providing apparatus 100 receives an object name as information on an input image including an object to be recognized and an object of the input image (S501).

S501 후, 객체 특징 정보 제공 장치(100)는 입력영상을 미리 전해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성한다(S502).After S501, the object characteristic information providing apparatus 100 generates a size-changed image obtained by enlarging or reducing the input image in advance (S502).

S502 후, 객체 특징 정보 제공 장치(100)는 입력영상의 각 픽셀별 상대 위치 정보와 픽셀 값을 포함하는 객체 특징 정보를 추출한다(S503).After step S502, the object feature information providing apparatus 100 extracts object feature information including the relative position information and the pixel value of each pixel of the input image (S503).

여기서 객체 특징 정보는 실시예에 따라서 전술한 변환영상 또는 모폴로지 정보를 이용하거나, 상대 위치 정보를 대신하여 상기 상하 방향의 회전 각도(θ)를 나타내는 상하회전각도 거리와 상기 좌우 방향의 회전 각도(

Figure 112017049035597-pat00027
)를 이용할 수 있다.Here, the object feature information may be obtained by using the above-described transformed image or morphology information according to the embodiment, or by using the up / down rotation angle distance representing the up / down rotation angle (?) Instead of the relative position information,
Figure 112017049035597-pat00027
) Can be used.

S503 후, 객체 특징 정보 제공 장치(100)는 추출된 입력영상의 객체 특징 정보를 학습 장치(200)로 제공한다(S504).After S503, the object feature information providing apparatus 100 provides the object feature information of the extracted input image to the learning apparatus 200 (S504).

도 6은 본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 과정을 도시한 흐름도이다.6 is a flowchart illustrating a learning process for recognizing an object according to an exemplary embodiment of the present invention.

도 6의 흐름도는 학습 장치(200)에 의해 수행될 수 있다.The flowchart of Fig. 6 can be performed by the learning apparatus 200. Fig.

먼저, 학습 장치(200)는 인식할 객체를 포함하는 입력영상과 입력영상의 객체에 대한 정보로서 객체 명칭을 입력받는다(S601).First, the learning apparatus 200 receives an object name as information on an input image including an object to be recognized and an object of the input image (S601).

S601 후, 학습 장치(200)는 입력영상을 미리 전해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성한다(S602).After S601, the learning apparatus 200 generates a size-changed image obtained by enlarging or reducing the input image in advance (S602).

S602 후, 학습 장치(200)는 입력영상의 각 픽셀별 상대 위치 정보와 픽셀 값을 포함하는 객체 특징 정보를 추출한다(S603)After step S602, the learning apparatus 200 extracts the object feature information including the relative position information and the pixel value of each pixel of the input image (S603)

여기서 객체 특징 정보는 실시예에 따라서 전술한 변환영상 또는 모폴로지 정보를 이용하거나, 상대 위치 정보를 대신하여 상기 상하 방향의 회전 각도(θ)를 나타내는 상하회전각도 거리와 상기 좌우 방향의 회전 각도(

Figure 112017049035597-pat00028
)를 이용할 수 있다.Here, the object feature information may be obtained by using the above-described transformed image or morphology information according to the embodiment, or by using the up / down rotation angle distance representing the up / down rotation angle (?) Instead of the relative position information,
Figure 112017049035597-pat00028
) Can be used.

S603 후, 학습 장치(200)는 입력영상의 객체 특징 정보와 객체의 명칭을 매칭시켜, 입력영상의 객체를 객체의 명칭으로 인식하는 학습을 수행한다(S604).After step S603, the learning apparatus 200 performs learning to recognize the object of the input image as the object name by matching the object feature information of the input image with the object name (S604).

도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 변환영상 및 모폴로지 정보를 도시한 도면이다.FIGS. 7A to 7D are diagrams showing transformed images and morphology information according to an embodiment of the present invention.

도 7a 및 도 7b에서, 입력영상의 객체는 숫자 '0'이고, 입력영상 객체를 1.5배, 2배 및 2.5배로 각각 확대하였다.7A and 7B, the input image object is the number '0', and the input image object is enlarged by 1.5 times, 2 times, and 2.5 times, respectively.

구체적으로, (a)는 입력영상의 객체, 즉 숫자 0에 대한 입력영상의 각 픽셀별 좌우 방향의 회전 각도(

Figure 112017049035597-pat00029
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00030
)에 대한 픽셀 값의 분포를 나타내는 변환영상 및 모폴로지 정보이다.Specifically, (a) represents the angle of rotation of the input image with respect to the object in the horizontal direction
Figure 112017049035597-pat00029
) And a vertical rotation angle (
Figure 112017049035597-pat00030
) ≪ / RTI > and the morphology information.

(b)는 입력영상의 객체를 1.5배로 확대한 영상의 변환영상 및 모폴로지 정보이고, (c)는 입력영상의 객체를 2배로 확대한 영상의 변환영상 및 변환영상에 모폴로지 기법을 적용한 정보이며, (d)는 입력영상의 객체를 2.5배로 확대한 영상의 변환영상 및 변환영상에 모폴로지 기법을 적용한 정보이다.(b) is a transformed image and morphology information of an image obtained by enlarging an object of the input image by 1.5 times, (c) is information obtained by applying a morphology technique to a transformed image and a transformed image of an image obtained by doubling an input image, (d) is information obtained by applying a morphology technique to the transformed image and the transformed image of the input image magnified 2.5 times.

도 7a 및 도 7b의 (a), (b), (c) 및 (d)에서, 변환영상 및 모폴로지 정보는 영상의 객체를 특정 비율로 확대 또는 축소시키더라도 모두 유사한 형태를 가지는 사이즈 강인한 특성이 있음을 확인할 수 있다.In FIGS. 7A and 7B, the transformed image and the morphology information in FIG. 7A, FIG. 7B, and FIG. 7B show that even if the object of the image is enlarged or reduced at a specific ratio, .

본 발명의 학습 장치(200)는 이러한 특성을 가지는 객체 특징 정보를 이용하여 영상의 객체를 객체에 대한 정보(예를 들어 객체의 명칭 등)로 인식하도록 하는 학습을 수행함으로써, 영상의 객체를 특정 비율로 확대 또는 축소시키더라도 객체의 인식률을 높일 수 있다.The learning apparatus 200 of the present invention performs learning to recognize an object of an image as information (e.g., an object name) of an object using object feature information having such a characteristic, It is possible to increase the recognition rate of the object.

도 7c 및 도 7d는 입력영상의 객체를 90˚부터 270˚까지 회전한 변환영상 및 모폴로지 정보를 도시한 것으로서, 영상의 객체를 회전시키는 경우에도 변환영상 및 모폴로지 정보가 모두 유사한 형태를 유지하는 것을 확인할 수 있다.FIGS. 7C and 7D show transformed images and morphology information obtained by rotating an object of an input image from 90 to 270 degrees. Even if the object of the image is rotated, both the transformed image and the morphology information are maintained in a similar form Can be confirmed.

도 8a 내지 도 8d는 본 발명의 다른 실시예에 따른 변환영상 및 변환영상에 모폴로지 기법을 적용한 정보를 도시한 도면이다.FIGS. 8A to 8D are views showing information obtained by applying a morphology technique to transformed images and transformed images according to another embodiment of the present invention.

도 8a 및 도 8b에서, 입력영상의 객체는 숫자 '1'이고, 입력영상의 객체를 1.5배, 2배 및 2.5배로 각각 확대하였다.8A and 8B, the object of the input image is the number '1', and the object of the input image is enlarged by 1.5 times, 2 times, and 2.5 times, respectively.

구체적으로, (a)는 입력영상의 객체, 즉 숫자 1에 대한 입력영상의 각 픽셀별 좌우 방향의 회전 각도(

Figure 112017049035597-pat00031
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00032
)에 대한 픽셀 값의 분포를 나타내는 변환영상 및 모폴로지 정보이다.Specifically, (a) represents the angle of rotation of the input image with respect to the object, that is, the left and right direction of each pixel of the input image with respect to the number 1
Figure 112017049035597-pat00031
) And a vertical rotation angle (
Figure 112017049035597-pat00032
) ≪ / RTI > and the morphology information.

(b)는 입력영상의 객체를 1.5배로 확대한 영상의 변환영상 및 모폴로지 정보이고, (c)는 입력영상의 객체를 2배로 확대한 영상의 변환영상 및 변환영상에 모폴로지 기법을 적용한 정보이며, (d)는 입력영상의 객체를 2.5배로 확대한 영상의 변환영상 및 변환영상에 모폴로지 기법을 적용한 영상이다.(b) is a transformed image and morphology information of an image obtained by enlarging an object of the input image by 1.5 times, (c) is information obtained by applying a morphology technique to a transformed image and a transformed image of an image obtained by doubling an input image, (d) is an image obtained by applying a morphology technique to a transformed image and a transformed image obtained by enlarging an object of the input image by 2.5 times.

도 8a 및 도 8b의 (a), (b), (c) 및 (d)에서, 변환영상 및 모폴로지 정보는 영상의 객체를 특정 비율로 확대 또는 축소시키더라도 모두 유사한 형태를 가지는 사이즈 강인한 특성이 있음을 확인할 수 있다.In FIGS. 8A and 8B, the transformed image and the morphology information in FIGS. 8A, 8B, 8C, and 8D show that even if the object of the image is enlarged or reduced at a specific ratio, .

따라서 본 발명의 일 실시예에 따른 학습 장치(200)는 객체 특징 정보의 사이즈 강인한 특성을 이용하여 영상의 객체를 객체에 대한 정보(예를 들어 객체의 명칭 등)로 인식하도록 하는 학습을 수행함으로써, 영상의 객체를 특정 비율로 확대 또는 축소시키더라도 객체의 인식률을 높일 수 있다Accordingly, the learning apparatus 200 according to an embodiment of the present invention performs learning to recognize an object of an image as information (e.g., the name of an object) of the object using the size-robust property of the object feature information , The recognition rate of the object can be increased even if the object of the image is enlarged or reduced at a specific ratio

참고로 도 7a 및 도 7b의 입력영상의 객체인 숫자 0과 비교하면, 도 8a의 입력영상의 객체인 숫자 '1'은 숫자 0과 변환영상 및 모폴로지 정보가 모두 다른 형태로 존재함을 알 수 있다.7A and 7B, it can be seen that the number '1', which is an object of the input image in FIG. 8A, exists in a form in which the number 0, the transformed image, and the morphology information are different from each other have.

도 8c 및 도 8d는 입력영상의 객체를 90˚부터 270˚까지 회전한 상태의 변환영상 및 모폴로지 정보를 도시한 것으로서, 영상의 객체를 회전시키는 경우에도 변환영상 및 모폴로지 정보가 모두 유사한 형태를 가지는 것을 확인할 수 있다.FIGS. 8C and 8D show transformed images and morphology information in a state where an object of the input image is rotated from 90 to 270 degrees. Even when rotating an object of an image, both the transformed image and the morphology information have a similar shape .

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.The above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.

상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

100 : 객체 특징 정보 제공 장치
110 : 영상 입력부
120 : 사이즈 변경 영상 생성부
130 : 객체 특징 정보 추출부
140 : 제어부
150 : 저장부
200 : 학습 장치
210 : 영상 입력부
220 : 사이즈 변경 영상 생성부
230 : 객체 특징 정보 추출부
240 : 학습부
250 : 제어부
260 : 저장부100: object characteristic information providing device
110:
120: Resize image generation unit
130: object characteristic information extracting unit
140:
150:
200: Learning device
210:
220: resize image generation unit
230: Object feature information extracting unit
240:
250:
260:

Claims (17)

영상의 객체를 인식하기 위한 학습 장치에 있어서,
인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부;
상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 사이즈 변경 영상 생성부;
가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부; 및
상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 학습부
를 포함하되,
상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00033
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00034
)를 포함하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 장치.
A learning apparatus for recognizing an object of an image,
An image input unit receiving an input image including an object to be recognized and information about the object;
A size changing image generating unit for generating a size changing image in which the inputted input image is enlarged or reduced at a predetermined ratio;
The input image and the resized image are arranged at a predetermined distance (d) in the vertical direction of the image plane in a virtual space, and a relative position of each pixel of the input image with respect to each pixel of the resized image, An object feature information extracting unit for extracting a pixel value of each pixel of the image as feature information of the object; And
A learning unit for performing learning to recognize an object using the feature information of the extracted object,
, ≪ / RTI &
The relative position of each pixel of the input image is determined by a rotation angle of the corresponding pixel in the left-
Figure 112017049035597-pat00033
) And a vertical rotation angle (
Figure 112017049035597-pat00034
And an image processing unit for processing the object image.
제1 항에 있어서,
상기 객체 특징 정보 추출부는
상기 좌우 방향의 회전 각도(
Figure 112019014213083-pat00035
)와 상하 방향의 회전 각도(
Figure 112019014213083-pat00036
)에 대한 상기 각 픽셀 값의 분포를 나타내는 변환영상을 생성하고, 상기 생성된 변환영상을 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 장치.
The method according to claim 1,
The object feature information extracting unit
The rotation angle in the left-right direction
Figure 112019014213083-pat00035
) And a vertical rotation angle (
Figure 112019014213083-pat00036
And generating a transformed image representing a distribution of each of the pixel values with respect to the transformed image, and extracting the transformed image as feature information of the object.
제1 항에 있어서,
상기 객체 특징 정보 추출부는
상기 좌우 방향의 회전 각도(
Figure 112019014213083-pat00037
)와 상기 상하 방향의 회전 각도(
Figure 112019014213083-pat00038
)를 나타내는 상하회전각도 거리를 분포를 나타내는 변환영상을 생성하되 상기 상하회전각도 거리는 상기 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 장치.
The method according to claim 1,
The object feature information extracting unit
The rotation angle in the left-right direction
Figure 112019014213083-pat00037
) And the vertical rotation angle (
Figure 112019014213083-pat00038
And the vertical angle of rotation is expressed as a distance from a center of the transformed image. The apparatus of claim 1,
제2 항에 있어서,
상기 객체 특징 정보 추출부는
상기 생성된 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 장치.
3. The method of claim 2,
The object feature information extracting unit
And extracting information obtained by applying a morphology technique to the generated transformed image as feature information of the object.
영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 장치에 있어서,
인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부;
상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 사이즈 변경 영상 생성부; 및
가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부
를 포함하되,
상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00039
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00040
)를 포함하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 장치.
An apparatus for providing feature information of an object for learning to recognize an object of an image,
An image input unit receiving an input image including an object to be recognized and information about the object;
A size changing image generating unit for generating a size changing image in which the inputted input image is enlarged or reduced at a predetermined ratio; And
The input image and the resized image are arranged at a predetermined distance (d) in the vertical direction of the image plane in a virtual space, and a relative position of each pixel of the input image with respect to each pixel of the resized image, An object feature information extracting unit for extracting, as feature information of the object,
, ≪ / RTI &
The relative position of each pixel of the input image is determined by a rotation angle of the corresponding pixel in the left-
Figure 112017049035597-pat00039
) And a vertical rotation angle (
Figure 112017049035597-pat00040
Wherein the feature information of the image object includes at least one of the following:
제5 항에 있어서,
상기 객체 특징 정보 추출부는
상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00041
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00042
)에 대한 상기 각 픽셀 값의 분포를 나타내는 변환영상을 생성하고, 상기 생성된 변환영상을 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 장치.
6. The method of claim 5,
The object feature information extracting unit
The rotation angle in the left-right direction
Figure 112017049035597-pat00041
) And a vertical rotation angle (
Figure 112017049035597-pat00042
And generating a transformed image representing a distribution of each of the pixel values with respect to the transformed image, and extracting the generated transformed image as feature information of the object.
제5 항에 있어서,
상기 객체 특징 정보 추출부는
상기 좌우 방향의 회전 각도(
Figure 112019014213083-pat00043
)와 상기 상하 방향의 회전 각도(
Figure 112019014213083-pat00044
)를 나타내는 상하회전각도 거리를 분포를 나타내는 변환영상을 생성하되 상기 상하회전각도 거리는 상기 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 장치.
6. The method of claim 5,
The object feature information extracting unit
The rotation angle in the left-right direction
Figure 112019014213083-pat00043
) And the vertical rotation angle (
Figure 112019014213083-pat00044
And the vertical rotation angle distance is represented by a distance from the center of the transformed image.
제6 항에 있어서,
상기 객체 특징 정보 추출부는
상기 생성된 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 장치.
The method according to claim 6,
The object feature information extracting unit
And extracting the information obtained by applying a morphology technique to the generated transformed image as feature information of the object.
학습 장치가 영상의 객체를 인식하기 위해 학습하는 방법에 있어서,
(a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계;
(b) 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 단계;
(c) 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계; 및
(d) 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 단계
를 포함하되,
상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00045
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00046
)를 포함하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 방법.
A learning method for a learning apparatus to recognize an object of an image,
(a) receiving an input image including an object to be recognized and information about the object;
(b) generating a resized image in which the input image is enlarged or reduced at a predetermined ratio;
(c) arranging the input image and the resized image in a virtual space at a predetermined distance ( d ) in the vertical direction of the image plane, and determining a relative position of each pixel of the input image with respect to each pixel of the resized image And extracting a pixel value of each pixel of the input image as feature information of the object; And
(d) performing learning to recognize an object using the feature information of the extracted object
, ≪ / RTI &
The relative position of each pixel of the input image is determined by a rotation angle of the corresponding pixel in the left-
Figure 112017049035597-pat00045
) And a vertical rotation angle (
Figure 112017049035597-pat00046
The method of claim 1, further comprising:
제9 항에 있어서,
상기 (c) 단계는
상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00047
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00048
)에 대한 상기 각 픽셀 값의 분포를 나타내는 변환영상을 생성하고, 상기 생성된 변환영상을 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 방법.
10. The method of claim 9,
The step (c)
The rotation angle in the left-right direction
Figure 112017049035597-pat00047
) And a vertical rotation angle (
Figure 112017049035597-pat00048
And generating a transformed image representing a distribution of each pixel value with respect to the transformed image, and extracting the transformed image as feature information of the object.
제9 항에 있어서,
상기 (c) 단계는
상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00049
)와 상기 상하 방향의 회전 각도(
Figure 112017049035597-pat00050
)를 나타내는 상하회전각도 거리를 분포를 나타내는 변환영상을 생성하되 상기 상하회전각도 거리는 상기 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 방법.
10. The method of claim 9,
The step (c)
The rotation angle in the left-right direction
Figure 112017049035597-pat00049
) And the vertical rotation angle (
Figure 112017049035597-pat00050
And the vertical angle of rotation is expressed as a distance from a center of the transformed image. The method of claim 1,
제10 항에 있어서,
상기 (c) 단계는
상기 생성된 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 방법.
11. The method of claim 10,
The step (c)
Wherein information obtained by applying a morphology technique to the generated transformed image is extracted as feature information of the object.
영상 객체의 특징 정보를 제공하는 장치가 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 방법에 있어서,
(a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계;
(b) 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 단계; 및
(c) 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계
를 포함하되,
상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00051
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00052
)를 포함하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 방법.
A method of providing feature information of an object for learning to recognize an object of an image, the method comprising:
(a) receiving an input image including an object to be recognized and information about the object;
(b) generating a resized image in which the input image is enlarged or reduced at a predetermined ratio; And
(c) arranging the input image and the resized image in a virtual space at a predetermined distance ( d ) in the vertical direction of the image plane, and determining a relative position of each pixel of the input image with respect to each pixel of the resized image And extracting a pixel value of each pixel of the input image as feature information of the object
, ≪ / RTI &
The relative position of each pixel of the input image is determined by a rotation angle of the corresponding pixel in the left-
Figure 112017049035597-pat00051
) And a vertical rotation angle (
Figure 112017049035597-pat00052
And generating the feature information of the image object.
제13 항에 있어서,
상기 (c) 단계는
상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00053
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00054
)에 대한 상기 각 픽셀 값의 분포를 나타내는 변환영상을 생성하고, 상기 생성된 변환영상을 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 방법.
14. The method of claim 13,
The step (c)
The rotation angle in the left-right direction
Figure 112017049035597-pat00053
) And a vertical rotation angle (
Figure 112017049035597-pat00054
And generating a transformed image representing a distribution of each pixel value with respect to the transformed image, and extracting the transformed image as feature information of the object.
제13 항에 있어서,
상기 (c) 단계는
상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00055
)와 상기 상하 방향의 회전 각도(
Figure 112017049035597-pat00056
)를 나타내는 상하회전각도 거리를 분포를 나타내는 변환영상을 생성하되 상기 상하회전각도 거리는 상기 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 방법.
14. The method of claim 13,
The step (c)
The rotation angle in the left-right direction
Figure 112017049035597-pat00055
) And the vertical rotation angle (
Figure 112017049035597-pat00056
And the vertical rotation angle distance is represented by a distance from a center of the transformed image. The method of claim 1,
제14 항에 있어서,
상기 (c) 단계는
상기 생성된 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 방법.
15. The method of claim 14,
The step (c)
And extracting, as feature information of the object, information obtained by applying a morphology technique to the generated transformed image.
제9 항 내지 제16 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.



A computer program stored in a recording medium comprising a series of instructions for performing the method according to any one of claims 9 to 16.



KR1020170063367A 2017-05-23 2017-05-23 Method and apparatus for providing feature information of object for object recognition, method and apparatus for learning object recognition of image using thereof KR101965058B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170063367A KR101965058B1 (en) 2017-05-23 2017-05-23 Method and apparatus for providing feature information of object for object recognition, method and apparatus for learning object recognition of image using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170063367A KR101965058B1 (en) 2017-05-23 2017-05-23 Method and apparatus for providing feature information of object for object recognition, method and apparatus for learning object recognition of image using thereof

Publications (2)

Publication Number Publication Date
KR20180128182A KR20180128182A (en) 2018-12-03
KR101965058B1 true KR101965058B1 (en) 2019-04-02

Family

ID=64743204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063367A KR101965058B1 (en) 2017-05-23 2017-05-23 Method and apparatus for providing feature information of object for object recognition, method and apparatus for learning object recognition of image using thereof

Country Status (1)

Country Link
KR (1) KR101965058B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650597B2 (en) 2019-07-09 2023-05-16 Samsung Electronics Co., Ltd. Electronic apparatus for identifying object through warped image and control method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540193B1 (en) * 2019-02-26 2023-06-07 주식회사 모바이 System and method for object recognition
KR102343439B1 (en) * 2021-06-24 2021-12-27 주식회사 포스로직 Method for detecting barcode area and device for performing the method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101733288B1 (en) * 2015-06-16 2017-05-08 중앙대학교 산학협력단 Object Detecter Generation Method Using Direction Information, Object Detection Method and Apparatus using the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rim, Junho, and Chulhee Lee. "Size and rotation invariant alphabet recognition." Unmanned Systems Technology XIX. Vol. 10195. International Society for Optics and Photonics, 2017.5.5.
Youn, Sungwook, et al. Remote logo detection using angle-distance histograms. Remotely Sensed Data Compression, Communications, and Processing XII. International Society for Optics and Photonics,2016.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650597B2 (en) 2019-07-09 2023-05-16 Samsung Electronics Co., Ltd. Electronic apparatus for identifying object through warped image and control method thereof

Also Published As

Publication number Publication date
KR20180128182A (en) 2018-12-03

Similar Documents

Publication Publication Date Title
JP6970305B2 (en) Face posture analysis method, device, device, storage medium and program
CN110062934B (en) Determining Structure and Motion in Images Using Neural Networks
JP4799105B2 (en) Information processing apparatus and control method therefor, computer program, and storage medium
CN110622177B (en) Instance partitioning
JP4799104B2 (en) Information processing apparatus and control method therefor, computer program, and storage medium
US10332312B2 (en) Shape prediction model compression for face alignment
US8861800B2 (en) Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
KR101965058B1 (en) Method and apparatus for providing feature information of object for object recognition, method and apparatus for learning object recognition of image using thereof
KR102410907B1 (en) Image processing apparatus and image processing method thereof
KR20220088397A (en) Image processing apparatus and image processing method thereof
KR20190117838A (en) System and method for recognizing object
KR102493492B1 (en) Method and Device for Fast Adaptation through Meta-learning of Super Resolution Model
WO2020099876A1 (en) Method of modifying digital images
EP3340109B1 (en) Shape prediction for face alignment
US10019651B1 (en) Robust shape prediction for face alignment
Jung et al. Learning free-form deformation for 3D face reconstruction from in-the-wild images
JP2007141107A (en) Image processor and its method
EP3992903A1 (en) Image processing method, apparatus, and device
JP2019191973A (en) Learning image generation apparatus, learning image generation method, image recognition device, and image recognition method
US20230209087A1 (en) Method and device for improving video quality
Wu et al. PMC-GANs: Generating multi-scale high-quality pedestrian with multimodal cascaded GANs
CN117255998A (en) Unsupervised learning of object representations from video sequences using spatial and temporal attention
JP2016040731A (en) Image retrieval device, image retrieval method, and program
US20230377093A1 (en) Techniques for resampling images
JP7571800B2 (en) Learning device, learning method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant