KR20190029800A

KR20190029800A - Terminal device, server and system for image recognition capable of protecting personal information

Info

Publication number: KR20190029800A
Application number: KR1020170108619A
Authority: KR
Inventors: 조영관; 김봉모; 임재균
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2019-03-21
Also published as: KR101982203B1

Abstract

According to an embodiment of the present invention, a system for recognizing an image comprises a terminal device and a server device. The terminal device includes: an input unit for obtaining a target image which is a target for recognition; and a control unit for generating intermediate data which is a result of performing the target image through a pre-processing process of a feature information extraction process performed in accordance with a predetermined order to extract feature information for recognizing a random image from the random image. The server device includes: a server communication unit for receiving the intermediate data through a network from the terminal device; and a server control unit for performing the rest of processes as a post-processing process after the pre-processing process in accordance with the order, extracting the feature information for recognizing the target image, and generating a recognition result for the target image based on the feature information.

Description

TECHNICAL FIELD [0001] The present invention relates to a terminal device, a server device, and a system for image recognition,

본 발명은 영상 인식 과정에서 발생할 수 있는 개인정보 유출의 문제를 방지하기 위한 단말 장치, 서버 장치 및 시스템에 관한 것이다. The present invention relates to a terminal device, a server device, and a system for preventing a problem of leakage of personal information that may occur in an image recognition process.

영상(映像)에 포함된 정보를 자동으로 인식하기 위한 영상 인식 기술은, 높은 수요와 그에 따른 지속적인 연구에 힘입어 지금까지 발전을 거듭해 왔다. 이러한 영상 인식 기술은, 인식 대상이 되는 영상을 종류별로 분류하는 영상 분류(image classification), 입력 영상에 포함된 객체의 종류를 판별하는 객체 검출(object detection), 입력 영상을 설명하는 문장을 생성하는 영상 설명(image captioning) 등에 이용될 수 있으며, 얼굴 인식을 이용한 보안 시스템, 사용자의 제스처를 인지하는 입력 인터페이스 등 다양한 장치 혹은 방법에 적용될 수 있다. The image recognition technology for automatically recognizing the information contained in the image (video) has been developed so far due to high demand and continuous research. The image recognition technology includes an image classification for classifying images to be recognized, an object detection for discriminating the types of objects included in the input image, and a sentence describing the input image Image captioning, etc., and can be applied to various devices or methods such as a security system using face recognition and an input interface for recognizing a user's gesture.

특히 최근에는 딥 러닝(deep learning)과 같은 기계 학습(machine learning) 기법이 영상 인식 기술에 접목됨으로써, 더욱 신뢰도 높은 영상 인식이 가능하게 되었다. 이에 따르면, 인공 신경망(artificial neural network), 보다 구체적으로는 딥 러닝에 의해 생성된 심층 신경망(deep neural network, DNN)을 이용하여 인식 대상 영상으로부터 해당 영상의 특징 정보를 추출하게 되며, 상기 추출된 특징 정보에 기초하여 인식 대상 영상에 대한 인식을 수행할 수 있다.In recent years, machine learning techniques such as deep learning have been applied to image recognition technology, thereby enabling more reliable image recognition. According to the present invention, feature information of a corresponding image is extracted from a recognition object image using an artificial neural network, more specifically, a deep neural network (DNN) generated by deep learning, It is possible to recognize the recognition target image based on the characteristic information.

전술한 바와 같은 딥 러닝을 이용한 영상 인식은 매우 복잡한 과정을 거쳐 수행되므로, 고성능의 시스템을 필요로 한다. 개인적 용도로 사용되는 일반적인 사용자 단말 장치는 딥 러닝을 이용한 영상 인식이 원활하게 수행될 정도로 높은 성능을 갖지 못한 경우가 대부분이기 때문에, 사용자 단말 장치는 인식하고자 하는 대상 영상을 통신망을 통하여 보다 높은 성능을 갖는 별도의 서버(server) 장치로 전송하며 대상 영상에 대한 영상 인식을 요청하는 방법을 이용할 수 있다.Since image recognition using deep learning as described above is performed through a very complicated process, a high performance system is required. Since a general user terminal used for personal use often does not have high performance so that image recognition using deep learning can smoothly be performed, the user terminal can perform a higher performance through a communication network To a separate server device having the same image and to request the image recognition of the target image.

하지만 상기 방법에 의하면, 통신망을 통하여 대상 영상이 전송되는 과정에서 해킹 등으로 인해 대상 영상이 유출될 수 있다. 일반적으로 영상 인식의 대상이 되는 영상은 개인정보를 포함하는 경우가 많기 때문에, 상기 방법을 사용하는 사용자의 사생활이 침해당할 우려가 있다.However, according to the above method, the target image may be leaked due to hacking or the like in the process of transmitting the target image through the communication network. In general, since the image to be subjected to image recognition often includes personal information, the privacy of a user who uses the method may be infringed.

한국공개특허공보, 제 10-2016-0122452 호 (2016.10.24. 공개)Korean Patent Publication No. 10-2016-0122452 (published on October 24, 2016)

본 발명이 해결하고자 하는 과제는, 대상 영상에 대한 영상 인식을 서버 장치에 요청하는 사용자 단말 사용자의 개인정보를 보호할 수 있는 영상 인식 시스템을 제공하는 것이다.An object of the present invention is to provide an image recognition system capable of protecting personal information of a user terminal requesting image recognition of a target image to a server device.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood, however, that the present invention is not limited to the above-mentioned embodiments, but other and further objects which need not be mentioned can be clearly understood by those skilled in the art from the following description will be.

본 발명의 일 실시예에 따른 영상 인식을 위한 단말 장치는, 인식의 대상이 되는 대상 영상을 획득하는 입력부, 임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중, 일부 전처리 과정을 상기 대상 영상에 대해 수행한 결과인 중간 데이터를 생성하는 제어부 및 상기 중간 데이터를 외부 장치로 전송하는 통신부를 포함할 수 있다.A terminal apparatus for image recognition according to an embodiment of the present invention includes an input unit for acquiring a target image to be recognized, and an input unit for acquiring feature information for recognizing the arbitrary image, in a predetermined order A control unit for generating intermediate data that is a result of performing a partial preprocessing process on the target image, and a communication unit for transmitting the intermediate data to an external device.

본 발명의 일 실시예에 따른 영상 인식을 위한 서버 장치는, 임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중, 단말 장치에 의해 대상 영상에 대하여 수행된 전처리 과정을 통해 산출된 중간 데이터를 상기 단말 장치로부터 수신하는 서버 통신부 및 상기 중간 데이터에 대해, 상기 전처리 과정 이후의 나머지 과정을 후처리 과정으로서 상기 순서에 따라 수행하여, 상기 대상 영상의 인식을 위한 특징 정보를 추출하고, 상기 특징 정보에 기초하여 상기 대상 영상에 대한 인식 결과를 생성하는 서버 제어부를 포함할 수 있다.The server apparatus for image recognition according to an embodiment of the present invention includes a feature information extracting process performed in a predetermined order for extracting feature information for recognizing the arbitrary image from an arbitrary image, A server communication unit for receiving intermediate data calculated through a preprocessing process performed on a target image from the terminal apparatus and a remaining process after the preprocessing process for the intermediate data, And a server control unit for extracting feature information for recognition of the target image and generating a recognition result for the target image based on the feature information.

본 발명의 일 실시예에 따른 영상 인식 시스템은, 인식의 대상이 되는 대상 영상을 획득하고, 임의의 영상으로부터 상기 임의의 영상의 인식을 위한 특징 정보를 추출하기 위해 기 정해진 순서에 따라 수행되는 특징 정보 추출 프로세스 중 전처리 과정을 상기 대상 영상에 대하여 수행한 결과인 중간 데이터를 생성하는 단말 장치 및 상기 단말 장치로부터 통신망을 통해 상기 중간 데이터를 수신하고 상기 전처리 과정 이후의 나머지 과정을 후처리 과정으로서 상기 순서에 따라 수행하여, 상기 대상 영상의 인식을 위한 특징 정보를 추출하고, 상기 특징 정보에 기초하여 상기 대상 영상에 대한 인식 결과를 생성하는 서버 장치를 포함할 수 있다.An image recognition system according to an embodiment of the present invention includes a feature recognition unit configured to acquire a target image to be recognized and extract characteristic information for recognizing the arbitrary image from an arbitrary image, A terminal device for generating intermediate data which is a result of performing a preprocessing process on the target image during an information extraction process, and a control device for receiving the intermediate data from the terminal device via a communication network and performing a remaining process after the pre- And extracting feature information for recognition of the target image and generating a recognition result for the target image based on the feature information.

본 발명의 일 실시예에 따르면, 심층 신경망 등으로 구현된 인식 모델을 이용한 순차적인 영상 인식 과정을 사용자 단말 장치와 서버 장치가 나누어 수행할 수 있다. 이에 따르면 단말 장치가 서버 장치로 인식의 대상이 되는 대상 영상을 원본 그대로 전송하지 않게 되므로, 단말 장치의 사용자의 개인정보가 효과적으로 보호될 수 있다. 또한, 단말 장치는 영상 인식 과정의 전체가 아닌, 앞부분에 해당하는 일부 과정만을 수행하므로, 서버 장치에 비해 상대적으로 낮은 성능을 갖는 단말 장치에 지나친 부하가 걸리는 것을 방지할 수도 있다.According to an embodiment of the present invention, a sequential image recognition process using a recognition model implemented by a neural network or the like can be performed by a user terminal device and a server device separately. According to this, since the terminal device does not transmit the target image to be recognized as the server device, the personal information of the user of the terminal device can be effectively protected. In addition, since the terminal device performs only a part of the process corresponding to the first part of the image recognition process, it can prevent an excessive load on the terminal device having a relatively low performance as compared with the server device.

도 1은 본 발명의 일 실시예에 따른 영상 인식 시스템의 기본적인 개념에 대해 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 인식 시스템의 구성 및 동작에 대해 설명하기 위한 도면이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 영상 인식 시스템에 포함된 단말 장치와 서버 장치의 구성을 각각 도시한 도면이다.
도 4 및 5는 본 발명의 일 실시예에 따른 영상 인식 시스템에 의해 수행되는 영상 인식 방법의 각 단계를 도시한 도면이다.1 is a view for explaining a basic concept of an image recognition system according to an embodiment of the present invention.
2 is a diagram for explaining a configuration and operation of an image recognition system according to an embodiment of the present invention.
3A and 3B are views showing the configurations of a terminal device and a server device included in the image recognition system according to an embodiment of the present invention, respectively.
4 and 5 are diagrams showing respective steps of an image recognition method performed by an image recognition system according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 영상 인식 시스템의 기본적인 개념에 대해 설명하기 위한 도면이다. 도 1의 인식 모델(20)은 영상 인식의 대상이 되는 대상 영상(10)의 인식, 즉 대상 영상(10)에 포함된 특징 정보의 획득을 위해 기 정해진 순서에 따라 순차적으로 수행되는 일련의 과정의 집합으로 정의될 수 있다. 대상 영상(10)에 포함된 특징 정보의 대표적인 예로는 대상 영상(10)에 묘사된 객체의 종류(도 1의 예에 의하면 고양이)를 들 수 있으며, 그 밖에도 객체의 위치, 객체의 수, 객체의 동작이나 자세 등을 들 수 있다. 또한, 상기 특징 정보의 종류에 따라 인식 모델(20) 역시 달리 정의될 수 있다. 이와 같은 인식 모델(20)은 다양한 기계 학습 기법을 통해 구현될 수 있지만, 이하에서는 심층 신경망(DNN)으로 구현되었음을 가정하고 설명하도록 한다.1 is a view for explaining a basic concept of an image recognition system according to an embodiment of the present invention. The recognition model 20 of FIG. 1 is a series of processes that are sequentially performed in accordance with a predetermined order for recognizing a target image 10 to be recognized by the image recognition, that is, acquiring the feature information included in the target image 10 . &Lt; / RTI > Typical examples of the feature information included in the target image 10 include a type of the object depicted in the target image 10 (a cat according to the example shown in FIG. 1), and the location of the object, the number of objects, And the like. In addition, the recognition model 20 may be defined differently according to the type of the feature information. Although the recognition model 20 can be implemented by various machine learning techniques, it is assumed that the recognition model 20 is implemented as a deep neural network (DNN).

인식 모델(20)은 복수의 레이어(layer)를 포함할 수 있으며, 이와 같은 복수의 레이어 각각은 전술한 일련의 과정 각각에 대응될 수 있다. 대상 영상(10)에 대해 상기 과정 각각이 순차적으로 수행될 때마다, 대상 영상(10)에 대한 특징 맵(feature map)이 생성된다. 대상 영상(10)에 상기 과정이 모두 수행됨으로써 생성되는 최종적인 특징 맵에 기초하여, 인식 모델(20)은 대상 영상(10)에 대한 인식 결과(14)를 출력하게 된다.The recognition model 20 may include a plurality of layers, and each of the plurality of layers may correspond to each of the series of processes described above. A feature map for the target image 10 is generated each time the above process is sequentially performed on the target image 10. [ The recognition model 20 outputs the recognition result 14 for the target image 10 based on the final feature map generated by performing all of the above processes on the target image 10.

도 1에서 볼 수 있는 바와 같이, 인식 모델(20)에 의해 정의된 각 과정을 거칠 때마다 생성되는 각 특징 맵 역시 대상 영상(10)처럼 시각화된 이미지의 형태로 표현될 수 있다. 이 때, 상기 과정 중 순서가 빠른, 즉 앞부분에 해당하는 과정의 수행에 따라 생성되는 특징 맵의 이미지는 대상 영상(10)과 상대적으로 유사하고, 이와 반대로 순서가 느린, 즉 뒷부분에 해당하는 과정의 수행에 따라 생성되는 특징 맵의 이미지는 대상 영상(10)과의 유사도가 낮은 경향을 보인다. 즉, 상기 과정이 진행될수록 생성되는 특징 맵과 대상 영상(10) 간의 유사도는 낮아지게 된다.As can be seen from FIG. 1, each feature map generated every time the process defined by the recognition model 20 is performed can also be expressed in the form of a visualized image like the target image 10. In this case, the image of the feature map generated in accordance with the execution of the process corresponding to the earlier process is relatively similar to the target image 10, and on the contrary, The degree of similarity between the image of the characteristic map and the target image 10 is low. That is, as the process proceeds, the degree of similarity between the generated feature map and the target image 10 becomes low.

도 1을 살펴보면, 세 개의 특징 맵(11, 12, 13)이 도시되어 있음을 볼 수 있다. 이들 중 제 1 특징 맵(11)은 다른 두 특징 맵(12, 13)에 비해 상대적으로 적은 수의 과정의 수행에 의해 생성된 것이다. 제 1 특징 맵(11)의 이미지에 묘사된 고양이는 대상 영상(10)에 묘사된 고양이와 동일한 고양이임을 비교적 쉽게 알 수 있다. 이와 달리, 제 1 특징 맵(11)에 비해 보다 많은 수의 과정의 수행에 의해 생성된 제 2 특징 맵(12)의 이미지를 보면, 고양이가 묘사되어 있다는 것은 알 수 있으나, 묘사된 고양이가 대상 영상(10)의 고양이와 동일한 고양이인지 여부는 쉽게 판단하기 어렵다. 한편, 세 개의 특징 맵(11, 12, 13) 중 가장 많은 수의 과정을 거쳐 생성된 제 3 특징 맵(13)의 이미지를 보면, 묘사된 형상으로부터 고양이를 떠올리는 것조차 불가능할 정도임을 알 수 있다.Referring to FIG. 1, it can be seen that three feature maps 11, 12, and 13 are shown. Of these, the first feature map 11 is generated by performing a relatively small number of processes in comparison with the other two feature maps 12 and 13. It is relatively easy to see that the cat depicted in the image of the first feature map 11 is the same cat as the cat depicted in the subject image 10. On the other hand, it can be seen from the image of the second feature map 12 generated by performing a larger number of processes than the first feature map 11 that the cat is depicted, It is difficult to judge easily whether a cat is the same as a cat of the image (10). On the other hand, when the image of the third feature map 13 generated through the greatest number of processes of the three feature maps 11, 12, and 13 is viewed, it is impossible to recall the cat from the depicted shape have.

즉, 제 1 특징 맵(11)의 경우에는 이미지에 묘사된 객체와 대상 영상(10)에 묘사된 객체 간의 동일성이 쉽게 인식될 수 있지만, 제 2 특징 맵(12)과 제 3 특징 맵(13)의 경우에는 그렇지 않다. 상기 고양이를 사람으로 치환하여 생각하면, 대상 영상(10)이나 제 1 특징 맵(11)이 유출될 경우 개인정보 노출로 인한 피해가 발생할 수 있지만, 제 2 특징 맵(12)이나 제 3 특징 맵(13)이 유출될 경우에는 그와 같은 피해가 발생하기 어렵다고 생각할 수 있다.In other words, in the case of the first feature map 11, the identity between the object depicted in the image and the object depicted in the target image 10 can be easily recognized, but the second feature map 12 and the third feature map 13 ) Is not the case. Considering that the cat is replaced with a person, damage due to exposure of personal information may occur when the target image 10 or the first characteristic map 11 flows out. However, if the second characteristic map 12 or the third characteristic map 11 It can be considered that such damage is unlikely to occur in the case of the outflow of the waste water 13.

이에 본 발명의 일 실시예에서는, 대상 영상에 대한 영상 인식을 서버 장치에 요청하고자 하는 단말 장치가, 대상 영상(10)을 원본 그대로 서버 장치에 전송하는 대신, 인식 모델(20)에 포함된 복수의 과정 중 앞부분의 일부 과정을 대상 영상(10)에 수행함으로써 생성된 데이터를 전송하도록 할 수 있다. 이를 위해, 인식 모델(20)을 제 1 부분 인식 모델(21)과 제 2 부분 인식 모델(22)의 두 부분으로 나누고, 제 1 부분 인식 모델(21)에 포함된 과정은 단말 장치에서, 제 2 부분 인식 모델(22)에 포함된 과정은 서버 장치에서 각각 수행되도록 할 수 있다. Therefore, in the embodiment of the present invention, instead of transmitting the target image 10 to the server device as the original, the terminal device that requests the server device to recognize the image of the target image, It is possible to transmit the generated data by performing a part of the process in the front part of the process of FIG. To this end, the recognition model 20 is divided into two parts, a first partial recognition model 21 and a second partial recognition model 22. The process included in the first partial recognition model 21 is performed by the terminal device The processes included in the two-part recognition model 22 can be performed in the server device, respectively.

이와 같은 본 발명의 일 실시예에 의하면, 단말 장치로부터 서버 장치로 전송되는 데이터가 해킹 등을 통해 유출된다 해도, 상기 유출된 데이터로부터는 대상영상(10)과의 동일성을 쉽게 인식할 수 있을 만한 이미지를 얻을 수 없기 때문에, 개인정보가 보호의 효과를 달성할 수 있다. 물론 이와 같은 효과의 달성을 위해서는, 제 1 부분 인식 모델(21)에 포함된 과정만을 수행해도 대상 영상(10)과의 동일성을 쉽게 인식할 수 없는 이미지를 갖는 특징 맵이 생성될 수 있도록, 제 1 부분 인식 모델(21)과 제 2 부분 인식 모델(22)의 경계를 적절하게 정할 필요가 있다.According to the embodiment of the present invention, even if data transmitted from the terminal device to the server device is leaked through hacking or the like, it is possible to easily recognize the identity with the target image 10 from the leaked data Since an image can not be obtained, personal information can achieve the effect of protection. Of course, in order to achieve such an effect, in order to generate a feature map having an image that can not easily recognize the identity with the target image 10 even if only the process included in the first partial recognition model 21 is performed, It is necessary to properly determine the boundaries between the one-part recognition model 21 and the second partial recognition model 22.

도 2는 본 발명의 일 실시예에 따른 영상 인식 시스템의 구성 및 동작에 대해 설명하기 위한 도면이다. 도 2의 영상 인식 시스템(100)은 단말 장치(200) 및 서버 장치(300)를 포함할 수 있으며, 서버 장치(300)와 단말 장치(200)는 통신망(400)을 통해 서로 연결될 수 있다. 또한, 영상 인식 시스템(100)은 단말 장치(200) 외에도 하나 이상의 다른 단말 장치(201)를 더 포함할 수 있으며, 이러한 다른 단말 장치(201) 역시 통신망(400)을 통해 서버 장치(300)와 연결될 수 있다. 다만, 도 2에 도시된 바는 본 발명의 일 실시예에 불과하므로, 도 2에 의해 본 발명의 사상이 한정 해석되는 것은 아니다.2 is a diagram for explaining a configuration and operation of an image recognition system according to an embodiment of the present invention. 2 may include a terminal device 200 and a server device 300. The server device 300 and the terminal device 200 may be connected to each other through a communication network 400. [ The image recognition system 100 may further include one or more other terminal devices 201 in addition to the terminal device 200. The other terminal devices 201 may be connected to the server device 300 through the communication network 400, Can be connected. However, since the embodiment shown in FIG. 2 is only an embodiment of the present invention, the concept of the present invention is not limited to FIG. 2.

단말 장치(200)는 제 1 부분 인식 모델(21)의 각 과정(이하 "전처리 과정"이라 함)을 대상 영상(10)에 대해 기 정해진 순서에 따라 순차적으로 수행함으로써 중간 데이터(15)를 생성할 수 있다. 예컨대, 중간 데이터(15)는 도 1을 참조하여 설명한 제 2 특징 맵(12)이 될 수 있다.The terminal device 200 generates the intermediate data 15 by sequentially performing each process of the first partial recognition model 21 (hereinafter, referred to as a "preprocessing process") in accordance with a predetermined order on the target image 10 can do. For example, the intermediate data 15 may be the second feature map 12 described with reference to Fig.

중간 데이터(15)는 통신망(400)을 통해 단말 장치(200)로부터 서버 장치(300)로 전달될 수 있다. 중간 데이터(15)를 전달받은 서버 장치(300)는 중간 데이터(15)에 대해 제 2 부분 인식 모델(22)의 각 과정(이하 "후처리 과정"이라 함)을 기 정해진 순서에 따라 순차적으로 수행하여 대상 영상(10)의 인식을 위한 특징을 추출함으로써 대상 영상(10)의 인식 결과(14)를 생성할 수 있다. 상기 전처리 과정과 후처리 과정은 통칭하여 "특징 정보 추출 프로세스"라 할 수 있으며, 따라서 특징 정보 추출 프로세스는 인식 모델(20)에 포함된 일련의 과정을 대상 영상(10)에 수행하는 과정이라 할 수 있다.The intermediate data 15 can be transferred from the terminal device 200 to the server device 300 via the communication network 400. [ The server apparatus 300 that has received the intermediate data 15 sequentially transmits the intermediate data 15 to the second partial recognition model 22 in a predetermined order The recognition result 14 of the target image 10 can be generated by extracting features for recognition of the target image 10. [ The preprocessing process and the post-process process are collectively referred to as a "feature information extraction process ", and thus the feature information extraction process is a process of performing a series of processes included in the recognition model 20 on the target image 10 .

상기한 바와 같은 단말 장치(200)와 서버 장치(300)의 동작을 위해서는, 인식 모델(20) 중 제 1 부분 인식 모델(21), 즉 전처리 과정에 대한 정보가 단말 장치(200)에, 제 2 부분 인식 모델(22), 즉 후처리 과정에 대한 정보가 서버 장치(300)에 각각 미리 저장되어 있을 필요가 있다. 이를 위해, 미리 생성되어 있는 인식 모델(20)을 제 1 부분 인식 모델(21)과 제 2 부분 인식 모델(22)로 나누어 단말 장치(200)와 서버 장치(300)에 각각 저장할 수도 있으나, 서버 장치(300)가 직접 복수의 학습 영상과 상기 복수의 학습 영상의 인식을 위한 특징 간의 관계를 학습함으로써 인식 모델(20)을 생성하고, 생성된 인식 모델(20)을 제 1 부분 인식 모델(21)과 제 2 부분 인식 모델(22)로 분할한 후 제 1 부분 인식 모델(21)만을 단말 장치(200)에 전송할 수도 있다. 한편, 상기 분할의 기준에 대해서는 후술한다.In order to operate the terminal device 200 and the server device 300 as described above, the first partial recognition model 21 of the recognition model 20, that is, the information about the preprocessing process, It is necessary that information on the two-part recognition model 22, i.e., the post-processing process, is stored in advance in the server device 300, respectively. To this end, the previously generated recognition model 20 can be divided into the first partial recognition model 21 and the second partial recognition model 22 and stored in the terminal device 200 and the server device 300, respectively, The device 300 generates the recognition model 20 by learning the relationship between the plurality of learning images and the characteristics for recognizing the plurality of learning images directly and outputs the generated recognition model 20 to the first partial recognition model 21 ) And the second partial recognition model 22, and then transmits only the first partial recognition model 21 to the terminal device 200. On the other hand, the criteria of the division will be described later.

도 3a 및 3b는 본 발명의 일 실시예에 따른 영상 인식 시스템에 포함된 단말 장치와 서버 장치의 구성을 각각 도시한 도면이다. 도 3a를 참조하면, 단말 장치(200)는 입력부(210), 제어부(220), 통신부(230) 및 저장부(240)를 포함할 수 있다. 다른 단말 장치(201) 역시 도 3a에 도시된 단말 장치(200)의 구성과 유사한 구성을 포함할 수 있다. 또한 도 3b를 참조하면, 서버 장치(300)는 서버 입력부(310), 서버 제어부(320), 서버 통신부(330) 및 서버 저장부(340)를 포함할 수 있다.3A and 3B are views showing the configurations of a terminal device and a server device included in the image recognition system according to an embodiment of the present invention, respectively. 3A, the terminal device 200 may include an input unit 210, a control unit 220, a communication unit 230, and a storage unit 240. The other terminal devices 201 may also have a configuration similar to that of the terminal device 200 shown in FIG. 3A. 3B, the server 300 may include a server input unit 310, a server control unit 320, a server communication unit 330, and a server storage unit 340.

도 4 및 5는 본 발명의 일 실시예에 따른 영상 인식 시스템에 의해 수행되는 영상 인식 방법의 각 단계를 도시한 도면이다. 도 4의 방법은 단말 장치(200)를 기준으로, 도 5의 방법은 서버 장치(300)를 기준으로 각각 기술된다.4 and 5 are diagrams showing respective steps of an image recognition method performed by an image recognition system according to an embodiment of the present invention. The method of FIG. 4 is described based on the terminal device 200, and the method of FIG. 5 is described based on the server device 300.

우선 이하에서는 도 4의 영상 인식 방법에 대해 단말 장치(200)를 기준으로 설명하도록 한다. 먼저 단말 장치(200)의 통신부(230)는 도 1을 통해 설명한 바와 같은 인식 모델(20) 중 전처리 과정에 해당하는 제 1 부분 인식 모델(21)을 획득할 수 있다(S110). 상기 제 1 부분 인식 모델(21)은 서버 장치(300)로부터 수신할 수도 있겠으나, 서버 장치(300)가 아닌 다른 외부 장치로부터 수신할 수도 있다. 통신부(230)는 유선 혹은 무선 통신에 의한 데이터의 송신 및 수신을 위한 하드웨어 장치를 포함하도록 구현될 수 있으며, 이는 서버 장치(300)의 서버 통신부(330)에 있어서도 같다.First, the image recognition method of FIG. 4 will be described with reference to the terminal device 200. FIG. First, the communication unit 230 of the terminal device 200 may acquire the first partial recognition model 21 corresponding to the preprocessing process among the recognition models 20 described with reference to FIG. 1 (S110). The first partial recognition model 21 may be received from the server device 300, but may be received from an external device other than the server device 300. The communication unit 230 may be implemented to include a hardware device for transmitting and receiving data by wire or wireless communication. The same applies to the server communication unit 330 of the server apparatus 300.

수신된 인식 모델(20)은 저장부(240)에 저장될 수 있다. 저장부(240)는 컴퓨터 판독 기록 매체로서 구현될 수 있으며, 이는 서버 장치(300)의 서버 저장부(340)에 있어서도 같다. 상기 컴퓨터 판독 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 들 수 있다.The received recognition model 20 may be stored in the storage unit 240. The storage unit 240 may be embodied as a computer readable recording medium, which is the same as the server storage unit 340 of the server apparatus 300. Examples of the computer readable recording medium include magnetic media such as a hard disk, a floppy disk, and a magnetic tape; optical media such as CD-ROM and DVD; magnetic recording media such as a floppy disk; - hardware devices specially configured to store and execute program instructions such as magneto-optical media, flash memory, and the like.

다음으로, 입력부(210)는 대상 영상(10)을 획득할 수 있다(S120). 입력부(210)는 키보드(keyboard), 마우스(mouse) 등의 입력 장치, 데이터의 수신을 위한 데이터 버스, 혹은 유/무선 통신 모듈 등을 포함할 수 있으며, 이는 서버 장치(300)의 서버 입력부(310)에 있어서도 같다. 그러면 제어부(220)는 제 1 부분 인식 모델(21)에 기초하여, 전처리 과정을 정해진 순서에 따라 순차적으로 대상 영상(10)에 대해 수행한 결과인 중간 데이터(15)를 생성할 수 있다(S130). 상기 제어부(220)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 서버 장치(300)의 제어부(320)에 있어서도 같다.Next, the input unit 210 can acquire the target image 10 (S120). The input unit 210 may include an input device such as a keyboard and a mouse, a data bus for receiving data, and a wired / wireless communication module. The input unit 210 may include a server input unit 310). Based on the first partial recognition model 21, the control unit 220 can generate the intermediate data 15 that is a result of performing the preprocessing process on the target image 10 sequentially in a predetermined order (S130 ). The control unit 220 may be implemented by an arithmetic unit including a microprocessor and the same applies to the control unit 320 of the server 300. [

중간 데이터(15)의 크기가 크거나, 통신망(400)의 대역폭(bandwidth)이 작을 경우, 제어부(220)는 중간 데이터(15)를 압축함으로써 서버 장치(300)로 전송될 데이터의 크기를 줄일 수도 있다. 중간 데이터(15)의 작은 변화도 최종적인 인식 결과(14)에 큰 영향을 미칠 수 있기 때문에, 제어부(220)는 압축 방법으로서 손실이 없는 비손실 압축(lossless compression) 방법을 선택할 수 있다. 이러한 비손실 압축 방법의 예로서는 호프만(Hoffman) 부호화, 샤논(Shannon) 부호화, 골룸(Golomb) 부호화, LZW(Lempel-Ziv-Welch) 부호화, 바이트 페어(Byte Pair) 부호화 등을 들 수 있으나, 반드시 이에 한정되는 것은 아니다. 각 비손실 압축 방법은 압축 속도, 압축률 등이 서로 다르므로, 단말 장치(200)의 성능과 통신망(400)의 대역폭 등의 인자를 고려하여 적절한 압축 방식을 선택할 수 있다.The control unit 220 compresses the intermediate data 15 to reduce the size of the data to be transmitted to the server apparatus 300 when the size of the intermediate data 15 is large or the bandwidth of the communication network 400 is small It is possible. Since the small change in the intermediate data 15 may also have a large effect on the final recognition result 14, the control unit 220 can select a lossless compression lossless method as a compression method. Examples of such lossy compression methods include Hoffman coding, Shannon coding, Golomb coding, Lempel-Ziv-Welch coding, and byte-pair coding. But is not limited thereto. Since each lossless compression method has a different compression rate, compression rate, and the like, an appropriate compression method can be selected in consideration of factors such as the performance of the terminal device 200 and the bandwidth of the communication network 400. [

통신부(230)는 중간 데이터(15), 혹은 압축된 중간 데이터(15)를 서버 장치(300)로 전송함으로써, 서버 장치(300)가 중간 데이터(15)에 대해 전처리 과정 이후의 과정인 후처리 과정을 수행하여 대상 영상(10)의 인식을 위한 특징을 추출하고 이를 통해 인식 결과(14)를 생성하도록 할 수 있다(S140). The communication unit 230 transmits the intermediate data 15 or the compressed intermediate data 15 to the server apparatus 300 so that the server apparatus 300 can perform post processing A feature for recognition of the target image 10 may be extracted and the recognition result 14 may be generated through the extraction of the feature for the recognition of the target image 10 (S140).

중간 데이터(15)의 전송 방식으로는 통신망(400)에 적용되는 통신 규약 등에 따라 다양한 방식이 존재할 수 있으며, 통신망(400)에 맞는 방식이 선택될 수 있다. 예컨대 통신망(400)이 인터넷(internet)일 경우 TCP/IP 프로토콜(protocol)을 이용할 수 있다. 이 때, 중간 데이터(15) 혹은 압축된 중간 데이터(15)는 패킷(packet) 단위로 분할되어 TCP/IP 프로토콜에 따라 전송될 수 있다. 물론, 중간 데이터(15)가 압축되어 있을 경우에는 서버 장치(300)의 서버 제어부(320)는 서버 통신부(330)를 통해 수신된 압축된 중간 데이터(15)를 압축 해제(decompression)할 수 있다. 이를 위해, 단말 장치(200)의 제어부(220)는 압축된 중간 데이터(15)의 압축 방법에 대한 정보를, 통신부(230)를 통해 서버 장치(300)로 압축된 중간 데이터(15)와 함께 전달할 수 있을 것이다. The transmission method of the intermediate data 15 may be various schemes according to the communication protocol applied to the communication network 400, and a scheme suitable for the communication network 400 may be selected. For example, when the communication network 400 is the Internet, a TCP / IP protocol can be used. At this time, the intermediate data 15 or the compressed intermediate data 15 may be divided into packets and transmitted according to the TCP / IP protocol. Of course, when the intermediate data 15 is compressed, the server control unit 320 of the server apparatus 300 may decompress the compressed intermediate data 15 received through the server communication unit 330 . The control unit 220 of the terminal device 200 transmits the information on the compression method of the compressed intermediate data 15 to the intermediate data 15 compressed by the server device 300 through the communication unit 230 .

이하에서는 도 5의 영상 인식 방법에 대해 서버 장치(300)를 기준으로 설명하도록 하며, 도 4를 참조하여 설명한 바와 중복되는 부분에 대해서는 설명을 생략할 수도 있음을 밝혀둔다.Hereinafter, the image recognition method of FIG. 5 will be described with reference to the server apparatus 300, and the description of the overlapped portions with reference to FIG. 4 may be omitted.

서버 장치(300)는 인식 모델(20)을 획득할 수 있다(S210). 예컨대, 서버 제어부(320)는 학습 영상을 이용하여 인식 모델(20)을 생성할 수 있다. 상기 생성된 인식 모델(20)은 서버 저장부(340)에 저장될 수 있다. 혹은 서버 제어부(320)는 인식 모델(20)을 직접 생성하지 않고, 이미 생성된 인식 모델(20)을 서버 장치(300) 외부로부터 서버 통신부(330)를 통해 획득할 수도 있다. 이 때에는, 서버 제어부(320)는 인식 모델(20)의 전부가 아닌, 후처리 과정에 해당하는 제 2 부분 인식 모델(22)만을 획득할 수도 있으며, 전처리 과정에 해당하는 제 1 부분 인식 모델(21)은 단말 장치(200)에 의해 획득될 수 있다. 서버 입력부(310)는 상기 서버 정치(300)의 관리자로부터 상기 인식 모델(20) 획득에 필요한 입력을 수신할 수 있다.The server device 300 can acquire the recognition model 20 (S210). For example, the server control unit 320 can generate the recognition model 20 using the learning image. The generated recognition model 20 may be stored in the server storage unit 340. The server control unit 320 may acquire the already generated recognition model 20 from the outside of the server device 300 through the server communication unit 330 without directly generating the recognition model 20. [ At this time, the server control unit 320 may acquire only the second partial recognition model 22 corresponding to the post-processing process, rather than all of the recognition model 20, and may acquire only the first partial recognition model 22 corresponding to the preprocessing process 21 may be acquired by the terminal device 200. [ The server input unit 310 may receive an input necessary for acquiring the recognition model 20 from the manager of the server policy 300. [

필요한 경우, 서버 제어부(320)는 전처리 과정에 해당하는 제 1 부분 인식 모델(21)에 관한 정보를 단말 장치(200)에 전송할 수 있다. 특히 인식 모델(20)의 분할이 서버 제어부(320)에 의해 수행되는 경우라면 상기 전송 과정이 필수적인 과정이 될 것이며, 이 때 서버 제어부(320)는 인식 모델(20)에 정의된 특징 정보 추출 프로세스의 총 제 1 개수의 과정 중, 앞부분의 제 2 개수의 일부 과정을 전처리 과정으로 정의할 수 있다(S220). 이 때, 제 2 개수는 제 1 개수보다 작을 것이다.If necessary, the server control unit 320 may transmit information on the first partial recognition model 21 corresponding to the preprocessing process to the terminal device 200. In particular, if the division of the recognition model 20 is performed by the server control unit 320, the transmission process is an essential process. At this time, the server control unit 320 extracts a feature information extraction process (S220), a part of the first number of the first part may be defined as a preprocessing step. At this time, the second number will be smaller than the first number.

이하에서는 전처리 과정과 후처리 과정을 나누는 예시적인 방법들에 대해 설명하도록 한다. 우선, 전처리 과정의 개수인 제 2 개수의 값(경우에 따라서는, 제 2 개수의 값 대신 제 1 개수에 대한 제 2 개수의 비율)은, 단말 장치(200)의 정보 처리 속도 등 단말 장치(200)의 성능에 비례하도록 결정될 수 있다. 예컨대, 단말 장치(200)가 성능이 우수한 CPU(central processing unit)를 가졌다면, 단말 장치(200)가 보다 더 많은 수의 과정을 처리해도 단말 장치(200)에 과한 부하가 걸리지 않을 가능성이 높으므로, 고성능의 단말 장치(200)일수록 더 많은 수의 과정을 포함하는 전처리 과정을 수행하도록 하는 것이 바람직하다. 편의를 위해, 시중에 나와 있는 단말 장치(200)에 의해 채용된 CPU의 종류와, 상기 CPU의 종류에 따른 바람직한 전처리 과정의 개수를 정의해 둔 테이블(table)과 같은 자료가 제 2 개수의 값의 결정에 이용될 수 있을 것이다.Hereinafter, exemplary methods of dividing the preprocessing and post-processing steps will be described. First, the second number of values (in some cases, the ratio of the second number to the first number instead of the second number), which is the number of the preprocessing processes, 200. < / RTI > For example, if the terminal device 200 has a CPU (central processing unit) with high performance, there is a high possibility that the terminal device 200 will not be overloaded even if the terminal device 200 processes a larger number of processes Therefore, it is preferable to perform a preprocessing process including a higher number of processes for the high-performance terminal apparatus 200. [ For convenience, data such as a table in which the types of CPU employed by the terminal device 200 on the market and the number of preferable preprocessing processes according to the type of the CPU are defined as a second number of values Lt; / RTI >

한편, 중간 데이터(15)에 포함된 과정의 수가 적을수록 단말 장치(200)에서 처리해야 할 연산량은 작아지지만, 통신망(400)을 통해 서버 장치(300)로 전송해야 할 데이터의 크기가 커지고 암호화 수준 역시 낮아지게 된다. 즉, 연산량은 전송할 데이터 크기 및 암호화 수준과 서로 상보적(trade-off)인 관계에 있으므로, 영상 인식을 이용할 응용 프로그램에서 요구되는 암호화 수준, 단말 장치(200)의 성능, 통신망(400)의 조건, 사업성 등 여러 가지 요건이 상기 제 2 값의 개수의 결정에 참고될 수 있다.On the other hand, the smaller the number of processes included in the intermediate data 15, the smaller the amount of computation to be processed in the terminal device 200. However, the size of data to be transmitted to the server device 300 through the communication network 400 increases, The level is also lowered. That is, since the amount of computation is a trade-off relationship between the data size and the encryption level to be transmitted, the encryption level required in the application program using image recognition, the performance of the terminal device 200, , Business feasibility, and the like may be referred to in determining the number of the second values.

전처리 과정과 후처리 과정을 나누는 또 다른 방법으로, 영상의 유사도를 이용하는 방법을 들 수 있다. 즉, 서버 제어부(320)는 복수의 학습 영상의 전부 혹은 일부를 선택하고, 상기 선택된 학습 영상에 대해 상기 특징 정보 추출 프로세스를 순차적으로 수행하되, 상기 특징 정보 추출 프로세스의 각 과정의 수행이 완료될 때마다 상기 완료의 결과로서 생성된 데이터를 시각화한 영상과 선택된 학습 영상 간의 유사도를 산출하고, 상기 유사도 산출의 결과에 기초하여 전처리 과정을 정의할 수 있다. 영상 간의 유사도를 산출하기 위한 구체적인 방법은 통상의 기술자에게 용이한 것이므로 이에 대한 자세한 설명은 생략한다. 만일 각 과정의 수행의 완료에 따라 생성되는 영상이 복수 개라면, 서버 제어부(320)는 상기 복수 개의 영상 각각에 대해 선택된 학습 영상과의 유사도를 구할 수 있다.Another method of dividing the preprocessing and post-processing steps is to use the similarity of images. That is, the server control unit 320 selects all or a part of the plurality of learning images, sequentially performs the feature information extraction process on the selected learning image, and the performance of each process of the feature information extraction process is completed The degree of similarity between the image obtained by visualizing the data generated as a result of the completion each time and the selected learning image is calculated each time, and the preprocessing process can be defined based on the result of the similarity calculation. A detailed method for calculating the degree of similarity between images is easy for a typical engineer, and a detailed description thereof will be omitted. If a plurality of images are generated according to the completion of the respective processes, the server control unit 320 may obtain a similarity to the selected learning image for each of the plurality of images.

서버 제어부(320)는 상기 유사도의 값에 기초하여 상기 제 1 개수보다 적은 수인 제 2 개수의 전처리 과정을 정의할 수 있다. 구체적인 예로서, 상기 과정 중 특정 과정의 수행의 완료에 의해 생성된 데이터에 대해 산출된 유사도가 소정의 임계 유사도 미만일 경우, 서버 제어부(320)는 맨 앞의 과정부터 상기 특정 과정까지의 과정을 전처리 과정으로 정의할 수 있다. 만일 각 과정의 수행의 완료에 따라 생성되는 영상이 복수 개라면, 상기 복수 개의 영상 각각에 대해 구한 유사도 중 하나라도 임계 유사도 미만일 경우, 서버 제어부(320)는 해당 시점까지 수행된 과정까지의 과정을 전처리 과정으로 정의할 수 있다. 이와 같은 영상 유사도를 이용한 전처리 과정의 정의 방법은 서버 장치(300)에 의해서도 수행될 수 있지만, 영상 인식 시스템(100) 외부의 다른 외부 장치에 의해서 미리 수행되어 있을 수도 있다.The server control unit 320 may define a second number of preprocessing processes that are less than the first number based on the value of the similarity. As a specific example, if the calculated degree of similarity to the data generated by completing the execution of the specific procedure is less than the predetermined threshold similarity, the server control unit 320 may perform a process from the first step to the specific step, It can be defined as a process. If at least one of the similarities obtained for each of the plurality of images is less than the threshold similarity, the server control unit 320 may perform a process up to a corresponding point in time It can be defined as a preprocessing process. The method of defining the preprocessing process using the image similarity may be performed by the server device 300, but may be performed in advance by another external device outside the image recognition system 100.

전처리 과정의 정의가 완료되면, 서버 제어부(320)는 전처리 과정에 해당하는 제 1 부분 인식 모델(21)을 단말 장치(200)로 전송할 수 있으며, 이와 함께 전처리 과정의 개수에 관한 정보인 제 2 개수의 값도 단말 장치(200)로 전송할 수 있다(S230). 물론 전술한 바와 같이, 미리 정의된 제 1 부분 인식 모델(21)을 단말 장치(200)가 서버 장치(300)를 거치지 않고 획득하는 경우에는 상기 단계 S220 및 S230은 생략될 수 있을 것이다.When the definition of the preprocessing process is completed, the server control unit 320 can transmit the first partial recognition model 21 corresponding to the preprocessing process to the terminal device 200, and at the same time, The value of the number may also be transmitted to the terminal 200 (S230). Of course, as described above, when the terminal device 200 acquires the predefined first partial recognition model 21 without going through the server device 300, the steps S220 and S230 may be omitted.

서버 통신부(230)는, 입력받은 대상 영상(10)에 대해 전처리 과정을 수행한 단말 장치(200)로부터 대상 영상(10)에 대한 중간 데이터(15)를 수신할 수 있다(S240). 그러면 서버 제어부(220)는 상기 중간 데이터(15)에 대해 전처리 과정을 제외한 나머지 과정인 후처리 과정을 수행함으로써 대상 영상(10)의 특징 정보를 추출할 수 있으며, 추출된 특징 정보에 기초하여 대상 영상(10)에 대한 인식 결과(14)를 생성할 수 있다(S250). 상기 인식 결과(14)는 서버 통신부(230)를 통해 단말 장치(200)로 전송될 수 있다. 혹은, 서버 제어부(220)는 서버 통신부(230)를 제어하여, 인식 결과(14) 자체를 제공하는 대신 상기 인식 결과(14)에 따라 기 정해진 서비스를 단말 장치(200)에 제공할 수 있다.The server communication unit 230 may receive the intermediate data 15 for the target image 10 from the terminal apparatus 200 that has performed the preprocessing process on the input target image 10 at step S240. Then, the server control unit 220 can extract the feature information of the target image 10 by performing a post-processing process, which is a process other than the preprocessing process, on the intermediate data 15. Based on the extracted feature information, The recognition result 14 for the image 10 can be generated (S250). The recognition result 14 may be transmitted to the terminal device 200 through the server communication unit 230. Alternatively, the server control unit 220 may control the server communication unit 230 to provide the terminal 200 with a predetermined service according to the recognition result 14, instead of providing the recognition result 14 itself.

지금까지 설명한 본 발명의 일 실시예에 따르면, 단말 장치(200)가 서버 장치(300)로 대상 영상(10)을 원본 그대로 전송하지 않게 되므로, 단말 장치(200)의 사용자의 개인정보가 효과적으로 보호될 수 있다. 또한, 단말 장치(200)는 특징 정보 추출 프로세스의 각 과정 중 전처리 과정만을 수행하므로, 성능이 낮은 단말 장치(200)에 지나친 부하가 걸리는 것도 막을 수 있다.According to the embodiment of the present invention described above, since the terminal device 200 does not transmit the target video 10 to the server device 300 as it is, the personal information of the user of the terminal device 200 is effectively protected . In addition, since the terminal device 200 performs only a preprocessing process during each process of the feature information extraction process, it is possible to prevent an excessive load from being applied to the terminal device 200 having low performance.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of the flowchart and each block of the block diagrams appended to the present invention may be performed by computer program instructions. These computer program instructions may be embedded in an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus, so that the instructions, performed through the encoding processor of a computer or other programmable data processing apparatus, Thereby creating means for performing the functions described in each step of the flowchart. These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible for the instructions stored in the block diagram to produce a manufacturing item containing instruction means for performing the functions described in each block or flowchart of the block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and changes may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as falling within the scope of the present invention.

본 발명의 일 실시예에 따르면, 영상 인식 과정에서 발생할 수 있는 개인정보 유출이 방지될 수 있으며, 서버 장치에 비해 상대적으로 낮은 성능을 갖는 단말 장치에 지나친 부하가 걸리는 것 역시 방지될 수 있다.According to an embodiment of the present invention, leakage of personal information that may occur during the image recognition process can be prevented, and an excessive load on a terminal device having a relatively lower performance than a server device can be prevented.

100: 영상 인식 시스템
200: 단말 장치
210: 입력부
220: 제어부
230: 통신부
240: 저장부
300: 서버 장치
310: 서버 입력부
320: 서버 제어부
330: 서버 통신부
340: 서버 저장부
400: 통신망100: Image recognition system
200: terminal device
210:
220:
230:
240:
300: Server device
310: Server Input
320:
330: server communication section
340: server storage unit
400: communication network

Claims

An input unit for acquiring a target image to be recognized;
A feature information extracting process performed in a predetermined order for extracting feature information for recognizing the arbitrary image from an arbitrary image, a control unit for generating intermediate data that is a result of performing a partial preprocessing process on the object image, ; And
And a communication unit for transmitting the intermediate data to an external device
A terminal device for image recognition.

The method according to claim 1,
Wherein the controller compresses the intermediate data using a lossless compression method,
Wherein the communication unit transmits the compressed intermediate data to the external device
A terminal device for image recognition.

The method according to claim 1,
Wherein the communication unit receives information on the preprocessing process from the external device
A terminal device for image recognition.

A feature information extracting process performed in a predetermined order for extracting feature information for recognizing the arbitrary image from an arbitrary image includes extracting intermediate data calculated through preprocessing performed on the object image by the terminal apparatus A server communication unit receiving from the terminal device; And
Processing the remaining data after the preprocessing process for the intermediate data according to the sequence as a post-process to extract characteristic information for recognition of the target image, and recognizing the target image based on the characteristic information And a server control unit for generating a result
Server device for image recognition.

5. The method of claim 4,
The server control unit generates a recognition model including information on the feature information extraction process by learning a relation between a plurality of learning images and feature information for recognition of the plurality of learning images
Server device for image recognition.

6. The method of claim 5,
Wherein the server control unit performs each step of the feature information extraction process for each of the plurality of learning images, and each time the execution of each of the processes is completed, And determines the preprocessing process based on the degree of similarity
Server device for image recognition.

The method according to claim 6,
The server control unit determines the number of processes performed until the degree of similarity becomes less than a predetermined threshold value in the course of the feature information extraction process by the preprocessing process
Server device for image recognition.

5. The method of claim 4,
The preprocessing process is determined to be proportional to the information processing speed of the terminal device
Server device for image recognition.

9. The method according to any one of claims 5 to 8,
Wherein the server communication unit transmits information on the preprocessing process to the terminal device
Server device for image recognition.

5. The method of claim 4,
Wherein the server communication unit transmits the recognition result to the terminal apparatus or provides a predetermined service based on the recognition result to the terminal apparatus under the control of the server control unit
Server device for image recognition.

A preprocessing process of a feature information extraction process performed in a predetermined order to acquire a target image to be recognized and extract feature information for recognizing the arbitrary image from the arbitrary image is performed on the target image A terminal device for generating intermediate data as a result; And
The terminal device receives the intermediate data through a communication network and performs the remaining processes after the preprocessing process as a postprocessing process in order to extract characteristic information for recognition of the target image, And a server device for generating a recognition result for the target image
Image recognition system.