KR20160085742A - Method for processing image - Google Patents

Method for processing image Download PDF

Info

Publication number
KR20160085742A
KR20160085742A KR1020160087608A KR20160087608A KR20160085742A KR 20160085742 A KR20160085742 A KR 20160085742A KR 1020160087608 A KR1020160087608 A KR 1020160087608A KR 20160087608 A KR20160087608 A KR 20160087608A KR 20160085742 A KR20160085742 A KR 20160085742A
Authority
KR
South Korea
Prior art keywords
application program
server
information
image
smart device
Prior art date
Application number
KR1020160087608A
Other languages
Korean (ko)
Inventor
김진곤
Original Assignee
김진곤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김진곤 filed Critical 김진곤
Priority to KR1020160087608A priority Critical patent/KR20160085742A/en
Publication of KR20160085742A publication Critical patent/KR20160085742A/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data

Abstract

The purpose of the present invention is to provide a method to process an image capable of extracting a desired object by setting a keyword and/or a region. The method to process an image by using an application program installed in a portable terminal which communicates with a server according to an embodiment of the present invention comprises the steps of: setting an extracted keyword by using the application program and transmitting the extracted keyword to the server; enabling the application program to receive an image generated by a camera of a smart device; enabling the application program to transmit received image to the server; and enabling the application program to receive the extracted information from the server. The extracted information is information for an object extracted by the server among the objects included in the image according to the extracted keyword.

Description

이미지 처리 방법{METHOD FOR PROCESSING IMAGE}METHOD FOR PROCESSING IMAGE

본 발명의 개념에 따른 실시 예는 이미지를 처리하는 방법에 관한 것으로, 특히 휴대용 단말기에 설치되는 애플리케이션 프로그램이 웨어러블 기기와 같은 스마트 기기에 의해 생성되는 이미지를 처리하는 방법에 관한 것이다.An embodiment according to the concept of the present invention relates to a method of processing an image, and in particular to a method for an application program installed in a portable terminal to process an image generated by a smart device such as a wearable device.

최근 IT(information technology) 기술의 발전에 따라, 스마트 안경이나 스마트 시계와 같은 웨어러블(wearable) 기기들이 등장하고 있다. 상기 웨어러블 기기들은 착용의 불편함을 최소화하고, 최대한의 사용 시간을 확보하기 위하여 최소한의 동작에 필요한 구성 요소들만 포함하고 있으며, 따라서 대부분의 동작들은 스마트폰과 같은 휴대용 단말기와 접속되어 상기 휴대용 단말기에 설치된 전용 애플리케이션 프로그램에 의해 제어된다.With the recent advancement of information technology (IT) technology, wearable devices such as smart glasses and smart clocks are emerging. The wearable devices include only the components necessary for the minimum operation in order to minimize the inconvenience of wearing and maximize the use time. Therefore, most of the operations are connected to a portable terminal such as a smart phone, It is controlled by the installed dedicated application program.

상기 웨어러블 기기는 대부분 카메라를 포함하고 있으며, 이는 스마트폰 등의 카메라를 이용하거나, 전용 카메라를 이용하는 것보다 손쉽고 빠르게 이미지를 생성할 수 있으므로 그 활용가치가 크다고 할 수 있다.Most of the wearable devices include a camera, which can be used more easily and quickly than a camera such as a smart phone or a dedicated camera.

최근에는 각종 인식 기술들이 발전하고 있고, 활용 또한 확대되고 있다. 이미지에 포함된 사물을 인식하는 기술도 그 중 하나이다.Recently, various recognition technologies are being developed and utilized. One technique is to recognize objects included in an image.

따라서, 상기 웨어러블 기기들과 같은 스마트 기기와 이미지 인식 기술을 활용하는 방안이 요구된다.Accordingly, there is a demand for utilizing smart devices such as wearable devices and image recognition technology.

1. 공개특허공보 : 공개번호 10-2011-0044294호 (2011.04.28. 공개)1. Published Patent Publication: Publication No. 10-2011-0044294 (Published on April 28, 2011) 2. 공개특허공보 : 공개번호 10-2008-0020971호 (2008.03.06. 공개)2. Open Patent Publication: Publication No. 10-2008-0020971 (published on Mar. 6, 2008)

본 발명이 이루고자 하는 기술적인 과제는 휴대용 단말기에 설치된 애플리케이션 프로그램이 상기 휴대용 단말기에 접속되는 스마트 기기와, 상기 휴대용 단말기에 접속되는 서버를 이용하여 이미지에 포함된 사물들 중에서 원하는 사물을 추출하는 것으로서, 특히 키워드 및/또는 영역을 설정함으로써 원하는 사물을 추출할 수 있는 방법을 제공하는 것이다.An object of the present invention is to provide an application program installed in a portable terminal for extracting a desired object from objects included in an image using a smart device connected to the portable terminal and a server connected to the portable terminal, In particular, the present invention provides a method for extracting a desired object by setting a keyword and / or an area.

본 발명이 이루고자 하는 또 다른 기술적인 과제는 상기 방법을 수행할 수 있는 컴퓨터로 판독가능한 프로그램이 저장된 저장 매체를 제공하는 것이다.According to another aspect of the present invention, there is provided a storage medium storing a computer-readable program executable by the method.

본 발명의 실시 예에 따른 서버와 통신하는 휴대용 단말기에 설치된 애플리케이션 프로그램을 이용한 이미지 처리 방법은, 상기 애플리케이션 프로그램을 이용하여 추출 키워드를 설정하고, 설정된 추출 키워드를 상기 서버로 전송하는 단계와, 상기 애플리케이션 프로그램이 스마트 기기의 카메라에서 촬영될 수 있는 사물과의 최대 거리를 설정하기 위한 거리 정보를 상기 스마트 기기로 전송하는 단계와, 상기 애플리케이션 프로그램이 촬영하고자 하는 상기 사물이 상기 거리 정보에 해당하는 상기 최대 거리 이내에 위치하는 경우에만 상기 스마트 기기의 상기 카메라에 의해 촬영되고 생성된 상기 사물의 이미지를 수신하는 단계와, 상기 애플리케이션 프로그램이 수신된 이미지를 상기 서버로 전송하는 단계와, 상기 애플리케이션 프로그램이 상기 서버로부터 추출 정보를 수신하는 단계를 포함하고, 상기 추출 정보는 상기 이미지에 포함된 복수의 사물들 중에서 상기 추출 키워드에 따라 상기 서버에 의해 추출되는 사물에 대한 정보이다.An image processing method using an application program installed in a portable terminal communicating with a server according to an embodiment of the present invention includes the steps of setting an extraction keyword using the application program and transmitting the extracted keyword to the server, The method comprising: transmitting distance information for setting a maximum distance to an object from which a program can be photographed by a camera of a smart device to the smart device; Receiving an image of the object photographed and generated by the camera of the smart device only when the application program is located within a predetermined distance, transmitting the received image to the server; Comprising the step of receiving the extracted information from the server, the extracted information is the information about the objects that are in accordance with the extracted keyword among a plurality of objects included in the image extracted by the server.

실시 예에 따라, 상기 추출 정보는 상기 이미지에 포함된 상기 복수의 사물들의 명칭들 중에서 상기 추출 키워드에 따라 상기 서버에 의해 추출된 상기 사물의 명칭을 포함한다.According to an embodiment, the extraction information includes a name of the object extracted by the server according to the extracted keyword among the names of the plurality of objects included in the image.

다른 실시 예에 따라, 상기 추출 정보는 상기 이미지에 포함된 상기 복수의 사물들의 재질들 중에서 상기 추출 키워드에 따라 상기 서버에 의해 추출된 상기 사물의 재질을 포함한다.According to another embodiment, the extraction information includes the material of the object extracted by the server according to the extracted keyword among the materials of the plurality of objects included in the image.

또 다른 실시 예에 따라, 상기 추출 정보는 상기 이미지에 포함된 상기 복수의 사물들의 색채들 중에서 상기 추출 키워드에 따라 상기 서버에 의해 추출된 상기 사물의 색채를 포함한다.According to yet another embodiment, the extracted information includes the color of the object extracted by the server according to the extracted keyword among the colors of the plurality of objects included in the image.

또 다른 실시 예에 따라, 상기 추출 정보는 상기 이미지에 포함된 상기 복수의 사물들의 패턴들 중에서 상기 추출 키워드에 따라 상기 서버에 의해 추출된 상기 사물의 패턴을 포함한다.According to yet another embodiment, the extraction information includes a pattern of the objects extracted by the server according to the extracted keywords among the patterns of the plurality of objects included in the image.

또 다른 실시 예에 따라, 상기 추출 정보는 상기 이미지에 포함된 상기 복수의 사물들의 모양들 중에서 상기 추출 키워드에 따라 상기 서버에 의해 추출된 상기 사물의 모양을 포함한다.According to another embodiment, the extraction information includes the shape of the object extracted by the server according to the extracted keyword among the shapes of the plurality of objects included in the image.

상기 이미지 처리 방법은, 상기 애플리케이션 프로그램이 상기 추출 정보를 상기 스마트 기기로 전송하는 단계를 더 포함한다.The image processing method may further include the step of the application program transmitting the extracted information to the smart device.

본 발명의 다른 실시 예에 따른 서버와 통신하는 휴대용 단말기에 설치된 애플리케이션 프로그램을 이용한 이미지 처리 방법은, 상기 애플리케이션 프로그램을 이용하여 부분 이미지 영역을 설정하고, 설정된 부분 이미지 영역 정보를 상기 서버로 전송하는 단계와, 상기 애플리케이션 프로그램이 스마트 기기의 카메라에서 촬영될 수 있는 사물과의 최대 거리를 설정하기 위한 거리 정보를 상기 스마트 기기로 전송하는 단계와, 상기 애플리케이션 프로그램이 촬영하고자 하는 상기 사물이 상기 거리 정보에 해당하는 상기 최대 거리 이내에 위치하는 경우에만 상기 스마트 기기의 상기 카메라에 의해 촬영되고 생성된 상기 사물의 이미지를 수신하는 단계와, 상기 애플리케이션 프로그램이 수신된 이미지를 상기 서버로 전송하는 단계와, 상기 애플리케이션 프로그램이 상기 서버로부터 추출 정보를 수신하는 단계를 포함하고, 상기 추출 정보는 상기 이미지 중에서 상기 부분 이미지 영역에 포함되고, 상기 서버에 의해 추출되는 사물의 정보이다.A method of processing an image using an application program installed in a mobile terminal communicating with a server according to another embodiment of the present invention includes the steps of setting a partial image area using the application program and transmitting the set partial image area information to the server Transmitting distance information for setting a maximum distance between the application program and an object that can be photographed by the camera of the smart device to the smart device; Receiving an image of the object photographed and generated by the camera of the smart device only if the image is located within the maximum distance; and transmitting the received image to the server; The application program includes the step of receiving the extracted information from the server, the extracted information is information of an object that is contained in the partial image area from the image, extracted by the server.

본 발명의 또 다른 실시 예에 따른 서버와 통신하는 휴대용 단말기에 설치된 애플리케이션 프로그램을 이용한 이미지 처리 방법은, 상기 애플리케이션 프로그램을 이용하여 부분 이미지 영역을 설정하고, 설정된 부분 이미지 영역 정보를 스마트 기기로 전송하는 단계와, 상기 애플리케이션 프로그램이 상기 스마트 기기의 카메라에서 촬영될 수 있는 사물과의 최대 거리를 설정하기 위한 거리 정보를 상기 스마트 기기로 전송하는 단계와, 상기 애플리케이션 프로그램이 촬영하고자 하는 상기 사물이 상기 거리 정보에 해당하는 상기 최대 거리 이내에 위치하는 경우에만 상기 스마트 기기의 상기 카메라에 의해 촬영되고 생성된 상기 사물의 이미지 중에서 상기 부분 이미지 영역에 해당하는 부분 이미지를 수신하는 단계와, 상기 애플리케이션 프로그램이 수신된 부분 이미지를 상기 서버로 전송하는 단계와, 상기 애플리케이션 프로그램이 상기 서버로부터 추출 정보를 수신하는 단계를 포함하고, 상기 추출 정보는 상기 부분 이미지에 포함되고, 상기 서버에 의해 추출되는 사물의 정보이다.According to another aspect of the present invention, there is provided an image processing method using an application program installed in a mobile terminal communicating with a server, the method comprising: setting a partial image area using the application program; Transmitting distance information for setting the maximum distance between the application program and an object that can be photographed by the camera of the smart device to the smart device; Receiving a partial image corresponding to the partial image area from the images of the object photographed and generated by the camera of the smart device only when the object is located within the maximum distance corresponding to the information, Transmitting the received partial image to the server; and receiving the extraction information from the server, wherein the extraction information is included in the partial image, Information.

본 발명의 또 다른 실시 예에 따른 서버와 통신하는 휴대용 단말기에 설치된 애플리케이션 프로그램을 이용한 이미지 처리 방법은, 상기 애플리케이션 프로그램을 이용하여 부분 이미지 영역을 설정하는 단계와, 상기 애플리케이션 프로그램이 스마트 기기의 카메라에서 촬영될 수 있는 사물과의 최대 거리를 설정하기 위한 거리 정보를 상기 스마트 기기로 전송하는 단계와, 상기 애플리케이션 프로그램이 촬영하고자 하는 상기 사물이 상기 거리 정보에 해당하는 상기 최대 거리 이내에 위치하는 경우에만 상기 스마트 기기의 상기 카메라에 의해 촬영되고 생성된 상기 사물의 이미지를 수신하는 단계와, 상기 애플리케이션 프로그램이 수신된 이미지 중에서 상기 부분 이미지 영역에 해당하는 부분 이미지를 상기 서버로 전송하는 단계와, 상기 애플리케이션 프로그램이 상기 서버로부터 추출 정보를 수신하는 단계를 포함하고, 상기 추출 정보는 상기 부분 이미지에 포함되고, 상기 서버에 의해 추출되는 사물의 정보이다.According to another aspect of the present invention, there is provided a method of processing an image using an application program installed in a mobile terminal communicating with a server, the method comprising: setting a partial image area using the application program; The method comprising the steps of: transmitting distance information for setting a maximum distance to an object that can be photographed to the smart device; and transmitting, when the object program is located within the maximum distance corresponding to the distance information, Receiving an image of the object photographed and generated by the camera of the smart device; transmitting to the server a partial image corresponding to the partial image area from the received image of the application program; The application program includes the step of receiving the extracted information from the server, the extracted information is information of an object that is contained in the partial image extracted by the server.

본 발명의 실시 예에 따른 컴퓨터로 판독가능한 저장 매체는, 상기 이미지 처리 방법을 실행할 수 있는 컴퓨터 프로그램을 저장한다.A computer-readable storage medium according to an embodiment of the present invention stores a computer program capable of executing the image processing method.

본 발명의 실시 예에 따른 이미지 처리 방법은 휴대용 단말기에 설치된 애플리케이션 프로그램이 상기 휴대용 단말기에 접속되는 스마트 기기와, 상기 휴대용 단말기에 접속되는 서버를 이용하여 이미지에 포함된 사물들 중에서 설정된 키워드 및/또는 영역에 해당하는 사물만을 추출하고, 추출된 사물에 대한 정보를 획득할 수 있다. 본 발명의 실시 예에 따른 이미지 처리 방법은 특히 시각장애인을 위한 사물 인식, 보행용 네비게이션, 장애물 인식 및 회피, 커머스 플랫폼(commerce platform)과의 연동, 및 유아용 사물 학습 방법 등을 제공할 수 있는 효과가 있다.An image processing method according to an exemplary embodiment of the present invention is an image processing method in which an application program installed in a portable terminal uses a smart device connected to the portable terminal and a server connected to the portable terminal, It is possible to extract only the object corresponding to the region and obtain information about the extracted object. The image processing method according to the embodiment of the present invention is particularly effective in providing object recognition for a visually impaired person, navigation for walking, recognition and avoidance of an obstacle, interworking with a commerce platform, .

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 방법을 수행하기 위한 이미지 처리 시스템을 개략적으로 도시한 것이다.
도 2는 도 1에 도시된 스마트 기기의 개략적인 블록도이다.
도 3은 도 1에 도시된 휴대용 단말기의 개략적인 블록도이다.
도 4는 본 발명의 실시 예에 따른 이미지 처리 방법을 설명하기 위한 플로우차트이다.
도 5는 본 발명의 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 플로우차트이다.
도 6은 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 플로우차트이다.
도 7은 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 플로우차트이다.
도 8의 (a)는 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 이미지와 사물들의 예시를 개략적으로 도시한 것이고, 도 8의 (b)는 도 8의 (a)의 이미지 처리 방법에 따라 서버에서 사물이 추출되는 과정을 설명하기 위한 플로우차트이다.
도 9의 (a)는 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 이미지와 사물들의 예시를 개략적으로 도시한 것이고, 도 9의 (b)는 도 9의 (a)의 이미지 처리 방법에 따라 서버에서 사물이 추출되는 과정을 설명하기 위한 플로우차트이다.
도 10의 (a)는 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 이미지와 사물들의 예시를 개략적으로 도시한 것이고, 도 10의 (b)는 도 10의 (a)의 이미지 처리 방법에 따라 서버에서 사물이 추출되는 과정을 설명하기 위한 플로우차트이다.
도 11은 도 8 내지 도 10의 이미지 처리 방법에 따른 데이터 흐름도이다.
도 12는 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 이미지와 사물들의 예시를 개략적으로 도시한 것이다.
도 13은 도 12의 이미지 처리 방법의 일 실시 예에 따른 데이터 흐름도이다.
도 14는 도 12의 이미지 처리 방법의 다른 실시 예에 따른 데이터 흐름도이다.
도 15는 도 12의 이미지 처리 방법의 또 다른 실시 예에 따른 데이터 흐름도이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In order to more fully understand the drawings recited in the detailed description of the present invention, a detailed description of each drawing is provided.
1 schematically shows an image processing system for performing an image processing method according to an embodiment of the present invention.
2 is a schematic block diagram of the smart device shown in FIG.
3 is a schematic block diagram of the portable terminal shown in FIG.
4 is a flowchart for explaining an image processing method according to an embodiment of the present invention.
5 is a flowchart for explaining an image processing method according to another embodiment of the present invention.
6 is a flowchart for explaining an image processing method according to another embodiment of the present invention.
7 is a flowchart for explaining an image processing method according to another embodiment of the present invention.
8 (a) schematically shows an example of an image and objects for explaining an image processing method according to another embodiment of the present invention, and Fig. 8 (b) And a process of extracting objects from the server according to a processing method.
9 (a) schematically shows an example of an image and objects for explaining an image processing method according to another embodiment of the present invention, and Fig. 9 (b) And a process of extracting objects from the server according to a processing method.
10 (a) schematically shows an example of an image and objects for explaining an image processing method according to another embodiment of the present invention, and FIG. 10 (b) And a process of extracting objects from the server according to a processing method.
11 is a data flow diagram according to the image processing method of Figs. 8 to 10. Fig.
12 schematically shows an example of images and objects for explaining an image processing method according to another embodiment of the present invention.
13 is a data flow diagram according to an embodiment of the image processing method of FIG.
14 is a data flow diagram according to another embodiment of the image processing method of Fig.
15 is a data flow diagram according to another embodiment of the image processing method of FIG.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.It is to be understood that the specific structural or functional description of embodiments of the present invention disclosed herein is for illustrative purposes only and is not intended to limit the scope of the inventive concept But may be embodied in many different forms and is not limited to the embodiments set forth herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.The embodiments according to the concept of the present invention can make various changes and can take various forms, so that the embodiments are illustrated in the drawings and described in detail herein. It should be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms disclosed, but includes all modifications, equivalents, or alternatives falling within the spirit and scope of the invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms may be named for the purpose of distinguishing one element from another, for example, without departing from the scope of the right according to the concept of the present invention, the first element may be referred to as a second element, The component may also be referred to as a first component.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like are used to specify that there are features, numbers, steps, operations, elements, parts or combinations thereof described herein, But do not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.

본 명세서에 기재된 사물은 생물과 무생물을 모두 포함하는 의미로 사용된다. 즉, 상기 사물은 사람까지도 포함할 수 있다.The objects described herein are used to mean both biological and inanimate objects. That is, the object may include a person.

본 명세서에서는 설명의 편의를 위해 애플리케이션 프로그램이 이미지 또는 정보를 전송하거나 수신하는 것으로 기재하였으나, 상기 이미지 또는 상기 정보를 전송하거나 수신하는 주체는 휴대용 단말기이며, 상기 애플리케이션 프로그램의 제어에 따라 상기 휴대용 단말기가 상기 이미지 또는 정보는 전송하거나 수신하는 것으로 이해될 수 있다.In this specification, for convenience of description, it is described that an application program transmits or receives an image or information, but the subject that transmits or receives the image or the information is a portable terminal, and in accordance with the control of the application program, The image or information may be understood to be transmitted or received.

즉, 휴대용 단말기에서 실행되는 애플리케이션 프로그램이 신호(또는 데이터)를 전송하거나 수신한다 함은 상기 애플리케이션 프로그램의 제어에 따라 상기 휴대용 단말기에 포함된 송신기 또는 수신기가 상기 신호(또는 데이터)를 외부 장치로 전송하거나 상기 외부 장치로부터 수신하는 것을 의미한다.That is, an application program executed in the portable terminal transmits or receives a signal (or data), the transmitter or receiver included in the portable terminal transmits the signal (or data) to an external device under the control of the application program Or receiving from the external device.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings attached hereto.

도 1은 본 발명의 실시 예에 따른 이미지 처리 방법을 수행하는 이미지 처리 시스템을 개략적으로 도시한 것이다.1 schematically shows an image processing system for performing an image processing method according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 이미지 처리 방법을 수행할 수 있는 이미지 처리 시스템(10)은 스마트 기기(smart device; 100-1 또는 100-2), 휴대용 단말기(200), 및 제1서버(300)를 포함한다.1, an image processing system 10 capable of performing an image processing method according to an embodiment of the present invention includes a smart device 100-1 or 100-2, a portable terminal 200, And a first server (300).

스마트 기기(100-1 또는 100-2; 집합적으로 100)는 본 발명을 수행하는데 필요한 이미지(또는 이미지 데이터)를 생성할 수 있다. 스마트 기기(100)는 사용자가 착용할 수 있는 웨어러블 기기(wearable device)로서, 도 1에서는 안경 형태(100-1) 또는 시계 형태 (100-2)의 웨어러블 기기가 도시되어 있으나, 본 발명의 기술적 사상이 이에 한정되는 것은 아니고, 사용자가 착용할 수 있는 다양한 형태의 웨어러블 기기가 사용될 수 있으며, 더욱이 스마트 기기(100)는 반드시 웨어러블 기기에 한정되는 것만은 아니고 다른 전자 기기를 포함할 수도 있다.The smart device 100-1 or 100-2 (collectively 100) may generate the image (or image data) necessary to carry out the present invention. The smart device 100 is a wearable device that can be worn by a user. In FIG. 1, a wearable device of a spectacle type 100-1 or a watch type 100-2 is shown. However, The smart device 100 may not necessarily be limited to a wearable device but may include other electronic devices as well.

도 1을 참조하면, 각 스마트 기기(100-1 또는 100-2, 총괄적으로 100)는 각 카메라(120-1 또는 120-2, 집합적으로 120), 각 본체(140-1 또는 140-2, 집합적으로 140), 및 각 디스플레이(160-1 또는 160-2, 집합적으로 160)를 포함할 수 있다.Referring to FIG. 1, each of the smart devices 100-1 and 100-2 (generally 100) includes a camera 120-1 or 120-2 (collectively, 120), a main body 140-1 or 140-2 , Collectively 140), and each display 160-1 or 160-2 (collectively 160).

카메라(120-1 또는 120-2)는 광학 이미지를 전기적인 신호로 변환하고, 변환의 결과에 따라 이미지를 생성할 수 있다. 예컨대, 카메라(120-1 또는 120-2)는 CMOS(complementary metal-oxide semiconductor) 이미지 센서로 구현될 수 있다. 실시 예에 따라, 카메라(120-1 또는 120-2)는 컬러 정보를 검출하는 컬러 센서와 깊이 정보를 검출하는 깊이 센서(depth sensor)를 포함할 수 있다.The camera 120-1 or 120-2 can convert the optical image into an electrical signal and generate an image according to the result of the conversion. For example, the camera 120-1 or 120-2 may be implemented as a complementary metal-oxide semiconductor (CMOS) image sensor. According to the embodiment, the camera 120-1 or 120-2 may include a color sensor for detecting color information and a depth sensor for detecting depth information.

상기 이미지는 정지 영상(still image), 동영상(moving image), 또는 스테레오스코픽 영상(stereoscopic image)을 의미할 수 있다.The image may be a still image, a moving image, or a stereoscopic image.

실시 예에 따라, 상기 이미지는 스마트 기기(100-1 또는 100-2)와 사물(또는 피사체) 사이의 깊이 정보(또는 거리 정보)를 더 포함할 수 있다. 상기 깊이 정보는 카메라(120-1 또는 120-2)의 깊이 센서를 이용하여 계산(또는 출력)될 수 있다. 상기 깊이 센서는 TOF(time-of-flight) 측정 방식을 이용하여 카메라(120-1 또는 120-2)와 사물 사이의 깊이(또는 거리)를 측정할 수 있다.According to the embodiment, the image may further include depth information (or distance information) between the smart device 100-1 or 100-2 and the object (or object). The depth information may be calculated (or output) using the depth sensor of the camera 120-1 or 120-2. The depth sensor can measure the depth (or distance) between the camera 120-1 or 120-2 and an object using a time-of-flight (TOF) measurement method.

즉, 깊이 센서는 소스(source)로부터 방사된 펄스 형태의 신호(예컨대, 마이크로파(microwave), 광파(light wave), 또는 초음파(ultrasonic wave))가 사물에 의해 반사되어 되돌아 올 때까지의 지연 시간을 측정하고, 측정의 결과에 기초하여 상기 깊이 센서와 상기 사물까지의 거리(또는 깊이)를 계산할 수 있다.That is, the depth sensor measures the delay time until a pulse-shaped signal (for example, a microwave, a light wave, or an ultrasonic wave) radiated from a source is reflected by an object and is returned And the distance (or depth) between the depth sensor and the object can be calculated based on the result of the measurement.

다른 실시 예에 따라, 카메라(120-1 또는 120-2)는 적외선 카메라일 수 있다. 따라서, 충분한 빛이 제공되지 않는 경우라도(예컨대, 야간), 카메라(120-1 또는 120-2)는 이미지를 생성할 수 있다.According to another embodiment, the camera 120-1 or 120-2 may be an infrared camera. Therefore, even when sufficient light is not provided (for example, at night), the camera 120-1 or 120-2 can generate an image.

상기 적외선 카메라는 0.7㎛~3㎛ 정도의 적외선 파장을 탐지하는 나이트비전 (night vision) 카메라일 수 있다.The infrared camera may be a night vision camera that detects an infrared wavelength of about 0.7 mu m to 3 mu m.

본체(140-1 또는 140-2)는 스마트 기기(100-1 또는 100-2)의 구성 요소들의 작동을 제어할 수 있고, 휴대용 단말기(200)와 무선으로 접속되어 데이터를 주고 받을 수 있도록 해 준다. 본체(140-1 또는 140-2)의 각 구성 요소의 작동에 대해서는 도 2를 참조하여 상세히 설명될 것이다.The body 140-1 or 140-2 can control the operation of the components of the smart device 100-1 or 100-2 and wirelessly connect to the portable terminal 200 to exchange data give. The operation of each component of the main body 140-1 or 140-2 will be described in detail with reference to Fig.

디스플레이(160-1 또는 160-2)는 본체(140-1 또는 140-2)로부터 출력되는 데이터를 시각적으로 표시할 수 있다.The display 160-1 or 160-2 can visually display data output from the main body 140-1 or 140-2.

휴대용 단말기(200)는 본 발명의 실시 예에 따른 이미지 처리 방법을 수행할 수 있는 애플리케이션 프로그램(애플리케이션 또는 앱(app))이 설치되어 있고, 스마트 기기(100-1 또는 100-2)와 제1서버(300) 사이에서 데이터를 주고받는 역할을 수행할 수 있다.The portable terminal 200 is provided with an application program (an application or an app) capable of performing the image processing method according to the embodiment of the present invention, and the smart device 100-1 or 100-2 and the first And the server 300 can exchange data with each other.

예컨대, 휴대용 단말기(200)는 스마트폰(smart phone), 태블릿 PC(tablet PC), 이동 전화기, PDA(personal digital assistant), 모바일 인터넷 장치(mobile internet device(MID)), EDA(enterprise digital assistant), PND(personal navigation device 또는 portable navigation device), 사물 인터넷(internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.For example, the portable terminal 200 may be a smart phone, a tablet PC, a mobile phone, a personal digital assistant (PDA), a mobile internet device (MID), an enterprise digital assistant (EDA) , A PND (personal navigation device or portable navigation device), an internet of things (IoT) device, or an internet of everything (IoE) device.

제1서버(300)는 무선 네트워크 또는 이동 통신 네트워크를 통해 휴대용 단말기(200)와 무선으로 신호(또는 데이터)를 주거나 받을 수 있다. 제1서버(300)는 휴대용 단말기(200)로부터 출력된 이미지를 수신하고 이를 데이터베이스(400)에 저장하고, 저장된 이미지를 분석하고, 분석의 결과에 따라 상기 이미지 내에 포함된 사물들 중에서 적어도 하나의 사물을 추출하고, 추출된 사물에 대한 정보를 휴대용 단말기(200)로 전송할 수 있다.The first server 300 may receive or receive signals (or data) wirelessly with the portable terminal 200 through a wireless network or a mobile communication network. The first server 300 receives the image output from the portable terminal 200, stores it in the database 400, analyzes the stored image, and determines at least one of the objects included in the image Extracts the object, and transmits information about the extracted object to the portable terminal 200.

제1서버(300)는 휴대용 단말기(200)로부터 전송된 이미지를 SIFT(scale invariant feature transform), SURF(speeded up robust features), HOG(histogram of oriented gradient), 및/또는 MCT(modified census transform) 등의 이미지 인식 알고리즘들 중에서 적어도 어느 하나를 이용하여 상기 이미지에 포함된 특징점을 추출하고, 추출된 특징점을 데이터베이스(400)에 사전에 등록된 사물들의 특징점들과의 유사도를 계산하는 방식으로 상기 이미지를 분석할 수 있다.The first server 300 may convert the image transmitted from the portable terminal 200 into a scale invariant feature transform (SIFT), a speeded up robust features (SURF), a histogram of oriented gradient (HOG), and / or a modified census transform (MCT) , And the similarity of the extracted feature points to the feature points of objects registered in advance in the database 400 is calculated using at least one of the image recognition algorithms Can be analyzed.

분석의 결과에 따라, 제1서버(300)는 유사도가 가장 높게 나타나는 적어도 하나의 사물을 추출할 수 있고, 추출된 사물에 대한 정보를 제1서버(300) 내에서 획득하거나, 데이터베이스(400)로부터 획득하거나, 또는 제1서버(300)에 의해 액세스될 수 있는 다른 데이터베이스로부터 획득할 수 있다.According to the result of the analysis, the first server 300 can extract at least one object showing the highest degree of similarity, acquire information about the extracted object in the first server 300, Or may be obtained from another database that can be accessed by the first server 300.

설명의 편의를 위해, 예컨대, 휴대용 단말기(200)로부터 전송된 이미지에 강아지에 대한 이미지가 포함되어 있다고 가정하면, 제1서버(300)는 휴대용 단말기 (200)로부터 전송된 이미지로부터 특징점들을 추출하고, 추출된 특징점들과 데이터베이스(400)에 미리 등록된 사물들의 특징점들과의 유사도를 계산할 수 있다. 계산의 결과, 추출된 특징점들과 강아지의 특징점들과의 유사도가 가장 높게 나타날 것이므로, 제1서버(300)는 휴대용 단말기(200)로부터 전송된 이미지에 포함된 강아지 이미지로부터 강아지라는 사물을 추출해 낼 수 있다.For convenience of explanation, for example, assuming that an image of a dog is included in the image transmitted from the portable terminal 200, the first server 300 extracts the feature points from the image transmitted from the portable terminal 200 , And the degree of similarity between the extracted minutiae points and minutiae points of objects registered in advance in the database 400 can be calculated. As a result of the calculation, the similarity degree between the extracted feature points and the feature points of the dog will be highest. Therefore, the first server 300 extracts a thing called a dog from the image of the dog included in the image transmitted from the portable terminal 200 .

실시 예들에 따라, 이미지 처리 시스템(10)은 제2서버(500)를 더 포함할 수 있다. 제2서버(500)는 본 발명의 실시 예에 따른 이미지 처리 방법을 수행하는 애플리케이션 프로그램을 저장할 수 있고, 복수의 휴대용 단말기들과 무선 네트워크를 통해 서로 통신할 수 있다. 제2서버(500)는 휴대용 단말기(200)의 사용자가 본 발명에 따른 애플리케이션 프로그램을 휴대용 단말기(200)로 다운로드할 수 있도록 다운로드 서비스를 제공할 수 있다.In accordance with embodiments, the image processing system 10 may further include a second server 500. [ The second server 500 may store an application program for performing an image processing method according to an embodiment of the present invention, and may communicate with a plurality of portable terminals through a wireless network. The second server 500 may provide a download service so that the user of the portable terminal 200 can download the application program according to the present invention to the portable terminal 200. [

예컨대, 제2서버(500)는 다양한 애플리케이션 프로그램들을 판매하는 앱스토어 마켓(app-store market)의 서버 혹은 상기 애플리케이션 프로그램들을 배포하기 위한 개인용 서버 또는 기업용 서버일 수 있으나, 이에 한정되는 것은 아니다.For example, the second server 500 may be a server of an app store market for selling various application programs, a personal server for distributing the application programs, or an enterprise server, but is not limited thereto.

도 2는 도 1에 도시된 스마트 기기(100)의 개략적인 블록도이다.2 is a schematic block diagram of the smart device 100 shown in FIG.

도 1과 도 2를 참조하면, 스마트 기기(100)는 카메라(120), 프로세서(142), 메모리(144), 무선 통신 모듈(146), 사운드 출력부(또는 사운드 출력 장치; 148), 지자기 센서(geo-magnetic sensor; 150), 및 디스플레이(160)를 포함할 수 있다.1 and 2, the smart device 100 includes a camera 120, a processor 142, a memory 144, a wireless communication module 146, a sound output unit (or sound output device) 148, A geo-magnetic sensor 150, and a display 160.

프로세서(142)는 버스(152)를 통해 스마트 기기(100)의 구성 요소들(120, 144, 146, 148, 150, 및 160) 중에서 적어도 하나의 작동을 제어할 수 있다. 구성 요소들(120, 144, 146, 148, 150, 및 160)의 작동을 제어하기 위하여, 프로세서 (142)는 메모리(144)에 저장된 복수의 애플리케이션 프로그램들(W_APP1~W_APPm; m은 자연수) 중에서 대응되는 애플리케이션 프로그램을 실행할 수 있다.The processor 142 may control operation of at least one of the components 120, 144, 146, 148, 150, and 160 of the smart device 100 via the bus 152. In order to control the operation of the components 120, 144, 146, 148, 150, and 160, the processor 142 may include a plurality of application programs (W_APP1 through W_APPm, The corresponding application program can be executed.

프로세서(142)는, 카메라(120)의 작동에 관련된 애플리케이션 프로그램(예컨대, W_APP1)을 이용하여, 카메라(120)에 의해 이미지가 생성되도록 제어할 수 있고, 지자기 센서(150)의 작동에 관련된 애플리케이션 프로그램(예컨대, W_APP2)을 이용하여 방위 정보를 생성하도록 지자기 센서(150)를 제어할 수 있다.The processor 142 may control the image to be generated by the camera 120 using an application program (e.g., W_APP1) that is related to the operation of the camera 120, It is possible to control the geomagnetic sensor 150 to generate azimuth information using a program (e.g., W_APP2).

메모리(144)는 프로세서(142)의 작동에 필요한 명령들(instructions), 복수의 애플리케이션 프로그램들(W_APP1~W_APPm), 및/또는 이미지와 같은 각종 데이터를 저장할 수 있다. 실시 예에 따라, 메모리(144)는 프로세서(142)의 작동 메모리로 작동할 수 있고, 캐시(cache), DRAM(dynamic random access memory), 또는 SRAM(static RAM)으로 구현될 수 있다.The memory 144 may store various data such as instructions necessary for the operation of the processor 142, a plurality of application programs W_APP1 to W_APPm, and / or an image. Depending on the embodiment, the memory 144 may operate as the working memory of the processor 142 and may be implemented as a cache, a dynamic random access memory (DRAM), or a static RAM (SRAM).

다른 실시 예에 따라, 메모리(144)는 플래시-기반 메모리로 구현될 수 있다. 상기 플래시-기반 메모리는 멀티미디어 카드(multimedia card(MMC)), 임베디드 MMC (embedded MMC(eMMC)), 유니버셜 플래시 스토리지(universal flash storage(UFS)), 또는 솔리드 스테이트 드라이브(solid state drive(SSD))로 구현될 수 있다.According to another embodiment, the memory 144 may be implemented as a flash-based memory. The flash-based memory may be a multimedia card (MMC), an embedded MMC (eMMC), a universal flash storage (UFS), or a solid state drive (SSD) . ≪ / RTI >

메모리(144)는 하나 또는 그 이상의 메모리들을 포함하는 집합적 의미로 이해될 수 있다. The memory 144 may be understood in a collective sense to include one or more memories.

무선 통신 모듈(146)은 스마트 기기(100)와 휴대용 단말기(200) 사이에 데이터를 주거나 받을 때 사용될 수 있다. 실시 예들에 따라, 무선 통신 모듈(146)은 블루투스(bluetooth), 근거리 무선 통신(near field communication(NFC)), 또는 와이파이(Wi-Fi) 등의 무선 통신 방식으로 휴대용 단말기(200)와 통신할 수 있다.The wireless communication module 146 may be used when receiving or receiving data between the smart device 100 and the portable terminal 200. The wireless communication module 146 may communicate with the portable terminal 200 using a wireless communication scheme such as bluetooth, near field communication (NFC), or Wi-Fi .

사운드 출력부(148)는 프로세서(142)의 제어에 따라 메모리(144)로부터 출력된 사운드 데이터에 따라 사운드를 출력할 수 있다. 실시 예들에 따라, 사운드 출력부(148)는 스피커 또는 이어폰 출력 단자들을 의미할 수 있다.The sound output unit 148 can output sound according to the sound data output from the memory 144 under the control of the processor 142. [ According to embodiments, the sound output 148 may refer to speaker or earphone output terminals.

지자기 센서(150)는 사물의 방위 정보를 획득하기 위하여 사용될 수 있다. 카메라(120)에 의해 상기 사물이 캡쳐될 때, 지자기 센서(150)는 카메라(120)의 초점 방향에 상응하는 방위 정보를 생성하고 출력할 수 있다. 예컨대, 지자기 센서 (150)는 3-축 지자기 센서일 수 있다.The geomagnetic sensor 150 may be used to acquire orientation information of an object. When the object is captured by the camera 120, the geomagnetic sensor 150 can generate and output azimuth information corresponding to the focus direction of the camera 120. [ For example, the geomagnetic sensor 150 may be a three-axis geomagnetic sensor.

실시 예에 따라, 스마트 기기(100)는 진동 모터(미도시)를 더 포함할 수 있다. 상기 진동 모터(미도시)는 프로세서(142)로부터 출력된 제어 신호에 응답하여 작동함으로써 스마트 기기(100)를 진동시킬 수 있다. 상기 진동 모터(미도시)는 리니어(linear) 진동 모터 또는 SMD(surface mount devices) 타입 코인형 진동 모터일 수 있으나, 이에 한정되는 것은 아니다.According to an embodiment, the smart device 100 may further include a vibration motor (not shown). The vibration motor (not shown) may vibrate the smart device 100 by operating in response to a control signal output from the processor 142. The vibration motor (not shown) may be a linear vibration motor or a surface mount devices (SMD) type coin type vibration motor, but is not limited thereto.

도 3은 도 1에 도시된 휴대용 단말기(200)의 개략적인 블록도이다.FIG. 3 is a schematic block diagram of the portable terminal 200 shown in FIG.

도 1과 도 3을 참조하면, 휴대용 단말기(200)는 프로세서(210), 메모리 (220), 무선 통신 모듈(230), 사운드 출력부(또는 사운드 출력 장치; 240), 디스플레이(250), 및 GPS(global positioning system) 수신 모듈(260)을 포함한다.1 and 3, the portable terminal 200 includes a processor 210, a memory 220, a wireless communication module 230, a sound output unit (or sound output apparatus) 240, a display 250, And a global positioning system (GPS) receiving module 260.

프로세서(210)는 버스(270)를 통해 구성 요소들(220, 230, 240, 250, 및 260) 중에서 적어도 하나의 작동을 제어할 수 있다. 프로세서(210)는 구성 요소들 (220, 230, 240, 250, 및 260) 중에서 적어도 하나의 작동을 제어하기 위해 메모리 (220)에 저장된 복수의 애플리케이션 프로그램들(M_APP1~M_APPn; n은 2 이상의 자연수) 중에서 적어도 하나를 실행할 수 있다. 특히, 본 발명의 실시 예에 따라 구현된 애플리케이션 프로그램(예컨대, M_APP1)은 제2서버(500)로부터 다운로드될 수 있다.The processor 210 may control operation of at least one of the components 220, 230, 240, 250, and 260 via the bus 270. The processor 210 includes a plurality of application programs M_APP1 through M_APPn stored in the memory 220 for controlling at least one operation of the components 220, 230, 240, 250 and 260, ). ≪ / RTI > In particular, an application program (e.g., M_APP1) implemented in accordance with an embodiment of the present invention may be downloaded from the second server 500.

메모리(220)는 프로세서(210)의 작동에 필요한 명령들, 복수의 애플리케이션 프로그램들(M_APP1~M_APPn), 및/또는 각종 데이터를 저장할 수 있다. 예컨대, 메모리(220)는 도 2를 참조하여 설명된 메모리(144)와 동일 또는 유사한 메모리로 구현될 수 있다.The memory 220 may store instructions necessary for the operation of the processor 210, a plurality of application programs M_APP1 to M_APPn, and / or various data. For example, the memory 220 may be implemented with the same or similar memory as the memory 144 described with reference to FIG.

무선 통신 모듈(230)은 스마트 기기(100-1 또는 100-2), 제1서버(300), 및 제2서버(500) 중에서 적어도 어느 하나와 휴대용 단말기(200) 사이에 데이터를 주거나 받을 때 이용될 수 있다.The wireless communication module 230 receives or receives data between at least one of the smart device 100-1 or 100-2, the first server 300 and the second server 500 and the portable terminal 200 Can be used.

실시 예들에 따라, 무선 통신 모듈(230)은 LTETM(long term evolution), 광대역 부호 다중 분할 접속(wideband code division multiple access(W-CDMA)), 블루투스, NFC, 또는 Wi-Fi 등의 방식으로 구현될 수 있다.Depending on the embodiments, the wireless communication module 230 is in LTE TM (long term evolution), W-CDMA (wideband code division multiple access (W-CDMA)), Bluetooth, NFC, or method, such as Wi-Fi Can be implemented.

사운드 출력부(240)는 메모리(220)로부터 출력된 사운드 데이터에 따라 사운드를 출력할 수 있다. 실시 예에 따라, 사운드 출력부(240)는 스피커 또는 이어폰 출력 단자들을 포함할 수 있다.The sound output unit 240 may output a sound in accordance with the sound data output from the memory 220. According to an embodiment, the sound output section 240 may include speaker or earphone output terminals.

디스플레이(250)는 스마트 기기(100-1 또는 100-2)로부터 전송된 이미지, 또는 제1서버(300)로부터 전송된 이미지에 포함된 사물들에 대한 정보를 디스플레이할 수 있다.The display 250 may display information about objects included in the image transmitted from the first device 300 or the image transmitted from the smart device 100-1 or 100-2.

GPS 수신 모듈(260)은 복수의 GPS 위성 신호들을 수신하고 수신된 신호들을 이용하여 휴대용 단말기(200)의 위치 정보를 출력할 수 있다. GPS 수신 모듈(260)은 GPS 수신기를 의미할 수 있다.The GPS receiving module 260 may receive a plurality of GPS satellite signals and output the position information of the portable terminal 200 using the received signals. The GPS receiving module 260 may refer to a GPS receiver.

실시 예들에 따라, 휴대용 단말기(200)는 진동 모터(미도시)를 더 포함할 수 있다. 상기 진동 모터는 프로세서(210)로부터 출력된 제어 신호에 응답하여 작동함으로써 휴대용 단말기(200)를 진동시킬 수 있다. 상기 진동 모터는 리니어 진동 모터 또는 SMD(surface mount devices) 타입 코인형 진동 모터일 수 있으나, 이에 한정되는 것은 아니다.According to the embodiments, the portable terminal 200 may further include a vibration motor (not shown). The vibration motor can vibrate the portable terminal 200 by operating in response to the control signal output from the processor 210. [ The vibration motor may be a linear vibration motor or a SMD (surface mount devices) type coin type vibration motor, but is not limited thereto.

*도 4는 본 발명의 실시 예에 따른 이미지 처리 방법을 설명하기 위한 플로우차트이다. 도 1부터 도 4를 참조하면, 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-2)는 사물(예컨대, 강아지)을 촬영(또는 캡쳐)하여 상기 사물에 대한 이미지를 생성하고, 생성된 이미지를 휴대용 단말기(200)로 전송할 수 있다.4 is a flowchart for explaining an image processing method according to an embodiment of the present invention. 1 to 4, the camera 120-1 or 120-2 of the smart device 100-1 or 100-2 shoots (or captures) a thing (for example, a dog) And transmit the generated image to the portable terminal 200. [0050]

휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)은 스마트 기기 (100-1 또는 100-2)의 카메라(120-1 또는 120-2)로부터 출력된 사물의 이미지를 수신할 수 있다(S402).The application program M_APP1 installed in the portable terminal 200 can receive the image of the object output from the camera 120-1 or 120-2 of the smart device 100-1 or 100-2 (S402).

실시 예들에 따라, 애플리케이션 프로그램(M_APP1)은 스마트 기기(100-1 또는 100-2)에서 캡쳐될 수 있는 사물과의 최대 거리를 설정하기 위한 거리 정보 (MAX_D)를 스마트 기기(100-1 또는 100-2)로 전송할 수 있다(S400).According to embodiments, the application program M_APP1 sends distance information MAX_D to the smart device 100-1 or 100-2 to set the maximum distance to an object that can be captured in the smart device 100-1 or 100-2 -2) (S400).

실시 예들에 따라 거리 정보(MAX_D)는 애플리케이션 프로그램(M_APP1)에 의해 자동으로 설정될 수 있고, 사용자가 애플리케이션 프로그램(M_APP1)을 이용하여 수동으로 설정할 수 있다. 거리 정보(MAX_D)가 설정될 때, 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-2)는 촬영하고자 하는 사물이 거리 정보(MAX_D)에 해당하는 최대 거리 이내(예컨대, 2m 또는 3m)에 위치하는 경우에만 상기 사물을 촬영하여 이미지를 생성할 수 있다.According to the embodiments, the distance information MAX_D can be automatically set by the application program M_APP1, and can be manually set by the user using the application program M_APP1. When the distance information MAX_D is set, the camera 120-1 or 120-2 of the smart device 100-1 or 120-2 determines whether the object to be photographed is within a maximum distance corresponding to the distance information MAX_D For example, 2 m or 3 m), it is possible to photograph the object to generate an image.

애플리케이션 프로그램(M_APP1)은 스마트 기기(100-1 또는 100-2)로부터 수신한 이미지를 무선 네트워크를 통해 제1서버(300)로 전송할 수 있다(S404).The application program M_APP1 may transmit the image received from the smart device 100-1 or 100-2 to the first server 300 through the wireless network (S404).

실시 예에 따라, 스마트 기기(100-1 또는 100-2)가 아동 혹은 여성 호신 보안용 블랙 박스로 사용되는 경우, 제1서버(300)는 수신한 이미지를 제1서버(300) 혹은 데이터베이스(400)에 저장할 수 있다.According to an embodiment, when the smart device 100-1 or 100-2 is used as a black box for child or female security, the first server 300 transmits the received image to the first server 300 or the database 400).

애플리케이션 프로그램(M_APP1)은 제1서버(300)로부터 사물 또는 이미지에 관련된 정보 데이터를 수신할 수 있다(S406).The application program M_APP1 may receive information related to objects or images from the first server 300 (S406).

상기 정보 데이터는 제1서버(300)에 의해 분석된 결과에 따라 식별된 사물에 관한 각종 데이터를 포함할 수 있다. 예컨대, 상기 정보 데이터는 사물의 명칭, 상기 사물에 대한 상세한 설명, 상기 사물의 위치 정보, 및/또는 상기 사물에 관련된 이미지와 다른 이미지 등을 포함할 수 있으며, 상기 명칭, 상기 상세한 설명, 및 상기 위치 정보는 사운드, 텍스트, 및/또는 이미지 형태일 수 있다.The information data may include various data related to the identified object according to the result analyzed by the first server 300. For example, the information data may include a name of an object, a detailed description of the object, location information of the object, and / or an image different from the image related to the object, and the name, the detailed description, The location information may be in the form of sound, text, and / or images.

실시 예에 따라, 애플리케이션 프로그램(M_APP1)이 커머스 플랫폼(commerce platform)과 연동가능한 경우, 제1서버(300)는 이미지와 사물의 태그 정보(예컨대, RFID(radio frequency identification) 등)를 이용하여 상기 사물을 식별할 수 있고, 정보 데이터는 상기 사물의 판매 정보(예컨대, 가격, 재고 수량 등)를 더 포함할 수 있다.According to the embodiment, when the application program M_APP1 can be interfaced with the commerce platform, the first server 300 can use the image information and the tag information of the object (e.g., radio frequency identification (RFID) And the information data may further include sales information (e.g., price, stock quantity, etc.) of the object.

애플리케이션 프로그램(M_APP1)은 수신된 정보 데이터를 사용자에 의해 선택된 언어에 상응하는 음성으로 출력할 수 있도록 사운드 출력부(148 또는 240)의 작동을 제어할 수 있다(S408).The application program M_APP1 may control the operation of the sound output unit 148 or 240 so that the received information data may be output as a voice corresponding to the language selected by the user (S408).

사용자는, 애플리케이션 프로그램(M_APP1)을 이용하여, 복수의 언어들(예컨대, 한국어, 영어, 중국어, 또는 일본어) 중에서 어느 하나의 언어(예컨대, 한국어 또는 영어)를 선택할 수 있고, 애플리케이션 프로그램(M_APP1)은 정보 데이터를 선택된 언어에 상응하는 음성으로 출력할 수 있도록 사운드 출력부(148 또는 240)의 작동을 제어할 수 있다.The user can select any one of a plurality of languages (e.g., Korean, English, Chinese, or Japanese) (e.g., Korean or English) using the application program M_APP1, Can control the operation of the sound output unit 148 or 240 so that the information data can be outputted as a voice corresponding to the selected language.

예컨대, 맹인 또는 어린이가 스마트 기기(100-1 또는 100-2)를 착용하고 있을 때, 휴대용 단말기(200) 및/또는 스마트 기기(100-1 또는 100-2)는 캡쳐된 사물에 대한 정보를 음성으로 출력할 수 있다. 따라서, 캡쳐된 사물에 대한 정보가 선택된 언어로 출력될 수 있으므로, 상기 맹인 또는 상기 어린이는 상기 사물에 대한 정확한 정보를 얻을 수 있다.For example, when the blind or the child is wearing the smart device 100-1 or 100-2, the portable terminal 200 and / or the smart device 100-1 or 100-2 can acquire information about the captured object It is possible to output by voice. Thus, information about the captured object can be output in the selected language, so that the blind or the child can obtain accurate information about the object.

정보 데이터가 텍스트 형태인 경우, 애플리케이션 프로그램(M_APP1)은 텍스트 형태의 데이터를 사운드 형태의 데이터로 변환하여 음성으로 출력할 수 있도록 사운드 출력부(148 또는 240)의 작동을 제어할 수 있다.When the information data is in the form of a text, the application program M_APP1 can control the operation of the sound output unit 148 or 240 so as to convert the data in the form of text into data in the form of sound and output it as a voice.

상기 정보 데이터는 휴대용 단말기(200)의 사운드 출력부(240)를 통해 스피커 또는 이어폰 출력 단자로 출력될 수 있다.The information data may be output to the speaker or earphone output terminal through the sound output unit 240 of the portable terminal 200.

상술한 바와 같이, 애플리케이션 프로그램(M_APP1)은 수신된 정보 데이터를, 휴대용 단말기(200)의 디스플레이(250)를 통해 디스플레이(S410의 Case1) 및/또는 스마트 기기(100)로 전송할 수 있다(S410의 Case2).As described above, the application program M_APP1 may transmit the received information data to the display (Case 1 of S410) and / or the smart device 100 via the display 250 of the portable terminal 200 (S410 Case 2).

스마트 기기(100-1 또는 100-2)는 수신된 정보 데이터를, 스마트 기기(100-1 또는 100-2)의 사운드 출력부(148)를 통해 선택된 언어에 상응하는 음성으로 출력 및/또는 스마트 기기(100-1 또는 100-2)의 디스플레이(160-1 또는 160-2)를 통해 디스플레이할 수 있다.The smart device 100-1 or 100-2 outputs the received information data as a voice corresponding to the selected language through the sound output unit 148 of the smart device 100-1 or 100-2 and / Or through the display 160-1 or 160-2 of the device 100-1 or 100-2.

도 5는 본 발명의 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 플로우차트이다. 도 1부터 도 3, 및 도 5를 참조하면, 휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)은 스마트 기기(100-1 또는 100-2)의 카메라 (120-1 또는 120-1)에 의해 촬영된 사물과의 거리 정보를 포함하는 이미지와, 스마트 기기(100-1 또는 100-2)의 지자기 센서(150)에 의해 생성되는 방위 정보를 함께 수신할 수 있다(S502).5 is a flowchart for explaining an image processing method according to another embodiment of the present invention. 1 to 3 and 5, the application program M_APP1 installed in the portable terminal 200 is managed by the camera 120-1 or 120-1 of the smart device 100-1 or 100-2 The image including the distance information to the photographed object and the azimuth information generated by the geomagnetic sensor 150 of the smart device 100-1 or 100-2 can be received together (S502).

실시 예에 따라, 애플리케이션 프로그램(M_APP1)은 스마트 기기(100-1 또는 100-2)에서 캡쳐될 사물의 최대 거리를 설정하기 위한 거리 정보(MAX_D)를 스마트 기기(100-1 또는 100-2)로 전송할 수 있다(S500).The application program M_APP1 sends the distance information MAX_D to the smart device 100-1 or 100-2 to set the maximum distance of the object to be captured in the smart device 100-1 or 100-2, (S500).

이 경우, 도 4를 참조하여 설명한 바와 같이 거리 정보(MAX_D)는 자동 또는 수동으로 설정될 수 있다. 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-2)는 설정된 거리 정보(MAX_D)에 따라 캡쳐하고자 하는 사물이 최대 거리 이내에 위치할 경우에만 상기 사물을 캡쳐하여 이미지를 생성할 수 있다.In this case, as described with reference to Fig. 4, the distance information MAX_D can be set automatically or manually. The camera 120-1 or 120-2 of the smart device 100-1 or 120-2 captures the object only when the object to be captured is within the maximum distance according to the set distance information MAX_D, Can be generated.

애플리케이션 프로그램(M_APP1)은 휴대용 단말기(200)의 GPS 수신 모듈(260)에 의해 생성된 휴대용 단말기(200)의 위치 정보를 수신된 이미지와 방위 정보와 함께 제1서버(300)로 전송할 수 있다(S504).The application program M_APP1 may transmit the location information of the portable terminal 200 generated by the GPS receiving module 260 of the portable terminal 200 to the first server 300 together with the received image and the orientation information S504).

애플리케이션 프로그램(M_APP1)은 제1서버(300)로부터 사물(예컨대, 개) 또는 이미지(예컨대, 개에 대한 이미지)에 관련된 정보 데이터를 수신할 수 있다 (S506).The application program M_APP1 may receive information data related to objects (e.g., dogs) or images (e.g., images for dogs) from the first server 300 (S506).

제1서버(300)는 상술한 적어도 하나의 이미지 인식 알고리즘을 이용하여 이미지를 분석하고, 분석의 결과에 따라 사물을 식별할 수 있다. 이때, 제1서버(300)는 수신한 방위 정보와 휴대용 단말기(200)의 위치 정보를 더 활용하여 상기 사물을 식별할 수 있다.The first server 300 may analyze the image using the at least one image recognition algorithm described above, and may identify the object based on the result of the analysis. At this time, the first server 300 can further identify the object by utilizing the received orientation information and the location information of the portable terminal 200. [

예컨대, 사물이 버스 정류장일 때, 제1서버(300)는 상기 버스 정류장의 이미지를 분석하고, 분석의 결과에 따라 버스 정류장을 식별하고, 방위 정보, 위치 정보, 및 상기 이미지에 포함된 캡쳐된 사물과의 거리 정보를 분석하고 분석의 결과에 따라 상기 버스 정류장을 정확하게 식별할 수 있다.For example, when the object is a bus stop, the first server 300 analyzes the image of the bus stop, identifies the bus stop according to the result of the analysis, and stores the orientation information, the position information, The distance information to the object can be analyzed and the bus stop can be accurately identified according to the result of the analysis.

애플리케이션 프로그램(M_APP1)은 수신된 정보 데이터, 상기 거리 정보, 및 상기 방위 정보가 사운드 출력부(240)를 통해 선택된 언어에 상응하는 음성으로 출력되도록 사운드 출력부(240)를 제어할 수 있다(S508).The application program M_APP1 may control the sound output unit 240 such that the received information data, the distance information, and the azimuth information are outputted as sounds corresponding to the selected language through the sound output unit 240 (S508 ).

실시 예에 따라, 애플리케이션 프로그램(M_APP1)은 상기 정보 데이터, 상기 거리 정보, 및 상기 방위 정보를, 휴대용 단말기(200)의 디스플레이(250)를 통해 디스플레이(S510의 Case1) 및/또는 스마트 기기(100)로 전송할 수 있다(S510의 Case2). 스마트 기기(100-1 또는 100-2)는 상기 정보 데이터, 상기 거리 정보, 및 상기 방위 정보를, 스마트 기기(100-1 또는 100-2)의 사운드 출력부(148)를 통해 음성으로 출력하거나 디스플레이(160)를 통해 디스플레이할 수 있다.According to the embodiment, the application program M_APP1 displays the information data, the distance information, and the orientation information through the display 250 of the portable terminal 200 (Case 1 of S510) and / or the smart device 100 (Case 2 in S510). The smart device 100-1 or 100-2 outputs the information data, the distance information, and the azimuth information as a voice through the sound output unit 148 of the smart device 100-1 or 100-2 And can be displayed through the display 160. Fig.

다른 실시 예에 따라, 맹인이 스마트 기기(100-1 또는 100-2)를 착용하고 있을 때, 상기 사물이 장애물로 식별되는 경우, 상기 사물과의 거리 정보를 이용하여 상기 맹인과 상기 사물의 거리가 기준 거리 이내일 경우, 스마트 기기(100-1 또는 100-2) 및/또는 휴대용 단말기(200)의 진동 모터(미도시)를 작동시켜 스마트 기기 (100-1 또는 100-2) 및/또는 휴대용 단말기(200)를 진동시킴으로써 위험을 알릴 수 있다.According to another embodiment, when the blind person is wearing the smart device 100-1 or 100-2, if the object is identified as an obstacle, the distance between the blind person and the object (Not shown) of the smart device 100-1 or 100-2 and / or the mobile terminal 200 by operating the vibration motor (not shown) of the smart device 100-1 or 100-2 and / The risk can be informed by vibrating the portable terminal 200.

도 6과 도 7은 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 플로우차트이다. 도 6과 도 7을 참조하면, 도 6은 도 4에 대응될 수 있고, 도 7은 도 5에 대응될 수 있다. 애플리케이션 프로그램(W_APP1)이 수신된 정보 데이터(도 7의 경우 수신된 정보 데이터, 거리 정보, 및 방위 정보)를 음성으로 출력하는 과정을 제외하고 서로 동일하거나 유사할 수 있다.6 and 7 are flowcharts for explaining an image processing method according to another embodiment of the present invention. 6 and 7, FIG. 6 may correspond to FIG. 4, and FIG. 7 may correspond to FIG. The application program W_APP1 may be the same or similar to each other except for the process of outputting the received information data (information data, distance information, and azimuth information received in the case of FIG. 7) by voice.

도 6과 도 7을 참조하면, 정보 데이터는 사운드 형태를 포함하지 않을 수 있다.Referring to FIGS. 6 and 7, the information data may not include a sound form.

예컨대, 어린이나 치매 노인의 실종 신고가 접수될 때, 경찰관 등이 스마트 기기(100-1 또는 100-2)를 착용하고, 사람을 촬영(또는 캡쳐)하면, 제1서버(300)로부터 상기 어린이나 상기 노인을 식별하고 실종 신고되었는지에 관한 정보를 수신함으로써 실종 신고된 어린이나 치매 노인을 찾는 데 유용할 수 있다.For example, when a report of disappearance of a child or a demented elderly person is received, when a police officer or the like wears the smart device 100-1 or 100-2 and shoots (or captures) a person, Or by finding information about whether or not the elderly person has been reported to have been reported, thereby helping to find a child or a demented elderly who has been reported as missing.

도 8의 (a)는 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 이미지와 사물들의 예시를 개략적으로 도시한 것이고, 도 8의 (b)는 도 8의 (a)의 이미지 처리 방법에 따라 제1서버에서 이미지에 포함된 사물이 추출되는 과정을 설명하기 위한 플로우차트이다.8 (a) schematically shows an example of an image and objects for explaining an image processing method according to another embodiment of the present invention, and Fig. 8 (b) FIG. 2 is a flowchart illustrating a process of extracting objects included in an image from a first server according to a processing method; FIG.

도 1부터 도 3, 도 8의 (a), 및 도 8의 (b)를 참조하면, 제1서버(300)는 휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)으로부터 추출 키워드(예컨대, 강아지)를 수신하고, 추출 키워드를 데이터베이스(400)에 등록할 수 있다 (S800). 휴대용 단말기(200)의 사용자는 상기 추출 키워드를 애플리케이션 프로그램(M_APP1)에 입력할 수 있다.1 to 3, 8A and 8B, the first server 300 extracts an extraction keyword (for example, a puppy name) from an application program M_APP1 installed in the portable terminal 200, ), And can register the extracted keyword in the database 400 (S800). The user of the portable terminal 200 can input the extracted keyword into the application program M_APP1.

제1서버(300)는 애플리케이션 프로그램(M_APP1)으로부터 이미지(IMG_1)를 수신하고, 수신된 이미지(IMG_1)를 데이터베이스(400)에 저장할 수 있다(S820). 이미지(IMG_1)는 스마트 기기(100-1 또는 100-2)의 카메라 (120-1 또는 120-2)로부터 촬영된 이미지일 수 있다. 도 8의 (a)에 예시적으로 도시된 바와 같이, 이미지(IMG_1)는 사물들(예컨대, 표지판, 자동차, 강아지, 버스 정류장, 및 나무)을 포함할 수 있으나 이미지(IMG_1)에 포함되는 사물들의 종류와 개수는 다양할 수 있다.The first server 300 may receive the image IMG_1 from the application program M_APP1 and store the received image IMG_1 in the database 400 in operation S820. The image IMG_1 may be an image photographed from the camera 120-1 or 120-2 of the smart device 100-1 or 100-2. 8A, the image IMG_1 may include objects (e.g., signs, cars, puppies, bus stops, and trees), but may include objects included in the image IMG_1 The types and the number of types can vary.

제1서버(300)는, 애플리케이션 프로그램(M_APP1)으로부터 전송된 추출 키워드(예컨대, 강아지)를 이용하여, 이미지(IMG_1)에 포함된 사물들(예컨대, 표지판, 자동차, 강아지, 버스 정류장, 및 나무)로부터 상기 추출 키워드(예컨대, 강아지)에 상응하는 사물(예컨대, 강아지)을 추출할 수 있다(S840). 즉, 이미지(IMG_1)에 포함된 사물들(예컨대, 표지판, 자동차, 강아지, 버스 정류장, 및 나무) 중에서 상기 추출 키워드에 해당하는 사물(예컨대, 강아지)만이 추출되고 나머지 사물들은 추출되지 않을 수 있다.The first server 300 uses the extracted keyword (e.g., a dog) transmitted from the application program M_APP1 to search for objects (e.g., signs, cars, dogs, bus stops, (E.g., a dog) corresponding to the extracted keyword (e.g., a dog) from the extracted keyword (S840). That is, only objects (for example, dogs) corresponding to the extracted keyword may be extracted from the objects included in the image IMG_1 (for example, signs, cars, dogs, bus stops, and trees) .

제1서버(300)는 추출된 사물(예컨대, 강아지)에 대한 정보를 생성(또는 획득)하고, 생성된 정보(예컨대, 이름)를 애플리케이션 프로그램(M_APP1)으로 전송할 수 있다 (S860). 상기 생성된 정보는 도 11을 참조하여 설명될 것이다.The first server 300 may generate (or acquire) information about the extracted object (e.g., a dog) and may transmit the generated information (e.g., name) to the application program M_APP1 (S860). The generated information will be described with reference to FIG.

도 9의 (a)는 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 이미지와 사물들의 예시를 개략적으로 도시한 것이고, 도 9의 (b)는 도 9의 (a)의 이미지 처리 방법에 따라 서버에서 사물이 추출되는 과정을 설명하기 위한 플로우차트이다.9 (a) schematically shows an example of an image and objects for explaining an image processing method according to another embodiment of the present invention, and Fig. 9 (b) And a process of extracting objects from the server according to a processing method.

도 1부터 도 3, 도 9의 (a), 및 도 9의 (b)를 참조하면, 제1서버(300)는 휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)으로부터 추출 키워드(예컨대, 장갑+가죽)를 수신하고, 추출 키워드를 데이터베이스(400)에 등록할 수 있다(S900).1 to 3, 9A and 9B, the first server 300 extracts an extraction keyword (for example, a glove (e.g., a glove, a glove, etc.) from an application program M_APP1 installed in the portable terminal 200, + Leather), and the extraction keyword can be registered in the database 400 (S900).

제1서버(300)는 애플리케이션 프로그램(M_APP1)으로부터 이미지(IMG_2)를 수신하고, 수신된 이미지(IMG_2)를 데이터베이스(400)에 저장할 수 있다(S920). 이미지(IMG_2)는 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-2)에 의해 촬영된 이미지일 수 있다. 도 9의 (a)의 이미지(IMG_2)는 사물들(예컨대, 가죽 재질의 장갑(예컨대, 가죽장갑), 면 재질의 장갑(예컨대, 면장갑), 고무 재질의 장갑(예컨대, 고무장갑), 및 털 재질의 장갑(예컨대, 털장갑))을 포함하고 있다.The first server 300 may receive the image IMG_2 from the application program M_APP1 and store the received image IMG_2 in the database 400 at step S920. The image IMG_2 may be an image photographed by the camera 120-1 or 120-2 of the smart device 100-1 or 100-2. The image IMG_2 in FIG. 9 (a) can be used to represent objects (e.g., leather gloves (e.g., leather gloves), cotton gloves (e.g. cotton gloves), rubber gloves And gloves made of fur (e.g., fur gloves).

데이터베이스(400)를 액세스할 수 있는 제1서버(300)는, 추출 키워드(예컨대, 장갑+가죽)에 따라, 이미지(IMG_2)로부터 사물들(예컨대, 가죽장갑, 면장갑, 고무장갑, 및 털장갑)을 추출할 수 있다(S940).The first server 300 capable of accessing the database 400 is able to access objects (e.g., leather gloves, cotton gloves, rubber gloves, and fur gloves) from the image IMG_2, Can be extracted (S940).

이미지(IMG_2)에 포함된 사물들(예컨대, 가죽장갑, 면장갑, 고무장갑, 및 털장갑) 중에서 추출 키워드에 해당하는 사물이 추출될 때, 상기 사물들의 종류는 장갑으로서 동일하나, 상기 사물들 각각의 재질이 서로 다르므로, 제1서버(300)는 상기 추출 키워드에 해당하는 가죽 재질의 장갑만을 추출할 수 있다.When objects corresponding to extracted keywords are extracted from objects included in the image IMG_2 (e.g., leather gloves, cotton gloves, rubber gloves, and fur gloves), the types of objects are the same as gloves, The first server 300 can extract only gloves of leather corresponding to the extracted keywords.

제1서버(300)는 추출된 사물의 재질을 포함하는(예컨대, 가죽 재질의 장갑) 정보를 생성(또는 획득)하고, 생성된 정보를 애플리케이션 프로그램(M_APP1)으로 전송할 수 있다(S960).The first server 300 may generate (or acquire) information including a material of the extracted object (e.g., leather glove) and transmit the generated information to the application program M_APP1 (S960).

도 10의 (a)는 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 이미지와 사물들의 예시를 개략적으로 도시한 것이고, 도 10의 (b)는 도 10의 (a)의 이미지 처리 방법에 따라 서버에서 사물이 추출되는 과정을 설명하기 위한 플로우차트이다.10 (a) schematically shows an example of an image and objects for explaining an image processing method according to another embodiment of the present invention, and FIG. 10 (b) And a process of extracting objects from the server according to a processing method.

도 1부터 도 3, 도 10의 (a), 및 도 10의 (b)를 참조하면, 제1서버(300)는 휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)으로부터 추출 키워드(예컨대, 자동차+흰색)를 수신하고, 수신된 추출 키워드를 데이터베이스(400)에 등록할 수 있다(S1000).1 to 3, 10A and 10B, the first server 300 extracts an extracted keyword (for example, an automobile) from an application program M_APP1 installed in the portable terminal 200, + White), and registers the received extracted keyword in the database 400 (S1000).

제1서버(300)는 애플리케이션 프로그램(M_APP1)으로부터 이미지(IMG_3)를 수신하고, 수신된 이미지(IMG_3)를 데이터베이스(400)에 저장할 수 있다(S820). 이미지(IMG_3)는 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-2)에 의해 생성될 수 있다. 도 10의 (a)에 도시된 이미지(IMG_3)는 사물들(예컨대, 흰색 자동차, 빨간색 자동차, 검정색 자동차, 및 회색 자동차)을 포함하고 있다.The first server 300 may receive the image IMG_3 from the application program M_APP1 and store the received image IMG_3 in the database 400 in operation S820. The image IMG_3 may be generated by the camera 120-1 or 120-2 of the smart device 100-1 or 100-2. The image IMG_3 shown in FIG. 10A includes objects (for example, a white car, a red car, a black car, and a gray car).

제1서버(300)는 데이터베이스(400)에 등록된 추출 키워드에 따라 데이터베이스(400)에 저장된 이미지(IMG_3)로부터 특정 사물을 추출할 수 있다(S840). 이미지 (IMG_3)에 포함된 사물들(예컨대, 흰색 자동차, 빨간색 자동차, 검정색 자동차, 및 회색 자동차) 중에서 추출 키워드(예컨대, 자동차+흰색)에 해당하는 사물(예컨대, 흰색 자동차)이 추출될 때, 상기 사물들의 종류는 자동차들로 동일하나, 상기 사물들 각각의 색채가 서로 다르므로, 제1서버(300)는 상기 추출 키워드(예컨대, 자동차+흰색)에 해당하는 흰색 자동차만을 추출할 수 있다.The first server 300 may extract a specific object from the image IMG_3 stored in the database 400 according to the extracted keywords registered in the database 400 in operation S840. When an object (e.g., a white car) corresponding to an extracted keyword (e.g., car + white) is extracted from objects (e.g., white car, red car, black car, and gray car) included in the image IMG_3, Since the types of objects are the same as those of automobiles, but the colors of the objects are different from each other, the first server 300 can extract only white cars corresponding to the extracted keywords (e.g., car + white).

제1서버(300)는 추출된 사물(예컨대, 흰색 자동차)에 대한 정보를 생성(또는 획득)하고, 생성된 정보를 애플리케이션 프로그램(M_APP1)으로 전송할 수 있다 (S1060).The first server 300 may generate (or acquire) information about the extracted object (e.g., a white automobile), and may transmit the generated information to the application program M_APP1 (S1060).

도 11은 도 8부터 도 10까지의 이미지 처리 방법에 따른 데이터 흐름도이다.FIG. 11 is a data flow chart according to the image processing method of FIGS. 8 to 10. FIG.

도 1부터 도 3, 및 도 8부터 도 11을 참조하면, 사용자는 휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)을 이용하여 추출 키워드를 설정할 수 있다(SET_KEY; S1100).Referring to FIGS. 1 to 3 and FIGS. 8 to 11, a user can set an extraction keyword using an application program M_APP1 installed in the portable terminal 200 (SET_KEY; S1100).

사용자는 애플리케이션 프로그램(M_APP1)으로 추출 키워드를 입력 수단(예컨대, 터치 패드 등)을 이용하여 직접 입력하거나, 애플리케이션 프로그램(M_APP1)에 의해 미리 설정된 복수의 키워드들 중에서 적어도 어느 하나를 선택함으로써 입력할 수 있다. 예컨대, 애플리케이션 프로그램(M_APP1)이 음성 인식 기능을 수행할 수 있을 때, 사용자는 음성으로 추출 키워드를 애플리케이션 프로그램(M_APP1)에 입력할 수 있다.The user can directly input an extraction keyword into an application program M_APP1 using an input means (e.g., a touch pad or the like), or input at least one of a plurality of keywords preset by the application program M_APP1 have. For example, when the application program M_APP1 can perform the speech recognition function, the user can input the extraction keyword into the application program M_APP1 by voice.

예컨대, 추출 키워드는 도 8에서는 "강아지", 도 9에서는 "장갑과 가죽", 그리고 도 10에서는 "자동차와 흰색"일 수 있다.For example, the extracted keywords may be "puppies" in FIG. 8, "gloves and leather" in FIG. 9, and "cars and white" in FIG.

애플리케이션 프로그램(M_APP1)은 사용자에 의해 설정된 추출 키워드를 제1서버(300)로 전송할 수 있다(TR_KEY; S1110). 제1서버(300)는 수신된 추출 키워드를 등록할 수 있다(R_KEY; S1120). 여기서, 등록은 제1서버(300)의 저장 장치 또는 제1서버(300)에 의해 액세스 가능한 데이터베이스(400)에 상기 추출 키워드를 저장하는 것을 의미할 수 있다.The application program M_APP1 may transmit the extracted keywords set by the user to the first server 300 (TR_KEY; S1110). The first server 300 may register the received extracted keyword (R_KEY; S1120). Here, the registration may mean storing the extracted keyword in the database 400 accessible by the storage device of the first server 300 or the first server 300. [

사용자는 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-1)를 이용하여 해당하는 이미지(IMG_1, IMG_2, 또는 IMG_3)를 생성할 수 있다(GEN_IMG; S1130).The user can generate a corresponding image IMG_1, IMG_2, or IMG_3 using the camera 120-1 or 120-1 of the smart device 100-1 or 100-2 (GEN_IMG; S1130).

생성된 이미지(IMG_1, IMG_2, 또는 IMG_3)는 복수의 사물들(또는 복수의 사물들에 대한 이미지)을 포함할 수 있다. 예컨대 상기 복수의 사물들은, 도 8의 (a)의 경우에는 표지판, 자동차, 강아지, 버스 정류장, 및 나무이고, 도 9의 (a)의 경우에는 가죽 장갑, 면 장갑, 고무 장갑, 및 털 장갑이고, 도 10의 (a)의 경우에는 흰색 자동차, 빨간색 자동차, 검정색 자동차, 및 회색 자동차일 수 있다.The generated image IMG_1, IMG_2, or IMG_3 may include a plurality of objects (or images for a plurality of objects). For example, the plurality of objects are a signboard, a car, a dog, a bus stop, and a tree in the case of FIG. 8A, and leather gloves, cotton gloves, , And in the case of FIG. 10 (a), it may be a white car, a red car, a black car, and a gray car.

애플리케이션 프로그램(M_APP1)은 스마트 기기(100-1 또는 100-2)로부터 전송된 이미지(IMG_1, IMG_2, 또는 IMG_3)를 수신하고(TR_IMG; S1140), 수신된 이미지(IMG_1, IMG_2, 또는 IMG_3)를 제1서버(300)로 전송할 수 있다(TRR_IMG; S1150).The application program M_APP1 receives the image IMG_1, IMG_2, or IMG_3 transmitted from the smart device 100-1 or 100-2 (TR_IMG; S1140) and transmits the received image IMG_1, IMG_2, or IMG_3 To the first server 300 (TRR_IMG; S1150).

스마트 기기(100-1 또는 100-2)는 블루투스, NFC, 또는 Wi-Fi 등의 무선 통신 방식으로 이미지(IMG_1, IMG_2, 또는 IMG_3)를 애플리케이션 프로그램(M_APP1)으로 전송할 수 있고, 애플리케이션 프로그램(M_APP1)은 LTETM, W-CDMA, Wi-Fi, 무선 인터넷, 또는 이동 통신 등의 무선 통신 방식으로 이미지(IMG_1, IMG_2, 또는 IMG_3)를 제1서버(300)로 전송할 수 있다.The smart device 100-1 or 100-2 can transmit the image IMG_1, IMG_2 or IMG_3 to the application program M_APP1 in a wireless communication manner such as Bluetooth, NFC or Wi-Fi, and the application program M_APP1 May transmit the image IMG_1, IMG_2, or IMG_3 to the first server 300 through a wireless communication scheme such as LTE ™ , W-CDMA, Wi-Fi, wireless Internet, or mobile communication.

제1서버(300)는 수신된 이미지(IMG_1, IMG_2, 또는 IMG_3)에 포함된 복수의 사물들 중에서 등록된 추출 키워드에 해당하는 사물을 추출할 수 있다(EXT_OBJ; S1160). 제1서버(300)는 상술한 이미지 인식 알고리즘들 중에서 적어도 하나를 이용하여 이미지(IMG_1, IMG_2, 또는 IMG_3)에 포함된 복수의 사물들 각각의 특징점들을 추출하고, 추출된 특징점들과 데이터베이스(400)에 이미 등록된 각 사물의 특징점들과의 유사도를 계산하고, 계산의 결과에 따라 상기 복수의 사물들 각각을 식별할 수 있다. 제1서버(300)는 식별된 복수의 사물들 중에서 등록된 추출 키워드에 해당하는 사물을 추출할 수 있다.The first server 300 may extract an object corresponding to the extracted extracted keyword among a plurality of objects included in the received image IMG_1, IMG_2, or IMG_3 (EXT_OBJ; S1160). The first server 300 extracts feature points of each of a plurality of objects included in the image IMG_1, IMG_2, or IMG_3 using at least one of the image recognition algorithms described above, and extracts the extracted feature points from the database 400 The similarity degree of each of the plurality of objects can be identified according to the result of the calculation. The first server 300 can extract objects corresponding to the extracted extracted keywords from among the plurality of identified objects.

상술한 바와 같이, 도 8의 경우에는 "강아지"가 추출 대상 사물로서 추출될 수 있고, 도 9의 경우에는 "가죽 장갑"이 추출 대상 사물로서 추출될 수 있, 도 10의 경우에는 "흰색 자동차"가 추출 대상 사물로서 추출될 수 있다.9, the "leather glove" can be extracted as the object to be extracted. In the case of Fig. 10, "white car "Quot; can be extracted as the object to be extracted.

제1서버(300)는 추출된 사물(예컨대, 강아지, 가죽 장갑, 또는 희색 자동차)에 대한 정보를 생성하고(GEN_INFO; S1170), 생성된 정보를 애플리케이션 프로그램(M_APP1)으로 전송한다. 따라서, 애플리케이션 프로그램(M_APP1)은 제1서버(300)로부터 전송된 정보를 수신할 수 있다(TR_INFO; S1180).The first server 300 generates information (GEN_INFO; S1170) about the extracted object (for example, a dog, a leather glove, or a car) and transmits the generated information to the application program M_APP1. Accordingly, the application program M_APP1 may receive the information transmitted from the first server 300 (TR_INFO; S1180).

추출된 사물에 대한 정보는 사운드 형태의 정보, 이미지 형태의 정보, 또는 텍스트 형태의 정보를 포함할 수 있다. 상기 추출된 사물에 대한 정보는, 예를 들면, 명칭(이름), 재질, 색채, 위치, 패턴(무늬), 모양, 소리, 및/또는 상기 사물에 대한 관련 이미지 등을 포함할 수 있고, 상기 추출된 사물에 대한 정보는 상기 사물의 종류에 따라 상술한 예들 중에서 일부만을 포함하거나 상술한 예들 이외에 다른 정보를 더 포함할 수도 있다.The information about the extracted object may include information of a sound form, information of an image form, or information of a text form. The information on the extracted object may include, for example, a name, a material, a color, a position, a pattern, a shape, a sound, and / The information on the extracted object may include only some of the above-described examples depending on the type of the object, or may further include other information than the above-described examples.

상기 추출된 사물에 대한 정보는 제1서버(300)에서 생성되거나, 제1서버 (300)에 의해 액세스되는 데이터베이스(400)로부터 획득되거나, 제1서버(300)에 연속하여 작동하는 데이터베이스로부터 획득될 수 있다.The information about the extracted object may be acquired from the database 400 generated in the first server 300 or accessed by the first server 300 or acquired from the database operating continuously to the first server 300 .

애플리케이션 프로그램(M_APP1)은 추출된 사물에 대한 정보를 수신하고, 수신된 정보를 휴대용 단말기(200)의 사운드 출력부(240)를 통해 음성으로 출력하도록 사운드 출력부(240)를 제어하거나 수신된 정보를 디스플레이(250)를 통해 디스플레이될 수 있도록 디스플레이(250)를 제어할 수 있다.The application program M_APP1 receives the information about the extracted object and controls the sound output unit 240 to output the received information as a voice through the sound output unit 240 of the portable terminal 200, To control the display 250 so that the display 250 can be displayed.

실시 예에 따라, 애플리케이션 프로그램(M_APP1)은 수신된 정보를 스마트 기기(100-1 또는 100-2)로 전송할 수 있다(TRR_INFO; S1190). 스마트 기기(100-1 또는 100-2)는 애플리케이션 프로그램(M_APP1)으로부터 전송된 정보를 스마트 기기 (100-1 또는 100-2)의 사운드 출력부(148)를 통해 음성으로 출력하거나 디스플레이(160)를 통해 디스플레이할 수 있다.According to an embodiment, the application program M_APP1 may send the received information to the smart device 100-1 or 100-2 (TRR_INFO; S1190). The smart device 100-1 or 100-2 outputs the information transmitted from the application program M_APP1 as a voice through the sound output unit 148 of the smart device 100-1 or 100-2, Lt; / RTI >

도 12는 본 발명의 또 다른 실시 예에 따른 이미지 처리 방법을 설명하기 위한 이미지와 사물들의 예시를 개략적으로 도시한 것이고, 도 13부터 도 15는 도 12의 이미지 처리 방법의 실시 예들에 따른 데이터 흐름도이다.FIG. 12 schematically illustrates an example of an image and objects for explaining an image processing method according to another embodiment of the present invention, and FIGS. 13 to 15 illustrate a data flow diagram according to embodiments of the image processing method of FIG. to be.

도 1부터 도 3, 도 12, 및 도 13을 참조하면, 사용자는 휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)을 이용하여 부분 이미지 영역(IREG)을 설정할 수 있다(SET_IREG; S1300).1 to 3, 12, and 13, a user can set a partial image area IREG using an application program M_APP1 installed in the portable terminal 200 (SET_IREG; S1300).

부분 이미지 영역(IREG)은 이미지(IMG) 중에서 특정 영역에 포함된 사물만을 추출하기 위해 사용자에 의해 설정될 수 있다. 예컨대, 부분 이미지 영역(IREG)은 카메라(120-1 또는 120-2)에서 사용되는 9-분할 구도에 의해 구분된 9개의 부분들 중에서 일부가 사용자에 의해 설정되거나, 상기 사용자에 의해 특정 영역이 직접 설정될 수 있다. 도 12에 도시된 실시 예에서는, 전체 이미지(IMG)의 하단 부분이 부분 이미지 영역(IREG)으로서 사용자에 의해 설정될 수 있다.The partial image area IREG can be set by the user to extract only objects included in a specific area of the image (IMG). For example, the partial image area IREG may be set by a user, by a user, by a part of nine parts divided by a nine-division composition used in the camera 120-1 or 120-2, Can be set directly. In the embodiment shown in Fig. 12, the lower portion of the entire image IMG can be set by the user as the partial image area IREG.

애플리케이션 프로그램(M_APP1)은 전체 이미지(IMG) 중에서 설정된 부분 이미지 영역(IREG)에 대한 정보를 제1서버(300)로 전송하고(TR_IREG; S1310), 제1서버(300)는 수신된 부분 이미지 영역(IREG)에 대한 정보를 등록할 수 있다(R_IREG; S1320). 여기서, 등록이란 제1서버(300)의 저장 장치 또는 제1서버(300)에 의해 액세스되는 데이터베이스(400)에 부분 이미지 영역(IREG)에 대한 정보를 저장하는 것을 의미할 수 있다.The application program M_APP1 sends information about the partial image area IREG set in the entire image IMG to the first server 300 (TR_IREG; S1310), and the first server 300 transmits the received partial image area IREG (R_IREG) (S1320). Here, the registration may mean storing information about the partial image area IREG in the storage device of the first server 300 or the database 400 accessed by the first server 300. [

사용자는 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-2)를 이용하여 이미지(IMG)를 생성할 수 있다(GEN_IMG; S1330). 생성된 이미지(IMG)는 복수의 사물들을 포함할 수 있다. 도 12에서는 이미지(IMG)에 포함된 복수의 사물들의 예로서 자동차와 강아지가 도시되어 있다.The user can generate an image IMG using the camera 120-1 or 120-2 of the smart device 100-1 or 100-2 (GEN_IMG; S1330). The generated image (IMG) may include a plurality of objects. In Fig. 12, an example of a plurality of objects included in the image (IMG) is shown as a car and a dog.

애플리케이션 프로그램(M_APP1)은 스마트 기기(100-1 또는 100-2)로부터 이미지(IMG)를 수신하고(TR_IMG; S1340), 수신된 이미지(IMG)를 제1서버(300)로 전송할 수 있다(TRR_IMG; S1350). 제1서버(300)는 수신된 이미지(IMG)를 데이터베이스(400)에 저장할 수 있다.The application program M_APP1 may receive the image IMG from the smart device 100-1 or 100-2 (TR_IMG; S1340) and send the received image IMG to the first server 300 (TRR_IMG S1350). The first server 300 may store the received image (IMG) in the database 400.

제1서버(300)는 수신된 이미지(IMG) 중에서 부분 이미지 영역(IREG)에 포함되는 사물을 추출할 수 있다(EXT_IREG; S1360). 제1서버(300)는 상술한 이미지 인식 알고리즘들 중에서 적어도 하나를 이용하여 부분 이미지 영역(IREG)에 포함된 사물의 특징점들을 추출하고, 추출된 특징점들과 데이터베이스(400)에 사전에 등록된 사물들 각각의 특징점들과의 유사도를 계산하고, 계산의 결과에 따라 각 사물을 식별함으로써 원하는 사물을 추출할 수 있다.The first server 300 may extract an object included in the partial image area IREG from the received image IMG (EXT_IREG; S1360). The first server 300 extracts feature points of objects included in the partial image region IREG using at least one of the image recognition algorithms described above and outputs the extracted feature points to a database 400 The similarity of each feature point is calculated and the desired object can be extracted by identifying each object according to the result of the calculation.

예컨대, 도 12의 경우, 전체 이미지(IMG) 중에서 부분 이미지 영역(IREG)에 포함된 사물은 강아지이므로, 제1서버(300)에 의해 추출된 사물은 강아지일 수 있다. 실시 예에 따라, 부분 이미지 영역(IREG)에 복수 개의 사물들이 포함된 경우, 제1서버(300)는 부분 이미지 영역(IREG)으로부터 상기 복수 개의 사물들을 모두 추출할 수 있다.For example, in the case of FIG. 12, since the object included in the partial image region IREG among the whole images IMG is a puppy, the object extracted by the first server 300 may be a puppy. According to an embodiment, when a plurality of objects are included in the partial image area IREG, the first server 300 may extract all of the plurality of objects from the partial image area IREG.

제1서버(300)는 추출된 사물에 대한 정보를 생성하고(GEN_INFO; S1370), 생성된 정보를 애플리케이션 프로그램(M_APP1)으로 전송한다. 따라서, 애플리케이션 프로그램(M_APP1)은 제1서버(300)로부터 생성된 정보를 수신할 수 있다(TR_INFO; S1380).The first server 300 generates information about the extracted object (GEN_INFO; S1370), and transmits the generated information to the application program M_APP1. Accordingly, the application program M_APP1 may receive the information generated from the first server 300 (TR_INFO; S1380).

상기 사물에 대한 정보는 도 11을 참조하여 설명한 정보와 실질적으로 동일 또는 유사하므로 상기 정보에 대한 설명은 생략한다.The information on the object is substantially the same as or similar to the information described with reference to FIG. 11, so that the description of the information will be omitted.

애플리케이션 프로그램(M_APP1)을 포함하는 휴대용 단말기(200)는 수신된 정보를 사운드 출력부(240)를 통해 음성으로 출력하거나 디스플레이(250)를 통해 디스플레이할 수 있다.The portable terminal 200 including the application program M_APP1 can output the received information through the sound output unit 240 by voice or through the display 250. [

실시 예에 따라, 애플리케이션 프로그램(M_APP1)은 수신된 정보를 스마트 기기(100-1 또는 100-2)로 전송할 수 있다(TRR_INFO; S1390). 스마트 기기(100-1 또는 100-2)는 애플리케이션 프로그램(M_APP1)으로부터 수신된 정보를 사운드 출력부 (148)를 통해 음성으로 출력하거나 디스플레이(160)를 통해 디스플레이할 수 있다.According to an embodiment, the application program M_APP1 may send the received information to the smart device 100-1 or 100-2 (TRR_INFO; S1390). The smart device 100-1 or 100-2 can output the information received from the application program M_APP1 via the sound output unit 148 by voice or through the display 160. [

도 1부터 도 3, 도 12, 및 도 14를 참조하면, 사용자는 휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)을 이용하여 부분 이미지 영역(IREG)을 설정할 수 있다(SET_IREG; S1400). 부분 이미지 영역(IREG)에 관해서는 도 13을 참조하여 설명되었으므로 이에 대한 설명은 생략한다.1 to 3, 12, and 14, a user can set a partial image area IREG using an application program M_APP1 installed in the portable terminal 200 (SET_IREG; S1400). Since the partial image area IREG has been described with reference to FIG. 13, a description thereof will be omitted.

애플리케이션 프로그램(M_APP1)은 설정된 부분 이미지 영역(IREG) 정보를 스마트 기기(100-1 또는 100-2)로 전송할 수 있다(TRS_IREG; S1410).The application program M_APP1 may transmit the set partial image area (IREG) information to the smart device 100-1 or 100-2 (TRS_IREG; S1410).

사용자는 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-2)를 이용하여 이미지(IMG)를 생성할 수 있다(GEN_IMG; S1420). 생성된 이미지(IMG)는 복수의 사물들을 포함할 수 있다.The user can generate an image IMG using the camera 120-1 or 120-2 of the smart device 100-1 or 100-2 (GEN_IMG; S1420). The generated image (IMG) may include a plurality of objects.

스마트 기기(100-1 또는 100-2)는 생성된 이미지(IMG) 중에서 부분 이미지 영역(IREG)에 해당하는 부분 이미지를 애플리케이션 프로그램(M_APP1)으로 전송할 수 있다(TR_PIMG; S1430). 즉, 이미지(IMG) 중에서 부분 이미지 영역(IREG)에 해당하지 않는 영역이 휴대용 단말기(200)로 전송되지 않음으로써, 추후 제1서버(300)는 부분 이미지 영역(IREG)에 해당하는 부분 이미지에 포함되는 사물만을 추출할 수 있다. 따라서, 휴대용 단말기(200)로부터 제1서버(300)로 전송되는 데이터의 양의 감소하는 효과가 있다.The smart device 100-1 or 100-2 may transmit a partial image corresponding to the partial image area IREG among the generated images IMG to the application program M_APP1 (TR_PIMG; S1430). That is, an area of the image IMG that does not correspond to the partial image area IREG is not transmitted to the portable terminal 200, so that the first server 300 can later store the partial image corresponding to the partial image area IREG Only objects included can be extracted. Accordingly, the amount of data transmitted from the portable terminal 200 to the first server 300 is reduced.

애플리케이션 프로그램(M_APP1)은 스마트 기기(100-1 또는 100-2)로부터 수신한 부분 이미지를 제1서버(300)로 전송할 수 있다(TRR_PIMG; S1440).The application program M_APP1 may transmit the partial image received from the smart device 100-1 or 100-2 to the first server 300 (TRR_PIMG; S1440).

제1서버(300)는 수신된 부분 이미지에 포함된 사물만을 추출할 수 있다 (EXT_PIMG; S1450). 제1서버(300)는 상술한 이미지 인식 알고리즘들 중에서 적어도 하나를 이용하여 상기 부분 이미지에 포함된 각 사물의 특징점들을 추출하고, 추출된 각 사물의 특징점들과 데이터베이스(400)에 이미 등록된 각 사물의 특징점들과의 유사도를 계산하고, 계산의 결과에 따라 각 사물을 식별함으로써 부분 이미지 영역(IREG)에 포함된 각 사물을 추출할 수 있다.The first server 300 can extract only the objects included in the received partial image (EXT_PIMG; S1450). The first server 300 extracts the feature points of each object included in the partial image using at least one of the image recognition algorithms described above, It is possible to extract each object included in the partial image area (IREG) by calculating the similarity with the feature points of the object and identifying each object according to the result of the calculation.

실시 예에 따라, 부분 이미지 영역(IREG)에 복수 개의 사물들이 포함되는 경우, 제1서버(300)는 상기 복수 개의 사물들을 모두 추출할 수 있다.According to an embodiment, when a plurality of objects are included in the partial image area IREG, the first server 300 may extract all of the plurality of objects.

제1서버(300)는 추출된 적어도 하나의 사물에 대한 정보를 생성하고 (GEN_INFO; S1460), 생성된 정보를 애플리케이션 프로그램(M_APP1)으로 전송한다. 따라서, 애플리케이션 프로그램(M_APP1)은 제1서버(300)로부터 생성된 정보를 수신할 수 있다(TR_INFO; S1470).The first server 300 generates information about the extracted at least one object (GEN_INFO; S1460), and transmits the generated information to the application program M_APP1. Accordingly, the application program M_APP1 may receive the information generated from the first server 300 (TR_INFO; S1470).

상기 사물에 대한 정보는 도 11을 참조하여 설명되었으므로, 이에 대한 설명은 생략한다.The information on the object has been described with reference to FIG. 11, and a description thereof will be omitted.

실행되는 애플리케이션 프로그램(M_APP1)을 포함하는 휴대용 단말기(200)는 수신된 정보를 사운드 출력부(240)를 통해 음성으로 출력하거나 디스플레이(250)를 통해 디스플레이할 수 있다.The portable terminal 200 including the application program M_APP1 to be executed can output the received information through the sound output unit 240 by voice or through the display 250. [

실시 예에 따라, 애플리케이션 프로그램(M_APP1)은 수신된 정보를 스마트 기기(100-1 또는 100-2)로 전송할 수 있다(TRR_INFO; S1480). 스마트 기기(100-1 또는 100-2)는 애플리케이션 프로그램(M_APP1)으로부터 수신된 정보를 스마트 기기 (100-1 또는 100-2)의 사운드 출력부(148)를 통해 음성으로 출력하거나 디스플레이(160)를 통해 디스플레이할 수 있다.According to an embodiment, the application program M_APP1 may send the received information to the smart device 100-1 or 100-2 (TRR_INFO; S1480). The smart device 100-1 or 100-2 outputs the information received from the application program M_APP1 as a voice through the sound output unit 148 of the smart device 100-1 or 100-2, Lt; / RTI >

도 1부터 도 3, 도 12, 및 도 15를 참조하면, 사용자는 휴대용 단말기(200)에 설치된 애플리케이션 프로그램(M_APP1)을 이용하여 부분 이미지 영역(IREG)을 설정할 수 있다(SET_IREG; S1500). 부분 이미지 영역(IREG)은 도 12에 도시된 바와 같으므로 이에 대한 자세한 설명은 생략한다.1 to 3, 12, and 15, a user can set a partial image area IREG using an application program M_APP1 installed in the portable terminal 200 (SET_IREG; S1500). Since the partial image area IREG is as shown in FIG. 12, a detailed description thereof will be omitted.

사용자는 스마트 기기(100-1 또는 100-2)의 카메라(120-1 또는 120-2)를 이용하여 이미지(IMG)를 생성하고(GEN_IMG; S1510), 생성된 이미지(IMG)를 애플리케이션 프로그램(M_APP1)으로 전송할 수 있다(TR_IMG; S1520).The user generates an image IMG (GEN_IMG; S1510) using the camera 120-1 or 120-2 of the smart device 100-1 or 100-2 and transmits the generated image IMG to the application program M_APP1) (TR_IMG; S1520).

*애플리케이션 프로그램(M_APP1)은 스마트 기기(100-1 또는 100-2)로부터 수신한 이미지(IMG) 중에서 부분 이미지 영역(IREG)에 해당하는 부분 이미지를 제1서버(300)로 전송할 수 있다(TRRS_PIMG; S1530). 즉, 이미지(IMG) 중에서 부분 이미지 영역(IREG)에 해당하지 않는 영역이 제1서버(300)로 전송되지 않음으로써, 추후 제1서버(300)는 부분 이미지 영역(IREG)에 해당하는 상기 부분 이미지에 포함되는 사물만을 추출할 수 있다.The application program M_APP1 may transmit a partial image corresponding to the partial image area IREG from the image IMG received from the smart device 100-1 or 100-2 to the first server 300 (TRRS_PIMG S1530). That is, an area of the image IMG that does not correspond to the partial image area IREG is not transmitted to the first server 300, so that the first server 300 can later transmit the portion corresponding to the partial image area IREG, Only the objects included in the image can be extracted.

제1서버(300)는 수신된 부분 이미지에 포함되는 사물을 추출할 수 있다 (EXT_PIMG; S1540). 제1서버(300)는 상술한 영상 인식 알고리즘들 중에서 적어도 하나를 이용하여 상기 부분 이미지에 포함된 각 사물의 특징점들을 추출하고, 추출된 각 사물의 특징점들과 데이터베이스(400)에 미리 등록된 각 사물의 특징점들과의 유사도를 계산하고, 계산의 결과에 따라 상기 수신된 부분 이미지에 포함된 각 사물을 식별함으로써 상기 각 사물을 추출할 수 있다.The first server 300 may extract an object included in the received partial image (EXT_PIMG; S1540). The first server 300 extracts feature points of each object included in the partial image using at least one of the image recognition algorithms described above, It is possible to calculate the similarity with the feature points of the object and extract each object by identifying each object included in the received partial image according to the result of the calculation.

제1서버(300)는 추출된 사물에 대한 정보를 생성하고(GEN_INFO; S1550), 생성된 정보를 애플리케이션 프로그램(M_APP1)으로 전송할 수 있다. 따라서, 애플리케이션 프로그램(M_APP1)은 제1서버(300)로부터 생성된 정보를 수신할 수 있다 (TR_INFO; S1560). The first server 300 may generate information about the extracted object (GEN_INFO; S1550), and may transmit the generated information to the application program M_APP1. Accordingly, the application program M_APP1 may receive information generated from the first server 300 (TR_INFO; S1560).

상기 사물에 대한 정보는 도 11을 참조하여 설명한 바와 같으므로, 이에 대한 설명은 생략한다.The information on the object is as described with reference to FIG. 11, and a description thereof will be omitted.

실행되는 애플리케이션 프로그램(M_APP1)을 포함하는 휴대용 단말기(200)는 수신된 정보를 사운드 출력부(240)를 통해 음성으로 출력하거나 디스플레이(250)를 통해 디스플레이할 수 있다.The portable terminal 200 including the application program M_APP1 to be executed can output the received information through the sound output unit 240 by voice or through the display 250. [

실시 예에 따라, 애플리케이션 프로그램(M_APP1)은 수신된 정보를 스마트 기기(100-1 또는 100-2)로 전송할 수 있다(TRR_INFO; S1570). 스마트 기기(100-1 또는 100-2)는 애플리케이션 프로그램(M_APP1)으로부터 수신된 정보를 스마트 기기 (100-1 또는 100-2)의 사운드 출력부(148)를 통해 음성으로 출력하거나 디스플레이 (160)를 통해 디스플레이할 수 있다.According to an embodiment, the application program M_APP1 may send the received information to the smart device 100-1 or 100-2 (TRR_INFO; S1570). The smart device 100-1 or 100-2 outputs the information received from the application program M_APP1 as a voice through the sound output unit 148 of the smart device 100-1 or 100-2, Lt; / RTI >

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10 : 이미지 처리 시스템
100 : 스마트 기기
120 : 카메라
140 : 본체부
200 : 휴대용 단말기
300 : 제1서버
400 : 데이터베이스
500 : 제2서버10: Image processing system
100: Smart devices
120: camera
140:
200: portable terminal
300: first server
400: Database
500: second server

Claims (5)

서버와 통신하는 휴대용 단말기에 설치된 애플리케이션 프로그램을 이용한 이미지 처리 방법에 있어서,
상기 애플리케이션 프로그램을 이용하여 추출 키워드가 설정되면, 상기 애플리케이션 프로그램이 설정된 추출 키워드를 상기 서버로 전송하는 단계;
상기 휴대용 단말기의 사용자가 스마트 기기의 카메라에서 촬영될 수 있는 사물들 중에서 상기 사용자가 원하는 사물만을 촬영하기 위해 상기 사물과의 최대 거리를 설정하기 위한 거리 정보를 상기 애플리케이션 프로그램을 이용하여 설정하면, 상기 애플리케이션 프로그램이 상기 거리 정보를 상기 스마트 기기로 전송하는 단계;
상기 애플리케이션 프로그램이 상기 촬영될 수 있는 상기 사물들 중에서 상기 사용자가 촬영하고자 하는 상기 사물이 상기 거리 정보에 해당하는 상기 최대 거리 이내에 위치하는 경우에만 상기 스마트 기기의 상기 카메라에 의해 촬영되고 생성된 상기 사물의 이미지를 상기 스마트 기기로부터 수신하는 단계;
상기 애플리케이션 프로그램이 수신된 이미지를 상기 서버로 전송하는 단계; 및
상기 애플리케이션 프로그램이 상기 서버로부터 추출 정보를 수신하는 단계를 포함하고,
상기 추출 정보는,
상기 이미지에 포함된 복수의 사물들 중에서 상기 추출 키워드에 따라 상기 서버에 의해 추출된 사물에 대한 정보인 이미지 처리 방법.1. An image processing method using an application program installed in a portable terminal communicating with a server,
Transmitting an extracted keyword set by the application program to the server when the extracted keyword is set using the application program;
When the user of the portable terminal sets distance information for setting the maximum distance to the object to photograph only the object desired by the user from objects that can be photographed by the camera of the smart device using the application program, The application program sending the distance information to the smart device;
When the application program is located within the maximum distance corresponding to the distance information among the objects to be photographed by the user, the application program only displays the object photographed and generated by the camera of the smart device Receiving an image of the smart device from the smart device;
The application program transmitting the received image to the server; And
The application program receiving extraction information from the server,
The extraction information includes:
Wherein the information about the object extracted by the server according to the extracted keyword among a plurality of objects included in the image. 서버와 통신하는 휴대용 단말기에 설치된 애플리케이션 프로그램을 이용한 이미지 처리 방법에 있어서,
상기 애플리케이션 프로그램을 이용하여 부분 이미지 영역이 설정되면, 상기 애플리케이션 프로그램이 설정된 부분 이미지 영역 정보를 상기 서버로 전송하는 단계;
상기 휴대용 단말기의 사용자가 스마트 기기의 카메라에서 촬영될 수 있는 사물들 중에서 상기 사용자가 원하는 사물만을 촬영하기 위해 상기 사물과의 최대 거리를 설정하기 위한 거리 정보를 상기 애플리케이션 프로그램을 이용하여 설정하면, 상기 애플리케이션 프로그램이 상기 거리 정보를 상기 스마트 기기로 전송하는 단계;
상기 애플리케이션 프로그램이 상기 촬영될 수 있는 상기 사물들 중에서 상기 사용자가 촬영하고자 하는 상기 사물이 상기 거리 정보에 해당하는 상기 최대 거리 이내에 위치하는 경우에만 상기 스마트 기기의 상기 카메라에 의해 촬영되고 생성된 상기 사물의 이미지를 상기 스마트 기기로부터 수신하는 단계;
상기 애플리케이션 프로그램이 수신된 이미지를 상기 서버로 전송하는 단계; 및
상기 애플리케이션 프로그램이 상기 서버로부터 추출 정보를 수신하는 단계를 포함하고,
상기 추출 정보는,
상기 이미지 중에서 상기 부분 이미지 영역에 포함되고, 상기 서버에 의해 추출되는 사물의 정보인 이미지 처리 방법.1. An image processing method using an application program installed in a portable terminal communicating with a server,
When the partial image area is set using the application program, transmitting the partial image area information set by the application program to the server;
When the user of the portable terminal sets distance information for setting the maximum distance to the object to photograph only the object desired by the user from objects that can be photographed by the camera of the smart device using the application program, The application program sending the distance information to the smart device;
When the application program is located within the maximum distance corresponding to the distance information among the objects to be photographed by the user, the application program only displays the object photographed and generated by the camera of the smart device Receiving an image of the smart device from the smart device;
The application program transmitting the received image to the server; And
The application program receiving extraction information from the server,
The extraction information includes:
Wherein the image information is information of an object included in the partial image area of the image and extracted by the server. 제2항에 있어서, 상기 추출 정보는,
상기 사물의 명칭, 상기 사물의 재질, 상기 사물의 색채, 상기 사물의 패턴, 또는 상기 사물의 모양을 포함하는 이미지 처리 방법.The information processing apparatus according to claim 2,
A name of the object, a material of the object, a color of the object, a pattern of the object, or a shape of the object. 서버와 통신하는 휴대용 단말기에 설치된 애플리케이션 프로그램을 이용한 이미지 처리 방법에 있어서,
상기 애플리케이션 프로그램을 이용하여 부분 이미지 영역이 설정되면, 상기 애플리케이션 프로그램이 설정된 부분 이미지 영역 정보를 스마트 기기로 전송하는 단계;
상기 휴대용 단말기의 사용자가 상기 스마트 기기의 카메라에서 촬영될 수 있는 사물들 중에서 상기 사용자가 원하는 사물만을 촬영하기 위해 상기 사물과의 최대 거리를 설정하기 위한 거리 정보를 상기 애플리케이션 프로그램을 이용하여 설정하면, 상기 애플리케이션 프로그램이 상기 거리 정보를 상기 스마트 기기로 전송하는 단계;
상기 애플리케이션 프로그램이 상기 촬영될 수 있는 상기 사물들 중에서 상기 사용자가 촬영하고자 하는 상기 사물이 상기 거리 정보에 해당하는 상기 최대 거리 이내에 위치하는 경우에만 상기 스마트 기기의 상기 카메라에 의해 촬영되고 생성된 상기 사물의 이미지 중에서 상기 부분 이미지 영역에 해당하는 부분 이미지를 상기 스마트 기기로부터 수신하는 단계;
상기 애플리케이션 프로그램이 수신된 부분 이미지를 상기 서버로 전송하는 단계; 및
상기 애플리케이션 프로그램이 상기 서버로부터 추출 정보를 수신하는 단계를 포함하고,
상기 추출 정보는,
상기 부분 이미지에 포함되고, 상기 서버에 의해 추출되는 사물의 정보인 이미지 처리 방법.1. An image processing method using an application program installed in a portable terminal communicating with a server,
When the partial image area is set using the application program, transmitting the set partial image area information to the smart device by the application program;
When the user of the portable terminal sets distance information for setting the maximum distance to the object using the application program so as to photograph only the object desired by the user from objects that can be photographed by the camera of the smart device, The application program sending the distance information to the smart device;
When the application program is located within the maximum distance corresponding to the distance information among the objects to be photographed by the user, the application program only displays the object photographed and generated by the camera of the smart device Receiving, from the smart device, a partial image corresponding to the partial image area among the images of the partial image area;
Transmitting the partial image received by the application program to the server; And
The application program receiving extraction information from the server,
The extraction information includes:
Wherein the partial image is information of an object extracted by the server. 서버와 통신하는 휴대용 단말기에 설치된 애플리케이션 프로그램을 이용한 이미지 처리 방법에 있어서,
상기 애플리케이션 프로그램을 이용하여 부분 이미지 영역을 설정하는 단계;
상기 휴대용 단말기의 사용자가 스마트 기기의 카메라에서 촬영될 수 있는 사물들 중에서 상기 사용자가 원하는 사물만을 촬영하기 위해 상기 사물과의 최대 거리를 설정하기 위한 거리 정보를 상기 애플리케이션 프로그램을 이용하여 설정하면, 상기 애플리케이션 프로그램이 상기 거리 정보를 상기 스마트 기기로 전송하는 단계;
상기 애플리케이션 프로그램이 상기 촬영될 수 있는 상기 사물들 중에서 상기 사용자가 촬영하고자 하는 상기 사물이 상기 거리 정보에 해당하는 상기 최대 거리 이내에 위치하는 경우에만 상기 스마트 기기의 상기 카메라에 의해 촬영되고 생성된 상기 사물의 이미지를 상기 스마트 기기로부터 수신하는 단계;
상기 애플리케이션 프로그램이 수신된 이미지 중에서 상기 부분 이미지 영역에 해당하는 부분 이미지를 상기 서버로 전송하는 단계; 및
상기 애플리케이션 프로그램이 상기 서버로부터 추출 정보를 수신하는 단계를 포함하고,
상기 추출 정보는,
상기 부분 이미지에 포함되고, 상기 서버에 의해 추출되는 사물의 정보인 이미지 처리 방법.
1. An image processing method using an application program installed in a portable terminal communicating with a server,
Setting a partial image area using the application program;
When the user of the portable terminal sets distance information for setting the maximum distance to the object to photograph only the object desired by the user from objects that can be photographed by the camera of the smart device using the application program, The application program sending the distance information to the smart device;
When the application program is located within the maximum distance corresponding to the distance information among the objects to be photographed by the user, the application program only displays the object photographed and generated by the camera of the smart device Receiving an image of the smart device from the smart device;
Transmitting a partial image corresponding to the partial image area among the received images to the server; And
The application program receiving extraction information from the server,
The extraction information includes:
Wherein the partial image is information of an object extracted by the server.
KR1020160087608A 2016-07-11 2016-07-11 Method for processing image KR20160085742A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160087608A KR20160085742A (en) 2016-07-11 2016-07-11 Method for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160087608A KR20160085742A (en) 2016-07-11 2016-07-11 Method for processing image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140086557A Division KR20160006909A (en) 2014-07-10 2014-07-10 Method for processing image and storage medium storing the method

Publications (1)

Publication Number Publication Date
KR20160085742A true KR20160085742A (en) 2016-07-18

Family

ID=56679753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160087608A KR20160085742A (en) 2016-07-11 2016-07-11 Method for processing image

Country Status (1)

Country Link
KR (1) KR20160085742A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080020971A (en) 2006-09-01 2008-03-06 하만 베커 오토모티브 시스템즈 게엠베하 Method for recognition an object in an image and image recognition device
KR20110044294A (en) 2008-08-11 2011-04-28 구글 인코포레이티드 Object identification in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080020971A (en) 2006-09-01 2008-03-06 하만 베커 오토모티브 시스템즈 게엠베하 Method for recognition an object in an image and image recognition device
KR20110044294A (en) 2008-08-11 2011-04-28 구글 인코포레이티드 Object identification in images

Similar Documents

Publication Publication Date Title
US9451406B2 (en) Beacon methods and arrangements
US8891841B2 (en) Mobile dermatology collection and analysis system
US8862146B2 (en) Method, device and system for enhancing location information
CN113228064A (en) Distributed training for personalized machine learning models
US11429807B2 (en) Automated collection of machine learning training data
US9584980B2 (en) Methods and apparatus for position estimation
US10535145B2 (en) Context-based, partial edge intelligence facial and vocal characteristic recognition
US11604820B2 (en) Method for providing information related to goods on basis of priority and electronic device therefor
CN107995422B (en) Image shooting method and device, computer equipment and computer readable storage medium
WO2021258797A1 (en) Image information input method, electronic device, and computer readable storage medium
KR20190063277A (en) The Electronic Device Recognizing the Text in the Image
CN111815577A (en) Method, device, equipment and storage medium for processing safety helmet wearing detection model
US11681756B2 (en) Method and electronic device for quantifying user interest
CN110751659A (en) Image segmentation method and device, terminal and storage medium
US20210312179A1 (en) Electronic device for providing recognition result of external object by using recognition information about image, similar recognition information related to recognition information, and hierarchy information, and operating method therefor
CN105608189A (en) Picture classification method and device and electronic equipment
CN110019907B (en) Image retrieval method and device
CN112053360B (en) Image segmentation method, device, computer equipment and storage medium
KR20160006909A (en) Method for processing image and storage medium storing the method
CN105683959A (en) Information processing device, information processing method, and information processing system
KR20160085742A (en) Method for processing image
CN113468929A (en) Motion state identification method and device, electronic equipment and storage medium
WO2017176711A1 (en) Vehicle recognition system using vehicle characteristics
KR20120070888A (en) Method, electronic device and record medium for provoding information on wanted target
CN111178115A (en) Training method and system of object recognition network

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment