WO2015108243A1 - System and method for providing contents using object recognition, and application thereof - Google Patents
System and method for providing contents using object recognition, and application thereof Download PDFInfo
- Publication number
- WO2015108243A1 WO2015108243A1 PCT/KR2014/004018 KR2014004018W WO2015108243A1 WO 2015108243 A1 WO2015108243 A1 WO 2015108243A1 KR 2014004018 W KR2014004018 W KR 2014004018W WO 2015108243 A1 WO2015108243 A1 WO 2015108243A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- content
- server
- providing
- mobile terminal
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
Definitions
- the present invention relates to an object recognition technology, and in particular, when performing an object recognition operation based on a web, a content providing system using object recognition to monitor a network environment and to actively adjust a load required for data transmission and reception, and It is about a method.
- Object recognition technology is a technology that processes and analyzes an image to find out what object is in the image.
- Conventional object recognition technology has built a database of images and features of an object in a single device, and recognizes the target object in the currently input image using the information of the built database, but in this case, the types of objects that can be recognized are limited. Has the disadvantage of being.
- the mobile terminal needs to search for and acquire necessary information after accessing a server that builds and operates a database, the object recognition speed and performance are greatly affected by the load of the server and the network. That is, when there are many mobile terminals connected to the server or when the size of the requested content is large or when the network load is excessive, there is a disadvantage in that a smooth content providing operation cannot be performed.
- an object of the present invention is to provide a system and method for providing content using object recognition that can stably perform an object recognition operation by actively adjusting the size of data transmission and reception in consideration of load of a server and a network.
- a plurality of descriptors are generated for each image size, and the content is provided based on one of the plurality of descriptors, but the descriptor is based on the content provision result.
- a mobile terminal of varying types; And after resizing the content size in multiple stages, generating and storing a descriptor corresponding to each of the content source and the recycled content, and when the descriptor is transmitted from the mobile terminal, the content corresponding to the transmitted descriptor is stored.
- a content providing system using object recognition including a server for acquiring and providing.
- the server searches for the content corresponding to the transmitted descriptor, and if the content search is successful, provides the content and the server load information to the mobile terminal, but if the content search fails, providing only the server load information to the mobile terminal. It is characterized by.
- the mobile terminal When the mobile terminal receives the content and the server load information together from the server, the mobile terminal checks the server load information and the response time of the server, and then the threshold time is set in spite of the small server load. It is characterized in that it further includes a function for varying the descriptor type to be used in the content providing request only when larger.
- the mobile terminal when the mobile terminal receives the content and server load information together from the server, the mobile terminal checks the server load information and the response time of the server, and then the response time is low despite the small server load.
- the method may further include a function of varying a content streaming method only when it is larger than a set threshold.
- the mobile terminal when the mobile terminal receives only server load information from the server, the mobile terminal further includes a function of changing a descriptor type to be used for a content providing request based on the server load information, and then re-requesting to provide content. It is done.
- a second embodiment of the present invention after the mobile terminal acquires an image, generating a plurality of descriptors for each image size; Requesting, by the mobile terminal, the server to provide content through a descriptor corresponding to the original size of the image; After the server searches for the content corresponding to the descriptor, if the content search is successful, providing the successful content to the mobile terminal, and if the content search fails, providing server load information to the mobile terminal; And the mobile terminal receiving the content performs a content providing operation, and the mobile terminal receiving the server load information varies a descriptor type based on the server load information, and then re-requests to provide the content.
- a content providing method using object recognition After the mobile terminal acquires an image, generating a plurality of descriptors for each image size; Requesting, by the mobile terminal, the server to provide content through a descriptor corresponding to the original size of the image; After the server searches for the content corresponding to the descriptor, if the content search is successful, providing the successful
- the providing to the mobile terminal may be provided by mapping the server load information to the successful content when the content search is successful.
- the method may further include varying a descriptor type to be used in the content providing request based on the response time if the server provides the content and the server load is less than the preset value. It characterized in that it further comprises.
- the method if the server provides the content and the server load is less than the predetermined value, if the response time is greater than the predetermined value, based on the response time variable content streaming method to be used in the content providing request Characterized in that it further comprises the step.
- a third embodiment of the present invention after the mobile terminal acquires an image, generating a plurality of descriptors for each image size; Requesting the server to provide content through a descriptor corresponding to the original size of the image; And if the server fails to provide the content, changing a descriptor type to be used for the content providing request based on the load of the server, and then re-requesting the content providing.
- the method may further include varying a descriptor type to be used in the content providing request or changing a content streaming method based on the response time if the server provides the content but the response time is larger than a preset value. It is done.
- the fourth embodiment of the present invention after resizing the content size in multiple steps, generating and storing a descriptor corresponding to each of the content original and the recycled content ; Searching for content corresponding to the descriptor when the mobile terminal requests to provide content through the descriptor; And if the content search is successful, mapping the server load information to the searched successful content and providing the server load information to the mobile terminal. If the content search fails, providing only the server load information to the mobile terminal. To provide.
- the present invention enables the object recognition operation to be performed while considering the load of the server and the network, thereby providing a system of maximum performance.
- FIG. 1 is a diagram illustrating a content providing system using object recognition according to an embodiment of the present invention.
- FIG. 2 is a view for explaining an image and content sizing method according to an embodiment of the present invention.
- FIG. 3 is a view for explaining a database construction method of a content providing system using object recognition according to an embodiment of the present invention.
- FIG. 4 is a view illustrating an object recognition operation method of a content providing system using object recognition according to an embodiment of the present invention.
- FIG. 5 is a view illustrating an object recognition operation method of a content providing system using object recognition according to another embodiment of the present invention.
- FIG. 6 is a flowchart illustrating an object information providing method according to an embodiment of the present invention.
- FIGS. 7 to 10 are diagrams illustrating a method of providing object information according to an embodiment of the present invention.
- FIG. 11 is a block diagram of an object information providing apparatus according to an embodiment of the present invention.
- FIG. 1 is a diagram illustrating a content providing system using object recognition according to an embodiment of the present invention.
- the content providing system 100 of the present invention may include a content providing server 110, at least one mobile terminal 120, a database 130, and the like.
- the object recognition system 100 allows various operations such as image search, video playback, product purchase site access, navigation execution, etc. to be linked based on the image recognized by the mobile terminal 120.
- the terminal recognition image may be composed of a trademark, a logo, a movie poster, an album jacket, a photograph, and the like, and may enable the user to immediately inform and associate with the operation or information.
- the mobile terminal 120 provides an image recognized by the mobile terminal to the server 110, and the server 110 needs to exchange content corresponding to the mobile terminal 120.
- the present invention allows a descriptor having a relatively small amount of data to be exchanged.
- Descriptors represent feature points that are inherent in the image, which has features that enable efficient description and management of the image. In other words, if a descriptor is extracted from an image and made into a database, various contents can be managed and controlled only by the database composed of the descriptor.
- the server 110 may search and provide content corresponding to the image currently recognized by the mobile terminal 120 using the descriptor.
- the present invention allows the mobile terminal 120 to receive various contents corresponding to the image recognized by the server 110 through the descriptor, but the content size (depending on the load of the server 110 and the network 130) Or capacity) can be actively varied, thereby minimizing the effects of the server 110 and the network 130.
- the mobile terminal 120 of the present invention resizes the size (or capacity) of the image acquired by itself in various steps as shown in FIG. 2, and then generates and stores a descriptor corresponding to each content size. Do it. Then, the mobile terminal 120 receives the necessary content from the server 110 based on the descriptor corresponding to the original size of the image, and determines the load of the server 110 and the network 130 based on the content providing state. .
- the server 110 may also provide content of a reduced size.
- the mobile terminal 120 may be carried by a user, such as a smart phone or a tablet PC, and may be implemented as various communication devices capable of performing various video / audio call operations, image acquisition operations, and Internet connection operations.
- the mobile terminal 120 obtains an image required for object recognition by using a camera embedded therein, and resizes the size of the image in various steps. And using descriptor generation algorithms such as Scale Invariant Feature Transform (SIFT), Maximum Stable Extremal Regions (MSER), and Speeded Up Robust Feature (SURF) to generate descriptors for each of the original image and the recycled image. do.
- SIFT Scale Invariant Feature Transform
- MSER Maximum Stable Extremal Regions
- SURF Speeded Up Robust Feature
- the server 110 requests and receives the necessary content based on one of a plurality of descriptors, and the load of the server 110 and the network 130 is determined based on the content providing state, and accordingly, the content query is applied to the content query.
- the server 110 can also provide content of reduced size.
- the content provided by the server 110 may be composed of operation information including information on an object recognition operation and additional information required to perform the operation.
- the operation information may include information for displaying an image, playing a video, purchasing a product, and executing a navigation.
- the additional information may be configured to include URLs of nodes in which images are stored, URLs of merchandise sales sites for product purchases, and latitude and longitude of a map for navigation.
- each operation information and additional information may be variously expanded by an enterprise customer, a content manager, or a system development operator.
- the server 110 stores and manages various contents for supporting the object recognition operation.
- the content size provided to the mobile terminal 120 can be actively changed according to the network environment, and after the content size is resized in several steps at the time of content registration, the content source and the sized Create and store descriptors corresponding to each content.
- the server 110 of the present invention performs the content search and provision operation based on the descriptor transmitted from the mobile terminal 120, by providing additional load information when providing the content, the mobile terminal 120 loads its own Make sure you know how much it is right now.
- the database 130 stores, for each content, a plurality of content copies of which the content original is resized in various sizes in addition to the content original. In this case, a descriptor having different information is mapped to each of the content original and the plurality of content copies.
- FIG. 3 is a view for explaining a database construction method of a content providing system using object recognition according to an embodiment of the present invention.
- the server 110 resizes the corresponding content in various steps (S10).
- the recycling step can be adjusted according to the type and size of the content. For example, if the content size is large, the resizing step may be set to three levels, otherwise the resizing step may be set to two steps.
- the descriptor is mapped to each of the content original and the recycled content (S11).
- the descriptor may be automatically generated based on an image or a video included in the content, but if the descriptor is not automatically generated, the descriptor may be manually input by a content provider or a system administrator.
- a streaming method to be used for each network environment may be defined and stored in advance (S13). That is, the codec used for video streaming includes AVI (Audio Video Interleaved), ASF (Advanced Streaming Format), MPEG (Moving Picture Expert Group), MOV, RM, etc., and loads of the server 110 and the network 130. If small, a codec that supports a high-quality large capacity among them, and if the load of the server 110 and the network 130 is large, it is possible to use a codec that supports a low-quality low capacity.
- AVI Audio Video Interleaved
- ASF Advanced Streaming Format
- MPEG Moving Picture Expert Group
- MOV Moving Picture Expert Group
- FIG. 4 is a view illustrating an object recognition operation method of a content providing system using object recognition according to an embodiment of the present invention.
- the mobile terminal 120 acquires a terminal image using a camera embedded therein (S20)
- the mobile terminal resizes the size of the terminal image in several steps, and then corresponds to each size of the terminal image.
- the descriptor corresponding to the original size of the terminal image is named as a general descriptor, and the descriptor corresponding to each of the recycled images is named as an adaptive descriptor.
- the mobile terminal 120 transmits a general descriptor corresponding to the original size of the terminal image to the server 110 and requests the server 110 to provide content corresponding to the terminal image (S22).
- the server 110 searches the database 130 based on the general descriptor provided by the mobile terminal 120 to obtain content corresponding to the general descriptor (S23).
- the server 110 determines the current load (i.e., how much data is in the data reception queue) to generate load information, and then the mobile terminal together with the searched content. Provided to 120 (S25).
- the server 110 determines whether the content search is successful to pass a certain time (S24). If the content search is not successful to pass a certain time (S24), the server 110 to provide only its load information to the mobile terminal 120 (S26).
- the mobile terminal 120 succeeds in receiving the content and is provided with the content and the server load information, or fails to receive the content and receives only the server load information (S27 and S30).
- the mobile terminal 120 which has successfully received the content, checks the server load information and at the same time checks the time from the content providing request to receiving the content, that is, the response time, and although the server load is small, the response time is higher than the preset threshold. If large, it is determined that a lot of load is currently applied to the network 130 (S28).
- the descriptor type to be used for the content providing request is changed so that the content providing request operation can be performed with the minimum load. That is, the mobile terminal 120 selects an adaptive descriptor corresponding to the image downsizing the original image, thereby allowing the next content providing request operation to be performed. At this time, the downsizing ratio of the original image will be desirable to increase in proportion to the response time (S29).
- the mobile terminal 120 that failed to receive the content checks the current load of the server 110 based on the server load information, and after determining the downsizing ratio of the original image to be proportional to the current load of the server 110, Select the corresponding adaptive descriptor. Then, the selected adaptive descriptor is retransmitted to the server 110 to request content provision once more (S30 and S31).
- the server 110 performs the content search operation once again based on the adaptive descriptor, and transmits the content and server load information together when the content search succeeds, and transmits only the server load information when the content search fails. (S23-S26).
- the content providing request operation may be repeatedly performed while sequentially adjusting the image size.
- the repeatable number of times for providing a content providing request is set so that an infinite repetition of the content providing request is prevented in advance.
- the type of descriptor is varied according to the network load, but in some cases, the streaming method may be adjusted as shown in FIG. 5.
- the present invention also provides a method for providing an object using the content and a system therefor by applying the above-described content providing method.
- FIG. 6 is a flowchart illustrating an object information providing method according to an embodiment of the present invention.
- an image of an object is first transmitted from a user terminal to an object information providing server (S110).
- the user terminal is provided with an imaging device such as a camera, and any electronic device capable of network connection, for example, a mobile phone, a tablet PC, etc. may be the user terminal.
- an imaging device such as a camera
- any electronic device capable of network connection for example, a mobile phone, a tablet PC, etc.
- any object in the present specification and any object that can be photographed by a camera for example, not only a normal product but also a specific place, a restaurant, a sign, and the like can be the object.
- the object is identified in the object information providing server from the characteristic of the transmitted image (S120).
- the identification may be performed based on a character or an image, and the object may be identified by various conventional techniques, and thus a detailed description thereof will be omitted below.
- object information corresponding to the identified object is transmitted from the object information providing server to the user terminal (S130).
- the object information is stored in the object information providing server through a separate terminal (information providing terminal) provided by the information provider for providing information about the object, the present inventors in particular in accordance with the amount proposed by the information provider It provides a method for differentially setting the amount and type of information stored and provided to the user. Furthermore, by providing feedback to the information provider on the number and location information of the information provided to the user in response to a user request, the information provider provides a technology for securing big data.
- FIGS. 7 to 10 are diagrams illustrating a method of providing object information according to an embodiment of the present invention.
- images eg, signs, business cards, building designs
- the objects A, B, and C are captured by the user terminal 110 and transmitted to the object information providing server 120.
- the object information providing server 120 identifies the restaurants A, B, and C from images (eg, letters) of the restaurants A, B, and C.
- restaurant A, B, and C information stored in the object information providing server 120 are transmitted to the user terminal 110.
- the amount of information provided depends on the amount of suggestions proposed by the information providers of restaurants A, B, and C through the information providing terminal (for example, a computer).
- the information providing terminal for example, a computer.
- Restaurant A's information provider offers 1 million won
- Restaurant B's information provider offers 500,000 won
- Restaurant C's information provider offers 100,000 won for the proposed amount.
- Evaluation of the restaurant blogger, associated surrounding area information, etc. may all be provided to the user terminal.
- the restaurant C information provider who provided the lowest proposed amount provides only the location or contact information as the restaurant information.
- the inventor of the present invention provides various information to the information consumer based on the object-based computing, and allows the information provider to determine the amount, number, and the like of the information provision by itself, thereby enabling effective information provision. Therefore, in an embodiment of the present invention, the object information may be set differently for each object by its information provider in the range, quantity, number of provisions, and the like.
- the present invention may further include the step of transmitting the number of transmission of the object information for the identified object, as described above, in the object information providing server, in this case, the object stored in the object information providing server The number of times of providing information is transmitted to the user terminal. Therefore, through such a method, other users can effectively grasp object information such as restaurant information that the user has been provided the most in a specific area, and use it as a kind of big data.
- a configuration in which the number of objects or the number of user terminals provided with the object information is provided corresponding to the proposed amount of money is provided.
- the present invention provides an object information providing service apparatus for performing the object information providing method described above.
- FIG. 11 is a block diagram of an object information providing apparatus according to an embodiment of the present invention.
- the object information providing service apparatus may include an image receiver 210 which receives a video image of an object from a user terminal; An object identifier 220 to identify the object from the transmitted image; A suggestion amount information storage unit 230 for storing offer amount information corresponding to the identified object; And an object information transmitter 240 for transmitting object information on the identified object to the user terminal in response to the stored proposal amount information.
- the amount of object information or the number of transmissions, etc. may be determined in proportion to the proposal amount stored in the proposal amount information storage unit 230, which is omitted as described above.
- the object information display method as described above may be implemented as program instructions for implementing the above, and a recording medium that can be read by a computer that records the program instructions, for example, ROM, RAM, CD-ROM Magnetic tape, floppy disk, optical media storage, and the like.
- the computer-readable recording medium may also be distributed over network coupled computer devices so that the computer-readable code is stored and executed in a distributed fashion.
- any one or more of the plurality of distributed computers may execute some of the functions presented above, and transmit the results to one or more of the other distributed computers, and receive the results.
- the computer may also execute some of the functions presented above, and provide the results to other distributed computers as well.
- the recording medium that can be read by the computer that recorded the program instructions, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical Media storage devices.
- the computer-readable recording medium having recorded the program as described above is distributed to computer devices connected through a network, so that the computer-readable code can be stored and executed in a distributed manner.
- any one or more of the plurality of distributed computers may execute some of the functions presented above, and transmit the results to one or more of the other distributed computers, and receive the results.
- the computer may also execute some of the functions presented above, and provide the results to other distributed computers as well.
- a computer capable of reading a recording medium recording an application which is a program for driving a content providing system and method using object recognition according to each embodiment of the present invention, is a mobile terminal as well as a general PC such as a general desktop or a laptop. It may include a mobile terminal, such as a tablet PC, personal digital assistants (PDAs), and mobile communication terminals, as well as to be interpreted as any computing device.
- a mobile terminal such as a tablet PC, personal digital assistants (PDAs), and mobile communication terminals, as well as to be interpreted as any computing device.
- the present invention relates to an object recognition technology, and in particular, when performing an object recognition operation based on a web, a content providing system using object recognition to monitor a network environment and to actively adjust a load required for data transmission and reception, and Regarding the method, industrial applicability is recognized.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
The present invention relates to a system and method for providing contents using object recognition, which can always stably perform an object recognition operation by actively adjusting the amount of transmitted/received data in consideration of a load of a server and a network. The method can comprise the steps of: acquiring an image, and then generating a plurality of descriptors according to each size of the image, by a mobile terminal; requesting provision of contents from a server through a descriptor corresponding to an original size of the server, by a mobile terminal; searching for contents corresponding to the descriptor, providing the searched contents to the mobile terminal when the searching of the contents succeeds, and providing server load information to the mobile terminal when the searching of the contents fails, by the server; and performing a contents providing operation by the mobile terminal having received the contents, wherein the mobile terminal having received the server load information changes the types of descriptor on the basis of the server load information and requests provision of contents again.
Description
본 발명은 물체 인식 기술에 관한 것으로, 특히 웹 기반으로 물체 인식 동작을 수행하는 경우, 네트워크 환경을 모니터링하고 이에 따라 데이터 송수신에 소요되는 부하량을 능동적으로 조정할 수 있도록 하는 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법에 관한 것이다.The present invention relates to an object recognition technology, and in particular, when performing an object recognition operation based on a web, a content providing system using object recognition to monitor a network environment and to actively adjust a load required for data transmission and reception, and It is about a method.
물체 인식(object recognition) 기술은 영상을 처리 및 분석하여, 영상내에 어떤 물체가 있는지 알아내는 기술이다. 기존의 물체 인식 기술은 하나의 장치에서 물체의 영상, 특징들을 데이터베이스로 구축하고, 구축된 데이터베이스의 정보를 이용하여 현재 입력된 영상에서 대상 물체를 인식하도록 하였으나, 이러한 경우 인식 가능한 물체의 종류가 한정되는 단점을 가진다. Object recognition technology is a technology that processes and analyzes an image to find out what object is in the image. Conventional object recognition technology has built a database of images and features of an object in a single device, and recognizes the target object in the currently input image using the information of the built database, but in this case, the types of objects that can be recognized are limited. Has the disadvantage of being.
이에 최근에 들어서는 무한대의 정보를 등록 및 제공할 수 있는 웹 상에 물체 인식에 관련된 데이터베이스를 구축함으로써, 인식 가능한 물체의 종류를 확장시켜 주도록 하는 기술이 제안 및 널리 사용되고 있다. Recently, a technology for expanding the type of objects that can be recognized by constructing a database related to object recognition on the web that can register and provide infinite information has been proposed and widely used.
그러나 이를 위해서는 모바일 단말이 데이터베이스를 구축 및 운영하는 서버에 접속한 후 필요 정보를 검색 및 획득해야 하므로, 물체 인식 속도 및 성능이 서버 및 네트워크의 부하에 따라 크게 영향을 받는 단점이 있다. 즉, 서버에 접속된 모바일 단말이 많거나 제공 요청된 콘텐츠의 크기가 큰 경우, 또는 네트워크 부하가 과도한 경우에는 원활한 콘텐츠 제공 동작을 수행할 수 없게 되는 단점이 있다. However, since the mobile terminal needs to search for and acquire necessary information after accessing a server that builds and operates a database, the object recognition speed and performance are greatly affected by the load of the server and the network. That is, when there are many mobile terminals connected to the server or when the size of the requested content is large or when the network load is excessive, there is a disadvantage in that a smooth content providing operation cannot be performed.
이에 본 발명에서는 서버 및 네트워크의 부하를 고려하여 데이터 송수신 크기를 능동적으로 조정함으로써, 물체 인식 동작을 항상 안정적으로 수행할 수 있도록 하는 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법을 제공하고자 한다. Accordingly, an object of the present invention is to provide a system and method for providing content using object recognition that can stably perform an object recognition operation by actively adjusting the size of data transmission and reception in consideration of load of a server and a network.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects which are not mentioned will be clearly understood by those skilled in the art from the following description.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제1 실시 형태에 따르면, 이미지 크기별로 서술자를 다수 생성하고, 상기 다수의 서술자 중 하나를 기반으로 콘텐츠 제공을 요청하되, 콘텐츠 제공 결과를 기반으로 서술자 종류를 가변하는 모바일 단말; 및 콘텐츠 크기를 다수 단계로 리싸이징한 후, 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성 및 저장하며, 상기 모바일 단말로부터 서술자가 전송되면, 상기 전송된 서술자에 대응되는 콘텐츠를 획득 및 제공하는 서버를 포함하는 물체 인식을 이용한 콘텐츠 제공 시스템을 제공한다. As a means for solving the above problem, according to the first embodiment of the present invention, a plurality of descriptors are generated for each image size, and the content is provided based on one of the plurality of descriptors, but the descriptor is based on the content provision result. A mobile terminal of varying types; And after resizing the content size in multiple stages, generating and storing a descriptor corresponding to each of the content source and the recycled content, and when the descriptor is transmitted from the mobile terminal, the content corresponding to the transmitted descriptor is stored. Provided is a content providing system using object recognition including a server for acquiring and providing.
상기 서버는 상기 전송된 서술자에 대응되는 콘텐츠를 검색하고, 콘텐츠 검색 성공시에는 콘텐츠와 서버 부하 정보를 함께 상기 모바일 단말에 제공하되, 콘텐츠 검색 실패시에는 상기 서버 부하 정보만을 상기 모바일 단말에 제공하는 것을 특징으로 한다. The server searches for the content corresponding to the transmitted descriptor, and if the content search is successful, provides the content and the server load information to the mobile terminal, but if the content search fails, providing only the server load information to the mobile terminal. It is characterized by.
상기 모바일 단말은 상기 서버로부터 콘텐츠와 서버 부하 정보를 함께 전송받은 경우에는, 상기 서버 부하 정보를 확인함과 동시에 상기 서버의 응답 시간을 확인한 후, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 큰 경우에 한해 콘텐츠 제공 요청에 사용할 서술자 종류를 가변해주는 기능을 더 포함하는 것을 특징으로 한다.When the mobile terminal receives the content and the server load information together from the server, the mobile terminal checks the server load information and the response time of the server, and then the threshold time is set in spite of the small server load. It is characterized in that it further includes a function for varying the descriptor type to be used in the content providing request only when larger.
또한, 상기 모바일 단말은 상기 서버로부터 콘텐츠와 서버 부하 정보를 함께 전송받은 경우에는, 상기 서버 부하 정보를 확인함과 동시에 상기 서버의 응답 시간을 확인한 후, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 큰 경우에 한해 콘텐츠 스트리밍 방법을 가변해주는 기능을 더 포함하는 것을 특징으로 한다. In addition, when the mobile terminal receives the content and server load information together from the server, the mobile terminal checks the server load information and the response time of the server, and then the response time is low despite the small server load. The method may further include a function of varying a content streaming method only when it is larger than a set threshold.
더하여, 상기 모바일 단말은 상기 서버로부터 서버 부하 정보만을 전송받은 경우에는, 상기 서버 부하 정보를 기반으로 콘텐츠 제공 요청에 사용할 서술자 종류를 가변한 후, 콘텐츠 제공을 재요청하는 기능을 더 포함하는 것을 특징으로 한다. In addition, when the mobile terminal receives only server load information from the server, the mobile terminal further includes a function of changing a descriptor type to be used for a content providing request based on the server load information, and then re-requesting to provide content. It is done.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제2 실시 형태에 따르면, 모바일 단말이 이미지를 획득한 후, 이미지 크기별로 서술자를 다수 생성하는 단계; 상기 모바일 단말이 상기 이미지의 원본 크기에 대응되는 서술자를 통해 콘텐츠 제공을 서버에 요청하는 단계; 상기 서버가 상기 서술자를 대응되는 콘텐츠를 검색한 후, 콘텐츠 검색이 성공시에는 검색 성공한 콘텐츠를 상기 모바일 단말에 제공하되, 콘텐츠 검색이 실패시에는 서버 부하 정보를 상기 모바일 단말에 제공하는 단계; 및 상기 콘텐츠를 수신한 상기 모바일 단말은 콘텐츠 제공 동작을 수행하되, 상기 서버 부하 정보를 수신한 상기 모바일 단말은 상기 서버 부하 정보를 기반으로 서술자 종류를 가변한 후, 콘텐츠 제공을 재요청하는 단계를 포함하는 물체 인식을 이용한 콘텐츠 제공 방법을 제공한다. As a means for solving the above problem, according to a second embodiment of the present invention, after the mobile terminal acquires an image, generating a plurality of descriptors for each image size; Requesting, by the mobile terminal, the server to provide content through a descriptor corresponding to the original size of the image; After the server searches for the content corresponding to the descriptor, if the content search is successful, providing the successful content to the mobile terminal, and if the content search fails, providing server load information to the mobile terminal; And the mobile terminal receiving the content performs a content providing operation, and the mobile terminal receiving the server load information varies a descriptor type based on the server load information, and then re-requests to provide the content. Provided is a content providing method using object recognition.
상기 모바일 단말에 제공하는 단계는 콘텐츠 검색이 성공시, 검색 성공한 콘텐츠에 상기 서버 부하 정보를 매핑하여 제공하는 것을 특징으로 한다. The providing to the mobile terminal may be provided by mapping the server load information to the successful content when the content search is successful.
상기 방법은, 상기 서버가 콘텐츠를 제공하고 서버 부하가 기 설정된 값보다 작음에도 불구하고, 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 서술자 종류를 가변하는 단계를 더 포함하는 것을 특징으로 한다. The method may further include varying a descriptor type to be used in the content providing request based on the response time if the server provides the content and the server load is less than the preset value. It characterized in that it further comprises.
또한 상기 방법은, 상기 서버가 콘텐츠를 제공하고 서버 부하가 기 설정된 값보다 작음에도 불구하고, 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 콘텐츠 스트리밍 방법을 가변하는 단계를 더 포함하는 것을 특징으로 한다. In addition, the method, if the server provides the content and the server load is less than the predetermined value, if the response time is greater than the predetermined value, based on the response time variable content streaming method to be used in the content providing request Characterized in that it further comprises the step.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제3 실시 형태에 따르면, 모바일 단말이 이미지를 획득한 후, 이미지 크기별로 서술자를 다수 생성하는 단계; 상기 이미지의 원본 크기에 대응되는 서술자를 통해 콘텐츠 제공을 서버에 요청하는 단계; 및 상기 서버가 콘텐츠를 제공하지 못하면, 상기 서버의 부하를 기반으로 콘텐츠 제공 요청에 사용할 서술자 종류를 가변한 후, 콘텐츠 제공을 재요청하는 단계를 포함하는 물체 인식을 이용한 콘텐츠 제공 방법을 제공한다. As a means for solving the above problem, according to a third embodiment of the present invention, after the mobile terminal acquires an image, generating a plurality of descriptors for each image size; Requesting the server to provide content through a descriptor corresponding to the original size of the image; And if the server fails to provide the content, changing a descriptor type to be used for the content providing request based on the load of the server, and then re-requesting the content providing.
상기 방법은, 상기 서버가 콘텐츠를 제공하나 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 서술자 종류를 가변하거나 콘텐츠 스트리밍 방법을 가변하는 단계를 더 포함하는 것을 특징으로 한다. The method may further include varying a descriptor type to be used in the content providing request or changing a content streaming method based on the response time if the server provides the content but the response time is larger than a preset value. It is done.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제4 실시 형태에 따르면, 콘텐츠 크기를 다수 단계로 리싸이징한 후, 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성 및 저장하는 단계; 모바일 단말이 서술자를 통해 콘텐츠 제공을 요청하면, 상기 서술자에 대응되는 콘텐츠를 검색하는 단계; 및 콘텐츠 검색이 성공하면 검색 성공한 콘텐츠에 서버 부하 정보를 매핑하여 상기 모바일 단말에 제공하되, 콘텐츠 검색이 실패하면 상기 서버 부하 정보만을 상기 모바일 단말에 제공하는 단계를 포함하는 물체 인식을 이용한 콘텐츠 제공 방법을 제공한다. As a means for solving the above problem, according to the fourth embodiment of the present invention, after resizing the content size in multiple steps, generating and storing a descriptor corresponding to each of the content original and the recycled content ; Searching for content corresponding to the descriptor when the mobile terminal requests to provide content through the descriptor; And if the content search is successful, mapping the server load information to the searched successful content and providing the server load information to the mobile terminal. If the content search fails, providing only the server load information to the mobile terminal. To provide.
이와 같이 본 발명에서는 서버 및 네트워크의 부하를 고려하면서 물체 인식 동작을 수행할 수 있도록 함으로써, 최대 성능의 시스템을 제공할 수 있도록 한다. As described above, the present invention enables the object recognition operation to be performed while considering the load of the server and the network, thereby providing a system of maximum performance.
도1은 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템을 도시한 도면이다. 1 is a diagram illustrating a content providing system using object recognition according to an embodiment of the present invention.
도2은 본 발명의 일 실시예에 따른 이미지 및 콘텐츠 리싸이징 방법을 설명하기 위한 도면이다. 2 is a view for explaining an image and content sizing method according to an embodiment of the present invention.
도3은 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 데이터베이스 구축 방법을 설명하기 위한 것이다. 3 is a view for explaining a database construction method of a content providing system using object recognition according to an embodiment of the present invention.
도4는 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 물체 인식 동작 방법을 설명하기 위한 것이다. 4 is a view illustrating an object recognition operation method of a content providing system using object recognition according to an embodiment of the present invention.
도5는 본 발명의 다른 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 물체 인식 동작 방법을 설명하기 위한 것이다.5 is a view illustrating an object recognition operation method of a content providing system using object recognition according to another embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 오브젝트 정보 제공 방법의 단계도이다. 6 is a flowchart illustrating an object information providing method according to an embodiment of the present invention.
도 7 내지 10은 본 발명의 일 실시예에 따른 오브젝트 정보 제공방법을 설명하는 도면이다. 7 to 10 are diagrams illustrating a method of providing object information according to an embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따른 오브젝트 정보 제공 장치의 블록도이다. 11 is a block diagram of an object information providing apparatus according to an embodiment of the present invention.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.The objects and effects of the present invention and the technical configurations for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. In describing the present invention, when it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.Terms to be described later are terms defined in consideration of functions in the present invention, and may be changed according to intentions or customs of users or operators.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms. The present embodiments are merely provided to complete the disclosure of the present invention and to fully inform the scope of the invention to those skilled in the art, and the present invention is defined by the scope of the claims. It will be. Therefore, the definition should be made based on the contents throughout the specification.
도1은 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템을 도시한 도면이다. 1 is a diagram illustrating a content providing system using object recognition according to an embodiment of the present invention.
도1에 도시된 바와 같이, 본 발명의 콘텐츠 제공 시스템(100)은 콘텐츠 제공 서버(110), 적어도 하나의 모바일 단말(120), 및 데이터베이스(130) 등을 포함하여 구성될 수 있다. As shown in FIG. 1, the content providing system 100 of the present invention may include a content providing server 110, at least one mobile terminal 120, a database 130, and the like.
물체 인식 시스템(100)은 모바일 단말(120)이 인식한 이미지를 기반으로 이미지 검색, 동영상 재생, 상품 구매 사이트 접속, 내비게이션 실행 등의 다양한 동작이 연계되도록 한다. 또한, 단말 인식 이미지는 상표, 로고, 영화 포스터, 앨범 재킷, 사진 등으로 구성되어 그 자체만으로도 사용자에게 그 동작이나 정보에 대한 즉각적인 정보와 연상을 가능케 할 수도 있다.The object recognition system 100 allows various operations such as image search, video playback, product purchase site access, navigation execution, etc. to be linked based on the image recognized by the mobile terminal 120. In addition, the terminal recognition image may be composed of a trademark, a logo, a movie poster, an album jacket, a photograph, and the like, and may enable the user to immediately inform and associate with the operation or information.
다만, 이와 같은 연상 동작을 수행하기 위해서는 모바일 단말(120)은 자신이 인식한 이미지를 서버(110)에 제공하고, 서버(110)은 이에 대응되는 콘텐츠를 주고받아야 하는 데, 모바일 단말(120)이 상대적으로 많은 데이터량을 가지는 이미지를 서버(110)에 직접 제공하는 경우, 서버에 많은 부하가 걸리므로, 본 발명에서는 상대적으로 작은 데이터량을 가지는 서술자를 주고받도록 한다. However, in order to perform the associative operation, the mobile terminal 120 provides an image recognized by the mobile terminal to the server 110, and the server 110 needs to exchange content corresponding to the mobile terminal 120. In the case of providing the image having a relatively large amount of data directly to the server 110, since a heavy load is placed on the server, the present invention allows a descriptor having a relatively small amount of data to be exchanged.
서술자는 이미지 고유의 특징점(feature point)을 표현하는 것으로, 이는 이미지에 대한 효율적인 서술(description)과 관리(management)가 가능해지도록 하는 특징을 가진다. 즉, 이미지로부터 서술자를 추출하여 데이터베이스화시키면 서술자로 이루어진 데이터베이스만으로도 다양하게 콘텐츠를 관리하고 제어할 수 있게 된다. Descriptors represent feature points that are inherent in the image, which has features that enable efficient description and management of the image. In other words, if a descriptor is extracted from an image and made into a database, various contents can be managed and controlled only by the database composed of the descriptor.
이에 본 발명에서는 서버(110)이 서술자를 이용하여 모바일 단말(120)이 현재 인식한 이미지에 대응되는 콘텐츠를 검색 및 제공할 수 있도록 한다. Accordingly, in the present invention, the server 110 may search and provide content corresponding to the image currently recognized by the mobile terminal 120 using the descriptor.
더하여, 본 발명에서는 서술자를 통해 모바일 단말(120)이 서버(110)로부터 자신이 인식한 이미지에 대응되는 각종 콘텐츠를 제공받도록 하되, 서버(110) 및 네트워크(130)의 부하에 따라 콘텐츠 크기(또는 용량)가 능동적으로 가변될 수 있도록 함으로써, 서버(110) 및 네트워크(130)에 의한 영향이 최소화될 수 있도록 한다. In addition, the present invention allows the mobile terminal 120 to receive various contents corresponding to the image recognized by the server 110 through the descriptor, but the content size (depending on the load of the server 110 and the network 130) Or capacity) can be actively varied, thereby minimizing the effects of the server 110 and the network 130.
이를 위해, 본 발명의 모바일 단말(120)은 도2에서와 같이 자신이 획득한 이미지의 크기(또는 용량)를 여러 가지 단계로 리싸이징한 후, 콘텐츠 크기 각각에 대응되는 서술자를 생성 및 저장하도록 한다. 그러고 나서 모바일 단말(120)은 이미지 원본 크기에 대응되는 서술자를 기반으로 서버(110)로부터 필요 콘텐츠를 제공받되, 콘텐츠 제공 상태를 기반으로 서버(110) 및 네트워크(130)의 부하를 파악하도록 한다. To this end, the mobile terminal 120 of the present invention resizes the size (or capacity) of the image acquired by itself in various steps as shown in FIG. 2, and then generates and stores a descriptor corresponding to each content size. Do it. Then, the mobile terminal 120 receives the necessary content from the server 110 based on the descriptor corresponding to the original size of the image, and determines the load of the server 110 and the network 130 based on the content providing state. .
그리고 서버(110) 및 네트워크(130)의 부하에 비례하여 콘텐츠 질의에 사용될 이미지 크기를 감소시킨 후, 이에 대응되는 서술자를 제공함으로써, 서버(110) 또한 감소된 크기의 콘텐츠를 제공할 수 있도록 한다. In addition, by reducing the size of an image to be used for content query in proportion to the load of the server 110 and the network 130, and providing a descriptor corresponding thereto, the server 110 may also provide content of a reduced size. .
이하, 각 구성요소의 기능을 보다 상세히 살펴보기로 한다. Hereinafter, the function of each component will be described in more detail.
모바일 단말(120)은 스마트 폰, 태블릿 PC와 같이 사용자에 의해 휴대되며, 영상/음성 통화 동작, 이미지 획득 동작, 인터넷 접속 동작 등을 다양하게 수행할 수 있는 각종 통신 기기로 구현될 수 있다. 이와 같은 모바일 단말(120)은 자신에 내장된 카메라를 이용하여 물체 인식에 필요한 이미지를 획득하고, 이미지의 크기를 여러 단계로 리싸이징하도록 한다. 그리고 SIFT(Scale Invariant Feature Transform), MSER(Maximally Stable Extremal Regions), 및 SURF(Speeded Up Robust Feature)와 같은 서술자 생성 알고리즘을 이용하여, 이미지 원본과 리싸이징된 이미지 각각에 대응되는 서술자를 생성하도록 한다. The mobile terminal 120 may be carried by a user, such as a smart phone or a tablet PC, and may be implemented as various communication devices capable of performing various video / audio call operations, image acquisition operations, and Internet connection operations. The mobile terminal 120 obtains an image required for object recognition by using a camera embedded therein, and resizes the size of the image in various steps. And using descriptor generation algorithms such as Scale Invariant Feature Transform (SIFT), Maximum Stable Extremal Regions (MSER), and Speeded Up Robust Feature (SURF) to generate descriptors for each of the original image and the recycled image. do.
그리고 다수의 서술자 중 하나를 기반으로 서버(110)에 필요 콘텐츠 제공을 요청하고 제공받도록 하되, 콘텐츠 제공 상태를 기반으로 서버(110) 및 네트워크(130)의 부하를 파악하고, 이에 따라 콘텐츠 질의에 사용될 서술자 종류를 가변함으로써, 서버(110) 또한 감소된 크기의 콘텐츠를 제공할 수 있도록 한다. The server 110 requests and receives the necessary content based on one of a plurality of descriptors, and the load of the server 110 and the network 130 is determined based on the content providing state, and accordingly, the content query is applied to the content query. By varying the descriptor type to be used, the server 110 can also provide content of reduced size.
이때, 서버(110)가 제공하는 콘텐츠는 물체 인식 동작에 대한 정보를 포함하는 동작 정보 및 그 동작을 수행하기 위하여 필요한 부가 정보로 구성될 수 있다. 동작 정보의 예로서는 이미지 표시, 동영상 재생, 상품 구매, 내비게이션 실행을 위한 정보가 있을 수 있다. 그리고 부가 정보로서는 위 동작 정보에 각각 대응하여 이미지가 저장된 노드의 URL, 상품 구매를 위한 상품 판매 사이트의 URL, 내비게이션 실행을 위한 지도의 위도 및 경도 정보를 포함하도록 구성될 수 있다. 물론, 이때, 각각의 동작 정보와 부가 정보는 기업 고객, 콘텐츠 관리자 또는 시스템 개발 운영자 등에 의해 다양하게 확장될 수 있음은 당연하다. In this case, the content provided by the server 110 may be composed of operation information including information on an object recognition operation and additional information required to perform the operation. Examples of the operation information may include information for displaying an image, playing a video, purchasing a product, and executing a navigation. The additional information may be configured to include URLs of nodes in which images are stored, URLs of merchandise sales sites for product purchases, and latitude and longitude of a map for navigation. Of course, at this time, it is natural that each operation information and additional information may be variously expanded by an enterprise customer, a content manager, or a system development operator.
서버(110)은 물체 인식 동작을 지원하기 위한 각종 콘텐츠를 저장 및 관리한다. 다만, 본 발명에서는 모바일 단말(120)에 제공하는 콘텐츠 크기를 네트워크 환경에 따라 능동적으로 가변할 수 있도록, 콘텐츠 등록 시에 콘텐츠 크기를 여러 단계로 리싸이징한 후, 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성 및 저장하도록 한다. The server 110 stores and manages various contents for supporting the object recognition operation. However, in the present invention, the content size provided to the mobile terminal 120 can be actively changed according to the network environment, and after the content size is resized in several steps at the time of content registration, the content source and the sized Create and store descriptors corresponding to each content.
본 발명의 서버(110)은 모바일 단말(120)로부터 전송되는 서술자를 기반으로 콘텐츠 검색 및 제공 동작을 수행하되, 콘텐츠 제공시 자신의 부하 정보를 추가 제공함으로써, 모바일 단말(120)이 자신의 부하가 현재 어느 정도인지를 파악할 수 있도록 한다. The server 110 of the present invention performs the content search and provision operation based on the descriptor transmitted from the mobile terminal 120, by providing additional load information when providing the content, the mobile terminal 120 loads its own Make sure you know how much it is right now.
데이터베이스(130)는 콘텐츠별로, 콘텐츠 원본 이외에 콘텐츠 원본이 여러 가지 크기로 리싸이징된 다수의 콘텐츠 카피본이 저장된다. 이때, 콘텐츠 원본과 다수의 콘텐츠 카피본 각각에는 서로 상이한 정보를 가지는 서술자가 매핑되도록 한다. The database 130 stores, for each content, a plurality of content copies of which the content original is resized in various sizes in addition to the content original. In this case, a descriptor having different information is mapped to each of the content original and the plurality of content copies.
도3은 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 데이터베이스 구축 방법을 설명하기 위한 것이다. 3 is a view for explaining a database construction method of a content providing system using object recognition according to an embodiment of the present invention.
먼저, 서버(110)은 등록 요청된 콘텐츠가 발생하면, 해당 콘텐츠의 크기를 여러 가지 단계로 리싸이징한다(S10). 단계 S10에서는, 콘텐츠의 종류와 크기에 따라 리싸이징 단계가 조정될 수 있도록 한다. 예를 들어, 콘텐츠 크기가 큰 경우에는, 리싸이징 단계를 3 단계로 설정하고, 그렇지 않은 경우에는 리쌍이징 단계를 2 단계로 설정하도록 할 수 있을 것이다. First, when the content requested for registration occurs, the server 110 resizes the corresponding content in various steps (S10). In step S10, the recycling step can be adjusted according to the type and size of the content. For example, if the content size is large, the resizing step may be set to three levels, otherwise the resizing step may be set to two steps.
그리고 콘텐츠 원본과 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성한 후, 콘텐츠 원본과 리싸이징된 콘텐츠 각각에 매핑한다(S11). After generating a descriptor corresponding to each of the content original and the recycled content, the descriptor is mapped to each of the content original and the recycled content (S11).
이때, 서술자는 콘텐츠에 포함된 이미지, 또는 동영상을 기반으로 자동 생성될 수 있도록 하나, 서술자 자동 생성이 불가능한 경우에는 콘텐츠 제공자 또는 시스템 관리자에 의해 수동으로 입력될 수도 있도록 한다. In this case, the descriptor may be automatically generated based on an image or a video included in the content, but if the descriptor is not automatically generated, the descriptor may be manually input by a content provider or a system administrator.
더하여, 콘텐츠가 동영상을 포함하는 경우에 한해(S12), 네트워크 환경별로 사용하고자 하는 스트리밍 방법을 사전에 정의 및 저장할 수도 있도록 한다(S13). 즉, 동영상 스트리밍에 사용되는 코덱에는 AVI(Audio Video Interleaved), ASF(Advanced Streaming Format), MPEG(Moving Picture Expert Group), MOV, RM 등이 있는 데, 서버(110) 및 네크워크(130)의 부하가 작을 경우에는 이들 중 고품질 대용량을 지원하는 코덱을, 서버(110) 및 네크워크(130)의 부하가 클 경우에는 저품질 저용량을 지원하는 코덱을 사용할 수 있도록 한다. In addition, as long as the content includes a video (S12), a streaming method to be used for each network environment may be defined and stored in advance (S13). That is, the codec used for video streaming includes AVI (Audio Video Interleaved), ASF (Advanced Streaming Format), MPEG (Moving Picture Expert Group), MOV, RM, etc., and loads of the server 110 and the network 130. If small, a codec that supports a high-quality large capacity among them, and if the load of the server 110 and the network 130 is large, it is possible to use a codec that supports a low-quality low capacity.
도4는 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 물체 인식 동작 방법을 설명하기 위한 것이다. 4 is a view illustrating an object recognition operation method of a content providing system using object recognition according to an embodiment of the present invention.
먼저, 모바일 단말(120)이 자신에 내장된 카메라를 이용하여 단말 이미지를 획득하면(S20), 모바일 단말은 단말 이미지의 크기를 여러 단계로 리싸이징한 후, 단말 이미지의 크기 각각에 대응되는 다수의 서술자를 생성한다(S21). First, when the mobile terminal 120 acquires a terminal image using a camera embedded therein (S20), the mobile terminal resizes the size of the terminal image in several steps, and then corresponds to each size of the terminal image. Generate a plurality of descriptors (S21).
본 발명에서는 단말 이미지의 원본 크기에 대응되는 서술자는 일반 서술자로, 리싸이징된 이미지 각각에 대응되는 서술자는 적응적 서술자로 명명하기로 한다. In the present invention, the descriptor corresponding to the original size of the terminal image is named as a general descriptor, and the descriptor corresponding to each of the recycled images is named as an adaptive descriptor.
그리고 모바일 단말(120)은 단말 이미지의 원본 크기에 대응되는 일반 서술자를 서버(110)에 전송하여 서버(110)에 단말 이미지에 대응되는 콘텐츠 제공을 요청한다(S22). The mobile terminal 120 transmits a general descriptor corresponding to the original size of the terminal image to the server 110 and requests the server 110 to provide content corresponding to the terminal image (S22).
그러면 서버(110)은 모바일 단말(120)이 제공한 일반 서술자를 기반으로 데이터베이스(130)을 검색하여 일반 서술자에 대응되는 콘텐츠를 획득하도록 한다(S23). Then, the server 110 searches the database 130 based on the general descriptor provided by the mobile terminal 120 to obtain content corresponding to the general descriptor (S23).
콘텐츠 검색이 성공하면(S24), 서버(110)은 현재 자신의 부하를 파악하여(즉, 데이터 수신 큐에 얼마나 많은 데이터가 있는지 파악하여) 부하 정보를 생성한 후, 검색 완료된 콘텐츠와 함께 모바일 단말(120)에 제공한다(S25). If the content search is successful (S24), the server 110 determines the current load (i.e., how much data is in the data reception queue) to generate load information, and then the mobile terminal together with the searched content. Provided to 120 (S25).
반면 일정 시간이 경과하도록 콘텐츠 검색이 성공하지 못하면(S24), 서버(110)은 자신의 부하 정보만을 모바일 단말(120)에 제공하도록 한다(S26). On the other hand, if the content search is not successful to pass a certain time (S24), the server 110 to provide only its load information to the mobile terminal 120 (S26).
그러면, 모바일 단말(120)은 콘텐츠 수신에 성공하여 콘텐츠와 서버 부하 정보를 함께 제공받거나, 콘텐츠 수신에 실패하여 서버 부하 정보만을 제공받게 된다(S27, S30). Then, the mobile terminal 120 succeeds in receiving the content and is provided with the content and the server load information, or fails to receive the content and receives only the server load information (S27 and S30).
콘텐츠 수신에 성공한 모바일 단말(120)은 서버 부하 정보를 확인함과 동시에 콘텐츠 제공 요청 후 콘텐츠 제공받기까지의 시간 즉, 응답 시간을 확인하고, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 크다면, 현재 네트워크(130)에 많은 부하가 걸려있다고 판단한다(S28). The mobile terminal 120, which has successfully received the content, checks the server load information and at the same time checks the time from the content providing request to receiving the content, that is, the response time, and although the server load is small, the response time is higher than the preset threshold. If large, it is determined that a lot of load is currently applied to the network 130 (S28).
그리고 최소한의 부하로 콘텐츠 제공 요청 동작을 수행할 수 있도록 콘텐츠 제공 요청에 사용할 서술자 종류를 가변해준다. 즉, 모바일 단말(120)은 이미지 원본을 다운 싸이징한 이미지에 대응되는 적응적 서술자를 선택하고, 이를 통해 다음의 콘텐츠 제공 요청 동작이 수행될 수 있도록 한다. 이때, 이미지 원본의 다운싸이징 비율은 응답 시간에 비례하여 증가되도록 하는 것이 바람직할 것이다(S29). In addition, the descriptor type to be used for the content providing request is changed so that the content providing request operation can be performed with the minimum load. That is, the mobile terminal 120 selects an adaptive descriptor corresponding to the image downsizing the original image, thereby allowing the next content providing request operation to be performed. At this time, the downsizing ratio of the original image will be desirable to increase in proportion to the response time (S29).
반면, 콘텐츠 수신에 실패한 모바일 단말(120)은 서버 부하 정보를 기반으로 서버(110)의 현재 부하를 확인하고, 서버(110)의 현재 부하에 비례하도록 이미지 원본의 다운싸이징 비율을 결정한 후, 이에 대응되는 적응적 서술자를 선택한다. 그리고 선택된 적응적 서술자를 서버(110)에 재전송하여 콘텐츠 제공을 다시 한 번 더 요청하도록 한다(S30, S31). On the other hand, the mobile terminal 120 that failed to receive the content checks the current load of the server 110 based on the server load information, and after determining the downsizing ratio of the original image to be proportional to the current load of the server 110, Select the corresponding adaptive descriptor. Then, the selected adaptive descriptor is retransmitted to the server 110 to request content provision once more (S30 and S31).
그러면, 서버(110)은 적응적 서술자를 기반으로 콘텐츠 검색 동작을 다시 한 번 더 수행하고, 콘텐츠 검색 성공시에는 콘텐츠와 서버 부하 정보를 함께 전송하고, 콘텐츠 검색 실패시에는 서버 부하 정보만을 전송하도록 한다(S23~S26). Then, the server 110 performs the content search operation once again based on the adaptive descriptor, and transmits the content and server load information together when the content search succeeds, and transmits only the server load information when the content search fails. (S23-S26).
즉, 본 발명에서는 콘텐츠 검색이 실패하는 경우 이미지 크기를 순차적으로 조정하면서 콘텐츠 제공 요청 동작이 반복적으로 수행될 수 있도록 해준다. 다만, 콘텐츠 제공 요청 동작의 반복 가능 횟수를 설정해두어, 콘텐츠 제공 요청 동작이 무한 반복되는 것은 사전에 방지되도록 한다. That is, in the present invention, when the content search fails, the content providing request operation may be repeatedly performed while sequentially adjusting the image size. However, the repeatable number of times for providing a content providing request is set so that an infinite repetition of the content providing request is prevented in advance.
또한, 상기의 실시예에서는 네트워크 부하에 따라 서술자의 종류를 가변하도록 하였으나, 경우에 따라 도5에서와 같이 스트리밍 방법을 조정해줄 수도 있도록 한다. In addition, in the above embodiment, the type of descriptor is varied according to the network load, but in some cases, the streaming method may be adjusted as shown in FIG. 5.
본 발명은 또한 상술한 콘텐츠 제공방법의 응용으로 상기 콘텐츠를 이용한 오브젝트 제공 방법 및 이를 위한 시스템을 제공한다. The present invention also provides a method for providing an object using the content and a system therefor by applying the above-described content providing method.
도 6은 본 발명의 일 실시예에 따른 오브젝트 정보 제공 방법의 단계도이다. 6 is a flowchart illustrating an object information providing method according to an embodiment of the present invention.
도 6을 참조하면, 먼저 오브젝트에 대한 이미지가 사용자 단말로부터 오브젝트 정보 제공 서버로 전송된다(S110). 본 발명의 일 실시예에서 상기 사용자 단말은 카메라와 같은 촬상 장비가 구비되며, 네트워크 연결이 가능한 임의의 전자 소자로서, 예를 들어 휴대전화, 태블릿 PC 등이 상기 사용자 단말이 될 수 있다. 또한 본 명세서에서의 오브젝트랑 카메라에 의하여 촬상될 수 있는 임의의 객체로서, 예를 들어 통상의 상품뿐만 아니라, 특정 장소나 식당, 간판 등이 모두 상기 오브젝트가 될 수 있다. Referring to FIG. 6, an image of an object is first transmitted from a user terminal to an object information providing server (S110). In one embodiment of the present invention, the user terminal is provided with an imaging device such as a camera, and any electronic device capable of network connection, for example, a mobile phone, a tablet PC, etc. may be the user terminal. In addition, as an object in the present specification and any object that can be photographed by a camera, for example, not only a normal product but also a specific place, a restaurant, a sign, and the like can be the object.
이후, 상기 전송된 이미지의 특징으로부터 상기 오브젝트가 상기 오브젝트 정보 제공 서버에서 식별된다(S120). 상기 식별은 문자 기반 또는 이미지 기반으로도 진행될 수 있으며, 종래의 다양한 기술로 상기 오브젝트 식별은 가능하므로, 이에 대한 상세한 설명은 이하 생략한다. Thereafter, the object is identified in the object information providing server from the characteristic of the transmitted image (S120). The identification may be performed based on a character or an image, and the object may be identified by various conventional techniques, and thus a detailed description thereof will be omitted below.
이후, 상기 식별된 오브젝트에 대응하는 오브젝트 정보가 상기 오브젝트 정보 제공 서버로부터 상기 사용자 단말로 전송된다(S130). 본 발명에서 상기 오브젝트 정보는 상기 오브젝트에 대한 정보를 제공하는 정보 제공자가 별도의 단말(정보 제공 단말)을 통하여 상기 오브젝트 정보 제공 서버에 저장시킨 것으로, 본 발명자는 특히 정보 제공자에 의한 제안 금액에 따라 상기 저장되어 사용자에게 제공되는 정보 제공의 양과 종류 등을 차등적으로 설정하는 방식을 제공한다. 더 나아가, 사용자 요청에 따라 사용자에게 제공되는 정보 제공의 횟수와 위치 정보 등을 상기 정보 제공자에게 피드백하여, 상기 정보 제공자로 하여금 빅데이터를 확보하는 기술을 제공한다. Thereafter, object information corresponding to the identified object is transmitted from the object information providing server to the user terminal (S130). In the present invention, the object information is stored in the object information providing server through a separate terminal (information providing terminal) provided by the information provider for providing information about the object, the present inventors in particular in accordance with the amount proposed by the information provider It provides a method for differentially setting the amount and type of information stored and provided to the user. Furthermore, by providing feedback to the information provider on the number and location information of the information provided to the user in response to a user request, the information provider provides a technology for securing big data.
도 7 내지 10은 본 발명의 일 실시예에 따른 오브젝트 정보 제공방법을 설명하는 도면이다. 7 to 10 are diagrams illustrating a method of providing object information according to an embodiment of the present invention.
도 7을 참조하면, 먼저 3개의 오브젝트로서 식당 A, B, C가 개시된다. Referring to FIG. 7, first, three restaurants A, B, and C are disclosed.
도 8을 참조하면, 상기 식당 A, B, C에 대한 이미지(예를 들어 간판이나, 명함, 건물 디자인)가 사용자 단말(110)에 의하여 촬상되어 오브젝트 정보 제공 서버(120)로 전송된다. Referring to FIG. 8, images (eg, signs, business cards, building designs) of the restaurants A, B, and C are captured by the user terminal 110 and transmitted to the object information providing server 120.
도 9를 참조하면, 상기 오브젝트 정보 제공 서버(120)는 상기 식당 A, B, C의 이미지(예를 들어 문자)로부터 상기 식당 A, B, C를 식별한다. Referring to FIG. 9, the object information providing server 120 identifies the restaurants A, B, and C from images (eg, letters) of the restaurants A, B, and C.
도 10을 참조하면, 상기 오브젝트 정보 제공 서버(120)에 저장된 식당 A, B, C 정보가 상기 사용자 단말(110)로 전송된다. 이때 제공되는 정보의 양은 상기 식당 A, B, C의 정보 제공자가 정보 제공 단말(예를 들어 컴퓨터)를 통하여 제안한 제안 금액에 따라 달라진다. 예를 들어 식당 A의 정보 제공자는 100만원을, 식당 B 정보 제공자는 50만원을, 식당 C 정보 제공자는 10만원을 제안 금액으로 제사하며, 이에 따라 식당 A의 경우, 위치 정보, 연락처는 물론 관련된 맛집 블로거의 평가, 연관된 주변 지역 정보 등이 모두 사용자 단말로 제공될 수 있다. 하지만, 가장 낮은 제안 금액을 제시한 식당 C 정보 제공자는 위치나 연락처 정보만이 식당 정보로 제공된다. Referring to FIG. 10, restaurant A, B, and C information stored in the object information providing server 120 are transmitted to the user terminal 110. At this time, the amount of information provided depends on the amount of suggestions proposed by the information providers of restaurants A, B, and C through the information providing terminal (for example, a computer). For example, Restaurant A's information provider offers 1 million won, Restaurant B's information provider offers 500,000 won, and Restaurant C's information provider offers 100,000 won for the proposed amount. Evaluation of the restaurant blogger, associated surrounding area information, etc. may all be provided to the user terminal. However, the restaurant C information provider who provided the lowest proposed amount provides only the location or contact information as the restaurant information.
이와 같이 본 발명자는 사물 기반 컴퓨팅에 기반하여, 다양한 정보를 정보수요자에게 제공하되, 상기 정보 제공의 양, 횟수 등을 정보제공자가 스스로 결정하게 하며, 이로써 효과적인 정보 제공이 가능해진다. 따라서, 본 발명의 일 실시예에서, 상기 오브젝트 정보는 정보제공자에 의하여 그 범위와 양, 제공 횟수 등이 오브젝트별로 상이하게 설정될 수 있다. As described above, the inventor of the present invention provides various information to the information consumer based on the object-based computing, and allows the information provider to determine the amount, number, and the like of the information provision by itself, thereby enabling effective information provision. Therefore, in an embodiment of the present invention, the object information may be set differently for each object by its information provider in the range, quantity, number of provisions, and the like.
더 나아가, 본 발명은 상술한 바와 같이 상기 식별된 오브젝트에 대한 오브젝트 정보의 전송 횟수가, 상기 오브젝트 정보 제공 서버에 저장되는 단계를 더 포함할 수 있으며, 이 경우, 상기 오브젝트 정보 제공 서버에 저장된 오브젝트 정보 제공 횟수가 상기 사용자 단말로 전송된다. 따라서, 이러한 방식을 통하여 특정 지역에서 가장 많이 사용자가 제공받았던 식당 정보와 같은 오브젝트 정보를 타 사용자가 효과적으로 파악하여, 일종의 빅데이터로서 사용할 수 있다. Furthermore, the present invention may further include the step of transmitting the number of transmission of the object information for the identified object, as described above, in the object information providing server, in this case, the object stored in the object information providing server The number of times of providing information is transmitted to the user terminal. Therefore, through such a method, other users can effectively grasp object information such as restaurant information that the user has been provided the most in a specific area, and use it as a kind of big data.
본 발명의 또 다른 일 실시예에서는, 상기 제안 금액에 대응하여 상기 오브젝트 정보가 제공되는 오브젝트의 수 또는 상기 사용자 단말의 수가 달라지는 구성을 제공한다. According to another embodiment of the present invention, a configuration in which the number of objects or the number of user terminals provided with the object information is provided corresponding to the proposed amount of money is provided.
더 나아가, 본 발명은 상술한 오브젝트 정보 제공방법을 수행하기 위한 오브젝트 정보 제공 서비스 장치를 제공한다. Furthermore, the present invention provides an object information providing service apparatus for performing the object information providing method described above.
도 11은 본 발명의 일 실시예에 따른 오브젝트 정보 제공 장치의 블록도이다. 11 is a block diagram of an object information providing apparatus according to an embodiment of the present invention.
도 11을 참조하면, 상기 오브젝트 정보 제공 서비스 장치는, 오브젝트에 대한 영상 이미지를 사용자 단말로부터 수신하는 이미지 수신부(210); 상기 전송된 이미지로부터 상기 오브젝트를 식별하는 오브젝트 식별부(220); 상기 식별된 오브젝트에 대응하는 제안 금액 정보를 저장하는 제안 금액 정보 저장부(230); 및 상기 저장된 제안 금액 정보에 대응하여, 상기 식별된 오브젝트에 대한 오브젝트 정보를 상기 사용자 단말로 전송하는 오브젝트 정보 전송부(240)를 포함한다. 이때, 상기 제안 금액 정보 저장부(230)에 저장된 제안 금액에 비례하여, 상기 오브젝트 정보양 또는 전송 횟수 등이 결정될 수 있으며, 이는 상술한 바와 같으니 이하 생략한다. Referring to FIG. 11, the object information providing service apparatus may include an image receiver 210 which receives a video image of an object from a user terminal; An object identifier 220 to identify the object from the transmitted image; A suggestion amount information storage unit 230 for storing offer amount information corresponding to the identified object; And an object information transmitter 240 for transmitting object information on the identified object to the user terminal in response to the stored proposal amount information. In this case, the amount of object information or the number of transmissions, etc. may be determined in proportion to the proposal amount stored in the proposal amount information storage unit 230, which is omitted as described above.
또한, 이상에서 전술한 바와 같은 오브젝트 정보 표시 방법은, 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다. In addition, the object information display method as described above may be implemented as program instructions for implementing the above, and a recording medium that can be read by a computer that records the program instructions, for example, ROM, RAM, CD-ROM Magnetic tape, floppy disk, optical media storage, and the like.
또한, 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.The computer-readable recording medium may also be distributed over network coupled computer devices so that the computer-readable code is stored and executed in a distributed fashion. In this case, any one or more of the plurality of distributed computers may execute some of the functions presented above, and transmit the results to one or more of the other distributed computers, and receive the results. The computer may also execute some of the functions presented above, and provide the results to other distributed computers as well.
이상에서 전술한 바와 같은 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다. It can be implemented as a program instruction for implementing this as described above, the recording medium that can be read by the computer that recorded the program instructions, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical Media storage devices.
또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.In addition, the computer-readable recording medium having recorded the program as described above is distributed to computer devices connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. In this case, any one or more of the plurality of distributed computers may execute some of the functions presented above, and transmit the results to one or more of the other distributed computers, and receive the results. The computer may also execute some of the functions presented above, and provide the results to other distributed computers as well.
본 발명의 각 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법을 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC뿐 만 아니라, 모바일 단말, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다. A computer capable of reading a recording medium recording an application, which is a program for driving a content providing system and method using object recognition according to each embodiment of the present invention, is a mobile terminal as well as a general PC such as a general desktop or a laptop. It may include a mobile terminal, such as a tablet PC, personal digital assistants (PDAs), and mobile communication terminals, as well as to be interpreted as any computing device.
본 발명은 물체 인식 기술에 관한 것으로, 특히 웹 기반으로 물체 인식 동작을 수행하는 경우, 네트워크 환경을 모니터링하고 이에 따라 데이터 송수신에 소요되는 부하량을 능동적으로 조정할 수 있도록 하는 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법에 관한 것으로, 산업상 이용가능성이 인정된다.The present invention relates to an object recognition technology, and in particular, when performing an object recognition operation based on a web, a content providing system using object recognition to monitor a network environment and to actively adjust a load required for data transmission and reception, and Regarding the method, industrial applicability is recognized.
Claims (13)
- 이미지 크기별로 서술자를 다수 생성하고, 상기 다수의 서술자 중 하나를 기반으로 콘텐츠 제공을 요청하되, 콘텐츠 제공 결과를 기반으로 서술자 종류를 가변하는 모바일 단말; 및A mobile terminal for generating a plurality of descriptors for each image size and requesting content provision based on one of the plurality of descriptors, and varying the descriptor type based on the content provision result; And콘텐츠 크기를 다수 단계로 리싸이징한 후, 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성 및 저장하며, 상기 모바일 단말로부터 서술자가 전송되면, 상기 전송된 서술자에 대응되는 콘텐츠를 획득 및 제공하는 서버를 포함하는 물체 인식을 이용한 콘텐츠 제공 시스템. After resizing the content size in multiple stages, a descriptor corresponding to each of the content source and the recycled content is generated and stored, and when the descriptor is transmitted from the mobile terminal, the content corresponding to the transmitted descriptor is obtained. And Content providing system using the object recognition including a providing server.
- 제1항에 있어서, 상기 서버는 The method of claim 1, wherein the server상기 전송된 서술자에 대응되는 콘텐츠를 검색하고, 콘텐츠 검색 성공시에는 콘텐츠와 서버 부하 정보를 함께 상기 모바일 단말에 제공하되, 콘텐츠 검색 실패시에는 상기 서버 부하 정보만을 상기 모바일 단말에 제공하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 시스템. Search for content corresponding to the transmitted descriptor, and if content search is successful, provide content and server load information to the mobile terminal, and if content search fails, provide only the server load information to the mobile terminal. Content providing system using object recognition.
- 제2항에 있어서, 상기 모바일 단말은The method of claim 2, wherein the mobile terminal상기 서버로부터 콘텐츠와 서버 부하 정보를 함께 전송받은 경우에는, 상기 서버 부하 정보를 확인함과 동시에 상기 서버의 응답 시간을 확인한 후, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 큰 경우에 한해 콘텐츠 제공 요청에 사용할 서술자 종류를 가변해주는 기능을 더 포함하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 시스템. When the content and server load information are transmitted together from the server, when the server load information is checked and the response time of the server is checked, when the response time is larger than the preset threshold despite the small server load. Content providing system using the object recognition, characterized in that it further comprises a function for varying the descriptor type to be used for the content providing request.
- 제2항에 있어서, 상기 모바일 단말은The method of claim 2, wherein the mobile terminal상기 서버로부터 콘텐츠와 서버 부하 정보를 함께 전송받은 경우에는, 상기 서버 부하 정보를 확인함과 동시에 상기 서버의 응답 시간을 확인한 후, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 큰 경우에 한해 콘텐츠 스트리밍 방법을 가변해주는 기능을 더 포함하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 시스템. When the content and server load information are transmitted together from the server, when the server load information is checked and the response time of the server is checked, when the response time is larger than the preset threshold despite the small server load. Content providing system using object recognition, characterized in that it further comprises a function to vary the content streaming method only.
- 모바일 단말이 이미지를 획득한 후, 이미지 크기별로 서술자를 다수 생성하는 단계;After the mobile terminal acquires an image, generating a plurality of descriptors for each image size;상기 모바일 단말이 상기 이미지의 원본 크기에 대응되는 서술자를 통해 콘텐츠 제공을 서버에 요청하는 단계; Requesting, by the mobile terminal, the server to provide content through a descriptor corresponding to the original size of the image;상기 서버가 상기 서술자를 대응되는 콘텐츠를 검색한 후, 콘텐츠 검색이 성공시에는 검색 성공한 콘텐츠를 상기 모바일 단말에 제공하되, 콘텐츠 검색이 실패시에는 서버 부하 정보를 상기 모바일 단말에 제공하는 단계; 및 After the server searches for the content corresponding to the descriptor, if the content search is successful, providing the successful content to the mobile terminal, and if the content search fails, providing server load information to the mobile terminal; And상기 콘텐츠를 수신한 상기 모바일 단말은 콘텐츠 제공 동작을 수행하되, 상기 서버 부하 정보를 수신한 상기 모바일 단말은 상기 서버 부하 정보를 기반으로 서술자 종류를 가변한 후, 콘텐츠 제공을 재요청하는 단계를 포함하는 물체 인식을 이용한 콘텐츠 제공 방법. The mobile terminal receiving the content performs a content providing operation, and the mobile terminal receiving the server load information varies a descriptor type based on the server load information, and then re-requests to provide the content. Content providing method using object recognition.
- 제5항에 있어서, 상기 모바일 단말에 제공하는 단계는 The method of claim 5, wherein the providing to the mobile terminal콘텐츠 검색이 성공시, 검색 성공한 콘텐츠에 상기 서버 부하 정보를 매핑하여 제공하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 방법. When content search is successful, the content providing method using object recognition, characterized in that for providing the server load information to the searched successful content.
- 제6항에 있어서, The method of claim 6,상기 서버가 콘텐츠를 제공하고 서버 부하가 기 설정된 값보다 작음에도 불구하고, 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 서술자 종류를 가변하는 단계를 더 포함하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 방법. If the server provides the content and the server load is smaller than the preset value, but the response time is greater than the preset value, the method further comprises: varying the descriptor type to be used in the content providing request based on the response time. Content providing method using the object recognition, characterized in that.
- 제7항에 있어서, The method of claim 7, wherein상기 서버가 콘텐츠를 제공하고 서버 부하가 기 설정된 값보다 작음에도 불구하고, 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 콘텐츠 스트리밍 방법을 가변하는 단계를 더 포함하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 방법. If the server provides the content and the server load is less than the preset value, but the response time is greater than the preset value, the method further comprises: varying a content streaming method to be used in the content providing request based on the response time; Content providing method using the object recognition, characterized in that.
- 제 1항 내지 제 8항 중 어느 한 항에 따른 콘텐츠 제공 방법을 이용한 오브젝트 정보 제공 방법으로, An object information providing method using a content providing method according to any one of claims 1 to 8,오브젝트에 대한 영상 이미지가 사용자 단말로부터 오브젝트 정보 제공 서버로 전송되는 단계;Transmitting a video image of the object from the user terminal to the object information providing server;상기 전송된 영상 이미지의 특징으로부터 상기 오브젝트가 식별되는 단계;Identifying the object from a feature of the transmitted video image;상기 식별된 오브젝트에 대응하는 오브젝트 정보가 상기 오브젝트 정보 제공 서버로부터 상기 사용자 단말로 전송되는 단계를 포함하는 것을 특징으로 하는 오브젝트 정보 제공 방법.And transmitting object information corresponding to the identified object from the object information providing server to the user terminal.
- 제 9항에 있어서, The method of claim 9,상기 오브젝트 정보는, 오브젝트에 따라 상이하게 설정되며, 상기 오브젝트 정보는, 상기 오브젝트 정보를 제공하는 정보 제공 단말로부터 상기 오브젝트 정보 제공 서버로 전송되어 저장되는 것을 특징으로 하는 오브젝트 정보 제공 방법.The object information is set differently according to an object, and the object information is transmitted from an information providing terminal providing the object information to the object information providing server and stored.
- 제 10항에 있어서, The method of claim 10,상기 오브젝트 정보의 양은, 상기 정보 제공 단말로부터 상기 오브젝트 정보 제공 서버로 전송되는 제안금액에 따라 달라지는 것을 특징으로 하는 오브젝트 정보 제공 방법.The object information providing method is characterized in that the amount of the object information depends on the offer amount transmitted from the information providing terminal to the object information providing server.
- 제 11항에 있어서, The method of claim 11,상기 제안금액에 비례하여 상기 오브젝트 정보의 양도 증가하는 것을 특징으로 하는 오브젝트 정보 제공 방법.And the amount of the object information increases in proportion to the offer amount.
- 제 12항에 있어서, 상기 오브젝트 정보 제공 방법은, The method of claim 12, wherein the object information providing method comprises:상기 식별된 오브젝트에 대한 오브젝트 정보의 전송 횟수가, 상기 오브젝트 정보 제공 서버에 저장되는 단계를 더 포함하며, 상기 오브젝트 정보 제공 서버에 저장된 오브젝트 정보의 횟수와, 해당 오브젝트의 식별 정보는, 사용자 단말의 요청 신호에 따라 상기 사용자 단말로 전송되는 것을 특징으로 하는 오브젝트 정보 제공 방법.The number of the transmission of the object information for the identified object is further stored in the object information providing server, wherein the number of object information stored in the object information providing server and the identification information of the object, the user terminal Object information providing method characterized in that the transmission to the user terminal according to the request signal.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0006514 | 2014-01-20 | ||
KR1020140006514A KR101892286B1 (en) | 2014-01-20 | 2014-01-20 | Content providing system and method by using object recognition |
KR10-2014-0052779 | 2014-04-30 | ||
KR1020140052779A KR20150125417A (en) | 2014-04-30 | 2014-04-30 | Method for providing information for objects based upon image |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015108243A1 true WO2015108243A1 (en) | 2015-07-23 |
Family
ID=53543109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2014/004018 WO2015108243A1 (en) | 2014-01-20 | 2014-05-07 | System and method for providing contents using object recognition, and application thereof |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2015108243A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3410353A1 (en) * | 2017-06-01 | 2018-12-05 | eyecandylab Corp. | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information |
KR101942892B1 (en) * | 2018-11-14 | 2019-01-29 | 아이픽셀 주식회사 | Client terminal performing the hybrid machine vision and method of thereof |
US11483535B2 (en) | 2021-01-12 | 2022-10-25 | Iamchillpill Llc. | Synchronizing secondary audiovisual content based on frame transitions in streaming content |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004151917A (en) * | 2002-10-30 | 2004-05-27 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
US20060173965A1 (en) * | 2004-12-31 | 2006-08-03 | Lg Electronics Inc. | Multimedia messaging service method of mobile communication terminal |
KR20070045982A (en) * | 2005-10-28 | 2007-05-02 | 캐논 가부시끼가이샤 | Image distribution system and client terminal and control method thereof |
JP2007279858A (en) * | 2006-04-03 | 2007-10-25 | Canon Inc | Information terminal, information distribution device, and information distribution system |
KR20090091854A (en) * | 2008-02-26 | 2009-08-31 | 중앙대학교 산학협력단 | System and method of content adaptation for mobile web conditions |
-
2014
- 2014-05-07 WO PCT/KR2014/004018 patent/WO2015108243A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004151917A (en) * | 2002-10-30 | 2004-05-27 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
US20060173965A1 (en) * | 2004-12-31 | 2006-08-03 | Lg Electronics Inc. | Multimedia messaging service method of mobile communication terminal |
KR20070045982A (en) * | 2005-10-28 | 2007-05-02 | 캐논 가부시끼가이샤 | Image distribution system and client terminal and control method thereof |
JP2007279858A (en) * | 2006-04-03 | 2007-10-25 | Canon Inc | Information terminal, information distribution device, and information distribution system |
KR20090091854A (en) * | 2008-02-26 | 2009-08-31 | 중앙대학교 산학협력단 | System and method of content adaptation for mobile web conditions |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3410353A1 (en) * | 2017-06-01 | 2018-12-05 | eyecandylab Corp. | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information |
US10721431B2 (en) | 2017-06-01 | 2020-07-21 | eyecandylab Corp. | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information |
KR101942892B1 (en) * | 2018-11-14 | 2019-01-29 | 아이픽셀 주식회사 | Client terminal performing the hybrid machine vision and method of thereof |
US11068734B2 (en) | 2018-11-14 | 2021-07-20 | Ipixel Co., Ltd. | Client terminal for performing hybrid machine vision and method thereof |
US11483535B2 (en) | 2021-01-12 | 2022-10-25 | Iamchillpill Llc. | Synchronizing secondary audiovisual content based on frame transitions in streaming content |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020044097A1 (en) | Method and apparatus for implementing location-based service | |
WO2012093839A2 (en) | Method and apparatus for collecting content | |
WO2012128538A2 (en) | Identification code processing system, identification code processing method thereof, and apparatus for supporting same | |
US20140032562A1 (en) | Apparatus and methods for user generated content indexing | |
WO2013048091A2 (en) | Apparatus and method for clipping and sharing content at a portable terminal | |
CN110020093A (en) | Video retrieval method, edge device, video frequency searching device and storage medium | |
WO2014175520A1 (en) | Display apparatus for providing recommendation information and method thereof | |
WO2016035970A1 (en) | Advertisement system using search advertisement | |
US10372746B2 (en) | System and method for searching applications using multimedia content elements | |
WO2015108243A1 (en) | System and method for providing contents using object recognition, and application thereof | |
WO2019050369A1 (en) | Method and device for providing contextual information | |
WO2017052772A1 (en) | System and method for accessing images with a captured query image | |
WO2012002725A2 (en) | Method and apparatus for converting content | |
US8218054B2 (en) | Image display system, image display apparatus, image providing apparatus and method thereof | |
JP2011076336A (en) | Digital signage system and method for identifying display device viewed by user | |
WO2014098308A1 (en) | Method for displaying unified app information based on open app store, and computer readable recording medium therefor | |
WO2015130062A1 (en) | Method for providing image data based on cloud streaming, apparatus and system therefor | |
US8768999B2 (en) | System and method of acquiring contents | |
KR20200024541A (en) | Providing Method of video contents searching and service device thereof | |
WO2016204412A1 (en) | Terminal device and method for displaying image by same, and web server and method for providing webpage by same | |
KR101477642B1 (en) | Flat board printer | |
JP5946315B2 (en) | Image search system | |
US8013866B2 (en) | Image display system, image display apparatus, image providing apparatus and method thereof | |
CN105589870B (en) | Method and system for filtering webpage advertisements | |
CN111353536B (en) | Image labeling method and device, readable medium and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14878726 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 27/09/2016) |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14878726 Country of ref document: EP Kind code of ref document: A1 |