WO2017104922A1 - 추천 컨텐츠 제공 방법 및 이를 위한 장치 - Google Patents

추천 컨텐츠 제공 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2017104922A1
WO2017104922A1 PCT/KR2016/007316 KR2016007316W WO2017104922A1 WO 2017104922 A1 WO2017104922 A1 WO 2017104922A1 KR 2016007316 W KR2016007316 W KR 2016007316W WO 2017104922 A1 WO2017104922 A1 WO 2017104922A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image data
terminal device
recommendation
user
Prior art date
Application number
PCT/KR2016/007316
Other languages
English (en)
French (fr)
Inventor
임재우
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150180466A external-priority patent/KR20170072071A/ko
Priority claimed from KR1020150188281A external-priority patent/KR102594094B1/ko
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Publication of WO2017104922A1 publication Critical patent/WO2017104922A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a method and apparatus for providing recommended content, and more particularly, extracts fact information through sensor information and image analysis information of a photograph taken or captured by a user, and extracts estimation information through contextual analysis information.
  • the present invention relates to a method and an apparatus for providing customized recommendation content specialized to a corresponding user by classifying a plurality of image data based on the fact information and estimated information.
  • ICT Information Communication Technology
  • Mobile technology is the foundation for connecting and communicating anytime, anywhere, beyond the limits of time and space, and wearable technology goes beyond the limitations of conventionally shaped devices that can be worn, bent, and worn. Is to implement.
  • Big data is a new service that acts as a catalyst for creating a new paradigm in the ICT field. Big data refers to a vast amount of data that could not be processed by existing management and analysis systems. With the advent of technology, big data began to attract attention in the social and economic fields, and research on big data related to technologies and tools (collection, storage, retrieval, sharing, analysis, visualization, etc.) has been actively conducted, and big data analysis technology As it entered the smart era where ICT's routine became commonplace, the influence of big data increased further by combining with social, things, and data.
  • the camera function of the smartphone is combined with the SNS service
  • users take SNS by taking pictures of various surroundings (a surrounding landscape, a restaurant, a sign, a schedule, a product) as a concept of information as well as a daily record. Sharing and keeping with others is becoming commonplace.
  • the present invention receives and stores a picture taken or captured by a content content server, extracts fact information through sensor information and image analysis information of the received picture, and context of the picture. Analyze the information, extract the estimated information based on this, and extract the recommended information suitable for the user's situation based on the extracted fact information and the estimated information to provide to the user, thereby changing the user's behavior and the surrounding situation
  • An object of the present invention is to provide a method and an apparatus for providing recommended content that can provide customized content to a user.
  • the first embodiment according to the present invention is one or more in consideration of the difference between the time the user took a picture, the time the picture is stored in the content providing server, and the time that the content providing server extracts the recommended information for the user
  • the first embodiment is one or more in consideration of the difference between the time the user took a picture, the time the picture is stored in the content providing server, and the time that the content providing server extracts the recommended information for the user
  • one or more predetermined criteria may be set based on the extracted fact information and the estimated information, and the photographs may be classified according to the set criteria and extracted from the classified criteria or the classified photographs.
  • An object of the present invention is to provide a method and an apparatus for providing contents that enable an effective marketing strategy based on age and gender.
  • a method of providing recommended content may include obtaining, by a content providing server, at least one image data and sensor information corresponding to each of the image data; Extracting image analysis information by analyzing a character or a figure included in each image data based on the image data; analyzing contextual information representing a situation included in each image data based on the image data; and extracting the image analysis information; Extracting fact information for each of the image data based on the sensor information, extracting estimation information for each of the image data based on the analyzed context information, and fact information and estimation for each of the image data Based on at least one of the information
  • the method may include transmitting at least one information related to the at least one image data to the at least one terminal device or a third service server.
  • Content providing server for achieving the above object is a communication module for transmitting and receiving data with at least one terminal device or a third service server in conjunction with a communication network, at least one received from the at least one terminal device
  • a storage module for storing image data and sensor information corresponding to each of the image data, and extracting image analysis information by analyzing a character or a figure included in each of the image data based on the image data stored in the storage module; Analyzing contextual information representing a situation included in each of the image data based on the image data, extracting fact information based on the extracted image analysis information and the sensor information, extracting estimation information based on the contextual information, Among the extracted fact information and recommendation information Also it may include a control module for controlling to transmit the one or more information related to the at least one image data based on either the at least one terminal device or third party service server through the communication module.
  • control module may control to map at least one of the fact information and the estimated information with the image data and store the information in the storage module, wherein the sensor information is generated when the terminal device generates the image data.
  • the terminal apparatus may further include at least one of position information, date and time information, and weather information of the terminal device, wherein the context information and the fact information are context information at a first time point and fact information at a first time point. May be estimation information of the second time point.
  • the control module may extract and transmit one or more recommendation information based on the extracted fact information of the first view and the estimated information of the second view, and the control module may transmit the image data by the terminal device.
  • the first view information which is a generated time, may be received from the terminal device, and the recommendation information may be extracted by further considering a difference between the first view point and a second view point at which the recommendation information is extracted.
  • the at least one recommendation information may be extracted in consideration of the received user information, and the control module may be based on the extracted fact information and estimation information.
  • the image data may be classified, and at least one information related to the classified at least one image data may be transmitted to the at least one terminal device or a third service server.
  • the control module may extract one or more recommendation information based on the fact information and the estimated information of the classified image data, and the control module may extract one or more recommendation information based on the extracted fact information and the estimation information.
  • the recommendation list may be generated, and the remaining recommendation information may be extracted from the one or more recommendation information included in the recommendation list except for the recommendation information corresponding to the image analysis information.
  • the control module may include the fact information and the estimation information. Characteristic information for each user may be extracted based on at least one of the classified image data.
  • the control module may provide the terminal device with the at least one image data classified according to the same criteria, and the control module may first classify the associated image data according to a predetermined criterion based on the fact information.
  • the image data having a predetermined feature may be secondarily classified into the first classified image data based on the estimated information.
  • the fact information is extracted by using sensor information and data analysis information of a picture taken or captured by a user, and the estimation information is extracted by using contextual information obtained by analyzing a picture.
  • the first embodiment according to the present invention in consideration of the difference between the time the picture was taken or the time the picture is stored in the content providing server and the time that the content providing server recommends recommendation information, In addition, by extracting the recommendation information reflecting the trend of recommending the recommendation information at the time, it is possible to increase the user's satisfaction by providing better quality recommendation information to the user.
  • one or more predetermined criteria may be set based on the extracted fact information and estimated information, and the photographs may be classified according to the set criteria to be extracted from the classified criteria or the classified photographs.
  • FIG. 1 is a view showing the configuration of a content providing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a terminal apparatus according to the present invention.
  • 3 to 4 are flowcharts for describing an operation process of a terminal device according to an exemplary embodiment of the present invention.
  • FIG. 5 is a block diagram showing the configuration of a content providing server according to the present invention.
  • 6 to 9 are flowcharts illustrating an operation process of a content providing server according to an exemplary embodiment of the present invention.
  • ordinal numbers such as first and second, are used to describe various components, and are used only to distinguish one component from another component, and to limit the components. Not used.
  • the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • unit for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.
  • embodiments within the scope of the present invention include computer readable media having or conveying computer executable instructions or data structures stored on the computer readable medium.
  • Such computer readable media can be any available media that can be accessed by a general purpose or special purpose computer system.
  • Such computer readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer executable instructions, computer readable instructions or data structures. And may include, but are not limited to, any other medium that can be used to store or deliver certain program code means, and can be accessed by a general purpose or special purpose computer system. .
  • the present invention relates to personal computers, laptop computers, handheld devices, multiprocessor systems, microprocessor-based or programmable consumer electronics, network PCs, minicomputers, mainframe computers, mobile phones, PDAs, pagers It may be practiced in a network computing environment having various types of computer system configurations, including (pager) and the like.
  • the invention may also be practiced in distributed system environments where both local and remote computer systems that are linked via wired networks, wireless data links, or combinations of wired and wireless data links perform tasks.
  • program modules may be located in both local and remote memory storage devices.
  • the image or image data refers to a picture or photo data.
  • the image or image data according to an embodiment of the present invention does not necessarily mean only photographs or photo data, and any image may be any image according to an embodiment of the present invention as long as it is an image such as a picture or a shape that can be recognized as an image other than a photograph. It can be an image or image data.
  • FIG. 1 is a diagram schematically illustrating a structure of a content providing system according to an exemplary embodiment of the present invention.
  • a content providing system may include a terminal device 200, a content providing server 300, and a third service server 400.
  • the content providing server 300 is interworked with the terminal device 200 and the third service server 400 through the communication network 100.
  • the communication network 100 transfers data for data transmission and reception between the terminal device 200 and the content providing server 300 or between the third service server 400 and the content providing server 300, and implements a system.
  • wired communication methods such as Ethernet, xDSL (ADSL, VDSL), Hybrid Fiber Coaxial Cable (HFC), Fiber to The Curb (FTTC), and Fiber To The Home (FTTH).
  • the communication network 100 may include, for example, a plurality of access networks (not shown) and a core network (not shown), and may be configured to include an external network such as an internet network (not shown).
  • the access network (not shown) is a connection network for performing wired and wireless communication with the terminal device 200, for example, a plurality of base stations such as a base station (BS), a base transceiver station (BTS), a NodeB, an eNodeB, and a BSC.
  • BS base station
  • BTS base transceiver station
  • NodeB NodeB
  • eNodeB eNodeB
  • BSC Base Station Controller
  • RNC Radio Network Controller
  • the digital signal processing unit and the wireless signal processing unit which are integrally implemented in the base station, are divided into digital units (hereinafter referred to as DUs and radio units (hereinafter referred to as RUs)).
  • DUs and radio units hereinafter referred to as RUs
  • a plurality of RUs may be respectively installed in a plurality of areas, and a plurality of RUs (not shown) may be connected to a centralized DU (not shown).
  • the core network (not shown) constituting the mobile network together with the access network (not shown) serves to connect the access network (not shown) and the external network, for example, the Internet network (not shown).
  • the core network is a network system that performs a main function for mobile communication services such as mobility control and switching between access networks (not shown), and includes circuit switching or packet switching. switching, and manages and controls the packet flow in the mobile network.
  • the core network manages inter-frequency mobility and performs a role for interworking with traffic in the access network (not shown) and the core network (not shown) and other networks such as the Internet network (not shown). It may be.
  • the core network further includes Serving GateWay (SGW), PDN GateWay (PGW), Mobile Switching Center (MSC), Home Location Register (HLR), Mobile Mobility Entity (MME), and Home Subscriber Server (HSS). It may be configured to include.
  • SGW Serving GateWay
  • PDN GateWay PDN GateWay
  • MSC Mobile Switching Center
  • HLR Home Location Register
  • MME Mobile Mobility Entity
  • HSS Home Subscriber Server
  • the Internet network refers to a conventional public communication network, that is, a public network, in which information is exchanged according to the TCP / IP protocol, and is connected to the terminal device 200 and is provided from the terminal device 200.
  • Information may be provided to the content providing server 300 via a core network (not shown) and an access network (not shown), and conversely, information provided to the content providing server 300 may be provided to the core network (not shown) and the access network (not shown). It may be provided to the terminal device 200 through the).
  • the present invention is not limited thereto, and the content providing server 300 may be integrally implemented with a core network (not shown).
  • the terminal device 200 of the present invention refers to a user device capable of transmitting and receiving various data via the communication network 100 according to a user's operation.
  • the terminal device 200 may perform voice or data communication through the communication network 100, and may transmit and receive information through the content providing server 300 and the communication network 100.
  • the terminal device 200 may include a memory for storing programs and protocols for transmitting and receiving image data, a microprocessor for executing and controlling various programs, and the like.
  • the terminal device 200 preferentially accesses an app providing device (not shown) connected to the communication network 100, for example, an app store, and the like, and analyzes image data from the corresponding app store to provide a recommended content to a user. Can be received and installed.
  • the user terminal device 200 executes such a service app, transmits image data to the content providing server 300, and provides contents provided by the service app from the content providing server 300 (for example, a user's situation). Recommend content recommended, etc.) can be received and provided to the user.
  • the terminal device 200 captures an image such as a picture at the request of a user or captures a picture that is taken or generated by another user or the user and uploaded to an SNS, an instant message, or an email.
  • sensor information such as location information, date information, weather information, or the like where the image is captured or generated may be included in the image data, and in particular, may be included in the metadata of the image data.
  • the sensor information including the location information, the date information, and the weather information is not included in the image data, but may be separately generated and managed.
  • the location information may be obtained through a global positioning system (GPS) of the terminal device 200.
  • GPS global positioning system
  • the date and time information may be managed in the terminal device 200 or time information received by the terminal device 200 from a base station.
  • the weather information may be obtained by a timer, and the like, and weather information may be generated based on a sensing value measured by an illuminance sensor and a temperature sensor mounted in the terminal device 200, and interlocked with a weather application installed in the terminal device 200. May be obtained from the weather application.
  • the terminal device 200 that captures or captures image data including location information and transmits the image data to the content providing server 300 together with the first viewpoint information and the user information using the terminal device 200.
  • the sensor information is managed separately from the image data, the sensor information is also transmitted to the content providing server 300.
  • the user information may be known through a MAC address, which is unique identification information of the terminal device 200, and through this, user information such as age, gender, and region of residence of the user may be obtained.
  • such user information may be stored in the content providing server 300, and may be extracted by the content providing server 300 through unique identification information of the terminal device 200.
  • the terminal device 200 receives one or more recommendation information from the content providing server 300.
  • the terminal device 200 of the present invention may be implemented in various forms.
  • the terminal device 200 described in the present specification may be a mobile terminal such as a smart phone, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), or an MP3 player.
  • a mobile terminal such as a smart phone, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), or an MP3 player.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • MP3 player MP3 player
  • a fixed terminal such as a smart TV, a desktop computer, or the like may be used.
  • the terminal device 200 according to the convergence (convergence) trend of the digital device of the present invention can not enumerate all the variations of the mobile device, but the unit equivalent to the above-mentioned units in the present invention
  • any device may be used as the terminal device 200, and any device capable of downloading and installing a beacon service app according to the present invention may be used as the terminal device 200 according to an embodiment of the present invention.
  • the content providing server 300 is a device that manages the collected images, receives a service request from the terminal device 300, and provides information corresponding to the service.
  • the content providing server 300 receives and stores at least one image data and sensor information corresponding to each image data from the terminal device 200, and at this time, the content providing server 300 may further receive and store user information from the terminal device 200.
  • the content providing server 300 analyzes the contextual information of the first view based on the correlation of the received at least one image data, and based on the image analysis information and the received sensor information analyzing the at least one image data.
  • the factual information of one view may be extracted, and the estimated information of the second view may be extracted based on the analyzed context information.
  • the sensor information includes the location information, the date and time information, the weather information, etc. of the terminal device 200 when the image data is captured, and the sensor information may be separately managed, but in the form of metadata in the image data. May be included.
  • the image analysis information is obtained by analyzing various information included in an image such as a photograph, and may be a sign of a shop, a trademark of a clothes, a name of a specific building, and the like included in the image.
  • Contextual analysis information refers to situational information displayed in an image, and is information obtained by analyzing a specific person's behavior, distance in an image, and situation of a place included in the image.
  • the fact information is information about a fact corresponding to the image obtained through the sensor information and the image analysis information, and information about the fact that data can be left in the photographed place at the time the image was taken.
  • the estimation information may be information for estimating the situation in the image obtained through the context analysis information, and may be information estimated about a special situation that is assumed to occur at the location where the image was captured.
  • the content providing server 300 may extract one or more recommendation information based on the fact information and the estimated information, and transmit the extracted recommendation information to the terminal device 200.
  • Such recommendation information is information about recommendation products that a user of the terminal device 200 extracted based on the estimated information and fact information or may cause interest to a travel place, a restaurant, or the user that the user wants to go to. This can be information about books, music, movies, etc.
  • the content providing server 300 receives and stores the first viewpoint information, which is the time at which the image data is generated by the terminal device 200, that is, the time when the image such as a picture is taken, from the terminal device 200, and stores the first point information.
  • the recommended information may be extracted.
  • the recommendation information is reflected in the current situation in consideration of the time difference, that is, reflecting the current trend.
  • Such a time difference may be considered in order to provide recommendation information according to a difference in age or season of a user generated due to a time difference.
  • the recommendation information is extracted in consideration of the time difference, thereby increasing the user's satisfaction with the recommendation information.
  • the date information included in the sensor information may be used.
  • the content providing server 300 may receive user information from the terminal device 200 and extract the user information from the terminal device 200 in consideration of the received user information.
  • the terminal device 200 receives unique identification information such as the user, and extracts user information such as age, taste, and gender of the user from the identification information, or directly receives the user information from the terminal device 200, thereby further providing the user with the information.
  • Customized information can be extracted.
  • the remaining recommendation information other than the recommendation information corresponding to the image analysis information of the one or more recommendation information included in the recommendation list Can be extracted.
  • the content providing server 300 receives one image data from the terminal device 200, extracts the fact information of the first view based on the sensor information, image analysis information for one image data, one The contextual information analyzed based on the image data may be extracted, and the estimation information of the second view may be extracted to recommend one or more recommendation information based on the fact information and the estimation information, but at least one terminal device 200 may be used.
  • Receives a plurality of image data from the image extracts the fact information based on the sensor information, image analysis information for each of the plurality of image data, and analyzes the context information based on the association of the plurality of image data to the one or more recommended information You can also recommend
  • the number of image data required for extracting the recommendation information may be one or plural.
  • the content providing server 300 may map and store at least one of the extracted fact information and the estimated information with image data that was based on extracting the fact information and the estimated information.
  • Mapping and storing in this way in particular, by storing them separately for each user, it can be used to infer the user's taste and behavior patterns.
  • the stored image data may be shared through SNS, etc.
  • the extracted fact information and estimation information may be provided in the form of a link with the image included in the image data, and the image data may include fact information and estimation information. It can be classified into various categories based on this.
  • the content providing server 300 receives and stores at least one image data and sensor information corresponding to each of the at least one image data from the terminal device 200, and at this time, The content providing server 300 may further receive and store user information from the terminal device 200.
  • the content providing server 300 analyzes the image and context information included in the image data based on the received at least one image data, extracts the fact information based on the analyzed image analysis information and the received sensor information. In addition, estimation information can be extracted based on the analyzed contextual information.
  • the sensor information includes the location information, the date and time information, the weather information, etc. of the terminal device 200 when the image data is captured, and the sensor information may be separately managed, but in the form of metadata in the image data. May be included.
  • the image analysis information is obtained by analyzing various information included in an image such as a photograph, and may be a sign of a shop, a trademark of a clothes, a name of a specific building, and the like included in the image.
  • Contextual analysis information refers to situational information displayed in an image, and is information obtained by analyzing a specific person's behavior, distance in an image, and situation of a place included in the image.
  • the fact information is information about a fact corresponding to the image obtained through the sensor information and the image analysis information, and information about the fact that data can be left in the photographed place at the time the image was taken.
  • the estimation information may be information for estimating the situation in the image obtained through the context analysis information, and may be information estimated about a special situation that is assumed to occur at the location where the image was captured.
  • the content providing server 300 extracts fact information and estimation information
  • at least one of the extracted estimation information, fact information and user information and image data corresponding thereto may be mapped and stored.
  • One or more pieces of information may be transmitted to one or more terminal devices or a third service server.
  • classifying the at least one image data according to one or more criteria set based on at least one of the fact information and the estimation information includes the location, time, weather or place where the fact information is included, the person, or the estimation. This means grouping at least one image data received based on at least one of surrounding conditions, backgrounds, and landscapes in the photo included in the information.
  • One or more pieces of recommendation information are extracted based on the fact information and the estimated information of the grouped, that is, classified image data, and provided to the terminal device 200 of the user.
  • the user may recognize Jeju Island as being in a traveling state, and may extract and provide a recommendation destination or restaurant of Jeju Island as recommendation information. have.
  • the estimated information can be further utilized to provide recommended travel destinations, where the estimation information is 'people are walking on the meadow.' If you have a ramen, you may want to recommend a travel or sightseeing spot where you can ride horses.
  • a recommendation list including one or more recommendation information extracted based on the fact information and the estimated information is generated, and the image analysis information among one or more recommendation information included in the recommendation list.
  • Recommendation information corresponding to may be excluded.
  • the classified travel place is 'Jeju Island', and at least one image is analyzed and there are pictures taken around 'Manjanggul', 'manjanggul' is determined that the user has already visited, and recommends related to 'manjanggul'. Except for the information, the remaining recommendation information can be provided to the user.
  • classifying at least one image data that is, grouping at least one image data
  • classifying one or more image data according to a predetermined criterion and classifying according to the same criteria according to a user's request or need.
  • One or more image data may be provided to the user.
  • the characteristic information for each user from the classified at least one image data may be transmitted to the third service server 400.
  • the user's travel preference for example, the user likes a promenade or the like, which transmits the at least one image data to the content providing server 300 based on at least one of fact information and estimation information.
  • the user may extract a taste such as enjoying a gourmet trip, and transmit the extracted user-specific characteristic information to the third service server 400.
  • the associated image data is first classified based on the factual information based on a predetermined criterion, and then the first classified image data may be secondarily classified into image data having a predetermined characteristic based on the estimation information. Can be.
  • image data associated with 'Jeju Island' is classified first based on the fact information, and then secondly classified congested pictures with many people based on estimation information among the image data associated with 'Jeju Island'. Can be.
  • the third service server 400 is a device that receives characteristic information for each user from the content providing server 300 and collects and stores the received information for use in marketing.
  • the content providing server 300 has the same configuration as a conventional web server or network server.
  • software includes program modules implemented through languages such as C, C ++, Java, Visual Basic, Visual C, and the like.
  • a memory mounted in each device of the present invention stores information in the device.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module.
  • the computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
  • the terminal device 200 includes an input module 210, an output module 220, a storage module 230, a communication module 240, a sensor module 250, and a camera module. 260, the control module 270 may be configured to be included.
  • the input module 210 receives various information such as numeric and text information, sets various functions, and transmits a signal input in connection with the function control of the terminal device 200 to the control module 270.
  • the input module 210 may include at least one of a keypad and a touch pad generating an input signal according to a user's touch or manipulation.
  • the input module 210 may be configured in the form of one touch panel (or touch screen) together with the output module 220 to simultaneously perform input and display functions.
  • the input module 210 may be any type of input means that can be developed in the future, in addition to input devices such as a keyboard, a keypad, a mouse, a joystick, and the like.
  • the input module 210 according to the present invention detects the input information input from the user and transmits it to the control module 270.
  • the input module 210 of the terminal device 200 receives a user's image capture or creation request, an image capture request, and the like, so that the control module 270 can capture or capture an image.
  • the received request can be delivered.
  • the output module 220 displays information about a series of operation states and operation results generated while the function of the terminal device 200 is performed. In addition, the output module 220 may display a menu of the terminal device 200 and user data input by the user.
  • the output module 220 may include a liquid crystal display (LCD), an ultra-thin liquid crystal display (TFT-LCD), a light emitting diode (LED), an organic light emitting diode (OLED) Organic LED), an active organic light emitting diode (AMOLED, Active Matrix OLED), Retina Display (Retina Display), a flexible display (Flexible display) and three-dimensional (three-dimensional) display and the like.
  • the output module 220 may perform some or all of the functions of the input module 210.
  • the recommendation information received from the content providing server 300 through the output module 220 may be exposed to the user.
  • the storage module 230 is a device for storing data, and includes a main memory device and an auxiliary memory device, and stores an application program required for a functional operation of the terminal device 200.
  • the storage module 230 may largely include a program area and a data area.
  • the storage module 230 through the operating system for booting the terminal device 200, various application programs, user information matching the terminal device 200, through the camera module 260 of the terminal device 200 Image data information captured or captured, one or more recommended information received from the content providing server 300 may be stored.
  • the communication module 240 is for transmitting and receiving data with the content providing server 300 through the communication network (100).
  • the communication module 240 may include RF transmitting means for upconverting and amplifying the frequency of a transmitted signal, RF receiving means for low noise amplifying and downconverting a received signal, and for processing a communication protocol according to a specific communication method. Data processing means and the like.
  • the communication module 240 may include at least one of a wireless communication module (not shown) and a wired communication module (not shown).
  • the wireless communication module is a component for transmitting and receiving data according to a wireless communication method, and when the terminal device 200 uses wireless communication, any one of a wireless network communication module, a wireless LAN communication module, and a wireless fan communication module are used. To transmit and receive data to and from the content providing server 300.
  • the communication module 240 uses a wireless communication method such as a wireless LAN (WLAN), a Wi-Fi, a Wibro, a Wimax, a High Speed Downlink Packet Access (HSDPA), or the like.
  • WLAN wireless LAN
  • Wi-Fi Wireless Fidelity
  • Wibro Wireless Fidelity
  • Wimax Wireless Fidelity
  • HSDPA High Speed Downlink Packet Access
  • Ethernet xDSL
  • HFC Hybrid Fiber Coaxial Cable
  • FTTC Fiber to The Curb
  • FTTH Fiber To The Home
  • the sensor module 250 is a device for sensing and obtaining various information that can be sensed around the terminal device 200.
  • a representative example of such a sensor module 250 is a GPS (Global Positioning System).
  • the GPS receives a GPS signal, and when the terminal device 200 captures or generates image data such as a picture, the terminal device ( Acquisition of the location information of the 200 to determine the location where the picture is taken.
  • the sensor information for extracting the fact information may include date information, weather information, etc. in addition to the location information where the image such as the picture is taken.
  • the date information may include a timer or an external base station installed in the terminal device 200.
  • the weather information may be obtained from a temperature sensor, an illuminance sensor, or the like mounted on the terminal device 200.
  • the weather or date information may not be obtained by the sensor module 250, but may be obtained by interworking with a weather or calendar application installed in the terminal device 200.
  • the camera module 260 is a device for photographing a landscape, a person, and the like, of an area in which the terminal device 200 is located.
  • a user may generate image data by taking a picture or the like through the camera module 260 of the terminal device 200.
  • the control module 270 may be a process device for driving an operating system (OS) and each component.
  • OS operating system
  • control module 270 of the terminal device 200 controls to transmit the signal received through the input module 210 to the content providing server 300 through the communication module 240, and controls the communication module 240 Information transmitted from the content providing server 300 received through the control may be exposed to the output module 220 and may be controlled to store such information or data in the storage module 230.
  • control module 270 in the present invention can control the overall operation of the terminal device 200 according to an embodiment of the present invention.
  • the user captures an image such as a picture or captures an image stored in the content providing server 300 or another image storage server (not shown) through the camera module 260 of the terminal device 200 (S101).
  • the location information may be managed separately from the image data, may be included in the metadata of the image data, or may be included in the sensor information managed separately from the image data.
  • the control module 270 of the terminal device 200 controls to transmit the captured or captured image data to the content providing server 300 together with the sensor information, the user information, and the first time information.
  • the image data transmitted to the content providing server 300 refers to a time generated by the terminal device 200. In an embodiment of the present invention, the image data transmitted to the content providing server 300 may refer to a time when a picture is taken by the terminal device 200 ( S105).
  • the terminal device 200 After the control module 270 of the terminal device 200 transmits the above information to the content providing server 300 through the communication module 240, the terminal device 200 receives the communication module from the content providing server 300. By receiving at least one recommendation information through the 240 (S107), the output module 220 may be controlled to provide the one or more recommendations to the user.
  • the user captures an image such as a picture or captures an image stored in the content providing server 300 or another image storage server (not shown) through the camera module 260 of the terminal device 200 (S201).
  • Such sensor information may be managed separately from the image data or may be included in metadata of the image data.
  • the control module 270 of the terminal device 200 may control to transmit the photographed or captured image data to the content providing server 300 together with the sensor information and the user information (S105).
  • the terminal device 200 After the control module 270 of the terminal device 200 transmits the above information to the content providing server 300 through the communication module 240, the terminal device 200 receives the communication module from the content providing server 300. By receiving at least one recommendation information through the 240 (S207), the output module 220 may be controlled to provide the one or more recommendations to the user.
  • the overall operation process of the terminal device 200 according to the embodiment of the present invention described above may be controlled and executed by the control module 270 of the terminal device 200 as described above.
  • the content providing server 300 may include a communication module 310, a storage module 330, and a control module 350.
  • the communication module 310 is for communicating with the terminal device 200.
  • the communication network for performing the function of the communication module 310 is WLAN (Wireless LAN), Wi-Fi (Wi-Fi), Wibro (Wibro), WiMAX ( It is preferable to use a wireless communication method such as Wimax) or HSDPA (High Speed Downlink Packet Access). Wired communication methods such as cable, fiber to the curb, and fiber to the home may be used.
  • the communication module 310 may receive image data, sensor information, user information, etc. from the terminal device 200 through the communication network 100, and the extracted at least one recommendation information of the terminal device ( 200).
  • the storage module 330 is a device for storing data.
  • the storage module 330 includes a main memory device and an auxiliary memory device, and stores an application program required for a functional operation of the terminal device 200.
  • the storage module 330 may largely include a program area and a data area.
  • the terminal device 200 activates each function in response to a user's request, the terminal device 200 executes corresponding application programs under the control of the control module 350 to provide each function.
  • the storage module 330 may classify the image data according to one or more criteria set based on at least one of fact information and estimation information of each image data, and store the image data in the form of an image grouping DB 331. .
  • the one or more pieces of recommendation information may be stored in the form of recommendation information DB 333 to provide one or more pieces of recommendation information based on the fact information and the estimated information.
  • the storage module 330 may store image data in the form of an image DB 335.
  • the image data may be extracted based on fact information and context information extracted based on sensor information and image analysis information.
  • the information may be stored in the form of an image DB 335 by mapping with at least one piece of information.
  • the control module 350 may extract one or more personalized recommendation information personalized to the user based on the image data and the sensor information received through the communication module 310 and transmit the extracted recommendation information to the terminal device 200. .
  • the control module 350 controls the overall operation process of the content providing server 300. Referring to FIGS. 6 to 9 for the overall operation process of the content providing server 300 controlled by the control module 250. To explain.
  • the content providing server 300 receives at least one image data and sensor information corresponding to each image data from at least one terminal device 200, and stores the storage module.
  • the image is stored in the image DB 335 of 330.
  • the image data received from the at least one terminal device 200 may be singular or plural.
  • the contextual information of the first view is analyzed based on the correlation of the received image data. Based on this, context information of the first view is analyzed.
  • the content providing server 300 may receive the first viewpoint information, which is the time when the image data is generated or photographed from the terminal device 200 and the user information of the user of the terminal device 200 (S301).
  • the received sensor information may include at least one of position information, date and time information and weather information of the terminal device 200 generating or photographing the image data at the time when the image data is generated or photographed.
  • the location information may be obtained by the GPS module 250 of the terminal device 200.
  • the content providing server 300 analyzes the context information of the first view based on the association of the received at least one image data, extracts the image analysis information by analyzing the image included in the image data (S303), and The fact information of the first view is extracted based on the analyzed image analysis information and the received sensor information (S305).
  • estimation information of the second view is extracted based on the analyzed context information (S307), and the image DB 335 of the storage module 330 is mapped with at least one of the estimation information and the fact information and the image data. Store in (S309).
  • the content providing server 300 extracts one or more recommendation information based on the extracted fact information of the first view and the estimated information of the second view.
  • the content providing server 300 may extract the recommendation information by further considering the difference between the first view information received previously and the second view point at which the recommendation information is extracted.
  • the content providing server 300 may recommend trendy information to the user.
  • the first time point is spring and the second time point for extracting current recommendation information is winter, it is possible to recommend a trendy item in winter considering the change of season or recommend a restaurant considering cold weather. If the time interval between the first time point and the second time point is 3 years, the trend analysis result and the image data analysis result are combined through the three year trend analysis, and are included in the image data in a more current fashion. I can recommend a product suitable for a brand, a kind such as the fashion product which became old.
  • the recommendation information may be recommended to further increase the possibility of extracting user-specific recommendation information that may increase user satisfaction.
  • the products, destinations, restaurants, etc. included in the image data are already used or visited by the user, and it is highly unlikely that the users need to recommend such products, destinations, restaurants, etc.
  • the remaining recommendation information except for may be extracted (S311).
  • the content providing server 300 transmits the extracted recommendation information to the terminal device 200 to provide it to the user (S313).
  • the operation of the content providing server 300 shows that the content providing server 300 is configured to transmit image data, user information, and the image data from the terminal device 200.
  • the corresponding sensor information is received and stored in the storage module 330 (S401).
  • the received sensor information may include at least one of position information, date and time information and weather information of the terminal device 200 generating or photographing the image data at the time when the image data is generated or photographed.
  • Sensor information including the location information may be obtained by the sensor module 250 of the terminal device 200.
  • the content providing server 300 extracts image analysis information by analyzing characters or figures included in the received image data, and analyzes contextual information indicating a situation included in each image data (S403).
  • the fact information is extracted based on the information and the received sensor information (S405).
  • the estimated information is extracted based on the analyzed context information (S407), and at least one of the estimated information and the fact information is mapped to image data and stored in the storage module 330 (S409).
  • a process of providing recommendation information to the terminal device 200 will include storing at least one image data based on one or more criteria set based on at least one of fact information and estimation information.
  • Classification that is, grouping (S501).
  • the at least one image data may be first classified among the associated image data on the basis of the fact information based on a predetermined criterion, and then secondly classified into the image data having certain characteristics based on the estimated information.
  • the user's situation is analyzed based on the fact information and the estimated information from the classified images (S503), that is, to which region the user is traveling based mainly on the fact information and the estimated information from the classified images, mainly in which place
  • the number of photographs taken at or in the same place may mean that the user is interested in such a place, and thus the above information, that is, the situation of the user may be analyzed through the classified image data.
  • At least one recommendation information may be extracted based on the analyzed user situation (S505), and the extracted recommendation information may be transmitted to the terminal device 200 and provided to the user (S507).
  • the content providing server 300 generates a recommendation list including the extracted one or more recommendation information, and recommends the remaining recommendation information except for the recommendation information corresponding to the image analysis information among one or more recommendation information included in the recommendation list.
  • Information can be extracted and provided to the user.
  • the content providing server 300 may provide the terminal device 200 with at least one image data classified according to the same criteria according to a user's request or need.
  • the content providing server 300 provides a feature information for each user to the third service server 400
  • at least one user provides image data stored in the storage module 330.
  • the extracted characteristic information may be transmitted to the third service server 400 (S605).
  • the service provider managing the third service server 400 extracts the characteristic information of the preferred travel destination and the preferred restaurant for each user from the classified image data and transmits the characteristic information to the third service server 400. Can be used for marketing.
  • the overall operation of the above-described content providing server 300 may be controlled and executed by the control module 350 of the content providing server 300.
  • 10 to 11 are exemplary views illustrating a process of extracting recommendation information as an example according to the first embodiment of the present invention.
  • FIG. 10 shows the terminal device 200 to be analyzed by the content providing server 300. Represents an image of photographed or captured image data.
  • Content providing server 300 is included in the image data of Figure 10, or separately The position at which the image data is taken or generated through the received sensor information 'Jimnyeong Beach, Jeju City', date and time is August 3, 2015, the weather is 33 degrees Celsius You can see the weather is clear.
  • the content providing server 300 One or more recommended information is extracted and provided to the user. Assuming that the recommendation information recommends more than one product, as shown in FIG. You can recommend more than one rash guard or surfwear of the same brand.
  • Figure 13 is a good landscape Recommended based on the photo classification criteria of (b), (c), (d), and (f) that have the attraction Tours are provided to users.
  • the content providing server 300 may extract the extracted fact information and the estimated information. Based on what users like to "see the leisurely scenery, By grasping the characteristic information of the user and providing to the third service server 400, The third service provider can use it for marketing.
  • FIG. 13 is a view illustrating recommended content in a recommended content providing system according to an exemplary embodiment of the present invention.
  • an exemplary computing system implementing the present invention is processing Various, including unit 11, system memory 12, and system memory 12
  • a system bus 10 that connects system components to the processing unit 11 Includes a shaped computing device that includes.
  • the processing unit 11 is computer-executable designed to implement the features of the present invention. You can run the command.
  • System bus 10 is a local bus that uses any of a variety of bus architectures. Some, including buses, peripheral buses, and memory buses or memory controllers. It can be any of the types of bus structures.
  • System memory (12) includes read only memory (ROM) 12a and random access (RAM).
  • Memory 12b Components within a computing system, such as at startup.
  • Basic I / O including basic routines to help transfer information between System (BIOS) 13a may generally be stored in ROM 12a.
  • the computing system may comprise storage means, for example, hard hard Hard disk that reads information from or writes information to the hard disk Disk drive 15 reads information from or writes to a magnetic disk.
  • Magnetic disk drive 16 for recording information, and, for example, CD-ROM or other optical Reading information from or writing information to an optical disc, such as a medium It may include an optical disk drive 17.
  • Hard disk drive 15, magnetic disk drive 16, and optical disk Drive 17 is a hard disk drive interface 18, magnetic disk respectively System by drive-interface 19, and optical drive interface 20 It is connected to the bus 10.
  • the computing system may further include an external memory 21 as a storage means.
  • the external memory 21 is connected to the system bus 10 through the input / output interface 24. Can be connected.
  • the drive described above and the associated computer read and written by the drive Readable media include computer-executable instructions, data structures, program modules, and other Provides nonvolatile storage of data.
  • Example environments described herein The hard disk 15, the magnetic disk 16 and the optical disk 17 are illustrated, but besides Magnetic Cassette, Flash Memory Card, DVD, Bernoulli Cartridge, Other types of computer readable storage data including RAM, ROM, etc. It can be a medium.
  • Operating system 13b which is loaded and executed by the processing unit 11, One or more application programs 13c, other program modules 13d, and programs Program code comprising one or more program modules containing data 13c
  • the means may be a hard disk 15, a magnetic disk 16, an optical disk 17, a ROM 12a or It may be stored in the RAM 12b.
  • the computing system includes a keyboard, a pointing device, a microphone, a joy stick, . Commands from the user via other input devices 22 such as game pads, scanners, etc. Information can be input.
  • the input / output interface 24 is, for example, serial Port interface, PS / 2 interface, parallel port interface, USB interface, Institute of Electrical and Electronics Engineers (IEEE) 1394 interface (i.e. Wide variety of different interfaces, such as the Fire Wire interface Logically represent any of these, or even a combination of other interfaces Can be represented logically.
  • IEEE Institute of Electrical and Electronics Engineers
  • the computing system to which the present invention is applied such as a monitor or LCD
  • the display device 26 or an audio device 27 such as a speaker or microphone
  • the display device 26 or an audio device 27 can include, through the video / audio interface 25 system It is connected to the bus 10.
  • a computing system implementing the invention may, for example, be used in an office-wide or Businesses-such as wide area computer networks, home networks, intranets, and / or the Internet Can connect to the network.
  • Computer systems can be connected via these networks, For example, remote computer systems, remote applications, and / or remote databases You can exchange data with the same external sources.
  • a computing system to which the present invention is applied may receive data from an external source.
  • such a computing system via the network interface 28 Send and receive information to and from devices located remotely.
  • the content is provided through the network interface 28.
  • Information may be transmitted and received with the server 300.
  • the computing system means the content providing server 300
  • the network Information with the terminal device 200 or the third service server 400 through the interface 28 Can send and receive Network interface 28 is, for example, a network interface Cards and corresponding network driver interface specifications (Network Driver Interface) Specification: One or more software and / or hardware, such as an "NDIS" stack It can be represented as a logical combination of modules.
  • a computer system may be connected from an external source via an input / output interface 24.
  • I / O interface 24 Modem 23 (eg standard modem, cable modem, or digital subscriber line) subscriber line: "DSL”) modem) and can be connected via an external modem (23).
  • Modem 23 eg standard modem, cable modem, or digital subscriber line
  • DSL digital subscriber line
  • various information generated when determining whether to enter the store of the present invention is computing And may be stored and accessed in any computer readable medium associated with the system.
  • some of these program modules and some of the associated program data, Operating system 13b, application for storage in system memory 12 May be included in the program 13c, the program module 13d, and / or the program data 13e. have.
  • mass storage devices such as hard disks may be used in computing systems.
  • these program modules and associated program data are stored on the mass storage device. Can be stored.
  • the program module related to the present invention or its Some via the modem 23 of the input / output interface 24 or the network interface 25 Stored in a connected remote computer system. Execution of these modules is described above. As may be performed in a distributed environment.
  • the present invention relates to a method and apparatus for providing recommended content, and more particularly. Through sensor information and image analysis information of photos taken or captured by users Extract the fact information, extract the estimated information through the context analysis information, the fact Based on the information and the estimated information, A method for classifying and providing customized personalized recommendation contents to a corresponding user; and Relates to a device.
  • the sensor information, data analysis of the picture taken or captured by the user Extract factual information using information, and analyze contextual information Extract the estimated information based on the fact information and the estimated information
  • the recommendation information required by the user By extracting the recommendation information required by the user and providing it to the user , Manage your photos more diversely and efficiently, You can provide customized content for your surroundings.
  • the first embodiment according to the present invention provides the time or content at which the picture was taken The time when the photo is stored on the server and the time when the content providing server recommends recommendation information. Taking into account the differences between, fit the passage of time, that is, at the time of recommendation By extracting the recommendation information reflecting the trend, Providing the recommendation information can increase the user's satisfaction.
  • the extracted fact information and the estimated information through the second embodiment of the present invention Set one or more schedule criteria based on the Recommendation information that can be classified and categorized or extracted from Provide users with one or more pieces of information, including personalized information One that provides content and can be extracted from classified criteria or classified photos By providing the above information to the third service provider, effective by age, sex, etc. Can help you execute your marketing strategy.
  • the present invention provides the big data analysis industry and The storage platform services industry can contribute to the development of the market or sales The possibilities are not only striking but also realistically There is industrial potential.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 추천 컨텐츠 제공 방법 및 장치에 관한 것으로서, 사용자가 촬영하거나 캡쳐한 사진의 센서 정보, 데이터 분석 정보를 이용하여 사실정보를 추출하고, 사진을 분석하여 획득한 맥락정보를 이용하여 추정정보를 추출하여, 상기 사실정보 및 추정정보를 기반으로 사용자에게 필요한 추천정보를 추출하고, 이를 사용자에게 제공함으로써, 사진들을 보다 다양하고 효율적으로 관리하면서도 사용자의 행동 방식 변화와 주변 상황에 맞는 맞춤형 컨텐츠를 제공할 수 있다.

Description

추천 컨텐츠 제공 방법 및 이를 위한 장치
본 발명은 추천 컨텐츠 제공 방법 및 장치에 관한 것으로서, 더욱 상세하게는 사용자가 촬영하거나 캡쳐한 사진의 센서 정보 및 이미지 분석 정보를 통해 사실정보를 추출하고, 맥락 분석 정보를 통해 추정정보를 추출하여, 상기 사실 정보 및 추정정보를 기반으로 복수의 이미지 데이터를 일정 기준에 따라 분류하여 해당 사용자에게 특화된 맞춤형 추천 컨텐츠를 제공하기 위한 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
정보통신기술(ICT: Information Communication Technology)의 발전에 힘입어, 이러한 ICT를 기반으로 다양한 새로운 산업들이 등장하고 있으며, 아울러 이들은 기존의 상품과 서비스를 더 지능화/네트워크화시키고 있다.
특히, 최근 ICT 분야에서는, 빅데이터(Big data), 모바일(Mobile), 웨어러블(Wearable) 기술들이 화두가 되고 있으며, 이들은 모든 서비스를 데이터로 치환하여 맞춤형, 개인형 서비스로 제공할 수 있게 함으로써, 대중(Mass)의 시대에서 개인(Personal)의 시대로 들어가는 기술적인 기반이 된다.
모바일 기술은 시간과 공간의 한계를 넘어서 언제 어디서나 연결되고 소통할 수 있는 기반이 되며, 웨어러블 기술은 기존에 사각형 위주로 정형화한 형태의 디바이스가 지닌 한계를 넘어서 입고, 휘고, 걸치는 등 다양한 형태의 디바이스를 구현하는 것이다.
빅데이터는 ICT 분야의 새로운 패러다임을 만드는 기폭제와 같은 역할을 하는 새로운 서비스로서, 빅데이터란 기존의 관리와 분석 체계로는 처리할 수 없었던 방대한 데이터를 말하는데, 이런한 빅데이터를 빠르게 분석할 수 있는 기술이 등장하면서 빅데이터가 사회와 경제 분야에서 주목받기 시작하였고, 대규모 데이터와 관계된 기술과 도구(수집·저장·검색·공유·분석·시각화 등)와 관련된 연구가 활발하게 이루어져 빅데이터 분석 기술은 급격하게 발전하였으며, ICT의 일상화가 이루어지는 스마트 시대에 접어들면서 소셜, 사물, 데이터 등과 결합하여 빅데이터의 영향력이 더욱 증대하였다.
또한, 모바일, 클라우드, SNS의 등장으로 근본 인프라와 데이터에 변화가 일어났고, 이에 따라 데이터를 바라보는 시각이 변화되었으며, 특히, 데이터 폭증에 대한 대응과 데이터 분석이 ICT의 중요 이슈로 부각되면서 빅데이터가 ICT 시장과 기술발전의 핵심 주제로 인식되고 있다.
특히, 2010년 이후 본격적인 스마트, 모바일 확산과 함께, 페이스북, 트위터 등 SNS 이용 확산과 커뮤니케이션 방식의 변화는 사용자들이 자발적으로 참여하여 생성하는 데이터들이 더 증대되는 현상을 가져왔다.
구체적인 예로서, 스마트폰의 카메라 기능 탑재와 SNS 서비스가 결합되면서, 사용자들은 일상의 기록뿐만 아니라 정보의 개념으로서 주변의 다양한 모습들(주변 경관, 맛집, 간판, 스케쥴, 상품)을 사진으로 찍어 SNS을 통해 다른 사람들과 공유하고 간직하는 것이 보편화되고 있다.
따라서, 사용자들이 찍어 공유하거나 저장하는 사진 데이터의 수가 급증하고 있으며, 이들을 위한 효율적인 관리 및 저장 체계가 필요하다.
이와 관련하여, 기존에 사진이 촬영되는 시점의 위치 정보를 사진의 메타 데이터에 기록하여, 위치를 중심으로 사진을 관리하는 서비스가 있으나, 이는 단지 위치를 기준으로 사진을 정렬하는 것으로서, 정보의 개념으로 이용되는 사진을 관리하기에는 적절하지 않다는 문제점이 있었다.
따라서, 사용자의 행동 방식 변화에 맞추어, 사용자의 요구를 충족시키기 위하여, 사용자의 행동 방식 변화 및 주변 상황에 맞는 서비스를 제공하는 새로운 관점의 저장 플랫폼 및 서비스가 요구되었다.
상술한 요구를 충족시키기 위하여 본 발명은 사용자가 촬영하거나 캡쳐한 사진을 컨텐츠 제공 서버가 수신하여 저장하고, 상기 수신한 사진의 센서 정보 및 이미지 분석 정보를 통해 사실정보를 추출하고, 상기 사진의 맥락정보를 분석하여, 이를 기반으로 추정정보를 추출하여, 상기 추출된 사실정보 및 추정정보를 기반으로 사용자의 상황에 맞는 추천정보를 추출하여 사용자에게 제공함으로써, 사용자의 행동 방식 변화 및 주변 상황에 맞는 맞춤형 컨텐츠를 사용자에게 제공할 수 있는 추천 컨텐츠 제공 방법 및 장치를 제공하고자 한다.
특히, 본 발명에 따른 제 1실시 예는 사용자가 사진을 촬영한 시간과 상기 사진이 컨텐츠 제공 서버에 저장된 시간, 그리고 컨텐츠 제공 서버가 사용자에게 맞는 추천정보를 추출하는 시간 간의 차이를 고려하여 하나 이상의 추천정보를 추출하여 제공함으로써, 추천정보를 제공하는 시간과 사진이 촬영되거나 저장된 시간과의 차이를 고려하여, 시간의 흐름에 따라 변화한 트렌드를 반영하여 추천정보를 제공함으로써, 추천정보의 질을 향상 시키고 추천정보에 대한 사용자의 만족감을 높일 수 있는 추천 컨텐츠 제공 방법 및 장치를 제공하고자 한다.
또한, 본 발명에 따른 제2 실시 예는 상기 추출된 사실정보와 추정정보를 기반으로 하나 이상의 일정 기준을 설정하여, 설정된 기준에 따라 사진을 분류하여 분류된 기준 또는 분류된 사진들에서 추출할 수 있는 추천정보를 포함한 하나 이상의 정보를 사용자에게 제공하여, 사용자의 상황에 맞는 추천 컨텐츠를 제공하고, 분류된 기준 또는 분류된 사진들에서 추출할 수 있는 하나 이상의 정보를 제3서비스 제공자에게 제공하여, 연령, 성별 등에 의한 효과적인 마케팅 전략을 수행할 수 있도록 하는 컨텐츠 제공 방법 및 장치를 제공하고자 한다.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 다른 추천 컨텐츠 제공 방법은 컨텐츠 제공 서버가 적어도 하나의 이미지 데이터 및 상기 각각의 이미지 데이터에 대응하는 센서 정보를 획득하는 단계, 상기 이미지 데이터를 기반으로 이미지 데이터 각각에 포함된 문자 또는 도형을 분석하여 이미지 분석 정보를 추출하는 단계, 상기 이미지 데이터를 기반으로 이미지 데이터 각각에 포함된 상황을 나타내는 맥락 정보를 분석하는 단계, 상기 추출한 이미지 분석 정보 및 상기 센서 정보를 기반으로 상기 이미지 데이터 각각에 대한 사실정보를 추출하는 단계, 상기 분석한 맥락정보를 기반으로 상기 이미지 데이터 각각에 대한 추정정보를 추출하는 단계 및 상기 이미지 데이터 각각에 대한 사실정보 및 추정정보 중 적어도 하나를 기반으로 상기 적어도 하나의 이미지 데이터와 관련된 적어도 하나의 정보를 상기 적어도 하나의 단말장치 또는 제3 서비스 서버로 전송하는 단계를 포함할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 컨텐츠 제공 서버는 통신망과 연동하여 적어도 하나의 단말장치 또는 제3 서비스 서버와 데이터를 송수신하는 통신모듈, 상기 적어도 하나의 단말장치로부터 수신한 적어도 하나의 이미지 데이터 및 상기 이미지 데이터 각각에 대응하는 센서 정보를 저장하는 저장모듈 및 상기 저장모듈에 저장된 상기 이미지 데이터를 기반으로 이미지 데이터 각각에 포함된 문자 또는 도형을 분석하여 이미지 분석 정보를 추출하고, 상기 이미지 데이터를 기반으로 이미지 데이터 각각에 포함된 상황을 나타내는 맥락정보를 분석하여, 상기 추출한 이미지 분석 정보 및 상기 센서 정보를 기반으로 사실 정보를 추출하며, 상기 맥락정보를 기반으로 추정정보를 추출하여, 상기 추출된 사실정보 및 추천정보 중 적어도 하나를 기반으로 상기 적어도 하나의 이미지 데이터와 관련된 하나 이상의 정보를 상기 통신모듈을 통해 상기 적어도 하나의 단말장치 또는 제3 서비스 서버로 전송하도록 제어하는 제어모듈을 포함할 수 있다.
이때, 상기 제어모듈은 상기 사실정보 및 상기 추정정보 중 적어도 하나의 정보를 상기 이미지 데이터와 매핑하여 상기 저장모듈에 저장하도록 제어할 수 있고, 상기 센서 정보는 상기 단말장치가 이미지 데이터를 생성할 당시의 상기 단말장치의 위치 정보, 일시 정보 및 날씨 정보 중 적어도 하나의 정보를 더 포함할 수 있으며, 상기 맥락 정보 및 사실 정보는 제1 시점의 맥락정보 및 제1 시점의 사실정보이고, 상기 추정정보는 제2 시점의 추정정보일 수 있다.
또한, 상기 제어모듈은 상기 추출된 제1 시점의 사실정보 및 상기 제2 시점의 추정정보를 기반으로 하나 이상의 추천정보를 추출하여 전송할 수 있고, 상기 제어모듈은 상기 이미지 데이터가 상기 단말장치에 의해 생성된 시간인 제1 시점 정보를 상기 단말장치로부터 수신하여, 상기 제1 시점 및 상기 추천정보를 추출하는 시점인 제2 시점 간의 차이를 더 고려하여 상기 추천정보를 추출할 수 있고, 상기 제어모듈은 상기 단말장치로부터 상기 단말장치의 사용자 정보를 수신하면, 상기 수신한 사용자 정보를 더 고려하여 상기 하나 이상의 추천정보를 추출할 수 있고, 상기 제어모듈은 상기 추출된 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 포함하는 추천 리스트를 생성하고, 상기 추천 리스트에 포함된 하나 이상의 추천 정보 중 상기 이미지 분석 정보에 대응하는 추천정보를 제외한 나머지 추천정보를 추출할 수 있으며, 상기 제어모듈은 상기 이미지 데이터 각각에 대한 사실정보 및 추정정보 중 적어도 하나를 기반으로 설정된 하나 이상의 기준에 따라 상기 적어도 하나의 이미지 데이터를 분류하고, 상기 분류된 적어도 하나의 이미지 데이터와 관련된 적어도 하나의 정보를 상기 적어도 하나의 단말장치 또는 제3 서비스 서버로 전송할 수 있다.
또한, 상기 제어모듈은 상기 분류된 이미지 데이터의 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 추출할 수 있고, 상기 제어모듈은 상기 추출된 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 포함하는 추천 리스트를 생성하고, 상기 추천 리스트에 포함된 하나 이상의 추천 정보 중 상기 이미지 분석 정보에 대응하는 추천정보를 제외한 나머지 추천정보를 추출할 수 있으며, 상기 제어모듈은 상기 상기 사실정보 및 추정정보 중 적어도 하나를 기반으로 상기 분류된 이미지 데이터로부터 각 사용자 별 특성 정보를 추출할 수 있다.
또한, 상기 제어모듈은 동일한 기준에 따라 분류된 상기 적어도 하나의 이미지 데이터를 상기 단말장치로 제공할 수 있고, 상기 제어모듈은 상기 사실정보를 기준으로 일정 기준에 따라 연관된 이미지 데이터끼리 1차 분류하고, 상기 1차 분류된 이미지 데이터를 상기 추정정보를 기반으로 일정한 특징을 가진 이미지 데이터끼리 2차 분류할 수 있다.
본 발명에 따르면, 사용자가 촬영하거나 캡쳐한 사진의 센서 정보, 데이터 분석 정보를 이용하여 사실정보를 추출하고, 사진을 분석하여 획득한 맥락정보를 이용하여 추정정보를 추출하여, 상기 사실정보 및 추정정보를 기반으로 사용자에게 필요한 추천정보를 추출하고, 이를 사용자에게 제공함으로써, 사진들을 보다 다양하고 효율적으로 관리하면서도 사용자의 행동 방식 변화와 주변 상황에 맞는 맞춤형 컨텐츠를 제공할 수 있다.
특히, 본 발명에 따른 제1 실시 예를 통해 사진이 촬영된 시간 또는 컨텐츠 제공 서버에 사진이 저장된 시간과 컨텐츠 제공 서버가 추천정보를 추천하는 시간 간의 차이를 고려하여, 시간의 흐름에 맞는, 즉, 추천정보를 추천하는 당시의 트렌드를 반영하여 추천정보를 추출함으로써, 사용자에게 보다 양질의 추천정보를 제공하여 사용자의 만족도를 높일 수 있다.
또한, 본 발명에 따른 제2 실시 예를 통해 상기 추출된 사실정보와 추정정보를 기반으로 하나 이상의 일정 기준을 설정하여, 설정된 기준에 따라 사진을 분류하여 분류된 기준 또는 분류된 사진들에서 추출할 수 있는 추천정보를 포함한 하나 이상의 정보를 사용자에게 제공하여, 사용자의 상황에 맞춘 맞춤형 컨텐츠를 제공하고, 분류된 기준 또는 분류된 사진들에서 추출할 수 있는 하나 이상의 정보를 제3서비스 제공자에게 제공하여, 연령, 성별 등에 의한 효과적인 마케팅 전략을 수행할 수 있도록 도와줄 수 있다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도1은 본 발명의 실시 예에 따른 컨텐츠 제공 시스템의 구성을 나타내는 도면이다.
도2는 본 발명에 단말장치의 구성을 나타내는 블록도이다.
도3 내지 도4는 본 발명의 실시 예에 따른 단말장치의 동작과정을 설명하기 위한 흐름도이다.
도5는 본 발명에 따른 컨텐츠 제공 서버의 구성을 나타내는 블록도이다.
도6 내지 도9는 본 발명의 실시 예에 따른 컨텐츠 제공 서버의 동작과정을 설명하기 위한 흐름도이다.
[규칙 제91조에 의한 정정 03.08.2016]　
도10 내지 도12는 본 발명의 다양한 실시 예를 설명하기 위한 예시도이다.
[규칙 제91조에 의한 정정 03.08.2016]　
도13은 본 발명의 실시 예에 따른 컨텐츠 제공을 위한 서비스 시스템에서의 오퍼레이팅 환경을 도시한 도면이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다.
이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서 실시될 수 있다.
본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.
한편, 본 발명에 따른 실시 예의 설명 시, 이미지 혹은 이미지 데이터는 사진 혹은 사진 데이터를 의미하는 것으로 가정한다.
다만, 본 발명의 실시 예에 따른 이미지 혹은 이미지 데이터는 반드시 사진 혹은 사진 데이터만을 의미하는 것은 아니며, 사진 이외에 이미지라고 인식될 수 있는 그림, 형상 등의 이미지라면 어떠한 이미지라도 본 발명의 실시 예에 따른 이미지 혹은 이미지 데이터가 될 수 있다.
그러면 이제, 본 발명의 실시 예에 따른 컨텐츠 제공 시스템에서의 컨텐츠 제공을 위한 장치에 대하여 도면을 참조하여 상세하게 설명하도록 한다.
도1은 본 발명의 실시 예에 따른 컨텐츠 제공 시스템의 구조를 개략적으로 설명하기 위한 도면이다.
도1을 참조하면, 본 발명의 실시 예에 다른 컨텐츠 제공 시스템은 단말장치(200), 컨텐츠 제공 서버(300) 및 제3 서비스 서버(400)를 포함하여 구성될 수 있다.
여기서 컨텐츠 제공 서버(300)는 단말장치(200) 및 제 3서비스 서버(400)와 통신망(100)을 통해 연동된다.
그러면 도1을 참조하여 각 구성요소에 대해 개략적으로 설명하도록 한다.
먼저, 통신망(100)은 단말장치(200)와 컨텐츠 제공 서버(300)간 또는 제3 서비스 서버(400)와 컨텐츠 제공 서버(300)간 데이터 송수신을 위해 데이터를 전달하는 역할을 하며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있고, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), LTE-A (Long Term Evolution Advanced) 등의 무선 통신 방식을 이용할 수도 있다.
아울러, 이러한 통신망(100)은 예컨대, 다수의 접속망(미도시) 및 코어망(미도시)을 포함하며, 외부망, 예컨대 인터넷망(미도시)을 포함하여 구성될 수 있다.
여기서, 접속망(미도시)은 단말 장치(200)와 유무선 통신을 수행하는 접속망으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구현될 수 있다.
또한, 전술한 바와 같이, 상기 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함과 무선 유니트(Radio Unit, 이하 RU라 함)으로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU(미도시)를 집중화된 DU(미도시)와 연결하여 구성할 수도 있다.
또한, 접속망(미도시)과 함께 모바일 망을 구성하는 코어망(미도시)은 접속망(미도시)과 외부 망, 예컨대, 인터넷망(미도시)을 연결하는 역할을 수행한다.
이러한 코어망(미도시)은 앞서 설명한 바와 같이, 접속망(미도시) 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 모바일 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망(미도시)은 주파수간 이동성을 관리하고, 접속망(미도시) 및 코어망(미도시) 내의 트래픽 및 다른 네트워크, 예컨대 인터넷망(미도시)과의 연동을 위한 역할을 수행할 수도 있다.
이러한 코어망(미도시)은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.
또한, 인터넷망(미도시)은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미하는 것으로, 단말장치(200)와 연결되며, 단말장치(200)로부터 제공되는 정보를 코어망(미도시) 및 접속망(미도시)을 거쳐 컨텐츠 제공 서버(300)로 제공할 수 있고, 반대로 컨텐츠 제공 서버(300)로 제공되는 정보를 코어망(미도시) 및 접속망(미도시)을 거쳐 단말장치(200)로 제공할 수도 있다. 그러나, 이에 한정되는 것은 아니며, 컨텐츠 제공 서버(300)는 코어망(미도시)과 일체로 구현될 수도 있다.
또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
본 발명의 단말 장치(200)는 사용자의 조작에 따라 통신망(100)을 경유하여 각종 데이터를 송수신할 수 있는 사용자의 장치를 의미한다. 이러한 단말장치(200)는 통신망(100)을 통하여 음성 또는 데이터 통신을 수행할 수 있으며, 컨텐츠 제공 서버(300)와 통신망(100)을 통해 정보를 송수신 할 수 있다.
이를 위한 본 발명의 단말장치(200)는 이미지 데이터의 송수신 및 처리를 위한 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다.
이러한 단말장치(200)는 우선적으로 통신망(100)에 접속된 앱 제공 장치(미도시) 예컨대, 앱 스토어 등에 접속을 수행하고 해당 앱 스토어로부터 이미지 데이터를 분석하여 사용자에게 추천 컨텐츠를 제공하는 서비스 앱을 수신하여 설치할 수 있다. 상기 사용자 단말장치(200)는 이러한 서비스 앱을 실행하여, 이미지 데이터를 컨텐츠 제공 서버(300)로 전송하여, 컨텐츠 제공 서버(300)로부터 상기 서비스 앱이 제공하는 컨텐츠(예를 들어, 사용자의 상황에 맞는 추천 컨텐츠 제공 등)를 수신하여 사용자에게 제공할 수 있다.
본 발명의 실시 예에 따라 단말장치(200)는 사용자의 요청에 의해 사진 등의 이미지를 촬영하거나 다른 사용자 혹은 상기 사용자에 의해 촬영되거나 생성되어 SNS, 인스턴트 메시지, 이메일 등에 업로드된 사진을 캡쳐한다.
이 때, 상기 이미지를 촬영하거나 생성될 당시, 상기 이미지가 촬영되거나 생성된 위치 정보, 일시 정보, 날씨 정보 등의 센서 정보가 이미지 데이터에 포함될 수 있고, 특히, 이미지 데이터의 메타 데이터에 포함될 수 있다.
다만, 이러한 위치 정보, 일시 정보, 날씨 정보가 포함된 센서 정보는 이미지 데이터에 포함되지 않고, 별도로 생성되어 관리될 수도 있다.
그리고, 상기 위치정보는 단말장치(200)의 GPS(Global Positioning System)을 통해 획득될 수 있으며, 일시 정보는 단말장치(200)가 기지국 등으로부터 수신하는 시간 정보 혹은 단말장치(200) 내에서 관리되는 타이머 등에 의하여 획득 될 수 있고, 날씨 정보는 단말장치(200)에 탑재된 조도 센서, 온도 센서에 의해 측정된 센싱값을 기반으로 생성될 수 있고, 단말장치(200)에 설치된 날씨 어플리케이션과 연동하여 상기 날씨 어플리케이션으로부터 획득할 수도 있다.
위치 정보 등이 포함된 이미지 데이터를 촬영하거나 캡쳐한 단말장치(200)는 상기 이미지 데이터를 제 1시점 정보 및 단말장치(200)를 사용하는 사용자 정보와 함께 컨텐츠 제공 서버(300)에 전송한다.
만약, 센서 정보가 이미지 데이터와 별도로 관리된다면, 센서정보도 함께 컨텐츠 제공 서버(300)로 전송한다.
이 때, 사용자 정보는 단말장치(200)의 고유 식별 정보인 맥(MAC) 주소를 통해 알 수도 있고, 이를 통해 상기 사용 상기 사용자의 나이, 성별, 거주 지역 등의 사용자 정보를 획득할 수 있다.
또한, 이러한 사용자 정보는 컨텐츠 제공 서버(300)에 저장되어 있을 수 있고, 단말장치(200)의 고유 식별 정보를 통해 이를 컨텐츠 제공 서버(300)가 추출할 수도 있다.
그 후, 단말장치(200)는 컨텐츠 제공 서버(300)로부터 하나 이상의 추천 정보를 수신하게 된다.
이러한 본 발명의 단말장치(200)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말장치(200)는 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수도 있다.
또한, 본 발명의 단말장치(200)는 디지털 기기의 컨버전스(convergence) 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 유닛들과 동등한 수준의 유닛이 본 발명에 따른 단말장치(200)로 사용될 수 있으며, 본 발명에 따른 비콘 서비스 앱을 다운 및 설치할 수 있는 장치라면, 그 어떠한 장치도 본 발명의 실시 예에 따른 단말장치(200)로 이용될 수 있다.
컨텐츠 제공 서버(300)는 수집한 이미지들을 관리하고, 단말장치(300)로부터 서비스 제공을 요청받아, 서비스에 대응하는 정보를 제공하는 장치이다.
특히, 본 발명의 제1 실시 예에 따른 컨텐츠 제공 서버(300)는 단말장치(200)로부터 적어도 하나의 이미지 데이터 및 각 이미지 데이터에 대응하는 센서 정보를 수신하여 저장하고, 이 때, 컨텐츠 제공 서버(300)는 단말장치(200)로부터 사용자 정보를 더 수신하여 저장할 수 있다.
컨텐츠 제공 서버(300)는 상기 수신한 적어도 하나의 이미지 데이터의 연관성을 기반으로 제1 시점의 맥락정보를 분석하고, 적어도 하나의 이미지 데이터를 분석한 이미지 분석 정보 및 수신한 센서정보를 기반으로 제1 시점의 사실정보를 추출하고, 상기 분석한 맥락정보를 기반으로 제2 시점의 추정정보를 추출할 수 있다.
이 때, 센서 정보에는 이미지 데이터가 촬영될 당시, 단말장치(200)의 위치 정보, 일시 정보, 날씨 정보 등이 포함되어 있으며, 이러한 센서 정보는 별도로 관리될 수도 있지만, 이미지 데이터에 메타 데이터 형식으로 포함될 수도 있다.
이미지 분석 정보는 사진 등의 이미지에 포함된 각종 정보를 분석한 것으로서, 이미지에 포함된 가게의 간판, 옷의 상표, 특정 건물의 이름 등이 될 수 있다.
맥락분석 정보는 이미지에 나타난 상황 정보를 의미하는 것으로서, 해당 이미지에만 포함된 특정 인물의 행동, 이미지 속에 있는 거리, 장소의 상황 등을 분석한 정보이다.
따라서, 사실 정보는 센서 정보와 이미지 분석 정보를 통해 얻어진 이미지에 대응하는 사실에 관한 정보이며, 이미지가 촬영된 당시의 촬영된 장소에 대하여 데이터화 하여 남겨질 수 있는 사실에 관한 정보이다.
한편, 추정정보는 맥락 분석 정보를 통해 얻어진 이미지 속의 상황을 추정한 정보이며, 이미지가 촬영된 당시의 촬영된 장소에서 일어난 일이라고 추정되는 특수한 상황에 관하여 추정한 정보일 수 있다.
컨텐츠 제공 서버(300)는 이러한 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 추출하여, 단말장치(200)로 전송할 수 있다.
이러한 추천정보는 상기 추정정보 및 사실정보를 바탕으로 추출된 상기 단말장치(200)의 사용자가 구매할 만한 추천상품에 관한 정보이거나 상기 사용자가 가고 싶어할 만한 여행장소, 맛집 또는 상기 사용자에게 흥미를 일으킬 수 있는 책, 음악, 영화 등의 정보가 될 수 있다.
한편, 컨텐츠 제공 서버(300)는 이미지 데이터가 단말장치(200)에 의해 생성된 즉, 사진 등의 이미지가 촬영된 시간인 제1 시점 정보를 단말장치(200)로부터 수신하여 저장하고, 상기 제 1시점 및 컨텐츠 제공 서버(300)가 추천정보를 추천하는 시점인 제2 시점 간의 차이를 고려하여, 추천정보를 추출할 수 있다.
다시 말하면, 상기 단말장치(200)가 상기 이미지 데이터를 생성하거나 촬영한 시간과 컨텐츠 제공 서버(300)가 추천정보를 추출하려는 시간 간에는 상당한 시간적 차이가 있을 수 있으므로(사용자가 이전에 촬영했다가 단말장치(200)에 저장해놓은 사진을 컨텐츠 제공 서버(300)에 전송하여 추천정보를 얻고자 하는 경우 등), 이러한 시간적 차이를 고려하여 현재의 상황에 맞게 즉, 현재의 트렌드를 반영하여 추천정보를 제공하거나 시간적 차이로 인하여 발생하는 사용자의 나이 또는 계절의 차이에 맞춰 추천정보를 제공하기 위하여 이러한 시간적 차이를 고려할 수 있다.
또한, 다른 사용자의 사진을 캡쳐하여 추천정보를 제공하고자 하는 경우, 다른 사용자가 컨텐츠 제공 서버(300)에 업로드한 시간과 해당 사용자가 추천정보를 얻고자 하는 시간 간의 차이에 따라 달라지는 현재의 트렌드나, 나이 또는 계절의 차이에 맞춰 추천정보를 제공하기 위하여 시간적 차이를 고려하여 추천정보를 추출함으로써, 추천정보에 대한 사용자의 만족도를 높일 수 있다.
한편, 상기 제1 시점 정보는 이미지가 촬영되거나 생성된 시간이므로 센서 정보에 포함된 일시 정보를 사용할 수도 있다.
그리고 컨텐츠 제공 서버(300)는 단말장치(200)로부터 사용자 정보를 수신하여, 상기 추천정보 추출 시, 수신한 사용자 정보를 더 고려하여 추출할 수도 있는데, 단말장치(200)로부터 맥(MAC)주소 등의 단말장치(200)고유의 식별 정보를 수신하여 이러한 식별 정보로부터 사용자의 나이, 취향, 성별 등의 사용자 정보를 추출하거나 단말장치(200)로부터 상기 사용자 정보를 직접 수신하여 이를 통해 사용자에게 더 맞춤화된 정보를 추출할 수 있다.
또한, 추출된 사실 정보 및 추정정보를 기반으로 하나 이상의 추천정보를 포함하는 추천리스트를 생성하여, 상기 추천리스트에 포함된 하나 이상의 추천정보 중 이미지 분석 정보에 대응하는 추천정보를 제외한 나머지 추천정보를 추출할 수 있다.
즉, 이미지 분석 정보에 포함된 상품이나, 여행 장소, 맛집 등에 관한 정보는 이미 사용자가 사용하거나 가본 장소이므로, 이런 정보를 추천 정보에 포함시키면 사용자 입장에서는 불필요한 정보라고 느껴질 수 있으므로 이러한 정보를 제외하고 추천정보를 제공함으로써 사용자의 만족도를 높일 수 있는 것이다.
한편, 컨텐츠 제공 서버(300)는 하나의 이미지 데이터를 단말장치(200)로부터 수신하여, 하나의 이미지 데이터에 대한 센서정보, 이미지 분석정보를 기반으로 제1 시점의 사실정보를 추출하고, 하나의 이미지 데이터를 기반으로 분석한 맥락정보를 추출하고, 제2 시점의 추정정보를 추출하여, 상기 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 추천할 수 있으나, 적어도 하나의 단말장치(200)로부터 복수의 이미지 데이터를 수신하여, 복수의 이미지 데이터 각각에 대한 센서 정보, 이미지 분석 정보를 기반으로 사실정보를 추출하고, 상기 복수의 이미지 데이터들의 연관성을 기반으로 맥락정보를 분석하여 하나 이상의 추천정보를 추천할 수도 있다.
즉, 추천정보를 추출하는데, 필요한 이미지 데이터 수는 하나일 수도 있지만 복수 개일 수도 있는 것이다.
한편, 컨텐츠 제공 서버(300)는 추출한 사실 정보 및 추정정보 중 적어도 하나를 사실정보 및 추정정보를 추출하는데 기반이 되었던 이미지 데이터와 매핑하여 저장할 수 있다.
이렇게 매핑하여 저장하고, 특히, 사용자 별로 이를 구별하여 저장함으로써, 사용자의 취향이나 행동패턴 등을 추론하는데 이용할 수 있게 된다.
또한, 이렇게 저장된 이미지 데이터는 SNS 등을 통해 공유될 수 있으며, 상기 추출한 사실정보 및 추정정보는 이미지 데이터에 포함된 이미지와 함께 링크형태로 제공될 수 있고, 상기 이미지 데이터는 사실 정보 및 추정정보를 기반으로 하여 다양한 카테고리로 분류될 수 있다.
한편, 본 발명의 제 2실시 예에 따른 컨텐츠 제공 서버(300)는 단말장치(200)로부터 적어도 하나의 이미지 데이터 및 상기 적어도 하나의 이미지 데이터 각각에 대응하는 센서 정보를 수신하여 저장하고, 이 때, 컨텐츠 제공 서버(300)는 단말장치(200)로부터 사용자 정보를 더 수신하여 저장할 수 있다.
컨텐츠 제공 서버(300)는 상기 수신한 적어도 하나의 이미지 데이터를 기반으로 이미지 데이터에 포함된 이미지 및 맥락 정보를 분석하고, 상기 분석한 이미지 분석 정보 및 수신한 센서 정보를 기반으로 사실정보를 추출하며, 분석한 맥락정보를 기반으로 추정정보를 추출할 수 있다.
이 때, 센서 정보에는 이미지 데이터가 촬영될 당시, 단말장치(200)의 위치 정보, 일시 정보, 날씨 정보 등이 포함되어 있으며, 이러한 센서 정보는 별도로 관리될 수도 있지만, 이미지 데이터에 메타 데이터 형식으로 포함될 수도 있다.
이미지 분석 정보는 사진 등의 이미지에 포함된 각종 정보를 분석한 것으로서, 이미지에 포함된 가게의 간판, 옷의 상표, 특정 건물의 이름 등이 될 수 있다.
맥락분석 정보는 이미지에 나타난 상황 정보를 의미하는 것으로서, 해당 이미지에만 포함된 특정 인물의 행동, 이미지 속에 있는 거리, 장소의 상황 등을 분석한 정보이다.
따라서, 사실 정보는 센서 정보와 이미지 분석 정보를 통해 얻어진 이미지에 대응하는 사실에 관한 정보이며, 이미지가 촬영된 당시의 촬영된 장소에 대하여 데이터화 하여 남겨질 수 있는 사실에 관한 정보이다.
한편, 추정정보는 맥락 분석 정보를 통해 얻어진 이미지 속의 상황을 추정한 정보이며, 이미지가 촬영된 당시의 촬영된 장소에서 일어난 일이라고 추정되는 특수한 상황에 관하여 추정한 정보일 수 있다.
이렇게 상기 컨텐츠 제공 서버(300)가 사실 정보 및 추정정보를 추출하면 상기 추출된 추정정보, 사실정보 및 사용자 정보 중 적어도 하나의 정보와 그에 대응하는 이미지 데이터를 각각 매핑하여 저장할 수 있다.
그리고 상기 이미지 데이터 각각에 대한 사실정보 및 추정정보 중 적어도 하나를 기반으로 설정된 하나 이상의 기준에 따라 수신한 적어도 하나의 이미지 데이터를 분류하여, 상기 분류된 기준 또는 상기 분류된 적어도 하나의 이미지 데이터와 관련된 하나 이상의 정보를 하나 이상의 단말장치 또는 제3 서비스 서버로 전송할 수 있다.
다시 말하면, 사실정보 및 추정정보 중 적어도 하나를 기반으로 설정된 하나 이상의 기준에 따라 적어도 하나의 이미지 데이터를 분류하는 것은 사실 정보에 포함된 위치, 시간, 날씨 혹은 사진들이 촬영된 장소, 사람, 혹은 추정정보에 포함된 사진 속의 주변 상황, 배경, 풍경 중 하나 이상을 기준으로 수신한 적어도 하나의 이미지 데이터를 그룹핑하는 것을 의미한다.
이렇게 그룹핑된, 즉, 분류된 이미지 데이터의 사실 정보 및 추정정보를 기반으로 하나 이상의 추천정보를 추출하여, 사용자의 단말장치(200)에 제공하게 되는 것이다.
즉, 분류된 이미지 데이터의 분류 기준이 여행 장소 이고, 여행 장소가 '제주도'라면, 사용자가 제주도를 여행 중인 상황으로 인식하고, 제주도의 추천여행지나 맛집 등을 추천정보로써, 추출하여 제공할 수 있다.
그리고 이러한 추천정보를 추출할 때, 추정정보를 더 활용하여 추천 여행지를 제공할 수 있는데, 추정정보가 '사람들이 말을 타고 초원을 거닐고 있다.' 라면, 승마를 할 수 있는 여행장소 또는 관광장소를 추천할 수 있을 것이다.
이러한 추천정보를 추출하여 사용자에게 제공하는 경우, 사실정보 및 추정정보를 기반으로 추출되는 하나 이상의 추천정보를 포함하는 추천리스트를 생성하고, 상기 추천 리스트에 포함된 하나 이상의 추천 정보 중 상기 이미지 분석 정보에 대응하는 추천정보를 제외할 수 있다.
즉, 상기 분류된 여행장소가 '제주도' 인데, 적어도 하나의 이미지를 분석한 결과, '만장굴' 주변에서 찍힌 사진이 있다면, '만장굴'은 이미 사용자가 다녀온 것으로 판단하고, '만장굴'에 관련한 추천정보는 제외하고 나머지 추천정보를 사용자에게 제공할 수 있는 것이다.
또한, 적어도 하나의 이미지 데이터를 분류한 후, 즉, 적어도 하나의 이미지 데이터를 그룹핑한 후, 일정 기준에 의하여 하나 이상의 이미지 데이터를 분류한 것이고, 사용자의 요청 또는 필요에 따라 동일한 기준에 따라 분류된 하나 이상의 이미지 데이터를 사용자에게 제공할 수 있다.
한편, 분류된 적어도 하나의 이미지 데이터를 제3 서비스 서버(400)로 전송하는 경우, 추출된 사실정보 및 추정정보 중 적어도 하나를 기반으로 상기 분류된 적어도 하나의 이미지 데이터로부터 각 사용자 별 특성정보를 추출하고 추출한 특성 정보를 제3 서비스 서버(400)로 전송할 수 있다.
즉, 사실 정보 및 추정정보 중 적어도 하나를 기반으로 상기 적어도 하나의 이미지 데이터를 상기 컨텐츠 제공 서버(300)에 전송한 사용자의 여행 취향, 예를 들면, 해당 사용자가 산책길을 좋아한다 라던가, 해당 사용자는 식도락 여행을 즐긴 다는 등의 취향을 추출하고, 상기 추출된 사용자 별 특성정보를 제3 서비스 서버(400)에 전송할 수 있다.
한편, 상기 분류 시, 사실정보를 기준으로 일정 기준에 따라 연관된 이미지 데이터끼리 1차적으로 분류한 다음, 1차 분류된 이미지 데이터를 추정정보를 기반으로 일정한 특징을 가진 이미지 데이터끼리 2차적으로 분류할 수 있다.
즉, 사실정보를 기준으로 '제주도'와 연관된 이미지 데이터끼리 1차적으로 분류한 다음, 상기 '제주도'와 연관된 이미지 데이터 중에서 추정정보를 기반으로 사람들이 많이 있는 혼잡한 사진들끼리 2차적으로 분류할 수 있다.
제3 서비스 서버(400)는 컨텐츠 제공 서버(300)로부터 사용자 별 특성 정보를 제공 받아, 상기 제공받은 정보를 마케팅 등에 활용하기 위하여 수집하고, 저장하는 장치이다.
본 발명의 실시 예에 따른 컨텐츠 제공 서버(300)는 하드웨어적으로는 통상적인 웹서버(Web Server) 또는 네트워크 서버와 동일한 구성을 하고 있다. 그러나, 소프트웨어적으로는 C, C++, Java, Visual Basic, Visual C 등과 같은 언어를 통하여 구현되는 프로그램 모듈(Module)을 포함한다.
한편, 본 발명의 각 장치에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
이상으로 본 발명의 실시 예에 따른 컨텐츠 제공 시스템 구조에 대해 개략적으로 설명하였다.
이하, 상기 시스템의 구성 중, 본 발명에 따른 단말장치(200)의 구성 및 동작방법에 대해 설명하도록 한다.
먼저, 도2를 참조하면, 본 발명에 따른 단말장치(200)는 입력모듈(210), 출력모듈(220), 저장모듈(230), 통신모듈(240), 센서 모듈(250), 카메라 모듈(260), 제어모듈(270)을 포함하여 구성될 수 있다.
입력모듈(210)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 단말 장치(200)의 기능 제어와 관련하여 입력되는 신호를 제어 모듈(270)로 전달한다. 또한, 입력 모듈(210)은 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성될 수 있다. 이때, 입력 모듈(210)은 출력 모듈(220)와 함께 하나의 터치패널(또는 터치스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 입력 모듈(210)은 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 특히, 본 발명에 따른 입력 모듈(210)은 사용자로부터 입력되는 입력 정보를 감지하여 제어 모듈(270)로 전달한다.
특히, 본 발명에 따른 단말장치(200)의 입력모듈(210)은 사용자의 이미지 촬영 또는 생성 요청, 이미지 캡쳐 요청 등을 입력받아, 제어모듈(270)이 이미지를 촬영하거나 캡쳐 등을 할 수 있도록 상기 입력받은 요청을 전달할 수 있다.
출력모듈(220)은 단말 장치(200)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시한다. 또한, 출력 모듈(220)은 단말 장치(200)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 출력 모듈(220)은 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이때, 출력 모듈(220)이 터치스크린(Touch screen) 형태로 구성된 경우, 출력 모듈(220)은 입력 모듈(210)의 기능 중 일부 또는 전부를 수행할 수 있다.
특히, 본 발명에서 출력모듈(220)을 통해 컨텐츠 제공 서버(300)로부터 수신한 추천 정보를 사용자에게 노출 시킬 수 있다.
저장모듈(230)은 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 단말 장치(200)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 저장 모듈(230)은 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 단말 장치(200)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어 모듈(270)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.
특히, 본 발명에 따른 저장모듈(230)은 단말 장치(200)를 부팅시키는 운영체제, 다양한 어플리케이션 프로그램, 단말 장치(200)에 매칭되는 사용자 정보, 단말장치(200)의 카메라모듈(260)을 통해서 촬영되거나 캡쳐한 이미지 데이터 정보, 컨텐츠 제공 서버(300)로부터 수신한 하나 이상의 추천 정보 등을 저장할 수 있다.
통신모듈(240)은 통신망(100)을 통해 컨텐츠 제공 서버(300)와 데이터를 송수신하기 위한 것이다.
또한, 통신 모듈(240)은 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단, 특정 통신 방식에 따른 통신 프로토콜을 처리하기 위한 데이터 처리 수단 등을 포함한다. 이러한 통신 모듈(240)는 무선통신 모듈(미도시) 및 유선통신 모듈(미도시) 중 적어도 하나를 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 단말 장치(200)가 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 컨텐츠 제공 서버(300)와 송수신할 수 있다.
여기서 통신모듈(240)은 앞서 말한 것과 같이 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용하는 것이 바람직하나, 이에 한정되는 것은 아니며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있다.
센서 모듈(250)은 단말장치(200) 주변에서 감지할 수 있는 각종 정보를 센싱하여 획득하기 위한 장치이다.
이러한 센서 모듈(250)의 대표적인 예로 GPS(Global Positioning System)이 있는데, 본 발명에서 GPS는 GPS 신호를 수신하여, 단말장치(200)가 사진 등의 이미지 데이터를 촬영하거나 생성할 당시, 단말장치(200)의 위치정보를 획득하여 사진 등이 촬영된 위치를 알 수 있도록 한다.
또한, 사실 정보를 추출하기 위한 센서 정보에는 상기 사진 등의 이미지를 촬영한 위치 정보 이외에도 일시 정보, 날씨 정보 등을 포함할 수 있는데, 상기 일시 정보는 단말장치(200)내에 설치된 타이머 또는 외부 기지국 등으로부터 획득될 수 있고, 날씨 정보는 단말장치(200)에 탑재된 온도 센서, 조도 센서 등을 통해 획득할 수 있다.
다만, 상기의 날씨 혹은 일시 정보는 상기 센서모듈(250)에 의하여 획득되지 않고, 단말장치(200)내에 설치된 날씨 또는 달력 어플리케이션과 연동하여 획득할 수 있다.
카메라 모듈(260)은 단말장치(200)가 위치한 지역의 풍경, 인물 등을 촬영하기 위한 장치이다.
본 발명에서 사용자는 단말장치(200)의 카메라 모듈(260)을 통해 사진 등을 촬영하여 이미지 데이터를 생성할 수 있다.
제어모듈(270)은 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다.
따라서, 단말장치(200)의 제어모듈(270)은 입력모듈(210)을 통해 입력받은 신호를 통신모듈(240)을 통해 컨텐츠 제공 서버(300)로 전송하도록 제어하고, 통신모듈(240)을 통해 수신한 컨텐츠 제공 서버(300)에서 전송하여 수신한 정보들을 출력모듈(220)을 통해 노출하도록 제어하며, 이러한 정보 또는 데이터 등을 저장모듈(230)에 저장하도록 제어할 수 있다.
특히, 본 발명에서 제어모듈(270)은 본 발명의 실시 예에 따른 단말장치(200)의 동작과정 전반을 제어할 수 있다.
이제, 도3을 참조하여, 본 발명의 제 1실시 예에 따른 제어모듈(270)에 의해 전반적으로 제어되는 단말장치(200)의 동작과정에 대해 살펴보도록 한다.
사용자가 단말장치(200)의 카메라 모듈(260)을 통해 사진 등의 이미지를 촬영하거나 컨텐츠 제공 서버(300) 또는 다른 이미지 저장 서버(미도시)에 저장되어 있는 이미지를 캡쳐한다(S101).
이 때, 사용자가 카메라 모듈(260)을 통해 사진을 촬영한다면, 사진 촬영 시 GPS 모듈(250)을 통해 사진이 촬영될 당시 단말장치(200)의 위치 정보를 획득한다(S103).
이러한 위치 정보는 이미지 데이터와 별도로 관리될 수도 있고, 이미지 데이터의 메타 데이터에 포함될 수도 있으며, 이미지 데이터와 별도로 관리되는 센서 정보에 포함될 수도 있다.
단말장치(200)의 제어모듈(270)은 촬영되거나 캡쳐된 이미지 데이터를 센서 정보, 사용자 정보, 제 1시간 정보와 함께 컨텐츠 제공 서버(300)로 전송하도록 제어하는데, 여기서, 제 1시간 정보는 컨텐츠 제공 서버(300)에 전송하는 이미지 데이터가 단말장치(200)에 의해 생성된 시간을 의미하는데, 본 발명의 실시 예에서는 단말장치(200)에 의해 사진이 촬영된 시간을 의미할 수 있다(S105).
단말장치(200)의 제어모듈(270)이 컨텐츠 제공 서버(300)로 상기의 정보 들을 통신모듈(240)을 통해 전송한 후, 단말장치(200)는 컨텐츠 제공서버(300)로부터 통신모듈(240)을 통해 하나 이상의 추천정보를 수신하여(S107), 출력모듈(220)을 통해 사용자에게 상기 하나 이상의 추천정보가 제공되도록 제어할 수 있다.
다음으로 도3을 참조하여, 본 발명의 제 2실시 예에 따른 제어모듈(270)에 의해 전반적으로 제어되는 단말장치(200)의 동작과정에 대해 살펴보도록 한다.
사용자가 단말장치(200)의 카메라 모듈(260)을 통해 사진 등의 이미지를 촬영하거나 컨텐츠 제공 서버(300) 또는 다른 이미지 저장 서버(미도시)에 저장되어 있는 이미지를 캡쳐한다(S201).
이 때, 사용자가 카메라 모듈(260)을 통해 사진을 촬영한다면, 사진 촬영 시 센서 모듈(250)을 통해 사진이 촬영될 당시 단말장치(200)의 위치 정보, 사진이 촬영될 당시의 일시 정보, 날씨 정보 등의 센서 정보를 획득한다(S203).
이러한 센서 정보는 이미지 데이터와 별도로 관리될 수도 있고, 이미지 데이터의 메타 데이터에 포함될 수 있다.
단말장치(200)의 제어모듈(270)은 촬영되거나 캡쳐된 이미지 데이터를 센서 정보, 사용자 정보와 함께 컨텐츠 제공 서버(300)로 전송하도록 제어할 수 있다(S105).
단말장치(200)의 제어모듈(270)이 컨텐츠 제공 서버(300)로 상기의 정보 들을 통신모듈(240)을 통해 전송한 후, 단말장치(200)는 컨텐츠 제공서버(300)로부터 통신모듈(240)을 통해 하나 이상의 추천정보를 수신하여(S207), 출력모듈(220)을 통해 사용자에게 상기 하나 이상의 추천정보가 제공되도록 제어할 수 있다.
상술한 본 발명의 실시 예에 따른 단말장치(200)의 동작 과정 전반은 상술하였듯이 단말장치(200)의 제어모듈(270)에 의해 제어되고 실행될 수 있다.
이상으로 본 발명에 따른 단말장치(200)의 구성 및 동작 방법에 대해 설명하였다.
이하, 본 발명에 따른 컨텐츠 제공 서버(300)의 구성 및 동작 방법에 대해 설명하도록 하겠다.
도5를 참조하면, 본 발명에 따른 컨텐츠 제공 서버(300)는 통신모듈(310), 저장모듈(330), 제어모듈(350)을 포함하여 구성될 수 있다.
통신모듈(310)은 단말장치(200)와 통신하기 위한 것으로서, 통신모듈(310)이 기능을 수행하기 위한 통신망은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용하는 것이 바람직하나, 이에 한정되는 것은 아니며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있다.
특히, 본 발명에 있어서 통신모듈(310)은 상기 통신망(100)을 통하여 이미지 데이터, 센서 정보, 사용자 정보 등을 단말장치(200)로부터 수신할 수 있으며, 추출된 하나 이상의 추천정보를 단말장치(200)로 전송할 수 있다.
저장모듈(330)은 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 단말 장치(200)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 저장 모듈(330)은 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 단말 장치(200)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어 모듈(350)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.
특히, 본 발명에서 저장모듈(330)은 이미지 데이터 각각에 대한 사실정보 및 추정정보 중 적어도 하나를 기반으로 설정된 하나 이상의 기준에 따라 이미지 데이터를 분류하여, 이미지 그룹핑 DB(331) 형태로 저장할 수 있다.
또한, 사실 정보와 추정정보를 기반으로 하나 이상의 추천정보를 제공하기 위하여 이러한 하나 이상의 추천정보를 추천정보DB(333) 형태로 저장할 수 있다.
또한, 본 발명에서 저장모듈(330)은 이미지 데이터를 이미지 DB(335)형식으로 저장할 수 있는데, 이러한 이미지 데이터는 센서 정보, 이미지 분석 정보를 기반으로 추출된 사실정보와 맥락 정보를 기반으로 추출된 추정정보 중 적어도 하나의 정보와 매핑하여 이미지 DB(335)형식으로 저장될 수 있다.
제어모듈(350)은 상기 통신모듈(310)을 통해 수신한 이미지 데이터 및 센서 정보 등을 기반으로 사용자에게 개인화된 맞춤형 추천정보를 하나 이상 추출하여, 단말장치(200)에 전송하도록 제어할 수 있다.
상기의 제어모듈(350)은 컨텐츠 제공 서버(300)의 동작과정 전반을 제어하게 되는데, 상기 제어모듈(250)이 제어하는 컨텐츠 제공 서버(300) 동작 과정 전반에 대하여 도6 내지 도9를 참조하여 설명하도록 한다.
도6을 통해 본 발명의 제1 실시예를 살펴보면, 컨텐츠 제공 서버(300)는 적어도 하나의 단말장치(200)로부터 적어도 하나의 이미지 데이터 및 각 이미지 데이터에 대응하는 센서 정보를 수신하여, 저장모듈(330)의 이미지 DB(335)에 저장한다.
여기서, 적어도 하나의 단말장치(200)로부터 수신하는 이미지 데이터는 단수 일수도 있지만, 복수 개 일수도 있다.
만약, 적어도 하나의 단말장치(200)로부터 수신하는 이미지 데이터가 복수 개인 경우, 상기 수신한 이미지 데이터들의 연관성을 기반으로 제1 시점의 맥락 정보를 분석하게 되며, 단수 개인 경우, 단수 개의 이미지 데이터 자체를 기반으로 제1 시점의 맥락 정보를 분석하게 된다.
이 때, 컨텐츠 제공 서버(300)는 단말장치(200)로부터 상기 이미지 데이터가 생성되거나 촬영된 시간인 제1 시점 정보 및 단말장치(200) 사용자의 사용자 정보를 함께 수신할 수 있다(S301).
그리고 상기 수신한 센서 정보에는 상기 이미지 데이터가 생성되거나 촬영될 당시의 상기 이미지 데이터를 생성하거나 촬영한 단말장치(200)의 위치 정보, 일시 정보 및 날씨 정보 중 적어도 하나의 정보를 포함할 수 있고, 상기 위치 정보는 단말장치(200)의 GPS 모듈(250)에 의해 획득될 수 있다.
이후, 컨텐츠 제공 서버(300)는 수신한 적어도 하나의 이미지 데이터들의 연관성을 기반으로 제1 시점의 맥락 정보를 분석하고, 이미지 데이터에 포함된 이미지분석하여 이미지 분석 정보를 추출하고(S303), 상기 분석한 이미지 분석 정보 및 상기 수신한 센서 정보를 기반으로 제1 시점의 사실정보를 추출한다(S305).
그리고 상기 분석한 맥락 정보를 기반으로 제2 시점의 추정정보를 추출하여(S307), 상기 추정정보 및 사실 정보 중 적어도 하나의 정보와 이미지 데이터를 매핑하여 저장모듈(330)의 이미지 DB(335)에 저장한다(S309).
컨텐츠 제공 서버(300)는 상기 추출한 제1 시점의 사실 정보, 제2 시점의 추정정보를 기반으로 하나 이상의 추천정보를 추출한다.
이 때, 컨텐츠 제공 서버(300)는 기 수신한 제1 시점 정보 및 상기 추천정보를 추출하는 시간인 제2 시점 간의 차이를 더 고려하여 추천정보를 추출할 수 있다.
이러한 시간차이를 고려함으로써, 컨텐츠 제공 서버(300)는 시간의 흐름에 맞는 트렌디한 정보를 사용자에게 추천할 수 있게 된다.
예를 들면, 제1 시점이 봄이었고, 현재 추천정보를 추출하는 제2 시점이 겨울이라면, 계절의 변화를 고려하여 겨울에 유행하는 상품을 추천하던지, 추운 날씨가 고려된 맛집을 추천할 수 있게 되며, 제1 시점과 제2 시점 간의 시간 간격이 3년이라면, 상기 3년 간의 트렌트 분석을 통하여 상기 트렌트 분석결과와 상기 이미지 데이터 분석 결과를 종합하여 좀 더 현재 유행에 맞으면서, 이미지 데이터에 포함된 패션 상품 등의 브랜드, 종류 등에 맞는 상품을 추천할 수 있다.
또한, 기 수신한 단말장치(200)의 사용자 정보를 더 고려하여 상기 추천정보를 추천함으로써, 사용자의 만족도를 높일 수 있는 사용자 맞춤형 추천정보를 추출할 가능성을 더 높일 수 있게 할 수도 있다.
한편, 이미지 분석 결과, 이미지 데이터에 포함된 상품, 여행지, 맛집 등은 이미 사용자가 이용하였거나 다녀간 곳으로 해당 사용자에게 그러한 상품, 여행지, 맛집 등을 추천할 필요가 없을 가능성이 높으므로, 추출된 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 포함하는 추천 리스트를 생성하고, 상기 추천리스트에 포함된 하나 이상의 추천정보 중 상기 이미지 분석 정보에 대응하는 즉, 상기 이미지 데이터에 포함된 상품 등의 정보를 제외한 나머지 추천 정보를 추출할 수도 있다(S311).
그리고 이렇게 추출된 추천정보를 컨텐츠 제공 서버(300)는 단말장치(200)로 전송하여, 사용자에게 제공하게 된다(S313).
이제, 도7을 통해 본 발명의 제2 실시 예에 따른 컨텐츠 제공 서버(300)의 동작과정을 보면, 컨텐츠 제공 서버(300)는 단말장치(200)로부터 이미지 데이터, 사용자 정보 및 상기 이미지 데이터에 대응하는 센서 정보를 수신하여, 저장모듈(330) 에 저장한다(S401).
그리고 상기 수신한 센서 정보에는 상기 이미지 데이터가 생성되거나 촬영될 당시의 상기 이미지 데이터를 생성하거나 촬영한 단말장치(200)의 위치 정보, 일시 정보 및 날씨 정보 중 적어도 하나의 정보를 포함할 수 있고, 상기 위치 정보를 포함한 센서 정보는 단말장치(200)의 센서 모듈(250)에 의해 획득될 수 있다.
이후, 컨텐츠 제공 서버(300)는 수신한 이미지 데이터에 포함된 문자 또는 도형을 분석하여 이미지 분석정보를 추출하고, 이미지 데이터 각각에 포함된 상황을 나타내는 맥락 정보를 분석하여(S403), 상기 이미지 분석 정보 및 상기 수신한 센서 정보를 기반으로 사실정보를 추출한다(S405).
그리고 상기 분석한 맥락 정보를 기반으로 추정정보를 추출하여(S407), 상기 추정정보 및 사실 정보 중 적어도 하나의 정보와 이미지 데이터를 매핑하여 저장모듈(330)에 저장한다(S409).
이제 도8을 참조하여, 단말장치(200)에 추천정보를 제공하는 과정에 대해서 살펴보면, 저장된 이미지 데이터를 사실정보 및 추정정보 중 적어도 하나를 기반으로 설정된 하나 이상의 기준에 따라 적어도 하나의 이미지 데이터를 분류, 즉, 그룹핑한다(S501).
이 때, 적어도 하나의 이미지 데이터를 사실정보를 기준으로 일정 기준에 따라 연관된 이미지 데이터끼리 1차 분류한 다음, 추정정보를 기반으로 일정한 특징을 가진 이미지 데이터끼리 2차 분류할 수 있다.
이렇게 분류된 이미지로부터 상기 사실정보 및 추정정보를 기반으로 사용자의 상황을 분석하는데(S503), 다시 말하면, 분류된 이미지로부터 사실 정보 및 추정정보를 기반으로 사용자가 어느 지역에 여행 중인지, 주로 어느 장소에 머물렀는지, 또는 한 장소에서 찍힌 사진이 많은 것은 그러한 장소에 사용자가 관심이 많다는 의미가 될 수 있으므로, 상기와 같은 정보, 즉, 사용자의 상황을 분류된 이미지 데이터를 통해 분석할 수 있다.
이렇게 분석한 사용자의 상황을 기반으로 하나 이상의 추천정보를 추출하게 되고(S505), 상기 추출한 추천정보를 단말장치(200)로 전송하여, 사용자에게 제공할 수 있다(S507).
이 때, 컨텐츠 제공 서버(300)는 상기 추출된 하나 이상의 추천정보를 포함하여 추천 리스트를 생성하고, 상기 추천 리스트에 포함된 하나 이상의 추천정보 중 상기 이미지 분석 정보에 대응하는 추천정보를 제외한 나머지 추천정보를 추출하여 사용자에게 제공할 수 있다.
즉, 사용자가 캡쳐하거나 촬영한 사진에 포함된 장소는 이미 사용자가 다녀 온 여행지일 가능성이 높으므로 상기 여행지를 제외한 다른 여행지를 추천해주는 것이 사용자에게 더 도움이 될 수 있고, 따라서, 상기 사용자가 이미 다녀온 여행지라고 판단되는 곳을 제외한 여행지 정보를 사용자에게 제공할 수 있는 것이다.
한편, 본 발명의 실시 예에서 컨텐츠 제공 서버(300)는 사용자의 요청 또는 필요에 따라 동일한 기준에 따라 분류된 적어도 하나의 이미지 데이터를 단말장치(200)로 제공할 수 있다.
이제 도9를 참조하여, 컨텐츠 제공 서버(300)가 제3 서비스 서버(400)로 사용자 별 특성 정보를 제공하는 과정을 살펴보면, 적어도 하나의 사용자가 제공하여 저장모듈(330)에 저장된 이미지 데이터를 사실정보 및 추정정보 중 적어도 하나를 기반으로 설정된 하나 이상의 일정 조건을 기준으로 분류하고(S601), 분류된 이미지 데이터로부터 사실정보 및 추정정보를 기반으로 각 사용자 별 특성 정보를 추출하여(S603), 추출된 특성정보를 제3 서비스 서버(400)에 전송할 수 있다(S605).
즉, 분류된 이미지 데이터로부터 사용자 별 선호 여행지, 선호 음식점 등의 특성 정보를 추출하여, 제3 서비스 서버(400)에 전송하고, 제3 서비스 서버(400)를 관리하는 서비스 제공자는 이러한 특성정보를 활용하여 마케팅에 이용할 수 있다.
상술한 컨텐츠 제공 서버(300)의 동작과정 전반은 컨텐츠 제공 서버(300)의 제어모듈(350)에 의하여 제어되어 실행될 수 있다.
이상, 본 발명에 따른 컨텐츠 제공 서버(300)의 구성 및 동작 방법에 대해 설명하였다.
이하, 본 발명의 제1 실시 예에 따른 이미지 데이터를 분석하여 추천정보를 추출하는 과정에 대하여 설명하도록 하겠다.
참고로, 하기에 설명하는 제1 실시 예에 따른 예시들은 단말장치(200)로부터 하나의 이미지 데이터를 수신한 것을 가정하고 설명한다.
만약, 단말장치(200)로부터 수신한 이미지 데이터가 복수 개라면, 복수개의 이미지 데이터의 연관성을 분석하는 과정이 추가될 것이다.
도10 내지 도11은 본 발명의 제1 실시 예에 따른 하나의 예시로써, 추천정보를 추출하는 과정을 설명하기 위한 예시도 이다.
[규칙 제91조에 의한 정정 03.08.2016]　
도10은 컨텐츠 제공 서버 (300)가 분석하여야 할, 단말장치 (200)에 의해
촬영되거나 캡쳐된 이미지 데이터의 이미지를 나타낸다.
[규칙 제91조에 의한 정정 03.08.2016]　
컨텐츠 제공서버 (300)는도 10의 이미지 데이터에 포함되어 있거나, 별도로
수신한 센서 정보를 통해 상기 이미지 데이터가 촬영되거나 생성된 위치가
'제주시 김녕 해수욕장'이고, 일시는 2015년 8월 3일이며，날씨는 섭씨 33도의
맑은 날씨라는 것을 알 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
그리고 도10을 분석하여 얻은 이미지 분석 정보를 통해 도10에 나타난 사람이
입은 서핑복이 '퀵00'사의 서핑복이라는 것을 알 수 있고，따라서, 상기 센서
정보 및 이미지 분석 정보를 기반으로 2015년 8월 3일 33도의 맑은 날씨에
'제주시 김녕해수욕장'에 '퀵 00'사의서핑복이 있다는사실정보를 추출 할 수
있고，맥락 분석을 통해 '한 남자가 서핑을 즐기고 있다. '는 추정정보를 추출 할 수
있다.
[규칙 제91조에 의한 정정 03.08.2016]　
상기와 같이 분석된 사실정보와 추정정보를 기반으로 컨텐츠 제공 서버(300)는
하나 이상의 추천정보를 추출하여 사용자에게 제공하게 되는데, 상기
추천정보가 하나 이상의 상품을 추천하는 것이라고 가정하면，도11에서와 같이
동일 브랜드의 래쉬가드 혹은 서핑복을 하나 이상 추천할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이 때，단말장치 (200)로부터 수신한 사용자 정보를 기반으로 하나 이상의
상품을 추천 시, 사용자의 취향에 맞는 색상이나，사용자에게 맞는 사이즈 등을
기준으로 상품을 추천할 수 있으며，하나 이상의 추천상품 제공 시 ,도8의
이미지에서 남자가 입고 있는 서핑복은 제외하고 추천할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이상, 본 발명의 제 1실시 예에 따른 이미지 데이터를 분석하여 추천정보를
추출하는 과정에 대하여 설명하였다.
[규칙 제91조에 의한 정정 03.08.2016]　
이하，본 발명의 제 2 실시 예에 따른 이미지 데이터를 분석하여 추천정보를
추출하는 과정에 대하여 설명하도록 하겠다.
[규칙 제91조에 의한 정정 03.08.2016]　
도12 내지 도13은 본 발명의 제 2 실시 예에 따른 추천정보를 추출하는과정을
설명하기 위한 예시도 이다.
[규칙 제91조에 의한 정정 03.08.2016]　
도12를 참조하면，적어도 하나의 사용자가 제주도 여행 중에 촬영한 제주도와
관련된 적어도 하나의 사진((a)~(f))및 각 사진에 대응하는 센서 정보를 컨텐츠
제공 서버(300)에 단말장치 (200)를 이용하여 제공하면, 컨텐츠 제공 서버 (300)는
각각의 이미지 데이터를 기반으로 이미지 데이터에 포함된 문자 또는 도형을
분석하여 이미지 분석 정보를 분석하고, 각각의 이미지 데이터의 상황인
맥락정보를 분석한다.
[규칙 제91조에 의한 정정 03.08.2016]　
그리고 추출한 이미지 분석 정보 및 센서 정보를 기반으로 이미지 데이터
각각에 대한 사실정보를 추출하는데，도12에서 센서 정보에 포함된 6장의
사진에 공통적으로 포함된 위치정보는 '제주도 '이고，일시 정보는 2015년 8월
3일이며, 날씨 정보는 섭씨 33도로 맑은 날씨인 것으로 기록되어 있는 것으로 가정한다.
[규칙 제91조에 의한 정정 03.08.2016]　
또한, 이미지 분석 정보를 통해 각각의 사진에서 '전복죽'， '산방산'， '주상절리'，
'돌하르방', '고기국수', '섭지코지 '등의 정보를 획득하고，맥락분석을 통해
'한가로운 풍경을 바라보고 있다', '음식을 테이블에 놓고 보고 있다'등의 정보,
즉, 추정정보를 추출할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이렇게 추출한 사실정보 중 위치정보를 기반으로 상기 6장의 사진을
'제주도'라는 기준에 따라 분류하고，추정정보를 기반으로 풍경이 좋은 명소를
거닐고 있는 사진인 (b), (c), (d), (f)와 음식 사진인 (a), (e)를 2차로 분류하며，
이러한 정보를 기반으로 추천 여행지와 추천 음식점을 포함하는 추천 정보를
추출하여사 용자에게 제공할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
상기와 같은 추천정보의 예시를 도13을 통해서 살펴보면, 도13은 풍경이 좋은
명소를 지니고 있는 (b), (c), (d), (f)의 사진 분류 기준을 중심으로 추천
관광코스를 사용자에게 제공해주고 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이 때， (b), (c), (d), (f)는 이미 사용자가 여행해 본 장소일 확률이 크므로，상기
(b), (c), (d), (f)의 장소를 제외한 나머지 장소를 기반으로 사용자에게 추천관광
코스를 제공해줄 수 있는것이다.
[규칙 제91조에 의한 정정 03.08.2016]　
한편,컨텐츠 제공서버 (300)는 상기의 추출된 사실정보 및 추정정보를
기반으로 사용자가 '한가로운 풍경을 구경하는 것을 좋아하고, 식도락 여행을
즐긴다'는 사용자의 특성정보를 파악하여 제 3서비스 서버 (400)에 제공함으로써，
제 3서비스 제공자는이를 마케팅에 활용할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이상，본 발명의 실시 예에 따른 이미지 데이터를 분석하여 추천정보를
추출하는 과정에 대하여 설명하였다.
[규칙 제91조에 의한 정정 03.08.2016]　
도 13은 본 발명의 실시 예에 따른 추천 컨텐츠 제공 시스템에서 추천 컨텐츠를
제공하기 위한 장치의 오퍼레이팅 환경을 도시한 도면이다.
[규칙 제91조에 의한 정정 03.08.2016]　
도 13 및이하의 설명은 본 발명이 구현될 수 있는 적절한 컴퓨팅 환경의
간단하고，일반적인 설명을 제공하고자 한다.요구사항은 아니지만,본 발명은
컴퓨터 시스템에 의해 실행되고 있는 프로그램 모듈과 같은 컴퓨터 실행가능
명령어와 관련하여 기술될 수 있다.

[규칙 제91조에 의한 정정 03.08.2016]　
일반적으로，프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터
유형을 구현하는 루틴, 프로그램，오브젝트，컴포넌트，데이터 구조 등을
포함한다.컴퓨터 실행가능 명령어，관련 데이터 구조,및 프로그램 모듈은 본
명세서에 개시된 발명의 행위를 실행하는 프로그램 코드 수단의 예를 나타낸다.
[규칙 제91조에 의한 정정 03.08.2016]　
도14를 참조하면, 본 발명을 구현하는 예시적인 컴퓨팅 시스템은 프로세싱
유닛 (11),시스템 메모리 (12)，및 상기 시스템 메모리 (12)를 포함하는 다양한
시스템 컴포넌트를 상기 프로세싱 유닛 (11)에 연결시키는 시스템 버스 (10)를
포함하는 형태 된 컴퓨팅 장치를 포함한다.
[규칙 제91조에 의한 정정 03.08.2016]　
프로세싱 유닛 (11)은 본 발명의 특징을 구현하도록 설계된 컴퓨터-실행가능
명령어를 실행시킬 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
시스템 버스 (10)는 다양한 버스 아키텍처 중의 임의의 것을 사용하는 로컬
버스，주변 버스,및 메모리 버스 또는 메모리 컨트롤러를 포함하는 몇 가지
유형의 버스 구조 중의 임의의 것일 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
시스템 메모리 (12)는 ROM(Read Only Memory)(12a) 및 RAM(Random Access
Memory)(12b)을 포함한다.시동중과 같은 때에 컴퓨팅 시스템 내의 구성요소들
간에 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입출력
시스템 (BIOS)(13a)은 일반적으로 ROM(12a)에 저장될 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
컴퓨팅 시스템은 저장 수단을 포함할 수 있는데, 예를 들어，하드 하드
디스크로부터 정보를 판독하거나 그 하드 디스크에 정보를 기록하는 하드
디스크 드라이브(15), 자기 디스크로부터 정보를 판독하거나 그 자기 디스크에
정보를 기록하는 자기 디스크 드라이브(16),및 예를 들면, CD-ROM 또는 기타 광
매체 등의 광 디스크로부터 정보를 판독하거나 그 광 디스크에 정보를 기록하는
광 디스크 드라이브(17)를 포함할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
하드 디스크 드라이브(15), 자기 디스크 드라이브 (16),및 광 디스크
드라이브 (17)는 각각 하드 디스크 드라이브 인터페이스 (18)，자기 디스크
드라이브 -인터페이스(19), 및 광 드라이브 인터페이스 (20)에 의해 시스템
버스 (10)에 접속된다.
[규칙 제91조에 의한 정정 03.08.2016]　
또한，컴퓨팅 시스템은，저장 수단으로서 외장 메모리 (21)를 더 구비할 수 있다.
상기 외장 메모리(21)는 입출력 인터페이스(24)를 통해서 시스템 버스(10)에
접속될 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
상술한 드라이브 및 그 드라이브에 의해 판독 및 기록되는 관련 컴퓨터
판독가능 매체는 컴퓨터 실행가능 명령어，데이터 구조,프로그램 모듈 및 기타
데이터의 비휘발성 저장을 제공한다. 본 명세서에서 기술된 예시적인 환경은
하드 디스크(15), 자기 디스크 (16) 및 광 디스크(17)를 예시하고 있으나，이외에
자기 카세트，플래쉬 메모리 카드, DVD，베루누이카트리지 (Bernoulli cartridge),
RAM, ROM,등을 포함하는, 데이터를 저장하는 다른 유형의 컴퓨터 판독가능
매체가 될 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
상기 프로세싱 유닛(11)에 의해 로딩되어 실행되는, 오퍼레이팅 시스템 (13b),
하나 이상의 애플리케이션 프로그램(13c), 기타 프로그램 모듈 (13d),및 프로그램
데이터 (13c)를 포함하는 하나 이상의 프로그램 모듈을 포함하는 프로그램 코드
수단은 하드 디스크(15)，자기 디스크 (16), 광 디스크 (17), ROM(12a) 또는
RAM(12b)에 저장될 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
아울러, 상기 컴퓨팅 시스템은, 키보드, 포인팅 장치，마이크로폰, 조이 스틱，
. 게임 패드, 스캐너，등과 같은 기타 입력 장치(22)를 통해 사용자로부터 명령 및
정보를 입력 받을 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이들 입력 장치(22)는 시스템 버스(10)에 연결된 입출력 인터페이스(24)를 통해
프로세싱 유닛(11)에 접속될 수 있다. 입출력 인터페이스(24)는 예를 들면,직렬
포트 인터페이스， PS/2 인터페이스，병렬 포트 인터페이스, USB 인터페이스,
IEEE(Institute of Electrical and Electronics Engineers) 1394 인터페이스 (즉,
파이어와이어 (Fire Wire)인터페이스)와 같은 매우 다양한 서로 다른 인터페이스
중 임의의 것을 논리적으로 나타내거나, 다른 인터페이스의 조합까지도
논리적으로 나타낼 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
더하여, 본 발명이 적용되는 컴퓨팅 시스템은，모니터 혹은 LCD와 같은
디스플레이 장치(26) 또는 스피커나 마이크로폰과 같은 오디오 장치(27)를 더
포함할 수 있으며, 이들은, 비디오 /오디오 인터페이스 (25)를 통해서 시스템
버스(10)에 접속된다.
[규칙 제91조에 의한 정정 03.08.2016]　
예를 들면,스피커 및 프린터 등의 (도시되지 않은) 기타 주변 출력 장치가
컴퓨터 시스템에 또한 접속될 수 있다.상기 비디오/오디오 인터페이스부 (25)는
HDMI(High Definition Multimedia Interface), GDI(Graphics Device Interface)등을
포함할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
또한，본 발명을 실행하는 컴퓨팅 시스템은，예를 들면,사무실 -광역 또는
기업 -광역 컴퓨터 네트워크, 홈 네트워크,인트라넷, 및 /또는 인터넷과 같은
네트워크에 접속 가능하다. 컴퓨터 시스템은 이러한 네트워크를 통해,예를
들면，원격 컴퓨터시 스템，원격 애플리케이션，및 /또는 원격 데이터베이스와
같은 외부 소스들과의 데이터를 교환할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이를 위해 본 발명이 적용되는 컴퓨팅 시스템은 외부 소스로부터 데이터를
수신하고 /거나 외부 소스로 데이터를 전송하는 네트워크 인터페이스(28)를
포함한다.
[규칙 제91조에 의한 정정 03.08.2016]　
본 발명에 있어서, 이러한 컴퓨팅 시스템은,네트워크 인터페이스(28)를 통해서
원격지에 위치한 장치와 정보를 송수신할 수 있다.예컨대，컴퓨팅 시스템이
단말장치 (200)를 의미하는 경우，네트워크 인터페이스(28)를 통해 컨텐츠 제공
서버 (300)와 정보를 송수신할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
반면, 컴퓨팅 시스템이 컨텐츠 제공 서버(300)를 의미하는 경우，네트워크
인터페이스(28)를 통해 단말장치 (200) 또는 제 3서비스 서버 (400)와 정보를
송수신할 수 있다. 네트워크 인터페이스(28)는，예를들면, 네트워크 인터페이스
카드 및 대응하는 네트워크 드라이버 인터페이스 사양(Network Driver Interface
Specification: "NDIS") 스택과 같은 하나 이상의 소프트웨어 및 /또는 하드웨어
모듈의 논리적 조합으로 나타낼 수 있다.

[규칙 제91조에 의한 정정 03.08.2016]　
마찬가지로，컴퓨터 시스템은 입출력 인터페이스(24)를 통해 외부 소스로부터
데이터를 수신하거나 외부 소스로 데이터를 전송한다. 입출력 인터페이스 (24)는
모뎀 (23) (예를들면，표준모뎀, 케이블모뎀, 또는 디지털 가입자선 (digital
subscriber line: "DSL")모뎀)에 연결될 수 있으며，이러한 모뎀 (23)을 통해 외부
소스로부터 데이터를 수신하고 /거나 외부 소스로 데이터를 전송할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
도 14는 본 발명에 적절한 오퍼레이팅 환경을 나타내지만，본 발명의 원리는，
필요하다면 적절한 수정으로, 본 발명의 원리를 구현할 수 있는 임의의 시스템에
채용될 수 있다. 도14에 도시된 환경은 단지 예시적이며 본 발명의 원리가
구현될 수 있는 매우 다양한 환경의 작은 일부도 나타내지 못한다.
[규칙 제91조에 의한 정정 03.08.2016]　
아울러，본 발명의 매장진입여부 판단 시 발생되는 다양한 정보는 컴퓨팅
시스템에 관련된 임의의 컴퓨터 판독가능 매체에 저장되고 액세스될 수 있다.
예를 들면, 이러한 프로그램 모듈들의 일부 및 관련 프로그램 데이터의 일부는,
시스템 메모리(12)에 저장하기 위해，오퍼레이팅 시스템 (13b), 애플리케이션
프로그램 (13c)，프로그램 모듈 (13d), 및 /또는 프로그램 데이터 (13e)에 포함될 수
있다.
[규칙 제91조에 의한 정정 03.08.2016]　
또한，하드 디스크와 같은 대용량 (mass) 저장 장치가 컴퓨팅 시스템에
연결되면，이러한 프로그램 모듈 및 관련 프로그램 데이터는 대용량 저장 장치에
저장될 수 있다. 네트워크 환경에서，본 발명과 관련된 프로그램 모듈 또는 그
일부는 입출력 인터페이스(24)의 모뎀 (23) 또는 네트워크 인터페이스(25)를 통해
연결된 원격 컴퓨터 시스템에 저장될 수 있다.이러한 모듈의 실행은 전술한
바와 같이 분산형 환경에서 수행될 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이상에서 설명한 바와 같이，본 명세서는 다수의 특정한 구현물의
세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구가능한 것의 범위에
대해서도 제한적인 것으로서 이해되어서는 안되며，오히려 특정한 발명의
특정한 실시 형태에 특유할 수 있는특징들에 대한 설명으로서 이해되어야 한다.
개별적인 실시 형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일
실시형태에서 조합하여 구현될 수도 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로
혹은 어떠한 적절한 하위 조합으로도 복수의 실시 형태에서 구현 가능하다.
나아가,특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이
묘사될 수 있지만，청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그
조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의
변형물로 변경될 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
마찬가지로,특정한 순서로 도면에서 동작들을 묘사하고 있지만，이는
바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로
그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는
것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이
유리할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
또한，상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를
모든 실시 형태에서 요구하는 것으로 이해되어서는 안되며，설명한 프로그램
컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께
통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
[규칙 제91조에 의한 정정 03.08.2016]　
본 명세서에서 설명한 주제의 특정한 실시 형태를 설명하였다. 기타의
실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대，청구항에서 인용된
동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다.
일 예로서，첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시
그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현
예에서，멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며 ,본 발명을
설명하기 위하여，그리고 통상의 기술자가 본 발명을 제작 및 이용 할 수 있도록
하기 위한 예를 제공하고 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이
아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만,
통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조，
변경 및 변형을 가할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고
특허청구범위에 의해 정하여져야 한다.
[규칙 제91조에 의한 정정 03.08.2016]　
본 발명은 추천 컨텐츠 제공 방법 및 장치에 관한 것으로서, 더욱 상세하게는
사용자가 촬영하거나 캡쳐한 사진의 센서 정보 및 이미지 분석 정보를 통해
사실정보를 추출하고,맥락 분석 정보를 통해 추정 정보를 추출하여，상기 사실
정보 및 추정정보를 기반으로 복수의 이미지 데이터를 일정 기준에 따라
분류하여 해당 사용자에게 특화된 맞춤형 추천 컨텐츠를 제공하기 위한 방법 및
장치에 관한 것이다.
[규칙 제91조에 의한 정정 03.08.2016]　
본 발명에 따르면，사용자가 촬영하거나 캡쳐한 사진의 센서 정보,데이터 분석
정보를 이용하여 사실 정보를 추출하고，사진을 분석하여 획득한 맥락정보를
이용하여 추정정보를 추출하여，상기 사실정보 및 추정정보를 기반으로
사용자에게 필요한 추천정보를 추출하고，이를 사용자에게 제공함으로써，
사진들을 보다 다양하고 효율적으로 관리하면서도 사용자의 행동 방식 변화와
주변 상황에 맞는 맞춤형 컨텐츠를 제공할 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
특히 ,본 발명에 따른 제1실시 예를 통해 사진이 촬영된 시간 또는 컨텐츠 제공
서버에 사진이 저장된 시간과 컨텐츠 제공 서버가 추천정보를 추천하는 시간
간의 차이를 고려하여，시간의 흐름에 맞는, 즉, 추천정보를 추천하는 당시의
트렌드를 반영하여 추천정보를 추출함으로써，사용자에게 보다 양질의
추천정보를 제공하여 사용자의 만족도를 높일 수 있다.

[규칙 제91조에 의한 정정 03.08.2016]　
또한，본 발명에 따른 제 2 실시 예를 통해 상기 추출된 사실정보와 추정정보를
기반으로 하나 이상의 일정 기준을 설정하여，설정된 기준에 따라 사진을
분류하여 분류된 기준 또는 분류된 사진들에서 추출할 수 있는 추천정보를
포함한 하나 이상의 정보를 사용자에게 제공하여，사용자의 상황에 맞춘 맞춤형
컨텐츠를 제공하고，분류된 기준 또는 분류된 사진들에서 추출할 수 있는 하나
이상의 정보를 제 3서비스 제공자에게 제공하여，연령，성별 등에 의한 효과적인
마케팅 전략을 수행할 수 있도록 도와줄 수 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
따라서 본 발명은 상기의 추천 컨텐츠 제공 방법을 통해 빅데이터 분석 산업 및
저장 플랫폼 서비스 산업발 전에 이바지할 수 있으며，시판 또는 영업의
가능성이 층분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로
산업상 이용 가능성이 있다.
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　
[규칙 제91조에 의한 정정 03.08.2016]　

Claims (15)

  1. 컨텐츠 제공 서버가 적어도 하나의 이미지 데이터 및 상기 각각의 이미지 데이터에 대응하는 센서 정보를 획득하는 단계;
    상기 이미지 데이터를 기반으로 이미지 데이터 각각에 포함된 문자 또는 도형을 분석하여 이미지 분석 정보를 추출하는 단계;
    상기 이미지 데이터를 기반으로 이미지 데이터 각각에 포함된 상황을 나타내는 맥락 정보를 분석하는 단계;
    상기 추출한 이미지 분석 정보 및 상기 센서 정보를 기반으로 상기 이미지 데이터 각각에 대한 사실정보를 추출하는 단계;
    상기 분석한 맥락정보를 기반으로 상기 이미지 데이터 각각에 대한 추정정보를 추출하는 단계; 및
    상기 이미지 데이터 각각에 대한 사실정보 및 추정정보 중 적어도 하나를 기반으로 상기 적어도 하나의 이미지 데이터와 관련된 적어도 하나의 정보를 상기 적어도 하나의 단말장치 또는 제3 서비스 서버로 전송하는 단계;
    를 포함하는 추천 컨텐츠 제공 방법.
  2. 통신망과 연동하여 적어도 하나의 단말장치 또는 제3 서비스 서버와 데이터를 송수신하는 통신모듈;
    상기 적어도 하나의 단말장치로부터 수신한 적어도 하나의 이미지 데이터 및 상기 이미지 데이터 각각에 대응하는 센서 정보를 저장하는 저장모듈; 및
    상기 저장모듈에 저장된 상기 이미지 데이터를 기반으로 이미지 데이터 각각에 포함된 문자 또는 도형을 분석하여 이미지 분석 정보를 추출하고, 상기 이미지 데이터를 기반으로 이미지 데이터 각각에 포함된 상황을 나타내는 맥락정보를 분석하여, 상기 추출한 이미지 분석 정보 및 상기 센서 정보를 기반으로 사실 정보를 추출하며, 상기 맥락정보를 기반으로 추정정보를 추출하여, 상기 추출된 사실정보 및 추천정보 중 적어도 하나를 기반으로 상기 적어도 하나의 이미지 데이터와 관련된 하나 이상의 정보를 상기 통신모듈을 통해 상기 적어도 하나의 단말장치 또는 제3 서비스 서버로 전송하도록 제어하는 제어모듈;
    을 포함하는 컨텐츠 제공 서버.
  3. 제2항에 있어서, 상기 제어모듈은
    상기 사실정보 및 상기 추정정보 중 적어도 하나의 정보를 상기 이미지 데이터와 매핑하여 상기 저장모듈에 저장하도록 제어하는 것을 특징으로 하는 컨텐츠 제공 서버.
  4. 제2항에 있어서, 상기 센서 정보는
    상기 단말장치가 이미지 데이터를 생성할 당시의 상기 단말장치의 위치 정보, 일시 정보 및 날씨 정보 중 적어도 하나의 정보를 더 포함하는 것을 특징으로 하는 컨텐츠 제공 서버.
  5. 제2항에 있어서, 상기 맥락 정보 및 사실 정보는 제1 시점의 맥락정보 및 제1 시점의 사실정보이고, 상기 추정정보는 제2 시점의 추정정보인 것을 특징으로 하는 컨텐츠 제공 서버.
  6. 제5항에 있어서, 상기 제어모듈은
    상기 추출된 제1 시점의 사실정보 및 상기 제2 시점의 추정정보를 기반으로 하나 이상의 추천정보를 추출하여 전송하는 것을 특징으로 하는 컨텐츠 제공 서버.
  7. 제5항에 있어서, 상기 제어모듈은
    상기 이미지 데이터가 상기 단말장치에 의해 생성된 시간인 제1 시점 정보를 상기 단말장치로부터 수신하여, 상기 제1 시점 및 상기 추천정보를 추출하는 시점인 제2 시점 간의 차이를 더 고려하여 상기 추천정보를 추출하는 것을 특징으로 하는 컨텐츠 제공 서버.
  8. 제5항에 있어서, 상기 제어모듈은
    상기 단말장치로부터 상기 단말장치의 사용자 정보를 수신하면, 상기 수신한 사용자 정보를 더 고려하여 상기 하나 이상의 추천정보를 추출하는 것을 특징으로 하는 컨텐츠 제공 서버.
  9. 제5항에 있어서, 상기 제어모듈은
    상기 추출된 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 포함하는 추천 리스트를 생성하고, 상기 추천 리스트에 포함된 하나 이상의 추천 정보 중 상기 이미지 분석 정보에 대응하는 추천정보를 제외한 나머지 추천정보를 추출하는 것을 특징으로 하는 컨텐츠 제공 서버.
  10. 제2항에 있어서, 상기 제어모듈은
    상기 이미지 데이터 각각에 대한 사실정보 및 추정정보 중 적어도 하나를 기반으로 설정된 하나 이상의 기준에 따라 상기 적어도 하나의 이미지 데이터를 분류하고, 상기 분류된 적어도 하나의 이미지 데이터와 관련된 적어도 하나의 정보를 상기 적어도 하나의 단말장치 또는 제3 서비스 서버로 전송하는 것을 특징으로 하는 컨텐츠 제공 서버.
  11. 제10항에 있어서, 상기 제어모듈은
    상기 분류된 이미지 데이터의 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 추출하는 것을 특징으로 하는 컨텐츠 제공 서버.
  12. 제11항에 있어서, 상기 제어모듈은
    상기 추출된 사실정보 및 추정정보를 기반으로 하나 이상의 추천정보를 포함하는 추천 리스트를 생성하고, 상기 추천 리스트에 포함된 하나 이상의 추천 정보 중 상기 이미지 분석 정보에 대응하는 추천정보를 제외한 나머지 추천정보를 추출하는 것을 특징으로 하는 컨텐츠 제공 서버.
  13. 제10항에 있어서, 상기 제어모듈은
    상기 상기 사실정보 및 추정정보 중 적어도 하나를 기반으로 상기 분류된 이미지 데이터로부터 각 사용자 별 특성 정보를 추출하는 것을 특징으로 하는 컨텐츠 제공 서버.
  14. 제10항에 있어서, 상기 제어모듈은
    동일한 기준에 따라 분류된 상기 적어도 하나의 이미지 데이터를 상기 단말장치로 제공하는 것을 특징으로 하는 컨텐츠 제공 서버.
  15. 제10항에 있어서, 상기 제어모듈은
    상기 사실정보를 기준으로 일정 기준에 따라 연관된 이미지 데이터끼리 1차 분류하고, 상기 1차 분류된 이미지 데이터를 상기 추정정보를 기반으로 일정한 특징을 가진 이미지 데이터끼리 2차 분류하는 것을 특징으로 하는 컨텐츠 제공 서버.
PCT/KR2016/007316 2015-12-16 2016-07-06 추천 컨텐츠 제공 방법 및 이를 위한 장치 WO2017104922A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020150180466A KR20170072071A (ko) 2015-12-16 2015-12-16 추천 컨텐츠 제공 방법 및 이를 위한 장치
KR10-2015-0180466 2015-12-16
KR1020150188281A KR102594094B1 (ko) 2015-12-29 2015-12-29 추천 컨텐츠 제공 방법 및 이를 위한 장치
KR10-2015-0188281 2015-12-29

Publications (1)

Publication Number Publication Date
WO2017104922A1 true WO2017104922A1 (ko) 2017-06-22

Family

ID=59056880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/007316 WO2017104922A1 (ko) 2015-12-16 2016-07-06 추천 컨텐츠 제공 방법 및 이를 위한 장치

Country Status (1)

Country Link
WO (1) WO2017104922A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563663A (zh) * 2018-01-04 2018-09-21 出门问问信息科技有限公司 图片推荐方法、装置、设备及存储介质
CN110502694A (zh) * 2019-07-23 2019-11-26 平安科技（深圳）有限公司 基于大数据分析的律师推荐方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060081659A (ko) * 2005-01-10 2006-07-13 삼성전자주식회사 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법
JP2007114942A (ja) * 2005-10-19 2007-05-10 Seiko Epson Corp メタデータ生成装置およびメタデータ生成方法
KR20080040064A (ko) * 2006-11-02 2008-05-08 주식회사 케이티 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법.
KR20140066476A (ko) * 2012-11-23 2014-06-02 건국대학교 산학협력단 이미지 기반의 정보 검색 방법 및 그 장치
KR20150071147A (ko) * 2013-12-18 2015-06-26 주식회사 알티캐스트 선택된 쿼리 이미지를 이용하는 연관 서비스 제공 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060081659A (ko) * 2005-01-10 2006-07-13 삼성전자주식회사 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법
JP2007114942A (ja) * 2005-10-19 2007-05-10 Seiko Epson Corp メタデータ生成装置およびメタデータ生成方法
KR20080040064A (ko) * 2006-11-02 2008-05-08 주식회사 케이티 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법.
KR20140066476A (ko) * 2012-11-23 2014-06-02 건국대학교 산학협력단 이미지 기반의 정보 검색 방법 및 그 장치
KR20150071147A (ko) * 2013-12-18 2015-06-26 주식회사 알티캐스트 선택된 쿼리 이미지를 이용하는 연관 서비스 제공 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563663A (zh) * 2018-01-04 2018-09-21 出门问问信息科技有限公司 图片推荐方法、装置、设备及存储介质
CN110502694A (zh) * 2019-07-23 2019-11-26 平安科技（深圳）有限公司 基于大数据分析的律师推荐方法及相关设备
WO2021012793A1 (zh) * 2019-07-23 2021-01-28 平安科技（深圳）有限公司 基于大数据分析的律师推荐方法及相关设备

Similar Documents

Publication Publication Date Title
WO2015016622A1 (en) Method and electronic device for sharing image card
WO2015072670A1 (en) System and method of sharing profile image card for communication
WO2017142293A1 (en) Electronic device and method of application data display therefor
WO2016048103A1 (ko) 사용자에게 콘텐트를 제공하기 위한 장치 및 방법
WO2017039341A1 (en) Display apparatus and control method thereof
WO2015182912A1 (en) Method of controlling display and electronic device for providing the same
WO2016114609A1 (en) Electronic device and method of processing information in electronic device
WO2016137167A1 (en) Terminal
WO2014030962A1 (en) Method of recommending friends, and server and terminal therefor
WO2013125796A1 (en) Method of sharing content and mobile terminal thereof
WO2013125802A1 (en) Method of capturing content and mobile terminal thereof
WO2016137221A1 (en) Electronic device and image display method thereof
WO2016085253A1 (en) Screen configuration method, electronic device, and storage medium
WO2013125806A1 (en) Method of providing capture data and mobile terminal thereof
WO2015057013A1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
WO2019039868A1 (en) ELECTRONIC DISPLAY DEVICE FOR APPLICATION AND METHOD FOR OPERATING THE SAME
WO2016043530A1 (en) System and method for providing service via application
WO2019240562A1 (en) Electronic device and operating method thereof for outputting response to user input, by using application
WO2015147486A1 (en) Method of providing activity notification and device thereof
WO2016072721A1 (en) Method of transmitting and receiving data of electronic device and electronic device using the method
WO2016129865A1 (ko) 위치 기반 정보 제공 시스템 및 그 방법
WO2017069422A1 (en) User terminal device and method for providing web service thereof
WO2018124842A1 (ko) 컨텐트에 관한 정보를 제공하는 방법 및 디바이스
WO2016039509A1 (ko) 단말기 및 그 동작 방법
WO2016114475A1 (en) Method of providing preset service by bending mobile device according to user input of bending mobile device and mobile device performing the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16875864

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16875864

Country of ref document: EP

Kind code of ref document: A1