WO2022055015A1 - 이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템 - Google Patents

이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템 Download PDF

Info

Publication number
WO2022055015A1
WO2022055015A1 PCT/KR2020/014710 KR2020014710W WO2022055015A1 WO 2022055015 A1 WO2022055015 A1 WO 2022055015A1 KR 2020014710 W KR2020014710 W KR 2020014710W WO 2022055015 A1 WO2022055015 A1 WO 2022055015A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
images
providing
image analysis
Prior art date
Application number
PCT/KR2020/014710
Other languages
English (en)
French (fr)
Inventor
김성철
Original Assignee
김성철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김성철 filed Critical 김성철
Publication of WO2022055015A1 publication Critical patent/WO2022055015A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Definitions

  • the present invention relates to a method and system for providing customized information based on image analysis, and more particularly, by analyzing images uploaded by users to determine their characteristics, and to generate recommendation information for popular photo spots or personalized travel destination recommendation information for each individual. It relates to a method and system.
  • a user tends to visit a place for the purpose of visiting a symbolic landmark or building, or with a specific topic such as visiting a museum or viewing a night view. Cases of referencing existing digital images are rapidly increasing.
  • the user searches for a photo containing a digital image of the place he wants to visit. For example, it is common to check the related image by searching for the place name of the subject to visit through a search box such as a portal site, community, or SNS. .
  • a search box such as a portal site, community, or SNS.
  • Another object of the present invention is to generate and provide travel destination recommendation information that a user may prefer based on information obtained based on analysis of images uploaded by other users and the user's personalized information.
  • a method for an information providing server to provide customized information based on image analysis comprising the steps of: (a) receiving an image from a plurality of user terminals; (b) performing analysis on the images to obtain photographing location category information or atmosphere information for each image; (c) receiving an image search request from a specific user terminal; and (d) providing images matching the shooting location category information or atmosphere information included in the image search request to the specific user terminal as a search result, an image analysis-based customized information providing method is provided.
  • Analysis of the image may be performed by a machine learning algorithm.
  • the method for providing customized information based on image analysis may further include registering the images received from the plurality of user terminals in each user's account and providing a service to enable sharing of image information between users.
  • the image analysis-based customized information providing method includes the steps of providing customized travel destination recommendation information based on information on an image selected by a specific user from among images provided as the search result or shared images, and personal information of the specific user may include more.
  • the method for providing customized information based on image analysis includes: performing analysis on the image, collecting pose information of users for each location, and providing optimized pose information for each photographing location to the user terminal based on the collected results may further include.
  • an image information receiving unit for receiving images from a plurality of user terminals; an image analysis unit for performing analysis on the image to obtain photographing location category information or atmosphere information for each image; and a photo spot information providing unit that receives an image search request including shooting location category information or atmosphere information from a specific user terminal, and provides images corresponding thereto to the specific user terminal as a search result.
  • a provision system is provided.
  • FIG. 1 is a diagram schematically showing the configuration of an image analysis-based customized information generation system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of an information providing server according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of an image upload interface provided to a user terminal according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of an image sharing interface according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of performing background analysis of each image according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of an interface for designating photo spot information search conditions according to an embodiment of the present invention.
  • FIG 7 shows examples of images searched for by setting photographing location category information and atmosphere information of each image.
  • FIG. 8 is a diagram illustrating an example of a detailed view page of a specific image provided to a user terminal as a result of selection of a specific image.
  • FIG. 1 is a diagram schematically showing the configuration of an image analysis-based customized information generation system according to an embodiment of the present invention.
  • a system may be configured to include a plurality of user terminals 100 and an information providing server 200 .
  • a plurality of user terminals 100 and the information providing server 200 are mutual communication networks, for example, mobile communication networks, local area networks (LANs), metropolitan area networks (MANs: Metropolitan Area Networks), wide area networks (WANs: Wide Area Network), World Wide Web (WWW), and wireless communication network (WiFi: Wireless Fidelity) can communicate.
  • LANs local area networks
  • MANs metropolitan area networks
  • WANs Wide Area Network
  • WWW World Wide Web
  • WiFi Wireless Fidelity
  • the user terminal 100 has an arithmetic function and may be implemented in any form as long as it is a device capable of communicating with the outside.
  • the user terminal 100 may be implemented as, for example, a smart phone, a tablet PC, a desktop, a laptop notebook, a PDA, and the like, but is not limited thereto.
  • an application for implementing the following functions and receiving a service provided by the information providing server 200 may be installed in the user terminal 100 .
  • Such an application may be downloaded from the information providing server 200 or another app store server and installed in the user terminal 100 .
  • the user terminal 100 uploads a photographed image to the information providing server 200 .
  • Each image includes information on a photographing location, a photographing time, etc. as metadata, and such information may be utilized when analyzing the image by the information providing server 200 .
  • the user terminal 100 performs a function of displaying the uploaded images of a plurality of users stored in the information providing server 200, among which information on the target image selected by the user or for checking detailed information is provided again. It is transmitted to the server 200 .
  • the information providing server 200 selects a travel destination preferred by the user based on the information on the user's selected image and the personal information separately input by the user (eg, information on age, gender, interest, etc.) and recommends information can be provided as This will be described in detail below.
  • FIG. 2 is a block diagram showing the configuration of the information providing server 200 according to an embodiment of the present invention.
  • the information providing server 200 includes an image information receiving unit 210 , an image sharing function providing unit 220 , an image analyzing unit 230 , a photo spot information providing unit 240 , It may be configured to include a customized travel destination recommendation information providing unit 250 and a pose recommendation unit 260 .
  • the image information receiving unit 210 , the image sharing function providing unit 220 , the image analyzing unit 230 , the photo spot information providing unit 240 , the customized travel destination recommendation information providing unit 250 , and the pose recommendation unit 260 are external. It may be a program module or hardware capable of communicating with the device. Such a program module or hardware may be included in the information providing server 200 in the form of an operating system, an application program module, and other program modules, and may be physically stored in various known storage devices. Meanwhile, these program modules or hardware include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks to be described later or execute specific abstract data types according to the present invention.
  • the image information receiving unit 210 receives information about the photographed image from the plurality of user terminals 100 and performs a function of posting the corresponding image information to each user's account.
  • FIG 3 is a diagram illustrating an example of an image upload interface provided to the user terminal 100 according to an embodiment of the present invention.
  • a user may select a photographing location of an upload target image and select an upload target image through a provided interface.
  • information for registering the image as a photo spot may be input.
  • Information for registering as a photo spot may be a search or input for a photographing location, location category selection information, atmosphere selection information, and the like. That is, in order to register the image that the user uploads as a photo spot, the user may directly input characteristic information (address of a shooting place, place category information, atmosphere information, etc.) for the image.
  • the “place category” is not information specifying an exact photographing location, but information indicating a type of photographed location. For example, cafes, restaurants, pubs, outdoors, exhibitions, etc.
  • the image information receiving unit 210 matches and stores the information to the image uploaded by each user.
  • the image sharing function providing unit 220 performs a function of providing images uploaded from a plurality of user terminals 100 in a form that other users can check.
  • FIG. 4 is a diagram illustrating an example of an image sharing interface according to an embodiment of the present invention.
  • the images uploaded by each user are uploaded to the corresponding user's account, and each user can check information about popular posts that are sorted based on feedback information of other users for each image, and the latest upload It is also possible to first check the image information. Also, it is possible to check only information about posts uploaded by users who have a friend relationship (follow relationship) with the user. In addition, it is also possible to search for and check only images taken in the vicinity of one's current location, or to view details by selecting one of a plurality of images overlapped on the map image. In addition, it is also possible to search for and check only images photographed in a specific place.
  • the image analysis unit 230 performs characteristic analysis on images uploaded by users. Specifically, the image analysis unit 230 classifies objects in each image, extracts a background from among them, analyzes the characteristics of the background, and determines whether each image was taken in what kind of place or environment. . This operation may be performed by a machine learning algorithm.
  • the above operation may be performed through deep learning, which is a kind of machine learning algorithm.
  • artificial intelligence learning can be performed through a machine learning algorithm based on learning data for classifying objects, ie, people, animals, objects, backgrounds, etc. for each image.
  • artificial intelligence learning may be performed through a machine learning algorithm based on the learning data for identifying which category or atmosphere the background corresponds to among a plurality of place categories or atmospheres.
  • learning for identification of detailed places specifically places such as mountains, sea, flower fields, alleyways, and walls among the place category “outdoor” and shooting time information (day, sunset, night, etc.) Learning for identification may be further performed.
  • FIG. 5 is an example of performing background analysis of each image according to an embodiment of the present invention, and is a diagram illustrating a process of analyzing in detail in what kind of place, when a place category is outdoors. Referring to FIG. 5 , it is possible to analyze the characteristics of the place where the corresponding image was taken based on the background information, and when the analyzed characteristic information is, for example, information corresponding to a road (information including a lane image), the corresponding image can also be classified as an image taken in a “Risk Area” or “Area Not Allowed for Photography”.
  • the image analysis unit 230 generates, as tag information, information about a location category, atmosphere, detailed location, shooting time, etc., photographed based on background characteristics, as tag information for numerous images uploaded by a plurality of users, and the corresponding image Match it and save it.
  • the image analysis unit 230 analyzes poses taken by users at each location on a number of images uploaded by a plurality of users.
  • separation of an object and a background in each image, and a motion recognition operation on the extracted object may be performed.
  • anthropological analysis of the extracted object for example, feature point detection for each part, and detection for each joint may be performed.
  • the photo spot information providing unit 240 performs a function of providing image information related to photo spot information that meets a condition specified by a user.
  • FIG. 6 is a diagram illustrating an example of an interface for designating photo spot information search conditions according to an embodiment of the present invention.
  • the photo spot information providing unit 240 may provide an interface for setting image search conditions, such as a search radius, a category, and an atmosphere, to the user terminal 100 .
  • the user may set a certain radius on the basis of the current location of the user terminal 100 through the interface and search for only images photographed within the radius, or select a category of a photographing location to select an image matching the corresponding category. It is also possible to search for only images, or select an atmosphere of a photographed image to search only images that match the atmosphere.
  • the photographing location category information and atmosphere information of each image are analyzed by the image analysis unit 230 and matched to each image and stored.
  • FIG 7 shows examples of images searched for by setting photographing location category information and atmosphere information of each image.
  • the user specifies the type or address of the desired place, specifies the desired atmosphere, and searches for image and photo spot locations that meet these conditions. , by referring to images similar to one's own taste, it is possible to easily select a photo spot that suits one's taste.
  • an image captured in a “shooting risk area” or “impossible area” as a result of analysis by the image analysis unit 230 is excluded from the search result. can do it
  • the customized travel destination recommendation information providing unit 250 generates recommendation information on a travel destination that the user may prefer based on characteristic information of an image selected by the user and viewed in detail, and personal information previously input by the user. to perform the provided function.
  • the image sharing function providing unit 220 and the photo spot information providing unit 240 provide the user terminal 100 with a search and display function for images uploaded by other users, and each user You can use the detailed view function by selecting a specific image among them.
  • 8 is a diagram illustrating an example of a detailed view page of a corresponding image provided to the user terminal 100 as a result of selecting a specific image.
  • each image is analyzed by the image analysis unit 230, so that the shooting location category information and atmosphere information may be matched.
  • each image may include information about a shooting time, a shooting location, etc. as metadata.
  • each image information may include shooting location category information, atmosphere information, shooting time information, location or address information of a shooting location, and the like. If the selection and detailed view functions are used, the user's preference can be identified based on the information of the selected image. In order to understand user preferences, category information of a shooting location, atmosphere information, and information on a shooting location may be mainly used.
  • each user may transmit his/her personal information through the user terminal 100 at the time of membership registration for this service or thereafter.
  • the personal information may include age information, gender information, and interest information (eg, leisure, tourism, restaurant, sports, etc.).
  • the customized travel destination recommendation information providing unit 250 may identify a user's taste based on information on an image selected by the user and personal information input by the user, and may generate travel destination information that matches the information.
  • the information included in the information in the selected image (shooting location category information, atmosphere information, detailed location, shooting time, etc.) is used as each variable, and the personal information input by the user is also individually variable, so that the user's characteristic information can be used as each variable.
  • information on travel destinations stored in the database and information on images uploaded by a plurality of users may also be parameterized and utilized as characteristic information of the place.
  • the variables may further include the number of likes, the number of uploads of photos, the number of comments, and the number of shares for the corresponding place or images taken at the corresponding place.
  • a travel destination having the characteristic information most highly related to the user's characteristic information may be generated as customized travel destination recommendation information and provided to the user, and the user's characteristic information and the most relevant characteristic information may be generated and provided to the user.
  • the photographing location of the image may be generated as customized travel destination recommendation information.
  • N-dimensional vectorization is performed based on characteristic information on a specific user (a first vector).
  • Each variable included in the vector is information included in the information in the selected image, and may be shooting location category information and atmosphere information, and additionally, as personal information, gender information and age information are further included.
  • N-dimensional vectorization is performed based on characteristic information of each travel destination stored in the database and characteristic information of images uploaded by a plurality of users (second vector).
  • Variables representing characteristic information for each travel destination may also include place category information, atmosphere information, preferred gender information, and preferred age information.
  • variables included in each characteristic information of images uploaded by a plurality of users may include place category information, atmosphere information, gender information of upload users, and age information. These characteristic information can also be vectorized in the same way.
  • the travel destination or the photographing place of the image can be provided as customized travel destination recommendation information of the user. .
  • a weight may be applied to each of the derived one or more travel destinations or locations for capturing images. For example, factors related to users' preference for a place or image, that is, a weight proportional to the number of likes, number of uploads of photos, number of comments, or the number of shares for the place or image taken at that place.
  • a place or an image By applying to a place or an image, it can be used to create customized travel destination recommendation information. According to this, the more users prefer a place, the more likely it is to be recommended as a customized travel destination.
  • the pose recommendation unit 260 performs a function of providing recommended pose information for each place.
  • pose information of users may be analyzed together with the location information for each image by the image analysis unit 230 by the image analysis unit 230.
  • the pose recommendation unit 260 may be configured in a specific place, for example, the above method. It is possible to receive information on poses taken by other users at the recommended photo spot.
  • information on the poses taken the most by users may be provided to the user terminal 100 , or optimized pose information derived as a result of analyzing the pose similarities of users may be provided.
  • the pose recommendation unit 260 analyzes the relative positions of each joint of the person (eg, the position of the elbow with respect to the knee, etc.) analyzed based on the image, and if it falls within a preset range, After recognizing the same/similar pose, it is possible to increase the frequency of the corresponding pose.
  • information about a pose having the highest frequency in a specific place may be provided to the user terminal 100 .
  • a sample photographed image at the corresponding location may be provided, and the user can take a satisfactory photo at the corresponding location while taking the same pose.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 실시예에 따르면, 정보 제공 서버가 이미지 분석 기반 맞춤형 정보를 제공하기 위한 방법으로서, (a) 복수의 사용자 단말기로부터 이미지를 수신하는 단계; (b) 상기 이미지에 대해 분석을 수행하여, 각 이미지에 대한 촬영 장소 카테고리 정보 또는 분위기 정보를 획득하는 단계; (c) 특정 사용자 단말기로부터 이미지 검색 요청을 수신하는 단계; 및 (d) 상기 이미지 검색 요청에 포함되는 촬영 장소 카테고리 정보 또는 분위기 정보와 부합하는 이미지들을 검색 결과로서 상기 특정 사용자 단말기에 제공하는 단계를 포함하는, 이미지 분석 기반 맞춤형 정보 제공 방법이 제공된다.

Description

이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템
본 발명은 이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템에 관한 것으로, 보다 상세하게는, 사용자들이 업로드한 이미지를 분석하여 그 특성을 파악하고, 인기 포토 스팟에 대한 추천 정보 또는 개인별 맞춤형 여행지 추천 정보를 생성하는 방법 및 시스템에 관한 것이다.
최근 스마트폰의 보급이 전세계적으로 대중화됨에 따라, 스마트폰에 내장된 카메라를 이용한 디지털 이미지의 촬영 및 이에 대한 공유 활동이 활발해지고 있다. 이는 인터넷 및 SNS를 통해 상호 소통이 가능한 형태로 게재되고 있고, 전세계적으로 다양한 주제의 사진들이 실시간으로 업데이트되며, 디지털 기억 매체의 용량이 증대됨에 따라 이러한 디지털 이미지들이 서버에 저장되어 사용자 간의 공유가 일상화되고 있다.
사용자들은 사진을 찍을 목적으로 특정 장소를 방문하는 일도 늘어나고 있는데, 이렇게 특정 장소를 방문하는 계획을 세울 경우, 또는 여행을 계획할 시, 다른 사람들이 SNS 등의 공간에 업로드한 이미지를 많이 참조한다.
예를 들면, 사용자는 상징적인 랜드마크 또는 건축물 등을 방문할 목적, 또는 박물관 관람이나 야경 관람과 같은 특정한 주제를 가지고 해당 장소를 찾아가려는 경향이 있는데, 이러한 경우, 텍스트 정보보다는 인터넷 공간에 다양하게 존재하는 디지털 이미지를 참조하는 사례가 급증하고 있다.
이를 위해 사용자는 방문하고자 하는 곳의 디지털 이미지가 담겨진 사진을 검색하게 되는데, 예를 들면, 포털 사이트, 커뮤니티, SNS 등의 검색창을 통해 방문 대상의 지명을 검색하여 관련 이미지를 확인하는 것이 일반적이다. 그러나, 방대한 디지털 이미지 자료를 모두 검색하는 데에는 오랜 시간이 소요되며, 사용자의 여행 조건에 맞는 장소를 선택하거나 추천 받는 데에 있어서 어려운 점이 많았다.
본 발명의 목적은 상술한 종래 기술의 문제점을 해결하기 위한 것이다.
본 발명의 목적은 사용자들이 업로드한 이미지를 분석하여, 해당 이미지의 특성을 획득하고, 각 지역별 또는 위치별 인기 포토 스팟에 대한 안내 정보 생성을 가능하게 하는 것이다.
본 발명의 다른 목적은, 타 사용자들이 업로드한 이미지에 대한 분석을 기반으로 획득되는 정보, 사용자의 개인화된 정보를 토대로 해당 사용자가 선호할만한 여행지 추천 정보를 생성 및 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 정보 제공 서버가 이미지 분석 기반 맞춤형 정보를 제공하기 위한 방법으로서, (a) 복수의 사용자 단말기로부터 이미지를 수신하는 단계; (b) 상기 이미지에 대해 분석을 수행하여, 각 이미지에 대한 촬영 장소 카테고리 정보 또는 분위기 정보를 획득하는 단계; (c) 특정 사용자 단말기로부터 이미지 검색 요청을 수신하는 단계; 및 (d) 상기 이미지 검색 요청에 포함되는 촬영 장소 카테고리 정보 또는 분위기 정보와 부합하는 이미지들을 검색 결과로서 상기 특정 사용자 단말기에 제공하는 단계를 포함하는, 이미지 분석 기반 맞춤형 정보 제공 방법이 제공된다.
상기 이미지에 대한 분석은 머신러닝 알고리즘에 의해 수행될 수 있다.
상기 이미지 분석 기반 맞춤형 정보 제공 방법은, 상기 복수의 사용자 단말기로부터 수신된 이미지를 각 사용자의 계정에 등록하여 사용자들 간 이미지 정보 공유가 가능하도록 서비스하는 단계를 더 포함할 수 있다.
상기 이미지 분석 기반 맞춤형 정보 제공 방법은, 상기 검색 결과로서 제공된 이미지 또는 공유되는 이미지 중 특정 사용자에 의해 선택되는 이미지에 대한 정보, 및 상기 특정 사용자의 개인 정보를 토대로 맞춤형 여행지 추천 정보를 제공하는 단계를 더 포함할 수 있다.
상기 이미지 분석 기반 맞춤형 정보 제공 방법은, 상기 이미지에 대한 분석을 수행하여, 각 장소 별 사용자들의 포즈 정보를 수집하고, 수집된 결과를 토대로 촬영 장소 별 최적화된 포즈 정보를 상기 사용자 단말기에 제공하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 복수의 사용자 단말기로부터 이미지를 수신하는 이미지 정보 수신부; 상기 이미지에 대해 분석을 수행하여, 각 이미지에 대한 촬영 장소 카테고리 정보 또는 분위기 정보를 획득하는 이미지 분석부; 및 특정 사용자 단말기로부터 촬영 장소 카테고리 정보 또는 분위기 정보를 포함하는 이미지 검색 요청을 수신하고, 이에 부합하는 이미지들을 검색 결과로서 상기 특정 사용자 단말기에 제공하는 포토 스팟 정보 제공부를 포함하는, 이미지 분석 기반 맞춤형 정보 제공 시스템이 제공된다.
본 발명의 실시예에 따르면, 사용자들이 업로드한 이미지를 분석하여, 해당 이미지의 특성을 획득하고, 각 지역별 또는 위치별 인기 포토 스팟에 대한 안내 정보 생성이 가능해진다.
본 발명의 실시예에 따르면, 타 사용자들이 업로드한 이미지에 대한 분석을 기반으로 획득되는 정보, 사용자의 개인화된 정보를 토대로 해당 사용자가 선호할만한 여행지 추천 정보를 생성 및 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 이미지 분석 기반 맞춤형 정보 생성 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 정보 제공 서버의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따라 사용자 단말기에 제공되는 이미지 업로드 인터페이스의 일례를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 이미지 공유 인터페이스의 일례를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 각 이미지의 배경 분석을 수행하는 일례를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 포토 스팟 정보 검색 조건을 지정을 하기 위한 인터페이스의 일례를 나타내는 도면이다.
도 7은 각 이미지의 촬영 장소 카테고리 정보 및 분위기 정보를 설정함에 따라 검색된 이미지들의 예를 나타낸다.
도 8은 특정 이미지에 대한 선택 결과로 사용자 단말기에 제공되는 해당 이미지의 상세 보기 페이지의 일례를 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 분석 기반 맞춤형 정보 생성 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 시스템은, 다수의 사용자 단말기(100) 및 정보 제공 서버(200)를 포함하여 구성될 수 있다.
다수의 사용자 단말기(100)와 정보 제공 서버(200)는 상호 통신망, 예를 들면, 이동통신망, 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network), 월드와이드웹(WWW: World Wide Web), 무선통신망(WiFi: Wireless Fidelity)을 통해 통신할 수 있다.
사용자 단말기(100)는 연산 기능을 갖추고 있으며, 외부와 통신할 수 있는 기기라면 어떠한 형태로 구현되어도 무방하다. 이러한 사용자 단말기(100)는 예를 들면 스마트폰, 태블릿 PC, 데스크톱, 랩탑 노트북, PDA 등으로 구현될 수 있으나, 이에 제한되는 것은 아니다.
또한, 사용자 단말기(100)에는 이하의 기능들을 구현하고 정보 제공 서버(200)에 의해 제공되는 서비스를 수신하기 위한 애플리케이션이 설치되어 있을 수 있다. 이러한 애플리케이션은 정보 제공 서버(200) 또는 이와는 다른 앱스토어 서버로부터 다운로드되어 사용자 단말기(100)에 설치된 것일 수 있다.
일 실시예에 따른 사용자 단말기(100)는 정보 제공 서버(200)에 촬영 이미지를 업로드한다. 각 이미지에는 메타 데이터로서 촬영 위치, 촬영 시각 등에 대한 정보가 함께 포함되는데, 이러한 정보들은 정보 제공 서버(200)에 의한 이미지 분석 시 활용될 수 있다. 또한, 사용자 단말기(100)는 정보 제공 서버(200)에 저장된 복수 사용자들의 업로드 이미지를 표시하는 기능을 수행하는데, 이 중 사용자가 선택하거나, 상세 정보를 확인하는 대상 이미지에 대한 정보를 다시 정보 제공 서버(200)로 전송한다.
정보 제공 서버(200)는 상기 사용자의 선택 이미지에 대한 정보, 사용자가 별도로 입력한 개인 정보(예를 들면, 연령, 성별, 관심사 등에 대한 정보)를 토대로 해당 사용자가 선호할만한 여행지를 선정하여 추천 정보로서 제공해줄 수 있다. 이에 대해서는 이하에서 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 정보 제공 서버(200)의 구성을 나타내는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 정보 제공 서버(200)는 이미지 정보 수신부(210), 이미지 공유 기능 제공부(220), 이미지 분석부(230), 포토 스팟 정보 제공부(240), 맞춤형 여행지 추천 정보 제공부(250), 포즈 추천부(260)를 포함하여 구성될 수 있다.
이미지 정보 수신부(210), 이미지 공유 기능 제공부(220), 이미지 분석부(230), 포토 스팟 정보 제공부(240), 맞춤형 여행지 추천 정보 제공부(250), 포즈 추천부(260)는 외부 장치와 통신할 수 있는 프로그램 모듈 또는 하드웨어들일 수 있다. 이러한 프로그램 모듈 또는 하드웨어는 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 정보 제공 서버(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 한편, 이러한 프로그램 모듈 또는 하드웨어들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
이미지 정보 수신부(210)는 다수의 사용자 단말기(100)로부터 촬영 이미지에 대한 정보를 수신하고, 각 사용자의 계정에 해당 이미지 정보를 게시하는 기능을 수행한다.
도 3은 본 발명의 일 실시예에 따라 사용자 단말기(100)에 제공되는 이미지 업로드 인터페이스의 일례를 나타내는 도면이다.
도 3을 참조하면, 사용자는 제공되는 인터페이스를 통해, 업로드 대상 이미지의 촬영 장소에 대한 선택, 업로드 대상 이미지 선택을 할 수 있다. 또한, 해당 이미지에 대해 포토 스팟으로 등록하기 위한 정보를 입력할 수도 있다. 포토 스팟으로 등록하기 위한 정보는, 촬영 장소에 대한 검색 또는 입력, 장소 카테고리 선택 정보, 분위기 선택 정보 등일 수 있다. 즉, 사용자는 자신이 업로드하는 이미지를 포토 스팟으로 등록하기 위해, 해당 이미지에 대한 특징 정보(촬영 장소의 주소, 장소 카테고리 정보, 분위기 정보 등)를 직접 입력할 수 있다. “장소 카테고리”라 함은 정확한 촬영 위치를 특정하는 정보가 아니라, 촬영된 장소의 종류를 나타내는 정보이다. 예를 들면, 카페, 맛집, 주점, 야외, 전시 등이 촬영된 “장소 카테고리”의 예들일 수 있다. 또한, “분위기 정보”라 함은 모던, 내츄럴, 아기자기, 러블리, 럭셔리, 유니크, 빈티지, 액티브, 클럽 등 정성적 또는 감정적인 정보를 의미한다. 이미지 정보 수신부(210)는 각 사용자가 업로드하는 이미지에 상기 정보들을 매칭시켜 저장한다.
이미지 공유 기능 제공부(220)는 다수의 사용자 단말기(100)로부터 업로드되는 이미지를 타 사용자들이 확인할 수 있는 형태로 제공하는 기능을 수행한다.
도 4는 본 발명의 일 실시예에 따른 이미지 공유 인터페이스의 일례를 나타내는 도면이다.
도 4를 참조하면, 각 사용자들이 업로드한 이미지는 해당 사용자의 계정에 업로드가 되는데, 각 사용자들은 각 이미지에 대한 다른 사용자의 피드백 정보를 토대로 정렬되는 인기 게시물에 대한 정보를 확인할 수도 있으며, 최신 업로드된 이미지 정보를 우선적으로 확인할 수도 있다. 또한, 자신과 친구 관계(팔로우 관계)를 맺고 있는 사용자들이 업로드한 게시물에 대한 정보만을 확인할 수도 있다. 또한, 자신의 현재 위치 주변에서 촬영된 이미지만을 검색하여 확인할 수도 있으며, 지도 이미지 상에 오버랩된 복수의 이미지 중 하나를 선택하여 상세보기를 할 수도 있다. 그리고, 특정 장소에서 촬영된 이미지만을 검색하여 확인할 수도 있다.
일 실시예에 따른 이미지 분석부(230)는 사용자들이 업로드한 이미지에 대한 특성 분석을 수행한다. 구체적으로, 이미지 분석부(230)는 각 이미지에서 객체들을 구분하여, 이 중 배경을 추출하여, 해당 배경의 특성을 분석한 후, 각 이미지가 어떠한 종류의 장소 또는 환경에서 촬영하였는지 여부를 판단한다. 이러한 동작은 머신러닝 알고리즘에 의해 수행될 수 있다.
일례로, 머신러닝 알고리즘 중 일종인 딥러닝을 통해 상기의 동작을 수행할 수 있다.
구체적으로, 각 이미지를 대상으로 객체, 즉, 인물, 동물, 사물, 배경 등을 구분해내기 위한 학습 데이터를 기초로 머신러닝 알고리즘을 통해 인공지능 학습을 할 수 있다. 또한, 배경으로 추출된 부분에 대해서는, 해당 배경이 복수 장소 카테고리 또는 분위기 중 어느 카테고리 또는 분위기에 해당하는지 구분해내기 위한 학습 데이터를 기초로 머신러닝 알고리즘을 통해 인공지능 학습을 할 수 있다. 추가적으로, 각 장소 카테고리에 있어서, 세부 장소(장소 카테고리 “야외” 중 산, 바다, 꽃밭, 골목길, 담벼락 등의 세부 장소)에 대한 식별을 위한 학습, 촬영 시간 정보(낮, 해질녘, 야간 등)를 식별을 위한 학습이 더 수행될 수도 있다. 여기에서, 인공지능 학습을 하는 학습 모델은 다양한 방식이 적용될 수 있고, 예를 들어, Inception, VGG, 또는 TensorFlow 등에 해당하는 학습 모델이 적용될 수 있다. 도 5는 본 발명의 일 실시예에 따라 각 이미지의 배경 분석을 수행하는 일례로서, 장소 카테고리가 야외인 경우, 세부적으로 어떠한 종류의 장소에서 촬영이 되었는지를 분석하는 과정을 나타내는 도면이다. 도 5를 참조하면, 배경 정보를 기초로 해당 이미지가 촬영된 장소의 특성을 분석할 수 있으며, 분석되는 특성 정보가 예를 들면 찻길에 해당하는 정보(차선 이미지를 포함하는 정보)인 경우 해당 이미지는 “촬영 위험 지역” 또는 “촬영 불가 지역”에서 촬영된 이미지로서 분류할 수도 있다.
즉, 이미지 분석부(230)는 복수의 사용자가 업로드한 수많은 이미지들에 대해, 배경 특성을 기초로 촬영된 장소 카테고리, 분위기, 세부 장소, 촬영 시각 등에 대한 정보를 태그 정보로서 생성하여, 해당 이미지에 매칭시켜 저장한다.
또한, 일 실시예에 따른 이미지 분석부(230)는 복수의 사용자가 업로드한 수많은 이미지들을 대상으로 각 위치에서 사용자들이 취한 포즈에 대한 분석을 수행한다.
이를 위해, 각 이미지에 있어서의 개체와 배경의 분리, 추출된 개체에 있어서의 모션 인식 동작을 수행할 수 있다. 모션 인식 시에는, 추출된 개체에 대한 인체학적 분석, 예를 들면, 각 부위에 대한 특징점 검출, 각 관절에 대한 검출이 수행될 수 있다.
이를 통해, 각 이미지에서의 사용자 포즈 분석이 완료될 수 있다.
상기 설명한 바와 같이 이미지 분석을 통해 촬영된 장소 등을 확인할 수 있기 때문에, 각 장소별로 사용자들의 포즈에 대한 데이터를 수집할 수 있다.
일 실시예에 따른 포토 스팟 정보 제공부(240)는 사용자가 지정한 조건에 맞는 포토 스팟 정보와 관련된 이미지 정보를 제공하는 기능을 수행한다.
도 6은 본 발명의 일 실시예에 따라 포토 스팟 정보 검색 조건을 지정을 하기 위한 인터페이스의 일례를 나타내는 도면이다.
도 6을 참조하면, 포토 스팟 정보 제공부(240)는 사용자 단말기(100)에 검색 반경, 카테고리, 분위기 등 이미지 검색 조건을 설정할 수 있도록 하는 인터페이스를 제공할 수 있다. 사용자는 해당 인터페이스를 통해, 현재 사용자 단말기(100)의 위치를 기준으로 일정 반경을 설정하여, 해당 반경 내에서 촬영된 이미지만을 검색할 수도 있고, 촬영 장소의 카테고리를 선택하여 해당 카테고리와 부합하는 이미지만을 검색할 수도 있으며, 촬영 이미지의 분위기를 선택하여 해당 분위기와 부합하는 이미지만을 검색할 수도 있다. 각 이미지의 촬영 장소 카테고리 정보 및 분위기 정보는 상술한 바와 같이 이미지 분석부(230)에 의해 분석되어 각 이미지에 매칭되어 저장된 정보이다.
도 7은 각 이미지의 촬영 장소 카테고리 정보 및 분위기 정보를 설정함에 따라 검색된 이미지들의 예를 나타낸다.
사용자 입장에서는 특정 범위의 위치에서 사진을 촬영하기에 앞서, 자신이 원하는 장소의 종류 또는 장소의 주소를 특정하고, 자신이 원하는 분위기를 특정한 후 이러한 조건에 부합하는 이미지 및 포토 스팟 위치를 검색함에 따라, 자신의 취향과 유사한 이미지들을 참조하여, 자신의 취향에 맞는 포토 스팟에 대한 선택이 용이해질 수 있다.
한편, 일 실시예에 따르면, 이미지 검색 시 검색 결과로 제공되는 이미지에 있어서, 이미지 분석부(230)에 의한 분석 결과 “촬영 위험 지역” 또는 “촬영 불가 지역”에서 촬영된 이미지는 검색 결과에서 제외시킬 수도 있다.
일 실시예에 따른 맞춤형 여행지 추천 정보 제공부(250)는 사용자가 선택하여 상세보기를 한 이미지의 특성 정보, 및 사용자가 기 입력한 개인 정보를 토대로 해당 사용자가 선호할만한 여행지에 대한 추천 정보를 생성하여 제공하는 기능을 수행한다.
전술한 바와 같이, 이미지 공유 기능 제공부(220) 및 포토 스팟 정보 제공부(240)는 사용자 단말기(100)에 타 사용자들이 업로드한 이미지에 대한 검색 및 표시 기능을 제공하는데, 각 사용자는 해당 이미지들 중 특정 이미지를 선택하여 상세 보기 기능을 이용할 수 있다. 도 8은 특정 이미지에 대한 선택 결과로 사용자 단말기(100)에 제공되는 해당 이미지의 상세 보기 페이지의 일례를 나타내는 도면이다.
전술한 바와 같이, 각 이미지는 이미지 분석부(230)에 의해 분석되어, 촬영 장소 카테고리 정보, 분위기 정보가 매칭되어 있을 수 있다. 또한, 각 이미지에는 메타 데이터로서, 촬영 시각, 촬영 장소 등에 대한 정보가 포함될 수 있다.
즉, 이미지 분석부(230)에 의해 분석된 결과로서, 각 이미지 정보에는 촬영 장소 카테고리 정보, 분위기 정보, 촬영 시각 정보, 촬영 장소의 위치 또는 주소 정보 등이 포함될 수 있는데, 각 사용자가 특정 이미지에 대한 선택 및 상세보기 기능을 이용하게 되면, 선택한 이미지의 정보를 토대로 해당 사용자의 취향을 파악할 수 있게 된다. 사용자 취향 파악을 위해서는 주로 촬영 장소 카테고리 정보, 분위기 정보, 촬영 장소 정보가 활용될 수 있다.
한편, 각 사용자는 사용자 단말기(100)를 통해 본 서비스에 대한 회원 가입 시 또는 그 이후 본인의 개인 정보를 전송할 수 있다. 개인 정보에는 연령 정보, 성별 정보, 관심사 정보(예를 들면, 레저, 관광, 맛집, 스포츠 등)가 포함될 수 있다.
맞춤형 여행지 추천 정보 제공부(250)는 사용자가 선택한 이미지에 대한 정보, 사용자가 입력한 개인 정보를 토대로 사용자의 취향을 파악하고, 이와 매칭되는 여행지 정보를 생성할 수 있다.
먼저, 선택한 이미지에 정보에 포함되는 정보들(촬영 장소 카테고리 정보, 분위기 정보, 세부 장소, 촬영 시각 등)을 각 변수로 하고, 사용자가 입력한 개인 정보들도 각각 변수화하여, 해당 사용자의 특성 정보로서 활용할 수 있다.
또한, 데이터베이스에 저장된 여행지에 대한 정보들, 복수의 사용자가 업로드한 이미지에 대한 정보들도 각각 변수화하여 장소의 특성 정보로서 활용할 수 있다. 상기 변수들에는, 해당 장소 또는 해당 장소에서의 촬영 이미지에 대한 좋아요 수, 사진 업로드 수, 댓글 수, 공유된 수가 더 포함될 수 있다.
본 발명의 일 실시예에 따르면, 사용자의 특성 정보와 가장 연관도가 높은 특성 정보를 갖는 여행지를 맞춤형 여행지 추천 정보로서 생성하여 해당 사용자에게 제공할 수도 있고, 사용자의 특성 정보와 가장 연관도가 높은 이미지의 촬영 장소를 맞춤형 여행지 추천 정보로서 생성할 수도 있다.
상기의 방식을 예로 들어 설명하면, 다음과 같다.
먼저, 특정 사용자에 대한 특성 정보를 토대로 N차원 벡터화한다(제1 벡터). 벡터에 포함되는 각 변수는 선택한 이미지에 정보에 포함되는 정보들로서, 촬영 장소 카테고리 정보, 분위기 정보일 수 있고, 추가적으로, 개인 정보로서, 성별 정보, 나이 정보가 더 포함된다.
또한, 데이터베이스에 저장된 각 여행지에 대한 특성 정보, 복수의 사용자가 업로드한 이미지의 특성 정보를 토대로 N차원 벡터화한다(제2 벡터). 각 여행지에 대한 특성 정보를 나타내는 변수에도, 장소 카테고리 정보, 분위기 정보, 선호 성별 정보, 선호 나이 정보가 포함될 수 있다. 또한, 복수의 사용자가 업로드한 이미지의 각 특성 정보에 포함되는 변수에도, 장소 카테고리 정보, 분위기 정보, 업로드 사용자의 성별 정보, 나이 정보가 포함될 수 있다. 이들 특성 정보도 동일한 방식으로 벡터화할 수 있다.
상기 생성된 제1 벡터와 가장 가까운, 즉, 가장 유사도가 높은 제2 벡터의 연관 여행지 또는 이미지 정보를 추출한다면, 해당 여행지 또는 이미지의 촬영 장소를 해당 사용자의 맞춤형 여행지 추천 정보로서 제공할 수 있게 된다.
한편, 제1 벡터와 제2 벡터 간 유사도 산출 후, 도출되는 일 이상의 여행지 또는 이미지의 촬영 장소 각각에는 가중치가 적용될 수 있다. 예를 들면, 장소 또는 이미지에 대한 사용자들의 선호도와 관련된 팩터들, 즉, 해당 장소 또는 해당 장소에서의 촬영 이미지에 대한 좋아요 수, 사진 업로드 수, 댓글 수, 또는 공유된 수에 비례하는 가중치를 해당 장소 또는 이미지에 대해 적용하여, 맞춤형 여행지 추천 정보 생성에 활용할 수 있다. 이에 따르면, 많은 사용자들이 선호하는 장소일수록 맞춤형 여행지로서 추천될 가능성이 커지게 된다.
일 실시예에 따른 포즈 추천부(260)는 각 장소별 추천 포즈 정보를 제공하는 기능을 수행한다. 전술한 바와 같이 이미지 분석부(230)에 의해 각 이미지에 대한 위치 정보와 함께 사용자들의 포즈 정보가 분석될 수 있는데, 이를 통해, 포즈 추천부(260)는 특정 장소, 예를 들면, 상기의 방식으로 추천된 포토 스폿 지점에서 타 사용자들이 많이 취한 포즈에 대한 정보를 제공받을 수 있게 된다.
이 과정에서 사용자들이 가장 많이 취한 포즈 정보가 사용자 단말기(100)에 제공될 수도 있고, 사용자들의 포즈 유사성을 분석하여, 이에 대한 분석 결과로서 도출되는 최적화된 포즈 정보가 제공될 수도 있다.
사람마다 체형이 다르기 때문에, 각 사용자가 취한 포즈가 아주 동일할 수는 없다.
따라서, 포즈 추천부(260)는 이미지를 기반으로 분석된, 사람의 각 관절에 대한 상대적인 위치(예를 들면, 무릎을 기준으로 한 팔꿈치의 위치 등)를 분석하여, 기 설정된 범위 내에 속하면, 동일/유사한 포즈로 인식한 후, 해당 포즈에 대한 빈도수를 증가시켜 나갈 수 있다.
이에 따라 특정 장소에서 빈도수가 가장 높은 포즈에 대한 정보가 사용자 단말기(100)에 제공될 수 있다.
또한, 이와 함께, 해당 위치에서의 샘플 촬영 이미지가 함께 제공될 수 있고, 사용자는 이를 통해, 동일한 포즈를 취하면서, 해당 위치에서 만족스러운 사진 촬영을 할 수 있게 된다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (6)

  1. 정보 제공 서버가 이미지 분석 기반 맞춤형 정보를 제공하기 위한 방법으로서,
    (a) 복수의 사용자 단말기로부터 이미지를 수신하는 단계;
    (b) 상기 이미지에 대해 분석을 수행하여, 각 이미지에 대한 촬영 장소 카테고리 정보 또는 분위기 정보를 획득하는 단계;
    (c) 특정 사용자 단말기로부터 이미지 검색 요청을 수신하는 단계; 및
    (d) 상기 이미지 검색 요청에 포함되는 촬영 장소 카테고리 정보 또는 분위기 정보와 부합하는 이미지들을 검색 결과로서 상기 특정 사용자 단말기에 제공하는 단계를 포함하는, 이미지 분석 기반 맞춤형 정보 제공 방법.
  2. 제1항에 있어서,
    상기 이미지에 대한 분석은 머신러닝 알고리즘에 의해 수행되는, 이미지 분석 기반 맞춤형 정보 제공 방법.
  3. 제1항에 있어서,
    상기 복수의 사용자 단말기로부터 수신된 이미지를 각 사용자의 계정에 등록하여 사용자들 간 이미지 정보 공유가 가능하도록 서비스하는 단계를 더 포함하는, 이미지 분석 기반 맞춤형 정보 제공 방법.
  4. 제3항에 있어서,
    상기 검색 결과로서 제공된 이미지 또는 공유되는 이미지 중 특정 사용자에 의해 선택되는 이미지에 대한 정보, 및 상기 특정 사용자의 개인 정보를 토대로 맞춤형 여행지 추천 정보를 제공하는 단계를 더 포함하는, 이미지 분석 기반 맞춤형 정보 제공 방법.
  5. 제1항에 있어서,
    상기 이미지에 대한 분석을 수행하여, 각 장소 별 사용자들의 포즈 정보를 수집하고, 수집된 결과를 토대로 촬영 장소 별 최적화된 포즈 정보를 상기 사용자 단말기에 제공하는 단계를 더 포함하는, 이미지 분석 기반 맞춤형 정보 제공 방법.
  6. 복수의 사용자 단말기로부터 이미지를 수신하는 이미지 정보 수신부;
    상기 이미지에 대해 분석을 수행하여, 각 이미지에 대한 촬영 장소 카테고리 정보 또는 분위기 정보를 획득하는 이미지 분석부; 및
    특정 사용자 단말기로부터 촬영 장소 카테고리 정보 또는 분위기 정보를 포함하는 이미지 검색 요청을 수신하고, 이에 부합하는 이미지들을 검색 결과로서 상기 특정 사용자 단말기에 제공하는 포토 스팟 정보 제공부를 포함하는, 이미지 분석 기반 맞춤형 정보 제공 시스템.
PCT/KR2020/014710 2020-09-08 2020-10-27 이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템 WO2022055015A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200114273A KR102228398B1 (ko) 2020-09-08 2020-09-08 이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템
KR10-2020-0114273 2020-09-08

Publications (1)

Publication Number Publication Date
WO2022055015A1 true WO2022055015A1 (ko) 2022-03-17

Family

ID=75134687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/014710 WO2022055015A1 (ko) 2020-09-08 2020-10-27 이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102228398B1 (ko)
WO (1) WO2022055015A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299685B1 (ko) * 2021-06-10 2021-09-08 주식회사 에어온 실시간 동영상 중계 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050110A (ko) * 2008-11-05 2010-05-13 에스케이커뮤니케이션즈 주식회사 이미지 검색 서비스를 제공하는 방법, 단말기, 이미지 검색서버 및 시스템
KR20160029330A (ko) * 2014-09-05 2016-03-15 동국대학교 산학협력단 사용자 특성 및 여행지 특성에 기반한 여행지 추천 시스템 및 방법
KR20170078109A (ko) * 2015-12-29 2017-07-07 에스케이플래닛 주식회사 추천 컨텐츠 제공 방법 및 이를 위한 장치
KR101912939B1 (ko) * 2018-06-14 2018-10-29 이영달 사용자 상태에 따른 맞춤형 자기관리정보 제공시스템
KR20200051540A (ko) * 2020-04-27 2020-05-13 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050110A (ko) * 2008-11-05 2010-05-13 에스케이커뮤니케이션즈 주식회사 이미지 검색 서비스를 제공하는 방법, 단말기, 이미지 검색서버 및 시스템
KR20160029330A (ko) * 2014-09-05 2016-03-15 동국대학교 산학협력단 사용자 특성 및 여행지 특성에 기반한 여행지 추천 시스템 및 방법
KR20170078109A (ko) * 2015-12-29 2017-07-07 에스케이플래닛 주식회사 추천 컨텐츠 제공 방법 및 이를 위한 장치
KR101912939B1 (ko) * 2018-06-14 2018-10-29 이영달 사용자 상태에 따른 맞춤형 자기관리정보 제공시스템
KR20200051540A (ko) * 2020-04-27 2020-05-13 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법

Also Published As

Publication number Publication date
KR102228398B1 (ko) 2021-03-15

Similar Documents

Publication Publication Date Title
US10719759B2 (en) System for building a map and subsequent localization
TWI615776B (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
WO2014092446A1 (ko) 객체 기반 영상 검색시스템 및 검색방법
WO2020122456A1 (ko) 이미지와 텍스트간 유사도 매칭 시스템 및 방법
WO2011136608A2 (ko) 단말 장치로 입력되는 입력 영상 및 상기 입력 영상에 관련된 정보를 이용하여 증강 현실을 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US20100309226A1 (en) Method and system for image-based information retrieval
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
WO2019214453A1 (zh) 一种内容分享系统、方法、标注方法、服务器及终端设备
WO2018174314A1 (ko) 스토리영상 제작 방법 및 시스템
KR20100002756A (ko) 매트릭스 블로깅 시스템 및 서비스 제공 방법
JP2007259415A (ja) 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
CN107870962B (zh) 适地性空间物件远距管理方法与系统
CN111699478B (zh) 图像检索装置、图像检索方法、电子设备及其控制方法
KR20150143971A (ko) 위치 기반의 여행용 빅데이터를 처리하기 위한 모바일 소셜 네트워크 서비스 시스템 및 그의 처리 방법
WO2019059435A1 (ko) 위치 데이터가 포함된 컨텐츠를 이용한 추천 방법 및 그 시스템
WO2022055015A1 (ko) 이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템
JP6600674B2 (ja) 移動オブジェクト仮想情報遠隔管理方法及び移動オブジェクト仮想情報遠隔管理システム
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
Wang et al. iNavigation: an image based indoor navigation system
CN113822128A (zh) 交通要素识别方法、装置、设备及计算机可读存储介质
WO2020106082A1 (ko) Vr 영상 기반의 여행 가이드 매칭 서비스 제공 장치 및 그 방법
CN107945353B (zh) 一种基于深度学习的自助导游系统
KR20120076492A (ko) 사용자 상황 인식 기반의 가상 체험 시스템 및 그 방법
KR101563238B1 (ko) 사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
CN109446356A (zh) 一种多媒体文件检索方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20953417

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01.08.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20953417

Country of ref document: EP

Kind code of ref document: A1