KR101523349B1 - Social Network Service System Based Upon Visual Information of Subjects - Google Patents

Social Network Service System Based Upon Visual Information of Subjects Download PDF

Info

Publication number
KR101523349B1
KR101523349B1 KR1020130110801A KR20130110801A KR101523349B1 KR 101523349 B1 KR101523349 B1 KR 101523349B1 KR 1020130110801 A KR1020130110801 A KR 1020130110801A KR 20130110801 A KR20130110801 A KR 20130110801A KR 101523349 B1 KR101523349 B1 KR 101523349B1
Authority
KR
South Korea
Prior art keywords
image
registered
information
module
search
Prior art date
Application number
KR1020130110801A
Other languages
Korean (ko)
Other versions
KR20140145053A (en
Inventor
김정태
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to KR1020130110801A priority Critical patent/KR101523349B1/en
Publication of KR20140145053A publication Critical patent/KR20140145053A/en
Application granted granted Critical
Publication of KR101523349B1 publication Critical patent/KR101523349B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Abstract

본 발명은 의견 교환 및 정보공유를 위한 기존의 소셜네트워크 서비스가 웹/모바일의 페이지 또는 게시판 단위로 운영되던 것과는 달리, 이용자가 촬영하여 전송한 피사체의 이미지를 서버 측 DB 내의 이미지와 시각적으로 비교함으로써 피사체 자체를 기반으로 신규 코멘트의 작성 또는 기존 코멘트의 열람을 가능케 하여 소셜네트워크의 단위를 피사체 중심으로 재구성할 수 있으며 해당 피사체와 관련된 정보 및 서비스를 용이하게 열람하거나 이용할 수 있도록 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템에 관한 것이다.
본 발명은 양방향 데이터 통신이 가능한 통신망을 통해 다수의 이용자 단말기들이 서비스 제공서버(200)에 접속하여 이미지를 전송하면, 서비스 제공서버(200)는 이미지나 동영상에 포함된 피사체에 대한 시각적 정보를 영상정보로 추출하고 타 회원이 기존에 전송한 동일 또는 유사한 피사체를 검색하여 확인하고, 동일 피사체인 경우에 타 이용자가 등록한 코멘트를 열람하거나 이에 대한 댓글을 추가할 수 있도록 하여 이용자들이 관계를 맺고 교류를 할 수 있도록 하는 것이다.Unlike the existing social network service for exchanging opinions and sharing information, which is operated on a web / mobile page or bulletin board, the present invention visually compares an image of a subject photographed and transmitted with an image in a server-side DB Based on the subject itself, it is possible to reconstruct the unit of the social network based on the subject by making a new comment or reading the existing comment, and a visual information base of the subject which can easily browse or use information and services related to the subject To a social network service system.
When a plurality of user terminals connect to a service providing server 200 through an image communication network capable of bidirectional data communication and transmit an image, the service providing server 200 displays visual information about a subject included in an image or a moving image The user can search for and confirm the same or similar subject that the other member has previously transmitted, and if the same subject is the same subject, the comment registered by the other user can be read or added to the user, To be able to do so.

Description

피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템{Social Network Service System Based Upon Visual Information of Subjects}[0001] The present invention relates to a visual information-based social network service system,

본 발명은 이용자가 서비스 제공서버에 전송한 피사체가 포함된 이미지의 시각적 정보에 기초하여 등록된 피사체에 대한 이미지 또는 동영상을 검색하여 이용자가 피사체에 대한 부가정보를 확인할 수 있고, 피사체에 대한 관심을 중심으로 이용자들이 서로 교류할 수 있도록 할 수 있는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템에 관한 것이다.According to the present invention, a user searches for an image or a moving image of a registered subject on the basis of visual information of an image including a subject transmitted to a service providing server so that the user can check the additional information on the subject, The present invention relates to a visual information-based social network service system for allowing a user to interact with each other.

일반적으로 소셜 네트워크 서비스(SNS: Social Network Service)란 이용자 간의 자유로운 의사소통과 정보 공유, 그리고 인맥 확대 등을 통해 사회적 관계를 생성하고 강화시켜주는 온라인 플랫폼을 의미한다. 오늘날 대부분의 SNS는 웹/모바일 페이지 기반의 서비스를 의미하며, 웹 이외에도 전자 우편이나 인스턴트 메신저를 통해 이용자들끼리 서로 연락할 수 있는 수단을 제공하고 있다.In general, social network service (SNS) means an online platform that creates and strengthens social relations through free communication, information sharing, and network expansion among users. Most of today's SNS means web / mobile page-based services. In addition to the web, users can communicate with each other via e-mail or instant messenger.

최근 들어 스마트폰 이용자의 증가와 무선인터넷 서비스의 확장과 더불어 SNS의 이용자 또한 급증하고 있다. 대한민국 내 SNS 시장을 주도하고 있는 페이스북(Facebook)과 트위터(Twitter) 이용자 수는 이미 2011년에 1천만 명을 돌파했으며, 그 지속적인 증가 추세는 당분간 멈추지 않을 것으로 예상된다. SNS는 광범위하고 동시에 특정 성향의 집단으로 분류될 수 있는 서비스 이용자들을 데이터베이스에 의해 파악하고 관리할 수 있다는 점에서 마케팅 활용가치가 날로 부상하고 있다. 이 같은 장점을 통해 기업 입장에서는 저비용으로 표적집단에게 효율적으로 도달할 수 있는 맞춤형(customized) 마케팅을 집행할 수 있기 때문이다. SNS 업체 또한 SNS 페이지상의 광고 스페이스 판매와 소셜게임이나 아이템 판매 등을 통해 강력한 수익모델을 구축해 나가고 있어 향후 SNS 시장은 계속 성장해 나갈 것으로 전망된다.In recent years, the number of users of SNS has increased rapidly along with the increase of smartphone users and the expansion of wireless Internet service. The number of Facebook and Twitter users who are leading the SNS market in Korea has already exceeded 10 million in 2011, and the steady upward trend is not expected to stop for the time being. SNS is emerging as a value for marketing because it can identify and manage service users who can be categorized into a broad and concurrent group. This is because companies can enforce customized marketing that can reach the target group efficiently at a low cost. SNS companies are also building strong profit models through sales of ad space on SNS pages and sales of social games and items, and the SNS market is expected to continue to grow in the future.

그런데 맞춤형 마케팅을 위한 표적 집단으로서 이용자들을 분류하는 가장 좋은 방법은 이용자가 서버에 포스팅하는 정보를 분석하여 이용자들의 관심분야가 무엇인지를 파악하는 것이 무엇보다도 중요하다. 최근에는 젊은 이용자들을 중심으로 긴 텍스트의 글을 포스팅하는 것보다는 짧은 단문의 텍스트를 더 선호하는 경향이 있고, 카메라 기능이 기본적으로 추가되어 있는 스마트폰의 영향으로 직접 촬영한 이미지를 전송하고 간단한 코멘트를 추가하는 형태의 포스팅이 점점 증가하고 있다. 그러므로, 이렇게 영상을 이용자가 자유롭게 전송하고 교환하는 현재의 상태에서, 이용자들의 관심 분야를 파악하기 위해서는 해당 영상의 시각적 정보를 분석함으로써 동일한 관심 분야를 가지는 이용자들의 그룹을 분류해 내어야 한다는 요구가 있었다.However, the best way to classify users as a target group for customized marketing is to analyze the information posted by the users on the server, so that it is important to understand what the users are interested in. Recently, young users tend to prefer short texts rather than posting long texts, and because of the effects of smartphones, which are basically added with camera functions, The number of postings is increasing. Therefore, in order to freely transfer and exchange images, the user needs to classify groups of users having the same interest field by analyzing the visual information of the images in order to grasp the users' interest areas.

본 발명이 해결하고자 하는 과제는 이용자가 서비스 제공서버에 전송한 피사체가 포함된 이미지의 시각적 정보에 기초하여 등록된 이미지 또는 동영상을 검색함으로써 이용자가 피사체에 대한 정보를 확인할 수 있고, 피사체에 대한 관심을 중심으로 이용자들이 서로 교류할 수 있도록 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템을 제공하는 데 있다.A problem to be solved by the present invention is that a user can check information about a subject by searching for a registered image or a moving image based on visual information of an image including a subject transmitted to a service providing server, The present invention provides a visual information-based social network service system for allowing a user to interact with each other.

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

본 발명에 따른 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템은, 검색대상이 되는 각종 피사체를 포함하는 등록영상(이미지 또는 동영상)에 대한 정보와 등록자의 코멘트(텍스트 정보)를 저장하고 관리하는 등록영상 관리모듈(210)과; 등록된 영상으로부터 시각적 정보를 영상정보로 추출하여 저장하는 등록영상정보 추출모듈(220)과; 등록영상정보 추출모듈(220)에서 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류하는 등록영상 그룹분류모듈(230)과; 등록영상 그룹분류모듈(230)을 통해 분류된 각 그룹 내의 등록영상들이 공통으로 포함하고 있거나 각 그룹 내의 등록영상들로부터 발견되는 빈도수가 높은 하나 이상의 시각적 정보를 각 그룹의 대표 영상정보로 설정하는 그룹영상정보 설정모듈(240)과; 이용자로부터 인터넷에 연결된 단말기를 통해 확인하고자 하는 피사체가 포함된 검색이미지를 전송받으면 전송된 검색이미지에 대한 정보를 저장하고 관리하는 검색이미지 관리모듈(250)과; 이용자로부터 전송된 검색이미지로부터 시각적 정보를 영상정보로 추출하는 검색이미지 영상정보 추출모듈(260)과; 검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 그룹영상정보 설정모듈(240)을 통해 추출된 그룹의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상의 그룹을 검색하는 동일영상그룹 검색모듈(270)과; 동일영상그룹 검색모듈(270)에 의해 검색된 그룹 내 등록영상의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상을 검색하는 동일영상 검색모듈(290)과; 동일영상 검색모듈(290)에서 검색된 등록영상에 대해 기존에 등록하였거나 검색한 자의 코멘트(텍스트 정보)가 존재할 경우 이를 이용자 단말기(100)에 표시하고, 이용자로부터 상호 커뮤니케이션 또는 피드백 목적의 코멘트가 작성되면 이를 함께 저장하는 소셜네트워킹 서비스모듈(300)과; 이미지 또는 동영상을 등록하거나 또는 이미지를 검색하는 이용자를 회원으로 등록받아 저장하는 회원 관리모듈(310)을 포함하며, 소셜네트워킹 서비스모듈(300)은 검색된 등록영상을 직접 등록하였거나 코멘트 작성에 참여한 회원에게 해당 영상에 대한 신규 코멘트가 추가되었을 경우 관련 정보를 기 회원에게 제공하는 것을 특징으로 한다.A visual information-based social network service system for a subject according to the present invention includes a registered video management system for storing and managing information on a registered video (image or moving picture) including various subjects to be searched and comments (text information) Module 210; A registered image information extraction module 220 for extracting and storing visual information from registered images as image information; A registered image group classification module 230 for comparing the visual information of the registered image or the registered moving image extracted by the registered image information extraction module 220 and classifying the registered image or the registered moving image into an existing group or a new group according to the same or similarity; A group that sets one or more pieces of visual information, which are included in common in the groups classified through the registered image group classification module 230 or are frequently found from the registered images in each group, as the representative image information of each group An image information setting module 240; A search image management module 250 for storing and managing information on a transmitted search image when a search image including a subject to be confirmed is received from a user through a terminal connected to the Internet; A retrieval image image information extraction module 260 for extracting visual information from the retrieved image transmitted from the user as image information; The image information of the retrieved image extracted through the retrieval image image information extraction module 260 is compared with the image information of the group extracted through the group image information setting module 240 to search for a group of registered images which are the same or similarly matched An identical image group search module 270; An identical image retrieving module 290 for retrieving a registered image which is the same as or similar to the registered image retrieved by the same image retrieval module 270 and compared with the image information of the registered image in the group; When there is a comment (text information) of a registered or searched person in the registered image searched by the same image search module 290, the comment is displayed on the user terminal 100. When a comment for mutual communication or feedback is created from the user A social networking service module 300 for storing them together; And a member management module 310 for registering and storing a user who registers an image or a moving image or searches for an image. The social networking service module 300 is a module for registering the searched registered image, And when the new comment is added to the image, the related information is provided to the current member.

삭제delete

바람직하게, 회원 관리모듈(310)은 회원의 인맥에 대한 SNS 정보를 함께 등록받으며, 소셜네트워킹 서비스모듈(300)은 회원이 검색하였거나 코멘트를 작성한 행위가 확인되는 등록영상 또는 해당 등록영상에 저장된 코멘트 또는 해당 등록영상의 부가정보를 기 설정된 공개규칙에 따라 회원의 SNS페이지 또는 인맥에게 공개하는 것을 특징으로 한다.Preferably, the member management module 310 registers the SNS information of the member's social networking service together. The social networking service module 300 stores the registered image in which the member has searched or created the comment, Or the additional information of the registered image is disclosed to the SNS page or the network of the member in accordance with predetermined publicity rules.

바람직하게, 동일영상 검색모듈(290)은 검색이미지의 등록위치에 대응되는 지역의 위치정보를 갖는 등록영상을 우선적으로 검색하는 것을 특징으로 한다.Preferably, the same image search module 290 preferentially searches for a registered image having location information corresponding to the registered location of the search image.

본 발명에 의하면, 이용자는 서비스 제공서버에 전송한 피사체가 포함된 이미지의 시각적 정보에 기초하여 등록된 피사체에 대한 이미지 또는 동영상을 검색하여 피사체에 대한 부가정보를 확인할 수 있고, 피사체에 대한 관심을 중심으로 이용자들이 서로 교류할 수 있도록 하는 장점이 있다.According to the present invention, a user can search for an image or a moving image of a registered subject based on visual information of an image including a subject transmitted to a service providing server, thereby checking additional information about the subject, There is an advantage that users can interact with each other mainly.

도 1은 본 발명에 따른 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템의 구성을 개략도.
도 2는 본 발명에 따른 서비스 제공서버의 블록도.
도 3은 본 발명에 따른 등록동영상 영상정보 추출부의 상세 블록도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram illustrating the construction of a visual information based social network service system of a subject according to the present invention; FIG.
2 is a block diagram of a service providing server according to the present invention;
3 is a detailed block diagram of a registered motion picture image information extracting unit according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템에 대하여 자세히 살펴본다.Hereinafter, a visual information-based social network service system of a subject of the present invention will be described in detail with reference to the accompanying drawings.

도 1에 도시된 바와 같이 본 발명의 기본개념은 양방향 데이터 통신이 가능한 통신망을 통해 다수의 이용자 단말기들이 서비스 제공서버(200)에 접속하여 이미지나 동영상을 전송하면, 서비스 제공서버(200)는 이미지나 동영상에 포함된 피사체에 대한 시각적 정보를 영상정보로 추출하고 타 이용자가 기존에 전송한 동일 또는 유사한 피사체를 검색하여 확인하고, 동일 피사체인 경우에 타 이용자가 등록된 이용자들의 글을 볼 수 있고 코멘트(댓글)를 추가할 수 있도록 하여 이용자들이 관계를 맺고 교류를 할 수 있도록 하는 것이다. 예컨대, 이용자 단말기는 스마트폰, 스마트TV, 태블릿, 웨어러블PC 또는 개인용 컴퓨터(PC)일 수 있다.As shown in FIG. 1, a basic concept of the present invention is that when a plurality of user terminals connect to a service providing server 200 through a communication network capable of bidirectional data communication and transmit images or moving images, Or visual information of the subject included in the moving image is extracted as image information, and the same or similar subject sent by another user is searched for and confirmed, and in the case of the same subject, the other user can view the written articles of the registered users Comment (comment) can be added so that users can make a relationship and exchange. For example, the user terminal may be a smart phone, a smart TV, a tablet, a wearable PC, or a personal computer (PC).

여기서 '피사체'가 포함된 영상은 이미지나 동영상의 형태로 촬영되는 대상을 말한다. 예를 들어, 1) 특정 장소(조형물, 건축물, 자연 경관 등), 2) 특정 사물(특히 브랜드가 식별가능한 형태; 상품, 로고, 간판 등), 3) 특정 콘텐츠(책, 사진, 영화, 포스터, 잡지 등), 또는 4) 기타(사람의 얼굴 등)를 포함할 수 있다.Here, an image including a 'subject' refers to an object to be photographed in the form of an image or a moving image. For example, there are two types of objects: 1) specific places (sculptures, buildings, landscapes, etc.), 2) specific objects (especially brand identifiable forms; , Magazines, etc.), or 4) other (such as a person's face).

본 발명에 따라 각각의 피사체가 포함된 영상에서는 각각의 피사체를 식별할 수 있는 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다. 특히, 영상정보 중 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등을 의미한다.According to the present invention, a visual attribute of a feature point or a feature point that can identify each subject is extracted as image information in an image including each subject. Particularly, the feature point of the image information is information generated by an outline or a corner or a pole (darker or brighter than the surrounding brightness) included in the image or moving image, and the visual attribute of the feature point is brightness information or color Information or pattern information.

도 2에 도시된 바와 같이 본 발명의 일실시예에 따른 서비스 제공서버(200)는 등록영상 관리모듈(210), 등록영상정보 추출모듈(220), 등록영상 그룹분류모듈(230), 그룹영상정보 설정모듈(240), 검색이미지 관리모듈(250), 검색이미지 영상정보 추출모듈(260), 동일영상그룹 검색모듈(270), 검색결과 표시모듈(280)을 포함한다.2, the service providing server 200 according to an exemplary embodiment of the present invention includes a registration image management module 210, a registered image information extraction module 220, a registered image group classification module 230, An information setting module 240, a search image management module 250, a search image image information extraction module 260, a same image group search module 270, and a search result display module 280.

등록영상 관리모듈(210)은 검색대상이 되는 등록된 각종 피사체를 포함하는 영상(이미지 또는 동영상)에 대한 정보와 부가정보를 등록영상DB(211)에 저장하고 관리한다. 이때, 부가정보는 등록된 영상의 제목, 등록영상의 설명, 등록영상과 관련된 정보 또는 데이터, 등록되는 곳의 위치정보, 등록자의 코멘트, 기 검색자의 코멘트 등에 대한 정보를 포함한다.The registered video management module 210 stores and manages information and additional information on a video (image or moving image) including various registered objects to be searched in the registered video DB 211. [ At this time, the additional information includes information on the title of the registered video, description of the registered video, information or data related to the registered video, location information of the registered location, comment of the registrant, comment of the previous searcher,

등록영상정보 추출모듈(220)은 등록된 영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하여 등록영상DB(211)에 함께 저장한다. 이때, 등록영상정보 추출모듈(220)은 등록된 이미지로부터 영상정보를 추출하는 등록이미지 영상정보 추출부(221)와, 등록된 동영상으로부터 영상정보를 추출하는 등록동영상 영상정보 추출부(222)로 이루어진다. 이러한 등록영상정보 추출모듈(220)에 의해서 영상에 포함된 피사체의 영상정보를 특징점 또는 특징점의 시각적 속성으로 추출할 수 있다.The registered image information extraction module 220 extracts the visual attributes of the minutiae or minutiae from the registered image as image information and stores them together in the registered image DB 211. [ At this time, the registered image information extracting module 220 includes a registered image image information extracting unit 221 for extracting image information from the registered image, and a registered moving image image information extracting unit 222 for extracting image information from the registered moving image . The registered image information extraction module 220 can extract image information of a subject included in the image as visual attributes of the feature points or the feature points.

또한, 등록동영상 영상정보 추출부(222)는 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 씬 분할부(223)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 대표프레임 선정부(224)와, 선정된 대표프레임으로부터 하나 이상의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 등록동영상과 함께 저장하는 대표프레임 영상정보 추출부(225)로 이루어진다. 이때, 씬 분할부(223)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인할 수 있으며, 확인된 각각의 씬에는 고유 ID가 부여되는 것이 바람직하다. 이때, 변화가 시작되는 프레임은 S(Start)로 표시하고, 변화가 종료되는 프레임은 E(End)로 표시하여 구분하는 것이 바람직하다. 또한, 대표프레임 선정부(224)에서 선정되는 대표프레임은 씬을 구성하는 프레임들이 거의 유사하므로 전단, 중간 또는 후단의 어느 프레임을 선정하더라도 무방하며 추출할 수 있는 시각적 정보를 많이 포함하고 있는 프레임 또는 영상의 흔들림이 적은 프레임을 대표프레임으로 선정할 수도 있다.The registered moving picture image information extracting unit 222 includes a scene dividing unit 223 for dividing a section of a moving image before and after the moving image based on a point at which the registered moving image is transformed into a scene, A representative frame selecting unit 224 for selecting one or more frames to be selected as the representative frames from the selected representative frames, a representative frame image information extracting unit 224 for extracting the visual attributes of one or more minutiae or minutiae from the selected representative frame as image information, (225). At this time, the scene dividing unit 223 compares each frame of the video contents with a frequency graph of HSV (color / saturation / brightness) and compares the graph of the previous frame with the current frame, It can be determined that the scene is changed, and it is desirable that the unique ID is given to each of the confirmed scenes. At this time, it is preferable that the frame in which the change starts is denoted by S (Start), and the frame in which the change ends is denoted by E (End). Since the frames constituting the scene are almost similar to each other, the representative frame selected by the representative frame selecting unit 224 may be a frame including a large amount of visual information that can be extracted regardless of whether the frame is selected at the front end, A frame with few image shakes can be selected as a representative frame.

등록영상 그룹분류모듈(230)은 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류한다. 이와 같이 등록이미지 또는 등록동영상을 피사체에 따라 그룹으로 분류할 수 있기 때문에 등록이미지 또는 등록동영상에 다수의 피사체가 포함된 경우에는 피사체의 종류에 따라 다양하게 분류될 수 있다. 이때, 신규 등록이미지의 시각적 정보가 등록이미지 또는 등록동영상의 시각적 정보에서 현저하게 차이가 있는 경우에 새로운 그룹으로 분류하게 된다. The registered image group classification module 230 compares the extracted visual information of the registered image or the registered moving image with each other to classify the visual information of the registered image or the registered moving image into the existing group or the new group. Since the registered image or the registered moving image can be classified into groups according to the subject, when a plurality of subjects are included in the registered image or the registered moving image, the registered image or the registered moving image can be classified into various categories according to the type of the subject. At this time, when the visual information of the newly registered image is significantly different from the visual information of the registered image or the registered moving image, it is classified into a new group.

그룹영상정보 설정모듈(240)은 등록영상 그룹분류모듈(230)을 통해 분류된 각 그룹 내의 등록영상들이 공통으로 포함하고 있거나 각 그룹 내의 등록영상들로부터 발견되는 빈도수가 높은 시각적 정보를 각 그룹의 대표 영상정보로 설정한다. 이와 같이 각 그룹을 대표하는 영상정보를 설정하면 이용자가 검색이미지로 등록이미지를 검색하는 경우에 모든 등록이미지를 비교할 필요가 없어 검색시간을 단축시킬 수 있다.The group image information setting module 240 sets visual information having high frequency found in the registered images in each group classified through the registered image group classification module 230 or found from the registered images in each group, It is set as representative video information. When the image information representative of each group is set as described above, it is not necessary to compare all the registered images when the user searches for the registered image as the search image, thereby shortening the search time.

검색이미지 관리모듈(250)은 이용자가 인터넷에 연결된 단말기를 통해 확인하고자 하는 피사체가 포함된 검색이미지를 전송하면 전송된 검색이미지에 대한 정보를 검색이미지DB(251)에 저장하고 관리한다. 검색이미지 관리모듈(250)은 전송된 각종 검색이미지를 관리하는 검색이미지 관리부(252)와, 전송된 검색이미지에 대한 부가정보를 등록받는 검색이미지 부가정보 관리부(253), 및 검색이미지를 전송한 위치에 대한 정보를 관리하는 검색이미지 등록위치 확인부(254)로 이루어진다. 이때, 부가정보는 이미지에 대한 설명, 이미지에 관련된 정보 또는 데이터를 포함하고, 등록위치는 단말기의 위치정보를 제공받아 등록할 수 있다. 이에 따라 부가정보가 등록된 등록이미지 또는 등록동영상이 검색되면 해당 등록영상에 대해 태깅된 설명을 확인하거나 관련된 정보를 열람하거나 데이터를 다운로드 또는 스트리밍 받거나 링크된 사이트로 이동할 수 있다. 또한 검색이미지 등록위치 확인부(254)로부터 검색이미지의 위치정보를 제공받은 경우에 검색대상이 되는 등록이미지 또는 등록동영상의 위치정보를 제한할 수 있다.The search image management module 250 stores and manages information on the transmitted search image in the search image DB 251 when a user transmits a search image including a subject to be confirmed through a terminal connected to the Internet. The search image management module 250 includes a search image management unit 252 for managing various transmitted search images, a search image side information management unit 253 for registering additional information on the transmitted search images, And a search image registration location confirmation unit 254 for managing information on the location. At this time, the additional information includes a description of the image, information related to the image or data, and the registration position can be registered by receiving the position information of the terminal. Accordingly, when the registered image or the registered moving image in which the additional information is registered is retrieved, the tagged description for the registered image can be confirmed, the related information can be browsed, the data can be downloaded or streamed, or moved to the linked site. Also, when the location information of the search image is provided from the search image registration location confirmation unit 254, the location information of the registration image or the registered moving image to be searched can be limited.

검색이미지 영상정보 추출모듈(260)은 이용자로부터 전송된 검색이미지의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다. 이러한 검색이미지 영상정보 추출모듈(260)를 통해 전송된 이미지에 포함된 피사체의 영상정보를 추출할 수 있다. 이때, 검색이미지 영상정보 추출모듈(260)은 검색이미지 중에서 검색하고자 하는 피사체를 선정할 수 있도록 관리하는 검색피사체 선정부(261)를 구비할 수 있다. 이러한 검색피사체 선정부(261)에 의해서 이용자는 전송된 검색이미지의 영역만을 '잘라내기' 할 수 있고, 검색이미지 영상정보 추출모듈(260)은 이용자가 선택한 피사체에 대해서만 영상정보를 추출하게 된다.The retrieval image image information extraction module 260 extracts the visual attributes of the minutiae or minutiae of the retrieved image transmitted from the user as image information. The retrieval image information extracting module 260 can extract image information of a subject included in the image. At this time, the retrieval image image information extraction module 260 may include a retrieval subject selection unit 261 for managing the selection of a subject to be searched. The user can 'cut' only the area of the retrieved image by the retrieval subject selection unit 261, and the retrieved image image information extraction module 260 extracts the image information only for the subject selected by the user.

동일영상그룹 검색모듈(270)은 검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 그룹영상정보 설정모듈(240)을 통해 추출된 그룹의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상의 그룹을 검색한다. The same image group search module 270 compares the image information of the retrieved image extracted through the retrieval image image information extraction module 260 with the image information of the group extracted through the group image information setting module 240, To search for a group of registered images that match.

검색결과 표시모듈(280)은 동일영상그룹 검색모듈(270)에서 검색된 등록영상그룹 내 등록영상의 부가정보를 이용자 단말기(100)에 검색결과로 제공한다. 이에 따라 이용자는 검색이미지에 관련된 부가정보를 확인하여 등록이미지에 관련된 기 등록된 부가정보를 참조할 수 있다.The search result display module 280 provides the user terminal 100 with the additional information of the registered image in the registered image group retrieved by the same image group search module 270 as a search result. Accordingly, the user can check the additional information related to the search image and refer to the already registered additional information related to the registered image.

한편, 본 발명은 동일영상 검색모듈(290), 소셜네트워킹 서비스모듈(300), 회원 관리모듈(310)을 더 구비할 수 있다.Meanwhile, the present invention may further include the same image retrieval module 290, a social networking service module 300, and a member management module 310.

동일영상 검색모듈(290)은 검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 등록영상DB(211)에 저장된 등록영상의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상을 검색한다. 이때, 동일영상 검색모듈(290)은 사용자가 등록이미지의 위치정보를 등록한 경우에 등록된 등록영상의 위치정보를 확인하여 등록한 지역과 동일지역에서 등록된 영상만을 우선적으로 검색할 수 있다. The same image retrieval module 290 compares the image information of the retrieved image extracted through the retrieval image image information extraction module 260 with the image information of the registered image stored in the registered image DB 211, Search for images. At this time, when the user registers the location information of the registered image, the same image search module 290 can check the registered location information of the registered image and preferentially search only registered images in the same area as the registered area.

소셜네트워킹 서비스모듈(300)은 동일영상 검색모듈(290)에서 검색된 등록영상에 대해 타 이용자에 의해 기존에 등록된 코멘트(텍스트 정보)를 이용자 단말기(100)에 표시하고, 이용자로부터 상호 커뮤니케이션 또는 피드백을 위한 코멘트가 작성되면 이를 추가 저장하며 동일영상 검색모듈(290)에서 검색된 등록영상이 없을 경우 이용자는 해당 영상을 본인의 코멘트와 함께 신규 등록할 수 있다. 또한 영상을 등록하였거나 등록영상의 코멘트 작성에 참여한 회원에게는 해당 영상에 대한 신규 코멘트 또는 부가정보가 업데이트되었을 경우 이를 기 설정된 알림 규칙에 따라 각 회원의 SNS 또는 단말기에 설치된 어플리케이션에서 확인할 수 있다. 또한, 소셜네트워킹 서비스모듈(300)은 회원이 이미지 또는 동영상을 등록하거나 코멘트 작성 또는 피드백 활동에 참여할 경우 해당 영상 또는 해당 영상의 부가정보 또는 텍스트 정보를 등록된 회원 본인의 SNS 또는 인맥에게 기 설정된 공개규칙에 따라 공개할 수 있다.The social networking service module 300 displays comments (text information) previously registered by another user on the registered image searched by the same image search module 290 on the user terminal 100, And if the registered image retrieved from the same image retrieving module 290 is not found, the user can newly register the image together with his or her own comment. In addition, when a new member who has registered a video or participates in the creation of a comment of the registered image updates the new comment or the additional information on the corresponding image, it can check the SNS of each member or the application installed in the terminal according to predetermined notification rules. In addition, when a member registers an image or a moving picture, participates in a comment or a feedback activity, the social networking service module 300 transmits additional information or text information of the corresponding image or the corresponding image to the registered member's SNS or a network You can make it public by the rules.

회원 관리모듈(310)은 이미지 또는 동영상을 등록하거나 또는 이미지를 검색하는 이용자를 회원으로 등록받아 회원정보DB(281)에 저장한다. 회원 관리모듈(310)은 회원 등록 시 회원의 이메일, 전화번호, 활용하고 있는 타 SNS 정보, 인맥에 대한 정보를 함께 등록받거나 동기화할 수 있다.
The member management module 310 registers a user who registers an image or a moving image or searches for an image as a member and stores the member in the member information DB 281. [ The member management module 310 can register or synchronize the member's e-mail, the telephone number, other SNS information utilized, and the personal information at the time of member registration.

본 발명에 따른 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템에서 이용자들의 단말기와 서비스 제공서버 간의 상호작용을 설명한다.The interaction between the terminal of the user and the service providing server in the visual information-based social network service system of the subject according to the present invention will be described.

먼저, A가 피사체로 에펠탑을 촬영한 후 이용자 단말기(100)를 통해서 그 이미지를 서비스 제공서버(200)에 접속하여 전송하면서, 에펠탑에 관련된 코멘트, 에펠탑 주변의 볼거리 등에 대한 글을 함께 등록할 수 있다. First, after photographing the Eiffel tower as a subject, A connects the service providing server 200 to the service providing server 200 through the user terminal 100, and writes a comment about the Eiffel Tower, You can register.

등록영상 그룹분류모듈(230)은 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류한다. 이와 같이 등록이미지 또는 등록동영상을 피사체에 따라 그룹으로 분류할 수 있기 때문에 등록이미지 또는 등록동영상에 다수의 피사체가 포함된 경우에는 피사체의 종류에 따라 다양하게 분류될 수 있다.The registered image group classification module 230 compares the extracted visual information of the registered image or the registered moving image with each other to classify the visual information of the registered image or the registered moving image into the existing group or the new group. Since the registered image or the registered moving image can be classified into groups according to the subject, when a plurality of subjects are included in the registered image or the registered moving image, the registered image or the registered moving image can be classified into various categories according to the type of the subject.

그러면 서비스 제공서버(200)는 에펠탑이 포함된 이미지에 대하여 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 추출하여 기존에 등록된 그룹의 대표영상정보에 대한 특징점 또는 특징점의 시각적 속성과 비교하여 일치되는 '에펠탑'으로 분류된 그룹을 확인할 수 있다. 그리고, '에펠탑' 그룹 내의 등록이미지 또는 등록동영상에 대해 태깅된 설명, 링크정보, 데이터 등의 부가정보를 검색결과로 이용자 단말기(100)에 표시하게 된다. 이에 따라 이용자는 검색이미지에 관련된 각종 부가정보를 확인하고 링크정보를 클릭하면 해당 페이지로 이동하여 서비스를 이용하거나 데이터를 전송 받거나 관련 내용을 확인할 수 있다.Then, the service providing server 200 extracts the image information about the visual attributes of the minutiae or minutiae with respect to the image including the Eiffel tower, compares the minutiae with the visual attributes of the minutiae or minutiae of the representative image information of the previously registered group, The 'Eiffel Tower'. Then, additional information such as description, link information, and data tagged with respect to the registered image or the registered moving image in the 'Eiffel Tower' group is displayed on the user terminal 100 as a search result. Accordingly, the user can confirm various kinds of additional information related to the search image and click the link information, the user can go to the corresponding page to use the service, receive the data, or check related contents.

한편, A가 전송한 이미지는 해당 이미지의 특징점 또는 특징점의 시각적 속성에 대응되는 그룹으로 분류되어 등록이미지로 저장되거나 사용될 수 있다. 이때, 이미지를 전송한 A가 회원인 경우에는 등록이미지를 회원ID와 함께 저장하고, 회원정보DB(281)에 등록된 회원의 SNS 및 인맥에게 기 설정된 공개규칙에 따라 제공할 수 있다.On the other hand, the image transmitted by A may be classified into a group corresponding to a visual attribute of a feature point or a feature point of the image, and stored or used as a registered image. At this time, if the user A who transmitted the image is a member, the registered image may be stored along with the member ID, and may be provided in accordance with the SNS of the member registered in the member information DB 281 and the public rules predetermined by the person.

한편, 다른 B가 에펠탑을 포함한 주변 경치를 촬영하고, 서비스 제공서버(200)에 접속하여 촬영된 이미지를 전송할 경우 서비스 제공서버(200)는 B라는 이용자가 전송한 검색이미지의 특징점 또는 특징점의 시각적 속성의 시각적 정보를 영상정보로 추출하고, 기존에 등록된 그룹의 대표영상정보에 대한 특징점 또는 특징점의 시각적 속성과 비교하여 동일 또는 유사한 시각적 정보를 갖는 그룹을 확인하여 A가 전송하여 등록한 이미지를 매치할 수 있다. On the other hand, when the other B captures the surrounding scenery including the Eiffel Tower, and connects to the service providing server 200 to transmit the photographed image, the service providing server 200 transmits the feature point or the feature point of the search image transmitted by the user B The visual information of the visual attribute is extracted as the image information, and the group having the same or similar visual information is compared with the visual attributes of the minutiae or minutiae of the representative image information of the group registered in the past, You can match.

그러면 서비스 제공서버(200)는 매치되는 등록이미지와 함께 A가 등록한 부가정보를 B가 확인할 수 있으며, B는 등록된 이미지에 포함된 관련정보와 코멘트들을 확인하여 자신의 영상에 대한 정보를 정확하게 확인할 수 있고, 자신의 독립적인 코멘트를 등록하거나 기존의 코멘트에 종속된 코멘트(댓글)을 추가할 수 있으며, 신규 추가된 내용은 회원 A에게 제공된다. 이에 따라 A, B는 모두 '에펠탑'이라는 동일한 피사체를 포함하는 영상을 중심으로 서로 인간적인 관계를 맺고 경험과 정보, 의견을 교류할 수 있게 되는 것이다.Then, the service providing server 200 can confirm the additional information registered by A together with the matching registration image B, and B confirms the related information and comments included in the registered image, And can add his own independent comments or add comments that are dependent on existing comments, and the newly added content is provided to member A. As a result, both A and B can establish a human relationship with each other based on images containing the same object called 'Eiffel Tower', and exchange experiences, information, and opinions.

이와 같이 본 발명에 따르면, 예컨대 가상의 공간인 웹 페이지를 기반으로 코멘트를 공유하는 SNS에 있어서, 실제 이용자가 촬영한 피사체 자체에 자신의 코멘트를 남기고 이를 공유할 수 있게 하는 보다 직관적인 서비스를 제공할 수 있다.As described above, according to the present invention, for example, in the SNS sharing comments on the basis of a web page which is a virtual space, a more intuitive service is provided that allows the user to leave his / can do.

이용자 단말기(100)로부터 서비스 제공서버(200) 측에 전송되는 정보에는, 피사체를 포함하는 이미지 또는 동영상뿐만 아니라 해당 피사체를 촬영한 위치에 대한 GPS 좌표 정보와 같은 위치 정보나 또는 해당 피사체를 어느 방향에서 촬영하였는지와 같은 촬영 방향에 대한 정보도 함께 전송될 수 있다. 서로 다른 이용자에 의해 촬영된 특정 대상에 대한 영상이 동일하거나 유사한 위치정보를 자주 갖는다면, 해당 대상은 사물이 아니라 지역에 대한 것으로 분류할 수도 있을 것이다.The information transmitted from the user terminal 100 to the service providing server 200 includes position information such as GPS coordinates information about a position where the subject is photographed as well as an image or a moving image including the subject, And information on the photographing direction, such as whether or not the photographing operation has been performed in the photographing operation. If an image of a particular object photographed by different users frequently has the same or similar location information, the object may be classified as an area, not an object.

앞서 언급한 바와 같이 본 발명에 따른 서비스는, 이용자가 특정 대상을 촬영할 경우 해당 대상에 대한 시각적 정보와 매치되는 영상의 관련 정보를 전달해 주게 된다. 만약 다른 사람이 코멘트를 남겼다면 해당 코멘트를 보고 자신의 코멘트를 남길 수도 있을 것이고, 에펠탑을 촬영한 영상이라면 별도로 해당 지역 주변의 지역적 정보를 제공해 줄 수도 있을 것이며 파리관광여행 패키지 상품에 대한 정보를 줄 수도 있다. 또한 코카콜라 로고를 촬영하였다면 코카콜라사의 광고를 보거나 프로모션 정보를 확인하거나 쿠폰을 다운받을 수 있으며 코카콜라에 대한 사용자들의 평가를 확인하거나 상호 간의 의견을 교류할 수도 있다. 또한 재생중인 동영상을 촬영하였을 경우 해당 영상을 스트리밍 서비스로 시청할 수도 있으며 뮤지컬 포스터를 촬영하였을 경우 티켓을 구매할 수도 있다.As described above, the service according to the present invention delivers relevant information of a video matched with visual information of a target when a user photographs a specific target. If someone else left a comment, you can leave a comment by viewing the comment. If the image is taken of the Eiffel Tower, you may be able to provide local information around the area, You can give it. In addition, if you shoot the Coca-Cola logo, you can see Coca-Cola advertisements, check promotional information, download coupons, check users' ratings on Coca-Cola, and exchange opinions. In addition, when a moving image is taken, the corresponding image can be viewed on a streaming service, or a ticket can be purchased when a musical poster is photographed.

만약 이 서비스가 보편화 된다면 회원들이 전송한 영상들이 축적되어 점점 늘어나서 결국에는 매번 검색해야 될 영상이 너무 많아 매칭 과정에서 너무 오랜 시간이 걸리게 되고 효율성이 떨어지게 될 수 있다. 이를 방지하기 위해, 따라서 동일한 대상을 촬영한 것이라고 판단되는 영상 또는 이의 시각적 정보는 함께 클러스터링해 둠으로써 그 효율성을 높일 수 있다. 예를 들어 10가지의 대상에 대한 이미지가 각각 10개씩 총 100장의 이미지가 서버에 저장되어 있다면, 신규로 촬영된 영상이 전송되었을 경우 해당 영상이 기존 100장의 영상과 매치하는지를 체크하기 위해 검색하는 것이 아니라, 총 10건의 대상과 매치를 하는 방식으로 이루어질 수 있다.If the service is universalized, the images uploaded by the members will accumulate and grow so that there are too many images to be retrieved every time, which can take too long in the matching process and become inefficient. In order to prevent this, it is possible to increase the efficiency by clustering the image or its visual information, which is determined to have photographed the same object, together. For example, if a total of 100 images are stored in the server, each of 10 images for 10 objects, if a new image is transmitted, it is searched to check whether the image matches the existing 100 images But can be done in a way that matches a total of 10 objects.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Various modifications and variations are possible within the scope of the appended claims.

100 : 이용자 단말기 200 : 서비스 서버
210 : 등록영상 관리모듈 220 : 등록영상정보 추출모듈
221 : 등록이미지 영상정보 추출부 222 : 등록동영상 영상정보 추출부
223 : 씬 분할부 224 : 대표프레임 선정부
225 : 대표프레임 영상정보 추출부 230 : 등록영상 그룹분류모듈
240 : 그룹영상정보 설정모듈 250 : 검색이미지 관리모듈
252 : 검색이미지 관리부 253 : 검색이미지 부가정보 관리부
254 : 검색이미지 등록위치 확인부 260 : 검색이미지 영상정보 추출모듈
261 : 검색피사체 선정부 270 : 동일영상그룹 검색모듈
280 : 검색결과 표시모듈 290 : 동일영상 검색모듈
300 : 소셜네트워킹 서비스모듈 310 : 회원 관리모듈100: user terminal 200: service server
210: registered video management module 220: registered video information extraction module
221: registered image image information extracting unit 222: registered moving image image information extracting unit
223: scene division unit 224: representative frame selection unit
225: Representative frame image information extracting unit 230: Registered image group classification module
240: Group image information setting module 250: Search image management module
252: Search image management unit 253: Search image additional information management unit
254: Search image registration position confirmation unit 260: Search image image information extraction module
261: Search object selection unit 270: Same image group search module
280: search result display module 290: same image search module
300: Social Networking Service Module 310: Member Management Module

Claims (12)

삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 이용자 단말기와, 서비스 제공서버(200)를 포함하며,
서비스 제공서버(200)는,
검색대상이 되는 각종 피사체를 포함하는 등록영상(이미지 또는 동영상)에 대한 정보와 등록자의 코멘트(텍스트 정보)를 저장하고 관리하는 등록영상 관리모듈(210)과;
등록된 영상으로부터 시각적 정보를 영상정보로 추출하여 저장하는 등록영상정보 추출모듈(220)과;
등록영상정보 추출모듈(220)에서 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류하는 등록영상 그룹분류모듈(230)과;
등록영상 그룹분류모듈(230)을 통해 분류된 각 그룹 내의 등록영상들이 공통으로 포함하고 있거나 각 그룹 내의 등록영상들로부터 발견되는 빈도수가 높은 하나 이상의 시각적 정보를 각 그룹의 대표 영상정보로 설정하는 그룹영상정보 설정모듈(240)과;
이용자로부터 인터넷에 연결된 단말기를 통해 확인하고자 하는 피사체가 포함된 검색이미지를 전송받으면 전송된 검색이미지에 대한 정보를 저장하고 관리하는 검색이미지 관리모듈(250)과;
이용자로부터 전송된 검색이미지로부터 시각적 정보를 영상정보로 추출하는 검색이미지 영상정보 추출모듈(260)과;
검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 그룹영상정보 설정모듈(240)을 통해 추출된 그룹의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상의 그룹을 검색하는 동일영상그룹 검색모듈(270)과;
동일영상그룹 검색모듈(270)에 의해 검색된 그룹 내 등록영상의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상을 검색하는 동일영상 검색모듈(290)과;
동일영상 검색모듈(290)에서 검색된 등록영상에 대해 기존에 등록하였거나 검색한 자의 코멘트(텍스트 정보)가 존재할 경우 이를 이용자 단말기(100)에 표시하고, 이용자로부터 상호 커뮤니케이션 또는 피드백 목적의 코멘트가 작성되면 이를 함께 저장하는 소셜네트워킹 서비스모듈(300);
이미지 또는 동영상을 등록하거나 또는 이미지를 검색하는 이용자를 회원으로 등록받아 저장하는 회원 관리모듈(310)을 포함하며,
소셜네트워킹 서비스모듈(300)은 검색된 등록영상을 직접 등록하였거나 코멘트 작성에 참여한 회원에게 해당 영상에 대한 신규 코멘트가 추가되었을 경우 관련 정보를 기 회원에게 제공하는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.A user terminal, and a service providing server 200,
The service providing server (200)
A registered image management module 210 for storing and managing information on a registered image (image or moving image) including various objects to be searched and a comment (text information) of the registrant;
A registered image information extraction module 220 for extracting and storing visual information from registered images as image information;
A registered image group classification module 230 for comparing the visual information of the registered image or the registered moving image extracted by the registered image information extraction module 220 and classifying the registered image or the registered moving image into an existing group or a new group according to the same or similarity;
A group that sets one or more pieces of visual information, which are included in common in the groups classified through the registered image group classification module 230 or are frequently found from the registered images in each group, as the representative image information of each group An image information setting module 240;
A search image management module 250 for storing and managing information on a transmitted search image when a search image including a subject to be confirmed is received from a user through a terminal connected to the Internet;
A retrieval image image information extraction module 260 for extracting visual information from the retrieved image transmitted from the user as image information;
The image information of the retrieved image extracted through the retrieval image image information extraction module 260 is compared with the image information of the group extracted through the group image information setting module 240 to search for a group of registered images which are the same or similarly matched An identical image group search module 270;
An identical image retrieving module 290 for retrieving a registered image which is the same as or similar to the registered image retrieved by the identical image retrieval module 270 and compared with the image information of the registered image in the group;
When there is a comment (text information) of a registered or searched person in the registered image searched by the same image search module 290, the comment is displayed on the user terminal 100. When a comment for mutual communication or feedback is created from the user A social networking service module 300 for storing the same together;
And a member management module 310 for registering and storing a user who registers an image or a moving image or searches for an image,
The social networking service module (300) provides related information to a member who has registered the searched registration image or added a new comment to the member who has participated in the comment creation, Service system. 삭제delete 청구항 6에 있어서, 회원 관리모듈(310)은 회원이 활동하는 SNS정보 및 인맥에 대한 정보를 함께 등록받거나 동기화하며, 소셜네트워킹 서비스모듈(300)은 등록된 회원에 의해 코멘트 작성 또는 피드백 활동이 발생할 경우 관련 등록영상 또는 해당 등록영상의 텍스트정보를 기 설정된 공개 규칙에 따라 등록된 회원의 SNS 또는 인맥에게 공개하는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.[Claim 6] The method of claim 6, wherein the member management module (310) registers or synchronizes the SNS information and the network information that the member is active with, and the social networking service module (300) The related registration image or the text information of the registered image is disclosed to the SNS or the network of the registered member in accordance with the predetermined disclosure rule. 삭제delete 청구항 6에 있어서, 검색이미지 관리모듈(250)은 전송된 각종 검색이미지를 관리하는 검색이미지 관리부(252)와, 전송된 검색이미지에 대한 부가정보를 등록받는 검색이미지 부가정보 관리부(253), 및 검색이미지를 전송한 위치에 대한 정보를 관리하는 검색이미지 등록위치 확인부(254)로 이루어진 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The search image management module (250) of claim 6, wherein the search image management module (250) comprises a search image management section (252) for managing various transmitted search images, a search image side information management section (253) And a search image registration location confirmation unit (254) for managing information on a location where the search image is transmitted. 청구항 10에 있어서, 동일영상 검색모듈(290)은 검색이미지의 등록위치에 대응되는 지역의 위치정보를 갖는 등록영상을 우선적으로 검색하는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The system according to claim 10, wherein the same image search module (290) preferentially searches for a registered image having location information of a region corresponding to a registration position of a search image. 청구항 6에 있어서, 동일영상 검색모듈(290)에 의해 검색된 결과가 없을 경우 소셜네트워킹 서비스모듈(300)은 이용자가 전송한 검색 이미지에 대해 최초 코멘트(텍스트 정보)를 작성할 수 있도록 서비스를 제공하고 최초 작성된 코멘트 및 해당 검색 이미지는 등록영상 관리모듈(210)에 의해 신규 등록되어 관리되는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.In the case where there is no search result by the same image search module 290, the social networking service module 300 provides a service so that the first comment (text information) can be created for the search image transmitted by the user, And the created comment and the corresponding search image are newly registered and managed by the registered image management module 210. In this case,
KR1020130110801A 2013-09-16 2013-09-16 Social Network Service System Based Upon Visual Information of Subjects KR101523349B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130110801A KR101523349B1 (en) 2013-09-16 2013-09-16 Social Network Service System Based Upon Visual Information of Subjects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130110801A KR101523349B1 (en) 2013-09-16 2013-09-16 Social Network Service System Based Upon Visual Information of Subjects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130066497A Division KR101331162B1 (en) 2013-06-11 2013-06-11 Social network service system based upon visual information of subjects

Publications (2)

Publication Number Publication Date
KR20140145053A KR20140145053A (en) 2014-12-22
KR101523349B1 true KR101523349B1 (en) 2015-05-28

Family

ID=52675045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110801A KR101523349B1 (en) 2013-09-16 2013-09-16 Social Network Service System Based Upon Visual Information of Subjects

Country Status (1)

Country Link
KR (1) KR101523349B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054792A1 (en) * 2017-09-15 2019-03-21 삼성전자 주식회사 Method and terminal for providing content
WO2021242771A1 (en) * 2020-05-28 2021-12-02 Snap Inc. Client application content classification and discovery

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419339B1 (en) * 2021-11-03 2022-07-12 주식회사 스태비 Method for displaying video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276484A (en) * 1999-03-25 2000-10-06 Konica Corp Device and method for image retrieval and image display device
KR100700628B1 (en) * 2006-12-20 2007-03-28 주식회사 네오엠텔 Method for providing and obtaining information of an object
KR101191172B1 (en) * 2012-02-15 2012-10-15 (주)올라웍스 Method, apparatus and computer-readable recording medium for managing images in image database

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276484A (en) * 1999-03-25 2000-10-06 Konica Corp Device and method for image retrieval and image display device
KR100700628B1 (en) * 2006-12-20 2007-03-28 주식회사 네오엠텔 Method for providing and obtaining information of an object
KR101191172B1 (en) * 2012-02-15 2012-10-15 (주)올라웍스 Method, apparatus and computer-readable recording medium for managing images in image database

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054792A1 (en) * 2017-09-15 2019-03-21 삼성전자 주식회사 Method and terminal for providing content
US11210525B2 (en) 2017-09-15 2021-12-28 Samsung Electronics Co., Ltd. Method and terminal for providing content
WO2021242771A1 (en) * 2020-05-28 2021-12-02 Snap Inc. Client application content classification and discovery
US11574005B2 (en) 2020-05-28 2023-02-07 Snap Inc. Client application content classification and discovery

Also Published As

Publication number Publication date
KR20140145053A (en) 2014-12-22

Similar Documents

Publication Publication Date Title
US11290775B2 (en) Computerized system and method for automatically detecting and rendering highlights from streaming videos
US10999623B2 (en) Providing visual content editing functions
US10832738B2 (en) Computerized system and method for automatically generating high-quality digital content thumbnails from digital video
TWI501172B (en) System, method and storage medium for publishing a message on a social network website according to an image
US20140019264A1 (en) Framework for product promotion and advertising using social networking services
CN104239408B (en) The data access of content based on the image recorded by mobile device
US20160070809A1 (en) System and method for accessing electronic data via an image search engine
US20140316894A1 (en) System and method for interfacing interactive systems with social networks and media playback devices
US20170169495A1 (en) System and method for accessing electronic data via an image search engine
US20110238503A1 (en) System and method for personalized dynamic web content based on photographic data
KR20140093974A (en) Image annotation method and system
WO2014090034A1 (en) Method and device for achieving augmented reality application
US9544655B2 (en) Visual hash tags via trending recognition activities, systems and methods
WO2012037001A2 (en) Content capture device and methods for automatically tagging content
CN104504155B (en) A kind of data capture method and system based on picture search
KR101331162B1 (en) Social network service system based upon visual information of subjects
Ilakkuvan et al. Cameras for public health surveillance: a methods protocol for crowdsourced annotation of point-of-sale photographs
CN110415009A (en) Computerized system and method for being modified in video
KR101523349B1 (en) Social Network Service System Based Upon Visual Information of Subjects
US10600060B1 (en) Predictive analytics from visual data
CN116405712A (en) OTT video-based multimedia pushing method, device, equipment and storage medium
JP6799655B1 (en) User interface methods, terminal programs, terminal devices, and advertising systems
WO2016125166A1 (en) Systems and methods for analyzing video and making recommendations
KR101486924B1 (en) Method for recommanding media contents using social network service
JP2013097465A (en) Recommended information presenting system and photo seal machine

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190214

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200210

Year of fee payment: 6