KR101331162B1 - Social network service system based upon visual information of subjects - Google Patents

Social network service system based upon visual information of subjects Download PDF

Info

Publication number
KR101331162B1
KR101331162B1 KR1020130066497A KR20130066497A KR101331162B1 KR 101331162 B1 KR101331162 B1 KR 101331162B1 KR 1020130066497 A KR1020130066497 A KR 1020130066497A KR 20130066497 A KR20130066497 A KR 20130066497A KR 101331162 B1 KR101331162 B1 KR 101331162B1
Authority
KR
South Korea
Prior art keywords
image
information
registered
search
module
Prior art date
Application number
KR1020130066497A
Other languages
Korean (ko)
Inventor
김정태
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to KR1020130066497A priority Critical patent/KR101331162B1/en
Application granted granted Critical
Publication of KR101331162B1 publication Critical patent/KR101331162B1/en

Links

Images

Classifications

    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Abstract

The present invention relates to a social network service system based on visual information of subjects which the new social network is reconstructed according to each corresponding subject which enables the subject to write new comments or search comments, whereas, the original social network service for exchanging opinions and sharing information was operated by web/mobile pages or bulletin boards, the image of corresponding subject taken by the user is compared to the images stored in the database of the server. Therefore, when multiple user terminals connect to the service providing server (200) through the communications network to transmit images, the service providing server (200) can, then, extract the visual information to video information of the image or the subjects included in the video, and it can also search and confirm the same or similar subjects sent by other members. Once it is found to be the same subject, searching already registered comments and adding new comments are possible so the users can network and make new relationships within the new system. [Reference numerals] (100) User terminal;(200) Service providing server;(AA,CC,EE) Upload image including subject, apply searched additional information of image and video, or present opinion;(BB,DD,FF) Display additional information of previously registered identical image and video

Description

피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템{Social Network Service System Based Upon Visual Information of Subjects}Social Network Service System Based Upon Visual Information of Subjects}

본 발명은 이용자가 서비스 제공서버에 전송한 피사체가 포함된 이미지의 시각적 정보에 기초하여 등록된 피사체에 대한 이미지 또는 동영상을 검색하여 이용자가 피사체에 대한 부가정보를 확인할 수 있고, 피사체에 대한 관심을 중심으로 이용자들이 서로 교류할 수 있도록 할 수 있는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템에 관한 것이다.The present invention can search the image or video of the registered subject based on the visual information of the image including the subject transmitted by the user to the service providing server, the user can confirm the additional information about the subject, the interest in the subject The present invention relates to a social information service system based on visual information of a subject that enables users to interact with each other.

일반적으로 소셜 네트워크 서비스(SNS: Social Network Service)란 이용자 간의 자유로운 의사소통과 정보 공유, 그리고 인맥 확대 등을 통해 사회적 관계를 생성하고 강화시켜주는 온라인 플랫폼을 의미한다. 오늘날 대부분의 SNS는 웹/모바일 페이지 기반의 서비스를 의미하며, 웹 이외에도 전자 우편이나 인스턴트 메신저를 통해 이용자들끼리 서로 연락할 수 있는 수단을 제공하고 있다.In general, social network service (SNS) refers to an online platform that creates and strengthens social relations through free communication between users, information sharing, and expansion of contacts. Most SNSs today refer to web / mobile page-based services, and in addition to the web, they provide a means for users to contact each other through e-mail or instant messenger.

최근 들어 스마트폰 이용자의 증가와 무선인터넷 서비스의 확장과 더불어 SNS의 이용자 또한 급증하고 있다. 대한민국 내 SNS 시장을 주도하고 있는 페이스북(Facebook)과 트위터(Twitter) 이용자 수는 이미 2011년에 1천만 명을 돌파했으며, 그 지속적인 증가 추세는 당분간 멈추지 않을 것으로 예상된다. SNS는 광범위하고 동시에 특정 성향의 집단으로 분류될 수 있는 서비스 이용자들을 데이터베이스에 의해 파악하고 관리할 수 있다는 점에서 마케팅 활용가치가 날로 부상하고 있다. 이 같은 장점을 통해 기업 입장에서는 저비용으로 표적집단에게 효율적으로 도달할 수 있는 맞춤형(customized) 마케팅을 집행할 수 있기 때문이다. SNS 업체 또한 SNS 페이지상의 광고 스페이스 판매와 소셜게임이나 아이템 판매 등을 통해 강력한 수익모델을 구축해 나가고 있어 향후 SNS 시장은 계속 성장해 나갈 것으로 전망된다.Recently, with the increase of smartphone users and the expansion of wireless Internet service, the number of SNS users is also increasing rapidly. The number of Facebook and Twitter users, who are leading the SNS market in Korea, has already exceeded 10 million in 2011, and the continuous increase is not expected to stop for the time being. SNS is emerging in the value of marketing in that it can identify and manage service users who can be classified as broad and at the same time specific group by database. These advantages allow companies to implement customized marketing that can reach their target group efficiently at low cost. SNS companies are also building strong revenue models through ad space sales on SNS pages, social games, and item sales, so the SNS market is expected to continue to grow.

그런데 맞춤형 마케팅을 위한 표적 집단으로서 이용자들을 분류하는 가장 좋은 방법은 이용자가 서버에 포스팅하는 정보를 분석하여 이용자들의 관심분야가 무엇인지를 파악하는 것이 무엇보다도 중요하다. 최근에는 젊은 이용자들을 중심으로 긴 텍스트의 글을 포스팅하는 것보다는 짧은 단문의 텍스트를 더 선호하는 경향이 있고, 카메라 기능이 기본적으로 추가되어 있는 스마트폰의 영향으로 직접 촬영한 이미지를 전송하고 간단한 코멘트를 추가하는 형태의 포스팅이 점점 증가하고 있다. 그러므로, 이렇게 영상을 이용자가 자유롭게 전송하고 교환하는 현재의 상태에서, 이용자들의 관심 분야를 파악하기 위해서는 해당 영상의 시각적 정보를 분석함으로써 동일한 관심 분야를 가지는 이용자들의 그룹을 분류해 내어야 한다는 요구가 있었다.However, the best way to classify users as a target group for customized marketing is to analyze what information the user posts to the server and to find out what their interests are. Recently, younger users tend to prefer short short texts rather than posting long texts, and they directly send images taken by smartphones with camera functions. Postings in the form of adding more and more. Therefore, in the present state where users freely transmit and exchange images, there is a demand to classify groups of users having the same fields of interest by analyzing visual information of the images in order to grasp the interests of the users.

본 발명이 해결하고자 하는 과제는 이용자가 서비스 제공서버에 전송한 피사체가 포함된 이미지의 시각적 정보에 기초하여 등록된 이미지 또는 동영상을 검색함으로써 이용자가 피사체에 대한 정보를 확인할 수 있고, 피사체에 대한 관심을 중심으로 이용자들이 서로 교류할 수 있도록 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템을 제공하는 데 있다.An object of the present invention is to search for a registered image or video based on visual information of an image including a subject transmitted by the user to the service providing server, the user can confirm the information on the subject, interest in the subject The present invention provides a social network service system based on visual information of a subject that allows users to interact with each other.

본 발명에 따른 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템은, 검색대상이 되는 등록된 각종 피사체를 포함하는 각종 영상(이미지 또는 동영상)에 대한 정보와 부가정보를 저장하고 관리하는 등록영상 관리모듈(210)과; 등록된 영상으로부터 시각적 정보를 영상정보로 추출하여 저장하는 등록영상정보 추출모듈(220)과; 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류하는 등록영상 그룹분류모듈(230)과; 등록영상 그룹분류모듈(230)을 통해 분류된 각 그룹 내의 등록영상들이 공통으로 포함하고 있거나 각 그룹 내의 등록영상들로부터 발견되는 빈도수가 높은 하나 이상의 시각적 정보를 각 그룹의 대표 영상정보로 설정하는 그룹영상정보 설정모듈(240)과; 이용자로부터 인터넷에 연결된 단말기를 통해 확인하고자 하는 피사체가 포함된 검색이미지를 전송받으면 전송된 검색이미지에 대한 정보를 저장하고 관리하는 검색이미지 관리모듈(250)과; 이용자로부터 전송된 검색이미지의 시각적 정보를 영상정보로 추출하는 검색이미지 영상정보 추출모듈(260)과; 검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 그룹영상정보 설정모듈(240)을 통해 설정된 그룹의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상의 그룹을 검색하는 동일영상그룹 검색모듈(270)과; 동일영상그룹 검색모듈(270)에서 검색된 등록영상그룹의 부가정보를 이용자 단말기(100)에 검색결과로 제공하는 검색결과 표시모듈(280);을 포함하되,
등록영상정보 추출모듈(220)은 등록된 이미지로부터 영상정보를 추출하는 등록이미지 영상정보 추출부(221) 또는 등록된 동영상으로부터 영상정보를 추출하는 등록동영상 영상정보 추출부(222)로 이루어지되, 등록동영상 영상정보 추출부(222)는 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 씬 분할부(223)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 대표프레임 선정부(224)와, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 등록동영상과 함께 저장하는 대표프레임 영상정보 추출부(225)로 이루어진 것을 특징으로 한다.The visual information-based social network service system of a subject according to the present invention includes a registered image management module 210 which stores and manages information and additional information about various images (images or videos) including various subjects registered as a search target. )and; A registration image information extraction module 220 for extracting and storing visual information from the registered image as image information; A registered video group classification module 230 for classifying the extracted registered image or the visual information of the registered video into the existing group or classifying the new group according to the same or similar to each other; A group that sets one or more visual information, which is frequently included in registered images in each group classified through the registered image group classification module 230, or is frequently found from registered images in each group, as representative image information of each group. An image information setting module 240; A search image management module 250 for storing and managing information on the transmitted search image when receiving a search image including a subject to be checked from a user through a terminal connected to the Internet; A search image image information extraction module 260 for extracting visual information of the search image transmitted from the user as image information; Image information of the search image extracted through the search image image information extraction module 260 is compared with the image information of the group set through the group image information setting module 240 to search for a group of registered images that match the same or similarly. Same image group search module 270; A search result display module 280 that provides the user terminal 100 with additional information of the registered video group searched by the same video group search module 270 as a search result;
The registered image information extraction module 220 includes a registered image image information extractor 221 for extracting image information from a registered image or a registered video image information extractor 222 for extracting image information from a registered video. The registered video image information extracting unit 222 analyzes the registered video and divides the section of the before and after video into a scene based on the point where the visual elements are converted, and a scene represented by each scene. Representative frame selection unit 224 for selecting the above frame as a representative frame, and the representative frame image information extraction unit 225 for extracting a feature point or a visual attribute of the feature point from the selected representative frame as image information and storing it together with the registered video. Characterized in that made.

바람직하게, 시각적 정보는 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 특징점 또는 특징점의 시각적 속성(특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보)인 것을 특징으로 한다.Preferably, the visual information is a feature or visual properties of the feature point (brightness information or color information of images around the feature point) generated by an outline or corner or pole (a part darker or lighter than the surrounding brightness) included in the image or video. Pattern information).

바람직하게, 부가정보는 등록된 영상의 제목, 등록영상의 설명, 등록영상과 관련된 정보 또는 데이터, 등록자의 코멘트, 기 검색자의 코멘트, GPS정보 중 하나 이상인 것을 특징으로 한다.Preferably, the additional information is one or more of a title of a registered image, a description of a registered image, information or data related to a registered image, a comment of a registrant, a comment of a pre-searcher, and GPS information.

삭제delete

바람직하게, 검색이미지 관리모듈(250)은 전송된 각종 검색이미지를 관리하는 검색이미지 관리부(252)와, 전송된 검색이미지에 대한 부가정보를 등록받는 검색이미지 부가정보 관리부(253), 및 검색이미지를 전송한 위치에 대한 정보를 관리하는 검색이미지 등록위치 확인부(254)로 이루어진 것을 특징으로 한다.Preferably, the search image management module 250 is a search image management unit 252 for managing various types of search images transmitted, a search image additional information management unit 253 for registering additional information on the transmitted search image, and a search image. Characterized in that consisting of a search image registration position confirmation unit 254 for managing information about the location of the transmission.

또한, 본 발명에 따른 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템은, 검색대상이 되는 등록된 각종 피사체를 포함하는 각종 영상(이미지 또는 동영상)에 대한 정보와 등록자의 코멘트(텍스트 정보)를 저장하고 관리하는 등록영상 관리모듈(210)과; 등록된 영상으로부터 시각적 정보를 영상정보로 추출하여 저장하는 등록영상정보 추출모듈(220)과; 이용자로부터 전송된 검색이미지로부터 시각적 정보를 영상정보로 추출하는 검색영상정보 추출모듈(250)과; 검색영상정보 추출모듈(250)을 통해 추출된 검색이미지의 영상정보를 저장된 등록영상의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상을 검색하는 동일영상 검색모듈(290)과; 동일영상 검색모듈(290)에서 검색된 등록영상에 대해 기존에 등록/검색한 자의 코멘트(텍스트 정보)를 이용자 단말기(100)에 표시하고, 이용자로부터 상호 커뮤니케이션 또는 피드백의 코멘트가 작성되면 저장하는 소셜네트워킹 서비스모듈(300);을 포함하되,
등록영상정보 추출모듈(220)은 등록된 이미지로부터 영상정보를 추출하는 등록이미지 영상정보 추출부(221) 또는 등록된 동영상으로부터 영상정보를 추출하는 등록동영상 영상정보 추출부(222)로 이루어지되, 등록동영상 영상정보 추출부(222)는 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 씬 분할부(223)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 대표프레임 선정부(224)와, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 등록동영상과 함께 저장하는 대표프레임 영상정보 추출부(225)로 이루어진 것을 특징으로 한다.In addition, the visual information-based social network service system of a subject according to the present invention stores and manages information on various images (images or videos) including various registered subjects to be searched and comments (text information) of a registrant. Registered image management module 210 and; A registration image information extraction module 220 for extracting and storing visual information from the registered image as image information; A search image information extraction module 250 for extracting visual information as image information from the search image transmitted from the user; A same image search module 290 for searching for a registered image that matches the same or similarly by comparing the image information of the search image extracted through the search image information extraction module 250 with the stored image information; The social networking which displays the comments (text information) of a person who has previously registered / searched for the registered image searched by the same image search module 290 on the user terminal 100 and saves a comment of the mutual communication or feedback from the user. Service module 300; including;
The registered image information extraction module 220 includes a registered image image information extractor 221 for extracting image information from a registered image or a registered video image information extractor 222 for extracting image information from a registered video. The registered video image information extracting unit 222 analyzes the registered video and divides the section of the before and after video into a scene based on the point where the visual elements are converted, and a scene represented by each scene. Representative frame selection unit 224 for selecting the above frame as a representative frame, and the representative frame image information extraction unit 225 for extracting a feature point or a visual attribute of the feature point from the selected representative frame as image information and storing it together with the registered video. Characterized in that made.

바람직하게, 이미지 또는 동영상을 등록하거나 또는 이미지를 검색하는 이용자를 회원으로 등록받아 저장하는 회원 관리모듈(310)을 더 포함하며, 소셜네트워킹 서비스모듈(300)은 검색된 등록영상이 회원이 등록한 경우에는 이용자의 코멘트를 회원에게 제공하는 것을 특징으로 한다.Preferably, the user management module 310 to register or store the image or video or to search for images registered as a member further comprises, the social networking service module 300, if the searched registration image registered by the member It is characterized by providing a user's comment to a member.

바람직하게, 회원 관리모듈(310)은 회원의 인맥에 대한 SNS 정보를 함께 등록받으며, 소셜네트워킹 서비스모듈(300)은 회원이 검색하였거나 코멘트를 작성한 행위가 확인되는 등록영상 또는 해당 등록영상에 저장된 코멘트 또는 해당 등록영상의 부가정보를 기 설정된 공개규칙에 따라 회원의 SNS페이지 또는 인맥에게 공개하는 것을 특징으로 한다.Preferably, the member management module 310 is registered with the SNS information about the network of the member, the social networking service module 300 is a registered video or a comment stored in the registered video is confirmed the action that the member searched or write a comment Alternatively, the additional information of the registered video may be disclosed to a member's SNS page or network in accordance with a predetermined disclosure rule.

바람직하게, 동일영상 검색모듈(290)은 검색이미지의 등록위치에 대응되는 지역의 위치정보를 갖는 등록영상을 우선적으로 검색하는 것을 특징으로 한다.Preferably, the same image search module 290 may search for a registered image having location information of a region corresponding to a registered position of a search image.

본 발명에 의하면, 이용자는 서비스 제공서버에 전송한 피사체가 포함된 이미지의 시각적 정보에 기초하여 등록된 피사체에 대한 이미지 또는 동영상을 검색하여 피사체에 대한 부가정보를 확인할 수 있고, 피사체에 대한 관심을 중심으로 이용자들이 서로 교류할 수 있도록 하는 장점이 있다.According to the present invention, the user can check the additional information about the subject by searching for the image or video of the registered subject based on the visual information of the image including the subject transmitted to the service providing server, the interest in the subject There is an advantage in that users can interact with each other.

도 1은 본 발명에 따른 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템의 구성을 개략도.
도 2는 본 발명에 따른 서비스 제공서버의 블록도.
도 3은 본 발명에 따른 등록동영상 영상정보 추출부의 상세 블록도.1 is a schematic diagram of a configuration of a visual information-based social network service system of a subject according to the present invention;
2 is a block diagram of a service providing server according to the present invention;
3 is a detailed block diagram of a registered video image information extracting unit according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템에 대하여 자세히 살펴본다.Hereinafter, a social information service system based on visual information of a subject of the present invention will be described in detail with reference to the accompanying drawings.

도 1에 도시된 바와 같이 본 발명의 기본개념은 양방향 데이터 통신이 가능한 통신망을 통해 다수의 이용자 단말기들이 서비스 제공서버(200)에 접속하여 이미지나 동영상을 전송하면, 서비스 제공서버(200)는 이미지나 동영상에 포함된 피사체에 대한 시각적 정보를 영상정보로 추출하고 타 이용자가 기존에 전송한 동일 또는 유사한 피사체를 검색하여 확인하고, 동일 피사체인 경우에 타 이용자가 등록된 이용자들의 글을 볼 수 있고 코멘트(댓글)를 추가할 수 있도록 하여 이용자들이 관계를 맺고 교류를 할 수 있도록 하는 것이다. 예컨대, 이용자 단말기는 스마트폰, 스마트TV, 태블릿, 웨어러블PC 또는 개인용 컴퓨터(PC)일 수 있다.As shown in FIG. 1, in the basic concept of the present invention, when a plurality of user terminals connect to the service providing server 200 and transmit an image or a video through a communication network capable of bidirectional data communication, the service providing server 200 may transmit an image. Or visual information about the subject included in the video as image information, search for and confirm the same or similar subject previously transmitted by other users, and in the case of the same subject, other users can see the posts of registered users. It allows users to add comments so they can connect and interact. For example, the user terminal may be a smartphone, smart TV, tablet, wearable PC or personal computer (PC).

여기서 '피사체'가 포함된 영상은 이미지나 동영상의 형태로 촬영되는 대상을 말한다. 예를 들어, 1) 특정 장소(조형물, 건축물, 자연 경관 등), 2) 특정 사물(특히 브랜드가 식별가능한 형태; 상품, 로고, 간판 등), 3) 특정 콘텐츠(책, 사진, 영화, 포스터, 잡지 등), 또는 4) 기타(사람의 얼굴 등)를 포함할 수 있다.Here, the image including the 'subject' refers to an object photographed in the form of an image or a video. For example: 1) certain places (e.g. sculptures, buildings, natural landscapes, etc.), 2) certain objects (especially brand-identifiable forms; goods, logos, signs, etc.), 3) specific content (books, photos, movies, posters) , Magazines, etc.), or 4) others (such as a person's face).

본 발명에 따라 각각의 피사체가 포함된 영상에서는 각각의 피사체를 식별할 수 있는 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다. 특히, 영상정보 중 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등을 의미한다.According to the present invention, in an image including each subject, a feature point or a visual attribute of the feature point for identifying each subject is extracted as image information. In particular, the feature point of the image information is information generated by an outline or a corner or a pole (darker or lighter than the surrounding brightness) included in the image or video, and the visual property of the feature point is the brightness information or the color of the images around the feature point. Information or pattern information.

도 2에 도시된 바와 같이 본 발명의 일실시예에 따른 서비스 제공서버(200)는 등록영상 관리모듈(210), 등록영상정보 추출모듈(220), 등록영상 그룹분류모듈(230), 그룹영상정보 설정모듈(240), 검색이미지 관리모듈(250), 검색이미지 영상정보 추출모듈(260), 동일영상그룹 검색모듈(270), 검색결과 표시모듈(280)을 포함한다.As shown in Figure 2, the service providing server 200 according to an embodiment of the present invention is a registered image management module 210, registered image information extraction module 220, registered image group classification module 230, group image The information setting module 240, the search image management module 250, the search image image information extraction module 260, the same image group search module 270, and the search result display module 280.

등록영상 관리모듈(210)은 검색대상이 되는 등록된 각종 피사체를 포함하는 영상(이미지 또는 동영상)에 대한 정보와 부가정보를 등록영상DB(211)에 저장하고 관리한다. 이때, 부가정보는 등록된 영상의 제목, 등록영상의 설명, 등록영상과 관련된 정보 또는 데이터, 등록되는 곳의 위치정보, 등록자의 코멘트, 기 검색자의 코멘트 등에 대한 정보를 포함한다.The registered image management module 210 stores and manages information and additional information about an image (image or video) including various registered subjects to be searched in the registered image DB 211. In this case, the additional information includes a title of the registered image, a description of the registered image, information or data related to the registered image, location information of a registered location, a comment of a registrant, and a comment of a searcher.

등록영상정보 추출모듈(220)은 등록된 영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하여 등록영상DB(211)에 함께 저장한다. 이때, 등록영상정보 추출모듈(220)은 등록된 이미지로부터 영상정보를 추출하는 등록이미지 영상정보 추출부(221)와, 등록된 동영상으로부터 영상정보를 추출하는 등록동영상 영상정보 추출부(222)로 이루어진다. 이러한 등록영상정보 추출모듈(220)에 의해서 영상에 포함된 피사체의 영상정보를 특징점 또는 특징점의 시각적 속성으로 추출할 수 있다.The registered image information extracting module 220 extracts a feature point or a visual property of the feature point from the registered image as image information and stores the extracted image information in the registered image DB 211. At this time, the registration image information extraction module 220 is a registered image image information extraction unit 221 for extracting image information from the registered image, and a registered video image information extraction unit 222 for extracting image information from the registered video. Is done. The registered image information extraction module 220 may extract the image information of the subject included in the image as a feature point or a visual attribute of the feature point.

또한, 등록동영상 영상정보 추출부(222)는 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 씬 분할부(223)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 대표프레임 선정부(224)와, 선정된 대표프레임으로부터 하나 이상의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 등록동영상과 함께 저장하는 대표프레임 영상정보 추출부(225)로 이루어진다. 이때, 씬 분할부(223)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인할 수 있으며, 확인된 각각의 씬에는 고유 ID가 부여되는 것이 바람직하다. 이때, 변화가 시작되는 프레임은 S(Start)로 표시하고, 변화가 종료되는 프레임은 E(End)로 표시하여 구분하는 것이 바람직하다. 또한, 대표프레임 선정부(224)에서 선정되는 대표프레임은 씬을 구성하는 프레임들이 거의 유사하므로 전단, 중간 또는 후단의 어느 프레임을 선정하더라도 무방하며 추출할 수 있는 시각적 정보를 많이 포함하고 있는 프레임 또는 영상의 흔들림이 적은 프레임을 대표프레임으로 선정할 수도 있다.In addition, the registered video image information extractor 222 analyzes the registered video and divides the section of the front and rear video into a scene based on the point at which the visual elements are converted, and a representative in each scene. Representative frame selection unit 224 for selecting one or more frames to be a representative frame, and representative frame image information extraction unit for extracting one or more feature points or visual attributes of the feature points from the selected representative frame as image information and storing it together with the registered video 225. At this time, the scene dividing unit 223 creates a frequency graph of HSV (color / saturation / brightness) of each frame of the video content, compares the graph of the previous frame with the current frame, and exceeds the predetermined distance between graphs. It can be determined that the scene is changed, and it is preferable that a unique ID is assigned to each identified scene. In this case, it is preferable to distinguish the frame at which the change starts with S (Start) and to mark the frame at which the change is finished with E (End). In addition, the representative frame selected by the representative frame selecting unit 224 is almost similar to the frames constituting the scene, so any frame of the front, middle or rear end may be selected and includes a lot of visual information that can be extracted or The frame with less shaking of the image may be selected as the representative frame.

등록영상 그룹분류모듈(230)은 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류한다. 이와 같이 등록이미지 또는 등록동영상을 피사체에 따라 그룹으로 분류할 수 있기 때문에 등록이미지 또는 등록동영상에 다수의 피사체가 포함된 경우에는 피사체의 종류에 따라 다양하게 분류될 수 있다. 이때, 신규 등록이미지의 시각적 정보가 등록이미지 또는 등록동영상의 시각적 정보에서 현저하게 차이가 있는 경우에 새로운 그룹으로 분류하게 된다. The registered video group classification module 230 compares the visual information of the extracted registered image or the registered video with each other and classifies them into existing groups or classifies them as new groups. As such, since the registered image or the registered movie may be classified into groups according to the subject, when the registered image or the registered movie includes a plurality of subjects, the registered image or the registered movie may be classified according to the type of the subject. In this case, when the visual information of the new registered image is significantly different from the visual information of the registered image or the registered video, it is classified into a new group.

그룹영상정보 설정모듈(240)은 등록영상 그룹분류모듈(230)을 통해 분류된 각 그룹 내의 등록영상들이 공통으로 포함하고 있거나 각 그룹 내의 등록영상들로부터 발견되는 빈도수가 높은 시각적 정보를 각 그룹의 대표 영상정보로 설정한다. 이와 같이 각 그룹을 대표하는 영상정보를 설정하면 이용자가 검색이미지로 등록이미지를 검색하는 경우에 모든 등록이미지를 비교할 필요가 없어 검색시간을 단축시킬 수 있다.The group image information setting module 240 includes visual information with high frequency that is frequently included in the registered images in each group classified through the registered image group classification module 230 or found from the registered images in each group. Set as representative video information. In this way, if the image information representing each group is set, when the user searches for the registered image by the search image, it is not necessary to compare all the registered images, thereby reducing the search time.

검색이미지 관리모듈(250)은 이용자가 인터넷에 연결된 단말기를 통해 확인하고자 하는 피사체가 포함된 검색이미지를 전송하면 전송된 검색이미지에 대한 정보를 검색이미지DB(251)에 저장하고 관리한다. 검색이미지 관리모듈(250)은 전송된 각종 검색이미지를 관리하는 검색이미지 관리부(252)와, 전송된 검색이미지에 대한 부가정보를 등록받는 검색이미지 부가정보 관리부(253), 및 검색이미지를 전송한 위치에 대한 정보를 관리하는 검색이미지 등록위치 확인부(254)로 이루어진다. 이때, 부가정보는 이미지에 대한 설명, 이미지에 관련된 정보 또는 데이터를 포함하고, 등록위치는 단말기의 위치정보를 제공받아 등록할 수 있다. 이에 따라 부가정보가 등록된 등록이미지 또는 등록동영상이 검색되면 해당 등록영상에 대해 태깅된 설명을 확인하거나 관련된 정보를 열람하거나 데이터를 다운로드 또는 스트리밍 받거나 링크된 사이트로 이동할 수 있다. 또한 검색이미지 등록위치 확인부(254)로부터 검색이미지의 위치정보를 제공받은 경우에 검색대상이 되는 등록이미지 또는 등록동영상의 위치정보를 제한할 수 있다.The search image management module 250 stores and manages information on the transmitted search image in the search image DB 251 when the user transmits a search image including a subject to be checked through a terminal connected to the Internet. The search image management module 250 transmits a search image management unit 252 which manages various transmitted search images, a search image additional information management unit 253 which registers additional information on the transmitted search images, and a search image. It consists of a search image registration position check unit 254 for managing information about the position. In this case, the additional information may include a description of the image, information or data related to the image, and the registration location may be registered by receiving location information of the terminal. Accordingly, when a registered image or a registered video in which additional information is registered is searched, the tagged description of the registered video may be checked, related information may be viewed, data may be downloaded or streamed, or may be moved to a linked site. In addition, when the location information of the search image is received from the search image registration position checking unit 254, the location information of the registered image or the registered video to be searched may be limited.

검색이미지 영상정보 추출모듈(260)은 이용자로부터 전송된 검색이미지의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다. 이러한 검색이미지 영상정보 추출모듈(260)를 통해 전송된 이미지에 포함된 피사체의 영상정보를 추출할 수 있다. 이때, 검색이미지 영상정보 추출모듈(260)은 검색이미지 중에서 검색하고자 하는 피사체를 선정할 수 있도록 관리하는 검색피사체 선정부(261)를 구비할 수 있다. 이러한 검색피사체 선정부(261)에 의해서 이용자는 전송된 검색이미지의 영역만을 '잘라내기' 할 수 있고, 검색이미지 영상정보 추출모듈(260)은 이용자가 선택한 피사체에 대해서만 영상정보를 추출하게 된다.The search image image information extraction module 260 extracts feature points of the search image transmitted from the user or visual attributes of the feature points as image information. The search image image information extraction module 260 may extract image information of the subject included in the image transmitted. In this case, the search image image information extraction module 260 may include a search subject selecting unit 261 managing to select a subject to be searched from the search images. The search subject selecting unit 261 allows the user to 'cut' only the area of the search image transmitted, and the search image image information extraction module 260 extracts the image information only for the object selected by the user.

동일영상그룹 검색모듈(270)은 검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 그룹영상정보 설정모듈(240)을 통해 추출된 그룹의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상의 그룹을 검색한다. The same image group search module 270 compares the image information of the search image extracted through the search image image information extraction module 260 with the image information of the group extracted through the group image information setting module 240 to be identical or similar. Search for a group of registered images that match.

검색결과 표시모듈(280)은 동일영상그룹 검색모듈(270)에서 검색된 등록영상그룹 내 등록영상의 부가정보를 이용자 단말기(100)에 검색결과로 제공한다. 이에 따라 이용자는 검색이미지에 관련된 부가정보를 확인하여 등록이미지에 관련된 기 등록된 부가정보를 참조할 수 있다.The search result display module 280 provides the user terminal 100 with additional information of the registered video in the registered video group searched by the same video group search module 270 as a search result. Accordingly, the user may check the additional information related to the search image and refer to the previously registered additional information related to the registered image.

한편, 본 발명은 동일영상 검색모듈(290), 소셜네트워킹 서비스모듈(300), 회원 관리모듈(310)을 더 구비할 수 있다.On the other hand, the present invention may further include the same image search module 290, social networking service module 300, member management module 310.

동일영상 검색모듈(290)은 검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 등록영상DB(211)에 저장된 등록영상의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상을 검색한다. 이때, 동일영상 검색모듈(290)은 사용자가 등록이미지의 위치정보를 등록한 경우에 등록된 등록영상의 위치정보를 확인하여 등록한 지역과 동일지역에서 등록된 영상만을 우선적으로 검색할 수 있다. The same image search module 290 compares the image information of the search image extracted through the search image image information extraction module 260 with the image information of the registered image stored in the registered image DB 211 to register the same or similar match. Search for video. In this case, when the user registers the location information of the registered image, the same image search module 290 may preferentially search only the image registered in the same region as the registered region by checking the location information of the registered image.

소셜네트워킹 서비스모듈(300)은 동일영상 검색모듈(290)에서 검색된 등록영상에 대해 타 이용자에 의해 기존에 등록된 코멘트(텍스트 정보)를 이용자 단말기(100)에 표시하고, 이용자로부터 상호 커뮤니케이션 또는 피드백을 위한 코멘트가 작성되면 이를 추가 저장하며 동일영상 검색모듈(290)에서 검색된 등록영상이 없을 경우 이용자는 해당 영상을 본인의 코멘트와 함께 신규 등록할 수 있다. 또한 영상을 등록하였거나 등록영상의 코멘트 작성에 참여한 회원에게는 해당 영상에 대한 신규 코멘트 또는 부가정보가 업데이트되었을 경우 이를 기 설정된 알림 규칙에 따라 각 회원의 SNS 또는 단말기에 설치된 어플리케이션에서 확인할 수 있다. 또한, 소셜네트워킹 서비스모듈(300)은 회원이 이미지 또는 동영상을 등록하거나 코멘트 작성 또는 피드백 활동에 참여할 경우 해당 영상 또는 해당 영상의 부가정보 또는 텍스트 정보를 등록된 회원 본인의 SNS 또는 인맥에게 기 설정된 공개규칙에 따라 공개할 수 있다.The social networking service module 300 displays a comment (text information) previously registered by another user on the registered image searched by the same image search module 290 on the user terminal 100, and communicates or feedbacks from the user. When a comment is created for the user, it is additionally stored and if there is no registered image searched by the same image search module 290, the user may newly register the corresponding image with his or her own comment. In addition, when a member who has registered a video or participated in creating a comment on a registered video has updated a new comment or additional information on the video, it can be checked in each member's SNS or an application installed in the terminal according to a preset notification rule. In addition, when the member registers an image or a video, participates in comment writing or feedback activity, the social networking service module 300 discloses preset information or text information of the video or the video to the registered member's SNS or social network. Disclosure may be made in accordance with the rules.

회원 관리모듈(310)은 이미지 또는 동영상을 등록하거나 또는 이미지를 검색하는 이용자를 회원으로 등록받아 회원정보DB(281)에 저장한다. 회원 관리모듈(310)은 회원 등록 시 회원의 이메일, 전화번호, 활용하고 있는 타 SNS 정보, 인맥에 대한 정보를 함께 등록받거나 동기화할 수 있다.
The member management module 310 receives a user who registers an image or a video or searches for an image as a member and stores the user in the member information DB 281. The member management module 310 may register or synchronize a member's e-mail, a phone number, other SNS information that is utilized, information about a social network, and the like when registering a member.

본 발명에 따른 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템에서 이용자들의 단말기와 서비스 제공서버 간의 상호작용을 설명한다.In the visual information-based social network service system of the subject according to the present invention, the interaction between the terminal of the user and the service providing server will be described.

먼저, A가 피사체로 에펠탑을 촬영한 후 이용자 단말기(100)를 통해서 그 이미지를 서비스 제공서버(200)에 접속하여 전송하면서, 에펠탑에 관련된 코멘트, 에펠탑 주변의 볼거리 등에 대한 글을 함께 등록할 수 있다. First, A photographs the Eiffel Tower as a subject, transmits the image through the user terminal 100 to the service providing server 200, and transmits comments related to the Eiffel Tower, articles about the Eiffel Tower, and the like. You can register.

등록영상 그룹분류모듈(230)은 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류한다. 이와 같이 등록이미지 또는 등록동영상을 피사체에 따라 그룹으로 분류할 수 있기 때문에 등록이미지 또는 등록동영상에 다수의 피사체가 포함된 경우에는 피사체의 종류에 따라 다양하게 분류될 수 있다.The registered video group classification module 230 compares the visual information of the extracted registered image or the registered video with each other and classifies them into existing groups or classifies them as new groups. As such, since the registered image or the registered movie may be classified into groups according to the subject, when the registered image or the registered movie includes a plurality of subjects, the registered image or the registered movie may be classified according to the type of the subject.

그러면 서비스 제공서버(200)는 에펠탑이 포함된 이미지에 대하여 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 추출하여 기존에 등록된 그룹의 대표영상정보에 대한 특징점 또는 특징점의 시각적 속성과 비교하여 일치되는 '에펠탑'으로 분류된 그룹을 확인할 수 있다. 그리고, '에펠탑' 그룹 내의 등록이미지 또는 등록동영상에 대해 태깅된 설명, 링크정보, 데이터 등의 부가정보를 검색결과로 이용자 단말기(100)에 표시하게 된다. 이에 따라 이용자는 검색이미지에 관련된 각종 부가정보를 확인하고 링크정보를 클릭하면 해당 페이지로 이동하여 서비스를 이용하거나 데이터를 전송 받거나 관련 내용을 확인할 수 있다.Then, the service providing server 200 extracts the image information of the feature point or the visual property of the feature point with respect to the image including the Eiffel Tower and matches the feature point or the visual property of the feature point of the representative image information of the group registered in advance You can see the group classified as 'Eiffel Tower'. In addition, additional information such as tagged description, link information, and data about the registered image or the registered video in the 'Eiffel Tower' group is displayed on the user terminal 100 as a search result. Accordingly, when the user checks various additional information related to the search image and clicks the link information, the user can go to the corresponding page to use the service, receive data, or check the related content.

한편, A가 전송한 이미지는 해당 이미지의 특징점 또는 특징점의 시각적 속성에 대응되는 그룹으로 분류되어 등록이미지로 저장되거나 사용될 수 있다. 이때, 이미지를 전송한 A가 회원인 경우에는 등록이미지를 회원ID와 함께 저장하고, 회원정보DB(281)에 등록된 회원의 SNS 및 인맥에게 기 설정된 공개규칙에 따라 제공할 수 있다.Meanwhile, the image transmitted by A may be classified into a feature point or a group corresponding to the visual property of the feature point and stored or used as a registered image. In this case, when A transmits the image, the registered image may be stored together with the member ID and provided to the SNS and the network of the member registered in the member information DB 281 according to a preset disclosure rule.

한편, 다른 B가 에펠탑을 포함한 주변 경치를 촬영하고, 서비스 제공서버(200)에 접속하여 촬영된 이미지를 전송할 경우 서비스 제공서버(200)는 B라는 이용자가 전송한 검색이미지의 특징점 또는 특징점의 시각적 속성의 시각적 정보를 영상정보로 추출하고, 기존에 등록된 그룹의 대표영상정보에 대한 특징점 또는 특징점의 시각적 속성과 비교하여 동일 또는 유사한 시각적 정보를 갖는 그룹을 확인하여 A가 전송하여 등록한 이미지를 매치할 수 있다. On the other hand, when another B photographs the surrounding scenery including the Eiffel Tower, and accesses the service providing server 200 and transmits the photographed image, the service providing server 200 determines a feature point or feature point of the search image transmitted by the user B. Extract the visual information of the visual property into the image information, and compare the feature point or the visual property of the feature point of the representative image information of the previously registered group to identify the group having the same or similar visual information, and then transmit the registered image by A Can match.

그러면 서비스 제공서버(200)는 매치되는 등록이미지와 함께 A가 등록한 부가정보를 B가 확인할 수 있으며, B는 등록된 이미지에 포함된 관련정보와 코멘트들을 확인하여 자신의 영상에 대한 정보를 정확하게 확인할 수 있고, 자신의 독립적인 코멘트를 등록하거나 기존의 코멘트에 종속된 코멘트(댓글)을 추가할 수 있으며, 신규 추가된 내용은 회원 A에게 제공된다. 이에 따라 A, B는 모두 '에펠탑'이라는 동일한 피사체를 포함하는 영상을 중심으로 서로 인간적인 관계를 맺고 경험과 정보, 의견을 교류할 수 있게 되는 것이다.Then, the service providing server 200 may check the additional information registered by A together with the registered image matched by B, and B confirms the information on his image by checking related information and comments included in the registered image. You can register your own independent comments or add comments (comments) that depend on existing comments, and new additions are made available to Member A. As a result, both A and B will be able to establish human relations with each other and to exchange experiences, information, and opinions based on images containing the same subject, the Eiffel Tower.

이와 같이 본 발명에 따르면, 예컨대 가상의 공간인 웹 페이지를 기반으로 코멘트를 공유하는 SNS에 있어서, 실제 이용자가 촬영한 피사체 자체에 자신의 코멘트를 남기고 이를 공유할 수 있게 하는 보다 직관적인 서비스를 제공할 수 있다.As described above, according to the present invention, for example, in an SNS that shares a comment based on a web page, which is a virtual space, a more intuitive service that allows a real user to leave a comment on the subject itself and share it. can do.

이용자 단말기(100)로부터 서비스 제공서버(200) 측에 전송되는 정보에는, 피사체를 포함하는 이미지 또는 동영상뿐만 아니라 해당 피사체를 촬영한 위치에 대한 GPS 좌표 정보와 같은 위치 정보나 또는 해당 피사체를 어느 방향에서 촬영하였는지와 같은 촬영 방향에 대한 정보도 함께 전송될 수 있다. 서로 다른 이용자에 의해 촬영된 특정 대상에 대한 영상이 동일하거나 유사한 위치정보를 자주 갖는다면, 해당 대상은 사물이 아니라 지역에 대한 것으로 분류할 수도 있을 것이다.The information transmitted from the user terminal 100 to the service providing server 200 may include location information, such as not only an image or video including a subject, but also GPS coordinate information about a location where the subject is photographed, or the subject in any direction. Information about the shooting direction, such as whether photographed at may also be transmitted. If images of specific objects photographed by different users frequently have the same or similar location information, the objects may be classified as being about an area instead of an object.

앞서 언급한 바와 같이 본 발명에 따른 서비스는, 이용자가 특정 대상을 촬영할 경우 해당 대상에 대한 시각적 정보와 매치되는 영상의 관련 정보를 전달해 주게 된다. 만약 다른 사람이 코멘트를 남겼다면 해당 코멘트를 보고 자신의 코멘트를 남길 수도 있을 것이고, 에펠탑을 촬영한 영상이라면 별도로 해당 지역 주변의 지역적 정보를 제공해 줄 수도 있을 것이며 파리관광여행 패키지 상품에 대한 정보를 줄 수도 있다. 또한 코카콜라 로고를 촬영하였다면 코카콜라사의 광고를 보거나 프로모션 정보를 확인하거나 쿠폰을 다운받을 수 있으며 코카콜라에 대한 사용자들의 평가를 확인하거나 상호 간의 의견을 교류할 수도 있다. 또한 재생중인 동영상을 촬영하였을 경우 해당 영상을 스트리밍 서비스로 시청할 수도 있으며 뮤지컬 포스터를 촬영하였을 경우 티켓을 구매할 수도 있다.As mentioned above, when the user photographs a specific object, the service according to the present invention delivers related information of an image that matches the visual information of the corresponding object. If someone else left a comment, you could look at the comment and leave your comment. If the video was taken of the Eiffel Tower, you could provide local information around the area. Can also give In addition, if you have taken the Coca Cola logo, you can see Coca-Cola's advertisements, check out promotional information, download coupons, check the users' ratings on Coca-Cola, or exchange opinions with each other. In addition, when the video is being played, you can watch the video with a streaming service, and when you shoot a musical poster, you can purchase a ticket.

만약 이 서비스가 보편화 된다면 회원들이 전송한 영상들이 축적되어 점점 늘어나서 결국에는 매번 검색해야 될 영상이 너무 많아 매칭 과정에서 너무 오랜 시간이 걸리게 되고 효율성이 떨어지게 될 수 있다. 이를 방지하기 위해, 따라서 동일한 대상을 촬영한 것이라고 판단되는 영상 또는 이의 시각적 정보는 함께 클러스터링해 둠으로써 그 효율성을 높일 수 있다. 예를 들어 10가지의 대상에 대한 이미지가 각각 10개씩 총 100장의 이미지가 서버에 저장되어 있다면, 신규로 촬영된 영상이 전송되었을 경우 해당 영상이 기존 100장의 영상과 매치하는지를 체크하기 위해 검색하는 것이 아니라, 총 10건의 대상과 매치를 하는 방식으로 이루어질 수 있다.If the service is generalized, the images transmitted by members are accumulated and gradually increased, so that there are too many images to be searched each time, which may take too long in the matching process and become inefficient. In order to prevent this, therefore, the image or visual information thereof determined to have taken the same object can be clustered together to increase its efficiency. For example, if a total of 100 images are stored on the server, each with 10 images for 10 subjects, it is recommended to search to see if the new images match the existing 100 images when a new image is sent. Rather, it can be achieved by matching 10 total objects.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto, and the technical idea of the present invention and the following by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.

100 : 이용자 단말기 200 : 서비스 서버
210 : 등록영상 관리모듈 220 : 등록영상정보 추출모듈
221 : 등록이미지 영상정보 추출부 222 : 등록동영상 영상정보 추출부
223 : 씬 분할부 224 : 대표프레임 선정부
225 : 대표프레임 영상정보 추출부 230 : 등록영상 그룹분류모듈
240 : 그룹영상정보 설정모듈 250 : 검색이미지 관리모듈
252 : 검색이미지 관리부 253 : 검색이미지 부가정보 관리부
254 : 검색이미지 등록위치 확인부 260 : 검색이미지 영상정보 추출모듈
261 : 검색피사체 선정부 270 : 동일영상그룹 검색모듈
280 : 검색결과 표시모듈 290 : 동일영상 검색모듈
300 : 소셜네트워킹 서비스모듈 310 : 회원 관리모듈100: user terminal 200: service server
210: Registered image management module 220: Registered image information extraction module
221: Registered image image information extractor 222: Registered image image information extractor
223: Scene division unit 224: Representative frame selection unit
225: representative frame image information extraction unit 230: registered image group classification module
240: group image information setting module 250: search image management module
252: search image management unit 253: search image additional information management unit
254: search image registration position check unit 260: search image image information extraction module
261: search subject selection unit 270: same video group search module
280: search result display module 290: same image search module
300: social networking service module 310: member management module

Claims (14)

검색대상이 되는 각종 피사체를 포함하는 등록영상(이미지 또는 동영상)에 대한 정보와 부가정보를 저장하고 관리하는 등록영상 관리모듈(210)과; 등록된 영상으로부터 시각적 정보를 영상정보로 추출하여 저장하는 등록영상정보 추출모듈(220)과; 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류하는 등록영상 그룹분류모듈(230)과; 등록영상 그룹분류모듈(230)을 통해 분류된 각 그룹 내의 등록영상들이 공통으로 포함하고 있거나 각 그룹 내의 등록영상들로부터 발견되는 빈도수가 높은 하나 이상의 시각적 정보를 각 그룹의 대표 영상정보로 설정하는 그룹영상정보 설정모듈(240)과; 이용자로부터 인터넷에 연결된 단말기를 통해 확인하고자 하는 피사체가 포함된 검색이미지를 전송받으면 전송된 검색이미지에 대한 정보를 저장하고 관리하는 검색이미지 관리모듈(250)과; 이용자로부터 전송된 검색이미지의 시각적 정보를 영상정보로 추출하는 검색이미지 영상정보 추출모듈(260)과; 검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 그룹영상정보 설정모듈(240)을 통해 설정된 그룹의 대표 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상의 그룹을 검색하는 동일영상그룹 검색모듈(270)과; 동일영상그룹 검색모듈(270)에서 검색된 그룹 내 등록영상의 부가정보를 이용자 단말기(100)에 검색결과로 제공하는 검색결과 표시모듈(280);을 포함하되,
등록영상정보 추출모듈(220)은 등록된 이미지로부터 영상정보를 추출하는 등록이미지 영상정보 추출부(221) 또는 등록된 동영상으로부터 영상정보를 추출하는 등록동영상 영상정보 추출부(222)로 이루어지되,
등록동영상 영상정보 추출부(222)는 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 씬 분할부(223)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 대표프레임 선정부(224)와, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 등록동영상과 함께 저장하는 대표프레임 영상정보 추출부(225)로 이루어진 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.A registered image management module 210 for storing and managing information and additional information about a registered image (image or video) including various subjects to be searched; A registration image information extraction module 220 for extracting and storing visual information from the registered image as image information; A registered video group classification module 230 for classifying the extracted registered image or the visual information of the registered video into the existing group or classifying the new group according to the same or similar to each other; A group that sets one or more visual information, which is frequently included in registered images in each group classified through the registered image group classification module 230, or is frequently found from registered images in each group, as representative image information of each group. An image information setting module 240; A search image management module 250 for storing and managing information on the transmitted search image when receiving a search image including a subject to be checked from a user through a terminal connected to the Internet; A search image image information extraction module 260 for extracting visual information of the search image transmitted from the user as image information; The search image image information extraction module 260 compares the image information of the search image extracted by the group image information setting module 240 with the representative image information of the group set to search for a group of registered images that are identically or similarly matched. The same video group search module 270; A search result display module 280 that provides the user terminal 100 with additional information of the registered image in the group searched by the same video group search module 270 as a search result;
The registered image information extraction module 220 includes a registered image image information extractor 221 for extracting image information from a registered image or a registered video image information extractor 222 for extracting image information from a registered video.
The registered video image information extracting unit 222 analyzes the registered video and divides the section of the before and after video into a scene based on the point where the visual elements are converted, and a scene represented by each scene. Representative frame selection unit 224 for selecting the above frame as a representative frame, and the representative frame image information extraction unit 225 for extracting a feature point or a visual attribute of the feature point from the selected representative frame as image information and storing it together with the registered video. Social information service system based on visual information of the subject, characterized in that made. 청구항 1에 있어서, 시각적 정보는 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 특징점 또는 특징점의 시각적 속성(특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보)인 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The method according to claim 1, wherein the visual information is a feature or visual properties of the feature points generated by the contour or corners or poles (parts darker or lighter than the surrounding brightness) included in the image or video (brightness information or color of the images around the feature points) Information or pattern information). 청구항 1에 있어서, 부가정보는 등록영상의 제목, 등록영상의 설명, 등록영상과 관련된 정보 또는 데이터, 등록자 또는 기 검색자의 코멘트, GPS정보 중 하나 이상인 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The visual information-based social network service of a subject according to claim 1, wherein the additional information is at least one of a title of the registered image, a description of the registered image, information or data related to the registered image, a comment of a registrant or a previous searcher, and GPS information. system. 삭제delete 삭제delete 청구항 1에 있어서, 씬 분할부(223)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인할 수 있으며, 확인된 각각의 씬에는 고유 ID가 부여되는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The method of claim 1, wherein the scene dividing unit 223 creates a frequency graph of HSV (color / saturation / brightness) of each frame of the video content, compares the graph of the previous frame with the current frame, and exceeds a predetermined distance value between graphs. The visual information-based social network service system of the subject, characterized in that the frame is changed and can be confirmed as a scene, and each identified scene is assigned a unique ID. 청구항 1에 있어서, 검색이미지 관리모듈(250)은 전송된 각종 검색이미지를 관리하는 검색이미지 관리부(252)와, 전송된 검색이미지에 대한 부가정보를 등록받는 검색이미지 부가정보 관리부(253), 및 검색이미지를 전송한 위치에 대한 정보를 관리하는 검색이미지 등록위치 확인부(254)로 이루어진 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The method according to claim 1, the search image management module 250 is a search image management unit 252 for managing the various search images transmitted, a search image additional information management unit 253 for receiving additional information on the transmitted search image, and Social information system based on the visual information of the subject, characterized in that consisting of a search image registration position check unit (254) for managing information on the location of the transmission of the search image. 검색대상이 되는 각종 피사체를 포함하는 등록영상(이미지 또는 동영상)에 대한 정보와 등록자의 코멘트(텍스트 정보)를 저장하고 관리하는 등록영상 관리모듈(210)과; 등록된 영상으로부터 시각적 정보를 영상정보로 추출하여 저장하는 등록영상정보 추출모듈(220)과; 이용자로부터 전송된 검색이미지로부터 시각적 정보를 영상정보로 추출하는 검색영상정보 추출모듈(250)과; 검색영상정보 추출모듈(250)을 통해 추출된 검색이미지의 영상정보를 저장된 등록영상의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상을 검색하는 동일영상 검색모듈(290)과; 동일영상 검색모듈(290)에서 검색된 등록영상에 대해 기존에 등록하였거나 검색한 자의 코멘트(텍스트 정보)가 존재할 경우 이를 이용자 단말기(100)에 표시하고, 이용자로부터 상호 커뮤니케이션 또는 피드백 목적의 코멘트가 작성되면 이를 함께 저장하는 소셜네트워킹 서비스모듈(300);을 포함하되
등록영상정보 추출모듈(220)은 등록된 이미지로부터 영상정보를 추출하는 등록이미지 영상정보 추출부(221) 또는 등록된 동영상으로부터 영상정보를 추출하는 등록동영상 영상정보 추출부(222)로 이루어지되,
등록동영상 영상정보 추출부(222)는 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 씬 분할부(223)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 대표프레임 선정부(224)와, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 등록동영상과 함께 저장하는 대표프레임 영상정보 추출부(225)로 이루어진 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.A registered image management module 210 for storing and managing information on a registered image (image or video) including various subjects to be searched and a comment (text information) of a registrant; A registration image information extraction module 220 for extracting and storing visual information from the registered image as image information; A search image information extraction module 250 for extracting visual information as image information from the search image transmitted from the user; A same image search module 290 for searching for a registered image that matches the same or similarly by comparing the image information of the search image extracted through the search image information extraction module 250 with the stored image information; If there is a comment (text information) of the registered or searched person about the registered image searched by the same image search module 290, it is displayed on the user terminal 100, and a comment for the purpose of mutual communication or feedback from the user is created. Including; social networking service module 300 for storing it together;
The registered image information extraction module 220 includes a registered image image information extractor 221 for extracting image information from a registered image or a registered video image information extractor 222 for extracting image information from a registered video.
The registered video image information extracting unit 222 analyzes the registered video and divides the section of the before and after video into a scene based on the point where the visual elements are converted, and a scene represented by each scene. Representative frame selection unit 224 for selecting the above frame as a representative frame, and the representative frame image information extraction unit 225 for extracting a feature point or a visual attribute of the feature point from the selected representative frame as image information and storing it together with the registered video. Social information service system based on visual information of the subject, characterized in that made. 청구항 8에 있어서, 이미지 또는 동영상을 등록하거나 또는 이미지를 검색하는 이용자를 회원으로 등록받아 저장하는 회원 관리모듈(310)을 더 포함하며,
소셜네트워킹 서비스모듈(300)은 검색된 등록영상을 직접 등록하였거나 코멘트 작성에 참여한 회원에게 해당 영상에 대한 신규 코멘트가 추가되었을 경우 관련 정보를 기 회원에게 제공하는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The method of claim 8, further comprising a member management module 310 for registering and storing a user who registers an image or a video or searches for an image as a member.
The social networking service module 300 provides the related information to the member when the new registered comment on the video is added to the member who directly registers the registered registered image or participates in the comment writing. Service system. 청구항 9에 있어서, 회원 관리모듈(310)은 회원이 활동하는 SNS정보 및 인맥에 대한 정보를 함께 등록받거나 동기화하며, 소셜네트워킹 서비스모듈(300)은 등록된 회원에 의해 코멘트 작성 또는 피드백 활동이 발생할 경우 관련 등록영상 또는 해당 등록영상의 텍스트정보를 기 설정된 공개 규칙에 따라 등록된 회원의 SNS 또는 인맥에게 공개하는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.10. The method of claim 9, the member management module 310 registers or synchronizes the information on the social networking and social networking activities of members, and the social networking service module 300 generates a comment or feedback activity by registered members When the related registration image or text information of the registered image to the social network service system based on the visual information of the subject, characterized in that it is disclosed to the SNS or network of the registered member according to a predetermined disclosure rule. 청구항 8에 있어서, 등록영상정보 추출모듈(220)에서 추출된 등록이미지 또는 등록동영상의 시각적 정보를 상호 비교하여 동일 또는 유사함에 따라 기존 그룹에 분류하거나 또는 신규 그룹으로 분류하는 등록영상 그룹분류모듈(230)과; 등록영상 그룹분류모듈(230)을 통해 분류된 각 그룹 내의 등록영상들이 공통으로 포함하고 있거나 각 그룹 내의 등록영상들로부터 발견되는 빈도수가 높은 하나 이상의 시각적 정보를 각 그룹의 대표 영상정보로 설정하는 그룹영상정보 설정모듈(240)과; 검색이미지 영상정보 추출모듈(260)을 통해 추출된 검색이미지의 영상정보를 그룹영상정보 설정모듈(240)을 통해 추출된 그룹의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상의 그룹을 검색하는 동일영상그룹 검색모듈(270)을 더 포함하며, 동일영상 검색모듈(290)은 동일영상그룹 검색모듈(270)에 의해 검색된 그룹 내 등록영상의 영상정보와 비교하여 동일 또는 유사하게 매치되는 등록영상을 검색하는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The registered image group classification module of claim 8, wherein the registered image information classification module classifies an existing group or classifies a new group according to the same or similar to each other by comparing the registered image or the visual information of the registered image extracted from the registered image information extraction module 220. 230); A group that sets one or more visual information, which is frequently included in registered images in each group classified through the registered image group classification module 230, or is frequently found from registered images in each group, as representative image information of each group. An image information setting module 240; Search image The image information of the search image extracted through the image information extraction module 260 is compared with the image information of the group extracted through the group image information setting module 240 to search for a group of registered images that match the same or similarly. The same image group search module 270 is further included, and the same image search module 290 registers the same or similar matches by comparing with the image information of the registered image in the group searched by the same image group search module 270. A social information service system based on visual information of a subject, characterized by searching for an image. 청구항 8에 있어서, 검색이미지 관리모듈(250)은 전송된 각종 검색이미지를 관리하는 검색이미지 관리부(252)와, 전송된 검색이미지에 대한 부가정보를 등록받는 검색이미지 부가정보 관리부(253), 및 검색이미지를 전송한 위치에 대한 정보를 관리하는 검색이미지 등록위치 확인부(254)로 이루어진 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The method according to claim 8, the search image management module 250 is a search image management unit 252 for managing the various search images transmitted, a search image additional information management unit 253 for receiving additional information on the transmitted search image, and Social information system based on the visual information of the subject, characterized in that consisting of a search image registration position check unit (254) for managing information on the location of the transmission of the search image. 청구항 12에 있어서, 동일영상 검색모듈(290)은 검색이미지의 등록위치에 대응되는 지역의 위치정보를 갖는 등록영상을 우선적으로 검색하는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The system according to claim 12, wherein the same image search module (290) searches for a registered image having location information of a region corresponding to a registered position of a search image. 청구항 8에 있어서, 동일영상 검색모듈(290)에 의해 검색된 결과가 없을 경우 소셜네트워킹 서비스모듈(300)은 이용자가 전송한 검색 이미지에 대해 최초 코멘트(텍스트 정보)를 작성할 수 있도록 서비스를 제공하고 최초 작성된 코멘트 및 해당 검색 이미지는 등록영상 관리모듈(210)에 의해 신규 등록되어 관리되는 것을 특징으로 하는 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템.The method according to claim 8, wherein if there is no result searched by the same image search module 290, the social networking service module 300 provides a service for creating an initial comment (text information) on the search image transmitted by the user and The written comment and the corresponding search image are newly registered and managed by the registered image management module 210.
KR1020130066497A 2013-06-11 2013-06-11 Social network service system based upon visual information of subjects KR101331162B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130066497A KR101331162B1 (en) 2013-06-11 2013-06-11 Social network service system based upon visual information of subjects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130066497A KR101331162B1 (en) 2013-06-11 2013-06-11 Social network service system based upon visual information of subjects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110801A Division KR101523349B1 (en) 2013-09-16 2013-09-16 Social Network Service System Based Upon Visual Information of Subjects

Publications (1)

Publication Number Publication Date
KR101331162B1 true KR101331162B1 (en) 2013-11-20

Family

ID=49858069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130066497A KR101331162B1 (en) 2013-06-11 2013-06-11 Social network service system based upon visual information of subjects

Country Status (1)

Country Link
KR (1) KR101331162B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101574890B1 (en) * 2014-04-21 2015-12-04 심상규 Apparatus for sharing photo using outline and method for using the apparatus, service server for providing photo sharing service
KR20160075285A (en) * 2014-12-21 2016-06-29 정현아 System and method for Things-based Social Network Service
KR20190089335A (en) * 2018-01-22 2019-07-31 숭실대학교산학협력단 Personalized Voice Recognition Device Using Speaker Analysis and Voice Recognition Method thereof, Recording Medium for Performing the Method
KR20200091280A (en) * 2019-01-22 2020-07-30 박병섭 Method for collecting and providing and sharing character information of SNS
KR20210055962A (en) 2019-11-08 2021-05-18 박소희 payment basket

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276484A (en) * 1999-03-25 2000-10-06 Konica Corp Device and method for image retrieval and image display device
KR100700628B1 (en) * 2006-12-20 2007-03-28 주식회사 네오엠텔 Method for providing and obtaining information of an object
KR20080028325A (en) * 2006-09-26 2008-03-31 소니 가부시끼 가이샤 Content management apparatus, web server, network system, content management method, content information management method, and program
KR101191172B1 (en) * 2012-02-15 2012-10-15 (주)올라웍스 Method, apparatus and computer-readable recording medium for managing images in image database

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276484A (en) * 1999-03-25 2000-10-06 Konica Corp Device and method for image retrieval and image display device
KR20080028325A (en) * 2006-09-26 2008-03-31 소니 가부시끼 가이샤 Content management apparatus, web server, network system, content management method, content information management method, and program
KR100700628B1 (en) * 2006-12-20 2007-03-28 주식회사 네오엠텔 Method for providing and obtaining information of an object
KR101191172B1 (en) * 2012-02-15 2012-10-15 (주)올라웍스 Method, apparatus and computer-readable recording medium for managing images in image database

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101574890B1 (en) * 2014-04-21 2015-12-04 심상규 Apparatus for sharing photo using outline and method for using the apparatus, service server for providing photo sharing service
KR20160075285A (en) * 2014-12-21 2016-06-29 정현아 System and method for Things-based Social Network Service
KR101647565B1 (en) 2014-12-21 2016-08-10 정현아 System and method for Things-based Social Network Service
KR20190089335A (en) * 2018-01-22 2019-07-31 숭실대학교산학협력단 Personalized Voice Recognition Device Using Speaker Analysis and Voice Recognition Method thereof, Recording Medium for Performing the Method
KR102009593B1 (en) * 2018-01-22 2019-08-09 숭실대학교산학협력단 Personalized Voice Recognition Device Using Speaker Analysis and Voice Recognition Method thereof, Recording Medium for Performing the Method
KR20200091280A (en) * 2019-01-22 2020-07-30 박병섭 Method for collecting and providing and sharing character information of SNS
KR102169647B1 (en) 2019-01-22 2020-10-23 박병섭 Method for collecting and providing and sharing character information of SNS
KR20210055962A (en) 2019-11-08 2021-05-18 박소희 payment basket

Similar Documents

Publication Publication Date Title
US10832738B2 (en) Computerized system and method for automatically generating high-quality digital content thumbnails from digital video
TWI501172B (en) System, method and storage medium for publishing a message on a social network website according to an image
US20140019264A1 (en) Framework for product promotion and advertising using social networking services
US11115724B2 (en) Visual hash tags via trending recognition activities, systems and methods
CN103415865B (en) For for the social accreditation information of the advertisement selection for being shown to viewing user
US11861539B2 (en) Multi-dimensional command center
CN109388446B (en) Information processing method, device and storage medium
CN109155136A (en) The computerized system and method for highlight are detected and rendered automatically from video
KR101331162B1 (en) Social network service system based upon visual information of subjects
WO2014090034A1 (en) Method and device for achieving augmented reality application
US20170169495A1 (en) System and method for accessing electronic data via an image search engine
US20130238467A1 (en) Object display server, object display method, object display program, and computer-readable recording medium for storing the program
CN106257444A (en) The method for pushing of a kind of information and equipment
KR20140093974A (en) Image annotation method and system
US20130317909A1 (en) Publicity display device, publicity display method, publicity display program, and computer-readable recording medium which stores said program
Na et al. Sensibility and response keywords of users according to posting types of fashion Instagram: Focused on Koreans’ fashion brands
CN105354519A (en) Data information processing system and processing method therefor
Van Couvering The political economy of new media revisited
CN103929352A (en) Service system and method for social contact with object in website through common terminal
CN112818224A (en) Information recommendation method and device, electronic equipment and readable storage medium
CN110415009A (en) Computerized system and method for being modified in video
US10600060B1 (en) Predictive analytics from visual data
KR101523349B1 (en) Social Network Service System Based Upon Visual Information of Subjects
CN103747368A (en) System and method for embedding network instant communication in video program
KR101486924B1 (en) Method for recommanding media contents using social network service

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161109

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171110

Year of fee payment: 5