KR101143450B1 - Providing method and system of emotional augmented memory service - Google Patents

Providing method and system of emotional augmented memory service Download PDF

Info

Publication number
KR101143450B1
KR101143450B1 KR1020100117292A KR20100117292A KR101143450B1 KR 101143450 B1 KR101143450 B1 KR 101143450B1 KR 1020100117292 A KR1020100117292 A KR 1020100117292A KR 20100117292 A KR20100117292 A KR 20100117292A KR 101143450 B1 KR101143450 B1 KR 101143450B1
Authority
KR
South Korea
Prior art keywords
emotional
information
user
image
tag
Prior art date
Application number
KR1020100117292A
Other languages
Korean (ko)
Inventor
이재동
박태근
박범준
박정서
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020100117292A priority Critical patent/KR101143450B1/en
Application granted granted Critical
Publication of KR101143450B1 publication Critical patent/KR101143450B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/40—

Abstract

PURPOSE: An emotion enrichment memory service providing method and system thereof are provided to stimulate emotion through personal association memory by searching pictures in SNS(Social Network Service). CONSTITUTION: An SNS management unit(300) searches an SNS image DB(Data Base)(310) from images selected by a user. An object information management unit(400) searches information for objects including the selected images in an object information DB(410). An emotion association dictionary management unit(500) searches association words of the objects registered in an emotion association dictionary DB(510).

Description

감성 증강기억 서비스 제공 방법 및 시스템 {PROVIDING METHOD AND SYSTEM OF EMOTIONAL AUGMENTED MEMORY SERVICE}Method and system for providing emotional augmented memory service {PROVIDING METHOD AND SYSTEM OF EMOTIONAL AUGMENTED MEMORY SERVICE}

본 발명은 감성 증강기억 서비스 제공 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for providing emotional augmented memory service.

SNS(Social Network Service)는 인터넷 상에서 공통의 관심사를 가지고 있는 사용자들 간의 관계형성을 지원하고, 형성된 지인 관계를 바탕으로 인맥 관리, 정보 및 콘텐츠 공유 등 다양한 활동을 할 수 있도록 지원한다. 현재 SNS의 데이터가 외부 응용프로그램과 연동이 되지 않는 문제가 있으나 최근 페이스북에서 F8이라는 소셜 플랫폼을 공개했으며, 구글에서는 Opensocial이라는 플랫폼을 만드는 등 향후 SNS의 데이터를 응용프로그램에서 이용할 수 있을 것이다.Social Network Service (SNS) supports the formation of relationships among users with common interests on the Internet, and supports various activities such as social networking, information and content sharing, based on the formed relationships. Currently, there is a problem that data of SNS cannot be linked with external applications, but Facebook recently released a social platform called F8, and Google will make the data of SNS available to applications in the future, such as creating a platform called Opensocial.

현재 와이브로, HSDPA(High Speed Downlink Packet Access), IPTV(Internet Protocol Television) 등과 같은 뉴미디어의 발달로 사용자에게 제공되는 미디어 콘텐츠의 공급이 늘어남에 따라 다양한 정보의 이용이 가능하게 되었다. 또한, 모든 사용자에게 동일하게 제공되는 미디어 콘텐츠에서 더 나아가 사용자의 정보를 활용하여 감성을 자극할 수 있는 미디어 콘텐츠에 대한 사용자의 요구가 커지고 있다. 일 예로서, 동일한 물체를 보더라도 개인의 기억에 따라 사용자들은 각기 다른 단어를 떠올릴 뿐만 아니라 다른 감성을 느낄 수 있다. 그러나 현재는 모든 사용자에게 일괄적으로 동일한 콘텐츠가 제공되고 있어 개인의 감성을 충족시켜 주기에 어려움이 있다.With the development of new media such as WiBro, High Speed Downlink Packet Access (HSDPA), and Internet Protocol Television (IPTV), various information is available as the supply of media contents to users increases. In addition, user demand for media content that can stimulate emotion by utilizing user's information, in addition to media content that is equally provided to all users. As an example, even when looking at the same object, the user may not only think of different words but also feel different emotions according to an individual's memory. However, at present, all users are provided with the same contents in a batch, and thus, it is difficult to satisfy individual emotions.

개시된 기술이 이루고자 하는 과제는 소셜 네트워크 서비스에서 관계가 형성되어 있는 다른 사용자의 이미지를 검색하여 개인의 기억을 증강시키고, 감성을 자극하는 데 있다.An object of the disclosed technology is to search for images of other users with whom a relationship is formed in a social network service, to enhance an individual's memory, and to stimulate emotion.

상술한 바와 같은 목적을 달성하기 위하여 본 발명의 제 1 측면은, 감성 증강기억 서비스 제공 방법에 있어서, 사용자로부터 이미지를 선택받고, 상기 이미지에 포함된 물체들에 대한 정보를 제공하는 단계; 상기 물체들 중 하나를 상기 사용자로부터 선택받고, 상기 선택받은 물체에 대한 상기 사용자의 등록된 연상 단어들을 제공하는 단계; 및 상기 연상 단어들 중 하나를 상기 사용자로부터 선택받고, 상기 선택받은 연상 단어를 태그 형태로 포함하는 이미지의 목록을 검색하여 상기 사용자에게 제공하는 단계를 포함한다.In order to achieve the above object, a first aspect of the present invention provides a method for providing emotional augmented memory service, comprising: selecting an image from a user and providing information on objects included in the image; Selecting one of the objects from the user and providing the registered associative words of the user for the selected object; And selecting one of the associative words from the user, searching for a list of images including the selected associative words in a tag form, and providing the same to the user.

상술한 바와 같은 목적을 달성하기 위하여 본 발명의 제 2 측면은, 감성 증강기억 서비스 시스템에 있어서, 사용자로부터 선택받은 이미지를 SNS 이미지 DB에서 검색하는 SNS 관리부; 상기 선택받은 이미지에 포함된 물체들에 대한 정보를 물체 정보 DB에서 검색하는 물체 정보 관리부; 상기 물체들에 대한 상기 사용자의 등록된 태그를 감성 연상 사전 DB에서 검색하는 감성 연상 사전 관리부; 상기 사용자로부터 상기 이미지에 포함된 물체들 중 하나를 선택받고, 상기 사용자로부터 상기 검색된 태그들 중 하나를 선택받고, 상기 사용자로부터 연상 단어를 선택받는 사용자 인터페이스부; 및 상기 선택받은 물체에 대한 정보, 상기 선택받은 태그 및 연상 단어, 검색된 감성지수를 상기 사용자에게 제공하는 정보 구성부를 포함하고, 상기 SNS 관리부는 상기 선택받은 연상 단어들을 태그 형태로 포함하는 이미지의 목록을 검색하여 상기 사용자에게 제공한다.. In order to achieve the above object, a second aspect of the present invention, the emotional augmented memory service system, SNS management unit for retrieving the image selected by the user in the SNS image DB; An object information manager to search for information on objects included in the selected image in an object information DB; An emotional association dictionary management unit for searching the emotional association dictionary DB for the registered tags of the user for the objects; A user interface unit for selecting one of the objects included in the image from the user, selecting one of the searched tags from the user, and selecting an associative word from the user; And an information constructing unit for providing the user with information about the selected object, the selected tag and associative word, and a searched emotional index. The SNS manager includes a list of images including the selected associative words in a tag form. Search for and provide it to the user.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique may have the following effects. It is to be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, as it is not meant to imply that a particular embodiment should include all of the following effects or only the following effects.

일 실시예에 따른 감성 증강기억 서비스 제공 방법 및 시스템은 사용자가 개인의 감성 연상 사전을 이용하여 소셜 네트워크 서비스의 사진을 검색하고, 이러한 과정을 반복 수행함으로써 개인의 연상기억을 증강시켜주어 감성을 자극할 수 있다.Method and system for providing emotional augmented memory service according to an embodiment of the present invention searches for a picture of a social network service by using a personal emotional association dictionary, and repeats the process to enhance personal reminder and stimulate emotion. can do.

또한, 일 실시예에 따른 감성 증강기억 서비스 제공 방법 및 시스템은 사용자마다 다른 개인의 기억 회상에 도움을 줄 수 있고, 개인별 감성 연상 사전을 통해 개인 맞춤형 서비스를 수행함으로써 사용자의 만족도를 향상시킬 수 있다.In addition, the method and system for providing an emotional augmented memory service according to an embodiment may help a user recall a memory of a different individual for each user, and may improve a user's satisfaction by performing a personalized service through a personal emotional association dictionary. .

도 1은 본 발명의 실시예에 따른 감성 증강기억 서비스 시스템을 나타내는 개념도이다.
도 2는 본 발명의 실시예에 따른 감성 증강기억 서비스 시스템을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 감성 증강기억 서비스 제공 방법을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 감성 증강기억 서비스 제공 방법을 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 감성 증강기억 서비스 제공 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 감성 증강기억 서비스를 사용하는 예를 나타내는 도면이다.1 is a conceptual diagram illustrating an emotional augmented memory service system according to an embodiment of the present invention.
2 is a block diagram illustrating an emotional augmented memory service system according to an exemplary embodiment of the present invention.
3 is a diagram illustrating a method for providing emotional augmented memory service according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a method for providing emotional augmented memory service according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating a method for providing emotional augmented memory service according to an embodiment of the present invention.
6 is a diagram illustrating an example of using an emotional augmented memory service according to an embodiment of the present invention.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the disclosed technique is merely an example for structural or functional explanation and the scope of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, the embodiments may be variously modified and may have various forms, and thus the scope of the disclosed technology should be understood to include equivalents capable of realizing the technical idea.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "include" or "have" refer to features, numbers, steps, operations, components, parts, or parts thereof described. It is to be understood that the combination is intended to be present, but not to exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.

각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Each step may occur differently from the stated order unless the context clearly dictates the specific order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless otherwise defined. Generally, the terms defined in the dictionary used are to be interpreted to coincide with the meanings in the context of the related art, and should not be interpreted as having ideal or excessively formal meanings unless clearly defined in the present application.

도 1은 본 발명의 실시예에 따른 감성 증강기억 서비스 시스템을 나타내는 개념도이다.1 is a conceptual diagram illustrating an emotional augmented memory service system according to an embodiment of the present invention.

도 1을 참조하면, 감성 증강기억 서비스 시스템은 사용자(600)의 연상 단어와 감성 지수를 이용하여 소셜 네트워크 서비스(이하,'SNS')의 이미지를 검색함으로써 사용자(600) 개인의 기억과 개인의 감성을 자극할 수 있다. 보다 상세하게는, 사용자(600)가 감성 증강기억 서비스 시스템에 접속하여 SNS 이미지 데이터베이스(이하,'DB')(310)에서 이미지를 검색할 수 있고, 감성 연상 사전 DB(510)에서 사용자별 연상 단어 및 평균 감성 지수를 입력 및 검색할 수 있다. 여기에서, 감성 증강기억 서비스 시스템은 스마트폰, PC(Personal Computer), PDA(Personal Digital Assistants), 태블릿(Tablet) PC 등의 다양한 디바이스에서 사용자(600)에게 서비스를 제공할 수 있다. 따라서, 사용자(600)는 손쉽게 이미지를 촬영하고 저장하여 감성 증강기억 서비스 시스템을 이용할 수 있다.Referring to FIG. 1, the emotional augmented memory service system searches for an image of a social network service (hereinafter, 'SNS') by using an association word and an emotional index of the user 600, thereby recognizing the memory and the personal memory of the user 600. Can stimulate emotion. More specifically, the user 600 may access the emotional augmentation memory service system and search for an image in an SNS image database (hereinafter, 'DB') 310, and associate with each user in the emotional association dictionary DB 510. Words and average sentiment index can be entered and searched. Here, the emotional augmented memory service system may provide a service to the user 600 in various devices such as a smart phone, a personal computer (PC), a personal digital assistant (PDA), a tablet PC, and the like. Accordingly, the user 600 may easily take an image and store the image to use the emotional augmentation memory service system.

도 2는 본 발명의 실시예에 따른 감성 증강기억 서비스 시스템을 나타내는 블록도이다.2 is a block diagram illustrating an emotional augmented memory service system according to an exemplary embodiment of the present invention.

도 2를 참조하면, 감성 증강기억 서비스 시스템은 사용자 인터페이스부(100), 정보 구성부(200), SNS 관리부(300), 물체 정보 관리부(400) 및 감성 연상 사전 관리부(500)를 포함한다.Referring to FIG. 2, the emotional augmented memory service system includes a user interface unit 100, an information configuration unit 200, an SNS management unit 300, an object information management unit 400, and an emotional association dictionary management unit 500.

사용자 인터페이스부(100)는 사용자(600)와 감성 증강기억 서비스 시스템 간의 감성 증강기억 서비스를 상호작용할 수 있게 한다. 보다 상세하게는, 사용자(600)가 사용자 인터페이스부(100)를 이용하여 감성 증강기억 서비스 시스템에서 이미지, 태그 또는 연상단어를 검색하고, 검색된 결과를 사용자(600)가 수신할 수 있게 한다. The user interface unit 100 may interact with the emotional augmented memory service between the user 600 and the emotional augmented memory service system. In more detail, the user 600 searches for an image, a tag, or an association word in the emotional augmented memory service system using the user interface unit 100, and allows the user 600 to receive the searched result.

정보 구성부(200)는 사용자 인터페이스부(100)를 통하여 사용자(600)로부터 이미지를 선택받고, 선택받은 이미지를 SNS 관리부(300)에게 요청하고, 선택받은 이미지에 포함된 물체에 대한 정보를 물체 정보 관리부(400)에 요청한다. 여기에서, 정보 구성부(200)는 선택받은 이미지에 대한 식별 정보(ID)를 SNS 관리부(300)와 물체 정보 관리부(400)에 전달할 수 있다. 정보 구성부(200)는 SNS 관리부(300)로부터 이미지와 이미지 소유자에 대한 정보를 수신하고, 물체 정보 관리부(400)로부터 물체에 대한 정보를 수신하며, 수신된 이미지와 물체에 대한 정보를 사용자 인터페이스부(100)를 통하여 사용자(600)에게 제공한다. 물체에 대한 정보는 위치, 태그, 감성 지수를 포함할 수 있다. 감성지수는 사용자의 감정 상태를 나타내는 것으로, 동양의 7정을 바탕으로 기쁨, 화남, 슬픔, 놀람, 싫음, 기대 및 사랑을 포함할 수 있다.The information configuring unit 200 receives an image from the user 600 through the user interface unit 100, requests the SNS management unit 300 for the selected image, and provides information about an object included in the selected image. Request to the information management unit 400. Here, the information configuring unit 200 may transmit the identification information (ID) of the selected image to the SNS management unit 300 and the object information management unit 400. The information configuration unit 200 receives information on the image and the image owner from the SNS management unit 300, receives information on the object from the object information management unit 400, and user interface information on the received image and the object. It is provided to the user 600 through the unit (100). Information about the object may include a location, a tag, an emotional index. The emotional index indicates the emotional state of the user and may include joy, anger, sadness, surprise, dislike, expectation, and love based on seven tablets of the Orient.

정보 구성부(200)는 사용자 인터페이스부(100)를 통하여 사용자로부터 물체에 대한 태그들 중 어느 하나를 선택받고, 선택받은 물체에 대한 사용자의 등록된 연상 단어들을 감성 연상 사전 관리부(500)에게 요청한다. 하나의 태그에 대응하는 연상 단어는 하나 또는 둘 이상일 수 있다. 정보 구성부(200)는 감성 연상 사전 관리부(500)로부터 연상 단어들을 수신하고, 수신된 연상 단어들을 사용자 인터페이스부(100)를 통하여 사용자(600)에게 제공한다. 또한, 감성 연상 사전 관리부(500)는 평균 감성 지수를 사용자(600)에게 제공할 수 있다.The information configuration unit 200 receives any one of the tags for the object from the user through the user interface unit 100 and requests the emotional association dictionary manager 500 for the registered associative words of the user for the selected object. do. The associative word corresponding to one tag may be one or more than two. The information configuring unit 200 receives the associative words from the emotional association dictionary management unit 500, and provides the received association words to the user 600 through the user interface unit 100. In addition, the emotional association dictionary management unit 500 may provide an average emotional index to the user 600.

정보 구성부(200)는 사용자 인터페이스부(100)를 통하여 사용자(600)로부터 연상 단어들 중 어느 하나를 선택받고, 선택받은 연상 단어를 태그로 포함하고 있는 이미지 목록을 SNS 관리부(300)를 통하여 SNS 이미지 DB(310)에 있는 이미지들을 검색한다. 정보 구성부(200)는 검색된 이미지들에 대한 이미지 목록을 생성하고, 이미지 목록을 사용자 인터페이스부(100)를 통하여 사용자(600)에게 제공한다.The information configuring unit 200 receives any one of the associative words from the user 600 through the user interface unit 100, and displays the image list including the selected associative words as a tag through the SNS management unit 300. Search for images in the SNS image DB 310. The information constructing unit 200 generates an image list of the retrieved images and provides the image list to the user 600 through the user interface unit 100.

정보 구성부(200)는 사용자(600)로부터 이미지를 수신하여 SNS 관리부(300)에 전달하여 SNS 이미지 DB(310)에 이미지를 등록하고, 사용자(600)로부터 이미지에 포함된 물체에 대한 정보를 수신하여 물체 정보 관리부(400)에 전달하여 물체 정보 DB(410)에 물체에 대한 정보를 등록할 수 있다. 또한, 정보 구성부(200)는 사용자(600)로부터 이미지에 포함된 물체의 태그에 대한 연상 단어를 수신하여 감성 연상 사전 관리부(500)에 전달할 수 있다. 여기에서, 감성 연상 사전 DB(510)에는 물체의 태그에 대한 연상 단어 및 평균 감성 지수를 저장할 수 있다.The information configuration unit 200 receives an image from the user 600 and transmits the image to the SNS management unit 300 to register the image in the SNS image DB 310 and obtain information on an object included in the image from the user 600. The received information may be transmitted to the object information manager 400 to register information about the object in the object information DB 410. In addition, the information configuration unit 200 may receive the association word for the tag of the object included in the image from the user 600 and transmit it to the emotional association dictionary management unit 500. Here, the emotional association dictionary DB 510 may store association words and average emotional index for tags of the object.

SNS 관리부(300)는 정보 구성부(200)의 요청에 응답하여, 사용자(600)로부터 선택받은 이미지 및 이미지의 소유자 정보를 SNS 이미지 DB(310)에서 검색하고, 검색된 이미지 및 이미지의 소유자 정보를 정보 구성부(200)로 제공한다. SNS 이미지 DB(310)는 SNS 관리부(300)와 연계되어 있으며, 사용자(600)에 의해 SNS에 등록된 이미지를 저장할 수 있다.In response to a request of the information configurator 200, the SNS management unit 300 retrieves the image selected from the user 600 and owner information of the image from the SNS image DB 310, and retrieves the retrieved image and owner information of the image. It is provided to the information configuration unit 200. The SNS image DB 310 is associated with the SNS management unit 300 and may store an image registered in the SNS by the user 600.

물체 정보 관리부(400)는 정보 구성부(200)의 요청에 응답하여 사용자(600)로부터 선택받은 이미지에 포함된 물체에 대한 정보를 물체 정보 DB(410)에서 검색하고, 검색된 물체에 대한 정보를 정보 구성부(200)로 제공한다. 이미지는 하나 또는 둘 이상의 물체를 포함하는 사진일 수 있다. 예를 들어, 물체에 대한 정보는 물체에 대한 태그, 감성 지수 및 코멘트를 포함할 수 있다. 물체 정보 DB(410)는 물체 정보 관리부(400)와 연계되어 있으며, 이미지에 포함된 물체에 대한 정보를 저장할 수 있다.The object information management unit 400 searches for the information on the object included in the image selected by the user 600 in the object information DB 410 in response to the request of the information configuration unit 200, and retrieves the information on the retrieved object. It is provided to the information configuration unit 200. The image may be a photograph containing one or more objects. For example, the information about the object may include a tag, an emotion index, and a comment about the object. The object information DB 410 is associated with the object information management unit 400 and may store information about an object included in the image.

감성 연상 사전 관리부(500)는 정보 구성부(200)의 요청에 응답하여 사용자(600)로부터 선택받은 물체에 대한 사용자의 등록된 연상 단어들을 감성 연상 사전 DB(510)에서 검색하고, 검색된 연상 단어들을 정보 구성부(200)로 제공한다. 감성 연상 사전 DB(510)에는 물체에 대하여 사용자별로 연상 단어들이 등록되어 있어서, 사용자별로 자신에게 맞는 연상 단어들을 제공받을 수 있게 한다. 이를 통해, 두 사용자각 동일한 사진에서 동일한 물체를 선택하는 경우에도, 각자 자신에게 맞는 서로 다른 연상 단어들을 제공받을 수 있어, 물체에 대해 사용자(600)가 연상하는 개인의 기억을 증강시켜 줄 수 있다.The emotional association dictionary manager 500 searches for the user's registered association words for the object selected from the user 600 in the emotional association dictionary DB 510 in response to a request of the information configuration unit 200, and retrieves the retrieved association words. To the information configuration unit 200. In the emotional association dictionary DB 510, associative words are registered for each user with respect to an object, so that users can be provided with association words suitable for each user. Through this, even when each user selects the same object in the same picture, the user may be provided with different associative words that are appropriate for each of them, thereby enhancing the memory of the individual that the user 600 associates with the object. .

감성 연상 사전 DB(510)는 각 사용자(600)에 대하여 물체에 대한 태그별로, 연상 단어들 및 각 연상 단어에 대한 평균 감성 지수를 저장한다. 여기에서, 평균 감성 지수는 사용자로부터 입력된 여러 장의 이미지들에 동일한 태그를 가진 물체가 존재하는 경우에 태그에 대한 감성 지수들의 평균을 의미한다.The emotional association dictionary DB 510 stores association words and an average emotional index for each association word for each user 600 for each tag of the object. Here, the average emotional index means the average of the emotional indexes for the tag when an object having the same tag exists in several images input from the user.

도 3은 본 발명의 실시예에 따른 감성 증강기억 서비스 제공 방법을 나타내는 도면이다.3 is a diagram illustrating a method for providing emotional augmented memory service according to an exemplary embodiment of the present invention.

도 3을 참조하면, 이미지는 전체 이미지에 대한 정보로서 태그, 코멘트 및 날짜를 가지고 있고, 이미지의 소유자가 등록한 각 물체에 대한 정보로서 태그, 감성지수 및 코멘트를 가질 수 있다. 여기에서, 이미지는 사진 이미지를 포함할 수 있다. 감성 연상 사전은 사용자(600)별로 존재하고 관리되며, 감성 연상 사전에는 사용자(600)로부터 입력받은 연상 단어들과 평균 감성 지수가 저장될 수 있다. 도 3에서 감성 증강기억 서비스 시스템에 로그인하여 접속된 사용자(600)가 사용자 1인 경우에는 ① 내지 ⑦의 순서에 따라 감성 증강기억 서비스를 이용할 수 있고, 로그인하여 접속된 사용자(600)가 사용자 2인 경우에는 ⓐ 내지 ⓔ의 순서에 따라 감성 증강기억 서비스를 이용할 수 있다. 여기에서, 사용자 1은 이미지 1과 이미지 2의 소유자이며, 사용자 3이 이미지 3의 소유자로 가정할 수 있다.Referring to FIG. 3, an image may have a tag, a comment, and a date as information on an entire image, and may have a tag, an emotion index, and a comment as information on each object registered by the owner of the image. Here, the image may include a photographic image. The emotional association dictionary exists and is managed for each user 600, and the emotional association dictionary may store association words and an average emotional index input from the user 600. In FIG. 3, when the user 600 logged in to the emotional augmented memory service system is user 1, the emotional augmented memory service may be used in the order of ① to ⑦, and the logged in user 600 is connected to the user 2. In the case of emotional enhancement memory services can be used in the order of ⓐ to ⓔ. Here, user 1 may be the owner of image 1 and image 2, and user 3 may be the owner of image 3.

사용자 1의 경우, 감성 증강기억 서비스 시스템에 로그인하여 접속되며, 사용자 1에게 제공된 이미지 목록들 중에서 사용자 1에 의해 이미지 1이 선택될 수 있다. 사용자 1이 이미지 1을 선택하면 물체 정보 관리부(400)로부터 이미지 1에 포함된 두 개의 물체와 각각의 물체들에 대한 정보로서 물체 각각에 대한 태그(A,B), 감성지수 및 코멘트를 제공받을 수 있다. 사용자 1이 태그 A인 물체를 선택하면 감성 연상 사전 관리부(500)는 감성 연상 사전 DB(510)에서 사용자 1의 감성 연상 사전(511)을 검색한다. 검색 결과, 태그 A에 대하여 사용자 1이 등록한 연상 단어 C,D,E 및 각각의 연상 단어들에 대한 평균 감성 지수를 가져올 수 있다. 사용자 1으로부터 태그 A의 연상 단어들 중에서 D를 선택받는 경우, SNS 관리부(300)는 SNS 이미지 DB(310)를 검색하여, D라는 태그를 가지고 있고 D의 평균 감성 지수와 유사한 평균 감성 지수를 갖는 이미지를 검색하여 불러올 수 있다. 감성 증강기억 서비스 시스템은 사용자 1로부터 검색된 이미지들 중에서 이미지 2를 선택받을 수 있고, 여기에서 이미지 2는 사용자 1의 사진에 해당한다. 사용자 1으로부터 이미지 2를 선택받는 경우, 물체 정보 관리부(400)로부터 이미지 2에 포함된 두 개의 물체들과 각각의 물체들에 대한 정보로서 물체 각각에 대한 태그(D,F), 감성지수, 및 코멘트를 제공받을 수 있다. 사용자 1이 태그 F인 물체를 선택하면 감성 연상 사전 관리부(500)는 감성 연상 사전 DB(510)에서 사용자 1의 감성 연상 사전(511)을 검색할 수 있다. 검색 결과, 태그 F에 대하여 사용자 1이 등록한 연상 단어 G,H,I 및 각각의 연상 단어들에 대한 평균 감성 지수를 가져올 수 있다.In the case of user 1, the user may log in and access the emotional augmentation memory service system, and image 1 may be selected by user 1 from among image lists provided to user 1. When the user 1 selects the image 1, the object information management unit 400 receives the tags (A, B), the emotional index, and the comment for each of the objects as information about the two objects included in the image 1 and the respective objects. Can be. When the user 1 selects the object having the tag A, the emotional association dictionary manager 500 searches the emotional association dictionary 511 of the user 1 in the emotional association dictionary DB 510. As a result of the search, the associative words C, D, and E registered by the user 1 with respect to the tag A, and the average emotional index for each associative words may be obtained. When the user 1 selects D among the associative words of the tag A, the SNS manager 300 searches the SNS image DB 310 and has a tag D and an average emotional index similar to the average emotional index of D. Images can be retrieved and retrieved. The emotional augmented memory service system may receive an image 2 selected from images retrieved from the user 1, where the image 2 corresponds to the user 1's photo. When the image 2 is selected from the user 1, the tag information D, F, and the emotional index of each of the objects as information about the two objects and the respective objects included in the image 2 from the object information management unit 400, and Comments may be provided. When the user 1 selects the object having the tag F, the emotional association dictionary manager 500 may search for the emotional association dictionary 511 of the user 1 in the emotional association dictionary DB 510. As a result of the search, the association word G, H, I registered by the user 1 with respect to the tag F, and the average emotional index for each association word may be brought.

사용자 2의 경우, 감성 증강기억 서비스 시스템에 로그인하여 접속되며, 사용자 2에게 제공된 이미지 목록들 중에서 사용자 2에 의해 이미지 1이 선택될 수 있다. 사용자 2로부터 이미지 1을 선택받은 경우, SNS 관리부(300)는 검색을 통해 이미지 1의 소유자가 사용자 1에 해당한다는 정보를 제공할 수 있다. 사용자 2는 사진에서 태그(A,B)가 달린 물체가 어떤 것들인지 볼 수는 있지만, 이미지 1의 소유자가 아니기 때문에 사용자 1이 등록한 감성 지수 및 코멘트를 제공받지 못할 수 있다. 또한, 사용자 2가 사용자 1과 동일하게 태그 A를 선택하더라도, 감성 연상 사전 관리부(500)는 감성 연상 사전 DB(510)에서 사용자 2의 감성 연상 사전(512)을 검색할 것이다. 따라서, 검색 결과, 사용자 1의 감성 연상 사전(511)에 저장된 내용과 다르게 태그 A에 대하여 사용자 2가 등록한 연상 단어 J,K,L 및 각각의 연상 단어들에 대한 평균 감성 지수를 사용자 2에 제공할 수 있다. 사용자 2로부터 태그 A의 연상 단어들 중 K를 선택받으면, SNS 관리부(300)는 SNS 이미지 DB(310)를 검색하여, K라는 태그를 가지고 있고, K의 평균 감성 지수와 유사한 평균 감성 지수를 갖는 이미지를 검색하여 불러온다. 또한, 사용자 2는 검색된 이미지 목록 중에서, 사용자 2와 일정 관계가 형성되어 있는 사용자 3의 사진을 볼 수 있다.In the case of the user 2, the user may log in and access the emotional augmentation memory service system, and the image 1 may be selected by the user 2 from the list of images provided to the user 2. When the image 1 is selected from the user 2, the SNS manager 300 may provide information indicating that the owner of the image 1 corresponds to the user 1 by searching. User 2 can see what objects are tagged (A, B) in the picture, but because he is not the owner of image 1, he may not be able to receive the sentiment index and comments registered by User 1. In addition, even if the user 2 selects the tag A in the same manner as the user 1, the emotional association dictionary manager 500 may search for the emotional association dictionary 512 of the user 2 in the emotional association dictionary DB 510. Accordingly, as a result of the search, unlike the contents stored in the emotional association dictionary 511 of the user 1, the user 2 is provided with the associative words J, K, L registered by the user 2 with respect to the tag A, and an average emotional index for each association word. can do. When user K selects K among the associative words of tag A, SNS manager 300 searches SNS image DB 310, has a tag of K, and has an average emotional index similar to the average emotional index of K. Retrieve and retrieve an image. In addition, the user 2 may view a picture of the user 3 having a certain relationship with the user 2 in the searched image list.

도 4는 본 발명의 실시예에 따른 감성 증강기억 서비스 제공 방법을 나타내는 순서도이다.4 is a flowchart illustrating a method for providing emotional augmented memory service according to an exemplary embodiment of the present invention.

도 4를 참조하면, 감성 증강기억 서비스 시스템은 사용자(600)로부터 이미지 및 이미지에 포함되는 물체 정보를 등록받는다(S410). 일 예로서, 물체 정보는 태그, 감성지수 또는 코멘트를 포함할 수 있다. 사용자(600)는 사용자 인터페이스부(100)를 통해 이미지를 최초로 시스템에 등록하는 경우, 정보 구성부(200)는 사용자(600)로부터 이미지를 수신하여 SNS 관리부(300)에 전달하여 SNS 이미지 DB(310)에 이미지를 등록하고, 이미지에 포함된 물체에 대한 정보를 수신하여 물체 정보 관리부(400)에 전달하여 물체 정보 DB(410)에 물체에 대한 정보를 등록할 수 있다. 또한, 정보 구성부(200)는 사용자(600)로부터 이미지에 포함된 물체의 태그에 대한 연상 단어를 수신하여 감성 연상 사전 관리부(500)에 전달할 수 있다. 여기에서, 감성 연상 사전 DB(510)에는 물체의 태그에 대한 연상 단어 및 평균 감성 지수를 저장하는 것을 포함할 수 있다.사용자(600)로부터 지정한 태그에 대하여 연상 단어의 부가 또는 수정을 요청받을 수 있고, 감성 연상 사전 관리부(500)는 감성 연상 사전 DB(510)에서 개인별 감성 연상 사전을 검색하여 수정할 수 있다. Referring to FIG. 4, the emotion augmented memory service system receives an image and object information included in the image from the user 600 (S410). As an example, the object information may include a tag, an emotion index, or a comment. When the user 600 registers the image to the system for the first time through the user interface unit 100, the information configuration unit 200 receives the image from the user 600 and transmits the image to the SNS management unit 300 to transmit the SNS image DB ( The image may be registered in 310, and may receive information about an object included in the image and transmit the information to the object information manager 400 to register information about the object in the object information DB 410. In addition, the information configuration unit 200 may receive the association word for the tag of the object included in the image from the user 600 and transmit it to the emotional association dictionary management unit 500. In this case, the emotional association dictionary DB 510 may include storing an association word and an average emotional index for the tag of the object. The user 600 may be requested to add or modify the association word with respect to a tag designated by the user 600. In addition, the emotional association dictionary management unit 500 may search for and modify an individual emotional association dictionary from the emotional association dictionary DB 510.

감성 증강기억 서비스 시스템이 사용자(600)와 접속된 경우, 물체에 대한 정보를 저장하고 있는 이미지의 목록을 제공한다(S420). 보다 상세하게는, 사용자(600)가 로그인한 경우, SNS 이미지 DB(310)에 저장되어 있고, 물체 정보 DB(410) 및 감성 연상 사전 DB(510)에 물체에 대한 정보가 저장되어 있는 이미지의 목록을 사용자(600)에게 제공할 수 있다. 일 예로서, 사용자(600)에게 제공되는 이미지 목록들은 사용자(600)와 일정한 관계에 있는 사람이 소유자인 이미지들에 해당할 수 있다.When the emotional augmented memory service system is connected to the user 600, a list of images that store information about an object is provided (S420). More specifically, when the user 600 is logged in, the image of the image stored in the SNS image DB 310, the information on the object is stored in the object information DB 410 and the emotional association dictionary DB 510 The list may be provided to the user 600. As an example, the image lists provided to the user 600 may correspond to images whose owner is the person who has a certain relationship with the user 600.

감성 증강기억 서비스 시스템은 사용자(600)로부터 이미지를 선택받고, 이미지에 포함된 물체들에 대한 정보를 제공한다(S430). 보다 상세하게는, 사용자(600)로부터 선택받은 이미지를 SNS 관리부(300)가 SNS 이미지 DB(310)에서 이미지의 소유자를 검색하여, 이미지 소유자에 대한 정보를 제공한다. 물체 정보 관리부(400)는 이미지가 포함하고 있는 물체에 대한 정보를 검색하여 사용자(600)에게 제공할 수 있다. 이미지가 포함하고 있는 물체는 하나 또는 그 이상일 수 있다. 물체에 대한 정보는 태그, 위치 또는 감성지수를 포함할 수 있다.The emotional augmented memory service system receives an image from the user 600 and provides information on objects included in the image (S430). In more detail, the SNS management unit 300 searches for the owner of the image in the SNS image DB 310 of the image selected by the user 600, and provides information on the image owner. The object information manager 400 may search for information on an object included in the image and provide the same to the user 600. There may be one or more objects in the image. Information about the object may include a tag, a location or an emotional index.

감성 증강기억 서비스 시스템은 사용자(600)로부터 물체를 선택받고, 선택받은 물체에 대한 사용자(600)의 등록된 연상 단어들 및 각 연상 단어의 평균 감성 지수를 제공한다(S440). 사용자(600)로부터 물체를 선택받는 것은, 물체에 대한 태그를 선택받는 것을 포함할 수 있다. 보다 상세하게는, 사용자(600)로부터 선택받은 물체의 태그를 감성 연상 사전 관리부(500)가 감성 연상 사전 DB(510)에서 검색하여 연상 단어 또는 평균 감성 지수를 제공할 수 있다. 여기에서, 감성 연상 사전은 개인별로 존재할 수 있다. 평균 감성 지수는 사용자(600)가 입력한 여러 장의 이미지에 같은 태그의 물체가 있을 경우, 태그에 대한 감성 지수의 평균을 의미한다. The emotional augmentation memory service system selects an object from the user 600, and provides the user's 600 registered associative words and the average emotional index of each associative word with respect to the selected object (S440). Selecting an object from the user 600 may include selecting a tag for the object. In more detail, the emotional association dictionary management unit 500 may search for the tag of the object selected by the user 600 in the emotional association dictionary DB 510 to provide an association word or an average emotional index. Here, the emotional association dictionary may exist for each individual. The average emotional index means an average of the emotional index for the tag when there are objects of the same tag in multiple images input by the user 600.

감성 증강기억 서비스 시스템은 사용자로부터 연상 단어들 중 하나를 선택받고, 선택받은 연상 단어를 태그 형태로 포함하는 이미지 목록을 SNS 이미지 DB에서 검색하여 사용자에게 제공한다(S450). 보다 상세하게는, 사용자(600)로부터 연상 단어들 중 하나를 선택받은 경우, 물체 정보 관리부(400)는 연상 단어가 태그 형태로 되어 있고 평균 감성지수가 비슷한 이미지의 아이디를 검색한다. 사용자(600)로부터 선택받은 연상 단어가 태그 형태로 등록되어 있는 이미지의 아이디를 SNS 관리부(200)가 전달받아 해당 이미지를 검색한다. 검색된 이미지들 중에서 평균 감성 지수가 사용자(600)와 유사한 순위로 목록을 정하여 이미지 소유자의 정보와 함께 사용자(600)에게 제공될 수 있다. 여기에서, 사용자(600)에 제공된 이미지의 소유자는 사용자(600)와 일정 관계에 있는 사람에 해당할 수 있다.The emotional augmented memory service system selects one of the associative words from the user and provides the user with a list of images including the selected associative words in a tag form in the SNS image DB (S450). More specifically, when one of the associative words is selected by the user 600, the object information management unit 400 searches for an ID of an image in which the associative word is in a tag form and the average emotional index is similar. The SNS management unit 200 receives the ID of the image in which the associative word selected from the user 600 is registered in the form of a tag, and searches for the corresponding image. Among the retrieved images, the average emotional index may be listed in a ranking similar to that of the user 600 and may be provided to the user 600 along with the information of the image owner. Here, the owner of the image provided to the user 600 may correspond to a person having a certain relationship with the user 600.

이미지들이 사용자(600)에게 제공될 경우, S430 내지 S450 단계는 반복되어 수행될 수 있다. S430 내지 S450 단계가 반복되어 수행되면서 사용자(600)는 특정 물체에 대하여 연상되는 기억과 또 다른 기억을 제공받을 수 있다.When the images are provided to the user 600, the steps S430 to S450 may be repeated. As steps S430 to S450 are repeatedly performed, the user 600 may be provided with another memory and a memory associated with a specific object.

도 5는 본 발명의 일 실시예에 따른 감성 증강기억 서비스 제공 방법을 나타내는 순서도이다.5 is a flowchart illustrating a method for providing emotional augmented memory service according to an embodiment of the present invention.

도 5를 참조하면, 감성 증강기억 서비스 시스템을 이용하기 이전에 먼저 사용자에 의해 이미지가 업로드 되고 정보를 입력받거나, SNS에 저장되어 있는 이미지의 정보가 입력될 것이 요구될 수 있다. 사용자(600)에 의해 감성 증강기억 서비스 시스템의 각 관리자별 DB 즉 SNS 이미지 DB(310), 물체 정보 관리 DB(410), 감성 연상 사전 DB(510)가 구축된 상태에서 사용자(600)는 서비스를 이용할 수 있다.Referring to FIG. 5, before using an emotional augmentation memory service system, an image may be uploaded and received by a user, or information of an image stored in an SNS may be input. In the state in which the DB for each administrator of the emotional augmented memory service system by the user 600, that is, the SNS image DB 310, the object information management DB 410, and the emotional association dictionary DB 510 is constructed, the user 600 provides a service. Can be used.

사용자(600)는 사용자 인터페이스부(100)를 통해 로그인함으로써 감성 증강기억 서비스 시스템의 이용이 시작된다(S502). 사용자(600)는 SNS 관리부(300)에 대하여 전체 이미지 목록을 요청할 수 있다(S504). SNS 관리부(300)는 SNS 이미지 DB(310)에서 전체 이미지 목록을 검색하여, 정보 구성부(200)에 이미지 목록을 전달한다(S506). 정보 구성부(200)는 수신한 이미지 목록을 사용자 인터페이스부(100)에 전달한다(S508). 사용자(600)는 사용자 인터페이스부(100)를 통해서 이미지들 중에 하나의 이미지를 선택한다(S510). 정보 구성부(200)는 선택받은 이미지에 대하여 SNS 관리부(300)에 이미지 정보를 요청한다(S512). SNS 관리부(300)는 SNS 이미지 DB(310)를 검색하여 이미지 정보를 정보 구성부(200)에 전달한다(S514). 여기에서, 이미지 정보는 이미지의 소유자를 포함할 수 있다. 정보 구성부(200)는 물체 정보 관리부(400)에게 사용자(600)로부터 선택받은 이미지에 포함되어 있는 물체의 정보를 요청한다(S516). 여기에서, 이미지에 포함되어 있는 물체는 하나 또는 그 이상일 수 있다. 물체 정보 관리부(400)는 물체 정보 DB(410)를 검색하여 물체에 대한 정보를 정보 구성부(200)에 제공한다(S518). 여기에서 물체에 대한 정보는 이미지를 촬영한 위치, 태그 또는 감성지수를 포함할 수 있다. 정보 구성부(200)는 감성 연상 사전 관리부(500)에게 사용자(600)로부터 선택받은 이미지에 포함된 물체들의 태그에 대한 정보를 요청한다(S520). 감성 연상 사전 관리부(500)는 감성 연상 사전 DB(510)를 검색하여 태그에 대한 연상 단어 및 평균 감성 지수를 정보 구성부(200)에 전달한다(S522). 여기에서, 감성 연상 사전은 사용자별로 존재할 수 있다. 정보 구성부(200)는 SNS 관리부(300), 물체 정보 관리부(400) 및 감성 연상 사전 관리부(500)로부터 전달받은 정보를 합성하여 합성된 이미지를 사용자 인터페이스부(200)에 제공한다(S524). The user 600 starts to use the emotion augmented memory service system by logging in through the user interface unit 100 (S502). The user 600 may request the entire image list from the SNS manager 300 (S504). The SNS management unit 300 retrieves the entire image list from the SNS image DB 310 and transmits the image list to the information configuring unit 200 (S506). The information configuring unit 200 transmits the received image list to the user interface unit 100 (S508). The user 600 selects one image among the images through the user interface unit 100 (S510). The information configuring unit 200 requests image information from the SNS management unit 300 with respect to the selected image (S512). The SNS manager 300 searches for the SNS image DB 310 and transmits the image information to the information constructing unit 200 (S514). Here, the image information may include the owner of the image. The information configuring unit 200 requests the object information managing unit 400 for information on an object included in the image selected by the user 600 (S516). Here, the object included in the image may be one or more. The object information manager 400 searches the object information DB 410 and provides information about the object to the information constructing unit 200 (S518). The information about the object may include a location, a tag, or an emotional index at which the image is captured. The information configuring unit 200 requests information on tags of objects included in the image selected from the user 600 to the emotional association dictionary management unit 500 (S520). The emotional association dictionary manager 500 searches for the emotional association dictionary DB 510 and transmits the association word and the average emotional index for the tag to the information configuration unit 200 (S522). Here, the emotional association dictionary may exist for each user. The information composition unit 200 synthesizes the information received from the SNS management unit 300, the object information management unit 400, and the emotional association dictionary management unit 500, and provides the synthesized image to the user interface unit 200 (S524). .

사용자 인터페이스부(100)는 사용자(600)로부터 이미지가 포함하는 물체들 중 하나를 선택받아 정보 구성부(200)에 전달한다(S526). 정보 구성부(200)는 각각의 관리부로부터 전달받은 정보들 중에서 사용자(600)로부터 선택받은 물체에 대한 정보 및 연상 단어를 사용자 인터페이스부(100)에 전달한다(S528). 여기에서, 물체에 대한 정보는 태그, 코멘트 또는 감성지수를 포함할 수 있다. 사용자 인터페이스부(100)는 사용자(600)로부터 선택받은 연상 단어를 정보 구성부(200)에 전달한다(S530). 정보 구성부(200)는 물체 정보 관리부(400)에 연상 단어가 태그 형태로 되어 있고 평균 감성지수가 비슷한 이미지 아이디를 검색한다(S532). 평균 감성 지수는 사용자(600)가 입력한 여러 장의 이미지에 같은 태그의 물체가 있을 경우, 태그에 대한 감성 지수의 평균을 의미한다. 물체 정보 관리부(400)는 물체 정보 DB(410)를 검색하여 사용자(600)가 선택한 연상 단어가 태그 형태로 등록되어 있는 이미지의 아이디를 검색하여 정보 구성부(200)에 전달한다(S534). 정보 구성부(200)는 물체 정보 관리부(400)로부터 수신한 이미지의 아이디를 SNS 관리부(300)에서 검색한다(S536). SNS 관리부(300)는 SNS 이미지 DB(310)에서 이미지 아이디로 이미지를 검색하여 이미지 및 이미지 소유자의 목록을 정보 구성부(200)로 전달한다(S538). 정보 구성부(200)는 사용자(600)가 선택한 연상 단어가 태그 형태로 등록되어 있는 이미지를 평균 감성 지수가 유사한 순위로 목록을 정하여 소유자의 정보와 함께 사용자 인터페이스부(100)에 제공한다(S540). 여기에서, 사용자(100)에게 제공되는 이미지의 소유자들은 사용자(100)와 관계가 있는 사람일 수 있다. 사용자(600)가 제공되는 이미지 목록 중에서 특정 이미지를 선택하면, S512 내지 S540의 단계가 반복되어 수행될 수 있고, 사용자(600)는 특정 물체에 대하여 연상되는 또 다른 기억을 제공받을 수 있다.The user interface unit 100 receives one of the objects included in the image from the user 600 and transmits the selected object to the information constructing unit 200 (S526). The information configuring unit 200 transmits the information and the associative word about the object selected from the user 600 among the information received from each management unit to the user interface unit 100 (S528). Here, the information about the object may include a tag, a comment, or an emotional index. The user interface unit 100 transmits the association word selected by the user 600 to the information constructing unit 200 (S530). The information configuring unit 200 searches for an image ID having an associative word in the form of a tag in the object information managing unit 400 and having an average emotional index (S532). The average emotional index means an average of the emotional index for the tag when there are objects of the same tag in multiple images input by the user 600. The object information management unit 400 searches for the object information DB 410 and retrieves the ID of the image in which the associative word selected by the user 600 is registered in the form of a tag and transmits the ID to the information configuration unit 200 (S534). The information configuring unit 200 retrieves the ID of the image received from the object information managing unit 400 in the SNS managing unit 300 (S536). The SNS management unit 300 searches for an image by the image ID in the SNS image DB 310 and transmits a list of images and image owners to the information configuration unit 200 (S538). The information configuring unit 200 sets an image in which the associative word selected by the user 600 is registered in the form of a tag in a ranking having a similar average emotional index and provides the user interface unit 100 with the owner's information (S540). ). Here, the owners of the image provided to the user 100 may be a person who has a relationship with the user 100. When the user 600 selects a specific image from the list of images provided, the steps S512 to S540 may be repeated, and the user 600 may be provided with another memory associated with the specific object.

도 6은 본 발명의 일 실시예에 따른 감성 증강기억 서비스를 사용하는 예를 나타내는 도면이다.6 is a diagram illustrating an example of using an emotional augmented memory service according to an embodiment of the present invention.

도 6a는 감성 증강기억 서비스 시스템에서 사용자 입력 화면을 나타낸다. 화면에서, 왼쪽 하단에 이미지 전체에 대한 정보를 입력하고 왼쪽 상단에 이미지에 영역으로 물체를 지정한 뒤 오른쪽 상단에 지정한 물체에 대한 정보를 입력할 수 있다. 이미지 전체에 대한 정보는 날짜, 코멘트 또는 태그를 포함할 수 있다. 물체에 대한 정보는 태그, 감성지수 또는 코멘트를 포함할 수 있다. 사용자 1은 입력하는 감성 지수와 코멘트를 비공개로 선택할 수 있다. 오른쪽 하단에는 입력한 태그에 대한 사용자 1의 연상 단어를 입력할 수 있다. 도 6a에는 이미 하나의 물체가 등록되어 있는 상황에서 '새우'라는 물체를 추가로 등록하는 모습을 보여준다.6A illustrates a user input screen in the emotional augmented memory service system. On the screen, you can enter information about the entire image in the lower left, specify an object as an area on the image in the upper left, and enter information about the specified object in the upper right. Information about the entire image may include a date, a comment or a tag. Information about the object may include a tag, an emotional index or a comment. The user 1 may privately select the emotion index and the comment to be input. In the lower right corner, you can enter the user's 1 association word for the entered tag. 6A shows an additional registration of an object called 'shrimp' in a situation in which one object is already registered.

도 6b는 감성 증강기억 서비스 시스템에서 로그인한 상태를 나타낸다. 사용자 1이 시스템에 로그인하여 자신이 입력한 이미지의 정보와 태그, 감성 지수 및 연상 단어가 합성된 화면을 제공받을 수 있다. 도 6c에서는 '새우'가 선택되어 있고 물체에 대한 태그에 '새우'가 입력되어 있으며 감성지수, 코멘트 및 연상 단어를 볼 수 있다. Figure 6b shows a state of login in the emotional augmented memory service system. The user 1 may log in to the system and receive a screen in which information of an image input by the user, a tag, an emotion index, and an association word are synthesized. In FIG. 6C, 'shrimp' is selected, 'shrimp' is input to a tag for an object, and an emotional index, a comment, and an association word can be viewed.

도 6c는 도 6b에서 사용자 1이 '새우'에 대한 연상 단어 중 '꽃게'를 선택한 경우를 나타낸다. 사용자 1이 '꽃게'를 선택하면 화면의 오른쪽 위와 같이 '꽃게'로 등록되어 있는 물체 태그에 대한 평균 감성지수를 보여준다. 또한, 오른쪽 중앙과 같이 SNS 이미지 DB(310)에서 '꽃게'라는 태그를 가지고 있으며 비슷한 감성지수를 가지고 있는 사진들의 목록을 제공해 줄 수 있다. 제공된 사진 목록은 각 사진의 소유자를 보여주며, 각 사진의 소유자는 사용자 1과 일정한 관계에 있는 사람일 수 있다.FIG. 6C illustrates a case in which user 1 selects 'crab' among associative words for 'shrimp' in FIG. 6B. When user 1 selects 'crab', it shows the average emotional index of the object tag registered as 'crab' as shown in the upper right of the screen. In addition, as shown in the right center, the SNS image DB 310 may provide a list of photos having a tag of 'crab' and having a similar emotional index. The list of photos provided shows the owner of each photo, and the owner of each photo may be a person who has a certain relationship with User1.

도 6d는 사용자 1이 검색한 이미지들 중에서 자신이 소유한 사진을 선택한 경우를 나타낸다. 사용자 1이 SNS 이미지 DB(310)에서 검색하여 제공된 이미지들 중 사용자 1이 소유하고 있는 이미지를 선택했을 때, 해당 이미지를 보여주고 이미지 내의 등록된 물체 정보를 보여줄 수 있다. 도 6d에서는 '꽃게'에 해당되는 부분을 사용자가 선택할 경우, 현재 이미지에서 선택된 태그 '꽃게'에 대한 사용자 1의 감성 지수와 연상 단어를 보여주어 사용자 1의 기억을 증강시켜 줄 수 있다.FIG. 6D illustrates a case in which the user 1 selects a photo owned from among the images searched by the user. When the user 1 selects an image owned by the user 1 from among the provided images by searching in the SNS image DB 310, the user 1 may display the corresponding image and may display the registered object information in the image. In FIG. 6D, when the user selects a portion corresponding to 'crab', the user's memory may be enhanced by showing the user's emotional index and the association word with respect to the selected tag 'crab' in the current image.

도 6e는 감성 증강기억 서비스 시스템에서 사용자 2가 사용자 1의 이미지 및 정보를 확인하는 것을 나타낸다. 도 6e에서 사용자 2는 로그인하여 사용자 1의 이미지를 보고 있는 화면으로서, 기본적인 이미지 전체에 대한 정보는 볼 수 있으나, 물체에 대한 감성 지수 및 코멘트는 이미지 소유자가 비공개로 등록하였기 때문에 볼 수 없다. 사용자 1이 소유자인 이미지에서 '새우'에 대한 감성 지수가 사용자 2에게는 공개되지 않지만 태그와 평균 감성지수를 이용하여 검색을 수행할 때에는 SNS 이미지 DB(310)에서 정보를 읽어올 수 있다. 다만, 물체에 대한 태그는 이미지 검색에 이용되어야 하므로 공개될 수 있다. 사용자 1의 경우에는 태그 '새우'에 대한 연상 단어가 '알레르기','꽃게','통새우피자'였으나, 사용자 2에게는 '남당항','대하축제','새우탕'이 연상 단어로 보여진다. 사용자 1과 사용자 2는 별도의 감성 연상 사전을 가지고 있으며, 사용자 1과 사용자 2가 물체 '새우'에 대하여 서로 다른 기억과 감성을 가질 수 있기 때문이다.
6E shows that the user 2 checks the image and information of the user 1 in the emotional augmented memory service system. In FIG. 6E, the user 2 logs in to view the image of the user 1, and may view information on the entire basic image, but the emotion index and comment on the object cannot be viewed because the image owner has registered privately. Although the sensitivity index for 'shrimp' is not disclosed to the user 2 in the image of which the user 1 is the owner, information may be read from the SNS image DB 310 when performing a search using a tag and an average emotional index. However, the tag for the object may be made public since it should be used for image retrieval. In the case of User 1, the association words for the tag 'shrimp' were 'allergy', 'crab', and 'shrimp pizza'. This is because User 1 and User 2 have separate emotional associations, and User 1 and User 2 may have different memories and emotions about the object 'shrimp'.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

100 : 사용자 인터페이스부 200 : 정보 구성부
300 : SNS 관리부 310 : SNS 이미지 DB
400 : 물체 정보 관리부 410 : 물체 정보 DB
500 : 감성 연상 사전 관리부 510 : 감성 연상 사전 DB
600 : 사용자100: user interface unit 200: information configuration unit
300: SNS management unit 310: SNS image DB
400: object information management unit 410: object information DB
500: emotional association dictionary management unit 510: emotional association dictionary DB
600: user

Claims (19)

감성 증강기억 서비스 시스템에 접속한 사용자로부터 이미지를 선택받고, 물체 정보 관리부에서 검색된 상기 선택받은 이미지에 포함된 물체들에 대한 정보가 제공되는 단계;
상기 물체들 중 하나를 상기 사용자로부터 선택받고, 상기 선택받은 물체에 대하여 감성 연상 사전 관리부에서 검색된 상기 사용자의 등록된 연상 단어들이 제공되는 단계; 및
상기 연상 단어들 중 하나를 상기 사용자로부터 선택받고, 상기 선택받은 연상 단어를 SNS 관리부가 태그 형태로 포함하는 이미지의 목록을 검색하여 상기 사용자에게 제공하는 단계를 포함하되,
상기 이미지에 포함된 물체들에 대한 정보가 제공되는 단계는
상기 물체 정보 관리부가 상기 이미지에 포함된 물체들에 대한 태그들, 상기 각 태그에 대하여 상응하는 연상 단어들 및 평균 감성 지수들을 검색하는 단계; 및
상기 물체 정보 관리부가 상기 이미지에 포함된 물체들에 대한 태그들, 상기 각 태그에 대하여 상응하는 연상 단어들 및 평균 감성 지수들을 사용자에게 제공하는 단계를 포함하고,
상기 이미지 목록을 검색하여 상기 사용자에게 제공하는 단계는 평균 감성 지수가 유사한 이미지를 검색하여 상기 사용자에게 제공하는 것을 특징으로 하고,
상기 물체에 대한 정보가 제공되는 단계 전에 상기 물체 정보 관리부가 상기 이미지 및 상기 이미지에 포함되는 물체들에 대한 정보를 등록하는 단계를 더 포함하며, 상기 물체들에 대한 정보는 연상 단어, 감성 지수 또는 코멘트를 포함하는 감성 증강기억 제공 서비스 방법.Receiving an image from a user connected to the emotional augmentation memory service system, and providing information on objects included in the selected image searched by an object information manager;
Selecting one of the objects from the user and providing the registered associative words of the user searched by the emotional association dictionary manager for the selected object; And
Receiving one of the associative words from the user, and searching the list of images including the selected associative words in the form of a tag to the user;
Providing information about the objects included in the image
Retrieving, by the object information manager, tags for objects included in the image, corresponding association words and average emotional indexes for each tag; And
Providing, by the object information manager, to the user tags for objects included in the image, corresponding association words and average emotional indexes for each tag,
The searching and providing the list of images to the user may include searching for an image having a similar average emotional index and providing the same to the user.
And before the information on the object is provided, the object information manager registers information on the image and the objects included in the image, wherein the information on the objects may include associative words, emotional indexes, or the like. Emotional memory providing service method comprising a comment. 제 1 항에 있어서,
상기 물체들에 대한 정보가 제공되는 단계는
정보 구성부가 물체에 대한 정보를 저장하고 있는 이미지의 목록을 제공하는 단계를 더 포함하는 감성 증강기억 서비스 제공 방법.The method of claim 1,
Providing information about the objects
And providing a list of images in which the information component stores information about the object. 제 1 항에 있어서, 상기 물체들에 대한 정보는
상기 물체들에 대한 태그 및 상기 태그의 감성 지수를 포함하는 감성 증강기억 서비스 제공 방법.The method of claim 1, wherein the information about the objects
Emotional augmented memory service providing method comprising a tag for the object and the emotional index of the tag. 삭제delete 제 1 항에 있어서, 상기 이미지는
사진 이미지인 감성 증강기억 서비스 제공 방법.The method of claim 1, wherein the image is
Method of providing emotional augmented memory service that is a photographic image. 삭제delete 삭제delete 제 1 항에 있어서,
상기 물체에 대한 정보가 제공되는 단계 전에
상기 물체 정보 관리부가 상기 물체들에 대한 정보를 부가 또는 수정하는 단계를 더 포함하는 감성 증강기억 제공 서비스 방법.The method of claim 1,
Before the step of providing information about the object
And adding or modifying information about the objects by the object information manager. 제 8 항에 있어서,
상기 물체들에 대한 정보는 연상 단어, 감성 지수 또는 코멘트를 포함하는 감성 증강기억 서비스 제공 방법.The method of claim 8,
The information on the object comprises a word association, emotional index, or comments to provide emotional memory service. 사용자로부터 선택받은 이미지를 SNS 이미지 DB에서 검색하는 SNS 관리부;
상기 선택받은 이미지에 포함된 물체들에 대한 정보를 물체 정보 DB에서 검색하는 물체 정보 관리부;
상기 물체들에 대한 상기 사용자의 등록된 연상 단어들을 감성 연상 사전 DB에서 검색하는 감성 연상 사전 관리부;
상기 사용자로부터 상기 이미지에 포함된 물체들 중 하나를 선택받고, 상기 사용자로부터 상기 검색된 물체들에 대한 정보들 중 하나를 선택받고, 상기 사용자로부터 연상 단어를 선택받는 사용자 인터페이스부; 및
상기 선택받은 물체에 대한 정보, 상기 검색된 연상 단어를 상기 사용자에게 제공하는 정보 구성부를 포함하고,
상기 SNS 관리부는 상기 선택받은 연상 단어를 태그 형태로 포함하는 이미지의 목록을 검색하며,
상기 물체 정보 관리부는 상기 이미지에 포함된 물체들에 대한 태그들 및 상기 각 태그에 대하여 상응하는 연상 단어들 및 평균 감성 지수들을 상기 사용자에 대한 감성 연상 사전 데이터베이스에서 검색하고, 상기 이미지에 포함된 물체들에 대한 태그들 및 상기 각 태그에 대하여 상응하는 연상 단어들 및 평균 감성 지수들을 사용자에게 제공하는 것을 포함하고,
상기 SNS 관리부는 평균 감성 지수가 유사한 이미지를 검색하는 것을 특징으로 하고,
상기 물체 정보 관리부는 상기 이미지 및 상기 이미지에 포함되는 물체에 대한 정보를 등록하는 것을 더 포함하고, 상기 물체에 대한 정보는 연상 단어, 감성 지수 또는 코멘트를 포함하는 감성 증강기억 서비스 시스템.An SNS management unit searching for an image selected by a user in an SNS image DB;
An object information manager to search for information on objects included in the selected image in an object information DB;
An emotional association dictionary manager for searching for an association association word of the user with respect to the objects in an emotional association dictionary DB;
A user interface unit for selecting one of the objects included in the image from the user, selecting one of the information on the searched objects from the user, and selecting an associative word from the user; And
An information constructing unit for providing the user with information about the selected object and the searched associative word;
The SNS manager retrieves a list of images including the selected associative words in a tag form,
The object information manager retrieves tags for objects included in the image, corresponding words and average emotional indexes for each tag in the emotional association dictionary database for the user, and includes an object included in the image. For the user and tags for each tag and corresponding associative words and average sentiment index for each tag,
The SNS management unit is characterized in that for searching for an image similar in average emotional index,
The object information management unit may further include registering information about the image and an object included in the image, wherein the information about the object includes an associative word, an emotional index, or a comment. 제 10 항에 있어서,
상기 정보 구성부는
상기 사용자와 접속되면, 물체에 대한 정보를 저장하고 있는 이미지의 목록을 제공하는 것을 더 포함하는 감성 증강기억 서비스 시스템.11. The method of claim 10,
The information configuration unit
And, when connected with the user, providing a list of images that store information about an object. 제 10 항에 있어서, 상기 물체들에 대한 정보는
상기 물체들에 대한 태그 및 상기 태그의 감성 지수를 포함하는 감성 증강기억 서비스 시스템.The method of claim 10, wherein the information about the objects
Emotional augmented memory service system including a tag for the object and the emotional index of the tag. 제 10 항에 있어서,
상기 물체 정보 관리부는
상기 이미지에 포함된 물체들에 대한 태그들 및 상기 각 태그에 대하여 상응하는 연상 단어들 및 평균 감성 지수들을 상기 사용자에 대한 감성 연상 사전 데이터베이스에서 검색하고, 상기 이미지에 포함된 물체들에 대한 태그들 및 상기 각 태그에 대하여 상응하는 연상 단어들 및 평균 감성 지수들을 사용자에게 제공하는 것을 포함하는 감성 증강기억 서비스 시스템. 11. The method of claim 10,
The object information management unit
Tags for objects included in the image and corresponding associative words and average sentiment index for each tag are retrieved from the emotional association dictionary database for the user, and tags for objects included in the image And providing the user with corresponding associative words and average sentiment index for each tag. 제 10 항에 있어서, 상기 이미지는
사진 이미지인 감성 증강기억 서비스 시스템.The method of claim 10, wherein the image is
Emotional memory service system that is a photographic image. 제 10 항에 있어서, 상기 물체 정보 관리부는
상기 이미지 및 상기 이미지에 포함되는 물체에 대한 정보를 등록하는 것을 더 포함하는 감성 증강기억 서비스 시스템.The method of claim 10, wherein the object information management unit
Emotional augmented memory service system further comprising registering the information on the image and the object included in the image. 제 15 항에 있어서,
상기 물체에 대한 정보는 연상 단어, 감성 지수 또는 코멘트를 포함하는 감성 증강기억 서비스 시스템.The method of claim 15,
The information on the object emotional reinforcement memory service system comprising an associative word, emotional index or comment. 제 10 항에 있어서, 상기 물체 정보 관리부는
상기 물체들에 대한 정보를 부가 또는 수정하는 것을 더 포함하는 감성 증강기억 서비스 시스템.The method of claim 10, wherein the object information management unit
Emotional augmented memory service system further comprising adding or modifying information about the objects. 제 17 항에 있어서,
상기 물체에 대한 정보는 연상 단어, 감성 지수 또는 코멘트를 포함하는 감성 증강기억 서비스 시스템.The method of claim 17,
The information on the object emotional reinforcement memory service system comprising an associative word, emotional index or comment. 제 10 항에 있어서,
상기 감성 연상 사전 관리부는 평균 감성 지수를 더 검색하고,
상기 정보 구성부는 상기 평균 감성 지수를 사용자에게 더 제공하는 감성 증강기억 서비스 시스템.
11. The method of claim 10,
The emotional association dictionary management unit further searches the average emotional index,
The information component is emotional augmented memory service system for providing the average emotional index to the user further.
KR1020100117292A 2010-11-24 2010-11-24 Providing method and system of emotional augmented memory service KR101143450B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100117292A KR101143450B1 (en) 2010-11-24 2010-11-24 Providing method and system of emotional augmented memory service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100117292A KR101143450B1 (en) 2010-11-24 2010-11-24 Providing method and system of emotional augmented memory service

Publications (1)

Publication Number Publication Date
KR101143450B1 true KR101143450B1 (en) 2012-05-23

Family

ID=46271653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100117292A KR101143450B1 (en) 2010-11-24 2010-11-24 Providing method and system of emotional augmented memory service

Country Status (1)

Country Link
KR (1) KR101143450B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101591158B1 (en) * 2014-01-09 2016-02-04 김광수 System and method for supporting management of members in a group

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050114759A1 (en) 2003-10-24 2005-05-26 Caringfamily, Llc Influencing communications among a social support network
US20050262527A1 (en) * 2004-04-22 2005-11-24 Fuji Xerox Co., Ltd. Information processing apparatus and information processing method
KR20090080822A (en) * 2008-01-22 2009-07-27 에스케이커뮤니케이션즈 주식회사 Method and Server for Searching Items and Constructing Database based on Sensitivity
KR20090090613A (en) * 2008-02-21 2009-08-26 주식회사 케이티 System and method for multimodal conversational mode image management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050114759A1 (en) 2003-10-24 2005-05-26 Caringfamily, Llc Influencing communications among a social support network
US20050262527A1 (en) * 2004-04-22 2005-11-24 Fuji Xerox Co., Ltd. Information processing apparatus and information processing method
KR20090080822A (en) * 2008-01-22 2009-07-27 에스케이커뮤니케이션즈 주식회사 Method and Server for Searching Items and Constructing Database based on Sensitivity
KR20090090613A (en) * 2008-02-21 2009-08-26 주식회사 케이티 System and method for multimodal conversational mode image management

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101591158B1 (en) * 2014-01-09 2016-02-04 김광수 System and method for supporting management of members in a group

Similar Documents

Publication Publication Date Title
US10423656B2 (en) Tag suggestions for images on online social networks
KR102067278B1 (en) Method and server for recommending friends, and terminal thereof
US8892987B2 (en) System and method for facilitating online social networking
WO2012137397A1 (en) Content-processing device, content-processing method, content-processing program, and integrated circuit
KR101686830B1 (en) Tag suggestions for images on online social networks
US20100070875A1 (en) Interactive profile presentation
US20080021876A1 (en) Action tags
EP2549390A1 (en) Data processing device and data processing method
KR101462348B1 (en) System and method for matching users having matter of common interest and change of talent using tag applicable to mobile messenger
WO2018150244A1 (en) Registering, auto generating and accessing unique word(s) including unique geotags
US20170097951A1 (en) Method and system for associating data from different sources to generate a person-centric space
US11232522B2 (en) Methods, systems and techniques for blending online content from multiple disparate content sources including a personal content source or a semi-personal content source
US8041738B2 (en) Strongly typed tags
US20130304538A1 (en) Consumer feedback collection system
KR20140027011A (en) Method and server for recommending friends, and terminal thereof
US20140114943A1 (en) Event search engine for web-based applications
US20160012078A1 (en) Intelligent media management system
KR101143450B1 (en) Providing method and system of emotional augmented memory service
US20170097959A1 (en) Method and system for searching in a person-centric space
US11157572B1 (en) Sharing user activity data with other users
WO2014172827A1 (en) A method and apparatus for acquaintance management and privacy protection
JP2013120548A (en) System for retrieving comment with image and program for retrieving comment with image
US20200379732A1 (en) A system and method for sorting digital images
Foot The Dutch affair
JP2022144453A (en) Individual information provision system and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180411

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 8