KR20190017606A - 온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템 - Google Patents

온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템 Download PDF

Info

Publication number
KR20190017606A
KR20190017606A KR1020170145875A KR20170145875A KR20190017606A KR 20190017606 A KR20190017606 A KR 20190017606A KR 1020170145875 A KR1020170145875 A KR 1020170145875A KR 20170145875 A KR20170145875 A KR 20170145875A KR 20190017606 A KR20190017606 A KR 20190017606A
Authority
KR
South Korea
Prior art keywords
data
social
action information
information
photo
Prior art date
Application number
KR1020170145875A
Other languages
English (en)
Other versions
KR102095622B1 (ko
Inventor
이동만
신병헌
김성실
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20190017606A publication Critical patent/KR20190017606A/ko
Application granted granted Critical
Publication of KR102095622B1 publication Critical patent/KR102095622B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2438—Embedded query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Abstract

온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 방법 및 시스템이 제시된다. 본 발명에서 제안하는 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 시스템은 사진 데이터로부터 행위 정보를 추론하기 위해 사진 데이터를 설명하는 문자열과 규격화된 행위 정보 분류 기준에 따라 결정하는 행위 정보를 학습하는 사진 및 행위 정보 학습부, 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성하는 사진 기반 행위 정보 추론부, 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성하는 문자열 기반 행위 정보 추론부 및 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정하는 소셜 데이터 기반 행위 정보 결정부를 포함한다.

Description

온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템{System and Method for Extracting Location-based Activity from Online Social Network Service Data}
본 발명은 특정 상업 공간에 방문하는 방문자들의 방문 목적과 사회적 맥락을 파악하기 위해 온라인 소셜 네트워크 서비스에서 대량 생산되는 위치기반 멀티미디어 및 문자 데이터를 분석하여 소셜 데이터가 내포하는 사회적 행위를 추론하는 방법 및 시스템에 관한 것이다.
한국공개특허 제10-2016-0090625호(2016.07.18)는 소셜 네트워크 분석과 온톨로지를 이용한 장소성 추출 시스템 및 방법에 관한 것으로, 소셜 네트워크 데이터를 분석하여 정형화/추상화된 데이터를 바탕으로 특정 장소의 사회적인 맥락을 판별한다는 점에서 본 발명의 목적과 일치하나, 이를 달성하기 위해서 소셜 데이터로부터 특정 사회적 행위 정보를 추출하는 과정이 명시되어 있지 않다. 특히 공간 내에서 발생하는 사회적 행위 정보를 높은 정확도로 판단하기 위해 멀티미디어 데이터와 텍스트를 모두 활용하여 행위 정보를 추론하는 과정이 명시되어 있지 않다.
한국등록특허 제1013703920000호(2014.02.27)는 소셜네트워크 통합 분석을 위한 다중구조 데이터 규격화 처리시스템에 관한 것으로, 텍스트로 명시되어 있는 SNS 데이터에 한정하여 데이터를 규격화 처리한다는 점에서 본 발명과 차이가 있다.
한국등록특허 제1009361980000호(2010.01.04)는 소셜 네트워크 분석 시스템에 관한 것으로, 사진과 얼굴 정보 등을 수집/활용하는 측면에서 본 발명이 대상으로 하는 데이터와 유사하나, 사진과 얼굴 정보로부터 특정 공간에 있는 사용자들의 사회적 맥락이나 행위를 추출하는 것이 아니라 사용자들 간의 관계 정보만 추출하여 인맥 네트워크 정보를 제공한다는 측면에서 본 발명의 목적을 달성할 수 없는 한계가 있다.
한국등록특허 제1015675510000호(2015.11.03)는 콘텐츠 추천을 위한 소셜 데이터 분석 시스템에 관한 것으로, 소셜 데이터의 범위가 명시되어 있지 않음에 따라 사진 및 텍스트 데이터를 모두 활용할 수 있을 것으로 예상되나, 사진 및 텍스트 데이터를 조합하여 규격화된 사회적 행위 정보를 정확하게 추론해 내기 위한 과정을 명시하지 않았으므로 본 발명의 목적을 달성하는 데 한계가 있다.
따라서 본 발명이 제시하는 멀티미디어 데이터 및 텍스트 데이터를 동시에 활용하고 데이터를 규격화하여 사회적 맥락 정보를 추출하는 기술이 제안될 필요가 있다.
본 발명이 이루고자 하는 기술적 과제는 소셜 네트워크 서비스에서 수집되는 데이터 중에서 사진과 텍스트, 메타데이터를 모두 활용하여 소셜 데이터에 내포된 사회적 맥락을 행위 정보의 형식으로 추론하기 위한 방법 및 시스템을 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 시스템은 사진 데이터로부터 행위 정보를 추론하기 위해 사진 데이터를 설명하는 문자열과 규격화된 행위 정보 분류 기준에 따라 결정하는 행위 정보를 학습하는 사진 및 행위 정보 학습부, 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성하는 사진 기반 행위 정보 추론부, 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성하는 문자열 기반 행위 정보 추론부 및 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정하는 소셜 데이터 기반 행위 정보 결정부를 포함한다.
상기 사진 기반 행위 정보 추론부는 온라인 소셜 네트워크 서비스에서 장소 방문과 관련된 데이터를 네트워크를 통해 수집하고, 분류한 사진 데이터, 문자열 데이터, SNS 메타데이터 중 사진 데이터와 사진 및 행위 정보 학습부를 통해 학습된 학습 데이터를 조합하여 사진 기반 행위 정보를 추론한다.
상기 문자열 기반 행위 정보 추론부는 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하기 위해 사회적 행위 분류와 각 분류 별 연관성 단어의 집합을 구성하는 사회적 행위-SNS 단어 연관성 워드백을 구성한다.
소셜 데이터 기반 행위 정보 결정부는 온라인 소셜 네트워크 서비스에서 장소 방문과 관련된 데이터를 네트워크를 통해 수집하고, 분류한 사진 데이터, 문자열 데이터, SNS 메타데이터 중 문자열 데이터와 사회적 행위-SNS 단어 연관성 워드백을 조합하여 사회적 행위 정보를 추론한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 방법은 사진 데이터로부터 행위 정보를 추론하기 위해 사진 및 행위 정보 학습부를 통해 사진 데이터를 설명하는 문자열과 규격화된 행위 정보 분류 기준에 따라 결정하는 행위 정보를 학습하는 단계, 사진 기반 행위 정보 추론부를 통해 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성하는 단계, 문자열 기반 행위 정보 추론부를 통해 상기 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성하는 단계 및 소셜 데이터 기반 행위 정보 결정부를 통해 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정하는 단계를 포함한다.
상기 사진 기반 행위 정보 추론부를 통해 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성하는 단계는 온라인 소셜 네트워크 서비스에서 장소 방문과 관련된 데이터를 네트워크를 통해 수집하고, 분류한 사진 데이터, 문자열 데이터, SNS 메타데이터 중 사진 데이터와 사진 및 행위 정보 학습부를 통해 학습된 학습 데이터를 조합하여 사진 기반 행위 정보를 추론한다.
상기 문자열 기반 행위 정보 추론부를 통해 상기 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성하는 단계는 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하기 위해 사회적 행위 분류와 각 분류 별 연관성 단어의 집합을 구성하는 사회적 행위-SNS 단어 연관성 워드백을 구성한다.
소셜 데이터 기반 행위 정보 결정부를 통해 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정하는 단계는 온라인 소셜 네트워크 서비스에서 장소 방문과 관련된 데이터를 네트워크를 통해 수집하고, 분류한 사진 데이터, 문자열 데이터, SNS 메타데이터 중 문자열 데이터와 사회적 행위-SNS 단어 연관성 워드백을 조합하여 사회적 행위 정보를 추론한다.
본 발명의 실시예들에 따르면 특정 상업 공간에 방문하는 방문자들의 방문 목적과 사회적 맥락을 파악하기 위해 온라인 소셜 네트워크 서비스에서 대량 생산되는 위치기반 멀티미디어 및 문자 데이터를 분석하여 소셜 데이터가 내포하는 사회적 행위를 추론할 수 있다. 또한, 본 발명은 소셜 데이터로부터 사회적 맥락에 따른 대중의 장소 방문 패턴과 선호도 변화를 파악하여 이에 따라 특정 장소를 추천하거나 장소 내의 특정 콘텐츠 소비를 촉진하는 쿠폰 발행 등의 광고에 활용할 수 있다. 따라서 소셜 커머스 및 위치기반 쿠폰 발행 서비스 등을 제공하는 사업 분야에 모두 적용 가능하다. 뿐만 아니라, 본 발명은 기존의 위치기반 장소 검색 및 추천 서비스의 검색 수준을 향상시키고, 도시공간에서 방문자들의 장소 방문 트렌드 변화에 따라 자동으로 장소 추천을 변화시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 소셜 데이터 기반 행위 정보 추론 과정을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 시스템의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 방법을 설명하기 위한 흐름도이다.
위치 기록이 가능한 모바일 기기 사용자들에 의해 소셜 네트워크 서비스에 위치가 태그되는 데이터(geo-tagged social data)의 비중이 증가하고 있고, 이러한 위치 기반 소셜 데이터를 빅데이터 분석 기법을 활용하여 사용자들의 행동 패턴이나 사회적인 현상에 대한 반응 등을 추출하고 이를 비즈니스 의사결정에 적용하는 사례가 증가하고 있다. 그러나 기존의 소셜 데이터 분석 기술들은 대부분 텍스트 데이터를 중심으로 분석이 이루어지고 있으며, 최근 사진/영상 중심의 소셜 네트워크 서비스가 각광받는 상황에서 텍스트 데이터의 비중이 점차 줄어듦에 따라 소셜 데이터로부터 맥락을 분석하는 난이도가 증가하고 있다. 최근 머신러닝 기술의 발전에 따라 사진으로부터 특정 물체를 인식하고 사진의 의미를 추론하는 기술이 출시되고 있고, 이를 적용하여 소셜 네트워크 서비스에 존재하는 사진/영상 데이터를 분석하는 사례도 발생하고 있다. 그러나 기존의 사진으로부터 의미를 추출하는 기술은 소셜 네트워크에 업로드되는 사진이 아니라 객체 인식을 목적으로 쓰이는 일반화된 사진 데이터를 활용하기 때문에 소셜 네트워크 서비스에 업로드되는 사진으로부터 객관적이고 피상적인 정보만을 제공하므로 소셜 네트워크 서비스에 업로드되는 사진 데이터가 내포하는 방문자의 방문 목적, 사회적인 맥락, 해당 공간에서 수행중인 행위 등의 정보를 분석하는 데 한계가 있다. 이러한 정보는 위치 기반으로 사용자에게 가장 관련도 높은 상업 지역을 추천하거나, 해당 지역 내의 콘텐츠를 자동으로 제공하는 등의 측면에서 매우 중요하다.
본 발명은 기존 기술의 한계를 극복하기 위해 소셜 네트워크 서비스 데이터로부터 텍스트와 사진을 병렬적으로 분석하고 이를 병합하여 소셜 네트워크 서비스에서 주로 발생하는 사회적 행위 분류 중의 하나로 추론하기 위한 데이터 가공 및 의사결정 과정을 제시한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 소셜 데이터 기반 행위 정보 추론 과정을 설명하기 위한 블록도이다.
본 발명은 소셜 네트워크 서비스에 존재하는 사진 데이터를 공간 방문의 목적을 나타내는 규격화된 행위 정보를 사용하여 기계학습을 시키는 과정, 향후 신규 유입되는 소셜 데이터로부터 사진 데이터를 분석함에 있어서 기존에 기계학습된 정보로부터 행위 정보를 추출하는 과정, 사진으로부터 추출된 행위 정보에 기존의 소셜 텍스트 데이터로부터 기존 발명에 의해서 분석 완료된 정보를 조합하여 최종적으로 사회적 맥락을 추론하는 과정으로 구성된다.
소셜 네트워크 서비스에 존재하는 사진 데이터는 사진 속에 방문한 공간의 특성을 나타내는 사물과 방문자들의 얼굴 등이 나타나고, 방문한 공간에서 수행하는 행위(데이트, 회식, 운동, 비즈니스 관련 업무 등)의 특성이 사진의 구도와 사물의 구성, 함께 찍힌 방문자들의 특징으로 나타난다. 따라서 소셜 네트워크 서비스에 존재하는 사진과 해당 사진이 설명하는 사회적 행위 정보를 활용하여 직접 기계학습을 수행하면 향후 추가되는 다른 소셜 네트워크 서비스 사진으로부터 사회적 행위를 예측할 수 있다. 그러나 사진만으로 정확도 높은 행위 정보를 예측하는 데 한계가 있으므로, 비록 적은 양이지만 사진과 함께 존재하는 텍스트 데이터를 추가로 분석하여 최종적으로 소셜 네트워크 서비스 데이터 항목 1개에 대한 사회적 행위 정보를 결정함으로써 사회적 맥락 추론 정확도를 보정한다.
도 1을 참조하면, 본 발명의 실시예에 따른 온라인 소셜 네트워크 서비스 데이터(110)로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템은, 네트워크(120)를 통해 수집한 소셜 네트워크 서비스에 존재하는 사진 데이터(131)와 공간 방문의 목적과 사회적 맥락을 내포하는 행위 정보를 기반으로 사진 및 행위 정보 기계 학습을 수행(140)한다. 이후 신규 유입되는 소셜 데이터로부터 사진 데이터(131)를 분석할 때 기 학습된 데이터를 활용하여 1차적으로 사진 기반 행위 정보를 추론(150)하며, 여기에 기존의 발명으로부터 명시되는 문자열 데이터 분석 기법을 통한 소셜 데이터 상의 문자열 기반 행위 정보를 추론(160)하고, 이러한 추론 결과를 조합하여 최종적으로 소셜 데이터 기반 행위 정보 결정부(180)를 통해 사회적 행위 정보를 추론한다.
사회적 행위 정보를 추론할 때, 문자열 데이터는 기 규격화된 사회적 행위 분류별 연관 SNS 단어들의 집합을 보유하는 사회적 행위-SNS 단어 연관성 워드백(wordbag)(170)을 참조하여 문자열 기반 행위 정보를 추론한다. 도 2를 참조하여 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 시스템의 구성에 대하여 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 시스템의 구성을 나타내는 도면이다.
제안하는 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 시스템(200)은 사진 및 행위 정보 학습부(210), 사진 기반 행위 정보 추론부(220), 문자열 기반 행위 정보 추론부(230), 사회적 행위-SNS 단어 연관성 워드백(240) 및 소셜 데이터 기반 행위 정보 결정부(250)를 포함한다.
사진 및 행위 정보 학습부(210)는 사진 데이터로부터 행위 정보를 추론하기 위해 사진 데이터를 설명하는 문자열과 규격화된 행위 정보 분류 기준에 따라 결정하는 행위 정보를 학습한다. 다시 말해, 소셜 네트워크 서비스에 존재하는 사진 데이터와 공간 방문의 목적과 사회적 맥락을 내포하는 행위 정보를 기반으로 기계학습을 수행한다.
또한, 사회적 행위 정보를 추론할 때, 사진 및 행위 정보 학습부(210)는 사진 데이터에 대하여 기존의 사진 분석 기법을 사용하여 추출된 사진에 대한 영문의 설명문으로부터 행위 정보를 예측하고 이를 정답(label)로 사용하여 사진에 대한 행위 정보를 학습시킨다.
이후, 사진 기반 행위 정보 추론부(220)를 통해 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성한다. 신규 유입되는 소셜 데이터로부터 사진 데이터를 분석할 때 기 학습된 데이터를 활용하여 1차적으로 행위 정보를 추론한다.
또한, 학습된 데이터를 활용하여 행위 정보를 알아내고자 하는 다른 사진 데이터를 분석하고 사진 기반 행위 정보 추론부(220)를 통해 행위 정보를 추론한다.
문자열 기반 행위 정보 추론부(230)는 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성한다. 또한, 사회적 행위 정보를 추론할 때, 문자열 기반 행위 정보 추론부(230)는 기 규격화된 사회적 행위 분류별 연관 SNS 단어들의 집합을 보유하는 사회적 행위-SNS 단어 연관성 워드백(240)을 참조하여 문자열 기반 행위 정보를 추론한다.
사회적 행위-SNS 단어 연관성 워드백(240)은 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하기 위해 사회적 행위 분류와 각 분류 별 연관성 단어의 집합을 구성하여 저장한다.
소셜 데이터 기반 행위 정보 결정부(250)는 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정한다. 도 3을 참조하여 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 방법에 대하여 더욱 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 방법을 설명하기 위한 흐름도이다.
제안하는 온라인 소셜 네트워크 서비스 데이터를 이용한 공간 기반 사회적 행위 추출 방법은 사진 데이터로부터 행위 정보를 추론하기 위해 사진 및 행위 정보 학습부를 통해 사진 데이터를 설명하는 문자열과 규격화된 행위 정보 분류 기준에 따라 결정하는 행위 정보를 학습하는 단계(310), 사진 기반 행위 정보 추론부를 통해 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성하는 단계(320), 문자열 기반 행위 정보 추론부를 통해 상기 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성하는 단계(330) 및 소셜 데이터 기반 행위 정보 결정부를 통해 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정하는 단계(340)를 포함한다.
단계(310)에서, 사진 데이터로부터 행위 정보를 추론하기 위해 사진 및 행위 정보 학습부를 통해 사진 데이터를 설명하는 문자열과 규격화된 행위 정보 분류 기준에 따라 결정하는 행위 정보를 학습한다. 다시 말해, 소셜 네트워크 서비스에 존재하는 사진 데이터와 공간 방문의 목적과 사회적 맥락을 내포하는 행위 정보를 기반으로 기계학습을 수행한다.
단계(320)에서, 사진 기반 행위 정보 추론부를 통해 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성한다.
단계(330)에서 문자열 기반 행위 정보 추론부를 통해 상기 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성한다.
단계(340)에서, 소셜 데이터 기반 행위 정보 결정부를 통해 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정한다.
사회적 행위 정보를 추론할 때, 문자열 기반 행위 정보 추론부를 통해 기 규격화된 사회적 행위 분류별 연관 SNS 단어들의 집합을 보유하는 사회적 행위-SNS 단어 연관성 워드백을 참조하여 문자열 기반 행위 정보를 추론한다.
사회적 행위 정보를 추론할 때, 사진 및 행위 정보 학습부를 통해 사진 데이터에 대하여 기존의 사진 분석 기법을 사용하여 추출된 사진에 대한 영문의 설명문으로부터 행위 정보를 예측하고 이를 정답(label)로 사용하여 사진에 대한 행위 정보를 학습시킨다. 또한, 학습된 데이터를 활용하여 행위 정보를 알아내고자 하는 다른 사진 데이터를 분석하고 사진 기반 행위 정보 추론부를 통해 행위 정보를 추론한다.
본 발명은 소셜 네트워크 서비스에 존재하는 사진 데이터와 공간 방문의 목적과 사회적 맥락을 내포하는 행위 정보를 기반으로 기계학습을 수행하고, 향후 신규 유입되는 소셜 데이터로부터 사진 데이터를 분석할 때 기 학습된 데이터를 활용하여 1차적으로 행위 정보를 추론하며, 여기에 기존의 발명으로부터 명시되는 문자열 데이터 분석 기법을 통한 소셜 데이터 상의 문자열 분석 결과를 조합하여 최종적으로 사회적 행위 정보를 추론한다.
본 발명의 실시예들에 따르면 특정 상업 공간에 방문하는 방문자들의 방문 목적과 사회적 맥락을 파악하기 위해 온라인 소셜 네트워크 서비스에서 대량 생산되는 위치기반 멀티미디어 및 문자 데이터를 분석하여 소셜 데이터가 내포하는 사회적 행위를 추론할 수 있다.
본 발명은 소셜 데이터로부터 사회적 맥락에 따른 대중의 장소 방문 패턴과 선호도 변화를 파악하여 이에 따라 특정 장소를 추천하거나 장소 내의 특정 콘텐츠 소비를 촉진하는 쿠폰 발행 등의 광고에 활용할 수 있다. 따라서 소셜 커머스 및 위치기반 쿠폰 발행 서비스 등을 제공하는 사업 분야에 모두 적용 가능하다.
전 세계적으로 소셜 네트워크 데이터는 그 양이 점점 증가하고 있고, 소셜 데이터 기반 추천은 일반적인 추천 방식에 비해 정확도 및 만족도가 더 높은 것으로 평가받고 있다. 이에 따라 본 발명의 적용 분야는 지속적으로 규모가 확대되는 시장을 대상으로 하고 있으므로 성장 가능성이 높다. 특히 대부분 텍스트 기반의 데이터 또는 이미 정형화된 데이터를 대상으로 하는 반면 본 발명은 비정형 소셜 데이터의 사진과 텍스트를 동시에 활용하여 사회적 맥락을 추론하므로 시장에서 높은 기술 경쟁력을 바탕으로 우위를 점할 수 있다.
본 발명은 기존의 위치기반 장소 검색 및 추천 서비스의 검색 수준을 향상시키고, 도시공간에서 방문자들의 장소 방문 트렌드 변화에 따라 자동으로 장소 추천을 변화시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성하는 사진 기반 행위 정보 추론부;
    문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성하는 문자열 기반 행위 정보 추론부; 및
    사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정하는 소셜 데이터 기반 행위 정보 결정부
    를 포함하는 공간 기반 사회적 행위 추출 시스템.
  2. 제1항에 있어서,
    사진 데이터로부터 행위 정보를 추론하기 위해 사진 데이터를 설명하는 문자열과 규격화된 행위 정보 분류 기준에 따라 결정하는 행위 정보를 학습하는 사진 및 행위 정보 학습부
    를 더 포함하는 공간 기반 사회적 행위 추출 시스템.
  3. 제2항에 있어서,
    상기 사진 기반 행위 정보 추론부는,
    온라인 소셜 네트워크 서비스에서 장소 방문과 관련된 데이터를 네트워크를 통해 수집하고, 분류한 사진 데이터, 문자열 데이터, SNS 메타데이터 중 사진 데이터와 사진 및 행위 정보 학습부를 통해 학습된 학습 데이터를 조합하여 사진 기반 행위 정보를 추론하는
    공간 기반 사회적 행위 추출 시스템.
  4. 제1항에 있어서,
    상기 문자열 기반 행위 정보 추론부는,
    문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하기 위해 사회적 행위 분류와 각 분류 별 연관성 단어의 집합을 구성하는 사회적 행위-SNS 단어 연관성 워드백을 구성하는
    공간 기반 사회적 행위 추출 시스템.
  5. 제4항에 있어서,
    소셜 데이터 기반 행위 정보 결정부는,
    온라인 소셜 네트워크 서비스에서 장소 방문과 관련된 데이터를 네트워크를 통해 수집하고, 분류한 사진 데이터, 문자열 데이터, SNS 메타데이터 중 문자열 데이터와 사회적 행위-SNS 단어 연관성 워드백을 조합하여 사회적 행위 정보를 추론하는
    공간 기반 사회적 행위 추출 시스템.
  6. 사진 기반 행위 정보 추론부를 통해 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성하는 단계;
    문자열 기반 행위 정보 추론부를 통해 상기 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성하는 단계; 및
    소셜 데이터 기반 행위 정보 결정부를 통해 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정하는 단계
    를 포함하는 공간 기반 사회적 행위 추출 방법.
  7. 제6항에 있어서,
    사진 데이터로부터 행위 정보를 추론하기 위해 사진 및 행위 정보 학습부를 통해 사진 데이터를 설명하는 문자열과 규격화된 행위 정보 분류 기준에 따라 결정하는 행위 정보를 학습하는 단계
    를 더 포함하는 공간 기반 사회적 행위 추출 방법.
  8. 제7항에 있어서,
    상기 사진 기반 행위 정보 추론부를 통해 사진 데이터로부터 행위 정보를 추론하여 사진 기반 행위 정보를 생성하는 단계는,
    온라인 소셜 네트워크 서비스에서 장소 방문과 관련된 데이터를 네트워크를 통해 수집하고, 분류한 사진 데이터, 문자열 데이터, SNS 메타데이터 중 사진 데이터와 사진 및 행위 정보 학습부를 통해 학습된 학습 데이터를 조합하여 사진 기반 행위 정보를 추론하는
    공간 기반 사회적 행위 추출 방법.
  9. 제6항에 있어서,
    상기 문자열 기반 행위 정보 추론부를 통해 상기 문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하여 문자열 기반 행위 정보를 생성하는 단계는,
    문자열 데이터로부터 규격화된 사회적 행위 정보 중 하나를 추론하기 위해 사회적 행위 분류와 각 분류 별 연관성 단어의 집합을 구성하는 사회적 행위-SNS 단어 연관성 워드백을 구성하는
    공간 기반 사회적 행위 추출 방법.
  10. 제9항에 있어서,
    소셜 데이터 기반 행위 정보 결정부를 통해 사진 기반 행위 정보, 문자열 기반 행위 정보, SNS 메타 데이터를 조합하고 우선순위를 기준으로 사회적 행위 정보를 최종 결정하는 단계는,
    온라인 소셜 네트워크 서비스에서 장소 방문과 관련된 데이터를 네트워크를 통해 수집하고, 분류한 사진 데이터, 문자열 데이터, SNS 메타데이터 중 문자열 데이터와 사회적 행위-SNS 단어 연관성 워드백을 조합하여 사회적 행위 정보를 추론하는
    공간 기반 사회적 행위 추출 방법.
KR1020170145875A 2017-08-10 2017-11-03 온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템 KR102095622B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170101447 2017-08-10
KR1020170101447 2017-08-10

Publications (2)

Publication Number Publication Date
KR20190017606A true KR20190017606A (ko) 2019-02-20
KR102095622B1 KR102095622B1 (ko) 2020-03-31

Family

ID=65562289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170145875A KR102095622B1 (ko) 2017-08-10 2017-11-03 온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102095622B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102513506B1 (ko) * 2020-07-16 2023-03-24 파킹클라우드 주식회사 주차장 내 차량에 타깃 메시지를 제공하기 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813170B1 (ko) * 2006-09-27 2008-03-17 삼성전자주식회사 사진 의미 인덱싱 방법 및 그 시스템
KR20150002083A (ko) * 2013-06-28 2015-01-07 전자부품연구원 생활 패턴 변화 모니터링 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813170B1 (ko) * 2006-09-27 2008-03-17 삼성전자주식회사 사진 의미 인덱싱 방법 및 그 시스템
KR20150002083A (ko) * 2013-06-28 2015-01-07 전자부품연구원 생활 패턴 변화 모니터링 방법 및 시스템

Also Published As

Publication number Publication date
KR102095622B1 (ko) 2020-03-31

Similar Documents

Publication Publication Date Title
Teney et al. Learning what makes a difference from counterfactual examples and gradient supervision
US10783450B2 (en) Learning user preferences using sequential user behavior data to predict user behavior and provide recommendations
CN112015859A (zh) 文本的知识层次抽取方法及装置、计算机设备及可读介质
CN103842993A (zh) 用于上下文个性化搜索的系统和方法
CN111666766B (zh) 数据处理方法、装置和设备
US20200302505A1 (en) Multi-Perceptual Similarity Detection and Resolution
CN114462616A (zh) 用于防止敏感数据在线公开的机器学习模型
US20220286438A1 (en) Machine learning techniques for mitigating aggregate exposure of identifying information
CN107679075B (zh) 网络监控方法和设备
CN110543920B (zh) 图像识别模型的性能检测方法、装置、服务器及存储介质
CN109783812B (zh) 基于自注意力机制的中文命名实体识别方法、系统、装置
Skoumas et al. Location estimation using crowdsourced spatial relations
CN113255354B (zh) 搜索意图识别方法、装置、服务器及存储介质
CN110019837B (zh) 用户画像的生成方法及装置、计算机设备及可读介质
CN114648392A (zh) 基于用户画像的产品推荐方法、装置、电子设备及介质
CN111325200A (zh) 图像标注方法、装置、设备及计算机可读存储介质
KR102185733B1 (ko) 프로필 자동생성서버 및 방법
CN111310065A (zh) 一种社交推荐方法、装置、服务器及存储介质
CN112131884B (zh) 用于实体分类的方法和装置、用于实体呈现的方法和装置
Zhang et al. Image tweet popularity prediction with convolutional neural network
CN111127057B (zh) 一种多维用户画像恢复方法
KR20190017606A (ko) 온라인 소셜 네트워크 서비스 데이터로부터 공간 기반 사회적 행위를 추출하는 방법 및 시스템
US11558471B1 (en) Multimedia content differentiation
CN112861474B (zh) 一种信息标注方法、装置、设备及计算机可读存储介质
Lucas et al. Sentiment analysis and image classification in social networks with zero-shot deep learning: applications in tourism

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant