KR20120087214A

KR20120087214A - 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버

Info

Publication number: KR20120087214A
Application number: KR1020100117080A
Authority: KR
Inventors: 장태권
Original assignee: 한국과학기술원
Priority date: 2010-11-23
Filing date: 2010-11-23
Publication date: 2012-08-07
Also published as: KR101224312B1

Abstract

사용자가 호감을 가질 만한 새로운 친구를 추천하는 방법을 공개한다. 본 발명은 소셜 네트워킹 서비스 사용자의 친구들의 소셜 메타 데이터를 분석해서 전체 친구 중에서 낯선 친구의 목록을 선별하고, 이들의 사진에 대해 자동 이미지 태깅 기술을 적용하여 이미지를 기술하는 태그의 목록을 추출한다. 이후 최종적으로 태그들로 구성된 특징 벡터를 구성하여 사용자 간의 친구 관계의 유사성을 계산했고 이에 따라 새로운 친구를 추천할 수 있다. 따라서 소셜 네트워킹 서비스의 클러스터를 확장할 수 있으므로, 소셜 네트워킹 서비스의 경쟁력을 강화할 수 있다.

Description

소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버 {Friend recommendation method for SNS user, recording medium for the same, and SNS and server using the same}

본 발명은 소셜 네트워킹 서비스에 관한 것으로 특히 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버에 관한 것이다.

소셜 네트워킹 서비스(Social Networking Service : SNS)는 온라인상에서 불특정 타인과 관계를 맺을 수 있는 서비스로서, 소셜 네트워킹 서비스의 사용자들은 인맥을 새롭게 쌓거나, 기존 인맥과의 관계를 강화시킬 수 있어서 정보화 사회에서 각광받고 있는 서비스이다. 대표적인 소셜 네트워킹 서비스로 현재 5억 5천만명의 사용자를 보유한 페이스북(Facebook)이 있다.

사용자들은 소셜 네트워킹 서비스를 통해 연락처 정보를 공유하고 서로의 친구 목록을 공유하면서 인터넷 상에 실세계의 친구 관계를 반영한 새로운 친구 관계망을 구축할 수 있다. 특히 새로운 친구를 추가하는 행위는 소셜 네트워킹 서비스라는 네트워크상의 노드간에 새로운 링크를 추가하는 의미가 있으며 결과적으로 노드간의 상호 연결성의 고도화에 기여하여 네트워크를 거대한 클러스터로 만드는 역할을 하게 된다. 따라서 클러스터의 규모에 따라 서비스의 영향력이 결정되는 것을 고려하면 새로운 친구를 추가하는 행위는 소셜 네트워킹 서비스의 경쟁력에 있어서 가장 핵심이 되는 역할을 한다고 볼 수 있다.

소셜 네트워킹 서비스에서 새로운 친구를 추가하는 방법은 '초대', '검색' 그리고 '추천'이라는 3가지로 구분할 수 있다. 먼저 초대에 의한 방법은 이메일 주소록, 메신저 연락처 정보처럼 서비스 외부에 존재하는 자신의 소셜 그래프를 참고하여 서비스 밖의 인물에게 초대의 메시지를 전달하는 방법이다. 그리고 검색은 이름, 특정 년도, 학교명, 회사명, 이메일 주소 등으로 아직 추가하지 못한 지인을 찾아내는 방법이다. 마지막으로 추천은 사용자의 소셜 프로파일을 분석해서 프로파일 상으로 유사성을 갖는 이들을 추천하는 방식이다. 개인 프로파일은 개별 사용자의 학교명, 회사명 등이 되며 사용자의 소셜 프로파일은 개인 프로파일에 친구들의 개인 프로파일들을 더한 것이라 할 수 있다. 페이스북의 'People You May Know'가 친구 추천 기능에 해당하며 사용자의 소셜 프로파일과 유사성이 높은 순서부터 친구를 수십명 정도로 제한해서 목록으로 보여준다.

위의 3가지 방법은 모두 새로운 친구를 추가하는 기능을 하지만 자신의 실세계의 소셜 그래프나 소셜 프로파일의 유사성에 의존하고 있어서, 소셜 프로파일 상으로 유사성이 낮은 낯선 사용자와 친구가 될 가능성을 어느 정도 제한하고 있다고 볼 수 있다. 친구 관계가 형성되기 위해서는 서로 간의 '친밀감'과 '신뢰' 가 중요한 요소라고 하면 이러한 제한은 합리적이라 볼 수 있다. 그러나 지속적인 관계를 맺기 전에 새로운 친구와의 관계를 시작할지 결정하는 초기 시점에서는 '친밀감', '신뢰'에 대한 판단이 제한되기 때문에 '첫인상'이 상대적으로 큰 역할을 할 수 있다는 점이 간과되고 있다.

본 발명의 목적은 사용자가 호감을 가질 수 있는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버를 제공하는데 있다.

상기 목적을 달성하기 위한 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법은 소셜 네트워킹 서비스에 있어서, 사용자에게 등록된 친구들 중 낯선 친구들을 구별하는 단계, 구별된 상기 낯선 친구들 각각의 사진 이미지를 기초로 복수개의 상위 이미지 태그를 추출하는 단계, 상기 복수개의 상위 이미지 태그에서 지정된 개수의 이미지 태그를 자동으로 최종 상위 태그로 선택하고, 선택된 상기 최종 상위 태그를 이용하여 상기 사용자에 대한 특징 벡터를 계산하는 단계, 및 상기 사용자에 대한 상기 특징 벡터와 유사성이 높은 사진 이미지를 갖는 다른 사용자를 새로운 친구로 추천하는 단계를 구비한다.

상기 목적을 달성하기 위한 낯선 친구를 구별하는 단계는 상기 사용자에게 등록된 상기 친구들에 대한 소셜 메타 데이터를 수집하는 단계, 상기 소셜 메타 데이터를 분류하기 용이한 토큰으로 변환하는 단계, 상기 토큰 중 출현 빈도가 높은 토큰을 사용자 토큰으로 설정하는 단계, 및 상기 친구들 중 상기 사용자 토큰과 비교하여 일치도가 낮은 토큰을 갖는 친구들을 낯선 친구들로 구분하는 단계를 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 복수개의 이미지 태그를 추출하는 단계는 상기 소셜 네트워킹 서비스에 등록된 상기 낯선 친구들 각각의 이미지에 대해 자동 이미지 태깅을 수행하는 단계, 및 상기 자동 이미지 태깅을 수행하여 추출되는 복수개의 이미지 태그를 빈도수에 따라 정렬하고, 빈도수가 높은 지정된 개수의 이미지 태그들을 상기 상위 이미지 태그들로 추출하는 단계를 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 자동 이미지 태깅을 수행하는 단계는 상기 낯선 친구들 각각의 이미지를 분석하여, 상기 이미지에 대응하는 복수개의 카테고리를 선택하는 단계, 및 상기 복수개의 카테고리 각각의 명칭을 상기 이미지 태그로 선택하는 단계를 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 카테고리를 선택하는 단계는 기계 학습 방법을 이용하여 상기 카테고리를 선택하고, 상기 기계학습 방법을 수행하기 위한 트레이닝 세트로서 야후 세트를 사용하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 새로운 친구로 추천하는 단계는 상기 사용자에게 등록된 상기 친구들 이외의 다른 사용자의 이미지에 대한 태그와 상기 사용자에 대한 상기 특징 벡터의 유사도를 분석하는 단계, 상기 유사도가 높은 다른 사용자의 특징 벡터를 획득하는 단계, 상기 소셜 네트워크 서비스에 등록된 상기 사용자의 이미지에 대한 태그와 상기 다른 사용자의 특징 벡터의 유사도를 분석하는 단계, 및 상기 사용자에 대한 상기 특징 벡터의 유사도와 상기 다른 사용자의 특징 벡터의 유사도가 지정된 기준값보다 높으면, 상기 다른 사용자를 상기 사용자에게 새로운 친구로 추천하는 단계를 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법은 소셜 네트워킹 서비스에 있어서, 사용자에게 등록된 친구들 중 낯선 친구들을 구별하는 단계, 구별된 상기 낯선 친구들 각각의 사진 이미지를 기초로 복수개의 상위 이미지 태그를 추출하는 단계, 상기 복수개의 상위 이미지 태그에서 상기 사용자가 직접 지정된 개수의 이미지 태그를 최종 상위 태그로 선택하고, 선택된 상기 최종 상위 태그를 이용하여 상기 사용자에 대한 특징 벡터를 계산하는 단계, 및 상기 사용자에 대한 상기 특징 벡터와 유사성이 높은 사진 이미지를 갖는 다른 사용자를 새로운 친구로 추천하는 단계를 구비한다.

상기 본원 발명은 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법을 수행하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체를 제공한다.

상기 본원 발명은 상기 사용자의 단말기와 네트워크를 통해 연결되어 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법을 수행하기 위한 프로그램을 실행하는 서버를 제공한다.

따라서, 본 발명의 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버는 사용자의 친구들의 소셜 메타 데이터를 분석해서 전체 친구 중에서 낯선 친구의 목록을 선별하고, 이들의 사진에 대해 자동 이미지 태깅 기술을 적용하여 이미지를 기술하는 태그의 목록을 추출하여 사용자가 호감을 가질만한 낯선 친구를 추천 할 수 있다. 따라서 소셜 네트워킹 서비스의 클러스터를 확장할 수 있으므로, 소셜 네트워킹 서비스의 경쟁력을 강화할 수 있다.

도 1은 소셜 네트워킹 서비스에서 특정 사용자에 대한 친구 수의 분포를 나타내는 도면이다.
도 2는 도 1의 친구 수의 분포에서 낯선 친구 친구수의 비율을 나타내는 도면이다.
도 3은 CBIR을 이용하여 이미지의 패턴을 구분한 일예를 나타내는 도면이다.
도 4는 야후 세트의 일예로서 특정 카테고리에 등록된 이미지의 일부를 나타낸다.
도 5는 본 발명의 일예에 따라 3장의 친구 이미지에 대해서 태그를 추출한 결과이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버을 설명하면 다음과 같다.

도 1은 소셜 네트워킹 서비스에서 특정 사용자에 대한 친구 수의 분포를 나타내는 도면이다. 그리고 도 2는 도 1의 친구 수의 분포에서 낯선 친구 친구수의 비율을 나타내는 도면이다.

소셜 네트워킹 서비스에서는 새로운 친구의 소셜 프로파일과 사진 등의 제한된 정보가 주어지게 되는데 이 때 상대방의 사진이 '첫인상'을 결정하게 되고 사진이 마음에 들면 친구로 맺어질 가능성이 크다. 따라서 '친밀감' 이라는 요소와 더불어 내가 '호감'을 가질 만한 사진을 가진 새로운 친구를 추천하는 방식도 생각해 볼 수 있다. 본 발명에서는 기존의 방식에 비해 소셜 프로파일 상으로 유사성이 낮은 사용자와도 친구가 될 가능성이 높고 동시에 친구로 맺어질 가능성이 높은 사용자를 추천하기 위한 방법을 제안한다.

본 발명에서 사용자가 호감을 가질 만한 새로운 친구를 추천하는 방법은 기본적으로 사용자들의 친구 패턴을 분석한 결과를 활용한다. 어떤 사용자의 친구 관계가 자신과 비슷한 유사한 패턴을 보여주고 있다면, 그 유사성을 바탕으로 새로운 친구를 추천할 수 있는 것이다. 마찬가지로 호감을 가질 만한 친구에 대해서도 같은 방식으로 추천이 가능하다. 호감이 가는 친구에 대해 이런 패턴을 분석하기 위해서는 먼저 전체 친구 중에서 사용자와 소셜 프로파일의 유사성이 낮은 친구들을 구분할 필요가 있다.

이런 구분은 전체 친구 데이터를 획득하는 것으로부터 시작한다. 본 발명에서는 소셜 네트워킹 서비스의 일부를 구성하는 사용자와 친구들에 대해서 새로운 친구 추가 시점에서 사용자에게 제공되는 데이터(예를 들면, 사진 및 소셜 메타 데이터)와 동일한 형식의 정보들을 수집한다. 이러한 정보들은 소셜 네트워킹 서비스의 데이터베이스(database)에 저장되어 있으며, 소셜 네트워킹 서비스의 일예로서 페이스 북의 API(Application Programming Interface)는 로그인 한 사용자의 친구들 사진 및 소셜 메타 데이터를 포함하는 정보들을 가져올 수 있는 함수를 제공하고 있다. 여기서 사용자에 각각에 대한 사진 및 소셜 메타 데이터와 같은 정보들은 각각의 사용자가 제공 여부를 동의하는 경우에 공개되어 친구 추가 시점에 제공 될 것이다. 도 1은 친구의 정보를 수집하기 위하여 특정한 아이디를 루트(root)로 삼고 친구 아이디들을 자식 노드로 삼은 다음 일정한 깊이까지 트리를 탐색을 하면서 2단계의 재귀 호출로 1차 데이터를 수집하여 획득되는 친구 수의 분포도로서 X축은 사용자 수이며, Y축은 친구의 수를 나타낸다. 도 1을 살펴보면 수집된 데이터는 일반적인 무작위 네트워크의 성질인 멱함수 분포를 띄고 있는 것을 알 수 있다.

도 1에 도시된 1차 데이터는 특정 사용자의 모든 친구에 대한 정보를 포함하고 있다. 이들 가운데 사용자와의 소셜 메타 데이터의 일치도에 따라 일반 친구, 낯선 친구의 2그룹으로 구분한다. 사용자들의 소셜 메타 데이터는 학교명, 직장명, 지역명 등이고 개인에 따라 연도와 공개한 정보의 양의 차이가 나는 경우가 있다. 이러한 정보를 일치도를 계산하기 위해서 표 1과 같이 소셜 메타 데이터를 토큰(token)으로 변환했다.

구분	변환 전	변환 후
소셜 메타 데이터	Carnegie Mellon Alum '07	carnegiemellon
	Columbia Alum '02	colmubia
	Pittsburgh, PA	pittsburgh, pa
	The Walt Disney Company	thewaltdisneycompany

토큰은 주어진 소셜 메타 데이터 중에서 Alum, Student, Grad 등과 같은 일반적인 단어와 '07, '03과 같은 년도 값도 제외시킨 후 소문자로 변환시킨 문자열이다. 즉 토큰은 소셜 메타 데이터에서 사용자와 친구들 사이의 일치도를 측정하기 용이한 핵심 단어만을 추출하여 소문자로 변환시킨 문자열이다. 소셜 메타 데이터를 토큰으로 변환할 때, 제외하는 문자열에 대해서는 통계적 기법을 적용할 수 있을 것이다. 친구와 사용자와의 토큰 일치도는 우선 주어진 사용자 일련의 토큰을 친구의 토큰과 문자열 매칭을 통해 계산했다. 사용자에게 소셜 메타 데이터가 없는 경우는 친구들의 데이터로 부터 추출한 모든 토큰을 사전 형식으로 나타낸 후 출현 빈도가 높은 단어를 사용자의 토큰으로 취급하여 일치도를 계산한다. 예를 들어 'digitaldomain' 이라는 토큰이 친구들의 소셜 메타 데이터로부터 n번 이상(n은 자연수, 예를 들면 5) 반복된다면 사용자도 그 토큰과 관련이 있을 수 있기 때문에 이 토큰을 사용자의 토큰으로 반영한다.

도 2는 전체 친구에 대한 낯선 친구의 비율을 그래프로 나타낸 것이다. 도2 에서도 도1 과 마찬가지로, X축은 사용자 수이며, Y축은 친구의 수를 나타낸다. 도2 에 도시된 바와 같이, 전체 사용자에 대한 낯선 친구가 일정한 비율로 존재하는 것을 알 수 있다. 도 2에 도시된 일정 비율에 대해 통계적 분석 결과 수식 1과 같은 표현 된다.

수학식 1은 본 발명에서 일예로 사용된 사용자 집단에 대한 통계적 분석 결과이므로, 소셜 네트워킹 서비스의 종류 또는 선택된 사용자에 따라 다르게 나타날 수 있다.

본 발명에서는 일예로 사용자 중에서 수학식 1로 표현되는 그래프에 대해 오차가 일정 범위 이내이면서 전체 친구 수와 낯선 친구 수가 평균값에 근접한 사용자 18명을 샘플로 선별했다. 그러나 낯선 친구는 다양한 기준으로 선별될 수 있으며, 임의로 랜덤하게 선별될 수도 있다.

이렇게 선별된 데이터를 활용해 특정 사용자와 낯선 친구들의 패턴이 유사한 친구를 찾아낼 수 있다면 그 유사성을 바탕으로 새로운 친구를 추천할 수 있다. 즉 특정 사용자의 낯선 친구에 대한 패턴을 분석하여, 사용자가 선호하는 성향의 다른 사용자를 찾을 수 있으므로, 사용자가 호감을 가질만한 다른 사용자를 친구로 추천할 수 있다. 그리고 낯선 친구는 소셜 메타 데이터 보다는 이미지를 보고 사귄 친구일 가능성이 크기 때문에 여기서 패턴은 친구의 프로필 이미지로 부터 추출하게 된다.

이미지로부터 패턴을 추출하는 방법은 여러가지가 있다. 컴퓨터 비전 분야에서는 데이터베이스상의 이미지를 조직적으로 관리하기 위해 이미지의 본질적인 속성인 색상, 텍스쳐 등의 이미지의 저수준 정보를 분석하는 대표적인 기술인 CBIR(Content-based image retrieval)을 연구해 왔다. 이는 시각적으로 유사한 이미지를 찾아내는데 적합한 방법이다.

도 3은 CBIR을 이용하여 이미지의 패턴을 구분한 일예를 나타내는 도면이다.

그런데 이미지의 저수준 속성만으로 패턴을 분석하면 이미지가 갖는 의미적인(Semantic) 레벨의 정보들을 놓칠 수 있다. 예를 들어 도3 에서는 고양이와 저녁 노을이 동일한 패턴으로 인식되고 있는 것을 알 수 있다. 이러한 현상을 해결하기 위해서 최근 몇 십년간 자동으로 의미 레벨의 정보를 찾아주는 기술에 대한 연구가 활발히 진행되어 왔다. 그 중 대표적인 연구가 '자동 이미지 태깅(Automatic Image Tagging)' 혹은 '자동 이미지 주석(Automatic Image Annotation)'인데 이것은 컴퓨터 시스템을 활용해 디지털 이미지에 대해 캡션이나 키워드 등의 네트워킹 서비스를 자동으로 할당하는 기술이다. 구체적으로는 이미지 상의 각각의 오브젝트를 인식하고 그것에 상응하는 키워드를 수학적인 방법으로 찾아내는 알고리즘을 말한다. 이 기술을 활용하면 이미지가 표현하고 있는 것들의 의미 수준 정보를 텍스트 형태의 태그(Tag)로 표현할 수 있다. 예를 들어 낯선 친구들의 프로필 이미지들에 대해 자동 이미지 태깅 기술을 적용하게 되면 그 이미지의 의미를 설명하는 일련의 태그(Tag)를 얻을 수 있다.

이런 태그가 이미지에 대한 의미적 레벨의 특성으로 고려될 수 있다. 소셜 네트워킹 서비스에서 낯선 친구와 새로운 친구 관계를 결정하는 시점에서는 낯선 친구의 사진에 대한 사용자의 첫인상이 지배적인 요인이 될 수 있다. 첫인상은 그 친구의 사진을 보고 떠오르는 심상에 해당하는데 현재까지 연구된 자동 이미지 태깅 기술은 이미지 상에 시각적으로 보여지는 오브젝트를 판별하고 인식하는 데에만 충실하기 때문에 사용자가 받은 첫인상을 정확히 묘사할 수 없다. 그러나 낯선 친구들 간의 의미 수준의 패턴을 찾아주는데 CBIR 방법보다 적합하며 낯선 친구들로부터 추출된 태그를 분석하면 사용자가 호감을 가지는 키워드를 추정할 수도 있어서 첫인상에서 느낌 감성을 간접적으로 추측할 수 있는 가능성도 있다. 따라서 태그가 이미지의 의미적 레벨의 특성을 나태내는 역할을 하는데 적합하다고 할 수 있다. 실제로 주어진 이미지에 대한 태그를 찾는 문제는 이미지가 어떤 일반적인 카테고리에 속하는지 그 분류를 결정하는 문제로 취급될 수 있다. 예들 들어 눈사람의 이미지는 사람과 눈이라는 일반적인 카테고리에 속하게 되는데 이처럼 이미지가 어떤 카테고리에 속하는지 찾은 다음 그 카테고리 명을 이미지에 태그로 설정하게 된다. 이와 같은 방법은 기존의 연구에서 널리 쓰이는 방법이다. 태그의 표현 정확도는 이론적으로 비교하는 카테고리의 숫자가 많을수록 높아질 수 있다. 다른 방법으로는 온톨로지(ontology)를 통해 이미지의 전체적인 문맥에 맞는 태그를 찾을 수도 있다. 온톨로지는 사람들이 세상에 대하여 보고 듣고 느끼고 생각하는 것에 대하여 서로 간의 토론을 통하여 합의를 이룬 바를 개념적이고 컴퓨터에서 다룰 수 있는 형태로 표현한 모델로, 개념의 타입이나 사용상의 제약조건들을 명시적으로 정의한 기술이다. 온톨로지는 일단 합의된 지식을 나타내므로 어느 개인에게 국한되는 것이 아니라 그룹 구성원이 모두 동의하는 개념이며, 프로그램이 이해할 수 있어야 하므로 여러 가지 정형화가 존재한다.

본 발명에서는 이미지가 속하는 다수의 카테고리를 판별하기 위해 기계 학습(machine learning) 방법을 사용할 수 있다. 기계 학습은 카테고리에 해당하는 데이터들을 일괄적으로 컴퓨터 상의 분류 모델에 입력한 후, 새로운 데이터가 입력되었을 때 기존에 구축된 모델에 근거하여 입력된 데이터의 특성을 고려했을 때 어떤 카테고리에 속하는지 판별하는 방법이다. 낯선 친구들의 이미지들은 여러개의 카테고리에 속할 수 있게 되는데 이런 경우를 멀티 클래스 분류(multi-class classification)라고 하며 카테고리 별로 일대일 혹은 일대다 식으로 비교하는 방법이 존재한다. 이러한 분류를 위해서 SVM (Support Vector Machine) 기법을 활용할 수 있다. SVM 기법은 널리 쓰이는 카테고리 분류 기법으로서 고차원 데이터 세트에 잘 동작하며 분류가 애매한 경계상의 데이터들에 대해서도 안정적인 분류 성능을 보여준다. 그리고 기계 학습을 수행하기 위해 컴퓨터 상의 분류 모델을 정립시킬 트레이닝 세트(Training set)로서의 데이터 세트(data set)로 본 발명에서는 일예로 야후 세트('Yahoo Set')를 선정했다. 야후 세트는 코렐 세트(Corel set)으로 부터 263개의 키워드를 추출한 다음 그것을 Yahoo 이미지 검색 엔진에 쿼리한 결과로 얻은 이미지들의 컬렉션이다. 각 카테고리별로 60개의 이미지가 포함되어 263개의 카테고리에 총 15780개의 JPG 컬러 형식의 이미지가 있으며, 표 2에서는 예시로서 야후 세트의 263개의 카테고리 중 일부인 54개의 카테고리 명칭을 나타내며, 그리고 도 4는 야후 세트의 일예로서 특정 카테고리에 등록된 이미지의 일부를 나타낸다. 도4 에서는 grass 카테고리에 등록된 이미지의 일부를 나타내었다.

water	sky	tree	people	buildings	grass
mountain	snow	flowers	street	clouds	plane
rocks	bear	stone	house	sand	jet
hills	beach	cars	field	birds	plants
bridge	baby	wall	polar	horses	ruins
ice	leaf	tracks	man	train	sculpture
temple	valley	statue	cat	pool	forest
pillar	garden	tiger	smoke	sun	City
fish	shops	restaurant	marine	girl	head

소셜 네트워킹 서비스에서 친구 이미지는 사람의 얼굴에 제한되지 않는 자유로운 형태를 띄는 특성이 있는데, 기존의 컴퓨터 비전 연구에서 널리 쓰여왔던 코렐 세트는 카테고리 별로 이미지의 유사성이 커서 소셜 네트워킹 서비스 상의 다양한 이미지를 분류하기에는 적절하지 않을 수 있다. 그리고 Caltech101의 경우 101종류의 카테고리로 구성되어 있으므로 소셜 네트워킹 서비스의 이미지들을 모두 포함하기에는 카테고리의 수가 적기 때문에 적합하지 않다. 상기한 야후 세트와 코렐 세트 및 Caltech101 이외에도 Caltech256, LabelMe Dataset, Graz-02 Database, NORB DATA SET등의 데이터세트가 있으며, 본 발명에서는 야후 세트를 일예로 사용하지만 경우에 따라서는 다른 데이터 세트를 사용할 수도 있다.

이렇게 데이터 세트를 선정한 다음 본 발명에서는 실제로 SVM을 적용하기 위해서 야후 세트와 선별된 18명의 친구들의 이미지를 Gist feature라는 일관된 형식으로 표현할 수 있다. 카테고리를 결정하는 단계에서 이미지의 어떤 속성을 분류 기준을 잡느냐에 따라서 결과는 크게 달라질 수 있다. CBIR에서는 이미지의 색상, 형태, 텍스쳐 정보 등 저수준의 속성을 고려하는데 일반적으로 이런 속성들은 분류에 있어서 다양한 상황에 따른 오차를 발생시키는 원인이 된다.

Gist feature는 이미지 영역에 대한 특성을 요약하여 표현하는 방법으로서 이미지를 인식하거나 분류하는 작업에서 일반적으로 높은 성능을 발휘한다고 알려져 있다. 이것은 이미지를 4x4개의 서로 겹치지 않는 그리드(grid)로 나눈 다음 각 그리드 셀에 대해 가버 필터(Gabor filter)를 적용한 결과에 해당하며 공간 구조에 대한 정보를 잘 표현하는 형식이다. 가버 필터는 엣지를 찾기 위해 이미지 처리에 사용되는 선형 필터이다.

선택한 사용자 18명의 친구들의 이미지 각각에 대해 야후 세트의 263개의 카테고리에 일대일로 조합할 수 있는 모든 경우의 수(34453개)에 대한 SVM 분류를 수행한다. 이때, 일예로 모든 경우에 대해 SVM의 커널 함수는 RBF를 사용하고 시그마 파라메터 값은 10으로 설정했다. 수행한 결과로 주어진 카테고리 중에서 빈도수가 가장 높은 상위 15개를 선택하고 최종적으로 사진에 부합하는 최종 상위 태그 5개를 선택한다. 여기서 선택되는 상위 태그의 개수와 최종 상위 태그의 개수는 소셜 네트워킹 서비스 제공자가 다양하게 조절할 수 있다. 또한 최종 상위 태그는 소셜 네트워킹 서비스에서 자동으로 선택하여 제공할 수도 있으나, 사용자가 호감을 가질 수 있는 친구를 추천한다는 면에서 사용자에게 선택 할 수 있도록 할 수 있다. 예를 들어 소셜 네트워킹 서비스를 제공하는 서버가 사용자 단말기로 추출된 상위 15개의 태그를 샘플로 선택된 낯선 친구의 이미지와 함께 제공하고, 사용자가 상위 15개의 태그 중 5개를 최종 상위 태그로서 선택할 수 있도록 할 수 있다.

도 5는 본 발명의 일예에 따라 3장의 친구 이미지에 대해서 태그를 추출한 결과이다. 도5 에서 'ALIPR 결과'는 구현된 결과의 성능을 기존의 방식과 비교하기 위해 추가한 것으로, 기존의 실시간 이미지-단어 연결 프로그램(automatic linguistic indexing of pictures in real-time : ALIPR)을 구현하는 자동 이미지 태깅 사이트인 alipr.com에 동일한 사진을 입력해서 얻은 15개의 후보 태그를 중에서 사진에 부합하는 태그 5개를 선택한 것이다.

ALIPR은 코렐 세트를 활용한 확률 모델 기반 시스템으로서 실시간에 태그를 추출할 수 있는 장점을 가진 반면에 소셜 네트워킹 서비스처럼 백과 사전에 나올 법한 사진이 아닌 자유분방한 사진을 입력하는 경우에는 많은 오차를 발생하는 특징이 있다. 그에 반해 본 발명의 구현을 통해 추출된 태그는 ALIPR의 경우보다 사진에 더욱 적절한 태그 인 것을 알 수 있다.

낯선 친구에 대한 사용자의 친구 맺기 패턴은 선별된 친구의 이미지로부터 추출된 태그들을 이용해 특징 벡터로 표현할 수 있다. 사용자 간의 친구 맺기 패턴의 유사도는 사용자들의 특징 벡터의 유사도를 측정함으로서 계산할 수 있다.

도 6은 친구이미지에서 추출한 태그 및 사용자별 특징 벡터를 나타낸다.

특징 벡터는 각각 친구 이미지에서 15개의 상위 태그를 모두 선택하여 각 카테고리의 빈도수에 따라 정렬한 다음 사용자에 의해 선택된 5개의 상위 태크에 해당하는 것들만 모은 것이 된다. 도 6에서 괄호 속의 숫자는 태그의 빈도를 나타내는 값으로 (태크의 중복 빈도수) / (전체 빈도수) * 100으로 계산한다. 유사도 측정의 대표적인 방법은 유클리디안 거리 점수와 피어슨 상관점수가 있는데, 본 발명에서는 정규화되지 않은 데이터이고 안정적인 결과를 제공하는 피어슨 상관점수 방법을 일예로 사용했다.

그리고 계산된 특징 벡터를 이용하여 소셜 네트워킹 서비스상에서 유사한 특징 벡터를 갖는 다른 사용자를 검색하여 새로운 친구로서 추천할 수 있다. 특징 백터는 현재 사용자에게 친구로 등록되어 있으나 소셜 메타 데이터의 일치도가 낮은 낯선 친구로부터 분석된 데이터이므로, 사용자가 유사한 특징 벡터를 갖는 다른 사용자에 대해 호감을 가질 수 있다는 것으로 유추할 수 있다. 따라서 유사한 특징 벡터를 갖는 다른 사용자는 사용자가 호감을 가질 수 있는 타입이라고 볼 수 있으므로, 사용자가 추천된 다른 사용자에 대해 쉽게 친숙해 질 수 있을 것이다.

결과적으로, 본 발명은 소셜 네트워킹 서비스 사용자의 친구들의 소셜 메타 데이터를 분석해서 전체 친구 중에서 낯선 친구의 목록을 선별하고, 이들의 사진에 대해 자동 이미지 태깅 기술을 적용하여 이미지를 기술하는 태그의 목록을 추출하여 사용자의 선호도를 특징 벡터로 판별하고, 판별된 특징 벡터를 이용하여 사용자가 호감을 가질만한 낯선 친구를 추천 할 수 있다.

도 7은 본 발명의 일예에 따른 친구 추천 방법을 나타내는 순서도이다.

상기한 바와 같이 본 발명의 일예에 따른 친구 추천 방법은 먼저 사용자를 중심으로 친구들에 대한 소셜 메타 데이터를 수집한다(S11). 그리고 사용자와 친구들사이에 일치도 계산이 용이하도록 수집된 소셜 메타 데이터에서 핵심 단어만을 추출하여 소셜 메타 데이터를 토큰으로 변환한다(S12). 변환된 토큰 중 출현 빈도가 높은 단어를 사용자의 토큰으로 설정한다(S13). 사용자의 친구들 중 설정된 사용자 토큰과 비교하여 일치도가 떨어지는 토큰을 갖는 친구를 낯선 친구를 구별하고, 구별된 낯선 친구들 중 일부를 샘플로 선별한다(S14).

이후 샘플로 선별된 낯선 친구의 사진에 대해서 자동 이미지 태깅을 수행한다(S15). 자동 이미지 태깅을 수행함에 의해 낯선 친구의 사진에 대한 이미지가 어떤 카테고리에 속하는지 확인하게 되면, 해당 카테고리 명을 낯선 친구의 사진에 대한 이미지 태그로서 획득한다. 이때 이미지 태그는 복수개로 획득 될 수 있다. 그리고 복수개로 획득된 이미지 태그를 빈도수에 따라 정렬하고, 정렬된 이미지 태그에서 빈도수가 높은 지정된 소정 개수의 이미지 태그를 상위 이미지 태그를 추출한다(S16). 상위 이미지 태그는 상기한 바와 같이 소셜 네트워킹 서비스가 자동으로 추출할 수도 있으나, 경우에 따라서는 복수개의 이미지 태그 중 일부를 소셜 네트워킹 서비스가 사용자에게 사용자 단말기를 통해 디스플레이하고, 사용자는 디스플레이된 이미지 태그에서 선택하여 추출 할 수도 있다.

추출된 상위 이미지 태그 각각에 대한 빈도를 계산하여, 각 태그의 특징 벡터를 구성한다(S17). 구성된 특징 벡터는 사용자의 현재 친구들 중 소셜 메타 데이터의 일치성이 낮은 낯선 친구들에 대해 분석된 정보이므로, 유사한 특징 벡터를 갖는 다른 사용자에게 사용자가 호감을 가질 가능성이 높을 것이다. 따라서 동일한 소셜 네트워킹 서비스의 다른 사용자들에 대해서도 특징 벡터를 구성하고, 사용자와 다른 사용자들 사이의 친구 관계의 유사성을 계산한다(S18). 즉 친구 관계는 사용자와 다른 사용자 사이의 상호 관계이므로, 사용자의 특징 벡터가 다른 특정 사용자의 이미지와 유사할지라도, 다른 사용자의 특징 벡터가 사용자의 이미지와 유사하지 않다면 친구로 추천할 수 없다. 따라서 상호간에 호감도가 높은 사용자를 검색하기 위하여 친구관계의 유사성을 계산한다. 이후 계산된 유사성을 기초로 하여 현재 사용자의 친구로 등록되어 있지 않은 다른 사용자들 중 사용자와 유사한 특징 벡터를 갖는 사용자를 새로운 친구로 추천한다(S19).

따라서 사용자에게 기존과 다른 방식으로 새로운 친구를 추천할 수 있으므로, 소셜 네트워킹 서비스의 클러스터를 확장할 수 있고, 소셜 네트워킹 서비스의 경쟁력을 강화할 수 있다.

본 발명은 또한 상기 또 다른 과제를 해결하기 위하여, 상술한 친구 추천 방법을 이용하는 소셜 네트워킹 서비스를 제공한다. 또한 본 발명에 따른 소셜 네트워킹 서비스는 복수개의 사용자 단말기에 대해 네트워크로 연결되는 서버에서 제공한다. 그리고 본 발명에 따른 친구 추천 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

소셜 네트워킹 서비스에 있어서,
사용자에게 등록된 친구들 중 낯선 친구들을 구별하는 단계;
구별된 상기 낯선 친구들 각각의 사진 이미지를 기초로 복수개의 상위 이미지 태그를 추출하는 단계;
상기 복수개의 상위 이미지 태그에서 지정된 개수의 이미지 태그를 자동으로 최종 상위 태그로 선택하고, 선택된 상기 최종 상위 태그를 이용하여 상기 사용자에 대한 특징 벡터를 계산하는 단계; 및
상기 사용자에 대한 상기 특징 벡터와 유사성이 높은 사진 이미지를 갖는 다른 사용자를 새로운 친구로 추천하는 단계를 구비하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 1항에 있어서, 상기 낯선 친구를 구별하는 단계는
상기 사용자에게 등록된 상기 친구들에 대한 소셜 메타 데이터를 수집하는 단계;
상기 소셜 메타 데이터를 분류하기 용이한 토큰으로 변환하는 단계;
상기 토큰 중 출현 빈도가 높은 토큰을 사용자 토큰으로 설정하는 단계; 및
상기 친구들 중 상기 사용자 토큰과 비교하여 일치도가 낮은 토큰을 갖는 친구들을 낯선 친구들로 구분하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 1항에 있어서, 상기 복수개의 이미지 태그를 추출하는 단계는
상기 소셜 네트워킹 서비스에 등록된 상기 낯선 친구들 각각의 이미지에 대해 자동 이미지 태깅을 수행하는 단계; 및
상기 자동 이미지 태깅을 수행하여 추출되는 복수개의 이미지 태그를 빈도수에 따라 정렬하고, 빈도수가 높은 지정된 개수의 이미지 태그들을 상기 상위 이미지 태그들로 추출하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 3항에 있어서, 상기 자동 이미지 태깅을 수행하는 단계는
상기 낯선 친구들 각각의 이미지를 분석하여, 상기 이미지에 대응하는 복수개의 카테고리를 선택하는 단계; 및
상기 복수개의 카테고리 각각의 명칭을 상기 이미지 태그로 선택하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 4항에 있어서, 상기 카테고리를 선택하는 단계는
기계 학습 방법을 이용하여 상기 카테고리를 선택하고, 상기 기계학습 방법을 수행하기 위한 트레이닝 세트로서 야후 세트를 사용하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 1항에 있어서, 상기 새로운 친구로 추천하는 단계는
상기 사용자에게 등록된 상기 친구들 이외의 다른 사용자의 이미지에 대한 태그와 상기 사용자에 대한 상기 특징 벡터의 유사도를 분석하는 단계;
상기 유사도가 높은 다른 사용자의 특징 벡터를 획득하는 단계;
상기 소셜 네트워크 서비스에 등록된 상기 사용자의 이미지에 대한 태그와 상기 다른 사용자의 특징 벡터의 유사도를 분석하는 단계; 및
상기 사용자에 대한 상기 특징 벡터의 유사도와 상기 다른 사용자의 특징 벡터의 유사도가 지정된 기준값보다 높으면, 상기 다른 사용자를 상기 사용자에게 새로운 친구로 추천하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 1항 내지 제 6항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.
제 1항 내지 제 6항 중 어느 한 항에 있어서, 상기 사용자의 단말기와 네트워크를 통해 연결되어 방법을 수행하기 위한 프로그램을 실행하는 서버.
소셜 네트워킹 서비스에 있어서,
사용자에게 등록된 친구들 중 낯선 친구들을 구별하는 단계;
구별된 상기 낯선 친구들 각각의 사진 이미지를 기초로 복수개의 상위 이미지 태그를 추출하는 단계;
상기 복수개의 상위 이미지 태그에서 상기 사용자가 직접 지정된 개수의 이미지 태그를 최종 상위 태그로 선택하고, 선택된 상기 최종 상위 태그를 이용하여 상기 사용자에 대한 특징 벡터를 계산하는 단계; 및
상기 사용자에 대한 상기 특징 벡터와 유사성이 높은 사진 이미지를 갖는 다른 사용자를 새로운 친구로 추천하는 단계를 구비하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 9항에 있어서, 상기 낯선 친구를 구별하는 단계는
상기 사용자에게 등록된 상기 친구들에 대한 소셜 메타 데이터를 수집하는 단계;
상기 소셜 메타 데이터를 분류하기 용이한 토큰으로 변환하는 단계;
상기 토큰 중 출현 빈도가 높은 토큰을 사용자 토큰으로 설정하는 단계; 및
상기 친구들 중 상기 사용자 토큰과 비교하여 일치도가 낮은 토큰을 갖는 친구들을 낯선 친구들로 구분하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 9항에 있어서, 상기 복수개의 이미지 태그를 추출하는 단계는
상기 소셜 네트워킹 서비스에 등록된 상기 낯선 친구들 각각의 이미지에 대해 자동 이미지 태깅을 수행하는 단계; 및
상기 자동 이미지 태깅을 수행하여 추출되는 복수개의 이미지 태그를 빈도수에 따라 정렬하고, 빈도수가 높은 지정된 개수의 이미지 태그들을 상기 상위 이미지 태그들로 추출하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 11항에 있어서, 상기 자동 이미지 태깅을 수행하는 단계는
상기 낯선 친구들 각각의 이미지를 분석하여, 상기 이미지에 대응하는 복수개의 카테고리를 선택하는 단계; 및
상기 복수개의 카테고리 각각의 명칭을 상기 이미지 태그로 선택하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 9항에 있어서, 상기 특징 벡터를 계산하는 단계는
상기 복수개의 상위 이미지 태그를 상기 사용자의 단말기로 디스플레이 하는 단계;
상기 사용자가 디스플레이 된 상기 복수개의 상위 이미지 태그 중에서 지정된 개수의 이미지 태그를 최종 상위 태그로 선택하는 단계; 및
전체 빈도수에 대해 선택된 상기 최종 상위 태그의 빈도수의 비율을 상기 사용자에 대한 특징 벡터로서 설정하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 9항에 있어서, 상기 새로운 친구로 추천하는 단계는
상기 사용자에게 등록된 상기 친구들 이외의 다른 사용자의 이미지에 대한 태그와 상기 사용자에 대한 상기 특징 벡터의 유사도를 분석하는 단계;
상기 유사도가 높은 다른 사용자의 특징 벡터를 획득하는 단계;
상기 소셜 네트워크 서비스에 등록된 상기 사용자의 이미지에 대한 태그와 상기 다른 사용자의 특징 벡터의 유사도를 분석하는 단계; 및
상기 사용자에 대한 상기 특징 벡터의 유사도와 상기 다른 사용자의 특징 벡터의 유사도가 지정된 기준값보다 높으면, 상기 다른 사용자를 상기 사용자에게 새로운 친구로 추천하는 단계를 구비하는 것을 특징으로 하는 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법.
제 9항 내지 제 15항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.