KR100936198B1 - 소셜 네트워크 분석 시스템 - Google Patents

Abstract

가상 커뮤니티 사용자들이 업로드 한 사진 데이터를 이용한 시맨틱 웹 기반의 소셜 네트워크 분석 시스템이 제공된다. 온톨로지를 기반으로 사진에서 추출된 얼굴 개체와의 관계와 이미 인맥 관계를 형성하고 있는 사람들의 정보적 연결성을 명확하게 정의하고 도메인 규칙을 활용하여 의미 있는 사회적 연결 관계를 추론한다. 이를 그래프로 시각화하여 사용자에게 제공함으로써 온라인 상에서 형성된 커뮤니티 내에서 효율적인 소셜 네트워크 분석을 도모할 수 있다.

소셜 네트워크, 사진, 온톨로지, 시맨택 웹

Description

소셜 네트워크 분석 시스템 {social network analysing system}

본 발명은 가상 커뮤니티 사용자들이 업로드 한 사진 데이터를 이용하여 소셜 네트워크를 분석하는 시스템에 관한 것으로서, 온톨로지를 기반으로 사진에서 추출한 얼굴 개체와의 관계와 이미 인맥 관계를 형성하고 있는 사람들의 정보적 연결성을 명확하게 정의하고 도메인 규칙을 활용하여 의미 있는 사회적 연결 관계를 추론한다

최근 참여와 개방을 핵심으로 한 Web 2.0과 더불어 웹상의 정보 공간에 사용자가 자신의 개인적인 정보를 자유롭게 게시할 수 있도록 하는 소셜 네트워크 서비스가 증가하였다. 그리고 MySpace, facebook, 싸이월드 등 인기 있는 소셜 네트워크 사이트는 엄청난 규모의 트래픽과 커뮤니티 회원을 확보하고 있다. 이러한 가상의 커뮤니티 사용자들 간의 관계에 초점을 맞춘 소셜 네트워크 분야의 연구가 활발히 진행되고 있고, 소셜 네트워크 분석을 통하여 새로운 부가가치 창출을 하기 위한 많은 노력이 이루어지고 있다.

소셜 네트워크 분석(Social Network Analysis)은 주어진 범위 내의 전체 관계에서 사용자와 이미 인맥관계를 형성하고 있는 사람들의 정보적인 연결성을 통해 새로운 사회적 연결 관계를 발견해 내는 것에 목적이 있다. 그러나 현재 서비스되고 있는 대부분의 소셜 네트워크 사이트는 사용자와 관련된 정보자원 및 개체들 간의 관계에 대하여 명확하게 정의하고 있지 않아 의미적 관계를 발견하지 못하는 한계가 있다.

이러한 문제점은 사회적 개체와 이들 간의 관계에 관련된 도메인 온톨로지(ontology), 적절한 규칙(rule), 그리고 추론 메카니즘을 통해 새로운 정보를 추론하여 새로운 관계나 이전에 존재하지 않았던 새로운 개념을 발견해 냄으로써 극복될 수 있다.

본 발명에서는 이러한 종래의 소셜 네트워크 서비스의 단점을 보완하기 위하여 시맨틱 웹 기반의 소셜 네트워크 분석 시스템을 제안한다. 사용자가 업로드한 개인의 사진 분석을 통하여 의미적인 가상 커뮤니티를 반자동적으로 구성하고 시각화하며, 추론을 통하여 새로운 의미적 관계를 발견해낸다.

위와 같은 목적을 달성하기 위한 본 발명의 일 양태는, 사진 이미지에서 인물의 얼굴 영역을 인식하여 별도의 이미지 데이터로 추출하는 얼굴 추출 모듈과, 상기 추출된 얼굴 이미지를 메타데이터화 하기 위한 주석을 입력받는 사용자 인터페이스와, 상기 얼굴 이미지를 포함한 메타데이터와 도메인 규칙을 저장하는 지식 베이스 모듈 및 질의가 입력되면 상기 메타데이터와 도메인 규칙을 기반으로 소셜 관계를 추론하는 추론 엔진을 포함하는 소셜 네트워크 분석 시스템에 관한 것이다.

여기서, 상기 지식 베이스 모듈의 메타데이터와 도메인 규칙은 온톨로지로 유지되며, 상기 온톨로지는 해당 도메인에 속하는 개별 자원(resource)들에 명시적인 속성을 부여하여 연결된다.

또한, 상기 온톨로지는 FOAF(Friend of A Friend)에 정의된 클래스와 속성을 이용하여 구성될 수 있으며, 상기 온톨로지는 사람 간의 사회 관계에 관한 도메인, 사진에 관한 정보 도메인 및 얼굴 이미지에 관한 도메인 중 적어도 하나를 포함하는 것이 바람직하다.

이때, 상기 사람 간의 사회 관계에 관한 도메인에는 이름, 성별, 이메일 주소, 대상의 이미지 묘사, 가족, 동료 및 사회관계 중 적어도 하나의 정보가 포함될 수 있다.

한편, 상기 추론 엔진은 온톨로지를 구성하는 도메인에 포함된 인스턴스의 사실(fact)과 해당 인스턴스가 포함된 도메인의 미리 정의된 규칙을 기반으로 인접한 두 사용자 간의 의미적 관계를 추론할 수 있다.

또한, 상기 추론 엔진은 의미적 관계로 이어진 다수의 얼굴 이미지를 구성 노드로 하는 소셜 네트워크에서 질의 받은 두 사람 간의 최단경로를 탐색할 수 있다. 상기 소셜 네트워크에서 인접한 두 얼굴 이미지 노드 사이의 거리에는 의미적 연결 관계성을 고려한 소정의 가중치가 적용될 수 있다.

또한, 새로 추가된 노드 간의 의미적 연결 관계는 가상의 연결을 가지게 되고, 이에 따라 새로운 가중치가 적용되어 소셜 네트워크가 재구성된다.

상기 최단경로는 미리 정의된 속성에 의해 주어지는 1차 의미적 관계, 연관성 여부에 따라 주어지는 2차 의미적 관계 및 깊은 연관성 여부에 따라 주어지는 3차 의미적 관계를 이용하여 순차적으로 이용하여 탐색될 수 있다.

한편, 본 발명의 소셜 네트워크 분석 시스템에서 상기 사용자 인터페이스는 상기 최단경로 탐색에 의해 추론된 얼굴 이미지가 포함된 사진을 출력하는 기능 및/또는 질의된 사용자와 의미적 관계를 가지는 다른 사용자들을 의미적 관계 정도에 따라 구분하여 출력하는 기능을 더 포함할 수 있다.

본 발명에 의하면 각종 인물 사진을 의미적으로 정의하여 관리할 수 있고, 사용자들의 관계 및 사용자와 사진과의 명확한 관계를 정의함으로써 의미적인 가상 커뮤니티(소셜 네트워크)를 분석할 수 있으며, 이를 통해 정보 자원(resource)의 재사용과 공유를 증진시킬 수 있다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

소셜 네트워크(Social Network)란 일반적으로 친구, 직장 동료 또는 정보를 교환하는 관계 등 다양한 사회적 관계를 통해 연결된 사람이나 조직 혹은 다른 사회적 개체의 집합을 의미한다. 최근 인터넷의 발달과 더불어 블로그나 온라인 카페 등 웹상의 네트워크화 된 정보 공간에 사용자가 자신의 개인적인 정보를 자유롭게 게시할 수 있도록 하는 서비스가 증가하면서 사용자들 사이의 관계에 초점을 맞춘 소셜 네트워크 분야의 연구가 활발히 이루어지고 있다. 이와 같은 사용자들은 단순히 사회적인 측면뿐만 아니라 교육, 정치, 경제 등 다양한 분야의 가상 커뮤니티를 형성함으로써 현대 사회의 주요한 부분으로 자리매김하고 있다.

소셜 네트워크 분석(Social Network Analysis: SNA)은 이러한 사회적 개체들 간의 관계를 바탕으로 이미 알려져 있지 않은 특정한 패턴을 발견해내는 데 그 목적이 있다. 이미 언급한 바와 같이 폭넓은 분야에서 연구가 계속되고 있으며, 이에 따른 다양한 응용 연구가 진행되어 왔다.

C. Chen은 전자 도서관 자료의 저자들이 참조한 다른 자료들의 목록을(co-citation) 바탕으로 이들의 관계를 분석하고 시각화하였다. 또한 문서의 공동 저자 간의 관계를 분석하고, 더 나아가 공동 저자 네트워크 내에서 영향력 있는 개인을 발견해 내었다.

상용되고 있는 인터넷 소셜 네트워킹 서비스로는 주로 전문가 집단의 네트워크를 형성하기 위한 비즈니스 지향적 소셜 네트워킹 사이트인 LinkedIn, Linknow 등이 있으며, orkut, MySpace, facebook, 싸이월드 등과 같이 개인적인 친분 관계의 유지와 확장, 정보의 공유를 목적으로 소셜 네트워크를 구성하는 서비스 등이 있다.

연구와 적용 분야의 다양성만큼이나 분석을 위한 접근 방법 또한 매우 다양한데, 최근 시멘틱 웹 패러다임(sementic web paradigm)의 발달과 함께 소셜 네트워크 모델링과 분석의 접근 방법 중 하나로 온톨로지(ontology)의 이용이 큰 비중을 얻고 있다. 소셜 네트워크의 모델링과 분석에 온톨로지를 사용함으로써 얻을 수 있는 이점은 다음과 같다.

우선 온톨로지는 일반적으로 주어진 도메인에 관련된 개념과 이들 상호간의 관계를 설명하고 명세를 제공하기 위해 사용된다. 소셜 네트워크는 각 개체와 개체간의 사회적 관계에 대한 명세를 제공하고자 하는 목적을 갖는다는 점에서 온톨로지의 일반적인 목적과 부합한다. 또한, 온톨로지는 양립되거나 일관성 없는 정보의 모델링을 허용하지 않기 때문에 정보의 유효성을 보장할 수 있다. 마지막으로, 온톨로지는 적절한 규칙(rule)과 추론 메카니즘을 통해 새로운 정보를 추론하여 얻을 수 있도록 한다. 이전에 존재하지 않았던 개체 간의 새로운 관계를 발견해 내는 데 이러한 추론 메카니즘을 사용할 수 있다.

온톨로지를 이용한 소셜 네트워크의 분석과 이에 관련한 응용 사례는 다음과 같다. P. Mika는 온톨로지로 표현되는 소셜 네트워크 데이터를 수집하고 이를 이용하여 소셜 네트워크를 분석, 평가하였으며, P.O.Wennerberg는 온톨로지와 소셜 네트워크의 분석을 통해 특정 도메인의 지식 베이스에서 지식을 발견(knowledge discovery)해내는 하나의 접근 방법으로 사용하였다. 또한 Aleman-Meza는 두 개의 서로 다른 소셜 네트워크를 통합하는 과정에서 발생하는 이익 충돌(conflict of interest) 관계를 효과적으로 분석하기 위해 온톨로지를 사용하였고, 사용자에게 적절한 정보를 추천해 주기 위한 목적으로 온톨로지를 이용하여 사용자를 모델링하고 이들 간의 관계를 분석하는 등의 연구가 진행 중이다.

본 발명은 이러한 온톨로지와 사진을 접목하여 소셜 네트워크를 분석하는 시스템을 제안한다.

인터넷상에서 사진의 효과적인 관리와 공유를 돕는 서비스나 사진 정보를 손쉽게 게시할 수 있는 개인 블로그 형태의 웹 페이지를 제공하는 서비스를 접하기란 그리 어려운 일이 아니다. 대표적인 서비스인 Flickr는 사진을 공유하고자 하는 다른 사용자를 사진의 소유자가 선택할 수 있어, 사진 교환이나 공유 관계를 통해 단순한 형태의 소셜 네트워크 분석이 가능하다.

사진 데이터를 소셜 네트워크 분석에 사용할 경우, 사진에 나타난 사람 간의 관계와 사진의 소유 관계 등에서 소셜 네트워크를 유추할 수 있으며, 사진에 대한 메타 데이터를 주석(annotation)이나 태그 등을 붙이는 방법으로 다양한 네트워크의 분석에 사용될 수 있는 풍부한 개체의 정보를 제공하기도 한다.

본 발명의 소셜 네트워크 분석 시스템을 구체적으로 살펴보면 다음과 같다.

도 1은 본 발명의 일 실시예에 따른 얼굴 사진을 이용한 시맨틱 소셜 네트워크 분석 시스템의 구조도이다.

얼굴 추출 모듈(110)은 웹 인터페이스를 통해 업로드된 사진 데이터에서 등장 인물들의 얼굴 영역을 인식하여 별도의 이미지 데이터로 추출한다. 사용자는 소정의 인터페이스(150)를 통해 상기 추출된 각 이미지 데이터와 특정 사용자와 관계 를 형성시키기 위한 메타데이터를 입력받는다. 메타데이터를 통해 얼굴 이미지는 식별이 가능한 고유성을 가지게 된다. 메타데이터는 FOAF(Friend Of A Friend) 프로파일을 이용하여 표현될 수 있다.

FOAF(Friend Of A Friend) 프로젝트는 사람에 관련된 정보와 그들의 관계, 흥미, 활동 등에 관한 메타데이터로 표현하기 위해 RDF 어휘(vocabulary)를 정의하는 커뮤니티 기반 연구 활동이다.

일반적인 상용 서비스에서 소셜 네트워크를 구성하기 위해 중앙 서버에 이를 사용자의 정보를 저장하고 유지하는 것과는 달리 FOAF 프로파일은 개개의 사용자에 의해 작성되고, 사용자 개개인의 웹 페이지 등에 분산되어 저장된다. 이와 같은 FOAF 프로파일은 또한 각 개인의 프로파일 내에서 자신과 관계있는 사람의 프로파일을 연결(link) 하여 네트워크를 구조화할 수 있도록 하고, 그 자체로 기계가 처리할 수 있는 공통적인 형식으로 기술된 하나의 소셜 네트워크가 형성된다.

FOAF 문서는 개체의 구별과 기술이 간단하며 서로 다른 문서 간의 통합이 쉬운 특성 때문에 최근 온라인 소셜 네트워크 분석의 데이터 기술과 분석 방법으로 자주 사용된다.

FOAF 문서 자체의 구조와 특성을 분석하여 소셜 네트워크에서 사용자 간 각종 연결 패턴을 찾아낼 수 있으며, 탐색된 연결 패턴들은 지능형 웹 기반 정보 시스템 구축에 활용될 수 있다.

또한, FOAF로 이루어진 데이터의 기계적 학습 원리를 활용하여 방대한 소셜 네트워크에서 여러 형태의 사회 그룹을 분석해낼 수 있으며, 신뢰 네트워크 모델링 을 위한 새로운 FOAF 클래스와 9 단계의 신뢰 정도를 나타내는 Person 클래스의 새로운 속성을 정의함으로써 사용자들 사이의 신뢰도 정도를 소셜 네트워크의 분석에 활용할 수 있다.

이미지 저장소(120)에는 사용자가 시스템에 업로드한 사진과 사진에서 추출된 얼굴 이미지가 저장된다.

지식 베이스 모듈(130)에는 온톨로지와 도메인 규칙으로 표현된 지식과 메타데이터가 위치한다.

온톨로지(Ontology)는 사람, 사진, 사진에서 추출된 얼굴 이미지, 소셜 관계 등 소셜 네트워크를 구축하는데 필요한 정보들을 클래스와 속성으로 정의하여 OWL로 표현한 것이다. 그리고 상기 정의된 클래스와 속성을 바탕으로 SWRL(Semantic Web Rule Language)를 이용하여 도메인 규칙을 생성한다.

온톨로지와 얼굴 추출 모듈(110)은 다음과 같은 과정을 통하여 상호 운용된다.

얼굴 추출 모듈(110)을 통해 식별 가능한 메타데이터로 표현된 얼굴 이미지는 온톨로지의 얼굴 관련 클래스 내에 인스턴스로 포함된다. 차후, 사용자는 얼굴 관련 클래스 등과 같이 사람에 관해 묘사한 클래스와 그 안에 정의된 속성에 의한 관계를 통해 어떤 개인을 묘사하고 있는지를 파악할 수 있다.

추론 엔진(140)은 사용자가 던진 질의를 분석, 처리하고 지식베이스의 인스턴스와 정의된 규칙을 기반으로 새로운 소셜 관계를 추론 또는 분석한다. 그리고 그 결과를 사용자에게 시각화하여 제공한다.

소셜 네트워크 추론(Social Network Inference) 또는 소셜 네트워크 분석(Social Network Analysis)의 목적은 특정한 사람, 그룹 또는 조직의 관계를 분석하는 것이다. 소셜 네트워크 분석을 통해 주어진 범주 내의 전체 관계에서 사용자와 이미 인맥관계를 형성하고 있는 사람들의 정보적 연결성을 발견하고 새로운 사회적 연결 관계를 추론해 낼 수 있다.

관계 분석을 위해서는 기본적으로 특정 개인이 가지는 일반적인 정보를 수집하여 상황이나 범위를 구체화할 필요가 있다. 이러한 정보를 기반으로 사람간의 연쇄적 연결 구조를 표현하여 광범위한 소셜 네트워크를 형성할 수 있다. 그러나 단지 사람 사이의 연결 관계를 표현할 수 있을 뿐 관계가 갖는 의미를 발견할 수 있는 것은 아니다.

본 발명에서는 시맨틱 웹과 소셜 네트워크를 합성한 시맨틱 소셜 네트워크를 제안한다. 시맨틱 소셜 네트워크에서는 상술한 바와 같은 사회적 연결 관계에 의미를 부여하였으며, 리소스와 리소스에 관련된 사람이 함께 연결되어 있기 때문에 사람 간의 다양한 의미적 연결 관계의 표현과 추론이 가능해진다.　 특히, 본 발명에서는 사용자들의 사진을 분석하여 시맨틱 소셜 네트워크를 구성하고 새로운 소셜 관계를 추론한다.

소셜 네트워크 분석을 위한 온톨로지 구성 과정을 상세하게 살펴보면 다음과 같다.

본 실시예에서는 사용자들에 의해 업로드 된 사진에 관한 정보, 개인이 가지 는 프로파일, 사람 간의 연결 관계에 대한 소셜 온톨로지를 OWL(Ontology Web Language)로 정의하기로 한다. 도 2는 온톨로지의 클래스와 속성의 개략적인 관계를 나타낸 것이다.

본 발명에서 구축한 온톨로지는 특정 도메인의 지식 표현이 아닌 서로 다른 개체들을 어떻게 표현하여 의미적으로 연결할 수 있을 것인지에 초점을 둔다. 여기에서의 의미적 연결이란 개별 자원(resource)들에 명시적인 속성을 부여하여 연결하는 것을 말한다.

여기서는 본 발명의 일 실시예로 시맨틱 소셜 온톨로지의 구성을 위해 FOAF에 정의된 클래스와 속성을 활용하기로 한다. 구체적인 일례로, foaf:Person 클래스의 서브클래스로 es:User 클래스를 정의하여, 특정 사용자가 가지는 일련의 정보들을 FOAF에서 상속받은 속성과 새롭게 정의한 속성으로 표현할 수 있다. 그리고 사람 간의 사회관계 및 사진에 관한 정보 그리고 얼굴 이미지에 관한 도메인을 따로 정의하여 온톨로지를 구축할 수 있다.

도 3은 사진 클래스(es:Photo), 얼굴 이미지 클래스(es:Face), 그리고 사용자 클래스(es:User)와의 관계를 나타낸다.

각각의 photo1, photo2에서 추출된 얼굴 이미지는 hasFace(역관계: appearedIn) 속성을 통해 Face 클래스의 얼굴 이미지들과 관계를 갖는다. photo1에서 추출된 얼굴 이미지 face1, face2, face3은 동시에 등장한 인물에 대한 정보를 정의한 coOccurred 속성에 의해 관계를 갖는다. 또한, owner 속성은 사진을 소유하고 있는 소유자가 누구인지에 관한 정보를 나타낸다.

photo1, photo2에서 각각 추출된 face3과 face5는 sameDepicton 속성에 의해 동일한 인물을 묘사하고 있음을 알 수 있다. Face 클래스가 포함하고 있는 얼굴 이미지들에 관한 인스턴스들은 foaf:depicts(역관계: foaf:depiction) 속성에 의해 User 클래스의 인스턴스와 연결된다. 이와 같은 Photo, Face, User 클래스 간의 정의된 속성에 의해 사람 간의 소셜 관계를 발견할 수 있다.

도 4는 기계가 인식할 수 있는 RDF구문의 명세에 대한 일례이다.

es:User 클래스는 foaf:name, foaf:gender, foaf:mbox, foaf:depicts, es:coWorker, hasFamily, hasConnectionTo 속성으로 정의하여 개인의 이름, 성별, 이메일 주소, 대상의 이미지 묘사, 가족, 동료, 사회관계 등과 같은 정보를 표현한다.

이하, 소셜 네트워크의 관계 추론을 위한 도메인 규칙 설정 과정을 살펴보기로 한다.

전술한 바와 같이 사용자와의 연결 관계의 발견은 추론 엔진(140)을 통해 이루어진다. 이러한 추론은 SWRL에 의해 정의된 도메인 규칙(domain rule)을 기반으로 수행된다.　

SWRL(Semantic Web Rule Language)은 OWL의 하부 언어인 OWL DL 및 OWL Lite와 RuleML의 하부 언어인 Unary/Binary Datalog RuleML을 통합한 언어이다. SWRL은 유사 Horn 규칙(Horn-like rules)을 포함시켜 OWL의 공리(axiom)를 확장함으로써 유사 Horn 규칙을 OWL 지식 베이스와 통합시킬 수 있도록 한다. SWRL의 규칙은 전제(antecedent (body))와 결과(consequent(head)) 간의 관계를 표시하는 형 태를 갖는다.

이는 전제에 기술된 조건들이 만족될 때마다 결과에 기술된 조건들도 만족된다는 것을 의미한다.　 다수의 원소들은 AND결합(conjunctive)으로 처리되며 C(x), P(x, y), sameAs(x, y), differentFrom(x, y) 등과 같은 형태로 표현된다. 표 1은 본 발명에서 정의한 몇 가지 규칙의 일례이다.

No	Domain rules
Rule 1	Photo(?x) ∧ Owner(?x, ?y) ∧ hasFace(?x, ?z) ∧ depicts(?z, ?k) ∧ differentFrom(?y, ?k) →　 hasRelationWith(?y, ?k)
	"Photo x는 user y가 소유하고 있고 facdPhoto z가 Photo x에 등장하고 z가 user k를 묘사하고 y와 k가 동일인물이 아니면 hasRelation의 개념을 갖는다."
Rule 2	Face(?x) ∧ depicts(?x, ?y) ∧ depicts(?z, ?y) ∧ differentFrom(?x, ?z) → sameDepiction(?x,?z)
	"facePhoto x가 y를 묘사하고 facePhoto z가 y를 묘사하면 y에 대한 sameDepiction의 개념을 갖는다. "
Rule 3	User(?x) ∧ hasInterest(?x, ?y) ∧ hasInterest(?z, ?y) ∧ differentFrom(?x, ?z) → SameInterest(?x, ?z)
	"user x가 y와 Interest이고, y와 z가 Interest인 경우에, x와 z가 동일 인물이 아니면 x와 z는 Intersts의 개념을 갖는다"
Rule 4	Face(?x) ∧ appearedIn(?x, ?y) ∧ foaf:depicts(?x, ?z) ∧ Owner(?y, ?k) ∧ FreqFace(?x, ?k) → hasDeepRelationWith(?z, ?k)
	"facePhoto x가 photo y에 나타나고 x가 z를 묘사하고 k가 y를 소유하면 hasDeepRelationWith의 개념을 갖는다."
Rule 5	user(?x) ∧ hasRelationWith(?x, ?y) ∧ hasRelationWith(?y, ?x) → connectivitionTo(?x, ?y)
	"User x가 y를 알고 있고 y가 x를 알고 있으면 서로 connectivity의 개념을 갖는다."

두 사용자의 의미적 관계 추론은 인스턴스의 사실(fact)과 정의된 도메인 규칙 기반으로 이루어진다. 제안된 시스템은 추론을 통하여 두 사용자 간의 친밀도가 높은 최상의 연결된 경로를 탐색하여 의미적 관계를 추론한다. 탐색 과정을 통해 발견해 낸 두 사용자 간의 최상의 연결 경로는 사용자와 밀접한 관계를 가지는 사람들을 통해 새로운 연결 관계를 추론해 냄으로써 사용자의 인맥 형성 네트워크를 증대시킨다.

추론을 기반으로 한 시맨틱 경로 탐색의 과정을 도 5와 도 6의 비교를 통하여 설명하기로 한다. 도 5는 사진의 얼굴로부터 구성된 소셜 네트워크를 도시한 것이고, 도 6은 도 5에서 구성된 소셜 네트워크를 의미적 관계로 재구성한 것이다. 본 실시예에는 제안된 시스템의 최단 경로 탐색을 위해 Floyed-Warshell 알고리즘을 이용하기로 한다.

도면 5에서 보듯, 사진 소유자의 사진에 등장한 사람들(es:hasRelationWith) 간의 상호 관계는 방향성 있는 간선으로 연결되고, 간선의 거리(distance)는 1로 설정된 경우를 상정한다. 예를 들어, Floyed-Warshell 알고리즘으로 사용자 A에서 사용자 G까지의 최적의 경로를 탐색할 경우, 연결 노드의 수가 적은 사용자 C, 사용자 E를 거치는 경로가 선택된다. 하지만 노드 간의 연결 관계만을 고려하였기 때문에 사용자 간의 의미적 관계가 간과될 수 있다.

이러한 문제를 보완하기 위해, 본 발명에서는 도면 6과 같이 최적의 경로를 탐색 과정에서 추론된 결과를 바탕으로 소셜 관계를 재구성할 것을 제안한다.

두 노드 사이의 거리는 의미적인 연결 관계를 고려하여 서로 다른 값을 부여한다. 그리고 새로 추가된 노드 간의 의미적 연결 관계는 가상의 연결(virtual link)을 갖게 되고, 이에 따라 새로운 가중치(거리)를 부여함으로써 소셜 그래프는 재구성될 수 있다.

사용자 사이의 관계는 정의된 속성, es:hasRelationWith, es:hasConnectionTo, 그리고 es:hasDeepRelationWith에 의해 3단계로 나누어 부여할 수 있다.

예를 들어, 도면 6과 같이 사용자 A에서 사용자 G까지의 최적의 경로를 탐색할 경우, 사용자 A와 사용자 B가 각각 함께 찍은 사진을 서로 소유하고 있고 A가 같은 프로젝트에 참여하는 동료 관계(es:coWorker)일 경우, A와 B는 es:hasConnectionTo의 관계가 추론된다. 마찬가지로 사용자 B와 사용자 D가 같은 프로젝트에 참여하는 동료 관계일 때, 사용자 A가 사용자 D의 직접적인 관계를 가지고 있지 않아도 추론에 의해 같은 프로젝트 동료임을 발견할 수 있다. 또한 사용자 D가 소유한 사진에 사용자 F가 빈번하게 출현하였다면, 정의된 규칙에 의해 사용자 D와 사용자 F는 친밀한 관계(es::hasDeepRelationWith)임을 추론하게 된다.

이렇게 재구성된 소셜 그래프와 서로 다른 간선의 거리 값으로부터 Floyed-Warshell 알고리즘으로 최적의 경로를 탐색한다면, 도면 5의 결과와 다르게 의미적 관계가 부여된 A->B->D->F->G의 경로가 선택되어 진다.

본 실시예에서 제안된 시스템은 ATL Server 8.0 Framework 및 IIS6.0의 웹 서버 환경 하에, 얼굴 분석은 Intel의 컴퓨터 영상 프로그램 라이브러리인 OpenCV1.0을 사용하여 구현될 수 있다. 또한, 추론 서버로 BEA Weblogic 9.2, 추론엔진은 Bossam 0.9b45를 사용하며, Protege3.3 플랫폼(platform)을 이용하여 온톨로지 및 도메인 규칙을 구축할 수 있다.

또한, 사용자 인터페이스는 도 7과 같은 4 가지 컴포넌트(component)로 구성될 수 있다. 도 7은 본 발명의 소셜 네트워크 분석 시스템을 구성하는 웹 사용자 인터페이스 화면의 일례를 도시한 것이다.

이와 같은 사용자 인터페이스(150)는 사용자가 사진을 업로드 할 수 있도록 하거나, 사용자가 소유하고 있는 사진으로부터 추출된 얼굴 이미지와 전체 사진을 보여주는 등의 컴포넌트를 제공할 수 있다. 즉, 사용자가 추출된 얼굴 이미지를 클릭하면 전체 사진 중 유사한 얼굴이 등장하는 사진을 검색하여 보여주고, 사용자가 네트워크상에서 소셜 관계를 가지는 사람들을 그래프로 표현하며, 사람 간의 최적 경로를 탐색하는 기능을 제공한다.

도 8은 얼굴 이미지를 클릭하였을 때 Face 클래스에 정의된 속성을 기반으로 선택된 얼굴 이미지와 관련이 있는 전체 사진을 검색하여 사용자에게 보여주는 일예를 도시한다.

도 9는 사용자가 사진을 업로드 하였을 때 얼굴 영역을 인식하고 추출된 얼굴 개체를 정의된 User 클래스의 사용자와 연결하는 부분을 나타낸다. 즉, 얼굴 사진은 온톨로지 내의 사용자 프로파일과 매칭되어 식별 가능한 의미적 정보로 표현된다.

시스템은 도 10과 같이 사용자의 사진에 등장하는 사람들을 기반으로 그 관계를 소셜 네트워크 그래프로 시각화할 수 있다. 특정 개인과의 소셜 관계를 찾고자 질의를 하면 시스템은 온톨로지에 정의된 클래스와 속성, 그리고 도메인 규칙을 적용하여 사용자 간의 정보적 연결성을 추론하여 제공한다.

한편, 본 발명에서 제안된 시스템을 이용하여 발견된 두 사용자 간의 연결 경로가 실제로 높은 친밀도를 가지는 인맥들을 바탕으로 탐색 되었는지 여부를 실험을 통해 평가한 결과를 소개하면 다음과 같다.

성능 평가를 위해 30명의 사용자(사진 소유자)가 직접 사진들을 업로드 하여 총 307장의 사진 데이터를 구축하고, 업로드 된 사진으로부터 추출된 378개의 얼굴 이미지를 이용하기로 한다. 여기에서 추출된 얼굴 이미지의 개수는 온톨로지 내에 클래스와 속성으로 정의된 사용자 프로파일의 개수와 동일하다고 가정한다. 실험을 위한 데이터 집합은 표 2와 같다.

# of user profile	# of photo owner	# of photos
378	30	307

( number of face photos = number of user profiles )

구체적인 평가 방법은 다음과 같다.

즉, 사진을 실제 소유하고 있는 사용자 30명 중 한 명과 시스템에서 임의의 사용자 한 명을 선택하여 이 두 사람 간의 소셜 연결 경로를 추론하고 그 결과가 얼마나 정확하게 예측되었는가를 평가한다. 시스템이 표 3과 같은 소셜 연결 경로 질의 50개를 수행하고, 질의된 두 사람의 연결 관계는 실제 두 단계에서 다섯 단계 사이의 대상으로 선택한다.

표 3은 소셜 관계 분석을 위한 질의의 일례를 나타낸다.

Query examples

Searching the best linked-path between "Seung-Hoon Lee and "Young-sook Kim"

추론 결과를 바탕으로 탐색된 연결 경로(SR)의 정확성은 사용자 간의 Binary Relationship을 바탕으로 탐색된 경로(BR)와의 비교, 분석을 통하여 평가된다.

앞에서 언급하였듯이 소셜 그래프에서 각각의 BR과 SR은　 Floyed-Warshell 알고리즘을 이용하여 최단 경로를 탐색할 수 있다.　 BR은 foaf:knows 속성과 같은 개체들 간의 연결 관계를 방향성 간선으로 표현하고 노드 간의 연결 관계가 있으면 그 거리를 1로 설정하기로 한다. 여기서 사진 소유자의 사진에 등장한 사람은 foaf:knows 속성을 갖는다고 가정한다. 제안된 방법(SR)은 온톨로지에 정의된 클래스, 속성 및 규칙에 의해 추론된 결과를 반영한다. 새로 추론된 노드 간의 의미적인 연결 관계는 소셜 그래프로부터 가상의 연결(virtual link)을 갖는다.

사용자 간의 추론된 관계 및 가상의 연결 관계에 대하여 연결 간선의 거리를 3단계로 나눌 수 있다. 예를 들어, 두 사용자의 관계가 es:hasRelationWith일 경우의 간선 거리를 1, es:hasConnectionTo일 경우는 0.7, 그리고　 es:hasDeepRelationWith일 경우는 0.5로 각각 추론된 결과를 기반으로 부여한다.

제안된 방법의 평가는 질의에 대한 결과로 탐색된 두 사람 간의 최적 경로가 실제 사용자와의 소셜 관계와 얼마나 유사한가를 기준으로 한다. 이는 테스트 데이터 집합에 대한 매칭 데이터의 비율로 판단하며, 계산식은 다음과 같다.

( Test : 테스트 데이터 집합, Result : 탐색된 경로 결과 집합)

도 11은 BR과 SR에 대한 적중률을 비교한 것이다. 그래프에서 보는 바와 같이 제안된 시스템에서 탐색된 소셜 연결 경로 SR의 적중률은 72%로 BR의 적중률 56%보다 16% 향상된 성능을 보이고 있다. 즉, 제안한 시스템이 친밀도가 높은 사람 간의 최적 연결 경로를 탐색하는 데 효율적이라는 것을 알 수 있다.

BR에서는 사진에 나타난 사용자의 연결 관계(es:hasRelationship) 만을 경로 탐색에 사용하므로 각 노드(사용자)가 어떤 의미로 연결되었는지 파악할 수 없다. 또한 모두 같은 연결 관계의 간선 거리로　 최단 경로를 탐색하였기 때문에, 단순히 연결된 노드의 개수가 적어 그 거리가 짧은 경로를 결과로 제공한다.

이에 비해 제안된 SR 기반에서는 온톨로지를 바탕으로 사진과 사용자, 사용자와 사용자 간의 관계를 명확히 하고 정의된 규칙에 의해 새로운 관계 및 지식을 추론함으로써, 새로운 가상의 연결 관계를 생성할 수 있다. 또한 두 사용자 간의 관계를 의미적으로 추론하여 그 간선 거리를 상이하게 설정할 수 있다. 추론된 새로운 연결 관계와 의미에 따라 다르게 부여된 간선 거리를 바탕으로 한 최단 경로 탐색은 보다 정확한 두 사용자의 간의 의미적인 연결 경로를 제공할 수 있다.

한편, 실험에 참가한 커뮤니티 사용자(사진 소유자)가 협소하게 구성이 되어있어, 서로 복잡하게 연결되어 있는 집단(대체로 사진 소유자들)과 느슨하게 연결되어 있는 집단(얼굴만 추출된 사용자들)이 확연하게 구분된다. 그로 인해 연결 관계를 많이 가지고 있지 않은 일반 사용자까지 다양한 연결 경로를 가지지 못하는 현상이 발견된다. 더불어 소셜 관계에 대한 도메인 규칙이 풍부하고 세부적으로 정의되어 있지 않으면 새로운 관계 추론에 한계가 발생한다. 따라서 복잡한 네트워크 내에 소셜 관계를 추론 가능하도록 명확하고 새로운 규칙들을 많이 정의하여 성능을 향상시키는 것이 바람직하다. 표 4는 일부 사용자 간의 관계 추론의 결과이다.

User	Lee_Seunghoon	Han_Changho	Kim_Youngju	Cha_Sangjin	Ha_inay	Kim_Youngsuk	Kim_Youngtae	Lee_Hokyung	Kim_Hyunjun	Jung_Jina	Choi_Hyunhee
Lee_Seunghoon		C	R		D		C		D		R
Han_Changho			D	C		R
Kim_Youngju		D		C	R		C		R
Cha_Sangjin					D		C	D
Ha_inay			R	D		C		D	D	R
Kim_Youngsuk	R				C					C
Kim_Youngtae	C		C	R					R
Lee_Hokyung				D		R			C		R
Kim_Hyunjun	D				D			C		R

이상에서 살펴본 바와 같이, 기존의 소셜 네트워크 서비스가 사회적 개체들 간의 관계에 대하여 명확하게 정의하고 있지 않으므로 의미적 관계를 발견하는데 한계가 있다. 이를 해결하기 위해 본 발명에서는 시맨틱 웹 기반의 소셜 네트워크 분석 시스템을 제안하여, 사용자 개인의 사진으로부터 소셜 네트워크를 형성하고 시각화하는 시스템을 구현한다. 즉, 개인 사용자들이 업로드한 사진들을 분석하여 의미적인 가상 커뮤니티를 반자동적으로 구성하고 새로운 관계 추론에 활용한다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1은 본 발명의 일 실시예에 따른 얼굴 사진을 이용한 시맨틱 소셜 네트워크 분석 시스템의 구조도이다.

도 2는 온톨로지의 클래스와 속성의 개략적인 관계도이다.

도 3은 사진 클래스(es:Photo), 얼굴 이미지 클래스(es:Face), 그리고 사용자 클래스(es:User)와의 관계도이다.

도 4는 기계가 인식할 수 있는 RDF구문의 명세에 대한 일례이다.

도 5는 사진의 얼굴로부터 구성된 소셜 네트워크를 도시한 것이다.

도 6은 도 5에서 구성된 소셜 네트워크를 의미적 관계로 재구성한 것이다.

도 7은 본 발명의 소셜 네트워크 분석 시스템을 구성하는 웹 사용자 인터페이스 화면의 일례를 도시한 것이다.

도 8은 선택된 얼굴 이미지와 관련 있는 전체 사진의 검색 예를 도시한 화면이다.

도 9는 추출된 얼굴 개체를 미리 정의된 User 클래스의 사용자와 연결하는 과정을 도시한 화면이다.

도 10은 사용자의 사진에 등장하는 사람들을 기반으로 그 관계를 소셜 네트워크 그래프로 시각화한 일례이다.

도 11은 BR과 SR에 대한 적중률을 비교한 그래프이다.

Claims (13)

1. 사진 이미지에서 인물의 얼굴 영역을 인식하여 별도의 이미지 데이터로 추출하는 얼굴 추출 모듈;

   상기 추출된 얼굴 이미지를 메타데이터화 하기 위한 주석을 입력받는 사용자 인터페이스;

   상기 얼굴 이미지를 포함한 메타데이터와 도메인 규칙을 저장하는 지식 베이스 모듈; 및

   질의가 입력되면 상기 메타데이터와 도메인 규칙을 기반으로 소셜 관계를 추론하는 추론 엔진;을 포함하고,

   상기 지식 베이스 모듈의 메타데이터와 도메인 규칙은 온톨로지로 유지되고,

   상기 온톨로지는 사람 간의 사회 관계에 관한 도메인, 사진에 관한 정보 도메인 및 얼굴 이미지에 관한 도메인 중 적어도 하나를 포함하고,

   상기 추론 엔진은 의미적 관계로 이어진 다수의 얼굴 이미지를 구성 노드로 하는 소셜 네트워크에서 질의 받은 두 사람의 얼굴 이미지의 의미적 연결 관계성을 고려한 소정의 가중치를 적용하여 상기 질의 받은 두 사람 간의 최단경로를 탐색함과 아울러, 상기 두 사람의 노드 간의 의미적 연결 관계에 대한 가상의 연결을 생성하여 상기 소셜 네트워크를 재 구성하고,

   상기 두 사람 간의 최단경로는 미리 정의된 속성에 의해 주어지는 1차 의미적 관계, 연관성 여부에 따라 주어지는 2차 의미적 관계 및 깊은 연관성 여부에 따라 주어지는 3차 의미적 관계를 순차적으로 이용하여 탐색되는 것을 특징으로 하는 소셜 네트워크 분석 시스템.
2. 삭제
3. 제1항에 있어서,

   상기 온톨로지는 해당 도메인에 속하는 개별 자원(resource)들에 명시적인 속성을 부여하여 연결된 것임을 특징으로 하는 소셜 네트워크 분석 시스템.
4. 제1항에 있어서,

   상기 온톨로지는 FOAF(Friend of A Friend)에 정의된 클래스와 속성을 이용하여 구성되는 것을 특징으로 하는 소셜 네트워크 분석 시스템.
5. 삭제
6. 제1항에 있어서,

   상기 사람 간의 사회 관계에 관한 도메인에는 이름, 성별, 이메일 주소, 대상의 이미지 묘사, 가족, 동료 및 사회관계 중 적어도 하나의 정보가 포함되는 것을 특징으로 하는 소셜 네트워크 분석 시스템.
7. 제1항에 있어서,

   상기 추론 엔진은 온톨로지를 구성하는 도메인에 포함된 인스턴스의 사실(fact)과 해당 인스턴스가 포함된 도메인의 미리 정의된 규칙을 기반으로 인접한 두 사용자 간의 의미적 관계를 추론하는 것을 특징으로 하는 소셜 네트워크 분석 시스템.
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 제7항에 있어서,

    상기 사용자 인터페이스는 상기 최단경로 탐색에 의해 추론된 얼굴 이미지가 포함된 사진을 출력하는 기능을 더 포함하는 소셜 네트워크 분석 시스템.
13. 제7항에 있어서,

    상기 사용자 인터페이스는 질의된 사용자와 의미적 관계를 가지는 다른 사용자들을 의미적 관계 정도에 따라 구분하여 출력하는 기능을 더 포함하는 소셜 네트워크 분석 시스템.

Images