KR101479260B1 - 사진 기반 인물 친밀도 검색 방법 - Google Patents

Abstract

본 발명은 사진의 촬영된 인물, 촬영 시간, 촬영 장소 정보를 이용하여 사진 연관 그래프를 구축하고, 다시 이를 통해 인물 친밀도 연관 그래프를 새롭게 정의하여 인물 기반 사진 클러스터링을 수행하여 그룹핑된 사진을 효과적으로 검색할 수 있는 사진 기반 인물 친밀도 검색 방법을 제공하기 위한 것으로서, (A) 단말기로부터 사진 정보를 입력받는 단계와, (B) 상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 단계와, (C) 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 클러스터링을 수행하는 단계와, (D) 상기 클러스터링부의 출력을 기반으로 사진 간의 연관성 및 인물간의 친밀도를 이용하여 그룹 서술정보를 생성하는 단계와, (E) 상기 생성된 사진서술 정보 및 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하여 저장하는 단계와, (F) 사용자로부터 사진 검색이 요청되면, 상기 저장된 사진앨범 정보를 사용자 단말기로 전송하는 단계와, (G) 상기 전송된 사진앨범 정보를 이용하여 검색 결과를 출력하는 단계를 포함하여 이루어지는데 있다.

Description

사진 기반 인물 친밀도 검색 방법{Method for searching closeness between people based on photos}

본 발명은 사진 기반 인물 친밀도 검색 방법에 관한 것으로, 특히 사진의 촬영된 인물, 촬영 장소, 촬영 시간 정보를 이용하여 사진 간의 연관을 구축하고, 이를 통해 구축된 개인 간의 신뢰도 높은 연관 사진을 검색하는 방법에 관한 것이다.

최근 디지털 카메라의 수요가 점점 더 증가하고 있다. 특히 메모리 기술의 발전으로 고집적/초소형 메모리의 사용이 일반화되고 있고, 화질을 크게 손상시키지 않는 디지털 영상 압축 기술이 개발됨에 따라, 사용자들은 한 개의 메모리 장치에 많게는 수백 장에서 수천 장의 사진을 저장할 수 있게 되었다. 이에 따라, 많은 사진들을 보다 효과적으로 관리하기 위한 장치와 도구가 필요하게 되었다. 이에 효율적인 디지털 사진 앨범에 대한 사용자의 요구가 증가하고 있다.

일반적인 디지털 사진 앨범은 사용자가 촬영한 사진을 디지털 카메라나 메모리 카드 등으로부터 사용자의 로컬 저장 장치로 옮겨오고, 사진 등을 컴퓨터에서 관리하기 위한 것이다. 사용자들은 사진 앨범을 이용하여 여러 사진들을 시간 별로, 인물 별로, 혹은 특정한 카테고리 별로 클러스터링하고 인덱싱한다. 이렇게 구성된 사진 앨범은 나중에 사용자가 사진 데이터를 브라우징하거나 다른 사용자들과 사진을 쉽게 공유할 수 있도록 한다.

David Frohlich는 Requirement for photoware (ACM CSCW, 2002)에서 많은 사용자들을 대상으로 한 설문을 통하여 사람들이 요구하는 사진 앨범의 기능을 조사하였다. 대부분의 사람들은 디지털 사진 앨범의 필요성에는 동감하였으나, 많은 사진을 일일이 그룹핑하거나 라벨링하는데 소요되는 시간과 노력을 크게 불편해했으며, 다른 사람들과 사진을 공유하는 데에도 많은 어려움을 호소하였다.

지금까지, 사진 데이터를 클러스터링하는 방법을 제안한 많은 연구들이 있었다. 기본적으로는 사진이 찍힌 시간에 따라 클러스터링하는 방법, 사진의 내용 기반 특징 정보를 사용하여 클러스터링하는 방법들 등이 있었다. 이에 더 나아가 사진의 이벤트에 기반하여 클러스터링하는 방법 및 사진에 찍힌 인물에 기반하여 사진을 클러스터링하는 방법들 등이 연구되었다.

이 가운데 사용자들이 가장 유용하게, 그리고 자주 사용할 수 있는 앨범화 방법들 가운데 하나가 사진 데이터를 인물별로 클러스터링하는 것이다. 대용량의 사진 데이터를 사진에 찍힌 인물별로 사진을 자동으로 클러스터링하는 것은 사용자가 다른 사람들과 사진 데이터를 공유하거나, 추후에 사진 데이터를 브라우징하는 것을 쉽게 해준다.

사진 데이터를 인물별로 클러스터링하는 과정에 있어서 가장 중요한 기술은 얼굴인식 기술이다. 얼굴인식은 사람마다 다른 얼굴을 모아서 얼굴 데이터베이스를 만들어 놓고, 입력되는 얼굴영상을 이미 만들어 놓은 데이터베이스의 얼굴 영상들과 비교해서 그것이 누구인지 판별해내는 과정으로 설명할 수 있다.

즉, 사진 데이터에서 얼굴 영상을 검출(detection)하고 이를 데이터베이스의 얼굴 영상들과 매칭하여 해당 얼굴을 인식(recognition)하는 과정이다. 이를 위해서 영상 처리 방법에서 패턴인식을 수행할 때와 거의 같은 과정을 거치게 되는데, 영상 획득, 전 처리, 얼굴추출, 얼굴인식 등의 과정을 거치게 된다.

영상으로부터 얼굴을 검출하거나 얼굴을 인식하는 방법에 대한 연구는 지금까지 매우 많이 이루어졌다. 얼굴인식 분야는 보안 시스템을 위주로 발전하였다. 예를 들어, 지능형 무인 감시 시스템이나 출입자 통제 시스템, 그리고 범죄 용의자 검색 등의 시스템을 위한 얼굴추출 및 인식에 대한 연구가 주로 수행되었다. 이러한 응용 분야에서는 인물의 얼굴을 보다 정확하게 추출하고, 외부 조명이나, 인물의 표정 및 포즈에 대한 강인한 얼굴 인식 방법을 개발하는데 연구의 초점이 맞춰져 있다.

이에 반하여, 사진 데이터에서 얼굴을 인식하는 연구는 매우 초기 단계이다. 사진 데이터에서 얼굴을 추출하거나 인식하는 과정은 보안 시스템에서 획득된 영상으로부터 얼굴을 추출하거나 인식하는 과정보다 훨씬 더 어렵다. 보안 시스템에서는 고정된 공간에 설치된 고정된 카메라를 사용하여 영상을 획득하기 때문에, 영상으로부터 추출된 얼굴 영상은 비교적 정형화된 배경을 가지고 있다. 이에 반하여 사진 데이터는 사용자가 카메라를 가지고 다니면서 찍은 영상이기 때문에, 사진 속의 배경은 일반적으로 매우 자주 변하고 다양하다. 뿐만 아니라, 사용자가 카메라를 조작하는 방법(예를 들어, 카메라 줌의 사용이나 플래쉬의 사용 등) 또는 사진을 찍을 당시의 카메라의 방향에 따라 고정된 공간에서도 다양한 배경을 가질 수 있으며, 외부 조명이나 조도의 변화가 훨씬 크다.

상기와 같은 이유로 인하여, 사진 데이터를 인물별로 클러스터링하는 방법에 있어서, 기존의 보안 시스템에서의 응용 방법처럼 얼굴 영상만 사용하면 매우 낮은 성능이 발생된다. 사진 데이터를 인물별로 보다 잘 클러스터링하기 위해서는 사진으로부터 추출된 얼굴영상 정보뿐만 아니라 사진으로부터 얻을 수 있는 그 외의 다양한 부가 정보를 함께 이용하는 방법 및 시스템이 요구된다.

이러한 문제점을 해결하기 위한 선행 연구로써, 다음의 연구들이 대표적이다.

첫째로, Face Recognition-Matching System Effective to Images Obtained in Different Imaging Conditions(US 6,345,109 B1, 2002/02)에서는 조명 등으로부터 비교적 간섭이 적은 정면의 얼굴영상으로 잡음이 심한 얼굴 영상을 인식해내는 시스템을 제안하였다. 하지만 이 시스템은 사용자가 잡음이 덜한 얼굴 영상들을 미리 준비해 두어야한다는 문제점이 있다.

둘째로, Automatic Cataloging of People in Digital Photographs (US 6,606,398 B2, 2003/08)에서는 데이터베이스에 저장되어 있는 각각의 얼굴 영상들과 관계된 식별 매개 변수(identification parameter)를 정의하고, 이를 얼굴기반 사진 클러스터링에 이용하였다. 식별 매개 변수로는 이름, 관계, 성별, 나이 등이 있다. 새로 들어오는 이미지는 사용자가 입력하는 식별매개 변수를 이용하여 데이터베이스에서 찾아서 클러스터링 한다. 그러나 사용자가 식별 매개 변수를 직접 입력해야하도록 하기 때문에, 식별 매개 변수의 입력에 많은 시간이 소요되므로 실용적이지 못하다.

셋째로, Automatic Face-based Image Grouping for Albuming (IEEE, 2003)에서는 각 얼굴의 나이와 성별을 자동으로 검출해내고, 이를 이용하여 사진 모음을 얼굴 기반으로 클러스터링하는 방법을 제안하였다. 이 방법은 사진의 얼굴 정보 외에 인물의 나이와 성별 정보를 함께 이용한다는 장점이 있으나, 사진의 다양한 부가 정보를 함께 이용한다면 보다 효과적인 사진 그룹핑이 될 수 있을 것이다.

이와 같이, 기존의 인물기반 디지털 사진 클러스터링 방법은 사진 데이터로부터 얻을 수 있는 다양한 부가 정보들을 적절하게 조합하여, 사진 영상에서 발생될 수 있는 외부 밝기 변화, 포즈 변화, 표정 변화, 시간 변화 등의 요소들을 고려하고 있지만, 사진에 저장된 정보 또는 사진을 분석하여 추출해낸 정보만을 이용하여 인물 기반 사진 클러스터링하고 있어, 사진을 소유한 개인끼리의 신뢰도(친밀도(personal closeness))를 함께 고려하여 인물 기반 사진 클러스터링을 수행한다면, 보다 효과적인 사진 그룹핑을 구축할 수 있으며, 또한 편리하고 효과적으로 검색할 수 있을 것으로 판단된다.

국내등록번호 10-0601997 : 인물기반 디지털 사진 클러스터링 방법 및 장치와, 이를 이용한 인물기반 디지털 사진 앨버밍 방법 및 장치

국내등록번호 10-0624465 : 디지털 사진의 상황변환 검출 장치 및 방법 및 이를 이용한 디지털 사진 앨범의 상황 기반 클러스터링 방법 및 장치

국내공개번호 2013-0126529 : 촬영정보를 이용한 사용자 간 연관성 분석방법 및 시스템

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 사진의 촬영된 인물, 촬영 시간, 촬영 장소 정보를 이용하여 사진 연관 그래프를 구축하고, 다시 이를 통해 인물 친밀도 연관 그래프를 새롭게 정의하여 인물 기반 사진 클러스터링을 수행하여 그룹핑된 사진을 효과적으로 검색할 수 있는 사진 기반 인물 친밀도 검색 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진 기반 인물 친밀도 검색 방법의 특징은 (A) 단말기로부터 사진 정보를 입력받는 단계와, (B) 상기 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 단계와, (C) 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 클러스터링을 수행하는 단계와, (D) 상기 클러스터링부의 출력을 기반으로 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성하는 단계와, (E) 상기 생성된 사진서술 정보 및 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하여 저장하는 단계와, (F) 사용자로부터 사진 검색이 요청되면, 상기 저장된 사진앨범 정보를 사용자 단말기로 전송하는 단계와, (G) 상기 전송된 사진앨범 정보를 이용하여 검색 결과를 출력하는 단계를 포함하여 이루어지는데 있다.

바람직하게 상기 (C) 단계는 상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보 중 적어도 하나를 이용하여 사진을 검색하고 그룹핑하기 위한 사진 간의 연관을 구축하는 사진기반 클러스터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 (C) 단계는 상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 연관 구축하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 (C) 단계는 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하고 이를 통해 인물 친밀도를 정의하여 인물 기반 사진 클러스터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 (G) 단계는 구축된 사진 연관성 그래프를 이용하여 사용자의 단말기 내의 사진을 검색하는 제 1 방법과, 상기 제 1 방법을 포함하고, 사용자가 사용하는 소셜 네트워크에 저장된 사진을 검색하는 제 2 방법과, 상기 제 2 방법을 포함하고, 서버에 저장된 사진을 검색하는 제 3 방법을 포함하는 것을 특징으로 한다.

바람직하게 상기 (G) 단계는 검색된 사진이 각 사진들 중에서 사용자가 입력한 정보와 관련도이 높은 사진 순으로 리스트로 표출되는 리스트형과, 사용자가 입력한 정보와 관련성이 높은 사진(개인)들을 그래프의 형태로 표출되는 그래프형과, 사용자가 입력한 정보가 위치 정보일 경우 지도상에 해당하는 위치에서 촬영된 사진(개인)들을 표출되는 지도형과, 사용자가 입력한 정보가 시간 정보일 경우 달력상에 해당하는 일시에 촬영된 인물들이 표출되는 시간형 중 적어도 하나로 사용자에게 표출되는 것을 특징으로 한다.

바람직하게 상기 (G) 단계는 구축된 인물 친밀도 그래프를 이용하여 사용자의 단말기 내의 사진들에 촬영된 인물을 검색하는 제 1 방법과, 상기 제 1 방법을 포함하고, 사용자가 사용하는 소셜 네트워크에 저장된 사진들에 촬영된 인물들을 검색하는 제 2 방법과, 상기 제 2 방법을 포함하고, 서버에 저장된 사진들에 촬영된 인물을 검색하는 제 3 방법을 포함하는 것을 특징으로 한다.

바람직하게 상기 (G) 단계는 검색된 사진이 사용자의 사진에 촬영된 인물들 중에서 사용자가 입력한 정보와 관련성이 높은 인물 순으로 리스트로 표출되는 리스트형과, 사용자가 입력한 정보와 연관성이 높은 인물들을 그래프의 형태로 표출되는 그래프형과, 사용자가 입력한 정보가 위치 정보일 경우 지도상에 해당하는 위치에서 촬영된 인물들 중 연관도가 높은 지역을 중심으로 연관도가 있는 인물들을 표출되는 지도형과, 사용자가 입력한 정보가 시간 정보일 경우 달력상에 해당하는 일시에 촬영된 중심인물들을 표출되는 시간형 중 적어도 하나로 사용자에게 표출되는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 사진 기반 인물 친밀도 검색 방법은 다음과 같은 효과가 있다.

첫째, 고정된 범위의 값으로 분류하는 것이 아니라 사람이 의미적으로 유사하다고 생각되는 범위에 맞는 가변적인 범위의 값으로 분류하여 검색이 가능하다.

둘째, 기존 특허들과 달리 앨범에 포함되는 사진이 실제 물리적인 데이터가 아닌 주소로 이뤄져 있어, 이를 통하여 가상앨범을 생성할 수 있으므로 한 사진이 많은 앨범에 중복해서 포함된다.

셋째, 기존의 소셜 네트워크 분석 서비스는 사용자들의 텍스트 정보에 의존하였으나 본 발명은 사진 정보를 이용하여 친밀도를 측정할 수 있다.

도 1a는 본 발명의 제 1 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도
도 1b는 본 발명의 제 2 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도
도 1c는 본 발명의 제 3 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도
도 2 는 본 발명에 따른 사진 기반 인물 친밀도 구축 장치에서 물리적 사진 연관 그래프를 나타낸 도면
도 3 은 본 발명에 따른 사진 기반 인물 친밀도 구축 장치에서 인물 친밀도 그래프를 나타낸 도면
도 4 내지 도 6 은 본 발명의 실시예에 따른 사진 기반 인물 친밀도 구축 방법을 설명하기 위한 흐름도
도 7 내지 도 18 은 본 발명의 실시예에 따른 사진 기반 인물 친밀도 검색 방법을 설명하기 위한 도면

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 사진 기반 인물 친밀도 검색 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1a는 본 발명의 제 1 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도이다.

도 1a와 같이, 사진 기반 인물 친밀도 구축 장치는 사진 입력부(100)와, 사진서술정보 생성부(200)와, 사진기반 클러스터링부(310)와, 사진 그룹정보 생성부(400)와, 사진 앨범정보 생성부(500)를 포함하여 구성된다. 그리고 상기 사진 기반 인물 친밀도 구축 장치는 앨범 데이터베이스(600)를 더 포함하여 구성된다.

상기 사진 입력부(100)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진을 입력받는다. 이때, 입력되는 사진은 스마트폰, 태블릿 PC와 같은 스마트 디바이스에 저장된 사진 정보를 포함하며, 아울러, 스마트 디바이스 사용자가 접근 가능한 인터넷 상의 소셜 네트워크에 포함된 사진을 포함할 수도 있다.

상기 사진 서술정보 생성부(200)는 사진 입력부(100)에서 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성한다. 이를 구체적으로 설명하면, 상기 사진 서술정보 생성부(200)는 입력된 각각의 사진들로부터 사진 파일 내에 저장된 카메라 정보 및 촬영 정보가 있는지 확인하고, 만일 해당 정보가 사진 파일 내에 존재한다면 정보를 추출하여 사진 서술 구조에 따라 표현된다. 그리고 상기 사진서술 정보는 사진을 그룹핑하기 위한 클러스터링부(300)로 입력된다. 이때, 사진 서술정보는 사진 간을 서로 구분하기 위한 고유 명칭(ID)으로 촬영날짜, 시간 등으로 설정된다.

상기 사진기반 클러스터링부(310)는 상기 생성된 다양한 사진서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하는 사진기반 클러스터링을 수행한다. 이때, 상기 사진기반 클러스터링부(310)는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성한다. 상기 사진 연관 그래프는 아래에서 다시 상세히 설명하도록 한다. 그리고 상기 사진 간의 연관성은 사진 촬영 시간, 촬영 장소, 사진 속 인물 정보에 따른 두 사진 간의 연관된 정도이다. 그리고 상기 사진 연관 그래프는 시간, 장소, 인물에 대한 물리적 정보만을 바탕으로 한 사진 물리적 연관 그래프와, 시간, 장소, 인물에 대한 의미적 해석을 부여한 사진 의미적 연관 그래프로 분류한다.

상기 사진 그룹정보 생성부(400)는 사진기반 클러스터링부(310)의 출력을 기반으로 사진 간의 연관성을 이용하여 소정의 사진그룹 서술정보를 생성한다. 이때, 사진그룹 서술정보는 사진 간의 연관성을 갖는 사진그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

상기 사진 앨범정보 생성부(500)는 사진 서술정보 생성부(200)에서 생성된 사진서술 정보 및 사진 그룹정보 생성부(400)에서 생성된 사진그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다. 이때, 상기 앨범 데이터베이스(600)에는 사진앨범 정보와 함께 사진 입력부(100)를 통해 입력받은 사진정보도 함께 저장될 수도 있다.

도 1b는 본 발명의 제 2 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도이다.

도 1b와 같이, 사진 기반 인물 친밀도 구축 장치는 사진 입력부(100)와, 사진서술정보 생성부(200)와, 인물 친밀도 클러스터링부(320)와, 사진 그룹정보 생성부(400)와, 사진 앨범정보 생성부(500)를 포함하여 구성된다. 그리고 상기 사진 기반 인물 친밀도 구축 장치는 앨범 데이터베이스(600)를 더 포함하여 구성된다.

상기 사진 입력부(100)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진을 입력받는다. 이때, 입력되는 사진은 스마트폰, 태블릿 PC와 같은 스마트 디바이스에 저장된 사진 정보를 포함하며, 아울러, 스마트 디바이스 사용자가 접근 가능한 인터넷 상의 소셜 네트워크에 포함된 사진을 포함할 수도 있다.

상기 사진 서술정보 생성부(200)는 사진 입력부(100)에서 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성한다. 이를 구체적으로 설명하면, 상기 사진 서술정보 생성부(200)는 입력된 각각의 사진들로부터 사진 파일 내에 저장된 카메라 정보 및 촬영 정보가 있는지 확인하고, 만일 해당 정보가 사진 파일 내에 존재한다면 정보를 추출하여 사진 서술 구조에 따라 표현된다. 그리고 상기 사진서술 정보는 사진을 그룹핑하기 위한 클러스터링부(300)로 입력된다.

상기 인물 친밀도 클러스터링부(320)는 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 연관 구축하는 인물 친밀도 기반 클러스터링을 수행한다. 이때, 상기 인물 친밀도 기반 클러스터링부(320)는 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성한다. 즉, 인물적 연관성, 장소적 연관성, 시간적 연관성을 통해 사진에 빈번히 등장하는 인물 간에 서로 친밀도가 높다고 정의된다. 상기 인물 친밀도 연관 그래프는 아래에서 다시 상세히 설명하도록 한다.

상기 사진 그룹정보 생성부(400)는 인물 친밀도 클러스터링부(320)에서 출력되는 인물 간의 친밀도를 이용하여 소정의 인물그룹 서술정보를 생성한다. 이때, 인물그룹 서술정보는 인물 간의 친밀도를 갖는 인물그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

상기 사진 앨범정보 생성부(500)는 사진 서술정보 생성부(200)에서 생성된 사진서술 정보 및 사진 그룹정보 생성부(400)에서 생성된 인물그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다. 이때, 상기 앨범 데이터베이스(600)에는 사진앨범 정보와 함께 사진 입력부(100)를 통해 입력받은 사진정보도 함께 저장될 수도 있다.

도 1c는 본 발명의 제 3 실시예에 따른 사진 기반 인물 친밀도 구축 장치의 구성을 나타낸 블록도이다.

도 1c와 같이, 사진 기반 인물 친밀도 구축 장치는 사진 입력부(100)와, 사진서술정보 생성부(200)와, 클러스터링부(300)와, 사진 그룹정보 생성부(400)와, 사진 앨범정보 생성부(500)를 포함하여 구성된다. 그리고 상기 사진 기반 인물 친밀도 구축 장치는 앨범 데이터베이스(600)를 더 포함하여 구성된다.

상기 사진 입력부(100)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진을 입력받는다. 이때, 입력되는 사진은 스마트폰, 태블릿 PC와 같은 스마트 디바이스에 저장된 사진 정보를 포함하며, 아울러, 스마트 디바이스 사용자가 접근 가능한 인터넷 상의 소셜 네트워크에 포함된 사진을 포함할 수도 있다.

상기 사진 서술정보 생성부(200)는 사진 입력부(100)에서 입력된 사진을 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성한다. 이를 구체적으로 설명하면, 상기 사진 서술정보 생성부(200)는 입력된 각각의 사진들로부터 사진 파일 내에 저장된 카메라 정보 및 촬영 정보가 있는지 확인하고, 만일 해당 정보가 사진 파일 내에 존재한다면 정보를 추출하여 사진 서술 구조에 따라 표현된다. 그리고 상기 사진서술 정보는 사진을 그룹핑하기 위한 클러스터링부(300)로 입력된다.

상기 클러스터링부(300)는 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하고 이를 통해 인물 친밀도를 정의하여 인물 기반 사진 클러스터링을 수행한다. 이를 위해 상기 클러스터링부(300)는 사진기반 클러스터링부(310)와, 인물 친밀도 기반 클러스터링부(320)로 구성된다.

이때, 상기 사진기반 클러스터링부(310)는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성한다. 상기 사진 연관 그래프는 아래에서 다시 상세히 설명하도록 한다. 그리고 상기 사진 간의 연관성은 사진 촬영 시간, 촬영 장소, 사진 속 인물 정보에 따른 두 사진 간의 연관된 정도이다. 그리고 상기 사진 연관 그래프는 시간, 장소, 인물에 대한 물리적 정보만을 바탕으로 한 사진 물리적 연관 그래프와, 시간, 장소, 인물에 대한 의미적 해석을 부여한 사진 의미적 연관 그래프로 분류한다.

그리고 상기 인물 친밀도 기반 클러스터링부(320)는 사진기반 클러스터링부(310)에서 생성한 사진 연관 그래프를 통해 추출한 사진 연관 정보를 이용하여 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성한다. 즉, 사진 연관 그래프에서 연관성은 인물적 연관성, 장소적 연관성, 시간적 연관성을 포함하며, 이러한 연관성이 높은 사진에 빈번히 등장하는 인물 간의 친밀도는 높다고 간주된다. 따라서 사진 연관 그래프에서 연관성이 높은 사진을 소유한 개인 간의 친밀도는 높게 설정된다. 상기 인물 친밀도 연관 그래프는 아래에서 다시 상세히 설명하도록 한다.

상기 사진 그룹정보 생성부(400)는 클러스터링부(300)의 출력을 기반으로 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성한다. 이때, 그룹 서술정보는 사진 간의 연관성을 갖는 사진그룹 및 인물 간의 친밀도를 갖는 인물그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

상기 사진 앨범정보 생성부(500)는 사진 서술정보 생성부(200)에서 생성된 사진서술 정보 및 사진 그룹정보 생성부(400)에서 생성된 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다. 이때, 상기 앨범 데이터베이스(600)에는 사진앨범 정보와 함께 사진 입력부(100)를 통해 입력받은 사진정보도 함께 저장될 수도 있다.

한편, 상기 사진기반 클러스터링부(310)에서 생성되는 사진 연관 그래프는 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해 낸 정보를 이용하여 사진의 연관성을 표현하는 그래프이다. 사진 연관 그래프는 사용되는 사진 정보가 물리적인 정보일 때 물리적 사진 연관 그래프로 분류하고, 사람이 일반적으로 이해하는 의미적인 정보일 때 의미적 사진 연관 그래프로 분류한다.

먼저, 물리적 사진 연관 그래프는 도 2에서 도시하고 있는 것과 같이, 일반적인 그래프와 동일하게 그래프의 노드와 에지로 구성된다. 도 2와 같이, 그래프의 노드는 각각의 사진들(P1~P10)이고, 그래프의 에지는 사진들의 촬영 시간(T), 사진 촬영 장소(L), 사진 속의 인물 정보를 이용하여 계산한 사진 간의 인물 연관성(H)이다. 참고로 물리적 시간 연관도(PTA)인 사진 촬영 시간(T)은 두 사진이 촬영된 시간의 차이에 따른 연관도로서, 기준 사진과의 시간 차이에 따라 각 사진에 서로 다른 연관도를 부여한다. 그리고 물리적 장소 연관도(PLA)인 사진 촬영 장소(L)는 두 사진이 촬영된 장소에 따른 연관도로서, 사진의 EXIF 정보에 저장되어 있는 GPS 좌표 간의 물리적 거리를 계산하여 거리 차이에 따라 각 사진에 서로 다른 연관도를 부여한다. 그리고 물리적 인물 연관도(PPA)인 인물 연관도(H)는 두 사진에 등장하는 인물에 따른 연관도로서, 두 사진에 등장하는 전체 인물 중 대비 두 사진에 공통으로 등장하는 인물의 비중으로 계산된다. 즉, 기준 사진에 포함된 인물들을 이용하여 각 사진에 대한 연관도를 부여한다. 이때, 촬영된 인물은 얼굴 인식 등과 같은 사진 인식 기술을 통하여 각 인물을 구분하고 다른 사진에서 동일한 인물들을 찾아 낼 수 있다.

도 2를 참조하여 사진 P1과 P2 간의 물리적 연관도(Physical Association : PA)는 다음 수학식 1과 같이 정의될 수 있다.

[수학식 1]

PA(p1,p1) = w1*PTA(p1,p2) + w2*PLA(p1,p2) + w3*PPA(p1,p2)

이때, w는 가중치로서, w1 + w2 + w3 = 1 이다.

다음으로 의미적 사진 연관 그래프는 그래프의 노드와 에지로 구성되고, 그래프의 노드는 각각의 사진들이고, 그래프의 에지는 물리적인 사진정보를 이용하여 계산한 두 사진 간의 의미적 관점에서의 연관도로서, 의미적 시간 연관도, 의미적 장소 연관도, 그리고 의미적 인물 연관도에 의해서 결정된다. 참고로 의미적 시간 연관도(STA)는 사진 촬영 시간에 따라 초, 분, 시간, 일, 월, 해와 같은 시간 단위 또는 사람이 일반적으로 인식하는 아침, 점심, 저녁과 같은 의미적인 단계로 사진을 분류하고 기준 사진과의 시간차에 따라 각 사진에 서로 다른 두 사진 간의 의미적 시간 연관도를 부여한다. 그리고 의미적 장소 연관도(SLA)는 사진의 EXIF 정보에 저장되어 있는 GPS 좌표를 이용하여 건물, 행정구역, 특정지역과 같은 단위로 사진을 분류하고 기준 사진과의 거리 차이에 따라 각 두 사진 간의 서로 다른 의미적 거리에 따른 연관도를 부여한다. 그리고 의미적 인물 연관도(SPA)는 물리적 인물 연관도, 즉, 두 사진에서 공통으로 등장하는 인물의 비율뿐만 아니라 인물의 표정, 사진에서 인물간의 거리 등을 바탕으로 의미적인 인물간의 거리에 따른 연관도를 부여한다. 예를 들어 사진 속의 인물의 표정을 인식하여 웃고 있는 표정과 같이 기분 좋은 표정에서는 사람간의 연관도를 더 높게 부여할 수 있으며, 사진 속 인물간의 물리적 거리가 가까울수록 연관도를 높게 부여할 수 있다.

마찬가지로 사진 P1과 P2 간의 의미적 연관도(Semantic Association : SA)는 다음 수학식 2와 같이 정의될 수 있다.

[수학식 2]

SA(p1,p1) = w1*STA(p1,p2) + w2*SLA(p1,p2) + w3*SPA(p1,p2)

이때, w는 가중치로서, w1 + w2 + w3 = 1 이다.

그리고 상기 인물 친밀도 기반 클러스터링부(320)에서 생성되는 인물 친밀도 연관 그래프는 사진 물리적/의미적 연관 그래프를 바탕으로 사진에 등장한 인물들 간의 친밀도를 표현하는 그래프이다. 예를 들어 사진 연관 그래프에서 연관성이 높은 사진에 빈번히 등장하는 인물간의 친밀도는 높다고 간주될 수 있다.

인물 친밀도 그래프는 도 3에서 도시하고 있는 것과 같이, 일반적인 그래프와 동일하게 그래프의 노드와 에지로 구성된다. 이때, 그래프 노드는 사진 물리적/의미적 연관 그래프에 등장한 인물(H1~H7)이고, 그래프 에지는 노드에 지시되는 두 인물간의 친밀도를 표시한다. 이때, 사진 물리적/의미적 연관 그래프를 바탕으로 두 인물간의 친밀도를 결정한다.

일 실시예로 두 인물 P1, P2에 대한 인물 친밀도(Personal Closeness)를 PC(p1,p2)라고 할 때, PC(p1,p2)는 다음과 같은 규칙을 통해서 계산될 수 있다. 이때 인물 p1과 인물 p2가 등장하는 사진을 각각 photo1, photo2라고 하면,

인물적 연관성(PPC)은 photo1과 photo2 간에 존재하는 경로의 수가 많을수록 p1과 p2의 친밀도가 높으며, photo1과 photo2 간의 거리에 의해서 결정된다. 예를 들어 동일 사진에서 p1과 p2가 등장하는 경우가 사진 물리적/의미적 연관 그래프 상에서 다른 사진을 통해서 간접적으로 연관된 경우보다 친밀도가 크다. 그리고 photo1과 photo2 간의 경로에서 의미적 인물 연관도가 클수록 p1과 p2의 친밀도가 높다.

또한 장소적 연관성(PLC)은 photo1과 photo2 간의 경로에서 의미적 장소 연관성이 클수록 p1과 p2의 친밀도는 높으며, photo1과 photo2 간의 경로에서 관광지 등과 같은 사적인 장소에 의한 장소 연관도가 회의장 같은 공식적인 장소에 의한 연관도보다 p1과 p2의 친밀도가 높다.

그리고 시간적 연관성(PTC)은 photo1과 photo2 간의 경로에서 의미적 시간 연관성이 클수록 p1과 p2의 친밀도는 높으며, photo1과 photo2 간의 경로에서 사적인 시간(휴일, 비일과 시간 등)에 의한 시간 연관도가 공적인 시간(일과시간 등)에 의한 시간 연관도보다 p1과 p2의 친밀도가 높다.

따라서 인물 p1과 p2 간의 인물 친밀도(Personal Closeness : PC)는 다음 수학식 3과 같이 정의될 수 있다.

[수학식 3]

PC(p1,p1) = w1*PPC(p1,p2) + w2*PLC(p1,p2) + w3*PTC(p1,p2)

이때, w는 가중치로서, w1 + w2 + w3 = 1 이다.

이처럼, 각 사용자의 스마트 디바이스에서 생성한 사진 물리적/의미적 연관 그래프 및 인물 친밀도 그래프를 이용하여 생성된 사진그룹 서술정보를 사진 기반 인물 친밀도 구축 장치의 앨범 데이터베이스(600)에 저장하여 통합함으로써, 여러 스마트 디바이스로부터 입수한 사진 물리적/의미적 연관 그래프 및 인물 친밀도 그래프를 통합 관리할 수 있어, 보다 많은 사진 간의 연관성과 보다 많은 인물간의 친밀도를 분석할 수 있다.

이와 같이 구성된 본 발명에 따른 사진 기반 인물 친밀도 구축 장치를 이용하여 각각의 스마트 디바이스에 존재하는 사진 정보 또는 사진 연관성 그래프 및 인물 친밀도 그래프를 바탕으로 사진 기반 인물 친밀도를 구축하는 방법은 다음 3가지 방법을 사용할 수 있다.

첫 번째 방법으로 사용자의 단말기에서 사진을 전송하는 과정만 처리하고, 사진 기반 인물 친밀도 구축 장치(이하 ‘서버’라 칭함)에서 업로드된 사진의 정보를 이용하여 사진을 분석하고 이를 통한 클러스터링을 통해 생성된 사진 연관 그래프 또는/및 인물 친밀도 그래프를 이용하여 사진앨범 정보를 생성하고, 앨범 데이터베이스(600)에 저장하는 방법이다. 이때, 서버는 아마존 웹 서비스와 같은 클라우드 서버, 개인 서버, 호스팅 서버 등을 포함하는 사진 기반 인물 친밀도 구축 장치를 포함하는 사진/인물 연관성 관리 서버를 말한다.

첫 번째 방법인 사전 전송을 통한 그래프 생성을 도 4를 참조하여 설명하면, 먼저 사용자는 단말기를 통해 자신이 보유한 사진을 사진 입력부(100)를 통해 서버로 업로드한다(S10). 이때, 사진은 단말기에 보유한 사진에 한정되지 않으며, 페이스북, 카카오 스토리와 같이 소셜 네트워크 같은 인터넷 상의 사진을 모두 포함한다.

그러면 서버는 사진 서술정보 생성부(200)를 통해 입력된 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보를 생성하고, 클러스터링부(300)를 통해 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행한다(S11). 이때 상기 사진의 분석정보는 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 포함한다.

상기 클러스터링의 수행방법은 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링으로 나눌 수 있으며, 이중 어느 하나 또는 둘 다를 이용하여 클러스터링을 수행할 수 있다.

먼저 사진기반 클러스터링 방법은 사진에 직접적으로 저장된 정보 또는 사진을 분석하여 추출해낸 정보를 이용하여 사진 간의 연관성을 표현하는 사진 연관 그래프를 생성한다. 이때, 상기 사진 간의 연관성은 사진 촬영 시간, 촬영 장소, 사진 속 인물 정보에 따른 두 사진 간의 연관된 정도이다. 그리고 상기 사진 연관 그래프는 시간, 장소, 인물에 대한 물리적 정보만을 바탕으로 한 사진 물리적 연관 그래프와, 시간, 장소, 인물에 대한 의미적 해석을 부여한 사진 의미적 연관 그래프로 분류한다. 사진 연관 그래프에 따른 상세한 설명은 위에서 기재하고 있으므로 생략한다.

그리고 상기 생성된 사진 연관 그래프를 통한 사진 간의 연관성을 이용하여 소정의 사진그룹 서술정보를 생성한다. 이때, 사진그룹 서술정보는 사진 간의 연관성을 갖는 사진그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

다음으로 인물 친밀도 클러스터링 방법은 상기 생성된 사진 서술 정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 정의하여 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성한다. 즉, 인물적 연관성, 장소적 연관성, 시간적 연관성을 통해 사진에 빈번히 등장하는 인물 간에 서로 친밀도가 높다고 정의된다. 이때, 인물 친밀도 연관 그래프는 연관성이 높은 사진을 소유한 개인 간의 신뢰도는 높게 설정된다. 상기 인물 친밀도 연관 그래프에 따른 상세한 설명은 위에서 기재하고 있으므로 생략한다.

한편, 인물 친밀도 클러스터링 방법에서 인물 친밀도 연관 그래프를 생성하는 과정에서 사진기반 클러스터링 방법을 통해 생성된 사진 연관 그래프를 통해 추출한 사진 연관 정보를 이용하여 사진을 소유한 개인끼리의 신뢰도가 얼마나 높은지를 나타내는 인물 친밀도 연관 그래프를 생성할 수도 있다.

그리고 상기 생성된 인물 친밀도 연관 그래프를 통한 인물 간의 친밀도를 이용하여 소정의 인물그룹 서술정보를 생성한다. 이때, 사진그룹 서술정보는 인물 간의 친밀도를 갖는 인물그룹을 구분하기 위한 고유 명칭(ID)을 말한다.

이처럼, 상기 클러스터링의 수행방법은 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링을 각각 독립적으로 수행하여 그룹핑하기 위한 클러스터링을 수행할 수도 있지만, 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링을 서로 연계하여 순차적(순서에 제한이 없음)으로 클러스터링을 수행하여 그룹핑하기 위한 클러스터링을 수행할 수도 있음을 주의하여야 한다.

이어 사진 앨범정보 생성부(500)를 통해 생성된 사진서술 정보 및 클러스터링부(300)를 통한 클러스터링의 수행을 통해 생성된 사진그룹 서술정보 또는 인물그룹 서술정보(이하 ‘그룹 서술정보’라 칭함)를 서로 매칭되도록 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다(S12).

두 번째 방법으로 사용자의 단말기에서 사진을 전송할 때, 단말기 내에 미리 포함되어 있는 사진 분석 프로그램(Apps.)을 통해 보유하고 있는 사진을 미리 분석하여 사진의 분석정보들을 추출하고, 상기 추출된 사진의 분석정보들을 사용자의 단말기에서 서버로 전송한다. 그러면, 서버는 전송 받은 사진 분석정보들을 통한 클러스터링을 통해 생성된 사진 연관 그래프 또는/및 인물 친밀도 그래프를 이용하여 사진앨범 정보를 생성하고, 앨범 데이터베이스(600)에 저장하는 방법이다. 이때, 사용자가 전송하는 분석정보들은 암호화되어 전송되고, 정보의 종류는 EXIF와 같은 사진의 메타정보, 색상정보 및 특징값 같은 분석정보, 촬영된 인물의 정보를 포함한다.

두 번째 방법으로 사진의 기존 정보 전송을 통한 그래프 생성을 도 5를 참조하여 설명하면, 먼저 사용자는 단말기 내에 미리 포함되어 있는 사진 분석 프로그램(Apps.)을 이용하여 사용자가 보유하고 있는 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보를 추출하고, 이렇게 추출된 분석정보를 사진 입력부(100)를 통해 서버로 업로드한다(S20). 이때, 사진은 단말기에 보유한 사진에 한정되지 않으며, 페이스북, 카카오 스토리와 같이 소셜 네트워크 같은 인터넷 상의 사진을 모두 포함하며, 또한 상기 사진의 분석정보는 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 포함한다.

이어 서버는 클러스터링부(300)를 통해 입력된 사진의 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행한다(S21).

이때, 상기 클러스터링의 수행방법은 사진기반 클러스터링 및 인물 친밀도 기반 클러스터링으로 나눌 수 있으며, 이중 어느 하나 또는 둘 다를 이용하여 클러스터링을 수행하여 그룹 서술정보를 생성한다. 참고로 상기 클러스터링 수행방법에 따른 상세한 설명은 위에서 기재하고 있으므로 생략한다.

이어 사진 앨범정보 생성부(500)를 통해 생성된 사진서술 정보 및 클러스터링부(300)를 통한 클러스터링의 수행을 통해 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다(S22).

세 번째 방법으로 각 단말기에 미리 포함되어 있는 그래프 구축 프로그램(Apps.)을 통해 보유하고 있는 사진을 미리 분석하고, 분석된 사진 분석정보들을 기반으로 클러스터링을 통해 생성된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 구축한다. 그리고 이렇게 구축된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 서버로 전송하면, 서버에서는 전송받은 사진 연관성 그래프 또는/및 인물 친밀도 그래프 정보를 이용하여 서버 상에 이에 따른 그래프를 이용하여 사진앨범 정보를 생성하고 앨범 데이터베이스(600)에 저장한다.

세 번째 방법으로 그래프 정보 전송을 통한 그래프 생성을 도 6을 참조하여 설명하면, 먼저 사용자는 단말기 내에 미리 포함되어 있는 그래프 구축 프로그램(Apps.)을 이용하여 사용자가 보유하고 있는 사진을 분석하여 사진서술 정보를 포함하는 사진의 분석정보를 추출한다. 그리고 이렇게 추출된 분석정보를 기반으로 촬영된 인물, 촬영장소, 촬영시간 정보를 분류하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위한 클러스터링을 수행하고, 클러스터링을 통해 생성된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 서버로 업로드한다(S30).

이때, 사진은 단말기에 보유한 사진에 한정되지 않으며, 페이스북, 카카오 스토리와 같이 소셜 네트워크 같은 인터넷 상의 사진을 모두 포함하며, 또한 상기 사진의 분석정보는 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 포함한다. 참고로 상기 클러스터링 수행방법에 따른 상세한 설명은 위에서 기재하고 있으므로 생략한다.

이어 서버는 입력된 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 이용하여 다수의 사용자들로부터 입력되는 각 그래프들과 비교 및 매칭을 통해 사진 연관성 그래프 또는/및 인물 친밀도 그래프를 확장하여 그룹 서술정보를 생성한다(S31).

그리고 사진 앨범정보 생성부(500)를 통해 입력된 사진서술 정보 및 생성된 그룹 서술정보를 서로 매칭되도록 결합하여 사진앨범 정보를 생성한다. 그리고 이렇게 생성된 사진앨범 정보는 앨범 데이터베이스(600)에 저장된다(S32).

한편, 상기 사진 기반 인물 친밀도를 구축하는 방법에서 사진 연관 그래프 및 인물 친밀도 그래프의 내용을 악의적으로 사용하는 경우를 막기 위해 연관 연산에 사용되는 정보의 내용을 암호화하여 처리하는 과정이 필요하다.

따라서 사진 정보 중에서 시간정보와 장소정보는 각각 사진의 EXIF 정보에 포함된 사진 촬영시간 정보와 촬영장소 정보(GPS)를 암호화하여 처리한다. 그리고 인물정보는 얼굴 인식 시스템과 같이 인물의 고유한 정보들을 종합하여 암호화하는 방법을 사용한다. 이때, 사진 촬영시간, 촬영장소, 인물정보는 암호화 수행 후에 각각의 고유한 값으로 구분 가능하다.

그리고 사진 촬영시간은 암호화 후에도 두 시간 차이를 계산할 수 있는 형태로 암호화되며, 사진 촬영장소는 암호화 후에도 두 장소의 거리를 계산할 수 있는 형태로 암호화된다. 그리고 서로 다른 사진 속 인물이 동일 인물이라면 암호화 후에 두 인물에 대한 값을 동일한 값을 가진다.

이와 같이 구축된 사진 연관성 그래프를 바탕으로 사용자의 요청에 의해 선택된 사진과 연관성이 있는 사진을 검색하는 범위는 다음 세 가지 범위로 주어질 수 있다.

첫째로는 사용자의 단말기 내의 사진을 검색하는 방법이고, 둘째로는 첫 번째 방법을 포함하고, 사용자가 사용하는 소셜 네트워크에 저장된 사진을 검색하는 방법이고, 셋째로는 두 번째 방법을 포함하고, 서버에 저장된 사진을 검색하는 방법이다.

그러나 이러한 세 가지 범위의 사진검색 방법은 모두 저장되어 있는 사진의 위치에 따른 것일 뿐, 사용자의 사진 검색 요청에 따라 구축된 사진 연관성 기반 및 인물 친밀도 기반을 이용하는 사진 간의 연관성 검색이 이루어짐에 따라, 이는 본 발명의 기술적 사상의 범위 내에서 실시예로 가능함을 이해할 수 있을 것이다.

사진간 연관 그래프의 사진간 연관 검색 중에서 사용자가 관심 있는 시간, 장소, 인물을 중심으로 사진 간의 연관성을 검색할 수 있다. 즉, 사진의 기본적인 시간, 장소, 인물 정보를 이용하여 사람들이 쉽게 인지하는 의미 기반의 정보를 생성할 수 있다. 예를 들어, 시, 분, 초의 시간 정보를 이용하여 사람들이 쉽게 인지하는 아침, 점심, 저녁 등의 의미 정보로 변환할 수 있고, GPS 좌표를 이용하여 특정 행정 구역, 건물 이름 등의 지역 정보로 변환할 수 있다. 상기 장소 정보 변환 시에는 기존 지도 서비스를 이용하여 의미 정보를 추출한다.

그리고 상기 사진 간의 연관성을 검색하는 방법으로 키워드 기반 검색, 사진 기반 검색, 복합 검색으로 구분하여 검색할 수 있다.

상기 키워드 기반 검색 방법을 설명하면, 시간은 원하는 년, 월, 일, 시, 분, 초를 기준으로 설정할 수 있고, 장소와 인물은 키워드를 기반으로 설정할 수 있다. 즉, 사용자가 키워드를 입력하면, 서버는 사진 간의 연관 중에서 키워드로 설정된 정보와 관련있는 사진들을 탐색하는 그래프를 사용자에게 출력한다. 예를 들어, 키워드로 크리스마스 저녁, 우리 동네 스타벅스 등을 UI 입력을 통해 입력하여 입력된 키워드와 관련된 사진 간의 연관성을 갖는 사진들을 사용자에게 출력한다.

이때, 키워드 검색 시 AND, OR, NOT과 같은 연산자를 이용하여 검색의 정확도를 높일 수 있으며, 또한 명확한 시간, 장소뿐만 아니라 의미적 시간, 장소와 같이 의미 정보 기반의 검색을 수행할 수도 있다. 참고로 상기 의미 정보 기반 검색은 이미 공지되어 있는 검색 방식으로 기존 시스템을 사용한다.

다음으로 상기 사진 기반 검색 방법을 설명하면, 도 7에서 도시하고 있는 것과 같이, 기존에 사용자가 보유한 사진 중에서 사용자의 UI 입력을 통해 관심 있는 정보를 입력하고, 입력된 정보와 관련된 사진 간의 연관성을 갖는 사진들을 사용자에게 출력한다.

다음으로 상기 복합 검색 방법을 설명하면, 이는 도 8에서 도시하고 있는 것과 같이, 상기 키워드 기반 검색과 사진 기반 검색 방법을 혼합하여 검색을 수행하는 방식이다.

그리고 이렇게 검색된 사진은 리스트형, 그래프형, 지도형, 시간형 순으로 사용자에게 표출한다. 즉, 모든 검색 결과로 나온 사진들 중 사진 한 개를 선택하면 해당 사진과 연관성이 높은 사진들을 리스트형, 그래프형, 지도형, 시간형으로 검색한 결과가 추가적으로 표시된다.

상기 리스트형 표출 방법은 도 9에서 도시하고 있는 것과 같이, 각 사진들 중에서 사용자가 입력한 정보와 관련도가 높은 사진 순으로 리스트로 표출한다. 이때, 리스트형 표출 방법에서 연관도의 높낮이에 따라 사진을 다르게 표출하는데, 연관도가 높은 사진은 진하게 표출하고, 연관도가 낮은 사진은 흐리게 표출한다. 그리고 연관도를 숫자, 색상 형태로도 표시할 수 있으며, 표출된 사진 중 어느 하나를 선택하면, 선택된 사진 옆으로 서브 윈도우 창을 생성하여 선택된 사진의 연관도를 출력한다. 이때, 서브 윈도우 창에 표시되는 사진의 연관도는 선택된 사진과 연관도가 가장 높은 사진들이 출력된다.

다음으로 상기 그래프형 표출 방법은 도 10에서 도시하고 있는 것과 같이, 사용자가 입력한 정보와 관련성이 높은 사진(개인)들을 그래프의 형태로 표출한다. 이때, 그래프형 표출 결과는 가장 연관도가 높은 사진부터 표출하고, 사용자로부터 다른 사진이 선택되면 서브 윈도우 창을 생성하여 선택된 사진과 가장 연관도가 높은 사진 순으로 표출된다. 이때, 도 11에서 도시하고 있는 것과 같이, 사진을 선택하는 방식에서 핀치(pinch) 줌 방식을 통해 확대 제스처를 수행하면, 벌리는 크기에 따라 표출되는 사진의 구체적인 연관도를 추가로 표출할 수 있다. 또한 도 12에서 도시하고 있는 것과 같이, 그래프형 표출 방식에서 별도의 서브 윈도우 창의 생성없이 바로 선택된 사진과 가장 연관도가 높은 다른 사진들이 그래프에 추가되는 형태로 표출할 수도 있다.

다음으로 상기 지도형 표출 방법은 도 13에서 도시하고 있는 것과 같이, 사용자가 입력한 정보가 위치 정보일 경우 지도상에 해당하는 위치에서 촬영된 사진(개인)들을 표출한다. 이때, 검색 결과는 연관도가 높은 지역을 중심으로 자동 클러스터링 된 사진 중 대표 사진을 출력한다. 그리고 대표 사진을 선택하거나, 대표 사진을 중심으로 확대 제스처를 수행하면 해당 지역을 확대하면서 클러스터링 된 사진들의 사진 간의 연관도 그래프 또는 인물 친밀도 그래프를 표출한다.

다음으로 상기 시간 순 표출 방법은 도 14에서 도시하고 있는 것과 같이, 사용자가 입력한 정보가 시간 정보일 경우 달력상에 해당하는 일시에 촬영된 인물들을 표출한다. 검색한 시간을 중심으로 사진들이 자동 클러스터링 되고, 대표 사진만 표출된다. 대표 사진을 선택하거나 대표 사진을 중심으로 확대 제스처를 수행하면 클러스터링 된 사진들의 사진 연관도 그래프 또는 인물 친밀도 그래프를 표출한다.

이처럼 사용자는 검색 결과로 표출된 사진들을 임의로 선택하여 가상 앨범을 만들어 관리할 수 있다. 이때, 가상 앨범은 검색된 사진에 대한 실제 이미지를 대신하는 가상 사진으로 구성된다. 그리고 사상 사진은 실제 사진에 대한 섬네일(thumbnail)로서 사용자가 사진에 대한 장소, 일자, 대표인물 등을 식별할 수 있는 수준의 크기로 축소된 이미지이다.

또한 상기 가상 사진은 사용자의 스마트 디바이스(사용자 단말기)에 실제적으로 저장된 사진뿐만 아니라 소셜 네트워크 등 인터넷 상의 접근 가능한 이미지를 대상으로 한다. 따라서 사용자는 가상 사진 바탕으로 실제 사진을 입수하고자 하는 경우 실제 사진에 대한 접근 권한이 있는 경우에는 실제 사진이 존재하는 인터넷 상의 서버로부터 실제 사진을 입수하여 사용자 단말기에 저장할 수 있다.

그리고 가상 앨범 내부의 사진들을 대상으로 사진 검색을 수행할 수 있다.

한편, 상기 구축된 인물 친밀도 그래프를 바탕으로 주어진 인물과 친밀한 인물들을 찾기 위한 인물을 검색하는 범위는 다음 세 가지 범위로 주어질 수 있다.

첫째로는 사용자의 단말기 내의 사진들에 촬영된 인물을 검색하는 방법이고, 둘째로는 첫 번째 방법을 포함하고, 사용자가 사용하는 소셜 네트워크에 저장된 사진들에 촬영된 인물들을 검색하는 방법이고, 셋째로는 두 번째 방법을 포함하고, 서버에 저장된 사진들에 촬영된 인물을 검색하는 방법이다.

이러한 세 가지 범위의 인물검색 방법은 모두 저장되어 있는 사진의 위치에 따른 것일 뿐, 사용자의 인물검색 요청에 따라 구축된 사진 연관성 기반 및 인물 친밀도 기반을 이용하는 인물 간의 연관성 검색이 이루어짐에 따라, 이는 본 발명의 기술적 사상의 범위 내에서 실시예로 가능함을 이해할 수 있을 것이다.

인물 친밀도 그래프의 검색방법은 사진 연관 그래프의 사진 검색 방법과 유사하게, 키워드 기반 검색, 사진 기반 검색, 복합 검색으로 구분하여 검색되며, 이에 따른 상세한 설명은 위에서 설명하고 있으므로 생략한다.

그리고 이렇게 검색된 사진은 리스트형, 그래프형, 지도형, 시간 순으로 사용자에게 표출한다. 즉, 모든 검색 결과로 나온 사진들 중 사진 한 개를 선택하면 해당 사진과 연관성이 높은 리스트형, 그래프형, 지도형, 시간순 검색 결과가 나온다.

상기 리스트형 표출 방법은 도 15a, 도 15b에서 도시하고 있는 것과 같이, 사용자의 사진에 촬영된 인물들 중에서 사용자가 입력한 정보와 관련성이 높은 인물 순으로 리스트로 표출된다.

다음으로 상기 그래프형 표출 방법은 도 16a, 도 16b에서 도시하고 있는 것과 같이, 사용자가 입력한 정보와 연관성이 높은 인물들을 그래프의 형태로 표출한다. 이때, 그래프형 표출 결과는 가장 연관도가 높은 인물부터 표출되고, 사용자로부터 다른 인물들을 선택되면 가장 연관도가 높은 인물 순으로 표출한다. 이때, 표출된 인물 중 어느 하나를 선택하면, 도 16a에서 도시하고 있는 것과 같이 선택된 인물과 연관성이 높은 인물들이 그래프에 추가되는 형태로 표출되고, 사진을 선택하는 방식에서 핀치(pinch) 줌 방식을 통해 확대 제스처를 수행하면, 서브 윈도우 창을 생성하고, 생성된 서브 윈도우 창에 선택된 사진과 연관도가 가장 높은 사진들을 표출한다.

다음으로 상기 지도형 표출 방법은 도 17a, 도 17b에서 도시하고 있는 것과 같이, 사용자가 입력한 정보가 위치 정보일 경우 지도상에 해당하는 위치에서 촬영된 인물들을 표출한다. 이때, 검색 결과는 연관도가 높은 지역을 중심으로 자동으로 연관도가 있는 인물을 출력한다. 그리고 인물을 선택하거나 인물 사진을 중심으로 확대 제스처를 수행하면 해당 지역을 확대하면서 도 17a에서 도시하고 있는 것과 같이 클러스터링된 사진들의 사진 연관도 그래프 또는 도 17b에서 도시하고 있는 것과 같이, 인물들의 인물 친밀도 그래프를 표출한다.

다음으로 상기 시간 순 표출 방법은 도 18a, 도 18b에서 도시하고 있는 것과 같이, 사용자가 입력한 정보가 시간 정보일 경우 달력상에 해당하는 일시에 촬영된 중심인물들을 표출한다. 즉, 검색한 시간을 중심으로 인물들이 자동 클러스터링 되고, 대표 인물만 표출된다. 그리고 표출된 대표 인물을 선택하거나 대표 인물을 중심으로 확대 제스처를 수행하면 도 18a에서 도시하고 있는 것과 같이, 클러스터링 된 사진들 또는 도 18b에서 도시하고 있는 것과 같이, 인물들을 표출한다.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (22)

1. 사진 입력부와, 사진서술정보 생성부와, 사진기반 클러스터링부와, 사진 그룹정보 생성부와, 사진 앨범정보 생성부를 포함하여 구성되는 사진 기반 인물 친밀도 구축 장치를 통해 사진 기반 인물 친밀도 검색을 수행하며,
   (A) 사진 입력부를 통해 단말기로부터 사진 정보를 입력받는 단계와,
   (B) 상기 입력된 사진을 사진서술정보 생성부에서 분석 및 서술(description)하여, 사진식별자를 포함하는 사진서술(photo description) 정보 및 사진의 분석정보를 생성하는 단계와,
   (C) 사진기반 클러스터링부에서 상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 클러스터링을 수행하는 단계와,
   (D) 상기 사진기반 클러스터링부의 출력을 기반으로 사진 그룹정보 생성부에서 사진 간의 연관성 및 인물 간의 친밀도를 이용하여 그룹 서술정보를 생성하는 단계와,
   (E) 사진 앨범정보 생성부에서 상기 생성된 사진서술 정보 및 그룹 서술정보를 서로 매칭시켜 결합하여 사진앨범 정보를 생성하여 저장하는 단계와,
   (F) 사용자로부터 사진 검색이 사진 기반 인물 친밀도 구축 장치를 포함하는 서비스 제공 서버로 요청되면, 상기 서버는 저장된 사진앨범 정보를 사용자 단말기로 전송하는 단계와,
   (G) 상기 사용자 단말기에서 전송된 사진앨범 정보를 이용하여 검색 결과를 출력하는 단계를 포함하고,
   이때, 상기 (G) 단계는
   상기 (C) 단계에서 수행된 사진 간의 연관을 구축하는 사진기반 클러스터링을 통해 사진이 검색되며, 이때, 검색된 사진은
   각 사진들 중에서 사용자가 입력한 정보와 관련도가 높은 사진 순으로 리스트로 표출되는 리스트형과, 사용자가 입력한 정보와 관련성이 높은 사진들을 그래프의 형태로 표출되는 그래프형과, 사용자가 입력한 정보가 위치 정보일 경우 지도상에 해당하는 위치에서 촬영된 사진들을 표출되는 지도형과, 사용자가 입력한 정보가 시간 정보일 경우 달력상에 해당하는 일시에 촬영된 인물들이 표출되는 시간형 중 적어도 하나로 사용자에게 표출되며,
   이때, 상기 리스트형 표출 방법은 연관도의 높낮이에 따라 사진의 진하기, 높낮이를 나타내는 번호, 색상 형태를 다르게 표시하여 표출하는 방법이며,
   상기 그래프형 표출 방법은 가장 연관도가 높은 사진부터 표출하고, 사용자에 의해 다른 사진이 선택되면 서브 윈도우 창을 생성하여 선택된 사진과 가장 연관도가 높은 사진 순으로 표출하는 방법이며,
   상기 지도형 표출 방법은 연관도가 높은 지역을 중심으로 자동 클러스터링 된 사진 중 대표 사진이 출력되고, 대표 사진이 선택되거나, 대표 사진을 중심으로 확대 제스처가 수행되면 해당 지역을 확대하면서 클러스터링 된 사진들의 사진 간의 연관도 그래프 또는 인물 친밀도 그래프를 표출하는 방법이며,
   시간형 표출 방법은 검색한 시간을 중심으로 사진들이 자동 클러스터링 되고, 대표 사진만 표출되고, 대표 사진이 선택되거나 대표 사진을 중심으로 확대 제스처가 수행되면 클러스터링 된 사진들의 사진 연관도 그래프 또는 인물 친밀도 그래프를 표출하는 방법인 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
2. 제 1 항에 있어서, 상기 (C) 단계는
   상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보 중 적어도 하나를 이용하여 사진을 검색하고 그룹핑하기 위한 사진 간의 연관을 구축하는 사진기반 클러스터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
3. 제 1 항에 있어서, 상기 (C) 단계는
   상기 생성된 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 인물적 연관성, 장소적 연관성, 시간적 연관성을 통한 인물 간의 친밀도를 연관 구축하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
4. 제 1 항에 있어서, 상기 (C) 단계는
   상기 생성된 다양한 사진 서술 정보를 포함하는 사진의 분석정보를 기반으로 사진의 촬영된 인물, 촬영장소, 촬영시간 정보를 이용하여 사진을 보다 효율적으로 검색하고 그룹핑하기 위해 사진 간의 연관을 구축하고 이를 통해 인물 친밀도를 정의하여 인물 기반 사진 클러스터링을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
5. 제 2 항 또는 제 4 항에 있어서,
   상기 (G) 단계는 구축된 사진 간의 연관을 이용하여 사용자의 단말기 내의 사진을 검색하는 제 1 방법과, 상기 제 1 방법을 포함하고, 사용자가 사용하는 소셜 네트워크에 저장된 사진을 검색하는 제 2 방법과, 상기 제 2 방법을 포함하고, 서버에 저장된 사진을 검색하는 제 3 방법 중 적어도 하나를 포함하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
6. 제 5 항에 있어서, 상기 (G) 단계는
   사진간 연관 그래프의 사진간 연관 검색 중에서 사용자가 관심 있는 시간, 장소, 인물을 중심으로 사진 간의 연관성을 검색하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
7. 제 6 항에 있어서,
   상기 사진 간의 연관성을 검색하는 방법은 키워드 기반 검색, 사진 기반 검색, 키워드 기반 검색 및 사진 기반 검색 중 적어도 2개 이상을 결합한 복합 검색을 포함하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
8. 제 7 항에 있어서,
   상기 키워드 기반 검색은 AND, OR, NOT과 같은 연산자를 이용하고, 명확한 시간, 장소뿐만 아니라 의미적 시간, 장소와 같이 의미 정보 기반의 검색을 수행하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
9. 삭제
10. 삭제
11. 제 1 항에 있어서,
    상기 표출된 사진 중 어느 하나가 선택되면, 선택된 사진 옆으로 서브 윈도우 창을 생성하여 선택된 사진과 연관도가 가장 높은 사진들을 출력하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
12. 삭제
13. 삭제
14. 삭제
15. 제 3 항 또는 제 4 항에 있어서,
    상기 (G) 단계는 구축된 인물 친밀도 그래프를 이용하여 사용자의 단말기 내의 사진들에 촬영된 인물을 검색하는 제 1 방법과, 상기 제 1 방법을 포함하고, 사용자가 사용하는 소셜 네트워크에 저장된 사진들에 촬영된 인물들을 검색하는 제 2 방법과, 상기 제 2 방법을 포함하고, 서버에 저장된 사진들에 촬영된 인물을 검색하는 제 3 방법 중 적어도 하나를 포함하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
16. 제 15 항에 있어서, 상기 (G) 단계는
    인물 친밀도 그래프의 인물간 연관 검색 중에서 사용자가 관심 있는 시간, 장소, 인물을 중심으로 인물간의 친밀도를 검색하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
17. 제 16 항에 있어서,
    상기 인물간의 친밀도를 검색하는 방법은 키워드 기반 검색, 사진 기반 검색, 키워드 기반 검색 및 사진 기반 검색 중 적어도 2개 이상을 결합한 복합 검색을 포함하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
18. 제 15 항에 있어서, 상기 (G) 단계는 검색된 사진이
    사용자의 사진에 촬영된 인물들 중에서 사용자가 입력한 정보와 관련성이 높은 인물 순으로 리스트로 표출되는 리스트형과,
    사용자가 입력한 정보와 연관성이 높은 인물들을 그래프의 형태로 표출되는 그래프형과,
    사용자가 입력한 정보가 위치 정보일 경우 지도상에 해당하는 위치에서 촬영된 인물들 중 연관도가 높은 지역을 중심으로 연관도가 있는 인물들을 표출되는 지도형과,
    사용자가 입력한 정보가 시간 정보일 경우 달력상에 해당하는 일시에 촬영된 중심인물들을 표출되는 시간형 중 적어도 하나로 사용자에게 표출되는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
19. 제 18 항에 있어서, 상기 그래프형 표출 방법은
    가장 연관도가 높은 인물부터 표출되고, 이중 하나의 인물이 선택되면 가장 연관도가 높은 인물 순으로 그래프에 추가되는 형태로 표출되는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
20. 제 19 항에 있어서,
    상기 인물이 선택되는 방식에서 핀치(pinch) 줌 방식을 통해 확대 제스처가 수행되면, 서브 윈도우 창을 생성하고, 생성된 서브 윈도우 창에 선택된 사진과 연관도가 가장 높은 사진들을 표출하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
21. 제 18 항에 있어서, 상기 지도형 표출 방법은
    연관도가 높은 지역을 중심으로 연관도가 있는 인물들을 출력하고, 이중 하나의 인물이 선택되거나 인물 사진을 중심으로 확대 제스처가 수행되면 해당 지역을 확대하면서 클러스터링된 사진들의 사진 연관도 그래프 또는 인물들의 인물 친밀도 그래프를 표출하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.
22. 제 18 항에 있어서, 상기 시간형 표출 방법은
    검색한 시간을 중심으로 인물들이 자동 클러스터링 되고, 대표 인물만 표출되고, 표출된 대표 인물 중 하나가 선택되거나 대표 인물을 중심으로 확대 제스처가 수행되면 클러스터링 된 사진들 또는 인물들을 표출하는 것을 특징으로 하는 사진 기반 인물 친밀도 검색 방법.

Images