KR101417548B1

KR101417548B1 - 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템

Info

Publication number: KR101417548B1
Application number: KR1020127013764A
Authority: KR
Inventors: 티지스 스탈렌호에프; 잔 에릭 솔렘; 니콜라지 니홀름; 제프 파커
Original assignee: 애플 인크.
Priority date: 2009-10-27
Filing date: 2010-10-07
Publication date: 2014-07-08
Also published as: EP2494471A1; KR20120092644A; US20110099199A1; WO2011051091A1; CN102687146B; CN102687146A

Abstract

본 발명은 사진들을 이벤트별로 자동으로 정리하기(organize) 위한 방법에 관한 것이다. 이벤트는 같은 장소에서, 같은 시간-스팬(time-span) 이내에 찍히는 하나의 사진 세트로서 정의되며, 현실의 사건을 나타낸다. 이 방법은, 사진에서 알 수 있는 날짜, 시간, EXIF 데이터를 이용하여 사진들의 콜렉션을 세그먼팅하는 단계 또는 객체 인식을 수행하는 단계를 포함한다. 유사한 날짜, 시간 또는 GPS 정보를 갖거나 얼굴 또는 객체 인식 또는 소셜 그래프(social graph)에 기초하여 세그먼트들을 상관시킨다. 이벤트들을 라벨링하고 태그하는데 도움이 되는 메타데이터를 제공한다.

Description

사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING AND LABELING EVENTS IN PHOTO COLLECTIONS}

이하에, 본 발명의 배경 기술의 설명 및 문제 영역에 관한 것이 이어진다.

EXIF : 교환가능 이미지 파일 포맷

이것은 특정 메타데이터 태그를 JPEG 및 TIFF와 같은 기존의 파일 포맷에 추가하기 위한 업계 표준이다. 이 포맷은 캡처시에, 이미지 파일에 관련 메타 데이터를 기입하기 위해 포토 카메라 제작자에 의해 광범위하게 사용된다.

사용되는 메타 데이터 태그는 많고 다양하나, 캡처 날짜 및 시간, 셔터스피드와 같은 카메라 세팅, 구경(aperture), ISO 속도, 촛점거리, 미터링 모드, (만약 있다면) 플래시의 사용, 이미지의 방향, GPS 좌표, 미리 보기(rapid viewing)를 위한 이미지의 썸네일, 저작권 정보 및 많은 다른 것들을 포함하는 경향이 경향이 있다.

EXIF 표준의 최신 버전은 2.21이고, http://www.cipa.jp/exifprint/index_e.html로부터 입수 가능하다.

GPS : 글로벌 포지셔닝 시스템

위성 기술에 근거하는 지리적 위치를 결정하는 방법이 제공된다. 이러한 기술이 내장됨으로써 지원된(built-in support) 전용의 포토 카메라가 이용 가능하며, 카메라가 내장되어 있는 많은 스마트폰들도 또한 GPS 기능을 특징으로 한다. 이들의 경우, 사진 촬영시에, 현재 GPS 검색된 위치인 카메라의 위도 및 경도가 최종 파일의 EXIF 메타 데이터에 기입된다.

소셜 그래프

소셜 그래프는 개개인과 이 개개인이 속한 집단에서의 상호의존도에 근거하는 사회구조의 표현이다. 그래프의 노드는 개개인을 대표하고, 노드들 간의 커넥션(connection)은 임의의 종류의 비지니스 관계를 비롯한, 우호 관계, 친척 관계, 파트너쉽(partnership) 또는 임의의 다른 종류의 관계 등의 상호의존도의 유형을 정의한다. 상호의존도의 성질을 더 특정하는 것에 관련된 임의의 수의 부가적 속성이 추가되어, 그래프를 더욱 풍요롭게 할 수 있다.

어떠한 (일반적으로 온라인) 서비스의 사용자들 간의 관계라도 소셜 그래프로 표현할 수 있다. 소셜 네트워크 서비스들과 같은 사용자들 간의 상호작용에 촛점을 맞춘 서비스들의 소셜 그래프에 특히 흥미가 있다. 특히, 소셜 그래프의 사용자들, 사용자들의 사진 및 이들 사진들에 액세스 하는자에 대한 허가 여부(permission)가 소셜 그래프가 본 발명을 위한 관련 그래프이다.

종종 그 특정의 서비스의 어플리케이션 프로그래밍 인터페이스(이용할 수 있다면)를 이용하는 것을 통해, 이러한 서비스들로부터 도출되는 소셜 그래프가 상세해지고, 최신으로 되며, 정보 집약적으로 되는 경향이 있다.

네트워크와 그래프 이론에 근거하는 수학적인 기술을 사용하여 소셜 그래프 또는 네트워크가 분석될 수 있다. 사용자 타깃 서비스(user targeted services) 제공에서부터 행동의 예측, 광고와 시장 분석뿐만이 아니라 컨텐츠의 커뮤니케이션과 공유 촉진에 이르기까지 그 사용이 가능하다.

객체 인식 및 컴퓨터 비전

컨텐츠-기반의 이미지 검색(CBIR)은, 질의 이미지와 유사한 컨텐츠를 갖는 이미지 검색 분야에 해당한다. 이 문맥에 있어서의 「컨텐츠」라고 하는 용어는 색, 형태, 재질감 또는 이미지 그 자체로부터 도출될 수 있는 임의의 다른 정보를 가리키는 경우가 있다 (cf. 최근 견해에 대해서는 [1] 참조). 컴퓨터 비전 및 이미지 분석을 이용한 이미지의 콜렉션 내의 유사한 객체, 배경 또는 장면들을 찾아내는 자동 처리인 객체 인식은 본 발명과 가장 관련되어 있는 CBIR 내의 하위 분야에 해당한다.

연간 PASCAL 챌린지[2]에서는, 과제가 되는 증가하고 있는 데이터 세트에 대한 알고리즘의 평가를 수행한다. 현재의 가장 최신의 객체 인식은, 로컬 디스크립터(local descriptors), 종종, 검출된 관심 포인트에 적용되고, 사진 전반에 대해 고밀도로 샘플링되거나, 사진 자체에 글로벌하게 적용되는 수 개의 서로 다른 유형의 조합을 사용한다. 특징 디스크립터의 예로는, SIFT 관심점 검출기와 디스크립터[3], HOG 디스크립터[5](이들 모두 사진의 국소적인 부분으로 그 방향의 기울어짐이 발생하는 것(occurrences of gradient orientation in localized portions of the photo)을 포함함) 및 다른 로컬 검출기와 디스크립터[4])가 있다. 이들과 다른 특징 디스크립터는, 글로벌 사진 레벨에 대해서도 적용될 수 있다. 객체 인식은, 다른 유형의 데이터와 결합될 가능성이 있는 이들 디스크립터들의 비교 및 분석을 토대로 한다.

본 발명은 특징 디스크립터(로컬 또는 글로벌)의 어떠한 특정한 선택에도 제한되거나 의존되지 않는 것이며, 위에서 언급한 사항들은 어떤 특정한 선택이라기 보다는 디스크립터의 유형을 나타내는 참고사항이라고 생각되어야 한다

본 발명은 위에서 언급한 데이터 소스를 이용하여 사진들을 이벤트별로 자동으로 정리하는(organize) 방법 및 시스템을 기술하는 것이다.

환언하면, 이미지 내의 객체, 배경, 장면 및 메타데이터의 인식을, 관심 이벤트를 자동으로 검출하기 위한 소셜 그래프 데이터와 조합하는 방법 및 시스템이 제공된다.

이벤트

이벤트는 같은 장소에서, 같은 시간-스팬(time-span) 이내에 찍히는 하나의 사진 세트로서 정의되며, 현실의 사건(real world occurrence)을 나타낸다. 이 사건은, 사교 모임 또는 파티에서 뉴스-이벤트 또는 관광 명소에의 방문에 이르기까지 어떤 것이라도 될 수 있다. 특히, 이벤트는 결혼식에 온 많은 하객과 같은 임의의 명수의 개인이 찍는 사진으로 이루어질 수 있는데, 이 하객들 각각은 임의의 수의 이미징 장치를 사용해 자신들만의 사진 세트를 찍는다.

이벤트는 사용자에게는 자연스러운 방식으로 사진의 콜렉션을 세그먼팅(segment)한다. 동시에 사용자들은 자연스럽게 다른 이들과 함께 속한 사진들을 같이 묶을 것이지만, 이러한 사진들은 서로 다른 파일 포맷의 이미지로 이루어졌을 뿐만 아니라, 서로 다른 사람 및 소스로부터 나온 것일 수 있다.

이벤트들에 대한 필요성

신속하게 모든 가능한 온라인 방법들을 이용하여 사용자의 소셜 관계들 모두에 의해 공유되는 모든 사진들이 추가되어 거대한 양의 콘텐츠로 된다. 대부분의 이러한 콘텐츠는 정리되지 않는 경향이 있는데, 그 이유는 사용자들이 용이한 검색 및 해당 사진들과 관련이 있는 개인들과의 공유를 촉진시키는 방식으로 이들 사진들을 라벨링하는데 시간을 들이지 않기 때문이다. 그러므로, 대부분의 온라인 사진들은 결국 보여지지 않으며 이용되지 않게 된다.

이벤트들은, 이들 사진들의 대규모의 콜렉션들을 이해하는데 도움이 되는 조직적인 구조를 이용(consume)하기 위한 용이성을 제공한다. 이벤트들에 의해 정리되는 사진들의 전체 소셜 그래프에 있어서, 사용자는 이용가능한 모든 콘텐츠의 개관(overview)을 보다 용이하게 얻을 수 있다.

포토그래퍼(photographer)에 의해 세그먼팅되기 보다는 "현실의" 사건들에 따라 논리적으로 정리되기 때문에, 검색이 보다 자연스러워진다. 모든 전후관계상(contextually) 관련 사진들은 함께 제시되므로, 관련된 콘텐츠를 명확하게 보게 되기 위해서 여러 곳을 들여다보는 것은 더 이상 필요하지 않다.

이벤트들은 그 고유의 메타 데이터 세트를 갖는데, 이는 날짜 및 시간 범위, 지리적 위치, 기술 명칭이나 라벨, 임의의 종류의 조직적 태그들, 및 이벤트에 포함되는 사진들에 나타나는 사람들에 관한 신원(identity) 정보를 포함하지만, 엄격하게 포함한다거나 이에 제한되지는 않는다.

이벤트들의 생성

이벤트들은 사람들이, 몇몇 기존의 온라인 서비스나 툴을 이용하여 수동으로 직접 정리함으로써 그리고 자신들의 특정 현실의 사건의 사진들을 어딘가의 공통의 "앨범"에 수동으로 부가함으로써 생성될 수 있지만, 이는 실제로 좀처럼 발생하지 않는다. (선행 섹션에서 기술된 바와 같은) 유용성은 명백하지만, 이러한 접근법에 대한 수개의 명백한 문제점들이 존재한다:

1. 개념에 대한 비친숙성. 온라인 사진들은 여전히 비교적 새로운 현상이며, 대부분의 사용자들은 여전히 단지 하나의 장소와 시간에서의 1명의 사람의 사진들을 보유하는 물리적 포토 앨범과 유사한 맥락으로 생각한다.

2. 툴들의 결여. 실질적으로, 이러한 목적을 위해 특수하게 만들어진 툴들이 온라인으로 또는 다른 방식으로 존재하지 않는다. 기존의 툴들이나 서비스들은 이러한 기능을 이행하도록 "용도 변경"되거나 적합화되지만, 이들 툴들이 결코 이를 용이하게 하도록 설계되지 않으므로, 이는 일반적으로 심각한 제한을 갖는다.

3. 기술적 어려움. 하나의 장소에서의 수개의 소스들로부터 사진들을 수집하는 것 및 스스로 구축되거나 용도 변경된 툴들과 서비스들을 이용하여 이 사진들을 정리하는 것은 기술적으로 힘들고, 그에 따라 대부분의 정규 사용자들의 힘이 미치지 않는다.

4. 고됨과 시간 소모성. 기존의 툴들 및 서비스가 사진들의 세트를 보유하고 이들에 대한 액세스를 관련 사람들에게 제공할 수 있지만, 이 사진들을 유용한 관련 전원에게 업로딩하고 정렬하며 다른 방식으로 정리하는 것은 많은 시간과 노력과 사용자들 간의 조정을 요한다. 평균 사용자들보다 더 많은 시간을 소비하기를 원할 가능성이 있다.

본 발명은, 소셜 그래프를 통해 접속된 개인들에 의해 사진들로부터 이벤트들을 자동 생성하는 방법을 도입한다. 소셜 그래프를 이용하여 수집된 정보 이외에, 사진들의 콜렉션을 이벤트들로 세그먼팅하고, 관련 메타 데이터를 각각의 이벤트에 부가하여, 검색 및 관련이 있는 사람과의 이벤트의 공유를 용이하기 위해서, 메타 데이터, EXIF 정보, GPS 좌표들 및 컴퓨터 비전 기술이 이용된다.

데이터 소스들

사진들의 콜렉션을 세그먼팅하고, 이들 세그먼트들과 다른 세그먼트들을 상관시켜, 이벤트들을 형성하며, 메타 데이터를 제공함으로써, 각각의 이벤트가 (브라우징이나 검색을 통해) 용이하게 검색되며 공유될 수 있게 하기 위해서, 다음의 방법들 및 데이터 소스들이 이용될 수 있다. 이들 모두를 함께 이용하는 것은, 온라인 서비스들, 소셜 네트워크들 및 개인들에 걸쳐 사진들을 정리하기 위한 견고한 시스템을 산출한다.

( 세그먼팅을 위한) 날짜 및 시간

날짜 및 시간은 사진들을 세그먼팅하는 강력한 방식이다. 일반적으로, 온라인 시나리오에서의 이것에 2개의 기본적인 타임 스탬프들인 캡처 시간 및 업로드 시간이 이용가능하다.

동일한 시점에 업로딩된 모든 사진들을 클러스터화함으로써, 사진들의 매우 대략적인 제1 세그먼팅이 이루어질 수 있다. 이 때 이루어진 가정은, 한 현실의 사건을 찍은 사진들은 일반적으로 모두 동시에 업로딩된다는 것이다.

캡처 시간을 조사함으로써, 이전의 단계로부터의 세그먼트들을 더 세그먼팅할 수 있다. 이는, 특정의 임계값보다 더 멀지 않은 시간 내에 찍힌 사진들을 그룹화함으로써 수행된다.

(세그먼팅을 위한) EXIF 데이터

또한, 사진들의 세그먼팅은 각각의 사진에 대한 EXIF 데이터를 분석함으로써 수행되거나 또한 미세 튜닝(fine-tuned)될 수 있다.

이는 장면이나 주체에서의 급속한 변화를 검출하는데 이용될 수 있는데, 그에 따라 세그먼트 경계의 제안이 생성되어야 한다. 본 발명은 순차적으로 찍힌 사진들에서 장면이나 주체의 급속한 변화에 대하여 다음의 표시자들을 이용한다:

1. 셔터스피드에서의 상당한 시프트. 동일한 장면/위치 내에서 조명은 일반적으로 동일한 경향이 있다. 큰 시프트는, 예를 들어 포토그래퍼가 빌딩의 내부로부터 외부로 또는 그 반대로 위치를 변경하는 것에 의해, 장면/위치가 변화되었음을 나타낸다.

2. 플래시의 이용. 대부분의 카메라들은, 특히 자동 모드로 셋업된 경우에, 광-레벨이 강하할 때 플래시 이용을 자동으로 시작하는 경향이 있다. 그러므로, 플래시의 이용은 전술한 바와 같이 장면/위치 변화를 나타내는데 이용될 수 있다. 반대로, 셔터 스피드의 증가에 연관되는(coupled) 경우에, 특히 플래시의 이용의 갑작스러운 중지는 동일한 것을 나타낸다.

3. ISO 스피드에서의 상당한 시프트. 대부분의 카메라들은 광 레벨에서의 변경의 결과로서 자동으로 ISO 스피드를 변경한다. 광 레벨이 더 높을수록 ISO 스피드는 더 낮아지고, 반대로 ISO 스피드가 더 높을수록 광 레벨이 더 낮아진다. 이는 역시 장면/위치 변화를 나타낸다.

4. 화이트 밸런스 변경. 대부분의 카메라들은 씬/위치 변경의 결과로서 자신의 화이트-밸런스를 변경한다. "백열광(incandescent)" 화이트 밸런스는 카메라가 실내 백열광에서 찍히는 것으로 생각하는 샷들에 사용되는 반면에, 야외 샷들은 "일광(day light)" 화이트 밸런스로 찍힌다.

( 세그먼팅을 위한) 객체 인식

사진들은 또한 중첩되는 시각적 외관에 기초하여 세그먼팅될 수 있다. 객체 인식 시스템을 사용하여, 각각의 이미지에 대해 피쳐 디스크립터(feature descriptor)들이 계산되어 잠재적 매칭하는지를 판단하기 위해 비교될 수 있다. 이들 피쳐 디스크립터는 사진 내 영역을 나타내는 로컬 디스크립터들(예를 들면, REF 및 이와 유사한 것), 또는 사진을 전체로 나타내는 글로벌 디스크립터들(예를 들면 REF 및 이와 유사한 것) 중 어느 유형이라도 가능하다.

일례로는 연속적 이미지들 간의 디스크립터들을 매치시켜서 시각적 컨텐츠 내에서 불연속점들을 결정하고, 이에 따라 세그먼트 경계를 생성해야할 것을 제안하는 것이 있겠다. 다른 대안으로는 이미지들의 임의의 쌍 간의 디스크립터들을 매치시키고 시간상 엄격하게 연속적이지 않은 세그먼트들을 결정하는 것이다.

(상관시키기 위한) 소셜 그래프

사용자의 소셜 그래프에 기초하여 우리는 관심 대상이 되기에 충분히 사회적으로 친밀하다고 판단된 이들 개인(친구, 가족, 등)을 선택할 수 있다. 이들 개인 전체로부터의 세그먼팅된 사진들은 최초 사용자로부터의 이들 세그먼트들과 잠재적으로 상관된다. 이하에 설명되는 추가의 상관 방법들을 사용함으로써, 최종 이벤트를 구축하기 위해 상이한 사용자들로부터의 세그먼트들이 서로 매칭될 수 있다.

(상관시키기 위한) 날짜 및 시간

소셜 그래프를 통해 세그먼트들의 콜렉션이 생성된 후에, 이벤트를 형성하기 위해 세그먼트들이 서로 상관되어야 한다. 사용자들 소유의 세그먼트들에 대해 다른 사용자들로부터의 매칭하는 세그먼트들을 발견하기 위한 초기 스텝으로서 타임-프레임들이 중첩하는 세그먼트들을 찾는다.

각 세그먼트는 시작과 종료 타임-스탬프를 갖는다. 시작 타임-스탬프는 세그먼트의 첫번째 사진의 타임-스탬프이고 반대로 종료 타임-스탬프는 세그먼트의 마지막 사진의 타임-스탬프이다.

특정 세그먼트의 시작 타임-스탬프나 종료 타임-스탬프 어느 한 쪽이 다른 세그먼트의 시작 타임-스탬프와 종료 타임-스탬프 사이에 있을 때, 두 세그먼트는 중첩하는 것으로 판정된다.

이 방법에 기초하여 중첩되지 않는 임의의 세그먼트들은 "독립형(stand-alone)" 이벤트(즉, 그 사진들이 모두 동일한 포토그래퍼에 의해 만들어진 이벤트)로 가정된다. 그것들에게 추가의 처리는 행해지지 않는다.

중첩 세그먼트들은 후보 세그먼트 클러스터들이 된다. 클러스터 내 각 세그먼트는 적어도 하나의 다른 세그먼트와 중첩된다. 이 클러스터는 이용가능하다면 GPS 데이터, 또는 얼굴 인식 및 달리 기타 컴퓨터 비전 기술을 사용하여 추가의 매칭을 위해 전송된다.

(상관시키기 위한) GPS 데이터

후보 세그먼트 클러스터 내 둘 이상의 세그먼트들이 GPS 데이터가 내장된 사진들을 포함하거나, 제공된 위치 데이터가 이와는 다르게 제공된 경우, 이들 위치 간의 거리들이 계산될 수 있다. 하나의 세그먼트들로부터의 하나 이상의 사진들이 다른 세그먼트의 사진들로부터 특정한 임계 거리 내 위치를 갖는 경우, 후보 세그먼트들은 이벤트에 조인된다. 클러스터로부터의 추가의 세그먼트 쌍들이 이 이벤트에 조인될 수 있는데, 그들의 위치 또한 마찬가지로 충분히 가까워야 한다.

이는 GPS 또는 다른 위치 데이터를 갖는 모든 세그먼트들에 대해 반복된다.

이벤트를 형성하기 위해 아직 다른 것들과 조인되지 않은, 각 클러스터로부터의 임의의 남아있는 후보 세그먼트들은 추가의 매치를 찾기 위해 얼굴 인식 및 기타 컴퓨터 비전 기술을 사용하여 처리된다.

(상관시키기 위한) 얼굴 인식

얼굴 인식 기술은 클러스터로부터의 후보 세그먼트들을 서로 상관시키고 이들로부터 이벤트를 구축하기 위해 다양한 방식으로 사용될 수 있다. 이들 전부는 모든 세그먼트로부터의 각각의 사진에서 얼굴들을 찾는 것과 예를 들면, 날짜, 시간 또는 GPS 좌표를 사용하여 이전에 생성된 이벤트에 달려 있다. 그런 후에 이름이 붙은 얼굴 또는 이름이 없는 얼굴 중 어느 한 쪽을 사용하여 세그먼트를 매치시킬 수 있다.

이름이 붙은 얼굴을 사용하여 매칭하기

얼굴들은 아래 두가지 방식으로 이름이 붙을 수 있다:

1. 수동으로. 사용자에게 얼굴이 제시되고 그에 대한 이름을 제공해달라고 요청한다. 이 프로세스는 모든 얼굴들에 이름을 붙일 때까지 반복될 수 있다.

2. 자동으로. 이미 이름을 붙인 얼굴들에 기초하여, 얼굴 인식 기술은 이름이 없는 얼굴들이 몇몇 임계값에 기초하여 충분히 유사하게 보일 경우 이들에 자동으로 이름을 붙일 수 있다.

사용자가 일부 얼굴에 이름을 붙이고 시스템이 유사한 추가 얼굴들에 자동으로 전부 이름을 붙이거나 동일한 사람이라고 생각되는 얼굴들의 목록을 사용자에게 제시하여 사용자가 검증하도록 요청함으로써, 두 접근법이 조합될 수 있다.

일단 각 후보 세그먼트 또는 이벤트로부터의 얼굴들의 세트 - 그러나 전체일 필요는 없음 - 에 이름을 붙이면, 매칭이 이루어질 수 있다. 후보 세그먼트 클러스터 또는 이전에 생성된 이벤트들로부터의 둘 이상의 세그먼트들이 그 안에 동일한 사람 또는 사람의 이름을 가진다면, 그 세그먼트들 및/또는 이벤트들이 함께 조인되어 새로운 이벤트를 형성할 수 있다. 이는 동일한 사람이 동시간에 두 장소에 존재할 수는 없다는 원리에 기초한다. 후보 세그먼트 클러스터의 모든 세그먼트들이 시간 상 중첩되고, 한 사람이 몇개의 세그먼트들 또는 이벤트들에 걸친 사진들에 나타나므로, 이들은 거의 확실히 하나의 동일한 현실의 사건에 속하는 세그먼트들임이 틀림없다. 이름을 붙일 때에, 동일한 이름을 가질 수 있는 사람들을 고유하게 정의하기 위해 소셜 그래프가 사용될 수 있다.

이름이 붙지 않은 얼굴들을 매칭하기

상술한 바와 마찬가지로, 후보 클러스터로부터의 세그먼트들을 사용자 개입 없이 순전히 얼굴 인식에만 기초하여 함께 매칭시킬 수 있다.

둘 이상의 세그먼트들로부터의 얼굴들이 얼굴 인식 엔진에 의해 충분히 비슷하다고 판정될 경우, 그 얼굴들은 얼굴-매칭이라고 칭한다. 클러스터 또는 이전에 생성된 이벤트의 임의 개수의 세그먼트들 사이에서 임계 수치보다 많은 개수의 얼굴-매칭이 나타나면, 세그먼트들 및/또는 이벤트들은 새로운 이벤트를 형성하여 조인한다.

(상관시키기 위한) 객체 인식

후보 세그먼트 클러스터 내의 2 이상의 세그먼트들이 매칭하는 특징 디스크립터들을 갖는 사진들을 포함하면, 사진들의 유사도를 나타내는 유사도 스코어가 계산될 수 있다. 이 중 어느 하나에서 사용된 특징 디스크립터에 따라, 이는 유사한 객체들 또는 유사한 일반적인 사진 콘텐츠를 나타낼 것이다. 유사도 스코어가 일부 임계치보다 낮으면(양호한 매치를 나타내는 낮은 스코어이면), 후보 세그먼트들이 이벤트에 조인된다.

나머지 세그먼트 처리

이 시점에서, 다른 것에 자동으로 상관될 수 있는 클러스터 내의 모든 세그먼트들은 결합되어 이벤트들을 형성할 것이다. 남아있는 임의의 세그먼트들은 본래의 권한으로(in their own right) 별도의 "독립형(stand-alone)" 이벤트들, 즉 동일한 포토그래퍼에 의해 모든 사진들이 찍히는 이벤트들로 된다.

이제는 이벤트들에 레이블 및 태그를 붙이는 것을 돕기 위하여 메타데이터가 수집되어, 이벤트들이 보다 쉽게 검색되고 브라우징되게 한다.

(메타데이터를 위한) 객체 인식

객체 인식 기술은 이벤트에 대한 메타데이터를 자동으로 추출하는 데에 사용될 수 있다. 이는 이벤트들에 나타나는 객체 유형들 또는 카테고리별로 이벤트들을 브라우징하게 할 수 있다.

예를 들어, 연간 PASCAL 챌린지 [2]에 개시된 것과 같은 최신의 객체 인식 시스템은 사진들의 콘텐츠를 설명하는 데에 사용될 수 있다. 메타데이터를 추출하기 위하여, 객체 인식은 2가지 상이한 방식들로 이용된다.

● 카테고리화 : 레이블들이 글로벌 레벨로 사진에 할당되어, 사진에 대한 카테고리, 또는 카테고리들의 계층 구조를 나타낸다.

● 객체 로컬리제이션 : 예를 들어, 레이블들을 바운딩 박스(bounding box)들에 할당함으로써, 레이블들이 사진 내의 영역들에 할당되어, 레이블이 그 특정 영역에 적용된다는 것을 나타낸다.

(메타데이터를 위한) 얼굴 인식

이벤트의 사진들에 나타나는 모든 고유한 사람들의 이름들이 이벤트에 대한 메타데이터로서 추가될 수 있다. 이는 이벤트들 내의 사람들에 의한 이벤트들의 브라우징 또는 어떤 사람 또는 사람들의 그룹을 포함하는 이벤트들에 대한 검색을 가능하게 한다.

이들 이름들은 또한 날짜 및 시간과 함께 이벤트에 대한 레이블의 일부가 될 수 있다.

(메타데이터를 위한) 날짜 및 시간

특정 이벤트의 시작 및 종료 시간 스탬프들(이전 섹션 참조)은 이벤트에 대한 메타데이터로서 저장된다. 컴퓨터 비전 기술 기반 또는 수동으로 제공되는 이름 또는 레이블이 부족하다면, 이들은 이벤트를 참조하는 주요 방식이 될 수 있다.

본 발명의 일 실시예에서, 사진들을 자동 그룹핑하기 위한 방법은,

- 임의의 데이터 소스, 또는 소셜 그래프(social graph), 날짜, 시간, EXIF 및 객체 인식의 조합을 이용하여 사진들의 콜렉션을 세그먼팅하는 단계,

- 이들 세그먼트들을 임의의 데이터 소스, 또는 소셜 그래프, 날짜, 시간, GPS, 얼굴 인식 및 객체 인식의 조합을 이용하여 다른 세그먼트들과 더 상관시키는 단계,

- 메타데이터를 제공하여 검색을 가능하게 하는 단계

를 포함한다.

본 발명의 다른 실시예에서, 사진들을 자동 그룹핑하기 위하여 컴퓨터 판독가능 저장 매체에 저장되고 컴퓨터 장치에서 실행되는 컴퓨터 프로그램은,

임의의 데이터 소스, 또는 소셜 그래프(social graph), 날짜, 시간, EXIF 및 객체 인식의 조합을 이용하여 사진들의 콜렉션을 세그먼팅하는 단계,

- 메타데이터를 제공하여 검색을 가능하게 하는 단계

를 포함한다.

본 발명의 또 다른 실시예에서, 사진들을 자동 그룹핑하기 위한 시스템은 상술한 실시예에 따른 컴퓨터 프로그램을 포함한다.

본 발명의 또 다른 실시예에서, 시스템 또는 디바이스는 예를 들어, 웹사이트로부터 사진들을 다운로드하고, 사진들을 분석하고, 사진들의 그룹들의 표현을 저장하고, 이들 그룹들을 검색하거나 보기 위한 수단을 제공함으로써 사진들을 획득하는 데에 사용된다.

본 발명에 사용되는 기본적인 방법을 실시예들의 리스트와 함께 기술하였다.

참고문헌

[1] R. Datta, D. Joshi, J. Li, and J. Wang. Image retrieval: Ideas, influences, and trends of the new age. ACM Comput. Serv. 40, 2 (2008).

[2] Everingham, M. and Van Gool, L. and Williams, C. K. I. and Winn, J. and Zisserman, A., The PASCAL Visual Object Classes Challenge 2009 (VOC2009) Results, "http://www. pascal-network. org/challenges/VOC/voc2009/workshop/index. html

[3] D. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60, 2, 2004.

[4] K. Mikolajczyk and C. Schmid, Scale and Affine Invariant Interest Point Detectors, International Journal of Computer Vision, 60, 1, 2004.

[5] Qiang Zhu, Shai Avidan, Mei-Chen Yeh, Kwang-Ting Cheng, Fast Human Detection Using a Cascade of Histograms of Oriented Gradients, TR2006-068 June 2006, Mitsubishi Electric Research Laboratories.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
컴퓨팅 유닛에 의해 실행되는, 디지털 이미지들을 그룹화하는 방법으로서,
제1 사용자와 연관된 제1 세트의 디지털 이미지들을 수신하는 단계 - 상기 제1 세트의 디지털 이미지들 각각은 연관된 시간, 장소 및 캡처 조건 데이터를 가짐 -;
상기 제1 세트의 디지털 이미지들에서 순차적으로 캡처된 이미지들의 하나 이상의 쌍들 간의 장면 또는 주체의 변화를 나타내는 캡처 조건 데이터에 적어도 부분적으로 기초하여, 상기 제1 세트의 디지털 이미지들을 두 개 이상의 이미지 세그먼트로 분할하는 단계;
상기 제1 사용자의 소셜 그래프에 적어도 부분적으로 기초하여, 상기 제1 사용자와 제2 사용자 간의 관계를 식별하는 단계;
상기 제1 사용자와 연관된 상기 이미지 세그먼트들 중 하나를 상기 제2 사용자와 연관된 이미지 세그먼트와 상관시키는 단계 - 상기 상관시키는 단계는, 상기 제1 사용자와 연관된 상기 이미지 세그먼트에서의 하나 이상의 이미지들과 연관된 시간 및 장소 데이터에 적어도 부분적으로 기초함 - ;
이벤트를 나타내고 상기 상관된 이미지 세그먼트들을 연결시키는 정보를 컴퓨터 판독가능 저장 매체에 저장하는 단계
를 포함하는 디지털 이미지들을 그룹화하는 방법.
제11항에 있어서,
장면 또는 주체의 변화를 나타내는 상기 캡처 조건 데이터는, 상기 제1 세트의 디지털 이미지들을 획득하기 위해 사용되는 이미지 캡처 디바이스에 의해 상기 장면 또는 주체의 변화에 대응하는 자동 조절을 나타내는 데이터를 포함하는, 디지털 이미지들을 그룹화하는 방법.
제12항에 있어서,
상기 자동 조절은 상기 이미지 캡처 디바이스의 셔터스피드의 변경을 포함하는, 디지털 이미지들을 그룹화하는 방법.
제12항에 있어서,
상기 자동 조절은 상기 이미지 캡처 디바이스의 플래시의 이용상의 변경을 포함하는, 디지털 이미지들을 그룹화하는 방법.
제12항에 있어서,
상기 자동 조절은 상기 이미지 캡처 디바이스에 의한 ISO 스피드의 변경을 포함하는, 디지털 이미지들을 그룹화하는 방법.
제11항에 있어서,
상기 제1 사용자와 연관된 상기 이미지 세그먼트들 중 하나를 상기 제2 사용자와 연관된 이미지 세그먼트와 상관시키는 단계는,
상기 제1 사용자와 연관된 상기 이미지 세그먼트에서 가장 먼저 획득된 이미지와 연관된 제1 이미지 세그먼트 시작 시간 및 상기 제1 사용자와 연관된 상기 이미지 세그먼트에서 가장 늦게 획득된 이미지와 연관된 제1 이미지 세그먼트 종료 시간을 식별하는 단계;
상기 제2 사용자와 연관된 상기 이미지 세그먼트에서 가장 먼저 획득된 이미지와 연관된 제2 이미지 세그먼트 시작 시간 및 상기 제2 사용자와 연관된 상기 이미지 세그먼트에서 가장 늦게 획득된 이미지와 연관된 제2 이미지 세그먼트 종료 시간을 식별하는 단계; 및
상기 제1 이미지 세그먼트 시작 시간 및 상기 제1 이미지 세그먼트 종료 시간 중 하나 또는 모두가 상기 제2 이미지 세그먼트 시작 시간과 상기 제2 이미지 세그먼트 종료 시간 사이에 있는지를 결정하는 단계
를 포함하는, 디지털 이미지들을 그룹화하는 방법.
제16항에 있어서,
상기 제1 사용자와 연관된 상기 이미지 세그먼트들 중 하나를 상기 제2 사용자와 연관된 이미지 세그먼트와 상관시키는 단계는, 상기 제1 사용자와 연관된 상기 이미지 세그먼트에서의 하나 이상의 이미지와 연관된 장소가 상기 제2 사용자와 연관된 상기 이미지 세그먼트에서의 하나 이상의 이미지와 연관된 장소로부터 임계 거리 미만 떨어져 있는지를 결정하는 단계를 더 포함하는, 디지털 이미지들을 그룹화하는 방법.
제11항에 있어서,
상기 제1 사용자와 연관된 상기 이미지 세그먼트들 중 하나를 상기 제2 사용자와 연관된 이미지 세그먼트와 상관시키는 단계는, 상기 제1 사용자와 연관된 상기 이미지 세그먼트에서의 하나 이상의 이미지 및 상기 제2 사용자와 연관된 상기 이미지 세그먼트에서의 하나 이상의 이미지에서 공통된 얼굴을 검출하는 단계를 포함하는, 디지털 이미지들을 그룹화하는 방법.
컴퓨팅 유닛에 의해 판독가능하고 저장된 명령어들을 포함하는 컴퓨터 판독가능 저장 유닛으로서,
상기 명령어들은 하나 이상의 컴퓨팅 유닛으로 하여금,
제1 사용자와 연관된 제1 세트의 디지털 이미지들을 수신하고 - 상기 1 세트의 디지털 이미지들 각각은 연관된 시간, 장소 및 캡처 조건 데이터를 가짐 -;
상기 제1 세트의 디지털 이미지들에서 순차적으로 캡처된 이미지들의 하나 이상의 쌍들 간의 장면 또는 주체의 변화를 나타내는 캡처 조건 데이터에 적어도 부분적으로 기초하여, 상기 제1 세트의 디지털 이미지들을 두 개 이상의 이미지 세그먼트로 분할하고;
상기 제1 사용자의 소셜 그래프에 적어도 부분적으로 기초하여, 상기 제1 사용자와 제2 사용자 간의 관계를 식별하고;
상기 제1 사용자와 연관된 상기 이미지 세그먼트들 중 하나를 상기 제2 사용자와 연관된 이미지 세그먼트와 상관시키고 - 상기 상관은 상기 제1 사용자와 연관된 상기 이미지 세그먼트에서의 하나 이상의 이미지들과 연관된 시간 및 장소 데이터에 적어도 부분적으로 기초함 - ;
이벤트를 나타내고 상기 상관된 이미지 세그먼트들을 연결시키는 정보를 컴퓨터 판독가능 저장 매체에 저장하도록 하는, 컴퓨터 판독가능 저장 유닛.
시스템으로서,
컴퓨터 판독가능 저장 매체; 및
상기 컴퓨터 판독가능 저장 매체에 동작가능하게 연결되는 하나 이상의 컴퓨팅 유닛을 포함하고,
상기 컴퓨팅 유닛은,
복수의 사용자와 연관된 복수의 이미지 컬렉션들을 수신하고 - 상기 복수의 이미지 컬렉션들 각각은 하나 이상의 이미지를 포함하고, 각 이미지는 연관된 시간, 장소 및 캡처 조건 데이터를 가짐 -;
이미지 컬렉션 내에서 순차적으로 캡처된 이미지들의 쌍들 간의 장면 또는 주체의 변화를 나타내는 캡처 조건 데이터에 적어도 부분적으로 기초하여, 상기 이미지 컬렉션들을 세그먼트들로 분할하고;
소셜 그래프에 적어도 부분적으로 기초하여, 상기 복수의 사용자들 중 둘 이상의 사용자 간의 관계를 식별하고;
관련된 사용자들과 연관된 상기 세그먼트들 중 두 개 이상의 세그먼트를 후보 세그먼트 클러스터로 그룹화하고 - 상기 그룹화는 상기 두 개 이상의 세그먼트에서의 이미지들과 연관된 오버랩되는 시간 데이터에 기초함 - ;
공통 이벤트를 대표하여 상기 그룹화된 세그먼트들 중 두 개 이상을 식별하고,
상기 이벤트를 나타내고 상기 식별된 두 개 이상의 세그먼트들을 연결하는 정보를 상기 컴퓨터 판독가능 저장매체에 저장하도록,
상기 컴퓨터 판독가능 저장 매체에 저장된 프로그램 코드를 실행하도록 구성되는 시스템.