KR101810578B1 - 셔터 클릭을 통한 자동 미디어 공유 - Google Patents

셔터 클릭을 통한 자동 미디어 공유 Download PDF

Info

Publication number
KR101810578B1
KR101810578B1 KR1020137004789A KR20137004789A KR101810578B1 KR 101810578 B1 KR101810578 B1 KR 101810578B1 KR 1020137004789 A KR1020137004789 A KR 1020137004789A KR 20137004789 A KR20137004789 A KR 20137004789A KR 101810578 B1 KR101810578 B1 KR 101810578B1
Authority
KR
South Korea
Prior art keywords
images
user
content data
image
media
Prior art date
Application number
KR1020137004789A
Other languages
English (en)
Other versions
KR20130102549A (ko
Inventor
케이쓰 쇼지 키요하라
헨리 벤자민
대런 딜레이
핑 흐신 첸
시몬 한
케빈 스밀락
브라이언 엑스
하이두케 노쉬아디
케다르 카니트카르
에반 창
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20130102549A publication Critical patent/KR20130102549A/ko
Application granted granted Critical
Publication of KR101810578B1 publication Critical patent/KR101810578B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사용자들 간에 미디어를 자동으로 공유하는 컴퓨터 구현 방법이 제공된다. 상이한 사용자들로부터 이미지 컬렉션들이 수신되고, 각 컬렉션은 특정 사용자와 연관되고 사용자들은 서로 연관되어 있을 수 있다. 컬렉션들은 컬렉션 내의 이미지들의 콘텐츠에 기초하여 하나 이상의 앨범으로 그룹화되고, 각 앨범은 특정 사용자와 연관된다. 상이한 사용자들로부터의 앨범들은 앨범들의 콘텐츠에 기초하여 하나 이상의 이벤트 그룹으로 그룹화된다. 그 후 이벤트 그룹들은, 사용자 개입 없이, 상이한 사용자들 간에 그들의 서로 간의 연관들 및 그들 개개의 공유 선호들에 기초하여 자동으로 공유된다.

Description

셔터 클릭을 통한 자동 미디어 공유{AUTOMATIC MEDIA SHARING VIA SHUTTER CLICK}
이 발명은 일반적으로 사진 및 비디오를 포함한 디지털 미디어의 분야에 관한 것이고, 더 상세하게는 사용자들 간에 디지털 미디어의 공유에 관한 것이다.
디지털 이미지 캡처링 기술의 발전에 따라 이제는 사용자들이 사진 및 비디오를 포함한 디지털 미디어를 빠르고 편리하게 캡처할 수 있다. 게다가, 모바일 기기에의 디지털 카메라의 통합, 비싸지 않은 디지털 미디어의 저장소, 인터넷을 통한 네트워크 연결 등의 혁신에 따라 사용자들이 어느 위치로부터든지 디지털 미디어를 캡처하고 그것을 다른 사용자들과 공유할 수 있다.
디지털 미디어의 공유는 전형적으로 사용자가 사용자의 컴퓨팅 장치에서 실행하는 브라우저 또는 다른 애플리케이션을 이용하여, 예를 들어, 피카사(Picasa) 및 피카사 웹 앨범(Picasa Web Albums)과 같은 미디어 공유 웹 사이트에 미디어를 업로드하는 것을 수반한다. 미디어는 그 웹 사이트에 의해 운영되는 원격 웹 서버에 저장되고, 사용자가 미디어를 함께 공유하기로 결정한 다른 사용자들에 의해 나중에 액세스된다. 그러나, 디지털 미디어 및 디지털 미디어 컬렉션의 양이 증가함에 따라, 어떤 사용자들과 공유할 특정 이미지들을 찾는 것은 번거로워진다.
실시예들은 미디어를 자동으로 공유하는 컴퓨터 구현 방법과 관련된다. 일 실시예에서, 제1 사용자 및 제2 사용자와 각각 연관된 제1 이미지 컬렉션 및 제2 이미지 컬렉션이 수신된다. 제1 이미지 컬렉션은 제1 콘텐츠 데이터를 포함하고 제2 이미지 컬렉션은 제2 콘텐츠 데이터를 포함한다. 게다가, 제1 및 제2 사용자들은 서로 연관되어 있다. 다음으로, 제1 및 제2 컬렉션들은, 사용자 개입 없이, 제1 및 제2 콘텐츠 데이터에 따라 이벤트 그룹으로 자동으로 그룹화된다. 그 후, 사용자 개입 없이, 제1 및 제2 사용자들에게 이벤트 그룹으로의 액세스가 자동으로 제공된다. 이벤트 그룹은 제1 및 제2 사용자들 중 적어도 하나와 연관된 하나 이상의 새로운 이미지로 자동으로 업데이트될 수 있고, 제1 및 제2 사용자들에게 업데이트된 이벤트 그룹으로의 액세스가 자동으로 제공될 수 있다.
다른 실시예에서는, 미디어를 자동으로 공유하는 시스템이 적어도 하나의 메모리, 미디어 입력 모듈, 및 미디어 공유 모듈을 포함한다. 미디어 입력 모듈 및 미디어 공유 모듈은 적어도 하나의 메모리에 위치한다. 미디어 입력 모듈은 제1 사용자와 연관된 제1 이미지 컬렉션 및 제2 사용자와 연관된 제2 이미지 컬렉션을 수신하도록 구성되고, 제1 컬렉션은 제1 콘텐츠 데이터를 포함하고 제2 컬렉션은 제2 콘텐츠 데이터를 포함한다. 게다가, 제1 및 제2 사용자들은 서로 연관되어 있다. 미디어 공유 모듈은, 사용자 개입 없이, 제1 및 제2 컬렉션들을 제1 및 제2 콘텐츠 데이터에 따라 이벤트 그룹으로 자동으로 그룹화하도록 구성된다. 미디어 공유 모듈은 추가로, 사용자 개입 없이, 제1 및 제2 사용자들에게 이벤트 그룹으로의 액세스를 자동으로 제공하도록 구성된다. 이벤트 그룹은 이미지 공유 모듈에 의해 제1 및 제2 사용자들 중 적어도 하나와 연관된 하나 이상의 새로운 이미지로 자동으로 업데이트될 수 있고, 제1 및 제2 사용자들에게 업데이트된 이벤트 그룹으로의 액세스가 자동으로 제공될 수 있다.
실시예들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 이용하여 구현될 수 있고 하나 이상의 컴퓨터 시스템 또는 다른 프로세싱 시스템에서 구현될 수 있다.
추가의 실시예들, 특징들, 및 이점들과, 다양한 실시예들의 구조 및 동작은 첨부 도면들에 관련하여 아래에 상세히 설명된다. 본 발명은 여기에 설명된 특정 실시예들에 제한되지 않는다는 것에 유의한다. 그러한 실시예들은 단지 예시를 위해 여기에 제시되어 있다. 관련 기술(들)의 숙련자들에게는 여기에 포함된 정보에 기초하여 추가의 실시예들이 명백할 것이다.
실시예들은 첨부 도면들에 관련하여 단지 예로서 설명된다. 도면들에서, 같은 참조 번호들이 동일하거나 기능적으로 유사한 요소들을 나타낼 수 있다. 한 요소가 처음 나타나는 도면은 전형적으로 대응하는 참조 번호에서 가장 왼쪽 숫자 또는 숫자들로 나타내어진다. 또한, 여기에 포함되고 본 명세서의 일부를 구성하는 첨부 도면들은 본 발명의 실시예들을 예시하고, 상세한 설명과 함께, 추가로 본 발명의 원리들을 설명하고 관련 기술(들)의 숙련자가 그 실시예들을 만들고 사용할 수 있게 하는 데 도움이 된다.
도 1은 실시예들이 구현될 수 있는 모범적 시스템의 도면이다.
도 2는 실시예에 따른 클라이언트 애플리케이션의 예의 도면이다.
도 3은 실시예에 따른 미디어 공유 서비스가 구현될 수 있는 시스템의 예의 도면이다.
도 4a는 실시예에 따른 사용자들 간에 미디어를 자동으로 공유하는 방법의 예의 순서도이다.
도 4b는 실시예에 따른 하나 이상의 새로운 이미지로 이벤트 그룹을 업데이트하는 방법의 예의 순서도이다.
도 5는 실시예에 따른 클라이언트 애플리케이션을 이용하여 미디어를 캡처하고 전송하는 방법의 예의 순서도이다.
도 6은 실시예에 따른 이미지들을 앨범들로 그룹화하는 방법의 예의 순서도이다.
도 7은 실시예에 따른 앨범들을 이벤트 그룹들로 그룹화하는 방법의 예의 순서도이다.
도 8은 실시예들이 구현될 수 있는 컴퓨터 시스템의 예의 도면이다.
목차
I. 개요
II. 시스템
A. 클라이언트 애플리케이션
B. 미디어 공유 서비스
1. 얼굴 인식
2. 랜드마크 및 물체/장면 인식
3. 메타데이터 추출
4. 이미지 그룹화
a. 앨범 세그먼트화
b. 이벤트 클러스터링 및 공유
c. 실시간 이벤트 공유
III. 방법
A. 사용자들 간의 자동 미디어 공유
B. 클라이언트 애플리케이션
C. 앨범 세그먼트화
D. 이벤트 클러스터링
IV. 예시의 컴퓨터 시스템 구현
V. 결론
I. 개요
이미지들의 탐색 및 공유를 용이하게 하기 위해, 사용자들은 디지털 미디어 컬렉션들을 앨범 이름에 의해 또는 날짜에 의해 상이한 폴더들로 조직할 수 있다. 사용자들은 또한 태그들 또는 태그 워드들을 이미지 또는 이미지 그룹과 연관시킬 수 있다. 태그들은 이미지의 콘텐츠를 서술하는 하나 이상의 키워드를 포함한다. 그러나, 사용자 제공 태그들을 수반하는 조직 체계들(organization schemes)은 다양한 소스들로부터의 큰 이미지 컬렉션들에 대해서는 잘 조정(scale)되지 않는다. 예를 들어, 사용자들은 모든 이용 가능한 이미지들에 일관하여 그리고/또는 정확하게 태그를 붙이지 못할 수 있고, 동일한 이미지에 대해 상이한 사용자들에 의해 제공된 태그들에 차이들이 있을 수 있다. 더욱이, 많은 수의 이미지들에 태그를 붙이기 위해 상당한 사용자 입력이 요구되고 따라서 사용자들은 이용 가능한 모든 이미지들에 태그를 붙일 것 같지 않다. 이미지 그룹을 공유하게 위해, 각 사용자는 이미지 그룹을 조직하고, 그것들에 태그를 붙이고, 그것들을 미디어 공유 웹 사이트에 업로드해야 한다. 더욱이, 이것은 데이터 입력이 번거로운 휴대폰 사용자들에게 또는 공유하고 싶은 미디어에 대한 서술 데이터를 조직하고 입력할 시간이 없는 사용자들에게는 특히 어렵다.
게다가, 미디어 공유 사이트들은 일반적으로 다수의 사용자들로부터의 이미지들을 자동으로 그룹화하는 능력을 제공하지 않는다. 예를 들어, 사용자가 한 이벤트에서 찍은 이미지들을 그 이벤트의 다른 참석자들과 공유하기를 바랄 수 있다. 유사하게, 다른 참석자들이 그 이벤트로부터의 그들의 이미지들을 그 사용자와 공유하기를 바랄 수 있다. 비록 둘 이상의 사용자들이 다수의 사용자들로부터의 이미지들을 포함하는 공동 앨범 또는 이미지 컬렉션을 창작할 능력이 있을 수 있지만, 그러한 앨범 또는 이미지 컬렉션의 창작 및 업데이트는 여전히 그 사용자들에게 수작업 프로세스이다.
실시예들은 사용자들 간에 미디어를 자동으로 공유하는 것에 관련된다. 실시예들은, 사용자 개입 없이, 사용자와 연관된 사진 및 비디오를 포함하는 디지털 미디어를 미디어 객체들의 콘텐츠에 기초하여 하나 이상의 앨범으로 자동으로 그룹화한다. 더욱이, 실시예들은, 사용자 개입 없이, 다수의 사용자들로부터의 앨범들을 그 앨범들의 콘텐츠에 기초하여 하나 이상의 이벤트 그룹으로 자동으로 그룹화한다. 자동으로 생성된 이벤트 그룹(들)은 그 후 다수의 사용자들 간에 그 사용자들의 서로 간의 연관들 및 그들 개개의 공유 선호들에 따라서 공유될 수 있다. 실시예들은 또한 이벤트 그룹(들)이 새로운 이미지들로 업데이트될 수 있게 하고 사용자들 간에 업데이트 이벤트 그룹(들)을 자동으로 공유한다.
예를 들어, 제1 사용자 및 제2 사용자는 각 사용자가 다른 하나의 사용자에게 사진 및 비디오를 포함하는 서로의 디지털 미디어 컬렉션으로의 액세스를 허용하는 소셜 네트워크에 속할 수 있다. 제1 및 제2 사용자들은 그들 모두가 참석하는 특정 이벤트로부터 사진들을 캡처할 수 있다. 각 사용자는 이벤트 사진들을 다른 관련 없는 사진들과 함께 저장할 수 있다. 실시예들은 자동으로 각 사용자와 연관된 사진들의 콘텐츠를 결정하고, 이벤트에 대응하는 사진들을 이벤트 그룹으로 그룹화하고, 임의의 새로운 이벤트 사진들을 포함하는 이벤트 그룹을 사용자들 간에 공유한다. 실시예들은 얼굴 인식, 랜드마크 인식, 및 장면 또는 물체 인식을 포함하지만 이들에 제한되지 않는 다수의 상이한 기법들을 이용하여 미디어의 콘텐트를 결정할 수 있다. 실시예들은 또한 미디어로부터 메타데이터를 추출하여 그의 콘텐츠를 결정할 수 있다.
본 발명은 여기에서 특정 응용들을 위한 예시적인 실시예들에 관련하여 설명되지만, 실시예들은 그것에 제한되지 않는다는 것을 이해해야 한다. 다른 실시예들이 가능하고, 이 명세서의 가르침의 진의 및 범위 그리고 이 실시예들이 상당히 유용할 추가의 분야 내에서 실시예들에 대해 수정이 이루어질 수 있다. 또한, 특정한 특징, 구조, 또는 특성이 한 실시예와 관련하여 설명될 때, 명백히 설명되어 있든 아니든 그러한 특징, 구조, 또는 특성을 다른 실시예들과 관련하여 달성하는 것은 관련 기술의 숙련자의 지식 범위 안에 있다고 생각된다.
또한 관련 기술의 숙련자에게는 여기에 설명된 실시예들이 소프트웨어, 하드웨어, 펌웨어, 및/또는 도면들에서 예시된 엔티티들의 많은 상이한 실시예들에서 구현될 수 있다는 것도 명백할 것이다. 실시예들을 구현하기 위한 하드웨어의 전문화된 제어와 함께 어떤 실제의 소프트웨어 코드도 상세한 설명을 제한하지 않는다. 따라서, 실시예들의 운영상 행태는, 여기에 제시된 상세의 정도를 고려할 때, 실시예들의 수정들 및 변형들이 가능하다는 것을 이해하고 설명될 것이다.
이 명세서의 상세한 설명에서, "일 실시예", "실시예", "예시 실시예" 등에 대한 언급은 설명된 실시예가 특정한 특징, 구조, 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 그 특정한 특징, 구조, 또는 특성을 포함하는 것은 아닐 수 있다는 것을 나타낸다. 더욱이, 그러한 구절들은 반드시 동일한 실시예를 나타내고 있는 것은 아니다. 또한, 특정한 특징, 구조, 또는 특성이 한 실시예와 관련하여 설명될 때, 명백히 설명되어 있든 아니든 그러한 특징, 구조, 또는 특성을 다른 실시예들과 관련하여 달성하는 것은 관련 기술의 숙련자의 지식 범위 안에 있다고 생각된다.
"미디어" 및 "디지털 미디어"라는 용어들은 여기에서 디지털 사진, 또는 디지털 포토, 및 디지털 비디오를 광범위하게 그리고 포괄적으로 나타내기 위해 서로 교체 가능하게 사용된다. "이미지"라는 용어는 여기에서 한 장면과, 하나 이상의 사람, 하나 이상의 랜드마크, 및/또는 하나 이상의 물체를 포함하지만 이에 제한되지 않는 그 장면 내의 항목들의 이미지를 묘사하는 디지털 사진을 광범위하게 그리고 포괄적으로 나타내기 위해 사용된다. 게다가, "이미지(들)"라는 용어는 디지털 비디오의 적어도 일부로부터의 하나 이상의 프레임을 나타낼 수 있다. 더욱이, "사진/포토", "비디오", "미디어", 및 "이미지"라는 용어들은 여기에서 그 용어들이 "디지털"이라는 용어로 수식되든 아니든 디지털 사진들 및 디지털 비디오를 나타내기 위해 사용된다.
"미디어 공유 사이트"라는 용어는 여기에서 사진들 및 비디오들을 포함하는 디지털 미디어를 다양한 사용자들 간에 공유하도록 적응된 임의의 웹 사이트, 서비스, 프레임워크, 또는 프로토콜을 광범위하게 그리고 포괄적으로 나타내기 위해 사용된다. 그러한 웹 사이트 또는 서비스는 또한 그 사이트의 멤버들 간에 미디어를 공유하는 추가된 능력을 갖는 소셜 네트워킹 사이트들을 포함할 수도 있다.
"이미지 캡처 장치" 및 "이미지 캡처링 장치"라는 용어들은 여기에서 사진 및 비디오를 포함하는 디지털 미디어를 캡처하도록 적응된 임의의 장치를 광범위하게 그리고 포괄적으로 나타내기 위해 서로 교체 가능하게 사용된다. 그러한 장치들의 예들은 디지털 카메라, 디지털 카메라가 통합된 모바일 기기를 포함하지만 이에 제한되지 않는다. 더욱이, 여기에서 이미지들은 그러한 장치를 이용하여 이미지 노출을 위해 셔터 장치를 여는 버튼 또는 키를 수동으로 누르거나, 선택하거나, 클릭함으로써 캡처된다고 가정한다. 그러나, "셔터"라는 용어는 여기에서 이미지를 캡처하기 위해(즉, 셔터 장치를 작동시킴으로써) 사용되는 이미지 캡처 장치 상의 임의의 타입의 버튼 또는 키를 광범위하게 그리고 포괄적으로 나타내기 위해 사용되기도 한다.
II . 시스템
도 1은 여기에 설명된 실시예들이 구현될 수 있는 시스템(100)을 예시하는 도면이다. 시스템(100)은 클라이언트 장치들(110 및 110A-C), 클라이언트 애플리케이션(112), 장치 입력(114), 로컬 메모리(116), 브라우저(115), 미디어 뷰어(118), 미디어(120), 통지(notifications)(130), 네트워크(140), 서버들(150, 160, 170), 미디어 공유 서비스(152), 및 데이터베이스(180)를 포함한다.
클라이언트 장치들(110, 110A, 110B, 110C)은 예를 들어 네트워크(140)를 통하여 하나 이상의 서버(150, 160, 170)와 통신한다. 서버들(150, 160, 170)(이하에서는 총괄하여 "서버(들)(150)"라고 함)만이 도시되어 있지만, 필요에 따라 더 많은 서버들이 사용될 수 있다. 유사하게, 클라이언트 장치들(110 및 110A-C)만이 도시되어 있지만, 필요에 따라 더 많은 클라이언트 장치들이 사용될 수 있다. 클라이언트 장치(110)는 통신 인터페이스를 통하여 네트워크(140)에 통신 연결된다. 클라이언트 장치(110)는 하나 이상의 프로세서 및 네트워크를 통하여 데이터를 송신 및 수신할 수 있는 통신 인프라를 갖는 임의의 타입의 컴퓨팅 장치일 수 있다. 클라이언트 장치(110)는 또한 장치 입력(114)을 포함한다. 장치 입력(114)은 마우스, 쿼티(QWERTY) 키보드, 터치 스크린, 마이크로폰, 또는 T9 키보드를 포함하지만 이에 제한되지 않는 클라이언트 장치(110)에 연결된 임의의 종류의 사용자 입력 장치일 수 있다. 클라이언트 장치(110)는 휴대폰, PDA(personal digital assistant), 컴퓨터, 컴퓨터들의 클러스터, 셋톱 박스, 또는 명령어들을 처리할 수 있고 인간 또는 다른 컴퓨팅 장치에게 데이터를 송신하고 그로부터 데이터를 수신할 수 있는 다른 유사한 타입의 장치를 포함할 수 있지만 이에 제한되지 않는다.
서버(들)(150)는 유사하게, 클라이언트 장치(110)에 데이터를 서빙할 수 있는 임의의 타입의 컴퓨팅 장치일 수 있다. 서버(들)(150)는 미디어 공유 서비스(152)를 실행한다. 미디어 공유 서비스(152)는 서버(150)에 관하여 도시되어 있지만, 미디어 공유 서비스(152)는 임의의 서버 상에 구현될 수 있다. 더욱이, 미디어 공유 서비스(152)의 기능은 예를 들어 서버(150)와 같은 단 하나의 서버 상에서, 또는 분산된 또는 클러스터링된 서버 환경에서 예를 들어 서버들(150, 160, 170)과 같은 다수의 서버들에 걸쳐 구현될 수 있다.
일 실시예에서, 서버(들)(150)는 데이터베이스(180)에 통신 연결된다. 데이터베이스(180)는 숙련된 당업자들이 알고 있는 임의의 타입의 데이터 저장소일 수 있다. 일례에서, 데이터 저장소는 오라클(ORACLE) 데이터베이스 또는 숙련된 당업자들이 알고 있는 다른 데이터베이스들과 같은 데이터베이스 관리 시스템일 수 있다. 데이터베이스(180)는 서버(들)(150)가 액세스할 수 있는 임의의 타입의 미디어 및 임의의 대응하는 미디어 데이터를 저장할 수 있다. 데이터베이스(180)만이 도시되어 있지만, 필요에 따라 더 많은 데이터베이스가 사용될 수 있다.
일 실시예에서, 로컬 메모리(116)는 클라이언트 장치(110)가 액세스할 수 있는 정보를 저장하는 데 이용된다. 예를 들어, 로컬 메모리(116)에 저장된 정보는 하나 이상의 디지털 미디어 파일, 하나 이상의 사용자에 대한 연락 정보, 또는 디지털 포맷의 임의의 다른 타입의 정보를 포함할 수 있지만 이에 제한되지 않는다. 로컬 메모리(116)는 기록 매체로의 액세스를 제어하는 집적 회로에 연결된 임의의 타입의 기록 매체일 수 있다. 기록 매체는, 예를 들어 그리고 제한 없이, 반도체 메모리, 하드 디스크, 또는 다른 유사한 타입의 메모리 또는 저장 장치일 수 있다. 더욱이, 로컬 메모리(116)는 클라이언트 장치(110) 내에 통합될 수 있거나 또는 클라이언트 장치(110)에 직접 연결을 통해 통신 연결된 독립형 장치일 수 있다. 예를 들어, 로컬 메모리(116)는 클라이언트 장치(110)의 내부 메모리 장치, 콤팩트 플래스 카드, SD(secure digital) 플래시 메모리 카드, 또는 다른 유사한 타입의 메모리 장치를 포함할 수 있다.
네트워크(140)는 데이터 통신을 실어 나를 수 있는 임의의 네트워크 또는 네트워크들의 조합일 수 있다. 그러한 네트워크(140)는 유선(예를 들어, 이더넷) 또는 무선(예를 들어, Wi-Fi 및 3G) 네트워크를 포함할 수 있지만 이에 제한되지 않는다. 게다가, 네트워크(140)는 근거리 통신망(local area network), 중규모 지역 통신망(medium area network), 및/또는 인터넷과 같은 광역 통신망(wide area network)을 포함할 수 있지만 이에 제한되지 않는다. 네트워크(140)는 인터넷 또는 월드 와이드 웹 프로토콜들 및/또는 서비스들을 포함하지만 이에 제한되지 않는 프로토콜들 및 기술을 지원할 수 있다. 특정 응용 또는 환경에 따라서 시스템(100)의 컴포넌트들 사이에 중간 네트워크 라우터들, 게이트웨이들, 또는 서버들이 제공될 수 있다.
일 실시예에서, 클라이언트 장치들(110 및 110A-C)은 클라이언트 애플리케이션(112)을 실행한다. 추가의 실시예에서, 클라이언트 장치들(110 및 110A-C)은 미디어 뷰어(118)를 실행한다. 클라이언트 애플리케이션(112) 및 미디어 뷰어(118)의 동작에 대해서는 아래에 더 상세히 설명한다. 클라이언트 애플리케이션(112) 및 미디어 뷰어(118)는 임의의 타입의 컴퓨팅 장치 상에 구현될 수 있다. 그러한 컴퓨팅 장치는 퍼스널 컴퓨터, 휴대폰과 같은 모바일 기기, 워크스테이션, 임베디드 시스템, 게임 콘솔, 텔레비전, 셋톱 박스, 또는 임의의 다른 컴퓨팅 장치를 포함할 수 있지만 이에 제한되지 않는다. 또한, 컴퓨팅 장치는 명령어들을 실행하고 저장하기 위한 프로세스 및 메모리를 갖는 장치를 포함할 수 있지만 이에 제한되지 않는다. 소프트웨어는 하나 이상의 애플리케이션 및 운영 체제를 포함할 수 있다. 하드웨어는 프로세서, 메모리 및 그래픽 사용자 인터페이스 디스플레이를 포함할 수 있지만 이에 제한되지 않는다. 컴퓨팅 장치는 또한 다수의 프로세서들 및 다수의 공유 또는 개별 메모리 컴포넌트들을 가질 수 있다. 예를 들어, 컴퓨팅 장치는 클러스터링된 컴퓨팅 환경 또는 서버 팜(server farm)일 수 있다.
일 실시예에서, 도 1에 예시된 바와 같이, 클라이언트 장치(110)는, 클라이언트 애플리케이션(112), 미디어 뷰어(118), 또는 그의 임의의 조합을 통해, 서버(들)(150) 상의 미디어 공유 서비스(152)에 미디어 데이터(120)를 전송하거나 그로부터 미디어 데이터(120)를 수신할 수 있다. 미디어 데이터(120)는 하나 이상의 미디어 파일을 포함한다. 미디어 파일들은 사진, 비디오, 또는 양자의 조합일 수 있다. 게다가, 미디어 파일들은 전송되거나 검색될 미디어에 대응하는 미디어 콘텐츠 정보 및 메타데이터를 포함할 수 있다. 클라이언트 애플리케이션(112) 및 미디어 뷰어(118)는 검색된 미디어의 시각적 표현을 클라이언트 장치(110)의 디스플레이 상에 제시할 수 있다. 그러한 디스플레이는 디지털 사진 및/또는 비디오를 보기 위한 임의의 타입의 디스플레이일 수 있거나 또는 디지털 사진 및/또는 비디오를 보도록 적응된 임의의 타입의 렌더링 장치일 수 있다.
일 실시예에서, 미디어 뷰어(118)는 독립형 애플리케이션일 수 있고, 또는 그것은, 예를 들어, 구글 크롬(Chrome) 또는 마이크로소프트 인터넷 익스플로러(Internet Explorer)와 같은 브라우저(115) 내에서 실행될 수 있다. 예를 들어, 미디어 뷰어(118)는 브라우저(115) 내에서 스크립트로서, 브라우저(115) 내에서 플러그인으로서, 또는 예를 들어 어도비 (매크로미디어) 플래시(Adobe (Macromedia) Flash) 플러그인과 같은 브라우저 플러그인 내에서 실행하는 프로그램으로서 실행될 수 있다. 일 실시예에서, 클라이언트 애플리케이션(112) 및/또는 미디어 뷰어(118)는 미디어 공유 서비스(152)와 통합된다.
일 실시예에서, 클라이언트 장치(110)는 또한 네트워크(140)를 통하여 미디어 공유 서비스(152)로부터 통지(130)를 수신하도록 구성된다. 일 실시예에서, 통지(130)는 공유될 미디어가 저장되어 있는 웹 상의 로케이션으로의 액세스 링크를 포함한다. 예를 들어, 액세스 링크는 URL(uniform resource locator)과 같은 웹 로케이션 주소의 형태로 웹 사이트에의 로케이션을 포함할 수 있다. 통지(130)는 다수의 상이한 프로토콜들 및 방법들 중 임의의 것을 이용하여 미디어 공유 서비스(152)로부터 클라이언트 장치(110)로 전송될 수 있다. 예를 들어, 통지(130)는 전자 메일 또는 SMS(Short Message Service)를 통해 미디어 공유 서비스(152)로부터 전송될 수 있다. 통지(130)는 클라이언트 장치(110)에서 클라이언트 애플리케이션(112), 미디어 뷰어(118), 또는 예를 들어, 전자 메일 클라이언트 또는 SMS 애플리케이션과 같은, 그러한 통지를 수신하도록 적응된 임의의 다른 애플리케이션 또는 유틸리티에 의해 수신될 수 있다.
A. 클라이언트 애플리케이션
도 2는 도 1의 클라이언트 장치(110)의 클라이언트 애플리케이션(112)의 모범적 실시예를 예시하는 도면이다. 클라이언트 애플리케이션(112)은 이미지 캡처 모듈(210), 얼굴 검출 모듈(220), 메타데이터 삽입 모듈(230), 사용자 인터페이스 모듈(240), 및 이미지 전송 모듈(250)을 포함한다. 이미지 캡처 모듈(210), 얼굴 검출 모듈(220), 메타데이터 삽입 모듈(230), 사용자 인터페이스 모듈(240), 및 이미지 전송 모듈(250)을 포함하는, 클라이언트 애플리케이션(112)의 컴포넌트들 각각은 서로에 통신 연결될 수 있다.
동작 중에, 클라이언트 애플리케이션(112)은 디지털 이미지를 캡처하기 위해 클라이언트 장치(110)의 사용자에게 사용자 인터페이스 모듈(240)을 이용하여 옵션을 디스플레이한다. 사용자가 옵션을 선택하면, 클라이언트 애플리케이션(112)은 이미지 캡처 모듈(210)을 이용하여 디지털 사진 또는 비디오를 캡처한다. 이미지를 캡처하기 위해, 이미지 캡처 모듈(210)은, 예를 들어, 클라이언트 장치(110)와 통합된 디지털 카메라와 같은 이미지 캡처 장치(미도시)에 연결될 수 있다. 게다가, 사용자 인터페이스 모듈(240)은, 예를 들어, 클라이언트 장치(110)의 터치 스크린 또는 입력 버튼과 같은 사용자 입력 장치(예를 들어, 장치 입력(114))에 연결될 수 있다. 일단 사진 또는 비디오가 캡처되면, 그것은 이미지 캡처 모듈(210)에 의해 클라이언트 장치(110)에, 예를 들어, 로컬 메모리(116)에 저장될 수 있다.
얼굴 검출 모듈(220)은 이미지 캡처 모듈(210)에 의해 미디어가 캡처된 후에 그것을 분석하도록 구성될 수 있다. 일 실시예에서, 얼굴 검출 모듈(220)은 또한 이전에 캡처되어 클라이언트 장치(110)에 저장된 미디어를 분석할 수도 있다. 그러한 저장된 미디어는 110의 이미지 캡처링 장치를 이용하여(예를 들어, 클라이언트 장치(110)에서 실행되는 이미지 캡처 모듈(210) 또는 다른 애플리케이션에 의해) 캡처되었을 수 있거나 클라이언트 장치(110)에 연결되지 않은 개별 이미지 캡처링 장치를 이용하여 캡처되어 나중에 로컬 메모리(116)에 전송되었을 수 있다. 얼굴 검출 모듈(220)은 하나 이상의 이미지, 또는 사용자에 의해 명시된 이미지들을 분석하여 그 이미지(들) 내의 얼굴들을 검출하도록 구성될 수 있다. 예를 들어, 사용자가 디지털 사진들의 앨범을 로컬 메모리(116)에 전송하면, 얼굴 검출 모듈(220)은 그 앨범 내의 각 디지털 사진을 분석하여 얼굴들을 검출할 수 있다.
얼굴이 검출되면, 얼굴 검출 모듈(220)은 검출된 얼굴을 둘러싸는 영역, 예를 들어, 검출된 얼굴을 둘러싸는 직사각형 영역의 디지털 사본을 만들어 검출된 얼굴에 대응하는 얼굴 이미지 또는 얼굴 모델을 생성할 수 있다. 그 후 얼굴 이미지는 로컬 메모리(116)에 저장될 수 있다. 대안으로, 얼굴 이미지는 클라이언트 애플리케이션(112)이 네트워크(예를 들어, 네트워크(140))를 통해 액세스할 수 있는 얼굴 이미지 데이터베이스(미도시)에 저장될 수 있다. 일 실시예에서, 얼굴 검출 모듈(220)은 저장된 얼굴 이미지들을 이용하여 나중에 분석된 이미지들에서 얼굴들을 검출하는 것을 도울 수 있다.
이 설명을 읽은 관련 기술의 숙련자라면 이미지들에서 얼굴들을 검출하기 위해 얼굴 검출 모듈(220)에서 몇몇 잘 알려진 기법들 중 어느 하나가 이용될 수 있다는 것을 알 것이다. 그러한 기법들의 예들은 미국 특허 제6,222,939호에서 설명된 EBGM(Elastic Bunch Graph Matching) 기법, 미국 특허 제6,917,703에서 설명된 "가보 제트(gabor jets)" 상의 신경망을 이용하는 것, 및 미국 특허 제7,099,510호에서 설명된 부스티드 프리미티브 피처(boosted primitive features)를 이용한 얼굴 검출을 포함하지만 이에 제한되지 않는다.
일부 경우에, 얼굴 검출 모듈(220)의 자동 얼굴 검출은 이미지에서 모든 얼굴들을 검출하지 않을 수 있다. 따라서, 일부 실시예들에서, 사용자는 특별히 명시된 이미지를 처리하도록 얼굴 인식 모듈(220)을 트리거할 수 있다. 예를 들어, 얼굴 검출 모듈(220)은 이미지에서 하나 이상의 얼굴을 검출하지 않을 수 있다. 이 경우, 일 실시예에서, 얼굴 검출 모듈(220)은 사용자가 얼굴 검출 프로세스를 수동으로 돕는 능력을 제공한다. 예를 들어, 사용자 인터페이스 모듈(210)은 사용자가 검출되기를 원하는 각 얼굴의 주위에 바운딩 영역, 또는 바운딩 박스를 그리기 위한 그래픽 사용자 인터페이스를 제시할 수 있다. 이 설명을 읽은 관련 기술의 숙련자라면 자동 얼굴 검출뿐만 아니라 약간의 수정이 있는 수동 보조(manually-assisted) 얼굴 검출에서도 동일한 얼굴 검출 기법이 이용될 수 있다는 것을 이해할 것이다. 예를 들어, 수동으로 보조될 때, 얼굴 검출 소프트웨어는 단순히 정의된 영역 내에서 식별된 얼굴 랜드마크 특징들에 더 큰 무게를 둘 수 있다.
일 실시예에서, 얼굴 검출 모듈(220)을 이용하여 얼굴들이 검출되면, 사용자 인터페이스 모듈(240)은 하나 이상의 사용자 입력 필드를 디스플레이할 수 있고, 사용자는 그것을 이용하여 검출된 얼굴에 대응하는 사람을 식별하는 추가의 서술 데이터를 제공할 수 있다. 예를 들어, 사용자는 검출된 얼굴 이미지에 태그를 붙일 이름을 제공할 수 있다. 그 태그는 나중에 다른 이미지들에서 그 사람을 식별하는 데 이용될 수 있다. 서술 데이터는 또한 식별된 사람에 대한 연락 정보를 포함할 수 있지만 이에 제한되지 않는다. 사용자가 검출된 얼굴 이미지(들)에 대응하는 추가 정보를 입력하면, 메타데이터 삽입 모듈(230)은 그 이미지를, 검출된 얼굴 정보(예를 들어, 얼굴 검출 모듈(220)에 의해 생성된 얼굴 이미지들)에 더하여 식별된 사람(들)에 대한 태그 이름(들), 각각의 식별된 사람(들)에 대한 연락 정보, 및/또는 이미지 캡션 또는 서술 정보를 포함하지만 이에 제한되지 않는 임의의 사용자 제공 정보와 연관시키거나 그러한 정보로 이미지에 주석을 달도록 구성될 수 있다.
일 실시예에서, 얼굴 검출 모듈(220)은 검출된 얼굴(들)을 식별하기 위해 저장된 얼굴 이미지들을 이용할 수 있다. 전술한 바와 같이, 얼굴 이미지들은 로컬 메모리(116)에 또는 네트워크(140)를 통하여 클라이언트 애플리케이션(112)이 액세스할 수 있는 얼굴 데이터베이스에 저장될 수 있다. 그러한 얼굴 데이터베이스는 얼굴 이미지들에 더하여 각 얼굴 이미지에 대응하는 사람의 이름 및/또는 연락 정보를 포함하는 메타데이터를 저장하도록 적응된 임의의 종류의 데이터베이스일 수 있다. 저장된 얼굴 이미지는 또한 얼굴 이미지에 대응하는 사람의 신원에 대한 식별 정보를 포함하는 그 자체의 메타데이터를 포함할 수 있다. 예를 들어, 식별 정보는 이름 및 연락 정보를 포함할 수 있다.
따라서, 이 실시예에서, 사용자는 더 이상 검출된 얼굴에 대한 식별 정보를 제공하도록 요구받지 않을 것이다. 이 실시예의 이점은 메타데이터 삽입 모듈(230)이 추가의 사용자 개입 없이 검출된 얼굴 정보와 대응하는 식별 정보를 연관시킬 수 있다는 것이다. 그러나, 얼굴 검출 모듈(220)은 검출된 얼굴들을 저장된 얼굴 이미지들 또는 얼굴 모델들과 매칭시키기 위해 추가의 얼굴 인식 기능을 갖도록 구성될 필요가 있을 수 있다. 그러한 얼굴 인식 기능은 아래에 설명된 도 3의 미디어 공유 서비스(152)의 얼굴 인식 모듈(332)의 얼굴 인식 기능과 유사하게 동작할 것이다.
일 실시예에서, 메타데이터 삽입 모듈(230)은 또한 이미지(들)가 찍힌 시간 및 이미지(들)가 찍힌 위치를 포함하지만 이에 제한되지 않는 다른 메타데이터를 이미지(들)와 연관시킬 수 있다. 예를 들어, 클라이언트 장치(110)는 GPS(global positioning satellite) 수신기를 포함할 수 있고 메타데이터 삽입 모듈(230)은 이미지(들)가 찍힌 위치에 더하여 임의의 다른 정보를 이미지(들)와 연관시킬 수 있다. 이 설명을 읽은 관련 기술의 숙련자라면 임의의 수의 잘 알려진 정보 포맷들이 메타데이터에 이용될 수 있다는 것을 알 것이다. 예를 들어, 이미지의 위치는 이미지가 캡처된 지리적 위치에 대응하는 위도와 경도 좌표들을 포함할 수 있다.
일 실시예에서, 이미지 전송 모듈(250)은 클라이언트 장치(110)로부터 네트워크(140)를 통하여 도 1에 도시된 서버(들)(150)의 미디어 공유 서비스(152)에 하나 이상의 이미지를 전송한다. 전송된 이미지(들)는 메타데이터 삽입 모듈(230)에 의해 이미지(들)와 연관된 메타데이터 정보를 포함한다. 이미지 전송 모듈(250)은 클라이언트 장치(110)의 통신 인터페이스를 통해 이미지(들)를 전송하도록 구성된다. 이미지(들)는 네트워크(140)를 통하여 클라이언트 장치(110)와 미디어 공유 서비스(152) 간에 디지털 파일들을 전송하는 임의의 수의 잘 알려진 방법들을 이용하여 이미지 전송 모듈(250)에 의해 전송될 수 있다.
이미지 캡처 모듈(210), 얼굴 검출 모듈(220), 메타데이터 삽입 모듈(230), 사용자 인터페이스 모듈(240), 및 이미지 전송 모듈(250)의 실시예들은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 이미지 캡처 모듈(210), 얼굴 검출 모듈(220), 메타데이터 삽입 모듈(230), 사용자 인터페이스 모듈(240), 및 이미지 전송 모듈(250)의 실시예들, 또는 그의 부분들은 또한 여기에 설명된 기능을 수행할 수 있는 하나 이상의 컴퓨팅 장치 상에서 실행되는 컴퓨터 판독가능 코드로서 구현될 수도 있다. 그러한 컴퓨팅 장치들의 예들은 컴퓨터, 워크스테이션, 임베디드 시스템, 네트워킹된 장치, 모바일 기기, 또는 여기에 설명된 기능을 수행할 수 있는 다른 타입의 프로세서 또는 컴퓨터 시스템을 포함하지만 이에 제한되지 않는다.
게다가, 클라이언트 애플리케이션(112) 내에 있는 것으로 도시된 이미지 캡처 모듈(210), 얼굴 검출 모듈(220), 메타데이터 삽입 모듈(230), 사용자 인터페이스 모듈(240), 및 이미지 전송 모듈(250)은 본 발명의 실시예들을 구현하는 데 기능을 나타낸다. 숙련된 당업자는 클라이언트 애플리케이션(112)에서 도시된 것보다 더 많은 또는 더 적은 모듈이 본 발명의 기능을 달성하기 위해 소프트웨어로 구현될 수 있다는 것을 이해할 것이다.
B. 미디어 공유 서비스
도 3은 미디어 공유 서비스(152)가 구현될 수 있는 모범적 시스템(300)의 실시예를 예시하는 도면이다. 시스템(300)은 클라이언트 장치(310), 미디어 데이터베이스(320), 도 1의 미디어 공유 서비스(152), 앨범 데이터베이스(350), 이벤트 데이터베이스(360), 및 소셜 그래프 데이터베이스(370)를 포함한다. 미디어 공유 서비스(152)는 미디어 입력 모듈(330) 및 미디어 공유 모듈(340)을 포함하는 다양한 컴포넌트 모듈들을 포함한다. 미디어 입력 모듈(330)은 얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 및 메타데이터 추출기 모듈(338)을 포함한다.
미디어 데이터베이스(320)는 사진 또는 비디오 데이터와 같은 임의의 타입의 미디어 데이터를 저장할 수 있다. 이미지들은, 예를 들어, 디지털 카메라로부터 찍힌 사진들일 수 있다. 이미지들은 JPEG, TIFF, 또는 디지털 이미지 파일들에 대한 다른 유사한 포맷으로 인코딩될 수 있다. 각 이미지는 그 이미지와 연관된 메타데이터를 가질 수 있다. 예를 들어, 이미지는 이미지의 사진이 찍힌 시간, 사진이 찍힌 위치, 및 예를 들어, 제조사, 모델, 초점 거리 및 줌과 같이, 그 이미지를 캡처한 디지털 카메라와 같은 이미지 캡처링 장치에 관한 정보와 같은 정보를 저장하는 EXIF(exchangeable image file format) 헤더를 가질 수 있다. 이미지가 찍힌 시간은 이미지 캡처링 장치에 의해 이미지가 노출된 시간에 대응할 수 있다. 비디오는 프레임들의 시퀀스를 포함하고, 각 프레임은 이미지를 포함한다. 비디오는 또한 예를 들어, 디지털 카메라와 같이, 비디오를 캡처할 수 있는 이미지 캡처링 장치를 이용하여 캡처될 수 있다.
일례에서, 미디어 데이터베이스(320)는 피카사(Picasa)와 같은 미디어 공유 사이트(미도시)에 연결될 수 있다. 사용자는 미디어 공유 사이트로부터 미디어 데이터베이스(320)로 미디어를 업로드할 수 있다. 예를 들어, 다시 도 1을 참조하여, 사용자는 클라이언트 장치(110)의 브라우저(115)를 이용하여 미디어 공유 사이트로 내비게이트(navigate)하고 그 미디어 공유 사이트에 의해 제공된 사용자 인터페이스를 통해 미디어 데이터베이스(320)에 이미지들을 업로드할 수 있다. 추가의 예에서, 사용자는 또한 미디어 데이터베이스(320)로부터 이미지들을 검색할 수도 있다. 예를 들어, 사용자는 로컬 메모리(116)에 저장을 위해 클라이언트(110)에 이미지들을 다운로드하거나 미디어 공유 사이트에 역시 연결될 수 있는 미디어 뷰어(118)를 이용하여 이미지들을 보는 선택권이 있을 수 있다.
미디어 데이터(301)는 미디어 입력 모듈(330)에 의해 미디어 데이터베이스(320)로부터 검색된다. 미디어 입력 모듈(330)은, 예를 들어, SQL 선택문(select statement)을 이용하여 미디어 데이터베이스(320)로부터 미디어 데이터(301)를 검색할 수 있다. 대안으로, 미디어 입력 모듈(330)은 웹 서비스를 이용하여 미디어 데이터베이스(320)에 액세스할 수 있을 것이다. 미디어 데이터베이스(320)는 미디어 입력 모듈(330)에 미디어 데이터(301)를 푸시(push)할 수 있는 하나 이상의 중간 서버를 가질 수 있다. 전술한 미디어 데이터(120)와 같이, 미디어 데이터(301)는 하나 이상의 이미지 파일을 포함할 수 있다. 이미지 파일들은 사진들, 하나 이상의 비디오로부터의 프레임들, 또는 양자의 조합일 수 있다. 이미지 파일들은 이미지 콘텐츠와, 예를 들어 도 2에 예시된 클라이언트 애플리케이션(112)의 메타데이터 삽입 모듈(230)에 의해 추가된 메타데이터 정보와 같은 메타데이터를 포함할 수 있다.
미디어 입력 모듈(330)은 또한 통신 채널(302)을 통해 클라이언트 장치(110), 통신 채널(304)을 통해 클라이언트 장치(110A), 및/또는 통신 채널(303)을 통해 클라이언트 장치(310) 중 하나 이상으로부터 네트워크(140)를 통하여 미디어 데이터(120)를 수신할 수 있다. 클라이언트 장치(110), 클라이언트 장치(110A), 및 클라이언트 장치(310)만이 도시되어 있지만, 필요에 따라 추가의 클라이언트 장치들이 이용될 수 있다. 클라이언트 장치(310)는 네트워크(140)를 통하여 미디어 공유 서비스(152)를 포함한 서버(들)(150)에 캡처된 이미지들을 전송하는 능력을 갖는 임의의 이미지 캡처링 장치를 포함할 수 있다. 예를 들어, 클라이언트 장치(310)는 이미지들을 저장하고 저장된 이미지들을 미디어 공유 사이트에 직접 업로드하는 능력을 제공하는 아이파이(EYE-FI) SD 카드를 구비한 디지털 카메라를 포함하지만 이에 제한되지 않는 독립형 디지털 카메라일 수 있다.
미디어 데이터(120)를 수신하고 및/또는 미디어 데이터(301)를 검색하면, 미디어 입력 모듈(330)은 미디어 데이터(120) 및/또는 미디어 데이터(301)를 얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 및 메타데이터 추출기 모듈(338)에 전송한다.
1. 얼굴 인식
얼굴 인식 모듈(332)은 하나 이상의 얼굴을 인식하기 위해 자동 얼굴 인식을 수행함으로써 미디어 데이터(120) 및/또는 미디어 데이터(301)(이하에서는 총괄하여 "미디어 데이터(120/301)"라고 함)의 콘텐츠를 해석한다. 얼굴 인식 모듈(332)의 자동 얼굴 인식은 2개의 단계로 기능할 수 있다: 얼굴 검출 단계 및 얼굴 인식 단계. 그러나, 얼굴 인식 모듈(332)은 미디어 데이터(120/301)와 함께 얼굴 검출 정보가 이미 포함되어 있다면 미디어 데이터(120/301)에 대한 얼굴 검출 단계를 건너뛸 수 있다. 예를 들어, 이미지는 이미 얼굴 검출을 수행하고 이미지 파일과 함께 얼굴 검출 정보를 포함하는 클라이언트 장치(110)의 클라이언트 애플리케이션(112)에 의해 전송되었을 수 있다. 모든 이미지들이 다 얼굴 검출 정보를 포함하는 것은 아니므로, 얼굴 인식 모듈(332)은 그것이 수신하는 이미지 파일이 그러한 정보를 포함하는지를 결정하고 그 결정에 기초하여 필요에 따라 얼굴 검출을 수행해야 한다.
얼굴 인식 모듈(332)의 얼굴 검출 단계는 미디어 데이터(120/301)의 이미지들에서 얼굴들을 자동으로 검출하는 것을 포함한다. 그러한 자동 검출은, 예를 들어, 일반적인 얼굴 특징들에 기초할 수 있다. 얼굴 인식 모듈(332)은 이미지들 내의 얼굴들을 검출하기 위해 이미지들을 분석한다. 하나 이상의 얼굴이 검출되면, 얼굴 인식 모듈(332)은, 예를 들어, 이미지 내의 검출된 얼굴을 둘러싸는 바운딩된 영역(bounded region)을 포함하는 각 검출된 얼굴에 대응하는 얼굴 검출 정보를 생성할 수 있다. 일 실시예에서, 얼굴 인식 모듈(332)은 사용자가, 예를 들어, 클라이언트 애플리케이션(112) 및/또는 미디어 뷰어(118)를 통하여 얼굴 검출을 수동으로 도울 수 있게 할 수 있다. 그러한 실시예에서, 얼굴 검출 단계의 동작은 전술한 도 2의 얼굴 검출 모듈(220)의 수동 또는 사용자 보조 동작과 유사하다.
얼굴 인식 모듈(332)의 얼굴 인식 단계는 검출된 얼굴들을 식별하는 것을 포함한다. 얼굴 인식 모듈(332)의 동작은 검출된 얼굴들을 이전에 인식된 얼굴 이미지들 중 하나 이상의 얼굴 이미지와 비교하는 것을 포함할 수 있다. 예를 들어, 이전에 인식된 얼굴들은 얼굴 인식 모듈(332)이 액세스할 수 있는 하나 이상의 얼굴 이미지 데이터베이스(미도시)에 저장될 수 있다. 이 설명을 읽은 관련 기술의 숙련자라면 얼굴 검출 및 인식을 위한 몇몇 방법들 중 어떤 방법이든 사용될 수 있다는 것을 알 것이다. 그러한 방법의 일례는 Lui 및 Chen의 "Video-based Face Recognition Using Adaptive Hidden Markov Models", 2001, CVPR에 기술되어 있다.
2. 랜드마크 및 물체/장면 인식
랜드마크 인식 모듈(334)은 랜드마크를 갖고 있는 미디어 데이터(120/301)의 이미지들의 부분들을 검출하고 그 랜드마크를 식별한다. 랜드마크 인식 모듈(334)의 일례는 그 전체가 여기에 참고로 포함된, 공동으로 소유하는 미국 특허 출원 제12/119,359호[발명의 명칭: "Automatic Discovery of Popular Landmarks"]에 기술되어 있다. 랜드마크 인식 모듈(334)은, 예를 들어, 랜드마크들을 인식하기 위해 비주얼 클러스터링(visual clustering)을 이용할 수 있다.
물체 인식 모듈(336)은 미디어 데이터(120/301)의 이미지들을 해석하여 그 이미지들에 의해 표현된 장면 내의 물체들을 인식한다. 예를 들어, 미디어 데이터(120/301)는 장면의 이미지를 포함할 수 있고, 물체 인식 모듈(336)은 그 이미지 내의 물체를 인식할 수 있다. 다른 예에서, 물체 인식 모듈(336)은 비디오의 하나 이상의 프레임에서 물체를 인식할 수 있다. 물체 인식 모듈(336)은 숙련된 당업자들이 알고 있는 임의의 타입의 물체 인식 모듈일 수 있다. 일반적으로, 물체 인식 모듈(336)의 동작은, 얼굴 인식 모듈(332)과 같이, 2개의 단계를 포함할 수 있다. 첫째, 물체를 포함하는 이미지의 부분이 검출된다. 둘째, 그 이미지의 부분은 물체를 식별하는 분류자 함수(classifier function)와 같은 함수를 겪게 된다. 이 설명을 읽은 관련 기술의 숙련자라면 물체 인식 모듈(336)이 상이한 타입의 물체들을 검출하도록 구성된 다른 인식 모듈들을 포함하는 추가의 서브컴포넌트들을 포함할 수 있다는 것을 알 것이다.
일부 실시예들에서, 물체 인식 모듈(120)은 특정 물체들을 선택하고 알려진 물체들의 세트 내의 물체와 매칭시키기 위해 은닉 마르코프 모델(hidden Markov models)을 이용할 수 있다. 미디어 데이터(104)가 비디오인 경우, 물체 인식 모듈(120)은 하나 이상의 프레임에 걸쳐 물체를 추적한 다음 추적된 프레임들에 기초하여 물체를 인식할 수 있다.
얼굴 인식 모듈(332)을 이용하여 얼굴들을 인식하고, 랜드마크 인식 모듈(334)을 이용하여 랜드마크들을 인식하고, 물체 인식 모듈(336)을 이용하여 물체들을 인식함으로써, 미디어 입력 모듈(330)은 미디어 콘텐츠 데이터(306)를 결정한다. 미디어 콘텐츠 데이터(306)는, 예를 들어, 미디어의 컬렉션 및 그 미디어의 컬렉션의 콘텐츠에 대응하는 얼굴들, 랜드마크들, 및/또는 물체들의 메타-정보(meta-information)를 포함할 수 있다. 미디어 데이터(120/301)의 콘텐츠를 이용하여 미디어 콘텐츠 데이터(306)를 결정하는 것에 더하여, 미디어 입력 모듈(330)은 실시예에 따라 메타데이터 추출기 모듈(338)을 이용하여 미디어 데이터(120/301)로부터 직접 메타데이터를 추출할 수 있다.
3. 메타데이터 추출
메타데이터 추출기 모듈(338)은, 예를 들어, 미디어 데이터(120/301)와 함께 포함된 메타데이터를 추출할 수 있다. 미디어 데이터(120/301)는, 예를 들어, 미디어 파일들의 컬렉션일 수 있고, 각 미디어 파일은 전술한 바와 같이 메타데이터를 포함할 수 있다. 일 실시예에서, 미디어 파일은 JPEG 또는 TIFF와 같은 사진 이미지 파일일 수 있다. 사진 이미지 파일은 이미지에 관한 데이터와 함께 EXIF 헤더를 포함할 수 있다. EXIF 헤더는, 예를 들어, 사진이 찍힌 때와 같은 데이터를 포함할 수 있다. 예를 들어, 클라이언트 장치(310)는 GPS 센서와 같은 위치 센서를 포함할 수 있다. 클라이언트 장치(310)에 의해 생성된 이미지 파일들은 그들의 EXIF 헤더들에 각 사진이 찍힌 위치를 포함할 수 있다. 예를 들어, EXIF 헤더는 사진이 찍힌 곳에 대응하는 위도와 경도 값들을 가질 수 있다. 이렇게 하여, 메타데이터 추출기 모듈(338)은 미디어 데이터(120/301)로부터 미디어 콘텐츠 데이터(306)와 함께 포함될 메타데이터를 판독한다.
얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 및 메타데이터 추출기 모듈(338)의 실시예들은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 및 메타데이터 추출기 모듈(338)의 실시예들, 또는 그의 부분들은 또한 컴퓨터, 워크스테이션, 임베디드 시스템, 네트워킹된 장치, 모바일 기기, 또는 여기에 설명된 기능을 수행할 수 있는 다른 타입의 프로세서 또는 컴퓨터 시스템을 포함하지만 이에 제한되지 않는 임의의 타입의 프로세싱 장치 상에서 실행되도록 구현될 수 있다.
4. 이미지 그룹화
미디어 콘텐츠 데이터(306)를 이용하여, 미디어 공유 모듈(340)은 상이한 사용자들로부터의 미디어의 컬렉션을 자동으로 그룹화하고 그룹화된 미디어를 미디어의 콘텐츠 및 사용자들 간의 연관들에 기초하여 사용자들 간에 공유한다. 예를 들어, 미디어 입력 모듈(330)은 상이한 이미지들, 아마 이미지들의 전체 앨범을 수신하거나 획득할 수 있고, 여기서 각 이미지 및/또는 앨범은 상이한 사용자와 연관되어 있다. 예를 들어, 소셜 네트워킹 사이트 상에 명시된 공유 선호들을 통해 사용자들이 서로 연결되거나 연관되어 있는 동일한 소셜 네트워크 또는 소셜 그래프의 멤버들로서 사용자들 자신이 서로 연관되어 있을 수 있다. 일례에서, 각 사용자는 소셜 네트워킹 사이트에 저장된 멤버 프로파일 정보를 가질 수 있다. 게다가, 각 사용자의 프로파일은 사용자가 다른 사용자들에게 제공하는 미디어 공유 또는 액세스 권리들 및 특권들을 명시하는 공유 선호를 가질 수 있다. 공유 선호는 사용자가 함께 미디어를 공유하기로 결정하는 다른 사용자들을 식별하기 위해 사용될 수 있다. 예를 들어, 제1 사용자의 공유 선호는 제2 사용자를 식별할 수 있고, 여기서 제1 사용자와 제2 사용자는 서로 연관되어 있다. 일반적으로, 서로 연관된 사용자들은 서로에게 미디어 공유 특권들을 제공하고, 여기서 각 사용자에게는 다른 하나의 사용자와 연관된 이미지들로의 액세스가 허용된다. 따라서, 서로 연관된 사용자들은 그들의 공유 선호들을 통해 서로를 식별할 수 있다. 이 설명을 읽은 관련 기술의 숙련자라면 공유 선호들을 사용자와 연관시키고 상이한 사용자들을 서로 연관시키는 임의의 수의 알려진 방법들을 알 것이다.
a. 앨범 세그먼트화
미디어 공유 모듈(340)은 미디어 콘텐츠 데이터(306)를 자동으로 해석하여 각 개개의 사용자와 연관된 이미지들을 그 사용자에 대한 하나 이상의 앨범으로 그룹화한다. 그 후 미디어 공유 모듈(340)은 미디어 콘텐츠 데이터(306)를 자동으로 해석하여 상이한 사용자들에 대응하는 앨범들을 하나 이상의 이벤트 그룹으로 그룹화하고, 여기서 이벤트 그룹은 상이한 사용자들과 연관된 미디어를 포함한다. 그 후 미디어 공유 모듈(340)은, 사용자 개입 없이, 상이한 사용자들 간에 그들의 소셜 그래프 또는 서로 간의 연관에 기초하여 이벤트 그룹(들)을 자동으로 공유한다. 일 실시예에서, 미디어 공유 모듈(340)은 또한 이용 가능한 이벤트 그룹(들)에 대한 통지들을 사용자들에게 전송한다.
미디어 공유 모듈(340)은 앨범 세그먼트화 모듈(342), 이벤트 클러스터링 모듈(344), 공유 관리자(346), 및 통지 관리자(348)를 포함한다. 일 실시예에서, 미디어 공유 모듈(340)은 통신 라인들(307, 308, 및 309)을 통해 각각 앨범 데이터베이스(350), 이벤트 데이터베이스(360), 및 소셜 그래프 데이터베이스(370) 각각에 통신 연결된다.
앨범 세그먼트화 모듈(342)은 미디어 콘텐츠 데이터(306)에 포함된 미디어 콘텐츠 데이터 정보에 기초하여 미디어 입력 모듈(330)로부터의 미디어의 컬렉션을 하나 이상의 앨범으로 그룹화함으로써 그 미디어의 컬렉션을 세그먼트화한다. 앨범 세그먼트화 모듈(342)은 미디어 콘텐츠 데이터(306)를 이용하여 미디어의 컬렉션의 각 이미지에 대응하는 미디어 콘텐츠 데이터를 결정한다. 각 이미지의 결정된 미디어 콘텐츠 데이터에 기초하여, 앨범 세그먼트화 모듈(342)은 미디어의 컬렉션을 하나 이상의 앨범으로 세그먼트화한다.
예를 들어, 미디어 콘텐츠 데이터(306)는 미디어의 컬렉션의 이미지들이 캡처된 시간 및 위치(예를 들어, GPS 좌표로)를 포함할 수 있다. 컬렉션의 각 이미지의 결정된 시간 및 위치에 기초하여, 앨범 세그먼트화 모듈(342)은 이미지들의 컬렉션 또는 그룹을 하나 이상의 앨범으로 세그먼트화할 것이고, 여기서 각 앨범은 실질적으로 유사한 시간 및 위치 정보를 갖는 이미지들을 포함한다. 세그먼트화 동작의 정확성 및 세그먼트화된 앨범 내의 상이한 이미지들 간의 콘텐츠의 상관 관계를 개선하기 위해, 앨범 세그먼트화 모듈(342)은 그것이 미디어 콘텐츠 데이터(306)로부터 추론할 수 있는 만큼의 정보에 기초하여 미디어의 컬렉션을 세그먼트화한다. 예를 들어, 앨범 세그먼트화 모듈(342)은 얼굴 인식 정보, 랜드마크 인식 정보, 물체 인식 정보, 메타데이터, 또는 이들의 임의의 조합을 이용하여 이미지들의 컬렉션을 앨범(들)으로 세그먼트화할 수 있다.
일 실시예에서, 앨범 세그먼트화 모듈(342)은 미디어 입력 모듈(330)로부터 수신된 특정 이미지 또는 이미지들의 그룹과 유사한 미디어 콘텐츠를 갖는 이미지들을 포함하는 기존 앨범들을 찾아 앨범 데이터베이스(350)를 검색할 수 있다. 전술한 이전의 예를 이용하여, 앨범 세그먼트화 모듈(342)은 미디어 입력 모듈(330)로부터의 이미지(들)와 실질적으로 유사한 시간 및 위치 정보를 갖는 이미지들을 포함하는 앨범 데이터베이스(350) 내의 기존 앨범을 찾을 수 있다. 이 예에서, 앨범 세그먼트화 모듈(342)은 그 이미지(들)를 기존 앨범에 추가할 것이다. 검색 기준들(예를 들어, 유사한 미디어 콘텐츠 데이터를 갖는 이미지들)과 매칭하는 기존 앨범이 발견되지 않는다면, 앨범 세그먼트화 모듈(342)은 하나 이상의 새로운 앨범을 생성할 수 있다. 일 실시예에서, 앨범 세그먼트화 모듈(342)은 앨범 데이터베이스(350)를 이용하여 새로운 앨범(들)을 저장할 수 있다. 앨범 세그먼트화 모듈(342)은 각 앨범을 이미지들의 그룹과 연관된 사용자와 연관시킨다.
b. 이벤트 클러스터링 및 공유
이벤트 클러스터링 모듈(344)은 앨범 세그먼트화 모듈(342)에 의해 세그먼트화된 앨범들을 미디어 콘텐츠 데이터(306)에 포함된 미디어 콘텐츠 데이터 정보 및 둘 이상의 사용자와 연관된 공유 선호들에 기초하여 하나 이상의 이벤트 그룹으로 그룹화함으로써 그 앨범들을 클러스터링한다. 이벤트 클러스터링 모듈(344)은 상이한 앨범들이 상이한 사용자들과 연관되는 경우에 앨범들을 그룹화하는 것을 제외하면, 이벤트 클러스터링 모듈(344)의 클러스터링 동작은 앨범 세그먼트화 모듈(342)의 세그먼트화 동작과 유사하다. 전술한 바와 같이, 상이한 사용자들은 서로를 식별하는 공유 선호들을 통해 서로 연관될 수 있다. 또한 전술한 바와 같이, 그러한 선호들은 어느 사용자들이 특정한 사용자와 연관된 미디어에 액세스할 특권들을 갖는지를 결정하는 데 이용된다.
이벤트 클러스터링 모듈(344)은 공유 선호들 및 상이한 사용자들 간의 연관들을 결정하기 위해 공유 관리자(346)를 이용한다. 일 실시예에서, 공유 관리자(346)는 소셜 그래프 데이터베이스(370)와 통신 연결된다. 소셜 그래프 데이터베이스(370)는 서로 사회적 관계를 갖는 둘 이상의 사용자 간의 임의의 타입의 연관을 저장할 수 있다. 그러한 연관은 사용자들의 공유 선호들을 포함할 수 있고, 여기서 공유 선호들은 각 사용자가 다른 하나에 대해 갖는 액세스 권리들 또는 특권들을 명시한다. 공유 관리자(346) 및 소셜 그래프 데이터베이스(370)의 실시예들은, 예를 들어, 상이한 사용자들 간의 연관들 또는 사회적 연결들을 가능하게 하는 하나 이상의 소셜 네트워킹 사이트, 사진 공유 사이트, 또는 다른 유사한 타입의 사이트들과 통합될 수 있다.
일 실시예에서, 공유 관리자(346)는 소셜 그래프 데이터베이스(370)로부터 둘 이상의 사용자들의 공유 선호들을 포함하여 그 사용자들 간의 저장된 연관들을 검색한다. 미디어 콘텐츠 데이터(306)와 함께 사용자들에 관한 검색된 정보는 이벤트 클러스터링 모듈(344)이 앨범들을 하나 이상의 이벤트 그룹으로 클러스터링하는 데 이용된다. 일단 이벤트 클러스터링 모듈(344)에 의해 이벤트 그룹(들)이 클러스터링되면, 공유 관리자(346)는 이벤트 그룹(들)을 사용자들과 연관시키고 사용자들의 서로 간의 연관 및 각 사용자의 개개의 공유 선호에 기초하여 사용자들에게 이벤트 그룹(들)으로의 액세스를 제공한다. 일 실시예에서, 이벤트 데이터베이스(360)는 사용자들과 이벤트 그룹들의 연관을 저장하는 데 이용될 수 있다.
예를 들어, 사회적 이벤트에 대응하는 특정 시간 및 위치에서 캡처된 이미지들의 제1 앨범이 제1 사용자와 연관될 수 있다. 동일한 시간 및 위치, 즉, 이벤트에서 캡처된 이미지들의 제2 앨범이 제2 사용자와 연관될 수 있다. 게다가, 다른 사용자들과 연관된, 이벤트에서 또한 캡처된, 이미지들의 다른 앨범들이 있을 수 있다. 이 예에서, 이벤트 클러스터링 모듈(344)은 사용자들의 연관들 및 공유 선호들을 결정하기 위해 공유 관리자(346)를 이용할 수 있다. 공유 관리자(346)가 제1 사용자와 제2 사용자 간의 연관을 식별하고 각 사용자의 공유 선호가 다른 하나에 공유 특권들을 제공한다면, 이벤트 클러스터링 모듈(344)은, 예를 들어, 제1 및 제2 앨범들을 동일 시간 및 위치에서 캡처된 이미지들의 이벤트 그룹으로 클러스터링할 수 있다. 이 예에서 이벤트 그룹은 양쪽 사용자들과 연관된 이미지들을 포함할 것이다. 일단 클러스터링 모듈(344)에 의해 이벤트 그룹이 생성되면, 클러스터링 모듈(344)은 이벤트 그룹을 이벤트 데이터베이스(360)에 저장할 수 있다. 그 후 공유 관리자(346)는 제1 사용자와 제2 사용자에게 이벤트 그룹으로의 액세스를 제공할 수 있다.
일 실시예에서, 통지 관리자(348)는 이벤트 그룹의 하나 이상의 사용자에게 통지(예를 들어, 도 1의 통지(130))를 자동으로 전송하도록 구성된다. 일 실시예에서, 통지는 이벤트 그룹으로의 액세스 링크를 포함한다. 예를 들어, 액세스 링크는 사용자들이 이벤트 그룹으로 자동으로 안내되기 위해 선택할 수 있는 URL(uniform resource locator) 주소 형태의 웹 기반 로케이션 주소일 수 있다. 다시 도 1을 참조하여, 이벤트 그룹의 이미지들은, 예를 들어, 클라이언트 애플리케이션(112), 미디어 뷰어(118), 또는 사용자가 미디어를 보기 위해 사용할 수 있는 유사한 타입의 애플리케이션을 통해 액세스 가능할 수 있다.
일 실시예에서, 이벤트 클러스터링 모듈(344)은 실질적으로 유사한 콘텐츠 데이터에 기초하여 새로이 클러스터링된 이벤트 그룹을 추가할 기존 이벤트 그룹들을 찾아 이벤트 데이터베이스(360)를 검색할 수 있다. 이벤트 클러스터링 모듈(344)은 이벤트 데이터베이스(360)에서 매칭하는 이벤트 그룹이 발견된다면 그것에 클러스터링된 이벤트 그룹을 추가할 수 있다. 대안으로, 이벤트 클러스터링 모듈(344)은 이벤트 데이터베이스(360)에서 매칭하는 이벤트 그룹이 발견되지 않으면 클러스터링된 이벤트 그룹에 대한 새로운 이벤트 그룹을 이벤트 데이터베이스(360)에 생성할 수 있다.
c. 실시간 이벤트 공유
일 실시예에서, 공유 관리자(346)는 미디어 콘텐츠 데이터(306)의 콘텐츠 정보에 기초하여 이벤트 그룹에의 실시간 액세스 및 공유를 자동으로 가능하게 할 수 있다. 예를 들어, 공유 관리자(346)는 소셜 그래프 데이터베이스(370)로부터의 소셜 그래프 정보와 함께 미디어 콘텐츠 데이터(306)로부터 결정된 시간 및 위치 메타데이터를 이용하여 그 시간, 위치, 및 소셜 그래프 정보에 기초하여 이벤트 그룹에의 실시간 액세스 및 공유를 가능하게 할 수 있다.
공유 관리자(346)를 통한 실시간 공유의 예를 설명하기 위해, 이벤트 동안에 제1 사용자 및 제2 사용자에 의해 이벤트의 이미지들이 캡처된다고 가정한다. 이벤트 클러스터링 모듈(344)은, 예를 들어, 제1 및 제2 사용자들에 의해 이벤트 동안에 캡처된 미디어의 콘텐츠에 기초하여 이벤트에 대한 이벤트 그룹을 자동으로 생성할 수 있다. 미디어 콘텐츠 데이터(306)는, 예를 들어, 이미지들이 캡처된 시간 및 위치를 포함할 수 있다. 이 예에서, 공유 관리자(346)는 제1 및 제2 사용자들이 서로 연관되어 있고 매칭하는 공유 선호들을 갖고 있다고 결정할 수 있다(예를 들어, 제1 사용자는 제2 사용자에 대해 미디어 공유 특권들을 허용하고 그 반대도 마찬가지이다). 그 시간 및 위치 정보에 기초하여, 공유 관리자(346)는 양쪽 사용자들이 동일한 이벤트에 있다고 결정하고, 따라서 제1 및 제2 사용자들을 이벤트 그룹과 자동으로 연관시키기 시작하고 그 사용자들에게 그 이벤트 그룹으로의 액세스를 제공할 것이다. 통지 관리자(348)는, 예를 들어, 그 이벤트 그룹으로의 액세스 링크를 포함하는 통지들을 제1 및 제2 사용자들에게 전송할 수 있다. 제1 및 제2 사용자들은, 예를 들어, 그들 각자의 모바일 기기들에서 통지를 수신할 수 있다. 그러면 제1 및 제2 사용자들은, 예를 들어, 그들 각자의 모바일 기기들을 이용하여(예를 들어, 도 1의 클라이언트 애플리케이션(112) 또는 미디어 뷰어(118)에서) 이벤트 그룹의 이미지들을 볼 수 있을 것이다. 이에 따라 제1 및 제2 사용자들은 이벤트 동안에 자동으로 그리고 능률적으로 서로 간에 미디어를 공유할 수 있다.
앨범 세그먼트화 모듈(342), 이벤트 클러스터링 모듈(344), 공유 관리자(346), 및 통지 관리자(348)의 실시예들은 하드웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 앨범 세그먼트화 모듈(342), 이벤트 클러스터링 모듈(344), 공유 관리자(346), 및 통지 관리자(348)의 실시예들, 또는 그의 부분들은 또한 컴퓨터, 워크스테이션, 임베디드 시스템, 네트워킹된 장치, 모바일 기기, 또는 여기에 설명된 기능을 수행할 수 있는 다른 타입의 프로세서 또는 컴퓨터 시스템을 포함하지만 이에 제한되지 않는 임의의 타입의 프로세싱 장치 상에서 실행되도록 구현될 수 있다.
앨범 데이터베이스(350), 이벤트 데이터베이스(360), 및 소셜 그래프 데이터베이스(370)는 숙련된 당업자들이 알고 있는 임의의 타입의 데이터 저장소일 수 있다. 일례에서, 데이터 저장소는 오라클(ORACLE) 데이터베이스 또는 숙련된 당업자들이 알고 있는 다른 데이터베이스들과 같은 데이터베이스 관리 시스템일 수 있다. 앨범 데이터베이스(350) 및 이벤트 데이터베이스(360)는 (앨범들 또는 이벤트 그룹들로 각각 조직된) 이미지들 또는 비디오와 같은 임의의 타입의 미디어에 더하여 그 이미지들 또는 비디오에 대응하는 메타데이터 및 기타 콘텐츠 정보를 포함하는 메타-정보를 저장할 수 있다.
다시 도 1을 참조하여, 미디어 공유 서비스(152)가 서버(들)(150)에 관하여 도시되어 있지만, 미디어 공유 서비스(152) 및 그의 컴포넌트들(미디어 입력 모듈(330) 및 미디어 공유 모듈(340))의 실시예들, 또는 그의 부분들은, 예를 들어, 서버(150)와 같은 하나의 서버 상에 구현되거나 또는 분산된 또는 클러스터링된 서버 환경에서, 예를 들어, 서버들(150, 160, 170)과 같은 다수의 서버들에 걸쳐 구현될 수 있다. 더욱이, 미디어 입력 모듈(330)의 서브컴포넌트들(얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 및 메타데이터 추출기 모듈(338)), 또는 그의 부분들은 하나의 서버 상에 또는 다수의 서버들에 걸쳐 구현될 수 있다. 유사하게, 미디어 공유 모듈(340)의 서브컴포넌트들(앨범 세그먼트화 모듈(342), 이벤트 클러스터링 모듈(344), 공유 관리자(346), 및 통지 관리자(348)), 또는 그의 부분들은 하나의 서버 상에 또는 다수의 서버들에 걸쳐 구현될 수 있다.
III . 방법
A. 사용자들 간의 자동 미디어 공유
도 4a 및 4b는 사용자들 간에 미디어를 자동으로 공유하는 방법(400)의 프로세스 순서도들이다. 방법(400)은 단계들(402, 404, 406, 408, 410, 412, 414, 416, 418, 420, 422, 424, 및 426)을 포함한다. 방법(400)의 이득들은 사용자들이 서로 간에 미디어를 공유하는 더 빠르고 더 능률적이고 자동화된 방식을 포함하지만 이에 제한되지는 않는다. 더욱이, 방법(400)은 사용자들이 수동으로 이미지들을 앨범들로 그룹화하고, 앨범에 설명어들(descriptors)을 추가하고(예를 들어, 앨범 제목들), 다른 사용자들과 앨범들을 공유해야 하는 부담을 덜어준다.
설명의 용이함을 위해, 전술한 바와 같은, 도 1의 시스템(100) 및 도 3의 시스템(300)이 방법(400)을 설명하는 데 이용되겠지만, 그것에 제한되는 것으로 의도되지는 않는다. 다시 도 3을 참조하여, 방법(400)은, 예를 들어, 서버(들)(150)에 의해 미디어 공유 서비스(152)를 통해 수행될 수 있다. 방법(400)은 도 4a의 단계(402)에서 시작되어, 제1 사용자와 연관된 제1 이미지 컬렉션을 수신하는 것을 포함하는 단계(404)로 진행한다. 단계(404)는, 예를 들어, 미디어 입력 모듈(330)에 의해 수행될 수 있다. 일 실시예에서, 제1 이미지 컬렉션은, 예를 들어, 클라이언트 장치(110)와 같은 제1 사용자의 클라이언트 장치를 통해 제1 사용자로부터 직접 수신될 수 있다. 다른 실시예에서, 제1 컬렉션은 나중의 검색을 위해, 예를 들어, 미디어 데이터베이스(320)와 같은 하나 이상의 미디어 데이터베이스에 저장될 수 있다. 예를 들어, 제1 이미지 컬렉션은, 예를 들어, 전술한 바와 같이 미디어 데이터베이스(320)가 연결될 수 있는 사진 공유 사이트를 통해 제1 사용자에 의해 이전에 업로드되었을 수 있다. 또한, 전술한 바와 같이, 제1 컬렉션의 이미지들은 디지털 사진들, 디지털 비디오로부터의 프레임들, 또는 이들의 임의의 조합일 수 있다.
방법(400)은 제1 컬렉션 내의 각 이미지에 대한 제1 콘텐츠 데이터를 결정하는 것을 포함하는 단계(406)로 진행한다. 단계(406)는, 예를 들어, 얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 미디어 추출기 모듈(338), 또는 이들의 임의의 조합에 의해 수행될 수 있다. 전술한 바와 같이, 제1 콘텐츠 데이터는 제1 이미지 컬렉션 내의 인식된 얼굴들, 랜드마크들, 및/또는 물체들을 포함하는 정보를 포함할 수 있다. 또한 전술한 바와 같이, 제1 콘텐츠 데이터는 이미지들이 캡처된 시간 및 위치를 포함하지만 이에 제한되지 않는 제1 컬렉션으로부터 추출된 메타데이터를 추가로 포함할 수 있다.
방법(400)은 그 후 제1 컬렉션을 하나 이상의 앨범의 제1 세트로 세그먼트화하는 것을 포함하는 단계(408)로 진행한다. 단계(408)는, 예를 들어, 미디어 공유 모듈(340)의 앨범 세그먼트화 모듈(342)에 의해 수행될 수 있다. 전술한 바와 같이, 제1 컬렉션은 단계(406)에서 결정된 제1 콘텐츠 데이터에 기초하여 세그먼트된다.
방법(400)의 단계들(410, 412, 및 414)은 전술한 단계들(404, 406, 및 408)과 각각 유사하다. 그러나, 단계들(410, 412, 및 414)은 제2 사용자와 연관된 제2 이미지 컬렉션에 대응한다. 따라서, 단계(410)에서는, 제2 사용자와 연관된 제2 이미지 컬렉션이 수신된다. 단계(404)에서의 제1 이미지 컬렉션과 같이, 제2 컬렉션은 제2 사용자로부터 직접 수신되거나, 예를 들어, 미디어 데이터베이스(320)와 같은 미디어 데이터베이스로부터 액세스될 수 있다. 단계(410)도, 예를 들어, 미디어 입력 모듈(330)에 의해 수행될 수 있다. 단계(412)에서는, 제2 컬렉션 내의 각 이미지에 대한 제2 콘텐츠 데이터가 결정된다. 단계(412)는, 예를 들어, 얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 미디어 추출기 모듈(338), 또는 이들의 임의의 조합에 의해 수행될 수 있다. 단계(414)에서는, 제2 컬렉션이 제2 콘텐츠 데이터에 기초하여 하나 이상의 앨범의 제2 세트로 세그먼트화된다. 단계(414)는, 예를 들어, 앨범 세그먼트화 모듈(342)에 의해 수행될 수 있다.
일 실시예에서, 하나 이상의 앨범의 제1 및 제2 세트들은 제1 및 제2 사용자들과 각각 연관된다. 전술한 바와 같이, 제1 및 제2 사용자들은 또한 서로 연관될 수 있다. 게다가, 제1 및 제2 사용자들은 제1 및 제2 공유 선호들을 각각 가질 수 있다. 각 사용자의 공유 선호는 그 사용자가 다른 하나의 사용자에게 제공하는 미디어 공유 권리들 및 특권들을 식별한다. 예를 들어, 제1 사용자는 제2 사용자에게 제1 사용자와 연관된 미디어로의 액세스 권리들을 제공함으로써 제2 사용자와 미디어를 공유하는 것을 허용하는 공유 선호를 가질 수 있다. 제2 사용자도 제1 사용자에 대응하는 유사한 공유 선호를 가질 수 있다.
제1 및 제2 컬렉션들이 하나 이상의 앨범의 각자의 제1 및 제2 세트들로 세그먼트화되면, 방법(400)은 단계(416)로 진행한다. 단계(416)에서는, 제1 및 제2 세트들이 제1 및 제2 콘텐츠 데이터 및 제1 및 제2 사용자들의 공유 선호들에 따라 이벤트 그룹으로 클러스터링된다. 단계(416)는, 예를 들어, 이벤트 클러스터링 모듈(344)에 의해 공유 관리자(346)와 협력하여 수행될 수 있다.
단계(416)에서 이벤트 그룹이 생성된 후에, 방법(400)은 이벤트 그룹으로의 액세스를 제1 및 제2 사용자들에게 제공하는 것을 포함하는 단계(418)로 진행한다. 방법(400)에 제시되어 있지는 않지만, 제1 및 제2 사용자들은 또한 일 실시예에 따라 이벤트 그룹과 연관될 수 있다. 게다가, 이벤트 그룹 및 제1 및 제2 사용자들과의 임의의 연관들은, 예를 들어, 도 3에 예시된 바와 같이, 이벤트 클러스터링 모듈(344)에 의해 통신 라인(308)을 통해 이벤트 데이터베이스(360)에 저장될 수 있다. 단계(418)는, 예를 들어, 공유 관리자(346)에 의해 수행될 수 있다. 일 실시예에서, 방법(400)은 또한 제1 및 제2 사용자들에게 이벤트 그룹에 대한 통지를 전송하는 것을 포함하는 추가의 단계(미도시)를 포함할 수 있다. 통지는 전술한 바와 같이 이벤트 그룹으로의 액세스 링크를 포함할 수 있다. 이 선택적인 단계는, 예를 들어, 통지 관리자(348)에 의해 수행될 수 있다.
다음으로, 방법(400)은 이벤트 그룹에 대응하는 특정 이벤트로부터의 장면들을 나타내는 하나 이상의 새로운 이미지를 수신하는 것을 포함하는 도 4b의 단계(420)로 진행한다. 예를 들어, 단계(416)에서 생성된 이벤트 그룹은 특정 이벤트 동안에 제1 및 제2 사용자들에 의해 캡처된 이미지들을 포함할 수 있다. 이벤트 그룹이 생성된 후에, 제1 및/또는 제2 사용자들은 그 이벤트로부터 또한 캡처된 새로운 이미지들을 전송할 수 있다. 새로운 이미지들은 제1 및/또는 제2 사용자들에 의해, 예를 들어, 이벤트 동안에 그들의 모바일 기기들로부터 전송될 수 있거나, 예를 들어, 이벤트 후에 미디어 공유 사이트에 업로드될 수 있다. 전자의 시나리오에서는, 단계(420)는 사용자들 중 하나 또는 양쪽 모두로부터 직접 새로운 이미지들을 수신하는 것을 포함한다. 그러나, 후자의 시나리오에서는, 단계(420)는 미디어 공유 사이트에 연결된 또는 그와 통합된 미디어 데이터베이스로부터의 업로드된 이미지들에 액세스하는 것을 포함한다. 미디어 데이터베이스는, 예를 들어, 도 3의 미디어 데이터베이스(320)일 수 있다.
추가의 시나리오에서는, 이벤트로부터의 새로운 이미지들의 제1 세트가 제1 사용자로부터 직접 수신될 수 있고 이벤트로부터의 새로운 이미지들의 제2 세트가 제2 사용자에 의해 미디어 공유 사이트에 업로드되었을 수 있다. 이 시나리오에서는, 단계(420)는 새로운 이미지들을 직접 수신하는 것 및 미디어 데이터베이스로부터의 새로운 이미지들에 액세스하는 것을 포함한다. 어느 쪽의 사용자이든 이미지들을 직접 전송하거나 이미지들을 미디어 공유 사이트에 업로드하기로 결정할 수 있다는 것에 유의해야 한다. 단계(420)는, 예를 들어, 도 3의 미디어 입력 모듈(330)에 의해 수행될 수 있다.
새로운 이미지들이 수신되거나 액세스되면, 방법(400)은 수신되거나 액세스된 새로운 이미지들로 이벤트 그룹을 업데이트하는 것을 포함하는 단계(422)로, 그리고 제1 및 제2 사용자들에게 업데이트된 이벤트 그룹으로의 액세스를 제공하는 것을 포함하는 단계(424)로 진행한다. 제1 및 제2 사용자들에게 업데이트된 이벤트 그룹으로의 액세스를 제공하는 것은 제1 사용자와 제2 사용자 간에 이벤트 그룹을 공유하는 것을 가능하게 한다. 새로운 이미지들 자체가 원래 그 사용자들 중 하나에 의해서만 전송되었거나 업로드되었는지에 관계없이 제1 및 제2 사용자들 모두에게 이벤트 그룹으로의 액세스가 제공된다는 것에 유의해야 한다. 단계(422)는, 예를 들어, 이벤트 클러스터링 모듈(344)에 의해 수행될 수 있다. 단계(424)는, 예를 들어, 공유 관리자(346)에 의해 수행될 수 있다. 일 실시예에서, 방법(400)은 제1 및 제2 사용자들에게 업데이트된 이벤트 그룹에 대한 통지를 전송하는 추가의 단계(미도시)를 포함할 수 있다. 이 단계는, 예를 들어, 통지 관리자(348)에 의해 수행될 수 있다. 어떤 새로운 이미지도 수신되거나 액세스되지 않으면, 방법(400)은 단계(426)에서 종료한다.
일 실시예에서, 단계들(420, 422, 및 424)은 셔터의 클릭을 통해 제1 사용자와 제2 사용자 간에 자동 미디어 공유를 가능하게 한다. 예를 들어, 단계(420)에서 수신된 새로운 이미지(들)는 디지털 카메라가 통합된 컴퓨팅 장치(예를 들어, 도 3의 클라이언트 장치(110)) 또는, 예를 들어, 아이파이(EYE-FI) 카드를 갖는 디지털 카메라와 같은 독립형 이미지 캡처링 장치(예를 들어, 도 3의 클라이언트 장치(310)) 상에서 실행하는 애플리케이션(예를 들어, 클라이언트 애플리케이션(112))을 이용하여 이미지를 캡처한 사용자로부터 온 것일 수 있다. 이미지(들)가 수신되면, 이벤트 그룹은, 사용자 개입 없이, 단계(422)에서 새로운 이미지(들)로 자동으로 업데이트되고, 업데이트된 이벤트 그룹은, 사용자 개입 없이, 단계(424)에서 사용자들 간에 자동으로 공유된다.
방법(400)의 하나의 이점은 사용자들에게 이미지들 및 이미지 컬렉션들을 수동으로 라벨링하고 그룹화할 것을 요구하지 않고 (단계(424)에서) 사용자들 간에 미디어의 자동 공유를 가능하게 한다는 것이다. 이것은 더 빠르고 더 쉽고 더 능률적인 사용자의 미디어 공유 경험으로 이어지고, 미디어의 공유를 더 용이하게 함으로써 미디어를 캡처하는 사용자에게 유익하다. 더욱이, 그것은 사용자에 의해 캡처된 미디어가 공유될 공산을 증가시키므로 사용자와 연관된 다른 사용자들에게도 이익이 된다.
B. 클라이언트 애플리케이션
도 5는 클라이언트 애플리케이션을 이용하여 미디어를 전송하는 모범적 방법(500)의 실시예의 순서도이다. 설명의 용이함을 위해 도 2의 클라이언트 애플리케이션(112) 및 도 3의 시스템(300)이 방법(500)의 설명을 용이하게 하기 위해 이용될 것이다. 또한, 설명의 용이함을 위해, 방법(500)은, 예를 들어, 디지털 카메라와 같은 이미지 캡처링 장치가 통합된 모바일 기기(예를 들어, 도 1의 클라이언트 장치(110))의 맥락에서 설명될 것이다. 그러나, 이 명세서의 설명에 기초하여, 관련 기술의 통상의 기술자는 방법(500)이 카메라 또는 다른 이미지 캡처링 장치를 갖는 임의의 타입의 컴퓨팅 장치 상에서 실행될 수 있는 다른 클라이언트 애플리케이션들 내에 통합될 수 있다는 것을 알 것이다.
방법(500)은 단계들(502, 504, 506, 508, 510, 512, 514, 및 516)을 포함한다. 방법(500)은 단계(502)에서 시작되어, 하나 이상의 사람이 있는 장면을 나타내는 이미지를 캡처하는 것을 수반하는 단계(504)로 진행한다. 이미지는 디지털 사진 또는 디지털 비디오의 하나 이상의 비디오 프레임일 수 있다. 단계(504)는, 예를 들어, 이미지 캡처 모듈(210)에 의해 수행될 수 있다(예를 들어, 사용자가 셔터를 클릭할 때). 이미지 캡처 모듈(210)에 의해 캡처된 이미지들 외에, 방법(500)은 이미 캡처되어 로컬 메모리(예를 들어, 클라이언트 장치(110)의 로컬 메모리(116))에 저장된 이미지들을 사용할 수도 있다. 단계(506)에서는, 전술한 바와 같이 이미지 내의 각 사람의 얼굴이 검출된다. 단계(506)는 전술한 얼굴 검출 모듈(220)에 의해 수행될 수 있다. 방법(500)은 그 후 검출된 얼굴(들)에 대한 식별 정보를 획득하는 것을 포함하는 단계(508)로 진행한다.
일 실시예에서, 단계(508)에서 식별 정보를 획득하는 것은 사용자가 이미지에서 검출된 얼굴(들)을 식별할 수 있게 하는 것을 포함한다. 사용자는 얼굴에 대응하는 사람에 대한 식별 정보를 입력함으로써 얼굴(들)을 식별할 수 있다. 그러한 식별 정보는 식별되고 있는 사람의 이름 및/또는 연락 정보(예를 들어, 이메일 주소)를 포함할 수 있지만 이에 제한되지 않는다. 예를 들어, 캡처된 이미지는 클라이언트 애플리케이션(예를 들어, 클라이언트 애플리케이션(112))을 실행하는 컴퓨팅 장치(예를 들어, 도 1의 클라이언트 장치(110))에 연결된 디스플레이 상에 디스플레이될 수 있다. 게다가, 이미지 내의 검출된 얼굴(들)은 그 얼굴(들)의 경계를 정하기 위해 얼굴 주위에 그려진 버추얼 박스(virtual box)와 함께 디스플레이 상에 제시될 수 있다. 사용자는, 예를 들어, 터치 스크린 또는 키보드(예를 들어, 장치 입력(114))와 같은 사용자 입력 장치를 이용하여 이름 및 연락 정보를 입력할 수 있다. 단계(508)의 이 실시예는, 예를 들어, 전술한 사용자 인터페이스 모듈(240)에 의해 수행될 수 있다.
다른 실시예에서, 단계(508)에서 식별 정보를 획득하는 것은, 예를 들어, 전술한 바와 같이 클라이언트 애플리케이션(112)이 액세스할 수 있는 로컬 메모리(예를 들어, 로컬 메모리(116))로부터 각 검출된 얼굴과 매칭하는 저장된 얼굴 이미지를 검색하는 것을 포함한다. 다른 예에서, 저장된 얼굴 이미지는 단계(508)에서, 예를 들어, 클라이언트 애플리케이션(112)이 네트워크(140)를 통하여 액세스할 수 있는 얼굴 이미지 데이터베이스(미도시)와 같은 원격 로케이션으로부터 검색될 수 있다. 저장된 얼굴 이미지는 그 얼굴 이미지에 대응하는 사람의 신원에 대한 식별 정보를 포함하는 그 자체의 메타데이터를 포함할 수도 있다. 예를 들어, 식별 정보는 이름 및 연락 정보를 포함할 수 있다. 따라서, 이 실시예에서, 단계(508)는 더 이상 사용자에게 검출된 얼굴에 대한 식별 정보를 제공할 것을 요구하지 않을 것이다. 이 실시예의 이점은 방법(500)이 추가의 사용자 개입 없이 진행되는 것을 가능하게 하는 것이다. 단계(508)의 이 실시예는, 예를 들어, 얼굴 검출 모듈(220)에 의해, 예를 들어, 전술한 미디어 공유 서비스(152)의 얼굴 인식 모듈(332)과 같은 얼굴 인식 모듈과 협력하여 수행될 수 있다.
검출된 얼굴들이 식별되면, 방법(500)은 검출된 얼굴 정보 및 식별 정보(예를 들어, 이름 및 연락 정보)를 이미지와 연관시키는 것을 수반하는 단계(510)로 진행한다. 그러한 정보는 메타데이터로서 이미지와 연관될 수 있다. 선택적인 단계(512)에서는, 이미지가 캡처된 시간과 이미지가 캡처된 위치를 포함하지만 이에 제한되지 않는 추가의 메타데이터가 이미지와 연관될 수 있다. 예를 들어, 위치 정보는 클라이언트 애플리케이션을 실행하는 장치가 GPS 수신기를 포함하는 경우에만 이용 가능할 수 있다. 단계들(510 및 512)은, 예를 들어, 메타데이터 삽입 모듈(230)에 의해 수행될 수 있다.
메타데이터 정보가 캡처된 이미지와 연관된 후에, 방법(500)은 메타데이터를 포함하는 이미지를, 예를 들어, 도 1 및 3의 미디어 공유 서비스(152)와 같은 미디어 공유 서비스에 전송하는 것을 수반하는 단계(514)로 진행한다. 전송된 이미지는, 예를 들어, 도 3에 도시된 미디어 공유 서비스(152)의 미디어 입력 모듈(330)에 의해 수신될 수 있다. 단계(514)는, 예를 들어, 이미지 전송 모듈(250)에 의해 수행될 수 있다. 이미지가 전송되면 방법(500)은 단계(516)에서 종료한다.
특히 방법(400)과 결합하여, 방법(500)의 하나의 이점은 사용자들이 최소의 단계들로 빠르고 쉬운 방식으로 미디어를 자동으로 공유할 수 있게 한다는 것이다. 미디어는 사용자가 단순히 (단계(504)에서) 셔터를 클릭하는 것으로 공유될 수 있다.
C. 앨범 세그먼트화
도 6은 이미지들을 앨범들로 그룹화하는 모범적 방법(600)의 실시예의 순서도이다. 방법(600)은 단계들(602, 604, 606, 608, 610, 612, 614, 및 616)을 포함한다. 방법(600)은 단계(602)에서 시작되고, 사용자와 연관된 이미지를 수신하는 것을 포함하는 단계(604)로 진행한다. 단계(604)는, 예를 들어, 도 3의 미디어 입력 모듈(330)에 의해 수행될 수 있다. 이미지를 수신하면, 방법(600)은 그 이미지에 대한 콘텐츠 데이터를 결정하는 것을 포함하는 단계(606)로 진행한다. 이미지 콘텐츠 데이터는 얼굴 인식 정보, 랜드마크 인식 정보, 메타데이터 정보(예를 들어, 시간 및 위치 정보), 및 임의의 다른 타입의 이미지 콘텐츠 정보를 포함할 수 있지만 이에 제한되지 않는다. 단계(606)는, 예를 들어, 얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 메타데이터 추출기 모듈(338), 또는 이들의 임의의 조합을 포함하는 미디어 입력 모듈(330)의 서브컴포넌트들에 의해 수행될 수 있다.
방법(600)은 이미지 콘텐츠 데이터에 기초하여 매칭하는 앨범을 찾아 사용자의 기존 앨범들(만약 있다면)을 검색하는 것을 포함하는 단계(608)로 진행한다. 기존 앨범이 수신된 이미지와 실질적으로 유사한 콘텐츠 데이터를 갖는 이미지들을 포함하고 있다면 그 기존 이미지는 매칭하는 것으로 간주될 수 있다. 이 설명을 읽은 관련 기술의 숙련자라면 매칭하는 앨범을 능률적으로 검색하기 위해 다수의 검색 접근법들 중 임의의 하나가 이용될 수 있다는 것을 알 것이다. 하나의 그러한 접근법의 예는 사용자 앨범들을 저장하는 데 이용되는 데이터베이스(예를 들어, 도 3의 앨범 데이터베이스(350))에, 이미지 콘텐츠 데이터의 디멘션들(dimensions) 중 하나에 대응하는 로컬 인덱스를 생성하는 것을 포함한다. 예를 들어, 앨범의 끝 타임스탬프(end timestamp)에 대응하는 인덱스가 생성될 수 있다. 그러한 타임스탬프 인덱스는 이미지 타임스탬프(즉, 이미지가 캡처된 시간)로부터, 어떤 소정의 임계값을 빼어, 데이터베이스 내의 테이블의 끝까지 범위를 스캔하는 데 이용될 수 있다. 그 스캔으로부터 생성된 후보 앨범들은, 예를 들어, 위치 정보와 같은 이미지 콘텐츠 데이터의 나머지 디멘션들에 의해 필터링될 수 있을 것이다. 이 예시의 방법의 이점은 검색할 앨범들의 수를 감소시키는 것이다.
단계(608)에서 매칭하는 앨범이 발견되면, 방법(600)은 매칭하는 앨범에 이미지가 추가되는 단계(610)로 진행한다. 대안으로, 단계(608)에서 매칭하는 앨범이 발견되지 않으면, 방법(600)은 그 이미지에 대한 새로운 앨범이 생성되는 단계(612)로 진행한다. 단계들(608, 610, 612, 및 614)은, 예를 들어, 도 3에 도시된 미디어 공유 모듈(340)의 앨범 세그먼트화 모듈(342)에 의해 수행될 수 있다. 단계들(610 또는 612) 후에, 방법(600)은 단계(614)에서 종료한다.
D. 이벤트 클러스터링
도 7은 둘 이상의 사용자와 연관된 앨범들을 이벤트 그룹들로 그룹화하는 모범적 방법(600)의 실시예의 순서도이다. 방법(700)은 단계들(702, 704, 706, 708, 710, 712, 714, 및 716)을 포함한다. 방법(700)은 단계(702)에서 시작되고, 둘 이상의 앨범을 수신하는 것을 포함하는 단계(704)로 진행하는데, 각 앨범은 상이한 사용자와 연관되어 있다. 단계(704)는, 예를 들어, 도 3의 미디어 입력 모듈(330)에 의해 수행된다. 앨범들을 수신하면, 방법(700)은 각 앨범에 대한 앨범 콘텐츠 데이터를 결정하는 것을 포함하는 단계(706)로 진행한다. 앨범 콘텐츠 데이터는 주어진 앨범 내의 이미지들에 대응하는 콘텐츠 정보를 포함한다. 그러한 앨범 콘텐츠 데이터는 얼굴 인식 정보, 랜드마크 인식 정보, 메타데이터 정보(예를 들어, 시간 및 위치 정보), 및 임의의 다른 타입의 앨범 콘텐츠 정보를 포함할 수 있지만 이에 제한되지 않는다. 단계(706)는, 예를 들어, 얼굴 인식 모듈(332), 랜드마크 인식 모듈(334), 물체 인식 모듈(336), 메타데이터 추출기 모듈(338), 또는 이들의 임의의 조합을 포함하는 미디어 입력 모듈(330)의 서브컴포넌트들에 의해 수행될 수 있다.
방법(700)은 앨범 콘텐츠 데이터에 기초하여 매칭하는 앨범을 찾아 사용자와 연관된 기존 이벤트 그룹들(만약 있다면)을 검색하는 것을 포함하는 단계(708)로 진행한다. 방법(600)과 같이, 기존 이벤트 그룹이 수신된 앨범들과 실질적으로 유사한 콘텐츠 데이터를 갖는 앨범들을 포함하고 있다면 그 기존 이벤트 그룹은 매칭하는 것으로 간주될 수 있다. 또한 방법(600)과 같이, 이 설명을 읽은 관련 기술의 숙련자라면 방법(700)이 매칭하는 이벤트 그룹을 능률적으로 검색하기 위해 다수의 검색 접근법들 중 임의의 하나를 이용할 수 있다는 것을 알 것이다. 예를 들어, 방법(600)의 예와 같이, 방법(700)을 위한 하나의 접근법은 이벤트 그룹들을 저장하는 데 이용되는 데이터베이스(예를 들어, 도 3의 이벤트 데이터베이스(360))에, 로컬 인덱스를 생성하는 것을 포함한다.
단계(708)에서 매칭하는 이벤트 그룹이 발견되면, 방법(700)은 매칭하는 이벤트 그룹에 앨범들이 추가되는 단계(710)로 진행한다. 대안으로, 단계(708)에서 매칭하는 이벤트 그룹이 발견되지 않으면, 방법(700)은 그 앨범들에 대한 새로운 이벤트 그룹이 생성되는 단계(712)로 진행한다. 단계들(708, 710, 712, 및 714)은, 예를 들어, 도 3에 도시된 미디어 공유 모듈(340)의 이벤트 클러스터링 모듈(344)에 의해 수행될 수 있다. 단계들(710 또는 712) 후에, 방법(700)은 단계(714)에서 종료한다.
일 실시예에서, 방법(700)은 제안된 이벤트 그룹에 대해 사용자에게 질의하는 것을 수반하는 하나 이상의 추가의 단계(미도시)를 포함할 수도 있다. 이 실시예에서, 방법(700)은, 예를 들어, 사용자의 하나 이상의 앨범을 포함시킬 이벤트 그룹들의 목록을 디스플레이함으로써 하나 이상의 이벤트 그룹을 제안할 수 있다. 이 목록은, 예를 들어, 사용자가 액세스하는 미디어 공유 사이트에 디스플레이될 수 있다. 사용자가 이벤트 그룹을 선택하면, 방법(700)은 사용자와 연관된 하나 이상의 앨범을 사용자가 선택한 이벤트 그룹에 삽입하는 것으로 진행할 수 있다. 사용자에게 질의하고 사용자의 선택을 수신하는 것을 수반하는 추가의 단계들은, 예를 들어, 도 3의 공유 관리자(346)에 의해 수행될 수 있다. 선택된 이벤트 그룹에 앨범들을 추가하는 것을 수반하는 단계들은, 예를 들어, 이벤트 클러스터링 모듈(344)에 의해 수행될 수 있다.
IV . 예시의 컴퓨터 시스템 구현
도 1-7에 도시된 본 발명의 양태들, 또는 그의 임의의 부분(들) 또는 기능(들)은 하드웨어, 소프트웨어 모듈들, 펌웨어, 명령어들이 저장되어 있는 유형의(tangible) 컴퓨터 판독가능 매체, 또는 이들의 조합을 이용하여 구현될 수 있고 하나 이상의 컴퓨터 시스템 또는 다른 프로세싱 시스템에서 구현될 수 있다.
도 8은 본 발명의 실시예들, 또는 그의 부분들이 컴퓨터 판독가능 코드로서 구현될 수 있는 예시의 컴퓨터 시스템(800)을 예시한다. 예를 들어, 도 3의 시스템(300)은 하드웨어, 소프트웨어, 펌웨어, 명령어들이 저장되어 있는 유형의 컴퓨터 판독가능 매체, 또는 이들의 조합을 이용하여 컴퓨터 시스템(800)에서 구현될 수 있고 하나 이상의 컴퓨터 시스템 또는 다른 프로세싱 시스템에서 구현될 수 있다. 하드웨어, 소프트웨어, 또는 이들의 임의의 조합은 도 1-7의 모듈들 및 컴포넌트들 중 어떤 것이라도 구현할 수 있다.
프로그램 가능 로직이 이용되면, 그러한 로직은 상업적으로 구할 수 있는 프로세싱 플랫폼 또는 특수 목적 장치에서 실행될 수 있다. 통상의 기술을 가진 당업자는 개시된 주제의 실시예들이 멀티코어 멀티프로세서 시스템, 미니컴퓨터, 메인프레임 컴퓨터, 분산된 기능들을 가지고 연결되거나 클러스터링된 컴퓨터들뿐만 아니라, 사실상 임의의 장치에 내장될 수 있는 퍼베이시브 또는 미니어처 컴퓨터들을 포함하는 다양한 컴퓨터 시스템 구성들을 이용하여 실시될 수 있다는 것을 알 수 있다.
예를 들어, 전술한 실시예들을 구현하기 위해 적어도 하나의 프로세서 장치 및 메모리가 이용될 수 있다. 프로세서 장치는 단일 프로세서, 복수의 프로세서, 또는 이들의 조합들일 수 있다. 프로세서 장치들은 하나 이상의 프로세서 "코어"를 가질 수 있다.
본 발명의 다양한 실시예들은 이 예시의 컴퓨터 시스템(800)에 관하여 설명된다. 이 설명을 읽은 후에, 관련 기술의 숙련자는 본 발명의 실시예들을 다른 컴퓨팅 시스템들 및/또는 컴퓨터 아키텍처들을 이용하여 어떻게 구현할지를 분명히 알 수 있을 것이다. 동작들은 순차적인 프로세서로서 설명될 수 있지만, 동작들 중 일부는 사실은 병렬로, 동시에, 및/또는 분산된 환경에서, 그리고 단일 또는 멀티프로세서 머신들에 의한 액세스를 위해 로컬로 또는 원격으로 저장된 프로그램 코드를 이용하여 수행될 수 있다. 게다가, 일부 실시예들에서 동작들의 순서는 개시된 주제의 정신에서 벗어나지 않고 재배열될 수 있다.
프로세서 장치(804)는 특수 목적 또는 범용 프로세서 장치일 수 있다. 관련 기술의 숙련자들은 알 수 있는 바와 같이, 프로세서 장치(804)는 멀티코어/멀티프로세서 시스템의 단일 프로세서일 수도 있고, 그러한 시스템은 단독으로 동작하거나, 클러스터 또는 서버 팜에서 동작하는 컴퓨팅 장치들의 클러스터에서 동작한다. 프로세서 장치(804)는 통신 인프라(806), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티코어 메시지 전달 스킴에 연결된다.
컴퓨터 시스템(800)은 또한 주 메모리(808), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함하고, 또한 보조 메모리(810)를 포함할 수 있다. 보조 메모리(810)는, 예를 들어, 하드 디스크 드라이브(812), 이동식 저장 드라이브(814)를 포함할 수 있다. 이동식 저장 드라이브(814)는 플로피 디스크 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 이동식 저장 드라이브(814)는 잘 알려진 방식으로 이동식 저장 장치(818)로부터 판독하고 및/또는 그것에 기록한다. 이동식 저장 장치(818)는 이동식 저장 드라이브(814)에 의해 판독되거나 기록되는 플로피 디스크, 자기 테이프, 광 디스크 등을 포함할 수 있다. 관련 기술의 숙련자들은 알 수 있는 바와 같이, 이동식 저장 장치(818)는 컴퓨터 소프트웨어 및/또는 데이터가 저장되어 있는 컴퓨터 사용가능 저장 매체를 포함한다.
대안의 구현들에서, 보조 메모리(810)는 컴퓨터 프로그램들 또는 다른 명령어들이 컴퓨터 시스템(800)에 로딩될 수 있게 하는 다른 유사한 수단을 포함할 수 있다. 그러한 수단은, 예를 들어, 이동식 저장 장치(822) 및 인터페이스(820)를 포함할 수 있다. 그러한 수단의 예들은 (비디오 게임 장치들에서 발견되는 것과 같은) 프로그램 카트리지 및 카트리지 인터페이스, (EPROM, 또는 PROM과 같은) 이동식 메모리 칩 및 관련 소켓, 및 이동식 저장 장치(822)로부터 컴퓨터 시스템(800)으로 소프트웨어 및 데이터가 전송될 수 있게 하는 다른 이동식 저장 장치들(822) 및 인터페이스들(820)을 포함할 수 있다.
컴퓨터 시스템(800)은 또한 통신 인터페이스(824)를 포함할 수 있다. 통신 인터페이스(824)는 컴퓨터 시스템(800)과 외부 장치들 간에 소프트웨어 및 데이터가 전송될 수 있게 한다. 통신 인터페이스(824)는 모뎀, (이더넷 카드와 같은) 네트워크 인터페이스, 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(824)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(824)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호들일 수 있는 신호들의 형태를 가질 수 있다. 이들 신호는 통신 경로(826)를 통해 통신 인터페이스(824)에 제공될 수 있다. 통신 경로(826)는 신호들을 운반하고 와이어 또는 케이블, 광섬유, 전화 회선, 셀룰러 전화 링크, RF 링크 또는 다른 통신 채널들을 이용하여 구현될 수 있다.
이 문서에서, "컴퓨터 프로그램 매체" 및 "컴퓨터 사용가능 매체"라는 용어들은 이동식 저장 장치(818), 이동식 저장 장치(822), 및 하드 디스크 드라이브(812)에 설치된 하드 디스크와 같은 매체를 일반적으로 지시하기 위해 사용된다. 컴퓨터 프로그램 매체 및 컴퓨터 사용가능 매체는 또한 메모리 반도체들(예를 들어, DRAM 등)일 수 있는 주 메모리(808) 및 보조 메모리(810)와 같은 메모리들을 지시할 수도 있다.
컴퓨터 프로그램들(컴퓨터 제어 로직이라고도 함)은 주 메모리(808) 및/또는 보조 메모리(810)에 저장된다. 컴퓨터 프로그램들은 또한 통신 인터페이스(824)를 통해 수신될 수도 있다. 그러한 컴퓨터 프로그램들은, 실행될 때, 컴퓨터 시스템(800)이 여기에 설명된 것과 같은 본 발명을 구현할 수 있게 한다. 특히, 컴퓨터 프로그램들은, 실행될 때, 프로세서 장치(804)가 도 4a-b, 도 6, 및 도 7의 순서도들(400, 600, 및 700)에 의해 각각 예시된 방법들 내의 단계들과 같은, 본 발명의 프로세스들을 구현할 수 있게 한다. 따라서, 그러한 컴퓨터 프로그램들은 컴퓨터 시스템(800)의 컨트롤러들을 나타낸다. 본 발명의 실시예가 소프트웨어를 이용하여 구현되는 경우, 소프트웨어는 컴퓨터 프로그램 제품에 저장될 수 있고 이동식 저장 드라이브(814), 인터페이스(820), 하드 디스크 드라이브(812), 또는 통신 인터페이스(824)를 이용하여 컴퓨터 시스템(800)에 로딩될 수 있다.
본 발명의 실시예들은 또한 임의의 컴퓨터 사용가능 매체 상에 저장된 소프트웨어를 포함하는 컴퓨터 프로그램 제품들에 관련될 수 있다. 그러한 소프트웨어는, 하나 이상의 데이터 프로세싱 장치에서 실행될 때, 데이터 프로세싱 장치(들)로 하여금 여기에 설명된 바와 같이 동작하게 한다. 본 발명의 실시예들은 임의의 컴퓨터 사용가능 또는 판독가능 매체를 이용한다. 컴퓨터 사용가능 매체들의 예들은 주 저장 장치(예를 들어, 임의의 타입의 랜덤 액세스 메모리), 보조 저장 장치(예를 들어, 하드 드라이브, 플로피 디스크, CD ROM, ZIP 디스크, 테이프, 자기 저장 장치, 및 광 저장 장치, MEMS, 나노기술 저장 장치 등), 및 통신 매체들(예를 들어, 유선 및 무선 통신 네트워크, 근거리 통신망, 광역 통신망, 인트라넷 등)을 포함하지만 이에 제한되지 않는다.
V. 결론
발명의 내용 및 요약서 부분들이 아니라, 발명을 실시하기 위한 구체적인 내용 부분이 청구항들을 해석하는 데 이용되는 것으로 의도된다는 것을 알아야 한다. 발명의 내용 및 요약서 부분들은 발명자(들)가 고려하는 본 발명의 전부가 아니라 하나 이상의 모범적 실시예들을 제시할 수 있고, 따라서 본 발명 및 첨부된 청구항들을 어떻게든 제한하는 것으로 의도되지 않는다.
본 발명은 명시된 기능들 및 그의 관계들의 구현을 예시하는 기능 빌딩 블록들의 도움으로 위에 설명되었다. 이들 기능 블록들의 경계들은 여기에서 설명의 편의를 위해 임의로 정의되었다. 명시된 기능들 및 그의 관계들이 적절히 수행되는 한은 대안의 경계들이 정의될 수 있다.
특정 실시예들에 대한 전술한 설명은 다른 사람들이 본 발명의 일반적인 개념에서 벗어나지 않고, 과도한 실험 없이, 이 분야의 기술 내의 지식을 적용함으로써, 그러한 특정 실시예들을 다양한 응용을 위해 쉽게 수정하고 및/또는 개조할 수 있도록 본 발명의 일반적인 특성을 매우 충분히 드러낼 것이다. 따라서, 그러한 개조들 및 수정들은 여기에 제시된 교시 및 지도에 기초하여 개시된 실시예들의 균등물들의 의미 및 범위 내에 있는 것으로 의도된다. 이 명세서 내의 어법 또는 용어는 제한을 위한 것이 아니라 설명을 위한 것이고, 따라서 본 명세서의 용어 또는 어법은 이 교시 및 지도를 고려하여 숙련된 당업자들에 의해 해석되어야 한다는 것을 이해해야 할 것이다.
본 발명의 너비 및 범위는 전술한 모범적 실시예들 중 어떤 것에 의해서도 제한되어서는 안 되고, 오직 다음의 청구항들 및 그의 균등물들에 따라서 정의되어야 한다.

Claims (30)

  1. 사용자들 간에 미디어를 자동으로 공유하는 컴퓨터 구현 방법으로서,
    적어도 하나의 컴퓨팅 장치에서 제1 사용자와 연관된 제1 이미지 컬렉션을 수신하는 단계 - 상기 제1 사용자는 상기 제1 사용자가 상기 제1 이미지 컬렉션을 공유하기로 선택한 하나 이상의 다른 사용자를 특정하는 제1 공유 선호와 연관되고, 상기 제1 이미지 컬렉션은 제1 콘텐츠 데이터를 가짐 -;
    상기 적어도 하나의 컴퓨팅 장치에서 제2 사용자와 연관된 제2 이미지 컬렉션을 수신하는 단계 - 상기 제2 사용자는 상기 제2 사용자가 상기 제2 이미지 컬렉션을 공유하기로 선택한 하나 이상의 다른 사용자를 특정하는 제2 공유 선호와 연관되고, 상기 이미지 제2 컬렉션은 제2 콘텐츠 데이터를 갖고, 상기 제1 및 제2 사용자들은 서로 연관되어 있음 -;
    상기 제1 및 제2 사용자들 간의 연관에 기초하여 상기 제1 및 제2 콘텐츠 데이터에 따라 상기 제1 및 제2 이미지 컬렉션들을 이벤트 그룹으로 그룹화하는 단계로서,
    상기 제1 사용자와 연관된 상기 제1 이미지 컬렉션을 상기 제1 콘텐츠 데이터에 기초하여 하나 이상의 앨범의 제1 세트로 세그먼트화하고,
    상기 제2 사용자와 연관된 상기 제2 이미지 컬렉션을 상기 제2 콘텐츠 데이터에 기초하여 하나 이상의 앨범의 제2 세트로 세그먼트화하고,
    상기 제1 및 제2 콘텐츠 데이터 및 상기 제1 및 제2 사용자들 각각의 상기 제1 및 제2 공유 선호들에 기초하여 상기 앨범들의 제1 및 제2 세트들을 상기 이벤트 그룹으로 조직함으로써 그룹화하는 단계 - 상기 제1 및 제2 공유 선호들은 적어도 부분적으로 매칭함 - ; 및
    상기 제1 및 제2 사용자들에게 상기 이벤트 그룹으로의 액세스를 제공하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 이미지 컬렉션 또는 상기 제2 이미지 컬렉션 중 하나와 연관된 하나 이상의 추가 이미지를 수신하는 단계; 및
    상기 제1 및 제2 사용자들 중 적어도 하나와 연관된 하나 이상의 추가 이미지를 포함하도록 상기 이벤트 그룹을 업데이트하는 단계
    를 더 포함하고,
    상기 제1 및 제2 사용자들에게 상기 업데이트된 이벤트 그룹으로의 액세스가 자동으로 제공될 수 있는 방법.
  3. 제2항에 있어서,
    상기 하나 이상의 추가 이미지는 이미지 셔터 장치의 클릭에 응답하여 수신되는 방법.
  4. 제1항에 있어서,
    상기 제1 및 제2 콘텐츠 데이터 중 적어도 하나가 상기 제1 및 제2 사용자들 중 적어도 하나와 연관된 제3 사용자에 대응하는 얼굴의 신원을 포함한다고 결정하는 것에 응답하여, 상기 제3 사용자에게 상기 이벤트 그룹으로의 액세스를 제공하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 제1 및 제2 사용자들은 소셜 네트워킹을 제공하는 네트워크 사이트의 멤버들이고, 상기 제1 공유 선호와 상기 제2 공유 선호는 상기 네트워크 사이트 상의 상기 앨범들의 제1 및 제2 세트들에 각각 액세스하는 것에 관련되는 방법.
  6. 제1항에 있어서,
    상기 제1 및 제2 사용자들에게 상기 이벤트 그룹으로의 액세스를 제공하는 단계는 상기 이벤트 그룹으로의 액세스 링크를 갖는 통지를 상기 제1 및 제2 사용자들에게 전송하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 제1 이미지 컬렉션의 이미지들은 제1 비디오의 적어도 일부로부터의 프레임들이고, 상기 이미지 제2 컬렉션의 이미지들은 제2 비디오의 적어도 일부로부터의 프레임들인 방법.
  8. 제1항에 있어서,
    상기 제1 이미지 컬렉션의 이미지들에 대한 상기 제1 콘텐츠 데이터를 결정하는 단계; 및
    상기 이미지 제2 컬렉션의 이미지들에 대한 상기 제2 콘텐츠 데이터를 결정하는 단계
    를 더 포함하는 방법.
  9. 제8항에 있어서,
    상기 제1 콘텐츠 데이터를 결정하는 단계는 상기 제1 이미지 컬렉션의 하나 이상의 이미지에서 제1 얼굴을 인식하는 단계 - 상기 제1 콘텐츠 데이터는 상기 제1 얼굴의 신원을 포함함 - 를 포함하고,
    상기 제2 콘텐츠 데이터를 결정하는 단계는 상기 이미지 제2 컬렉션의 하나 이상의 이미지에서 제2 얼굴을 인식하는 단계 - 상기 제2 콘텐츠 데이터는 상기 제2 얼굴의 신원을 포함함 - 를 포함하는 방법.
  10. 제9항에 있어서,
    상기 제1 얼굴을 인식하는 단계는, 상기 제1 사용자로부터, 상기 제1 얼굴의 제1 신원을 획득하는 단계를 포함하고,
    상기 제2 얼굴을 인식하는 단계는, 상기 제2 사용자로부터, 상기 제2 얼굴의 제2 신원을 획득하는 단계를 포함하고,
    상기 제1 얼굴의 상기 제1 신원은 상기 제2 사용자에 대응하고,
    상기 제2 얼굴의 상기 제2 신원은 상기 제1 사용자에 대응하는 방법.
  11. 제8항에 있어서,
    상기 제1 콘텐츠 데이터를 결정하는 단계는 상기 제1 이미지 컬렉션의 하나 이상의 이미지에서 제1 랜드마크를 인식하는 단계 - 상기 제1 콘텐츠 데이터는 상기 제1 랜드마크에 대응함 - 를 포함하고,
    상기 제2 콘텐츠 데이터를 결정하는 단계는 상기 이미지 제2 컬렉션의 하나 이상의 이미지에서 제2 랜드마크를 인식하는 단계 - 상기 제2 콘텐츠 데이터는 상기 제2 랜드마크에 대응함 - 를 포함하는 방법.
  12. 제8항에 있어서,
    상기 제1 콘텐츠 데이터를 결정하는 단계는 상기 제1 이미지 컬렉션의 하나 이상의 이미지에서 제1 물체를 인식하는 단계 - 상기 제1 콘텐츠 데이터는 상기 제1 물체에 대응함 - 를 포함하고,
    상기 제2 콘텐츠 데이터를 결정하는 단계는 상기 이미지 제2 컬렉션의 하나 이상의 이미지에서 제2 물체를 인식하는 단계 - 상기 제2 콘텐츠 데이터는 상기 제2 물체에 대응함 - 를 포함하는 방법.
  13. 제8항에 있어서,
    상기 제1 콘텐츠 데이터를 결정하는 단계는 상기 제1 이미지 컬렉션의 하나 이상의 이미지로부터 제1 메타데이터를 추출하는 단계 - 상기 제1 콘텐츠 데이터는 상기 제1 메타데이터에 대응함 - 를 포함하고,
    상기 제2 콘텐츠 데이터를 결정하는 단계는 상기 이미지 제2 컬렉션의 하나 이상의 이미지로부터 제2 메타데이터를 추출하는 단계 - 상기 제2 콘텐츠 데이터는 상기 제2 메타데이터에 대응함 - 를 포함하고,
    상기 제1 메타데이터를 추출하는 단계는 상기 제1 이미지 컬렉션의 상기 하나 이상의 이미지가 노출된 제1 위치를 추출하는 단계를 포함하고, 상기 제2 메타데이터를 추출하는 단계는 상기 이미지 제2 컬렉션의 상기 하나 이상의 이미지가 노출된 제2 위치를 추출하는 단계를 포함하는 방법.
  14. 제8항에 있어서,
    상기 제1 콘텐츠 데이터를 결정하는 단계는 상기 제1 이미지 컬렉션의 하나 이상의 이미지로부터 제1 메타데이터를 추출하는 단계 - 상기 제1 콘텐츠 데이터는 상기 제1 메타데이터에 대응함 - 를 포함하고,
    상기 제2 콘텐츠 데이터를 결정하는 단계는 상기 이미지 제2 컬렉션의 하나 이상의 이미지로부터 제2 메타데이터를 추출하는 단계 - 상기 제2 콘텐츠 데이터는 상기 제2 메타데이터에 대응함 - 를 포함하고,
    상기 제1 메타데이터를 추출하는 단계는 상기 제1 이미지 컬렉션의 하나 이상의 이미지가 노출된 제1 시간을 추출하는 단계를 포함하고, 상기 제2 메타데이터를 추출하는 단계는 상기 이미지 제2 컬렉션의 하나 이상의 이미지가 노출된 제2 시간을 추출하는 단계를 포함하는 방법.
  15. 제1항에 있어서,
    하나 이상의 제안된 이벤트 그룹을 상기 제1 사용자에게 디스플레이하기로 결정하고 행하는 단계;
    상기 제안된 이벤트 그룹 중 하나에 대한 상기 제1 사용자의 선택을 수신하는 단계; 및
    상기 앨범들의 제1 세트를 포함시킨 상기 이벤트 그룹으로 상기 선택된 이벤트 그룹을 사용하는 단계
    를 추가로 포함하는 방법.
  16. 사용자들 간에 미디어를 자동으로 공유하는 시스템으로서,
    하나 이상의 프로세서;
    제1 사용자와 연관된 제1 이미지 컬렉션 및 제2 사용자와 연관된 제2 이미지 컬렉션을 수신하도록 구성된 미디어 입력 모듈 - 상기 제1 이미지 컬렉션은 제1 콘텐츠 데이터를 갖고 상기 이미지 제2 컬렉션은 제2 콘텐츠 데이터를 갖고, 상기 제1 및 제2 사용자들은 서로 연관되어 있음 -;
    미디어 공유 모듈 - 상기 미디어 공유 모듈은,
    상기 제1 사용자와 연관된 상기 제1 이미지 컬렉션을 상기 제1 콘텐츠 데이터에 기초하여 하나 이상의 앨범의 제1 세트로 자동으로 세그먼트화하고, 상기 제2 사용자와 연관된 상기 제2 이미지 컬렉션을 상기 제2 콘텐츠 데이터에 기초하여 하나 이상의 앨범의 제2 세트로 세그먼트화하도록 구성된 앨범 세그먼트화 모듈로서, 상기 제1 사용자는 상기 제1 사용자가 상기 제1 이미지 컬렉션을 공유하기로 선택한 하나 이상의 다른 사용자를 특정하는 제1 공유 선호와 연관되고, 상기 제2 사용자는 상기 제2 사용자가 상기 제2 이미지 컬렉션을 공유하기로 선택한 하나 이상의 다른 사용자를 특정하는 제2 공유 선호와 연관되고, 상기 제1 및 제2 사용자들은 서로 연관되어 있는 앨범 세그먼트화 모듈,
    상기 제1 및 제2 콘텐츠 데이터 및 상기 제1 및 제2 사용자들 각각의 상기 제1 및 제2 공유 선호들에 기초하여 상기 앨범들의 제1 및 제2 세트들을 이벤트 그룹으로 그룹화하도록 구성된 이벤트 그룹화 모듈로서, 상기 제1 및 제2 공유 선호들은 적어도 부분적으로 매칭하는 이벤트 그룹화 모듈, 및
    상기 제1 및 제2 사용자들에게 상기 이벤트 그룹으로의 액세스를 제공하도록 구성된 공유 관리자
    를 포함함 -
    을 포함하고,
    상기 미디어 입력 모듈 및 상기 미디어 공유 모듈은 상기 하나 이상의 프로세서를 이용하여 구현되는 시스템.
  17. 제16항에 있어서,
    상기 미디어 입력 모듈은 추가로 상기 제1 이미지 컬렉션 또는 상기 제2 이미지 컬렉션 중 하나와 연관된 하나 이상의 추가 이미지를 수신하도록 구성되고, 상기 미디어 공유 모듈은 추가로 상기 제1 및 제2 사용자들 중 적어도 하나와 연관된 상기 하나 이상의 추가 이미지를 포함하도록 상기 이벤트 그룹을 업데이트하도록 구성되며, 상기 제1 및 제2 사용자들에게 상기 업데이트된 이벤트 그룹으로의 액세스가 자동으로 제공될 수 있는 시스템.
  18. 제17항에 있어서,
    상기 하나 이상의 추가 이미지는 이미지 셔터 장치의 클릭에 응답하여 수신되는 시스템.
  19. 제16항에 있어서,
    상기 미디어 공유 모듈은 추가로 상기 제1 및 제2 콘텐츠 데이터 중 적어도 하나가 상기 제1 및 제2 사용자들 중 적어도 하나와 연관된 제3 사용자에 대응하는 얼굴의 신원을 포함한다고 결정하는 것에 응답하여, 상기 제3 사용자에게 상기 이벤트 그룹으로의 액세스를 제공하도록 구성되는 시스템.
  20. 제16항에 있어서,
    상기 제1 및 제2 사용자들은 소셜 네트워킹을 제공하는 네트워크 사이트의 멤버들이고, 상기 미디어 입력 모듈은 상기 제1 이미지 컬렉션 및 상기 제2 이미지 컬렉션을 상기 네트워크 사이트의 상기 소셜 네트워킹의 일부로서 수신하도록 구성되고, 상기 제1 및 제2 공유 선호들은 상기 네트워크 사이트 상의 상기 앨범들의 제1 및 제2 세트들에 액세스하는 것에 관련되는 시스템.
  21. 제16항에 있어서,
    상기 미디어 공유 모듈은,
    상기 이벤트 그룹으로의 액세스 링크를 갖는 통지를 상기 제1 및 제2 사용자들에게 전송하도록 구성된 통지 관리자를 포함하는 시스템.
  22. 제16항에 있어서,
    상기 제1 이미지 컬렉션의 이미지들은 제1 비디오의 적어도 일부로부터의 프레임들이고, 상기 이미지 제2 컬렉션의 이미지들은 제2 비디오의 적어도 일부로부터의 프레임들인 시스템.
  23. 제16항에 있어서,
    상기 미디어 입력 모듈은 추가로 상기 제1 이미지 컬렉션의 이미지들에 대한 상기 제1 콘텐츠 데이터를 결정하고, 상기 이미지 제2 컬렉션의 이미지들에 대한 상기 제2 콘텐츠 데이터를 결정하도록 구성되는 시스템.
  24. 제23항에 있어서,
    상기 미디어 입력 모듈은,
    상기 제1 이미지 컬렉션의 하나 이상의 이미지에서 제1 얼굴을 인식하고 - 상기 제1 콘텐츠 데이터는 상기 제1 얼굴의 신원을 포함함 -, 상기 이미지 제2 컬렉션의 하나 이상의 이미지에서 제2 얼굴을 인식하도록 - 상기 제2 콘텐츠 데이터는 상기 제2 얼굴의 신원을 포함함 - 구성된 얼굴 인식 모듈을 포함하는 시스템.
  25. 제24항에 있어서,
    상기 얼굴 인식 모듈은, 상기 제1 사용자로부터, 상기 제1 얼굴의 제1 신원을 획득하고 - 상기 제1 얼굴의 상기 제1 신원은 상기 제2 사용자에 대응함 -, 상기 제2 사용자로부터, 상기 제2 얼굴의 제2 신원을 획득하도록 - 상기 제2 얼굴의 상기 제2 신원은 상기 제1 사용자에 대응함 - 구성된 시스템.
  26. 제23항에 있어서,
    상기 미디어 입력 모듈은,
    상기 제1 이미지 컬렉션의 하나 이상의 이미지에서 제1 랜드마크를 인식하고 - 상기 제1 콘텐츠 데이터는 상기 제1 랜드마크에 대응함 -, 상기 이미지 제2 컬렉션의 하나 이상의 이미지에서 제2 랜드마크를 인식하도록 - 상기 제2 콘텐츠 데이터는 상기 제2 랜드마크에 대응함 - 구성된 랜드마크 인식 모듈을 포함하는 시스템.
  27. 제23항에 있어서,
    상기 미디어 입력 모듈은,
    상기 제1 이미지 컬렉션의 하나 이상의 이미지에서 제1 물체를 인식하고 - 상기 제1 콘텐츠 데이터는 상기 제1 물체에 대응함 -, 상기 이미지 제2 컬렉션의 하나 이상의 이미지에서 제2 물체를 인식하는 - 상기 제2 콘텐츠 데이터는 상기 제2 물체에 대응함 - 물체 인식 모듈을 포함하는 시스템.
  28. 제23항에 있어서,
    상기 미디어 입력 모듈은,
    상기 제1 이미지 컬렉션의 상기 이미지들로부터 제1 메타데이터를 추출하고 - 상기 제1 콘텐츠 데이터는 상기 제1 메타데이터에 대응함 -, 상기 이미지 제2 컬렉션의 상기 이미지들로부터 제2 메타데이터를 추출하는 - 상기 제2 콘텐츠 데이터는 상기 제2 메타데이터에 대응함 - 메타데이터 추출기를 포함하는 시스템.
  29. 제28항에 있어서,
    상기 제1 메타데이터는 상기 제1 이미지 컬렉션의 상기 이미지들이 노출된 제1 시간을 포함하고, 상기 제2 메타데이터는 상기 이미지 제2 컬렉션의 상기 이미지들이 노출된 제2 시간을 포함하는 시스템.
  30. 제28항에 있어서,
    상기 제1 메타데이터는 상기 제1 이미지 컬렉션의 상기 이미지들이 노출된 제1 위치를 포함하고, 상기 제2 메타데이터는 상기 이미지 제2 컬렉션의 상기 이미지들이 노출된 제2 위치를 포함하는 시스템.
KR1020137004789A 2010-07-27 2011-07-27 셔터 클릭을 통한 자동 미디어 공유 KR101810578B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36816610P 2010-07-27 2010-07-27
US61/368,166 2010-07-27
US13/188,879 US8270684B2 (en) 2010-07-27 2011-07-22 Automatic media sharing via shutter click
US13/188,879 2011-07-22
PCT/US2011/045532 WO2012015919A1 (en) 2010-07-27 2011-07-27 Automatic media sharing via shutter click

Publications (2)

Publication Number Publication Date
KR20130102549A KR20130102549A (ko) 2013-09-17
KR101810578B1 true KR101810578B1 (ko) 2018-01-25

Family

ID=44630017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137004789A KR101810578B1 (ko) 2010-07-27 2011-07-27 셔터 클릭을 통한 자동 미디어 공유

Country Status (6)

Country Link
US (4) US8270684B2 (ko)
EP (1) EP2599016A1 (ko)
JP (1) JP5801395B2 (ko)
KR (1) KR101810578B1 (ko)
CN (1) CN103119595B (ko)
WO (1) WO2012015919A1 (ko)

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319357B2 (en) 2009-01-15 2016-04-19 Social Communications Company Context based virtual area creation
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
US8977767B2 (en) * 2010-10-20 2015-03-10 Qualcomm Incorporated Methods and apparatuses for affecting programming of content for transmission over a multicast network
TWI435597B (zh) * 2010-10-20 2014-04-21 Altek Corp 結合臉部特徵辨識之相片資訊顯示方法及其具有攝像功能之電子裝置
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
JP2013003630A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP5995520B2 (ja) * 2011-06-14 2016-09-21 キヤノン株式会社 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
US8831294B2 (en) * 2011-06-17 2014-09-09 Microsoft Corporation Broadcast identifier enhanced facial recognition of images
US9049176B2 (en) 2011-06-22 2015-06-02 Dropbox, Inc. File sharing via link generation
US9342817B2 (en) * 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
US8893008B1 (en) 2011-07-12 2014-11-18 Relationship Science LLC Allowing groups expanded connectivity to entities of an information service
US9015856B2 (en) * 2011-08-08 2015-04-21 Facebook, Inc. Mobile-device user authentication
US10089327B2 (en) * 2011-08-18 2018-10-02 Qualcomm Incorporated Smart camera for sharing pictures automatically
US8831360B2 (en) 2011-10-21 2014-09-09 Intellectual Ventures Fund 83 Llc Making image-based product from digital image collection
US8959082B2 (en) * 2011-10-31 2015-02-17 Elwha Llc Context-sensitive query enrichment
US9349147B2 (en) * 2011-11-01 2016-05-24 Google Inc. Displaying content items related to a social network group on a map
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US10960300B2 (en) 2011-11-23 2021-03-30 Sony Interactive Entertainment LLC Sharing user-initiated recorded gameplay with buffered gameplay
US9116555B2 (en) 2011-11-23 2015-08-25 Sony Computer Entertainment America Llc Gaming controller
US20130244790A1 (en) * 2012-03-13 2013-09-19 Sony Computer Entertainment America Llc System and method for capturing and sharing console gaming data
US10486064B2 (en) 2011-11-23 2019-11-26 Sony Interactive Entertainment America Llc Sharing buffered gameplay in response to an input request
US10525347B2 (en) 2012-03-13 2020-01-07 Sony Interactive Entertainment America Llc System and method for capturing and sharing console gaming data
US8672765B2 (en) 2012-03-13 2014-03-18 Sony Computer Entertainment America Llc System and method for capturing and sharing console gaming data
EP2792157B1 (en) * 2011-12-12 2020-06-03 Samsung Electronics Co., Ltd. Method and apparatus for experiencing a multimedia service
US20140380387A1 (en) * 2011-12-12 2014-12-25 Samsung Electronics Co., Ltd. System, apparatus and method for utilizing a multimedia service
US8364817B1 (en) * 2012-02-09 2013-01-29 Gramboo Inc. Method and system for managing a data item
US8917943B2 (en) 2012-05-11 2014-12-23 Intellectual Ventures Fund 83 Llc Determining image-based product from digital image collection
US9374399B1 (en) * 2012-05-22 2016-06-21 Google Inc. Social group suggestions within a social network
WO2013188682A1 (en) * 2012-06-13 2013-12-19 Google Inc Sharing information with other users
US8861804B1 (en) * 2012-06-15 2014-10-14 Shutterfly, Inc. Assisted photo-tagging with facial recognition models
US8798401B1 (en) * 2012-06-15 2014-08-05 Shutterfly, Inc. Image sharing with facial recognition models
US9665773B2 (en) * 2012-06-25 2017-05-30 Google Inc. Searching for events by attendants
US9584834B1 (en) 2012-06-25 2017-02-28 Google Inc. Video broadcasting with geolocation
US9391792B2 (en) 2012-06-27 2016-07-12 Google Inc. System and method for event content stream
KR102048618B1 (ko) * 2012-06-27 2019-11-25 구글 엘엘씨 이벤트 컨텐츠 스트림에 대한 적절한 컨텐츠를 결정하기 위한 시스템 및 방법
US9104704B2 (en) * 2012-07-16 2015-08-11 Htc Corporation Imaging systems and related methods
US20140025755A1 (en) * 2012-07-20 2014-01-23 Google Inc. Inferring events based on mob source video
US9460205B2 (en) 2012-07-20 2016-10-04 Google Inc. Crowdsourced video collaboration
FR2993686A1 (fr) * 2012-07-23 2014-01-24 France Telecom Procede de generation d'un document multimedia relatif a un evenement, dispositif de generation et programme d'ordinateurcorrespondants.
JP5692181B2 (ja) * 2012-07-26 2015-04-01 カシオ計算機株式会社 ネットワーク・サービスシステム及びリスト端末、表示方法、プログラム
US9075954B2 (en) 2012-08-29 2015-07-07 Dropbox, Inc. Requesting modification rights to a linked file set
JP5175404B1 (ja) * 2012-09-20 2013-04-03 株式会社 ディー・エヌ・エー サーバ装置、方法、および、システム
WO2014058349A1 (ru) 2012-10-10 2014-04-17 Ikonomov Artashes Valeryevich Электронная платежная система
US9361626B2 (en) * 2012-10-16 2016-06-07 Google Inc. Social gathering-based group sharing
US9418370B2 (en) 2012-10-23 2016-08-16 Google Inc. Obtaining event reviews
JP5977147B2 (ja) * 2012-11-05 2016-08-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および入力装置
EP2919198B1 (en) * 2012-11-09 2018-11-14 Sony Corporation Image processing device, image processing method, and program
US9330301B1 (en) 2012-11-21 2016-05-03 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9336435B1 (en) 2012-11-21 2016-05-10 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9286456B2 (en) * 2012-11-27 2016-03-15 At&T Intellectual Property I, Lp Method and apparatus for managing multiple media services
EP2929703B1 (en) * 2012-12-07 2019-09-18 T-Data Systems (S) Pte Ltd A memory card and a method for allowing access to digital files stored on the memory card
US20140160148A1 (en) * 2012-12-10 2014-06-12 Andrew J. Barkett Context-Based Image Customization
US9104687B2 (en) 2012-12-20 2015-08-11 Dropbox, Inc. System and method for preventing duplicate uploads of modified photos in a synchronized content management system
US8838681B2 (en) 2012-12-21 2014-09-16 Dropbox, Inc. Systems and methods for adding digital content to content management service accounts
CN103902551B (zh) * 2012-12-25 2017-11-17 华为技术有限公司 信息处理方法、装置和控制设备
US9424280B2 (en) * 2012-12-28 2016-08-23 Animoto Inc. Organizing media items based on metadata similarities
CN105210048B (zh) * 2013-01-15 2019-07-19 盖帝图像（美国）有限公司 基于社交媒体的内容识别方法
US10133754B2 (en) * 2013-02-10 2018-11-20 Qualcomm Incorporated Peer-to-peer picture sharing using custom based rules for minimal power consumption and better user experience
US20140250175A1 (en) * 2013-03-01 2014-09-04 Robert M. Baldwin Prompted Sharing of Photos
US20140258850A1 (en) * 2013-03-11 2014-09-11 Mathew R. Carey Systems and Methods for Managing the Display of Images
US9823813B2 (en) 2013-03-15 2017-11-21 Salesforce.Com, Inc. Apparatus and methods for performing an action on a database record
US20140280329A1 (en) 2013-03-15 2014-09-18 Salesforce.Com, Inc. Systems and methods for cross-referencing feed items
EP2989807A4 (en) * 2013-05-03 2016-11-09 Digimarc Corp WATERMARK MARKING AND SIGNAL RECOGNITION FOR ADMINISTERING AND DIVISION OF INTEGRATED CONTENT, METADATA RECORDING AND RELATED ARRANGEMENTS
US9843623B2 (en) 2013-05-28 2017-12-12 Qualcomm Incorporated Systems and methods for selecting media items
US10243899B2 (en) * 2013-05-30 2019-03-26 Dropbox, Inc. Content-item relationship messaging system
US9313399B2 (en) * 2013-06-14 2016-04-12 Qualcomm Incorporated System and method for identifying people in an image
DE102013009958A1 (de) * 2013-06-14 2014-12-18 Sogidia AG Soziales Vernetzungssystem und Verfahren zu seiner Ausübung unter Verwendung einer Computervorrichtung die mit einem Benutzerprofil korreliert
CN104243517B (zh) * 2013-06-14 2018-12-11 腾讯科技（深圳）有限公司 不同终端之间的内容分享方法及装置
WO2015017865A1 (en) * 2013-08-02 2015-02-05 Shoto, Inc. Discovery and sharing of photos between devices
US9910865B2 (en) 2013-08-05 2018-03-06 Nvidia Corporation Method for capturing the moment of the photo capture
WO2015026263A1 (ru) * 2013-08-20 2015-02-26 Ikonomov Artashes Valeryevich Сервер для хранения изображений и/или видеофайлов
US9531823B1 (en) 2013-09-09 2016-12-27 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on user feedback data
US9405964B1 (en) 2013-09-09 2016-08-02 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on image content analysis
US9338242B1 (en) 2013-09-09 2016-05-10 Amazon Technologies, Inc. Processes for generating content sharing recommendations
US9633046B2 (en) * 2013-09-18 2017-04-25 Intel Corporation Automated image cropping and sharing
US20150085146A1 (en) * 2013-09-23 2015-03-26 Nvidia Corporation Method and system for storing contact information in an image using a mobile device
US9628986B2 (en) 2013-11-11 2017-04-18 At&T Intellectual Property I, L.P. Method and apparatus for providing directional participant based image and video sharing
CN103686375B (zh) * 2013-11-19 2017-02-22 乐视致新电子科技（天津）有限公司 视频分享方法及装置
KR101791518B1 (ko) 2014-01-23 2017-10-30 삼성전자주식회사 사용자 인증 방법 및 장치
US10673922B2 (en) * 2014-02-19 2020-06-02 RealCloud Imaging Inc. Cloud based 2D dental imaging system with HTML web browser acquisition
US10540541B2 (en) * 2014-05-27 2020-01-21 International Business Machines Corporation Cognitive image detection and recognition
JP6277570B2 (ja) * 2014-06-12 2018-02-14 本田技研工業株式会社 撮像画像交換システム、撮像装置、および撮像画像交換方法
US20160050704A1 (en) * 2014-08-12 2016-02-18 Lyve Minds, Inc. Image linking and sharing
US10216996B2 (en) 2014-09-29 2019-02-26 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US9405774B2 (en) * 2014-10-17 2016-08-02 Verizon Patent And Licensing Inc. Automated image organization techniques
US9544307B2 (en) * 2014-10-29 2017-01-10 Salesforce.Com, Inc. Providing a security mechanism on a mobile device
US20160125062A1 (en) * 2014-10-30 2016-05-05 Futurewei Technologies, Inc. Multi-scale timeling photograph album management with incremental spectral photograph clustering
CN105760408B (zh) 2014-12-19 2020-04-28 华为终端有限公司 图片分享方法、装置和终端设备
US9781228B2 (en) * 2014-12-23 2017-10-03 Palo Alto Research Center Incorporated Computer-implemented system and method for providing contextual media tagging for selective media exposure
US11048855B2 (en) 2015-02-11 2021-06-29 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US11392580B2 (en) 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US9769564B2 (en) 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US9767305B2 (en) 2015-03-13 2017-09-19 Facebook, Inc. Systems and methods for sharing media content with recognized social connections
CN104852967B (zh) * 2015-04-21 2018-03-27 小米科技有限责任公司 图片共享方法及装置
US10778855B2 (en) 2015-06-19 2020-09-15 Line Corporation System and method for creating contents by collaborating between users
KR20160149959A (ko) * 2015-06-19 2016-12-28 라인 가부시키가이샤 사용자들간의 협업을 통해 컨텐츠를 생성하는 방법 및 시스템
US10187684B2 (en) 2015-06-23 2019-01-22 Facebook, Inc. Streaming media presentation system
US10462524B2 (en) * 2015-06-23 2019-10-29 Facebook, Inc. Streaming media presentation system
US10094655B2 (en) 2015-07-15 2018-10-09 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams
CN105069075B (zh) * 2015-07-31 2018-02-23 小米科技有限责任公司 照片共享方法和装置
US10416850B1 (en) * 2015-08-06 2019-09-17 Western Digital Technologies, Inc. Sharing groups for capturing digital media
US20170060892A1 (en) * 2015-09-01 2017-03-02 Dropbox, Inc. Search-based shareable collections
WO2017044910A1 (en) 2015-09-10 2017-03-16 I'm In It, Llc Methods, devices, and systems for determining a subset for autonomous sharing of digital media
EP3274878A1 (en) 2015-09-28 2018-01-31 Google LLC Sharing images and image albums over a communication network
CN105187560A (zh) * 2015-09-29 2015-12-23 北京奇艺世纪科技有限公司 一种基于云服务器的数据推送方法和装置
US9875511B1 (en) * 2015-09-30 2018-01-23 Sipree, Inc. Method and system for desktop-invoked image or video capture
CA3040856C (en) * 2015-10-21 2024-01-02 15 Seconds of Fame, Inc. Methods and apparatus for false positive minimization in facial recognition applications
US10083720B2 (en) * 2015-11-06 2018-09-25 Aupera Technologies, Inc. Method and system for video data stream storage
US20170134595A1 (en) * 2015-11-11 2017-05-11 Vivint, Inc. Automated image album
US20170150197A1 (en) * 2015-11-20 2017-05-25 Nady International Limited Multimedia content sharing and distribution
JP6674798B2 (ja) * 2016-03-07 2020-04-01 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10459970B2 (en) * 2016-06-07 2019-10-29 Baidu Usa Llc Method and system for evaluating and ranking images with content based on similarity scores in response to a search query
US20190207946A1 (en) * 2016-12-20 2019-07-04 Google Inc. Conditional provision of access by interactive assistant modules
US10200560B2 (en) * 2017-01-13 2019-02-05 Adobe Inc. Automated sharing of digital images
US10740388B2 (en) 2017-01-24 2020-08-11 Microsoft Technology Licensing, Llc Linked capture session for automatic image sharing
US10127227B1 (en) 2017-05-15 2018-11-13 Google Llc Providing access to user-controlled resources by automated assistants
US11436417B2 (en) 2017-05-15 2022-09-06 Google Llc Providing access to user-controlled resources by automated assistants
CN110770717B (zh) 2017-05-17 2024-04-16 谷歌有限责任公司 通过通信网络与指定用户的自动图像共享
US20180341878A1 (en) * 2017-05-26 2018-11-29 Get Attached, Inc. Using artificial intelligence and machine learning to automatically share desired digital media
US10706265B2 (en) * 2017-07-28 2020-07-07 Qualcomm Incorporated Scanning a real-time media stream to detect one or more faces that are prevalent among a set of media files stored on a user equipment
US10885315B2 (en) 2018-03-19 2021-01-05 Rovi Guides, Inc. Systems and methods for alerting a user to published undesirable images depicting the user
US10375432B1 (en) 2018-06-05 2019-08-06 Rovi Guides, Inc. Systems and methods for seamlessly connecting devices based on relationships between the users of the respective devices
EP3937030B1 (en) 2018-08-07 2024-07-10 Google LLC Assembling and evaluating automated assistant responses for privacy concerns
US10936856B2 (en) 2018-08-31 2021-03-02 15 Seconds of Fame, Inc. Methods and apparatus for reducing false positives in facial recognition
US10917372B2 (en) 2018-09-21 2021-02-09 Blackberry Limited Method and system for integration of shared photo albums with messaging applications
US20200213510A1 (en) * 2018-12-30 2020-07-02 Luke Trevitt System and method to capture and customize relevant image and further allows user to share the relevant image over a network
US11010596B2 (en) 2019-03-07 2021-05-18 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition systems to identify proximity-based connections
CN110399520A (zh) * 2019-07-30 2019-11-01 腾讯音乐娱乐科技（深圳）有限公司 获取歌手信息的方法、装置和系统
US11409788B2 (en) * 2019-09-05 2022-08-09 Albums Sas Method for clustering at least two timestamped photographs
US10963588B1 (en) 2019-10-30 2021-03-30 International Business Machines Corporation Analyzing recordings for data to be protected and identifying recipients and alerts
US20220398298A1 (en) * 2019-11-15 2022-12-15 Raghav Arvindkumar AGGARWAL Systems and methods for selective access of a digital content
US11341351B2 (en) 2020-01-03 2022-05-24 15 Seconds of Fame, Inc. Methods and apparatus for facial recognition on a user device
US11539647B1 (en) * 2020-06-17 2022-12-27 Meta Platforms, Inc. Message thread media gallery
CN112015986B (zh) * 2020-08-26 2024-01-26 北京奇艺世纪科技有限公司 数据推送方法、装置、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080133526A1 (en) * 2006-12-05 2008-06-05 Palm, Inc. Method and system for processing images using time and location filters
JP2009259239A (ja) 2008-03-26 2009-11-05 Fujifilm Corp 画像シェアリング用保存装置、画像シェアリングおよび方法
US20100056188A1 (en) 2008-08-29 2010-03-04 Motorola, Inc. Method and Apparatus for Processing a Digital Image to Select Message Recipients in a Communication Device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222939B1 (en) 1996-06-25 2001-04-24 Eyematic Interfaces, Inc. Labeled bunch graphs for image analysis
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US6917703B1 (en) 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US7890871B2 (en) * 2004-08-26 2011-02-15 Redlands Technology, Llc System and method for dynamically generating, maintaining, and growing an online social network
KR100641791B1 (ko) 2006-02-14 2006-11-02 (주)올라웍스 디지털 데이터에 대한 태깅 방법 및 시스템
JP2007249821A (ja) * 2006-03-17 2007-09-27 Nec Corp コンテンツ共有システム
US7668405B2 (en) * 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
US20100223663A1 (en) * 2006-04-21 2010-09-02 Mitsubishi Electric Corporation Authenticating server device, terminal device, authenticating system and authenticating method
US7916976B1 (en) * 2006-10-05 2011-03-29 Kedikian Roland H Facial based image organization and retrieval method
JP4829762B2 (ja) * 2006-12-06 2011-12-07 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
US9122645B1 (en) * 2006-12-20 2015-09-01 Qurio Holdings, Inc. Method and system for tagging within virtual groups
US8788529B2 (en) * 2007-02-26 2014-07-22 Microsoft Corp. Information sharing between images
JP5164398B2 (ja) * 2007-03-08 2013-03-21 キヤノン株式会社 情報処理装置、及びその制御方法
US8732161B2 (en) 2007-04-27 2014-05-20 The Regents Of The University Of California Event based organization and access of digital photos
US20090199093A1 (en) 2007-09-04 2009-08-06 Tridib Chakravarty Image Capture And Sharing System and Method
US8385950B1 (en) * 2007-11-09 2013-02-26 Google Inc. Capturing and automatically uploading media content
JP5045413B2 (ja) * 2007-12-13 2012-10-10 日本電気株式会社 写真出力システム
US8166034B2 (en) * 2008-03-26 2012-04-24 Fujifilm Corporation Saving device for image sharing, image sharing system, and image sharing method
EP2618290A3 (en) * 2008-04-02 2014-08-06 Google, Inc. Method and apparatus to incorporate automatic face recognition in digital image collections
US8224899B2 (en) * 2008-04-17 2012-07-17 Eloy Technology, Llc Method and system for aggregating media collections between participants of a sharing network
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
WO2010028169A2 (en) 2008-09-05 2010-03-11 Fotonauts, Inc. Reverse tagging of images in system for managing and sharing digital images
US8571331B2 (en) * 2009-11-30 2013-10-29 Xerox Corporation Content based image selection for automatic photo album generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080133526A1 (en) * 2006-12-05 2008-06-05 Palm, Inc. Method and system for processing images using time and location filters
JP2009259239A (ja) 2008-03-26 2009-11-05 Fujifilm Corp 画像シェアリング用保存装置、画像シェアリングおよび方法
US20100056188A1 (en) 2008-08-29 2010-03-04 Motorola, Inc. Method and Apparatus for Processing a Digital Image to Select Message Recipients in a Communication Device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Huang, T., et al."Agent-Mediated Personal Photo Sharing".International Journal of Electronic Business Management.2007.03.01.vol. 5, No. 1,(제11면 내지 제18면)*

Also Published As

Publication number Publication date
CN103119595B (zh) 2016-10-05
EP2599016A1 (en) 2013-06-05
US8634603B2 (en) 2014-01-21
KR20130102549A (ko) 2013-09-17
JP5801395B2 (ja) 2015-10-28
US8194940B1 (en) 2012-06-05
JP2013541060A (ja) 2013-11-07
US20120314917A1 (en) 2012-12-13
US20120027256A1 (en) 2012-02-02
US20140304269A1 (en) 2014-10-09
CN103119595A (zh) 2013-05-22
US8270684B2 (en) 2012-09-18
WO2012015919A1 (en) 2012-02-02

Similar Documents

Publication Publication Date Title
KR101810578B1 (ko) 셔터 클릭을 통한 자동 미디어 공유
US8805165B2 (en) Aligning and summarizing different photo streams
US8380039B2 (en) Method for aligning different photo streams
KR101417548B1 (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
US9727546B1 (en) Creating a narrative description of media content and applications thereof
CN113010703B (zh) 一种信息推荐方法、装置、电子设备和存储介质
KR101832680B1 (ko) 참석자들에 의한 이벤트 검색
US20120114307A1 (en) Aligning and annotating different photo streams
KR100956159B1 (ko) 라이프로그 장치 및 정보 자동 태그 입력 방법
KR20060026924A (ko) 디지털 데이터에 대한 태깅 방법 및 시스템
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
WO2017067485A1 (zh) 一种图片管理方法、装置及一种终端
KR101782590B1 (ko) 이미지 분석기반의 관계형 태그생성 및 추천 방법
US11768871B2 (en) Systems and methods for contextualizing computer vision generated tags using natural language processing
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant