KR20110016936A - 인기 있는 랜드마크의 자동 발견 - Google Patents

인기 있는 랜드마크의 자동 발견 Download PDF

Info

Publication number
KR20110016936A
KR20110016936A KR20107027837A KR20107027837A KR20110016936A KR 20110016936 A KR20110016936 A KR 20110016936A KR 20107027837 A KR20107027837 A KR 20107027837A KR 20107027837 A KR20107027837 A KR 20107027837A KR 20110016936 A KR20110016936 A KR 20110016936A
Authority
KR
South Korea
Prior art keywords
images
geo
image
visual
clusters
Prior art date
Application number
KR20107027837A
Other languages
English (en)
Other versions
KR101579634B1 (ko
Inventor
페르난도 에이. 브루허
울리히 부데메이어
하르트비그 아담
하르트무트 네벤
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20110016936A publication Critical patent/KR20110016936A/ko
Application granted granted Critical
Publication of KR101579634B1 publication Critical patent/KR101579634B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08—Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에서, 본 발명은 하나 이상의 지오-클러스터들(geo-clusters)을 생성하기 위해 지리적 근접성(geographic proximity)에 따라 지오-태깅된 이미지들(geo-tagged images)을 지오-클러스터링(geo-clustering)하는 단계와, 하나 이상의 비주얼-클러스터들(visual-clusters)을 생성하기 위해 이미지 유사성(similarity)에 따라 하나 이상의 지오-클러스터들을 비주얼-클러스터링(visual-clustering)하는 단계를 포함하는 랜드마크들의 이미지들의 데이터베이스를 차지하고 갱신하는 방법이다. 다른 실시예에서, 본 발명은, 이하의 컴포넌트들: 지오-태깅된 이미지들의 데이터베이스; 랜드마크 데이터베이스; 지오-클러스터링 모듈; 및 비주얼 클러스터링 모듈을 포함하는, 디지털 이미지들로부터 랜드마크들을 식별하기 위한 시스템이다. 다른 실시예에서, 본 발명은 랜드마크들의 이미지들을 검색하기 위해 사용자 질의들을 강화하는 방법이거나, 또는 텍스트 라벨들로 새로운 디지털 이미지를 자동으로 태깅하는 방법일 수 있다.

Description

인기 있는 랜드마크의 자동 발견{AUTOMATIC DISCOVERY OF POPULAR LANDMARKS}
본 발명은, 일반적으로 디지털 이미지 컬렉션에 관한 것으로, 특히, 대규모 디지털 이미지 컬렉션에서 인기 있는 랜드마크들을 식별하는 것에 관한 것이다.
디지털 이미지의 사용이 증가하고, 디지털 기억 매체의 용량 및 유효성(availability)이 증가하며, 인터넷 등의 디지털 전송 매체가 제공하는 상호 연결성(interconnectivity)이 증가함에 따라, 보다 더 큰 코퍼스의 디지털 이미지들이 증가된 수의 사람들에게 액세스 가능하다. 세계 도처에 펄쳐진 다양한 로케이션들로부터 관심 범위를 갖는 사람들이 다양한 주제의 사진을 찍으며, 예를 들어, 인터넷 상에서 사진들을 유용하게 할 수 있다. 예를 들어, 사진을 찍어서 웹 상에 포스팅하는 상이한 레벨의 기술을 가진 사람들이 세계에 걸친 각종 랜드마크들과 관광 사이트들의 디지털 사진들을 찍을 수 있다. 사진들은, 동일하거나 상이한 거리들에서 찍혀진, 상이한 퍼스펙티브들의 동일한 랜드마크를 보여줄 수 있다.
이러한 큰 코퍼스의 디지털 이미지들에 포함된 정보를 이용하기 위해, 코퍼스가 조직화될 필요가 있다. 예를 들어, 하이 레벨 메뉴에서 시작하는, 구글 포토(Google Photos) 또는 피카사(Picasa) 등의 디지털 이미지 웹 사이트들에서, 사람들은 사진들이 유용한 주제들의 상세한 리스팅으로 들어갈 수 있다. 대안으로, 사람들은 디지털 사진들을 갖는 하나 이상의 사이트들을 탐색할 수 있다. 예를 들어, 일부 관광 정보 웹사이트들은 인기 있는 관광 사이트들의 널리 알려진 리스트들과 연관된 랜드마크들의 이미지들을 다운로드해 왔다.
그러나, 이러한 대규모의 컬렉션들로부터 가장 인기 있는 관광 행선들 등의 정보를 자동으로 추출할 수 있는 공지된 시스템이 없다. 다수의 새로운 사진들이 이러한 디지털 이미지 컬렉션들에 추가되기 때문에, 사용자들이 이러한 디지털 이미지 컬렉션들의 유용성(usefulness)을 증가시킬 완전하고 일관적인 방법으로 사진들을 수동으로 레이블링(label)할 수 없을 수 있다. 따라서, 대규모 디지털 이미지 컬렉션들에서 인기 있는 랜드마크들을 자동으로 식별 및 레이블링할 수 있는 시스템들 및 방법들이 필요하다.
일 실시예에서, 본 발명은 하나 이상의 지오-클러스터들(geo-clusters)을 생성하기 위해 지리적 근접성(geographic proximity)에 따라 지오-태깅된 이미지들(geo-tagged images)을 지오-클러스터링(geo-clustering)하는 단계와, 하나 이상의 비주얼-클러스터들(visual-clusters)을 생성하기 위해 이미지 유사성(similarity)에 따라 하나 이상의 지오-클러스터들을 비주얼-클러스터링(visual-clustering)하는 단계를 포함하는 랜드마크들의 이미지들의 데이터베이스를 차지하고 갱신하는 방법이다.
다른 실시예에서, 본 발명은 이하의 컴포넌트들: 지오-태깅된 이미지들의 데이터베이스; 랜드마크 데이터베이스; 하나 이상의 지오-클러스터들로 그룹화되는 상기 지오-태깅된 이미지들의 데이터베이스와 통신하는 지오-클러스터링 모듈; 및 상기 지오-클러스터링 모듈과 통신하는 비주얼 클러스터링 모듈을 포함하는데, 하나 이상의 지오-클러스터들은 하나 이상의 비주얼 클러스터들로 그룹화되고, 비주얼 클러스터 데이터는 랜드마크 데이터베이스에 저장되는, 디지털 이미지들로부터 랜드마크들을 식별하는 시스템이다.
또 다른 실시예에서, 본 발명은 사용자 질의를 수신하는 스테이지; 사용자 질의의 하나 이상의 트리거 단어들을 식별하는 스테이지; 하나 이상의 트리거 단어들에 대응하는 랜드마크 데이터베이스로부터 하나 이상의 대응 태그들을 선택하는 스테이지; 및 하나 이상의 대응 태그들로 사용자 질의를 보충해서 보충된 사용자 질의를 생성하는 스테이지를 포함하는, 랜드마크들의 이미지들을 검색하기 위해 사용자 질의들을 강화하는 방법이다.
또 다른 실시예에서, 본 발명은 새로운 디지털 이미지를 랜드마크 이미지 데이터베이스의 이미지들과 비교하는 스테이지 - 랜드마크 이미지 데이터베이스는 하나 이상의 랜드마크들의 이미지들의 비주얼 클러스터들을 포함함 - ; 및 상기 비주얼 클러스터들 중 적어도 하나를 기반으로 적어도 하나의 태그로 새로운 디지털 이미지를 태깅하는 스테이지를 포함하는, 새로운 디지털 이미지를 자동으로 태깅하는 방법이다.
그 일례들이 첨부 도면들에 도시될 수 있는 본 발명의 실시예들에 대해 언급될 것이다. 이 도면들은 예시적인 것으로, 제한적인 의미가 아니다. 본 발명이 일반적으로 이러한 실시예들의 맥락에서 기술되었지만, 본 발명의 범위를 이러한 특정 실시예들로 제한하려는 의도가 아님을 이해해야만 한다.
도 1은 본 발명의 일 실시예에 따라 랜드마크 이미지 데이터베이스를 차지 및 갱신하는 시스템이다.
도 2는 본 발명의 일 실시예를 구현하는 방법의 하이 레벨 플로우챠트를 도시한다.
도 3은, 일 실시예에서, 도 2에 도시된 지오-클러스터링 스테이지의 보다 더 상세한 오퍼레이션을 도시한 플로우챠트이다.
도 4는, 일 실시예에서, 도 3에 도시된 지오-클러스터 생성 스테이지의 보다 더 상세한 오퍼레이션을 도시한 플로우챠트이다.
도 5는 일 실시예에서, 도 2에 도시된 비주얼-클러스터링 스테이지의 보다 더 상세한 오퍼레이션을 도시한 플로우챠트이다.
도 6은 본 발명의 일 실시예에서 사용된 그래픽 사용자 인터페이스이다.
도 7은 본 발명의 일 실시예에 따라 랜드마크 이미지 데이터베이스를 갱신하는 방법이다.
도 8은 본 발명의 일 실시예에 따라 저장된 랜드마크 정보를 사용해서 사용자 질의들을 강화하는 방법이다.
도 9는 본 발명의 일 실시예에 따라 랜드마크들을 포함하는 이미지들에 자동으로 주석을 다는 방법이다.
도 10은, 사용자 지정 선택 기준에 따라 검색된, 랜드마크들 및 대응 클러스터들에 대한 정보를 나타내는, 본 발명의 일 실시예에 따른 일례의 사용자 인터페이스 스크린이다.
도 11은 본 발명의 일 실시예에 따라 클러스터들 및 랜드마크들을 유지하는 방법의 오퍼레이션을 도시한 플로우챠트이다.
도 12는 본 발명의 일 실시예에 따른, 비주얼 클러스터에 대한 세부 사항들을 나타내는 일례의 사용자 인터페이스 스크린이다.
도 13은 본 발명의 일 실시예에 따라 비주얼 클러스터들을 유지하는 방법의 오퍼레이션을 도시한 플로우챠트이다.
본 발명이 본 명세서에서 특정 애플리케이션들에 대한 예시적인 실시예들과 관련해서 기술되지만, 본 발명은 이들로만 제한되지 않음을 이해해야만 한다. 본 명세서의 교시에 접근하는 당업자는 본 발명이 상당히 유용한 본 발명의 범위 및 추가 필드들 내에서 추가 변경, 응용 및 구현이 가능함을 알 것이다.
본 발명은 디지털 이미지들에서 객체들을 자동으로 식별 및 분류하기 위한 방법들 및 시스템들을 포함한다. 예를 들어, 본 발명의 실시예들은 인터넷에서 액세스 가능한 디지털 이미지 컬렉션들을 기반으로 가장 인기 있는 관광 랜드마크들을 식별, 분류 및 우선 순위화할 수 있다. 본 발명의 방법 및 시스템들은 가장 인기 있는 관광 로케이션들의 이미지들의 최신 리스트 및 컬렉션들을 효율적으로 유지할 수 있다. 여기서, 관광 로케이션의 인기(popularity)는 사용자들에 의해 인터넷에서 포스팅된 해당 로케이션의 이미지들의 수에 의해 추정(approximated)될 수 있다.
본 발명의 일 실시예에 따른 인기 있는 랜드마크 인식 시스템(100)은 도 1에 도시되어 있다. 프로세싱 모듈(101)은 지오-클러스터링 모듈(102) 및 비주얼 클러스터링 모듈(103)을 포함한다. 비주얼 클러스터링 모듈(103)은 또한 인기 모듈(104)을 포함할 수 있다. 모듈들(102-104)의 프로세싱 기능은 후술된다: 지오-클러스터링 모듈(102)은 도 3 내지 도 4와 관련해서 기술되고, 비주얼 클러스터링 모듈은 도 5와 관련해서 기술된다. 모듈들(102-104)의 프로세싱 기능은 소프트웨어, 하드웨어 또는 그 조합으로 달성될 수 있다. 예를 들어, 모듈들(102-104)은 소프트웨어 모듈들로서 전체적으로 구현될 수 있으며, 또는, 지오-클러스터링 모듈(102)의 기능의 일부가 FPGA(field programmable gate array) 등의 하드웨어를 사용해서 구현될 수 있다. 프로세싱 모듈(101)이 본 발명의 함수들을 용이하게 해주는 추가 컴포넌트들 및 모듈들을 포함할 수 있음을 당업자는 알 것이다. 예를 들어, 프로세싱 모듈(101)은 하나 이상의 프로세서들, 메모리, 기억 장치, 그래픽 사용자 인터페이스(130)를 포함하는 외부 디바이스들과 인터페이스하는 모듈들, 지오-태깅된 이미지 코퍼스(110), 및 랜드마크 데이터베이스 시스템(120)을 포함할 수 있다.
랜드마크 데이터베이스 시스템(120)은 랜드마크 데이터베이스(121) 및 관련된 인덱스들(122)을 포함할 수 있다. 랜드마크 데이터베이스 시스템(120)은 모듈(101)과 동일한 프로세싱 플랫폼에 같이 배치될 수 있으며, 또는 분리되어 배치될 수 있다. 랜드마크 데이터베이스(121)는 시스템(100)에 의해 인식된 랜드마크들의 컬렉션을 포함할 수 있다. 랜드마크 데이터베이스(121)의 각각의 랜드마크에 대해 저장된 정보는 이미지들 또는 랜드마크의 이미지들의 리스트, 이미지 및 피처 템플릿들, 및 지리적 좌표(geo-coordinate), 시간 및 사용자 정보를 포함하는 이미지들로부터의 메타데이터를 포함할 수 있다. 랜드마크 데이터베이스(121)는 프로세싱 모듈(101)의 프로세싱에 필요한 비주얼 클러스터링 및 지오-클러스터링 데이터를 포함할 수 있다. 인덱스들(122)은, 예를 들어, 제한 없이, 관심 주제로서 인기, 지리적 영역, 시간, 또는 다른 사용자 정의 기준 중 하나 이상의 순으로 랜드마크 데이터베이스(121)의 랜드마크들을 배열하는 인덱싱을 포함할 수 있다. 링크(141)는, 예를 들어, 제한 없이, PCI(Peripheral Component Interconnect) 버스, IEEE 1394 파이어와이어 인터페이스, 이더넷 인터페이스, 또는 IEEE 802.11 인터페이스를 포함하는 상호 연결 메카니즘들 중 임의의 한 메카니즘이거나 그 조합일 수 있다.
사용자 인터페이스(130)는 사용자 또는 다른 외부 엔티티가 프로세싱 시스템(101), 랜드마크 데이터베이스 시스템(120), 및 지오-태깅된 이미지 코퍼스(110)와 상호 작용할 수 있게 한다. 사용자 인터페이스(130)는, 예를 들어, 제한 없이, PCI 버스, IEEE 1394 파이어와이어 인터페이스, 이더넷 인터페이스, 또는 IEEE 802.11 인터페이스를 포함하는 상호 연결 메카니즘들 중 임의의 한 메카니즘 또는 그 조합을 사용해서 시스템(100)의 다른 엔티티들에 연결될 수 있다. 그래픽 사용자 인터페이스, 웹 인터페이스, 및 애플리케이션 프로그래밍 인터페이스 중 하나 이상의 인터페이스가 사용자 인터페이스(130)에 포함될 수 있다.
지오-태깅된 이미지 코퍼스(110)는 하나 이상의 네트워크들에 걸쳐 분산되어 있는 하나 이상의 디지털 지오-태깅된 이미지 코퍼스들을 포함할 수 있다. 당업자는, 코퍼스(110)가 또한 네트워크들에 걸쳐 분산되어 있는 액세스 가능한 지오-태깅된 이미지 컬렉션들에 대한 링크들의 컬렉션으로서 구현될 수도 있음을 알 것이다. 코퍼스(110)는 또한 분산된 로케이션들에서 유용한 모든 이미지들 또는 일부 이미지들의 카피들을 생성함으로써(예를 들어, 다운로딩하여 로컬 스토리지에 저장함으로써) 구현될 수도 있다. 일부 실시예들에서, 지오-태깅된 이미지 코퍼스의 일부분은 프로세싱 시스템(101) 및/또는 랜드마크 데이터베이스 시스템(120)과 동일한 프로세싱 플랫폼에 존재할 수 있다. 지오-태깅된 이미지 코퍼스(110)를 구성하는 지오-태깅된 이미지들의 상이한 컬렉션들은 인터넷, 인트라-네트워크 또는 다른 형태의 인터-네트워크를 통해 상호 연결될 수 있다. 프로세싱 시스템(101)은 지오-태깅된 이미지 코퍼스로부터 유용해진 이미지들을 입력으로서 취한다. 일부 실시예들에서, 분산된 이미지 컬렉션들로부터의 이미지들은 코퍼스(110)에 저장될 때, 또는 프로세싱 모듈(101)에 입력되기 전에, GIF 등의 표준 그래픽 포맷으로 변환될 수 있다. 실시예들은 또한, 해상도 감소 또는 강화 등의 다른 형태의 표준화를 요구할 수 있으며, 또는 코퍼스(110)에 저장되기 전에, 또는 프로세싱 모듈(101)에 입력되기 전에, 이미지들에 대한 프로세싱이 실행된다. 코퍼스(110)는, 예를 들어, 제한 없이, PCI 버스, IEEE 1394 파이어와이어 인터페이스, 이더넷 인터페이스, 또는 IEEE 802.11 인터페이스를 포함하는 상호 연결 메카니즘들 중 임의의 한 메카니즘 또는 그 조합을 사용해서 링크들(142, 143)에 의해 시스템의 다른 컴포넌트들에 연결될 수 있다.
도 2는 이미지 코퍼스(110)로부터의 지오-코딩된(geo-coded) 이미지들을 사용해서 랜드마크 데이터베이스(121)를 생성 또는 갱신하는 본 발명의 일 실시예의 프로세스(200)의 플로우챠트이다. 프로세스(200)는 두개의 주요 프로세싱 스테이지들: 지오-클러스터링 스테이지(201) 및 비주얼 클러스터링 스테이지(202)를 포함한다. 지오-코딩된 디지털 이미지들의 컬렉션, 예를 들어, 다양한 관광 행선들의 디지털 이미지들의 대규모 컬렉션이 주어지면, 지오-클러스터링 스테이지(201)는 각 사진의 지오-로케이션 코드들(geo-location codes)을 기반으로 유용한 이미지들을 개별 그룹들로 분할할 수 있다. 지오-클러스터링 스테이지는 이미지들을 상이한 그룹들 또는 지오-클러스터들로 비교적 신속하게 분리하기 위해 각 사진에서 유요용한 지오-코딩을 사용한다. 이미지들이 동일한 지오-클러스터에 속한다고 생각되는 디폴트 반경을 포함하는 선구성 파라미터들이 사용될 수 있다. 지오-클러스터링 스테이지(201)에서 생성된 지오-클러스터들은 그 후 비주얼 클러스터링 스테이지(202)에 입력된다. 비주얼 클러스터링 스테이지(202)에서, 시스템은 이미지 유사성을 기반으로 동일한 객체 또는 랜드마크의 이미지들의 클러스터들(즉, 비주얼 클러스터들)로 서브디바이딩(subdividing)함으로써 각각의 지오-클러스터에서 이미지들을 분리하고자 시도한다. 일반적으로, 사진 컬렉션의 지오-클러스터링은 동일한 이미지 컬렉션의 비주얼 클러스터링 보다 계산적으로 비용이 적게 드는 것을 주지하라. 그 이유는, 적어도 부분적으로, 지오-클러스터링의 경우, 각 사진에 이미 포함된 지오-로케이션 정보와 유사하기 때문이다. 대조적으로, 예를 들어, 비주얼 클러스터링(202)은 각각의 이미지들의 각각의 식별 가능한 객체에 대한 객체 인식, 피처 벡터 생성 및 비교를 실행한 후, 상이한 이미지들의 피처 벡터들을 비교하는 것을 포함할 수 있다.
일부 실시예들에서, 연관된 이미지들 및/또는 연관된 이미지들에 대한 참조들을 포함하는 비주얼 클러스터 정보는 랜드마크 데이터베이스(121) 등의 데이터베이스에 저장될 수 있다. 랜드마크 데이터베이스(121)에 저장된 이미지들 및/또는 가상 이미지들은 인기를 포함하는 구성 가능한 기준들을 기반으로 저장된 비주얼 클러스터들에 대한 액세스가 허용된 하나 이상의 인덱스들(122)을 사용해서 액세스될 수 있다. 예를 들어, 저장된 비주얼 클러스터들은 각 클러스터에 이미지들을 제시한 유일한 사용자들의 수의 순서로 액세스를 허용하기 위해 인덱스(122)를 갱신하는 인기 모듈(popularity module)(104)에 의해 처리될 수 있다.
일부 실시예들에서, 선택된 비주얼 클러스터들은 사용자에 의해 리뷰될 수 있으며, 또는 컴퓨터 프로그램에 의해 더 처리될 수 있다. 예를 들어, 선택적으로, 이미지들의 선정된 수 보다 작음 등과 같은 지정된 기준들을 만족시키는 비주얼 클러스터들은 사용자에 의해 리뷰될 수 있다. 사용자는, 이미지를 삭제하는 액션, 이미지를 추가하는 액션, 또는 이미지를 다른 클러스터에 재할당하는 액션을 포함하는 액션들에 의해 하나 이상의 비주얼 클러스터들을 변경할 수 있다. 사용자는 또한 새로운 태그 정보를 지정하거나 기존 태그 정보를 변경할 수 있다. 당업자는, 사용자 또는 컴퓨터 프로그램으로부터 수신된 외부 데이터에 따른 비주얼 클러스터의 프로세싱이, 데이터베이스 시스템(120)에 저장된 지오-클러스터 및 비주얼 클러스터 정보의 일관성을 유지하기 위해 추가 기능들을 실행할 것을 시스템에게 요구할 수도 있음을 알 것이다.
도 3은, 본 발명의 일부 실시예들에서, 지오-클러스터링 스테이지(201)에 포함된, 지오-클러스터들을 생성하는 스테이지(301) 및 지오-클러스터들을 타당성 검사하는 스테이지(302)의 두개의 프로세싱 스테이지들을 도시한다. 지오-클러스터 생성 스테이지(301)는, 하나 이상의 선정된 반경을 사용해서, 양 이미지들의 지오-로케이션 코드들을 기반으로 하나의 이미지가 다른 이미지의 지리학적 반경 내에 있는지를 결정하는 것을 포함할 수 있다. 객체 또는 랜드마크의 로케이션 대신 카메라의 로케이션을 실제로 나타내는 지오-로케이션 코딩을 설명하기 위해 지오-클러스터링 알고리즘이 요구될 수도 있음을 주지하라. GPS-인에이블 디지털 카메라, 매칭 소프트웨어와 함께 카메라로부터 분리된 GPS 디바이스, 구글 어스(Google Earth) 등의 툴의 사용, 또는 사진의 EXIF(Exchangeable Image Format) 태그의 수동 편집을 포함하는 수개의 수단을 통해 사진의 지오-태깅이 달성될 수 있다. 지오-태깅 방법은 일반적으로 본 기술 분야에 공지된 것으로, 본 명세서에서 기술되지 않는다. 또한, 디폴트 지리적 클러스터 반경이 대부분의 관심 랜드마크들 또는 객체들에 적합할 수 있지만, 일부 랜드마크들은 이미지들의 가장 효율적인 그룹화를 야기하기 위해 상이한 클러스터 반경 파라미터들을 요구할 수도 있다. 스테이지(301)에서, 하나 이상의 이미지들의 클러스터들이 지리적 근접성을 기반으로 생성된다.
지오-클러스터 타당성 검사 스테이지(302)에서, 지오-클러스터링 생성 스테이지(301)에서 생성된 지오-클러스터들 각각은 선택된 기준들을 기반으로 타당성 검사될 수 있다. 예를 들어, 본 발명의 일 실시예에서, 목표는, 차후 프로세싱을 위해 선택된 각 지오-클러스터가 관광 랜드마크, 즉, 인기 있는 랜드마크를 합당하게 포함함을 보증하는데 있을 수 있다. 따라서, 타당성 검사 기준은 선정된 임계값 보다 더 많은 유일한 사용자들로부터의 이미지들을 갖는 지오-클러스터들만을 더 처리할 수도 있다. 동일한 랜드마크의 제시된 이미지들을 갖는 유일한 사용자들의 선정된 수만큼 적어도 갖는다는 타당성 검사 기준이, 다른 빌딩들, 구조물들 및 기념물들, 공원들, 산, 풍경 등을 여과(filter out)할 가능성이 있다. 예를 들어, 인기를 애원하지 않으면서 자신의 새롭게 지어진 집의 사진들을 포스팅한 열정적인 자택 소유자는 인터넷 디지털 이미지 컬렉션 사이트들의 모든 사용자들에 의해 포스팅된 임의의 인기 있는 랜드마크의 이미지들의 수에 비해 상당한 수의 자신의 집 이미지들을 포스팅하지는 않을 것이다. 일 실시예에서, 임계값은 계절별로 및/또는 지리적 영역별로 설정될 수 있다. 다른 실시예들에서, 임계값은 유일한 사용자들의 분산을 위해 지오-클러스터들을 먼저 분석함으로써 유도될 수도 있다. 또 다른 실시예들에서, 임계값은 랜드마크의 각 타입에 대해 설정될 수 있다. 임계값을 설정하는 수단에 대한 상술된 기술은 오직 설명을 위한 것이다. 당업자는, 각각의 사용 초점에 따라 지오-클러스터들이 타당성 검사될 수 있는 다수의 다른 수단들이 있음을 알 것이다.
도 4는, 본 발명의 일 실시예에서, 지오-클러스터링 스테이지의 프로세싱의 세부 사항(301)을 도시한다. 각각의 지오-태깅된 이미지에 대해, 스테이지들(401-405)이 반복될 수 있다. 클러스터에 미리 속하지 않은 각각의 지오-태깅된 이미지에 대해, 이미지로부터 각각의 클러스터까지의 거리가 스테이지(401)에서 결정된다. 거리 결정은 이미지의 중심의 지리적 좌표들을 기반으로 할 수 있다. 예를 들어, 일 실시예에서, 거리는 이미지의 중심으로부터 클러스터의 이동 평균 이미지 중심까지일 수 있으며, 이동 평균은 새로운 이미지가 클러스터에 추가될 때마다 갱신되며, 클러스터의 이미지들 각각의 중심들의 평균으로서 계산될 수 있다. 스테이지(402)에서, 이미지가 기존 클러스터와 매칭하는지의 여부가 결정된다. 결정은, 클러스터의 중심 지리적 좌표들로부터의 선정된 반경에 의해 정의된 영역 내에 속한 이미지의 지리적 좌표들을 기반으로 할 수 있다. 선정된 반경은, 예를 들어, 지리적 영역을 기반으로 하거나, 각 클러스터의 이미지들의 중심 좌표들의 분석을 기반으로 하거나, 또는 랜드마크의 타입을 기반으로 할 수 있다. 이미지가 기존 클러스터에 대해 매칭하는 것으로 생각되면, 스테이지(403)에서 해당 클러스터에 추가된다. 그렇지 않으면, 새로운 클러스터가 스테이지(404)에서 생성된다. 이미지를 기존 클러스터에 추가하거나, 새로운 클러스터를 생성할 때, 클러스터를 위한 지리적 중심 좌표들과 같은 소정의 클러스터 파라미터들이 계산될 필요가 있을 수 있다. 프로세스(301)가 지오-태깅된 이미지들의 입력 집합에 대해 완료할 때, 지오-클러스터들의 집합이 유용해진다. 연관된 정보와 함께, 지오-클러스터들은 지오-태깅된 이미지 코퍼스(110)의 파트로서 저장되거나 또는 프로세싱 모듈(101)에 액세스 가능한 다른 기억 장치에 저장될 수 있다. 각 이미지 또는 지오-클러스터와 연관된 정보는 이미지들을 기술하는 지오-로케이션 및 다른 메타데이터, 유용한 이미지들에 할당된 텍스트 태그들, 및 이미지들에 대한 지오-로케이션 정보를 기반으로 한 추가 로케이션 정보(즉, 국가 및 도시를 지정하는 텍스트 라벨들)을 포함할 수 있다.
도 5는 본 발명의 일 실시예의 비주얼 클러스터링 스테이지(202)의 상세한 도면이다. 스테이지(201)에서 생성된 각각의 지오-클러스터에 대해, 스테이지들(501-505)이 반복된다. 스테이지(201)에서 생성된 지오-클러스터들의 집합이 비주얼 클러스터링 스테이지(202)에 입력된다. 입력된 지오-클러스터들 각각에 대한 하나 이상의 비주얼 클러스터들이, 비주얼 클러스터링 스테이지(202)로부터 출력된다. 각각의 비주얼 클러스터는 동일한, 예를 들어, 인기 있는 관광 랜드마크를 갖는 이미지들을 포함한다. 비주얼 클러스터들의 집합은, 다양한 카메라 각도들, 카메라 거리들, 및 광 조건들로 인기 있는 랜드마크를 묘사하는 모든 이미지들을 수집할 수 있다. 이러한 비주얼 클러스터들의 집합이 모든 이미지들을 포함하거나 특정 랜드마크를 갖는 이미지들만을 포함할 지는 비주얼 클러스터링 방법 및 파라미터들의 효율성(effectiveness)의 함수이다. 본 발명의 교시는 비주얼 클러스터들의 집합이 모든 이미지들을 포함하거나 특정 랜드마크를 갖는 이미지들만을 포함할 지의 여부를 적용한다. 지오-클러스터에 대해, 스테이지(501)는 클러스터의 이미지들의 인덱스를 생성한다. 인덱스는, 고유 이미지 또는 고유 이미지에 대한 참조, 고유 이미지로부터 유도된 이미지(예를 들어, 고유 이미지의 저해상도 버전들), 하나 이상의 이미지 템플릿들 및 피처 벡터들, 사용자 식별, 지오-태깅, 시간 정보, 및 할당된 임의의 태그들을 포함하는 데이터 요소들을 갖는, 클러스터의 이미지들의 리스트일 수 있다. 스테이지(502)에서, 지오-클러스터의 각 이미지는 대응 인덱스에 대해 매칭된다. 매칭 프로세스(502)는 지오-클러스터의 각각의 이미지에 대해, 매칭 이미지들에 대한 참조들을 생성한다. 매칭 프로세스(502) 후에, 인덱스는, 각각의 이미지에 대해, 해당 지오-클러스터 내의 모든 다른 매칭 이미지들에 대한 참조들을 포함할 수 있다. 스테이지(502)의 매칭은 랜드마크들 등의 관심 객체들을 식별하기 위해 각각의 이미지 내에서의 객체 인식과, 각각의 식별된 객체에 대한 피처 벡터들의 생성과, 매칭 정보를 획득하기 위한 피처 벡터들의 비교를 포함할 수 있다. 비교는 피처 벡터들에 포함된 피처들에 할당된 구성 가능한 수치 스코어들, 및 두개의 이미지들을 매칭 쌍으로서 분류하기 위한 구성 가능한 수치 임계값들을 기반으로 할 수 있다. 이미지들의 객체 인식과 피처 벡터들의 생성 방법들은 본 기술 분야에 널리 공지되어 있다. 예를 들어, 이미지들의 객체 인식 방법들은 데이빗 지. 로위(David G. Lowe)의 "로컬 스케일-불면 피처들로부터의 객체 인식(Object recognition from local scale-invariant features)", 컴퓨터 비전 국제 학회( international conference on computer vision ), 그리스(Greece) 코푸(Corfu), (1999년 9월), pp. 1150-1157에 기술되어 있다.
스테이지(503)에서, 스테이지들(501-502)에서 생성된 인덱스 및 매칭들을 기반으로, 매칭-영역 그래프가 생성된다. 매칭-영역 그래프에서, 노드는 이미지이고, 노드들 간의 링크들은 이미지들 간의 관계들을 나타낸다. 예를 들어, 스테이지(502)에 따라 매칭하는 이미지들의 쌍은 그들 간의 링크를 갖는다. 스테이지(504)에서, 매칭-영역 그래프가 사용되어 비주얼 클러스터들이 생성된다. 간단히 말해서, 비주얼 클러스터는, 약한 링크들(weak links)이 스테이지(504)의 추가 프로세싱을 기반으로 제거된 후의, 매칭-영역 그래프의 연결 서브-트리이다. 약한 링크들은, 이미지들이 이미지 또는 피처 템플릿들을 기반으로 매칭된 경우, 매칭 피처들의 임계 수 보다 적은 링크들일 수 있다. 일부 실시예들은 지정된 집합의 피처들과 매칭하지 않는 링크들을 약한 링크들로서 생각할 수도 있다. 유용한 경우, 클러스터의 이미지들 간의 텍스트 라벨 일치(agreement)는 다른 기준일 수 있다. 또한, 클러스터의 이미지들의 수는 매우 적은 수의 이미지들을 갖는 클러스터들을 최소화하도록 약한 링크들을 제거할 때 고려될 수 있다. 당업자는, 약한 링크들의 제거가 본 명세서에 기술된 바 외의 다양한 기준들을 기반으로 할 수도 있음을 알 것이다. 마지적으로, 비주얼 클러스터 데이터는 스테이지(505)에서 저장된다. 비주얼 클러스터들은 랜드마크 데이터베이스(121)에 저장될 수 있다. 각각의 비주얼 클러스터의 이미지들 및 객체 정보와 함께, 클러스터를 나타내는 하나 이상의 텍스트 라벨들, 및 특히 클러스터를 나타내는 하나 이상의 이미지들을 포함하지만 이들로만 제한되지 않는 다른 적절한 데이터베이스가 저장될 수도 있다. 비주얼 클러스터를 나타내는 텍스트 라벨은, 예를 들어, 해당 클러스터의 각각의 구성 이미지의 텍스트 라벨들을 병합함으로써 생성될 수 있다. 특히 비주얼 클러스터를 나타내는 하나 이상의 이미지들은, 예를 들어, 인기 있는 관광 랜드마크들의 인덱스로 디스플레이하는데 유용할 수 있다.
본 발명의 다른 실시예에서, 생성된 비주얼 클러스터들의 사용자 검증이 구현된다. 도 6은 각각의 비주얼 클러스터의 이미지들을 사용자에게 디스플레이할 수 있으며, 각각의 클러스터의 다양한 양상들을 수동으로 편집하는 기능을 사용자에게 제공할 수 있는 그래픽 사용자 인터페이스(601)이다. 예를 들어, 그래픽 사용자 인터페이스는 랜드마크 데이터베이스(621)에 저장된 비주얼 클러스터들을 검색하고 편집된 비주얼 클러스터들을 동일한 데이터베이스(621)에 다시 기록할 수 있다. 그래픽 사용자 인터페이스(601)는 사용자가 새로운 텍스트 라벨을 할당하고/할당하거나 각각의 클러스터 및/또는 이미지에 현재 할당된 텍스트 라벨들을 변경할 수 있게 해주는 클러스터 레이블링 모듈(602)을 포함할 수 있다. 예를 들어, 클러스터 레이블링 모듈(602)은 현 텍스트 라벨을 갖는 각각의 클러스터 및 클러스터의 개별 이미지들에 할당된 라벨들을 디스플레이할 수 있으며, 사용자가 클러스터에 할당된 텍스트 라벨을 변경할 수 있게 해줄 수 있다. 클러스터 병합 모듈(603)은 사용자가 클러스터들을 병합 또는 분할할 수 있게 해줄 수 있다. 이러한 클러스터들의 수동 병합 및 분할은 하나 이상의 클러스터들의 이미지들의 뷰 후에 사용자에 의해 요구될 수 있다. 클러스터 편집 모듈(604)은 사용자가 개별 이미지들을 추가하거나 또는 클러스터들로부터 삭제할 수 있게 해줄 수 있다. 모듈(604)은 클러스터의 대응 랜드마크의 저조한 표현을 수동으로 제거할 뿐만 아니라 클러스터 대응 랜드마크의 하나 이상의 새로운 이미지들을 수동으로 추가하는데 유용할 수 있다. 상술된 바 외에, 본 발명의 실시예들은 시스템(100)과 상호 작용하는 다양한 사용자 옵션들을 제공할 수 있다.
도 1로 돌아가서, 일부 실시예들에서, 인기 모듈(104)은 각각의 비주얼 클러스터에 대한 인기 스코어를 계산해서, 비주얼 클러스터들의 순위를 정할 수 있다. 랜드마크 데이터베이스(121) 액세스에 사용된 하나 이상의 인덱스들(122)은 인기 모듈에 의해 계산된 인기 순위를 기반으로 할 수 있다. 클러스터의 인기 스코어는, 클러스터의 이미지들의 총 수, 이미지들을 클러스터에 기증한 유일한 사용자들의 수, 이미지들의 수 또는 비주얼 클러스터의 중심의 특정 선정된 반경 내에 있는 유일한 사용자 식별자들을 갖는 이미지들의 수 중 하나 이상을 기반으로 할 수 있다. 상술된 방법들 외의 다른 방법들을 사용해서 인기 스코어가 계산될 수도 있음을 이해해야만 한다.
본 발명의 다른 실시예에서, 랜드마크 데이터베이스는 점차적으로 성장한다. 도 7은 랜드마크 데이터베이스를 점차적으로 성장시키는데 사용될 수 있는 일례의 프로세스이다. 스테이지(701)에서, 새롭게 유효한 지오-태깅 이미지들이 로컬 스토리지에 다운로드되거나, 또는 다른 수단에 의해 프로세싱 모듈(101)에 유효해진다. 스테이지(702)에서, 지오-클러스터링이 새로운 지오-태깅 이미지들을 포함하는 모든 유효 지오-태깅된 이미지에 대해 구현된다. 지오-클러스터링은 도 3 및 도 4와 관련해서 상술되었다. 스테이지(703)에서, 스테이지(702)로부터 야기된 지오-클러스터들은 비주얼 클러스터링된다. 비주얼 클러스터링은 도 5와 관련해서 기술되었다. 비주얼 클러스터링을 완료하면, 스테이지(704)에서, 일부 실시예들은 랜드마크 데이터베이스에 이전에 저장된 비주얼 클러스터링의 이전 클러스터링에서 사용자가 개시한 모든 변경들 또는 일부 변경들을 전달할 수 있다. 예를 들어, 사용자 할당 또는 변경 태그들이 새로운 클러스터링에 전달될 수 있다. 선택적으로, 스테이지(705)에서, 새로운 비주얼 클러스터링이 사용자 검증 및 수동 편집될 수 있다. 수개의 타입들의 사용자 인터랙션이 도 6과 관련해서 상술되었다.
랜드마크 데이터베이스(121)를 갖는 시스템(100)은 다수의 애플리케이션들을 가능케 할 수 있다. 예를 들어, 랜드마크 데이터베이스(121)는 질의들이 보다 더 집중되도록 사용자 질의들을 보충하는데 사용될 수 있다. 도 8은 일 실시예에서 사용자 질의들을 보충하는데 사용될 수 있는 프로세스를 도시한다. 수신된 사용자 질의는 스테이지(802)에서 선정된 트리거 단어들의 집합에 대해 파싱될 수 있다. 예를 들어, "파리"와 같은 도시 이름들이 도시의 랜드마크들을 트리거하는데 사용될 수 있으며, 그 역도 가능하다. 질의의 트리거 단어들을 식별하면, 스테이지(803)에서 랜드마크 데이터베이스는 연관된 태그 단어들을 식별하기 위해 트리거 단어들을 탐색할 수 있다. 상술된 일례에 이어, "파리"라는 트리거 단어는 "에펠탑"을 발견하도록 탐색을 야기할 수 있다. 식별된 연관된 태그 단어들은 그 후 스테이지(804)에서 질의 스트링을 보충하는데 사용된다. 이렇게 보충된 질의 스트링들은 보다 더 넓은 범위의 관련 정보를 찾는데 유용할 수 있다.
본 발명의 일 실시예에서, 다른 애플리케이션이 도 9에 도시되어 있다. 프로세스(900)는 디지탈 이미지들의 온라인 자동 태깅에 사용될 수 있다. 예를 들어, 스테이지(901)에서 새로운 디지탈 이미지가 랜드마크 이미지 데이터베이스의 이미지들과 비교된다. 하나 이상의 매칭 이미지들이 발견되면, 스테이지(902)에서 태그들이 모든 매칭 이미지들을 기반으로 생성된다. 스테이지(903)에서, 새로운 이미지는 새롭게 생성된 태그들로 태깅된다.
도 10은, 랜드마크 집합이 사용자 입력에 따라 선택되고, 각각의 선택된 랜의 비주얼 클러스터들에 대한 세부 사항들이 디스플레이되는 본 발명의 일 실시예의 사용자 인터페이스(1000)를 도시한다. 사용자 지정 기준에 따라 선택된 랜드마크는 (1010)과 같이 각각의 영역 내에서 디스플레이될 수 있다. 선택된 각각의 랜드마크는, 예를 들어, 체크 박스(1040)와 같이, 사용자 입력을 수신하기 위한 영역을 가질 수 있다. 디스플레이된 각각의 랜드마크에 대해, 비주얼 클러스터들의 요약 리스트가 디스플레이될 수 있다. 비주얼 클러스터의 요약 리스트는, 특정 디스플레이 랜드마크에 속하는 것으로 명백하게 도시되도록, 예를 들어, 제1 디스플레이 랜드마크의 비주얼 클러스터들의 요약 리스트가 제1 디스플레이 랜드마크에 대응하는 디스플레이 영역(1010) 내에 포함될 수 있도록, 디스플레이될 수 있다. 디스플레이된 랜드마크에 대한 비주얼 클러스터들의 요약 리스트의 각각의 엔트리(1020)는, 예를 들어, (1020)에 표시된 비주얼 클러스터에 대응하는 체크박스(1030)와 같은, 클러스터에 특정한 사용자 입력을 수신하는 대응 로케이션을 가질 수 있다. 각각의 엔트리(1020)는 클러스터에 대한 기술 정보(1022) 및 다른 세부 사항들을 검색하기 위한 링크(1021)를 포함할 수 있다. 예를 들어, 각각의 클러스터에 대한 기술 정보는, 이미지들의 수, 특히 클러스터에 이미지들을 기증한 유일한 사용자들 또는 작자들의 수와 관련된 인기, 클러스터가 수동으로 변경 또는 검증되었는지의 여부에 대한 정보, 및 키들 등의 임의의 액세스 정보를 포함할 수 있다. 링크(1021)는 이미지들 및 선택된 클러스터의 개별 이미지 관련 데이터를 검색하기 위한 사용자-항행 가능 하이퍼링크 등의 링크 방법을 포함한다.
도 11은 본 발명의 일 실시예에서 인터페이스(1000)와 관련된 프로세싱을 도시하는 플로우챠트이다. 스테이지(1110)에서, 사용자는, 국가, 도시, 지역, 및/또는 다른 키워드 등의 하나 이상의 선택 기준을 지정한다. 키워드를 포함하는 사용자 지정 정보는 이미지들에 할당된 태그들을 기반으로 이미지들을 탐색하는데 사용될 수 있다. 사용자는 디스플레이된 랜드마크들의 인기의 최소 레벨, 및 사용자가 제시한 최소 수의 이미지들을 갖는 랜드마크들 등의 다른 검색 기준들을 지정할 수 있다. 예를 들어, 사용자는 적어도 10개의 개별 사용자들이 이미지들을 제시한 이집트의 랜드마크들을 뷰하기를 희망할 수 있다. 사용자는 또한 적어도 지정된 수의 이미지들을 갖는 랜드마크들만이 디스플레이되도록 지정할 수 있다. 스테이지들(1112-1120)은 사용자 지정 선택 기준들을 만족시키는 각각의 랜드마크에 대해 반복된다. 스테이지(1112)에서, 사용자 지정 선택 기준들을 만족시키는 하나 이상의 랜드마크들이 발견된다. 선택된 각각의 랜드마크에 대해, 스테이지들(1114-1116)은 선택된 랜드마크를 갖는 비주얼 클러스터들을 디스플레이하기 위해 반복된다. 스테이지(1114)에서, 비주얼 클러스터가 선택되고, 스테이지(1116)에서, 비주얼 클러스터를 나타내는 정보(1020)가 디스플레이된다. 예를 들어, 이미지들의 수, 이미지들의 사용자 식별자들 또는 작자들의 수, 클러스터의 이미지들에 대한 액세스를 위한 링크, 다른 액세스 정보 등이 각각의 비주얼 클러스터에 대해 디스플레이될 수 있다. 스테이지(1116)에서 디스플레이되는 각각의 비주얼 클러스터에 대해, 예를 들어, 체크박스(1030) 등의 사용자 입력 그래픽이 사용자 입력을 위해 디스플레이 및 인에이블될 수 있다.
스테이지(1118)에서, 선택된 랜드마크에 대응해서 디스플레이될 비주얼 클러스터가 더 있는지의 여부가 결정된다. 선택된 랜드마크에 대해 디스플레이될 비주얼 클러스터가 더 있으면, 스테이지(1120)에서, 랜드마크에 대한 정보가 디스플레이된다. 예를 들어, 랜드마크의 이름 및 로케이션, 인기, 이미지들의 수 등의 정보가 디스플레이될 수 있다. 스테이지(1120)에서 디스플레이된 각각의 랜드마크에 대해, 대응 사용자 입력 그래픽이 또한 사용자 입력을 위해 디스플레이 및 인에이블될 수 있다. 예를 들어, 도 10에서, 체크박스(1040)는 영역(1010)에 디스플레이된 랜드마크에 대응하는 사용자 입력을 수신할 수 있다. 스테이지(1122)에서, 디스플레이될 추가 랜드마크들이 있는지의 여부가 결정된다. 사용자 지정 선택 기준들을 만족시키는 모든 랜드마크들이 디스플레이되었으면, 스테이지(1124)에서, 비주얼 클러스터들에 대응하는 사용자 입력이 수신된다. 비주얼 클러스터들에 대응하는 사용자 입력은, 예를 들어, 하나 이상의 클러스터들이 병합되거나, 하나 이상의 클러스터들이 선택된 랜드마크와의 관계가 끊어질 것임을 나타낼 수 있다. 스테이지(1126)에서, 비주얼 클러스터들이 처리된다. 스테이지(1128)에서, 각각의 랜드마크에 대응하는 사용자 입력이 수신된다. 각각의 랜드마크에 대응하는 사용자 입력은, 예를 들어, 하나 이상의 랜드마크들이 병합 및/또는 삭제될 것을 나타낼 수 있다.
도 12는 사용자가 선택된 비주얼 클러스터에 대한 정보를 뷰할 수 있는 본 발명의 일 실시예의 사용자 인터페이스(1200)를 도시한다. 인터페이스(1200)는 선택된 비주얼 클러스터를 나타내는 하나 이상의 일례의 이미지들이 디스플레이되는 영역(1210), 비주얼 클러스터의 각각의 이미지의 세부 사항들을 포함하는 데이터 요소들을 나타내는 그룹이 리스팅되어 있는 영역(1220), 및 선택된 이미지가 디스플레이되는 영역(1230)을 포함할 수 있다. 영역(1220)은, 선택된 클러스터의 각각의 이미지에 대해, 체크박스(1222)와 같이, 기술 정보(1224) 및 대응 사용자 입력 그래픽을 포함할 수 있다. 기술 정보(1224)는, 예를 들어, 제한 없이, 대응 이미지를 검색하기 위한 링크, 이미지에 대한 데이터 및 시간 정보, 이미지의 작자 정보, 및 태그 정보를 포함할 수 있다. 영역(1230)은 (1220)에 디스플레이된 리스트로부터 검색된 이미지를 디스플레이할 수 있다. 영역(1230)에서 디스플레이된 이미지는, 예를 들어, 제한 없이, 사용자가 디스플레이된 이미지의 관심 영역(1232)을 뷰할 수 있게 해줄 수 있다. 임의의 이미지의 관심 영역을 확정하는 기능은, 예를 들어, 사용자가 현 클러스터에 있는 특정 이미지의 적합성(suitability)을 양호하게 결정할 수 있게 해줄 수 있다.
도 13은 일 실시예의 인터페이스(1200)와 관련된 프로세싱을 도시한 플로우챠트이다. 스테이지(1310)에서, 비주얼 클러스터를 선택하는 사용자 입력이 수신된다. 스테이지(1312)에서, 선택된 비주얼 클러스터를 나타내는 하나 이상의 이미지들이 선택되어, 예를 들어, 영역(1210)에서 디스플레이된다. 스테이지(1314)에서, 선택된 클러스터의 각각의 이미지에 대한 정보는, 예를 들어, 영역(1220)에서 디스플레이된다. 정보는, 예를 들어, 제한 없이, 대응 이미지를 검색하기 위한 링크, 이미지에 대한 데이터 및 시간 정보, 이미지의 작자 정보, 및 태그 정보를 포함하는 각종 데이터 요소들 각각에 대해 리스팅한다. 예를 들어, 체크박스(1222) 등의 사용자 입력 그래픽이 각각의 리스팅된 이미지에 대해 디스플레이되고 사용자 입력을 위해 인에이블될 수 있다. 스테이지(1316)에서, 사용자 입력이 수신된다. 스테이지(1318)에서, 비주얼 클러스터가 수신된 사용자 입력에 따라 처리된다. 예를 들어, 이미지들이 선택된 클러스터로부터 삭제될 수 있으며, 일부 태그 정보가 변경될 수 있다.
본 발명의 일 실시예에서, 본 발명의 시스템 및 컴포넌트들이 널리 공지된 컴퓨터들을 사용해서 구현된다. 이러한 컴퓨터는, IBM, 애플(Apple), 실리콘 그래픽스(Silicon Graphics Inc.), 썬(Sun), HP, 델(Dell), 컴팩(Compaq), 디지털(Digital), 크레이(Cray) 등으로부터 입수 가능한 컴퓨터들과 같이, 명세서에 기술된 기능들을 실행할 수 있는 임의의 상용화된 널리 공지된 컴퓨터일 수 있다.
제어 로직(소프트웨어)이 저장되어 있는 컴퓨터 사용 가능 또는 판독 가능 매체를 포함하는 임의의 장치 또는 제품은 본 명세서에서 컴퓨터 프로그램 제품 또는 프로그램 기억 장치로서 언급된다. 이는, 컴퓨터, 메인 메모리, 하드 디스크, 또는 리무버블 스토리지 유닛을 포함하지만, 이들로만 제한되지는 않는다. 제어 로직이 저장되어 있는 컴퓨터 프로그램 제품은, 하나 이상의 데이터 프로세싱 디바이스들에 의해 실행될 때, 데이터 프로세싱 디바이스들이 본 발명의 실시예들을 나타내도록 본 명세서에 기술된 바와 같이 작동하도록 야기한다.
요약 및 요약서 섹션들 뿐만 아니라 상세한 설명 섹션도 청구항들을 해석하는데 사용됨을 알 것이다. 요약 및 요약서 섹션들은 발명인(들)에 의해 숙고된 본 발명의 모든 일례의 실시예들이 아니라 일부의 실시예들만을 기술할 수 있어서, 어떠한 방식으로든 본 발명 및 청구항들을 제한하려는 것은 아니다.
본 발명은 지정된 기능들 및 관계들의 구현을 설명하는 기능 생성 블록들과 관련하여 상술되었다. 이러한 기능 생성 블록들의 경계들은 설명을 편리하게 하기 위해 본 명세서에서 독단적으로 정의되었다. 지정된 기능들 및 관계들이 적합하게 실행되는 한, 다른 경계들이 정의될 수 있다.
특정 실시예들의 상술된 설명은 본 기술 분야에 공지된 바를 적용함으로써, 다른 사람들이 실험 없이, 본 발명의 일반적인 개념으로부터 벗어나지 않고, 특정 실시예들 등의 다양한 애플리케이션들에 대해 쉽게 변경 및/또는 개조할 수 있는 본 발명의 일반적인 속성을 충분히 드러낼 것이다. 따라서, 이러한 개조 및 변경은 본 명세서에서 제시된 교시 및 가이드를 기반으로, 기술된 실시예들의 동등물의 의미 및 범위 내에 있다. 본 명세서의 어구(phraseology) 및 용어(terminology)는 설명을 목적으로 한 것으로 제한의 의미가 아니어서, 본 명세서의 용어 또는 어구가 교시 및 가이드의 견지에서 당업자들에 의해 해석될 것임을 알 것이다.
본 발명의 외연(breadth) 및 범위는 상술된 일례의 실시예들 중 어떠한 실시예에 의해서도 제한되지 않으며, 오직 이하의 청구항들 및 그 동등물에 따라서만 정의된다.

Claims (36)

  1. 랜드마크들의 이미지들의 데이터베이스를 차지하고 갱신하는 방법으로서,
    (a) 하나 이상의 지오-클러스터들(geo-clusters)을 생성하기 위해 지리적 근접성(geographic proximity)에 따라 지오-태깅된 이미지들(geo-tagged images)을 지오-클러스터링(geo-clustering)하는 단계와,
    (b) 하나 이상의 비주얼 클러스터들(visual clusters)을 생성하기 위해 이미지 유사성(similarity)에 따라 하나 이상의 지오-클러스터들을 비주얼-클러스터링(visual-clustering)하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 지오-클러스터링 단계는 상기 하나 이상의 지오-클러스터들을 타당성 검사하는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    상기 타당성 검사 단계는 적어도 선정된 수의 연관된 유일한 사용자 식별자들을 갖는 하나 이상의 지오-클러스터들을 선택하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 비주얼-클러스터링 단계는 영역 그래프를 기반으로 비주얼 클러스터들을 선택하는 단계를 포함하는 방법.
  5. 제4항에 있어서,
    상기 영역 그래프는 지오-클러스터의 매칭 이미지들을 기반으로 생성되는 방법.
  6. 제1항에 있어서,
    상기 비주얼 클러스터링은 적어도 하나의 비주얼 클러스터에 대한 텍스트 라벨을 생성하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 적어도 하나의 비주얼 클러스터에 대한 텍스트 라벨은 상기 적어도 하나의 비주얼 클러스터의 개별 이미지들의 텍스트 라벨들을 기반으로 하는 방법.
  8. 제6항에 있어서,
    상기 적어도 하나의 비주얼 클러스터에 대한 텍스트 라벨은 이전 비주얼 클러스터에 이전에 할당된 텍스트 라벨을 기반으로 하며, 상기 이전 비주얼 클러스터는 사용자 할당 텍스트 라벨을 갖는 클러스터인 방법.
  9. 제1항에 있어서,
    (c) 외부 데이터를 수신하는 단계와,
    (d) 상기 외부 데이터를 기반으로 비주얼 클러스터들을 처리하는 단계
    를 더 포함하는 방법.
  10. 제9항에 있어서,
    상기 외부 데이터는 텍스트 태그들을 포함하는 방법.
  11. 제9항에 있어서,
    상기 외부 데이터는 사용자 입력을 포함하는 방법.
  12. 제1항에 있어서,
    (e) 비주얼 클러스터들을 저장하는 단계
    를 더 포함하는 방법.
  13. 디지털 이미지들로부터 랜드마크들을 식별하는 시스템으로서,
    (a) 지오-태깅된 이미지들의 데이터베이스와,
    (b) 랜드마크 데이터베이스와,
    (c) 하나 이상의 지오-클러스터들로 그룹화되는 상기 지오-태깅된 이미지들의 데이터베이스와 통신하는 지오-클러스터링 모듈과,
    (d) 상기 지오-클러스터링 모듈과 통신하는 비주얼 클러스터링 모듈을 포함하며,
    상기 하나 이상의 지오-클러스터들은 하나 이상의 비주얼 클러스터들로 그룹화되고, 비주얼 클러스터 데이터는 상기 랜드마크 데이터베이스에 저장되는 시스템.
  14. 제13항에 있어서,
    상기 랜드마크 데이터베이스는 랜드마크들의 이미지들 및 연관된 텍스트 라벨들을 포함하는 시스템.
  15. 제13항에 있어서,
    (e) 외부 데이터를 수신하는 인터페이스를 더 포함하고,
    상기 외부 데이터는 상기 하나 이상의 비주얼 클러스터들에 대한 태그들을 포함하는 시스템.
  16. 제15항에 있어서,
    상기 외부 데이터는 상기 하나 이상의 비주얼 클러스터들에 대한 이미지들을 더 포함하는 시스템.
  17. 제15항에 있어서,
    상기 인터페이스는 그래픽 사용자 인터페이스인 시스템.
  18. 제13항에 있어서,
    상기 비주얼 클러스터링 모듈은 인기 인덱싱 모듈(popularity indexing module)을 더 포함하는 시스템.
  19. 랜드마크들의 이미지들을 검색하기 위해 사용자 질의들을 강화하는 방법으로서,
    (a) 사용자 질의를 수신하는 단계와,
    (b) 사용자 질의의 하나 이상의 트리거 단어들을 식별하는 단계와,
    (c) 상기 하나 이상의 트리거 단어들에 대응하는 랜드마크 데이터베이스로부터 하나 이상의 대응 태그들을 선택하는 단계와,
    (d) 상기 하나 이상의 대응 태그들로 사용자 질의를 보충해서 보충된 사용자 질의를 생성하는 단계
    를 포함하는 방법.
  20. 제19항에 있어서,
    (e) 상기 보충된 사용자 질의를 기반으로 이미지들을 검색하는 단계를 더 포함하는 방법.
  21. 제20항에 있어서,
    (f) 상기 랜드마크들의 인기에 따라 검색된 이미지들의 순서를 정하는 단계를 더 포함하는 방법.
  22. 제21항에 있어서,
    상기 랜드마크들의 인기는 각각의 랜드마크를 갖는 이미지들과 연관된 유일한 사용자 식별자들의 수를 기반으로 하는 방법.
  23. 새로운 디지털 이미지를 자동으로 태깅하는 방법으로서,
    (a) 상기 새로운 디지털 이미지를 랜드마크 이미지 데이터베이스의 이미지들과 비교하는 단계 - 상기 랜드마크 이미지 데이터베이스는 하나 이상의 랜드마크들의 이미지들의 비주얼 클러스터들을 포함함 - 와,
    (b) 상기 비주얼 클러스터들 중 적어도 하나를 기반으로 적어도 하나의 태그로 상기 새로운 디지털 이미지를 태깅하는 단계
    를 포함하는 방법.
  24. 컴퓨터가 랜드마크들의 이미지들의 데이터베이스를 차지하고 갱신하게 야기하기 위한 제어 로직이 저장되어 있는 컴퓨터 사용 가능 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 제어 로직이
    (a) 컴퓨터가 하나 이상의 지오-클러스터들을 생성하기 위해 지리적 근접성에 따라 지오-태깅된 이미지들을 클러스터링할 수 있게 하는 제1 컴퓨터 판독 가능 프로그램 코드와,
    (b) 컴퓨터가 이미지 유사성에 따라 하나 이상의 지오-클러스터들을 클러스터링할 수 있게 하는 제2 컴퓨터 판독 가능 프로그램 코드
    를 포함하는 컴퓨터 프로그램 제품.
  25. 컴퓨터가 사용자 질의를 강화하게 야기하기 위한 제어 로직이 저장되어 있는 컴퓨터 사용 가능 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 제어 로직이
    (b) 컴퓨터가 상기 사용자 질의의 하나 이상의 트리거 단어들을 식별할 수 있게 하는 제1 컴퓨터 판독 가능 프로그램 코드와,
    (c) 컴퓨터가 상기 하나 이상의 트리거 단어들에 대응하는 랜드마크 데이터베이스로부터 하나 이상의 대응 태그들을 선택할 수 있게 하는 제2 컴퓨터 판독 가능 프로그램 코드와,
    (d) 컴퓨터가 상기 하나 이상의 대응 태그들로 상기 사용자 질의를 보충할 수 있게 하는 제3 컴퓨터 판독 가능 프로그램 코드
    를 포함하는 컴퓨터 프로그램 제품.
  26. 이미지 컬렉션에서 랜드마크들의 이미지들을 유지하는 방법으로서,
    (a) 제1 이미지 집합과 제2 이미지 집합을 선택하는 단계 - 상기 제1 집합 및 상기 제2 집합은 제1 랜드마크 집합의 멤버들임 - 와,
    (b) 제1 리스트 요소 및 제2 리스트 요소를 포함하는 제1 리스트를 디스플레이하는 단계 - 상기 제1 리스트 요소는 상기 제1 이미지 집합 및 제1 입력에 대응하는 제1 기술 데이터 요소를 포함하고, 상기 제2 리스트 요소는 상기 제2 이미지 집합 및 제2 입력에 대응하는 제2 기술 데이터 요소를 포함함 - 와,
    (c) 상기 제1 입력 및 상기 제2 입력의 사용자 입력을 수신하는 단계
    를 포함하는 방법.
  27. 제26항에 있어서,
    (d) 상기 사용자 입력을 기반으로 상기 제1 집합 및 상기 제2 집합을 병합하는 단계를 더 포함하는 방법.
  28. 제26항에 있어서,
    (e) 상기 사용자 입력을 기반으로 상기 제1 랜드마크 집합으로부터 상기 제1 집합을 제거하는 단계를 더 포함하는 방법.
  29. 제26항에 있어서,
    상기 제1 기술 데이터 요소들은 적어도 하나의 사용자-항행 가능 링크(user-navigable link)를 포함하는 방법.
  30. 제26항에 있어서,
    상기 선택 단계는 선택 기준을 기반으로 하며, 상기 선택 기준은 사용자 지정 선택 기준을 포함하는 방법.
  31. 제30항에 있어서,
    상기 선택 기준은 랜드마크 인기를 포함하는 방법.
  32. 컴퓨터가 이미지 컬렉션에서 랜드마크들의 이미지들을 유지하게 야기하기 위한 제어 로직이 저장되어 있는 컴퓨터 사용 가능 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 제어 로직이
    (a) 컴퓨터가 제1 이미지 집합과 제2 이미지 집합을 선택할 수 있게 하는 제1 컴퓨터 판독 가능 프로그램 코드 - 상기 제1 집합 및 상기 제2 집합은 제1 랜드마크 집합의 멤버들임 - 와,
    (b) 컴퓨터가 제1 리스트 요소 및 제2 리스트 요소를 포함하는 제1 리스트를 디스플레이링할 수 있게 하는 제2 컴퓨터 판독 가능 프로그램 코드 - 상기 제1 리스트 요소는 상기 제1 이미지 집합 및 제1 입력에 대응하는 제1 기술 데이터 요소를 포함하고, 상기 제2 리스트 요소는 상기 제2 이미지 집합 및 제2 입력에 대응하는 제2 기술 데이터 요소를 포함함 - 와,
    (c) 컴퓨터가 상기 제1 입력 및 상기 제2 입력의 사용자 입력을 수신할 수 있게 하는 제3 컴퓨터 판독 가능 프로그램 코드
    를 포함하는 컴퓨터 프로그램 제품.
  33. 이미지 컬렉션에서 랜드마크들의 이미지들을 유지하는 방법으로서,
    (a) 적어도 하나의 일례의 이미지를 디스플레이하는 단계 - 상기 일례의 이미지는 제1 집합에 포함되고, 상기 제1 집합은 제1 랜드마크를 갖는 이미지들을 포함함 - 와,
    (b) 하나 이상의 기술 데이터 그룹들을 디스플레이하는 단계 - 각각의 기술 데이터 그룹은 관련 사용자 입력을 포함하고, 각각의 기술 데이터 그룹은 상기 제1 집합의 하나의 이미지에 대응함 -
    를 포함하는 방법.
  34. 제33항에 있어서,
    (c) 사용자 입력을 수신하는 단계 - 사용자 입력은 제1 이미지의 선택을 나타내고, 상기 제1 이미지는 상기 적어도 하나의 일례의 이미지 중 하나임 - 와,
    (d) 상기 제1 이미지에서의 관심 경계 영역을 디스플레이하는 단계 - 상기 관심 경계 영역은 상기 제1 랜드마크를 포함함 -
    를 더 포함하는 방법.
  35. 제33항에 있어서,
    (e) 하나 이상의 기술 데이터 그룹들의 관련 사용자 입력 그래픽에서 사용자 입력을 수신하는 단계와,
    (f) 상기 사용자 입력을 기반으로 상기 제1 집합으로부터 적어도 하나의 이미지를 제거하는 단계
    를 더 포함하는 방법.
  36. 컴퓨터가 이미지 컬렉션에서 랜드마크들의 이미지들을 유지하게 야기하기 위한 제어 로직이 저장되어 있는 컴퓨터 사용 가능 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 제어 로직이
    (a) 컴퓨터가 적어도 하나의 일례의 이미지를 디스플레이할 수 있게 하는 제1 컴퓨터 판독 가능 프로그램 코드 - 상기 일례의 이미지는 제1 집합에 포함되고, 상기 제1 집합은 제1 랜드마크를 갖는 이미지들을 포함함 - 와,
    (b) 컴퓨터가 하나 이상의 기술 데이터 그룹들을 디스플레이할 수 있게 하는 제2 컴퓨터 판독 가능 프로그램 코드 - 각각의 기술 데이터 그룹은 관련 사용자 입력을 포함하고, 각각의 기술 데이터 그룹은 상기 제1 집합의 하나의 이미지에 대응함 -
    를 포함하는 컴퓨터 프로그램 제품.
KR1020107027837A 2008-05-12 2009-05-12 인기 있는 랜드마크의 자동 발견 KR101579634B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/119,359 US8676001B2 (en) 2008-05-12 2008-05-12 Automatic discovery of popular landmarks
US12/119,359 2008-05-12

Publications (2)

Publication Number Publication Date
KR20110016936A true KR20110016936A (ko) 2011-02-18
KR101579634B1 KR101579634B1 (ko) 2016-01-05

Family

ID=41266941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107027837A KR101579634B1 (ko) 2008-05-12 2009-05-12 인기 있는 랜드마크의 자동 발견

Country Status (5)

Country Link
US (4) US8676001B2 (ko)
JP (2) JP5476369B2 (ko)
KR (1) KR101579634B1 (ko)
CN (2) CN102089761B (ko)
WO (1) WO2009139844A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721188B2 (en) 2009-05-15 2017-08-01 Google Inc. Landmarks from digital photo collections
KR102310446B1 (ko) * 2020-12-31 2021-10-07 (주)트레블씨투비 심층학습모델을 기초로 위치 변화에 무관하게 랜드 마크를 식별하기 위한 장치 및 이를 위한 방법

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170286434A1 (en) * 2005-10-26 2017-10-05 Cortica, Ltd. System and method for signature-based clustering of multimedia content elements
US8525825B2 (en) 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
KR101659097B1 (ko) * 2008-04-14 2016-09-22 티피 비전 홀딩 비.브이. 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US9646025B2 (en) * 2008-05-27 2017-05-09 Qualcomm Incorporated Method and apparatus for aggregating and presenting data associated with geographic locations
EP2297703A1 (en) * 2008-06-03 2011-03-23 ETH Zurich Method and system for generating a pictorial reference database using geographical information
JP2009301416A (ja) * 2008-06-16 2009-12-24 Kddi Corp コンテンツ分類装置、コンテンツ検索装置、コンテンツ検索システム及びコンピュータプログラム
US8788493B2 (en) 2008-06-30 2014-07-22 Verizon Patent And Licensing Inc. Digital image tagging apparatuses, systems, and methods
TWI390177B (zh) * 2008-11-24 2013-03-21 Inst Information Industry 景點推薦裝置和方法以及儲存媒體
JP5268787B2 (ja) * 2009-06-04 2013-08-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8768313B2 (en) 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US20110184949A1 (en) * 2010-01-25 2011-07-28 Jiebo Luo Recommending places to visit
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US9465993B2 (en) 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US20110292230A1 (en) 2010-05-28 2011-12-01 Winters Dustin L Method for managing privacy of digital images
US9703895B2 (en) * 2010-06-11 2017-07-11 Microsoft Technology Licensing, Llc Organizing search results based upon clustered content
US20110310088A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Personalized navigation through virtual 3d environments
US8385593B2 (en) * 2010-06-18 2013-02-26 Google Inc. Selecting representative images for establishments
US8270684B2 (en) 2010-07-27 2012-09-18 Google Inc. Automatic media sharing via shutter click
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
US8581997B2 (en) 2010-10-28 2013-11-12 Intellectual Ventures Fund 83 Llc System for locating nearby picture hotspots
US8442716B2 (en) 2010-10-31 2013-05-14 Microsoft Corporation Identifying physical locations of entities
CN103314395B (zh) * 2010-11-01 2016-09-28 寇博租赁有限公司 创建、连接和显示三维空间物体的方法
US8655889B2 (en) * 2010-12-10 2014-02-18 Microsoft Corporation Autonomous mobile blogging
US8566325B1 (en) 2010-12-23 2013-10-22 Google Inc. Building search by contents
US8533187B2 (en) * 2010-12-23 2013-09-10 Google Inc. Augmentation of place ranking using 3D model activity in an area
US9542471B2 (en) * 2010-12-30 2017-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Method of building a geo-tree
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
US10453226B1 (en) * 2011-07-26 2019-10-22 Google Llc Presenting information on a map
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US9165206B2 (en) * 2011-12-12 2015-10-20 Google Inc. Updating point of interest data based on an image
CN103164480A (zh) * 2011-12-13 2013-06-19 北京千橡网景科技发展有限公司 用于在社交网络中推荐兴趣点的方法和设备
CN103207879B (zh) 2012-01-17 2016-03-30 阿里巴巴集团控股有限公司 图像索引的生成方法及设备
CN103294712B (zh) * 2012-02-29 2016-09-21 三星电子（中国）研发中心 实时热点区域推荐系统和方法
JP2013207357A (ja) * 2012-03-27 2013-10-07 Sony Corp サーバ、クライアント端末、システムおよびプログラム
US8996305B2 (en) * 2012-06-07 2015-03-31 Yahoo! Inc. System and method for discovering photograph hotspots
US9020278B2 (en) * 2012-06-08 2015-04-28 Samsung Electronics Co., Ltd. Conversion of camera settings to reference picture
US9391792B2 (en) 2012-06-27 2016-07-12 Google Inc. System and method for event content stream
CN103577400A (zh) * 2012-07-18 2014-02-12 三星电子（中国）研发中心 一种提供地点信息的方法及系统
US9036865B2 (en) * 2012-09-12 2015-05-19 International Business Machines Corporation Location determination for an object using visual data
US20140072226A1 (en) * 2012-09-13 2014-03-13 International Business Machines Corporation Searching and Sorting Image Files
US9677886B2 (en) * 2013-02-10 2017-06-13 Qualcomm Incorporated Method and apparatus for navigation based on media density along possible routes
US9230191B2 (en) * 2013-03-15 2016-01-05 Dropbox, Inc. Presentation and organization of content
US9076079B1 (en) 2013-03-15 2015-07-07 Google Inc. Selecting photographs for a destination
EP2782058A1 (en) * 2013-03-20 2014-09-24 Valuetainment AG Information system to obtain an exposition rating of a geographical area
US9465513B2 (en) * 2013-04-11 2016-10-11 General Electric Company Visual representation of map navigation history
CN103198162B (zh) * 2013-04-28 2016-08-31 冠捷显示科技（厦门）有限公司 一种图像浏览交互方法
CN103488769B (zh) * 2013-09-27 2017-06-06 中国科学院自动化研究所 一种基于多媒体数据挖掘的地标信息检索方法
US9069794B1 (en) * 2013-10-11 2015-06-30 Google Inc. Determining location information for images using landmark, caption, and metadata location data
US9531722B1 (en) 2013-10-31 2016-12-27 Google Inc. Methods for generating an activity stream
US9542457B1 (en) 2013-11-07 2017-01-10 Google Inc. Methods for displaying object history information
US9614880B1 (en) 2013-11-12 2017-04-04 Google Inc. Methods for real-time notifications in an activity stream
US10242080B1 (en) * 2013-11-20 2019-03-26 Google Llc Clustering applications using visual metadata
US9471834B1 (en) * 2013-11-22 2016-10-18 Google Inc. System and method for updating map views
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US9509772B1 (en) 2014-02-13 2016-11-29 Google Inc. Visualization and control of ongoing ingress actions
WO2015134364A1 (en) * 2014-03-04 2015-09-11 Google Inc. Schematic representation of geographic locations
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
CN105338479B (zh) 2014-06-09 2020-03-10 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
US9536199B1 (en) 2014-06-09 2017-01-03 Google Inc. Recommendations based on device usage
US9507791B2 (en) 2014-06-12 2016-11-29 Google Inc. Storage system user interface with floating file collection
US10078781B2 (en) 2014-06-13 2018-09-18 Google Llc Automatically organizing images
US9870420B2 (en) 2015-01-19 2018-01-16 Google Llc Classification and storage of documents
US9495614B1 (en) 2015-02-27 2016-11-15 Google Inc. Verifying labels for images using image recognition
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
RU2015111646A (ru) * 2015-03-31 2016-10-20 Общество С Ограниченной Ответственностью "Яндекс" Система и способ ранжирования точек интереса с использованием фоторейтинга
RU2015125820A (ru) 2015-06-30 2017-01-10 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер обработки пользовательского запроса на предоставление рекомендованной области интереса
US10467284B2 (en) 2015-08-03 2019-11-05 Google Llc Establishment anchoring with geolocated imagery
US10169659B1 (en) * 2015-09-24 2019-01-01 Amazon Technologies, Inc. Video summarization using selected characteristics
US10476827B2 (en) 2015-09-28 2019-11-12 Google Llc Sharing images and image albums over a communication network
KR102465332B1 (ko) * 2015-12-29 2022-11-11 에스케이플래닛 주식회사 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10235623B2 (en) * 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search
US10664719B2 (en) 2016-02-12 2020-05-26 Adobe Inc. Accurate tag relevance prediction for image search
TWI626428B (zh) * 2016-03-29 2018-06-11 群邁通訊股份有限公司 路線規劃系統及方法
US10007867B2 (en) * 2016-04-04 2018-06-26 Google Llc Systems and methods for identifying entities directly from imagery
US10628463B2 (en) * 2016-04-07 2020-04-21 Adobe Inc. Applying geo-tags to digital media captured without location information
CN106528807A (zh) * 2016-11-15 2017-03-22 杭州壹晨仟阳科技有限公司 地标注册方法、装置、设备以及地标查询方法和装置
CN106991404B (zh) * 2017-04-10 2019-06-28 山东师范大学 基于众源地理数据的地表覆盖更新方法及系统
CN110770717B (zh) 2017-05-17 2024-04-16 谷歌有限责任公司 通过通信网络与指定用户的自动图像共享
JPWO2019082606A1 (ja) * 2017-10-24 2019-11-14 パナソニックＩｐマネジメント株式会社 コンテンツ管理機器、コンテンツ管理システム、および、制御方法
CN109725980B (zh) * 2017-10-27 2023-05-16 伊姆西Ip控股有限责任公司 生成镜像标签的方法、设备以及计算机可读介质
US11232115B2 (en) * 2018-04-11 2022-01-25 Nokia Technologies Oy Identifying functional zones within a geographic region
CN108829801B (zh) * 2018-06-06 2020-11-20 大连理工大学 一种基于文档级别注意力机制的事件触发词抽取方法
CN109255365B (zh) * 2018-07-26 2021-09-28 河海大学 一种基于K-medoids算法的地理适宜性分类方法
US10740400B2 (en) * 2018-08-28 2020-08-11 Google Llc Image analysis for results of textual image queries
CN109583484B (zh) * 2018-11-14 2022-04-05 西北工业大学 一种三类海域地标点自动选取方法
CN111209419B (zh) * 2018-11-20 2023-09-19 浙江宇视科技有限公司 一种图像数据存储的方法及装置
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
US10887531B2 (en) 2019-03-27 2021-01-05 Rovi Guides, Inc. Replacing a background portion of an image
US10944921B2 (en) 2019-03-27 2021-03-09 Rovi Guides, Inc. Replacing a background portion of an image
US11025837B2 (en) 2019-03-27 2021-06-01 ROVl GUIDES, INC. Replacing a background portion of an image
WO2020198677A1 (en) * 2019-03-27 2020-10-01 Rovi Guides, Inc. Replacing a background portion of an image
US10848920B1 (en) * 2019-09-17 2020-11-24 Microsoft Technology Licensing, Llc Generation of precise geospatial coordinates
US11182612B2 (en) * 2019-10-28 2021-11-23 The Chinese University Of Hong Kong Systems and methods for place recognition based on 3D point cloud
CN111325249B (zh) * 2020-02-10 2022-05-17 上海携旅信息技术有限公司 图像应季判别方法、系统、电子设备和介质
CN113435443B (zh) * 2021-06-28 2023-04-18 中国兵器装备集团自动化研究所有限公司 一种从视频中自动识别地标的方法
CN114626483A (zh) * 2022-03-30 2022-06-14 北京爱奇艺科技有限公司 一种地标图像生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
JP2004021717A (ja) * 2002-06-18 2004-01-22 Toshiba Corp 空間データ分析装置、空間データ分析プログラムおよび空間データ分析方法

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168855A (ja) 1993-09-21 1995-07-04 Toshiba Corp 情報記録再生装置
JP3307843B2 (ja) 1996-10-30 2002-07-24 松下電器産業株式会社 ハイパーテキスト構造における地図表示装置
DE69910757T2 (de) 1998-04-13 2004-06-17 Eyematic Interfaces, Inc., Santa Monica Wavelet-basierte gesichtsbewegungserfassung für avataranimation
JPH11328194A (ja) * 1998-05-13 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> キーワード検索方法及び装置及びキーワード検索プログラムを格納した記憶媒体
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2000259669A (ja) 1999-03-12 2000-09-22 Ntt Data Corp 文書分類装置及びその方法
US6411724B1 (en) 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US7233942B2 (en) 2000-10-10 2007-06-19 Truelocal Inc. Method and apparatus for providing geographically authenticated electronic documents
JP3437555B2 (ja) 2001-03-06 2003-08-18 キヤノン株式会社 特定点検出方法及び装置
GB0114271D0 (en) 2001-06-12 2001-08-01 Univ Manchester Parameterisation
KR20030059403A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 멀티미디어 검색방법 및 장치
US7911497B2 (en) * 2003-04-25 2011-03-22 Lockheed Martin Corporation Method and apparatus for video on demand
JP4388301B2 (ja) * 2003-05-08 2009-12-24 オリンパス株式会社 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体
US20060155761A1 (en) * 2003-06-30 2006-07-13 Van De Sluis Bartel M Enhanced organization and retrieval of digital images
US7313574B2 (en) 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
WO2005055138A2 (en) * 2003-11-26 2005-06-16 Yesvideo, Inc. Statical modeling of a visual image for use in determining similarity between visual images
US20060020597A1 (en) * 2003-11-26 2006-01-26 Yesvideo, Inc. Use of image similarity in summarizing a collection of visual images
US20060015497A1 (en) * 2003-11-26 2006-01-19 Yesvideo, Inc. Content-based indexing or grouping of visual images, with particular use of image similarity to effect same
US7697792B2 (en) * 2003-11-26 2010-04-13 Yesvideo, Inc. Process-response statistical modeling of a visual image for use in determining similarity between visual images
DE102004046563B4 (de) * 2004-09-24 2008-01-03 Aerodyn Energiesysteme Gmbh Windenergieanlage mit vollintegriertem Maschinensatz
US7707239B2 (en) 2004-11-01 2010-04-27 Scenera Technologies, Llc Using local networks for location information and image tagging
US7574409B2 (en) 2004-11-04 2009-08-11 Vericept Corporation Method, apparatus, and system for clustering and classification
US7653249B2 (en) 2004-11-17 2010-01-26 Eastman Kodak Company Variance-based event clustering for automatically classifying images
US7643686B2 (en) * 2004-11-17 2010-01-05 Eastman Kodak Company Multi-tiered image clustering by event
US8027832B2 (en) 2005-02-11 2011-09-27 Microsoft Corporation Efficient language identification
US8732175B2 (en) 2005-04-21 2014-05-20 Yahoo! Inc. Interestingness ranking of media objects
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US7353114B1 (en) * 2005-06-27 2008-04-01 Google Inc. Markup language for an interactive geographic information system
WO2007013432A1 (ja) 2005-07-26 2007-02-01 Matsushita Electric Industrial Co., Ltd. 画像データ管理装置および画像データ管理方法
US7840558B2 (en) 2005-11-04 2010-11-23 Microsoft Corporation Geo-tagged based listing service and mapping engine
JP2007142672A (ja) 2005-11-16 2007-06-07 Fujifilm Corp 画像分類装置及び方法、並びにデジタルカメラ
US8098899B2 (en) * 2005-11-14 2012-01-17 Fujifilm Corporation Landmark search system for digital camera, map data, and method of sorting image data
US7663671B2 (en) 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
JP2007179368A (ja) * 2005-12-28 2007-07-12 Mekiki Creates Co Ltd 画像編集支援システムとその装置、方法、及びプログラム
EP1816836A3 (en) 2005-12-30 2010-01-13 LG Electronics Inc. Apparatus and method for managing images of mobile terminal
JP2007194948A (ja) * 2006-01-19 2007-08-02 Fujifilm Corp 画像編集装置及び画像編集プログラム
US7725451B2 (en) * 2006-01-23 2010-05-25 Microsoft Corporation Generating clusters of images for search results
JP4671235B2 (ja) 2006-01-26 2011-04-13 田岡化学工業株式会社 フルオレン誘導体の製造方法
KR100641791B1 (ko) 2006-02-14 2006-11-02 (주)올라웍스 디지털 데이터에 대한 태깅 방법 및 시스템
US20070208776A1 (en) 2006-03-06 2007-09-06 Microsoft Corporation Assignment of metadata
JP2007316876A (ja) 2006-05-25 2007-12-06 Hitachi Ltd 文書検索プログラム
US8015183B2 (en) * 2006-06-12 2011-09-06 Nokia Corporation System and methods for providing statstically interesting geographical information based on queries to a geographic search engine
JP2007334505A (ja) 2006-06-13 2007-12-27 Mitsubishi Electric Corp 施設検索システムならびにこれに用いられる移動体端末およびサーバ
US7739221B2 (en) * 2006-06-28 2010-06-15 Microsoft Corporation Visual and multi-dimensional search
JP2008033399A (ja) 2006-07-26 2008-02-14 Fujifilm Corp 情報提供システム
US7657504B2 (en) 2006-10-10 2010-02-02 Microsoft Corporation User interface for displaying images of sights
US7707208B2 (en) * 2006-10-10 2010-04-27 Microsoft Corporation Identifying sight for a location
WO2008055120A2 (en) 2006-10-30 2008-05-08 Seeqpod, Inc. System and method for summarizing search results
US8037051B2 (en) * 2006-11-08 2011-10-11 Intertrust Technologies Corporation Matching and recommending relevant videos and media to individual search engine results
US20080118160A1 (en) * 2006-11-22 2008-05-22 Nokia Corporation System and method for browsing an image database
JP4891740B2 (ja) 2006-11-22 2012-03-07 株式会社日立製作所 コンテンツ検索装置及びコンテンツ検索方法
JP2008165303A (ja) 2006-12-27 2008-07-17 Fujifilm Corp コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム
JP4672692B2 (ja) 2007-03-14 2011-04-20 株式会社東芝 単語認識システムおよび単語認識プログラム
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8155399B2 (en) 2007-06-12 2012-04-10 Utc Fire & Security Corporation Generic face alignment via boosting
WO2008152805A1 (ja) 2007-06-14 2008-12-18 Panasonic Corporation 画像認識装置及び画像認識方法
US20080320036A1 (en) 2007-06-22 2008-12-25 Winter Gentle E Automatic data collection
US7870227B2 (en) 2007-07-31 2011-01-11 Yahoo! Inc. System and method for merging internet protocol address to location data from multiple sources
US10318110B2 (en) 2007-08-13 2019-06-11 Oath Inc. Location-based visualization of geo-referenced context
US20080104040A1 (en) * 2007-09-26 2008-05-01 Ramakrishna Krishnamsetty C Visually intuitive search method
US9612126B2 (en) * 2007-12-03 2017-04-04 Nokia Technologies Oy Visual travel guide
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8019536B2 (en) * 2007-12-28 2011-09-13 At&T Intellectual Property I, L.P. Methods, devices, and computer program products for geo-tagged photographic image augmented GPS navigation
US7925653B2 (en) * 2008-02-27 2011-04-12 General Electric Company Method and system for accessing a group of objects in an electronic document
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US20090292685A1 (en) * 2008-05-22 2009-11-26 Microsoft Corporation Video search re-ranking via multi-graph propagation
US8086048B2 (en) * 2008-05-23 2011-12-27 Yahoo! Inc. System to compile landmark image search results
US8126249B2 (en) 2008-05-30 2012-02-28 Optasia Medical Limited Methods of and system for detection and tracking of osteoporosis
US20100076976A1 (en) 2008-09-06 2010-03-25 Zlatko Manolov Sotirov Method of Automatically Tagging Image Data
US8037011B2 (en) 2008-09-15 2011-10-11 Motorola Mobility, Inc. Method and apparatus for recommending content items
US20100205176A1 (en) * 2009-02-12 2010-08-12 Microsoft Corporation Discovering City Landmarks from Online Journals
US8483715B2 (en) 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
US8396287B2 (en) 2009-05-15 2013-03-12 Google Inc. Landmarks from digital photo collections

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
JP2004021717A (ja) * 2002-06-18 2004-01-22 Toshiba Corp 空間データ分析装置、空間データ分析プログラムおよび空間データ分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
knnedy et al., Generating Diverse and Representative Image Search, WWW2008, April 21-25, 2008 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721188B2 (en) 2009-05-15 2017-08-01 Google Inc. Landmarks from digital photo collections
KR102310446B1 (ko) * 2020-12-31 2021-10-07 (주)트레블씨투비 심층학습모델을 기초로 위치 변화에 무관하게 랜드 마크를 식별하기 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
US20150213057A1 (en) 2015-07-30
CN102089761A (zh) 2011-06-08
JP2014081964A (ja) 2014-05-08
JP2011520208A (ja) 2011-07-14
US9483500B2 (en) 2016-11-01
JP5766830B2 (ja) 2015-08-19
WO2009139844A3 (en) 2010-04-15
CN104298710A (zh) 2015-01-21
US10289643B2 (en) 2019-05-14
US20090279794A1 (en) 2009-11-12
KR101579634B1 (ko) 2016-01-05
WO2009139844A2 (en) 2009-11-19
US20130138685A1 (en) 2013-05-30
CN104298710B (zh) 2018-05-18
US20170024415A1 (en) 2017-01-26
CN102089761B (zh) 2014-10-15
US8676001B2 (en) 2014-03-18
US9014511B2 (en) 2015-04-21
JP5476369B2 (ja) 2014-04-23

Similar Documents

Publication Publication Date Title
US10289643B2 (en) Automatic discovery of popular landmarks
US10482122B2 (en) System and method for multiresolution and multitemporal image search
CN111694965B (zh) 一种基于多模态知识图谱的图像场景检索系统及方法
Cao et al. Aworldwide tourism recommendation system based on geotaggedweb photos
US8873857B2 (en) Mobile image search and indexing system and method
US9179192B1 (en) Associating video content with geographic maps
JP5608680B2 (ja) モバイルの画像検索及びインデキシングのシステム及び方法
EP2140377A1 (en) Method, apparatus and computer program product for determining relevance and/or ambiguity in a search system
CN113190645B (zh) 一种索引结构建立方法、装置、设备及存储介质
Ji et al. When location meets social multimedia: A survey on vision-based recognition and mining for geo-social multimedia analytics
US8533196B2 (en) Information processing device, processing method, computer program, and integrated circuit
Tahmasebzadeh et al. Geowine: Geolocation based wiki, image, news and event retrieval
Ardizzone et al. Extracting touristic information from online image collections
GENTILE Using Flickr geotags to find similar tourism destinations
Deeksha et al. A spatial clustering approach for efficient landmark discovery using geo-tagged photos
Zhang et al. Tap-to-search: Interactive and contextual visual search on mobile devices
Packer et al. Semantically tagging images of landmarks
Ardizzone et al. Automatic Generation of Custom Tourist Routes
Li et al. Geospatial Information
Ennis et al. Evaluation Of MediaPlace: a geospatial semantic enrichment system for photographs
Skjønsberg Ranking Mechanisms for Image Retrieval based on Coordinates, Perspective, and Area
Papatheodorou et al. UGCS authoring environments D4.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181206

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191211

Year of fee payment: 5