KR101190395B1 - 모바일 디바이스에 의해 기록된 이미지 콘텐츠에 기초한 데이터 액세스 - Google Patents

모바일 디바이스에 의해 기록된 이미지 콘텐츠에 기초한 데이터 액세스 Download PDF

Info

Publication number
KR101190395B1
KR101190395B1 KR1020107028223A KR20107028223A KR101190395B1 KR 101190395 B1 KR101190395 B1 KR 101190395B1 KR 1020107028223 A KR1020107028223 A KR 1020107028223A KR 20107028223 A KR20107028223 A KR 20107028223A KR 101190395 B1 KR101190395 B1 KR 101190395B1
Authority
KR
South Korea
Prior art keywords
image
information
data
mobile device
previously obtained
Prior art date
Application number
KR1020107028223A
Other languages
English (en)
Other versions
KR20110015438A (ko
Inventor
아룬 라만우자푸람
말콤 슬라니
Original Assignee
야후! 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 야후! 인크. filed Critical 야후! 인크.
Publication of KR20110015438A publication Critical patent/KR20110015438A/ko
Application granted granted Critical
Publication of KR101190395B1 publication Critical patent/KR101190395B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 실시예들은 하나 이상의 이전에 얻어진 이미지들에 기초하여 장면에 관한 정보를 결정하기 위해 이미지 데이터 및 문맥 데이터를 사용하는 것에 관한 것이다. 이미지 캡처의 위치 같은 문맥 데이터를 사용하여, 문맥 데이터 및 게시판 위치들과 같은 다른 위치 관련 정보와 연관된 이전에 얻어진 이미지들을 결정할 수 있다. 심지어 셀 전화와 같은 저해상도 디바이스더라도, 히스토그램 또는 광학적으로 인식된 문자들과 같은 이미지 속성들은 이전에 얻어진 이미지들과 새롭게 캡처된 이미지 간에 비교될 수 있다. 미리 정한 임계값 내에서 매칭하는 속성들은 정합 이미지들을 나타낸다. 이전에 얻어진 이미지들과 정합하는 콘텐츠 상의 정보가 새로운 이미지를 캡처한 사용자에게 다시 제공될 수 있다. 사용자 프로파일 데이터는 콘텐츠 정보를 개량할 수 있다. 콘텐츠 정보는 추가의 검색 또는 다른 프로세싱을 위해 검색 용어들로서 사용될 수 있다.

Description

모바일 디바이스에 의해 기록된 이미지 콘텐츠에 기초한 데이터 액세스{DATA ACCESS BASED ON CONTENT OF IMAGE RECORDED BY A MOBILE DEVICE}
<관련 출원의 상호 참조>
본 출원은 2008년 5월 15일 출원된 미국 특허 출원 제12/121,259호를 우선권 주장하고, 그 전체가 참고로 본원에 포함된다.
본 발명은 이미징(imaging)에 기초하여 정보를 액세스하는 것에 관한 것이며, 특히, 인접 위치 같은 유사한 문맥 상관 요소를 갖는 다중 이미지들을 이용하여 이미지의 콘텐츠에 연관된 정보를 결정하는 것에 관한 것이다.
모바일 전화로 또는 다른 모바일 디바이스들로 정보를 얻는 것은 어렵다. 정보를 입력한다는 것은 작은 키들 상을 타이핑하여 검색 윈도우에 소규모의 워드들의 세트를 입력하는 것을 포함한다. 이것은 URL(uniform resource locator)들에 필요한 특별한 문자들 및 다른 특정 데이터를 타이핑할 때 더 어렵다. 타이핑하는 것 대신에, 몇몇 모바일 디바이스들은 사용자로 하여금 음성 커맨드들을 입력하도록 할 수 있다. 그러나, 음성 커맨드들의 수 및 유형은 일반적으로 매우 제한되어 있다. 이들 모바일 디바이스들이 음성 커맨드들로부터 특정 문자들을 해석(interpret)하는 것 또한 어렵다.
또한, 사용자들은 종종 자신들이 보는 것들에 연관된 정보에 관심이 있는데, 그들이 보는 것들은 음성 커맨드들 또는 오디오 입력으로 기술하는 것이 어렵다. 많은 모바일 디바이스들은 요즘 디지털 카메라를 포함한다. 모바일 디바이스 사용자들은 전형적으로 이미지를 캡처할 수 있고, 이미지를 다운로드하고/하거나 메시지 내의 이미지를 다른 컴퓨팅 디바이스에게 통신할 수 있다. 이들 카메라는 종종 키보드보다 값이 싸지만, 종종 3백만 화소 이하와 같은 저해상도를 가진다. 이들 저해상도 가메라들은 종종 객체 인식에 일반적으로 적합하지 않다.
본 발명의 비-제한적이고, 비-배타적인 실시예들 다음의 도면들을 참조하여 개시된다. 도면에서, 동일한 참조 번호들은 달리 지정되지 않는 한 다양한 도면에 걸쳐 동일한 부분을 나타낸다.
본 발명을 더 잘 이해하기 위해, 부가된 도면과 함께 연계되어 기술되는 다음의 상세한 설명을 참조한다.
도 1은 본 발명이 실시될 수 있는 예시적 시스템의 일 실시예의 도면.
도 2는 예시적 모바일 디바이스의 일 실시예의 개략도.
도 3은 예시적 네트워크 디바이스의 일 실시예의 개략도.
도 4는 캡처된 이미지에 기초하여 이미지-관련 정보를 결정하고 처리하기 위한 예시적인 전체 로직의 순서도.
도 5는 캡처된 이미지에 기초하여 검색 용어들 및 결과들을 결정하기 위한 예시적 로직의 순서도.
본 발명은 이제 첨부 도면을 참조하여 이하 더 상세히 기술되고, 첨부 도면은 일부를 구성하고, 설명을 위해 본 발명이 실시될 수 있는 특정 예시적인 실시예를 도시한다. 그러나, 본 발명은 다수의 다양한 형태로 구현될 수 있고, 여기 개시된 실시예로 한정되는 것으로 해석되어서는 안되며, 이들 실시예들은 본 발명이 전체적으로 완성되고, 당업자에게 본 발명의 범주를 완전하게 전달하도록 제공된다. 무엇보다도 특히, 본 발명은 방법들 또는 디바이스들로 구현될 수 있다. 따라서, 본 발명은 전적인 하드웨어 실시예, 또는 소프트웨어와 하드웨어 양태들을 결합한 실시예의 형태를 취할 수 있다. 따라서, 다음의 상세한 설명은 제한적인 의미로 해석되어서는 안된다.
명세서 및 특허청구범위에 걸쳐, 다음의 용어들은 문맥이 명확하게 다른 것을 지시하지 않는 한, 명백하게 여기서 관련된 의미를 나타낸다. 여기서 이용된 용어 "일 실시예에서"는 그렇게 보일지라도 반드시 동일한 실시예를 나타내는 것은 아니다. 또한, 여기서 이용된 용어 "다른 실시예에서"는 그렇게 보일지라도 반드시 상이한 실시예를 나타내는 것은 아니다. 따라서, 이하 기술되는 바와 같이, 본 발명의 다양한 실시예는 본 발명의 범주 또는 사상을 벗어남이 없이, 용이하게 조합될 수 있다.
또한, 여기서 이용된 용어 "또는(or)"은 포괄적인 "또는" 오퍼레이터를 포함하는 것이고, 문맥이 명확하게 다른 것을 지시하지 않는 한, 용어 "및/또는"과 균등한 것이다. 용어 "기초하여"는 문맥이 명확하게 다른 것을 지시하지 않는 한, 배타적인 것이 아니고, 기술되지 않은 부가적인 팩터들에 기초하는 것을 허용한다. 또한, 명세서 전체에 걸쳐, "a", "an", 및 "the"의 의미는 복수 참조를 포함한다. "내에(in)"의 의미는 "내에(in)" 및 "상에(on)"를 포함한다.
간략히 설명하면, 본 발명의 실시예들은 이미제 데이터 및 문맥 데이터를 사용하여 장면(scene)에 관한 정보를 결정하는 것에 관한 것이다. 콘텐츠 정보는 사용자에게 직접적으로 액세스되고 리턴될 수 있고, 다른 프로세스들에게 입력으로서 검색 용어들로 사용될 수 있거나, 또는 다른 목적들을 위해 사용될 수 있다. 캡처된 이미지 데이터, 이전 이미지 분석 데이터, 프로파일 데이터, 및 다수의 사용자들로부터 수집된 다른 데이터는 캡처된 이미지의 주요 과제(subject matter) 및 사용자가 가장 원할 것 같은 정보를 양호하게 결정하는데 사용된다. 고해상도 이미지들 및 복잡한 이미지 처리 기술들에 의존하기보다는, 이미지들 및 위치들에 연관된 데이터의 다양한 형태들의 수집(collection)이 커뮤니티-기반 인식으로서 사용된다.
이미지 데이터는 동일 위치에 가까운 하나 이상의 이미지들을 포함할 수 있다. 이미지들은 상이한 카메라들 또는 다른 디바이스들을 갖는 많은 상이한 사용자들에 의해 취해질 수 있다. 이미지(들)는 로고들, 랜드마크들 등과 같은 비텍스트(non-text) 정보를 포함할 수 있다. 부가하여, 또는 대안으로, 이미지(들)는 사인, 게시판 등 상의 문자열들과 같은 텍스트 정보를 포함할 수 있다. 문맥 데이터(contextual data)는 각각의 이미지가 취해진 위치, 하나 이상의 이미지들을 취한 모바일 디바이스와 연관된 사용자 프로파일 등을 포함할 수 있다. 부가하여, 또는 대안으로, 문맥 데이터는 상인들, 빌딩들, 거리명들, 그 위치에 가까운 하나 이상의 사용자들에 의해 수행되는 행위들에 관한 정보 등과 같은, 위치에 관해 알려진 정보를 포함할 수 있다. 히스토그램을 결정하고 이미지의 특성들을 식별하기 위해 이미지가 분석될 수 있다. 이미지 해상도가 수용가능하다면 몇몇 객체 인식이 수행될 수 있다. 이미지 내에서 문자들을 찾고 인식하기 위해 이미지가 또한 분석될 수 있다. 이미지 분석들은 이미지의 가능성있는 콘텐츠들을 결정하기 위해 동일한 사용자에 의한 및/또는 다른 사용자에 의한 다른 이미지들의 분석들과 비교하여 평가될 수 있다. 유사하게, 문맥 데이터는 이미지의 가능성있는 콘텐츠 및/또는 이미지에 관한 원하는 가능성있는 정보를 결정하거나 또는 교정하기 위해 평가될 수 있다. 일 실시예에서, 결정된, 또는 인식된 키 워드들, 카테고리들, 또는 다른 정보는 데이터 검색 시스템에 제출되어 검색 결과들, 특별히 인식된 URL들로부터의 웹 페이지들, 전화 디렉토리 정보, 광고들 또는 다른 결과들을 검색할 수 있다. 부가하여, 또는 대안으로, 결과들은 필터링되거나, 우선순위화되거나, 카테고리화되거나, 또는 더 프로세싱될 수 있다.
본 발명의 실시예들은 사용자가 사진을 찍은 객체의 의미를 식별하고, 이 의미를 추가의 정보를 위해 요청(request)으로서 사용한다. 종래의 이미지 평가는 이미지-인식 알고리즘들, 내장된 코드들, 또는 바 코드들을 사용하여 행해진다. 종종 이들 이미지 큐(cue)들은 신뢰성이 없고, 이미지 품질이 너무 낮으며, 이미지-인식 알고리즘들 단독으로는 원한 정확도 레벨을 제공할 수 없다. 충분한 문맥 정보를 갖게 되면, 알려진 객체 위치들, 이전 검색들의 결과들 등에 기초하여, 본 발명의 실시예들은 사용자가 최근 액션 영화 또는 다른 특정 정보를 광고하는 게시판을 사진찍었다는 것을 빠르게 결정할 수 있다. 본 발명의 실시예들은 사용자에게 최근 영화와 같은 이미지의 주제에 관한 추가의 정보를 보여주는 커스텀 디스플레이(custom display)를 보여줄 수 있다. 추가의 정보는 위치 및 보여주는 가장 가까운 시간, 및/또는 다른 정보를 포함할 수 있다.
본 발명의 실시예는 사용자가 이미지에서 찾고 있는 것을 분별하도록 가능한 한 많은 보조 정보를 사용한다. 이러한 여분의 정보는 일반적으로 본 명세서에서 콘텍스트 또는 문맥 정보로 지칭된다. 콘텍스트는 일반적으로 사진이 찍혔을 때의 카메라의 위치, 시간, 다른 사용자들이 그 위치에서 사진들을 찍었을 확률, 다른 사진들(이들 중 몇몇은 보다 높은 해상도의 카메라들로 찍혔을 수 있음)의 콘텐츠, 사용자가 이전에 찾았던 정보, 상이한 사용자들이 임의의 종류의 주어진 동일한 콘텍스트의 정보를 선택했을 가능성, 그 위치에 가까운 오브젝트들의 알려진 위치 등을 포함한다.
콘텍스트는 많은 상이한 방식들로 사용될 수 있다. 콘텍스트는 사용자가 찍은 사진에 제공될 것 같은 오브젝트들쪽으로 검색을 바이어싱하는데 사용될 수 있다. 중앙 서버는 사용자로부터 저품질의 이미지를 수신하고 이미지-매칭을 수행하며, LSH(locality-sensitive hashing) 같은 알고리즘들을 사용하여, 동일 위치에서 동일한 객체의 보다 양호한 품질의 이미지를 찾는다. 서버는 과거에 보다 양호한 이미지를 수신하였기 때문에, 서버는 보다 양호한 이미지를 이미 분석하였다. 이러한 이전의 보다 양호한 이미지의 분석에 의해 얻어진 정보는 이전 사용자가 결과적인 링크 상을 클릭하거나, 또는 서버가 추적한 또 다른 행위를 클릭하도록 유도할 수 있다. 따라서, 서버는 이미지의 주제에 관한 가능성있는 원하는 정보에 관해 보다 문맥적인 정보를 일반적으로 가질 수 있다. 문맥 정보는 또한 이미지들의 주제에 관한 부가의 콘텍스트를 제공하는 확률 모델들로 인코딩될 수 있다. 예를 들면, 스타벅스 스토어프론트를 볼 가능성은 도시 지역들에서 더 높을 수 있다. 또 다른 예로서, 위치 및 다른 콘텍스트는 언어 문자들과 같은 고유 커뮤니티 정보를 인식하는데 사용될 수 있다. 예를 들면, 중국 문자들은 대부분 미국의 적은 수의 위치들에서 볼 가능성이 있다. 사용자의 위치에 기초하여, 서버는 새로운 이미지의 지역에서 널리 보급된 것으로 알려진 언어에서 가장 가능성 있는 문자들을 인식하는데 노력들을 포커싱할 수 있다.
이미지를 분석하기 위한 작업은, 콘텍스트 정보가 분배될 수 있음에 따라, 또한 네트워크를 통해 분배될 수 있다. 사용자의 모바일 디바이스 같은, 최소 CPU 전력으로 컴퓨팅될 수 있는 낮은 복잡도의 알고리즘을 사용하여 이미지에 대한 디지털 지문이 결정될 수 있다. 디지털 지문 및 사용자의 위치는 이 이미지가 이미 서버에 의해 수신되었는지를 알기 위해 서버로 보내질 수 있다. 그 이미지가 서버에 의해 이전에 수신되었다면, 최소의 재분석 비용 및 최소의 통신 요금들로 그 이미지에 대한 분석 결과들이 즉시 리턴될 수 있다. 네트워크 트랜잭션(transaction)이 처리중인 동안에, 사용자의 모바일 디바이스는, 필요하다면 더 상세한 분석을 위해 서버에 다시 보내기 위한 준비로 이미지에 대한 초기의 특징 추출 및 압축을 시행할 수 있다. 프로세스는 간단한 이미지 매칭으로 시작하여, 보다 복잡한 알고리즘들로 진행하고, OCR(optical character recognition)을 수행하여, 이미지에서 임의의 텍스트를 결정하거나, 사용자에게 그 이미지에 관한 정보를 입력하도록 요구하거나, 다른 분석을 진행할 수 있다. 본 발명의 몇몇 실시예들은 다운 사용자 정보 요청을 좁히고 관련있는 콘텐츠를 전달하기 위해 가능한한 많은 콘텍스트 및 이미지 정보를 사용한다. 이미지의 가장 가능성있는 콘텐츠 및/또는 사용자가 바라는 가장 가능성 있는 정보를 결정하기 위해, 이전에 트래킹된 사용자 행동 정보가 또한 사용될 수 있다. 분석은 단지 한 번의 버튼 클릭, 즉, 카메라 셔터의 클릭으로 발생할 수 있다. 추가의 상세한 설명은 이하의 예시적 실시예들의 논의에서 제공된다.
예시적인 오퍼레이팅 환경
도 1은 본 발명이 동작될 수 있는 환경의 일 실시예를 도시한다. 그러나, 모든 콤포넌트들이 본 발명을 실시하기 위해 요구되는 것은 아니며, 콤포넌트들의 구성 및 타입의 변형도 본 발명의 사상 및 범주를 벗어남이 없이 구현될 수 있다.
도면에 도시된 바와 같이, 시스템(100)은 클라이언트 디바이스들(102-104), 네트워크(105) 및 서버(106)를 포함한다. 네트워크(105)는 각각의 클라이언트 디바이스들(102-104)과 서버(106)와 통신하고 각각의 클라이언트 디바이스들(102-104)과 서버(106) 간의 통신을 가능하게 한다.
클라이언트 디바이스들(102-104)은, 네트워크(105)와 같은 네트워크를 통해 메시지를 콘텐츠 서버(108)와 같은 또 다른 컴퓨팅 디바이스로 및 그로부터 서로 수신 및 송신할 수 있는 사실상 임의의 휴대형 컴퓨팅 디바이스를 포함할 수 있다. 그러한 디바이스들의 세트는 셀룰러 전화들, 스마트 전화들, 페이저들, 워키 토키들, 무선 주파수(RF) 디바이스들, 적외선(IR) 디바이스들, CB들, 전술한 디바이스들의 하나 이상을 조합하는 집적 디바이스들, 또는 가상의 임의의 모바일 디바이스 등과 같은 무선 통신 매체를 사용하여 전형적으로 접속하는 디바이스들을 포함할 수 있다. 유사하게, 클라이언트 디바이스들(102-104)은 PDA(personal digital assistant), 포켓 PC, 웨어러블(wearable) 컴퓨터, 및 유선 및/또는 무선 통신 매체를 통해 통신하도록 설치되는 임의의 다른 디바이스 같은 유선 또는 무선 통신 매체를 사용하여 접속할 수 있는 임의의 디바이스일 수 있다. 그러한 디바이스들의 세트는 개인용 컴퓨터들, 멀티프로세서 시스템들, 마이크로프로세서-기반 또는 프로그램가능 소비자 전자장치들, 네트워크 PC들 등과 같은 유선 통신 매체를 사용하여 전형적으로 접속하는 디바이스들을 또한 포함할 수 있다.
클라이언트 디바이스들(102-104) 내의 각각의 클라이언트 디바이스는 웹 페이지들 등을 송신하고, 수신하며 디스플레이하도록 구성된 브라우저 애플리케이션을 포함할 수 있다. 브라우저 애플리케이션은 가상으로 임의의 웹 기반 언어를 이용하고, HTML(HyperText Markup Language) 같은 SMGL(Standard Generalized Markup Language), XML(eXtensible Markup Language), WML(Wireless Markup Language) 같은 HDML(Handheld Device Markup Language), WMLScript, JavaScript 등을 포함하지만 이에 한정되는 것은 아닌 그래픽, 텍스트, 멀티미디어 등을 수신 및 디스플레이하도록 구성될 수 있다. 클라이언트 디바이스(102-104)는 메시지를 또 다른 메커니즘을 채택하고 IM(instant messaging), 이메일, SMS(Short Message Service), MMS(Multimedia Message Service), IRC(internet relay chat), mIRC, Jabber 등을 포함하는 - 이에 국한되는 것은 아님- 또 다른 컴퓨팅 디바이스로/로부터 전송 및/또는 수신하도록 구성된 메시징 애플리케이션을 더 포함할 수 있다.
네트워크(105)는 하나의 컴퓨팅 디바이스를 또 다른 컴퓨팅 디바이스에 연결하여 그들이 통신할 수 있게 하도록 구성된다. 네트워크(105)는 하나의 전자 디바이스로부터 다른 디바이스로 정보를 통신하기 위한 임의의 컴퓨터 판독가능 매체의 형태를 채택하도록 인에이블된다. 또한, 네트워크(105)는 LAN(local area network)들, WAN(wide area network)들, USB(universal serial bus) 포트를 통하는 직접 접속들, 컴퓨터-판독가능 매체의 다른 형태들 또는 그들의 임의의 결합에 더하여, 무선 인터페이스 및/또는 인터넷과 같은 유선 인터페이스를 포함할 수 있다. 다른 아키텍쳐들 및 프로토콜들에 기초하는 것들을 포함하는 상호접속된 LAN들의 세트에서, 라우터는 LAN들 사이의 링크로서 작동하여, 메시지들이 하나의 LAN으로부터 다른 LAN으로 전송될 수 있게 해준다. 또한, LAN들 내의 통신 링크들은 전형적으로, 이중 연선(twisted wire pair) 또는 동축 케이블을 포함하지만, 네트워크들 사이의 통신 링크들은, 아날로그 전화 회선들, T1, T2, T3 및 T4를 포함하는 전체 혹은 부분 전용 디지털 회선들, DS3(Digital Signal level 3), OC3(Optical Carrier 3), OC12, OC48, ATM(Asynchronous Transfer Mode), ISDN(Integrated Services Digital Network)들, DSL(Digital Subscriber Line)들, 위성 링크들을 포함한 무선 링크들, 또는 당업자에게 알려진 다른 통신 링크들 이용할 수 있다. 또한, 원격 컴퓨터들 및 다른 관련 전자 디바이스들은 모뎀 및 임시 전화 링크를 통해 LAN들 또는 WAN들 중 어느 하나에 원격으로 접속될 수 있다. 네트워크(105)는 TCP/IP(transmission control protocol/internet protocol), UDP(user datagram protocol), WAP(wireless application protocol), GSM(global system for mobile communications), CDMA(code division multiple access), TDMA(time division multiple access), GPRS(general packet radio service), UWB(ultra wide band), IEEE 802.16 WiMax(Worldwide Interoperability for Microwave Access) 등을 포함하는 다양한 통신 프로토콜들 및 기술들과 사용하기 위해 구성된다. 본질적으로, 네트워크(105)는, 정보가 클라이언트 디바이스들(102-104), 및/또는 서버(106) 간에 이동할 수 있는 임의의 통신 방법을 포함한다.
전술한 바와 같이 통신 링크들에서 정보를 전송하는데 사용되는 매체는 컴퓨팅 디바이스에 의해 액세스될 수 있는 임의의 매체를 일반적으로 포함한다. 컴퓨터 판독가능 매체는 컴퓨터 스토리지 매체, 유선 및 무선 통신 매체, 또는 그들의의 임의의 조합을 포함할 수 있다. 또한, 컴퓨터-판독가능 매체는 전형적으로 컴퓨터-판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 구체화한다. 그러한 데이터는 반송파와 같은 변조된 데이터 신호, 데이터 신호, 또는 다른 전송 메커니즘으로 통신 매체를 통해 통신될 수 있고 임의의 정보 전달 매체를 포함한다. 용어 "변조 데이터 신호" 및 "반송파 신호" 는, 신호 내의 정보, 명령어들, 데이터 등을 인코딩하는 방식으로 설정 또는 변경된 하나 이상의 특성들을 갖는 신호를 포함한다. 예로써, 통신 매체는 음향용 유체 또는 공간, RF, 적외선 및 다른 무선 신호들과 같은 무선 매체, 및 이중 연선, 동축 케이블, 광 섬유들, 도판관들 같은 유선 매체 및 다른 유선 매체를 포함한다.
서버(106)는 다중 컴퓨팅 디바이스들 또는 단일의 컴퓨팅 디바이스를 포함할 수 있다. 서버(106)는, 히스토그램들을 결정하고, OCR을 수행하며, 이미지들을 이전에 저장된 이미지들에 비교하고, 이미지들에 관한 정보를 결정하고, 데이터베이스 연산들을 수행하고, 부가의 정보에 대한 검색들을 수행하며, 이미지들에 관한 정보를 저장하고, 사용자 행동들을 트랙킹하는 등의 이미지 분석 서비스들을 제공할 수 있다. 서버(106)는 또한 콘텐츠 및/또는 웹 사이트들, 온라인 저널들(예를 들면, 블로그들), 사진들, 리뷰들, 메시징 같은 온라인 서비스들, 검색, 뉴스, 쇼핑, 광고 등과 같은 다른 서비스들을 제공할 수 있다. 서버(106)는 웹 페이지들과 같은 네트워크 리소스들 간의 생성, 수정 및 관리 같은 관리 서비스들을 또한 제공할 수 있다. 간단하게, 서버(106)는 네트워크(105)에 접속할 수 있는 임의의 컴퓨팅 디바이스를 포함할 수 있고, 클라이언트 디바이스들(102-104) 중 적어도 하나의 사용자와 같은 네트워크 사용자를 위한 서비스들을 관리할 수 있다. 서버(106)로서 동작할 수 있는 디바이스들은 전용 서버 디바이스들, 개인용 컴퓨터들, 데스크톱 컴퓨터들, 멀티프로세서 시스템들, 마이크로프로세서-기반 또는 프로그램가능 소비자 전자 장치, 네트워크 PC들 등을 포함한다. 서버(106) 및/또는 클라이언트들(102-104) 중 임의의 클라이언트가 도 2와 관련하여 설명된 클라이언트와 같은 하나 이상의 컴퓨팅 디바이스들 상에서 구현될 수 있다.
예시적인 클라이언트 디바이스
도 2는 기준 데이터 컬렉터 디바이스로서 사용하기 위한 본 발명의 일 실시예에 따른 예시적 클라이언트 디바이스(200)를 도시한다. 일 실시예에서, 클라이언트 디바이스(200)는 랩톱 컴퓨터와 같은 모바일 디바이스이다. 모바이일 디바이스의 또 다른 예는 음성 통신 및 SMS 메시지들 같은 메시지들을 하나 이상의 무선 통신 인터페이스들을 통해 전송하고 수신하도록 정렬된 셀룰라 전화 또는 PDA를 포함한다. 종종, 모바일 전자 디바이스들이 하나 이상의 무선 네트워크들에 접속함으로써, 단일 무선 네트워크의 다중 노드들에 접속함으로써, 하나 이상의 채널들을 통해 하나 이상의 네트워크들에 통신함으로써, 또는 하나 이상의 통신 세션들에 가입(engage)함으로써 개인 통신을 할 수 있을 것이다. 일반적으로, 클라이언트 디바이스(200)는 임의의 모바일 또는 정적인 전자 디바이스를 포함할 수 있다. 그러한 디바이스들은 랩톱들, 팜톱(palmtop)들, PDA들, 핸드헬드 컴퓨터들, 셀룰러 전화들, 스마트폰들, 페이저들, RF 디바이스들, IR 디바이스들, 전술한 디바이스들의 하나 이상을 조합한 집적 디바이스들 등을 포함한다. 클라이언트 디바이스(200)는 또한 개인용 컴퓨터들, 멀티프로세서 시스템들, 마이크로프로세서-기반 또는 프로그램가능 소비자 전자 장치들, 네트워크 PC들, 웨어러블 컴퓨터들 등과 같은 다른 전자 디바이스들을 포함할 수 있다.
클라이언트 디바이스(200)는 도 2에 도시된 것보다 더 많은 또는 더 적은 컴포넌트들을 포함할 수 있다. 그러나, 도시된 컴포넌트들은 본 발명을 실시하기 위한 예시적 실시예를 개시하는데 충분하다. 도면에 도시된 바와 같이, 클라이언트 디바이스(200)는 버스(224)를 통해 대용량 메모리(mass memory)(230)와 통신하는 프로세싱 유닛(222)을 포함한다.
대용량 메모리(230)는 RAM(232), ROM(234) 및 다른 저장 수단을 포함한다. 대용량 메모리(230)는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 컴퓨터 저장 매체의 다른 예를 설명한다. 대용량 메모리(230)는 클라이언트 디바이스(200)의 저레벨 동작을 제어하기 위한 BIOS(basic input/output system)(240)을 저장한다. 대용량 메모리는 또한 클라이언트 디바이스(200)의 동작을 제어하기 위한 오퍼레이팅 시스템(241)을 저장한다. 이러한 컴포넌트는 Windows®, UNIX, 또는 LIUNIX® 버전과 같은 범용 오퍼레이팅 시스템, 또는 Windows Mobile™, 또는 Symbian® 오퍼레이팅 시스템 등과 같은 전문 모바일 통신 오퍼레이팅 시스템을 포함한다. 오퍼레이팅 시스템은 Java 애플리케이션 프로그램들을 통해 하드웨어 컴포넌트들 및/또는 오퍼레이팅 시스템 동작들을 제어하게 해 주는 Java® 가상 머신 모듈을 포함하거나 이러한 Java® 가상 머신 모듈과 인터페이싱(interface)할 수 있다.
메모리(230)는 하나 이상의 데이터 스토리지 유닛들(242)을 더 포함하며, 이 유닛들은 특히 프로그램들(244) 및/또는 다른 데이터를 저장하도록 클라이언트 디바이스(200)에 의해 사용될 수 있다. 프로그램들(244)은, 클라이언트 디바이스(200)에 의해 실행될 때, HTML 페이지들, XML 페이지들, WAP 페이지들(때때로 WAP 카드들로 지칭됨) 등과 같은 마크업 페이지들을 송신, 수신, 렌더링 및/또는 프로세싱하는 컴퓨터 실행가능 명령어들을 포함할 수 있다. 따라서, 프로그램들(244)은 컴퓨터 실행가능 명령어들의 브라우저 프로그램을 포함하고, 이 프로그램은 오퍼레이팅 시스템(241)의 제어 하에 실행되어 마크업 페이지들 및 메시지들(예를 들면, HTTP, TCP/IP, SMS, MMS, IM, 이메일, 및/또는 다른 메시지들), 오디오, 비디오를 요청, 수신 및 렌더링하는 것을 인에이블하고 관리하며 또 다른 클라이언트 디바이스의 또 다른 사용자와의 통신을 인에이블할 수 있다. 애플리케이션 프로그램들의 다른 예들은 달력들, 연락 관리자들, 작업 관리자들, 트랜스코더들, 데이터베이스 프로그램들, 워드 프로세싱 프로그램들, 스프레드시트 프로그램들, 게임들 등을 포함한다.
부가하여, 대용량 메모리(230)는 오퍼레이팅 시스템(241)의 제어 하에서 외부 모듈로서, 브라우저 내의, 웹 페이지 내의 또는 또 다른 구성을 통한 플러그인 모듈로서 실행될 수 있는 이미지 핸들링 모듈(246)을 저장한다. 이미지 핸드링 모듈(246)은 이미지 데이터, 콘텍스트 정보, 이미지 데이터에 대한 사용자 요청들, 및 모바일 디바이스에 의해 획득되거나 수신되는 이미지들에 연관된 다른 데이터의 초기 프로세싱 또는 전체 프로세싱을 수행할 수 있다.
클라이언트 디바이스(200)는 또한 전원(226), 하나 이상의 무선 인터페이스들(250), 오디오 인터페이스(252), 디스플레이(254), 키패드(256), 조명기(illuminator)(258), 선택적 데이터 캡처 모듈(259), 입력/출력 인터페이스(260), 선택적 햅틱 인터페이스(262), 및 선택적 GPS(global positioning system) 수신기(264)를 포함할 수 있다. 전원(226)은 클라이언트 디바이스(200)에게 전력을 공급한다. 재충전가능 또는 재충전 불가능 배터리가 전력을 제공하기 위해 사용될 수 있다. 전력은 또한 배터리를 보완 및/또는 재충전하는 AC 어댑터 또는 전력공급 도킹 크레이들(powered docking cradle)과 같은 외부 전원에 의해 제공될 수 있다.
클라이언트 디바이스(200)는 선택적으로 기지국과 통신하거나, 또는 다른 클라이언트 디바이스와 직접적으로 통신할 수 있다. 무선 인터페이스(250)는 클라이언트 디바이스(200)를 하나 이상의 무선 네트워크들에 연결하기 위한 회로를 포함하며, TCP/IP, UDP, GSM, CDMA, TDMA, SMS, GPRS, WAP, UWB, IEEE 802.16(WiMax) 등을 포함하지만 이에 한정되지 않는 하나 이상의 통신 프로토콜들 및 기술들과 사용하기 위해 구성된다.
오디오 인터페이스(252)는 인간 음성의 소리, 음악 등과 같은 오디오 신호들을 생성 및/또는 수신하도록 구성된다. 예를 들면, 오디오 인터페이스(252)는 스피커 및 마이크로폰(미도시)에 연결되어, 다른 것들과의 통신을 가능하게 해주고/해주거나 몇몇 동작에 대해 오디오 확인을 생성하게 해준다. 디스플레이(254)는 LCD(liquid crystal display), 가스 플라즈마, LED(light emitting diode), 또는 클라이언트 디바이스와 함께 사용되는 임의의 다른 유형의 디스플레이일 수 있다. 디스플레이(254)는 또한 스타일러스 또는 사람 손의 손가락과 같은 객체로부터의 입력을 수신하도록 구성된 터치 감지 스크린을 포함할 수 있다.
키패드(256)는 사용자로부터의 입력을 수신하도록 구성된 입력 장치를 포함할 수 있다. 예를 들면, 키패드(256)는 키보드, 누름식 버튼 숫자 다이얼 등을 포함할 수 있다. 키패드(256)는 또한 변경가능한 프로세스들을 선택 및 수행하는 것과 연관된 커맨드 버튼들을 포함할 수 있다. 조명기(258)는 상태 표시(status indication)를 제공하고/하거나 광을 제공할 수 있다. 조명기(258)는 특정 시구간들 동안 또는 이벤트들에 응답하여 활성인 상태로 있을 수 있다. 예를 들면, 조명기(258)가 활성인 경우, 조명기는 키패드(256) 상의 버튼들을 백라이팅할 수 있고, 클라이언트 디바이스에 전력이 공급되는 동안 유지될 수 있다. 또한, 조명기(258)는 다른 장치로 다이얼링하는 것과 같은 특정 동작들이 수행될 때, 이들 버튼을 다양한 패턴들로 백라이팅할 수 있다. 조명기(258)는 모바일 디바이스의 투명 또는 반투명 케이스 내에 배치된 광원들이 동작들에 응답하여 조명하게 할 수 있다. 조명기(258)는 이미지 캡처를 위한 플래시로서 또한 사용될 수 있다. 카메라와 같은 데이터 캡처 모듈(259)은 클라이언트 디바이스(200)에 포함될 수 있다. 클라이언트 디바이스는 이미지들, 비디오, 온도, 압력 또는 다른 데이터를 얻을 수 있다.
클라이언트 디바이스(200)는 또한 헤드셋과 같은 외부 디바이스들, 또는 도 2에 도시되지 않은 다른 입력 또는 출력 디바이스들과 통신하기 위한 입력/출력 인터페이스(260)를 포함할 수 있다. 입력/출력 인터페이스(260)는 USB, 적외선, BluetoothTM 등과 같은 하나 이상의 통신 기술들을 이용할 수 있다. 선택적 햅틱 인터페이스(262)는 클라이언트 디바이스의 사용자에게 촉각(tactile) 피드백을 제공하도록 구성될 수 있다. 예를 들면, 햅틱 인터페이스는 다른 클라이언트 디바이스 사용자가 호출할 경우 클라이언트 디바이스(200)를 특정 방식으로 진동시키도록 구현될 수 있다.
선택적 GPS 송수신기(264)는 지표면 상에서 클라이언트 디바이스(200)의 물리 좌표들을 결정할 수 있고, 전형적으로 위치를 위도 및 경도 값들로 출력한다. GPS 송수신기(264)는 또한 삼각 측량, AGPS(assisted GPS), E-OTD(Enhanced Observed Time Difference), CI(cell identifier), SAI(service area identifier), ETA(enhanced timing advance), BSS(base station subsystem) 등을 포함하지만 이로만 제한되지는 않는, 다른 위치-추적 메커니즘(geo-positioning mechanism)들을 사용하여 지표면 상에서 클라이언트 디바이스(200)의 물리적 위치를 추가적으로 결정할 수 있다. 상이한 조건들 하에서, GPS 송수신기(264)는 수 밀리미터 범위 내에서 클라이언트 디바이스(200)의 물리적 위치를 결정할 수 있고; 다른 경우들에서는 결정된 물리적 위치가 1 미터 또는 현저히 더 먼 거리 범위 내와 같이 덜 정확할 수 있다는 것을 알 것이다.
예시적 네트워크 디바이스
도 3은 본 발명의 한 실시예에 따른 네트워크 디바이스의 한 실시예를 도시한다. 네트워크 디바이스(300)는 도시된 것보다 더 많거나 또는 더 적은 컴포넌트들을 포함할 수 있다. 그러나, 도시된 컴포넌트들은 본 발명을 실시하기 위한 예시적인 실시예를 개시하기에 충분하다. 네트워크 디바이스(300)는, 예를 들면, 분류 서버(taxonomy server; 106), 콘텐츠 서버(108), 또는 도 1의 다른 클라이언트 디바이스를 나타낼 수 있다. 예시적 목적을 위해, 네트워크 디바이스(300)는 서버로서 설명될 것이다.
도면에 도시된 바와 같이, 서버 디바이스(300)는 버스(324)를 통해 대용량 메모리(330)와 통신하는 처리 유닛(322)을 포함한다. 대용량 메모리(330)는 일반적으로 RAM(332), ROM(334) 및 다른 저장 수단을 포함한다. 대용량 메모리(330)는 컴퓨터-판독가능 매체의 유형, 즉, 컴퓨터 저장 매체를 나타낸다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어들 같은 정보, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 저장하기 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 저장 매체의 다른 예들은 EEPROM, 플래시 메모리 또는 다른 반도체 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 다른 광학 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 디바이스에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다.
대용량 메모리(330)는 서버 디바이스(300)의 저레벨 동작을 제어하기 위한 BIOS(basic input/output system)(340)을 저장한다. 대용량 메모리는 또한 서버 디바이스(300)의 동작을 제어하기 위한 오퍼레이팅 시스템(341)을 저장한다. 이러한 컴포넌트는 Windows, UNIX, LINUX, 또는 Solaris 등의 버전과 같은 범용 오퍼레이팅 시스템을 포함할 수 있다. 오퍼레이팅 시스템은 또한 Java 애플리케이션 프로그램들을 통해 하드웨어 컴포넌트들 및/또는 오퍼레이팅 시스템 동작들을 제어하게 해 주는 Java® 가상 머신 모듈을 포함하거나 이러한 Java® 가상 머신 모듈과 인터페이싱(interface)할 수 있다.
대용량 메모리(330)는 하나 이상의 데이터 스토리지 유닛들(342)을 더 포함하며, 이 유닛들은 특히 프로그램들(344) 및/또는 다른 데이터를 저장하도록 서버 디바이스(300)에 의해 사용될 수 있다. 프로그램들(344)은, HTTP 통신들을 송신, 수신 및 프로세싱하기 위한 HTTP 핸들러 애플케이션, WAP 통신들을 송신, 수신 및 프로세싱하기 위한 WAP 핸들러 애플리케이션 등과 같은 마크업 핸들러 애플리케이션을 구현하기 위해 서버 디바이스(300)에 의해 실행될 수 있는 컴퓨터 실행가능 명령어들을 포함할 수 있다. 유사하게, 프로그램들(344)은 외부 애플리케이션과 보안 형식으로 통신을 개시하는 것과 같은 보안 접속들을 핸들링하기 위한 SSL(secure socket layer) 핸들러 애플리케이션을 포함할 수 있다. 애플리케이션 프로그램들의 다른 예들은 콘텐츠 관리 애플리케이션들, 메시징 애플리케이션들, 스케쥴러들, 달력들, 웹 서비스들, 트랜스코더들, 데이터베이스 프로그램들, 워드 프로세싱 프로그램들, 스프레드시트 프로그램들 등을 포함한다. 따라서, 프로그램들(344)은 이미지들, 오디오, 비디오 또는 마크업 페이지들을 프로세싱할 수 있고, 또 다른 전자 디바이스의 또 다른 사용자 및/또는 다른 서비스들과의 통신을 가능하게 한다.
부가하여, 대용량 메모리(330)는 이미지 프로세싱 모듈(346)을 저장한다. 이미지 프로세싱 모듈(346)은 컴퓨터 실행가능 명령어들을 포함하는데, 이 명령어들은 오퍼레이팅 시스템(341)의 제어 하에 실행되어 이미지들을 분석하거나, 이미지들을 비교하거나, 콘텍스트 정보를 결정하거나, 위치와 연관된 정보를 액세스하거나, 사용자 행동 데이터를 평가하거나, 검색 용어들을 결정하거나, 또는 이미지들에 연관된 다른 프로세스들을 수행할 수 있다. 일 실시예에서, 이미지 프로세싱 모듈(346)은 일반적으로 클라이언트 디바이스 상의 이미지 핸들링 모듈과 통신한다. 대용량 메모리(330)는 이미지 프로세싱 모듈(346)의 일부이거나 또는 이미지 프로세싱 모듈(346)과 통신하는 검색 모듈(348)을 또한 포함한다. 검색 모듈(348)은 일반적으로 콘텐츠 검색들, 네트워크 리소스들로의 링크들에 대한 검색들, 데이터베이스 검색들 등과 같은 데이터 검색을 수행하는 검색 엔진을 포함할 수 있다.
서버 디바이스(300)는 또한 키보드, 마우스, 휠, 조이 스틱, 로커 스위치들(rocker switches), 키패드, 프린터, 스캐너, 및/또는 도 3에 특별히 도시되지 않은 다른 입력 디바이스들과 같은 입력/출력 디바이스들과 통신하기 위한 입력/출력 인터페이스(360)를 포함한다. 서버 디바이스(300)의 사용자는 오퍼레이팅 시스템(341), 프로그램들(344), 및/또는 다른 모듈들로 분리되거나 또는 통합될 수 있는 사용자 인터페이스와 인터액트(interact)하도록 입력/출력 디바이스들을 사용할 수 있다. 사용자 인터페이스와의 인터액션은 디스플레이, 및 비디오 디스플레이 어댑터(354)를 통한 비주얼 인터액션을 포함한다.
서버 디바이스(300)는 컴퓨터 판독가능 저장 매체용의 분리형 매체 드라이브(352) 및/또는 영구 매체 드라이브(354)를 포함할 수 있다. 분리형 매체 드라이브(352)는 하나 이상의 광 디스크 드라이브, 플로피 디스크 드라이브, 및/또는 테이프 드라이브를 포함할 수 있다. 영구 또는 분리형 저장 매체는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성, 비휘발성, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 저장 매체의 예들은 CD-ROM(355), DVD 또는 다른 광학 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨팅 디바이스에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다.
네트워크 통신 인터페이스 유닛(350)을 통해, 서버 디바이스(300)는 인터넷 같은 광역 네트워크, 근거리 네트워크, 유선 전화 네트워크, 셀룰러 전화 네트워크, 또는 도 1의 네트워크(105)와 같은 몇몇 다른 통신 네트워크와 통신할 수 있다. 네트워크 통신 인터페이스 유닛(350)은 때때로 송수신기, 송수신 디바이스, NIC(network interface card) 등으로서 알려져 있다.
예시적 로직
도 4는 이미지 데이터에 기초하여 정보 요청을 처리하기 위한 예시적 순서도(400)를 도시한다. 예시적 일 실시예에서, 정보 요청은 이미지로부터 결정된 데이터에 기초한 부가의 정보에 대한 검색 요청일 수 있다. 동작(402)에서, 하나 이상의 서비스들은 위치 관련 정보, 사용자 관련 정보, 시간 관련 데이터 같은 문맥 상관 데이터, 또는 이미지들을 상관시키기 위해 사용되거나 이미지들의 콘텍스트를 표시하는 다른 데이터의 하나 이상의 데이터베이스들을 구성한다. 콘텍스트 상관 정보의 예들은 지리적 위치 데이터, 광고 정보, 상인 정보, 통신 노드 정보, 날씨 정보, 교통 정보 또는 다른 정보를 포함할 수 있다. 지리적 위치 데이터는 GPS 데이터, 우편 번호들, 거리 이름들, 거리 주소들, 빌딩 이름들, 랜드마크들 등을 포함할 수 있다. 광고 정보는 위치들, 콘텐츠, 및 게시판들에 관한 다른 정보, 벽면 광고 싸인들(painted wall signs), 거리-레벨 싸인들(street-level signs), 스토어프론트 싸인들(storefront signs) 등을 포함할 수 있다. 광고 정보는 또한 비상업적 표식(signage)을 포함할 수 있다. 상인 정보는 상인 이름들, 주소들, 전화 번호들, 상표들, 로고들, URL들, 이메일 주소들, 제공되는 제품들, 재고 정보, 가격들 등을 포함할 수 있다. 통신 노드 정보는 셀룰러 타워 위치들, 와이파이 핫스폿 위치들, 네트워크 주소 정보, 통신 능력 정보 등을 포함할 수 있다. 실시간 데이터는 또한 위치 관련 정보의 데이터베이스(들)를 통해 유지될 수 있다. 예를 들면, 데이터 서비스들은 현재 날씨 조건들, 교통 조건들, 이벤트 활동들 등을 제공할 수 있다.
유사하게, 본 실시예에서, 데이터 서비스(들)는 동작(404)에서 클라이언트의 온라인 행동들을 트랙킹한다. 클라이언트 사용자 행동들은 일반적으로 행동들의 위치와 연관되어 있다. 사용자가 허가하면, 데이터 서비스(들)는 메시징, 수행되는 검색들, 선택되는 URL들, 행해지는 구매들 등을 트랙킹할 수 있다. 데이터 서비스(들)은 또한 온라인 행동들에 연관된 다른 파라미터들을 결정할 수 있다. 예를 들면, 데이터 서비스는 다수의 클라이언트 사용자가 메시지 교환들에 기초하여 서로 안다는 것을 결정할 수 있고, 클라이언트 사용자가 가질 수 있는 흥미들을 결정하는 것 등을 할 수 있다. 데이터 서비스는 또한 사용자의 소셜 네트워크를 포함하는 간접적 관계들을 결정할 수 있다.
동작(406)에서, 클라이언트 사용자는 모바일 클라이언트 디바이스로 이미지 데이터를 캡처한다. 캡처된 이미지 데이터는 일반적으로 위치 및/또는 전술한 다른 데이터 같은 하나 이상의 콘텍스트 상관 데이터 요소들과 연관된다. 예를 들면, 사용자는 셀룰러 전화로 게시판의 사진을 찍을 수 있다. 이미지 및/또는 위치 데이터는 시간 스탬프, 셀 타워 위치, 와이파이 네트워크 노드 주소, 또는 다른 데이터와 연관될 수 있다. 게시판은 상인 이름, 로고, 전화 번호, URL, 또는 다른 콘텐츠를 포함할 수 있다. 클라이언트 디바이스는 추가의 프로세싱을 국부적으로 수행할 수 있거나, 또는 이미지 및/또는 위치 데이터를 서버에 통신할 수 있다. 예를 들면, 클라이언트 디바이스는 몇몇 이미지 히스토그램 분석, 이미지 지문 분석 등을 수행할 수 있다. 클라이언트 디바이스는 그러한 분석들을 수행할 수 있고 그 결과를 서버에 통신할 수 있다. 그러나, 많은 경우에, 셀 전화와 같은 클라이언트 디바이스들은 제한된 이미지 처리 능력을 가질 것이다. 그러한 디바이스들은 일반적으로 미가공(raw) 또는 압축된 이미지 데이터 및 위치 데이터를 서버에 전송할 것이다.
선택적 동작(408)에서, 서버는 전화 번호, 모바일 식별 번호, 사용자 식별자 등과 같은, 이미지를 캡처한 클라이언트에 대한 클라이언트 식별자를 수신할 수 있다. 서버는, 제출된 이전의 이미지들, 제출된 이전의 위치들, 클라이언트 디바이스 능력들, 사용자 행동들, 클라이언트 식별자에 연관된 수집 정보 등과 같은, 클라이언트 식별자와 연관된 이전에 저장된 정보를 액세스하기 위해 클라이언트 식별자를 사용할 수 있다. 서버 또는 클라이언트 식별자는 또한 이미지의 위치와 연관된 다른 정보를 수신할 수 있다. 전술한 바와 같이, 그러한 정보는 미리 구성된(pre-established) 위치 데이터일 수 있거나 또는 위치에 연관된 실시간 데이터를 포함할 수 있다. 예를 들면, 서버는 이미지 캡처 위치에 가까운 위치와 연관된 상인 정보를 액세스하거나 또는 수신할 수 있다. 이 상인 정보는 이미지 캡처 위치로부터 상인들 및 그들의 거리를 식별할 수 있다. 유사하게, 서버는 거리 이름, 우편 번호, 날씨 조건들, 교통 조건들 등과 같은 이미지 캡처 위치에 연관된 다른 콘텍스트 데이터를 액세스하거나 또는 수신할 수 있다.
동작(410)에서, 서버 또는 클라이언트 디바이스는 캡처된 이미지를 분석하여 이미지 히스토그램을 결정한다. 이미지 히스토그램은 일반적으로 이미지들이 용이하게 비교될 수 있도록 이미지의 컬러 파라미터들 및 다른 특성들을 식별한다. 모든 사람이 동일한 카메라를 사용하여 동일한 위치에서 사진을 찍는 이상적인 상황에서는, 대응하는 이미지 픽셀들을 비교하는 것에 의한 간단한 이미지 비교로도 이미지들이 동일한 객체를 찍었는지의 정확한 측정을 할 수 있다. 그러나, 이러한 종류의 간단한 측정은 일반적으로 충분한 것이 아니다.
간단한 경우에, 간략화를 위해 두 개의 이미지들은 이미지에서 발견되는 컬러들의 히스토그램을 계산함으로써 비교될 수 있다. 두 개의 이미지들이 유사한 지를 결정하는데 사용되는 메트릭은 각각의 (수십의) 상이한 컬러들에서 픽셀들의 비율(fraction)을 단지 비교하는 것이다. 이 메트릭은 카메라들이 어떻게 회전되더라도 일반적으로 동작하고 스케일 및 변환들에 영향을 받지 않는 경향이 있기 때문에 유용하다. 예를 들면, 상이한 회사들 간에는 컬러들이 고유하기 때문에, 메트릭은 일반적으로 어떤 게시판이 보여지고 있는지를 결정하는데 역할을 잘한다. 메트릭은 몇몇 그레이스톤 은행 빌딩들 중 어느 것이 캡처된 이미지에서의 앞에 서있는 것인지를 결정하는데 덜 효과적일 수 있다.
현저한 포인트(salient point)들을 기초로 하는 접근법들과 같은 보다 복잡한 접근법들이 일반적으로 더 힘이 있다. 이 접근법에서, 오퍼레이터는 이미지에서 특히 현저하거나 배향에 관계없이 팝 아웃(pop out)하는 포인트들을 식별하는 이미지에 걸쳐 실행된다. 이들은 종종 코너들과 같은 이미지 특징들이다. 현저한 포인트들이 식별되면, 이 포인트들은 컬러, 로컬 텍스처(local texture)및 배향을 포함하는 임의의 측정들의 수에 의해 특징지워진다. 각각의 이미지에서의 현저한 포인트들의 높은 퍼센티지가 정합될 수 있다면 두 개의 이미지는 일반적으로 유사하다고 판정되고, 그들은 정확한 배열(right alignment)을 갖는다. 또한, 그러한 기술들의 예의 상세한 설명은 David G. Lowe에 의한 "Object Recognition from Local Scale-Invariant Features"에 설명되어 있다.
결정 동작(412)에서, 서버는 이전에 저장된 히스토그램(또는 현저한 포인트들 등)이 새롭게 수신된 이미지의 히스토그램(또는 현저한 포인트들 등)과 사전 정의된 정합 임계값 내에서 정합하는지를 체크할 수 있다. 본 예의 실시예에서, 서버는 캡처된 이미지의 히스토그램 결과들에 대한 비교를 위해, 이전에 수신된 이미지들로부터 히스토그램 데이터를 선택한다. 비교들의 수를 좁히기 위해, 서버는 캡처된 이미지의 위치로부터의 사전 정의된 반경과 같은 콘텍스트 상관 요소에 기초하여 이전의 이미지 분석 데이터를 선택할 수 있다. 일 실시예에서, 서버는 "최상" 이전 이미지, 또는 현재 캡처된 이미지의 임의의 거리 내에서의 최고 해상도 이미지들의 가장 높은 번호(top number)를 선택할 수 있다. 부가하여, 또는 대안으로, 서버는 다른 기준을 사용하여 이전의 히스토그램 데이터를 필터링하거나, 우선순위화하거나 선택할 수 있다. 다른 기준은 캡처된 이미지의 임의의 범위 내의 히스토그램 특성들, 다양한 데이터베이스들 내의 이미지들의 해상도,사용자 식별자들 또는 모바일 디바이스 식별자들의 임의의 세트와 연관된 단지 이전의 이미지 분석 데이터, 이미지 캡처 위치의 임의의 알려진 블록들의 수 내에 있는 이전 이미지 분석 데이터 등을 포함할 수 있다.
이전 이미지 분석 데이터가 선택되면, 서버는 캡처된 이미지에 대한 이미지 분석 결과에 대해 선택된 데이터를 비교한다. 다른 이미지가 상이한 줌(zoom), 빛 또는 다른 이미지 파라미터들을 가질 수 있더라도, 또 다른 이미지가 매우 유사한 이미지 히스토그램을 가질 수 있다. 예를 들면, 하나의 이미지는 게시판을 임의의 거리로부터 그리고 하루 중 임의의 시간에 캡처할 수 있다. 또 다른 이미지는 동일한 게시판을 상이한 거리로부터 그리고 하루 중 상이한 시간에 캡처할 수 있다. 각각의 이미지의 이미지 히스토그램은 그들이 동일한 게시판을 캡처하는지를 결정하도록 비교될 수 있다. 대안으로, 이미지의 일부는 또 다른 이미지의 일부의 히스토그램과 매우 유사한 히스토그램을 가질 수 있다. 유사한 부분들이 검출되고 비교된다. 유사한 부분들은 로고들 또는 다른 비문자 심볼들에 대응할 수 있다. 각각의 히스토그램은 이미지를 식별하기 위한 디지털 지문으로서 기능할 수 있다.동일하거나 또는 통계적으로 사전 정의된 임계값 내에 있는 히스토그램들은 균등한 것으로 고려될 수 있다. 이들 비교는 이미지의 콘텐츠를 식별하는데 도움이 된다.
사용자 프로파일 데이터가 캡처된 이미지 및 이전 이미지들 중 적어도 하나와 연관되어 있으면, 이전의 사용자 프로파일 데이터가 선택되어 현재 캡처된 이미지의 사용자 프로파일 데이터와 비교될 수 있다. 이것은 가능한 로고들을 분해(resolve)하거나, 이전 상인 인터액션 정보를 제공하거나, 또는 캡처된 이미지에 관한 다른 부가의 콘텍스트 정보를 제공하는 것에 관한 불확실성을 해소하는데 도움이 될 수 있다.
일반적으로, 정합이 발견되면, 서버는 상기의 것 중 어느 하나, 또는 다른 서술 정보, 검색 용어들, 또는 이전 이미지들에 관련된 다른 정보 및/또는 캡처 이미지에 관련되도록 사용되는 콘텍스트 상관 데이터에 연관된 정보를 액세스할 수 있다. 일 실시예에서, 콘텍스트 상관 데이터는 현재 및 이전 이미지들이 캡처된 위치이다. 몇몇 실시예들에서, 동작(414)에서 서버는 검색을 수행하고, 다른 프로세싱을 수행하고, 및/또는 이전에 저장된 이미지 관련 정보 및/또는 이전에 저장된 위치 관련 정보 같은 이미지 콘텐츠 정보를 클라이언트 디바이스에 즉시 리턴한다. 이미지 콘텐츠 정보는 이미지의 유일한 콘텐츠를 식별할 수 있고 이미지의 콘텐츠에 관한 정보를 포함할 수 있다. 몇몇 실시예들에서, 서버는 이 시점에서 자신의 이미지 프로세싱 동작들을 종료할 수 있거나, 또는, 도시된 바와 같이, 추가의 이미지 관련 정보 및/또는 위치 관련 정보를 얻기 위해 계속해서 추가의 프로세싱을 할 수 있다.
동작(416)에서, 히스토그램 평가와 유사하게, 서버 또는 클라이언트 디바이스는 OCR(optical character recognition)분석을 수행하여 이미지 내의 문자들을 식별한다. 이 실시예에서, 서버는 캡처된 장면의 이미지에 나타나는 문자들을 광적으로 인식한다. 그러한 이미지들은 일반적으로 간단한 흑백(black and white) 페이지들보다는 사진들이고, 따라서 비디오 OCR용으로 사용되는 기술들과 같은 보다 포괄적인 기술들이 유용하다. 하나의 프로세스는 두 가지 단계: 검출 및 인식으로 구성된다. 검출은 일반적으로 텍스트일 것이라는 것을 나타내는 통계적 행동을 갖는 텍스처들을 포함하는 이미지의 가능 영역들을 식별한다. 예를 들면, 서부 알파벳들은 아주 근접하여 많은 수평 및 수직 라인들을 갖는다. 가능 영역들이 식별되면, 가능 워드들을 제한하기 위한 언어 모델을 아마도 갖는 패턴 인식 방법들을 사용하여 가장 가능성있는 텍스트를 결정한다. OCR에 대한 예시적 기술들의 상세 사항은 Rainer Lienhart에 의한 챕터를 포함하는, Roman Yampolskiy에 의한 "Feature Extraction Approaches For Optical Character Recognition"에 설명되어 있다.
본 실시예의 결정 동작(418)에서, 서버는 캡처된 이미지의 OCR 결과들에 대한 비교를 위해, 이전에 수신된 이미지들로부터 OCR 데이터를 선택한다. 히스토그램 분석과 유사하게, 서버는 캡처된 이미지의 위치로부터 사전 결정된 반경과 같은 콘텍스트 상관 데이터에 기초하여 이전의 이미지 분석 데이터를 선택할 수 있다. 일 실시예에서, 서버는 "최상"의 이전 이미지, 또는 현재 캡처된 이미지의 임의의 거리 내의 최고 해상도 이미지들의 가장 높은 수를 선택할 수 있다. 부가하여, 또는 대안으로, 서버는 다른 기준을 사용하여 이전 OCR 데이터를 필터링하거나, 우선순위화하거나, 또는 선택할 수 있다. 다른 기준은 다양한 데이터베이스 내의 이미지들의 해상도, OCR 결과들의 것과 유사한 최소의 요구되는 워드들의 수, 사용자 식별자들 또는 모바일 디바이스 식별자들의 임의의 세트와 연관된 직전 이미지 분석 데이터, 이미지 캡처 위치의 알려진 임의의 블록들의 수 내에 있는 이전 이미지 분석 데이터 등을 포함한다.
이전 OCR 이미지 분석 데이터가 선택되면, 서버는 캡처된 이미지에 대한 이미지 분석 결과들에 대해 선택된 데이터를 비교한다. 인식된 문자들은 정합하는 워드들, URL들, 전화 번호들 등을 결정하기 위해 비교될 수 있다. 정합은 미리정한 정합 임계값에 기초될 수 있다. 예를 들면, 캡처된 이미지와 이전에 얻어진 이미지 간에 정합이 존재한다는 것을 정합시키고, 결론짓기 위해 미리정한 문자 스트링들의 퍼센티지가 요구될 수 있다. 이들 OCR 비교들은 이미지의 콘텐츠를 식별하는데 독립적으로 도움을 줄 수 있거나, 또는 히스토그램 비교들과의 결합에 사용될 수 있다.
히스토그램 분석들과 또한 유사하게, 사용자 프로파일 데이터가 캡처된 이미지 및 이전의 OCR 이미지들 중 적어도 하나와 연관되어 있다면, 이전의 사용자 프로파일 데이터가 선택되고 현재의 캡처된 이미지의 사용자 프로파일 데이터와 비교된다. 이것은 부분적으로 인식된 문자들 또는 스트링들에 관한 불확실성을 해소하거나, 가능한 로고들에 기초한 불확실성을 해소하거나, 이전 상인 인터액션 정보를 제공하거나 캡처된 이미지에 관한 다른 부가의 콘텍스트 정보를 제공하는데 도움이 될 수 있다.
일반적으로, 정합이 발견되면, 서버는 상기의 것 중 어느 하나, 또는 다른 서술 정보, 검색 용어들, 또는 이전 이미지들에 관련된 다른 정보 및/또는 현재 및 이전 이미지들이 캡처된 위치에 연관된 정보를 액세스할 수 있다. 몇몇 실시예들에서, 동작(420)에서 서버는 검색을 수행하고, 다른 프로세싱을 수행하고, 및/또는 이전에 저장된 이미지 관련 및/또는 이전에 저장된 위치 관련 정보 같은 이미지 콘텐츠 정보를 클라이언트 디바이스에 즉시 리턴한다. 몇몇 실시예들에서, 서버는 이 시점에서 자신의 이미지 프로세싱 동작들을 종료할 수 있거나, 또는, 도시된 바와 같이, 추가의 이미지 관련 정보 및/또는 위치 관련 정보를 얻거나, 이미지 관련 정보 및/또는 클라이언트 사용자가 원할 것 같은 위치 정보를 결정하거나, 검색을 수행하거나, 다른 동작들을 수행하기 위해 계속해서 추가의 프로세싱을 할 수 있다.
본 예의 실시예에서, 서버는, 동작(422)에서, 히스토그램 및 OCR 분석들을 통해 얻어진 정보를 사용하여 이미지 관련 정보 및/또는 위치 관련 정보로 하나 이상의 선택가능한 또는 자동 동작들을 수행한다. 그러한 동작들은 가능한 콘텐츠, 검색 용어들 또는 현재 캡처된 이미지의 다른 이미지 관련 정보를 결정하기 위해 통계적 분석을 수행하는 것을 포함할 수 있다. 서버는 이미지, 위치, 데이터베이스로부터 관심있는 근접 포인트들, 본 사용자 및 다른 사용자들로부터의 클릭-쓰루(click-through) 데이터 등과 같은 모든 정보 소스들에 걸쳐 수집된 정보를 결합할 수 있다. 서버는 또한 상충하거나 모호한 정보가 있는지를 결정할 수 있다. 서버는 데이터 서비스들, 리턴 링크들, 요청 부가 사용자 입력, 또는 다른 동작들을 액세스할 수 있다.
본 실시예에서, 서버는 도 5와 관련하여 보다 상세히 설명된 바와 같이 검색을 수행한다.
동작(424)에서, 서버는 위치 정보, 히스토그램 정보, OCR 정보, 동작 결과들, 또는 다른 데이터를 저장한다. 저장된 정보는 일반적으로 캡처된 이미지로 인덱싱되고, 따라서 저장된 정보는 후속의 캡처된 이미지를 평가하는데 사용될 수 있다.
도 5는 캡처된 이미지에 기초한 결과들 및 검색 용어들을 결정하기 위한 예시적 로직의 흐름도를 도시한다. 몇몇 실시예들에서, 이미지 콘텐츠 또는 사용자-희망 정보는 현재 캡처된 이미지 데이터 및 유사한 이미지 데이터 내의 또는 그 데이터에 기초한 가능성 있는 검색 용어들에 의해 식별될 수 있다. 용어들은 인식된 문자들, 정합하는 스트링들, 정합하는 히스토그램 특성들, 수동으로 미리 포퓰레이팅된(pre-populated) 용어들, 캡처된 이미지의 위치 등을 포함할 수 있다. 캡처된 이미지의 히스토그램 데이터는 다른 히스토그램 데이터 기초들 또는 다른 이미지 데이터 기초들에 대한 검색 입력으로서 사용될 수 있다. 몇몇 실시예들은 주요 전화 번호들, 또는 URL들 또는 상인 이름들, 또는 현재 캡처된 이미지 내의 또는 그에 기초한 다른 바람직한 용어들을 결정하기 위해 가중치를 사용할 수 있다. 다른 실시예들은 실험실에서의 과학 용어들과 같은 주요 과학 용어들, 또는 박물관에서의 예술 용어들과 같은 예술 용어들 등을 결정하기 위해 가중치를 사용할 수 있다.
이미지 데이터에 기초하여 가능한 검색 용어들을 결정하기 위한 본 예시적 실시예에서, 서버는, 동작(502)에서, 보다 가능성 있는 검색 용어들을 결정하기 위해 문맥 이미지-관련 데이터를 사용한다. 사용자 프로파일 데이터, 개별 또는 수집된 행동 데이터, 데이터 식별자 데이터, 또는 다른 그러한 데이터는 이미지 관련 데이터에 기초하여 검색될 수 있다. 이 문맥 데이터는 또한 최종 검색 용어들의 결정에 가중치를 부여하기 위해 사용될 수 있다. 예를 들면, 캡처된 데이터와 연관된 사용자 프로파일 데이터는 이미지 캡처링 모바일 디바이스의 사용자가 종종 영화 정보를 검색하였다는 것을 나타낼 수 있다. 동일 위치에 가까운 이전 이미지들은 또한 영화 용어들과 연관될 수 있다. 따라서, 인식된 문자들 및 히스토그램 데이터는 극장 게시판, 현재 상영중인 리스트된 영화들에 거의 대응할 수 있다. 따라서, 서버는 검색 워드들, 어구들, 배우 이름들, 극장 브랜드들, 또는 영화들과 연관된 다른 용어들을 결정할 수 있다.
트래킹된 위치 데이터는 또한 검색 용어들에 대한 확률 패턴들을 결정하는데 사용될 수 있다. 위치 데이터는 일반적으로 이미지 특징들과 결합된다. 위치 추정들은 일반적으로 하나 이상의 확률 추정들을 포함한다. 예를 들면, 추정은 이미지가 임의의 방향 및 아마도 거리로부터 취해진 확률을 나타낼 수 있다. 이것은 일반적으로 그 포인트에서의 확률 공간에서의 가우시안 범프(Gaussian bump)를 형성한다. 이 범프 내에서, 서버는 일반적으로 이전 이미지들 및 서버에 알려진 임의의 지리적 정보로부터의 추정일 수 있는 확률을 갖는 몇몇 오브젝트들을 알 것이다. 예를 들면, 서버는 캡처된 이미지의 위치에 가까운 뱅크(bank)라는 것을 알 수 있다. 유사하게, 이미지 분류 작업, 또는 OCR은 또한 그와 연관된 확률을 가질 수 있다. 캡처된 이미지의 주제를 결정하는 것은 후부(posterior)의 확률 추정에서 피크를 찾음으로써 향상될 수 있다. 이것은 알려진 위치 확률 추정들, 캡처된 이미지에 가까운 지역에 관해 알려진 이전 정보, 및 이미지-인식 결과들의 곱셈적 함수일 수 있다. 서버는 또한 새로운 빌딩 또는 새로운 게시판이 언제라도 구축될 수 있기 때문에 이전 정보가 줄곧 제로로 가지않는다는 것을 가정함으로써 계산을 조정할 수 있다. 예를 들면, 새로운 일반적인 소매점이 짧은 시간에 나타날 수 있을 가능성이 있다.
이전 이미지 분석 데이터에 기초하여, 이전 이미지들은 일반적으로 검색 정합 및 다른 프로세싱을 위해 사용될 수 있는 각각의 이전 이미지와 연관된 의미론적 용어를 갖는다. 예를 들면, 이미지와 연관된 용어들은 특정 랜딩 페이지(landing page)의 위치, 서비스, 또는 다른 네트워크 리소스를 식별할 수 있다. 네트워크 리소스는 광고주, 상인 등에 의해 제공되거나 지원될 수 있다. 부가하여, 또는 대안으로, 이미지와 연관된 용어들은 키를 하나 이상의 검색 결과 페이지들에 제공할 수 있다. 검색 데이터베이스(들)은 이름들, 전화 번호들, URL들, 이메일 어드레스들, 위치들을 제공한 등록된 광고주들 또는 상인들, 또는 광고주들 또는 상인들의 게시판들, 사인들 또는 이미지들에서 캡처될 수 있는 다른 아이템들의 데이터베이스들을 포함하지만, 이에 국한되는 것은 아니다. 광고 또는 상인 데이터베이스들, 또는 그들의 콘텐츠들은 배치 비즈(placement bids), 프리미엄 서비스 요금 등에 기초하여 가중치가 부여되거나, 필터링되거나, 우선순위화될 수 있다. 즉각적인 결과들이 얻어질 수 있고 검색 용어들을 개량하는데 사용될 수 있다.
서버는 캡처된 이미지와 관련있는 검색 용어들을 리턴한다. 예를 들면, 서버는 상인 이름, 전화 번호, 캡처된 이미지의 주제와 가장 가능성있는 URL을 리턴할 수 있다. 서버는 리턴된 검색 용어들에 기초하여 정보를 자동으로 얻을 수 있거나, 또는 이미지를 캡처한 모바일 디바이스에 그 용어들을 전송할 수 있다. 모바일 디바이스의 사용자는 리턴된 용어들을 브라우저를 통해 일반적인 검색 엔진에 제출할지를 결정할 수 있다.
동작(504)에서, 서버, 또는 다른 검색 엔진은 결정된 검색 용어들 또는 사용자가 선택한 결정된 검색 용어들에 기초하여 검색을 수행한다. 하나 이상의 검색 반복들이 수행되고, 및/또는 다수의 데이터베이스가 검색될 수 있다. 결과 동작(506)에서, 서버는 WML 페이지, XHTML 페이지, 텍스트 페이지, SMS 메시지, 또는 이전 이미지들에 인덱싱될 수 있는 다른 정보를 리턴할 수 있다. 리턴된 페이지는 이미지에서 캡처된 객체에 관한 홈 페이지로 고려될 수 있다. 홈 페이지를 리턴하게 되면, 서버는 상인, 광고주, 또는 그 홈 페이지의 다른 스폰서(들)에게 과금하게 할 수 있다. 이것은 화면 당 비용 또는 카메라 클릭 당 비용을 기초로 수익을 생성할 수 있다.
전술한 명세서, 예 및 데이터는 본 발명의 구성의 사용 및 제조의 완전한 설명을 제공한다. 예를 들면, 검색 프로세스, 또는 다른 동작들은 단지 정합하는 히스토그램 정보에 기초하여, 또는 단지 정합하는 OCR 데이터에 기초하여 수행될 수 있다. 또 다른 예로서, 캡처된 오디오 데이터는 그러한 용어들 또는 결과 정보를 결정하기 위해 유사한 방식으로 평가될 수 있다. 유사하게, 캡처된 비디오 데이터는 검색 용어들 또는 결과 정보를 결정하기 위해 유사한 방식으로 평가될 수 있다. 정합하는 임계값들은 또한 부가의 이미지들이 가까운 위치들에서 얻어짐에 따라 조정될 수 있다. 본 발명의 많은 실시예들이 본 발명의 사상과 범위를 벗어나지 않고 이루어질 수 있기 때문에, 본 발명은 이후에 첨부된 청구범위 내에 있다.

Claims (20)

  1. 정보를 액세스하는 방법으로서,
    모바일 디바이스에 의해 캡처된 이미지를 표현하는 이미지 데이터를 수신하는 단계,
    상기 이미지가 모바일 디바이스에 의해 캡처된 위치를 나타내는 위치 데이터를 수신하는 단계,
    상기 이미지 데이터로부터 이미지 속성 정보를 결정하는 단계,
    상기 이미지 속성 정보가 이전에 얻어진 속성 정보와 미리 정한 정합 임계값 내에서 정합하는 지를 결정하는 단계 - 상기 이전에 얻어진 속성 정보는 상기 이미지가 모바일 디바이스에 의해 캡처된 위치로부터 미리 정한 거리 내에서 캡처된 이전 이미지를 표현하는 이전에 얻어진 이미지 데이터로부터 얻어짐 -,
    상기 이미지 속성 정보가 상기 이전에 얻어진 속성 정보와 상기 미리 정한 정합 임계값 내에서 정합한다면 상기 위치 데이터에 기초하여 이미지 콘텐츠 정보를 액세스하는 단계 - 상기 콘텐츠 정보는 상기 이전에 얻어진 이미지 데이터와 연관되고 또한 상기 위치와 연관되는 이미지의 콘텐츠를 식별함 - ,
    상기 모바일 디바이스의 모바일 디바이스 식별자를 수신하는 단계,
    상기 모바일 디바이스 식별자와 연관된 프로파일 정보를 액세스하는 단계, 및
    상기 프로파일 정보에 기초하여 이미지 콘텐츠 정보의 일부를 선택하는 단계
    를 포함하는 정보 액세스 방법.
  2. 제1항에 있어서,
    상기 이미지 속성 정보는 상기 이미지의 히스토그램을 포함하고, 상기 이전에 얻어진 속성 정보는 상기 이전 이미지의 이전에 결정된 히스토그램을 포함하는 정보 액세스 방법.
  3. 제1항에 있어서,
    상기 이미지 속성 정보는 광학 문자 인식에 의해 상기 이미지로부터 결정된 문자를 포함하고, 상기 이전에 얻어진 속성 정보는 상기 이전 이미지의 이전에 결정된 문자를 포함하는 정보 액세스 방법.
  4. 제1항에 있어서,
    상기 이미지 속성 정보가 상기 이전에 얻어진 속성 정보와 상기 미리 정한 정합 임계값 내에서 정합한다면 상기 이미지 콘텐츠 정보에 기초하여 위치-관련 정보를 액세스하는 단계를 더 포함하고, 상기 위치-관련 정보는 상기 이전에 얻어진 이미지 데이터와 연관되고 또한 상기 위치와 연관되는 정보 액세스 방법.
  5. 제1항에 있어서,
    상기 이미지 콘텐츠 정보는 상인 정보의 식별자를 포함하는 정보 액세스 방법.
  6. 제1항에 있어서,
    상기 이전에 얻어진 이미지 데이터는 제2 모바일 디바이스로 얻어진 정보 액세스 방법.
  7. 제1항에 있어서,
    상기 이미지 콘텐츠 정보와 연관된 검색 용어를 결정하는 단계, 및
    상기 검색 용어에 기초하여 데이터 검색을 수행하는 단계
    를 더 포함하는 정보 액세스 방법.
  8. 삭제
  9. 제1항에 있어서,
    상기 프로파일 정보는 상기 모바일 디바이스의 사용자와 연관된 사용자 행동 정보를 포함하는 정보 액세스 방법.
  10. 제1항에 있어서,
    상기 미리 정한 거리 내에서 캡처된 복수의 이전 이미지 각각의 우선순위 레벨을 결정하는 단계, 및
    상기 이전에 얻어진 이미지 데이터에 의해 표현되는 상기 이전 이미지의 결정된 우선순위 레벨에 기초하여 상기 이전에 얻어진 속성 정보를 선택하는 단계
    를 더 포함하는 정보 액세스 방법.
  11. 제1항에 있어서,
    상기 이미지 콘텐츠 정보를 상기 모바일 디바이스에게 리턴하는 단계를 더 포함하는 정보 액세스 방법.
  12. 전자 장치로 하여금 제1항의 단계들을 포함하는 복수의 동작을 수행하도록 야기하는 명령어들을 포함하는 머신 판독가능 매체.
  13. 정보를 액세스하기 위한 서버로서,
    프로세서,
    상기 프로세서 및 네트워크와 통신하는 통신 인터페이스, 및
    상기 프로세서와 통신하고 또한 상기 프로세서로 하여금 복수의 동작을 수행하게 하는 명령어들 및 데이터를 저장하는 메모리
    를 포함하며,
    상기 복수의 동작은,
    상기 네트워크와 통신하는 모바일 디바이스에 의해 캡처된 이미지를 표현하는 이미지 데이터를 수신하는 동작,
    상기 이미지가 모바일 디바이스에 의해 캡처된 위치를 나타내는 위치 데이터를 수신하는 동작,
    상기 이미지 데이터로부터 이미지 속성 정보를 결정하는 동작,
    상기 이미지 속성 정보가 이전에 얻어진 속성 정보와 미리 정한 정합 임계값 내에서 정합하는 지를 결정하는 동작 - 상기 이전에 얻어진 속성 정보는 상기 이미지가 모바일 디바이스에 의해 캡처된 위치로부터 미리 정한 거리 내에서 캡처된 이전 이미지를 표현하는 이전에 얻어진 이미지 데이터로부터 얻어짐 -,
    상기 이미지 속성 정보가 상기 이전에 얻어진 속성 정보와 상기 미리 정한 정합 임계값 내에서 정합한다면 상기 위치 데이터에 기초하여 데이터 스토어로부터 이미지 콘텐츠 정보를 액세스하는 동작 - 상기 콘텐츠 정보는 상기 이전에 얻어진 이미지 데이터와 연관되고 또한 상기 위치와 연관되는 이미지의 콘텐츠를 식별함 -
    상기 모바일 디바이스의 모바일 디바이스 식별자를 수신하는 동작,
    상기 모바일 디바이스 식별자와 연관된 프로파일 정보를 액세스하는 동작, 및
    상기 프로파일 정보에 기초하여 상기 이미지 콘텐츠 정보의 일부를 선택하는 동작을 포함하는 서버.
  14. 제13항에 있어서,
    상기 이미지 속성 정보는,
    상기 이미지의 히스토그램 - 상기 이전에 얻어진 속성 정보는 상기 이전 이미지의 이전에 결정된 히스토그램을 포함함 -, 및
    광학 문자 인식에 의해 이미지로부터 결정된 문자 - 상기 이전에 얻어진 속성 정보는 상기 이전 이미지의 이전에 결정된 문자를 포함함 -
    중 적어도 하나를 포함하는 서버.
  15. 제13항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    상기 이미지 콘텐츠 정보와 연관된 검색 용어를 결정하는 동작, 및
    상기 검색 용어에 기초하여 데이터 검색을 수행하는 동작을 수행하도록 또한 야기하는
    서버.
  16. 제13항에 있어서,
    상기 프로파일 정보는 상기 모바일 디바이스의 사용자와 연관된 사용자 행동 정보를 포함하는 서버.
  17. 정보를 액세스하는 방법으로서,
    모바일 디바이스용 이미징 디바이스로 이미지를 캡처하는 단계,
    상기 이미징 디바이스의 위치를 결정하는 단계,
    상기 이미지로부터 이미지 데이터를 생성하는 단계,
    상기 이미지 데이터로부터 이미지 속성 정보를 결정하는 단계,
    상기 이미지 속성 정보를, 네트워크 인터페이스를 통해 데이터 서버에게 전송하는 단계 - 상기 이미지 속성 정보는 상기 이미지 속성 정보가 이전에 얻어진 속성 정보와 미리 정한 정합 임계값 내에서 정합하는 지를 결정하라는 요청과 함께 전송되고, 상기 이전에 얻어진 속성 정보는 상기 이미지가 모바일 디바이스에 의해 캡처된 위치로부터 미리 정한 거리 내에서 캡처된 이전 이미지를 표현하는 이전에 얻어진 이미지 데이터로부터 얻어짐 -,
    상기 이미지 속성 정보가 상기 이전에 얻어진 속성 정보와 상기 미리 정한 정합 임계값 내에서 정합한다면 상기 위치 데이터에 기초하여 이미지 콘텐츠 정보를 수신하는 단계 - 상기 콘텐츠 정보는 상기 이전에 얻어진 이미지 데이터와 연관되고 또한 상기 위치와 연관되는 이미지의 콘텐츠를 식별함 -
    상기 모바일 디바이스의 모바일 디바이스 식별자를 수신하는 단계,
    상기 모바일 디바이스 식별자와 연관된 프로파일 정보를 액세스하는 단계, 및
    상기 프로파일 정보에 기초하여 상기 이미지 콘텐츠 정보의 일부를 선택하는 단계
    를 포함하는 정보 액세스 방법.
  18. 제17항에 있어서,
    검색 엔진에게 검색 요청을 전송하는 단계를 더 포함하고, 상기 검색 요청은 상기 이미지 콘텐츠 정보의 적어도 일부를 포함하는 정보 액세스 방법.
  19. 정보에 대한 액세스를 제공하는 네트워크 디바이스로서,
    프로세서,
    상기 프로세서 및 네트워크와 통신하는 통신 인터페이스,
    상기 프로세서와 통신하는 이미지 프로세싱 컴포넌트,
    상기 프로세서와 통신하는 위치 검출기,
    상기 프로세서와 통신하는 출력 컴포넌트, 및
    상기 프로세서와 통신하고 또한 상기 프로세서로 하여금 복수의 동작을 수행하게 하는 명령어들 및 데이터를 저장하는 메모리
    를 포함하고,
    상기 복수의 동작은,
    상기 이미지 프로세싱 컴포넌트로 하여금 이미지를 캡처하도록 야기하는 동작,
    상기 위치 검출기로 하여금 상기 이미지가 캡처된 위치를 결정하도록 야기하는 동작,
    상기 이미지로부터 이미지 데이터를 생성하는 동작,
    상기 이미지 데이터로부터 이미지 속성 정보를 결정하는 동작,
    상기 이미지 속성 정보를, 상기 통신 인터페이스를 통해 데이터 서버에게 전송하는 동작 - 상기 이미지 속성 정보는 상기 이미지 속성 정보가 이전에 얻어진 속성 정보와 미리 정한 정합 임계값 내에서 정합하는 지를 결정하라는 요청과 함께 전송되고, 상기 이전에 얻어진 속성 정보는 상기 이미지가 모바일 디바이스에 의해 캡처된 위치로부터 미리 정한 거리 내에서 캡처된 이전 이미지를 표현하는 이전에 얻어진 이미지 데이터로부터 얻어짐-,
    상기 이미지 속성 정보가 상기 이전에 얻어진 속성 정보와 상기 미리 정한 정합 임계값 내에서 정합한다면 상기 위치 데이터에 기초하여 이미지 콘텐츠 정보를 수신하는 동작 - 상기 콘텐츠 정보는 상기 이전에 얻어진 이미지 데이터와 연관되고 또한 상기 위치와 연관된 이미지의 콘텐츠를 식별함 -,
    상기 모바일 디바이스의 모바일 디바이스 식별자를 수신하는 동작,
    상기 모바일 디바이스 식별자와 연관된 프로파일 정보를 액세스하는 동작,
    상기 프로파일 정보에 기초하여 상기 이미지 콘텐츠 정보의 일부를 선택하는 동작, 및
    상기 출력 컴포넌트로 상기 이미지 콘텐츠 정보를 출력하는 동작
    을 포함하는 네트워크 디바이스.
  20. 제19항에 있어서,
    상기 네트워크 디바이스는 모바일 디바이스를 포함하는 네트워크 디바이스.
KR1020107028223A 2008-05-15 2009-04-20 모바일 디바이스에 의해 기록된 이미지 콘텐츠에 기초한 데이터 액세스 KR101190395B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/121,259 2008-05-15
US12/121,259 US8406531B2 (en) 2008-05-15 2008-05-15 Data access based on content of image recorded by a mobile device
PCT/US2009/041146 WO2009140028A2 (en) 2008-05-15 2009-04-20 Data access based on content of image recorded by a mobile device

Publications (2)

Publication Number Publication Date
KR20110015438A KR20110015438A (ko) 2011-02-15
KR101190395B1 true KR101190395B1 (ko) 2012-10-16

Family

ID=41316239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107028223A KR101190395B1 (ko) 2008-05-15 2009-04-20 모바일 디바이스에 의해 기록된 이미지 콘텐츠에 기초한 데이터 액세스

Country Status (7)

Country Link
US (4) US8406531B2 (ko)
JP (1) JP5457434B2 (ko)
KR (1) KR101190395B1 (ko)
CN (2) CN102017661B (ko)
HK (1) HK1202663A1 (ko)
TW (1) TWI524801B (ko)
WO (1) WO2009140028A2 (ko)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171237B2 (en) 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
FR2913510B1 (fr) * 2007-03-07 2009-07-03 Eastman Kodak Co Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
US9753948B2 (en) * 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US20090327229A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Automatic knowledge-based geographical organization of digital media
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8363618B2 (en) 2008-08-29 2013-01-29 Ciright Systems, Inc. Content distribution platform
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US9324054B2 (en) * 2008-12-11 2016-04-26 Adobe Systems Incorporated Cross-platform document exchange using mobile devices
US8862500B1 (en) * 2009-02-17 2014-10-14 Amazon Technologies, Inc. Automated billboard tagging and selling
US8385591B1 (en) 2009-04-28 2013-02-26 Google Inc. System and method of using images to determine correspondence between locations
CN102461066B (zh) 2009-05-21 2015-09-09 数字标记公司 鉴别内容信号的方法
US20100333194A1 (en) * 2009-06-30 2010-12-30 Camillo Ricordi System, Method, and Apparatus for Capturing, Securing, Sharing, Retrieving, and Searching Data
US9135277B2 (en) * 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
EP2348383B1 (en) * 2009-12-31 2017-07-12 Sony Computer Entertainment Europe Limited System and method of virtual interaction
CN102782733B (zh) * 2009-12-31 2015-11-25 数字标记公司 采用配备有传感器的智能电话的方法和配置方案
WO2011146391A2 (en) * 2010-05-16 2011-11-24 Access Business Group International Llc Data collection, tracking, and analysis for multiple media including impact analysis and influence tracking
TWI407130B (zh) * 2010-05-25 2013-09-01 Nat Univ Tsing Hua 即時顯示電器之使用狀態及用電量資訊之系統及方法
JP5832432B2 (ja) * 2010-06-15 2015-12-16 株式会社ナビタイムジャパン ナビゲーションシステム、ナビゲーション方法、および、プログラム
WO2011158352A1 (ja) * 2010-06-16 2011-12-22 株式会社ナビタイムジャパン ナビゲーションシステム、端末装置、ナビゲーションサーバ、ナビゲーション装置、ナビゲーション方法、および、プログラム
KR20120028491A (ko) * 2010-09-15 2012-03-23 삼성전자주식회사 이미지 데이터 관리장치 및 방법
US20120109733A1 (en) * 2010-10-29 2012-05-03 Roper Colin J Method and system for providing dynamic marketing devices based on "real-time" data
US9380331B2 (en) * 2010-12-22 2016-06-28 Verizon Patent And Licensing Inc. Dynamic help content presentation methods and systems
KR101102896B1 (ko) * 2011-03-04 2012-01-09 (주)올라웍스 복수의 사용자가 동시에 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
US20150117796A1 (en) * 2011-03-28 2015-04-30 Google Inc. Method and system for prioritizing points of interest for display in a map
US20120323944A1 (en) * 2011-06-03 2012-12-20 Robbin Jeffrey L Management of network-based digital data repository
US9201895B2 (en) 2011-06-03 2015-12-01 Apple Inc. Management of downloads from a network-based digital data repository based on network performance
US9239849B2 (en) * 2011-06-08 2016-01-19 Qualcomm Incorporated Mobile device access of location specific images from a remote database
US9152882B2 (en) * 2011-06-17 2015-10-06 Microsoft Technology Licensing, Llc. Location-aided recognition
WO2013013087A2 (en) * 2011-07-20 2013-01-24 The Regents Of The University Of California Efficient searching of stationary datasets
US9082035B2 (en) 2011-08-29 2015-07-14 Qualcomm Incorporated Camera OCR with context information
US9179278B2 (en) * 2011-09-01 2015-11-03 Qualcomm Incorporated Systems and methods involving augmented menu using mobile device
US9165017B2 (en) * 2011-09-29 2015-10-20 Google Inc. Retrieving images
US9183546B2 (en) 2011-10-07 2015-11-10 Hewlett-Packard Development Company, L.P. Methods and systems for a reminder servicer using visual recognition
US9280545B2 (en) 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US9143601B2 (en) 2011-11-09 2015-09-22 Microsoft Technology Licensing, Llc Event-based media grouping, playback, and sharing
US9223902B1 (en) * 2011-11-29 2015-12-29 Amazon Technologies, Inc. Architectures for content identification
US20130145241A1 (en) 2011-12-04 2013-06-06 Ahmed Salama Automated augmentation of text, web and physical environments using multimedia content
CN103188334A (zh) * 2011-12-30 2013-07-03 宏碁股份有限公司 同步系统及其方法
US20130187862A1 (en) * 2012-01-19 2013-07-25 Cheng-Shiun Jan Systems and methods for operation activation
GB2499385A (en) * 2012-02-09 2013-08-21 Nokia Corp Automated notification of images with changed appearance in common content
JP2013164812A (ja) * 2012-02-13 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 有用情報提示システム及び有用情報提示システムの制御方法
JP5557861B2 (ja) * 2012-02-13 2014-07-23 日本電信電話株式会社 有用情報提示システム及び有用情報提示システムの制御方法
JP6078953B2 (ja) * 2012-02-17 2017-02-15 オムロン株式会社 文字認識方法、およびこの方法を用いた文字認識装置およびプログラム
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US8942921B1 (en) * 2012-04-24 2015-01-27 Google Inc. Displaying dynamic entertainment information on marquees in street-level imagery
TWM439206U (en) * 2012-04-27 2012-10-11 Richplay Technology Corp Service information platform device with image searching capability
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
US8843518B2 (en) * 2012-07-17 2014-09-23 Verizon Patent And Licensing Inc. Method and apparatus for establishing a connection with known individuals
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
US9124795B2 (en) * 2012-10-26 2015-09-01 Nokia Technologies Oy Method and apparatus for obtaining an image associated with a location of a mobile terminal
US10346877B1 (en) * 2012-12-03 2019-07-09 Maher Pedersoli Advertising and marketing platform
US9411801B2 (en) * 2012-12-21 2016-08-09 Abbyy Development Llc General dictionary for all languages
US20140240523A1 (en) * 2013-02-22 2014-08-28 T-Mobile Usa, Inc. Information delivery based on image data
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US20140258358A1 (en) * 2013-03-11 2014-09-11 Htc Corporation Method of combining network data and mobile device using the same
US9208548B1 (en) * 2013-05-06 2015-12-08 Amazon Technologies, Inc. Automatic image enhancement
US20140365299A1 (en) * 2013-06-07 2014-12-11 Open Tv, Inc. System and method for providing advertising consistency
US20150006361A1 (en) * 2013-06-28 2015-01-01 Google Inc. Extracting Card Data Using Three-Dimensional Models
US9342533B2 (en) 2013-07-02 2016-05-17 Open Text S.A. System and method for feature recognition and document searching based on feature recognition
US10769362B2 (en) 2013-08-02 2020-09-08 Symbol Technologies, Llc Method and apparatus for capturing and extracting content from documents on a mobile device
US10140257B2 (en) 2013-08-02 2018-11-27 Symbol Technologies, Llc Method and apparatus for capturing and processing content from context sensitive documents on a mobile device
US9036867B2 (en) * 2013-08-12 2015-05-19 Beeonics, Inc. Accurate positioning system using attributes
US9311338B2 (en) * 2013-08-26 2016-04-12 Adobe Systems Incorporated Method and apparatus for analyzing and associating behaviors to image content
US9554060B2 (en) 2014-01-30 2017-01-24 Google Inc. Zoom images with panoramic image capture
US9832353B2 (en) 2014-01-31 2017-11-28 Digimarc Corporation Methods for encoding, decoding and interpreting auxiliary data in media signals
ES2752728T3 (es) 2014-02-10 2020-04-06 Geenee Gmbh Sistemas y métodos para el reconocimiento basado en características de imagen
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US10311329B2 (en) * 2015-01-30 2019-06-04 International Business Machines Corporation Social connection via real-time image comparison
US9836650B2 (en) 2015-02-09 2017-12-05 Empire Technology Development Llc Identification of a photographer based on an image
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
JP6309477B2 (ja) * 2015-03-24 2018-04-11 国立大学法人京都大学 ユーザ関心推定システムおよび情報配信システム
US9763026B2 (en) * 2015-06-10 2017-09-12 Motorola Solutions, Inc. Method of and server for communicating with a remote device in a machine to machine wireless communication network
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US9948603B1 (en) * 2015-06-23 2018-04-17 Symantec Corporation System and method of constructing dynamic namespaces in the internet of things
US10373204B1 (en) * 2015-06-24 2019-08-06 Groupon, Inc. Mobile visual locator
US10157372B2 (en) * 2015-06-26 2018-12-18 Amazon Technologies, Inc. Detection and interpretation of visual indicators
KR20180105636A (ko) 2015-10-21 2018-09-28 15 세컨즈 오브 페임, 인크. 얼굴 인식 애플리케이션들에서 긍정 오류를 최소화하기 위한 방법들 및 장치
US10546015B2 (en) 2015-12-01 2020-01-28 Facebook, Inc. Determining and utilizing contextual meaning of digital standardized image characters
CN105551044B (zh) * 2015-12-16 2018-10-19 北京京东尚科信息技术有限公司 一种图片对比方法和装置
KR102469963B1 (ko) * 2016-03-16 2022-11-24 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10366144B2 (en) 2016-04-01 2019-07-30 Ebay Inc. Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image
US20170293938A1 (en) * 2016-04-08 2017-10-12 T-Mobile Usa, Inc. Interactive competitive advertising commentary
GB2565675B (en) * 2016-05-05 2021-12-01 Walmart Apollo Llc Systems and methods for collecting and processing image data
WO2018093438A1 (en) * 2016-08-26 2018-05-24 William Marsh Rice University Camera-based positioning system using learning
US10049310B2 (en) * 2016-08-30 2018-08-14 International Business Machines Corporation Image text analysis for identifying hidden text
US10606993B2 (en) * 2017-08-09 2020-03-31 Jumio Corporation Authentication using facial image comparison
US11349753B2 (en) * 2017-12-28 2022-05-31 Intel Corporation Converged routing for distributed computing systems
US20190034716A1 (en) 2017-12-28 2019-01-31 Intel Corporation Privacy-preserving demographics identification
WO2019133052A1 (en) 2017-12-28 2019-07-04 Yang Shao Wen Visual fog
US11216506B1 (en) * 2018-05-17 2022-01-04 Shutterstock, Inc. Image querying to surface undiscovered images
US20200026726A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC Systems and methods for interactive searching
TWI684907B (zh) * 2018-11-28 2020-02-11 財團法人金屬工業研究發展中心 數位影像辨識方法、電子裝置、電腦程式產品
US11200892B1 (en) 2018-12-10 2021-12-14 Amazon Technologies, Inc. Speech-enabled augmented reality user interface
KR102635454B1 (ko) * 2018-12-21 2024-02-13 구글 엘엘씨 이미지 시맨틱 콘텐츠를 이용한 브랜드 침투 결정 시스템
US11593951B2 (en) * 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
TWI755198B (zh) * 2020-12-11 2022-02-11 財團法人工業技術研究院 基於圖像的行為辨識方法及計算機可讀媒體

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
JPH11502344A (ja) 1995-03-20 1999-02-23 ロー テクノロジーズ 画像を識別するための装置及び方法
US5978773A (en) * 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0814611B1 (de) * 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
JP3893647B2 (ja) 1996-09-30 2007-03-14 マツダ株式会社 ナビゲーション装置
US5938721A (en) * 1996-10-24 1999-08-17 Trimble Navigation Limited Position based personal digital assistant
US5933829A (en) * 1996-11-08 1999-08-03 Neomedia Technologies, Inc. Automatic access of electronic information through secure machine-readable codes on printed documents
US6044168A (en) 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6983478B1 (en) * 2000-02-01 2006-01-03 Bellsouth Intellectual Property Corporation Method and system for tracking network use
WO1998051035A1 (en) * 1997-05-09 1998-11-12 Neomedia Technologies, Inc. Method and system for accessing electronic resources via machine-readable data on intelligent documents
US6091957A (en) * 1997-06-12 2000-07-18 Northern Telecom Limited System and method for providing a geographic location of a mobile telecommunications unit
JP2001521250A (ja) 1997-10-27 2001-11-06 マサチューセッツ・インスティチュート・オブ・テクノロジー 情報の検索および検索システム
JP2002536722A (ja) * 1999-02-01 2002-10-29 バーポイント．コム．インコーポレイテッド ネットワーク上で製品を調べるための対話型システム
US6651053B1 (en) * 1999-02-01 2003-11-18 Barpoint.Com, Inc. Interactive system for investigating products on a network
MXPA01010103A (es) * 1999-04-05 2002-11-04 Neomedia Tech Inc Sistema y metodo para utilizar codigos de enlace legibles por maquina o legibles por humanos para tener acceso a recursos de datos en red.
US20020072815A1 (en) * 2000-01-21 2002-06-13 Mcdonough William A. Portable information system and method for golf play enhancement, analysis, and scorekeeping
CA2298194A1 (en) 2000-02-07 2001-08-07 Profilium Inc. Method and system for delivering and targeting advertisements over wireless networks
US6766363B1 (en) * 2000-02-28 2004-07-20 Barpoint.Com, Inc. System and method of linking items in audio, visual, and printed media to related information stored on an electronic network using a mobile device
US6675165B1 (en) * 2000-02-28 2004-01-06 Barpoint.Com, Inc. Method for linking a billboard or signage to information on a global computer network through manual information input or a global positioning system
US6385541B1 (en) * 2000-02-29 2002-05-07 Brad Wayne Blumberg Global positioning-based real estate database access device and method
US20010044824A1 (en) * 2000-03-31 2001-11-22 Kevin Hunter System for using wireless web devices to store web link codes on list server for subsequent retrieval
US6882313B1 (en) * 2000-06-21 2005-04-19 At Road, Inc. Dual platform location-relevant service
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
JP2002183186A (ja) 2000-12-18 2002-06-28 Yamaha Motor Co Ltd モバイル機を用いた情報交換システム
JP2002183742A (ja) * 2000-12-18 2002-06-28 Yamaha Motor Co Ltd 旅の電子アルバム作成方法および装置並びに電子アルバム作成用モバイルツール
US20020147029A1 (en) * 2001-04-09 2002-10-10 Chung-Wei Wu Mobile phone
US7535492B2 (en) * 2002-07-02 2009-05-19 Lightsurf Technologies, Inc. Imaging system providing automated fulfillment of image photofinishing based on location
US7133555B2 (en) * 2002-08-02 2006-11-07 Intel Corporation Image color matching scheme
US7180622B2 (en) * 2002-11-25 2007-02-20 Eastman Kodak Company Method and system for automatically forwarding an image product
KR100703444B1 (ko) 2003-06-03 2007-04-03 삼성전자주식회사 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법
GB2402536B (en) 2003-06-05 2008-04-02 Canon Kk Image processing
WO2005001628A2 (en) * 2003-06-06 2005-01-06 Neomedia Technologies, Inc. Automatic access of internet content with a camera-enabled cell phone
KR100533033B1 (ko) * 2003-07-28 2005-12-02 엘지전자 주식회사 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
US20050030588A1 (en) * 2003-08-06 2005-02-10 Curtis Reese Methods and apparatus utilizing embedded data layers
JP2005134352A (ja) 2003-10-31 2005-05-26 Sony Corp ナビゲーション装置
US7627152B2 (en) * 2003-11-26 2009-12-01 Ge Medical Systems Information Technologies, Inc. Image-based indicia obfuscation system and method
JP3944160B2 (ja) * 2003-12-25 2007-07-11 キヤノン株式会社 撮像装置、情報処理装置、それらの制御方法及びプログラム
JP4401767B2 (ja) * 2003-12-26 2010-01-20 京セラ株式会社 無線通信システムおよび携帯端末装置
US7872669B2 (en) * 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
KR100651508B1 (ko) 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US7707218B2 (en) * 2004-04-16 2010-04-27 Mobot, Inc. Mobile query system and method based on visual cues
JPWO2006001129A1 (ja) * 2004-06-29 2008-04-17 ソニー株式会社 情報処理装置および方法、プログラム、並びに情報処理システム
JP4400347B2 (ja) 2004-07-08 2010-01-20 株式会社デンソー ナビゲーション装置およびプログラム
JP2006059136A (ja) 2004-08-20 2006-03-02 Seiko Epson Corp ビューア装置及びそのプログラム
JP2006105640A (ja) 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
WO2006043319A1 (ja) 2004-10-20 2006-04-27 Fujitsu Limited 端末及びサーバ
JP4632793B2 (ja) * 2005-01-12 2011-02-16 京セラ株式会社 ナビゲーション機能付き携帯型端末機
US20060164382A1 (en) 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
JP4630678B2 (ja) * 2005-01-28 2011-02-09 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US20060242565A1 (en) 2005-04-20 2006-10-26 Nokia Corporation System and method for handling absolute positioning in a small screen optimized layout
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
WO2006128947A1 (en) * 2005-05-30 2006-12-07 Nokia Corporation Method, associated device, system, and computer program product for data management
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US7577665B2 (en) * 2005-09-14 2009-08-18 Jumptap, Inc. User characteristic influenced search results
JP4687409B2 (ja) * 2005-11-11 2011-05-25 ソニー株式会社 撮像再生装置
US7523132B2 (en) * 2006-02-06 2009-04-21 Itaggit, Inc. Data tag creation from a physical item data record to be attached to a physical item
US20070244925A1 (en) * 2006-04-12 2007-10-18 Jean-Francois Albouze Intelligent image searching
US7813561B2 (en) * 2006-08-14 2010-10-12 Microsoft Corporation Automatic classification of objects within images
US20080200153A1 (en) 2006-09-28 2008-08-21 Dudley Fitzpatrick Apparatuses, methods and systems for code triggered information querying and serving on mobile devices based on profiles
US7620026B2 (en) 2006-10-12 2009-11-17 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for providing advertising and/or information services over mobile ad hoc cooperative networks using electronic billboards and related devices
US8171237B2 (en) * 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
EP2090867A4 (en) 2006-12-05 2012-03-21 Navitime Japan Co Ltd NAVIGATION SYSTEM, PORTABLE TERMINAL DEVICE, AND PERIPHERAL IMAGE DISPLAY METHOD
CN101000623A (zh) * 2007-01-08 2007-07-18 深圳市宜搜科技发展有限公司 通过手机拍照进行图像识别搜索的方法及采用该方法的装置
US7751620B1 (en) * 2007-01-25 2010-07-06 Bitdefender IPR Management Ltd. Image spam filtering systems and methods
JP2010530998A (ja) * 2007-05-08 2010-09-16 アイトゲネーシッシュ テヒニッシュ ホーホシューレ チューリッヒ 画像ベース情報検索の方法およびシステム
US7920849B2 (en) * 2007-07-13 2011-04-05 Pop Adrian Method and system for providing advertisements/messages based on wireless data communication technology
WO2009040574A1 (en) * 2007-09-24 2009-04-02 Taptu Ltd Search results with search query suggestions
US8315423B1 (en) * 2007-12-28 2012-11-20 Google Inc. Providing information in an image-based information retrieval system
US7847729B2 (en) * 2008-01-28 2010-12-07 Research In Motion Limited GPS pre-acquisition for geotagging digital photos
US8166189B1 (en) * 2008-03-25 2012-04-24 Sprint Communications Company L.P. Click stream insertions
US20090278949A1 (en) * 2008-05-06 2009-11-12 Mcmahan David Michael Camera system and method for providing information on subjects displayed in a camera viewfinder
US8676001B2 (en) * 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US9753948B2 (en) 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8724909B2 (en) * 2008-06-03 2014-05-13 Kooaba Ag Method and system for generating a pictorial reference database using geographical information
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator

Also Published As

Publication number Publication date
TWI524801B (zh) 2016-03-01
US9483499B2 (en) 2016-11-01
KR20110015438A (ko) 2011-02-15
JP2011525002A (ja) 2011-09-08
CN102017661B (zh) 2014-08-20
JP5457434B2 (ja) 2014-04-02
CN102017661A (zh) 2011-04-13
US9665596B2 (en) 2017-05-30
TW201018298A (en) 2010-05-01
US20130223744A1 (en) 2013-08-29
US20170255650A1 (en) 2017-09-07
US11256739B2 (en) 2022-02-22
US8406531B2 (en) 2013-03-26
US20090285492A1 (en) 2009-11-19
CN104239408A (zh) 2014-12-24
WO2009140028A2 (en) 2009-11-19
WO2009140028A3 (en) 2010-01-28
US20170024414A1 (en) 2017-01-26
HK1202663A1 (en) 2015-10-02
CN104239408B (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
US11256739B2 (en) Data access based on con lent of image recorded by a mobile device
US10565771B2 (en) Automatic video segment selection method and apparatus
US10652311B2 (en) Computerized system and method for determining and communicating media content to a user based on a physical location of the user
US10896355B2 (en) Automatic canonical digital image selection method and apparatus
CN110046299B (zh) 用于自动地执行隐式消息搜索的计算机化系统和方法
US8385589B2 (en) Web-based content detection in images, extraction and recognition
US11153253B2 (en) System and method for determining and delivering breaking news utilizing social media
US10664484B2 (en) Computerized system and method for optimizing the display of electronic content card information when providing users digital content
US10482091B2 (en) Computerized system and method for high-quality and high-ranking digital content discovery
US20150032535A1 (en) System and method for content based social recommendations and monetization thereof
US20150234891A1 (en) Method and system for providing code scanning result information
CN107958042B (zh) 一种目标专题的推送方法及移动终端
CN113869063A (zh) 数据推荐方法、装置、电子设备及存储介质
US20150052155A1 (en) Method and system for ranking multimedia content elements
CN111353422B (zh) 信息提取方法、装置及电子设备
CN114328987A (zh) 媒体内容的召回方法、装置、设备、存储介质和产品
CN118212008A (zh) 一种针对全量客户的目标业务空间确定方法和装置
CN116503115A (zh) 一种基于互联网游戏平台的广告资源推荐方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150917

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160921

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 7