KR101523811B1 - 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법 - Google Patents

모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101523811B1
KR101523811B1 KR1020117027029A KR20117027029A KR101523811B1 KR 101523811 B1 KR101523811 B1 KR 101523811B1 KR 1020117027029 A KR1020117027029 A KR 1020117027029A KR 20117027029 A KR20117027029 A KR 20117027029A KR 101523811 B1 KR101523811 B1 KR 101523811B1
Authority
KR
South Korea
Prior art keywords
image
metadata
search query
computer
generating
Prior art date
Application number
KR1020117027029A
Other languages
English (en)
Other versions
KR20120007045A (ko
Inventor
조셉 지-후이 후앙
용 창
시앙-춘 리
디벤더 아키라 야마카와
산토스 조제 히카르도 도스
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20120007045A publication Critical patent/KR20120007045A/ko
Application granted granted Critical
Publication of KR101523811B1 publication Critical patent/KR101523811B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

구현들은 실시간 이미지 인식 및 모바일 시각 검색을 위한 시스템 및 방법에 관한 것이다. 셀룰러폰과 같은 모바일 디바이스는 이미지를 획득하고, 획득된 이미지를 사전-프로세싱하여 획득된 이미지에서 검출된 객체들에 기초하여 시각 검색 질의를 생성한다. 시각 검색 질의는 획득된 이미지 또는 그로부터 추출된 질의 이미지 및 검출된 객체들과 관련된 메타데이터를 포함한다. 모바일 디바이스는 시각 검색 질의를 원격 서버에 무선으로 통신하고, 시각 검색 질의에 응답하여, 원격 서버는 관련 메타데이터에 기초하여 질의 이미지 내의 객체를 인식한다. 그 후, 원격 서버는 인식된 객체에 기초하여 정보 컨텐츠를 생성하고, 그 정보 컨텐츠를 모바일 디바이스를 통해 제시되도록 모바일 디바이스에 통신한다.

Description

모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR IMAGE RECOGNITION USING MOBILE DEVICES}
35 U.S.C.§119 하의 우선권 주장
본 특허 출원은, 본 특허 출원의 양수인에게 양도되거나 또는 그 양수인에게의 양도의 의무 하에 있고 여기에 참조에 의해 명백히 통합되는, Ricardo dos Santos, Yong Chang, Joseph Huang, Hsiang-Tsun Li, 및 Dev Yamakawa 에 의해 2009년 4월 14일자로 출원된 발명의 명칭이 "Systems and Methods for Image Recognition Using Mobile Devices" 인 가출원번호 제61/169,295호에 대해 우선권을 주장한다.
본 교시는 일반적으로 모바일 디바이스를 이용하여 이미지 인식 및 시각 검색 (visual searching) 을 수행하는 방법 및 장치에 관한 것으로, 더 상세하게는 모바일 디바이스를 통해 획득된 이미지를 사전-프로세싱 (pre-processing) 하여 네트워크 인식 시스템에 통신될 수 있는 축소된 세트의 이미지 파라미터들을 추출하여, 관심 객체들을 식별하고, 그 식별에 기초하여 관련 컨텐츠를 검색하는 플랫폼 및 기법에 관한 것이다.
셀룰러 통신 기술 및 모바일 통신 디바이스들의 진보, 이를 테면 이러한 통신 디바이스들에의 카메라 및 비디오 레코딩 기술의 통합, 셀룰러 통신 네트워크들에의 이메일 및 단문 메시징 서비스 (short messaging services) 의 결합 등은 이미 아주 흔한 모바일 통신 디바이스들에 더 큰 플렉서빌리티 (flexibility), 프로세싱 능력, 및 통신 능력을 부가하고 있다. 그 결과, 이러한 모바일 통신 디바이스들은 소비자 시장에서 더 인기를 얻고 있으며, 많은 소비자들은 이제 그들의 모바일 통신 디바이스들, 이를 테면 셀룰러폰에 의존하여, 사진 촬영 및 비디오 촬영하고, 그들의 소셜 네트워크에서 메시지들을 교환하고, 구매 결정을 행하고, 금융 거래를 실시하며, 다른 활동등을 수행한다.
광고 컨텐츠 및 다른 정보 컨텐츠는 의도된 수신자들에 의한 컨텐츠의 클릭-스루 (click-thru) 및 변환율 (conversion rate) 에 기초하여 타겟팅, 전달, 및 가격결정될 수 있는데, 이는 광고 컨텐츠의 관련성 (relevance) 및 그 광고 컨텐츠의 전달의 시의성 (timeliness) 에 의해 영향을 받는다. 예를 들면, 일본의 대부분의 소비자들은 그들의 셀룰러폰을 이용하여 인쇄된 광고 내의 바코드의 사진을 촬영하여 광고된 제품 또는 서비스와 관련된 정보를 획득하고 있으며, 관련 광고 컨텐츠가 잠재적인 소비자들의 셀룰러폰에 즉시 전송된다면, 이러한 광고 컨텐츠는 높은 변환율을 가질 가능성이 있다. 잠재적인 소비자들은 그들의 셀룰러폰을 이용하여 인쇄된 광고의 사진을 촬영하며, 셀룰러폰은 그 후 인쇄된 광고의 사진을 가진 멀티미디어 메시징 서비스 (multimedia messaging service; MMS) 메시지들을 서버로 전송한다. 서버는 그 사진의 광고들의 데이터베이스와의 일-대-일 매칭을 수행하고, 약 30 초 내지 60 초 후에, 서버는 인쇄된 광고와 관련된 웹 링크를 포함하는 단문 메시징 서비스 (short messaging service; SMS) 메시지를 잠재적인 소비자들에게 전송한다. 그러나, 이러한 광고 및 정보 컨텐츠 타겟팅 및 전달 시스템들은 인쇄된 광고의 사진을 송신하기 위해 상당한 양의 대역폭을 요구하고, 그 사진을 광고들의 전체 데이터베이스와 매칭시키기 위해 상당한 리소스들 및 시간을 소비한다.
다음은 하나 이상의 양태들의 기본적인 이해를 제공하기 위하여 이러한 양태들의 단순화된 개요를 제시한다. 이 개요는 모든 예상된 양태들의 광범위한 개관이 아니며, 모든 양태들의 중대한 또는 결정적인 엘리먼트들을 식별하는 것으로도 임의의 또는 모든 양태들의 범위를 정확하게 서술하는 것으로도 의도되지 않는다. 이 개요의 유일한 목적은 후에 제시되는 보다 상세한 설명에 대한 서두로서 하나 이상의 양태들의 일부 개념들을 단순화된 형태로 제시하는 것이다.
하나 이상의 양태들에서의 본 교시에 따르면, 이미지 인식 및 모바일 시각 검색을 수행하는 방법 및 장치가 제공되며, 여기서 모바일 디바이스 사용자는 이미지를 획득하고 모바일 디바이스를 통해 이미지와 관련된 정보 컨텐츠를 수신한다. 본 교시의 하나 이상의 구현에서, 모바일 디바이스는 획득된 이미지 내의 두드러진 특징 클러스터들 (feature clusters) 에 기초하여 하나 이상의 객체들을 검출, 카테고리화 및/또는 인식하고 그 객체들에 기초하여 시각 검색 질의 (visual search query) 를 생성할 수 있다. 시각 검색 질의는 획득된 이미지 또는 그로부터 추출된 질의 이미지, 및 객체들과 관련된 메타데이터를 포함할 수 있다. 모바일 디바이스는 시각 검색 질의를 원격 서버에 무선으로 통신할 수 있는데, 원격 서버는 시각 검색 질의에 응답하여 정보 컨텐츠를 생성할 수 있고, 그 후 모바일 디바이스는 정보 컨텐츠를 수신 및 제시할 수 있다.
일 구현에 따르면, 모바일 디바이스는 객체들을 검출하여 사용자에게 하이라이트 (highlight) 하고, 적어도 하나의 선택된 객체를 나타내는 입력을 수신할 수 있다. 객체들은 예를 들어, 로고, 디자인, 얼굴, 랜드마크, 어패럴, 간판 (sign), 자연 객체 (natural object) 또는 인공 객체 (man-made object) 등을 포함할 수 있다. 그 후, 모바일 디바이스는 선택된 객체에 기초하여 특징 벡터 (feature vector) 를 생성하고, 특징 벡터를 트레이닝된 이미지들의 이미지 계수들의 세트와 비교하여 선택된 객체에 매칭하는 매칭하는 트레이닝된 이미지를 결정할 수 있다. 이미지 계수들의 세트는 모바일 디바이스 내에 저장될 수 있다. 모바일 디바이스는 그 후 매칭하는 트레이닝된 이미지에 기초하여 선택된 객체를 카테고리화 및/또는 인식하고 매칭하는 트레이닝된 이미지에 기초하여 메타데이터를 생성할 수 있다. 또한, 모바일 디바이스는 예를 들어, 획득된 이미지를 크로핑 (cropping) 하고, 획득된 이미지를 압축하고, 획득된 이미지를 스케일링하며, 획득된 이미지를 그레이스케일로 변환함으로써 선택된 객체에 기초하여 획득된 이미지로부터 질의 이미지를 추출할 수 있다.
일 구현에 따르면, 모바일 디바이스는 획득된 이미지와 관련된 문맥 데이터 (contextual data) 를 획득하고 그 문맥 데이터를 시각 검색 질의에 포함하는 센서들을 포함할 수 있다. 문맥 데이터는, 예를 들어, 글로벌 포지셔닝 시스템 (Global Positioning System; GPS) 위치 픽스 (location fix), A (Assisted)-GPS 위치 픽스, 갈릴레오 시스템 위치 픽스, 타워 삼변측량 픽스 (tower trilateration fix), 사용자 입력된 텍스트 정보 또는 청각 정보, 가속도계 판독, 자이로스코프 판독, 온도 판독 등을 포함할 수 있다.
일 구현에 따르면, 모바일 디바이스는 시각 검색 질의를 이미지 인식 시스템 내의 원격 서버에 무선으로 통신할 수 있다. 질의 이미지 및 그 질의 이미지 내의 적어도 하나의 객체와 관련된 메타데이터를 포함하는 시각 검색 질의의 수신 시에, 원격 서버는 관련 메타데이터에 기초하여 질의 이미지 내의 객체를 인식할 수 있다. 예를 들어, 원격 서버는 관련 메타데이터에 기초하여 트레이닝된 이미지들의 세트를 선택하고, 질의 이미지를 트레이닝된 이미지들의 세트와 비교하여 질의 이미지에 매칭하는 매칭하는 트레이닝된 이미지를 결정하며, 매칭하는 트레이닝된 이미지에 기초하여 이미지 내의 객체를 인식할 수 있다. 원격 서버는 그 후 인식된 객체에 기초하여 정보 컨텐츠를 생성하고, 시각 검색 질의에 응답하여 정보 컨텐츠를 통신할 수 있다. 정보 컨텐츠는 예를 들어, 이름, 가격, 제조자, 리뷰, 쿠폰, 및 광고를 포함할 수 있다.
일 구현에 따르면, 원격 서버는, 질의 이미지 및 관련 메타데이터에 더하여, 질의 이미지와 관련된 문맥 데이터를 포함하는 시각 검색 질의를 수신할 수 있다. 이러한 구현에서, 원격 서버는 인식된 객체 및 문맥 데이터에 기초하여 정보 컨텐츠를 생성한 후, 시각 검색 질의에 응답하여 정보 컨텐츠를 모바일 디바이스에 통신할 수 있다.
일 구현에 따르면, 일 관점에서, 모바일 디바이스는 시각 검색 질의를 무선으로 통신하기 전에 획득된 이미지를 사전-프로세싱하기 때문에, 모바일 디바이스는 전체 획득된 이미지 대신에 획득된 이미지의 관련 부분을 추출 및 전송할 수 있으며, 이로써 시각 검색 질의가 통신되는 속도를 향상시키고 통신 대역폭 요건을 감소시킬 수 있다. 또한, 원격 서버는 질의 이미지와 관련된 메타데이터 및/또는 문맥 데이터를 이용하여 질의 이미지 내의 관심 객체를 인식하게 도울 수 있는데, 이는 원격 서버로 하여금 시각 검색의 범위에 포커싱할 수 있게 하여, 전체적으로 원격 서버 및 이미지 인식 시스템의 정확성, 속도 및 효율을 개선시킨다. 더욱이, 원격 서버는 관련 메타데이터 및/또는 문맥 데이터를 이용하여 정보 컨텐츠에 포커싱 또는 다르게는 테일러링 (tailoring) 할 수 있는데, 이는 원격 서버, 및 따라서 이미지 인식 시스템으로 하여금, 시각 검색 질의에 응답하여, 관련 정보 컨텐츠를 실시간으로 또는 거의 실시간으로 제공할 수 있게 하는 것이 가능하다.
전술 및 관련 목표의 달성을 위해, 하나 이상의 양태들은 이하 완전히 설명되고 특히 특허청구의 범위에서 언급된 특징들을 포함한다. 다음의 설명 및 첨부된 도면들은 하나 이상의 양태들의 소정의 예시적인 특징들을 상세하게 기술한다. 그러나, 이들 특징들은 다양한 양태들의 원리가 이용될 수도 있는 다양한 방식들 중 일부만을 나타내며, 이 설명은 모든 이러한 양태들 및 그들의 등가물을 포함하는 것으로 의도된다.
본 명세서에 포함되고 그 일부를 구성하는 첨부 도면들은 본 교시의 양태들을 예시하며, 그 설명과 함께, 본 교시의 원리를 설명하는 역할을 한다.
도 1 은 본 교시의 일 양태에 부합하는, 휴대용 이미지 센서를 갖는 모바일 디바이스 및 이미지 인식 시스템의 백-엔드 (back-end) 내의 원격 서버를 포함하는 일 예시적인 이미지 인식 시스템을 예시한 도면이다.
도 2 는 본 교시의 일 구현에 따른, 모바일 디바이스의 일 예시적인 구성을 예시한 도면이다.
도 3 은 본 교시의 일 구현에 부합하는, 모바일 시각 검색 및 이미지 인식을 용이하게 하고 모바일 시각 검색 및 이미지 인식에 참여하는 이미지 인식 시스템의 백-엔드의 일 예시적인 구성을 예시한 도면이다.
도 4 는 본 교시의 다른 구현에 따른, 모바일 시각 검색을 가능하게 하고 이미지 인식을 용이하게 하기 위해 모바일 디바이스에 의해 수행되는 프로세싱의 플로우차트를 예시한다.
도 5 는 본 교시의 또 다른 구현에 따른, 모바일 시각 검색을 가능하게 하고 이미지 인식을 용이하게 하기 위해 이미지 인식 시스템의 백-엔드에 의해 수행되는 프로세싱의 플로우차트를 예시한다.
도 6a 내지 도 6d 는 본 교시의 또 다른 구현에 따른, 일 예시적인 모바일 시각 검색의 프로세싱 시퀀스를 예시한 도면이다.
이제 본 교시의 일 구현을 상세하게 참조하게 되며, 본 교시의 일 예가 첨부 도면들에 예시된다. 가능한 모든 경우에는, 도면들 전반에 걸쳐 동일하거나 유사한 부분들을 지칭하는데 동일한 참조 번호들이 사용될 것이다.
이제 다양한 양태들이 도면들을 참조하여 설명된다. 다음의 설명에서는, 설명을 목적으로 다수의 특정 상세가 하나 이상의 양태들의 완전한 이해를 제공하기 위하여 기술된다. 그러나, 이러한 양태(들)가 이들 특정 상세 없이 실시될 수도 있다는 것은 분명할 수도 있다.
본 설명에서, "예시적인" 이란 단어는 예, 경우 또는 예시로서 역할을 하는 것을 의미하는데 사용된다. 여기서 "예시적인" 것으로 설명된 임의의 양태 또는 디자인이 반드시 다른 양태들 또는 디자인들에 비해 바람직하거나 이로운 것으로서 해석될 필요는 없다. 오히려, 예시적인이란 단어의 사용이 개념들을 구체적인 방식으로 제시하는 것으로 의도된다.
또한, "or (또는)" 이란 용어는 배타적 (exclusive) "or" 이라기 보다는 포괄적 (inclusive) "or" 을 의미하는 것으로 의도된다. 즉, 다르게 특정하지 않았거나, 또는 문맥으로부터 명확하지 않다면, 구절 "X 는 A 또는 B 를 사용한다" 는 자연 포괄적 순열들 (natural inclusive permutations) 중 임의의 것을 의미하는 것으로 의도된다. 즉, 구절 "X 는 A 또는 B 를 사용한다" 는 다음의 예들 중 임의의 것에 의해 충족된다 : X 는 A 를 사용한다; X 는 B 를 사용한다; 또는 X 는 A 와 B 양자를 이용한다. 또한, 본 출원 명세서 및 첨부된 특허청구의 범위에 사용되는 관사 "a" 및 "an" 은, 다르게 특정하지 않았거나, 또는 단수 형태를 지칭함이 문맥으로부터 명확하지 않다면 일반적으로는 "하나 이상 (one or more)" 을 의미하는 것으로 해석되어야 한다.
추가로, 다양한 양태들 또는 특징들은 다수의 디바이스들, 컴포넌트들, 모듈들 등을 포함할 수 있는 시스템들의 관점에서 제시될 것이다. 다양한 시스템들은, 도면들과 관련하여 언급되는 추가의 디바이스들, 컴포넌트들, 모듈들 등을 포함할 수 있으며/있거나 그 디바이스들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 것을 이해하게 되고 알게 될 것이다. 이들 접근법들의 조합이 또한 이용될 수도 있다.
본 교시의 양태들은 모바일 디바이스를 통해 시각 검색 및 이미지 인식을 수행하는 시스템 및 방법에 관한 것이다. 더 상세하게는, 하나 이상의 양태들에서, 그리고 예를 들어 도 1 에 일반적으로 나타낸 바와 같이, 모바일 시각 검색 및 이미지 인식이 모바일 디바이스 (130) 를 통해 개시되고 이미지 인식 시스템 (120) 에서 수행되는 플랫폼들 및 기법들이 제공된다. 일 구현에 따르면, 그리고 예를 들어 도 1 및 도 2 에 일반적으로 나타낸 바와 같이, 모바일 디바이스 (130) 는 이미지 (100) 를 획득 및 사전-프로세싱하여 모바일 시각 검색을 개시할 수 있다. 모바일 디바이스 (130) 는 이미지 (100) 내의 두드러진 특징들, 또는 관심 특징들의 클러스터들 (clusters) 에 기초하여 하나 이상의 객체들을 검출하고, 검출된 객체들, 이를 테면 패턴들 (115) 을 하이라이트 (highlight) 하며, 그 객체들을 트레이닝된 이미지들과 비교하여 객체들을 카테고리화 또는 인식할 수 있다. 모바일 디바이스는 카테고리화 또는 인식된 객체들에 기초하여 획득된 이미지로부터 서브-이미지를 추출할 수 있다. 모바일 디바이스 (130) 는 또한 카테고리화 또는 인식된 객체들에 기초하여 메타데이터를 생성하고 이미지 (100) 와 관련된 문맥 데이터 (contextual data), 이를 테면 글로벌 포지셔닝 시스템 (Global Positioning System; GPS) 위치를 획득할 수 있다. 모바일 디바이스 (130) 는 획득된 이미지 또는 그로부터 추출된 서브-이미지, 및 관련 메타데이터 및/또는 문맥 데이터를 포함하는 시각 검색 질의 (visual search query) 를 생성하여 무선 커넥션 (132) 및 무선 서비스 제공자 (150) 를 통해 원격 서버 (140) 에 통신할 수 있다. 하나 이상의 예에서, 추출된 서브-이미지는 획득된 이미지보다 더 작은 파일 사이즈를 갖는다. 따라서, 전체 획득된 이미지 대신에 추출된 서브-이미지를 포함하는 시각 검색 질의가 통신된다. 이런 이미지 축소는, 시각 검색 질의가 통신되는 속도를 향상시키고 서버 또는 다른 목적지에 대한 통신 대역폭 요건을 감소시킬 수 있다.
일 구현에 따르면, 그리고 예를 들어 도 1 및 도 3 에 나타낸 바와 같이, 이미지 인식 시스템 (120) 의 원격 서버 (140) 는 시각 검색 질의를 수신하고 모바일 디바이스 (130) 를 통해 제시될 정보 컨텐츠를 생성할 수 있다. 질의 이미지, 및 질의 이미지와 관련된 메타데이터 및/또는 문맥 데이터를 포함하는 시각 검색 질의의 수신 시에, 원격 서버 (140) 는 관련 메타데이터에 기초하여 질의 이미지 내의 적어도 하나의 객체를 인식할 수 있다. 원격 서버는 인식된 객체 및 관련 문맥 데이터에 기초하여 정보 컨텐츠를 생성한 후, 그 정보 컨텐츠를 모바일 디바이스 (130) 에 통신할 수 있다. 그 후에, 모바일 디바이스 (130) 는 시각 검색 질의에 응답하여 정보 컨텐츠를 제시할 수 있다.
질의 이미지와 관련된 메타데이터 및/또는 문맥 데이터의 이익으로 인해, 원격 서버 (140) 는 시각 검색의 범위에 포커싱할 수 있고, 이로써 전체적으로 원격 서버 (140) 및 이미지 인식 시스템 (120) 의 정확성, 속도 및 효율을 개선시킬 수 있다. 더욱이, 원격 서버 (140) 는 관련 메타데이터 및/또는 문맥 데이터를 이용하여 정보 컨텐츠를 테일러링 (tailoring) 할 수 있는데, 이는 원격 서버 (140), 및 따라서 이미지 인식 시스템 (120) 으로 하여금, 시각 검색 질의에 응답하여, 관련 정보 컨텐츠를 실시간으로 또는 거의 실시간으로 제공할 수 있게 하는 것이 가능하다.
모바일 디바이스 (130) 에 의해 캡처링된 이미지 (100) 및 그 이미지 (100) 내의 패턴들 (115) 은 하나 이상의 객체들에 대응하는 두드러진 특징들 (예를 들어, 특징들, 관심 객체들 등) 의 하나 이상의 클러스터들을 포함할 수 있다. 객체들은 예를 들어, 로고, 디자인, 얼굴, 랜드마크, 어패럴 (예를 들어, 티셔츠, 모자, 신발, 지갑 등), 간판 (sign) (예를 들어, 도로명 게시판 (street sign), 식당 간판 (restaurant sign) 등), 바코드, 광고, 매거진, 신문, 포스터 (예를 들어, "원-시트" 등), 광고판, 플래카드, 페인팅, 드로잉, 이미지가 디스플레이 또는 프로젝팅되는 백드롭, 소매 품질 표시, 디지털 비디오 디스크 (DVD) 케이스, 스티커, 티켓, 콤팩트 디스크 (CD) 케이스, 야구 카드, 소다 캔 등, 또는 이들의 임의의 조합을 포함할 수 있지만, 이들에 제한되는 것은 아니다. 일 예에서, 이미지 (100) 또는 패턴들 (115) 은, 이미지 (100) 에서 캡처링된 객체들 또는 그 객체들의 표면이 평탄하지 않고/않거나 2 차원이 아닌 경우라도 2 차원일 수 있다. 도 1 은, 이미지 (100) 및 하나 이상의 패턴들 (115) 이 휴대용 이미지 센서를 갖는 모바일 디바이스 (130) 에 의해 캡처링되는 이미지 인식 시스템 (120) 의 일 구현을 나타낸다.
이미지 인식 시스템 (120) 은 시각 검색을 가능하게 하고 이미지 (100) 내의 객체들 및/또는 이미지 (100) 내의 패턴들 (115) 과 관련된 정보 컨텐츠를 전달하기 위해 제공될 수 있다. 객체들과 관련된 정보 컨텐츠는 이러한 컨텐츠를 액세스가능하게 하기 위해 시각, 청각 또는 감각 컨텐츠, 또는 위치의 디스크립터 (descriptor) 를 포함할 수 있다. 예를 들어, 정보 컨텐츠는 이미지, 텍스트, 스트리밍 또는 넌-스트리밍 비디오, 스트리밍 또는 넌-스트리밍 오디오, URL (Universal Resource Locator), WAP (Wireless Application Protocol) 페이지, HTML (Hyper Text Markup Language) 페이지, XML (eXtensible Markup Language) 문서, 실행가능한 프로그램, 파일명, IP (Internet Protocol) 어드레스, 전화 호출 (telephone call), 포인터, 또는 다른 컨텐츠의 형태로 존재할 수 있다. 정보 컨텐츠는 예를 들어, 전자 메일 (이메일), 멀티미디어 메시징 서비스 (multimedia messaging service; MMS), EMS (enhanced messaging service), 단문 메시징 서비스 (short messaging service; SMS), WAP 푸시, 애플리케이션 푸시 (예를 들어, 푸시 레지스트리 등), 전화 통신 (telephony) 의 표준 형태, 또는 TCP (Transmission Control Protocol), IP, 사용자 데이터그램 프로토콜 (UDP), 하이퍼텍스트 전송 프로토콜 (HTTP) 및 파일 전송 프로토콜 (FTP) 과 같은 표준 인터넷 프로토콜들 (그러나 이들에 제한되지는 않는다) 과 같은 통신 프로토콜을 통해 모바일 디바이스 (130) 에 통신될 수 있다.
도 1 에 나타낸 바와 같이, 이미지 인식 시스템 (120) 은, 서브-이미지들이 하나 이상의 객체들을 포함하는 패턴들 (115) 을 포함할 수 있는 이미지 (100) 를 캡처링, 생성, 획득 또는 다르게는 모사 (replicate) 하고, 그 객체들에 기초하여 시각 검색 질의를 생성하는 모바일 디바이스 (130) 를 포함한다. 이미지 (100) 는 모바일 디바이스 (130) 에 의해 캡처링된 객체들의 전자적 표현이다. 예를 들어, 이미지 (100) 는 픽셀 정보의 2 차원 어레이를 포함하는 데이터 구조일 수 있다. 모바일 디바이스 (130) 의 예들은 셀룰러 전화기 ("셀폰"), 개인 휴대 정보 단말기 (PDA), 디지털 카메라, 또는 무선 액세스 네트워크, 이를 테면 IEEE 802.16 표준 (WiMAX) 또는 IEEE 802.11 표준 (Wi-Fi) 을 이용하여 동작하는 무선 액세스 네트워크 상에서 동작하도록 구성된 무선 전화기, 또는 PDA 와 유선 또는 무선 통신하고 있는 디지털 카메라와 같이 전자적으로 커플링된 이들 디바이스들 중 2 개 이상의 세트 (그러나 이들에 제한되지는 않는다) 와 같은 임의의 모바일 전자 디바이스를 포함할 수도 있다.
모바일 디바이스 (130) 는 휴대용 이미지 센서 (예를 들어, 도 2 에 나타낸 바와 같은 이미지 센서 (200) 등) 를 포함할 수 있는데, 이는 이미지 (100) 를 생성하는 것이 가능한 임의의 전자 디바이스일 수 있다. 예를 들어, 휴대용 이미지 센서는 고체 촬상 소자 (charge coupled device; CCD) 센서나 상보형 금속-산화물 반도체 (CMOS) 센서 중 어느 하나, 및 광학 렌즈들의 세트를 포함하여 광 패턴을 센서에 전달하여 이미지 (100) 를 생성할 수 있다. 일 구현에서, 휴대용 이미지 센서는 모바일 디바이스 (130) 에 내장된다. 동작 시에, 사용자는 모바일 디바이스 (130) 의 휴대용 이미지 센서를 타겟의 일반 방향 (general direction) 으로 포인팅하고, 모바일 디바이스 (130) 는 그 타겟을 커버링하는 영역을 캡처링한 후에 이미지 (100) 를 생성한다. 모바일 디바이스 (130) 는 또한 하나 이상의 저장된 이미지들을 검색하거나 비디오의 하나 이상의 프레임들을 캡처링하여 이미지 (100) 를 생성할 수 있다. 예를 들어, 휴대용 이미지 센서를 이용하여 이미지를 생성하는 대신에, 모바일 디바이스 (130) 는 모바일 디바이스 (130) 내에 저장되거나 통신 프로토콜 (예를 들어, 이메일, MMS, EMS, SMS, HTTP, UDP 등) 을 통해 전송된 이미지를 검색하여 이미지 (100) 를 생성할 수 있다. 일 구현에서, 검색된 이미지 또는 캡처링된 프레임은 이전에 실시된 시각 검색으로부터의 시각 검색 결과 및/또는 사용자 주석 (user annotation) 을 포함할 수 있으며, 모바일 디바이스 (130) 는 이미지 (100) 와는 관계없이 또는 이미지 (100) 와 함께 (예를 들어, 이미지 (100) 상에 겹쳐놓임) 시각 검색 결과 및/또는 사용자 주석을 디스플레이할 수 있다. 이하 더 상세하게 설명되는 바와 같이, 모바일 디바이스 (130) 는 이미지 (100) 에서 객체들을 검출하고 그 객체들 중 하나 이상을 사용자에게 실시간으로 또는 거의 실시간으로 하이라이트 또는 다르게는 표시할 수 있다. 모바일 디바이스 (130) 에의 통합의 관점에서 보면, 객체 검출은 캘리포니아, 샌디에고 소재의 퀄컴 (Qualcomm Incorporated) 으로부터 입수가능한 BREW? 프로그래밍 인터페이스 (BREW? API) 를 이용하여 수행 또는 향상될 수 있다. 다른 이미지 검출 및 인식 API들 또는 서비스들은, 선마이크로시스템즈 (Sun Microsystems) 로부터의 자바 플랫폼, 마이크로 에디션 (Java Platform, Micro Edition) (Java METM), 심비안 (Symbian Ltd.) 으로부터의 SymbianTM OS, 어도비 (Adobe Systems) 로부터의 Flash LiteTM, 마이크로소프트 (Microsoft Corporation) 로부터의 Windows MobileTM, 애플 (Apple Inc.) 로부터의 iPhoneTM OS, 개방형 휴대폰 동맹 (Open Handset Alliance) 으로부터의 AndroidTM 등 하에서 실행가능한 API들 및 서비스들과 같이, 객체 검출을 모바일 디바이스 (130) 에 통합하는데 이용될 수 있다.
모바일 디바이스 (130) 는 또한, 이미지 (100) 를 생성할 때 모바일 디바이스 (130) 와 관련된 위치, 포지션, 배향, 움직임 및 다른 문맥 데이터를 검출하는 능력을 포함할 수 있다. 예를 들어, 모바일 디바이스 (130) 의 위치 또는 포지션의 검출 및 식별은 다양한 포지셔닝 서비스들, 이를 테면 글로벌 포지셔닝 시스템 (GPS), A-GPS, 등록된 셀룰러 전화기에 대한 셀룰러 전화기 기지국 삼각측량 또는 삼변측량에 기초한 기지국 삼각측량 또는 삼변측량, 유럽의 갈릴레오 포지션 시스템, 또는 다른 포지셔닝 또는 위치 서비스들 또는 기법들을 이용하여 수행될 수 있다. 예를 들어, 모바일 디바이스 (130) 의 배향 또는 움직임의 검출 및 식별은 다양한 서비스들, 이를 테면 예를 들어 GPS 유닛, 가속도계, 자이로스코프 및/또는 다른 배향 및 움직임 검출 서비스들 또는 기법들을 포함하는 내장형 센서들 (예를 들어, 도 2 에 나타낸 바와 같은 센서들 (290) 등) 을 이용하여 수행될 수 있다. 모바일 디바이스 (130) 는 사용자 입력된 텍스트 또는 청각 정보를 수신하고 텍스트 또는 청각 정보를 문맥 데이터로서 제공할 수 있는 사용자 입력 인터페이스 (예를 들어, 키패드, 마이크로폰 등) 를 더 포함할 수 있다. 모바일 디바이스 (130) 는 또한 다른 타입의 문맥 데이터를 제공할 수 있는 다른 타입의 센서들, 이를 테면 온도 센서를 포함할 수 있다. 도 1 에 나타낸 바와 같이, 모바일 디바이스 (130) 는 이미지 인식 시스템 (120) 내에서 동작하는 하나 이상의 무선 서버들에 의해 지원되는 하나 이상의 기지국들 (135) 및 무선 커넥션 (132) 을 통해 무선 서비스 제공자 (150) 와 통신할 수 있다. 무선 서비스 제공자 (150) 는 차례로 사용자 관련 가입, 구성 (configuration), 포지셔닝 및 다른 정보를 저장하는 사용자 데이터베이스를 포함하는 일 세트의 리소스들과 통신할 수 있다.
일 구현에서, 이미지 인식 시스템 (120) 은 모바일 디바이스 (130) 및 무선 서비스 제공자 (150) 와 함께 동작하여 시각 검색을 가능하게 하고 이미지 (100) 내의 객체들에 관련있는 정보 컨텐츠를 실시간으로, 거의 실시간으로 또는 그와 다르게 전달하는 원격 서버 (140) 를 더 포함할 수 있다. 원격 서버 (140) 는 하나 이상의 통신 네트워크들, 이를 테면 로컬 영역 네트워크 (LAN), 인트라넷 또는 인터넷을 통해 커넥션들 (148) 에 의해 커플링될 수 있는 하나 이상의 서버들 (142, 144 및 146) 을 포함한다. 예를 들어, 원격 서버 (140) 는, 무선 서비스 제공자 (150) 및/또는 모바일 디바이스 (130) 와의 통신을 취급하고 이미지 (100) 와 관련된 이미지 데이터, 메타데이터 및/또는 문맥 데이터를 포함할 수 있는 시각 검색 질의에 응답하여, 모바일 디바이스 (130) 에 정보 컨텐츠를 전달하고, 또는 그 정보 컨텐츠에 대한 액세스를 제공하기 위한 메시징 서버 (142); 정보 컨텐츠를 저장 및 제공하기 위한 컨텐츠 서버 (144); 및 전달할 정보 컨텐츠의 내용 및/또는 정보 컨텐츠가 전달되는 방법을 결정하기 위한 이미지 인식 서버 (146) 중 하나 이상을 포함할 수 있다. 일 구현에서, 메시징 서버 (142), 컨텐츠 서버 (144) 및 이미지 인식 서버 (146) 는 상이한 물리적 위치에 상주할 수 있고, 인터넷 상에서 커넥션들 (148) 을 통해 통신적으로 커플링될 수 있다. 예를 들어, 메시징 서버 (142) 및 이미지 인식 서버 (146) 는 무선 서비스 제공자 (150) 를 또한 관리하는 셀룰러 전화 회사에 의해 관리되는 위치에 물리적으로 상주할 수 있다. 한편, 컨텐츠 서버 (144) 는 광고 판매 네트워크, 마케팅 제공자, 컨텐츠 제공자, 미디어 제공자, 또는 모바일 디바이스 (130) 에 전달될 컨텐츠의 다른 제공자 또는 소스에 물리적으로 상주할 수 있다.
원격 서버 (140) 는, 유선 전기 링크들 (예를 들어, T1 또는 T3 라인 등), 무선 링크들, 광학 링크들, 또는 다른 통신 커플링 모드들을 포함할 수 있는 하나 이상의 통신 커넥션 (170) 을 통해 무선 서비스 제공자 (150) 에 커플링될 수 있다. 무선 서비스 제공자 (150) 는 셀룰러 전화 통신 또는 다른 디지털 통신 서비스들을 전자 디바이스들, 이를 테면 모바일 디바이스 (130) 의 사용자들에게 제공할 수 있다. 예를 들어, 무선 서비스 제공자 (150) 는 셀룰러 전화 서비스 제공자 (이를 테면 스프린트 넥스텔 (Sprint Nextel Corporation) 등), 개인 통신 서비스 (PCS) 제공자, 또는 다른 무선 서비스들의 제공자일 수 있다. 무선 서비스 제공자 (150) 는 하나 이상의 무선 서버들 및 기지국들 (135) 의 네트워크를 포함할 수 있다. 모바일 디바이스 (130) 는 무선 커넥션 (132) 을 통한 다중계층화된 (multi-tiered) (예를 들어, 클라이언트-서버 등) 소프트웨어 아키텍처를 이용하여 기지국들 (135) 을 통해 무선 서비스 제공자 (150) 의 무선 서버들과 통신할 수 있다. 따라서, 모바일 디바이스 (130) 는 무선 서비스 제공자 (150) 를 통해 원격 서버 (140) 와 통신할 수 있고, 원격 서버 (140) 는 무선 서비스 제공자 (150) 를 통해 관련 정보 컨텐츠를 모바일 디바이스 (130) 에 전달할 수 있다. 정보 컨텐츠를 전달하는 것은 그 정보 컨텐츠를 이미지 인식 시스템 (120) 의 사용자에게 제시하는 것을 포함할 수 있다. 예를 들어, 정보 컨텐츠는 시각 디스플레이 또는 오디오 스피커를 통해서와 같이, 사용자에게 제시되도록 모바일 디바이스 (130) 에 송신될 수 있다.
이제 본 교시의 하나 이상의 구현에 부합하는, 모바일 디바이스 (130) 의 일 예시적인 구성을 예시하기 위해 도 2 를 참조하게 된다. (도 1 에 나타낸 바와 같은) 모바일 디바이스 (130) 는 (예를 들어, 모바일 호 개시 또는 다른 핸드셰이크, 핸드셰이크 응답, 모바일 애플리케이션 데이터 전송, 데이터 이벤트, 데이터 이벤트 응답, 핸드셰이크 종료 등에 관한) 신호를 수신하는 적어도 하나의 안테나 (202) (예를 들어, 입력 인터페이스를 포함하는 송신 수신기 또는 이러한 수신기들의 그룹 등), 및 수신된 신호에 대해 액션들을 수행 (예를 들어, 필터링, 증폭, 다운-변환 등) 하는 수신기 (204) 를 포함할 수 있다. 안테나 (202) 는 예를 들어, 핸드셰이크 요청, 데이터 이벤트 요청 등에 대한 응답을 송신 또는 수신할 수 있다. 안테나 (202) 및 수신기 (204) 는 또한 수신된 신호들을 복조하고 그들을 프로세싱을 위해 프로세서 (208) 에 제공할 수 있는 복조기 (206) 와 커플링될 수 있다. 모바일 디바이스 (130) 는 추가로 메모리 (210) 를 포함할 수 있는데, 이 메모리는 프로세서 (208) 에 동작가능하게 커플링되고, 실행될 명령들 및 송신, 수신, 프로세싱 등등이 행해질 데이터를 저장할 수 있는 하나 이상의 컴퓨터 판독가능 매체를 포함한다.
프로세서 (208) 는 안테나 (202) 및/또는 모바일 디바이스 (130) 의 사용자 입력 인터페이스 (미도시) 에 의해 수신된 정보를 분석하고/하거나 변조기 (216) 를 통해 송신기 (218) 에 의한 송신을 위한 정보를 생성할 수 있다. 추가로, 프로세서 (208) 는, 예를 들어, 이미지 센서 (200), 복조기 (206), 메모리 (210), 변조기 (216), 송신기 (218), 이미지 검출 유닛 (250), 이미지 인식 유닛 (260) 및 센서들 (290) 을 포함하는, 모바일 디바이스 (130) 의 하나 이상의 리소스들 또는 컴포넌트들을 제어 및/또는 참조할 수 있다. 프로세서 (208) 는 또한 퀄컴 (Qualcomm Incorporated) 으로부터의 BREW?, 선마이크로시스템즈로부터의 Java METM, 심비안으로부터의 SymbianTM OS, 어도비로부터의 Flash LiteTM, 마이크로소프트로부터의 Windows MobileTM, 애플로부터의 iPhoneTM OS, 개방형 휴대폰 동맹으로부터의 AndroidTM 등과 같은 런타임 환경 (212) 은 물론, 애플리케이션들의 세트 (214) 또는 다른 소프트웨어, 모듈들, 애플리케이션들, 로직, 코드 등을 실행할 수 있다.
일 구현에서, 모바일 디바이스 (130) 는 컴퓨터 판독가능 데이터 (예를 들어, 도 1 에 나타낸 바와 같은 이미지 (100), 이미지 계수 라이브러리 (262) 등) 및 컴퓨터 실행가능한 소프트웨어 명령들 (예를 들어, 이미지 검출/인식 소프트웨어 (270), 런타임 환경 (212), 애플리케이션들의 세트 (214) 등) 을 저장하기 위한 메모리 (210) 를 포함한다. 메모리 (210) 는 고체 (solid state) 메모리 (예를 들어, 판독 전용 메모리, 랜덤 액세스 메모리, 플래시 메모리 등), 자기 하드 드라이브, 콤팩트 디스크 (CD) 또는 디지털 비디오 디스크 (DVD) 와 같은 광학적으로 판독가능한 매체 등등 중 하나 이상을 포함할 수 있다. 모바일 디바이스 (130) 는 또한 메모리 (210) 내에 저장된 소프트웨어 명령들을 실행하기 위해 적어도 하나의 프로세서 (208) 를 포함할 수 있다. 명령들은, 예를 들어 도 4 에 대하여 이하 더 상세하게 설명되는 바와 같이, 예를 들어, 이미지 센서 (200), 이미지 검출 유닛 (250), 및 이미지 인식 유닛 (260) 의 기능들을 제어 및/또는 수행하도록 프로세서 (208) 를 구성하기 위해 실행된다.
이미지 감지 능력 및 이미지 검출 및/또는 인식 기능성은 일 구현에서는, 모바일 디바이스 (130) 의 이미지 센서 (200), 이미지 검출 유닛 (250), 및 이미지 인식 유닛 (260) 에 의한 프로세싱을 수반하는 것으로 나타나 있다. 예를 들어, 이미지 센서 (200) 는 CCD 센서나 CMOS 센서 중 어느 하나, 및 광학 렌즈들의 세트를 포함할 수 있는데, 이들은 광 패턴을 센서에 전달하여 이미지 (100) 를 생성한다. 동작 시에, 사용자는 모바일 디바이스 (130) 의 이미지 센서 (200) 를 타겟의 일반 방향으로 포인팅할 수 있고, 이미지 센서 (200) 는 그 타겟을 커버링하는 영역을 캡처링한 후에 이미지 (100) 를 생성할 수 있다. 모바일 디바이스 (130) 는 또한 하나 이상의 저장된 이미지들을 검색하거나 또는 비디오의 하나 이상의 프레임들을 캡처링하여 이미지 (100) 를 생성할 수 있다. 일 구현에서, 이미지 센서 (200) 는 모바일 디바이스 (130) 에 내장된다. 그러나, 이미지 검출 및 이미지 인식의 기능성이 모바일 디바이스 (130) 에, 원격 서버 (140) 에, 또는 이들의 임의의 조합에 완전히 상주할 수 있다. 예를 들어, 이미지 검출 유닛 (250) 및 이미지 인식 유닛 (260) 은 모바일 디바이스 (130) 의 메모리 (210) 내에 저장되어 프로세서 (208) 에 의해 실행가능한 이미지 프로세싱 소프트웨어 (이미지 검출/인식 소프트웨어 (270) 등) 의 하나 이상의 세트들로서 구현될 수 있다.
일 구현에서, 이미지 검출/인식 소프트웨어 (270) 는 모바일 디바이스 (130) 및 그의 컴포넌트들에 이미지 센서 (200), 이미지 검출 유닛 (250) 및/또는 이미지 인식 유닛 (260) 의 기능성에 대한 인터페이스를 제공할 수 있다. 이미지 검출/인식 소프트웨어 (270) 는 이미지 내의 객체들의 하나 이상의 카테고리들을 검출하고/하거나 두드러진 특징 클러스터들에 기초하여 이미지 내의 객체들을 인식하기 위한 알고리즘들을 포함할 수 있다. 그 알고리즘들은 예를 들어, 스케일 불변 특징 변환 (scale-invariant feature transformation) (예를 들어, SIFT, SIFT++, LTI-lib SIFT 등), 스피드업된 로버스트 특징들 (speeded up robust features) (예를 들어, SURF, SURF -d 등), 증강 현실 (augmented reality) (예를 들어, BazAR 등), 및 당업자에게 알려져 있는 다른 이미지 검출 및 인식 알고리즘들을 포함할 수 있다. 이미지 검출/인식 소프트웨어 (270) 는 또한 생물학적인 시각 코텍스 (visual cortex) 네트워크 (예를 들어, 계층적 극대화 아키텍처 (Hierarchal Maximization Architecture), HMAX 등) 및 당업자에게 알려져 있는 다른 객체 카테고리화 알고리즘들과 같이, 이미지 내의 객체들에 대응하는 두드러진 특징 클러스터들에 기초하여 이미지 내의 하나 이상의 객체들의 카테고리들을 검출하고, 하나 이상의 객체들을 카테고리화하기 위한 알고리즘들을 포함할 수 있다. 객체 카테고리들은 예를 들어, 자연 객체, 이를 테면, 얼굴, 동물, 식물, 지모 (land features) 등을 포함할 수 있다. 객체 카테고리들은 또한, 예를 들어, 인공 객체들, 이를 테면 로고, 디자인, 빌딩, 랜드마크, 어패럴, 간판, 운송 수단 등을 포함할 수 있다. "객체들의 카테고리들" 및 "객체 카테고리들" 이란 용어들은 소정의 특성들을 공유하는 객체들의 세트들을 설명하는데 사용되지만, 당업자에게 알려져 있는 다른 유사한 용어들, 이를 테면 객체들의 부류, 객체들의 종류, 객체들의 타입 등이 상호교환가능하게 사용될 수 있다.
일 구현에서, 모바일 디바이스 (130) 는 하나 이상의 알고리즘들을 이용하여 이미지에서 객체들을 검출하고, 동일하거나 상이한 알고리즘들을 이용하여 객체들의 카테고리들을 검출하며/하거나 동일하거나 상이한 알고리즘들을 이용하여 객체들을 인식할 수 있다. 일 구현에서, 모바일 디바이스 (130) 는 검출된 객체 카테고리들에 기초하여 인식 알고리즘을 선택할 수 있다. 예를 들어, 모바일 디바이스 (130) 는 HMAX 를 이용하여 이미지 (100) 에서 객체들을 검출 및 카테고리화한 후, SIFT 를 이용하여 인공 객체들로서 카테고리화되는 이미지 (100) 내의 객체들을 인식할 수 있다.
일 구현에서, 이미지 검출/인식 소프트웨어 (270) 는 로고를 검출하기 위한 알고리즘을 포함할 수 있다. 로고는 마케팅을 목적으로 거의 모든 제품에 나타나고, 로고 검출 알고리즘은 이미지 내의 로고 패턴들 및 그들의 경계들을 검출함으로써 모바일 시각 검색을 용이하게 할 수 있다. 로고는 매우 대조적이지만 제한된 레벨의 루미넌스 및/또는 컬러를 가질 수 있고, 따라서 로고 패턴의 루미넌스 및/또는 크로미넌스 히스토그램은 2 개의 주요 피크들 (major peaks) 을 가질 수 있다. 이들의 관찰된 특성들에 기초하여, 로고 패턴은 예를 들어 표 1 에 나타낸 공식 1 을 이용하여 루미넌스 (또는 RGB 컴포넌트들이 감마 압축되는 경우에는 루마 (luma)) 및 크로미넌스 컴포넌트들의 히스토그램을 획득함으로써 효율적으로 검출될 수 있다.
Figure 112011089508624-pct00001
루미넌스 및 크로미넌스 컴포넌트들의 히스토그램은 임의의 수의 빈 (bin) 들을 가질 수 있다. 일 예에서, 16-빈 히스토그램은 로고 패턴의 주요 피크들을 구별하기 위해 충분한 분해능 (resolution) 을 제공한다. 루미넌스 및 크로미넌스 컴포넌트들의 히스토그램을 획득한 후에, 로고 검출 알고리즘은 히스토그램에서 가장 강한 피크들 (통상적으로는 2) 의 소재를 파악할 수 있다. 로고 검출 알고리즘은, (peak1, bin1) 및 (peak2, bin2) 로 나타내지는, 히스토그램의 상이한 빈들에서의 2 개의 가장 강한 피크들이 표 2 에 제공되는 기준을 충족한다는 것을 보장할 수 있다.
Figure 112011089508624-pct00002
로고 패턴을 검출한 후에, 로고 검출 알고리즘은 1 차원 (1-D) 프로젝션 알고리즘을 이용하여 로고 패턴 경계를 검출할 수 있다. 1-D 프로젝션 알고리즘은 예를 들어 표 3 에 제공된 공식 2 를 이용하여 X 및 Y 방향에서의 최대 조인트 컴포넌트 및 최소 조인트 컴포넌트의 델타를 획득할 수 있다.
Figure 112011089508624-pct00003
로고 검출 알고리즘은 X 프로젝션 및 Y 프로젝션에 기초하여 로고 패턴 경계를 결정할 수 있다. 일 예에서, 로고 검출 알고리즘은 로고 패턴의 X 프로젝션 및 Y 프로젝션 웨이브폼에 대한 상당한 델타로 인해, 높은 신뢰도로 그리고 효율적으로 로고 패턴 경계를 결정할 수 있다. 이미지 검출/인식 소프트웨어 (270) 내에 저장된 로고 검출 알고리즘은, 예를 들어 도 4 에 대하여 이하 더 상세하게 설명되는 바와 같이, 이미지 검출 유닛 (250) 에 의해, 이미지 (100) 내의 하나 이상의 로고를 검출 및/또는 소재를 파악하는데 이용될 수 있다.
일 구현에서, 이미지 프로세싱 소프트웨어는 가능한 이미지 후보들 또는 트레이닝된 이미지들의 이미지 계수들을 저장할 수 있는 이미지 계수 라이브러리 (262) 에 액세스할 수 있다. 트레이닝된 이미지들 각각은 트레이닝된 이미지를 고유하게 나타내는 계수들, 또는 이미지 계수의 대응하는 벡터를 가질 수 있다. 이미지 계수는 대응하는 트레이닝된 이미지의 시그니처 (signature) 를 형성하는 넘버들의 세트를 포함할 수 있고, 이미지 계수의 사이즈는 일반적으로 트레이닝된 이미지의 카테고리에 대응한다. 예를 들어, 로고 (예를 들어, BREW GAMING MONKEYTM 로고 등) 에 대한 이미지 계수는 약 22×18×32 바이트들, 또는 약 12킬로바이트들의 사이즈를 가질 수 있고, 사람의 얼굴에 대한 이미지 계수는 메가바이트보다 더 큰 사이즈를 가질 수 있다. 트레이닝된 이미지들은 그들에 포함된 객체들에 기초하여, 예를 들어, HMAX, K-최근접 이웃 (K-Nearest Neighbor), 지원 벡터 머신들 (Support Vector Machines), 뉴럴 네트워크들 (neural networks), 랜덤화된 트리들, 또는 당업자에게 알려져 있는 다른 카테고리화 알고리즘들과 같은 카테고리화 알고리즘을 이용하여 카테고리화될 수 있다. 트레이닝된 이미지들의 이미지 계수들은 이미지 계수 라이브러리 (262) 내에 저장될 수 있고, 또한 트레이닝된 이미지들 내의 객체들의 카테고리들, 트레이닝된 이미지들과 관련된 메타데이터 (예를 들어, 객체 카테고리, 브랜드 등) 및/또는 문맥 데이터 (예를 들어, GPS 위치, 위치 식별자 등) 에 따라 인덱싱될 수 있다. 이미지 계수 라이브러리 (262) 내에 저장되는 트레이닝된 이미지들의 이미지 계수들은, 예를 들어, 도 4 에 대하여 이하 더 상세하게 설명되는 바와 같이, 이미지 검출 유닛 (250) 및 이미지 인식 유닛 (260) 에 의해, 패턴들 (115) 및/또는 이미지 (100) 내의 하나 이상의 객체들을 카테고리화, 인식, 또는 다르게는 식별하는데 이용될 수 있다.
모바일 디바이스 (130) 내의 이미지 프로세싱 소프트웨어는, 패턴들 (115) 을 포함하는 서브-이미지들을 추출, 또는 다르게는 생성하기 위해 이미지 센서 (200) 에 의해 캡처링된 이미지 (100) 를 크로핑, 압축, 스케일링, 그레이스케일로 변환, 또는 다르게는 프로세싱하는데 이용될 수 있는 이미지 에디팅 소프트웨어를 더 포함할 수 있다. 예를 들어, 이미지 (100) 는 검출, 카테고리화 및/또는 인식되는 객체들에 기초하여 크로핑 또는 다르게는 프로세싱될 수 있다. 대안으로 또는 추가로, 이미지 (100) 는 모바일 디바이스 (130) 의 사용자로부터 수신되거나 모바일 디바이스 (130) 의 사용자에 의해 특정된 명령들에 따라, 또는 모바일 디바이스 (130) 에 의해 이전에 수신된 컴퓨터 판독가능 명령들에 따라 크로핑 또는 다르게는 프로세싱될 수 있다. 이미지 프로세싱 소프트웨어는 BREW?, Java METM, SymbianTM OS, Flash LiteTM, Windows MobileTM, iPhoneTM OS, AndroidTM 등과 같은 임의의 적절한 프로그래밍 언어 및/또는 개발 환경에서 기록될 수 있다. 대안으로 또는 추가로, 이미지 검출 유닛 (250) 및 이미지 인식 유닛 (260) 은 모바일 디바이스 (130) 내의 하드웨어로서 구현될 수 있다. 하드웨어는 패시브 및/또는 액티브 전자 컴포넌트들을 포함하는 전자 회로를 포함할 수 있다. 예를 들어, 일 구현에서, 하드웨어는 적어도 하나의 주문형 집적 회로 (ASIC) 로 구현될 수 있다.
이제 본 교시의 구현에 부합하는, 이미지 인식 및 시각 검색을 용이하게 하고/하거나 이미지 인식 및 시각 검색에 참여할 수 있는, 원격 서버 (140) 및 무선 서비스 제공자 (150) 를 포함하는, 이미지 인식 시스템 (120) 의 백-엔드 (300) 의 일 예시적인 구성을 예시하기 위해 도 3 을 참조하게 된다. 일 구현에서, 백-엔드 (300) 는, 수신 안테나들 (306) 을 통하여 하나 이상의 모바일 디바이스들 (예를 들어, 도 1 에 나타낸 바와 같은 모바일 디바이스 (130) 등) 로부터 하나 이상의 신호들을 수신하는 수신기 (310), 및 송신 안테나들 (308) 을 통하여 모바일 디바이스들에 변조기 (320) 에 의해 변조된 하나 이상의 신호들을 송신하는 송신기 (322) 를 가진 무선 서비스 제공자 (150) 를 포함할 수 있다. 수신기 (310) 는 수신 안테나들 (306) 로부터 정보를 수신할 수 있고, 미수신된 또는 해독할 수 없는 데이터 패킷에 관계된 피드백 데이터를 수신하는 신호 수신자 (미도시) 를 더 포함할 수 있다. 추가로, 수신기 (310) 는 수신된 정보를 복조하는 복조기 (312) 와 동작가능하게 관련된다. 프로세서 (314) 는 복조기 (312) 에 의해 제공되는 복조된 심볼들 및 정보를 분석할 수 있다.
프로세서 (314) 는 또한, 모바일 디바이스들, 무선 서비스 제공자 (150) 및/또는 원격 서버 (140) 간의 원격 통신을 용이하게 하고/하거나 원격 통신에 참여하는 하나 이상의 애플리케이션들 (318) 을 저장할 수 있는 메모리 (316) 에 커플링된다. 예를 들어, 애플리케이션들 (318) 은 핸드셰이크를 개시하고 (예를 들어, 진단 정보, 데이터 분석 등에 관계된) 데이터 이벤트 요청들을 모바일 디바이스들 상에서 동작하는 수신자 애플리케이션에 전송하도록 구성된 프라이머리 애플리케이션을 포함할 수 있다. 대안으로, 애플리케이션들 (318) 은 핸드셰이크 요청을 수신하고 모바일 디바이스들 상에서의 애플리케이션의 개시를 인증할 수 있는 세컨더리 애플리케이션을 포함할 수 있다. 애플리케이션들 (318) 은 또한, 애플리케이션들 (318) 을 모바일 디바이스들 상의 대응하는 애플리케이션에 대해 식별하는 (또는 그 역 또한 마찬가지이다) 식별자들을 생성 및/또는 검증하기 위한, 또는 특정 라운드-트립 통신을 식별하는 이러한 식별자들의 증가 (increment) 를 위한 룰들을 포함할 수 있다. 또한, 그 룰들은 미확인응답된 송신들을 재송신하고, 핸드셰이크 요청들 및/또는 응답들을 재개시하며, 핸드셰이크를 종료하는 등등을 행하는 폴리시들을 특정할 수 있다. 그 결과, 애플리케이션들 (318) 은 모바일 디바이스들에 상주하는 하나 이상의 애플리케이션들 (예를 들어, 도 2 에 나타낸 바와 같은 애플리케이션들의 세트 (214) 등) 과의 모바일 통신 및/또는 여기에 기술된 다양한 액션들 및 기능들을 수행하는 것에 관계된 임의의 다른 적절한 활동에 참여할 수 있다.
일 구현에서, 백-엔드 (300) 는 모바일 디바이스들 (예를 들어, 모바일 디바이스 (130) 등) 과 함께 동작하는 원격 서버 (140) 및 무선 서비스 제공자 (150) 를 포함하여 이미지 인식 및 시각 검색을 가능하게 할 수 있다. 원격 서버 (140) 는 모바일 디바이스들 및/또는 무선 서비스 제공자 (150) 와의 통신을 취급하고 시각 검색 질의에 응답하여 모바일 디바이스들에 정보 컨텐츠를 전달하거나 그 정보 컨텐츠에 대한 액세스를 제공하기 위해 메시징 서버 (142) 를 포함할 수 있다. 예를 들어, 메시징 서버 (142) 는 이미지 (100) 또는 이미지 (100) 로부터 추출된 하나 이상의 서브-이미지들 (예를 들어, 패턴들 (115) 등) 을 이미지 (100) 와 관련되고 모바일 디바이스들에 의해 생성되는 메타데이터 및/또는 문맥 데이터와 함께 포함할 수 있는 시각 검색 질의를 수신한 후, 그 시각 검색 질의를 이미지 인식 서버 (146) 에 송신할 수 있다. 다른 예의 경우, 메시징 서버 (142) 는 시각 검색 질의에 응답하여 컨텐츠 서버 (144) 에 의해 생성된, 이미지 (100) 또는 추출된 서브-이미지들에 관련있는 정보 컨텐츠를 포함할 수 있는 시각 검색 결과를 수신한 후, 그 시각 검색 결과를 모바일 디바이스들로의 송신을 위해 무선 서비스 제공자 (150) 에 송신할 수 있다.
원격 서버 (140) 는 이미지 인식 서버 (146) 를 포함하거나 이미지 인식 서버 (146) 와 통신하여 이미지 (100) 또는 추출된 서브-이미지들 중 하나 이상의 서브-이미지 내의 하나 이상의 객체들을 이미지 (100) 와 관련된 이미지 데이터, 메타데이터, 문맥 데이터, 및/또는 유사한 시각 검색 질의들에 대해 이전에 제공된 검색 결과들에 대한 사용자 피드백에 기초하여 인식 또는 다르게는 식별할 수 있다. 검색 결과들에 대한 사용자 피드백은 예를 들어, 검색 결과, 검색 결과에 대한 사용자 주석, 검색 결과에 응답한 사용자 후속조치 (follow-up) 액션 (예를 들어, 검색 결과에 제공되는 링크 또는 광고를 클릭) 등에 관한 바이너리 응답 (예를 들어, 예/아니오, 참/거짓, 양호/불량 등) 또는 (예를 들어, 1 내지 10 의 스케일로부터의) 스케일링된 응답을 포함할 수 있다. 이미지 인식 서버 (146) 는 또한, 이미지 (100) 와 관련된 적어도 하나의 인식된 객체, 메타데이터 및/또는 문맥 데이터는 물론 이전에 제공된 검색 결과들에 대한 임의의 사용자 패드백에 기초하여 시맨틱 (semantic) 검색 질의를 생성할 수 있다. 일 구현에서, 이미지 인식 서버 (146) 는 프로세서 (360) 및 메모리 (362) 를 포함하며, 메모리 (362) 는 프로세서 (360) 에 동작가능하게 커플링되고 실행될 명령들 및 송신, 수신, 프로세싱 등등이 행해질 데이터를 저장할 수 있는 하나 이상의 컴퓨터 판독가능 매체를 포함한다. 메모리 (362) 는 고체 메모리, 자기 하드 드라이브, CD 또는 DVD 와 같은 광학적으로 판독가능한 매체 등등 중 하나 이상을 포함할 수 있다. 여기에 저장된 명령들은 예를 들어 시각 검색 및 이미지 인식을 이미지 인식 시스템 (120) 의 다른 컴포넌트들과 함께 제어 및/또는 수행하도록 프로세서 (360) 를 구성하기 위해 실행된다. 예를 들어, 메모리 (362) 는 이미지 인식 소프트웨어 (364) 및 이미지 데이터 및 계수 라이브러리 (366) 를 저장할 수 있다. 이미지 인식 소프트웨어 (364) 는 가능한 이미지 후보들 또는 트레이닝된 이미지들의 이미지 데이터 및/또는 계수들을 저장 및 인덱싱할 수 있는 이미지 데이터 및 계수 라이브러리 (366) 에 액세스할 수 있다. 트레이닝된 이미지들은 예를 들어, HMAX, K-최근접 이웃, 지원 벡터 머신들, 뉴럴 네트워크들, 랜덤화된 트리들, 또는 당업자에게 알려져 있는 다른 카테고리화 알고리즘들과 같은 카테고리화 알고리즘을 이용하여 트레이닝된 이미지들 내에 포함된 객체들에 기초하여 카테고리화될 수 있다. 이미지 데이터 및 계수 라이브러리 (366) 는 트레이닝된 이미지들 내의 객체들의 카테고리들, 트레이닝된 이미지들과 관련된 메타데이터 (예를 들어, 객체 카테고리, 브랜드 등) 및 문맥 데이터 (예를 들어, GPS 위치, 위치 식별자 등) 에 따라 트레이닝된 이미지들을 인덱싱할 수 있다. 트레이닝된 이미지들 각각은 예를 들어, 도 5 에 대하여 이하 더 상세하게 설명되는 바와 같이, 이미지 데이터 및 계수 라이브러리 (366) 내에 저장되고 이미지 인식 소프트웨어 (364) 에 의해, 패턴들 (115) 또는 이미지 (100) 내의 하나 이상의 객체들을 인식하는데 이용될 수 있는, 트레이닝된 이미지를 고유하게 나타내는 계수들의 벡터 및/또는 데이터를 갖는다.
원격 서버 (140) 는 또한, 컨텐츠 서버 (144) 를 포함하거나 컨텐츠 서버 (144) 와 통신하여, 예를 들어, 제품 정보 (예를 들어, 이름, 가격, 제조자, 사양, 리뷰, 광고, 쿠폰, 프로모션 등), 제품 정보에 대한 관련 링크들, 액션 링크들 (예를 들어, 비교 쇼핑을 위한 온라인 소매 (online retailer), 위시 리스트 (wish list) 에 저장, 친구와 공유, 즉시 구매, 등등을 행하기 위한 링크들), 유명인사 정보 (celebrity information) (예를 들어, 이름, 일대기, 유명인사와 관련된 서비스 및/또는 제품 등), 랜드마크 정보 (예를 들어, 이름, 히스토리, 랜드마크와 관련된 서비스 및/또는 제품 등) 등등, 또는 이들의 임의의 조합과 같은 정보 컨텐츠를 저장, 인덱싱, 및 제공할 수 있다. 컨텐츠 서버 (144) 는 예를 들어, 이미지 (100) 와 관련된 적어도 하나의 객체, 메타데이터, 및/또는 문맥 데이터에 기초하여 이미지 인식 서버 (146) 에 의해 생성되는 시맨틱 검색 질의에 응답하여 관련 정보 컨텐츠를 제공할 수 있다.
일 구현에서, 컨텐츠 서버 (144) 는 프로세서 (340) 및 메모리 (342) 를 포함하며, 메모리 (342) 는 프로세서 (340) 에 동작가능하게 커플링되고 실행될 명령들 및 송신, 수신, 프로세싱 등등이 행해질 데이터를 저장할 수 있는 하나 이상의 컴퓨터 판독가능 매체를 포함한다. 메모리 (342) 는 고체 메모리, 자기 하드 드라이브, CD 또는 DVD 와 같은 광학적으로 판독가능한 매체 등등 중 하나 이상을 포함할 수 있다. 여기에 저장된 명령들은 이미지 인식 시스템 (120) 의 다른 컴포넌트들과 함께, 이미지 (100) 또는 패턴들 (115) 에 기초하여 관련 정보 컨텐츠를 검색 및 제공하도록 프로세서 (340) 를 구성하기 위해 실행된다. 예를 들어, 메모리 (342) 는 검색 엔진 (344) 및 정보 컨텐츠 데이터베이스 (346) 에 대한 명령들을 저장할 수 있다.
검색 엔진 (344) 은 모바일 디바이스들 및/또는 이미지 인식 서버 (146) 로부터의 검색 질의에 응답하여 관련 정보 컨텐츠의 소재를 파악하고 제공할 수 있다. 나타낸 구현에서, 검색 질의를 수신하기 전에, 컨텐츠 서버 (144) 는 정보 컨텐츠 데이터베이스 (346) 및/또는 원격 서버 (140) 에 커플링된 다른 컴퓨터 판독가능 데이터 저장장치의 크롤 (crawl) 을 수행하여 여기에 저장된 정보 컨텐츠의 소재를 파악하고 인덱싱할 수 있다. 따라서, 검색 엔진 (344) 은 검색 질의에 응답하여 인덱스에 액세스함으로써 관련 정보 컨텐츠의 소재를 파악할 수 있다. 따라서, 정보 컨텐츠 서버 (144) 는, 예를 들어, 도 5 에 대하여 이하 더 상세하게 설명되는 바와 같이, 모바일 디바이스들에 전달할 정보 컨텐츠의 내용 및/또는 정보 컨텐츠를 전달하는 방법, 이를 테면 정보 컨텐츠의 형태 및 통신 프로토콜 등등을 이미지 인식 서버 (146) 에 의해 생성된 시맨틱 검색 질의에 기초하여 결정할 수 있다.
도 4 및 도 5 는 본 교시의 하나 이상의 양태들에 따른 방법론들 및/또는 플로우 다이어그램들을 예시한다. 설명의 단순화를 위해, 방법론들은 일련의 행동들로서 도시 및 설명된다. 본 고안은 예시된 행동들에 의해 및/또는 그 행동들의 순서에 의해 제한되지 않는다는 것을 이해하게 될 것이고 알게 될 것이다. 예를 들어, 행동들은 여기에 제시 및 설명되지 않은 다른 행동들과 함께, 다양한 순서로 및/또는 동시 발생적으로 발생할 수 있다. 더욱이, 모든 예시된 행동들이 청구 대상 (claimed subject matter) 에 따라 방법론들을 구현하기 위해 요구되는 것은 아닐 수도 있다. 또한, 당업자는, 방법론들이 대안으로는 상태 다이어그램 또는 이벤트들을 통해 일련의 상관된 상태들로서 나타내질 수 있다는 것을 이해하고 알 것이다. 추가로, 이하에 본 명세서 전반에 걸쳐 개시된 방법론들은 이러한 방법론들을 컴퓨터들에 전달 및 전송하는 것을 용이하게 하기 위해 제조품 (article of manufacture) 상에 저장되는 것이 가능하다는 것을 또한 알아야 한다. 제조품이란 용어는 여기에 사용되는 바와 같이, 임의의 컴퓨터 판독가능 디바이스, 캐리어 또는 매체로부터 액세스가능한 컴퓨터 프로그램을 포함하는 것으로 의도된다.
도 4 는 본 교시의 하나 이상의 구현들에 따른, (도 1 에 나타낸 바와 같은) 이미지 인식 시스템 (120) 을 이용하여 시각 검색을 가능하게 하고 이미지 인식을 용이하게 하기 위해 (도 1 및 도 2 에 나타낸 바와 같은) 모바일 디바이스 (130) 에 의해 수행될 수 있는 프로세싱의 플로우차트를 예시한다. 410 에서, 모바일 디바이스 (130) 는 이미지 (예를 들어, 도 1 에 나타낸 바와 같은 이미지 (100), 도 6a 에 나타낸 바와 같은 이미지 (600) 등) 를 획득함으로써 시각 검색 및 이미지 인식을 개시할 수 있다. 예를 들어, 모바일 디바이스 (130) 의 사용자는 모바일 디바이스 (130) 의 이미지 센서 (200) 를 타겟의 일반 방향으로 포인팅할 수 있고, 모바일 디바이스 (130) 는 타겟을 나타내는 이미지를 캡처링, 생성, 획득, 또는 다르게는 모사할 수 있다. 모바일 디바이스 (130) 는 또한 하나 이상의 저장된 이미지들을 검색하거나 비디오의 하나 이상의 프레임들을 캡처링하여 이미지를 생성할 수 있다. 예를 들어, 이미지 센서 (200) 를 이용하여 이미지를 생성하는 대신에, 모바일 디바이스 (130) 는 모바일 디바이스 (130) 내에 저장되거나 통신 프로토콜 (예를 들어, 이메일, MMS, EMS, SMS, HTTP, UDP 등) 을 통해 전송된 이미지를 검색하여 이미지를 생성할 수 있다. 일 구현에서, 검색된 이미지 또는 캡처링된 프레임은 이전에 실시된 시각 검색으로부터의 시각 검색 결과 및/또는 사용자 주석을 포함할 수 있고, 모바일 디바이스 (130) 는 이미지 (100) 와는 관계없이, 또는 이미지 (100) 와 함께 (예를 들어, 이미지 상에 겹쳐놓임) 시각 검색 결과 및/또는 사용자 주석을 디스플레이할 수 있다.
다음에, 415 에서, 모바일 디바이스 (130) 는 획득된 이미지 내의 객체들에 대응하는 두드러진 특징 클러스터들에 기초하여 하나 이상의 객체들의 존재 및 위치를 검출할 수 있다. 일 구현에서, 모바일 디바이스 (130) 는 사용자로부터의 긍정 입력 (affirmative input) 또는 다른 액션, 예를 들면, 셔터의 누름 없이 객체들의 검출을 시작할 수 있으며; 그 대신에, 모바일 디바이스 (130) 는 획득된 이미지들을 연속하여 비교하여 이미지 센서 (200) 가 정지 (still) 인 때 또는 임계 기간 동안 정지였던 때를 결정할 수 있으며, 그에 따라 객체들의 검출을 시작할 수 있다. 다른 구현에서, 모바일 디바이스 (130) 는 사용자로부터의 긍정 입력 또는 다른 액션 후에 객체들의 검출을 시작할 수 있다.
일 구현에서, 객체 검출은 모바일 디바이스 (130) 내에 저장된 하나 이상의 이미지 검출 알고리즘들, 예를 들어, 도 2 등에 나타낸 바와 같은 이미지 검출/인식 소프트웨어 (270) 및 이미지 검출 유닛 (250) 내에 저장되고 이미지 검출/인식 소프트웨어 (270) 및 이미지 검출 유닛 (250) 에 의해 수행된 검출 알고리즘들에 의해 수행 또는 향상될 수 있다. 객체들은 예를 들어, 라인들, 에지들, 리지들 (ridges), 코너들, 블랍들 (blobs), T-정션들 또는 다른 두드러진 특징들과 같은 이미지 내의 키포인트들의 소재를 파악한 후, 그 키포인트들 각각에 이웃하는 포인트들 또는 지역들에 기초하여 키포인트 벡터들을 생성함으로써 검출될 수 있다. 키포인트 벡터들을 이용하여, 모바일 디바이스 (130) 는 이미지 내의 객체들의 소재를 파악할 수 있고, 그 후 객체들 각각에 대해, 모바일 디바이스 (130) 는 대응하는 객체를 고유하게 나타내는 특징 벡터를 생성할 수 있다. 예를 들어, HMAX, SIFT, SIFT++, LTI-lib SIFT, SURF, SURF -d, BazAR, 또는 당업자에게 알려져 있는 다른 이미지 검출 알고리즘들을 포함하는 다른 이미지 검출 알고리즘들이 이용될 수 있다.
일 구현에서, 로고, 디자인, 얼굴, 랜드마크, 어패럴, 간판, 물체 등과 같은 객체들의 다양한 카테고리들에 대해 객체 검출이 수행될 수 있다. 일 양태에서, 객체 검출은 객체들의 단지 하나 이상의 미리 선택된 또는 사용자 선택된 카테고리들에 대해 수행될 수 있다. 예를 들어, 객체 검출은 이미지 검출/인식 소프트웨어 (270) 내에 저장된 로고 검출 알고리즘을 이용하여 이미지 내의 단지 로고 또는 로고-유사 패턴들만을 검출하고/하거나 소재를 파악할 수 있다. 대안으로 또는 추가로, 모바일 디바이스 (130) 는 검출된 객체들에 대응하는 특징 벡터들을 실시간으로 생성하고 특징 벡터들을, 이미지 계수 라이브러리 (262) 내에 저장된 객체들의 선택된 카테고리 또는 카테고리들에 대해, 가능한 이미지 후보들, 또는 트레이닝된 이미지들의 이미지 계수들과 비교함으로써 검출된 객체들의 카테고리들을 결정할 수 있다. 트레이닝된 이미지들 각각은 트레이닝된 이미지 내의 특징들을 고유하게 나타내는 계수들의 대응하는 벡터를 갖는다. 일 구현에서, 모바일 디바이스 (130) 는 검출된 객체들의 카테고리들을 결정하기 위해 벡터들 간의 거리 (예를 들어, Manhalanobis 거리, Euclidean 거리 등) 를 계산함으로써 검출된 객체들의 특징 벡터들을 트레이닝된 이미지들의 선택된 카테고리 또는 카테고리들의 계수들의 벡터들과 비교할 수 있다.
일 구현에서, 모바일 디바이스 (130) 는 인간 뷰잉 (human viewing) 을 위해 획득된 이미지를 향상 (예를 들어, 이미지의 선명도, 동적 범위의 휘도 및 컬러 등을 향상) 시키고 향상된 이미지를 모바일 디바이스 (130) 의 뷰파인더 또는 디스플레이 상에 디스플레이하기 전에 획득된 이미지에서 객체들을 검출할 수 있다. 향상된 이미지는 사용자를 보다 미학적으로 만족시킬 수도 있지만, 이러한 향상은 모바일 디바이스 (130) 가 이미지에서 객체들을 정확하게 그리고 효율적으로 검출하지 못하게 방해하거나 심지어는 막을 수 있다.
420 에서, 모바일 디바이스 (130) 는 이미지 위에 표시자들 (indicators) 을 겹쳐놓음으로써 이미지의 검출된 객체들을 하이라이트 또는 다르게는 표시할 수 있다. 예를 들어, 표시자들은 다양한 형태의 증강 현실 그래픽, 이를 테면 도 1 에 나타낸 바와 같은 패턴들 (115) 주위, 도 6a 및 도 6b 에 나타낸 바와 같은 패턴들 (610 ~ 620) 주위의 표시자들, 박스, 불스 아이 (bulls-eye) 하이퍼링크 등을 포함할 수 있다. 모바일 디바이스 (130) 가 415 에서 검출된 객체들의 카테고리들을 결정했다면, 모바일 디바이스 (130) 는 하나 이상의 미리 선택되거나 사용자 선택된 카테고리들 내에 있는 것으로서 카테고리화되는 검출된 객체들만을 하이라이트할 수 있다. 다음에, 425 에서, 모바일 디바이스 (130) 는 도 6b 에 나타낸 바와 같은 선택된 패턴 (610) 과 같이, 하이라이트된 객체들 중 적어도 하나를 선택하기 위해 사용자로부터 입력을 수신할 수 있다. 사용자 입력은 사용자 입력 인터페이스를 통한 사용자로부터의 긍정 입력 또는 다른 액션들을 포함할 수 있다. 사용자 입력은 또한, 이미지 센서 (200) 가 임계 기간 동안 검출된 객체들 중 하나에 포커싱되도록 사용자가 모바일 디바이스 (130) 를 정지상태로 보유하는 것을 포함할 수 있다.
다음에, 430 에서, 모바일 디바이스 (130) 는 선택된 객체를 카테고리화, 인식, 또는 다르게는 선택된 객체의 특성들을 결정할 수 있다. 모바일 디바이스 (130) 는 옵션으로는 선택된 객체에 대응하는 생성된 특징 벡터를 리파인 (refine) 할 수 있다. 모바일 디바이스 (130) 는 선택된 객체의 특징 벡터를 이미지 계수 라이브러리 (262) 내에 저장된 특징들의 하나 이상의 카테고리들에 대해 트레이닝된 이미지들의 이미지 계수들과 비교함으로써 선택된 객체의 카테고리를 결정할 수 있다. 모바일 디바이스 (130) 가 (415 에서) 선택된 객체를 카테고리화했다면, 모바일 디바이스 (130) 는 선택된 객체를 추가 카테고리화하지 않고 선택된 객체의 카테고리를 유지할 수 있다. 일 구현에서, 모바일 디바이스 (130) 는 선택된 객체의 특징 벡터를 이미지 계수 라이브러리 (262) 내에 저장되는 트레이닝된 이미지들의 이미지 계수들과 비교하여 선택된 객체의 특성들을 인식 또는 다르게는 결정할 수 있다. 일 구현에서, 모바일 디바이스 (130) 는 선택된 객체에 매칭하는 트레이닝된 이미지를 발견하기 위해 벡터들간의 거리 (예를 들어, Manhalanobis 거리, Euclidean 거리 등) 를 계산함으로써 선택된 객체의 특징 벡터를 계수들의 트레이닝된 이미지들의 벡터와 비교할 수 있다. 모바일 디바이스 (130) 가 선택된 객체에 매칭하는 트레이닝된 이미지를 발견한다면, 모바일 디바이스 (130) 는 매칭하는 트레이닝된 이미지에 기초하여 선택된 객체를 인식할 수 있다. 특징 벡터들의 차원의 수는 특징 벡터들에 매칭하기 위해 요구되는 시간 및 프로세싱 능력과 직접 상관되며, 따라서 특징 벡터들의 차원의 수를 최소화하는 것이 바람직할 수도 있다. 그러나, 특징 벡터들은 구별가능하고 또한 잡음, 검출 에러, 및 기하학적 및 광도측정의 변형에 로버스트하기에 충분한 차원을 가져야 한다.
435 에서, 모바일 디바이스 (130) 는 선택된 객체에 매칭하는 트레이닝된 이미지에 기초하여 선택된 객체와 관련된 메타데이터를 생성할 수 있다. 예를 들어, 모바일 디바이스 (130) 가 선택된 객체를 BREW GAMING MONKEYTM 로고의 트레이닝된 이미지에 매칭시킨다면, 모바일 디바이스 (130) 는 선택된 객체가 BREW GAMING MONKEYTM 로고이거나 BREW GAMINGTM 제품을 포함한다는 것을 표시하는 메타데이터를 생성할 수 있다. 그렇지 않고, 모바일 디바이스 (130) 가 선택된 객체를 트레이닝된 이미지에 매칭시킬 수 없었다면, 모바일 디바이스 (130) 는 선택된 객체의 특징 벡터를 포함하는 메타데이터를 생성할 수 있다.
440 에서, 모바일 디바이스 (130) 는 획득된 이미지와 관련된 문맥 데이터를 획득할 수 있다. 모바일 디바이스 (130) 는 이미지를 획득하거나 이미지를 프로세싱하여 객체들을 검출할 때 모바일 디바이스 (130) 와 관련된 위치, 포지션, 배향, 움직임 및/또는 다른 문맥 데이터를 획득할 수 있다. 예를 들어, 문맥 데이터는 이미지가 획득되었던 장소의 GPS 위치를 포함할 수 있다. 다른 예의 경우, 문맥 데이터는 이미지가 획득되었던 때에, 모바일 디바이스 (130) 의 배향 (예를 들어, 전광판에서 상향, 매거진에서 하향 등) 또는 주변 온도를 포함할 수 있다. 또 다른 예의 경우, 문맥 데이터는 사용자 입력된 텍스트 (textual) 정보 또는 청각 정보, 이를 테면 "미국 오픈 골프 선수권에서 (at the U.S. Open)" 와 같은 텍스트 또는 음성 메시지, 배경 잡음과 같은 패시브 정보, 및 "좌측의 숙녀는 누구인가? (who is the lady on the left?)" 또는 "좌측의 숙녀는 무엇을 착용하고 있나? (what is the lady on the left wearing?)" 와 같은 지령 (directive) 을 포함할 수 있다. 일 구현에서, 모바일 디바이스 (130) 는 440 에서 독립적으로 또는 410 내지 435 에서 수행된 프로세싱 중 임의의 것과 동시에 문맥 데이터를 획득할 수 있다.
다음에, 445 에서, 모바일 디바이스 (130) 는 획득된 이미지에 기초하여 시각 검색 질의를 생성하고 시각 검색 질의를 이미지 인식 시스템 (120) 의 백-엔드 (300) 에 통신할 수 있다. 시각 검색 질의는 백-엔드 (300) 내의 프로세서 또는 서버에 대한 목적지 어드레스 또는 그 안에서 실행되는 프로세스를 포함할 수 있고, 목적지 어드레스는 선택된 객체의 카테고리에 기초하여 테일러링될 수 있다. 일 구현에서, 시각 검색 질의는 선택된 객체에 기초하여 획득된 이미지 또는 획득된 이미지로부터 추출된 서브-이미지, 및 획득된 이미지 또는 추출된 서브-이미지와 관련된 메타데이터 및/또는 문맥 데이터를 포함할 수 있다. 모바일 디바이스 (130) 는 획득된 이미지를 크로핑, 압축, 스케일링, 그레이스케일로 변환, 또는 다르게는 프로세싱할 수 있어 선택된 객체에 기초하여 적어도 하나의 서브-이미지를 추출 또는 다르게는 생성할 수 있다.
예를 들어, 도 1 및 도 6c 에 예시한 바와 같이, 선택된 객체가 430 에서 BREW GAMING MONKEYTM 로고인 것으로 인식된다면, 모바일 디바이스 (130) 는 획득된 이미지를 크로핑 또는 다르게는 프로세싱하여 로고 또는 그 로고가 첨부되는 물체 (예를 들어, 티셔츠 (630), 광고, 쿠폰, 모자, 한 켤레의 신발 등) 를 포함하는 서브-이미지를 추출할 수 있다. 대안으로 또는 추가로, 모바일 디바이스 (130) 는 모바일 디바이스 (130) 의 사용자로부터 수신되거나 모바일 디바이스 (130) 의 사용자에 의해 특정된 명령들에 따라, 또는 모바일 디바이스 (130) 에 의해 이전에 수신된 컴퓨터 판독가능 명령들에 따라 획득된 이미지를 크로핑 또는 다르게는 프로세싱할 수 있다. 획득된 이미지 또는 추출된 서브-이미지 및 획득된 이미지 또는 추출된 서브-이미지와 관련된 메타데이터 및/또는 문맥 데이터를 포함하는 시각 검색 질의를 생성한 후에, 모바일 디바이스 (130) 는 시각 검색 질의를 이미지 인식 시스템 (120) 의 백-엔드 (300) 에 통신할 수 있다. 추출된 서브-이미지는 획득된 이미지보다 더 작은 파일 사이즈를 갖는다. 따라서, 전체 획득된 이미지 대신에 추출된 서브-이미지를 포함하는 시각 검색 질의가 통신된다. 이런 이미지 축소는 다시 시각 검색 질의가 통신되는 속도를 향상시킬 수 있다. 또한, 전체 획득된 이미지 대신에 추출된 서브-이미지를 포함하는 시각 검색 질의를 통신하는 것은 또한 서버 또는 다른 목적지에 대한 통신 대역폭 요건을 감소시킬 수 있다.
450 에서, 모바일 디바이스 (130) 는 백-엔드 (300) 로부터 시각 검색 질의에 응답한 시각 검색 결과를 수신하고 그것을 사용자에게 제시할 수 있다. 모바일 디바이스 (130) 는 또한 시각 검색 결과를 저장하고/하거나 그 시각 검색 결과를 시각 검색 질의와 관련시킬 수 있으며, 시각 검색 결과에 관한 사용자로부터의 주석을 수신 및 저장할 수 있다. 그 후에, 모바일 디바이스 (130) 는 시각 검색 결과, 시각 검색 질의 및/또는 사용자 주석을 통신 프로토콜을 통해 송신할 수 있다. 시각 검색 결과는 획득된 이미지 내의 선택된 객체와 관련된 정보 컨텐츠를 포함할 수 있다. 예를 들어, 선택된 객체가 로고 (예를 들어, 도 6b 에 나타낸 바와 같은 선택된 패턴 (610) 내의 로고 등) 라면, 정보 컨텐츠는 제품 정보 (예를 들어, 도 6d 에 나타낸 바와 같은 제품 브랜드 (650) 및 제품 타입 (660)), 제품 정보에 대한 관련 링크 (예를 들어, 정보 링크 (670)), 관련 제품 (예를 들어, 관련 제품 (690) 및 광고 (695)), 비교 쇼핑을 위한 온라인 소매, 위시 리스트에 저장, 친구와 공유, 또는 즉시 구매 (예를 들어, 구매 링크 (680)) 등을 위한 링크, 또는 이들의 임의의 조합을 포함할 수 있다. 선택된 객체가 유명인사의 얼굴이라면, 정보 컨텐츠는 예를 들어, 유명인사의 이름, 그 또는 그녀의 전기, 유명인사와 관련된 서비스 및/또는 제품, 및 다른 관련 정보, 또는 이들의 임의의 조합을 포함할 수 있다. 선택된 객체가 랜드마크라면, 정보 컨텐츠는 랜드마크의 이름, 히스토리, 랜드마크와 관련된 서비스 및/또는 제품, 및 다른 관련 정보, 또는 이들의 임의의 조합을 포함할 수 있다. 일 구현에서, 모바일 디바이스 (130) 는, 사용자가 검색 결과의 정확성 및 관련성을 평가하기 위한 확인 다이알로그 (confirmation dialog), 사용자가 검색 결과에 주석을 달기 위한 입력 다이알로그 (input dialog) 등과 같이, 시각 검색 결과에 관하여 백-엔드 (300) 로부터 피드백 요청을 수신할 수 있다. 다양한 카테고리들 및 타입들의 이미지들, 메타데이터, 문맥 데이터, 시각 검색 질의 및 결과, 정보 컨텐츠 및 사용자 피드백 메커니즘들의 상기 열거는 단지 예시를 위한 것이며 본 교시를 어떠한 방식으로도 제한하는 것으로 의도되지 않는다.
도 5 는 본 교시의 일 구현에 따른, (도 1 에 나타낸 바와 같은) 이미지 인식 시스템 (120) 을 이용하여 시각 검색을 가능하게 하고 이미지 인식을 용이하게 하기 위해 (도 3 에 나타낸 바와 같은) 백-엔드 (300) 에 의해 수행될 수 있는 프로세싱의 플로우차트를 예시한다. 510 에서, 백-엔드 (300) 내의 (도 1 및 도 3 에 나타낸 바와 같은) 원격 서버 (140) 는 무선 커넥션 (132) 및 무선 서비스 제공자 (150) 또는 당업자에게 알려져 있는 다른 데이터 송신 수단을 통해 시각 검색 질의를 수신할 수 있다. 상기 설명한 바와 같이, 시각 검색 질의는 적어도 하나의 관심 객체를 포함하는 이미지, 및 이미지와 관련된 메타데이터 및/또는 문맥 데이터를 포함할 수 있다. 예시를 위해, (도 6c 에 나타낸 바와 같은) 이미지 (600) 에 기초하여 생성된 예시적인 시각 검색 질의는 티셔츠 (630) 의 이미지, 그 이미지가 BREW GAMINGTM 과 관련된다는 것을 표시하는 메타데이터, 및 이미지가 특정 GPS 위치에서 획득되었다는 것을 표시하는 문맥 데이터를 포함할 수 있다.
다음에, 515 에서, 원격 서버 (140) 는 시각 검색 질의에 기초하여 이미지 내의 관심 객체를 인식 또는 다르게는 식별할 수 있다. 원격 서버 (140) 는 이미지와 관련된 메타데이터 및/또는 문맥 데이터는 물론, 유사한 시각 검색 질의에 대해 이전에 제공된 검색 결과들과 관련된 임의의 사용자 피드백을 이용하여 관심 객체을 인식하게 도울 수 있는데, 이는 원격 서버 (140) 로 하여금 시각 검색의 범위에 포커싱 또는 다르게는 시각 검색의 범위를 제한할 수 있게 하여 이미지 인식 시스템 (120) 의 정확성, 속도 및/또는 효율을 개선시킨다. 일 구현에서, 원격 서버 (140) 는 이미지 인식 서버 (146) 내에 저장된 이미지 인식 소프트웨어 (364) 를 실행시켜 이미지의 이미지 데이터 및 계수 라이브러리 (366) 내에 저장된 이미지 데이터 (예를 들어, 이미지 래스터 데이터, 이미지 계수 등) 와의 일-대-일 매칭을 수행할 수 있다. 원격 서버 (140) 는 이미지와 관련된 메타데이터 및/또는 문맥 데이터에 기초한 일-대-일 매칭에 포커싱할 수 있다. 예를 들어, 이미지 (600) 에 기초하여 생성된 예시적인 시각 검색 질의를 수신한 후에, 원격 서버 (140) 는 티셔츠 (630) 의 BREW GAMINGTM 과 관련되는 저장된 이미지 데이터와의 일-대-일 매칭에 포커싱할 수 있다.
515 에서의 일-대-일 매칭에 대한 대안으로 또는 일-대-일 매칭에 더하여, 원격 서버 (140) 는 이미지 인식 소프트웨어 (364) 를 실행시켜 이미지 내의 적어도 하나의 관심 객체를 검출하고 그 관심 객체를 고유하게 나타내는 특징 벡터를 컴퓨팅할 수 있다. 원격 서버 (140) 는 특징 벡터를, 이미지 데이터 및 계수 라이브러리 (366) 내에 저장되는, 가능한 이미지 후보들, 또는 트레이닝된 이미지들의 이미지 계수들과 비교함으로써 컴퓨팅된 특징 벡터에 기초하여 관심 객체를 인식할 수 있다. 일 구현에서, 원격 서버 (140) 는 벡터들 간의 거리 (예를 들어, Manhalanobis 거리, Euclidean 거리 등) 를 계산함으로써 컴퓨팅된 특징 벡터를 계수들의 트레이닝된 이미지들의 벡터와 매칭시켜 관심 객체를 인식할 수 있다. 원격 서버 (140) 는 그 후 매칭하는 트레이닝된 이미지에 기초하여 관심 객체를 인식할 수 있다. 원격 서버 (140) 는 이미지와 관련된 메타데이터 및/또는 문맥 데이터에 기초한 벡터 매칭에 포커싱할 수 있다. 예를 들어, 이미지 (600) 에 기초하여 생성된 예시적인 시각 검색 질의를 수신한 후에, 원격 서버 (140) 는 티셔츠 (630) 로부터 컴퓨팅된 특징 벡터의 BREW GAMINGTM 과 관련되는 저장된 이미지 계수들과의 매칭에 포커싱할 수 있다.
520 에서, 원격 서버 (140) 는 시각 검색 질의에 응답하여 인식된 관심 객체에 기초하여, 정보 컨텐츠를 포함하는 시각 검색 결과를 생성할 수 있다. 원격 서버 (140) 는 인식된 객체, 이미지와 관련된 메타데이터 및/또는 문맥 데이터는 물론, 유사한 시각 검색 질의들에 대해 이전에 제공된 검색 결과들과 관련된 임의의 사용자 피드백에 기초하여 시맨틱 검색을 수행하여, 인식된 객체와 관련되고/되거나 인식된 객체에 관련있는 정보 컨텐츠를 검색할 수 있다. 관련 메타데이터 및/또는 문맥 데이터를 이용한 시맨틱 검색의 범위에 포커싱하거나 다르게는 제한함으로써, 원격 서버 (140), 및 따라서 이미지 인식 시스템 (120) 은 시각 검색 질의에 응답하여 보다 정확하고/하거나 보다 관련있는 정보 컨텐츠를 제공할 수 있다.
일 구현에서, 원격 서버 (140) 는 컨텐츠 서버 (144) 내에 저장된 검색 엔진 (344) 을 실행시켜 정보 컨텐츠 데이터베이스 (346) 내에 저장된 정보 컨텐츠에 대한 시맨틱 검색을 수행할 수 있다. 원격 서버 (140) 는 이미지와 관련된 메타데이터 및/또는 문맥 데이터에 기초한 시맨틱 검색에 포커싱할 수 있다. 예를 들어, 이미지 (600) 에 기초하여 생성된 예시적인 시각 검색 질의를 수신하고 티셔츠 (630) 가 BREW GAMING MONKEYTM 로고의 이미지를 포함한다는 것을 인식한 후에, 원격 서버 (140) 는 제품 정보 (예를 들어, 도 6d 에 나타낸 바와 같은 제품 브랜드 (650) 및 제품 타입 (660)), 제품 정보에 대한 관련 링크 (예를 들어, 정보 링크 (670)), 관련 제품 (예를 들어, 관련 제품 (690)), 비교 쇼핑을 위한 온라인 소매, 위시 리스트에 저장, 친구와 공유, 또는 즉시 구매 (예를 들어, 구매 링크 (680)) 등을 위한 링크, 또는 이들의 임의의 조합과 같이, 관련 정보 컨텐츠를 검색하기 위해 BREW GAMINGTM 에 대한 시맨틱 검색을 수행할 수 있다. 추가 예의 경우, 원격 서버 (140) 는 관련 문맥 데이터 (예를 들어, GPS 위치, 사용자 입력된 텍스트 정보 또는 청각 정보 등) 를 이용하여 GPS 위치 근방의 상점에서의 관련 제품 (690) 에 대한 광고 (695) (도 6d 에 나타낸 바와 같음), GPS 위치에 대응하는 인근 상점들에서 이용가능한 쿠폰들 및 프로모션들 등과 같이, GPS 위치에 기초한 관련 정보 컨텐츠를 검색하기 위한 시맨틱 검색에 포커싱할 수 있다. 다양한 타입들의 검색 질의들, 이미지들, 관심 객체들, 메타데이터, 문맥 데이터, 시각 검색 질의 및 결과, 정보 컨텐츠의 상기 열거는 단지 예를 위한 것이며, 본 교시를 어떠한 방식으로도 제한하는 것으로 의도되지 않는다.
다음에, 525 에서, 원격 서버 (140) 는 관련 정보 컨텐츠를 포함하는 시각 검색 결과를 무선 커넥션 (132) 및 무선 서비스 제공자 (150) 또는 당업자에게 알려져 있는 다른 데이터 송신 수단을 통해 모바일 디바이스 (130) 에 통신 또는 다르게는 제공할 수 있다. 원격 서버 (140) 는 또한 사용자가 검색 결과의 정확성 또는 관련성을 평가하기 위한 확인 다이알로그, 사용자가 검색 결과에 주석을 달기 위한 입력 다이알로그 등과 같이, 시각 검색 결과에 관하여 사용자 피드백에 대한 요청을 통신할 수 있다. 530 에서, 원격 서버 (140) 는 요금 징수 (fee-collection), 리포팅, 데이터 마이닝 (data-mining), 사용자 또는 제품 프로파일링, 미래 마케팅 등과 같이, 임의의 목적을 위해 시각 검색 질의를 레코딩할 수 있다. 또한, 원격 서버 (140) 는 임의의 목적을 위해 대응하는 시각 검색 질의와 관련하여, 또는 그 대응하는 시각 검색 질의와는 관계없이 시각 검색 결과를 레코딩할 수 있다. 원격 서버 (140) 는 또한 이미지 인식 소프트웨어 (364) 및/또는 검색 엔진 (344) 의 트레이닝, 요금 징수, 리포팅, 데이터 마이닝, 사용자 또는 제품 프로파일링, 미래 마케팅 등과 같이, 임의의 목적을 위해 시각 검색 결과에 대한 사용자 피드백을 레코딩 및/또는 관련시킬 수 있다. 또한, 원격 서버 (140) 는 시각 검색 결과를 캐싱하여 검색 결과를 빨리 제공하고 시각 검색 질의와 동일하거나 거의 동일한 미래의 시각 검색 질의에 응답하여 리던던트 프로세싱을 최소화할 수 있다. 더욱이, 원격 서버 (140) 는 검색 시간, 시각 검색 결과 내의 정보 컨텐츠의 관련성의 신뢰도 등과 같이, 이미지 인식 시스템 (120) 에 의한 시각 검색 질의의 프로세싱과 관련된 통계를 레코딩할 수 있다.
여기에 설명된 구현이 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 및/또는 프로그램 코드 또는 코드 세그먼트들에서 구현되는 경우, 그들은 저장 컴포넌트와 같이, 컴퓨터 판독가능 저장 매체 내에 저장될 수 있다. 코드 세그먼트는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 스테이트먼트들의 임의의 조합을 나타낼 수 있다. 코드 세그먼트는 정보, 데이터, 독립변수, 파라미터, 또는 메모리 컨텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수 있다. 정보, 독립변수, 파라미터, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적절한 수단을 이용하여 전달, 포워딩, 또는 송신될 수 있다. 소프트웨어 구현의 경우, 여기에 설명된 기법들은 여기에 설명된 기능들을 수행하는 모듈들 (예를 들어, 절차들, 함수들 등) 을 이용하여 구현될 수 있다. 소프트웨어 코드들은 메모리 유닛 내에 저장되고 프로세서들에 의해 실행될 수 있다. 메모리 유닛은 프로세서 내에 또는 프로세서의 외부에 구현될 수 있으며, 프로세서의 외부에 구현되는 경우에는, 당업계에 알려져 있는 바와 같이 다양한 수단을 통해 프로세서에 통신적으로 커플링될 수 있다.
전술한 설명은 예시적이며, 구성 및 구현의 변경이 당업자에 의해 발생할 수도 있다. 예를 들어, 여기에 개시된 구현들과 관련하여 설명된 다양한 예시적인 로직, 논리 블록, 모듈 및 회로는 여기에 설명된 기능들을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그램가능한 게이트 어레이 (FPGA) 또는 다른 프로그램가능한 로직 디바이스, 별개의 게이트 또는 트랜지스터 로직, 별개의 하드웨어 컴포넌트 또는 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서, 복수의 마이크로프로세서, DSP 코어와 결합된 하나 이상의 마이크로프로세서 또는 임의의 다른 이러한 구성의 조합으로서 구현될 수도 있다.
하나 이상의 예시적인 구현에서, 상기 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어 구현의 경우, 여기에 설명된 기법들은 여기에 설명된 기능들을 수행하는 모듈들 (예를 들어, 절차들, 함수들 등) 로 구현될 수 있다. 소프트웨어 코드들은 메모리 유닛 내에 저장되고 프로세서들에 의해 실행될 수 있다. 메모리 유닛은 프로세서 내에 또는 프로세서의 외부에 구현될 수 있으며, 프로세서의 외부에 구현되는 경우에는 당업계에 알려져 있는 바와 같이 다양한 수단을 통해 프로세서에 통신적으로 커플링될 수 있다. 소프트웨어에 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장 또는 송신될 수도 있다. 컴퓨터 판독가능 매체는 일 장소로부터 타 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체와 유형의 컴퓨터 저장 매체 양자를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 유형의 매체일 수도 있다. 제한이 아닌 일 예로, 이러한 유형의 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 운반 또는 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 커넥션이 컴퓨터 판독가능 매체라 적절히 불리게 된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스티드 페어, 디지털 가입자 회선 (DSL), 또는 적외선, 무선 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신된다면, 매체의 정의에는, 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 무선 및 마이크로파와 같은 무선 기술들이 포함된다. 디스크 (disk) 및 디스크 (disc) 는 여기에 사용되는 바와 같이, CD, 레이저 디스크 (laser disc), 광학 디스크 (optical disc), DVD, 플로피 디스크 (floppy disk) 및 블루-레이 디스크 (blu-ray disc) 를 포함하며, 여기서 디스크 (disk) 는 보통 데이터를 자기적으로 재생시키는 한편, 디스크 (disc) 는 레이저를 이용하여 데이터를 광학적으로 재생시킨다. 상기의 조합이 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
여기에 설명된 기법들은 CDMA, TDMA, FDMA, OFDMA, SC-FDMA 및 다른 시스템과 같은 다양한 무선 통신 시스템용으로 이용될 수도 있다. "시스템" 및 "네트워크" 란 용어들은 종종 상호교환가능하게 사용된다. CDMA 시스템은 UTRA (Universal Terrestrial Radio Access), cdma2000 등과 같은 무선 기술을 구현할 수도 있다. UTRA 는 광대역 CDMA (W-CDMA) 및 CDMA 의 다른 변형을 포함한다. 또한, cdma2000 은 IS-2000, IS-95 및 IS-856 표준들을 커버한다. TDMA 시스템은 GSM (Global System for Mobile Communications) 과 같은 무선 기술을 구현할 수도 있다. OFDMA 시스템은 E-UTRA (Evolved UTRA), UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, Flash-OFDM 등과 같은 무선 기술을 구현할 수도 있다. UTRA 및 E-UTRA 는 UMTS (Universal Mobile Telecommunication System) 의 일부이다. 3GPP LTE (Long Term Evolution) 는 E-UTRA 를 이용하는 UMTS 의 릴리즈 (release) 인데, 이는 다운링크 상에서 OFDMA 를 이용하고 업링크 상에서 SC-FDMA 를 이용한다. UTRA, E-UTRA, UMTS, LTE 및 GSM 은 "3 세대 파트너쉽 프로젝트 (3GPP)" 라 명명된 기관으로부터의 문서에서 기술된다. 추가로, cdma2000 및 UMB 는 "3 세대 파트너쉽 프로젝트 2 (3GPP2)" 라 명명된 기관으로부터의 문서에서 기술된다. 또한, 이러한 무선 통신 시스템은 언페어드 미허가된 스펙트럼 (unpaired unlicensed spectrums), 802.xx 무선 LAN, 블루투스 (BLUETOOTH) 및 임의의 다른 단거리 또는 장거리 무선 통신 기법들을 종종 이용하는 피어-투-피어 (예를 들어, 모바일-투-모바일) 애드 혹 (ad hoc) 네트워크 시스템들을 추가로 포함할 수도 있다.
여기에 개시된 구현들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 직접 하드웨어에, 프로세서에 의해 실행된 소프트웨어 모듈에, 또는 이 둘의 조합에 구현될 수도 있다. 방법이 예들에 의해 설명되었지만, 방법의 단계들은 예시와는 상이한 순서로 또는 동시에 수행될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM, EPROM, EEPROM, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 당업계에 알려져 있는 임의의 다른 형태의 컴퓨터 판독가능 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되어, 그 프로세서가 저장 매체로부터 정보를 판독하고 그 저장 매체에 정보를 기록하도록 할 수 있다. 대안으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC 은 모바일 디바이스에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체는 모바일 디바이스 내에 별개의 컴포넌트들로서 상주할 수도 있다. 단수 또는 통합된 것으로 설명된 다른 리소스들이 일 구현에서는 복수 또는 분산될 수 있으며, 다중 또는 분산된 것으로 설명된 리소스들은 구현들에서 조합될 수 있다. 그에 따라 본 교시의 범위는 다음의 특허청구의 범위에 의해서만 제한되는 것으로 의도된다.

Claims (57)

  1. 모바일 디바이스로서,
    서버에 대한 무선 인터페이스; 및
    상기 무선 인터페이스와 통신하고, 프로세싱을 개시하도록 구성되는 프로세서를 포함하며,
    상기 프로세싱은 :
    이미지를 획득하는 것;
    상기 획득된 이미지에서 하나 이상의 객체들을 검출하는 것;
    상기 검출된 객체들 중 적어도 하나의 검출된 객체와 관련된 메타데이터를 생성하는 것으로서, 상기 메타데이터를 생성하는 것은, 상기 검출된 객체들을 하이라이트하는 것, 상기 검출된 객체들 중 선택된 객체를 나타내는 입력을 수신하는 것, 및 상기 선택된 객체에 기초하여 상기 메타데이터를 생성하는 것을 포함하는, 상기 메타데이터를 생성하는 것;
    상기 적어도 하나의 검출된 객체에 기초하여 상기 획득된 이미지로부터 질의 이미지 (query image) 를 추출하는 것;
    상기 질의 이미지 및 상기 메타데이터를 포함하는 시각 검색 질의 (visual search query) 를 생성하는 것;
    상기 무선 인터페이스를 통해 상기 시각 검색 질의를 상기 서버에 통신하는 것; 및
    상기 시각 검색 질의에 응답하여, 상기 적어도 하나의 검출된 객체와 관련된 정보 컨텐츠를 수신 및 제시하는 것을 포함하고,
    상기 이미지를 획득하는 것은:
    상기 획득된 이미지와 관련된 문맥 데이터 (contextual data) 를 획득하는 것을 더 포함하며,
    상기 시각 검색 질의는 상기 문맥 데이터를 더 포함하는, 모바일 디바이스.
  2. 제 1 항에 있어서,
    상기 메타데이터를 생성하는 것은 :
    상기 검출된 객체들 중 하나 이상의 검출된 객체들을 객체 카테고리 내에 있는 것으로서 카테고리화하는 것;
    상기 카테고리화된 객체들을 하이라이트 (highlight) 하는 것;
    상기 카테고리화된 객체들 중 선택된 객체를 나타내는 입력을 수신하는 것; 및
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 메타데이터를 생성하는 것을 더 포함하는, 모바일 디바이스.
  3. 제 2 항에 있어서,
    상기 검출된 객체들 중 하나 이상의 검출된 객체들을 카테고리화하는 것은 :
    상기 검출된 객체들 중 적어도 하나의 검출된 객체에 기초하여 특징 벡터 (feature vector) 를 생성하는 것;
    상기 특징 벡터를 상기 객체 카테고리 내의 트레이닝된 이미지들 (trained images) 의 이미지 계수들의 세트와 비교하여 상기 적어도 하나의 검출된 객체에 매칭하는 상기 객체 카테고리 내의 매칭하는 트레이닝된 이미지를 결정하는 것으로서, 상기 이미지 계수들의 세트는 상기 모바일 디바이스 내에 저장되는, 상기 매칭하는 트레이닝된 이미지를 결정하는 것; 및
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 검출된 객체를 카테고리화하는 것을 더 포함하는, 모바일 디바이스.
  4. 제 3 항에 있어서,
    상기 프로세서는, 상기 획득하는 것, 상기 검출하는 것, 상기 하이라이트하는 것 및 상기 카테고리화하는 것의 동작들을 실시간으로 수행하는, 모바일 디바이스.
  5. 제 3 항에 있어서,
    상기 객체 카테고리는 로고, 디자인, 얼굴, 랜드마크, 어패럴, 간판 (sign), 자연 객체 (natural object) 또는 인공 객체 (man-made object) 를 포함하는, 모바일 디바이스.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 선택된 객체에 기초하여 상기 메타데이터를 생성하는 것은 :
    상기 선택된 객체를 객체 카테고리 내에 있는 것으로서 카테고리화하는 것; 및
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 메타데이터를 생성하는 것을 더 포함하는, 모바일 디바이스.
  8. 제 7 항에 있어서,
    상기 시각 검색 질의를 상기 서버에 통신하는 것은 :
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 시각 검색 질의에 대한 목적지 어드레스를 생성하는 것; 및
    상기 목적지 어드레스에 따라 상기 시각 검색 질의를 상기 서버에 통신하는 것을 더 포함하는, 모바일 디바이스.
  9. 제 1 항에 있어서,
    상기 획득된 이미지로부터 질의 이미지를 추출하는 것은, 상기 획득된 이미지를 크로핑 (cropping) 하는 것, 상기 획득된 이미지를 압축하는 것, 상기 획득된 이미지를 스케일링하는 것, 또는 상기 획득된 이미지를 그레이스케일로 변환하는 것을 더 포함하는, 모바일 디바이스.
  10. 제 1 항에 있어서,
    상기 메타데이터를 생성하는 것은 :
    상기 검출된 객체들 중 적어도 하나의 검출된 객체에 기초하여 특징 벡터를 생성하는 것;
    상기 특징 벡터를 트레이닝된 이미지들의 이미지 계수들의 세트와 비교하여 상기 검출된 객체에 매칭하는, 매칭하는 트레이닝된 이미지를 결정하는 것으로서, 상기 이미지 계수들의 세트는 상기 모바일 디바이스 내에 저장되는, 상기 매칭하는 트레이닝된 이미지를 결정하는 것;
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 검출된 객체를 인식하는 것; 및
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 인식된 객체와 관련된 상기 메타데이터를 생성하는 것을 더 포함하는, 모바일 디바이스.
  11. 제 1 항에 있어서,
    상기 모바일 디바이스는 문맥 데이터 센서를 포함하며,
    상기 획득된 이미지와 관련된 문맥 데이터를 획득하는 것은 :
    상기 문맥 데이터 센서를 통해 문맥 데이터를 획득하는 것을 더 포함하는, 모바일 디바이스.
  12. 제 1 항에 있어서,
    상기 문맥 데이터는, 글로벌 포지셔닝 시스템 (GPS) 위치 픽스 (location fix), A (Assisted)-GPS 위치 픽스, 갈릴레오 시스템 위치 픽스, 타워 삼변측량 픽스 (tower trilateration fix), 텍스트 정보 (textual information), 청각 정보, 가속도계 판독, 자이로스코프 판독, 또는 온도 판독을 포함하는, 모바일 디바이스.
  13. 제 1 항에 있어서,
    상기 정보 컨텐츠는 이름, 가격, 제조자, 리뷰, 쿠폰, 또는 광고를 포함하는, 모바일 디바이스.
  14. 이미지 인식을 수행하는 방법으로서,
    모바일 디바이스에 의해 이미지를 획득하는 단계;
    상기 획득된 이미지에서 하나 이상의 객체들을 검출하는 단계;
    상기 검출된 객체들 중 적어도 하나의 검출된 객체와 관련된 메타데이터를 생성하는 단계로서, 상기 메타데이터를 생성하는 단계는, 상기 검출된 객체들을 하이라이트하는 단계, 상기 검출된 객체들 중 선택된 객체를 나타내는 입력을 수신하는 단계, 및 상기 선택된 객체에 기초하여 상기 메타데이터를 생성하는 단계를 포함하는, 상기 메타데이터를 생성하는 단계;
    상기 적어도 하나의 검출된 객체에 기초하여 상기 획득된 이미지로부터 질의 이미지 (query image) 를 추출하는 단계;
    상기 질의 이미지 및 상기 메타데이터를 포함하는 시각 검색 질의 (visual search query) 를 생성하는 단계;
    상기 시각 검색 질의를 무선으로 통신하는 단계; 및
    상기 시각 검색 질의에 응답하여, 상기 적어도 하나의 검출된 객체와 관련된 정보 컨텐츠를 수신 및 제시하는 단계를 포함하고,
    상기 이미지를 획득하는 단계는 :
    상기 획득된 이미지와 관련된 문맥 데이터 (contextual data) 를 획득하는 단계를 더 포함하며,
    상기 시각 검색 질의는 상기 문맥 데이터를 더 포함하는, 이미지 인식을 수행하는 방법.
  15. 제 14 항에 있어서,
    상기 메타데이터를 생성하는 단계는 :
    상기 검출된 객체들 중 하나 이상의 검출된 객체들을 객체 카테고리 내에 있는 것으로서 카테고리화하는 단계;
    상기 카테고리화된 객체들을 하이라이트하는 단계;
    상기 카테고리화된 객체들 중 선택된 객체를 나타내는 입력을 수신하는 단계; 및
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 메타데이터를 생성하는 단계를 더 포함하는, 이미지 인식을 수행하는 방법.
  16. 제 15 항에 있어서,
    상기 검출된 객체들 중 하나 이상의 검출된 객체들을 카테고리화하는 단계는 :
    상기 검출된 객체들 중 적어도 하나의 검출된 객체에 기초하여 특징 벡터 (feature vector) 를 생성하는 단계;
    상기 특징 벡터를 상기 객체 카테고리 내의 트레이닝된 이미지들 (trained images) 의 이미지 계수들의 세트와 비교하여 상기 적어도 하나의 검출된 객체에 매칭하는 상기 객체 카테고리 내의 매칭하는 트레이닝된 이미지를 결정하는 단계로서, 상기 이미지 계수들의 세트는 상기 모바일 디바이스 내에 저장되는, 상기 매칭하는 트레이닝된 이미지를 결정하는 단계; 및
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 검출된 객체를 카테고리화하는 단계를 더 포함하는, 이미지 인식을 수행하는 방법.
  17. 제 16 항에 있어서,
    상기 모바일 디바이스는, 상기 획득하는 단계, 상기 검출하는 단계, 상기 하이라이트하는 단계, 또는 상기 카테고리화하는 단계의 동작들을 실시간으로 수행하는, 이미지 인식을 수행하는 방법.
  18. 삭제
  19. 제 14 항에 있어서,
    상기 선택된 객체에 기초하여 상기 메타데이터를 생성하는 단계는 :
    상기 선택된 객체를 객체 카테고리 내에 있는 것으로서 카테고리화하는 단계; 및
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 메타데이터를 생성하는 단계를 더 포함하는, 이미지 인식을 수행하는 방법.
  20. 제 19 항에 있어서,
    상기 시각 검색 질의를 무선으로 통신하는 단계는 :
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 시각 검색 질의에 대한 목적지 어드레스를 생성하는 단계; 및
    상기 목적지 어드레스에 따라 상기 시각 검색 질의를 목적지에 통신하는 단계를 더 포함하는, 이미지 인식을 수행하는 방법.
  21. 제 14 항에 있어서,
    상기 획득된 이미지와 관련된 문맥 데이터를 획득하는 단계는 :
    상기 문맥 데이터를 상기 모바일 디바이스의 문맥 데이터 센서를 통해 획득하는 단계를 더 포함하는, 이미지 인식을 수행하는 방법.
  22. 이미지 인식을 수행하는 시스템으로서,
    모바일 디바이스에 의해 이미지를 획득하는 수단;
    상기 획득된 이미지에서 하나 이상의 객체들을 검출하는 수단;
    상기 검출된 객체들 중 적어도 하나의 검출된 객체와 관련된 메타데이터를 생성하는 수단으로서, 상기 메타데이터를 생성하는 수단은, 상기 검출된 객체들을 하이라이트하는 수단, 상기 검출된 객체들 중 선택된 객체를 나타내는 입력을 수신하는 수단, 및 상기 선택된 객체에 기초하여 상기 메타데이터를 생성하는 수단을 포함하는, 상기 메타데이터를 생성하는 수단;
    상기 적어도 하나의 검출된 객체에 기초하여 상기 획득된 이미지로부터 질의 이미지 (query image) 를 추출하는 수단;
    상기 질의 이미지 및 상기 메타데이터를 포함하는 시각 검색 질의 (visual search query) 를 생성하는 수단;
    상기 시각 검색 질의를 무선으로 통신하는 수단; 및
    상기 시각 검색 질의에 응답하여, 상기 적어도 하나의 검출된 객체와 관련된 정보 컨텐츠를 수신 및 제시하는 수단을 포함하고,
    상기 이미지를 획득하는 수단은 :
    상기 획득된 이미지와 관련된 문맥 데이터 (contextual data) 를 획득하는 수단을 더 포함하며,
    상기 시각 검색 질의는 상기 문맥 데이터를 더 포함하는, 이미지 인식을 수행하는 시스템.
  23. 제 22 항에 있어서,
    상기 메타데이터를 생성하는 수단은 :
    상기 검출된 객체들 중 하나 이상의 검출된 객체들을 객체 카테고리 내에 있는 것으로서 카테고리화하는 수단;
    상기 카테고리화된 객체들을 하이라이트하는 수단;
    상기 카테고리화된 객체들 중 선택된 객체를 나타내는 입력을 수신하는 수단; 및
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 메타데이터를 생성하는 수단을 더 포함하는, 이미지 인식을 수행하는 시스템.
  24. 제 23 항에 있어서,
    상기 검출된 객체들 중 하나 이상의 검출된 객체들을 카테고리화하는 수단은 :
    상기 검출된 객체들 중 적어도 하나의 검출된 객체에 기초하여 특징 벡터 (feature vector) 를 생성하는 수단;
    상기 특징 벡터를 상기 객체 카테고리 내의 트레이닝된 이미지들 (trained images) 의 이미지 계수들의 세트와 비교하여 상기 적어도 하나의 검출된 객체에 매칭하는 상기 객체 카테고리 내의 매칭하는 트레이닝된 이미지를 결정하는 수단으로서, 상기 이미지 계수들의 세트는 상기 모바일 디바이스 내에 저장되는, 상기 매칭하는 트레이닝된 이미지를 결정하는 수단; 및
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 검출된 객체를 카테고리화하는 수단을 더 포함하는, 이미지 인식을 수행하는 시스템.
  25. 제 24 항에 있어서,
    상기 획득하는 수단, 상기 검출하는 수단, 상기 하이라이트하는 수단, 및 상기 카테고리화하는 수단은 실시간으로 수행되는, 이미지 인식을 수행하는 시스템.
  26. 삭제
  27. 제 22 항에 있어서,
    상기 선택된 객체에 기초하여 상기 메타데이터를 생성하는 수단은 :
    상기 선택된 객체를 객체 카테고리 내에 있는 것으로서 카테고리화하는 수단; 및
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 메타데이터를 생성하는 수단을 더 포함하는, 이미지 인식을 수행하는 시스템.
  28. 제 27 항에 있어서,
    상기 시각 검색 질의를 무선으로 통신하는 수단은 :
    상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 시각 검색 질의에 대한 목적지 어드레스를 생성하는 수단; 및
    상기 목적지 어드레스에 따라 상기 시각 검색 질의를 목적지에 통신하는 수단을 더 포함하는, 이미지 인식을 수행하는 시스템.
  29. 제 22 항에 있어서,
    상기 획득된 이미지와 관련된 문맥 데이터를 획득하는 수단은 :
    상기 획득된 이미지와 관련된 상기 문맥 데이터를 상기 모바일 디바이스의 문맥 데이터 센서를 통해 획득하는 수단을 더 포함하는, 이미지 인식을 수행하는 시스템.
  30. 컴퓨터로 하여금, 상기 컴퓨터에 의한 실행 시에 모바일 디바이스에 의한 이미지 인식을 수행하도록 하는 명령들을 저장하는 컴퓨터 판독가능 매체로서,
    상기 명령들은 :
    상기 컴퓨터로 하여금, 이미지를 획득하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 획득된 이미지에서 하나 이상의 객체들을 검출하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 검출된 객체들 중 적어도 하나의 검출된 객체와 관련된 메타데이터를 생성하도록 하기 위한 적어도 하나의 명령으로서, 상기 컴퓨터로 하여금, 상기 메타데이터를 생성하도록 하기 위한 적어도 하나의 명령은, 상기 컴퓨터로 하여금, 상기 검출된 객체들을 하이라이트하도록 하기 위한 적어도 하나의 명령, 상기 컴퓨터로 하여금, 상기 하이라이트된 객체 중 선택된 객체를 나타내는 입력을 수신하도록 하기 위한 적어도 하나의 명령, 및 상기 컴퓨터로 하여금, 상기 선택된 객체에 기초하여 상기 메타데이터를 생성하도록 하기 위한 적어도 하나의 명령을 포함하는, 상기 메타데이터를 생성하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 적어도 하나의 검출된 객체에 기초하여 상기 획득된 이미지로부터 질의 이미지 (query image) 를 추출하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 질의 이미지 및 상기 메타데이터를 포함하는 시각 검색 질의 (visual search query) 를 생성하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 시각 검색 질의를 무선으로 통신하도록 하기 위한 적어도 하나의 명령; 및
    상기 컴퓨터로 하여금, 상기 시각 검색 질의에 응답하여, 상기 적어도 하나의 검출된 객체와 관련된 정보 컨텐츠를 수신 및 제시하도록 하기 위한 적어도 하나의 명령을 포함하고,
    상기 컴퓨터로 하여금, 상기 이미지를 획득하도록 하기 위한 적어도 하나의 명령은 :
    상기 컴퓨터로 하여금, 상기 획득된 이미지와 관련된 문맥 데이터 (contextual data) 를 획득하도록 하기 위한 적어도 하나의 명령을 더 포함하며,
    상기 시각 검색 질의는 상기 문맥 데이터를 더 포함하는, 컴퓨터 판독가능 매체.
  31. 제 30 항에 있어서,
    상기 컴퓨터로 하여금, 상기 메타데이터를 생성하도록 하기 위한 적어도 하나의 명령은 :
    상기 컴퓨터로 하여금, 상기 검출된 객체들 중 하나 이상의 검출된 객체들을 객체 카테고리 내에 있는 것으로서 카테고리화하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 카테고리화된 객체들을 하이라이트하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 카테고리화된 객체들 중 선택된 객체를 나타내는 입력을 수신하도록 하기 위한 적어도 하나의 명령; 및
    상기 컴퓨터로 하여금, 상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 메타데이터를 생성하도록 하기 위한 적어도 하나의 명령을 더 포함하는, 컴퓨터 판독가능 매체.
  32. 제 31 항에 있어서,
    상기 컴퓨터로 하여금, 상기 검출된 객체들 중 하나 이상의 검출된 객체들을 카테고리화하기 위한 적어도 하나의 명령은 :
    상기 컴퓨터로 하여금, 상기 검출된 객체들 중 적어도 하나의 검출된 객체에 기초하여 특징 벡터 (feature vector) 를 생성하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 특징 벡터를 상기 객체 카테고리 내의 트레이닝된 이미지들 (trained images) 의 이미지 계수들의 세트와 비교하여 상기 적어도 하나의 검출된 객체에 매칭하는 상기 객체 카테고리 내의 매칭하는 트레이닝된 이미지를 결정하도록 하기 위한 적어도 하나의 명령으로서, 상기 이미지 계수들의 세트는 상기 컴퓨터 내에 저장되는, 상기 매칭하는 트레이닝된 이미지를 결정하도록 하기 위한 적어도 하나의 명령; 및
    상기 컴퓨터로 하여금, 상기 매칭하는 트레이닝된 이미지에 기초하여 상기 검출된 객체를 카테고리화하도록 하기 위한 적어도 하나의 명령을 더 포함하는, 컴퓨터 판독가능 매체.
  33. 제 32 항에 있어서,
    상기 컴퓨터로 하여금, 상기 획득하도록 하고, 상기 검출하도록 하고, 상기 하이라이트하도록 하며, 상기 카테고리화하도록 하기 위한 적어도 하나의 명령은, 상기 컴퓨터로 하여금, 실시간으로 획득하도록 하고, 검출하도록 하고, 하이라이트하도록 하며, 카테고리화하도록 하는, 컴퓨터 판독가능 매체.
  34. 삭제
  35. 제 30 항에 있어서,
    상기 컴퓨터로 하여금, 상기 선택된 객체에 기초하여 상기 메타데이터를 생성하도록 하기 위한 적어도 하나의 명령은 :
    상기 컴퓨터로 하여금, 상기 선택된 객체를 객체 카테고리 내에 있는 것으로서 카테고리화하도록 하기 위한 적어도 하나의 명령; 및
    상기 컴퓨터로 하여금, 상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 메타데이터를 생성하도록 하기 위한 적어도 하나의 명령을 더 포함하는, 컴퓨터 판독가능 매체.
  36. 제 35 항에 있어서,
    상기 컴퓨터로 하여금, 상기 시각 검색 질의를 무선으로 통신하도록 하기 위한 적어도 하나의 명령은 :
    상기 컴퓨터로 하여금, 상기 선택된 객체의 상기 객체 카테고리에 기초하여 상기 시각 검색 질의에 대한 목적지 어드레스를 생성하도록 하기 위한 적어도 하나의 명령; 및
    상기 컴퓨터로 하여금, 상기 목적지 어드레스에 따라 상기 시각 검색 질의를 목적지에 통신하도록 하기 위한 적어도 하나의 명령을 더 포함하는, 컴퓨터 판독가능 매체.
  37. 제 30 항에 있어서,
    상기 컴퓨터로 하여금, 상기 획득된 이미지와 관련된 문맥 데이터를 획득하도록 하기 위한 적어도 하나의 명령은 :
    상기 컴퓨터로 하여금, 상기 획득된 이미지와 관련된 문맥 데이터를 상기 모바일 디바이스의 문맥 데이터 센서를 통해 획득하도록 하기 위한 적어도 하나의 명령을 더 포함하는, 컴퓨터 판독가능 매체.
  38. 이미지 인식을 수행하는 시스템으로서,
    서버를 포함하며,
    상기 서버는 :
    모바일 디바이스로부터, 이미지 및 상기 이미지 내의 적어도 하나의 객체와 관련된 메타데이터를 포함하는 시각 검색 질의 (visual search query) 를 수신하고,
    상기 메타데이터에 기초하여 상기 적어도 하나의 객체와 관련된 상기 이미지 내의 객체를 인식하고;
    상기 인식된 객체에 기초하여 정보 컨텐츠를 생성하며,
    상기 시각 검색 질의에 응답하여, 상기 정보 컨텐츠를 통신하도록 구성되며,
    상기 메타데이터는 상기 모바일 디바이스에서의 상기 이미지에서 검출된 객체에 기초하고, 상기 검출된 객체는 상기 모바일 디바이스에서 수신된 입력에 의해 선택되고,
    상기 시각 검색 질의는 상기 이미지와 관련된 문맥 데이터 (contextual data) 를 더 포함하며;
    또한, 상기 서버는 상기 인식된 객체 및 상기 문맥 데이터에 기초하여 상기 정보 컨텐츠를 생성하도록 구성되는, 이미지 인식을 수행하는 시스템.
  39. 삭제
  40. 제 38 항에 있어서,
    상기 문맥 데이터는, 글로벌 포지셔닝 시스템 (GPS) 위치 픽스 (location fix), A (Assisted)-GPS 위치 픽스, 갈릴레오 시스템 위치 픽스, 타워 삼변측량 픽스 (tower trilateration fix), 텍스트 정보 (textual information), 청각 정보, 가속도계 판독, 자이로스코프 판독, 또는 온도 판독을 포함하는, 이미지 인식을 수행하는 시스템.
  41. 제 38 항에 있어서,
    상기 서버는 또한 :
    상기 이미지를, 상기 메타데이터에 기초하여 선택되는 트레이닝된 이미지들 (trained images) 과 비교하여 상기 이미지에 매칭하는, 매칭하는 트레이닝된 이미지를 결정하고,
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 이미지 내의 상기 객체를 인식하도록 구성되는, 이미지 인식을 수행하는 시스템.
  42. 제 38 항에 있어서,
    상기 서버는 또한 :
    상기 메타데이터에 기초하여 상기 이미지에서 상기 객체를 검출하고,
    상기 객체의 특징 벡터 (feature vector) 를 생성하고,
    상기 특징 벡터를 트레이닝된 이미지들의 이미지 계수들과 비교하여 상기 객체에 매칭하는, 매칭하는 트레이닝된 이미지를 결정하며,
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 객체를 인식하도록 구성되며,
    상기 이미지 계수들은 상기 메타데이터에 기초하여 선택되는, 이미지 인식을 수행하는 시스템.
  43. 제 38 항에 있어서,
    상기 객체는 로고, 디자인, 얼굴, 랜드마크, 어패럴, 간판 (sign), 자연 객체 (natural object), 또는 인공 객체 (man-made object) 를 포함하는, 이미지 인식을 수행하는 시스템.
  44. 제 38 항에 있어서,
    상기 정보 컨텐츠는 이름, 가격, 제조자, 리뷰, 쿠폰, 또는 광고를 포함하는, 이미지 인식을 수행하는 시스템.
  45. 제 38 항에 있어서,
    상기 서버는 또한 :
    상기 시각 검색 질의를 저장하고,
    상기 정보 컨텐츠를 상기 시각 검색 질의와 관련시키도록 구성되는, 이미지 인식을 수행하는 시스템.
  46. 이미지 인식을 수행하는 방법으로서,
    모바일 디바이스로부터, 이미지 및 상기 이미지 내의 적어도 하나의 객체와 관련된 메타데이터를 포함하는 시각 검색 질의 (visual search query) 를 수신하는 단계로서, 상기 메타데이터는 상기 모바일 디바이스에서의 상기 이미지에서 검출된 객체에 기초하고, 상기 검출된 객체는 상기 모바일 디바이스에서 수신된 입력에 의해 선택된, 상기 시각 검색 질의를 수신하는 단계;
    상기 메타데이터에 기초하여 상기 적어도 하나의 객체와 관련된 상기 이미지 내의 객체를 인식하는 단계;
    상기 인식된 객체에 기초하여 정보 컨텐츠를 생성하는 단계; 및
    상기 시각 검색 질의에 응답하여, 상기 정보 컨텐츠를 통신하는 단계를 포함하고,
    상기 시각 검색 질의는 상기 이미지와 관련된 문맥 데이터 (contextual data) 를 더 포함하며,
    또한, 상기 정보 컨텐츠를 생성하는 단계는, 상기 인식된 객체 및 상기 문맥 데이터에 기초하여 상기 정보 컨텐츠를 생성하는 단계를 포함하는, 이미지 인식을 수행하는 방법.
  47. 삭제
  48. 제 46 항에 있어서,
    상기 문맥 데이터는, 글로벌 포지셔닝 시스템 (GPS) 위치 픽스 (location fix), A (Assisted)-GPS 위치 픽스, 갈릴레오 시스템 위치 픽스, 타워 삼변측량 픽스 (tower trilateration fix), 텍스트 정보 (textual information), 청각 정보, 가속도계 판독, 자이로스코프 판독, 또는 온도 판독을 포함하는, 이미지 인식을 수행하는 방법.
  49. 제 46 항에 있어서,
    상기 이미지 내의 객체를 인식하는 단계는 :
    상기 이미지를 트레이닝된 이미지들 (trained images) 의 세트와 비교하여 상기 이미지에 매칭하는, 매칭하는 트레이닝된 이미지를 결정하는 단계로서, 상기 트레이닝된 이미지들의 세트는 상기 메타데이터에 기초하여 선택되는, 상기 매칭하는 트레이닝된 이미지를 결정하는 단계; 및
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 이미지 내의 상기 객체를 인식하는 단계를 더 포함하는, 이미지 인식을 수행하는 방법.
  50. 이미지 인식을 수행하는 시스템으로서,
    모바일 디바이스로부터, 이미지 및 상기 이미지 내의 적어도 하나의 객체와 관련된 메타데이터를 포함하는 시각 검색 질의 (visual search query) 를 수신하는 수단으로서, 상기 메타데이터는 상기 모바일 디바이스에서의 상기 이미지에서 검출된 객체에 기초하고, 상기 검출된 객체는 상기 모바일 디바이스에서 수신된 입력에 의해 선택된, 상기 시각 검색 질의를 수신하는 수단;
    상기 메타데이터에 기초하여 상기 적어도 하나의 객체와 관련된 상기 이미지 내의 객체를 인식하는 수단;
    상기 인식된 객체에 기초하여 정보 컨텐츠를 생성하는 수단; 및
    상기 시각 검색 질의에 응답하여, 상기 정보 컨텐츠를 통신하는 수단을 포함하고,
    상기 시각 검색 질의는 상기 이미지와 관련된 문맥 데이터 (contextual data) 를 더 포함하며,
    또한, 상기 정보 컨텐츠를 생성하는 수단은, 상기 인식된 객체 및 상기 문맥 데이터에 기초하여 상기 정보 컨텐츠를 생성하는 수단을 포함하는, 이미지 인식을 수행하는 시스템.
  51. 삭제
  52. 제 50 항에 있어서,
    상기 문맥 데이터는, 글로벌 포지셔닝 시스템 (GPS) 위치 픽스 (location fix), A (Assisted)-GPS 위치 픽스, 갈릴레오 시스템 위치 픽스, 타워 삼변측량 픽스 (tower trilateration fix), 텍스트 정보 (textual information), 청각 정보, 가속도계 판독, 자이로스코프 판독, 또는 온도 판독을 포함하는, 이미지 인식을 수행하는 시스템.
  53. 제 50 항에 있어서,
    상기 이미지 내의 객체를 인식하는 수단은 :
    상기 이미지를 트레이닝된 이미지들 (trained images) 의 세트와 비교하여 상기 이미지에 매칭하는, 매칭하는 트레이닝된 이미지를 결정하는 수단으로서, 상기 트레이닝된 이미지들의 세트는 상기 메타데이터에 기초하여 선택되는, 상기 매칭하는 트레이닝된 이미지를 결정하는 수단; 및
    상기 매칭하는 트레이닝된 이미지에 기초하여 상기 이미지 내의 상기 객체를 인식하는 수단을 더 포함하는, 이미지 인식을 수행하는 시스템.
  54. 컴퓨터로 하여금, 상기 컴퓨터에 의한 실행 시에 이미지 인식을 수행하도록 하는 명령들을 저장하는 컴퓨터 판독가능 매체로서,
    상기 명령들은 :
    상기 컴퓨터로 하여금, 모바일 디바이스로부터, 이미지 및 상기 이미지 내의 적어도 하나의 객체와 관련된 메타데이터를 포함하는 시각 검색 질의 (visual search query) 를 수신하도록 하기 위한 적어도 하나의 명령으로서, 상기 메타데이터는 상기 모바일 디바이스에서의 상기 이미지에서 검출된 객체에 기초하고, 상기 검출된 객체는 상기 모바일 디바이스에서 수신된 입력에 의해 선택된, 상기 시각 검색 질의를 수신하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 메타데이터에 기초하여 상기 적어도 하나의 객체와 관련된 상기 이미지 내의 객체를 인식하도록 하기 위한 적어도 하나의 명령;
    상기 컴퓨터로 하여금, 상기 인식된 객체에 기초하여 정보 컨텐츠를 생성하도록 하기 위한 적어도 하나의 명령; 및
    상기 컴퓨터로 하여금, 상기 시각 검색 질의에 응답하여, 상기 정보 컨텐츠를 통신하도록 하기 위한 적어도 하나의 명령을 포함하고,
    상기 시각 검색 질의는 상기 이미지와 관련된 문맥 데이터 (contextual data) 를 더 포함하며,
    또한, 상기 컴퓨터로 하여금, 상기 정보 컨텐츠를 생성하도록 하기 위한 적어도 하나의 명령은, 상기 컴퓨터로 하여금, 상기 인식된 객체 및 상기 문맥 데이터에 기초하여 상기 정보 컨텐츠를 생성하도록 하기 위한 적어도 하나의 명령을 포함하는, 컴퓨터 판독가능 매체.
  55. 삭제
  56. 제 54 항에 있어서,
    상기 문맥 데이터는, 글로벌 포지셔닝 시스템 (GPS) 위치 픽스 (location fix), A (Assisted)-GPS 위치 픽스, 갈릴레오 시스템 위치 픽스, 타워 삼변측량 픽스 (tower trilateration fix), 텍스트 정보 (textual information), 청각 정보, 가속도계 판독, 자이로스코프 판독, 또는 온도 판독을 포함하는, 컴퓨터 판독가능 매체.
  57. 제 54 항에 있어서,
    상기 컴퓨터로 하여금, 상기 이미지 내의 객체를 인식하도록 하기 위한 적어도 하나의 명령은 :
    상기 컴퓨터로 하여금, 상기 이미지를 트레이닝된 이미지들 (trained images) 의 세트와 비교하여 상기 이미지에 매칭하는, 매칭하는 트레이닝된 이미지를 결정하도록 하기 위한 적어도 하나의 명령으로서, 상기 트레이닝된 이미지들의 세트는 상기 메타데이터에 기초하여 선택되는, 상기 매칭하는 트레이닝된 이미지를 결정하도록 하기 위한 적어도 하나의 명령; 및
    상기 컴퓨터로 하여금, 상기 매칭하는 트레이닝된 이미지에 기초하여 상기 이미지 내의 상기 객체를 인식하도록 하기 위한 적어도 하나의 명령을 더 포함하는, 컴퓨터 판독가능 매체.
KR1020117027029A 2009-04-14 2010-04-14 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법 KR101523811B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16929509P 2009-04-14 2009-04-14
US61/169,295 2009-04-14
US12/537,520 2009-08-07
US12/537,520 US9195898B2 (en) 2009-04-14 2009-08-07 Systems and methods for image recognition using mobile devices
PCT/US2010/031059 WO2010120901A1 (en) 2009-04-14 2010-04-14 Systems and methods for image recognition using mobile devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020137011340A Division KR20130055029A (ko) 2009-04-14 2010-04-14 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120007045A KR20120007045A (ko) 2012-01-19
KR101523811B1 true KR101523811B1 (ko) 2015-05-29

Family

ID=42934449

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020117027029A KR101523811B1 (ko) 2009-04-14 2010-04-14 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법
KR1020137011340A KR20130055029A (ko) 2009-04-14 2010-04-14 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020137011340A KR20130055029A (ko) 2009-04-14 2010-04-14 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US9195898B2 (ko)
EP (1) EP2419841A1 (ko)
JP (1) JP5801792B2 (ko)
KR (2) KR101523811B1 (ko)
CN (2) CN107092646A (ko)
WO (1) WO2010120901A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101930488B1 (ko) * 2017-09-22 2018-12-18 에스케이 텔레콤주식회사 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
KR20190078125A (ko) * 2017-12-26 2019-07-04 주식회사 와이즈넛 온라인 신문기사의 아티클 이미지를 분석하여 매칭되는 커머셜 이미지를 노출하는 방법
US10769906B2 (en) 2017-08-31 2020-09-08 Hanwha Techwin Co., Ltd. Doorbell, security system including doorbell apparatus, and method of operating the same

Families Citing this family (259)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565008B2 (en) * 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US10062062B1 (en) 2006-05-25 2018-08-28 Jbshbm, Llc Automated teller machine (ATM) providing money for loyalty points
US8684265B1 (en) 2006-05-25 2014-04-01 Sean I. Mcghie Rewards program website permitting conversion/transfer of non-negotiable credits to entity independent funds
US8668146B1 (en) 2006-05-25 2014-03-11 Sean I. Mcghie Rewards program with payment artifact permitting conversion/transfer of non-negotiable credits to entity independent funds
US7703673B2 (en) 2006-05-25 2010-04-27 Buchheit Brian K Web based conversion of non-negotiable credits associated with an entity to entity independent negotiable funds
US9704174B1 (en) 2006-05-25 2017-07-11 Sean I. Mcghie Conversion of loyalty program points to commerce partner points per terms of a mutual agreement
US9495386B2 (en) * 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
CN102084391A (zh) 2008-03-05 2011-06-01 电子湾有限公司 用于图像识别服务的方法和设备
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US9336578B2 (en) * 2009-09-14 2016-05-10 Thomson Licensing Interactive tone mapping for high dynamic range video
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8819172B2 (en) 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US9462318B2 (en) * 2009-11-03 2016-10-04 At&T Intellectual Property I, L.P. System for media program management
US8687046B2 (en) * 2009-11-06 2014-04-01 Sony Corporation Three-dimensional (3D) video for two-dimensional (2D) video messenger applications
US8570358B2 (en) 2009-11-06 2013-10-29 Sony Corporation Automated wireless three-dimensional (3D) video conferencing via a tunerless television device
KR101601280B1 (ko) * 2009-11-25 2016-03-08 엘지전자 주식회사 일반 물체를 이용한 멀티미디어 컨텐츠 관리 방법
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US20110191150A1 (en) * 2010-01-29 2011-08-04 Bank Of America Corporation Mobile integrated merchant offer program and customer shopping using product level information
US9276986B2 (en) * 2010-04-27 2016-03-01 Nokia Technologies Oy Systems, methods, and apparatuses for facilitating remote data processing
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US8897816B2 (en) * 2010-06-17 2014-11-25 Nokia Corporation Method and apparatus for locating information from surroundings
EP2586010B1 (en) 2010-06-25 2018-08-08 Thomson Licensing Graphical user interface for tone mapping high dynamic range video
US8706572B1 (en) * 2010-07-23 2014-04-22 Amazon Technologies, Inc. Generating product image maps
US9936333B2 (en) 2010-08-10 2018-04-03 Microsoft Technology Licensing, Llc Location and contextual-based mobile application promotion and delivery
US8576184B2 (en) * 2010-08-19 2013-11-05 Nokia Corporation Method and apparatus for browsing content files
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US9484046B2 (en) 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
JP5693162B2 (ja) * 2010-11-09 2015-04-01 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US8550903B2 (en) 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
KR101338818B1 (ko) * 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
EP2652680A1 (de) * 2010-12-13 2013-10-23 Incca GmbH Vorrichtung und verfahren zur unterstuetzung der durchfuehrung eines wartungs- und/oder bedienvorgangs
US8514295B2 (en) 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US20120173577A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Searching recorded video
KR101062929B1 (ko) * 2011-01-04 2011-09-07 (주)올라웍스 생성된 이미지에 포함된 객체에 대한 콜렉션을 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9384408B2 (en) 2011-01-12 2016-07-05 Yahoo! Inc. Image analysis system and method using image recognition and text search
US8468052B2 (en) 2011-01-17 2013-06-18 Vegas.Com, Llc Systems and methods for providing activity and participation incentives
KR101901842B1 (ko) * 2011-01-18 2018-09-27 에이치에스엔아이 엘엘씨 미디어 데이터에 있는 아이템을 인식하고 이와 관련된 정보를 전달하기 위한 시스템 및 방법
KR101295544B1 (ko) * 2011-01-25 2013-08-16 주식회사 팬택 증강 현실 통합정보 제공 장치와 그 방법 및, 이를 포함하는 시스템
US8737746B2 (en) * 2011-01-31 2014-05-27 Bluebeam Software, Inc. Method for multiple pass symbol and components-based visual object searching of documents
KR101772543B1 (ko) * 2011-02-14 2017-08-29 엘지전자 주식회사 가전기기, 가전기기 진단시스템 및 가전기기 진단방법
WO2012118976A2 (en) 2011-03-01 2012-09-07 Ebay Inc Methods and systems of providing a supplemental experience based on concurrently viewed content
US8908911B2 (en) 2011-03-04 2014-12-09 Qualcomm Incorporated Redundant detection filtering
US20120232987A1 (en) * 2011-03-10 2012-09-13 Everingham James R Image-based search interface
JP2012190349A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、画像処理方法および制御プログラム
US20120246148A1 (en) * 2011-03-22 2012-09-27 Intergraph Technologies Company Contextual Display and Scrolling of Search Results in Graphical Environment
JP5668587B2 (ja) * 2011-04-19 2015-02-12 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20120278322A1 (en) * 2011-04-26 2012-11-01 International Business Machines Corporation Method, Apparatus and Program Product for Personalized Video Selection
US9295070B2 (en) * 2011-05-09 2016-03-22 Telefonaktiebolaget L M Ericsson (Publ) Quality of service level adaptation for visual services in mobile communication networks
US8860787B1 (en) 2011-05-11 2014-10-14 Google Inc. Method and apparatus for telepresence sharing
US8553981B2 (en) * 2011-05-17 2013-10-08 Microsoft Corporation Gesture-based visual search
US9678992B2 (en) * 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US9489773B2 (en) 2011-06-21 2016-11-08 Telefonaktiebolaget Lm Ericsson (Publ) Caching support for visual search and augmented reality in mobile networks
KR101624060B1 (ko) * 2011-08-04 2016-05-24 이베이 인크. 사용자 논평 시스템 및 방법
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
US8635519B2 (en) 2011-08-26 2014-01-21 Luminate, Inc. System and method for sharing content based on positional tagging
US8600102B1 (en) * 2011-09-19 2013-12-03 Google Inc. System and method of identifying advertisement in images
US20130086112A1 (en) 2011-10-03 2013-04-04 James R. Everingham Image browsing system and method for a digital content platform
US8737678B2 (en) 2011-10-05 2014-05-27 Luminate, Inc. Platform for providing interactive applications on a digital content platform
USD737290S1 (en) 2011-10-10 2015-08-25 Yahoo! Inc. Portion of a display screen with a graphical user interface
USD736224S1 (en) 2011-10-10 2015-08-11 Yahoo! Inc. Portion of a display screen with a graphical user interface
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9424255B2 (en) * 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
ES2407105B1 (es) * 2011-11-07 2014-04-29 Universidad De Alicante Metodo y sistema de recuperacion de informacion de imagenes en dispositivos moviles usando metadatos.
TWI451347B (zh) * 2011-11-17 2014-09-01 Univ Nat Chiao Tung 物品資料查詢系統及方法
US8485430B2 (en) 2011-12-06 2013-07-16 Honeywell International, Inc. Hand held bar code readers or mobile computers with cloud computing services
US8903181B2 (en) * 2011-12-28 2014-12-02 Venkatesh Gangadharan Low cost unique identification generation using combination of patterns and unique code images
US9052804B1 (en) * 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
JP2013168132A (ja) * 2012-01-17 2013-08-29 Toshiba Corp 商品検索装置、方法、及びプログラム
US8862664B1 (en) 2012-01-18 2014-10-14 Google Inc. Using a digital image in a social networking system
US8977680B2 (en) 2012-02-02 2015-03-10 Vegas.Com Systems and methods for shared access to gaming accounts
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101329102B1 (ko) * 2012-02-28 2013-11-14 주식회사 케이쓰리아이 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
CN103309895B (zh) * 2012-03-15 2018-04-10 中兴通讯股份有限公司 移动增强现实搜索方法、客户端、服务器及搜索系统
EP2639745A1 (en) * 2012-03-16 2013-09-18 Thomson Licensing Object identification in images or image sequences
US8255495B1 (en) 2012-03-22 2012-08-28 Luminate, Inc. Digital image and content display systems and methods
US9081798B1 (en) 2012-03-26 2015-07-14 Amazon Technologies, Inc. Cloud-based photo management
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US8234168B1 (en) 2012-04-19 2012-07-31 Luminate, Inc. Image content and quality assurance system and method
CN102682091A (zh) * 2012-04-25 2012-09-19 腾讯科技（深圳）有限公司 基于云服务的视觉搜索方法和系统
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9129179B1 (en) * 2012-05-10 2015-09-08 Amazon Technologies, Inc. Image-based object location
US9558386B2 (en) 2012-05-15 2017-01-31 Honeywell International, Inc. Encoded information reading terminal configured to pre-process images
US8495489B1 (en) 2012-05-16 2013-07-23 Luminate, Inc. System and method for creating and displaying image annotations
US9064254B2 (en) 2012-05-17 2015-06-23 Honeywell International Inc. Cloud-based system for reading of decodable indicia
US8825368B2 (en) * 2012-05-21 2014-09-02 International Business Machines Corporation Physical object search
CN104508697A (zh) * 2012-05-31 2015-04-08 英特尔公司 用于提供增强现实服务的方法、服务器和计算机可读记录介质
WO2013184131A1 (en) 2012-06-08 2013-12-12 Intel Corporation Device, system and method of orientation estimation of a mobile device
US20130328760A1 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Fast feature detection by reducing an area of a camera image
US20140002643A1 (en) * 2012-06-27 2014-01-02 International Business Machines Corporation Presentation of augmented reality images on mobile computing devices
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
US9092683B2 (en) 2012-07-10 2015-07-28 Honeywell International Inc. Cloud-based system for processing of decodable indicia
CN104412064A (zh) * 2012-07-11 2015-03-11 哈曼国际工业有限公司 导航系统以及其方法
CN103577788A (zh) * 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
JP5675722B2 (ja) * 2012-07-23 2015-02-25 東芝テック株式会社 認識辞書処理装置及び認識辞書処理プログラム
US9667700B2 (en) 2012-08-12 2017-05-30 Apple Inc. Rendering a redeemable document
US9361540B2 (en) * 2012-08-15 2016-06-07 Augmented Reality Lab LLC Fast image processing for recognition objectives system
US20140067542A1 (en) * 2012-08-30 2014-03-06 Luminate, Inc. Image-Based Advertisement and Content Analysis and Display Systems
CN104583983B (zh) * 2012-08-31 2018-04-24 惠普发展公司，有限责任合伙企业 具有可访问的链接的图像的活动区域
US9201974B2 (en) * 2012-08-31 2015-12-01 Nokia Technologies Oy Method and apparatus for incorporating media elements from content items in location-based viewing
CN103679129A (zh) * 2012-09-21 2014-03-26 中兴通讯股份有限公司 一种图像中的目标物体识别方法及装置
RU2533445C2 (ru) * 2012-10-02 2014-11-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Автоматическое распознавание и съемка объекта
KR101715966B1 (ko) * 2012-10-05 2017-03-13 주식회사 엘지유플러스 이미지를 이용한 컨텐츠 제공 장치 및 방법
KR20150082195A (ko) * 2012-10-05 2015-07-15 비디노티 에스아 어노테이션 방법 및 기기
US9830632B2 (en) 2012-10-10 2017-11-28 Ebay Inc. System and methods for personalization and enhancement of a marketplace
KR101259957B1 (ko) * 2012-11-16 2013-05-02 (주)엔써즈 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
CN103841438B (zh) * 2012-11-21 2016-08-03 腾讯科技（深圳）有限公司 信息推送方法、信息推送系统及数字电视接收终端
JP2014110560A (ja) * 2012-12-03 2014-06-12 Toshiba Corp 情報処理装置、サーバ装置およびプログラム
TWI501172B (zh) * 2012-12-04 2015-09-21 Inst Information Industry 依據影像以於社群網站發佈訊息的系統、方法及其記錄媒體
US20140164366A1 (en) * 2012-12-12 2014-06-12 Microsoft Corporation Flat book to rich book conversion in e-readers
US9483518B2 (en) * 2012-12-18 2016-11-01 Microsoft Technology Licensing, Llc Queryless search based on context
CN103049911B (zh) * 2012-12-20 2015-07-29 成都理想境界科技有限公司 轮廓检测稳定性判断方法及图像检索方法
US20140223319A1 (en) * 2013-02-04 2014-08-07 Yuki Uchida System, apparatus and method for providing content based on visual search
JP5868881B2 (ja) * 2013-02-12 2016-02-24 日本電信電話株式会社 有用情報提示システム及び有用情報提示システムの制御方法
US10062096B2 (en) 2013-03-01 2018-08-28 Vegas.Com, Llc System and method for listing items for purchase based on revenue per impressions
US9384217B2 (en) * 2013-03-11 2016-07-05 Arris Enterprises, Inc. Telestration system for command processing
AU2014248874B2 (en) 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
US9924102B2 (en) * 2013-03-14 2018-03-20 Qualcomm Incorporated Image-based application launcher
US11743431B2 (en) * 2013-03-15 2023-08-29 James Carey Video identification and analytical recognition system
CA3160567A1 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US9756138B2 (en) * 2013-04-08 2017-09-05 Here Global B.V. Desktop application synchronization to process data captured on a mobile device
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
US9195896B2 (en) * 2013-07-10 2015-11-24 Tencent Technology (Shenzhen) Company Limited Methods and systems for image recognition
US20150030241A1 (en) * 2013-07-24 2015-01-29 Intuit Inc. Method and system for data identification and extraction using pictorial representations in a source document
US9384497B2 (en) 2013-07-26 2016-07-05 Bank Of America Corporation Use of SKU level e-receipt data for future marketing
US10769362B2 (en) 2013-08-02 2020-09-08 Symbol Technologies, Llc Method and apparatus for capturing and extracting content from documents on a mobile device
US10140257B2 (en) 2013-08-02 2018-11-27 Symbol Technologies, Llc Method and apparatus for capturing and processing content from context sensitive documents on a mobile device
US11042607B2 (en) * 2013-08-23 2021-06-22 Nant Holdings Ip, Llc Recognition-based content management, systems and methods
AU2014321165B2 (en) * 2013-09-11 2020-04-09 See-Out Pty Ltd Image searching method and apparatus
US10084869B2 (en) * 2013-10-04 2018-09-25 Verto Analytics Oy Metering user behaviour and engagement with user interface in terminal devices
CN103530649A (zh) * 2013-10-16 2014-01-22 北京理工大学 一种适用于移动终端的视觉搜索方法
DE102013111527A1 (de) * 2013-10-18 2015-04-23 Thomas Daub System zur Erfassung eines Prüfmerkmals eines Prüfobjekts
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
CN103646371A (zh) * 2013-11-27 2014-03-19 深圳先进技术研究院 网络共享犯罪取证系统及方法
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
KR102166728B1 (ko) * 2013-12-09 2020-10-16 삼성전자주식회사 모바일 디바이스, 이를 이용한 알람 설정 방법 및 알람 방법
EP2887259A1 (en) 2013-12-17 2015-06-24 Alcatel Lucent Method for annotating an object in a multimedia asset
KR102157399B1 (ko) * 2013-12-19 2020-09-17 주식회사 알티캐스트 연속적인 쿼리 이미지를 이용하는 연관 서비스 제공 시스템 및 방법
KR102159331B1 (ko) * 2014-02-06 2020-09-23 십일번가 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
AU2015214298B2 (en) * 2014-02-10 2018-05-10 Google Llc Smart camera user interface
JP6208898B2 (ja) * 2014-02-10 2017-10-04 ジーニー ゲゼルシャフト ミット ベシュレンクテル ハフツング 画像特徴式認識のためのシステムおよび方法
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
KR102213856B1 (ko) * 2014-02-12 2021-02-08 에스케이플래닛 주식회사 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN103793520A (zh) * 2014-02-14 2014-05-14 齐齐哈尔大学 一种嵌入图像处理软件的移动视觉搜索方法
KR102213861B1 (ko) * 2014-02-25 2021-02-08 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102207514B1 (ko) * 2014-02-26 2021-01-26 십일번가 주식회사 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102256057B1 (ko) * 2014-03-17 2021-05-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
US9600720B1 (en) * 2014-03-18 2017-03-21 Amazon Technologies, Inc. Using available data to assist in object recognition
US20170032285A1 (en) * 2014-04-09 2017-02-02 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations
KR102223205B1 (ko) 2014-06-11 2021-03-08 삼성전자주식회사 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템
US20150381704A1 (en) * 2014-06-27 2015-12-31 Saurabh Dadu Mechanism for file transformation and sharing across devices using camera interface
DE102014009686A1 (de) * 2014-07-02 2016-01-07 Csb-System Ag Verfahren zur Erfassung schlachttierbezogener Daten an einem Schlachttier
AU2015308717B2 (en) 2014-08-28 2021-02-18 Retailmenot, Inc. Reducing the search space for recognition of objects in an image based on wireless signals
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US10152540B2 (en) 2014-10-10 2018-12-11 Qualcomm Incorporated Linking thumbnail of image to web page
US20160112479A1 (en) * 2014-10-16 2016-04-21 Wipro Limited System and method for distributed augmented reality
US10798428B2 (en) * 2014-11-12 2020-10-06 Sony Corporation Method and system for providing coupon
WO2016098589A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US9754355B2 (en) * 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US9721185B2 (en) * 2015-01-13 2017-08-01 Arris Enterprises Llc Automatic detection of logos in video sequences
KR102251960B1 (ko) * 2015-01-15 2021-05-14 삼성전자주식회사 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버
US10776816B2 (en) * 2015-01-30 2020-09-15 Walmart Apollo, Llc System and method for building a targeted audience for an online advertising campaign
US10360583B2 (en) 2015-02-05 2019-07-23 Direct Path, Llc System and method for direct response advertising
CN105989628A (zh) * 2015-02-06 2016-10-05 北京网梯科技发展有限公司 通过移动终端获取信息的方法及系统设备
US9684831B2 (en) 2015-02-18 2017-06-20 Qualcomm Incorporated Adaptive edge-like feature selection during object detection
US10142375B2 (en) * 2015-02-25 2018-11-27 Pin-Han Ho Content enabling system
US9524435B2 (en) * 2015-03-20 2016-12-20 Google Inc. Detecting the location of a mobile device based on semantic indicators
WO2016157076A1 (en) * 2015-03-30 2016-10-06 Ghoson Ziad Information processing system and method using image recognition
JP6549898B2 (ja) * 2015-05-20 2019-07-24 株式会社日立製作所 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
WO2016187681A1 (pt) * 2015-05-28 2016-12-01 Universidade Estadual De Campinas - Unicamp Método de construção de uma base de imagens, método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US10088549B2 (en) * 2015-06-25 2018-10-02 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
CN105095398B (zh) * 2015-07-03 2018-10-19 北京奇虎科技有限公司 一种信息提供方法和装置
EP4170525A1 (en) * 2015-07-15 2023-04-26 rewardStyle, Inc. Systems and methods for screenshot linking
WO2017018602A1 (ko) * 2015-07-30 2017-02-02 엘지전자 주식회사 이동단말기 및 그 제어방법
CN108431829A (zh) * 2015-08-03 2018-08-21 奥兰德股份公司 用于在目录中搜索产品的系统和方法
US10866984B2 (en) 2015-08-03 2020-12-15 Orand S.A. Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features
US10191891B2 (en) * 2015-08-26 2019-01-29 Microsoft Technology Licensing, Llc Interactive preview teasers in communications
US20180247278A1 (en) * 2015-09-02 2018-08-30 Inventio Ag Maintenance of a transportation facility within a building using a mobile device
RU2622843C2 (ru) * 2015-09-24 2017-06-20 Виталий Витальевич Аверьянов Способ управления устройством обработки изображения
US10063751B2 (en) 2015-09-24 2018-08-28 Qualcomm Incorporated System and method for accessing images with a captured query image
US10169684B1 (en) 2015-10-01 2019-01-01 Intellivision Technologies Corp. Methods and systems for recognizing objects based on one or more stored training images
CN105245609A (zh) * 2015-10-23 2016-01-13 小米科技有限责任公司 推送信息的方法、装置、设备及系统
US10216868B2 (en) * 2015-12-01 2019-02-26 International Business Machines Corporation Identifying combinations of artifacts matching characteristics of a model design
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
CN108781175B (zh) 2015-12-21 2021-09-21 谷歌有限责任公司 用于消息交换题绪的自动建议的方法、介质及系统
JP6780001B2 (ja) 2015-12-21 2020-11-04 グーグル エルエルシー メッセージング・アプリケーションのための自動提案および他のコンテンツ
US10733446B2 (en) * 2016-01-06 2020-08-04 Orcam Technologies Ltd. Wearable apparatus and methods for causing a paired device to execute selected functions
US10120635B2 (en) 2016-03-09 2018-11-06 Samsung Electronics Co., Ltd. Configuration and operation of display devices including device management
DE102016208621A1 (de) * 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen
KR101796506B1 (ko) * 2016-07-20 2017-11-14 엔에이치엔엔터테인먼트 주식회사 기종 정보를 활용한 이미지 검색 결과 제공 방법 및 시스템
CN117056558A (zh) * 2016-08-08 2023-11-14 内特拉戴因股份有限公司 使用边缘计算的分布式视频存储和搜索
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
US10769444B2 (en) * 2016-09-08 2020-09-08 Goh Soo Siah Object detection from visual search queries
RU2720536C1 (ru) * 2016-09-08 2020-04-30 Гох Су Сиах Фреймворк приема видео для платформы визуального поиска
JP6659910B2 (ja) 2016-09-20 2020-03-04 グーグル エルエルシー データへのアクセス許可を要求するボット
US10015124B2 (en) 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
CN109952572B (zh) 2016-09-20 2023-11-24 谷歌有限责任公司 基于消息贴纸的建议响应
US11200273B2 (en) * 2016-10-16 2021-12-14 Ebay Inc. Parallel prediction of multiple image aspects
US10860898B2 (en) 2016-10-16 2020-12-08 Ebay Inc. Image analysis and prediction based visual search
US11748978B2 (en) 2016-10-16 2023-09-05 Ebay Inc. Intelligent online personal assistant with offline visual search database
US11004131B2 (en) 2016-10-16 2021-05-11 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
US10346727B2 (en) * 2016-10-28 2019-07-09 Adobe Inc. Utilizing a digital canvas to conduct a spatial-semantic search for digital visual media
US10970768B2 (en) 2016-11-11 2021-04-06 Ebay Inc. Method, medium, and system for image text localization and comparison
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
EP3321844B1 (en) * 2016-11-14 2021-04-14 Axis AB Action recognition in a video sequence
US11032523B2 (en) * 2016-11-30 2021-06-08 Ncr Corporation Automated image metadata processing
KR101927078B1 (ko) * 2017-02-21 2018-12-10 고현승 사용자와 관련한 이미지 기반의 정보를 제공하는 방법 및 디바이스
KR101901454B1 (ko) * 2017-03-24 2018-09-21 박수범 방송에서의 영상인식을 통한 실시간 쇼핑방법 및 이를 구현하는 애플리케이션이 설치된 스마트폰
US10521784B2 (en) 2017-04-24 2019-12-31 Square, Inc. Analyzing layouts using sensor data
US10860854B2 (en) 2017-05-16 2020-12-08 Google Llc Suggested actions for images
KR102313755B1 (ko) * 2017-06-07 2021-10-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera
US20190042574A1 (en) * 2017-08-01 2019-02-07 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device
KR102026475B1 (ko) * 2017-08-20 2019-09-30 네이버 주식회사 시각적 입력의 처리
KR102383129B1 (ko) * 2017-09-27 2022-04-06 삼성전자주식회사 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
CN107832662B (zh) * 2017-09-27 2022-05-27 百度在线网络技术（北京）有限公司 一种获取图片标注数据的方法和系统
KR102431817B1 (ko) * 2017-10-12 2022-08-12 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 서버
US11127157B2 (en) 2017-10-24 2021-09-21 Nike, Inc. Image recognition system
KR102599947B1 (ko) * 2017-10-27 2023-11-09 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
KR102387767B1 (ko) 2017-11-10 2022-04-19 삼성전자주식회사 사용자 관심 정보 생성 장치 및 그 방법
KR101887216B1 (ko) * 2017-11-24 2018-08-09 한태재 이미지 재구성 서버 및 방법
US10861162B2 (en) 2017-12-08 2020-12-08 Ebay Inc. Object identification in digital images
CN107993106B (zh) * 2017-12-14 2020-04-10 阿里巴巴集团控股有限公司 电子发票生成方法及装置
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
CN108256100A (zh) * 2018-01-31 2018-07-06 维沃移动通信有限公司 一种信息搜索方法、移动终端及云服务器
EP3849299A1 (en) * 2018-04-26 2021-07-21 F. Hoffmann-La Roche AG Method of and system for tracking an animal in a population of animals
US11120070B2 (en) * 2018-05-21 2021-09-14 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
KR102125402B1 (ko) 2018-06-20 2020-06-23 라인플러스 주식회사 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR102407665B1 (ko) * 2018-06-20 2022-06-15 라인플러스 주식회사 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US20210312179A1 (en) * 2018-08-08 2021-10-07 Samsung Electronics Co., Ltd. Electronic device for providing recognition result of external object by using recognition information about image, similar recognition information related to recognition information, and hierarchy information, and operating method therefor
EP4276520A3 (en) 2018-08-31 2024-01-24 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
US20200082001A1 (en) * 2018-09-07 2020-03-12 Salesforce.Com, Inc. Action-Based Image Searching and Identification System
JP2022501891A (ja) * 2018-09-20 2022-01-06 ノキア テクノロジーズ オーユー 人工知能についての装置及び方法
US11126845B1 (en) * 2018-12-07 2021-09-21 A9.Com, Inc. Comparative information visualization in augmented reality
KR20200092742A (ko) 2019-01-25 2020-08-04 삼성전자주식회사 보이스 어시스턴트 서비스를 제공하는 시스템 및 방법
US11036785B2 (en) 2019-03-05 2021-06-15 Ebay Inc. Batch search system for providing batch search interfaces
KR20210142746A (ko) * 2019-04-08 2021-11-25 구글 엘엘씨 제품 소스 링크가 있는 미디어 주석
JP7403263B2 (ja) * 2019-09-05 2023-12-22 株式会社メルカリ 端末装置、検索方法及び検索プログラム
WO2021046801A1 (zh) * 2019-09-12 2021-03-18 鸿合科技股份有限公司 一种图像识别方法、装置、设备及存储介质
CN111008297B (zh) * 2019-12-11 2023-12-15 维沃移动通信有限公司 寻址方法及服务器
WO2021137343A1 (ko) * 2020-01-03 2021-07-08 엘지전자 주식회사 디스플레이 장치 및 디스플레이 시스템
SG10202000322YA (en) 2020-01-14 2021-08-30 Mastercard International Inc A method and system for providing access to a service from a mobile computing device
KR102346215B1 (ko) * 2020-03-31 2022-01-03 주식회사 세컨핸즈 객체에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11915305B2 (en) 2020-04-01 2024-02-27 Snap Inc. Identification of physical products for augmented reality experiences in a messaging system
WO2021203118A1 (en) * 2020-04-01 2021-10-07 Snap Inc. Identification of physical products for augmented reality experiences in a messaging system
US11521334B2 (en) 2020-04-01 2022-12-06 Snap Inc. Augmented reality experiences of color palettes in a messaging system
KR102485811B1 (ko) * 2020-06-11 2023-01-06 라인플러스 주식회사 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US11226725B1 (en) * 2020-08-04 2022-01-18 Kaskada, Inc. User interface for machine learning feature engineering studio
US11620731B2 (en) * 2021-03-14 2023-04-04 Bi Science (2009) Ltd System and a method for surveying graphical objects on a screen display
US11810343B2 (en) * 2021-05-11 2023-11-07 Asio Advanced Control Solutions Ltd Artificial intuition based visual data extraction for distributed systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080745A1 (en) * 2005-05-09 2008-04-03 Vincent Vanhoucke Computer-Implemented Method for Performing Similarity Searches

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4949388A (en) 1987-02-19 1990-08-14 Gtx Corporation Method and apparatus for recognition of graphic symbols
US5031228A (en) 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
US5497314A (en) 1994-03-07 1996-03-05 Novak; Jeffrey M. Automated apparatus and method for object recognition at checkout counters
US6522889B1 (en) 1999-12-23 2003-02-18 Nokia Corporation Method and apparatus for providing precise location information through a communications network
GB2366033B (en) * 2000-02-29 2004-08-04 Ibm Method and apparatus for processing acquired data and contextual information and associating the same with available multimedia resources
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
JP2002245048A (ja) 2001-02-20 2002-08-30 Mitsubishi Electric Corp 画像検索方法および画像検索装置
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP2004220082A (ja) 2003-01-09 2004-08-05 Ntt Data Corp 文書検索プログラム、文書検索方法および文書検索装置
JP2004297143A (ja) 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 撮影システム
EP1484693A1 (en) 2003-06-04 2004-12-08 Sony NetServices GmbH Content recommendation device with an arrangement engine
EP1484692B1 (en) 2003-06-04 2013-07-24 Intel Corporation Content recommendation device with user feedback
US20050015370A1 (en) 2003-07-14 2005-01-20 Stavely Donald J. Information management system and method
TWI240538B (en) 2003-08-18 2005-09-21 Primax Electronics Ltd Mobile phone with image recognition function
JP4413633B2 (ja) 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
WO2005114476A1 (en) 2004-05-13 2005-12-01 Nevengineering, Inc. Mobile image-based information retrieval system
JP2006227810A (ja) 2005-02-16 2006-08-31 Casio Comput Co Ltd 画像送信装置、及びプログラム
JP2006293912A (ja) 2005-04-14 2006-10-26 Toshiba Corp 情報表示システム、情報表示方法および携帯端末装置
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7702681B2 (en) * 2005-06-29 2010-04-20 Microsoft Corporation Query-by-image search and retrieval system
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8788529B2 (en) 2007-02-26 2014-07-22 Microsoft Corp. Information sharing between images
US8861898B2 (en) 2007-03-16 2014-10-14 Sony Corporation Content image search
JP4986225B2 (ja) * 2007-03-26 2012-07-25 富士フイルム株式会社 登録制コミュニケーションサイトの提供装置及び方法
JP4979070B2 (ja) 2007-03-28 2012-07-18 Ｋｄｄｉ株式会社 動画像提示システム
JP2009015824A (ja) 2007-05-14 2009-01-22 Shinsedai Kk 不正防止方法を実行するコンピュータプログラムを記録した記録媒体、そのコンピュータプログラム、及び不正防止方法
JP5013982B2 (ja) 2007-06-12 2012-08-29 キヤノン株式会社 画像送信装置及びその制御方法、プログラム
JP2009076977A (ja) 2007-09-18 2009-04-09 Brother Ind Ltd 画像通信システム、これに使用する端末装置及び画像通信システムの駆動方法
US20090083237A1 (en) 2007-09-20 2009-03-26 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Visual Search Interface
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080745A1 (en) * 2005-05-09 2008-04-03 Vincent Vanhoucke Computer-Implemented Method for Performing Similarity Searches

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769906B2 (en) 2017-08-31 2020-09-08 Hanwha Techwin Co., Ltd. Doorbell, security system including doorbell apparatus, and method of operating the same
KR101930488B1 (ko) * 2017-09-22 2018-12-18 에스케이 텔레콤주식회사 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
KR20190078125A (ko) * 2017-12-26 2019-07-04 주식회사 와이즈넛 온라인 신문기사의 아티클 이미지를 분석하여 매칭되는 커머셜 이미지를 노출하는 방법
KR102062248B1 (ko) * 2017-12-26 2020-01-03 주식회사 와이즈넛 온라인 신문기사의 아티클 이미지를 분석하여 매칭되는 커머셜 이미지를 노출하는 방법

Also Published As

Publication number Publication date
US20100260426A1 (en) 2010-10-14
KR20130055029A (ko) 2013-05-27
KR20120007045A (ko) 2012-01-19
WO2010120901A1 (en) 2010-10-21
JP5801792B2 (ja) 2015-10-28
CN102395966A (zh) 2012-03-28
CN107092646A (zh) 2017-08-25
JP2012524343A (ja) 2012-10-11
EP2419841A1 (en) 2012-02-22
US9195898B2 (en) 2015-11-24

Similar Documents

Publication Publication Date Title
KR101523811B1 (ko) 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법
US11630974B2 (en) Prioritized device actions triggered by device scan data
US9665596B2 (en) Data access based on content of image recorded by a mobile device
KR101485458B1 (ko) 개체 정보를 포함하는 화상 파일 생성 방법 및 장치
CA2850959C (en) System and method of identifying visual objects
JP2010152897A (ja) ミックストメディアリアリティ認識システムにおいてターゲット情報を動的に提示する方法及びシステム
US20170310819A1 (en) Voice play method and voice play device
US20230214913A1 (en) Product cards provided by augmented reality content generators
US11954883B2 (en) Long distance QR code decoding
US20230214912A1 (en) Dynamically presenting augmented reality content generators based on domains
US10600060B1 (en) Predictive analytics from visual data
US20220138237A1 (en) Systems, devices, and methods for content selection
US10521710B2 (en) Method of identifying, locating, tracking, acquiring and selling tangible and intangible objects utilizing predictive transpose morphology
WO2019023884A1 (zh) 一种基于智能终端的商户信息分享方法及商户信息分享系统
KR101136944B1 (ko) 무선 단말을 이용한 컨텐츠 제공 시스템 및 방법
KR102469244B1 (ko) 이미지 프로세싱에 기반하여 오프라인 광고 성과 데이터를 수집하는 방법
US20230153744A1 (en) System, apparatus and method for compressing and storing data based on the amount of change in the sensed data used for state management of logistics
KR101750283B1 (ko) 스마트 미디어 연동형 개인 블랙박스용 라이프 로그 서비스 시스템 및 방법
CN113706429A (zh) 图像处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20130501

Effective date: 20140825

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee