KR101249211B1 - 시각적 검색을 제공하는 방법, 장치 및 컴퓨터 판독가능한 저장 매체 - Google Patents

시각적 검색을 제공하는 방법, 장치 및 컴퓨터 판독가능한 저장 매체 Download PDF

Info

Publication number
KR101249211B1
KR101249211B1 KR1020107008578A KR20107008578A KR101249211B1 KR 101249211 B1 KR101249211 B1 KR 101249211B1 KR 1020107008578 A KR1020107008578 A KR 1020107008578A KR 20107008578 A KR20107008578 A KR 20107008578A KR 101249211 B1 KR101249211 B1 KR 101249211B1
Authority
KR
South Korea
Prior art keywords
image
interest
location
visual search
receiving
Prior art date
Application number
KR1020107008578A
Other languages
English (en)
Other versions
KR20100068461A (ko
Inventor
나타샤 겔판드
웨이-차오 첸
라덱 그르제스크젝
잉엔 시옹
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20100068461A publication Critical patent/KR20100068461A/ko
Application granted granted Critical
Publication of KR101249211B1 publication Critical patent/KR101249211B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

시각적 검색 인터페이스를 제공하는 장치는, 대상을 포함하는 이미지의 표시를 수신하고, 상기 이미지의 표시를 제공하는 사용자와 연관된 위치를 나타내는 위치 정보를 수신하고, 상기 이미지를 사용자와 연관된 위치로부터 사전결정된 거리 내에 있는 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과들을 식별하기 위해 위치 정보 및 이미지의 특성에 기초한 시각적 검색의 수행을 가능케 하도록 구성되는 프로세싱 소자를 포함할 수 있다.

Description

시각적 검색을 제공하는 방법, 장치 및 컴퓨터 판독가능한 저장 매체{METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR PROVIDING A VISUAL SEARCH INTERFACE}
본 발명의 실시예는 일반적으로 콘텐트 검색 기술에 관한 것으로, 보다 구체적으로는 시각적 검색 인터페이스를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품에 관한 것이다.
현대의 통신 시대는 유선 및 무선 네트워크의 엄청난 확장을 가져왔다. 컴퓨터 네트워크, 텔레비전 네트워크 및 전화 네트워크는 소비자의 요구에 의해 심화된, 전례 없는 기술적 확장을 경험하고 있다. 무선 및 모바일 네트워킹 기술은 보다 높은 적응성 및 신속성을 갖는 정보 전송을 제공하는 동시에 관련 소비자의 요구를 해소해왔다.
현재 및 미래의 네트워킹 기술은 정보 전송의 용이성과 사용자들의 편리성을 계속 촉진시키고 있다. 정보 전송의 용이성과 사용자들의 편리성 증가에 대한 요구가 존재하는 작업 영역은 네트워크 내의 정보 검색 공급과 관련된다. 예를 들어, 오디오, 비디오, 이미지 콘텐트, 텍스트, 데이터 등과 같은 정보는 다양한 통신 네트워크를 사용하는 서로 다른 엔티티들 사이에서의 검색과 관련하여 이용가능해질 수 있다. 따라서, 서로 다른 엔티티들의 각각과 연관된 디바이스는 정보 전송의 정확한 위치를 찾고 이에 영향을 미치기 위해 서로 통신하도록 배치될 수 있다. 특히, 모바일 단말과 같은 디바이스로 하여금 특정한 질의 또는 키워드와 관련된 정보 또는 콘텐트에 대한 검색을 처리할 수 있도록 하기 위한 메커니즘이 개발되어왔다.
텍스트 기반의 검색은 전형적으로 사용자에 의해 입력되는 질의 용어에 기초하여 결과를 검색하도록 구성된 검색 엔진의 사용을 포함한다. 그러나, 복수의 의미를 갖는 단어와 같은 언어적 문제로 인하여, 검색 결과의 품질이 일관적으로 우수하지 않을 수 있다. 또한, 검색된 데이터 소스가 검색이 수행되는 특정한 주제에 대한 정보를 갖지 않을 수 있다.
텍스트 검색과 관련하여 위에 기술된 바와 같은 문제점이 발생하므로, 다른 검색 유형이 보급되고 있다. 최근에는, 시각적 검색과 관련한 콘텐트 기반 검색이 더 인기를 얻고 있다. 예를 들어 사용자가 데이터베이스와 같은 특정한 위치로부터 이미지 콘텐트를 검색하길 원하는 상황에서, 사용자는 그것의 콘텐트에 기초하여 이미지를 리뷰하길 원할 수 있다. 이와 관련하여, 예를 들어 사용자는 고양이, 동물, 자동차 등과 같은 이미지를 리뷰하길 원할 수 있다. 메타데이터에 기초하여 콘텐트를 검색하는 것을 가능케 하기 위해 메타데이터가 콘텐트 아이템과 연관될 수 있는 일부 메커니즘이 제공되어왔지만, 이러한 메타데이터의 삽입은 시간을 소비할 수 있다. 또한, 사용자가 콘텐트를 찾길 원하는 데이터베이스에서 메타데이터를 사용하는 것이 불완전하거나 신뢰할 수 없을 수도 있다. 따라서, 예를 들어 특정한 질의와 관련된 관련성에 기초하여 콘텐트를 분류하도록 지원 벡터 장치(SVM; support vector machine)와 같은 분류기를 이용하는 콘텐트 기반 이미지 검색 솔루션이 개발되어왔다. 따라서, 예를 들어 사용자가 고양이의 이미지에 대한 데이터베이스를 검색하길 원하는 경우, 고양이의 질의 이미지가 제공될 수 있고, SVM이 데이터베이스를 통해 검색할 수 있으며, 질의 이미지의 특성과 관련된 그들의 연관성에 기초하여 사용자에게 이미지를 제공할 수 있다. 또한 사용자가 검색 결과들에 대한 연관성 및 비연관성 사이의 분류 경계의 추가 규정을 위한 피드백을 제공하는 것을 가능케 하도록 피드백 메커니즘이 제공되어왔다.
예로서 모바일 단말 상에서 수행되는 모바일 시각적 검색 기능과 같은 시각적 검색 기능은, 질의 또는 입력 이미지를 시각적 데이터베이스 내의 이미지와 비교하는 이미지 매칭을 이용하는 방대한 시각적 데이터베이스에 영향을 줄 수 있다. 이미지 매칭은 입력 이미지가 시각적 데이터베이스 내의 이미지에 얼마나 근접한지를 말할 수 있다. 가장 가능성이 높은 매칭(예컨대, 가장 관련성이 높은 이미지)은 모바일 단말의 디스플레이 상의 시각화에 의해 사용자에게 표현될 수 있다. 그 뒤, 이미지와 연관된 콘텍스트 정보가 제공될 수 있다. 따라서, 단순히 모바일 단말 상에 장착된 카메라를 특정한 대상으로 향하게 함으로써, 사용자는 특정한 대상과 연관된 콘텍스트 정보를 잠재적으로 획득할 수 있다.
그러나, 시각적 검색과 관련된 문제는, 이러한 검색 기술의 사용에 필요한 큰 규모의 시각적 데이터베이스가 특성 비교를 위해서 상당히 많은 소스 이미지를 필요로 할 수 있다는 것이다. 이러한 전형적인 검색 데이터베이스는, 검색 데이터베이스가 충분한 분량의 소스 이미지를 구비하는 특정 영역 내의 검색에 대해서만 적절한 결과를 제공할 수 있다. 모바일 단말 상에서 수행되는 검색과 관련될 수 있는 또 다른 문제점은 모바일 단말의 사용자 인터페이스를 사용하는 것에 대한 어려움과 관련된다. 이와 관련하여, 서로 다른 텍스트 문자들이 단일 키와 관련되는 것이 전형적이며, 그에 따라 각 문자의 입력을 위해 복수의 키를 눌러야 할 수 있기 때문에, 때때로 문자 입력이 힘들 수 있다. 따라서, 텍스트 기반의 질의를 제공하는 것과 연관된 입력 또는 검색과 연관된 위치를 제한하는 입력을 제공하는 것이 어려울 수 있고, 그에 따라 사용자의 흥미 및/또는 검색 서비스의 유용성을 감소시킬 수 있다.
따라서, 전술된 문제들 중 적어도 일부를 해소할 수 있는 검색 인터페이스를 제공하기 위한 개선된 메커니즘을 제공하는 것이 바람직할 수 있다.
따라서 시각적 검색 시스템에서 사용하기 위한 개선된 시각적 검색 인터페이스를 제공하는 방법, 장치 및 컴퓨터 프로그램 제품이 제공되었다. 특히, 보다 효율적이고 탄력적인 방식으로 시각 기반 검색을 수행하기 위해 위치 정보 및 시각적 검색 특징을 이용하는 방법, 장치 및 컴퓨터 프로그램 제품이 제공되었다. 이와 관련하여, 예를 들어 시각 기반 검색은 위치 정보를 포함함으로써 개선될 수 있고 검색의 수행에 사용되는 콘텐트를 구비하는 데이터베이스가 사용자 선택에 기초하여 업데이트될 수 있다. 이렇게, 업데이트된 데이터베이스는 주어진 관심 지점과 연관된 소스 이미지의 개수를 증가시킬 수 있고, 그렇지 않으면 기존의 또는 새로운 관심 지점에 대응하는 새로운 소스 이미지를 추가할 수도 있다. 따라서, 이미지 콘텐트 검색의 효율성이 증가될 수 있고, 콘텐트 관리, 네비게이션, 여행 및 모바일 단말과 같은 전자 디바이스를 위한 엔터테인먼트 기능이 향상될 수 있다.
일 예시적인 실시예에서, 향상된 시각적 검색 인터페이스를 제공하는 방법이 제공되었다. 이 방법은 대상(an object)을 포함하는 이미지의 표시를 수신하는 단계와, 상기 이미지의 표시를 제공하는 디바이스와 연관된 위치를 나타내는 위치 정보를 수신하는 단계와, 상기 이미지를 디바이스와 연관된 위치로부터 사전결정된 거리 내에 있는 지리적 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과(candidate search result)들을 식별하도록 상기 위치 정보 및 상기 이미지의 특성에 기초하여 시각적 검색의 수행을 가능하게 하는 단계와, 상기 식별된 후보 검색 결과들에 응답하여 특정 관심 지점(point of interest)과 상기 이미지 간의 연관성을 작성한 입력을 사용자로부터 수신하는 단계와, 상기 입력 수신에 응답하여 상기 연관성에 기초한 데이터베이스에 업데이트하도록 하는 단계를 포함한다.
다른 예시적인 실시예에서, 향상된 시각적 검색 인터페이스를 제공하는 컴퓨터 프로그램 제품이 제공되었다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능한 프로그램 코드부를 구비하는 적어도 하나의 컴퓨터-판독가능한 저장 매체를 포함한다. 컴퓨터-판독가능한 프로그램 코드부는 제 1, 제 2 및 제 3 실행가능 코드부를 포함한다. 제 1 실행가능 코드부는 대상을 포함하는 이미지의 표시를 수신한다. 제 2 실행가능 코드부는 상기 이미지의 표시를 제공하는 디바이스와 연관된 위치를 나타내는 위치 정보를 수신한다. 제 3 실행가능 코드부는 상기 이미지를 디바이스와 연관된 위치로부터 사전결정된 거리 내에 있는 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과들을 식별하기 위해 위치 정보 및 이미지의 특성에 기초한 시각적 검색의 수행을 가능하게 한다.
다른 예시적인 실시예에서, 향상된 시각적 검색 인터페이스를 제공하는 장치가 제공되었다. 이 장치는 대상을 포함하는 이미지의 표시를 수신하고, 상기 이미지의 표시를 제공하는 디바이스와 연관된 위치를 나타내는 위치 정보를 수신하고, 상기 이미지를 디바이스와 연관된 위치로부터 사전결정된 거리 내에 있는 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과들을 식별하기 위해 상기 위치 정보 및 상기 이미지의 특성에 기초하여 시각적 검색의 수행을 가능하게 하고, 상기 식별된 후보 검색 결과들에 응답하여 특정 관심 지점(point of interest)과 상기 이미지 간의 연관성을 작성한 입력을 사용자로부터 수신하고, 상기 입력 수신에 응답하여 상기 연관성에 기초한 데이터베이스에 업데이트하도록 구성된 프로세싱 소자를 포함할 수 있다.
다른 예시적인 실시예에서, 향상된 시각적 검색 인터페이스를 제공하는 장치가 제공되었다. 이 장치는 대상을 포함하는 이미지의 표시를 수신하는 수단과, 상기 이미지의 표시를 제공하는 디바이스와 연관된 위치를 나타내는 위치 정보를 수신하는 수단과, 상기 이미지를 디바이스와 연관된 위치로부터 사전결정된 거리 내에 있는 지리적 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과들을 식별하기 위해 위치 정보 및 이미지의 특성에 기초하여 시각적 검색의 수행을 가능하게 하는 수단과, 상기 식별된 후보 검색 결과들에 응답하여 특정 관심 지점(point of interest)과 상기 이미지 간의 연관성을 작성한 입력을 사용자로부터 수신하는 수단과, 상기 입력 수신에 응답하여 상기 연관성에 기초한 데이터베이스에 업데이트하도록 하는 수단을 포함한다.
본 발명의 실시예들은 시각적 검색에 의한 검색과 같은 개선된 콘텐트 검색을 디바이스에서 사용하기 위한 방법, 장치 및 컴퓨터 프로그램 제품을 제공할 수 있다. 결과적으로, 예로서 모바일 단말 및 그외의 전자 디바이스가 효율적인 방식으로 콘텐트 검색을 수행하는 능력으로부터 이익을 얻을 수 있고, 텍스트 입력에 대한 의존도가 낮아진 이해가능하고 유용한 방식으로 사용자에게 결과를 제공할 수 있다.
도 1은 본 발명의 예시적인 실시예에 따른 모바일 단말의 개략적인 블록도,
도 2는 본 발명의 예시적인 실시예에 따른 무선 통신 시스템의 개략적인 블록도,
도 3은 본 발명의 예시적인 실시예에 따른 시각적 검색 인터페이스를 제공하는 장치의 블록도,
도 4는 본 발명의 예시적인 실시예에 따라 개선된 시각적 검색 인터페이스를 제공하는 예시적인 방법에 따른 순서도.
일반적인 용어로 기술된 본 발명의 실시예들은 첨부된 도면들을 참조로 하며, 첨부된 도면들이 반드시 실제 축척대로 도시된 것은 아니다.
본 발명의 실시예들은 첨부된 도면을 참조로 하여 아래에서 보다 완전하게 기술될 것이지만, 본 발명의 모든 실시예가 도시된 것은 아니다. 사실, 본 발명은 다수의 다른 형태로 구현될 수 있고 본 명세서에 설정된 실시예들로 한정된 것으로 해석되어서는 안되며, 이들 실시예들은 본 명세서가 적용가능한 법률적인 요구조건을 만족시키도록 제공된 것이다. 도면에 걸쳐 동일한 참조 번호는 동일한 소자를 나타낸다.
도 1은 본 발명의 실시예로부터 이익을 얻을 수 있는 모바일 단말(10)의 블록도를 도시한다. 그러나, 도면에 도시되고 본 명세서에 기술된 바와 같은 모바일 전화기는 단지 본 발명의 실시예로부터 이익을 얻을 수 있는 모바일 단말 중 하나의 예시적인 유형이며, 따라서 본 발명의 실시예의 범주를 한정하는 것으로 해석되어서는 안된다. 모바일 단말(10)의 일 실시예가 도시되어 예시적인 목적으로 본 명세서에 기술될 것이지만, PDA, 페이저, 모바일 컴퓨터, 모바일 텔레비전, 게임 디바이스, 랩탑 컴퓨터, 카메라, 비디오 리코더, GPS 디바이스 및 그외의 유형의 음성 및 텍스트 통신 시스템과 같은 그외의 유형의 모바일 단말이 본 발명의 실시예를 쉽게 이용할 수 있다. 또한, 모바일이 아닌 디바이스 또한 본 발명의 실시예를 쉽게 사용할 수 있다.
본 발명의 실시예의 시스템 및 방법은 주로 모바일 통신 애플리케이션과 관련하여 아래에서 기술될 것이다. 그러나, 본 발명의 실시예의 시스템 및 방법이 모바일 통신 산업 내외에서 다양한 다른 애플리케이션과 관련하여 이용될 수 있다는 것을 이해해야 한다.
모바일 단말(10)은 송신기(14) 및 수신기(16)와 동작가능하게 통신하는 안테나(12)(또는 복수의 안테나)를 포함한다. 모바일 단말(10)은 각각 송신기(14)에 신호를 제공하고 수신기(16)로부터 신호를 수신하는 컨트롤러(20) 또는 다른 프로세싱 소자와 같은 장치를 더 포함한다. 신호는 응용가능한 셀룰러 시스템의 무선 인터페이스 표준(air interface standard)에 따른 시그널링 정보, 사용자 음성, 수신된 데이터 및/또는 사용자 생성 데이터를 포함한다. 이와 관련하여, 모바일 단말(10)은 하나 이상의 무선 인터페이스 표준, 통신 프로토콜, 변조 유형 및 액세스 유형과 동작할 수 있다. 예시로서, 모바일 단말(10)은 다수의 1세대, 2세대, 3세대 및/또는 4세대 프로토콜 등 중에서 임의의 프로토콜에 따라 동작할 수 있다. 예를 들어, 모바일 단말(10)은 2세대 무선 통신 프로토콜 IS-136(시간 분할 다중 접속(TDMA; time division multiple access)), GSM(모바일 통신용 글로벌 시스템) 및 IS-95(코드 분할 다중 접속(CDMA))에 따라서, 또는 UMTS(Universal Mobile Telecommunication System), CDMA2000, 광대역 CDMA(WCDMA) 및 시간 분할 동기식 CDMA(TD-SCDMA)와 같은 3세대(3G) 무선 통신 프로토콜에 따라서, 또는 4세대(4G) 무선 통신 프로토콜 등에 따라서 동작할 수 있다.
컨트롤러(20)와 같은 장치는 오디오를 구현하기 위해 요구되는 회로 및 모바일 단말(10)의 로직 기능을 포함한다. 예를 들어, 컨트롤러(20)는 디지털 신호 프로세서 디바이스, 마이크로프로세서 디바이스, 다수의 아날로그-디지털 변환기, 디지털-아날로그 변환기 및 그외의 지원 회로로 구성될 수 있다. 모바일 단말(10)의 제어 및 신호 프로세싱 기능은 각각의 성능에 따라 이들 디바이스들 사이에서 할당된다. 따라서 컨트롤러(20)는 변조 및 전송에 앞서 메시지 및 데이터를 복잡하게 인코딩 및 인터리빙하기 위한 기능을 포함할 수도 있다. 컨트롤러(20)는 내부 음성 코더를 추가로 포함할 수 있고, 내부 데이터 모뎀을 포함할 수 있다. 또한, 컨트롤러(20)는 메모리에 저장될 수 있는 하나 이상의 소프트웨어 프로그램을 운영하기 위한 기능을 포함할 수 있다. 예를 들어, 컨트롤러(20)는 종래의 웹 브라우저와 같은 접속가능 프로그램을 운영할 수 있다. 접속가능 프로그램은 모바일 단말(10)로 하여금 예를 들어 무선 애플리케이션 프로토콜(WAP), HTTP 등에 따라, 위치 기반 콘텐트 및/또는 그외의 웹 페이지 콘텐트와 같은 웹 콘텐트를 송신 및 수신하도록 할 수 있다.
모바일 단말(10)은 또한 종래의 이어폰 또는 스피커(24), 마이크로폰(26), 디스플레이(28) 및 사용자 입력 인터페이스와 같은 출력 디바이스를 포함하는 사용자 인터페이스를 포함할 수 있으며, 이들은 모두 컨트롤러(20)에 연결된다. 모바일 단말(10)이 데이터를 수신하도록 하는 사용자 입력 인터페이스는, 키패드(30), 터치 디스플레이(도시되지 않음) 또는 그외의 입력 디바이스와 같이 모바일 단말(10)이 데이터를 수신하도록 하는 임의의 개수의 디바이스를 포함할 수 있다. 키패드(30)를 포함하는 실시예에서, 키패드(30)는 종래의 숫자(0-9) 및 관련 키(#, *)와, 모바일 단말(10)을 동작시키기 위해 사용되는 그외의 하드 및/또는 소프트 키를 포함할 수 있다. 이와 달리, 키패드(30)는 종래의 QWERTY 키패드 배열을 포함할 수 있다. 키패드(30)는 기능과 관련된 다양한 소프트 키들을 포함할 수도 있다. 또한, 혹은 이와 달리, 모바일 단말(10)은 조이스틱 또는 그외의 사용자 입력 인터페이스와 같은 인터페이스 디바이스를 포함할 수 있다. 모바일 단말(10)은 검출가능한 출력으로서 기계 진동을 선택적으로 제공하는 것뿐만 아니라, 모바일 단말(10)을 운영하기 위해 요구되는 다양한 회로들에 파워를 제공하기 위해 진동 배터리 팩과 같은 배터리(34)를 더 포함한다.
예시적인 실시예에서, 모바일 단말(10)은 컨트롤러(20)와 통신하는 카메라, 비디오 및/또는 오디오 모듈과 같은 미디어 캡처 소자를 포함한다. 미디어 캡처 소자는 저장, 디스플레이 또는 전송을 위해 이미지, 비디오 및/또는 오디오를 캡처하는 임의의 수단일 수 있다. 예를 들어, 미디어 캡처 소자가 카메라 모듈(36)인 예시적인 실시예에서, 카메라 모듈(36)은 캡처된 이미지로부터 디지털 이미지 파일을 형성할 수 있는 디지털 카메라를 포함할 수 있다. 이런 식으로, 카메라 모듈(36)은 캡처된 이미지로부터 디지털 이미지 파일을 생성하기 위해 필요한 렌즈 또는 그외의 광학적 구성요소(들)와 같은 모든 하드웨어 및 소프트웨어를 포함한다. 이와 달리, 카메라 모듈(36)은 이미지를 뷰잉하는데 필요한 하드웨어만을 포함하고, 모바일 단말(10)의 메모리 디바이스가 캡처된 이미지로부터 디지털 이미지를 생성하기 위해 필요한 소프트웨어의 형태로 컨트롤러(20)에 의해 실행되는 명령어를 저장할 수 있다. 예시적인 실시예에서, 카메라 모듈(36)은 이미지 데이터를 프로세싱할 때 컨트롤러(20)를 보조하는 코프로세서(co-processor)와 같은 프로세싱 소자 및 이미지 데이터를 압축 및/또는 압축 해제하기 위해 인코더 및/또는 디코더를 더 포함할 수 있다. 인코더 및/또는 디코더는 예를 들어 JPEG 표준 또는 그외의 포맷에 따라 인코딩 및/또는 디코딩할 수 있다. 또한, 혹은 이와 달리, 카메라 모듈(36)은 예를 들어 제 1 사람의 카메라 뷰 및 제 3 사람의 맵 뷰와 같은 하나 이상의 뷰들을 포함할 수 있다.
모바일 단말(10)은 예를 들어 컨트롤러(20)와 통신하는 GPS(global positioning system) 모듈과 같은 포지셔닝 센서(37)를 더 포함할 수 있다. 포지셔닝 센서(37)는 모바일 단말(10)의 정확한 위치를 찾기 위한 임의의 수단, 디바이스 또는 회로일 수 있다. 또한, 포지셔닝 센서(37)는 카메라 모듈(36)에 의해 캡처된 이미지 내에, 예를 들어, 가게, 서점, 음식점, 커피숍, 백화점 및 그외의 사업적인 공간 등과 같은 관심 지점(POI; point of interest)의 위치를 정확히 찾기 위한 임의의 수단일 수 있다. 본 명세서에서 사용되는 관심 지점은 제품 및 다른 대상 등과 같은 사용자가 관심을 갖는 임의의 엔티티를 포함할 수 있다. 포지셔닝 센서(37)는 이미지 내에 모바일 단말 또는 POI의 위치를 정확하게 찾기 위한 모든 하드웨어를 포함할 수 있다. 이와 달리 또는 이에 더하여, 포지셔닝 센서(37)는 모바일 단말의 위치 또는 POI의 이미지를 결정하기 위해 필요한 소프트웨어의 형태로 컨트롤러(20)에 의해 실행되는 명령어를 저장하도록 모바일 단말(10)의 메모리 디바이스를 사용할 수 있다. 이러한 예시의 포지셔닝 센서(37)가 GPS 모듈일 수 있지만, 포지셔닝 센서(37)는 예를 들어 모바일 단말(10)의 위치를 결정하는 데에 사용하기 위한 정보를 수신 및/또는 전송하도록 네트워크 디바이스와 통신할 수 있는 어시스트 글로벌 포지셔닝 시스템(Assisted-GPS) 센서 또는 포지셔닝 클라이언트를 포함할 수 있거나 그렇지 않으면 이들로서 구현될 수 있다. 이와 관련하여, 모바일 단말(10)의 위치는 전술된 바와 같이 GPS에 의해 결정될 수 있으며, 또는 셀 ID, 신호 삼각측량(triangulation) 또는 그외의 메커니즘에 의해서도 결정될 수 있다. 일 예시적인 실시예에서, 포지셔닝 센서(37)는 보수계(pedometer) 또는 관성 센서를 포함한다. 포지셔닝 센서(37)는 모바일 단말(10)의 경도 또는 위도 방향과 같은 모바일 단말(10)의 위치를 결정할 수 있거나, 또는 목적지 또는 시작 지점과 같은 참조 포인트에 대한 위치를 결정할 수도 있다. 포지셔닝 센서(37)로부터의 정보는 모바일 단말(10)의 메모리 또는 다른 메모리 디바이스에 위치 히스토리 또는 위치 정보로서 저장되도록 전달될 수 있다. 또한, 포지셔닝 센서(37)는 전술된 바와 같이, 전송기(14)/수신기(14)를 통해 모바일 단말(10)의 위치 또는 하나 이상의 POI의 위치와 같은 위치적 정보를 시각적 검색 서버(51) 및/또는 시각적 검색 데이터베이스(53)(도 2 참조)와 같은 서버로 전송하거나 서버로부터 수신하기 위해 컨트롤러(20)를 사용할 수도 있다.
모바일 단말(10)은 시각적 검색 클라이언트(68)(예컨대, 통합된 모바일 시각적 검색/맵핑 클라이언트)를 포함할 수도 있다. 시각적 검색 클라이언트(68)는 카메라 모듈(36)로부터 수신된 질의(query)(예컨대, 이미지 또는 비디오 클립)를 프로세싱하여 상기 질의에 대해 유사도(a degree of similarity)를 갖는 이미지들을 포함하는 결과를 제공하기 위해 시각적 검색 서버(51) 및/또는 시각적 검색 데이터베이스(53)(도 2 참조)와 통신할 수 있는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어와 조합으로 구현된 임의의 수단, 디바이스 또는 회로일 수 있다. 예를 들어, 모바일 단말(10)이 대상 및/또는 POI에 포인팅되거나 또는 대상 및/또는 POI가 카메라 모듈(36)의 조준선(line of sight) 내에 있거나 또는 대상 및/또는 POI가 카메라 모듈(36)에 의한 이미지로 캡처되었을 때, (시각적 검색 데이터베이스(53) 내의 유사한 이미지에 대한 질의 이미지에 기초하여 시각적 검색을 전달함으로써, 또는 시각적 검색을 전달하고 결과를 수신하기 위해 시각적 검색 서버(51)에게 질의 이미지(원본 또는 압축된 이미지)나 질의 이미지의 특성을 전달함으로써) 시각적 검색 클라이언트(68)가 대상 및/또는 관심 지점(POI)을 인식하도록 구성될 수 있다.
모바일 단말(10)은 사용자 식별 모듈(UIM)(38)을 더 포함할 수 있다. UIM(38)은 전형적으로 빌트인 프로세서를 구비하는 메모리 디바이스이다. UIM(38)은, 예를 들어 가입자 식별 모듈(SIM), 유니버설 집적화 회로 카드(UICC), 유니버설 가입자 식별 모듈(USIM), 제거가능한 사용자 식별 모듈(R-UIM) 등을 포함할 수 있다. UIM(38)은 전형적으로 모바일 가입자와 관련된 정보 요소들을 저장한다. UIM(38)에 더하여, 모바일 단말(10)은 메모리에 장착될 수 있다. 예를 들어, 모바일 단말(10)은 데이터의 임시 저장을 위해 캐시 영역을 포함하는 휘발성 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리(40)를 포함할 수 있다. 모바일 단말(10)은 또한 내장될 수 있고/있거나 제거가능한 다른 비휘발성 메모리(42)도 포함할 수 있다. 비휘발성 메모리(42)는 추가적으로 또는 이와 달리, 캘리포니아 프레몬트 소재의 Lexar Media Inc. 또는 캘리포니아 서니베일 소재의 SanDisk Corporation으로부터 입수가능한 것과 같은 전기적으로 삭제가능한 프로그램가능 판독 전용 메모리(EEPROM), 플래쉬 메모리 등을 포함할 수 있다. 메모리는 모바일 단말(10)의 기능을 구현하기 위해 모바일 단말(10)에 의해 사용되는 임의의 개수의 정보 및 데이터 조각을 저장할 수 있다. 예를 들어, 메모리는 모바일 단말(10)을 고유하게 식별할 수 있는 국제 모바일 장비 식별(IMEI) 코드와 같은 식별자를 포함할 수 있다.
도 2는 본 발명의 예시적인 실시예에 따른 무선 통신 시스템의 개략적인 블록도이다. 도 2를 참조하면, 본 발명의 실시예로부터 이익을 얻을 수 있는 시스템의 일 유형의 예시가 제공되었다. 시스템은 복수의 네트워크 디바이스를 포함한다. 도시된 바와 같이, 하나 이상의 모바일 단말(10)은 기지국(BS)(44) 또는 베이스 영역으로 신호를 전송하고 그로부터 신호를 수신하도록 안테나(12)를 각각 포함할 수 있다. 기지국(44)은 모바일 스위칭 센터(MSC)(46)와 같이 네트워크를 운영하는 데에 필요한 소자들을 각각 포함하는 하나 이상의 셀룰러 또는 모바일 네트워크의 일부일 수 있다. 당업자에게 잘 알려진 바와 같이, 모바일 네트워크는 Base Station/MSC/Interworking 기능부(BMI)로도 지칭될 수 있다. 동작시에, MSC(46)는 모바일 단말(10)이 전화를 걸고 있거나 전화를 받고 있을 때 모바일 단말(10)로/로부터의 호출을 라우팅할 수 있다. MSC(46)는 모바일 단말(10)이 통화중일 때, 일반 전화로의 접속도 제공할 수 있다. 또한, MSC(46)는 모바일 단말(10)로/로부터의 메시지의 포워딩을 제어할 수 있으며, 메시징 센터로/로부터의 모바일 단말(10)에 대한 메시지 포워딩을 제어할 수도 있다. MSC(46)가 도 2의 시스템에서 도시되었지만 MSC(46)는 단지 예시적인 네트워크 디바이스이며, 본 발명의 실시예가 MSC를 사용하는 네트워크에서만 이용되는 것으로 제한되는 것은 아니다.
MSC(46)는 로컬 영역 네트워크(LAN), 메트로폴리탄 영역 네트워크(MAN), 및/또는 광역 네트워크(WAN)와 같은 데이터 네트워크로 연결될 수 있다. MSC(46)는 데이터 네트워크로 직접 연결될 수 있다. 그러나 전형적인 일 실시예에서, MSC(46)는 게이트웨이 디바이스(GTW)(48)로 연결되고, GTW(48)는 인터넷(50)과 같은 WAN으로 연결된다. 다시, 프로세싱 소자(예컨대, 개인 컴퓨터, 서버 컴퓨터 등)와 같은 디바이스는 인터넷(50)을 통해 모바일 단말(10)로 연결될 수 있다. 예를 들어, 아래에 설명된 바와 같이, 프로세싱 소자는 컴퓨팅 시스템(52), 오리진 서버(54), 시각적 검색 서버(51), 시각적 검색 데이터베이스(53) 등과 관련된 하나 이상의 프로세싱 소자를 포함할 수 있다.
BS(44)는 또한 시그널링 GPRS(General Packet Radio Service) 지원 노드(SGSN)(56)로 연결될 수 있다. 당업자에게 알려진 바와 같이, SGSN(56)은 전형적으로 패킷 스위칭된 서비스를 위해 MSC(46)와 유사한 기능을 수행할 수 있다. MSC(46)와 같은 SGSN(56)은 인터넷(50)과 같은 데이터 네트워크로 연결될 수 있다. SGSN(56)은 데이터 네트워크로 직접 연결될 수 있다. 그러나, 보다 전형적인 실시예에서, SGSN(56)은 GPRS 코어 네트워크(58)와 같은 패킷-스위칭 코어 네트워크로 연결된다. 패킷-스위칭 코어 네트워크는 그 다음 GTW GPRS 지원 노드(GGSN)(60)와 같은 다른 GTW(48)로 연결되고, GGSN(60)은 인터넷(50)으로 연결된다. GGSN(60)에 추가로, 패킷-스위칭 코어 네트워크는 GTW(48)로도 연결될 수 있다. 또한, GGSN(60)은 메시징 센터로 연결될 수 있다. 이와 관련하여, GGSN(60) 및 MSC(46)와 같은 SGSN(56)은 MMS 메시지와 같은 메시지의 포워딩을 제어할 수 있다. GGSN(60) 및 SGSN(56)은 메시징 센터로/로부터의 모바일 단말(10)에 대한 메시지의 포워딩을 제어할 수도 있다.
또한, SGSM(56)을 GPRS 코어 네트워크(58) 및 GGSN(60)에 연결함으로써, 컴퓨팅 시스템(52) 및/또는 오리진(origin) 서버(54)와 같은 디바이스가 인터넷(50), SGSN(56) 및 GGSN(60)을 통해 모바일 단말(10)로 연결될 수 있다. 이와 관련하여, 컴퓨팅 시스템(52) 및/또는 오리진 서버(54)와 같은 디바이스는 SGSN(56), GPRS 코어 네트워크(58) 및 GGSN(60)을 가로질러 모바일 단말(10)과 통신할 수 있다. 모바일 단말(10) 및 다른 디바이스(예컨대, 컴퓨팅 시스템(52), 오리진 서버(54), 시각적 검색 서버(51), 시각적 검색 데이터베이스(53) 등)을 직접 또는 간접적으로 인터넷(50)에 접속시킴으로써, 모바일 단말(10)은 HTTP 등에 따라, 다른 디바이스와 통신할 수 있거나 서로 통신할 수 있고, 그에 따라 모바일 단말(10)의 다양한 기능들을 수행한다.
가능한 모든 모바일 네트워크의 모든 소자가 본 명세서에 도시 및 기술된 것은 아니지만, 모바일 단말(10)이 BS(44)를 통해 다수의 서로 다른 네트워크 중 임의의 하나 이상의 네트워크로 연결될 수 있다. 이와 관련하여, 네트워크(들)는 다수의 1세대(1G), 2세대(2G), 2.5G, 3세대(3G), 3.9G, 4세대(4G) 모바일 통신 프로토콜 등에서 임의의 하나 이상의 프로토콜에 따라 통신을 지원할 수 있다. 예를 들어, 하나 이상의 네트워크(들)는 2G 무선 통신 프로토콜 IS-136(TDMA), GSM 및 IS-95(CDMA)에 따라 통신을 지원할 수 있다. 또한, 예를 들어 하나 이상의 네트워크(들)가 2.5G 무선 통신 프로토콜 GPRS, EDGE(Enhanced Data GSM Environment) 등을 지원할 수 있다. 또한, 예를 들어 하나 이상의 네트워크(들)가 WCDMA 무선 액세스 기술을 이용하는 UMTS 네트워크와 같은 3G 무선 통신 프로토콜에 따른 통신을 지원할 수 있다. TACS(total access communication system)뿐 아니라, 일부 협대역(narrowband) 아날로그 모바일 폰 서비스(NAMPS)도, 듀얼(dual) 또는 보다 상위 모드의 이동국(예컨대, 디지털/아날로그 또는 TDMA/CDMA/아날로그 폰)과 같이 본 발명의 실시예로부터 이익을 얻을 수 있다.
모바일 단말(10)은 하나 이상의 무선 액세스 포인트(AP)(62)로 더 연결될 수 있다. AP(62)는 예를 들어 무선 주파수(RF), 블루투스(BT), 적외선(IrDA)과 같은 기술 또는 IEEE 802.11(예컨대, 802.11a, 802.11b, 802.11g, 802.11n 등)과 같은 무선 LAN(WLAN) 기술, IEEE 802.16과 같은 WiMAX 기술 및/또는 IEEE 802.15와 같은 초광대역(UWB) 기술 등을 포함하는 다수의 서로 다른 무선 네트워킹 기술 중 임의의 기술에 따라서 모바일 단말(10)과 통신하도록 구성된 액세스 포인트를 포함할 수 있다. AP(62)는 인터넷(50)에 연결될 수 있다. MSC(46)와 같이, AP(62)는 인터넷(50)으로 직접 연결될 수 있다. 그러나, 일 실시예에서 AP(62)는 GTW(48)를 통해 인터넷(50)으로 간접적으로 연결된다. 또한, 일 실시예에서, BS(44)는 다른 AP(62)로 간주될 수도 있다. 모바일 단말(10)과 컴퓨팅 시스템(52), 오리진 서버(54) 및/또는 임의의 다수의 다른 디바이스를 인터넷(50)에 직접적 또는 간접적으로 접속시킴으로써, 모바일 단말(10)들이 서로 통신할 수 있거나 컴퓨팅 시스템 등과 통신할 수 있고, 그에 따라 컴퓨팅 시스템(52)으로의 데이터, 콘텐트 등의 전송 및/또는 컴퓨팅 시스템(52)으로부터의 콘텐트, 데이터 등의 수신과 같은 모바일 단말(10)의 다양한 기능을 수행한다. 본 명세서에서 사용되는 용어 "데이터", "콘텐트", "정보" 및 유사한 용어는 본 발명의 실시예에 따라 전송, 수신 및 또는 저장될 수 있는 데이터를 지칭하도록 상호교환가능하게 사용될 수 있다. 따라서, 이러한 용어들의 사용이 본 발명의 실시예의 사상 및 범주를 제한하는 것으로 해석되어서는 안된다.
모바일 단말(10)과 컴퓨팅 시스템(52), 오리진 서버(54), 시각적 검색 서버(51), 시각적 검색 데이터베이스(53) 및/또는 다수의 다른 디바이스들을 인터넷(50)에 직접 또는 간접적으로 접속시킴으로써, 모바일 단말(10)들이 서로 통신할 수 있고, 모바일 단말(10)이 컴퓨팅 시스템(52), 오리진 서버(54), 시각적 검색 서버(51), 시각적 검색 데이터베이스(53) 등과 통신할 수 있으며, 그에 따라 컴퓨팅 시스템(52), 오리진 서버(54), 시각적 검색 서버(51) 및/또는 시각적 검색 데이터베이스(53) 등으로 데이터, 콘텐트 등을 전송하는 것 및/또는 이들로부터 콘텐트, 데이터 등을 수신하는 것과 같은 모바일 단말(10)의 다양한 기능들을 수행한다. 예를 들어, 시각적 검색 서버(51)는 예를 들어 하나 이상의 모바일 단말(10)의 지형적 영역 또는 하나 이상의 관심 지점(POI)과 관련된 맵 데이터를 제공할 수 있는 시각적 맵 서버, 또는 하나 이상의 POI의 지형적 위치와 관련된 데이터를 저장할 수 있고 POI의 위치, POI의 카테고리(예컨대, 커피숍 또는 음식점, 스포츠용품 매장, 콘서트 등), POI와 관련한 제품 정보 등을 포함하지만 이것으로 제한되는 것은 아닌 다수의 관심 지점과 관련된 데이터를 저장할 수 있는 POI 서버와 같은 하나 이상의 다른 서버로서 구현될 수 있다. 따라서, 예를 들어, 모바일 단말(10)은 시각적 검색 데이터베이스(53)에 저장된 이미지 또는 비디오 클립과 비교하여 사용되기 위해 시각적 검색 서버(51)에 질의로서 전송될 수 있는 이미지 또는 비디오 클립을 캡처할 수 있다. 따라서, 시각적 검색 서버(51)는 카메라 모듈(36)에 의해 획득된 이미지 또는 비디오 클립과의 비교를 수행하여, 이들 이미지 또는 비디오 클립이 시각적 검색 데이터베이스(53)에 저장된 이미지 또는 비디오 클립과 유사한지, 유사하다면 어느 정도 유사한지를 결정한다.
도 2에 도시되지는 않았지만, 모바일 단말(10)이 인터넷(50)을 통해 컴퓨팅 시스템(52) 및/또는 시각적 검색 서버(51) 및 시각적 검색 데이터베이스(53)에 연결되는 것에 추가하여, 또는 그 대신, 모바일 단말(10)과 컴퓨팅 시스템(52) 및/또는 시각적 검색 서버(51) 및 시각적 검색 데이터베이스(53)가 서로 연결될 수 있으며, 예를 들어 RF, BT, IrDA 또는 LAN, WLAN, WiMAX, UWB 기술 등을 포함하는 다수의 서로 다른 유선 또는 무선 통신 기술에 따라 통신할 수 있다. 컴퓨팅 시스템(52), 시각적 검색 서버(51) 및 시각적 검색 데이터베이스(53) 중 하나 이상은 추가로, 또는 대안적으로, 후에 모바일 단말(10)로 전송될 수 있는 콘텐트를 저장할 수 있는 제거가능한 메모리를 포함할 수 있다. 또한, 모바일 단말(10)은 프린터, 디지털 프로젝터 및/또는 그외의 멀티미디어 캡처, 생성 및/또는 저장 디바이스(예로서, 다른 단말)와 같은 하나 이상의 전자 디바이스로 연결될 수 있다. 컴퓨팅 시스템(52), 시각적 검색 서버(51) 및 시각적 검색 데이터베이스(53)와 같이, 모바일 단말(10)은 예를 들어 RF, BT, IrDA 또는 USB, LAN, WLAN, WiMAX, UWB 기술 등을 포함하는 다수의 서로 다른 유선 또는 무선 통신 기술에 따라 휴대가능한 전자 디바이스와 통신하도록 구성될 수 있다.
예시적인 실시예에서, 이미지 콘텐트, 위치 정보 및/또는 POI 정보와 같은 콘텐트는 도 2의 시스템 상에서, 도 1의 모바일 단말(10)과 유사할 수 있는 모바일 단말과 도 2의 시스템의 네트워크 디바이스 사이 또는 모바일 단말들 사이에서 전달될 수 있다. 예를 들어, 데이터베이스는 도 2의 시스템의 네트워크 디바이스에서 콘텐트를 저장할 수 있고, 모바일 단말(10)은 특정한 유형의 콘텐트에 대한 콘텐트를 검색할 것을 원할 수 있다. 그러나, 도 2의 시스템이 모바일 단말들 사이에서의 통신 또는 네트워크 디바이스와 모바일 단말 사이에서의 통신에 사용되어야만 하는 것이 아니며, 도 2는 단지 예시적인 목적으로 제공된 것임을 이해해야 한다. 또한, 본 발명의 실시예들은 모바일 단말(10)과 같은 통신 디바이스 상에 존재할 수 있으며, 또는 통신 디바이스에 액세스할 수 있는 네트워크 디바이스 또는 그외의 디바이스 상에 존재할 수 있다.
도 3은 본 발명의 예시적인 실시예에 따라 검색 시스템에서 사용하기 위한 개선된 시각적 검색 인터페이스를 제공하는 장치의 블록도이다. 도 3의 장치는 예시적으로 도 1의 모바일 단말(10)과 관련하여 기술될 것이다. 그러나, 도 3의 장치가 모바일 디바이스 및 고정 디바이스 모두를 포함하는 다양한 다른 디바이스와 관련해서도 사용될 수 있으며, 따라서 본 발명의 실시예가 도 1의 모바일 단말(10)과 같은 디바이스에 대한 적용으로만 제한되어서는 안된다. 이와 관련하여, 실시예들은 클라이언트(예를 들어, 시각적 검색 클라이언트(68))가 서버(예를 들어, 시각적 검색 서버(51))에게 질의를 발행하고 서버가 본 발명의 실시예들을 실시하고 클라이언트에게 그 결과를 전달하는 클라이언트-서버 관계의 맥락에서 실시될 수 있다. 이와 달리, 아래에서 기술된 일부 기능들은 클라이언트 상에서 실시될 수 있고, 그외의 기능들이 서버 상에서 실시될 수 있다. 어느 디바이스에서 어떤 프로세스가 수행되는지와 관련된 결정은 전형적으로 프로세싱 비용과 통신 대역폭 용량의 조화를 이루도록 고려될 수 있다. 도 3이 개선된 시각적 검색 인터페이스를 제공하는 장치의 구성의 일례를 도시하지만, 다수의 다른 구성이 본 발명의 실시예를 구현하기 위해 사용될 수 있음을 인지해야 한다.
도 3을 참조하면, 개선된 시각적 검색 인터페이스를 제공하기 위한 검색 장치(70)가 제공된다. 예시적인 실시예에서, 검색 장치(70)는 모바일 단말(10)(예컨대, 시각적 검색 클라이언트(68)와 같은 것)과 시각적 검색 서버(51)(또는 다른 네트워크 디바이스) 중 하나 또는 둘 모두에서 구현될 수 있다. 다시 말하면, 검색 장치(70)의 일부분은 모바일 단말(10)에 존재할 수 있는 반면 다른 부분은 시각적 검색 서버(51)에 존재할 수도 있다. 이와 달리, 검색 장치(70)는 그 전체가 모바일 단말(10) 및/또는 시각적 검색 서버(51) 상에 존재할 수 있다. 검색 장치(70)는 사용자 인터페이스 구성요소(72), 프로세싱 소자(74), 메모리(75), 후보 결정기(candidate determiner)(76) 및 통신 인터페이스(78)를 포함할 수 있다. 예시적인 실시예에서, 프로세싱 소자(74)는 도 1의 모바일 단말(10)의 컨트롤러(20)로서 또는 시각적 검색 서버(51)의 컨트롤러 또는 프로세서로서 구현될 수 있다. 그러나, 이와 달리 프로세싱 소자(74)는 다른 디바이스의 프로세싱 소자일 수 있다. 본 명세서에 기술되는 프로세싱 소자는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세싱 소자(74)는 프로세서, 코프로세서, 컨트롤러 또는 예를 들어 ASIC(application specific integrated circuit)과 같은 집적 회로를 포함하는 다수의 다른 프로세싱 수단, 회로 또는 디바이스로서 구현될 수 있다. 예시적인 실시예에서, 사용자 인터페이스 구성요소(72), 후보 결정기(76) 및/또는 통신 인터페이스(78)는 프로세싱 소자(74)에 의해 제어될 수 있거나 또는 이와 달리 프로세싱 소자(74)로서 구현될 수 있다.
통신 인터페이스(78)는 네트워크 및/또는 통신 인터페이스(78)를 사용하는 장치(예컨대, 검색 장치(70))와 통신하는 임의의 다른 디바이스 또는 모듈로/로부터 데이터를 전송 및/또는 수신하도록 구성된 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된 임의의 디바이스, 회로 또는 수단으로서 구현될 수 있다. 이와 관련하여, 통신 인터페이스(78)는 예를 들어 무선 통신 네트워크를 통해 통신을 가능케 하는 하드웨어 및/또는 소프트웨어를 지원하는 안테나를 포함할 수 있다. 이에 더하여 또는 이와 달리, 통신 인터페이스(78)는 이미지(예로서, 질의)의 표시 및/또는 위치 정보가 프로세싱 소자(74) 및/또는 후보 결정기(76)로 전달될 수 있는 메커니즘일 수 있다. 따라서, 예시적인 실시예에서, 통신 인터페이스(78)는 (모바일 단말(10)을 통해서 직접 또는 간접적으로) 이미지의 표시를 수신하는 카메라 모듈(36)과 같은 디바이스 및/또는 모바일 단말(10)의 포지션 또는 위치를 식별하는 위치 정보를 수신하는 포지셔닝 센서(37)와 같은 디바이스와 통신할 수 있다.
사용자 인터페이스 구성요소(72)는 사용자 입력을 수신할 수 있고/있거나 사용자에게 출력을 제공할 수 있는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현된 임의의 디바이스, 수단 또는 회로일 수 있다. 사용자 인터페이스 구성요소(72)는 예를 들어 키보드, 키패드, 기능 키, 마우스, 스크롤링(scrolling) 디바이스, 터치 스크린, 또는 사용자가 검색 장치(70)와 인터페이스할 수 있는 임의의 다른 메커니즘을 포함할 수 있다. 사용자 인터페이스 구성요소(72)는 또한 디스플레이, 스피커 또는 사용자에게 출력을 제공하기 위한 다른 출력 메커니즘도 포함할 수 있다. 예시적인 실시예에서는, 실제로 사용자 입력을 수신하고/하거나 사용자에게 출력을 제공하는 디바이스를 포함하기보다는, 사용자 인터페이스 구성요소(72)가 실제로 사용자 입력을 수신하고/하거나 사용자에게 출력을 제공하는 디바이스와 통신할 수 있다. 이런 식으로, 사용자 인터페이스 구성요소(72)는 입력 디바이스로부터 사용자 입력의 표시를 수신하고/하거나 출력 디바이스에게 전달될 메시지를 제공하도록 구성될 수 있다.
예시적인 실시예에서, 사용자 인터페이스 구성요소(72)는 사용자로부터 질의(80)의 표시를 수신하도록 구성될 수 있다. 질의(80)는 예를 들어, 검색 동작에 기초하여 콘텐트에 대한 기본을 제공하는 콘텐트를 포함하는 이미지일 수 있다. 이와 관련하여, 질의(80)는 임의의 방법에 의해 획득된 이미지(예컨대, 질의 이미지)일 수 있다. 그러나, 예시적인 실시예에서, 질의(80)는 예를 들어 사진을 찍음으로써 카메라 모듈(36)을 통해 획득된 이미지일 수 있다. 다시 말하면, 질의(80)는 사용자가 카메라 모듈(36)에서 캡처한 새롭게 생성된 이미지일 수 있다. 다른 실시예에서, 질의(80)는 원본 이미지, 압축 이미지(예컨대, JPEG 이미지), 또는 이미지로부터 추출된 특성을 포함할 수 있다. 원본 이미지, 압축 이미지 또는 이미지로부터의 특성 어떠한 것도 메모리(75)의 콘텐트 중에서의 검색에 대한 기초를 형성할 수 있다.
사용자 인터페이스 구성요소(72)는 후보 결과들의 리스트로부터의 올바른 후보 결과의 선택과 관련된 사용자로부터 입력 또는 피드백 및/또는 질의(80)와 관련된 이미지와 특정 위치 또는 POI 사이의 관련성을 확립하기 위한 입력을 수신하도록 구성될 수 있으며, 이는 아래에 보다 자세히 기술되었다. 사용자 인터페이스 구성요소(72)는 텍스트 엔트리, 사용자 선호도 등을 수신하도록 구성될 수도 있다.
메모리(75)(휘발성 또는 비휘발성 메모리일 수 있음)는 이미지 특성 데이터베이스(82) 및/또는 POI 데이터베이스(84)를 포함할 수 있다. 이와 관련하여, 예를 들어 이미지 특성 데이터베이스(82)는 캡처된 이미지(예컨대, 카메라 모듈(36)에 의해 캡처된 이미지) 또는 캡처된 이미지의 특성과의 비교를 위한 소스 이미지 또는 소스 이미지의 특성을 포함할 수 있다. POI 데이터베이스(84)는 이미지 내에 나타날 수 있는 특정 위치 및/또는 대상과 연관된 다수의 서로 다른 POI들을 포함할 수 있다. 전술된 바와 같이, 메모리(75)는 모바일 단말(10)로부터 원거리에 위치될 수 있거나 또는 모바일 단말(10) 내에 부분적으로 또는 완전히 위치될 수 있다. 이렇게, 메모리(75)는 모바일 단말(10) 상에 위치하는 메모리일 수 있거나 또는 시각적 검색 데이터베이스(53) 및/또는 시각적 검색 서버(51)와 관련하여 전술된 것과 유사한 능력을 가질 수 있는 모바일 단말(10)로 접속가능할 수 있다. 이와 달리, 메모리(75)는 시각적 검색 데이터베이스(53) 및/또는 시각적 검색 서버(51)와 같이 구현될 수 있다. 예시적인 실시예에서, 메모리(75)에 저장된 이미지의 적어도 일부가 질의 이미지와의 비교에 사용될 수 있는 특정한 위치와 관련된 소스 이미지일 수 있다. 이렇게, 예를 들어 상응하는 이미지와 관련된 위치를 식별하는 위치 태그 또는 그외의 표시자가 상응하는 이미지와 관련하여 저장될 수 있다.
후보 결정기(76)는 이미지(예로서, 질의(80))의 표시에 상응하는 검색에 응답하여 후보 결과를 결정하도록 구성된 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어와 조합으로 구현된 임의의 디바이스, 회로 또는 수단일 수 있다. 이와 관련하여, 후보 결과들은 위치 정보 및 시각적 검색 결과 모두에 기초하여 결정된 후보 POI들을 포함할 수 있다. 다시 말하면, 후보 결정기(76)는 대상 또는 대상의 특성을 포함할 수 있는 이미지의 표시를 메모리(75)(예로서, 이미지 특성 데이터베이스(82)) 내의 다른 이미지들과 비교함으로써, 그리고 (POI 데이터베이스(84)로부터) 모바일 단말(10)의 위치를 모바일 단말(10)의 위치의 사전결정된 거리 내의 POI와 비교함으로써 질의(80)(예로서, 원본 이미지, 압축 이미지 및/또는 이미지의 특성)를 통해 수신된 이미지의 표시와 관련된 콘텐트 기반 검색을 수행하는 알고리즘, 디바이스 또는 다른 수단들을 포함할 수 있다. 이렇게, 후보 결정기(76)는 이미지의 표시 및 위치 정보와 관련된 통신 인터페이스(78)로부터의 정보를 수신하도록 구성될 수 있다. 예시적인 실시예에서, 후보 결정기(76)는 질의(80)를 (예로서 저장된 이미지와 관련된 위치 정보(예컨대, 위치 태그)에 기초하여) 사용자의 사전결정된 거리 내에 있는 대상과 관련하여 (예로서, 메모리(75)에) 저장된 이미지(또는 특성)와만 비교하도록 구성될 수 있으며, 그에 따라 비교에 사용되는 이미지들의 세트를 거리를 고려하였을 때 가능할 것으로 보이는 후보로 한정한다.
따라서, 예시적인 실시예에서, 이미지가 대상을 포함하는 질의(80)(예컨대, 원본 이미지, 압축 이미지 및/또는 이미지의 특성)를 통한 이미지의 표시의 수신에 응답하여, 프로세싱 소자(74)는 (예컨대 후보 결정기(76)의 제어를 통해) 이미지의 표시를 제공하는 사용자와 관련된 위치를 표시하는 위치 정보를 수신하고 이미지의 특성 및 위치 정보에 기초한 시각적 검색을 수행하거나 또는 이를 가능케 하도록 구성될 수 있다. 그 결과 프로세싱 소자(74)는 사용자와 관련된 위치로부터 사전결정된 거리 내에 있는 위치와 관련되어 저장된 소스 이미지에 대해 상기 이미지를 비교함으로써 적어도 하나의 후보 POI를 포함하는 후보 검색 결과를 식별할 수 있다. 이와 관련하여, 예를 들어, 사용자의 위치와 관련된 지역 (또는 원거리) 데이터베이스(예를 들어, 도 2의 서버들 중 하나 또는 메모리(75))에 저장된 이미지는 이미지의 특성과 관련된 매칭 이미지를 찾도록 검색될 수 있다. 이렇게 위치를 고려하였을 때, 캡처된 이미지와 관련되었을 것으로 보이는 이미지만으로 검색되는 이미지의 개수를 한정함으로써, 검색 시간 및 프로세싱 리소스 소비가 감소될 수 있다.
프로세싱 소자(74)는 사용자로부터 특정한 POI와 식별된 후보 검색 결과에 응답한 이미지 사이의 관련성을 만드는 입력을 수신하도록 추가로 구성될 수도 있다. 예시적인 실시예에서, 프로세싱 소자(74)는 상기 이미지에 대한 매칭 이미지에 대한 지역 (또는 원거리) 데이터베이스를 조회할 수 있다. 매칭 이미지는 매칭 이미지 내에 대상이 포함되었음을 나타내는 이미지와 유사한 특성을 갖는 것에 기초하여 선택될 수 있다.
매칭 이미지가 발견되는 실시예에서, 프로세싱 소자(74)는 특정한 POI로서 매칭 이미지와 연관된 POI를 제공하도록 추가로 구성될 수 있다. 또한, 특정한 POI를 갖는 이미지와의 연관성을 만드는 사용자로부터의 입력을 수신한 것에 응답하여, 원거리(및/또는 로컬) 데이터베이스가 연관성에 기초하여 업데이트될 수 있으며, 그에 따라 차후의 검색이 랭킹을 위해서 (예컨대, 사전의 연관성에 기초하여 가장 가능성이 높은 POI를 랭킹하도록 후보 검색 결과를 랭킹함) 사용자에 의해 만들어진 연관성을 고려할 수 있도록 한다. 특히, 만약 매칭 이미지가 반환되었지만 사용자가 그 매칭 이미지가 이미지에 상응하거나 또는 특정한 POI와 연관되었다고 믿지 않으면, 사용자는 로컬 및/또는 원거리의 데이터베이스로부터 이전에 존재하는 연관성을 삭제하도록 하는 옵션을 선택할 수 있다.
매칭이 발견되지 않은 실시예에서, 프로세싱 소자(74)는 복수의 잠재적인 선택 또는 관심 지점을 후보 검색 결과로서 제공하도록 구성될 수 있다. 복수의 선택 또는 관심 지점은 POI 데이터, 인터넷 옐로우 페이지, 인터넷으로부터의 사진 등에 기초하여 결정될 수 있다. 이와 달리 또는 이에 추가로 복수의 선택 또는 관심 지점이 이미지와 연관된 위치에 기초하여 결정될 수도 있다. 예를 들어, 이미지와 연관된 위치에 근접한 관심 지점에 대한 위치 기반 검색은 매칭 이미지가 발견되지 않을 때마다 자동으로 처리될 수 있다. 이러한 경우에, 결과의 랭킹이 수행되지 않을 수 있다. 이와 달리, 만약 랭킹이 수행되면, 이러한 랭킹은 이미지와 연관된 위치에 근접한 관심 지점의 거리에 기초하여 이루어질 수 있다. 만약 사용자가 복수의 POI 중 하나를 올바른 선택으로 선택한다면, 로컬 및/또는 원거리 데이터베이스는 선택에 의해 만들어진 연관성을 반영하도록 업데이트될 수 있다.
따라서, 만약 매칭 이미지가 발견되면, 상응하는 POI가 후보 검색 결과 내의 가장 가능성 높은 또는 유일한 후보로서 제공될 수 있으며, 이러한 상응하는 POI의 선택은 장래의 랭킹 동작을 위해 사용될 수 있다. 이는 이미지 매칭 시나리오로 간주될 수 있다. 그러나, 만약 매칭 이미지가 발견되지 않으면, 후보 검색 결과 내의 POI의 리스트로부터의 사용자에 의한 상응하는 POI의 선택(또는 올바른 POI의 수동 엔트리)은 이미지와 POI 사이에 연관성(association)을 형성할 수 있으며, 따라서 장래의 검색 동작에서는, 이 이미지가 다른 이미지와의 비교용 소스 이미지로서 상응하는 POI를 찾을 때 사용될 수도 있다. 이것은 검색 장치(70)가 장래의 검색 동작과 관련하여 사용하기 위해 추가적인 소스 이미지의 추가를 가능케 하도록 트레이닝된 트레이닝 모드(training mode)로 간주될 수 있다. 예시적인 실시예에서, 임의의 주어진 POI에 대해서, 복수의 이미지(및 잠재적으로 복수의 서로 다른 대상들)가 POI에 해당할 수 있고, 복수의 이미지가 공동 위치 태그를 공유할 수 있고/있거나 주어진 POI와 연관될 수 있기 때문에 장래의 검색 동작에서 사용하기 위한 소스 이미지일 수 있다.
예시적인 실시예에서, 만약 매칭 이미지가 발견되고/되었거나 사용자가 후보 검색 결과로부터 특정한 POI를 선택하였다면, 특정한 POI와 연관된 보다 상세한 정보가 로컬 또는 원거리의 데이터베이스로부터 제공될 수 있다. 보다 상세한 정보는 주소, 전화번호, 이메일 주소, 상응하는 웹 페이지, 제공되는 상품 또는 서비스에 대한 설명, 로컬 영역의 지도, 또는 다수의 다른 정보 아이템들을 포함할 수 있다. 사용자에게는 또한 (예컨대 사용자 인터페이스(72)를 통해) 특정한 POI와 관련하여 수행될 수 있는 동작들의 디스플레이가 제공될 수 있다. 예를 들어, 웹 검색, 전화 호출, 이메일 전송 등과 같은 동작을 개시하는 것과 관련된 옵션들이 (예로서 사용자 인터페이스(72)를 통해) 선택을 위해서 사용자에게 제공될 수 있다. 동작의 선택에 따라서, 상응하는 외부 애플리케이션(예컨대, 웹 브라우저, 웹 기반 검색 엔진 등)이 론칭될 수 있다.
다른 예시적인 실시예에서, 사용자와 연관된 위치에 상응하는 정보의 서브셋이 검색 장치(70)에 의해 사전-페치(pre-fetched)될 수 있다. 이와 관련하여, 예를 들어 이미지, 이미지의 특성, POI 데이터, 또는 사용자와 연관된 위치와 연관된 다른 정보가 후속하는 질의의 경우에서의 대기(latency)를 감소시키도록 사전-페치될 수 있다. 다양한 경우 또는 방안이 사전-페치를 트리거하도록 사용될 수 있다. 예를 들어, 위치 변경은 새로운 위치와 연관된 정보의 서브셋의 사전-페치를 트리거할 수 있다. 이와 달리, 사용자 선호도는 사전-페치를 트리거하는 특정한 시간, 이벤트, 위치 등을 규정할 수 있다. 또한, 사전-페치된 정보의 서브셋은 사용자 선호도 및/또는 검색 히스토리에 기초하여 결정될 수 있다.
도 4는 본 발명의 예시적인 실시예에 따른 방법 및 프로그램 제품의 순서도이다. 순서도의 각 블록 또는 단계 및 순서도의 블록들의 조합이 하드웨어, 펌웨어 및/또는 하나 이상의 컴퓨터 프로그램 명령어를 포함하는 소프트웨어와 같은 다양한 수단들에 의해 구현될 수 있음을 이해할 것이다. 예를 들어, 전술된 하나 이상의 절차들은 컴퓨터 프로그램 명령어에 의해 구현될 수 있다. 이와 관련하여, 전술된 절차를 구현하는 컴퓨터 프로그램 명령어는 모바일 단말 또는 서버의 메모리 디바이스에 의해 저장될 수 있고 모바일 단말 또는 서버 내의 내장 프로세서에 의해 실행될 수 있다. 이러한 임의의 컴퓨터 프로그램 명령어는 장치를 생성하도록 컴퓨터 또는 그외의 프로그램가능한 장치(즉, 하드웨어) 상에 로딩될 수 있으며, 그에 따라 컴퓨터 또는 그외의 프로그램가능한 장치 상에서 실행되는 명령어는 순서도 블록(들) 또는 단계(들)에서 명시된 기능을 구현하기 위한 수단을 생성한다. 또한 이들 컴퓨터 프로그램 명령어는, 컴퓨터-판독가능한 메모리 내에 저장된 명령어가 순서도 블록(들) 또는 단계(들) 내에 명시된 기능을 구현하는 명령어 수단을 포함하는 제조 물품을 생산하도록, 컴퓨터 또는 그외의 프로그램가능한 장치를 특정한 방식으로 기능으로 다이렉팅할 수 있는 컴퓨터-판독가능한 메모리 내에 저장될 수 있다. 또한 컴퓨터 프로그램 명령어는, 컴퓨터 또는 그외의 프로그램가능한 장치 상에서 실행되는 명령어가 순서도 블록(들) 또는 단계(들) 내에 명시된 기능을 구현하기 위한 단계들을 제공하도록 컴퓨터 또는 그외의 프로그램가능한 장치 상에 로딩되어, 컴퓨터 또는 그외의 프로그램가능한 장치 상에서 수행될 일련의 동작 단계들로 하여금 컴퓨터-구현된 프로세스를 생산하도록 할 수 있다.
따라서, 순서도의 블록들 또는 단계들은 명시된 기능들을 수행하기 위한 수단들의 조합, 명시된 기능들을 수행하기 위한 단계들의 조합 및 명시된 기능들을 수행하기 위한 프로그램 명령어 수단을 지원한다. 순서도의 하나 이상의 블록 또는 단계 및 순서도의 블록들 또는 단계들의 조합이, 명시된 기능 또는 단계들을 수행하는 전용 하드웨어 기반 컴퓨터 시스템 또는 전용 하드웨어와 컴퓨터 명령어의 조합에 의해 구현될 수 있음을 이해할 것이다.
이와 관련하여, 예로서 도 4에 도시된 바와 같은 개선된 시각적 검색 인터페이스를 제공하기 위한 방법의 일 실시예는, 동작(200)에서 대상을 포함하는 이미지의 표시를 수신하는 단계를 포함할 수 있다. 동작(210)에서, 상기 이미지의 표시를 제공하는 디바이스 또는 사용자와 연관된 위치를 표시하는 위치 정보가 수신될 수 있다. 시각적 검색의 수행은 동작(220)에서 위치 정보 및 이미지의 특성에 기초하여 가능해지는데, 상기 이미지를 디바이스 또는 사용자와 연관된 위치로부터 사전결정된 거리 내에 있는 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과들을 식별하도록 한다. 시각적 검색은, 상기 이미지와 관련해 매칭하는 이미지에 대해 로컬 데이터베이스에 질의함으로써 수행될 수 있으며, 이때 상기 매칭하는 이미지는 대상을 포함한다.
예시적인 실시예에서, 이 방법은 식별된 후보 검색 결과들에 응답하여 특정한 관심 지점과 상기 이미지 사이의 연관성을 생성하는 디바이스로부터 입력을 수신하는 동작(230)을 더 포함할 수 있다. 다른 선택적인 동작들이 후속하여 매칭 이미지가 존재하는지 여부를 결정하기 위해 이 방법에 포함될 수도 있다. 이와 관련하여, 예를 들어, 만약 매칭 이미지가 발견되었다면, 이 방법은 동작(240)에서 매칭 이미지와 연관된 관심 지점을 특정 관심 지점으로서 제공하는 단계를 더 포함할 수 있다. 이와 달리, 만약 매칭 이미지가 발견되지 않으면, 이 방법은 동작(250)에서 복수의 관심 지점들을 후보 검색 결과로서 제공하는 단계를 포함할 수 있다. 복수의 관심 지점들은 디바이스 또는 사용자와 연관된 위치에 근접한 관심 지점과 관련하여 위치 기반 검색에 기초하여 결정될 수 있다. 사용자로부터 입력 수신에 응답하여, 동작(260)에서 데이터베이스가 연관성에 기초하여 업데이트될 수 있다.
본 명세서에서 기술된 본 발명에 대한 다수의 변경 및 그외의 실시예들이 존재할 수 있음이, 전술된 설명과 관련된 도면의 내용으로부터 이득을 취할 수 있는 당업자에게 명백할 것이다. 따라서, 본 발명의 실시예가 본 명세서에 개시된 특정한 실시예로 한정되지 않으며 변경 및 그외의 실시예들이 첨부된 특허청구범위의 범주 내에 포함된다는 것이 이해될 것이다. 본 명세서에서 특정한 용어가 사용되었다 할지라도, 이들은 한정적인 목적이 아닌 일반적이고 설명을 위한 목적으로 사용된 것이다.

Claims (32)

  1. 시각적 검색(visual search)을 제공하는 장치를 이용하여 시각적 검색을 제공하는 방법에 있어서,
    대상(an object)을 포함하는 이미지의 표시를 수신하는 단계와,
    상기 이미지의 표시를 제공하는 디바이스와 연관된 위치를 나타내는 위치 정보를 수신하는 단계와,
    상기 이미지를 상기 디바이스와 연관된 위치로부터 사전결정된 거리 내에 있는 지리적 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과(candidate search result)들을 식별하기 위해, 상기 위치 정보 및 상기 이미지의 특성에 기초하여 시각적 검색의 수행을 가능하게 하는 단계와,
    상기 식별된 후보 검색 결과들에 응답하여, 특정 관심 지점(point of interest)과 상기 이미지 간의 연관성을 작성한 입력을 사용자로부터 수신하는 단계와,
    상기 입력을 수신하는 것에 응답하여, 상기 연관성에 기초하여 데이터베이스를 업데이트하도록 하는 단계를 포함하는
    시각적 검색을 제공하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 시각적 검색의 수행을 가능하게 하는 단계는 상기 이미지에 대한 매칭 이미지(a matching image)를 로컬 데이터베이스에 질의하는 단계를 포함하되, 상기 매칭 이미지는 상기 대상을 포함하는
    시각적 검색을 제공하는 방법.
  6. 제 5 항에 있어서,
    상기 매칭 이미지가 발견되는 경우,
    상기 매칭 이미지와 연관된 관심 지점을 상기 특정 관심 지점으로서 제공하는 단계와,
    상기 사용자로부터 상기 입력을 수신하는 것에 응답하여, 상기 연관성에 기초하여 원격 데이터베이스를 업데이트하도록 하는 단계를 더 포함하는
    시각적 검색을 제공하는 방법.
  7. 제 5 항에 있어서,
    상기 매칭 이미지가 발견되지 않는 경우,
    복수의 관심 지점을 상기 후보 검색 결과들로서 제공하는 단계를 더 포함하되, 상기 복수의 관심 지점은 상기 디바이스와 연관된 위치에 근접한 관심 지점들에 대한 위치 기반 검색에 기초하여 결정되는
    시각적 검색을 제공하는 방법.
  8. 제 7 항에 있어서,
    상기 데이터베이스를 업데이트하도록 하는 단계는 장래의 시각적 검색에서 사용하기 위해, 상기 입력의 수신에 응답하여 작성된 상기 연관성에 기초하여 원격 데이터베이스를 업데이트하는 단계를 더 포함하는
    시각적 검색을 제공하는 방법.
  9. 제 1 항에 있어서,
    상기 특정 관심 지점과 관련하여 수행될 동작의 선택을 수신하는 단계와, 상기 선택된 동작에 기초하여 외부 애플리케이션이 개시되도록 하는 단계를 더 포함하는
    시각적 검색을 제공하는 방법.
  10. 제 1 항에 있어서,
    상기 디바이스와 연관된 위치에 상응하는 정보의 서브셋을 프리 페칭(pre-fetching)하도록 하는 단계를 더 포함하는
    시각적 검색을 제공하는 방법.
  11. 컴퓨터 판독가능한 프로그램 코드부를 구비하는 컴퓨터 판독가능한 저장 매체에 있어서,
    상기 컴퓨터 판독가능한 프로그램 코드부는,
    장치로 하여금 대상을 포함하는 이미지의 표시를 수신하도록 하는 제 1 실행가능 코드부와,
    장치로 하여금 상기 이미지의 표시를 제공하는 디바이스와 연관된 위치를 나타내는 위치 정보를 수신하도록 하는 제 2 실행가능 코드부와,
    장치로 하여금, 상기 이미지를 상기 디바이스와 연관된 위치로부터 사전결정된 거리 내에 있는 지리적 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과들을 식별하기 위해, 상기 위치 정보 및 상기 이미지의 특성에 기초하여 시각적 검색의 수행을 가능하게 하는 제 3 실행가능 코드부와,
    상기 식별된 후보 검색 결과들에 응답하여, 특정 관심 지점(point of interest)과 상기 이미지 간의 연관성을 작성한 입력을 사용자로부터 수신하도록 하는 제 4 실행가능 코드부와,
    상기 입력을 수신하는 것에 응답하여, 상기 연관성에 기초하여 데이터베이스를 업데이트하도록 하는 제 5 실행가능 코드부를 포함하는
    컴퓨터 판독가능한 저장 매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제 11 항에 있어서,
    상기 제 3 실행가능 코드부는 장치로 하여금 상기 이미지에 대한 매칭 이미지를 로컬 데이터베이스에 질의하도록 하는 명령어를 포함하되, 상기 매칭 이미지는 상기 대상을 포함하는
    컴퓨터 판독가능한 저장 매체.
  16. 제 15 항에 있어서,
    상기 매칭 이미지가 발견되는 경우,
    장치로 하여금 상기 매칭 이미지와 연관된 관심 지점을 상기 특정 관심 지점으로서 제공하도록 하고, 상기 사용자로부터 상기 입력을 수신하는 것에 응답하여. 상기 연관성에 기초하여 원격 데이터베이스를 업데이트하도록 하는 실행가능 코드부를 더 포함하는
    컴퓨터 판독가능한 저장 매체.
  17. 제 15 항에 있어서,
    상기 매칭 이미지가 발견되지 않는 경우,
    장치로 하여금 복수의 관심 지점을 상기 후보 검색 결과들로서 제공하도록 하는 실행가능 코드부를 더 포함하되, 상기 복수의 관심 지점은 상기 디바이스와 연관된 상기 위치에 근접한 관심 지점들에 대한 위치 기반 검색에 기초하여 결정되는
    컴퓨터 판독가능한 저장 매체.
  18. 제 11 항에 있어서,
    장치로 하여금 상기 특정 관심 지점과 관련하여 수행될 동작의 선택을 수신하도록 하고 상기 선택된 동작에 기초하여 외부 애플리케이션이 개시되도록 하는 실행가능 코드부를 더 포함하는
    컴퓨터 판독가능한 저장 매체.
  19. 제 11 항에 있어서,
    장치로 하여금 상기 디바이스와 연관된 상기 위치에 상응하는 정보의 서브셋을 프리-페치하도록 하는 실행가능 코드부를 더 포함하는
    컴퓨터 판독가능한 저장 매체.
  20. 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 시각적 검색을 제공하는 장치에 있어서,
    상기 적어도 하나의 프로세서와 함께 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 장치로 하여금 적어도
    대상을 포함하는 이미지의 표시를 수신하는 단계와,
    상기 이미지의 표시를 제공하는 디바이스와 연관된 위치를 나타내는 위치 정보를 수신하는 단계와,
    상기 이미지를 상기 디바이스와 연관된 위치로부터 사전결정된 거리 내에 있는 지리적 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과들을 식별하기 위해, 상기 위치 정보 및 상기 이미지의 특성에 기초하여 시각적 검색의 수행을 가능하게 하는 단계와,
    상기 식별된 후보 검색 결과들에 응답하여, 특정 관심 지점(point of interest)과 상기 이미지 간의 연관성을 작성한 입력을 사용자로부터 수신하는 단계와,
    상기 입력을 수신하는 것에 응답하여, 상기 연관성에 기초하여 데이터베이스를 업데이트하도록 하는 단계를 수행하게 하도록 구성되는
    장치.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 제 20 항에 있어서,
    상기 적어도 하나의 프로세서와 함께 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 장치로 하여금 상기 이미지에 대한 매칭 이미지를 로컬 데이터베이스에 질의하게 하도록 더 구성되되, 상기 매칭 이미지는 상기 대상을 포함하는
    장치.
  25. 제 24 항에 있어서,
    상기 매칭 이미지가 발견되는 경우,
    상기 적어도 하나의 프로세서와 함께 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 장치로 하여금 상기 매칭 이미지와 연관된 관심 지점을 상기 특정 관심 지점으로서 제공하게 하고, 상기 사용자로부터 상기 입력을 수신하는 것에 응답하여, 상기 연관성에 기초하여 원격 데이터베이스를 업데이트하게 하도록 더 구성되는
    장치.
  26. 제 24 항에 있어서,
    상기 매칭 이미지가 발견되지 않는 경우,
    상기 적어도 하나의 프로세서와 함께 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 장치로 하여금 복수의 관심 지점을 상기 후보 검색 결과들로서 제공하게 하도록 더 구성되며, 상기 복수의 관심 지점은 상기 디바이스와 연관된 위치에 근접한 관심 지점들에 대한 위치 기반 검색에 기초하여 결정되는
    장치.
  27. 제 26 항에 있어서,
    상기 적어도 하나의 프로세서와 함께 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 장치로 하여금 장래의 시각적 검색에서 사용하기 위해, 상기 입력의 수신에 응답하여 작성된 상기 연관성에 기초하여 원격 데이터베이스를 업데이트하도록 더 구성되는
    장치.
  28. 제 20 항에 있어서,
    상기 적어도 하나의 프로세서와 함께 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 장치로 하여금 상기 특정 관심 지점과 관련하여 수행될 동작의 선택을 수신하게 하고, 상기 선택된 동작에 기초하여, 외부 애플리케이션이 개시되도록 더 구성되는
    장치.
  29. 제 20 항에 있어서,
    상기 적어도 하나의 프로세서와 함께 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 장치로 하여금 상기 디바이스와 연관된 위치에 상응하는 정보의 서브셋을 프리-페치하게 하도록 더 구성되는
    장치.
  30. 대상을 포함하는 이미지의 표시를 수신하는 수단과,
    상기 이미지의 표시를 제공하는 디바이스와 연관된 위치를 나타내는 위치 정보를 수신하는 수단과,
    상기 이미지를 상기 디바이스와 연관된 위치로부터 사전결정된 거리 내에 있는 지리적 위치와 연관되어 저장된 소스 이미지와 비교함으로써 후보 검색 결과들을 식별하기 위해, 상기 위치 정보 및 상기 이미지의 특성에 기초하여 시각적 검색의 수행을 가능하게 하는 수단과,
    상기 식별된 후보 검색 결과들에 응답하여, 특정 관심 지점(point of interest)과 상기 이미지 간의 연관성을 작성한 입력을 사용자로부터 수신하는 수단과,
    상기 입력을 수신하는 것에 응답하여, 상기 연관성에 기초하여 데이터베이스를 업데이트하도록 하는 수단을 포함하는
    시각적 검색을 제공하는 장치.
  31. 삭제
  32. 청구항 제 5 항 내지 제 10 항 중 어느 한 항의 방법의 각각의 단계를 수행하는 수단을 포함하는
    시각적 검색을 제공하는 장치.
KR1020107008578A 2007-09-20 2008-08-22 시각적 검색을 제공하는 방법, 장치 및 컴퓨터 판독가능한 저장 매체 KR101249211B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/858,356 2007-09-20
US11/858,356 US20090083237A1 (en) 2007-09-20 2007-09-20 Method, Apparatus and Computer Program Product for Providing a Visual Search Interface
PCT/IB2008/053391 WO2009037605A1 (en) 2007-09-20 2008-08-22 Method, apparatus and computer program product for providing a visual search interface

Publications (2)

Publication Number Publication Date
KR20100068461A KR20100068461A (ko) 2010-06-23
KR101249211B1 true KR101249211B1 (ko) 2013-04-03

Family

ID=39967221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107008578A KR101249211B1 (ko) 2007-09-20 2008-08-22 시각적 검색을 제공하는 방법, 장치 및 컴퓨터 판독가능한 저장 매체

Country Status (5)

Country Link
US (1) US20090083237A1 (ko)
EP (1) EP2191398A1 (ko)
KR (1) KR101249211B1 (ko)
CN (1) CN101802824A (ko)
WO (1) WO2009037605A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060112B2 (en) * 2003-11-20 2011-11-15 Intellient Spatial Technologies, Inc. Mobile device and geographic information system background and summary of the related art
US8972177B2 (en) * 2008-02-26 2015-03-03 Microsoft Technology Licensing, Llc System for logging life experiences using geographic cues
US8015144B2 (en) 2008-02-26 2011-09-06 Microsoft Corporation Learning transportation modes from raw GPS data
US8966121B2 (en) 2008-03-03 2015-02-24 Microsoft Corporation Client-side management of domain name information
US20090287655A1 (en) * 2008-05-13 2009-11-19 Bennett James D Image search engine employing user suitability feedback
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US9063226B2 (en) 2009-01-14 2015-06-23 Microsoft Technology Licensing, Llc Detecting spatial outliers in a location entity dataset
US20100235356A1 (en) * 2009-03-10 2010-09-16 Microsoft Corporation Organization of spatial sensor data
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US9009177B2 (en) 2009-09-25 2015-04-14 Microsoft Corporation Recommending points of interests in a region
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US8612134B2 (en) 2010-02-23 2013-12-17 Microsoft Corporation Mining correlation between locations using location history
US9261376B2 (en) * 2010-02-24 2016-02-16 Microsoft Technology Licensing, Llc Route computation based on route-oriented vehicle trajectories
US10288433B2 (en) * 2010-02-25 2019-05-14 Microsoft Technology Licensing, Llc Map-matching for low-sampling-rate GPS trajectories
KR101116434B1 (ko) 2010-04-14 2012-03-07 엔에이치엔(주) 이미지를 이용한 쿼리 제공 방법 및 시스템
US8719198B2 (en) 2010-05-04 2014-05-06 Microsoft Corporation Collaborative location and activity recommendations
US9593957B2 (en) 2010-06-04 2017-03-14 Microsoft Technology Licensing, Llc Searching similar trajectories by locations
US8639034B2 (en) 2010-11-19 2014-01-28 Ricoh Co., Ltd. Multimedia information retrieval system with progressive feature selection and submission
US8971641B2 (en) * 2010-12-16 2015-03-03 Microsoft Technology Licensing, Llc Spatial image index and associated updating functionality
US20140222783A1 (en) * 2011-04-21 2014-08-07 The Trustees Of Columbia University In The City Of New York Systems and methods for automatically determining an improved view for a visual query in a mobile search
CN102323926B (zh) * 2011-06-15 2014-09-10 百度在线网络技术（北京）有限公司 一种用于获取与请求对象相关的对象信息的设备和方法
CN102830958B (zh) * 2011-06-16 2017-11-24 奇智软件（北京）有限公司 一种获取界面控件信息的方法及系统
US8938257B2 (en) 2011-08-19 2015-01-20 Qualcomm, Incorporated Logo detection for indoor positioning
US20130212094A1 (en) * 2011-08-19 2013-08-15 Qualcomm Incorporated Visual signatures for indoor positioning
US9754226B2 (en) 2011-12-13 2017-09-05 Microsoft Technology Licensing, Llc Urban computing of route-oriented vehicles
US20130166188A1 (en) 2011-12-21 2013-06-27 Microsoft Corporation Determine Spatiotemporal Causal Interactions In Data
US9489384B2 (en) 2011-12-26 2016-11-08 Empire Technology Development Llc Content providing techniques
CN103389849B (zh) * 2012-05-07 2018-10-16 腾讯科技（北京）有限公司 一种基于移动终端的图像展示方法、系统和移动终端
US9264500B2 (en) * 2012-06-12 2016-02-16 Qualcomm Incorporated Method and apparatus for optimized object searching
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9208548B1 (en) * 2013-05-06 2015-12-08 Amazon Technologies, Inc. Automatic image enhancement
CN104426841A (zh) * 2013-08-21 2015-03-18 阿里巴巴集团控股有限公司 设置背景图像的方法及相关的服务器和系统
CN103530649A (zh) * 2013-10-16 2014-01-22 北京理工大学 一种适用于移动终端的视觉搜索方法
CN105095341A (zh) * 2014-05-23 2015-11-25 三星电子株式会社 搜索方法和设备
US11314826B2 (en) 2014-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method for searching and device thereof
CN104794171B (zh) * 2015-03-31 2018-06-05 百度在线网络技术（北京）有限公司 标记图片地理位置信息的方法及装置
CN105095342A (zh) * 2015-05-26 2015-11-25 努比亚技术有限公司 一种搜索音乐的方法、设备和系统
CN105095398B (zh) * 2015-07-03 2018-10-19 北京奇虎科技有限公司 一种信息提供方法和装置
US20170161303A1 (en) * 2015-12-03 2017-06-08 Industrial Technology Research Institute Information querying method based on user location, device to device relay gateway system and controller
US10929461B2 (en) * 2016-07-25 2021-02-23 Evernote Corporation Automatic detection and transfer of relevant image data to content collections
US10565255B2 (en) * 2016-08-24 2020-02-18 Baidu Usa Llc Method and system for selecting images based on user contextual information in response to search queries
US10374993B2 (en) * 2017-02-20 2019-08-06 Snap Inc. Media item attachment system
CN108491126A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种资源选择方法及移动终端
CN111289009A (zh) * 2018-12-10 2020-06-16 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其车机设备兴趣点输入搜索方法
GB2602452A (en) * 2020-12-18 2022-07-06 Supra Uk Ltd Instigating communication
CN113901257B (zh) * 2021-10-28 2023-10-27 北京百度网讯科技有限公司 地图信息的处理方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208372A1 (en) * 2001-11-05 2004-10-21 Boncyk Wayne C. Image capture and identification system and process
US20050162523A1 (en) * 2004-01-22 2005-07-28 Darrell Trevor J. Photo-based mobile deixis system and related techniques

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833865B1 (en) * 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
US6782395B2 (en) * 1999-12-03 2004-08-24 Canon Kabushiki Kaisha Method and devices for indexing and seeking digital images taking into account the definition of regions of interest
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7236632B2 (en) * 2003-04-11 2007-06-26 Ricoh Company, Ltd. Automated techniques for comparing contents of images
WO2005114476A1 (en) * 2004-05-13 2005-12-01 Nevengineering, Inc. Mobile image-based information retrieval system
US7840586B2 (en) * 2004-06-30 2010-11-23 Nokia Corporation Searching and naming items based on metadata
US20060080286A1 (en) * 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
US20070118509A1 (en) * 2005-11-18 2007-05-24 Flashpoint Technology, Inc. Collaborative service for suggesting media keywords based on location data
US20070244925A1 (en) * 2006-04-12 2007-10-18 Jean-Francois Albouze Intelligent image searching
US20080147730A1 (en) * 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208372A1 (en) * 2001-11-05 2004-10-21 Boncyk Wayne C. Image capture and identification system and process
US20050162523A1 (en) * 2004-01-22 2005-07-28 Darrell Trevor J. Photo-based mobile deixis system and related techniques

Also Published As

Publication number Publication date
US20090083237A1 (en) 2009-03-26
WO2009037605A1 (en) 2009-03-26
KR20100068461A (ko) 2010-06-23
EP2191398A1 (en) 2010-06-02
CN101802824A (zh) 2010-08-11

Similar Documents

Publication Publication Date Title
KR101249211B1 (ko) 시각적 검색을 제공하는 방법, 장치 및 컴퓨터 판독가능한 저장 매체
US8775452B2 (en) Method, apparatus and computer program product for providing standard real world to virtual world links
KR20100068468A (ko) 그리드 기반 피처 구조를 이용한 비주얼 서치 수행의 방법, 장치 및 컴퓨터 프로그램 제품
US20120027301A1 (en) Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
JP5116772B2 (ja) 適応データベース
US20080071749A1 (en) Method, Apparatus and Computer Program Product for a Tag-Based Visual Search User Interface
US20150331711A1 (en) Systems and methods for context-aware application control
US20080270378A1 (en) Method, Apparatus and Computer Program Product for Determining Relevance and/or Ambiguity in a Search System
US20080071770A1 (en) Method, Apparatus and Computer Program Product for Viewing a Virtual Database Using Portable Devices
US20090094289A1 (en) Method, apparatus and computer program product for multiple buffering for search application
US20080267521A1 (en) Motion and image quality monitor
US20100114854A1 (en) Map-based websites searching method and apparatus therefor
US20080104099A1 (en) Use of information correlation for relevant information
JP2015106347A (ja) レコメンド装置およびレコメンド方法
US20130304370A1 (en) Method and apparatus to provide location information
CN108306812B (zh) 一种数据处理方法以及服务器
KR20110136084A (ko) 휴대용 단말기에서 컨텐츠를 검색하기 위한 장치 및 방법
US9170123B2 (en) Method and apparatus for generating information
KR20130052970A (ko) 영상인식 기술을 이용한 지도 서비스 제공 장치 및 방법
KR20080034359A (ko) 정보 검색 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee