KR20090054471A - 태그 기반의 시각적인 검색 사용자 인터페이스용의 방법, 장치 및 컴퓨터 프로그램 제품 - Google Patents

Abstract

태그 기반의 시각적인 검색 사용자 인터페이스를 제공하기 위한 장치가 프로세싱 엘리먼트를 구비한다. 그 프로세싱 엘리먼트는 사용자가 원하는 정보의 표시를 수신하고, 상기 표시를 기반으로 하여 수집된 데이터를 수신하고 [상기 수집된 데이터는 태그와 연관된 부분을 포함함] 그리고 상기 태그를 상응하는 태그 데이터로 교체하도록 구성될 수 있다.

Description

태그 기반의 시각적인 검색 사용자 인터페이스용의 방법, 장치 및 컴퓨터 프로그램 제품{Method, apparatus and computer program product for a tag-based visual search user interface}

본 발명의 실시예들은 일반적으로는 시각적인 검색 기술에 관련되며, 더 상세하게는, 태그 기반의 시각적인 검색 사용자 인터페이스를 위한 방법, 기기, 모바일 단말 및 컴퓨터 프로그램 제품에 관한 것이다.

현재의 통신 시대에 유선 및 무선 네트워크는 엄청나게 확장되었다. 컴퓨터 네트워크, 텔레비전 네트워크 및 전화통신 네트워크는, 소비자의 요구에 의해 연료를 보급받아, 정보 전송에 유연성과 즉시성을 더 제공하면서, 전례가 없는 기술적인 확장을 경험하고 있다.

현재의 그리고 미래의 네트워킹 기술들은 사용자에게 정보 전송 및 편의를 제공하는 것을 계속 용이하도록 한다. 사용자에게 정보 전송 및 편의를 제공하는 것을 용이하게 하는 것을 증가시키기 위한 요청은 모바일 단말과 같은 전자 기기들의 사용자에게 다양한 애플리케이션이나 소프트웨어를 제공하는 것과 연관된다. 그런 애플리케이션들이나 소프트웨어는 로컬 컴퓨터, 네트워크 서버 또는 다른 네트워크 기기로부터 실행될 수 있을 것이며, 또는 예를 들면 모바일 전화기, 모바일 텔레비전, 모바일 게임 시스템, 비디오 레코더, 카메라 등으로부터 실행될 수 있을 것이며, 심지어는 상기의 모바일 단말과 네트워크 기기가 결합된 것으로부터 실행될 수도 있을 것이다. 이런 점에서, 고정된 환경 또는 이동하는 환경의 어느 하나에서 사용자에게 태스크, 통신, 오락, 정보 취합 및/또는 분석 등을 수행할 수 있는 강건한 능력을 부여하기 위해 다양한 애플리케이션들과 소프트웨어가 개발되어 왔고 또 계속 개발되고 있다.

카메라를 구비한 모바일 전화기들이 광범위하게 사용되면서, 모바일 전화기 사용자들에게 카메라 애플리케이션들이 널리 보급되고 있다. 이미지 매칭 (인식)을 기반으로 하는 모바일 애플리케이션들은 최근에 출현하고 있고 이런 출현의 일 예가 모바일 시각 검색 시스템이다. 현재, 다양한 영역과 애플리케이션을 구비한 모바일 시각 검색 시스템들이 존재한다. 그러나, 모바일 정보와 데이터 서비스들을 채택하는 것이 증가되는 것에 대한 하나의 장애는 그런 애플리케이션들을 실행할 수 있는 모바일 기기들의 사용자 인터페이스 (UI)와의 경쟁들을 포함한다. 모바일 기기들은 상기 사용자 인터페이스에 의해 부과된 제한들 때문에 때로는 정보 수집 (retrieval)에 대해서 자신의 유용함을 이용할 수 없거나 아무리 잘해도 정보 수집에 제한이 있다.

모바일 기기들이, 예를 들면, 숫자 키패드를 이용하여 텍스트를 타이핑하게 하는 자동화된 사전, 애플리케이션들을 구동하기 위한 음성 인식, 정보를 링크하기 위해 코드들을 스캐닝, 접을 수 있으며 휴대 가능한 키패드, 필기한 것을 디지털화하는 무선 펜, 가상 키보드를 투영하는 미니-프로젝터, 근접 기반의 정보 태그 및 전통적인 검색 엔진 등을 포함하는 것을 더 쉽게 하도록 구현하는 많은 접근 방법들이 있어 왔다. 이런 각각의 접근 방법들은 긴 텍스트나 사전에 저장되어 있지 않은 단어들을 타이핑하기 위해 늘어난 시간, 외부 잡음이나 여러 대화들로 인한 음성 인식 시스템에서의 부정확, 코드를 구비하면서 코드 태그들에 일정한 근접한 범위 내의 객체들만을 인식할 수 있는 제한된 유연성, (휴대용 키보드를) 운반하기 위해 추가 장비, 필적 식별을 위한 기기 트레이닝, 배터리 수명의 감소 등과 같은 단점들을 가진다.

모바일 단말들과 같은 기기들에서의 카메라의 유비쿼티스 속성이 주어졌으므로, 정보와 데이터 서비스들에 액세스하는 것을 가능하게 하게 하는 사용자 친화적인 사용자 인터페이스 (UI)를 제공하는 시각적인 검색 시스템을 개발하려고 할 수 있을 것이다.

본 발명의 예시적인 실시예들의 시스템, 방법, 기기 및 컴퓨터 프로그램 제품은 검색 기술 (예를 들면, 모바일 검색 기술)의 설계에 관련되며, 더 상세하게는, 태그-기반 (tag-based)의 시각 검색 사용자 인터페이스와 디스플레이에 관련된다. 본 발명의 실시예들의 태그 기반의 사용자 인터페이스는 필요한 클릭의 수를 줄어들도록 하며 필요한 (보충적인) 정보를 모바일 기기 상에 즉각적으로 디스플레이하는 메커니즘을 제공한다.

예시적인 일 실시예에서, 개선된 태그-기반의 사용자 인터페이스와 정보 수집을 제공하는 방법이 제공된다. 상기 방법은, 사용자가 원하는 정보의 표시를 수신하고, 상기 표시를 기반으로 하여 수집된 데이터를 수신하고 [상기 수집된 데이터는 태그와 연관된 부분을 포함함], 그리고 상기 태그를 상응하는 태그 데이터로 교체하는 것을 포함한다.

다른 예시적인 실시예에서, 태그-기반의 시각 검색 사용자 인터페이스를 제공하기 위한 컴퓨터 프로그램 제품이 제공된다. 상기 컴퓨터 프로그램 제품은 컴퓨터-독출가능 프로그램 코드부들을 구비한 적어도 하나의 컴퓨터-독출가능 저장 매체를 포함한다. 상기 컴퓨터-독출가능 프로그램 코드부들은 제1, 제2 및 제3 실행가능부를 포함한다. 상기 제1 실행가능부는 사용자가 원하는 정보의 표시를 수신한다. 제2 실행가능부 상기 표시를 기반으로 하여 수집된 데이터를 수신한다. 상기 수집된 데이터는 태그와 연관된 부분을 포함한다. 상기 제3 실행가능부는 상기 태그를 상응하는 태그 데이터로 교체한다.

다른 실시예에서, 태그-기반의 시각 검색 사용자 인터페이스를 제공하기 위한 장치가 제공된다. 상기 장치는 프로세싱 엘리먼트를 포함할 수 있을 것이다. 상기 프로세싱 엘리먼트는 사용자가 원하는 정보의 표시를 수신하고, 상기 표시를 기반으로 하여 수집된 데이터를 수신하고 [상기 수집된 데이터는 태그와 연관된 부분을 포함함] 그리고 상기 태그를 상응하는 태그 데이터로 교체하도록 구성될 수 있을 것이다.

다른 실시예에서, 태그-기반의 시각 검색 사용자 인터페이스를 제공하기 위한 장치가 제공된다. 상기 장치는 사용자가 원하는 정보의 표시를 수신하는 수단, 상기 표시를 기반으로 하여 수집된 데이터를 수신하는 수단으로서, 상기 수집된 데이터는 태그와 연관된 부분을 포함하는, 수단 및 상기 태그를 상응하는 태그 데이터로 교체하는 수단을 포함한다.

일반적인 용어들로 본 발명이 설명되었으며, 첨부된 도면들을 참조할 것이며, 그 도면들은 항상 크기를 맞추어서 도시된 것은 아니다.

도 1은 본 발명의 예시적인 일 실시예에 따른 모바일 단말의 개략적인 블록도이다.

도 2는 본 발명의 예시적인 일 실시예에 따른 무선 통신 시스템의 개략적인 블록도이다.

도 3은 본 발명의 일 실시예의 개략적인 블록도이다.

도 4는 본 발명의 서버와 클라이언트의 개략적인 블록도이다.

도 5는 본 발명의 일 실시예에 따른 태그-기반의 시각 검색 사용자 인터페이스를 제공하기 위한 동작의 방법에 대한 흐름도이다.

본 발명의 실시예들은 첨부된 도면들을 참조하여 이하에서 더 충분하게 설명될 것이지만, 본 발명의 모든 실시예들이 다 보여지는 것은 아니다. 실제, 본 발명은 많은 서로 다른 모습들로 구체화될 수 있을 것이며 여기에서 제시된 실시예들로 제한되는 것으로 해석되어서는 안되며, 오히려, 이 실시예들은 개시된 내용이 적절한 법적 요구 사항을 만족시키도록 제공된다. 유사한 참조번호들은 유사한 엘리먼트들을 본 문서 내내 언급하게 된다.

본 발명으로부터 이득을 얻을 수 있을 모바일 단말 (기기) (10)의 블록도를 도시하는 도 1을 이제 참조한다. 그러나 도시된 것과 같은 모바일 단말 그리고 이후에 설명되는 모바일 단말은 본 발명의 실시예로부터 이득을 얻을 모바일 단말의 한 유형에 대한 예시일 뿐이며, 그러므로, 본 발명의 실시예들의 범위를 제한하는 것으로 받아들여져서는 안 된다는 것을 이해해야 한다. 모바일 단말 (10)의 여러 실시예들이 예시의 목적으로 도시되었고 이후에 설명될 것이지만, 휴대용 디지털 보조기 (PDA), 페이저, 모바일 텔레비전, 랩톱 컴퓨터 및 다른 유형의 음성 및 텍스트 통신 시스템과 같은 다른 유형의 모바일 단말들은 본 발명의 실시예들을 쉽게 채택할 수 있다. 더 나아가, 이동하는 (mobile) 기기들 역시 본 발명의 실시예들을 쉽게 채택할 수 있다.

추가로, 본 발명의 방법의 몇몇 실시예가 모바일 단말 (10)에 의해 실행되거나 사용될 수 있지만, 상기 방법은 모바일 단말 이외의 것에 의해 채택될 수 있을 것이다. 또한, 본 발명의 시스템과 방법은 주로 모바일 통신 애플리케이션들과 결합되어 설명될 것이다. 그러나, 본 발명의 시스템과 방법은 모바일 통신 산업과 모바일 통신 산업 외의 모두에서 다양한 다른 애플리케이션과 결합되어 이용될 수 있다는 것이 이해되어야 한다.

모바일 단말 (10)은 전송기 (14) 및 수신기 (16)와 통신할 수 있는 안테나 (12)를 포함한다. 상기 모바일 단말 (10)은 상기 전송기 (14) 및 수신기 (16)에게 각각 신호들을 공급하고 신호들을 수신하는 제어기 (20) 또는 다른 프로세싱 엘리먼트와 같은 장치를 또한 포함한다. 상기 신호들은 셀룰러 시스템에 적용 가능한 공중 인터페이스 표준에 따른 시그날링 정보 그리고 사용자 음성 및/또는 사용자 생성 데이터를 포함한다. 이런 점에서, 상기 모바일 단말 (10)은 하나 또는 그 이상의 공중 인터페이스 표준, 통신 프로토콜, 변조 유형 및 액세스 유형을 구비하여 동작할 수 있다. 실례로서, 상기 모바일 단말 (10)은 제1, 제2 및/또는 제3 세대 통신 프로토콜 등의 어떤 세대에 따라서도 동작할 수 있다. 예를 들면, 상기 모바일 단말 (10)은 IS-136 (TDMA), GSM 및 IS-95 (CDMA)를 포함하는 제2세대 (second-generation (2G)) 무선 통신 프로토콜, 광대역 부호 분할 다중 액세스 (Wideband Code Division Multiple Access (WCDMA)), 블루투스 (BT), IEEE 802.11, IEEE 802.15/16을 포함하는 제3세대 (3G) 무선 통신 프로토콜 및 초광대역 (ultra wideband (UWB)) 기술에 따라서 동작할 수 있을 것이다. 상기 모바일 단말은 TACS 만이 아니라 AMPS를 포함하는 협대역 네트워크에서도 동작할 수 있을 것이다.

제어기 (20)와 같은 상기 장치는 모바일 단말 (10)의 오디오 및 논리 기능들을 구현하기 위해 필요한 회로를 포함한다고 이해된다. 예를 들면, 상기 제어기 (20)는 디지털 신호 프로세서 기기, 마이크로프로세서 기기 및 다양한 아날로그-디지털 변환기들, 디지털-아날로그 변환기 및 다른 지원 회로들로 구성될 수 있을 것이다. 상기 모바일 단말 (10)의 제어 및 신호 프로세싱 기능들은 자신들 각각의 기능에 따라서 이 기기들 사이에 배치된다. 그러므로 상기 제어기 (20)는 변조 및 전송 이전에 메시지와 데이터를 컨벌루션하게 (convolutionally) 부호화하고 인터리브하기 위한 기능을 또한 포함할 수 있을 것이다. 상기 제어기 (20)는 내부 음성 코더를 추가로 포함할 수 있으며, 내부 데이터 모뎀을 포함할 수 있을 것이다. 더 나아가, 상기 제어기 (20)는 메모리에 저장될 수 있는 하나 또는 그 이상의 소프트웨어 프로그램들을 동작시키는 기능을 포함할 수 있을 것이다. 예를 들면, 상기 제어기 (20)는 전통적인 웹 브라우저와 같은 접속 프로그램을 동작시킬 수 있을 것이다. 그러면 상기 접속 프로그램은 상기 모바일 단말 (10)이, 예를 들면, 무선 애플리케이션 프로토콜 (Wireless Application Protocol (WAP))에 따라서, 위치 기반 콘텐트와 같은 웹 콘텐트를 전송하고 수신하도록 할 수 있을 것이다.

또한 상기 모바일 단말 (10)은, 모두가 상기 제어기 (20)에 연결되는, 전통적인 이어폰 또는 스피커 (24), 링거 (22), 마이크 (26), 디스플레이 (28) 및 사용자 입력 인터페이스와 같은 출력 기기를 구비하는 사용자 인터페이스를 포함한다. 상기 모바일 단말 (10)이 데이터를 수신하도록 하는, 상기 사용자 입력 인터페이스는 상기 모바일 단말 (10)이 데이터를 수신하도록 하는, 키패드 (30), 터치 디스플레이 (도시되지 않음) 또는 다른 입력 기기와 같은 몇몇의 기기들의 어떤 것도 포함할 수 있을 것이다. 키패드 (30)를 구비한 실시예들에서, 상기 키패드 (30)는 전통적인 숫자 (0-9) 및 관련된 키 (#, *) 그리고 상기 모바일 단말 (10)을 동작시키는데 사용되는 다른 키들을 포함할 수 있을 것이다. 대안으로, 상기 키패드 (30)는 전통적인 QWERT 키패드를 포함할 수 있을 것이다. 상기 모바일 단말 (10)은 탐지 가능한 출력으로서 기계적인 진동을 선택적으로 제공하는 것은 물론이며 상기 모바일 단말 (10)을 동작시키기 위해 필요한 여러 회로들에 전력을 공급하기 위해서 진동 배터리 팩과 같은 배터리 (34)를 또한 포함한다.

예시적인 일 실시예에서, 모바일 단말 (10)은 상기 제어기 (20)와 통신하는 카메라 모듈 (36)을 포함한다. 상기 카메라 모듈 (36)은 저장, 디스플레이 또는 전송하기 위해 이미지 또는 비디오 클립 또는 비디오 스트림을 캡쳐하기 위한 기기 또는 회로와 같은 어떤 수단일 수 있을 것이다. 예를 들면, 상기 카메라 모듈 (36)은 시야 (view) 내의 대상물 (object)로부터의 디지털 이미지 파일, 캡쳐된 이미지 또는 녹화된 비디오 데이터로부터의 비디오 스트림을 형성할 수 있다. 상기 카메라 모듈 (36)은 이미지를 캡쳐할 수 있을 것이며 다른 코드 기반의 데이터, OCR 데이터 등을 물론이고 바코드를 읽거나 탐지할 수 있을 것이다. 그와 같이, 상기 카메라 모듈 (36)은 렌즈, 센서, 스캐너 또는 다른 광학적인 기기와 같은 하드웨어, 그리고 코드-기반의 데이터, OCR 데이터 등을 읽는 것은 물론이며, 캡쳐된 이미지로부터 디지털 이미지 파일을 생성하거나 녹화된 비디오 데이터로부터 비디오 스트림을 생성하기 위해 필요한 소프트웨어를 모두 포함한다. 대안으로, 상기 모바일 단말 (10)의 메모리 기기들 (40, 42)이 상기 제어기 (20)에 의해 실행될 명령어를 캡쳐된 이미지로부터 디지털 이미지 파일을 생성하거나 또는 녹화된 비디오 데이터로부터 비디오 스트림을 생성하기 위해 필요한 소프트웨어의 모습으로 저장하는데 비해, 상기 카메라 모듈 (36)은 이미지 또는 비디오 스트림을 보기 위해 필요한 하드웨어만을 포함할 수 있을 것이다. 예시적인 일 실시예에서, 카메라 모듈 (36)은 OCR 데이터는 물론이며 이미지 데이터, 비디오 스트림 또는 코드 기반의 데이터를 처리하는데 있어서 상기 제어기 (20)를 지원하는 보조-프로세서와 같은 프로세싱 엘리먼트 그리고 이미지 데이터, 비디오 스트림, 코드 기반의 데이터, OCR 데이터 등을 압축하고 그리고/또는 압축 해제하는 인코더 및/또는 디코더를 더 포함할 수 있을 것이다. 상기 인코더 및/또는 디코더는 JPEG 표준 포맷에 따라 인코드 및/또는 디코드할 수 있을 것이다. 추가로 또는 대안으로, 상기 카메라 모듈 (36)은, 예를 들면, 첫 번째 사람 카메라 시야와 세 번째 사람 지도 시야와 같은 하나 또는 그 이상의 시야들을 포함할 수 있을 것이다.

모바일 단말 (10)은 상기 제어기 (20)와 통신하는 GPS 모듈 (70)을 더 포함할 수 있을 것이다. 상기 GPS 모듈 (70)은 모바일 단말 (10)의 위치를 찾아내기 위한 어떤 수단, 기기 또는 회로를 포함할 수 있을 것이다. 추가로, GPS 모듈 (70)은 카메라 모듈 (36)에 의해 캡쳐되거나 읽혀진, 예를 들면, 상점, 서점, 레스토랑, 커피숍, 백화점, 제품, 사업장, 박물관, 역사적인 이정표 등 그리고 바코드 (또는 다른 적절한 코드 기반의 데이터)를 구비한 대상물 (기기)과 같은 것의 이미지 내에서의 관심 지점 (point-of-interests (POIs))의 위치를 결정하기 위한 어떤 수단, 기기 또는 회로일 수 있을 것이다. 여기에서 사용되는 관심 지점은 사용자에게 관심을 주는 제품, 다른 대상물 등과 같은 어떤 엔티티 (entitiy) 그리고 상기에서 설명된 것과 같은 지리적인 위치들을 포함할 수 있을 것이다. 상기 GPS 모듈 (70)은 모바일 단말의 위치와 이미지 내의 POI를 결정하기 위한 모든 하드웨어를 포함할 수 있을 것이다. 대안으로 또는 추가적으로, 상기 GPS 모듈 (70)은 상기 제어기 (20)에 의해 실행하기 위한 명령어들을 모바일 단말이나 POI의 어떤 이미지의 위치를 결정하기 위해 필요한 소프트웨어의 모습으로 저장하기 위해 모바일 단말 (10)의 메모리 기기(들) (40, 42)을 이용할 수 있을 것이다. 추가적으로, 상기 GPS 모듈 (70)은 모바일 단말 (10)의 위치, 하나 또는 그 이상의 POI들의 위치 및 OCR 데 이터 태그들은 물론이며 하나 또는 그 이상의 코드 기반의 태그들의 위치와 같은 위치 정보를 전송기 (14)/수신기 (16)를 통해서, 도 2에서 개시되며 이하에서 더 상세하게 설명되는, 시각적인 검색 서버 (54) 및 시각적인 검색 데이터베이스 (51)와 같은 서버로 전송/수신하기 위해 상기 제어기 (20)를 이용할 수 있다.

또한 모바일 단말은 검색 모듈 (68)을 포함할 수 있을 것이다. 상기 검색 모듈은, 모바일 단말 (10)의 카메라 모듈이 (제로-클릭 (zero-click)) 관심 지점들, 코드 기반의 데이터, OSC 데이터 등을 가리키고 있을 때에 또는 POI들, 코드 기반의 데이터 및 OCR 데이터 등이 상기 카메라 모듈 (36)의 시야 내에 있을 때에 또는 POI들, 코드 기반의 데이터 및 OCR 데이터 등이 상기 카메라 모듈에 의해 이미지 내에서 캡쳐될 때에, POI, 코드 기반 데이터 및 OSC 데이터 등 (예를 들면, 사용자에게 관심을 끄는 어떤 물리적인 엔티티)과 연관된 데이터를 수신할 수 있는 제어기 (20)에 의해 (또는 상기 검색 모듈 내부의 보조-프로세서 (도시되지 않음)에 의해) 실행되거나 구체화되는 하드웨어 및/또는 소프트웨어의 어떤 수단도 포함할 수 있을 것이다. 예시적인 일 실시예에서, 캡쳐된 이미지이거나 또는 상기 카메라 모듈 (36)의 시야 범위 내에 있는 대상물일 뿐일 수 있는 이미지를 표시하는 것은 그 내부에 있는 대상물을 식별하기 위해 상기 이미지의 표시의 콘텐츠 상에서의 시각적인 검색을 실행하기 위한 상기 검색 모듈 (68)에 의해 분석될 수 있을 것이다. 이런 점에서, 상기 이미지 인식을 시도하기 위해, 상기 이미지 (또는 상기 대상물)의 특징들은 (예를 들면, 시각적인 검색 서버 (54) 및/또는 시각적인 검색 데이터베이스 (51)로부터의) 소스 이미지들과 비교될 수 있을 것이다. 그러면 그 이미지 와 연관된 태그들이 결정될 수 있을 것이다. 그 태그들은 상기 대상물 (예를 들면, 위치, 시간, POI의 신원 (identification), 로고, 개인 (individual) 등)과 연관된 콘텍스트 메타데이터 (context metadata) 또는 다른 유형의 메타데이터 정보를 포함할 수 있을 것이다. 상기 태그들을 이용할 수 있는 (그리고/또는 태그들 또는 태그들을 목록을 생성할 수 있는) 그런 시각적인 검색 시스템을 채택하는 하나의 애플리케이션은 미국 출원번호 11/592,460인 "Scalable Visual Search System Simplifying Access to Network and Device Functionality" 제목의 출원에서 설명되어 있으며, 상기 출원의 내용들은 그 전체가 본원에 참조로 편입된다.

상기 검색 모듈 (68)은 상기 대상물과 연관된 하나 또는 그 이상의 태그들을 포함하는 태그 목록을 (예를 들면, 상기 제어기 (20)를 경유하여) 생성하도록 또한 구성될 수 있을 것이다. 그러면 상기 태그들은 (예를 들면, 디스플레이 (28)를 경유하여) 사용자에게 제시될 수 있을 것이며, 상기 이미지 내의 상기 대상물과 연관하여 상기 사용자가 선택한 키워드 (예를 들면, 태그들 중의 하나)가 상기 사용자로부터 수신될 수 있을 것이다. 상기 사용자는 "클릭"할 수 있을 것이며, 그렇지 않을 경우, 예를 들면 그 사용자가 그 키워드에 관련된 더 상세한 (보충의) 정보를 원한다면, 그 사용자는 그 키워드를 선택할 수 있을 것이다. 그와 같이, 상기 키워드 (태그)는 그 대상물의 신원이나 그 대상물에 관련된 논제 (topic)를 나타낼 수 있을 것이며, 본 발명의 실시예들에 따라서 상기 키워드 (태그)를 선택하는 것은 그 사용자에게 원하는 정보와 관련된, 전통적인 웹 링크, 전화 번호 또는 특정 애플리케이션일 수 있는, 하나의 링크 또는 링크들과 같은 보충적인 정보를 제공할 수 있을 것이며, 제목 또는 다른 설명적인 명칭으로 이끌 수 있을 것이다. 더 나아가, 보충적인 정보는 배너를 또한 포함할 수 있을 것이며, 그 경우 배너는 스스로 존재하는, 즉, 링크와 연관되지 않는 실제적인 정보이다. 그 배너는 정적이거나 또는 이동할 수 있을 것이다. 링크들, 제목, 실제적인 정보 및 배너들 그리고 그것들의 임의의 조합은 보충적인 정보 또는 데이터를 언급하는 것이라는 것을 이해하여야 한다. 그러나, 상기에서 설명된 것과 같은 데이터 또는 보충적인 정보는 본 발명으로부터 이점을 얻기에 필요한 유형의 정보의 몇몇 예들을 예시한 것일 뿐이며, 그러므로, 본 발명의 범위를 제한하는 것으로 여겨져서는 안된다.

예를 들면, 사용자는 사진의 카메라 폰의 카메라 모듈로 POI를 가리킬 수 있을 것이며, 그러면 그 이미지 (또는 그 이미지 내의 대상물)와 연관된 키워드들을 목록화한 것이 자동적으로 나타날 수 있을 것이다. 이런 면에서, 자동적으로라는 용어는 키워드들을 목록화 한 것이 생성되거나 디스플레이 되도록 하기 위해 어떤 사용자 상호 작용 (interaction)도 필요하지 않다는 것이 이해되어야 한다. 더 나아가, 상기 이미지 (또는 이미지 특징들)를 하나 또는 그 이상의 소스 이미지들과 비교한 것을 기반으로 하여 상기 이미지 또는 대상물 자체의 특징들을 인식하고, 그 인식한 것에 기초하여 상기 이미지 (또는 그 이미지 내의 대상물)와 연관된 태그들을 결정하고, 그 결정에 반응하여 키워드들의 목록이 생성될 수 있을 것이다. 일단 키워드들을 목록화한 것이 디스플레이되고, 사용자가 상기 POI에 대한 더 상세한 정보를 원하면, 상기 사용자는 단일 클릭을 하거나 또는 키워드들 중의 하나를 선택할 수 있을 것이며, 그러면 상기 선택된 키워드에 대응하는 보충적인 정보 가 사용자에게 제시될 수 있을 것이다. 상기 검색 모듈은, 상기 모바일 단말 (10)의 사용자로의, 상응하는 관련 정보의, 예를 들면, 디스플레이 (28)를 통한 시각적인 디스플레이 또는, 예를 들면, 스피커 (24)를 통한 청각적인 표현을 위해서 필요한 사용자 인터페이스와 메커니즘만이 아니라 카메라 모듈 이미지 입력, 이미지 모션을 추적하거나 감지하고, 상기 POI들, 코드 기반의 데이터 및 OCR 데이터 등과 연관된 관련된 정보를 획득하기 위해 상기 검색 서버와 통신하는 것과 같은 카메라 모듈들의 기능들을 제어하는 것을 담당한다. 예시적인 대안의 실시예에서, 상기 검색 모듈 (68)은 상기 카메라 모듈 (36)의 내부에 있을 수 있다.

또한 상기 검색 모듈 (68)은 상기 모바일 단말 (10)의 사용자가 각 POI, 코드 기반의 데이터 및/또는 OCR 데이터 등에 관련된 여러 동작들의 목록에서 (예를 들면 메뉴 또는 서브 메뉴에서) 하나 또는 그 이상의 동작들을 선택하는 것을 가능하게 할 수 있을 것이다. 예를 들면, 상기 동작들 중의 하나는 지리적인 영역 내에서 다른 유사한 POI들 (즉, 보충적인 정보)을 검색하는 것을 포함할 수 있을 것이지만 그것으로 제한되지는 않는다. 예를 들면, 사용자가 상기 카메라 모듈로 역사적인 이정표나 박물관을 가리키면, 상기 모바일 단말은 그 이정표나 박물관에 관련된 후보들 (보충적인 정보), 예를 들면, 그 지리적인 영역 내의 다른 박물관들, 유사한 주제물을 구비한 다른 박물관들, 그 POI를 상세하게 싣고 있는 책, 그 이정표에 대한 백과사전 항목 등의 목록이나 메뉴를 표시할 수 있을 것이다. 다른 예로서, 상기 모바일 단말의 사용자가 상기 카메라 모듈로, 예를 들면, 제품이나 기기에 관련된 바코드를 가리키면, 상기 모바일 단말은 상기 기기의 명령 매뉴얼, 대상 물 가격, 구매하기 위한 가장 가까운 위치 등을 포함하는 상기 제품에 관련된 정보를 디스플레이할 수 있을 것이다. 그런 유사한 POI들에 관한 정보는 메모리 내의 사용자 프로파일에 저장될 수 있을 것이다.

추가로, 상기 검색 모듈 (68)은 상기 모바일 단말 (10)의 카메라 모듈 (36), GPS 모듈 (70) 또는 다른 적절한 엘리먼트로부터 미디어 콘텐트를 수신할 수 있는 (도 3에서 개시되었으며 아래에서 더 상세하게 설명되는) 미디어 콘텐트 입력부 (80) 그리고 상기 미디어 콘텐트 입력부 (80)를 경유하여 상기 이미지를 수신하며, 예를 들면, 물리적인 대상물들에 연결되는 코드 기반의 태그들, OCR 태그들 및 시각적인 태그들과 같은 하나 또는 그 이상의 태그들을 생성할 수 있는 (도 3에서 개시되었으며 아래에서 더 상세하게 설명되는) 태깅 제어 유닛 (135)을 포함한다. 그러면, 이런 태그들은 (도 2에서 개시되고 아래에서 더 상세하게 설명되는) 시각적인 검색 서버 (54)와 시각적인 검색 데이터베이스 (51)로 전달되며, 이 경우 상기 사용자에게는 상기 태그와 연관된 정보가 제공된다.

본 발명으로부터 이득을 얻을 시스템의 유형을 예시하는 도 2를 이제 참조한다. 상기 시스템은 복수의 네트워크 기기들을 구비한다. 도시된 것과 같이, 하나 또는 그 이상의 모바일 단말 (10) 각각은 기지 사이트 또는 기지국 (BS) (44) 또는 액세스 포인트 (AP) (62)로 신호들을 전송하고 기지 사이트 또는 기지국 (BS) (44) 또는 액세스 포인트 (AP) (62)에서 신호들을 수신하기 위한 안테나 (12)를 구비할 수 있을 것이다. 상기 기지국 (44)은 하나 또는 그 이상의 셀룰러 또는 모바일 네트워크들의 일부일 수 있을 것이며, 상기 셀룰러 또는 모바일 네트워크들 각각은 모바일 교환 센터 (mobile switching center (MSC)) (46)와 같은 네트워크를 동작시키기 위해 필요한 엘리먼트들을 구비한다. 본 발명이 속한 기술분야에서의 통상의 지식을 가진 당업자에게 잘 알려진 것과 같이, 상기 모바일 네트워크는 BMI (Base Station/MSC/Interworking function)으로서 언급되기도 한다. 동작에 있어서, 상기 모바일 단말 (10)이 호 (call)를 생성하고 수신할 때에 상기 MSC (46)는 상기 모바일 단말 (10)로의 호들을 그리고 모바일 단말로부터 호들을 경로설정할 수 있다. 상기 모바일 단말 (10)이 호 내에 결부되어 있을 때에, 상기 MSC (46)는 지상선 트렁크들 (landline trunks)로의 연결을 또한 제공할 수 있다. 추가로, 상기 MSC (46)는 상기 모바일 단말 (10)로의 그리고 상기 모바일 단말로부터의 메시지 포워딩을 제어할 수 있으며, 상기 모바일 단말 (10)에 대한 메시징 센터로의 그리고 그 메시징 센터로부터의 메시지 포워딩을 또한 제어할 수 있다. 비록 MSC (46)가 도 2의 시스템 내에서 도시되기는 했지만, 상기 MSC (46)는 예시적인 네트워크 기기일 뿐이며 본 발명은 하나의 MSC를 채택한 네트워크 내에서의 사용으로 한정되지 않는다는 것에 유의해야 한다.

상기 MSC (46)는 LAN (local area network), MAN (metropolitan area network) 및/또는 WAN (wide area network)과 같은 데이터 네트워크에 연결될 수 있다. 상기 MSC (46)는 상기 데이터 네트워크에 직접적으로 연결된다. 그러나, 한 전형적인 실시예에서, 상기 MSC (46)는 GTW (48)에 연결되며, 그 GTW (48)는 인터넷 (50)과 같은 WAN에 연결된다. 차례로, 프로세싱 엘리먼트들과 같은 기기들 (예를 들면, 개인용 컴퓨터, 서버 컴퓨터 등)은 인터넷 (50)을 경유하여 모바일 단말 (10)에 연결될 수 있다. 예를 들면, 이하에서 설명되는 것과 같이, 상기 프로세싱 엘리먼트들은, 아래에서 설명되는 것과 같이 컴퓨팅 시스템 (52) (도 2에서 도시됨), 시각적인 검색 서버 (54) (도 2에서 도시됨), 시각적인 검색 데이터베이스 (51) 등과 연관된 하나 또는 그 이상의 프로세싱 엘리먼트들을 구비할 수 있다.

또한 BS (44)는 시그날링 GPRS (General Packet Radio Service) 지원 노드 (SGSN) (56)에 연결될 수 있다. 본 발명이 속한 기술분야에서의 통상의 지식을 가진 자에게 잘 알려진 것과 같이, 상기 SGSN (56)은 패킷 스위치 서비스용의 MSC (46)에 유사한 기능들을 실행할 수 있는 것이 일반적이다. MSC (46)와 같이, 상기 SGSN (56)은 인터넷과 같은 데이터 네트워크에 연결될 수 있다. 상기 SGSN (56)은 상기 데이터 네트워크에 직접적으로 연결될 수 있다. 그러나, 더 전형적인 실시예에서, 상기 SGSN (56)은 GPRS 코어 네트워크 (58)와 같은 패킷-교환 코어 네트워크에 연결된다. 그러면, 상기 패킷-교환 코어 네트워크는 GTW GPRS 지원 노드 (GGSN) (60)와 같은 다른 GTW (48)에 연결되며, 상기 GGSN (60)은 인터넷 (50)에 연결된다. 상기 GGSN (60)에 추가하여, 상기 패킷-교환 코어 네트워크 또한 GTW (48)에 연결될 수 있다. 또한, 상기 GGSN (60)은 메시징 센터에 연결될 수 있다. 이런 점에서, 상기 MSC (46)와 유사하게, 상기 GGSN (60) 및 SGSN (56)은 MMS 메시지들과 같은 메시지들을 포워딩하는 것을 제어할 수 있을 것이다. 또한 상기 GGSN (60) 및 SGSN (56)은 상기 모바일 단말 (10)에 대해 상기 메시징 센터로 그리고 상기 메시징 센터로부터 메시지들을 포워딩하는 것을 제어할 수 있다.

추가로, 상기 SGSN (56)을 상기 GPRS 코어 네트워크 (58)와 GGSN (60)으로 연결함으로써, 컴퓨팅 시스템 (52) 및/또는 시각적인 지도 서버 (54)와 같은 기기들이 인터넷 (50), SGSN (56) 및 GGSN (60)을 경유하여 상기 모바일 단말 (10)로 연결될 수 있을 것이다. 이런 점에서, 컴퓨팅 시스템 (52) 및/또는 시각적인 지도 서버 (54)와 같은 기기들이 SGSN (56), GPRS 코어 네트워크 (58) 및 GGSN (60)을 통해서 상기 모바일 단말 (10)과 통신할 수 있을 것이다. 모바일 단말들 (10)과 다른 기기들 (예를 들면, 컴퓨팅 시스템 (52), 시각적인 지도 서버 (54) 등)을 인터넷 (50)에 직접적으로 또는 간접적으로 연결시킴으로써, 상기 모바일 단말들 (10)은 HTTP (Hypertext Transfer Protocol)와 같은 것에 따라서 다른 기기들 및 다른 단말과 통신할 수 있을 것이며, 그 결과 모바일 단말들 (10)의 다양한 기능들을 수행한다.

모든 가능한 모바일 네트워크의 모든 엘리먼트가 여기에서 도시되고 설명되지는 않았지만, 상기 모바일 단말 (10)은 BS (44)를 통해서 몇몇의 다른 네트워크들 중의 하나 이상의 어떤 것에 연결될 수 있을 것이라는 것이 인정되어야 한다. 이런 면에서, 상기 네트워크(들)는 1세대 (1G), 2세대 (2G), 2.5 세대 (2.5G) 3세대 (3G) 및/또는 미래의 모바일 통신 프로토콜 또는 유사한 것 중의 임의의 하나 또는 그 이상에 따라서 통신을 지원할 수 있다. 예를 들면, 하나 또는 그 이상의 네트워크(들)는 2G 무선 통신 프로토콜 IS-136 (TDMA), GSM 및 IS-95 (CDMA)에 따른 통신을 지원할 수 있다. 또한, 예를 들면, 상기 네트워크(들)의 하나 또는 그 이상은 2.5G 무선통신 프로토콜 GPRS, EDGE (Enhanced Data GSM Environment) 또는 유사한 것에 따른 통신을 지원할 수 있다. 또한, 예를 들면, 하나 또는 그 이상의 상기 네트워크(들)는 WCDMA (Wideband Code Division Multiple Access) 무선 액세스 (radio access) 기술을 채택한 UMTS (Universal Mobile Telephone System)와 같은 3G 무선 통신 프로토콜들에 따라서 통신을 지원할 수 있다. TACS는 물론이며 일부 협대역 AMPS (NAMPS)는, 이중 또는 더 높은 모드의 모바일 스테이션 (예를 들면, 디지털/아날로그 또는 TDMA/CDMA/아날로그 전화기들)이 그런 것과 같이, 본 발명의 실시예들로부터 또한 이득을 얻을 수 있을 것이다.

상기 모바일 단말 (10)은 하나 또는 그 이상의 무선 액세스 포인트들 (access points (APs)) (62)에 또한 연결될 수 있다. 상기 AP들 (62)은, 예를 들면, 무선 주파수 (radio frequency (RF)), 블루투스 (BT), Wibree, 적외선 (IrDA) 또는 IEEE 802.11 (예를 들면, 802.11a, 802.11b, 802.11g, 802.11n 등)과 같은 무선 LAN 기술, IEEE 802.16과 같은 WiMAX 기술들 및/또는 IEEE 802.15와 같은 UWB (ultra wideband) 기술들 또는 유사한 것들을 포함하는 복수의 서로 다른 무선 네트워킹 기술들 중의 임의의 것과 같은 기술들에 따라 상기 모바일 단말 (10)과 동신하도록 구성된 액세스 포인트들을 포함할 수 있을 것이다.

상기 AP들 (62)은 인터넷 (50)에 연결될 수 있을 것이다. MSC (46)와 같이, 상기 AP들 (62)은 인터넷 (50)에 직접 연결될 수 있다. 그러나, 일 실시예에서, 상기 AP들 (62)은 GTW (48)을 경유하여 인터넷 (50)에 간접적으로 연결된다. 더 나아가, 일 실시예에서, BS (44)는 다른 AP (62)로 간주될 수 있을 것이다. 인정될 것과 같이, 상기 모바일 단말들 (10), 컴퓨팅 시스템 (52), 시각적인 검색 서버 (54) 및/또는 복수의 다른 기기들 중의 임의의 것을 인터넷 (50)에 직접적으로 또는 간 접적으로 연결함으로써, 상기 모바일 단말 (10)은, 상기 시각적인 검색 데이터베이스 (51) 등은 물론이며, 상기 모바일 단말 서로 간에, 상기 컴퓨팅 시스템 (52) 및/또는 상기 시각적인 검색 서버 (54)와 통신할 수 있으며, 그럼으로써 상기 컴퓨팅 시스템 (52)에 데이터, 콘텐트 또는 유사한 것을 전송하고 그리고/또는 상기 컴퓨팅 시스템 (52)으로부터 콘텐트, 데이터 또는 유사한 것을 수신하는 것과 같이 상기 모바일 단말들 (10)의 다양한 기능들을 수행한다.

예를 들면, 시각적 검색 서버 (54)는 검색 모듈 (68)로부터의 요청을 처리하여 시각적인 검색 정보를 저장하고 수집하기 위해 상기 시각적인 검색 데이터베이스 (51)와 상호 작용할 수 있을 것이다. 추가로, 시각적인 검색 서버 (54)는 POI들과 같은 타겟 대상물들에 관련된 데이터의 다양한 형상들을 모바일 단말의 검색 모듈 (68)에게 공급할 수 있을 것이다. 추가로, 시각적인 검색 서버 (54)는 코드 기반의 데이터, OCR 데이터 및 유사한 것에 관련된 정보를 검색 모듈 (68)로 제공할 수 있을 것이다. 예를 들면, 상기 시각적인 검색 서버가 상기 카메라 모듈이 바코드 또는 어떤 다른 코드들 (여기에서는 집합적으로 코드 기반의 데이터라고 한다) 및/또는, 예를 들면, 텍스트 데이터에 대한 OCR 데이터의 이미지를 탐지하고, 읽고, 스캔하고 또는 캡쳐했다는 표시를 상기 모바일 단말의 검색 모듈 (68)로부터 수신하면, 상기 시각적인 검색 서버 (54)는 그 수신한 코드 기반의 데이터 및/또는 OCR 데이터를 관심 지점 (point-of-interest (POI)) 데이터베이스 (74)에 저장된 연관 데이터와 비교하여, 예를 들면, 주어진 제품(들), 구매 능력 및/또는 URL들이나 웹 페이지들과 같은 콘텐트 링크들에 대한 비교 쇼핑 정보를 디스플레이 (28)를 통해서 디스플레이하도록 상기 검색 모듈로 제공할 수 있을 것이다. 즉, 상기 코드 기반의 데이터와 OCR 데이터 (그것들로부터 상기 카메라 모듈은 이미지를 탐지하고, 읽어내며, 스캔하고 또는 캡쳐한다)는 비교 쇼핑 정보, 구매 능력 및/또는 콘텐트 링크들 및 유사한 것에 관련된 정보를 포함한다. 상기 모바일 단말이 콘텐트 링크들 (예를 들면, URL) 또는 문서, 텔레비전 프로그램, 음악 녹음 등과 같은 어떤 다른 원하는 정보를 수신하면, 상기 모바일 단말은 상응하는 웹 페이지를 디스플레이 (28)를 통해서 디스플레이하거나 또는 원하는 정보를 마이크 (26)를 통해서 오디오 형식으로 제시하기 위해 자신의 웹 브라우저를 활용할 수 있을 것이다. 추가로, 상기 시각적인 검색 서버 (54)는, 수신한 OCR 데이터, 예를 들면 상기 카메라 모듈 (36)에 의해 탐지된 거리 표지판 상의 텍스트와 같은 OCR 데이터를, 지도 서버를 경유하여, 상기 모바일 단말의 지리적인 영역 내의 그리고/또는 상기 거리 표지판의 지리적인 영역 내의 지도 데이터 및/또는 방향과 같이 연관된 데이터와 비교할 수 있을 것이다. 상기는 코드 기반의 데이터 및/또는 OCR 데이터와 연관될 수 있는 데이터의 예일 뿐이라는 것이 강조되어야 하며, 이런 면에서, 어떤 적합한 데이터도 여기에서 설명된 코드 기반의 데이터 및/또는 OCR 데이터와 연관될 수 있을 것이다. 하나 또는 그 이상의 POI들에 관련된 정보는, 예를 들면, 카메라 모듈 (36)에 의해 캡쳐되고, 탐지되고, 스캔되고 또는 읽혀진 물리적인 대상물과 연관된 태그와 같은 하나 또는 그 이상의 태그들에 링크될 수 있을 것이다. 상기의 하나 또는 그 이상의 POI들과 연관된 정보는 디스플레이를 위해 모바일 단말로 전송될 수 있을 것이다.

시각적인 검색 데이터베이스 (51)는 미디어 콘텐트를 포함하는, 그러나 미디어 콘텐트로 한정되지는 않는, 관련된 시각적인 검색 정보를 저장할 수 있을 것이며, 상기 미디어 콘텐트는 텍스트 데이터, 오디오 데이터, 그래픽적인 애니메이션, 그림들, 사진들, 비디오 클립들, 이미지들 및 그것들의 연관된 메타-정보, 예를 들면, 빠르고 효과적인 수집을 위한 웹 링크들, 지리-위치 (geo-location) 데이터 (본 문서에서, 지리-위치 데이터는 웹 사이트 등과 같은 다양한 미디어로의 지리적인 식별 메타데이터를 포함하지만 그런 지리적인 식별 데이터로 한정되지는 않으며, 이 데이터는 또한 위도와 경도 좌표, 고도 데이터 및 지명으로 구성될 수 있을 것이다), 문맥상의 (contextual) 정보 등과 같은 메타-정보를 포함한다 [하지만 상기 미디어 콘텐트는 그것들로 한정되지는 않는다]. 더 나아가, 상기 시각적인 검색 데이터베이스 (51)는 하나 또는 그 이상의 POI들의 지리적인 위치에 관련된 데이터를 저장할 수 있을 것이며 POI의 위치, POI에 관련된 제품 정보 등을 포함하지만 그것들로 한정되지는 않는 다양한 관심 지점에 관한 데이터를 저장할 수 있을 것이다. 상기 시각적인 검색 데이터베이스 (51)는 코드 기반의 데이터, OCR 데이터 및 그와 유사한 데이터 그리고 상기 코드 기반의 데이터와 OCR 데이터에 연관되며, 제품 정보, 가격, 지도 데이터, 방향, 웹 링크 등을 포함하지만 그것들로 한정되지는 않는 데이터를 또한 저장할 수 있을 것이다. 상기 시각적인 검색 서버 (54)는 상기 시각적인 검색 데이터베이스 (51)로 정보를 전송하거나 수신하고 인터넷 (50)을 경유하여 상기 모바일 단말 (10)과 통신할 수 있을 것이다. 유사하게, 상기 시각적인 검색 데이터베이스 (51)는 상기 시각적인 검색 서버 (54)와 통신할 수 있을 것이 며, 그리고, 대안으로 또는 추가적으로, WLAN, 블루투스, Wibree 또는 유사한 전송을 경유하여 또는 인터넷 (50)을 경유하여 상기 모바일 단말 (10)과 통신할 수 있을 것이다.

예시적인 실시예에서, 상기 시각적인 검색 엔진 (51)은 시각적인 검색 입력 제어/인터페이스를 포함할 수 있을 것이다. 그 시각적인 검색 입력 제어/인터페이스는 사용자, 예를 들면 자신들의 데이터를 상기 시각적인 검색 데이터베이스 (51)에 삽입하려는 사업 소유자, 제품 생산자, 회사 및 유사한 것과 같은 사용자를 위한 인터페이스로서 동작할 수 있을 것이다. 데이터가 상기 시각적인 검색 데이터베이스 (51)로 삽입되는 방식을 제어하기 위한 메커니즘은 유연할 수 있을 것이며, 예를 들면, 새롭게 삽입되는 데이터는 위치, 이미지. 시간 또는 유사한 것을 기반으로 하여 삽입될 수 있다. 사용자들은 바코드들 또는 어떤 다른 유형의 코드들 (즉, 코드 기반의 데이터) 또는 (추가적인 정보는 물론이며) 하나 또는 그 이상의 대상물들, POI들, 제품들 또는 유사한 것에 관련된 OCR 데이터를 상기 시각적인 검색 입력 제어/인터페이스를 경유하여 상기 시각적인 검색 데이터베이스 (51)로 다운로드하거나 삽입할 수 있을 것이다. 예시적인 비-제한의 실시예에서, 상기 시각적인 검색 입력 제어/인터페이스는 상기 시각적인 검색 데이터베이스 (51)의 외부에 위치할 수 있을 것이다. 여기에서 사용되는 바와 같이, "이미지들", "비디오 클립들", "데이터", "콘텐트", "정보"의 용어들 및 유사한 용어들은 본 발명의 실시예들에 따라서 전송될 수 있고, 수신될 수 있고 그리고/또는 저장될 수 있는 데이터를 언급하기 위해 교체하여 이용될 수 있을 것이다. 그러므로, 그런 어떤 용어들 을 사용하는 것이 본 발명의 실시예들의 사상과 범위를 제한하기 위한 것으로 여겨져서는 안된다.

비록 도 2에는 도시되지 않았지만, 인터넷 (50)을 통해서 상기 모바일 단말 (10)을 컴퓨팅 시스템 (52)에 연결하는 것에 부가하여 또는 그 대신에, 상기 모바일 단말 (10)과 컴퓨팅 시스템 (52)은 서로 연결되어, 예를 들면, RF, BT, IrDA 또는 몇몇의 상이한 와이어라인 (wireline) 또는 LAN, WLAN, WiMAX 및/또는 UWB 기술들을 포함하는 무선 기술들에 따라서 통신할 수 있을 것이다. 상기 컴퓨팅 시스템들 (52)의 하나 또는 그 이상은, 부가적으로 또는 대안으로, 나중에 상기 모바일 단말 (10)로 전송될 수 있는, 콘텐트를 저장할 수 있는 탈부착 가능한 메모리를 포함할 수 있다. 또한, 상기 모바일 단말 (10)은 프린터, 디지털 프로젝터 및/또는 다른 멀티미디어 캡쳐, 생성 및/또는 저장 기기들 (예를 들면, 다른 단말들)과 같은 하나 또는 그 이상의 전자 기기들에 연결될 수 있다. 상기 컴퓨팅 시스템 (52)과 유사하게, 상기 모바일 단말 (10)은, 예를 들면, RF, BT, IrDA 또는 몇몇의 상이한 와이어라인 (wireline) 또는 USB, LAN, WLAN, WiMAX 및/또는 UWB 기술들을 포함하는 무선 기술들과 같은 기술들에 따라서 휴대용 전자 기기들과 통신하도록 구성될 수 있을 것이다.

이제 도 3을 참조하면, 본 발명의 일 실시예의 블록도가 제공된다. 태깅 제어 유닛 (tagging control unit) (90)은 미디어 콘텐트 입력부 (80)을 통해서 미디어 콘텐트를 수신하고 수신한 미디어 콘텐트에 연관된 태그들을 생성하기 위해 OCR/코드 기반 알고리즘 (82, 83) (또는 시각적인 검색 알고리즘 (81))을 실행하여 OCR 검색 또는 코드 기반의 검색 또는 시각적인 검색을 실행한다. 예를 들면, 상기 모바일 단말의 사용자는 자신의 카메라 모듈을 대상물을 가리키게 하거나 또는 미디어 콘텐트 입력부 (80)을 통해서 태깅 제어 유닛 (90)으로 제공되는 그 대상물의 이미지를 캡쳐할 수 있을 것이다. 그 대상물 (예를 들면, 책)의 이미지가 그 커버에 텍스트 데이터를 구비하는 것을 인식하면, 상기 태깅 제어 유닛 (90)은 OCR 알고리즘 (82)을 실행할 수 있을 것이며 상기 태깅 제어 유닛 (90)은 상기 책의 커버 상에 있는 텍스트에서 식별된 그 책의 제목에 따라서 그 책에 라벨 (즉, 태그)을 붙인다. (추가로, 상기 태깅 제어 유닛 (90)은 탐지된 텍스트를, 상기 모바일 단말 (10)의 웹 브라우저를 경유하여 온라인으로 콘텐트를 검색하기 위해 사용될 수 있는 키워드로서 삼기 위해, 책의 커버 상에 태그로 붙일 (tag) 수 있을 것이다.) 상기 태깅 제어 유닛 (90)은 이 데이터 (즉, 책의 제목)를 그 사용자를 대신하여 저장하거나 이 정보를 시각적인 검색 서버 (54) 및/또는 상기 시각적인 검색 데이터베이스 (51)로 전달하여, 하나 또는 그 이상의 모바일 단말들 (10)의 카메라 묘듈 (36)이 그 책을 가리키거나 또는 그 책의 이미지를 캡쳐하면, 상기 서버 (54) 및/또는 데이터베이스 (51)가 이 데이터를 상기 하나 또는 그 이상의 모바일 단말들의 사용자들에게 제공하도록 할 수 있을 것이다.

상기 시각적인 검색 알고리즘 (81)이 실행되면 상기 모바일 단말 (10)의 사용자는 부가적인 태그들을 생성할 수 있을 것이다. 예를 들면, 카메라 모듈 (36)이 어떤 대상물, 예를 들면, 상점 내에 있는 시리얼 박스와 같은 대상물을 가리키면, 그 대상물에 관련된 정보가 상기 미디어 콘텐트 입력부 (80)를 경유하여 상기 태깅 제어 유닛 (90)으로 제공될 수 있을 것이다. 상기 태깅 제어 유닛 (90)은 시각적인 검색 알고리즘 (81)을 실행하여 상기 검색 모듈 (68)이 시리얼 박스 상에서 시각적인 검색을 하도록 할 수 있을 것이다. 상기 시각적인 검색 알고리즘은 예를 들면 시리얼 박스의 이미지 또는 비디오 클립과 같은 시각적인 결과들을 생성할 수 있을 것이며, 이 이미지 또는 비디오 클립에 포함되어, 예를 들면, 가격 정보, 그 시리얼 박스 제품명 (예를 들면, Cheerios™)에 관한 URL, 생산자 이름 등과 같은 다른 데이터가 존재할 수 있으며, 이것들은 상기 태깅 제어 유닛으로 공급된다. 이 데이터, 예를 들면, 상기 시각적인 검색 결과들 내에 있는 가격 정보는 사용자 대신에 상기 태깅 제어 유닛 내에 저장될 수 있는 상기 시리얼 박스의 이미지나 비디오 클립에 태그되거나 링크되어 상기 모바일 단말의 사용자가 그 후에 자신의 카메라 모듈로 상기 시리얼 박스를 가리키거나 또는 그 시리얼 박스의 미디어 콘텐트 (이미지/비디오 클립)를 캡쳐할 때에, 디스플레이 (28)에 상기 정보 (예를 들면, 가격 정보, URL 등)가 제공된다. 추가로, 이 정보는 시각적인 검색 서버 (54) 및/또는 시각적인 검색 데이터베이스 (51)로 전달될 수 있을 것이며, 하나 또는 그 이상의 모바일 단말들 (10)의 사용자들이 카메라 모듈로 상기 시리얼 박스를 가리키거나 그리고/또는 그 시리얼 박스의 미디어 콘텐트 (이미지/비디오 클립)를 캡쳐하면 상기 서버 및/또는 데이터베이스는 그 사용자들에게 상기 정보를 제공할 수 있을 것이다. 다시 언급하면, 이는 상기 모바일 단말들의 사용자들이 태그들을 생성하기 위해 키패드 (30) 또는 그 유사한 것을 이용하여 수동으로 메타-정보를 입력하기 위해 필요한 시간과 에너지를 절약하게 해준다.

상기에서 언급된 것과 같이, 상기 모바일 단말 (10)의 사용자가 시각적인 대상물들로부터 콘텐트를 수집하면, 상기 태깅 제어 유닛 (90)에 의해 생성된 태그들이 사용될 수 있다. 추가로, 전술한 시각에서 보면, 상기 검색 모듈 (28)을 이용함으로써, 상기 사용자는 시각적인 대상물들로부터 내장된 코드 기반의 태그들을 획득할 수 있을 것이며, 그 시각적인 대상물에 부가되는 OCR 콘텐트를 획득할 수 있을 것이고, 위치와 키워드들에 기반하여 (예를 들면, OCR 데이터로부터) 콘텐트를 획득할 수 있을 것이며, 그리고 키워드 기반의 필터링에 의해 여러 번의 선택을 없앨 수 있을 것이다. 예를 들면, 책에 관련된 정보를 검색할 때에, OCR 검색으로부터의 입력은 부적절한 정보를 걸러내기 위한 키워드들로서 이용될 수 있는 저자 이름 및 책 제목과 같은 정보를 포함할 수 있을 것이다.

이제 도 4를 참조하며, 도 4는 서버 (160)와 클라이언트 (170) 서로 간에 그리고 다른 데이터 소스들과 본 발명의 예시적인 실시예에 따라서 통신할 수 있는 서버와 클라이언트를 설명한다. 그러나, 서버/클라이언트 구조 외의 다른 구조들 역시 채택될 수 있다는 것에 유의해야 한다. 상기 서버 (160) 및 클라이언트 (170)는 상기에서 설명된 서버들 및 클라이언트들 (예를 들면, 모바일 단말 (10))의 예이다. 추가로, 서버 (160) 및 클라이언트 (170) 각각은 이하에서 다양한 컴포넌트들을 포함하는 것으로 설명될 것이지만, 그 컴포넌트들은 상기 서버 (160) 및 클라이언트 (170) 각각의 상응하는 프로세싱 엘리먼트 또는 프로세서로서 구체화되거나 그렇지 않으면 그런 프로세싱 엘리먼트 또는 프로세서에 의해 제어될 수 있을 것이라는 것이 이해되어야 한다. 이런 면에서, 이하에서 설명되는 컴포넌트들 각각은 , 이하에서 아주 상세하게 설명되는 것과 같은 각 컴포넌트들의 대응 기능들을 수행하도록 구성된, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구체화된 어떤 기기, 수단 또는 회로일 수 있을 것이다. 이런 면에서, 서버 (160)는 하나 또는 그 이상의 데이터 소스들, 예를 들면, 데이터 소스 (150)와 같은 데이터 소스들과의 통신을 설립할 수 있을 것이다.

이런 면에서, 데이터 소스 (150)는 서버 (160)에 대해서 온-사이트 (on-site) 또는 오프-사이트 (off-site) (예를 들면, 로컬 또는 원격)일 수 있다. 또한, 상기 데이터 소스 (150)는 저장된 데이터에 대한 서로 다른 다양한 데이터 포맷을 포함할 수 있을 것이다. 일부 포맷 소스들의 예는 RSS, XML, HTML 및 다른 다양한 포맷들을 포함할 수 있을 것이다. 서버 (160), 데이터 소스 (150) 또는 상기 서버 (160) 및/또는 데이터 소스 (150)와 통신하는 프록시 기기의 어느 하나는 어떤 경우에 상기 서버 (160)에서 수신한 데이터가 사용 가능한 포맷이라는 것을 보장하기 위해 포맷들 간에 변환하도록 구성될 수 있을 것이다. 상기 버서에 의해 액세스되는 데이터의 유형은 광범위하게 바뀔 수 있을 것이다. 데이터 유형들의 예들은 텍스트, 링크들, 디렉토리 엔트리들, 우편 번호들, 지도들, 웹사이트들, 이미지들, 날씨 정보, 교통 정보, 뉴스, 사용자 정보, 속성들 및 많은 다른 유형들을 포함할 수 있을 것이지만, 그것들로 제한되지는 않는다. 예시적인 일 실시예에서, 상기 서버 (160)는 데이터를 획득하기 위해 중앙 센서에 또한 연결될 수 있을 것이다. 상기 서버 (160)에 의해 획득된 데이터는 클라이언트 (사용자) (170)에게 보충의 정보를 제공하기 위해 본 발명의 예시적인 실시예들에 따라서 활용될 수 있을 것이다. 이런 면에서, 이하에서 더 상세하게 설명될 것과 같이, 수집된 특정 데이터 (예를 들면, 특정 이미지 (또는 이미지 내의 대상물))와 연관될 수 있는, 상기에서 설명된 것들과 유사한, 태그들은 데이터 소스 (150) 또는 다른 액세스 가능한 데이터 소스들로부터 수집된 상응하는 데이터와 교체될 수 있을 것이다.

도 4에 도시된 것과 같이, 상기 서버 (160)는 서버 데이터 수집 컴포넌트 (100) 및 서버 태그 프로세싱 컴포넌트 (110)를 포함할 수 있을 것이며, 이하에서 더 상세하게 설명되는 것과 같이, 그것들 각각은 서버 데이터 수집 컴포넌트 (100) 및 서버 태그 프로세싱 컴포넌트 (110) 각각의 대응 기능들을 수행하도록 구성된, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구체화된 어떤 기기, 수단 또는 회로일 수 있을 것이다. 상기 서버 데이터 수집 컴포넌트 (100)는 상기 서버 (160)와 통신하는 데이터 소스 (150) 또는 다른 데이터 소스들로부터 데이터를 (예를 들면, 풀 (pull)하여) 수집하도록 구성될 수 있을 것이다. 추가로, 상기 서버 데이터 수집 컴포넌트 (100)는 들어오는 데이터를 (그런 데이터가 데이터 소스로부터 풀 (pull) 되었는지 또는 상기 서버 데이터 수집 컴포넌트 (100)로 푸시 (push) 되었는지의 여부를) 분류하도록 구성될 수 있을 것이다. 또한 상기 서버 데이터 수집 컴포넌트 (100)는 특정 상황에서 (예를 들면, 특히 그런 데이터가 일상적인 과정을 기반으로 수집되면) 데이터를 캐시 (cache)하도록 구성될 수 있을 것이다.

서버 태그 프로세싱 컴포넌트 (110)는 (예를 들면, 상기 서버 데이터 수집 컴포넌트 (100)로부터) 상기 서버 태그 프로세싱 컴포넌트 (110)로 전달된 상기 수 집된 데이터를 처리하도록 구성될 수 있을 것이다. 예시적인 일 실시예에서, 상기 서버 태그 프로세싱 컴포넌트 (110)에 의해 실행되는 상기 처리는 수집된 데이터 내에 있는 태그들을 기반으로 하여, 상기 수집된 데이터의 부분들을 그 수집된 데이터의 다른 부분들로 교체하는 것을 포함할 수 있을 것이다. 이런 점에서, 예를 들면, 상기 수집된 데이터의 일부는 그 일부와 연관된 태그를 식별하기 위해 처리될 수 있을 것이며, 그 태그와 연관된 상기 일부는 (가능한 경우에는) 그 수집된 데이터의 다른 일부들과 교체될 수 있을 것이다. 예시적인 일 실시예에서, 상기에서 설명된 것과 같은 데이터 교체는 조건적인 것이다. 예를 들면, 그런 데이터 교체는 다른 데이터 변수들 및 현재의 값 또는 조건에 의존한다. 다른 말로 하면, 태그와 연관된 데이터를 상기 수집된 데이터로부터의 다른 데이터와 교체하는 것을 (조건이 부합하면) 기동시킬 수 있는 조건들을 정의하기 위해 조건문 (conditional statement) 또는 부울리언 표현 (Boolean expression) (예를 들면, if/then 또는 case 문장)이 활용될 수 있을 것이다. 그러면 처리된 데이터는 클라이언트 (170) (또는 다른 클라이언트들)로 전달될 수 있을 것이다.

표 1은 본 발명의 일 실시예에서 사용될 수 있는 태그들 목록의 일예이다. 그러나, 표 1에서 제공되는 태그들은 단지 예일뿐이며 본 발명의 실시예들과 결합하여 활용될 수 있는 태그들을 한정하기 위한 것은 아니라는 것을 이해해야 한다. 오히려, 표 1은 상기 서버 태그 프로세싱 컴포넌트 (110)에 의해 식별될 수 있는 태그들이 어떤 것인가를 보여주기 위한 것일 뿐이다.

선택된 태그들의 예	설명
[PX.LOC.CITY]	현재 위치의 도시 이름
[PX.LOC.STATE]	현재 위치의 두 개 문자의 주
[PX.LOC.CITYID]	현재 도시와 연관된 ID
[PX.LOC.COUNTRY]	현재 국가 이름
[PX.LOC.ZIP]	현재 우편 번호
[PX.LOC.LON]	현재 경도
[PX.LOC.LAT]	현재 위도
[PX.PIC.TXT]	(서버 또는 클라이언트의 어느 하나에서) 그림 내에서 인식 엔진으로 인식된 텍스트. 포맷, 언어 및 엔진 유형이 명시될 수 있다.
[PX.PIC.RESULT1]	그림 내의 대상물과 연관된 최고 결과
[PX.PIC.BARCODE]	(서버 또는 클라이언트의 어느 하나에서) 그림 내에서 바코드 인식 엔진에 의해 인식된 바코드. 포맷, 언어 및 엔진 유형이 명시될 수 있다.
[PX.INFO.TRAFFIC]	국부적인 교통 정보
[PX.INFO.WEATHER]	국지적인 기상 예보
[PX.INFO.NEWS]	어떤 위치에 대한 뉴스, 시간, 뉴스 유형
[PX.TIME.TIME]	hh:mm:ss 로 표현된 시각
[PX.TIME.DATE]	날짜
{PX.KEY.TEXTBOX(...)}	텍스트 박스를 디스플레이하고 사용자에게 키패드나 키보드를 통해서 텍스트 입력할 것을 요청
[PX.SENSOR.TEMPERATURE]	센서에서의 기온
{PX.IF(STATEMENT,THEN,OTHERWISE}	statement가 태그를 구비한 어떤 수학적인 표현의 문장을 지원하면 result로 그렇지 않으면 otherwise로
[PX.USER.FIRSTNAME]	현재 사용자의 첫 번째 이름
[PX.USER.PHONENUMBER]	현재 사용자의 전화 번호
...	...

도 4에 보여지는 것과 같이, 클라이언트 (170)는 클라이언트 데이터 수집 컴포넌트 (120), 클라이언트 태그 프로세싱 컴포넌트 (130) 및 클라이언트 데이터 디스플레이 컴포넌트 (140)를 포함할 수 있을 것이며, 그것들 각각은 이하에서 아주 상세하게 설명되는 것과 같은 클라이언트 데이터 수집 컴포넌트 (120), 클라이언트 태그 프로세싱 컴포넌트 (130) 및 클라이언트 데이터 디스플레이 컴포넌트 (140)의 각각의 대응 기능들을 수행하도록 구성된, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구체화된 어떤 기기, 수단 또는 회로일 수 있을 것이다. 상기 클라이언트 데이터 수집 컴포넌트 (120)는, 상기 클라이언트 데이터 수집 컴포넌트가 클라이언트 데이터 소스 (180) 또는 다른 데이터 소스들로부터 데이터를 (풀 하여) 수집하도록 구성될 수 있다는 것만이 아니라, 상기 클라이언트 데이터 수집 컴포넌트 (120)가 (예를 들면, 상기 서버 태그 프로세싱 컴포넌트 (110)를 경유하여) 상기 서버 (160)로부터 데이터를 수집하도록 또한 구성될 수 있다는 것을 제외하면, 상기에서 설명된 서버 데이터 수집 컴포넌트 (100)와 유사할 수 있을 것이다. 또한 상기 클라이언트 데이터 수집 컴포넌트 (120)는 상기에서 설명된 것과 같은 상이한 유형 및 상이한 포맷의 데이터에 액세스하도록 구성될 수 있을 것이다. 추가로, 상기 클라이언트 데이터 수집 컴포넌트 (120)는, GSP (또는 지원 GPS), 셀 ID 또는 다른 위치 정보, 온도, 속도, 가속도, 방향, 이미지 센서 데이터, OCR 및/또는 바코드 정보, 지문 정보 또는 다른 생체학적인 정보, 음성 입력, 키보드 입력, 조이스틱 입력, 마우스 입력, 이동 또는 다른 센서 데이터를 포함하지만 그것들로 제한되지는 않는 데이터를 획득하기 위해 국부적인 센서들에 연결하도록 구성될 수 있을 것이다. 또한 클라이언트 데이터 수집 컴포넌트 (120)는 들어오는 데이터를 (예를 들면, 그런 데이터가 데이터 소스나 상기 서버 (160)로부터 풀 되었는가의 여부, 또는 상기 서버 (160)가 상기 데이터를 클라이언트 데이터 수집 컴포넌트 (120)로 푸시했는가의 여부를) 분류하도록 구성될 수 있을 것이다. 데이터는 원하는 것과 같은 액세스 가능한 소스들로부터 수집될 수 있을 것이다. 그러나, 상기 클라이언트 데이터 수집 컴포넌트 (120)는 특정 상황에서 (예를 들면, 특히 데이터가 일상적인 과정을 기반으로 수집되면) 데이터를 캐시하도록 또한 구성될 수 있을 것이다.

상기 클라이언트 태그 프로세싱 컴포넌트 (130)는 상기에서 설명된 서버 태그 프로세싱 컴포넌트 (110)와 유사할 수 있을 것이다. 이런 면에서, 예를 들면, 상기 클라이언트 태그 프로세싱 컴포넌트 (130)는 (예를 들면, 클라이언트 데이터 수집 컴포넌트 (120)로부터 또는 서버 (160)로부터) 클라이언트 태그 프로세싱 컴포넌트 (130)로 전달되는 수집된 데이터를 처리하도록 구성될 수 있을 것이다. 예시적인 일 실시예에서, 상기 클라이언트 태그 프로세싱 컴포넌트 (130)에 의해 실행되는 상기 처리는 수집된 데이터 내에 있는 태그들을 기반으로 하여, 상기 수집된 데이터의 부분들을 그 수집된 데이터의 다른 부분들로 교체하는 것을 포함할 수 있을 것이다. 이런 점에서, 예를 들면, 상기 수집된 데이터의 일부는 그 일부와 연관된 태그를 식별하기 위해 처리될 수 있을 것이며, 그 태그와 연관된 상기 일부는 (가능한 경우에는) 그 수집된 데이터의 다른 일부들과 교체될 수 있을 것이다. 예시적인 일 실시예에서, 서버 태그 프로세싱 컴포넌트 (110)에 관하여 상기에서 설명된 것과 같이 여기에서 설명된 것과 같은 데이터 교체는 조건적인 것이다. 예를 들면, 그런 데이터 교체는 다른 데이터 변수들 및 현재의 값 또는 조건에 의존한다. 다른 말로 하면, 태그와 연관된 데이터를 상기 수집된 데이터로부터의 다른 데이터와 교체하는 것을 (조건이 부합하면) 기동시킬 수 있는 조건들을 정의하기 위해 조건문 (conditional statement) 또는 부울리언 표현 (Boolean expression) (예를 들면, if/then 또는 case 문장)이 활용될 수 있을 것이다. 그러면 처리된 데이터는 클라이언트 데이터 디스플레이 컴포넌트 (140)로 전달될 수 있을 것이다.

클라이언트 태그 프로세싱 컴포넌트 (130)로부터의 데이터 (예를 들면, 처리된 데이터)를 수신하면, 상기 클라이언트 데이터 디스플레이 컴포넌트 (140)는 상기 수신한 데이터를 디스플레이하거나 또는 수신한 데이터에 대응하는 디스플레이를 위한 정보를 제공하도록 구성될 수 있을 것이다. 예시적인 일 실시예에서, 상기 클라이언트 데이터 디스플레이 컴포넌트 (140)는 상기 수신한 데이터를 디스플레이하는가의 여부 또는 어떻게 디스플레이하는가를 판별할 때에 상기 클라이언트 (170)의 상태 (예를 들면, 검색 모드, 키보드 입력들을 수신, 시각적인 검색으로부터의 결과들 수신 등)를 고려하도록 구성될 수 있을 것이다. 디스플레이되는 데이터는 모든 태그들이 관련된 태그 데이터와 교체된 것일 수 있다 (표 1을 예로서 참조). 대안으로, 요구 사항의 조건에 부합하는 태그들만이 대응하는 데이터로 교체될 수 있을 것이다. 이런 면에서, 태그들을 대응하는 데이터로 교체하는 것은 서버 태그 프로세싱 컴포넌트 (110)나 클라이언트 태그 프로세싱 컴포넌트 (130)의 어느 하나에서 발생할 수 있을 것이다. 그와 같이, 예를 들면, 일부 실시예들에서, 서버 태그 프로세싱 컴포넌트 (110)나 클라이언트 태그 프로세싱 컴포넌트 (130) 중의 하나만이 채택될 수 있을 것이다.

일 실시예에서, 상기 클라이언트 데이터 디스플레이 컴포넌트 (140)에 의해 디스플레이되는 데이터는 카메라나 모바일 단말의 뷰파인더 디스플레이의 제일 위에 또는 재생되는 비디오 상에 또는 다른 이미지 위에 오버레이 (overlay)될 수 있을 것이다. 그 디스플레이되는 데이터는 사용자가, 예를 들면, 카메라 모듈 (36)의 시야 범위 내에 위치시키는 대상물을 기반으로 하는 시각적인 검색으로부터의 검색 결과들을 나타낼 수 있을 것이다. 그 디스플레이되는 데이터는 링크, 제목, 배너 및/또는 다른 정보를 포함할 수 있을 것이며, 그것들 중의 어떤 것은 위치, 사용자 속성, 시각, 텍스트 식별 엔진으로부터의 텍스트, 사회적인 네트워크 입력 또는 다른 유사한 입력들과 같은 요소들을 기반으로 하여 조정되는 동적인 정보를 포함할 수 있을 것이다. 이런 점에서, 상기 시각적인 검색은 디스플레이를 위해 제공될 일반적으로 연관되는 링크를 반환할 것이지만, 대응하는 정보를 태그들과 교체하는 것은, 교체하지 않았으면 정적인, 링크, 제목 또는 배너가, 태그들을 동적일 수 있는 대응 데이터와 교체하는 것으로 인해서, 동적인 특성들을 포함하는 것을 가능하게 할 수 있을 것이다. 따라서 실제의 디스플레이되는 링크는 동적일 수 있을 것이다.

결과들 (예를 들면, 디스플레이를 위해 제공되는 최종 처리된 정보)은 사용자가 그 결과들과 상호 작용하는 것을 가능하게 하기 위해 목록으로, 원 모습으로, 계층적으로 또는 어떤 다른 유사한 모습으로 디스플레이될 수 있을 것이다. 이런 면에서, 사용자는 어떤 결과를 (예를 들면, 클릭하지 않고) 밝게 강조하여 그 디스플레이에 오버레이된 더 많은 정보를 읽을 수 있을 것이다. 그러면 다른 클릭을 하면 더 이상의 정보로 이끌거나 다른 기능을 수행할 수 있을 것이다.

예시적인 일 실시예에서, 새로운 데이터가 수집되면 입력 데이터를 변경하는 것을 갱신하기 위해, 두 가지 특별한 메커니즘이 채택될 수 있을 것이다. 예를 들면, 클라이언트 푸시/풀 업데이트 메커니즘 (175) 또는 서버 푸시/풀 업데이트 메커니즘 (165)이 채택될 수 있을 것이다. 클라이언트 푸시/풀 업데이트 메커니즘 (175) 그리고 서버 푸시/풀 업데이트 메커니즘 (165) 각각은 이하에서 아주 상세하게 설명되는 것과 같은 클라이언트 푸시/풀 업데이트 메커니즘 (175)과 서버 푸시/풀 업데이트 메커니즘 (165)의 각각의 대응 기능들을 수행하도록 구성된, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구체화된 어떤 기기, 수단 또는 회로일 수 있을 것이다. 이런 점에서, 예를 들면, 서버 푸시/풀 업데이트 메커니즘 (165)과 클라이언트 푸시/풀 업데이트 메커니즘 (175)은 상기 클라이언트 (170)의 갱신의 클라이언트 풀 또는 서버 푸시를 조절하도록 구성될 수 있을 것이다. 푸시 및 풀의 양 접근 방법은 결합될 수 있을 것이며, 두 접근 방법들 중의 하나만이 대안의 실시예들에서 실행될 수 있을 것이다.

도 5는 본 발명의 예시적인 실시예들에 따른 방법과 프로그램 제품의 흐름도이다. 상기 흐름도의 각 블록 또는 단계 그리고 상기 흐름도 내 블록들의 결합은 하드웨어, 펌웨어 및/또는 하나 또는 그 이상의 컴퓨터 프로그램 명령어들을 포함하는 소프트웨어와 같은 다양한 수단에 의해 구현될 수 있다. 예를 들면, 상기에서 설명된 하나 또는 그 이상의 절차는 컴퓨터 프로그램 명령어들에 의해 구체화될 수 있을 것이다. 이런 점에서, 상기에서 설명된 절차들을 구체화하는 컴퓨터 프로그램 명령어들은 모바일 단말이나 서버의 메모리 기기에 의해 저장되어 모바일 단말이나 서버 내에 내장된 프로세서에 의해 실행될 수 있을 것이다. 그런 컴퓨터 프로그램 명령어들은 기계를 생성하기 위해 컴퓨터나 다른 프로그램 가능한 장치 (즉, 하드웨어)에 로드될 수 있을 것이며, 그래서 상기 컴퓨터나 다른 프로그램 가능한 장치에서 실행되는 상기 명령어들은 상기 흐름도의 블록(들) 또는 단계(들)에서 규정된 기능들을 실행하기 위한 수단을 생성한다. 또한 이런 컴퓨터 프로그램 명령어들은 컴퓨터나 다른 프로그램 가능한 장치에게 특정한 방식으로 기능하도록 지시할 수 있는 컴퓨터로 읽을 수 있는 메모리 내에 저장될 수 있을 것이며, 그래서 그 컴퓨터로 읽을 수 있는 메모리 내에 저장된 명령어들은 상기 흐름도의 블록(들) 또는 단계(들)에서 규정된 기능을 실행하는 명령어 수단을 포함하는 제품을 생성한다. 또한 상기 컴퓨터 프로그램 명령어들은, 컴퓨터로 구현되는 프로세스를 생성하기 위해, 동작 가능한 일련의 단계들이 컴퓨터나 다른 프로그램 가능한 장치에서 실행되도록 하기 위해 상기 컴퓨터나 다른 프로그램 가능한 장치로 로드될 수 있을 것이며, 그래서 상기 컴퓨터나 다른 프로그램 가능한 장치 상에서 실행되는 명령어들은 상기 흐름도 블록(들) 또는 단계(들)에서 규정된 기능들을 실행하기 위한 단계들을 제공한다.

따라서, 상기 흐름도의 블록들이나 단계들은 상기 규정된 기능들을 실행하기 위한 수단들의 결합들, 상기 규정된 기능들을 실행하기 위한 단계들의 결합들 및 상기 규정된 기능들을 실행하기 위한 프로그램 명령어 수단을 지원한다. 또한 상기 흐름도의 하나 이상의 블록이나 단계들 및 상기 흐름도 내의 블록들이나 단계들의 결합은 상기 규정된 기능들이나 단계들을 실행하는 특수 목적 하드웨어 기반의 컴퓨터 시스템에 의해 또는 특수 목적 하드웨어와 컴퓨터 명령어들의 결합에 의해 구현될 수 있다.

이런 점에서, 예를 들면, 도 5에서 도시된 것과 같은 태그 기반의 시각적인 검색 사용자 인터페이스를 제공하는 방법의 일 실시예는 참조번호 200의 동작에서 사용자에 의해 필요한 정보의 표시를 수신하는 것을 포함할 수 있을 것이다. 동작 210에서, 상기 표시를 기반으로 하여 수집된 데이터가 수신될 수 있을 것이다. 그 수집된 데이터는 태그와 연관된, 수집된 데이터의 적어도 일부를 포함할 수 있을 것이다. 그러면 상기 태그는 220의 동작에서 대응하는 태그로 교체될 수 있을 것이다. 그러나, 일부 실시예들에서, 태그 교체의 조건이 그 태그를 교체하기 전에 만족되는가의 여부에 관해서 결정될 수 있을 것이며, 그러면 상기 태그는 태그 교체에 대한 상기 조건이 만족되어야만 교체될 수 있을 것이다. 예시적인 일 실시에에서, 본 발명에 따른 방법은 수집된 데이터의 일부를 디스플레이를 위해 제공하는 선택적인 동작을 또한 포함할 수 있을 것이며, 그 경우 상기 태그와 연관된 상기 수집된 데이터의 상기 일부는 230의 동작에서 상기 대응하는 태그 데이터에 의해 교체된다. 상기 수집된 데이터의 디스플레이될 상기 일부는 사용자의 기기 상에서 디스플레이되는 실시간 이미지 데이터에 대해서는 오버레이로서 디스플레이될 수 있을 것이다.

예시적인 일 실시예에서, 사용자가 원하는 수신된 정보의 표시는 대상물을 포함하는 이미지의 표시를 수신하는 것을 포함할 수 있을 것이며 그러면 상기 방법은 상기 대상물을 기반으로 하여 시각적인 검색을 수행하는 것을 더 포함할수 있을 것이다. 다른 실시예에서, 상기 태그를 교체하는 것은 그 태그를 교체하는데 사용할 용도로 태그 데이터를 식별하기 위해 태그들의 테이블과 대응 태그 데이터를 참조하는 것을 포함할 수 있을 것이다.

다양한 예시적인 실시예들에서, 수집된 데이터를 수신하는 것은 클라이언트 기기에서 또는 서버 기기에서 데이터를 수신하는 것을 포함할 수 있을 것이다. 그런 데이터가 클라이언트 기기에서 수신되면, 상기 수집된 데이터를 상기 클라이언트 기기와 통신하는 서버로부터 상기 클라이언트 기기로 풀 하기 위해 그 데이터는 풀 동작에 연속하여 수신될 수 있을 것이며, 또는, 상기 수집된 데이터를 상기 클라이언트 기기와 통신하는 서버로부터 상기 클라이언트 기기로 푸시하기 위해 그 데이터는 푸시 동작에 연속하여 수신될 수 있을 것이다. 상기 데이터가 상기 서버에서 수신될 때에, 그 데이터는 클라이언트 기기로의 연속적인 통신을 위해 수신될 수 있을 것이며, 그 경우 상기 데이터는 그 클라이언트 기기로 상기 수집된 데이터를 풀 하기 위해 풀 동작에 응답하여 수신되며 또는 상기 수집된 데이터를 상기 클라이언트 기기로 푸시하기 위해 푸시 동작에 응답하여 수신된다.

이전의 설명들 그리고 연관된 도면들에 나타난 교시들의 이점을 구비하면서 본 발명에 부속하는 여기에서 제시된 본 발명의 많은 변형들과 다른 실시예들은 본 발명이 속한 기술분야의 통상의 지식을 가진 자의 마음에 떠오를 것이다. 그러므로, 본 발명의 실시예들은 개시된 특정 실시예들로 한정되는 것이 아닌 것이 이해되어야 하며 변형들과 다른 실시예들은 첨부된 청구항들의 범위 내에 포함된단느 것이 이해되어야 한다. 특정한 용어들이 여기에서 채택되었지만, 그 용어들은 일반적이며 설명적인 의미로 사용된 것이며 한정을 하기 위한 목적으로 사용된 것이 아니다.

본 발명의 실시예들은 시각적인 검색 기술이 사용되는 분야, 더 상세하게는, 태그 기반의 시각적인 검색 사용자 인터페이스가 적용되는 모바일 전화기와 같은 모바일 단말이 사용되는 분야에서 채택되어 이용될 수 있다.

Claims (25)

1. 사용자가 원하는 정보의 표시를 수신하고;

   상기 표시를 기반으로 하여 수집된 데이터를 수신하고 [상기 수집된 데이터는 태그와 연관된 부분을 포함함]; 그리고

   상기 태그를 상응하는 태그 데이터로 교체하는 것을 포함하는 방법.
2. 제1항에 있어서, 상기 방법은,

   상기 태그와 연관된 상기 수집된 데이터의 부분이 상기 상응하는 태그 데이터로 교체된 상기 수집된 데이터의 상기 부분을 디스플레이하는 것을 제공하는 것을 더 포함하는, 방법.
3. 제2항에 있어서,

   디스플레이하는 것을 제공하는 것은 상기 수집된 데이터의 상기 부분을 상기 사용자의 기기 상에 디스플레이된 실시간 이미지 데이터에 관한 오버레이 (overlay)로서 디스플레이하는 것을 포함하는, 방법.
4. 제1항에 있어서,

   사용자가 원하는 정보의 표시를 수신하는 것은 하나의 객체 (object)를 포함하는 이미지의 표시를 수신하는 것을 포함하고,

   상기 방법은 상기 객체를 기반으로 하여 시각적인 검색을 수행하는 것을 더 포함하는, 방법.
5. 제1항에 있어서,

   상기 태그를 교체하는 것은 상기 태그를 교체하기 위해 사용하는 태그 데이터를 식별하기 위해 태그들의 테이블 및 상응하는 태그 데이터를 참고하는 것을 포함하는, 방법.
6. 제1항에 있어서, 상기 방법은,

   태그 교체를 위한 조건이 상기 태그를 교체하기 이전에 만족되는가 그리고 태그 교체를 위한 상기 조건이 만족될 때에만 상기 태그를 교체하는 가의 여부를 결정하는 것을 더 포함하는, 방법.
7. 제1항에 있어서,

   수집된 데이터를 수신하는 것은 클라이언트 기기와 통신하는 서버로부터 상기 클라이언트 기기로 상기 수집된 데이터를 풀 (pull)하기 위해 풀 동작에 연속하여 상기 클라이언트 기기에서 데이터를 수신하는 것을 포함하는, 방법.
8. 제1항에 있어서,

   수집된 데이터를 수신하는 것은 클라이언트 기기와 통신하는 서버로부터 상 기 클라이언트 기기로 상기 수집된 데이터를 푸시 (push)하기 위해 푸시 동작에 연속하여 상기 클라이언트 기기에서 데이터를 수신하는 것을 포함하는, 방법.
9. 제1항에 있어서,

   수집된 데이터를 수신하는 것은 클라이언트 기기로 연속적으로 통신하는 서버에서, 상기 클라이언트 기기로 상기 수집된 데이터를 풀하기 위해 풀 동작에 응답하여 수신되는, 데이터를 수신하는 것을 포함하는, 방법.
10. 제1항에 있어서,

    수집된 데이터를 수신하는 것은 클라이언트 기기로 연속적으로 통신하는 서버에서, 상기 클라이언트 기기로 상기 수집된 데이터를 푸시하기 위해 푸시 동작에 응답하여 수신되는, 데이터를 수신하는 것을 포함하는, 방법.
11. 컴퓨터-독출가능 프로그램 코드부들을 구비한 적어도 하나의 컴퓨터-독출가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서,

    상기 컴퓨터-독출가능 프로그램 코드부들은,

    사용자가 원하는 정보의 표시를 수신하는 제1 실행가능부;

    상기 표시를 기반으로 하여 수집된 데이터를 수신하며, 상기 수집된 데이터는 태그와 연관된 부분을 포함하는, 제2 실행가능부; 및

    상기 태그를 상응하는 태그 데이터로 교체하는 제3 실행가능부;를 포함하는, 컴퓨터 프로그램 제품.
12. 제11항에 있어서,

    상기 태그와 연관된 상기 수집된 데이터의 부분이 상기 상응하는 태그 데이터로 교체된 상기 수집된 데이터의 상기 부분을 디스플레이하는 것을 제공하는 제4 실행가능부;를 더 포함하는, 컴퓨터 프로그램 제품.
13. 제12항에 있어서, 상기 제4 실행가능부는 상기 수집된 데이터의 상기 부분을 상기 사용자의 기기 상에 디스플레이된 실시간 이미지 데이터에 관한 오버레이 (overlay)로서 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
14. 제11항에 있어서,

    상기 제1 실행가능부는 하나의 객체 (object)를 포함하는 이미지의 표시를 수신하는 것을 포함하기 위한 명령어들을 포함하며,

    상기 방법은 상기 객체를 기반으로 하여 시각적인 검색을 수행하는 제4 실행가능부를 더 포함하는, 컴퓨터 프로그램 제품.
15. 제11항에 있어서,

    상기 제3 실행가능부는 상기 태그를 교체하기 위해 사용하는 태그 데이터를 식별하기 위해 태그들의 테이블 및 상응하는 태그 데이터를 참고하기 위한 명령어 들을 포함하는, 컴퓨터 프로그램 제품.
16. 제11항에 있어서,

    태그 교체를 위한 조건이 상기 태그를 교체하기 이전에 만족되는가 그리고 태그 교체를 위한 상기 조건이 만족될 때에만 상기 태그를 교체하는 가의 여부를 결정하는 제4 실행가능부를 더 포함하는, 컴퓨터 프로그램 제품.
17. 사용자가 원하는 정보의 표시를 수신하고;

    상기 표시를 기반으로 하여 수집된 데이터를 수신하고 [상기 수집된 데이터는 태그와 연관된 부분을 포함함]; 그리고

    상기 태그를 상응하는 태그 데이터로 교체하도록 구성된 프로세싱 엘리먼트를 포함하는 장치.
18. 제17항에 있어서,

    상기 프로세싱 엘리먼트는, 상기 태그와 연관된 상기 수집된 데이터의 부분이 상기 상응하는 태그 데이터로 교체된 상기 수집된 데이터의 상기 부분을 디스플레이하는 것을 제공하도록 또한 구성된, 장치.
19. 제18항에 있어서,

    상기 프로세싱 엘리먼트는, 상기 수집된 데이터의 상기 부분을 상기 사용자 의 기기 상에 디스플레이된 실시간 이미지 데이터에 관한 오버레이로서 디스플레이하도록 또한 구성된, 장치.
20. 제17항에 있어서,

    상기 프로세싱 엘리먼트는, 하나의 객체 (object)를 포함하는 이미지의 표시를 수신하고, 그리고 상기 객체를 기반으로 하여 시각적인 검색을 수행하도록 또한 구성된, 장치.
21. 제17항에 있어서,

    상기 프로세싱 엘리먼트는, 상기 태그를 교체하기 위해 사용하는 태그 데이터를 식별하기 위해 태그들의 테이블 및 상응하는 태그 데이터를 참고하도록 또한 구성된, 장치.
22. 제17항에 있어서,

    상기 프로세싱 엘리먼트는, 태그 교체를 위한 조건이 상기 태그를 교체하기 이전에 만족되는가 그리고 태그 교체를 위한 상기 조건이 만족될 때에만 상기 태그를 교체하는 가의 여부를 결정하도록 또한 구성된, 장치.
23. 사용자가 원하는 정보의 표시를 수신하는 수단;

    상기 표시를 기반으로 하여 수집된 데이터를 수신하는 수단으로서, 상기 수 집된 데이터는 태그와 연관된 부분을 포함하는, 수단; 및

    상기 태그를 상응하는 태그 데이터로 교체하는 수단;을 포함하는 장치.
24. 제23항에 있어서, 상기 장치는,

    상기 태그와 연관된 상기 수집된 데이터의 부분이 상기 상응하는 태그 데이터로 교체된 상기 수집된 데이터의 상기 부분을 디스플레이하는 것을 제공하는 수단;을 더 포함하는, 장치.
25. 제23항에 있어서, 상기 장치는,

    태그 교체를 위한 조건이 상기 태그를 교체하기 이전에 만족되는가 그리고 태그 교체를 위한 상기 조건이 만족될 때에만 상기 태그를 교체하는 가의 여부를 결정하는 수단을 더 포함하는, 장치.

Images