KR20100007895A - 이동 비주얼 탐색에 코드-기반 및 광학식 문자 인식 기술들을 통합시키기 위한, 방법, 기기 및 컴퓨터 프로그램 제품 - Google Patents

Abstract

코드―기반 탐색, 광학식 문자 인식（OCR）탐색, 및 비주얼 탐색 중에서 스위칭하기 위한 기기가 제공된다. 기기는 기기의 카메라 또는 다른 모듈로부터 메타 콘텐츠를 수신하고, 이 메타 콘텐츠를 스위치로 전송하기 위한 메타 콘텐츠 입력부를 포함한다. 또한 기기는 기기의 엘리먼트로부터 메타 정보를 수신하고, 그 메타 정보를 그 스위치로 전송할 수 있는 메카 정보 입력부를 포함한다. 그 스위치는 비주얼 탐색 알고리즘, OCR 탐색 알고리즘 및 코드-기반 알고리즘 중에서 선택하고 그리고/또는 스위칭하기위해 수신된 메타 콘텐츠 및 메타 정보를 이용할 수 있다.

Description

이동 비주얼 탐색에 코드-기반 및 광학식 문자 인식 기술들을 통합시키기 위한, 방법, 기기 및 컴퓨터 프로그램 제품{Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search}

본 발명의 실시 예들은 일반적으로 모바일 비주얼 탐색 기술에 관련되고, 특히, 광학식 문자 인식(OCR : optical character recognition, 이하 'OCR'로 표기) 탐색 알고리즘은 물론 코드-기반(code-based) 탐색 알고리즘을 비주얼 탐색 알고리즘과 결합하기 위한 방법들, 기기들, 이동 단말들, 및 컴퓨터 프로그램 제품들에 관련된다.

이동 통신 시대는 유무선 네트워크의 엄청난 확장을 초래했다. 컴퓨터 네트워크, 텔레비전 네트워크, 텔레포니 네트워크는, 정보 전송을 더 탄력성있고 즉각적으로 하면서, 소비자 수요에 의해 야기된 유례없는 과학 기술의 팽창을 경험하고 있다.

현재와 장래 네트워킹 기술들은 계속하여 정보 전송을 더 용이하게 하고 사용자들에게 편의를 주고 있다. 사용자들에게 정보 전송을 용이하게 하고 편의를 증가시키는 요구가 있는 하나의 영역은 이동 단말과 같은 전자 기기들의 사용자들에 게 다양한 애플리케이션들과 소프트웨어를 제공하는 것에 관련된다. 애플리케이션들 또는 소프트웨어들은 로컬 컴퓨터, 네트워크 서버, 또는 다른 네트워크 기기로부터 실행될 수 있거나, 혹은 예컨대 휴대 전화기, 이동 텔레비전, 이동 게이밍 시스템, 비디오 리코더들, 카메라들 기타 등등과 같은 이동 단말로부터 실행될 수 있거나 , 혹은 이동 단말과 네트워크 기기의 결합물로부터조차도 실행될 수 있다. 이런 관점에서 다양한 애플리케이션들 및 소프트웨어가 고정된 환경 또는 이동 환경에서 사용자들에게 작업(task)를 수행하고, 통신하고, 스스로 즐기고, 정보를 수집 및/또는 분석하고 기타 등등을 할 수 있는 강건한 능력들을 제공하도록 개발되어 왔고, 그리고 계속하여 개발되고 있다.

카메라들이 장착된 휴대 전화기들의 광범위한 용도로, 카메라 애플리케이션들이 휴대 전화기 사용자들에게 대중화되었다. 이미지 매칭(인식)에 기초한 이동 애플리케이션들이 현재 출현하고 있고 이 출현의 예가 이동 비주얼 탐색이다. 현재 , 다양한 범위와 애플리케이션들을 갖는 이동 비주얼 탐색 시스템들이 있다. 예컨대, Point & Find 시스템(노키아 회사가 최근에 얻은 PIXTO의 기술에 기초하여 개발된 시스템임)과 같은 이동 비주얼 탐색 시스템의 하나의 타입에서, 카메라 전화기의 사용자는 들이된 객체와 연관된 관련 정보에, 사용자의 카메라 전화기에 제공되는 인터넷을 통해, 액세스하기 위해서 사용자의 주변 영역들 내의 객체들에 자신의 카메라 전화기를 들이댈 수 있다.

정보를 수집하고/또는 분석하기 위해 사용될 수 있는 애플리케이션의 또 다른 예는, 바코드 판독기이다. 바코드가 약 반세기 동안 사용되어 왔지만, 바코드들 과 관련된 개발들은 새로운 기술 유입들로 인해 최근 상당히 비약적인 발전을 획득했다. 예컨대 새로운 기술은 증가되는 세부사항에 관한 제품 정보를 저장할 수 dLT는 바코드들의 개발을 가능케 해왔다. 바코드들은 웹페이지들과 같은 관련 사이트들로의 링크들을 제공하기 위해 이용되어왔다. 예컨대 바코드들은 URL들과 함께 유형 객체들에 부착된 태그들 내에서 사용되어 왔다. (예컨대 바코드가 위에 있는 제품이고, 여기서 바코드가 제품의 URL과 연관되어 있는 것을 고려한다). 또한 바코드 시스템들은 전형적인 1차원(1D) 바코드를 넘어서 다수의 잠재적인 복잡한 2차원(2D) 바코드들, ShotCodes, Semacodes, quick response (QR) codes, data matrix codes 기타 등등과 같은 다수의 타입을 제공하기 위해 개발되어 왔다. 바코드 이용과 타입들과 관련된 변화들과 함께, 새로운 기기들이 바코드들을 판독하기 위해 개발되어 왔다. 코드-기반 탐색 및 개발에 관한 긴 역사가 존재하지만, 코드-기반 탐색을 이동 비주얼 탐색 시스템으로 통합시키는 것은 현재 아직 탐구되지 않았다.

정보를 수집하고/또는 분석하기 위해 사용될 수 있는 애플리케이션의 또 다른 예는 광학식 문자 인식(OCR) 시스템이다. OCR 시스템들은 손으로 쓰거나 타이핑으로 쓰여진 텍스트를 기계로 편집가능한 텍스트로 번역할 수 있거나, 또는 캐릭터들의 픽쳐들을 그것들을 나타내는 표준 인코딩 스킴(scheme)(예컨대 ASCII 또는 Unicode)로 번역할 수 있다. 동시에, 광학식 문자 인식(OCR) 시스템들은 현재 기존의 1D 또는 2D 비주얼 태깅 시스템들만큼 모듈화되어 있지 않다. 그러나 OCR 시스템들은 큰 잠재성을 가지고 있는데, 그 이유는 텍스트가 오늘날 보편적으로 이용가능하고 널리 퍼져 있기 때문이다. 이 점에 관해서는, 특별한 1D와 2D 바코드 태그 들을 프린트하고 배치할(deploy) 필요성이 감소한다. 또한 OCR 시스템들은 예컨대 1D 또는 2D 바코드들이 보편화하지 않을 수 있거나 존재하지않을 수 있는 표지판(sign)들, 상품 라벨들, 제품들, 및 기타 등등 상에서 많은 상이한 시나리오들 및 애플리케이션들을 통해 적용될 수 있다. 또한 OCR이 사용될 수 있는 다른 하나의 애플리케이션은 언어 번역으로 구성된다. OCR 탐색 및 애플리케이션의 긴 역사가 있었다는 견해에도 불구하고, OCR을 이동 비주얼 탐색 시스템에 통합시키는 것은 현재 탐구되지 않았다.

이동 단말 기기들 내 카메라의 유비쿼터스 기능이 있다고 가정할 때, 사용자의 경험을 향상시키고 더 효율적인 정보의 전송을 하도록 카메라를 구비한 이동 전화기상에서 사용될 수 있는 이동 비주얼 탐색 시스템 내에 OCR을 결합시키거나 통합시키는 이동 탐색 시스템을 개발할 필요가 존재한다. 또한 1D 바코드 및 2D 바코드, Semacode, Shotcode 기타 등등과 같은, 특별히 설계되고 모듈화된 코드-기반 비주얼 태깅 시스템들과 상이한 방식으로 이동 탐색 능력들을 확장시킬 수 있는 장래 이동 비주얼 탐색 애플리케이션들에 대한 필요가 또한 존재한다. 특별히 설계되고 모듈화된 코드-기반 비주얼 태깅 시스템들이 장래에 일정 시장 점유율을 유지할 수 있을 것이라는 기대를 함과 동시에, 예컨대 코드-기반 시스템만을 이용하는 많은 애플리케이션이 장래에는 충분하지 않을 것이라는 예측도 또한 할 수 있다. 코드-기반 비주얼 태깅 시스템들이 전형적으로 모듈화될 수 있을 것이라는 전제하에, 더 일반적인 이동 비주얼 탐색 시스템과 코드-기반 태깅 시스템을 결합시킬 필요가 존재하고, 이것은 차례로 사용자들에게는 작업들을 수행하고, 통신하고, 스스로 즐 기고, 정보를 수집하고/분석하는 것을 제공할 뿐만 아니라 네트워크 운영자, 셀룰러 서비스 제공자 기타 등에게는 시장 점유율에서의 상당한 증가를 할 수 있게 할 것이다.

OCR 시스템들뿐만 아니라 기존의 1D 및/또는 2D와 비주얼 탐색 시스템을 통합시키는 것이 장래의 이동 탐색 사업에서 중요하지만, 상이한 알고리즘들 및 기능성들을 이음매 없이 결합시키는 방법과 관련하여 어려움이 생긴다. 즉, 이런 1D 및/또는 2D 태깅 시스템들, OCR 시스템들, 및 비주얼 시스템들이 함께 적절하게 동작가능하게 하도록 아키텍처 및 시스템 설계가 적용되어야 하는 방식에 관련하여 어려움이 생긴다.

전술한 것에 비추어 볼 때, 전술한 어려움을 해결하고 처리하고, 또한 태깅 및 검색 메커니즘들을 포함하는 이동 비주얼 탐색 시스템 내에 코드-기반 태깅 시스템들의 상이한 타입들뿐만 아니라 OCR을 결합 또는 그 안으로 통합시키는 방식을 확인하는 혁신적인 설계에 대한 필요성이 존재한다.

방법들, 기기들, 이동 단말들, 및 컴퓨터 프로그램 제품들이 단일의 통합된 시스템을 형성하기 위해 코드-기반(code-based) 탐색 알고리즘, 및 광학식 문자 인식(OCR) 탐색 시스템을 비주얼 탐색 시스템에 결합할 수 있는 설계들에 관련된다. 이런 설계들은 콘텍스트-기반, 감지-기반, 사용자 입력 기반, 통계적 프로세싱 기반 및 태그 기반 설계들을 포함하지만 이에 제한되는 것은 아니다.

이런 설계들은 OCR, 및 코드-기반 기능(예컨대 1D/2D 바코드들)을 단일의 통합된 비주얼 탐색 시스템으로 통합시키는 것을 가능케 한다. 본 발명의 예시적인 실시 예들은 사용자들이 탐색 애플리케이션들[즉 OCR 탐색, 코드-기반 탐색, 및 객체 기반 비주얼 탐색]을 단일의 탐색 시스템들로 결합시키는 사용자 인터페이스 및 단일 플랫폼의 혜택을 얻을 수 있도록 허용한다. 본 발명의 통합된 비주얼 탐색 시스템은 예컨대 카메라 전화기를 텍스트(또한 다른 서비스들)에 들이댈 때, 번역 또는 백과사전 기능을 제공할 수 있고, 카메라 전화기를 객체들에 들이댈 때 전형적인 비주얼 탐색 시스템을 통해서 다른 정보 및 서비스들을 이용가능하게 할 수 있다(예컨대 사용자는 카메라 모듈(36)과 같은 카메라 전화기를 날씨 정보에 액세스하기 위해 하늘에 들이대고, 리뷰를 보기위해 레스토랑 정면에 들이대고, 사양 및 판매자 정보를 보기 위해 자동차에 들이댄다). 1D 또는 2D 코드, OCR 데이터 기타 등등에 들이댈 때, 본 발명의 예시적인 실시 예의 통합된 탐색 시스템은 코드 또는 OCR 데이터 내에 임베디드된 콘텐츠 또는 구매 가능성, 제품에 대한 비교 쇼핑 정보를 제공할 수 있다.

하나의 예시적인 실시 예에서, 비주얼 탐색 시스템, 코드-기반 탐색 및 OCR 탐색을 통합시키기 위한 방법 및 기기가 제공된다. 기기 및 방법은 미디어 콘텐츠를 수신하고, 미디어 콘텐츠와 연관된 데이터를 분석하고, 복수의 알고리즘들 중에서 제1 알고리즘을 선택하는 것을 포함한다. 상기 기기 및 방법은 제1 알고리즘을 실행하고, 그리고 제1 알고리즘에 따라 하나 이상의 탐색들을 수행하고, 그리고 하나 이상의 탐색들에 기반하여, 미디어 콘텐츠에 대응하는 하나 이상의 후보들을 수신하는 것을 더 포함한다.

다른 하나의 예시적인 실시 예에서, 비주얼 탐색 시스템, 코드-기반 탐색 및 OCR 탐색을 통합시키기 위한 방법 및 기기가 제공된다. 상기 기기 및 방법은 미디어 콘텐츠 및 메타 정보를 수신하고, 하나 이상의 탐색 알고리즘들을 실행하고, 그리고 미디어 콘텐츠에 대해 하나 이상의 탐색들을 실행하고, 그리고 대응하는 결과들을 수집하는 것을 포함한다. 상기 기기 및 방법은 상기 결과들을 수신하고, 그리고 하나 이상의 인자(factor)들에 기반하여 상기 결과들에 우선순위를 매기는 것을 더 포함한다.

다른 하나의 예시적인 실시 예에서, 비주얼 탐색 시스템, 코드-기반 탐색 및 OCR 탐색을 통합시키기 위한 방법 및 기기가 제공된다. 상기 기기 및 방법은 미디어 콘텐츠 및 메타 정보를 수신하고, 복수의 탐색 알고리즘들 중에 제1 탐색 알고리즘을 실행하고, 그리고 상기 미디어 콘텐츠와 연관된 하나 이상의 태그들의 제1 타입을 감지하는 것을 포함한다. 상기 기기 및 방법은, 하나 이상의 태그들 중 제2 타입과 제3 타입이 상기 미디어 콘텐츠와 연관되었는지를 판정하고, 상기 복수의 탐색 알고리즘들 중에 제2 탐색 알고리즘을 실행하고, 그리고 하나 이상의 태그들 중 상기 제2 타입 및 상기 제3 타입에 연관된 데이터를 감지하고, 하나 이상의 후보들을 수신하는 것을 더 포함한다. 상기 기기 및 방법은, 하나 이상의 태그들 중 상기 제2 타입과 상기 제3 타입에 대응하는 데이터를 포함하는 상기 하나 이상의 후보들 중 각각의 하나를 하나 이상의 태그들 중 상기 제1 타입에 대응하는 상기 하나 이상의 후보들 중 각각의 하나에 삽입하는 것 [이 경우 상기 제1 타입, 제2 타입, 및 제3 타입은 상이하다]을 더 포함한다.

따라서 일반적인 용어들을 써서 본 발명을 설명하고, 꼭 확대축소로 그려지지는 않은, 첨부된 도면들에 대한 참조가 이제 주어질 것이다.

도 1은 본 발명의 예시적인 실시 예에 따른 이동 단말의 개략적인 불록도이고;

도 2는 본 발명의 예시적인 실시 예에 따른 무선 통신 시스템의 개략적인 블록도이고;

도 3은 본 발명의 예시적인 실시 예들에 따라 위치 정보를 사용하는 1D/2D 이미지 태깅 또는 광학식 문자 인식(OCR) 시스템과 함께 통합된 이동 단말의 비주얼 탐색 시스템의 개략적인 블록도이고;

도 4는 본 발명의 예시적인 실시 예들에 따라 콘텍스트 정보 및 규칙들을 사용하는 1D/2D 이미지 태깅 또는 광학식 문자 인식(OCR) 시스템과 함께 이동 단말의 비주얼 탐색 시스템의 개략적인 블록도이고;

도 5는, 위치 정보를 사용해서 비주얼 탐색 기술, 코드-기반 탐색, 및 OCR 탐색을 통합하는 탐색 모듈의 예시적인 실시 예의 개략적인 블록도이고;

도 6은, 위치 정보를 사용해서 비주얼 탐색 기술, 코드-기반 탐색, 및 OCR 탐색을 통합하는 탐색 모듈의 동작 방법에 대한 흐름도이고;

도 7은, 규칙들 및 메타 정보를 이용해서 코드-기반 탐색 및 OCR 탐색과 비주얼 탐색을 통합시키는 탐색 모듈의 대안적인 예시적인 실시 예의 개략적인 블록도이고;

도 8은, 규칙들 및 메타 정보를 이용해서 코드-기반 탐색 및 OCR 탐색과 비주얼 탐색을 통합시키는 탐색 모듈의 동작 방법에 대한 흐름도이고;

도 9는, 이미지 감지를 이용해서 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 통합시키는 탐색 모듈의 대안적인 예시적인 실시 예의 개략적인 블록도이고;

도 10은, 이미지 감지를 이용해서 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 통합시키는 탐색 모듈의 동작 방법에 대한 흐름도이고;

도 11은, 시각화(visualization) 엔진을 이용해서 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 통합시키는 탐색 모듈의 대안적인 예시적인 실시 예의 개략적인 블록도이고;

도 12는, 시각화(visualization) 엔진을 이용해서 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 통합시키는 탐색 모듈의 동작 방법에 대한 흐름도이고;

도 13은, 사용자의 입력을 이용해서 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 통합시키는 탐색 모듈의 대안적인 예시적인 실시 예의 개략적인 블록도이고;

도 14는, 사용자의 입력을 이용해서 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 통합시키는 탐색 모듈의 동작 방법에 대한 흐름도이고;

도 15는, 통계적 프로세싱을 이용해서 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 통합시키는 탐색 모듈의 대안적인 예시적인 실시 예의 개략적인 블록도이고;

도 16은, 통계적 프로세싱을 이용해서 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 통합시키는 탐색 모듈의 동작 방법에 대한 흐름도이고;

도 17은 코드-기반 태그들 및/또는 OCR 태그들을 비주얼 탐색 태그 결과들로 임베디드하기 위한 탐색 모듈의 대안적인 예시적인 실시 예의 개략적인 블록도이고; 그리고

도 17은 코드-기반 태그들 및/또는 OCR 태그들을 비주얼 탐색 태그 결과들로 임베디드하기 위한 탐색 모듈의 동작 방법에 대한 흐름도이다.

본 발명의 실시 예들은 본 발명의 전부가 아닌 일부가 도시된 첨부된 도면들을 참조하여 이제부터 더 상세하게 설명될 것이다. 물론 본 발명은 많은 다른 형태들로 구체화될 수 있고, 여기서 설명된 실시 예들에 제한되어서는 않되고; 오히려 이런 실시 예들은 본 명세서가 적용가능한 법률 조건을 충족시키도록 제공된 것이다. 동일한 참조 번호들은 명세서 전체를 통해 동일한 엘리먼트들을 가리킨다.

도 1은 본 발명의 이점을 가질 이동 단말(10)의 블록도를 도해한다. 그러나 도해된 이동 단말과 이후 설명될 이동 단말은 본 발명의 이점을 얻을 이동 단말의 하나의 타입일 뿐이고, 따라서 본 발명의 범위를 제한하는 것으로 간주되어서는 않된다는 것을 알아야 한다. 이동 단말(10)의 몇몇 실시 예들이 도해되었고, 이후에 예시 목적으로 설명될 것이지만, PDA(portable digital assistant), 페이저들, 이동 텔레비전들, 랩톱 컴퓨터들, 및 음성 및 텍스트 통신 시스템들의 다른 유형들이 본발명에 쉽게 채용될 수 있다. 또한 이동 방식(mobile)이 아닌 기기들 또한 본 발명의 실시 예들에서 쉽게 채용될 수 있다.

또한 본 발명의 방법의 몇몇 실시 예들이 이동 단말(10)에 의해 수행되거나 사용되었지만, 그 방법은 이동 단말 이외의 수단에 의해서도 사용되어 질 수 있다. 또한 본 발명의 시스템 및 방법이 이동 통신 애플리케이션들과 연관하여 우선적으로 설명되어질 것이다. 그러나 본 발명의 시스템 및 방법은 이동 통신 산업과 이동 통신 사업 외부 모두에서 다양한 다른 애플리케이션들과 연관하여 사용될 수 있다는 것을 알아야 한다.

이동 단말(10)은 전송기(14) 및 수신기(16)와 통신하여 동작할 수 있는 안테나(12)를 포함한다. 이동 단말(10)은 전송기(14) 및 수신기(16) 각각으로부터 신호들을 송수신시키는 컨트롤러(20) 또는 다른 프로세싱 엘리먼트를 더 포함한다. 신호들은 적용가능한 셀룰러 시스템의 무선(air) 인터페이스 표준에 따르는 정보, 및 사용자 스피치(speach) 및/또는 사용자에 의해 발생된 데이터를 시그널링하는 것을 포함한다. 이런 관점에서, 이동 단말(10)은 하나 이상의 무선 인터페이스 표준들, 통신 프로토콜들, 변조 타입들, 및 액세스 타입들을 써서 동작할 수 있다. 예시로서, 이동 단말(10)은 다수의 제1, 2, 및/또는 3 세대 통신 프로토콜들 기타 등등 중 어느 것에 따라 통신할 수 있다. 예컨대 이동 단말(10)은 제2 세대(2G) 무선 통신 프로토콜들 IS-136 (TDMA), GSM, 및 IS-95 (CDMA) 또는 제3 세대 무선 통신 프로토콜 WCDMA(Wideband Code Division Multiple Access)을 동작시킬 수 있다.

컨트롤러(20)가 이동 단말(10)의 오디오 및 논리 기능들을 구현하기 위해 필요한 회로를 포함한다는 것을 알아야 한다. 예컨대 컨트롤러(20)는 디지털 신호 프로세서 기기, 마이크로프로세서 기기, 및 다양한 아날로그/디지털 컨버터들, 디지 털/아날로그 컨버터들, 및 다른 지원 회로들로 구성될 수 있다. 이동 단말(10)의 제어 및 신호 처리 기능들은 각각의 성능들에 따라 이들 기기들 사이에 할당된다.따라서 컨트롤러(20)는 변조 및 전송 전에 메시지 및 데이터를 컨벌루션(convolutionally) 인코딩 및 인터리빙(interleaving)하기 위한 기능을 또한 포함할 수 있다. 컨트롤러(20)는 내부 보이스 코더를 더 포함할 수 있고, 내부 데이터 모뎀을 더 포함할 수 있다. 또한 컨트롤러(20)는 메모리 내에 저장될 수 있는 하나 이상의 소프트웨어 프로그램들을 동작시키는 기능을 포함할 수 있다. 예컨대 컨트롤러(20)는 종래의 웹 브라우저와 같은, 연결 프로그램을 동작시킬 수 있다.그 다음에 연결 프로그램은 이동 단말(10)로 하여금 예컨대 WAP(Wireless Application Protocol)에 따라, 위치 기반 콘텐츠와 같은 웹 콘텐츠를 송수신하도록 허용할 수 있다.

이동 단말(10)은 통상적인 이어폰 또는 스피커(24), 링거(22), 마이크로폰(26), 디스플레이(28) 및 사용자 입력 인터페이스와 같은 출력 기기[모두 컨트롤러(20)에 연결된다]를 포함할 수 있다. 이동 단말(10)로 하여금 데이터를 수신하도록 허용하는 사용자 입력 인터페이스는 이동 단말(10)로 하여금 데이터를 수신하도록 허용하는 많은 기기들[예컨대 키패드(30), 터치 디스플레이(미도시) 또는 다른 입력 기기] 중 일부를 포함할 수 있다. 키패드(30)를 포함하는 실시 예들에서, 키패드(30)는 이동 단말(10)을 동작시키기 위해 사용될 수 있는 종래의 숫자(0-9) 및 관련 키들(#,*),및 다른 키들을 포함할 수 있다. 대안적으로 키패드(30)는 종래의 쿼티(QWERTY) 키패드를 포함할 수 있다. 이동 단말(10)은 감지할 수 있는 출력과 같은 기계적 진동을 선택적으로 제공할 뿐만 아니라, 이동 단말(10)을 동작시키기 위해 요구되는 다양한 회로들에 전력을 공급하는 진동 배터리 팩과 같은, 배터리(34)를 더 포함할 수 있다.

예시적인 실시 예들에서, 이동 단말(10)은 컨트롤러(20)와 연결된 카메라 모듈(36)을 포함한다. 카메라 모듈(30)은 저장, 디스플레이 전송을 위해 이미지, 비디오 클립, 비디오 스트림을 캡처하는 수단일 수 있다. 예컨대 카메라 모듈(36)은 기록된 비디오 데이터로부터 비디오 스트림, 캡처된 이미지, 또는 뷰(view) 내의 객체로부터 디지털 이미지 파일을 형성할 수 있는 디지털 카메라를 포함할 수 있다. 카메라 모듈(36)은 이미지를 캡처하고, 1D 및 2D 바코드, QR 코드들, Semacode, Shotcode, data matrix code, 및 다른 코드-기반 데이터, OCR 데이터 기타 등등을 판독하고 감지할 수 있다. 이처럼 카메라 모듈(36)은 렌즈, 센서, 스캐너 또는 다른 광학 기기와 같은 하드웨어, 기록된 비디오 데이터로부터 비디오 스트림 또는 캡처된 이미지로부터 디지털 이미지 파일을 생성하고, 또한 코드-기반 데이터를 판독하기 위해 필요한 소프트웨어를 포함한다. 선택적으로, 카메라 모듈(36)은 이미지, 또는 비디오 스트림을 보기 위해 필요한 하드웨어만을 포함할 수 있고, 이동 단말(10)의 메모리 기기가 기록된 비디오 데이터로부터 비디오 스트림 또는 캡처된 이미지로부터 디지털 이미지 파일 생성하기 위해 필요한 소프트웨어 형태이며 컨트롤러(20)에 의해 실행되는 명령어들을 저장한다. 예시적 실시 예에서, 카메라 모듈(36)은 OCR 데이터뿐만 아니라 이미지 데이터, 비디오 스트림을 프로세싱하는데 컨트롤러(20)를 보조하는 코-프로세서(co-processor)와 같은 프로세 싱 엘리먼트, 및 이미징 데이터, 비디오 스트림, 코드-기반 데이터, OCR 데이터 기타 등등을 압축 및/또는 압축해제하기 위한 인코더 및/또는 디코더를 더 포함할 수 있다. 인코더 및/또는 디코더는 JPEG 표준 포맷 기타 등등에 따라 인코딩 및/또는 디코딩을 할 수 있다. 덧붙여서, 또한 선택적으로, 카메라 모듈(36)은 예컨대 첫번째 사람 카메라 뷰(a first person camera view) 및 세 번째 사람 맵 뷰(a third person map view)와 같은 하나 이상의 뷰들을 포함할 수 있다.

이동 단말(10)은 컨트롤러(20)와 통신하는 GPS 모듈(70)을 더 포함할 수 있다. GPS 모듈(70)은 이동 단말(10)의 위치를 찾기 위한 수단일 수 있다. 또한 GPS 모듈(70)은 카메라 모듈(36)에 의해 판독되거나 캡처된 이미지 내에서 예컨대 상점, 서점, 레스토랑, 커피 숍, 백화점, 제품, 기업 기타 등등과 같은 관심 지점(POIs : points of interests)[이는 이런 POI들에 부착, 즉 태깅된 1D, 2D 바코드들, QR 데이터들, Semacodes, Shotcodes, data matrix codes,(또는 다른 적합한 코드-기반 데이터), ORC 데이터 기타 등등을 가질 수 있다]의 위치를 찾기 위한 수단일 수 있다. 이와 같이 여기에서 사용되는 관심 지점들은 제품들 또는 다른 객체들 기타 등등과 같은 사용자에게 관심있는 엔티티를 포함할 수 있다. GPS 모듈(70)은 이동 단말의 위치, 또는 이미지 내 POI를 찾기 위한 모든 하드웨어를 포함할 수 있다. 선택적으로 또는 덧붙여서, GPS 모듈(70)은 이미지 내의 POI 또는 이동 단말의 위치를 판정하기 위해 필요한 소프트웨어 형태이며, 컨트롤러(20)에 의해 실행되는 명령어들을 저장하기 위해 이동 단말(10)의 메모리 기기를 이용할 수 있다. 또한 GPS 모듈(70)은 이동 단말(10)의 위치, 하나 이상의 POI들의 위치, 및 하나 이상의 코드-기반 태그들 및 OCR 데이터 태그들의 위치를 아래에서 전체적으로 설명될 비주얼 탐색 데이터베이스(51) 및 비주얼 탐색 서버(54)와 같은 서버로 전송기(14)/수신기(16)를 경유해서 송/수신하기 위해 컨트롤러(20)를 이용할 수 있다.

이동 단말은 또한 탐색 모듈(68, 78, 88, 98, 108, 118, 및 128)과 같은 탐색 모듈을 더 포함한다. 탐색 모듈은 이동 단말의 카메라 모듈(10)이 POI들, 코드-기반 데이터, OCR 데이터 기타 등등에 들이 대어졌을 때, POI들, 코드-기반 데이터, OCR 데이터 기타 등등이 카메라 모듈(36)의 시역 내에 있을 때, POI들, 코드-기반 데이터, OCR 데이터 기타 등등이 카메라 모듈에 의해 이미지 내에서 캡쳐되었을 때, POI(즉, 사용자에게 관심있는 임의의 물리적 엔티티), 코드-기반 데이터, OCR 데이터 기타 등등과 연관된 데이터를 수신할 수 있으며 컨트롤러(20)(또는 탐색 모듈 내부의 코-프로세서(미도시))에 의해 실행되는, 하드웨어 및/또는 소프트웨어의 수단을 포함할 수 있다. 탐색 모듈은 탐색 서버(54)와 상호작용할(interacting) 수 있고, 또한 그것은 카메라 모듈 이미지 입력, 이미지 모션을 트랙킹하거나 감지, 이동 단말(10)의 사용자에게 적절한 결과들을 디스플레이(28)를 통해 디스플레이하기 위한 필수적인 사용자 인터페이스 및 메커니즘들 뿐만 아니라 POI들, 코드-기반 데이터 및 OCR 데이터, 기타 등등과 연관된 관련 정보를 얻기 위해 탐색 서버와 통신하는 것과 같은 카메라 모듈(36)의 기능들을 제어할 책임이 있다. 예시적인 대안 실시 예에서, 탐색 모듈(68, 78, 88, 98, 108, 118 및 128)은 카메라 모듈(36)의 내부에 위치할 수 도 있다.

탐색 모듈(68)은 이동 단말(10)의 사용자로 하여금 각각의 POI, 코드-기반 데이터 및/또는 OCR 데이터, 기타 등등과 관련된 다수의 행동들의 리스트 내(예컨대 메뉴 또는 서브메뉴내)에서 하나 이상의 행동들로부터 선택하는 것을 가능케할 수 있다. 예컨대 그 행동들 중 하나는 한 지리적 영역 내에서 다른 유사한 POI들(즉 후보들)을 탐색하는 것을 포함하지만 이에 제한되는 것은 아니다. 예컨대 사용자가 카메라 모듈을 (예컨대 이 POI 내에 있는) HONDA™ 사에 의해 제조된 자동차에 댄다면, 이동 단말은 예컨대 FORD™, CHEVROLET™, etc과 같은 다른 자동차 제조업체들과 관련된 후보들의 메뉴 또는 리스트를 디스플레이할 수 있다. 다른 하나의 예로서, 이동 단말의 사용자가 예컨대 제품과 관련된 1D 또는 2D 바코드에 카메라 모듈을 댄다면, 이동 단말이 이런 유사한 제품들과 관련된 정보를 담고 있는 다른 유사 제품들 또는 URL들의 목록을 디스플레이할 수 있다. 이런 유사한 POI들에 관련된 정보는 메모리 내의 사용자 프로파일 내에 저장될 수 있다.

이동 단말(10)은 사용자 식별 모듈(UIM : user identity module)을 더 포함할 수 있다. UIM(38)은 전형적으로 프로세서가 내장된 메모리 기기이다. UIM(38)은 예컨대 SIM(subscriber identity module), UICC(universal integrated circuit card), USIM(universal subscriber identity module), R-UIM(removable user identity module) 기타 등등을 포함할 수 있다. UIM(38)은 전형적으로 이동 단말 가입자에 관련된 정보 엘리먼트들을 저장한다. UIM(38)에 더하여, 이동 단말(10)에 메모리가 장착될 수 있다. 예컨대 이동 단말(10)은 데이터의 임시 저장용 캐시 영역을 포함하는 RAM(Random Access Memory)과 같은 휘발성 메모리(40)를 포함할 수 있다. 이동 단말(10)은 임베디드되고/또는 분리가능한 다른 비휘발성 메모리(42)를 또한 포함할 수 있다. 비휘발성 메모리(42)는 예컨대 California주 Sunnyvale의 SanDisk 회사, 또는 California주 Fremont의 Lexar Media 회사에서 입수가능한 것과 같은 EEPROM,플래시 메모리 기타 등등을 추가하여 또한 선택적으로 포함할 수 있다. 메모리들은 이동 단말(10)의 기능들을 구현하기 위해 이동 단말(10)에 의해 사용되는 데이터, 및 정보의 다수의 조각 piece)을 모두 저장할 수 있다. 예컨대 메모리들은 고유하게 이동 단말(10)을 식별할 수 있는 IMEI(international mobile equipment identification) 코드와 같은 식별자를 포함할 수 있다.

이제 도 2를 참조하면, 본 발명으로 부터 이익을 얻을 수 있는 시스템 중 하나의 타입이 도해된다. 시스템은 복수의 네트워크 기기들을 포함한다. 도시된 것과 같이, 하나 이상의 이동 단말(10)은 신호를 기지 사이트(base station) 또는 기지국(base station, BS)(14)에 전송하거나, 신호를 기지국으로부터 수신하기 위한 안테나(12)를 포함할 수 있다. 기지국(44)은 네트워크를 동작시키 위해 필요한 엘리먼트들[예컨대 이동 스위칭 센터(MSC : mobile switching center)(46)]을 각각 포함하는 하나 이상의 셀룰러 네트워크 또는 이동 네트워크의 일부일 수 있다. 당업자에게 공지된 바와 같이, 이동 네트워크는 기지국/MSC/상호연동 기능부(BMI : BaseStation/MSC/Interworking function)로서 또한 지칭될 수 있다. 동작에서 MSC(46)는 이동 단말(10)이 호출을 하거나 호출을 수신했을 때 이동 단말(10)로 그리고 그로부터 호출을 라우팅할 수 있다. 이동 단말(10)이 통화중일 경우 유선 트렁크(landline trunks)에 연결도 제공할 수 있다. 뿐만 아니라, MSC(46)은 이동 단말(10)로 메시지를 전달하거나, 이동 단말(10)로부터 메시지를 전달받는 것을 제어 할 수 있고, 이동 단말(10)을 위한 메시지를 메시지 센터에 전달하거나 메시지 센터로부터 수신하는 것을 제어할 수도 있다. MSC(46)가 도 2의 시스템 내에서 도시되었지만, MSC(46)는 단지 예시적인 네트워크 기기이고, 본 발명은 MSC를 사용하는 네트워크 내에서의 사용에 제한되지 않는다.

MSC는 지역 네트워크(LAN), 도시 지역 네트워크(MAN : metropolitan area network), 및/또는 광대역 통신망(WAN : wide area network)과 같은 데이터 네트워크에 연결될 수 있다. MSC는 데이터 네트워크에 직접 연결될 수 있다. 그러나, 본 발명의 전형적인 실시예에서, MSC(46)는 게이트웨이(GTW)(48)에 연결되고, 게이트웨이(GTW)(48)는 인터넷(20)과 같은 WAN에 연결된다. 또한, 프로세싱 요소(processing element)와 같은 기기들(개인용 컴퓨터, 및 서버 컴퓨터 및 이와 같은 기기들)도 인터넷(50)을 통해 이동 단말(10)에 연결될 수 있다. 예를 들어, 후술되는 바와 같이 프로세싱 요소는 컴퓨팅 시스템(52)(도 2에 도시된다), 비주얼 탐색 서버(54)(도 2에 도시된다), 비주얼 탐색 데이터베이스(51), 또는 이와 같은 것과 관련되는 하나 또는 그 이상의 프로세싱 요소를 포함할 수 있다.

또한, BS(44)는 신호를 보내는 GPRS(범용 패킷 무선 서비스)(General Packet Radio Service) 지원 노드(SGSN)(56)에 연결될 수도 있다. 당업자에게 공지된 바와 같이, SGSN(56)은 전형적으로 패킷 교환 서비스를 위한 MSC(46)과 유사한 동작을 수행할 수 있다. MSC(46)와 같은 SGSN은 인터넷(50)과 같은 데이터 네트워크에 연결될 수 있다. SGSN(56)은 데이터 네트워크에 직접 연결될 수 있다. 그러나, 더 전형적인 실시예에서, SGSN(56)은 GPRS 코어 네트워크(58)와 같은 패킷-교환 코어 네 트워크에 연결된다. 그러면, 패킷-교환 코어 네트워크는 GTW GPRS 지원 노드(GGSN)(60)와 같은 다른 GTW(48)에 연결되고, GGSN(60)은 인터넷에 연결된다.GGSN(60)에 더하여, 패킷 교환 코어 네트워크는 GTW(48)에 또한 연결될 수 있다. 또한, GGSN(60)은 메시지 센터에 연결될 수 있다. 이러한 관점에서, GGSN (60)및 MSC(46)와 같은 SGSN(56)은 MMS 메시지와 같은 메시지들의 전달을 제어할 수 있다. GGSN(60) 및 SGSN(56)은 또한 이동 단말(10)이 메시지 센터로 메시지를 전달하거나 메시지 센터로부터 메시지를 전달받는 것을 제어할 수도 있다.

게다가, SGSN(56)를 GPRS 코어 네트워크(58) 및 GGSN(60)에 연결시킴으로써, 컴퓨팅 시스템(52) 및/또는 비주얼 맵 서버(54)와 같은 기기들은 인터넷(50), SGSN (56)및 GGSN(60)을 통하여 이동 단말(10)에 연결될 수 있다. 이러한 점에서, 컴퓨팅 시스템(52) 및/또는 비주얼 맵 서버(54)와 같은 기기들은 SGSN(56), GPRS 코어 네트워크(58) 및 GGSN(60)을 통해서 이동 단말(10)과 통신할 수 있다. 이동 단말(10)과 다른 기기들(예컨대 컴퓨팅 시스템(52), 비주얼 맵 서버(54), 기타 등등)을 인터넷(50)에 직간접적으로 연결시킴으로써, 이동 단말(10)은 다른 기기들과 그리고 서로 간에, 예컨대 HTTP(Hypertext Transfer Protocol)에 따라서, 통신함으로써, 이동 단말(10)의 다양한 기능들을 실행할 수 있게 된다.

모든 가능한 네트워크의 모든 엘리먼트가 도시되고 설명되지는 않았지만, 이동 단말(10)이 BS(44)를 통해 다수의 상이한 네트워크 중 하나 이상에 연결될 수 있다는 것을 알아야 한다. 이런 관점에서 네트워크(들)은 다수의 제1 세대(1 Generation), 제2 세대(2 Generation), 및 2.5 세대(2.5 Generation), 제3 세대(3 Generation) 및/또는 장래의 이동 통신 프로토콜들 및 유사한 것들 중 하나 이상에에 따르는 통신을 지원할 수 있다. 예를 들어, 네트워크(들) 중 하나 이상은 제2 세대 무선 통신 프로토콜 IS-136(TDMA), GSM, 및 IS-95(CDMA)에 따라서 동작할 수 있다. 또한, 예를 들어 네트워크(들) 중 하나 이상은 제2.5 세대 무선 통신 프로토콜들 GPRS, 개선된 데이터 GSM 환경(EDGE: Enhanced DATA GSM Environment), 또는 유사한 것에 따라서 동작할 수 있다. 네트워크(들) 중 하나 이상은 부가적으로 WCDMA(Wideband Code Division Multiple Access) 무선 액세스 개술을 사용하는 범용 이동 전화 시스템(UMTS : Universal Mobile Telephone System) 네트워크와 같은 제3 세대 무선 통신 프로토콜에 따라 통신을 지원할 수 있다. 듀얼 또는 높은 이동국들(예를 들어, 디지털/아날로그 또는 TDMA/CDMA/아날로그 폰들)이 그러하듯이, TACS 뿐 아니라 협대역 AMPS(NAMPS: Narrow-band AMPS), 이동국은 또한 본 발명의 실시예에서 이익을 얻는다.

이동 단말(10)은 하나 이상의 무선 액세스 포인트들(APs : Access Points)(62)에 더 연결될 수 있다. 무선 액세스 포인트들(APs)(62)은 예를 들면, 무선 주파수(RF : Radio Frequency), 블루투스(Bluetooth), 위브리(Wibree), 적외선(IrDA :Infrared) 또는 IEEE 802.11 (e.g., 802.11a, 802.11b, 802.11g, 802.11 n, etc.)과 같은 무선랜(WLAN) 기술들, IEEE 802.16과 같은 WiMAX 기술들, 및/또는 IEEE 802.15과 같은 UWB(ultra wideband) 기술 등 기타 이와 유사한 것을 포함하는 다수의 다른 무선 네트워킹 기술들 중 하나와 같은 기술들에 따라 이동 단말(10)과 통신하도록 구성된 액세스 포인트들을 포함할 수 있다. 무선 액세스 포인트 들(APs)(62)은 인터넷(50)에 연결될 수 있다. MSC(46)과 유사하게, 무선 액세스 포인트들(APs)(62)은 인터넷(50)에 직접적으로 연결될 수 있다. 그러나 일 실시 예에, 무선 액세스 포인트들(APs)(62)은 GTW(48)를 통해 인터넷에 간접적으로 연결될 수 있다. 또한 일 실시 예에서, BS(44)는 다른 하나의 무선 액세스 포인트들(APs)(62)과 같이 간주될 수 있다. 예상되는 바와 같이, 인터넷(50)에 이동 단말(10), 컴퓨팅 시스템(52), 비주얼 탐색 서버(54), 및/또는 다수의 다른 기기들 중 어느 것들을 직간접적으로 연결시킴으로써, 이동 단말(10)은 서로 간에 통신하고, 컴퓨팅 시스템(52), 및/또는 비주얼 탐색 서버(54)와 비주얼 탐색 데이터 베이스(51) 등과 통신함으로써, 데이터, 콘텐츠 또는 이와 유사한 것의 전송, 및/또는 콘텐츠, 데이터, 또는 이와 유사한 것의 컴퓨팅 시스템(52)으로부터의 수신과 같은 이동 단말(10)의 다양한 기능들을 실행하도록 할 수 있다. 예컨대 비주얼 탐색 서버는 탐색 모듈(68)로부터의 요청들을 핸들링하고, 또한 비주얼 탐색 정보를 저장 및 검색하기 위해 비주얼 탐색 데이터베이스(51)와 상호작용한다. 비주얼 탐색 서버(54)는 맵 서버(96)에 의해 제공되는, 지리적 영역과 관련된 맵 데이터 또는 이와 유사한 데이터, 하나 이상의 이동 단말(10)의 장소 또는 위치, 하나 이상의 POI들 또는 코드-기반 데이터, OCR 데이터 또는 이와 유사한 데이터를 제공할 수 있다. 또한 비주얼 탐색 서버(54)는 POI들과 같은 타깃 객체들과 관련된 다양한 형태의 데이터를 이동 단말의 탐색 모듈(68)로 제공할 수 있다. 또한 비주얼 탐색 서버(54)는 코드-기반 데이터, OCR 데이터 또는 이와 유사한 데이터를 이동 단말의 탐색 모듈(68)에 제공할 수 있다. 예컨대 비주얼 탐색 서버가 이동 단말의 탐색 모 듈(68)로부터 카메라 모듈이 ID, 2D 바코드, Semacode, Shotcode, QR code, data matrix code (통틀어서, 코드-기반 데이터로 지칭) 및/또는 예컨대 텍스트 데이터와 같은 OCR 데이터의 이미지를 감지, 판독, 스캔, 또는 캡쳐 했다는 표시를 수신하면, 비주얼 탐색 서버(54)는 코드-기반 데이터 및/또는 OCR 데이터를 POI(point-of-interest) 데이터베이스(74) 내에 저장된 연관 데이터와 비교할 수 있고, 디스플레이(28)를 통해 디스플레이하기 위해, 예컨대 주어진 제품(들)에 대한 비교 쇼핑 정보, 구매 능력들 및/또는 URL 또는 웹페이지와 같은 콘텐츠 링크들을 탐색 모듈에 제공한다. 즉 카메라 모듈이 이미지에서 감지, 판독, 스캔, 캡쳐한 코드-기반 데이터 및 OCR 데이터는 비교 쇼핑 정보, 구매 능력들 및/또는 콘텐츠 링크 기타 이와 유사한 것에 관한 정보를 담고 있다. 이동 단말이 콘텐츠 링크(예컨대 URL)를 수신했을 때, 이동 단말은 디스플레이(28)를 통해 대응하는 웹페이지를 디스플레이하기 위해 자체 웹 브라우저를 이용할 수 있다. 또한 비주얼 탐색 서버(54)는 예컨대 카메라 모듈(36)에 의해 감지된 도로 표지판 상의 텍스트와 같은 OCR 데이터를 이동 단말의 지리적 영역 내 및/또는 도로 표지판의 지리적 영역 내의 맵 데이터 및/또는 방향들과 같은, 맵서버(96)에 의해 제공되는 관련 데이터를 통해 비교할 수 있다. 상술한 것은 코드-기반 데이터 및/또는 OCR 데이터와 연관될 수 있는 데이터의 예들일 뿐이고, 이런 관점에서 임의의 적합한 데이터가 코드-기반 데이터 및/또는 여기서 설명된 OCR 데이터와 연관될 수 있다는 것을 주목해야 한다.

또한 비주얼 탐색 서버(54)는 카메라 모듈(36)에 의해 캡쳐되거나 획득된 이미지들 또는 비디오 클립들(또는 텍스트 데이터, 오디오 데이터, 그래픽 애니메이 션들, 코드-기반 데이터, OCR 데이터, 그림들, 사진들 기타 이와 유사한 것들을 포함하는 임의의 적합한 미디어 콘텐츠)에 대해 비교를 수행할 수 있고, 이런 이미지들 또는 비디오 클립들, 또는 이런 이미지 또는 비디오 클립과 관련된 정보가 비주얼 탐색 서버(54) 내에 저장되어 있는지 여부를 판정한다. 또한 비주얼 탐색 서버(54)는 POI 데이터베이스 서버(74)를 통해, 카메라 모듈(36)에 의해 캡쳐되거나 감지되는 하나 이상의 이미지들 또는 비디오 클립들(또는 다른 미디어 콘텐츠)와 연관될 수 있는 POI들과 같은 하나 이상의 타깃 객체들 관련된 정보의 다양한 타입들을 저장할 수 있다. 하나 이상의 POI들에 관련된 정보는 하나 이상의 태그들[예컨대 카메라 모듈(36)에 의해 캡쳐, 감지, 스캔되거나 판독되는 물리적 객체 상의 태그]에 링크될 수 있다. 하나 이상의 POI들에 관련된 정보는 디스플레이를 위해 이동 단말(10)로 전송될 수 있다. 또한 비주얼 탐색 데이터베이스(51)는 관련된 비주얼 탐색 정보[비주얼 탐색 정보는 텍스트 데이터, 오디오 데이터, 그래픽 애니메이션, 그림들, 사진들, 비디오 클립들, 이미지들을 포함하는 미디어 콘텐츠, 및 예컨대 웹 링크들, 지리적 위치 데이터, 콘텍스트(contextual) 정보 기타 이와 유사정보와 같은 빠르고 효율적인 검색을 위한 미디어 콘텐츠와 연관된 메타 정보를 포함하지만 이에 제한되는 것은 아니다]를 저장할 수 있다. 또한 비주얼 탐색 데이터베이스(51)는 하나 이상의 POI들의 지리적 위치와 관련된 데이터를 저장할 수 있고, POI의 위치, POI와 관련된 제품 정보 등을 포함하지만 이에 제한되지 않는 다양한 POI에 관련된 데이터를 저장할 수 있다. 비주얼 탐색 데이터베이스(51)는 코드-기반 데이터, OCR 데이터 등을 저장할 수 있고, 또한 제품 정보, 가격, 맵 데이 터, 방향들, 웹 링크들 등을 포함하지만 이에 제한되지는 않는, 코드-기반 데이터, OCR 데이터 관련 데이터를 저장할 수 있다. 비주얼 탐색 서버(54)가 비주얼 탐색 데이터베이스(51)로부터 정보를 송수신할 수 있고, 이동 단말과 인터넷(50)을 통해 통신할 수 있다. 유사하게, 비주얼 탐색 서버(51)는 비주얼 탐색 서버(54)와 통신할 수 있고, 대안적으로 또는 추가적으로 WLAN, 블루투스, 위브리 또는 이와 유사한 전송을 통해 또는 인터넷(50)을 통해 통신할 수 있다. 비주얼 탐색 입력 제어/인터페이스(98)는 비주얼 탐색 데이터베이스(51)로 데이터를 입력하기 위하여, 예컨대 사업 소유자들, 제품 제조업체들, 회사와 같은 사용자들을 위해 인터페이스로서 역할을 한다. 데이터가 비주얼 탐색 데이터베이스로 입력되는 방식을 제어하는 메커니즘은 탄력적이고, 예를 들면, 새로이 입력된 데이터가 위치, 이미지, 시간 등에 기초하여 입력될 수 있다. 사용자들은 하나 이상의 객체들과 관련된 OCR 데이터 또는 1D 바코드, 2D 바코드, QR 바코드, Semacode, Shotcode, (i.e., 코드-기반 데이터), POI들, 제품들 등(부가 정보 포함)을 비주얼 탐색 데이터베이스(51)에, 비주얼 탐색 입력 제어/인터페이스(98)를 통해 입력할 수 있다. 예시적인 비제한적인 실시 예에서, 비주얼 탐색 입력 제어/인터페이스(98)가 비주얼 탐색 데이터 베이스의 외부에 위치될 수 있다. 여기서 사용된 용어들 "데이터(data)", "컨텐트(content)", "정보(information)" 그리고 유사한 용어들은, 전송될 수 있고, 수신될 수 있고 및/또는 본 발명의 실시예들에 따라 저장될 수 있는 데이터를 지칭하는데 교환적으로 사용될 수 있다. 따라서, 그러한 용어들의 사용은 본 발명의 사상 및 범위를 제한하여서는 안된다.

도 2에 미도시되었지만, 이동 단말(10)을 컴퓨팅 시스템(52)에 인터넷(50)을 통해 연결하는 대신에 또는 이에 더하여, 이동 단말(10) 및 컴퓨팅 시스템(52)이 서로 간에 연결될 수 있고, 예컨대, RF, BT, IrDA, 또는 LAN, WLAN, WiMAX 및/또는 UWB 기술들을 포함하는 상이한 다수의 통신 기술들 중 어느 하나에 따라 통신할 수 있다. 컴퓨팅 시스템들(52)의 하나 이상이 이후에 이동 단말(10)로 전송될 수 있는 콘텐츠를 저장할 수 있는 분리형 메모리를 추가적으로 또는 대안적으로 포함할 수 있다. 또한 이동 단말(10)은 프린터들, 디지털 프로젝터들, 및/또는 다른 멀티미디어 캡처, 생산(producing), 및/또는 저장 기기들(예컨대 다른 단말들)에 연결될 수 있다. 컴퓨팅 시스템(52)과 유사하게, 이동 단말은 RF, BT, IrDA, 또는 LAN, WLAN, WiMAX 및/또는 UWB 기술들을 포함하는 상이한 다수의 통신 기술들 중 어느 하나에 따라 휴대용 전자 기기들과 통신할 수 있다.

도 3을 참조하면, 서버(94)의 블록도가 도시된다. 도 3에 보이는 것과 같이, 서버(94)(또한 본 명세서에서 비주얼 탐색 서버(54), POI 데이터베이스(74), 비주얼 탐색 입력 제어/인터페이스(98), 비주얼 탐색 데이터베이스(51) 및 비주얼 탐색 서버(54)로 또한 지칭됨)는, 제품 제조업체, 제품 광고주, 기업 소유주, 서비스 제공자, 네트워크 운영자 등으로 하여금, 예컨대 POI와 같은 타깃 객체에 관련된 관련 정보는 물론, 코드-기반 데이터(예컨대 웹 링크들 또는 제품 정보)에 연관된 정보 및/또는 OCR 데이터와 연관된 정보(예컨대 상품 라벨, 웹페이지, 웹 링크, 업종별 번호란(yellow pages) 정보, 이미지, 비디오, 연락처 정보, 주소 정보, 빌딩, 위치 정보, 맵 데이터와 같은 중간지점(waypoint)과 같은 위치 정보)를 메모리(93) 내에 저장하기 위해 (인터페이스(95)를 통해) 입력을 하도록 허용할 수 있다. 서버(94)는 일반적으로 인터페이스(95) 및 사용자 입력 인터페이스(91)는 물론 메모리(93)에 연결된 프로세서(94), 컨트롤러 등을 보통 포함한다. 프로세서는 인터페이스(95) 또는 데이터, 콘텐츠 또는 유사한 것을 전송하거나 및/또는 수신하기 위한 다른 수단에 또한 연결될 수 있다. 메모리는 휘발성 및 또는 비휘발성 메모리를 포함할 수 있으며, 전형적으로 위에서 언급된 하나 이상의 POI, 코드-기반 데이터는 물론 OCR 데이터를 저장할 수 있다. 메모리(93)는 프로세서가 본 발명의 실시예들에 따라 서버의 동작과 관련된 단계들을 수행하기 위한 소프트웨어 어플리케이션들, 지시들(instructions), 또는 유사한 것을 전형적으로 저장할 수 있다. 이런 관점에서, 메모리는 POI 데이터, 코드-기반 데이터, OCR 데이터는 물론, POI 데이터, 코드-기반 데이터, OCR 데이터 등과 연관된 데이터를 저장, 업로딩/다운로딩하고, 그리고 POI 데이터, 코드-기반 데이터, OCR 데이터 및 그 각각의 연관된 데이터를 이동 단말(10)로/로부터 그리고 비주얼 탐색 서버는 물론 비주얼 탐색 데이터베이스로/로부터, 전송/수신하기 위해 소프트웨어 명령어들(프로세서에 의해 실행된다)을 담고 있을 수 있다. 사용자 입력 인터페이스(91)는 사용자로 하여금 데이터를 입력하고, 다양한 형태의 데이터를 선택하고, 메뉴 또는 서브메뉴를 탐색하는 것을 허용하는 임의 수의 기기들을 포함할 수 있다. 이런 관점에서, 사용자 입력 인터페이스는 조이스틱(들), 키패드, 버튼(들), 소프트키(들) 또는 다른 입력 기기(들)을 비 제한적인 예로서 포함한다.

도 4를 참조하면 POI 데이터, 코드-기반 데이터, OCR 데이터를 통합하는 시 스템이 제공된다. 시스템은 이동 단말(10)과 통신하는 비주얼 탐색 서버(54)와 비주얼 탐색 데이터베이스(51)를 포함한다. 비주얼 탐색 서버(54)는 이미지들 또는 비디오 클립들 또는 임의의 다른 데이터(에컨대 미디어 콘텐츠의 다른 타입들)은 물론, POI 데이터를 POI 데이터베이스(74) 내에, 맵 데이터, 장소, 또는 위치 정보를 맵 서버(96) 내에 저장할 수 있는 하드웨어 또는 소프트웨어와 같은 임의의 기기 또는 수단일 수 있다. 또한 위에서 언급된 것과 같이, 비주얼 탐색 서버(54) 및 POI 데이터베이스(74)는 코드-기반 데이터, OCR 데이터 등을 또한 저장할 수 있고, 코드-기반 데이터 및 OCR 데이터와 연관된 데이터를 또한 저장할 수 있다. 또한 비주얼 탐색 서버(54)는 소프트웨어 명령어들의 실행을 포함하는 기능들을 수행하거나 실행하기 위한 프로세서(96)를 포함할 수 있다(도 3을 참조한다). 미디어 콘텐츠는 이동 단말(10)의 사용자를 위하여 비주얼 탐색 서버의 메모리(93) 내에 저장된 사용자 프로파일에 대응할 수 있는, 이미지, 비디오 클립들, 오디오 데이터, 텍스트 데이터, 그래픽 애니메이션들, 사진들, 그림들, 코드-기반 데이터, OCR 데이터 등을 포함하지만 이에 제한되는 것은 아니다. 카메라 모듈(36)이 객체들의 이미지를 캡쳐하거나, 감지, 판독 스캔한 객체들이 비주얼 탐색 서버에 제공되고, 맵 서버(96)에 의해 객체들의 위치에 관한 위치 또는 지리적 정보에 링크될 수 있다. 유사하게 비주얼 탐색 데이터베이스(51)는 POI(points-of-interest), 코드-기반 데이터, OCR 데이터 등에 관한 정보를 저장할 수 있는 하드웨어 또는 소프트웨어와 같은 수단 또는 기기일 수 있다. 비주얼 탐색 데이터베이스(51)는 기능들 또는 소프트웨어 명령어들을 수행하거나 실행하는 프로세서(96)를 포함할 수 있다(도 3을 참조). 미디어 콘텐츠는 이동 단말(10)의 사용자를 위해 메모리(93) 내에 저장된 사용자 프로필에 대응할 수 있다. 미디어 콘텐츠는 비주얼 탐색 데이터베이스(51) 내에 비주얼 탐색 입력 제어/인터페이스(98)를 통해 로딩될 수 있고, 기업 소유주, 제품 제조업체, 광고주, 및 회사 또는 다른 적절한 엔티티를 위해 비주얼 탐색 데이터베이스에 저장될 수 있다. 또한 다양한 형태의 정보는 POI와 관련된 위치, 장소, 또는 지리적 데이터와 같은 POI 정보, 그리고 예컨대 제품 ID(indentification), 가격, 품질, 웹 링크, 구매 능력, 비교 쇼핑 정보 등을 포함하지만 이에 제한되지는 않는 제품 정보와 연관있을 수 있다. 위에서 언급된 것과 같이, 비주얼 탐색 광고주 입력 제어/인터페이스(98)는 비주얼 탐색 데이터베이스(51) 내에 포함될 수 있거나 비주얼 탐색 데이터베이스(51)의 외부에 위치될 수 있다.

본 발명의 예시적인 실시 예들이 이제 이동 비주얼 탐색 데이터를 예컨대 1D 또는 2D 이미지 태그들/바코드들과 같은 코드-기반 데이터 및/또는 OCR 데이터와 통합하기 위한 탐색 모듈의 일정 엘리먼트들이 제공되는 도 5-18을 참조하여 설명될 것이다. 도 5, 7, 9, 11, 13, 15 및 17의 탐색 모듈의 엘리먼트들 중 일부가 예컨대 도 1의 이동 단말(10)과 도 4의 비주얼 탐색 서버(54)에서 이용될 수 있다. 그러나, 도 5, 7, 9, 11, 13, 15 및 17의 탐색 모듈이 이동과 고정을 포함하는 다양한 다른 기기들에서도 사용될 수 있고, 따라서 본 발명은 본 발명의 실시 예들이 이동 단말의 애플리케이션에 관해서 아래에서 더 상세하게 설명할지라도, 도 1의 이동 단말(10)과 도 4의 비주얼 탐색 서버(54)와 같은 기기상의 애플리케이션에 제 한되어서는 안된다. 아래의 이런 설명은 예시일 뿐이고 제한이 아니다. 예컨대 도 5, 7, 9, 11, 13, 15 및 17의 탐색 모듈은 카메라, 비디오 리코더, 등에서 사용될 수 있다. 또한 도 5, 7, 9, 11, 13, 15 및 17의 탐색 모듈은 이동 단말(10)의 기기, 컴포넌트, 엘리먼트, 또는 모듈에서 사용될 수 있다. 도 5, 7, 9, 11, 13, 15 및 17은 탐색 모듈들의 구성 예를 도해하지만, 많은 다른 구성이 또한 본 발명을 구현하기 위해 사용될 수 있다는 것을 또한 주목해야 한다.

도 5 및 도 6을 이제 참조하면, 위치 정보를 사용해서 코드-기반 탐색 기술및 OCR 탐색 기술과, 비주얼 탐색 기술을 통합하는 탐색 모듈의 동작을 위한 예시적인 엘리먼트 및 흐름도가 도해된다. 탐색 모듈(58)은 위치에 기반하여, 비주얼 탐색, 코드-기반 탐색, 및 OCR 탐색 사이에서 스위칭을 할 수 있는 하드웨어 및/또는 소프트웨어를 포함하는 기기 또는 수단일 수 있다. 예컨대 컨트롤러(20)가 탐색 모듈(68)의 기능들을 수행하기 위해 소프트웨어 명령어들을 실행할 수 있거나, 탐색 모듈(68)이 비주얼 탐색, 코드-기반 탐색, 및 OCR 탐색 사이에서 스위칭하기 위한 소프트웨어 명령어들을 실행시키는 내부 코프로세서를 가질 수 있다. 미디어 콘텐츠 입력부(67)는 카메라 모듈(36) 또는 이동 단말의 임의의 다른 모듈로부터 미디어 콘텐츠를 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다.

이동 단말(10)의 카메라 모듈(36)이, 예컨대 감지되고, 판독되고, 스캔되는 객체와 같은 미디어 콘텐츠(이미지(들), 비디오 클립(들)/비디오 데이터, 그래픽 애니메이션 등)에 들이 대어졌을(pointed) 때, 또는 카메라 모듈(36)이 객체의 이 미지, 즉 미디어 콘텐츠를 캡쳐했을 때(단계 600), 탐색 모듈(68)은 메타-정보 입력부(69)를 통해 객체의 위치를 판정할 수 있고/또는 GPS 모듈(70)에 의해 제공되는 이동 단말(10)의 위치를 이용할 수 있고(또는 셀 식별, 삼각법(triangulation) 또는 임의의 적합한 메커니즘과 같은 기술들을 사용할 수 있다)(단계 601), 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 또는 코드-기반 알고리즘(63) 중에서 어떤 탐색 알고리즘을 선택 및/또는 스위칭할 것인지 여부를 판정하고, 연속하여 선택된 알고리즘을 실행한다(단계 602 & 단계 603). 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 또는 코드-기반 알고리즘(63)은 비주얼 탐색, 코드-기반 탐색, 및 OCR 탐색을 각각 수행할 수 있는 하드웨어 및/또는 소프트웨어의 수단에 의해서 구현되고 구체화될 수 있다. 알고리즘 스위치(65)는 임의의 수단 또는 하드웨어 및/또는 소프트웨어일 수 있고, 주어진 위치가 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 또는 코드-기반 알고리즘(63)에 할당되었는지를 판정하기 위한 하나 이상의 규칙들에 의해 정의될 수 있다. 예컨대 알고리즘 스위치(65)가 메타-정보 입력부(69)를 통해 수신된, 미디어 콘텐츠의 위치 또는 대안적으로는 이동 단말(10)의 위치가 일정 영역 예컨대 캘리포니아 오클랜드의 외곽 내에 있는지를 판정한다면, 알고리즘 스위치는 이 위치(즉 캘리포니아 오클랜드 외곽)에 기초하여 비주얼 탐색 능력(capability)들이 이 위치에 할당되었는가를 판정할 수 있고, 그 탐색 모듈의 비주얼 탐색 알고리즘(61)을 인에이블시킨다(enable). 이런 관점에서, 탐색 모듈(68)은 카메라 모듈에 의해 들이대어지거나 캡쳐된 이미지와 연관된 정보를 탐색할 수 있다. 예컨대 카메라 모듈(36)이 이미지를 캡쳐했거나 SONY™사에 의해 만들 어진 스테레오와 같은 제품에 대어졌다면, 이 이미지는 미디어 콘텐츠 입력부(67)를 통해 비주얼 탐색 서버(51)에 제공될 수 있고, 그것은 디스플레이(28)에서의 디스플레이를 위해 이동 단말의 탐색 모듈로 송신되는, 예컨대 스테레오, 가격, 제품 사양 특징들 등을 디스플레이하는 SONY™사 웹사이트로의 링크들와 같은 스테레오의 이미지(즉 리스트 내에 제공될 수 있는 후보들)와 연관된 정보를 식별할 수 있다(단계 604). 비주얼 탐색 서버(51) 내에 저장되고, 카메라 모듈(36)에 의해 캡쳐되고 그리고/또는 카메라 모듈에 의해 가리켜진 POI 또는 미디어 콘텐츠(예컨대 이미지 데이터, 비디오 데이터)와 연관된 데이터가, 비주얼 탐색 알고리즘(61)이 호출되었을 때 이동 단말의 탐색 모듈(68)에 제공되며 디스플레이(28) 상에 디스플레이될 수 있다는 것을 주목해야 한다. 탐색 모듈(68)에 제공된 정보는 비주얼 탐색 서버(68)에 의해 POI 데이터베이스(74)를 통해 또한 검색될 수 있다.

알고리즘 스위치(65)가 이동 단말 및/또는 미디어 콘텐츠(67)의 위치가 다른 지리적 영역 예컨대 캘리포니아 로스앤젤레스에 대응한다고 판정했을 때, 알고리즘 스위치는 이동 단말이 예컨대 캘리포니아 로스앤젤레스 내에 위치된 상점들(예컨대 서점, 식료품점, 백화점 등) 내의 코드-기반 알고리즘(63)에 의해 제공되는 코드-기반 탐색을 얻을 것인지를 판정할 수 있다. 이와 관련해서, 탐색 모듈(68)은 카메라 모듈이 이런 코드-기반 데이터 중 일부에 들이 대어졌을 때, 바코드(들)과 같은 1D 및/또는 2D 태그(들), Semacode, Shotcode, QR codes, data matrix codes 및 임의의 적합한 코드-기반 데이터를 감지, 판독, 스캔할 수 있다. 카메라 모듈(36)이 1D 및/또는 2D 바코드와 같은 코드-기반 데이터를 가리켰을 때, 1D 및/또는 2D 바 코드가 감지되고, 판독되고, 또는 스캔되었을 때, 바코드 내에 임베디드되거나 태깅되고, 연관된 데이터[예컨대 제품, 가격, 비교 쇼핑 정보 등에 관한 URL]는, 비주얼 탐색 서버(54)[비주얼 탐색 서버는 메모리(93) 및/또는 POI 데이터베이스(74)로부터 정보를 디코딩하고 검색할 수 있고 이 정보를 디스플레이(28)상에 디스플레이하기 위해 이동 단말의 탐색 모듈(68)에 송신한다]에 제공될 수 있다. 코드-기반 데이터의 태그 또는 바코드 내 연관된 임의 정보는 비주얼 탐색 서버에 제공되고, 비주얼 탐색 서버에 의해 검색되고, 그리고 디스플레이(28) 상의 디스플레이를 위해 탐색 모듈(68)에 제공될 수 있다는 것을 주목해야 한다.

다른 하나의 예로서, 알고리즘 스위치(65)는 미디어 콘텐츠(67) 및/또는 이동 단말의 위치가 예컨대 구형, 사각형, 또는 다른 주어진 지리적 지역 반경 내 근접 기반 형태 내인 지역 또는 지리적 영역 내에 있다는 것을 또한 판정할 수 있다. 알고리즘 스위치(65)는 미디어 콘텐츠(67) 및/또는 이동 단말의 위치가 다운 타운 로스앤젤레스 (외곽 및 교외 지역의 반대 의미) 내에 있을 때, 이동 단말은 예컨대 OCR 알고리즘(62)에 의해 제공된 OCR 탐색 능력들을 얻을 수 있고, 그리고 미디어 콘텐츠(67) 및/또는 이동 단말의 위치가 다운 타운 로스 앤젤레스 외곽 또는 교외 지역에 위치한다고 판정되었을 때, 이동 단말은 예컨대 코드-기반의 알고리즘(63)에 의해 제공된 코드-기반 탐색 능력을 얻을 수 있다는 것을 결정할 수 있다. 예컨대 이동 단말의 위치가 다운 타운 로스 앤젤레스 외곽 지역에 위치한 상점 또는 물리적 코드-기반 데이터를 갖는 다른 물리적 엔티티들 (예컨대 서점, 식료품점이나 백화점 등) 내에 있을 때, 이동 단말은 예컨대 OCR 알고리즘(62)에 의해 제공 된 의해 제공된 코드-기반 탐색 능력을 얻을 수 있다. 반대로, 미디어 콘텐츠 및/또는 이동 단말의 위치가 다운 타운 로스앤젤레스 (외곽 및 교외 지역의 반대 의미) 내에 있을 때, 카메라 모듈이 예컨대 도로 표지판과 같은 객체상의 텍스트 데이터에 들이 대어졌을 때, 탐색 모듈은 도로 표지판에(또는 임의의 다른 객체) 있는 텍스트 데이터를 OCR을 사용하여 감지하거나, 판독하거나, 또는 스캔하고, 이 OCR 정보는 비주얼 탐색 서버(54)에 제공될 수 있고, 비주얼 탐색 서버(54)는 도로 표지판 근처의 맵 데이터 및/또는 방향과 같은 연관된 데이터(맵 서버(96)를 경유하여) 검색할 수 있다.

또한 알고리즘 스위치(65)는 미디어 콘텐츠 및/또는 이동 단말의 위치가 사용자의 본국 (e.g., 프랑스) 이외의 나라에 있을 때, 이동 단말은 예컨대 OCR 알고리즘(62)에 의해 제공된 의해 제공된 코드-기반 탐색 능력을 얻을 수 있다는 것을 결정할 수 있다. 이와 관련, 객체상의 텍스트 데이터의 OCR 탐색들(예컨대 프랑스어로 쓰여진 프랑스 내 도로 표지판들)이 예컨대 영어(또는 사용자의 본국에서 지배적으로 사용되는 언어(예컨대 사용자의 본국이 미국이면 영어이다))와 같은 하나 이상의 언어들로 번역될 수 있다. 이 OCR 정보(예컨대 프랑스어로 쓰여진 텍스트 데이터)가 비주얼 탐색 서버(54)에 제공되고, 그 비주얼 탐색 서버(54)는 예컨대 프랑스 텍스트를 영어로 번역하는 연관된 데이터를 검색할 수 있다. 이와 관련하여, OCR 알고리즘(62)은 해외를 여행하는 여행자들에게 해택을 줄 수 있다. 위의 상황은 예시일 뿐이고 OCR 알고리즘(62)이 호출되었을 때, 그 탐색 모듈에 의해 감지되거나, 판독되거나, 스캔된 OCR 데이터에 대응하는 적절한 데이터가 비주얼 탐 색 서버(54)에 제공되어서, 검색되고, 비주얼 탐색 서버(54)에 의해 그 탐색 모듈로 디스플레이(28)상의 디스플레이를 위해 송신될 수 있다는 것을 주목해야 한다.

또한 알고리즘 스위치(65)는 정의된 지역 외곽[즉 알고리즘 스위치의 규칙들 내에서 지정되어지지 않은 지역들]으로 식별되는 위치들에 사용될 디폴트 인식 알고리즘/엔진을 또한 할당할 수 있다. 그 지역들은 탐색 모듈의 메모리(미도시) 내에 정의될 수 있다. 예컨대 알고리즘 스위치가 미디어 콘텐츠(67) 및/또는 이동 단말의 위치가 이 캘리포니아 외곽(즉 정의된 지역의 외곽 위치)에 있다는 표시를 메타-정보 입력부(69)를 통해 수신했을 때, 알고리즘 스위치(65)는 이동 단말(10)이 비주얼 탐색 알고리즘(61)을 통해서 예컨대 비주얼 탐색 능력들을 획득한다는 것을 결정할 수 있다. 환언하면, 알고리즘 스위치가 미디어 콘텐츠(67) 또는 이동 단말의 위치가 정의된 지역 외부에 있다고 판정했을 때, 알고리즘 스위치는 이동단말에 의해 불리워질 디폴트 탐색 애플리케이션으로서, 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 코드-기반 알고리즘(63)과 같은 인식 엔진을 선택할 수 있다.

도 7과 도 8을 이제 참조하면, 규칙들 및 메타 정보를 이용해서 코드-기반 탐색 및 OCR 탐색과 비주얼 탐색(예컨대 이동 비주얼 탐색)을 통합시키는 탐색 모듈의 동작을 위한 흐름도 및 예시적인 실시 예가 제공된다. 탐색 모듈(78)에서, 알고리즘 스위치(75)가 이동 단말(10)의 카메라 모듈 또는 임의의 적합한 기기로부터, 미디어 콘텐츠 입력부(67)를 통해 미디어 콘텐츠를 제공받을 수 있다(단계 800). 또한 알고리즘 스위치(75)는 규칙 세트에 의해 정의될 수 있고, 그 규칙 세트는 어떤 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 코드-기반 알고리즘(63) 과 같은 인식 엔진이 불려지거나 인에이블될 것인 가를 결정한다. 이와 관련하여 규칙 세트는, 입력으로서 메타 정보를 취하는 알고리즘 스위치(75)에 의해 적용될 수 있다. 이 규칙 세트 내 규칙들은 예컨대 네트워크 운영자인, 운영자에 의해 메타-정보 입력부(49)를 경유해서 알고리즘 스위치(75)로 입력될 수 있고, 또는 이동 단말의 사용자에 의해 키패드(30)를 사용해서 입력될 수 있다(단계 801). 또한 이 규칙들은 논리 함수들 또는 소프트웨어 명령어들의 형태를 취할 수 있지만 필수적은 아니다. 위에서 언급된 것과 같이, 알고리즘 스위치(75) 내에 정의된 규칙들은, 이동 단말의 사용자 또는 운영자에 의해 입력된 메타 정보에 의해 정의될 수 있고, 메타 정보의 예들은 지리적 위치, 시각, 계절, 날씨, 및 이동 단말의 사용자의 특성들, 제품 세그먼트들 또는 현실세계 속성들 또는 특징들과 연관된 임의의 다른 적합한 데이터를 포함할 수 있지만 이에 제한되는 것은 아니다.

규칙 세트 내 메타 정보에 기초하여, 알고리즘 스위치/규칙 엔진(75)은 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 코드-기반 알고리즘(63) 중에서 어떤 알고리즘이 탐색 모듈에 의해 사용될 것인가를 판정하는 출력을 계산할 수 있다(단계 802). 알고리즘 스위치(75)의 출력에 기초하여, 대응하는 알고리즘이 실행되고 (단계 803), 카메라 모듈(36)에 의해 가리켜지거나 또는 캡쳐된 미디어 콘텐츠와 관련된 후보들의 리스트가 생성된다. 예컨대, 규칙 세트 내 메타 정보가 예컨대 날씨 정보로 구성되어 있다면, 알고리즘 스위치(75)는 이동 비주얼 탐색 알고리즘(61)이 적용되어야 한다고 결정할 수 있다. 이와 같이, 이동 단말의 사용자가 하늘에 카메라를 들이 대었을 때, 예컨대 하늘에 대한 정보와 연관된 정보(예컨대 하늘의 이미 지)가 비주얼 탐색 서버(54)와 같은 서버에 제공되어지고, 비주얼 탐색 서버(54)는 하늘과 연관된 정보와 매칭하는 정보가 있는지를 판정하고, 매칭하는 정보가 있다면, 비주얼 탐색 서버(54)는 탐색 모듈(68)에게 디스플레이(28)상에 디스플레이될 후보들의 리스트를 제공한다(단계 805; 아래의 선택적인 단계 804에 대한 논의를 참조한다). 이런 후보들은 THE WEATHER CHANNEL™ 웹사이트로로의 URL 또는 ACCU WEATHER™ 웹사이트로의 URL과 같이, 사용자의 주변 영역에 대한 날씨 관련 정보를 포함할 수 있다. 규칙 세트 내 메타 정보는 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 코드-기반 알고리즘(63) 중 적어도 하나와 링크될 수 있다. 다른 하나의 예에서, 메타 정보가 규칙 세트 내 지리적 위치로 구성되어 있다면, 이동 단말의 운영자 또는 사용자는 이 지리적 위치를 코드-기반 탐색 알고리즘과 링크시킬 수 있다. 이와 같이 이동 단말 및/또는 미디어 콘텐츠(67)의 위치가 예컨대 GPS 모듈(70)에 의해 판정되고, 그리고 알고리즘 스위치(75)에 제공되어 졌을 때 (도 1 참조), 알고리즘 스위치(75)는 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 코드-기반 알고리즘(63) 중 하나를 적용할 것을 결정할 수 있다. 이 예에서 알고리즘 스위치(75)가 코드-기반 알고리즘(63)를 적용한다고 가정한다. 이와 같이 위치 정보가 예컨대 슈퍼마켓을 식별한다면, 지리적 위치 정보가 슈퍼마켓과 관련있을 때, 알고리즘 스위치가, 이동 단말(10)의 카메라 모듈(36)로 하여금 1D 및 2D 바코드 등을 감지하거나, 판독하거나, 스캔하도록 허용하고, 가격 정보, URL, 비교 쇼핑 정보 및 다른 적합한 정보를 비주얼 탐색 서버(54)로부터 검색하는 코드-기반 알고리즘(65)을 인에이블 시킬 수 있도록 하는 것을 규칙으로 지정할 수 있다.

규칙 세트 내 메타 정보가 제품 세그먼트로 구성되어 있다면, 이 메타 정보는 OCR 알고리즘(62)(또는 비주얼 탐색 알고리즘 또는 코드-기반 알고리즘)에 링크될 수 있다. 이와 관련하여, 이동 단말의 사용자가 자동차(또는 사용자와 관련있는 다른 제품(예컨대 POI))에 카메라를 들이 대었을 때, 알고리즘 스위치(65)는 OCR 알고리즘(62)이 호출되어야 한다고 결정할 수 있다. 이와 같이 탐색 모듈(68)은 가리켜진(들이 대어진) 자동차의 메이크(make) 및/또는 모델의 텍스트를 감지하거나, 판독하거나, 스캔할 수 있고, 비주얼 탐색 서버(54)에 의해 후보들의 리스트를 제공받을 수 있다. 예컨대 후보들은 HONDA™, FORD™ 등에 의해 제조된 차량의 딜러(dealerships), 메이크 또는 모델로 구성될 수 있다.

1D 및 2D 이미지 태그 알고리즘과 같은 코드-기반 알고리즘(63) 또는 OCR 알고리즘(62)이 실행되는 상황에서, 카메라 모듈(36)에 의해 들이 대어지고 그리고/또는 카메라 모듈에 의해 감지되거나, 판독되거나, 스캔되어지는 미디어 콘텐츠(67)에 대응하는 하나 이상의 후보들이 발생될 수 있다는 것을 주목해야 한다. 코드-기반 알고리즘이 호출되었고 카메라 모듈이 들이대어지거나 바코드의 이미지를 캡쳐했을 때, 바코드와 연관된 대응하는 데이터가 비주얼 탐색 서버에 송신될 수 있고, 비주얼 탐색 서버는 탐색 모듈에게 예컨대 바코드가 부착될 제품관련 URL과 같은 단일의 후보를 제공하거나, 또는 비주얼 탐색 서버는 가격 정보 등과 같은 단일 후보를 제공할 수 있다. 그러나 본 발명의 예시적인 실시 예들에 따라, OCR 알고리즘 또는 코드-기반 알고리즘이 실행되었을 때, 카메라 모듈이 들이 대어지거나, 혹은 OCR 데이터 또는 코드-기반 데이터의 이미지를 감지하거나, 스캔하거나, 판독했을 때 하나 이상의 후보들이 생성될 수 있다. 예컨대 1D/2D 바코드는 가격 정보, 시리얼 넘버, URL들, 타깃 제품(즉 카메라 모듈에 의해 가리켜진 제품)과 관련된 제품들을 운반하는 근처 상점과 연관된 정보 등에 태깅될 수 있고 이 정보가 탐색 모듈에 의해 비주얼 탐색 서버로 송신되었을 때, 이동 단말의 알고리즘 스위치 또는 비주얼 탐색 서버는 디스플레이(28)를 통해 디스플레이할 관련 또는 연관 데이터를 결정할 수 있다.

알고리즘 스위치(65) 내에 정의된 규칙 세트에 기반하여, 알고리즘 스위치(65)는 이동 단말 또는 미디어 콘텐츠(67)(예컨대 들이 대어진 타깃 객체 또는 카메라 모듈(36)에 의해 캡처된 객체 또는 이미지)의 현재 위치에 기반하여, 어떤 알고리즘을 적용할 것인가를 또한 결정할 수 있다. 즉, 알고리즘 스위치(65) 내에 정의된 규칙 세트가 정의되어서, 그 결과 하나의 위치 내에서 주어진 탐색 알고리즘(예컨대 비주얼 탐색 알고리즘, OCR 알고리즘 또는 코드-기반 알고리즘 중 하나)이 선택되나, 다른 하나의 위치에서는 상이한 알고리즘이 선택되도록 할 수 있다. 예를 들어, 알고리즘 스위치(65)의 규칙들이 정의될 수 있어서, 그 결과 서점 내(즉 주어진 위치)에서는, 코드-기반 알고리즘이 선택되어서 카메라 모듈이 (예컨대 책 위의) 1D/2D 바코드 등에 들이 대어질 수 있고, 다른 위치에서 예컨대 서점 밖(즉 상이한 위치)에서는, 알고리즘 스위치 내에 정의된 규칙들이 비주얼 탐색 알고리즘(61)을 호출하고 인에이블시켜서 카메라 모듈로 하여금 타겟 객체들(즉 POI들)에 들이 대어지게 하거나, 그 이미지들을 캡처 가능케할 수 있고, 타겟 객체들과 관련된 정보를 비주얼 탐색 서버로 송신하고, 그 비주얼 탐색 서버는 이동 단말의 탐색 모듈에게 대응 정보를 제공할 수 있다. 이와 관련하여, 탐색 모듈은 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 코드-기반 알고리즘(63)인 탐색 알고리즘 사이에 스위칭을 할 수 있다.

위에서 논의된 예시적인 실시 예에서, 알고리즘 스위치(75) 내에 입력되고 구현되는 메타 정보가 비주얼 탐색 시스템에서 이용가능한 메타 정보의 서브셋트일 수 있다. 예컨대 메타 정보가 지리적 위치, 시각, 계절, 날씨, 및 이동 단말의 사용자의 특성들, 제품 세그먼트들 등을 포함할 수 있지만, 알고리즘 스위치는 예컨대 비주얼 탐색 시스템에서 이용가능한 메타 정보의 서브셋트인, 지리적 위치 및 제품 세그먼트에만 기반할 수 있다. 알고리즘 스위치(75)는 규칙 세트를 이동 단말 상에 또는 비주얼 탐색 서버(54) 및 비주얼 탐색 데이터베이스(51)와 같은 하나 이상의 서버들 또는 데이터베이스들 상에 연결시키거나 접근시킬 수 있다.

대안적인 예시적 실시 예에서, 선택적인 제2 패스 비주얼 탐색 알고리즘(64)이 제공된다. 이 예시적인 실시 예는 하나 이상의 후보들이 코드-기반 이미지 태그(예컨대 1D/2D 이미지 태그 또는 바코드) 또는 OCR 데이터를 통해 생성되었던 상황을 해결한다. 이와 관련해서, 알고리즘 스위치(75)가 제2 패스 비주얼 탐색 알고리즘(64)을 인에이블하면 추가적 태그들이 감지되거나, 판독되거나, 또는 스캔될 수 있다. 제2 패스 비주얼 탐색 알고리즘(64)은 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 코드-기반 알고리즘(63)과 같은 다른 알고리즘과 병행하여, 선행하여 또는 이후에 선택적으로 동작할 수 있다. 제2 패스 비주얼 탐색 알고리즘(64)의 애플리케이션의 예로서, 카메라 모듈이 들이 대어지거나 캠코더와 같은 제품(e.g. 미 디어 콘텐츠(67))를 캡쳐하는 상황을 고려한다. 제품 정보가 탐색 모듈(78)에 의한 코드-기반 탐색을 인에이블시키는 코드-기반 알고리즘(63)을 호출함으로써, 카메라 모듈에 의해 감지되거나, 판독되거나, 스캔될 캠코더 상의 바코드와 같은 바코드(를) 인에이블시키고 이동 단말로 하여금 바코드와 관련된 정보를 비주얼 탐색 서버(54)로 송신하는 것을 인에이블 시키도록 알고리즘 스위치(75) 내에 정의된 규칙들이 정의될 수 있다. 비주얼 탐색 서버는 캠코더와 관련된 정보를 갖는 웹페이지에 대한 URL과 같은 후보를 이동 단말에게 송신한다. 또한 코드-기반 알고리즘(63)이 가동된 이후에, 제2 패스 비주얼 탐색 알고리즘(64)이 알고리즘 스위치(75)에 의해 인에이블되어서(또는 대안적으로는 제2 패스 비주얼 탐색 알고리즘(64)이 코드-기반 알고리즘(63)과 동시에 또는 이에 선행하여 가동된다) 탐색 모듈(58)로 하여금 하나 이상의 비주얼 탐색 능력들을 이용할 수 있게 하도록 알고리즘 스위치(75) 내의 규칙들이 정의될 수 있다(단계 804). 이와 관련하여, 비주얼 탐색 서버(54)가 POI 데이터베이스(74) 내의 대응하거나 관련된 정보를 찾기 위해 캠코더의 감지된 또는 캡쳐된 이미지에 관한 정보를 사용할 수 있고, 그리고 디스플레이(28) 상에의 디스플레이를 위해 탐색 모듈에게 하나 이상의 후보들을 송신할 수 있다(단계 805). 예컨대 비주얼 탐색 서버(54)는 탐색 모듈에게 캠코더를 판매하는 근처 상점, 캠코더에 관한 가격 정보, 캠코더의 사양 등에 관한 후보들의 리스트를 송신할 수 있다.

위에서 언급된 것과 같이, 제2 패스 비주얼 탐색 알고리즘(64)은 코드-기반 알고리즘 또는 OCR 알고리즘이 단일 후보를 제공할때 타깃 객체(즉 POI)와 관련된 추가 후보들을 얻고 따라서 추가 정보도 얻는 방식을 제공한다. 코드-기반 알고리즘(63), 또는 OCR 알고리즘(62)에 기반하여 얻어진 후보 결과들이 사용되었을 때, 제2 패스 비주얼 탐색 알고리즘(64)에 기반하여 얻어진 하나 이상의 후보 결과들 보다 우선 순위를 갖는다는 것을 주목해야 한다. 이와 같이 탐색 모듈(68)은 제1 후보 리스트(가장 높은 우선순위를 갖는다) 내의 코드-기반 알고리즘(63), 또는 OCR 알고리즘 중 하나로부터 얻어진 후보(들)을 디스플레이할 수 있고, 제2 후보 리스트(제1 후보 리스트보다 하위 우선순위를 가진다) 내의 제2 패스 비주얼 탐색 알고리즘(64)의 결과로 얻어진 후보(들)을 디스플레이할 수 있다. 대안적으로 제2 패스 비주얼 탐색 알고리즘(64)에 의해 얻어진 후보들은 코드-기반 알고리즘(63), 또는 OCR 알고리즘(62)에 기반하여 얻어진 후보 결과과 결합해서, 이후 임의의 정의된 순서 또는 우선순위로 단일 리스트 내의 모든 후보들을 보여줄 수 있는 디스플레이(28)에게 탐색 모듈로부터 출력될 수 있는 단일 후보 리스트를 형성하게 된다. 코드-기반 알고리즘(63), 또는 OCR 알고리즘(62) 중 어느 하나에 의해 얻어진 후보들은, 제2 패스 비주얼 탐색 알고리즘(64)에 의해 얻어진 후보들보다 (그 단일 후보 리스트 내에서) 상위 우선 순위를 갖고 디스플레이될 수 있고, 그 반대의 경우도 마찬가지이다.

도 9와 도 10을 이제 참조하면, 이미지 감지를 이용해서 코드-기반 탐색 및 OCR 탐색과 비주얼 탐색(예컨대 이동 비주얼 탐색)을 통합시키는 탐색 모듈의 동작을 위한 흐름도 및 예시적인 실시 예가 제공된다. 이 예시적인 실시 예에서, 탐색 모듈(88)은 미디어 콘텐츠 입력부(67), 감지기(85), 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 및 코드-기반 알고리즘(63)을 포함한다. 미디어 콘텐츠 입력부(67)는, 비주얼 탐색 서버(54) 또는 임의의 다른 서버 또는 데이터베이스로부터 미디어 콘텐츠 뿐만 아니라, 카메라 모듈(36), GPS 모듈 또는 이동 단말(10)의 임의의 다른 적합한 모듈로부터 미디어 콘텐츠를 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단일 수 있다. 비주얼 탐색 알고리즘(61),OCR 알고리즘(62), 또는 코드-기반 알고리즘(63)은 비주얼 탐색, 코드-기반 탐색, 및 OCR 탐색을 각각 수행할 수 있는 하드웨어/소프트웨어(예컨대 컨트롤러(20)에 의해 실행된다)의 수단에 의해서 구현되고 구체화될 수 있다. 감지기(85)는 카메라 모듈(3)이 들이대어지거나 카메라 모듈(36)이 이미지로서 캡처한 미디어 콘텐츠(예컨대 이미지 데이터 및/또는 비디오 데이터)의 타입을 판정할 수 있는 하드웨어/소프트웨어(예컨대 컨트롤러(20)에 의해 실행된다)의 기기 또는 수단일 수 있다. 특히 감지기(85)는 미디어 콘텐츠가 코드-기반 알고리즘 및/또는 OCR 데이터 등으로 구성되었는지 여부를 판정할 수 있다. 감지기는 미디어 콘텐츠를 감지하거나, 판독하거나, 또는 스캔하고, 미디어 콘텐츠가 코드-기반 태그들(바코드들) 및/또는 OCR 데이터(예컨대 텍스트)인지를 예컨대 계산을 기반으로 판정할 수 있다(단계 900). 또한, 감지기(85)는 미디어 콘텐츠(예컨대 바코드 또는 1D/2D 태그를 갖는 이미지)내 데이터를 철저히 판독하지 않았더라도, 미디어 콘텐츠가 코드-기반 태그들(바코드들) 및/또는 OCR 데이터(예컨대 텍스트)인지를 예컨대 계산을 기반으로 판정할 수 있다. 이와 관련하여, 감지기(85)는 카메라 모듈에 의해 들이대어지거나 카메라 모듈이 이미지로서 캡처한 미디어 콘텐츠를 평가할 수 있고, 미디어 콘텐츠(예컨대 이미지)가 코드-기반 데이터 및/또는 텍스트 기반 데이터로 보이는지 여부를 판정(또는 근사)할 수 있다.

감지기(85)가 미디어 콘텐츠가 텍스트 데이터로 구성된 것처럼 보인다고 판정하는 상황들에서, 감지기(85)는 OCR 알고리즘(62)을 호출할 수 있고, OCR 알고리즘(62)은 탐색 모듈(88)로 하여금 OCR 탐색을 수행하는 것을 인에이블시키고, 위에서 논의된 것과 유사한 방식으로 비주얼 탐색 서버(54)로부터 후보들의 리스트를 수신한다(단계 901). 또한 상기 언급된 것처럼, 감지기(85)는 미디어 콘텐츠가 코드-기반 데이터로 구성된 것처럼 보인다고 판정할 수 있고(또는 근사할 수 있고), 예컨대 감지기(85)는 미디어 콘텐츠가 1D/2D 바코드(들)을 표시하는 하나 이상의 스트립들을 갖는다고 판정하면(미디어 콘텐츠, 예컨대 이미지 내의 바코드를 판독할 필요 없이), 코드-기반 알고리즘을 인에이블 시켜서 탐색 모듈(88)로 하여금 코드-기반 탐색을 수행하도록 하고, 위에서 논의된 것과 유사한 방식으로 비주얼 탐색 서버(54)로부터 후보들의 리스트를 수신한다 (단계 902). 감지기가 미디어 콘텐츠가 코드-기반 데이터(예컨대 바코드들)처럼 보이지 않는다거나 OCR 데이터(예컨대 텍스트)처럼 보이지 않는다고 판정하면, 감지기(85)는 비주얼 탐색 알고리즘(61)을 호출할 수 있고, 비주얼 탐색 알고리즘(61)은 탐색 모듈(88)로 하여금 비주얼 탐색을 수행하도록 하고, 비주얼 탐색 서버(54)로부터 후보들의 리스트를 수신한다(단계 903).

감지기(85)에 의해 수행되는 코드-기반 데이터 감지가 이미지 코딩 시스템들(예컨대 1D/2D 이미지 코딩 시스템(들))의 속성에 기반할 수 있고, 즉 이런 시스 템들(예컨대 1D/2D 이미지 코딩 시스템(들))의 각각이 신뢰성있는 인식(recognition)을 위해 설계된다. 감지기(85)는 태그 이미지들로부터 정보의 신뢰성있는 추출을 위해 태그들(예컨대 바코드들)의 위치를 이용할 수 있다. 태그 이미지들의 대부분이 오리엔테이션(orientation), 조명 및 랜덤 노이즈에 상당한 변경이 있는 상황에서조차도 정확하게 위치가 정해질(positioned) 수 있다. 예컨대 QR 코드(들)은 신뢰성있는 포지셔닝과 정렬을 위해 3개의 앵커 마크들을 갖는다. 감지기(85)는 미디어 콘텐츠(예컨대 이미지/비디오) 내에서 이런 3개의 앵커 마크들의 위치를 찾을 수 있고, 앵커 마크들의 위치에 기초하여, 미디어 콘텐츠가 코드-기반 태그들 또는 바코드들과 같은 코드-기반 데이터에 해당한다는 것을 판정할 수 있다. 시그니쳐(signature) 앵커 마크가 감지기(85)에 의해 감지되면, 감지기는 코드-기반 알고리즘(63)를 호출할 것이고, 코드-기반 알고리즘(63)는 미디어 콘텐츠가 태그 또는 바코드 등과 같은 코드-기반 데이터라는 것을 판정, 검증, 확인할 수 있다. 탐색 모듈은 코드-기반 데이터(및/또는 코드-기반 데이터와 연관된 데이터)를 비주얼 탐색 서버(54)에 송신할 수 있고, 비주얼 탐색 서버(54)는 상응하는 데이터를 코드-기반 데이터에 매칭시키고 이 상응하는 데이터(예컨대 가격 정보, 제품의 URL, 제품사양등)를 이동 단말(10)의 디스플레이(28)를 위해 탐색 모듈(88)로 송신한다. OCR 데이터의 감지와 관련하여, 감지 알고리즘(85)은 미디어 콘텐츠(예컨대 이미지 및/또는 비디오 데이터)의 높은 공간 주파수 지역의 추출과 평가에 기초하여 미디어 콘텐츠가 OCR 데이터에 대응하는다는 판정을 할 수 있다. 높은 공간 주파수 지역의 추출은 텍스트와 캐릭터들을 담고 있는 높은 주파수 지역들을 찾기 위 하여 텍스트 필터들을 이미지 지역들에 적용하고, 각 지역의 응답에 기반하여 지역들을 분류함으로써 행해질 수 있다. OCR 알고리즘(62)은 미디어 콘텐츠가 텍스트 데이터로 구성되었다는 검증 및 확인을 할 수 있다.

탐색 모듈(88)의 감지기(85)를 사용함으로써, 탐색 모듈은 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 및 코드-기반 알고리즘(63) 간에서 신속하고 효율적으로 스위칭할 수 있다. 예컨대 카메라 모듈이 코드-기반 데이터처럼 보이는 객체(i.e., 미디어 콘텐츠)에 들이 대어지거나 그 객체의 이미지를 캡처하였을 때, 감지기는 코드-기반 알고리즘(63)을 호출할 수 있고, 연속하여 카메라 모듈이 텍스트(예컨대 책 또는 도로 표지판 상의 텍스트)처럼 보이는 다른 하나의 객체(i.e., 미디어 콘텐츠)에 들이 대어지거나 그 객체의 이미지를 캡처하였을 때, 감지기(85)는 코드-기반 알고리즘(63)으로부터 OCR 알고리즘(62)으로 전환할 수 있다. 이와 관련하여 탐색 모듈(88)이 비주얼 탐색 알고리즘(61), OCR 알고리즘(62), 및 코드-기반 알고리즘(63)을 모두 가동시키거나 실행할 필요가 없고, 이는 프로세싱 스피드(예컨대 컨트롤러(20)의 스피드)를 효율적으로 이용하고 이동 단말(10)의 메모리 공간을 보존한다.

도 11와 도 12를 이제 참조하면, 시각화(visualization) 기술 이용해서 코드-기반 데이터(e.g., 1D/2D 이미지 태그들 또는 바코드들) 및 OCR 데이터와 비주얼 탐색(예컨대 이동 비주얼 탐색)을 통합시키는 탐색 모듈의 동작을 위한 흐름도 및 예시적인 실시 예가 제공된다. 도 11의 탐색 모듈은 다수의 태그들이 동시에 객체(즉 POI)에 사용되는 상황을 수용할 수 있다. 예를 들어, QR 코드 및 2D 태그(예컨 대 바코드)가 동일한 객체 상에 존재할 수 있으면서, 이 객체는 QR 코드 및 2D 태그 내에 포함되지 않았을 수 있는 추가 정보를 제공하도록 비주얼 탐색 태그(즉 POI와 같은 타겟 객체와 연관된 데이터, 예를 들면 레스토랑, 커피숍 등의 URL)를 또한 담고 있을 수 있다. 탐색 모듈(98)은, OCR 데이터, 비주얼 탐색 데이터(예컨대 상기 비주얼 탐색 태그), 및 코드-기반 데이터(즉 상기 QR 코드 및 2D 태그)로부터의 태그 정보로 하여금 이동 단말의 디스플레이(28) 상에 모두 디스플레이되도록 허용하는 시각화 엔진을 인에이블시킬 수 있다.

탐색 모듈(88)은 미디어 콘텐츠 입력부(67), 메타-정보 입력부(91), 비주얼 탐색 알고리즘(83), 시각화 엔진(87), 감지된 OCR/코드-기반 출력부(Detected OCR/Code-Based Output)(89), 비주얼 탐색 데이터 내에 임베디드된 OCR/코드-기반 데이터 출력부(OCR/code-based data embedded in visual search data output)(101) 및 콘텍스트에 기반한 OCR/코드-기반 데이터 출력부(OCR/code-based data based on context output)(103)를 포함한다. 미디어 콘텐츠 입력부(67)은, 비주얼 탐색 서버(54) 또는 임의의 다른 서버 또는 데이터베이스로부터 송신된 미디어 콘텐츠 뿐만 아니라, 카메라 모듈(36), GPS 모듈 또는 이동 단말(10)의 임의의 다른 엘리먼트로부터 미디어 콘텐츠를 수신할 (또는 출력) 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 메타-정보 입력부(81)는 메타 정보(키패드(30)를 통해 이동단말(10)의 사용자에 의해 입력될 수 있거나 비주얼 탐색 서버(54)와 같은 서버 또는 데이터베이스로부터 수신될 수 있다), 및 GPS 모듈(70)에 의해 제공될 수 있거나 비주얼 탐색 서버(54) 와 같은 서버 또는 데이터베이스로부터 수신될 수 있는 위치 정보를 수신할 (또는 출력) 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 또한 비주얼 탐색 알고리즘(61)은 예컨대 이동 비주얼 탐색과 같은 비주얼 탐색을 수행할 수 있는 하드웨어/소프트웨어의 수단 또는 기기(예컨대 컨트롤러(20)에 의해 실행된다)에 의해서 구현되고 구체화될 수 있다. 시각화 엔진(87)은 미디어 콘텐츠 입력부, 메타-정보 입력부 및 비주얼 탐색 알고리즘으로부터 입력들을 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(예컨대 컨트롤러(20) 또는 시각화 엔진 내부에 위치된 코프로세서에 의해 실행된다)일 수 있다. 시각화 엔진(87)은, 감지된 OCR/코드-기반 출력부(89), 비주얼 탐색 데이터 내에 임베디드된 OCR/코드-기반 데이터 출력부(101) 및 콘텍스트에 기반한 OCR/코드-기반 데이터 출력부(103)에 출력될 데이터를 제어하기 위해서 미디어 콘텐츠 입력부, 메타-정보 입력부 및 비주얼 탐색 알고리즘으로부터 수신된 입력들을 또한 이용할 수 있다. 감지된 OCR/코드-기반 출력부(89)는, 감지된 OCR 데이터 및/또는 코드-기반 데이터[이것은 비주얼 탐색 서버(54)와 같은 서버에 송신될 수 있다]를 시각화 엔진(87)으로부터 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 또한 비주얼 탐색 데이터 내에 임베디드된 OCR/코드-기반 데이터 출력부(101)는, 비주얼 탐색 데이터 내에 임베디드된 OCR 데이터 및/또는 코드-기반 데이터[이것은 비주얼 탐색 서버(54)와 같은 서버에 송신될 수 있다]를 시각화 엔진(87)으로부터 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단 (컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 또한 콘텍스트에 기반한 OCR/코드-기반 데이터 출력부(103)는, 콘텍스트(또는 메타 정보)에 기반한 OCR 데이터 및/또는 코드-기반 데이터[이것은 비주얼 탐색 서버(54)와 같은 서버에 송신될 수 있다]를 시각화 엔진(87)으로부터 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다.

탐색 모듈(98)은, 카메라 모듈(36)이 미디어 콘텐츠(예컨대 타겟 오브젝트와 관련된 이미지 또는 비디오 즉 POI)에 들이대어질 때, 또는 이미지를 캡쳐했을 때, 미디어 콘텐츠 입력부를 통해서 시각화 엔진에 미디어 콘텐츠를, 그 시각화 엔진에 제공되는 메타 콘텐츠(지리적 위치, 시간, 날씨, 온도, 계절, 제품들, 소비자 세그먼트들, 및 관련있는 다른 정보를 포함하지만 이에 제한되지 않는다)와 병렬적으로 제공할 수 있다(단계 1100). 또한 시각화 엔진(87)에 입력이 되는 미디어 콘텐츠 및 메타 정보와 병렬하여서, 비주얼 탐색 알고리즘(83)이 시각화 엔진(87)에 입력될 수 있다(단계 1101). 시각화 엔진(87)은 미디어 콘텐츠 및 메타 정보에 기반하여 비주얼 탐색을 인에이블시키기 위해 비주얼 탐색 알고리즘(83)을 이용할 수 있다. 시각화 엔진(87)은 OCR 알고리즘(62), 및 코드-기반 알고리즘(63)을 또한 저장할 수 있고, OCR 탐색 및 코드-기반 탐색을 각각 수행하기 위해 이런 알고리즘들을 실행할 수 있다.

상기 언급된 것과 마찬가지로 카메라 모듈에 의해 들이 대어지거나 캡쳐된 미디어 콘텐츠는 예컨대 코드-기반 태그들, OCR 태그들 및 비주얼 태그들과 같은 태그들의 다수의 타입을 포함할 수 있다. 미디어 콘텐츠가 랩톱 컴퓨터와 같은 제품의 이미지(비주얼 탐색 데이터)이고, 이미지 내에 포함된 것은 랩톱 컴퓨터, 그 제조업체 등과 관련된 텍스트 데이터(OCR 데이터)와, 랩톱 컴퓨터와 관련된 바코드 정보(코드-기반 데이터)인 상황을 고려한다. 제품의 이미지는 제품(이 예에서는 랩톱 컴퓨터)과 관련된 정보와 함께 태깅, 즉 연관될 수 있다. 예컨대 랩톱 컴퓨터의 이미지는 랩톱 컴퓨터에 관한 관련 정보를 갖는 URL에 링크되거나 또는 태깅될 수 있다. 이와 관련하여, 사용자가 카메라 모듈을 랩톱 컴퓨터에 대거나 또는 랩톱 컴퓨터의 이미지를 캡쳐했을 때, 이동 단말은 예컨대 비주얼 탐색 서버(54)에 의해서 URL을 제공받을 수 있다. 랩톱 컴퓨터상의 텍스트가 정보와 함께 태깅되어서, 카메라 모듈이 랩톱 컴퓨터에 들이 대어졌을 때, 이동 단말이 비주얼 탐색 서버(54)에 의해서 예컨대 랩톱 컴퓨터의 제조업체의 URL과 같은 연관 정보를 수신하도록 할 수 있다. 유사하게, 랩톱 컴퓨터상의 바코드가 예컨대 제품 정보, 가격 등과 같은 랩톱 컴퓨터와 연관된 정보와 함께 태깅되어서, 이를 테면, 이동 단말이 비주얼 탐색 서버(54)에 의해서 예컨대 제품 정보, 가격 정보 등을 수신하도록 할 수 있다. 이동 단말의 사용자가 이동 단말(10)의 메모리 내에 저장된 프로파일을 통해 또는 네트워크 운영자(예컨대 셀룰러 통신 제공자)가 메타 정보를 할당해서, 그 메타 정보(즉 콘텍스트 정보)에 기초해서, 비주얼 탐색 알고리즘(83)이 호출되고 수행되도록 할 수 있다. 또한 시각화 엔진(87)이 비주얼 탐색 결과들이 코드-기반 데이터 및/또는 OCR 기반 데이터를 포함하고 있지 않다고 판정했을 때, 시각화 엔진(87)은 저장된 OCR 알고리즘(62) 및/또는 코드-기반 알고리즘(63)을 메타 정보에 기초해 서, 활성화시킬 수 있다. 상기 예에서, 메타 정보는 예컨대 상점 위치와 같은, 위치로서 할당될 수 있고, 그 경우에 비주얼 탐색 알고리즘이 그 상점 내부의 비주얼 탐색 능력들을 인에이블시키도록 호출될 수 있다. 이와 관련하여, 임의의 적합한 메타 정보가 비주얼 탐색 알고리즘을 호출하기 위해 정의되고 할당되어질 수 있다. 예컨대 비주얼 탐색 알고리즘에 의해 인에이블된 비주얼 탐색 능력들은, 시각, 날씨, 지리적 위치, 온도, 제품, 소비자 세그먼트 및 기타 정보와 같은 연관 또는 링크된 메타 정보에 기초하여 호출될 수 있다. 또한 시각화 엔진(87)이, 비주얼 탐색 알고리즘(83)에 의한 비주얼 탐색 결과들 내에서 코드-기반 데이터 및/또는 OCR 기반 데이터를 감지하지 못했을 때, 예컨대 위치 정보(예컨대 상점 위치)와 같은 메타 정보가 할당될 수 있고, 이 경우에 시각화 엔진(87)이 턴온될 것이고, 메타 정보(즉 이 예에서 위치)에 기초해서 OCR 탐색 및 코드-기반 탐색을 수행하도록 OCR 알고리즘 및/또는 코드-기반 알고리즘을 실행시킨다.

시각화 엔진(87)이 메타 정보를 평가하고, 그 메타 정보에 기초해서 미디어 콘텐츠(예를 들면 이미지)에 비주얼 탐색을 수행하기 위해 비주얼 탐색 알고리즘을 호출하는 상황에서, 시각화 엔진이 객체 내 태그들의 다수의 조합 및 타입을 감지할 수 있다 (단계 1102). 예컨대 시각화 엔진(87)이, 객체(상기 예에서 랩톱 컴퓨터)상에서 코드-기반 데이터(바코드) 및/또는 OCR 기반 데이터(예컨대 텍스트)를 감지했을 때, 시각화 엔진은 이 감지된 코드-기반 데이터(예컨대 랩톱 컴퓨터상의 바코드) 및 OCR 기반 데이터(예컨대 랩톱 컴퓨터의 제조업체에 대한 텍스트)를 감지된 OCR/코드-기반 출력부(89)로 출력할 수 있고, 감지된 OCR/코드-기반 출력 부(89)는 이 정보를 예컨대 비주얼 탐색 서버(54)와 같은 서버로 송신할 수 있고, 비주얼 탐색 서버(54)는 연관된 데이터를 OCR 태그데이터 및 코드-기반 데이터와 매칭시킬 수 있고, 이 연관된 데이터(즉 후보들의 리스트)(예를 들어, OCR 태그 데이터의 경우 제조업체자의 URL 이고, 코드-기반 태그 데이터의 경우 가격 정보)가 디스플레이(28) 상의 디스플레이를 위해 이동 단말에 제공될 수 있다(단계 1103).

또한 사용자는 하나 객체(예컨대 POI)와 연관된 하나 이상의 태그들을 링크시키기 위해 비주얼 탐색 데이터베이스(51)를 이용할 수 있다. 상기 언급된 것과 같이 비주얼 탐색 입력 제어부(98)는 사용자로 하여금 하나 이상의 객체들, POI, 제품, 등과 관련된 OCR 데이터 및 코드-기반 데이터(예컨대, 1D 바코드, 2D 바코드, QR 코드,Semacode, Shotcode 등)를 비주얼 탐색 데이터베이스(51)에 삽입하고 저장하도록 허용한다. (도 3 & 4 참조) 예컨대 사용자(예를 들면 기업 소유주)는 객체(예를 들어 랩톱 컴퓨터)와 연관된 코드-태그(랩톱 컴퓨터의 가격 정보에 대응하는 바코드) 및 OCR 태그(예를 들면 객체(예를 들어 랩톱 컴퓨터)와 연관된 URL의 텍스트와 같은 텍스트 기반 태그))를 링크시키기 위해 사용자 입력 인터페이스(91)의 버튼 또는 키 등을 이용할 수 있다. OCR 태그(들) 및 코드-기반 태그(들)은, 비주얼 태그(들)(즉 객체와 관련 있는 비주얼 탐색과 연관된 태그)를 또한 담고 있을 수 있는 객체(들)(예를 들어 랩톱 컴퓨터)에 부착될 수 있다.

또한 사용자 입력 인터페이스(91)의 버튼 또는 키 등을 사용해서, 사용자는 객체(예를 들어 랩톱 컴퓨터)와 연관된 비주얼 태그(들)를 생성할 수 있다. 예컨대 사용자 입력 인터페이스(91)의 버튼 또는 키 등을 사용해서, 사용자는 객체(들) 또 는 객체의 이미지를 연관 정보(예컨대 객체 또는 객체의 이미지가 랩톱 컴퓨터이면, 연관 정보는 예컨대 경쟁사의 랩톱들과 관련된 하나 이상의 URL일 수 있다)와 연관시키거나 링크시킴으로써 비주얼 태그를 생성할 수 있다. 이처럼 이동 단말(10)의 카메라 모듈(36)이 객체(예를 들어 랩톱 컴퓨터)에 들이 대어지거나 그 객체의 이미지를 캡쳐했을 때, 객체와 연관되거나 링크된 이미지가 이동 단말(10)에 의해 검색될 수 있다. OCR 태그 및 코드-기반 태그가, 또한 비주얼 태그(들)(즉 그 객체의 비주얼 탐색과 연관된 태그)에 링크되는, 객체(예를 들어 랩톱 컴퓨터)에 또한 부착될 수 있다. 이와 관련, OCR 태그 및 코드-기반 태그가 비주얼 탐색 결과들 내에 임베디드될 수 있다. 예컨대 시각화 엔진(87)이 비주얼 탐색 알고리즘(83)을 수신하고, 비주얼 탐색을 객체 상에 수행했을 때(카메라 모듈(36)이 객체에 들이 대어지거나 그 객체의 이미지를 캡쳐한 이후이다), 시각화 엔진(87)은 객체와 연관된 비주얼 데이터[예컨대 객체의 이미지로서, OCR 태그(들) 및 코드-기반 데이터(들)를 가질 수 있고, 그 객체 자체가 비주얼 태그에 링크될 수 있다] 를 수신할 수 있다. 이런 방식으로 OCR 태그 데이터(예를 들면 랩톱 컴퓨터의 URL에 관련된 텍스트 데이터) 및 코드-기반 데이터(랩톱 컴퓨터의 가격 정보에 관한 바코드)가 비주얼 탐색 결과들(예를 들어 랩톱 컴퓨터와 같은 객체의 이미지)에 임베디드될 수 있다.

시각화 엔진(87)은 비주얼 탐색 결과들(예를 들어 랩톱 컴퓨터의 이미지(들)) 내에 임베디드된 이런 OCR 태그(들) 및 코드-기반 데이터(들)를, 비주얼 탐색 데이터 내에 임베디드된 OCR/코드-기반 출력부(101)에 송신할 수 있다(단계 1104). 비주얼 탐색 데이터 내에 임베디드된 OCR/코드-기반 출력부(101)는 OCR 태그(들), 코드-기반 데이터(들), 및 비주얼 태그(들)와 연관된 데이터를 비주얼 탐색 서버(54)와 같은 서버로 송신할 수 있고, 비주얼 탐색 서버(54)는 연관된 데이터를 OCR 태그 데이터(예를 들면 랩톱 컴퓨터와 관련된 URL의 텍스트), 코드-기반 데이터(예를 들어, 랩톱 컴퓨터의 가격 정보), 및 비주얼 탐색 태그 데이터(예를 들면, 경쟁사들의 랩톱 컴퓨터들의 웹페이지)와 매칭시킬 수 있고, 이 연관된 데이터가 디스플레이(28) 상의 디스플레이를 위해 이동 단말에 제공될 수 있다(단계 1105). 이와 관련하여, OCR 데이터, 코드-기반 데이터, 및 비주얼 탐색 데이터는 디스플레이(28) 상에 병렬로 디스플레이될 수 있다. 예컨대 OCR 태그 데이터(예를 들면 랩톱 컴퓨터와 관련된 URL)와 연관된 정보는 칼럼 내에 디스플레이될 수 있고, 그리고 코드-기반 데이터(예를 들어, 랩톱 컴퓨터와 연관된 가격 정보)와 연관된 정보는 상이한 칼럼에 디스플레이될 수 있고, 그리고 비주얼 탐색 태그 데이터(예를 들면, 경쟁사들의 랩톱 컴퓨터들의 웹페이지)와 연관된 정보는 상이한 칼럼 내에 디스플레이될 수 있다.

선택적으로 시각화 엔진(87)이 비주얼 탐색 알고리즘의 결과로서 생성된 비주얼 탐색 결과들 내에서 어떤 태그 데이터도 감지하지 못하면, 이동 단말(10)의 사용자가 후보의 탐색을 위해 사용될 플레이스홀더(placeholder)를 선택할 수 있다(단계 1106). 이와 관련하여, 시각화 엔진(87)이 비주얼 탐색 데이터(예컨대 객체(들)의 이미지(들)) 내에 OCR 데이터(예컨대 텍스트 데이터)가 존재한다고 감지하면, 이동 단말(10)의 사용자가 키패드(30)를 통해 OCR 데이터( 비주얼 탐색 데이 터 내에 임베디드된 OCR/코드-기반 데이터 출력부(101)에 시각화 엔진(87)에 의해 송신될 수 있는 플레이스홀더와 같은 텍스트 데이터)를 선택할 수 있다. 대안적으로, 네트워크 운영자(예컨대 셀룰러 통신 제공자)는, 플레이스홀더처럼 사용되고, 제품들의 설명들과 연관된 키워드들을 자동적으로 선택하는 시각화 엔진(87) 내의 세팅을 포함할 수 있다. 예를 들면, 시각화 엔진(87)이 예컨대 'Harry Potter and the Order of The Phoenix,™'인 책 제목과 같은 책에 표시된 텍스트를 비주얼 탐색 결과들로서 감지한다면, 사용자(또는 시각화 엔진(87))는 비주얼 탐색 데이터 내에 임베디드된 OCR/코드-기반 데이터 출력부(101)로 송신될 플레이스홀더로서 이 텍스트를 선택할 수 있다. 비주얼 탐색 데이터 내에 임베디드된 OCR/코드-기반 데이터 출력부(101)는 이 플레이스홀더(이 예에서 책 제목(Harry Potter and the Order of The Phoenix™))를 예컨대 비주얼 탐색 서버(54)와 같은 서버에 송신할 수 있고, 비주얼 탐색 서버(54)는 비주얼 탐색 서버 내에 저장된 텍스트와 연관된 데이터가 있는지 여부를 판정 및 식별하고, 그 연관된 데이터, 즉 후보들의 리스트(예컨대 Harry Potter and the Order of The Phoenix™와 연관된 영화와 관련된 웹사이트 및/또는 arry Potter and the Order of The Phoenix™를 판매하는 서점의 웹사이트 등)가 있다면, 비주얼 탐색 서버(54)는 이 데이터(예컨대 이런 웹사이트들)를 디스플레이(28) 상의 디스플레이를 위해 이동 단말(10)로 송신한다(단계 1107).

추가적으로 또는 대안적으로 시각화 엔진(87)이 비주얼 탐색 결과들 내에서 예컨대 OCR 태그 데이터 및/또는 코드-기반 데이터와 같은 태그 데이터를 감지하지 못했다하더라도, 시각화 엔진(87)은 메타 정보(즉 콘텍스트 정보)에 기초하여 그 안에 저장된 OCR 및 코드-기반 알고리즘을 활성화시키고 턴온시킬 수 있다. 시각화 엔진(87)이 객체(들)의 이미지(들)와 관련된 비주얼 탐색 알고리즘(83)의 실행으로 발생된 탐색 결과들을 수신하고, 시각화 엔진(87)이 할당된 메타 정보에 기초하여 탐색 결과들(즉 이미지(들)) 내에 OCR 및/또는 코드-기반 데이터가 없다고 판정했다면, 시각화 엔진은 그럼에도 불구하고, OCR 및 코드-기반 탐색 알고리즘들을 턴온시키고 OCR 및 코드-기반 탐색을 수행한다(단계 1108) .

예컨대 메타 정보가 (예컨대) 상점 위치로서 할당되었을 때, GPS 모듈(70)이 메타-정보 입력부(81)를 통해 시각화 엔진(87)에 이동 단말(10)이 상점 내에 있다는 위치 정보를 송신할 때, 시각화 엔진(87)이 OCR 및 코드-기반 탐색 알고리즘을 호출 및 실행하고 OCR 및 코드-기반 탐색을 수행한다. 이와 관련하여, 카메라 모듈(36)이 OCR 데이터 및/또는 코드-기반 데이터를 갖는 객체(들)에 들이 대어지거나, 그 객체의 이미지를 얻었을 때, 시각화 엔진이 코드-기반 데이터(예컨대 제품(예컨대 랩톱 컴퓨터))과 관련한 가격 정보를 담고 있는 바코드)) 및 OCR 데이터(예컨대 제품(예컨대 랩톱 컴퓨터))과 관련한 URL과 같은 텍스트 데이터)를 감지한다(메타 정보는 시간, 날씨, 지리적 위치, 위치, 온도, 제품 또는 기타 적합한 정보를 포함하는 적합한 메타 정보로서 할당될 수 있다는 것을 주목해야 한다.이처럼, 위치는 메타 정보의 일 예이다. 예컨대 상기 예에서, 메타 정보는 7:00 AM 과 10:00AM 사이와 같은 시각으로 할당될 수 있고, 컨트롤러(20)와 같은 프로세서가 7:00 AM 과 10:00AM 내의 현재 시각을 메타-정보 입력부(81)를 통해 송신 때, 시각 화 엔진이 OCR/코드-기반 데이터 알고리즘들을 호출할 수 있다. 시각화 엔진(87)은 콘텍스트에 기반한 OCR/코드-기반 출력부(103)에 OCR 및 코드-기반 데이터를 송신할 수 있다(단계 1109). 콘텍스트에 기반한 OCR/코드-기반 출력부(103)는 OCR 및 코드-기반 데이터를 비주얼 탐색 서버(54)와 같은 서버로 송신할 수 있고, 비주얼 탐색 서버(54)는 OCR 데이터(예를 들면 랩톱 컴퓨터의 제조업체의 URL),및 코드-기반 태그 데이터(예를 들어, 랩톱 컴퓨터에 관련된(바코드 내 임베디드된) 가격 정보)와 연관된 데이터를 매칭시킬 수 있고, 이 연관된 데이터(즉 후보들의 리스트)가 디스플레이(28) 상의 디스플레이를 위해 이동 단말에 제공될 수 있다(단계 1110).

전술한 내용으로 보아, 태그(들)의 하나의 타입(예를 들면, 코드-기반)으로부터의 결과들 또는 후보들을 보여주거나 태그들의 상이한 타입들과 관련된 후보들 또는 결과들 사이에서 스위칭 하는 것과는 반대로, 탐색 모듈(98)은 이동 단말(10)로 하여금 동시에(병렬로) 태그들의 상이한 타입들과 관련된 데이터의 조합을 디스플레이하도록 할 수 있다.

이제 도 13 및 도 14를 참조하면, 사용자의 입력을 이용해서 코드-기반 탐색들 및 OCR 탐색들과 비주얼 탐색(예를 들어, 이동 비주얼 탐색들)을 결합시키기 위한 탐색 모듈의 예시적인 실시 예가 도해된다. 탐색 모듈(108)은 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중에서 선택 및/또는 스위칭하기 위해 이동 단말의 사용자의 사용자 입력들을 이용할 수 있다. 미디어 콘텐츠 입력부(67)는, 비주얼 탐색 서버(54)와 같은 서버는 물론, 카메라 모 듈(36), 이동 단말의 다른 모듈로부터 미디어 콘텐츠를 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(예컨대 컨트롤러(20)에 의해 실행된다)일 수 있다. 키 입력부(109)는 사용자로 하여금 이동 단말에 데이터를 입력할 수 있도록 하는 하드웨어 및/또는 소프트웨어의 기기 또는 수단일 수 있다. 키 입력부는 디스플레이 등에 나타난 하나 이상의 메뉴들 또는 하나 이상의 서브메뉴들, 키패드들, 디스플레이(28) 등 상의 터치 스트린으로 구성될 수 있다. 하나의 예시적인 실시 예에서, 키 입력부는 키패드(30)일 수 있다. 사용자 입력부(107)는 정의된 입력들과 관련된 출력들을 이동 단말의 알고리즘 스위치(105)에, 출력할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단일 수 있다. 알고리즘 스위치(105)는 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중에서 스위칭하고/또는 선택하기 위해 하나 이상의 정의된 입력들을 이용할 수 있다. 예컨대 하나 이상의 정의된 입력들은 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중 하나 이상과 연관된 또는 링크될 수 있다. 이처럼 정의된 입력(들)이 알고리즘 스위치(105)에 의해 수신된 때, 정의된 입력(들)은 알고리즘 스위치(105)로 하여금 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중에서 대응하는 탐색 알고리즘을 스위칭하고/또는 선택하도록 트리거할 수 있다.

예시적인 실시 예에서, 사용자 입력부(107)는 이동 단말의 사용자에 의해 선택될 수 있고 디스플레이(28) 상에 보여지는 하나 이상의 메뉴 및/또는 서브-메뉴 내에서 액세스될 수 있다. 하나 이상의 정의된 입력부들은 이동 단말의 사용자의 제스처(여기서 제스처로 지칭되는 것은 구두 의사소통과 조합하여 사용될 수 있거나, 신체의 일부를 써서 만들어지는 비언어적 의사소통(non-verbal) 형태일 수 있다), 보이스, 터치 등을 포함하지만 이에 제한되는 것은 아니다. 알고리즘 스위치(105)는 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115)과 같은 탐색 알고리즘들 중에서 선택하고 그리고/또는 스위칭하는 것은 물론 사용자 입력부(107), 키 입력부(109), 미디어 콘텐츠 입력부(67)로부터 데이터를 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(예컨대 컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 알고리즘 스위치(105)는 스피치 인식 능력들을 갖는다. 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115)은 비주얼 탐색, OCR 탐색, 및 코드-기반 탐색을 각각 수행할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(예컨대 컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다.

탐색 모듈(108)에서, 이동 단말의 사용자 입력부(107)는 예컨대 네트워크 운영자 또는 셀룰러 제공자에 의해 정의된 입력들을 써서 미리 구성될 수 있다. 대안적으로 또는 추가적으로 이동 단말의 사용자는 사용자 입력부(107)의 입력들을 결정하고 할당할 수 있다. 이와 관련하여, 상기 언급된 것과 같이 사용자는, 하나 이상의 메뉴들 및/또는 서브메뉴들 중에서 선택될 수 있고, 또한 알고리즘 스위치(105)에 의해 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115)들 중에서 스위칭하고 그리고/또는 선택하기 위해 이용될 수 있는 사용자 입력부(107)의 입력들(예를 들어, 사용자의 제스처, 보이스, 터치 등)을 할당하 기 위해 이동 단말의 터치 디스플레이 또는 키패드(30)를 이용할 수 있다.

선택적으로 알고리즘 스위치(105)로 하여금 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중에서 하나를 선택하거나 탐색가능하도록 하는 정의된 입력을 선택하기 위해 사용자 입력부(107)를 사용하는 대신에, 사용자는 키 입력부(109)를 이용할 수 있다. 이런 관점에서, 사용자는 알고리즘 스위치(105)로 하여금 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중에서 스위칭하고/또는 선택가능하도록 하기 위해 자신이 사용하고자 하는, 키패드(30)를 사용해서 타이핑된 기준 및/또는 터치 스크린(예컨대 메뉴/서브메뉴 옵션들)상의 옵션들을 활용할 수 있다. 터치 스크린 옵션들 및 타이핑된(typed) 기준은 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중에서 스위칭하고/또는 선택하기 위해 알고리즘에게 지시하는 규칙으로 구성될 수 있거나 명령어들로서 역할을 할 수 있다.

탐색 모듈(108)이 활용될 수 있는 방식이 예가 설명을 목적으로 지금부터 활용된다. 그러나 탐색 모듈(108)의 다양한 다른 구현들 및 애플리케이션들이 본 발명의 범위 및 사상을 벗어남이 없이 가능할 수 있다는 것을 주목해야 한다. 이동 단말(10)의 사용자가 카메라 모듈(36)을 객체(즉 미디어 콘텐츠)에 들이대거나 그 객체의 이미지를 캡쳐하는 상황을 가정해본다. 카메라 모듈(36)에 의해 이미지로서 캡쳐되거나 들이 대어지는 객체와 관련된 데이터가 미디어 콘텐츠 입력부에 의해 수신될 수 있고 알고리즘 스위치(105)에 제공될 수 있다(단계 1400). 사용자는 사용자 입력부(107)를 통해 정의된 입력을 선택할 수 있다(단계 1401). 예컨대 사용 자는 보이스 입력을 선택할 수 있다(상기 논의를 참조한다). 이와 관련하여, 사용자의 보이스를 내는 것은, 알고리즘 스위치(105)에게 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중에서 스위칭하고/또는 선택하도록 명령하기 위해 이용될 수 있다. (단계 1402)(선택적으로 이동 단말의 사용자는 비주얼 탐색 알고리즘, OCR 알고리즘, 및 코드-기반 알고리즘 중에서 스위칭하고/또는 선택하도록 알고리즘 스위치에게 명령하기 위해 기준 또는 명령어를 정의하기 위해 키 입력부(109)를 활용할 수 있다(단계 1403)) (아래 논의를 더 살펴본다). 사용자가 예컨대 쇼핑몰에 있다면, 사용자는 알고리즘 스위치(105)에게 코드-기반 알고리즘(115)을 선택하도록 명령하기 위해 "쇼핑몰에서 코드-기반 탐색을 사용한다'라고 말할 수 있다. 알고리즘 스위치에 의한 코드-기반 알고리즘(115)의 선택은 탐색 모듈로 하여금 쇼핑몰 내의 다른 객체들뿐만 아니라 카메라 모듈에 의해 이미지 내에 캡쳐되거나 들이 대어지는 객체 상에 코드-기반 탐색을 수행가능토록 한다. 이와 관련하여, 코드-기반 알고리즘은 탐색 모듈로 하여금 객체(예컨대 제품) 상의 태그(예컨대 바코드)와 같은 코드-기반 데이터를 감지하거나, 판독하거나, 스캔하는 것을 가능케한다. 태그와 연관된 데이터는 탐색 모듈로부터 비주얼 탐색 서버에 송신될 수 있고 비주얼 탐색 서버는 태그와 연관된 매칭 데이터를 탐색하고, 이 데이터, 즉 후보(들)(예컨대 가격 정보, 제품과 관련된 정보를 담고 있는 웹페이지 등)를 디스플레이(28)상의 디스플레이를 위해 탐색 모듈(108)에 제공한다(단계 1404). 유사한 방식으로, 사용자는, 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115)을 선택하도록 알고리즘 스위치(105)에게 명 령하기 위해 자신의 음성을 사용할 수 있다. 예컨대, 사용자는 카메라 모듈을 도로 표지판에 들이 대면서 "운전 동안에 OCR 탐색을 실행한다"라고 말할 수 있고(또는 예컨대 "도서관에서는 OCR 탐색을 수행한다"), 이는 알고리즘 스위치(105)에게 OCR 알고리즘을 선택하도록 지시하고, OCR 알고리즘은 탐색 모듈(108)로 하여금 OCR 탐색을 수행가능토록 한다. 이와 관련하여, 도로 표지판 상의 텍스트가 탐색 모듈에 의해 감지되거나, 판독되거나, 스캔될 수 있고, 텍스트와 연관된 데이터가 비주얼 탐색 서버(54)에 제공되어질 수 있고, 비주얼 탐색 서버는 대응 데이터, 즉 후보들(예컨대 도서관 내의 책 이름 또는 도로 표지판 상의 도시 이름과 관련된 맵 데이터)을 디스플레이(28)상의 디스플레이를 위해 탐색 모듈에 제공할 수 있다. 예컨대, 사용자는 예컨대 "걷는 동안에 비주얼 탐색을 실행한다"라고 말할 수 있고, 이는 알고리즘 스위치(105)에게 비주얼 탐색 알고리즘(111)을 선택하도록 지시하고, 비주얼 탐색 알고리즘(111)은 탐색 모듈(108)로 하여금 이동 비주얼 탐색과 같은 비주얼 탐색을 수행가능토록 한다. 이와 같이, 탐색 모듈은 도로와 함께 객체의 이미지(자동차의 이미지)를 캡쳐할 수 있고 객체와 연관되거나 태깅된 데이터를 비주얼 탐색 서버(54)에 제공하고, 비주얼 탐색 서버(54)는 매칭되는 연관된 데이터가 있다면 탐색하고, 이 연관된 데이터를 즉 후보(들)(예를 들어 지역 딜러 등으로의 웹링크들)을 디스플레이(28)상의 디스플레이를 위해 탐색 모듈에 제공할 수 있다.

스피치 인식 기술을 사용함으로써, 알고리즘 스위치(105)는 적절한 탐색 알고리즘(111, 113, 115)을 선택하기 위해 사용자에 의해 말해진 키워드들을 식별할 수 있다. 대안적인 예시적인 실시 예에서, 이런 키워드들은 '코드', 'OCR' 및 '비 주얼'을 포함하지만 이에 제한되는 것은 아니다. 태그들의 다중 타입들(코드-기반 태그들(예컨대 바코드들), OCR 태그들, 비주얼 태그들)이 객체와 같은 미디어 콘텐츠에 있거나 링크된다면, 탐색 모듈(108)은 그 태그들의 각각과 관련된 정보를 검색하기 위해 이용되어질 수 있다. 예를 들어, 사용자는 보이스 입력과 같은 사용자 입력(107)을 이용해서, "코드-기반 탐색을 수행하고 비주얼 탐색뿐만 아니라 OCR 탐색을 수행한다"를 말하면, 이는 알고리즘 스위치로 하여금 탐색 알고리즘들(111, 113, 115)의 각각을 선택하여 실행하고(또는 병렬적으로 또는 연속하여), 그 탐색 알고리즘들(111, 113, 115)은 탐색 모듈로 하여금 각각은 비주얼 탐색, OCR 탐색 및 코드-기반 탐색을 태그들의 다중 유형들을 갖는 객체에 수행가능하도록 한다.

또한 사용자는 알고리즘 스위치(105) 로 하여금 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중에서 스위칭하고/또는 선택하고 동작시키도록 지시하기 위해 사용될 사용자 입력부(107)의 제스처 입력을 선택할 수 있다. 예를 들어, 제스처는 이동 단말을 들고 있는 동안에 사용자의 손을 드는 것(또는 이동 단말을 들고 있는 동안 손을 흔드는 것(안녕을 상징한다)으로 정의될 수 있다). 제스처, 즉 이동 단말을 들고 있는 동안에 사용자의 손을 드는 것은 비주얼 탐색 알고리즘(111), OCR 알고리즘(113), 및 코드-기반 알고리즘(115) 중 하나 이상과 연관 또는 링크될 수 있다. 예를 들어, 사용자의 손을 드는 것은 비주얼 탐색 알고리즘(111)에 링크될 수 있다. 이런 점에서, 알고리즘 스위치(105)는 미디어 콘텐츠 입력부(67)를 통해서 미디어 콘텐츠(예를 들어 상점의 이미지)를 수신하고, 사용자가 자신의 손을 들었을 때(예를 들어 머리 위로), 알고리즘 스위치는 사 용자 입력부(107)로부터 비주얼 탐색 알고리즘(111)을 선택하고 동작시키거나 실행시키도록 하는 명령어들을 수신한다. 이것은 탐색 모듈로 하여금 비주얼 탐색 알고리즘을 호출가능케하고, 그 비주얼 탐색 알고리즘은 상점에 비주얼 탐색을 수행하고, 상점과 연관된 데이터(예를 들어 상점의 이름)를 저장하고 비주얼 탐색 서버(54)와 같은 서버로 송신하며, 그 비주얼 탐색 서버는 연관된 데이터(예를 들어 상점의 웹페이지 및/또는 전화번호)가 있다면 상점에 매치시키고, 이 연관된 데이터, 즉 후보(들)을 디스플레이(28)상의 디스플레이를 위해 탐색 모듈에 송신한다. 사용자의 제스처는 이동 단말의 모션 센서(미도시)에 의해 감지될 수 있다.

대안적으로, 상기 언급된 것과 같이 이동 단말(10)의 사용자는 알고리즘 스위치(105)로 하여금 탐색 알고리즘들(111, 113, 115)을 선택하도록 명령하기 위해 키 입력부(109)를 이용할 수 있다. 이런 점에서, 사용자가 서점의 책에 카메라 모듈을 들이대거나 서점의 이미지(e.g. 미디어 콘텐츠)를 캡쳐하는 상황을 간주한다. 책과 관련된 데이터는 미디어 콘텐츠 입력부(67)를 통해 알고리즘 스위치(105)에 제공될 수 있고, 그리고 사용자는 키패드(30)를 이용해서, "서점 내에서는 OCR 탐색을 이용한다"를 타이핑할 수 있다(또는 사용자는 예컨대 서점에서 OCR 탐색을 사용하기 위해 터치 디스플레이 상의 메뉴 내에서 옵션을 선택할 수 있다). 타입핑된 명령어 "서점에서는 OCR 탐색을 사용한다"가 알고리즘 스위치(105)에 키 입력부(109)를 통해서 제공되고, 알고리즘 스위치는 이 명령어를 사용해서 OCR 알고리즘(113)을 선택하고 동작시키거나 또는 실행시킨다. 이것은 탐색 모듈로 하여금 OCR 알고리즘을 동작시킬 수 있도록 하고, 책과 관련된 OCR 데이터(책 커버에 있는 텍스)를 수신할 수 있도록 하고, 그 OCR 데이터는 비주얼 탐색 서버(54)에 제공될 수 있고, 그 비주얼 탐색 서버는 대응하는 매칭 정보가 있다면 탐색하고, 이 매칭되는 정보를 디스플레이(28) 상의 디스플레이를 위해 탐색 모듈에 제공한다,.

도 15 및 도 16을 이제 참조하면,통계 프로세싱을 사용해서 코드-기반 탐색 및 OCR 탐색과, 비주얼 탐색을 통합하는 탐색 모듈의 동작의 예시적인 실시 예 및 흐름도가 도해된다. 탐색 모듈(118)은 미디어 콘텐츠 입력부(67), 메타-정보 입력부, OCR/코드-기반 알고리즘(119), 통합기(integrator)(123), 비주얼 탐색 알고리즘(121), 정확성 분석기(125), 간결성/추상화(briefness/abstraction) 레벨 분석기(127), 관중 분석기(129), 통계적 통합 분석기(131) 및 출력부(133)를 포함한다. OCR/코드-기반 알고리즘(119)은 OCR 탐색 및 코드-기반 탐색을 수행할 수 있는 하드웨어 및/또는 소프트웨어의 기기 및/또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다) 내에 구현되고 구체화될 수 있다. 비주얼 탐색 알고리즘(121)은 비주얼 탐색 및 이동 비주얼 탐색을 수행할 수 있는 하드웨어 및/또는 소프트웨어의 기기 및/또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다) 내에 구현되고 구체화될 수 있다. OCR/코드-기반 알고리즘(119) 및 비주얼 탐색 알고리즘(121)은 병렬적으로 또는 순차적으로 동작하거나 실행될 수 있다. 통합기(123)는 미디어 콘텐츠 입력부(67)를 통해 미디어 콘텐츠를 수신하고, 메타-정보 입력부(49)를 통해 메타 정보를 수신하고, 비주얼 탐색 결과는 물론 OCR 및 코드-기반 탐색 결과들을 제공하기 위해 OCR/코드-기반 알고리즘 및 비주얼 탐색 알고리즘을 실행할 수 있는 하드웨어 및/또는 소프트웨어의 기기 및/또는 수단(컨트롤러(20)와 같은 프로세서 에 의해 실행된다)일 수 있다. 통합기(123)에 의해 수신된 데이터는 메모리(미도시) 내에 저장되고, 정확성 분석기(125), 간결성/추상화(briefness/abstraction) 분석기(127), 관중 분석기(129)에 출력될 수 있다.

정확성 분석기(125)는 OCR/코드-기반 알고리즘(119) 및 비주얼 탐색 알고리즘(121)으로부터 발생된 OCR 탐색 결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들을 수신하고 그 정확성을 분석할 수 있는 하드웨어 및/또는 소프트웨어의 기기 및/또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 정확성 분석기(125)는 정확성 데이터를 통계적 통합 분석기(131)로 전달할 수 있다. 간결성/추상화(briefness/abstraction) 분석기(127)는 OCR/코드-기반 알고리즘(119) 및 비주얼 탐색 알고리즘(121)으로부터 발생된 OCR 탐색 결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들을 수신하고 그 간결성 및 추상화 레벨들을 분석할 수 있는 하드웨어 및/또는 소프트웨어의 기기 및/또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 간결성/추상화 분석기(127)는 통계적 통합 분석기(131)에 그 분석 데이터를 전달할 수 있다. 관중 분석기(129)는 OCR/코드-기반 알고리즘(119) 및 비주얼 탐색 알고리즘(121)으로부터 발생된 OCR 탐색 결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들을 수신하고 그 의도된 관중을 분석할 수 있는 하드웨어 및/또는 소프트웨어의 기기 및/또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 관중 분석기(129)는 OCR 탐색 결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들 각각의 의도된 관중과 관련된 데이터를 통계적 통합 분석기(131)에 전달할 수 있다.

통계적 통합 분석기(131)는 정확성 분석기(125), 간결성/추상화(briefness/abstraction) 분석기(127), 및 관중 분석기(129)로부터 데이터 및 결과들을 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 및/또는 수단(컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 통계적 통합 분석기(131)는 정확성 분석기, 간결성/추상화 분석기, 관중 분석기로부터 송신된 데이터를 조사할 수 있고, OCR/코드-기반 알고리즘(119), 비주얼 탐색 알고리즘(121) 각각에 의해 제공된 OCR 탐색, 코드-기반 탐색, 및 비주얼 탐색으로부터 발생된 결과들의 각각의 통계적 정확성을 판정한다. 통계적 통합 분석기(131)는 하나 이상의 가중 인자들(예를 들어 기결정된 값에 의해 곱해진다)을 OCR 탐색 결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들의 각각에 대해 적용하기 위해서, 정확성 분석기 결과들, 간결성/추상화 분석기 결과들, 관중 분석기 결과들을 사용할 수 있다. 이런 점에서, 통계적 통합 분석기(131)는 OCR 탐색 결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들의 각각에 대해 정확성 퍼센티지를 판정하고 할당할 수 있다. 예컨대 통계적 통합 분석기(131)가 OCR 탐색 결과들이 0% 내지 15 % 정확성 범위 내에 있다고 판정하면, 통계적 통합 분석기(131)는 각각의 퍼센티지에 0.1의 값(또는 임의의 다른 값)을 곱할 수 있고, 통계적 통합 분석기(131)가 코드-기반 탐색 결과들이 16% 내지 30% 정확성 범위 내에 있다고 판정하면, 통계적 통합 분석기(131)는 각각의 퍼센티지에 0.5의 값(또는 임의의 다른 값)을 곱할 수 있다.

또한 통계적 통합 분석기(131)가 비주얼 탐색 결과들이 31% 내지 45% 정확성 범위 내에 있다고 판정하면, 통계적 통합 분석기(131)는 각각의 퍼센티지에 1의 값(또는 임의의 다른 값)을 곱할 수 있다. 통계적 통합 분석기(131)는 기정의된 정확성 범위 내에 있지 않은 결과들을 또한 버릴 수 있다. (전형적으로 결과들은 그 결과들이 매우 부정확하지 않으면(예컨대 코드-기반 탐색 결과들이 틀린 것으로 확인된다) 버려지지 않다는 것을 주목해야 한다. 덜정확한 결과들이 더 낮은 우선순위를 갖는 것으로 보통 진행된다) 통계적 통합 분석기(131)는 OCR 탐색 결과, 코드-기반 탐색 결과, 및 비주얼 탐색 결과를 우선순위를 매기거나 순서를 또한 정할 수 있다. 예컨대 통계적 통합 분석기(131)가 OCR 탐색으로부터 나온 결과들이, 코드-기반 탐색으로부터 나온 결과들보다 더 정확하고, 코드-기반 탐색으로부터 나온 결과들이 비주얼 탐색으로부터 나온 결과들보다 더 정확하다고 판정한다면, 통계적 통합 분석기(131)는 OCR 결과들(예컨대 첫번째 가장 높은 우선순위를 가지며 가장높은 정확성 퍼센티지를 갖는다)이 첫번째, 그 다음에, 코드-기반 결과들(예컨대 두번째 높은 우선순위를 가지며 두 번째 가장 높은 정확성 퍼센티지를 갖는다), 그리고 그 이후에, 비주얼 탐색 결과들(예컨대 가장 낮은 우선순위를 가지며 가장 낮은 정확성 퍼센티지를 갖는다)이 오는(즉 리스트의 마지막에 옴) 리스트를 발생시킬 수 있다.

또한 통계적 통합 분석기(131)는 OCR/코드-기반 알고리즘(119), 비주얼 탐색 알고리즘(121) 각각으로부터 발생된 OCR 탐색 결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들 중 어떤 탐색 결과들을 출력부(133)로 전송할지를 결정할 수 있다. 그 결정은 정확성의 기결정된 레벨에 맞거나 초과하는 탐색 결과들에 기초할 수 있다. 출력부(133)는 통계적 통합 분석기(131)에 의해 제공된 탐색 결과들(예컨 대 책의 이미지와 같은 미디어 콘텐츠와 연관된 데이터)를 수신할 수 있고, 이런 결과들과 연관된 데이터(예컨대 책 상의 텍스트 데이터)를 비주얼 탐색 서버(54)와 같은 서버로 전송하는 하드웨어 및/또는 소프트웨어의 기기 및/또는 수단일 수 있고, 비주얼 탐색 서버(54)는 서버(54)의 메모리 내에 탐색 결과들과 매칭되는 연관된 데이터가 있다면 탐색하고, 이 매칭 데이터를(예를 들어 책을 판매하는 웹페이지와 같은 후보들)을 디스플레이(28)상의 디스플레이를 위해 탐색 모듈에 제공할 수 있다.

탐색 모듈(118)이 동작할 방식의 예는 이제 설명 목적으로 제공된다. 예컨대 탐색 모듈(118)은 본 발명의 사상과 범위를 벗어남이 없이 다양한 상이한 상황들 하에 동작할 수 있다. 사용자가 카메라 모듈(36)을 객체(예컨대 플라즈마 텔레비전)에 들이대었거나 객체의 이미지 또는 비디오 클립(예컨대 객체의 미디어 콘텐츠)를 캡쳐하는 상황을 고려해본다. 객체와 관련된 정보가 카메라 모듈에 의해 통합기(123)에 미디어 콘텐츠 입력부(67)를 통해 제공되고, 메모리(미도시) 내에 저장될 수 있다. 또한 예컨대 미디어 콘텐츠의 속성들(예컨대 타임스탬프, 소유자 기타 등등), 이동 단말의 지리적 특성(예컨대 현재의 위치 또는 고도), 환경의 특성 (예컨대 현재 날씨 또는 시간), 사용자의 개인적인 특성 (예컨대 네이티브 언어 또는 직업), 사용자의 온라인 행동의 특성 기타 등등에 관련된 정보와 같은 메타 정보가 메모리(40)와 같은 이동 단말의 메모리 내에 사용자 프로파일로 저장될 수 있고, 예컨대 비주얼 탐색 서버(54)와 같은 서버에 의해 이동 단말에 제공될 수 있다. 메타 정보는 통합기에 메타-정보 입력부(49)를 통해 입력될 수 있고 메모리(미 도시) 내에 저장될 수 있다(단계 1600). 이런 메타 정보는 OCR/코드-기반 알고리즘(119) 및/또는 비주얼 탐색 알고리즘(121)과 링크되거나 연관될 수 있다. 예컨대 시각과 같은 메타 정보는 비주얼 탐색 알고리즘(121)과 링크되거나 연관될 수 있고, 그것은 통합기(123)로 하여금 수신된 비주얼 탐색 알고리즘(121)을 사용해서, 객체[즉 플라즈마 텔레비전]에 기반한 비주얼 탐색 능력들(예컨대 플라즈마 텔레비전에 부착되거나 링크된 비주얼 태그들을 감지하거나, 스캔하거나, 판독한다]을 특정 시각에 수행가능토록 할 수 있다. 또한 메타 정보는 OCR 알고리즘(119)과 링크되거나 연관될 수 있고, 예컨대 그것은 이동 단말이 예컨대 프랑스 파리와 같은 기정의된 위치에 있을 때 통합기(123)로 하여금 OCR 기반 알고리즘(119)을 수신하고 호출해서 그 객체[즉 플라즈마 텔레비전]에 OCR 탐색(예컨대 제조업체에 관련된 플라즈마 텔레비전상의 텍스트를 감지하거나, 스캔하거나, 판독한다)을 수행가능토록 할 수 있다 (단계 1601). 또한 예컨대 위치와 관련된 메타 정보는 코드-기반 알고리즘(119)과 링크되거나 연관될 수 있고, 그리고 코드 기반 알고리즘(119)이 통합기(123)에 의해 수신되었을 때, 통합기(123)는 이동 단말의 사용자가 코드-기반 데이터가 우세한 위치에 있을 때(예컨대 서점, 식료품점, 백화점 기타 등등과 같은 상점), 코드-기반 알고리즘(119)을 실행시켜서 플라즈마 텔레비전에 코드-기반 탐색(예컨대 바코드를 감지한다)을 수행하도록 할 수 있다. OCR/코드-기반 알고리즘(119) 및 비주얼 탐색 알고리즘(121)이 병렬로 실행되거나 동작될 수 있다는 것을 주목해야 한다.

통합기는(123)는 OCR 탐색결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과를 저장할 수 있고, 이런 다양한 탐색 결과들을 정확성 분석기(125), 간결성/추상화 분석기(127) 및 관중 분석기(129)에 출력할 수 있다(단계 1602). 정확성 분석기(125)는 OCR 탐색결과들(예컨대 플라즈마 텔레비젼상의 텍스트의 정확성), 코드-기반 탐색 결과들(예컨대 플라즈마 텔레비젼상의 감지된 바코드의 정확성), 및 비주얼 탐색 결과들(예컨대 플라즈마 텔레비전에 링크되거나 부착된 비주얼 태그의 정확성,이 비주얼 태그는 예컨대 플라즈마 텔레비전의 웹페이지와 연관된 데이터를 담고 있을 수 있다)의 정확성 또는 신뢰성을 판정할 수 있다. 정확성 분석기(125)는 가장 높은 정확성 또는 신뢰성으로부터 가장 낮은 정확성 또는 신뢰성에 의존하여 그 분석된 결과들의 등급 또는 우선순위를 매길 수 있다(단계 1603). 이점에 관해서, OCR 탐색 결과들은 코드-기반 탐색 결과들보더 더 높게 등급이 매겨지고(즉 예컨대 OCR 결과들이 가장 높은 우선 순위를 지닌 경우), 코드-기반 탐색 결과들은 비주얼 탐색 결과들보다 더 높게 등급이 매겨질 수 있다(즉 코드-기반 탐색 결과들이 비주얼 탐색 결과들보다 더 높은 정확성을 지닌 경우). 등급 및/또는 우선순위(들)과 같은 이 정확성 데이터는 정확성 분석기에 의해서, 통계적 통합 분석기(131)에 제공될 수 있다.

또한 간결성/추상화 분석기(127)는 통합기(123)로부터 수신된 OCR 탐색결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들을 분석할 수 있고, 간결성 및 추상화 인자들 기타 등등에 기반해서 이 결과들의 등급을 매기거나 우선순위를 매길 수 있다(단계 1604). (일정 추상화 인자들이 다른 관중들에게는 더 적절하기 때문에, 다른 추상화 인자들이 적용될 수 있다는 것을 주목해야 한다. 예컨대 특정 분야에서 전문 지식을 갖춘 사람은 상위 추상화 레벨에서의 설명을 더 선호 할 수 있으므로, 탐색 결과들에서의 데이터의 간결한 설명이 충분한 반면에, 그 특정 분야에서 경험이 덜한 사람은 탐색 결과들에서 더 자세한 설명을 필요로 할 것이다. 대안적인 실시 예에서, 높은 추상화 레벨을 갖는 데이터(즉 탐색 결과들에서의 데이터에 대한 간결한 설명)가 하위 추상화 레벨(즉 탐색 결과들 내에서 더 상세한 설명)을 갖는 데이터 보다 더 높게 등급이 매겨지거나 우선순위가 매겨질 수 있고, 링크가 높은 추상화 레벨을 갖는 탐색 결과들에 부착될 수 있어서, 더 상세한 정보가 통계적 통합 분석기(131)에 제공되는 탐색 결과들과 연관되어질 수 있다(하기 설명을 참조한다)).OCR 탐색 결과들이 텍스트의 100개의 캐릭터들로 구성되어 있고, 비주얼 탐색 결과들이 예컨대 맵 또는 도로 표지판과 관련된 데이터를 구비한 이미지로 구성되고, 코드-기반 탐색 결과들은 1D 바코드로 구성되어 있다면, 간결성/추상화 분석기(127)는 코드-기반 탐색 결과들(즉 바코드)가 적은 데이터로 구성되어 있다고 판정할 수 있다(즉 탐색 결과들 중에서 가장 간결한 형태(즉 가장 높은 추상화 레벨)) 또한 간결성/추상화 분석기(127)는 비주얼 탐색 결과들(즉 도로 표지판의 데이터 또는 맵 데이터)이 코드-기반 탐색 결과들 보다 더 많은 데이터로 구성되어 있지만 OCR 탐색 결과들(즉 텍스트의 100개의 캐릭터들)보다 적은 데이터로 구성되어 있다고 판정할 수 있다. 이점에 관해서, 간결성/추상화 분석기(127)는 비주얼 탐색 결과들이 탐색 결과들 중에서 두 번째로 가장 간결한 형태의 데이터(즉 두 번째로 가장 높은 추상화 레벨)로 구성되어 있고 OCR 탐색 결과들이 탐색 결과들 중에서 세 번째로 가장 간결한 형태의 데이터(즉 세번 째로 가장 높은 추상 화 레벨)로 구성되어 있다고 판정할 수 있다. 이와 같이 간결성/추상화 분석기(127)는 이런 탐색 결과들에 우선순위 또는 등급을 할당할 수 있다. 예컨대 간결성/추상화 분석기(127)는 코드-기반 탐색 결과들을 첫 번째로(즉 가장 높은 우선 순위 또는 등급), 그 다음에 비주얼 탐색 결과들(즉 두 번째 가장 높은 우선 순위 또는 등급) 그리고 그 이후에 OCR 탐색 결과들(즉 가장 낮은 우선 순위 또는 등급)을 (예컨대 리스트 내에서) 등급 및/또는 우선순위를 매길 수 있다. 간결성/추상성 분석기(127)로부터 발생된 다른 등급들 및/또는 우선 순위들은 물론 이런 등급들 및/또는 우선 순위들이 통계적 통합 분석기(131)에 제공될 수 있고, 이 통계적 통합 분석기(131)는 탐색 결과들과 연관된 데이터가 출력부(133)에 제공되고 비주얼 탐색 서버(54)에 송신되는 순서를 명령하거나 결정하기 위해 등급들 및/또는 우선순위들을 이용할 수 있고, 그 비주얼 탐색 서버(54)는 탐색 결과들과 연관된 데이터(즉 예컨대 가격 정보, 제품 정보, 맵들, 방향들, 웹페이지들, 업종별 번호란 데이터 또는 임의의 다른 적합한 데이터와 같은 후보들)가 있다면 매칭시키고, 이 연관된 데이터를 결정된 순서로, 디스플레이(28)상에 디스플레이하기 위해 탐색 모듈(118)에 송신할 수 있다. 예컨대 가격 정보 뒤에 제품 정보가 따라온다 기타 등등이다.

또한 관중 분석기(129)는 OCR 탐색결과들, 코드-기반 탐색 결과들, 및 비주얼 탐색 결과들의 각각에 대해 의도된 관중을 결정할 수 있다. 객체가 플라즈마 텔레비전으로 구성되어 있는 상기 예에서, 관중 분석기(129)는 의도된 관중이 이동 단말(10)의 사용자라고 결정할 수 있다. 대안적으로 예컨대 관중 분석기는 의도된 관중이 사용자의 친구 등인 것으로 결정할 수 있다. 예컨대 관중 분석기(129)가 OCR 탐색 결과들의 의도된 관중이 사용자라고 결정하는 예들에서, 통계적 통합 분석기(131)는 사용자의 친구(또는 임의의 다른 의도된 관중)를 위해 의도된 비주얼 탐색 결과들 및 사용자의 친구(또는 임의의 다른 의도된 관중)를 위해 의도된 코드-기반 탐색 결과들보다 더 높게 우선순위 또는 등급을 갖게 OCR 탐색 결과들을 할당할 수 있다(단계 1605). 관중 분석기는 의도된 관중 정보의 등급들 및/또는 우선순위들을 통계적 통합 분석기(131)로 송신할 수 있다.

통계적 통합 분석기(125)는 정확성 분석기(125)로부터 생긴 정확성 결과들을 수신하고, 간결성/추상적 분석기(127)로부터 생긴 등급들 및/또는 우선순위들을 수신하고, 관중 분석기(129)로부터 생긴 탐색 결과들의 의도된 관중과 관련된 등급들 및/우선순위들을 수신할 수 있다(단계 1606).

통계적 통합 분석기(131)는 탐색 결과들 각각에 대응하는 데이터의 중요성을 평가할 뿐만 아니라 정확성 분석기(125), 간결성/추상적 분석기(127), 및 관중 분석기(129)로부터 수신된 모든 데이터의 전반적인 정확성을 판정할 수 있고, 이에 기초하여 통계적 통합 분석기는 비주얼 탐색 결과들, 코드-기반 탐색 결과들, 및 OCR 탐색 결과들에 대한 재우선순위 및/또는 재등급을 매길 수 있다. 가장 정확하고 가장 중요한 탐색 결과들이, 예컨대 탐색 결과(들)에 대응하는 숫자 인디케이터(e.g., 50)에 의해 곱해지는 기결정된 값(e.g., 2)과 같은 가중 인자를 사용해서, 가장 높은 등급 또는 가장 높은 퍼센티지의 우선 순위 값(e.g., 100%)을 할당받을 수 있다. 반면에 예컨대 탐색 결과(들)에 대응하는 숫자 인디케이터(e.g., 25)에 의해 곱해지는 기결정된 값(e.g., 2)과 같은 가중 인자를 사용해서 덜 정확하고 덜 중요한 탐색 결과들이 하위 등급(우선순위) 또는 하위 퍼센티지의 우선 순위 값(e.g., 50%)을 할당받을 수 있다(단계 1607). 이런 가중 인자들은 사용자가 타겟 객체(즉 POI)에 카메라 모듈을 들이대는 실시 간으로 조정되어질 수 있다는 것을 주목해야 한다. 정확성 및 간결성과 같은 상이한 탐색 결과들의 속성들이 사용자가 객체에 이동 단말을 들이 대는 시간에 걸쳐서 변경되는 것을 가정할 때, 가중치들이 이에 따라 실시간으로 조정된다. 통계적 통합 분석기(131)가, 비주얼 탐색 서버(54)에 탐색 결과들을 송신하는 출력부(13)에, 이런 재우선순위가 매겨지고/또는 재등급이 매겨진 탐색 결과들을 제공할 수 있다. 비주얼 탐색 서버(54)는 예컨대 POI 데이터베이스(74)에 저장된 탐색 결과들과 매칭하는 어떤 연관된 데이터가 있는지 여부를 판정하고 이 매칭되는 데이터(즉 후보들)이 있다면, 재우선순위가 매겨지고/또는 재등급이 매겨진 탐색 결과들에 대응하는 순서로 디스플레이(28)상에 디스플레이하기 위해 탐색 모듈(118)에 송신된다.

도 17 및 도 18을 참고하면, 비주얼 탐색 결과들에 코드-기반 태그들 및/또는 OCR 태그들을 추가하고/또는 임베디드하기 위해 탐색 모듈의 동작의 흐름도 및 예시적인 실시 예가 제공된다. 탐색 모듈(128)은 미디어 콘텐츠 입력부(67), 메타-정보 입력부, 비주얼 탐색 알고리즘(121), OCR/코드-기반 알고리즘(119), 태깅 제어 유닛(135), 임베드(embed) 기기(143), 임베드 기기(145), 임베드 기기(147), 및 선택적으로 코드/스트링 룩업 및 번역 유닛(141)을 포함한다. 예시적인 실시 예에서 코드/스트링 룩업 및 번역 유닛은 룩업 테이블에 저장된 텍스트 캐릭터들 등과 같은 데이터를 포함할 수 있다.

태깅 제어 유닛(135)은 (예를 들어 카메라 모듈(36)로부터) 미디어 콘텐츠 입력부(67)를 통해 미디어 콘텐츠(예컨대 객체의 이미지, 물리적 객체와 관련된 이벤트의 비디오, 객체의 디지털 사진, 그래픽 애니메이션, 물리적 객체 등 근처에 있는 이벤트 동안에 플레이되는 음악의 레코딩과 같은 오디오)를, 메타-정보 입력부(49)를 통해서 메타 정보를, 비주얼 탐색 알고리즘(121), 및 OCR/코드-기반 알고리즘(119)룰 수신할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(태깅 제어 유닛 내에 위치된 코프로세서 또는 컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 상술된 것과 같이, 메타 정보는 지리적 위치, 시각, 계절, 날씨, 및 이동 단말의 사용자, 제품 세그먼트들, 또는 실세계 속성들 또는 기능들과 연관된 임의의 다른 적합한 데이터의 특성들을 포함할 수 있지만 이에 제한되지는 않는다. 이런 메타 정보는 사용자의 이동 단말(10)상에 미리구성될 수 있고, 비주얼 탐색 서버(54)에 의해 이동 단말(10)에 제공될 수 있고, 그리고/또는 키패드(30)를 사용해서 이동 단말(10)의 사용자에 의해 입력될 수 있다. 태깅 제어 유닛(135)은 비주얼 탐색 알고리즘(121) 및 OCR/코드-기반 알고리즘(119)를 실행할 수 있다. 메타 정보의 각각은 비주얼 탐색 알고리즘(121) 또는 OCR/코드-기반 알고리즘(119)과 연관되거나 링크될 수 있다. 이런 점에서, 태깅 제어 유닛(135)은 비주얼 탐색 알고리즘(121) 또는 OCR/코드-기반 알고리즘(119) 중에서 어떤 알고리즘을 실행할지 결정하기 위해 메타 정보를 이용할 수 있다. 예컨대 날씨와 같은 메타 정보는 비주얼 탐색 알고리즘에 연관되거나 링크될 수 있고 이를 테면 사용자가 예 컨대 하늘에 카메라 모듈을 들이 대거나 그 이미지를 캡쳐했을 때 태깅 제어 유닛(135)은 비주얼 탐색 알고리즘을 실행할 수 있다. 상점의 위치와 같은 메타 정보는 코드-기반 알고리즘(119)에 링크될 수 있어서, 사용자가 카메라 모듈을 예컨대 제품의 바코드들에 들이 대었을 때 코드-기반 탐색을 실행하도록 할 수 있다. 도서관의 위치와 같은 메타 정보는 OCR 알고리즘(119)에 링크될 수 있어서, 사용자가 카메라 모듈을 예컨대 책들에 들이 대었을 때, 태깅 제어 유닛(135)이 OCR 기반 탐색을 실행하도록 할 것이다. 코드/스트링 룩업 및 번역 유닛(141)은 OCR/코드-기반 알고리즘(119)에 의해 발생된 OCR 데이터(예컨대 텍스트 데이터) 및 코드-기반 데이터(예컨대 바코드)를 수정, 대체 또는 번역할 수 있는 하드웨어 및/또는 소프트웨어의 기기 또는 수단(코드/스트링 룩업 및 번역 유닛(141) 내에 위치된 코프로세서 또는 컨트롤러(20)와 같은 프로세서에 의해 실행된다)일 수 있다. 예컨대, 코드/스트링 룩업 및 번역 유닛(141)은 OCR/코드-기반 알고리즘(119)에 의해 식별된 텍스트를 하나 이상의 언어들로 번역할 수 있고(예컨대 텍스트를 프랑스어에서 영어로 번역) 또한 바코드들과 같은 코드-기반 데이터를 다른 형태의 데이터로 전환할 수 있다(예컨대 핸드백상의 바코드를 그 제조업체, 예를 들어 PRADA™에 번역한다).

탐색 모듈(128)이 이제 예를 참조하여 설명될 것이다. 탐색 모듈이 동작할 수 있는 다수의 예시적인 상황들이 적용되고 이 예는 설명 목적으로만 제공될 뿐이라는 것을 주목해야 한다. 메타 정보가 비주얼 탐색 알고리즘(121)과 연관되거나 링크되는 제품 정보로 구성된다는 것을 가정한다. 이점에 관해서, 이동 단말의 사 용자가 예컨대 캠코더와 같은 제품에 카메라 모듈(36)을 들이대는 때, 태깅 제어 유닛(135)이 캠코더와 연관된 데이터(e.g., 미디어 콘텐츠)를 수신하고, 캠코더 상에 비주얼 탐색을 수행하도록, 비주얼 탐색 알고리즘(121)과 같은 알고리즘을 수신하고 호출할 수 있다(단계 1800). 예컨대 태깅 제어 유닛(135)이 카메라 모듈(36)에 의해 캡쳐된 캠코더의 이미지와 관련된 데이터를 수신할 수 있다. 캠코더의 이미지와 관련된 데이터는 캠코더에 관련된 정보(예컨대 비주얼 탐색 서버(54)와 같은 서버를 통해 액세스될 수 있는, 캠코더에 대한 제품 기능 정보를 제공하는 웹페이지)와 연관된 캠코더의 이미지 내에 임베디드된 하나 이상의 태그들 예컨대 비주얼 태그들(예컨대 비주얼 탐색과 연관된 태그들)을 포함할 수 있다(단계 1801). 태깅 제어 유닛(135)은 캠코더의 이미지가 캠코더의 제조업체의 이름의 텍스트와 같은 텍스트 데이터(즉 OCR 데이터) 및 바코드(즉 코드-기반 데이터)를 포함한다는 것을 또한 감지할 수 있다(단계 1802). 상기 감지에 기초해서, 태깅 제어 유닛(135)은 또한 캠코더 상에 코드-기반 탐색을 수행하도록 코드-기반 알고리즘(119)을 호출할 수 있다(태깅 제어 유닛(135)은 캠코더 상에 OCR 탐색을 수행하도록 OCR 알고리즘(119)을 또한 호출할 수 있다(단계 1803)(하기 논의를 더 참조한다)). (선택적으로, 코드-기반 데이터 및 텍스트 데이터가 예컨대 코드/스트링 룩업 및 번역 유닛에 의해 캐릭터 스트링들과 같은 데이터와 대체되거나, 수정되거나, 번역될 수 있다(하기 논의를 참조한다))(단계 1805). 이처럼, 태깅 제어 유닛(135)은 감지된 바코드와 관련한 정보가 비주얼 탐색 결과들 내에 포함될 것인지를 결정하고, 임베드 기기(143)에게 비주얼 탐색 결과들이 바코드와 관련된 정보를 포함하거나 임베디드하고 있을 것을 요청하도록 명령할 수 있다. (대안적으로 태깅 제어 유닛(135)은 감지된 텍스트 데이터와 관련된 정보가 비주얼 탐색 결과들 내에 포함될 것인지를 결정하고, 임베드 기기(145)에게 비주얼 탐색 결과들이 텍스트 데이터와 관련된 정보를 포함하거나 임베드할 것을 요청하도록 명령할 수 있다(아래 논의를 참조한다))(단계 1805). 임베드 기기(143)는 이런 명령을 수신하고, 비주얼 탐색 서버(54)에게 바코드와 관련된 정보(예컨대 캠코더의 가격 정보)가 임베디드된 캠코더와 관련된 웹페이지(즉 후보)와 같은 캠코더의 비주얼 태그와 연관된 데이터에 대한 요청을 송신한다. (대안적으로 임베드 기기(145)는 이런 명령을 수신하고, 텍스트 데이터와 관련된 정보(예컨대 캠코더의 제조업체의 이름)가 임베디드된 캠코더와 관련된 웹페이지(즉 후보)와 같은 캠코더의 비주얼 태그와 연관된 데이터에 대한 요청을 비주얼 탐색 서버(54)에 송신한다(아래 논의를 살펴본다)). 비주얼 탐색 서버(54)는 (예컨대 POI 데이터베이스(74)와 같은 메모리 내에 저장된) 웹페이지와 같은 비주얼 태그와 연관되거나 매칭하는 데이터가 있는지 여부를 결정하고, 가격 정보(즉 바코드 내에 임베디드된 정보)(또는 제조업체의 이름)가 있는 이 웹페이지를 디스플레이(28) 상의 디스플레이를 위해 탐색 모듈(128)의 임베드 기기(143)(또는 임베드 기기(145))에 제공한다. 이점에 관해서 임베드 기기(143)는 디스플레이(28)에게 웹페이지 내에 임베디드되는 캠코더의 가격 정보를 갖는 웹페이지 및 그와 연관된 정보를 보여주도록 명령할 수 있다.(대안적으로 임베드 기기(145)는 디스플레이(28)에게 웹페이지 내에 임베디드된 캠코더의 이름의 제조업체의 웹페이지를 보여주도록 명령할 수 있다)(단계 1806)

임베드 기기(143)는 바코드(즉 코드-기반 태그 데이터)와 관련된 정보를 그 메모리(미도시) 내에 저장할 수 있다. (임베드 기기(145)는 제조업체의 이름(즉 OCR 태그 데이터)과 관련된 정보를 그 메모리(미도시) 내에 또한 저장할 수 있다)(아래를 참조한다)). 이와 같이 사용자가 연속하여 캠코더에 카메라 모듈을 들이 댈 때마다, 캠코더와 관련된 가격 정보(또는 제조업체의 이름)가 디스플레이(28) 상의 디스플레이를 위해 탐색 모듈(128)에 비주얼 탐색 서버(54)에 의해 제공되어 지는 웹페이지에 내에 포함될 것이다. 웹사이트와 관련된 가격 정보(또는 제조업체의 이름과 같은 텍스트)가, 즉 세팅이 임베드 기기(143)(또는 임베드 기기(145))의 메모리 내에서 변경되거나 삭제될 때까지 또는 카메라 모듈이 들이대어지는 각각의 새로운 순간에 영속적으로 웹페이지와 함께 제공될 수 있다(아래 논의를 살펴본다)(단계 1807).

태깅 제어 유닛(135)이, 캠코더의 이미지가 캠코더의 제조업체의 이름의 텍스트와 같은 텍스트 데이터(즉 OCR 데이터)를 포함한다는 것을 감지했기 때문에, 태깅 제어 유닛(135)이 캠코더상에 OCR 탐색을 또한 수행하도록 OCR 알고리즘(119)을 또한 호출할 수 있다. 이런 점에서, 태깅 제어 유닛(135)이 감지된 텍스트(OCR 데이터)와 관련된 정보가 비주얼 탐색 결과들 내에 포함될 것을 결정할 수 있고, 임베드 기기(145)로 하여금 그 비주얼 탐색 결과들이 이 예에서 비주얼 탐색 결과들 내에서 캠코더의 제조업체 이름과 같은 텍스트 데이터와 관련된 정보를 포함하거나 임베드할 것을 요청하도록 명령한다. 임베드 기기(144)는 이 명령을 수신하고, 비주얼 탐색 서버(54)에게 감지된 텍스트(예컨대 제조업체의 이름)와 관련된 정보가 임베디드된 캠코더와 관련된 웹페이지(예컨대 후보)와 같은 캠코더의 비주얼 태그와 연관된 데이터에 대한 요청을 송신한다. 비주얼 탐색 서버(54)는 웹페이지와 같은 비주얼 태그와 연관되거나 매칭하는 데이터가 (POI 데이터베이스(74)와 같은 메모리 내에) 있는지를 결정하고, 캠코더의 제조업체의 이름을 갖는 이 웹페이지를 디스플레이(28) 상에 디스플레이를 하기 위해 탐색 모듈(128)의 임베드 기기(145)에 제공한다. 이점에 관해서, 임베드 기기(145)는 디스플레이(28)에게 웹페이지 내의 캠코더의 제조업체의 이름이 임베디드된 웹페이지와 그 연관된 메타 데이터를 보여주도록 명령할 수 있다.

임베드 기기(145)는 바코드와 관련된 정보(즉 코드-기반 태그 데이터)를 그 메모리(미도시) 내에 저장할 수 있다. 이와 같이 사용자가 연속하여 캠코더에 카메라 모듈을 들이댈 때마다, 캠코더의 제조업체의 이름이 디스플레이(28) 상의 디스플레이를 위해 탐색 모듈(128)에 비주얼 탐색(54)에 의해 제공되어지는 웹페이지에 내에 포함될 것이다. 웹사이트와 관련된 가격 정보가, 즉 세팅이 임베드 기기(145)의 메모리 내에서 변경되거나 삭제될 때까지 또는 카메라 모듈이 들이대어지는 각각의 새로운 순간에 영속적으로 웹페이지와 함께 제공될 수 있다.

또한 태깅 제어 유닛(135)은 캠코더의 이미지 내에서 추가의 텍스트 데이터(OCR 데이터)를 감지할 수 있다. 이와 관련해서, 태깅 제어 유닛(135)은 OCR 알고리즘(119)에 의해 발생된 OCR 탐색 결과들을 이용해서, 예컨대 텍스트 데이터가 캠코더의 파트/시리얼(part/serial) 넘버에 대응한다는 것을 인식할 수 있다. 태깅 제어 유닛(135)은 감지된 텍스트(파트/시리얼 넘버)와 관련된 정보가 캠코더의 비 주얼 탐색 결과들 내에 포함되어야 한다는 것을 결정할 수 있고, 임베드 기기(147)로 하여금 비주얼 탐색 결과들이 텍스트 데이터(비주얼 탐색 결과들 내의 캠코더의 파트/시리얼 넘버)와 관련된 정보를 포함시키거나 임베디드하여야 한다는 요청하도록 명령한다. 임베드 기기(147)는 이 명령을 수신하고, 비주얼 탐색 서버(54)에게 감지된 텍스트(예컨대 캠코더의 파트/시리얼 넘버)와 관련된 정보가 임베디드된 캠코더와 관련된 웹페이지(예컨대 후보)와 같은 캠코더의 비주얼 태그와 연관된 데이터에 대한 요청을 송신한다. 비주얼 탐색 서버(54)는 웹페이지와 같은 캠코더의 비주얼 태그와 연관되거나 매칭하는 데이터가 (POI 데이터베이스(74)와 같은 메모리 내에) 있는지를 결정하고, 캠코더의 파트/시리얼 넘버를 갖는 이 웹페이지를 디스플레이(28)상에 디스플레이를 하기 위해 탐색 모듈(128)에 제공한다. 이점에 관해서, 탐색 모듈(128)은 디스플레이(28)에게 캠코더의 파트/시리얼 넘버를 갖는 웹페이지를 보여주도록 명령할 수 있다.

예컨대 임베드 기기(147)에 제공되는 캠코더의 파트/시리얼 넘버와 같은, 비주얼 탐색 결과들(예컨대 캠코더의 이미지) 내에서 식별되는 태그(들)(예컨대 텍스트 데이터 및 코드-기반 태그들, 예컨대 바코드들)이 동적으로 대체되거나 실시간으로 업데이트될 수 있다. 이동 단말의 사용자가 카메라 모듈을 캠코더에, 캠코더의 파트/시리얼 넘버가 변경된 때 이후의 상황(예컨대 이후 날짜)에서 들이대었을 때, 임베드 기기(147)가 비주얼 탐색 서버(54)에게 캠코더의 새로운 파트/시리얼 넘버를 자신에게 제공하도록 요청할 수 있고, 탐색 모듈(128)의 임베드 기기(147)에 의해 새로운 파트/시리얼 넘버가 수신되었을 때, 비주얼 탐색 결과들(즉 상기 예에서 웹페이지) 내에 임베디드된 새로운 파트/시리얼 넘버 및 그의 연관된 메타 정보를 보여주는 디스플레이(28)에 그 새로운 파트/시리얼 넘버가 제공된다.

임베드 기기(147)는 실시간으로 OCR 태그 또는 코드-기반 태그와 같은 태그를 업데이트하거나 동적으로 대체할 수 있는데, 그 이유는 태깅 제어 유닛(147)이 비주얼 탐색 결과들 내에서 텍스트 및 코드-기반 데이터를 식별한 이후에, OCR/코드-기반 알고리즘(119)이 태깅 제어 유닛(135)에 의해 실행되었을 때, 임베드 기기(147)가 초기에 감지된 태그를 저장하고 검색하지 않았기 때문이다(단계 1808).대신에 카메라 모듈이 캠코더에 연속하여 들이 대어지거나 그 이미지를 캡쳐했을 때, 태그와 연관된 새로운 그리고/또는 업데이트된 정보를 얻기 위해 임베드 기기(147)에 의해 비주얼 탐색 서버가 액세스된다.

대안적인 예시적인 실시 예에서, 코드/스트링 룩업 및 번역 유닛(141)은 태깅 제어 유닛(135)에 의해 액세스될 수 있고, OCR 데이터(예컨대 텍스트 데이터) 및 코드-기반 데이터를 코드/스트링 룩업 번역 유닛(141) 내에 저장된 데이터의 대응하는 스트링(예컨대 텍스트 스트링)에 의해 수정, 대체, 및/또는 번역하기 위해 이용될 수 있다. 예컨대, 상기 예에서, 태깅 제어 유닛(135)이 비-영어로된 제조업체의 이름의 텍스트(예컨대 스페인어로된 텍스트) (i.e., 미디어 콘텐츠)를 감지했다면, 태깅 제어 유닛(135)는 OCR/코드-기반 알고리즘(119)을 실행하고, 비영어로된(예컨대 스페인어) 제조업체의 언어 텍스트를 영어 형태의 제조업체의 이름으로 번역하기 위해 코드/스트링 룩업 및 번역 유닛(141)으로부터 데이터를 검색할 수 있다. 이와 관련하여, 코드/스트링 룩업 및 번역 유닛(141)은 영어가 아닌 텍스트 스트링(또는 OCR/코드-기반 알고리즘의 실행에 의해 식별된 어떤 다른 텍스트 스트링)을 영어 버전의 사본의 텍스트 스트링으로 대체할 수 있다. 또한 태깅 제어 유닛(135)이 캠코더의 이미지 내에서 바코드(상기 예와 같음)를 감지했다면, 태깅 제어 유닛(135)은 OCR/코드-기반 알고리즘(119)을 실행할 수 있고, 바코드 데이터를 예컨대 캠코더의 제조업체(예를 들어 SONY™)와 같은, 코드/스트링 룩업 및 번역 유닛(141) 내에 저장된 하나 이상의 다른 스트링들과 대체할 수 있는 코드/스트링 룩업 및 번역 유닛(141)으로부터 데이터를 검색할 수 있다. 코드/스트링 룩업 및 번역 유닛(141) 내에 저장된 데이터(예컨대 텍스트 스트링들)가 OCR 데이터 및 코드-기반 데이터와 링크되거나 연관될 수 있고, 이 링크(linkage)와 연관은 OCR/코드-기반 알고리즘(141)의 실행 결과로서 식별되는 데이터를 수정하거나, 대체하거나, 번역하기 위해 태깅 제어 유닛(135)에 대한 트리거로서 역할을 할 수 있다.

코드/스트링 룩업 및 번역 유닛(141) 내에 저장된 대체 스트링들이 (OCR/코드-기반 알고리즘의 실행 결과로서 식별된) 인식된 단어로부터 다른 하나의 언어(상기 언급된 것과 같다)로의 번역 및/또는 (OCR/코드-기반 알고리즘의 실행 결과로서 식별된) 인식된 단어 및/또는 다른 관련 정보에 기반한 콘텐츠 룩업과 관련될 수 있다는 것을 주목해야 한다. 예컨대 동사의 활용형, 문법, 정의, 동의어 콘텐츠, 백과 사전 콘텐츠, 기타 등등에 관련된 데이터가 코드/스트링 룩업 및 번역 유닛(141) 내에 저장될 수 있고, 식별된 OCR 데이터 및/또는 코드-기반 데이터를 대체하기 위한 스트링(들)로서 역할할 수 있다. 하나 이상의 스트링들은 OCR 데이터 및/또는 코드-기반 데이터(예컨대 바코드)에 기초하여, 코드/스트링 룩업 및 번 역 유닛(141)에 의해 식별될 수 있는 제품 이름, 제품 정보, 브랜드, 메이크(make) / 모델, 제조 업체 및/또는 어떤 다른 속성들을 또한 포함할 수 있지만 이에 제한되지 않는다.

탐색 모듈(128)을 사용해서, 이동 단말(10)의 사용자는 예컨대 물리적 객체와 링크되어있는 예컨대 코드-기반 태그들, OCR 태그들 및 비주얼 태그들과 같은 하나 이상의 태그들을 또한 생성할 수 있다. 예컨대 사용자는 책과 같은 객체에 카메라 모듈을 들이 대거나 그 이미지(i.e., 미디어 콘텐츠)를 캡쳐할 수 있다. 책의 이미지가 미디어 콘텐츠 입력부(67)를 통해 태깅 제어 유닛(135)에 제공될 수 있다. 키패드(30)를 사용해서, 이동 단말(10)의 사용자는 가격 정보, 제목, 저자의 이름, 책이 구매될 수 있는 웹 페이지와 같은 메타 정보, 또는 다른 적합한 메타 정보를 타입핑할 수 있고, 이 정보를 태깅 제어 유닛(135)에 제공되는 예컨대 OCR 탐색(또는 대안적으로는 코드-기반 탐색, 또는 비주얼 탐색)에 링크시키거나 연관(즉 태깅)시킬 수 있다. 태깅 제어 유닛(135)은 이 정보를 사용자 대신에 저장하거나 이 정보를 입력/출력 라인(147)을 통해 비주얼 탐색 서버(54) 및/또는 비주얼 탐색 데이터베이스(51)에 전송할 수 있다(도 4를 참조). 이 태그 정보를 비주얼 탐색 서버(54) 및 비주얼 탐색 데이터베이스(51)에 전송함으로써, 이동 단말의 하나 이상의 사용자는 카메라 모듈이 연관된 미디어 콘텐츠[즉 이 예에서 책]에 들이대어지거나 그 이미지를 캡쳐했을 때, 태그와 연관된 정보를 제공받을 수 있다.

이와 같이, 태그 제어 유닛(135)은 미디어 콘텐츠를 연속적으로 수신하고, OCR/코드-기반 알고리즘(119)(또는 비주얼 탐색 알고리즘(121))을 실행함으로써 OCR 탐색(또는 코드-기반 탐색 또는 비주얼 탐색)을 수행하고, 책과 관련된 데이터가 OCR 탐색 결과들(또는 코드-기반 탐색 결과들 또는 비주얼 탐색 결과들) 내에 있다고 판정한다면, 태깅 제어 유닛(135)은 보여주기 위해 디스플레이(28)에게 후보들의 리스트(예컨대 책의 이름, 책을 구매할 수 있는 웹페이지(웹페이지 BORDERS™), 가격 정보 또는 임의의 다른 적합한 정보)를 제공할 수 있다. 대안적으로 이동 단말(10)의 사용자 및/또는 다른 이동 단말(10)의 사용자들은, 미디어 콘텐츠(즉 책)가 비주얼 탐색 서버(54) 및/또는 비주얼 탐색 데이터베이스(51)에 저장된 연관된 데이터와 매칭되는 때, 비주얼 탐색 서버(54) 및/또는 비주얼 탐색 데이터베이스(51) 중 어느 하나로부터 후보들을 (입력/출력 라인(147)을 통해) 수신할 수 있다.

추가적으로 또는 대안적으로, 이동 단말의 사용자는 OCR 태그들을 발생시키기 위해 OCR 알고리즘(119)(및/또는 비주얼 탐색 알고리즘(122)을 이용할 수 있다는 것을 주목해야 한다. 예컨대 이동 단말의 사용자는, 태깅 제어 유닛(135)에 미디어 콘텐츠 입력부(67)를 통해 제공되는 객체에 자신의 카메라 모듈을 들이 대거나 그 객체의 이미지를 캡쳐한다. 객체(즉 책)의 이미지가 책 커버에 텍스트 데이터를 갖는다는 것을 인식하면, 태깅 제어 유닛(135)은 OCR 알고리즘(119)를 실행시킬 수 있고, 태깅 제어 유닛(135)는 책 커버상의 텍스트 데이터 내에서 식별되는 책 제목에 따라 첵에 라벨(즉 태그)를 붙일 수 있다. (또한 태깅 제어 유닛(135)은 이동 단말(10)의 웹 브라우져를 통해 온라인상에서 콘텐츠를 탐색하기 위해 사용될 수 있는 키워드들로서 역할을 하도록 책 커버상의 감지된 텍스트를 태깅할 수 있 다.) 태깅 제어 유닛(135)은 이 데이터(즉 책 제목)를 사용자 대신에 저장할 수 있고 이 정보를 비주얼 탐색 서버(54) 및/또는 비주얼 탐색 데이터베이스(51)에 전송해서, 그 결과 하나 이상의 이동 단말들의 카메라 모듈들(36)이 책에 들이 대어지거나 그 이미지가 캡쳐되었을 때, 비주얼 탐색 서버(54) 및/또는 비주얼 탐색 데이터베이스(51)가 이 데이터(즉 책 제목)를 하나 이상의 이동 단말(10)의 사용자에게 제공하도록 할 수 있다. 이것은 이동 단말의 사용자에게 시간을 절약하게 하고, 태그들을 생성하기 위해서 키패드(30) 등을 사용함으로써 수동적으로 메타 정보를 입력하기 위해 요구되는 에너지를 절약하게 한다. 예컨대 사용자가 제품에 카메라 모듈을 들이대었고, 제품과 관련된 정보를 이미 담고 있는 제품상의 코드-기반 태그가 존재할 때, 이 정보는 사용자가 수동적으로 데이터를 입력할 필요없이 태그들을 발생시키기 위해 또한 사용될 수 있다.

비주얼 탐색 알고리즘(121)이 실행되었을 때 이동 단말(10)의 사용자가 추가 태그들을 발생시킬 수 있다. 예컨대 카메라 모듈(36)이 예컨대 상점 내 시리얼 박스와 같은 객체에 들이대어졌을 때, 이 객체와 관련된 정보가 미디어 콘텐츠 입력부(67)를 통해 태깅 제어 유닛(135)에 제공될 수 있다. 태깅 제어 유닛(135)이 비주얼 탐색 알고리즘(121)을 실행시켜서, 탐색 모듈(128)이 시리얼 박스 상에 비주얼 탐색을 수행하도록 할 수 있다. 비주얼 탐색 알고리즘은 예컨대 시리얼 박스의 이미지 또는 비디오 클립과 같은 비주얼 비주얼 탐색 결과들을 발생시킬 수 있고, 이 이미지 또는 비디오 클립 내에 포함되는, 예컨대 제품 정보, 시리얼 박스 제품 이름(e.g., Cheerios™)상의 URL, 제조업체의 이름 기타 등등과 같은 다른 데이터 가 있을 수 있고, 이 데이터는 태깅 제어 유닛에 제공된다. 예컨대 비주얼 탐색 결과들 내의 가격 정보와 같은 이런 데이터는, 이동 단말의 사용자가 자신의 카메라 모듈을 시리얼 박스의 미디어 콘텐츠(이미지/비디오 클립)에 연속하여 들이 대거나 캡쳐했을 때, 디스플레이(28)가 정보(예컨대 가격 정보, URL 등)를 제공받을 수 있도록 사용자를 대신하여 태깅 제어 유닛 내에 저장될 수 있는 시리얼 박스의 이미지 또는 비디오 클립에 태깅되거나 링크될 수 있다. 또한 이런 정보는 비주얼 탐색 서버(54) 및/또는 비주얼 탐색 데이터베이스(51)에 전송될 수 있고, 이동 단말의 사용자가 시리얼 박스에 카메라 모듈을 들이 대거나, 시리얼 박스의 미디어 콘텐츠(이미지/비디오 클립)을 캡쳐했을 때 그 비주얼 탐색 서버(54) 및/또는 비주얼 탐색 데이터베이스(51)가 하나 이상의 사용자들에게 그 정보를 제공할 수 있다. 또한, 이것은 이동 단말의 사용자에게 시간을 절약하게 하고, 태그들을 생성하기 위해서 키패드(30) 등을 사용함으로써 수동적으로 메타 정보를 입력하기 위해 요구되는 에너지를 절약하게 한다.

상기 언급된 것과 같이, 이동 단말(10)의 사용자가 비주얼 객체들로부터 콘텐츠를 검색할 때 태깅 제어 유닛(135)에 의해 발생된 태그들이 사용될 수 있다. 또한 전술한 것에 비추어볼 때, 탐색 모듈(28)을 사용함으로써, 사용자는 비주얼 객체들로부터 임베디드된 코드-기반 태그들을 얻을 수 있고, 비주얼 객체에 추가된 OCR 콘텐츠를 얻을 수 있고, (예컨대 OCR 데이터로부터의) 키워드들 및 장소들에 기반하여 콘텐츠를 얻을 수 있고, 키워드 기반의 필터링을 사용해서 다수의 선택들을 제거할 수 있다는 것을 주목해야 한다. 예컨대 책과 관련된 정보를 탐색 할 때, OCR 탐색으로부터 입력이, 관련 정보를 필터링하기 위해 키워드들로서 사용될 수 있는 책 제목 및 작가명과 같은 정보를 담고 있을 수 있다.

본 발명의 예시적인 실시 예들은 이동 단말의 사용자들에게 더 나은 사용자 경험을 제공하는 통일되고 통합된 방식으로 OCR 탐색, 코드-기반 탐색 및 이동 비주얼 탐색의 효력(leveraging)을 촉진시킨다.

도 6, 8, 10, 12, 14, 16과 18에 나타내어지는 흐름도에 있는 각각의 블록 또는 단계 및 흐름도에 있는 블록의 조합은 하드웨어, 펌웨어 그리고/또는 1 이상의 컴퓨터 프로그램 명령어를 포함하는 소프트웨어와 같은, 다양한 수단에 의해 구현될 수 있다는 것을 이해하여야 하다. 상기에 기술된 예를 들면, 하나 이상의 절차는 컴퓨터 프로그램 명령어에 의해 구체화될 수 있다. 이 점에 관해서는, 상기에 기술된 절차를 구체화한 컴퓨터프로그램 명령어는 이동 단말의 메모리 기기에 의해 저장되고 이동 단말에 내장된 프로세서에 의해 실행될 수 있다. 예상되는 것처럼, 임의의 그와 같은 컴퓨터 프로그램 명령어가 기계를 생산하기 위한 컴퓨터 또는 다른 프로그램가능 장치(즉, 하드웨어) 상에 로딩될 수 있어서, 그 결과 컴퓨터 또는 다른 프로그램가능 장치 (즉, 하드웨어) 상에서 실행되는 명령어가 흐름도의 블록(들) 또는 단계(들)에서 특정되어 구현되는 기능을 실행시키는 수단이 되도록 한다. 컴퓨터 또는 다른 프로그램가능 장치가 특별한 방법으로 기능을 하도록 지시할 수 있는 이러한 컴퓨터 프로그램 명령어는, 컴퓨터 판독 가능 메모리에서 또한 저장될 수 있어서, 컴퓨터 판독 가능 메모리에서 저장된 명령어가 흐름도의 블록(들) 또는 단계(들)에서 상술된 기능을 구현시키는 지시 수단을 포함하는 제조 물품을 생산하도록 한다. 컴퓨터 프로그램 명령어는 일련의 연산 단계가 컴퓨터 또는 다른 프로그램가능 장치에서 수행되도록 야기시켜서 컴퓨터로 구현되는 프로세스를 산출하고, 그 결과 컴퓨터 또는 다른 프로그램가능 장치에 실행된 명령어가 시스템에서 실시되는 기능을 구현시키기 위한 단계를 제공하도록 컴퓨터 또는 다른 프로그램가능 장치 위에 또한 로딩될 수 있다.

상기의 기술된 기능은 많은 방법에서 실시될 수 있다. 예를 들면, 상기에 기술된 기능의 각각을 실시하기 위한 임의의 적절한 수단은 본 발명을 실시하기 위해 사용될 수 있다. 일 실시예에서, 본 발명의 요소의 모든 또는 한 부분은 일반적으로 컴퓨터 프로그램 제품의 제어 하에서 작동한다. 본 발명의 실시예의 본 방법을 수행하기 위한 컴퓨터 프로그램 제품은 컴퓨터 판독가능 저장 매체에서 구체화된 컴퓨터 명령과 같은 비휘발성 저장 매체와 같은 컴퓨터 판독가능 저장 매체와 컴퓨터 판독 가능 프로그램 코드 부분을 포함한다.

상기 설명들 및 관련 도면들에서 제공된 교시를 이용하여 본 발명의 많은 변형들 및 다른 실시예들을 당업자는 생각할 수 있을 것이다. 따라서, 본 발명은 개시된 특정 실시예들에 제한되지 않고 변형들 및 다른 실시예들이 첨부된 청구범위내에 포함되는 것으로 이해되어야 한다. 비록 특정 용어들이 본 명세서에 사용되었지만, 상기 용어들은 일반적인 의미로 설명하기 위해 사용된 것이고 제한을 위해 사용된 것이 아니다.

Claims (37)

1. 미디어 콘텐츠를 수신하고;

   상기 미디어 콘텐츠와 연관된 데이터를 분석하고;

   복수의 알고리즘들 중에서 제1 알고리즘을 선택하고;

   상기 제1 알고리즘을 실행하고, 그리고 상기 제1 알고리즘에 따라 하나 이상의 탐색들을 수행하고; 그리고

   상기 하나 이상의 탐색들에 기반하여, 상기 미디어 콘텐츠에 대응하는 하나 이상의 후보들을 수신하는 것을 포함하는 방법.
2. 제1항에 있어서,

   상기 수신하는 것은, 메타 정보를 수신하는 것을 더 포함하고, 그리고

   상기 분석하는 것은, 메타 정보를 분석하는 것을 더 포함하는 방법.
3. 제2항에 있어서,

   상기 미디어 콘텐츠는 현실 세계의 하나 이상의 객체들을 포함하고,

   상기 메타 정보는 상기 미디어 콘텐츠의 특성, 단말과 연관된 환경적 특성, 상기 단말과 연관된 지리적 특성, 및 상기 단말의 사용자와 연관된 개인적 특성 중 적어도 하나를 포함하는 방법.
4. 제2항에 있어서,

   상기 메타 정보는 단말의 위치 또는 상기 미디어 콘텐츠의 위치 중 적어도 하나를 포함하는 방법.
5. 제4항에 있어서,

   상기 제1 알고리즘을 선택하는 것은 상기 위치에 기반하는, 방법.
6. 제1항에 있어서,

   상기 미디어 콘텐츠는 이미지, 비디오 데이터, 그래픽 애니메이션, 디지털 사진 및 오디오 데이터 중 적어도 하나를 포함하는 방법.
7. 제1항에 있어서,

   상기 복수의 알고리즘들은, 코드-기반(code-based) 탐색 알고리즘, 광학식 문자 인식(OCR : optical character recognition, 이하 'OCR'로 표기) 탐색 알고리즘 및 비주얼 탐색 알고리즘을 포함하는 방법.
8. 제2항에 있어서,

   상기 메타 정보는 상기 복수의 알고리즘들 중에서 상기 제1 알고리즘을 선택하기 위한 기준을 정의하는 하나 이상의 규칙들을 포함하는 방법.
9. 제1항에 있어서, 상기 방법은,

   하나 이상의 후보들을 수신하기 전에, 상기 복수의 알고리즘들 중에서 제2 알고리즘을 선택하는 것을 더 포함하는 방법.
10. 제7항에 있어서, 상기 방법은,

    미디어 콘텐츠를 수신하기 전에, 상기 미디어 콘텐츠가 코드-기반 데이터에 관한 속성들을 포함하는지 여부를 판정하는 것을 더 포함하고,

    포함한다면, 상기 제1 알고리즘은 상기 미디어 콘텐츠와 연관된 코드-기반 데이터를 탐색하는 코드-기반 탐색 알고리즘을 포함하는, 방법.
11. 제7항에 있어서,

    미디어 콘텐츠를 수신하기 전에, 상기 미디어 콘텐츠가 OCR 데이터에 관한 속성들을 포함하는지 여부를 판정하는 것을 더 포함하고,

    포함한다면, 상기 제1 알고리즘은 상기 미디어 콘텐츠와 연관된 OCR데이터를 탐색하는 OCR 탐색 알고리즘을 포함하는, 방법.
12. 제7항에 있어서,

    미디어 콘텐츠를 수신하기 전에, 상기 방법은:

    상기 미디어 콘텐츠가 코드-기반 데이터에 관한 속성들을 포함하는지 여부를 판정하고;

    상기 미디어 콘텐츠가 OCR 데이터에 관한 속성들을 포함하는지 여부를 판정하고;

    상기 미디어 콘텐츠가 코드-기반 데이터에 관한 속성들 또는 OCR 데이터에 관한 속성들을 포함하지 않을 때, 상기 제1 알고리즘은 상기 미디어 콘텐츠의 비주얼 속성들을 탐색하는 비주얼 탐색 알고리즘을 포함한다고 결정하는 것을 더 포함하는 방법.
13. 제1항에 있어서, 상기 방법은,

    데이터를 분석하기 전에, 단말의 사용자의 속성들과 연관된 하나 이상의 정의된 입력들을 수신하는 것을 더 포함하고,

    상기 하나 이상의 정의된 입력들은 상기 제1 알고리즘을 선택하기 위한 규칙을 포함하는, 방법.
14. 제13항에 있어서,

    상기 하나 이상의 정의된 입력들은, 사용자의 음성, 사용자의 제스처, 사용자의 터치, 및 사용자에 의해 생성된 입력 데이터 중 적어도 하나를 포함하는, 방법.
15. 제2항에 있어서,

    상기 제1 알고리즘은 비주얼 탐색 알고리즘을 포함하고, 상기 방법은:

    상기 하나 이상의 탐색들이 상기 미디어 콘텐츠와 연관된 복수의 태그들을 식별하는지 판정하고;

    상기 복수의 태그들이 광학식 문자 인식(OCR) 태그, 코드-기반 태그 또는 비주얼 태그를 포함하는지를 판정하고, 포함한다면;

    상기 하나 이상의 후보들을 디스플레이하는 것 [상기 하나 이상의 후보들은 상기 OCR 태그와 연관된 데이터, 상기 코드-기반 태그와 연관된 데이터, 비주얼 태그와 연관된 데이터를 포함한다]을 더 포함하는 방법.
16. 제3항에 있어서,

    상기 하나 이상의 후보들 각각은,

    상기 하나 이상의 객체들, 상기 단말, 및 상기 사용자와 링크되고, 그리고

    상기 하나 이상의 후보들 각각은 원하는 정보 아이템에 대응하는 방법.
17. 미디어 콘텐츠 및 메타 정보를 수신하고;

    하나 이상의 탐색 알고리즘들을 실행하고, 그리고 각각의 탐색 알고리즘들을 이용하여 상기 미디어 콘텐츠에 대해 하나 이상의 탐색들을 실행하고, 그리고 대응하는 결과들을 수집하고; 그리고

    하나 이상의 인자(factor)들에 기반하여 상기 결과들에 우선순위를 매기는 것을 포함하는 방법.
18. 제17항에 있어서, 상기 방법은

    상기 우선순위가 매겨진 결과들을 수신하고;

    상기 우선순위가 매겨진 결과들의 정확성을 판정하고;

    상기 우선순위가 매겨진 결과들에 재우선순위를 매기고;

    상기 재우선순위가 매겨진 결과들 각각에 값을 할당하고; 그리고

    상기 재우선순위가 매겨진 결과들 중 하나 이상과 연관된 하나 이상의 후보들을 디스플레이하는 것을 더 포함하는 방법.
19. 제18항에 있어서,

    상기 재우선순위가 매겨진 결과들 내의 데이터에 대응하는 순서로 하나 이상의 후보들 각각을 재배열하는 것을 더 포함하는 방법.
20. 제18항에 있어서,

    상기 하나 이상의 인자들은 상기 미디어 콘텐츠와 연관된 의도된 청중 데이터, 정확성 데이터, 그리고 간결 및 축약 데이터 중 적어도 하나를 포함하는 방법.
21. 미디어 콘텐츠 및 메타 정보를 수신하고;

    복수의 탐색 알고리즘들 중에 제1 탐색 알고리즘을 실행하고, 그리고 상기 미디어 콘텐츠와 연관된 하나 이상의 태그들의 제1 타입을 감지하고;

    하나 이상의 태그들 중 제2 타입과 제3 타입이 상기 미디어 콘텐츠와 연관되 었는지를 판정하고;

    상기 복수의 탐색 알고리즘들 중에 제2 탐색 알고리즘을 실행하고, 그리고 하나 이상의 태그들 중 상기 제2 타입 및 상기 제3 타입에 연관된 데이터를 감지하고;

    하나 이상의 후보들을 수신하고; 그리고

    하나 이상의 태그들 중 상기 제2 타입과 상기 제3 타입에 대응하는 데이터를 포함하는 상기 하나 이상의 후보들 중 각각의 하나를 하나 이상의 태그들 중 상기 제1 타입에 대응하는 상기 하나 이상의 후보들 중 각각의 하나에 삽입하는 것 [이 경우 상기 제1 타입, 제2 타입, 및 제3 타입은 상이하다]을 포함하는 방법.
22. 제21항에 있어서,

    상기 제1 탐색 알고리즘은 비주얼 탐색 알고리즘에 대응하고,

    상기 제2 알고리즘은 광학식 문자 인식(OCR) 탐색 알고리즘 및 코드-기반 알고리즘에 대응하고,

    이 경우 상기 하나 이상의 태그들 중 제1 타입, 제2 타입, 및 제3 타입이 비주얼 태그들, OCR 태그들, 코드-기반 태그들을 각각 포함하는 방법.
23. 프로세싱 엘리먼트를 포함하는 기기로서,

    상기 프로세싱 엘리먼트는:

    미디어 콘텐츠를 수신하고;

    상기 미디어 콘텐츠와 연관된 데이터를 분석하고;

    복수의 알고리즘들 중에서 제1 알고리즘을 선택하고;

    상기 제1 알고리즘을 실행하고, 그리고 상기 제1 알고리즘에 따라 하나 이상의 탐색들을 수행하고; 그리고

    상기 하나 이상의 탐색들에 기반하여, 상기 미디어 콘텐츠에 대응하는 하나 이상의 후보들을 수신하도록 구성된 기기.
24. 제23항에 있어서, 상기 프로세싱 엘리먼트는,

    메타 정보를 수신하고, 그리고

    상기 메타 정보를 분석하도록 또한 구성된 기기.
25. 제23항에 있어서,

    상기 미디어 콘텐츠는 현실 세계의 하나 이상의 객체들을 포함하고,

    상기 메타 정보는 상기 미디어 콘텐츠의 특성, 상기 기기와 연관된 환경적 특성, 단말과 연관된 지리적 특성, 및 상기 기기의 사용자와 연관된 개인적 특성 중 적어도 하나를 포함하는 기기.
26. 제23항에 있어서,

    상기 메타 정보는 상기 기기의 위치 또는 상기 미디어 콘텐츠의 위치 중 적어도 하나를 포함하는 기기.
27. 제26항에 있어서,

    상기 제1 알고리즘을 선택하는 것은 상기 위치에 기반하는, 기기.
28. 제23항에 있어서,

    상기 복수의 알고리즘들은, 코드-기반(code-based) 탐색 알고리즘, 광학식 문자 인식(OCR) 탐색 알고리즘 및 비주얼 탐색 알고리즘을 포함하는, 기기.
29. 제24항에 있어서,

    상기 메타 정보는 상기 제1 알고리즘을 선택하기 위한 기준을 정의하는 하나 이상의 규칙들을 포함하는, 기기.
30. 제23항에 있어서, 상기 프로세싱 엘리먼트는,

    상기 미디어 콘텐츠가 코드-기반 데이터에 관한 속성들을 포함하는지 여부를 판정하도록 또한 구성되고,

    포함한다면, 상기 제1 알고리즘은 상기 미디어 콘텐츠와 연관된 코드-기반 데이터를 탐색하는 코드-기반 탐색 알고리즘을 포함하는, 기기.
31. 제28항에 있어서, 상기 프로세싱 엘리먼트는,

    상기 미디어 콘텐츠가 OCR 데이터에 관한 속성들을 포함하는지 여부를 판정 하도록 또한 구성되고,

    포함한다면, 상기 제1 알고리즘은 상기 미디어 콘텐츠와 연관된 OCR데이터를 탐색하는 OCR 탐색 알고리즘을 포함하는, 기기.
32. 제27항에 있어서, 상기 프로세싱 엘리먼트는,

    상기 미디어 콘텐츠가 코드-기반 데이터에 관한 속성들을 포함하는지 여부를 판정하고;

    상기 미디어 콘텐츠가 OCR 데이터에 관한 속성들을 포함하는지 여부를 판정하고;

    상기 미디어 콘텐츠가 코드-기반 데이터에 관한 속성들 또는 OCR 데이터에 관한 속성들을 포함하지 않을 때, 상기 제1 알고리즘은 상기 미디어 콘텐츠와 연관된 비주얼 속성들을 탐색하는 비주얼 탐색 알고리즘을 포함한다고 결정하도록 또한 구성된 기기.
33. 제23항에 있어서, 상기 프로세싱 엘리먼트는,

    상기 기기의 사용자의 속성들과 연관된 하나 이상의 정의된 입력들을 수신하도록 또한 구성되고,

    상기 하나 이상의 정의된 입력들은 상기 제1 알고리즘을 선택하기 위한 규칙을 포함하는, 기기.
34. 프로세싱 엘리먼트를 포함하는 기기로서,

    상기 프로세싱 엘리먼트는:

    미디어 콘텐츠 및 메타 정보를 수신하고;

    하나 이상의 탐색 알고리즘들을 실행하고, 그리고 각각의 탐색 알고리즘들을 이용하여 상기 미디어 콘텐츠에 대해 하나 이상의 탐색들을 수행하고, 그리고 대응하는 결과들을 수집하고; 그리고

    하나 이상의 인자(factor)들에 기반하여 상기 결과들에 우선순위를 매기도록 구성된 기기.
35. 제34항에 있어서, 상기 프로세싱 엘리먼트는:

    상기 우선순위가 매겨진 결과들을 수신하고;

    상기 우선순위가 매겨진 결과들의 정확성을 판정하고;

    상기 우선순위가 매겨진 결과들에 재우선순위를 매기고;

    상기 재우선순위가 매겨진 결과들 각각에 값을 할당하고; 그리고

    상기 재우선순위가 매겨진 결과들 중 하나 이상과 연관된 하나 이상의 후보들을 디스플레이하도록 구성된 기기.
36. 프로세싱 엘리먼트를 포함하는 기기로서,

    상기 프로세싱 엘리먼트는:

    미디어 콘텐츠 및 메타 정보를 수신하고;

    복수의 탐색 알고리즘들 중에 제1 탐색 알고리즘을 실행하고, 그리고 상기 미디어 콘텐츠와 연관된 하나 이상의 태그들의 제1 타입을 감지하고;

    하나 이상의 태그들 중 제2 타입과 제3 타입이 상기 미디어 콘텐츠와 연관되었는지를 판정하고;

    상기 복수의 탐색 알고리즘들 중에 제2 탐색 알고리즘을 실행하고, 그리고 하나 이상의 태그들 중 상기 제2 타입과 상기 제3 타입에 연관된 데이터를 감지하고;

    하나 이상의 후보들을 수신하고; 그리고

    하나 이상의 태그들 중 상기 제2 타입과 상기 제3 타입에 대응하는 데이터를 포함하는 상기 하나 이상의 후보들 중 각각의 하나를 하나 이상의 태그들 중 상기 제1 타입에 대응하는 상기 하나 이상의 후보들 중 각각의 하나에 삽입하도록 [이 경우 상기 제1 타입, 제2 타입, 및 제3 타입은 상이하다] 구성된 기기.
37. 컴퓨터 판독가능 프로그램 코드부들이 저장된 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 판독가능 프로그램 코드부들은:

    미디어 콘텐츠를 수신하기 위한 제1실행부;

    상기 미디어 콘텐츠와 연관된 데이터를 분석하기 위한 제2 실행부;

    복수의 알고리즘들 중에서 제1 알고리즘을 선택하기 위한 제3 실행부;

    상기 제1 알고리즘을 실행하고, 그리고 상기 제1 알고리즘에 따라 하나 이상 의 탐색들을 수행하기 위한 제4 실행부; 및

    상기 하나 이상의 탐색들에 기반하여, 상기 미디어 콘텐츠에 대응하는 하나 이상의 후보들을 수신하기 위한 제5 실행부;를 포함하는 컴퓨터 프로그램 제품.

Images