KR20100007880A - 검색 시스템에서 관련성 및／또는 모호성을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램 생성물 - Google Patents

Abstract

검색 시스템에서 관련성 및/또는 모호성을 결정하기 위한 장치는 조회를 포함하는 비주얼 미디어를 수신하도록 구성되고, 모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하도록 구성되며, 상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하도록 구성되고, 상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하도록 구성된 처리 요소를 포함할 수 있다.

관련성, 모호성, 검색, 시스템, 결정, 조회, 비주얼, 미디어, 매핑

Description

검색 시스템에서 관련성 및／또는 모호성을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램 생성물{Method, apparatus and computer program product for determining relevance and/or ambiguity in a search system}

본 발명의 실시예들은 일반적으로 콘텐트 검색 기술에 관한 것으로, 특히, 검색 시스템에서 관련성 및/또는 모호성을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램 생성물에 관한 것이다.

현대의 통신 시대는 유선 및 무선 네트워크들의 엄청난 팽창을 야기했다. 컴퓨터 네트워크들, 텔레비전 네트워크들 및 텔레포니 네트워크들은 소비자 요구에 의해 야기되는, 전례없는 기술 팽창을 겪고 있다. 무선 및 모바일 네트워킹 기술들은 관련된 소비자 요구를 처리했고, 동시에 더 융통성있고 집적적인 정보 전송을 제공한다.

현재 및 미래의 네트워킹 기술들은 사용자들에 대한 정보 전송의 용이함 및 편리함을 계속 촉진한다. 사용자들에 대한 정보 전송의 용이함 및 편리함을 증가시키기 위한 요구가 존재하는 하나의 영역은 네트워크들에서 정보 검색의 제공과 관련된다. 예를 들어, 오디오, 비디오, 이미지 콘텐트, 텍스트, 데이터 등과 같은 정보는 다양한 통신 네트워크들을 사용하여 상이한 실체들 간에 검색을 위해 이용가 능해질 있다. 따라서, 상이한 실체들 각각과 연관된 장치들은 정보의 전송을 찾고 정보의 전송에 영향을 미치기 위하여 서로 통신하도록 배치될 수 있다.

텍스트 기반 검색들은 전형적으로 사용자에 의해 입력된 조회 용어에 기초하여 결과들을 검색하도록 구성되는 검색 엔진의 사용을 포함한다. 하지만, 다중 의미를 지닌 단어들과 같은 언어적인 도전들로 인하여, 검색 결과들의 품질은 일관되게 높지 않을 수 있다. 더욱이, 검색된 데이터 소스들은 검색이 수행되고 있는 특정 토픽에 대한 정보를 가지고 있지 않을 수 있다. 그리하여, 다른 검색 유형들이 인기를 끌었다. 최근에, 콘텐트 기반 검색들은 비주얼 검색에 관해 더 인기를 끌고 있다. 어떤 상황에서, 예를 들어, 사용자가 데이터베이스와 같은 특정 위치에서 이미지 콘텐트를 검색하고 싶은 경우, 사용자는 이미지들의 콘텐트에 기초하여 이미지들을 리뷰하고 싶을 수 있다. 이와 관련하여, 예를 들어, 사용자는 고양이, 동물, 자동차 등의 이미지들을 리뷰하고 싶을 수 있다. 메타 데이터에 기초하여 콘텐트에 대한 검색을 가능하게 하기 위하여 메타데이터가 콘텐트 아이템들과 연관될 수 있는 몇몇 메커니즘들이 제공되었을지라도, 이러한 메타데이터의 삽입은 시간 소모적인 것일 수 있다. 더욱이, 사용자는 메타데이터의 사용이 불완전하거나 신뢰성이 없는 데이터베이스에서 콘텐트를 찾고 싶을 수 있다. 따라서, 예를 들어 특정 조회에 관해 관련성에 기초하여 콘텐트를 분류하기 위한 지원 벡터 머신(SVM)과 같은 분류자를 이용하는 콘텐트 기반 이미지 검색 해법들이 개발되었다. 그래서, 예를 들어, 사용자가 고양이의 이미지들에 대해 데이터베이스를 검색하고 싶은 경우, 고양이의 조회 이미지가 제공될 수 있고 SVM은 조회 이미지의 특징들에 관해 이미 지들의 관련성에 기초하여 사용자에게 이미지들을 제공할 수 있다.

하지만, 콘텐트 기반 이미지 검색은 종종 컬러, 모양, 텍스처 등과 같은 낮은 레벨 특징들에 기초하여 이미지들을 분류한다. 따라서, 관련성과 비관련성 간의 경계는 아주 세밀히 구별되지 않을 수 있다. 콘텐트 기반 이미지 검색 성능을 개선시키기 위한 노력으로, 관련성 피드백의 개념이 개발되었다. 관련성 피드백은 이미지들의 관련성에 대해 제시된 이미지들에 관한 분류자에 대한 피드백을 제공하는 것과 관련된다. 관련성 피드백이 주어지는 경우, 분류자는 관련된 이미지와 관련되지 않은 이미지들 간의 분류 경계를 더 잘 학습할 수 있다고 가정한다.

예를 들어 이동 단말기에서 수행되는 모바일 비주얼 검색 기능들과 같은 비주얼 검색 기능들은 조회 또는 입력 이미지를 비주얼 데이터베이스들 내의 이미지들과 비교하기 위하여 이미지 매칭을 사용하여 큰 비주얼 데이터베이스들을 레버리징(leverage)할 수 있다. 이미지 매칭은 입력 이미지가 비주얼 데이터베이스 내의 이미지들과 얼마나 유사한지를 알려줄 수 있다. 그 다음, 최상위 매치들(matches)(예를 들어, 가장 관련된 이미지들)은 이동 단말기의 디스플레이상에 시각화됨으로써 사용자에게 표시될 수 있다. 몇몇 경우에, 이미지들과 연관된 콘텍스트 정보가 또한 제공될 수 있다. 따라서, 이동 단말기에 장착된 카메라를 단순히 특정 객체쪽으로 가리킴으로써, 사용자는 특정 객체와 연관된 콘텍스트 정보를 획득할 수 있다.

사용자의 환경에서 이미지 내에 캡처된 객체들과 관련된 콘텍스트 정보를 획득하기 위한 가능성이 주어지는 경우, 의미있는 성능 및 사용자 경험을 위해 이미 지 매치들을 결정하는 중요성에 대한 평가가 획득될 수 있다. 상이한 시야각, 모션 블러, 조명, 비주얼 객체들 간의 유사성, 캡처의 각도, 줌 레벨, 카메라 품질 등과 같은 몇몇 인자들은 이미지 매칭에서 어떤 역할을 할 수 있고 따라서 매칭 결과들에 직접적으로 영향을 미칠 수 있다.

따라서, 이미지 매치들(matches)을 결정하는 개선된 방법을 제공하는 것이 유리할 수 있다.

그러므로 비주얼 검색 시스템과 같은 검색 시스템에서 관련성 및 모호성을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램 생성물이 제공된다. 특히, 이미지 검색시 관련성 및/또는 모호성 척도에 관한 신뢰 레벨 정보를 획득하는데 있어서 사용하기 위한 매핑 함수를 제공하는 방법, 장치 및 컴퓨터 프로그램 생성물이 제공된다. 그 다음, 획득된 관련성 및/또는 모호성 척도는 사용자에게 유용한 방식으로 매핑 함수의 출력의 시각화를 위해 이용될 수 있다. 따라서, 이미지 콘텐트 검색의 효율은 증가될 수 있고 이동 단말기들과 같은 전자 장치들을 위한 콘텐트 관리, 내비게이션, 관광 및 엔터테인먼트 기능들이 개선될 수 있다.

하나의 예시적인 실시예에서, 검색 시스템에서 관련성 및 모호성을 결정하기 위한 방법이 제공된다. 상기 방법은 조회를 포함하는 비주얼 미디어를 수신하는 것; 모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하는 것; 상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하는 것; 및 상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하는 것을 포함한다.

다른 예시적인 실시예에서, 검색 시스템에서 관련성 및 모호성을 결정하기 위한 컴퓨터 프로그램 생성물이 제공된다. 상기 컴퓨터 프로그램 생성물은 내부에 저장된 컴퓨터로 읽을 수 있는 프로그램 코드 부분들을 구비하는 적어도 하나의 컴퓨터로 읽을 수 있는 저장 매체를 포함한다. 상기 컴퓨터로 읽을 수 있는 프로그램 코드 부분들은 제1, 제2, 제3 및 제4 실행가능한 부분들을 포함한다. 상기 제1 실행가능한 부분은 조회를 포함하는 비주얼 미디어를 수신하기 위한 것이다. 상기 제2 실행가능한 부분은 모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하기 위한 것이다. 상기 제3 실행가능한 부분은 상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하기 위한 것이다. 상기 제4 실행가능한 부분은 상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하기 위한 것이다.

다른 예시적인 실시예에서, 검색 시스템에서 관련성 및 모호성을 결정하기 위한 장치가 제공된다. 상기 장치는 조회를 포함하는 비주얼 미디어를 수신하도록 구성되고, 모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하도록 구성되며, 상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하도록 구성되고, 상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하도록 구성된 처리 요소를 포함할 수 있다.

다른 예시적인 실시예에서, 검색 시스템에서 관련성 및 모호성을 결정하기 위한 장치가 제공된다. 상기 장치는 조회를 포함하는 비주얼 미디어를 수신하기 위한 수단; 모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하기 위한 수단; 상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하기 위한 수단; 및 상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하기 위한 수단을 포함한다.

다른 예시적인 실시예에서, 검색 시스템에서 관련성 및 모호성을 결정하기 위한 방법이 제공된다. 상기 방법은 모호성 및 관련성에 기초하여 조회를 포함하는 비주얼 미디어에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하는 것; 및 상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화시 사용하기 위한 정보를 제공하는 것을 포함한다.

다른 예시적인 실시예에서, 검색 시스템에서 관련성 및 모호성을 결정하기 위한 컴퓨터 프로그램 생성물이 제공된다. 상기 컴퓨터 프로그램 생성물은 내부에 저장된 컴퓨터로 읽을 수 있는 프로그램 코드 부분들을 구비하는 적어도 하나의 컴퓨터로 읽을 수 있는 저장 매체를 포함한다. 상기 컴퓨터로 읽을 수 있는 프로그램 코드 부분들은 제1 실행가능한 부분 및 제2 실행가능한 부분을 포함한다. 상기 제1 실행가능한 부분은 모호성 및 관련성에 기초하여 조회를 포함하는 비주얼 미디어에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하기 위한 것이다. 상기 제2 실행가능한 부분은 상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화시 사용하기 위한 정보를 제공하기 위한 것이다.

다른 예시적인 실시예에서, 검색 시스템에서 관련성 및 모호성을 결정하기 위한 장치가 제공된다. 상기 장치는 모호성 및 관련성에 기초하여 조회를 포함하는 비주얼 미디어에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하도록 구성되고, 상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화시 사용하기 위한 정보를 제공하도록 구성되는 처리 요소를 포함할 수 있다.

본 발명의 실시예들은 이미지 콘텐트 검색 또는 다른 비주얼 미디어(예를 들어, 비디오)의 검색과 같은 콘텐트 검색을 향상시키기 위하여 장치들에서 사용하기 위한 방법, 장치 및 컴퓨터 프로그램 생성물을 제공할 수 있다. 결과로서, 예를 들어, 이동 단말기들 및 다른 전자 장치들은 효과적인 방식으로 콘텐트 검색을 수행하기 위한 능력으로부터 이익을 얻을 수 있고 지능적이고 유용한 방법으로 사용자에게 결과들을 제공할 수 있다.

본 발명의 실시예들이 일반적으로 설명되었고, 이제 스케일에 구애받을 필요가 없는 첨부된 도면들이 참조될 것이다.

도 1은 본 발명의 예시적인 실시예에 의한 이동 단말기의 개략적인 블록도이다.

도 2는 본 발명의 예시적인 실시예에 의한 무선 통신 시스템의 개략적인 블 록도이다.

도 3은 본 발명의 예시적인 실시예에 의한 검색 시스템에서 관련성 및/또는 모호성을 결정하기 위한 장치의 블록도를 도시한 것이다.

도 4는 본 발명의 예시적인 실시예에 의한 개별적인 이미지 매치 스코어들에 기초한 관련성 및 모호성 결정을 위한 매핑 함수의 구현예를 도시한 것이다.

도 5는 본 발명의 예시적인 실시예에 의한 한 세트의 이미지 매칭 스코어들에 기초한 관련성 및 모호성 결정을 위한 매핑 함수의 다른 구현예를 도시한 것이다.

도 6은 본 발명의 예시적인 실시예에 의한 한 세트의 이미지 매칭 스코어들 및 비주얼 객체들의 내부 연계 분석에 기초한 관련성 및 모호성 결정을 위한 매핑 함수의 다른 구현예를 도시한 것이다.

도 7은 본 발명의 예시적인 실시예에 의한 비주얼 객체들의 인기도에 관한 정보와 함께 개별 또는 한 세트의 이미지 매칭 스코어들에 기초한 관련성 및 모호성 결정을 위한 매핑 함수의 다른 구현예를 도시한 것이다.

도 8은 본 발명의 예시적인 실시예에 의한 정확한 매치와 연관된 검색 결과들의 시각화를 도시한 것이다.

도 9은 본 발명의 예시적인 실시예에 의한 유사한 매치와 연관된 검색 결과들의 시각화를 도시한 것이다.

도 10은 본 발명의 예시적인 실시예에 의한 복수의 반환물들과 연관된 검색 결과들의 시각화를 도시한 것이다.

도 11은 본 발명의 예시적인 실시예에 의한 매치를 발견하기 위한 무능력과 연관된 검색 결과들의 시각화를 도시한 것이다.

도 12는 본 발명의 예시적인 실시예에 의한 검색 시스템에서 관련성 및 모호성을 결정하기 위한 예시적인 방법에 의한 흐름도이다.

도 13은 이미지 모호성이 부닥칠 수 있는 이미지들의 예들을 도시한 것이다.

이제 본 발명의 실시예들이 첨부된 도면들을 참조하여 이하에서 더 상세히 설명될 것인데, 첨부된 도면들에는 본 발명의 모든 실시예들이 아니라 몇몇 실시예들이 도시된다. 진정으로, 본 발명은 많은 다른 형태들로 구현될 수 있고 여기에서 설명된 실시예들에 한정되는 것으로 간주되지 않아야 한다; 오히려, 이들 실시예들은 본 명세가 적용가능한 법적인 요건을 만족시키도록 제공된다. 유사한 참조번호들은 전반적으로 유사한 요소들을 지칭한다.

도 1은 본 발명의 예시적인 실시예들로부터 이익을 얻을 이동 단말기(10)의 블록도를 도시한 것이다. 하지만, 이하에서 도시되고 설명되는 바와 같은 이동 전화가 본 발명의 실시예들로부터 이익을 얻을 한 유형의 이동 단말기를 단지 나타낸다는 것과 본 발명의 실시예들의 범위를 제한하지 않아야 한다는 것은 이해되어야 한다. 이동 단말기(10)의 하나의 실시예가 예로서 하기에 도시되고 설명될지라도, 휴대용 개인 휴대 정보 단말기(PDA), 페이저, 모바일 컴퓨터, 모바일 텔레비전, 게이밍 장치, 랩톱 컴퓨터, 카메라, 비디오 레코더, GPS 장치 및 다른 유형의 음성 및 텍스트 통신 시스템들과 같은 다른 유형의 이동 단말기들은 본 발명의 예시적인 실시예들을 쉽사리 사용할 수 있다. 더욱이, 모바일이 아닌 장치들도 본 발명의 실시예들을 쉽사리 사용할 수 있다.

본 발명의 실시예들의 시스템 및 방법은 주로 이동 통신 애플리케이션들과 관련하여 설명될 것이다. 하지만, 본 발명의 실시예들의 시스템 및 방법이 이동 통신 산업 및 이동 통신 산업 이외의 산업 양쪽에서, 다양한 다른 애플리케이션들과 함께 이용될 수 있다는 것은 이해되어야 한다.

이동 단말기(10)는 송신기(14) 및 수신기(16)와 동작가능하게 통신하는 안테나(12)(또는 다중 안테나)를 포함한다. 이동 단말기(10)는 각각 송신기(14) 및 수신기(16)로 신호들을 제공하고 그들로부터 신호들을 수신하는 제어기(20) 또는 다른 처리 요소를 더 포함한다. 상기 신호들은 적용가능한 셀룰러 시스템의 무선 인터페이스 표준에 따른 시그널링 정보 및 또한 사용자 음성, 수신된 데이터 및/또는 사용자 생성된 데이터를 포함한다. 이와 관련하여, 이동 단말기(10)는 하나 이상의 무선 인터페이스 표준들, 통신 프로토콜들, 변조 유형들 및 액세스 유형들과 동작할 수 있다. 설명을 위하여, 이동 단말기(10)는 다수의 1세대, 2세대, 3세대 및/또는 4세대 통신 프로토콜 등 중에서 어떤 통신 프로토콜에 따라 동작할 수 있다. 예를 들어, 이동 단말기(10)는 2세대(2G) 무선 통신 프로토콜 IS-136(TDMA), GSM 및 IS-95(CDMA) 또는 UMTS, CDMA2000, WCDMA와 TD-SCDMA와 같은 3세대 무선 통신 프로토콜들 그리고 4세대(4G) 무선 통신 프로토콜들 등에 따라 동작할 수 있다.

제어기(20)가 이동 단말기(10)의 오디오 및 로직 기능들을 구현하는데 요망되는 회로를 포함한다는 것은 이해된다. 예를 들어, 제어기(20)는 디지털 신호 처 리기 장치, 마이크로프로세서 장치 및 다양한 아날로그-디지털 변환기들, 디지털-아날로그 변환기들 및 다른 지원 회로들을 포함할 수 있다. 이동 단말기(10)의 제어 및 신호 처리 기능들은 그들의 각각의 능력들에 따라 이들 장치들 간에 할당된다. 따라서 제어기(20)는 또한 변조 및 전송 이전에 메시지 및 데이터를 콘볼루션 부호화하고 인터리빙하기 위한 기능을 포함할 수 있다. 제어기(20)는 부가적으로 내부 음성 부호기를 포함할 수 있고 내부 데이터 모뎀을 포함할 수 있다. 더욱이, 제어기(20)는 메모리에 저장될 수 있는, 하나 이상의 소프트웨어 프로그램들을 동작시키기 위한 기능을 포함할 수 있다. 예를 들어, 제어기(20)는 관용적인 웹 브라우저와 같은 접속 프로그램을 동작시킬 수 있다. 그 다음, 상기 접속 프로그램은 예를 들어, 무선 애플리케이션 프로토콜(WAP), 하이퍼텍스트 전송 프로토콜(HTTP) 등에 따라, 위치-기반 콘텐트 및/또는 다른 웹 페이지 콘텐트와 같은 웹 콘텐트를 이동 단말기(10)가 전송하고 수신하도록 허용할 수 있다.

이동 단말기(10)는 또한 관용적인 이어폰 또는 스피커(24)와 같은 출력 장치, 링거(ringer, 22), 마이크로폰(22), 디스플레이(28) 및 사용자 입력 인터페이스를 포함하는 사용자 인터페이스를 포함할 수 있는데, 이들은 모두 제어기(20)에 연결되어 있다. 이동 단말기(10)가 데이터를 수신하도록 허용하는, 사용자 입력 인터페이스는 키패드(30), 터치 디스플레이(미도시) 또는 다른 입력 장치와 같이, 이동 단말기(10)가 데이터를 수신하도록 허용하는 다수의 장치들 중 어떤 장치도 포함할 수 있다. 키패드(30)를 포함하는 실시예들에서, 키패드(30)는 관용적인 숫자(0-9) 및 관련된 키들(#, *) 및 이동 단말기(10)를 동작시키기 위하여 사용되는 다른 키들을 포함할 수 있다. 대안적으로, 키패드(30)는 관용적인 쿼티(QWERTY) 키패드 장치를 포함할 수 있다. 상기 키패드(30)는 또한 연관된 기능들을 지닌 다양한 소프트 키들을 포함할 수 있다. 더욱이, 또는 대안적으로 이동 단말기(10)는 조이스틱 또는 다른 사용자 입력 인터페이스와 같은 인터페이스 장치를 포함할 수 있다. 이동 단말기(10)는 검출가능한 출력으로서 선택적으로 기계적인 진동을 제공할 뿐만 아니라, 이동 단말기(10)를 동작시키는데 필요한 다양한 회로들에 전력을 제공하기 위한, 진동 배터리 팩과 같은 배터리(34)를 추가로 포함한다.

예시적인 실시예에서, 이동 단말기(10)는 제어기(20)와 통신하는, 카메라, 비디오 및/또는 오디오 모듈과 같은 미디어 캡처링 요소를 포함한다. 미디어 캡처링 요소는 저장, 디스플레이 또는 전송을 위하여 이미지, 비디오 및/또는 오디오를 캡처하기 위한 어떤 수단일 수 있다. 예를 들어, 미디어 캡처링 요소가 카메라 모듈(36)인 예시적인 실시예에서, 카메라 모듈(36)은 캡처된 이미지로부터 디지털 이미지 파일을 형성할 수 있는 디지털 카메라를 포함할 수 있다. 그 자체로, 카메라 모듈(36)은 렌즈 또는 다른 광학 구성요소(들)과 같은 모든 하드웨어 및 캡처된 이미지로부터 디지털 이미지 파일을 생성하는데 필요한 소프트웨어를 포함한다. 대안적으로, 카메라 모듈(36)은 이미지를 보는데 필요한 하드웨어만을 포함할 수 있는데 반하여, 이동 단말기(10)의 메모리 장치는 캡처된 이미지로부터 디지털 이미지 파일을 생성하는데 필요한 제어기(20)에 의한 실행을 위한 소프트웨어 형태의 명령들을 저장한다. 예시적인 실시예에서, 카메라 모듈(36)은 이미지 데이터를 처리하는데 있어서 제어기(20)를 도와주는 코-프로세서와 같은 처리 요소 및 이미지 데이 터를 압축 및/또는 압축해제하기 위한 부호기 및/또는 복호기를 더 포함할 수 있다. 상기 부호기 및/또는 복호기는 JPEG 표준 포맷에 따라 부호화 및/또는 복호화를 수행할 수 있다. 부가적으로 또는 대안적으로, 카메라 모듈(36)은 예를 들어, 1인칭 카메라 뷰 및 3인칭 맵 뷰와 같은 하나 이상의 뷰들을 포함할 수 있다.

이동 단말기(10)는 예를 들어 제어기(20)와 통신하는 GPS 모듈(70)과 같은 위치 센서를 더 포함할 수 있다. 위치 센서는 이동 단말기(10)의 위치를 찾기 위한 어떤 수단일 수 있다. 부가적으로, 위치 센서는 예를 들어, 상점, 서점, 레스토랑, 커피숍, 백화점 및 다른 회사들 등과 같은, 카메라 모듈(36)에 의해 캡처된 이미지들에서, 관심 지점(POI: point-of-interest)의 위치를 찾기 위한 어떤 수단일 수 있다. 그 자체로, 여기에서 사용되는 바와 같은 관심 지점은 제품들 및 다른 객체들 등과 같이, 사용자에게 관심있는 어떤 실체도 포함할 수 있다. 위치 센서는 이동 단말기의 위치를 찾거나 이미지에서 POI를 찾기 위한 모든 하드웨어를 포함할 수 있다. 대안적으로 또는 부가적으로, 위치 센서는 이동 단말기의 위치를 결정하거나 POI의 이미지의 위치를 결정하는데 필요한 소프트웨어의 형태로 제어기(20)에 의한 실행을 위한 명령들을 저장하기 위하여 이동 단말기(10)의 메모리 장치를 이용할 수 있다. 더욱이, 위치 센서는 이동 단말기(10)의 위치 및 하나 이상의 POI들의 위치와 같은 위치 정보를 송신기(14)/수신기(16)를 통해, 하기에 더 상세히 설명되는 바와 같이, 예를 들어 비주얼 검색 서버(51) 및/또는 비주얼 검색 데이터베이스(53)(도 2 참조)와 같은 서버로 전송/수신하기 위하여 제어기(20)를 이용할 수 있다.

이동 단말기는 또한 비주얼 검색 클라이언트(68)(예를 들어, 통합된 모바일 비주얼 검색/매핑 클라이언트)를 포함할 수 있다. 비주얼 검색 클라이언트(68)는 조회에 대한 유사도를 지닌 이미지들을 포함하는 결과들을 제공하기 위하여 카메라 모듈(36)로부터 수신된 조회(예를 들어, 이미지 또는 비디오 클립)를 처리하기 위하여 비주얼 검색 서버(51) 및/또는 비주얼 검색 데이터베이스(53)(도 2 참조)와 통신할 수 있는 하드웨어, 소프트웨어 또는 소프트웨어와 하드웨어의 조합으로 구현되는 어떤 수단 또는 장치일 수 있다. 예를 들어, 비주얼 검색 클라이언트(68)는, (비주얼 검색 데이터베이스(53) 내의 유사한 이미지들에 대해 조회 이미지에 기초하여 비주얼 검색을 수행하는 것을 통해 또는 비주얼 검색을 수행하고 결과들을 수신하기 위하여 비주얼 검색 서버(51)로 조회 이미지를 전달하는 것을 통해) 이동 단말기(10)가 객체들 및/또는 POI들에 지시되는 경우, 객체들 및/또는 POI들이 카메라 모듈(36)의 시야선상에 있는 경우 또는 객체들 및/또는 POI들이 카메라 모듈(36)에 의해 이미지에서 캡처되는 경우, 객체들 및/또는 관심 지점을 인식하도록 구성될 수 있다.

이동 단말기(10)는 사용자 식별 모듈(UIM)(38)을 더 포함할 수 있다. UIM(38)은 전형적으로 내장된 프로세서를 구비한 메모리 장치이다. UIM(38)은 예를 들어, 가입자 식별 모듈(SIM), 범용 집적 회로 카드(UICC), 범용 가입자 식별 모듈(USIM), 분리가능한 사용자 식별 모듈(R-UIM) 등을 포함할 수 있다. UIM(38)은 전형적으로 이동 가입자와 관련된 정보 요소들을 저장한다. UIM(38)에 부가하여, 이동 단말기(10)에는 메모리가 구비될 수 있다. 예를 들어, 이동 단말기(10)는 데 이터의 임시 저장을 위한 캐시 영역을 포함하는 휘발성 램(RAM)과 같은 휘발성 메모리(40)를 포함할 수 있다. 이동 단말기(10)는 또한 내장된 그리고/또는 분리가능할 수 있는 다른 비휘발성 메모리(42)를 포함할 수 있다. 비휘발성 메모리(42)는 부가적으로 또는 대안적으로 캘리포니아, 써니베일의 샌디스크 주식회사 또는 캘리포니아, 프레몬트의 렉사 미디어 주식회사로부터 입수할 수 있는 것과 같은, EEPROM, 플래시 메모리 등을 포함할 수 있다. 상기 메모리들은 이동 단말기(10)의 기능들을 구현하기 위하여 이동 단말기(10)에 의해 사용되는, 다수의 정보 단편 및 데이터 중 어떤 것도 저장할 수 있다. 예를 들어, 상기 메모리들은 이동 단말기(10)를 유일하게 식별할 수 있는, 국제 이동 장비 식별(IMEI) 코드와 같은, 식별자를 포함할 수 있다.

도 2는 본 발명의 예시적인 실시예에 의한 무선 통신 시스템의 개략적인 블록도이다. 이제 도 2를 참조하여, 본 발명의 실시예들로부터 이익을 얻을 한 유형의 시스템의 설명이 제공된다. 상기 시스템은 복수의 네트워크 장치들을 포함한다. 도시된 바와 같이, 하나 이상의 이동 단말기들(10)은 각각 베이스 사이트 또는 기지국(BS)(44)으로 신호들을 전송하고 베이스 사이트 또는 기지국(BS)(44)으로부터 신호들을 수신하기 위한 안테나(12)를 포함할 수 있다. 기지국(44)은 각각이 이동 스위칭 센터(MSC)(46)와 같은, 네트워크를 동작시키는데 요구되는 요소들을 포함하는 하나 이상의 셀룰러 또는 이동 네트워크들의 일부일 수 있다. 당업자에게 잘 알려져 있는 바와 같이, 이동 네트워크는 또한 기지국/MSC/상호작용 기능(BMI)으로서 지칭될 수 있다. 동작시, MSC(46)는 이동 단말기(10)가 호들을 생성하고 수신하고 있을 때 이동 단말기(10)로 그리고 이동 단말기(10)로부터 호들을 라우팅할 수 있다. 이동 단말기(10)가 호에 참가하게 되는 경우 MSC(46)는 또한 지상 통신선 중계 회선에 대한 접속을 제공할 수 있다. 더욱이, MSC(46)는 이동 단말기(10)로 그리고 이동 단말기(10)로부터 메시지들의 전송을 제어할 수 있고, 또한 메시징 센터로 그리고 메시징 센터로부터 이동 단말기(10)에 대한 메시지들의 전송을 제어할 수 있다. MSC(46)가 도 2의 시스템에 도시될지라도, MSC(46)가 단지 예시적인 네트워크 장치이고 본 발명의 실시예들이 MSC를 사용하는 네트워크에서의 사용에 한정되지 않는다는 것은 주목되어야 한다.

MSC(46)는 근거리 통신망(LAN), 대도시 통신망(MAN) 및/또는 광역 통신망(WAN)과 같은 데이터 네트워크에 연결될 수 있다. MSC(46)는 상기 데이터 네트워크에 직접 연결될 수 있다. 하지만, 하나의 전형적인 실시예에서, MSC(46)는 게이트웨이 장치(GTW)(48)에 연결되고, GTW(48)는 인터넷(50)과 같은 WAN에 연결된다. 차례로, 처리 요소들(예를 들어, 퍼스널 컴퓨터, 서버 컴퓨터 등)과 같은 장치들은 인터넷(50)을 통해 이동 단말기(10)에 연결될 수 있다. 예를 들어, 하기에 설명되는 바와 같이, 처리 요소들은 하기에 설명되는 바와 같은, 컴퓨팅 시스템(52), 오리진 서버(54), 비주얼 검색 서버(51), 비주얼 검색 데이터베이스(53) 등과 연관된 하나 이상의 처리 요소들을 포함할 수 있다.

BS(44)는 또한 시그널링 일반 패킷 무선 서비스(GPRS) 지원 노드(SGSN)(56)에 연결될 수 있다. 당업자에게 알려진 바와 같이, SGSN(56)은 전형적으로 패킷 교환 서비스들을 위해 MSC(46)와 유사한 기능들을 수행할 수 있다. MSC(46)와 같이, SGSN(56)은 인터넷(50)과 같은, 데이터 네트워크에 연결될 수 있다. SGSN(56)은 상기 데이터 네트워크에 직접 연결될 수 있다. 하지만, 더 전형적인 실시예에서, SGSN(56)은 GPRS 핵심 네트워크(58)와 같은, 패킷 교환 핵심 네트워크에 연결된다. 그 다음, 상기 패킷 교환 핵심 네트워크는 GTW GPRS 지원 노드(GGSN)(60)와 같은, 다른 GTW(48)에 연결되고, GGSN(60)은 인터넷(50)에 연결된다. GGSN(60)에 부가하여, 패킷 교환 핵심 네트워크는 또한 GTW(48)에 연결될 수 있다. 또한, GGSN(60)은 메시징 센터에 연결될 수 있다. 이와 관련하여, MSC(46)와 같이, GGSN(60) 및 SGSN(56)은 MMS 메시지들과 같은, 메시지들의 전송을 제어할 수 있다. GGSN(60) 및 SGSN(56)은 또한 메시징 센터로 그리고 메시징 센터로부터 이동 단말기(10)에 대한 메시지들의 전송을 제어할 수 있다.

부가적으로, SGSN(56)을 GPRS 핵심 네트워크(58) 및 GGSN(60)에 연결함으로써, 컴퓨팅 시스템(52) 및/또는 오리진 서버(54)와 같은 장치들은 인터넷(50), SGSN(56) 및 GGSN(60)을 통해 이동 단말기(10)에 연결될 수 있다. 이와 관련하여, 컴퓨팅 시스템(52) 및/또는 오리진 서버(54)와 같은, 장치들은 SGSN(56), GPRS 핵심 네트워크(58) 및 GGSN(60)을 가로질러 이동 단말기(10)와 통신할 수 있다. 이동 단말기들(10) 및 다른 장치들(예를 들어 컴퓨팅 시스템(52), 오리진 서버(54), 비주얼 검색 서버(51), 비주얼 검색 데이터베이스(53) 등)을 인터넷(50)에 직접 또는 간접적으로 연결함으로써, 이동 단말기들(10)은 예를 들어 하이퍼텍스트 전송 프로토콜(HTTP) 등에 따라, 다른 장치들과 통신할 수 있거나 서로 통신할 수 있어서, 이동 단말기들(10)의 다양한 기능들을 수행할 수 있다.

모든 가능한 이동 네트워크의 모든 요소가 여기에 도시되고 설명되지는 않았을지라도, 이동 단말기(10)가 BS(44)를 통해 다수의 다른 네트워크들 중 하나 이상의 네트워크들에 연결될 수 있다는 것은 이해되어야 한다. 이와 관련하여, 상기 네트워크(들)는 다수의 1세대(1G), 2세대(2G), 2.5세대(2.5G), 3세대(3G), 3.9세대(3.9G), 4세대(4G) 이동 통신 프로토콜 등 중 하나 이상의 프로토콜들에 따라 통신을 지원할 수 있다. 예를 들어, 상기 네트워크(들) 중 하나 이상은 2세대 무선 통신 프로토콜들 IS-136(TDMA), GSM 및 IS-95(CDMA)에 따라 통신을 지원할 수 있다. 또한, 예를 들어 상기 네트워크(들) 중 하나 이상은 2.5세대(2.5G) 무선 통신 프로토콜들 GPRS, 향상된 데이터 GSM 환경(EDGE) 등에 따라 통신을 지원할 수 있다. 더욱이, 예를 들어, 상기 네트워크(들) 중 하나 이상은 광대역 부호 분할 다중 접속(WCDMA) 무선 접속 기술을 사용하는 범용 이동 전화 시스템(UMTS) 네트워크와 같은 3세대(3G) 무선 통신 프로토콜들에 따라 통신을 지원할 수 있다. 이중 이상의 모드의 이동국들(예를 들어, 디지털/아날로그 또는 TDMA/CDMA/아날로그 전화들)에서와 같이, TACS 뿐만 아니라, 몇몇 협대역 AMPS(NAMPS) 네트워크(들)는 또한 본 발명의 실시예들로부터 이익을 얻을 수 있다.

이동 단말기(10)는 하나 이상의 무선 액세스 포인트들(AP)(62)에 추가로 연결될 수 있다. AP들(62)은 예를 들어, 무선 주파수(RF), 블루투스(BT), 적외선(IrDA) 또는 IEEE 802.11(예를 들어, 802.11a, 802.11b, 802.11g, 802.11n 등)과 같은 무선 랜(WLAN) 기술들, IEEE 802.16과 같은 와이맥스(WiMAX) 기술들 및/또는 IEEE 802.15와 같은 초 광대역(UWB) 기술들 등을 포함하여, 다수의 상이한 무선 네 트워킹 기술들 중 어떤 기술들과 같은 기술들에 따라 이동 단말기(10)와 통신하도록 구성된 액세스 포인트들을 포함할 수 있다. AP들(62)은 인터넷(50)에 연결될 수 있다. MSC(46)와 같이, AP들(62)은 인터넷(50)에 직접 연결될 수 있다. 하지만, 일 실시예에서, AP들(62)은 GTW(48)를 통해 인터넷(50)에 간접적으로 연결된다. 더욱이, 일 실시예에서, BS(44)는 다른 AP(62)로서 간주될 수 있다. 이해되는 바와 같이, 이동 단말기들(10), 컴퓨팅 시스템(52), 오리진 서버(54) 및/또는 다수의 다른 장치들 중 어떤 장치를 직접 또는 간접적으로 인터넷(50)에 연결함으로써, 이동 단말기들(10)은 서로 통신할 수 있거나, 컴퓨팅 시스템(52) 등과 통신할 수 있어서, 데이터, 콘텐트 등을 컴퓨팅 시스템(52)으로 전송하고, 그리고/또는 콘텐트, 데이터 등을 컴퓨팅 시스템(52)으로부터 수신하기 위하여, 이동 단말기들(10)의 다양한 기능들을 수행할 수 있다. 여기에서 사용되는 바와 같이, 용어들, "데이터", "콘텐트", "정보" 및 유사한 용어들은 본 발명의 실시예들에 따라 전송될 수 있고, 수신될 수 있으며 그리고/또는 저장될 수 있는 데이터를 지칭하는데 교환가능하게 사용될 수 있다. 따라서, 이들 용어들 중 어떤 용어를 사용하는 것은 본 발명의 실시예들의 사상 및 범위를 제한하는 것으로 간주되지 않아야 한다.

이해되는 바와 같이, 이동 단말기들(10) 및 컴퓨팅 시스템(52), 오리진 서버(54), 비주얼 검색 서버(51), 비주얼 검색 데이터베이스(53) 및/또는 다수의 다른 장치들 중 어떤 장치를 직접 또는 간접적으로 인터넷(50)에 연결함으로써, 이동 단말기들(10)은 서로 통신할 수 있거나, 컴퓨팅 시스템(52), 오리진 서버(54), 비주얼 검색 서버(51), 비주얼 검색 데이터베이스(53) 등과 통신할 수 있어서, 데이 터, 콘텐트 등을 컴퓨팅 시스템(52), 오리진 서버(54), 비주얼 검색 서버(51) 및/또는 비주얼 검색 데이터베이스(53) 등으로 전송하고, 그리고/또는 콘텐트, 데이터 등을 컴퓨팅 시스템(52), 오리진 서버(54), 비주얼 검색 서버(51) 및/또는 비주얼 검색 데이터베이스(53) 등으로부터 수신하기 위하여, 이동 단말기들(10)의 다양한 기능들을 수행할 수 있다. 비주얼 검색 서버(51)는 예를 들어, 하나 이상의 이동 단말기들(10)의 지리적인 지역 또는 하나 이상의 관심 지점(POI)들에 관한 맵 데이터를 제공할 수 있는 비주얼 맵 서버 또는 하나 이상의 POI의 지리적인 위치에 관한 데이터를 저장할 수 있고 POI의 위치, POI의 카테고리(예를 들어, 커피숍 또는 레스토랑, 스포츠 현장, 콘서트 등), POI와 관련된 제품 정보 등을 포함하지만 이에 한정되지 않는 다양한 관심 지점들에 관한 데이터를 저장할 수 있는 POI 서버와 같은 하나 이상의 다른 서버들로서 구현될 수 있다. 따라서, 예를 들어, 이동 단말기(10)는 비주얼 검색 데이터베이스(53)에 저장된 이미지들 또는 비디오 클립들과 비교시 사용하기 위한 조회로서 비주얼 검색 서버(51)로 전송될 수 있는 이미지 또는 비디오 클립을 캡처할 수 있다. 그 자체로, 비주얼 검색 서버(51)는 카메라 모듈(36)에 의해 찍힌 이미지들 또는 비디오 클립들과의 비교를 수행할 수 있고 이들 이미지들 또는 비디오 클립이 비주얼 검색 데이터베이스(53)에 저장된 이미지 또는 비디오 클립들과 유사한지 또는 어느 정도 유사한지를 결정할 수 있다.

도 2에 도시되지는 않았지만, 인터넷(50)을 가로질러 컴퓨팅 시스템(52) 및또는 비주얼 검색 서버(51) 및 비주얼 검색 데이터베이스(53)에 이동 단말기(10)를 연결하는 것에 부가하거나 그것에 대신하여, 이동 단말기(10)와 컴퓨팅 시스템(52) 및/또는 비주얼 검색 서버(51) 및 비주얼 검색 데이터베이스(53)는 서로 연결될 수 있고 LAN, WLAN, WiMAX, UWB 기술 등을 포함하여, 예를 들어, RF, BT, IrDA 또는 다수의 상이한 유선 또는 무선 통신 기술들 중 어떤 것에 따라 통신할 수 있다. 컴퓨팅 시스템(52), 비주얼 검색 서버(51) 및 비주얼 검색 데이터베이스(53) 중 하나 이상은 부가적으로 또는 대안적으로 콘텐트를 저장할 수 있는 분리가능한 메모리를 포함하는데, 상기 콘텐트는 그후에 이동 단말기(10)로 전송될 수 있다. 더욱이, 이동 단말기(10)는 프린터들, 디지털 프로젝터들 및/또는 다른 멀티미디어 캡처링, 생성 및/또는 저장 장치들(예를 들어, 다른 단말기들)과 같은, 하나 이상의 전자 장치들에 연결될 수 있다. 컴퓨팅 시스템(52), 비주얼 검색 서버(51) 및 비주얼 검색 데이터베이스(53)에서와 같이, 이동 단말기(10)는 USB, LAN, WLAN, WiMAX, UWB 기술 등을 포함하여, 예를 들어, RF, BT, IrDA 또는 다수의 상이한 유선 또는 무선 통신 기술들 중 어떤 기술들과 같은 기술들에 따라 휴대용 전자 장치들과 통신하도록 구성될 수 있다.

예시적인 실시예에서, 이미지 콘텐트와 같은 콘텐트는 도 1의 이동 단말기(10)와 유사할 수 있는 이동 단말기와 도 2의 시스템의 네트워크 장치 간에 또는 이동 단말기들 간에 도 2의 시스템을 통해 전달될 수 있다. 예를 들어, 데이터베이스는 도 2의 시스템의 네트워크 장치에 콘텐트를 저장할 수 있고, 이동 단말기(10)는 특정 유형의 콘텐트에 대해 상기 콘텐트를 검색하고 싶을 수 있다. 하지만, 도 2의 시스템이 이동 단말기들 간 또는 네트워크 장치와 이동 단말기 간의 통신을 위해 사용될 필요가 없다는 것과 오히려 도 2는 단지 예로서 제공된다는 것은 이해되 어야 한다. 더욱이, 본 발명의 실시예들이 이동 단말기(10)와 같은 통신 장치에 존재할 수 있거나, 통신 장치에 액세스가능한 다른 장치 또는 네트워크 장치에 존재할 수 있다는 것은 이해되어야 한다.

도 3은 본 발명의 예시적인 실시예에 의한 검색 시스템에서 관련성 및/또는 모호성을 결정하기 위한 장치의 블록도를 도시한 것이다. 도 3의 시스템은 예를 위해, 도 1의 이동 단말기(10)와 관련하여 설명될 것이다. 하지만, 도 3의 장치가 또한 이동되거나 고정된 다양한 다른 장치들과 관련하여 사용될 수 있고, 그래서 본 발명의 실시예들이 도 1의 이동 단말기(10)와 같은 장치들상의 애플리케이션에 한정되지 않아야 한다는 것은 주목되어야 한다. 사실상, 실시예들은 또한 클라이언트(예를 들어, 비주얼 검색 클라이언트(68))가 서버(예를 들어, 비주얼 검색 서버(51))에 조회를 발행하고 서버는 본 발명의 실시예들을 실시하여 결과들을 클라이언트에 전달하는 클라이언트-서버 관계의 맥락에서 실시될 수 있다. 또한, 도 3이 비주얼 검색과 관련된 관련성 및/또는 모호성 정보를 제공하기 위한 장치의 구성의 한 예를 도시할지라도, 수많은 다른 구성들이 또한 본 발명의 실시예들을 구현하는데 사용될 수 있다는 것은 주목되어야 한다.

이제 도 3을 참조하면, 검색 시스템에서 관련성 및/또는 모호성을 결정하기 위한 검색 장치(70)가 제공된다. 예시적인 실시예들에서, 검색 장치(70)는 이동 단말기(10)와 비주얼 검색 서버(51) 양자 또는 하나에서 구현될 수 있다. 바꾸어 말하면, 검색 장치(70)의 부분들은 이동 단말기(10)에 존재할 수 있는데 반하여 다른 부분들은 비주얼 검색 서버(51)에 존재한다. 대안적으로, 검색 장치(70)는 이동 단 말기(10) 및/또는 비주얼 검색 서버(51)에 전적으로 존재할 수 있다. 검색 장치(70)는 사용자 인터페이스 요소(72), 처리 요소(74), (휘발성 또는 비휘발성 메모리일 수 있는) 메모리(75), 분류 요소(76), 매핑 함수(77) 및 시각화 요소(78)를 포함할 수 있다. 예시적인 실시예에서, 처리 요소(74)는 도 1의 이동 단말기(10)의 제어기(20)로서 또는 비주얼 검색 서버(51)의 프로세서 또는 제어기로서 구현될 수 있다. 하지만, 대안적으로, 처리 요소(74)는 다른 장치의 처리 요소일 수 있다. 여기에서 설명되는 바와 같은 처리 요소들은 많은 방법들로 구현될 수 있다. 예를 들어, 처리 요소(74)는 프로세서, 코프로세서, 제어기 또는 예를 들어 애플리케이션 특정 집적 회로(ASIC)와 같은 집적 회로들을 포함하는 다양한 다른 처리 수단 또는 장치들로서 구현될 수 있다.

사용자 인터페이스 요소(72)는 사용자 입력들을 수신할 수 있고 그리고/또는 사용자에게 출력을 제공할 수 있는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현되는 어떤 장치 또는 수단일 수 있다. 사용자 인터페이스 요소(72)는 예를 들어, 키보드, 키패드, 기능 키들, 마우스, 스크롤링 장치, 터치 스크린 또는 사용자가 검색 장치(70)와 인터페이스할 수 있는 어떤 다른 메커니즘을 포함할 수 있다. 사용자 인터페이스 요소(72)는 또한 디스플레이, 스피커 또는 사용자에게 사용자 출력을 제공하기 위한 다른 출력 메커니즘을 포함할 수 있다. 예시적인 실시예에서, 실제로 사용자 입력을 수신하고 그리고/또는 사용자 출력을 제공하기 위한 장치를 포함하기 보다는, 사용자 인터페이스 요소(72)는 실제로 사용자 입력을 수신하고 그리고/또는 사용자 출력을 제공하기 위한 장치와 통신할 수 있다. 그 자체로, 사용자 인터페이스 요소(72)는 입력 장치로부터 사용자 입력의 표시들을 수신하고 그리고/또는 출력 장치에 통신용 메시지들을 제공하도록 구성될 수 있다.

예시적인 실시예에서, 사용자 인터페이스 요소(72)는 사용자로부터 조회(80)의 표시들을 수신하도록 구성될 수 있다. 조회(80)는 예를 들어, 콘텐트 기반 이미지 검색 동작에 대한 기준을 제공하는 콘텐트를 포함하는 이미지일 수 있다. 이와 관련하여, 조회(80)는 어떤 방법에 의해 획득된 이미지(예를 들어, 조회 이미지)일 수 있다. 예를 들어, 조회(80)는 데이터베이스로부터, 또는 조회(80)를 제공하는 장치의 메모리로부터, 또는 카메라 모듈(36)을 통해 획득된 이미지로부터 획득된 이미지일 수 있다. 바꾸어 말하면, 조회(80)는 다른 예시적인 실시예들에 따른 새롭게 생성된 이미지 또는 이전에 존재하는 이미지일 수 있다.

사용자 인터페이스 요소(72)는 또한 사용자로부터 이미지 피드백과 같은 관련성 피드백을 수신하도록 구성될 수 있다. 이와 관련하여, 예를 들어, 분류 요소(76)는 하기에 더 상세히 설명되는 바와 같이 조회(80)에 기초하여 한 세트의 이미지들에 관해 이미지 분류 데이터를 초기에 제공할 수 있다. 사용자로의 이미지 분류 데이터의 제공 이후에, 사용자는 이미지들의 세트의 선택된 부분에 관해 (예를 들어, 사용자 인터페이스 요소(72)를 통해) 이미지 피드백을 입력하도록 가능해질 수 있다. 예시적인 실시예에서, 이미지 피드백은 이미지들의 세트를 다시 분류하는데 있어서 애플리케이션을 위해 분류 요소(76)에 입력을 제공할 수 있다. 하지만, 본 발명의 실시예들에서, 관련성 피드백은 필요하지 않을 수 있고, 몇몇 실시 예들에서 요청될 수 없거나 제공되지 않을 수 있다.

분류 요소(76)는 비주얼 검색에 응답하여 관련성 및/또는 모호성에 관해 이미지 분류를 수행할 수 있는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현되는 어떤 장치 또는 수단일 수 있다. 예시적인 실시예에서, 분류 요소(76)는 데이터베이스(예를 들어, 비주얼 검색 데이터베이스(53)) 내의 이미지들과 같은, 한 세트의 이미지들 및 조회 이미지(예를 들어, 조회(80))에 관해 관련성 측정을 수행하도록 구성될 수 있고, (예를 들어, 어떤 이미지들이 가장 관련되는지에 따라) 조회 이미지의 다양한 특징들에 대한 데이터베이스 내의 이미지들의 특징들의 대응성에 기초하여 한 세트의 관련된 이미지들을 반환하도록 구성될 수 있다. 이와 관련하여, 분류 요소(76)는 예를 들어, 이미지들의 세트 내의 이미지들 각각에 관해 관련성의 관점에서 분류를 제공하기 위하여 조회(80)의 하나 또는 다수의 특징들을 이미지들의 세트의 대응하는 특징들과 비교하도록 구성될 수 있다. 그 자체로, 분류 요소(76)는 조회 이미지에 관해 이미지들 각각의 관련성에 기초하여 이미지들의 세트의 각각의 이미지에 관련성 스코어(score)를 할당하도록 구성될 수 있다. 예시적인 실시예에서, 분류 요소(76)는 비교시 사용하기 위하여 이미지로부터 특징 정보를 추출하기 위한 특징 추출 요소를 포함할 수 있다.

높은 관련성 스코어는 조회 이미지와 후보 이미지의 특징들 간의 대응성에 기초하여 단지 달성될 수 있다. 예를 들어, 특정 앵글로부터 취해진 풀밭에 있는 빨간 자동차를 포함하는 후보 이미지는 이미지들 간의 컬러들의 대응성에 기초하여 녹색 식탁보상의 빨간 사과를 포함하는 조회 이미지에 관해 관련성을 가질 수 있 다. 부가적으로, 녹색 배경에 있는 사과의 다른 이미지는 또한 높은 관련성을 가질수 있다. 따라서, 다른 척도, 즉 모호성은 중요한 인자일 수 있다. 모호성은 상기의 경우에 표시된 바와 같이, 두개의 개별 이미지들이 양자가 높은 관련성을 가지고 있기 때문에, 이미지들 간의 대응성과 연관된 불확실성의 척도로서 간주될 수 있다. 도 13은 이미지 검색 엔진을 사용하는 이미지 모호성의 예들을 도시한 것이다. 예시적인 실시예에서, 분류 요소(76)는 조회 이미지와 이미지들의 세트에 관해 모호성 측정을 수행하도록 추가로 또는 대안적으로 구성될 수 있다. 이와 관련하여, 분류 요소(76)는 비교들 각각과 연관된 모호성에 기초하여 이미지들의 세트의 각각의 이미지에 모호성 스코어를 할당하도록 구성될 수 있다.

분류 요소(76)는 이미지들의 각각의 대응하는 이미지를 위해 관련성 및 모호성 스코어 중 하나 또는 양자에 기초하여 이미지들의 세트 내의 각 이미지에 대한 매칭 스코어를 결정하도록 더 구성될 수 있다. 매칭 스코어는 하나의 이미지가 다른 이미지와 얼마나 유사한지(예를 들어, 후보 이미지가 조회 이미지와 얼마나 유사한지)를 나타내는 척도로서 간주될 수 있다. 따라서, 예를 들어, 다른 이미지와 매우 유사한 이미지는 높은 관련성 및 낮은 모호성을 가질 수 있다. 상이한 이미지들은 상이한 객체들을 포함할 수 있기 때문에, 매칭 스코어는 아주 다를 수 있다. 그 자체로, 동일한 입력 이미지가 상이한 객체들을 지닌 두개의 이미지들에 매칭되는 경우 관련성과 선형적으로 상관되는 그리고 동시에 매칭 스코어들에서의 명백한 차이를 보여주는 매칭 스코어들을 제공하는 것은 어려울 수 있다. 따라서, 매핑 함수(77)가 사용될 수 있다.

매핑 함수(77)는 예를 들어, 알고리즘 또는 계산 장치로 구현된 함수일 수 있다. 이와 관련하여, 매핑 함수(77)는 분류 요소(76)에 의해 결정된 매칭 스코어들(예를 들어, 관련성 및 모호성 스코어들)에 기초하여 신뢰 레벨을 결정하도록 구성된 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 이와 관련하여, 매핑 함수(77)는 후보 이미지를 조회 이미지와 비교하는 것에 기초하여 후보 이미지에 대한 신뢰 레벨을 결정하기 위하여 특정 이미지에 대한 관련성 및 모호성을 결정하는 것에 기여하는 모든 인자들을 결합하도록 구성될 수 있다.

시각화 요소(78)는 매핑 함수(77)로부터 신뢰 레벨 정보를 수신하도록 구성되고 매칭 스코어들에 기초하여 비주얼 검색의 결과들을 시각화(예를 들어, 디스플레이를 구동)하도록 구성되는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현된 어떤 수단 또는 장치일 수 있다. 예를 들어, 시각화 요소(78)는 특정 임계값보다 높은 매칭 스코어들을 지닌 또는 가장 높은 매칭 스코어를 지닌 특정 이미지들을 표시하도록 구성될 수 있다. 예시적인 실시예에서, 시각화 요소(78)는 매칭 스코어의 특성을 나타내는 방식으로 이러한 이미지들을 표시하도록 더 구성될 수 있다. 더 정확하게는, 시각화 요소(78)는 각각의 이러한 이미지와 연관된 신뢰 레벨 정보에 기초하여 이러한 이미지들을 표시하도록 구성될 수 있다.

분류 요소(76), 매핑 함수(77) 및/또는 시각화 요소(78)는 처리 요소(74)로 구현될 수 있거나 달리 처리 요소(74)에 의해 제어되는 것으로서 구현될 수 있다. 상술된 바와 같이, 매핑 함수(77)는 특정 후보 이미지와 연관된 신뢰 레벨을 결정 하도록 구성될 수 있다. 하지만, 도 4 내지 도 7에 도시된 바와 같이, 매핑 함수(77)의 몇몇 상이한 구현예들이 구현될 수 있다. 이와 관련하여, 도 4 내지 도 7은 후보 이미지와 연관된 신뢰 레벨을 결정하는 것과 연관하여 매핑 함수(77)의 구현을 위한 다른 예시적인 실시예들을 도시한 것이다.

도 4는 예시적인 실시예에 의한 개별 이미지 매칭 스코어에 기초하여 관련성 및 모호성 결정을 위한 매핑 함수(77)의 구현예를 도시한 것이다. 도 4에 도시된 바와 같이, 입력 이미지(100)(예를 들어, 조회 이미지)는 분류 요소(76)에 입력될 수 있고 이미지 특징들은 동작 102에 표시된 바와 같이 추출될 수 있다. 그 다음, 입력 이미지에 비교되는 후보 이미지들의 각각의 대응하는 특징에 대한 결과로서 생성되는 매칭 스코어들과 추출된 특징들에 기초하여 동작 104에서 이미지 매칭이 수행될 수 있다. 매칭 스코어들은 동작 106에서 목록으로 분류될 수 있거나 달리 정렬될 수 있다. 각 스코어(예를 들어, 스코어 1, 스코어 2, ..., 스코어 K)는 그 다음 동작 108에서 매핑 함수에 인가될 수 있는데, 매핑 함수는 각 이미지에 대해 대응하는 개별 신뢰 레벨 결과들(예를 들어, 개별 신뢰 레벨 결과들 112-1, 112-2, ..., 112-K)을 생성하기 위하여 [0,1]의 신뢰 간격에 각각의 분류된 이미지 매칭 스코어를 매핑하는데 사용되는 복수의 대응하는 변환 함수들(예를 들어, 변환 함수 110-1, 110-2, ..., 110-K)을 포함할 수 있다.

도 5는 예시적인 실시예에 의한 한 세트의 이미지 매칭 스코어들에 기초하여 관련성 및 모호성 결정을 위한 매핑 함수(77)의 다른 구현예를 도시한 것이다. 도 5에 도시된 바와 같이, 입력 이미지(100)는 분류 요소(76)에 입력될 수 있고 동작 102에 표시된 바와 같이 이미지 특징들이 추출될 수 있다. 그 다음, 입력 이미지에 비교되는 후보 이미지들의 각각의 대응하는 특징에 대한 결과로서 생성되는 매칭 스코어들 및 추출된 특징들에 기초하여 동작 104에서 이미지 매칭이 수행될 수 있다. 매칭 스코어들은 동작 106에서 목록으로 분류되거나 달리 정렬될 수 있다. 그 다음, 동작 120에서 단일 신뢰 척도를 생성하기 위하여 스코어들의 세트에 대해 동작하도록 구성되는 매핑 함수에 한 세트의 스코어들을 포함하는 각 스코어(예를 들어, 스코어 1, 스코어 2, ..., 스코어 K)가 인가될 수 있다. 이 예시적인 실시예에 의한 매핑 함수는 자유 매개 변수들을 지닌 일반적인 매핑 함수 형태를 우선 정의함으로써 (또는 트레이닝(train)함으로써) 형성될 수 있다. 자유 매개 변수들은 매칭 스코어들 및 대응하는 신뢰 레벨들을 포함하는 실제 데이터세트에 기초하여 결정될 수 있다. 바꾸어 말하면, 자유 매개 변수들은 이전에 사용된 실제 데이터에 기초하여 결정될 수 있다. 결정된 자유 매개 변수들을 사용하여, 매핑 함수는 대응하는 입력 매칭 스코어(또는 스코어들)에 대한 신뢰 레벨을 결정할 수 있다. 특정 검색이 몇몇 유사한 매칭 스코어들을 초래하는 경우, 이러한 상황은 높은 모호성 레벨을 나타낼 수 있다. 따라서, 상술된 바와 같이 매핑 함수를 트레이닝함으로써, 사용자 지각과 더 근접하게 매칭하는 개선된 신뢰 척도가 동작 122에서 생성될 수 있다.

도 6은 예시적인 실시예에 따라 비주얼 객체들의 내부 연계 분석 및 한 세트의 이미지 매칭 스코어들에 기초하여 관련성 및 모호성 결정을 위한 매핑 함수(77)의 다른 구현예를 도시한 것이다. 도 6에 도시된 바와 같이, 입력 이미지(100)는 분류 요소(76)에 입력될 수 있고 그 다음 이미지 매칭이 동작 130에서 수행되며 입력 이미지에 비교되는 각 대응하는 후보 이미지에 대해 결과로서 생성되는 매칭 스코어들이 결정될 수 있다. 매칭 스코어들은 동작 132에서 목록으로 분류될 수 있거나 달리 정렬될 수 있다. 그 다음, 한 세트의 스코어들을 포함하는 각 스코어(예를 들어, 스코어 1, 스코어 2, ..., 스코어 K)는 동작 134에서 단일 신뢰 척도를 생성하기 위하여 스코어들의 세트에 대해 동작하도록 구성되는 매핑 함수에 인가될 수 있다. 이 예시적인 실시예에 의한 매핑 함수(77)는 이전의 예시적인 실시예에서 설명된 매핑 함수와 유사하게 트레이닝될 수 있다. 매핑 함수로부터의 결과는 동작 136에서 통합 함수에서 통합될 수 있고 단계 138에서 내부 연계 분석을 사용하여 더 처리될 수 있다. 통합 함수는 상기에 도 4를 참조하여 설명된 매핑 함수의 구성과 유사한 방식으로 구성될 수 있다.

예시적인 실시예에서, 내부 연계 분석은 특정 비주얼 데이터베이스 내의 엔트리들인 이미지들(예를 들어, 후보 이미지들) 간의 유사성에 대한 정보를 제공할 수 있다. 예를 들어, 거리 표지판 및 안마당 내의 표지판은 유사하게 보일 수 있고 표지판의 입력 이미지와 잘 매칭하는 것으로 예기될 수 있다. 하지만, 이것은 거리 표지판과 안마당 내의 표지판 사이의 유사성으로 인하여 모호성을 생성한다. 어떤 엔트리들이 서로 유사한지에 대한 정보를 제공하기 위하여 비주얼 데이터베이스 내의 각 엔트리 간에 유사성을 결정함으로써 내부 연계 분석이 수행될 수 있다. 내부 연계 분석을 사용함으로써 비주얼 데이터베이스 내의 엔트리들의 각 쌍에 대응하는 혼동 매트릭스(confusion matrix)가 생성될 수 있고 신뢰 레벨은 동작 140에서 더 정확하게 결정될 수 있다.

(비록 도 7이 개별 매칭 스코어들에 기초하는 결정을 단지 도시할지라도) 도 7은 예시적인 실시예에 의한 비주얼 객체들의 인기도에 관한 정보와 함께 개별 또는 한 세트의 이미지 매칭 스코어들에 기초하여 관련성 및 모호성 결정을 위한 매핑 함수(77)의 다른 구현예를 도시한 것이다. 중요하게는, 도 7의 실시예는 또한 도 6의 실시예와 조합하여 (예를 들어, 내부 연계 분석과 함께) 사용될 수 있다. 도 7에 도시된 바와 같이, 입력 이미지(100)는 분류 요소(76)에 입력될 수 있고 그 다음 입력 이미지의 특징들에 기초하여 동작 150에서 이미지 매칭이 수행될 수 있으며 후보 이미지들에 대한 결과로서 생성되는 매칭 스코어들이 결정될 수 있다. 매칭 스코어들은 동작 152에서 목록으로 분류되거나 달리 정렬될 수 있다. 그 다음, 동작 154에서 매칭 스코어들 각각에 대해 동작하도록 구성되는 대응하는 매핑 함수에 각 스코어(예를 들어, 스코어 1, 스코어 2, ..., 스코어 K)가 인가될 수 있다. 하지만, 각각의 대응하는 매핑 함수는 동작 156에서 빈도 또는 인기도 정보를 제공하는 입력을 수신할 수 있고 동작 158에서 개별 신뢰 레벨들이 생성될 수 있다. 빈도 또는 인기도에 관한 정보는 이전의 매칭 이력을 사용하여 획득될 수 있다.

인기도 또는 빈도 정보는 특정 비주얼 객체가 사용자에 의해 매칭될 가능성의 척도를 나타낼 수 있다. 예를 들어, 사용자들로부터의 대부분의 조회들이 안마당 내의 표지판보다는 거리 표지판과 관련되는 경우, 두 표지판들 간의 어떤 모호성도 거리 표지판을 위하여 결정될 수 있다. 따라서, 검색에 응답하여 결과들을 반 환하기 위하여 관련성 및 모호성에 부가하여 다른 인자로서 인기도 또는 빈도를 부가하는 것은 사용자 지각에 관해 훨씬 더 나은 결과들을 제공할 수 있다.

상기에 언급된 바와 같이, 조회 이미지에 기초하여 비주얼 검색에 응답하여 반환된 후보 이미지에 관해 신뢰 레벨이 일단 생성되면, 시각화 요소(78)는 직관적인 방식으로 비주얼 검색의 결과로서 반환된 정보의 표시를 제공하도록 구성될 수 있다. 이와 관련하여, 예를 들어, 매핑 함수(77)가 후보 이미지에 대한 신뢰 레벨을 일단 반환하면, 반환물들의 시각화는 이미지 매치와 연관된 신뢰 레벨에 기초하여 제공될 수 있다.

도 8에 도시된 바와 같이, 하나의 예시적인 실시예에서, 후보 이미지(200)에 관하여 반환된 높은 신뢰 레벨이 존재하는 경우, 제공된 시각화는 그만큼 표시할 수 있다. 예를 들어, 정확한 매치가 발견되는 경우, 정확한 매치를 나타내도록 반환된 이미지 주위에 박스(202)가 제공될 수 있다. 박스(202)는 영구적일 수 있거나 어떤 기간동안 나타날 수 있다. 부가적으로 또는 대안적으로, 풀 스케일의 관련성 표시자들(204)이 표시될 수 있다. 관련성 표시자들(204)은 사용자들이 신호 세기의 표시와 관련하여 친근한 신호 막대들과 유사할 수 있다. 그 자체로, 더 풀 스케일의 관련성 표시자들(204)(예를 들어, 더 많은 막대들)은 더 높은 신뢰 레벨을 나타낼 수 있다. 도 9는 높은 신뢰 레벨이 풀 스케일의 관련성 표시자들(204)에 의해 표시되는 바와 같은 반환된 이미지와 연관되는 예를 도시한 것이다. 도 8 및 도 9로부터 알 수 있는 바와 같이, 반환된 결과와 관련된 링크들이 또한 표시될 수 있다.

주어진 입력 이미지에 대한 신뢰 레벨들의 범위가 반환되는 경우, 사용자는 다양한 검색의 결과들을 인지하게 되는 것을 선호할 수 있다. 따라서, 예를 들어, 도 10에 도시된 바와 같이, 골든 게이트 브릿지(Golden Gate Bridge)가 베이 브릿지(Bay Bridge)로 오해되는 경우, 그러나 신뢰도가 낮은 경우, 더 높은 관련성을 가진 결과가 더 높은 수들의 관련성 표시자들이 조명되면서 표시될 수 있고, 대응하는 더 낮은 수들(또는 더 적은 부분들)의 관련성 표시자들이 조명되면서 신뢰도가 감소하는 순서로 다른 옵션들이 표시될 수 있다. 아이템이 스크롤 오버되는 경우, 하이라이트되거나 선택된, 강조 또는 선택 창(208)이 하이라이트되거나 선택된 아이템 주위에 배치될 수 있다.

도 11에 도시된 바와 같이, 하나의 예시적인 실시예에서, 특정 임계값보다 높은 모호성이 존재하거나 아무런 매치도 발견되지 않은 경우, 제공된 시각화는 예를 들어, "검색중(searching)" 및/또는 표시된 이미지 주위에 아무런 박스도 그려지지 않은 채 그리고 아무런 관련성 막대도 표시되지 않은 채 관심있는 어떤 인기있는 링크의 표시를 표시할 수 있다.

도 12는 본 발명의 예시적인 실시예들에 의한 시스템, 방법 및 프로그램 생성물의 흐름도이다. 흐름도들의 각 블록 또는 단계 및 흐름도들 내의 블록들의 조합들이 하나 이상의 컴퓨터 프로그램 명령들을 포함하여 하드웨어, 펌웨어 및/또는 소프트웨어와 같은 다양한 수단에 의해 구현될 수 있다는 것은 이해될 것이다. 예를 들어, 상술된 절차들 중 하나 이상의 절차들은 컴퓨터 프로그램 명령들에 의해 구현될 수 있다. 이와 관련하여, 상술된 절차들을 구현하는 컴퓨터 프로그램 명령 들은 이동 단말기나 서버의 메모리 장치에 의해 저장될 수 있고 이동 단말기나 서버 내의 내장된 프로세서에 의해 실행될 수 있다. 이해되는 바와 같이, 어떤 이러한 컴퓨터 프로그램 명령들도 머신을 생성하기 위한 다른 프로그램가능한 장치(즉, 하드웨어) 또는 컴퓨터에 로딩될 수 있어서, 컴퓨터 또는 다른 프로그램가능한 장치상에서 실행되는 명령들은 흐름도 블록(들) 또는 단계(들)에 명시된 기능들을 구현하기 위한 수단을 생성할 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 또는 다른 프로그램가능한 장치에게 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터로 읽을 수 있는 메모리에 또한 저장될 수 있어서, 컴퓨터로 읽을 수 있는 메모리에 저장된 명령들은 흐름도 블록(들) 또는 단계(들)에 명시된 기능을 구현하는 명령 수단을 포함하는 제조 물품을 생성할 수 있다. 상기 컴퓨터 프로그램 명령들은 컴퓨터 또는 다른 프로그램가능한 장치상에서 실행되는 명령들이 흐름도 블록(들) 또는 단계(들)에 명시된 기능들을 구현하기 위한 단계들을 제공하도록 컴퓨터로 구현된 프로세스를 생성하기 위하여 일련의 동작 단계들이 컴퓨터 또는 다른 프로그램가능한 장치상에서 수행되게끔 야기하도록 컴퓨터 또는 다른 프로그램가능한 장치에 또한 로딩될 수 있다.

따라서, 흐름도들의 블록들 및 단계들은 특정 기능들을 수행하기 위한 수단의 조합들, 특정 기능들을 수행하기 위한 단계들의 조합 및 특정 기능들을 수행하기 위한 프로그램 명령 수단을 지원한다. 흐름도들의 하나 이상의 블록들 또는 단계들 및 흐름도들 내의 블록들 또는 단계들의 조합들이 특정 기능들 또는 단계들 또는 특정 목적 하드웨어 및 컴퓨터 명령들의 조합들을 수행하는 특정 목적 하드웨 어 기반 컴퓨터 시스템들에 의해 구현될 수 있다는 것은 또한 이해될 것이다. 도 12가 조회 이미지에 기초하여 비주얼 검색을 포함하는 특정 실시예를 설명할지라도, 이러한 검색이 어떤 비주얼 미디어에 대해 수행될 수 있다는 것은 주목되어야 한다. 그 자체로, 후보 비주얼 미디어는 제한하기 위한 것이 아니라 예로서 하기에 일반적으로 설명되는 바와 같이 본 발명의 실시예들에 따라 스코어링될 수 있다.

이와 관련하여 비주얼 검색을 위해 관련성 및 모호성을 결정하는 방법의 하나의 실시예는 동작 300에서 조회 이미지를 수신하는 것과 동작 310에서 모호성 및 관련성에 기초하여 조회 이미지에 관해 적어도 하나의 후보 이미지에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하는 것을 포함할 수 있다. 동작 320에서, 매핑 함수는 검색 결과들과 연관된 신뢰 레벨을 제공하는데 이용될 수 있다. 상기 방법은 동작 330에서 신뢰 레벨에 기초하여 검색 결과들의 시각화를 제공하는 것을 더 포함할 수 있다. 예시적인 실시예에서, 개별 매칭 스코어들은 대응하는 개별 매핑 함수들을 사용하여 개별적으로 매핑될 수 있다. 대안적으로, 단일 매핑 함수는 복수의 매칭 스코어들을 매핑하기 위해 사용될 수 있다. 어느 하나의 경우에, 매핑 함수는 신뢰 레벨을 생성하기 위하여 내부 연계 분석 및/또는 빈도 또는 인기도 정보와 연관하여 사용될 수 있다.

상술된 기능들은 많은 방법으로 수행될 수 있다. 예를 들어, 상술된 기능들 각각을 수행하기 위한 어떤 적합한 수단도 본 발명의 실시예들을 수행하기 위하여 사용될 수 있다. 하나의 실시예에서, 본 발명의 요소들 모두 또는 일부는 일반적으로 컴퓨터 프로그램 생성물의 제어하에서 동작한다. 본 발명의 실시예들의 방법들 을 수행하기 위한 컴퓨터 프로그램 생성물은 비휘발성 저장 매체와 같은, 컴퓨터로 읽을 수 있는 저장 매체를 포함하고, 컴퓨터로 읽을 수 있는 저장 매체에 수록된 일련의 컴퓨터 명령들과 같은 컴퓨터로 읽을 수 있는 프로그램 코드 부분들을 포함한다.

본 발명의 실시예들은 예를 들어, 콘텍스트 정보가 전형적으로 사용자의 현재의 위치로서 캡처되는 모바일 관광 정보 시스템들에서 콘텍스트 정보를 위한 관광과 관련하여 유용할 수 있다. 관심 지점 데이터베이스에 기초하는 객체 인식과 함께 상기 콘텍스트 정보는 관광객에게 랜드마크에 대한 중요한 정보를 제공할 수 있다. 본 발명의 실시예들은 예를 들어 시스템이 골든 게이트 브릿지를 베이 브릿지와 혼동하는 경우 사용자들이 검색의 관련성을 이해하는데 도와줄 수 있다. 위치 및 이미지 특징 매칭 포인트와 같은 매개 변수들은 검색된 결과들이 랜드마크에 대해 얼마나 관련이 있는지를 결정하고 사용자를 위해 관련성을 시각화하기 위하여 매핑 함수에서 사용될 수 있다.

본 발명의 실시예들은 예를 들어, 사용자가 목적지로서 갈 필요가 있는지를 나타내기 위하여 GPS 맵 또는 다른 내비게이션 보조물과 같이 사용자 근방에서 객체들을 인식할 수 있고 이미지를 검색할 수 있는 실시간 내비게이션 시스템들을 위한 애플리케이션에서 또한 유용할 수 있다. 다른 예시적인 실시예들은 미디어 구성 및 브라우저 애플리케이션들에서 사용될 수 있다. 예를 들어, 미디어 캡처링 장치들 및 그들의 저장 능력들이 더 풍부해짐에 따라, 사람들은 종종 수백개의 이미지들을 캡처하고 그들의 장치들에 이미지들을 저장하거나 이미지들을 이미지 저장소 에 업로드한다. 조회 이미지와 유사한 이미지의 검색을 가능하게 하는 것은 굉장한 가치를 가지고 있는데, 왜냐하면 매우 자주 사람들은 동일한 위치에서 서로 유사한 다수의 이미지들을 켭처하기 때문이다. 더욱이, 유사한 수백개의 이미지들이 존재하는 경우, 유사한 세트 중 하나의 대표적인 이미지를 검색하는 것은 빠른 브라우징에 유용할 수 있다.

본 발명의 실시예들은 또한 영화와 같은 엔터테인먼트와 관련하여 유용할 수 있다. 예를 들어, 애플리케이션은 DVD 커버 또는 영화 포스터와 같은 영화 관련 제품들을 인식하는 것일 수 있고 줄거리, 캐스팅, 영화를 상영하는 영화관 등과 같은 정보를 검색하는 것일 수 있다.

여기에서 설명된 본 발명의 많은 변형들 및 다른 실시예들은 상기한 설명들 및 연관된 도면들에 제시된 교시들의 이점을 갖는 본 발명과 관련한 당업자에게 떠오를 것이다. 그러므로, 본 발명의 실시예들이 개시된 특정 실시예들에 한정되지 않는다는 것과 변형들 및 다른 실시예들이 첨부된 청구항들의 범위 내에 포함된다는 것은 이해될 것이다. 특정 용어들이 여기에서 사용될지라도, 그들은 단지 일반적인 설명을 위한 것이지 제한하기 위한 것은 아니다.

Claims (33)

1. 조회(query)를 포함하는 비주얼 미디어를 수신하는 것;

   모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하는 것;

   상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하는 것; 및

   상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하는 것을 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 매핑 함수를 이용하는 것은 상기 적어도 하나의 후보 비주얼 미디어의 복수의 추출된 특징들에 기초하여 상기 신뢰 레벨을 결정하기 위하여 이전에 사용된 데이터로부터 결정된 매개 변수들을 사용하여 트레이닝된(trained) 변환 함수를 적용하는 것을 포함하는 것을 특징으로 하는 방법.
3. 제1항에 있어서, 상기 매핑 함수를 이용하는 것은 복수의 트레이닝된 변환 함수들을 적용하는 것을 포함하고, 각각의 트레이닝된 변환 함수는 복수의 특징들 각각에 관해 대응하는 신뢰 레벨을 결정하기 위한 복수의 특징들 중 대응하는 하나의 특징에 대응하는 것을 특징으로 하는 방법.
4. 제1항에 있어서, 상기 매핑 함수를 이용하는 것은 상기 신뢰 레벨을 결정하기 위하여 상기 매핑 함수의 출력에 연계 분석(linkage analysis)을 적용하는 것을 더 포함하는 것을 특징으로 하는 방법.
5. 제4항에 있어서, 연계 분석을 적용하는 것은 적어도 하나의 후보 비주얼 미디어가 액세스되는 데이터베이스의 비주얼 미디어 간의 유사성을 정의하는 정보를 상기 매핑 함수의 통합된 출력에 적용하는 것을 더 포함하는 것을 특징으로 하는 방법.
6. 제1항에 있어서, 상기 매핑 함수를 이용하는 것은 상기 신뢰 레벨을 결정하기 위하여 상기 매핑 함수의 출력에 상기 적어도 하나의 후보 비주얼 미디어에 대한 이전의 매칭 동작들에 관한 인기도(popularity) 정보를 적용하는 것을 더 포함하는 것을 특징으로 하는 방법.
7. 제1항에 있어서, 상기 시각화를 제공하는 것은 상기 신뢰 레벨을 나타내기 위한 관련성 표시자들을 제공하는 것을 포함하는 것을 특징으로 하는 방법.
8. 제1항에 있어서, 상기 시각화를 제공하는 것은 상기 조회와 상기 후보 비주얼 미디어 간의 정확한 매치의 표시를 제공하는 것을 포함하는 것을 특징으로 하는 방법.
9. 제1항에 있어서, 상기 시각화를 제공하는 것은 다양한 상이한 신뢰 레벨들 각각에 대해 상이한 시각화 요소를 제공하는 것을 포함하는 것을 특징으로 하는 방법.
10. 내부에 저장된 컴퓨터로 읽을 수 있는 프로그램 코드 부분들을 구비하는 적어도 하나의 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 생성물에 있어서, 상기 컴퓨터로 읽을 수 있는 프로그램 코드 부분들은,

    조회를 포함하는 비주얼 미디어를 수신하기 위한 제1 실행가능한 부분;

    모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하기 위한 제2 실행가능한 부분;

    상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하기 위한 제3 실행가능한 부분; 및

    상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하기 위한 제4 실행가능한 부분을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
11. 제10항에 있어서, 상기 제3 실행가능한 부분은 상기 적어도 하나의 후보 비주얼 미디어의 복수의 추출된 특징들에 기초하여 상기 신뢰 레벨을 결정하기 위하여 이전에 사용된 데이터로부터 결정된 매개 변수들을 사용하여 트레이닝 된(trained) 변환 함수를 적용하기 위한 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
12. 제10항에 있어서, 상기 제3 실행가능한 부분은 복수의 트레이닝된 변환 함수들을 적용하기 위한 명령들을 포함하고, 각각의 트레이닝된 변환 함수는 복수의 특징들 각각에 관해 대응하는 신뢰 레벨을 결정하기 위한 복수의 특징들 중 대응하는 하나의 특징에 대응하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
13. 제10항에 있어서, 상기 제3 실행가능한 부분은 상기 신뢰 레벨을 결정하기 위하여 상기 매핑 함수의 출력에 연계 분석을 적용하기 위한 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
14. 제13항에 있어서, 상기 제3 실행가능한 부분은 적어도 하나의 후보 비주얼 미디어가 액세스되는 데이터베이스의 비주얼 미디어 간의 유사성을 정의하는 정보를 상기 매핑 함수의 통합된 출력에 적용하기 위한 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
15. 제10항에 있어서, 상기 제3 실행가능한 부분은 상기 신뢰 레벨을 결정하기 위하여 상기 매핑 함수의 출력에 상기 적어도 하나의 후보 비주얼 미디어에 대한 이전의 매칭 동작들에 관한 인기도(popularity) 정보를 적용하기 위한 명령들을 포 함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
16. 제10항에 있어서, 상기 제4 실행가능한 부분은 상기 신뢰 레벨을 나타내기 위한 관련성 표시자들을 제공하기 위한 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
17. 제10항에 있어서, 상기 제4 실행가능한 부분은 상기 조회와 상기 후보 비주얼 미디어 간의 정확한 매치의 표시를 제공하기 위한 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
18. 제10항에 있어서, 상기 제4 실행가능한 부분은 다양한 상이한 신뢰 레벨들 각각에 대해 상이한 시각화 요소를 제공하기 위한 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
19. 조회를 포함하는 비주얼 미디어를 수신하도록 구성되고,

    모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하도록 구성되며,

    상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하도록 구성되고,

    상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하도록 구성된 처리 요소를 포함하는 것을 특징으로 하는 장치.
20. 제19항에 있어서, 상기 처리 요소는 상기 적어도 하나의 후보 비주얼 미디어의 복수의 추출된 특징들에 기초하여 상기 신뢰 레벨을 결정하기 위하여 이전에 사용된 데이터로부터 결정된 매개 변수들을 사용하여 트레이닝된(trained) 변환 함수를 적용하도록 더 구성되는 것을 특징으로 하는 장치.
21. 제19항에 있어서, 상기 처리 요소는 복수의 트레이닝된 변환 함수들을 적용하도록 더 구성되고, 각각의 트레이닝된 변환 함수는 복수의 특징들 각각에 관해 대응하는 신뢰 레벨을 결정하기 위한 복수의 특징들 중 대응하는 하나의 특징에 대응하는 것을 특징으로 하는 장치.
22. 제19항에 있어서, 상기 처리 요소는 상기 신뢰 레벨을 결정하기 위하여 상기 매핑 함수의 출력에 연계 분석을 적용하도록 더 구성되는 것을 특징으로 하는 장치.
23. 제22항에 있어서, 상기 처리 요소는 적어도 하나의 후보 비주얼 미디어가 액세스되는 데이터베이스의 비주얼 미디어 간의 유사성을 정의하는 정보를 상기 매핑 함수의 통합된 출력에 적용하도록 더 구성되는 것을 특징으로 하는 장치.
24. 제19항에 있어서, 상기 처리 요소는 상기 신뢰 레벨을 결정하기 위하여 상기 매핑 함수의 출력에 상기 적어도 하나의 후보 비주얼 미디어에 대한 이전의 매칭 동작들에 관한 인기도(popularity) 정보를 적용하도록 더 구성되는 것을 특징으로 하는 장치.
25. 제19항에 있어서, 상기 처리 요소는 상기 신뢰 레벨을 나타내기 위한 관련성 표시자들을 제공하도록 더 구성되는 것을 특징으로 하는 장치.
26. 제19항에 있어서, 상기 처리 요소는 상기 조회와 상기 후보 비주얼 미디어 간의 정확한 매치의 표시를 제공하도록 더 구성되는 것을 특징으로 하는 장치.
27. 제19항에 있어서, 상기 처리 요소는 다양한 상이한 신뢰 레벨들 각각에 대해 상이한 시각화 요소를 제공하도록 더 구성되는 것을 특징으로 하는 장치.
28. 조회를 포함하는 비주얼 미디어를 수신하기 위한 수단;

    모호성 및 관련성에 기초하여 상기 조회에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들을 결정하기 위한 수단;

    상기 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하기 위한 수단; 및

    상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화를 제공하기 위한 수 단을 포함하는 것을 특징으로 하는 장치.
29. 제28항에 있어서, 상기 신뢰 레벨을 결정하기 위하여 상기 매핑 함수의 출력에 연계 분석을 적용하기 위한 수단을 더 포함하는 것을 특징으로 하는 장치.
30. 제28항에 있어서, 상기 장치는 적어도 하나의 후보 비주얼 미디어가 액세스되는 데이터베이스의 비주얼 미디어 간의 유사성을 정의하는 정보를 상기 매핑 함수의 통합된 출력에 적용하기 위한 수단을 더 포함하는 것을 특징으로 하는 장치.
31. 모호성 및 관련성에 기초하여 조회를 포함하는 비주얼 미디어에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하는 것; 및

    상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화시 사용하기 위한 정보를 제공하는 것을 포함하는 것을 특징으로 하는 방법.
32. 내부에 저장된 컴퓨터로 읽을 수 있는 프로그램 코드 부분들을 구비하는 적어도 하나의 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 생성물에 있어서, 상기 컴퓨터로 읽을 수 있는 프로그램 코드 부분들은,

    모호성 및 관련성에 기초하여 조회를 포함하는 비주얼 미디어에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하기 위한 제1 실행가능한 부분; 및

    상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화시 사용하기 위한 정보를 제공하기 위한 제2 실행가능한 부분을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 생성물.
33. 모호성 및 관련성에 기초하여 조회를 포함하는 비주얼 미디어에 관해 적어도 하나의 후보 비주얼 미디어에 대한 매칭 스코어를 포함하는 검색 결과들과 연관된 신뢰 레벨을 제공하기 위하여 매핑 함수를 이용하도록 구성되고,

    상기 신뢰 레벨에 기초하여 상기 검색 결과들의 시각화시 사용하기 위한 정보를 제공하도록 구성되는 처리 요소를 포함하는 것을 특징으로 하는 장치.

Images