KR20090023613A - 다차원 검색 시스템, 다차원 검색을 수행하는 컴퓨터 구현 방법 및 컴퓨터 실행가능 시스템 - Google Patents

Abstract

다차원 입력을 분석하고 나서 이 입력으로부터 추출된 특징들에 기초하여 검색 질의를 확정할 수 있는 시스템. 특정의 예에서, 검색 메카니즘에의 입력으로서 이미지가 사용될 수 있다. 이미지에 패턴 인식 및 이미지 분석이 적용되고 나서 이 이미지 입력으로부터 추출된 특징들에 대응하는 검색 질의를 확정할 수 있다. 이 시스템은 또한 다차원 검색가능 항목을 인덱싱함으로써 검색 질의에 대한 결과로서 검색될 수 있게 해는 것을 용이하게 해줄 수 있다. 보다 상세하게는, 이 시스템은 텍스트 분석, 패턴 및/또는 음성 인식 메카니즘을 이용하여 검색가능 항목들로부터 특징들을 추출할 수 있다. 이들 추출된 특징들은 검색가능 항목들을 인덱싱하는 데 이용될 수 있다.

다차원 검색, 검색 질의, 입력 분석기, 인덱스 발생기, 패턴 인식

Description

다차원 검색 시스템, 다차원 검색을 수행하는 컴퓨터 구현 방법 및 컴퓨터 실행가능 시스템{VISUAL AND MULTI-DIMENSIONAL SEARCH}

일반적으로, 종래의 컴퓨터 기반 검색은 검색 엔진이 통상적으로 영숫자 검색 질의를 분석하여 결과를 반환한다는 점에서 극히 텍스트-중심적이다. 시각화가 검색에 포함되는 한, 시각화는, 예를 들어, 메타데이터를 사용하여 수행되는 경우가 있으며, 이 때 항목들은 수작업에 의해 시각적 항목의 물리적 속성에 대응하는 메타데이터로 사전-태깅된다. 환언하면, 종래의 검색 엔진은 검색 질의에 응답하여 이미지 데이터를 반환하기 위해 사전-인덱싱된 메타데이터를 이용한다.

종종 스파이더 또는 크롤러라고 하는 검색 엔진 에이전트는 조직적으로 웹 사이트를 순회하고 방문한 사이트에 관한 정보를 검색한다. 예를 들어, 크롤러는 웹 사이트의 전부 또는 그 일부 및 관련 정보를 복사할 수 있다. 이어서, 검색 엔진은 페이지를 어떻게 인덱싱할지를 결정하기 위해 하나 이상의 크롤러에 의해 포착된 컨텐츠를 분석한다. 어떤 엔진은 웹 사이트 상의 모든 단어를 인덱싱하는 반면, 다른 엔진은, 예를 들어, 타이틀, 헤더 또는 메타태그(들)와 같은 특정의 태그와 연관된 용어들만을 인덱싱할지도 모른다. 크롤러는 또한 마지막 인덱싱 이후의 웹 페이지에 대한 변경을 검출 및 포착하기 위해 주기적으로 웹 페이지를 재방문해야만 한다.

인덱스가 발생된 경우, 이 인덱스는 통상적으로 어떤 키워드와 관련한 순위를 배정받고 데이터베이스에 저장된다. 그 중에서도 특히, 웹 페이지 상의 단어들의 빈도수 및 위치에 기초하여, 예를 들어, 관련성에 대한 인덱스를 평가하기 위해 종종 독점적 알고리즘이 이용된다. 종래의 검색 엔진들에서 성능에 있어서의 두드러진 인자는 각각의 이용되는 순위 지정 알고리즘이다.

검색 질의로서 하나 이상의 키워드를 입력할 시에, 검색 엔진은 데이터베이스로부터 그 질의와 일치하는 인덱싱된 정보를 검색하고, 각각의 일치하는 사이트와 연관된 약간의 텍스트를 생성하며, 그 결과를 사용자에게 디스플레이한다. 그 후에, 사용자는 이들 사이트가 사용자의 관심사와 관련이 있는지를 결정하는 것과 관련하여 복수의 반환된 사이트를 스크롤할 수 있다. 그렇지만, 이것은 극히 시간이 많이 걸리고 짜증스러운 프로세스일 수 있는데, 그 이유는 검색 엔진이 종종 상당한 수의 사이트를 반환하기 때문이다. 종종, 사용자는 찾고 있는 정보를 제공하는 웹 사이트들에 관한 범위에 대한 키워드 및 부울 연산자를 변경 및/또는 추가함으로써 되풀이하여 검색 범위를 더 좁힐 수 밖에 없다. 빠르고 효율적이며 매끄러운 검색에 대한 계속 증가하는 요구를 해결하기 위해 개선된 검색 패러다임이 필요하다.

본 명세서에 개시되고 청구된 본 발명은, 한 측면에서, 다차원 입력을 분석하고 이 다차원 입력으로부터 추출된 특징들에 기초하여 검색 질의를 작성할 수 있는 시스템을 포함한다. 예를 들어, 이미지 데이터가 검색 메카니즘에의 입력으로서 사용될 수 있다. 그에 따라, 이미지 입력으로부터 추출된 특징들에 대응하는 검색 질의를 작성하기 위해 패턴 인식 및 이미지 분석이 이용될 수 있다.

다른 측면에서, 본 시스템은 다차원 검색가능 항목을 인덱싱함으로써 검색 질의에 대한 결과로서 검색될 수 있게 해주는 것을 용이하게 해줄 수 있다. 보다 상세하게는, 본 시스템은 검색가능 항목들로부터 특징들을 추출하기 위해 텍스트 분석, 패턴 및/또는 음성 인식 메카니즘을 이용할 수 있다. 이 추출된 특징들은 검색가능 항목들을 인덱싱하는 데 이용될 수 있다.

본 발명은 사람이 시각-기반 단서와 관련하여 지적 검색을 수행하는 방법과 유사하게 검색을 수행하는 동적 시각-검색 기반 시스템을 제공한다. 예를 들어, 일 실시예에 따르면, 용어 "청색"이 검색 질의에서 사용되는 경우, 본 시스템은, 항목이 "청색" 메타데이터로 사전-태깅되어 있는지 여부에 상관없이, "청색"의 물리적 특성을 갖는 항목들을 검색할 수 있다.

또다른 측면에서, 본 발명에 따른 검색은 서로 다른 차원들에 대해 수행될 수 있다. 검색 질의의 일부가 특정의 상황(예를 들어, 시간, 장소, 상태) 내의 사람의 사진을 포함할 수 있다. 따라서, 예를 들어, 텍스트 질의를 수작업으로 타이핑해 넣는 것보다는, 이미지가 입력으로서 사용될 수 있다. 이미지 추출 컴포넌트는 입력된 이미지로부터 관련 정보(예를 들어, 대상자 특성, 시간, 장소, 상태)를 추출하고, 검색 질의를 작성(예를 들어, 텍스트 및/또는 이미지 기반)하며, 이미지 입력의 대상자/상황에 관련된 모든 결과(예를 들어, 웹 사이트)를 찾아내는 것을 용이하게 해주기 위해 패턴 인식 컴포넌트를 이용할 수 있다.

이상의 목적 및 관련 목적을 달성하기 위해, 본 발명의 어떤 예시적인 측면들이 이하의 설명 및 첨부 도면과 관련하여 본 명세서에 기술되어 있다. 그렇지만, 이 측면들은 본 발명의 원리들이 이용될 수 있는 다양한 방법들 중 단지 몇개만을 나타낸 것이고, 본 발명이 의도하는 바는 이러한 측면들 및 이들의 등가물 전부를 포함하는 것이다. 본 발명의 다른 이점들 및 특징들이 첨부 도면과 관련하여 살펴볼 때 본 발명의 이하의 상세한 설명으로부터 명백하게 될 것이다.

도 1은 본 발명의 한 측면에 따른, 다차원 입력으로부터 검색 질의를 작성하는 것을 용이하게 해주는 검색 시스템의 블록도.

도 2는 본 발명의 한 측면에 따른, 다차원 입력으로부터 검색 질의를 발생하는 것을 용이하게 해주는 절차의 예시적인 플로우차트.

도 3은 본 발명의 한 측면에 따른, 텍스트, 청각적 및 시각적 특성들을 갖는 입력을 분석하는 것을 용이하게 해주는 절차의 예시적인 플로우차트.

도 4는 본 발명의 한 측면에 따른, 다차원 검색가능 항목들을 인덱싱하는 것을 용이하게 해주는 시스템의 블록도.

도 5는 본 발명의 한 측면에 따른, 검색 질의를 작성하는 데 및/또는 검색가능 항목들을 인덱싱하는 데 텍스트, 오디오 및 이미지 분석을 이용하는 구조 블록도.

도 6은 본 발명의 한 측면에 따른, 검색 질의를 작성하기 위해 언어 파서, 음성 인식, 및 패턴 인식 메카니즘을 이용하는 입력 분석기 컴포넌트의 블록도.

도 7은 본 발명의 한 측면에 따른, 검색 결과를 필터링 및/또는 정리하기 위해 결과 구성 컴포넌트를 이용하는 시스템의 블록도.

도 8은 본 발명의 한 측면에 따른, 예시적인 결과 구성 컴포넌트를 나타낸 도면.

도 9는 본 발명의 한 측면에 따른, 이미지 입력의 예시적인 스크린 샷을 나타낸 도면.

도 10은 도 9의 입력에 따른 예시적인 일련의 결과를 나타낸 도면.

도 11은 본 발명의 한 측면에 다른, 입력 이미지 상에 오버레이되어 있는 예시적인 선택 영역을 나타낸 도면.

도 12는 도 11의 선택된 영역에 따른 예시적인 일련의 텍스트 및 이미지 결과를 나타낸 도면.

도 13은 개시된 아키텍처를 실행하는 동작을 하는 컴퓨터의 블록도.

도 14는 본 발명에 따른 예시적인 컴퓨팅 환경의 개략 블록도.

이제부터, 유사한 참조 번호가 유사한 구성요소를 나타내는 데 사용되고 있는 도면들을 참조하여 본 발명에 대해 기술한다. 이하의 설명에서는, 설명의 목적상, 본 발명에 대한 완전한 이해를 제공하기 위해 많은 구체적인 상세가 기술되어 있다. 그렇지만, 본 발명이 이들 구체적인 상세 없이도 실시될 수 있다는 것이 명백할지도 모른다. 다른 경우에, 본 발명의 설명을 용이하게 해주기 위해 공지의 구조 및 장치가 블록도로 도시되어 있다.

본 출원에서 사용되는 바와 같이, 용어 "컴포넌트" 및 "시스템"은 컴퓨터 관련 개체, 즉 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행 중인 소프트웨어를 말하기 위한 것이다. 예를 들어, 컴포넌트는 프로세서 상에서 실행 중인 프로세스, 프로세서, 객체, 실행 파일, 실행 쓰레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이에 한정되지 않는다. 예시로서, 서버 상에서 실행 중인 애플리케이션 및 서버 둘다가 컴포넌트일 수 있다. 프로세스 및/또는 실행 쓰레드 내에 하나 이상의 컴포넌트가 존재할 수 있으며, 컴포넌트는 하나의 컴퓨터 상에 로컬화되어 있고 및/또는 2개 이상의 컴퓨터 간에 분산되어 있을 수 있다.

본 명세서에서 사용되는 바와 같이, 용어 "추론한다" 또는 "추론"은 일반적으로 이벤트 및/또는 데이터를 통해 포착된 일련의 관찰 결과들로부터 시스템, 환경, 및/또는 사용자의 상태에 관해 추리를 하거나 이를 추론하는 프로세스를 말한다. 추론은 특정의 상황 또는 동작을 식별하는 데 이용될 수 있거나, 예를 들어, 상태들에 대한 확률 분포를 생성할 수 있다. 추론은 확률적일 수 있다, 즉 관심의 상태들에 걸친 확률 분포의 계산이 데이터 및 이벤트의 고려에 기초할 수 있다. 추론은 또한 일련의 이벤트 및/또는 데이터로부터 상위 레벨 이벤트를 작성하는 데 이용되는 기법들을 말할 수 있다. 이러한 추론의 결과, 이벤트가 시간상으로 근접하여 상관되어 있든 또한 이벤트 및 데이터가 하나 또는 몇개의 이벤트 및 데이터 소스로부터 나온 것이든 간에, 일련의 관찰된 이벤트 및/또는 저장된 이벤트 데이터로부터 새로운 이벤트 또는 동작이 구성된다.

사용자에게 정보를 디스플레이하는 어떤 방식들이 어떤 도면들과 관련하여서 는 스크린 샷으로 도시되고 기술되어 있지만, 당업자라면 다양한 다른 대안들이 이용될 수 있다는 것을 잘 알 것이다. 용어 "화면", "웹 페이지", 및 "페이지"는 일반적으로 본 명세서에서 서로 바꾸어 사용될 수 있다. 페이지 또는 화면은 디스플레이 설명으로서, 그래픽 사용자 인터페이스로서, 또는 화면(예를 들어, 퍼스널 컴퓨터, PDA, 모바일 전화, 또는 기타 적당한 장치) 상에 정보를 나타내는 다른 방법에 의해 저장 및/또는 전송되며, 이 때 페이지 상에 디스플레이될 레이아웃 및 정보 또는 컨텐츠는 메모리, 데이터베이스, 또는 다른 저장 수단에 저장된다.

먼저 도면을 참조하면, 도 1은 적어도 2개의 전체적인 측면을 갖는 다차원 검색 시스템(100)을 나타낸 것이다. 첫째, 시스템(100)은 다수의 차원(예를 들어, 텍스트, 오디오, 비디오, 멀티미디어)을 갖는 입력으로부터 특징 및 데이터를 추출할 수 있다. 추출된 경우, 이 특징들은 검색 질의를 생성(또는 수정)하는 데 이용될 수 있다. 이어서, 검색 질의는 입력에 관계된 검색 결과를 반환하는 데 이용될 수 있다. 시스템(100)의 다른 측면은 검색가능 데이터 항목의 특징들에 기초하여 검색 결과를 찾아내는 기능이다. 환언하면, 시스템(100)은 특징들을 추출하기 위해 검색가능 데이터 항목들(예를 들어, 웹 페이지, 이미지 파일, 오디오 파일, 멀티미디어 파일)을 분석하는 것을 용이하게 해줄 수 있다. 데이터 항목으로부터 특징들이 추출된 경우, 시스템(100)은 그 항목을 반환 및/또는 인덱싱함으로써 검색될 수 있게 해주는 것을 용이하게 해줄 수 있다. 이들 시나리오 각각에 대해 이하에서 더 상세히 기술한다.

일반적으로, 다차원 검색 시스템(100)은 입력 분석기 컴포넌트(102) 및 검색 엔진 컴포넌트(104)를 포함할 수 있다. 도시된 바와 같이, 입력(예를 들어, 텍스트, 사운드, 이미지)이 입력 분석기 컴포넌트(102)에 전달될 수 있고, 이 입력 분석기 컴포넌트(102)에서 특징들(예를 들어, 속성들, 특성들)이 입력으로부터 추출될 수 있다. 이하에서 기술하는 바와 같이, 한 측면에서, 이미지 입력으로부터 속성들 및/또는 특성들을 알아내기 위해 패턴 인식이 이용될 수 있다. 보다 구체적인 예에서, 입력이 어떤 명소 앞에 서있는 사람의 이미지라고 가정하면, 입력 분석기는 사용자의 신원을 알아내기 위해 특수화된 형태의 패턴 인식(예를 들어, 얼굴 인식)을 사용할 수 있다. 이와 유사하게, 그 명소를 분석하여 그 사람의 위치를 알아내기 위해 패턴 인식이 사용될 수 있다.

이들 및 다른 특징들 및 속성들을 알아낸 경우, 검색 질의가 작성되어 검색 엔진(104)에 전달될 수 있다. 검색 엔진(104)은 이 질의에 따라 검색 결과들을 검색하는 데 이용될 수 있다. 다른 예들에서, 검색 엔진(104)은 인터넷, 인트라넷, 로컬 또는 원격 서버/저장소, 기타 등등으로부터 결과들을 검색할 수 있다. 사실상, 본 발명의 실시예들은 다양한 특수한 입력으로부터 검색 질의를 작성하는 것을 용이하게 해준다.

종래의 시스템들이 다양한 데이터 유형(예를 들어, 텍스트, 웹 페이지 링크, 이미지 파일)으로 결과들을 렌더링할 수 있지만, 이 종래의 시스템들이 여전히 텍스트 중심적인 이유는 검색 질의를 가능한 결과들에 매핑하기 위해 수작업으로 생성된 메타데이터 및 태그에 의존하기 때문이다. 시각화가 포함되어 있는 한, 이러한 시각화는 통상적으로 사용자-정의 메타데이터를 사용하여 수행되며, 검색가능 항목들은 수작업으로 이 항목의 속성에 대응하는 메타데이터로 사전-태깅되어 있다.

종래의 검색 메카니즘과는 달리, 본 시스템(100)의 한가지 특징은 입력으로부터 특징들 및 속성들을 추출하는 것이다. 예를 들어, 본 시스템은 입력으로서 입력 파일을 수신하고 컬러, 패턴, 장소, 기타 등등(이에 한정되지 않음)을 비롯한 특징들을 추출할 수 있다. 이 측면에서, 패턴 인식 시스템은 이미지를 분석한 다음에 관련 검색 결과를 검색하는 데 사용될 수 있는 검색 질의를 작성하는 데 이용될 수 있다.

검색에서 고려되는 속성들로는, 문서의 길이, 문서가 학술 문서에 포함될지도 모르는 일련의 인용 문헌으로 끝나는지, 및 문서 내에 포함된 그림들의 수, 분포 및 전체적인 성질(예를 들어, 선도, 만화, 이미지, 숫자 테이블, 차트, 문서 내에 포함된 하나 이상의 이미지의 히스토그램의 파라미터들의 명세, 기타) 등의 측면들을 비롯한, 문서의 크기 및 구조가 있을 수 있다.

여러 측면에서, 지리중심의 컨텐츠의 지도 또는 다른 그래픽 또는 이미지-기반 표식이 문서(들) 내에 나타나는지에 관한 정보의 인식 및 인코딩 등, 문서에 포함된 그림들에 관한 상세가 인식되어 인덱싱될 수 있다. 다른 예들로는 문서 내에 차트의 존재 여부에 관한 인식, 및 그래프의 축 상에서 특정의 성질(예를 들어, 텍스트 또는 다른 표시로 표현됨)을 갖는 직교좌표 그래프 또는 3차원 도표의 포함 등의 속성의 인식이 있다.

인덱싱 및 검색에서 유용한 속성들은, 시간에 따라 하나 이상의 대책의 경제 적 가치의 증가를 보여주는 "재무 그래프"와 같이, 포함된 그래픽 데이터가 "시간에 따른 양의 증가"를 보여주는 경향을 나타내는지 등의, 이러한 그래프-중심적 시각화에서 자동적으로 인식된 구조조차도 포함할 수 있다.

이러한 인식된 그림의 속성 및 변수들의 그래프와 같은 이러한 부류의 시각적 성분의 사용이 많은 다른 가능한 부류의 시각적 객체 중 하나의 예이다.

텍스트 컨텐츠를 인덱싱 및 검색하는 데 포인터가 사용되는 방식과 유사한 방식으로, 그래픽 컨텐츠의 텍스트 컨텐츠 및 다른 속성들(페이지 중의 또는 텍스트 또는 그래픽 컨텐츠 중의 포인터 또는 URL(Uniform Resource Locator) 등)에 대한 관계가 인덱싱 및 검색에서 고려될 수 있다.

텍스트-중심의 질의를 넘어서, 그래픽 속성들의 하위 레벨 또는 상위 레벨 명세의 형태로 된 그래픽 컨텐츠가, 텍스트 정보를 사용하거나 사용하지 않고, 질의를 작성하는 데 사용될 수 있다. 예를 들어, 샘플 그림 또는 다른 그래픽 성분 등의 그래픽 컨텐츠의 예들이 질의를 작성하는 데 사용될 수 있다.

인덱싱 및 검색에 사용되는 것 이외에, 그래픽 컨텐츠의 속성들은, 텍스트 컨텐츠에 부가하여, 입력 질의에 응답하여 항목들의 디스플레이를 구조화하는 데 사용될 수 있다.

이하의 시나리오는 본 발명에 대한 전반적인 이해를 더하기 위해 제공된 것이며 결코 본 발명을 제한하기 위한 것이 아니다. 이를 위해, 본 발명의 특징들을 이용하는 다른 시나리오들이 있을 수 있다는 것을 잘 알 것이다. 이 부가의 시나리오들은 본 발명 및 첨부된 청구항들의 범위 내에 포함된다.

상기한 바와 같이, 서로 다른 차원에 대해 본 발명에 따른 검색이 수행될 수 있다. 예를 들어, 검색 질의의 일부가 특정의 상황에 있는 사람의 사진을 포함할 수 있다. 따라서, 예를 들어, "청색 옷을 입고서 찰스 왕세자 옆에 앉아 저녁을 먹고 있는 빌 클린턴"이라고 텍스트 검색 질의를 입력하기보다는, 이러한 이벤트의 이미지가 시스템(100)에의 입력으로서 사용될 수 있다. 도 1의 시스템(100)에 따르면, 입력 분석기 컴포넌트(102)는 입력된 이미지로부터 관련 정보(예를 들어, 빌 클린턴 및 찰스 왕세자의 신원, 청색 옷, 그리고 저녁 상황)를 추출하고, 질의(텍스트 및/또는 이미지 기반)를 작성하며, 상기한 이벤트에 관한 모든 웹 사이트를 찾아내는 것을 용이하게 해줄 수 있다.

도 2는 본 발명의 한 측면에 따른, 입력으로부터 검색 질의를 생성하는 방법을 나타낸 것이다. 설명의 간단함을 위해, 본 명세서에 나타낸 하나 이상의 방법(예를 들어, 플로우차트 형태임)이 일련의 동작으로 도시되고 기술되어 있지만, 본 발명에 따르면, 어떤 동작들이 본 명세서에 도시되고 기술된 것과 다른 순서로 및/또는 다른 동작들과 동시에 행해질 수 있기 때문에, 본 발명이 동작들의 순서에 의해 제한되지 않는다는 것을 잘 알 것이다. 예를 들어, 당업자라면 방법이 다른 대안으로서, 상태도에서와 같이, 일련의 상호관련된 상태 또는 이벤트로서 표현될 수 있다는 것을 잘 알 것이다. 게다가, 본 발명에 따른 방법을 구현하는 데 도시된 동작들 모두가 필요한 것은 아닐지도 모른다.

202에서, 특정 유형의 데이터를 나타내는 입력이 수신될 수 있다. 예를 들어, 이 입력은 텍스트, 이미지, 오디오, 기타 등등(이에 한정되지 않음)을 비롯한 형태의 데이터를 포함할 수 있다. 또한, 이 입력은 2개 이상의 유형의 데이터를 포함하는 다차원 데이터의 형태를 가질 수 있다. 예를 들어, 비디오 스트림은 이미지 및 오디오 데이터를 포함할 수 있다. 204에서, 이 입력과 연관된 특징들, 속성들 및/또는 특성들을 식별하기 위해 이 입력이 분석될 수 있다. 예를 들어, 상기한 바와 같이, 특정 이미지의 대상물(들) 및 상황을 식별하기 위해 패턴 인식 메카니즘이 이미지 문서에 적용될 수 있다. 특정의 예에서, 어느 팀이 경기하고 있는지, 경기장의 이름, 게임 시간(낮 또는 저녁), 기타 등등의 조건을 결정하기 위해 스포츠 경기의 항공 이미지가 분석될 수 있다. 이들 특징은 검색 질의를 생성하기 위해 사용될 수 있다.

특정의 예를 참조하면, 이 이미지가 "Three Rivers Stadium"에서 벌어지는 "Pittsburgh Pirates"와 "Baltimore Orioles" 간의 "야구 경기"를 나타내는 것으로 판정하기 위해 패턴 인식이 이용될 수 있다. 그에 따라, 206에서, 추출된 특징 "Three Rivers Stadium에서의 Pittsburgh Pirates와 Baltimore Orioles 간의 야구 경기"를 사용하여 검색 질의가 작성될 수 있다.

이미지 입력으로부터 설정된 검색 질의에 따라, 208에서, 결과가 검색될 수 있다. 계속하여 이 예에서, 1971 및 1979 월드 시리즈와 관련된 결과가 검색될 수 있다. 보다 상세하게는, Three Rivers Stadium에서의 1971 및 1979 월드 시리즈의 Pirates 및 Baltimore Orioles와 관련된 웹 페이지 링크, 이미지, 비디오는 물론 오디오 파일이 반환될 수 있다. 210에서, 이들 결과가 렌더링(예를 들어, 디스플레이)될 수 있다.

도 3은 본 발명의 한 측면에 따른, 입력을 분석하는 방법을 나타낸 것이다. 302에서, 상기한 바와 같이, 기본적으로 어떤 미디어 유형이라도 될 수 있는 입력이 수신될 수 있다. 예를 들어, 입력은 텍스트, 이미지, 스트리밍 오디오, 스트리밍 비디오, 또는 이들의 조합일 수 있다. 이하의 방법을 검토하면 잘 알 것인 바와 같이, 대부분의 다차원(및 단일 차원) 입력을 분석하기 위해 본 발명이 이용될 수 있다.

304에서, 입력이 텍스트 데이터를 포함하는지를 결정하기 위해 판정이 행해진다. 포함하는 경우, 306에서, 키워드를 결정하기 위해 입력이 파싱되고 분석될 수 있다. 이와 유사하게, 308에서, 입력이 가청 데이터를 포함하고 있는지를 결정하기 위해 판정이 행해질 수 있다. 입력이 가청 데이터를 포함하는 경우, 310에서, 가청 데이터와 연관된 키워드를 확정하기 위해 음성 인식 메카니즘이 사용될 수 있다. 예로서, 가청 데이터가 노래인 경우, 노래와 관련하여 가청 음성을 텍스트 가사로 변환하기 위해 음성 인식이 사용될 수 있다.

또한, 312에서, 입력이 시각 데이터(예를 들어, 이미지 데이터)를 포함하는지의 판정이 행해진다. 상기한 텍스트 및 사운드에서와 같이, 시각 데이터가 존재하는 경우, 314에서 패턴 인식 메카니즘을 통해 주요 특징(예를 들어, 속성 및/또는 특성)이 확정될 수 있다. 한 특정의 측면에서, 이미지에 있는 사람의 신원을 알아내기 위해 얼굴 인식 메카니즘이 이용될 수 있다. 게다가, 이미지 내에 포함된 다른 특성들(예를 들어, 장소, 빌딩, 명소, 컬러, 개최지, 기타 등등)을 알아내기 위해 패턴 인식이 이용될 수 있다.

입력이 분석된 경우(예를 들어, 304-314), 316에서, 수집된 정보를 이용하여 검색 질의가 확정될 수 있다. 그 다음에, 318에서, 검색 질의와 관련한 결과가 검색될 수 있다. 그 다음 도면을 참조하여 더 상세히 기술되는 바와 같이, 이 결과가 사용자에게 렌더링(예를 들어, 디스플레이)할 때 원하는 바에 따라 구성(예를 들어, 필터링, 순위 지정, 정렬)될 수 있다.

이제 도 4를 참조하면, 다차원 검색 시스템(100)의 대안의 블록도가 도시되어 있다. 보다 구체적으로는, 시스템(100)의 대안의 측면은 검색 엔진(104)이 결과 검색 컴포넌트(406), 다차원 인덱스 발생기 컴포넌트(402), 및 검색 인덱스(404)를 포함할 수 있다는 것을 나타내고 있다. 동작을 설명하면, 이들 3개의 서브컴포넌트(402, 404, 406)는 검색 질의와 관련하여 다차원 항목들을 동적으로 인덱싱 및/또는 검색하는 것을 용이하게 해줄 수 있다.

상기한 바와 같이, 한 측면에서, 시스템(100)은 사람이 시각-기반 단서와 관련하여 지적 검색을 수행하는 방식과 거의 유사하게 검색을 수행하는 동적 시각 검색을 제공할 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면, 용어 "청색"이 입력에서 사용되는 경우 또는 컬러 "청색"이 입력 이미지에 나타나는 경우, 시스템은 이 특징을 인식하고, 항목이 수작업에 의해 "청색" 메타데이터로 사전-태깅되어 있는지 여부에 상관없이, "청색"이라는 물리적 특성을 갖는 항목들을 검색할 수 있다. 그와 같이 함에 있어서, 검색 엔진(104)은 이 속성을 갖는 결과를 동적으로 찾아내기 위해 결과 검색 컴포넌트(406)를 이용할 수 있다. 보다 구체적으로는, 검색 엔진(104)은 검색가능 항목들로부터 시각적 정보를 추출하기 위해, 예를 들 어, (결과 검색 컴포넌트(406)를 통해) 패턴 인식 시스템을 이용할 수 있다. 다른 측면에서, 이러한 시각적 정보의 추출은 도 4에 나타낸 바와 같이 인덱싱 시스템의 일부로서 수행될 수 있다. 도 4에 나타낸 측면에 따르면, 다차원 인덱스 발생기 컴포넌트(402)는 데이터 항목(예를 들어, 웹 페이지, 파일, 이미지 데이터, 스트리밍 오디오, 또는 비디오 데이터)과 연관된 특징들에 기초하여 인덱스(404)를 작성할 수 있다.

이제 도 5를 참조하면, 시스템(100)의 대안의 블록도가 도시되어 있다. 상세하게는, 도 5의 시스템(100)은 입력 분석기 컴포넌트(102) 및 다차원 인덱스 발생기 컴포넌트(402) 각각이 텍스트 분석기(502, 504), 오디오 분석기(506, 508), 및 이미지 분석기(510, 512)를 포함할 수 있다는 것을 나타내고 있다. 각각의 컴포넌트(102, 402)가 컨텐츠 분석기 컴포넌트(502-512)를 포함하는 것으로 도시되어 있지만, 입력 및 검색가능 항목들 내에 각각 포함된 특징들을 찾기 위해 입력 분석기 컴포넌트(102)는 물론 다차원 인덱스 발생기(402)에 의해서도 단일 세트의 컨텐츠 분석기 컴포넌트가 제공되어 이용될 수 있다는 것을 잘 알 것이다.

상기한 바와 같이, 서브컴포넌트(502-512) 각각에 의해 시스템은 입력은 물론 검색가능 항목으로부터 특징들을 추출할 수 있다. 한 측면에서, 이 특징 추출에 의해 사용자 입력이 분석될 수 있고 그 다음에 이 추출된 특징들로부터 검색 질의를 확정할 수 있다. 다른 측면에서, 이 특징 추출은 검색가능 항목들의 자동적이고 동적인 인덱싱을 용이하게 해준다. 환언하면, 이 인덱싱 메카니즘에 따르면, 본 시스템은 검색가능 항목들로부터 특징들을 자동적으로 및/또는 동적으로 추출할 수 있고 그 다음에 하나의 특정 질의 또는 일련의 특정 질의에 기초하여 이 특징들이 검색될 수 있게 해준다.

입력 분석기 컴포넌트(102)를 참조하면, 도 6은 특정의 분석을 수행하는 데 사용될 수 있는 입력 분석기 컴포넌트(102)의 예시적인 서브컴포넌트를 나타낸 것이다. 보다 구체적으로는, 한 측면에서, 텍스트 분석기(502)는 적절한 검색 질의를 확정하기 위해 입력을 파싱할 수 있는 언어 파서(602)를 포함할 수 있다. 잘 알 것인 바와 같이, 입력을 파싱하는 일은 입력의 단어들을 검색 질의 키워드로 변환될 수 있는 기능 단위로 분해할 수 있다. 다른 예에서, 파싱 메카니즘은 "Where did Bill Clinton last meet with Prince Charles?" 같은 입력을 키워드 "Place, Bill Clinton, Meet, Prince Charles"로 해석할 수 있다. 이 키워드들은 연관된 결과를 반환하는 검색 질의로서 이용될 수 있다.

다른 측면들에서, 오디오 분석기(504)는 음성 인식 컴포넌트(604)를 포함할 수 있고, 이미지 분석기 컴포넌트(506)는 패턴 인식 컴포넌트(606)를 포함할 수 있다. 예를 들어, 입력이 이미지인 것으로 가정한다. 그 자체로서, 음영, 컬러 및 관계, 그림, 형상, 기타 등등을 식별할 수 있는 기법들을 사용하여 이미지를 분석하기 위해 이미지 처리 메카니즘이 이용될 수 있다. 패턴 인식 컴포넌트(606)의 이미지 처리 기능은, 예를 들어, 디지털 카메라를 통해 캡처되거나 스캔된 비트맵 그래픽 형식의 이미지를 처리할 수 있다.

패턴 인식(606)은 시스템이 이미지 내의 식별된 패턴들로부터 추출되는 통계적 정보 및/또는 선험적 지식에 기초하여 데이터의 패턴을 분류할 수 있는 기계 학 습 및 추론(machine learning and reasoning, MLR)의 영역 내의 한 분야를 말할 수 있다. 종종, 분류된 패턴들은 적절한 다차원 공간에서의 점들을 정의하는 측정치들 또는 관찰 결과들의 그룹이다. 패턴 인식 시스템(606)은 상기한 바와 같이 분류 또는 기술될 관찰 결과들을 수집하는 센서 또는 일군의 센서들을 포함할 수 있다. 특징 추출 메카니즘은 관찰 결과들로부터 정보(예를 들어, 수치 또는 심볼)를 산출하는 데 이용될 수 있다. 또한, 패턴 인식 시스템은 추출된 특징들에 기초하여 관찰 결과들을 실제로 분류 또는 기술하는 분류 또는 기술 메카니즘을 포함할 수 있다. 이미지 분석은 패턴 인식 시스템에의 입력인 디지털 이미지에 관한 패턴 인식의 한 형태이다.

기본적으로, 이미지 분석은 이미지로부터 의미있는 정보를 추출하는 것을 말한다. 이미지 분석 기법이 바코드 판독기와 같은 간단한 작업에서부터 얼굴 특징들의 분석에 기초하여 사람을 식별할 수 있는 얼굴 인식 시스템과 같은 보다 복잡한 고급 분석까지 있을 수 있다는 것을 잘 알 것이다.

이제 도 7을 참조하면, 다차원 검색 시스템이 결과 구성 컴포넌트(702)를 포함하고 있는 시스템(100)의 대안의 측면이 도시되어 있다. 동작을 설명하면, 결과 구성 컴포넌트(702)는 결과를 원하는 방식으로 필터링, 정렬, 인덱싱, 순위 지정하고 그에 따라 디스플레이하는 것을 용이하게 해줄 수 있다. 한 구체적인 예에서, 본 발명의 특징은 검색 결과가 보다 시각-중심의 형태를 취할 수 있게 해주는 것이다. 예를 들어, 검색 결과로서 텍스트-기반 URL(uniform resource locator) 또는 문자열을 제공하기 보다는, 결과가 하나의 이미지(또는 일군의 이미지) 형태로 제 시될 수 있으며 그에 따라 높은 파악성(glanceability)을 용이하게 해줄 수 있다. 그에 부가하여, 결과는 텍스트, 시각, 및 청각 데이터의 조합을 포함할 수 있으며 그에 따라 본 발명의 렌더링 메카니즘을 향상시킬 수 있다.

게다가, 도 7에 나타낸 바와 같이, 다수의 차원으로 검색 입력이 수행될 수 있으며, 이 때 다수의 차원에 걸쳐 대량의 데이터의 인덱싱 및 보기를 제공하기 위해 부수적인 차원 데이터(예를 들어, 시간, 오디오, 시각, 상황, 분위기, 행사, 기타)가 검색 질의 및 결과에 매핑될 수 있다.

도 8은 본 발명의 한 측면에 따른 예시적인 결과 구성 컴포넌트(702)를 나타낸 것이다. 도시된 바와 같이, 결과 구성 컴포넌트(702)는 필터 컴포넌트(802), 순위 지정 컴포넌트(804), 및 정렬 컴포넌트(806)를 포함할 수 있다. 이들 컴포넌트 각각은 원하는 우선순위 및/또는 다차원 컨텍스트에 따라 검색 결과의 렌더링에 영향을 주는 데 사용될 수 있다.

예를 들어, 적어도 부분적으로 시간, 장소, 장치 컨텍스트, 기타 등등에 기초하여 검색 결과들의 일부분을 자동적으로 필터링하기 위해 필터 컴포넌트(802)가 이용될 수 있다. 각각의 시나리오에서, 필터 컴포넌트(802)는 부수적인 다차원 요인들에 기초하여 적절한 정렬 및/또는 필터링 기준을 추론할 수 있다. 이와 유사하게, 결정된 및/또는 추론된 컨텍스트 또는 부수적인 다차원 데이터에 기초하여 결과를 정리하기 위해 순위 지정 컴포넌트(804) 및 정렬 컴포넌트(806)가 이용될 수 있다.

이하의 시나리오는 본 발명에 대한 전반적인 이해를 더하기 위해 제공된 것 이며 결코 본 발명을 제한하기 위한 것이 아니다. 환언하면, 이하의 시나리오는 본 발명 및/또는 첨부된 청구항의 범위를 제한하려는 것이 아니라 본 발명의 특징들 중 몇몇을 설명하기 위해 제공된 것이다.

이제 도 9를 참조하면, 본 발명의 한 측면에 따른 검색 입력의 스크린 샷이 도시되어 있다. 보다 상세하게는, 도시된 바와 같이, 검색 동작에의 입력이 도시 스카이라인의 이미지일 수 있다. 상기한 바와 같이, 본 발명의 특징들이 이미지의 특징들을 알아내고 추출하기 위해 이미지에 대해 이미지 분석을 수행할 수 있다. 추출된 경우, 본 시스템은 추출된 특징들에 기초하여 검색 질의를 확정할 수 있다.

도 10은 예시적인 일련의 검색 결과들을 나타낸 것이다. 도시된 바와 같이, 결과들이 확정된 검색 질의에 대한 관련성에 따라 순서대로 렌더링될 수 있다. 이 예에서, 본 시스템은, 이미지 분석을 통해, 이 이미지가 뉴욕시인 것으로 확정할 수 있다. 이를 위해, 검색이 수행되고 도 10에 나타낸 바와 같이 결과가 렌더링될 수 있다. 도 10의 결과들이 텍스트 형태로 나타내어져 있지만, 본 발명의 정신 및/또는 범위를 벗어나지 않고 결과(예를 들어, 시각적, 청각적)를 렌더링하는 다른 수단이 이용될 수 있다는 것을 잘 알 것이다. 예를 들어, 다른 측면에서, 텍스트 결과(들)에 부가하여 또는 그 대신에 이미지가 렌더링될 수 있으며 그에 따라 검토 시간(예를 들어, 파악성)을 향상시킬 수 있다.

도 11은 선택 메카니즘(1102)이 입력으로서 사용될 이미지의 일부분(들)을 식별하는 데 이용될 수 있다는 것을 나타낸 것이다. 이 예에서, 선택 메카니즘(1102)은 세계 무역 센터 주변의 영역을 정의하는 정사각형이다. 그 자체로서, 도 12는 이 선택으로부터 자동적으로 작성되는 검색 질의에 기초하여 렌더링될 수 있는 예시적인 일련의 검색 결과(1202, 1204)를 나타낸 것이다.

도시된 바와 같이, 이 결과들은 임의의 방식으로 정렬, 순위 지정 및/또는 필터링되는 텍스트 결과(1202)를 포함할 수 있다. 예를 들어, 결과들이 사용자 컨텍스트(예를 들어, 시간, 장소, 장치 유형, 사용자 상태, 분위기...)에 기초하여 구성될 수 있다. 또한, 파악성을 향상시키기 위해, 텍스트 결과를 보여주는 대신에 이미지가 추가 또는 삽입될 수 있다. 이와 유사하게, 결과 렌더링의 효과를 향상시키기 위해 결과들에 표기(annotation)(예를 들어, 하이라이트, 밑줄, 글꼴 서식) 기법이 부가될 수 있다. 이들 표기 기법들은 본 발명 및 첨부된 청구항의 범위 내에 포함된다.

그에 부가하여, 본 발명의 기능에 따르면, 본 시스템은 검색 질의에 대응한 이미지(1204)를 반환할 수 있다. 상기한 바와 같이, 이들 이미지는 상기한 바와 같은 가능한 검색 결과로부터 특징들을 추출함으로써 제공될 수 있다. 다른 측면에서, 추출된 특징들에 따라 검색가능 항목들이 인덱싱될 수 있다. 그 자체로서, 본 시스템은 인덱스를 검색하고 그에 따라 결과들을 렌더링할 수 있다. 이와 유사하게, 본 시스템은 동작 중에 특징들을 추출함으로써, 사전-인덱싱 대신에 검색 질의에 따라 이미지-기반 결과들을 렌더링할 수 있다.

본 발명의 측면들에 따르면, 본 시스템(100)은 본 발명에 따라 하나 이상의 특징들을 자동화하는 것을 용이하게 해주는 MRL 컴포넌트(도시 생략)를 이용할 수 있다. 이 특정의 구현예에서, 입력 분석기 컴포넌트(102), 검색 엔진(104), 및 결 과 구성 컴포넌트(702) 각각과 인터페이스하기 위해 MLR 컴포넌트가 배치될 수 있다. 이를 위해, MLR 컴포넌트는 본 명세서에 기술된 각각의 컴포넌트의 기능에 따라 동작을 자동화 및/또는 추론하는 데 이용될 수 있다.

본 발명은 (예를 들어, 질의 생성/수정, 결과 선택/구성, 검색가능 항목 인덱싱과 관련하여) 그의 다양한 측면들을 수행하기 위해 다양한 MLR-기반 방식을 이용할 수 있다. 예를 들어, 컨텍스트 인자들을 바탕으로 한 입력에 기초하여 어느 결과가 요망되는지 및 결과가 어떻게 렌더링되어야 하는지를 예측하는 것에 관한 학습 및 추론 프로세스가 자동 분류기 시스템 및 프로세스를 통해 용이하게 될 수 있다.

분류기는 입력 속성 벡터 x = (xl, x2, x3, x4, xn)를 부류 라벨 class(x)에 매핑하는 함수이다. 이 분류기는 또한 입력이 부류에 속할 신뢰도(confidence)를 출력할 수 있다, 즉 f(x) = confidence(class(x))이다. 이러한 분류는 사용자가 자동적으로 수행되기를 원하는 동작을 진단 또는 추론하기 위해 확률 및/또는 통계-기반 분석을 이용할 수 있다.

지원 벡터 기계(support vector machine, SVM)는 이용될 수 있는 분류기의 일례이다. SVM은 가능한 입력들의 공간에서 트리거링 입력 이벤트를 비트리거링 이벤트(non-triggering event)로부터 최적으로 분리시키는 초곡면(hypersurface)을 찾는 동작을 한다. 직관적으로, 이것은 분류를 훈련 데이터와 같지는 않지만 그에 가까운 테스트 데이터에 적당하게 만들어 준다. 다른 유향(directed) 및 무향(undirected) 모델 분류 방식은, 예를 들어, NB(naive Bayes), 베이지안 네트워 크, 결정 트리, 신경망, 퍼지 논리 모델을 포함하며, 다른 독립성 패턴을 제공하는 확률적 분류 모델이 이용될 수 있다. 분류는, 본 명세서에서 사용되는 바와 같이, 순위 지정 또는 우선순위 모델을 개발하는 데 이용되는 통계적 회귀(statistical regression)도 포함한다.

본 명세서로부터 잘 알 것인 바와 같이, 본 발명은 (예를 들어, 일반 훈련 데이터를 통해) 명시적으로 훈련되는 것은 물론 (예를 들어, 사용자 거동을 관찰하는 것, 부수적인 정보를 수신하는 것에 의해) 암시적으로 훈련되는 분류기를 이용할 수 있다. 예를 들어, SVM은 분류기 생성자(classifier constructor) 및 특징 선택 모듈 내에서의 학습 또는 훈련 단계를 통해 구성된다. 따라서, 분류기(들)가 미리 정해진 기준에 따라 다수의 기능을 자동적으로 학습 및 수행하는 데 이용될 수 있다.

하나 이상의 특정의 예에서, MLR 컴포넌트는, 컨텍스트 정보(예를 들어, 시간, 주, 장소, 사용자 역할)에 기초하여, 결정된 및/또는 추론된 질의를 바탕으로 어느 유형의 결과가 요망되는지는 물론 결과가 어떻게 렌더링되어야 하는지를 학습할 수 있다. 예를 들어, 사용자가 일상적으로 특정의 정보에 대해 질의를 하고 그 후에 시간이 흐르면서 렌더링된 결과로부터 동일한 또는 유사한 일련의 결과들을 선택하는 경우, MLR 컴포넌트는 이러한 사용 패턴을 학습할 수 있다. 따라서, 본 시스템은 동일한 또는 유사한 검색 질의를 실행할 시에 사용자가 또다시 동일한 결과를 선택할 가능성이 높은 것으로 추론(또는 예측)할 수 있다. 그에 따라, 질의의 실행 시에, 특정의 일련의 결과들을 원하는 방식으로 렌더링하기 위해 이 정보 를 사용하여 통계적 모델이 생성될 수 있다.

사용자 선호도는 물론 이전의 검색들에 대한 사용자 피드백과 관련한 이력 데이터에 기초하여 개인화된 모델이 훈련될 수 있다. 씨드 분류기가 본 명세서에 기술된 실시예들을 포함하는 장치들에 배포될 수 있고, 이러한 분류기가 소비자에 의해 사용 동안에 조정될 수 있다. 게다가, 입력의 어떤 특징들이 다른 특징들보다 더 무겁게 가중될 수 있다. 예를 들어, 사진의 중앙에 있는 이미지가 더 높게 가중될 수 있는데, 그 이유는 이러한 이미지가 일반적으로 3차적 이미지와 비교하여 관련성이 있을 확률이 더 높기 때문이다. 이와 마찬가지로, 사람 목소리와 연관된 주파수 범위 내의 오디오 특징들이 이러한 주파수 대역 밖의 사운드보다 더 높게 가중될 수 있다. 유사 컬러 및 근접성의 함수로서 픽셀의 그룹들을 관련시키기 위해 픽셀-매핑 기법이 이용될 수 있다(예를 들어, 사진의 상부 부분에 있는 모든 청색 이미지는 하늘을 나타냄). 본 명세서에 기술된 실시예들에 따르면, 특징들을 추출하는 것을 용이하게 해주는 데 적합한 방식이라면 어느 것이라도 이용될 수 있다.

이제 도 13을 참조하면, 시각적 다차원 검색의 개시된 아키텍처를 실행하는 동작을 하는 컴퓨터의 블록도가 도시되어 있다. 본 발명의 다양한 측면들에 대한 부가의 상황을 제공하기 위해, 도 13 및 이하의 설명은 본 발명의 다양한 측면들이 구현될 수 있는 적당한 컴퓨팅 환경(1300)의 간략하고 전반적인 설명을 제공하기 위한 것이다. 본 발명이 일반적으로 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어와 관련하여 전술되어 있지만, 당업자라면 본 발명이 또한 기타 프로그램 모듈과 관련하여 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다는 것을 잘 알 것이다.

일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 게다가, 당업자라면 본 발명의 방법이, 단일-프로세서 또는 멀티-프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드-헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치들과 연결되어 동작을 할 수 있음)을 비롯한, 다른 컴퓨터 시스템 구성에서 실시될 수 있다는 것을 잘 알 것이다.

본 발명의 예시된 측면들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 및 원격 메모리 저장 장치 둘다에 위치될 수 있다.

컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 둘다를 포함한다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만 이에 제한되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동 식 매체 둘다를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.

통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 모든 정보 전달 매체를 포함한다. 용어 "피변조 데이터 신호"는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 매체의 범위 안에 포함된다.

다시 도 13을 참조하면, 본 발명의 여러가지 측면들을 구현하는 예시적인 환경(1300)은 컴퓨터(1302)를 포함하고, 이 컴퓨터(1302)는 처리 장치(1304), 시스템 메모리(1306) 및 시스템 버스(1308)를 포함한다. 시스템 버스(1308)는 시스템 메모리(1306)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1304)에 연결시킨다. 처리 장치(1304)는 여러가지 상업적으로 이용가능한 프로세서 중 어느 것이라도 될 수 있다. 듀얼 마이크로프로세서 및 기타 멀티프로세서 아키텍처 도 역시 처리 장치(1304)로서 이용될 수 있다.

시스템 버스(1308)는 메모리 버스(메모리 컨트롤러를 갖거나 갖지 않음), 주변장치 버스, 및 다양한 상업적으로 이용가능한 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호접속될 수 있는 몇가지 유형의 버스 구조 중 어느 것이라도 될 수 있다. 시스템 메모리(1306)는 판독 전용 메모리(ROM)(1310) 및 랜덤 액세스 메모리(RAM)(1312)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1310)에 저장되고, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1302) 내의 구성요소들 간의 정보의 전송을 돕는 기본적인 루틴을 포함한다. RAM(1312)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.

컴퓨터(1302)는 또한 내장형 하드 디스크 드라이브(HDD)(1314)(예를 들어, EIDE, SATA)(이 내장형 하드 디스크 드라이브(1314)는 적당한 섀시(도시 생략) 내에서 외장용으로도 구성될 수 있음), 자기 플로피 디스크 드라이브(FDD)(1316)(예를 들어, 이동식 디스켓(1318)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1320)(예를 들어, CD-ROM 디스크(1322)를 판독하거나 DVD와 같은 다른 대용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1314), 자기 디스크 드라이브(1316), 및 광 디스크 드라이브(1320)는 각각 하드 디스크 드라이브 인터페이스(1324), 자기 디스크 드라이브 인터페이스(1326), 및 광 드라이브 인터페이스(1328)에 의해 시스템 버스(1308)에 접속될 수 있다. 외장형 드라이브 구현에 대한 인터페이스(1324) 는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 둘다를 포함한다. 다른 외장형 드라이브 접속 기술이 본 발명의 범위 내에 속한다.

이들 드라이브 및 이들과 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1302)의 경우, 이들 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응하고 있다. 컴퓨터 판독가능 매체의 상기 설명이 HDD, 이동식 자기 디스켓, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 zip 드라이브, 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 예시적인 운영 환경에서 사용될 수 있으며, 또한 임의의 이러한 매체가 본 발명의 방법들을 수행하는 컴퓨터 실행가능 명령어들을 포함할 수 있다는 것을 잘 알 것이다.

운영 체제(1330), 하나 이상의 애플리케이션 프로그램(1332), 기타 프로그램 모듈(1334) 및 프로그램 데이터(1336)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1312)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈, 및/또는 데이터의 전부 또는 그 일부분은 또한 RAM(1312)에 캐싱될 수 있다. 본 발명이 다양한 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.

사용자는 하나 이상의 유선/무선 입력 장치(예를 들어, 키보드(1338), 및 마우스(1340) 등의 포인팅 장치)를 통해 컴퓨터(1302)에 명령 및 정보를 입력할 수 있다. 다른 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 다른 입력 장치들은 종종 시스템 버스(1308)에 연결되어 있는 입력 장치 인터페이스(1342)를 통해 처리 장치(1304)에 접속되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 다른 인터페이스에 의해 접속될 수 있다.

모니터(1344) 또는 기타 유형의 디스플레이 장치도 비디오 어댑터(1346) 등의 인터페이스를 통해 시스템 버스(1308)에 접속된다. 모니터(1344)에 부가하여, 컴퓨터는 통상적으로 스피커, 프린터, 기타 등등의 다른 주변 출력 장치(도시 생략)를 포함한다.

컴퓨터(1302)는 원격 컴퓨터(들)(1348) 등의 하나 이상의 원격 컴퓨터로의 유선 및/또는 무선 통신을 통한 논리적 접속을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1348)는 워크스테이션, 서버 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치, 또는 기타 통상의 네트워크 노드일 수 있으며, 통상적으로 컴퓨터(1302)와 관련하여 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해 메모리/저장 장치(1350)만이 도시되어 있다. 도시된 논리적 접속은 근거리 통신망(LAN)(1352) 및/또는 대규모 네트워크, 예를 들어, 원거리 통신망(WAN)(1354)에의 유선/무선 접속을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 흔하며, 인트라넷 등의 전사적 컴퓨터 네트워크를 용이하게 해주고, 이들 모두는 전세계적인 통신 네트워크, 예를 들어, 인터넷에 접속될 수 있다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1302)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1356)를 통해 로컬 네트워크(1352)에 접속된다. 어댑터(1356)는 LAN(1352)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN에는 또한 무선 어댑터(1356)와 통신하기 위한 무선 액세스 포인트가 배치되어 있다.

WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1302)는 모뎀(1358)을 포함할 수 있거나, WAN(1354) 상의 통신 서버에 연결되어 있거나, 인터넷 등의 WAN(1354)을 통해 통신을 설정하는 기타 수단을 가지고 있다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1358)은 직렬 포트 인터페이스(1342)를 통해 시스템 버스(1308)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1302) 또는 그의 일부분과 관련하여 기술된 프로그램 모듈은 원격 메모리/저장 장치(1350)에 저장될 수 있다. 도시된 네트워크 접속이 예시적인 것이며 컴퓨터들 간에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.

컴퓨터(1302)는 무선 통신으로 동작을 하는 임의의 무선 장치 또는 개체(예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA, 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소(예를 들어, 키오스크, 신문 가판대, 휴게실), 및 전화)와 통신하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스™ 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 사전 정의된 구조이거나 단순히 적어도 2개의 장치 간의 애드혹 통신(ad hoc communication)일 수 있다.

Wi-Fi(Wireless Fidelity)는 집의 소파에서, 호텔 방의 침대에서, 또는 직장의 회의실에서 유선 없이 인터넷에의 접속을 가능하게 해준다. Wi-Fi는 이러한 장치(예를 들어, 컴퓨터)가 실내에서 또 실외에서(기지국의 통화권 내의 어느 곳에서라도) 데이터를 전송 및 수신할 수 있게 해주는, 셀 전화에서 사용되는 것과 유사한 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성있으며 고속인 무선 접속을 제공하기 위해 IEEE 802.11 (a, b, g, 기타)라고 하는 무선 기술을 사용한다. Wi-Fi 네트워크는 컴퓨터들을 서로, 인터넷에 또한 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 접속시키는 데 사용될 수 있다. Wi-Fi 네트워크는 비면허 2.4 및 5 GHz 무선 대역에서, 예를 들어, 11 Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역을 포함하는 제품이 있으며(듀얼 밴드), 따라서 네트워크는 많은 사무실에서 사용되는 기본적인 lOBaseT 유선 이더넷 네트워크와 유사한 실세계 성능을 제공할 수 있다.

이제 도 14를 참조하면, 본 발명에 따른 예시적인 컴퓨팅 환경(1400)의 개략 블록도가 도시되어 있다. 시스템(1400)은 하나 이상의 클라이언트(들)(1402)를 포함한다. 클라이언트(들)(1402)는 하드웨어 및/또는 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 장치)일 수 있다. 클라이언트(들)(1402)는, 예를 들어, 본 발명을 이용함으로써 쿠키(들) 및/또는 연관된 컨텍스트 정보를 가지고 있을 수 있다.

시스템(1400)은 또한 하나 이상의 서버(들)(1404)를 포함한다. 서버(들)(1404)도 역시 하드웨어 및/또는 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴 퓨팅 장치)일 수 있다. 서버(1404)는, 예를 들어, 본 발명을 이용함으로써 변환을 수행하는 쓰레드를 가지고 있을 수 있다. 클라이언트(1402)와 서버(1404) 간의 한가지 가능한 통신은 2개 이상의 컴퓨터 프로세스 간에 전송되도록 구성된 데이터 패킷의 형태로 되어 있을 수 있다. 데이터 패킷은, 예를 들어, 쿠키 및/또는 관련된 컨텍스트 정보를 포함할 수 있다. 시스템(1400)은 클라이언트(들)(1402)와 서버(들)(1404) 간의 통신을 용이하게 해주는 데 이용될 수 있는 통신 프레임워크(1406)(예를 들어, 인터넷 등의 전세계 통신 네트워크)를 포함한다.

통신이 유선(광 섬유를 포함함) 및/또는 무선 기술을 통해 용이하게 될 수 있다. 클라이언트(들)(1402)는 클라이언트(들)(1402)에 로컬인 정보(예를 들어, 쿠키(들) 및/또는 관련된 컨텍스트 정보)를 저장하는 데 이용될 수 있는 하나 이상의 클라이언트 데이터 저장소(들)(1408)와 연결되어 동작한다. 이와 유사하게, 서버(들)(1404)는 서버(1404)에 로컬인 정보를 저장하는 데 이용될 수 있는 하나 이상의 서버 데이터 저장소(들)(1410)에 연결되어 동작한다.

이상에서 기술된 것은 본 발명의 예들을 포함하고 있다. 물론, 본 발명을 설명하기 위해 컴포넌트 및 방법의 모든 생각할 수 있는 조합을 기술할 수는 없지만, 당업자라면 본 발명의 많은 추가의 조합 및 치환이 가능하다는 것을 잘 알 것이다. 그에 따라, 본 발명이 의도하는 바는 첨부된 청구항의 정신 및 범위 내에 속하는 모든 이러한 변경, 수정 및 변형을 포함하는 것이다. 게다가, 용어 "포함한다"가 상세한 설명 또는 청구항에서 사용되는 한, 이러한 용어는 청구항에서 이 행구로 사용될 때 용어 "포함하는"이 해석되는 것과 유사한 방식으로 포함적인 것으로 보아야 한다.

Claims (20)

1. 다차원 검색 시스템으로서,

   입력으로부터 특징들을 추출하는 입력 분석기, 및

   적어도 부분적으로 상기 추출된 특징들의 일부분에 기초하여 검색 질의를 작성하는 검색 엔진을 포함하는, 다차원 검색 시스템.
2. 제1항에 있어서, 상기 입력이 이미지 데이터인 것인, 다차원 검색 시스템.
3. 제1항에 있어서, 상기 입력이 텍스트, 시각적, 및 오디오 데이터 중 적어도 2개의 조합인 것인, 다차원 검색 시스템.
4. 제1항에 있어서, 상기 검색 엔진은,

   복수의 차원에 걸쳐 검색-관련 정보를 수집 및 인덱싱하는 다차원 인덱스 발생기, 및

   적어도 부분적으로 상기 추출된 특징들의 일부분에 기초하여 상기 복수의 차원 중 하나 이상의 차원에 걸쳐 검색을 수행하는 인덱스 항목 로케이터 컴포넌트(index item locator component)를 포함하는 것인, 다차원 검색 시스템.
5. 제4항에 있어서, 상기 검색-관련 정보를 인덱싱하는 것을 용이하게 해주는 텍스트 분석기, 사운드 분석기, 및 이미지 분석기를 더 포함하는, 다차원 검색 시스템.
6. 제1항에 있어서, 텍스트 분석기, 이미지 분석기, 및 사운드 분석기 중 적어도 하나를 더 포함하는, 다차원 검색 시스템.
7. 제6항에 있어서, 상기 텍스트 분석기는 상기 입력으로부터 상기 특징들을 추출하는 언어 파서를 포함하는 것인, 다차원 검색 시스템.
8. 제6항에 있어서, 상기 사운드 분석기는 상기 입력으로부터 상기 특징들을 추출하는 음성 인식 컴포넌트를 포함하는 것인, 다차원 검색 시스템.
9. 제6항에 있어서, 상기 이미지 분석기는 상기 입력의 상기 특징들을 추출하는 패턴 인식 컴포넌트를 포함하는 것인, 다차원 검색 시스템.
10. 제1항에 있어서, 상기 입력에 관련된 복수의 검색 결과를 관리하는 결과 구성 컴포넌트를 더 포함하는, 다차원 검색 시스템.
11. 제10항에 있어서, 상기 결과 구성 컴포넌트는 사용자 컨텍스트, 사용자 선호도, 상기 입력에 대한 관련성 인자, 및 장치 컨텍스트 중 적어도 하나에 따라 상기 복수의 검색 결과의 일부분을 정렬하는 필터 컴포넌트를 포함하는 것인, 다차원 검색 시스템.
12. 제10항에 있어서, 상기 결과 구성 컴포넌트는 적어도 부분적으로 사용자 선호도 및 관련성 인자 중 하나에 기초하여 상기 복수의 검색 결과의 일부분을 배열하는 순위 지정 컴포넌트를 포함하는 것인, 다차원 검색 시스템.
13. 제10항에 있어서, 상기 결과 구성 컴포넌트는 상기 복수의 검색 결과의 일부분에 대한 디스플레이 순서를 결정하는 정렬 컴포넌트를 포함하는 것인, 다차원 검색 시스템.
14. 제1항에 있어서, 사용자가 자동적으로 수행되기를 원하는 동작을 추론하기 위해 확률-기반 분석 및 통계-기반 분석 중 적어도 하나를 이용하는 기계 학습 및 추론 컴포넌트를 더 포함하는, 다차원 검색 시스템.
15. 다차원 검색을 수행하는 컴퓨터 구현 방법으로서,

    입력을 수신하는 단계,

    상기 입력으로부터 복수의 특징들을 추출하는 단계,

    적어도 부분적으로 상기 추출된 특징들의 일부분에 기초하여 복수의 검색어들을 확정하는 단계, 및

    적어도 부분적으로 상기 검색어들의 일부분에 기초하여 복수의 결과를 검색하는 단계를 포함하는, 다차원 검색을 수행하는 컴퓨터 구현 방법.
16. 제15항에 있어서, 상기 입력 질의에서 이미지 패턴을 인식하는 단계, 및

    인식된 상기 이미지 패턴을 상기 검색어들의 일부분으로 변환하는 단계를 더 포함하는, 다차원 검색을 수행하는 컴퓨터 구현 방법.
17. 제15항에 있어서, 검색-관련 데이터를 수집하는 단계,

    상기 검색-관련 데이터를 분석하는 단계, 및

    상기 검색-관련 데이터를 인덱싱하는 단계를 더 포함하며,

    상기 복수의 결과가 상기 검색-관련 데이터 내에 포함되어 있는 것인, 다차원 검색을 수행하는 컴퓨터 구현 방법.
18. 제16항에 있어서, 상기 복수의 검색 결과의 일부분을 구성하는 단계, 및

    상기 복수의 검색 결과의 상기 일부분을 사용자에게 렌더링하는 단계를 더 포함하는, 다차원 검색을 수행하는 컴퓨터 구현 방법.
19. 컴퓨터 실행가능 시스템으로서,

    입력을 수신하는 수단,

    상기 입력으로부터 복수의 특징들을 추출하는 수단, 및

    적어도 부분적으로 상기 복수의 특징들의 일부분에 기초하여 검색 질의를 생성하는 수단을 포함하는, 컴퓨터 실행가능 시스템.
20. 제19항에 있어서, 다차원에 걸쳐 검색-관련 정보를 수집하는 수단,

    수집된 상기 검색-관련 정보를 인덱싱하는 수단, 및

    적어도 부분적으로 상기 검색 질의에 기초하여 상기 검색-관련 정보에 대한 검색을 수행하는 수단을 더 포함하는, 컴퓨터 실행가능 시스템.

Images