KR20230104181A - 의미 맵의 생성 시에 데이터 아이템 지문을 재사용하기 위한 방법 및 시스템 - Google Patents

Abstract

제 1 이차원 메트릭 공간에서 클러스터링된 데이터의 제 1 세트 내의 데이터 아이템의 분포된 표현을 사용하여 분포된 표현의 클러스터를 제 2 이차원 메트릭 공간에서 생성하는 방법은, 참조 맵 생성기에 의하여, 데이터 문서들의 세트를 제 1 이차원 메트릭 공간에서 클러스터링하고, 의미 맵을 생성하는 단계를 포함한다. 파서는 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성한다. 표현 생성기는 각각의 데이터 아이템에 대한 발생 정보를 사용하여 분포된 표현을 생성한다. 희소화 모듈은 희소성의 최대 레벨의 식별을 수신하고, 분포된 표현 내의 세트 비트의 총 개수를 감소시킨다. 참조 맵 생성기는, SDR 데이터베이스로부터 취출되고 적어도 하나의 제 2 기준에 따라 선택된 SDR들의 세트를 제 2 이차원 메트릭 공간에서 클러스터링하고, 제 2 의미 맵을 생성한다.

Description

의미 맵의 생성 시에 데이터 아이템 지문을 재사용하기 위한 방법 및 시스템

종래의 시스템에서는, 자기-조직(self-organizing) 맵을 사용하는 것은 통상적으로, 데이터 문서를 타입별로 클러스터링하는 것, 그리고 발견되지 않는 데이터 문서가 어디로 클러스터링될 것인지를 예측하거나 사용된 데이터 문서 콜렉션의 클러스터 구조를 분석하는 것으로 한정된다. 통상적으로, 이러한 종래의 시스템은 결과적으로 얻어지는 "클러스터링 맵"을 데이터 문서의 구성 데이터 아이템의 명시적 의미 정의를 위한 "분포된 의미 예측 맵(distributed semantic projection map)"으로서 사용하기 위한 기능을 제공하지 않는다. 더욱이, 종래의 시스템은 통상적으로 자기-조직 맵을 사용하기 위한 방법을 실행하기 위해서 통상적인 프로세서에 기반한 컴퓨팅을 사용한다. 또한, 종래의 시스템은 데이터의 이전에 생성된 표현을 재사용하기 위한 기능성을 제공하지 않는다; 예를 들어, 시스템은 통상적으로 수 백만 개의 데이터 문서의 어떤 서브세트를 의미 맵을 생성하는 데에 사용할지에 대해서 선택한다 - 이것은 그래뉼래러티 및 수 백만 개의 데이터 문서에 걸쳐서 데이터 아이템에 대한 데이터 표현을 생성하기 위한 실제 능력 사이에 의사결정할 것을 요구한다.

그러므로, 후속 의미 맵을 생성할 때에 데이터 표현을 생성하고 생성된 데이터 표현을 재사용할 수 있는 시스템에 대한 필요성이 존재한다.

일 양태에서, 제 1 이차원 메트릭 공간에서 클러스터링된 데이터의 제 1 세트 내의 데이터 아이템의 분포된 표현을 사용하여 분포된 표현의 클러스터를 제 2 이차원 메트릭 공간에서 생성하는 방법은, 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 적어도 하나의 기준에 따라 선택된 데이터 문서들의 세트를 제 1 이차원 메트릭 공간에서 클러스터링하고, 의미 맵을 생성하는 단계를 포함한다. 이러한 방법은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계를 포함한다. 이러한 방법은 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계를 포함한다. 이러한 방법은 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보(occurrence information)를 결정하는 단계를 포함한다. 이러한 방법은, 표현 생성기에 의하여, 각각의 데이터 아이템에 대한 분포된 표현을 발생 정보를 사용하여 생성하는 단계를 포함한다. 이러한 방법은 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계를 포함한다. 이러한 방법은 희소화 모듈에 의하여, 규범 필그레이드를 가지는 성긴 분포된 표현(sparse distributed representation; SDR)을 생성하도록, 희소성의 최대 레벨에 기초하여 각각의 분포된 표현 내의 세트 비트의 총 개수를 감소시키는 단계를 포함한다. 이러한 방법은 생성된 SDR들 각각을 SDR 데이터베이스에 저장하는 단계를 포함한다. 이러한 방법은, 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, SDR 데이터베이스로부터 취출되고 적어도 하나의 제 2 기준에 따라 선택된 SDR들의 세트를 제 2 이차원 메트릭 공간에서 클러스터링하고, 제 2 의미 맵을 생성하는 단계를 포함한다.

본 발명의 전술된, 그리고 다른 목적, 양태, 피쳐, 및 장점은 첨부 도면과 함께 후속하는 설명을 참조함으로써 더욱 명확해지고 잘 이해될 것이다.
도 1a는 데이터 아이템을 성긴 분포된 표현으로 매핑하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 1b는 데이터 아이템을 성긴 분포된 표현으로 매핑하는 데에 사용되기 위한 의미 맵을 생성하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 1c는 데이터 문서의 세트 내의 데이터 아이템에 대한 성긴 분포된 표현을 생성하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 2는 데이터 아이템을 성긴 분포된 표현으로 매핑하기 위한 방법의 일 실시형태를 나타내는 블록도이다;
도 3은 의미 맵 상에 클러스터링된 데이터 문서를 사용하여 생성된 데이터 아이템의 성긴 분포된 표현에 산술 연산을 수행하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 4는 데이터 아이템들 사이의 의미 유사성의 레벨을 식별하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 5는 사용자-제공 데이터 아이템과 데이터 문서의 세트 내의 데이터 아이템 사이의 의미 유사성의 레벨을 식별하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 6a는 풀-텍스트 검색 시스템에서 사용되도록 제공되는 질의를 확장하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 6b는 풀-텍스트 검색 시스템에서 사용되도록 제공되는 질의를 확장하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 6c는 풀-텍스트 검색 시스템에서 사용되도록 제공되는 질의를 확장하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 7a는 주제-기초 문서를 풀-텍스트 검색 시스템에 제공하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 7b는 주제-기초 문서를 풀-텍스트 검색 시스템에 제공하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 8a는 인덱싱(indexing)을 개선하기 위하여, 문서와 연관된 키워드를 풀-텍스트 검색 시스템에 제공하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 8b는 인덱싱을 개선하기 위하여, 문서와 연관된 키워드를 풀-텍스트 검색 시스템에 제공하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 9a는 텍스트 문서에 대한 검색 기능을 제공하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 9b는 텍스트 문서에 대한 검색 기능을 제공하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 10a는 사용자 전문성 매칭(user expertise matching)을 풀-텍스트 검색 시스템 내에 제공하는 시스템의 일 실시형태를 나타내는 블록도이다;
도 10b는 사용자 전문성 매칭을 풀-텍스트 검색 시스템 내에 제공하는 시스템의 일 실시형태를 나타내는 블록도이다;
도 10c는 사용자 전문성을 사용자 전문성을 위한 요청과 매칭하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 10d는 풀-텍스트 검색 시스템으로부터 수신된 질의 결과에 사용자 프로파일에 기초하여 의미에 따라 순위를 매기기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 11a는 의학적 진단 지원을 제공하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 11b는 의학적 진단 지원을 제공하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 12a 내지 도 12c는 본 명세서에서 설명되는 방법 및 시스템과 연계하여 유용하게 사용되는 컴퓨터의 실시형태들을 나타내는 블록도이다;
도 12d는 복수 개의 네트워크가 데이터 호스팅 및 전달 서비스를 제공하는 시스템의 일 실시형태를 나타내는 블록도이다;
도 13은 교차-언어 성긴 분포된 표현을 생성하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 14a는 교차-언어 성긴 분포된 표현들 사이의 유사성을 결정하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 14b는 교차-언어 성긴 분포된 표현들 사이의 유사성을 결정하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 15는 필터링 기준과 스트리밍된 문서의 세트 내의 데이터 아이템 사이의 의미 유사성의 레벨을 식별하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 16은 필터링 기준과 스트리밍된 문서의 세트 내의 데이터 아이템 사이의 의미 유사성의 레벨을 식별하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 17a는 복수 개의 이진 벡터들 사이의 유사성의 레벨을 식별하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 17b는 복수 개의 이진 벡터들 사이의 유사성의 레벨을 식별하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 18a는 복수 개의 데이터 표현들 사이의 유사성의 레벨을 식별하기 위한 시스템의 일 실시형태를 나타내는 블록도이다;
도 18b는 복수 개의 데이터 표현들 사이의 유사성의 레벨을 식별하기 위한 방법의 일 실시형태를 나타내는 흐름도이다;
도 19는 복수 개의 데이터 표현들 사이의 유사성의 레벨을 식별하는 데에 사용된 복합 데이터 표현의 지연 희소화(late sparsification)를 위한 방법의 일 실시형태를 나타내는 흐름도이다; 그리고
도 20은 데이터 아이템들의 부분 지문화(fractal fingerprinting)를 위한 방법의 일 실시형태를 나타내는 흐름도이다.

일부 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템은 복수 개의 데이터 표현들 사이의 유사성의 레벨을 식별하기 위한 기능성을 제공한다. 이러한 실시형태들 중 하나에서, 식별은 성긴 배포된 표현들(SDR) 또는 임의의 다른 타입의 긴 이진 벡터 사이의 결정된 거리에 기반한다.

이제 도 1a를 참조하면, 블록도는 데이터 아이템을 성긴 분포된 표현으로 매핑하기 위한 시스템의 일 실시형태를 나타낸다. 간략한 개관에서, 시스템(100)은 엔진(101), 머신(102a), 데이터 문서의 세트(104), 참조 맵 생성기(106), 의미 맵(108), 파서 및 전처리 모듈(110), 데이터 아이템의 나열(112), 표현 생성기(114), 희소화 모듈(116), 하나 이상의 성긴 분포된 표현(SDR)(118), SDR 데이터베이스(120), 및 풀-텍스트 검색 시스템(122)을 포함한다. 몇 가지 실시형태들에서, 엔진(101)은 도 1a 내지 도 1c 및 도 2와 연계하여 설명된 모든 컴포넌트 및 기능성을 가리킨다.

이제 도 1a를 참조하고 더 자세하게 설명하면, 시스템은 데이터 문서의 세트(104)를 포함한다. 일 실시형태에서, 데이터 문서의 세트(104) 내의 문서는 텍스트 데이터를 포함한다. 다른 실시형태에서, 데이터 문서의 세트(104) 내의 문서는 물리적 시스템의 가변 값을 포함한다. 또 다른 실시형태에서, 데이터 문서의 세트(104) 내의 문서는 환자들의 의료 기록을 포함한다. 다른 실시형태에서, 데이터 문서의 세트(104) 내의 문서는 화학-기초 정보(예를 들어, DNA 시퀀스, 단백질 시퀀스, 및 화학식)를 포함한다. 또 다른 실시형태에서, 데이터 문서의 세트(104) 내의 각각의 문서는 악보를 포함한다. 데이터 문서(104) 내의 데이터 아이템은 단어, 수치 값, 의학적 분석, 의학적 측정, 및 음표일 수 있다. 데이터 아이템은 임의의 타입의 스트링(예를 들어, 하나 이상의 숫자를 포함하는 스트링)일 수 있다. 데이터 문서의 제 1 세트(104) 내의 데이터 아이템은 데이터 문서의 제 2 세트(104) 내의 데이터 아이템과 상이한 언어일 수 있다. 몇 가지 실시형태들에서, 데이터 문서의 세트(104)는 이력 로그 데이터를 포함한다. 본 명세서에서 사용될 때 "문서"란, 동일한 시스템에서 유래하는 시스템 변수에 각각 대응하는 데이터 아이템의 콜렉션을 가리킬 수 있다. 몇 가지 실시형태들에서, 이러한 문서 내의 시스템 변수는 동시에 샘플링된다.

위에서 표시된 바와 같이 본 명세서에서 "데이터 아이템"이 사용되면, 모두 동일한 "시스템"으로부터 유래하는 스트링 데이터의 워드, 수치 데이터로서의 스칼라 값, 수치 데이터 또는 클래스-데이터로서의 의학적 진단 및 분석, 음표 및 임의의 타입의 변수를 망라한다. "시스템"은, 자연적이거나 인위적인 임의의 물리적 시스템, 예컨대 강, 기술 디바이스, 또는 살아있는 세포 또는 인간 유기체와 같은 생물학적 엔티티일 수 있다. 시스템은 또한 "개념 체계(conceptual system)", 예컨대 언어 또는 웹 서버 로그-데이터일 수도 있다. 언어는 영어 또는 중국어와 같은 자연적 언어, 또는 자바 또는 C++ 프로그램 코드와 같은 인위적 언어일 수 있다. 위에서 표시된 바와 같이, "데이터 문서"를 사용한다고 하면 "데이터 아이템"의 세트를 망라한다. 이러한 데이터 아이템은 하부에 위치하는 "시스템"의 의미론에 의하여 상호의존적일 수도 있다. 모든 데이터 아이템 값이 동일한 시점에서 샘플링된다면 이러한 그루핑은 시간 기초 그룹일 수 있다; 예를 들어, 자동차의 엔진으로부터 유래하는 측정 데이터 아이템은 매 초마다 샘플링되고 단일 데이터 문서로 그룹화될 수 있다. 또한 이러한 그루핑은 "시스템" 자체에 의하여 특징결정되는 논리적 구조를 따라서 이루어질 수도 있는데, 예를 들어 자연적 언어에서는, 워드 데이터 아이템이 문장으로서 그루핑될 수 있는 반면에, 음악에서는, 음표에 대응하는 데이터 아이템이 측정치에 의해서 그루핑될 수 있다. 이러한 데이터 문서에 기초하여, 좀더 상세하게 후술되는 바와 같이, "시스템"의 의미 맵을 생성하기 위하여, 문서 벡터가 위의 방법에 의하여(또는 당업자들이 이해할 수 있는 다른 방법에 따라서) 생성될 수 있다. 이러한 "시스템"을 사용함으로써, 좀더 상세하게 후술되는 바와 같이 의미 맵 데이터 아이템 SDR이 생성될 수 있다. 이하 설명되는 방법 및 시스템 전부는 모든 타입의 데이터 아이템 SDR들에 적용될 수 있다.

일 실시형태에서, 사용자는 적어도 하나의 기준에 따라 데이터 문서의 세트(104)를 선택한다. 예를 들어, 사용자는 데이터 문서의 세트(104) 내에 포함시킬 데이터 문서를 해당 데이터 문서가 특정 기술 요지에 관련되는지 여부에 따라 선택할 수 있다. 다른 예로서, 데이터 문서의 세트(104)는 시스템(100)이 사용될 의미 유니버스(universe)를 나타낸다. 일 실시형태에서, 사용자는 시스템(100)의 인간 사용자이다. 다른 실시형태에서, 머신(100)은 데이터 문서의 세트(104) 내의 데이터 문서를 선택하기 위한 기능성을 실행한다.

시스템(100)은 참조 맵 생성기(106)를 포함한다. 일 실시형태에서, 참조 맵 생성기(106)는 자기-조직(self-organizing) 맵이다. 다른 실시형태에서, 참조 맵 생성기(106)는 발생형 토포그래피(generative topographic) 맵이다. 또 다른 실시형태에서, 참조 맵 생성기(106)는 탄력적인 맵(elastic map)이다. 다른 실시형태에서, 참조 맵 생성기(106)는 신경 가스 타입 맵이다. 또 다른 실시형태에서, 참조 맵 생성기(106)는 임의의 타입의 경쟁형, 학습-기초, 비감독형(unsupervised), 차원감소형(dimensionality-reducing), 머신-러닝 방법이다. 다른 실시형태에서, 참조 맵 생성기(106)는 데이터 문서의 세트(104)를 수신하고, 데이터 문서의 세트(104)로 나온 문서를 나타내는 포인트들이 클러스터링되는 이차원의 메트릭 공간을 생성할 수 있다. 또 다른 실시형태에서, 참조 맵 생성기(106)는 데이터 문서의 세트(104)에 액세스하여 모든 클러스터링된 포인트가 데이터 문서의 세트(104)로부터 나온 데이터 문서를 나타내는 이차원의 메트릭 공간을 생성하는 임의의 컴퓨터 프로그램이다. 비록 통상적으로 본 명세서에서는 이차원의 메트릭 공간을 파퓰레이션(populating)하는 것으로서 설명되지만, 몇 가지 실시형태들에서, 참조 맵 생성기(106)는 n-차원의 메트릭 공간을 파퓰레이션한다. 몇 가지 실시형태들에서, 참조 맵 생성기(106)는 소프트웨어로 구현된다. 다른 실시형태들에서, 참조 맵 생성기(106)는 하드웨어로 구현된다.

이차원의 메트릭 공간은 의미 맵(108)이라고 불릴 수 있다. 의미 맵(108)은 연관된 거리 측정을 가지는 임의의 벡터 공간일 수 있다.

일 실시형태에서, 파서 및 전처리 모듈(110)은 데이터 아이템의 나열(112)을 생성한다. 다른 실시형태에서, 파서 및 전처리 모듈(110)은 표현 생성기(114)의 일부를 이룬다. 몇 가지 실시형태들에서, 파서 및 전처리 모듈(110)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 파서 및 전처리 모듈(110)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 또 다른 실시형태에서, 파서 및 전처리 모듈(110)은 머신(102)에서 실행된다. 몇 가지 실시형태들에서, 파서 및 전처리 모듈(110)은 데이터의 특정 타입에 대해 전문화될 수 있다. 다른 실시형태들에서, 복수 개의 파서 및 전처리 모듈(110)이 데이터의 특정 타입에 대해 제공될 수 있다.

일 실시형태에서, 표현 생성기(114)는 데이터 아이템의 분포된 표현을 생성한다. 몇 가지 실시형태들에서, 표현 생성기(114)는 구현된 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 표현 생성기(114)는 적어도 부분적으로 하드웨어 모듈로서 구현된다. 또 다른 실시형태에서, 표현 생성기(114)는 머신(102)에서 실행된다.

일 실시형태에서, 희소화 모듈(116)은 데이터 아이템의 성긴 분포된 표현(SDR)을 생성한다. 당업자가 이해할 수 있는 바와 같이, SDR은 큰 수치 (이진) 벡터일 수 있다. 예를 들어, SDR은 수 천 개의 요소를 가질 수 있다. 몇 가지 실시형태들에서, 희소화 모듈(116)에 의해 생성된 SDR 내의 각각의 요소는 특정한 의미론적 의미를 가진다. 이러한 실시형태들 중 하나에서, 연관된 거리 메트릭에 의해 측정되면, 유사한 의미론적 의미를 가지는 벡터 요소들은 의미론적으로 유사하지 않은 벡터 요소보다 더 가깝다.

일 실시형태에서, 표현 생성기(114)는 희소화 모듈(116)의 기능성을 제공한다. 다른 실시형태에서, 표현 생성기(114)는 별개의 희소화 모듈(116)과 통신한다. 몇 가지 실시형태들에서, 희소화 모듈(116)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 희소화 모듈(116) 적어도 부분적으로 하드웨어 모듈로서 구현된다. 또 다른 실시형태에서, 희소화 모듈(116) 머신(102)에서 실행된다.

일 실시형태에서, 성긴 분포된 표현(SDR) 데이터베이스(120)는 표현 생성기(114)에 의해 생성된 성긴 분포된 표현(118)을 저장한다. 다른 실시형태에서, 성긴 분포된 표현 데이터베이스(120)는 SDR과 해당 SDR이 표현하는 데이터 아이템을 저장한다. 또 다른 실시형태에서, SDR 데이터베이스(120)는 SDR과 연관된 메타데이터를 저장한다. 다른 실시형태에서, SDR 데이터베이스(120)는 SDR(118)을 식별하기 위한 인덱스를 포함한다. 또 다른 실시형태에서, SDR 데이터베이스(120)는 특정 SDR(118)에 의미론적으로 가까운 데이터 아이템을 식별하기 위한 인덱스를 가진다. 일 실시형태에서, SDR 데이터베이스(120)는 비한정적인 예로서: 어떤 데이터 아이템에 대한 참조 번호, 데이터 아이템 자체, 데이터 문서의 세트(104) 내의 데이터 아이템에 대한 데이터 아이템 빈도의 식별, 데이터 아이템의 단순화된 버전, 해당 데이터 아이템에 대한 SDR(118)의 압축된 이진 표현, 해당 데이터 아이템에 대한 하나 또는 여러 태그, 해당 데이터 아이템이 위치(예를 들어, "비엔나")를 식별하는지 여부의 표시, 및 해당 데이터 아이템이 사람(예를 들어, "아인슈타인")을 식별하는지 여부의 표현 중 임의의 하나 이상을 저장할 수 있다. 다른 실시형태에서, 성긴 분포된 표현 데이터베이스(120)는 임의의 타입 또는 형태의 데이터베이스일 수 있다.

SDR 데이터베이스(120)의 예는 비한정적으로, 구조화된 스토리지(예를 들어, NoSQL-타입 데이터베이스 및 BigTable 데이터베이스), 포레스트 힐(Forest Hill, MD)에 의해 배포된 아파치(Apache) 소프트웨어 파운데이션, 뉴욕의 10Gen, 아이앤씨에 의해 배포된 MongoDB 데이터베이스, 아파치 소프트웨어 파운데이션에 의해 배포된 카산드라(Cassandra) 데이터베이스, 및 문서-기초 데이터베이스를 포함한다. 다른 실시형태들에서, SDR 데이터베이스(120)는 ODBC-에 따르는 데이터베이스이다. 예를 들어, SDR 데이터베이스(120)는 레드우드 시티(Redwood City, CA)의 오라클 코포레이션(Oracle Corporation)에 의해 제작된 오라클(ORACLE) 데이터베이스로서 제공될 수 있다. 다른 실시형태들에서, SDR 데이터베이스(120)는 레드몬드(Redmond, WA)의 마이크로소프트 코포레이션(Microsoft Corporation)에 의해 제작된 마이크로소프트 액세스(ACCESS) 데이터베이스 또는 마이크로소프트 SQL 서버 데이터베이스일 수 있다. 또 다른 실시형태에서, SDR 데이터베이스(120)는 오라클 코포레이션에 의해 배포된 자유롭게 이용가능한 데이터베이스 제품의 MYSQL 패밀리와 같은 오픈 소스 데이터베이스에 기초한 맞춤-설계된 데이터베이스일 수 있다.

이제 도 2를 참조하면, 흐름도는 데이터 아이템을 성긴 분포된 표현으로 매핑하기 위한 방법(200)의 일 실시형태를 나타낸다. 간략한 개관에서, 방법(200)은 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(202)를 포함한다. 방법(200)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(204)를 포함한다. 방법(200)은 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(206)를 포함한다. 방법(200)은 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(208)를 포함한다. 방법(200)은 표현 생성기에 의하여 발생 정보를 사용하여 분포된 표현을 생성하는 단계(210)를 포함한다. 방법(200)은 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계(212)를 포함한다. 방법(200)은 희소화 모듈에 의하여, 규범 필그레이드를 가지는 성긴 분포된 표현을 생성하도록, 희소성의 최대 레벨에 기초하여 상기 분포된 표현 내의 세트 비트의 총 개수를 감소시키는 단계(214)를 포함한다.

이제 도 2를 더 자세하게 참조하고 도 1a 및 도 1b와 연계하면, 방법(200)은 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(202)를 포함한다. 일 실시형태에서, 적어도 하나의 기준은 데이터 문서의 세트(104) 내의 데이터 아이템이 임계 횟수만큼 나타난다는 것을 표시한다. 다른 실시형태에서, 적어도 하나의 기준은, 데이터 문서의 세트(104) 내의 각각의 데이터 문서가 이것이 유래된 시스템의 상태에 대한 기술적 정보(descriptive information)를 포함해야 한다는 것을 표시한다. 데이터 문서의 경우, 적어도 하나의 기준은 각각의 데이터 문서가 개념적인 주제(예를 들어, 백과사전적인 설명)를 나타내야 한다는 것을 표시한다. 다른 실시형태에서, 적어도 하나의 기준은, 데이터 문서의 세트(104)의 특성의 목록이 원하는 정보 공간을 균일하게 채워 넣어야 한다는 것을 표시한다. 다른 실시형태에서, 적어도 하나의 기준은 데이터 문서의 세트(104)가 동일한 시스템으로부터 나온다는 것을 표시한다. 데이터 문서의 경우, 적어도 하나의 기준은 데이터 문서가 모든 동일한 언어라는 것을 표시한다. 또 다른 실시형태에서, 적어도 하나의 기준은 데이터 문서의 세트(104)가 자연어(예를 들어, 인간의 언어)라는 것을 표시한다. 또 다른 실시형태에서, 적어도 하나의 기준은 데이터 문서의 세트(104)가 컴퓨터 언어(예를 들어, 임의의 타입의 컴퓨터 코드)라는 것을 표시한다. 다른 실시형태에서, 적어도 하나의 기준은 데이터 문서의 세트(104)가 임의의 타입 또는 형태의 전문용어 또는 다른 학술 용어(institutional rhetoric)(예를 들어, 약학, 법학, 과학, 자동차학, 군사학 등)를 포함할 수 있다는 것을 표시한다. 다른 실시형태에서, 적어도 하나의 기준은 데이터 문서의 세트(104)가 해당 세트 내에 문서의 임계 개수를 가져야 한다는 것을 표시한다. 몇 가지 실시형태들에서, 인간 사용자는 데이터 문서의 세트(104)를 선택하고, 머신(102)은 인간 사용자로부터 선택된 데이터 문서의 세트(104)를 수신한다(예를 들어, 사용자 인터페이스를 통해 저장소, 디렉토리, 문서 데이터베이스, 또는 하나 이상의 데이터 문서(미도시)를 저장하는 다른 데이터 구조로).

일 실시형태에서, 머신(102)은 데이터 문서의 세트(104)를 전처리한다. 몇 가지 실시형태들에서, 파서 및 전처리 모듈(110)은 머신(102)에 대한 전처리 기능성을 제공한다. 다른 실시형태에서, 머신(102)은 데이터 문서의 세트(104)의 각각을 단어와 문장으로 세분화하고, 구두점을 표준화하며, 원치 않는 문자를 제거하거나 변환한다. 또 다른 실시형태에서, 머신(102)은 태깅 모듈(미도시)을 실행하여 하나 이상의 메타-정보 태그를 임의의 데이터 아이템 또는 데이터 문서의 세트(104) 내의 데이터 아이템의 일부로 연관시킨다. 다른 실시형태에서, 머신(102)은 기본적인 개념 유닛의 텍스트 크기를 정규화하여, 데이터 문서의 세트(104)의 각각을 동일 크기의 텍스트 토막(스닙펫(snippet))으로 슬라이싱한다. 이러한 실시형태에서, 머신(102)은 데이터 문서의 세트(104)를 스닙펫으로 슬라이싱할 때에 하나 이상의 제약을 적용할 수 있다. 비한정적인 예로서, 이러한 제약은 데이터 문서의 세트(104) 내의 문서가 완전한 문장만을 포함해야 한다는 것, 고정된 개수의 문장을 포함해야 한다는 것, 제한된 데이터 아이템 카운트를 가져야 한다는 것, 문서 당 최소 개수의 개별 명사(distinct noun)를 가져야 한다는 것, 그리고 슬라이싱 프로세스가 문서 저자가 작성한 자연어 문단을 고려해야 한다는 것을 표시할 수 있다. 일 실시형태에서, 제약들을 적용하는 것은 선택적으로 이루어진다.

몇 가지 실시형태들에서, 더 많은 유용한 문서 벡터를 생성하기 위하여, 시스템(100)은 의미론적 관점에서, 데이터 문서의 세트(104) 내의 각각의 문서로부터 가장 많이 관련된 데이터 아이템을 식별하는 기능성을 제공한다. 이러한 실시형태들 중 하나에서, 파서 및 전처리 모듈(110)이 이러한 기능성을 제공한다. 다른 실시형태에서, 참조 맵 생성기(106)는 하나 이상의 문서 벡터를 수신하고 수신된 하나 이상의 문서 벡터를 사용하여 의미 맵(108)을 생성한다. 예를 들어, 시스템(100)은 명사를 식별하고 선택하도록 구성될 수 있다(예를 들어, 전처리 중에 문서 내의 각각의 데이터 아이템으로 지정된 일부-발화(part-of-speech) 태그를 식별함). 다른 예로서, 선택된 명사는 모든 하나의 메인 데이터 아이템 실례에 따른 형태 변화(예를 들어, 복수형과 대소문자 변경)를 수집하도록 분기될 수도 있다. 다른 예로서, 용어-빈도-반전(term-frequency-inverse) 문서 빈도("tf-idf 인덱싱된(indexed)") 통계가 선택된 명사에 대하여 계산되어, 데이터 문서의 특정 세트(104)가 주어질 경우 데이터 아이템이 데이터 문서에 대해 얼마나 중요한지를 반영한다; 계수는 해당 문서 내의 데이터 아이템 카운트와 해당 데이터 문서의 세트(104) 내의 데이터 아이템 카운트에 기초해서 계산될 수 있다. 몇 가지 실시형태들에서, 시스템(100)은 문서 당 가장 높게 tf-idf 인덱싱되고 분기된 명사들의 미리 결정된 개수를 식별하여, 선택된 명사의 집합 완료 목록을 생성하고, 의미 맵(106)을 훈련하는 데에 사용된 문서 벡터(예를 들어, 당업자가 이해할 수 있는 바와 같이, 특정 데이터 아이템이 문서에서 발생하는지 여부를 표시하는 벡터)를 규정한다. 다른 실시형태들에서, 데이터 문서의 세트(104)를 전처리하고 벡터화하는 기능성은 데이터 문서의 세트(104) 내의 각각의 문서에 대한 벡터를 생성한다. 이러한 실시형태들 중 하나에서, 선택된 명사의 목록에 있는 데이터 아이템 마다의 식별자 및 정수가 각각의 문서를 나타낸다.

일 실시형태에서, 머신(102)은 전처리된 문서를 풀-텍스트 검색 시스템(122)으로 제공한다. 예를 들어, 파서 및 전처리 모듈(110)이 이러한 기능성을 제공할 수 있다. 다른 실시형태에서, 풀-텍스트 검색 시스템(122)을 이용하면 문서를 대화형으로 선택할 수 있게 된다. 예를 들어, 풀-텍스트 검색 시스템(122)은 예를 들어, 글자가 정확히 매칭되는 것을 사용하여, 특정한 데이터 아이템을 포함하는 모든 문서, 또는 원본 문서의 스닙펫을 취출하는 것을 허용하는 기능성을 제공할 수 있다. 또 다른 실시형태에서, 전처리된 문서(또는 전처리된 문서의 스닙펫) 각각은: 문서 식별자, 스닙펫 식별자, 문서 타이틀, 문서의 텍스트, 문서 내의 데이터 아이템의 카운트, 문서의 바이트 단위의 길이, 및 분류 식별자 중 적어도 하나와 연관된다. 다른 실시형태에서, 그리고 아래에서 더욱 상세히 논의되는 바와 같이, 의미 맵 좌표쌍이 문서에 지정된다; 이러한 좌표쌍은 풀-텍스트 검색 시스템(122) 내의 전처리된 문서와 연관될 수 있다. 이러한 실시형태에서, 풀-텍스트 검색 시스템(122)은 단일 또는 복합 데이터 아이템을 수신하고, 수신된 데이터 아이템을 보유하는 모든 매칭 문서의 좌표쌍을 반환하는 기능성을 제공할 수 있다. 풀-텍스트 검색 시스템(122)은 비한정적으로, 루세네 기초 시스템(Lucene-based Systems)(예를 들어, 포레스트 힐스(Forest Hills, MD)에 있는 Apache Software Foundation에 의해 배포된 Apache SOLR 및 네덜란드 암스테르담(Amsterdam, Netherlands)에 있는 Elasticsearch Global BV)에 의해 배포된 ELASTICSEARCH), 오픈 소스 시스템(샌프란시스코(San Francisco, CA)의 Slashdot Media, 뉴욕(New York, NY)의 Dice Holdings, 아이앤씨 컴퍼니에 의해 소유되고 운용되는 소스포지 레무르 프로젝트(SourceForge Lemur Project)를 통한 레무르 프로젝트(Lemur Project)에 의해 배포되는 Indri; Lavtech. Com Corp에 의해 배포된 MNOGOSEARECH; 스핑크스 테크톨로지 아이앤씨(Sphinx Technology 아이앤씨)에 의해 배포된 스핑크스(Sphinx); 샤피안 프로젝트(Xapian Project)에 의해 배포된 샤피안(Xapian); Swish-e.org에 의해 배포된 Swish-e; 독일 콘스탄츠(Konstanz, Germany)의 BaseX GmbH에 의해 배포된 BaseX; www.dataparksearch.org에 의해 배포된 데이터파크서치(DataparkSearch) 엔진; 소스포지(SourceForge)에 의해 배포되고 슬래시닷 미디어에 의해 소유되고 운용되는 ApexKB; 노르웨이 오슬로(Oslo, Norway)에 있는 Searchdaimon AS에 의해 배포된 Searchdaimon; 및 호주 멜버른(Melbourne, Australia)에 있는 RMIT 대학에 의해 배포된 Zettair), 및 상업적 시스템들(써니베일(Sunnyvale, CA)에 있는 휴렛패커드(Hewlett-Packard)에 의해 제조된 Autonomy IDOL; 이탈리아 모데나(Modena, Italy)에 있는 Expert System S.p.A.에 의해 제조된 COGITO 제품 라인; 레드몬드에 있는 마이크로소프트, 아이앤씨에 의해 제조된 Fast Search & Transfer; 뉴턴(Newton, MA)에 있는 Attivio, 아이앤씨에 의해 제조된 ATTIVIO; 워터루(Waterloo, Ontario, Canada)에 있는 OpenText Corporation에 의해 제작된 BRS/Search; 렉스마크(Lexmark, Shawnee, KS)에 있는 Perceptive Software에 의해 제조된 Perceptive Intelligent Capture(브레인웨어(Brainware) 협조); 맥린(McLean, VA)에 있는 Concept Searching 아이앤씨에 의해 제조된 임의의 제품; 산 마테오(San Mateo, CA)에 있는 Coveo Solutions, 아이앤씨에 의해 제조된 COVEO; 시카고(Chicago, IL)에 있는 Dieselpoint, 아이앤씨에 의해 제조된 Dieselpoint SEARCH; 베테스다(Bethesda, MD)에 있는 dtSearch 컴퍼니에 의해 제조된 DTSEARCH; 레드우드 쇼어스(Redwood Shores, CA)에 있는 오라클 코포레이션에 의해 제조된 Oracle Endeca Information Discovery; 프랑스 파리(Paris, France)에 있는 Dassault Systemes의 자회사(subsidiary)인 Exalead에 의해 제조된 제품; 야후!(Yahoo!)에 의해 제공되는 잉크토미(Inktomi) 검색 엔진; 샤니(Shawnee, KS)에 있는 렉스마크로부터의 Perceptive Software에 의한 ISYS Search(현재 Perceptive Enterprise Search); 영국 런던(London, England, UK)에 있는 ATTRAQT, LTD에 의해 제조된 로카이타(Locayta)(현재 ATTRAQT FREESTYLE MERCHANDISING); 레드우드(Redwood City, CA)에 있는 LucidWorks에 의해 제조된 루시드 이메지네이션Lucid Imagination(현재 LUCIDWORKS); 산 카를로스(San Carlos, CA)에 있는 MarkLogic Corporation에 의해 제조된 MARKLOGIC; 오스트리아 린츠(Linz, Austria)에 있는 Mindbreeze GmbH에 의해된 Mindbreeze 제품군; 산호세(San Jose, CA)의 어도비(Adobe) 시스템, 아이앤씨에 의해 제조되는 옴니쳐(Omniture)(현재 Adobe SiteCatalyst); 워터루(Waterloo, Ontario, Canada)에 있는 OpenText Corporation에 의해 제조된 OpenText 제품군; 파리(Paris, France)에 있는 PolySpot S. A.에 의해 제조된 PolySpot 제품군; 클리브렌드(Cleveland, OH)에 있는 Thunderstone Software LLC에 의해 제조된 Thunderstone 제품군; 및 아몬크(Armonk, NY)에 있는 IBM Corporation에 의해 제조된 Vivisimo(현재 IBM Watson Explorer))을 포함한다. 풀-텍스트 검색 시스템은 본 명세서에서 기업 검색 시스템이라고도 불릴 수 있다.

일 실시형태에서, 참조 맵 생성기(106)는 데이터 문서의 세트(104)의 문서 벡터에 액세스하여 이차원 메트릭 공간에 걸쳐 문서의 각각을 분포시킨다. 다른 실시형태에서, 참조 맵 생성기(106)는 데이터 문서의 전처리된 세트(104)에 액세스하여 이차원 메트릭 공간에 걸쳐서 문서의 각각을 나타내는 포인트를 분포시킨다. 또 다른 실시형태에서, 분포된 포인트들은 클러스터링된다. 예를 들어, 참조 맵 생성기(106)는 문서를 나타내는 포인트의 위치를 문서의 의미 콘텐츠에 기초하여 계산할 수 있다. 결과적으로 얻어지는 분포가 데이터 문서의 특정한 세트(104)의 의미 유니버스를 나타낸다.

일 실시형태에서, 참조 맵 생성기(106)는 데이터 문서의 전처리된 세트(104)의 문서 벡터를 사용하여 학습된다. 다른 실시형태에서, 참조 맵 생성기(106)는 데이터 문서의 세트(104)(전처리 없음)의 문서 벡터를 사용하여 학습된다. 시스템(100)의 사용자는 참조 맵 생성기(106)에 데이터 문서의 세트(104)를 학습시키기 위하여 당업자가 이해하는 훈련 프로세스를 사용할 수 있다.

일 실시형태에서, 훈련 프로세스는 다음 두 가지 결과를 가져온다. 첫째로, 데이터 문서의 세트(104) 내의 각각의 문서에 대하여, 의미 맵(108) 상에 문서를 위치설정하는 좌표쌍이 식별된다; 이러한 좌표는 풀-텍스트 검색 시스템(122) 내에서 각각의 문서 엔트리에 저장될 수 있다. 둘째로, 참조 맵 생성기(106)가 임의의 새로운(발견되지 않은) 문서 벡터를 의미 맵(108) 상에 위치설정하게 하는 가중치의 맵이 생성된다; 참조 맵 생성기(106)의 훈련 이후에, 문서 분포는 정적으로 유지될 수 있다. 그러나, 초기 훈련 세트가 충분히 크고 설명이 충분하다면, 새로운 훈련 문서를 추가하면 어휘를 확장할 수 있다. 시간이 많이 소모되는 의미 맵의 재계산을 피하기 위해서, 새로운 문서는 그들의 문서 벡터를 훈련된 가중치로 변환함으로써 맵 상에 위치설정될 수 있다. 의도된 의미 맵(108)은 의미 맵(108)에 걸쳐 문서를 나타내는 포인트들의 분포를 분석함으로써 정제되고 개선될 수 있다. 이들이 과소표현되거나 과대표현된 주제들이 존재하는 경우, 데이터 문서의 세트(104)는 이에 상응하여 적응될 수 있고, 그러면 의미 맵(108)이 재계산될 수 있다.

그러므로, 방법(200)은 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하고, 의미 맵을 생성하는 단계를 포함한다. 위에서 논의된 바와 같이 그리고 당업자들이 이해할 수 있는 바와 같이, 다양한 기법들이 데이터 문서를 클러스터링하기 위해서 적용될 수 있다; 비한정적인 예로서, 구현예들은 발생형 토포그래피 맵, 성장형(growing) 자기-조직 맵, 탄력적인 맵, 신경 가스, 랜덤 매핑, 잠재적 의미 인덱싱, 주된 컴포넌트 분석 또는 임의의 다른 차원수(dimensionality) 감소-기초 매핑 방법을 활용할 수 있다.

이제 도 1b를 참조하면, 블록도는 데이터 아이템을 성긴 분포된 표현으로 매핑하는 데에 사용되기 위한 의미 맵(108)을 생성하기 위한 시스템의 일 실시형태를 나타낸다. 도 1b에서 묘사되는 바와 같이, 머신(102)에 의해 수신된 데이터 문서의 세트(104)는 언어 정의 말뭉치(language definition corpus)라고 지칭될 수 있다. 데이터 문서의 세트의 전처리 시에, 문서들은 참조 맵 생성기 훈련 말뭉치라고 불릴 수 있다. 문서들은 신경 네트워크 훈련 말뭉치라고도 불릴 수 있다. 참조 맵 생성기(106)는 참조 맵 생성기 훈련 말뭉치에 액세스하여 데이터 문서의 세트가 위치설정되는 의미 맵(108)을 출력으로서 생성한다. 의미 맵(108)은 각각의 문서의 좌표를 추출할 수 있다. 의미 맵(108)은 이러한 좌표를 풀-텍스트 검색 시스템(122)으로 제공할 수 있다. 비한정적인 예로서, 말뭉치들은 자신의 콘텐츠 및 구조의 협력을 통한 변경, 확장, 또는 삭제를 허용하는, 애플리케이션(예를 들어, 콘텐츠 생성 및 관리를 위한 웹 애플리케이션)에 기초하는 것들을 포함할 수 있다; 이러한 애플리케이션은 "위키(wiki)"라고 불릴 수 있으며, 샌프란시스코(San Francisco, CA)에 있는 Wikimedia Foundation에 의해 지원되고 호스팅되는 "위키피디아(Wikipedia)" 백과사전 프로젝트가 이러한 애플리케이션 중 하나이다. 말뭉치들은 임의의 종류 또는 타입의 지식 베이스도 포함할 수 있다.

당업자가 이해할 수 있는 바와 같이, 임의의 타입 또는 형태의 알고리즘이, 예를 들어 유사한 벡터들이 저차원의 공간에서 서로 가깝게 위치되도록 입력 벡터들을 클러스터링하여 토폴로지에 따라 클러스터링된 저차원의 맵을 얻음으로써, 고차원의 벡터를 저차원의 공간(예를 들어, 의미 맵(108)으로 매핑하기 위하여 사용될 수 있다. 몇 가지 실시형태들에서, 이차 의미 맵의 크기가 데이터 아이템의 성긴 분포된 표현(SDR)의 패턴이 더욱 상세히 후술되는 바와 같이 계산되는 "의미 분해능(semantic resolution)"을 규정한다. 예를 들어, 128의 측면 길이는 데이터 아이템-SDR 당 16K 피쳐의 기술(descriptiveness)에 대응한다. 이론상, 맵의 크기는 참조 맵 생성기 크기가 클수록 학습하는데 시간이 오래 걸리고 SDR이 클수록 임의의 수단에 의해 비교되거나 처리되려면 시간이 오래 걸리기 때문에, 계산과 관련된 제한이 있다는 것을 고려하여 자유롭게 선택될 수 있다. 다른 예로서, 데이터 아이템 SDR 크기가 128x128 이면 데이터 문서의 "범용 영어(general English language)" 세트(104)에 적용될 때 유용하다는 것이 밝혀졌다.

다시 도 2를 참조하면, 방법(200)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(204)를 포함한다. 위에서 논의된 바와 같이, 의미 맵(108)을 파퓰레이션할 때, 참조 맵 생성기(106)는 의미 맵(108) 상의 포인트의 위치를 계산하는데, 이러한 포인트는 데이터 문서의 세트(104) 내의 문서를 나타낸다. 그러면 의미 맵(108)은 포인트의 좌표를 추출할 수 있다. 몇 가지 실시형태들에서, 의미 맵(108)은 추출된 좌표를 풀-텍스트 검색 시스템(122)으로 송신한다.

이제 도 1c를 참조하면, 블록도는 데이터 문서의 세트(104) 내의 복수 개의 데이터 아이템 각각에 대한 성긴 분포된 표현을 생성하기 위한 시스템의 일 실시형태를 나타낸다. 도 1c에 도시된 바와 같이, 표현 생성기(114)는 풀-텍스트 검색 시스템(122)으로 질의를 송신하고 이러한 질의와 매칭하는 하나 이상의 데이터 아이템을 수신할 수 있다. 표현 생성기(114)는 풀-텍스트 검색 시스템(122)으로부터 취출된 데이터 아이템의 성긴 분포된 표현을 생성할 수 있다. 몇 가지 실시형태들에서, SDR을 생성하기 위해 의미 맵(108)으로부터 나온 데이터를 사용하는 것은, 의미 정보를 생성된 성긴 분포된 표현(예를 들어, 성기게 파퓰레이션된 벡터)으로 "폴딩하는 것(folding)"을 수반한다고 간주될 수 있다.

다시 도 2를 참조하면, 방법(200)은 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(206)를 포함한다. 일 실시형태에서, 파서 및 전처리 모듈(110)은 데이터 아이템의 나열(112)을 생성한다. 다른 실시형태에서, 파서 및 전처리 모듈(110)은 데이터 문서의 세트(104)에 직접적으로 액세스하여 데이터 아이템의 나열(112)을 생성한다. 또 다른 실시형태에서, 파서 및 전처리 모듈(110)은 데이터 문서의 세트(104)의 전처리된 버전을 저장하는(전술된 바와 같음) 풀-텍스트 검색 시스템(122)에 액세스한다. 다른 실시형태에서, 파서 및 전처리 모듈(110)은 명백하게 포함된 데이터 문서의 세트(104) 내의 데이터 아이템뿐만 아니라 공통의 유용한 데이터 아이템 조합도 포함하도록 연장 데이터 아이템의 나열(112)을 확장시킨다; 예를 들어, 파서 및 전처리 모듈(110)은 공용으로 이용가능한 콜렉션으로부터 취출된 데이터 아이템의 빈번한 조합(예컨대 "나쁜 날씨" 또는 "전자 상거래")에 액세스할 수 있다.

일 실시형태에서, 파서 및 전처리 모듈(110)은, 예를 들어 공백 또는 구두점을 사용하여 나열(112) 내의 데이터 아이템을 한정한다. 다른 실시형태에서, 발화 태그의 상이한 부분에 대해 나열(112)에서 여러 번 나타나는 데이터 아이템은 별개의 것으로 다뤄진다(예를 들어, 데이터 아이템 "피쉬(fish)"는 이것이 동사로 사용되는 것이 아니라 명사로 사용된다면 상이한 SDR을 가지게 될 것이고, 따라서 두 엔트리들이 포함된다). 다른 실시형태에서, 파서 및 전처리 모듈(110)은 데이터 아이템의 나열(112)을 SDR 데이터베이스(120)로 제공한다. 또 다른 실시형태에서, 표현 생성기(114)는 데이터 아이템(112)의 저장된 나열에 액세스하여 나열(112) 내의 각각의 데이터 아이템에 대한 SDR을 생성할 것이다.

방법(200)은 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(208)를 포함한다. 일 실시형태에서, 표현 생성기(114)는 풀-텍스트 검색 시스템(122)에 액세스하여 의미 맵(108) 및 파서 및 전처리 모듈(110)에 의하여 풀-텍스트 검색 시스템(122) 내에 저장된 데이터를 액세스하고, 파서 및 전처리 모듈(110)에 의해 나열된 데이터 아이템에 대한 성긴 분포된 표현을 의미 맵(108)으로부터의 데이터를 사용하여 생성한다.

일 실시형태에서, 표현 생성기(114)는 풀-텍스트 검색 시스템(122)에 액세스하여 특정 스트링(예를 들어, 워드 또는 숫자 또는 워드 및 숫자의 조합)을 포함하는 각각의 문서에 대한 좌표쌍을 추출한다. 표현 생성기(114)는 취출된 좌표쌍의 개수를 카운트하여 데이터 아이템이 발생되는 문서의 개수를 결정할 수 있다. 다른 실시형태에서, 표현 생성기(114)는 풀-텍스트 검색 시스템(122)으로부터, 해당 스트링을 포함하는 각각의 문서를 나타내는 벡터를 취출한다. 이러한 실시형태에서, 표현 생성기(114)는 벡터 내의 세트 비트의 개수(예를 들어, 1로 세팅된 벡터 내의 비트들의 개수)를 결정하는데, 이것은 데이터 아이템이 특정 문서에서 몇 번 발생했는지를 나타낸다. 표현 생성기(114)는 세트 비트의 개수를 가산하여 발생 값을 결정할 수 있다.

방법(200)은 표현 생성기에 의하여 발생 정보를 사용하여 분포된 표현을 생성하는 단계(210)를 포함한다. 표현 생성기(114)는 분포된 표현을 생성하기 위해 주지된 프로세스를 사용할 수 있다. 몇 가지 실시형태들에서, 분포된 표현은 데이터 문서의 세트(104) 내의 데이터 아이템이 발생하는 의미 콘텍스트를 나타내는 패턴을 결정하기 위하여 사용될 수 있다; 패턴 내의 좌표쌍의 공간적 분포는 데이터 아이템이 발생된 콘텍스트에서 의미 구역을 반영한다. 표현 생성기(114)는 데이터 아이템과 자신의 분포된 표현 사이의 양-방향 매핑을 생성할 수 있다. SDR 데이터베이스(120)는 시스템(100)이 분포된 표현에 기초하여 데이터 아이템을 식별할 때 사용하거나 그 반대의 경우도 마찬가지인 패턴 사전이라고 불릴 수 있다. 데이터 문서의 상이한 또는 변동하는 물리적 시스템에서 나온, 또는 상이한 의학적 분석 방법에 의한, 또는 변동하는 음악 스타일에 의한 세트(104)를 사용함으로써(예를 들어, 상이한 기술 요지, 상이한 언어, 변동하는 제약에 기초한 문서들을 선택함), 시스템(100)은 상이한 패턴 사전을 생성할 것이라는 것을 당업자는 이해할 것이다.

방법(200)은 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계(212)를 포함한다. 일 실시형태에서, 인간 사용자는 희소성의 최대 레벨의 식별을 제공한다. 다른 실시형태에서, 희소성의 최대 레벨은 미리 규정된 임계로 설정된다. 몇 가지 실시형태들에서, 희소성의 최대 레벨은 의미 맵(108)의 분해능에 따라 달라진다. 다른 실시형태들에서, 희소성의 최대 레벨은 참조 맵 생성기(106)의 타입에 따라 달라진다.

방법(200)은 희소화 모듈에 의하여, 규범 필그레이드를 가지는 성긴 분포된 표현을 생성하도록, 희소성의 최대 레벨에 기초하여 상기 분포된 표현 내의 세트 비트의 총 개수를 감소시키는 단계(214)를 포함한다. 일 실시형태에서, 희소화 모듈(116)은 최종 SDR(118)의 특정 필그레이드(fillgrade)를 얻게 하는 카운트 임계를 설정함으로써(예를 들어, 수신된 희소성의 최대 레벨을 사용하여) 분포된 표현을 희소화한다(sparsify). 그러므로 희소화 모듈(116)은 SDR(118)을 생성하고, 이것은 데이터 문서의 세트(104) 내의 데이터 아이템의 의미론적 의미 또는 의미 값의 이진 지문을 제공하는 것으로 간주될 수 있다; SDR(118)은 의미 지문이라고도 불릴 수 있다. 희소화 모듈(116)은 SDR(118)을 SDR 데이터베이스(120) 내에 저장한다.

SDR을 생성할 때, 시스템(100)은 1과 0의 값을 가지는 벡터를 파퓰레이션하는데- 예를 들어 1은 데이터 문서가 데이터 아이템을 이용하는 경우이고, 0은 그렇지 않은 경우이다. 비록 사용자가 데이터 아이템의 의미론적 의미를 반영하는 맵 상의 포인트를 나타내는 SDR의 그래픽 표현(그래픽 표현은 SDR, 의미 지문(semantic fingerprint), 또는 패턴 중 하나라고 불림)을 수신할 수 있고, 본 명세서에서 이러한 설명은 포인트 및 패턴도 언급할 수 있지만, "포인트" 또는 "패턴"이라고 하면, 설정된 SDR 벡터 내의 세트 비트 - 임의의 이러한 그래픽 표현에 내재하는 데이터 구조를 선택적으로 가리킬 수 있다는 것을 당업자는 이해할 것이다.

몇 가지 실시형태들에서, 표현 생성기(114) 및 희소화 모듈(116)은 복수 개의 데이터 아이템을 단일 SDR로 결합할 수 있다. 예를 들어, 어구, 문장, 문단, 또는 데이터 아이템의 다른 조합이 개개의 SDR의 "연합 특징(union property)" 을 반영하는 단일 SDR로 변환될 필요가 있으면, 시스템(100)은 각각의 개개의 데이터 아이템을 그것의 SDR로 변환하고(단일 SDR 생성하거나 이전에 생성된 SDR을 취출함으로써), 이진 OR 동작을 사용하여 개개의 SDR로부터 단일 복합 SDR을 형성할 수 있다. 계속 이러한 예를 살펴보면, 세트 비트의 개수는 복합 SDR 내의 모든 위치에 대해 가산된다. 일 실시형태에서, 희소화 모듈(116)은 임계를 사용하여 세트 비트의 총 개수를 비례적으로 감소시켜 결과적으로 규범 필그레이드(normative fillgrade)를 얻을 수 있다. 다른 실시형태에서, 희소화 모듈(116)은 가중치 기법을 적용하여 세트 비트의 총 개수를 감소시킬 수 있고, 이것은 SDR 내의 위치 당 세트 비트의 개수를 단지 카운팅하는 것 대신에 특정 세트 비트를 둘러싸는 비트들의 개수를 평가하는 것을 포함할 수 있다. 이러한 국부 가중치 기법(locality weighting scheme)은 SDR 내의 클러스터의 일부인 비트들을 선호할 수 있고, 따라서 단일한 고립된 비트(예를 들어, 둘러싸는 세트 비트가 없는 것) 보다 의미론적으로 더 중요하다.

몇 가지 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템의 구현형태는, 단지 콘텍스트에 의하여 데이터 문서의 세트를 클러스터링하는 맵을 생성하는 것이 아니라, 클러스터링된 데이터 문서를 나타내는 맵 상의 위치를 계속하여 분석하고, 어떤 데이터 문서가 특정 데이터 아이템을 포함하는지를 이러한 분석에 기초하여 결정하며, 이러한 분석을 사용하여 각각의 데이터 문서 내의 각각의 데이터 아이템에 대한 사양(specification)을 제공하는 시스템을 제공한다. 데이터 아이템의 성긴 분포된 표현은 의미 맵(108)으로부터 취출된 데이터에 기초하여 생성된다. 데이터 아이템의 성긴 분포된 표현은 다른 머신 학습 방법을 훈련시키는 데에만 사용되는 것으로 한정될 필요가 없고, 데이터 아이템들 사이의 관련성을 결정하기 위하여 사용될 수 있다(예컨대, 예를 들어 데이터 아이템들 사이의 유사성을 결정하고, 데이터 아이템들의 순서를 매기며, 또는 다양한 환경에서의 검색과 및 분석에서 사용되기에 유사하다고 사용자가 이전에 알수 없었던 데이터 아이템을 식별함). 몇 가지 실시형태들에서, 본 명세서에서 설명된 바와 같은 방법 및 시스템을 사용하여 SDR 내의 정보의 임의의 조각을 변환함으로써, 임의의 데이터 아이템은 "의미론적으로 그라운딩되고(semantically grounded)"(예를 들어, 자신의 의미 유니버스에서), 따라서 심지어 머신 학습, 신경 네트워크, 또는 코티컬(cortical) 알고리즘이 없이도 명백하게 비교될 수 있고 계산될 수 있게 된다.

일부 실시형태들에서, 생성된 SDR들은 추가 의미 맵을 생성하기 위하여 사용될 수 있다. 예를 들어, 초기 의미 맵이 넓은 범위를 가지는 데이터 문서의 제 1 말뭉치에서 훈련된 일 실시형태에서, SDR들은 제 1 말뭉치 내에서 역시 발생되는 데이터 아이템을 포함하는 데이터 문서들의 더 기술적인 제 2 말뭉치 내에서 새로운 문서 벡터를 생성해야 하는 것(그리고 그들을 희소화(sparsify)처리해야 하는 것)을 피하기 위해서 사용될 수 있다. 예를 들어, 그리고 비한정적으로, 데이터 문서의 제 1 말뭉치가 사전, 백과사전, 위키피디아, 또는 일반적인 지식 문서의 다른 말뭉치인 경우, 그리고 제 2 말뭉치가 문서의 더 기술적인 세트(예컨대, 비한정적으로, 문서들의 의학, 법학, 과학, 또는 다른 전문화된 세트)를 포함하는 경우, 제 2 말뭉치 내의 데이터 아이템의 적어도 하나의 서브세트가 제 1 말뭉치 내에서 발생될 가능성이 있다. 제 1 말뭉치 및 제 2 말뭉치 양자 모두에 공통된 데이터 아이템의 이전에 생성된 SDR들을 사용하면 시스템의 속도 및 효율이 개선되는데, 그 이유는 이전에-생성된 SDR들이 제 2 말뭉치의 콘텍스트 내에서 재사용될 수 있기 때문이다. 제 2 말뭉치로부터 스닙펫을 추출함하고, 그러한 것들 중 어느 것이 SDR 데이터베이스 내의 SDR과 이미 연관되는지를 식별하며, 제 2 말뭉치와 연계하여 그러한 SDR들에 의존함으로써, 시스템은 향상된 기능성을 제공할 수 있다. 예를 들어, 제 2 말뭉치가 수 백만 개의 데이터 문서를 포함한다면, 이전에 생성된 임의의 SDR들을 재사용하면 그러한 SDR들을 재생성할 필요성을 줄일 것이고, 수 백만 개의 데이터 문서 중 잔여 부분을 주소결정(addressing)하는 데에 있어서 시스템의 속도가 개선된다. 이와 달리 시스템이 수 백만 개의 데이터 문서 중 어느 서브세트를 의미 맵을 생성하는 데에 사용할지에 대해서 선택해야 하는 상황 - 그래뉼래러티 및 수 백만 개의 데이터 문서에 걸쳐서 데이터 아이템에 대한 SDR들을 생성하기 위한 실용적 능력 사이에서 판정하도록 강요함 -에서는, 시스템이 별개로 생성된 SDR들을 재사용하면서 제 2 말뭉치 내의 새로운 SDR들을 스스로 생성할 때에 더 적게 공통으로 발생되는 데이터 아이템에 중점을 둘 수 있고(예를 들어, 더 기술적인 용어 - "고양이(cat)" 대신에 "톡소플라즈마증(toxoplasmosis)"에 대해서 SDR을 생성하는 것에 중점을 둠), 개선된 그래뉼래러티 및 효율 양자 모두를 제공할 수 있다. 그러므로, 그리고 도 20에 도시된 바와 같이, 일부 실시형태들에서 본 명세서에서 설명되는 방법 및 시스템은 이전에-생성된 SDR들의 사용에 기반하여 제 2 의미 맵을 생성하기 위하여 사용될 수 있다. 일부 실시형태들에서, 제 1 레벨 의미 공간은 제 2 레벨 의미 공간을 생성하기 위하여 사용될 수 있고, 시스템은 제 1 레벨 의미 공간으로의 액세스를 제공하지 않으면서 제 2 레벨 의미 공간으로의 액세스를 제공할 수 있어서, 프라이버시를 유지하고 및/또는 초기 말뭉치로의 의미 맵을 거친 액세스를 한정하면서, 초기 말뭉치로부터 생성 복수 개의 후속 의미 맵을 생성하는 성능을 제공한다.

일부 실시형태들에서, 이전에-생성된 SDR들에 적어도 부분적으로 기반하여 제 2 의미 맵을 생성하면, 그렇지 않으면 요구될 것보다 작은 참조 콜렉션에만 기반하여 의미 맵을 생성할 수 있게 될 수 있다; 일 예로서, 시스템은 그렇지 않으면 제 2 의미 맵을 생성하기 위해서 요구되었을 데이터 중 10%만을 필요로 할 수 있다. 더욱이, 시스템은 후속하여 생성된 의미 맵들 사이의 연관성을 식별하기 위한 기능성을 제공할 수 있다. 일 예로서, 제 1 의미 맵이 범용 데이터 아이템의 말뭉치로부터 생성되었고 제 2 의미 맵이 공통적으로 더 적게 발생되는 데이터 아이템(예를 들어, "톡소플라즈마증")을 포함한 제 2 말뭉치에 대해서 생성되었으며, 제 3 의미 맵이 제 3 말뭉치(예를 들어, 그리고 오직 예를 들기 위하여, "간염(hepatitis)"과 같은 용어가 있는 데이터 아이템을 포함함)에 대해서 생성되었으면, 시스템은 제 2 및 제 3 의미 맵 사이의 공통성(commonalities)을 식별할 수 있고, 앞의 예에서 계속 살펴보면, "간염" 및 "톡소플라즈마증"의 데이터 아이템들 사이의 상관을 식별할 수 있다. 제 1 말뭉치가 대형 연구 콜렉션인 추가적인 예로서, 제 2 의미 맵의 분해능 또는 제 1 의미 맵의 콘텍스트 중 어느 하나가 손실되지 않은 상태로 새로운 주제가 콜렉션 내에서 식별될 수 있다.

도 20을 계속 참조하면, 흐름도는 제 1 이차원 메트릭 공간에서 클러스터링된 데이터 문서들의 제 1 세트 내의 데이터 아이템의 분포된 표현을 사용하여 분포된 표현의 클러스터를 제 2 이차원 메트릭 공간에서 생성하기 위한 방법의 일 실시형태를 도시한다. 방법(2000)은, 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(2002)를 포함한다. 일 실시형태에서, 클러스터링은 도 2와 관련하여 전술된 바와 같이 발생한다(202). 방법(2000)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(2004)를 포함한다. 일 실시형태에서, 연관 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(204). 방법(2000)은 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(2006)를 포함한다. 일 실시형태에서, 생성 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(206). 방법(2000)은 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(2008)를 포함한다. 일 실시형태에서, 결정 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(208). 방법(2000)은 표현 생성기에 의하여 발생 정보를 사용하여 분포된 표현을 생성하는 단계(2010)를 포함한다. 일 실시형태에서, 생성 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(210). 방법(2000)은 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계(2012)를 포함한다. 일 실시형태에서, 수신 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(212). 방법(2000)은 희소화 모듈에 의하여, 규범 필그레이드를 가지는 성긴 분포된 표현(SDR)을 생성하도록, 희소성의 최대 레벨에 기초하여 각각의 분포된 표현 내의 세트 비트의 총 개수를 감소시키는 단계(2014)를 포함한다. 일 실시형태에서, 감소 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(214). 방법(2000)은 SDR들 각각을 SDR 데이터베이스에 저장하는 단계(2016)를 포함한다.

이러한 방법(2000)은, 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, SDR 데이터베이스로부터 취출되고 적어도 하나의 제 2 기준에 따라 선택된 SDR들의 세트를 제 2 이차원 메트릭 공간에서 클러스터링하고, 제 2 의미 맵을 생성하는 단계(2018)를 포함한다. 일 실시형태에서, SDR들의 세트는 SDR이 데이터 문서들의 제 2 세트와 연관된다는 표시를 풀-텍스트 검색 시스템으로부터 수신하는 것에 기반하여 선택된다. 다른 실시형태에서, 이러한 방법은, 상기 데이터 문서들의 제 2 세트 내의 적어도 하나의 데이터 문서의 적어도 하나의 스닙펫(snippet)을 풀-텍스트 검색 시스템에 제공하는 단계; 상기 풀-텍스트 검색 시스템으로부터, 제공된 스닙펫을 포함하는 상기 데이터 문서들의 세트 내의 매칭되는 데이터 문서들의 좌표 쌍들의 나열을 수신하는 단계; 및 상기 SDR 데이터베이스로부터, 좌표쌍들의 나열 중의 좌표쌍들 각각과 연관된 적어도 하나의 SDR을 수신하는 단계를 포함할 수 있다. 취출된 SDR들에 의해서 최초에 파퓰레이션된 제 2 의미 맵을 생성하였으면, 시스템은 추가 용어에 대한 추가 SDR들을 생성하고, 이들을 제 2 의미 맵에 추가할 수 있다.

이제 도 3을 참조하면, 블록도는 의미 맵 상에서 클러스터링된 데이터 문서로부터의 데이터 아이템의 성긴 분포된 표현을 사용하여 연산을 수행하는 시스템의 일 실시형태를 나타낸다. 일 실시형태에서, 시스템(300)은 성긴 분포된 표현들 사이의 의미 유사성을 결정하기 위한 기능성을 포함한다. 다른 실시형태에서, 시스템(300)은 SDR로 변환된 참조 데이터 아이템에 대한 매칭에 의하여, SDR로 변환된 데이터 아이템의 관련성 랭킹을 결정하기 위한 기능성을 포함한다. 또 다른 실시형태에서, 시스템(300)은 SDR로 변환된 참조 텍스트 요소에 대한 매칭에 의하여, SDR로 변환된 데이터 아이템의 분류를 결정하기 위한 기능성을 포함한다. 다른 실시형태에서, 시스템(300)은 SDR로 변환된 참조 데이터 아이템에 대한 매칭에 의하여, SDR로 변환된 데이터 아이템의 주제 필터링을 수행하기 위한 기능성을 포함한다. 또 다른 실시형태에서, 시스템(300)은 SDR로 변환된 데이터 아이템으로부터 키워드 추출을 수행하기 위한 기능성을 포함한다.

간략한 개관에서, 시스템(300)은 요소들을 포함하고, 도 1a 내지 도 1c와 관련하여 전술된 기능성을 제공한다(도 3에서는 엔진(101) 및 SDR 데이터베이스(120)로 도시됨). 시스템(300)은 머신(102a), 머신(102b), 지문(fingerprinting) 모듈(302), 유사성 엔진(304), 명확화 모듈(306), 데이터 아이템 모듈(308), 및 표현 엔진(310)을 더 포함한다. 일 실시형태에서, 엔진(101)은 머신(102a)에서 실행된다. 다른 실시형태에서, 지문 모듈(302), 유사성 엔진(304), 명확화 모듈(306), 데이터 아이템 모듈(308), 및 표현 엔진(310)은 머신(102b)에서 실행된다.

이제 도 3을 도 1a 내지 도 1c 및 도 2와 함께 참조하면, 시스템(300)은 지문 모듈(302)을 포함한다. 일 실시형태에서, 지문 모듈(302)은 도 1a 내지 도 1c 및 도 2와 관련하여 전술된 바와 같은 표현 생성기(114) 및 희소화 모듈(116)을 포함한다. 다른 실시형태에서, 지문 모듈(302)은 엔진(101)의 일부를 형성한다. 다른 실시형태들에서, 지문 모듈(302)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 다른 실시형태들에서, 지문 모듈(302)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 또 다른 실시형태에서, 지문 모듈(302)은 머신(102)에서 실행된다. 몇 가지 실시형태들에서, 지문 모듈(302)은 SDR 데이터베이스(120)의 일부가 아니지만 동적으로 생성되는 SDR을 가지고, 데이터 아이템 SDR을 실시간으로 의미 지문으로 변환하기 위하여(예를 들어, 본 명세서에서 설명되는 희소화 프로세스를 통해) 사후생성(postproduction) 프로세스를 수행한다(예를 들어, 워드 의미 지문으로부터 의미 지문을 생성함); 그러나, 이러한 사후생성 프로세스는 선택적인 것이다. 다른 실시형태들에서, 표현 생성기(114)는 SDR 데이터베이스(120) 내에 SDR을 아직 가지지 않는 데이터 아이템에 대하여 희소화된 SDR을 생성하기 위해 직접적으로 액세스될 수 있다; 이러한 실시형태에서, 표현 생성기(114)는 희소화 모듈(116)을 자동적으로 호출하고 희소화된 SDR을 자동으로 생성할 수 있다. "SDR" 및 "지문(fingerprint)" 및 "의미 지문(semantic fingerprint)"이라는 용어는 본 명세서에서 상호교환가능하도록 사용되고, 지문 모듈(302)에 의하여 생성된 SDR 및 표현 생성기(114)를 직접적으로 호출함으로써 생성되는 SDR 양자 모두를 가리키도록 사용될 수 있다.

시스템(300)은 유사성 엔진(304)을 포함한다. 유사성 엔진(304)은 SDR들 사이의 거리를 계산하고 유사성의 레벨을 결정하는 기능성을 제공할 수 있다. 다른 실시형태들에서, 유사성 엔진(304)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 다른 실시형태들에서, 유사성 엔진(304)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 또 다른 실시형태에서, 유사성 엔진(304)은 머신(102b)에서 실행된다.

시스템(300)은 명확화 모듈(306)을 포함한다. 일 실시형태에서, 명확화 모듈(306)은 데이터 아이템의 단일 SDR 내에 구현된 문맥의 서브-공간(contextual sub-space)을 식별한다. 그러므로, 명확화 모듈(306)은 사용자가 단일 데이터 아이템의 상이한 의미 콘텍스트를 더 잘 이해하게 할 수 있다. 몇 가지 실시형태들에서, 명확화 모듈(306)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 몇 가지 실시형태들에서, 명확화 모듈(306)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 명확화 모듈(306)은 머신(102b)에서 실행된다.

시스템(300)은 데이터 아이템 모듈(308)을 포함한다. 일 실시형태에서, 데이터 아이템 모듈(308)은 수신된 데이터 아이템의 세트로부터 거의 모든 특성 데이터 아이템- 즉, 더 상세히 후술되는 바와 같이 SDR이 데이터 아이템의 수신된 세트의 SDR로부터 임계 거리보다 작은 거리를 가지는 데이터 아이템 - 을 식별하는 기능성을 제공한다. 데이터 아이템 모듈(308)은 도 8a와 관련하여 후술되는 키워드 추출 모듈(802)과 결합하거나 그 대신에 사용될 수 있다. 몇 가지 실시형태들에서, 데이터 아이템 모듈(308)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 몇 가지 실시형태들에서, 데이터 아이템 모듈(308)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 데이터 아이템 모듈(308)은 머신(102b)에서 실행된다.

시스템(300)은 표현 엔진(310)을 포함한다. 일 실시형태에서, 더 상세히 후술되는 바와 같이, 표현 엔진(310)은 사용자로부터 하나 이상의 데이터 아이템과 함께 수신된 부울 연산자를 평가하기 위한 기능성을 제공한다. 부울 연산자를 평가하면, 사용자에게 하나 이상의 데이터 아이템 또는 데이터 아이템의 조합의 분석을 요청할 경우의 유연성을 제공한다. 몇 가지 실시형태들에서, 표현 엔진(310)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 몇 가지 실시형태들에서, 표현 엔진(310)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 표현 엔진(310)은 머신(102b)에서 실행된다.

이제 도 4를 참조하면, 흐름도는 데이터 아이템들 사이의 유사성의 레벨을 식별하기 위한 방법의 일 실시형태를 나타낸다. 간략한 개관에서, 방법(400)은 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(402)를 포함한다. 방법(400)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(404)를 포함한다. 방법(400)은 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(406)를 포함한다. 방법(400)은 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(408)를 포함한다. 방법(400)은 표현 생성기에 의하여 발생 정보를 사용하여 분포된 표현을 생성하는 단계(410)를 포함한다. 방법(400)은 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계(412)를 포함한다. 방법(400)은 희소화 모듈에 의하여, 규범 필그레이드를 가지는 성긴 분포된 표현(SDR)을 생성하도록, 희소성의 최대 레벨에 기초하여 상기 분포된 표현 내의 세트 비트의 총 개수를 감소시키는 단계(414)를 포함한다. 방법(400)은 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 제 1 데이터 아이템의 제 1 SDR과 제 2 데이터 아이템의 제 2 SDR 사이의 거리를 결정하는 단계(416)를 포함한다. 방법(400)은, 유사성 엔진에 의하여, 결정된 거리에 기초하여 제 1 데이터 아이템과 제 2 데이터 아이템 사이의 의미 유사성의 레벨의 식별을 제공하는 단계(418)를 포함한다.

도 4를 더 자세하게 도 1a 내지 도 1c 및 도 2 및 도 3과 연계하여 참조하면, 방법(400)은 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(402)를 포함한다. 일 실시형태에서, 클러스터링은 도 2와 관련하여 전술된 바와 같이 발생한다(202).

방법(400)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(404)를 포함한다. 일 실시형태에서, 연관 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(204).

방법(400)은 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(406)를 포함한다. 일 실시형태에서, 생성 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(206).

방법(400)은 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(408)를 포함한다. 일 실시형태에서, 결정 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(208).

방법(400)은 표현 생성기에 의하여 발생 정보를 사용하여 분포된 표현을 생성하는 단계(410)를 포함한다. 일 실시형태에서, 생성 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(210).

방법(400)은 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계(412)를 포함한다. 일 실시형태에서, 수신 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(212).

방법(400)은 희소화 모듈에 의하여, 규범 필그레이드를 가지는 성긴 분포된 표현(SDR)을 생성하도록, 희소성의 최대 레벨에 기초하여 상기 분포된 표현 내의 세트 비트의 총 개수를 감소시키는 단계(414)를 포함한다. 일 실시형태에서, 감소 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(214).

방법(400)은 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 제 1 데이터 아이템의 제 1 SDR과 제 2 데이터 아이템의 제 2 SDR 사이의 거리를 결정하는 단계(416)를 포함한다. 일 실시형태에서, 유사성 엔진(304)은 적어도 두 개의 SDR들 사이의 거리를 계산한다. 거리 측정은, 비한정적으로, 직접적 중첩(Direct Overlap), 유클리드 거리(예를 들어, 사람이 자로 측정하는 것과 유사하게 SDR 내의 두 개의 포인트들 사이의 보통 거리(ordinary distance)를 결정하는 것), 자카드 거리(Jaccard Distance), 및 코사인-유사성(Cosine-similarity)을 포함할 수 있다. 두 개의 SDR들 사이의 거리가 작을 수록, 유사성이 커지고, (의미 폴딩 SDR(semantic folding SDR)의 경우) 유사성이 높아지면 SDR이 표현하는 데이터 요소의 의미 관련성(semantic relatedness)이 높아진다는 것을 나타낸다. 일 실시형태에서, 유사성 엔진(304)은 제 1 SDR 및 제 2 SDR 양자 모두에서 세팅된 비트들(예를 들어, 양자 모두의 SDR이 1로 세팅되는 포인트)의 개수를 카운트한다. 다른 실시형태에서, 유사성 엔진(304)은 제 1 SDR 내의 제 1 포인트(예를 들어, 1로 세팅된 임의로 선택된 제 1 비트)를 식별하고, 제 2 SDR 내에서 동일한 포인트를 찾으며, 제 2 SDR 내의 최근접 세트 비트를 결정한다. 제 2 SDR 내의 어떤 최근접 세트 비트가 제 1 SDR의 세트 비트에 대한 것인지를 결정함으로써 - 제 1 SDR 내의 각각의 세트 비트에 대하여- 유사성 엔진(304은 각각의 포인트에서의 거리의 합산을 연산하고 포인트들의 개수로 나누어서 총 거리를 결정할 수 있다. 당업자들은 다른 메커니즘이 SDR들 사이의 거리를 결정하기 위하여 사용될 수 있다는 것을 이해할 것이다. 몇 가지 실시형태들에서, 유사성은 절대 측정이 아니고, 데이터 아이템이 가질 수 있는 상이한 콘텍스트에 따라 변동할 수 있다. 그러므로, 이러한 실시형태들 중 하나에서, 유사성 엔진(304)은 두 개의 SDR들 사이의 중첩의 토포그래피를 역시 분석한다. 예를 들어, 중첩의 토폴로지는 유사성 계산에 가중치 함수를 추가하기 위하여 사용될 수 있다. 다른 예로서, 유사성 측정이 사용될 수 있다.

방법(400)은, 유사성 엔진에 의하여, 결정된 거리에 기초하여 제 1 데이터 아이템과 제 2 데이터 아이템 사이의 의미 유사성의 레벨의 식별을 제공하는 단계(418)를 포함한다. 유사성 엔진(304)은 두 개의 SDR이 유사성에 대한 최대 임계를 초과하고, 따라서 표현된 데이터 아이템들이 유사하지 않다고 결정할 수 있다. 또는, 유사성 엔진(304)은 두 개의 SDR들 사이의 거리가 최대 임계를 초과하지 않고, 따라서 표현된 데이터 아이템들이 유사하다고 결정할 수 있다. 유사성 엔진(304)은 범위, 임계, 또는 다른 계산에 기초하여 유사성의 레벨을 식별할 수 있다. 일 실시형태에서, SDR들이 데이터 아이템의 의미론적 의미(많은 수의 의미 피쳐에 의해 표현됨)를 실제로 나타내기 때문에, 두 개의 데이터 아이템들 사이의 의미 근사도를 결정하는 것이 가능하다.

몇 가지 실시형태들에서, 시스템(100)은 사용자가 데이터 아이템을 입력하고 유사성의 레벨의 식별을 수신할 수 있는 사용자 인터페이스(미도시)를 제공한다. 사용자 인터페이스는 이러한 기능성을 머신(100)에 직접적으로 액세스하는 사용자에게 제공할 수 있다. 또는, 사용자 인터페이스는 이러한 기능성을 컴퓨터 네트워크를 거쳐 머신(100)에 액세스하는 사용자에게 제공할 수 있다. 비한정적인 예를 통하여, 사용자는 "music" 및 "apple"와 같은 데이터 아이템의 쌍을 사용자 인터페이스로 입력할 수 있다; 유사성 엔진(304)은 데이터 아이템을 수신하고 도 1a 내지 도 1c 및 도 2와 관련하여 전술된 바와 같은 데이터 아이템에 대한 SDR을 생성한다. 이러한 예를 계속 살펴보면, 유사성 엔진(304)은 이제 전술된 바와 같이 두 개의 SDR을 비교할 수 있다. 필수적인 것은 아니지만, 유사성 엔진(304)은 SDR의 각각의 그래픽 표현을 사용자 인터페이스를 통해 사용자에게 제공하여, 사용자가 각각의 데이터 아이템이 의미론적으로 매핑되는 방식을 시각적으로 리뷰할 수 있게 할 수 있다(예를 들어, 참조 맵 생성기(106)를 훈련시키기 위해 사용된 참조 콜렉션 내의 데이터 아이템의 사용을 나타내는, 의미 맵 내에서 클러스터링된 포인트들을 보여줌).

비록 위에서 표시된 바와 같이 본 명세서에서 설명되는 방법 및 시스템 중 일부 실시형태가, 데이터 아이템의 나열 내의 분포된 표현에 대한 분포된 표현이 생성될 경우 연관된 발생 정보를 사용하여 희소화처리를 하기 위한 프로세스에 적용되지만, 다른 실시형태들에서는 희소화 모듈에 의한 희소화 단계를 적용하는 것을 지연시키는 것이 바람직하다. 예를 들어, 검색 프로세스에서 정확도의 더 높은 레벨을 위해서 최적화하는 경우와 같은 어떤 시나리오에서는, 하나 이상의 데이터 아이템(예를 들어, 특정 문서 내의 데이터 아이템)에 대하여 복합 SDR(compound SDR)을 생성하고, 희소화처리를 추후에 하는 것이 유익할 수 있다. 희소화처리는 통상적으로, 더 작은 SDR들을 저장하고 사용할 수 있으면서 그래뉼래러티(granularity)를 제거하는 것을 수반한다(예를 들어, 말뭉치 크기와 독립적으로, 레이턴시를 증가시키지 않으면서 콜렉션을 더 빠르게 증가시키기 위해서 최적화하는 경우). 그러나, 희소화처리를 할 때에는 데이터 아이템의 의미론적 의미(semantic meaning)의 다양한 측면에서 그래뉼래러티가 손실될 수 있다. 예를 들어, 특정 말뭉치 내에 용어 "기관"이 동물의 장기보다 악기와 더 자주 연관되는 경우, 더 적게 사용된 의미론적 의미(해당 말뭉치 내의 의미)가 제거되면, SDR은 기관을 악기라고만 가리킬 수 있을 것이다(다시 말하건대, 해당 말뭉치 내에서 그리고 해당 SDR에 대하여); 만일 어떤 데이터 아이템의 더 적게 공통적으로 발생되는 200 개의 의미론적 의미가 제거된다면, 그러한 의미론적 의미는 희소화 이후에는 사용될 수 없게 된다. 그러므로, 추후 시점까지(예를 들어, 적어도 각각의 데이터 아이템에 대한 SDR들이 생성된 이후까지) 희소화처리를 지연시키면서 검색의 정확도가 크기 또는 속도보다 최적화되는 실시형태들에서는, 시스템이 분해능을 실질적으로 개선시킬 수 있다. 이것은 더 많은 노력을 노력하지 않고, 시스템을 최적화하기 위한 상이한 목표만을 요구한다. 그러므로, 그리고 도 19와 연계하여 설명되는 바와 같이, 본 명세서에서 설명되는 방법 및 시스템의 일부 구현형태들에서, 시스템은 지연된(late) 희소화 프로세스를 적용하도록 결정한다.

도 19를 계속 참조하면, 흐름도는 데이터 아이템들 사이의 유사성의 레벨을 식별하는 데에 사용하기 위한, 복수 개의 데이터 아이템의 복합 분포된 표현의 지연 희소화를 위한 방법의 일 실시형태를 도시한다. 짧은 개요에서, 방법(1900)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(1902)를 포함한다. 방법(1900)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1904)를 포함한다. 방법(1900)은 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(1906)를 포함한다. 방법(1900)은 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1908)를 포함한다. 방법(1900)은, 표현 생성기에 의하여, 발생 정보를 사용하여 나열 내의 각각의 데이터 아이템에 대한 성긴 분포된 표현을 생성하는 단계(1910)를 포함한다. 방법(1900)은 표현 생성기에 의하여, 제 1 데이터 아이템의 제 1 분포된 표현 및 제 2 데이터 아이템의 제 2 분포된 표현을 조합하여 복합 분포된 표현을 형성하는 단계(1912)를 포함한다. 방법(1900)은 표현 생성기에 의하여, 복합 분포된 표현 내의 각각의 위치에 세트 비트의 개수를 추가하는 단계(1904)를 포함한다. 방법(1900)은 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계(1916)를 포함한다. 방법(1900)은 희소화 모듈에 의하여, 규범 필그레이드를 가지는 복합 성긴 분포된 표현(SDR)을 생성하도록, 희소성의 최대 레벨에 기초하여 상기 분포된 표현 내의 세트 비트의 총 개수를 비례적으로 감소시키는 단계(1918)를 포함한다. 방법(1900)은 복합 SDR을 SDR의 데이터베이스 내에 저장하는 단계(1920)를 포함한다.

이제 도 19를 더 상세히, 그리고 도 1a 내지 도 1c 및 도 2 내지 도 4와 연계하여 참조하면, 방법(1900)은, 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(1902)를 포함한다. 일 실시형태에서, 클러스터링은 도 2와 관련하여 전술된 바와 같이 발생한다(202).

방법(1900)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1904)를 포함한다. 일 실시형태에서, 연관 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(204).

방법(1900)은 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(1906)를 포함한다. 일 실시형태에서, 생성 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(206).

방법(1900)은 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1908)를 포함한다. 일 실시형태에서, 결정 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(208).

방법(1900)은, 표현 생성기에 의하여, 발생 정보를 사용하여 나열 내의 각각의 데이터 아이템에 대한 성긴 분포된 표현을 생성하는 단계(1910)를 포함한다. 일 실시형태에서, 생성 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(210).

방법(1900)은 표현 생성기에 의하여, 제 1 데이터 아이템의 제 1 분포된 표현 및 제 2 데이터 아이템의 제 2 분포된 표현을 조합하여 복합 분포된 표현을 형성하는 단계(1912)를 포함한다. 방법(1900)은 표현 생성기에 의하여, 복합 분포된 표현 내의 각각의 위치에 세트 비트의 개수를 추가하는 단계(1904)를 포함한다. 표현 생성기는 복합 분포된 표현을 도 2와 연계하여 전술된 바와 같이 형성할 수 있다; 그러나, 복합 분포된 표현을 각각의 개별적인 희소화된 분포된 표현의 희소화 이후에 형성하는 대신에, 결합된 분포된 표현은 아직 희소화되지 않아서, 언더라잉 벡터 내의 그래뉼래러티의 손실을 방지한다. 일 예로서 그리고 비한정적으로, 시스템은 복합 분포된 표현을 유사성의 레벨의 식별에 대한 요청을 수신한 이후에 희소화처리할 수 있다. 해당 시점에서, 희소화처리가 그래뉼래러티를 잃지 않으면서 수행될 수 있다.

방법(1900)은 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계(1916)를 포함한다. 일 실시형태에서, 수신 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(212).

방법(1900)은 희소화 모듈에 의하여, 규범 필그레이드를 가지는 복합 성긴 분포된 표현(SDR)을 생성하도록, 희소성의 최대 레벨에 기초하여 상기 분포된 표현 내의 세트 비트의 총 개수를 비례적으로 감소시키는 단계(1918)를 포함한다. 일 실시형태에서, 감소 동작은 도 2와 관련하여 전술된 바와 같이 발생한다(214). 방법(1900)은 복합 SDR을 SDR의 데이터베이스 내에 저장하는 단계(1920)를 포함한다.

몇 가지 실시형태들에서, 유사성 엔진(304)은 사용자로부터 오직 하나의 데이터 아이템을 수신한다. 이제 도 5를 참조하면, 흐름도는 이러한 방법의 일 실시형태를 나타낸다. 간략한 개관에서, 방법(500)은 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 2-차원의 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(502)를 포함한다. 방법(500)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(504)를 포함한다. 방법(500)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(506)를 포함한다. 방법(500)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(508)를 포함한다. 방법(500)은, 표현 생성기에 의하여, 나열 내의 각각의 데이터 아이템에 대하여, 발생 정보를 사용하여 분포된 표현을 생성하는 단계(510)를 포함한다. 방법(500)은 제 1 컴퓨팅 디바이스에서 실행되는 희소화 모듈에 의하여, 희소성의 최대 레벨의 식별을 수신하는 단계(512)를 포함한다. 방법(500)은 각각의 배포된 표현에 대하여, 희소화 모듈에 의하여, 규범 필그레이드를 가지는 성긴 분포된 표현(SDR)을 생성하도록, 희소성의 최대 레벨에 기초하여 상기 분포된 표현 내의 세트 비트의 총 개수를 감소시키는 단계(514)를 포함한다. 방법(500)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(516)를 포함한다. 방법(500)은, 제 2 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 데이터 아이템을 수신하는 단계(518)를 포함한다. 방법(500)은, 유사성 엔진에 의하여, 제 1 데이터 아이템의 제 1 SDR과 SDR 데이터베이스로부터 취출된 제 2 데이터 아이템의 제 2 SDR 사이의 거리를 결정하는 단계(520)를 포함한다. 방법(500)은, 유사성 엔진에 의하여, 결정된 거리에 기초하여 제 2 데이터 아이템의 식별 및 제 1 데이터 아이템과 제 2 데이터 아이템 사이의 의미 유사성의 레벨의 식별을 제 3 컴퓨팅 디바이스로 제공하는 단계(522)를 포함한다.

몇 가지 실시형태들에서, 단계 502 내지 516은 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

방법(500)은, 제 2 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 데이터 아이템을 수신하는 단계(518)를 포함한다. 일 실시형태에서, 시스템(300)은 사용자가 제 1 데이터 아이템을 입력할 수 있는 사용자 인터페이스(미도시)를 포함한다. 다른 실시형태에서, 지문 모듈(302)은 제 1 데이터 아이템의 SDR을 생성한다. 또 다른 실시형태에서, 표현 생성기(114)가 SDR을 생성한다.

방법(500)은, 유사성 엔진에 의하여, 제 1 데이터 아이템의 제 1 SDR과 SDR 데이터베이스로부터 취출된 제 2 데이터 아이템의 제 2 SDR 사이의 거리를 결정하는 단계(520)를 포함한다. 일 실시형태에서, 방법(500)은 도 4와 관련하여 전술된 바와 같이 제 1 데이터 아이템의 제 1 SDR과 제 2 데이터 아이템의 제 2 SDR 사이의 거리를 결정하는 단계(416)를 포함한다. 몇 가지 실시형태들에서, 유사성 엔진(304)은 SDR 데이터베이스(120)로부터 제 2 데이터 아이템을 취출한다. 이러한 실시형태들 중 하나에서, 유사성 엔진(304)은 SDR 데이터베이스(120) 내의 각각의 엔트리를 검사하여 취출된 아이템과 수신된 제 1 데이터 아이템 사이에 유사성의 소정 레벨이 존재하는지 여부를 결정한다. 이러한 실시형태들 중 다른 것에서, 시스템(300)은 현재 텍스트 인덱싱 기법과 텍스트 검색 라이브러리를 구현하여, 의미 지문(즉, SDR) 콜렉션의 효율적 인덱싱을 수행하고, 유사성 엔진(304)이 데이터베이스(120) 내의 모든 각 아이템에 걸쳐 반복하는 것과 같은 "억지(brute force)" 프로세스보다 더 효율적으로 제 2 데이터 아이템의 제 2 SDR을 식별하게 한다.

방법(500)은, 유사성 엔진에 의하여, 결정된 거리에 기초하여 제 2 데이터 아이템의 식별 및 제 1 데이터 아이템과 제 2 데이터 아이템 사이의 의미 유사성의 레벨의 식별을 제 3 컴퓨팅 디바이스로 제공하는 단계(522)를 포함한다. 일 실시형태에서, 유사성 엔진(304)은 사용자 인터페이스를 통해 식별을 제공한다. 다른 실시형태에서, 유사성 엔진(304)은 제 1 데이터 아이템과 제 2 데이터 아이템 사이의 의미 유사성의 레벨의 식별을, 도 4와 관련하여 전술된 바와 같이, 결정된 거리에 기초하여 제공한다(418). 몇 가지 실시형태들에서, 유사성 엔진(304)이 제 3 데이터 아이템에 대한 제 3 SDR을 SDR 데이터베이스로부터 취출하고, 제 1 데이터 아이템의 제 1 SDR과 제 3 데이터 아이템의 제 3 SDR 사이의 거리를 결정하고 결정된 거리에 기초하여 제 1과 제 3 데이터 아이템 사이의 의미 유사성의 레벨의 식별을 제공하는 프로세스를 반복한다는 것이 이해될 것이다.

이러한 실시형태들 중 하나에서, 유사성 엔진(304)은 수신된 데이터 아이템과 가장 유사한 다른 데이터 아이템의 나열을 반환할 수 있다. 일 예로서는, 유사성 엔진(304)은 수신된 데이터 아이템에 대한 SDR(118)을 생성한 뒤 SDR(118)과 유사한 다른 SDR에 대해 SDR 데이터베이스(120)를 검색할 수 있다. 다른 실시형태들에서, 데이터 아이템 모듈(308)이 이러한 기능성을 제공한다. 비한정적인 예로서, 유사성 엔진(304)(또는 데이터 아이템 모듈(308)은 수신된 데이터 아이템에 대한 SDR(118)을 위에서 설명된 바와 같이 SDR 데이터베이스(120) 내의 복수 개의 SDR의 각각과 비교하고, 유사성에 대한 요구 사항(예를 들어, 미리 결정된 임계보다 적은 데이터 아이템들 사이의 거리를 가질 것)을 만족시키는 데이터 아이템의 나열을 반환할 수 있다. 몇 가지 실시형태들에서, 유사성 엔진(304)은 특정 SDR에 가장 유사한 SDR을 반환한다(데이터 아이템 자체를 반환하는 반면에).

몇 가지 실시형태들에서, 데이터 아이템(키워드라고 불릴 수 있음)을 수신하고 유사한 데이터 아이템을 식별하기 위한 방법은 도 2와 관련하여 전술된 바와 같이(202 내지 214) 수행된다. 몇 가지 실시형태들에서, 데이터 아이템 모듈(308)이 이러한 기능성을 제공한다. 이러한 실시형태들 중 하나에서, 이러한 방법은 데이터 아이템을 수신하는 단계를 포함한다. 이러한 방법은 수신된 데이터 아이템과 동일하지 않는 가장 유사한 데이터 아이템에 대한 요청을 수신하는 단계를 포함할 수 있다. 이러한 실시형태들 중 다른 것에서, 이러한 방법은 수신된 데이터 아이템에 대한 제 1 SDR을 생성하는 단계를 포함한다. 이러한 실시형태들 중 또 다른 것에서, 이러한 방법은 제 1 SDR과 SDR 데이터베이스(120) 내의 각각의 SDR 사이의 거리를 결정하는 단계를 포함한다. 이러한 실시형태들 중 또 다른 것에서, 이러한 방법은 나열된 데이터 아이템의 SDR과 제 1 SDR 사이의 거리가 임계보다 적은 데이터 아이템의 나열을 제공하는 단계를 포함한다. 또는, 이러한 방법은, 각각의 데이터 아이템과 수신된 데이터 아이템 사이의 임계보다 큰 유사성의 레벨을 가지는 데이터 아이템의 나열을 제공하는 단계를 포함한다. 몇 가지 실시형태들에서, 유사한 데이터 아이템을 식별하기 위한 방법은, 데이터 아이템 또는 데이터 아이템의 SDR을 식별하고 거리(예를 들어, 유클리드 거리)의 오름차순으로 정렬된 SDR들의 나열들 생성하기 위한 기능성을 제공한다. 이러한 실시형태들 중 하나에서, 시스템(100)은 모든 문맥(contextual) 데이터- 즉, 제출된 데이터 아이템이 발생되는 개념적인 공간 내의 데이터 아이템을 반환하기 위한 기능성을 제공한다.

데이터 아이템 모듈(308)은 유사한 데이터 아이템을 사용자에게 반환하여 수신된 데이터 아이템을 제공하거나, 다른 모듈 또는 엔진(예를 들어, 명확화 모듈(306)으로 반환할 수도 있다.

몇 가지 실시형태들에서, 시스템은 유사한 데이터 아이템의 나열을 생성하고, 이러한 나열을 질의를 실행하기 위한 시스템으로 송신할 수 있는데, 이것은 시스템(300) 내의 시스템이거나 제삼자 검색 시스템일 수 있다. 예를 들어, 사용자는 데이터 아이템을 질의를 실행하기 위한 사용자 인터페이스(예를 들어, 검색 엔진)에 입력할 수 있고, 사용자 인터페이스는 해당 데이터 아이템을 질의 모듈(601)로 전달할 수 있다; 질의 모듈(601)은 자동적으로 시스템의 컴포넌트(예를 들어, 유사성 엔진(304)을 호출하여 유사한 데이터 아이템의 나열을 생성하고 해당 데이터 아이템을 사용자의 원래의 질의에 추가하여 질의로서 실행을 위한 사용자 인터페이스로 제공함으로써 사용자의 검색 결과의 포괄성(comprehensiveness)을 개선할 수 있다. 다른 예로서, 그리고 도 6a 내지 도 6c와 연계하여 상세히 후술되는 바와 같이, 시스템은 유사한 데이터 아이템의 나열을 생성하고, 데이터 아이템을 제삼자 검색 시스템으로 직접적으로 제공하며, 확장된 검색의 결과를 사용자 인터페이스를 통해 사용자에게 반환할 수 있다. 제삼자 검색 시스템(본 명세서에서 기업 검색 시스템이라고 불릴 수 있음)은 임의의 타입 또는 형태일 수 있다; 위에서 풀-텍스트 검색 시스템(122)과 관련하여 표시된 바와 같이, 다양한 이와 같은 시스템이 사용가능하고 본 명세서에서 설명되는 방법 및 시스템을 사용하여 확장될 수 있다.

이제 도 6a를 참조하면, 블록도는 풀-텍스트 검색 시스템의 질의를 확장하기 위한 시스템(300)의 일 실시형태를 나타낸다. 간략한 개관에서, 시스템(300)은 요소들을 포함하고, 도 1a 내지 도 1c 및 도 3과 관련하여 전술된 바와 같은 기능성을 제공한다. 시스템(300)은 질의 모듈(601)을 실행하는 머신(102d)을 포함한다. 질의 모듈(601)은 질의 확장 모듈(603), 랭킹 모듈(605), 및 질의 입력 처리 모듈(607)을 실행한다.

일 실시형태에서, 질의 모듈(601)은 질의 항들을 수신하고, 수신된 항들에 대한 SDR의 생성(generation)을 지시하며, 유사한 질의 항들의 식별을 지시한다. 다른 실시형태에서, 질의 모듈(601)은 제삼자에 의해 제공되는 기업 검색 시스템과 통신한다. 예를 들어, 질의 모듈(601)은 기업 검색 시스템과 통신하는데 사용될 하나 이상의 인터페이스(예를 들어, 애플리케이션 프로그래밍 인터페이스)를 포함할 수 있다. 몇 가지 실시형태들에서, 질의 모듈(601)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 질의 모듈(601)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 또 다른 실시형태에서, 질의 모듈(601)은 머신(102d)에서 실행된다.

일 실시형태에서, 질의 입력 처리 모듈(607)은 질의 사항들을 클라이언트(102c)의 사용자로부터 수신한다. 다른 실시형태에서, 질의 입력 처리 모듈(607)은 질의 사항의 타입(예를 들어, 개별 워드, 워드의 그룹, 문장, 문단, 문서, SDR, 또는 유사한 사항들을 식별하는 데에 사용될 다른 표현)을 식별한다. 몇 가지 실시형태들에서, 질의 입력 처리 모듈(607)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 질의 입력 처리 모듈(607)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 또 다른 실시형태에서, 질의 입력 처리 모듈(607)은 머신(102d)에서 실행된다. 추가적인 실시형태에서, 질의 모듈(601)은 질의 입력 처리 모듈(607)과 통신하거나 그 기능성을 제공한다.

일 실시형태에서, 질의 확장 모듈(603)은 클라이언트(102c)의 사용자로부터 질의 사항을 수신한다. 다른 실시형태에서, 질의 확장 모듈(603)은 질의 입력 처리 모듈(607)로부터 질의 사항을 수신한다. 또 다른 실시형태에서, 질의 확장 모듈(603)은 질의 사항에 대한 SDR의 생성을 지시한다. 다른 실시형태에서, 질의 확장 모듈(603)은 유사성 엔진(304)에 의하여 질의 용어와 유사한(SDR들 사이의 거리에 기초하여) 하나 이상의 용어의 식별을 지시한다. 몇 가지 실시형태들에서, 질의 확장 모듈(603)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 질의 확장 모듈(603)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 또 다른 실시형태에서, 질의 확장 모듈(603)은 머신(102d)에서 실행된다. 추가적인 실시형태에서, 질의 모듈(601)은 질의 확장 모듈(603)과 통신하거나 그 기능성을 제공한다.

이제 도 6b를 참조하면, 흐름도는 풀-텍스트 검색 시스템의 질의를 확장하기 위한 방법(600)의 일 실시형태를 나타낸다. 간략한 개관에서, 방법(600)은 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(602)를 포함한다. 방법(600)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(604)를 포함한다. 방법(600)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(606)를 포함한다. 방법(600)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(608)를 포함한다. 방법(600)은, 표현 생성기에 의하여, 각각의 용어에 대한 발생 정보를 사용하여 나열 내의 각각의 용어에 대한 성긴 분포된 표현(SDR)을 생성하는 단계(610)를 포함한다. 방법(600)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(612)를 포함한다. 방법(600)은, 제 2 컴퓨팅 디바이스에서 실행되는 질의 확장 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 용어를 수신하는 단계(614)를 포함한다. 방법(600)은, 제 4 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 첫 번째 용어의 제 1 SDR과 SDR 데이터베이스로부터 취출된 두 번째 용어의 제 2 SDR 사이의 의미 유사성의 레벨을 결정하는 단계(616)를 포함한다. 방법(600)은, 질의 확장 모듈에 의하여, 첫 번째 용어와 두 번째 용어를 사용하여, 첫 번째 용어와 두 번째 용어에 유사한 적어도 하나의 용어를 포함하는 문서의 세트의 각각의 식별에 대한 질의를 풀-텍스트 검색 시스템으로 송신하는 단계(618)를 포함한다. 방법(600)은, 질의 확장 모듈에 의하여, 문서의 세트의 각각의 식별을 제 3 컴퓨팅 디바이스로 송신하는 단계(620)를 포함한다.

몇 가지 실시형태들에서, 단계 602 내지 612은 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

방법(600)은, 제 2 컴퓨팅 디바이스에서 실행되는 질의 확장 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 용어를 수신하는 단계(614)를 포함한다. 일 실시형태에서, 질의 확장 모듈(603)은 도 5와 관련하여 전술된 바와 같이(518) 제 1 데이터 아이템을 수신한다. 다른 실시형태에서, 질의 입력 처리 모듈(607)은 첫 번째 용어를 수신한다. 또 다른 실시형태에서, 질의 입력 처리 모듈(607)은 SDR의 생성을 위한 요청과 함께 첫 번째 용어를 지문 모듈(302)로 송신한다. 또 다른 실시형태에서, 질의 입력 처리 모듈(607)은 표현 생성기(114)에 의한 SDR의 생성을 위하여, 엔진(101)으로 첫 번째 용어를 송신한다.

방법(600)은, 제 4 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 첫 번째 용어의 제 1 SDR과 SDR 데이터베이스로부터 취출된 두 번째 용어의 제 2 SDR 사이의 의미 유사성의 레벨을 결정하는 단계(616)를 포함한다. 일 실시형태에서, 유사성 엔진(304)은 도 5와 관련하여 전술된 바와 같이(520) 의미 유사성의 레벨을 결정한다.

방법(600)은, 질의 확장 모듈에 의하여, 첫 번째 용어와 두 번째 용어를 사용하여, 첫 번째 용어와 두 번째 용어에 유사한 적어도 하나의 용어를 포함하는 문서의 세트의 각각의 식별에 대한 질의를 풀-텍스트 검색 시스템으로 송신하는 단계(618)를 포함한다. 몇 가지 실시형태들에서, 유사성 엔진(304)은 두 번째 용어를 질의 모듈(601)로 제공한다. 유사성 엔진이 유사성 임계를 초과하는, 첫 번째 용어로의 유사성의 레벨을 가지는 복수 개의 용어를 제공할 수 있다는 것이 이해될 것이다. 다른 실시형태들에서, 질의 모듈(601)은 하나 이상의 검색 용어를 포함하는 질의를 제삼자 기업 검색 시스템으로 송신하기 위하여 사용되는 하나 이상의 애플리케이션 프로그래밍 인터페이스를 포함할 수 있다.

방법(600)은, 질의 확장 모듈에 의하여, 문서의 세트의 각각의 식별을 제 3 컴퓨팅 디바이스로 송신하는 단계(620)를 포함한다.

이제 도 6c를 참조하면, 흐름도는 풀-텍스트 검색 시스템의 질의를 확장하기 위한 방법(650)의 일 실시형태를 나타낸다. 간략한 개관에서, 방법(650)은 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(652)를 포함한다. 방법(650)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(654)를 포함한다. 방법(600)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(656)를 포함한다. 방법(650)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(658)를 포함한다. 방법(650)은, 표현 생성기에 의하여, 각각의 용어에 대한 발생 정보를 사용하여 나열 내의 각각의 용어에 대한 성긴 분포된 표현(SDR)을 생성하는 단계(660)를 포함한다. 방법(650)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(662)를 포함한다. 방법(650)은, 제 2 컴퓨팅 디바이스에서 실행되는 질의 확장 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 용어를 수신하는 단계(664)를 포함한다. 방법(650)은, 제 4 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 첫 번째 용어의 제 1 SDR과 SDR 데이터베이스로부터 취출된 두 번째 용어의 제 2 SDR 사이의 의미 유사성의 레벨을 결정하는 단계(666)를 포함한다. 방법(650)은, 질의 확장 모듈에 의하여 두 번째 용어를 제 3 컴퓨팅 디바이스로 송신하는 단계(668)를 포함한다.

일 실시형태에서, 단계 652 내지 666은 단계 602 내지 614와 관련하여 전술된 바와 같이 수행된다. 그러나, 유사성 엔진에 의해 식별된 용어 또는 용어들을 기업 검색 시스템으로 직접적으로 제공하는 대신에, 방법(650)은 질의 확장 모듈에 의하여 두 번째 용어를 제 3 컴퓨팅 디바이스로 송신하는 단계(668)를 포함한다. 이러한 방법에서, 제 3 컴퓨팅 디바이스의 사용자는 질의가 기업 검색 시스템으로 송신되기 이전에 제 2 용어를 리뷰하거나 수정할 수 있다. 몇 가지 실시형태들에서, 사용자는 질의에 대해 추가적으로 제어하고자 한다. 다른 실시형태들에서, 사용자는 스스로 질의를 실행하는 것을 선호한다. 추가적인 실시형태에서, 사용자는 질의의 송신 이전에 시스템에 의해 식별된 용어를 수정하려고 한다. 또 다른 실시형태에서, 식별된 용어를 사용자에게 제공하면, 시스템은 식별된 용어와 관련된 피드백을 사용자로부터 요청할 수 있게 된다. 이러한 실시형태들 중 하나에서, 예를 들어 사용자는 제 2 용어를 식별할 때 유사성 엔진의 정확도의 등급을 매길 수 있다. 이러한 실시형태들 중 다른 것에서, 일 예로서, 사용자는 제 2 용어가 사용자가 소정 레벨의 관심을 가지는 용어의 타입(예를 들어, 제 2 용어는 사용자가 전문성의 영역을 현재 조사하거나 개발하고 있는 타입임)이라는 표시를 제공한다.

몇 가지 실시형태들에서, 적어도 하나의 부울 논리식을 평가하는 방법은, 표현 엔진(310)에 의하여, 적어도 하나의 데이터 아이템과 적어도 하나의 부울 연산자를 수신하는 단계를 포함한다. 이러한 방법은 도 2와 관련하여 전술된 바와 같은 기능성(202 내지 214)을 수행하는 단계를 포함한다. 일 실시형태에서, 표현 엔진(310)은 사용자가 부울 연산자와 부호를 사용하여 결합시킨 복수 개의 데이터 아이템을 수신한다. 예를 들어, 사용자는 "jaguar SUB porsche"와 같은 어구를 제출할 수 있고, 표현 엔진(310)은 이러한 어구를 평가하고 해당 표현에 대한 SDR의 수정된 버전을 생성할 것이다. 그러므로, 다른 실시형태에서, 표현 엔진(310)은 수신된 어구 내의 제 1 데이터 아이템에 대한 제 1 SDR(118)을 생성한다. 또 다른 실시형태에서, 표현 엔진(310)은 수신된 어구 내의 부울 연산자를 식별한다(예를 들어, 3-데이터 아이템 어구 내의 제 2 데이터 아이템이 부울 연산자라고 결정함으로써 또는 수신된 어구 내의 각각의 데이터 아이템을 부울 연산자의 나열과 비교하여 어떤 데이터 아이템이 부울 연산자인지 여부를 결정함으로써). 표현 엔진(310)은 식별된 부울 연산자를 평가하여 제 1 데이터 아이템을 어떻게 수정할지를 결정한다. 예를 들어, 표현 평가기(310)는 부울 연산자 "SUB"가 수신된 어구 내에 포함되어 있다고 결정할 수 있다; 그러면 표현 엔진(310)은 부울 연산자에 후속하는 데이터 아이템(예를 들어, 위의 예시적 어구에서 'porsche')에 대한 제 2 SDR을 생성하기로 결정하고, 제 2 SDR에서 나타나는 제 1 SDR로부터 포인트를 제거함으로써 제 3 SDR을 생성할 수 있다. 그러면 제 3 SDR은 제 2 데이터 아이템의 SDR을 포함하지 않는, 제 1 데이터 아이템의 SDR이 될 것이다. 이와 유사하게, 부울 연산자가 "AND"였다고 표현 엔진(310)이 결정했다면, 표현 엔진(310)은 제 1 및 제 2 SDR에 공통인 포인트를 사용하는 것만으로 제 3 SDR을 생성할 것이다. 그러므로, 표현 엔진(310)은 데이터 아이템, 복합 데이터 아이템, 및 부울 연산자 및 괄호를 사용하여 조합된 SDR들을 받아들이고, 공식에 따른 식의 부울 결과를 반영하는 SDR을 반환한다. 결과적으로 얻어지는 수정된 SDR은 사용자에게 반환되거나 시스템(200) 내의 다른 엔진(예를 들어, 유사성 엔진(304)으로 제공될 수 있다. 비한정적으로, 부울 연산자는 AND, OR, XOR, NOT, 및 SUB를 포함한다는 것이 당업자에게 이해될 것이다.

몇 가지 실시형태들에서, 데이터 아이템의 복수 개의 서브-콘텍스트를 식별하기 위한 방법은, 명확화 모듈(306)에 의하여, 데이터 아이템을 수신하는 단계를 포함한다. 이러한 방법은 도 2와 관련하여 전술된 바와 같은 기능성(202 내지 214)을 수행하는 단계를 포함한다. 일 실시형태에서, 이러한 방법은 수신된 데이터 아이템에 대한 제 1 SDR을 생성하는 단계를 포함한다. 다른 실시형태에서, 이러한 방법은 제 1 SDR과 유사한 SDR을 가지는 데이터 아이템의 나열을 생성하는 단계를 포함한다; 예를 들어, 이러한 방법은 제 1 SDR을 유사성 엔진으로 제공하고 위에서 설명된 바와 같이 유사한 SDR의 나열을 요청하는 단계를 포함할 수 있다. 또 다른 실시형태에서, 이러한 방법은 제 1 SDR과 유사하지만 동일하지는 않은 나열된 SDR 중 하나를 분석하고, 나열된 SDR에서 역시 발생되는 포인트(예를 들어, 세트 비트)를 제 1 SDR로부터 제거하여(예를 들어, 이진 감산을 통해) 수정된 SDR을 생성하는 단계를 포함한다. 다른 실시형태에서, 이러한 방법은, 방법에 의하여 유사한 SDR의 나열의 각각에 발생되는 모든 포인트가 제 1 SDR로부터 제거될 때까지, 제 1 SDR 및 유사한(하지만 동일하지는 않은) SDR 양자 모두에서 발생되는 포인트를 제거하는 프로세스를 반복하는 단계를 포함한다. 일 예로서는, 데이터 아이템 "apple"과 유사한 데이터 아이템에 대한 요청이 수신되면, 시스템은 "macintosh", 및 "iphone", "운영 체제"와 같은 데이터 아이템을 반환할 수 있다; 사용자가 표현 "apple SUB macintosh" 를 제공하고 잔여 포인트로부터 유사한 데이터를 요청한다면, 시스템은 "fruit", "plum", "orange", "banana"와 같은 데이터 아이템을 반환할 수 있다. 이러한 예를 계속 설명하면, 이제 사용자가 표현 "apple SUB macintosh SUB fruit"을 제공하고 유사한 데이터 아이템에 대한 요청을 반복한다면, 시스템은 "레코드", "비틀즈", 및 "팝 음악"와 같은 데이터 아이템을 반환할 수 있다. 몇 가지 실시형태들에서, 이러한 방법은 유사한 SDR의 포인트를 전체 SDR 대신에 제 1 SDR 내의 최대 클러스터로부터 감산하는 것을 포함하여, 더 최적화된 솔루션을 제공한다.

몇 가지 실시형태들에서, 위에서 표시된 바와 같이, 데이터 아이템이란 워드가 아닌 아이템을 가리킬 수도 있다. 일 예로서는, 시스템(300)(예를 들어, 유사성 엔진(304)은 수치에 대한 SDR을 생성하고, SDR을 다른 수치로부터 생성된 참조 SDR과 비교하며, 사용자에게 유사한 데이터 아이템의 나열을 제공할 수도 있다. 비한정적인 예로서, 시스템(300)(예를 들어, 유사성 엔진(304)은 데이터 아이템 "100.1"에 대한 SDR을 생성하고 해당 SDR이 감염성 발열 증상이 있다고 진단된 환자와 연관된 데이터 아이템에 대한 SDR과 유사한 패턴을 가진다고 결정할 수 있다(예를 들어, 의사 또는 헬스케어 엔티티가 본 명세서에서 설명되는 방법 및 시스템을 구현하는 실시형태에서, 데이터 아이템은 체온 또는 임의의 다른 특성과 같은 환자의 물리적 특성에 기초하여 생성되고, 시스템은 해당 데이터 아이템 100.1)에 대한 SDR과 해당 데이터 아이템의 식별 사이의 연관성을 발열 증상이 있는 환자에 대한 참조 데이터 아이템으로서 저장할 수 있음). 데이터 아이템이 유사한 패턴을 가진다고 결정하면, 동적으로 생성된 SDR과 참조 SDR 사이의 공통성을 식별하는 기능성이 제공되며, 사용자가 특정 데이터 아이템의 중요성(import)을 더 잘 이해하게 한다. 그러므로, 몇 가지 실시형태들에서, 참조 SDR은 적합한(qualified) 진단에 링크되어, 새로운 환자의 SDR 프로파일을 진단된 패턴에 대해 매칭시키고 그로부터 새로운 환자에 대한 가능한 진단들의 모자이크를 추론할 수 있게 한다. 이러한 실시형태들 중 하나에서, 잠재적인 진단들의 이러한 콜렉션을 모음으로써, 사용자는 포인트들(예를 들어, 데이터 아이템의 의미 피쳐)이 어디에서 중첩 및/또는 매칭되는지를 "알 수 있게(see)"될 수 있다. 이러한 실시형태에서, 새로운 환자의 SDR 패턴에 대한 가장 유사한 진단이 예측된 진단이다.

비한정적인 다른 예로서, 데이터 문서의 세트(104)는 비행기 센서에 의해 생성된 캡쳐된 비행 데이터의 로그(log)(예를 들어 비행에 대한 백과사전 엔트리에 반대)를 포함할 수 있다; 캡쳐된 데이터의 로그는 영수치 데이터 아이템을 포함할 수 있거나, 주로 수치 데이터일 수 있다. 이러한 예에서, 시스템(100)은 변수(예를 들어, 임의의 타입의 비행 데이터와 연관된 변수)의 SDR을 생성하는 기능성을 제공하고, 생성된 SDR을 참조 SDR(예를 들어, 데이터 아이템이 생성되었던 비행에 대한 사실, 예를 들어 비행이 고도의 특정 레벨이었거나 너무 높거나 너무 낮은 고도의 특성을 가졌다는 사실과 같이 특정한 특성을 가지는 것으로 알려진 참조 아이템으로서 사용되는 데이터 아이템의 SDR)과 비교할 수 있다. 다른 예로서, 시스템(100)은 "500(도)"에 대한 제 1 SDR을 생성하고, 제 1 SDR이 "28,000(피트)"에 대한 제 2 SDR과 유사하다고 결정할 수 있다. 그러면 시스템(100)은 제 2 SDR이 비행의 특성(예를 들어, 너무 높음, 너무 낮음, 너무 고속임, 등)을 표시하는 데이터 아이템에 대한 참조 SDR이라고 결정하고, 따라서 데이터 아이템 "500"과 함께 시작했던 사용자에게 데이터 아이템의 중요성을 이해하게 할 수 있다.

몇 가지 실시형태들에서, 제출된 텍스트의 주제 구조(topical structure)를 존중하면서 문서를 부분들(또한 본 명세서에서 슬라이스라고도 불림)로 분할하기 위한 방법이 제공된다. 일 실시형태에서, 데이터 아이템 모듈(308)은 주제 슬라이스로 분할될 문서를 수신한다. 다른 실시형태에서, 데이터 아이템 모듈(308)은 제 2 위치와 다른 의미 지문을 가지는 문서 내의 위치를 식별하고 해당 문서를 하나는 제 1 위치를 다른 하나는 제 2 위치를 포함하는 두 개의 슬라이스로 분할한다. 이러한 방법은 도 2와 관련하여 전술된 바와 같은 기능성(202 내지 214)을 수행하는 단계를 포함한다. 일 실시형태에서, 이러한 방법은 문서 내의 각각의 문장(예를 들어, 마침표로 한정된 스트링)에 대한 SDR(118)을 생성하는 단계를 포함한다. 다른 실시형태에서, 이러한 방법은 제 1 문장의 제 1 SDR(118a)을 제 2 문장의 제 2 SDR(118b)과 비교하는 단계를 포함한다. 예를 들어, 이러한 방법은 두 개의 SDR을 비교하기 위해 유사성 엔진(304)으로 송신하는 단계를 포함할 수 있다. 또 다른 실시형태에서, 이러한 방법은 두 개의 SDR들 사이의 거리가 미리 결정된 임계를 초과할 경우 문서 내에서 제 1 문장 뒤에 브레이크(break)를 삽입하는 단계를 포함한다. 다른 실시형태에서, 이러한 방법은 두 개의 SDR들 사이의 거리가 미리 결정된 임계를 초과하지 않을 경우 문서에 브레이크를 삽입하지 않기로 결정하는 단계를 포함한다. 또 다른 실시형태에서, 이러한 방법은 제 2 문장과 후속 문장을 비교하는 것을 반복하는 단계를 포함한다. 다른 실시형태에서, 이러한 방법은 문서의 끝에 도달할 때까지 문장들 사이의 비교를 반복하면서 문서 전체에 걸쳐 반복하는 단계를 포함한다. 또 다른 실시형태에서, 이러한 방법은 삽입된 브레이크를 사용하여 문서의 슬라이스를 생성하는 것(예를 들어, 삽입된 제 1 브레이크까지의 문서의 섹션을 제 1 슬라이스로서 반환함)을 포함한다. 몇 가지 실시형태들에서, 하나의 문서보다는 복수 개의 더 작은 슬라이스를 가지는 것이 선호되지만, 문서를 임의로 분할하면(예를 들어, 길이 또는 워드수로) 비효율적이거나 주제-기초 분할보다 유용하지 않을 수 있다. 이러한 실시형태들 중 하나에서, 문장의 복합 SDR들을 비교함으로써, 시스템(300)은 문서의 주제가 어디에서 변경되었는지를 결정하여 논리적 분할 포인트를 생성할 수 있다. 이러한 실시형태들 중 다른 것에서, 시스템(300)은 종래의 인덱스에 추가하여 의미 지문 인덱스를 제공할 수 있다. 주제 슬라이싱의 추가적인 예들이 도 7a 내지 도 7b와 관련하여 후술된다.

이제 도 7a를 도 7b와 함께 참조하면, 블록도는 주제-기초 문서를 풀-텍스트 검색 시스템으로 제공하기 위한 시스템(700)의 일 실시형태를 나타낸다. 간략한 개관에서, 시스템(700)은 요소들을 포함하고, 도 1a 내지 도 1c 및 도 3과 관련하여 전술된 바와 같은 기능성을 제공한다. 시스템(700)은 주제 슬라이싱 모듈(702)을 더 포함한다. 일 실시형태에서, 주제 슬라이싱 모듈(702)은 문서를 수신하고, 수신된 문서에 대한 SDR들의 생성을 지시하며, 유사성의 임계 레벨보다 낮은 레벨을 가지는 문장들이 상이한 문서 또는 다른 데이터 구조 내에 배치되는 서브-문서(sub-documents)의 생성을 지시한다. 다른 실시형태에서, 주제 슬라이싱 모듈(702)은 제삼자에 의해 제공된 기업 검색 시스템과 통신한다. 몇 가지 실시형태들에서, 주제 슬라이싱 모듈(702)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 주제 슬라이싱 모듈(702)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 또 다른 실시형태에서, 주제 슬라이싱 모듈(702)은 머신(10b)에서 실행된다.

도 7a 및 도 7b를 계속 참조하면, 흐름도는 주제-기초 문서를 풀-텍스트 검색 시스템으로 제공하기 위한 방법(750)의 일 실시형태를 나타낸다. 방법(750)은 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(752)를 포함한다. 방법(750)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(754)를 포함한다. 방법(750)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(756)를 포함한다. 방법(750)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(758)를 포함한다. 방법(750)은, 표현 생성기에 의하여, 발생 정보를 사용하여 나열 내의 각각의 용어에 대한 성긴 분포된 표현(SDR)을 생성하는 단계(760)를 포함한다. 방법(750)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(762)를 포함한다. 방법(750)은, 제 2 컴퓨팅 디바이스에서 실행되는 주제 슬라이싱 모듈에 의하여, 기업 검색 시스템과 연관된 제 3 컴퓨팅 디바이스로부터, 문서의 제 2 세트를 수신하는 단계(764)를 포함한다. 방법(750)은, 표현 생성기에 의하여, 문서의 제 2 세트 내의 각각의 문장에 대한 복합 SDR을 생성하는 단계(766)를 포함한다. 방법(750)은, 제 2 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 제 1 문장의 제 1 복합 SDR과 제 2 문장(768)의 제 2 복합 SDR 사이의 거리를 결정하는 단계를 포함한다. 방법(750)은, 주제 슬라이싱 모듈에 의하여, 제 1 문장을 포함하는 제 2 문서와 제 2 문장을 포함하는 제 3 문서를 결정된 거리에 기초하여 생성하는 단계(770)를 포함한다. 방법(750)은, 주제 슬라이싱 모듈에 의하여, 제 2 문서 및 제 3 문서를 제 3 컴퓨팅 디바이스로 송신하는 단계(772)를 포함한다.

일 실시형태에서, 단계 752 내지 762은 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

방법(750)은, 제 2 컴퓨팅 디바이스에서 실행되는 주제 슬라이싱 모듈에 의하여, 기업 검색 시스템과 연관된 제 3 컴퓨팅 디바이스로부터, 문서의 제 2 세트를 수신하는 단계(764)를 포함한다. 일 실시형태에서, 주제 슬라이싱 모듈(702)은 처리할 문서의 제 2 세트 처리를 수신하여, 기업 검색 시스템에 의한 인덱싱에 대해 최적화된 문서의 제 2 세트의 버전을 생성하는데, 이것은 종래의 검색 시스템일 수도 있다. 일 실시형태에서, 주제 슬라이싱 모듈(702)은 처리할 문서의 제 2 세트 처리를 수신하여, 도 9a 및 도 9b와 관련하여 상세히 후술될 시스템(700)에 의해 제공되는 검색 시스템에 의한 인덱싱에 대해 최적화된 문서의 제 2 세트의 버전을 생성한다. 몇 가지 실시형태들에서, 문서의 수신된 제 2 세트는 하나 이상의 XML 문서를 포함한다. 예를 들어, 개선된 인덱싱을 위해, 제 3 컴퓨팅 디바이스는 하나 이상의 기업 문서를 XML 문서로 변환하였다.

방법(750)은, 표현 생성기에 의하여, 문서의 제 2 세트 내의 각각의 문장에 대한 복합 SDR을 생성하는 단계(766)를 포함한다. 도 2와 관련하여 전술된 바와 같이, 어구, 문장, 문단, 또는 데이터 아이템의 다른 조합이 개개의 SDR의 "연합 특징(union property)" 을 반영하는 단일 SDR(예를 들어, 문장 내의 각 단어의 SDR들의 조합)로 변환될 필요가 있으면, 시스템(100)은 각각의 개개의 데이터 아이템을 그것의 SDR로 변환하고(단일 SDR 생성하거나 이전에 생성된 SDR을 취출함으로써), 이진 OR 동작을 사용하여 개개의 SDR로부터 단일 복합 SDR을 형성할 수 있고, 이러한 결과는 희소화 모듈(116)에 의하여 희소화될 수 있다.

방법(750)은, 제 2 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 제 1 문장의 제 1 복합 SDR과 제 2 문장(768)의 제 2 복합 SDR 사이의 거리를 결정하는 단계를 포함한다. 일 실시형태에서, 유사성 엔진은 도 4와 관련하여 전술된 바와 같이(416) 거리를 결정한다.

방법(750)은, 주제 슬라이싱 모듈에 의하여, 제 1 문장을 포함하는 제 2 문서와 제 2 문장을 포함하는 제 3 문서를 결정된 거리에 기초하여 생성하는 단계(770)를 포함한다. 주제 슬라이싱 모듈은 유사성 엔진에 의해 결정된 거리가 유사성에 대한 임계를 초과한다는 것과, 따라서 제 2 문장이 제 1 문장과는 상이한 주제에 관련되고, 그러므로 상이한 문서(또는 다른 데이터 구조)로 가야 한다고 결정할 수 있다. 다른 실시형태들에서, 유사성 엔진은 결정된 거리(도 4와 관련하여 전술된 바와 같이)에 기초하여 주제 슬라이싱 모듈(702)에 제 1 문장과 제 2 문장 사이의 유사성의 레벨의 식별을 제공하고, 주제 슬라이싱 모듈(702)은 이러한 유사성의 레벨이 유사성의 임계 레벨을 만족하지 않는다는 것과, 제 2 문장을 제 1 문장과 상이한 문서에 삽입하기로 결정한다. 이에 반해, 다른 실시형태들에서, 주제 슬라이싱 모듈(702)은 결정된 거리(및/또는 유사성의 레벨)가 유사성 임계를 만족한다고, 그리고 제 1 문장과 제 2 문장이 주제에 있어서 유사하고 단일 문서 내에 함께 있어야 한다고 결정한다.

또 다른 실시형태에서, 이러한 방법은 제 2 문장과 후속 문장을 비교하는 것을 반복하는 단계를 포함한다. 다른 실시형태에서, 이러한 방법은 문서의 끝에 도달할 때까지 문장들 사이의 비교를 반복하면서 문서 전체에 걸쳐 반복하는 단계를 포함한다.

방법(750)은, 주제 슬라이싱 모듈에 의하여, 제 2 문서 및 제 3 문서를 제 3 컴퓨팅 디바이스로 송신하는 단계(772)를 포함한다.

이제 도 8b를 도 8a와 함께 참조하면, 흐름도는 텍스트 문서로부터 키워드를 추출하기 위한 방법(850)의 일 실시형태를 나타낸다. 방법(850)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(852)를 포함한다. 방법(850)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(854)를 포함한다. 방법(850)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(856)를 포함한다. 방법(850)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(858)를 포함한다. 방법(850)은, 표현 생성기에 의하여, 발생 정보를 사용하여 나열 내의 각각의 용어에 대한 성긴 분포된 표현(SDR)을 생성하는 단계(860)를 포함한다. 방법(850)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(862)를 포함한다. 방법(850)은, 제 2 컴퓨팅 디바이스에서 실행되는 키워드 추출 모듈에 의하여, 풀-텍스트 검색 시스템과 연관된 제 3 컴퓨팅 디바이스로부터, 문서의 제 2 세트로부터 문서를 수신하는 단계(864)를 포함한다. 방법(850)은, 표현 생성기에 의하여, 수신된 문서 내의 각각의 용어에 대한 적어도 하나의 SDR을 생성하는 단계(866)를 포함한다. 방법(850)은, 표현 생성기에 의하여, 수신된 문서에 대한 복합 SDR을 생성된 적어도 하나의 SDR에 기초하여 생성하는 단계(868)를 포함한다. 방법(850)은, 키워드 추출 모듈에 의하여, 결합될 경우 해당 문서에 대한 복합 SDR에 대해 의미 유사성의 소정 레벨을 가지는 복합 SDR을 생성하는 복수 개의 용어 SDR들을 선택하는 것을 포함하는데, 이러한 의미 유사성의 레벨은 임계를 만족한다(870). 방법(850)은, 키워드 추출 모듈에 의하여, 수신된 문서의 키워드 필드가 복수 개의 용어를 포함하도록 수정하는 단계(872)를 포함한다. 방법(850)은, 키워드 추출 모듈에 의하여, 수정된 문서를 제 3 컴퓨팅 디바이스로 송신하는 단계(874)를 포함한다.

일 실시형태에서, 단계 852 내지 862은 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

일 실시형태에서, 시스템(800)은 요소들을 포함하고, 도 1a 내지 도 1c 및 도 3과 관련하여 전술된 바와 같은 기능성을 제공한다. 시스템(800)은 키워드 추출 모듈(802)을 더 포함한다. 일 실시형태에서, 키워드 추출 모듈(802)은 문서를 수신하고, 수신된 문서에 대한 SDR의 생성을 지시하며, 수신된 문서에 대한 키워드를 식별하고, 수신된 문서가 식별된 키워드를 포함하도록 수정한다. 다른 실시형태에서, 키워드 추출 모듈(802)은 제삼자에 의해 제공된 기업 검색 시스템과 통신한다. 몇 가지 실시형태들에서, 키워드 추출 모듈(802)은 적어도 부분적으로 소프트웨어 프로그램으로서 구현된다. 다른 실시형태들에서, 키워드 추출 모듈(802)은 적어도 부분적으로 하드웨어 모듈로서 구현된다. 또 다른 실시형태에서, 키워드 추출 모듈(802) 머신(102b)에서 실행된다.

방법(850)은, 제 2 컴퓨팅 디바이스에서 실행되는 키워드 추출 모듈에 의하여, 풀-텍스트 검색 시스템과 연관된 제 3 컴퓨팅 디바이스로부터, 문서의 제 2 세트로부터 문서를 수신하는 단계(864)를 포함한다. 일 실시형태에서, 키워드 추출 모듈(802)은 주제 슬라이싱 모듈(702)과 관련하여 도 7(단계 764)에서 설명된 것과 같이 문서를 수신한다.

방법(850)은, 표현 생성기에 의하여, 수신된 문서 내의 각각의 용어에 대한 적어도 하나의 SDR을 생성하는 단계(866)를 포함한다. 일 실시형태에서, 키워드 추출 모듈(802)은 수신된 문서 내의 각각의 용어를 표현 생성기(114)로 송신하여 적어도 하나의 SDR을 생성한다. 다른 실시형태에서, 키워드 추출 모듈(802)은 수신된 문서 내의 각각의 용어를 적어도 하나의 SDR을 생성하기 위해 지문 모듈(302)로 송신한다.

몇 가지 실시형태들에서, 키워드 추출 모듈(802)은 문서를 문서 내의 각각의 문장에 대한 복합 SDR을 생성하라는 요청과 함께 지문 모듈(302)로 송신한다. 다른 실시형태들에서, 키워드 추출 모듈(802)은 문서를 문서 내의 각각의 문장에 대한 복합 SDR을 생성하라는 요청과 함께 표현 생성기(114)로 송신한다.

방법(850)은, 표현 생성기에 의하여, 수신된 문서에 대한 복합 SDR을 생성된 적어도 하나의 SDR에 기초하여 생성하는 단계(868)를 포함한다. 일 실시형태에서, 키워드 추출 모듈(802)은 표현 생성기(114)로부터 복합 SDR을 생성하도록 요청한다. 다른 실시형태에서, 키워드 추출 모듈(802)은 지문 모듈(302)로부터 복합 SDR을 생성하도록 요청한다.

방법(850)은, 키워드 추출 모듈에 의하여, 결합될 경우 해당 문서에 대한 복합 SDR에 대해 의미 유사성의 소정 레벨을 가지는 복합 SDR을 생성하는 복수 개의 용어 SDR들을 선택하는 것을 포함하는데, 이러한 의미 유사성의 레벨은 임계를 만족한다(870). 일 실시형태에서, 키워드 추출 모듈(802)은 문서에 대한 복합 SDR을 복수 개의 용어에 대한 SDR("용어 SDR")과 비교하고, 복수 개의 용어와 문서 자체 사이의 유사성의 레벨의 식별을 생성하도록 유사성 엔진(304)에 지시한다. 몇 가지 실시형태들에서, 키워드 추출 모듈(802)은, 유사성 엔진(304)이 용어 SDR들의 조합에 걸쳐서 반복하게 함으로써 임계를 만족시키는 복수 개의 용어를 식별하고, 문서에 대한 복합 SDR과의 비교를 생성하며, 문서와 용어의 각각의 조합 사이의 의미 유사성의 레벨의 나열을 반환한다. 이러한 실시형태들 중 다른 것에서, 키워드 추출 모듈(302)은 임계를 만족하는, 문서에 대한 의미 유사성의 레벨을 가지는 복수 개의 용어를 식별하고, 이것은 또한 가능한 최소한의 개수의 용어를 포함한다.

방법(850)은, 키워드 추출 모듈에 의하여, 수신된 문서의 키워드 필드가 복수 개의 용어를 포함하도록 수정하는 단계(872)를 포함한다. 위에서 표시된 바와 같이, 수신된 문서는 XML 문서와 같은 구조화된 문서일 수 있고, 키워드 추출 모듈(802)이 복수 개의 용어를 삽입할 수 있는 섹션을 가질 수 있다.

방법(850)은, 키워드 추출 모듈에 의하여, 수정된 문서를 제 3 컴퓨팅 디바이스로 송신하는 단계(874)를 포함한다.

위에서 설명된 바와 같이, 기업 검색 시스템은, 풀-텍스트 검색 시스템(122)과 관련하여 위에서 설명된 것들을 포함하는 종래의 검색 시스템의 구현예들(예를 들어, 루쎄네(Lucene)-기초 시스템, Xapian과 같은 오픈 소스 시스템, 오토노미(Autonomy) IDOL 또는 COGITO와 같은 상업적 시스템, 및 위에 상세히 언급된 다른 시스템)을 포함할 수 있다. 어구 "기업 검색 시스템" 및 "풀-텍스트 검색 시스템"은 본 명세서에서 상호교환가능하도록 사용될 수 있다. 도 6 내지 도 8에서 설명된 방법 및 시스템은 이러한 기업 시스템에 대한 개선예를 기술한다; 즉, 본 명세서에서 설명되는 방법 및 시스템을 구현함으로써, 이러한 기업 시스템이 이용가능해지게 하는 엔티티는 이용가능한 기능성을 향상시킬 수 있다(키워드를 추가함으로써 인덱싱이 더 효율적으로 이루어지게 하고, 사용자에 대한 질의 용어를 확장하며, 이들을 현존 시스템에 자동적으로 제공하는 등을 수행함). 그러나, 그들의 사용자에게 검색 시스템이 이용가능해지게 하는 엔티티는, 시스템을 전체적으로 대체하거나 제 1 실례에서 개선된 검색 시스템을 구현하려고 노력함으로써, 그들의 현존하는 시스템의 특정한 양태를 개선하는 것을 넘어 더 개선하기를 원할 수 있다. 그러므로, 몇 가지 실시형태들에서, 개선된 검색 시스템이 제공된다.

이제 도 9a를 참조하면, 블록도는 풀-텍스트 검색 시스템(902)을 구현하기 위한 시스템(900)의 일 실시형태를 나타낸다. 일 실시형태에서, 시스템(900)은 도 1a 내지 도 1c, 도 3, 도 6a, 도 7a, 및 도 8a와 관련하여 전술된 기능성을 포함한다. 검색 시스템(902)은 질의 모듈(601)을 포함하는데, 이것은 도 6a 및 도 6b와 관련하여 전술된 바와 같이 제공될 수 있다. 검색 시스템(902)은 문서 지문 인덱스(920)를 포함한다; 문서 지문 인덱스(920)는 SDR 데이터베이스(120)의 한 버전일 수 있다. 문서 지문 인덱스(920)는 메타데이터(예를 들어, 태그)를 더 포함할 수 있다. 검색 시스템(902)은 문서 유사성 엔진(304b)을 포함할 수 있다; 예를 들어, 문서 유사성 엔진(304b)은 검색 시스템(902)과 함께 동작하는 동안 시간이 지남에 따라서 정제되는 유사성 엔진(304)의 복제본일 수 있다. 검색 시스템(902)은 인덱서(910)를 포함하는데, 이것은 하드웨어 모듈 또는 소프트웨어 모듈로서 제공될 수 있다.

이제 도 9b를 도 9a와 함께 참조하면, 방법(950)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(952)를 포함한다. 방법(950)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(954)를 포함한다. 방법(950)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(956)를 포함한다. 방법(950)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(958)를 포함한다. 방법(950)은, 표현 생성기에 의하여, 발생 정보를 사용하여 나열 내의 각각의 용어에 대한 성긴 분포된 표현(SDR)을 생성하는 단계(960)를 포함한다. 방법(950)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(962)를 포함한다. 방법(950)은, 제 2 컴퓨팅 디바이스에서 실행되는 풀-텍스트 검색 시스템에 의하여, 제 2 문서의 세트를 수신하는 단계(964)를 포함한다. 방법(950)은, 표현 생성기에 의하여, 제 2 문서의 세트 내의 각각의 문서에 대한 적어도 하나의 SDR을 생성하는 단계(966)를 포함한다. 방법(950)은, 풀-텍스트 검색 시스템 내의 인덱서에 의해, 각각의 생성된 SDR을 문서 지문 인덱스 내에 저장하는 단계(968)를 포함한다. 방법(950)은, 검색 시스템 내의 질의 모듈에 의하여, 적어도 하나의 검색 용어를 제 3 컴퓨팅 디바이스로부터 수신하는 단계(970)를 포함한다. 방법(950)은, 질의 모듈에 의하여, 수신된 적어도 하나의 검색 용어의 SDR과 유사한 SDR을 가지는 문서 지문 인덱스 내의 적어도 하나의 용어에 대한 문서 지문 인덱스를 질의하는 단계(972)를 포함한다. 방법(950)은, 질의 모듈에 의하여, 질의의 결과를 제 3 컴퓨팅 디바이스로 제공하는 단계(974)를 포함한다.

방법(950)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(952)를 포함한다. 몇 가지 실시형태들에서, 데이터 문서의 세트가 선택되고, 클러스터링이 도 2와 관련하여 전술된 바와 같이(202) 발생된다. 위에서 도 1 내지 도 2와 관련하여 표시된 바와 같이, 본 명세서에서 설명되는 방법 및 시스템과 함께 사용되도록 시스템을 초기화할 때, 훈련 프로세스가 일어난다. 위에서 설명된 바와 같이, 참조 맵 생성기(106)는 데이터 문서의 적어도 하나의 세트를 사용하여 학습된다(특히, 데이터 문서의 세트 내의 각각의 문서의 문서 벡터를 사용함). 또한, 전술된 바와 같이, 문서의 세트의 의미 분해능이란 훈련 데이터에 기초하여 얼마나 많은 포지션이 이용가능한지를 가리키며, 이것은 몇 가지 양태들에서 훈련 데이터의 성질을 반영한다(일상적인 예를 들면, 이것은 얼마나 많은 "부동산"이 맵 상에 이용가능한지를 가리킬 수 있음). 의미 분해능을 증가시키기 위해, 그 외의 또는 추가적인 훈련 문서들이 사용될 수 있다. 그러므로, 참조 맵 생성기(106)를 훈련시키기 위한 수 개의 상이한 접근법들이 존재한다. 일 실시형태에서, 수신된 각각의 용어(예를 들어, 기업 문서 내의 용어)에 대한 SDR을 생성할 때 일반적인(generic) 훈련 말뭉치가 사용될 수 있다; 이러한 접근법에 대한 하나의 장점은 말뭉치가 하나 이상의 훈련 기준들을 만족시키도록 선택되었을 가능성이 높다는 것이지만, 단점은 이러한 말뭉치가 전문화된 기업 말뭉치(예를 들어, 전문 분야 또는 실무에서 특정 의미를 가지는 다수 개의 용어를 포함하는 고도의 기술적인 말뭉치)를 지원하기에 충분한 워드를 가질 수도, 가지지 않을 수도 있다는 것이다. 그러므로, 다른 실시형태에서, 기업 문서의 세트가 훈련 말뭉치로서 사용될 수 있다; 이러한 접근법에 대한 하나의 장점은 훈련용으로 사용되는 문서가 해당 기업에서 통용되는 임의의 고도로 기술적이거나 그렇지 않으면 전문화된 용어를 포함할 것이라는 점이지만, 단점은 기업 문서가 훈련 기준들을 만족시키지 않을 수 있다는 것이다(예를 들어, 충분한 양의 문서가 없을 수 있고, 그들이 충분하지 않게 길거나 다양하지 않을 수 있는 등의 이유로). 또 다른 실시형태에서, 일반적인 훈련 말뭉치 및 기업 말뭉치가 훈련 목적을 위해 결합된다. 또 다른 실시형태에서, 기술적 문서의 특수 세트가 식별되고 훈련 말뭉치로서 사용되도록 처리된다; 예를 들어, 이러한 문서는 주요 의학적 처치, 엔지니어링 사양, 또는 사용될 기업 문서에 관련된 전문분야의 다른 중요한 참고 자료를 포함할 수 있다. 일 예로서는, 참조 말뭉치는 처리되고 훈련용으로 사용될 수 있고, 그러면 결과적으로 얻어지는 엔진(101)은 본 명세서에서 설명되는 방법 및 시스템을 구현하려고 하는 기업에 개별적으로 허락된 훈련된 데이터베이스를 사용할 수 있다. 이러한 실시형태들은 도 9a 및 도 9b와 관련하여 논의된 실시형태에 적용될 수 있는 것과 같이 도 6 내지 도 8과 관련하여 논의된 실시형태에도 적용될 수 있다.

도 9b를 계속 설명하면, 몇 가지 실시형태들에서, 단계 954 내지 962은 도 1 내지 도 2와 관련하여 전술된 바와 같이 수행된다.

방법(950)은, 제 2 컴퓨팅 디바이스에서 실행되는 풀-텍스트 검색 시스템에 의하여, 제 2 문서의 세트를 수신하는 단계(964)를 포함한다. 일 실시형태에서, 문서의 제 2 세트는 기업 문서(예를 들어, 풀-텍스트 검색 시스템(902)을 구현하려고 하는 기업에 의해 생성되거나, 유지되거나, 액세스되거나, 그렇지 않으면 이와 관련되는 문서)를 포함한다. 다른 실시형태에서, 검색 시스템(902)은 하나 이상의 기업 문서가 검색될 수 있게 한다. 이를 수행하기 위해서는, 검색 시스템(902)은 하나 이상의 기업 문서를 인덱싱한다. 일 실시형태에서, 검색 시스템(902)은 기업 문서의 전처리를 지시한다(예를 들어, 주제 슬라이싱 모듈(702) 및/또는 키워드 추출 모듈(802)이 문서를 도 7b 및 도 8b와 관련하여 전술된 바와 같이 처리하게 함으로써). 다른 실시형태에서, 검색 시스템(902)은 문서의 각각에 대한 SDR의 생성을 훈련 말뭉치에 기초하여 지시한다(도 1 내지 도 2와 관련하여 전술된 바와 같이). 또 다른 실시형태에서, 각각의 문서에 대한 SDR을 생성한 후, 검색 시스템(902)은 질의 용어가 수신되는 검색 프로세스가 수행되게 했으며(예를 들어, 질의 입력 처리 모듈(607)에 의하여), SDR이 질의 용어에 대해 생성되고, 질의 SDR이 인덱싱된 SDR과 비교된다.

방법(950)은, 표현 생성기에 의하여, 제 2 문서의 세트 내의 각각의 문서에 대한 적어도 하나의 SDR을 생성하는 단계(966)를 포함한다. 일 실시형태에서, 검색 시스템(902)은 적어도 하나의 SDR이 생성되도록 문서를 지문 모듈(302)로 송신하는 기능성을 포함한다. 다른 실시형태에서, 검색 시스템(902)은 적어도 하나의 SDR이 생성되도록 문서를 표현 생성기(114)로 송신하는 기능성을 포함한다. 적어도 하나의 SDR은, 비한정적인 예로서, 문서 내의 각각의 용어에 대한 SDR, 문서의 서브섹션(예를 들어, 문장 또는 문단)에 대한 복합 SDR, 및 문서 자체에 대한 복합 SDR을 포함할 수 있다.

방법(950)은, 풀-텍스트 검색 시스템 내의 인덱서에 의해, 각각의 생성된 SDR을 문서 지문 인덱스 내에 저장하는 단계(968)를 포함한다. 일 실시형태에서, 생성된 SDR은, SDR이 위에서 논의된 SDR 데이터베이스(120) 내에 저장되었던 방식과 실질적으로 유사한 방식으로 문서 지문 인덱스(920) 내에 저장된다.

방법(950)은, 검색 시스템 내의 질의 모듈에 의하여, 적어도 하나의 검색 용어를 제 3 컴퓨팅 디바이스로부터 수신하는 단계(970)를 포함한다. 일 실시형태에서, 질의 모듈은 도 6a 및 도 6b와 관련하여 전술된 바와 같이 검색 용어를 수신한다.

방법(950)은, 질의 모듈에 의하여, 수신된 적어도 하나의 검색 용어의 SDR과 유사한 SDR을 가지는 문서 지문 인덱스 내의 적어도 하나의 용어에 대한 문서 지문 인덱스를 질의하는 단계(972)를 포함한다. 일 실시형태에서, 질의 모듈(601)은 문서 지문 인덱스(920)에 질의한다. 시스템(900)이 문서 유사성 엔진(304b)을 포함하는 다른 실시형태에서, 질의 모듈(601)은 문서 유사성 엔진(304b)이 문서 지문 인덱스(920) 내의 적어도 하나의 용어의 SDR을 식별하도록 지시한다. 또 다른 실시형태에서, 질의 모듈(601)은 머신(102b)에서 실행되는 유사성 엔진(304)이 용어를 식별하도록 지시한다. 다른 실시형태들에서, 질의 모듈(601)은 도 6a 및 도 6b와 관련하여 전술된 바와 같이 검색을 실행하지만, 질의를 외부 기업 검색 시스템으로 전송하는 대신에, 질의 모듈(601)은 질의를 시스템(900) 내의 컴포넌트로 전송한다.

방법(950)은, 질의 모듈에 의하여, 질의의 결과를 제 3 컴퓨팅 디바이스로 제공하는 단계(974)를 포함한다. 두 개 이상의 결과(예를 들어, 두 개 이상의 유사한 용어)가 존재하는 일부 실시형태들에서, 질의 모듈(601)은 우선 결과들의 순위를 매기거나 결과들의 순위를 매기도록 다른 모듈에게 지시한다. 랭킹은 종래의 랭킹 기법을 구현할 수 있다. 또는, 랭킹은 도 11a 및 도 11b와 관련하여 후술되는 방법을 실행하는 것을 포함할 수 있다.

몇 가지 실시형태들에서, 풀-텍스트 검색 시스템(902)은 사용자가 질의 결과에 대한 피드백을 제공할 수 있는 사용자 인터페이스(미도시)를 제공한다. 이러한 실시형태들 중 하나에서, 사용자 인터페이스는 결과가 유용한지 여부를 특정할 수 있게 하는 사용자 인터페이스 요소를 포함한다. 이러한 실시형태들 중 다른 것에서, 사용자 인터페이스는, 질의 모듈(601)이 질의 결과 중 하나를 사용하여 새로운 검색을 실행하게 하는 명령을 사용자가 제공할 수 있게 하는 사용자 인터페이스 요소를 포함한다. 이러한 실시형태들 중 또 다른 것에서, 사용자 인터페이스는, 사용자가 질의 결과 중 하나와 관련된 주제에 관심이 있고 질의 결과 및/또는 관련된 주제의 식별자를 사용자 또는 시스템(900) 중 하나에 의해 후속 참조되도록 저장하고자 한다는 것을 사용자가 특정할 수 있게 하는 사용자 인터페이스 요소를 포함한다.

일 실시형태에서, 시스템은 사용자가 실행하는 검색의 타입을 모니터링하고, 사용자가 제공한 검색 용어의 SDR의 분석에 기초하여 사용자에 대한 프로파일을 발전시키는 기능성을 제공할 수 있다. 이러한 실시형태에서, 프로파일은 사용자의 전문성의 레벨을 식별할 수 있고, 다른 사용자에게 제공될 수 있다.

이제 도 10a 및 도 10b를 참조하면, 블록도는 사용자 전문성을 이전의 검색 결과에 기초하여 사용자 전문성에 대한 요청과 매칭시키기 위한 시스템의 실시형태를 나타낸다. 도 10a는 사용자 전문성 프로파일을 발전시키기 위한 기능성(예를 들어, 사용자 전문성 프로파일 모듈(1010)이 종래의 풀-텍스트 검색 시스템과 함께 제공되는 일 실시형태를 나타낸다. 도 10b는 사용자 전문성 프로파일을 발전시키기 위한 기능성(예를 들어, 사용자 전문성 프로파일 모듈(1010)이 풀-텍스트 검색 시스템(902)과 함께 제공되는 일 실시형태를 나타낸다. 도 10a 및 도 10b에 도시된 모듈들 각각은 하드웨어 모듈 또는 소프트웨어 모듈로서 제공될 수 있다.

이제 도 10c를 참조하면, 흐름도는 이전의 검색 결과에 기초하여 사용자 전문성을, 사용자 전문성에 대한 요청과 매칭하기 위한 방법(1050)의 일 실시형태를 나타낸다. 방법(1050)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(1052)를 포함한다. 방법(1050)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1054)를 포함한다. 방법(1050)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(1056)를 포함한다. 방법(1050)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1058)를 포함한다. 방법(1050)은, 표현 생성기에 의하여, 발생 정보를 사용하여 나열 내의 각각의 용어에 대한 성긴 분포된 표현(SDR)을 생성하는 단계(1060)를 포함한다. 방법(1050)은 생성된 SDR의 각각을 SDR 데이터베이스에 저장하는 단계(1062)를 포함한다. 방법(1050)은, 제 2 컴퓨팅 디바이스에서 실행되는 질의 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 적어도 하나의 용어를 수신하는 단계(1064)를 포함한다. 방법(1050)은, 제 2 컴퓨팅 디바이스에서 실행되는 사용자 전문성 프로파일 모듈에 의하여, 제 3 컴퓨팅 디바이스의 사용자의 식별자 및 적어도 하나의 용어를 저장하는 단계(1066)를 포함한다. 방법(1050)은, 표현 생성기에 의하여, 적어도 하나의 용어의 SDR을 생성하는 단계(1068)를 포함한다. 방법(1050)은, 사용자 전문성 프로파일 모듈에 의하여, 제 2 용어 및 유사한 용어와 연관된 사용자의 식별에 대한 요청을 제 4 컴퓨팅 디바이스로부터 수신하는 단계(1070)를 포함한다. 방법(1050)은, 유사성 엔진에 의하여, 적어도 하나의 용어의 SDR과 제 2 용어의 SDR 사이의 의미 유사성의 레벨을 식별하는 단계(1072)를 포함한다. 방법(1050)은, 사용자 전문성 프로파일 모듈에 의하여, 제 3 컴퓨팅 디바이스의 사용자의 식별자를 제공하는 단계(1074)를 포함한다.

일 실시형태에서, 단계 1052 내지 1062은 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

방법(1050)은, 제 2 컴퓨팅 디바이스에서 실행되는 질의 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 적어도 하나의 용어를 수신하는 단계(1064)를 포함한다. 일 실시형태에서, 질의 모듈(601)은 적어도 하나의 용어를 수신하고 도 6a 내지 도 6c 및 도 9a 및 도 9b와 관련하여 전술된 바와 같이 질의를 실행한다.

방법(1050)은, 제 2 컴퓨팅 디바이스에서 실행되는 사용자 전문성 프로파일 모듈에 의하여, 제 3 컴퓨팅 디바이스의 사용자의 식별자 및 적어도 하나의 용어를 저장하는 단계(1066)를 포함한다. 일 실시형태에서, 사용자 프로파일 모듈(1002)은 사용자의 식별자 및 적어도 하나의 용어를 질의 입력 처리 모듈(607)로부터 수신한다. 다른 실시형태에서, 사용자 전문성 프로파일 모듈(1010)은 사용자의 식별자 및 적어도 하나의 용어를 질의 입력 처리 모듈(607)로부터 수신한다. 또 다른 실시형태에서, 사용자 전문성 프로파일 모듈(1010)은 사용자의 식별자 및 적어도 하나의 용어를 데이터베이스에 저장한다. 예를 들어, 사용자 전문성 프로파일 모듈(1010)은 사용자의 식별자 및 적어도 하나의 용어를 사용자 전문성 SDR 데이터베이스(1012)에 저장한다(예를 들어, 적어도 하나의 용어의 SDR과 함께). 몇 가지 실시형태들에서, 이러한 방법은 사용자로부터 수신된 질의를 사용자 식별자 및 각각의 질의 용어(들)에 대한 SDR과 함께 로깅(logging)하는 단계를 포함한다. 몇 가지 실시형태들에서, 사용자 프로파일 모듈(1002)은 질의하는 사용자가 관련되었다고 표시했거나 그렇지 않으면 질의하는 사용자에게 관심 대상인 검색 결과의 식별을 수신하기 위한 기능성을 더 포함한다.

방법(1050)은, 표현 생성기에 의하여, 적어도 하나의 용어의 SDR을 생성하는 단계(1068)를 포함한다. 일 실시형태에서, 사용자 전문성 프로파일 모듈(1010)은 적어도 하나의 데이터 아이템을 SDR이 생성되도록 지문 모듈(302)로 송신한다. 다른 실시형태에서, 사용자 전문성 프로파일 모듈(1010)은 적어도 하나의 용어를 SDR이 생성되도록 표현 생성기(114)로 송신한다.

몇 가지 실시형태들에서, 사용자 전문성 프로파일 모듈(1010)은 사용자가 시간에 따라 질의함에 따라서 복수 개의 데이터 아이템을 수신한다. 이러한 실시형태들 중 하나에서, 사용자 전문성 프로파일 모듈(1010)은 제 1 질의 용어의 SDR을 제 2 질의 용어의 SDR과 결합하는 복합 SDR의 생성을 지시한다; 결과적으로 얻어지는 복합 SDR은 사용자가 하는 질의의 타입을 더 정확하게 반영하며, 시간이 지남에 따라서 더 많은 SDR들이 복합 SDR에 추가됨에 따라, 복합 SDR은 사용자의 전문성의 영역을 더 정확하게 반영할 것이다.

방법(1050)은, 사용자 전문성 프로파일 모듈에 의하여, 제 2 용어 및 유사한 용어와 연관된 사용자의 식별에 대한 요청을 제 4 컴퓨팅 디바이스로부터 수신하는 단계(1070)를 포함한다. 몇 가지 실시형태들에서, 유사한 데이터 아이템과 연관된 사용자의 식별에 대한 요청은 명시적이다. 다른 실시형태들에서, 사용자 전문성 프로파일 모듈(1010)은 이러한 식별을 서비스로서 제 4 컴퓨팅 디바이스의 사용자에게 제공한다. 일 예로서는, 사용자가 인증하고 있는 백색 종이에 있는 질의 용어에 유사한 문서들에 대한 검색을 수행하는 제 4 컴퓨팅 디바이스의 사용자는, 선택된 질의 용어에 유사한 주제에서 전문성을 발전시켜온 다른 사용자의 식별을 요청할 수 있다(또는 이를 수신할 옵션이 제공될 수 있음). 일 예로서는, 이러한 기능성은, 해당 전문성이 공식적 타이틀, 직업 설명, 또는 역할의 일부인지 여부와 무관하게, 특정 주제에서 전문성을 발전시켜 온 사람들을 사용자가 식별할 수 있게 하여, 공식적 데이터 또는 구전(word of mouth) 또는 개인적인 관계에만 의존해서는 종래에 구별하기가 어려웠던 정보가 쉽게 이용될 수 있게 한다. 전문성의 다수의 영역(예를 들어, 하나 이상의 질의 용어에 기초한 다수의 SDR)이 단일 사용자와 연관될 수 있기 때문에, 전문성의 일차 및 이차 영역에 대한 정보가 이용가능하다; 예를 들어, 비록 개인은 공식적으로 연구의 제 1 영역에 중점을 둘 수 있지만, 그는 연구의 제 2 영역으로 그들의 연구 잠재적인 확장에 대해 연구하는 한 주의 코스 동안에 일련의 질의를 수행할 수 있으며, 해당 제한된 시간 기간 동안에 얻어진 전문성이 다른 사용자에게 유용할 수 있다. 다른 예로서, 실제 관심 영역에 따라서 팀을 조직하거나 조직을 구성(또는 재구성)하고자 하는 개인은 사용자 전문성 프로파일 모듈(1010)의 기능성을 활용하여 그러한 개인의 필요에 관련된 전문성을 가지는 사용자를 식별할 수 있다.

방법(1050)은, 유사성 엔진에 의하여, 적어도 하나의 용어의 SDR과 제 2 용어의 SDR 사이의 의미 유사성의 레벨을 식별하는 단계(1072)를 포함한다. 일 실시형태에서, 유사성 엔진(304)은 제 2 머신(102b)에서 실행된다. 다른 실시형태에서, 유사성 엔진(304)이 검색 시스템(902)에 의해 제공되고 그 안에서 실행된다. 어떤 전문성 영역성을 가지는 개인을 식별하려고 하는 사용자로부터 질의 용어를 수신하면, 사용자 전문성 프로파일 모듈(1010)은 유사성 엔진(304)이 사용자 전문성 SDR 데이터베이스(1012)로부터 그러한 요청을 만족시키는 다른 사용자를 식별하게 지시할 수 있다.

방법(1050)은, 사용자 전문성 프로파일 모듈에 의하여, 제 3 컴퓨팅 디바이스의 사용자의 식별자를 제공하는 단계(1074)를 포함한다.

몇 가지 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템의 사용자는 질의 용어에 관련된 선호사항의 식별을 제공할 수 있다. 일 예로서, 질의 용어에 대해 검색하고자 하는 제 1 사용자는 질의 용어의 법률적인 양태에 관련된 문서 - 예를 들어, 소송, 특허 출원, 공개된 라이센스, 또는 다른 법률 문서에서 발견되는 것과 같은 질의 용어 또는 용어들의 사용 -에 관심이 있을 수 있고, 반면에 동일한 질의 용어에 대한 검색을 하고자 하는 제 2 사용자는 질의 용어의 과학적 양태에 관련된 문서- 예를 들어, 논문(white paper), 연구 공개서, 승인 신청서 또는 다른 과학적 문서에서 발견되는 것과 같은 질의 용어 또는 용어들의 사용에 관심이 있을 수 있다. 몇 가지 실시형태들에서, 본 명세서에서 설명되는 시스템은 이러한 선호사항을 식별하고, 결과들이(SDR 분석에 기초하여) 검색자에 의해 선호되는 문서의 타입에 가장 근접하게 검색 결과들의 순위를 매기는 기능성을 제공한다.

다시 도 10a 및 도 10b를 참조하면, 블록도는 사용자 선호사항에 기초하여 기업 검색 시스템으로부터 수신된 질의 결과를 의미에 따라 순위 결정하기 위한 시스템의 실시형태를 나타낸다. 도 10a는 의미에 따라 순위를 매기기 위한 기능성이 종래의 기업 검색 시스템으로부터의 결과들과 함께 제공되는 일 실시형태를 나타낸다. 도 10b는 의미에 따라 순위를 매기기 위한 기능성이 검색 시스템(902)으로부터의 결과들과 함께 제공되는 일 실시형태를 나타낸다.

도 10d는 풀-텍스트 검색 시스템으로부터 수신된 질의 결과에 사용자 프로파일에 기초하여 의미에 따라 순위를 매기기 위한 방법(1080)의 일 실시형태를 나타내는 흐름도이다. 방법(1080)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(1081)를 포함한다. 방법(1080)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1082)를 포함한다. 방법(1080)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(1083)를 포함한다. 방법(1080)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1084)를 포함한다. 방법(1080)은, 표현 생성기에 의하여, 발생 정보를 사용하여 나열 내의 각각의 용어에 대한 성긴 분포된 표현(SDR)을 생성하는 단계(1085)를 포함한다. 방법(1080)은 생성된 SDR의 각각을 SDR 데이터베이스에 저장하는 단계(1086)를 포함한다. 방법(1080)은, 제 2 컴퓨팅 디바이스에서 실행되는 질의 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 용어 및 복수 개의 선호사항 문서를 수신하는 단계(1087)를 포함한다. 방법(1080)은, 표현 생성기에 의하여 선호사항 문서에 대한 복합 SDR을 생성하는 단계(1088)를 포함한다. 방법(1080)은, 질의 모듈에 의하여, 제 1 용어와 유사한 결과 문서의 세트의 각각의 식별에 대한 질의를 풀-텍스트 검색 시스템으로 송신하는 단계(1089)를 포함한다. 방법(1080)은, 표현 생성기에 의하여, 결과 문서의 세트 내에서 식별된 문서들 각각에 대한 SDR을 생성하는 단계(1090)를 포함한다. 방법(1080)은, 유사성 엔진에 의하여, 결과 문서의 세트의 각각에 대해 생성된 각각의 SDR과 복합 SDR 사이의 의미 유사성의 레벨을 결정하는 단계(1091)를 포함한다. 방법(1080)은, 제 2 컴퓨팅 디바이스에서 실행되는 랭킹 모듈에 의하여, 결과 문서의 세트 내의 적어도 하나의 문서의 순서를 의미 유사성의 결정된 레벨에 기초하여 수정하는 단계(1092)를 포함한다. 방법(1080)은, 질의 모듈에 의하여, 결과 문서의 세트의 각각의 식별을 수정된 순서로 제 3 컴퓨팅 디바이스로 제공하는 단계(1093)를 포함한다.

일 실시형태에서 단계 1081 내지 1086은 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

방법(1080)은, 제 2 컴퓨팅 디바이스에서 실행되는 질의 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 용어 및 복수 개의 선호사항 문서를 수신하는 단계(1087)를 포함한다. 일 실시형태에서, 질의 입력 처리 모듈(607)은 제 1 용어를 도 6a 및 도 6b 및 도 9a 및 도 9b와 관련하여 전술된 바와 같이 수신한다. 다른 실시형태에서, 질의 입력 처리 모듈(607)은 제 3 컴퓨팅 디바이스의 사용자가 하나 이상의 선호사항 문서를 제공(예를 들어, 업로드)할 수 있게 하는 사용자 인터페이스 요소(미도시)를 제공한다. 선호사항 문서는 검색하는 사용자가 관심을 가지는 문서의 타입을 나타내는 하나 이상의 데이터 아이템을 포함하는, 임의의 타입 또는 형태의 데이터 구조일 수 있다. 일 예로서는, 과학 연구자는 그의 검색 목적이 주어질 경우 관련되거나 선호된다고 과학 연구자가 간주할 문서의 타입의 스타일 및/또는 콘텐츠를 반영하는 다수 개의 연구 문서를 제공할 수 있다. 다른 예로서, 변호사는 그의 검색 목적이 주어질 경우 관련되거나 선호된다고 변호사가 간주할 문서의 타입의 스타일 및/또는 콘텐츠를 반영하는 다수 개의 법률 문서를 제공할 수 있다. 더욱이, 시스템은, 사용자가 선호사항 문서의 상이한 세트에 상이한 검색을 제공하게 하는 기능성을 제공할 수 있어서, 사용자가 다른 때에 다른 연구와 함께 사용할 상이한 선호사항 프로파일을 생성하게 할 수 있다 - 예를 들어, 상이한 선호사항 프로파일은 제 2의 다른 주제에 중점을 둔 과학적 검색과 관련되는 것이 아니라, 연구의 제 1 주제에 중점을 둔 과학적 검색에 대해 관련성을 가질 수 있다.

방법(1080)은, 표현 생성기에 의하여 선호사항 문서에 대한 복합 SDR을 생성하는 단계(1088)를 포함한다. 일 실시형태에서, 사용자 선호사항 모듈(1004)은 복합 SDR의 생성을 지시한다. 예를 들어, 사용자 선호사항 모듈(1004)은 선호사항 문서를 복합 SDR이 생성되도록 지문 모듈(302)로 송신할 수 있다. 다른 예로서, 사용자 선호사항 모듈(1004)은 선호사항 문서를 복합 SDR이 생성되도록 표현 생성기(114)로 송신할 수 있다. 개개의 선호사항 문서의 SDR들을 결합시키는 복합 SDR은 개개의 문서의 복합 SDR들이 용어 SDR들로부터 생성되는 것과 동일한 방식으로 생성될 수 있다. 사용자 선호사항 모듈(1004)은 생성된 복합 SDR을 사용자 선호사항 SDR 데이터베이스(1006)에 저장할 수 있다.

방법(1080)은, 질의 모듈에 의하여, 제 1 용어와 유사한 결과 문서의 세트의 각각의 식별에 대한 질의를 풀-텍스트 검색 시스템으로 송신하는 단계(1089)를 포함한다. 질의 모듈(601)은 질의를 도 6a 및 도 6b와 관련하여 전술된 바와 같이 외부 기업 검색 시스템으로 송신할 수 있다. 또는, 질의 모듈(601)은 질의를 도 9a 및도 9B와 관련하여 전술된 바와 같이 검색 시스템(902)으로 송신할 수 있다.

방법(1080)은, 표현 생성기에 의하여, 결과 문서의 세트 내에서 식별된 문서들 각각에 대한 SDR을 생성하는 단계(1090)를 포함한다. 일 실시형태에서, 사용자 선호사항 모듈(1004)은 결과 문서의 세트를 검색 시스템(검색 시스템(902) 또는 제삼자 기업 검색 시스템 중 하나)으로부터 수신한다. 다른 실시형태에서, 사용자 선호사항 모듈(1004)은 유사성 엔진(304)이 수신된 결과 문서의 각각에 대한 SDR을 생성하도록 지시한다.

방법(1080)은, 유사성 엔진에 의하여, 결과 문서의 세트의 각각에 대해 생성된 각각의 SDR과 복합 SDR 사이의 의미 유사성의 레벨을 결정하는 단계(1091)를 포함한다. 일 실시형태에서, 유사성 엔진(304)은 제 2 머신(102b)에서 실행된다. 다른 실시형태에서, 유사성 엔진(304)이 검색 시스템(902)에 의해 제공되고 그 안에서 실행된다. 일 실시형태에서, 사용자 선호사항 모듈(1004)은 유사성 엔진(304)이 유사성의 레벨을 식별하도록 지시한다. 다른 실시형태에서, 사용자 선호사항 모듈(1004)은 유사성 엔진(304)으로부터 유사성의 레벨을 수신한다.

방법(1080)은, 제 2 컴퓨팅 디바이스에서 실행되는 랭킹 모듈에 의하여, 결과 문서의 세트 내의 적어도 하나의 문서의 순서를 의미 유사성의 결정된 레벨에 기초하여 수정하는 단계(1092)를 포함한다. 일 실시형태에서, 비한정적인 예로서, 유사성 엔진(304)은 결과 문서의 세트 내의 제 5 문서에 포함된 결과가 앞선 4 개의 문서들보다 복수 개의 선호사항 문서의 복합 SDR에 대한 더 높은 유사성의 레벨을 가진다고 표시했을 수 있다. 그러면, 사용자 선호사항 모듈(1004)은 제 5 문서(또는 제 5 문서의 식별)를 제 1 위치로 이동시킬 수 있다.

방법(1080)은, 질의 모듈에 의하여, 결과 문서의 세트의 각각의 식별을 수정된 순서로 제 3 컴퓨팅 디바이스로 제공하는 단계(1093)를 포함한다. 일 실시형태에서, 선호사항 문서와 비교된 검색 결과의 분석을 수행함으로써, 시스템은 해당 검색자에게 가장 중요할 수 있는 검색 결과를 선택하기 위하여, 검색의 콘텍스트를 고려하여 검색 결과를 개인화할 수 있다. 다른 예로서, 임의의 개수의 종래의 순위가 결정된 결과(예를 들어, 처음 10 개 또는 제 1 페이지 또는 다른 임의의 개수의 결과)를 반환하는 대신에, 시스템은 수 천 개의 문서를 분석하고 검색자와 의미론적으로 관련된 것들만을 제공할 수 있다.

몇 가지 실시형태들에서, 질병의 증상은 매우 이른 시기에 환자에 발생될 수 있고, 의료 전문가는 명확한 의학적 진단을 식별할 수 있다. 그러나, 다른 실시형태들에서, 증상의 서브세트만을 가지고 의학적 진단이 아직 명확하게 식별될 수 없는 환자가 존재할 수 있다; 예를 들어, 환자는, 10 가지 상이한 측정 타입이 결정되는 혈액 샘플을 제공할 수 있으며, 그러한 측정 타입 중 오직 하나만이 병리학적으로 의미있는 값을 가지는 반면 나머지 9 개의 값들은 임계 레벨에 가깝기는 하지만 정상 값의 범위에 속할 수 있다. 이러한 경우에 명확한 의학적 진단을 식별하는 것은 어려울 수 있고, 의료 전문가가 남은 증상들이 발현되는지를 보도록 기다리는 동안 환자는 추가적인 검사, 추가적 모니터링을 거쳐야 하고 진단이 지연될 수 있다. 이러한 예에서, 신속한 진단을 내릴 수 없기 때문에 결과적으로 처치가 늦어지고 환자의 건강에 대한 결과에는 잠재적으로 부정적인 영향을 미칠 수 있다. 본 명세서에서 설명되는 방법 및 시스템 중 일부는 이러한 실시형태에 대해 다루고 있으며, 의학적 진단을 지원하기 위한 기능성을 제공한다.

위에서 설명된 바와 같이, 본 명세서에서 설명되는 시스템은 수치 데이터 아이템 및 텍스트-기초 아이템에 대한 SDR을 생성하고 저장하며, 추후 수신된 문서에 대해 생성된 SDR과 저장된 SDR들 중 하나 사이의 유사성의 레벨을 식별할 수 있다. 몇 가지 실시형태들에서, 수신된 문서가 다른 데이터 또는 메타데이터, 예컨대 의학적 진단과 연관된다면, 이러한 시스템은 유사성의 레벨을 식별한 결과로서 데이터 또는 메타데이터의 식별을 제공할 수 있다(예를 들어, 수치 데이터 아이템을 포함하는 문서와 연관된 의학적 진단을 식별함).

이제 도 11b를 도 11a와 함께 참조하면, 흐름도는 의학적 진단 지원을 제공하기 위한 방법(1150)의 일 실시형태를 나타낸다. 방법(1150)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택되고 의학적 진단과 연관된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(1152)를 포함한다. 방법(1150)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1154)를 포함한다. 방법(1150)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 측정들의 나열을 생성하는 단계(1156)를 포함한다. 방법(1150)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 측정에 대하여, (i) 상기 측정이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 측정의 발생의 횟수, 및 (iii) 상기 측정 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1158)를 포함한다. 방법(1150)은 나열 내의 각각의 측정에 대하여, 발생 정보를 사용하여 표현 생성기에 의하여 성긴 분포된 표현(SDR)을 생성하는 단계(1160)를 포함한다. 방법(1150)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(1162)를 포함한다. 방법(1150)은, 제 2 컴퓨팅 디바이스에서 실행되는 진단 지원 모듈에 의하여, 복수 개의 측정과 연관된 문서를 제 3 컴퓨팅 디바이스로부터 수신하는 단계를 포함하는데, 이러한 문서는 환자와 연관된다(1164). 방법(1150)은, 표현 생성기에 의하여, 복수 개의 측정에 대한 적어도 하나의 SDR을 생성하는 단계(1166)를 포함한다. 방법(1150)은, 표현 생성기에 의하여, 복수 개의 측정에 대해 생성된 적어도 하나의 SDR에 기초하여, 문서에 대한 복합 SDR을 생성하는 단계(1168)를 포함한다. 방법(1150)은, 제 2 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 문서에 대해 생성된 복합 SDR과 SDR 데이터베이스로부터 취출된 SDR 사이의 의미 유사성의 레벨을 결정하는 단계(1170)를 포함한다. 방법(1150)은, 진단 지원 모듈에 의하여, SDR 데이터베이스로부터 취출된 SDR과 연관된 의학적 진단의 식별을, 의미 유사성의 결정된 레벨에 기초하여 제공하는 단계(1172)를 포함한다.

방법(1150)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서 적어도 하나의 기준에 따라 선택되고 의학적 진단과 연관된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(1152)를 포함한다. 일 실시형태에서, 클러스터링은 도 2와 관련하여 전술된 바와 같이 발생한다. 몇 가지 실시형태들에서, 문서의 세트 내의 각각의 문서는 전술된 바와 같이 복수 개의 데이터 아이템을 포함한다. 그러나, 이러한 실시형태들 중 하나에서, 복수 개의 데이터 아이템은 한 시점에 하나의 샘플(예를 들어, 환자의 혈액 샘플)로부터 취해진 실험실 값의 세트이다; 일 예로서는, 문서 내의 복수 개의 데이터 아이템은 값들의 쉼표로-분리된 목록으로서 제공될 수 있다. 일 예로서, 시스템은 500 명의 환자당 하나씩 500 개의 문서를 수신할 수 있고, 각각의 문서는 5 개의 측정(예를 들어, 각 환자에 의해 제공된 단일 혈액 샘플로부터 유도된 측정의 타입의(5) 개의 값)을 포함하고 의학적 진단과 연관될 수 있다. 시스템은 측정들을 데이터 아이템으로서 사용하여, 도 2와 관련하여 전술된 바와 같이 문서 벡터를 생성할 수 있다. 일 실시형태에서, 도 11a의 시스템은 도 1a 내지 도 1c 및 도 3과 관련하여 전술된 기능성을 포함한다. 그러나, 도 11a의 시스템은 실험실 값을 포함하는 문서를 파싱하도록 최적화된 그 외의 파서(110)(실험실 문서 파서 및 전-처리 모듈(110b)로서 도시됨)를 포함할 수 있고, 시스템은 더 상세히 후술되는 바와 같이 데이터 문서의 세트에서 발생되는 측정의 나열이 생성되는 것을 최적화하기 위한 비닝 모듈(binning module; 150)을 포함할 수 있다.

방법(1150)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1154)를 포함한다. 일 실시형태에서, 의미 맵(108)을 생성하는 것과 의미 맵(108) 상에 문서 벡터를 배포하는 것, 그리고 좌표쌍들을 연관시키는 것은 도 2와 관련하여 전술된 바와 같이 이루어진다. 비한정적인 예로서, 의미 맵(108) 내의 각각의 포인트는 측정의 소정 타입, 예컨대, 비한정적으로 신진대사 패널로부터 식별된 측정의 임의의 타입(예를 들어, 리터당 칼슘)에 대한 실험실 값을 포함하는 하나 이상의 문서를 나타낼 수 있다. 비록 본 명세서에 포함된 어떤 예들은 혈액 테스트로부터 유도된 실험실 값을 참조하지만, 의학적 진단과 연관된 임의의 타입의 의학적 데이터가 본 명세서에서 설명되는 방법 및 시스템과 함께 사용될 수 있다는 것을 당업자는 이해할 것이다.

방법(1150)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 측정들의 나열을 생성하는 단계(1156)를 포함한다. 일 실시형태에서, 측정은 도 2와 관련하여 전술된 바와 같이 나열된다. 그러나, 몇 가지 실시형태들에서, 시스템은 나열을 생성하는 최적화된 프로세스를 제공하는 비닝 모듈(binning module; 150)을 포함한다. 수신된 각각의 문서는 복수 개의 값을 포함할 수 있고, 각각의 값은 측정의 타입의 값을 식별한다. 예를 들어, 문서는 혈액 내의 칼슘의 레벨에 대한 값을 포함할 수 있다 - 이러한 값은 문서에서 수치이고 "칼슘"이 측정의 타입이다. 그러나, 각각의 타입에 대한 값은 문서마다 다를 수 있다. 비한정적인 예로서, 500 개의 문서의 세트에서, "칼슘" 타입 측정에 대한 값은 0.0 내지 5.2 mg/리터의 범위를 가질 수 있다. 텍스트-기초 문서를 처리할 때, 복수 개의 문서 각각이 단어를 포함하면, 이러한 단어는 각각의 문서에서 동일하다 - 예를 들어, 두 개의 문서가 "quick"이라는 단어를 포함하면, 해당 단어 "quick" 을 형성하는 텍스트는 각각의 문서에서 동일하다. 이에 반해, 실험실 값을 처리할 때, 두 개의 문서는 각각의 측정의 동일한 타입에 대한 값(예를 들어, "칼슘" 타입 측정 또는 "글루코스" 타입 측정)을 포함하지만, 각각이 측정의 타입에 대해 유효한 값인 매우 다른 값(예를 들어, 0.1 및 5.2)을 가질 수 있다. 그러므로, 시스템을 최적화하기 위하여, 시스템은 문서의 세트 내에 포함된 측정의 각각의 타입에 대한 값의 범위를 식별하고, 이러한 범위를 실질적으로 균일하게 서브-그룹으로 분포시키기 위한 기능성을 사용자에게 제공할 수 있다; 이러한 프로세스는 비닝(binning)이라고 지칭될 수 있다. 비닝을 수행하면 한 빈(bin) 내의 측정들 사이에 중첩이 많이 생기게 된다. 일 예로서는, 시스템은 문서의 세트 내에 "칼슘" 타입 측정에 대해 5000 개의 값이 존재한다고 표시하고, 그 값들의 범위가 0.01 내지 5.2 라고 표시하며, 이러한 값들을 어떻게 분포시킬지를 특정할 옵션을 사용자에게 제공할 수 있다. 예를 들어, 사용자는 0.01 내지 0.3의 값들이 제 1 서브-분할(본 명세서에서 "빈"이라고도 불림)로 그루핑되어야 하고, 0.3 내지 3.1의 값들이 제 2 서브-분할로 그루핑되어야 하며, 3.1 내지 5.2의 값이 제 3 서브-분할로 그루핑되어야 한다고 특정할 수 있다. 그러면 시스템은 5000 개의 값들 중 얼마나 많은 값들이 3 개의 빈의 각각에 속하는지를 나열하고, 그러한 발생 정보가 각각의 값에 대한 SDR을 생성하는 데에 사용될 수 있다. 비닝 모듈(150)은 이러한 기능성을 제공할 수 있다.

방법(1150)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 측정에 대하여, (i) 상기 측정이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 측정의 발생의 횟수, 및 (iii) 상기 측정 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1158)를 포함한다. 일 실시형태에서, 발생 정보는 도 2와 관련하여 전술된 바와 같은 정보이다.

방법(1150)은 나열 내의 각각의 측정에 대하여, 발생 정보를 사용하여 표현 생성기에 의하여 성긴 분포된 표현(SDR)을 생성하는 단계(1160)를 포함한다. 일 실시형태에서, SDR은 도 2와 관련하여 전술된 바와 같이 생성된다.

방법(1150)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(1162)를 포함한다. 일 실시형태에서, 생성된 SDR은 도 2와 관련하여 전술된 바와 같이 SDR 데이터베이스(120)에 저장된다.

방법(1150)은, 제 2 컴퓨팅 디바이스에서 실행되는 진단 지원 모듈에 의하여, 복수 개의 측정과 연관된 문서를 제 3 컴퓨팅 디바이스로부터 수신하는 단계를 포함하는데, 이러한 문서는 환자와 연관된다(1164). 일 실시형태에서, 진단 지원 모듈(1100)은 클라이언트(102c)로부터 문서를 수신한다.

방법(1150)은, 표현 생성기에 의하여, 복수 개의 측정에 대한 적어도 하나의 SDR을 생성하는 단계(1166)를 포함한다. 일 실시형태에서, 진단 지원 모듈(1100)은 도 1 내지 도 3과 관련하여 전술된 바와 같이 SDR을 생성하도록 지문 모듈(302)에게 지시한다. 일 실시형태에서, 진단 지원 모듈(1100)은 도 1 내지 도 3과 관련하여 전술된 바와 같이 SDR을 생성하도록 표현 생성기(114)에게 지시한다.

방법(1150)은, 표현 생성기에 의하여, 복수 개의 측정에 대해 생성된 적어도 하나의 SDR에 기초하여, 문서에 대한 복합 SDR을 생성하는 단계(1168)를 포함한다. 일 실시형태에서, 진단 지원 모듈(1100)은 도 1 내지 도 3과 관련하여 전술된 바와 같이 복합 SDR을 생성하도록 지문 모듈(302)에게 지시한다. 일 실시형태에서, 진단 지원 모듈(1100)은 도 1 내지 도 3과 관련하여 전술된 바와 같이 복합 SDR을 생성하도록 표현 생성기(114)에게 지시한다.

방법(1150)은, 제 2 컴퓨팅 디바이스에서 실행되는 유사성 엔진에 의하여, 문서에 대해 생성된 복합 SDR과 SDR 데이터베이스로부터 취출된 SDR 사이의 의미 유사성의 레벨을 결정하는 단계(1170)를 포함한다. 일 실시형태에서, 진단 지원 모듈(1100)은 도 3 내지 도 5와 관련하여 전술된 바와 같이 의미 유사성의 레벨을 결정하도록 유사성 엔진(304)에게 지시한다.

방법(1150)은, 진단 지원 모듈에 의하여, SDR 데이터베이스로부터 취출된 SDR과 연관된 의학적 진단의 식별을, 의미 유사성의 결정된 레벨에 기초하여 제공하는 단계(1172)를 포함한다. 이러한 시스템은 개개의 측정이 아직 병리학적 레벨에 도달하지 않은 경우에도 가까운(approaching) 의학적 진단을 검출할 수 있다. 복수 개의 SDR과 그들 사이의 분석 패턴을 공급함으로써, 시스템은 환자의 패턴의 변화를 식별하고, 따라서 더 동적인 프로세스를 캡쳐할 수 있다. 예를 들어, 전암(pre-cancer) 검출 시스템은 특정 값에 작은 변화가 생기는 것을 식별할 것이지만, 이러한 패턴을 다른 환자의 SDR과 비교할 수 있는 능력을 가지고 있으며 시간-기초 시퀀스를 분석함으로써, 의학적 진단이 식별될 수 있다.

일 실시형태에서, 진단 지원 모듈(1100)은 결과를 훼손하지 않으면서, 심지어 불완전 파라미터 벡터에 대해 - 예를 들어 진단 지원 모듈(1100)이 한 문서 내의 복수 개의 측정을 수신하지만 복수 개의 측정에 진단과 관련된 타입의 측정이 없는 시나리오에서 - SDR이 생성되도록 지시할 수 있다. 예를 들면, 위에서 표시된 바와 같이 두 개의 SDR들이 서로 비교될 수 있고 유사성의 레벨이 식별되는데, 이것은 SDR들이 동일하지 않다고 해도 유사성의 임계 레벨을 만족시킬 수 있다; 그러므로, 측정의 불완전 세트를 가지는 하나의 문서에 대해 생성된 SDR에 하나 또는 두 개의 포인트(예를 들어, 더 완전한 문서였으면 측정에 대한 값을 가졌을 의미 맵(108) 상의 위치)가 누락되더라도, 저장된 SDR과의 비교는 여전히 이루어질 수 있다. 이러한 실시형태에서, 진단 지원 모듈(1100)은 의학적 진단과 관련되지만 그에 대한 값이 수신되지 않은 적어도 하나의 파라미터를 식별하고, 이러한 값이 제공되어야 한다고 제안할 수 있다(예를 들어, 누락 파라미터에 대한 후속 프로시저 또는 분석을 추천함).

몇 가지 실시형태들에서, 수신된 문서는 의학적 진단에 추가하여 메타데이터에 대한 연관성을 포함할 수 있다. 예를 들면, 문서는 환자 성별의 식별과 연관될 수도 있다. 이러한 메타데이터는 두 개의 SDR과 식별된 의학적 진단 사이의 유사성의 레벨의 확정(confirmation)을 제공하기 위하여 사용될 수 있다. 일 예로서는, 진단 지원 모듈(1100)은 두 개의 SDR이 유사하다고 결정할 수 있고, SDR들 중 하나가 생성되었던 하나와 연관된 의학적 진단을 식별한다; 그러면 진단 지원 모듈(1100)은 메타데이터에 기초한 규칙을 적용하여 의학적 진단의 식별의 정확도를 확정할 수 있다. 비한정적인 예로서, 규칙은, 메타데이터가 환자가 남성이라고 표시하고 식별된 의학적 진단이 난소암의 위험이 있다고 표시한다면, 클라이언트(102c)의 사용자에게 식별된 의학적 진단을 제공하는 대신에, 진단 지원 모듈(1100)은 오류를 보고해야 한다(남성은 난소가 없기 때문에 난소암에 걸릴 수 없으므로)고 특정할 수 있다.

계속하여 도 13, 도 14a, 및 도 14b를 참조하면, 다이어그램은 교차-언어 성긴 분포된 표현을 생성하고 사용하기 위한 방법 및 시스템의 다양한 실시형태를 나타낸다. 몇 가지 실시형태들에서, 시스템(1300)은 제 1 언어로부터 제 2 언어로 번역된 문서의 세트의 일부 또는 전부의 번역을 수신할 수 있고, 이러한 번역이 번역된 문서의 말뭉치로부터 생성된 제 2 SDR 데이터베이스 내의 대응하는 SDR들을 식별하기 위하여 사용될 수 있다. 간략한 개관에서, 시스템(1300)은, 제 2 표현 생성기(114b), 제 2 파서 및 전처리 모듈(110c), 데이터 문서의 번역된 세트(104b), 제 2 풀-텍스트 검색 시스템(122b), 데이터 아이템(112b)의 제 2 나열, 및 제 2 SDR 데이터베이스(120b)를 가지는 엔진(101)을 포함한다. 엔진(101)은 도 1a와 관련하여 전술된 바와 같은 엔진(101)일 수 있다.

도 14a의 간략한 개관에서, 방법(1400)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서, 제 1 언어인 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계를 포함하고, 데이터 문서의 세트는 적어도 하나의 기준에 따라 선택된다(1402). 방법(1400)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1404)를 포함한다. 방법(1400)은 제 1 컴퓨팅 디바이스에서 실행되는 제 1 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(1406)를 포함한다. 방법(1400)은 제 1 컴퓨팅 디바이스에서 실행되는 제 1 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1408)를 포함한다. 방법(1400)은, 제 1 표현 생성기에 의하여, 발생 정보를 사용하여 나열 내의 각각의 용어에 대한 성긴 분포된 표현(SDR)을 생성하는 단계(1410)를 포함한다. 방법(1400)은, 제 1 표현 생성기에 의하여, 생성된 SDR의 각각을 제 1 SDR 데이터베이스에 저장하는 단계(1412)를 포함한다. 방법(1400)은, 참조 맵 생성기에 의하여, 데이터 문서의 세트의 각각의 제 2 언어로의 번역을 수신하는 단계(1414)를 포함한다. 방법(1400)은, 의미 맵에 의하여, 데이터 문서의 세트의 각각으로부터의 좌표쌍을 데이터 문서의 번역된 세트 내의 각각의 대응하는 문서와 연관시키는 단계(1416)를 포함한다. 방법(1400)은, 제 2 파서에 의하여, 데이터 문서의 번역된 세트에서 발생되는 제 2 용어의 나열을 생성하는 단계(1418)를 포함한다. 방법(1400)은 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보(occurrence information)를 데이터 문서의 번역된 세트에 기초해서 결정하는 단계(1420)를 포함한다. 방법(1400)은, 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대해 SDR을 데이터 문서의 번역된 세트에 기초하여 생성하는 단계(1422)를 포함한다. 방법(1400)은, 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대해 생성된 SDR들의 각각을 제 2 SDR 데이터베이스에 저장하는 단계를 포함한다. 방법(1400)은, 제 1 표현 생성기에 의하여, 제 1 언어인 제 1 문서의 제 1 SDR을 생성하는 단계(1426)를 포함한다. 방법(1400)은, 제 2 표현 생성기에 의하여, 제 2 문서의 제 2 SDR을 제 2 언어로 생성하는 단계(1428)를 포함한다. 방법(1400)은제 1 SDR과 제 2 SDR 사이의 거리를 결정하는 단계(1430)를 포함한다. 방법(1400)은 제 1 문서와 제 2 문서 사이의 유사성의 레벨의 식별을 제공하는 단계(1432)를 포함한다.

일 실시형태에서, 단계 1402 내지 1412은 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

방법(1400)은, 참조 맵 생성기에 의하여, 데이터 문서의 세트의 각각의 제 2 언어로의 번역을 수신하는 단계(1414)를 포함한다. 일 실시형태에서, 머신(102a)에 의해 실행되는 번역 프로세스는 번역을 참조 맵 생성기(106)로 제공한다. 다른 실시형태에서, 인간 번역자가 번역을 엔진(101)으로 제공한다. 또 다른 실시형태에서, 기계 번역 프로세스가 번역을 엔진(101)에 제공한다; 기계 번역 프로세스는 제삼자에 의해 제공될 수 있고 번역을 직접적으로 또는 네트워크를 거쳐 엔진(101)으로 제공할 수 있다. 또 다른 실시형태에서, 시스템(1300)의 사용자는 번역을 머신(102a)에 업로드한다.

방법(1400)은, 의미 맵에 의하여, 데이터 문서의 세트의 각각으로부터의 좌표쌍을 데이터 문서의 번역된 세트 내의 각각의 대응하는 문서와 연관시키는 단계(1416)를 포함한다. 일 실시형태에서, 의미 맵(108)이 연관 동작을 수행한다. 다른 실시형태에서, 연관 동작은 도 2와 관련하여 전술된 바와 같이(204) 수행된다.

방법(1400)은, 제 2 파서에 의하여, 데이터 문서의 번역된 세트에서 발생되는 제 2 용어의 나열을 생성하는 단계(1418)를 포함한다. 일 실시형태에서, 생성하는 단계는 도 2와 관련하여 전술된 바와 같이(206) 수행된다. 다른 실시형태에서, 제 2 파서는 제 2 언어의 문서를 파싱하기 위한 제 2 파서(110c)를 최적화하도록 구성된다(예를 들어, 구성 파일을 포함함).

방법(1400)은 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보(occurrence information)를 데이터 문서의 번역된 세트에 기초해서 결정하는 단계(1420)를 포함한다. 일 실시형태에서, 발생 정보의 결정은 도 2와 관련하여 전술된 바와 같이(208) 수행된다.

방법(1400)은, 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대해 SDR을 데이터 문서의 번역된 세트에 기초하여 생성하는 단계(1422)를 포함한다. 일 실시형태에서, 용어 SDR을 생성하는 것은 도 2와 관련하여 전술된 바와 같이(210 내지 214) 수행된다.

방법(1400)은, 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대해 생성된 SDR들의 각각을 제 2 SDR 데이터베이스에 저장하는 단계(1424)를 포함한다. 일 실시형태에서, SDR을 제 2 데이터베이스에 저장하는 것은 도 1a와 관련하여 전술된 바와 같이 수행된다.

방법(1400)은, 제 1 표현 생성기에 의하여, 제 1 언어인 제 1 문서의 제 1 SDR을 생성하는 단계(1426)를 포함한다. 일 실시형태에서, 제 1 SDR의 생성은 도 2와 관련하여 전술된 바와 같이 수행된다.

방법(1400)은, 제 2 표현 생성기에 의하여, 제 2 문서의 제 2 SDR을 제 2 언어로 생성하는 단계(1428)를 포함한다. 일 실시형태에서, 제 2 SDR의 생성은 도 2와 관련하여 전술된 바와 같이 수행된다.

방법(1400)은 제 1 SDR과 제 2 SDR 사이의 거리를 결정하는 단계(1430)를 포함한다. 방법(1400)은 제 1 문서와 제 2 문서 사이의 유사성의 레벨의 식별을 제공하는 단계(1432)를 포함한다. 일 실시형태에서, 단계 1430 내지 1432은 도 3 내지 도 4와 관련하여 전술된 바와 같이 수행된다.

일 실시형태에서, 본 명세서에서 설명되는 방법 및 시스템은 번역 시스템의 품질을 제공하기 위하여 사용될 수 있다. 예를 들어, 번역 시스템은 텍스트를 제 1 언어에서 제 2 언어로 번역할 수 있고, 제 1 언어의 텍스트와 제 2 언어의 번역 양자 모두는 본 명세서에서 설명되는 시스템으로 제공될 수 있다; 제 1 언어의 텍스트의 SDR이 번역된 텍스트(제 2 언어)의 SDR과 유사한(예를 들어, 유사성의 임계 레벨을 초과하는) 것으로 시스템이 결정하면, 번역은 높은 레벨의 품질을 가진다고 간주될 수 있다. 이러한 예를 계속 설명하면, 제 1 언어의 텍스트의 SDR이 번역된 텍스트(제 2 언어)의 SDR에 충분하게 유사하지 않는(예를 들어, 유사성의 미리 결정된 임계 레벨을 초과하지 않는) 경우, 번역은 낮은 레벨의 품질을 가진다고 간주될 수 있다.

이제 도 14b를 도 13 및 도 14a와 관련하여 참조하면, 흐름도는 방법(1450)의 일 실시형태를 나타낸다. 도 14b의 간략한 개관에서, 방법(1450)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 이차원의 메트릭 공간에서, 제 1 언어인 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계를 포함하고, 데이터 문서의 세트는 적어도 하나의 기준에 따라 선택된다(1452). 방법(1450)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1454)를 포함한다. 방법(1450)은 제 1 컴퓨팅 디바이스에서 실행되는 제 1 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(1456)를 포함한다. 방법(1450)은 제 1 컴퓨팅 디바이스에서 실행되는 제 1 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1458)를 포함한다. 방법(1450)은 나열 내의 각각의 용어에 대하여, 발생 정보를 사용하여 제 1 표현 생성기에 의하여 성긴 분포된 표현(SDR)을 생성하는 단계(1460)를 포함한다. 방법(1450)은, 제 1 표현 생성기에 의하여, 생성된 SDR의 각각을 제 1 SDR 데이터베이스에 저장하는 단계(1462)를 포함한다. 방법(1450)은, 참조 맵 생성기에 의하여, 데이터 문서의 세트의 각각의 제 2 언어로의 번역을 수신하는 단계(1464)를 포함한다. 방법(1450)은, 의미 맵에 의하여, 데이터 문서의 세트의 각각으로부터의 좌표쌍을 번역된 데이터 문서의 각각과 연관시키는 단계(1466)를 포함한다. 방법(1450)은, 제 2 파서에 의하여, 데이터 문서의 번역된 세트에서 발생되는 제 2 용어의 나열을 생성하는 단계(1468)를 포함한다. 방법(1450)은 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보(occurrence information)를 데이터 문서의 번역된 세트에 기초해서 결정하는 단계(1470)를 포함한다. 방법(1450)은, 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대해 SDR을 데이터 문서의 번역된 세트에 기초하여 생성하는 단계(1472)를 포함한다. 방법(1450)은, 제 2 표현 생성기에 의하여, 제 2 나열 내의 각각의 용어에 대해 생성된 SDR들의 각각을 제 2 SDR 데이터베이스에 저장하는 단계(1474)를 포함한다. 방법(1450)은, 제 1 표현 생성기에 의하여, 제 1 언어로 수신된 제 1 용어의 제 1 SDR을 생성하는 단계(1476)를 포함한다. 방법(1450)은 제 1 SDR과 제 2 언어인 제 2 용어의 제 2 SDR 사이의 거리를 결정하는 단계를 포함하는데, 제 2 SDR은 제 2 SDR 데이터베이스로부터 취출된다(1478). 방법(1450)은 제 2 언어인 제 2 용어의 식별과 결정된 거리에 기초한 제 1 용어와 제 2 용어 사이의 유사성의 레벨의 식별을 제공하는 단계(1480)를 포함한다.

일 실시형태에서, 단계 1452 내지 1474은 도 14a와 관련하여 전술된 바와 같이(단계 1402 내지 1424) 수행된다.

방법(1450)은, 제 1 표현 생성기에 의하여, 제 1 언어로 수신된 제 1 용어의 제 1 SDR을 생성하는 단계(1476)를 포함한다. 일 실시형태에서, 제 1 SDR의 생성은 도 2와 관련하여 전술된 바와 같이 수행된다.

방법(1450)은 제 1 SDR과 제 2 언어인 제 2 용어의 제 2 SDR 사이의 거리를 결정하는 단계를 포함하는데, 제 2 SDR은 제 2 SDR 데이터베이스로부터 취출된다(1478). 방법(1450)은 제 2 언어인 제 2 용어의 식별과 결정된 거리에 기초한 제 1 용어와 제 2 용어 사이의 유사성의 레벨의 식별을 제공하는 단계(1480)를 포함한다. 일 실시형태에서, 단계 1478 내지 1480은 도 3 내지 도 4와 관련하여 전술된 바와 같이 수행된다.

다른 실시형태에서, 본 명세서에서 설명되는 방법 및 시스템은 검색 시스템을 확장하기 위해 사용될 수 있다. 예를 들어, 시스템(1300)은 제 1 언어인 제 1 용어(예를 들어, 사용자가 검색 시스템의 질의에서 사용하고자 하는 용어)를 수신할 수 있다. 시스템(1300)은 제 1 용어의 SDR을 생성하고 생성된 제 1 SDR을 사용하여 유사성의 임계 레벨을 만족하며 제 2 SDR 데이터베이스 내에 있는 제 2 SDR을 식별할 수 있다. 그러면, 시스템(1300)은, 도 6a 내지 도 6c와 관련하여 전술된 바와 같이, 제 1 SDR, 제 2 SDR, 또는 양자 모두를 검색 시스템으로 제공하여 사용자의 검색 질의를 향상시킬 수 있다.

일부 실시형태에서, 본 명세서에서 설명되는 방법 및 시스템은 스트리밍 데이터를 필터링하기 위한 기능성을 제공하기 위하여 사용될 수 있다. 예를 들어, 엔티티는 스트리밍 소셜 미디어 데이터를 리뷰하여 해당 엔티티에 관련된 소셜 미디어 데이터의 서브-스트림을 식별하기를 원할 수 있다(예를 들어, 브랜드-관리 목적 또는 경쟁사 모니터링을 위하여). 다른 예로서, 엔티티는, 예를 들어 보안 목적을 위하여 네트워크 디바이스를 통과하는 네트워크 패킷의 스트림을 리뷰하기를 원할 수 있다.

이제 도 15와 연계하여 도 16을 참조하면, 시스템(1500)은 필터링 기준 및 스트리밍된 데이터 문서의 세트 내의 데이터 아이템 사이의 유사성의 레벨을 식별하기 위한 방법(1600)을 실행하기 위한 기능성을 제공한다. 시스템(1500)은 엔진(101), 지문 모듈(fingerprinting module; 302), 유사도 엔진(304), 명확화 모듈(306), 데이터 아이템 모듈(308), 표현 엔진(310), SDR 데이터베이스(120), 필터링 모듈(1502), 기준 SDR 데이터베이스(1520), 스트리밍된 데이터 문서(1504), 및 클라이언트 에이전트(1510)를 포함한다. 엔진(101), 지문 모듈(302), 유사도 엔진(304), 명확화 모듈(306), 데이터 아이템 모듈(308), 표현 엔진(310), 및 SDR 데이터베이스(120)는 도 1a 내지 도 14와 연계하여 전술된 바와 같이 제공될 수 있다.

방법(1600)은 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의해 이차원 메트릭 공간에서, 적어도 하나의 기준에 따라 선택된 데이터 문서의 세트를 클러스터링하여 의미 맵을 생성하는 단계(1602)를 포함한다. 방법(1600)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1604)를 포함한다. 방법(1600)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(1606)를 포함한다. 방법(1600)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1608)를 포함한다. 방법(1600)은 나열 내의 각각의 용어에 대하여, 발생 정보를 사용하여 표현 생성기에 의하여 성긴 분포된 표현(SDR)을 생성하는 단계(1610)를 포함한다. 방법(1600)은 SDR 데이터베이스에 생성된 SDR의 각각을 저장하는 단계(1612)를 포함한다. 방법(1600)은, 제 2 컴퓨팅 디바이스에서 실행되는 필터링 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 필터링 기준을 수신하는 단계(1614)를 포함한다. 방법(1600)은, 표현 생성기에 의하여, 필터링 기준에 대하여 적어도 하나의 SDR을 생성하는 단계(1616)를 포함한다. 방법(1600)은 필터링 모듈에 의하여, 복수 개의 스트리밍된 문서를 데이터 소스로부터 수신하는 단계(1618)를 포함한다. 방법(1600)은 표현 생성기에 의하여 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대하여, 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 복합 SDR을 생성하는 단계(1620)를 포함한다. 방법(1600)은 제 2 컴퓨팅 디바이스에서 실행되는 유사도 엔진에 의하여, 필터링 기준 SDR 및 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 생성된 복합 SDR 사이의 거리를 결정하는 단계(1622)를 포함한다. 방법(1600)은 필터링 모듈에 의하여, 제 1 스트리밍된 문서 상에 결정된 거리에 기반하여 작용하는 단계(1624)를 포함한다.

일 실시형태에서, 단계 1602 내지 1612는 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

방법(1600)은, 제 2 컴퓨팅 디바이스에서 실행되는 필터링 모듈에 의하여, 제 3 컴퓨팅 디바이스로부터 필터링 기준을 수신하는 단계(1614)를 포함한다. 필터링 기준은 필터링 모듈(1502)이 복수 개의 스트리밍된 문서를 좁혀나갈 수 있게 하는 임의의 용어일 수 있다. 일 예로서 그리고 위에서 표시된 바와 같이, 엔티티는 스트리밍 소셜 미디어 데이터를 리뷰하여 해당 엔티티에 관련된 소셜 미디어 데이터의 서브-스트림을 식별하기를 원할 수 있다(예를 들어, 브랜드-관리 목적 또는 경쟁사 모니터링을 위하여). 다른 예로서, 엔티티는, 예를 들어 보안 목적을 위하여 네트워크 디바이스를 통과하는 네트워크 패킷의 스트림을 리뷰하기를 원할 수 있다. 그러므로, 일 실시형태에서 필터링 모듈(1502)은 적어도 하나의 브랜드-관련 용어를 수신한다; 예를 들어, 필터링 모듈(1502)은 명칭, 예컨대 회사명, 제품명, 또는 개인의 이름(제 3 머신과 연관되거나 제 3 머신, 예컨대 경쟁자와 연관되지 않은 엔티티에 관련됨)을 수신할 수 있다. 다른 실시형태에서, 필터링 모듈(1502)은 보안-관련 용어를 수신한다; 예를 들어, 필터링 모듈(1502)은 컴퓨터 보안 탈취에 관련된 용어(예를 들어, 해킹, 맬웨어, 또는 보안 취약성의 다른 탈취와 연관된 용어) 또는 물리적인 보안 탈취에 관련된 용어(예를 들어, 폭력 행위 또는 테러와 연관된 용어)를 수신할 수 있다. 또 다른 실시형태에서, 필터링 모듈(1502)은 적어도 하나의 바이러스 서명(예를 들어, 당업자들에 의해서 이해될 컴퓨터 바이러스 서명)을 수신한다.

일부 실시형태들에서, 필터링 모듈(1502)은 적어도 하나의 SDR을 수신한다. 예를 들어, 머신(102c)의 사용자는 이미 독립적인 목적을 위해서 시스템(1500)과 상호작용했고, 이제 필터링 스트리밍 데이터와 연계하여 사용될 수 있는 하나 이상의 SDR들을 개발했을 수 있다.

일부 실시형태들에서, 필터링 모듈(1502)은 추가 필터링 기준들을 식별하기 위하여 질의 확장 모듈(603)과 통신한다(예를 들어, 도 6a 내지 도 6c와 연계하여 전술된 바와 같이). 예를 들어, 필터링 모듈(1502)은 질의 확장 모듈(603)(머신(102b) 또는 도시되지 않은 별개의 머신(102g)에서 실행됨)에게 필터링 기준을 송신할 수 있다; 질의 확장 모듈(603)은 유사도 엔진(304)에게 필터링 기준의 제 1 SDR 및 SDR 데이터베이스(120)로부터 취출된 두 번째 용어의 제 2 SDR 사이의 의미 유사도의 레벨을 식별하라고 지시할 수 있다. 이러한 예에서, 질의 확장 모듈(603)은 유사도 엔진(304)에게, SDR 데이터베이스(120) 내의 각각의 용어에 대해서 식별 프로세스를 반복하고, 임계보다 높은 의미 유사도의 레벨을 가진 임의의 용어를 반환하도록 지시할 수 있다; 질의 확장 모듈(603)은 필터링 모듈(1502)에게 유사도 엔진(304)에 의해서 식별된 결과적으로 얻어진 용어를 제공할 수 있다. 그러면, 필터링 모듈(1502)는 결과적으로 얻어진 용어를 문서들의 스트리밍 세트를 필터링 할 때에 사용할 수 있다.

방법(1600)은, 표현 생성기에 의하여, 필터링 기준에 대하여 적어도 하나의 SDR을 생성하는 단계(1616)를 포함한다. 일 실시형태에서, 필터링 모듈(1502)은, 표현 생성기(114)에 의한 적어도 하나의 SDR의 생성을 위하여, 필터링 기준을 엔진(101)에게 제공한다. 다른 실시형태에서는 필터링 모듈(1502)이 필터링 기준을 지문 모듈(302)에게 제공한다. 필터링 모듈(1502)은 적어도 하나의 SDR을 기준 SDR 데이터베이스(1520)에 저장할 수 있다.

일부 실시형태들에서, 적어도 하나의 SDR을 생성하는 단계는 선택적이다. 일 실시형태에서, 표현 생성기(114)(또는 지문 모듈(302))은 수신된 필터링 기준이 SDR이거나 이를 포함하는지 여부를 결정하고, SDR을 생성할지 여부를 해당 결정에 기반하여 결정한다. 예를 들어, 표현 생성기(114)(또는 지문 모듈(302))은 필터링 모듈(1502)에 의해 수신된 필터링 기준이 SDR이라고 결정하고, 따라서 임의의 다른 SDR들을 생성하지 않도록 결정할 수 있다. 대안적으로, 표현 생성기(114)(또는 지문 모듈(302))은 필터링 기준에 대한 SDR이 SDR 데이터베이스(120) 내에 또는 기준 SDR 데이터베이스(1520) 내에 이미 존재한다고 결정할 수 있다. 그러나, 다른 예로서, 표현 생성기(114)(또는 지문 모듈(302))는 필터링 기준이 SDR이 아니라고 결정하고, SDR을 해당 결정에 기반하여 생성한다.

방법(1600)은 필터링 모듈에 의하여, 복수 개의 스트리밍된 문서를 데이터 소스로부터 수신하는 단계(1618)를 포함한다. 일 실시형태에서, 필터링 모듈(1502)은 복수 개의 소셜 미디어 텍스트 문서, 예를 들어 사용자가 임의의 타입의 데이터(오디오, 비디오, 및/또는 텍스트 기반 데이터)를 생성, 공유, 또는 교환할 수 있게 하는 컴퓨터-중개 툴 내에서 생성된 임의의 길이 또는 타입의 문서를 수신한다. 이러한 소셜 미디어의 예는 비한정적으로, 블로그; 위키스(wikis); San Francisco, CA의 Yelp, 아이앤씨에 의해 제공된 YELP와 같은 소비자 리뷰 사이트; San Francisco, CA의 트위터, 아이앤씨에 의해 제공된 트위터와 같은 마이크로-블로깅 사이트; 및 Menlo Park, CA의 Facebook, 아이앤씨에 의해 제공된 FACEBOOK 또는 Mountain View, CA에 의해 제공된 GOOGLE+와 같은 종합 마이크로-블로깅 및 소셜 네트워킹 사이트를 포함한다. 다른 실시형태에서, 필터링 모듈(1502)은 복수 개의 네트워크 트래픽 문서를 수신한다. 예를 들어, 필터링 모듈(1502)은 각각이 문서라고 불릴 수 있는 복수 개의 네트워크 패킷을 수신할 수 있다.

일 실시형태에서, 필터링 모듈(1502)은 제 3 컴퓨팅 디바이스로부터의 필터링 기준과 함께 데이터 소스의 식별을 수신한다. 다른 실시형태에서, 필터링 모듈(1502)은 데이터 소스에 의하여 제공된 애플리케이션 프로그래밍 인터페이스를 레버리지하여 복수 개의 스트리밍된 문서를 수신하기 시작한다. 또 다른 실시형태에서, 필터링 모듈은 제 3 머신(102c)으로부터 복수 개의 스트리밍된 문서를 수신한다. 일 예로서, 데이터 소스는 제삼자 데이터 소스이고, 필터링 모듈(1502)은 제삼자 데이터 소스와 접촉하여 복수 개의 스트리밍된 문서를 수신하기 시작하도록 프로그래밍된다(예를 들어, 제삼자가 소셜 미디어 플랫폼 및 해당 플랫폼에서 재생성되며 다운로드될 수 있는 스트리밍 문서를 제공하는 경우). 다른 예로서, 데이터 소스는 제 3 머신(102c)에 의하여 제공될 수 있고, 필터링 모듈(1502)은 스트리밍 문서를 제 3 머신(102c)으로부터 직접 취출할 수 있다(예를 들어, 머신(102c)이 네트워크(104) 상의 다른 머신(미도시)으로부터 네트워크 패킷을 수신하는 라우터인 경우). 더욱 상세히 후술되는 바와 같이, 필터링 모듈은 두 개 이상인 복수 개의 스트리밍된 문서를 하나 이상의 데이터 소스로부터 수신하고 이들을 서로에 대하여, 기준 SDR에 대하여, 또는 SDR 데이터베이스(120)로부터 취출된 SDR들에 대하여 비교할 수 있다.

방법(1600)은 표현 생성기에 의하여 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대하여, 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 복합 SDR을 생성하는 단계(1620)를 포함한다. 필터링 모듈(1502)은 복수 개의 스트리밍된 문서 중 첫 번째 문서를 표현 생성기(114)로 직접 제공할 수 있다. 대안적으로, 필터링 모듈(1502)은 복수 개의 스트리밍된 문서 중 첫 번째 문서를 지문 모듈(302)로 제공할 수 있다. 복합 SDR은 도 2와 연계하여 전술된 바와 같이 생성될 수 있다. 일부 실시형태들에서, 표현 생성기(114)(또는 지문 모듈(302))은 복수 개의 스트리밍된 문서 중 두 번째 문서를 수신하기 이전에 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 복합 SDR을 생성한다.

방법(1600)은 제 2 컴퓨팅 디바이스에서 실행되는 유사도 엔진에 의하여, 필터링 기준 SDR 및 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 생성된 복합 SDR 사이의 거리를 결정하는 단계(1622)를 포함한다. 필터링 모듈(1502)은 필터링 기준 SDR 및 생성된 복합 SDR을 유사도 엔진(304)에 제공할 수 있다. 대안적으로, 필터링 모듈(1502)은 기준 SDR 데이터베이스(1520)의 식별을 유사도 엔진(304)으로 제공할 수 있고, 그것으로부터 유사도 엔진(304)은 필터링 기준 SDR을 직접적으로 취출할 수 있다.

방법(1600)은 필터링 모듈에 의하여, 제 1 스트리밍된 문서 상에 결정된 거리에 기반하여 작용하는 단계(1624)를 포함한다. 일 실시형태에서, 필터링 모듈(1502)은 스트리밍된 문서를 제 3 컴퓨팅 디바이스(102c)로 전달한다. 다른 실시형태에서, 필터링 모듈(1502)은 스트리밍된 문서를 제 3 컴퓨팅 디바이스(102c)로 전달하지 않기로 결정한다. 또 다른 실시형태에서, 필터링 모듈(1502)은 제 3 컴퓨팅 디바이스에게 경고를 송신할지 여부를 결정된 거리에 기반하여 결정한다. 또 다른 실시형태에서, 필터링 모듈(1502)은 제 3 컴퓨팅 디바이스에게 경고를 송신할지 여부를 결정된 거리 및 필터링 기준에 기반하여 결정한다. 예를 들어, 스트리밍된 문서 및 필터링 기준이 미리 결정된 임계를 초과하는 결정된 거리에 기반한 유사성의 레벨을 가지면, 필터링 모듈(1502)는 스트리밍된 문서가 악의적인 콘텐츠를 포함한다(예를 들어, 바이러스 서명에 대한 SDR과 실질적으로 유사한 SDR을 가진다)고 결정할 수 있다; 필터링 모듈(1502)은 정책, 규칙, 또는 다른 명령 세트에 액세스하여, 이러한 실례에서 경고가 하나 이상의 사용자 또는 머신에게 전송되어야 하는지(예를 들어, 네트워크 관리자에게 문자 메시지를 보냄)를 결정할 수 있다.

일 실시형태에서, 필터링 모듈(1502)은 복수 개의 스트리밍된 문서 중 첫 번째 문서를 제 3 머신(102c)에서 실행되는 클라이언트 에이전트(1510)에게 전달한다. 클라이언트 에이전트(1510)는 라우터에서 실행될 수 있다. 클라이언트 에이전트(1510)는 임의의 종류의 네트워크 디바이스에서 실행될 수 있다. 클라이언트 에이전트(1510)는 웹 서버에서 실행될 수 있다. 클라이언트 에이전트(1510)는 본 명세서에서 설명되는 임의의 형태 또는 타입의 머신에서 실행될 수 있다.

일 실시형태에서, 필터링 모듈(1502)은 복수 개의 스트리밍된 문서 중 첫 번째 문서를 스트리밍된 문서들의 서브-스트림에 추가한다. 다른 실시형태에서, 필터링 모듈(1502)는 서브-스트림을 클라이언트 에이전트(1510)에 의해 액세스가능한 데이터베이스(미도시) 내에 저장한다(예를 들어, 데이터베이스를 폴링(polling)하거나 당업자들에게 알려져 있는 업데이트 통지 또는 다른 메커니즘을 구독함으로써, 그리고 서브-스트림의 전부 또는 일부를 다운로드함으로써). 또 다른 실시형태에서, 필터링 모듈(1502)은 서브-스트림을 클라이언트 에이전트(1510)로 송신함으로써, 클라이언트 에이전트(1510)로부터 수신된 폴링 요청에 응답한다.

일부 실시형태들에서, 필터링 모듈(1502)은 제 2 복수 개의 스트리밍된 문서를 제 2 데이터 소스로부터 수신한다. 필터링 모듈(1502)은 제 2 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 복합 SDR의 생성을 지시한다(예를 들어, 제 1 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 복합 SDR의 생성과 연계하여 전술된 바와 같이). 유사도 엔진(304)은 제 2 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 생성된 복합 SDR 및 제 1 복수 개의 스트리밍된 문서 중 첫 번째 문서에 대한 생성된 복합 SDR 사이의 거리를 결정한다. 필터링 모듈(1502)은 제 2 복수 개의 스트리밍된 문서 중 첫 번째 문서를 제 3 컴퓨팅 디바이스로 전달할지 여부를 결정된 거리에 기반하여 결정한다. 일 실시형태에서, 필터링 모듈(1502)은 제 2 복수 개의 스트리밍된 문서 중 첫 번째 문서를 전달할지 여부를, 비교된 SDR들이 미리 결정된 유사도 임계 아래라고 결정하는 것에 기반하여 결정할 수 있다 - 예를 들어, 필터링 모듈(1502)은 제 2 복수 개의 스트리밍된 문서 중 첫 번째 문서가 제 1 복수 개의 스트리밍된 문서 중 첫 번째 문서로부터 충분히 떨어져 있다면(예를 들어, 미리 결정된 유사도 임계 아래임) 이것을 전달하라고 의사결정할 수 있는 반면에, 제 2 복수 개의 스트리밍된 문서 중 첫 번째 문서가 제 1 복수 개의 스트리밍된 문서 중 첫 번째 문서와 너무 유사하다면 이것을 폐기하도록 의사결정한다(예를 들어, 미리 결정된 유사도 임계를 초과하기 때문에, 제 2 복수 개의 스트리밍된 문서 중 첫 번째 문서는 누적적이거나, 중복되거나, 그렇지 않으면 제 1 복수 개의 스트리밍된 문서 중 첫 번째 문서와 너무 유사하다고 여겨질 수 있음). 이러한 방식으로, 필터링 모듈(1502)은 상이한 데이터 소스로부터의 문서(예를 들어, 상이한 소셜 미디어 사이트에 포스팅되거나 단일 소셜 미디어 사이트 상의 상이한 계정으로부터 포스팅되거나, 상이한 네트워크 패킷 내에 포함됨)가 충분히 유사해서 하나의 문서만을 이용가능하게 해도 중복된 정보를 가진 서브-스트림보다 개선된 서브-스트림을 제공한다고 결정할 수 있다.

일부 실시형태들에서, 단계(1606-1610)는 바이러스 서명을 포함하는 데이터 문서를 어드레싱하기 위해서 맞춤화된다. 이러한 실시형태들 중 하나에서, 파서는 데이터 문서의 세트에서 발생되는 바이러스 서명의 나열을 생성한다. 이러한 실시형태들 중 다른 것에서, 표현 생성기는 나열 내의 각각의 바이러스 서명에 대하여, (i) 바이러스 서명이 발생하는 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 바이러스 서명의 발생의 횟수, 및 (iii) 상기 바이러스 서명이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정한다. 이러한 실시형태들 중 또 다른 실시형태에서, 표현 생성기는 나열 내의 각각의 바이러스 서명에 대하여, 복합 SDR일 수 있는 SDR을 생성한다. 다른 실시형태에서, 시스템은 나열 내의 각각의 바이러스 서명을 프로토콜(예를 들어, 네트워크 프로토콜)에 기반하여 복수 개의 서브유닛(예를 들어, 어구, 문장, 또는 바이러스 서명 문서의 다른 부분)으로 분해한다. 또 다른 실시형태에서, 시스템은 나열 내의 각각의 서브유닛을 적어도 하나의 값(예를 들어, 단어)으로 분해한다. 또 다른 실시형태에서, 시스템은 나열 내의 바이러스 서명의 복수 개의 서브유닛 각각의 각각의 값에 대하여, (i) 해당 값이 발생하는 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 해당 값의 발생의 횟수, 및 (iii) 해당 값이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정한다; 시스템은 나열 내의 각각의 값에 대하여, SDR을 해당 값의 발생 정보를 사용하여 생성한다. 또 다른 실시형태에서, 시스템은 나열 내의 각각의 서브유닛에 대하여 복합 SDR을 값 SDR(들)을 사용하여 생성한다. 추가적인 실시형태에서, 시스템은 SDR 내의 각각의 바이러스 서명에 대한 복합 SDR을 생성된 서브유닛 SDR들에 기반하여 생성한다. 바이러스 서명 SDR들, 서브유닛 SDR들, 및 값 SDR들은 SDR 데이터베이스(120) 내에 저장될 수 있다.

방법(1600)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 용어들의 나열을 생성하는 단계(1606)를 포함한다. 방법(1600)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 용어에 대하여, (i) 상기 용어가 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 용어의 발생의 횟수, 및 (iii) 상기 용어가 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1608)를 포함한다. 방법(1600)은 나열 내의 각각의 용어에 대하여, 발생 정보를 사용하여 표현 생성기에 의하여 성긴 분포된 표현(SDR)을 생성하는 단계(1610)를 포함한다.

일부 실시형태들에서, 클라이언트 에이전트(1510)는, SDR들의 생성을 위하여 지문 모듈(302)을 호출하고 유사도 엔진(304)과 상호작용하여 스트리밍된 문서의 SDR 및 기준 SDR 사이의 유사성의 레벨을 수신하면서, 필터링 모듈(1502)의 기능성을 포함한다; 클라이언트 에이전트(1510)는 스트리밍된 문서를 저장 또는 폐기할지 여부에 관련된 결정을 유사성의 레벨에 기반하여 수행할 수 있다.

몇 가지 실시형태들에서, 본 명세서에서 설명되는 컴포넌트는 하나 이상의 기능을 자동적으로, 즉 사람이 개입하지 않고서 실행할 수 있다. 예를 들어, 시스템(100)은 데이터 문서의 세트(104)를 수신하고, 데이터 문서를 전처리하고, 참조 맵 생성기(106)를 학습시키거나, 데이터 문서의 세트(104) 내의 각각의 데이터 아이템에 대한 SDR(118)을 생성하기 위한 방법 중 임의의 하나 이상을 인간이 개입하지 않고서도 자동으로 계속하여 실행할 수 있다. 다른 예로서, 시스템(300)은 적어도 하나의 데이터 아이템을 수신하고, 수신된 데이터 아이템과 SDR 데이터베이스(120) 내의 데이터 아이템 사이의 유사성의 레벨을 식별하고, 유사한 데이터 아이템의 나열을 생성하거나, 또는 위에서 설명된 바와 같은 다른 기능을 수행하기 위한 방법 중 임의의 하나 이상을 자동적으로 계속하여 실행할 수 있다. 다른 예로서, 시스템(300)은, 자율 엔티티가 실행하고, 통신하며, 본 명세서에서 설명되는 것과 같은 기능성을 제공하는 소위 "사물 인터넷" 의 일부이거나, 그 일부인 컴포넌트를 포함할 수 있다; 예를 들면, 자동화된 자율 프로세스는 질의를 생성하고, 시스템(300)으로부터 응답을 수신하며, 이러한 응답을 다른 사용자(인간, 컴퓨터, 또는 다른 것)에게 제공할 수 있다. 몇 가지 실례들에서, 음성-텍스트 또는 텍스트-음성화 기초 인터페이스가 포함되어, 비한정적인 예로서, 인터페이스가 인식하고 인터페이스가 이를 사용하여 컴퓨터-처리가능 명령을 생성하는 음성 명령을 사용자가 생성할 수 있게 한다.

도 5와 연계하여 전술된 바와 같이, 유사도 엔진(304)은 제 1 데이터 아이템을 사용자로부터 수신하고, 제 1 데이터 아이템의 제 1 SDR 및 SDR 데이터베이스로부터 취출된 제 2 데이터 아이템의 제 2 SDR 사이의 거리를 결정하며, 및 제 2 데이터 아이템의 식별 및 제 1 데이터 아이템 및 제 2 데이터 아이템 사이의 의미 유사도의 레벨의 식별을 결정된 거리에 기반하여 제공할 수 있다. 일부 실시형태들에서, 제 1 데이터 아이템은 프로파일의 기술(description)이다. 일 예로서는, 프로파일은 이상적인 작업 후보에 대한 프로파일일 수 있다. 다른 예로서, 프로파일은 사용자가 만나는데 관심을 가질 개인의 프로파일일 수 있다(예를 들어, 네트워킹 목적, 데이트 목적, 또는 다른 관계 구축 목적을 위하여). 일부 실시형태들에서, 프로파일은 이상적인 개인의 하나 이상의 특성의 자유-텍스트 기술(free-text description)이고, 유사도 엔진(304)은 개인의 하나 이상의 프로파일에 대하여 SDR 데이터베이스(120)를 검색하며, 여기에서 개인의 프로파일로부터 생성된 SDR은 제공된 이상적인 후보 프로파일의 SDR과 중첩된다(예를 들어, 최소 거리를 가짐). 일부 실시형태들에서, 프로파일은 사용자가 더 배우거나 구입하는 데에 관심이 있는 제품(예를 들어, 제품 또는 서비스)의 프로파일이다. 일 예로서, 사용자는 필요하거나 소망되는 제품 속성의 텍스트-기반 설명을 제공할 수 있다; 사용자의 이전의 구입 이력 또는 다른 사용자-기반 속성에 기반하여 제품을 추천하는 시스템과 반대로, 본 명세서에서 설명되는 방법 및 시스템은 제품 설명으로부터 생성된 SDR들을 포함하는 SDR 데이터베이스(120)를 검색하고, 제품 자체의 설명(사용자 또는 사용자의 습관이 아님)이 소망되는 요구 또는 기능성과 의미론적으로 유사한 결과를 제공할 수 있다.

일부 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템은 웹 페이지(예를 들어, 컴퓨터 상에 저장되고, 임의의 개수의 컴퓨터 네트워킹 프로토콜에 따라서 하나 이상의 컴퓨터 네트워크에 걸쳐서 다른 컴퓨터에 의해서 취출되도록 사용될 수 있게 된 문서)의 SDR을 취출 및 생성하고, SDR 데이터베이스(120)를 웹페이지의 SDR들로써 파퓰레이션하는 기능성을 제공한다. 이러한 실시형태들 중 하나에서, 따라서 데이터 문서들의 세트는 시스템에 의하여(예를 들어, 시스템과 통신하는 웹 크롤러에 의하여) 또는 시스템의 사용자에 의하여 취출된 복수 개의 웹페이지이다. 이러한 실시형태들 중 다른 실시형태에서, 유사도 엔진(304)은 사용자가 실행하기를 원하는 웹 검색의 기술을 포함하는 데이터 아이템을 수신하고, 도 5와 연계하여 전술된 바와 같은 기능성을 수행한다; 유사도 엔진(304)은 데이터 아이템을 사용자로부터 직접적으로(예를 들어, 도 6a, 도 9a 및 도 9b, 도 10a, 및 도 10b와 관련하여 전술된 바와 같은 것을 포함하는 시스템에 의하여 제공된 질의 모듈을 통하여) 또는 사용자 입력을 유사도 엔진(304)으로 전달하는 제삼자 시스템으로부터 수신할 수 있다.

일부 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템은 더 정확한 검색 결과를 제공하기 위해서 특정 문서 말뭉치에서 훈련하는 것으로부터 혜택을 받을 수 있다. 일 예로서는, 시스템은 특정 주제 또는 전문 영역 또는 산업 지식에서의 사기 검출 기능성(fraud detection functionality)을 제공할 때에 개선된 결과를 제공하도록 맞춤화될 수 있다. 다른 예로서, 시스템은 포렌식 분석을 제공할 때에 개선된 결과를 제공하도록 맞춤화될 수 있다. 이러한 실시형태에서, 사용자는 그들이 검색하고 있는 피쳐 또는 속성의 특정 설명을 가지지 않을 수 있다(예를 들어, 특정 기술을 가진 작업 후보를 찾는 사용자 또는 특정 기능성을 가진 제품을 구입하려고 하는 사용자와 다름); 그러나, 사용자는 그가 찾으려고 하는 문서의 종류의 견본들인 하나 이상의 문서를 가질 수 있다; 그러한 문서들은 도 5와 연계하여 전술된 바와 같이 사용될 수 있다. 예를 들어, 사용자는 재정 보고 요건 또는 윤리 규정 위반을 트리거링한 전자 메일 메시지의 예들을 가질 수 있다; 전자 메일 내에서 사용된 특정한 단어(또는 심지어 문서 또는 통신의 성질)가 시나리오마다 다를 수 있다고 해도, 의미 지문(semantic fingerprint)을 레버리지하면 사용자가 의미론적으로 유사한 문서를 찾을 수 있게 된다.

일부 실시형태들에서, 유사도 엔진(304)은 사용자-제공 데이터 아이템에 기반하여 생성된 SDR 및 SDR 데이터베이스(120)로부터 취출된 이전에 생성된 SDR 사이의 거리를 결정하고(도 5와 연계하여 전술된 바와 같이), 해당 거리가 미리 결정된 임계를 초과한다고 결정한다. 이러한 실시형태들 중 하나에서, 유사도 엔진(304)은 이러한 SDR이 추가적으로 분석할 가치가 있을 수 있는 이상치(outlier)라고 결정한다. 예를 들어, 비즈니스 문서가 해당 타입의 다른 비즈니스 문서에 포함된 정보와 실질적으로 다른 정보를 포함하는 경우, 이것은 분석자(인간 또는 컴퓨터 또는 합께 작업하는 양자 모두)에게 이상치 문서가 추가 분석을 거쳐야 한다고 시그널링할 수 있다. 이러한 예를 계속 살펴보면, 복수 개의 문서가 내부자 거래의 실례를 식별하도록 시도하기 위해서 분석되고 있으면, 문서의 작성자는 그들의 업계에는 비즈니스 문서에서 과거에 사용되지 않았던 암호화된 단어를 사용했을 수 있다; 사용된 특정 단어와 무관하게, 이러한 문서는 추가 분석이 되도록 플래깅될만큼 종래의 문서로부터 충분히 다른 SDR들이 생성되는 결과를 초래할 것이다. 일부 실시형태들에서, 이러한 추가 분석은 본 명세서에서 설명되는 시스템에 의하여 또는 인간 분석자에 의해서 수행된다; 예를 들어, 조사관들은 문서의 생성 날짜를 타임라인과 링크시켜서 문서의 그 외의 이례적인 특성이 존재하는지 여부를 결정할 수 있다. 본 명세서에서 설명되는 시스템 및 방법을 이러한 예에서 사용하면, 추가 분석을 거칠 수 있는 문서들의 그룹을 좁혀감으로써 조사관에게 혜택이 된다.

일부 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템은 추가 기능성을 제공하기 위하여 다른 제삼자 인공 지능 알고리즘과 인터페이스할 수 있다. 예를 들어, 이상(anomaly) 검출 기능성을 제공할 때에, 인공 지능 시스템은 어떤 데이터 아이템을 추종할 데이터 아이템을 예측하도록 훈련될 수 있다(예를 들어, 데이터 아이템들의 시퀀스 내에서 패턴을 식별한 결과로서). 이러한 예를 계속 살펴보면, 인공 지능 시스템에게 전술된 바와 같이 생성된 복수 개의 SDR들이 제공되면, 인공 지능 시스템은 SDR들 내에서 패턴을 식별하고, 패턴에서 다음에 무엇이 올지를 결정할 수 있다; 다음에 오는 SDR이 패턴을 깨뜨리면, 시스템은 이상을 식별할 수 있다. 이상은 데이터의 스트림 내에 새로운 주제를 포함한다; 예를 들어, 뉴스에 관련된 데이터 아이템의 스트림에서, 이상은 상이한 주제에 대한 속보를 표시할 수 있다.

일부 실시형태들에서, 본 명세서에서 설명되는 시스템 및 방법은 기계 번역을 지원하는 기능성을 제공함에 있어서 언어 모델을 대체하기 위해서 사용될 수 있다(발화-텍스트 전환, 광학 문자 인식, 및 기계 번역의 다를 사용을 포함함). 종래의 시스템은 언어의 조각(단어, 문장 등)이 언어의 다른 조각과 관련될 확률, 예를 들어 하나의 단어가 문장 내에서 다른 단어 뒤에 올 확률 계산할 수 있는 언어 모델을 사용한다. 일 실시형태에서, 유사도 엔진(304)은 언어 모델을 대체하도록 레버리지될 수 있다. 유사도 엔진(304)은 데이터 아이템(예를 들어, 문장 내의 단어 또는 어구 또는 문단 내의 문장)을 수신하고, 데이터 아이템에 대한 SDR을 생성하며, 수신된 데이터 아이템과 연관하여 통상적으로 발견되는 단어, 어구, 또는 데이터 아이템을 식별할 수 있다. 또한, 유사도 엔진(304)은 수신된 단어를 포함하는 문서 또는 문서의 일부를 수신하고, 유사한 문서를 식별하기 위하여 다른 문서의 복합 SDR들과 비교되기 위한 복합 SDR을 생성하며, 그 후에 어떤 데이터 아이템이 수신된 데이터 아이템의 뒤에 통상적으로 오는지를 결정할 수 있다. 이러한 실시형태에서, 시스템은 전술된 주제 슬라이싱 기능성을 더 레버리지할 수 있다.

일부 실시형태들에서, 데이터 아이템은 관리된 문서(예를 들어, 메타데이터의 적어도 하나의 아이템이 문서와 연관되고, 문서의 SDR이 또한 문서와 연관된 메타데이터가 될 수 있는 시스템 내의 문서)이다. 이러한 실시형태들 중 하나에서, 관리된 문서는 편집 중이고, 그에 대해서 SDR이 사용자가 문서를 작성 또는 편집하는 시간 전체에 걸쳐서 생성되고 업데이트되는 문서이다. 이러한 실시형태 중 다른 것에서, 본 명세서에서 설명되는 시스템 및 방법은 문서가 여전히 작성, 업데이트, 또는 편집되고 있는 동안에 사용자 피드백을 제공하기 위한 기능성을 제공한다. 일 예로서는, 데이터 아이템은 제 1 시점에서의 관리된 문서일 수 있고, 초기 SDR은 제 1 시점에서 관리된 문서에 대해서 생성될 수 있다; 후속 시점(예를 들어, 사용자 또는 관리자에 의해 미리 결정된 시점, 또는 사용자가 업데이트를 요청한 시점, 또는 시스템이 사용자가 생성된 업데이트를 가지기를 원하는지 문의하도록 프로그래밍된 시점)에서, 시스템은 업데이트된 SDR을 생성될 수 있다. 업데이트된 SDR을 생성하는 시점에, 유사도 엔진(304)은 SDR을 이전에 생성된 관리된 문서로부터 생성된 SDR(예를 들어 SDR 데이터베이스(120)로부터 취출된 SDR)과 비교할 수 있다. 이러한 비교에 기반하여, 시스템은 관리된 문서를 생성 또는 수정하는 사용자에게 피드백을 제공할 수 있다; 예를 들어, 시스템은 관리된 문서의 타입을 식별하고, 사용자가 유사한 타입의 이전에 생성된 다른 문서(예를 들어, 다른 편지, 다른 계약서, 유사한 키워드를 포함하는 다른 문서, 또는 유사한 섹션을 포함하는 다른 문서)에 액세스하기를 원하는지 여부를 사용자에게 문의하며, 그 후에 요청된 문서로의 액세스를 제공할 수 있다. 더 나아가, 시스템은 사용자에게 다른 가이드를 제공할 수 있다(예를 들어, 그 SDR들이 생성되거나 수정되는 관리된 문서의 SDR과 실질적으로 유사한 관리된 다른 문서가 통상적으로 특정 섹션 또는 텍스트 또는 첨부문헌을 포함한다는 리마인더를 제공함).

일부 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템은 문서를 라우팅하기 위한 기능성을 제공한다. 이러한 실시형태들 중 하나에서, 유사도 엔진(304)은 복수의 사용자 중 한 명에게 라우팅될 문서(예를 들어, 복수의 이메일 수신자 중 특정한 개인에게 전송될 이메일 또는 복수의 사용자 중 한 명에 의해서 리뷰될 문서)의 SDR을 수신하고, 수신된 SDR을 SDR 데이터베이스(120)로부터 취출된 SDR들과 비교한다. 일 실시형태에서, SDR 데이터베이스(120)는 시스템 내의 사용자의 프로파일의 SDR들로써 파퓰레이션된다. 예를 들어, 세금 문서를 리뷰하는 사용자와 연관된 사용자 프로파일은 재정 문서를 리뷰하는 사용자와 연관된 사용자 프로파일과 다른 SDR을 가질 수 있다; 들어오는 문서의 SDR을 프로파일링된 사용자의 SDR들과 비교함으로써, 유사도 엔진(304)은 들어오는 문서의 SDR과의 실질적 유사도를 가지는 사용자의 프로파일의 SDR들을 식별할 수 있게 될 것이고, 그러면 시스템은 도달하는 문서를 프로파일 내에서 식별된 사용자에게 제공하도록 결정할 수 있다. 일부 실시형태들에서, SDR 데이터베이스(120)는 이전에 라우팅된 문서의 SDR들로써 파퓰레이션되고, 시스템은 다른 문서들이 어디로 라우팅되었는지를 결정할 수 있다; 예를 들어, 수신된 SDR과 유사한 SDR들을 가지는의 메타데이터를 분석하는 것에 기반하여, 시스템은 라우팅될 문서가 계약 변호사 또는 회사의 회계사 또는 인턴을 통해서 리뷰 작업을 담당하는 개인에게 가야 한다고 결정할 수 있다.

의미론적 감정(SEMANTIC SENTIMENT) 분석

일부 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템은 감정 분석(sentiment analysis)을 수행하기 위한 기능성을 제공한다. 이러한 실시형태들 중 하나에서, 분석 중인 복수 개의 데이터 아이템들의 시퀀스는 분석의 결과에 영향을 준다; 복수 개의 데이터 아이템을 포함하는 문장에 의해서 의도된 감정을 결정하기 위해서, 데이터 아이템들이 나타나는 순서가 차이를 만든다(예를 들어, 사람이 개를 문다와 개가 사람을 문다의 차이). 전술된 특정 실시형태에서는, 시스템은 문장의 단어 순서와 무관하게 동일한 SDR을 생성할 것이다. 그러므로, 제공된 기능성을 데이터 아이템(또는 데이터 아이템들의 그룹)의 SDR이 하나 이상의 감정을 전달하는 데이터 아이템(또는 데이터 아이템들의 그룹)의 SDR들과 실질적으로 유사한지 여부를 결정할 때에 개선시키기 위해서, 본 명세서에서 설명되는 방법 및 시스템은 시퀀스 러닝(sequence learning) 기능성을 제공하는 인공 지능 시스템과 상호작용하기 위한 기능성을 포함할 수 있다. 당업자들에 의해서 이해될 수 있는 것처럼, 시퀀스 러너(sequence learner)는 패턴들의 시퀀스에 노출되고, 다음 패턴이 무엇이 될 것인지를 예측하고, 단어(또는 일반적으로는 데이터 아이템)의 표현을 특정 시퀀스로 제공할 수 있다. 시퀀스 러너 기능성은, 계층적 시간 메모리를 포함하거나 이와 통신할 수 있는데, 이것은 시퀀스를 데이터 아이템(예를 들어, 문장)의 관련된 그룹으로서 식별하고, 문장을 해당 특정 순서에서 대표하는 출력 SDR을 생성한다 - 문장 내의 단어의 순서가 수정되어야 하면, 계층적 시간 메모리는 단어가 수정된 순서로 배열된 문장에 대한 제 2의 상이한 출력 SDR을 생성할 것이다. 그러므로, 유사도 엔진(304)은 인공 지능 시스템으로부터, 복수 개의 데이터 아이템 내의 데이터 아이템들의 순서를 반영하는 출력 SDR을 수신하고, 이러한 출력 SDR을 다른 출력 SDR들과 비교할 수 있다. 더욱이, 인공 지능 시스템은 특정 감정(예를 들어, 좋은 감정, 나쁜 감정, 중간 감정, 분노, 초조 등)과 연관된 데이터에서 훈련된 바 있어서, 감정 분석에서 사용하기 위한 분류기를 결과적으로 제공할 수 있다.

일부 실시형태들에서, 데이터 아이템은 광고의 콘텐츠를 포함한다. 일 예로서, 광고 회사는 광고(예를 들어, 고객을 위해서 행해지는 광고)에 대한 광고 배치 기회를 식별하려고 추구할 수 있고, 광고의 배치를 개선하기 위해서 본 명세서에서 설명되는 시스템 및 방법을 사용할 수 있다. 더 특정한 다른 예로서, 본 명세서에서 설명되는 시스템 및 방법은 인터넷 사용자의 쇼핑 콘텍스트(예를 들어, 사용자가 최근에 검색했거나 구매한 아이템의 식별을 포함할 수 있는, 인터넷 사용자의 쇼핑-관련 쿠키의 콘텐츠)의 SDR을, 배치되기 위해 이용가능한 카탈로그 내의 광고(예를 들어, SDR들이 이전에 생성되고 SDR 데이터베이스(120) 내에 저장된 광고)로부터 이전에 생성된 SDR들과 비교함으로써 광고의 배치를 개선할 수 있다. 이러한 실시형태들 중 하나에서, 유사도 엔진(304)은 쇼핑 콘텍스트(이러한 실시형태에서는 수신된 데이터 아이템임)의 SDR을 수신하고, 이러한 SDR을 SDR 데이터베이스(120) 내의 SDR들과 비교하여, 광고 카탈로그 내의 광고 중 어느 것이 사용자의 쇼핑 콘텍스트와 관련될 것인지를 결정할 수 있다; 그러면, 시스템은 해당 쇼핑 콘텍스트를 가지는 사용자가 광고를 보게 될 위치(예를 들어, 웹 사이트)에 식별된 광고를 배치할 것을 추천할 수 있다. 통상적으로 오직 키워드들만을 매칭시킬 수 있는 종래의 시스템과 반대로, 유사도 엔진을 사용하면 키워드들이 상이한 경우에도 관련된 주제의 신속한 식별이 가능해질 것이다. 일부 실시형태들에서, 본 명세서에서 설명되는 방법 및 시스템은 쇼핑 콘텍스트의 SDR과 실질적으로 유사한 SDR들을 가지는 데이터 아이템의 식별을 제공할 수 있고, 예를 들어 절달이 허용가능한 시간 한계(예를 들어, 밀리초)를 초과하지 않게 하기 위해서 광고가 밀리초 내에 식별되고 배치되어야 하는 인터넷 광고 환경에서 이것을 하기 위한 제약을 만족시킬만큼 충분히 빠르게 이것을 수행할 수 있다.

몇 가지 실시형태들에서, 종래의 시스템과는 달리, 본 명세서에서 설명되는 시스템 및 방법은 의미 콘텍스트를 개개의 표현으로 바꾼다; 예를 들어, 특정 SDR이 어떻게 생성되었는지를 모르더라도, 시스템은 여전히 SDR을 다른 SDR과 비교하고 두 SDR들의 의미 콘텍스트를 사용하여 사용자에게 직관을 제공할 수 있다. 다른 실시형태들에서, 과거에 문서-레벨 클러스터링에 중점을 둔 종래의 시스템과 달리, 본 명세서에서 설명되는 시스템 및 방법은 문서-레벨 콘텍스트를 사용하여 용어 레벨에서 의미 직관을 제공하여, 사용자가 문서의 말뭉치 내의 개개의 용어의 의미론적 의미를 식별할 수 있게 한다.

위에서 설명된 시스템은 그러한 컴포넌트들 중 임의의 것 또는 각각 중 여러 개를 제공할 수 있으며, 이러한 컴포넌트들은 독립형 머신에, 또는 일부 실시형태들에서는 분산 시스템에 있는 다수의 머신에 제공할 수 있다는 것이 이해되어야 한다. 어구 '일 실시형태에서' 등은 일반적으로 해당 어구에 후속하는 특정 피쳐, 구조, 단계, 또는 특징이 본 발명의 일 실시형태에 포함되며 본 발명의 하나 이상의 실시형태에 포함될 수 있다는 것을 의미한다. 하지만 이러한 어구는 반드시 동일한 실시형태를 가리키는 것은 아니다.

비록 본 명세서에서는 엔진, 생성기, 모듈, 또는 컴포넌트라고 지칭되지만, 본 명세서에서 설명되는 요소는 소프트웨어, 하드웨어, 또는 이들의 조합으로 각각 제공될 수 있고, 하나 이상의 머신(100)에서 실행될 수 있다. 비록 본 명세서에서 설명되는 특정 컴포넌트들이 설명의 편의를 위해서 별개의 엔티티로 묘사되지만, 이들이 아키텍처를 특정 구현형태로 한정하는 것이 아니라고 이해되어야 한다. 예를 들면, 설명된 컴포넌트의 일부 또는 전부의 기능성은 단일 회로 또는 소프트웨어 기능펑션에 의해 망라될 수 있다; 다른 예로서, 하나 이상의 컴포넌트의 기능성은 다수의 컴포넌트에 걸쳐 분산될 수도 있다.

본 명세서에서 설명된 기능성을 제공하는 머신(102)은 임의의 타입의 워크스테이션, 데스크탑 컴퓨터, 랩탑 또는 노트북 컴퓨터, 서버, 휴대용 컴퓨터, 모바일 전화기, 모바일 스마트 폰, 또는 다른 휴대용 원격 통신 디바이스, 미디어 재생 디바이스, 게이밍 시스템, 모바일 컴퓨팅 디바이스, 또는 임의의 타입과 형태의 네트워크에서 통신할 수 있고 명세서에서 설명되는 동작들을 수행하기에 충분한 프로세서 파워와 메모리 용량을 가지는 임의의 다른 타입 및/또는 형태의 계산, 원격 통신 또는 미디어 디바이스일 수 있다. 머신(102)은, 임의의 타입 및/또는 형태의 소프트웨어, 프로그램, 또는 실행가능한 명령일 수 있으며, 비한정적으로, 임의의 타입 및/또는 형태의 웹 브라우저, 웹-기초 클라이언트, 클라이언트-서버 애플리케이션, ActiveX 제어, 자바 애플릿, 또는 머신(102)에서 실행될 수 있는 임의의 다른 타입 및/또는 형태의 실행가능한 명령을 포함하는 애플리케이션을 실행, 작동시키거나 그렇지 않으면 제공할 수 있다.

머신(100)은, 임의의 타입 및/또는 형태의 네트워크일 수 있고, 점-점(P2P) 네트워크, 브로드캐스트 네트워크, 광역 네트워크, 근거리 네트워크, 원격 통신 네트워크, 데이터 통신 네트워크, 컴퓨터 네트워크, ATM(비동기 전송 모드) 네트워크, SONET(동기화 광 네트워크) 네트워크, SDH(동기화 디지털 계층성) 네트워크, 무선 네트워크, 및 유선 네트워크 중 임의의 것을 포함할 수 있는 네트워크를 통해 서로 통신할 수 있다. 몇 가지 실시형태들에서, 네트워크는 적외선 채널 또는 위성 대역과 같은 무선 링크를 포함할 수 있다. 네트워크의 토폴로지는 버스, 스타(star), 또는 링 네트워크 토폴로지일 수 있다. 네트워크는 본 명세서에서 설명되는 동작을 지원할 수 있으며 당업자에게 공지된 임의의 이러한 네트워크 토폴로지일 수 있다. 네트워크는 모바일 디바이스(일반적으로 테블릿과 핸드헬드 디바이스 포함) 사이의 통신을 위하여 사용되는 임의의 프로토콜 또는 프로토콜들을 이용하며 AMPS, TDMA, CDMA, GSM, GPRS, UMTS, 또는 LTE를 포함하는 모바일 전화기 네트워크를 포함할 수 있다.

머신(102)은, 표준 전화선, LAN 또는 WAN 링크(예를 들어, 802.11, T1, T3, 56kb, X.25, SNA, DECNET), 브로드밴드 접속(예를 들어, ISDN, 프레임 릴레이, ATM, 기가비트 이더넷, 이더넷-오버-SONET), 무선 접속, 또는 위의 것들 중 임의의 것 또는 전부의 몇 가지 조합을 비한정적으로 포함하는 다양한 접속을 통해 네트워크로 인터페이스하기 위한 네트워크 인터페이스를 포함할 수 있다. 접속은 다양한 통신 프로토콜(예를 들어, TCP/IP, IPX, SPX, NetBIOS, 이더넷, ARCNET, SONET, SDH, 광섬유 분산 데이터 인터페이스(FDDI), RS232, IEEE 802.11, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n, 802.15.4, 블루투스, 지그비, CDMA, GSM, WiMax, 및 직접 비동기 접속)을 사용하여 구축될 수 있다. 일 실시형태에서, 컴퓨팅 디바이스(100)는 보안 소켓층(SSL) 또는 수송층 보안(TLS)과 같은 임의의 타입 및/또는 형태의 게이트웨이 또는 터널링 프로토콜을 통해 다른 컴퓨팅 디바이스(100')와 통신한다. 네트워크 인터페이스는 빌트인 네트워크 어댑터, 네트워크 인터페이스 카드, PCMCIA 네트워크 카드, 카드 버스 네트워크 어댑터, 무선 네트워크 어댑터, USB 네트워크 어댑터, 모뎀, 또는 컴퓨팅 디바이스(100)를, 통신할 수 있고 본 명세서에서 설명되는 동작을 수행할 수 있는 임의의 타입의 네트워크로 인터페이스하기에 적합한 임의의 다른 디바이스를 포함할 수 있다.

위에서 설명된 시스템 및 방법은 프로그래밍 및/또는 엔지니어링 기법을 사용하여 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합을 생성하는 방법, 장치, 또는 제조물로서 구현될 수 있다. 전술된 기법은, 프로세서, 프로세서에 의해 판독가능한 저장 매체(예를 들어, 휘발성 및 비휘발성 메모리 및/또는 저장 소자를 포함함), 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그램가능 컴퓨터에서 실행되는 하나 이상의 컴퓨터 프로그램으로 구현될 수 있다. 프로그램 코드는 입력 디바이스를 사용해서 입력된 입력에 적용되어 설명된 기능들을 수행하고 출력을 생성할 수 있다. 출력은 하나 이상의 출력 디바이스에 제공될 수 있다.

첨부된 청구범위의 범위에 속하는 각각의 컴퓨터 프로그램은 어셈블리 언어, 기계어, 고수준 단계적 프로그래밍 언어, 또는 객체 지향 프로그래밍 언어와 같은 임의의 프로그래밍 언어로 구현될 수 있다. 예를 들어 프로그래밍 언어는 LISP, PROLOG, PERL, C, C++, C#, 자바, 또는 임의의 컴파일되거나 해석된 프로그래밍 언어일 수 있다.

각각의 이러한 컴퓨터 프로그램은 컴퓨터 프로세서에 의해 실행되도록 머신-판독가능 스토리지 디바이스에 유형적으로 구현된 컴퓨터 프로그램 제품에 구현될 수 있다. 본 발명의 방법 단계는, 입력에 작동하고 출력을 생성함으로써 본 발명의 기능들을 수행하도록 컴퓨터-판독가능 매체에 유형적으로 구현된 프로그램을 실행하는 컴퓨터 프로세서에 의하여 수행될 수 있다. 적합한 프로세서는 일 예로서 범용 및 특수 목적 마이크로프로세서 모두를 포함한다. 일반적으로, 프로세서는 판독-전용 메모리 또는 랜덤 액세스 메모리로부터 명령 및 데이터를 수신한다. 컴퓨터 프로그램 명령을 유형적으로 구현하기에 적합한 저장 디바이스는, 예를 들어 모든 형태의 컴퓨터-판독가능 디바이스, 펌웨어, 프로그래밍가능한 로직, 하드웨어(예를 들어, 집적 회로 칩; 전자 디바이스; 컴퓨터-판독가능 비-휘발성 스토리지 유닛; EPROM, EEPROM, 및 플래시 메모리 디바이스를 포함하는 반도체 메모리 디바이스와 같은 비-휘발성 메모리; 내장형 하드 디스크 및 착탈식 디스크와 같은 자기 디스크; 자기광학 디스크; 및 CD-ROM)를 포함한다. 앞선 것들 중 임의의 것은 특수하게 설계된 ASIC(주문형 집적회로) 또는 필드 프로그래밍가능 게이트 어레이(FPGA)에 의하여 보완되거나 그 안에 통합될 수 있다. 또한, 컴퓨터는 일반적으로 내장 디스크(미도시) 또는 착탈식 디스크와 같은 스토리지 매체로부터 프로그램 및 데이터를 수신할 수 있다. 이러한 요소는 종래의 데스크탑 또는 워크스테이션 컴퓨터 및 본 명세서에서 설명되는 방법을 구현하는 컴퓨터 프로그램을 실행하기에 적합한 다른 컴퓨터에서도 발견될 수 있는데, 이것은 임의의 디지털 인쇄 엔진 또는 마킹 엔진, 디스플레이 모니터, 또는 컬러 또는 그레이스케일 픽셀을 종이, 필름, 디스플레이 스크린, 또는 다른 출력 매체에 생성할 수 있는 다른 래스터 출력 디바이스와 함께 사용될 수 있다. 또한, 컴퓨터는 송신선, 무선 송신 미디어, 공중을 통해 전파되는 신호, 무선 파, 적외선 신호, 등를 통해 프로그램에 액세세스하게 하는 제 2 컴퓨터로부터 프로그램 및 데이터를 수신할 수 있다.

좀 더 구체적으로는 도 12a와 관련하여, 네트워크 환경의 일 실시형태가 도시된다. 간략한 개관에서, 네트워크 환경은 하나 이상의 네트워크(1204)를 통해 하나 이상의 원격 머신(1206a 내지 1206n)(일반적으로 서버(들)(1206) 또는 컴퓨팅 디바이스(들)(1206)라고 지칭되기도 함)과 통신하는 하나 이상의 클라이언트(1202a 내지 1202n)를 포함한다. 위에서 설명된 머신(102)은 머신(1202), 머신(1206), 또는 머신(1200)의 임의의 타입으로 제공될 수 있다.

비록 도 12a는 클라이언트(1202)와 원격 머신(1206) 사이의 네트워크(1204)를 도시하지만, 클라이언트(1202)와 원격 머신(1206)은 동일한 네트워크(1204)에 있을 수도 있다. 네트워크(1204)는 기업 인트라넷과 같은 근거리 네트워크(LAN), 거대도시 네트워크(MAN), 또는 인터넷 또는 월드와이드웹과 같은 광역 네트워크(WAN)일 수 있다. 다른 실시형태들에서, 클라이언트(1202)와 원격 머신(1206) 사이에 여러 네트워크(1204)가 존재한다. 이러한 실시형태들 중 하나에서, 네트워크(1204')(미도시)는 사설 네트워크일 수 있고 네트워크(1204)는 공용 네트워크일 수 있다. 이러한 실시형태들 중 다른 것에서, 네트워크(1204)가 사설 네트워크이고(1204')가 공용 네트워크일 수도 있다. 또 다른 실시형태에서, 네트워크(1204 및 1204')는 양자 모두 사설 네트워크일 수도 있다.

네트워크(1204)는 임의의 타입 및/또는 형태의 네트워크일 수 있고, 점-점(P2P) 네트워크, 브로드캐스트 네트워크, 광역 네트워크, 근거리 네트워크, 원격 통신 네트워크, 데이터 통신 네트워크, 컴퓨터 네트워크, ATM(비동기 전송 모드) 네트워크, SONET(동기화 광 네트워크) 네트워크, SDH(동기화 디지털 계층성) 네트워크, 무선 네트워크, 및 유선 네트워크 중 임의의 것을 포함할 수 있다. 몇 가지 실시형태들에서, 네트워크(1204)는 적외선 채널 또는 위성 대역과 같은 무선 링크를 포함할 수 있다. 네트워크(1204)의 토폴로지는 버스, 스타(star), 또는 링 네트워크 토폴로지일 수 있다. 네트워크(1204)는 본 명세서에서 설명되는 동작을 지원할 수 있으며 당업자에게 공지된 임의의 이러한 네트워크 토폴로지일 수 있다. 네트워크는 모바일 디바이스 사이의 통신을 위하여 사용되는 임의의 프로토콜 또는 프로토콜들을 이용하며 AMPS, TDMA, CDMA, GSM, GPRS, 또는 UMTS를 포함하는 모바일 전화기 네트워크를 포함할 수 있다. 몇 가지 실시형태들에서, 다른 타입의 데이터는 다른 프로토콜을 통해 송신될 수 있다. 다른 실시형태들에서, 동일한 타입의 데이터가 다른 프로토콜을 통해 송신될 수도 있다.

클라이언트(1202) 및 원격 머신(1206)(일반적으로 컴퓨팅 디바이스(1200)라고 지칭됨)은 임의의 워크스테이션, 데스크탑 컴퓨터, 랩탑 또는 노트북 컴퓨터, 서버, 휴대용 컴퓨터, 모바일 전화기, 또는 다른 휴대용 원격 통신 디바이스, 미디어 재생 디바이스, 게이밍 시스템, 모바일 컴퓨팅 디바이스, 또는 통신할 수 있고 명세서에서 설명되는 동작들을 수행하기에 충분한 프로세서 파워와 메모리 용량을 가지는 임의의 다른 타입 및/또는 형태의 계산, 원격 통신 또는 미디어 디바이스일 수 있다. 몇 가지 실시형태들에서, 컴퓨팅 디바이스(1200)는 상이한 프로세서, 운영 체제, 및 디바이스와 호환되는 입력 디바이스를 포함할 수 있다. 다른 실시형태들에서, 컴퓨팅 디바이스(1200)는 모바일 디바이스, 디지털 오디오 플레이어, 디지털 미디어 플레이어, 또는 이러한 디바이스들의 조합이다. 컴퓨팅 디바이스(1200)는, 임의의 타입 및/또는 형태의 소프트웨어, 프로그램, 또는 실행가능한 명령일 수 있으며, 비한정적으로, 임의의 타입 및/또는 형태의 웹 브라우저, 웹-기초 클라이언트, 클라이언트-서버 애플리케이션, ActiveX 제어, 또는 자바 애플릿, 또는 컴퓨팅 디바이스(1200)에서 실행될 수 있는 임의의 다른 타입 및/또는 형태의 실행가능한 명령을 포함하는 애플리케이션을 실행, 작동시키거나 그렇지 않으면 제공할 수 있다.

일 실시형태에서, 컴퓨팅 디바이스(1200)는 웹 서버의 기능을 제공한다. 몇 가지 실시형태들에서, 웹 서버(1200)는 델라웨어의 Apache 소프트웨어 파운데이션에 의해 유지되는 APACHE 서버와 같은 오픈-소스 웹 서버를 포함한다. 다른 실시형태들에서, 웹 서버(1200)는 레드몬드(Redmond, WA)에 있는 Microsoft Corporation에 의해 제공되는 INTERNET INFORMATION SERVICES 제품, 레드우드 쇼어(Redwood Shores, CA)에 있는 Oracle Corporation에 의해 제공되는 ORACLE IPLANET 웹 서버 제품, 또는 산타 클라라(Santa Clara, CA)에 있는 BEA Systems에 의해 제공되는 BEA WEBLOGIC 제품과 같은 독점형 소프트웨어를 실행한다.

몇 가지 실시형태들에서, 시스템은 다수의, 논리적으로 그룹화된 컴퓨팅 디바이스(1200)를 포함할 수 있다. 이러한 실시형태들 중 하나에서, 컴퓨팅 디바이스(1200)의 논리적 그룹은 서버 팜(server farm)이라고 불릴 수 있다. 이러한 실시형태들 중 다른 것에서, 서버 팜은 단일 엔티티로서 운영될 수 있다.

도 12b 및 도 12c는 클라이언트(1202) 또는 원격 머신(1206)의 일 실시형태를 실시하기에 유용한 컴퓨팅 디바이스(1200)의 블록도를 나타낸다. 도 12b 및 도 12c에 도시된 바와 같이, 각각의 컴퓨팅 디바이스(1200)는 중앙 처리 유닛(1221), 및 메인 메모리 유닛(1222)을 포함한다. 도 12b에 도시된 바와 같이, 컴퓨팅 디바이스(1200)는 스토리지 디바이스(1228), 설치 디바이스(1216), 네트워크 인터페이스(1218), I/O 제어기(1223), 디스플레이 디바이스(1224a-n), 키보드(1226), 마우스와 같은 포인팅 디바이스(1227), 및 하나 이상의 다른 I/O 디바이스(1230a-n)를 포함할 수 있다. 스토리지 디바이스(1228)는, 비한정적으로 운영 체제 및 소프트웨어를 포함할 수 있다. 도 12c에 도시된 바와 같이, 각각의 컴퓨팅 디바이스(1200)는 메모리 포트(1203), 브릿지(1270), 하나 이상의 입력/출력 디바이스(1230a 내지 1230n; 일반적으로 참조 번호 1230으로 표시됨), 및 중앙 처리 유닛(1221)과 통신하는 캐시 메모리(1240)와 같은 추가적인 선택 요소를 더 포함할 수 있다.

중앙 처리 유닛(1221)은 메인 메모리 유닛(1222)로부터 페치된 명령에 응답하고 이를 처리하는 임의의 로직 회로이다. 많은 실시형태에서, 중앙 처리 유닛(1221)은: 마운튼 뷰(Mountain 뷰, CA)에 있는 Intel Corporation에 의해 제조되는 것들; 샤움버그(Schaumburg, IL)에 있는 Motorola Corporation에 의해 제조되는 것들; 산타 클라라(Santa Clara, CA)에 있는 Transmeta Corporation에 의해 제조되는 것들; 화이트 플레인즈(White Plains, NY)에 있는 International Business Machines에 의해 제조되는 것들; 또는 서니데일(Sunnyvale, CA)에 있는 Advanced Micro Devices에 의해 제조되는 것들과 같은 마이크로프로세서 유닛에 의해 제공된다. 다른 예는 SPARC 프로세서, ARM 프로세서, UNIX/LINUX "화이트" 박스를 구축하기 위해 사용되는 프로세서, 및 모바일 디바이스용 프로세서를 포함한다. 컴퓨팅 디바이스(1200)는 이러한 프로세서 중 임의의 것, 또는 본 명세서에서 설명된 바와 같이 동작할 수 있는 임의의 다른 프로세서에 기초할 수 있다.

메인 메모리 유닛(1222)은 데이터를 저장하고 임의의 저장 위치가 마이크로프로세서(1221)에 의해 직접적으로 액세스되게 하는 하나 이상의 메모리 칩일 수 있다. 메인 메모리(1222)는 본 명세서에서 설명된 바와 같은 동작을 수행할 수 있는 임의의 이용가능한 메모리 칩에 기초할 수 있다. 도 12b에 도시되는 실시형태에서, 프로세서(1221)는 시스템 버스(1250)를 통해 메인 메모리(1222)와 통신한다. 도 12c는 프로세서가 메모리 포트(1203)를 통해 메인 메모리(1222)와 직접 통신하는 컴퓨팅 디바이스(1200)의 일 실시형태를 나타낸다. 또한 도 12c는 메인 프로세서(1221)가 가끔 백사이드 버스라고 불리는 이차 버스를 통해 캐시 메모리(1240)와 직접적으로 통신하는 실시형태를 나타낸다. 다른 실시형태들에서, 메인 프로세서(1221)는 시스템 버스(1250)를 사용하여 캐시 메모리(1240)와 통신한다.

도 12b에 도시되는 실시형태에서, 프로세서(1221)는 로컬 시스템 버스(1250)를 통해 다양한 I/O 디바이스(1230)와 통신한다. VESA VL 버스, ISA 버스, EISA 버스, 마이크로채널(MicroChannel) 아키텍처(MCA) 버스, PCI 버스, PCI-X 버스, PCI-Express 버스, 또는 NuBus와 같은 다양한 버스들이 중앙 처리 유닛(1221)을 I/O 디바이스(1230) 중 임의의 것에 연결하기 위하여 사용될 수 있다. I/O 디바이스가 비디오 디스플레이(1224)인 실시형태에 대하여, 프로세서(1221)는 디스플레이(1224)와 통신하기 위해 진보된 그래픽 포트(AGP)를 사용할 수 있다. 도 12c는, 메인 프로세서(1221)가 예를 들어 HYPERTRANSPORT, RAPIDIO, 또는 INFINIBAND 통신 기술을 통해 I/O 디바이스(1230b)와 직접적으로 통신하는, 컴퓨터(1200)의 일 실시형태를 나타낸다.

매우 다양한 I/O 디바이스(1230a 내지 1230n)가 컴퓨팅 디바이스(1200)에 존재할 수 있다. 입력 디바이스는 키보드, 마우스, 트랙패드, 트랙볼, 마이크로폰, 스캐너, 카메라, 및 그리기용 태블릿을 포함한다. 출력 디바이스는 비디오 디스플레이, 스피커, 잉크젯 프린터, 레이저 프린터, 및 염료-승화형 프린터를 포함한다. I/O 디바이스는 도 12b에 도시된 바와 같은 I/O 제어기(1223)에 의해 제어될 수 있다. 더욱이, I/O 디바이스는 컴퓨팅 디바이스(1200)에 대한 스토리지 및/또는 설치 디바이스(1216)를 더 제공할 수 있다. 몇 가지 실시형태들에서, 컴퓨팅 디바이스(1200)는 로스 알라미토스(Los Alamitos, CA)에 있는 Twintech Industry, 아이앤씨에 의해 제조되는 디바이스들의 USB 플래시 드라이브 라인과 같은 핸드헬드 USB 스토리지 디바이스를 수납하기 위한 USB 접속(미도시)을 제공할 수 있다.

계속하여 도 12b를 참조하면, 컴퓨팅 디바이스(1200)는, 3.5-인치, 5.25-인치 디스크 또는 ZIP 디스크와 같은 플로피 디스크 용 플로피 디스크 드라이브; CD-ROM 드라이브; CD-R/RW 드라이브; DVD-ROM 드라이브; 다양한 포맷의 테이프 드라이브; USB 디바이스; 하드-드라이브 또는 소프트웨어 및 프로그램을 설치하기에 적합한 임의의 다른 디바이스와 같은 임의의 적합한 설치 디바이스(1216)를 지원할 수 있다. 몇 가지 실시형태들에서, 컴퓨팅 디바이스(1200)는 소프트웨어를 네트워크(1204)를 통해 설치할 수 있는 기능성을 제공할 수 있다. 디바이스(1200)는 운영 체제 및 다른 소프트웨어를 저장하기 위한 하나 이상의 하드 디스크 드라이브 또는 독립형 디스크의 반복 어레이와 같은 스토리지 디바이스를 더 포함할 수 있다.

더욱이, 컴퓨팅 디바이스(1200) 머신(1200)은, 표준 전화선, LAN 또는 WAN 링크(예를 들어, 802.11, T1, T3, 56kb, X.25, SNA, DECNET), 브로드밴드 접속(예를 들어, ISDN, 프레임 릴레이, ATM, 기가비트 이더넷, 이더넷-오버-SONET), 무선 접속, 또는 위의 것들 중 임의의 것 또는 전부의 몇 가지 조합을 비한정적으로 포함하는 다양한 접속을 통해 네트워크(1204)로 인터페이스하기 위한 네트워크 인터페이스(1218)를 포함할 수 있다. 접속은 다양한 통신 프로토콜(예를 들어, TCP/IP, IPX, SPX, NetBIOS, 이더넷, ARCNET, SONET, SDH, 광섬유 분산 데이터 인터페이스(FDDI), RS232, IEEE 802.11, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n, IEEE 802.15.4, 블루투스, 지그비, CDMA, GSM, WiMax, 및 직접 비동기 접속)을 사용하여 구축될 수 있다. 일 실시형태에서, 컴퓨팅 디바이스(1200)는 보안 소켓층(SSL) 또는 수송층 보안(TLS)과 같은 임의의 타입 및/또는 형태의 게이트웨이 또는 터널링 프로토콜을 통해 다른 컴퓨팅 디바이스(1200')와 통신한다. 네트워크 인터페이스(1218)는 빌트인 네트워크 어댑터, 네트워크 인터페이스 카드, PCMCIA 네트워크 카드, 카드 버스 네트워크 어댑터, 무선 네트워크 어댑터, USB 네트워크 어댑터, 모뎀, 또는 컴퓨팅 디바이스(1200)를, 통신할 수 있고 본 명세서에서 설명되는 동작을 수행할 수 있는 임의의 타입의 네트워크로 인터페이스하기에 적합한 임의의 다른 디바이스를 포함할 수 있다.

추가적인 실시형태에서, I/O 디바이스(1230)는 시스템 버스(1250)와 외부 통신 버스, 예컨대 USB 버스, Apple Desktop Bus, RS-232 시리얼 접속, SCSI 버스, 파이어와이어(FireWire) 버스, FireWire 800 버스, 이더넷 버스, 애플톡(AppleTalk) 버스, 기가비트 이더넷 버스, 비동기 전송 모드 버스, HIPPI 버스, 슈퍼 HIPPI 버스, 시리얼플러스(SerialPlus) 버스, SCI/LAMP 버스, 파이버채널(FibreChannel) 버스, 또는 시리얼 어태치드(Serial Attached) 소형 컴퓨터 시스템 인터페이스 버스 사이의 브릿지일 수 있다.

도 12b 및 도 12c에 도시되는 종류의 컴퓨팅 디바이스(1200)는 통상적으로 운영 체제의 제어 하에서 동작하고, 이것은 작업의 스케줄링과 시스템 리소스로의 액세스를 제어한다. 컴퓨팅 디바이스(1200)는, 마이크로소프트 WINDOWS 운영 체제의 버전들 중 임의의 것, UNIX 및 LINUX 운영 체제의 상이한 릴리스, 매킨토시 컴퓨터용 임의의 버전의 MAC OS, 임의의 임베딩된 운영 체제, 임의의 실시간 운영 체제, 임의의 오픈 소스 운영 체제, 임의의 독점적 운영 체제, 모바일 컴퓨팅 디바이스용 임의의 운영 체제, 또는 컴퓨팅 디바이스를 실행시키고 본 명세서에서 설명되는 동작을 수행할 수 있는 임의의 다른 운영 체제와 같은 임의의 운영 체제를 실행할 수 있다. 통상적인 운영 체제는, 무엇보다도 비한정적으로: 레드몬드(Redmond, WA)에 있는 Microsoft Corporation에 의해 모두 제조된 WINDOWS 3. x, WINDOWS 95, WINDOWS 98, WINDOWS 2000, WINDOWS NT 3.51, WINDOWS NT 4.0, WINDOWS CE, WINDOWS XP, WINDOWS 7, WINDOWS 8, 및 WINDOWS VISTA, 쿠퍼티노(Cupertino, CA)에 있는 Apple 아이앤씨에 의해 제조된 MAC OS; 아몽크(Armonk, NY)에 있는 International Business Machines에 의해 제조된 OS/2; 및 솔트레이크 시티(Salt Lake City, UT)에 있는 Caldera Corp.에 의헤 배포된 무료 운영 체제인 LINUX; 렐리(Raleigh, NC)에 있는 Red Hat, 아이앤씨에 의해 배포된 Linux-변형 운영체제인 Red Hat Enterprise Linux; 런던(London, England)에 있는 Canonical Ltd.에 의해 배포된 무료 운영 체제인 Ubuntu; 또는 임의의 타입 및/또는 형태의 UNIX 운영 체제를 포함한다.

위에서 표시된 바와 같이, 컴퓨팅 디바이스(1200)는, 통신할 수 있고 본 명세서에서 설명되는 동작을 수행하기에 충분한 프로세서 파워와 메모리 용량을 가지는 임의의 타입 및/또는 형태의 계산, 원격 통신 또는 미디어 디바이스일 수 있다. 컴퓨팅 디바이스(1200)는 비한정적인 예로서, 쿠페르티노(Cupertino, CA)에 있는 Apple 아이앤씨; 포트워스(Ft. Worth, TX)에 있는 Google/Motorola Div.; 쿄토(Kyoto, Japan)에 있는 Kyocera; 서울(Seoul, Korea)에 있는 Samsung Electronics Co., Ltd.; 핀란드의 Nokia; 서니베일(Sunnyvale, CA)에 있는 Hewlett-Packard Development Company, L.P. and/or Palm, 아이앤씨; 룬트(Lund, Sweden)에 있는 Sony Ericsson Mobile Communications AB; 우털루(Waterloo, Ontario, Canada)에 있는 Research In Motion Limited에 의해 제조된 것과 같은 모바일 디바이스일 수 있다. 또 다른 실시형태에서, 컴퓨팅 디바이스(1200)는 스마트 폰, 포켓 PC, 포켓 PC 폰, 또는 마이크로소프트 윈도우 모바일 소프트웨어를 지원하는 다른 휴대용 모바일 디바이스이다.

몇 가지 실시형태들에서, 컴퓨팅 디바이스(1200)는 디지털 오디오 플레이어이다. 이러한 실시형태들 중 하나에서, 컴퓨팅 디바이스(1200)는 애플사가 제조한 Apple IPOD, IPOD Touch, IPOD NANO, 및 IPOD SHUFFLE 제품군과 같은 디지털 오디오 플레이어이다. 이러한 실시형태들 중 다른 것에서, 디지털 오디오 플레이어는 휴대용 미디어 플레이어 및 대용량 스토리지 디바이스 모두로서의 기능을 할 수 있다. 다른 실시형태들에서, 컴퓨팅 디바이스(1200)는 비한정적인 예로서, 리글리파크(Ridgefield Park, NJ)에 있는 Samsung Electronics America 또는 싱가폴의 Creative Technologies Ltd.에 의해 제조된 것과 같은 디지털 오디오 플레이어이다. 또 다른 실시형태에서, 컴퓨팅 디바이스(1200)는 MP3, WAV, M4A/AAC, WMA 보호 AAC, AEFF, 가청 오디오북, 애플 무손실 오디오 파일 포맷, 및 .mov, .m4v, 및 .mp4 MPEG-4(H.264/MPEG-4 AVC) 비디오 파일 포맷을 비한정적으로 포함하는 파일 포맷을 지원하는 휴대용 미디어 플레이어 또는 디지털 오디오 플레이어이다.

몇 가지 실시형태들에서, 컴퓨팅 디바이스(1200)는 디지털 오디오 플레이어 또는 휴대용 미디어 플레이어와 결합된 모바일 폰과 같은 디바이스의 조합을 포함한다. 이러한 실시형태들 중 하나에서, 컴퓨팅 디바이스(1200)는 콤비네이션 디지털 오디오 플레이어 및 모바일 폰의 구글/모토롤라 제품군에 있는 디바이스이다. 이러한 실시형태들 중 다른 것에서, 컴퓨팅 디바이스(1200)는 애플사에 의해 제조된 디바이스의 아이폰 스마트 폰 제품군에 있는 디바이스이다. 이러한 실시형태들 중 또 다른 것에서, 컴퓨팅 디바이스(1200)는 Open Handset Alliance에 의해 배포된 안드로이드 오픈 소스 모바일 폰 플랫폼을 실행하는 디바이스이다; 예를 들어, 디바이스(1200)는 서울의 삼성전자 또는 대만의 HTC 헤드쿼터에 의해 제공되는 것과 같은 디바이스일 수 있다. 다른 실시형태들에서, 컴퓨팅 디바이스(1200)는 비한정적인 예로서, Apple 아이앤씨에 의해 제조되는 IPAD 제품군; Research In Motion에 의해 제조되는 PLAYBOOK; 리치몬드(Richmond, VA)에 있는 Velocity Micro, 아이앤씨에 의해 제조된 CRUZ 디바이스 제품군; 어빈(Irvine, CA)에 있는 Toshiba America Information Systems, 아이앤씨에 의해 제조된 FOLIO and THRIVE 디바이스군; 삼성에 의해 제조된 갤럭시 디바이스군; Hewlett-Packard에 의해 제조된 HP SLATE 디바이스군; 및 라운드록(Round Rock, TX)에 있는 Dell, 아이앤씨에 의해 제조된 STREAK 디바이스군과 같은 태블릿 디바이스이다.

이제 도 12d를 참조하면, 블록도는 복수 개의 네트워크가 호스팅 및 전달 서비스를 제공하는 시스템의 일 실시형태를 나타낸다. 간략한 개관에서, 시스템은 클라우드 서비스 및 호스팅 기반구조(1280), 서비스 제공자 데이터 중심(1282), 및 정보 기술(IT) 네트워크(1284)를 포함한다.

일 실시형태에서, 데이터 센터(1282)는 비한정적으로, 서버(포함, 예를 들어 애플리케이션 서버, 파일 서버, 데이터베이스, 및 백업 서버), 라우터, 스위치, 및 원격 통신 장비와 같은 컴퓨팅 디바이스를 포함한다. 다른 실시형태에서, 클라우드 서비스 및 호스팅 기반구조(1280)는 비한정적으로, 스토리지 시스템, 데이터베이스, 애플리케이션 서버, 데스크탑 서버, 디렉토리 서비스, 웹 서버, 및 원격 위치된 하드웨어 및 소프트웨어 플랫폼에 액세스하기 위한 서비스에 액세스하게 한다. 또 다른 실시형태에서, 클라우드 서비스 및 호스팅 기반구조(1280)는 데이터 센터(1282)를 포함한다. 그러나, 다른 실시형태들에서, 클라우드 서비스 및 호스팅 기반구조(1280)는 제삼자 데이터 센터(1282)에 의해 제공된 서비스에 의존한다. 몇 가지 실시형태들에서, IT 네트워크(1204c)는 메일 서비스 및 웹 서비스와 같은 로컬 서비스를 제공할 수 있다. 다른 실시형태들에서, IT 네트워크(1204c)는 원격 위치된 서비스의 로컬 버전, 예컨대 원격-위치된 인쇄 서버, 데이터베이스, 애플리케이션 서버, 데스크탑 서버, 디렉토리 서비스, 및 웹 서버의 로컬 캐싱(locally-cached) 버전을 제공할 수 있다. 추가적인 실시형태에서, 추가 서버가 클라우드 서비스 및 호스팅 기반구조(1280), 데이터 센터(1282), 또는 다른 모든 네트워크, 예컨대 비한정적으로, 기반구조 서비스 제공자, 애플리케이션 서비스 제공자, 플랫폼 서비스 제공자, 툴 서비스 제공자, 및 데스크탑 서비스 제공자를 포함하는 제삼자 서비스 제공자에 의해 제공되는 것들에 상주할 수 있다.

일 실시형태에서, 클라이언트(1202)의 사용자는 원격 위치된 서버(1206a)에 의해 제공되는 서비스에 액세스한다. 예를 들면, 기업 IT 네트워크(1284)의 관리자는 클라이언트(1202a)의 사용자가 가상 머신 원격 서버(1206a)에서 실행되는 애플리케이션에 액세스할 것이라고 결정할 수 있다. 다른 예로서, 클라이언트(1202b)의 개개의 사용자는 원격 위치된 서버(1206)에 의해 소비자에게 제공되는 리소스(예컨대, 이메일, 팩스, 음성 통신 또는 다른 통신 서비스, 데이터 백업 서비스, 또는 다른 서비스)를 사용할 수 있다.

도 12d에 도시되는 바와 같이, 데이터 센터(1282) 및 클라우드 서비스 및 호스팅 기반구조(1280)는 데이터 센터(1282) 및 클라우드 서비스 및 호스팅 기반구조(1280)에 의해 지원되는 개인 또는 조직으로부터 멀리 위치된다; 예를 들어, 데이터 센터(1282)는 제 1 네트워크(1204a)에 상주할 수 있고 클라우드 서비스 및 호스팅 기반구조(1280)는 제 2 네트워크(1204b)에 상주할 수 있는 반면에 IT 네트워크(1284)는 별개의 제 3 네트워크(1204c)이다. 다른 실시형태들에서, 데이터 센터(1282) 및 클라우드 서비스 및 호스팅 기반구조(1280)는 제 1 네트워크(1204a)에 상주하고, IT 네트워크(1284)는 별개의 제 2 네트워크(1204c)이다. 또 다른 실시형태에서, 클라우드 서비스 및 호스팅 기반구조(1280)는 제 1 네트워크(1204a)에 상주하는 반면에 데이터 센터(1282) 및 IT 네트워크(1284)가 제 2 네트워크(1204c)를 형성한다. 비록 도 12d가 하나의 서버(1206a), 하나의 서버(1206b), 하나의 서버(1206c), 두 개의 클라이언트(1202), 및 3 개의 네트워크(1204)만 나타내지만, 시스템이 그러한 컴포넌트들 중 임의의 것 또는 각각의 여러 개를 제공할 수 있다는 것이 이해되어야 한다. 서버(1206), 클라이언트(1202), 및 네트워크(1204)는 도 12a 내지 도 12c와 관련하여 전술된 바와 같이 제공될 수 있다.

그러므로, 몇 가지 실시형태들에서, IT 기반구조는 제 1 네트워크 -예컨대 개인 또는 기업에 의해 소유되고 관리되는 네트워크 -로부터, 제 1 네트워크를 소유하거나 관리하는 엔티티와 별개의 엔티티에 의해 소유되거나 관리될 수 있는 제 2 네트워크로 확장될 수 있다. 제 2 네트워크에 의해 제공되는 리소스는 "클라우드에 있다(in cloud)"고 간주될 수 있다. 클라우드-상주 요소는 비한정적으로, 스토리지 디바이스, 서버, 데이터베이스, 컴퓨팅 환경(가상 머신, 서버, 및 데스크탑 포함), 및 애플리케이션을 포함할 수 있다. 예를 들어, IT 네트워크(1284)는 원격 위치된 데이터 센터(1282)를 사용하여 서버(예를 들어 애플리케이션 서버, 파일 서버, 데이터베이스, 및 백업 서버를 포함), 라우터, 스위치, 및 원격 통신 장비를 저장할 수 있다. 데이터 센터(1282)는 IT 네트워크(1284)에 의해 소유되고 관리될 수 있고, 또는 제삼자 서비스 제공자(예를 들어, 클라우드 서비스 및 호스팅 기반구조 제공자를 포함)는 별개의 데이터 센터(1282)로의 액세스를 제공할 수 있다. 다른 예로서, 도 3과 관련하여 전술된 머신(102a)은 제 1 엔티티(예를 들어, 클라우드 서비스 및 호스팅 기반구조 제공자(1280)에 의해 소유되거나 관리될 수 있는 반면에 도 3과 관련하여 전술된 머신(102b)은 클라이언트(1202)가 직접적으로 또는 간접적으로 접속하는(예를 들어, 엔티티(1280, 1282, 또는 1284) 중 임의의 것에 의해 제공된 리소스를 사용하여) 제 2 엔티티(예를 들어, 서비스 제공자 데이터 센터(1282)에 의해 소유되거나 관리될 수 있다.

몇 가지 실시형태들에서, 고객을 위한 컴퓨팅 기반구조를 제공하는 하나 이상의 네트워크는 클라우드라고 불린다. 이러한 실시형태들 중 하나에서, 제 1 네트워크의 사용자가, 리소스를 호스팅할 수 있는 추상화된, 스케일링가능하고 관리된 컴퓨팅 리소스를 포함하는 제 2 네트워크에 적어도 액세스하는 시스템은 클라우드 컴퓨팅 환경이라고 불릴 수 있다. 이러한 실시형태들 중 다른 것에서, 리소스는 비한정적으로, 가상화 기술, 데이터 센터 리소스, 애플리케이션, 및 관리 툴을 포함할 수 있다. 몇 가지 실시형태들에서, 인터넷-기초 애플리케이션("software-as-a-service" 모델을 통해 제공될 수 있음)은 클라우드-기초 리소스라고 불릴 수 있다. 다른 실시형태들에서, 사용자에게 컴퓨팅 리소스, 예컨대 원격 서버, 가상 머신, 또는 블레이드 서버 상의 블레이드(blade)와 같은 컴퓨팅 자원을 제공하는 네트워크는, 계산 클라우드 또는 "infrastructure-as-a-service" 제공자라고 불릴 수 있다. 또 다른 실시형태에서, 스토리지 영역 네트워크와 같은 스토리지 리소스를 제공하는 네트워크는 스토리지 클라우드라고 불릴 수 있다. 추가적인 실시형태에서, 리소스는 로컬 네트워크에서 캐시되고 클라우드에 저장될 수 있다.

몇 가지 실시형태들에서, 복수 개의 원격 머신(1206)의 일부 또는 전부가, 비한정적인 예로서 시에틀(Seattle, WA)에 있는 Amazon Web Services LLC; 샌안토니오(San Antonio, TX)에 있는 Rackspace US, 아이앤씨; 레드몬드(Redmond, WA)에 있는 Microsoft Corporation; 및 마운튼뷰(Mountain View, CA)에 있는 Google 아이앤씨와 같은 제삼자 회사로부터 리스되거나 임차될 수 있다. 다른 실시형태들에서, 모든 호스트(1206)는 비한정적으로, Amazon Web Services LLC, Rackspace US, 아이앤씨, Microsoft, 및 Google을 포함하는 제삼자 회사에 의해 소유되고 관리된다.

전술된 바와 같이, 설명된 기능성을 제공하기 위해서 많은 타입의 하드웨어가 전술된 시스템 및 방법과 공동으로 사용될 수 있다. 그러나, 일부 실시형태들에서는 전술된 방법 및 시스템의 개선된 실행을 제공하기 위해서 하드웨어 자체가 수정될 수도 있다.

도 17a는 복수 개의 이진 벡터들 사이의 유사성의 레벨을 식별하기 위한 시스템의 일 실시형태를 나타내는 블록도이다. 시스템(1700)은 전술된 바와 같이 엔진(101)을 실행하는 머신(102a)을 포함한다. 시스템(1700)은 머신(102b)을 포함하는데, 이것은 프로세서(1221), 데이터 버스(1722)(각각 전술된 시스템 버스(1250) 또는 메모리 포트(1203)의 일부일 수 있음), 어드레스 버스(1724)(각각 전술된 시스템 버스(1250) 또는 메모리 포트(1203)의 일부일 수 있음), 및 복수 개의 메모리 셀(1702a-n)(본 명세서에서 메모리 셀(1702)이라고 불릴 수 있음-)을 포함한다. 메모리 셀(1702)은 제 1 레지스터(1704a), 제 2 레지스터(1704b), 및 비트단위 비교 회로(1710)를 각각 포함한다.

이제 도 17b를 도 17a와 함께 참조하면, 흐름도는 복수 개의 이진 벡터들 사이의 유사성의 레벨을 식별하기 위한 방법(1750)의 일 실시형태를 나타낸다. 방법(1750)은, 컴퓨팅 디바이스 상의 프로세서에 의하여, 컴퓨팅 디바이스 상의 복수 개의 메모리 셀 각각에 복수 개의 이진 벡터 중 하나를 저장하는 단계(1752)를 포함하는데, 복수 개의 메모리 셀 각각은 비트단위 비교 회로를 포함한다. 방법(1750)은 컴퓨팅 디바이스에 의하여, 저장된 복수 개의 이진 벡터 각각과 비교하기 위한 이진 벡터를 수신하는 단계(1754)를 포함한다. 방법(1750)은 프로세서에 의하여, 복수 개의 메모리 셀 각각에 수신된 이진 벡터를 데이터 버스를 통해서 제공하는 단계(1756)를 포함한다. 방법(1750)은 비트단위 비교 회로 각각에 의하여, 수신된 이진 벡터 및 비트단위 비교 회로와 연관된 메모리 셀 내에 저장된 이진 벡터 사이의 중첩 레벨을 결정하는 단계(1758)를 포함한다. 방법(1750)은 복수 개의 비트단위 비교 회로 각각에 의하여, 중첩 레벨이 프로세서에 의해 제공된 임계를 만족시키는지 여부를 결정하는 단계(1760)를 포함한다. 방법(1750)은, 중첩 레벨이 임계를 만족시킨다고 결정했던 비교 회로 각각에 의하여, 만족스러운 중첩 레벨을 가지는 저장된 이진 벡터의 식별을 프로세서로 제공하는 단계(1762)를 포함한다. 방법(1750)은 프로세서에 의하여, 임계를 만족시키는 각각의 저장된 이진 벡터의 식별 및 저장된 이진 벡터 및 수신된 이진 벡터 사이의 유사성의 레벨을 제공하는 단계(1764)를 포함한다.

방법(1750)은, 컴퓨팅 디바이스 상의 프로세서에 의하여, 컴퓨팅 디바이스 상의 복수 개의 메모리 셀 각각에 복수 개의 이진 벡터 중 하나를 저장하는 단계(1752)를 포함하는데, 복수 개의 메모리 셀 각각은 비트단위 비교 회로를 포함한다. 프로세서(1221)는 저장하기 위하여 복수 개의 이진 벡터를 엔진(101)으로부터 수신할 수 있다. 일 실시형태에서, 프로세서(1221)는 어드레스 버스(1724)를 사용하여 복수 개의 이진 벡터 중 하나가 안에 저장될 메모리 셀을 식별한다. 다른 실시형태에서, 프로세서(1221)는 데이터 버스(1722)를 사용하여 제 1 레지스터(1704a) 내에 저장되도록 이진 벡터를 메모리 셀로 송신한다. 머신(102b)은 이진 벡터가 그 안에 저장될 특정 메모리 셀의 주소를 결정하기 위하여 셀 선택기 로직, 칩 선택기 로직, 및 보드 선택기 로직을 구현할 수 있다.

방법(1750)은 컴퓨팅 디바이스에 의하여, 저장된 복수 개의 이진 벡터 각각과 비교하기 위한 이진 벡터를 수신하는 단계(1754)를 포함한다. 일 실시형태에서, 프로세서(1221)는 이진 벡터를 수신한다. 다른 실시형태에서는, 사용자(예를 들어, 머신(102b) 또는 상이한 머신(100)의 사용자)가 이진 벡터를 제공한다. 일부 실시형태들에서는 프로세서(1221)가 유사한 이진 벡터의 요청을 위한 요청을 더 수신한다.

방법(1750)은 프로세서에 의하여, 복수 개의 메모리 셀 각각에 수신된 이진 벡터를 데이터 버스를 통해서 제공하는 단계(1756)를 포함한다. 일 실시형태에서, 프로세서(1221)는 동일한 이진 벡터를 메모리 셀들 전부로 송신한다. 다른 실시형태에서, 프로세서(1221)는 수신된 이진 벡터를 저장하라는(예를 들어, 제 2 레지스터(1704b) 내에) 명령을 송신한다. 다른 실시형태에서, 프로세서(1221)는 이전에 저장된 이진 벡터(예를 들어, 제 1 레지스터(1704a) 내의 이진 벡터) 및 수신된 이진 벡터(예를 들어, 제 2 레지스터(1704b) 내에 저장됨)를 비교하라는 명령을 전송한다.

방법(1750)은 비트단위 비교 회로 각각에 의하여, 수신된 이진 벡터 및 비트단위 비교 회로와 연관된 메모리 셀 내에 저장된 이진 벡터 사이의 중첩 레벨을 결정하는 단계(1758)를 포함한다. 일 실시형태에서, 메모리 셀 내의 비트단위 비교 회로는 시프트 레지스터에게 제 1 레지스터(1704a) 내의 한 비트를 제 2 레지스터(1704b) 내의 대응 비트와 비교하라고 명령한다(예를 들어, 레지스터 내의 제 1 위치에 있는 비트들 양자 모두, 레지스터 내의 제 2 위치에 있는 비트들 양자 모두 등). 다른 실시형태에서, 비트단위 비교 회로는 시프트 레지스터에게 특정 위치에 있는 양자 모두의 비트들이 1로 세팅되면(예를 들어, 비트들이 동일하다면) 1을 반환하라고 명령한다. 또 다른 실시형태에서, 비트단위 비교 회로 수신된 1의 개수를 가산하여, 수신된 이진 벡터 및 비트단위 비교 회로와 연관된 메모리 셀 내에 저장된 이진 벡터 사이의 중첩 레벨을 나타내는 개수를 계산한다.

방법(1750)은 복수 개의 비트단위 비교 회로 각각에 의하여, 중첩 레벨이 프로세서에 의해 제공된 임계를 만족시키는지 여부를 결정하는 단계(1760)를 포함한다. 일 실시형태에서, 프로세서(1221)는 특정 중첩 퍼센티지를 나타내는 개수를 메모리 셀로 전송한다(예를 들어, 16,000 개의 정보를 레지스터 내에 저장할 수 있는 메모리 셀 내에서는, 프로세서(1221)가 단지 이진 벡터들 사이에 100% 중첩이 존재한 메모리 셀의 식별만을 수신하기를 원했다면, 프로세서는 숫자 16,000을 전송할 것임); 비트단위 비교 회로는 계산된 중첩 레벨이 프로세서(1221)로부터 전송된 숫자와 일치하는지 여부를 결정한다. 예를 들어, 비한정적으로, 비트단위 비교 회로가 두 레지스터들이 동일한 데이터를 각각 포함했던 16,000 개의 실례가 존재한다고 결정했다면, 비트단위 비교 회로는 메모리 셀이 임계 중첩 레벨을 만족시킨다는 표시를 프로세서에게 송신할 수 있다; 비트단위 비교 회로가 두 등록 레지스터 각각이 동일한 데이터를 포함했던 14,000 개의 실례만이 존재한다고 결정했다면, 비트단위 비교 회로는 프로세서(1221)에게 응답하지 않을 것이다. 일부 실시형태들에서, 프로세서(1221)는 사용자에 의해서 사전에 규정된 임계 중첩 레벨을 나타내는 숫자를 사용한다. 다른 실시형태들에서, 프로세서(1221)는 이용가능한 최고 개수(예를 들어, 레지스터가 저장할 수 있는 최고 비트수)를 카운터로서 사용하고, 메모리 셀로 송신하는 번호를 감분하며, 프로세서(1221)로부터 수신된 임계를 만족시키는 수신된 이진 벡터와의 중첩 레벨을 가지는 이진 벡터를 저장하는 메모리 셀이 존재한다는 것을 표시하는 응답을 비트단위 비교 회로로부터 수신할 때까지 반복한다.

방법(1750)은, 중첩 레벨이 임계를 만족시킨다고 결정했던 비교 회로 각각에 의하여, 만족스러운 중첩 레벨을 가지는 저장된 이진 벡터의 식별을 프로세서로 제공하는 단계(1762)를 포함한다. 예를 들어, 식별자는 제 3 레지스터 내에 저장될 수 있다.

방법(1750)은 프로세서에 의하여, 임계를 만족시키는 각각의 저장된 이진 벡터의 식별 및 저장된 이진 벡터 및 수신된 이진 벡터 사이의 유사성의 레벨을 제공하는 단계(1764)를 포함한다. 프로세서는 식별을 사용자에게 직접적으로(예를 들어, 사용자 인터페이스를 통하여) 반환할 수 있다. 대안적으로, 프로세서는 두 개의 이진 벡터들 사이의 비교가 원래 요청되었던 임의의 실행 프로세스에게 이러한 식별을 반환할 수 있다.

이러한 방식으로, 비교 및 정렬 양자 모두가 동시에, 그리고 프로세서가 아니라 메모리 셀 내에서 달성된다. 본 명세서에서 설명되는 방법 및 시스템과 반대로, 메모리를 레버리지하기 위한 종래의 시스템은 큰 이진 벡터들을 저장할 수 없는데, 그 이유는 크기 감소를 위한 통상적인 기법(예를 들어 해싱)이 매우 큰 이진 벡터들 사이의 비교를 위해서는 효과적이지 않기 때문이다.

일부 실시형태들에서, 도 17a 및 도 17b와 연계하여 설명된 시스템 및 방법은 비교의 효율 및 속도를 개선하기 위해서 활용될 수 있다. 그러므로, 이러한 실시형태들 중 하나에서, 시스템 및 방법은 유사도 엔진(304)을 대체 또는 증강시키기 위해서 사용될 수 있다(유사도 엔진(304)을 소프트웨어 대신에 하드웨어로 효과적으로 구현함). 도 1a 내지 도 16과 연계하여 설명된 시스템 및 방법은 도 17a 및 도 17b와 연계하여 설명된 시스템 및 방법과 통합될 수 있다.

도 18a는 복수 개의 데이터 표현들 사이의 유사성의 레벨을 식별하기 위한 시스템의 일 실시형태를 나타내는 블록도이다. 전술된 도 17a와 연계하여 명시적으로 설명된 컴포넌트에 추가하여, 본 명세서에서 설명되는 방법 및 시스템은 도 18a에서 설명되는 컴포넌트를 포함할 수 있다. 예를 들어, 저장된 SDR("지문")이 그로부터 생성된 데이터 아이템을 포함하는 문서를 식별하는 문서 참조(document reference)를 저장하기 위하여 별개의 레지스터가 사용될 수 있다. 다른 예로서, 비트단위 비교 회로(1710a)는 추가적인 서브컴포넌트, 예컨대 본 명세서에서 설명된 기능성을 제공하는 중첩 가산기 및 비교기를 포함할 수 있다. 도 18b는 복수 개의 데이터 표현들 사이의 유사성의 레벨을 식별하기 위한 방법의 일 실시형태를 나타내는 흐름도이다.

도 18a 및 도 18b를 참조하면, 그리고 도 17a 및 도 17b와 공동으로, 제 1 데이터 아이템 및 데이터 문서들의 세트 내의 데이터 아이템 사이의 유사성의 레벨을 식별하기 위한 방법(1850)은, 제 1 컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 적어도 하나의 기준에 따라서 선택된 데이터 문서들의 세트를 이차원의 메트릭 공간에서 클러스터링하고, 의미 맵을 생성하는 단계(1852)를 포함한다. 방법(1850)은, 의미 맵에 의하여, 좌표쌍을 데이터 문서의 세트의 각각과 연관시키는 단계(1854)를 포함한다. 방법(1850)은 제 1 컴퓨팅 디바이스에서 실행되는 파서에 의하여, 데이터 문서의 세트에서 발생되는 데이터 아이템의 나열을 생성하는 단계(1856)를 포함한다. 방법(1850)은 제 1 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 상기 데이터 문서의 개수, (ii) 각각의 데이터 문서 내의 상기 데이터 아이템의 발생의 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보를 결정하는 단계(1858)를 포함한다. 방법(1850)은 나열 내의 각각의 데이터 아이템에 대하여, 발생 정보를 사용하여 표현 생성기에 의하여 성긴 분포된 표현(SDR)을 생성하여, 결과적으로 복수 개의 생성된 SDR을 얻는 단계(1860)를 포함한다. 방법(1850)은, 제 2 컴퓨팅 디바이스 상의 프로세서에 의하여, 제 2 컴퓨팅 디바이스 상의 복수 개의 메모리 셀 각각에 복수 개의 생성된 SDR 중 하나를 저장하는 단계(1862)를 포함하는데, 복수 개의 메모리 셀 각각은 비트단위 비교 회로를 포함한다. 방법(1850)은, 제 2 컴퓨팅 디바이스에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 데이터 아이템을 수신하는 단계(1864)를 포함한다. 방법(1850)은 프로세서에 의하여, 복수 개의 메모리 셀 각각에 제 1 데이터 아이템의 SDR을 데이터 버스를 통해서 제공하는 단계(1866)를 포함한다. 방법(1850)은 복수 개의 비트단위 비교 회로 각각에 의하여, 제 1 데이터 아이템의 SDR 및 비트단위 비교 회로와 연관된 메모리 셀 내에 저장된 생성된 SDR 사이의 중첩 레벨을 결정하는 단계(1868)를 포함한다. 방법(1850)은 복수 개의 비트단위 비교 회로 각각에 의하여, 중첩 레벨이 프로세서에 의해 제공된 임계를 만족시키는지 여부를 결정하는 단계(1870)를 포함한다. 방법(1850)은 중첩 레벨이 임계를 만족했다고 결정한 비교 회로들 각각에 의하여, 연관된 메모리 셀 내에 저장된 문서 참조 번호를 프로세서에게 제공하는 단계(1872)를 포함하는데, 문서 참조 번호는 메모리 셀 내에 저장된 SDR이 그로부터 생성되었던 데이터 아이템을 포함하는 문서를 식별한다. 방법(1850)은 제 2 컴퓨팅 디바이스에 의하여, 임계를 만족하며 메모리 셀 내에 저장된 SDR들이 그로부터 생성되었던 각각의 데이터 아이템의 식별 및 저장된 SDR이 생성되었던 데이터 아이템 및 수신된 데이터 아이템 사이의 유사성의 레벨을 제 3 컴퓨팅 디바이스로 제공하는 단계(1874)를 포함한다.

일 실시형태에서, 단계 1852 내지 1860은 도 2와 관련하여 전술된 바와 같이(단계 202 내지 214) 수행된다.

방법(1850)은, 제 2 컴퓨팅 디바이스 상의 프로세서에 의하여, 제 2 컴퓨팅 디바이스 상의 복수 개의 메모리 셀 각각에 복수 개의 생성된 SDR 중 하나를 저장하는 단계(1862)를 포함하는데, 복수 개의 메모리 셀 각각은 비트단위 비교 회로를 포함한다. 프로세서는 복수 개의 생성된 SDR들 각각을 도 17b와 연계하여 전술된 바와 같이 복수 개의 메모리 셀 내에 저장할 수 있다(1752).

방법(1850)은, 제 2 컴퓨팅 디바이스에 의하여, 제 3 컴퓨팅 디바이스로부터 제 1 데이터 아이템을 수신하는 단계(1864)를 포함한다. 프로세서는 제 1 데이터 아이템을 전술된 바와 같이(예를 들어, 도 5와 연계하여 비한정적으로 설명된 바와 같이) 수신할 수 있다.

방법(1850)은 프로세서에 의하여, 복수 개의 메모리 셀 각각에 제 1 데이터 아이템의 SDR을 데이터 버스를 통해서 제공하는 단계(1866)를 포함한다. 프로세서는 우선 SDR의 생성을 전술된 바와 같이 지시하고, 그 후에 생성된 SDR을 이전에 저장된 SDR들과 비교되도록 메모리 셀로 제공할 수 있다.

방법(1850)은 복수 개의 비트단위 비교 회로 각각에 의하여, 제 1 데이터 아이템의 SDR 및 비트단위 비교 회로와 연관된 메모리 셀 내에 저장된 생성된 SDR 사이의 중첩 레벨을 결정하는 단계(1868)를 포함한다. 비트단위 비교 회로는 도 17a 및 도 17b와 연계하여 전술된 바와 같이 결정을 수행할 수 있다.

방법(1850)은 복수 개의 비트단위 비교 회로 각각에 의하여, 중첩 레벨이 프로세서에 의해 제공된 임계를 만족시키는지 여부를 결정하는 단계(1870)를 포함한다. 비트단위 비교 회로는 도 17a 및 도 17b와 연계하여 전술된 바와 같이 결정을 수행할 수 있다.

방법(1850)은 중첩 레벨이 임계를 만족했다고 결정한 비교 회로들 각각에 의하여, 연관된 메모리 셀 내에 저장된 문서 참조 번호를 프로세서에게 제공하는 단계(1872)를 포함하는데, 문서 참조 번호는 메모리 셀 내에 저장된 SDR이 그로부터 생성되었던 데이터 아이템을 포함하는 문서를 식별한다. 비트단위 비교 회로는 결정된 중첩 레벨을 도 17a 및 도 17b와 연계하여 전술된 바와 같이 제공할 수 있다.

방법(1850)은 제 2 컴퓨팅 디바이스에 의하여, 임계를 만족하며 메모리 셀 내에 저장된 SDR들이 그로부터 생성되었던 각각의 데이터 아이템의 식별 및 저장된 SDR이 생성되었던 데이터 아이템 및 수신된 데이터 아이템 사이의 유사성의 레벨을 제 3 컴퓨팅 디바이스로 제공하는 단계(1874)를 포함한다. 프로세서는 도 17a 및 도 17b와 연계하여 전술된 바와 같은 식별을 제 3 컴퓨터로 직접적으로, 또는 SDR들 사이의 비교를 구현하며 도 1a 내지 도 16과 연계하여 전술된 바와 같은 방법 중 임의의 것을 실행하는 다른 프로세서로 제공할 수 있다.

데이터 아이템 지문의 반복 생성을 위한 방법 및 시스템의 특정 실시형태를 설명하였기 때문에, 본 발명의 개념을 포함하는 다른 실시형태들이 사용될 수 있다는 것이 이제 당업자에게 명백해질 것이다. 그러므로, 본 발명은 특정 실시형태로 한정되어서는 안되며, 다음 청구범위의 사상과 범위에 의해서만 한정되어야 한다.

Claims (3)

1. 제 1 이차원 메트릭 공간에서 클러스터링된 데이터의 제 1 세트 내의 데이터 아이템의 분포된 표현(distributed representation)을 사용하여 분포된 표현의 클러스터를 제 2 이차원 메트릭 공간에서 생성하는 방법으로서,
   컴퓨팅 디바이스에서 실행되는 참조 맵(reference map) 생성기에 의하여, 적어도 하나의 기준에 따라 선택된 데이터 문서들의 세트를 클러스터링하고, 의미 맵(semantic map)을 생성하는 단계;
   상기 의미 맵에 의하여, 좌표 쌍을 상기 데이터 문서의 세트의 각각과 연관시키는 단계;
   상기 컴퓨팅 디바이스에서 실행되는 파서(parser)에 의하여, 상기 데이터 문서의 세트 내에서 발생되는 데이터 아이템의 나열(enumeration)을 생성하는 단계;
   상기 컴퓨팅 디바이스에서 실행되는 표현 생성기에 의하여, 상기 나열 내의 각각의 데이터 아이템에 대하여, (i) 상기 데이터 아이템이 발생하는 데이터 문서들의 개수, (ii) 각각의 데이터 문서 내에서의 상기 데이터 아이템의 발생 횟수, 및 (iii) 상기 데이터 아이템이 발생하는 각각의 데이터 문서와 연관된 좌표쌍을 포함하는 발생 정보(occurrence information)를 결정하는 단계;
   표현 생성기에 의하여, 상기 발생 정보를 사용하여 각각의 데이터 아이템에 대한 분포된 표현을 생성하는 단계;
   컴퓨팅 디바이스에서 실행되는 희소화 모듈(sparsifying module)에 의하여, 희소성(sparsity)의 최대 레벨의 식별을 수신하는 단계;
   상기 희소화 모듈에 의하여, 규범 필그레이드(normative fillgrade)를 가지는 성긴 분포된 표현(sparse distributed representation; SDR)을 생성하도록, 각각의 분포된 표현 내의 세트 비트의 총 개수를 희소성의 최대 레벨에 기반하여 감소시키는 단계;
   SDR들 각각을 SDR 데이터베이스 내에 저장하는 단계; 및
   컴퓨팅 디바이스에서 실행되는 참조 맵 생성기에 의하여, 상기 SDR 데이터베이스로부터 취출되고 적어도 하나의 제 2 기준에 따라 선택된 SDR들의 세트를 제 2 이차원 메트릭 공간에서 클러스터링하고, 제 2 의미 맵을 생성하는 단계
   를 포함하는, 분포된 표현의 클러스터를 생성하는 방법.
2. 제 1 항에 있어서,
   상기 SDR들의 세트는 SDR이 데이터 문서들의 제 2 세트와 연관된다는 표시를 풀-텍스트 검색 시스템으로부터 수신하는 것에 기반하여 선택된, 분포된 표현의 클러스터를 생성하는 방법.
3. 제 1 항에 있어서,
   상기 방법은,
   상기 데이터 문서들의 제 2 세트 내의 적어도 하나의 데이터 문서의 적어도 하나의 스닙펫(snippet)을 풀-텍스트 검색 시스템에 제공하는 단계;
   상기 풀-텍스트 검색 시스템으로부터, 제공된 스닙펫을 포함하는 상기 데이터 문서들의 세트 내의 매칭되는 데이터 문서들의 좌표 쌍들의 나열을 수신하는 단계; 및
   상기 SDR 데이터베이스로부터, 좌표쌍들의 나열 중의 좌표쌍들 각각과 연관된 적어도 하나의 SDR을 수신하는 단계
   를 더 포함하는, 분포된 표현의 클러스터를 생성하는 방법.

Images