JP5922841B2 - パターンのシンボル空間ベースの圧縮のための多層システム - Google Patents

Description

［関連出願への相互参照］
この出願は、２０１３年２月１２日に出願された米国仮出願第６１／７６３，５５４号の利益を主張し、その内容は、参照することにより、本出願に組み入れられる。

本発明は、パターン認識（ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ）及びビックデータ（ｂｉｇ−ｄａｔａ）、特に、パターン認識技術、ビックデータ記憶装置、及び分析を利用するシステム及び方法に一般に関連する。

パターン認識及びそれらのパターン認識を適切に記憶装置に簡潔に整理することは、継続的に試みられている。しかしながら、特に指定がない限り、全てのパターンは、データに従って均等に分類（ｄｉｓｔｒｉｂｕｔｅ）することは、想定できない。なぜなら、いくつかのパターンは、他のパターンよりも顕著だからである。それらのパターンは、他のパターンが非常に稀である間、大きな出現数を有する可能性がある。さらに、いくつかのパターンは、相互に関連し、非常に人気があるパターンの組み合わせとともに形成してもよい。これは、パターン認識システムのアプリケーションに問題を引き起こす。例えば、二つのコンテンツセグメント間の類似性測定（ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅｍｅｎｔ）を読み出すために、対応するパターンの数を考慮することは十分ではない。しかしながら、それぞれのパターンの出現確率も同様に考慮されるべきである。さらに、パターン間の相関関係も考慮されるべきである。例えば、二つのパターンが常にともに出現する場合、本質的に、二つパターンは、単独のパターンよりも多くの情報を含んでいない。

順々に、多大な影響は、拡張可能性及びパターン認識システムの正確性にとって弊害をもたらす。すなわち、異なるパターンの取扱いがパターン認識システムの複数のコンピュータ間に広がる場合、「人気のある（ｐｏｐｕｌａｒ）」パターンを処理する少数のコンピュータは、アクセスに対して過度な負担を受けるのに対して、「人気の少ない（ｌｅｓｓ−ｐｏｐｕｌａｒ）」パターンを取り扱うほとんどのコンピュータは、作動しないままである。想定できないパターン間の相関関係が原因で、事前確率（ａ−ｐｒｉｏｒｙ ｐｒｏｂａｂｉｌｉｔｙ）に従って、パターンの取扱いを分類することも不可能である。さらに、一般に、パターン認識システムの能力を高めるために、パターン空間の重複を回避することが好ましく、それぞれのコンピュータ内のパターンのコピーを保持する必要がある。

パターン等の複数のシンボルから簡単に認識される管理しやすい少数のシンボルへの削減（ｒｅｄｕｃｔｉｏｎ）は、手動の場合、実行される。例えば、和音（ｃｈｏｒｄ）に組み合わされる音符の列（ｓｅｑｕｅｎｃｅ ｏｆ ｎｏｔｅｓ）を考慮して下さい。和音は、演奏されるニ以上の音符の組み合わせである。そうでなければ、和音は、同時に演奏されているように聞こえない。しかしながら、和音は、自然に反復するものの、演奏者（ｐｅｒｆｏｍｅｒ）に提供される音符の数を削減するために、音符の列は、複数の音符を表す和音のシンボルへと削減される。しかしながら、Ｃ７を示す和音は、演奏者が根音（ｒｏｏｔ ｎｏｔｅ）Ａ、短３度（ｍｉｎｏｒ ｔｈｉｒｄ）Ｃ、及び完全５度（ｐｅｒｆｅｃｔ ｆｉｆｔｈ）Ｅを同時に演奏しているかのように演奏することを意味する。人は、和音のシンボルをそれが示す特定の音符に簡単に変換できる。同様に、シンボルの二組間のマッピングの構築は、追加、削除、又は修正する特定のルールに必要に応じて基づいて、手動で実行される。

特に、認識処理に人手を介する必要がある先行技術の欠点を克服するパターン認識のために効率的な解決策を提供することが有利である。

一実施形態は、パターンのシンボル空間（ｓｙｍｂｏｌ−ｓｐａｃｅ）ベースの圧縮のための方法を含む本明細書を開示する。方法は、入力列を受信し、入力列は、第一の長さであって、複数のシンボルを含み、入力列内の全ての共通のパターンを抽出し、共通のパターンは、少なくとも二つのシンボルを含み、全ての共通のパターンの抽出に応答する出力列を生成し、出力列は第一の長さよりも短い第二の長さを有し、出力列をデータ層としてメモリに格納し、出力列は、データ層の後続の生成のために、新たな入力列として供給されることを含む。

一実施形態は、パターンのシンボル空間ベースの圧縮のための装置も含む本明細書を開示する。装置は、処理ユニットと、処理ユニットに接続されたインターフェースであって、インターフェースは、入力列を受信するように構成され、入力列は、第一の長さであって、複数のシンボルを含むインターフェースと、処理ユニットに接続されたメモリであって、処理ユニットによって実行される際に、入力列内の全ての共通のパターンを抽出し、共通のパターンは、少なくとも二つのシンボルを含み、全ての共通のパターンの抽出に応答し、出力列を生成し、出力列は、第一の長さよりも短い第二の長さを有し、出力列をデータ層としてメモリに格納し、データ層の後続の生成のための新たな入力列として出力列を供給することを実行する複数の命令を格納するように構成されたメモリとを含む。

一実施形態は、ビックデータ記憶装置システムも含む本明細書を開示する。システムは、入力列に応答して皮質機能によって連続して生成された複数のデータ層を格納するためのメモリユニットであって、それぞれのデータ層は、データ層において使用されたシンボルの一群（ｃｏｌｌｅｃｔｉｏｎ）を含み、それぞれの生成されたデータ層のシンボル空間は、後に生成されるデータ層のいずれかのために生成されたシンボル空間よりも小さく、それぞれの生成されたデータ層は、後に生成されるデータ層のいずれかよりも、可変であって、反復可能ではなく、相関関係があって、均衡が保たれていないメモリユニットを含む。

本明細書に開示された主題は、請求項において、指摘され、明確に請求される。前述の発明の目的及び他の発明の目的、発明の特徴、及び発明の効果は、添付した図面と併用して以下の詳細な明細書から明らかである。
一実施形態に従って、処理のための入力として使用された第一のシンボル空間を有するシンボルのオリジナルの列を示す。 一実施形態に従って、シンボルの列のための入力列をマッピングすること、及び置換シンボルの判定のために利用される第一レベル表を示す。 一実施形態に従って、第一のシンボル空間よりも大きな第二のシンボル空間を使用することによって生成された削減された数のシンボルを示すシンボルの列を示す。 一実施形態に従って、シンボルの列のための入力列をマッピングすること、及び置換シンボルの判定のために利用される第二レベル表を示す。 一実施形態に従って、第二のシンボル空間よりも大きな第三のシンボル空間を使用することによって生成された削減された数のシンボルを示すシンボルの列を示す。 別の実施形態に従って、シンボルの列のための入力列をマッピングすること、及び置換シンボルの判定のために利用される第三レベル表を示す。 一実施形態に従って、第三のシンボル空間よりも大きな第四のシンボル空間を使用することによって生成された削減された数のシンボルを示すシンボルの列を示す。 一実施形態に従って、それぞれ使用される画像シンボル直線、四角形、円形、及び三角形の概略図を示す。 一実施形態に従って、それぞれ使用される画像シンボル直線、四角形、円形、及び三角形の概略図を示す。 一実施形態に従って、それぞれ使用される画像シンボル直線、四角形、円形、及び三角形の概略図を示す。 一実施形態に従って、それぞれ使用される画像シンボル直線、四角形、円形、及び三角形の概略図を示す。 一実施形態に従って、基礎シンボルからそれぞれ生成される「住宅」及び「椅子」の高レベル画像シンボルを示す。 一実施形態に従って、基礎シンボルからそれぞれ生成される「住宅」及び「椅子」の高レベル画像シンボルを示す。 対応する接続ポートをそれぞれ有する直線、四角形、円形、及び三角形の基礎シンボルを示す。 対応する接続ポートをそれぞれ有する直線、四角形、円形、及び三角形の基礎シンボルを示す。 対応する接続ポートをそれぞれ有する直線、四角形、円形、及び三角形の基礎シンボルを示す。 対応する接続ポートをそれぞれ有する直線、四角形、円形、及び三角形の基礎シンボルを示す。 一実施形態に従って、基礎シンボルからそれぞれ生成される「男性」、「女性」及び「犬」の高レベル画像シンボルを示す。 一実施形態に従って、基礎シンボルからそれぞれ生成される「男性」、「女性」及び「犬」の高レベル画像シンボルを示す。 一実施形態に従って、基礎シンボルからそれぞれ生成される「男性」、「女性」及び「犬」の高レベル画像シンボルを示す。 一実施形態に従って、パターンのシンボル空間ベースの圧縮を達成するための入力シンボルの列の入力に応答してデータ層の生成を描写するフローチャートを示す。 一実施形態に従って、パターンのシンボル空間ベースの圧縮を達成するための入力シンボルの入力列に応答してデータ層の生成のためのシステムを示す。

本明細書に開示された実施形態は、本明細書の革新的な教示の多数の有利な使用の例にすぎない。一般に、本出願の明細書内に作成された文章は、様々な請求された発明の限定を必要としない。さらに、いくつかの文章は、いくつかの発明の特徴に適用してもよいものの、他の発明には適用できない。一般に、指摘されていない限り、単一の要素は、複数であってもよく、一般性を失うことなく、その逆の場合も同様である。図面内において、同様の数字は、いくつかの図面を通して、同様の部分を参照する。

本明細書で開示された様々な技術は、自然信号及び／又は自然信号から抽出された特性を、反復可能性及び不変性を有する高次元空間内の圧縮された表現にマッピングさせる。特に、所定の入力空間（ｇｉｖｅｎ ｉｎｐｕｔ ｓｐａｃｅ）、複数のデータ層（皮質（Ｃｏｒｔｅｘ））は、シンボルの直前のリストよりも少なくとも一つ以上シンボル等、より多いシンボルによって表現される入力データに応答して生成される。しかしながら、複数のデータ層は、短い全長、すなわち、シンボルの列の直前の長さよりも短い長さである。

したがって、情報は、より簡潔に表現され、より簡単にシンボル空間に認識される。入力データは、画像、動画、テキスト、音声、複数のデータ層内にマッピングできる他の種類のデータであってもよい。一実施形態において、開示された技術は、高次のデータ層（ｈｉｇｈｅｒ ｄａｔａ ｌａｙｅｒ）の「理想的な表（ｉｄｅａｌ ｔａｂｌｅ）」とそれとを比較することにより、「表」が何であるか決定する性能として描写できる。特に、パターン空間は、それぞれのコンピュータがパターン空間において異なる範囲（ｄｉｆｆｅｒｅｎｔ ｒａｎｇｅ）を取り扱うパターン認識システムの複数のコンピュータ（又は、プロセッサ）に拡大するために十分大きく生成される。パターン空間は、一つ以上のパターンを含む。

一実施形態によると、入力された「パターン」は、コンテンツセグメント（ｃｏｎｔｅｎｔ−ｓｅｇｍｅｎｔ）内の「パターン」を探し出すための設計された装置（又はシステム）から受信され、入力パターンは、コンテンツセグメント内のいくつかの特徴の任意の表現として漠然と定義される。しかしながら、受信した「パターン」は、これらのパターンが表現すること、及び、これらのパターンの局所性（ｌｏｃａｌｉｔｙ）についての任意の情報に関連することに留意すべきである。そのようなパターンの一群は、「記述子（ｄｅｓｃｒｉｐｔｏｒ）」として本明細書で参照される。コンテンツセグメントは、一以上の「記述子」によって表現される。例えば、コンテンツセグメントが二次元の画像である場合、パターンは特定の形状又は特定の色は、その画像内に検出されたことを示してもよい。

開示された実施形態によると、受信した入力パターンのパターン空間は、サイズがより大きいパターン空間に変化する。しかしながら、受信した入力パターンのパターン空間は、詳細に本明細書にさらに記載されるように、より均衡した、無相関で、反復可能で、不変である。特に、それぞれの記述子において、オリジナルの入力パターンは、オリジナルのパターン空間からのパターンの組み合わせを表現する新たなパターンに置換される。したがって、一番目に、開示された技術は、より大きなパターン空間を作成するために利用されるので、拡張可能性が向上する。二番目に、開示された技術は、よりよい正確性のためのパターン空間を平坦化（ｆｌａｔｔｅｎ）し、無関係（ｄｅ−ｃｏｒｒｅｌａｔｅ）にする。三番目に、開示された技術は、単独の分野（ｄｏｍａｉｎ）からのコンテンツセグメント上の複数のパターンの大規模情報を含むことによって、不変性（ｉｎｖａｒｉａｎｃｅ）及び反復可能性（ｒｅｐｅａｔａｂｉｌｉｔｙ）を向上させる。

以下は、一実施形態に従って開示した（以下に説明するシステム及び方法によって実現される）技術の工程（ｏｐｅｒａｔｉｏｎ）の概要である。皮質（Ｃｏｒｔｅｘ）は、任意のｋ｛ｋ＝０，１， ．．．ｎ｝における関数（ｆｕｎｃｔｉｏｎ）Ｆ： Ｓ_０→Ｓｎである。Ｓ_ｋは、一つ以上のパターンを含むパターン空間である、初期パターン空間Ｓ_０は、入力パターンによって定義され、皮質の次の層であるそれぞれの以下のシンボル空間は、一つ以上の所定の変更規則（ｃｏｎｖｅｒｓｉｏｎ ｒｕｌｅｓ）に従って、Ｓ_ｋ内のパターンの任意の組を、Ｓ_ｋ＋１内のパターンの一組に変更する「反復関数（ｉｔｅｒａｔｉｏｎ ｆｕｎｃｔｉｏｎ）Ｆ_ｋ」Ｆ_ｋ：Ｓ_ｋ→Ｓ_ｋ＋１によって、定義され、生成される。任意の「反復関数」内の変更規則は、特定分野からのコンテンツセグメント等のパターンの大規模な一群内のパターンの分類（ｄｉｓｔｒｉｂｕｔｉｏｎ）に従って生成される。例えば、対象分野（ｄｏｍａｉｎ ｏｆ ｉｎｔｅｒｅｓｔ）が「二次元の自然の写真（２Ｄ ｎａｔｕｒａｌ ｐｈｏｔｏ）」である場合、Ｓ_ｋ内のいくつかの大きなＮ記述子は、生成され、Ｓ_０．．．Ｓ_Ｎを意味（ｄｅｎｏｔｅｄ）する。これらの例のコンテンツセグメントは、自然の二次元画像を含む。

一実施形態によれば、皮質のデータ層Ｆ_ｋの生成のための反復（ｉｔｅｒａｔｉｏｎ）は、それらのＮ記述子内のパターンの分類に従って定義され、いくつかのステップを有する。まず、Ｓ_ｋ＋１は、Ｓ_ｋのコピーとして初期化される。それから、Ｓ_１．．．Ｓ_ｎは、⊂がサブセット関数（ｓｕｂｓｅｔ ｆｕｎｃｔｉｏｎ）である｛ｃ_ｉ⊂Ｓ_ｋ｝を意味するＳ_ｋ内のパターンの共通の組み合わせの一群を構築するために使用される。それから、それぞれの組み合わせｃ_ｉ｛ｉ＝１，２，．．，Ｎ｝に対して、Ｓ_１．．．Ｓ_Ｎ内のｃ_ｉの可能性は、第一の閾値Ｔ_１よりも大きく、新たなラベル（ｌａｂｅｌ）は、Ｓ_ｋ＋１に追加されるので、一ずつパターン空間を増加させる。Ｓ_ｋ内のそれぞれの「オリジナルラベル（ｏｒｉｇｉｎａｌ ｌａｂｅｌ）」は、第二の閾値Ｔ_２よりも大きな｛Ｓ_１．．．Ｓ_Ｎ｝内の可能性を有する。それぞれの「オリジナルラベル」は、Ｓ_ｋ＋１から除去される。最後に、それぞれの「オリジナルラベル」が含まれた組み合わせｃ_ｉの数であるＳ_ｋ内のそれぞれの「オリジナルラベル」は、第三の閾値Ｔ_３よりも大きい。それから、それぞれの「オリジナルラベル」はＳ_ｋ＋１から除去される。一般的に、Ｔ_１，Ｔ_２，及びＴ_３は、本明細書で説明される例等の特定の確率を意味する数値である。

Ｓ_ｋ＋１内のそれぞれのパターンは、Ｓ_ｋ内のパターンか、又はＳ_ｋ内のパターンの一群として強く定義されるか、のいずれかである場合、この処理の終了時、データ層Ｆ_ｋの一貫した定義（ｃｏｎｓｉｓｔｅｎｔ ｄｅｆｉｎｉｔｉｏｎ）が達成される。したがって、新たなパターンが含まれるべきか否かを示す一群のためにテストできる。非常にありふれたパターンが除去及び／又は他のパターンの組み合わせに置換される場合、Ｓ_ｋ＋１がより大きな符号空間（ｓｉｇｎａｔｕｒｅ−ｓｐａｃｅ）であるという結果になる。

閾値パラメータＴ_１，Ｔ_２，及びＴ_３は、パターンの価値を失うことなく、「ノイズ（ｎｏｉｓｙ）」パターンの含有を同時に回避するように、注意深く調整されるべきである。長さが増加し、使用される固有のシンボルの数が増加する限り、階層的な処理は、閾値の選択とともに、所望の回数、反復できる。それぞれの反復は、直前のデータ層のより簡潔な表現であるデータ層を生成する。すなわち、それぞれの入力パターンの複数のシンボルは、単独のシンボルにマッピングされる。

一実施形態において、入力パターン又は入力データは、英語の文字列、人間の顔、クラシック音楽等の分野に特有である。別の実施形態において、分野からのデータの組み合わせは、使用できる。一実施形態によると、シンボルは、シンボルが高い相関関係を有する場合、連結される。しかしながら、シンボルは、シンボルが共通の共起性、すなわち、実際に相互に関連することなく、ともに出現する傾向を示すことによって相互に関連付けられない場合であっても、結合もできる。

本明細書で説明される処理への少なくとも二つの重要な結果を予想すべきである。まず、処理は、拡張性がある。すなわち、本明細書で説明される処理を実行後、パターン空間は、大きく、均衡になるので、パターン空間は、パターン空間のサブ範囲（ｓｕｂ−ｒａｎｇｅ）を取り扱うそれぞれのコンピュータとともに、複数のコンピュータ間に均等に広める（ｓｐｒｅａｄ）ことができる。したがって、「ルート（ｒｏｕｔｅ）」戦略は、重複問合せよりむしろ問い合わせることのために使用できる。

開示された処理の別の重要な結果は、その正確性である。すなわち、データ層反復構築処理（ｄａｔａ ｌａｙｅｒ ｉｔｅｒａｔｉｏｎ−ｂｕｉｌｄｉｎｇ ｐｒｏｃｅｓｓ）において、「実在の（ｒｅａｌ−ｗｏｒｌｄ）」データＳ_１．．．Ｓ_Ｎの一組は、必要な統計を基準として用いるために使用できる。これは、本明細書に開示された教示を適用することによって、より重み（ｗｅｉｇｈｔ）は、無作為標本内のあまり人気のない（及びより有利な）パターンに付与されることを意味する。このように、同一の分野からの入力コンテンツセグメントを想定すると、生成されたデータ層は、重要な「検出（ｄｅｔｅｃｔｉｏｎ）」パターンから「ノイズのある（ｎｏｉｓｙ）」パターンを分けるために使用される。さらに、開示された処理に従って生成されたデータ層は、より高レベル概念（ｈｉｇｈｅｒ ｌｅｖｅｌ ｃｏｎｃｅｐｔ）に属するようにパターンを認識する能力がある脳機能（ｂｒａｉｎ ｆｕｎｃｔｉｏｎ）と同様である機能を提供する。

開示されたパターン認識処理は、ビックデータの分析において、特に利点があることに留意すべきである。ビックデータは、一般的に、関連技術で説明されるデータ処理アプリケーションのように、手製のデータベース管理ツール又は伝統的なデータ処理アプリケーションを使用して分析できない大きさで複雑なデータの組の一部を参照する。上述したように、開示された処理は、大きく、均衡が保たれたパターン空間となるという結果になる。したがって、それぞれのコンピュータがパターン空間のサブ範囲を取り扱う場合、パターン空間は、複数のコンピュータ間に均等に広めることができる。よって、開示された処理は、ビックデータ分析のために効果的に利用できる。

以下は、データ層を生成するための処理の動作（ｏｐｅｒａｔｉｏｎ）のための非限定的な（ｎｏｎ−ｌｉｍｉｔｉｎｇ）二つの例である。第一の非限定的な例において、図１に示すように、５００のシンボルの列（ｓｅｑｕｅｎｃｅ）を含むオリジナル列は、４つの異なるシンボル「Ｒ」、「Ｇ」、「Ｂ」、及び「Ｙ」がある場合、表現される。本明細書で説明される処理を適用すること、すなわち、シンボル、パターン、又は列を識別し、どのシンボルの列であるか判定するための閾値を適用することは、別のシンボルによって置換され、結果として、図２に示される表になる。この場合、シンボル列は、二つか三つのいずれかのシンボルの組み合わせであるということを表現し、入力列内の出現数として判定される。全てではない列が図２に示されるものの、列の全ての可能性は、考慮される。一番長い列は、データ自身である。それは、一度だけ出現し、必要な反復閾値未満である。

典型的な実施形態によると、図２に示される第一レベル表は、１０に等しい又は１０よりも大きい閾値等の第一の閾値Ｔ_１を超えて出現する列のみ含む。閾値Ｔ_１を超えるこれらの列から、長い列を有するこれらの列のみは、表内に示される列を含む場合、シンボル置換のために使用される。例えば、列「ＢＹＹ」及び「ＹＹ」は従属するものの、長い列は、短い列よりも選ばれる。したがって、図２に描写するように、列「ＹＹ」が入力列に２８回出現している間、それは８回のみ単独で出現しているのに対して、列「ＢＹＹ」は、単独で１３回出現している。１０に等しく又は１０よりも大きく決定された閾値とともに、列「ＢＹＹ」がシンボル「Ａ」によって置換される間、列「ＹＹ」は、代用シンボル（ｓｕｂｓｔｉｔｕｔｅ ｓｙｍｂｏｌ）によって置換されない。データ層生成処理ステップの第一の反復後の合成列（ｒｅｓｕｌｔａｎｔ ｓｅｑｕｅｎｃｅ）は、図３に示される。図３に示される列は、４シンボルから１７シンボル（Ａ， Ｃ， Ｄ， Ｅ， Ｆ， Ｈ， Ｉ， Ｊ， Ｋ， Ｌ， Ｍ， Ｎ， Ｏ， Ｙ， Ｒ， Ｇ， Ｂ）までのシンボル空間内のシンボルの数の増加、及び、初期の列の５００のシンボルから後続の列の２８３のシンボルまで削減された列のシンボルの数の対応する減少を示す。

処理は、シンボル空間を拡大することにより列内のシンボルの数をさらに減少させるために別の反復を実行するとともに継続できる。次の反復において、入力列（図３に示される）は、２８３のシンボルの削減されたシンボル列を含む。図４は、５に等しい閾値又は５よりも大きい閾値を使用することにより作成される第二レベル表を示す。結果として、シンボルの特定列（ｃｅｒｔａｉｎ ｓｅｑｕｅｎｃｅ）は、対応する単独のシンボルによって置換されたそれぞれである。したがって、出力列内のシンボルの数を、２０（Ａ， Ｃ， Ｄ， Ｅ， Ｆ， Ｈ， Ｉ， Ｊ， Ｋ， Ｌ， Ｍ， Ｎ， Ｏ， Ｙ， Ｒ， Ｇ， Ｂ， Ｐ， Ｓ， Ｔ）のシンボル空間とともに２６２のシンボルへ削減できる。第二の反復の結果となる出力列は、図５に示される。

しかしながら、別の反復は、図６の表に示される、閾値が３に等しい、又は、３よりも大きい場合、開示された処理によって実行される。シンボルの合成削減列（ｒｅｓｕｌａｔａｎｔ ｒｅｄｕｃｅｄ ｓｅｑｕｅｎｃｅ）は、図７に示される。図６の「置換シンボル」の欄（ｃｏｌｕｍｎ）内にリストアップされるシンボルから分かるように、シンボル空間は、３７のシンボルに増加される。出力シンボル列（図７）は、２２１のシンボルの長さに削減される。すなわち、５００のシンボルのオリジナル長さの半分よりも少ない。それぞれの反復（図３，５，７に示されるように）で生成された列のそれぞれの組は、データ層又は皮質層（皮質のデータ層）として参照されることに留意すべきである。

したがって、開示した実施形態によれば、上記の例のデータ層の生成について、入力データ層において、４のシンボル空間を使用する５００のシンボルのシンボル列の組が存在することが理解できる。第二のデータ層において、第一のデータ層処理後、１７のシンボル空間を使用する２８３のシンボルを含むシンボルの列がある。第三のデータ層において、第二のデータ層処理後、２０のシンボル空間を使用する２６２のシンボルを含むシンボルの列がある。最後に、第四のデータ層において、第三のデータ層処理後、３７のシンボル空間を使用する２２１のシンボルを含むシンボルの列がある。

一実施形態において、シンボルは、同時係属の米国特許出願第１２／０８４，１５０号明細書、及び米国特許出願第１２／５０７，４８９号明細書だけでなく、米国特許第８，１１２，３７６号明細書、米国特許第８，２６６，１８５号明細書、米国特許第８，３１２，０３１号明細書、及び米国特許第８，３２６，７７５号明細書に記載されているような符号（ｓｉｇｎａｔｕｒｅ）によって置換されてもよい。これらの全ては、共通の譲受人に譲渡され、これらの全てが含む全ての記載は、参照によって、本出願に組み入れられる。

開示されたデータ層生成処理の工程のための第二の非限定的な例において、４つの画像シンボル、直線８１０、四角形８２０、円形８３０、及び三角形８４０は、図８Ａ〜８Ｄにそれぞれ示され、実施形態に従って使用される。必要最小限の画像シンボル（ｂａｓｉｃ ｉｍａｇｅ ｓｙｍｂｏｌｓ）８１０，８２０，８３０，及び８４０の組み合わせは、図９Ａ，９Ｂにそれぞれ示され、実施形態に従って使用される住宅（ｈｏｕｓｅ）９１０又は椅子９２０という様々な高レベル画像シンボルをもたらしてもよい。住宅９１０の画像シンボルは、「住宅」のシンボル画像として認識され、特定の方法で組み合わされた四角形８２０−１及び三角形８４０−１からなる。同様に、椅子９２０の画像シンボルは、「椅子」のシンボル画像として認識され、特定の方法で組み合わされた直線８１０−１，８１０−２，８１０−３，及び８１０−４の４個のシンボルからなる。

一実施形態によれば、必要最小限の４個の画像シンボル８１０，８２０，８３０，及び８４０のいずれか一つは、別の必要最小限の画像シンボル８１０，８２０，８３０，又は８４０に接続ポート（ｃｏｎｎｅｃｔｉｎｇ ｐｏｒｔ）で接続される。接続ポートの典型的で非限定的な記号表示（ｄｅｓｉｇｎａｔｉｏｎ）であって、他のポートと区別するために番号を割り振られたそれぞれのポートは、図１０Ａ〜１０Ｄにそれぞれ示される。例えば、限定のためではないものの、直線１０１０は、四角形１０２０が１，２，３，４，５，６，７，及び８等と番号を割り振られた８個のポートを有する。

それぞれの必要最小限の画像シンボル１０１０，１０２０，１０３０，及び１０４０のために割当てられた接続ポートの数は、単なる例であり、それぞれの画像シンボルは、より少ない又はより多い接続ポートからなってもよいことを理解すべきである。例えば、それぞれの画像シンボルは、直線は、文字列（ｃｈａｒａｃｔｅｒ）「Ａ」，四角形「Ｂ」，円形「Ｃ」，及び三角形「Ｄ」を有する等の識別文字列（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｃｈａｒａｃｔｅｒ）によってさらに指定される。したがって、図９Ａに示される「住宅」の上位画像は、以下に簡潔に記載される。
Ｄ（４）＜０°＞Ｂ（２）
これは、画像シンボル「Ｄ」が画像シンボル「Ｂ」に「４」及び「２」のポートで、相対配向（ｒｅｌａｔｉｖｅ ｏｒｉｅｎｔａｔｉｏｎ）０°でそれぞれ接続することを意味する。したがって、同様に、図９Ｂに示される「椅子」の上位レベル画像は、以下の表記法を使用して簡潔に記載できる。
Ａ（３）＜［０°＞Ａ（１），９０°＞Ａ（１），（３）＜９０°＞Ａ（１）］
これは、画像シンボル「Ａ」がポート３を介して、相対配向０°で別の画像シンボル「Ａ」のポート１に接続され、相対配向９０°で別の画像シンボル「Ａ」のポート１に接続され、同様に、そのポート３を介して、相対配向９０°で別の画像シンボル「Ａ」のポート１に接続される。

このように、一実施形態によれば、パターン識別及びパターン抽出は、データ層（皮質（Ｃｏｒｔｅｘ））の結果として可能である。図１１Ａ，１１Ｂ，及び１１Ｃは、３個の上位レベルシンボル、「男性」の上位レベルシンボル１１１０、「女性」の上位レベルシンボル１１２０、及び「犬」の上位レベルシンボル１１３０を示し、それぞれの上位レベルシンボルは、図１０に示される必要最小限の画像シンボルを含む。したがって、上記に記載された表記方法を使用して、「男性」の上位レベルシンボル１１１０は、以下のように記載できる。
Ｃ（６）＜９０°＞Ａ（１），（２）＜０°＞Ａ（２）
「女性」の上位レベルシンボル１１２０は、以下のように記載できる。
Ｃ（６）＜９０°＞Ａ（１），（３）＜０°＞Ｄ（１）
そして、「犬」の上位レベルシンボル１１３０は、以下のように記載できる。
Ｃ（６）＜９０°＞Ａ（１），（２）＜０°＞Ａ（１），（３）＜９０°＞Ａ（２）

一実施形態によれば、共通のパターンは抽出され、相対配向９０°で接続ポート「６」を介して直線「Ａ」のシンボルのポート１に接続する円形「Ｃ」の必要最小限のシンボルを含む。
Ｃ（６）＜９０°＞Ａ（１）

それから、識別されたパターンは、識別されたパターンが発見されたデータ層内のシンボルを受信する。例えば、シンボルΩを抽出した共通のパターンＣ（６）＜９０°＞Ａ（１）と置換する。したがって、「男性」の上位レベルシンボル１１１０は、現在のデータ層に以下のように記載できる。
Ω（２）＜０°＞Ａ（２）

「女性」の上位レベルシンボル１１２０は、現在のデータ層に以下のように記載できる。
Ω（３）＜０°＞Ｄ（１）
そして、「犬」の上位レベルシンボル１１３０は、現在のデータ層に以下のように記載できる。
Ω（２）＜０°＞Ａ（１），（３）＜９０°＞Ａ（２）

したがって、開示された処理を使用することにより、シンボルの数は、このデータ層において増加される。しかしながら、データ組それ自体は、短い。一実施形態において、データ層は、直前のデータ層内において使用されたシンボルの少なくとも一群を含む。さらに、上記の例において、Ｃ（６）＜９０°＞Ａ（１）は、共通のパターンである。これは、組み合わせＣ（６）＜９０°＞Ａ（１）は、第一の閾値Ｔ_１よりも大きい確率（ｐｒｏｂａｂｉｌｉｔｙ）があることを意味する。このように、新たなラベルΩは、Ｓ_ｋ＋１に追加されることにより、１ずつシンボル空間が増加される。組み合わせＣ及びＡ内のそれぞれの要素の確率は、第二の閾値Ｔ_２よりも現在、大きいので、それぞれの「オリジナルラベル（ｏｒｉｇｉｎａｌ ｌａｂｅｌｓ）」（Ｃ及びＡ）は、Ｓ_ｋ＋１から除去される。したがって、開示された処理に利用された閾値は、要素が後続のデータ層で発見されるという一定の確率に基づいている。

図１２は、一実施形態に従って入力シンボルの入力列に応答したデータ層の生成を描写する典型的で非限定的なフローチャート１２００を示す。ステップＳ１２１０において、シンボルの列を含む入力が受信される。シンボルは、信号（ｓｉｇｎａｌ）等の表現を含む、文字列、画像、音声、動画、及びその他の入力列であってもよい。

一実施形態において、列は、マルチメディアコンテンツ要素のための生成された符号の組を含む。そのような符号は、上記で参照した同時係属の米国特許出願第１２／０８４，１５０号明細書、米国特許出願第１２／５０７，４８９号明細書だけでなく、米国特許第８，１１２，３７６号明細書、米国特許第８，２６６，１８５号明細書、米国特許第８，３１２，０３１号明細書、及び米国特許第８，３２６，７７５号明細書で説明されるように生成される。

ステップＳ１２２０において、全てのシンボルの組み合わせ、すなわち、所定閾値を超える頻度（ｆｒｅｑｕｅｎｃｙ）（出現数（ｎｕｍｂｅｒ ｏｆ ａｐｐｅａｒａｎｃｅｓ）で出現する二つ以上のシンボルは、識別される。ステップＳ１２３０において、ステップＳ１２２０で識別されたシンボルの組み合わせの包含した組み合わせ及び派生した組み合わせは、除去される。一実施形態において、これは、使用される合成シンボルの組み合わせ（ｒｅｓｕｌｔａｎｔ ｓｙｍｂｏｌ ｃｏｍｂｉｎａｔｉｏｎ）をさらにフィルタリングするために、付加的な閾値（上述の閾値Ｔ_２等）の使用をさらに必要とする。例えば、シンボル列「ＹＹＲ」は、図２に描写されるように、入力列（図１）内に識別されるものの、合成データ層（ｒｅｓｕｌｔａｎｔ ｄａｔａ ｌａｙｅｒ）内に含まれない。

ステップＳ１２４０において、残存するシンボルの組み合わせ（ｒｅｍａｉｎｉｎｇ ｓｙｍｂｏｌ ｃｏｍｂｉｎａｔｉｏｎ）は、固有の新たなシンボルによって、それぞれ置換される。一実施形態において、残存するシンボル組み合わせは、入力列内の出現数がシンボル組み合わせをフィルタリングするために使用される所定閾値を超えるシンボル組み合わせである。ステップＳ１２５０において、シンボルの合成列は、入力データ層の後続のデータ層としてメモリに格納される。

ステップＳ１２６０において、最後に生成されるデータ層のために、付加的なデータ層が派生したか否かチェックする。付加的なデータ層が派生した場合、シンボルの列の新たな入力がステップＳ１２５０においてメモリに格納される、ステップＳ１２１０を実行する。付加的なデータ層が派生してない場合、実行を終了する。

図１３は、一実施形態に従って入力シンボルの入力列に応答してデータ層の生成のための典型的で非限定的なシステム１３００を示す。システム１３００は、コンピュータの主要部（ｃｏｍｐｕｔａｔｉｏｎａｌ ｃｏｒｅ）等の一つ以上の処理要素を含んでもよい処理ユニット（ＰＵ：Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む。ＰＵ１３１０は、メモリ１３２０に通信可能に接続される。メモリ１３２０は、揮発性メモリ及び非揮発性メモリの両方からなり、ＰＵ１３１０に近接又はＰＵ１３１０から離れていてもよい。メモリ１３２０は、ＰＵ１３１０によって実行される際に、フローチャート１２００について等、上記に詳細に説明した少なくともデータ層生成処理を実行する、メモリ部（ｍｅｍｏｒｙ ｐｏｒｔｉｏｎ）１３２５内の命令を含む。

入力シンボルの列は、ＰＵ１３１０に通信可能に結合された入出力インターフェース（Iｎｐｕｔ／Ｏｕｔｐｕｔ Ｉｎｅｒｆａｃｅ）１３３０を介して外部情報源（ｅｘｔｅｒｎａｌ ｓｏｕｒｃｅ）から供給されてもよく、又は、メモリ１３２０から供給されてもよい。データ層を生成するための入力情報源（ｉｎｐｕｔ ｓｏｕｒｃｅ）は、限定をすることなく、音声、動画、接触、匂い、文字列等を含む。さらに、異なる入力データ情報源の組み合わせも可能である。

一実施形態において、システム１３００は、ＰＵ１３１０及び／又はメモリ１３２０に通信可能に接続される符号生成器（ｓｉｇｎａｔｕｒｅ ｇｅｎｅｒａｔｏｒ）１３４０も含む。符号生成器１３４０は、入出力インターフェース１３３０に接続される一つ以上の情報源を介して供給されるデータに応答して符号を生成してもよい。生成された符号は、データ層を生成するために、ＰＵ１３１０によって処理される。符号生成器１３４０及びその機能性のための典型的な実装は、上記に参照される同時係属の米国特許出願第１２／０８４，１５０号明細書、米国特許出願第１２／５０７，４８９号明細書だけでなく、米国特許第８，１１２，３７６号明細書、米国特許第８，２６６，１８５号明細書、米国特許第８，３１２，０３１号明細書、及び米国特許第８，３２６，７７５号明細書において少なくとも発見できる。

データ層は、複数の属性（ｐｒｏｐｅｒｉｔｉｅｓ）を保持する。上位のデータ層は、新たな層が生成されるように、より大きなシンボル空間、すなわち、空間が増加することを実演（ｄｅｍｏｎｓｔｒａｔｅ）する。データ層は、シンボル間の相関関係が低下する間、シンボルが近接する確率の維持もする。薄層化処理（ｌａｙｅｒｉｎｇ ｐｒｏｃｅｓｓ）前に相互に近くにあるシンボルは、薄層化処理が実行された後、接近してもよい。

別の実施形態によれば、データ層は不変性（ｉｎｖａｒｉａｎｃｅ）を維持する。すなわち、補完する二つのシンボルは、不変の属性（ｉｎｖａｒｉａｎｔ ｐｒｏｐｅｒｔｙ）を維持する。例えば、入力データ（シンボルの列）が顔である場合、生成されたデータ層は、同一の顔の閉じた目又は開いた目に関して不変である。データ層の生成は、異なる情報源からの入力パターンの組み合わせである共通のパターンを含む。データ層の出力は、索引（ｉｎｄｉｃｅ）の包括的な組（ｇｅｎｅｒｉｃ ｓｅｔ）によって表現される複数の情報源からの情報の融合（ｆｕｓｉｏｎ）である。

別の実施形態によれば、データ層の全ての属性は、生成された層において重要である。すなわち、例えば、動画と比較した場合、音声情報源は、データ層が関連の共通のパターン（ｒｅｌｅｖａｎｔ ｃｏｍｍｏｎ ｐａｔｔｅｒｎｓ）を生成することによって音声パターンを抑制することに対して優位（ｄｏｍｉｎａｎｔ）すぎる。さらに、二つのデータ情報源が相互に関連がある場合、データ層は、無相関の結合した表現（ｄｅ−ｃｏｒｒｅｒａｔｅｄ ｆｕｓｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を生成する。

本明細書に開示された様々な実施形態は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組み合わせとして実装できる。さらに、ソフトウェアは、プログラムストレージユニット、又は、コンピュータ読み取り可能な媒体上に明確に具体化されるアプリケーションプログラムとして実装されることが好ましい。アプリケーションプログラムは、適切なアーキテクチャを含むコンピュータによってアップロード及び実行されてもよい。コンピュータは、一つ以上の中央演算ユニット（「ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ」）、メモリ、及び入出力インターフェース等のハードウェアを有するコンピュータプラットフォーム上に実装されることが好ましい。コンピュータプラットフォームは、ＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）及びマイクロ命令コード（ｍｉｃｒｏｉｎｓｔｒｕｃｔｉｏｎ ｃｏｄｅ）を含んでもよい。本明細書に記載された様々な処理及び機能は、コンピュータ又はプロセッサが明確に示されていてもいなくても、ＣＰＵによって実行されてもよい、マイクロ命令コード、アプリケーションプログラムの一部、又は、それらの任意の組み合わせであってもよい。さらに、様々な他の周辺機器（ｐｅｒｉｐｈｅｒａｌ ｕｎｉｔ）は、付加的なデータストレージユニット及び印刷ユニット等のコンピュータプラットフォームに接続されてもよい。さらに、非一時的なコンピュータ読み取り可能な媒体は、信号を伝搬する一時的な媒体を除いた、任意のコンピュータ読み取り可能な媒体である。

本明細書に列挙された全ての例及び条件付き言語（ｃｏｎｄｉｔｉｏｎａｌ ｌａｎｇｕａｇｅ）は、開示された実施形態及び技術を前進させるための発明者によって寄与された概念を読者が理解するという教育上の目的があり、具体的に列挙された例及び条件等へ限定されることはないとみなされる。さらに、発明の原理、発明の態様、発明の実施形態も、それらの特定の例も列挙する本明細書の全ての文章は、構造的及び機能的にそれらと均等のものを包含する意図がある。付加的に、均等は、既知の均等のものも、将来に開発される均等のもの、すなわち、構造にかかわらず、同一の機能を発揮する開発された任意の要素も含む意図がある。

Claims (11)

1. パターンのシンボル空間ベースの圧縮のための装置であって、
   処理ユニットと、
   前記処理ユニットに接続されたインターフェースであって、前記インターフェースは、入力列を受信するように構成され、前記入力列は、第一の長さであって複数のシンボルを含むインターフェースと、
   前記処理ユニットに接続されたメモリであって、
   処理ユニットによって実行される際に、
   前記入力列内の全ての共通のパターンを抽出し、共通のパターンは、少なくとも二つのシンボルを含み、
   前記抽出された全ての共通のパターンに基づいて、前記入力列内に頻度閾値を越えて単独で出現する列を抽出し、列は、少なくとも三つのシンボルを含み、
   前記の抽出した列を代用シンボルに置換することにより出力列を生成し、前記出力列は、前記第一の長さよりも短い第二の長さを有し、
   前記出力列をデータ層としてメモリに格納し、
   データ層の後続の生成のための新たな入力列として前記出力列を供給することを実行する複数の命令を格納するように構成されたメモリとを含む装置。
2. 前記出力列の生成は、所定閾値よりも長さが短い共通のパターンを除去することをさらに含む、請求項１に記載の装置。
3. 前記複数のシンボルのそれぞれのシンボルは、文字列、画像、音声信号、及び動画信号のいずれか一つである、請求項１に記載の装置。
4. 前記処理ユニット及び前記メモリに通信可能に接続された符号生成器であって、前記符号生成器は、少なくとも一つのシンボルに応答して少なくとも一つの符号を生成するように構成される符号生成器をさらに含み、
   前記符号生成器によって生成された前記符号は、前記入力列として前記装置に処理される、請求項１に記載の装置。
5. それぞれの生成されたデータ層は、前記データ層において使用されたシンボルの一群を含む、請求項１に記載の装置。
6. パターンのシンボル空間ベースの圧縮のためのコンピュータ化した方法であって、
   入力列を受信し、前記入力列は、第一の長さであり、複数のシンボルを含み、
   前記入力列内の全ての共通のパターンを抽出し、前記共通のパターンは、少なくとも二つのシンボルを含み、
   前記抽出された全ての共通のパターンに基づいて、前記入力列内に頻度閾値を越えて単独で出現する列を抽出し、列は、少なくとも三つのシンボルを含み、
   前記の抽出した列を代用シンボルに置換することにより出力列を生成し、前記出力列は、前記第一の長さよりも短い長さである第二の長さを有し、
   前記出力列をデータ層としてメモリに格納し、前記出力列は、データ層の後続の生成のために新たな入力列として供給されることを含む方法。
7. 出力列の生成は、所定閾値よりも長さが短い共通のパターンを除去することをさらに含む、請求項６に記載の方法。
8. シンボルは、文字列、画像、音声信号、及び動画信号のいずれか一つである、請求項６に記載の方法。
9. 少なくとも一つのシンボルに応答して少なくとも一つの符号を生成し、少なくとも一つの符号は、前記入力列として処理されることをさらに含む、請求項６に記載の方法。
10. それぞれの生成されたデータ層は、前記データ層において使用されたシンボルの一群を含む、請求項６に記載の方法。
11. コンピュータ上で実行される際に、請求項６の方法を実行する命令を含むコンピュータプログラム。

Images