JP3921259B2 - 記号的処理を可能にする非記号処理装置と、情報処理システム及びその自動コーダ - Google Patents
記号的処理を可能にする非記号処理装置と、情報処理システム及びその自動コーダ Download PDFInfo
- Publication number
- JP3921259B2 JP3921259B2 JP15270296A JP15270296A JP3921259B2 JP 3921259 B2 JP3921259 B2 JP 3921259B2 JP 15270296 A JP15270296 A JP 15270296A JP 15270296 A JP15270296 A JP 15270296A JP 3921259 B2 JP3921259 B2 JP 3921259B2
- Authority
- JP
- Japan
- Prior art keywords
- probability
- symbol processing
- transition matrix
- symbol
- logical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Complex Calculations (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、記号処理及び非記号処理のための情報処理システムに係り、特に、記号的処理を可能にする非記号処理装置、記号処理と非記号処理とを接続する自動コーダとに関する。
【０００２】
【従来の技術】
人間は、人間の認知的活動を表現する媒体として情報を生成、使用している。技術の進歩と共に、上記情報の一部を扱う機械が開発された。上記機械によって処理される情報の範囲は、コンピュータの開発によって著しく拡張された。しかし、現在のコンピュータの原理は、非常に単純であり、かつ、情報の範囲は、上記機械に適するよう形式化できる部分に限定されたままである。図１には、人間の知能、情報及びコンピュータの間の関係が示されている。「認知の世界」は、会話、思考、創造、理解、判断等の人間の知的活動の範囲を表わしている。「情報の世界」は、目に見えない人間の心の活動を明示的に表わすための媒体を含んでいる。「情報の世界」は、更に、思考方法、学習方法等の形式化された種々の知的活動の方法の言語による表現を含んでいる。上記方法は、表現された後、ある人から他の人に伝達される。情報の世界の範囲は、概念を表わすため使用できる言語に非常に依存している。コンピュータは、「物理的世界」の構成要素である。コンピュータはある種の情報を処理し得る。上記の世界の間の関係において、情報の世界は心の世界の全体をカバーし得ないが、言語によって明示的に表わし得ない活動が存在することに注意する必要がある。このように言語によって明示的に表わされない活動が実際の世界の人間の活動に重要な役割を果たしていることが知られている。
【０００３】
コンピュータに与えられた言語の表現力は制限されているので、物理的世界は、情報の世界の中の僅少な一部しかカバーできない。人間の言葉で表現することができても、コンピュータ言語で表現できない多数の重要な人間の認知的活動が存在する。従来、認知の世界をカバーするよう情報の世界を拡張するため、種々の科学分野において多数の研究が行われている。認知の世界を明らかにし、情報の世界をできるだけ拡張することによって認知の世界をカバーし、同時にコンピュータ処理の範囲を拡張するため、人工知能の分野において多大な努力がなされている。伝統的な認知学は認知の世界を明らかにする際に重要な役割を果たしている。
【０００４】
従来のコンピュータは記号情報だけを処理するように設計されている。コンピュータの情報処理の範囲は、人間の情報処理よりも遙かに狭く、下限の簡単な論理レベルから上限の手続き的表現による処理形態のプログラムレベルまでに制限されている。従って、人間の創造的活動である仮説の生成及び検証のような高いレベルの処理をコンピュータの情報処理で行うことは困難である。更に、低いレベルでは、パターン認識及び直観的な判断のような非記号処理を含む活動を表現するのには都合が良くない。従って、情報処理の範囲を上のレベル及び下のレベルに拡張する研究が必要である。情報処理の範囲を上のレベルに拡張する方法は、大須賀；知識ベースシステムの設計方法(A Way of Designing Knowledge Based Systems)、知識ベースシステム、第６巻、第１号、１９９５年に記載されている。
【０００５】
人間の場合、ニューラルネットワークは、連続的な情報を処理する最も下位のレベルの情報処理コンポーネントである。ニューラルネットワークは非常に簡単な規則に基づいているが、より複雑なプロセッサを実現するため多重レベルのネットワーク構造が構成されると考えられる。上記構造内のあるレベルにおいて、信号が量子化され、記号操作はそのレベル上で実現される。人間は初期には文字を持たなかったが、最初の記号は音素であるに違いない。しかし、如何なる記号であろうとも、その記号の処理が処理機構の多重レベル構造の中のあるレベルに現れることに注意することが重要である。上記多重レベル構造内で、記号処理と非記号処理を融合することが可能である。これにより、人間は非常に広い範囲の情報処理を処理し得るようになる。
【０００６】
上記構造は進化によって発生し、かつ、進化は非常に単純な生物学的規則に基づいているので、概念の突然の変化は上記進化によって起こる可能性が少ないと考えることが自然である。しかしながら、記号的な情報と非記号的な情報の間には概念上のギャップが存在する。このような概念上のギャップは、単純な進化の過程によって克服し得ない可能性があり、記号的な情報と非記号的な情報を接続するため中間ステップが必要である。
【０００７】
従来、例えば、エキスパートシステムのような既存の記号処理と、例えば、ニューラルネットワークのような既存の非記号処理とを結び付ける努力は行なわれている。
【０００８】
【発明が解決しようとする課題】
しかし、現在のコンピュータにおいて、記号処理のアルゴリズムは、非記号処理のアルゴリズムとは実質的に別々に定義される。記号処理のアルゴリズムと非記号処理のアルゴリズムの相違は、従来、記号的な情報と非記号的な情報の間の概念上のギャップに起因して、記号的な情報処理と非記号的な情報処理への技術的なアプローチの相違から生じた。記号的な情報と非記号的な情報を接続する新しい概念が存在するならば、記号的な情報と非記号的な情報の両方を処理し得るコンピュータの開発が可能である。
【０００９】
従って、本発明は、情報処理の範囲を下方のレベルに拡張すべく、非記号処理と同一のアルゴリズムによって記号処理が行われ、これにより、記号処理と非記号処理の両方に同一の機構を使用し得る中間段の提供を目的とする。
更に、本発明は、記号処理及び非記号処理を行なう情報処理システムの提供を目的とする。
【００１０】
更に、本発明は、記号処理と非記号処理とを接続し、非記号処理系から記号処理系が自動的に生成される自動コーダの提供を目的とする。
【００１１】
【課題を解決するための手段】
かかる本発明の情報処理は、最初から記号情報を使用し処理するよう設計された従来のコンピュータの情報処理とは相違している。上記非記号的な情報処理は、現在のコンピュータの記号操作機構で実行する必要がある。しかし、その非記号的な情報処理は必ずしも成功する訳ではない。有利な結果を生成するため記号処理と非記号処理を統合することが望まれる。
【００１２】
本発明の記号的処理を可能にする非記号処理装置は、推論前の情報に対応する入力確率ベクトルを作成する入力手段と；推論の結果に対応する出力確率分布を作成するよう上記確率ベクトルに乗算されるべき確率過程の遷移行列を作成する行列作成手段と；上記遷移行列を上記確率ベクトルに乗算する演算手段とからなる。
【００１３】
上記入力確率ベクトルの各要素は、処理対象の系の各状態に割り当てられ；上記遷移行列の各要素は、上記系のある状態から次の状態への遷移確率を表わすよう定められ；上記確率過程の確率分布は、上記確率過程の直前の確率分布に上記遷移行列を乗算することにより得られる。
【００１４】
本発明によれば、記号処理の基本としての論理推論は、非記号処理の特別の場合であり、非記号処理アルゴリズムは、論理推論アルゴリズムよりも広い領域をカバーする。従って、論理推論と非記号処理の間で、処理機構の基本部分に相違はない。
【００１５】
本発明の情報処理システムは、非記号処理層と、記号処理層と、上記非記号処理層と上記記号処理層の間の自動変換系とからなり；上記記号処理層は、記号処理を受け持つ専用のサブシステムである記号処理プロセッサを有し、上記非記号処理層は、論理処理系の条件を満たし、非記号処理を受け持つ専用のサブシステムである非記号処理プロセッサを有し、上記自動変換系は、上記記号処理層と非記号処理層の間に接続され、非記号情報から記号情報を生成する自動コーダと、記号情報から非記号情報を生成する自動デコーダとを有する。上記自動コーダは、集合に基づいて作られる上記記号処理層の述語の組み合わせ確率が、上記非記号処理層の状態確率に一定の誤差範囲で近似的に等しくなるよう、上記記号の集合及びその集合の各要素に関する述語記述に与えられる確率を見いだす。
【００１６】
更に、上記記号処理層には上記自動コーダによって遷移過程から記号化された述語を格納する知識ベースが設けられ、上記記号処理プロセッサは、上記非記号処理プロセッサによって推論された真のデータから生成された遷移行列を用いて、上記知識ベースに格納された既存の知識を精錬する。
【００１７】
更に、本発明の非記号処理層と記号処理層とからなる情報処理システムにおける自動コーダは、上記記号処理層と非記号処理層の間に接続され、記号の集合に基づいて作られる上記記号処理層の述語の組み合わせ確率が、上記非記号処理層の状態確率に一定の誤差範囲で近似的に等しくなるよう、上記記号の集合及び上記集合の各要素に関する述語記述に与えられる確率を見いだすことにより、非記号情報から記号情報を生成する。
【００１８】
【発明の実施の形態】
１．情報の範囲
コンピュータの情報処理で扱い得る情報の範囲はそこで使用される言語に依存する。情報の世界を拡張するため、言語の表現能力を拡張することが必要である。コンピュータ言語は非常に制限的であるため、コンピュータの情報の世界は小さい。人間の情報の世界は、コンピュータの情報の世界よりもかなり広いが、記号的な言語の使用による制限を受ける。そこで、以下の説明では、記号的な言語の限界を解析することにより、記号処理と非記号処理を融合する方法を提案する。本発明の一実施例による融合方法は、二つの独立したシステムを単に組み合わせるだけではなく、同一システム内の同一アルゴリズムによって記号情報及び非記号情報を処理する。
【００１９】
２．論理推論と確率過程の類似性
述語論理は全ての記号的な言語の基礎である。典型的な述語は１階論理（ＦＯＬ）である。
論理推論と確率過程の類似性について考察する主な目的は、非記号的な処理アルゴリズムによって論理推論を表現することである。論理的な演繹と確率過程との間には密接な関係があることが知られている（S. Watanabe; Knowing and Guessing - A Formal and Quantitative Study, John-Wiley, 1969 を参照のこと ）。この関係に注意して、確率過程の表現を記号と非記号処理の間の中間物として使用する。
【００２０】
２．１ 論理推論
論理推論を多類論理（ＭＳＬ）で表現する方法を説明する。簡単な推論は：
（Ｆ，Ｆ→Ｇ）／Ｇ
のように表わされる。この式の意味は、Ｇが述語Ｆと述語Ｆ→Ｇから推論されるということである。Ｆ及びＧの両方は、任意の数の項を含み得るが、以下では、簡単化のため単項の述語、即ち、ｘが変数を表わすときのＦ（ｘ）及びＧ（ｘ）に関し説明する。通常の１階論理において、論理の全称は変数ｘのドメインである。しかし、本発明の一実施例によれば、多類論理（ＭＳＬ）が使用される。１階論理と多類論理の相違点は、Ｄ（ｘ）が変数ｘの類を定める述語を表わし、ｄがＤ（ｘ）（内包）によって表わされた全称内の集合（外延）を表わすとき、通常の論理の表現：
（Ｑｘ）〔Ｄ（ｘ）→Ｆ（ｘ）〕
は、多類論理において：
（Ｑｘ／ｄ）Ｆ（ｘ）
のように表わすことができる点である。冠頭部のＱは、限量子を示し、∀（全称限量子）又は∃（存在限量子）のいずれかを表わす。例えば、Ｍａｎ（ｘ）がｘの「人間らしさ」の特徴を表わし、ｍａｎがこの特徴を有する実体の集合であるとき、通常の１階論理：
（∀ｘ）〔Ｍａｎ（ｘ）→Ｍｏｒｔａｌ（ｘ）〕
は、多類論理において：
（∀ｘ／ｍａｎ）Ｍｏｒｔａｌ（ｘ）
で表わされる。通常の１階論理の場合、表現：
（∃ｘ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
は、Ｆ（ｅ）を満たさない少なくとも一つの実体ｅが全称内に存在するならば、この表現は真であることを意味する。殆どの重要な問題において、全称は非常に広く、その中の幾つかはＦ（ｅ）を満たさない種々の実体を含むので、上記表現は、殆ど意味がないか、或いは、非常に僅かな情報しか伝達しない。これに対し、たとえ全称が非常に広くても、ドメイン集合ｄを小さくすることができるので、対応する多類論理の表現：
（∃ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
は、ある程度の情報を伝達する。「Ｆ（ｘ）を満足しない要素はｄ内に存在しない」、又は、等価的に、「ｄ内の全要素はＦ（ｘ）を満足する」の情報には意味がある。この例の場合、（∃ｘ／ｄ）Ｇ（ｘ）が推論される。殆どの実際の応用において、全称内の実体の有限集合が対象であると考えられるので、以下では多類論理の場合を想定する。
【００２１】
上記論理的推論は：
（Ｑｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
を用いて所定の表現：
（Ｑ’ｘ／ｄ）Ｆ（ｘ）
を
（Ｑ”ｘ／ｄ）Ｇ（ｘ）
に変換する規則として解釈される。Ｑ’及びＱ”の両方は限量子であり、Ｑ”は、上記引用文献に記載されているように、以下の如く、ＱとＱ’の関係：
（ａ）Ｑ：∀ 及び Ｑ’：∀ ならば、 Ｑ”：∀
（ｂ）Ｑ：∀ 及び Ｑ’：∃ ならば、 Ｑ”：∃
（ｃ）Ｑ：∃ 及び Ｑ’：∀ ならば、 Ｑ”：∃
（ｄ）Ｑ：∃ 及び Ｑ’：∃ ならば、 Ｑ”に関して何もわからない
によって決められる。
【００２２】
上記慣例を用いて、かつ、推論を変換器として示すため、
（Ｑｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
をＩFGのように表わすことにより、演繹的な推論は：
Ｇ＝Ｆ・ＩFG
のように表わすことができる。従って、演繹的な推論は、ＧがＩFGによるＦの変換として得られたことを意味する。
【００２３】
２．２ 確率過程
確率過程は変数の確率分布の変化の過程を表わす。Ｐが状態の生起確率分布を表わす行ベクトルである場合に、Ｎ−状態の機械について説明する。確率過程は、以下の式：
ＰM+1 ＝（ｐ1 ，ｐ2 ，．．．，ｐN ）M+1
＝（ｐ1 ，ｐ2 ，．．．，ｐN ）M ・Ｔ＝ＰM ・Ｔ
で表わされ、式中、Ｔは、Ｎ×Ｎの遷移行列Ｔ＝〔ｔij〕を示している。要素ｔijは、状態ｉから状態ｊへの遷移確率を示している。上記式は、過程の（Ｍ＋１）番目のステップの状態の確率分布が、遷移行列をＭ番目のステップの確率分布に乗算することにより得られることを意味する。遷移行列は上記過程の全挙動を決定する。
【００２４】
２．３ 論理推論の確率過程としての解釈
推論過程と確率過程の間には類似性がある。ｄ＝｛ａ1 ，ａ2 ，−−，ａn ｝が変数ｘのドメインであるとし、以下のように、Ｆ及びｄに関してシステムの状態Ｓを定める。知識のあらゆる場面で、状態Ｆ（ａi ）（ｉ＝１，２，−−，ｎ）は、真又は偽のいずれかである。ベクトル（ｕ1 ，ｕ2 ，−−，ｕn ）F は、Ｆ（ａi ）が真又は偽の何れであるかに対応してｕi が１又は０であるＦに対する状態ｓk である。添字ｉは、２進数ｕ1 ｕ2 −−ｕn に対応する順番である。この状態は、各構成要素ａi の状態ではなく、集合ｄの状態である点に注意が必要である。従って、状態ベクトルＳF ＝（ｓ1 ，ｓ2 ，−−，ｓN ）は、ｄの可能な全状態の順序付けされた集合として定義される。この集合は完全集合であり、即ち、相互に排他的であり、かつ、網羅的な集合である。Ｎ（＝２n ）の各状態に対し、確率ｐk （ｋ＝１，２，−−，Ｎ）が割り当てられる。確率ベクトルＰF ＝（ｐ1 ，ｐ2 ，−−，ｐN ）F は、このように定義される。添字F は、このベクトルが述語Ｆに関することを示す。以下に説明するように、Ｇに対する上記ベクトルＰF 及びＰG を使用し、かつ、遷移行列ＴFGを定義することにより、上記の得られたＧ＝Ｆ・ＩFGではなく、確率過程と同じ形式で過程ＰG ＝ＰF ・ＴFGが得られる。
【００２５】
２．４ 確率過程の一部としての推論過程
確率過程において、遷移行列は、以下の条件を保持する必要があり、各要素は以下の確率過程の条件：
（１）行列の各成分は非負であることが必要であり、かつ、
（２）各行に対し、成分の行方向の和は１に一致しなければならない
の範囲内であらゆる値を取ることが可能である。
【００２６】
一方、推論過程の遷移行列は上記条件の他に強い条件を満たす必要がある。この条件は２通りの場合に得られる。以下、集合ｄは有限であると仮定する。
第１の場合： （∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
（∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕は、
（〜Ｆ（ａ1 ）∨Ｇ（ａ1 ））∧（〜Ｆ（ａ2 ）∨Ｇ（ａ2 ））∧−−−∧（〜Ｆ（ａn ）∨Ｇ（ａn ））
と一致する。上記式が真であるためには、各（〜Ｆ（ａi ）∨Ｇ（ａi ））は真でなければならない。かくして、あるＦ（ａi ）が真であると分かっている場合、Ｇ（ａi ）は真でなければならない。Ｆ（ａi ）が真ではない場合、Ｇ（ａi ）は真又は偽の何れでもよい。状態表現に関し、このことは、以下の遷移：
（＊，＊，−−，＊，ｕi ＝１，＊，−−，＊）F
→（＊，＊，−−，＊，ｕi ＝１，＊，−−，＊）G
（＊，＊，−−，＊，ｕi ＝０，＊，−−，＊）F
→（＊，＊，−−，＊，ｕi ＝１，＊，−−，＊）G
（＊，＊，−−，＊，ｕi ＝０，＊，−−，＊）F
→（＊，＊，−−，＊，ｕi ＝０，＊，−−，＊）G
だけが実現可能であることを意味する。＊は、０又は１の何れかを表わすが、左側及び右側の項の対応する位置の＊の値は、同一でなければならない。上記条件を満たすようにＴFGの成分ｔijを定めることが可能である。
【００２７】
図２の（ａ）は、このような方法で作られた遷移行列を表わしている。同図において、※は非ゼロの値を示している。値※は各ｔij毎に異なっていても構わないが、上記確率過程の条件（１）及び（２）を満たす必要がある。この表現が論理推論としての全ての特性を示すことを明らかにすることは困難ではない。例えば、Ｆ（ａi ）が真であるならば、Ｇ（ａi ）が真である確率は、上記遷移行列によって１である。かくして、上記確率過程の条件（１）及び（２）を満足する全ての可能な行列の中で、上記付加条件を満足する行列だけが第１の場合の推論規則を表わす。
【００２８】
第２の場合： （∃ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
（∃ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕は、
（〜Ｆ（ａ1 ）∨Ｇ（ａ1 ））∨（〜Ｆ（ａ2 ）∨Ｇ（ａ2 ））∨−−−∨（〜Ｆ（ａn ）∨Ｇ（ａn ））
と一致する。あるＦ（ａj ）が偽であるならば、上記式は真が成り立つ。この場合、如何なるａi に対してもＧ（ａj ）は、真又は偽の何れでもよく、Ｇに関しこれ以上のことは分からない。この場合に明確に言えることは、（∀ｘ／ｄ）Ｆ（ｘ）が真であるとき、あるＧ（ａj ）は真であることが必要であり、或いは、（∃ｘ／ｄ）Ｇ（ｘ）が成り立つ。このようにして、第２の場合に、図２の（ｂ）に示されたような遷移行列が得られる。上記推論規則を表わす遷移行列に対する条件は、ｔN0＝０だけである。
【００２９】
上記遷移行列を用いる過程への入力が、確率ベクトル（０，０，−−，０，１）N 、即ち、論理表現の（∀ｘ／ｄ）Ｆ（ｘ）であるならば、（０，※，※，−−，※）N+1 が出力として推論される。これは、（∃ｘ／ｄ）Ｇ（ｘ）である。あらゆる他の入力に対し、状態（０，０，−−，０）のｐ1 を含む全てのｐi ’の有限状態の確率を有する出力が推論される。即ち、Ｇ（ｘ）関して何も分からない（上記ＱとＱ’の関係の（ｄ）の場合に該当する）。
【００３０】
上記第１及び第２の何れの場合でも、推論規則は遷移行列の特殊なケースで表わすことができる。ある非記号情報処理機構によって任意の遷移行列を実現することが可能であれば、上記機構は論理推論を表現することが可能である。従って、遷移行列を記号処理と非記号処理の間の中間に置くことができる。これにより、推論機構と非記号処理の間で基本部分に相違のない処理機構が実現される。
【００３１】
２．５ 学習による確率過程から論理推論の導出
１階論理によって完全に説明可能なある実際的な現象を考えてみよう。この過程を表わす遷移行列を学習によって獲得することが可能である。最初に、全要素が同一であり、一連の観察が形成される行列を想定する。組（Ｆ（ａi ），Ｇ（ａj ））が観察された場合、即ち、Ｇ（ａj ）がＦ（ａi ）の生起に対し観察され得た場合、一方でＦ（ａi ）及びＧ（ａj ）の両方と関係する状態に対応する遷移行列の全要素（図２を参照のこと）はある量で増加され、即ち、他方でｋが増加させられるべき要素の個数、Ｍが行内の残りの非ゼロの要素の個数を表わすとき、他の要素は上記量のｋ／Ｍで均一に減少させられる。増加されるべき要素は、＊が０又は１を表わすとき、（＊，＊，−−，＊，ｕi ＝１，＊，−−，＊）F と（＊，＊，−−，＊，ｕj ＝１，＊，−−，＊）G の夫々の形式の状態の交点にある要素である。上記確率過程の条件（１）及び（２）は維持されなければならない。上記過程を一連の観察に対し繰り返すことにより、上記行列は論理推論を表わす行列に徐々に近づく。フィードバック系は、かかる学習を行なうため不可欠である。学習は推論系よりも高いレベルの系である。この意味で、非記号処理アルゴリズムに基づく記号情報処理系を生成するため多重レベルシステムが必要になる。
【００３２】
２．６ 部分的な併合による遷移行列のリダクション
集合ｄが大きいとき、遷移行列は非常に大きくなるので、上記方法は実際的ではなくなる。集合ｄを直接的に要素に展開する代わりに、集合ｄを部分集合の集合に分割し、その集合の状態ベクトルを生成することにより、遷移行列を簡約化することが可能である。夫々のｄi （ｉ＝１，２，−−，ｋ）に式（∀ｘ／ｄi ）Ｆ（ｘ）を定義可能なように集合ｄを部分集合ｄ＝｛ｄ1 ，ｄ2 ，−−，ｄk ｝に分割する。Ｋ＝２k と表わすとき、部分集合から得られた各状態に与えられた確率から確率ベクトルＰF ＝（ｐ1 ，ｐ2 ，−−，ｐK ）が得られる。かかる確率ベクトルは、記号表現と非記号表現の中間的な表現である。以下、この表現を部分記号と呼ぶ。かかる簡略化は、実際上、多くの場合に有効な方法である。特に、ある例外を含む集合を処理する際に使用すると便利である。例えば、集合「鳥類」は、飛ぶことができるグループと、飛ぶことができないグループの二つのグループに分割することが可能である。以下、各表現（∀ｘ／ｄi ）Ｆ（ｘ），（ｉ＝１，２，−−，ｋ）の範囲内で、曖昧性のような記号表現の特性を説明する。
【００３３】
３． ニューラルネットワークによる論理推論の実施
確率過程はニューラルネットワークによって実行可能である。確率過程を実行する際に含まれる演算は、ベクトル積、即ち、前の状態確率と、各対応するベクトル成分との全ての積の総和を得ることである。事後状態確率Ｐj N+1 は、ｐj N ・ｔijによって得られる。上記計算は図３に示したニューラルネットワークによって行なわれる。上記ニューラルネットワークにおいて、入力ノードｎi F から出力ノードｎj G へのアークには、遷移確率である重みの値ｔij が与えられる。遷移行列によって論理推論を表現するため、入力ノード及び出力ノードは、（Ｆ及びｄ）と（Ｇ及びｄ）夫々に関する系の状態に対応する。上記状態ベクトルは、所定の集合ｄの個々の状態を結合することにより生成される。これはデコードと同様である。正（論理的な真）の信号だけを使用すべき場合、図３の左端及び右端に示されたように上記状態ベクトルが生成される。上記主回路の他に、学習によってアークの重みを修正するためフィードバック経路が必要である。観察された組（Ｆ（ａi ），Ｇ（ａj ））が与えられた場合、上記フィードバック回路は、入力ノードｎi F から出力ノードｎj G への経路を形成するアークの重みを増大させ、それ以外のアークの重みを減少させる。図３には、例えば、（Ｆ（ａ1 ），Ｇ（ａ2 ））の場合が表わされている。
【００３４】
上記ニューラルネットワークは、式ＦとＧの間の関係を表わすためにある。同様のネットワークが形成され、上記ネットワークと組み合わされる。例えば、ＧとＨの間に関係があるならば、ノード集合｛ｎj G ｝は、ＧとＨの間のネットワークの入力ベクトルになる。従って、全体的な遷移ネットワークは、小さいネットワークを基礎単位ブロックとして用いて形成される。全体的な遷移ネットワークにおいて、各基礎単位ブロックは、論理推論ネットワークでもよく、論理推論ネットワークでなくてもよい。論理的ブロック以外のブロックは、必ずしも標準的な確率過程のブロックではなくてもよく、如何なるタイプのネットワークでも構わない。上記全体的なネットワークの各基礎単位ブロックは、入力ベクトルの確率分布の修飾子として機能する。何れの場合でも出力は確率分布である。確率分布は、必要に応じて、論理的な形式で（近似的に）表わすことが可能である。このようにして、論理的（記号）処理と、数値的（非記号）処理とが融合される。上記全体的なネットワークは知識ベースを表わしている。
【００３５】
【実施例】
上記の如く、たとえ非記号処理系で論理処理が可能であっても、現実には変数の変域が固定され、固定された変域を変更し難く、複雑な論理式の処理が困難であるなどの制約がある。言うまでもなく、記号処理には記号処理系が向いている。一方、記号処理系は非記号処理には向いていない。機能の劣化を招くことなく記号処理と非記号処理の両方を同一の処理系で行なうことは可能であっても、効率良く行なうことは困難である。
【００３６】
従って、図４に示された本発明の一実施例の情報処理システムは、非記号処理層１及び記号処理層２と、それらの間の自動変換系とからなる。
上記本発明の一実施例の情報処理システムにおいて、記号処理層１は、記号処理を受け持つ専用のサブシステムである記号処理プロセッサ１０を有し、非記号処理層２は、非記号処理を受け持つ専用のサブシステムである非記号処理プロセッサ２０を有する。自動変換系は、上記記号処理層１と非記号処理層２の間を結んで情報変換を行なう特別の機構を持つシステム３０及び３２からなる。この記述層間の変換は、コーディングとデコーディングに相当している。情報内容に応じてコーディングとデコーディングが動作するという意味で、コーディング及びデコーディングを行なう装置を夫々自動コーダ３０及び自動デコーダ３２と呼ぶ。
【００３７】
自動コーダ３０は、非記号処理系が上記論理処理系の条件を満たすとき、非記号情報から記号情報を自動的に生成する。自動コーディングは、一種の情報の抽象化であり、非記号情報に基づいて最良のコードを生成する。
一方、自動デコーダ３２は記号情報から非記号情報を生成する。自動デコーダ３２は、情報処理の分野で通常用いられるデコーダと同様である。
【００３８】
コーディングの目的は、記号の集合及びその集合の各要素に関する述語記述に与えられる確率を見いだすことである。その際の条件は、述語Ｆで表わされるある視点に関して、見いだされた集合ｄの要素の組み合わせが非記号系の状態を表わすことである。具体的に言うと、集合ｄに基づいて作られる記号系の述語の組み合わせ確率が非記号処理系の状態確率に一定の誤差範囲で近似的に等しくなることである。自動コーダ３２の役割は、この条件を満たすように、記号処理レベルでそのような記号集合ｄ及びｄの各要素毎の述語に与えられる確率を見いだすことである。
【００３９】
非記号処理系である状態遷移処理過程があり、状態ベクトルのサイズがＮであるとする。この状態ベクトルに対応する状態確率ベクトルをＰ、遷移行列をＴ（＝Ｎ×Ｎ）とする。遷移行列が既に決まっているならば、既に決められた遷移行列から出発し、遷移行列が未知であるならば、上記学習によって遷移行列を定める。学習による場合、遷移行列の要素は、入力と出力の組から学習によって修正され、同時に入力の分布が求められ、入力確率ベクトル自体も修正される。この結果に基づいて自動コーディングが行なわれる。以下、自動コーディングの手順を説明する。
【００４０】
（１）最初に、Ｎが２の巾乗数（＝２n ）の場合を考える。集合ｄをｄ＝｛ａ1 ，ａ2 ，−−，ａn ｝、その状態ベクトルをＳF ＝（ｓ1 ，ｓ2 ，−−，ｓN ）F とする。集合ｄの各要素に与えられる述語の生起確率（Ｆ（ａi ）が真である確率）をｑi とすると、ＳF 内のＮ個の状態の各確率ｐk ，（ｋ＝１，２，−−，Ｎ）は：
ｐ1 ＝(1-q1)(1-q2)(1-q3)--(1-qt-2)(1-qn-1)(1-qn )
ｐ2 ＝(1-q1)(1-q2)(1-q3)--(1-qn-2)(1-qn-1) qn
ｐ3 ＝(1-q1)(1-q2)(1-q3)--(1-qn-2) qn-1(1- qn )
ｐ4 ＝(1-q1)(1-q2)(1-q3)--(1-qn-2) qn-1qn
・・・・・・
・・・・・・
ｐN-1 ＝q1q2q3---qn-2qn-1 (1-qn )
ｐN ＝q1q2q3---qn-2qn-1qn
である。これらを要素とする確率ベクトルＰF ＝（ｐ1 ，ｐ2 ，−−，ｐN ）F が確率遷移過程の入力確率ベクトルＰ* ＝（ｐ* 1 ，ｐ* 2 ，−−，ｐ* N ）と一定の誤差範囲内で一致するようにｑi ，（ｉ＝１，２，−−，ｎ）を定めることができれば状態ベクトルを有限の記号で表現することになる。
【００４１】
（２）しかし、一般には、Ｐ F ＝Ｐ*の成立は困難である。その理由は、Ｎ＞ｎ、即ち、自由変数の数ｎに対し適合条件の数Ｎの方が大きいからである。実際には、すべての確率の和が１になるという条件により自由変数の数はｎ−１である。
【００４２】
（３）更に、一般には、Ｎが丁度２の巾乗数に等しいという場合は少ない。即ち、２n＝Ｎであるようなｎ要素の集合ｄを作ることができない。このとき、集合ｄとして、先ず要素数ｎが２n＞Ｎを満たす最小数の要素を含むようにする。この場合、確率遷移過程の状態数の方が集合ｄから作られる状態数よりも少ないため、Ｎ個の状態ベクトルの中から幾つかの状態を選び、選ばれた状態を二つ以上の状態に分割する。これに対応して選ばれた状態の確率ｐiをｐi1とｐi2とに分割する。この際、どのような比率で分割するかに関し自由度がある。分割は、２n−Ｎ個の状態について可能であるので、この結果、可変数はｎ＋２n−Ｎ−１になる。かかる可変数がＮ以上であれば、Ｐ F ＝Ｐ*の一致条件を満たすことが可能である。しかし、実際には、この一致条件が厳密に満たされなくても、近似的に満たされれば十分であるとして、一定の近似条件を満たすできるだけ小さい数ｎが見つけられる。
【００４３】
このため、本発明の一実施例によれば、逐次的な決定法が用いられる。逐次的な決定法は：
i)２n≧Ｎを満たす最小のｎを求める段階と；
ii)上記求められたｎについて、確率ベクトルＰFが、状態分割によって拡大された遷移過程の状態確率ベクトルＰ*に関し一定の近似条件内でＰF＝Ｐ*を満たすように生起確率ｑi，（ｉ＝１，２，−−，ｎ）及び状態分割を求める段階と；
iii)これによって、所定誤差内でＰ F ＝Ｐ*の近似条件が満たされなかったならば、集合ｄ内の要素数を１つずつ増やし、ii)を繰り返す段階とからなる。
【００４４】
以下に、生起確率と状態分割の逐次的な決定法の計算例を示す。簡単な例として、Ｎ＝５の遷移過程の場合を説明する。各状態に対し、状態確率をｐ1 ，ｐ2 ，−−，ｐ5 とする。ｄとしてｎ＝３とし、夫々の生起確率をｑ1 ，ｑ2 ，ｑ3 とする。２3 ＞５なので、状態確率の中から３つを選んで、夫々２つに分割する。以下、状態確率を大きさの順に配列した後、第２、３、４項を分割した例を説明する。
p5＝q1q2q3
p4' ＝q1q2(1-q3)
p3' ＝q1(1-q2)q3
p2' ＝q1(1-q2)(1-q3)
p1＝(1-q1)q2q3
p03 ＝(1-q1)q2(1-q3) ＝ p4-p4'
p02 ＝(1-q1)(1-q2)q3 ＝ p3-p3'
p01 ＝(1-q1)(1-q2)(1-q3)＝ p2-p2'
ここで、 1-qi /qi を Xi と置くと次の関係：
X3=p4'/p5=p1/p3'=p03/p2'=p01/p02
X2=p3'/p5=p1/p4'=p02/p2'=p01/p03
X1=p2'/p5=p03/p4'=p02/p3'=p01/p1
或いは、
p5p1=p3'p4', p5p03=p2'p4', p5p01=p4'p02
(p5p1=p3'p4'), p5p02=p2'p3', p5p01=p3'p03
(p5p03=p2'p4'), (p5p02=p2'p3'), p5p01=p2'p1
が得られる（括弧内は重複を示している）。従って、６つの関係が満たされなければならないことが分かる。一方、自由変数の数は、３−１＝２であり、上記６つの関係を全て満たすことはできない。そこで、ｐ5 ，ｐ4'，ｐ3'，ｐ2'，ｐ1 ，ｐ03，ｐ02，ｐ01の全てを関係表現の中に含むように６つの関係の中から幾つかの関係を選び、選ばれた関係を近似条件内で一定に満たすような解を逐次的に求める。上記例では、例えば、以下の３つの関係：
p5p02=p2'p3', p5p03=p2'p4', p5p01=p2'p1
を選択すると、
p5(p3-p3')=p2'p3', p5(p4-p4')=p2'p4', p5p01=p2'p1,
p5(p2-p2')=p2'p1, p2'=p5p2/(p5+p1),
p5+p2'=p5(p5+p2+p1)/(p5+p1)
p3'=p5p3/(p5+p2')=p3(p5+p1)/(p5+p2+p1)
p4'=p5p4/(p5+p2')=p4(p5+p1)/(p5+p2+p1)
が得られる。更に、
p03=p4-p4(p5+p1)/(p5+p2+p1)=p2p4/(p5+p2+p1)
p02=p3-p3(p5+p1)/(p5+p2+p1)=p2p3/(p5+p2+p1)
p01=p2-p5p2/(p5+p1)=p2p1/(p5+p1)
となる。入力の状態確率ベクトルが、
Ｐ＝（pa=0.504, pb=0.222, pc=0.140, pd=0.080, pe=0.054）
のように与えられた場合を考える。pa=p5, pb=p4, pc=p3, pd=p2, pe=p1 とし、状態ｓｂ，ｓｃ及びｓｄを夫々（ｓ13，ｓ213 ），（ｓ12，ｓ212 ）及び（ｓ13，ｓ3123）に分割することにより、新しい状態ｐ03，ｐ02 及びｐ01を作成する。分割によって確率も（p4', p03），（p3' ，p02 ），（p2' ，p01 ）である。この結果を用いて以下の関係：
p5=q1q2q3=0.5086, pa=0.5086(0.504)[1.009]
p4'=q1q2(1-q3)=0.1958, pb=0.1958+0.02792=0.22379(0.222)[1.0081]
p3'=q1(1-q2)q3=0.1232, pc=0.1404(0.140)[1.0029]
p2'=(1-q1)q2q3=0.07255, pd=0.07255+0.00678=0.07933(0.080)[0.9916]
p1=q1(1-q2)(1-q3)=0.04743, pe=0.04743(0.054)[0.8783]
p03=(1-q1)q2(1-q3)=0.02797
p02=(1-q1)(1-q2)q3=0.1760, pa+pb+pc+pd+pe=0.99988
p01=(1-q1)(1-q2)(1-q3)=0.006776
X3=(1-q3)/q3=p4'/p5=0.385244, q3=1/1.385244=0.722, 1-q3=0.278
X2=(1-q2)/q2=p3'/p5=0.2429466, q2=1/1.2429466=0.805, 1-q2=0.195
X1=(1-q1)/q1=p2'/p5=0.143369, q1=1/1.143369=0.875, 1-q1=0.125
が得られる。ここで、（）は与えられた数値を表わし、〔〕は近似度を示している。
【００４５】
上記結果によれば、pe以外には比較的良い近似が得られたことが分かる。更に、近似度を上げるため、上記得られた解を少し動かす。pe＝p1＝q1(1-q2)(1-q3)を増加させるため、q1を増し、その分q2とq3を減らす。q1=0.88, q2=0.802, q3 =0.72 とした場合、pa=0.508[1.008], pb=0.230[1.036], pc=0.143[1.021], pd=0.0760[0.95], pe=0.0488[0.904]が得られる。
【００４６】
（４）このような記号集合ｄとｑi （ｉ＝１，２，−−，ｎ）が求められたならば、分割した状態を単純に合併しＮ状態に戻した場合に元の遷移行列に戻るように、状態分割に対応して遷移行列を拡大する。
状態ｋをｋ１とｋ２に分割し、ｐk →ｐk1，ｐk2 とする。状態ｋに対応して、行列のｋ行ｋ列の要素を以下の方法に従って変更する。すなわち、行列の内部をＡ，Ｂ，Ｃ，Ｄの４つに分け、夫々の部分の分割条件を求める。図５の（ａ）は状態遷移行列を表わし、同図の（ｂ）は状態遷移行列の一部を表わす遷移図である。以下の説明で、（＊）が付された表現は分割後の表現を表わしている。
〔Ａ〕 部分Ａは分割によって変化しない。
〔Ｂ〕 ｉ＝１，．．，Ｎに対し、ｐi ・ｔij＝ｐj
ｉ＝ｋ１，ｋ２に対し、
ｐi ・ｔij＋ｐk1・ｔk1j ＋ｐk2・ｔk2j ＝ｐj （＊）
これにより、
ｐk ・ｔkj＝ｐk1・ｔk1j ＋ｐk2・ｔk2j
が得られ、更に、列方向の確率の和が１の条件から
ｐk ＝ｐk1＋ｐk2
である。従って、
ｔkj＝ｔk1j ＝ｔk2j
である。
〔Ｃ〕 ｊに対し、ｔij＝１
ｊ＝ｋ１，ｋ２に対し、ｔij＋ｔik1 ＋ｔik2 ＝１ （＊）
これより、
ｔik1 ＋ｔik2 ＝ｔik
ここで、状態確率ベクトルによる当てはめからｐk1／ｐk2は求まっているので、ｐk1／ｐk2＝ｃ
として、
ｔik1 ＝ｔik・ｐk1／（ｐk1＋ｐk2）＝ｔik・１／（１＋ｃ）
ｔik2 ＝ｔik−ｔik1 ＝ｔik・ｃ／（１＋ｃ）
である。
【００４７】
〔Ｄ〕 分割によって生成された新しい状態間で生じ得る遷移を含めて遷移形式は図５の（ｂ）に記載されている。この遷移を定める条件は、
− 分割された状態以外の状態確率には何ら影響を与えないこと、
− 分割で生じた状態を併合したときの状態と、その間の遷移とに影響を与えることなく、元の遷移過程に戻ることとからなる。２番目の条件は、〔Ｂ〕，〔Ｃ〕の条件から自動的に満たされる。１番目の条件は
ｔk1k1＝ｔk2k2＝ｔkk， ｔk1k2＝ｔk2k1＝０
によって満たされる。
【００４８】
（５）分割対象として選ばれた状態について、上記（１）乃至（４）の段階を繰り返し適用することにより、２n ×２n に拡大された行列が得られる。
（６）このようにして生成された２n ×２n 行列が論理推論の実行条件を満たしている場合、この遷移行列を、求められた記号処理系の中の集合ｄと、論理式とで表わすことが可能になる。２n ×２n 行列は、元の行列Ｎ×Ｎ行列と等価であるため、かかる自動コーダは非記号情報を記号化したことになる。
【００４９】
次に、記号表現の限界及び曖昧性について説明する。論理推論は特別な確率過程であることを考慮して、記号表現の表現力の限界及び曖昧性を評価することが可能である。
遷移行列は確率過程の全挙動を決定する。遷移行列がたとえ僅かでも変化することにより、過程は、長い過程のシーケンスの後、完全に別の状態確率に達する。行列の各要素は確率過程の条件の範囲内であらゆる値を取ることが可能である。かくして、確率過程はＮ×Ｎの遷移行列によって画成された空間を非常に密に覆う。これに対し、行列には、遷移行列が論理推論を表わすために行列内のあるキー要素はゼロでなければならないような構造的な拘束がある。それ以外の要素は、確率過程の条件を侵さない限り如何なる値でも取ることができる。かくして、論理推論の遷移行列は任意の遷移行列の部分集合であるので、論理推論は確率過程の一部である。従って、確率過程は、
第１のタイプの論理式：（∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕 を表わす第１のクラスと；
第２のタイプの論理式：（∃ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕 を表わす第２のクラスと；
論理式が対応しないそれ以外の過程のための第３のクラスとからなる３つのクラスに分割される。
【００５０】
確率過程の条件を侵さない限り、あらゆる値が通常の確率過程に遷移確率として現れ、その過程によって表わされるべき実際の現象が存在し得る。しかし、上記過程が論理推論を表わすため遷移行列に課された条件を侵す場合、その過程を記号処理として記述し得ない。例えば、以下に示すように、かかる遷移行列に対し、非ゼロの確率が過程中に存在するならば、その過程は論理的な遷移ではあり得ない。
【００５１】
（＊，＊，−−，ｕi ＝１，＊，−−，＊）F
→（＊，＊，−−，ｕi ＝０，＊，−−，＊）G
上記現象を記号形式で記述するために、ある種の付加的な表現が必要になる。このことは、述語論理があらゆる可能な場合の中の一部分だけを簡単な形式で記述する系であるという事実から結論付けられる。それ以外の場合についても記述する必要があるならば、より多くの記述を付け加えなければならない。このような記述の付加部分を正確に理解することは、時にはかなり困難である場合があり、簡単な記号表現を用いることによって理解の容易さが犠牲にされた。確率過程には、更に大きい表現力があるが、通常その表現を使用することは都合良くない。
【００５２】
非常に多数の別々の処理が同一のクラスに含まれ、かつ、同一の論理表現で表わされることは、論理表現が枠組みとして定義され、かつ、枠組み内の変化は考慮されていないということを意味する。このような論理表現は、事象を表わす非常に粗い曖昧な方法であり、対象に存在する小さい差異を識別することができない。
【００５３】
図２に示したような論理推論の行列表現は、厳密な確率分布を※に与えることによって状況をより厳密に表わすことができる。論理推論を記号言語によって表現したい場合には、更に多数の語が必要である。このようにして作成された表現の一例は、「もし、Ｆが真ならば、ｄの中の全ての対象に対しＧは真であり、Ｇ（ａ）は他の対象よりも頻繁に生じる」である。この文の前半は、
（∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
を表わし、後半は、上記枠組み内の対象の一様でない生起の可能性に関しコメントを加える。確率分布を決定するための情報が全く存在しないならば、各行に一様な分布を仮定する必要がある。このような一様な分布は、情報の損失を何ら伴うことなく記号形式で表現される。上記情報の損失を定量的に測定するための方法を定義することが可能である。例えば、情報エントロピーが使用される。
【００５４】
記号化表現の表現力は遷移過程の表現に比べて低く、多数の遷移行列の表現を一括して一つの論理表現で置き換えることになる。この結果、記号表現には曖昧性が含まれる。現象に対し、より忠実な表現を行なうには標準形の記号表現にそれからの変化分を加えた形式の表現が必要になる。この補充部分は曖昧性表現の一種である。補充部分は記号による表現が困難であるために必要になるので、補充部分を記号で表現する努力は現実的ではなく、記号に代わる表現方式が必要である。このような曖昧性の表現には、（１）曖昧度が容易に判断できること、（２）データの取得によって曖昧性は変化する（一般には減少する）が、この曖昧性の変化は標準形からの変化分の修正として求められること、（３）そのような曖昧性処理ができるだけ簡単な方式でできることが要求される。
【００５５】
論理記述の曖昧性は推論処理によって変化する場合がある。即ち、曖昧性にはデータの曖昧性と、推論規則に含まれる曖昧性とがある。推論規則に含まれる曖昧性は、推論処理を行なう度に、結果として得られる記号表現の曖昧性を変化させる。これは推論処理の不確実性であり、この不確実性の程度は推論規則に与えられる曖昧性で表わされる。以下、推論規則を用いて結論を導出する機構自体は、曖昧性がない場合を想定する。
【００５６】
先ず、データ／事実表現の曖昧性について考える。事実を表現する述語
（∀ｘ／ｄ）Ｆ（ｘ）
に含まれる曖昧性は、集合ｄ内の各要素ａi について、性質Ｆに関する述語Ｆ（ａi ）の正当性確率ｑi から作られる確率ベクトルＱ＝（ｑ1 ，ｑ2 ，−−−，ｑn ）で与えられる。上記自動コーディングの過程で作られた確率ベクトルＱは、この意味での事実表現の曖昧性である。曖昧性を含めた記号による事実表現は、確率ベクトルＱを用いて、
〔（∀ｘ／ｄ）Ｆ（ｘ），Ｑ〕
と表わされる。
【００５７】
一方、推論規則に含まれる曖昧性を次に説明する。推論規則Ｆ→Ｇに含まれる曖昧性を、「前提が曖昧性のない（論理的に真な）表現であるとき、結論に現れる曖昧性」と定義する。以下、遷移過程の記号化に伴って生じる推論規則の曖昧性について説明する。
【００５８】
２n ×２n の一般遷移行列がある場合を考える。上記の如く、述語Ｆに関する集合ｄ＝｛ａ1 ，ａ2 ，−−−，ａn ｝の各要素に対するＦ（ａi ）の真偽に応じて１又は０を取る変数ｕi の組み合わせで個々の状態ｓk ＝（ｕ1 ，ｕ2 ，−−−，ｕn ）F が定義され、個々の状態ｓk を要素とする状態ベクトルＳF ＝（ｓ1 ，ｓ2 ，−−−，ｓN ）F が作られる。個々の状態には夫々の生起確率ｐi が対応し、その結果、状態確率ベクトルｐF ＝（ｐ1 ，ｐ2 ，−−−，ｐN ）F が作られる。この状態ベクトルが遷移過程の入力に与えられる。
【００５９】
自動コーダ３０は、一般遷移過程の入力である状態確率分布に近似的に等価な状態確率ベクトルを生成するように、集合ｄ＝｛ａ1 ，ａ2 ，−−−，ａn ｝の各要素毎にＦ（ａi ）が真である確率ｑi を求める。これをＱ＝（ｑ1 ，ｑ2 ，−−−，ｑn ）とする。これにより、一般遷移過程の入力に対応する記号表現の確率分布Ｐが与えられるので、曖昧性を含む入力の記号的表現が：
〔（∀ｘ／ｄ）Ｆ（ｘ），Ｑ〕
で表わされる。
【００６０】
次に、集合ｄ＝｛ａ1 ，ａ2 ，−−−，ａn ｝のある要素ａi について、Ｆ（ａi ）が真である確率が１であるとする。他の要素についてのＦの真偽は不問としたとき、状態確率ベクトルを作成する。このベクトル内において、状態ベクトルＳF ＝（ｓ1 ，ｓ2 ，−−−，ｓN ）F の中のＮ個の状態状態ｓk ＝（ｕ1 ，ｕ2 ，−−−，ｕn ）F のｕi が１である状態の確率は非ゼロであり、それ以外の状態の確率は０である。特に根拠がない限り、非ゼロの状態の確率は等しくする。
【００６１】
例えば、ｄ＝｛ａ1 ，ａ2 ，ａ3 ｝とし、ａ3 についてＦ（ａ3 ）が真、即ち、ｕ3 ＝１とする。この時、
ＳF ＝（ s000, s001, s010, s011, s100, s101, s110, s111 ）F
が得られる。ＳF 内の各状態の２進数のサフィックスの中で、３番目のサフィックスが１である状態に対応する確率が非ゼロの等確率とし、それ以外は０とする。従って、状態確率ベクトルｐF は、
ｐF ＝（０，１／４，０， １／４， ０， １／４， ０， １／４）
と表わされる。これを遷移行列に適用する。適用の結果として得られる状態確率ベクトルＲG は、
ＲG ＝（ r000, r001, r010, r011, r100, r101, r110, r111 ）
のように表わされる。状態確率ベクトルＲG の中から、集合ｄのｉ番目の要素に関する述語Ｇ（ａi ）が真の時の状態に対応する諸項を取り出す。これは、ｐF の非ゼロの要素に対応する。非ゼロの要素の和は、ａi について、他の要素の真偽は不問としたとき、「Ｇ（ａi ）が真の確率」を与える。上記例において、Ｇ（ａi ）が真の確率は、
r001＋r011＋r101＋r111
である。全てのａi について上記真の確率を求めることにより、集合ｄの各要素に関して、述語Ｇ（ａi ）が真である確率分布（確率ベクトル）が得られる。
【００６２】
以下、この確率ベクトルと遷移行列の構造との関係を明らかにする。
（１）論理的推論過程に等価な遷移行列の場合：遷移行列が論理的推論過程に等価な場合、上記ＲG の各要素のうち、入力側のベクトルｐF のゼロ項に対応する項はゼロになる。従って、出力の確率ベクトル中、入力側の非ゼロ要素に対応する項の和は１となり、論理入力「Ｆ（ａi ）；真」に対して確率１で論理出力「Ｇ（ａi ）が真」が得られる。
【００６３】
次いで、上記関係が得られることを証明する。ＲG のｋ番目の要素は、入力ベクトルと遷移行列のｋ列のベクトル積によって求まる。この要素は、状態表現でサフィックスのｉ番目のｕi が０である状態の確率、即ち、Ｇ（ａi ）が偽となる確率であるとする。入力ベクトルのｍ番目の要素は非ゼロ項であり、これに対応する遷移行列のｋ列の交点には遷移確率ｔmkが置かれるが、これは、ｉ番目のＦ（ａi ）が真であり、かつ、Ｇ（ａi ）が偽になる確率を表わしている。遷移行列が論理推論を表わすための条件において、遷移確率ｔmkは０でなければならない。入力ベクトルのこの他の項はゼロ項であるから、結局、ＲG のｋ番目の要素を決めるために入力ベクトルの要素と遷移行列の要素との要素同志の積を作る際、必ずどちらかの要素が０となり、ベクトル積が０になる。ＲG 内の確率の和は１であるから、結局Ｇ（ａi ）が真になる確率は１となる。
【００６４】
上記例と同様に、ｄ＝｛ａ1 ，ａ2 ，ａ3 ｝であり、ａ3 についてＦ（ａ3 ）が真、即ち、ｕ3 ＝１の場合について説明する。遷移行列として２3 ×２3 行列が確率ベクトルｐF ＝（０，１／４，０，１／４，０，１／４，０，１／４）に乗じられる。
【００６５】
【外１】
【００６６】
ｒ1 は、ｐF （＝1/4 (0,1,0,1,0,1,0,1) ）と行列の第１列（＝* 0 0 0 0 0 0 0 ）の積で０になる。ｒ3 、ｒ5 、ｒ7 についても同様である。一方、ｐF の１の項、例えば、＃の付けられた第２項は、行列の各列とのベクトル積を作る際、行列の同じく＃の付けられた行内の要素との積を作るので、遷移行列の＃の付けられた行の要素をそっくりそのまま（但し、係数１／４で）ＲG に持ち込まれる。即ち、ＲG ＝(r1,r2,r3,r4,r5,r6,r7,r8) ＝(0,r2,0,r4,0,r6,0,r8) である。非ゼロの部分との積は、ｒ2 、ｒ4 、ｒ6 、ｒ8 に含まれるが、行列の横方向の和は１であるから、ｒ2 、ｒ4 、ｒ6 、ｒ8 の和のうち、ｐF の＃の付けられた第２項によって作られた部分は、係数１／４が乗じられたものである。＃の付けられた第２項以外の１の項についても同様であるが、ｐF の１の項の数は４個であるので、全体として４倍されて１になる。一般論として、係数はｐF の１の項の個数の逆数であるから、ｒ2 、ｒ4 、ｒ6 、ｒ8 の和の結果は常に１である。即ち、Ｇ（ａi ）が真となる確率は１であり、これが、上記の如く、遷移行列によって論理推論と等価な結果を得る条件である。
【００６７】
（２）一方、一般遷移過程の場合、即ち、遷移行列が一般の遷移行列である場合には、入力ベクトルの非ゼロ項と、これに対応する遷移行列のｋ列の交点に置かれる遷移確率ｔmkは一般には０ではない。従って、Ｇ（ａi ）が偽に対応するＲG の要素はゼロにはならない。上記例の場合、ｒ1 、ｒ3 、ｒ5 、ｒ7 は非ゼロの値を持ち、その非ゼロの値に対応する分だけ、ｒ2 、ｒ4 、ｒ6 、ｒ8 の和の結果が減少する。即ち、前提Ｆ（ａi ）が真であっても、推論によって得られた述語Ｇ（ａi ）が真である確率は１よりも小さい。これが、推論の不確実性或いは曖昧性である。不確実性或いは曖昧性の程度が少ない場合、即ち、上記ｔmkが非ゼロであっても、その値が小さく、Ｇ（ａi ）が真なる確率が１に近い場合には、近似的な扱いとして、推論規則が適用される。この際、推論と平行して、結果が真になる確率の評価が欠かさずに行なわれる。
【００６８】
上記の説明において、述語Ｇ（ａi ）が真である確率は、前提Ｆ（ａi ）が真である確率を１として求められているので、この値に入力Ｆ（ａi ）が真である確率を乗ずることにより、推論によって得られた述語Ｇ（ａi ）の実際の確率が求められる。
【００６９】
本発明の一実施例によれば、自動コーダは上記解析機能を備えているので、論理表現と確率分布の対によって、遷移過程に対応する論理推論が表わされる。論理表現による通常の論理推論と同時に、入力の確率分布と、論理推論に伴う曖昧度を表わす確率分布とから、推論結果の確からしさを評価する計算が行なわれる。即ち、記号処理的な論理推論を行なうと共に、入力の確率分布と推論規則に対する確率ベクトルの要素毎に積を取り、その結果を要素とするベクトルを結果の確率ベクトルとする。入力（前提又は質問）は、集合ｄに関する述語Ｆを用いて（∀ｘ／ｄ）Ｆ（ｘ）として表わされ、ｄの要素毎の上記述語の確からしさをＱ＝（ｑ1 ，ｑ2 ，−−−，ｑn ）とする。即ち、入力は、対：
〔（∀ｘ／ｄ）Ｆ（ｘ），Ｑ〕
である。 一方、推論規則は、集合ｄに関する論理推論規則：
（∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕 と、推論の確からしさを表わす確率分布：Ｒとして表わされている。かくして、結論は、（∀ｘ／ｄ）Ｇ（ｘ）と、Ｑ及びＲのある関数Ｓとで表された確率分布の組：
〔（∀ｘ／ｄ）Ｇ（ｘ），Ｓ〕 として入力と同じ形式で表わされる。上記Ｓは、Ｑ及びＲが夫々
Ｑ＝（ｑ1 ，ｑ2 ，−−，ｑn ）及びＲ＝（ｒ1 ，ｒ2 ，−−，ｒn ）
であるとすると、
Ｓ＝（ｑ1 ｒ1 ，ｑ2 ｒ2 ，−−，ｑn ｒn ）
によって与えられる。
【００７０】
尚、上記説明において、入力変数の変域と、推論規則に含まれる変域は、共にｄであるとしたが、一般には双方の変域は異なる。双方の変域が異なる場合には、記号推論規則において結果の変域を定めることができる。
上記説明のように、本発明によれば、確率評価を行いながら推論を進めることにより、結果の確率分布の中で要素の確率が所定のレベル以下になった場合、その結果を結論から除去する等のより肌理の細かい推論が可能になる。更に、探索的な推論に際し、最終結論に到達する前にすべての要素について確率が小さくなったら推論経路を停止する等の推論の制御が可能になる。
【００７１】
記号処理と非記号処理を融合する本発明のシステムは、知識の精錬と知識の発見を含む種々の方法に使用することが可能である。
遷移行列が学習によって静的な行列に接近し、所定の条件を侵害する要素を除いて論理推論規則を表わす行列に類似する場合を考える。例えば、遷移行列内のｔklは、キー要素であるにも関わらず非ゼロである。このような場合、集合ｄの中のある要素を削除することが可能である。このようにして生成された新しい集合ｄ’に対し、遷移行列が必要条件を正確に満たすならば、集合ｄの代わりに集合ｄ’を用いて新しい論理推論規則を作成することが可能である。これは、知識の精錬である。或いは、新しい要素を集合ｄに追加、又は、２つの集合を１つに併合することも可能である。本発明によれば、記号表現に基づいて全てのことを行なうよりも容易に、学習によって知識表現を再構成する機会が得られる。知識の精錬には、学習系よりも高いレベルの系が必要である。
【００７２】
上記本発明の一実施例の機構を知識の発見に用いることができる。幾つかの観測値間にある因果関係を有する現象が観察されたとする。クラスタリング等の手法で観測値を表わす幾つかの状態表示を求め、状態遷移によってこの因果関係を表わす枠組みを作る。観測を通して、入力及び入出力関係遷移を学習し、定常に近い遷移過程を得たとき、自動コーダによって記号化を図り、入力、出力に適切な名前（述語）を与える。この述語は同様の概念が既に存在し、記号表現層の知識ベースで使用されている場合には、その述語を用いるのが好ましい。これにより、発見された知識を既存の知識と共に利用し得るようになる。もし、かかる遷移行列が完全に論理推論型ではなくても、集合内の全要素についてＧ（ａi ）が真となる確率が例えば０．７以上であるとき、この記号表現を原知識として知識ベースに登録する。一度知識化された知識は、後に、種々の方法で精錬することが可能である。従って、知識ベースへの登録は、観察からの知識発見のための重要なステップである。
【００７３】
非記号処理系によって記号情報を処理する方法を開示した。厳密に言うと、上記説明における記号処理は、定義されたような記号処理ではない。形式的な記号処理とは、実際の対象の代表として記号名を対象（実体又は現象）に与え、その後、それ以上細部に注意を払うことなくその名前によって全ての処理を行なうことである。そのため、対象を処理するため必要な全ての知識を記号言語で表現する必要がある。
【００７４】
しかし、本発明において意図していることは、最初に、上記記号表現及び処理によって得られた簡単さの代償として情報が失われ、失われた情報の一部は、屡々、現実の世界で重要な役割を果たしているという事実を明らかにすることである。実際の対象は、屡々、非常に複雑であり、かつ、実際の対象を厳密に表現することは困難であるので、記号言語の使用、即ち、情報の範囲を記号言語によって記述された世界に限定することは避けられない。人間は、言語では厳密に記述し得ない概念を明らかにし、それらを直観、感情等の如く呼ぶ。しかし、これらの概念は、それらを研究するための科学的な方法が足りないため、科学の対象外に取り残されたままである。既存の科学的領域は殆どの場合、記号的な知識に基づいて発展している。
【００７５】
コンピュータにおいて広い範囲の情報処理を行なうためには、以下の多数の新しい問題：
（１）非記号処理機構で記号を発生する方法
（２）非記号処理アルゴリズムによって記号処理を実現する方法
（３）記号処理を実現するため必須であると考えられる非記号処理機構の種々の層を定義する方法
（４）統合システムを使用する方法
を解決する必要がある。上記説明の如く、本発明は、主として、上記の（２）非記号処理アルゴリズムによって記号処理を実現する方法を提案した。本発明の開示によって残りの問題に対するある程度の洞察が行なわれているが、更なる研究が必要である。
【００７６】
【発明の効果】
本発明によれば、非記号情報処理を記号処理と融合する方法が得られる。非記号情報処理を既存の記号知識処理と組み合わせることにより、多数の研究領域において、研究の範囲が拡大することが期待される。更に、本発明の開示によって、上記研究の鍵が明らかにされる。勿論、このような研究は、非常に困難な仕事ではあり、ここに開示された内容はその第１段階に過ぎない。しかしながら、本発明は更に進展し、情報処理の新しいパラダイムになり得ると考えられる。
【００７７】
本発明によれば、簡単な記号処理が実現可能になり、記号の集合が定義された後、句及び文のような記号表現のより複雑な構造がプリミティブな記号の組合せとして定義される。これは、非記号処理の結果が記号処理部によって容易に受け入れられることを意味する。かかる機構によって、記号処理だけに基づいて得られた知能から、別のタイプの知能が得られると期待される。例えば、時折経験される直観及び突然の閃きは、得られた結論に至った経緯又は理由を言葉で説明できない上記種類の知能である。それにも関わらず、上記の種類の活動によって屡々非常に新しいアイデアが得られることが分かっている。このような感情的な情報は、殆どの場合、非記号処理部で創られる。従って、本発明によれば、感情的な情報は、芸術的な情報を発生するため記号処理部に受け入れられる。例えば、非記号処理部で創造された音楽的な概念を記号処理部で受け入れ、音楽理論に基づいて音譜として形式化することが可能になる。或いは、センサによって観察された連続データの記号表現への変換処理であると考えられるデータ中の知識の発見を実現することが可能になる。
【００７８】
本発明の情報システムは、連続的な信号を論理と融合する必要があるロボティクスに適用することが可能である。
【図面の簡単な説明】
【図１】認知の世界、情報の世界及び物理的世界の間の関係を示す図である。
【図２】本発明による論理推論のための遷移行列の説明図である。
【図３】本発明による遷移の過程及び学習を表わすニューラルネットワークの構成図である。
【図４】本発明の一実施例による情報処理システムの構成図である。
【図５】本発明の一実施例による状態の分割の説明図である。
【符号の説明】
１ 記号処理層
２ 非記号処理層
１０ 記号処理プロセッサ
１２ 知識ベース
２０ 非記号処理プロセッサ
３０ 自動コーダ
３２ 自動デコーダ
【発明の属する技術分野】
本発明は、記号処理及び非記号処理のための情報処理システムに係り、特に、記号的処理を可能にする非記号処理装置、記号処理と非記号処理とを接続する自動コーダとに関する。
【０００２】
【従来の技術】
人間は、人間の認知的活動を表現する媒体として情報を生成、使用している。技術の進歩と共に、上記情報の一部を扱う機械が開発された。上記機械によって処理される情報の範囲は、コンピュータの開発によって著しく拡張された。しかし、現在のコンピュータの原理は、非常に単純であり、かつ、情報の範囲は、上記機械に適するよう形式化できる部分に限定されたままである。図１には、人間の知能、情報及びコンピュータの間の関係が示されている。「認知の世界」は、会話、思考、創造、理解、判断等の人間の知的活動の範囲を表わしている。「情報の世界」は、目に見えない人間の心の活動を明示的に表わすための媒体を含んでいる。「情報の世界」は、更に、思考方法、学習方法等の形式化された種々の知的活動の方法の言語による表現を含んでいる。上記方法は、表現された後、ある人から他の人に伝達される。情報の世界の範囲は、概念を表わすため使用できる言語に非常に依存している。コンピュータは、「物理的世界」の構成要素である。コンピュータはある種の情報を処理し得る。上記の世界の間の関係において、情報の世界は心の世界の全体をカバーし得ないが、言語によって明示的に表わし得ない活動が存在することに注意する必要がある。このように言語によって明示的に表わされない活動が実際の世界の人間の活動に重要な役割を果たしていることが知られている。
【０００３】
コンピュータに与えられた言語の表現力は制限されているので、物理的世界は、情報の世界の中の僅少な一部しかカバーできない。人間の言葉で表現することができても、コンピュータ言語で表現できない多数の重要な人間の認知的活動が存在する。従来、認知の世界をカバーするよう情報の世界を拡張するため、種々の科学分野において多数の研究が行われている。認知の世界を明らかにし、情報の世界をできるだけ拡張することによって認知の世界をカバーし、同時にコンピュータ処理の範囲を拡張するため、人工知能の分野において多大な努力がなされている。伝統的な認知学は認知の世界を明らかにする際に重要な役割を果たしている。
【０００４】
従来のコンピュータは記号情報だけを処理するように設計されている。コンピュータの情報処理の範囲は、人間の情報処理よりも遙かに狭く、下限の簡単な論理レベルから上限の手続き的表現による処理形態のプログラムレベルまでに制限されている。従って、人間の創造的活動である仮説の生成及び検証のような高いレベルの処理をコンピュータの情報処理で行うことは困難である。更に、低いレベルでは、パターン認識及び直観的な判断のような非記号処理を含む活動を表現するのには都合が良くない。従って、情報処理の範囲を上のレベル及び下のレベルに拡張する研究が必要である。情報処理の範囲を上のレベルに拡張する方法は、大須賀；知識ベースシステムの設計方法(A Way of Designing Knowledge Based Systems)、知識ベースシステム、第６巻、第１号、１９９５年に記載されている。
【０００５】
人間の場合、ニューラルネットワークは、連続的な情報を処理する最も下位のレベルの情報処理コンポーネントである。ニューラルネットワークは非常に簡単な規則に基づいているが、より複雑なプロセッサを実現するため多重レベルのネットワーク構造が構成されると考えられる。上記構造内のあるレベルにおいて、信号が量子化され、記号操作はそのレベル上で実現される。人間は初期には文字を持たなかったが、最初の記号は音素であるに違いない。しかし、如何なる記号であろうとも、その記号の処理が処理機構の多重レベル構造の中のあるレベルに現れることに注意することが重要である。上記多重レベル構造内で、記号処理と非記号処理を融合することが可能である。これにより、人間は非常に広い範囲の情報処理を処理し得るようになる。
【０００６】
上記構造は進化によって発生し、かつ、進化は非常に単純な生物学的規則に基づいているので、概念の突然の変化は上記進化によって起こる可能性が少ないと考えることが自然である。しかしながら、記号的な情報と非記号的な情報の間には概念上のギャップが存在する。このような概念上のギャップは、単純な進化の過程によって克服し得ない可能性があり、記号的な情報と非記号的な情報を接続するため中間ステップが必要である。
【０００７】
従来、例えば、エキスパートシステムのような既存の記号処理と、例えば、ニューラルネットワークのような既存の非記号処理とを結び付ける努力は行なわれている。
【０００８】
【発明が解決しようとする課題】
しかし、現在のコンピュータにおいて、記号処理のアルゴリズムは、非記号処理のアルゴリズムとは実質的に別々に定義される。記号処理のアルゴリズムと非記号処理のアルゴリズムの相違は、従来、記号的な情報と非記号的な情報の間の概念上のギャップに起因して、記号的な情報処理と非記号的な情報処理への技術的なアプローチの相違から生じた。記号的な情報と非記号的な情報を接続する新しい概念が存在するならば、記号的な情報と非記号的な情報の両方を処理し得るコンピュータの開発が可能である。
【０００９】
従って、本発明は、情報処理の範囲を下方のレベルに拡張すべく、非記号処理と同一のアルゴリズムによって記号処理が行われ、これにより、記号処理と非記号処理の両方に同一の機構を使用し得る中間段の提供を目的とする。
更に、本発明は、記号処理及び非記号処理を行なう情報処理システムの提供を目的とする。
【００１０】
更に、本発明は、記号処理と非記号処理とを接続し、非記号処理系から記号処理系が自動的に生成される自動コーダの提供を目的とする。
【００１１】
【課題を解決するための手段】
かかる本発明の情報処理は、最初から記号情報を使用し処理するよう設計された従来のコンピュータの情報処理とは相違している。上記非記号的な情報処理は、現在のコンピュータの記号操作機構で実行する必要がある。しかし、その非記号的な情報処理は必ずしも成功する訳ではない。有利な結果を生成するため記号処理と非記号処理を統合することが望まれる。
【００１２】
本発明の記号的処理を可能にする非記号処理装置は、推論前の情報に対応する入力確率ベクトルを作成する入力手段と；推論の結果に対応する出力確率分布を作成するよう上記確率ベクトルに乗算されるべき確率過程の遷移行列を作成する行列作成手段と；上記遷移行列を上記確率ベクトルに乗算する演算手段とからなる。
【００１３】
上記入力確率ベクトルの各要素は、処理対象の系の各状態に割り当てられ；上記遷移行列の各要素は、上記系のある状態から次の状態への遷移確率を表わすよう定められ；上記確率過程の確率分布は、上記確率過程の直前の確率分布に上記遷移行列を乗算することにより得られる。
【００１４】
本発明によれば、記号処理の基本としての論理推論は、非記号処理の特別の場合であり、非記号処理アルゴリズムは、論理推論アルゴリズムよりも広い領域をカバーする。従って、論理推論と非記号処理の間で、処理機構の基本部分に相違はない。
【００１５】
本発明の情報処理システムは、非記号処理層と、記号処理層と、上記非記号処理層と上記記号処理層の間の自動変換系とからなり；上記記号処理層は、記号処理を受け持つ専用のサブシステムである記号処理プロセッサを有し、上記非記号処理層は、論理処理系の条件を満たし、非記号処理を受け持つ専用のサブシステムである非記号処理プロセッサを有し、上記自動変換系は、上記記号処理層と非記号処理層の間に接続され、非記号情報から記号情報を生成する自動コーダと、記号情報から非記号情報を生成する自動デコーダとを有する。上記自動コーダは、集合に基づいて作られる上記記号処理層の述語の組み合わせ確率が、上記非記号処理層の状態確率に一定の誤差範囲で近似的に等しくなるよう、上記記号の集合及びその集合の各要素に関する述語記述に与えられる確率を見いだす。
【００１６】
更に、上記記号処理層には上記自動コーダによって遷移過程から記号化された述語を格納する知識ベースが設けられ、上記記号処理プロセッサは、上記非記号処理プロセッサによって推論された真のデータから生成された遷移行列を用いて、上記知識ベースに格納された既存の知識を精錬する。
【００１７】
更に、本発明の非記号処理層と記号処理層とからなる情報処理システムにおける自動コーダは、上記記号処理層と非記号処理層の間に接続され、記号の集合に基づいて作られる上記記号処理層の述語の組み合わせ確率が、上記非記号処理層の状態確率に一定の誤差範囲で近似的に等しくなるよう、上記記号の集合及び上記集合の各要素に関する述語記述に与えられる確率を見いだすことにより、非記号情報から記号情報を生成する。
【００１８】
【発明の実施の形態】
１．情報の範囲
コンピュータの情報処理で扱い得る情報の範囲はそこで使用される言語に依存する。情報の世界を拡張するため、言語の表現能力を拡張することが必要である。コンピュータ言語は非常に制限的であるため、コンピュータの情報の世界は小さい。人間の情報の世界は、コンピュータの情報の世界よりもかなり広いが、記号的な言語の使用による制限を受ける。そこで、以下の説明では、記号的な言語の限界を解析することにより、記号処理と非記号処理を融合する方法を提案する。本発明の一実施例による融合方法は、二つの独立したシステムを単に組み合わせるだけではなく、同一システム内の同一アルゴリズムによって記号情報及び非記号情報を処理する。
【００１９】
２．論理推論と確率過程の類似性
述語論理は全ての記号的な言語の基礎である。典型的な述語は１階論理（ＦＯＬ）である。
論理推論と確率過程の類似性について考察する主な目的は、非記号的な処理アルゴリズムによって論理推論を表現することである。論理的な演繹と確率過程との間には密接な関係があることが知られている（S. Watanabe; Knowing and Guessing - A Formal and Quantitative Study, John-Wiley, 1969 を参照のこと ）。この関係に注意して、確率過程の表現を記号と非記号処理の間の中間物として使用する。
【００２０】
２．１ 論理推論
論理推論を多類論理（ＭＳＬ）で表現する方法を説明する。簡単な推論は：
（Ｆ，Ｆ→Ｇ）／Ｇ
のように表わされる。この式の意味は、Ｇが述語Ｆと述語Ｆ→Ｇから推論されるということである。Ｆ及びＧの両方は、任意の数の項を含み得るが、以下では、簡単化のため単項の述語、即ち、ｘが変数を表わすときのＦ（ｘ）及びＧ（ｘ）に関し説明する。通常の１階論理において、論理の全称は変数ｘのドメインである。しかし、本発明の一実施例によれば、多類論理（ＭＳＬ）が使用される。１階論理と多類論理の相違点は、Ｄ（ｘ）が変数ｘの類を定める述語を表わし、ｄがＤ（ｘ）（内包）によって表わされた全称内の集合（外延）を表わすとき、通常の論理の表現：
（Ｑｘ）〔Ｄ（ｘ）→Ｆ（ｘ）〕
は、多類論理において：
（Ｑｘ／ｄ）Ｆ（ｘ）
のように表わすことができる点である。冠頭部のＱは、限量子を示し、∀（全称限量子）又は∃（存在限量子）のいずれかを表わす。例えば、Ｍａｎ（ｘ）がｘの「人間らしさ」の特徴を表わし、ｍａｎがこの特徴を有する実体の集合であるとき、通常の１階論理：
（∀ｘ）〔Ｍａｎ（ｘ）→Ｍｏｒｔａｌ（ｘ）〕
は、多類論理において：
（∀ｘ／ｍａｎ）Ｍｏｒｔａｌ（ｘ）
で表わされる。通常の１階論理の場合、表現：
（∃ｘ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
は、Ｆ（ｅ）を満たさない少なくとも一つの実体ｅが全称内に存在するならば、この表現は真であることを意味する。殆どの重要な問題において、全称は非常に広く、その中の幾つかはＦ（ｅ）を満たさない種々の実体を含むので、上記表現は、殆ど意味がないか、或いは、非常に僅かな情報しか伝達しない。これに対し、たとえ全称が非常に広くても、ドメイン集合ｄを小さくすることができるので、対応する多類論理の表現：
（∃ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
は、ある程度の情報を伝達する。「Ｆ（ｘ）を満足しない要素はｄ内に存在しない」、又は、等価的に、「ｄ内の全要素はＦ（ｘ）を満足する」の情報には意味がある。この例の場合、（∃ｘ／ｄ）Ｇ（ｘ）が推論される。殆どの実際の応用において、全称内の実体の有限集合が対象であると考えられるので、以下では多類論理の場合を想定する。
【００２１】
上記論理的推論は：
（Ｑｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
を用いて所定の表現：
（Ｑ’ｘ／ｄ）Ｆ（ｘ）
を
（Ｑ”ｘ／ｄ）Ｇ（ｘ）
に変換する規則として解釈される。Ｑ’及びＱ”の両方は限量子であり、Ｑ”は、上記引用文献に記載されているように、以下の如く、ＱとＱ’の関係：
（ａ）Ｑ：∀ 及び Ｑ’：∀ ならば、 Ｑ”：∀
（ｂ）Ｑ：∀ 及び Ｑ’：∃ ならば、 Ｑ”：∃
（ｃ）Ｑ：∃ 及び Ｑ’：∀ ならば、 Ｑ”：∃
（ｄ）Ｑ：∃ 及び Ｑ’：∃ ならば、 Ｑ”に関して何もわからない
によって決められる。
【００２２】
上記慣例を用いて、かつ、推論を変換器として示すため、
（Ｑｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
をＩFGのように表わすことにより、演繹的な推論は：
Ｇ＝Ｆ・ＩFG
のように表わすことができる。従って、演繹的な推論は、ＧがＩFGによるＦの変換として得られたことを意味する。
【００２３】
２．２ 確率過程
確率過程は変数の確率分布の変化の過程を表わす。Ｐが状態の生起確率分布を表わす行ベクトルである場合に、Ｎ−状態の機械について説明する。確率過程は、以下の式：
ＰM+1 ＝（ｐ1 ，ｐ2 ，．．．，ｐN ）M+1
＝（ｐ1 ，ｐ2 ，．．．，ｐN ）M ・Ｔ＝ＰM ・Ｔ
で表わされ、式中、Ｔは、Ｎ×Ｎの遷移行列Ｔ＝〔ｔij〕を示している。要素ｔijは、状態ｉから状態ｊへの遷移確率を示している。上記式は、過程の（Ｍ＋１）番目のステップの状態の確率分布が、遷移行列をＭ番目のステップの確率分布に乗算することにより得られることを意味する。遷移行列は上記過程の全挙動を決定する。
【００２４】
２．３ 論理推論の確率過程としての解釈
推論過程と確率過程の間には類似性がある。ｄ＝｛ａ1 ，ａ2 ，−−，ａn ｝が変数ｘのドメインであるとし、以下のように、Ｆ及びｄに関してシステムの状態Ｓを定める。知識のあらゆる場面で、状態Ｆ（ａi ）（ｉ＝１，２，−−，ｎ）は、真又は偽のいずれかである。ベクトル（ｕ1 ，ｕ2 ，−−，ｕn ）F は、Ｆ（ａi ）が真又は偽の何れであるかに対応してｕi が１又は０であるＦに対する状態ｓk である。添字ｉは、２進数ｕ1 ｕ2 −−ｕn に対応する順番である。この状態は、各構成要素ａi の状態ではなく、集合ｄの状態である点に注意が必要である。従って、状態ベクトルＳF ＝（ｓ1 ，ｓ2 ，−−，ｓN ）は、ｄの可能な全状態の順序付けされた集合として定義される。この集合は完全集合であり、即ち、相互に排他的であり、かつ、網羅的な集合である。Ｎ（＝２n ）の各状態に対し、確率ｐk （ｋ＝１，２，−−，Ｎ）が割り当てられる。確率ベクトルＰF ＝（ｐ1 ，ｐ2 ，−−，ｐN ）F は、このように定義される。添字F は、このベクトルが述語Ｆに関することを示す。以下に説明するように、Ｇに対する上記ベクトルＰF 及びＰG を使用し、かつ、遷移行列ＴFGを定義することにより、上記の得られたＧ＝Ｆ・ＩFGではなく、確率過程と同じ形式で過程ＰG ＝ＰF ・ＴFGが得られる。
【００２５】
２．４ 確率過程の一部としての推論過程
確率過程において、遷移行列は、以下の条件を保持する必要があり、各要素は以下の確率過程の条件：
（１）行列の各成分は非負であることが必要であり、かつ、
（２）各行に対し、成分の行方向の和は１に一致しなければならない
の範囲内であらゆる値を取ることが可能である。
【００２６】
一方、推論過程の遷移行列は上記条件の他に強い条件を満たす必要がある。この条件は２通りの場合に得られる。以下、集合ｄは有限であると仮定する。
第１の場合： （∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
（∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕は、
（〜Ｆ（ａ1 ）∨Ｇ（ａ1 ））∧（〜Ｆ（ａ2 ）∨Ｇ（ａ2 ））∧−−−∧（〜Ｆ（ａn ）∨Ｇ（ａn ））
と一致する。上記式が真であるためには、各（〜Ｆ（ａi ）∨Ｇ（ａi ））は真でなければならない。かくして、あるＦ（ａi ）が真であると分かっている場合、Ｇ（ａi ）は真でなければならない。Ｆ（ａi ）が真ではない場合、Ｇ（ａi ）は真又は偽の何れでもよい。状態表現に関し、このことは、以下の遷移：
（＊，＊，−−，＊，ｕi ＝１，＊，−−，＊）F
→（＊，＊，−−，＊，ｕi ＝１，＊，−−，＊）G
（＊，＊，−−，＊，ｕi ＝０，＊，−−，＊）F
→（＊，＊，−−，＊，ｕi ＝１，＊，−−，＊）G
（＊，＊，−−，＊，ｕi ＝０，＊，−−，＊）F
→（＊，＊，−−，＊，ｕi ＝０，＊，−−，＊）G
だけが実現可能であることを意味する。＊は、０又は１の何れかを表わすが、左側及び右側の項の対応する位置の＊の値は、同一でなければならない。上記条件を満たすようにＴFGの成分ｔijを定めることが可能である。
【００２７】
図２の（ａ）は、このような方法で作られた遷移行列を表わしている。同図において、※は非ゼロの値を示している。値※は各ｔij毎に異なっていても構わないが、上記確率過程の条件（１）及び（２）を満たす必要がある。この表現が論理推論としての全ての特性を示すことを明らかにすることは困難ではない。例えば、Ｆ（ａi ）が真であるならば、Ｇ（ａi ）が真である確率は、上記遷移行列によって１である。かくして、上記確率過程の条件（１）及び（２）を満足する全ての可能な行列の中で、上記付加条件を満足する行列だけが第１の場合の推論規則を表わす。
【００２８】
第２の場合： （∃ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
（∃ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕は、
（〜Ｆ（ａ1 ）∨Ｇ（ａ1 ））∨（〜Ｆ（ａ2 ）∨Ｇ（ａ2 ））∨−−−∨（〜Ｆ（ａn ）∨Ｇ（ａn ））
と一致する。あるＦ（ａj ）が偽であるならば、上記式は真が成り立つ。この場合、如何なるａi に対してもＧ（ａj ）は、真又は偽の何れでもよく、Ｇに関しこれ以上のことは分からない。この場合に明確に言えることは、（∀ｘ／ｄ）Ｆ（ｘ）が真であるとき、あるＧ（ａj ）は真であることが必要であり、或いは、（∃ｘ／ｄ）Ｇ（ｘ）が成り立つ。このようにして、第２の場合に、図２の（ｂ）に示されたような遷移行列が得られる。上記推論規則を表わす遷移行列に対する条件は、ｔN0＝０だけである。
【００２９】
上記遷移行列を用いる過程への入力が、確率ベクトル（０，０，−−，０，１）N 、即ち、論理表現の（∀ｘ／ｄ）Ｆ（ｘ）であるならば、（０，※，※，−−，※）N+1 が出力として推論される。これは、（∃ｘ／ｄ）Ｇ（ｘ）である。あらゆる他の入力に対し、状態（０，０，−−，０）のｐ1 を含む全てのｐi ’の有限状態の確率を有する出力が推論される。即ち、Ｇ（ｘ）関して何も分からない（上記ＱとＱ’の関係の（ｄ）の場合に該当する）。
【００３０】
上記第１及び第２の何れの場合でも、推論規則は遷移行列の特殊なケースで表わすことができる。ある非記号情報処理機構によって任意の遷移行列を実現することが可能であれば、上記機構は論理推論を表現することが可能である。従って、遷移行列を記号処理と非記号処理の間の中間に置くことができる。これにより、推論機構と非記号処理の間で基本部分に相違のない処理機構が実現される。
【００３１】
２．５ 学習による確率過程から論理推論の導出
１階論理によって完全に説明可能なある実際的な現象を考えてみよう。この過程を表わす遷移行列を学習によって獲得することが可能である。最初に、全要素が同一であり、一連の観察が形成される行列を想定する。組（Ｆ（ａi ），Ｇ（ａj ））が観察された場合、即ち、Ｇ（ａj ）がＦ（ａi ）の生起に対し観察され得た場合、一方でＦ（ａi ）及びＧ（ａj ）の両方と関係する状態に対応する遷移行列の全要素（図２を参照のこと）はある量で増加され、即ち、他方でｋが増加させられるべき要素の個数、Ｍが行内の残りの非ゼロの要素の個数を表わすとき、他の要素は上記量のｋ／Ｍで均一に減少させられる。増加されるべき要素は、＊が０又は１を表わすとき、（＊，＊，−−，＊，ｕi ＝１，＊，−−，＊）F と（＊，＊，−−，＊，ｕj ＝１，＊，−−，＊）G の夫々の形式の状態の交点にある要素である。上記確率過程の条件（１）及び（２）は維持されなければならない。上記過程を一連の観察に対し繰り返すことにより、上記行列は論理推論を表わす行列に徐々に近づく。フィードバック系は、かかる学習を行なうため不可欠である。学習は推論系よりも高いレベルの系である。この意味で、非記号処理アルゴリズムに基づく記号情報処理系を生成するため多重レベルシステムが必要になる。
【００３２】
２．６ 部分的な併合による遷移行列のリダクション
集合ｄが大きいとき、遷移行列は非常に大きくなるので、上記方法は実際的ではなくなる。集合ｄを直接的に要素に展開する代わりに、集合ｄを部分集合の集合に分割し、その集合の状態ベクトルを生成することにより、遷移行列を簡約化することが可能である。夫々のｄi （ｉ＝１，２，−−，ｋ）に式（∀ｘ／ｄi ）Ｆ（ｘ）を定義可能なように集合ｄを部分集合ｄ＝｛ｄ1 ，ｄ2 ，−−，ｄk ｝に分割する。Ｋ＝２k と表わすとき、部分集合から得られた各状態に与えられた確率から確率ベクトルＰF ＝（ｐ1 ，ｐ2 ，−−，ｐK ）が得られる。かかる確率ベクトルは、記号表現と非記号表現の中間的な表現である。以下、この表現を部分記号と呼ぶ。かかる簡略化は、実際上、多くの場合に有効な方法である。特に、ある例外を含む集合を処理する際に使用すると便利である。例えば、集合「鳥類」は、飛ぶことができるグループと、飛ぶことができないグループの二つのグループに分割することが可能である。以下、各表現（∀ｘ／ｄi ）Ｆ（ｘ），（ｉ＝１，２，−−，ｋ）の範囲内で、曖昧性のような記号表現の特性を説明する。
【００３３】
３． ニューラルネットワークによる論理推論の実施
確率過程はニューラルネットワークによって実行可能である。確率過程を実行する際に含まれる演算は、ベクトル積、即ち、前の状態確率と、各対応するベクトル成分との全ての積の総和を得ることである。事後状態確率Ｐj N+1 は、ｐj N ・ｔijによって得られる。上記計算は図３に示したニューラルネットワークによって行なわれる。上記ニューラルネットワークにおいて、入力ノードｎi F から出力ノードｎj G へのアークには、遷移確率である重みの値ｔij が与えられる。遷移行列によって論理推論を表現するため、入力ノード及び出力ノードは、（Ｆ及びｄ）と（Ｇ及びｄ）夫々に関する系の状態に対応する。上記状態ベクトルは、所定の集合ｄの個々の状態を結合することにより生成される。これはデコードと同様である。正（論理的な真）の信号だけを使用すべき場合、図３の左端及び右端に示されたように上記状態ベクトルが生成される。上記主回路の他に、学習によってアークの重みを修正するためフィードバック経路が必要である。観察された組（Ｆ（ａi ），Ｇ（ａj ））が与えられた場合、上記フィードバック回路は、入力ノードｎi F から出力ノードｎj G への経路を形成するアークの重みを増大させ、それ以外のアークの重みを減少させる。図３には、例えば、（Ｆ（ａ1 ），Ｇ（ａ2 ））の場合が表わされている。
【００３４】
上記ニューラルネットワークは、式ＦとＧの間の関係を表わすためにある。同様のネットワークが形成され、上記ネットワークと組み合わされる。例えば、ＧとＨの間に関係があるならば、ノード集合｛ｎj G ｝は、ＧとＨの間のネットワークの入力ベクトルになる。従って、全体的な遷移ネットワークは、小さいネットワークを基礎単位ブロックとして用いて形成される。全体的な遷移ネットワークにおいて、各基礎単位ブロックは、論理推論ネットワークでもよく、論理推論ネットワークでなくてもよい。論理的ブロック以外のブロックは、必ずしも標準的な確率過程のブロックではなくてもよく、如何なるタイプのネットワークでも構わない。上記全体的なネットワークの各基礎単位ブロックは、入力ベクトルの確率分布の修飾子として機能する。何れの場合でも出力は確率分布である。確率分布は、必要に応じて、論理的な形式で（近似的に）表わすことが可能である。このようにして、論理的（記号）処理と、数値的（非記号）処理とが融合される。上記全体的なネットワークは知識ベースを表わしている。
【００３５】
【実施例】
上記の如く、たとえ非記号処理系で論理処理が可能であっても、現実には変数の変域が固定され、固定された変域を変更し難く、複雑な論理式の処理が困難であるなどの制約がある。言うまでもなく、記号処理には記号処理系が向いている。一方、記号処理系は非記号処理には向いていない。機能の劣化を招くことなく記号処理と非記号処理の両方を同一の処理系で行なうことは可能であっても、効率良く行なうことは困難である。
【００３６】
従って、図４に示された本発明の一実施例の情報処理システムは、非記号処理層１及び記号処理層２と、それらの間の自動変換系とからなる。
上記本発明の一実施例の情報処理システムにおいて、記号処理層１は、記号処理を受け持つ専用のサブシステムである記号処理プロセッサ１０を有し、非記号処理層２は、非記号処理を受け持つ専用のサブシステムである非記号処理プロセッサ２０を有する。自動変換系は、上記記号処理層１と非記号処理層２の間を結んで情報変換を行なう特別の機構を持つシステム３０及び３２からなる。この記述層間の変換は、コーディングとデコーディングに相当している。情報内容に応じてコーディングとデコーディングが動作するという意味で、コーディング及びデコーディングを行なう装置を夫々自動コーダ３０及び自動デコーダ３２と呼ぶ。
【００３７】
自動コーダ３０は、非記号処理系が上記論理処理系の条件を満たすとき、非記号情報から記号情報を自動的に生成する。自動コーディングは、一種の情報の抽象化であり、非記号情報に基づいて最良のコードを生成する。
一方、自動デコーダ３２は記号情報から非記号情報を生成する。自動デコーダ３２は、情報処理の分野で通常用いられるデコーダと同様である。
【００３８】
コーディングの目的は、記号の集合及びその集合の各要素に関する述語記述に与えられる確率を見いだすことである。その際の条件は、述語Ｆで表わされるある視点に関して、見いだされた集合ｄの要素の組み合わせが非記号系の状態を表わすことである。具体的に言うと、集合ｄに基づいて作られる記号系の述語の組み合わせ確率が非記号処理系の状態確率に一定の誤差範囲で近似的に等しくなることである。自動コーダ３２の役割は、この条件を満たすように、記号処理レベルでそのような記号集合ｄ及びｄの各要素毎の述語に与えられる確率を見いだすことである。
【００３９】
非記号処理系である状態遷移処理過程があり、状態ベクトルのサイズがＮであるとする。この状態ベクトルに対応する状態確率ベクトルをＰ、遷移行列をＴ（＝Ｎ×Ｎ）とする。遷移行列が既に決まっているならば、既に決められた遷移行列から出発し、遷移行列が未知であるならば、上記学習によって遷移行列を定める。学習による場合、遷移行列の要素は、入力と出力の組から学習によって修正され、同時に入力の分布が求められ、入力確率ベクトル自体も修正される。この結果に基づいて自動コーディングが行なわれる。以下、自動コーディングの手順を説明する。
【００４０】
（１）最初に、Ｎが２の巾乗数（＝２n ）の場合を考える。集合ｄをｄ＝｛ａ1 ，ａ2 ，−−，ａn ｝、その状態ベクトルをＳF ＝（ｓ1 ，ｓ2 ，−−，ｓN ）F とする。集合ｄの各要素に与えられる述語の生起確率（Ｆ（ａi ）が真である確率）をｑi とすると、ＳF 内のＮ個の状態の各確率ｐk ，（ｋ＝１，２，−−，Ｎ）は：
ｐ1 ＝(1-q1)(1-q2)(1-q3)--(1-qt-2)(1-qn-1)(1-qn )
ｐ2 ＝(1-q1)(1-q2)(1-q3)--(1-qn-2)(1-qn-1) qn
ｐ3 ＝(1-q1)(1-q2)(1-q3)--(1-qn-2) qn-1(1- qn )
ｐ4 ＝(1-q1)(1-q2)(1-q3)--(1-qn-2) qn-1qn
・・・・・・
・・・・・・
ｐN-1 ＝q1q2q3---qn-2qn-1 (1-qn )
ｐN ＝q1q2q3---qn-2qn-1qn
である。これらを要素とする確率ベクトルＰF ＝（ｐ1 ，ｐ2 ，−−，ｐN ）F が確率遷移過程の入力確率ベクトルＰ* ＝（ｐ* 1 ，ｐ* 2 ，−−，ｐ* N ）と一定の誤差範囲内で一致するようにｑi ，（ｉ＝１，２，−−，ｎ）を定めることができれば状態ベクトルを有限の記号で表現することになる。
【００４１】
（２）しかし、一般には、Ｐ F ＝Ｐ*の成立は困難である。その理由は、Ｎ＞ｎ、即ち、自由変数の数ｎに対し適合条件の数Ｎの方が大きいからである。実際には、すべての確率の和が１になるという条件により自由変数の数はｎ−１である。
【００４２】
（３）更に、一般には、Ｎが丁度２の巾乗数に等しいという場合は少ない。即ち、２n＝Ｎであるようなｎ要素の集合ｄを作ることができない。このとき、集合ｄとして、先ず要素数ｎが２n＞Ｎを満たす最小数の要素を含むようにする。この場合、確率遷移過程の状態数の方が集合ｄから作られる状態数よりも少ないため、Ｎ個の状態ベクトルの中から幾つかの状態を選び、選ばれた状態を二つ以上の状態に分割する。これに対応して選ばれた状態の確率ｐiをｐi1とｐi2とに分割する。この際、どのような比率で分割するかに関し自由度がある。分割は、２n−Ｎ個の状態について可能であるので、この結果、可変数はｎ＋２n−Ｎ−１になる。かかる可変数がＮ以上であれば、Ｐ F ＝Ｐ*の一致条件を満たすことが可能である。しかし、実際には、この一致条件が厳密に満たされなくても、近似的に満たされれば十分であるとして、一定の近似条件を満たすできるだけ小さい数ｎが見つけられる。
【００４３】
このため、本発明の一実施例によれば、逐次的な決定法が用いられる。逐次的な決定法は：
i)２n≧Ｎを満たす最小のｎを求める段階と；
ii)上記求められたｎについて、確率ベクトルＰFが、状態分割によって拡大された遷移過程の状態確率ベクトルＰ*に関し一定の近似条件内でＰF＝Ｐ*を満たすように生起確率ｑi，（ｉ＝１，２，−−，ｎ）及び状態分割を求める段階と；
iii)これによって、所定誤差内でＰ F ＝Ｐ*の近似条件が満たされなかったならば、集合ｄ内の要素数を１つずつ増やし、ii)を繰り返す段階とからなる。
【００４４】
以下に、生起確率と状態分割の逐次的な決定法の計算例を示す。簡単な例として、Ｎ＝５の遷移過程の場合を説明する。各状態に対し、状態確率をｐ1 ，ｐ2 ，−−，ｐ5 とする。ｄとしてｎ＝３とし、夫々の生起確率をｑ1 ，ｑ2 ，ｑ3 とする。２3 ＞５なので、状態確率の中から３つを選んで、夫々２つに分割する。以下、状態確率を大きさの順に配列した後、第２、３、４項を分割した例を説明する。
p5＝q1q2q3
p4' ＝q1q2(1-q3)
p3' ＝q1(1-q2)q3
p2' ＝q1(1-q2)(1-q3)
p1＝(1-q1)q2q3
p03 ＝(1-q1)q2(1-q3) ＝ p4-p4'
p02 ＝(1-q1)(1-q2)q3 ＝ p3-p3'
p01 ＝(1-q1)(1-q2)(1-q3)＝ p2-p2'
ここで、 1-qi /qi を Xi と置くと次の関係：
X3=p4'/p5=p1/p3'=p03/p2'=p01/p02
X2=p3'/p5=p1/p4'=p02/p2'=p01/p03
X1=p2'/p5=p03/p4'=p02/p3'=p01/p1
或いは、
p5p1=p3'p4', p5p03=p2'p4', p5p01=p4'p02
(p5p1=p3'p4'), p5p02=p2'p3', p5p01=p3'p03
(p5p03=p2'p4'), (p5p02=p2'p3'), p5p01=p2'p1
が得られる（括弧内は重複を示している）。従って、６つの関係が満たされなければならないことが分かる。一方、自由変数の数は、３−１＝２であり、上記６つの関係を全て満たすことはできない。そこで、ｐ5 ，ｐ4'，ｐ3'，ｐ2'，ｐ1 ，ｐ03，ｐ02，ｐ01の全てを関係表現の中に含むように６つの関係の中から幾つかの関係を選び、選ばれた関係を近似条件内で一定に満たすような解を逐次的に求める。上記例では、例えば、以下の３つの関係：
p5p02=p2'p3', p5p03=p2'p4', p5p01=p2'p1
を選択すると、
p5(p3-p3')=p2'p3', p5(p4-p4')=p2'p4', p5p01=p2'p1,
p5(p2-p2')=p2'p1, p2'=p5p2/(p5+p1),
p5+p2'=p5(p5+p2+p1)/(p5+p1)
p3'=p5p3/(p5+p2')=p3(p5+p1)/(p5+p2+p1)
p4'=p5p4/(p5+p2')=p4(p5+p1)/(p5+p2+p1)
が得られる。更に、
p03=p4-p4(p5+p1)/(p5+p2+p1)=p2p4/(p5+p2+p1)
p02=p3-p3(p5+p1)/(p5+p2+p1)=p2p3/(p5+p2+p1)
p01=p2-p5p2/(p5+p1)=p2p1/(p5+p1)
となる。入力の状態確率ベクトルが、
Ｐ＝（pa=0.504, pb=0.222, pc=0.140, pd=0.080, pe=0.054）
のように与えられた場合を考える。pa=p5, pb=p4, pc=p3, pd=p2, pe=p1 とし、状態ｓｂ，ｓｃ及びｓｄを夫々（ｓ13，ｓ213 ），（ｓ12，ｓ212 ）及び（ｓ13，ｓ3123）に分割することにより、新しい状態ｐ03，ｐ02 及びｐ01を作成する。分割によって確率も（p4', p03），（p3' ，p02 ），（p2' ，p01 ）である。この結果を用いて以下の関係：
p5=q1q2q3=0.5086, pa=0.5086(0.504)[1.009]
p4'=q1q2(1-q3)=0.1958, pb=0.1958+0.02792=0.22379(0.222)[1.0081]
p3'=q1(1-q2)q3=0.1232, pc=0.1404(0.140)[1.0029]
p2'=(1-q1)q2q3=0.07255, pd=0.07255+0.00678=0.07933(0.080)[0.9916]
p1=q1(1-q2)(1-q3)=0.04743, pe=0.04743(0.054)[0.8783]
p03=(1-q1)q2(1-q3)=0.02797
p02=(1-q1)(1-q2)q3=0.1760, pa+pb+pc+pd+pe=0.99988
p01=(1-q1)(1-q2)(1-q3)=0.006776
X3=(1-q3)/q3=p4'/p5=0.385244, q3=1/1.385244=0.722, 1-q3=0.278
X2=(1-q2)/q2=p3'/p5=0.2429466, q2=1/1.2429466=0.805, 1-q2=0.195
X1=(1-q1)/q1=p2'/p5=0.143369, q1=1/1.143369=0.875, 1-q1=0.125
が得られる。ここで、（）は与えられた数値を表わし、〔〕は近似度を示している。
【００４５】
上記結果によれば、pe以外には比較的良い近似が得られたことが分かる。更に、近似度を上げるため、上記得られた解を少し動かす。pe＝p1＝q1(1-q2)(1-q3)を増加させるため、q1を増し、その分q2とq3を減らす。q1=0.88, q2=0.802, q3 =0.72 とした場合、pa=0.508[1.008], pb=0.230[1.036], pc=0.143[1.021], pd=0.0760[0.95], pe=0.0488[0.904]が得られる。
【００４６】
（４）このような記号集合ｄとｑi （ｉ＝１，２，−−，ｎ）が求められたならば、分割した状態を単純に合併しＮ状態に戻した場合に元の遷移行列に戻るように、状態分割に対応して遷移行列を拡大する。
状態ｋをｋ１とｋ２に分割し、ｐk →ｐk1，ｐk2 とする。状態ｋに対応して、行列のｋ行ｋ列の要素を以下の方法に従って変更する。すなわち、行列の内部をＡ，Ｂ，Ｃ，Ｄの４つに分け、夫々の部分の分割条件を求める。図５の（ａ）は状態遷移行列を表わし、同図の（ｂ）は状態遷移行列の一部を表わす遷移図である。以下の説明で、（＊）が付された表現は分割後の表現を表わしている。
〔Ａ〕 部分Ａは分割によって変化しない。
〔Ｂ〕 ｉ＝１，．．，Ｎに対し、ｐi ・ｔij＝ｐj
ｉ＝ｋ１，ｋ２に対し、
ｐi ・ｔij＋ｐk1・ｔk1j ＋ｐk2・ｔk2j ＝ｐj （＊）
これにより、
ｐk ・ｔkj＝ｐk1・ｔk1j ＋ｐk2・ｔk2j
が得られ、更に、列方向の確率の和が１の条件から
ｐk ＝ｐk1＋ｐk2
である。従って、
ｔkj＝ｔk1j ＝ｔk2j
である。
〔Ｃ〕 ｊに対し、ｔij＝１
ｊ＝ｋ１，ｋ２に対し、ｔij＋ｔik1 ＋ｔik2 ＝１ （＊）
これより、
ｔik1 ＋ｔik2 ＝ｔik
ここで、状態確率ベクトルによる当てはめからｐk1／ｐk2は求まっているので、ｐk1／ｐk2＝ｃ
として、
ｔik1 ＝ｔik・ｐk1／（ｐk1＋ｐk2）＝ｔik・１／（１＋ｃ）
ｔik2 ＝ｔik−ｔik1 ＝ｔik・ｃ／（１＋ｃ）
である。
【００４７】
〔Ｄ〕 分割によって生成された新しい状態間で生じ得る遷移を含めて遷移形式は図５の（ｂ）に記載されている。この遷移を定める条件は、
− 分割された状態以外の状態確率には何ら影響を与えないこと、
− 分割で生じた状態を併合したときの状態と、その間の遷移とに影響を与えることなく、元の遷移過程に戻ることとからなる。２番目の条件は、〔Ｂ〕，〔Ｃ〕の条件から自動的に満たされる。１番目の条件は
ｔk1k1＝ｔk2k2＝ｔkk， ｔk1k2＝ｔk2k1＝０
によって満たされる。
【００４８】
（５）分割対象として選ばれた状態について、上記（１）乃至（４）の段階を繰り返し適用することにより、２n ×２n に拡大された行列が得られる。
（６）このようにして生成された２n ×２n 行列が論理推論の実行条件を満たしている場合、この遷移行列を、求められた記号処理系の中の集合ｄと、論理式とで表わすことが可能になる。２n ×２n 行列は、元の行列Ｎ×Ｎ行列と等価であるため、かかる自動コーダは非記号情報を記号化したことになる。
【００４９】
次に、記号表現の限界及び曖昧性について説明する。論理推論は特別な確率過程であることを考慮して、記号表現の表現力の限界及び曖昧性を評価することが可能である。
遷移行列は確率過程の全挙動を決定する。遷移行列がたとえ僅かでも変化することにより、過程は、長い過程のシーケンスの後、完全に別の状態確率に達する。行列の各要素は確率過程の条件の範囲内であらゆる値を取ることが可能である。かくして、確率過程はＮ×Ｎの遷移行列によって画成された空間を非常に密に覆う。これに対し、行列には、遷移行列が論理推論を表わすために行列内のあるキー要素はゼロでなければならないような構造的な拘束がある。それ以外の要素は、確率過程の条件を侵さない限り如何なる値でも取ることができる。かくして、論理推論の遷移行列は任意の遷移行列の部分集合であるので、論理推論は確率過程の一部である。従って、確率過程は、
第１のタイプの論理式：（∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕 を表わす第１のクラスと；
第２のタイプの論理式：（∃ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕 を表わす第２のクラスと；
論理式が対応しないそれ以外の過程のための第３のクラスとからなる３つのクラスに分割される。
【００５０】
確率過程の条件を侵さない限り、あらゆる値が通常の確率過程に遷移確率として現れ、その過程によって表わされるべき実際の現象が存在し得る。しかし、上記過程が論理推論を表わすため遷移行列に課された条件を侵す場合、その過程を記号処理として記述し得ない。例えば、以下に示すように、かかる遷移行列に対し、非ゼロの確率が過程中に存在するならば、その過程は論理的な遷移ではあり得ない。
【００５１】
（＊，＊，−−，ｕi ＝１，＊，−−，＊）F
→（＊，＊，−−，ｕi ＝０，＊，−−，＊）G
上記現象を記号形式で記述するために、ある種の付加的な表現が必要になる。このことは、述語論理があらゆる可能な場合の中の一部分だけを簡単な形式で記述する系であるという事実から結論付けられる。それ以外の場合についても記述する必要があるならば、より多くの記述を付け加えなければならない。このような記述の付加部分を正確に理解することは、時にはかなり困難である場合があり、簡単な記号表現を用いることによって理解の容易さが犠牲にされた。確率過程には、更に大きい表現力があるが、通常その表現を使用することは都合良くない。
【００５２】
非常に多数の別々の処理が同一のクラスに含まれ、かつ、同一の論理表現で表わされることは、論理表現が枠組みとして定義され、かつ、枠組み内の変化は考慮されていないということを意味する。このような論理表現は、事象を表わす非常に粗い曖昧な方法であり、対象に存在する小さい差異を識別することができない。
【００５３】
図２に示したような論理推論の行列表現は、厳密な確率分布を※に与えることによって状況をより厳密に表わすことができる。論理推論を記号言語によって表現したい場合には、更に多数の語が必要である。このようにして作成された表現の一例は、「もし、Ｆが真ならば、ｄの中の全ての対象に対しＧは真であり、Ｇ（ａ）は他の対象よりも頻繁に生じる」である。この文の前半は、
（∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕
を表わし、後半は、上記枠組み内の対象の一様でない生起の可能性に関しコメントを加える。確率分布を決定するための情報が全く存在しないならば、各行に一様な分布を仮定する必要がある。このような一様な分布は、情報の損失を何ら伴うことなく記号形式で表現される。上記情報の損失を定量的に測定するための方法を定義することが可能である。例えば、情報エントロピーが使用される。
【００５４】
記号化表現の表現力は遷移過程の表現に比べて低く、多数の遷移行列の表現を一括して一つの論理表現で置き換えることになる。この結果、記号表現には曖昧性が含まれる。現象に対し、より忠実な表現を行なうには標準形の記号表現にそれからの変化分を加えた形式の表現が必要になる。この補充部分は曖昧性表現の一種である。補充部分は記号による表現が困難であるために必要になるので、補充部分を記号で表現する努力は現実的ではなく、記号に代わる表現方式が必要である。このような曖昧性の表現には、（１）曖昧度が容易に判断できること、（２）データの取得によって曖昧性は変化する（一般には減少する）が、この曖昧性の変化は標準形からの変化分の修正として求められること、（３）そのような曖昧性処理ができるだけ簡単な方式でできることが要求される。
【００５５】
論理記述の曖昧性は推論処理によって変化する場合がある。即ち、曖昧性にはデータの曖昧性と、推論規則に含まれる曖昧性とがある。推論規則に含まれる曖昧性は、推論処理を行なう度に、結果として得られる記号表現の曖昧性を変化させる。これは推論処理の不確実性であり、この不確実性の程度は推論規則に与えられる曖昧性で表わされる。以下、推論規則を用いて結論を導出する機構自体は、曖昧性がない場合を想定する。
【００５６】
先ず、データ／事実表現の曖昧性について考える。事実を表現する述語
（∀ｘ／ｄ）Ｆ（ｘ）
に含まれる曖昧性は、集合ｄ内の各要素ａi について、性質Ｆに関する述語Ｆ（ａi ）の正当性確率ｑi から作られる確率ベクトルＱ＝（ｑ1 ，ｑ2 ，−−−，ｑn ）で与えられる。上記自動コーディングの過程で作られた確率ベクトルＱは、この意味での事実表現の曖昧性である。曖昧性を含めた記号による事実表現は、確率ベクトルＱを用いて、
〔（∀ｘ／ｄ）Ｆ（ｘ），Ｑ〕
と表わされる。
【００５７】
一方、推論規則に含まれる曖昧性を次に説明する。推論規則Ｆ→Ｇに含まれる曖昧性を、「前提が曖昧性のない（論理的に真な）表現であるとき、結論に現れる曖昧性」と定義する。以下、遷移過程の記号化に伴って生じる推論規則の曖昧性について説明する。
【００５８】
２n ×２n の一般遷移行列がある場合を考える。上記の如く、述語Ｆに関する集合ｄ＝｛ａ1 ，ａ2 ，−−−，ａn ｝の各要素に対するＦ（ａi ）の真偽に応じて１又は０を取る変数ｕi の組み合わせで個々の状態ｓk ＝（ｕ1 ，ｕ2 ，−−−，ｕn ）F が定義され、個々の状態ｓk を要素とする状態ベクトルＳF ＝（ｓ1 ，ｓ2 ，−−−，ｓN ）F が作られる。個々の状態には夫々の生起確率ｐi が対応し、その結果、状態確率ベクトルｐF ＝（ｐ1 ，ｐ2 ，−−−，ｐN ）F が作られる。この状態ベクトルが遷移過程の入力に与えられる。
【００５９】
自動コーダ３０は、一般遷移過程の入力である状態確率分布に近似的に等価な状態確率ベクトルを生成するように、集合ｄ＝｛ａ1 ，ａ2 ，−−−，ａn ｝の各要素毎にＦ（ａi ）が真である確率ｑi を求める。これをＱ＝（ｑ1 ，ｑ2 ，−−−，ｑn ）とする。これにより、一般遷移過程の入力に対応する記号表現の確率分布Ｐが与えられるので、曖昧性を含む入力の記号的表現が：
〔（∀ｘ／ｄ）Ｆ（ｘ），Ｑ〕
で表わされる。
【００６０】
次に、集合ｄ＝｛ａ1 ，ａ2 ，−−−，ａn ｝のある要素ａi について、Ｆ（ａi ）が真である確率が１であるとする。他の要素についてのＦの真偽は不問としたとき、状態確率ベクトルを作成する。このベクトル内において、状態ベクトルＳF ＝（ｓ1 ，ｓ2 ，−−−，ｓN ）F の中のＮ個の状態状態ｓk ＝（ｕ1 ，ｕ2 ，−−−，ｕn ）F のｕi が１である状態の確率は非ゼロであり、それ以外の状態の確率は０である。特に根拠がない限り、非ゼロの状態の確率は等しくする。
【００６１】
例えば、ｄ＝｛ａ1 ，ａ2 ，ａ3 ｝とし、ａ3 についてＦ（ａ3 ）が真、即ち、ｕ3 ＝１とする。この時、
ＳF ＝（ s000, s001, s010, s011, s100, s101, s110, s111 ）F
が得られる。ＳF 内の各状態の２進数のサフィックスの中で、３番目のサフィックスが１である状態に対応する確率が非ゼロの等確率とし、それ以外は０とする。従って、状態確率ベクトルｐF は、
ｐF ＝（０，１／４，０， １／４， ０， １／４， ０， １／４）
と表わされる。これを遷移行列に適用する。適用の結果として得られる状態確率ベクトルＲG は、
ＲG ＝（ r000, r001, r010, r011, r100, r101, r110, r111 ）
のように表わされる。状態確率ベクトルＲG の中から、集合ｄのｉ番目の要素に関する述語Ｇ（ａi ）が真の時の状態に対応する諸項を取り出す。これは、ｐF の非ゼロの要素に対応する。非ゼロの要素の和は、ａi について、他の要素の真偽は不問としたとき、「Ｇ（ａi ）が真の確率」を与える。上記例において、Ｇ（ａi ）が真の確率は、
r001＋r011＋r101＋r111
である。全てのａi について上記真の確率を求めることにより、集合ｄの各要素に関して、述語Ｇ（ａi ）が真である確率分布（確率ベクトル）が得られる。
【００６２】
以下、この確率ベクトルと遷移行列の構造との関係を明らかにする。
（１）論理的推論過程に等価な遷移行列の場合：遷移行列が論理的推論過程に等価な場合、上記ＲG の各要素のうち、入力側のベクトルｐF のゼロ項に対応する項はゼロになる。従って、出力の確率ベクトル中、入力側の非ゼロ要素に対応する項の和は１となり、論理入力「Ｆ（ａi ）；真」に対して確率１で論理出力「Ｇ（ａi ）が真」が得られる。
【００６３】
次いで、上記関係が得られることを証明する。ＲG のｋ番目の要素は、入力ベクトルと遷移行列のｋ列のベクトル積によって求まる。この要素は、状態表現でサフィックスのｉ番目のｕi が０である状態の確率、即ち、Ｇ（ａi ）が偽となる確率であるとする。入力ベクトルのｍ番目の要素は非ゼロ項であり、これに対応する遷移行列のｋ列の交点には遷移確率ｔmkが置かれるが、これは、ｉ番目のＦ（ａi ）が真であり、かつ、Ｇ（ａi ）が偽になる確率を表わしている。遷移行列が論理推論を表わすための条件において、遷移確率ｔmkは０でなければならない。入力ベクトルのこの他の項はゼロ項であるから、結局、ＲG のｋ番目の要素を決めるために入力ベクトルの要素と遷移行列の要素との要素同志の積を作る際、必ずどちらかの要素が０となり、ベクトル積が０になる。ＲG 内の確率の和は１であるから、結局Ｇ（ａi ）が真になる確率は１となる。
【００６４】
上記例と同様に、ｄ＝｛ａ1 ，ａ2 ，ａ3 ｝であり、ａ3 についてＦ（ａ3 ）が真、即ち、ｕ3 ＝１の場合について説明する。遷移行列として２3 ×２3 行列が確率ベクトルｐF ＝（０，１／４，０，１／４，０，１／４，０，１／４）に乗じられる。
【００６５】
【外１】
ｒ1 は、ｐF （＝1/4 (0,1,0,1,0,1,0,1) ）と行列の第１列（＝* 0 0 0 0 0 0 0 ）の積で０になる。ｒ3 、ｒ5 、ｒ7 についても同様である。一方、ｐF の１の項、例えば、＃の付けられた第２項は、行列の各列とのベクトル積を作る際、行列の同じく＃の付けられた行内の要素との積を作るので、遷移行列の＃の付けられた行の要素をそっくりそのまま（但し、係数１／４で）ＲG に持ち込まれる。即ち、ＲG ＝(r1,r2,r3,r4,r5,r6,r7,r8) ＝(0,r2,0,r4,0,r6,0,r8) である。非ゼロの部分との積は、ｒ2 、ｒ4 、ｒ6 、ｒ8 に含まれるが、行列の横方向の和は１であるから、ｒ2 、ｒ4 、ｒ6 、ｒ8 の和のうち、ｐF の＃の付けられた第２項によって作られた部分は、係数１／４が乗じられたものである。＃の付けられた第２項以外の１の項についても同様であるが、ｐF の１の項の数は４個であるので、全体として４倍されて１になる。一般論として、係数はｐF の１の項の個数の逆数であるから、ｒ2 、ｒ4 、ｒ6 、ｒ8 の和の結果は常に１である。即ち、Ｇ（ａi ）が真となる確率は１であり、これが、上記の如く、遷移行列によって論理推論と等価な結果を得る条件である。
【００６７】
（２）一方、一般遷移過程の場合、即ち、遷移行列が一般の遷移行列である場合には、入力ベクトルの非ゼロ項と、これに対応する遷移行列のｋ列の交点に置かれる遷移確率ｔmkは一般には０ではない。従って、Ｇ（ａi ）が偽に対応するＲG の要素はゼロにはならない。上記例の場合、ｒ1 、ｒ3 、ｒ5 、ｒ7 は非ゼロの値を持ち、その非ゼロの値に対応する分だけ、ｒ2 、ｒ4 、ｒ6 、ｒ8 の和の結果が減少する。即ち、前提Ｆ（ａi ）が真であっても、推論によって得られた述語Ｇ（ａi ）が真である確率は１よりも小さい。これが、推論の不確実性或いは曖昧性である。不確実性或いは曖昧性の程度が少ない場合、即ち、上記ｔmkが非ゼロであっても、その値が小さく、Ｇ（ａi ）が真なる確率が１に近い場合には、近似的な扱いとして、推論規則が適用される。この際、推論と平行して、結果が真になる確率の評価が欠かさずに行なわれる。
【００６８】
上記の説明において、述語Ｇ（ａi ）が真である確率は、前提Ｆ（ａi ）が真である確率を１として求められているので、この値に入力Ｆ（ａi ）が真である確率を乗ずることにより、推論によって得られた述語Ｇ（ａi ）の実際の確率が求められる。
【００６９】
本発明の一実施例によれば、自動コーダは上記解析機能を備えているので、論理表現と確率分布の対によって、遷移過程に対応する論理推論が表わされる。論理表現による通常の論理推論と同時に、入力の確率分布と、論理推論に伴う曖昧度を表わす確率分布とから、推論結果の確からしさを評価する計算が行なわれる。即ち、記号処理的な論理推論を行なうと共に、入力の確率分布と推論規則に対する確率ベクトルの要素毎に積を取り、その結果を要素とするベクトルを結果の確率ベクトルとする。入力（前提又は質問）は、集合ｄに関する述語Ｆを用いて（∀ｘ／ｄ）Ｆ（ｘ）として表わされ、ｄの要素毎の上記述語の確からしさをＱ＝（ｑ1 ，ｑ2 ，−−−，ｑn ）とする。即ち、入力は、対：
〔（∀ｘ／ｄ）Ｆ（ｘ），Ｑ〕
である。 一方、推論規則は、集合ｄに関する論理推論規則：
（∀ｘ／ｄ）〔Ｆ（ｘ）→Ｇ（ｘ）〕 と、推論の確からしさを表わす確率分布：Ｒとして表わされている。かくして、結論は、（∀ｘ／ｄ）Ｇ（ｘ）と、Ｑ及びＲのある関数Ｓとで表された確率分布の組：
〔（∀ｘ／ｄ）Ｇ（ｘ），Ｓ〕 として入力と同じ形式で表わされる。上記Ｓは、Ｑ及びＲが夫々
Ｑ＝（ｑ1 ，ｑ2 ，−−，ｑn ）及びＲ＝（ｒ1 ，ｒ2 ，−−，ｒn ）
であるとすると、
Ｓ＝（ｑ1 ｒ1 ，ｑ2 ｒ2 ，−−，ｑn ｒn ）
によって与えられる。
【００７０】
尚、上記説明において、入力変数の変域と、推論規則に含まれる変域は、共にｄであるとしたが、一般には双方の変域は異なる。双方の変域が異なる場合には、記号推論規則において結果の変域を定めることができる。
上記説明のように、本発明によれば、確率評価を行いながら推論を進めることにより、結果の確率分布の中で要素の確率が所定のレベル以下になった場合、その結果を結論から除去する等のより肌理の細かい推論が可能になる。更に、探索的な推論に際し、最終結論に到達する前にすべての要素について確率が小さくなったら推論経路を停止する等の推論の制御が可能になる。
【００７１】
記号処理と非記号処理を融合する本発明のシステムは、知識の精錬と知識の発見を含む種々の方法に使用することが可能である。
遷移行列が学習によって静的な行列に接近し、所定の条件を侵害する要素を除いて論理推論規則を表わす行列に類似する場合を考える。例えば、遷移行列内のｔklは、キー要素であるにも関わらず非ゼロである。このような場合、集合ｄの中のある要素を削除することが可能である。このようにして生成された新しい集合ｄ’に対し、遷移行列が必要条件を正確に満たすならば、集合ｄの代わりに集合ｄ’を用いて新しい論理推論規則を作成することが可能である。これは、知識の精錬である。或いは、新しい要素を集合ｄに追加、又は、２つの集合を１つに併合することも可能である。本発明によれば、記号表現に基づいて全てのことを行なうよりも容易に、学習によって知識表現を再構成する機会が得られる。知識の精錬には、学習系よりも高いレベルの系が必要である。
【００７２】
上記本発明の一実施例の機構を知識の発見に用いることができる。幾つかの観測値間にある因果関係を有する現象が観察されたとする。クラスタリング等の手法で観測値を表わす幾つかの状態表示を求め、状態遷移によってこの因果関係を表わす枠組みを作る。観測を通して、入力及び入出力関係遷移を学習し、定常に近い遷移過程を得たとき、自動コーダによって記号化を図り、入力、出力に適切な名前（述語）を与える。この述語は同様の概念が既に存在し、記号表現層の知識ベースで使用されている場合には、その述語を用いるのが好ましい。これにより、発見された知識を既存の知識と共に利用し得るようになる。もし、かかる遷移行列が完全に論理推論型ではなくても、集合内の全要素についてＧ（ａi ）が真となる確率が例えば０．７以上であるとき、この記号表現を原知識として知識ベースに登録する。一度知識化された知識は、後に、種々の方法で精錬することが可能である。従って、知識ベースへの登録は、観察からの知識発見のための重要なステップである。
【００７３】
非記号処理系によって記号情報を処理する方法を開示した。厳密に言うと、上記説明における記号処理は、定義されたような記号処理ではない。形式的な記号処理とは、実際の対象の代表として記号名を対象（実体又は現象）に与え、その後、それ以上細部に注意を払うことなくその名前によって全ての処理を行なうことである。そのため、対象を処理するため必要な全ての知識を記号言語で表現する必要がある。
【００７４】
しかし、本発明において意図していることは、最初に、上記記号表現及び処理によって得られた簡単さの代償として情報が失われ、失われた情報の一部は、屡々、現実の世界で重要な役割を果たしているという事実を明らかにすることである。実際の対象は、屡々、非常に複雑であり、かつ、実際の対象を厳密に表現することは困難であるので、記号言語の使用、即ち、情報の範囲を記号言語によって記述された世界に限定することは避けられない。人間は、言語では厳密に記述し得ない概念を明らかにし、それらを直観、感情等の如く呼ぶ。しかし、これらの概念は、それらを研究するための科学的な方法が足りないため、科学の対象外に取り残されたままである。既存の科学的領域は殆どの場合、記号的な知識に基づいて発展している。
【００７５】
コンピュータにおいて広い範囲の情報処理を行なうためには、以下の多数の新しい問題：
（１）非記号処理機構で記号を発生する方法
（２）非記号処理アルゴリズムによって記号処理を実現する方法
（３）記号処理を実現するため必須であると考えられる非記号処理機構の種々の層を定義する方法
（４）統合システムを使用する方法
を解決する必要がある。上記説明の如く、本発明は、主として、上記の（２）非記号処理アルゴリズムによって記号処理を実現する方法を提案した。本発明の開示によって残りの問題に対するある程度の洞察が行なわれているが、更なる研究が必要である。
【００７６】
【発明の効果】
本発明によれば、非記号情報処理を記号処理と融合する方法が得られる。非記号情報処理を既存の記号知識処理と組み合わせることにより、多数の研究領域において、研究の範囲が拡大することが期待される。更に、本発明の開示によって、上記研究の鍵が明らかにされる。勿論、このような研究は、非常に困難な仕事ではあり、ここに開示された内容はその第１段階に過ぎない。しかしながら、本発明は更に進展し、情報処理の新しいパラダイムになり得ると考えられる。
【００７７】
本発明によれば、簡単な記号処理が実現可能になり、記号の集合が定義された後、句及び文のような記号表現のより複雑な構造がプリミティブな記号の組合せとして定義される。これは、非記号処理の結果が記号処理部によって容易に受け入れられることを意味する。かかる機構によって、記号処理だけに基づいて得られた知能から、別のタイプの知能が得られると期待される。例えば、時折経験される直観及び突然の閃きは、得られた結論に至った経緯又は理由を言葉で説明できない上記種類の知能である。それにも関わらず、上記の種類の活動によって屡々非常に新しいアイデアが得られることが分かっている。このような感情的な情報は、殆どの場合、非記号処理部で創られる。従って、本発明によれば、感情的な情報は、芸術的な情報を発生するため記号処理部に受け入れられる。例えば、非記号処理部で創造された音楽的な概念を記号処理部で受け入れ、音楽理論に基づいて音譜として形式化することが可能になる。或いは、センサによって観察された連続データの記号表現への変換処理であると考えられるデータ中の知識の発見を実現することが可能になる。
【００７８】
本発明の情報システムは、連続的な信号を論理と融合する必要があるロボティクスに適用することが可能である。
【図面の簡単な説明】
【図１】認知の世界、情報の世界及び物理的世界の間の関係を示す図である。
【図２】本発明による論理推論のための遷移行列の説明図である。
【図３】本発明による遷移の過程及び学習を表わすニューラルネットワークの構成図である。
【図４】本発明の一実施例による情報処理システムの構成図である。
【図５】本発明の一実施例による状態の分割の説明図である。
【符号の説明】
１ 記号処理層
２ 非記号処理層
１０ 記号処理プロセッサ
１２ 知識ベース
２０ 非記号処理プロセッサ
３０ 自動コーダ
３２ 自動デコーダ
Claims (3)
- Ｑが限量子、ｘが変数、ｄ＝｛ａ１，ａ２，．．．，ａｎ｝が変数のドメイン集合、Ｆ（ｘ）及びＧ（ｘ）が述語を表すとき、論理式（Ｑｘ／ｄ）［Ｆ（ｘ）→Ｇ（ｘ）］で表される論理推論を実行する記号処理プロセッサを含む記号処理層と、
入力ノード、出力ノード、前記入力ノードから前記出力ノードへのアーク、及び、前記アークの重みを学習によって修正するフィードバック経路を含むニューラルネットワークにより構成された非記号処理層と、
前記記号処理層と前記非記号処理層との間に接続され、前記非記号処理層の前記ニューラルネットワークの前記入力ノードを状態数がＮである確率過程の入力確率ベクトルＰ ＊ ＝（ｐ ＊ １，ｐ ＊ ２，．．．，ｐ ＊ Ｎ）に対応付け、前記アークの重みを前記確率過程の遷移行列Ｔ（Ｎ行Ｎ列）の要素に対応付け、前記出力ノードを前記確率過程の出力確率ベクトルに対応付け、
前記ドメイン集合の状態ベクトル及び前記論理式により前記論理推論の実行条件を満たす前記論理推論の遷移行列を作成し、前記論理推論の前記遷移行列を前記論理推論に用いられる前記ドメイン集合及び前記論理式へ変換する自動コーダと、
を有し、
前記自動コーダが、
（ i ）２ ｎ ≧Ｎを満たす最小のｎを求め、
（ ii −１）前記確率過程のＮ個の状態のうち（２ ｎ −Ｎ）個の状態をそれぞれ２個ずつに状態分割し、
（ ii −２）前記ドメイン集合ｄの述語Ｆに関する状態ベクトルの各状態の確率ｐｋ（但し、ｋ＝１，２，．．．，２ ｎ ）を要素とする確率ベクトルＰ Ｆ ＝（ｐ１，ｐ２，．．．，ｐ２ ｎ ）が、Ｐ ＊ から状態分割を行った入力確率ベクトルＰ’＝（ｐ’１，ｐ’２，．．．，ｐ’２ ｎ ）と一定の誤差範囲内で一致するように、前記ドメイン集合ｄの各要素に与えられる述語Ｆ（ａ ｉ ）（但し、１≦ｉ≦ｎ）の生起確率ｑ ｉ を求め、
（ ii −３）前記生起確率ｑ ｉ が求められた場合、状態分割に対応するように前記遷移行列Ｔを拡大し、拡大された遷移行列（２ ｎ 行２ ｎ 列）が元の状態数Ｎに戻された場合に前記遷移行列Ｔに戻るかどうかを判定し、
（ iii ）前記確率ベクトルＰ Ｆ が前記入力確率ベクトルＰ ＊ と一定の誤算範囲内で一致するという条件を満たす状態分割及び生起確率ｑ ｉ が (ii −１ ) において求められない場合、前記ドメイン集合ｄ内の要素数ｎを１ずつ増加させて（ ii −１）、 (ii −２ ) 及び（ ii −３）を繰り返すことにより、
前記確率ベクトルＰ Ｆ が前記入力確率ベクトルＰ ＊ と一定の誤差範囲内で一致するように、前記ドメイン集合ｄの各要素に与えられる前記述語Ｆ（ａｉ）の生起確率ｑ ｉ を定める、情報処理システム。 - 前記記号処理層と前記非記号処理層との間に接続され、前記記号処理層で論理推論に用いられる前記ドメイン集合及び前記論理式を前記非記号処理層の前記ニューラルネットワークで実行される前記確率過程の前記遷移行列及び前記入力確率ベクトルへ変換する自動デコーダ、を更に有する請求項１記載の情報処理システム。
- Ｑが限量子、ｘが変数、ｄ＝｛ａ１，ａ２，．．．，ａｎ｝が変数のドメイン集合、Ｆ（ｘ）及びＧ（ｘ）が述語を表すとき、論理式（Ｑｘ／ｄ）［Ｆ（ｘ）→Ｇ（ｘ）］で表される論理推論を実行する記号処理プロセッサを含む記号処理層と、
入力ノード、出力ノード、前記入力ノードから前記出力ノードへのアーク、及び、前記アークの重みを学習によって修正するフィードバック経路を含むニューラルネットワークにより構成された非記号処理層と、の間に接続され、
前記非記号処理層の前記ニューラルネットワークの前記入力ノードを状態数がＮである確率過程の入力確率ベクトルＰ ＊ ＝（ｐ ＊ １，ｐ ＊ ２，．．．，ｐ ＊ Ｎ）に対応付け、前記アークの重みを前記確率過程の遷移行列Ｔ（Ｎ行Ｎ列）の要素に対応付け、前記出力ノードを前記確率過程の出力確率ベクトルに対応付け、前記ドメイン集合の状態ベクトル及び前記論理式により前記論理推論の実行条件を満たす前記論理推論の遷移行列を作成し、前記論理推論の前記遷移行列を前記論理推論に用いられる前記ドメイン集合及び前記論理式へ変換する自動コーダであって、
（ i ）２ ｎ ≧Ｎを満たす最小のｎを求め、
（ ii −１）前記確率過程のＮ個の状態のうち（２ ｎ −Ｎ）個の状態をそれぞれ２個ずつに状態分割し、
（ ii −２）前記ドメイン集合ｄの述語Ｆに関する状態ベクトルの各状態の確率ｐｋ（但し、ｋ＝１，２，．．．，２ ｎ ）を要素とする確率ベクトルＰ Ｆ ＝（ｐ１，ｐ２，．．．，ｐ２ ｎ ）が、Ｐ ＊ から状態分割を行った入力確率ベクトルＰ’＝（ｐ’１，ｐ’２，．．．，ｐ’２ ｎ ）と一定の誤差範囲内で一致するように、前記ドメイン集合ｄの各要素に与えられる述語Ｆ（ａ ｉ ）（但し、１≦ｉ≦ｎ）の生起確率ｑ ｉ を求め、
（ ii −３）前記生起確率ｑ ｉ が求められた場合、状態分割に対応するように前記遷移行列Ｔを拡大し、拡大された遷移行列（２ ｎ 行２ ｎ 列）が元の状態数Ｎに戻された場合に前記遷移行列Ｔに戻るかどうかを判定し、
（ iii ）前記確率ベクトルＰ Ｆ が前記入力確率ベクトルＰ ＊ と一定の誤算範囲内で一致するという条件を満たす状態分割及び生起確率ｑ ｉ が (ii −１ ) において求められない場合、前記ドメイン集合ｄ内の要素数ｎを１ずつ増加させて（ ii −１）、 (ii −２ ) 及び（ ii −３）を繰り返すことにより、
前記確率ベクトルＰ Ｆ が前記入力確率ベクトルＰ ＊ と一定の誤差範囲内で一致するように、前記ドメイン集合ｄの各要素に与えられる前記述語Ｆ（ａｉ）の生起確率ｑ ｉ を定める、
自動コーダ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15270296A JP3921259B2 (ja) | 1996-06-13 | 1996-06-13 | 記号的処理を可能にする非記号処理装置と、情報処理システム及びその自動コーダ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15270296A JP3921259B2 (ja) | 1996-06-13 | 1996-06-13 | 記号的処理を可能にする非記号処理装置と、情報処理システム及びその自動コーダ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09330306A JPH09330306A (ja) | 1997-12-22 |
| JP3921259B2 true JP3921259B2 (ja) | 2007-05-30 |
Family
ID=15546286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15270296A Expired - Lifetime JP3921259B2 (ja) | 1996-06-13 | 1996-06-13 | 記号的処理を可能にする非記号処理装置と、情報処理システム及びその自動コーダ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3921259B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018208813A1 (en) * | 2017-05-09 | 2018-11-15 | Sri International | Deep adaptive semantic logic network |
| US20240062084A1 (en) * | 2021-01-15 | 2024-02-22 | Mitsubishi Electric Corporation | Information processing apparatus and information processing method |
-
1996
- 1996-06-13 JP JP15270296A patent/JP3921259B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09330306A (ja) | 1997-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Tree-structured decoding for solving math word problems | |
| Qin et al. | Learning how to ask: Querying LMs with mixtures of soft prompts | |
| Schreiber et al. | The KACTUS view on the ‘O’word | |
| Dechter et al. | Bootstrap learning via modular concept discovery | |
| Stenetorp | Transition-based dependency parsing using recursive neural networks | |
| CN112579794B (zh) | 一种为中英文单词对预测义原树的方法及系统 | |
| Turchin | A constructive interpretation of the full set theory | |
| Kantarcı Savaş et al. | A fuzzy ID3 induction for linguistic data sets | |
| Jarvis et al. | On the specialization of neural modules | |
| Madaan et al. | Conditional set generation using seq2seq models | |
| Aakur et al. | Leveraging symbolic knowledge bases for commonsense natural language inference using pattern theory | |
| Mandlecha et al. | Hybrid tokenization and datasets for solving mathematics and science problems using transformers | |
| JP3921259B2 (ja) | 記号的処理を可能にする非記号処理装置と、情報処理システム及びその自動コーダ | |
| Zhou et al. | What happens next? Combining enhanced multilevel script learning and dual fusion strategies for script event prediction | |
| Arun | Connectionist symbol processing: Dead or alive? | |
| Choubey et al. | Developing genetic algorithm library using Java for CFG induction | |
| CN114579605A (zh) | 表格问答数据处理方法、电子设备及计算机存储介质 | |
| Costa | On discovering scientific laws | |
| CN114020931A (zh) | 知识图谱问答问句实体链接方法及装置 | |
| Ishdorj et al. | Replicative–distribution rules in P systems with active membranes | |
| Greinke | Legal expert systems: A humanistic critique of mechanical legal inference | |
| van der Velde | Is the brain an effective Turing machine or a finite-state machine? | |
| Elizondo et al. | Current trends on knowledge extraction and neural networks | |
| Vai et al. | Representing knowledge by neural networks for qualitative analysis and reasoning | |
| Gong et al. | Bridge the gap between fixed-length and variable-length evolutionary neural architecture search algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |