JPH0934863A - ニューラルネットワークによる情報統合処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 パターン情報と言語的情報とを同時に考慮
し、かつ、時系列情報と画像情報とを統合処理するよう
にし、また、リアルタイムで適切に収束判定を行うこと
により、高速・高精度な認識処理を可能とするニューラ
ルネットワークによる情報統合処理方法を提供するこ
と。 【構成】 手話認識を例にすると、まずデータグローブ
を用いて手動作の時系列データ１０６を得、ＣＣＤカメ
ラを用いて口形や表情等の画像データ１０７を得る。入
力された時系列データから手動作の個々の構成要素であ
る手話素の認識処理１１１が行われ、更にその手話素か
ら手話単語認識処理１１２が行われる。手話単語認識処
理の結果に対してネットワークでの認識処理１１３を行
う。そこでは意味的な共起関係も考慮して最適化処理
し、かつ、漸近特性をモニターして収束判定を行うこと
により、手話文を高速・高精度に認識できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワーク
による情報統合処理方法に関し、特にこれに基づくパタ
ーン認識方法に関する。より具体的には、手話認識方法
あるいは音声認識方法等に有効に利用し得るパターン認
識方法に関する。

【０００２】

【従来の技術】従来、この種の認識方式としては、例え
ば、佐川等による「圧縮連続ＤＰ照合を用いた手話認識
方式」(電子情報通信学会論文誌 Ｄ-II Ｖol.J77-Ｄ-II,
Ｎo.4,pp.753-763,1994年4月、以下、「文献１」という)
や、酒匂等による「手話通訳装置および手話通訳システ
ム」(特開平6-67601号公報、以下、「文献２」という)に述
べられている如く、手話認識処理においてパターン的情
報のみに着目してＤＰマッチング処理等を適用し、一
方、言語的な制約として意味的な共起関係までも同時に
考慮するような処理は行われていなかった。また、例え
ば、本発明者等により提案されている「ニューロ処理と
統計処理との融合処理方法」(特願平5-335664号 平成5年
12月28日出願、以下、「文献３」という)や、同じく本発
明者等により提案されている「平均場近似アニーリング
法の最適解に対する漸近的特性」(1992年電子情報通信学
会春期大会予稿集 Ｄ-32,pp.6-32,1992年、以下、「文献
４」という)に述べられている如く、平均場近似アニーリ
ング法によって最適化を行う際に、反復状態更新の収束
判定条件で使用する臨界温度パラメータを事前に調査す
る必要があった。

【０００３】

【発明が解決しようとする課題】すなわち、従来は、言
語的制約を受けている計測データについての認識処理に
おいて、パターン情報と言語的情報とを影響の大きさの
重み付けを考慮して同時に認識処理することは行われて
いなかった。また、平均場近似アニーリング法によって
最適化を行う際に、反復状態更新の収束判定条件で使用
する臨界温度パラメータを事前に調査する必要があっ
た。本発明は上記事情に鑑みてなされたもので、その目
的とするところは、従来の技術においては考慮されてい
なかった、パターン情報と言語的情報とを同時に考慮
し、かつ、時系列情報と画像情報とを統合処理するよう
にし、また、リアルタイムで適切に収束判定を行うこと
で、高速・高精度な認識処理を可能とするニューラルネ
ットワークによる情報統合処理方法を提供することにあ
る。

【０００４】

【課題を解決するための手段】本発明の上述の目的は、 (１)手話や音声等の言語的制約を受けるパターン的情報
に関する計測データの認識処理において、前記パターン
的情報データと言語的情報データとに基づいてニューラ
ルネットワークを構成する２次以上からなる結合荷重と
しきい値とを決定し、それらの結合荷重およびしきい値
をパラメータとして構成される目的関数であるエネルギ
ー関数を設定する際に、各情報要因に該当する項の係数
値の大きさを各情報要因を考慮する比率として予め調整
しておき、適切なエネルギー最小化方法に基づき人工ニ
ューロン素子の出力状態について反復状態更新を行い、
最終的に収束した人工ニューロン素子の出力状態分布を
認識結果として採用することを特徴とするニューラルネ
ットワークによる情報統合処理方法。 (２)上述のエネルギー最小化方法の１つである平均場近
似アニーリング法において、反復状態更新時に反復計算
回数に対してエネルギー値が大局的最適解へ向かう漸近
線の傾き係数をモニターし、その傾き係数に有意な変化
が見られた時点で温度パラメータが臨界温度以下になっ
ていると判断して反復演算処理を停止することを特徴と
する、上記(１)記載のニューラルネットワークによる情
報統合処理方法。もしくは、 (３)学習過程においては、認識対象から計測された画像
データと時系列データとを別々の特徴抽出用ニューラル
ネットワークに入力して、入力パターンと出力パターン
とを等しくさせる恒等写像の学習を行い、この際、中間
層の人工ニューロン素子数を情報量基準に基づいて最適
な値に調整しておくこととし、次に恒等写像を連想した
ときに各中間層に出現するパターンを認識用ニューラル
ネットワークに入力して学習を行っておき、新規パター
ンの認識過程においては、画像データと時系列データと
を、恒等写像を学習済みの各ニューラルネットワークへ
入力し、中間層に出現したパターンを特徴量データとし
て認識用ニューラルネットワークへ入力したときに出力
されるパターンとして認識結果を得ることを特徴とする
ニューラルネットワークによる情報統合処理方法。によ
って達成される。

【０００５】

【作用】本発明に係るニューラルネットワークによる情
報統合処理方法においては、手話や音声等の言語的制約
を受けているパターン的情報に関する計測データから認
識処理を行うために、パターン的情報データと言語的情
報データとを反映させてニューラルネットワークを構成
する２次以上の結合荷重およびしきい値を決定する。そ
れらの結合荷重およびしきい値をパラメータとした目的
関数であるエネルギー関数を設定する際に、各情報要因
に該当した項の係数値の大きさを各情報要因を考慮する
重みとしてあらかじめ調整しておく。そして適切な最適
化方法を適用して人工ニューロン素子の出力状態に関し
て反復状態更新を行い、最終的に収束した人工ニューロ
ン素子の出力状態分布を認識結果とする。これにより、
パターン的情報と言語的情報とを同時に考慮した形で認
識処理を実現することが可能となる。また、平均場近似
アニーリング法を適用して最適化計算を行う際に、反復
計算回数に対してエネルギー値が大局的最適解へ向かう
漸近線の傾き係数をモニターし、その傾き係数に有意な
変化が見られた時点で温度パラメータが臨界温度以下に
なっていると判断して反復演算処理を停止するようにす
る。これにより、事前に臨界温度の推定処理を行う必要
がなくなる。

【０００６】

【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。図１は、本発明の一実施例に係る手話認識
用システムの全体構成を示す図である。本実施例に係る
システムでは、図１に示すようなコンピュータシステム
を利用して、ニューラルネットワークによる情報統合処
理等の計算を実現する。図１に示すシステムにおいて
は、入力センサ１０４を通して時系列データあるいは画
像データ等を計測し、キーボード１０３を通してパラメ
ータデータを入力し、外部メモリ１０５にデータを貯蔵
し、コンピュータ１０２により演算を実行して、ディス
プレイ１０１を通して演算結果を表示する。

【０００７】＜実施例１＞ここでは、説明をより具体的
にするため、手話認識用システムを例に取る。図２に、
システムの機能構成を示す。手話では、手の動作以外に
口の形(口形)や表情を使って情報を伝達している。本シ
ステムでは、データグローブを用いて手動作の時系列デ
ータ１０６を得る。時系列データとしては、３２次元の
データが得られる。また、ＣＣＤカメラを用いて口形や
表情等の画像データ１０７を得る。高精度でロバスト性
の高い認識を行うためには、時系列情報と画像情報との
異種情報統合認識１１４が有効である。更に、マイクロ
フォンを用いて音声の時系列データ１２０(健常者の場
合)や、キーボードを用いて文章の文字データ１２２を
取り入れて、異種情報統合認識１１４を行うことができ
る。一般に、入力手段を増やして情報量を増加させるこ
とによって、認識精度の向上が期待できる。

【０００８】データグローブから入力された時系列デー
タ１０６を使い、手動作の個々の構成要素である手話素
の認識処理１１１が行われる。更に、認識された手話素
を用い、手話単語認識処理１１２が行われる。従来はデ
ータグローブから採取された時系列データ全体にＤＰマ
ッチング処理を施すことによって、直接に手話単語認識
を行っていた。なお、計測データから直接手話単語認識
を行うよりも、手話素認識を行ってからの方が、認識精
度が向上すると期待される。手話単語認識処理１１２の
結果として、複数の単語候補が一般に出力される。本実
施例においては、コネクショニストモデルの一つである
確率的最適化方式に基づくネットワーク(以下、「確率的
最適化ネットワーク」と呼ぶ)での認識処理１１３を行
う。この処理では、意味的な共起関係をも考慮して最適
化処理を実行することにより、手話文を一意に高精度に
認識できる。意味的な共起関係データ１１８は、適切な
手話文のコーパス１１６を入力として自己組織化に基づ
く学習処理１１７を行って、事前に作成しておく。

【０００９】図３は、図２に示した処理の全体のフロー
チャートである。以下、図３に基づいて動作を説明す
る。演算の開始(ステップ２０１)の後、まず、共起関係
データの自己組織化による作成(ステップ２０２)を行っ
ておく。次に、認識対象から、時系列データと画像デー
タの取り込み(ステップ２０３)を行い、そのデータに対
して手話素・手話単語の認識処理および口形・表情の特
徴抽出(ステップ２０４)を施し、ネットワークでの手話
文認識処理(ステップ２０５)を行う。そして、時系列認
識結果と画像認識結果からの統合認識処理(ステップ２
０６)を行い、認識結果が出力(ステップ２０７)され
て、演算の終了(ステップ２０８)となる。前述の確率的
最適化ネットワークは、コネクショニストモデルの一つ
であり、ノード(人工ニューロン素子に相当する)間のリ
ンクが確率として定義されていることを特徴とする。本
実施例では、問題を表現するネットワークのリンクが、
２項関係の場合を取り上げて、文献３および文献４で記
述している高速近似最適化手法である 平均場近似アニ
ーリング(Ｍean Ｆield Ａpproximate Ａnnealing、以
下、「ＭＦＡＡ」と略す)法を適用している。

【００１０】単語とネットワークのノードとを１対１で
対応させ、ノードの出力値 _iを例えば{０，１}の２値と
定義して、Ｖ_i＝１であれば ｉ番目の単語が解として選
択され、Ｖ_i＝０であれば、選択されなかったことを表
現するものとした。ＤＰマッチングによる手話単語認識
処理によって、複数の単語候補がリストアップされ、そ
の出力は、例えば、図４の形式となる。図４中で、各線
分３０６〜３１１が各々１つの単語を表わしている。ｉ
を単語番号とすると、縦方向はＤＰマッチング処理での
認識対象パターンと基準パターンとの誤差である距離３
０２を示しており、横方向は時間３０１の経過を示して
いる。例えば、単語候補１には、距離値Ｄ₁ ３０５と単
語の始点時間Ｔｓ₁ ３０３、終点時間Ｔｅ₁ ３０４が決
められている。なお、Ｔを１つの文の時間長とする。

【００１１】本発明では、パターンの制約や共起関係の
制約を表わすために、以下の４項目の目的関数を設定し
た。 (ａ)総距離の最小化：選択された単語の総距離を最小化
する。

【数１】 式(１)は、解として選択された単語(すなわち、Ｖ_i＝１
であるもの)の距離Ｄ_iの総和を示している。この総距離
が小さいほど、ＤＰマッチング処理におけるマッチング
性の高い単語の組み合わせが選択されたことを示す。

【００１２】(ｂ)連続性の成立：単語が時間的に連続に
つながるようにする。

【数２】 上述の式(２)は、解として選択された単語(すなわち、
Ｖ_i＝１であるもの)の時間長(すなわち、Ｔｅ_i−Ｔｓ_i)
の総和と、その文全体の時間長Ｔとの差の２乗として単
語の連続性を定義する。つまり、この値が小さくなり最
小値０に近づく程、選択された単語を連ねたときの時間
長が文全体の時間長に近くなることを示している。

【００１３】ここで、式(２)において、Ｔ・Ｔは Ｖ_iに
依存しない定数であるから省略すると、結局、最小化と
して考慮すべき式は、以下のようになる。

【数３】 (ｃ)同時性の排除：複数の単語が同時に生起しないよう
にする。

【数４】

【００１４】ｉ番目の単語とｊ番目の単語の重なり時間
長をＳ_ijとおくと、式(４)は、解として選択された２単
語間の重なり時間の総和を示している。ここで、分母項
は２単語のうち時間長(すなわち、Ｔｅ_x−Ｔｓ_x)が短い
方の値であり、正規化のために設けているものである。
この値が小さくなり最小値０に近づく程、選択された単
語間に時間的な重複がなくなることを示している。 (ｄ)共起性の成立：単語の共起性の強い組み合わせを選
択する。ｉ番目の単語とｊ番目の単語との共起の強さを
Ｋ_ijとする。

【数５】

【００１５】式(５)は、解として選択された２単語間の
共起性の強さを文全体で総和することを示している。単
語間の共起性の強い組み合わせが選択されるほど、この
値は小さくなる。参照データＫ_ijは、事前に準備してお
く必要がある。この２単語間の共起関係を自己組織化に
より獲得するための手法は、後述する。最終的な目的関
数Ｇ(Ｖ_i)は、以上４項目 Ｆ₁(Ｖ_i)〜Ｆ₄(Ｖ_i)の重み付
き線形和として、式(６)のように表わす。

【数６】 ここで、 係数Ｃ_i(ｉ＝１，・・・，４)は任意の定数で
あり、それぞれの目的関数の重要性を反映して適切な値
に設定することが可能である。

【００１６】図５に、ネットワークによる求解手順を示
す。本問題に対しては、ネットワーク構造として相互結
合型を使用する。１ノードを１単語４１２に対応させ、
各ノードはしきい値４０９を持ち、２つのノード間には
結合荷重４０８が存在する。このネットワークで使用す
るパラメータである結合荷重およびしきい値は、手話デ
ータ４０１の時系列データをＤＰマッチング処理４０４
した結果と、手話コーパスから自己組織化４０６した共
起関係データとを用いて計算４０５する。具体的な計算
式の導出を、以下に述べる。最適化問題を解くためのネ
ットワークのエネルギー関数は、一般に２次形式

【数７】 として与えられる。ここで、Ｗ_ijはｉ番目のノードとｊ
番目のノードとの結合荷重、Ｉ_iはｉ番目のノードのし
きい値を表わす。

【００１７】この式(７)と式(６)とが等価であるとして
比較すると、

【数８】

【数９】 となる。ここで、反復状態更新に基づく最適化処理での
収束性が保証されるためには、Ｗ_ij＝Ｗ_jiの対称性とＷ
_ii＝０の自己結合零であることが条件であることが知ら
れている。Ｗ_ij＝Ｗ_jiの対称性は、Ｋ_ijを対称に設定す
ることによって、満足される。Ｗ_ii＝０の自己結合零と
いう条件を満足させるために、式(８)と式(９)とを変形
する必要がある。ここで、ノードの出力値が{０，１}で
あれば、Ｖ_i・Ｖ_i＝Ｖ_iの関係が成立している。

【００１８】この関係と式(７)とを利用して、式(８)と
式(９)を変形すると最終的に

【数１０】

【数１１】 となる。従って、ノード出力値が{０，１}と定義された
ネットワークモデルに対して、ネットワークの結合荷重
およびしきい値の設定は、式(１０)と式(１１)とに従え
ば良い。

【００１９】一方、ＭＦＡＡ法では、ノード出力が{−
１，１}となる必要がある。そこで、この出力形式に対
応させるための変形を行う。この場合のノード出力をＶ
_i’とすると、

【数１２】 の線形変換が成立する。この式(１２)を式(７)に代入す
れば、

【数１３】 となる。

【００２０】この式(１３)より、ノード出力{−１，１}
に対応した結合荷重Ｗ_ij’およびしきい値Ｉ_i’は、

【数１４】

【数１５】 となる。ここで、Ｗ_ijは式(１０)、Ｉ_iは式(１１)に従
う。なお、式(１３)の第３項目および第４項目は、ノー
ド出力に依存しない定数であるため省略した。

【００２１】結局ノード出力が{−１，１}で記述される
モデルに対しては、ネットワークを式(１４)と式(１５)
とに従い、設定すれば良い。以上のようにして設定した
ネットワークに対して、エネルギー最小状態を求めるた
めに、本実施例ではＭＦＡＡ法に基づく反復状態更新計
算を行う。計算の初期には各ノードは適当な初期状態４
０７に設定されているが、充分な回数の状態更新４１０
により、最終的にエネルギー(準)最小の安定状態４１１
に到達する。そのとき発火している単語の組み合わせ
が、手話文の認識結果になる。

【００２２】相互結合型ネットワークによる最適化問題
の求解技法として、最急降下法が、その簡便さと汎用性
とから広範囲な応用分野への適用例が報告されている。
しかし、この方法では、局所的極小解へのトラップとい
う問題が生じる。それを回避するために、エネルギー関
数の最小化を確率分布(ボルツマン分布)の最大化に置き
換えて最適化を図る手法として Ｓimulated Ａnnealing
(以下、「ＳＡ」と略す)法が提案されており、近年、種々
の分野への応用展開が進展している。しかし、このＳＡ
法には、極めて長い計算時間がかかるという問題があっ
た。こうした問題を克服するものとして、前述のＳＡ法
の高速近似解法であるＭＦＡＡ法がある(文献４参照)。

【００２３】これまでの方法では、１つのノードに着目
したとき他のノードがそれに及ぼす作用は、本来他のノ
ード状態に依存して様々な値を確率的に取っていた。し
かしながら、ＭＦＡＡ法では、その作用が平均的に定ま
るある場としてそのノードに働くと近似する。その平均
場中の１つのノード出力の平均値 ｍ_iは、統計力学的手
法である平均場近似法により解析的に計算でき、その結
果は次式となる。

【数１６】 ここで、ノード出力の取り得る状態範囲は、−１以上か
つ１以下の連続値であり、Ｔは温度パラメータである。

【００２４】式(１６)で得られるのは、あくまでもボル
ツマン分布に従うノード出力の平均値である。そこでノ
ード出力が２値化された状態配置を求めるために、数値
計算での反復解法処理時に Ｔ→０という冷却操作を行
うことにより、{ｍ_i}はボルツマン分布を最大化する状
態配置と近似的に等価となる。なお、ＭＦＡＡ法の適用
は２ノード間の結合のみからなるネットワークに限定さ
れるわけではなく、３ノード間以上の高次結合を有する
ネットワークをも対象としている。ＮＰ完全問題の範疇
に属するスピングラスのエネルギー最小化問題をベンチ
マーク問題とした場合に、大局的最適解へ接近する漸近
的特性が、ＳＡ法では反復回数ｔの対数の逆数 ｃ/log
(ｔ)に比例することが知られている。

【００２５】それに対して、ＭＦＡＡ法では 反復回数
のべき乗の逆数 ｃ/ｔ^aに比例することを数値実験で確
認している(文献４参照)。つまり、無限の反復計算が可
能ならＳＡ法を用いて大局的最適解へ到達できるが、有
限時間の数値計算では、ＭＦＡＡ法の方が大局的最適解
に対して質的に高速に接近できるため有効である。従来
は、計算の終了を収束判定条件

【数１７】 により判断するか、あるいは最大更新回数への到達で判
断して来た。ここでは、式(１７)の条件(ｓ＝０.０００
０１)を満足するまでとする。

【００２６】また、各ノードの状態更新は、リミットサ
イクルのような周期解を回避するために、非同期的に行
った。また、本報告の数値実験では、各ノードの初期状
態を正規分布(平均値０)に従う乱数として与えた。エネ
ルギー関数の設定の妥当性を、選択単語数が既知とした
場合の全解探索の実験により検討した。実験に使用した
データを、図６〜図８に示す。このデータは、データグ
ローブでの採取データに対して、ＤＰマッチングを適用
して得られた手話単語候補出力である。

【００２７】図６の正解組み合わせは、「病気」５０１，
「何」５０４，「ですか」５０５、図７では「食欲」５２０，
「大丈夫」５１６，「ですか」５１８、また、図８では「口」
５３３，「開ける」５３５，「下さい」５３０であり、すべ
て正解単語数は３個であり、候補として参照した単語数
はＤＰマッチングの距離が小さい順に１０個とした。従
って、調査する単語の組み合わせ数は、１０個から３個
を取り出す組み合わせであるので、１２０通りである。
式(６)の係数Ｃ₁〜Ｃ₄を適切に調整することによって、
どのサンプルについてもエネルギー最小値が正解の状態
配置となった。そのときの単語組み合わせを図９〜図１
１に示す。

【００２８】このときの係数の組み合わせ(Ｃ₁，Ｃ₂，
Ｃ₃，Ｃ₄)は、図９では (１.０，０.５，０.５，１.
０)、図１０では (１.０，０.５，０.５，１.０)、ま
た、図１１では (１.０，０，０，１.０)とした。チュ
ーニング時の設定係数の傾向として、ＤＰマッチングの
距離 (係数Ｃ₁)と共起関係(係数Ｃ₄)の影響の比重を高
くした場合に 良好な結果が得られる。図８について
は、時系列に関する制約である連続性の成立 (係数Ｃ₂)
および同時性の排除 (係数Ｃ₃)に関して０に設定して
も、正解組み合わせが得られた。しかしながら、図６お
よび図７については、その影響を考慮しないと正解が得
られず、一般にはある程度時系列に関する制約が重要で
あり、それを考慮することが必要だと考えられる。

【００２９】認識精度を向上させるためには、単語間の
共起情報を考慮に入れて最適化を行う。その共起情報
は、事前にルックアップテーブルとして、構築しておく
必要がある。共起情報の自己組織化のために、本発明で
は、ヘブ則に基づく教師なし学習方式を適用する。ヘブ
則は神経回路網における自己組織化の基本的なモデルで
あり、「ニューロンＡとニューロンＢとのシナプス結合
はＡとＢとが同時に発火したときに形成され、既に結合
が存在すれば、シナプス結合の伝達効率が更に上昇す
る」というものである。そのシナプス結合の時間発展の
差分方程式は、次式に従う。

【数１８】

【００３０】ここで、ニューロンの発火状態Ｘ_i＝{０，
１}を ｉ番目の単語の活性値、シナプス結合Ｍ_ijをｉ番
目の単語とｊ番目の単語との共起性の強さとして、ａは
適切な定数とする。ヘブ則では、Ｍ_ijが発散してしまう
という欠点がある。そこで、発散を抑止するため以下の
ように正規化処理を導入する。

【数１９】 以上の式(１８)と式(１９)とに基づき決定されたＭ
_ijを、前に導出された結合荷重およびしきい値の式に代
入して、ネットワークを構築することができる。なお、
これは２単語間の共起関係だけに限定されるものではな
く、３単語以上の共起関係についても同様にして定式化
することができる。また、予めクラスタリング処理等に
よって意味的な共起関係が強い単語同士をいくつかのク
ラスタに分けておき、各クラスタ毎にヘブ則を適用して
後述する共起関係テーブルを構築しておけば、認識処理
時に一層の高精度化を図ることが可能である。

【００３１】便宜的に作成した小規模の手話文コーパス
を用いて、共起情報テーブルの構築実験を行った。実験
条件は、登録単語数を２６単語とし、その単語を用いて
２〜６単語の組み合わせからなる手話文を１６４文作成
して、そのコーパスを、学習用データとして使用した。
具体的なアルゴリズムは、１つの単語を１つのノードに
対応させ、文内の連続する２単語毎に対応するノードＸ
_iとＸ_jの活性値を１として、式(１８)および式(１９)に
従ってＭ_ijを更新する。ここで、初期値はＭ_ij＝０
(ｉ，ｊ＝１,・・・・２６)とし、学習係数はａ＝０.１とし
た。学習は、全データを１通り呈示することにより、収
束する。

【００３２】本方式により構築された共起関係のルック
アップテーブルを、図１７に示す。正規化処理の導入に
よって、共起強さは０以上１以下の範囲で分布している
ことが表から分かる。小規模なコーパスから構築したた
め、共起強さが０の単語組み合わせが多く見られる。コ
ーパスを大規模化することによって共起強さが０の単語
組み合わせが減って、全体がばらつくものと考えられ
る。なお、新規コーパスが得られたとき、本方式ではす
でに構築されている状態から追加学習を行うことが可能
である。図１７において、例えば、行「頭」と列「とても」
の単語組み合わせの共起強さが０.５６０の値になって
いる。こうした組み合わせは 本来意味的な共起性は弱
い筈であるが、コーパスの文中にて連続して出現したた
めに、ある程度の共起強さを獲得している。こうした組
み合わせを排除できれば、よりシステムの精度向上が可
能となる。

【００３３】従って、最初に、クラスタリング処理等を
導入して共起関係の強い単語のクラスタを作り、次に、
それぞれのクラスタ毎にヘブ則を適用して自己組織化を
行い共起関係テーブルを構築しておくという方式が有効
である。ＭＦＡＡ法を用いて、上記エネルギー関数設定
に基づき認識実験を行った結果を、図１６に示す。実験
条件は、１〜４単語からなる１０文について、特定話者
による各文を１０回ずつ繰り返し、合計１００文を対象
とした。エネルギー関数の係数のチューニングは、文番
号１について４人の話者による合計４０文を用いて全解
探索により決定し、係数(Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄)を、
(１，０.００１，１，１)とした。ここで、ノード数は
１０とし、計算量の節約のために、発火ノード数が１個
から６個までの各組み合わせについて、全解探索を行っ
た。また、反復回数をｔで表わして冷却スケジュールＴ
(ｔ)をＴ(ｔ)＝Ｃ／ｔとし、定数Ｃはチューニングによ
り１００とした。

【００３４】文番号１は係数のチューニングに使用した
文であり、これについては、ＭＦＡＡ法を適用しても１
０回すべて正解値に到達し、正解率１００％である。他
の文に対しては正解回数がばらつき、全体で正解回数が
６１回となり、正解率は平均６１％(標準偏差４８.１)
となった。ここでは、エネルギー関数の係数を、文番号
１のみに対して最良となるように決定していた。複数の
文を対象にしてチューニングするようにすれば、更に認
識率はばらつきが少なく安定して、かつ、全体として精
度向上することが期待される。具体的なパラメータチュ
ーニングの手順は、例えば、正解組み合わせでのエネル
ギー値と全解探索で調べた最小エネルギー値との差をと
って、それを正解組み合わせでのエネルギー値により規
格化したものを誤差値とし、１０種類の文それぞれに関
して誤差値を算出して、その平均が最小となるように係
数を設定するというやり方が考えられる。

【００３５】各試行での収束までには、およそ５０回程
度の反復で充分であった。全解探索(発火数１個〜１０
個)で調査される組み合わせ数は、ノード数１０の問題
に対しては１０４８通りであるが、より長い文に対応さ
せてノード数を増加させて行ったときには組み合わせ爆
発の問題が発生する。シミュレーションでの計算時間比
較によると、ノード数１０ではＭＦＡＡ法の高速性は約
４倍であったが、ノード数１５では約１２８倍、ノード
数２０では約４０９６倍の差が生じると推定される。従
って、問題の規模が大きくなるほど、本方式の有効性は
発揮されると言える。本実施例の最後に、異種情報統合
認識の方式を、図１２に示す。時系列データ７０１と画
像データ７０２の各々について、予め特徴抽出用ネット
７０６において別々の多層型ニューラルネットワークを
用いて恒等写像を学習しておく。

【００３６】上述の学習時に、情報量基準であるＡＩＣ
やＭＤＬＰを用いて中間層のサイズ最適化７０８を行っ
ておく。その基本的な考え方は、自由度(ここでは 中間
層サイズ)、学習パターン数，学習誤差から決まる情報
量基準が 最小となるような自由度のときに、システム
の汎化能力が最良となることに基づいている。この処理
により、中間層７１０および７１３において最小で、か
つ、十分な情報量を含んだ特徴量パターンが出現する。
異種情報データの統一的な取り扱いを指向したときに、
ニューロという非線形性フィルタによる変換のもとで抽
出されたこの特徴パターンは、いわば、中間言語の役割
を果たすものとみなせる。認識時には、時系列データと
画像データの各々について中間層に出現したパターンを
変換された特徴量として、単一の学習済み認識用ネット
ワークの入力層７１５へ入力して、出力層７１７の出力
として認識結果７０５を得ることができる。

【００３７】図１３は、図１２で示した処理の全体のフ
ローチャートを示す。以下、図１３に基づいて動作を説
明する。演算の開始(ステップ８０１)の後、まず、時系
列データおよび画像データの恒等写像学習用の多層型ニ
ューラルネットワークを特徴抽出用ネットとして準備
(ステップ８０２)しておく。次に、特徴抽出用ネットで
時系列データおよび画像データの恒等写像を、情報量基
準により中間層サイズを最適化して学習する(ステップ
８０３)。そして、特徴抽出用ネットの中間層に出現し
たパターンを入力として、認識用ネットの学習を行う
(ステップ８０４)。以上で学習過程が終わり、次に、認
識過程では、認識したい時系列データおよび画像データ
を特徴抽出用ネットに入力する(ステップ８０５)。そし
て、特徴抽出用ネットの中間層に出現したパターンを認
識用ネットへ入力する(ステップ８０６)と、その出力層
のパターンとして認識結果が出力されて(ステップ８０
７)、演算の終了(ステップ８０８)となる。

【００３８】＜実施例２＞文献３および文献４で述べら
れているように、ＭＦＡＡ法は大局的最適解への接近の
仕方として漸近的特性を有している。そして、ネットワ
ーク毎に固有の臨界温度を持ち、その温度を境にして漸
近的特性のパラメータ(具体的には 反復回数にかかるべ
き数)が変化する。以下、これについて具体的に、文献
４に従い説明する。扱われている問題は、無限レンジの
シェリントン−カークパトリック模型に従うスピングラ
ス問題である。これはＮＰ完全問題に属し、具体的には
Ｗ_ijを平均０分散１の正規乱数で、かつ、Ｗ_ij＝Ｗ_ji、
Ｗ_ii＝０として与え、Ｉ_i＝０と設定されている。な
お、結果は２５種類の初期乱数系列に対する結果の平均
値で表わされる。冷却方式は、Ｔ(ｔ)＝Ｃ／ｔであり、
Ｃは適当な定数である。

【００３９】臨界温度以上の高温領域での漸近特性と、
臨界温度以下の低温領域での漸近特性が図示されてお
り、高温領域ではべきが１であるが、低温領域ではべき
が３に変化することが示されている。最適化求解のため
には計算は温度パラメータが臨界温度になるまで行えば
十分であるが、従来は文献３で述べられているようにこ
の臨界温度を知るために事前に推定する処理が必要であ
った。そこで、本発明においては、反復計算中にエネル
ギー値の漸近的特性をプロットし、温度を冷却して行く
に連れて、ある時点でそれまで従っていた漸近線からの
有意な逸脱が見られたときには、その時点では臨界温度
を通過しそれ以下の低温領域に入っているとみなして、
計算を終了することとした。本発明によれば、事前に臨
界温度を推定するための実験を行う必要がなくなる。

【００４０】文献３で述べられているように、冷却方式
を定温に設定すれば、収束が極めて早くなる。しかしな
がら、局所的極小解にトラップされ易くて正解が得られ
難くなるという欠点がある。そこで、定温にしたときに
正解が得られる可能性を高くするにはどうすれば良いか
が問題となる。結論として、本発明では、文献３で述べ
られたように臨界温度を推定したとき、秩序パラメータ
が１付近に立ち上がった温度(本実施例では、これを「臨
界温度」と呼ぶ)を、定温収束させるときの温度として設
定すれば良い。ここで秩序パラメータとは文献３にて導
入されている変数であり、値が０のときはネットワーク
全体のニューロンの出力値が中間状態に留まっているこ
とを示し、値が１のときにはネットワーク全体のニュー
ロンの出力値が２値に分かれていることを示す。

【００４１】何故この温度かというと、温度が高過ぎる
と各ニューロンの出力状態が中間値のままで残ってしま
い、逆に温度が低過ぎると初期状態に依存して極めて局
所的極小解にトラップされ易くなるためだと、定性的に
は考えることができる。図１４には、ある手話文の認識
を何種類かの温度９０１で定温収束により試行実験した
ときに、秩序パラメータの値ｑ９０２と対応させて結果
が正解に到達したかどうかを示している。実験条件は、
３単語からなる手話文を実験対象とし、ネットワークの
ノード数を１０個、反復回数を１００回、係数(Ｃ₁，Ｃ
₂，Ｃ₃，Ｃ₄)を（３.０，０.００１，１.０，１.０)に
設定した。黒丸印９０３が 正解に到達したことを示し
ており、臨界温度付近の９１０〜９１２が正解に到達し
ていることが、図１４から明らかである。

【００４２】従来、プログラムの収束判定には、式(１
７)に示す条件が用いられてきた。ここで、ある手話文
の認識実験を行ったときの、反復回数１００１の増加に
対する収束値１００２(式(１７)の左辺)の変化を図１５
(ａ)に、反復回数１００３の増加に対する個々のニュー
ロンの出力値１００４(全１０ニューロン中 ４ニューロ
ン１００５〜１００８について表示)の変化を図１５
(ｂ)に示す。図１５(ａ)で示されているように、収束値
は反復２０回以前に ０.０００１以下になったにもかか
わらず、一旦、０.０１程度まで上昇して その後再び低
下して行き、０.００００１以下にまで落ちるという挙
動を呈している。

【００４３】この原因は、図１５(ｂ)に示されているよ
うに、４種類のニューロン１００５〜１００８は反復回
数２５回ぐらいまでは−１に接近して行くが、２番目１
００６，５番目１００７および８番目１００８のニュー
ロンが一層−１へ近づいて行くに連れて、それらのニュ
ーロンの値の１番目のニューロンに対する影響が増大し
て、１番目のニューロンが逆に１へ向かうように変化し
たことの影響によるものである。こうした状況が発生し
得るので、もし、収束判定値を ０.０００１に設定して
いた場合、ニューロン値が収束する以前に反復処理が終
了してしまう。そうした不都合を回避するため、例とし
て、各ニューロンの出力値が最終的に１か−１の２値の
どちらかを取るとした場合には、

【数２０】 を満足するかどうかで、収束判定を行うようにすれば良
い。ここで、ｓは適当な微小値として設定する。

【００４４】また、各ニューロンの出力値の値域が異な
る場合(例えば、１と０の２値)は、１または−１の２値
となるような線形変換を施してから式(２０)に代入すれ
ば、その値域に応じた収束判定条件に修正される。以
下、本発明の具体的な応用例を示す。まず、図１８は、
手話トレーニングシステムの構成例を示す図である。こ
のシステムにおいては、トレーニングの前に、入力する
手話の正確な手動作に対して本システムにより、正しい
認識結果が得られるように、ネットワークでの認識処理
１１３において、適切な係数設定等の調整を行ってお
く。そして、人が手話のトレーニングを行う段階では、
トレーニング者は表現しようとする手話をデータグロー
ブを用いて入力し、システムの認識結果が意図した意味
に合致するか否かを確認する。

【００４５】上記システムによれば、意味が合致するま
で手話動作を反復して練習することによって、手話動作
のトレーニングを行うことができる。また、図１９は、
外国語および方言の翻訳システムの構成例を示す図であ
る。このシステムにおいては、例えば、外国語から日本
語への翻訳、あるいは、方言の標準語への変換を、高精
度に行うことができる。システムへの入力は、ＣＣＤカ
メラによる口形や表情の画像データと、マイクロフォン
を用いて音声の時系列データとの、２種類の異種情報で
ある。これらの情報に対して、異種情報統合認識１１４
を適用して、入力した外国語あるいは方言の意味を認識
し、その認識結果を音声１０８，手話画像１２４，文章
画像１２５等として、日本語あるいは標準語等に変換し
て出力する。なお、上記各実施例はいずれも本発明の一
例を示したものであり、本発明はこれらに限定されるべ
きものではないことは言うまでもないことである。

【００４６】

【発明の効果】以上、詳細に説明した如く、本発明によ
れば、パターン情報と言語的情報とを同時に考慮し、か
つ、時系列情報と画像情報とを統合処理するようにし、
また、リアルタイムで適切に収束判定を行うことによ
り、高速・高精度な認識処理を可能とするニューラルネ
ットワークによる情報統合処理方法を実現できるという
顕著な効果を奏するものである。

【図面の簡単な説明】

【図１】本発明の一実施例に係る手話認識用システムの
全体構成を示す図である。

【図２】実施例に係る手話認識用システムの機能構成を
示す図である。

【図３】図２に示した処理の全体のフローチャートであ
る。

【図４】ＤＰマッチング処理の出力形式を示す図であ
る。

【図５】ネットワークによる求解手順を示す図である。

【図６】テスト用サンプルを示す図(その１)である。

【図７】テスト用サンプルを示す図(その２)である。

【図８】テスト用サンプルを示す図(その３)である。

【図９】エネルギー最小の組み合わせ図(その１)であ
る。

【図１０】エネルギー最小の組み合わせ図(その２)であ
る。

【図１１】エネルギー最小の組み合わせ図(その３)であ
る。

【図１２】異種情報統合認識のシステム構成図である。

【図１３】異種情報統合認識の処理フローチャートであ
る。

【図１４】定温収束での温度に対する秩序パラメータの
変化を示す図である。

【図１５】状態更新の反復回数に対する収束判定値の変
化および人工ニューロン素子の出力状態値の変化を示す
図である。

【図１６】ＭＦＡＡ法を用いて、エネルギー関数設定に
基づき認識実験を行った結果を示す図である。

【図１７】共起関係のルックアップテーブルを示す図で
ある。

【図１８】手話トレーニングシステムの構成例を示す図
である。

【図１９】外国語および方言の翻訳システムの構成例を
示す図である。

【符号の説明】 １０１ ディスプレイ １０２ コンピュータ １０３ キーボード １０４ 入力センサ １０５ 外部メモリ １０６ 手動作の時系列データ １０７ 口形や表情等の画像データ １０８ 認識結果(音声) １０９ シンボル情報 １１０ パターン情報 １１１ 手話系認識処理 １１２ 手話単語認識処理 １１３ 確率的最適化ネットワークでの認識処理 １１４ 異種情報統合認識処理 １１５ 自己組織化 １１６ コーパス １１７ 学習処理 １１８ 共起関係データ １１９ 画像認識処理 １２０ 音声の時系列データ １２１ 音声認識処理 １２２ 文章文字データ １２３ 自然語認識処理 １２４ 認識結果(画像) １２５ 認識結果(文字）

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｇ 7/60 Ｇ１０Ｌ 3/00 ５７１Ｇ Ｇ０９Ｂ 21/00 9/10 ３０１Ｃ Ｇ１０Ｌ 3/00 ５５１ 9192−5Ｌ Ｇ０６Ｆ 15/38 Ｚ ５７１ 15/62 ４２０Ａ 9/10 ３０１ 9061−5Ｈ 15/70 ４６５Ａ (72)発明者 大淵 康成 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 大木 優 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 櫻井 彰人 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 手話や音声等の言語的制約を受けるパタ
   ーン的情報に関する計測データの認識処理において、前
   記パターン的情報データと言語的情報データとに基づい
   てニューラルネットワークを構成する２次以上からなる
   結合荷重としきい値とを決定し、それらの結合荷重およ
   びしきい値をパラメータとして構成される目的関数であ
   るエネルギー関数を設定する際に、各情報要因に該当す
   る項の係数値の大きさを各情報要因を考慮する比率とし
   て予め調整しておき、適切なエネルギー最小化方法に基
   づき人工ニューロン素子の出力状態について反復状態更
   新を行い、最終的に収束した人工ニューロン素子の出力
   状態分布を認識結果として採用することを特徴とするニ
   ューラルネットワークによる情報統合処理方法。
2. 【請求項２】 前記言語的情報データとして用いる単語
   間の共起関係を事前にコーパス(大規模な例文集)から獲
   得しておくために、最初に意味等の関係がある単語をク
   ラスタリング処理によっていくつかのクラスタに分類し
   ておき、次に１つの単語を１つの人工ニューロン素子に
   対応させて単語間の共起強さを人工ニューロン素子間の
   結合荷重で表わすものとし、各クラスタ毎にヘブ則に基
   づく教師なし学習を適用して単語間の共起関係を獲得し
   ておくことを特徴とする請求項１記載のニューラルネッ
   トワークによる情報統合処理方法。
3. 【請求項３】 前記ヘブ則を適用する際に、２単語以上
   にわたる単語間の共起強さを同次数の結合荷重で表現す
   ることとし、同時に学習の発散を回避するために正規化
   処理を併用することを特徴とする請求項２記載のニュー
   ラルネットワークによる情報統合処理方法。
4. 【請求項４】 前記エネルギー最小化方法の１つである
   平均場近似アニーリング法において、反復状態更新時に
   反復計算回数に対してエネルギー値が大局的最適解へ向
   かう漸近線の傾き係数をモニターし、その傾き係数に有
   意な変化が見られた時点で温度パラメータが臨界温度以
   下になっていると判断して反復演算処理を停止すること
   を特徴とする請求項１記載のニューラルネットワークに
   よる情報統合処理方法。
5. 【請求項５】 前記エネルギー最小化方法の１つである
   平均場近似アニーリング法において、臨界温度の近傍の
   温度で定温収束させることを特徴とする請求項１記載の
   ニューラルネットワークによる情報統合処理方法。
6. 【請求項６】 前記エネルギー最小化方法の１つである
   平均場近似アニーリング法において、反復状態更新での
   収束判定条件として、各人工ニューロン素子の出力状態
   値が１か−１の２値のどちらかに収束する場合には、各
   人工ニューロン素子の出力状態値の絶対値と１との差の
   ２乗の値を計算して全ニューロンについて総和をとり、
   それをニューロン数の２乗で割って正規化した値が０に
   充分近づいたときに収束したと判断して反復状態更新を
   停止することを特徴とする請求項１記載のニューラルネ
   ットワークによる情報統合処理方法。
7. 【請求項７】 請求項１記載のニューラルネットワーク
   による情報統合処理方法に基づき、表現しようとする手
   話をニューラルネットに入力し、該ニューラルネットが
   出力する認識結果が意図した手話と合致する度合に応じ
   て、手話動作の練習を行うことを特徴とする手話トレー
   ニング方法。
8. 【請求項８】 学習過程においては、認識対象から計測
   された画像データと時系列データとを別々の特徴抽出用
   ニューラルネットワークに入力して、入力パターンと出
   力パターンとを等しくさせる恒等写像の学習を行い、こ
   の際、中間層の人工ニューロン素子数を情報量基準に基
   づいて最適な値に調整しておくこととし、次に恒等写像
   を連想したときに各中間層に出現するパターンを認識用
   ニューラルネットワークに入力して学習を行っておき、
   新規パターンの認識過程においては、画像データと時系
   列データとを、恒等写像を学習済みの各ニューラルネッ
   トワークへ入力し、中間層に出現したパターンを特徴量
   データとして認識用ニューラルネットワークへ入力した
   ときに出力されるパターンとして認識結果を得ることを
   特徴とするニューラルネットワークによる情報統合処理
   方法。
9. 【請求項９】 請求項８記載のニューラルネットワーク
   による情報統合処理方法に基づき、口形あるいは表情の
   画像データと、音声の時系列データとを別々の特徴抽出
   用ニューラルネットに入力して、それから抽出した特徴
   量データを用いて認識用ニューラルネットで認識処理を
   行った結果を翻訳出力とする一連の操作により、外国語
   および方言の翻訳を実現することを特徴とする外国語や
   方言の翻訳方法。