JPH08329031A - 仮説生成装置及び仮説生成方法並びに分類装置 - Google Patents

仮説生成装置及び仮説生成方法並びに分類装置

Info

Publication number
JPH08329031A
JPH08329031A JP2112296A JP2112296A JPH08329031A JP H08329031 A JPH08329031 A JP H08329031A JP 2112296 A JP2112296 A JP 2112296A JP 2112296 A JP2112296 A JP 2112296A JP H08329031 A JPH08329031 A JP H08329031A
Authority
JP
Japan
Prior art keywords
hypothesis
subset
evaluation
weak
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2112296A
Other languages
English (en)
Inventor
Yoav Freund
フレウンド ヨーブ
Robert Elias Schapire
エリアス シャピア ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AT&T Corp filed Critical AT&T Corp
Publication of JPH08329031A publication Critical patent/JPH08329031A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

(57)【要約】 【課題】ＯＣＲなどのパターン分類デバイス、他のイメ
ージ分析システム、及びテキスト回復システムなどの分
類器に用いられる仮説を学習する機械に係る装置及び方
法を提供する。 【解決手段】 本発明に係る装置及び方法は、認識され
るべきパターン例の組から弱い仮説を生成する機械学習
技法を用い、その後、得られた仮説をパターン例に関し
て評価する。評価の結果は、次の弱い仮説を生成するた
めに用いられる例がそれ以前の弱い仮説が正確に分類し
なかった例である確率を増大させるために用いられる。
さらに、評価の結果は、各々の弱い仮説に対して重みを
与えるために用いられる。その後、強い仮説が、弱い仮
説をそれぞれの重みに従って組み合わせることによって
構成される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は学習機械技法に関
し、特に分類器（クラシファイア）として用いられる強
い仮説を設定する弱ＰＡＣ学習アルゴリズムを用いる技
法を増強する方法に関する。
【０００２】
【従来の技術】従来、データを分類する、すなわちデー
タに対してそのデータが属するクラスを表わすラベルを
割り当てるように設計されたシステムに対して多くの時
間と努力が払われている。この種のシステムの一例は光
文字認識（ＯＣＲ）システムであり、このシステムにお
いては文書のビットマップイメージを取り込んで、その
イメージに含まれるテキストに対応するキャラクタコー
ドシーケンスを含むテキストファイルを生成する。
【０００３】図１はＯＣＲ１０１を示している。ＯＣＲ
１０１は、テキスト及び画像などのテキスト以外の材料
を含む文書のビットマップイメージ１０３を取り込む。
イメージ１０３はセグメンタ１０５に渡される。セグメ
ンタ１０５は、前記イメージをテキストを含む部分と含
まない部分とに分割し、テキストを構成している個々の
キャラクタのビットマップイメージ１０７を抽出する。
その後、イメージ１０７は、各々のイメージ１０７が表
現している英数字を決定して対応するキャラクタコード
１１３をテキストファイルに対して出力するクラシファ
イア１０９に渡される。キャラクタコード１１３のイメ
ージに対する実際の割り当ては仮説１１１によって実行
される。この仮説１１１は、イメージが与えられるとど
のキャラクタコードがそのイメージに対して割り当てら
れるべきであるかを決定する。ある種のものは、どのキ
ャラクタコードが、イメージに対して対応しているかを
決定するように特別に適応させられたデータであり、例
えばイメージ１０７がどの英数字キャラクタを表現して
いるかを決定する能力に関して選択されたビットマップ
の組であ、る。分類されつつあるビットマップイメージ
１０７が仮説におけるビットマップに一致していると判
断される様式は、どのキャラクタコードがそのビットイ
メージに対して割り当てられるかを決定する。別の種類
のものは、どのキャラクタコードがイメージに対応して
いるかを決定するようにトレーニングされた単一あるい
は複数個のニューラルネットワークである。
【０００４】近年では、クラシファイアにおいて用いら
れる仮説を生成するために、機械学習技法が用いられて
きている。この種の技法を用いたシステムの例が図１の
１１５において示されている。仮説を生成するために用
いられるデータはトレーニングデータ１１７である。ト
レーニングデータの各々のアイテム１１９は、分類され
るべきデータ例とその例に対する適切なラベルから構成
されている。よって、ＯＣＲにおける仮説の場合には、
トレーニングデータ１１９は、英数字キャラクタのイメ
ージ１２１とそれに対応するキャラクタコード１２３と
を含んでいる。トレーニングデータは学習装置１２５に
対して供給され、学習装置１２５はラベルを付されたデ
ータから仮説１１１を導出する。
【０００５】仮説を生成するために用いられてきている
機械学習技法の一つにＰＡＣ学習モデルと名付けられた
ものがある。ＰＡＣ学習モデルは以下のようにまとめる
ことができる：まず、Ｘをドメインと呼称される組とす
る。コンセプトは、ｃ：Ｘ→ ｛０，１｝なるブール
（Ｂｏｏｌｅａｎ）関数である。コンセプトクラスＣは
コンセプトの集合である。学習者は、（ｘ，ｃ（ｘ））
という形態を有するラベルが付された例を供給する”お
告げ”に対してアクセスすることが可能である。ここ
で、ｘはドメインＸに関するある程度固定された、しか
し未知であってかつ任意の分布Ｄに従ってランダムに選
択されており、ｃはＣに属しているターゲットコンセプ
トである。ある時間が経過した後、学習者は仮説ｈ：Ｘ
→ ［０，１］を出力しなければならない。仮説ｈの誤
差は、期待値
【数１】 である。ここでｘはＤに従って選択されたものである。
【０００６】強ＰＡＣ学習アルゴリズムは、与えられた
ε，δ＞０及びランダムな例へのアクセスに関して、１
−δの確率で最大誤差εの仮説を生成するアルゴリズム
である。さらに、実行時間は１／ε及び１／δ及び他の
関連するパラメータ（つまり、受け取られた例の”大き
さ”及びターゲットコンセプトの”大きさ”あるいは”
複雑さ”）の多項式でなければならない。弱ＰＡＣ学習
アルゴリズムは同一の条件を満足するが、ε≧１／２−
γの場合のみである。ここでγ＞０は定数あるいは１／
ｐで減少する（ｐは関連するパラメータの多項式であ
る）。
【０００７】本発明の発明者の一人は、あらゆる弱学習
アルゴリズムが強学習アルゴリズムに実効的に変換され
る、すなわち”増強される”ことを示した。Robert E.
Schapire, "The strength of weak learnability"(Mach
ine Learning, 5(2): 197-227, 1990)を参照。その後、
もう一人の発明者が、Ｓｃｈａｐｉｒｅのアルゴリズム
よりもおそらくより効率的であると思われる”ブースト
・バイ・マジョリティ（ｂｏｏｓｔ−ｂｙ−ｍａｊｏｒ
ｉｔｙ）”アルゴリズムを提示した。Yoav Freund, "Da
ta Filtering and Distribution of Modeling Algorith
ms for MachineLearning", Ph.D thesis, University o
f California at Santa Crus, 1993、を参照。双方のア
ルゴリズムとも、与えられた弱学習アルゴリズム（ウィ
ークラーン）を複数回呼び出すことによって機能し、呼
び出す毎にドメインＸに関する相異なった分布を供給
し、最後に生成された仮説全てを単一の仮説にまとめあ
げる。直観的なアイデアは、ドメインＸに亘る分布を、
分布空間の”より固い”部分の確率が増大するように変
化させるものである。ニューラルネットワーク仮説を生
成する目的で従来技術に係るブースト技法が用いられて
きたことの一例は、Harris Drucker, et al., "Boostin
g Performance in Neural Networks", International J
ournal of Pattern Recognition and Artificial Intel
ligence, vol.7, no.4(1993), pp.705-719、に記載され
ている。
【０００８】
【発明が解決しようとする課題】ブースト・バイ・マジ
ョリティアルゴリズムの欠点は、弱学習アルゴリズムで
あるウィークラーンのバイアスγが予め既知であること
が要求される点である。実際にはワーストケースのバイ
アスが通常未知であるのみならず、ウィークラーンによ
って達成されうるバイアスがある分布から次の分布へと
大幅に変化する。残念ながら、ブースト・バイ・マジョ
リティアルゴリズムは、予想されるワーストケースバイ
アスである１／２−γよりもはるかに小さい誤差でウィ
ークラーンによって計算された仮説よりも有効ではあり
得ない。
【０００９】従って、ウィークラーンによって計算され
た”全ての”仮説の正確さに依存した強い仮説を生成
し、かつ、ニューラルネットワーク及び他の学習アルゴ
リズムによって生成された種々の実際の値を有する仮説
を容易に取り扱うことが可能な学習装置及び学習方法を
提供することが本発明の目的である。
【００１０】
【課題を解決するための手段】本発明は、ウィークラー
ンアルゴリズムによって生成された弱い仮説の評価値
を、弱い仮説に取り入れられるサンプルのバイアス選択
に関して、そのパターンサンプルの分類をその弱い仮説
が不得手とする場合にフィードバックすることによって
従来技術に係る欠点を克服する。別の側面においては、
本発明は、弱い仮説の評価値を、それが他の弱い仮説と
組み合わせられて強い仮説を作成する際にどれだけの重
みをそれぞれの弱い仮説に対して与えるべきかを表わす
係数を計算するためにも用いる。
【００１１】
【発明の実施の形態】以下、本発明の概要がまず記述さ
れ、次いで本発明の実施例を記述する。
【００１２】本発明の概要： 図２及び図５ 図２は、本発明の望ましい実施例２０１の概要を示すブ
ロック図である。この実施例は、数字０−９のイメージ
を分類する強い仮説を生成するために用いられる。従来
技術と同様、トレーニングデータ１１７はデータアイテ
ム１１９を有しており、そのデータアイテムの各々は数
字のイメージ１２１とその数字に対応するキャラクタコ
ードであるラベル１２３とを有している。フィルタ２０
３は、データアイテム１１９のうちの、仮説を導くのに
特に有用なもののサブセット２０５を選択肢、これらの
データアイテムを学習装置１２５へ供給する。学習装置
１２５は、弱ＰＡＣ学習アルゴリズム用いて、フィルタ
２０３によって選択されたデータアイテムのサブセット
２０５に関する弱い仮説２０７を生成する。この望まし
い実施例においては、弱い仮説２０７はトレーニングデ
ータ１１７から得られたデータアイテム１１９の組であ
る。
【００１３】その後、弱い仮説２０７は、評価器（エバ
リュエータ）２０９において、評価データ２１１の組を
用いて評価される。この評価データ２１１も、数字０−
９のイメージ１２１とラベル１２３とを有するデータア
イテム１１９を含んでいる。弱い仮説２０７中のイメー
ジが正しいラベルの選択に関してより寄与しないほど、
エバリュエータによってその仮説に与えられる重みがよ
り大きくなる。フィードバック２１３によって示されて
いるように、エバリュエータ２０９は、考慮されている
最新の仮説２０７のコンポーネントに対する重みの総和
をフィルタ２０３に供給する。フィルタ２０３において
は、重みは、弱い仮説２０７がよく当てはまる例に関す
るサブセット２０５の選択に傾斜をつけるために用いら
れる。さらに、弱い仮説が全体としてよりよく機能すれ
ばするほど、強い仮説２１７に関してその仮説が有する
重要性がより大きくなり、それに対してエバリュエータ
２０９によって与えられる係数がより大きくなる。
【００１４】エバリュエータ２０９によって与えられる
係数２１５及び弱い仮説は仮説コンバイナ２１３’に供
給され、仮説２０７が、フィルタ２０３によって生成さ
れた他のサブセットに関する学習装置１２５の動作によ
って生成された他の仮説２０７と組み合わされて強い仮
説２１７が生成される。本発明の望ましい実施例におい
ては、強い仮説２１７は、トレーニングデータ１１７の
固定された個数のサブセット２０５から装置２０１によ
って生成された弱い仮説２０７の組であり、弱い仮説
は、その各々に対して、それらの係数２１５に対応す
る、強い仮説に関する重みを与えることによって単に組
み合わせられている。
【００１５】装置２０１において強い仮説を生成するた
めに用いられている技法は、図５に示されているように
形式的に記述されることが可能である。ここでは、アル
ゴリズム５０１を”エイダブースト（Ａｄａｂｏｏｓ
ｔ）”と呼称する。なぜなら、このアルゴリズムはウィ
ークラーンによって得られた弱い仮説の誤差を適応して
調節（ａｄａｐｔｉｖｅｌｙ ａｄｊｕｓｔ）するから
である。このアルゴリズムはＴ回反復されるメインルー
プを有している。このアルゴリズムにおいては、現時点
での重みベクトルｗtに従ってＸに亘る分布ｐtが各回毎
に規定される。その後、この分布がウィークラーンに供
給され、誤差εtを有する仮説ｈtが返される。ウィーク
ラーンが前述されたような意味での弱い学習アルゴリズ
ムである場合には、εt≦１／２−γが全てのｔに関し
て成り立つ。しかしながら、誤差に関するこのような制
限は予め知られている必要はなく、実際には本発明に係
る方法は（０，１／２］に属する全てのεtに関して成
り立つ。
【００１６】パラメータβtはεtの関数として選択され
ており、重みベクトルを更新するために用いられる。更
新のルールにより、仮説がより予測をなした例に対して
割り当てられた確率が低下し、予測がまずかった例に関
する確率が上昇する。さらに、ｈtが（｛０，１｝の範
囲の）ブール変数である場合には、この更新のルールに
より、最新の仮説の利点が正確に取り除かれるというこ
とが示され得る。すなわち、分布ｐt+1に関するｈtの誤
差は正確に１／２である。このアルゴリズムによって生
成された最終仮説は、ウィークラーンによって生成され
たＴ個の仮説の重み付けがなされた平均である。
【００１７】本発明の望ましい実施例のインプリメンテ
ーションの詳細：図３及び図４ 本発明の仮説の増強の有効性をテストする目的で、本発
明の実施例のプロトタイプがインプリメントされた。こ
のプロトタイプに係る以下の議論においては、最初にそ
の概要が示され、次いで、このプロトタイプにおいて用
いられているデータストラクチャ及びプロトタイプの動
作が詳細に記述される。
【００１８】本発明の実施例のプロトタイプは、公知の
ＵＮＩＸ（ＵＮＩＸはＸ ＯＰＥＮの商標である）オペ
レーティングシステムの制御下で動作するプロセッサ上
で公知のＣ言語を用いて書かれたプログラムを実行する
ことによってインプリメントされる。
【００１９】このプロトタイプが強い仮説を生成するデ
ータは、数字０−９の画像である。強い仮説は、その予
測能力に従って重み付けがなされた弱い仮説の組から構
成されている。弱い仮説の各々は、それらがどのように
重み付けされるべきかを表わす係数及び数字０−９の画
像の組を有している。
【００２０】その概略において、このプロトタイププロ
グラムは以下のように機能する。まず、ファイルから数
字のイメージ及びそのイメージ中の数字に対するラベル
をプロセッサメモリに読み込むことによってトレーニン
グデータの組を生成する。その後、プロトタイププログ
ラムはメモリ中のデータ１１７を入れ替え、弱い仮説の
処理に関与するデータを追跡するデータストラクチャを
初期化する。
【００２１】次いで、プロトタイププログラムは弱い仮
説の生成を開始する。弱い仮説の各々は、一度に一つの
イメージを処理することによって生成される。現時点の
弱い仮説に対して追加されるべき候補であるイメージ
が、このプロトタイププログラムによって生成された以
前の弱い仮説によってトレーニングデータが分類された
場合に生ずる誤差を考慮するように、トレーニングデー
タから選択される。よって、選択された候補イメージ
は、最新の仮説が適切に分類しないようなイメージであ
る、という高い確率を有することになる。よって、プロ
トタイププログラムのうち、候補イメージの選択を行な
う部分はフィルタ２０３を実現したものであり、候補イ
メージの選択に誤差を用いることはフィードバック２１
３を実現している。
【００２２】その後、プログラムは、現時点で構成され
つつある弱い仮説に対して前記候補イメージが追加され
るべきであるか否かを決定する。このことを行なうため
に、プログラムは、その候補イメージを含めた場合の現
時点での弱い仮説が、その候補イメージを含めない場合
の現時点の仮説よりも、トレーニングデータ中のイメー
ジの分類に関してよりよい機能を有するか否かをテスト
する。よりよい機能を有する場合には、この候補イメー
ジは現時点の弱い仮説に対して追加され、この候補イメ
ージを含む現時点の弱い仮説に係る係数が、この新たな
現時点での仮説に係る誤差値から計算される。この手続
きは、現時点の弱い仮説がイメージの全コンポーネント
を有するようになるまで継続される。
【００２３】この実施例においては、トレーニングデー
タはトレーニングデータ１１７と評価データ２１１の双
方として機能する。別の実施例においては、トレーニン
グデータ１１７及び評価データ２１１に対して、ラベル
が付されたイメージの個別の組が用いられる場合もあ
る。エバリュエータ２０９は、現時点での弱い仮説をト
レーニングデータに対して評価し、フィードバック２１
３及び係数２１５に係る誤差を計算するプログラムの一
部によってインプリメントされている。
【００２４】このプログラムは、複数個の弱い仮説を単
に集めることによって強い仮説を構成する。イメージ
は、強い仮説に対して供給されると、弱い仮説の各々に
よって分類され、最終的な分類が、弱い仮説の各々によ
って生成された分類を組み合わせることによって決定さ
れる。ある弱い仮説によって生成された分類が前記組み
合わせにおいて有する重みは、その弱い仮説の有する係
数によって決定される。
【００２５】データストラクチャの詳細： 図３及び図
４ 以下、本発明の望ましい実施例において用いられるデー
タストラクチャをより詳細に説明する。本発明の望まし
い実施例において、トレーニングデータ１１７と評価デ
ータ２１１の双方をインプリメントするために用いられ
ているデータストラクチャが図４に示されている。この
データストラクチャは１０００個の要素を有する配列で
ある。配列中の各々の要素は、ラベルデータ４１５及び
イメージデータ４１７を有している。イメージデータ４
１７は数字のピクセルイメージであり、ラベルデータ４
１５はそのピクセルデータがどの数字を表現しているの
かを表示する。強い仮説２１７及び弱い仮説２０７をイ
ンプリメントするために用いられるデータストラクチャ
が４０２に示されている。このデータストラクチャも、
弱い仮説２０７の各々に対する要素４０１を有する配列
である。本発明の望ましい実施例においては、強い仮説
の各々は１０個の弱い仮説から構成されている。弱い仮
説２０７に対する各々の要素４０１は、その弱い仮説中
におけるイメージ数を規定するサイズ４０３、要素４０
１に含まれる弱い仮説２０７の係数である係数４０５、
及び、仮説を構成しているラベル付きイメージを含む、
トレーニングデータ４１１中のトレーニングデータ要素
４１３へのポインタリスト４０９を有している。もちろ
ん、他の実施例において、ラベル付きイメージが直接仮
説に組み込まれることも可能であり、またポインタが仮
説において用いられるラベル付きイメージの個別の配列
を指し示すことも可能である。本発明の望ましい実施例
においては、弱い仮説２０７は最大４００個のラベル付
きイメージを含みうる。
【００２６】本発明の望ましい実施例において弱い仮説
を構成するために用いられているデータストラクチャは
以下のようなものである：まず、学習情報テーブル３０
２（図３）は、その弱い仮説をトレーニングデータ４１
１中のイメージに対してテストした際の結果を有してい
る。誤差情報３２１は、テストされた弱い仮説に対して
計算された誤差を有している。最後に、図４のｃｕｒｒ
ｅｎｔ＿ｓｔａｔｅ４３１及びｂｅｓｔ＿ｓｔａｔｅ４
３３は、候補イメージを有する現時点の弱い仮説をトレ
ーニングデータ４１１中のイメージに対してテストする
際に用いられる一時的な配列である。ｃｕｒｒｅｎｔ＿
ｓｔａｔｅは最後になされたテストの結果を保持してお
り、ｂｅｓｔ＿ｓｔａｔｅは現時点の弱い仮説に対して
これまでに得られた最良の結果を保持している。
【００２７】学習情報テーブル３０２は、弱い仮説２０
７の各々に対する仮説テスト情報３０３を含んでいる。
仮説テスト情報は２つの部分から構成されている。その
うちの一つは、フィードバック２１３を計算するために
用いられる情報を含む重み情報３０５であり、他の一つ
は、弱い仮説のトレーニングデータ４１１に対するテス
トの結果を含む評価情報３０７である。重み情報３０５
及び評価情報３０７は、双方とも、仮説がテストされる
トレーニングデータ４１１中の各々のイメージに対して
それぞれ一つの要素を有する配列としてインプリメント
されている。重み情報３０５の要素３０９は、イメージ
分類に係る仮説の成功の指標であるｗｔ３１１、及び、
現時点の要素に関する重み情報３０５の要素に係るｗｔ
３１１の総和であるｗｔｓｕｍ３１３を含んでいる。ｗ
ｔ３１１の値が大きければ大きいほど、トレーニングデ
ータ４１１中の対応するイメージに関するその仮説の分
類力が劣っていることになり、また、ｗｔｓｕｍ３１３
の値が大きければ大きいほど、テストされている仮説の
イメージの全てに対する分類力が劣っていることにな
る。
【００２８】評価情報３０７の要素３１５は、Ｍｉｎｄ
ｉｓｔ３１７及びｃｌａｂｅｌ３１９を含んでいる。Ｍ
ｉｎｄｉｓｔ３１７は、トレーニングデータ４１１中の
要素３１５に対応するイメージ４１７と評価情報３０７
が属している仮説テスト情報３０３に対応する仮説２０
７内のあらゆるイメージとの間のこれまでに記録された
最小距離であり、ｃｌａｂｅｌ３１９は仮説２０７内の
最小距離を有するイメージに対するラベルを保持してい
る。ｃｕｒｒ＿ｓｔａｔｅ４３１及びｂｅｓｔ＿ｓｔａ
ｔｅ４３３は、それぞれ、トレーニングデータ４１１内
の各々のイメージに対する評価情報エントリ３１５を保
持している。
【００２９】誤差情報３２１は、弱い仮説２０７の各々
に関するサンプル誤差要素３２３を有している。各々の
要素３２３は、弱い仮説中に存在する、要素３２３に対
応する各々のイメージのイメージ要素３２５を保持して
いる。イメージ要素３２５は、その対応するイメージに
関する５種類の誤差情報を有している： ・ｗｅｉｇｈｔｅｄ４１９は、そのイメージに関する重
み付けがなされた誤差を保持している、 ・ｇｂｏｕｎｄ４２１は、トレーニング誤差に関する保
証範囲を保持している、 ・ａｅｒｒ４２３は、実際のトレーニング誤差を保持し
ている、 ・ｇｖａｌｅｒｒ４２５は、保証された相互確認誤差を
保持している、 ・ａｖａｌｅｒｒ４２７は、実際の相互確認誤差を保持
している。
【００３０】動作の詳細に係る記述 本発明の望ましい実施例においては、各々の弱い仮説２
０７は、ウィークラーン（ＷｅａｋＬｅａｒｎ）と呼称
される手続きによって構成される。弱い仮説２０７
（０）を構成する際には、ウィークラーンは、評価情報
エントリ３１５（０）中の各々のＭｉｎｄｉｓｔ３１７
を大きな値に初期化する。ｉ番目の仮説を構成する際に
は、ウィークラーンは、弱い仮説２０７（ｉ−１）中の
Ｍｉｎｄｉｓｔ３１７及びｃｌａｂｅｌ３１９とから、
評価情報エントリ３１５（ｉ）中の各々のＭｉｎｄｉｓ
ｔ３１７を、以下に詳細に記述されている方式で初期化
する。
【００３１】その後、ウィークラーンは、仮説２０７
（ｉ）中のイメージの全数に達するまで、仮説２０７
（ｉ）に対してトレーニングデータエントリ４１３を追
加するループを実行する。仮説に対して追加された各々
のトレーニングデータエントリ４１３に関して、ウィー
クラーンは以下のことを実行する。
【００３２】まず、ウィークラーンは、構成中の弱い仮
説２０７（ｉ）に対して追加されるべき候補である次の
トレーニングデータエントリ４１３（ｊ）を選択する、
Ｆｉｌｔ＿ｅｘと呼称される関数を起動する。Ｆｉｌｔ
＿ｅｘは、その引数としてトレーニングデータサイズ４
１１及び追加さるべき最新の仮説に係る重み情報３０５
（ｉ−１）を取る。Ｆｉｌｔ＿ｅｘは、最新の仮説に係
る重みのトータル（ｗｔｓｕｍ３１３（ｉ，ｎ））を乱
数を計算するために利用し、この乱数は、次のトレーニ
ングデータエントリ４１３（ｊ）の指数ｊを見い出す目
的でのバイナリサーチの各々のステップの方向を決定す
るために利用される。本発明の望ましい実施例において
は、この計算は以下のように実行される： /*０から重みの総和までの範囲の乱数を発生*/ r=(0.0+random())/MAX_RANDOM*W[size-1].WtSum; index=size/2-1; step=size/4; /*以下のループは、最も近い、より小さい偶数の指数ま
での*/ /*バイナリサーチを実行する*/ while(step>0){ direction=(W[index].WtSum < r)?1:-1; index=index+step*direction; step=step/2; } この計算の効果は、候補であるトレーニングデータエン
トリ４１３（ｊ）が、最新の弱い仮説が劣った予測をな
したものであるという確率を増大させる。以上の記述か
ら明らかなように、Ｗ［ｉｎｄｅｘ］．ＷｔＳｕｍは本
発明の望ましい実施例におけるフィードバック２１３を
具体化したものであり、Ｆｉｌｔ＿ｅｘはフィルタ２０
３を具体化したものである。
【００３３】次に、ウィークラーンは、トレーニングデ
ータエントリ候補４１３（ｊ）が弱い仮説２０７（ｉ）
に追加され、弱い仮説２０７（ｉ）がトレーニングデー
タ４１１に対してテストされた場合の誤差を計算する。
計算の最初の部分は、テストを実行する関数Ｕｐｄａｔ
ｅ＿ＮＮによって実行される。この関数は、エントリ候
補４１３（ｊ）、弱い仮説２０７（ｉ）に関する仮説テ
スト情報３０３（ｉ）、及びテストの間の結果を追跡す
るために用いられるｃｕｒｒ＿ｓｔａｔｅ４３１をその
入力として必要とする。
【００３４】テストは、トレーニングデータエントリ４
１３（ｊ）中のイメージをトレーニングデータ４１１中
の各々のイメージと順次比較することによって実行され
る。比較の結果は、候補中のイメージとトレーニングデ
ータ４１１中のイメージとの間の”距離”として得られ
る。トレーニングデータ４１１中のイメージの各々に関
しては、仮説テスト情報３０３（ｉ）及びｃｕｒｒ＿ｓ
ｔａｔｅ４３１にエントリが存在する。比較の結果得ら
れた距離が、トレーニングデータ４１１中のイメージ４
１７（ｋ）に関する、仮説テスト情報３０３（ｉ）中の
Ｍｉｎｄｉｓｔ（ｉ，ｋ）より小さい場合には（すなわ
ち、トレーニングデータイメージに関する候補イメージ
のそれ以前の最良の比較の結果よりもよい場合には）、
ｃｕｒｒ＿ｓｔａｔｅ４３１（ｋ）中のｃぁべｌ３１９
が候補イメージのラベル４１５（ｊ）にセットされ、ｃ
ｕｒｒ＿ｓｔａｔｅ４３１（ｋ）中のＭｉｎｄｉｓｔ３
１７がその距離にセットされる。それ以外の場合には、
ｃｕｒｒ＿ｓｔａｔｅ４３１（ｋ）中のｃｌａｂｅｌ３
１９及びＭｉｎｄｉｓｔ３１７は、イメージ４１７
（ｋ）に関する仮説テスト情報３０３（ｉ）中の対応す
るフィールドからセットされる。
【００３５】前記手続きがトレーニングデータ４１１中
の全てのイメージに関して完了した後、ｃｕｒｒ＿ｓｔ
ａｔｅ４３１の各々のエントリ中のｃｌａｂｅｌ３１９
が、対応するトレーニングデータエントリ４１３のｌａ
ｂｅｌ４１５と比較される。これらの値が異なっている
場合には、仮説２０７（ｉ）に関する仮説テスト情報３
０３（ｉ）内のイメージに対応するエントリのｗｔ３１
１の値だけ、誤差値が増大させられる。その後、この誤
差値はＵｐｄａｔｅ＿ＮＮによって戻される。ウィーク
ラーンは、その戻された誤差値を直前の仮説２０７（ｉ
−１）に対する重みの総和で除算することによって、最
終誤差を計算する。
【００３６】候補４１３（ｊ）の誤差が求められると、
それはその時点までのあらゆる候補に係る最良誤差と比
較される。候補４１３（ｊ）の誤差がより小さい場合に
は、最良誤差はその候補の誤差にセットされ、その候補
は最良サンプル４１３となり、ｃｕｒｒ＿ｓｔａｔｅは
ｂｅｓｔ＿ｓｔａｔｅ４３３に対してコピーされ、そし
て候補４１３（ｊ）は仮説２０７（ｉ）に対して追加さ
れる。候補４１３（ｊ）の誤差が小さくない場合には、
最良誤差、最良サンプル４１３、及びｂｅｓｔ＿ｓｔａ
ｔｅ４３３は変更されず、最良サンプル４１３が仮説２
０７（ｉ）に対して追加される。
【００３７】以上のことがなされた後、仮説テスト情報
３０３（ｉ）及びサンプル誤差３２３（ｉ）が更新され
る。まず、ｂｅｓｔ＿ｓｔａｔｅ４３３がｅｖａｌ＿ｉ
ｎｆｏ３０７（ｉ）に対してコピーされる。その後、仮
説（ｉ）及び候補イメージ（ｊ）に対応するイメージ誤
差要素３２５（ｉ，ｊ）中のｗｅｉｇｈｔｅｄ４１９が
最良誤差に従ってセットされる。次いで、仮説テスト情
報３０３（ｉ）を更新する目的でＵｐｄａｔｅ＿ＮＮが
用いられる。現時点での最良サンプル４１３がトレーニ
ングデータ４１１中の各々のイメージ４１７（ｋ）と比
較され、その距離が計算される。計算された距離が、仮
説テスト情報３０３（ｉ）の評価情報３１５（ｉ，ｊ，
ｋ）中のＭｉｎｄｉｓｔ３１７より小さい場合には、Ｍ
ｉｎｄｉｓｔ３１７がその値にセットされ、評価情報３
１５（ｉ，ｊ，ｋ）中のｃｌａｂｅｌ３１９が現時点で
の最良サンプルのラベルにセットされる。それ以外の場
合には、評価情報３１５（ｉ，ｊ，ｋ）は変更されな
い。
【００３８】最後に、プロシージャＣａｌｃ＿ｅｒｒｏ
ｒｓが、現時点での最良サンプル４１３が追加された仮
説に対する弱い仮説エントリ４０１（ｉ）の係数４０５
を計算し、現時点での最良のサンプル４１３が追加され
た仮説２０７（ｉ）に対するイメージ誤差エントリ３２
５（ｉ，ｊ，ｋ）の値を計算する目的で起動される。こ
こで興味深いのは、係数４０５の計算である。係数４０
５は、イメージ誤差３２５（ｉ，ｊ，ｋ）中のｗｅｉｇ
ｈｔｅｄ４１９の現在の値から以下のようにして計算さ
れる：ｃｏｅｆｆ＝ｌｏｇ（（１．０−ｗｅｉｇｈｔｅ
ｄ）／ｗｅｉｇｈｔｅｄ）。よって、本発明の望ましい
実施例においては、Ｃａｌｃ＿ｅｒｒｏｒｓ及びＵｐｄ
ａｔｅ＿ＮＮが、共にエバリュエータ２０９の機能を実
行する。
【００３９】前述されているようにウィークラーンがト
レーニングデータ４１１から現時点での仮説２０７
（ｉ）へのイメージの追加を終了した後、次の弱い仮説
２０７（ｉ＋１）に関する仮説テスト情報３０３（ｉ＋
１）内の重み情報３０５（ｉ＋１）が初期化される。こ
のことは、トレーニングデータ４１１内の最終イメージ
４１７（ｎ）に対して仮説２０７（ｉ）に追加された最
終サンプル４１３（ｏ）に対応するイメージ誤差要素３
２５（ｉ，ｏ，ｎ）からｗｅｉｇｈｔｅｄ４１９を取得
し、（ｗｅｉｇｈｔｅｄ／（１−ｗｅｉｇｈｔｅｄ））
によって表わされるｂｅｔａを計算する目的でｗｅｉｇ
ｈｔｅｄ４１９を用いることによってなされる。その
後、評価情報３０７（ｉ）中の各々のｃｌａｂｅｌ３１
９が、対応するトレーニングデータエントリ４１３に関
するラベル４１５と比較される。それらが同一である場
合には、トレーニングデータエントリ４１３に対応する
ｗｔ３１１が、評価情報３０７（ｉ＋１）内の対応する
トレーニングデータエントリ４１３に関するｗｔ３１１
にコピーされる。それらが同一ではない場合には、評価
情報３０７（ｉ）内のｗｔ３１１に対してｂｅｔａの値
が乗算され、その結果が評価情報３０７（ｉ＋１）にコ
ピーされる。重み情報３０９の各々のｗｔ３１１が評価
情報３０７（ｉ＋１）においてセットされると、それら
の総和であるｗｔｓｕｍもセットされる。
【００４０】本発明の望ましい実施例においては、ウィ
ークラーンは、前述されているように、強い仮説２１７
中の弱い仮説２０７の各々に対して機能する。強い仮説
２１７が完成すると、それは数字０から９のイメージを
分類するために用いられる。
【００４１】当該発明のニューラルネットワークにおけ
る利用 前掲のＤｒｕｃｋｅｒによる参照文献に記載されている
ように、仮説の増強は、ニューラルネットワークである
仮説を生成するためにも用いられ得る。さらに、本発明
に係るフィードバック技法ももちろん同様に利用され得
る。この種のシステムにおいては、学習装置によって生
成された弱い仮説２０７はニューラルネットワークであ
り、強い仮説２１７はそれらニューラルネットワークの
出力を組み合わせることによって生成される。本発明の
望ましい実施例と同様、学習装置１２５によって生成さ
れた最新の弱い仮説２０７はエバリュエータ２０９にお
いて評価データ２１１に対して評価され、そのテスト結
果のフィードバックが、トレーニングデータ１１７から
のトレーニングデータの選択に関して最新の弱い仮説が
分類することに失敗したデータに対するバイアスをかけ
る目的で、フィルタ２０３に供給される。その後、選択
されたトレーニングデータはニューラルネットワークに
よって構成されている次の弱い仮説をトレーニングする
ために用いられる。さらに、エバリュエータ２０９がニ
ューラルネットワークによって構成されている弱い仮説
を評価する際には、その弱い仮説に対して係数２１５を
供給し、ニューラルネットワークによって構成されてい
る弱い仮説が組み合わせられてニューラルネットワーク
による強い仮説が構成される場合には、その係数は、そ
の強い仮説の中でニューラルネットワークによって構成
されている弱い仮説の各々に対して与えられる重みを決
定する。
【００４２】本発明の応用 本発明は、分類器に対する仮説１１１を生成する目的
で、複数の様式で利用され得る。例えば、図１に示され
ているようなＯＣＲの製造者は、そのＯＣＲ装置が通常
用いられる種類の文書例に関する強い仮説２１７をトレ
ーニングする目的で、本発明を用いることが可能であ
る。このような場合には、ＯＣＲ装置の製造者は、強い
仮説２１７をＯＣＲ装置内の読み出し専用メモリに配置
することができる。別のケースでは、本発明の実施例は
ＯＣＲ装置それ自体の一部であり、ＯＣＲ装置のユーザ
は、そのＯＣＲが通常用いられるのとは相異なった文字
を取り扱うために、そのＯＣＲ装置をトレーニングする
ことができる。この文字は一般に用いられているものと
わずかに異なるだけの場合もあるが、異なった言語に属
している場合もある。これまでの記述から明らかなよう
に、強い仮説２１７を生成するために必要とされるの
は、ラベル付きのサンプルイメージの組だけである。
【００４３】本明細書においては本発明の望ましい実施
例２０１が数字のイメージを分類するために用いられる
ように記述されているが、強い仮説２１７を生成するた
めに用いられた技法はパターン認識が利用されるあらゆ
る状況下における仮説を生成するために用いられ得る。
仮説は、ビットパターンに基づいたあらゆる種類のデー
タを分類するために用いられうるものであり、また、文
章中でのある語の出現や配列中の特定の値の出現などに
よって構成されるより大きなスケールのパターンに基づ
いてデータを分類するためにも用いられ得る。
【００４４】結論 以上、当業者に対して、重み付けがなされた一連の弱い
仮説を生成することによって強い仮説を構成するための
技法が記載された。これらの技法の基礎となるものは、
弱い仮説に対して追加されるべきパターンを選択する目
的で弱い仮説の評価をフィードバックすることであり、
弱い仮説に対して、それが強い仮説において用いられた
場合にその弱い仮説に対して与えられる重みを表わす係
数を計算する目的で評価を利用することである。
【００４５】以上の説明は、本発明の一実施例に関する
もので，この技術分野の当業者であれば、本発明の種々
の変形例が考え得るが、それらはいずれも本発明の技術
的範囲に包含される。さらに、本発明のインプリメンテ
ーションは、分類されるべきデータ及び仮説を含む分類
器が動作する環境によって必然的に大きく影響を受け
る。
【００４６】
【発明の効果】以上述べたごとく、本発明によれば、ウ
ィークラーンによって計算された”全ての”仮説の正確
さに依存した強い仮説を生成し、かつ、ニューラルネッ
トワーク及び他の学習アルゴリズムによって生成された
種々の実際の値を有する仮説を容易に取り扱うことが可
能な学習装置及び学習方法が提供される。
【図面の簡単な説明】
【図１】仮説を用いたＯＣＲのブロック図及び従来技術
に係る仮説学習システムのブロック図。
【図２】本発明の実施例を表わすブロック図。
【図３】本発明の望ましい実施例において用いられるデ
ータストラクチャを表わすブロック図。
【図４】本発明の望ましい実施例において用いられるデ
ータストラクチャを表わすもう一つのブロック図。
【図５】本発明の望ましい実施例においてインプリメン
トされるアルゴリズムの高位表現を示す図。
【符号の説明】
参照番号のうちの下位の２桁は図面内のアイテムの番号
を、最上位の桁はそのアイテムが最初に現れた図の番号
をそれぞれ表わしている。よって、２０１といいう参照
番号を有するアイテムは図２に最初に現れる。 １０１ ＯＣＲ １０３ 文書イメージ １０５ セグメンタ １０７ キャラクタイメージ １０９ 分類器 １１１ 仮説 １１３ アスキーコード １１５ 機械学習システム １１７ トレーニングデータ １１９ データアイテム １２１ イメージ １２３ ラベル １２５ 学習装置 ２０１ 本発明の望ましい実施例 ２０３ フィルタ ２０５ データアイテムのサブセット ２０７ 弱い仮説 ２０９ エバリュエータ ２１１ 評価データ ２１３ フィードバック ２１３’ 仮説コンバイナ ２１５ 係数 ２１７ 強い仮説 ３０２ 学習情報テーブル ３０３ 仮説テスト情報 ３０５ 重み情報 ３０７ 評価情報 ３０９ 重み情報要素 ３１１ ｗｔ ３１３ ｗｔｓｕｍ ３１５ 評価情報要素 ３１７ Ｍｉｎｄｉｓｔ ３１９ ｃｌａｂｅｌ ３２１ 誤差情報 ３２３ サンプル誤差 ３２５ イメージ誤差要素 ４０１ 弱い仮説要素 ４０２ 仮説リスト ４０３ サイズ ４０５ 係数 ４０７ イメージポインタ配列 ４０９ イメージポインタ ４１１ トレーニングデータ ４１３ トレーニングデータ要素 ４１５ ラベル ４１７ イメージ ４１９ ｗｅｉｇｈｔｅｄ ４２１ ｇｂｏｕｎｄ ４２３ ａｅｒｒ ４２５ ｇｖａｌｅｒｒ ４２７ ａｖａｌｅｒｒ ４３１ ｃｕｒｒ＿ｓｔａｔｅ ４３３ ｂｅｓｔ＿ｓｔａｔｅ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ロバート エリアス シャピア アメリカ合衆国、07040 ニュージャージ ー、エセックス カウンティ、メープルウ ッド、ラガー センター 18

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 分類器によって分類されるアイテムの例
    の組から前記分類器において用いられる仮説を生成する
    装置において、 前記アイテム例の前記組のサブセットを受容してそれか
    ら前記仮説を生成する学習手段と、 前記生成の間に前記仮説を評価し、かつ、当概評価に基
    づいて選択に係るフィードバックを提供する評価手段
    と、 前記選択フィードバックに応答して前記サブセットを選
    択するサブセット選択手段とを有することを特徴とする
    仮説生成装置。
  2. 【請求項２】 前記仮説が、複数個の要素を有してお
    り、 前記評価手段が、さらに前記評価に基づいて重み付けに
    係るフィードバックを提供し、 前記学習手段が、前記重み付けフィードバックに応答し
    て前記要素に対して重みを割り当てることを特徴とする
    請求項１に記載の仮説生成装置。
  3. 【請求項３】 前記要素が、前記学習手段によって生成
    された弱い仮説を含んでおり、 前記仮説が、前記弱い仮説に対して割り当てられた前記
    重みに従って前記弱い仮説を組み合わせることによって
    構成された強い仮説であることを特徴とする請求項２に
    記載の仮説生成装置。
  4. 【請求項４】 前記装置が、前記分類器によって分類さ
    れるべき前記アイテムの評価例を含んでおり、 前記評価手段が前記仮説を前記評価例に対して評価する
    ことを特徴とする請求項３に記載の仮説生成装置。
  5. 【請求項５】 前記サブセット選択手段が、前記フィー
    ドバックに応答して前記サブセット中の前記例を選択
    し、 その結果、前記サブセット選択手段が前記選択された例
    を選択する時点において前記仮説が前記選択された例を
    正しく分類しない確率が増大することを特徴とする請求
    項１に記載の仮説生成装置。
  6. 【請求項６】 前記仮説が、前記例の前記組から選択さ
    れた複数個の仮説例を含み、 前記学習手段が、前記サブセットから選択された前記複
    数個の例のうちの選択されたものを追加することによっ
    て前記仮説を生成することを特徴とする請求項１，２，
    ３，４，５のいずれかに記載の仮説生成装置。
  7. 【請求項７】 前記学習手段が、前記評価手段を前記例
    の各々に関して当該例を前記仮説に対して追加すること
    が前記仮説を改良するか否かを決定する目的で前記評価
    手段を用い、かつ前記仮説への前記追加が前記仮説を改
    良する場合に前記例を選択することによって、前記例か
    ら前記選択された例を選択することを特徴とする請求項
    ６に記載の仮説生成装置。
  8. 【請求項８】 前記仮説がニューラルネットワークであ
    り、前記学習手段が前記サブセットに関して前記ニュー
    ラルネットワークをトレーニングすること、を特徴とす
    る請求項１，２，３，４，５のいずれかに記載の仮説生
    成装置。
  9. 【請求項９】 分類器によって分類されるアイテムの例
    の組から前記分類器において用いられる仮説を生成する
    装置において、 前記仮説は複数個の要素を有しており、 前記例よりなる前記組の前記サブセットを受容してそれ
    から前記仮説の前記要素を生成する学習手段と、 前記仮説の生成の間に前記仮説の前記要素を評価して当
    該評価に基づいて重み付けに係るフィードバックを提供
    する評価手段と、 前記重み付けフィードバックに応答して前記仮説の前記
    各々の要素に対して重みを割り当てる手段とを有するこ
    とを特徴とする仮説生成装置。
  10. 【請求項１０】 前記要素が弱い仮説であり、及び、前
    記仮説が、前記要素の前記重みによって決定される様式
    で前記要素が組み合わせられた強い仮説であること、を
    特徴とする請求項９に記載の仮説生成装置。
  11. 【請求項１１】前記要素がニューラルネットワークであ
    ることを特徴とする請求項１０に記載の仮説生成装置。
  12. 【請求項１２】 分類器によって分類されるべきアイテ
    ムの例の組から前記分類器において用いられる仮説を生
    成する方法において、 前記例の前記組のサブセットを受容してそれから前記仮
    説を生成する段階と、 前記生成の間に前記仮説を評価して当該評価に基づいて
    選択に係るフィードバックを提供する段階と、 前記選択フィードバックに応答して前記サブセットを選
    択する段階と、を有することを特徴とする仮説生成方
    法。
  13. 【請求項１３】 分類器によって分類されるべきアイテ
    ムの例の組から前記分類器において用いられる仮説を生
    成する方法において、 前記仮説が複数個の要素を有しており、 前記例の前記組のサブセットを受容してそれから前記仮
    説の前記要素を生成する段階と、 前記仮説の生成の間に前記仮説の前記要素を評価して前
    記評価に基づいて重み付けに係るフィードバックを提供
    する段階と、 前記重み付けフィードバックに応答して前記仮説の各々
    の要素に対して重みを割り当てる段階と、を有すること
    を特徴とする仮説生成方法。
  14. 【請求項１４】 データアイテムを分類する装置におい
    て、当該装置が仮説を含むタイプであってかつ前記装置
    が改良されるものであり、前記仮説が請求項第１２項に
    記載の方法あるいは請求項第１３項に記載の方法によっ
    て生成されることを特徴とする分類装置。
JP2112296A 1995-02-09 1996-02-07 仮説生成装置及び仮説生成方法並びに分類装置 Pending JPH08329031A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38603495A 1995-02-09 1995-02-09
US386034 1999-08-30

Publications (1)

Publication Number Publication Date
JPH08329031A true JPH08329031A (ja) 1996-12-13

Family

ID=23523882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2112296A Pending JPH08329031A (ja) 1995-02-09 1996-02-07 仮説生成装置及び仮説生成方法並びに分類装置

Country Status (4)

Country Link
US (1) US5819247A (ja)
EP (1) EP0726531A1 (ja)
JP (1) JPH08329031A (ja)
CA (1) CA2167748A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004084096A1 (ja) * 2003-03-19 2006-06-22 富士通株式会社 事例分類装置および方法
JP2010112889A (ja) * 2008-11-07 2010-05-20 Asia Air Survey Co Ltd 認識システム、認識方法、および認識プログラム
US8472721B2 (en) 2007-12-18 2013-06-25 Canon Kabushiki Kaisha Pattern identification unit generation method, information processing apparatus, computer program, and storage medium
US9256835B2 (en) 2009-01-13 2016-02-09 Canon Kabushiki Kaisha Information processing apparatus enabling discriminator to learn and method thereof
US9521211B2 (en) 2011-06-10 2016-12-13 Panasonic Intellectual Property Corporation Of America Content processing device, content processing method, computer-readable recording medium, and integrated circuit
US10026197B2 (en) 2012-08-22 2018-07-17 Canon Kabushiki Kaisha Signal processing method, signal processing apparatus, and storage medium

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250030A (ja) * 1998-02-27 1999-09-17 Fujitsu Ltd 進化型アルゴリズム実行システムおよびそのプログラム記録媒体
US6453307B1 (en) 1998-03-03 2002-09-17 At&T Corp. Method and apparatus for multi-class, multi-label information categorization
US6456993B1 (en) 1999-02-09 2002-09-24 At&T Corp. Alternating tree-based classifiers and methods for learning them
US6304864B1 (en) 1999-04-20 2001-10-16 Textwise Llc System for retrieving multimedia information from the internet using multiple evolving intelligent agents
US6456991B1 (en) * 1999-09-01 2002-09-24 Hrl Laboratories, Llc Classification method and apparatus based on boosting and pruning of multiple classifiers
US7778803B1 (en) * 1999-09-29 2010-08-17 Eric T Bax Validation of function approximation by fusion
US6523015B1 (en) 1999-10-14 2003-02-18 Kxen Robust modeling
US6681247B1 (en) 1999-10-18 2004-01-20 Hrl Laboratories, Llc Collaborator discovery method and system
US6546379B1 (en) * 1999-10-26 2003-04-08 International Business Machines Corporation Cascade boosting of predictive models
US20020055903A1 (en) * 1999-11-01 2002-05-09 Neal Solomon System, method, and apparatus for a cooperative communications network
US20030074301A1 (en) * 1999-11-01 2003-04-17 Neal Solomon System, method, and apparatus for an intelligent search agent to access data in a distributed network
US20020069134A1 (en) * 1999-11-01 2002-06-06 Neal Solomon System, method and apparatus for aggregation of cooperative intelligent agents for procurement in a distributed network
US20020046157A1 (en) * 1999-11-01 2002-04-18 Neal Solomon System, method and apparatus for demand-initiated intelligent negotiation agents in a distributed network
US6937994B1 (en) 2000-02-24 2005-08-30 International Business Machines Corporation System and method for efficiently generating models for targeting products and promotions using classification method by choosing points to be labeled
US6879967B1 (en) * 2000-03-24 2005-04-12 Ricoh Co., Ltd. Method and apparatus for open data collection
US20020103793A1 (en) * 2000-08-02 2002-08-01 Daphne Koller Method and apparatus for learning probabilistic relational models having attribute and link uncertainty and for performing selectivity estimation using probabilistic relational models
US20020184169A1 (en) * 2001-05-31 2002-12-05 Opitz David William Method and device for creating a sequence of hypotheses
US7152029B2 (en) * 2001-07-18 2006-12-19 At&T Corp. Spoken language understanding that incorporates prior knowledge into boosting
JP4947861B2 (ja) * 2001-09-25 2012-06-06 キヤノン株式会社 自然言語処理装置およびその制御方法ならびにプログラム
KR100640264B1 (ko) * 2002-03-02 2007-02-28 김용대 앙상블 모형을 이용한 데이터 마이닝 모형 구축 장치 및그 방법
US6763338B2 (en) * 2002-04-05 2004-07-13 Hewlett-Packard Development Company, L.P. Machine decisions based on preferential voting techniques
US7249116B2 (en) * 2002-04-08 2007-07-24 Fiske Software, Llc Machine learning
US7328146B1 (en) 2002-05-31 2008-02-05 At&T Corp. Spoken language understanding that incorporates prior knowledge into boosting
US7454331B2 (en) * 2002-08-30 2008-11-18 Dolby Laboratories Licensing Corporation Controlling loudness of speech in signals that contain speech and other types of audio material
US8019705B2 (en) * 2003-03-24 2011-09-13 Fiske Software, LLC. Register and active element machines: commands, programs, simulators and translators
US7343028B2 (en) * 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
JP4486646B2 (ja) * 2003-05-28 2010-06-23 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオ信号の感知音量を計算し調整する方法、装置及びコンピュータプログラム
US20050018890A1 (en) * 2003-07-24 2005-01-27 Mcdonald John Alan Segmentation of left ventriculograms using boosted decision trees
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US20050114278A1 (en) * 2003-08-29 2005-05-26 Mahesh Saptharishi System and methods for incrementally augmenting a classifier
US7769228B2 (en) * 2004-05-10 2010-08-03 Siemens Corporation Method for combining boosted classifiers for efficient multi-class object detection
US8090120B2 (en) * 2004-10-26 2012-01-03 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
US8199933B2 (en) 2004-10-26 2012-06-12 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
US7451125B2 (en) * 2004-11-08 2008-11-11 At&T Intellectual Property Ii, L.P. System and method for compiling rules created by machine learning program
US20060230008A1 (en) * 2005-04-08 2006-10-12 Robin Burgener Artificial neural network guessing method and game
BRPI0622303B1 (pt) * 2005-04-18 2016-03-01 Basf Se copolímeros cp na forma de um polímero obtido por polimerização com radical de pelo menos três monômeros m diferentes monoetilenicamente insaturados
US7894677B2 (en) * 2006-02-09 2011-02-22 Microsoft Corporation Reducing human overhead in text categorization
US8185376B2 (en) * 2006-03-20 2012-05-22 Microsoft Corporation Identifying language origin of words
JP2007264742A (ja) 2006-03-27 2007-10-11 Fujifilm Corp 顔検出方法おならびにこれを用いた撮影装置
JP4782600B2 (ja) * 2006-03-30 2011-09-28 富士フイルム株式会社 顔検出方法およびこれを用いた撮影装置
CN101410892B (zh) * 2006-04-04 2012-08-08 杜比实验室特许公司 改进的离散余弦变换域中的音频信号响度测量及修改
TWI517562B (zh) * 2006-04-04 2016-01-11 杜比實驗室特許公司 用於將多聲道音訊信號之全面感知響度縮放一期望量的方法、裝置及電腦程式
MY141426A (en) 2006-04-27 2010-04-30 Dolby Lab Licensing Corp Audio gain control using specific-loudness-based auditory event detection
JP2007304864A (ja) * 2006-05-11 2007-11-22 Fuji Xerox Co Ltd 文字認識処理システムおよび文字認識処理プログラム
US8849433B2 (en) 2006-10-20 2014-09-30 Dolby Laboratories Licensing Corporation Audio dynamics processing using a reset
US8521314B2 (en) * 2006-11-01 2013-08-27 Dolby Laboratories Licensing Corporation Hierarchical control path with constraints for audio dynamics processing
BRPI0813723B1 (pt) * 2007-07-13 2020-02-04 Dolby Laboratories Licensing Corp método para controlar o nível de intensidade do som de eventos auditivos, memória legível por computador não transitória, sistema de computador e aparelho
US20090037401A1 (en) * 2007-07-31 2009-02-05 Microsoft Corporation Information Retrieval and Ranking
US8909572B2 (en) * 2008-10-03 2014-12-09 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for performing classification using a boosted classifier
JP5371541B2 (ja) * 2009-05-19 2013-12-18 キヤノン株式会社 データ処理装置及びその処理方法
US20110293173A1 (en) * 2010-05-25 2011-12-01 Porikli Fatih M Object Detection Using Combinations of Relational Features in Images
KR101395094B1 (ko) * 2010-09-29 2014-05-16 안동대학교 산학협력단 개체 검출 방법 및 시스템
CA2764188A1 (en) * 2011-01-11 2012-07-11 The Royal Institution For The Advancement Of Learning/Mcgill University Method and system for automatically classifying and identifying vestibulo-ocular responses
US10268843B2 (en) 2011-12-06 2019-04-23 AEMEA Inc. Non-deterministic secure active element machine
US9008365B2 (en) * 2013-04-18 2015-04-14 Huawei Technologies Co., Ltd. Systems and methods for pedestrian detection in images
US9246978B2 (en) * 2013-11-11 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method for determining hidden states of systems using privacy-preserving distributed data analytics
US9269017B2 (en) 2013-11-15 2016-02-23 Adobe Systems Incorporated Cascaded object detection
US9208404B2 (en) * 2013-11-15 2015-12-08 Adobe Systems Incorporated Object detection with boosted exemplars
US10558935B2 (en) * 2013-11-22 2020-02-11 California Institute Of Technology Weight benefit evaluator for training data
US10535014B2 (en) 2014-03-10 2020-01-14 California Institute Of Technology Alternative training distribution data in machine learning
US9858534B2 (en) 2013-11-22 2018-01-02 California Institute Of Technology Weight generation in machine learning
US9953271B2 (en) 2013-11-22 2018-04-24 California Institute Of Technology Generation of weights in machine learning
US11094015B2 (en) 2014-07-11 2021-08-17 BMLL Technologies, Ltd. Data access and processing system
US10832734B2 (en) 2019-02-25 2020-11-10 International Business Machines Corporation Dynamic audiovisual segment padding for machine learning
RU2737720C1 (ru) * 2019-11-20 2020-12-02 Общество с ограниченной ответственностью "Аби Продакшн" Извлечение полей с помощью нейронных сетей без использования шаблонов

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5222197A (en) * 1990-06-28 1993-06-22 Digital Equipment Corporation Rule invocation mechanism for inductive learning engine
JP3088171B2 (ja) * 1991-02-12 2000-09-18 三菱電機株式会社 自己組織型パタ−ン分類システム及び分類方法
US5355434A (en) * 1991-08-19 1994-10-11 Toyoda Koki Kabushiki Kaisha Method and apparatus for performing learning in a neural network
US5479570A (en) * 1992-10-06 1995-12-26 Matsushita Electric Industrial Co., Ltd. Learning and recognition machine

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004084096A1 (ja) * 2003-03-19 2006-06-22 富士通株式会社 事例分類装置および方法
US8472721B2 (en) 2007-12-18 2013-06-25 Canon Kabushiki Kaisha Pattern identification unit generation method, information processing apparatus, computer program, and storage medium
JP2010112889A (ja) * 2008-11-07 2010-05-20 Asia Air Survey Co Ltd 認識システム、認識方法、および認識プログラム
US9256835B2 (en) 2009-01-13 2016-02-09 Canon Kabushiki Kaisha Information processing apparatus enabling discriminator to learn and method thereof
US9521211B2 (en) 2011-06-10 2016-12-13 Panasonic Intellectual Property Corporation Of America Content processing device, content processing method, computer-readable recording medium, and integrated circuit
US10026197B2 (en) 2012-08-22 2018-07-17 Canon Kabushiki Kaisha Signal processing method, signal processing apparatus, and storage medium

Also Published As

Publication number Publication date
CA2167748A1 (en) 1996-08-10
EP0726531A1 (en) 1996-08-14
US5819247A (en) 1998-10-06

Similar Documents

Publication Publication Date Title
JPH08329031A (ja) 仮説生成装置及び仮説生成方法並びに分類装置
US6397200B1 (en) Data reduction system for improving classifier performance
Liu et al. Evolutionary design of artificial neural networks with different nodes
US7275047B2 (en) Method and apparatus for interpreting information
US20230222353A1 (en) Method and system for training a neural network model using adversarial learning and knowledge distillation
EP0672995A2 (en) Construction classification weights matrices for pattern recognition systems using reduced element feature subsets
US20210174023A1 (en) Systems and Methods for Explicit Memory Tracker with Coarse-To-Fine Reasoning in Conversational Machine Reading
Yuan et al. Iterative cross learning on noisy labels
US11481552B2 (en) Generative-discriminative language modeling for controllable text generation
US6925452B1 (en) Method and system for recognizing end-user transactions
KR102093080B1 (ko) 레이블 데이터 및 비레이블 데이터를 이용한 생성적 적대 신경망 기반의 분류 시스템 및 방법
US20230071240A1 (en) Methods, systems, and media for robust classification using active learning and domain knowledge
Cao et al. From the binomial reshuffling model to Poisson distribution of money
CN112541530A (zh) 针对聚类模型的数据预处理方法及装置
WO2022162839A1 (ja) 学習装置、学習方法、及び、記録媒体
US8370276B2 (en) Rule learning method, program, and device selecting rule for updating weights based on confidence value
Littwin et al. On random kernels of residual architectures
Cerrato et al. Invariant representations with stochastically quantized neural networks
Watts et al. Evolutionary optimisation of evolving connectionist systems
Zhang et al. Class-attribute priors: Adapting optimization to heterogeneity and fairness objective
WO2022217856A1 (en) Methods, devices and media for re-weighting to improve knowledge distillation
Thammasiri et al. Imbalance classification model for churn prediction
JP2680419B2 (ja) 文字認識装置
KR102030289B1 (ko) 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법
EP4261735A1 (en) Natural language processing by means of a quantum random number generator