JP3422541B2 - キーワードのモデル化方法及び非キーワードｈｍｍの提供方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一般的にはテキスト認
識に関し、より詳細には、文字列（キーワード）を構成
する個々の文字の検出または識別を必要とすることなく
その文字列を認識する技術に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】電子
的にコード化された文書のテキストは、２つの別個の形
式、すなわち、ビットマップ形式あるいは文字コード形
式のいずれかによって存在する傾向がある。ビットマッ
プ形式においては、ページの視覚的な外観に対応する画
素の配列によってテキストが定義される。２値のイメー
ジは、与えられた画素がＯＮ（典型的には、黒）かまた
はＯＦＦ（典型的には、白）のいずれかであるイメージ
である。画素は、より大きなデータ構造における１つの
ビットによって表現されてもよい。グレイスケールイメ
ージは、白から黒にわたる多数のグレイの陰影の１つを
それぞれの画素が有するイメージである。Ｎビットの画
素は２^N 個のグレイの陰影を表現することができる。ビ
ットマップイメージにおいては、イメージのあらゆる画
素は等しい意義を有し、そして、ほぼどんな形態のイメ
ージ（テキストイメージ、線図形処理イメージ、およ
び、絵画的なイメージ）であってもこのような方法で表
現される。文字コード形式においては、テキストは文字
コードの列として表現され、そのもっとも一般的なもの
はＡＳＣＩＩコードである。文字は、典型的には、８ビ
ットによって表現される。

【０００３】文書がビットマップ形式から文字コード形
式へ変換されなければならない多くのアプリケーション
が存在する。例えば、テキスト本文は印刷物(printed v
ersion) においてのみ利用することができ、編集のため
にはワードプロセッシングプログラムに入力されること
が必要とされる。その方法は、典型的には、キーボード
から文字ごとに人手によってテキストを入力するか、ま
たは、文書をスキャンして光学式文字認識（ＯＣＲ : o
ptical character recognition）の技術を用いてビット
マップイメージを文字コードファイルに変換するか、の
いずれかによってである。その結果として生じる文書の
校正が一般に必要とされる。

【０００４】ＯＣＲは、よく開発された技術でありまた
絶え間なく開発されている技術でもあるが、それ固有の
短所を有する。紙に書かれた文書をスキャンすることに
よって電子文書が得られた場合、避けることのできない
消失がある。もしスキャンされたイメージが第２または
第３の世代の写真複製であれば、問題がさらに悪化す
る。この点での特有の問題は、テキストにおける文字が
ぼやける(blur)かまたは混ぜこぜにされる傾向を示すこ
とである。文字は連結画素の独立した１つの組であると
いう仮定にＯＣＲは基づいているので、文字が混ぜこぜ
にされた場合に文字識別は失敗する。ＯＣＲ処理は時間
と処理労力に関して相当の負担を伴う。なぜなら、１つ
の文字のそれぞれのビットマップはそれの隣接するビッ
トマップから区別されなければならず、そのビットマッ
プの外観が解析されなければならず、そして、判定がな
されて、予め定められた文字の組の中での明確に判別で
きる文字としてそのビットマップを識別しなければない
からである。

【０００５】しかしながら、個々の文字よりむしろワー
ド全体の識別のみを必要とするいくつかのアプリケーシ
ョンが存在する。壊され傷つけられた文字を含んだ劣化
したイメージに対してはワード全体の識別がより耐久性
のあることが証明されている（Ho、Hull、Srihari を参
照）。隠れマルコフモデル（ＨＭＭs : hidden Markov
models）に基づいたシステムの１つは、単一の状態の文
字ＨＭＭs の連結(concatenation) としてワードを表現
する（He、Chen、および、Kundu 参照）。このシステム
は、特徴抽出に先立って、文字のセグメンテーションを
必要とする。もう１つのシステムは、ワードを文字にす
るセグメンテーション（BoseおよびKou参照）を必要と
することなく文字をモデル化するために、複数の状態の
ＨＭＭsを使用する。しかしながら、ストローク解析お
よびアーク解析に基づいたワードを部分文字(sub-chara
cter) のセグメントにするセグメンテーションが、特徴
抽出に先立って必要とされる。これらのＨＭＭに基づく
システムの両方において、セグメンテーションは処理の
初期段階において誤りをもたらすことがある。

【０００６】

【課題を解決するための手段】本発明は、ユーザ定義キ
ーワードの非フォント依存型スポッティング(font-inde
pendent spotting) を可能にするために、ワードをモデ
ル化する技術を提供する。そのモデルは、スキャンされ
るイメージからベースライン情報を得る能力に依存せ
ず、したがって、たとえ個々のワードでも非常に耐性の
あるスポッティングを提供する。

【０００７】要するに、本発明は、隠れマルコフモデル
（ＨＭＭ）を用いた非フォント依存型文字モデルを生成
することと、文字ＨＭＭ構成要素を連結することによっ
て任意のキーワードモデルを構築することと、を包含す
る。そして、キーワードモデルは、それぞれのワード境
界ボックス(bounding box)内のワードイメージあるいは
それぞれのテキスト行境界ボックス内のテキスト行を受
信するスポッティングネットワークにおいて用いられ
る。境界ボックスは、好ましくは、水平方向に適切に基
準化することによって、標準の高さに正規化される。

【０００８】モデル化される特徴はワードの輪郭と内部
構造とを含む。ワードのイメージは水平軸に沿った多く
の異なる位置で得られる一連の特徴ベクトルによって特
徴づけられる。詳細な実施例においては、与えられる水
平位置での特徴ベクトルは、水平位置でのワードイメー
ジの上側輪郭と下側輪郭の垂直位置（正規化された境界
ボックスの上部と下部とに比較して）と、上側輪郭と下
側輪郭との間のワードの内部構造に関する情報と、を包
含する。１つの実施例においては、この内部構造情報
は、水平位置でのワードイメージの垂直スライスの種々
のずれ(lag) におけるいくつかの自己相関値を含む。も
う１つの実施例においては、内部構造情報は上側輪郭と
下側輪郭との間の画素遷移の数を含む。

【０００９】文字ＨＭＭは、状態間の確率的な遷移とそ
れぞれの状態に関連する特徴とを備える一連の状態によ
って定義される。ＨＭＭにおける状態の数は文字に適合
されたものであり、それぞれの状態は、その文字の一部
分を特徴づける特徴ベクトル確率分布によって記述され
る。典型的には、２〜５個を状態が１つの文字をモデル
化するのに使用される。

【００１０】文字間の間隔をモデル化するために、最後
の状態がすべての文字に付加される。すべての状態はガ
ウス観測分布を有し、それらは平均ベクトルと共分散正
方行列とによって特徴づけられる。文字の一部に対応す
る状態は独特のガウス観測分布を有するが、１つの文脈
における文字間の間隔に対応する状態は単一の共通分布
を共用する。そのような間隔の状態は等しい出力を有す
ると言われる。結果として、隣接する文字に無関係に、
その文字間の間隔は与えられた文脈に関してまったく同
じに取り扱われる。分布は、間隔が文字間に現れてもよ
い３つの場合をモデル化するための３つのガウス分布の
混合であり、それは、文字同志が接しない場合と、上部
でのみ接する場合と、そして下部でのみ接する場合とで
ある。

【００１１】文字ＨＭＭｓは４つまでの文脈に提供され
る。なぜなら、それぞれの文字は、その文字がアセンダ
またはディセンダを有するかどうか、およびその文字が
アセンダおよびディセンダを有する他の文字とともにワ
ードあるいはテキスト行に存在するかどうか、に依存し
て４つまでの文脈を有するかもしれないからである。文
字と文脈に依存するので、その文字は、上部余白を備え
た境界ボックスの下部の隣にか、下部余白を備えた境界
ボックスの上部の隣にか、あるいは、上部余白と下部余
白を備えた境界ボックス内の中央のいずれかに配置され
てもよく、または、その文字が境界ボックスの全体の高
さに伸長してもよい。

【００１２】文字の形状と構造はモデルによって表現さ
れるが、モデルとスポッティング処理の根本原理は、特
徴ベクトルの生成に先立ってイメージ内のワードが文字
あるいは部分文字（ストロークのような）にセグメント
化されることを必要としない。さらに、正規化された境
界ボックス内に種々の可能な文字文脈を用意すること
が、ベースライン情報を必要とすることなく文字特徴を
うまくモデル化することを可能にする。このことが、例
えば孤立した短いワードまたは頭字語のようなベースラ
イン情報を抽出するのが困難なときでさえも強力で耐性
のあるスポッティングを提供するのである。

【００１３】本発明のさらなる側面によれば、非キーワ
ードＨＭＭがイメージ内のキーワードではないワードを
モデル化するのに使用される。非キーワードモデルの使
用は、キーワードのスコア(score) がイメージ品質とフ
ォントに依存する任意のしきい値とよりもむしろ非キー
ワードのスコアと比較されることを可能にする。非キー
ワードは文字レベルあるいは部分文字レベルのいずれで
モデル化されてもよい。文字レベルでは、文字セットに
おけるそれぞれのシンボルは、対応する文脈依存型文字
ＨＭＭによってモデル化される。部分文字レベルで非キ
ーワードをモデル化するために、ワードまたはテキスト
行内の画素の列かあるいはイメージスライスが、ガウス
分布による状態によって表現される。

【００１４】非キーワードモデルは文脈非依存型かまた
は文脈依存型のいずれであってもよい。文脈非依存型モ
デルにおいては、文字モデルにおいて使用される４つの
ワード文脈は、非キーワードモデルにおけるリターンル
ープを伴わない個々の並列のパスによって表現される。
ゆえに、非キーワードに関するＨＭＭを通しての最適の
パスは、単一の文脈に制約される。

【００１５】文脈非依存型非キーワードモデルを生成す
るために、すべての文脈に関する１組の文字ＨＭＭまた
は１組のイメージスライスＨＭＭが並列に接続される。
文脈依存型非キーワードモデルは、まず、与えられた文
脈に関する文字ＨＭＭｓまたはイメージスライスＨＭＭ
ｓを並列に接続することによって生成されて、それぞれ
の文脈に対して１つすなわち４つのＨＭＭを提供する。
つぎに、その４つのＨＭＭｓが、文脈依存型非キーワー
ドＨＭＭを生成するために並列に接続される。

【００１６】文字の列を含み、文字の列が水平方向へ延
出すると考えられるスキャンイメージにキーワードが存
在するかどうかを判定するプロセッサベースの方法にお
いて使用するために、キーワードをモデル化する方法で
あって、１組の単一文字隠れマルコフモデル（ＨＭＭ）
を提供する段階と、キーワードＨＭＭを定義するために
キーワード中の文字に対応する単一文字ＨＭＭを連結す
る段階と、キーワードＨＭＭを含むＨＭＭネットワーク
を構築する段階とを備え、前記提供する段階は、前記組
の単一文字ＨＭＭの１個が基づくそれぞれの文字が多数
の独特な部分を有し、それぞれの文字が水平方向の位置
の垂直スライスを表す少なくとも１個のパラメータによ
り文字に沿う複数の水平方向位置の各々で特徴付けられ
る形状を有し、与えられた文字に対する与えられた単一
文字ＨＭＭが多数の状態により特徴付けられ、この各状
態が与えられた文字の多数の独特な部分の１個に対応
し、各状態が与えられた文字の対応する独特な部分に対
する少なくとも１個のパラメータの統計的分布により特
徴付られ、垂直スライスを表すために使用されるパラメ
ータの何れもが文字のベースラインを参照されることが
なく、それぞれの単一文字ＨＭＭは文字がアセンダを持
つかデセンダを持つか、及びキーワード中の他の文字が
アセンダを持つかデセンダを持つか、に依存する多数の
可能な文脈を有し、キーワードＨＭＭを形成するように
連結された単一文字ＨＭＭが同じ文脈を有する、ことを
特徴とすること、を含むキーワードのモデル化方法が得
られる。

【００１７】少なくとも１つのキーワード隠れマルコフ
モデル（ＨＭＭ）を含むキーワードスポッティングネッ
トワークにおいて使用するために、文脈非依存型の文字
に基づく非キーワードＨＭＭを提供する方法であって、
それぞれが特定の文脈における１組の文字をモデル化す
る、第１、第２、第３、及び第４の組の文字ＨＭＭを提
供する段階と、ＨＭＭを通しての非キーワードに関する
最適なパスが非キーワード内の文字の文脈によって制約
されないように、リターンループを備えたヌル状態の間
に第１、第２、第３、及び第４の組の文字ＨＭＭから文
字ＨＭＭを並列に接続する段階と、を備えたことを特徴
とする文脈非依存型の文字に基づく非キーワードＨＭＭ
の提供方法が得られる。

【００１８】少なくとも１つのキーワード隠れマルコフ
モデル（ＨＭＭ）を含むキーワードスポッティングネッ
トワークにおいて使用するために、文脈依存型の文字に
基づく非キーワードＨＭＭを提供する方法であって、そ
れぞれの組が特定の文脈における１組の文字をモデル化
する第１、第２、第３、及び第４の組の文字ＨＭＭを提
供する段階と、それぞれがリターンループを備えたヌル
状態の間に並列に接続されるそれぞれの文脈に関するそ
れぞれの組の文字ＨＭＭを有するそれぞれの単一文脈文
字セットＨＭＭを構築する段階と、ＨＭＭを通しての非
キーワードに関する最適なパスが非キーワード内の文字
の文脈によって制約されるように、リターンループを備
えないヌル状態の間に単一文脈文字セットＨＭＭを並列
に接続する段階と、を備えたことを特徴とする文脈依存
型の文字に基づく非キーワードＨＭＭの提供方法が得ら
れる。

【００１９】少なくとも１つのキーワード隠れマルコフ
モデル（ＨＭＭ）を含むキーワードスポッティングネッ
トワークにおいて使用するために、文脈非依存型のイメ
ージスライスに基づく非キーワードＨＭＭを提供する方
法であって、それぞれが１組の文字イメージをモデル化
する１組のイメージスライス状態を提供する段階と、Ｈ
ＭＭを通しての非キーワードに関する最適なパスが非キ
ーワード内の文字の文脈によって制約されないように、
リターンループを備えたヌル状態の間にイメージスライ
スセット状態を並列に接続する段階と、を備えたことを
特徴とする文脈非依存型のイメージスライスに基づく非
キーワードＨＭＭの提供方法が得られる。

【００２０】少なくとも１つのキーワード隠れマルコフ
モデル（ＨＭＭ）を含むキーワードスポッティングネッ
トワークにおいて使用するために、文脈依存型のイメー
ジスライスに基づく非キーワードＨＭＭを提供する方法
であって、それぞれの組が特定の文脈における１組の文
字イメージの部分をモデル化する第１、第２、第３、お
よび第４の組のイメージスライス状態を提供する段階
と、それぞれがリターンループを備えたヌル状態の間に
接続されるそれぞれの文脈に関するイメージスライス状
態を有するそれぞれの単一文脈イメージスライスセット
ＨＭＭを構築する段階と、ＨＭＭを通しての非キーワー
ドに関する最適なパスが非キーワード内の文字の文脈に
よって制約されるように、リターンループを備えないヌ
ル状態の間に単一文脈イメージスライスセットＨＭＭを
並列に接続する段階と、を備えたことを特徴とする文脈
依存型のイメージスライスに基づく非キーワードＨＭＭ
の提供方法が得られる。

【００２１】以下の説明と図面を参照することによっ
て、本発明の性質と利点をさらに理解することができる
であろう。

【００２２】

【実施例】

〔形態素に関する定義と専門用語〕ここでの論議は主と
して２値イメージを取り扱う。この背景において、”イ
メージ”という用語は、画素から構成される２次元デー
タ構造の表現を意味する。２値イメージは、与えられた
画素が”ＯＮ”かあるいは”ＯＦＦ”のいずれかである
イメージである。２値イメージはいくつかの操作によっ
て加工され、そこでは、１つかあるいはそれ以上のソー
スイメージがデスティネーションイメージにマップされ
る。そのような操作の結果が、一般的には、イメージと
して参照される。処理に関しての開始時点にあるイメー
ジは、時々、オリジナルイメージとして参照される。処
理の与えられた段階でのイメージは、時々、カレントイ
メージとして参照される。ある処理の段階が任意に選択
できる場合には、カレントイメージが入力イメージであ
る。明示的に述べられた操作の結果から生じるイメージ
は、時々、結果イメージ(resultant image) として参照
される。

【００２３】画素は、それらが黒の場合はＯＮで定義さ
れ、それらが白の場合はＯＦＦで定義される。ＯＮとし
ての黒の指定とＯＦＦとしての白の指定は、対象として
いる文書のほとんどが黒の前景と白の背景を有する事実
を反映することに注意されたい。本発明の技術は反対の
イメージにも適用されるが、ここでの論議は白の上の黒
に関してなされる。

【００２４】ＡＮＤ、ＯＲ、およびＸＯＲは、２つの画
像の間で画素ごとに実行される論理操作である。

【００２５】ＮＯＴは、単一の画像において画素ごとに
実行される論理操作である。

【００２６】”縮小(reduction) ”はＳＣＡＬＥ係数Ｎ
およびしきい値レベルＴによって特徴づけられる基準化
操作である。ＳＣＡＬＥ＝Ｎによる縮小は、ソースイメ
ージをＮ×Ｎの区画の画素に分割することと、ソースイ
メージにおけるそのようなそれぞれの区画をデスティネ
ーションイメージの単一の画素にマップすることと、を
引き起こす。デスティネーションイメージにおける画素
に対する値はしきい値レベルＴによって決定され、その
Ｔは１からＮ² の間の数である。画素区画におけるＯＮ
の画素の数がＴより大きいかあるいは等しい場合にはデ
スティネーション画素はＯＮであり、そうでない場合に
はデスティネーション画素はＯＦＦである。

【００２７】”４連結領域”（または、”４連結成
分”）は１組のＯＮの画素であり、ここで、その組のど
んな２つの画素も、その２つの画素を含みかつその組の
画素だけを含むパスによって結合され、かつパス上のそ
れぞれの画素は、パス上の少なくとも１つの他の画素に
水平または垂直に隣接する。４連結近傍画素を持たない
孤立した１つのＯＮの画素は、定義上は４連結領域とみ
なされるかもしれない。

【００２８】”８連結領域”（または、”８連結成
分”）は１組のＯＮの画素であり、ここで、その組のど
んな２つの画素も、その２つの画素を含みかつその組の
画素だけを含むパスによって結合され、かつパス上のそ
れぞれの画素は、パス上の少なくとも１つの他の画素に
水平または垂直または斜めに隣接する。８連結近傍画素
を持たない孤立した１つのＯＮの画素は、定義上は８連
結領域とみなされるかもしれない。

【００２９】いくつかの形態素的操作は、構造化要素
（ＳＥ：structuring element ）と呼ばれる画素パター
ンによって定義される罫線に従って、ソースイメージを
等しいサイズで作られたデスティネーションイメージに
マップする。ＳＥは１つの中心位置およびそれぞれが定
義された値（ＯＮまたはＯＦＦのいずれか）を有するい
くつかの画素の位置によって定義される。”無関心のも
の（don't care) ”として参照されるその他の画素の位
置は無視される。ＳＥを定義する画素はお互いに隣接す
る必要はない。中心位置はパターンの幾何学的な中心に
ある必要はなく、また、そのパターンの内側にある必要
さえもない。

【００３０】”べた塗りの(solid) ”ＳＥは、その中の
すべての画素がＯＮである外縁を有するＳＥを意味す
る。例えば、べた塗りの２×２のＳＥは、ＯＮの画素の
２×２の区画である。べた塗りのＳＥは長方形である必
要はない。

【００３１】”ヒットミスの(hit-miss)”ＳＥは、少な
くとも１つのＯＮの画素および少なくとも１つのＯＦＦ
の画素を指定するＳＥを意味する。

【００３２】”収縮(erosion) ”は形態素的な操作であ
り、この操作では、デスティネーションイメージにおい
て与えられる画素は、ＳＥ中心をソースイメージにおけ
る対応する画素位置に重ね合わせた結果がＳＥのすべて
のＯＮ画素およびＯＦＦ画素とソースイメージにおける
下に横たわる画素との間で一致した場合にかつ一致した
場合にのみＯＮになる。

【００３３】”膨張(dilation)”は形態素的な操作であ
り、この操作では、ソースイメージにおいて与えられる
画素がＯＮであることが、デスティネーションイメージ
における対応する位置でのＳＥ中心によってＳＥをデス
ティネーションイメージに書き込む。膨張に用いられる
ＳＥは、典型的には、ＯＦＦの画素を有しない。

【００３４】”オープニング(opening) ”は収縮とそれ
に続く膨張とからなる形態素的な操作である。結果は、
ソースイメージにおけるそれぞれの一致に対してデステ
ィネーションイメージにＳＥを写すことになる。

【００３５】”クロージング(closing) ”は膨張とそれ
に続く収縮とからなる形態素的な操作である。

【００３６】オープニングおよびクロージングに関して
は、その結果はＳＥの中心位置に依存しない。なぜな
ら、それぞれの操作は同一のＳＥによる連続する相補的
な操作を含むからである。

【００３７】上述において定義された種々の操作は、時
々、名詞、形容詞、および動詞の形式で参照される。例
えば、”膨張（名詞の形式）”の参照は、イメージを”
膨張する”または”膨張させられる”イメージ（動詞の
形式）、または”膨張の”操作を施されるイメージ（形
容詞の形式）、のような表現によってもよい。意味上の
違いは意図されない。

【００３８】〔システムの概要〕図１は、その中に本発
明が具体化されることができる一般化されたイメージ処
理システム１０の概略ブロック図である。この高い階層
において図示されたシステム構成は普通のものであり、
そのようなものとして、図１は”従来技術”として分類
される。しかしながら、本発明を具体化するように適切
にプログラムされるならば、システム１０のようなシス
テムは従来技術ではない。

【００３９】一般に、入力イメージは発生源装置１２か
ら提供され、それはスキャナー、ファクシミリ装置、ま
たは記憶装置であってもよい。入力イメージはイメージ
処理装置１５に送られ、それは本発明に従って構成され
るならば、汎用コンピュータのような良く知られたどの
ような装置であってもよい。ユーザインタフェース１７
からのコマンドに応答して、イメージ処理装置１５はデ
スティネーション装置１８に出力イメージを提供し、そ
のデスティネーション装置１８はプリンター、表示装
置、ファクシミリ装置、または他の記憶装置であっても
よい。いくつかの例においては、それは必ずしも実際に
出力イメージを提供しなくてもよい。むしろ、入力イメ
ージに関連する情報が要求されるもののすべてである。

【００４０】図２（Ａ）は、ワード境界ボックスを用い
るキーワードスポッティングシステム２０のフローチャ
ートである。いくつかの典型的なアプリケーションは情
報フィルタリングを提供し、そこでは、後の処理のため
にキーワードを含むテキストが識別され選択される。図
２（Ａ）は特定のアプリケーションを示し、ここでは、
テキストを含む複数ページの入力文書２２（イメージの
形式の）が処理されて、キーワードを有するページのみ
を含む出力文書２５（イメージの形式の）が生成され、
キーワードが強調表示される。

【００４１】入力イメージは、イメージのすべての潜在
的なキーワードに関するワード境界ボックスを識別する
ワードボクサー(word boxer)３０によって操作される。
それぞれの境界ボックスにおける潜在的なキーワードの
イメージは、潜在的なキーワードを分類するために、ワ
ード構造を解析し均一に間隔を置かれた水平位置で特徴
ベクトルを生成する特徴生成器３２によって操作され
る。その潜在的なキーワードの組はワードイメージスポ
ッタ(word image spotter)３５に適用される。ワードイ
メージスポッタ３５はワードモデルを受信するネットワ
ークである。好ましい実施例においては、そのワードモ
デルは、ユーザ提供のキーワードの組４７に従って選択
される文字モデルの組４５の適切なものを連結すること
によって生成される（ステップ４０）キーワードモデル
を含む。ワードイメージスポッタ３５は、好ましくは、
キーワードモデルに加えて、少なくとも１つの非キーワ
ードモデルを含み、また機能語（前置詞、接続詞、およ
び冠詞）のモデルも提供される。

【００４２】図２（Ｂ）は、テキスト行境界ボックスを
用いるキーワードスポッティングシステム５０のフロー
チャートである。システム５０は、システム５０がテキ
スト行ボクサー５２と、テキスト行を操作する特徴生成
器５５と、キーワードがテキスト行の一部であるという
事実を考慮したワードイメージスポッタ６０およびワー
ドモデル生成器６５と、を備える点において、図２
（Ａ）のシステム２０と異なる。キーワードの入力と文
字モデル生成とは典型的にはシステム２０と同じであ
る。

【００４３】〔ワードボクサー〕 図３はワードボクサー３０によって実行されるステップ
を示すフローチャートである。入力イメージの複製は、
好ましくは、ＳＣＡＬＥ＝２において、しきい値レベル
１によりしきい値処理される縮小によって縮小される。
そして、縮小されたイメージのいくつかの複製が作ら
れ、それぞれの複製は、垂直のべた塗り構造化要素（Ｓ
Ｅ）７３による形態素的クローズ操作（ステップ７２）
および水平のべた塗りＳＥ７７によるクローズ操作（ス
テップ７５）を施される。それぞれの複製は、異なった
寸法のフォントと文字間の間隔とを調節するために、異
なったサイズで作られたＳＥ対によってクローズされ
る。例えば、１×４の水平ＳＥは縮小されたイメージに
おける３画素幅の間隔を充填するのに適しており、また
１×６の水平ＳＥは５画素幅の間隔を充填するのに適し
ている。例として、図面は、２×１の垂直クローズと１
×３の水平クローズとを施される１つの複製と、４×１
の垂直クローズと１×７の水平クローズとを施されるも
う１つの複製と、を示す。特定の実施例においては、つ
ぎのＳＥ対によって９個の複製が処理される。（２，
３）、（２，４）、（３，５）、（３，６）、（４，
７）、（４，８）、（５，９）、（５，１０）、（８，
１５）、ここで、（ｍ，ｎ）は垂直のｍ×１クローズと
それに続く水平の１×ｎクローズとを表す。異なったス
キャン解像度による他の実施例は別のＳＥ対を必要とす
る。

【００４４】このようにしてクローズされたイメージの
それぞれの複製は、連結成分の境界ボックスを計算する
ための処理を施される（ステップ８０）。しきい値処理
される縮小と形態素的クロージングの目的は、ワード間
の間隔を保持するとともに、ワードの中の個々の文字を
まとめて併合させることである。これらの連結成分は、
それらの併合された文字による潜在的なキーワードにな
ることが期待される。大きなＳＥによる水平のクローズ
は小さなフォントでの文字と同様に複数のワードを併合
させるが、小さなＳＥによる水平のクローズは大きなフ
ォントでの単一のワードの中の文字を併合させないこと
に注意されたい。従って、異なったサイズで作られたＳ
Ｅによるイメージ複製のクロージングは、与えられたフ
ォントサイズでのあるワードが、少なくとも１つの処理
されたイメージ複製において最後には単一の連結成分と
なることを確実にするための１つの方法である。

【００４５】異なったサイズで作られたＳＥ対によって
決定される境界ボックスが併合され、同じ境界ボックス
およびほとんど同じ境界ボックスが除去され、そして、
小さいサイズの成分または大きいサイズの成分が除去さ
れる（ステップ８５）。特定の実施例においては、縮小
されたイメージにおけるボックスは、もしそれらが６×
６の画素より小さいかまたは１０００×１２８の画素よ
り大きい場合に除去される。低いしきい値はイメージの
ノイズを除去する傾向があり、また高いしきい値は線図
形およびイメージの中間調領域を除外する傾向がある。
そして、境界ボックスの情報がオリジナルイメージとと
もに使用されて、標準の高さに基準化された潜在的なキ
ーワードの組を提供する（ステップ８７）。

【００４６】図４は、縮小されたイメージにおける連結
成分の座標情報を抽出する技術のフローチャートであ
る。８連結成分を用いた解析を行うことは可能である
が、以下では４連結成分が使用される。縮小されたイメ
ージの複製はコンピュータによってスキャンされ（すな
わち、それぞれの画素が評価され）、ＯＮの画素が検出
されるまで、左上から開始し左から右そして上から下へ
進む（ステップ９０）。その画素の座標は保存され、検
出された画素が属する連結成分の境界ボックスの角に関
する現在の最大の情報をまず表現する（境界ボックスの
左上と右下の角によってその境界ボックスは完全に指定
される）。検出された画素とそれの４連結近傍画素とが
ＯＦＦにされる（ステップ９２）。それぞれの画素がＯ
ＦＦにされると、それらの座標が現在の角の座標と比較
される。もしいずれかの座標が現在の境界ボックスの範
囲の外側であれば、角の適切な座標が更新されて今現在
の境界ボックスが拡張される。４連結近傍画素を検出し
てＯＦＦにする技術は、AndrewS. Glassner(Academic P
ress, Inc. 1990) によって編集された『Graphics Gem
s,』のPaul S. Heckbertによる『A Seed Fill Algorith
m 』の頁275 〜277 および頁721 〜722 に記述される。

【００４７】連結成分が消去されそれの境界ボックスの
座標が保存されると（ステップ９５）、スキャンが再度
始められ（ステップ９７）、消去されたばかりの成分に
おける最初の画素が検出された位置の直後から開始す
る。もし別のＯＮ画素が検出されれば（判断分岐９
８）、ステップ９２から始まる手順が繰り返される。再
開されたスキャンがＯＮ画素を検出できなければ、処理
は完結し、関連する境界ボックスの情報が抽出される。

【００４８】図５は、それぞれの潜在的なワードを標準
の高さのワードに変換するステップ８７におけるサブス
テップのフローチャートである。境界ボックスのサイズ
をオリジナルイメージのサイズに戻すために、ステップ
８５からの境界ボックスの座標が再基準化され（ステッ
プ１００）、これらの座標が、それぞれのボックスのビ
ットマップ内容をオリジナルイメージから抽出するのに
使用される（ステップ１０２）。それぞれのボックス
は、余白を除去するために上部、下部、および左側でク
リップされる（ステップ１０５）。縮小されたイメージ
において実行されるクローズ操作は通常は連結成分を拡
大しないが、しきい値処理された縮小のために、連結成
分自体は対応するワードよりわずかに大きいかもしれな
い。したがって、クリッピングの後に、それぞれの境界
ボックスのオリジナルのビットマップ内容は、境界ボッ
クスの上部、下部、および左側と接触する。

【００４９】境界ボックスの内容が１つのワード、１つ
のワードの一部分、または複数のワードであると仮定す
ると、１番目の文字は境界ボックスの左に接し、もっと
も高い文字は境界ボックスの上部に接し、そして、もっ
とも低いディセンダを備えた文字は境界ボックスの下部
に接するであろう。キーワードが境界ボックスにおいて
最後に検出される場合に適切なアクションがとられるよ
うに、境界ボックスの座標が保存される（ステップ１０
７）。

【００５０】つぎに、境界ボックスとその内容は、標準
の高さの倍数の上方向サンプリング(upsampling)（ステ
ップ１１０）と、フィルタリング（ステップ１１２）
と、標準の高さの下方向サンプリング(downsampling)
（ステップ１１３）と、を包含する複数ステップの処理
によって標準の高さに正規化されて、上方向へのサンプ
リングと下方向へのサンプリングの間に、それに応じて
結果として生じる幅が基準化される。この実施例におい
ては、標準の高さは３２画素であるが、１６画素の高さ
も考えられる。

【００５１】フィルタリングステップは２次元低域通過
フィルタであり、再サンプリングによってもたらされる
エイリアシング(aliasing)を防止する。この時点におい
て、以前は２値イメージであったものが、今ではグレイ
スケールイメージ（特定の実施例においては１画素あた
り８ビット）である。３２画素の列への正規化のため
に、文字は典型的には１０〜３０の列を備える。

【００５２】イメージは任意選択で平均化ステップ１１
５を施され、ここで、それぞれの画素はその水平に隣接
する画素と平均がとられる。このことは、３２画素の正
規化が用いられるときにノイズを除去するように働く。
標準の１６画素の高さは、３２画素の代わりに用いられ
た場合、平均化を有効なものあるいは望ましいものにす
るのに十分な解像度を提供するようには思えない。

【００５３】コンマの存在は潜在的に面倒なことであ
る。コンマがワードの最後の文字に接する場合、かつそ
のワードがディセンダを有しない場合、そのコンマは境
界ボックスの下側エッジを低すぎるものとし、そしてそ
のワードをわずかに誤って位置合わせする。このことは
深刻な問題とは思われない。なぜなら、わずかに誤って
位置合わせされたワードは、たとえそれがキーワードと
しても、非キーワードモデルよりもキーワードモデルに
依然として良く一致する傾向があるのである。

【００５４】もしコンマが最後の文字に接していなけれ
ば、それは境界ボックスの正規化に先立って除去される
ことが可能である。このことは、境界ボックスの右下の
角におけるオリジナルのビットマップの部分の連結成分
の別個の解析をなし、そして、もしもっとも右側の連結
成分がコンマの予想される最大サイズより小さければ、
そのもっとも右側の連結成分を削除することによって実
現される。この処理はピリオドも削除することに注意さ
れたい。

【００５５】図６は標準の高さに正規化されたいくつか
のワードを図式的に示す。より詳細には、１２１、１２
２、１２３、そして１２４で指示される４つのワード
が、標準の高さの境界ボックス内に示される。この概略
図は理想化されたものを示す。なぜなら、上述したよう
に、正規化されたワードイメージは、かなり低い解像度
でのグレイスケールイメージであるからである。これら
の４つの正規化されたワードは２つの特徴を明示してい
る。第１に、最初は同じフォントサイズのワードが、ワ
ード内の文字のアセンダおよびディセンダの有無に依存
する異なった係数によって基準化される。第２に、与え
られた文字が、ワードにおけるそれの文脈に依存する異
なった方法で基準化される。文字”ｏ”がアセンダのみ
を備えたワード（”ｏｆ”）に存在するか、ディセンダ
のみを備えたワード（”ｇｏｎｅ”）に存在するか、ア
センダとディセンダを備えたワード（”ｆｏｇ”）に存
在するか、あるいは、アセンダもディセンダもないワー
ド（”ｏｎ”）に存在するかどうかに依存して、文字”
ｏ”は異なった係数で基準化されかつ垂直の方向で異な
って配置されている。アセンダ（または、ディセンダ）
を備えた文字は、典型的には、２つの可能な文脈のみを
有する。すなわち、アセンダ（ディセンダ）のみを、そ
してアセンダとディセンダを有する。

【００５６】〔特徴生成〕それぞれのワードは１組の特
徴ベクトルによって表現され、ここで、それぞれのベク
トルは個々の水平の画素位置でのワード形状のある外観
の特徴を記述する。すなわち、画素のそれぞれの列は関
連する特徴ベクトルを有する。図７は特徴生成器３２に
よって実行されるステップを示すフローチャートであ
る。それぞれのワードは、境界ボックスの上部に関連す
る上側の輪郭（ステップ１３０において決定される）
と、境界ボックスの下部に関連する下側の輪郭（ステッ
プ１３２において決定される）と、ワードの内部構造を
表現する自己相関値（ステップ１３５において決定され
る）と、によって特徴が記述される。画素の列に対する
特徴ベクトルは、その列に対する上側と下側の輪郭値お
よびいくつかの自己相関値とからなる。

【００５７】より詳細には、与えられた画素列に関する
上側のワード輪郭値は、列において値がしきい値を超え
る最上位の画素の位置によって与えられる。８ビットの
画素に関しては、ここでの実施例においてはしきい値は
１２８である。２値イメージにおいては、輪郭値は最上
位のＯＮ画素の位置である。同様に、与えられた画素列
に関する下側のワード輪郭値は、列において値がしきい
値を超える最下位の画素の位置によって与えられる。こ
のことは図８（Ａ）〜図８（Ｄ）の理想化された描写か
ら理解される。

【００５８】図８（Ａ）はその境界ボックスの中のワー
ド（”ｐｏｌｅ”）を示す。明確にするために、そのワ
ードは約６４の水平の位置でサンプリングされた。図８
（Ｂ）は、６４本の等間隔の垂直線がワード内の文字の
上側表面と交差する点を結ぶことによって形成される上
側の輪郭を示す。１つの垂直線が２つの文字の間に位置
する場合は、その点は境界ボックスの最下部から選択さ
れる。図８（Ｃ）は、６４本の等間隔の垂直線がワード
内の文字の下側表面と交差する点を結ぶことによって形
成される下側の輪郭を示す。１つの垂直線が２つの文字
の間に位置する場合は、その点は境界ボックスの最上部
から選択される。図８（Ｄ）は境界ボックスにおいて重
畳された上側と下側の輪郭を示す。文字の概観が識別さ
れるとともに、文字間の間隔が一般的には長方形の完全
な高さ(full-height) の形として現れる。しかしなが
ら、この輪郭はワード内の文字の内部構造の特徴を記述
しはしない。例えば、”ｅ”における水平のストローク
は現れないし、輪郭だけに基づいているので、そのワー
ドが”ｐｏｌｅ”かまたは”ｐｏｌｏ”のどちらである
かを決定することができない。

【００５９】自己相関値が、ワード内の文字の内部構造
の特徴を記述するのに使用される。詳細には、与えられ
た画素列は、”ずれ”として参照される特定の増分だけ
垂直にシフトされ、そのシフトされた列と最初に配置さ
れた列との間の相関が、現時点で重なり合う画素の値を
乗算しそして画素全部に対しての和を計算する標準の方
法によって決定される。最大の値はずれ０においてであ
り、その他のずれにおける値がこの値に正規化される。
３２画素の列によるここでの実施例において、相関は３
２個のずれ（０〜３１個の画素のオフセット）に関して
計算され、それぞれの値はずれ０での値に比較して正規
化され、そして相関値の隣接するグループが平均化され
て平均相関値の減少された数を提供する。ここでは、７
つの値が使用される。値がずれ０での値に比較して一度
正規化されれば、ずれ０での正規化された値は定義によ
って１であり、ゆえに平均化には使用されないことに注
意されたい。なぜなら、それは付加的な情報を伝達しな
いからである。

【００６０】図９は、その輪郭決定が図８（Ａ）〜図８
（Ｄ）を参照して上述されたワード”ｐｏｌｅ”に関す
る自己相関決定を示す。自己相関値は実際にはそれぞれ
の画素列に対して決定されるが、自己相関は３つの水平
位置に関して図示される。明確にするために、７つのセ
グメントに分割された画素列による２値イメージが示さ
れる。それぞれのセグメントの値は、もしセグメントの
約半分またはそれ以上がＯＮ画素を有するならＯＮであ
ると定義され、そうでなければ、ＯＦＦであると定義さ
れる。

【００６１】３つの図示された位置は、”ｐ”の垂直の
ストロークと、”ｏ”および”ｅ”の中央の部分とであ
る。図からわかるように、第１の水平位置は第２セグメ
ント〜第７セグメントをＯＮにし、第２の水平位置は第
２セグメントおよび第６セグメントをＯＮにし、第３の
水平位置は第２セグメント、第４セグメント、および第
６セグメントをＯＮにする。

【００６２】ここでの説明のための例において、列を得
て、０から６までのセグメントの範囲で動くずれによっ
て列の複製を垂直に変位させ、そして、最初の列と変位
させられた複製の両方が重なり合うＯＮセグメントを有
する場合の数をそれぞれのずれにおいて決定することに
よって、与えられた列に関する自己相関が決定される。
０個のセグメントのずれでは、自己相関は単にＯＮセグ
メントの数であり、そして、このことが最大値の１を有
するために自己相関値を正規化するのに使用される。７
つのセグメントだけしか存在しないので、７個のセグメ
ントのずれでは、自己相関は定義によって０である。な
ぜなら、列は重なり合わないからである。上述したよう
に、実際の実施例のグレイスケールの世界(realm) で
は、相関は画素値の乗算と加算によって評価される。

【００６３】説明のための例における自己相関図は、水
平位置においてワードの文字の内部構造を導き出す。垂
直なストローク（”ｐ”の垂直なストロークのような）
に関して、あるいは文字のどのような垂直な部分に関し
ても、相関図はその最大値からずれがそのストロークま
たは垂直な部分の高さを超えるときのゼロまで線型に減
衰する。”ｏ”の中央のような白抜きの文字部分に関し
ては、自己相関はその白抜きの空間の高さによって分離
された２つのピークを有する。水平なストロークを包含
する内部の文字部分（”ｅ”の中央のような）に関して
は、自己相関はその白抜きの空間の高さによって分離さ
れた３つのピークを有する。

【００６４】文字の内部構造の特徴を記述するための自
己相関値を用いない別の方法は、上側の輪郭と下側の輪
郭との間の画素遷移をカウントすることである。図９の
２値イメージの例に関しては、第１の列（”ｐ”の垂直
なストローク）は遷移がなく、第２の列（”ｏ”の中央
の部分）は単一の白抜き領域を指示する２つの遷移を有
し、そして、第３の列（”ｅ”の中央の部分）は２つの
白抜き領域を指示する４つの遷移を有する。グレイスケ
ールの世界では、遷移は画素のしきい値を介した遷移と
して定義される。

【００６５】特徴生成は、文字のベースラインまたはエ
ックスハイト（小文字の”ｘ”のようなアセンダあるい
はディセンダいずれをも備えない小文字の高さ）を検出
することを必要とせずに実行されることに注意された
い。ベースラインおよびエックスハイトの情報を抽出す
る技術は耐久性がない傾向があり、かつ単一ワード(sin
gle words)または頭文字語(acronyms)に対してまったく
動作しない傾向がある。境界ボックスの位置は耐久性が
あり、ゆえに耐久性のある特徴生成とスポッティングと
を可能にする。

【００６６】〔隠れマルコフモデル（ＨＭＭ）の概要〕
隠れマルコフモデル化は、認識されるべき音声の変動性
(variability) をモデル化するために、音声認識におい
て一般に使用される統計学的技術である。そのような変
動性は異なった会話者からだけでなく異なった会話速度
からも結果として生じる。本発明においては、隠れマル
コフモデル化は文字（実際にはワード）認識に適用され
る。ここで、変動性は、異なった文字のサイズおよびフ
ォントから、そしてスキャナ、複写機、およびファクシ
ミリ装置によって生成されるイメージのノイズから生じ
る。

【００６７】隠れマルコフモデル（ＨＭＭ）は、状態間
での確率的遷移と、それぞれの状態に関連する観測され
る特徴ベクトルの確率分布と、を有する１組の状態から
なる。音声認識においては、これらの特徴ベクトルは与
えられた時刻での音声のスペクトル内容を表現する。ワ
ードイメージスポッティングシステムにおいては、特徴
ベクトルは、与えられた位置での相関のずれの特徴と組
み合わされたその位置でのワード内の文字の上側輪郭と
下側輪郭からなる。状態間での遷移が観測列を特徴づけ
る。確率をそれぞれの状態の観測にだけでなく状態間で
の遷移にも関連づけることによって、ＨＭＭｓは、音声
または文字イメージにおける変動性を統計的にモデル化
するのに使用される。

【００６８】より詳細には、ＨＭＭは、１組のＮ個の状
態Ｓ₁ ．．．Ｓ_N と、１組の遷移確率ａ_ij（ｉ＝
１．．．Ｎ、ｊ＝１．．．Ｎ）と、そして、１組の確率
分布ｂ_i(X)（ｉ＝１．．．Ｎ）とからなり、ここで、ａ
_ijは状態ｉから状態ｊへの遷移の確率であり、またｂ
_i(X)は、状態がｉでありかつ特徴ベクトルｘを観測する
確率である。

【００６９】ＨＭＭｓを用いた認識は以下のようになさ
れる。認識されるべきそれぞれのオブジェクトがＨＭＭ
によってモデル化される。与えられた長さＴの観測列Ｘ
（Ｘ＝ｘ₁ ．．．ｘ_T ）が、列Ｘをもっとも生成しそう
であったと決定されるＨＭＭに対応するオブジェクトと
して認識される。このことをなす１つの方法は、フォー
ワードアルゴリズム（forward algorithm : Rabiner 参
照）を用いて、それぞれのＨＭＭに与えられるＸの尤度
(likelihood of X) を計算することによってなされる。
さらに有効な方法はビタービアルゴリズム(Viterbi alg
orithm) であり、これは以下のようになされる。認識さ
れるべきそれぞれのオブジェクトに関するＨＭＭｓが並
列に接続されてネットワークを形成する。記号
Ｐ₁ ．．．Ｐ_M はそれぞれのオブジェクトの以前の確率
を意味する。観測列、Ｘ＝ｘ₁ ．．．ｘ_Tが与えられる
と、列Ｘをもっとも生成しそうであったネットワークを
通して状態列を検出するためにビタービアルゴリズム
（Rabiner 参照）が使用される。それぞれの状態列は１
つの認識されるべきオブジェクトのＨＭＭに独特なもの
であるので、最適の状態列が認識されるべきオブジェク
トを特定する。

【００７０】ＨＭＭに関するパラメータは遷移確率ａ_ij
および観測確率ｂ_i(X)である。これらのパラメータは、
ＨＭＭによってモデル化されたオブジェクトによって生
成されたことが分かっている１組の観測列Ｘによってそ
のＨＭＭを教育することによって学習させることができ
る。バーム−ウェルチ手順(Baum-Welch procedure :Rab
iner 参照）として知られるアルゴリズムが一般に使用
される。

【００７１】〔文字およびキーワードＨＭＭ〕 個々の英数字は、それに続くどのような間隔も同様に、
文脈依存型文字ＨＭＭによって表現される。上述におい
て論議したように、文字モデルに関する文脈はワード内
のアセンダおよびディセンダの存在に依存する。アセン
ダのみの場合、ディセンダのみの場合、アセンダとディ
センダの両方の場合、または、アセンダもディセンダも
ない場合の結果として生じる文脈において、４つまでの
モデルがそれぞれの文字に対して必要とされる。

【００７２】文字ＨＭＭは、状態間での確率的遷移とそ
れぞれの状態に関連する特徴とを有する状態の列によっ
て定義される。ＨＭＭにおける状態の数は文字に適合さ
れたものであり、またそれぞれの状態は、文字のその部
分を特徴づける特徴ベクトルの確率分布によって記述さ
れる。典型的には、２〜５個の状態が文字をモデル化す
るのに使用される。文字間の間隔をモデル化するため
に、最終の状態がすべての文字に付加される。すべての
状態はガウス観測分布を有し、それは平均ベクトルと共
分散正方行列とによって特徴づけられる。文字部分に対
応する状態は独特のガウス観測分布を有するのに、１つ
の文脈における文字間の間隔に対応する状態は単一の共
通な分布を共有する。そのような間隔の状態は等しい出
力(tied output) を有すると言われる。結果として、隣
接する文字に無関係に、その文字間の間隔は与えられた
文脈に関してまったく同じに取り扱われる。分布は、間
隔が文字間に現れてもよい３つの場合をモデル化するた
めの３つのガウス分布の混合であり、それは、文字同志
が接しない場合と、上部でのみ接する場合と、そして、
下部でのみ接する場合とである。

【００７３】図１０（Ａ）は、状態がいくつかの代表的
な文字の構造に、詳しくは小文字の”ｆ”、”ｅ”、お
よび”ｗ”の構造にどのように関係するかの理想化され
た表現である。ワード”ｆｅｗ”はその境界ボックス内
に示され、垂直線が状態を区画する(delineate) 。状態
の実際の区画は教育において決定される。文字”ｆ”お
よび”ｅ”のそれぞれは、文字構造の独特な部分に対応
する３つの状態を有し、文字”ｗ”は５つの状態を有す
る。図示されるようなワード”ｆｅｗ”の文脈におい
て、文字構造の状態のそれぞれの組の後には文字間の間
隔に対応する状態が続く。

【００７４】図１０（Ｂ）は、文字”ｆ”および”ｅ”
のいずれにも関するＨＭＭ状態図を示す。そのモデル
は、文字に特有の観測を生成する３つの状態Ｓ₁ 、
Ｓ₂ 、Ｓ₃と、等しい分布に従った文字間の間隔を生成
する状態Ｓ₄ とからなる。ａ_ijは状態Ｓ_i とＳ_j との間
の遷移の確率である。確率ａ₃₅による状態Ｓ₃ からの可
能な遷移は、間隔の状態Ｓ₄ を飛び越すことを表すとと
もに、潜在的なキーワードにおける２つの文字間に間隔
が存在しない場合にはつぎの文字の最初の状態へ跳躍す
ることを表す。図１０（Ｃ）は、状態Ｓ₆ がオプション
スペースの状態である”ｗ”に関する状態図を示す。図
１０（Ｄ）は、ワードの文脈における文字に対応する文
字モデルを結合することによって、ワード全体のモデル
がどのように構築されるかを図示する。

【００７５】ある文字は複数の独特な形式で現れる。例
えば、文字”ａ”もいくつかのフォントと、例えば傾斜
したイタリック体のその他のフォントとによって現れ
る。このことを考慮するために、別個の文字モデルが多
様な変形に関して生成され、また別個のキーワードモデ
ルがそのような文字を含むどんなキーワードに関しても
生成される。

【００７６】文字”ｉ”および”ｊ”はまたワード内に
アセンダが存在しない場合に特別な事態を呈する。その
ようなワードに関する境界ボックスはドットを包含する
かもしれないし、あるいは包含しないかもしれない。こ
のことを考慮するために、２つのキーワードモデルが構
築され、１つはアセンダがない文脈のためのモデルであ
り、もう１つはアセンダが存在することを仮定した文脈
のためのモデルである。

【００７７】文字ＨＭＭは異なったフォントによるテキ
ストを用いて教育される。教育は、それぞれの文字のそ
れぞれの状態に関する観測分布と、間隔の状態に関する
観測分布と、そして標準のバーム−ウェルチ技術を用い
た状態間の遷移確率ａ_ijと、を学習することを包含す
る。教育データは、種々の文脈におけるそれぞれの文字
を含むワード全体からなる。個々の文字の境界に注目す
る必要はない（Paul参照）。モデルが正しく初期化され
ることを確実にするために、１組の予備の教育用データ
が使用され、それには文字間の間隔がかならず存在す
る。

【００７８】〔非キーワードＨＭＭ〕非キーワードＨＭ
Ｍは、イメージにおけるキーワードではないワードをモ
デル化するのに使用される。非キーワードモデルの使用
は、キーワードのスコアがイメージ品質とそのフォント
とに依存する任意のしきい値よりもむしろ非キーワード
のスコアと比較されることを可能にする。

【００７９】モデルは文脈非依存（非感知）型(context
-insensitive) または文脈依存（感知）型(context-sen
sitive) のいずれかである。文脈依存型モデルにおいて
は、文字モデルにおいて使用される４つのワード文脈
（＃１はアセンダのみ、＃２はディセンダのみ、＃３は
アセンダとディセンダの両方、＃４はアセンダもディセ
ンダも存在しない）が、非キーワードモデルにおけるリ
ターンループを伴わない個々の並列のパスによって表現
される。ゆえに、非キーワードに関するＨＭＭを通して
の最適のパスは、単一の文脈に制約される。

【００８０】非キーワードは文字レベルあるいは部分文
字レベルのいずれでモデル化されてもよい。文字レベル
では、文字セットにおけるそれぞれのシンボルは、上述
されたように教育された対応する文脈依存型文字ＨＭＭ
によってモデル化される。文字に基づく(character-bas
ed) 、文脈非依存型の非キーワードモデルを生成するた
めに、予め教育された文字ＨＭＭｓの組が並列に接続さ
れる。

【００８１】図１１は、文脈非依存型の文字に基づく非
キーワードＨＭＭ１５０に関する状態図である。ＨＭＭ
は、１対のヌル状態(null state)１５５および１５７の
間に並列に接続されるいくつかの文字ＨＭＭ１５２を備
え、また、ヌル状態１５５および１５７の間にリターン
ループを含む。文字セットは、大文字と小文字、数字、
および特殊文字を含むＮ個の文字を包含すると仮定され
る。４つまでの別個の文字ＨＭＭが文字セットのそれぞ
れの文字に用意される。与えられた文字に対するＨＭＭ
の番号は、４つの可能な文脈のどれがその文字に当ては
まるかに依存する。ＨＭＭ１５０は、非キーワードに関
するそのＨＭＭを通しての最適のパスが非キーワードに
おける文字の文脈によって制約されないという意味で非
文脈依存型である。

【００８２】文脈依存型の文字に基づく非キーワードモ
デルは、まず与えられた文脈に関する予め教育された文
字ＨＭＭを並列に接続することによって生成されて、４
つの文脈に対してそれぞれ１つ、すなわち４つのＨＭＭ
を提供する。つぎにその４つのＨＭＭｓが、文脈依存型
の文字に基づく非キーワードＨＭＭを生成するために並
列に接続される。

【００８３】図１２は、非キーワードＨＭＭの構成要素
として使用される文字セットの一文脈のＨＭＭ１６０
（１）に関する状態図である。そのＨＭＭは、１対のヌ
ル状態１６５と１６７との間に並列に接続された文字Ｈ
ＭＭ１６２からなり、またリターンループを包含する。
ＨＭＭ１６０（１）は、ＨＭＭ１６０（１）がこの場合
は文脈＃１であるその単一の文脈において現れることの
できる文字ＨＭＭｓのみを含むことが図１１のＨＭＭ１
５０と異なる。類似のＨＭＭがその他の文脈に対して組
み立てられる。

【００８４】図１３は、１対のヌル状態１７２と１７５
の間に並列に接続された４つの単一文脈文字ＨＭＭ１６
０（１）、１６０（２）、１６０（３）、１６０（４）
からなる非キーワードの文脈依存型の文字に基づくＨＭ
Ｍ１７０の状態図である。このＨＭＭは、ＨＭＭを通し
ての非キーワードに関する最適なパスが非キーワードに
おける文字の文脈によって制約されるという意味で文脈
依存型である。

【００８５】部分文字レベルで非キーワードをモデル化
するために、ワード境界ボックス内の画素列すなわちイ
メージスライス（図１０（Ａ）において垂直線により区
画されている）がガウス分布による状態によって表現さ
れる。部分文字に基づくＨＭＭに関する観測分布および
遷移確率が文字モデルに関するデータと同じものを用い
て教育される。

【００８６】図１４（Ａ）は、文脈非依存型のイメージ
スライスに基づく非キーワードＨＭＭ１８０を示す。こ
の非キーワードＨＭＭは、１対のヌル状態１８５と１８
７（Ｓ₀ とＳ₃₃）の間にリターンループを伴って、状態
１８２（Ｓ₁ 〜Ｓ₃₂で示される）の並列ネットワークと
して生成される。状態Ｓ₀ とＳ₃₃がヌル状態であるのに
対して、状態Ｓ₁ 〜Ｓ₃₂はガウス分布によって出力を生
成する状態である。この非キーワードＨＭＭに関する出
力分布と遷移確率ａ_ijは、ラベルが用いられないことを
除いて、文字モデルに関するデータと同じものを用いて
教育される。状態に関するガウス出力分布の手段はラン
ダムに初期化される。

【００８７】図１４（Ｂ）は、文脈依存型非キーワード
ＨＭＭの構成要素として用いられる単一文脈イメージス
ライスＨＭＭ１９０（１）に関する状態図である。この
ＨＭＭは、１対のヌル状態１９５と１９７の間に並列に
接続されたイメージスライスを表現するガウス分布によ
るいくつかの（ここでは１０個の）状態１９２からな
り、また、リターンループも含む。与えられた１つの文
脈に関して約１０個の状態の組が、すべての文字が表現
されることを可能にすることがわかる。

【００８８】文脈依存型モデルにおいては、データは、
文字モデルを教育するのに用いられるワードラベルから
導き出されるワード文脈によって分類される。そのワー
ドラベルはどのサブモデルを教育するかを決定するのに
使用される。

【００８９】図１４（Ｃ）は、１対のヌル状態２０２と
２０５の間に並列に接続された４つの単一文脈イメージ
スライスＨＭＭｓ１９０（１）、１９０（２）、１９０
（３）、１９０（４）からなる文脈依存型のイメージス
ライスに基づく非キーワードＨＭＭ２００の状態図であ
る。このＨＭＭは、ＨＭＭを通しての非キーワードに関
する最適なパスが非キーワードにおける文字の文脈によ
って制約されるという意味で文脈依存型である。

【００９０】〔より長いワードの一部であるキーワード
のスポッティング〕ときどき、キーワードの正確な形式
が前もって知られていない場合がある。例えば、ユーザ
は、それが単数形または複数形のいずれであるかにかか
わらずに名詞に興味を示し、あるいは、時制または人称
にかかわらずに動詞に興味を示す。キーワードはハイフ
ンでつながれたまたはハイフンでつながれていない複合
ワードの一部であるかもしれない。たとえ原形の形式が
ワードの断片部分であっても、キーワードの原形の形式
(root form) を得ることが可能な限界まで、本発明は、
より長いワードに組み込まれたそのような原形の形式を
検索する技術を提供する。この能力はまた、ワード間の
スペースがワードを区画するために使用されない日本語
のような言語にも適合する。

【００９１】図１５（Ａ）は、より長いワードの一部で
あるキーワードを認識するのにネットワークにおいて使
用される第１の形態のキーワードＨＭＭ２２０に関する
状態図である。このＨＭＭは、１対のヌル状態２２７と
２２８の間に並列に接続されたキーワードＨＭＭ構成要
素２２２および非キーワードＨＭＭ構成要素２２５から
なり、かつリターンループを含む。リターンループはよ
り長いワードにおけるキーワードの複数回の発生を考慮
するものである。非キーワードＨＭＭ構成要素２２５
が、上述したように文字に基づくものあるいはイメージ
スライスに基づくものであるに対して、キーワードＨＭ
Ｍ構成要素２２２は、上述されたように文字ＨＭＭｓの
連結として組み立てられる。もし非キーワードＨＭＭ構
成要素が文脈依存型であれば、それはキーワードＨＭＭ
構成要素と同じ文脈を有する。

【００９２】アセンダとディセンダに関連するキーワー
ドの特性が既知であっても、そのキーワードがより長い
未知のワードの一部であるときは、モデルに関する適切
な文脈は未知なものとなる。特に、もしキーワードがア
センダのみを有するならば、その複合ワードはアセンダ
のみを有するかもしれないし、またはアセンダとディセ
ンダの両方を有するかもしれない。従って、キーワード
モデルは、アセンダとディセンダの両方の文脈に関する
図１５（Ａ）のＨＭＭと並列に接続されたアセンダのみ
の文脈に関する図１５（Ａ）のＨＭＭからなるネットワ
ークである。

【００９３】もしキーワードがディセンダのみを有する
ならば、その複合ワードはディセンダのみを有するかも
しれないし、またはアセンダとディセンダの両方を有す
るかもしれない。従って、キーワードモデルは、アセン
ダとディセンダの両方の文脈に関する図１５（Ａ）のＨ
ＭＭと並列に接続されたディセンダのみの文脈に関する
図１５（Ａ）のＨＭＭからなるネットワークである。

【００９４】もしキーワードがアセンダとディセンダの
両方を有するならば、その複合ワードはアセンダとディ
センダの両方を有する。従って、キーワードモデルは、
アセンダとディセンダの両方の文脈に関する図１５
（Ａ）の単一のＨＭＭである。

【００９５】もしキーワードがアセンダもディセンダも
有しないならば、その複合ワードはアセンダとディセン
ダのいずれかを有するか、いずれをも有しないか、ある
いはいずれをも有するか、のいずれかである。従って、
キーワードモデルは、４つの文脈すべてに関する図１５
（Ａ）のＨＭＭの並列の接続を備えたネットワークであ
る。

【００９６】図１５（Ｂ）は、より長いワードに組み込
まれたキーワードを認識するのにネットワークにおいて
使用される第２の形態のキーワードＨＭＭ２３０に関す
る状態図である。このＨＭＭは、１対のヌル状態２３５
と２３７の間に接続された１対の非キーワードＨＭＭ構
成要素２３３と直列のキーワードＨＭＭ構成要素２３２
からなる。キーワードが複合ワードの始めまたは終わり
にくる可能性に適合させるために飛び越しパスが提供さ
れる。このＨＭＭはリターンループを包含しない。

【００９７】もし図１５（Ａ）および図１５（Ｂ）に示
されるようなキーワードＨＭＭを使用すれば、ユーザ
は、キーワード”ｓｗｉｍ”を与えることによって、動
詞”ｓｗｉｍ”が”ｓｗｉｍｓ”かまたは”ｓｗｉｍｍ
ｉｎｇ”で現れるときにその動詞”ｓｗｉｍ”を探すこ
とができるであろうが、”ｓｗａｍ”の形式の場合を突
き止めないであろう。また、おそらくいくつかの接頭辞
かまたは接尾辞だけと接続するキーワードの特定の原形
の形式にしかユーザが興味を示さないいくつかの例もあ
る。例えば、ユーザは上述の”ｓｗｉｍ”の形式には興
味を示すかもしれないが、ワード”ｓｗｉｍｓｕｉｔ”
には興味を示さないかもしれない。

【００９８】もし接頭辞および接尾辞の可能な組がわか
っていれば、種々の可能な組み合わせに対する文字モデ
ルの連結として個々のキーワードモデルを構築すること
が普通は好ましい。

【００９９】〔キーワードスポッティングネットワー
ク〕図１６はキーワードスポッティングのためのＨＭＭ
ネットワーク３５の状態図である。ネットワークは開始
状態または初期状態２１５と停止状態または最終状態２
１７との間に並列に接続されたキーワードＨＭＭ２６０
と非キーワードＨＭＭ２６２とを包含する。キーワード
ＨＭＭと非キーワードＨＭＭは、図１０（Ｂ）〜（Ｄ）
および図１５（Ａ）〜（Ｂ）（キーワードＨＭＭ）そし
て図１１〜図１３および図１４（Ａ）〜（Ｃ）（非キー
ワードＨＭＭ）に関連して上述されたように組み立てら
れる。上述において言及したように、複数の形式で現れ
るある種の文字を含むいかなるキーワードに対しても個
々のキーワードＨＭＭｓが提供される。同様に、キーワ
ードが”ｉ”かまたは”ｊ”を含みかつアセンダを備え
た文字を含まないとき、２つの個々のキーワードＨＭＭ
ｓが好ましい。加えて、もし探索が大文字と小文字を区
別しないことを意図するのであれば、すべての小文字
と、すべての大文字と、そして先頭大文字変形(lead-up
percase variants)とに対して個々のワードモデルが提
供される。

【０１００】スポッティングはネットワークを通してビ
タービ（Ｖｉｔｅｒｂｉ）検索を用いてなされる。もし
最適なパスがキーワードＨＭＭを通して存在すれば、キ
ーワードは認識されたとみなされる。文字に基づいた非
キーワードモデルの場合における別の状況では、そのパ
スは非キーワードＨＭＭを通して一連の文字を定義する
ことができ、ゆえにその結果として、ある意味で光学式
文字認識システムとして機能する。イメージスライスの
非キーワードモデルの場合においては、潜在的なキーワ
ードが非キーワードとして識別される。キーワードＨＭ
ＭがキーワードＨＭＭ構成要素と非キーワードＨＭＭ構
成要素とを含む場合においては、最適のパスがキーワー
ドＨＭＭ構成要素を経由する場合にのみキーワードは認
識される。

【０１０１】すべての潜在的なキーワードをスポッティ
ングネットワークに適用することは可能であるが、一般
的には、その潜在的なキーワードを制限することが好ま
しい。潜在的なキーワードを制限するための１つの方法
は、それの境界ボックスの長さがキーワードと一致しな
いキーワードを除外することである。上述したように、
文字の幅は一般的に３２画素の高さに対して１０画素〜
３０画素の程度である。したがって、キーワードの特定
の文字に基づけば、潜在的なキーワードの長さを推定す
ることが可能であり、はるかに長いかまたははるかに短
い潜在的なキーワードが除外される。また、これらをワ
ードボクシング(word boxing) 段階で除去して特徴抽出
に必要とされる計算を回避することも可能である。しか
しながら、多くのアプリケーションは同一文書上の複数
の探索を必要とすることが予想され、その場合には、た
とえそのようなワードが現在の探索基準を満足させるに
は長すぎるかまたは短すぎる場合であっても、すべての
ワードに関する特徴情報を保持することが有効である。

【０１０２】誤り検出(false alarms)のない（非キーワ
ードが認識されない）１００％の成功率（キーワードの
すべての場合が認識される）は高尚な目標ではあるが、
ノイズとフォントの種類(font variations) がこの目標
の達成を見込みのないものにし、一般的に妥協が要求さ
れる。ある種のアプリケーションは、ほぼすべてのキー
ワードの場合が認識されることを必要とするかもしれな
いし、また誤り検出を許容することもあるかもしれな
い。別のアプリケーションは、キーワードの欠落により
許容度があるかもしれないが、多すぎる誤り検出によっ
て甚だしく損害を与えられるかもしれない。認識と誤り
検出との割合は、開始状態からのキーワードへの遷移確
率（Ｐ₁ ．．．Ｐ_M ）および非キーワードへの遷移確率
（Ｐ_NK）を変化させることによって制御されてもよい。

【０１０３】〔テキストの行におけるワードのスポッテ
ィング〕ワード境界ボックス よりもむしろテキスト行ボックスに
おいてキーワードをスポッティングすることが複数ワー
ドの句をスポッティングすることを可能にする。もしこ
の機能が要望されるのであれば、キーワードモデルは、
ワード間の間隔モデルによって分離された個々のワード
のＨＭＭｓの直列の接続として生成される。ワード間の
間隔モデルは、好ましくは、省略可能であり、従っ
て、"Ｋｅｙｗｏｒｄ（スペースあり）"の探索は"Ｋｅ
ｙｗｏｒｄ（スペースなし）"をも検出するであろう。
ある意味では、任意選択のワード間の間隔モデルは特殊
文字と考えられる。

【０１０４】テキストの行に組み込まれたワードをスポ
ッティングするには、潜在的なテキスト行に関する境界
ボックスがまず識別される。このことは、ワード境界ボ
ックスの識別と類似した方法による形態素的な操作を用
いてなされてもよい。イメージは２×だけ縮小され、垂
直と水平のクロージング操作がなされる。垂直のＳＥは
ワード境界ボックスの識別に使用されるものと同じサイ
ズの範囲に存在する。対応する水平ＳＥはより大きいの
で水平のクロージングは同一行のワードを併合すること
を確実にするが、複数の列にわたってワードを併合する
ほど大きくはない。任意選択で、テキストの列が予め識
別されてもよく、また行を識別するために形態素的な操
作がそれぞれの列に実行されてもよい。ワード境界ボッ
クスの識別における場合と同様に、異なったサイズに作
られたＳＥ対が併合され、そして、同じもの、および小
さいサイズの成分または大きいサイズの成分が除去され
る。また、列の位置を決定することによって、そして、
列を正しく計測しない境界ボックスを除去することによ
って、行境界ボックスの数を減少させてもよい。特徴抽
出に先立って、左側、上部、および下部からだけでなく
それぞれのテキスト行の右側からも余白が除去される。

【０１０５】テキストの行におけるワードをスポッティ
ングするＨＭＭは、それぞれのワードは文字間の間隔よ
り大きなワード間の間隔によって隣のワードから分離さ
れていると仮定する。行におけるキーワードの正確な位
置は、キーワードモデルに整列するフレーム番号を識別
することによって決定される。

【０１０６】図１７はテキスト行に組み込まれたキーワ
ードをモデル化するのに使用される単一文脈ＨＭＭ２７
０の状態図である。このＨＭＭは、１対のヌル状態２７
５と２７７の間に並列に接続されるキーワードＨＭＭ構
成要素２７２および非キーワードＨＭＭ構成要素２７３
からなる。キーワードＨＭＭ構成要素および非キーワー
ドＨＭＭ構成要素からワード間の間隔状態２７８への遷
移に対する準備がなされる。また、キーワードＨＭＭ構
成要素、非キーワードＨＭＭ構成要素、およびワード間
の間隔状態からヌル状態２７５へのリターンループが存
在する。キーワードＨＭＭ構成要素２７２はそれ自体が
複数のキーワードを探索する並列接続のキーワードＨＭ
Ｍｓのネットワークである。

【０１０７】より長いワードの一部であるキーワードに
関連して上述された文脈の論議がテキスト行の設定にお
いても生じる。１つ以上の文脈におけるキーワードをモ
デル化することが時々必要である。もしキーワードがア
センダのみを有するならば、そのキーワードが現れるテ
キスト行はアセンダのみを有するかもしれないが、また
アセンダとディセンダとを有するかもしれない。同様
に、もしキーワードがディセンダのみを有するならば、
そのキーワードが現れるテキスト行はディセンダのみを
有するかもしれないが、またアセンダとディセンダとを
有するかもしれない。もしキーワードがアセンダもディ
センダも有しなければ、そのキーワードが現れるテキス
ト行はアセンダもディセンダも有しないかもしれない
が、またディセンダのみ、アセンダのみ、あるいは、ア
センダおよびディセンダ、を包含するかもしれない。

【０１０８】ゆえに、アセンダもディセンダも有しない
キーワードは図１８（Ａ）に示されるようなネットワー
ク２８０によってモデル化されなければならない。この
ネットワークは、初期状態２８２と最終状態２８５の間
に並列に接続されたテキスト行ＨＭＭｓ２７０（１）、
２７０（２）、２７０（３）、２７０（４）を含み、こ
れらは４つの可能な文脈のそれぞれにおける図１５のＨ
ＭＭである。

【０１０９】アセンダのみを有するキーワードは図１８
（Ｂ）に示されるようなネットワーク２９０によってモ
デル化されなければならない。このネットワークは、初
期状態２９２と最終状態２９５の間に並列に接続された
テキスト行ＨＭＭ２７０（１）および２７０（３）を包
含する。テキスト行ＨＭＭ２７０（１）および２７０
（３）は、アセンダのみの場合およびアセンダとディセ
ンダの両方の場合の２つの可能な文脈のそれぞれにおけ
る図１７のＨＭＭである。

【０１１０】また、ディセンダのみを有するキーワード
も、初期状態と最終状態の間に並列に接続されたテキス
ト行ＨＭＭを包含するネットワークによってモデル化さ
れなければならない。しかしながら、この場合は、テキ
スト行ＨＭＭは、ディセンダのみの場合およびアセンダ
とディセンダの両方の場合の２つの可能な文脈のそれぞ
れにおける図１７のＨＭＭである。アセンダとディセン
ダの両方を有するキーワードのみが、アセンダとディセ
ンダの両方を備えるテキスト行においてのみ存在するこ
とを保証され、ゆえに、アセンダとディセンダの両方の
場合の文脈における図１７のＨＭＭによって直接にモデ
ル化される。

【０１１１】〔ワードボクサーおよびテキスト行ボクサ
ーの第２実施例〕上述したように、イメージが形態素的
なクローズ操作を施されるときに、ワード間の間隔を詰
めないが文字間の間隔を詰める単一のサイズのＳＥは存
在しない。ゆえに、図３に関連して上述された方法は、
イメージの複数の複製に対して異なったサイズのＳＥに
よるクローズ操作を施す。この複数パス(multi-pass)の
方法は、その技術が多くのサイズのフォントを包含する
文書に適用できるという利点を有する。以下で記述され
る別の方法は、いくつかの予想される計算処理上の利点
を有する。なぜなら、その方法はイメージの単一の複製
を処理するだけだからである。

【０１１２】複数パスの方法が、境界ボックスのサイズ
に基づく上限によって中間調および図形を除去する傾向
があるのに対して、その別の方法は、イメージは水平お
よび垂直の罫線、図形、そして中間調、などのような非
テキスト成分を除去する処理がすでに施されているもの
と仮定する。この形態のイメージセグメンテーション
は、以下の特許明細書に記述されるようないくつかのど
の技術によっても成し遂げられ、それらのすべてがすべ
ての目的に援用される。

【０１１３】『IDENTIFICATION AND SEGMENTATION OF F
INELY TEXTURED AND SOLID REGIONSOF BINARY IMAGES
』と題するBloomberg による1991年11月12日発行の米
国特許第5,065,437 号。『SEGMENTATION OF TEXT AND G
RAPHICS 』と題するBloombergによる1989年12月 8日出
願の米国特許出願第07/449,626号。および『USE OF FAS
T TEXTURED REDUCTION FOR DISCRIMINATION OF DOCUMEN
T IMAGE COMPONENTS』と題するBloomberg による1992年
3月20日出願の米国特許出願第07/854,156号。

【０１１４】上述の米国特許第5,065,437 号は種々の形
態素的な操作をなすためのソースコードを包含する。

【０１１５】図１９は、イメージにおいてワード境界ボ
ックスを検出する別の技術を説明するフローチャートで
ある。イメージの解析は実物大かまたはあるレベルの縮
小度で実行される。このために、イメージの複製が任意
に縮小される（ステップ３００）。このことは、しきい
値処理される縮小（２×２の縮小に対しては１または２
のしきい値）としての２または４のいずれかの係数によ
ってか、または、サブサンプリングによってかのいずれ
であってもよい。つぎに、縮小されたかもしれないイメ
ージは、すべての連結成分の境界ボックスを計算する解
析が施される（ステップ３０２）。このことは図４に関
連して上述されたようになされてもよい。

【０１１６】つぎに、好ましくは、行優先順にソートさ
れ、イメージの先頭から開始し、与えられたテキスト行
の中を左から右にソートすることによって、その境界ボ
ックスがテキスト行に配列される（ステップ３０５）。
ついでに、テキスト行はイメージにおいて水平に伸長す
ると仮定される。もしそうでなければ、イメージは回転
させられるか、または順序づけが垂直に伸長するテキス
ト行に基づいたものとなるであろう。

【０１１７】つぎに、境界ボックス間の間隔のヒストグ
ラムが生成される（ステップ３０７）。もしイメージが
ほぼ同じサイズのテキストを包含するならば、ヒストグ
ラムは単一のヒストグラム、つまり、イメージ全体にわ
たって得られるヒストグラムである。逆に、もしイメー
ジが異なったフォントサイズのテキストブロックを包含
するならば、単一のヒストグラムは望めないかもしれな
い。もし個々のテキストブロックが識別されるようにイ
メージがセグメント化されていれば、ヒストグラムはそ
れぞれのテキストブロックに対して生成され、かつ、以
下で記述されるヒストグラム情報に基づいた解析は、ワ
ードボックスを得るためにそれぞれのテキストブロック
に対して個別に実行される。

【０１１８】つぎに、文字間およびワード間の間隔情報
を得るために、ヒストグラムが解析される（ステップ３
１０）。詳細には、ヒストグラムは分離した２つのピー
クを含む。文字間の間隔に対応する第１のピークは分離
幅がより小さな値において存在するが、ワード間の間隔
に対応する第２のピークより多くの数のサンプルを含
む。２つのピークの間の低い部分はしきい値間隔として
定義され、第１のピークにおけるサンプルより大きくか
つ第２のピークにおけるサンプルより小さい。ヒストグ
ラム情報に基づいて、ワード境界ボックスが２つの方法
のいずれかで決定される（ステップ３１２）。

【０１１９】図２０は、テキスト行における境界ボック
スの順序リスト(ordered list)を生成するステップ３０
５を説明するフローチャートである。境界ボックスの組
は、まず、左から右にソートされる（ステップ３２
０）。このソートは任意選択であるがむしろ選ばれたほ
うがよい。なぜなら、それに続く処理を速くするからで
ある。テキスト行はサブリストとして再構築される。そ
れぞれのボックスは、それがいずれかのサブリストにお
いて最後の順序づけされないボックスの右側のボックス
になるかどうかを決定するために検査される（ステップ
３２２）。もしそうであれば、そのボックスがサブリス
トの終わりに加えられ（ステップ３２５）、もしそうで
なければ、そのボックスは新規のサブリストの始まりと
して使用される（ステップ３２７）。

【０１２０】ボックスが既に存在するサブリストに所属
するかどうかの検査は、もしそのサブリストにおいて最
後の順序づけされないボックスとのいくらかの垂直的な
重なり合いかまたは少なくとも重なり合いに近いものが
存在するならば、新規のボックスはサブリストに所属す
るという規則に従ってなされる。典型的には、検査は最
後のボックスより多いボックスを包含する。なぜなら、
サブリストにおける最後のボックスだけとの重なり合い
に関する検査は、いかなる新規のボックスをもサブリス
トに加えられることを妨げる句読点に帰着するからであ
る。同時に、順序づけされないボックスのパラメーター
が大きすぎるはずはないし、あるいは大きなイメージ傾
斜は交差したテキスト行に帰着するであろう。最後の２
つのボックスに関してたった６画素の垂直的分離（重な
り合わない部分）を必要とするだけで良い結果を提供す
ることが知られている。

【０１２１】ソートするステップ３２０は任意選択であ
るが、続いて起こるテキスト行生成を非常に速いものに
する。もしボックスのリストが左から右に予めソートさ
れていなければ、テキスト行（サブリスト）の組み立て
のステップ数はｎ² 程度になるであろう。ここで、ｎは
ボックスの数である。ソートによって、そのステップ数
はｎ^1.5 程度になる。ソートそれ自体はｎｌｏｇｎとｎ
^1.5 の間のある値である。

【０１２２】図２１（Ａ）は、ワード境界ボックスを生
成するのにヒストグラム情報を用いる第１の方法のフロ
ーチャートである。順序サブリストのそれぞれにおける
境界ボックスは、もしその間隔がしきい値より小さけれ
ばそれらの隣と結合され、もしその間隔がしきい値に等
しいかまたはしきい値より大きければそれらの隣と結合
されない（ステップ３３０）。つぎに、選択的に併合さ
れた境界ボックスは、任意選択の縮小を特徴づけたのと
同じ基準化係数によって拡大される（ステップ３３
２）。

【０１２３】図２１（Ｂ）は、ワード境界ボックスを生
成するのにヒストグラム情報を用いる第２の方法のフロ
ーチャートである。ＳＥのサイズがヒストグラムにおけ
るピーク位置に基づいて選択される（ステップ３４
０）。任意選択で縮小されたイメージが、個々の文字は
併合するがテキスト行のワードは併合しないぐらいのサ
イズで作られた水平ＳＥによってクローズされる（ステ
ップ３４２）。つぎに、このようにしてクローズされた
イメージは、すべての連結成分の境界ボックスを計算す
る解析が施される（ステップ３４３）。つぎに、このよ
うにして決定された境界ボックスは、任意選択の縮小を
特徴づけた基準化係数と同じ基準化係数によって拡大さ
れる（ステップ３４５）。

【０１２４】上述された論議では、文字間隔のヒストグ
ラムは、完全な解像度（縮小なし）かまたは縮小された
解像度のいずれかによって、イメージ全体にわたって展
開された。ある特定の解像度によるイメージの一部分に
わたる間隔の統計量(spacingstatistics)、あるいは、
ある解像度によるイメージのある部分の間隔の統計量と
それとは異なる解像度によるその他の部分の間隔の統計
量、を収集することもまた可能である。もし縮小ののち
の第１のヒストグラムピークが範囲において比較的に小
さいならば、そのことは、すべての文字が最初から完全
な解像度でまとまって密集していたということかもしれ
ないし、また、縮小がすべての文字をまとめて併合した
ということかもしれない。この場合、第１のピークは第
２のピークよりもさらに小さいかもしれない。もし１つ
のピークだけが観測されるのであれば、このことは、す
べての文字が併合されてしまっていることを意味し、そ
してそのピークがワード間の距離に対応することを意味
し、あるいは、そのイメージが１行につき１つのワード
しか持たない変則的なイメージであることを意味する。

【０１２５】上述のようにして得られたヒストグラムは
またテキスト行の境界ボックスを決定するのに使用され
てもよい。詳細には、図２１（Ａ）の実施例が、間隔が
ワード間の間隔に対応するピーク位置よりも相当に大き
くさえなければ、隣り合った境界ボックス（文字ボック
スと仮定される）を併合するように変更されてもよい。
このことはテキストの列を併合することを防止する。イ
メージがテキストブロックにセグメント化されている場
合、それは与えられたテキスト行のすべてのブロックを
併合するのに十分でさえもある。なぜなら、列の隙間を
越えて併合することはないという疑問が存在しないから
である。同様に、図１９（Ｂ）の実施例が、ワード間の
間隔に対応するピーク位置よりもいくぶん大きな水平Ｓ
Ｅを選択するように変更されてもよい。

【０１２６】〔実験結果〕本発明の実験のために、３０
０dpi でスキャンされたテキストのイメージが使用され
た。教育データは、髭飾り(serif) および髭飾りなし(s
ans-serif)を含んだ、８種類のフォントによる、約２１
００のトークン(token) から構成された。ボールドフォ
ントまたはイタリックフォントは含まれなかった。デー
タは、テキストパッセージ(text passage)だけでなく、
単独文字(isolated characters) 、無意義語(nonsense
words)、をも含んだものであった。教育は、教育コーパ
ス(training corpus) 全体にわたるバーム−ウェルチ手
順の５回の反復を用いてなされた。

【０１２７】テストイメージは５つの雑誌または議事録
から内容目録のスキャンされたイメージから構成され
た。上述において論議したように、スポッタ(spotter)
は、代替キーワードとして変形を提供することによっ
て、例えば先頭文字(lead-case)および複数形(pluraliz
ation) のようなワードの変形を検出するように指示さ
れてもよい。このモードにおいてスポッタを実行させ
て、テストイメージにおけるつぎのワードのグループを
スポッティングした。｛Computer computer computers
｝｛Hidden hidden ｝｛IEEE｝｛Identification iden
tification ｝｛ImageImages image images ｝｛Marko
v｝｛Models Model models model ｝｛Parallelparalle
l ｝｛Quantization quantization ｝｛Quantizer Quan
tizers quantizer quantizers ｝｛Recognition recogn
ition ｝｛Recognizer Recognizers recognizer recogn
izers ｝｛Society society ｝｛Speaker Speakers spe
aker speakers ｝｛Speech speech ｝｛Synthesis synt
hesis ｝｛Synthesizer Synthesizers synthesizer syn
thesizers ｝｛Synthetic synthetic ｝｛System Syste
mssystem systems ｝｛Vector vector ｝｛Verificatio
n verification ｝｛Vision vision ｝｛1985｝｛199
0｝｛1992｝。５つの内容目録において全部で約160個の
キーワードが存在した。

【０１２８】ここでは構造化要素の列が使用されたが、
いくつかの小さなフォントに対してはボクサーが行内の
ワードのいくつかを併合するかもしれない。ここで使用
されたテスト装置構成では、キーワードにおいて３つの
そのような誤りがあり、これらは検出率の計算には含ま
れなかった。しかしながら、そのような誤りはテキスト
の行内のワードをスポッティングすることによって処理
されるであろう。

【０１２９】上述において説明されたように、テストは
フォーワードアルゴリズムを用いてなされた。キーワー
ドは、もしそれがそのキーワードを含むワードグループ
における変形のどれかとして識別されるのであれば、正
しくスポッティングされたとみなされた。誤り検出は、
非キーワードを含む境界ボックスが現時点のキーワード
グループにおけるキーワードのどれかとして識別された
場合に発生したとみなされた。

【０１３０】キーワード検出率は、キーワードの総数と
比較した正しくスポッティングされたキーワードの数と
して計算された。誤り検出率は、その実行でテストされ
た非キーワード境界ボックスの総数と比較した非キーワ
ード境界ボックスが識別された回数として計算された。

【０１３１】システム性能は、キーワードが正しく識別
された率Ｐ（Ｄ）と、非キーワードボックスがキーワー
ドのどれかとして不正に識別された率Ｐ（Ｆ）と、を比
較することによって評価された。しきい値Ｔは、検出率
に対する誤り検出率の範囲をスイープするように変化さ
せられた。典型的なシステム性能は、約０．２％の誤り
検出率とともに９５〜９６％程度のキーワード検出率を
有した。

【０１３２】図２２〜図２５は、異なったＳＥを用いて
ワードボクサーによって操作された代表的な入力イメー
ジを示す。これらの図は一般に実物大でイメージを示す
（実際には、１７．５ｃｍの元のテキスト幅からわずか
に縮小されている）。この縮小はボクシング操作におい
て実行されるしきい値処理される縮小とは別のものであ
り関係もない。大きな長方形は、単に処理されたイメー
ジの周囲の枠であり、元々のイメージすなわち処理され
たイメージの一部ではない。

【０１３３】図２２は、（２，５）のＳＥ対によって２
×の縮小がなされたイメージをクローズした結果によっ
て、すなわち、２×１のＳＥによる垂直クローズと１×
５のＳＥによる水平クローズとの結果によって生じたワ
ードボックスを示す。このＳＥ対は一般的には小さすぎ
る。なぜなら、それは、小さなフォントのテキスト本体
においていくつかのワードをボックス化することに失敗
し、またより大きなフォントの表題においてワードをボ
ックス化することに一般的に失敗するからである。

【０１３４】図２３は、２×の縮小がなされたイメージ
を（３，５）のＳＥ対によってクローズした結果によっ
て生じたワードボックスを示す。このＳＥ対は、テキス
ト本体をボックス化するのに多少はより良く作用する
が、より大きな垂直のＳＥは、時々、垂直に隣り合った
ワードを併合する。

【０１３５】図２４は、２×の縮小がなされたイメージ
を（４，８）のＳＥ対によってクローズした結果によっ
て生じたワードボックスを示す。このＳＥ対は、テキス
ト本体において複数のワードをまとめて併合するが、表
題のワードをボックス化をうまく処理する。

【０１３６】図２５は、複数のＳＥ対によって提供され
る境界ボックスの組を連合を示す。分かるように、他の
ＳＥ対が失敗してしまったときにワードを正しくボック
ス化する１つのＳＥ対が通常は存在する。

【０１３７】図２６および図２７は、２×の縮小がなさ
れたイメージを（２，２０）のＳＥ対および（２，２
５）のＳＥ対によってクローズした結果によって生じた
テキスト行ボックスを示す。（２，２０）のＳＥ対は、
時々、完全なテキスト行をボックス化することに失敗す
るが、（２，２５）のＳＥ対によれば誤りが存在しな
い。

【０１３８】〔アプリケーション〕以下のアプリケーシ
ョンのそれぞれにおいて、ワードイメージスポッタは、
ユーザによって指定されるキーワードの位置の識別を可
能にする。ゆえに、完全なイメージの光学的文字認識が
なされることを必要としない、そして、ＡＳＣＩＩキー
ワードがイメージとともに記憶される必要がない、キー
ワードに基づくアプリケーションが開発されることが可
能である。このことは、テキストのイメージがキーワー
ドの存在を判定するのに一度だけ使用され、それでもし
キーワードが検出されなければ放棄される場合に特に有
益である。

【０１３９】ワードイメージスポッティングの１つのア
プリケーションは、テキストの関心のある部分または興
味のある項目を含んでいるテキストが識別され処理され
るような、情報フィルタリングの分野に存在する。例え
ば、書籍または長文の報告書が与えられれば、関心のあ
る部分を識別することがしばしば望まれる。ワードイメ
ージスポッティングが、この機能を提供するために複写
機に組み込まれてもよい。ユーザは関心のあるキーワー
ドの組をタイプ入力してもよい。つぎに、複写機がこれ
らのキーワードの発生に基づいて出力を生成するように
プログラムされる。例えば、複写機は、そのキーワード
を含むページ（または段落）だけを再生成してもよい
し、あるいは、キーワードまたはキーワードが検出され
た段落を強調表示してもよい。別の可能性は、例えばキ
ーワードフレーズ“個人データ”あるいは“著作権によ
り保護”のような特定のキーワードフレーズの発生が複
写機に警報フラグを設定するのに使用されてもよいこと
である。例えばファクシミリ文書が“緊急”あるいは
“至急”のようなワードを含む場合にユーザに通知する
ために、これらの技術がファクシミリ装置にも使用され
てもよい。

【０１４０】また、ワードイメージスポッタは、文書の
スキャンされたイメージからの情報検索におけるアプリ
ケーションをも有する。ここでは、ユーザ指定のキーワ
ードの組が興味のある文書を表示するのに使用される。
もっとも高くランクづけされた文書の検索の後、ユーザ
はキーワードの組を変更してもよい。

【０１４１】〔ソフトウェアに関する論議〕本発明の上
述された実施例はディジタル計算機のソフトウェアによ
って実現される。プログラムは、この分野に精通した者
には良く知られたＣ言語およびパール言語(perl langua
ges)によるものである。プログラムは、サンワークステ
ーション（Ｓｕｎ Ｗｏｒｋｓｔａｔｉｏｎ）で展示実
行されたが、この分野に精通した者には明らかなよう
に、多くの種類のプログラミング言語およびハードウェ
ア構成が、本発明の範囲から逸脱することなく本発明の
開示するところに基づいて容易に使用されるであろう。

【０１４２】〔終わりに〕最後に、本発明およびそれの
関連技術が、ユーザ定義キーワードをモデル化し、ワー
ドおよびスキャンされたイメージにおけるテキスト行の
境界ボックスを捜し出し、イメージにおけるキーワード
をスッポッティングするための、耐久性があり効果的な
技術を提供することがわかる。上述されたことは、本発
明の好ましい実施例の完全な説明であるが、種々の変
更、代替の構成、等価なものが使用されるかもしれな
い。

【０１４３】例えば、テキスト行を識別する別の方法
は、まず列を識別し、つぎにそれぞれの列にわたっての
黒の画素のコンピュータヒストグラムを生成することで
ある。ヒストグラムのピークがテキストの行に対応す
る。加えて、個々の特徴として上側および下側のワード
輪郭を用いる代わりに、単一の特徴としてそれらの差分
が用いられる。このように、それぞれの画素列におい
て、上側および下側のワード輪郭の値が計算され、つぎ
に、文字の形状を記述する単一の特徴として使用され
る。単一の特徴を用いるときに情報が紛失されるが、特
徴がワードのアセンダおよびディセンダの存在とそれら
の高さに依存しないという利点がある。

【０１４４】したがって、上述の記述および説明は本発
明の範囲を限定するものと解釈されるべきではない。

【０１４５】〔参考資料〕 １．1991年 9月のフランス国セイント−マロにおける文
書の解析と認識に関する国際会議の会報の頁963 〜971
の D.S. Bloomberg による『MultiresolutionMorpholog
ical Approach to Document Image Analysis 』。

【０１４６】２．1992年 9月のオランダ国におけるパタ
ーン認識に関する国際会議の会報の頁116 〜119 の C.
B. BoseおよびS.Kuo らによる『Connected and Degrade
d Text Recognition Using Hidden Markov Model 』。

【０１４７】３．1992年 3月のカリフォルニア州サンフ
ランシスコにおける音響と音声および信号処理に関する
国際会議の会報の第 3巻の頁153 〜156 の Y. He、M.Y.
Chen 、およびA. Kunduらによる『Handwritten Word R
ecognition Using HMM withAdaptive Length Viterbi A
lgorithm 』。

【０１４８】４．1990年11月のＵＳＰＳ高度技術会議の
会報の頁217 〜231 の T.K. Ho、J.J. Hull 、およびS.
N. Srihariらによる『A Word Shape Analysis Approach
toRecognition of Degraded Word Images 』。

【０１４９】５．1987年 3月の『IEEE Trans.Pattern A
nalysis and Machine Intelligence』の第 2号の第 9巻
の S.Kahan、T. Pavlidis および H.S. Baird らによる
『Onthe Recognition of Printed Characters of Any F
ont and Size 』。

【０１５０】６．1988年の音響と音声および信号処理に
関する国際会議の会報の頁283 〜286 の D.B. Paulおよ
びE.A. Martin らによる『Speaker Stress-Resistant C
ontinuous Speech Recognition』。

【０１５１】７．1989年 2月の『IEEE Trans.Pattern A
nalysis and Machine Intelligence』の第 2号の第77巻
の L.R. Rabiner による『A Tutorial on Hidden Marko
v Models and Selected Applications in Speech Recog
nition』。

【図面の簡単な説明】

【図１】本発明が組み込まれてもよいコンピュータシス
テムのブロック図である。

【図２】（Ａ）は、入力イメージにおいてキーワードを
スポッティングするための第１の方法の高い階層でのフ
ロー図であり、（Ｂ）は、入力イメージにおいてキーワ
ードをスポッティングするための第２の方法の高い階層
でのフロー図である。

【図３】ワードボックスを決定するための技術のフロー
チャートである。

【図４】連結成分の境界ボックスを決定するための特定
の技術のフローチャートである。

【図５】それらの境界ボックスにおける潜在的なキーワ
ードを正規化するための技術のフローチャートである。

【図６】ワードの高さの正規化を示す。

【図７】特徴生成におけるステップを説明するフローチ
ャートである。

【図８】（Ａ）は境界ボックス内のワードを示し、
（Ｂ）は境界ボックスと比較した上側のワード輪郭を示
し、（Ｃ）は境界ボックスと比較した下側のワード輪郭
を示し、（Ｄ）は上側のワード輪郭と下側のワード輪郭
が重ね合わされたものを示す。

【図９】画素列の自己相関がどのようにして内部文字構
造を提供するかを概略的に示す。

【図１０】（Ａ）はいくつかの代表的な文字の状態を示
し、（Ｂ）および（Ｃ）は文字ＨＭＭに関する状態図で
あり、（Ｄ）は文字ＨＭＭｓから構築されるキーワード
ＨＭＭに関する状態図である。

【図１１】文字ＨＭＭから構築される文脈非依存型の非
キーワードＨＭＭに関する状態図である。

【図１２】文脈依存型の文字セットＨＭＭに関する状態
図である。

【図１３】その文脈依存型の文字セットＨＭＭから構築
される文脈依存型非キーワードＨＭＭに関する状態図で
ある。

【図１４】（Ａ）はイメージスライスを表現するガウス
分布から構築される文脈非依存型非キーワードＨＭＭの
状態図であり、（Ｂ）は文脈依存型イメージスライスＨ
ＭＭに関する状態図であり、（Ｃ）はその文脈依存型イ
メージスライスＨＭＭから構築される文脈依存型非キー
ワードＨＭＭに関する状態図である。

【図１５】（Ａ）および（Ｂ）は、不特定のより長いワ
ードの一部であるキーワードをスポッティングするのに
使用されるＨＭＭに関する状態図である。

【図１６】キーワードスポッティングネットワークの状
態図である。

【図１７】テキスト中のワードの区別がつかない行にお
いてキーワードをスポッティングするのに使用されるＨ
ＭＭの状態図である。

【図１８】（Ａ）および（Ｂ）は、特殊なキーワード文
脈に関するテキスト行ＨＭＭの状態図である。

【図１９】ワードボックスを決定するためのもう１つの
技術のフローチャートである。

【図２０】テキスト行において境界ボックスを順序づけ
するための技術のフローチャートである。

【図２１】（Ａ）および（Ｂ）は、ワードボックスを決
定するためにヒストグラム情報を用いるためのそれぞれ
異なった技術のフローチャートである。

【図２２】ワードのボックス化のために種々の大きさの
構造化要素を用いてボックス化される代表的な入力イメ
ージを示す。

【図２３】ワードのボックス化のために種々の大きさの
構造化要素を用いてボックス化される代表的な入力イメ
ージを示す。

【図２４】ワードのボックス化のために種々の大きさの
構造化要素を用いてボックス化される代表的な入力イメ
ージを示す。

【図２５】ワードのボックス化のために種々の大きさの
構造化要素を用いてボックス化される代表的な入力イメ
ージを示す。

【図２６】テキスト行のボックス化のために種々の大き
さの構造化要素を用いてボックス化される代表的な入力
イメージを示す。

【図２７】テキスト行のボックス化のために種々の大き
さの構造化要素を用いてボックス化される代表的な入力
イメージを示す。

【符号の説明】

１０・・・イメージ処理システム ２０・・・キーワードスポッティングシステム ２２・・・入力文書 ２５・・・出力文書 ５０・・・キーワードスポッティングシステム

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０６Ｋ 9/50 Ｇ０６Ｋ 9/50 9/72 9/72 Ｚ Ｇ０６Ｔ 7/00 ３５０ Ｇ０６Ｔ 7/00 ３５０Ａ (56)参考文献 特開 平４−329597（ＪＰ，Ａ) 特開 平３−94299（ＪＰ，Ａ) 特開 平１−265378（ＪＰ，Ａ) 特開 平３−225488（ＪＰ，Ａ) 特開 昭64−1086（ＪＰ，Ａ) 特開 平６−223227（ＪＰ，Ａ) 構文解析駆動型日本語連続音声認識シ ステム，電子情報通信学会論文誌，日 本，1989年，Ｖｏｌ．Ｊ72−Ｄ−２ Ｎ ｏ．８，ｐｐ．1276−1283 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82 G06F 17/30 G06T 7/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 潜在的にテキストを含み、該テキストが
   水平方向へ延出すると考えられるビットマップ入力イメ
   ージにキーワードが存在するかどうかを判定するプロセ
   ッサベースの方法において使用するために、キーワード
   が該ビットマップ入力イメージにおいて表されるよう
   に、該キーワードの外観をモデル化する方法であって、 文字セットの１組の単一文字隠れマルコフモデル（ＨＭ
   Ｍ）を提供する段階と、 キーワードＨＭＭを定義するためにキーワード中の文字
   に対応する単一文字ＨＭＭを連結する段階と、 キーワードＨＭＭを含むＨＭＭネットワークを構築する
   段階と、 を備え、 前記提供する段階は、 それぞれの文字が水平方向の位置の垂直スライスを表す
   少なくとも１個のパラメータにより文字に沿う複数の水
   平方向位置の各々で特徴付けられる形状を有し、 前記文字セットのそれぞれの文字が複数の区分された部
   分を有し、少なくともいくつかの文字の該区分された部
   分の数は１より大きく、 それぞれの区分された部分は前記複数の水平方向位置の
   各々隣接するサブセットにおよび、 与えられた文字に対する与えられた単一文字ＨＭＭが複
   数の状態により特徴付けられ、この各状態が与えられた
   文字の複数の区分された部分のそれぞれ１個に対応し、 各状態が与えられた文字の対応する区分された部分に対
   する少なくとも１個のパラメータの統計的分布により特
   徴付けられ、 垂直スライスを表すために使用されるパラメータの何れ
   もが文字のベースラインを参照されることがなく、 それぞれの単一文字ＨＭＭは文字がアセンダを持つか、
   及び文字セット中の他の文字がアセンダを持つかデセン
   ダを持つか、に依存する複数の可能な文脈を有し、 キーワードＨＭＭを形成するように連結された単一文字
   ＨＭＭが同じ文脈を有する、 ことを特徴とする、 キーワードの外観をモデル化する方法。
2. 【請求項２】 （ａ）キーワードが入力イメージに表さ
   れるように、該キーワードの外観をモデル化する、少な
   くとも１つのキーワード隠れマルコフモデル（ＨＭ
   Ｍ）、および（ｂ）入力画像のキーワードではないワー
   ドの外観をモデル化する非キーワードＨＭＭ、を含むキ
   ーワードスポッティングネットワークにおいて使用する
   ために、文脈非依存型の文字に基づく非キーワードＨＭ
   Ｍを提供する方法であって、文字セットの１組の文字ＨＭＭを提供する段階であっ
   て、各々の文字ＨＭＭは、文字がアセンダを持つか、デ
   センダを持つか、および、該文字セットの他の文字がア
   センダを持つか、デセンダを持つか、による、複数の可
   能な文脈を有する、該段階と、 ＨＭＭを通しての非キーワードに関する最適なパスが非
   キーワード内の文字の文脈によって制約されないよう
   に、リターンループを備えたヌル状態の間に、同一文字
   の異なる文脈の文字ＨＭＭを含む、文字ＨＭＭを並列に
   接続する段階と、 を備える文脈非依存型の文字に基づく非キーワードＨＭ
   Ｍの提供方法。
3. 【請求項３】 （ａ）キーワードが入力イメージに表さ
   れるように、該キーワードの外観をモデル化する、少な
   くとも１つのキーワード隠れマルコフモデル（ＨＭ
   Ｍ）、および（ｂ）入力画像のキーワードではないワー
   ドの外観をモデル化する非キーワードＨＭＭ、を含むキ
   ーワードスポッティングネットワークにおいて使用する
   ために、文脈依存型の文字に基づく非キーワードＨＭＭ
   を提供する方法であって、文字セットの１組の文字ＨＭＭを提供する段階であっ
   て、各々の文字ＨＭＭは、文字がアセンダを持つか、デ
   センダを持つか、および、該文字セットの他の文字がア
   センダを持つか、デセンダを持つか、による、複数の可
   能な文脈を有する、文字セットの１組の文字ＨＭＭを提
   供する段階と、 それぞれの組が特定の文脈に対応し、該特定の文脈を持
   つ文字ＨＭＭのみを含む、第１、第２、第３、及び第４
   の組の文字ＨＭＭを提供する段階と、 それぞれがリターンループを備えたヌル状態の間に並列
   に接続されるそれぞれの文脈に関するそれぞれの組の文
   字ＨＭＭを有するそれぞれの単一文脈文字セットＨＭＭ
   を構築する段階と、 ＨＭＭを通しての非キーワードに関する最適なパスが非
   キーワード内の文字の文脈によって制約されるように、
   リターンループを備えないヌル状態の間に単一文脈文字
   セットＨＭＭを並列に接続する段階と、 を備える文脈依存型の文字に基づく非キーワードＨＭＭ
   の提供方法。
4. 【請求項４】 （ａ）キーワードが入力イメージに表さ
   れるように、該キーワードの外観をモデル化する、少な
   くとも１つのキーワード隠れマルコフモデル（ＨＭ
   Ｍ）、および（ｂ）入力画像のキーワードではないワー
   ドの外観をモデル化する非キーワードＨＭＭ、を含むキ
   ーワードスポッティングネットワークにおいて使用する
   ために、文脈非依存型のイメージスライスに基づく非キ
   ーワードＨＭＭを提供する方法であって、 イメージスライス状態のセットを提供する段階であっ
   て、該イメージスライス状態は入力イメージの該部分の
   垂直スライスをモデル化し、文字がアセンダを持つか、
   デセンダを持つかに関する、入力イメージの部分の文字
   の文脈に関係なく提供する、該段階と、 ＨＭＭを通しての非キーワードに関する最適なパスが非
   キーワード内の文字の文脈によって制約されないよう
   に、リターンループを備えたヌル状態の間にイメージス
   ライス状態のセットを並列に接続する段階と、 を備える文脈非依存型のイメージスライスに基づく非キ
   ーワードＨＭＭの提供方法。
5. 【請求項５】 （ａ）キーワードが入力イメージに表さ
   れるように、該キーワードの外観をモデル化する、少な
   くとも１つのキーワード隠れマルコフモデル（ＨＭ
   Ｍ）、および（ｂ）入力画像のキーワードではないワー
   ドの外観をモデル化する非キーワードＨＭＭ、を含むキ
   ーワードスポッティングネットワークにおいて使用する
   ために、文脈依存型のイメージスライスに基づく非キー
   ワードＨＭＭを提供する方法であって、文字がアセンダを持つか、デセンダを持つかに関する、
   第１、第２、第３、および第４の文脈に対応する第１、
   第２、第３、および第４のイメージスライス状態のセッ
   トを提供する段階であって、与えられたセットのイメー
   ジスライス状態は文字イメージのセットの部分の垂直ス
   ライスをモデル化し、該セットの特定の文脈における該
   イメージスライス状態のセットを提供する、該段階と、 それぞれがリターンループを備えたヌル状態の間に接続
   されるそれぞれの文脈に関するイメージスライス状態を
   有するそれぞれの単一文脈イメージスライスセットＨＭ
   Ｍを構築する段階と、 ＨＭＭを通しての非キーワードに関する最適なパスが非
   キーワード内の文字の文脈によって制約されるように、
   リターンループを備えないヌル状態の間に単一文脈イメ
   ージスライスセットＨＭＭを並列に接続する段階と、 を備える文脈依存型のイメージスライスに基づく非キー
   ワードＨＭＭの提供方法。