JP3272842B2 - プロセッサベースの判定方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一般的にはテキスト認
識に関し、より詳細には、文字列（キーワード）を構成
する個々の文字の検出または識別を必要とすることなく
その文字列を認識する技術に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】電子
的にコード化された文書のテキストは、２つの別個の形
式、すなわち、ビットマップ形式あるいは文字コード形
式のいずれかによって存在する傾向がある。ビットマッ
プ形式においては、ページの視覚的な外観に対応する画
素の配列によってテキストが定義される。２値のイメー
ジは、与えられた画素がＯＮ（典型的には、黒）かまた
はＯＦＦ（典型的には、白）のいずれかであるイメージ
である。画素は、より大きなデータ構造における１つの
ビットによって表現されてもよい。グレイスケールイメ
ージは、白から黒にわたる多数のグレイの陰影の１つを
それぞれの画素が有するイメージである。Ｎビットの画
素は２^N 個のグレイの陰影を表現することができる。ビ
ットマップイメージにおいては、イメージのあらゆる画
素は等しい意義を有し、そして、ほぼどんな形態のイメ
ージ（テキストイメージ、線図形処理イメージ、およ
び、絵画的なイメージ）であってもこのような方法で表
現される。文字コード形式においては、テキストは文字
コードの列として表現され、そのもっとも一般的なもの
はＡＳＣＩＩコードである。文字は、典型的には、８ビ
ットによって表現される。

【０００３】文書がビットマップ形式から文字コード形
式へ変換されなければならない多くのアプリケーション
が存在する。例えば、テキスト本文は印刷物(printed v
ersion) においてのみ利用することができ、編集のため
にはワードプロセッシングプログラムに入力されること
が必要とされる。その方法は、典型的には、キーボード
から文字ごとに人手によってテキストを入力するか、ま
たは、文書をスキャンして光学式文字認識（ＯＣＲ : o
ptical character recognition）の技術を用いてビット
マップイメージを文字コードファイルに変換するか、の
いずれかによってである。その結果として生じる文書の
校正が一般に必要とされる。

【０００４】ＯＣＲは、よく開発された技術でありまた
絶え間なく開発されている技術でもあるが、それ固有の
短所を有する。紙に書かれた文書をスキャンすることに
よって電子文書が得られた場合、避けることのできない
消失がある。もしスキャンされたイメージが第２または
第３の世代の写真複製であれば、問題がさらに悪化す
る。この点での特有の問題は、テキストにおける文字が
ぼやける(blur)かまたは混ぜこぜにされる傾向を示すこ
とである。文字は連結画素の独立した１つの組であると
いう仮定にＯＣＲは基づいているので、文字が混ぜこぜ
にされた場合に文字識別は失敗する。ＯＣＲ処理は時間
と処理労力に関して相当の負担を伴う。なぜなら、１つ
の文字のそれぞれのビットマップはそれの隣接するビッ
トマップから区別されなければならず、そのビットマッ
プの外観が解析されなければならず、そして、判定がな
されて、予め定められた文字の組の中での明確に判別で
きる文字としてそのビットマップを識別しなければない
からである。

【０００５】しかしながら、個々の文字よりむしろワー
ド全体の識別のみを必要とするいくつかのアプリケーシ
ョンが存在する。壊され傷つけられた文字を含んだ劣化
したイメージに対してはワード全体の識別がより耐久性
のあることが証明されている（Ho、Hull、Srihari を参
照）。隠れマルコフモデル（ＨＭＭs : hidden Markov
models）に基づいたシステムの１つは、単一の状態の文
字ＨＭＭs の連結(concatenation) としてワードを表現
する（He、Chen、および、Kundu 参照）。このシステム
は、特徴抽出に先立って、文字のセグメンテーションを
必要とする。もう１つのシステムは、ワードを文字にす
るセグメンテーション（BoseおよびKou参照）を必要と
することなく文字をモデル化するために、複数の状態の
ＨＭＭsを使用する。しかしながら、ストローク解析お
よびアーク解析に基づいたワードを部分文字(sub-chara
cter) のセグメントにするセグメンテーションが、特徴
抽出に先立って必要とされる。これらのＨＭＭに基づく
システムの両方において、セグメンテーションは処理の
初期段階において誤りをもたらすことがある。

【０００６】

【課題を解決するための手段】本発明は、スキャンされ
たイメージにおいてユーザ定義キーワードのフォントに
依存しないスポッティング(spotting)を提供する。ワー
ド識別は、セグメンテーションまたはＯＣＲを必要とす
ることのない、かつ非キーワードを認識することを必要
とすることのない、ワード全体の特徴に基づいたもので
ある。

【０００７】要するに、本発明は、隠れマルコフモデル
（ＨＭＭs ）を用いたフォント独立型文字モデルを生成
することと、文字ＨＭＭ構成要素から任意のキーワード
モデルを構築することと、を包含する。本発明による方
法は、イメージからのキーワードを潜在的に含んでいる
テキスト行の境界ボックス(bounding box)を組み立てる
段階と、それぞれのテキスト行境界ボックス内のワード
形状に（および、好ましくはワード内部構造にも）基づ
く１組の特徴を生成する段階と、この１組の特徴を１つ
あるいはそれ以上のキーワードＨＭＭs を包含するネッ
トワークに適用する段階と、その特定のテキスト行が探
索されるキーワードを含むかどうかを決定する段階と、
を備える。

【０００８】本発明の１つの側面によれば、潜在的なテ
キスト行に関するテキスト行境界ボックスの組み立て
は、イメージを（例えば、×２によって）縮小する段階
と、その縮小されたイメージに垂直および水平の形態素
的クロージング操作(morphological closing operation
s)を施す段階と、を備える。つぎに、結果として生じる
イメージにおける連結成分の境界ボックスが、テキスト
行境界ボックスを仮定する(hypothesize) のに使用さ
れ、ボックス内のオリジナルのビットマップがテキスト
行内のワードを仮定するのに使用される。詳細な実施例
においては、フォントおよびフォントサイズによるワー
ド間および文字内の間隔の変動を調整するために、構造
化要素の範囲がクロージング操作に使用される。

【０００９】本発明のさらなる側面によれば、それぞれ
の境界ボックスにおいて仮定されたテキスト行のイメー
ジは標準の高さに基準化される。このことは、好ましく
は、それぞれの境界ボックスにおけるイメージをクリッ
ピングして少なくとも上部エッジ、左側エッジ、およ
び、下部エッジの周囲の非文字余白(non-character whi
te space) を除去し、イメージを標準の高さになるよう
に再サンプリングし、そして、それに比例してイメージ
の幅を再サンプリングすることによってなされる。

【００１０】本発明のさらなる側面によれば、特徴生成
は、テキスト行内のワードの輪郭と内部構造の両方を提
供する。テキスト行のイメージは、水平軸に沿った多く
の位置で得られる一連の特徴ベクトルによって特徴が記
述される。詳細な実施例においては、与えられた水平位
置での特徴ベクトルは、その水平位置でのワードイメー
ジの上側輪郭と下側輪郭の垂直位置（再正規化された境
界ボックスの上部と下部とに比較して）と、上側輪郭と
下側輪郭との間のワードの内部構造に関する情報と、を
包含する。１つの実施例においては、この内部構造情報
は、水平位置でのテキスト行イメージの垂直スライスの
種々のずれ(lag) におけるいくつかの自己相関値を含
む。もう１つの実施例においては、内部構造情報は上側
輪郭と下側輪郭との間の画素遷移の数を含む。

【００１１】本発明のさらなる側面によれば、１つある
いはそれ以上のキーワードに対するキーワード検索ネッ
トワークは対応するキーワードＨＭＭs を備え、そのそ
れぞれは適切な文脈依存型文字ＨＭＭ(context-depende
nt character HMM) の連結である。それぞれの文字は、
文字がアセンダかまたはディセンダを有するかどうか
と、文字がアセンダおよびディセンダを有する他の文字
を備えたテキスト行内に存在するかどうかと、に依存す
る多くとも４つの文脈を有する。文字と文脈とに依存す
るので、その文字は、上部余白を備えた境界ボックスの
下部の隣にか、下部余白を備えた境界ボックスの上部の
隣にか、あるいは、上部余白と下部余白を備えた境界ボ
ックス内の中央に配置されてもよく、または、その文字
が境界ボックスの全体の高さに伸長してもよい。もしキ
ーワード探索が大文字と小文字を区別すること(case-se
nsitive)を意図しないのであれば、関連する大文字と小
文字の組み合わせ（例えば、先頭大文字および全大文字
のような）に関する付加的なキーワードＨＭＭs が提供
される。

【００１２】本発明のさらなる側面によれば、文字ＨＭ
Ｍs は文字に依存する状態の数とオプションスペースの
状態とによって特徴づけられ、ここで、それぞれの状態
は、その文字の独特な部分を特徴づける特徴ベクトルの
確率分布によって記述される。

【００１３】本発明のさらなる側面によれば、スポッテ
ィングネットワークは非キーワードＨＭＭをも含む。検
索ネットワークにおける非キーワードＨＭＭの使用は、
起こりうるイメージの劣化の点において検索を耐久性の
あるものにする。そのような非キーワードＨＭＭがなけ
れば、スコア(score) はイメージ品質とフォント品質に
依存し、スコアのしきい値を設定するのは困難である。
非キーワードＨＭＭによって、非キーワードのスコアに
対するキーワードのスコアを評価することができ、その
関係は劣ったイメージ品質にもかかわらずもとのままで
ある。

【００１４】本発明の一態様は、テキスト行にワードを
含み、ワード及びテキスト行が水平方向へ延出すると考
えられるスキャン画像にキーワードが存在するか否かを
判断するプロセッサベースの方法であって、１組の単一
文字隠れマルコフモデル（ＨＭＭ）を提供する段階と、
キーワードＨＭＭを定義するためにキーワードの中の文
字に対応するそれらの単一文字ＨＭＭを連結する段階
と、キーワードＨＭＭを通過する第１のパスとキーワー
ドＨＭＭを通過しない第２のパスとを含んだＨＭＭネッ
トワークを構築する段階と、テキスト行を潜在的に含む
スキャンイメージの一部を捜し出す段階と、潜在的テキ
スト行と呼ばれ、スキャンイメージの一部を表す画素値
のアレイを提供する段階と、潜在的テキスト行に基づく
１組の特徴を生成する段階であって、その組の特徴がス
キャン画像の一部に潜在的に含まれるテキスト行のワー
ドに関して形状情報を提供する前記段階と、を備え、前
記組の特徴が潜在的テキスト行における画素値に依存す
るタイプのセグメンテーションなしに生成され、その１
組の特徴をＨＭＭネットワークに適用する段階と、ネッ
トワークに適用される前記組の特徴の確率を最大にする
ネットワークを通過するパスを見つける段階と、スキャ
ン画像の一部がキーワードを含むか否かを指示する為に
確率を最大にするパスがキーワードＨＭＭを通過するか
否かを判断する段階と、を備えたことを特徴とするキー
ワードが存在するか否かのプロッセサベースの判定方法
である。

【００１５】本発明の一態様は、テキスト行においてワ
ードを含み、ワード及びテキスト行が水平方向へ延出す
ると考えれれるスキャンイメージにキーワードが存在す
るか否かを判定するプロッセサベースの方法であって、
キーワード隠れマルコフモデル（ＨＭＭ）を提供する段
階と、非キーワードＨＭＭを提供する段階と、キーワー
ドＨＭＭを通過する第１のパスと、非キーワードＨＭＭ
を通過するがキーワードＨＭＭを通過しない第２のパス
と、を含むネットワークを構築する段階と、潜在的にテ
キスト行のワードを含むスキャン画像の一部を捜し出す
段階と、潜在的テキスト行と呼ばれ、スキャン画像の一
部を表す画素値のアレイを提供する段階と、潜在的テキ
スト行に基づく一組の特徴を生成する段階であって、前
記組の特徴がスキャン画像の一部に潜在的に含まれるテ
キスト行のワードに関する形状情報を提供する前記段階
と、を備え、前記組の特徴が潜在的テキスト行における
画素値に依存するタイプのセグメンテーションなしに生
成され、その組の特徴をＨＭＭネットワークに適用する
段階と、ネットワークに適用されるその組の特徴の確率
を最大にするネットワークを通過するパスを見つけ出す
段階と、スキャン画像の一部がキーワードを含むか否か
を指示するために、確率を最大にするパスがキーワード
ＨＭＭを通過するか否かを判断する段階と、を備えたこ
とを特徴とするキーワードが存在するか否かのプロッセ
サベースの判定方法である。

【００１６】以下の説明と図面を参照することによっ
て、本発明の性質と利点をさらに理解することができる
であろう。

【００１７】

【実施例】

〔形態素に関する定義と専門用語〕ここでの論議は主と
して２値イメージを取り扱う。この背景において、”イ
メージ”という用語は、画素から構成される２次元デー
タ構造の表現を意味する。２値イメージは、与えられた
画素が”ＯＮ”かあるいは”ＯＦＦ”のいずれかである
イメージである。２値イメージはいくつかの操作によっ
て加工され、そこでは、１つかあるいはそれ以上のソー
スイメージがデスティネーションイメージにマップされ
る。そのような操作の結果が、一般的には、イメージと
して参照される。処理に関しての開始時点にあるイメー
ジは、時々、オリジナルイメージとして参照される。処
理の与えられた段階でのイメージは、時々、カレントイ
メージとして参照される。ある処理の段階が任意に選択
できる場合には、カレントイメージが入力イメージであ
る。明示的に述べられた操作の結果から生じるイメージ
は、時々、結果イメージ(resultant image) として参照
される。

【００１８】画素は、それらが黒の場合はＯＮで定義さ
れ、それらが白の場合はＯＦＦで定義される。ＯＮとし
ての黒の指定とＯＦＦとしての白の指定は、対象として
いる文書のほとんどが黒の前景と白の背景を有する事実
を反映することに注意されたい。本発明の技術は反対の
イメージにも適用されるが、ここでの論議は白の上の黒
に関してなされる。

【００１９】ＡＮＤ、ＯＲ、およびＸＯＲは、２つの画
像の間で画素ごとに実行される論理操作である。

【００２０】ＮＯＴは、単一の画像において画素ごとに
実行される論理操作である。

【００２１】”縮小(reduction) ”はＳＣＡＬＥ係数Ｎ
およびしきい値レベルＴによって特徴づけられる基準化
操作である。ＳＣＡＬＥ＝Ｎによる縮小は、ソースイメ
ージをＮ×Ｎの区画の画素に分割することと、ソースイ
メージにおけるそのようなそれぞれの区画をデスティネ
ーションイメージの単一の画素にマップすることと、を
引き起こす。デスティネーションイメージにおける画素
に対する値はしきい値レベルＴによって決定され、その
Ｔは１からＮ² の間の数である。画素区画におけるＯＮ
の画素の数がＴより大きいかあるいは等しい場合にはデ
スティネーション画素はＯＮであり、そうでない場合に
はデスティネーション画素はＯＦＦである。

【００２２】”４連結領域”（または、”４連結成
分”）は１組のＯＮの画素であり、ここで、その組のど
んな２つの画素も、その２つの画素を含みかつその組の
画素だけを含むパスによって結合され、かつパス上のそ
れぞれの画素は、パス上の少なくとも１つの他の画素に
水平または垂直に隣接する。４連結近傍画素を持たない
孤立した１つのＯＮの画素は、定義上は４連結領域とみ
なされるかもしれない。

【００２３】”８連結領域”（または、”８連結成
分”）は１組のＯＮの画素であり、ここで、その組のど
んな２つの画素も、その２つの画素を含みかつその組の
画素だけを含むパスによって結合され、かつパス上のそ
れぞれの画素は、パス上の少なくとも１つの他の画素に
水平または垂直または斜めに隣接する。８連結近傍画素
を持たない孤立した１つのＯＮの画素は、定義上は８連
結領域とみなされるかもしれない。

【００２４】いくつかの形態素的操作は、構造化要素
（ＳＥ：structuring element ）と呼ばれる画素パター
ンによって定義される罫線に従って、ソースイメージを
等しいサイズで作られたデスティネーションイメージに
マップする。ＳＥは１つの中心位置およびそれぞれが定
義された値（ＯＮまたはＯＦＦのいずれか）を有するい
くつかの画素の位置によって定義される。”無関心のも
の（don't care) ”として参照されるその他の画素の位
置は無視される。ＳＥを定義する画素はお互いに隣接す
る必要はない。中心位置はパターンの幾何学的な中心に
ある必要はなく、また、そのパターンの内側にある必要
さえもない。

【００２５】”べた塗りの(solid) ”ＳＥは、その中の
すべての画素がＯＮである外縁を有するＳＥを意味す
る。例えば、べた塗りの２×２のＳＥは、ＯＮの画素の
２×２の区画である。べた塗りのＳＥは長方形である必
要はない。

【００２６】”ヒットミスの(hit-miss)”ＳＥは、少な
くとも１つのＯＮの画素および少なくとも１つのＯＦＦ
の画素を指定するＳＥを意味する。

【００２７】”収縮(erosion) ”は形態素的な操作であ
り、この操作では、デスティネーションイメージにおい
て与えられる画素は、ＳＥ中心をソースイメージにおけ
る対応する画素位置に重ね合わせた結果がＳＥのすべて
のＯＮ画素およびＯＦＦ画素とソースイメージにおける
下に横たわる画素との間で一致した場合にかつ一致した
場合にのみＯＮになる。

【００２８】”膨張(dilation)”は形態素的な操作であ
り、この操作では、ソースイメージにおいて与えられる
画素がＯＮであることが、デスティネーションイメージ
における対応する位置でのＳＥ中心によってＳＥをデス
ティネーションイメージに書き込む。膨張に用いられる
ＳＥは、典型的には、ＯＦＦの画素を有しない。

【００２９】”オープニング(opening) ”は収縮とそれ
に続く膨張とからなる形態素的な操作である。結果は、
ソースイメージにおけるそれぞれの一致に対してデステ
ィネーションイメージにＳＥを写すことになる。

【００３０】”クロージング(closing) ”は膨張とそれ
に続く収縮とからなる形態素的な操作である。

【００３１】オープニングおよびクロージングに関して
は、その結果はＳＥの中心位置に依存しない。なぜな
ら、それぞれの操作は同一のＳＥによる連続する相補的
な操作を含むからである。

【００３２】上述において定義された種々の操作は、時
々、名詞、形容詞、および動詞の形式で参照される。例
えば、”膨張（名詞の形式）”の参照は、イメージを”
膨張する”または”膨張させられる”イメージ（動詞の
形式）、または”膨張の”操作を施されるイメージ（形
容詞の形式）、のような表現によってもよい。意味上の
違いは意図されない。

【００３３】〔システムの概要〕図１は、その中に本発
明が具体化されることができる一般化されたイメージ処
理システム１０の概略ブロック図である。この高い階層
において図示されたシステム構成は普通のものであり、
そのようなものとして、図１は”従来技術”として分類
される。しかしながら、本発明を具体化するように適切
にプログラムされるならば、システム１０のようなシス
テムは従来技術ではない。

【００３４】一般に、入力イメージは発生源装置１２か
ら提供され、それはスキャナー、ファクシミリ装置、ま
たは記憶装置であってもよい。入力イメージはイメージ
処理装置１５に送られ、それは本発明に従って構成され
るならば、汎用コンピュータのような良く知られたどの
ような装置であってもよい。ユーザインタフェース１７
からのコマンドに応答して、イメージ処理装置１５はデ
スティネーション装置１８に出力イメージを提供し、そ
のデスティネーション装置１８はプリンター、表示装
置、ファクシミリ装置、または他の記憶装置であっても
よい。いくつかの例においては、それは必ずしも実際に
出力イメージを提供しなくてもよい。むしろ、入力イメ
ージに関連する情報が要求されるもののすべてである。

【００３５】図２（Ａ）は、ワード境界ボックスを用い
るキーワードスポッティングシステム２０のフローチャ
ートである。いくつかの典型的なアプリケーションは情
報フィルタリングを提供し、そこでは、後の処理のため
にキーワードを含むテキストが識別され選択される。図
２（Ａ）は特定のアプリケーションを示し、ここでは、
テキストを含む複数ページの入力文書２２（イメージの
形式の）が処理されて、キーワードを有するページのみ
を含む出力文書２５（イメージの形式の）が生成され、
キーワードが強調表示される。

【００３６】入力イメージは、イメージのすべての潜在
的なキーワードに関するワード境界ボックスを識別する
ワードボクサー(word boxer)３０によって操作される。
それぞれの境界ボックスにおける潜在的なキーワードの
イメージは、潜在的なキーワードを分類するために、ワ
ード構造を解析し均一に間隔を置かれた水平位置で特徴
ベクトルを生成する特徴生成器３２によって操作され
る。その潜在的なキーワードの組はワードイメージスポ
ッタ(word image spotter)３５に適用される。ワードイ
メージスポッタ３５はワードモデルを受信するネットワ
ークである。好ましい実施例においては、そのワードモ
デルは、ユーザ提供のキーワードの組４７に従って選択
される文字モデルの組４５の適切なものを連結すること
によって生成される（ステップ４０）キーワードモデル
を含む。ワードイメージスポッタ３５は、好ましくは、
キーワードモデルに加えて、少なくとも１つの非キーワ
ードモデルを含み、また機能語（前置詞、接続詞、およ
び冠詞）のモデルも提供される。

【００３７】図２（Ｂ）は、テキスト行境界ボックスを
用いるキーワードスポッティングシステム５０のフロー
チャートである。システム５０は、システム５０がテキ
スト行ボクサー５２と、テキスト行を操作する特徴生成
器５５と、キーワードがテキスト行の一部であるという
事実を考慮したワードイメージスポッタ６０およびワー
ドモデル生成器６５と、を備える点において、図２
（Ａ）のシステム２０と異なる。キーワードの入力と文
字モデル生成とは典型的にはシステム２０と同じであ
る。

【００３８】〔ワードボクサー〕 図３はワードボクサー３０によって実行されるステップ
を示すフローチャートである。入力イメージの複製は、
好ましくは、ＳＣＡＬＥ＝２において、しきい値レベル
１によりしきい値処理される縮小によって縮小される。
そして、縮小されたイメージのいくつかの複製が作ら
れ、それぞれの複製は、垂直のべた塗り構造化要素（Ｓ
Ｅ）７３による形態素的クローズ操作（ステップ７２）
および水平のべた塗りＳＥ７７によるクローズ操作（ス
テップ７５）を施される。それぞれの複製は、異なった
寸法のフォントと文字間の間隔とを調節するために、異
なったサイズで作られたＳＥ対によってクローズされ
る。例えば、１×４の水平ＳＥは縮小されたイメージに
おける３画素幅の間隔を充填するのに適しており、また
１×６の水平ＳＥは５画素幅の間隔を充填するのに適し
ている。例として、図面は、２×１の垂直クローズと１
×３の水平クローズとを施される１つの複製と、４×１
の垂直クローズと１×７の水平クローズとを施されるも
う１つの複製と、を示す。特定の実施例においては、つ
ぎのＳＥ対によって９個の複製が処理される。（２，
３）、（２，４）、（３，５）、（３，６）、（４，
７）、（４，８）、（５，９）、（５，１０）、（８，
１５）、ここで、（ｍ，ｎ）は垂直のｍ×１クローズと
それに続く水平の１×ｎクローズとを表す。異なったス
キャン解像度による他の実施例は別のＳＥ対を必要とす
る。

【００３９】このようにしてクローズされたイメージの
それぞれの複製は、連結成分の境界ボックスを計算する
ための処理を施される（ステップ８０）。しきい値処理
される縮小と形態素的クロージングの目的は、ワード間
の間隔を保持するとともに、ワードの中の個々の文字を
まとめて併合させることである。これらの連結成分は、
それらの併合された文字による潜在的なキーワードにな
ることが期待される。大きなＳＥによる水平のクローズ
は小さなフォントでの文字と同様に複数のワードを併合
させるが、小さなＳＥによる水平のクローズは大きなフ
ォントでの単一のワードの中の文字を併合させないこと
に注意されたい。従って、異なったサイズで作られたＳ
Ｅによるイメージ複製のクロージングは、与えられたフ
ォントサイズでのあるワードが、少なくとも１つの処理
されたイメージ複製において最後には単一の連結成分と
なることを確実にするための１つの方法である。

【００４０】異なったサイズで作られたＳＥ対によって
決定される境界ボックスが併合され、同じ境界ボックス
およびほとんど同じ境界ボックスが除去され、そして、
小さいサイズの成分または大きいサイズの成分が除去さ
れる（ステップ８５）。特定の実施例においては、縮小
されたイメージにおけるボックスは、もしそれらが６×
６の画素より小さいかまたは１０００×１２８の画素よ
り大きい場合に除去される。低いしきい値はイメージの
ノイズを除去する傾向があり、また高いしきい値は線図
形およびイメージの中間調領域を除外する傾向がある。
そして、境界ボックスの情報がオリジナルイメージとと
もに使用されて、標準の高さに基準化された潜在的なキ
ーワードの組を提供する（ステップ８７）。

【００４１】図４は、縮小されたイメージにおける連結
成分の座標情報を抽出する技術のフローチャートであ
る。８連結成分を用いた解析を行うことは可能である
が、以下では４連結成分が使用される。縮小されたイメ
ージの複製はコンピュータによってスキャンされ（すな
わち、それぞれの画素が評価され）、ＯＮの画素が検出
されるまで、左上から開始し左から右そして上から下へ
進む（ステップ９０）。その画素の座標は保存され、検
出された画素が属する連結成分の境界ボックスの角に関
する現在の最大の情報をまず表現する（境界ボックスの
左上と右下の角によってその境界ボックスは完全に指定
される）。検出された画素とそれの４連結近傍画素とが
ＯＦＦにされる（ステップ９２）。それぞれの画素がＯ
ＦＦにされると、それらの座標が現在の角の座標と比較
される。もしいずれかの座標が現在の境界ボックスの範
囲の外側であれば、角の適切な座標が更新されて今現在
の境界ボックスが拡張される。４連結近傍画素を検出し
てＯＦＦにする技術は、AndrewS. Glassner(Academic P
ress, Inc. 1990) によって編集された『Graphics Gem
s,』のPaul S. Heckbertによる『A Seed Fill Algorith
m 』の頁275 〜277 および頁721 〜722 に記述される。

【００４２】連結成分が消去されそれの境界ボックスの
座標が保存されると（ステップ９５）、スキャンが再度
始められ（ステップ９７）、消去されたばかりの成分に
おける最初の画素が検出された位置の直後から開始す
る。もし別のＯＮ画素が検出されれば（判断分岐９
８）、ステップ９２から始まる手順が繰り返される。再
開されたスキャンがＯＮ画素を検出できなければ、処理
は完結し、関連する境界ボックスの情報が抽出される。

【００４３】図５は、それぞれの潜在的なワードを標準
の高さのワードに変換するステップ８７におけるサブス
テップのフローチャートである。境界ボックスのサイズ
をオリジナルイメージのサイズに戻すために、ステップ
８５からの境界ボックスの座標が再基準化され（ステッ
プ１００）、これらの座標が、それぞれのボックスのビ
ットマップ内容をオリジナルイメージから抽出するのに
使用される（ステップ１０２）。それぞれのボックス
は、余白を除去するために上部、下部、および左側でク
リップされる（ステップ１０５）。縮小されたイメージ
において実行されるクローズ操作は通常は連結成分を拡
大しないが、しきい値処理された縮小のために、連結成
分自体は対応するワードよりわずかに大きいかもしれな
い。したがって、クリッピングの後に、それぞれの境界
ボックスのオリジナルのビットマップ内容は、境界ボッ
クスの上部、下部、および左側と接触する。

【００４４】境界ボックスの内容が１つのワード、１つ
のワードの一部分、または複数のワードであると仮定す
ると、１番目の文字は境界ボックスの左に接し、もっと
も高い文字は境界ボックスの上部に接し、そして、もっ
とも低いディセンダを備えた文字は境界ボックスの下部
に接するであろう。キーワードが境界ボックスにおいて
最後に検出される場合に適切なアクションがとられるよ
うに、境界ボックスの座標が保存される（ステップ１０
７）。

【００４５】つぎに、境界ボックスとその内容は、標準
の高さの倍数の上方向サンプリング(upsampling)（ステ
ップ１１０）と、フィルタリング（ステップ１１２）
と、標準の高さの下方向サンプリング(downsampling)
（ステップ１１３）と、を包含する複数ステップの処理
によって標準の高さに正規化されて、上方向へのサンプ
リングと下方向へのサンプリングの間に、それに応じて
結果として生じる幅が基準化される。この実施例におい
ては、標準の高さは３２画素であるが、１６画素の高さ
も考えられる。

【００４６】フィルタリングステップは２次元低域通過
フィルタであり、再サンプリングによってもたらされる
エイリアシング(aliasing)を防止する。この時点におい
て、以前は２値イメージであったものが、今ではグレイ
スケールイメージ（特定の実施例においては１画素あた
り８ビット）である。３２画素の列への正規化のため
に、文字は典型的には１０〜３０の列を備える。

【００４７】イメージは任意選択で平均化ステップ１１
５を施され、ここで、それぞれの画素はその水平に隣接
する画素と平均がとられる。このことは、３２画素の正
規化が用いられるときにノイズを除去するように働く。
標準の１６画素の高さは、３２画素の代わりに用いられ
た場合、平均化を有効なものあるいは望ましいものにす
るのに十分な解像度を提供するようには思えない。

【００４８】コンマの存在は潜在的に面倒なことであ
る。コンマがワードの最後の文字に接する場合、かつそ
のワードがディセンダを有しない場合、そのコンマは境
界ボックスの下側エッジを低すぎるものとし、そしてそ
のワードをわずかに誤って位置合わせする。このことは
深刻な問題とは思われない。なぜなら、わずかに誤って
位置合わせされたワードは、たとえそれがキーワードと
しても、非キーワードモデルよりもキーワードモデルに
依然として良く一致する傾向があるのである。

【００４９】もしコンマが最後の文字に接していなけれ
ば、それは境界ボックスの正規化に先立って除去される
ことが可能である。このことは、境界ボックスの右下の
角におけるオリジナルのビットマップの部分の連結成分
の別個の解析をなし、そして、もしもっとも右側の連結
成分がコンマの予想される最大サイズより小さければ、
そのもっとも右側の連結成分を削除することによって実
現される。この処理はピリオドも削除することに注意さ
れたい。

【００５０】図６は標準の高さに正規化されたいくつか
のワードを図式的に示す。より詳細には、１２１、１２
２、１２３、そして１２４で指示される４つのワード
が、標準の高さの境界ボックス内に示される。この概略
図は理想化されたものを示す。なぜなら、上述したよう
に、正規化されたワードイメージは、かなり低い解像度
でのグレイスケールイメージであるからである。これら
の４つの正規化されたワードは２つの特徴を明示してい
る。第１に、最初は同じフォントサイズのワードが、ワ
ード内の文字のアセンダおよびディセンダの有無に依存
する異なった係数によって基準化される。第２に、与え
られた文字が、ワードにおけるそれの文脈に依存する異
なった方法で基準化される。文字”ｏ”がアセンダのみ
を備えたワード（”ｏｆ”）に存在するか、ディセンダ
のみを備えたワード（”ｇｏｎｅ”）に存在するか、ア
センダとディセンダを備えたワード（”ｆｏｇ”）に存
在するか、あるいは、アセンダもディセンダもないワー
ド（”ｏｎ”）に存在するかどうかに依存して、文字”
ｏ”は異なった係数で基準化されかつ垂直の方向で異な
って配置されている。アセンダ（または、ディセンダ）
を備えた文字は、典型的には、２つの可能な文脈のみを
有する。すなわち、アセンダ（ディセンダ）のみを、そ
してアセンダとディセンダを有する。

【００５１】〔特徴生成〕それぞれのワードは１組の特
徴ベクトルによって表現され、ここで、それぞれのベク
トルは個々の水平の画素位置でのワード形状のある外観
の特徴を記述する。すなわち、画素のそれぞれの列は関
連する特徴ベクトルを有する。図７は特徴生成器３２に
よって実行されるステップを示すフローチャートであ
る。それぞれのワードは、境界ボックスの上部に関連す
る上側の輪郭（ステップ１３０において決定される）
と、境界ボックスの下部に関連する下側の輪郭（ステッ
プ１３２において決定される）と、ワードの内部構造を
表現する自己相関値（ステップ１３５において決定され
る）と、によって特徴が記述される。画素の列に対する
特徴ベクトルは、その列に対する上側と下側の輪郭値お
よびいくつかの自己相関値とからなる。

【００５２】より詳細には、与えられた画素列に関する
上側のワード輪郭値は、列において値がしきい値を超え
る最上位の画素の位置によって与えられる。８ビットの
画素に関しては、ここでの実施例においてはしきい値は
１２８である。２値イメージにおいては、輪郭値は最上
位のＯＮ画素の位置である。同様に、与えられた画素列
に関する下側のワード輪郭値は、列において値がしきい
値を超える最下位の画素の位置によって与えられる。こ
のことは図８（Ａ）〜図８（Ｄ）の理想化された描写か
ら理解される。

【００５３】図８（Ａ）はその境界ボックスの中のワー
ド（”ｐｏｌｅ”）を示す。明確にするために、そのワ
ードは約６４の水平の位置でサンプリングされた。図８
（Ｂ）は、６４本の等間隔の垂直線がワード内の文字の
上側表面と交差する点を結ぶことによって形成される上
側の輪郭を示す。１つの垂直線が２つの文字の間に位置
する場合は、その点は境界ボックスの最下部から選択さ
れる。図８（Ｃ）は、６４本の等間隔の垂直線がワード
内の文字の下側表面と交差する点を結ぶことによって形
成される下側の輪郭を示す。１つの垂直線が２つの文字
の間に位置する場合は、その点は境界ボックスの最上部
から選択される。図８（Ｄ）は境界ボックスにおいて重
畳された上側と下側の輪郭を示す。文字の概観が識別さ
れるとともに、文字間の間隔が一般的には長方形の完全
な高さ(full-height) の形として現れる。しかしなが
ら、この輪郭はワード内の文字の内部構造の特徴を記述
しはしない。例えば、”ｅ”における水平のストローク
は現れないし、輪郭だけに基づいているので、そのワー
ドが”ｐｏｌｅ”かまたは”ｐｏｌｏ”のどちらである
かを決定することができない。

【００５４】自己相関値が、ワード内の文字の内部構造
の特徴を記述するのに使用される。詳細には、与えられ
た画素列は、”ずれ”として参照される特定の増分だけ
垂直にシフトされ、そのシフトされた列と最初に配置さ
れた列との間の相関が、現時点で重なり合う画素の値を
乗算しそして画素全部に対しての和を計算する標準の方
法によって決定される。最大の値はずれ０においてであ
り、その他のずれにおける値がこの値に正規化される。
３２画素の列によるここでの実施例において、相関は３
２個のずれ（０〜３１個の画素のオフセット）に関して
計算され、それぞれの値はずれ０での値に比較して正規
化され、そして相関値の隣接するグループが平均化され
て平均相関値の減少された数を提供する。ここでは、７
つの値が使用される。値がずれ０での値に比較して一度
正規化されれば、ずれ０での正規化された値は定義によ
って１であり、ゆえに平均化には使用されないことに注
意されたい。なぜなら、それは付加的な情報を伝達しな
いからである。

【００５５】図９は、その輪郭決定が図８（Ａ）〜図８
（Ｄ）を参照して上述されたワード”ｐｏｌｅ”に関す
る自己相関決定を示す。自己相関値は実際にはそれぞれ
の画素列に対して決定されるが、自己相関は３つの水平
位置に関して図示される。明確にするために、７つのセ
グメントに分割された画素列による２値イメージが示さ
れる。それぞれのセグメントの値は、もしセグメントの
約半分またはそれ以上がＯＮ画素を有するならＯＮであ
ると定義され、そうでなければ、ＯＦＦであると定義さ
れる。

【００５６】３つの図示された位置は、”ｐ”の垂直の
ストロークと、”ｏ”および”ｅ”の中央の部分とであ
る。図からわかるように、第１の水平位置は第２セグメ
ント〜第７セグメントをＯＮにし、第２の水平位置は第
２セグメントおよび第６セグメントをＯＮにし、第３の
水平位置は第２セグメント、第４セグメント、および第
６セグメントをＯＮにする。

【００５７】ここでの説明のための例において、列を得
て、０から６までのセグメントの範囲で動くずれによっ
て列の複製を垂直に変位させ、そして、最初の列と変位
させられた複製の両方が重なり合うＯＮセグメントを有
する場合の数をそれぞれのずれにおいて決定することに
よって、与えられた列に関する自己相関が決定される。
０個のセグメントのずれでは、自己相関は単にＯＮセグ
メントの数であり、そして、このことが最大値の１を有
するために自己相関値を正規化するのに使用される。７
つのセグメントだけしか存在しないので、７個のセグメ
ントのずれでは、自己相関は定義によって０である。な
ぜなら、列は重なり合わないからである。上述したよう
に、実際の実施例のグレイスケールの世界(realm) で
は、相関は画素値の乗算と加算によって評価される。

【００５８】説明のための例における自己相関図は、水
平位置においてワードの文字の内部構造を導き出す。垂
直なストローク（”ｐ”の垂直なストロークのような）
に関して、あるいは文字のどのような垂直な部分に関し
ても、相関図はその最大値からずれがそのストロークま
たは垂直な部分の高さを超えるときのゼロまで線型に減
衰する。”ｏ”の中央のような白抜きの文字部分に関し
ては、自己相関はその白抜きの空間の高さによって分離
された２つのピークを有する。水平なストロークを包含
する内部の文字部分（”ｅ”の中央のような）に関して
は、自己相関はその白抜きの空間の高さによって分離さ
れた３つのピークを有する。

【００５９】文字の内部構造の特徴を記述するための自
己相関値を用いない別の方法は、上側の輪郭と下側の輪
郭との間の画素遷移をカウントすることである。図９の
２値イメージの例に関しては、第１の列（”ｐ”の垂直
なストローク）は遷移がなく、第２の列（”ｏ”の中央
の部分）は単一の白抜き領域を指示する２つの遷移を有
し、そして、第３の列（”ｅ”の中央の部分）は２つの
白抜き領域を指示する４つの遷移を有する。グレイスケ
ールの世界では、遷移は画素のしきい値を介した遷移と
して定義される。

【００６０】特徴生成は、文字のベースラインまたはエ
ックスハイト（小文字の”ｘ”のようなアセンダあるい
はディセンダいずれをも備えない小文字の高さ）を検出
することを必要とせずに実行されることに注意された
い。ベースラインおよびエックスハイトの情報を抽出す
る技術は耐久性がない傾向があり、かつ単一ワード(sin
gle words)または頭文字語(acronyms)に対してまったく
動作しない傾向がある。境界ボックスの位置は耐久性が
あり、ゆえに耐久性のある特徴生成と検索とを可能にす
る。

【００６１】〔隠れマルコフモデル（ＨＭＭ）の概要〕
隠れマルコフモデル化は、認識されるべき音声の変動性
(variability) をモデル化するために、音声認識におい
て一般に使用される統計学的技術である。そのような変
動性は異なった会話者からだけでなく異なった会話速度
からも結果として生じる。本発明においては、隠れマル
コフモデル化は文字（実際にはワード）認識に適用され
る。ここで、変動性は、異なった文字のサイズおよびフ
ォントから、そしてスキャナ、複写機、およびファクシ
ミリ装置によって生成されるイメージのノイズから生じ
る。

【００６２】隠れマルコフモデル（ＨＭＭ）は、状態間
での確率的遷移と、それぞれの状態に関連する観測され
る特徴ベクトルの確率分布と、を有する１組の状態から
なる。音声認識においては、これらの特徴ベクトルは与
えられた時刻での音声のスペクトル内容を表現する。ワ
ードイメージ検索システムにおいては、特徴ベクトル
は、与えられた位置での相関のずれの特徴と組み合わさ
れたその位置でのワード内の文字の上側輪郭と下側輪郭
からなる。状態間での遷移が観測列を特徴づける。確率
をそれぞれの状態の観測にだけでなく状態間での遷移に
も関連づけることによって、ＨＭＭｓは、音声または文
字イメージにおける変動性を統計的にモデル化するのに
使用される。

【００６３】より詳細には、ＨＭＭは、１組のＮ個の状
態Ｓ₁ ．．．Ｓ_N と、１組の遷移確率ａ_ij（ｉ＝
１．．．Ｎ、ｊ＝１．．．Ｎ）と、そして、１組の確率
分布ｂ_i(X)（ｉ＝１．．．Ｎ）とからなり、ここで、ａ
_ijは状態ｉから状態ｊへの遷移の確率であり、またｂ
_i(X)は、状態がｉでありかつ特徴ベクトルｘを観測する
確率である。

【００６４】ＨＭＭｓを用いた認識は以下のようになさ
れる。認識されるべきそれぞれのオブジェクトがＨＭＭ
によってモデル化される。与えられた長さＴの観測列Ｘ
（Ｘ＝ｘ₁ ．．．ｘ_T ）が、列Ｘをもっとも生成しそう
であったと決定されるＨＭＭに対応するオブジェクトと
して認識される。このことをなす１つの方法は、フォー
ワードアルゴリズム（forward algorithm : Rabiner 参
照）を用いて、それぞれのＨＭＭに与えられるＸの尤度
(likelihood of X) を計算することによってなされる。
さらに有効な方法はビタービアルゴリズム(Viterbi alg
orithm) であり、これは以下のようになされる。認識さ
れるべきそれぞれのオブジェクトに関するＨＭＭｓが並
列に接続されてネットワークを形成する。記号
Ｐ₁ ．．．Ｐ_M はそれぞれのオブジェクトの以前の確率
を意味する。観測列、Ｘ＝ｘ₁ ．．．ｘ_Tが与えられる
と、列Ｘをもっとも生成しそうであったネットワークを
通して状態列を検出するためにビタービアルゴリズム
（Rabiner 参照）が使用される。それぞれの状態列は１
つの認識されるべきオブジェクトのＨＭＭに独特なもの
であるので、最適の状態列が認識されるべきオブジェク
トを特定する。

【００６５】ＨＭＭに関するパラメータは遷移確率ａ_ij
および観測確率ｂ_i(X)である。これらのパラメータは、
ＨＭＭによってモデル化されたオブジェクトによって生
成されたことが分かっている１組の観測列Ｘによってそ
のＨＭＭを教育することによって学習させることができ
る。バーム−ウェルチ手順(Baum-Welch procedure :Rab
iner 参照）として知られるアルゴリズムが一般に使用
される。

【００６６】 〔文字およびキーワードＨＭＭ〕 個々の英数字は、それに続くどのような間隔も同様に、
文脈依存型文字ＨＭＭによって表現される。上述におい
て論議したように、文字モデルに関する文脈はワード内
のアセンダおよびディセンダの存在に依存する。アセン
ダのみの場合、ディセンダのみの場合、アセンダとディ
センダの両方の場合、または、アセンダもディセンダも
ない場合の結果として生じる文脈において、４つまでの
モデルがそれぞれの文字に対して必要とされる。

【００６７】文字ＨＭＭは、状態間での確率的遷移とそ
れぞれの状態に関連する特徴とを有する状態の列によっ
て定義される。ＨＭＭにおける状態の数は文字に適合さ
れたものであり、またそれぞれの状態は、文字のその部
分を特徴づける特徴ベクトルの確率分布によって記述さ
れる。典型的には、２〜５個の状態が文字をモデル化す
るのに使用される。文字間の間隔をモデル化するため
に、最終の状態がすべての文字に付加される。すべての
状態はガウス観測分布を有し、それは平均ベクトルと共
分散正方行列とによって特徴づけられる。文字部分に対
応する状態は独特のガウス観測分布を有するのに、１つ
の文脈における文字間の間隔に対応する状態は単一の共
通な分布を共有する。そのような間隔の状態は等しい出
力(tied output) を有すると言われる。結果として、隣
接する文字に無関係に、その文字間の間隔は与えられた
文脈に関してまったく同じに取り扱われる。分布は、間
隔が文字間に現れてもよい３つの場合をモデル化するた
めの３つのガウス分布の混合であり、それは、文字同志
が接しない場合と、上部でのみ接する場合と、そして、
下部でのみ接する場合とである。

【００６８】図１０（Ａ）は、状態がいくつかの代表的
な文字の構造に、詳しくは小文字の”ｆ”、”ｅ”、お
よび”ｗ”の構造にどのように関係するかの理想化され
た表現である。ワード”ｆｅｗ”はその境界ボックス内
に示され、垂直線が状態を区画する(delineate) 。状態
の実際の区画は教育において決定される。文字”ｆ”お
よび”ｅ”のそれぞれは、文字構造の独特な部分に対応
する３つの状態を有し、文字”ｗ”は５つの状態を有す
る。図示されるようなワード”ｆｅｗ”の文脈におい
て、文字構造の状態のそれぞれの組の後には文字間の間
隔に対応する状態が続く。

【００６９】図１０（Ｂ）は、文字”ｆ”および”ｅ”
のいずれにも関するＨＭＭ状態図を示す。そのモデル
は、文字に特有の観測を生成する３つの状態Ｓ₁ 、
Ｓ₂ 、Ｓ₃と、等しい分布に従った文字間の間隔を生成
する状態Ｓ₄ とからなる。ａ_ijは状態Ｓ_i とＳ_j との間
の遷移の確率である。確率ａ₃₅による状態Ｓ₃ からの可
能な遷移は、間隔の状態Ｓ₄ を飛び越すことを表すとと
もに、潜在的なキーワードにおける２つの文字間に間隔
が存在しない場合にはつぎの文字の最初の状態へ跳躍す
ることを表す。図１０（Ｃ）は、状態Ｓ₆ がオプション
スペースの状態である”ｗ”に関する状態図を示す。図
１０（Ｄ）は、ワードの文脈における文字に対応する文
字モデルを結合することによって、ワード全体のモデル
がどのように構築されるかを図示する。

【００７０】ある文字は複数の独特な形式で現れる。例
えば、文字”ａ”もいくつかのフォントと、例えば傾斜
したイタリック体のその他のフォントとによって現れ
る。このことを考慮するために、別個の文字モデルが多
様な変形に関して生成され、また別個のキーワードモデ
ルがそのような文字を含むどんなキーワードに関しても
生成される。

【００７１】文字”ｉ”および”ｊ”はまたワード内に
アセンダが存在しない場合に特別な事態を呈する。その
ようなワードに関する境界ボックスはドットを包含する
かもしれないし、あるいは包含しないかもしれない。こ
のことを考慮するために、２つのキーワードモデルが構
築され、１つはアセンダがない文脈のためのモデルであ
り、もう１つはアセンダが存在することを仮定した文脈
のためのモデルである。

【００７２】文字ＨＭＭｓは異なったフォントによるテ
キストを用いて教育される。教育は、それぞれの文字の
それぞれの状態に関する観測分布と、間隔の状態に関す
る観測分布と、そして標準のバーム−ウェルチ技術を用
いた状態間の遷移確率ａ_ijと、を学習することを包含す
る。教育データは、種々の文脈におけるそれぞれの文字
を含むワード全体からなる。個々の文字の境界に注目す
る必要はない（Paul参照）。モデルが正しく初期化され
ることを確実にするために、１組の予備の教育用データ
が使用され、それには文字間の間隔がかならず存在す
る。

【００７３】〔非キーワードＨＭＭｓ〕非キーワードＨ
ＭＭは、イメージにおけるキーワードではないワードを
モデル化するのに使用される。非キーワードモデルの使
用は、キーワードのスコアがイメージ品質とそのフォン
トとに依存する任意のしきい値よりもむしろ非キーワー
ドのスコアと比較されることを可能にする。

【００７４】モデルは文脈非依存（非感知）型(context
-insensitive) または文脈依存（感知）型(context-sen
sitive) のいずれかである。文脈依存型モデルにおいて
は、文字モデルにおいて使用される４つのワード文脈
（＃１はアセンダのみ、＃２はディセンダのみ、＃３は
アセンダとディセンダの両方、＃４はアセンダもディセ
ンダも存在しない）が、非キーワードモデルにおけるリ
ターンループを伴わない個々の並列のパスによって表現
される。ゆえに、非キーワードに関するＨＭＭを通して
の最適のパスは、単一の文脈に制約される。

【００７５】非キーワードは文字レベルあるいは部分文
字レベルのいずれでモデル化されてもよい。文字レベル
では、文字セットにおけるそれぞれのシンボルは、上述
されたように教育された対応する文脈依存型文字ＨＭＭ
によってモデル化される。文字に基づく(character-bas
ed)、文脈非依存型の非キーワードモデルを生成するた
めに、予め教育された文字ＨＭＭの組が並列に接続され
る。

【００７６】図１１は、文脈非依存型の文字に基づく非
キーワードＨＭＭ１５０に関する状態図である。ＨＭＭ
は、１対のヌル状態(null state)１５５および１５７の
間に並列に接続されるいくつかの文字ＨＭＭ１５２を備
え、また、ヌル状態１５５および１５７の間にリターン
ループを含む。文字セットは、大文字と小文字、数字、
および特殊文字を含むＮ個の文字を包含すると仮定され
る。４つまでの別個の文字ＨＭＭが文字セットのそれぞ
れの文字に用意される。与えられた文字に対するＨＭＭ
の番号は、４つの可能な文脈のどれがその文字に当ては
まるかに依存する。ＨＭＭ１５０は、非キーワードに関
するそのＨＭＭを通しての最適のパスが非キーワードに
おける文字の文脈によって制約されないという意味で非
文脈依存型である。

【００７７】文脈依存型の文字に基づく非キーワードモ
デルは、まず与えられた文脈に関する予め教育された文
字ＨＭＭを並列に接続することによって生成されて、４
つの文脈に対してそれぞれ１つ、すなわち４つのＨＭＭ
を提供する。つぎにその４つのＨＭＭが、文脈依存型の
文字に基づく非キーワードＨＭＭを生成するために並列
に接続される。

【００７８】図１２は、非キーワードＨＭＭの構成要素
として使用される文字セットの一文脈のＨＭＭ１６０
（１）に関する状態図である。そのＨＭＭは、１対のヌ
ル状態１６５と１６７との間に並列に接続された文字Ｈ
ＭＭ１６２からなり、またリターンループを包含する。
ＨＭＭ１６０（１）は、ＨＭＭ１６０（１）がこの場合
は文脈＃１であるその単一の文脈において現れることの
できる文字ＨＭＭｓのみを含むことが図１１のＨＭＭ１
５０と異なる。類似のＨＭＭがその他の文脈に対して組
み立てられる。

【００７９】図１３は、１対のヌル状態１７２と１７５
の間に並列に接続された４つの単一文脈文字ＨＭＭ１６
０（１）、１６０（２）、１６０（３）、１６０（４）
からなる非キーワードの文脈依存型の文字に基づくＨＭ
Ｍ１７０の状態図である。このＨＭＭは、ＨＭＭを通し
ての非キーワードに関する最適なパスが非キーワードに
おける文字の文脈によって制約されるという意味で文脈
依存型である。

【００８０】部分文字レベルで非キーワードをモデル化
するために、ワード境界ボックス内の画素列すなわちイ
メージスライス（図１０（Ａ）において垂直線により区
画されている）がガウス分布による状態によって表現さ
れる。部分文字に基づくＨＭＭに関する観測分布および
遷移確率が文字モデルに関するデータと同じものを用い
て教育される。

【００８１】図１４（Ａ）は、文脈非依存型のイメージ
スライスに基づく非キーワードＨＭＭ１８０を示す。こ
の非キーワードＨＭＭは、１対のヌル状態１８５と１８
７（Ｓ₀ とＳ₃₃）の間にリターンループを伴って、状態
１８２（Ｓ₁ 〜Ｓ₃₂で示される）の並列ネットワークと
して生成される。状態Ｓ₀ とＳ₃₃がヌル状態であるのに
対して、状態Ｓ₁ 〜Ｓ₃₂はガウス分布によって出力を生
成する状態である。この非キーワードＨＭＭに関する出
力分布と遷移確率ａ_ijは、ラベルが用いられないことを
除いて、文字モデルに関するデータと同じものを用いて
教育される。状態に関するガウス出力分布の手段はラン
ダムに初期化される。

【００８２】図１４（Ｂ）は、文脈依存型非キーワード
ＨＭＭの構成要素として用いられる単一文脈イメージス
ライスＨＭＭ１９０（１）に関する状態図である。この
ＨＭＭは、１対のヌル状態１９５と１９７の間に並列に
接続されたイメージスライスを表現するガウス分布によ
るいくつかの（ここでは１０個の）状態１９２からな
り、また、リターンループも含む。与えられた１つの文
脈に関して約１０個の状態の組が、すべての文字が表現
されることを可能にすることがわかる。

【００８３】文脈依存型モデルにおいては、データは、
文字モデルを教育するのに用いられるワードラベルから
導き出されるワード文脈によって分類される。そのワー
ドラベルはどのサブモデルを教育するかを決定するのに
使用される。

【００８４】図１４（Ｃ）は、１対のヌル状態２０２と
２０５の間に並列に接続された４つの単一文脈イメージ
スライスＨＭＭ１９０（１）、１９０（２）、１９０
（３）、１９０（４）からなる文脈依存型のイメージス
ライスに基づく非キーワードＨＭＭ２００の状態図であ
る。このＨＭＭは、ＨＭＭを通しての非キーワードに関
する最適なパスが非キーワードにおける文字の文脈によ
って制約されるという意味で文脈依存型である。

【００８５】〔より長いワードの一部であるキーワード
のスポッティング〕ときどき、キーワードの正確な形式
が前もって知られていない場合がある。例えば、ユーザ
は、それが単数形または複数形のいずれであるかにかか
わらずに名詞に興味を示し、あるいは、時制または人称
にかかわらずに動詞に興味を示す。キーワードはハイフ
ンでつながれたまたはハイフンでつながれていない複合
ワードの一部であるかもしれない。たとえ原形の形式が
ワードの断片部分であっても、キーワードの原形の形式
(root form) を得ることが可能な限界まで、本発明は、
より長いワードに組み込まれたそのような原形の形式を
検索する技術を提供する。この能力はまた、ワード間の
スペースがワードを区画するために使用されない日本語
のような言語にも適合する。

【００８６】図１５（Ａ）は、より長いワードの一部で
あるキーワードを認識するのにネットワークにおいて使
用される第１の形態のキーワードＨＭＭ２２０に関する
状態図である。このＨＭＭは、１対のヌル状態２２７と
２２８の間に並列に接続されたキーワードＨＭＭ構成要
素２２２および非キーワードＨＭＭ構成要素２２５から
なり、かつリターンループを含む。リターンループはよ
り長いワードにおけるキーワードの複数回の発生を考慮
するものである。非キーワードＨＭＭ構成要素２２５
が、上述したように文字に基づくものあるいはイメージ
スライスに基づくものであるに対して、キーワードＨＭ
Ｍ構成要素２２２は、上述されたように文字ＨＭＭｓの
連結として組み立てられる。もし非キーワードＨＭＭ構
成要素が文脈依存型であれば、それはキーワードＨＭＭ
構成要素と同じ文脈を有する。

【００８７】アセンダとディセンダに関連するキーワー
ドの特性が既知であっても、そのキーワードがより長い
未知のワードの一部であるときは、モデルに関する適切
な文脈は未知なものとなる。特に、もしキーワードがア
センダのみを有するならば、その複合ワードはアセンダ
のみを有するかもしれないし、またはアセンダとディセ
ンダの両方を有するかもしれない。従って、キーワード
モデルは、アセンダとディセンダの両方の文脈に関する
図１５（Ａ）のＨＭＭと並列に接続されたアセンダのみ
の文脈に関する図１５（Ａ）のＨＭＭからなるネットワ
ークである。

【００８８】もしキーワードがディセンダのみを有する
ならば、その複合ワードはディセンダのみを有するかも
しれないし、またはアセンダとディセンダの両方を有す
るかもしれない。従って、キーワードモデルは、アセン
ダとディセンダの両方の文脈に関する図１５（Ａ）のＨ
ＭＭと並列に接続されたディセンダのみの文脈に関する
図１５（Ａ）のＨＭＭからなるネットワークである。

【００８９】もしキーワードがアセンダとディセンダの
両方を有するならば、その複合ワードはアセンダとディ
センダの両方を有する。従って、キーワードモデルは、
アセンダとディセンダの両方の文脈に関する図１５
（Ａ）の単一のＨＭＭである。

【００９０】もしキーワードがアセンダもディセンダも
有しないならば、その複合ワードはアセンダとディセン
ダのいずれかを有するか、いずれをも有しないか、ある
いはいずれをも有するか、のいずれかである。従って、
キーワードモデルは、４つの文脈すべてに関する図１５
（Ａ）のＨＭＭの並列の接続を備えたネットワークであ
る。

【００９１】図１３（Ｂ）は、より長いワードに組み込
まれたキーワードを認識するのにネットワークにおいて
使用される第２の形態のキーワードＨＭＭ２３０に関す
る状態図である。このＨＭＭは、１対のヌル状態２３５
と２３７の間に接続された１対の非キーワードＨＭＭ構
成要素２３３と直列のキーワードＨＭＭ構成要素２３２
からなる。キーワードが複合ワードの始めまたは終わり
にくる可能性に適合させるために飛び越しパスが提供さ
れる。このＨＭＭはリターンループを包含しない。

【００９２】もし図１５（Ａ）および図１５（Ｂ）に示
されるようなキーワードＨＭＭを使用すれば、ユーザ
は、キーワード”ｓｗｉｍ”を与えることによって、動
詞”ｓｗｉｍ”が”ｓｗｉｍｓ”かまたは”ｓｗｉｍｍ
ｉｎｇ”で現れるときにその動詞”ｓｗｉｍ”を探すこ
とができるであろうが、”ｓｗａｍ”の形式の場合を突
き止めないであろう。また、おそらくいくつかの接頭辞
かまたは接尾辞だけと接続するキーワードの特定の原形
の形式にしかユーザが興味を示さないいくつかの例もあ
る。例えば、ユーザは上述の”ｓｗｉｍ”の形式には興
味を示すかもしれないが、ワード”ｓｗｉｍｓｕｉｔ”
には興味を示さないかもしれない。

【００９３】もし接頭辞および接尾辞の可能な組がわか
っていれば、種々の可能な組み合わせに対する文字モデ
ルの連結として個々のキーワードモデルを構築すること
が普通は好ましい。

【００９４】〔キーワードスポッティングネットワー
ク〕図１６はキーワードスポッティングのためのＨＭＭ
ネットワーク３５の状態図である。ネットワークは開始
状態または初期状態２１５と停止状態または最終状態２
１７との間に並列に接続されたキーワードＨＭＭ２６０
と非キーワードＨＭＭ２６２とを包含する。キーワード
ＨＭＭと非キーワードＨＭＭは、図１０（Ｂ）〜（Ｄ）
および図１５（Ａ）〜（Ｂ）（キーワードＨＭＭ）そし
て図１１〜図１３および図１４（Ａ）〜（Ｃ）（非キー
ワードＨＭＭ）に関連して上述されたように組み立てら
れる。上述において言及したように、複数の形式で現れ
るある種の文字を含むいかなるキーワードに対しても個
々のキーワードＨＭＭが提供される。同様に、キーワー
ドが”ｉ”かまたは”ｊ”を含みかつアセンダを備えた
文字を含まないとき、２つの個々のキーワードＨＭＭが
好ましい。加えて、もし探索が大文字と小文字を区別し
ないことを意図するのであれば、すべての小文字と、す
べての大文字と、そして先頭大文字変形(lead-uppercas
e variants) とに対して個々のワードモデルが提供され
る。

【００９５】スポッティングはネットワークを通してビ
タービ（viterbi)検索を用いてなされる。もし最適なパ
スがキーワードＨＭＭを通して存在すれば、キーワード
は認識されたとみなされる。文字に基づいた非キーワー
ドモデルの場合における別の状況では、そのパスは非キ
ーワードＨＭＭを通して一連の文字を定義することがで
き、ゆえにその結果として、ある意味で光学式文字認識
システムとして機能する。イメージスライスの非キーワ
ードモデルの場合においては、潜在的なキーワードが非
キーワードとして識別される。キーワードＨＭＭがキー
ワードＨＭＭ構成要素と非キーワードＨＭＭ構成要素と
を含む場合においては、最適のパスがキーワードＨＭＭ
構成要素を経由する場合にのみキーワードは認識され
る。

【００９６】すべての潜在的なキーワードをスポッティ
ングネットワークに適用することは可能であるが、一般
的には、その潜在的なキーワードを制限することが好ま
しい。潜在的なキーワードを制限するための１つの方法
は、それの境界ボックスの長さがキーワードと一致しな
いキーワードを除外することである。上述したように、
文字の幅は一般的に３２画素の高さに対して１０画素〜
３０画素の程度である。したがって、キーワードの特定
の文字に基づけば、潜在的なキーワードの長さを推定す
ることが可能であり、はるかに長いかまたははるかに短
い潜在的なキーワードが除外される。また、これらをワ
ードボクシング(word boxing) 段階で除去して特徴抽出
に必要とされる計算を回避することも可能である。しか
しながら、多くのアプリケーションは同一文書上の複数
の探索を必要とすることが予想され、その場合には、た
とえそのようなワードが現在の探索基準を満足させるに
は長すぎるかまたは短すぎる場合であっても、すべての
ワードに関する特徴情報を保持することが有効である。

【００９７】誤り検出(false alarms)のない（非キーワ
ードが認識されない）１００％の成功率（キーワードの
すべての場合が認識される）は高尚な目標ではあるが、
ノイズとフォントの種類(font variations) がこの目標
の達成を見込みのないものにし、一般的に妥協が要求さ
れる。ある種のアプリケーションは、ほぼすべてのキー
ワードの場合が認識されることを必要とするかもしれな
いし、また誤り検出を許容することもあるかもしれな
い。別のアプリケーションは、キーワードの欠落により
許容度があるかもしれないが、多すぎる誤り検出によっ
て甚だしく損害を与えられるかもしれない。認識と誤り
検出との割合は、開始状態からのキーワードへの遷移確
率（Ｐ₁ ．．．Ｐ_M ）および非キーワードへの遷移確率
（Ｐ_NK）を変化させることによって制御されてもよい。

【００９８】 〔テキストの行におけるワードのスポッティング〕ワード境界ボックス よりもむしろテキスト行ボックスに
おいてキーワードをスポッティングすることが複数ワー
ドの句をスポッティングすることを可能にする。もしこ
の機能が要望されるのであれば、キーワードモデルは、
ワード間の間隔モデルによって分離された個々のワード
のＨＭＭの直列の接続として生成される。ワード間の間
隔モデルは、好ましくは、省略可能であり、従って、"
Ｋｅｙｗｏｒｄ（スペースあり）"の探索は"Ｋｅｙｗｏ
ｒｄ（スペースなし）"をも検出するであろう。ある意
味では、任意選択のワード間の間隔モデルは特殊文字と
考えられる。

【００９９】テキストの行に組み込まれたワードをスポ
ッティングするには、潜在的なテキスト行に関する境界
ボックスがまず識別される。このことは、ワード境界ボ
ックスの識別と類似した方法による形態素的な操作を用
いてなされてもよい。イメージは２×だけ縮小され、垂
直と水平のクロージング操作がなされる。垂直のＳＥは
ワード境界ボックスの識別に使用されるものと同じサイ
ズの範囲に存在する。対応する水平ＳＥはより大きいの
で水平のクロージングは同一行のワードを併合すること
を確実にするが、複数の列にわたってワードを併合する
ほど大きくはない。任意選択で、テキストの列が予め識
別されてもよく、また行を識別するために形態素的な操
作がそれぞれの列に実行されてもよい。ワード境界ボッ
クスの識別における場合と同様に、異なったサイズに作
られたＳＥ対が併合され、そして、同じもの、および小
さいサイズの成分または大きいサイズの成分が除去され
る。また、列の位置を決定することによって、そして、
列を正しく計測しない境界ボックスを除去することによ
って、行境界ボックスの数を減少させてもよい。特徴抽
出に先立って、左側、上部、および下部からだけでなく
それぞれのテキスト行の右側からも余白が除去される。

【０１００】テキストの行におけるワードをスポッティ
ングするＨＭＭは、それぞれのワードは文字間の間隔よ
り大きなワード間の間隔によって隣のワードから分離さ
れていると仮定する。行におけるキーワードの正確な位
置は、キーワードモデルに整列するフレーム番号を識別
することによって決定される。

【０１０１】図１７はテキスト行に組み込まれたキーワ
ードをモデル化するのに使用される単一文脈ＨＭＭ２７
０の状態図である。このＨＭＭは、１対のヌル状態２７
５と２７７の間に並列に接続されるキーワードＨＭＭ構
成要素２７２および非キーワードＨＭＭ構成要素２７３
からなる。キーワードＨＭＭ構成要素および非キーワー
ドＨＭＭ構成要素からワード間の間隔状態２７８への遷
移に対する準備がなされる。また、キーワードＨＭＭ構
成要素、非キーワードＨＭＭ構成要素、およびワード間
の間隔状態からヌル状態２７５へのリターンループが存
在する。キーワードＨＭＭ構成要素２７２はそれ自体が
複数のキーワードを探索する並列接続のキーワードＨＭ
Ｍｓのネットワークである。

【０１０２】より長いワードの一部であるキーワードに
関連して上述された文脈の論議がテキスト行の設定にお
いても生じる。１つ以上の文脈におけるキーワードをモ
デル化することが時々必要である。もしキーワードがア
センダのみを有するならば、そのキーワードが現れるテ
キスト行はアセンダのみを有するかもしれないが、また
アセンダとディセンダとを有するかもしれない。同様
に、もしキーワードがディセンダのみを有するならば、
そのキーワードが現れるテキスト行はディセンダのみを
有するかもしれないが、またアセンダとディセンダとを
有するかもしれない。もしキーワードがアセンダもディ
センダも有しなければ、そのキーワードが現れるテキス
ト行はアセンダもディセンダも有しないかもしれない
が、またディセンダのみ、アセンダのみ、あるいは、ア
センダおよびディセンダ、を包含するかもしれない。

【０１０３】ゆえに、アセンダもディセンダも有しない
キーワードは図１８（Ａ）に示されるようなネットワー
ク２８０によってモデル化されなければならない。この
ネットワークは、初期状態２８２と最終状態２８５の間
に並列に接続されたテキスト行ＨＭＭ２７０（１）、２
７０（２）、２７０（３）、２７０（４）を含み、これ
らは４つの可能な文脈のそれぞれにおける図１５のＨＭ
Ｍである。

【０１０４】アセンダのみを有するキーワードは図１８
（Ｂ）に示されるようなネットワーク２９０によってモ
デル化されなければならない。このネットワークは、初
期状態２９２と最終状態２９５の間に並列に接続された
テキスト行ＨＭＭ２７０（１）および２７０（３）を包
含する。テキスト行ＨＭＭ２７０（１）および２７０
（３）は、アセンダのみの場合およびアセンダとディセ
ンダの両方の場合の２つの可能な文脈のそれぞれにおけ
る図１７のＨＭＭである。

【０１０５】また、ディセンダのみを有するキーワード
も、初期状態と最終状態の間に並列に接続されたテキス
ト行ＨＭＭｓを包含するネットワークによってモデル化
されなければならない。しかしながら、この場合は、テ
キスト行ＨＭＭは、ディセンダのみの場合およびアセン
ダとディセンダの両方の場合の２つの可能な文脈のそれ
ぞれにおける図１７のＨＭＭである。アセンダとディセ
ンダの両方を有するキーワードのみが、アセンダとディ
センダの両方を備えるテキスト行においてのみ存在する
ことを保証され、ゆえに、アセンダとディセンダの両方
の場合の文脈における図１７のＨＭＭによって直接にモ
デル化される。

【０１０６】〔ワードボクサーおよびテキスト行ボクサ
ーの第２実施例〕上述したように、イメージが形態素的
なクローズ操作を施されるときに、ワード間の間隔を詰
めないが文字間の間隔を詰める単一のサイズのＳＥは存
在しない。ゆえに、図３に関連して上述された方法は、
イメージの複数の複製に対して異なったサイズのＳＥに
よるクローズ操作を施す。この複数パス(multi-pass)の
方法は、その技術が多くのサイズのフォントを包含する
文書に適用できるという利点を有する。以下で記述され
る別の方法は、いくつかの予想される計算処理上の利点
を有する。なぜなら、その方法はイメージの単一の複製
を処理するだけだからである。

【０１０７】複数パスの方法が、境界ボックスのサイズ
に基づく上限によって中間調および図形を除去する傾向
があるのに対して、その別の方法は、イメージは水平お
よび垂直の罫線、図形、そして中間調、などのような非
テキスト成分を除去する処理がすでに施されているもの
と仮定する。この形態のイメージセグメンテーション
は、以下の特許明細書に記述されるようないくつかのど
の技術によっても成し遂げられ、それらのすべてがすべ
ての目的に援用される。

【０１０８】『IDENTIFICATION AND SEGMENTATION OF F
INELY TEXTURED AND SOLID REGIONSOF BINARY IMAGES
』と題するBloomberg による1991年11月12日発行の米
国特許第5,065,437 号。『SEGMENTATION OF TEXT AND G
RAPHICS 』と題するBloombergによる1989年12月 8日出
願の米国特許出願第07/449,626号。および『USE OF FAS
T TEXTURED REDUCTION FOR DISCRIMINATION OF DOCUMEN
T IMAGE COMPONENTS』と題するBloomberg による1992年
3月20日出願の米国特許出願第07/854,156号。

【０１０９】上述の米国特許第5,065,437 号は種々の形
態素的な操作をなすためのソースコードを包含する。

【０１１０】図１９は、イメージにおいてワード境界ボ
ックスを検出する別の技術を説明するフローチャートで
ある。イメージの解析は実物大かまたはあるレベルの縮
小度で実行される。このために、イメージの複製が任意
に縮小される（ステップ３００）。このことは、しきい
値処理される縮小（２×２の縮小に対しては１または２
のしきい値）としての２または４のいずれかの係数によ
ってか、または、サブサンプリングによってかのいずれ
であってもよい。つぎに、縮小されたかもしれないイメ
ージは、すべての連結成分の境界ボックスを計算する解
析が施される（ステップ３０２）。このことは図４に関
連して上述されたようになされてもよい。

【０１１１】つぎに、好ましくは、行優先順にソートさ
れ、イメージの先頭から開始し、与えられたテキスト行
の中を左から右にソートすることによって、その境界ボ
ックスがテキスト行に配列される（ステップ３０５）。
ついでに、テキスト行はイメージにおいて水平に伸長す
ると仮定される。もしそうでなければ、イメージは回転
させられるか、または順序づけが垂直に伸長するテキス
ト行に基づいたものとなるであろう。

【０１１２】つぎに、境界ボックス間の間隔のヒストグ
ラムが生成される（ステップ３０７）。もしイメージが
ほぼ同じサイズのテキストを包含するならば、ヒストグ
ラムは単一のヒストグラム、つまり、イメージ全体にわ
たって得られるヒストグラムである。逆に、もしイメー
ジが異なったフォントサイズのテキストブロックを包含
するならば、単一のヒストグラムは望めないかもしれな
い。もし個々のテキストブロックが識別されるようにイ
メージがセグメント化されていれば、ヒストグラムはそ
れぞれのテキストブロックに対して生成され、かつ、以
下で記述されるヒストグラム情報に基づいた解析は、ワ
ードボックスを得るためにそれぞれのテキストブロック
に対して個別に実行される。

【０１１３】つぎに、文字間およびワード間の間隔情報
を得るために、ヒストグラムが解析される（ステップ３
１０）。詳細には、ヒストグラムは分離した２つのピー
クを含む。文字間の間隔に対応する第１のピークは分離
幅がより小さな値において存在するが、ワード間の間隔
に対応する第２のピークより多くの数のサンプルを含
む。２つのピークの間の低い部分はしきい値間隔として
定義され、第１のピークにおけるサンプルより大きくか
つ第２のピークにおけるサンプルより小さい。ヒストグ
ラム情報に基づいて、ワード境界ボックスが２つの方法
のいずれかで決定される（ステップ３１２）。

【０１１４】図２０は、テキスト行における境界ボック
スの順序リスト(ordered list)を生成するステップ３０
５を説明するフローチャートである。境界ボックスの組
は、まず、左から右にソートされる（ステップ３２
０）。このソートは任意選択であるがむしろ選ばれたほ
うがよい。なぜなら、それに続く処理を速くするからで
ある。テキスト行はサブリストとして再構築される。そ
れぞれのボックスは、それがいずれかのサブリストにお
いて最後の順序づけされないボックスの右側のボックス
になるかどうかを決定するために検査される（ステップ
３２２）。もしそうであれば、そのボックスがサブリス
トの終わりに加えられ（ステップ３２５）、もしそうで
なければ、そのボックスは新規のサブリストの始まりと
して使用される（ステップ３２７）。

【０１１５】ボックスが既に存在するサブリストに所属
するかどうかの検査は、もしそのサブリストにおいて最
後の順序づけされないボックスとのいくらかの垂直的な
重なり合いかまたは少なくとも重なり合いに近いものが
存在するならば、新規のボックスはサブリストに所属す
るという規則に従ってなされる。典型的には、検査は最
後のボックスより多いボックスを包含する。なぜなら、
サブリストにおける最後のボックスだけとの重なり合い
に関する検査は、いかなる新規のボックスをもサブリス
トに加えられることを妨げる句読点に帰着するからであ
る。同時に、順序づけされないボックスのパラメーター
が大きすぎるはずはないし、あるいは大きなイメージ傾
斜は交差したテキスト行に帰着するであろう。最後の２
つのボックスに関してたった６画素の垂直的分離（重な
り合わない部分）を必要とするだけで良い結果を提供す
ることが知られている。

【０１１６】ソートするステップ３２０は任意選択であ
るが、続いて起こるテキスト行生成を非常に速いものに
する。もしボックスのリストが左から右に予めソートさ
れていなければ、テキスト行（サブリスト）の組み立て
のステップ数はｎ² 程度になるであろう。ここで、ｎは
ボックスの数である。ソートによって、そのステップ数
はｎ^1.5 程度になる。ソートそれ自体はｎｌｏｇｎとｎ
^1.5 の間のある値である。

【０１１７】図２１（Ａ）は、ワード境界ボックスを生
成するのにヒストグラム情報を用いる第１の方法のフロ
ーチャートである。順序サブリストのそれぞれにおける
境界ボックスは、もしその間隔がしきい値より小さけれ
ばそれらの隣と結合され、もしその間隔がしきい値に等
しいかまたはしきい値より大きければそれらの隣と結合
されない（ステップ３３０）。つぎに、選択的に併合さ
れた境界ボックスは、任意選択の縮小を特徴づけたのと
同じ基準化係数によって拡大される（ステップ３３
２）。

【０１１８】図２１（Ｂ）は、ワード境界ボックスを生
成するのにヒストグラム情報を用いる第２の方法のフロ
ーチャートである。ＳＥのサイズがヒストグラムにおけ
るピーク位置に基づいて選択される（ステップ３４
０）。任意選択で縮小されたイメージが、個々の文字は
併合するがテキスト行のワードは併合しないぐらいのサ
イズで作られた水平ＳＥによってクローズされる（ステ
ップ３４２）。つぎに、このようにしてクローズされた
イメージは、すべての連結成分の境界ボックスを計算す
る解析が施される（ステップ３４３）。つぎに、このよ
うにして決定された境界ボックスは、任意選択の縮小を
特徴づけた基準化係数と同じ基準化係数によって拡大さ
れる（ステップ３４５）。

【０１１９】上述された論議では、文字間隔のヒストグ
ラムは、完全な解像度（縮小なし）かまたは縮小された
解像度のいずれかによって、イメージ全体にわたって展
開された。ある特定の解像度によるイメージの一部分に
わたる間隔の統計量(spacingstatistics)、あるいは、
ある解像度によるイメージのある部分の間隔の統計量と
それとは異なる解像度によるその他の部分の間隔の統計
量、を収集することもまた可能である。もし縮小ののち
の第１のヒストグラムピークが範囲において比較的に小
さいならば、そのことは、すべての文字が最初から完全
な解像度でまとまって密集していたということかもしれ
ないし、また、縮小がすべての文字をまとめて併合した
ということかもしれない。この場合、第１のピークは第
２のピークよりもさらに小さいかもしれない。もし１つ
のピークだけが観測されるのであれば、このことは、す
べての文字が併合されてしまっていることを意味し、そ
してそのピークがワード間の距離に対応することを意味
し、あるいは、そのイメージが１行につき１つのワード
しか持たない変則的なイメージであることを意味する。

【０１２０】上述のようにして得られたヒストグラムは
またテキスト行の境界ボックスを決定するのに使用され
てもよい。詳細には、図２１（Ａ）の実施例が、間隔が
ワード間の間隔に対応するピーク位置よりも相当に大き
くさえなければ、隣り合った境界ボックス（文字ボック
スと仮定される）を併合するように変更されてもよい。
このことはテキストの列を併合することを防止する。イ
メージがテキストブロックにセグメント化されている場
合、それは与えられたテキスト行のすべてのブロックを
併合するのに十分でさえもある。なぜなら、列の隙間を
越えて併合することはないという疑問が存在しないから
である。同様に、図１９（Ｂ）の実施例が、ワード間の
間隔に対応するピーク位置よりもいくぶん大きな水平Ｓ
Ｅを選択するように変更されてもよい。

【０１２１】〔実験結果〕本発明の実験のために、３０
０dpi でスキャンされたテキストのイメージが使用され
た。教育データは、髭飾り(serif) および髭飾りなし(s
ans-serif)を含んだ、８種類のフォントによる、約２１
００のトークン(token) から構成された。ボールドフォ
ントまたはイタリックフォントは含まれなかった。デー
タは、テキストパッセージ(text passage)だけでなく、
単独文字(isolated characters) 、無意義語(nonsense
words)、をも含んだものであった。教育は、教育コーパ
ス(training corpus) 全体にわたるバーム−ウェルチ手
順の５回の反復を用いてなされた。

【０１２２】テストイメージは５つの雑誌または議事録
から内容目録のスキャンされたイメージから構成され
た。上述において論議したように、スポッタ(spotter)
は、代替キーワードとして変形を提供することによっ
て、例えば先頭文字(lead-case)および複数形(pluraliz
ation) のようなワードの変形を検出するように指示さ
れてもよい。このモードにおいてスポッタを実行させ
て、テストイメージにおけるつぎのワードのグループを
スポッティングした。｛Computer computer computers
｝｛Hidden hidden ｝｛IEEE｝｛Identification iden
tification ｝｛ImageImages image images ｝｛Marko
v｝｛Models Model models model ｝｛Parallelparalle
l ｝｛Quantization quantization ｝｛Quantizer Quan
tizers quantizer quantizers ｝｛Recognition recogn
ition ｝｛Recognizer Recognizers recognizer recogn
izers ｝｛Society society ｝｛Speaker Speakers spe
aker speakers ｝｛Speech speech ｝｛Synthesis synt
hesis ｝｛Synthesizer Synthesizers synthesizer syn
thesizers ｝｛Synthetic synthetic ｝｛System Syste
mssystem systems ｝｛Vector vector ｝｛Verificatio
n verification ｝｛Vision vision ｝｛1985｝｛199
0｝｛1992｝。５つの内容目録において全部で約160個の
キーワードが存在した。

【０１２３】ここでは構造化要素の列が使用されたが、
いくつかの小さなフォントに対してはボクサーが行内の
ワードのいくつかを併合するかもしれない。ここで使用
されたテスト装置構成では、キーワードにおいて３つの
そのような誤りがあり、これらは検出率の計算には含ま
れなかった。しかしながら、そのような誤りはテキスト
の行内のワードをスポッティングすることによって処理
されるであろう。

【０１２４】上述において説明されたように、テストは
フォーワードアルゴリズムを用いてなされた。キーワー
ドは、もしそれがそのキーワードを含むワードグループ
における変形のどれかとして識別されるのであれば、正
しくスポッティングされたとみなされた。誤り検出は、
非キーワードを含む境界ボックスが現時点のキーワード
グループにおけるキーワードのどれかとして識別された
場合に発生したとみなされた。

【０１２５】キーワード検出率は、キーワードの総数と
比較した正しくスポッティングされたキーワードの数と
して計算された。誤り検出率は、その実行でテストされ
た非キーワード境界ボックスの総数と比較した非キーワ
ード境界ボックスが識別された回数として計算された。

【０１２６】システム性能は、キーワードが正しく識別
された率Ｐ（Ｄ）と、非キーワードボックスがキーワー
ドのどれかとして不正に識別された率Ｐ（Ｆ）と、を比
較することによって評価された。しきい値Ｔは、検出率
に対する誤り検出率の範囲をスイープするように変化さ
せられた。典型的なシステム性能は、約０．２％の誤り
検出率とともに９５〜９６％程度のキーワード検出率を
有した。

【０１２７】図２２〜図２５は、異なったＳＥを用いて
ワードボクサーによって操作された代表的な入力イメー
ジを示す。これらの図は一般に実物大でイメージを示す
（実際には、１７．５ｃｍの元のテキスト幅からわずか
に縮小されている）。この縮小はボクシング操作におい
て実行されるしきい値処理される縮小とは別のものであ
り関係もない。大きな長方形は、単に処理されたイメー
ジの周囲の枠であり、元々のイメージすなわち処理され
たイメージの一部ではない。

【０１２８】図２２は、（２，５）のＳＥ対によって２
×の縮小がなされたイメージをクローズした結果によっ
て、すなわち、２×１のＳＥによる垂直クローズと１×
５のＳＥによる水平クローズとの結果によって生じたワ
ードボックスを示す。このＳＥ対は一般的には小さすぎ
る。なぜなら、それは、小さなフォントのテキスト本体
においていくつかのワードをボックス化することに失敗
し、またより大きなフォントの表題においてワードをボ
ックス化することに一般的に失敗するからである。

【０１２９】図２３は、２×の縮小がなされたイメージ
を（３，５）のＳＥ対によってクローズした結果によっ
て生じたワードボックスを示す。このＳＥ対は、テキス
ト本体をボックス化するのに多少はより良く作用する
が、より大きな垂直のＳＥは、時々、垂直に隣り合った
ワードを併合する。

【０１３０】図２４は、２×の縮小がなされたイメージ
を（４，８）のＳＥ対によってクローズした結果によっ
て生じたワードボックスを示す。このＳＥ対は、テキス
ト本体において複数のワードをまとめて併合するが、表
題のワードをボックス化をうまく処理する。

【０１３１】図２５は、複数のＳＥ対によって提供され
る境界ボックスの組を連合を示す。分かるように、他の
ＳＥ対が失敗してしまったときにワードを正しくボック
ス化する１つのＳＥ対が通常は存在する。

【０１３２】図２６および図２７は、２×の縮小がなさ
れたイメージを（２，２０）のＳＥ対および（２，２
５）のＳＥ対によってクローズした結果によって生じた
テキスト行ボックスを示す。（２，２０）のＳＥ対は、
時々、完全なテキスト行をボックス化することに失敗す
るが、（２，２５）のＳＥ対によれば誤りが存在しな
い。

【０１３３】〔アプリケーション〕以下のアプリケーシ
ョンのそれぞれにおいて、ワードイメージスポッタは、
ユーザによって指定されるキーワードの位置の識別を可
能にする。ゆえに、完全なイメージの光学的文字認識が
なされることを必要としない、そして、ＡＳＣＩＩキー
ワードがイメージとともに記憶される必要がない、キー
ワードに基づくアプリケーションが開発されることが可
能である。このことは、テキストのイメージがキーワー
ドの存在を判定するのに一度だけ使用され、それでもし
キーワードが検出されなければ放棄される場合に特に有
益である。

【０１３４】ワードイメージスポッティングの１つのア
プリケーションは、テキストの関心のある部分または興
味のある項目を含んでいるテキストが識別され処理され
るような、情報フィルタリングの分野に存在する。例え
ば、書籍または長文の報告書が与えられれば、関心のあ
る部分を識別することがしばしば望まれる。ワードイメ
ージスポッティングが、この機能を提供するために複写
機に組み込まれてもよい。ユーザは関心のあるキーワー
ドの組をタイプ入力してもよい。つぎに、複写機がこれ
らのキーワードの発生に基づいて出力を生成するように
プログラムされる。例えば、複写機は、そのキーワード
を含むページ（または段落）だけを再生成してもよい
し、あるいは、キーワードまたはキーワードが検出され
た段落を強調表示してもよい。別の可能性は、例えばキ
ーワードフレーズ“個人データ”あるいは“著作権によ
り保護”のような特定のキーワードフレーズの発生が複
写機に警報フラグを設定するのに使用されてもよいこと
である。例えばファクシミリ文書が“緊急”あるいは
“至急”のようなワードを含む場合にユーザに通知する
ために、これらの技術がファクシミリ装置にも使用され
てもよい。

【０１３５】また、ワードイメージスポッタ部は、文書
のスキャンされたイメージからの情報スポッティングに
おけるアプリケーションをも有する。ここでは、ユーザ
指定のキーワードの組が興味のある文書を表示するのに
使用される。もっとも高くランクづけされた文書のスポ
ッティングの後、ユーザはキーワードの組を変更しても
よい。

【０１３６】〔ソフトウェアに関する論議〕本発明の上
述された実施例はディジタル計算機のソフトウェアによ
って実現される。プログラムは、この分野に精通した者
には良く知られたＣ言語およびパール言語(perl langua
ges)によるものである。プログラムは、サンワークステ
ーション（Sun Workstation)で展示実行されたが、この
分野に精通した者には明らかなように、多くの種類のプ
ログラミング言語およびハードウェア構成が、本発明の
範囲から逸脱することなく本発明の開示するところに基
づいて容易に使用されるであろう。

【０１３７】〔終わりに〕最後に、本発明およびそれの
関連技術が、ユーザ定義キーワードをモデル化し、ワー
ドおよびスキャンされたイメージにおけるテキスト行の
境界ボックスを捜し出し、イメージにおけるキーワード
をスポッティングするための、耐久性があり効果的な技
術を提供することがわかる。上述されたことは、本発明
の好ましい実施例の完全な説明であるが、種々の変更、
代替の構成、等価なものが使用されるかもしれない。

【０１３８】例えば、テキスト行を識別する別の方法
は、まず列を識別し、つぎにそれぞれの列にわたっての
黒の画素のコンピュータヒストグラムを生成することで
ある。ヒストグラムのピークがテキストの行に対応す
る。加えて、個々の特徴として上側および下側のワード
輪郭を用いる代わりに、単一の特徴としてそれらの差分
が用いられる。このように、それぞれの画素列におい
て、上側および下側のワード輪郭の値が計算され、つぎ
に、文字の形状を記述する単一の特徴として使用され
る。単一の特徴を用いるときに情報が紛失されるが、特
徴がワードのアセンダおよびディセンダの存在とそれら
の高さに依存しないという利点がある。

【０１３９】したがって、上述の記述および説明は本発
明の範囲を限定するものと解釈されるべきではない。

【０１４０】〔参考資料〕 １．1991年 9月のフランス国セイント−マロにおける文
書の解析と認識に関する国際会議の会報の頁963 〜971
の D.S. Bloomberg による『MultiresolutionMorpholog
ical Approach to Document Image Analysis 』。

【０１４１】２．1992年 9月のオランダ国におけるパタ
ーン認識に関する国際会議の会報の頁116 〜119 の C.
B. BoseおよびS.Kuo らによる『Connected and Degrade
d Text Recognition Using Hidden Markov Model 』。

【０１４２】３．1992年 3月のカリフォルニア州サンフ
ランシスコにおける音響と音声および信号処理に関する
国際会議の会報の第 3巻の頁153 〜156 の Y. He、M.Y.
Chen 、およびA. Kunduらによる『Handwritten Word R
ecognition Using HMM withAdaptive Length Viterbi A
lgorithm 』。

【０１４３】４．1990年11月のＵＳＰＳ高度技術会議の
会報の頁217 〜231 の T.K. Ho、J.J. Hull 、およびS.
N. Srihariらによる『A Word Shape Analysis Approach
toRecognition of Degraded Word Images 』。

【０１４４】５．1987年 3月の『IEEE Trans.Pattern A
nalysis and Machine Intelligence』の第 2号の第 9巻
の S.Kahan、T. Pavlidis および H.S. Baird らによる
『Onthe Recognition of Printed Characters of Any F
ont and Size 』。

【０１４５】６．1988年の音響と音声および信号処理に
関する国際会議の会報の頁283 〜286 の D.B. Paulおよ
びE.A. Martin らによる『Speaker Stress-Resistant C
ontinuous Speech Recognition』。

【０１４６】７．1989年 2月の『IEEE Trans.Pattern A
nalysis and Machine Intelligence』の第 2号の第77巻
の L.R. Rabiner による『A Tutorial on Hidden Marko
v Models and Selected Applications in Speech Recog
nition』。

【図面の簡単な説明】

【図１】本発明が組み込まれてもよいコンピュータシス
テムのブロック図である。

【図２】（Ａ）は、入力イメージにおいてキーワードを
スポッティングするための第１の方法の高い階層でのフ
ロー図であり、（Ｂ）は、入力イメージにおいてキーワ
ードをスポッティングするための第２の方法の高い階層
でのフロー図である。

【図３】ワードボックスを決定するための技術のフロー
チャートである。

【図４】連結成分の境界ボックスを決定するための特定
の技術のフローチャートである。

【図５】それらの境界ボックスにおける潜在的なキーワ
ードを正規化するための技術のフローチャートである。

【図６】ワードの高さの正規化を示す。

【図７】特徴生成におけるステップを説明するフローチ
ャートである。

【図８】（Ａ）は境界ボックス内のワードを示し、
（Ｂ）は境界ボックスと比較した上側のワード輪郭を示
し、（Ｃ）は境界ボックスと比較した下側のワード輪郭
を示し、（Ｄ）は上側のワード輪郭と下側のワード輪郭
が重ね合わされたものを示す。

【図９】画素列の自己相関がどのようにして内部文字構
造を提供するかを概略的に示す。

【図１０】（Ａ）はいくつかの代表的な文字の状態を示
し、（Ｂ）および１０（Ｃ）は文字ＨＭＭに関する状態
図であり、（Ｄ）は文字ＨＭＭから構築されるキーワー
ドＨＭＭに関する状態図である。

【図１１】文字ＨＭＭから構築される文脈非依存型の非
キーワードＨＭＭに関する状態図である。

【図１２】文脈依存型の文字セットＨＭＭに関する状態
図である。

【図１３】文脈依存型の文字セットＨＭＭから構築され
る文脈依存型非キーワードＨＭＭに関する状態図であ
る。

【図１４】（Ａ）はイメージスライスを表現するガウス
分布から構築される文脈非依存型非キーワードＨＭＭの
状態図であり、（Ｂ）は文脈依存型イメージスライスＨ
ＭＭに関する状態図であり、（Ｃ）はその文脈依存型イ
メージスライスＨＭＭから構築される文脈依存型非キー
ワードＨＭＭに関する状態図である。

【図１５】（Ａ）および（Ｂ）は、不特定のより長いワ
ードの一部であるキーワードをスポッティングするのに
使用されるＨＭＭに関する状態図である。

【図１６】キーワードスポッティングネットワークの状
態図である。

【図１７】テキスト中のワードの区別がつかない行にお
いてキーワードをスポッティングするのに使用されるＨ
ＭＭの状態図である。

【図１８】（Ａ）および（Ｂ）は、特殊なキーワード文
脈に関するテキスト行ＨＭＭの状態図である。

【図１９】ワードボックスを決定するためのもう１つの
技術のフローチャートである。

【図２０】テキスト行において境界ボックスを順序づけ
するための技術のフローチャートである。

【図２１】（Ａ）および（Ｂ）は、ワードボックスを決
定するためにヒストグラム情報を用いるためのそれぞれ
異なった技術のフローチャートである。

【図２２】ワードのボックス化のために種々の大きさの
構造化要素を用いてボックス化される代表的な入力イメ
ージを示す。

【図２３】ワードのボックス化のために種々の大きさの
構造化要素を用いてボックス化される代表的な入力イメ
ージを示す。

【図２４】ワードのボックス化のために種々の大きさの
構造化要素を用いてボックス化される代表的な入力イメ
ージを示す。

【図２５】ワードのボックス化のために種々の大きさの
構造化要素を用いてボックス化される代表的な入力イメ
ージを示す。

【図２６】テキスト行のボックス化のために種々の大き
さの構造化要素を用いてボックス化される代表的な入力
イメージを示す。

【図２７】テキスト行のボックス化のために種々の大き
さの構造化要素を用いてボックス化される代表的な入力
イメージを示す。

【符号の説明】

１０・・・イメージ処理システム ２０・・・キーワードスポッティングシステム ２２・・・入力文書 ２５・・・出力文書 ５０・・・キーワードスポッティングシステム

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０６Ｔ 7/00 ３５０ Ｇ０６Ｔ 7/00 ３５０Ａ (72)発明者 ダン エス．ブルームバーグ アメリカ合衆国 カリフォルニア州 94306 パロ アルト パラダイス ウ ェイ 1013 (56)参考文献 特開 平４−329597（ＪＰ，Ａ) 特開 平３−94299（ＪＰ，Ａ) 特開 平１−265378（ＪＰ，Ａ) 特開 平６−84008（ＪＰ，Ａ) 特開 平３−225488（ＪＰ，Ａ) 中川聖一 大黒慶久 橋本泰秀，構文 解析駆動型日本語連続音声認識システ ム，電子情報通信学会論文誌 Ｄ−２, 日本，電子情報通信学会，1989年８月25 日，Ｖｏｌ．Ｊ72−Ｄ−２ Ｎｏ．８, ｐ．1276−1283 甲斐充彦 中川聖一，ワードスポッテ ィング方を用いたＨＭＭ連像音声認識に ついての検討，電子情報通信学会技術研 究報告 ＳＰ92−７〜12，日本，電子情 報通信学会，1992年５月22日，ＳＰ92− 10 Ｖｏｌ．92 Ｎｏ．35，ｐ．25−32 川端豪 花沢利行 鹿野清宏，ＨＭＭ 音韻認識に基づくワードスポッティン グ，電子情報通信学会技術研究報告 Ｓ Ｐ88−21〜30，日本，電子情報通信学 会，1988年６月24日，ＳＰ88−23 Ｖｏ ｌ．88 Ｎｏ．92，ｐ．17−22 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/72 G06F 17/30 170 G06F 17/30 230 G06T 7/00 350 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 テキスト行にワードを含み、ワード及び
   テキスト行が水平方向へ延出すると考えられるビットマ
   ップ入力画像に文字により構成されるキーワードが存在
   するか否かを判定するプロセッサベースの方法であっ
   て、 １組の単一文字隠れマルコフモデル（ＨＭＭ）を提供す
   る段階であって、各々の単一文字ＨＭＭは複数の可能な
   文脈を有し、該文脈は前記文字がアセンダーもしくはデ
   センダーを有するか否かである、該単一文字ＨＭＭを提
   供する段階と、 キーワードＭＭを生成するためにキーワードの中の文字
   に対応するそれらの単一文字ＨＭＭを連結する段階であ
   って、該キーワードＨＭＭを生成するために使用され
   る、与えられた単一文字ＨＭＭの文脈は、該キーワード
   がアセンダーもしくはデセンダーを有する文字を含むか
   否かに基づいて決定される、該単一文字ＨＭＭを連結す
   る段階と、 キーワードＨＭＭを通過する第１のパスとキーワードＨ
   ＭＭを通過しない第２のパスを含んだＨＭＭネットワー
   クを構築する段階と、 テキスト行を潜在的に含む前記ビットマップ入力イメー
   ジの一部を捜し出す段階と、 潜在的テキスト行と呼ばれ、前記ビットマップ入力イメ
   ージの一部を表す画素値のアレイを提供する段階と、 複数のセグメントを提供するために潜在的テキスト行を
   水平にサンプリングする段階であって、各々のセグメン
   トは潜在的テキスト行の高さ全体にわたって延び、セグ
   メントを提供するためのサンプリングは、該潜在的テキ
   スト行の前記画素値には依存しない方法で行われる、該
   画素値のアレイを提供する段階と、 各々のセグメントに対し、前記セグメントの前記画素値
   に依存する少なくとも１つの特徴を生成する段階であっ
   て、これにより、潜在的テキスト行に基づく１組の特徴
   を提供し、その組の特徴がビットマップ入力イメージの
   一部に潜在的に含まれるテキスト行のワードに関して形
   状情報を提供する、該特徴を生成する段階と、 その１組の特徴をＨＭＭネットワークに適用する段階
   と、 ネットワークに適用される前記組の特徴の確率を最大に
   するネットワークを通過するパスを見つける段階と、前記ビットマップ入力イメージ の一部がキーワードを含
   むか否かを指示する為に確率を最大にするパスがキーワ
   ードＨＭＭを通過するか否かを判断する段階と、 を備えたことを特徴とするキーワードが存在するか否か
   を判定するプロセッサベースの方法。
2. 【請求項２】 前記単一文字ＨＭＭが基礎としている各
   々の文字は、複数の区分された部分を有し、 各々の文字は、該文字に沿った複数の水平位置で、該水
   平位置に対応する数の特徴ベクトルにより特徴付けられ
   ている形状を有し、 与えられた文字の与えられた単一文字ＨＭＭは複数の状
   態により特徴付けられ、与えられた文字の前記複数の区
   分された部分の１つに該状態の各々は対応し、 各々 の状態が、与えられた文字の対応する区分された部
   分を特徴づける特徴ベクトルの平均ベクトルと共分散正
   方行列とによるガウス分布によって特徴づけられる、 請求項１に記載の方法。
3. 【請求項３】 捜し出す段階が少なくとも１つの縮小の
   操作を前記ビットマップ入力イメージに対して実行す
   る、請求項１に記載の方法。
4. 【請求項４】 捜し出す段階が少なくとも１つの形態素
   的操作を前記ビットマップイメージの表示に対して実行
   する、請求項１に記載の方法。
5. 【請求項５】 全てのセグメントが同じ幅を有し、 潜在的テキスト行に対する１組の特徴が複数の特徴ベク
   トルを含み、各々の特徴ベクトルは前記セグメントの各
   々１つに対応し、 与えられたセグメントに対する与えられた特徴ベクトル
   が与えられたセグメントの画素値を表す、 請求項１に記載の方法。
6. 【請求項６】 潜在的テキスト行における与えられたセ
   グメントに関する特徴ベクトルが、しきい値以上の値を
   有する与えられたセグメントの最上位の画素の表現と、
   しきい値以上の値を有する与えられたセグメントの最下
   位の画素の表現と、しきい値以上の値を有する最上位の
   画素としきい値以上の値を有する最下位の画素との間の
   画素値の表現と、を含む、請求項５に記載の方法。
7. 【請求項７】 画素値の表現が１組の自己相関値を含
   む、請求項６に記載の方法。
8. 【請求項８】 画素値の表現が画素の遷移の数を含む、
   請求項６に記載の方法。
9. 【請求項９】 テキスト行においてワードを含み、ワー
   ド及びテキスト行が水平方向へ延出すると考えられるビ
   ットマップ入力イメージに文字により構成されるキーワ
   ードが存在するか否かを判定するプロセッサベースの方
   法であって、１組の単一文字隠れマルコフモデル（ＨＭＭ）を提供す
   る段階であって、各々の単一文字ＨＭＭは複数の可能な
   文脈を有し、該文脈は前記文字がアセンダーもしくはデ
   センダーを有するか否かである、該１組の単一文字ＨＭ
   Ｍを提供する段階と、 前記キーワードに対応する文字列を受信する段階と、 キーワードＨＭＭを生成するために、前記キーワードの
   文字に対応する単一文字ＨＭＭを連結する段階と、 キーワードＨＭＭを通過する第１のパスと、非キーワー
   ドＨＭＭを通過するがキーワードＨＭＭを通過しない第
   ２のパスと、を含むネットワークを構築する段階と、 潜在的にテキスト行を含むビットマップ入力イメージの
   一部を捜し出す段階と、 潜在的テキスト行と呼ばれ、ビットマップ入力イメージ
   の一部を表す画素値のアレイを提供する段階と、 潜在的テキスト行に基づく一組の特徴を生成する段階で
   あって、前記組の特徴がビットマップ入力イメージの一
   部に潜在的に含まれるテキスト行のワードに関する形状
   情報を提供し、該組の特徴が該潜在的テキスト行の画素
   値による種類のセグメンテーションをすることなく生成
   される、該一組の特徴を生成する段階と、 その組の特徴をＨＭＭネットワークに適用する段階と、 ネットワークに適用されるその組の特徴の確率を最大に
   するネットワークを通過するパスを見つけ出す段階と、ビットマップ入力イメージ の一部がキーワードを含むか
   否かを指示するために、確率を最大にするパスがキーワ
   ードＨＭＭを通過するか否かを判断する段階と、 を備えたことを特徴とするキーワードが存在するか否か
   を判定するプロセッサベースの方法。
10. 【請求項１０】 前記単一文字ＨＭＭは、複数のフォン
    トの文字のビットマップイメージを有するコーパスによ
    り教育される、請求項１に記載の方法。
11. 【請求項１１】 前記キーワードＨＭＭは第１のキーワ
    ードＨＭＭであり、 第２のキーワードＨＭＭを生成するためにキーワードの
    文字に対応する単一文字ＨＭＭを連結する段階であっ
    て、該第２のキーワードＨＭＭを生成するために使用さ
    れる、与えられた単一文字ＨＭＭの文脈は、前記第１の
    キーワードＨＭＭを生成するために使用される、与えら
    れた単一文字ＨＭＭの前記文脈とは異なる文脈である、
    該単一文字ＨＭＭを連結する段階をさらに有し、 前記ＨＭＭネットワークは前記第１のキーワードＨＭＭ
    を通過せず、前記第２のキーワードＨＭＭを通過する第
    ３のパスを有する、 請求項１に記載の方法。
12. 【請求項１２】 前記キーワードはアセンダーもデセン
    ダーも有さない文字だけを有し、 前記キーワードＨＭＭは、第１のキーワードＨＭＭであ
    って、アセンダーもデセンダーも有さない文脈を有する
    単一文字ＨＭＭだけを有し、 第２、第３、第４のキーワードＨＭＭを生成するため
    に、キーワードの文字に対応する単一文字ＨＭＭを連結
    する段階をさらに有し、 前記第２のキーワードＨＭＭは、アセンダーのみを有す
    る文脈を有する単一文字ＨＭＭだけを有し、 前記第３のキーワードＨＭＭは、デセンダーのみを有す
    る文脈を有する単一文字ＨＭＭだけを有し、 前記第４のキーワードＨＭＭは、アセンダーおよびデセ
    ンダーを有する文脈を 有する単一文字ＨＭＭだけを有
    し、 前記ＨＭＭネットワークは、並列に接続された第１、第
    ２、第３、第４のテキスト行ＨＭＭを有し、 前記第１、第２、第３、第４のテキスト行ＨＭＭの各々
    は前記第１、第２、第３、第４のキーワードＨＭＭの各
    々を有する、 請求項１に記載の方法。
13. 【請求項１３】 前記キーワードは、アセンダーを含む
    文字を有し、デセンダーを含む文字を有しない、該キー
    ワードであり、 前記キーワードＨＭＭは第１のキーワードＨＭＭであっ
    て、該第１のキーワードＨＭＭはアセンダーのみを有す
    る単一文字ＨＭＭだけを有し、 第２のキーワードＨＭＭを生成するために前記キーワー
    ドの文字に対応する単一文字ＨＭＭを連結する段階をさ
    らに有し、 前記第２のキーワードＨＭＭはアセンダーおよびデセン
    ダーを含む文脈を有する単一文字ＨＭＭだけを有し、 前記ＨＭＭネットワークは並列に接続されている第１お
    よび第２のテキスト行ＨＭＭを有し、 前記第１のテキスト行ＨＭＭは前記第１のキーワードＨ
    ＭＭを有し、 前記第２のテキスト行ＨＭＭは前記第２のキーワードＨ
    ＭＭを有する、 請求項１に記載の方法。
14. 【請求項１４】 前記ＨＭＭネットワークはキーワード
    ＨＭＭ、非キーワードＨＭＭ、ワード間間隔状態を含む
    請求項１に記載の方法。
15. 【請求項１５】 前記キーワードは複数ワードフレーズ
    であり、 前記連結する段階は、単一文字ＨＭＭの組を提供するた
    めに、複数ワードフレーズのワードの単一文字ＨＭＭを
    連結し、少なくとも１つのワード間間隔状態と単一文字
    ＨＭＭを連結する請求項１に記載の方法。