JP5240047B2 - キーワード識別方法及装置 - Google Patents

Description

本発明は、キーワード識別方法及装置に関し、例えば、共有画像や文字を有する複数の画像又はファイルから共有キーワードを抽出するキーワード識別方法及装置に関するものである。

従来の文字識別方法は通常、遮断されていない完全な情報に対して文字識別をすることである。図１に示す６枚のＰｏｗｅｒＰｏｉｎｔ（登録商標）（以下、ＰＰＴ）ファイルに、１枚の画像毎に「ＣＯＮＦＩＤＥＮＴＩＡＬ」という単語があるが、完全な「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードを含む画像は１枚もない。各画像で文字又はパターンがキーワードの一部を遮断しているため、キーワードに文字の脱落又は字形の劣化が生じる。また、汎用の文字識別方法は動的計画方法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）によって文字列の識別を行うため、字形の退化により識別距離は確実でなくなり、文字列識別は失敗となる。しかも、汎用の文字識別方法は、１回に１枚の画像の文字識別問題のみを処理できるが、複数の画像における情報を組み合わせて識別することはないため、図１に示すキーワードを理想的に識別することができない。

非特許文献１には、ファイルに含まれる文字の左右位置関係に基づいて、最大完全部分グラフによって、ある文字列が存在する可能性があるかを判断する技術案が開示されている。

武部浩明,藤本克仁, "文字仮説の多重生成による帳票画像からの単語抽出方式",信学会技報PRMU2007-217, pp.19-24, 2007

しかし、このような判断は、ただ大まかな推定だけで、ある位置関係を有する複数の文字が１つのファイルに存在しているとしか決定できず、ファイルに所定の文字列が１つ存在していると確実に判断することができない。そして、識別する文字そのものは遮断されていないことが必要である。

そのため、共有画像や文字を有する複数の画像又はファイルから共有キーワードを的確に及び／又は満足いくように抽出できる技術は必要である。開示の技術は、たとえ何らかの原因で共有画像が劣化した場合にも、満足いくような結果を取得することができるよう、従来技術における前記１つ又は複数の問題を解決するためのものである。

本願が開示するキーワード識別方法は、１つの態様において、共有キーワードを有する複数の画像又はファイルから前記共有キーワードを識別するキーワード識別方法であって、前記複数の画像又はファイルにおける前記共有キーワードを含む領域の階調値に基づいて２値前景累積図を生成するステップと、前記２値前景累積図に基づいて当該２値前景累積図の分割点を決定し、可能なキー文字分割セグメントを決定するステップと、あらゆる可能なキー文字分割セグメントに対して文字識別を行って、当該あらゆる可能なキー文字分割セグメントに対応した識別文字を取得するステップと、標準キーワード辞書に含まれる少なくとも１つの標準キーワードに対して、当該標準キーワードのキー文字組合せ対と、当該キー文字組合せ対に対応した標準キーワードに含まれるキー文字からなり、且つ、前記識別文字に含まれる前記キー文字組合せ対の文字と同一な文字からなるキー文字マッチング対との間の対応関係によって、前記共有キーワードの中心の位置を推定するステップと、推定されたキーワードの中心の位置に対応した複数の前記キー文字マッチング対に含まれる識別文字を頂点とし、前記キー文字マッチング対に含まれたキー文字を２つずつ連結してなる図において頂点の数が最も多い最大完全部分グラフに基づいて的確なキー文字を決定するステップと、前記推定されたキーワードの中心の位置と前記的確なキー文字と前記標準キーワードとに基づいて、脱落キー文字を決定するステップと、前記推定されたキーワードの中心の位置と前記的確なキー文字と決定された前記脱落キー文字と前記標準キーワードとに基づいて、結合キー文字を識別するステップと、前記標準キーワードに対して識別された前記的確なキー文字と、前記決定された脱落キー文字及び結合キー文字とに基づいて、前記共有キーワードにどの標準キーワードを含むかを判定するステップと、を含む。

また、キーワード識別装置は、１つの態様において、共有キーワードを有する複数の画像又はファイルから前記共有キーワードを識別するキーワード識別装置であって、前記複数の画像又はファイルにおける前記共有キーワードを含む領域の階調値に基づいて２値前景累積図を生成する装置と、前記２値前景累積図の分割点を決定する分割部と、前記分割点に基づいてあらゆる可能なキー文字分割セグメントを決定するキー文字分割可能セグメント決定部と、前記あらゆる可能なキー文字分割セグメントにおける対象に対して文字識別を行って、前記あらゆる可能なキー文字分割セグメントに対応した識別文字を取得する文字識別部と、標準キーワード辞書に含まれる少なくとも１つの標準キーワードに対して、当該標準キーワードのキー文字組合せ対と、当該キー文字組合せ対に対応した標準キーワードに含まれるキー文字からなり、且つ、前記識別文字に含まれる、前記キー文字組合せ対の文字と同一な文字からなるキー文字マッチング対との間の対応関係によって、前記共有キーワードの中心の位置を推定するキーワード中心位置推定部と、推定されたキーワードの中心の位置に対応した複数の前記キー文字マッチング対に含まれる識別文字を頂点とし、前記キー文字マッチング対に含まれたキー文字を２つずつ連結してなる図において頂点の数が最も多い最大完全部分グラフに基づいて的確なキー文字を決定する最大完全部分グラフ・キー文字抽出部と、前記推定されたキーワードの中心の位置と前記的確なキー文字と前記それぞれの標準キーワードとに基づいて、脱落キー文字を決定する脱落キー文字識別部と、前記推定されたキーワードの中心の位置と前記的確なキー文字と決定された前記脱落キー文字と前記標準キーワードとに基づいて、結合キー文字を識別する結合キー文字識別部と、前記標準キーワードに対して識別された前記的確なキー文字と、前記決定された脱落キー文字及び結合キー文字とに基づいて、前記共有キーワードに前記標準キーワード辞書におけるどの標準キーワードを含むかを判定するキーワード決定部と、を備える。

本願が開示するキーワード識別方法およびキーワード識別装置によれば、背景が複雑で遮断されている複数の画像又はファイルから共有画像又は文字を識別することができるという効果を奏する。

図１は、「ＣＯＮＦＩＤＥＮＴＩＡＬ」という共有キーワードを付けた６枚のＰＰＴを示す図である。 図２は、実施例１による複数の画像における共有画像を識別するためのキーワード識別装置を示すブロック図である。 図３は、実施例１による複数の画像における共有画像を識別するためのキーワード識別方法を示すフローチャートである。 図４は、実施例１による複数の画像における共有画像を識別するためのキーワード識別方法を示す図である。 図５は、図４中の４ｃにおける２値前景累積図に対して継承可能な分割を行う概略図である。 図６は、図４中の４ｃにおける２値前景累積図に対して継承可能な分割を行うフローチャートである。 図７は、標準キーワード辞書における「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードに対して最大完全部分グラフに基づいてキー文字抽出を行う概略図である。 図８は、図５に含まれる６枚の画像の垂直方向における投影ヒストグラムを示す図である。 図９は、標準キーワード辞書に記憶された「ＣＯＮＦＩＤＥＮＴＩＡＬ」に関する理想投影ヒストグラムである。 図１０は、実施例２による複数の画像における共有画像を識別するためのキーワード識別装置を示すブロック図である。 図１１は、実施例１および実施例２のキーワード識別装置のハードウェア構成の一例を示す図である。

本願の開示するキーワード識別方法およびキーワード識別装置を実施するための最良の形態を図面に基づいて以下に説明する。なお、図面は、本出願の一部であり、本発明への限定とならない。

また、本願に関する基本的な理解を提供するために、本願に関する簡潔な概述を下記に記載している。しかし、この概述は本願に関する徹底的な概述ではなく、本願の主要な部分又は大切な部分を決定することを意図せず、本願の範囲を限定しない。簡単な形式で本願に関する概念を示すことだけを目的としている。当業者は、本願の下記各態様と添付した独立請求項によって限定される方案を、本願の実施の形態及び／又は従属請求項のいずれかと組み合わせることができる。

図１は、「ＣＯＮＦＩＤＥＮＴＩＡＬ」という共有キーワードが付けられた６枚のＰＰＴを示す図である。この６枚の画像において、「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードは遮蔽などの原因で、いずれも不完全なものであり、これによりいずれの単独画像からも完全なキーワードを取り出すことはできず、その中の何れか１枚の画像だけによってキーワードを的確に識別することはできないことが分かる。

図２は、本願に係るキーワードを識別するための装置の構造を示すものである。以下に図２に示す部品のそれぞれを参照して詳しく説明する。

本願では、共有画像を有する複数の画像を組み合わせてキーワードの識別を行う。まず、図１に示す６枚のＰＰＴ画像に対して位置合わせを行う。画像の位置合わせを行うことは、例えば、本出願者が前に提出した中国特許出願番号２００８１０００８７７２０．２、発明名称が「画像処理方法と装置及び透かしチェックシステム」に記載の方法を採用してもよいが、これのみに限らない。従来の画像位置合わせの方法はいずれも、画像位置合わせを行うために本願に開示の技術に適用することができる。

複数のＰＰＴ画像から「ＣＯＮＦＩＤＥＮＴＩＡＬ」という共有キーワードを含む画像をそれぞれ切り出す。画像毎に含まれるキーワードが文字や画像によりある程度遮蔽されているため、切り出し画像は、キーワードと背景画像（例えば白、グレイの背景、或いは他の紋様付きの背景）の他に、キーワードを遮蔽する文字やパターンも含んでいる。以下に、キーワードを遮蔽する文字やパターンを遮蔽パターンと略称する。

図４中の４ａは、図１の６枚のＰＰＴ画像に対して位置合わせを行った後、その中からそれぞれ切り出した「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードを含む６つの階調パターンの例示である。この６つの階調パターンについて、まず背景を除去することにより、キーワードのパターンと遮蔽パターン（前記背景パターンと区分するために、ここで、キーワードと遮蔽パターンを含むパターンを前景パターンと称する）のみが残される。背景を除去する方法は多種あり、例えば下記の方法を使用すればよい。

まず、式(１)によって、切り出した６枚の画像における画素点毎に、当該画素点における画像階調の平均値と分散を求める。

ここで、ｉは切り出した画像の番号を示し、且つｉは６以下である。４ａに示すように、（ｘ，ｙ）は１枚の切り出し画像における画素点の座標位置を示し、１枚の画像毎の座標原点（０，０）として切り出し画像の左下方の点Ａを選定することができる。もちろん、座標原点の選定はこの点には限らない。Ｇ^ｉ _ｘｙはｉ番目の切り出し画像における、画素点（ｘ，ｙ）の階調値を示し、Ｍ_ｘｙは６枚の切り出し画像における同一位置（ｘ，ｙ）の階調の平均値を示し、Ｖ_ｘｙは前記同一位置（ｘ，ｙ）の分散値を示す。

通常、背景点の数が前景点より遥かに多い。異なる画像において、背景画素点の階調は変化がそれほど激しくないが、前景画素点の階調は変化が激しいため、分散閾値（例えば分散の平均値）を１つ設定することで、分散値が分散閾値より小さいあらゆる画素点を取り出してもよい。このように算出して得られた分散値が分散閾値より小さい画素点は、分散の変化が小さな背景点、及び分散の変化が小さなキーワードのストローク画素点を含む可能性がある。キーワードストロークの階調と背景点の階調とが異なるので、分散値が分散閾値より小さい点をその階調によって２種類に分け、仮に背景点の数がキーワードのストローク画素点の数より多い場合に、分類の結果から背景点を決定することができる。階調による分類法がいろいろあり、例えば、あらゆる点の階調平均値を閾値として簡単に算出して、２種類に分けることができる。図４中の４ｂは、背景パターン除去後の前景図を示す。前景図４ｂでは、背景画素点の階調値は２５５に統一されている。

背景パターンが除去された６枚の前景パターンから６枚の画像の前景累積階調図が得られる。前景累積階調図の算出式（２）は以下のようであり、階調値が２５５より小さい画素点に対応する値を１とし、その他は０とする。もちろん、ここで選定した値である２５５は１つの例示であり、他の値に定めてもよい。

上記式において、ｉは６枚の画像における各画像の番号を示し、ｘとｙは切り出し画像毎にある画素点のｘ方向とｙ方向位置における値をそれぞれ示し、Ｐ_ｘｙは（ｘ，ｙ）における６枚の画像の前景累積階調値を示す。上記式から分かるように、前景累積階調図における各点の累積階調値の最大値は、共有キーワードを含む画像の個数Ｎであり、ここで、Ｎ＝６である。６枚の切り出し画像のある位置（ｘ，ｙ）における階調値がいずれも２５５である場合、Ｐ_ｘｙは０であるが、６枚の切り出し画像のうち、１枚の画像のみ（ｘ，ｙ）における階調値が２５５より小さい場合、Ｐ_ｘｙは１であり、こうして、６枚の切り出し画像のうち、あらゆる画像の（ｘ，ｙ）における階調値が２５５より小さい場合、Ｐ_ｘｙは６である。
式（３）によって、前景累積階調図より図４中の４ｃに示すような２値前景累積図が得られる。

２値前景累積図にはＮ層を含み、Ｎは共有キーワードを含む切り出し画像の数と等しい。ここでは切り出し画像は６枚なので、Ｎ＝６である。式（３）に示すように、２値前景累積図のｉ番目の層の値を２５５とすれば、少なくともｉ枚の画像が点（ｘ，ｙ）で前景点となり、値が０だとすれば、最大でｉ−１枚の画像が点（ｘ，ｙ）で前景点となる。４ｃに示すように、最上層（ここではｉ＝６、上から６番目の行に対応）の黒い点は、６枚の切り出し画像のいずれも前景点である点を表し、２番目層（ここではｉ＝５、上から５番目の行に対応）では、少なくともＮ−１（ここでは５）枚の画像に前景点である点を表し、こうして、最下層は（ここではｉ＝１、一番上の行）、６枚の切り出し画像で前景点が少なくとも１回現れた点を表す。

上記２値前景累積図の生成過程は、あくまでも１つの例示であり、当業者にとって、２値前景累積図の生成方法が多種類あるので、ここで一々述べるまでもない。

上記２値前景累積図は後にキーワード識別をする基礎となる。生成した２値前景累積図は図２に示す分割部１に提供され、分割部１は、２値前景累積図の空白部分によって、それを分割する。ここで、分割部１は、継承可能な文字分割法によって分割する。もちろん、分割の方法はいろいろあるが、ここで継承可能な文字分割法のみを例として説明する。

図５は、分割部１による２値前景累積図に対して継承可能な分割を行う概略図である。まず、層毎のキーワード画像から、黒い画素点の間の空白部分を空白分割セグメントとして取り出す。これら空白分割セグメントの中点（ｍｉｄｐｏｉｎｔ）は、物理分割点を表す。図５に示すように、破線の分割線で表示する。そして、物理分割点を統合して下層に継承する。２番目層から、前層の空白分割セグメントのそれぞれに対して、それと重なる空白分割セグメントがこの層にあるかをチェックする。上記２値前景累積図の生成方式より分かるように、下層の２値累積画像が常に上層の２値累積画像を完全に含むため、下層の空白分割セグメントが上層のものと重なった場合、下層の空白分割セグメントにより表される分割情報はより的確なはずである。そのため、下層の空白分割セグメントの中点で上層の空白分割セグメントの中点を取って代えて、物理分割点の統合過程とする。上層の物理分割セグメントが下層のものと重ならない場合、下層の画像はこの分割セグメント範囲内で結合が生じたこととなり、上層の物理分割セグメントからの物理分割点を下層の結合分割点（図で実線の分割線で表示する）と見なす。この過程は、物理分割点の継承というものである。最下層の図における分割点は、最終の分割結果を表す。

上記のように分割結果が得られたものの、前記識別される切り出し画像のキーワードが遮蔽されたり結合したりするといった原因で、この場合に得られた分割結果では、図５に示すように、キー文字が途中から切断されている可能性がある。そのため、キー文字の的確な分割位置を決定することができないので、最終の分割点を全て得た後、それらの分割点から、あらゆる可能なキー文字分割セグメントを算出する必要がある。

分割部１は、あらゆる可能なキー文字分割セグメントを取り出すように、得られた最終の分割結果をキー文字分割可能セグメント決定部２へ提供する。まず、仮に切り出したキーワード画像の高さをキーワードにおけるキー文字の高さとし、１つのキー文字分割セグメントの最大の幅とキー文字の高さとの比率関係を予め設定しておけば、例えば、キー文字分割セグメントの最大の幅をキー文字の高さの１．５倍（ここで１．５倍はただ１つの例のみであり、実際の場合に応じて他の値にも設定可能である。例えば１．２など）に設定して、このキー文字の幅の条件を満たすあらゆる分割セグメント及び分割セグメントの組合せを取り出して、それを可能なキー文字分割セグメントとして決定することができる。キー文字分割可能セグメント決定部２は、可能なキー文字分割セグメントを取得した後、決定された可能なキー文字分割セグメントを文字識別部３に提供する。文字識別部３は、Ｎ層画像における可能なキー文字分割セグメントのそれぞれの画像に対して文字識別を行う。結果は、表１に示すようになる。

表１において、第２コラムのうちの分割セグメント起点座標は、ある可能なキー文字分割セグメントの起点座標値を示し、分割セグメント終点座標は、ある可能なキー文字分割セグメントの終点座標値を示す。前記のように、可能なキー文字分割セグメントの幅をキーワードの高さの約１．５倍以下と設定し、ここで、仮にキー文字の高さが５５画素点だと分かったとすれば、可能なキー文字分割セグメントの最大の幅は８２画素点となる。これによって、表１の第２コラムに示す３９個の可能なキー文字分割セグメントを決定することができる。

詳しくは、図５に示すように、分割点１から座標起点（０，０）までの距離は０８１個の画素点であり、座標の値が０８１に該当し、分割点２から座標起点（０，０）までの距離は１１４個の画素点であり、座標の値が１１４に該当するので、分割点１から分割点２までの分割セグメントは(０８１，１１４)で示され、１１４−０８１＝３３である。そのため、即ちこの分割セグメントの幅が可能なキー文字分割セグメントの最大の幅８２より小さいため、キー文字分割可能セグメント決定部２はそれを１番目の可能なキー文字分割セグメントとして決定する。分割点１から分割点３までの分割セグメントは（０８１，１２０)で示され、キー文字分割可能セグメント決定部２はそれを２番目の可能なキー文字分割セグメントとして決定する。こうして，分割点１から分割点４までの分割セグメントは（０８１，１５９)で示され、４番目の可能なキー文字分割セグメントとして決定される。分割点１から分割点５までの分割セグメントの幅は１９３−０８１＝１１２の画素点であり、１１２は可能なキー文字分割セグメントの最大の幅０８２より大きいため、可能なキー文字分割セグメントとして決定されない。００８１を起点とした可能なキー文字分割セグメントが全て決定された後、次の１番目の画素点として２番目の分割点を起点として、可能なキー文字分割セグメント（１１４が分割セグメント（０８１，１１４）にあることは既に決定されたため、その次の１番目の分割点を起点とする）を再び順に決定する。例えば、１１４の次の１番目の画素点１１５を起点とすると、分割セグメント（１１５，１２０）が決定される。こうして、キー文字分割可能セグメント決定部２が、あらゆる可能なキー文字分割セグメントを決定する。

表１は、可能なキー文字分割セグメントにおけるパターンに対する、６つのキー文字識別結果と６つのキー文字識別距離を行ごとに示したものである。６つのキー文字識別結果は、文字識別部３による各層に対する識別結果をそれぞれ表し、６つのキー文字識別距離は、各層でのパターンの階調ベクトル（各キー文字識別段にあるパターンを８×８のブロックのように分けた、ブロックごとの階調平均値からなるベクトル）と、文字を識別するための標準フォントにおける２６英文アルファベットに対する標準階調ベクトルとのベクトル距離をそれぞれ表す。この識別距離は値が小さければ小さいほど、それに対応する識別結果は的確である。

文字識別部３は、キーワードの中心の位置を推定するように、表１における（分割セグメント起点座標、分割セグメント終点座標）、識別した１番目層の識別結果、１番目層の識別距離、２番目層の識別結果、２番目層の識別距離、……、６番目層の識別結果、６番目層の識別距離を下記に説明するキーワード中心位置推定部５にそれぞれ提供する。

図５と表１より分かるように、２値前景累積図にノイズがたくさんあるため、識別結果が非常に不安定であり、しかも、完全に遮蔽された文字もありうる（例えばＤＥＮにおけるＮ）ので、「ＣＯＮＦＩＤＥＮＴＩＡＬ」とすることができる組合せを直接に見付けるのは非常に難しい。本願に開示の技術では、標準キーワード辞書生成部４によって、識別するあらゆるキーワード情報の標準キーワード辞書を生成する。例えば、「ＣＯＮＦＩＤＥＮＴＩＡＬ」、「ＤＯ ＮＯＴ ＣＯＰＹ」、「ＮＯ ＣＯＰＹ」、「ＴＯＰ ＳＥＣＲＥＴ」、「ＳＥＣＲＥＴ」、「ＩＮＴＥＲＮＡＬ ＵＳＥ ＯＮＬＹ」、「ＯＲＩＧＩＮＡＬ」などのファイルの機密度合いに関するキーワード情報を予め格納しておく。もちろん、これらの言葉はただの例であり、標準キーワード辞書に格納された識別する情報は、機密度合いに関する言葉の情報だけには限らない。標準キーワード辞書生成部４は、実際の必要に応じて、識別するあらゆるキーワード情報を含む標準キーワード辞書を生成することができる。

まず、標準キーワード辞書生成部４は、キーワード画像のそれぞれを一律の幅と高さに正規化する。例えば、比率に従って伸縮して、その幅を１０００画素点とする。そして、各キーワード画像に含まれた各文字の中心点位置及び文字同士を分割する点を求める。ここで、各文字の中心点位置は当該文字の中心から当該キーワードの１番目のアルファベットの中心までの相対距離でもよいし、当該文字の中心から当該キーワードの１番目のアルファベットの最左側のエッジポイントまでの相対距離でもよい。この位置の起点がどのように決定されたかは大切ではないが、上記各文字の中心位置によって、当該キーワードに含まれたいずれかの２つのアルファベット同士の相対距離、及びいずれかの１つのアルファベットから当該キーワードの中心までの相対距離を決定できることは、何より大切である。次に、標準キーワード辞書生成部４は、上記位置情報と分割点によって、キーワードにおける各キー文字に番号を付けることで、当該キーワードに含まれたあらゆる文字２つずつからなる、あらゆるキー文字組合せ対を取り出し、各キー文字組合せ対の下記の情報の統計をとる。例えば、キー文字組合せ対番号、キー文字組合せ対における２つの文字、キー文字組合せ対における２つのキー文字の番号、キー文字組合せ対における２つのキー文字の中心点同士の距離、キー文字組合せ対における１番目の文字（左側の文字であり、ここで１番目の文字に限るものではなく、もちろん、２番目の文字からキーワードの中心までの距離を利用することも可能）からキーワードの中心までの距離である。

標準キーワード辞書生成部４は、キーワード毎に、フォントが異なる当該キーワードを複数選択して、各フォントの当該キーワードのいずれに対しても、上記位置情報と距離情報を算出し、各キーワードに対する位置情報と距離情報について、それぞれ平均値を取り、最終の標準キーワード辞書を取得する。「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードについて、標準キーワード辞書の内容は表２−１および表２−２の通りである。

番号０１の内容を例として、表２−１および表２−２にある各コラムの情報の意味を説明する。ＣとＯは、それぞれ１つの組合せ対に含まれた２つのキー文字であり、表２−２の００と０１は、ＣとＯのキーワードにおける番号をそれぞれ表す。即ち、ＣとＯは、「ＣＯＮＦＩＤＥＮＴＩＡＬ」における０番目と１番目の文字であり、表２−２の９９は、表２−１のアルファベットＣとアルファベットＯとの距離１３８−０３９＝９９を表し、４６１は、アルファベットＣから中心点５００までの距離５００−０３９＝４６１を表す。

もちろん、上記組合せ対の選択は、アルファベットを２つずつ組成するものに限られず、２つ以上のアルファベットからなる組合せ対によっても本願に開示の技術を実現することもできる。

キーワード識別を行う場合、標準キーワード辞書生成部４は、生成された各キーワードに関する標準キーワード辞書情報をキーワード中心位置推定部５に提供し、キーワード中心位置推定部５は、文字識別部３により提供された文字識別結果に基づいて、標準キーワード辞書に含まれた各キーワードに関するキー文字情報によって、上記文字識別部３により識別された文字に対するキーワードの中心を算出する。

実際の算出過程において、キーワード中心位置推定部５は、標準キーワード辞書生成部４により生成された、表２−１および表２−２に示すようなキーワード情報を、文字識別部３により識別された文字とマッチングさせることにより、キーワードの識別を行う必要がある。ここでは、標準キーワード辞書生成部４により生成された「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードに関する情報のみを例として、どのようにして、文字識別部３により識別された文字を、標準キーワード辞書における「ＣＯＮＦＩＤＥＮＴＩＡＬ」に含まれたキー文字組合せ対とマッチングして、キーワード識別を行うかについて説明する。

文字識別部３で文字がいくつか識別されたが、２値前景累積図にノイズ情報があるので、それらの文字がこのキーワードにおける何番目なのかは決定できない。そのため、文字識別部３により識別された文字に、標準キーワード辞書におけるキー文字組合せ対にある２つの文字と同一の２つの文字が出たとき、当該キー文字組合せ対のキー文字マッチング対とし、当該キー文字組合せ対における２つのキー文字同士の位置関係及び上記マッチング対における２つの文字同士の位置関係との比例関係、及び１番目のキー文字からキーワードの中心までの距離情報によって、当該マッチング対における２つの文字に対応するキーワードの中心を推定する。例えば、「ＣＯＮＦＩＤＥＮＴＩＡＬ」に「Ｎ」が２つ出たが、キーワード中心位置推定部５は、キーワードの中心の位置を推定する時に、文字識別部３により識別された「Ｎ」が「ＣＯＮＦＩＤＥＮＴＩＡＬ」において何番目のＮなのかは分からないため、文字識別部３により識別された「Ｎ」と文字識別部３により識別された他の文字（例えば「Ｃ」）との位置関係、及び表２−２における当該２つの文字（「Ｎ」と「Ｃ」）に対応するあらゆるキー文字組合せ対（例えば番号０２と０７に該当する２つの「ＣＮ」について）の情報によって、キーワードの中心の位置を推定する。上記算出過程は下記の式（４）で表す。

式（４）で、Ｄ１は、標準キーワード辞書で生成された、キー文字組合せ対における２つのキー文字同士の距離を表し、Ｄ２は、当該キー文字組合せ対に該当したキー文字マッチング対における２つの文字同士の距離を表し、Ｄ１’は、標準キーワード辞書で生成された、キー文字組合せ対における１番目の文字からキーワードの中心までの距離を表し、Ｄ２’は、キー文字マッチング対における１番目の文字から推定の中心までの距離を表し、その距離は、Ｄ１，Ｄ２，Ｄ１’，Ｄ２’の比例関係の算出によって得られる。

もちろん、ここでは、キー文字組合せ対におけるキー文字同士の距離と、キー文字マッチング対における文字同士の距離との対応比例関係によって、キーワードの中心を推定するが、それだけに限られず、キー文字組合せ対におけるキー文字とキー文字マッチング対におけるキー文字との固有比例関係により、キーワードの中心の位置を推定することができる。例えば、キー文字組合せ対におけるキー文字の幅とキー文字組合せ対における１つの文字からキーワードの中心までの距離との比率と、キー文字マッチング対における文字の幅とこの文字からキーワードの中心までの距離との比率との対応比例関係によって、キーワードの中心を推定することもできる。

上記のように、切り出し画像におけるキーワードと標準キーワード辞書におけるキーワードに、同一な文字が複数存在している場合、上記マッチング方法によってキーワードの中心の位置を推定したとすると的確でない推定値が生じる恐れがある。また、表１に示すように、ノイズの影響で、識別された文字にそもそも間違った文字がかなり混ざっているので、間違った文字によって上記キー文字マッチングを行うとすると、得られたキーワードの中心の位置の推定値は、本当のキーワードの中心の位置ではなくなる。そのため、本願に開示の技術においては投票の原理を利用する。まずカウンタの序列を設定し、カウンタの長さがキーワードを含む切り出し画像の幅と等しくなるようにする。そして、キーワードの中心の位置を推定するたびに、カウンタに、推定されたキーワードの中心の位置に対して値を１つ累積すれば、的確に識別されたキー文字に基づいて算出された的確なキーワードの中心の位置に、ピークが現れるはずである。具体的には、「ＣＯＮＦＩＤＥＮＴＩＡＬ」に対してマッチングを行う時に、切り出し画像から的確に識別された文字（例えば「Ｃ」、「Ｏ」、「Ｎ」、「Ｆ」など）によって、キーワードの中心の位置を算出すると、キーワードの中心が的確に算出でき、しかも、的確なキーワードの中心にピークが形成されている。そうでない場合として、もし元の切り出し画像に含まれたキーワードが「ＣＯＮＦＩＤＥＮＴＩＡＬ」の場合、その中の文字「Ｃ」、「Ｏ」、「Ｅ」と「Ｔ」が的確に識別されたものの、前述の対応比例関係によって、「ＴＯＰ ＳＥＣＲＥＴ」というキーワード情報における「Ｔ」、「Ｏ」、「Ｅ」、「Ｅ」、「Ｔ」の文字とマッチングすると、切り出し画像における識別されるキーワードと「ＴＯＰ ＳＥＣＲＥＴ」との位置関係そのものは対応していないため、「ＴＯＰ ＳＥＣＲＥＴ」の的確なキーワードの中心にピークが１つ形成するということがない。好ましくは、誤差の推定を避けるために、推定された中心位置に対して値を１つ累加するとともに、中心位置の近くの画素点に対して、わずかに小さな数値をそれぞれ累加する。例えば、中心位置のプラスとマイナスの１０個の画素点に対して、下記の表３の数値をそれぞれ累加することができる。もちろん、これらの値はあくまでも例示の１つである。

上記表３における「１００」は、識別された１つの中心位置に累加される値を表し、最も左側の「２」は、当該中心位置から左１０画素にある点に累加される値であり、最も右側の「２」は、当該中心位置から右１０画素にある点に累加される値である。また、好ましくは、ガウス関数、三角関数で、推定されたキーワードの中心の位置に、より大きな値を累加し、推定されたキーワードの中心の位置の近くの点に、より小さな数値をそれぞれ累加する。

上記のように、投票の結果は、的確に識別された文字に対応する的確なキーワードの中心の位置にピークを形成する。図４中の４ｅの最上層の投票の結果は、４ｆに示すようなものとなる。しかし、ノイズの影響で、投票の結果はしばしばピークが１つ以上現れ、的確なキーワードの中心に対応する位置が１番高いピークであるとは限らない。そのため、１つの閾値を予め設定しておき、設定された閾値より高いあらゆるピークを残し、下記の最大完全部分グラフに基づく方法によって、それをその都度チェックして、キーワードの中心に対応する本当のピークを取り出す。好ましくは、１番高いピークの半分を閾値とする。

上記中心位置の投票を行った後、キーワード中心位置推定部５は、上記残された複数のキーワードの中心の位置のそれぞれを、当該中心位置が推定されたキー文字マッチング対に対応付けてそれぞれ格納し、上記キー文字マッチング対における文字が当該キーワードにある番号も格納し、最大完全部分グラフ・キー文字抽出部６に提供する。ここで、１つのキー文字マッチング対が推定されたキーワードの中心と現在のキーワードの中心の位置との偏差が予定の範囲より小さいと、当該キー文字マッチング対が現在のキーワードの中心に対応すると思われるので、それを対応付けて格納してから、最大完全部分グラフ・キー文字抽出部６に提供する。好ましくは、当該予定範囲を高さの１倍とすればよい。例えば、現在のキーワードの中心の位置は５００とし、文字の高さは１００とすれば、（４００，６００）範囲の位置に投票されたキー文字マッチング対はいずれも現在のキーワードの中心と対応していると思われる。

最大完全部分グラフ・キー文字抽出部６は、上記残されたキーワードの中心に対して、キーワード中心位置推定部５からのキーワードの中心の位置のそれぞれと、当該中心位置が推定されたキー文字マッチング対との対応関係によって、現在推定されたキーワードの中心と対応する複数のマッチング対、及びマッチング対に含まれた文字の当該キーワードにおける番号を抽出する。

最大完全部分グラフ・キー文字抽出部６は、推定されたキーワードの中心毎に、下記の最大完全部分グラフに基づくキー文字抽出方法によって、当該中心に対応したキー文字を取得する。あるキーワードの中心に応じて見つけたキー文字の数が最大であるキーワードの中心は、本当のキーワードの中心であると思われる。表４は、図４中の４ｆの投票によって得られたキーワードの推定中心ピークに対応したあらゆるキー文字マッチング対を列挙したものである。ここで、閾値を超えたピークは仮に１つのみとする。表４には、左欄から右欄にかけて、番号、１番目の頂点の文字、２番目の頂点の文字、１番目の頂点のキー文字番号、２番目の頂点のキー文字番号、及び推定されたキーワードの中心の位置が含まれている。

最大完全部分グラフ・キー文字抽出部６は、現在のキーワードの中心に対応したあらゆるキー文字マッチング対を取り出した後、これらあらゆるキー文字マッチング対に対して、図を１つ作成する。図７に示すように、図の各頂点は、上記マッチング対における１つの文字をそれぞれ表す。表１に示す１つの文字分割セグメントに異なった文字識別結果が２つ出ており、しかも、その異なった文字識別結果がいずれも標準キーワード辞書における現在識別されるキーワードに含まれている場合、それらがそれぞれ異なる頂点となるようにする。例えば、表１の３１番目の項目に、「Ｏ」と「Ｅ」という２つの識別結果があると、「Ｏ」と「Ｅ」のいずれも「ＣＯＮＦＩＤＥＮＴＩＡＬ」における文字なので、どちらの文字が間違ったのかは判定できないため、当該２つの識別結果を全て残し、それぞれ１つの頂点として、この文字分割セグメントに対して２つの頂点を得る。現在のキーワードの中心に対応するあらゆるキーワードマッチング対に対して、キーワードマッチング対毎にそれぞれ含まれた２つ頂点を繋げると、１つの図構造となる。図７は、現在のキーワードの中心のピークに対応するあらゆるキー文字マッチング対によって描かれたものを示す。

そして、図７に示すような図構造から、２つずつの頂点間が繋がり且つ部分グラフに含まれる頂点が一番多い最大完全部分グラフを取り出す。上記のようなキーワードの中心の推定過程より分かるように、２つずつ繋がったキー文字は、このような２つのキー文字によって同一のキーワードの中心を推定したと表すと、最大完全部分グラフにおけるあらゆる頂点の間で２つずつ繋がっているため、最大完全部分グラフにおけるあらゆる頂点は同一のキーワードの中心を推定し、最大完全部分グラフに含まれたあらゆる頂点に対応した文字は、現在のキーワードの中心に対応した的確に識別されたキー文字と決定される。

図７に示したように、表４に示すような現在のキーワードの中心に対応した２８個のマッチング対における各マッチング対に含まれる２つのキー文字を繋ぐと、キー文字番号が０、２、３、４、５、６、９であるキー文字Ｃ（０）、Ｎ（２）、Ｆ（３）、Ｉ（４）、Ｄ（５）、Ｅ（６）、Ｉ（９）の頂点が２つずつ連結している。これらの頂点が繋がってなる部分グラフが最大完全部分グラフであり、これらの頂点により表される分割セグメントはお互いに重なっていないし、いずれも同一のキーワードの中心を的確に推定しているので、これらの頂点により表される文字を現在のキーワードの中心に対応した的確に識別されたキー文字とする。

ここで、現在のキーワードの中心、及び的確に識別されたこれらのキー文字をキーワード識別の基準とする。最大部分グラフに基づいてキー文字を識別した後、脱落キー文字識別部７は表４におけるキー文字Ｃ（０）、Ｎ（２）、Ｆ（３）、Ｉ（４）、Ｄ（５）、Ｅ（６）、Ｉ（９）という頂点からなる各キー文字マッチング対、及び表２−１および表２−２の標準キーワード辞書に格納された、各文字の中心位置及び各文字の間の距離に関する情報によって、その他の識別されるキー文字（残った決定されていないキー文字）の中心位置を推定し、各識別されるキー文字の中心位置における文字を識別し、切り出し画像の当該位置にある文字は「ＣＯＮＦＩＤＥＮＴＩＡＬ」の当該位置にあるキー文字と対応しているかを判断する。即ち、算出された文字中心位置に予定のキー文字が現れるかを判断し、予定のキー文字が現れた場合、この文字を当該位置に脱落した的確なキー文字と判断する。

例えば、最大完全部分グラフ・キー文字抽出部６で、切り出し画像にキー文字Ｃ（０）、Ｎ（２）、Ｆ（３）、Ｉ（４）、Ｄ（５）、Ｅ（６）、Ｉ（９）を含むと決定した場合、完全な「ＣＯＮＦＩＤＥＮＴＩＡＬ」と比べることにより、脱落キー文字識別部７は、（１）の位置に「Ｏ」が現れ、（７）の位置に「Ｎ」が現れ、（８）の位置に「Ｔ」が現れ、（１０）の位置に「Ａ」が現れ、（１１）の位置に「Ｌ」が現れると推測する。「ＮＴ」と「ＡＬ」とでは結合が生じているので、位置（１）にある文字を識別する。（１）の位置に確かに「Ｏ」が現れたので、脱落キー文字識別部７は、ここでの文字「Ｏ」が的確な文字であると判定できる。

上記文字識別の方法はたくさんあるが、好ましくは、表１のうちの各層に対する識別結果によって上記判定を行うが、改めて識別する必要はない。表１のうちの各可能な文字分割セグメント対する識別結果に基づいて、ある可能なキー文字分割セグメントが下記の三つの条件を満すと、推測された脱落キー文字が当該可能なキー文字分割セグメントに含まれると判定できる。
１．当該可能なキー文字分割セグメントは、識別されたキー文字と、位置が重なっていない。
２．推定されたキー文字の中心位置は当該可能なキー文字分割セグメントの範囲内にある。
３．当該可能なキー文字分割セグメントの識別結果には識別されるキー文字が含まれる。
脱落キー文字の判断によって、「Ｏ」は脱落した的確なキー文字であると決定できる。あらゆる脱落キー文字が識別された後、結合で的確に識別されないキー文字もあるので、最後は結合キー文字識別部８によって結合キー文字を識別する。

従来の方法によって結合キー文字を識別すればよい。好ましくは、ヒストグラム投影の方法によって、識別される切り出し画像から、先ずあらゆる識別されていないキー文字及びそれに対応する画像セグメントを取り出し、２つ以上の連続な識別されていないキー文字があると、これらの文字の間に結合が生じたと判定し、切り出し画像におけるこのような画像セグメントを全部取り出し、これらの画像セグメントの投影ヒストグラムを求める。

図５では、「ＮＴ」と「ＡＬ」で結合が生じている。図８は、図５に含まれる６枚の画像の垂直方向における投影ヒストグラムを示す図である。投影ヒストグラムは画像処理領域の周知の技術である。即ち、文字の階調画像に対して、文字の上端の方向から文字の下端へ投影し、投影線と交差する黒点画素を累計で和を求めることで、文字の階調累積分布図を取得する。投影図における曲線の値は、この水平位置における黒い画素点の数を表す。縦線１２と線１３との間は識別されなかった「ＡＬ」の部分である。

図９は、標準キーワード辞書に記憶された「ＣＯＮＦＩＤＥＮＴＩＡＬ」に関する理想投影ヒストグラムを示す。２６の英文文字の標準投影ヒストグラムは、それぞれの形状に対応する特定の分布を有するので、結合文字「ＡＬ」の投影ヒストグラムの情報によって、標準キーワード辞書内の「ＣＯＮＦＩＤＥＮＴＩＡＬ」に関する理想投影ヒストグラムにおける例えば縦線１４と１５の間の部分のような対応部分を取り出し、ヒストグラムマッチングの方法によって、図５に含まれる６枚の画像の垂直方向における投影ヒストグラムを標準投影ヒストグラムと合わせることができる。ヒストグラムマッチングの１つの方法は、下記のようである。
１．上記６枚の画像の垂直方向における投影ヒストグラムの幅を標準キーワード辞書における「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードのヒストグラムと同じような幅まで伸縮する。
２．上記６枚の画像の垂直方向における投影ヒストグラムと、キーワード辞書における「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードのヒストグラムの１次元のデータの関連値を求めることによって、６枚の画像の垂直方向における投影ヒストグラムと標準投影ヒストグラムとの最適のマッチングオフセット量を求め、このオフセット量によって、６枚の画像の垂直方向における投影ヒストグラムを、標準投影ヒストグラムと合わせる。
３．最後に、標準キーワード辞書における「ＣＯＮＦＩＤＥＮＴＩＡＬ」に関する理想投影ヒストグラムの各キー文字の分割点（表２−１で示している）によって、上記６枚の画像の垂直方向における投影ヒストグラムにおける結合部分の分割位置を決定する。

上記結合分割が完了した後、分割された切り出し画像における分割セグメントに対して文字識別を行う。文字識別の結果が当該位置に現れるべくキー文字と一致すると、結合キー文字識別部８は、結合分割の結果が的確であると判定し、結合したキー文字を識別する。

図４中の４ｅは、最大完全部分グラフに基づいたキー文字の抽出、脱落キー文字の抽出及び結合キー文字の抽出をして得られた結果の概略図である。ただし、陰影で最大完全部分グラフに基づくキー文字「Ｃ」、「Ｎ」、「Ｆ」、「Ｉ（５）」、「Ｄ」、「Ｅ」、「Ｉ（９)」を示し、斜線で脱落キー文字の位置に基づいて推定されたキー文字「Ｏ」を示し、罫線で結合分割後に識別された結合キー文字「Ｔ」、「Ａ」、「Ｌ」を示している。

そして、標準キーワード辞書における識別される「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードに応じて、切り出し画像のキーワードを上記のように判定し、得られた的確に識別されたキー文字の数が「ＣＯＮＦＩＤＥＮＴＩＡＬ」の総数（１２個）を所定の比率で超えた場合、キーワード決定部９は、共有画像を含む切り出し画像に含まれたキーワードが「ＣＯＮＦＩＤＥＮＴＩＡＬ」であると判定する。例えば、当該比率を７０％とし、当該比率を超えたキーワードならば、チェックされる画像が目標キーワードを含む可能性があると判定する。上記例示では、識別されたキー文字「Ｃ」、「Ｎ」、「Ｆ」、「Ｉ」、「Ｄ」、「Ｅ」、「Ｏ」、「Ｔ」、「Ａ」、「Ｌ」、即ち識別されたキー文字の数が１１となっているが、キー文字の総数が１２であり、識別の比率が１１／１２＝９１．７％となって所定の比率を超えたので、キーワード決定部９は、チェックされる切り出し画像に「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードを確実に含むことを直接判断できる。

上記のように、１つ以上のキーワードをチェックする必要があると、キーワードごとに標準キーワード辞書を作成し、標準キーワード辞書における各キーワードに対して、上記過程によって、識別されたキー文字の総数を得る。また、キーワード決定部９により判定を行う際、各標準キーワード辞書におけるキーワード毎に上記識別された総数を算出し、識別されたキー文字の数でキーワードにおけるキー文字の数を割ると識別の比率が得られるので、最大識別比率を有するキーワードが切り出し画像に確実に含まれたものであると判定してもよい。

上記方法を介して、共有画像や文字を含む複数のパターンやファイルによって、その中から共有画像や文字を含む画像を複数切り出し、複数画像に含まれた情報を最上限まで利用することによって、遮蔽、結合などの原因で各画像が完全な共有画像の情報を含んでいないために共有画像を的確に識別できないという技術問題を克服して解決した。しかも、共有キーワードに含まれた各キー文字間の位置関係、各キー文字とキーワードの中心との位置関係によって各キー文字が互いにチェックされるので、的確なキー文字を判定でき、共有画像や文字の識別を効率よく且つ的確に実現できる。

図１０は、実施例２の複数の画像における共有画像を識別するためのキーワード識別装置を示すブロック図である。実施例２は、実施例１のキーワード識別装置に比べて、キーワード辞書生成部４とキーワード中心位置推定部５の間にキー文字マッチング対選別部１０を更に有する点で相違している。

キーワード中心位置推定部５によってキーワードの中心の位置を推定する投票を行う前に、キー文字マッチング対選別部１０でキー文字マッチング対を選別し、位置が重なり、コードが同じであるキー文字マッチング対を削除することで、キーワードの中心の位置を推定するための投票時間を減少させる。

例えば、表１の順番（００と０４）と順番（０１と０５）とから識別された文字は、いずれも「Ｃ」と「Ｏ」を含み、いずれも表２−２における順番が０１であるキー文字組成対「ＣＯ」のキー文字マッチング対とされる。ここで、２つのＣと２つのＯとは位置がそれぞれ重なっているが、重なっている位置に同一な文字が２つ現れることは実際にはあり得ず、的確なマッチング対では位置とコードにおける衝突がありえないので、この２対のうちの１対が間違っていることが分かる。そのため、キー文字マッチング対選別部１０はマッチング対における２つのキー文字の識別距離の和が最小であるキー文字マッチング対のみを残す（識別距離が小さければ小さいほど識別結果の信頼性が高い）。

ここで、表１の順番（００と０４）における「Ｃ」と「Ｏ」の識別距離の和の最小値は、順番００における（６つの識別距離の最小値である）５番目層の識別距離７９３＋順番０４における１番目層の識別距離９２０＝１７１３であり、順番（０１と０５）における「Ｃ」と「Ｏ」の識別距離の和は６９４＋９２０＝１６１４である。そのため、キー文字マッチング対選別部１０は、順番０１と０５における「Ｃ」と「Ｏ」からなるキー文字マッチング対「ＣＯ」のみを残し、順番００と０４における「Ｃ」と「Ｏ」からなるキー文字マッチング対「ＣＯ」を削除する。

キー文字マッチング対選別部１０によって、余計なキーワードマッチング対を削除することで、キーワードの中心の位置を推定する時間を大幅に削減することができるので、キーワード識別に必要な時間を短縮でき、キーワード識別の効率を大幅に向上させることができる。

実施例３では、共有画像に含まれるキーワードを識別する過程は実施例１と実施例２と同じである。異なる点は、共有キーワードを識別する際に入力したファイルが反転している場合、即ち識別される共有キーワードがファイル毎に全部反転している場合、共有キーワードに対しても的確に識別を行うように、文字識別部３は、各可能なキー文字分割セグメントにおける文字に対して表裏連次識別を行う。あるキー文字分割セグメントに含まれる文字が全部反転されていれば（「

」が反転されると「Ａ」である）、文字識別部３は、決定されたあらゆる可能なキー文字分割セグメントにおける文字に対して全部表裏２次識別を行い、キー文字分割セグメントにおける文字に関する識別結果を２組取得して、２組の文字の識別結果をそれぞれキーワード中心位置推定部５に入力し、後続の推定を行う。その後のキー文字抽出の方法は、実施例１および２と同じである。

好ましい実施例３を用いると、ユーザのミスで入れたファイルが上下に反転されている時にも、複数の画像における共有キーワードを的確に識別することができ、例えば機密ファイルをコピーする時も、機密情報漏れを効率的に防止することができる。

本願に開示の技術におけるキーワード識別装置と方法は、スキャナ、プリンタ又は多機能一体機などのデバイスに適用可能であり、当該スキャナ、プリンタ又は多機能一体機などのデバイスは、共有画像又は文字を含む複数の画像又はファイルの中から共有画像又は文字を抽出することができる。ここで、共有の画像又は文字はその中に透かしを嵌めることが可能であり、ファイルを管理し、機密ファイルのコピー、スキャンなどを防止することができる。もちろん、上記キーワードの検出装置と方法は、共有画像又は文字を識別するためのその他の場合に適用することもできる。

また、本申請は共有画像を有するＰＰＴを例として説明したが、もちろん、前述のキーワード識別装置と方法はＰＰＴファイルに限られず、ｗｏｒｄファイル、ｐｄｆファイル、その他のフォーマットのテキストファイル又は各種の画像フォーマットのファイルに適用して、共有画像又は文字を識別することもできる。

また、本願では「ＣＯＮＦＩＤＥＮＴＩＡＬ」というキーワードを例として説明したが、もちろん、前述のキーワード識別装置と方法は、実際運用上の必要に応じて、標準キーワード辞書に複数のキーワードの情報を立てることができる。つまり、キーワードの数は制限されず、実際の場合に応じて選択することができる。それに、上記識別方法は英文キーワードの識別に限られず、中国語、フランス語、ドイツ語、ギリシア語などその他の各種言語の文字の識別にも使われる。

ほかに、もちろん、本願の上記方法による各操作過程は、コンピュータプログラムや各種機械読み取り可能な記憶媒体に格納されるコンピュータの実行可能なプログラムでも実現される。

それに、下記の方式で本願の目的を達すこともできる。上記実行可能なプログラムコードが格納されている記憶媒体を直接又は間接的にシステム或いはデバイスに提供し、当該システム或いはデバイスにあるコンピュータ又はＣＰＵが上記プログラムコードを読み取り実行する。

上記機械読み取り可能な記憶媒体は、各種類のメモリと記憶手段、半導体デバイス、光、磁気、光磁気ディスクなどのような磁気ディスク手段、及び情報の記憶に適するその他の媒体などを含む。しかし、これらに限らない。

それに、コンピュータは、インターネット上の対応サイトと接続され、本願に係るコンピュータプログラムコードをダウンロードし、コンピュータにインストールしてから当該プログラムを実行することで本願に開示の技術を実現することもできる。

図１１は、実施例にかかるキーワード識別装置を構成するコンピュータ２０のハードウェア構成の一例を示す図である。図１１に示すように、このコンピュータ（キーワード識別装置）２０は、入力装置２１、モニタ２２、ＲＡＭ（Random Access Memory）２３、ＲＯＭ（Read Only Memory）２４、ネットワークインターフェース２５、記憶媒体から情報を読み取る媒体読取装置２６、ＣＰＵ（Central Processing Unit）２７、ＨＤＤ（Hard Disk Drive）２８がバス２９で接続されている。

そして、ＨＤＤ２８には、上述したキーワード識別装置の機能と同様の機能を発揮するキーワード識別プログラム２８ｂが記憶されている。ＣＰＵ２７が、キーワード識別プログラム２８ｂを読み出して実行することにより、キーワード識別プロセス２７ａが起動される。ここで、キーワード識別プロセス２７ａは、図３に示したＳＴ１〜ＳＴ９に対応する。

なお、ＨＤＤ２８には、図３に示したＳＴ１〜ＳＴ９の処理に係る各種データ２８ａを記憶する。ＣＰＵ２７は、ＨＤＤ２８に記憶された各種データ２８ａをＲＡＭ２３に読み出し、各種データ２３ａを基にしてキーワード識別を実行する。

ところで、図１１に示したキーワード識別プログラム２８ｂおよび各種データ２８ａは、必ずしも最初からＨＤＤ２８に記憶させておく必要はない。たとえば、情報処置装置としてのコンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の記憶媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の記憶媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などにキーワード識別プログラム２８ｂを記憶しておき、コンピュータがこれらからキーワード識別プログラム２８ｂおよび各種データ２８ａを読み出して、キーワード識別プログラム２８ｂを実行するようにしてもよい。

（付記１）共有キーワードを有する複数の画像又はファイルから前記共有キーワードを識別するキーワード識別装置であって、
前記複数の画像又はファイルにおける前記共有キーワードを含む領域の階調値に基づいて２値前景累積図を生成する装置と、
前記２値前景累積図の分割点を決定する分割部と、
前記分割点に基づいてあらゆる可能なキー文字分割セグメントを決定するキー文字分割可能セグメント決定部と、
前記あらゆる可能なキー文字分割セグメントにおける対象に対して文字識別を行って、前記あらゆる可能なキー文字分割セグメントに対応した識別文字を取得する文字識別部と、
標準キーワード辞書に含まれる少なくとも１つの標準キーワードに対して、当該標準キーワードのキー文字組合せ対と、当該キー文字組合せ対に対応した標準キーワードに含まれるキー文字からなり、且つ、前記識別文字に含まれる、前記キー文字組合せ対の文字と同一な文字からなるキー文字マッチング対との間の対応関係によって、前記共有キーワードの中心の位置を推定するキーワード中心位置推定部と、
推定されたキーワードの中心の位置に対応した複数の前記キー文字マッチング対に含まれる識別文字を頂点とし、前記キー文字マッチング対に含まれたキー文字を２つずつ連結してなる図において頂点の数が最も多い最大完全部分グラフに含まれたあらゆる頂点により表されるキー文字を決定する最大完全部分グラフ・キー文字抽出部と、
前記推定されたキーワードの中心の位置と前記最大完全部分グラフ・キー文字抽出部により決定されたキー文字と前記それぞれの標準キーワードとに基づいて、脱落キー文字を決定する脱落キー文字識別部と、
前記推定されたキーワードの中心の位置と、前記最大完全部分グラフ・キー文字抽出部により決定されたキー文字と、前記脱落キー文字識別部により決定された脱落キー文字と、前記標準キーワードとに基づいて、結合キー文字を識別する結合キー文字識別部と、
前記最大完全部分グラフ・キー文字抽出部により決定されたキー文字と、前記前記脱落キー文字識別部により決定された脱落キー文字及び前記結合キー文字識別部により識別された結合キー文字とに基づいて、前記共有キーワードに前記標準キーワード辞書におけるどの標準キーワードを含むかを判定するキーワード決定部と、
を備えたことを特徴とするキーワード識別装置。

（付記２）前記キーワード中心位置推定部により前記共有キーワードの中心の位置を推定する前に、同一の文字からなり、位置が重なる複数のキー文字マッチング対においてキー文字識別距離の和が最小でないキー文字マッチング対を削除するキー文字マッチング対選別部を更に備えたことを特徴とする付記１に記載のキーワード識別装置。

（付記３）前記標準キーワードに含まれるあらゆるキー文字の２つずつの組合せから前記キー文字組合せ対を構成する標準キーワード辞書生成部を更に備えたことを特徴とする付記１又は２に記載のキーワード識別装置。

（付記４）前記分割部は継承可能な分割方法によって前記可能なキー文字分割セグメントを決定することを特徴とする付記１又は２に記載のキーワード識別装置。

（付記５）前記キーワード中心位置推定部は、前記キー文字組合せ対におけるキー文字間の距離と当該キー文字組合せ対に対応した前記キー文字マッチング対における文字間の距離との対応比例関係、及び前記キー文字組合せ対における少なくとも１つのキー文字から前記それぞれの標準キーワードの中心までの距離によって、前記共有キーワードの中心の位置を推定することを特徴とする付記１又は２に記載のキーワード識別装置。

（付記６）コンピュータが共有キーワードを有する複数の画像又はファイルから前記共有キーワードを識別するキーワード識別方法であって、
前記コンピュータが、
前記複数の画像又はファイルにおける前記共有キーワードを含む領域の階調値に基づいて２値前景累積図を生成するステップと、
前記２値前景累積図に基づいて当該２値前景累積図の分割点を決定し、可能なキー文字分割セグメントを決定するステップと、
あらゆる前記可能なキー文字分割セグメントに対して文字識別を行って、当該あらゆる可能なキー文字分割セグメントに対応した識別文字を取得するステップと、
標準キーワード辞書に含まれる少なくとも１つの標準キーワードに対して、当該標準キーワードのキー文字組合せ対と、当該キー文字組合せ対に対応した標準キーワードに含まれるキー文字からなり、且つ、前記識別文字に含まれる前記キー文字組合せ対の文字と同一な文字からなるキー文字マッチング対との間の対応関係によって、前記共有キーワードの中心の位置を推定するステップと、
推定されたキーワードの中心の位置に対応した複数の前記キー文字マッチング対に含まれる識別文字を頂点とし、前記キー文字マッチング対に含まれたキー文字を２つずつ連結してなる図において頂点の数が最も多い最大完全部分グラフに含まれたあらゆる頂点により表されるキー文字を決定するステップと、
前記推定されたキーワードの中心の位置と決定された前記キー文字と前記標準キーワードとに基づいて、脱落キー文字を決定するステップと、
前記推定されたキーワードの中心の位置と決定された前記キー文字と決定された前記脱落キー文字と前記標準キーワードとに基づいて、結合キー文字を識別するステップと、
前記標準キーワードに対して識別された、決定された前記キー文字と、決定された前記脱落キー文字及び結合キー文字とに基づいて、前記共有キーワードがどの標準キーワードを含むかを判定するステップと、
を含んだことを特徴とするキーワード識別方法。

（付記７）前記コンピュータは、前記共有キーワードの中心の位置を推定する前に、同一の文字からなり、位置が重なる複数の前記キー文字マッチング対においてキー文字識別距離の和が最小でないキー文字マッチング対を削除することを特徴とする付記６に記載のキーワード識別方法。

（付記８）前記コンピュータは、前記標準キーワードに含まれるあらゆるキー文字の２つずつの組合せから前記キー文字組合せ対を構成することを特徴とする付記６又は７に記載のキーワード識別方法。

（付記９）前記コンピュータは、継承可能な分割方法によって前記可能なキー文字分割セグメントを決定することを特徴とする付記６又は７に記載のキーワード識別方法。

（付記１０）前記コンピュータは、前記キー文字組合せ対におけるキー文字間の距離と当該キー文字組合せ対に対応した前記キー文字マッチング対における文字間の距離との対応比例関係、及び前記キー文字組合せ対における少なくとも１つのキー文字から前記標準キーワードの中心までの距離によって、共有キーワードの中心の位置を推定することを特徴とする付記６又は７に記載のキーワード識別方法。

１ 分割部
２ キー文字分割可能セグメント決定部
３ 文字識別部
４ キーワード辞書生成部
５ キーワード中心位置推定部
６ 最大完全部分グラフ・キー文字抽出部
７ 脱落キー文字識別部
８ 結合キー文字識別部
９ キーワード決定部
１０ キー文字マッチング対選別部
２０ コンピュータ
２１ 入力装置
２２ モニタ
２３ ＲＡＭ
２４ ＲＯＭ
２５ ネットワークインターフェース
２６ 記憶媒体から情報を読み取る媒体読取装置
２７ ＣＰＵ
２８ ＨＤＤ
２９ バス

Claims (6)

1. 共有キーワードを有する複数の画像又はファイルから前記共有キーワードを識別するキーワード識別装置であって、
   前記複数の画像又はファイルにおける前記共有キーワードを含む領域の階調値に基づいて２値前景累積図を生成する装置と、
   前記２値前景累積図の分割点を決定する分割部と、
   前記分割点に基づいてあらゆる可能なキー文字分割セグメントを決定するキー文字分割可能セグメント決定部と、
   前記あらゆる可能なキー文字分割セグメントにおける対象に対して文字識別を行って、前記あらゆる可能なキー文字分割セグメントに対応した識別文字を取得する文字識別部と、
   標準キーワード辞書に含まれる少なくとも１つの標準キーワードに対して、当該標準キーワードのキー文字組合せ対と、当該キー文字組合せ対に対応した標準キーワードに含まれるキー文字からなり、且つ、前記識別文字に含まれる、前記キー文字組合せ対の文字と同一な文字からなるキー文字マッチング対との間の対応関係によって、前記共有キーワードの中心の位置を推定するキーワード中心位置推定部と、
   推定されたキーワードの中心の位置に対応した複数の前記キー文字マッチング対に含まれる識別文字を頂点とし、前記キー文字マッチング対に含まれたキー文字を２つずつ連結してなる図において頂点の数が最も多い最大完全部分グラフに含まれたあらゆる頂点により表されるキー文字を決定する最大完全部分グラフ・キー文字抽出部と、
   前記推定されたキーワードの中心の位置と前記最大完全部分グラフ・キー文字抽出部により決定されたキー文字と前記それぞれの標準キーワードとに基づいて、脱落キー文字を決定する脱落キー文字識別部と、
   前記推定されたキーワードの中心の位置と、前記最大完全部分グラフ・キー文字抽出部により決定されたキー文字と、前記脱落キー文字識別部により決定された脱落キー文字と、前記標準キーワードとに基づいて、結合キー文字を識別する結合キー文字識別部と、
   前記最大完全部分グラフ・キー文字抽出部により決定されたキー文字と、前記前記脱落キー文字識別部により決定された脱落キー文字及び前記結合キー文字識別部により識別された結合キー文字とに基づいて、前記共有キーワードに前記標準キーワード辞書におけるどの標準キーワードを含むかを判定するキーワード決定部と、
   を備えたことを特徴とするキーワード識別装置。
2. 前記キーワード中心位置推定部により前記共有キーワードの中心の位置を推定する前に、同一の文字からなり、位置が重なる複数のキー文字マッチング対においてキー文字識別距離の和が最小でないキー文字マッチング対を削除するキー文字マッチング対選別部を更に備えたことを特徴とする請求項１に記載のキーワード識別装置。
3. 前記標準キーワードに含まれるあらゆるキー文字の２つずつの組合せから前記キー文字組合せ対を構成する標準キーワード辞書生成部を更に備えたことを特徴とする請求項１又は２に記載のキーワード識別装置。
4. 前記分割部は継承可能な分割方法によって前記可能なキー文字分割セグメントを決定することを特徴とする請求項１又は２に記載のキーワード識別装置。
5. 前記キーワード中心位置推定部は、前記キー文字組合せ対におけるキー文字間の距離と当該キー文字組合せ対に対応した前記キー文字マッチング対における文字間の距離との対応比例関係、及び前記キー文字組合せ対における少なくとも１つのキー文字から前記それぞれの標準キーワードの中心までの距離によって、前記共有キーワードの中心の位置を推定することを特徴とする請求項１又は２に記載のキーワード識別装置。
6. コンピュータが共有キーワードを有する複数の画像又はファイルから前記共有キーワードを識別するキーワード識別方法であって、
   前記コンピュータが、
   前記複数の画像又はファイルにおける前記共有キーワードを含む領域の階調値に基づいて２値前景累積図を生成するステップと、
   前記２値前景累積図に基づいて当該２値前景累積図の分割点を決定し、可能なキー文字分割セグメントを決定するステップと、
   あらゆる前記可能なキー文字分割セグメントに対して文字識別を行って、当該あらゆる可能なキー文字分割セグメントに対応した識別文字を取得するステップと、
   標準キーワード辞書に含まれる少なくとも１つの標準キーワードに対して、当該標準キーワードのキー文字組合せ対と、当該キー文字組合せ対に対応した標準キーワードに含まれるキー文字からなり、且つ、前記識別文字に含まれる前記キー文字組合せ対の文字と同一な文字からなるキー文字マッチング対との間の対応関係によって、前記共有キーワードの中心の位置を推定するステップと、
   推定されたキーワードの中心の位置に対応した複数の前記キー文字マッチング対に含まれる識別文字を頂点とし、前記キー文字マッチング対に含まれたキー文字を２つずつ連結してなる図において頂点の数が最も多い最大完全部分グラフに含まれたあらゆる頂点により表されるキー文字を決定するステップと、
   前記推定されたキーワードの中心の位置と決定された前記キー文字と前記標準キーワードとに基づいて、脱落キー文字を決定するステップと、
   前記推定されたキーワードの中心の位置と決定された前記キー文字と決定された前記脱落キー文字と前記標準キーワードとに基づいて、結合キー文字を識別するステップと、
   前記標準キーワードに対して識別された、決定された前記キー文字と、決定された前記脱落キー文字及び結合キー文字とに基づいて、前記共有キーワードがどの標準キーワードを含むかを判定するステップと、
   を含んだことを特徴とするキーワード識別方法。

Images