JP5561100B2 - 隠蔽された文字の復元方法及び画像処理装置 - Google Patents

Description

本発明は、一般的に文字認識に関し、具体的には、隠蔽された文字の復元方法及び画像処理装置に関する。

従来、光学文字認識（OCR、Optical Character Recognition）システムは、例えば、撮像された対象物の文字を認識し、認識した文字を出力する。また、近年、デジタルカメラの普及及び機能の増加に伴い、ＯＣＲは、一層頻繁に使用されるようになっている。例えば、カメラは、携帯型「スキャナー」として、ハードコピー文書、書物、新聞、及びスローガン、ポスター及びその他の媒体等からテキストを撮像する。

このようなテキストの認識において、ＯＣＲシステムは、誤って文字を認識する場合がある。例えば、罫線とテキスト中の文字ストロークが接触・交差している場合に、誤認識を低減するＯＣＲシステムに関する技術が開示されている。また、認識対象であるテキストに書き込みがされている場合に、テキスト中の文字と書き込み部分とを区別するＯＣＲシステムに関する技術が開示されている。

特開２００２−３６６９００号公報 特開２０１０−５５３５３号公報 特開２０１０−５５３５４号公報

しかしながら、上述した従来の技術では、隠蔽された文字を正確に復元することができないという課題があった。

一般的に、ＯＣＲシステムは、文書画像における可視的な透かし文字が、前景の内容に隠蔽されることで、可視的な透かし文字を認識し難しいことになる。図２２は、前景に隠蔽された透かし文字の一例を示す図である。図２２に示すように、透かし中の文字は、前景により遮られる。このため、ＯＣＲシステムは、正確に透かし中の文字を復元することができない。また、ＯＣＲシステムは、透かし中の文字を復元し、復元した文字を認識することになるので、透かし中の文字「関係者外秘」を直接には認識できない。

さらに、デジタルカメラによってテキストを撮像する場合、テキストは、常に、光線の不均一、希望しない又は存在している隠蔽物、さらにカメラ内部の処理の影響によって、テキスト中の文字が遮られることになる。このような遮りは、ＯＣＲシステムによるテキスト中の文字の認識を困難にする。

開示の技術は、上記に鑑みてなされたものであって、隠蔽された文字を正確に復元することができる、隠蔽された文字の復元方法及び画像処理装置を提供することを目的とする。

第１の案では、隠蔽された文字の復元方法は、復元対象である隠蔽された文字を含む目標文字の筆画の幅に応じて画像ブロックサイズを算出するステップと、目標文字を含む入力画像の目標領域において元領域を標記するステップと、元領域における画素に対してそれぞれを中心とする各参考画像ブロックを生成するステップと、補完対象である入力画像の前景の境界を抽出するステップと、前景の境界における画素毎に、当該画素を中心とする画像ブロックの複雑度に応じて補完優先順位を算出するステップと、参考画像ブロックにおける最も類似している画像ブロックを使用して、最も高い優先順位を有する画素を中心とする画像ブロックを補完するステップと、前景の補完が全て完了していなければ、補完対象である入力画像における前景の境界の抽出処理を実行するステップとを含む。

好ましくは、画像ブロック内部の背景画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の補完対象である目標文字画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の異なる勾配ベクトルの数に基づいた複雑度とから補完優先順位を算出する。

具体的な一実施例において、画像ブロックサイズを目標文字の筆画の幅から算出する。

第１の案の好ましい実施例の一つによれば、目標文字を含む入力画像の目標領域において元領域を標記するステップは、目標文字における画素及びその画像ブロックにおける全ての隣接する画素を含む第一のマスクを生成するステップと、前景画素及びその画像ブロックにおける全ての隣接する画素以外の目標領域全体を含む第二のマスクを生成するステップと、第一のマスクと第二のマスクの重複領域を元領域として抽出するステップとを含む。

第１の案の好ましい実施例の一つによる隠蔽された文字の復元方法は、入力画像を圧縮すること、及び/又は、参考画像ブロックを選別することを実行するステップを更に含む。

第２の案では、隠蔽された文字の復元方法は、目標文字の輪郭画素を抽出するステップと、抽出された輪郭画素に基づいて目標文字の線分を捕捉するステップと、捕捉された線分に基づいて、一つの筆画の対になる線分であると想定される平行線分を選択するステップと、選択された平行線分に基づいて共線線分を平行線ペアとして連結するステップと、目標文字のグレー値を使用して各平行線ペアのそれぞれにより限定された領域を補完するステップとを更に含む。

第２の案の別の好ましい実施例の一つによる隠蔽された文字の復元方法は、捕捉された線分に基づいて目標文字の筆画の幅を推定するステップと、目標文字の投影軸における文字幅と文字高さを推定するステップとを更に含む。ここで、Ｈｏｕｇｈ変換領域においては、選択された平行線分は下記の条件を満たす。
１）線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅SWについては、θ１＝θ２及びａ＊ＳＷ＜｜ρ１−ρ２｜＜ｂ＊ＳＷを満足する（ここで、θは線分の回転角度を示し、ρは線分の零点までの距離を示し、ａ＊ＳＷとｂ＊ＳＷは閾値である）。
２）水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さい。
３）二本の線分の間における画素は背景ではなく筆画の内部に位置する。
及び、前記の共線線分は下記の条件を満たす。
１）線分1（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及び｜ρ１−ρ２｜が閾値より小さいことを満足する。
２）水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さい。
３）二本の線分の間における画素は背景ではなく筆画の内部に位置することを満足する。

第３の案では、隠蔽された文字の復元方法は、入力画像におけるテキスト領域を認識対象である目標文字、背景と前景に分割するステップと、上述の方法によってテキスト領域中の認識対象である隠蔽された文字を復元するステップと、及び復元された文字を認識するステップとを含む。

第３の案の好ましい実施例の一つによる隠蔽された文字の復元方法は、テキスト領域から認識対象である目標文字を含む目標領域を抽出するステップを更に含む。

第３の案の具体的な実施例の一つにおいて、テキスト領域から認識対象である目標文字を含む目標領域を抽出するステップは、目標文字の輪郭画素を抽出すること、水平方向θと垂直方向（９０−θ）において輪郭画素に対してＨｏｕｇｈ変換を実行するステップと（ここでθは目標文字の回転角度を示す）、水平方向θと垂直方向（９０−θ）に沿ってＨｏｕｇｈ変換中の最小と最大距離値ρ_h1、ρ_h2、ρ_v1とρ_v2を求めるステップと、四本の線（ρ_h1、９０−θ）、（ρ_h2、９０−θ）、（ρ_v1、θ）、（ρ_v2、θ）を使用して四つの角を算出するステップと、四つの角を覆う領域を目標領域として切り出すステップとを含む。

第４の案では、画像処理装置は、復元対象である隠蔽された文字を含む目標文字の筆画の幅に基づいて画像ブロックサイズを算出する画像ブロックサイズ算出部と、目標文字を含む入力画像の目標領域において元領域を標記する元領域標記部とを有する。また、画像処理装置は、元領域における画素に対してそれぞれを中心とする各参考画像ブロックを生成する参考画像ブロック生成部と、補完対象である入力画像の前景の境界を抽出する境界抽出部とを有する。画像処理装置は、前景の境界における画素毎に、当該画素を中心とする画像ブロックの複雑度に応じて補完優先順位を算出する補完優先順位算出部を有する。また、画像処理装置は、参考画像ブロックにおける最も類似している画像ブロックを使用して、最も高い優先順位を有する画素を中心とする画像ブロックを補完する前景補完部を有する。そして、画像処理装置は、前景の補完が全て完了していない場合には、境界抽出部の処理を実行する判断部を有する。

補完優先順位算出部は、画像ブロック内部の背景画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の補完対象である目標文字画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の異なる勾配ベクトルの数に基づいた複雑度とから補完優先順位を算出する。

第４の案の実施例の一つによる画像処理装置において、画像ブロックサイズを目標文字の筆画の幅から算出する。

第４の案による画像処理装置において、元領域標記部は、目標文字における画素及びその画像ブロックにおける全ての隣接する画素を含む第一のマスクを生成する。また、元領域標記部は、前景画素及びその画像ブロックにおける全ての隣接する画素以外の目標領域全体を含む第二のマスクを生成する。そして、元領域標記部は、第一のマスクと第二のマスクの重複領域を元領域として抽出する。

第４の案の好ましい実施例の一つによる画像処理装置は、入力画像を圧縮し、参考画像ブロックを選別する。

第５の案では、画像処理装置は、目標文字の輪郭画素を抽出する輪郭画素抽出部と、抽出された輪郭画素に基づいて目標文字の線分を捕捉する線分捕捉部とを有する。また、画像処理装置は、捕捉された線分に基づいて、一つの筆画の対になる線分であると想定される平行線分を選択する平行線分選択部と、選択された平行線分に基づいて共線線分を平行線ペアとして連結する共線線分連結部とを有する。そして、画像処理装置は、目標文字のグレー値を使用して各平行線ペアのそれぞれにより限定された領域を補完する領域補完部を有する。

第５の案の実施例の一つによる画像処理装置は、捕捉された線分に基づいて目標文字の筆画の幅を推定する筆画幅推定部と、目標文字の投影軸における文字幅と文字高さを推定するサイズ範囲推定部とを更に含む。ここで、Ｈｏｕｇｈ変換領域においては、前記の選択された平行線分は下記の条件を満たす。
１）線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅SWについては、θ１＝θ２及びａ＊ＳＷ＜｜ρ１−ρ２｜＜ｂ＊ＳＷを満足すること（ここで、θは線分の回転角度を示し、ρは線分の零点までの距離を示し、ａ＊ＳＷとｂ＊ＳＷは閾値である）。
２）水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい、一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さい。
３）二本の線分の間における画素は背景ではなく筆画の内部に位置することを満足する。
及び、前記の共線線分は下記の条件を満たす。
１）線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及び｜ρ１−ρ２｜が閾値より小さいことを満足する。
２）水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい、かつ、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さい。
３）二本の線分の間における画素は背景ではなく筆画の内部に位置することを満足する。

第６の案では、画像処理装置は、入力画像におけるテキスト領域を認識対象である目標文字、背景と前景に分割する分割部、上述のような隠蔽された文字の復元装置、及び復元された文字を認識する文字認識部とを有する。

第６の案の実施例の一つによる画像処理装置は、テキスト領域から認識対象である目標文字を含む目標領域を抽出する目標領域抽出部を更に含む。

第６の案の具体的な実施例の一つにおいて、目標領域抽出部は、目標文字の輪郭画素を抽出し、水平方向θと垂直方向（９０−θ）において輪郭画素に対してＨｏｕｇｈ変換を実行し、ここで、θは目標文字の回転角度を示し、水平方向θと垂直方向（９０−θ）に沿ってＨｏｕｇｈ変換中の最小と最大距離値ρ_h1、ρ_h2、ρ_v1とρ_v2を求め、四本の線（ρ_h1、９０−θ）、（ρ_h2、９０−θ）、（ρ_v1、θ）、（ρ_v2、θ）を使用して四つの角を算出し、更に四つの角を覆う領域を目標領域として切り出す。

また、第７の案では、記憶媒体は、機器で読取可能なプログラムコードを含み、情報処理装置においてプログラムコードが実行されると、プログラムコードが情報処理装置に隠蔽された文字の復元方法を実行させる。

また、第８の案では、プログラム製品は、機器で実行可能な命令を含み、情報処理装置において命令が実行されると、命令が情報処理装置に隠蔽された文字の復元方法を実行させる。

本願の開示する隠蔽された文字の復元方法及び画像処理装置の一つの態様によれば、隠蔽された文字を正確に復元することができるという効果を奏する。

図１は、実施例１に係る隠蔽された文字の復元方法の処理の処理手順を示すフローチャートである。 図２Ａは、最初に入力した隠蔽付の画像の一例を示す図である。 図２Ｂは、７×７サイズの画像ブロックが選択された場合の復元結果を示す図である。 図２Ｃは、１７×１７サイズの画像ブロックが選択された場合の復元結果を示す図である。 図３は、標記された元領域の一例を示す図である。 図４Ａは、複雑度が最も低い画像ブロックの一例を示す図である。 図４Ｂは、複雑度が低い画像ブロックの一例を示す図である。 図４Ｃは、複雑度が高い画像ブロックの一例を示す図である。 図４Ｄは、複雑度が最も高い画像ブロックの一例を示す図である。 図５は、実施例２に係る隠蔽された文字の復元方法の処理の処理手順を示すフローチャートである。 図６は、復元対象である隠蔽された文字の一例を示す図である。 図７は、図６における目標文字の輪郭画素を抽出した一例を示す図である。 図８は、図７における目標文字の輪郭画素に対して捕捉した文字線分の一例を示す図である。 図９は、実施例２において目標文字サイズを推定する一例を示す図である。 図１０は、実施例２において二本の線分の間における画素の帰属を判定する一例を示す図である。 図１１は、図８に示した捕捉した文字線分から選択された平行線分の一例を示す図である。 図１２は、図１１に示した平行線分に対して共線線分の連結処理を実行した結果の一例を示す図である。 図１３は、実施例２において目標文字の平行線分の間の領域を補完する一例を示す図である。 図１４Ａは、補完前の目標文字の一例を模式的に示す図である。 図１４Ｂは、補完後の目標文字の一例を模式的に示す図である。 図１５は、実施例３に係る隠蔽された文字の復元方法の処理の処理手順を示すフローチャートである。 図１６Ａは、実施例３における認識対象である隠蔽された文字を含む入力画像の一例を示す図である。 図１６Ｂは、図１６Ａに示す入力画像に対して、画像テキスト領域分割ステップを実行した結果の一例を示す図である。 図１６Ｃは、図１６Ｂに示す画像テキスト領域に対して目標領域を抽出する処理を実行した結果の一例を示す図である。 図１６Ｄは、図１６Ｃに示す目標領域に対して隠蔽された文字を復元する処理を実行した結果の一例を示す図である。 図１６Ｅは、図１６Ｄに示す復元後の隠蔽された文字を認識する処理を実行した結果の一例を示す図である。 図１７は、実施例３における目標文字の抽出方法の一例を模式的に示した図である。 図１８は、実施例４に係る画像処理装置の構成を示すブロック図である。 図１９は、実施例５に係る画像処理装置の構成を示すブロック図である。 図２０は、実施例６に画像処理装置の構成を示すブロック図である。 図２１は、開示技術による隠蔽された文字の復元方法を実行する情報処理装置の構成を示すブロック図である。 図２２は、前景に隠蔽された透かし文字の一例を示す図である。

以下に図面と合わせて開示技術の実施例を説明する。説明を簡潔で明確にするために、実際の実施形態の全ての特徴を明細書に記載していないが、いかなる実施例を実用化する場合にも、開発者は、具体的な目的を達成できるように、実施形態に応じて多くの決定を行うことになる。例えば、システム及び業務に関連する制約条件に適合させてもよく、また、これらの制約条件を実施形態によって変更してもよい。これら以外にも、開発作業は非常に複雑で時間を必要とするが、この開示技術からアイデアを得る当業者にとって、これらの作業は実用化に伴う義務に過ぎない。

ここで、開示技術が不明確になるのを避けるために、図面には開示技術と直接関係する装置の構造及び/又は処理のステップのみを示し、開示技術と直接関係しない他のものを省略した。また、開示技術の一つの図面又は一種の実施形態に記載された要素及び特徴は、その他の一つ又は複数の図面あるいは実施形態に示された要素及び特徴と組み合わせてもよい。

以下の図面に基づく開示技術の実施例についての説明を参照すると、開示技術の目的、特徴と利点がより理解し易くなる。図面における要素及び特徴は、開示技術の仕組みを示すために過ぎない。図面には、同一又は類似の技術的特徴又は要素には、同一または類似の符号を付している。

以下に、図面に基づいて、開示技術による隠蔽された文字の復元方法について詳しく説明する。例えば、画像処理装置は、図２２に示した透かしを分離、復元して、認識する。

図１は、実施例１に係る隠蔽された文字の復元方法の処理の処理手順を示すフローチャートである。図１に示したように、実施例１に係る隠蔽された文字の復元方法において、画像処理装置は、入力画像圧縮ステップＳ２１０、画像ブロックサイズ算出ステップＳ２２０、元領域標記ステップＳ２３０、参考画像ブロック生成ステップＳ２４０を実行する。続いて、画像処理装置は、参考画像ブロック選別ステップＳ２５０、境界抽出ステップＳ２６０、補完優先順位算出ステップＳ２７０、前景補完ステップＳ２８０、及び判定ステップＳ２９０を実行する。

画像処理装置は、処理の速度を上げるため、ステップＳ２１０で入力画像を圧縮する。入力画像の圧縮方法は、圧縮後の画像のサイズが適切であり、かつ筆画の幅が十分であれば、当分野における任意の公知の技術を利用してもよい。なお、この入力画像圧縮ステップＳ２１０は省略可能なステップである。すなわち、画像処理装置は、入力画像を圧縮せずに画像ブロックサイズ算出ステップＳ２２０から処理を開始してもよい。

画像処理装置は、画像ブロックサイズ算出ステップＳ２２０において、復元対象である隠蔽された文字（すなわち認識対象である隠蔽された文字である）を含む目標文字の筆画の幅に応じて画像ブロックサイズを算出する。実験によると、画像ブロックサイズによって、最後の復元結果への影響が異なることを判明している。図２Ａ〜図２Ｃは、画像ブロックサイズによる隠蔽された文字の復元品質への影響の例を示している。図２Ａは、最初に入力した隠蔽付の画像の一例を示す図であり、図２Ｂは、７×７サイズの画像ブロックが選択された場合の復元結果を示す図であり、図２Ｃは１７×１７サイズの画像ブロックが選択された場合の復元結果を示す図である。これらは、同じ寸法サイズのテキスト画像に対して異なる画像ブロックサイズを選択した場合、画像処理装置による復元効果が異なることを示す。

好ましくは、開示技術の具体的な一例によれば、画像ブロックサイズＳを式（５）により算出する。

ここで、ＳＷは、目標文字の筆画の幅を示す。画像処理装置は、実施例１により算出した画像ブロックサイズを選択した場合、隠蔽された文字を正確に復元する。

画像ブロックサイズを算出した後、画像処理装置は、元領域標記ステップＳ２３０において、目標文字を含む入力画像の目標領域において元領域を標記する。具体的には、実施例１によれば、画像処理装置は、まず目標文字における画素及び該画素の画像ブロックにおける全ての隣接する画素を含む第一のマスクを生成する。次に、画像処理装置は、前景画素及び該前景画素の画像ブロックにおける全ての隣接する画素以外の目標領域全体を含む第二のマスクを生成する。そして、画像処理装置は、第一のマスクと第二のマスクの重複領域を元領域として抽出する。例えば、画像処理装置は、元領域標記ステップＳ２３０において、図３に示すように元領域を標記する。なお、図３は、標記された元領域の一例を示す図である。

次に、画像処理装置は、参考画像ブロック生成ステップＳ２４０において、ステップＳ２３０で標記された元領域における画素に対して参考画像ブロックを生成する。ここで、画像処理装置は、元領域における画素のそれぞれを一つの参考画像ブロックの中心とする。言い換えると、画像処理装置は、元領域における画素に対してそれぞれを中心とする各参考画像ブロックを生成する。画像処理装置は、参考画像ブロックの画像ブロックサイズとして、ステップＳ２２０で算出した画像ブロックサイズの大きさを選択する。

生成された参考画像ブロックの数が多く、かつ類似する画像ブロックが多い場合、画像処理装置は、参考画像ブロック選別ステップＳ２５０において、ステップＳ２４０で生成した参考画像ブロックを選別する。そして、画像処理装置は、類似度の高い参考画像ブロックを一つの参考画像ブロックに合併する。これにより、画像処理装置は、記憶スペースを節約し、かつ後述の前景補完時の探索速度を向上する。なお、画像処理装置は、参考画像ブロック選別ステップＳ２５０を実行せずに、境界抽出ステップＳ２６０を実行しても良い。

次に、画像処理装置は、境界抽出ステップＳ２６０において、補完対象である入力画像の前景の境界を抽出する。続いて、画像処理装置は、補完優先順位算出ステップＳ２７０において、前景の境界における画素毎に、該画素を中心とする画像ブロックの複雑度に応じて補完優先順位を算出する。

次に、画像処理装置は、前景補完ステップＳ２８０において、参考画像ブロックにおける最も類似している画像ブロックを使用して、最も高い優先順位を有する画素を中心とする画像ブロックを補完する。言い換えると、画像処置装置は、最高の優先順位を有する画素に対して、参考画像ブロックから最も類似する画像ブロックを探索する。そして、画像処理装置は、探索された画像ブロックを当該最高の優先順位を有する画素を中心とする画像ブロックに複製して、補完後の前景の境界を更新する。画像処理装置は、参考画像ブロックを探索する場合に、任意の公知の技術、例えばユークリッド距離等により、補完対象である画像ブロックと最も類似した参考画像ブロックを探索する。

その後、画像処理装置は、判定ステップＳ２９０において、前景の補完が全て完了していない場合には、補完対象である入力画像における前景の境界の抽出処理を実行する。言い換えると、画像処理装置は、前景全体の補完が完了したか否かを判定し、補完していない前景の境界がまだ存在していると判定した場合には、境界抽出ステップＳ２６０に戻って、以降の処理を順次に実行する。

一方、画像処理装置は、判定ステップＳ２９０において、前景全体の補完が完了したと判定した場合には、処理を終了する。

実施例１によれば、画像処理装置は、主に画像ブロックの構成の複雑度に基づいて補完の順序を特定する。これは、補完時の再構成誤差は、前に補完された領域から、次の補完対象である領域まで影響するからである。したがって、画像処理装置は、再構成誤差が生じる可能性が低い画像ブロックを先に再構成してから、複雑度の順で、再構成する必要がある画像ブロックを補完する。これによって、画像処理装置は、最後に再構成された文字の誤差を最小にする。そして、複雑な構成を有する画像ブロックより、簡単な構成を有する画像ブロックは、参考画像ブロックから正確な類似参考画像ブロックを容易に探索することができる。図４Ａ〜図４Ｄはそれぞれ異なる複雑度を持つ画像ブロックを示している。これにより、図４Ａから図４Ｄまで画像ブロックの複雑度は次第に増加し、簡単な画像ブロックであるほど基本の筆画の要素に近づく。一方、複雑な構成を有する画像ブロックの内部に、一致の特徴を具体化する。

前述のように、簡単な構成を有する画像ブロックを再構成することは、通常、小さい誤差を導入する。したがって、開示技術による具体的な例において、構成の複雑度を計測する因数を使用して補完優先順位に反映する。ここで、画像ブロックの異なるエッジ方向の種類により複雑度Ｃ（ｐ）を定義する。

また、下記の式（４）で示すように、画像ブロック内部の異なる勾配ベクトルの数Ｎ_ｇｖに基づいて複雑度Ｃ（ｐ）を算出する。計算の複雑度を低減するため、実施例１には、下記の式（１）で示した簡単な算式を適用して補完優先順位Ｐ（ｐ）を算出する。式（１）中の項Ｒ（ｐ）とＷ（ｐ）は信頼係数を構成し、かつ下記の式（２）と式（３）によりそれぞれ算出される。ここで、信頼係数Ｒ（ｐ）は、画像ブロック内部の背景画素が占める割合を計測することで算出される。また、Ｗ（ｐ）は、画像ブロック内部の補完対象である目標文字画素が占める割合を計測することで算出される。そして、その内部に補完対象である目標文字画素が存在していない画像ブロックの信頼係数を０とすることにより、再構成の結果に影響せず処理速度を向上することができる。

ここで、前記の式（１）で示した補完優先順位の算出式は、一例に過ぎず、実用化に際しては、状況によって異なる重み係数を使用して複雑度Ｃ_ｐに重み付けすることができるので、状況に適した効果を得られる。

実施例１における隠蔽された文字の復元方法によれば、画像ブロックの構成の複雑度に応じて補完順序を特定することにより、不正確な補完順序による顕著な再構成誤差を避けることができる。また、実施例１における隠蔽された文字の復元方法によれば、更に、復元対象である隠蔽された文字の筆画の幅に基づいて画像ブロックサイズの大きさを特定する。したがって、異なる字体に対して、最適なサイズのマッチング画像ブロックを使用して補完を行うことにより、最適な再構成結果を取得することができる。

なお、実施例１による隠蔽された文字の復元方法において、画像処理装置は、入力画像圧縮ステップＳ２１０と参考画像ブロック選別ステップＳ２５０とを実行しなくてもよく、システム性能と状況に応じて、何れかのステップを選択的に実行するようにしてもよい。

次に図５〜図１４に基づいて実施例２による隠蔽された文字の復元方法の処理を説明する。図５は、実施例２に係る隠蔽された文字の復元方法の処理の処理手順を示すフローチャートであり、図６は、復元対象である隠蔽された文字の一例を示す図である。

ここで、図６に示した復元対象である隠蔽された文字を一例として、図５に示した隠蔽された文字の処理の処理手順を詳しく説明する。

図５に示したように、実施例２に係る隠蔽された文字の復元方法において、画像処理装置は、文字輪郭画素抽出ステップＳ６１０、文字線分捕捉ステップＳ６２０、文字筆画幅推定ステップＳ６３０、文字大きさ範囲推定ステップＳ６４０を実行する。続いて、画像処理装置は、平行線分選択ステップＳ６５０、共線線分連結ステップＳ６６０及び領域補完ステップＳ６７０を実行する。

文字輪郭画素抽出ステップＳ６１０において、画像処理装置は、目標文字の輪郭画素を抽出する。図７は、図６における目標文字の輪郭画素を抽出した一例を示す図である。

次に、文字線分捕捉ステップＳ６２０において、画像処理装置は、抽出された輪郭画素に基づいて目標文字の線分を捕捉する。例えば、画像処理装置は、Ｈｏｕｇｈ変換の結果に応じて、抽出された輪郭画素により、目標文字の水平方向θと垂直方向（９０−θ）における線分を捕捉する。また、画像処理装置は、文字筆画幅推定ステップＳ６３０において、捕捉された線分に基づいて目標文字の筆画の幅を推定する。言い換えると、画像処理装置は、二本の隣接する線分の間の最近距離の平均値を使用して目標文字の筆画の幅を粗略に推定する。図８は、図７における目標文字の輪郭画素に対して捕捉した文字線分の一例を示す図である。なお、図中の四角枠内の部分が復元対象である部分であり、すなわち、興味のある線分である。

次に、文字大きさ範囲推定ステップＳ６４０において、画像処理装置は、目標文字のサイズの範囲を推定する。すなわち、画像処理装置は、目標文字の投影軸における文字幅と文字高さを推定する。図９は、実施例２において目標文字サイズを推定する一例を示す図である。なお、図中に示した「ｗ」は文字の水平軸に投影された文字幅であり、「ｈ」は文字の垂直軸に投影された文字高さである。

ここで、実施例２に係る隠蔽された文字の復元方法において、画像処理装置は、文字筆画幅推定ステップＳ６３０と文字大きさ範囲推定ステップＳ６４０とは、実行しなくてもよい。例えば、画像処理装置は、文字線分捕捉ステップＳ６２０の実行後に、この二つのステップを実行せずに、次の平行線分選択ステップＳ６５０を実行してもよい。

平行線分選択ステップＳ６５０において、画像処理装置は、捕捉された線分に基づいて平行線分を選択する。ここで、選択された平行線分は、一つの筆画の対になる線分と推定することができる。言い換えると、画像処理装置は、捕捉された線分に基づいて、一つの筆画の対になる線分であると推定される平行線分を選択する。

実施例２において、画像処理装置は、既に筆画幅と文字高さを取得しているならば、以下の三つの条件に従って平行線分を選択する。Ｈｏｕｇｈ変換領域において、線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画幅ＳＷについては、θは線分の回転角度を示し、ρは線分の零点までの距離を示す。
条件１）θ１＝θ２及びａ＊ＳＷ＜｜ρ１−ρ２｜＜ｂ＊ＳＷを満足しており、ここで、ａ＊ＳＷとｂ＊ＳＷは閾値であり、例えばそれぞれ１．５＊ＳＷと０．５＊ＳＷである。
条件２）水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい、かつ、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さい。
条件３）二本の線分の間における画素は背景ではなく筆画の内部に位置する。
図１０は、実施例２において二本の線分の間における画素の帰属を判定する一例を示す図である。図１０に示したように、選択された画素が二本の平行線分における各点の間の連結線上に位置するかどうかを検査することによって画素の帰属を判定する。また、図１１は、図８に示した捕捉した文字線分から選択された平行線分の一例を示す図である。

続いて、共線線分連結ステップＳ６６０において、選択された平行線分に基づいて、共線線分を平行線ペアとして連結する。

同様に、開示技術の具体的な一実施例によれば、筆画の幅と文字高さを取得した後に、以下の三つの条件に従って共線線分を選択することができる。Ｈｏｕｇｈ変換領域において、線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画幅ＳＷについては、θは線分の回転角度を示し、ρは線分の零点までの距離を示す。
条件１）θ１＝θ２及び｜ρ１−ρ２｜が閾値、例えば１より小さいことを満足する。
条件２）水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい、かつ、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さい。
条件３）二本の線分の間における画素は背景ではなく筆画の内部に位置する。
図１２は、図１１に示した平行線分に対して共線線分の連結処理を実行した結果の一例を示す図である。

最後に、領域補完ステップＳ６７０において、目標文字のグレー値を使用して各平行線ペアのそれぞれにより限定された領域を補完する。図１３は、実施例２において目標文字の平行線分の間の領域を補完する一例を示す図である。

画像処理装置は、領域補完ステップＳ６７０の処理を完了した後に、隠蔽された目標文字の部分的な筆画を復元する。したがって、画像処理装置は、その後の文字認識処理を便宜として、認識の精度を向上する。図１４に示したように、図１４Ａは、補完前の目標文字の一例を模式的に示す図であり、図１４Ｂは、補完後の目標文字の一例を模式的に示す図である。

以上のように、図面に基づいて開示技術の実施例１及び実施例２に係る、隠蔽された文字の復元方法を詳しく説明した。画像処理装置は、この二つの隠蔽された文字の復元方法を組合せて使用してもよい。この結果、画像処理装置は、より正確に、隠蔽された文字を復元する。そして、画像処理装置は、次に説明する隠蔽された文字の効率的な認識処理をより正確に実行する。

図１５は、実施例３に係る隠蔽された文字の復元方法の処理の処理手順を示すフローチャートである。図１５に示したように、実施例３に係る隠蔽された文字の復元方法において、画像処理装置は、画像テキスト領域分割ステップＳ１６１０、目標領域抽出ステップＳ１６２０、文字筆画復元ステップＳ１６３０、及び文字認識ステップＳ１６４０を実行する。

画像テキスト領域分割ステップＳ１６１０において、画像処理装置は、入力画像に対して検出、分割と量子化を実行して、入力画像におけるテキスト領域を認識対象である目標文字、背景及び前景に分割する。当該ステップにおいて、画像処理装置は、まず入力画像におけるテキスト領域を検出する。画像処理装置は、テキスト文字の相違する特徴、例えば垂直エッジグレー値、テクスチャ又はエッジの方向の変化等に基づいて、テキスト領域を検出する。テキスト領域の検出に関する研究は、既に深く進められており、また、それも開示技術の要点ではないので、ここでは詳細な説明を省略する。次に、画像処理装置は、必要な特定画像調整処理を実行することによって、所望の画像を生成する。例えば、画像処理装置は、画像斜め補正処理、ノイズ除去処理、画像拡大/縮小処理等を実行する。当該ステップを実行した後に、画像処理装置は、テキスト領域を目標文字、前景と背景に分割して、異なるグレー値を割り当てる。図１６Ａは、実施例３における認識対象である隠蔽された文字を含む入力画像の一例を示す図である。図１６Ｂは、図１６Ａに示す入力画像に対して、画像テキスト領域分割ステップを実行した結果の一例を示す図である。

目標領域抽出ステップＳ１６２０において、画像処理装置は、テキスト領域から認識対象である目標文字を含む目標領域を抽出する。

図１７は、実施例３における目標文字の抽出方法の一例を模式的に示した図である。実施例３において、画像処理装置は、図１７に示した下記のステップに従ってテキスト領域から認識対象である目標文字を含む目標領域を抽出する。すなわち、画像処理装置は、目標文字の輪郭画素を抽出し、水平方向θと垂直方向（９０−θ）において輪郭画素に対してＨｏｕｇｈ変換を実行する。ここで、θは、目標文字の回転角度を示す。水平方向θと垂直方向（９０−θ）に沿ってＨｏｕｇｈ変換中の最小と最大距離値ρ_h1、ρ_h2、ρ_v1とρ_v2を求め、四本の線（ρ_h1、９０−θ）、（ρ_h2、９０−θ）、（ρ_v1、θ）、（ρ_v2、θ）を使用して四つの角を算出する。また、算出した四つの角を覆う領域を目標領域として切り出す。図１６Ｃは、図１６Ｂに示す画像テキスト領域に対して目標領域を抽出する処理を実行した結果の一例を示す図である。

ここで、当該目標領域抽出ステップＳ１６２０は、開示技術に対して必須のものではない。つまり、画像処理装置は、画像テキスト領域分割ステップＳ１６１０の終了後に、当該ステップを実行せず、文字筆画復元ステップＳ１６３０を実行してもよい。

文字筆画復元ステップＳ１６３０において、画像処理装置は、実施例１及び実施例２に記載の方法によりテキスト領域における認識対象である隠蔽された文字を復元する。図１６Ｄは、図１６Ｃに示す目標領域に対して隠蔽された文字を復元する処理を実行した結果の一例を示す図である。

最後に、文字認識ステップＳ１６４０において、画像処理装置は、文字筆画復元ステップＳ１６３０で復元された文字を認識する。図１６Ｅは、図１６Ｄに示す復元後の隠蔽された文字を認識する処理を実行した結果の一例を示す図である。

以上に、図１〜図１７に基づいて実施例１〜実施例３に係る隠蔽された文字の復元方法の処理過程を説明した。以下に図１８〜図２０を基づいて開示技術による画像処理装置の動作を説明する。

図１８は、実施例４に係る画像処理装置１９００の構成を示すブロック図である。図１８に示すように、実施例４に係る画像処理装置１９００は、圧縮部１９１０、画像ブロックサイズ算出部１９２０、元領域標記部１９３０、参考画像ブロック生成部１９４０、選別部１９５０、境界抽出部１９６０、補完優先順位算出部１９７０、前景補完部１９８０及び判定部１９９０を備える。圧縮部１９１０は、入力画像を圧縮するように配置される。画像ブロックサイズ算出部１９２０は、復元対象である隠蔽された文字を含む目標文字の筆画の幅に応じて画像ブロックサイズを算出するように配置される。元領域標記部１９３０は、目標文字を含む入力画像における目標領域において元領域を標識するように配置される。参考画像ブロック生成部１９４０は、元領域における画素に対して参考画像ブロックを生成するように配置される。ここで、元領域における画素のそれぞれを一つの参考画像ブロックの中心とする。選別部１９５０は、選考画像ブロックを選別するように配置される。境界抽出部１９６０は、補完対象である入力画像における前景の境界を抽出するように配置される。補完優先順位算出部１９７０は、前景の境界における画素毎に当該画素を中心とする画像ブロックの複雑度に応じて補完優先順位を算出するように配置される。前景補完部１９８０は、参考画像ブロック中の最も類似している画像ブロックを使用して最高の優先順位を有する画素を中心とする画像ブロックを補完するように配置される。判定部１９９０は、前景の補完が全て完了していない場合に境界抽出部１９６０、補完優先順位算出部１９７０及び前景補完部１９８０の処理を繰返して実行するように配置される。

実施例４に係る画像処理装置１９００によれば、画像ブロックサイズ算出部１９２０は下記の式（５）により画像ブロックサイズを算出する。ここでＳＷは目標文字の筆画の幅を示す。

実施例４に係る画像処理装置１９００によれば、元領域標記部１９３０は、目標文字における画素及びその画像ブロックにおける全ての隣接する画素を含む第一のマスクを生成する。また、元領域標記部１９３０は、前景画素及びその画像ブロックにおける全ての隣接する画素以外の目標領域全体を含む第二のマスクを生成する。そして、元領域標記部１９３０は、第一のマスクと第二のマスクの重複領域を元領域として抽出する。

同様に、補完優先順位算出部１９７０は、下記の式により補完優先順位Ｐ（ｐ）を算出する。

実施例４に係る画像処理装置１９００に含まれる圧縮部１９１０における処理は、実施例１に係る隠蔽された文字の復元方法に含まれる入力画像圧縮ステップＳ２１０と同様である。また、画像ブロックサイズ算出部１９２０における処理は、画像ブロックサイズ算出ステップＳ２２０と同様であり、元領域標記部１９３０における処理は、元領域標記ステップＳ２３０と同様である。また、参考画像ブロック生成部１９４０における処理は、参考画像ブロック生成ステップＳ２４０における処理と同様であり、選別部１９５０における処理は、参考画像ブロック選別ステップＳ２５０における処理と同様である。また、境界抽出部１９６０における処理は、境界抽出ステップＳ２６０における処理と同様であり、補完優先順位算出部１９７０における処理は、補完優先順位算出ステップＳ２７０における処理と同様である。また、前景補完部１９８０における処理は、前景補完ステップＳ２８０における処理と同様である。したがって、説明を簡潔にするために、これらの詳細な説明を省略する。

なお、実施例４に係る画像処理装置１９００は、実用化に際して、圧縮部１９１０と選別部１９５０とを有さず、選択的に設置するように構成されてもよい。

図１９は、実施例５に係る画像処理装置２０００の構成を示すブロック図である。図１９に示したように、実施例５に係る画像処理装置２０００は、輪郭画素抽出部２０１０、線分捕捉部２０２０、筆画幅推定部２０３０、サイズ範囲推定部２０４０、平行線分選択部２０５０、共線線分連結部２０６０及び領域補完部２０７０を備える。輪郭画素抽出部２０１０は、目標文字の輪郭画素を抽出するように配置される。線分捕捉部２０２０は、抽出された輪郭画素に基づいて目標文字の線分を捕捉するように配置される。筆画幅推定部２０３０は、捕捉された線分に基づいて目標文字の筆画の幅を推定するように配置される。サイズ範囲推定部２０４０は、目標文字の投影軸における文字幅と文字高さを推定するように配置される。平行線分選択部２０５０は、捕捉された線分に基づいて一つの筆画の対になる線分であると想定される平行線分を選択するように配置される。共線線分連結部２０６０は、選択された平行線分に基づいて共線線分を平行線ペアとして連結するように配置される。領域補完部２０７０は、目標文字のグレー値を使用して各平行線ペアのそれぞれにより限定された領域を補完するように配置される。

同様に、選択された平行線分は、Ｈｏｕｇｈ変換領域において下記の条件を満足しなければならない。
条件１）線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及びａ＊ＳＷ＜｜ρ１−ρ２｜＜ｂ＊ＳＷを満足しており、θは線分の回転角度を示し、ρは線分の零点までの距離を示し、ａ＊ＳＷとｂ＊ＳＷは閾値である。
条件２）水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい、一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さい。
条件３）二本の線分の間における画素は背景ではなく筆画の内部に位置する。

共線線分は、下記の条件を満足しなければならない。
条件１）線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画幅SWについては、θ１＝θ２及び｜ρ１−ρ２｜が閾値より小さいことを満足する。
条件２）水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい、かつ、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さい。
条件３）二本の線分の間における画素は背景ではなく筆画の内部に位置する。

実施例５に係る画像処理装置２０００に含まれる輪郭画素抽出部２０１０における処理は、実施例２に係る隠蔽された文字の復元方法における文字輪郭画素抽出ステップＳ６１０における処理と同様である。また、線分捕捉部２０２０における処理は、文字線分捕捉ステップＳ６２０における処理と同様である。筆画幅推定部２０３０における処理は、文字筆画幅推定ステップＳ６３０における処理と同様である。サイズ範囲推定部２０４０における処理は、文字サイズ範囲推定ステップＳ６４０における処理と同様である。平行線分選択部２０５０における処理は、平行線分選択ステップＳ６５０における処理と同様である。共線線分連結部２０６０における処理は、共線線分連結ステップＳ６６０における処理と同様である。領域補完部２０７０における処理は、領域補完ステップＳ６７０における処理と同様である。したがって、ここでは、説明を簡潔にするために、これら構成部の詳細な説明を省略する。

同様に、実施例５に係る画像処理装置２０００は、筆画幅推定部２０３０とサイズ範囲推定部２０４０とを設置しなくてもよく、システム設計の要求と使用状況に応じて選択的に設置することができるものである。

隠蔽された文字の復元方法と同様に、実施例５及び実施例６に係る画像処理装置を組合せて使用してもよい。この結果、画像処理装置は、より良い復元効果を発揮して、更に、次に説明する隠蔽された文字の効率的な認識処理を正確に実行する。

図２０は、実施例６に係る画像処理装置２１００の構成を示すブロック図である。図２０に示したように、実施例６に係る画像処理装置２１００は、分割部２１１０、目標領域抽出部２１２０、隠蔽された文字の復元装置２１３０及び文字認識部２１４０を有する。分割部２１１０は、入力画像におけるテキスト領域を認識対象である目標文字、背景及び前景に分割するように配置される。目標領域抽出部２１２０は、テキスト領域から認識対象である目標文字を含む目標領域を抽出するように配置される。隠蔽された文字の復元装置２１３０は、隠蔽された文字を復元するように配置され、例えば、実施例４に係る画像処理装置１９００又は実施例５に係る画像処理装置２０００である。文字認識部２１４０は、復元された文字を認識するように配置される。

同様に、具体的な一実施例において、目標領域抽出部２１２０は、目標文字の輪郭画素を抽出し、水平方向θと垂直方向（９０−θ）において輪郭画素に対してＨｏｕｇｈ変換を実行する。ここで、θは目標文字の回転角度を示す。水平方向θと垂直方向（９０−θ）に沿ってＨｏｕｇｈ変換中の最小と最大距離値ρ_h1、ρ_h2、ρ_v1とρ_v2を求め、四本の線（ρ_h1、９０−θ）、（ρ_h2、９０−θ）、（ρ_v1、θ）、（ρ_v2、θ）を使用して四つの角を算出する。また、算出した四つの角を覆う領域を目標領域として切り出す。

実施例６に係る画像処理装置２１００に含まれる分割部２１１０における処理は、図１５〜図１７を参照して説明した隠蔽された文字の復元方法における画像テキスト領域分割ステップＳ１６１０における処理と同様である。また、目標領域抽出部２１２０における処理は、目標領域抽出ステップＳ１６２０における処理と同様である。隠蔽された文字の復元装置２１３０における処理は、文字筆画復元ステップＳ１６３０における処理と同様である。すなわち、隠蔽された文字の復元装置２１３０は、実施例１又は実施例２に係る隠蔽された文字に復元方法を実行する。文字認識部２１４０における処理は、文字認識ステップＳ１６４０における処理と同様である。したがって、説明を簡潔にするために、ここではこれらの構成部の詳細な説明を省略する。

ここで、実施例６に係る画像処理装置２１００は、目標領域抽出部２１２０を設置しなくてもよく、システム設計の要求と使用状況に応じて選択的に設置してもよい。

上述の画像処理装置における各構成モジュール、各構成部は、ソフトウェア、ファームウェア、ハードウェアあるいはそれらの組合せによって配置されてもよい。なお、配置に使用可能な具体的な手法又は方式は公知の技術であり、ここでは説明しない。ソフトウェア又はファームウェアにより実現する場合に、記憶媒体又はネットワークから専用のハードウェア構成を持つコンピュータ（例えば図２１に示した情報処理装置１１００）に対して当該ソフトウェアを構成するプログラムをインストールする。各種プログラムがインストールされると、情報処理装置１１００は、各種機能等を実行する。

図２１は、開示技術による隠蔽された文字の復元方法を実行する情報処理装置１１００の構成を示すブロック図である。図２１においては、中央処理装置（CPU）１１０１は、読取専用メモリ（ROM）１１０２に記憶されたプログラム又は記憶部１１０８からランダムアクセスメモリ（RAM）１１０３にアップロードされたプログラムに従って、各種の処理を実行する。また、ＲＡＭ１１０３は、ＣＰＵ１１０１が各種の処理を実行するとき等に必要なデータを記憶してもよい。ＣＰＵ１１０１、ＲＯＭ１１０２及びＲＡＭ１１０３は、バス１１０４を介して互いに接続されている。同様に入力／出力インタフェース１１０５は、バス１１０４に接続されている。

入力部１１０６と、出力部１１０７と、記憶部１１０８と、通信部１１０９とは、入力／出力インタフェース１１０５に接続されている。ここで、入力部１１０６はキーボード、マウス等を含む。出力部１１０７は、例えばブラウン管（CRT）や液晶ディスプレイ（LCD）等のディスプレイとスピーカ等を含む。記憶部１１０８は、ハードディスク等を含む。通信部１１０９は、例えばＬＡＮカード等のネットワークインターフェースカード、モデム等を含む。通信部１１０９は、例えばインターネット等のネットワークを経由して通信処理を実行する。入力／出力インタフェース１１０５は、ドライブ１１１０とも接続されていてもよい。そして、ドライブ１１１０には、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のような着脱可能な媒体１１１１が取り付けられていてもよい。そして、着脱可能な媒体１１１１から読み出されるコンピュータプログラムが記憶部１１０８にインストールされるようにしてもよい。

ソフトウェアで一連の処理を実行する場合、例えばインターネット等のネットワーク、又は、例えば着脱可能な媒体１１１１のような記憶媒体からソフトウェアを構成するプログラムをインストールする。

このような記憶媒体は、図２１に示したような、媒体中にプログラムが記憶されているものであって、デバイスから分離してユーザにプログラムを提供する着脱可能な媒体１１１１に限定されるものではない。例えば、記憶媒体は、ＲＯＭ１１０２、記憶部１１０８に含まれるハードディスクなどでも良い。これらの記憶媒体にプログラムが記憶されており、かつこれらを含むデバイスと一緒にユーザに提供される。なお、着脱可能な媒体１１１１は、例えば、フロッピー（登録商標）等の磁気ディスク、コンパクトディスクリードオンリーメモリ（CD−ROM）やディジタルヴァーサタイルディスク（DVD）等の光ディスク、ミニディスク（登録商標）等の光磁気ディスク及び半導体メモリである。

開示技術は、機器で読取可能な命令コードが記憶されたプログラム製品を更に提供する。命令コードが機器で読取られて実行されると、開示技術による実施例の方法を実行することができる。

また、機器で読取り可能な命令コードが記憶されたプログラム製品を搭載する記憶媒体も開示技術に含まれる。なお、記憶媒体は、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されるものではない。

以上の実施例の記載においては、実施形態の一例について説明した。また、実施例の記載においては示した特徴は、同一あるいは同様の形態で一つ又は複数の他の実施形態で使用されたり、他の実施例における特徴と組み合わせたり、あるいは他の実施例における特徴と置き換えたりしてもよい。

ここで、専門用語“含む／有する”が本文で使用される場合には、特徴、要素、ステップ又は構成部の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成部の存在又は付加を排除するものではない。

なお、開示技術の方法は明細書において説明した時間順に実行されることには限定されず、その他の時間順に従って、並列にあるいは独立に実行されてもよい。したがって、本明細書で説明した方法の実行順序は開示技術の技術的範囲を限定するものではない。

上記に開示技術の実施例を記載することにより、開示技術を説明したが、全ての実施例はいずれも一例に過ぎず、限定的なものではない。当業者であれば、添付の特許請求の範囲と開示技術の技術的思想に基づいて、開示技術に対する各種の修正、改良あるいは同様な装置等を設計する場合がある。これらの修正、改良あるいは同様な装置等は、当然、開示技術の保護範囲内に含まれるものであると考えられる。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）画像処理装置が、
復元対象である隠蔽された文字を含む目標文字の筆画の幅に応じて画像ブロックサイズを算出するステップと、
前記目標文字を含む入力画像の目標領域において元領域を標記するステップと、
前記元領域における画素に対してそれぞれを中心とする各参考画像ブロックを生成するステップと、
補完対象である入力画像の前景の境界を抽出するステップと、
前記前景の境界における画素毎に、当該画素を中心とする画像ブロックの複雑度に応じて補完優先順位を算出するステップと、
前記参考画像ブロックにおける最も類似している画像ブロックを使用して、最も高い優先順位を有する画素を中心とする画像ブロックを補完するステップと、
前記前景の補完が全て完了していない場合には、前記補完対象である入力画像における前景の境界の抽出処理を実行するステップと
を含む隠蔽された文字の復元方法。

（付記２）画像処理装置が、
画像ブロック内部の背景画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の補完対象である目標文字画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の異なる勾配ベクトルの数に基づいた複雑度とから前記補完優先順位を算出する付記１に記載の隠蔽された文字の復元方法。

（付記３）画像処理装置が、
前記画像ブロックサイズを目標文字の筆画の幅から算出する付記１に記載の隠蔽された文字の復元方法。

（付記４）前記目標文字を含む入力画像の目標領域において元領域を標記するステップは、
前記目標文字における画素及び該画素の画像ブロックにおける全ての隣接する画素を含む第一のマスクを生成するステップと、
前景画素及び該前景画素の画像ブロックにおける全ての隣接する画素以外の目標領域全体を含む第二のマスクを生成するステップと、
前記第一のマスクと第二のマスクの重複領域を元領域として抽出するステップと
を含む、付記１に記載の隠蔽された文字の復元方法。

（付記５）画像処理装置が、
入力画像を圧縮すること、及び/又は、参考画像ブロックを選別することを実行するステップを更に含む、付記１に記載の隠蔽された文字の復元方法。

（付記６）画像処理装置が、
前記目標文字の輪郭画素を抽出するステップと、
前記抽出された輪郭画素に基づいて目標文字の線分を捕捉するステップと、
前記捕捉された線分に基づいて、一つの筆画の対になる線分であると推定される平行線分を選択するステップと、
前記選択された平行線分に基づいて共線線分を平行線ペアとして連結するステップと、
前記目標文字のグレー値を使用して各平行線ペアのそれぞれにより限定された領域を補完するステップと
を更に含む、付記１〜付記５の何れかに記載の隠蔽された文字の復元方法。

（付記７）画像処理装置が、
前記捕捉された線分に基づいて目標文字の筆画の幅を推定するステップと、
前記目標文字の投影軸における文字幅と文字高さを推定するステップとを更に含み、
Ｈｏｕｇｈ変換領域においては、前記の選択された平行線分は、
線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及びａ＊ＳＷ＜｜ρ１−ρ２｜＜ｂ＊ＳＷとし、θは線分の回転角度を示し、ρは線分の零点までの距離を示し、ａ＊ＳＷとｂ＊ＳＷは閾値であること、
水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さいこと、
二本の線分の間における画素は背景ではなく筆画の内部に位置すること
とを満たし、
前記の共線線分は、
線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及び｜ρ１−ρ２｜が閾値より小さいこと、
水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さいこと、
二本の線分の間における画素は背景ではなく筆画の内部に位置すること
とを満たす、付記６に記載の隠蔽された文字の復元方法。

（付記８）画像処理装置が、
入力画像におけるテキスト領域を認識対象である目標文字、背景及び前景に分割するステップと、
復元された文字を認識するステップと
を更に実行する付記１〜付記７の何れかに記載の隠蔽された文字の復元方法。

（付記９）画像処理装置が、
テキスト領域から認識対象である目標文字を含む目標領域を抽出するステップを更に含む、付記８に記載の隠蔽された文字の復元方法。

（付記１０）前記テキスト領域から認識対象である目標文字を含む目標領域を抽出するステップは、
前記目標文字の輪郭画素を抽出するステップと、
θは目標文字の回転角度を示し、水平方向θと垂直方向（９０−θ）において輪郭画素に対してＨｏｕｇｈ変換を実行するステップと、
水平方向θと垂直方向（９０−θ）に沿ってＨｏｕｇｈ変換中の最小と最大距離値ρ_h1、ρ_h2、ρ_v1とρ_v2を求めるステップと、
四本の線（ρ_h1、９０−θ）、（ρ_h2、９０−θ）、（ρ_v1、θ）、（ρ_v2、θ）を使用して四つの角を算出するステップと、
前記四つの角を覆う領域を目標領域として切り出すステップと
を含む、付記９に記載の隠蔽された文字の復元方法。

（付記１１）復元対象である隠蔽された文字を含む目標文字の筆画の幅に基づいて画像ブロックサイズを算出するように配置された画像ブロックサイズ算出部と、
前記目標文字を含む入力画像の目標領域において元領域を標記するように配置された元領域標記部と、
前記元領域における画素に対してそれぞれを中心とする各参考画像ブロックを生成するように配置された参考画像ブロック生成部と、
補完対象である入力画像の前景の境界を抽出するように配置された境界抽出部と、
前記前景の境界における画素毎に、当該画素を中心とする画像ブロックの複雑度に応じて補完優先順位を算出するように配置された補完優先順位算出部と、
前記参考画像ブロックにおける最も類似している画像ブロックを使用して、最も高い優先順位を有する画素を中心とする画像ブロックを補完するように配置された前景補完部と、
前記前景の補完が全て完了していない場合には、前記境界抽出部の処理を実行するように配置された判定部と
を備える画像処理装置。

（付記１２）前記補完優先順位算出部は、画像ブロック内部の背景画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の補完対象である目標文字画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の異なる勾配ベクトルの数に基づいた複雑度とから前記補完優先順位を算出する、付記１１に記載の画像処理装置。

（付記１３）前記画像ブロックサイズ算出部は、前記画像ブロックサイズを目標文字の筆画の幅から算出する、付記１１に記載の画像処理装置。

（付記１４）前記元領域標記部は、
前記目標文字における画素及び該画素の画像ブロックにおける全ての隣接する画素を含む第一のマスクを生成し、
前景画素及び該前景画素の画像ブロックにおける全ての隣接する画素以外の目標領域全体を含む第二のマスクを生成し、
前記第一のマスクと第二のマスクの重複領域を元領域として抽出する、
付記１１に記載の画像処理装置。

（付記１５）入力画像を圧縮するように配置された圧縮部と、
参考画像ブロックを選別するように配置された選別部と
を更に備える、付記１１に記載の画像処理装置。

（付記１６）前記目標文字の輪郭画素を抽出するように配置された輪郭画素抽出部と、
前記抽出された輪郭画素に基づいて目標文字の線分を捕捉するように配置された線分捕捉部と、
前記捕捉された線分に基づいて、一つの筆画の対になる線分であると推定される平行線分を選択するように配置された平行線分選択部と、
前記選択された平行線分に基づいて共線線分を平行線ペアとして連結するように配置された共線線分連結部と、
前記目標文字のグレー値を使用して各平行線ペアのそれぞれにより限定された領域を補完するように配置された領域補完部と
を更に備える、付記１１〜付記１５の何れかに記載の画像処理装置。

（付記１７）前記捕捉された線分に基づいて目標文字の筆画の幅を推定するように配置された筆画幅推定部と、
前記目標文字の投影軸における文字幅と文字高さを推定するように配置されたサイズ範囲推定部とを更に備え、
Ｈｏｕｇｈ変換領域においては、前記の選択された平行線分は、
線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及びａ＊ＳＷ＜｜ρ１−ρ２｜＜ｂ＊ＳＷとし、θは線分の回転角度を示し、ρは線分の零点までの距離を示し、ａ＊ＳＷとｂ＊ＳＷは閾値であること、
水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さいこと、
二本の線分の間における画素は背景ではなく筆画の内部に位置することを満たし、
前記の共線線分は、
線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及び｜ρ１−ρ２｜が閾値より小さいこと、
水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さいこと、
二本の線分の間における画素は背景ではなく筆画の内部に位置すること
とを満たす、付記１６に記載の画像処理装置。

（付記１８）入力画像におけるテキスト領域を認識対象である目標文字、背景と前景に分割するように配置された分割部と、
復元された文字を認識するように配置された文字認識部と
を更に有する、付記１１〜付記１７の何れかに記載の画像処理装置。

（付記１９）テキスト領域から認識対象である目標文字を含む目標領域を抽出するように配置された目標領域抽出部を更に備える、付記１８に記載の隠蔽された画像処理装置。

（付記２０）前記目標領域抽出部は、
前記目標文字の輪郭画素を抽出し、
θは目標文字の回転角度を示し、水平方向θと垂直方向（９０−θ）において輪郭画素に対してＨｏｕｇｈ変換を実行し、
水平方向θと垂直方向（９０−θ）に沿ってＨｏｕｇｈ変換中の最小と最大距離値ρ_h1、ρ_h2、ρ_v1とρ_v2を求め、
四本の線（ρ_h1、９０−θ）、（ρ_h2、９０−θ）、（ρ_v1、θ）、（ρ_v2、θ）を使用して四つの角を算出し、
前記四つの角を覆う領域を目標領域として切り出す、
付記１９に記載の隠蔽された画像処理装置。

１１００ 情報処理装置
１１０１ 中央処理総理（CPU）
１１０２ 読取専用メモリ（ROM）
１１０３ ランダムアクセスメモリ（RAM）
１１０４ バス
１１０５ 入力／出力インタフェース
１１０６ 入力部
１１０７ 出力部
１１０８ 記憶部
１１０９ 通信部
１１１０ ドライブ
１１１１ 着脱可能な媒体
１９００ 画像処理装置
１９１０ 圧縮部
１９２０ 画像ブロックサイズ算出部
１９３０ 元領域標記部
１９４０ 参考画像ブロック生成部
１９５０ 選別部
１９６０ 境界抽出部
１９７０ 補完優先順位算出部
１９８０ 前景補完部
１９９０ 判定部
２０００ 画像処理装置
２０１０ 輪郭画素抽出部
２０２０ 線分捕捉部
２０３０ 筆画幅推定部
２０４０ サイズ範囲推定部
２０５０ 平行線分選択部
２０６０ 共線線分連結部
２０７０ 領域補完部
２１００ 画像処理装置
２１１０ 分割部
２１２０ 目標領域抽出部
２１３０ 隠蔽された文字の復元装置
２１４０ 文字認識部

Claims (9)

1. 画像処理装置が、
   復元対象である隠蔽された文字を含む目標文字の筆画の幅に応じて画像ブロックサイズを算出するステップと、
   前記目標文字を含む入力画像の目標領域において元領域を標記するステップと、
   前記元領域における画素に対してそれぞれを中心とする各参考画像ブロックを生成するステップと、
   補完対象である入力画像の前景の境界を抽出するステップと、
   前記前景の境界における画素毎に、当該画素を中心とする画像ブロックの複雑度に応じて補完優先順位を算出するステップと、
   前記参考画像ブロックにおける最も類似している画像ブロックを使用して、最も高い優先順位を有する画素を中心とする画像ブロックを補完するステップと、
   前記前景の補完が全て完了していない場合には、前記補完対象である入力画像における前景の境界の抽出処理を実行するステップと
   を含む隠蔽された文字の復元方法。
2. 画像処理装置が、
   画像ブロック内部の背景画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の補完対象である目標文字画素が占める割合を計測して算出した信頼係数と、画像ブロック内部の異なる勾配ベクトルの数に基づいた複雑度とから前記補完優先順位を算出する請求項１に記載の隠蔽された文字の復元方法。
3. 画像処理装置が、
   前記画像ブロックサイズを目標文字の筆画の幅から算出する請求項１に記載の隠蔽された文字の復元方法。
4. 前記目標文字を含む入力画像の目標領域において元領域を標記するステップは、
   前記目標文字における画素及び該画素の画像ブロックにおける全ての隣接する画素を含む第一のマスクを生成するステップと、
   前景画素及び該前景画素の画像ブロックにおける全ての隣接する画素以外の目標領域全体を含む第二のマスクを生成するステップと、
   前記第一のマスクと第二のマスクの重複領域を元領域として抽出するステップと
   を含む、請求項１に記載の隠蔽された文字の復元方法。
5. 画像処理装置が、
   入力画像を圧縮すること、及び/又は、参考画像ブロックを選別することを実行するステップを更に含む、請求項１に記載の隠蔽された文字の復元方法。
6. 画像処理装置が、
   前記目標文字の輪郭画素を抽出するステップと、
   前記抽出された輪郭画素に基づいて目標文字の線分を捕捉するステップと、
   前記捕捉された線分に基づいて、一つの筆画の対になる線分であると推定される平行線分を選択するステップと、
   前記選択された平行線分に基づいて共線線分を平行線ペアとして連結するステップと、
   前記目標文字のグレー値を使用して各平行線ペアのそれぞれにより限定された領域を補完するステップと
   を更に含む、請求項１〜請求項５の何れかに記載の隠蔽された文字の復元方法。
7. 画像処理装置が、
   前記捕捉された線分に基づいて目標文字の筆画の幅を推定するステップと、
   前記目標文字の投影軸における文字幅と文字高さを推定するステップとを更に含み、
   Ｈｏｕｇｈ変換領域においては、前記の選択された平行線分は、
   線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及びａ＊ＳＷ＜｜ρ１−ρ２｜＜ｂ＊ＳＷとし、θは線分の回転角度を示し、ρは線分の零点までの距離を示し、ａ＊ＳＷとｂ＊ＳＷは閾値であること、
   水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さいこと、
   二本の線分の間における画素は背景ではなく筆画の内部に位置すること
   とを満たし、
   前記の共線線分は、
   線分１（θ１、ρ１）、線分２（θ２、ρ２）と筆画の幅ＳＷについては、θ１＝θ２及び｜ρ１−ρ２｜が閾値より小さいこと、
   水平線分については、水平方向θに沿う投影線の間の距離は文字幅よりも小さい一方、垂直線分については、垂直方向（９０−θ）に沿う投影線の間の距離は文字高さよりも小さいこと、
   二本の線分の間における画素は背景ではなく筆画の内部に位置すること
   とを満たす、請求項６に記載の隠蔽された文字の復元方法。
8. 画像処理装置が、
   入力画像におけるテキスト領域を認識対象である目標文字、背景及び前景に分割するステップと、
   復元された文字を認識するステップと
   を更に実行する請求項１〜請求項７の何れかに記載の隠蔽された文字の復元方法。
9. 復元対象である隠蔽された文字を含む目標文字の筆画の幅に基づいて画像ブロックサイズを算出するように配置された画像ブロックサイズ算出部と、
   前記目標文字を含む入力画像の目標領域において元領域を標記するように配置された元領域標記部と、
   前記元領域における画素に対してそれぞれを中心とする各参考画像ブロックを生成するように配置された参考画像ブロック生成部と、
   補完対象である入力画像の前景の境界を抽出するように配置された境界抽出部と、
   前記前景の境界における画素毎に、当該画素を中心とする画像ブロックの複雑度に応じて補完優先順位を算出するように配置された補完優先順位算出部と、
   前記参考画像ブロックにおける最も類似している画像ブロックを使用して、最も高い優先順位を有する画素を中心とする画像ブロックを補完するように配置された前景補完部と、
   前記前景の補完が全て完了していない場合には、前記境界抽出部の処理を実行するように配置された判定部と
   を備える画像処理装置。

Images