JP7234719B2 - 画像処理装置及びプログラム - Google Patents

Description

本開示の技術は、画像処理装置及びプログラムに関する。

特許文献１には、複数の画素によって画像が表された画像データから、第１階調の画素と第２階調の画素とを特定する第１特定手段と、前記第１特定手段により第１階調と特定され、かつ、互いに連続する画素により形成される領域であって、大きさに関して予め決められた第１条件を満たす領域を第１要素として複数抽出する第１抽出手段と、前記第１特定手段により第２階調と特定され、かつ、前記第１抽出手段により抽出された２つの第１要素に挟まれた画素により形成される領域であって、大きさに関して予め決められた第２条件を満たす領域を第２要素として抽出する第２抽出手段と、前記第１抽出手段により抽出された第１要素と前記第２抽出手段により抽出された第２要素とを特定の線種の線を構成する要素の候補として登録する登録手段と、前記登録手段により登録されている候補であって、直線状に連続し、かつ、統合される線に含まれる候補又は当該線の線種に応じて定まる統合条件を満たす前記第１要素と前記第２要素とを統合して線とする統合手段と、前記統合手段により統合された線の全部又は一部の特徴量を算出する算出手段と、前記統合条件を補正する補正手段と、を備え、前記補正手段は、前記算出手段により算出された特徴量又は前記線種毎に予め決められている特徴量に応じて前記統合条件を補正し、前記統合手段は、当該統合手段が統合した線に連続し、かつ、前記補正手段により補正された統合条件を満たす前記候補がある場合に、当該線と当該候補とを統合することを特徴とする画像処理装置が開示されている。

特許文献２には、帳票のイメージデータから点線候補を抽出する抽出手段と、抽出された複数の点線候補の点線の太さ、長さ、間隔を特徴情報として収集する特徴収集手段と、認識対象の同一文字枠内又は他の文字枠内の点線候補の前記特徴情報に基づいて、認識対象の文字枠の点線候補箇所を推定する推定手段と、前記抽出手段により抽出された前記点線候補と前記推定手段により推定された前記点線候補を前記イメージデータから除去する除去手段と、前記除去手段により前記点線候補が除去されたイメージデータの文字の認識を行う文字認手段とを備え、前記推定手段は、認識対象の前記同一文字枠内又は他の文字枠内の点線候補の前記特徴情報と前記点線候補間の間隔を示す情報に基づいて、認識対象の前記文字枠内の点線候補箇所と点線の種類を推定する文字認識装置が開示されている。

特開２０１２－５３６１７号公報 特許第５３８５３７２号

本開示の技術は、画像を文字と標章とに分類する場合に断続線が文字に分類されることによって断続線が除去されない不具合を解消することができる画像処理装置及びプログラムを提供する。

第１の態様は、画像を取得する取得部と、前記取得部により取得された前記画像が分類部によって文字と標章とに分類される前段階で、機械学習を用いて前記文字を形成する線とは異なる断続線を標章化することで前記画像を修正する修正部と、を含む画像処理装置である。

第２の態様は、前記修正部は、前記断続線を実線化することで標章化する第１の態様に係る画像処理装置である。

第３の態様は、前記機械学習は、画像生成ネットワークを利用した機械学習であり、前記修正部は、前記画像生成ネットワークに含まれる生成器を用いて前記断続線を実線化する第２の態様に係る画像処理装置である。

第４の態様は、前記修正部は、前記画像生成ネットワークに含まれる識別器と競合することで学習済みの前記生成器に対して前記断続線を実線化させる第３の態様に係る画像処理装置である。

第５の態様は、前記修正部は、前記生成器に対して、前記取得部により取得された前記画像から前記断続線を実線化した実線化画像を生成させることで前記画像を修正する第４の態様に係る画像処理装置である。

第６の態様は、前記修正部は、前記画像生成ネットワークに含まれる識別器と競合することで学習済みの前記生成器での学習結果を取得し、取得した前記学習結果を用いて前記断続線を実線化する第３の態様に係る画像処理装置である。

第７の態様は、前記修正部は、前記取得部により取得された前記画像から前記学習結果を用いて前記断続線を実線化した実線化画像を生成することで前記画像を修正する第６の態様に係る画像処理装置である。

第８の態様は、画像を取得する取得部と、前記取得部により取得された前記画像が分類部によって文字と標章とに分類される前段階で、機械学習を用いて前記文字を形成する線とは異なる断続線を除去することで前記画像を修正する修正部と、を含む画像処理装置である。

第９の態様は、前記機械学習は、画像生成ネットワークを利用した機械学習であり、前記修正部は、前記画像生成ネットワークに含まれる生成器を用いて前記断続線を除去する第８の態様に係る画像処理装置である。

第１０の態様は、前記修正部は、前記画像生成ネットワークに含まれる識別器と競合することで学習済みの前記生成器に対して前記断続線を除去させる第９の態様に係る画像処理装置である。

第１１の態様は、前記修正部は、前記生成器に対して、前記取得部により取得された前記画像から前記断続線を除去した断続線除去画像を生成させることで前記画像を修正する第１０の態様に係る画像処理装置である。

第１２の態様は、前記修正部は、前記画像生成ネットワークに含まれる識別器と競合することで学習済みの前記生成器での学習結果を取得し、取得した前記学習結果を用いて前記断続線を除去する第９の態様に係る画像処理装置である。

第１３の態様は、前記修正部は、前記取得部により取得された前記画像から前記学習結果を用いて前記断続線を除去した断続線除去画像を生成することで前記画像を修正する第１２の態様に係る画像処理装置である。

第１４の態様は、前記修正部により前記画像が修正されることで得られた修正済み画像から前記文字を含む文字領域を抽出する抽出部を更に含む第１の態様から第１３の態様の何れか１つの態様に係る画像処理装置である。

第１５の態様は、前記抽出部により抽出された前記文字領域を対象として文字認識を行う文字認識部を更に含む第１４の態様に係る画像処理装置である。

第１６の態様は、表示部に対して前記文字認識部による文字認識結果を表示させる制御を行う制御部を更に含む第１５の態様に係る画像処理装置である。

第１７の態様は、前記前段階で、文字認識機能により文字認識を行う対象として定められた文字認識対象画像が分割されることで得られた複数の分割画像のうちの前記文字認識機能により前記文字が誤認識された分割画像が前記取得部によって前記画像として取得される第１の態様から第１６の態様の何れか１つの態様に係る画像処理装置である。

第１８の態様は、コンピュータを、第１の態様から第１７の態様の何れか１つの態様に係る画像処理装置に含まれる前記取得部及び前記修正部として機能させるためのプログラムである。

第１の態様、第８の態様、及び第１８の態様によれば、画像を文字と標章とに分類する場合に断続線が文字に分類されることによって断続線が除去されない不具合を解消することができる、という効果が得られる。

第２の態様によれば、画像に含まれる断続線を残したまま画像を文字と標章とに分類する場合に比べ、画像を文字と標章とに分類する精度を高めることができる、という効果が得られる。

第３の態様によれば、画像生成ネットワークに含まれる生成器を用いずに断続線を実線化する場合に比べ、様々な断続線のパターンを定義する手間を軽減することができる、という効果が得られる。

第４の態様によれば、断続線の実線化の精度を向上させることができる、という効果が得られる。

第５の態様によれば、断続線の実線化の精度を向上させることができる、という効果が得られる。

第６の態様によれば、断続線の実線化の精度を向上させることができる、という効果が得られる。

第７の態様によれば、断続線の実線化の精度を向上させることができる、という効果が得られる。

第９の態様によれば、画像生成ネットワークに含まれる生成器を用いずに断続線を除去する場合に比べ、断続線を除去する手間を軽減することができる、という効果が得られる。

第１０の態様によれば、修正部のみで断続線を除去する処理が行われる場合に比べ、修正部での断続線の除去に要する処理負荷を軽減することができる、という効果が得られる。

第１１の態様によれば、修正部のみで断続線除去画像を生成する場合に比べ、修正部での断続線除去画像の生成に要する処理負荷を軽減することができる、という効果が得られる。

第１２の態様によれば、生成器に対して断続線を除去させる場合に比べ、生成器での断続線の除去に要する処理負荷を軽減することができる、という効果が得られる。

第１３の態様によれば、生成器に対して断続線除去画像を生成させる場合に比べ、生成器での断続線除去画像の生成に要する処理負荷を軽減することができる、という効果が得られる。

第１４の態様によれば、断続線が残存している画像から文字領域を抽出する処理が行われる場合に比べ、断続線を含まない文字領域を修正済み画像から高精度に抽出することができる、という効果が得られる。

第１５の態様によれば、断続線が残存している画像から抽出された文字領域を対象として文字認識を行う場合に比べ、有効な文字認識結果を得ることができる、という効果が得られる。

第１６の態様によれば、文字認識部による文字認識結果をユーザに対して認識させることができる、という効果が得られる。

第１７の態様によれば、修正部が文字認識対象画像の全てを処理対象として断続線を標章化する処理を行う場合に比べ、修正部が断続線を標章化する処理の回数を減らすことができる、という効果が得られる。

第１及び第２実施形態に係る画像処理システムの構成の一例を示すブロック図である。 第１実施形態に係るサーバ装置の構成の一例を示すブロック図である。 第１実施形態に係る敵対的生成ネットワークの構成の一例を示すブロック図である。 第１実施形態に係るＣＰＵの機能の一例を示すブロック図である。 第１実施形態に係る修正部及び生成器の処理内容の一例を示す概念図である。 第１実施形態に係る修正部及び分類部の処理内容の一例を示す概念図である。 第１実施形態に係る分類部、文字認識部、及び制御部の処理内容の一例を示す概念図である。 第１実施形態に係る画像処理の流れの一例を示すフローチャートである。 第１実施形態に係る画像処理の流れの変形例を示すフローチャートである。 第１実施形態に係る修正部及び生成器の処理内容の変形例を示す概念図である。 第２実施形態に係るＣＰＵの機能の一例を示すブロック図である。 第２実施形態に係るレイアウト解析部によるレイアウト解析前の処理対象画像の一例を示す概念図である。 第２実施形態に係るレイアウト解析部によるレイアウト解析後の処理対象画像の一例を示す概念図である。 第２実施形態に係る文字認識部により認識された文字のサイズの一覧を示す概念図である。 第２実施形態に係る文字認識部により認識された文字のサイズの一覧を示す概念図である。 第２実施形態に係る切り出し部により切り出された部分領域の一例を示す概念図である。 第２実施形態に係る画像処理の流れの一例を示すフローチャートである。 図１５Ａに示すフローチャートの続きである。 第１及び第２実施形態に係る画像処理プログラムが記憶された記憶媒体から、画像処理プログラムがクライアント装置内のコンピュータにインストールされる態様の一例を示す概念図である。 本開示の技術との対比に供する比較例に係る画像処理装置の構成及び読み取り対象の記録媒体の態様の一例を示す概念図である。 図１７に示す画像処理装置の機能の一例を示すブロック図である。 図１８に示す分類部、文字領域分割部、及び文字認識部の処理内容の一例を示す概念図である。

先ず、以下の説明で使用される用語の意味について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＧＰＵとは、“Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。Ｉ／Ｏとは、“Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＯＣＲとは、“Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ”の略称を指す。

ＧＡＮとは、“Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ”の略称を指す。“ＣＮＮとは、“Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ”の略称を指す。ＦＣＮとは、“Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ”の略称を指す。

ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＣＤとは、“Ｃｏｍｐａｃｔ Ｄｉｓｋ”の略称を指す。ＤＶＤとは、“Ｖｉｇｉｔａｌ Ｖｅｒｓａｔａｉｌｅ Ｄｉｓｃ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。また、以下の説明において、ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。

ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。また、以下の説明において、ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＷＡＮとは、“Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。

［比較例］
本開示の技術に係る実施形態の説明に先立ち、比較例について図１７から図１９を参照しながら説明する。

図１７には、従来の画像処理装置３００の構成の一例が示されている。画像処理装置３００は、画像に含まれる文字を認識する文字認識機能を有する装置であり、光学式センサ３０２及び文字認識装置３０４を備えている。

光学式センサ３０２は、画像が形成された記録媒体Ｐから画像を読み取る。記録媒体Ｐとしては、例えば、設計図又は帳票などが挙げられる。光学式センサ３０２によって記録媒体Ｐから画像を読み取る場合、記録媒体Ｐに対して矩形枠状の注目領域Ｐ１が設定される。

注目領域Ｐ１は、記録媒体Ｐの行方向に記録媒体Ｐの一端から他端にかけて既定の画素数単位（例えば、数画素から数十画素単位）で移動し、かつ、行方向において注目領域Ｐ１が他端に到達すると、列方向に一段ずれて記録媒体Ｐの一端から他端にかけて移動する。ここで言う「一段」とは、例えば、注目領域Ｐ１の列方向の一枠分を指す。図１７に示す例において、注目領域Ｐ１の移動の開始位置は、図中の正面視左上隅であり、注目領域Ｐ１の移動の終了位置は、図中の正面視右下隅である。光学式センサ３０２は、列方向の各段について、行方向に既定の画素数単位で注目領域Ｐ１の位置が変わる毎に注目領域Ｐ１内の画像を読み取る。

文字認識装置３０４は、光学式センサ３０２で読み取られた画像を取得する。文字認識装置３０４によって取得された画像は、例えば、ラスタ画像である。文字認識装置３０４は、光学式センサ３０２から取得した画像に対して文字認識処理を実行する。文字認識処理には、例えば、ＯＣＲ処理が含まれる。なお、以下では、文字認識装置３０４によって光学式センサ３０２から取得された画像を「処理対象画像」とも称する。

一例として図１８に示すように、文字認識装置３０４は、分類部３０４Ａ、文字領域分割部３０４Ｂ、及び文字認識部３０４Ｃを備えている。分類部３０４Ａは、処理対象画像を文字と標章とに分類する。本明細書において、「標章」とは、視覚的に知覚可能な標章を指す。視覚的に知覚可能な標章とは、図形、記号、若しくは色彩、又はこれらの結合を指す。図形、記号 、若しくは色彩、又はこれらの結合の一例としては、罫線、表、及び絵柄が挙げられる。また、本明細書において、「文字」とは、数字、アルファベット、平仮名、片仮名、漢字、その他の言語に係る文字を指す。

文字領域分割部３０４Ｂは、分類部３０４Ａによって分類された標章が除去された処理対象画像を文字領域に分割する。文字領域とは、分類部３０４Ａによって分類された文字が含まれる四角形状の画像領域を指す。

文字認識部３０４Ｃは、文字領域分割部３０４Ｂによって処理対象画像が分割されることで得られた文字領域に対して文字認識処理を行う。文字認識部３０４Ｃは、文字領域に対して文字認識処理を行うことで得た結果である文字認識結果をディスプレイ等（図示省略）に出力する。

ところで、処理対象画像に含まれる断続線は、分類部３０４Ａによって標章ではなく文字として分類されることがある。断続線は、文字を形成する線とは異なる線である。断続線とは、例えば、点線、破線、一点鎖線、及び二点鎖線等の実線以外の線を指す。これらの断続線は、文字を形成する線と画像特徴（大きさや形状など）が近いことが多いため、文字として分類されることがある。断続線が分類部３０４Ａによって文字として分類されると、一例として図１９に示すように、文字及び断続線が含まれる画像領域が文字領域分割部３０４Ｂによって文字領域として分割される。

文字及び断続線が含まれる画像領域が文字領域として分割されると、文字及び断続線が含まれる画像領域に対して文字認識部３０４Ｃによって文字認識処理が行われ、有効でない文字認識結果がディスプレイ等に出力される。ここで言う「有効でない文字認識結果」とは、例えば、文字認識処理の処理対象とされた画像領域に含まれる文字とは全く関係ない文字列を指す。

［第１実施形態］
以下、添付図面に従って本開示の技術に係る画像処理装置及びプログラムの実施形態の一例について説明する。

一例として図１に示すように、画像処理システム１０は、クライアント装置１２、サーバ装置１４、及び通信網６０を備えている。なお、画像処理システム１０は、本開示の技術に係る画像処理装置の一例である。

クライアント装置１２は、コンピュータ２０、記憶装置２１、光学式センサ２２、ディスプレイ２３、受付デバイス２４、通信Ｉ／Ｆ２６、及びＩ／Ｏ３６を備えている。

コンピュータ２０は、ＣＰＵ２８、ＲＯＭ３０、及びＲＡＭ３２を備えている。ＣＰＵ２８、ＲＯＭ３０、及びＲＡＭ３２は、バスライン３４を介して相互に接続されている。

ＲＯＭ３０には、各種プログラムが記憶されている。ＣＰＵ２８は、ＲＯＭ３０から各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ３２に展開する。ＣＰＵ２８は、ＲＡＭ３２に展開した各種プログラムに従ってクライアント装置１２の全体を制御する。

Ｉ／Ｏ３６は、入出力ポート（図示省略）を備えており、入出力ポートを介して記憶装置２１、光学式センサ２２、ディスプレイ２３、受付デバイス２４、及び通信Ｉ／Ｆ２６がＩ／Ｏ３６に接続されている。Ｉ／Ｏ３６は、バスライン３４に接続されており、ＣＰＵ２８は、Ｉ／Ｏ３６を介して記憶装置２１、光学式センサ２２、ディスプレイ２３、受付デバイス２４、及び通信Ｉ／Ｆ２６と各種情報の授受を行う。

記憶装置２１は、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ２８は、記憶装置２１に対して各種情報の読み書きを行う。

光学式センサ２２は、ＣＣＤイメージセンサを有する一次元ラインセンサであり、ＣＰＵ２８の制御下で、設計図及び帳票等の記録媒体から光学的に画像を読み取る。なお、ここでは、ＣＣＤイメージセンサを例示しているが、本開示の技術はこれに限定されず、ＣＭＯＳイメージセンサ等の他のイメージセンサを適用してもよい。また、ここでは、一次元ラインセンサを例示しているが、本開示の技術はこれに限定されず、二次元センサを適用してもよい。

ディスプレイ２３は、ＣＰＵ２８の制御下で、画像及び文字情報等を表示する。ディスプレイ３２の一例としては、液晶ディスプレイが挙げられる。ディスプレイ２３は、液晶ディスプレイではなく、有機ＥＬディスプレイなどの他のディスプレイであってもよい。

受付デバイス２４は、タッチパネル、ハードキー、及びマウス等を備えており、ユーザから各種指示を受け付ける。ＣＰＵ２８は、受付デバイス２４によって受け付けられた各種指示に従って動作する。

通信Ｉ／Ｆ２６は、ＦＰＧＡを有する通信デバイスであり、通信網６０に接続されている。通信Ｉ／Ｆ２６は、通信網６０に接続されている各種の通信装置とＣＰＵ２８との通信を司る。通信網６０の一例としては、インターネット又は公衆通信網等のＷＡＮが挙げられる。

サーバ装置１４は、外部Ｉ／Ｆ３９、コンピュータ４０、記憶装置４１、通信Ｉ／Ｆ４６、及びＩ／Ｏ５６を備えている。

コンピュータ４０は、ＣＰＵ４８、ＲＯＭ５０、及びＲＡＭ５２を備えている。ＣＰＵ４８、ＲＯＭ５０、及びＲＡＭ５２は、バスライン５４を介して相互に接続されている。

ＲＯＭ５０には、各種プログラムが記憶されている。ＣＰＵ４８は、ＲＯＭ５０から各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ５２に展開する。ＣＰＵ４８は、ＲＡＭ５２に展開した各種プログラムに従ってサーバ装置１４の全体を制御する。

Ｉ／Ｏ５６は、入出力ポート（図示省略）を備えており、入出力ポートを介して外部Ｉ／Ｆ３９、記憶装置４１、及び通信Ｉ／Ｆ４６がＩ／Ｏ５６に接続されている。Ｉ／Ｏ５６は、バスライン５４に接続されており、ＣＰＵ４８は、Ｉ／Ｏ５６を介して外部Ｉ／Ｆ３９、記憶装置４１、及び通信Ｉ／Ｆ４６と各種情報の授受を行う。

外部Ｉ／Ｆ３９は、ＦＰＧＡを有する通信デバイスである。外部Ｉ／Ｆ３９には、パーソナル・コンピュータ、ＵＳＢメモリ、外付けＳＳＤ、外付けＨＤＤ、及びメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ３９は、ＣＰＵ４６と外部装置との間の各種情報の授受を司る。

記憶装置４１は、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ４８は、記憶装置４１に対して各種情報の読み書きを行う。

通信Ｉ／Ｆ４６は、ＦＰＧＡを有する通信デバイスであり、通信網６０に接続されている。通信Ｉ／Ｆ４６は、通信網６０に接続されている各種の通信装置とＣＰＵ４８との通信を司る。例えば、クライアント装置１２のＣＰＵ２８とサーバ装置１４のＣＰＵ４８との通信を司る。サーバ装置１４は、通信Ｉ／Ｆ４６を介してクライアント装置１２からの要求を受け付け、クライアント装置１２からの要求に応じたサービスを通信Ｉ／Ｆ４６を介してクライアント装置１２に提供する。

一例として図２に示すように、サーバ装置１４において、ＲＯＭ５０には、敵対的生成ネットワーク構築プログラム５０Ａが記憶されている。ＣＰＵ４８は、ＲＯＭ５０から敵対的生成ネットワーク構築プログラム５０Ａを読み出し、読み出した敵対的生成ネットワーク構築プログラム５０ＡをＲＡＭ５２に展開する。ＣＰＵ４８は、ＲＡＭ５２に展開した敵対的生成ネットワーク構築プログラム５０Ａを実行することで、一般的に「ＧＡＮ」と呼ばれる人工知能アルゴリズムの一種である敵対的生成ネットワーク７０を構築する。

敵対的生成ネットワーク７０は、画像生成ネットワーク（生成モデル）の一種である。敵対的生成ネットワーク７０は、与えられた画像に対して、学習済みデータ４３に従って加工を施すことで、新たな画像を生成する。なお、ここでは、敵対的生成ネットワーク７０を例示しているが、画像生成ネットワークの他の例としては、Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ Ｅｎｃｏｄｅｒ等が挙げられる。

敵対的生成ネットワーク７０は、生成器７０Ａ、識別器７０Ｂ、及び調整部７０Ｃを備えている。敵対的生成ネットワーク７０は、いわゆる正解画像を有しており、生成器７０Ａは、与えられた原画像を基にして新たな画像を正解画像に似せるように生成する。識別器７０Ｂには、正解画像と識別対象画像とが与えられる。識別対象画像は、生成器７０Ａによって生成された画像である。識別器７０Ｂは、識別対象画像の真偽を識別する。すなわち、識別器７０Ｂは、識別対象画像が正解画像であるか否かを識別する。識別器７０Ｂは、識別対象画像の真偽をより正確に識別するように学習し、一方で、生成器７０Ａは、識別器７０Ｂに対して正解画像であると誤識別させる識別対象画像を贋作するように学習する。

生成器７０Ａ及び識別器７０Ｂの各々は、機械学習の一種であるニューラルネットワークによって実現される。生成器７０Ａ及び識別器７０Ｂに適用されるニューラルネットワークの一例としては、多層パーセプロンが挙げられる。敵対的生成ネットワーク７０では、生成器７０Ａと識別器７０Ｂとを交互に競合させることで学習が進められる。生成器７０Ａと識別器７０Ｂとの競合関係は、ロス関数を共有させることで表現される。すなわち、生成器７０Ａ及び識別器７０Ｂのうちの一方のロス関数が小さくなれば、他方のロス関数が大きくなるように生成器７０Ａと識別器７０Ｂとを競合させる。具体的には、生成器７０Ａはロス関数の値を小さくすることを目的に学習し、識別器７０Ｂはロス関数の値を大きくすることを目的に学習する。

生成器７０Ａ及び識別器７０Ｂの学習を進めるために、調整部７０Ｃは、識別器７０Ｂの識別結果に従って誤差逆伝播により、生成器７０Ａ及び識別器７０Ｂの各々の重み係数を調整する。重み係数が調整されることによって生成器７０Ａ及び識別器７０Ｂの学習が進み、学習が進むことによって得られた学習済みデータ４３が記憶装置４１に記憶される。学習済みデータ４３は、生成器７０Ａ及び識別器７０Ｂの学習が進むに従って更新される。

一例として図３に示すように、生成器７０Ａには、外部Ｉ／Ｆ３９を介して外部装置から原画像が与えられる。図３に示す例では、原画像として、設計図に対して設定された注目領域Ｐ１（図１７参照）内が光学式センサ２２によって読み取られることで得られた画像が示されている。また、図３に示す例では、原画像に断続線として破線が含まれている。

記憶装置４１には、複数種類の正解画像が記憶されている。複数種類とは、例えば、数千種類以上を指す。複数種類の正解画像は識別器７０Ｂに与えられる。図３に示す例では、１枚の正解画像として、図３に示す原画像に含まれる断続線が実線に置き換えられた画像が示されている。

生成器７０Ａは、与えられた原画像を正解画像に似せるように識別対象画像を生成する。識別器７０Ｂは、識別対象画像の真偽を識別する。生成器７０Ａは識別器７０Ｂに識別対象画像を正解画像と誤識別させるように学習し、識別器７０Ｂは、識別対象画像と正解画像とを正しく識別するように、生成器７０Ａと識別器７０Ｂとが競合して学習を進める。これにより、生成器７０Ａによって生成される識別対象画像の内容は徐々に正解画像の内容に近付き、識別器７０Ｂによる識別精度が徐々に高まる。

そして、やがて、生成器７０Ａと識別器７０Ｂとがナッシュ均衡となる。つまり、調整部７０Ｃによって生成器７０Ａの重み係数が更新されても識別器７０Ｂを誤識別させることができなくなり、調整部７０Ｃによって識別器７０Ｂの重み係数が更新されても識別精度を向上させることができなくなる。ナッシュ均衡に達すると、識別対象画像は、正解画像に限りなく類似した画像となる。すなわち、識別対象画像は、原画像内の断続線が実線化された画像となる。

このように、敵対的生成ネットワーク７０は、ナッシュ均衡に達するまで生成器７０Ａ及び識別器７０Ｂの学習を進めて、学習して得た学習済みデータ４３を記憶装置４１に記憶する。学習済みデータ４３は、生成器学習済みデータ４３Ａ及び識別器学習済みデータ４３Ｂを含む。生成器学習済みデータ４３Ａは、生成器７０Ａでの学習済みデータであり、識別器学習済みデータ４３Ｂは、識別器７０Ｂでの学習済みデータである。

一例として図４に示すように、クライアント装置１２において、ＲＯＭ３０には、画像処理プログラム３０Ａが記憶されている。画像処理プログラム３０Ａは、本開示の技術に係る「プログラム」の一例である。ＣＰＵ２８は、ＲＯＭ３０から画像処理プログラム３０Ａを読み出し、読み出した画像処理プログラム３０ＡをＲＡＭ３２に展開する。ＣＰＵ２８は、ＲＡＭ３２に展開した画像処理プログラム３０Ａを実行することで、取得部２８Ａ、修正部２８Ｂ、分類部２８Ｃ、文字認識部２８Ｄ、及び制御部２８Ｅとして動作する。

取得部２８Ａは、記録媒体Ｐ（図１７参照）に対して設定された注目領域Ｐ１から光学式センサ２２によって読み取られた処理対象画像を取得する。修正部２８Ｂは、分類部２８Ｃの前段階で、敵対的生成ネットワーク７０を用いて、取得部２８Ａによって取得された処理対象画像内の断続線を標章化することで処理対象画像を修正する。具体的には、修正部２８Ｂは、処理対象画像内の断続線を実線化することで断続線を標章化する。

分類部２８Ｃは、画像を文字と標章とに分類する。分類部２８Ｃの前段階で、画像に含まれる断続線が実線化されていれば、実線は分類部２８Ｃによって標章として判断されるので、画像に含まれる情報は分類部２８Ｃによって文字と標章とに二分される。

文字認識部２８Ｄは、後述する文字領域に対して文字認識処理を行う。制御部２８Ｅは、文字認識部２８Ｄでの文字認識処理による文字認識結果をディスプレイ２３に対して表示させる制御を行う。

一例として図５に示すように、修正部２８Ｂは、敵対的生成ネットワーク７０に含まれる生成器７０Ａを用いて、処理対象画像内の断続線を実線化する。つまり、修正部２８Ｂは、敵対的生成ネットワーク７０に含まれる識別器７０Ｂと競合することで学習済みの生成器７０Ａに対して処理対象画像内の断続線を実線化させる。具体的には、修正部２８Ｂは、生成器７０Ａに対して、取得部２８Ａによって取得された処理対象画像から断続線を実線化した実線化画像を生成させることで処理対象画像を修正する。

なお、図５に示す例では、処理対象画像に含まれる断続線として破線が示されているが、破線に限らず、点線、一点鎖線、及び二点鎖線等の断続線であってもよいし、断続線の形状、線形的な形状である必要はなく、非線形的な形状であってもよい。また、断続線の太さも一定である必要はない。

修正部２８Ｂは、生成器７０Ａに対して画像生成要求情報を送信する。画像生成要求情報は、取得部２８Ａによって取得された処理対象画像から実線化画像の生成を生成器７０Ａに対して要求する情報である。画像生成要求情報には、取得部２８Ａによって取得された処理対象画像が含まれている。

生成器７０Ａは、修正部２８Ｂから送信された画像生成要求情報を受信し、受信した画像生成要求情報から処理対象画像を取得する。そして、生成器７０Ａは、生成器学習済みデータ４３Ａ（図３参照）を用いて、処理対象画像から実線化画像を生成し、生成した実線化画像を修正部２８Ｂに送信する。修正部２８Ｂは、生成器７０Ａから送信された実線化画像を受信する。

一例として図６に示すように、修正部２８Ｂは、受信した実線化画像を分類部２８Ｃに出力する。分類部２８Ｃは、修正部２８Ｂから入力された実線化画像を文字と標章とに分類する。ここで、実線化画像に含まれる実線は分類部２８Ｃによって標章として分類される。つまり、断続線は、図１９に示すように文字として分類されることはなく、ここでは、標章として分類される。分類部２８Ｃは、分類した標章を実線化画像から除去した画像である標章除去画像を生成する。

一例として図７に示すように、分類部２８Ｃは、抽出部２８Ｃ１を備えている。抽出部２８Ｃ１は、実線化画像から文字を含む文字領域を抽出する。文字領域とは、分類部２８Ｃによって実線化画像から分類された文字が含まれる四角形状の画像領域を指す。実線化画像は、本開示の技術に係る「修正済み画像」の一例である。抽出部２８Ｃ１は、抽出した文字領域を文字認識部２８Ｄに出力する。

記憶装置２１には、辞書情報２１Ａが記憶されている。辞書情報２１Ａは、ＯＣＲ処理に用いられる文字のパターンを辞書化した情報である。文字認識部２８Ｄは、抽出部２８Ｃ１によって抽出された文字領域を対象として文字認識を行う。すなわち、文字認識部２８Ｄは、抽出部２８Ｃ１によって抽出された文字領域に対して文字認識処理を行う。文字認識処理とは、文字領域に含まれる文字を認識する処理を指す。文字認識処理には、ＯＣＲ処理が含まれる。ＯＣＲ処理とは、文字領域から文字のパターンを１文字単位で切り出し、切り出した文字パターンと辞書情報２１Ａに記憶されている文字のパターンとをパターンマッチング法等によって比較し、類似度の最も高い文字を出力する処理を指す。

文字認識部２８Ｄは、文字認識処理の結果を示す文字認識結果情報を制御部２８Ｅに出力する。文字認識結果の一例としては、上述したＯＣＴ処理によって出力される文字が挙げられる。制御部２８Ｅは、文字認識部２８Ｄから入力された文字認識結果情報により示される文字認識結果をディスプレイ２３に対して表示させる。

次に、画像処理システム１０の作用について図８を参照しながら説明する。

図８には、生成器学習済みデータ４３Ａが記憶装置４１に記憶されている状態において、画像処理プログラム３０Ａに従ってＣＰＵ２８によって実行される画像処理の流れの一例が示されている。

図８に示す画像処理では、先ず、ステップＳＴ１０で、取得部２８Ａは、光学式センサ２２によって記録媒体Ｐの注目領域Ｐ１から処理対象画像が読み取られたか否かを判定する。ステップＳＴ１０において、光学式センサ２２によって記録媒体Ｐの注目領域Ｐ１から処理対象画像が読み取られていない場合は、判定が否定されて、画像処理はステップＳＴ２８へ移行する。ステップＳＴ１０において、光学式センサ２２によって記録媒体Ｐの注目領域Ｐ１から処理対象画像が読み取られた場合は、判定が肯定されて、画像処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、取得部２８Ａは、光学式センサ２２から処理対象画像を取得し、その後、画像処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、修正部２８Ｂは、画像生成要求情報を生成器７０Ａに送信し、その後、画像処理はステップＳＴ１６へ移行する。

ステップＳＴ１４の処理が実行されることにより、生成器７０Ａは、画像生成要求情報から処理対象画像を取得し、取得した処理対象画像から、生成器学習済みデータ４３Ａを用いて実線化画像を生成する。生成器７０Ａは、生成した実線化画像を修正部２８Ｂに送信する。

ステップＳＴ１６で、修正部２８Ｂは、生成器７０Ａから送信された実線化画像を受信したか否かを判定する。ステップＳＴ１６において、生成器７０Ａから送信された実線化画像を受信していない場合は、判定が否定されて、ステップＳＴ１６の判定が再び行われる。ステップＳＴ１６において、生成器７０Ａから送信された実線化画像を受信した場合は、判定が肯定されて、画像処理はステップＳＴ１８へ移行する。

ステップＳＴ１８で、分類部２８Ｃは、実線化画像から文字と標章を分類し、その後、画像処理はステップＳＴ２０へ移行する。ステップＳＴ１８の処理が実行されることで、実線化画像から標章が除去された標章除去画像が生成される。

ステップＳＴ２０で、抽出部２８Ｃ１は、標章除去画像から文字領域を抽出し、その後、画像処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、文字認識部２８Ｄは、抽出部２８Ｃ１によって抽出された文字領域に対して文字認識処理を行い、その後、画像処理はステップＳＴ２４へ移行する。

ステップＳＴ２４で、文字認識部２８Ｄは、標章除去画像の全ての文字領域についてステップＳＴ２２の処理が実行されたか否かを判定する。ステップＳＴ２４において、標章除去画像の全ての文字領域についてステップＳＴ２２の処理が実行されていない場合は、判定が否定されて、画像処理はステップＳＴ２２へ移行する。ステップＳＴ２４において、標章除去画像の全ての文字領域についてステップＳＴ２２の処理が実行された場合は、判定が肯定されて、画像処理はステップＳＴ２６へ移行する。

ステップＳＴ２６で、制御部２８Ｅは、文字認識部２８Ｄでの文字認識処理による文字認識結果をディスプレイ２３に対して表示させ、その後、画像処理はステップＳＴ２８へ移行する。

ステップＳＴ２８で、制御部２８Ｅは、画像処理を終了する条件（以下、「画像処理終了条件」と称する）を満足したか否かを判定する。画像処理終了条件としては、例えば、受付デバイス２４によって画像処理を終了する指示が受け付けられた、との条件が挙げられる。ステップＳＴ２８において、画像処理終了条件を満足していない場合は、判定が否定されて、画像処理はステップＳＴ１０へ移行する。ステップＳＴ２８において、画像処理終了条件を満足した場合は、判定が肯定されて、画像処理が終了する。

以上説明したように、画像処理システム１０では、取得部２８Ａによって取得された処理対象画像が分類部２８Ｃによって文字と標章とに分類される前段階で、修正部２８Ｂによって、敵対的生成ネットワーク７０を用いて処理対象画像内の断続線が標章化される。分類部２８Ｃは画素連結成分の大きさや形状等により標章と文字とに分類するため、断続線は分類部２８Ｃによって標章ではなく文字として分類されるが、修正部２８Ｂによって断続線が実線化されることで標章化されることで、分類部２８Ｃによって実線化画像に含まれる情報が文字と標章とに分類される。これにより、抽出部２８Ｃ１によって抽出される文字領域に断続線が含まれなくなるので、文字認識部２８Ｄにより文字領域に対して文字認識処理が行われることで、有効な文字認識結果が得られる。

なお、上記第１実施形態では、修正部２８Ｂがサーバ装置１４の学習済みの生成器７０Ａに対して実線化画像を生成させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、修正部２８Ｂは、敵対的生成ネットワーク７０の識別器７０Ｂと競合することで学習済みの生成器７０Ａから生成器学習済みデータ４３Ａを取得し、取得した生成器学習済みデータ４３Ａを用いて断続線を実線化するようにしてもよい。つまり、修正部２８Ｂは、取得部２８Ａによって取得された処理対象画像から生成器学習済みデータ４３Ａを用いて断続線を実線化した実線化画像を生成することで処理対象画像を修正するようにしてもよい。ここで、生成器学習済みデータ４３Ａは、本開示の技術に係る「学習結果」の一例である。

この場合、図９に示す画像処理がＣＰＵ２８によって実行される。図９に示す画像処理は、図８に示す画像処理に比べ、ステップＳＴ１４に代えてステップＳＴ１４Ａを有する点、ステップＳＴ１６に代えてステップＳＴ１６Ａを有する点、及びステップＳＴ１７を有する点が異なる。

図９に示す画像処理に含まれるステップＳＴ１４Ａで、修正部２８Ｂは、生成器学習済みデータ４３Ｂの送信をサーバ装置１４に要求し、その後、画像処理はステップＳＴ１６Ａへ移行する。サーバ装置１４のＣＰＵ４８は、修正部２８Ｂからの要求に応じて生成器学習済みデータ４３Ａを記憶装置４１から取得し、取得した生成器学習済みデータ４３Ａを修正部２８Ｂに送信する。

ステップＳＴ１６Ａで、修正部２８Ｂは、サーバ装置１４のＣＰＵ４８から送信された生成器学習済みデータ４３Ａを受信したか否かを判定する。ステップＳＴ１６Ａにおいて、サーバ装置１４のＣＰＵ４８から送信された生成器学習済みデータ４３Ａを受信していない場合は、判定が否定されて、ステップＳＴ１６Ａの判定が再び行われる。ステップＳＴ１６Ａにおいて、サーバ装置１４のＣＰＵ４８から送信された生成器学習済みデータ４３Ａを受信した場合は、判定が肯定されて、画像処理はステップＳＴ１７へ移行する。

ステップＳＴ１７で、修正部２８Ｂは、生成器学習済みデータ４３Ａを用いて処理対象画像内の断続線を実線化することで実線化画像を生成し、その後、画像処理はステップＳＴ１８へ移行する。

また、図９に示す例では、クライアント装置１２がサーバ装置１４と通信を行うことで通信網６０を介して生成器学習済みデータ４３を取得し、修正部２８Ｂを生成器７０Ａとして機能させる形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、ＵＳＢメモリ又はＳＳＤ等の記憶媒体を用いて生成器７０Ａ及び生成器学習済みデータ４３Ａをクライアント装置１２に移植するようにしてもよい。

また、上記第１実施形態では、断続線を実線化する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、修正部２８Ｂは、敵対的生成ネットワークを用いて断続線を除去することで処理対象画像を修正するようにしてもよい。この場合、一例として図１０に示すように、修正部２８Ｂは、生成器７０Ａ１を用いて断続線を除去する。生成器７０Ａ１は、敵対的生成ネットワークに含まれる識別器と競合することで、断続線を除去するように学習した生成器である。

修正部２８Ｂは、敵対的生成ネットワークに含まれる識別器と競合することで断続線を除去するように学習済みの生成器７０Ａ１に対して断続線を除去させる。すなわち、一例として図１０に示すように、修正部２８Ｂは、生成器７０Ａ１に対して、処理対象画像から断続線を除去した断続線除去画像を生成させることで処理対象画像を修正する。修正部２８Ｂは、生成器７０Ａ１に対して生成させた断続線除去画像を取得する。分類部２８Ｃは、断続線除去画像に含まれる情報を文字と標章とに分類する。

図１０に示す例では、修正部２８Ｂが生成器７０Ａ１に対して断続線除去画像を生成させているが、本開示の技術はこれに限定されない。例えば、修正部２８Ｂは、敵対的生成ネットワークに含まれる識別器と競合することで断続線を除去するように学習済みの生成器７０Ａ１での学習結果である生成器学習済みデータを取得し、取得した生成器学習済みデータを用いて断続線を除去するようにしてもよい。すなわち、修正部２８Ｂが、処理対象画像から生成器学習済みデータを用いて断続線除去画像を生成することで処理対象画像を修正するようにしてもよい。

［第２実施形態］
上記第１実施形態では、記録媒体Ｐの全領域に対して実線化画像を生成する処理を適用する形態例を挙げて説明したが、本第２実施形態では、記録媒体Ｐのうちの一部の領域に対して実線化画像を生成する処理を適用する形態例について説明する。なお、以下の説明では、上記第１実施形態と同様の構成要素については同一の符号を付し、その説明を省略する。

一例として図１に示すように、本第２実施形態に係る画像処理システム１０Ａは、上記第１実施形態で説明した画像処理システム１０に比べ、クライアント装置１２に代えてクライアント装置１２Ａを有する点が異なる。

一例として図１１に示すように、クライアント装置１２Ａにおいて、ＲＯＭ３０には、画像処理プログラム３０Ｂが記憶されている。画像処理プログラム３０Ｂは、本開示の技術に係る「プログラム」の一例である。ＣＰＵ２８は、ＲＯＭ３０から画像処理プログラム３０Ｂを読み出し、読み出した画像処理プログラム３０ＢをＲＡＭ３２に展開する。ＣＰＵ２８は、ＲＡＭ３２に展開した画像処理プログラム３０Ｂを実行することで、取得部２８Ａ、修正部２８Ｂ、文字認識部２８Ｄ、制御部２８Ｅ、受付部２００、レイアウト解析部２０１、外れ値文字検出部２０２、及び切り出し部２０３として動作する。

受付部２００は、光学式センサ２２によって読み取られた処理対象画像５を受け付ける。一例として図１２Ａに示すように、処理対象画像５は、例えば、文字列５０１Ａ等の文字情報の他に、配線図５０２、設計図５０３、及び修正記号５０４等の図形情報を含む。図１２Ａに示す例では、文字列５０１Ａ、５０１Ｂが示されている。文字列５０１Ａは、アルファベット、平仮名、片仮名、漢字、その他の言語に係る文字を含む文字列である。文字列５０１Ｂは、数字の文字列である。

一例として図１２Ｂに示すように、レイアウト解析部２０１は、受付部２００によって受け付けられた処理対象画像５に対してレイアウト解析を実行することで、処理対象画像５を部分領域５１０，５１２，５１３，５４０に分割する。レイアウト解析には、公知のアルゴリズムを用いてよい。

一例として、レイアウト解析には、例えば、画像の横方向及び縦方向にそれぞれ投影した黒画素の頻度分布（「ヒストグラム」ともいう。）を取得し、各方向それぞれのヒストグラムの極小値（「周辺分布における谷」ともいう。）や極大値（「周辺分布における山」ともいう。）を特定し、この特定した極小値又は極大値が特定の条件を満たすときに、この極小値又は極大値を与える画素を境界として画像を分割することを再帰的に繰り返す手法（ＸＹ－カット法）等を用いることができる。

一例として図１１に示すように、レイアウト解析部２０１は、レイアウト解析により処理対象画像５を分割して得た部分領域５１０，５１２，５１３，５４０に関する情報２１１（以下、「レイアウト情報２１１」ともいう。）を記憶装置２１に記憶する。レイアウト情報２１１には、例えば、各部分領域５１０，５１２，５１３，５４０のサイズや属性（文字列、表、図など）を示す情報や、各部分領域５１０，５１２，５１３，５４０の処理対象画像５における位置を示す領域位置情報が含まれる。

文字認識部２８Ｄは、レイアウト解析部２０１により処理対象画像５を分割して得られた部分領域５１０，５１２，５１３，５４０ごとに、この部分領域５１０，５１２，５１３，５４０に対して文字認識処理を行う。なお、文字認識処理は、本開示の技術に係る「文字認識機能」の一例である。

文字認識部２８Ｄは、文字認識結果を部分領域５１０，５１２，５１３，５４０と関連付けて、例えばテキスト形式で文字認識結果情報２１３として記憶装置４１に記憶する。文字認識結果情報２１３には、文字情報、文字位置情報、及び文字サイズ情報等が含まれる。文字情報とは、文字認識処理により認識される文字や文字列を示す情報を指す。文字位置情報とは、認識された文字や文字列の画像上の位置を示す情報を指す。文字サイズ情報とは、認識された文字の幅や高さ等のサイズを示す情報を指す。

文字認識部２８Ｄは、文字認識結果情報２１３が既に記憶装置２１に記憶されている場合に、特定の部分領域内の文字認識結果情報２１３を新たに取得したとき、既に記憶されている文字認識結果情報２１３を新たに取得した文字認識結果情報２１３に置換することで文字認識結果情報２１３を更新する。

外れ値文字検出部２０２は、文字認識部２８Ｄにより得られた文字認識結果情報２１３の中から、文字認識結果情報２１３に対応する処理対象画像５に含まれる全ての文字に対する平均的な属性から外れた属性を有する文字（以下、「外れ値文字」ともいう）を検出する。外れ値文字は、予め定められた条件を満たす文字の一例である。

一例として、外れ値文字検出部２０２は、外れ値文字として予め定めた範囲外（「異常値」ともいう。）のサイズを有する文字を検出する。文字のサイズは、文字の横幅のみを指標としてもよく、文字の高さのみを指標としてもよく、あるいは横幅と高さとを組み合わせて評価した値を指標としてもよい。

具体的には、外れ値文字検出部２０２は、文字認識部２８Ｄにより処理対象画像５全体に対して実行された文字認識処理により認識された文字のサイズの分布を算出し、算出した分布に基づいてサイズが異常値となっている外れ値文字を検出する。より具体的には、外れ値文字検出部２０２は、スミルノフ・グラブス検定等の統計的な手法を用いて文字のサイズの分布を算出してもよい。

図１３Ａ及び図１３Ｂを参照して具体例を列挙してより詳しく説明する。図１３Ａ及び図１３Ｂは、認識された文字のサイズの一覧の一例を示す図であり、図１３Ａは、図１２Ａに示す一つの部分領域５１２内のアルファベット（「ＫＬＭＮＱＰＱＲ」）のサイズの一覧の一例を示し、図１３Ａは、図１２Ｂに示す別の部分領域５４０内のアルファベット（「ＣＤＥＦＧＨＩＪ」）のサイズの一覧の一例を示す。単位は、画素数である。

なお、図１３Ａは、文字認識部２８Ｄにより文字が正しく認識された一例に対応し、図１３Ｂは、文字認識部２８Ｄにより文字が誤って認識された一例（「∴；◎１ミｌＵＶ」）に対応する。ここで、「文字が正しく認識された」とは、実際に記載されている文字が認識されたことをいい、「文字が誤って認識された」とは、実施に記載されている文字と異なる文字が認識されたことをいう。「文字が誤って認識される」場合には、例えば、文字認識処理を行う部分領域が適切でないこと等の原因により、文字認識部２０２が複数の文字又は１つの文字の一部分を１文字単位と誤認識する場合が該当する。

図１３Ａに示すように、文字認識部２８Ｄにより文字が正しく認識されると、認識された文字の幅や高さは、概ね同程度の値となる。これに対して、図１３Ｂに示すように、文字認識部２８Ｄにより文字が誤って認識されると、図１３Ａに示す例に比べ、文字の幅及び高さのバラツキ（分散）が大きくなっている。

外れ値文字検出部２０２は、例えば、文字認識部２８Ｄにより処理対象画像５全体に対して実行された文字認識処理により認識された文字のサイズの平均値及び標準偏差を算出する。次に、外れ値文字検出部２０２は、対象となる文字のサイズと平均値との差（例えば、絶対値）を標準偏差で除した値（以下、「評価値」ともいう。）を算出する。次に、外れ値文字検出部２０２は、算出した評価値が予め定めた閾値を超えたときに、当該文字サイズが異常値となっている外れ値文字として検出してもよい。

平均値は、処理対象画像５全体に含まれる文字の平均的なサイズを示すものであり、検出の対象となる文字のサイズを推定する推定値と呼んでもよい。標準偏差は、第２の指標値の一例である。また、標準偏差に閾値を乗じた値が示す範囲は、予め定められた範囲に相当する。すなわち、閾値は、標準偏差によって予め定められた範囲を特定するために用いられる値の一例である。

例えば、処理対象画像５全体に含まれる文字の平均値が３５．５（画素）であり、標準偏差が４．５の場合に、閾値を例えば２．０とすると、図１２Ｂに示す部分領域５４０に対する文字認識処理の例では、算出された評価値は、表１に示すとおりである。

このような場合、外れ値文字検出部２０２は、評価値が閾値の２．０を超える文字「∴」、「；」、「◎」、「１」、「ミ」及び「ｌ」を外れ値文字として検出する。

なお、上述の例では、サイズが異常値となっている文字を外れ値文字としたが、外れ値文字はこれに限定されるものではなく、例えば、他の文字と異なるフォントや、他の文字と異なる書体を有する文字を外れ値文字としてもよい。また、処理対象画像５全体において認識された文字についてサイズの平均値及び標準偏差を算出したが、算出方法はこの方法に限定されるものではなく、例えば、各部分領域に含まれる文字についてサイズの平均値及び標準偏差を算出してもよい。他には、文字列の並びを言語解析もしくは学習し、非現実的な文字列の並びが出現しているかを指標にしてもよい。非現実的な文字列の並びとは、一例として、辞書にない文字の並びや記号文字が連続する並びなどである。

図１４は、切り出された部分領域５４０の一例を示す図である。切り出し部２０３は、外れ値文字検出部２０２の検出の結果に基づいて、上述した部分領域５１０，５１２，５１３，５４０の中から、外れ値文字（「∴；◎１ミｌＵＶ」）が含まれる部分領域５４０を特定し、特定した部分領域５４０を切り出す。切り出し部２０３により切り出される部分領域の数は、１つでもよく、複数でもよい。

なお、切り出し部２０３は、１つの外れ値文字を含む部分領域を切り出す領域として特定してもよく、予め定められた個数の外れ値文字を含む部分領域を切り出す領域として特定してもよい。なお、複数の外れ値文字を含む部分領域を切り出す場合、切り出し部２０３は、部分領域に含まれる文字の数（「部分領域の文字列長」ともいう。）に対する外れ値文字の数の割合が一定の値以上のとき、当該部分領域を切り出す領域として特定してもよい。

取得部２８Ａは、切り出し部２０３により切り出された部分領域５４０を取得する。すなわち、文字認識処理により文字認識を行う対象として定められた文字認識対象画像が分割されることで得られた部分領域５１０，５１２，５１３，５４０のうちの文字認識処理により文字が誤認識された部分領域５４０が取得部２８Ａによって取得される。

修正部２８Ｂは、取得部２８Ａによって取得された部分領域５４０に対して上記第１実施形態で説明した処理を実行し、処理済みの部分領域５４０をレイアウト解析部２０１に出力する。なお、レイアウト解析部２０１は、本開示の技術に係る「分類部」の一例である。

切り出し部２０３により切り出され、修正部２８Ｂによって処理が施されたた部分領域５４０に対して、レイアウト解析部２０１は、レイアウト解析をさらに行い、一例として図１４に示すように、部分領域５４０を部分領域５４１，５４２（以下、上述した「処理対象画像５の部分領域」と区別するために「分割領域５４１，５４２」ともいう。）にさらに分割する。分割領域５４１，５４２は、分割後の領域の一例である。なお、ここで行われるレイアウト解析手法は先のレイアウト解析手法と同一でもよいし、異なる手法を用いても良い。

文字認識部２８Ｄは、分割領域５４１，５４２に対して文字認識処理（すなわち、再度の文字認識処理）を行う。なお、文字認識部２８Ｄは、部分領域５４が複数の分割領域５４１，５４２に分割されたときのみに再度の文字認識処理を行い、部分領域５４０が分割されなかったときに再度の文字認識処理を行わないようにしてもよい。もしくは、異常値を含む分割領域を操作者が確認し、操作者が再度の文字認識処理は不要と支持した場合は、再度の文字認識処理を行わないようにしてもよい。

次に、本第２実施形態に係る画像処理システム１０Ａの作用について図１５Ａ及び図１５Ｂを参照しながら説明する。図１５Ａ及び図１５Ｂには、本第２実施形態に係る画像処理の流れの一例が示されている。

図１５Ａに示す画像処理では、先ず、ステップＳＴ５０で、受付部２００は、光学式センサ２２によって記録媒体Ｐの注目領域Ｐ１から処理対象画像５が読み取られたか否かを判定する。ステップＳＴ５０において、光学式センサ２２によって記録媒体Ｐの注目領域Ｐ１から処理対象画像５が読み取られていない場合は、判定が否定されて、画像処理はステップＳＴ９０へ移行する。ステップＳＴ５０において、光学式センサ２２によって記録媒体Ｐの注目領域Ｐ１から処理対象画像５が読み取られた場合は、判定が肯定されて、画像処理はステップＳＴ５２へ移行する。

ステップＳＴ５２で、受付部２００は、光学式センサ２２から処理対象画像５を受け付け、その後、画像処理はステップＳＴ５４へ移行する。

ステップＳＴ５４、レイアウト解析部２０１は、受付部２００によって受け付けられた処理対象画像５に対してレイアウト解析を行うことで、処理対象画像５を部分領域５１０，５１２，５１３，５４０に分割し（図１２Ｂ参照）、その後、画像処理はステップＳＴ５６へ移行する。

ステップＳＴ５６で、レイアウト解析部２０１は、レイアウト情報２１１を記憶装置２１に記憶し、その後、画像処理はステップＳＴ５８へ移行する。

ステップＳＴ５８で、文字認識部２８Ｄは、部分領域５１０、５１２，５１３，５４０の各々に対して文字認識処理を行い、その後、画像処理はステップＳＴ６０へ移行する。

ステップＳＴ６０で、文字認識部２８Ｄは、文字認識処理を行うことで得た文字認識結果情報２１３を記憶装置２１に記憶し、その後、画像処理はステップＳＴ６２へ移行する。

ステップＳＴ６２で、文字認識部２８Ｄは、部分領域５１０、５１２，５１３，５４０の全てに対して文字認識処理を行ったか否かを判定する。ステップＳＴ６２において、部分領域５１０、５１２，５１３，５４０の全てに対して文字認識処理を行っていない場合は、判定が否定されて、画像処理はステップＳＴ５８へ移行する。ステップＳＴ６２において、部分領域５１０、５１２，５１３，５４０の全てに対して文字認識処理を行った場合は、判定が肯定されて、画像処理はステップＳＴ６４へ移行する。

ステップＳＴ６４で、外れ値文字検出部２０２は、記憶装置２１に記憶されている文字認識結果情報２１３に含まれる文字のサイズの分布を算出し、その後、画像処理はステップＳＴ６６へ移行する。

ステップＳＴ６６で、外れ値文字検出部２０２は、算出した文字のサイズの分布に基づいて外れ値文字を検出し、その後、画像処理はステップＳＴ６８へ移行する。

ステップＳＴ６８で、切り出し部２０３は、記憶装置２１に記憶されているレイアウト情報２１１及び文字認識結果情報２１３を参照して、外れ値文字検出部２０２によって検出された外れ値文字を含む部分領域５４０（図１２Ｂ参照）を特定し、その後、画像処理は図１５Ｂに示すステップＳＴ７０へ移行する。

図１５Ｂに示すステップＳＴ７０で、切り出し部２０３は、特定した部分領域５４０を切り出し、その後、画像処理はステップＳＴ７１へ移行する。

ステップＳＴ７１で、取得部２８Ａは、切り出し部２０３により切り出された部分領域５４０を取得し、その後、画像処理はステップＳＴ７２へ移行する。

ステップＳＴ７２で、修正部２８Ｂは、画像生成要求情報を生成器７０Ａに送信し、その後、画像処理はステップＳＴ７４へ移行する。なお、画像生成要求情報には、取得部２８Ａによって取得された部分領域５４０が含まれている。生成器７０Ａは、画像生成要求情報から部分領域５４０を取得し、取得した部分領域５４０に含まれる断続線を実線化することで実線化画像を生成し、生成した実線化画像を修正済み画像として修正部２８Ｂに送信する。

ステップＳＴ７４は、生成器７０Ａから送信された修正済み画像を受信したか否かを判定する。ステップＳＴ７４において、生成器７０Ａから送信された修正済み画像を受信していない場合は、判定が否定されて、ステップＳＴ７４の判定が再び行われる。ステップＳＴ７４において、生成器７０Ａから送信された修正済み画像を受信した場合は、判定が肯定されて、画像処理はステップＳＴ７６へ移行する。

ステップＳＴ７６で、レイアウト解析部２０１は、修正部２８Ｂが受信した修正済み画像に対して更にレイアウト解析を行い、その後、画像処理はステップＳＴ７８へ移行する。

ステップＳＴ７８で、文字認識部２８Ｄは、レイアウト解析部２０１によって修正済み画像が分割された否かを判定する。ステップＳＴ７８において、レイアウト解析部２０１によって修正済み画像が分割されていない場合は、判定が否定されて、画像処理はステップＳＴ８４へ移行する。ステップＳＴ７８において、レイアウト解析部２０１によって修正済み画像が分割された場合は、判定が肯定されて、画像処理はステップＳＴ８０へ移行する。ここで、修正済み画像が分割された場合とは、例えば、図１４に示すように、分割領域５４１，５４２が得られた場合を指す。

ステップＳＴ８０で、文字認識部２８Ｄは、分割領域に対して文字認識処理を行い、その後、画像処理はステップＳＴ８２へ移行する。

ステップＳＴ８２で、文字認識部２８Ｄは、文字認識結果情報２１３を分割領域と関連付けて記憶装置２１に記憶する。すなわち、文字認識部２８Ｄは、記憶装置２１に記憶されている文字認識結果情報２１３を新たに得た文字認識結果情報２１３に置き換えることで記憶装置２１内の文字認識結果情報２１３を更新し、その後、画像処理はステップＳＴ８４へ移行する。

ステップＳＴ８４で、文字認識部２８Ｄは、全ての分割領域に対して文字認識処理を実行したか否かを判定する。ステップＳＴ８４において、全ての分割領域に対して文字認識処理を実行していない場合は、判定が否定されて、画像処理はステップＳＴ８０へ移行する。ステップＳＴ８４において、全ての分割領域に対して文字認識処理を実行した場合は、判定が肯定されて、画像処理はステップＳＴ８６へ移行する。

ステップＳＴ８６で、切り出し部２０３は、外れ値文字を含む全ての部分領域を切り出したか否かを判定する。ステップＳＴ８６において、外れ値文字を含む全ての部分領域を切り出していない場合は、判定が否定されて、画像処理はステップＳＴ７０へ移行する。ステップＳＴ８６において、外れ値文字を含む全ての部分領域を切り出した場合は、判定が肯定されて、画像処理はステップＳＴ８８へ移行する。

ステップＳＴ８８で、制御部２８Ｅは、記憶装置２１から文字認識結果情報２１３を取得し、取得した文字認識結果情報２１３により示される文字認識結果をディスプレイ２３に対して表示させ、その後、画像処理はステップＳＴ９０へ移行する。

ステップＳＴ９０で、制御部２８Ｅは、画像処理終了条件を満足したか否かを判定する。ステップＳＴ９０において、画像処理終了条件を満足していない場合は、判定が否定されて、画像処理はステップＳＴ５０へ移行する。ステップＳＴ９０において、画像処理終了条件を満足した場合は、判定が肯定されて、画像処理が終了する。

なお、上記各実施形態では、機械学習の一例として敵対的生成ネットワークによる深層学習を挙げて説明したが、本開示の技術はこれに限定されない。例えば、敵対的生成ネットワークに代えて、又は、敵対的生成ネットワークと共に、ＣＮＮ又はＦＣＮ等の他のニューラルネットワークを用いてもよい。

また、上記各実施形態では、サーバ装置１４において、ＣＰＵ４８によって敵対的生成ネットワークを構築する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、複数のＣＰＵによって敵対的生成ネットワークが構築されるようにしてもよい。また、例えば、ＧＰＵによって敵対的生成ネットワークが構築されるようにしてもよい。また、例えば、少なくとも１つのＣＰＵと少なくとも１つのＧＰＵとの併用によって敵対的生成ネットワークが構築されるようにしてもよい。

また、上記各実施形態では、ＲＯＭ３０に画像処理プログラム３０Ａ，３０Ｂ（以下、符号を付さずに「画像処理プログラム」と称する）が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１６に示すように、画像処理プログラムを記憶媒体６００に記憶させておいてもよい。この場合、記憶媒体６００に記憶されている画像処理プログラムは、コンピュータ２０にインストールされ、ＣＰＵ２８は、画像処理プログラムに従って、上述した画像処理を実行する。

上記各実施形態で示す例では、ＣＰＵ２８は、単数のＣＰＵであるが、本開示の技術はこれに限定されず、複数のＣＰＵを採用してもよいし、ＧＰＵを採用してもよいし、少なくとも１つのＣＰＵと少なくとも１つのＧＰＵとを併用してもよい。なお、記憶媒体６００の一例としては、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ２０に接続される他のコンピュータ又はサーバ装置等の記憶部に画像処理プログラムを記憶させておき、上述のクライアント装置１２の要求に応じて画像処理プログラムがコンピュータ２０にダウンロードされるようにしてもよい。この場合、ダウンロードされた画像処理プログラムがコンピュータ２０にインストールされ、コンピュータ２０のＣＰＵ２８によって実行される。

また、上記第１実施形態では、取得部２８Ａ、修正部２８Ｂ、分類部２８Ｃ、文字認識部２８Ｄ、及び制御部２６Ｅ（以下、「上記第１実施形態で説明した各部」と称する）として、コンピュータ２０によるソフトウェア構成により実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。また、上記第２実施形態では、取得部２８Ａ、修正部２８Ｂ、文字認識部２８Ｄ、制御部２６Ｅ、受付部２００、レイアウト解析部２０１、外れ値文字検出部２０２、及び切り出し部２０３（以下、「上記第２実施形態で説明した各部」と称する）として、コンピュータ２０によるソフトウェア構成により実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上記第１実施形態で説明した各部及び上記第２実施形態で説明した各部は、例えば、ＡＳＩＣ、ＦＰＧＡ、及びＰＬＤのうちの少なくとも１つを含むデバイスによって実現されるようにしてもよい。

また、上記第１実施形態で説明した各部及び上記第２実施形態で説明した各部は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

上記の画像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、画像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

画像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、画像処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、上記第１実施形態で説明した各部及び上記第２実施形態で説明した各部の処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、画像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、上記第１実施形態で説明した各部及び上記第２実施形態で説明した各部の処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記の画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０，１０Ａ 画像処理システム
２０ コンピュータ
２８Ａ 取得部
２８Ｂ 修正部
２８Ｃ 分類部
２８Ｃ１ 抽出部
２８Ｄ 文字認識部
２８Ｅ 制御部
３０Ａ 画像処理プログラム
４３Ａ 生成器学習済みデータ
７０ 敵対的生成ネットワーク
７０Ａ，７０Ａ１ 生成器
７０Ｂ 識別器
２００ 受付部
２０１ レイアウト解析部
２０２ 外れ値文字検出部
２０３ 切り出し部

Claims (18)

1. 画像を取得する取得部と、
   前記取得部により取得された前記画像が分類部によって文字と標章とに分類される前段階で、機械学習を用いて前記文字を形成する線とは異なる断続線を標章化することで前記画像を修正する修正部と、
   を含む画像処理装置。
2. 前記修正部は、前記断続線を実線化することで標章化する請求項１に記載の画像処理装置。
3. 前記機械学習は、画像生成ネットワークを利用した機械学習であり、
   前記修正部は、前記画像生成ネットワークに含まれる生成器を用いて前記断続線を実線化する請求項２に記載の画像処理装置。
4. 前記修正部は、前記画像生成ネットワークに含まれる識別器と競合することで学習済みの前記生成器に対して前記断続線を実線化させる請求項３に記載の画像処理装置。
5. 前記修正部は、前記生成器に対して、前記取得部により取得された前記画像から前記断続線を実線化した実線化画像を生成させることで前記画像を修正する請求項４に記載の画像処理装置。
6. 前記修正部は、前記画像生成ネットワークに含まれる識別器と競合することで学習済みの前記生成器での学習結果を取得し、取得した前記学習結果を用いて前記断続線を実線化する請求項３に記載の画像処理装置。
7. 前記修正部は、前記取得部により取得された前記画像から前記学習結果を用いて前記断続線を実線化した実線化画像を生成することで前記画像を修正する請求項６に記載の画像処理装置。
8. 画像を取得する取得部と、
   前記取得部により取得された前記画像が分類部によって文字と標章とに分類される前段階で、機械学習を用いて前記文字を形成する線とは異なる断続線を除去することで前記画像を修正する修正部と、
   を含む画像処理装置。
9. 前記機械学習は、画像生成ネットワークを利用した機械学習であり、
   前記修正部は、前記画像生成ネットワークに含まれる生成器を用いて前記断続線を除去する請求項８に記載の画像処理装置。
10. 前記修正部は、前記画像生成ネットワークに含まれる識別器と競合することで学習済みの前記生成器に対して前記断続線を除去させる請求項９に記載の画像処理装置。
11. 前記修正部は、前記生成器に対して、前記取得部により取得された前記画像から前記断続線を除去した断続線除去画像を生成させることで前記画像を修正する請求項１０に記載の画像処理装置。
12. 前記修正部は、前記画像生成ネットワークに含まれる識別器と競合することで学習済みの前記生成器での学習結果を取得し、取得した前記学習結果を用いて前記断続線を除去する請求項９に記載の画像処理装置。
13. 前記修正部は、前記取得部により取得された前記画像から前記学習結果を用いて前記断続線を除去した断続線除去画像を生成することで前記画像を修正する請求項１２に記載の画像処理装置。
14. 前記修正部により前記画像が修正されることで得られた修正済み画像から前記文字を含む文字領域を抽出する抽出部を更に含む請求項１から請求項１３の何れか１項に記載の画像処理装置。
15. 前記抽出部により抽出された前記文字領域を対象として文字認識を行う文字認識部を更に含む請求項１４に記載の画像処理装置。
16. 表示部に対して前記文字認識部による文字認識結果を表示させる制御を行う制御部を更に含む請求項１５に記載の画像処理装置。
17. 前記前段階で、文字認識機能により文字認識を行う対象として定められた文字認識対象画像が分割されることで得られた複数の分割画像のうちの前記文字認識機能により前記文字が誤認識された分割画像が前記取得部によって前記画像として取得される請求項１から請求項１６の何れか１項に記載の画像処理装置。
18. コンピュータを、
    請求項１から請求項１７の何れか１項に記載の画像処理装置に含まれる前記取得部及び前記修正部として機能させるためのプログラム。

Images