JP7479925B2 - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理システム、画像処理方法、及びプログラムに関する。

近年、ユーザにより文字が記入された帳票等の紙文書をスキャンし、当該スキャンした画像に対して手書きＯＣＲ処理を行うことにより、記入された手書き文字を電子化（データ化）することが行われている。

手書きＯＣＲを実行する手書きＯＣＲエンジンへは、手書き文字が記入された帳票をスキャンして得られるスキャン画像から、手書き文字の部分画像を分離して入力することが望ましい。なぜならば、手書きＯＣＲエンジンは、手書き文字の認識に最適化されているため、活字等の特定の文字フォントで印刷された文字画像やアイコンなどの印刷されたグラフィクスが含まれると、その認識精度が低下してしまうためである。

また、手書きＯＣＲエンジンに入力する手書き文字の画像は、帳票内に記入された文字間や項目間の区切り毎に領域を分けた画像であることが望ましい。例えば、図２２（ａ）は帳票への氏名の記入例を示したものであり、図２２（ｂ）は図２２（ａ）から抽出した手書き抽出画素を示したものである。図２２（ａ）を参照すれば、罫線の存在により、記入された内容は「小木 才一郎」であることが分かる。しかし、その手書き抽出された画像である図２２（ｂ）では、「木」と「才」の文字間の区切りが不明瞭であるため、「木」と「才」が「材」の一文字として認識され、文字認識処理の結果、「小材一郎」と認識されてしまう場合があるためである。

一方、近年では、画像認識分野においてニューラルネットワークが注目されている。その一例として、ニューラルネットワークは、画像内の各画素を所定のカテゴリ（クラス）に分類することに用いられており、エンコーダとデコーダから構成されるものが知られている。このニューラルネットワークは、エンコーダで入力画像に対して畳み込み計算を行い画像の各画素のクラスを識別するための特徴マップを出力する。そして、ニューラルネットワークは、デコーダでエンコーダが出力した特徴マップに対して逆畳み込み計算を行って、入力画像の各画素がいずれのクラスに属するかを示す確率値からなる画像（確率マップ）を出力する。

上記カテゴリ分類するためのニューラルネットワークを、スキャン画像において手書き文字の画像とそれ以外の画像とを分離するタスクに応用し、入力画像から手書き文字の画素を抽出することが提案されている。すなわち、入力画像の各画素を手書き文字を構成する画素であるか否かにカテゴリ分類するものである（非特許文献１）。なお、以降では、手書き文字を構成する画素を分類して抽出する処理を「手書き抽出」、手書き抽出によって抽出された画素を「手書き抽出画素」、手書き抽出により得た画像を「手書き抽出画像」とそれぞれ呼称する。

また、上記カテゴリ分類するためのニューラルネットワークを、帳票画像内の文字が記入された領域（記入欄の領域）を分類するタスクに応用することにより、入力画像上の手書き記入を含む領域を推定して出力するためのニューラルネットワークを作成することが提案されている（非特許文献２）。なお、以降では、手書き記入を含む領域を推定する処理を「手書き領域推定」と呼称する。また、手書き領域推定によって得た領域を「手書き領域」と呼称する。

また一方、一般にニューラルネットワークは計算量が多いことが知られている。上述の手書き領域推定および手書き抽出の両方の処理（すなわち複数のタスク）を、それぞれの処理に適した複数のニューラルネットワークにより構成する場合、２つのニューラルネットワークが必要となるため、計算負荷の増加はより顕著である。特許文献１は、複数のタスク間で共通するニューラルネットワークのエンコーダの処理の一部を統合して、計算量を低減することができるニューラルネットワークが開示されている。

特開２０１９－１７７０３２号公報

"Ｒｅｃｏｇｎｉｚｉｎｇ Ｃｈａｌｌｅｎｇｉｎｇ Ｈａｎｄｗｒｉｔｔｅｎ Ａｎｎｏｔａｔｉｏｎｓ ｗｉｔｈ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ"， １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ ２０１８ "Ｈａｎｄｗｒｉｔｔｅｎ ｔｅｘｔ ｌｉｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ"， ２０１７ １４ｔｈ ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ

特許文献１の技術によれば、複数のニューラルネットワークの間で、エンコーダ部分の計算を共有することで計算量を低減することができる。しかしながら、デコーダの計算量は依然として多いという課題がある。

上記課題を解決するために、本発明の画像処理システムは、ニューラルネットワークを用いて、処理対象画像から、認識対象のオブジェクトが含まれる領域と、前記認識対象のオブジェクトに対応する画素とを求める手段を有することを特徴とする画像処理システムであって、前記ニューラルネットワークは、前記処理対象画像に対して畳み込み処理を行うことにより特徴マップを得るエンコーダ部と、前記特徴マップに基づいて、前記認識対象のオブジェクトが含まれる領域を求める第１のデコーダ部と、前記特徴マップから、前記第１のデコーダ部で求めた前記認識対象のオブジェクトが含まれる領域に対応する部分の部分特徴マップを求める部分特徴マップ取得部と、前記部分特徴マップに基づいて、前記認識対象のオブジェクトに対応する画素を求める第２のデコーダ部と、を含む、ことを特徴とする。

本発明によれば、処理対象画像から、認識対象のオブジェクトが含まれる領域と、前記認識対象のオブジェクトに対応する画素とを求めるためのニューラルネットワークにおいて、エンコーダの計算量に加えてデコーダの計算量を低減することができる。

画像処理システムの構成を示した図である 図２（ａ）は画像処理装置の構成を示す図である。図２（ｂ）は学習装置の構成を示す図である。図２（ｃ）は画像処理サーバの構成を示す図である。図２（ｄ）はＯＣＲサーバの構成を示す図である 画像処理システムの学習シーケンスを示す図である。 画像処理システムの利用シーケンスを示す図である。 帳票の例を示す図である。 図５（ａ）は学習原稿スキャン画面を示す図である。図５（ｂ）は手書き抽出正解データ作成画面を示す図である。図５（ｃ）は手書き領域推定正解データ作成画面を示す図である。図５（ｄ）は帳票処理画面を示す図である。 図６（ａ）は原稿サンプル画像生成処理のフローを示す図である。図６（ｂ）は原稿サンプル画像受信処理のフローを示す図である。図６（ｃ）は正解データ生成処理のフローを示す図である。 図７（ａ）は学習データ生成処理のフローを示す図である。図７（ｂ）は学習処理のフローを示す図である。 図８（ａ）は手書き抽出の学習データの構成例を示す図である。図８（ｂ）は手書き領域推定の学習データの構成例を示す図である。 図９（ａ）は帳票テキスト化依頼処理のフローを示す図である。図９（ｂ）は帳票テキスト化処理のフローを示す図である。 帳票テキスト化処理におけるデータ生成処理の概要を示す図である。 ニューラルネットワークの構成を示す図である。 手書き領域と特徴マップの関係性を示す図である。 手書き領域特徴取得処理のフローを示す図である。 図１４（ａ）は実施例２における帳票テキスト化処理のフローを示す図である。図１４（ｂ）は実施例２における手書き領域選別処理のフローを示す図である。 実施例３におけるニューラルネットワークの構成を示す図である。 図１６（ａ）は実施例３における学習データ生成処理のフローを示す図である。図１６（ｂ）は実施例３における学習処理のフローを示す図である。 実施例３におけるにおける帳票テキスト化処理のフローを示す図である。 実施例４における帳票の例を示す図である。 図１９（ａ）は押印抽出の学習データの構成例を示す図である。図１９（ｂ）は押印領域推定の学習データの構成例を示す図である。 図２０（ａ）は押印照合依頼処理のフローを示す図である。図２０（ｂ）は押印照合処理のフローを示す図である。 図２１（ａ）は処理対象画像の一例である。図２１（ｂ）は手書き領域推定および手書き抽出のニューラルネットワークの推論結果の一例である。 帳票の記入例を示す図である。

以下、本発明を実施するための形態について実施例にて具体的な構成を挙げ、図面を用いて説明する。なお、本発明を実現するための構成は実施例に記載された構成のみに限定されるものではない。同様の効果を得られる範囲で実施例に記載の構成の一部を省略または均等物に置き換えてもよい。

なお、以降では、手書き抽出画像に対して文字認識処理（ＯＣＲ）を実行することを「手書きＯＣＲ」と呼ぶ。手書きされた文字を手書きＯＣＲによってテキスト化（データ化）することができる。

（実施例１）
本実施例では、手書き領域推定および手書き抽出を、ニューラルネットワークを用いて構成する例を示す。

＜画像処理システム＞
図１は画像処理システムの構成を示した図である。画像処理システム１００は、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３、ＯＣＲサーバ１０４より構成される。画像処理装置１０１と学習装置１０２、画像処理サーバ１０３、ＯＣＲサーバ１０４は、ネットワーク１０５を介して接続されている。

画像処理装置１０１は、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）と呼ばれるデジタル複合機などであり、印刷機能やスキャン機能（画像取得部１１１としての機能）を有する。

帳票の学習を行う場合、画像処理装置１０１は、サンプルとなる帳票などの複数枚の原稿をスキャンして、複数の画像データを生成する（以降この画像データを「原稿サンプル画像」と呼称する）。サンプルの原稿には、手書きで文字が記入された原稿を含む。そして、画像処理装置１０１は、ネットワーク１０５を介して、原稿サンプル画像を学習装置１０２に送信して帳票の学習処理を実行させる。

また、帳票画像の処理を行う場合、画像処理装置１０１は、認識対象となるオブジェクト（手書き文字）が含まれる原稿をスキャンして画像データを得る（以降この画像データを「処理対象画像」と呼称する）。そして、画像処理装置１０１は、得られた処理対象画像を、ネットワーク１０５を介して画像処理サーバ１０３に送信して帳票の認識処理を行わせる。

学習装置１０２は、画像処理装置１０１が生成した原稿サンプル画像を蓄積する画像蓄積部１１５として機能する。またこのようにして蓄積した画像から学習データを生成する学習データ生成部１１２として機能する。学習データは、手書き領域推定および手書き抽出を行うニューラルネットワークを学習するために用いられるデータである。学習装置１０２は、生成した学習データを用いて、ニューラルネットワークの学習をおこなう学習部１１３として機能する。学習部１１３の学習処理により、学習結果（ニューラルネットワークのパラメータなど）が生成される。学習装置１０２は、学習結果（学習モデル）を、ネットワーク１０５を介して、画像処理サーバ１０３に送信する。本発明におけるニューラルネットワークは、図１１を用いて後述する。

画像処理サーバ１０３は、処理対象画像を変換する画像変換部１１４として機能する。画像変換部１１４は、処理対象画像から手書きＯＣＲの対象とする画像を生成する。すなわち、画像変換部１１４は、画像処理装置１０１が生成した処理対象画像に対して手書き領域推定を行う。画像処理サーバ１０３は、学習装置１０２が生成した学習結果を用いることで、ニューラルネットワークにより推論して処理対象画像中の手書き文字が記入された領域を推定（特定）する。これにより手書き領域を得る。ここで、この手書き領域は、処理対象画像中の部分領域を示す情報であり、例えば、処理対象画像上の特定の画素位置（座標）と、当該画素位置からの幅や高さから成る情報として表現される。また、手書き領域は、帳票に記入された項目の数に応じて、複数得られる場合がある。さらに、画像変換部１１４は、手書き領域推定により得た手書き領域において手書き抽出を行う。この際、画像処理装置１０１は、学習装置１０２が生成した学習結果を用いることで、ニューラルネットワークにより推論して手書き領域中の手書き文字の画素（画素位置）を抽出（特定）する。そして、手書き抽出画像を得る。ここで、手書き領域は、処理対象画像における個々の記入欄等に基づき区分される領域である。一方、手書き抽出画像は、手書き領域中の手書き文字の画素を特定した画像である。すなわち、手書き領域内に活字の一部が含まれていたとしても、手書き抽出画像では手書きの画素のみが特定されており活字の画素は含まれない。したがって、手書き領域推定と手書き抽出の結果に基づけば、処理対象画像中の手書き文字のみを、個々の記入欄毎に区別して扱うことができる。そして、画像変換部１１４は、手書き抽出画像をＯＣＲサーバ１０４に送信する。これにより、ＯＣＲサーバ１０４に、推定した手書き領域内の手書き文字のみが抽出された手書き抽出画像を、それぞれ手書きＯＣＲの対象領域とすることを指示する。また、画像変換部１１４は、手書き領域および手書き抽出画像を参照して、処理対象画像上の特定の画素位置（座標）から手書き画素を除去した画像（以降「活字画像」と呼称する）を生成する。そして、画像変換部１１４は、活字画像上の領域であって、活字ＯＣＲの対象とする活字を含む領域（以降この領域を「活字領域」と呼称する）の情報を生成する。活字領域の生成については後述する。そして、画像変換部１１４は、活字画像と活字領域とをＯＣＲサーバ１０４に送信する。これにより、ＯＣＲサーバ１０４に、活字画像上の活字領域を、それぞれ活字ＯＣＲすることを指示するものである。画像変換部１１４は、ＯＣＲサーバ１０４から手書きＯＣＲ結果および活字ＯＣＲ結果を受信する。そしてこれを統合し、テキストデータとして画像処理装置１０１に送信する。以降このテキストデータを「帳票テキストデータ」と呼称する。

ＯＣＲサーバ１０４は、手書き文字を文字認識するのに適した手書きＯＣＲ部１１６と、活字文字を文字認識するのに適した活字ＯＣＲ部１１７としての機能を備える。ＯＣＲサーバ１０４は、手書き抽出画像を受信すると、手書きＯＣＲ部１１６において、当該手書き抽出画像に対して手書きＯＣＲ処理を行ってテキストデータ（ＯＣＲ結果）を取得する。手書きＯＣＲ部１１６は、当該テキストデータを画像処理サーバ１０３に送信する。また、ＯＣＲサーバ１０４は、活字画像と活字領域を受信すると、活字ＯＣＲ部１１７において、活字画像中の活字領域に対して活字ＯＣＲ処理を行ってテキストデータを取得する。活字ＯＣＲ部１１７は、当該テキストデータを画像処理サーバ１０３に送信する。

＜ニューラルネットワークの構成＞
本システムにおけるニューラルネットワークの構成について説明する。図１１はニューラルネットワークの構成を示す図である。本実施例のニューラルネットワーク１１００は、画像の入力に対して複数種類の処理を行う。すなわち、ニューラルネットワーク１１００は、入力された画像に対して、手書き領域推定、および手書き抽出を行う。そのため、本実施例のニューラルネットワーク１１００は、それぞれ異なるタスクを処理する複数のニューラルネットワークを組み合わせた構造になっている。図１１の例は、手書き領域推定ニューラルネットワークと、手書き抽出ニューラルネットワークが組み合わされた構造である。手書き領域推定ニューラルネットワークと手書き抽出ニューラルネットワークとで、エンコーダ（詳細後述）を共有している。なお、本実施例において、ニューラルネットワーク１１００への入力画像は、グレースケール（１ｃｈ）の画像とするが、例えば、カラー（３ｃｈ）の画像など、他の形式でもよい。

ニューラルネットワーク１１００は、図１１に示すように、エンコーダ部１１０１と、手書き抽出に関する画素抽出デコーダ部１１１２、および、手書き領域推定に関する領域推定デコーダ部１１２２で構成される。エンコーダ部１１０１と画素抽出デコーダ部１１１２とによって、手書き抽出ニューラルネットワークが構成される。また、エンコーダ部１１０１と領域推定デコーダ部１１２２とによって、手書き領域推定ニューラルネットワークが構成される。２つのニューラルネットワークにおいて、両ニューラルネットワークで同様の計算を行う層であるエンコーダ部１１０１を共有する。そして、タスクに応じて画素抽出デコーダ部１１１２および１１２２を分岐する構造である。ニューラルネットワーク１１００に画像が入力されると、エンコーダ部１１０１の計算を行う。そして、その計算結果（特徴マップ）を画素抽出デコーダ部１１１２および１１２２に入力し、画素抽出デコーダ部１１１２の計算を経て手書き抽出結果を、領域推定デコーダ部１１２２の計算を経て手書き領域推定結果を出力する。

エンコーダ部１１０１は、畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４とプーリング層ＥＰ１，ＥＰ２，ＥＰ３で構成される。畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４は、それぞれ入力に対して所定のカーネルサイズのフィルタで畳み込み計算を行って特徴を抽出し、所定のチャネル数分の特徴マップを出力する。ここで、特徴マップとは、手書き記入の特徴情報の集合である。畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４とプーリング層ＥＰ１，ＥＰ２，ＥＰ３の出力は特徴マップである。なお、畳み込み層ＥＣ１には入力画像が、畳み込み層ＥＣ２，ＥＣ３，ＥＣ４には直前の層（プーリング層（後述））が出力する特徴マップが入力される。プーリング層ＥＰ１，ＥＰ２，ＥＰ３は、それぞれ直前の畳み込み層ＥＣ１，ＥＣ２，ＥＣ３が出力した各特徴マップに対して、所定のカーネルサイズ領域毎の最大値を出力することで、入力された特徴マップからより重要な特徴情報を抽出する。このようにして入力画像を、手書き領域推定ないし手書き抽出に必要な特徴情報に変換する。なお、本実施例では、例えば、プーリング層ＥＰ１，ＥＰ２，ＥＰ３は、それぞれ入力された各特徴マップの解像度を半分にして出力する。

画素抽出デコーダ部１１１２は、逆畳み込み層ＤＤｐ１，ＤＤｐ２，ＤＤｐ３，ＤＤｐ４とアップサンプリング層ＤＵｐ１，ＤＵｐ２，ＤＵｐ３で構成される。逆畳み込み層ＤＤｐ１，ＤＤｐ２，ＤＤｐ３，ＤＤｐ４は、それぞれ入力された各特徴マップに対して指定のカーネルサイズのフィルタで逆畳み込み計算を行う。そして、特徴マップ内の特徴情報を変換して、入力画像上の各画素のクラス（手書き画素であるか否か）を推定していく。アップサンプリング層ＤＵｐ１，ＤＵｐ２，ＤＵｐ３は、それぞれ直前の逆畳み込み層ＤＤｐ１，ＤＤｐ２，ＤＤｐ３が出力した各特徴マップについて解像度を上げ、プーリング層ＥＰ１，ＥＰ２，ＥＰ３で落とした解像度を復元する。なお、本実施例では、例えば、アップサンプリング層ＤＵｐ１，ＤＵｐ２，ＤＵｐ３は、それぞれ入力された各特徴マップの解像度を２倍にして出力する。なお、逆畳み込み層ＤＤｐ４は、入力画像の各画素のクラス確率値を推定したクラス毎の画像を出力する（出力枚数はチャネル数＝分類したいクラス数）。逆畳み込み層ＤＤｐ４からの出力を、確率分布に正規化し、画素毎に各クラスの確率を表したマップを出力する。そして、最も高い確率を持つクラス毎に画素を分けて画像化し、手書き抽出画像を出力する。ここで、確率分布に正規化する手段として、例えば、ソフトマックス関数を用いる。エンコーダ部１１０１と画素抽出デコーダ部１１１２とから成るサブネットワークにより、手書き画素抽出が成される。

以上の画素抽出デコーダ部１１１２の計算にあたり、プーリング層ＥＰ１，ＥＰ２，ＥＰ３を経て特徴マップの解像度を落としているため、画素抽出デコーダ部１１１２が計算する特徴マップは局所的な特徴が失われてしまっている。そこで、エンコーダ部１１０１が処理過程で抽出した特徴マップを画素抽出デコーダ部１１１２に渡してクラス確率値の推定精度を向上させる。すなわち、アップサンプリング層ＤＵｐ１の出力に畳み込み層ＥＣ３の出力を、アップサンプリング層ＤＵｐ２の出力に畳み込み層ＥＣ２の出力を、アップサンプリング層ＤＵｐ３の出力に畳み込み層ＥＣ１の出力を結合する。以降、この処理手法を「スキップコネクション」と呼称する。

領域推定デコーダ部１１２２は、逆畳み込み層ＤＤｒ１，ＤＤｒ２，ＤＤｒ３とアップサンプリング層ＤＵｒ１，ＤＵｒ２，ＤＵｒ３で構成される。領域推定デコーダ部１１２２を構成する逆畳み込み層ＤＤｒ１，ＤＤｒ２，ＤＤｒ３は、それぞれ画素抽出デコーダ部１１１２を構成する逆畳み込み層ＤＤｐ１，ＤＤｐ２，ＤＤｐ３と同様の働きをする。アップサンプリング層ＤＵｒ１，ＤＵｒ２，ＤＵｒ３についても、それぞれ画素抽出デコーダ部１１１２を構成するアップサンプリング層ＤＵｐ１，ＤＵｐ２，ＤＵｐ３と同様の働きをする。なお、アップサンプリング層ＤＵｒ３は、入力画像の各画素のクラス確率値を推定したクラス毎の画像を出力する（出力枚数はチャネル数＝分類したいクラス数）。逆畳み込み層ＤＤｐ３からの出力を、確率分布に正規化し、画素毎に各クラスの確率を表したマップを出力する。そして、最も高い確率を持つクラス毎に画素を分けて、手書き領域を推定する。ここで、確率分布に正規化する手段として、例えば、ソフトマックス関数を用いる。エンコーダ部１１０１と領域推定デコーダ部１１２２とから成るサブネットワークにより、手書き領域推定が成される。

そして、領域推定デコーダ部１１２２の計算においても、スキップコネクションを導入してクラス確率値の推定精度を向上させる。すなわち、アップリング層ＤＵｒ１の出力に畳み込み層ＥＣ３の出力を、アップリング層ＤＵｒ２の出力に畳み込み層ＥＣ２の出力を結合する。

なお、本実施例では、領域推定デコーダ部１１２２の各プーリング層の間には、畳み込み層をひとつ配置する例を示したが、複数の畳み込み層を配置してもよい。また、領域推定デコーダ部１１２２と画素抽出デコーダ部１１１２の各アップサンプリング層の間には、逆畳み込み層をひとつ配置する例を示したが、複数の逆畳み込み層を配置してもよい。また、畳み込み層とそれに続くプーリング層を一つの構成単位としてとらえた場合、本実施例では、領域推定デコーダ部１１２２に３つの当該構成単位を設けたが、これよりも多い、あるいは少ない数の当該構成単位を設けてもよい。また、アップサンプリング層とそれに続く逆畳み込み層を一つの構成単位としてとらえた場合、本実施例では、領域推定デコーダ部１１２２に２つの当該構成単位を設け、画素抽出デコーダ部１１１２には３つの当該構成単位を設けた。しかし、これに限らず、これよりも多い、あるいは少ない数の当該構成単位を設けてもよい。また、本実施例では、プーリング層として最大値を出力する例を示したが、カーネルに該当する特徴マップ画素の平均値を出力するものなど、他の形態のものを用いてもよい。

以上に述べた領域推定デコーダ部１１２２は、画素抽出デコーダ部１１１２を構成する逆畳み込み層ＤＤｐ４を除いて同様の構成となるが、画素抽出デコーダ部１１１２よりも計算量の少ない構成とすることができる。例えば、領域推定デコーダ部１１２２の逆畳み込み層ＤＤｒ１，ＤＤｒ２，ＤＤｒ３について、各層の出力チャネル数を、それぞれ同様の働きをする画素抽出デコーダ部１１１２の逆畳み込み層ＤＤｐ１，ＤＤｐ２，ＤＤｐ３の出力チャネル数の半分とする。また、同様に、領域推定デコーダ部１１２２のアップサンプリング層ＤＵｒ１，ＤＵｒ２，ＤＵｒ３について、各層の出力チャネル数を、画素抽出デコーダ部１１１２のアップサンプリング層ＤＵｐ１，ＤＵｐ２，ＤＵｐ３の出力チャネル数の半分とする。この理由は、手書き部分の画素を１つ１つ抽出する手書き抽出タスクと、手書き部分の画素のまとまりである領域を推定する手書き領域推定タスクでは、タスクの難易度が異なるためである。すなわち、手書き抽出タスクより難易度が低い手書き領域推定タスクを処理する領域推定デコーダ部１１２２は、画素抽出デコーダ部１１１２よりも計算量の少ない小さな規模のニューラルネットワークとして構成することができる。領域推定デコーダ部１１２２の構成を簡素化することで、画素抽出デコーダ部１１１２と同等の複雑さの構成で手書き領域推定を行うよりもより計算量を抑えることができる。なお、本実施例では畳み込み層の数を削減したり、各畳み込み層の出力チャネル数を少なくしたりすることでニューラルネットワークの規模を小さくする例を示した。畳み込み層の数、各層の出力チャネル数に限らず、例えば、各畳み込み層の畳み込み回数を少なくしたりしてもよい。

以上のニューラルネットワーク１１００は、前述したとおり、エンコーダ部１１０１の計算を、画素抽出デコーダ部１１１２および領域推定デコーダ部１１２２で共有する。すなわち、エンコーダ部１１０１の出力する特徴マップを画素抽出デコーダ部１１１２および領域推定デコーダ部１１２２の入力とするものである。ここで、手書き画素は手書き領域内に存在するものである。そのため、領域推定デコーダ部１１２２で推定した手書き領域に対応する部分のみに絞った特徴マップを求めて、画素抽出デコーダ部１１１２に入力する。これにより、手書き画素の存在しない領域である非手書き領域で手書き抽出を行う計算量を削減でき、計算量が低減できる。これについて、図９および図１３を用いて後述する。

＜学習シーケンス＞
本システムにおける学習シーケンスについて説明する。図３Ａは画像処理システムの学習シーケンスを示す図である。

ステップＳ３０１において、ユーザが画像処理装置１０１に対して原稿の読取指示を行うと、画像取得部１１１は、原稿を読み取って原稿サンプル画像を生成する（Ｓ３０２）。

上述のように生成された原稿サンプル画像は、学習データ生成部１１２に送信される（Ｓ３０３）。なお、このとき、原稿サンプル画像にＩＤ情報を付与するとよい。このＩＤ情報は例えば、画像取得部１１１として機能する画像処理装置１０１を識別するための情報である。なお、ＩＤ情報として、画像処理装置１０１を操作するユーザを識別するためのユーザ識別情報や、ユーザが所属するグループを識別するためのグループ識別情報であってもよい。

画像が送信されてくると、学習データ生成部１１２は、画像蓄積部１１５に原稿サンプル画像を蓄積する（Ｓ３０４）。

ユーザが学習装置１０２に対して原稿サンプル画像に関する正解データの付与指示を行うと（Ｓ３０５）、学習データ生成部１１２は当該正解データを取得する。そして原稿サンプル画像に紐づけて画像蓄積部１１５に蓄積する（Ｓ３０６）。正解データは、ニューラルネットワークの学習に用いるデータである。正解データの付与方法については後述する。そして、学習データ生成部１１２は、このようにして蓄積したデータに基づいて学習データを生成する（Ｓ３０７）。このとき、特定のＩＤ情報に基づく原稿サンプル画像のみを用いて学習データを生成してもよい。その後、学習データ生成部１１２は、学習部１１３に学習データを送信する（Ｓ３０８）、特定のＩＤ情報に基づく画像のみで学習データを生成した場合は、ＩＤ情報も併せて送信する。学習部１１３は、受信した学習データに基づき、学習処理を行い、学習モデルを更新する（Ｓ３０９）。学習部１１３は、ＩＤ情報ごとに学習モデルを保持し、対応する学習データのみで学習を行ってもよい。このようにＩＤ情報と学習モデルを紐づけることで、特定の利用環境に特化した学習モデルを構築することができる。

＜利用シーケンス＞
本システムにおける利用シーケンスについて説明する。図３Ｂは画像処理システムの利用シーケンスを示した図である。

Ｓ３５１において、ユーザが原稿（帳票）の読取指示を行うと、画像取得部１１１は、原稿を読み取って処理対象画像を生成する（Ｓ３５２）。ここで読み取られる画像は、例えば図４（ａ）および（ｂ）に示すような帳票４００や帳票４５０である。これらの帳票は氏名の記入欄（氏記入欄４０１と名記入欄４０２、および氏名記入欄４５１）や、住所記入欄４０３および４５２、電話番号記入欄４０４および４５３を備え、それぞれ、氏名や住所、電話番号が手書きで記入されている。また、各記入欄に対応する項目名の見出し４１１、４１２、４１３、４１４、４６１、４６２、４６３には、原稿に予め印刷されていた活字の画像が含まれている。なお、これら記入欄の配置（帳票のレイアウト）は、帳票作成元により決定されるため、読み取った帳票毎に異なる画像となりうる（いわゆる非定型帳票の画像である）。

上述のように読み取られた処理対象画像は、画像変換部１１４送信される（Ｓ３５３）。なお、このとき、送信データにＩＤ情報を付与するとよい。

データを受信すると、画像変換部１１４は、処理対象画像のテキスト化指示を受け付ける（Ｓ３５４）。このとき、画像変換部１１４は、画像取得部１１１をデータの返信先として記憶する。手書き文字の加工指示を受け付けた画像変換部１１４は、最新の学習モデルを学習部１１３に要求する（Ｓ３５５）。これに応じて、学習部１１３は最新の学習モデルを画像変換部１１４に送信する（Ｓ３５６）。画像変換部１１４からの要求時にＩＤ情報が指定されていた場合は、ＩＤ情報に対応する学習モデルを送信する。画像変換部１１４は、取得した学習モデルに基づいて、処理対象画像に対して、手書き領域推定および手書き抽出を行う（Ｓ３５７）。そして、これにより生成された手書き領域毎の手書き抽出画像を手書きＯＣＲ部１１６に送信する（Ｓ３５８）。手書きＯＣＲ部１１６は、手書き抽出画像について手書きＯＣＲ処理を施し、テキストデータ（手書き）を取得する（Ｓ３５９）。手書きＯＣＲ部１１６は、取得したテキストデータ（手書き）を画像変換部１１４に送信する（Ｓ３６０）。続けて、画像変換部１１４は処理対象画像から活字画像と活字領域とを生成する（Ｓ３６１）。そして、活字ＯＣＲ部１１７に活字画像と活字領域を送信する（Ｓ３６２）。活字ＯＣＲ部１１７は、活字画像に活字ＯＣＲ処理を施し、テキストデータ（活字）を取得する（Ｓ３６３）。そして、取得したテキストデータ（活字）を画像変換部１１４に送信する（Ｓ３６４）。その後、画像変換部１１４は、テキストデータ（手書き）、テキストデータ（活字）に少なくとも基づいて帳票テキストデータを生成する（Ｓ３６５）。画像変換部１１４は、帳票テキストデータを画像取得部１１１に送信する（Ｓ３６６）。帳票テキストデータを取得した画像取得部１１１は、帳票テキストデータの利用画面をユーザに提示する（Ｓ３６７）。このあと、画像取得１１１は、帳票テキストデータの利用用途に応じて、帳票テキストデータを出力する。例えば、別体外部の業務システム（不図示）に送信したり、印刷したりして出力する。

＜装置構成＞
上述したシステムを実現するために、各装置は次のような構成を備える。図２（ａ）は画像処理装置の構成を示す図である。図２（ｂ）は学習装置の構成を示す図である。図２（ｃ）は画像処理サーバの構成を示す図である。図２（ｄ）はＯＣＲサーバの構成を示す図である。

図２（ａ）に示すように、画像処理装置１０１は、次を備える。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、プリンタデバイス２０５、スキャナデバイス２０６、原稿搬送デバイス２０７、ストレージ２０８、入力デバイス２０９、表示デバイス２１０、及び外部インタフェース２１１を備える。各デバイスは、データバス２０３によって相互通信可能に接続されている。

ＣＰＵ２０１は、画像処理装置１０１を統括的に制御するためのコントローラである。ＣＰＵ２０１は、ＲＯＭ２０２に格納されているブートプログラムによりＯＳ（オペレーティングシステム）を起動する。このＯＳ上で、ストレージ２０８に記憶されているコントローラプログラムが実行される。コントローラプログラムは、画像処理装置１０１を制御するためのプログラムである。ＣＰＵ２０１は、データバス２０３によって接続されている各デバイスを統括的に制御する。ＲＡＭ２０４は、ＣＰＵ２０１の主メモリやワークエリア等の一時記憶領域として動作する。

プリンタデバイス２０５は、画像データを用紙（記録材、シート）上に印刷するものである。これには感光体ドラムや感光体ベルトなどを用いた電子写真印刷方式や、微小ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式などがあるが、どの方式でもかまわない。スキャナデバイス２０６は、ＣＣＤなどの光学読取装置を用いて紙などの原稿上の走査を行い、電気信号データを得てこれを変換し、画像データを生成する。また、ＡＤＦ（オート・ドキュメント・フィーダ）などの原稿搬送デバイス２０７は、原稿搬送デバイス２０７上の原稿台に載置された原稿を１枚ずつスキャナデバイス２０６に搬送する。

ストレージ２０８は、ＨＤＤやＳＳＤなどの、読み出しと書き込みが可能な不揮発メモリであり、ここには、前述のコントローラプログラムなど、様々なデータが記録される。入力デバイス２０９は、タッチパネルやハードキーなどから構成さる入力装置である。入力デバイス２０９は、ユーザの操作指示を受け付ける。そして、指示位置を含む指示情報をＣＰＵ２０１に伝達する。表示デバイス２１０は、ＬＣＤやＣＲＴなどの表示装置である。表示デバイス２１０は、ＣＰＵ２０１が生成した表示データを表示する。ＣＰＵ２０１は、入力デバイス２０９より受信した指示情報と、表示デバイス２１０に表示させている表示データとから、いずれの操作がなされたかを判定する。そしてこの判定結果に応じて、画像処理装置１０１を制御するとともに、新たな表示データを生成し表示デバイス２１０に表示させる。

外部インタフェース２１１は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、外部機器と、画像データをはじめとする各種データの送受信を行う。外部インタフェース２１１は、学習装置１０２やＰＣ（不図示）などの外部機器より、ＰＤＬデータを受信する。ＣＰＵ２０１は、外部インタフェース２１１が受信したＰＤＬデータを解釈し、画像を生成する。生成した画像は、プリンタデバイス２０５により印刷したり、ストレージ１０８に記憶したりする。また、外部インタフェース２１１は、画像処理サーバ１０３などの外部機器より画像データを受信する。受信した画像データをプリンタデバイス２０５により印刷したり、ストレージ１０８に記憶したり、外部インタフェース２１１により、他の外部機器に送信したりする。

図２（ｂ）の学習装置１０２は、ＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５、入力デバイス２３６、表示デバイス２３７、外部インタフェース２３８、ＧＰＵ２３９を備える。各部は、データバス２３３を介して相互にデータを送受信することができる。

ＣＰＵ２３１は、学習装置１０２の全体を制御するためのコントローラである。ＣＰＵ２３１は、不揮発メモリであるＲＯＭ２３２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２３５に記憶されている学習データ生成プログラムおよび学習プログラムを実行する。ＣＰＵ２３１が学習データ生成プログラムを実行することより、学習データを生成する。また、ＣＰＵ２３１が学習プログラムを実行することにより、手書き抽出を行うニューラルネットワークを学習する。ＣＰＵ２３１は、データバス２３３などのバスを介して各部を制御する。

ＲＡＭ２３４は、ＣＰＵ２３１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２３５は、読み出しと書き込みが可能な不揮発メモリであり、前述の学習データ生成プログラムや学習プログラムを記録する。

入力デバイス２３６は、マウスやキーボードなどから構成さる入力装置である。表示デバイス２３７は、図２（ａ）を用いて説明した表示デバイス２１０と同様である。

外部インタフェース２３８は、図２（ａ）を用いて説明した外部インタフェース２１１と同様である。

ＧＰＵ２３９は、画像処理プロセッサであり、ＣＰＵ２３１と協調して画像データの生成やニューラルネットワークの学習を行う。

図２（ｃ）の画像処理サーバ１０３は、ＣＰＵ２６１、ＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５、入力デバイス２６６、表示デバイス２６７、外部インタフェース２６８を備える。各部は、データバス２６３を介して相互にデータを送受信することができる。

ＣＰＵ２６１は、画像処理サーバ１０３の全体を制御するためのコントローラである。ＣＰＵ２６１は、不揮発メモリであるＲＯＭ２６２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２６５に記憶されている画像処理サーバプログラムを実行する。ＣＰＵ２６１がこの画像処理サーバプログラムを実行することより、処理対象画像に対して手書き領域推定および手書き抽出を行う。ＣＰＵ２６１は、データバス２６３などのバスを介して各部を制御する。

ＲＡＭ２６４は、ＣＰＵ２６１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２６５は、読み出しと書き込みが可能な不揮発メモリであり、前述の画像処理プログラムを記録する。

入力デバイス２６６は、図２（ｂ）を用いて説明した入力デバイス２３６と同様である。表示デバイス２６７は、図２（ａ）を用いて説明した表示デバイス２１０と同様である。

外部インタフェース２６８は、図２（ａ）を用いて説明した外部インタフェース２１１と同様である。

図２（ｄ）のＯＣＲサーバ１０４は、ＣＰＵ２９１、ＲＯＭ２９２、ＲＡＭ２９４、ストレージ２９５、入力デバイス２９６、表示デバイス２９７、外部インタフェース２９８を備える。各部は、データバス２９３を介して相互にデータを送受信することができる。

ＣＰＵ２９１は、ＯＣＲサーバ１０４の全体を制御するためのコントローラである。ＣＰＵ２９１は、不揮発メモリであるＲＯＭ２９２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２９５に記憶されているＯＣＲサーバプログラムを実行する。ＣＰＵ２９１がこのＯＣＲサーバプログラムを実行することより、手書き抽出画像や活字画像の手書き文字や活字を認識してテキスト化する。ＣＰＵ２９１は、データバス２９３などのバスを介して各部を制御する。

ＲＡＭ２９４は、ＣＰＵ２９１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２９５は、読み出しと書き込みが可能な不揮発メモリであり、前述の画像処理プログラムを記録する。

入力デバイス２９６は、図２（ｂ）を用いて説明した入力デバイス２３６と同様である。表示デバイス２９７は、図２（ａ）を用いて説明した表示デバイス２１０と同様である。

外部インタフェース２９８は、図２（ａ）を用いて説明した外部インタフェース２１１と同様である。

＜操作画面＞
図３Ａの学習シーケンスにおけるＳ３０１に示したユーザの指示は、次のような操作画面で行われる。図５（ａ）は学習原稿スキャン画面を示す図である。学習原稿スキャン画面５００は、画像処理装置１０１の表示デバイス２１０に表示される画面の一例である。図５（ａ）に示すように、学習原稿スキャン画面５００は、プレビュー領域５０１、スキャンボタン５０２、送信開始ボタン５０３を備える。

スキャンボタン５０２はスキャナデバイス２０６にセットされた原稿の読取を開始するためのボタンである。スキャンが完了すると、原稿サンプル画像が生成され、プレビュー領域５０１に表示される。スキャナデバイス２０６に別の原稿をセットし、スキャンボタン５０２を再び押すことで、複数の原稿サンプル画像をまとめて保持しておくこともできる。

原稿が読み取られると、送信開始ボタン５０３が指示可能となる。送信開始ボタン５０３を指示すると、原稿サンプル画像が学習装置１０２に送信される。

また、図３Ａの学習シーケンスにおけるＳ３０５に示したユーザの指示は、次のような操作画面で行われる。図５（ｂ）は手書き抽出正解データ作成画面を示す図である。図５（ｃ）は手書き領域推定正解データ作成画面を示す図である。ユーザは、手書き抽出正解データ作成画面および手書き領域推定正解データ作成画面の表示内容に基づいて操作し、正解データを作成する。

手書き抽出正解データ作成画面５２０は、学習装置１０２の表示デバイス２３７に表示される画面の一例である。なお、手書き抽出正解データ作成画面５２０は学習装置１０２にネットワークを介して接続された他の装置（ＰＣ等）の表示デバイスに表示され、当該他の装置を介して学習装置１０２に対する指示を行うように構成してもよい。図５（ｂ）に示すように、手書き抽出正解データ作成画面５２０は、画像表示領域５２１、画像選択ボタン５２２、拡大ボタン５２３、縮小ボタン５２４、抽出ボタン５２５、推定ボタン５２６、保存ボタン５２７を備える。

画像選択ボタン５２２は、画像処理装置１０１から受信し、画像蓄積部１１５に蓄積されている原稿サンプル画像を選択するためのボタンである。画像選択ボタン５２２を指示すると、選択画面（不図示）が表示され、原稿サンプル画像を選択することができる。原稿サンプル画像を選択すると、画像表示領域５２１に選択した原稿サンプル画像が表示される。ユーザは画像表示領域５２１に表示された原稿サンプル画像に対して操作し、正解データを作成する。

拡大ボタン５２３と縮小ボタン５２４は、画像表示領域５２１の表示を拡大あるいは縮小するためのボタンである。拡大ボタン５２３や縮小ボタン５２４を指示することにより、正解データの作成が行いやすいよう、画像表示領域５２１に表示されている原稿サンプル画像を拡大および縮小して表示することができる。

抽出ボタン５２５および推定ボタン５２６は、手書き抽出と手書き領域推定のいずれの正解データを作成するかを選択するためのボタンである。いずれかを選択すると、選択したボタンは強調して表示される。抽出ボタン５２５を選択すると、手書き抽出の正解データを作成する状態となる。このボタンを選択した場合、ユーザは、手書き抽出の正解データを次のように操作して作成する。ユーザは、図５（ｂ）に示すように、入力デバイス２３６を介してマウスカーソルを操作し、画像表示領域５２１に表示されている原稿サンプル画像中の手書き文字をなぞって選択する。学習データ生成部１１２は、この操作を受信すると、上記操作により選択された原稿サンプル画像上の画素位置を記録する。すなわち、手書き抽出の正解データは、原稿サンプル画像上の、手書きに該当する画素の位置である。一方、推定ボタン５２６を選択すると、手書き領域推定の正解データを作成する状態となる。このボタンを選択した場合、ユーザは、手書き領域推定の正解データを次のように操作して作成する。ユーザは、図５（ｃ）に点線枠で示すように、入力デバイス２３６を介してマウスカーソルを操作する。そして、画像表示領域５２１に表示されている原稿サンプル画像中の手書き文字が記入されている罫線に囲まれた領域内（ここでは、記入欄内であり罫線は含まない）を選択する。これはすなわち、帳票の記入欄毎に領域を選択する操作である。学習データ生成部１１２は、この操作を受信すると、上記操作により選択された領域を記録する。すなわち、手書き領域推定の正解データは、原稿サンプル画像上の、記入欄内の領域（手書きが記入されている領域）である（以降、手書きが記入された領域を「手書き領域」と呼称する）。

保存ボタン５２７は、作成された正解データを保存するためのボタンである。手書き抽出の正解データは、次のような画像として、画像蓄積部１１５に蓄積される。原稿サンプル画像と同じサイズ（幅および高さ）を有する。ユーザにより選択された手書き文字位置の画素の値は、手書きを示す値（例えば２５５、以降も同様）である。それ以外の画素の値は、手書きではないことを示す値（例えば０、以降も同様）である。以降、このような手書き抽出の正解データである画像を「手書き抽出正解画像」と呼称する。手書き抽出正解画像の例を図４（ｃ）に示す。また、手書き領域推定の正解データは、次のような画像として、画像蓄積部１１５に蓄積される。原稿サンプル画像と同じサイズ（幅および高さ）を有する。ユーザにより選択された手書き領域に該当する画素の値は、手書き領域であることを示す値（例えば２５５、以降も同様）である。また、それ以外の画素の値は手書き領域ではないことを示す値（例えば０、以降も同様）である。以降、このような手書き領域推定の正解データである画像を「手書き領域推定正解画像」と呼称する。手書き領域推定正解画像の例を図４（ｄ）に示す。

また、図３Ｂの利用シーケンスにおけるＳ３５１に示したユーザの指示は、次のような操作画面で行われる。図５（ｄ）は帳票処理画面を示す図である。図５（ｄ）に示すように、帳票処理画面５２０は、プレビュー領域５４１、スキャンボタン５４２、送信開始ボタン５４３を備える。

スキャンボタン５４２はスキャナデバイス２０６にセットされた原稿の読取を開始するためのボタンである。スキャンが完了すると、処理対象画像が生成され、プレビュー領域５４１に表示される。

原稿が読み取られると、送信開始ボタン５４３が指示可能となる。送信開始ボタン５４３を指示すると、処理対象画像が学習サーバ１０３に送信される。

＜原稿サンプル画像生成処理＞
次に、画像処理装置１０１による原稿サンプル画像生成処理について説明する。図６（ａ）は原稿サンプル画像生成処理のフローを示す図である。この処理は、ＣＰＵ２０１が、ストレージ２０８に記録されているコントローラプログラムを読み出し、ＲＡＭ２０４に展開して実行することで実現される。これは、ユーザが、画像処理装置１０１の入力デバイス２０９を操作することにより開始される。

ＣＰＵ２０１は、Ｓ６０１において、原稿のスキャン指示がされたか否かを判定する。ユーザが、入力デバイス２０９を介して、原稿をスキャンするための所定の操作（スキャンボタン５０２の指示）を行った場合には、ＹＥＳと判定し、Ｓ６０２に遷移する。そうでなければ、ＮＯと判定し、Ｓ６０４に遷移する。

ＣＰＵ２０１は、Ｓ６０２において、スキャナデバイス２０６や原稿搬送デバイス２０７を制御して、原稿をスキャンして原稿サンプル画像を生成する。原稿サンプル画像は、グレースケールの画像データとして生成される。

ＣＰＵ２０１は、Ｓ６０３において、Ｓ６０２で生成した原稿サンプル画像を、外部インタフェース２１１を介して、学習装置１０２に送信する。

ＣＰＵ２０１は、Ｓ６０４において、処理を終了するか否かを判定する。ユーザが、原稿サンプル画像生成処理を終了する所定の操作を行った場合には、ＹＥＳと判定して、処理を終了する。そうでなければ、ＮＯと判定し、Ｓ６０１に遷移する。

以上の処理によって、画像処理装置１０１は、原稿サンプル画像を生成して学習装置１０２に送信する。ユーザの操作や、原稿搬送デバイス２０７に載置した原稿枚数に応じて、原稿サンプル画像が複数取得される。

＜原稿サンプル画像受信処理＞
次に、学習装置１０２による原稿サンプル画像受信処理について説明する。図６（ｂ）は原稿サンプル画像受信処理のフローを示す図である。この処理は、ＣＰＵ２３１が、ストレージ２３５に記録されている学習データ生成プログラムを読み出し、ＲＡＭ２３４に展開して実行することで実現される。これは、ユーザが、学習装置１０２の電源をＯＮ（オン）にすると開始される。

ＣＰＵ２３１は、Ｓ６２１において、原稿サンプル画像を受信したか否かを判定する。ＣＰＵ２３１は、外部インタフェース２３８を介して画像データを受信していたならば、ＹＥＳと判定し、Ｓ６２２に遷移する。そうでなければ、ＮＯと判定し、Ｓ６２３に遷移する。

ＣＰＵ２３１は、Ｓ６２２において、受信した原稿サンプル画像を、ストレージ２３５の所定の領域に記録する。

ＣＰＵ２３１は、Ｓ６２３において、処理を終了するか否かを判定する。ユーザが、学習装置１０２の電源のＯＦＦなどの、原稿サンプル画像受信処理を終了する所定の操作を行った場合には、ＹＥＳと判定して、処理を終了する。そうでなければ、ＮＯと判定し、Ｓ６２１に遷移する。

＜正解データ生成処理＞
次に、学習装置１０２による正解データ生成処理について説明する。図６（ｃ）は正解データ生成処理のフローを示す図である。

この処理は、学習装置１０２の学習データ生成部１１２により実現される。これは、ユーザが、学習装置１０２の入力デバイス２３６を介して、所定の操作を行うことで開始される。

ＣＰＵ２３１は、Ｓ６４１において、原稿サンプル画像の選択指示がされたか否かを判定する。ユーザが、入力デバイス２３６を介して、原稿サンプル画像を選択するための所定の操作（画像選択ボタン５２２の指示）を行った場合には、ＹＥＳと判定し、Ｓ６４２に遷移する。そうでなければ、ＮＯと判定し、Ｓ６４３に遷移する。

ＣＰＵ２３１は、Ｓ６４２において、Ｓ６４１でユーザが選択した原稿サンプル画像を、ストレージ２３５から読み出してユーザに対して出力する（画像表示領域５２１に表示）。

ＣＰＵ２３１は、Ｓ６４３において、ユーザが正解データの入力指示を行ったか否かを判定する。ユーザが、入力デバイス２３６を介して、前述したように、原稿サンプル画像上の手書き文字をなぞる、あるいは、手書き文字が記入されている罫線枠をなぞる操作を行っていたならば、ＹＥＳと判定し、Ｓ６４４に遷移する。そうでなければ、ＮＯと判定し、Ｓ６４７に遷移する。

ＣＰＵ２３１は、Ｓ６４４において、ユーザが入力した正解データは、手書き抽出の正解データであるか否かを判定する。ＣＰＵ２３１は、ユーザが手書き抽出の正解データ作成を指示する操作を行っていたならば（抽出ボタン５２５の選択）、ＹＥＳと判定し、Ｓ６４５に遷移する。そうでない場合、すなわち、ユーザが入力した正解データは手書き領域推定の正解データである場合（推定ボタン５２６を選択している）、Ｓ６４６に遷移する。

ＣＰＵ２３１は、Ｓ６４５において、ユーザが入力した手書き抽出の正解データを、ＲＡＭ２３４に一時的に記憶する。前述のとおり、手書き抽出の正解データは、原稿サンプル画像中の手書きに該当する画素の位置情報である。

ＣＰＵ２３１は、Ｓ６４６において、ユーザが入力した手書き領域推定の正解データをＲＡＭ２３４に一時的に記憶する。前述のおとり、手書き領域推定の正解データは、原稿サンプル画像上の、手書き領域に該当する領域情報である。

ＣＰＵ２３１は、Ｓ６４７において、正解データの保存指示がなされたか否かを判定する。ユーザが、入力デバイス２３６を介して、正解データを保存するための所定の操作（保存ボタン５２７の指示）を行った場合には、ＹＥＳと判定し、Ｓ６４８に遷移する。そうでなければ、ＮＯと判定し、Ｓ６５０に遷移する。

ＣＰＵ２３１は、Ｓ６４８において、手書き抽出正解画像を生成し、手書き抽出の正解データとして保存する。ＣＰＵ２３１は、次のようにして手書き抽出正解画像を生成する。ＣＰＵ２３１は、手書き抽出正解画像として、Ｓ６４２で読み出した原稿サンプル画像と同じサイズの画像を生成する。当該画像の全ての画素を、手書きではないことを示す値にする。次いで、Ｓ６４５においてＲＡＭ２３４に一時的に記憶した位置情報を参照し、手書き抽出正解画像上の該当する位置の画素の値を、手書きであることを示す値に変更する。このようにして生成した手書き抽出正解画像を、Ｓ６４２で読み出した原稿サンプル画像と関連付けて、ストレージ２３５の所定の領域に保存する。

ＣＰＵ２３１は、Ｓ６４９において、手書き領域推定正解画像を生成し、手書き領域推定の正解データとして保存する。ＣＰＵ２３１は、次のようにして手書き領域推定正解画像を生成する。ＣＰＵ２３１は、手書き領域推定正解画像として、Ｓ６４２で読み出した原稿サンプル画像と同じサイズの画像を生成する。当該画像の全ての画素を、手書き領域ではないことを示す値にする。次いで、Ｓ６４６においてＲＡＭ２３４に一時的に記憶した領域情報を参照し、手書き領域推定正解画像上の該当する領域内の画素の値を、手書き領域であることを示す値に変更する。このようにして生成した手書き領域推定正解画像を、Ｓ６４２で読み出した原稿サンプル画像、および、Ｓ６４８において作成した手書き抽出正解画像と関連付けて、ストレージ２３５の所定の領域に保存する。

ＣＰＵ２３１は、Ｓ６５０において、処理を終了するか否かを判定する。ユーザが、正解データ生成処理を終了する所定の操作を行った場合には、ＹＥＳと判定して、処理を終了する。そうでなければ、ＮＯと判定し、Ｓ６４１に遷移する。

＜学習データ生成処理＞
次に、学習装置１０２による学習データ生成処理について説明する。図７（ａ）は学習データ生成処理のフローを示す図である。この処理は、学習装置１０２の学習データ生成部１１２により実現される。これは、ユーザが、画像処理装置１０１の入力デバイス２０９を介して、所定の操作を行うことで開始される。

まずＣＰＵ２３１は、Ｓ７０１において、ストレージ２３５に記憶している原稿サンプル画像を選択して読み出す。図６（ｂ）のフローチャートのＳ６２２の処理ステップにより、ストレージ２３５には複数の原稿サンプル画像が記録されているので、その中からランダムにひとつを選択する。

ＣＰＵ２３１は、Ｓ７０２において、ストレージ２３５に記憶している手書き抽出正解画像を読み出す。Ｓ６４８の処理によって、Ｓ７０１で読み出した原稿サンプル画像に関連付けられた手書き抽出正解画像がストレージ２３５に記憶されているので、これを読み出す。

ＣＰＵ２３１は、Ｓ７０３において、ストレージ２３５に記憶している手書き領域推定正解画像を読み出す。Ｓ６４９の処理によって、Ｓ７０１で読み出した原稿サンプル画像に関連付けられた手書き領域推定正解画像がストレージ２３５に記憶されているので、これを読み出す。

ＣＰＵ２３１は、Ｓ７０４において、Ｓ７０１で読み出した原稿サンプル画像中の一部（例えば縦ｘ横＝２５６ｘ２５６の大きさ）を切り出して、学習データに用いる入力画像を生成する。切り出す位置はランダムに決定する。

ＣＰＵ２３１は、Ｓ７０５において、Ｓ７０２で読み出した手書き抽出正解画像中の一部を切り出して、手書き抽出の学習データに用いる正解ラベル画像（教師データ、正解画像データ）を生成する。以降この正解ラベル画像を「手書き抽出正解ラベル画像」と呼称する。切り出す位置およびサイズは、Ｓ７０４で原稿サンプル画像から入力画像を切り出した位置およびサイズと同様とする。

ＣＰＵ２３１は、Ｓ７０６において、Ｓ７０３で読み出した手書き領域推定正解画像中の一部を切り出して、手書き領域推定の学習データに用いる正解ラベル画像を生成する（以降この正解ラベル画像を「手書き領域推定正解ラベル画像」と呼称する）。切り出す位置およびサイズは、Ｓ７０４で原稿サンプル画像から入力画像を切り出した位置およびサイズと同様とする。

ＣＰＵ２３１は、Ｓ７０７において、Ｓ７０４で生成した入力画像と、Ｓ７０６で生成した手書き抽出正解ラベル画像とを対応付け、手書き抽出の学習データとしてストレージ２３５の所定の領域に保存する。本実施例では、図８（ａ）のような学習データが保存される。

ＣＰＵ２３１は、Ｓ７０８において、Ｓ７０４で生成した入力画像と、Ｓ７０６で生成した手書き領域推定正解ラベル画像とを対応付け、手書き領域推定の学習データとしてストレージ２３５の所定の領域に保存する。本実施例では、図８（ｂ）のような学習データが保存される。なお、手書き領域推定正解ラベル画像は、Ｓ７０４で生成した入力画像と対応付けることで、Ｓ７０６で生成した手書き抽出正解ラベル画像とも対応付けがされるようになっている。

ＣＰＵ２３１は、Ｓ７０９において、学習データ生成処理を終了するか否かを判定する。ＣＰＵ２３１は、予め決定した学習データの数（本フローチャートの開始時に、学習置１０２の入力デバイス２３６を介して、ユーザが指定するなどして決定）だけ学習データを生成していたならば、ＹＥＳと判定し、処理を終了する。そうでなければ、ＮＯと判定し、Ｓ７０１に遷移する。

以上により、ニューラルネットワーク１１００の学習データが生成される。ニューラルネットワークの汎用性を高めるために、学習データの加工を行っても良い。例えば、入力画像を所定の範囲（例えば、５０％～１５０％の間）からランダムに選択して決定する変倍率で変倍する。手書き領域推定および手書き抽出の正解ラベル画像も同様に変倍する。あるいは、入力画像を所定の範囲（例えば、－１０度～１０度の間）からランダムに選択して決定する回転角度で回転する。手書き領域推定および手書き抽出の正解ラベル画像も同様に回転する。変倍や回転を考慮すれば、Ｓ７０４やＳ７０５、Ｓ７０６で入力画像や手書き領域推定および手書き抽出の正解ラベル画像を切り出す際に、少し大きめのサイズ（例えば、縦ｘ横＝５１２ｘ５１２の大きさ）で切り出す。そして、変倍および回転後に、最終的な入力画像や手書き領域推定および手書き抽出の正解ラベル画像のサイズ（例えば、縦ｘ横＝２５６ｘ２５６）となるよう、中心部分から切り出す。あるいは、入力画像の各画素の輝度を変更して加工してもよい。すなわち、ガンマ補正を用いて入力画像の輝度を変更する。ガンマ値は所定の範囲（例えば、０．１～１０．０の間）からランダムに選択して決定する。

＜学習処理＞
次に、学習装置１０２による学習処理について説明する。図７（ｂ）は学習処理のフローを示す図である。この処理は、学習装置１０２の学習部１１３により実現される。これは、ユーザが、学習装置１０２の入力デバイス２３６を介して、所定の操作を行うことで開始される。なお、本実施例において、ニューラルネットワーク１１００の学習には、ミニバッチ法を用いるものとする。

まずＣＰＵ２３１は、Ｓ７３１において、ニューラルネットワーク１１００を初期化する。すなわち、ＣＰＵ２３１は、ニューラルネットワーク１１００を構築し、ニューラルネットワーク１１００に含まれるパラメタの値を、ランダムに決定して初期化する。

ＣＰＵ２３１は、Ｓ７３２において、学習データを取得する。ＣＰＵ２３１は、図７（ａ）のフローチャートに示した、学習データ生成処理を実行して、所定の数（ミニバッチサイズ、例えば１０）の学習データを取得する。

ＣＰＵ２３１は、Ｓ７３３において、ニューラルネットワーク１１００のエンコード部１１０１の出力を得る。すなわち、手書き領域推定および手書き抽出の各学習データに含まれる入力画像をニューラルネットワーク１１００に入力して、エンコーダ部１１１２が出力する特徴マップを得る。

ＣＰＵ２３１は、Ｓ７３４において、ニューラルネットワーク１１００の手書き領域推定結果の誤差を算出する。すなわち、Ｓ７３３で取得した特徴マップを、領域推定デコーダ部１１２２に入力して領域推定デコーダ部１１２２の出力を得る。当該出力は、入力画像と同じ画像サイズであり、予測結果として、手書き領域であると判定された画素は、画素の値が手書き領域を示す値、そうではないと判定された画素は、画素の値が手書き領域ではないことを示す値である画像である。そして、当該出力と学習データに含まれる手書き領域推定正解ラベル画像との差を評価して誤差を求める。当該評価には指標として交差エントロピーを用いることができる。

ＣＰＵ２３１は、Ｓ７３５において、ニューラルネットワーク１１００の手書き抽出結果の誤差を算出する。すなわち、Ｓ７３３で取得した特徴マップを画素抽出デコーダ部１１１２に入力して画素抽出デコーダ部１１１２の出力を得る。当該出力は、入力画像と同じ画像サイズであり、予測結果として、手書きであると判定された画素は、画素の値が手書きを示す値、そうではないと判定された画素は、画素の値が手書きではないことを示す値である画像である。そして、当該出力と学習データに含まれる手書き抽出正解ラベル画像との差を評価して誤差を求める。当該評価の指標には、手書き領域推定と同様、交差エントロピーを用いることができる。

ＣＰＵ２３１は、Ｓ７３６において、ニューラルネットワーク１１００のパラメタを調整する。すなわち、Ｓ７３４とＳ７３５において算出した誤差をもとに、バックプロパゲーション法によってニューラルネットワーク１１００のパラメタ値を変更するものである。

ＣＰＵ２３１は、Ｓ７３７において、学習を終了するか否かを判定する。これは次のようにして行う。ＣＰＵ２３１は、Ｓ７３２～Ｓ７３６の処理を、所定回数（例えば、６００００回）行ったか否かを判定する。当該所定回数は、本フローチャートの開始時にユーザが操作入力するなどして決定することができる。所定回数行った場合には、ＹＥＳと判定し、Ｓ７３８に遷移する。そうでない場合は、Ｓ７３２に遷移し、ニューラルネットワーク１１００の学習を続ける。

ＣＰＵ２３１は、Ｓ７３８において、学習結果として、Ｓ７３６において調整したニューラルネットワーク１１００のパラメタを、画像処理サーバ１０３に送信する。

＜帳票テキスト化依頼処理＞
次に、画像処理装置１０１による、帳票テキスト化依頼処理について説明する。画像処理装置１０１は、手書き記入がされた帳票をスキャンして処理対象画像を生成する。そして、処理対象画像データを画像処理サーバ１０３に送信して、帳票テキスト化を依頼する。図９（ａ）は帳票テキスト化依頼処理のフローを示す図である。この処理は、画像処理装置１０１のＣＰＵ２０１が、ストレージ２０８に記録されているコントローラプログラムを読み出し、ＲＡＭ２０４に展開して実行することにより実現される。これは、ユーザが、画像処理装置１０１の入力デバイス２０９を介して、所定の操作を行うことで開始される。

まずＣＰＵ２０１は、Ｓ９０１において、スキャナデバイス２０６や原稿搬送デバイス２０７を制御して、原稿をスキャンして処理対象画像を生成する。処理対象画像は、グレースケールの画像データとして生成される。

ＣＰＵ２０１は、Ｓ９０２において、Ｓ９０１で生成した処理対象画像を、外部インタフェース２１１を介して、画像処理サーバ１０３に送信する。

ＣＰＵ２０１は、Ｓ９０３において、画像処理サーバ１０３から、処理結果を受信したか否かを判定する。画像処理サーバ１０３から、外部インタフェース２１１を介して、処理結果を受信していた場合には、ＹＥＳと判定し、Ｓ９０４に遷移する。そうでない場合には、ＮＯと判定し、Ｓ９０３の処理ステップを繰り返す。

ＣＰＵ２０１は、Ｓ９０４において、画像処理サーバ１０３から受信した処理結果、すなわち、Ｓ９０１で生成した処理対象画像に含まれる手書き文字や活字を認識して生成した帳票テキストデータを出力する。例えば、ユーザが、入力デバイス２０９を操作して設定した送信宛先に、外部インタフェース２１１を介して、帳票テキストデータを送信することができる。

＜帳票テキスト化処理＞
次に、画像処理サーバ１０３による帳票テキスト化処理について説明する。図９（ｂ）は帳票テキスト化処理のフローを示す図である。図１０は、帳票テキスト化処理における、データ生成処理の概要を示す図である。画像変換部１１４として機能する画像処理サーバ１０３は、画像処理装置１０１から処理対象画像を受信し、当該スキャン画像データに含まれる活字や手書き文字をＯＣＲしてテキストデータを得る。活字に対するＯＣＲは、活字ＯＣＲ部１１７に実行させる。手書き文字に対するＯＣＲは、手書きＯＣＲ部１１６に実行させる。帳票テキスト化処理は、ＣＰＵ２６１が、ストレージ２６５に記憶されている画像処理サーバプログラムを読み出し、ＲＡＭ２６４に展開して実行することで実現される。これは、ユーザが、画像処理サーバ１０３の電源をＯＮ（オン）にすると開始される。

まずＣＰＵ２６１は、Ｓ９５１において、図１１に示す手書き領域推定および手書き抽出を行うニューラルネットワーク１１００をロードする。ＣＰＵ２６１は、図７（ｂ）のフローチャートのＳ７３１の場合と同一のニューラルネットワーク１１００を構築する。そして、Ｓ７３８において、学習装置１０２から送信された学習結果（ニューラルネットワーク１１００のパラメタ）を、構築したニューラルネットワーク１１００に反映する。

ＣＰＵ２６１は、Ｓ９５２において、処理対象画像を、画像処理装置１０１より受信したかを判定する。外部インタフェース２６８を介して、処理対象画像を受信していたならば、ＹＥＳと判定し、Ｓ９５３に遷移する。そうでなければ、ＮＯと判定し、Ｓ９６５に遷移する。例として、ここでは、処理対象画像として、図１０の帳票４００（図４に示した帳票４００）を受信したものとする。

Ｓ９５２の後、Ｓ９５３～Ｓ９５８において、ＣＰＵ２６１は、画像処理装置１０１から受信した処理対象画像をニューラルネットワーク１１００に入力し、手書き領域推定および手書き抽出を行う。ニューラルネットワーク１１００は、図１１を用いて前述したとおり、エンコーダ部１１０１の計算結果、すなわち抽出した特徴マップを、画素抽出デコーダ部１１１２および領域推定デコーダ部１１２２で共有する構成である。手書き画素は手書き領域内に存在する。このことを利用し、画素抽出デコーダ部１１１２が出力した特徴マップを、領域推定デコーダ部１１２２で推定した手書き領域に応じた領域に絞る。そして、絞った領域の特徴マップを画素抽出デコーダ部１１１２に入力する。これにより、手書き画素の存在しない領域である非手書き領域で手書き抽出を行う計算量を削減することができる。

ＣＰＵ２６１は、Ｓ９５３において、画像処理装置１０１から受信した処理対象画像をＳ９５１で構築したニューラルネットワーク１１００に入力し、エンコーダ部１１０２の出力する特徴マップを得る。

ＣＰＵ２６１は、Ｓ９５４において、画像処理装置１０１から受信した処理対象画像から手書き領域を推定する。すなわち、ＣＰＵ２６１は、Ｓ９５３で取得した特徴マップを領域推定デコーダ部１１２２に入力し、手書き領域を推定させる。ニューラルネットワーク１１００の出力として、次のような画像データが得られる。すなわち、処理対象画像と同じ画像サイズであり、予測結果として手書き領域であると判定された画素に、手書き領域であること示す値が記録され、かつ、手書き領域ではないと判定された画素に、手書き領域ではないことを示す値が記録された画像データが得られる。なお、前述したように、図３ＡのＳ３０５において、ユーザは、手書き領域推定の正解データを、帳票の記入項目ごとに対応する記入欄に対応する位置に作成した。したがって、ニューラルネットワーク１１００の領域推定デコーダ部１１２２はこれを学習しているため、記入欄ごとに手書き領域であることを示す画素を出力する。なお、ニューラルネットワーク１１００の出力は、画素毎の予測結果であり、予測された領域は必ずしも正確な矩形ではなく扱いにくいため、当該領域を内包する外接矩形を設定する。外接矩形の設定には公知の技術を適用し実現することができる。それぞれの外接矩形は、処理対象画像上における左上端点と幅および高さから成る領域座標情報として表現することができる。このようにして得た矩形情報群を手書き領域とする。図１０の１００２に、処理対象画像（帳票４００）に対して推定した手書き領域を、点線枠で示して例示する。

ＣＰＵ２６１は、Ｓ９５５において、Ｓ９５４で推定した全ての手書き領域をもとに、Ｓ９５３において取得した畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４が出力する特徴マップにおける、各手書き領域に対応する部分の特徴マップを取得する処理を行う。なお、以降では、各畳み込み層が出力する特徴マップ上の手書き領域に対応する領域の特徴マップ（部分特徴マップ）を、「手書き領域特徴マップ」と呼称する。

ここで、ニューラルネットワーク１１００に入力した画像に対する手書き領域の推定結果と、畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４が出力する特徴マップの関係を説明する。図１２は、ニューラルネットワーク１１００に入力した画像に対する手書き領域の推定結果と、畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４が出力する特徴マップの関係を説明する図である。ニューラルネットワーク１１００は、入力画像が入力されると、エンコーダ部１１０１の各畳み込み層で特徴を抽出して特徴マップを出力し、領域推定デコーダ部１１２２で特徴マップを処理して入力画像の各画素がいずれのクラスに属するかを推定する。図１２において、エンコーダ部１１０１の各層が抽出した特徴マップにおける破線部分の特徴が領域推定デコーダ部１１２２の各層で処理され、出力画像中の特徴マップの破線部分に対応する破線領域が手書き領域として出力されている。また、図１２において、畳み込み層ＥＣ１，ＥＣ２，ＥＣ３が出力する特徴マップは、プーリング層ＥＰ１，ＥＰ２，ＥＰ３を経て、一定の倍率で解像度が落とされている。一方、領域推定デコーダ部１１２２の出力画像は、アップサンプリング層ＤＵｒ１，ＤＵｒ２，ＤＵｒ３を経て畳み込み層ＥＣ１の特徴マップと同じ解像度になっている。

以上の手書き領域の推定結果と畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４が出力する特徴マップの関係を踏まえて、手書き領域特徴取得処理を説明する。図１３は、手書き特徴取得処理フローを説明する図である。

ＣＰＵ２６１は、Ｓ１３０１において、Ｓ９５４で推定した手書き領域の中から一つを選択する。

ＣＰＵ２６１は、Ｓ１３０２において、畳み込み層ＥＣ４が出力した特徴マップについて、Ｓ１３０１で選択した手書き領域に対応する部分の特徴マップ（手書き領域特徴マップ）を取得する。具体的には、Ｓ１３０１で選択した手書き領域の領域座標情報に、畳み込み層ＥＣ１の出力と畳み込み層ＥＣ４の出力のサイズ比を乗算することにより、畳み込み層ＥＣ４の手書き領域特徴マップ（画素抽出デコーダ部１１１２に入力する特徴マップ）を算出する。ここで、Ｓ１３０１で選択した手書き領域は、手書き領域推定により得られた領域を内包する外接矩形として取得されている。すなわち、手書き領域は、その周辺の非手書き領域が切り離された領域である。一方で、逆畳み込み層ＤＤｐ１における畳み込み処理の際には、手書き領域周辺の非手書き画素も参照させてよい。この場合、推定により得られた手書き領域を周囲に少し広げる。例えば、畳み込み処理に適用するカーネルサイズ（幅、高さ）から１を減算した幅分だけ、手書き領域を周囲に広げる。このようにして得た領域をもとに手書き領域特徴マップを算出するようにしてもよい。また、さらに周囲の非手書き画素も畳み込み処理の際に参照させてもよい。すなわち、カーネルサイズから１を減算した幅分よりも多く広げた領域を適用してもよい。

畳み込み層ＥＣ４の手書き領域特徴マップを導出した後、Ｓ１３０３に遷移する。

ＣＰＵ２６１は、Ｓ１３０３において、スキップコネクションのために、畳み込み層ＥＣ１，ＥＣ２，ＥＣ３の手書き領域特徴マップも導出する。ここで、図１２に示すように、各畳み込み層の出力は、各畳み込み層の間のプーリング層ＥＰ１，ＥＰ２，ＥＰ３により、前段の層の出力解像度を半分にした特徴マップが出力されている。このことから、Ｓ１３０２において算出した畳み込み層ＥＣ４の手書き領域特徴マップの座標情報（縦位置と横位置と幅と高さ）を２倍することで、畳み込み層ＥＣ３の手書き領域特徴マップを算出する。また、４倍することで、畳み込み層ＥＣ２の出力上の手書き領域特徴マップを算出する。また、８倍することで、畳み込み層ＥＣ１の手書き領域特徴マップを算出する。

ＣＰＵ２６１は、Ｓ１３０４において、全ての手書き領域を処理したか否かを判定する。ＣＰＵ２６１は、Ｓ９５４で推定した手書き領域について、全てＳ１３０２およびＳ１３０３の処理を行った場合にはＹＥＳと判定し、手書き領域特徴取得処理を終了する。そして、図９（ｂ）に示す帳票テキスト化処理に戻って、Ｓ９５６に遷移する。

そうでない場合はＮＯと判定し、Ｓ１３０１に遷移し、次の手書き領域を選択して処理する。

ＣＰＵ２６１は、Ｓ９５６において、Ｓ９５５において導出したエンコーダ部１１０１の畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４が出力する全ての手書き領域特徴マップを、画素抽出デコーダ部１１１２に入力する。そして、畳み込み層ＥＣ１，ＥＣ２，ＥＣ３，ＥＣ４それぞれが出力する特徴マップ上の全ての手書き領域の範囲内で手書き画素を推定させる。ニューラルネットワーク１１００の出力として、次のような画像データが得られる。すなわち、手書き領域と同じ画像サイズであり、予測結果として手書きであると判定された画素に手書きであること示す値が記録され、手書きではないと判定された画素に手書きではないことを示す値が記録された、画像データである。そして、当該画像データ中の手書きであることを示す値の画素と同じ位置の画素を、処理対象画像から抽出して手書き抽出画像を生成する。これにより図１０の手書き抽出画像１００１が得られる。図示のように、手書き領域における手書きの画素のみが含まれた画像である。手書き抽出画像は、入力された手書き領域特徴マップの数だけ出力される。

ＣＰＵ２６１は、Ｓ９５７において、Ｓ９５６で生成した全ての手書き抽出画像を、外部インタフェース２６８を介して、手書きＯＣＲ部１１６に送信する。そして、全ての手書き抽出画像に対して手書きＯＣＲを実行させる。手書きＯＣＲには公知の技術を適用し実現することができる。手書き抽出画像を手書きＯＣＲすることにより、例えば、図４の住所記入欄４０３や電話番号記入欄４０４に図示したように、手書き記入欄内の活字やマークなどの印字内容が、手書きＯＣＲの対象となってしまうことを低減する。また、氏記入欄４０１や名記入欄４０２のように隣接した項目でも、別々の手書き領域と推定させて手書きＯＣＲすることで、文字や項目が連結されてしまうことを低減する。

ＣＰＵ２６１は、Ｓ９５８において、手書きＯＣＲ部１１６から、全ての手書きＯＣＲ結果を受信したか否かを判定する。手書きＯＣＲ結果とは、手書きＯＣＲ部１１６が、手書き領域に含まれていた手書き文字を認識して得たテキストデータである。外部インタフェース２６８を介して、手書きＯＣＲ部１１６から、手書きＯＣＲ結果を受信していたならば、ＹＥＳと判定し、Ｓ９５９に遷移する。そうでなければ、Ｓ９５８の処理を繰り返す。ＣＰＵ２６１は、ここまでの処理によって、手書き領域（座標情報）とそこに含まれていた手書き文字を認識して得たテキストデータを得た。ＣＰＵ２６１は、これらを手書き情報テーブル１００３としてＲＡＭ２４６に記憶しておく。

ＣＰＵ２６１は、Ｓ９５９において、Ｓ９５４で生成した手書き領域に関する座標情報と、Ｓ９５６で生成した全ての手書き抽出画像とに基づいて、処理対象画像から手書きを除去して活字画像を生成する。ＣＰＵ２６１は、処理対象画像の画素であって、Ｓ９５６で生成した全ての手書き抽出画像において画素値が手書きを示す値である画素と同位置の画素を、白（ＲＧＢ＝（２５５，２５５，２５５））に変更する。これにより、図１０の活字画像１００４が得られる。

ＣＰＵ２６１は、Ｓ９６０において、Ｓ９５９で生成した活字画像から活字領域を抽出する。ＣＰＵ２６１は、活字領域として、活字を内包する活字画像上の部分領域を抽出する。ここで部分領域とは、印刷内容のまとまり（オブジェクト）であり、例えば、複数の文字からなる文字行や、複数の文字行からなる文章、あるいは、図や写真、表、グラフ、といったオブジェクトである。この部分領域の抽出方法として、例えば次のような手法を取り得る。活字画像を白黒に二値化して二値画像を生成する。この二値画像において黒画素が連結する部分（連結黒画素）を抽出し、これに外接する矩形を作成していく。当該矩形の形状や大きさを評価することで、文字ないし文字の一部である矩形群を得ることができる。これら矩形群について、矩形間の距離を評価し、予め定めた閾値以下の距離である矩形の統合を行うことで、文字である矩形群を得ることができる。同様の大きさの文字の矩形が近くに並んでいる場合には、それらを統合して文字行の矩形群を得ることができる。短辺長が同様の文字行の矩形が等間隔に並んでいる場合は、それらを統合して文章の矩形群を得ることができる。また、図や写真、表、グラフなど、文字や行、文章以外のオブジェクトを内包する矩形も得ることができる。以上で抽出した矩形から、単独の文字あるいは文字の一部である矩形を除外する。残った矩形を部分領域とする。図１０の１００５に、活字画像に対して抽出した活字領域を、点線枠で例示する。本処理ステップでは、背景サンプル画像から複数の背景部分領域を抽出し得る。

ＣＰＵ２６１は、Ｓ９６１において、Ｓ９５９で生成した活字画像と、Ｓ９６０で取得した活字領域とを、外部インタフェース２６８を介して、活字ＯＣＲ部１１７に送信し、活字ＯＣＲを実行させる。活字ＯＣＲには公知の技術を適用し実現することができる。

ＣＰＵ２６１は、Ｓ９６２において、活字ＯＣＲ部１１７から、活字ＯＣＲ結果を受信したか否かを判定する。活字ＯＣＲ結果とは、活字ＯＣＲ部１１７が、活字領域に含まれていた活字を認識して得たテキストデータである。外部インタフェース２６８を介して、活字ＯＣＲ部１１７から、活字ＯＣＲ結果を受信していたならば、ＹＥＳと判定し、Ｓ９６３に遷移する。そうでなければ、Ｓ９６２の処理を繰り返す。ここまでの処理によって、活字領域（座標情報）とそこに含まれていた活字を認識して得たテキストデータを得た。ＣＰＵ２６１は、これらを活字情報テーブル１００６としてＲＡＭ２４６に記憶しておく。

ＣＰＵ２６１は、Ｓ９６３において、手書きＯＣＲ部１１６ないし活字ＯＣＲ部１１７から受信した手書きＯＣＲ結果および活字ＯＣＲ結果を統合する。ＣＰＵ２６１は、元となった手書き領域および活字領域の位置関係や、手書きＯＣＲ結果ないし活字ＯＣＲ結果であるテキストデータの意味的な関係性を評価することで、手書きＯＣＲ結果および活字ＯＣＲ結果の関連性を推定する。この推定は、手書き情報テーブル１００３や活字情報テーブル１００６に基づき行われる。そして、氏見出し４１１内の活字領域に対して、最も距離が近い手書き領域として、氏記入欄４０１内の手書き領域が特定される。距離のみならず、上下・左右等の、手書き領域と活字領域の位置関係も考慮してよい。かつ、当該手書き領域の手書きＯＣＲ結果であるテキストデータが、氏名の氏を含む文字列であれば、これは氏名の氏であると特定できる。よって、これら活字ＯＣＲ結果と手書きＯＣＲ結果とを、氏名の氏に関する項目と値のペアの関係性と評価する。同様に氏名の名についても、活字領域と手書き領域の距離、および手書きＯＣＲ結果に氏名の名を含む文字列であることから、両者の関係性評価され、氏名の名に関する項目と値のペアの関係性と評価する。氏と名は統合し、氏名の項目と値のペアとすることができる。さらに同様に、住所についても、活字領域と手書き領域の距離、および、手書きＯＣＲ結果に地名を含むことから、両者の関係性が評価される。電話番号についても、活字領域と手書き領域の距離、および、手書きＯＣＲ結果が数字から構成されることから、両者の関係性が評価される。こうして、手書きＯＣＲ結果と活字ＯＣＲ結果とが、ひとつ以上の項目と値のペアとして統合され、帳票テキストデータ１００７が生成される。

ＣＰＵ２６１は、Ｓ９６４において、生成した帳票データを、画像取得部１１１に送信する。

ＣＰＵ２６１は、Ｓ９６５において、処理を終了するか否かを判定する。ユーザが、画像処理サーバ１０３の電源のＯＦＦなどの所定の操作を行った場合には、ＹＥＳと判定し、処理を終了する。そうでなければ、ＮＯと判定し、Ｓ９５２に遷移する。

以上、本実施例に示したとおり、手書き領域推定ニューラルネットワークと手書き抽出ニューラルネットワークの間でエンコーダ部（同様の計算をする層）を共有する構造のニューラルネットワークを用いる。そして、手書き記入を含む帳票のスキャン画像から手書き領域を推定し、当該領域に対応する手書きのみを含む手書き抽出画像を生成する。その際、手書き画素は手書き領域内に存在するので、手書き領域推定のデコーダ部で推定した手書き領域のみに絞った特徴マップを手書き抽出のデコーダ部に入力する。これにより、手書き画素の存在しない領域である非手書き領域で手書き抽出を行う計算量を削減し、生成における計算量を低減することができる。

なお、本実施例では、帳票テキスト化処理において、手書き領域推定のデコーダ部で推定した手書き領域のみに絞った特徴マップを手書き抽出のデコーダ部に入力する処理を行ったが、学習処理においても同様の処理をしてもよい。その場合、学習処理において、Ｓ７３４で手書き領域推定のニューラルネットワークの誤差を算出する。次に、図１３に示した手書き領域特徴取得処理を行う。次に、Ｓ７３５で、手書き領域推定のデコーダ部で推定した手書き領域に応じた部分のみに絞った特徴マップを手書き抽出のデコーダ部に入力する。

（実施例２）
本実施例では、手書き領域推定で取得した手書き領域のみに絞った特徴マップを手書き抽出のデコーダ部に入力する際、さらに領域を絞った特徴マップを入力する方法について説明する。実施例１では、例えば、手書き領域の誤抽出や、意図せぬペンの記入用紙への接触により生じる小さなペン汚れなどにより生じてしまう手書き抽出するうえで不要な小領域の存在を考慮していない。本実施例ではこうしたケースに対して、手書き抽出のデコーダ部に入力する特徴マップの領域をさらに絞る方法を説明する。なお、実施例２の画像処理システムの構成は、特徴部分を除いて実施例１の構成と同様である。そのため、同様の構成については、同様の符号を付し、その詳細な説明を省略する。

＜帳票テキスト化処理＞
本実施例における、画像処理サーバ１０３による帳票テキスト化処理について説明する。図１４（ａ）は実施例２における帳票テキスト化処理のフローを示す図である。この処理は、ＣＰＵ２６１が、ストレージ２６５に記憶されている画像処理サーバプログラムを読み出し、ＲＡＭ２６４に展開して実行することで実現される。これは、ユーザが、画像処理サーバ１０３の電源をＯＮ（オン）にすると開始される。

Ｓ９５１～Ｓ９５４の処理は、図９（ｂ）のフローチャートにおける同符合の処理ステップと同様の処理ステップである。

ＣＰＵ２６１は、Ｓ１４０１において、Ｓ９５４で生成した手書き領域に対して手書き領域選別処理を実行し、手書き領域の領域数を更新する。この手書き領域選別処理について、図１４（ｂ）を用いて説明する。図１４（ｂ）は実施例２における手書き領域選別処理のフローを示す図である。

ＣＰＵ２６１は、Ｓ１４５１において、Ｓ９５４で推定した手書き領域の中から一つを選択する。

ＣＰＵ２６１は、Ｓ１４５２において、Ｓ１４５１で選択した手書き領域について、面積が小領域か否かを判定する。ＣＰＵ２６１は、当該手書き領域に該当する画素数を数え、数が予め定めた閾値以下であった場合にはＹＥＳと判定し、Ｓ１４５３に遷移する。そうでない場合はＮＯと判定し、Ｓ１４５４に遷移する。

ＣＰＵ２６１は、Ｓ１４５３において、Ｓ１４５２でＮＯと判定された手書き領域に該当するＳ９５４で生成した手書き領域上の画素群に、手書き領域ではないことを示す値を記録する。これにより、面積が閾値未満の、手書き抽出するうえで不要な小領域を除去することができる。

ＣＰＵ２６１は、Ｓ１４５４において、全ての手書き領域を処理したか否かを判定する。ＣＰＵ２６１は、Ｓ９５４で推定した手書き領域について、全てＳ１４５２の処理を行った場合にはＹＥＳと判定し、手書き領域選別処理を終了する。そうでない場合はＮＯと判定し、Ｓ１４５１に遷移し、次の手書き領域を選択して処理する。

以上、本実施例に示したとおり、推定した手書き領域について、手書き抽出するうえで不要な小領域を除去することができる。これにより、手書き抽出で不要な領域が除去され、ニューラルネットワーク１１００の手書き抽出の計算量をより低減することができる。また、手書き領域推定の誤抽出領域を除去することで、手書きＯＣＲ認識率を向上させることができる。

（実施例３）
本実施例では、実施例１、２で説明した帳票テキスト化処理の方法に加えて、処理対象画像に手書き記入があるかどうかを判定する方法について説明する。実施例１、２では、処理対象画像の手書き領域のみに絞った特徴マップを手書き抽出のデコーダ部に入力することで、ニューラルネットワーク全体の計算量を低減していた。しかし、処理対象画像に手書き記入がない場合、手書き領域推定に無駄な計算を費やすことになる。例えば、サービス利用に関する申込書は、サービス提供者窓口での配布のみならず、近年ではインターネットにフォーマットが公開されている場合がある。申込者は事前にフォーマットをダウンロードして印刷紙・記入のうえ窓口に赴くことができ、窓口における手続き時間を短縮化することができる。フォーマットは電子ファイルであるため、利用者は、記入内容を電子的に入力して印刷することも可能である。すなわちこの場合、申込書は活字のみから構成される。サービス提供者は、手書きと活字から成る帳票ないし活字のみの帳票を処理してテキスト化する。

本実施例ではこうしたケースに対して、手書き領域推定および手書き抽出を行う前に、処理対象画像に手書き記入があるかどうかを判定し、手書き記入が存在する場合に手書き領域推定および手書き抽出を行う方法を説明する。なお、以降では、処理対象画像に手書き記入があるかどうかを判定することを「手書き有無判定」と呼称する。また、手書き有無判定により手書き記入があると判定されることを「手書き有」と呼称する。また、手書き有無判定により手書き記入がないと判定されることを「手書き無」と呼称する。また、実施例３の画像処理システムの構成は、特徴部分を除いて実施例１、２の構成と同様である。そのため、同様の構成については、同様の符号を付し、その詳細な説明を省略する。

＜ニューラルネットワークの構成＞
本実施例におけるニューラルネットワークの構成について説明する。図１５は画像処理システムのニューラルネットワークの構成を示す図である。本実施例のニューラルネットワーク１５００は、画像の入力に対して複数種類の処理を行う。例えば、ニューラルネットワーク１５００は、入力された画像に対して手書き有無判定、手書き領域推定、手書き抽出を行う。そのため、本実施例のニューラルネットワーク１５００は、互いに異なるタスクを処理する複数のニューラルネットワークを組み合わせた構造になっている。図１５の例では、手書き有無判定ニューラルネットワーク、手書き領域推定ニューラルネットワーク、手書き抽出ニューラルネットワークが組み合わされた構造である。なお、本実施例において、ニューラルネットワーク１１００への入力画像は、グレースケール（１ｃｈ）の画像とするが、例えば、カラー（３ｃｈ）の画像など、他の形式でもよい。

ニューラルネットワーク１５００は、図１５に示すように、エンコーダ部１１０１と、画素抽出デコーダ部１１１２、領域推定デコーダ部１１２２、および全結合層Ｌで構成される。

ニューラルネットワーク１５００は、従来であればエンコーダ部１１０１と画素抽出デコーダ部１１１２から構成される手書き抽出ニューラルネットワークを有する。また、同じくエンコーダ部１１０１と領域推定デコーダ部１１２２から構成される手書き領域推定ニューラルネットワークを有する。また、同じくエンコーダ部１１０１と全結合層Ｌから構成される手書き有無判定ニューラルネットワークを有する。本発明では、３つのニューラルネットワークにおいて、各ニューラルネットワークで同様の計算を行う層であるエンコーダ部１１０１を共有する。そして、タスクに応じて画素抽出デコーダ部１１１２および１１２２と全結合層Ｌを分岐する構造である。ニューラルネットワーク１５００に画像が入力されると、エンコーダ部１１０１の計算を行う。そして、その計算結果を全結合層Ｌと領域推定デコーダ部１１２２および１１１２に入力し、全結合層Ｌの計算を経て手書き有無判定結果を出力する。また、領域推定デコーダ部１１２２の計算を経て手書き領域推定結果する。また、画素抽出デコーダ部１１１２の計算を経て手書き抽出結果を出力する。なお、本発明では、全結合層Ｌが「手書き無」を出力した場合、領域推定デコーダ部１１２２および１１１２の計算は行わない。詳細は後述する。

全結合層Ｌへの入力は、エンコーダ部１１０１の最終出力であるプーリング層ＥＰ３を通して得られた特徴マップを変換して生成する。当該変換には、例えば、次のような手法を用いることができる。プーリング層ＥＰ３が出力した特徴マップは、複数のチャネルから構成されるが、各チャネル内の全画素値の平均値を算出する。そして、チャネル数分計算された平均値を統合してベクトル化し、全結合層Ｌへの入力とする。なお、各チャネルを２ｘ２次元の行列から１ｘ２次元のベクトルに変換して、チャネル数分算出されるこれらベクトルと結合したベクトルを全結合層Ｌへの入力とするなど、他の変換手法を用いてもよい。そして全結合層Ｌは、前記入力を変換し、活性化関数を通すことにより、特徴を数値に変換した値である特徴変数を出力する。全結合層Ｌからの出力である特徴変数を、確率分布に正規化する変換を行うことで手書きがある確率および手書きがない確率に変換し、確率に応じて手書き有無判定を行う。ここで、確率分布に正規化する手段として、例えば、ソフトマックス関数を用いる。なお、本実施例において、全結合層Ｌはプーリング層ＥＰ３の出力を入力としたが、プーリング層ＥＰ１およびＥＰ２の出力を入力としてもよい。

＜学習データ生成処理＞
次に、学習装置１０２による学習データ生成処理について説明する。図１６（ａ）は学習データ生成処理のフローを示す図である。この処理は、学習装置１０２の学習データ生成部１１２により実現される。これは、ユーザが、画像処理装置１０１の入力デバイス２０９を介して、所定の操作を行うことで開始される。

Ｓ７０１～Ｓ７０８の処理は、図７（ａ）のフローチャートにおける同符合の処理ステップと同様の処理ステップである。

ＣＰＵ２３１は、Ｓ１６０１において、Ｓ７０６で生成した手書き抽出正解ラベル画像が、手書きを示す値である画素を含むか否かを判定する。ＣＰＵ２３１は、Ｓ７０６で生成した手書き抽出正解ラベル画像を走査して手書きを示す値があるか否かを判定する。手書きを示す値があった場合にはＹＥＳと判定し、Ｓ１６０２に遷移する。そうでない場合はＮＯと判定し、Ｓ１６０３に遷移する。なお、ここでは、予め手書きを示す画素値の数に対する閾値を定めておき、当該閾値を超える数の手書きを示す画素が存在した場合にＹＥＳと判定するようにしても良い。

ＣＰＵ２３１は、Ｓ１６０２において、Ｓ１６０１でＹＥＳと判定された手書き抽出正解ラベル画像に対応するＳ７０４で生成した入力画像に対して、手書き有無判定の学習データに用いる正解ラベルとして、手書き有を示す値を生成する。なお、以降では、この正解ラベルを「手書き有無判定正解ラベル」と呼称する。その後、当該入力画像と手書き有無判定正解ラベルを対応付け、手書き有無判定の学習データとしてストレージ２３５の所定の領域に保存する。

ＣＰＵ２３１は、Ｓ１６０３において、Ｓ１６０１でＮＯと判定された手書き抽出正解ラベル画像に対応するＳ７０４で生成した入力画像に対して、手書き有無判定正解ラベルとして、手書き無を示す値を生成する。その後、当該入力画像と手書き有無判定正解ラベルを対応付け、手書き有無判定の学習データとしてストレージ２３５の所定の領域に保存する。

＜学習処理＞
次に、学習装置１０２による学習処理について説明する。図１６（ｂ）は学習処理のフローを示す図である。この処理は、学習装置１０２の学習部１１３により実現される。これは、ユーザが、学習装置１０２の入力デバイス２３６を介して、所定の操作を行うことで開始される。なお、本実施例において、ニューラルネットワーク１５００の学習には、ミニバッチ法を用いるものとする。

Ｓ７３１～Ｓ７３３の処理は、図７（ｂ）のフローチャートにおける同符合の処理ステップと同様の処理ステップである。

ＣＰＵ２３１は、Ｓ１６３１において、ニューラルネットワーク１５００の手書き有無判定結果の誤差を算出する。すなわち、Ｓ７３３で取得した特徴マップを、全結合層Ｌに入力して全結合層Ｌの出力を得る。当該出力は、入力画像が手書き有である確率および手書き無である確率について、正規化した確率分布である。そして、当該出力と学習データに含まれる手書き有無判定正解ラベルとの差を評価して誤差を求める。当該評価の指標には、手書き抽出と同様、交差エントロピーを用いることができる。

Ｓ７３４～Ｓ７３５の処理は、図７（ｂ）のフローチャートにおける同符合の処理ステップと同様の処理ステップである。

ＣＰＵ２３１は、Ｓ１６３２において、ニューラルネットワーク１５００のパラメタを調整する。すなわち、Ｓ１６３１とＳ７３４とＳ７３５において算出した誤差をもとに、バックプロパゲーション法によってニューラルネットワーク１５００のパラメタ値を変更するものである。

＜帳票テキスト化処理＞
次に、画像処理サーバ１０３による帳票テキスト化処理について説明する。図１７は帳票テキスト化処理のフローを示す図である。帳票テキスト化処理は、ＣＰＵ２６１が、ストレージ２６５に記憶されている画像処理サーバプログラムを読み出し、ＲＡＭ２６４に展開して実行することで実現される。これは、ユーザが、画像処理サーバ１０３の電源をＯＮ（オン）にすると開始される。

Ｓ９５１～Ｓ９５３の処理は、図９（ｂ）のフローチャートにおける同符合の処理ステップと同様の処理ステップである。

ＣＰＵ２６１は、Ｓ１７０１において、画像処理装置１０１から受信した処理対象画像に対して手書き有無判定を行う。ＣＰＵ２６１は、Ｓ９５３で取得した特徴マップを全結合層Ｌに入力し、手書きの有無を判定させる。ニューラルネットワーク１５００の出力として、判定結果として手書き有が得られた場合には手書き有であること示す値、手書き無が得られた場合には手書き無であることを示す値が出力される。

ＣＰＵ２６１は、Ｓ１７０２において、処理対象画像が手書き有か否かを判定する。ＣＰＵ２６１は、Ｓ１７０１の手書き有無判定で手書き有を示す値が得られた場合には、ＹＥＳと判定し、Ｓ９５４に遷移する。そうでない場合はＮＯと判定し、Ｓ９５９に遷移する。

Ｓ９５４～Ｓ９５８の処理は、図９（ｂ）のフローチャートにおける同符合の処理ステップと同様の処理ステップである。

ＣＰＵ２６１は、Ｓ９５９において、活字画像を生成する。Ｓ１７０２においてＹＥＳと判定されていた場合には、図９（ｂ）のフローチャートにおける同符合の処理ステップと同様の処理で、処理対象画像から手書きを除去して活字画像を生成する。Ｓ１７０２においてＮＯと判定されていた場合には、処理対象画像そのものを活字画像とする。

Ｓ９６０～Ｓ９６５の処理は、図９（ｂ）のフローチャートにおける同符合の処理ステップと同様の処理ステップである。

以上、本実施例に示したとおり、手書き領域推定および手書き抽出を行う前に、処理対象画像に手書き記入があるかどうかを判定し、手書き記入が存在する場合に手書き領域推定および手書き抽出を行うことができる。これにより、処理対象画像に手書き記入がない場合の計算量を低減することができる。

（実施例４）
本実施例では、本発明のニューラルネットワーク、および構成を、実施例１、２、３とは別のタスクに適用するケースについて説明する。なお、本発明の構成とは、領域推定デコーダ部で推定した認識対象のオブジェクトを含む領域のみに絞った特徴マップを、認識対象のオブジェクトの画素を抽出するデコーダ部に入力する構成である。本実施例では、認識対象のオブジェクトとして、原稿内に含まれる押印画像（押印された印影の画像）を対象とする場合について説明する。すなわち、画素毎に、押印画像を構成する画素を抽出する処理、および、押印画像を含む領域を推定する処理について、ニューラルネットワークを用いて構成する例を示す。例えば、口座振替依頼書などでは、帳票内の押印をデータベース等に登録された押印と照合する場合がある。本実施例に示すように、押印を含む領域およびその画素を抽出することにより、照合対象の押印の抽出を自動化することができる。また、押印背景の印字（「印」などの押印箇所をガイドするための印字）と押印を分離することで、より高い精度で照合することができる。

なお、以降では、押印を含む領域を推定することを「押印領域推定」と呼び、画素毎に押印を抽出することを「押印抽出」と呼ぶ。また、実施例４の画像処理システムは、実施例１、２、３における抽出対象および領域推定対象を、手書き文字から押印に変更したものである。よって、実施例４の画像処理システムの構成および処理は、実施例１、２、３の構成および処理と同様であり、実施例１、２、３に記載の「手書き」「手書き文字」「手書き文字が記入」を「押印」と読み替えたものである。以下では、本実施例と実施例１、２、３の差分となるニューラルネットワークの学習処理に用いる学習データについて詳細を述べる。また、押印照合依頼処理および押印照合処理について詳細を述べる。なお、本実施例と実施例１、２、３で同様の構成については、同様の符号を付し、その詳細な説明を省略する。

＜操作画面＞
実施例１と同様に、ユーザは、押印抽出正解データ作成画面および押印領域推定正解データ作成画面の表示内容に基づいて操作し、正解データを作成する。なお、押印抽出正解データ作成画面および押印領域推定正解データ作成画面は、図５に示す画面においてユーザの指定対象が押印になったものであり、操作は同様の形態である。また、本実施例における原稿サンプル画像は、例えば図１８（ａ）および（ｂ）に示すような帳票１８００や帳票１８５０である。

押印抽出の正解データは、次のような画像として、画像蓄積部１１５に蓄積される。原稿サンプル画像と同じサイズ（幅および高さ）を有する。ユーザにより選択された押印位置の画素の値は、押印を示す値（例えば２５５、以降も同様）である。それ以外の画素の値は、押印ではないことを示す値（例えば０、以降も同様）である。以降、このような押印抽出の正解データである画像を「押印抽出正解画像」と呼称する。押印抽出正解画像の例を図１８（ｃ）に示す。

また、押印領域推定の正解データは、次のような画像として、画像蓄積部１１５に蓄積される。原稿サンプル画像と同じサイズ（幅および高さ）を有する。ユーザにより選択された押印領域に該当する画素の値は、押印領域であることを示す値（例えば２５５、以降も同様）である。また、それ以外の画素の値は押印領域ではないことを示す値（例えば０、以降も同様）である。以降、このような押印領域推定の正解データである画像を「押印領域推定正解画像」と呼称する。押印領域推定正解画像の例を図１８（ｄ）に示す。

＜学習データ生成処理＞
学習装置１０２の学習データ生成部１１２により、実施例１と同様の学習データ生成処理が実現される。これは、ユーザが、画像処理装置１０１の入力デバイス２０９を介して、所定の操作を行うことで開始される。

実施例１と同様に、ＣＰＵ２３１は、押印抽出の学習データに用いる正解ラベル画像（以降この正解ラベル画像を「押印抽出正解ラベル画像」と呼称する）を生成し、押印抽出の学習データとしてストレージ２３５の所定の領域に保存する。本実施例では、図１９（ａ）のような学習データが保存される。

また、実施例１と同様に、ＣＰＵ２３１は、押印領域推定の学習データに用いる正解ラベル画像（以降この正解ラベル画像を「押印領域推定正解ラベル画像」と呼称する）を生成し、押印領域推定の学習データとしてストレージ２３５の所定の領域に保存する。本実施例では、図１９（ｂ）のような学習データが保存される。

＜押印照合依頼処理＞
次に、画像処理装置１０１による、押印照合依頼処理について説明する。画像処理装置１０１は、押印された帳票をスキャンして処理対象画像を生成する。そして、処理対象画像データを画像処理サーバ１０３に送信して、押印照合を依頼する。図２０（ａ）は押印照合依頼処理のフローを示す図である。この処理は、画像処理装置１０１のＣＰＵ２０１が、ストレージ２０８に記録されているコントローラプログラムを読み出し、ＲＡＭ２０４に展開して実行することにより実現される。これは、ユーザが、画像処理装置１０１の入力デバイス２０９を介して、所定の操作を行うことで開始される。

Ｓ９０１～Ｓ９０３の処理は、図９（ａ）のフローチャートにおける同符合の処理ステップと同様の処理ステップである。

ＣＰＵ２０１は、Ｓ２００１において、画像処理サーバ１０３から受信した処理結果、すなわち、Ｓ９０１で生成した処理対象画像に含まれる押印を照合した結果を出力する。例えば、ユーザが、入力デバイス２０９を操作して設定した送信宛先に、外部インタフェース２１１を介して、照合結果を送信することができる。

＜押印照合処理＞
次に、画像処理サーバ１０３による押印照合処理について説明する。図２０（ｂ）は押印照合処理のフローを示す図である。なお、本実施例のシステムは、実施例１のＯＣＲサーバ１０４の代わりに、不図示の押印照合サーバを有する。押印照合サーバは、押印画像と当該押印の登録者情報（例えば、氏名、住所、口座番号等）を関連付けて登録して蓄積する押印データベースを有する。また、送信された押印画像とデータベースに登録されている押印画像を照合して当該押印画像が登録されているか否かを出力する押印照合部を有する。画像変換部１１４として機能する画像処理サーバ１０３は、画像処理装置１０１から処理対象画像を受信し、当該スキャン画像データに含まれる押印を、押印照合サーバが有する押印データベースと照合して照合結果を得る。押印と押印データベースの照合は、押印照合部に実行させる。押印照合処理は、ＣＰＵ２６１が、ストレージ２６５に記憶されている画像処理サーバプログラムを読み出し、ＲＡＭ２６４に展開して実行することで実現される。これは、ユーザが、画像処理サーバ１０３の電源をＯＮ（オン）にすると開始される。

Ｓ９５１～Ｓ９５６の処理は、図９（ｂ）のフローチャートにおける同符合の処理ステップについて、「手書き」を「押印」と読み替えたものと同様の処理ステップである。

ＣＰＵ２６１は、Ｓ２０５１において、Ｓ９５６で生成した押印抽出画像を、外部インタフェース２６８を介して、押印照合部に送信する。そして、押印抽出画像に対して押印照合を実行させる。押印照合には公知の技術を適用し実現することができる。押印抽出画像を押印照合することにより、例えば、押印背景の「印」などの押印箇所ガイドのための印字が、押印照合の対象となってしまうことを低減する。

ＣＰＵ２６１は、Ｓ２０５２において、押印照合部から、押印照合結果を受信したか否かを判定する。押印照合結果とは、押印抽出画像が押印データベースに登録されているか否かを示す値である。例えば、登録されている場合は１を、登録されていない場合は０を出力とする。外部インタフェース２６８を介して、押印照合部から、押印照合結果を受信していたならば、ＹＥＳと判定し、Ｓ２０５３に遷移する。そうでなければ、Ｓ２０５２の処理を繰り返す。

ＣＰＵ２６１は、Ｓ２０５３において、Ｓ２０５２において受信した押印照合結果を画像取得部１１１に送信する。

ＣＰＵ２６１は、Ｓ２０５４において、処理を終了するか否かを判定する。ユーザが、画像処理サーバ１０３の電源のＯＦＦなどの所定の操作を行った場合には、ＹＥＳと判定し、処理を終了する。そうでなければ、ＮＯと判定し、Ｓ９５２に遷移する。

以上、本実施例に示したとおり、本発明のニューラルネットワーク、および構成は、手書き領域推定および手書き抽出に限定されるものではなく、押印領域推定および押印抽出にも適用することができる。ここで、本発明の構成とは、認識対象の領域推定デコーダ部で推定した認識対象の領域のみに絞った特徴マップを認識対象の画素を抽出するデコーダ部に入力する構成である。他の適用例として、活字のみから構成される帳票を想定し、活字のみを含む項目である活字領域の推定と、当該領域内の活字の画素を抽出する活字画素抽出にも適用することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。例えば、実施例では、学習データ生成部１１２と学習部１１３は、学習装置１０２において実現されるものとしたが、それぞれ別体の装置において実現されるようにしても良い。この場合、学習データ生成部１１２を実現する装置は、学習データ生成部１１２が生成した学習データを、学習部１１３を実現する装置に送信する。そして、学習部１１３は受信した学習データをもとにニューラルネットワークを学習する。画像処理装置１０１と画像処理サーバ１０３とを別体の装置として説明したが、画像処理装置１０１が画像処理サーバ１０３の機能を具備しても良い。画像処理サーバ１０３とＯＣＲサーバ１０４とを別体の装置として説明したが、画像処理サーバ１０３のＯＣＲサーバ１０４としての機能を具備しても良い。

本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

実施例では、活字領域の抽出をＳ９５９に示したように、画素の連結性に基づいて判定する方法を示したが、手書き領域推定と同様にニューラルネットワークを用いて推定してもよい。手書き領域推定正解画像を作成したのと同じ要領で、活字領域をユーザが選択し、それに基づいて正解データを作成、活字ＯＣＲ領域推定を行うニューラルネットワークを新たに構成し、当該正解データを参照させて学習する。

実施例では、学習処理時に学習データ生成処理より学習データを生成した。しかしながら、事前に学習データ生成処理によって学習データを大量に生成しておいて、学習処理時にそこから随時、ミニバッチサイズ分をサンプルするようにしてもよい。

実施例では、入力画像をグレースケール画像として生成したが、フルカラー画像など他の形式として生成してもよい。

なお、各実施例中に登場する略称の定義は次の通りである。ＭＦＰとは、Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌのことである。ＡＳＩＣとは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔのことである。ＣＰＵとは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。ＲＡＭとは、Ｒａｎｄｏｍ‐Ａｃｃｅｓｓ Ｍｅｍｏｒｙのことである。ＲＯＭとは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙのことである。ＨＤＤとはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅのことである。ＳＳＤとはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅのことである。ＬＡＮとは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋのことである。ＰＤＬとは、Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅのことである。ＯＳとは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍのことである。ＰＣとは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒのことである。ＯＣＲとは、Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒのことである。ＣＣＤとは、Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅのことである。ＬＣＤとはＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙのことである。ＡＤＦとはＡｕｔｏ Ｄｏｃｕｍｅｎｎｔ Ｆｅｅｄｅｒのことである。ＣＲＴとはＣａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅのことである。ＧＰＵとは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。ＩＤとは、Ｉｄｅｎｔｉｆｉｃａｔｉｏｎのことである。

なお、最後の、本発明に示した方法により学習した手書き抽出のニューラルネットワークと手書き領域推定のニューラルネットワークの推論結果を例示する。図２１（ａ）は処理対象画像の一例である。図２１（ｂ）は手書き領域推定および手書き抽出のニューラルネットワークの推論結果の一例である。図２１（ｂ）は図２１（ａ）の処理対象画像を入力とした場合の推論結果である。図２１（ｂ）では、手書き抽出のニューラルネットワークにより抽出された手書き文字（文字部分）と手書き領域推定のニューラルネットワークにより推定された手書き領域（白ハッチ部分）とを示している。

Claims (6)

1. ニューラルネットワークを用いて、処理対象画像から、認識対象のオブジェクトが含まれる領域と、前記認識対象のオブジェクトに対応する画素とを求める手段を有することを特徴とする画像処理システムであって、
   前記ニューラルネットワークは、
   前記処理対象画像に対して畳み込み処理を行うことにより特徴マップを得るエンコーダ部と、
   前記特徴マップに基づいて、前記認識対象のオブジェクトが含まれる領域を求める第１のデコーダ部と、
   前記特徴マップから、前記第１のデコーダ部で求めた前記認識対象のオブジェクトが含まれる領域に対応する部分の部分特徴マップを求める部分特徴マップ取得部と、
   前記部分特徴マップに基づいて、前記認識対象のオブジェクトに対応する画素を求める第２のデコーダ部と、
   を含む、ことを特徴とする画像処理システム。
2. 前記部分特徴マップ取得部は、前記第１のデコーダ部で求めた前記認識対象のオブジェクトが含まれる領域のうち、所定の画素数以下の領域を除く領域に対応する部分の部分特徴マップを求める、ことを特徴とする請求項１に記載の画像処理システム。
3. 前記認識対象のオブジェクトは、手書きされた文字であることを特徴とする請求項１または２に記載の画像処理システム。
4. 前記認識対象のオブジェクトは、押印された印影であることを特徴とする請求項１または２に記載の画像処理システム。
5. コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理システムとして機能させるためのプログラム。
6. ニューラルネットワークを用いて、処理対象画像から、認識対象のオブジェクトが含まれる領域と、前記認識対象のオブジェクトに対応する画素とを求めることを特徴とする画像処理方法であって、
   前記ニューラルネットワークは、
   前記処理対象画像に対して畳み込み処理を行うことにより特徴マップを得るエンコーダ部と、
   前記特徴マップに基づいて、前記認識対象のオブジェクトが含まれる領域を求める第１のデコーダ部と、
   前記特徴マップから、前記第１のデコーダ部で求めた前記認識対象のオブジェクトが含まれる領域に対応する部分の部分特徴マップを求める部分特徴マップ取得部と、
   前記部分特徴マップに基づいて、前記認識対象のオブジェクトに対応する画素を求める第２のデコーダ部と、
   を含む、ことを特徴とする画像処理方法。

Images