JP2024067738A - 情報処理装置、システム、方法およびプログラム - Google Patents

Abstract

【課題】ＯＣＲを行うのに適当な画像を出力する情報処理装置、システム、方法およびプログラムを提供すること。【解決手段】ＭＦＰ（Ｍｕｌｔｉ－ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）と、パソコン端末とが、インターネットやＬＡＮなどのネットワークを介して接続されたシステムにおいて、情報処理装置としてのＭＦＰ１１０は、画像に含まれる手書き部分と活字部分とを抽出する活字／手書き抽出部３２０と、活字／手書き抽出部３２０が抽出した手書き部分を画像から削除した手書き削除画像および手書き削除画像に含まれる活字を復元した活字復元画像を生成する画像生成部３４０と、画像、手書き削除画像、活字復元画像のうち、処理の対象とする画像を選択する画面を表示する表示部３６０と、を含む。【選択図】図３

Description

本発明は、ＯＣＲ（Optical Character Recognition）の前処理を行う情報処理装置、システム、方法およびプログラムに関する。

いわゆるＤＸ（デジタル・トランスフォーメーション）の普及に伴い、文書を電子化して保管するニーズが高まっている。文書を電子化する方法は、多岐にわたるが、ＯＣＲを用いてテキストデータとする方法が広く知られている。

ＯＣＲによって読み取られる文書には、活字の他、手書き文字が含まれている場合がある。そこで、電子化したあとの利便性を向上するために、文書内の手書き文字について、強調する、色を変えるなどの編集を行う技術が知られている。例えば、特開２０１８－１９６１０６号公報（特許文献１）では、読み取った画像のＣＭＹＫの階調値に基づいて、手書き画像を検出し、編集する技術を開示している。

ところで、ＯＣＲで読み取る文書には、文字に限らず、手書きの記号（例えば、チェックのためのレ点など）が含まれている場合があり、さらに、活字に重複して記入されている場合もある。このような文書に対してＯＣＲをしてテキストデータを抽出すると、手書き部分に起因して適切に文字認識できない場合があるが、特許文献１をはじめとする従来技術では対処できなかった。

そのため、ＯＣＲの前段階で、手書き箇所を適切に処理する技術が求められていた。

本発明は、上記従来技術における課題に鑑みてなされたものであり、ＯＣＲを行うのに適当な画像を出力する情報処理装置、システム、方法およびプログラムを提供することを目的とする。

すなわち、本発明によれば、
画像に含まれる手書き部分と活字部分とを抽出する抽出手段と、
前記抽出手段が抽出した前記手書き部分を前記画像から削除した手書き削除画像、および、前記手書き削除画像に含まれる活字を復元した活字復元画像を生成する画像生成手段と、
前記画像、前記手書き削除画像、前記活字復元画像のうち、処理の対象とする画像を選択する画面を表示する表示手段と
を含む、情報処理装置が提供される。

本発明によれば、ＯＣＲを行うのに適当な画像を出力する情報処理装置、システム、方法およびプログラムが提供できる。

本実施形態におけるシステム全体のハードウェアの概略構成を示す図。 本実施形態のＭＦＰに含まれるハードウェア構成を示す図。 本実施形態のＭＦＰに含まれるソフトウェアブロック図。 本実施形態において処理される書類の例を示す図。 本実施形態における手書き文字に対する処理の例を説明する図。 他の好ましい実施形態における手書き文字に対する処理の例を説明する図。 本実施形態のＭＦＰが実行する処理を示すフローチャート。 本実施形態における画像選択画面の例を示す図。 本実施形態における編集画面の例を示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。

図１は、本実施形態におけるシステム１００全体のハードウェアの概略構成を示す図である。図１では、例として、ＭＦＰ（Multi-function Peripheral）１１０と、パソコン端末１２０とが、インターネットやＬＡＮなどのネットワークを介して接続されたシステム１００を例示している。なお、ＭＦＰ１１０やパソコン端末１２０の台数は、図１に示したものに限らず、システム１００に含まれる台数に制限はない。また、ＭＦＰ１１０やパソコン端末１２０から、ネットワークへ接続する方法は、有線または無線のどちらでもよい。

ＭＦＰ１１０は、例えば、パソコン端末１２０などの他の情報処理装置から受信した印刷ジョブを実行し、印刷物を出力する情報処理装置である。また、ＭＦＰ１１０は、書類をスキャンした電子データを出力し、他の情報処理装置に送信することができる。

パソコン端末１２０は、各種データを処理し、出力する情報処理装置である。パソコン端末１２０は、例えば、ＭＦＰ１１０に対して印刷ジョブを送信したり、ＭＦＰ１１０がスキャンしたデータを受信したりできる。

なお、以下では、一例としてＭＦＰ１１０が実施形態に係る処理を実行するものとして説明しているが、特に実施形態を限定するものではない。したがって、例えば、パソコン端末１２０が実施形態に係る処理を実行してもよい。また、ＭＦＰ１１０およびパソコン端末１２０は、情報処理装置の一例であって、これら以外の情報処理装置を用いてもよい。その他の情報処理装置の例としては、スマートホン端末、タブレット端末、サーバコンピュータなどが挙げられる。さらに、実施形態に係る処理は、必ずしも１つの情報処理装置によって行われなくてもよく、例えば、複数の情報処理装置の協働によって実行されてもよい。

次に、ＭＦＰ１１０のハードウェア構成について説明する。図２は、本実施形態のＭＦＰ１１０に含まれるハードウェア構成を示す図である。ＭＦＰ１１０は、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２３０と、記憶装置２４０と、プリンタ装置２５０と、スキャナ装置２６０と、通信Ｉ／Ｆ２７０と、ディスプレイ２８０と、入力装置２９０とを含んで構成され、各ハードウェアはバスを介して接続されている。

ＣＰＵ２１０は、ＭＦＰ１１０の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ２２０は、ＣＰＵ２１０が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ２３０は、ＣＰＵ２１０が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。

記憶装置２４０は、ＭＦＰ１１０を機能させるＯＳや種々のソフトウェア、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。記憶装置２４０の一例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などが挙げられる。

プリンタ装置２５０は、レーザ方式やインクジェット方式などによって、用紙に画像を形成する構成の装置である。スキャナ装置２６０は、印刷物の画像を読み取り、データ化する構成の装置である。また、例えばＭＦＰ１１０は、スキャナ装置２６０とプリンタ装置２５０の協働により、印刷物のコピーを行うことができる。

通信Ｉ／Ｆ２７０は、ＭＦＰ１１０とネットワークとを接続し、ネットワークを介して他の情報処理装置との通信を可能にする。ネットワークを介した通信は、有線通信または無線通信のいずれであってもよく、ＴＣＰ／ＩＰなどの所定の通信プロトコルを使用し、各種データを送受信できる。

ディスプレイ２８０は、各種データやＭＦＰ１１０の状態などを、ユーザに対して表示する装置であり、例として、ＬＣＤ（Liquid Crystal Display）などが挙げられる。入力装置２９０は、ユーザがＭＦＰ１１０を操作するための装置であり、例として、操作ボタンなどが挙げられる。なお、ディスプレイ２８０と入力装置２９０は、それぞれ別個の装置であってもよいし、タッチパネルディスプレイのような両方の機能を備えるものであってもよい。

以上、本実施形態のＭＦＰ１１０に含まれるハードウェア構成について説明した。次に、本実施形態における各ハードウェアによって実行される機能手段について、図３を以て説明する。図３は、本実施形態のＭＦＰ１１０に含まれるソフトウェアブロック図である。

本実施形態のＭＦＰ１１０は、画像取得部３１０、活字／手書き抽出部３２０、重要情報検出部３３０、画像生成部３４０、画像編集部３５０、表示部３６０、操作部３７０、画像記憶部３８０を含む。以下では、各機能手段の詳細について説明する。

画像取得部３１０は、処理対象とする画像（以下、「原画像」として参照する）を取得する手段である。原画像は、ＭＦＰ１１０のスキャナ装置２６０によってスキャンすることで取得してもよいし、他の情報処理装置からネットワークを通じて取得してもよい。また、原画像は、カメラなどによって撮影されたものであってもよい。

活字／手書き抽出部３２０は、取得した原画像に含まれる活字および手書きの部分を抽出する手段である。なお、説明する実施形態において「活字」とは、同一の字形で繰り返し表現することが可能な文字を指し、例えば、各種情報処理装置から出力されたテキストデータをプリントアウトした文字が挙げられる。また、説明する実施形態において「手書き」とは、筆記具を用いて記入されたものを指し、文字に限らず、記号、図形などを含み得る。

重要情報検出部３３０は、原画像に含まれる重要度の高い記載内容を検出する手段である。本実施形態の重要情報検出部３３０は、活字／手書き抽出部３２０の抽出結果に基づいて、重要情報を検出することができる。重要情報の例としては、一例として金額などが挙げられるが、特に実施形態を限定するものではない。

画像生成部３４０は、活字／手書き抽出部３２０が抽出した結果に基づいて、原画像を加工した画像を生成する手段である。本実施形態の画像生成部３４０は、原画像から手書き部分を削除した手書き削除画像を生成することができる。また、画像生成部３４０は、手書き削除画像に含まれる活字を復元して、活字復元画像を生成することができる。

画像編集部３５０は、画像を編集する手段である。本実施形態の画像編集部３５０は、原画像、手書き削除画像、活字復元画像を編集することができる。本実施形態における編集処理は、例えば、線描の追加（いわゆる「ペン機能」）や、不要な描画の削除（いわゆる「消しゴム機能」）を行うことができる。これによって、過剰に手書き部分が削除された場合や、不要な手書き部分が残っている場合などに修正することができ、後のＯＣＲ処理における文字認識の精度を向上させることができる。

表示部３６０は、ディスプレイ２８０を制御し、原画像、手書き削除画像、活字復元画像などの各種画像を表示する手段である。また、本実施形態の表示部３６０は、画像編集部３５０による画像編集処理の画面を表示することができる。

操作部３７０は、入力装置２９０によって入力された操作を受け付ける手段である。本実施形態の操作部３７０は、表示部３６０に表示された各種画像の選択や、画像編集処理などの操作を行うことができる。

画像記憶部３８０は、記憶装置２４０を制御し、原画像、手書き削除画像、活字復元画像などの各種画像を記憶する手段である。また、本実施形態の画像記憶部３８０は、画像編集部３５０によって編集された画像を記憶することができる。

なお、上述したソフトウェアブロックは、ＣＰＵ２１０が本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

さらに、上述した各機能手段は、必ずしも全てが図３に示すような構成で含まれていなくてもよい。例えば、他の好ましい実施形態では、各機能手段は、ＭＦＰ１１０と、パソコン端末１２０との協働によって実現されてもよい。

ここまで、本実施形態におけるＭＦＰ１１０のハードウェア構成およびソフトウェアブロックについて説明した。次に、電子データ化する書類の例について図４を以て説明する。図４は、本実施形態において処理される書類の例を示す図である。

図４に例示する書類は、領収書であり、宛名と金額とが記載されている。図４（ａ）は、活字のみで構成された領収書の原本を示している。ここで、図４（ａ）に示したような領収書を事業者などが経理処理する場合、書類に誤記がないか確認する場合がある。この場合、図４（ｂ）に示すように、一文字ずつ確認しながらペンなどでチェック記号を入れていくことがある。しかしながら、図４（ｂ）に示す書類では、活字に手書きのチェック記号が重複して記入されているため、ＯＣＲによって適切に文字が認識できなくなる虞がある。

そこで、本実施形態では、手書き削除画像と活字復元画像を生成し、ＯＣＲに適した画像を選択することができる。図５は、本実施形態における手書き文字に対する処理の例を説明する図である。図５（ａ）～（ｄ）は、それぞれ異なる活字に対する処理を示しており、図５（ａ）は活字「３」の例を、図５（ｂ）は活字「６」の例を、図５（ｃ）は活字「８」の例を、図５（ｄ）は活字「９」の例を示している。また、図５は、左から、原画像の活字の例、手書きを追加した例、手書き部分を削除した例、活字を復元した例を示している。なお、手書きを追加した例では、色の薄い線描が手書き部分を示しているが、線描の色は、活字との区別を目的とした便宜的なものである点に留意されたい。

例えば、図５（ａ）に示すように、元の活字が「３」であって、手書きのチェックマークが書き加えられた場合、手書き部分を削除し、活字を復元しようとすると、「８」となってしまう場合がある。また別の例では、図５（ｂ）に示すように、元の活字が「６」であって、手書きのチェックマークが書き加えられた場合、手書き部分を削除し、活字を復元しようとすると、「５」となってしまう場合がある。また別の例では、図５（ｃ）に示すように、元の活字が「８」であって、手書きのチェックマークが書き加えられた場合、手書き部分を削除し、活字を復元しようとすると、「３」となってしまう場合がある。また別の例では、図５（ｄ）に示すように、元の活字が「９」であって、手書きのチェックマークが書き加えられた場合、手書き部分を削除し、活字を復元しようとすると、「０」となってしまう場合がある。

このように、活字に手書きが書き加えられると、元の活字と異なる活字が復元される虞があり、ＯＣＲをすると適切でない文字が認識されたテキストデータが出力され得る。よって、本実施形態におけるユーザは、適切な画像を選択し、場合によっては、ペン機能や消しゴム機能によって編集することが好ましい。

また、他の好ましい実施形態では、活字／手書き抽出部３２０が、活字の大きさを判定して、当該活字を囲む矩形領域を定義し、矩形領域外の手書き部分のみを削除した手書き削除画像を生成することとしてもよい。

ここで、矩形領域外の手書き部分を削除する実施形態について、図６を以て説明する。図６は、他の好ましい実施形態における手書き文字に対する処理の例を説明する図である。図６（ａ）～（ｄ）は、それぞれ、図５（ａ）～（ｄ）に相当する活字および手書きのチェックマークの例を示している。また、図６は、左から、原画像の活字の例、活字を囲う矩形領域を抽出した例、矩形領域外の手書き部分を削除した例、活字を復元した例を示している。

元の活字や手書きの線描にもよるが、例えば、図６（ｂ）、（ｃ）に示す例では、活字の矩形領域を抽出し、当該矩形領域外の手書き部分を削除することで、元の活字と同じ、「６」、「８」という活字を復元できる。また、図６（ａ）、（ｄ）に示す例では、図５（ａ）、（ｄ）と同様に、適切でない復元がなされる可能性があるものの、矩形領域外の手書き部分を削除したことで、編集による修正を容易に行うことができる。

次に、ＭＦＰ１１０が実行する処理について説明する。図７は、本実施形態のＭＦＰ１１０が実行する処理を示すフローチャートである。本実施形態のＭＦＰ１１０は、ステップＳ１０００から処理を開始する。

ステップＳ１００１において、画像取得部３１０は、処理対象となる原画像を取得する。原画像は、ＭＦ１１０がスキャンしてもよし、他の情報処理装置から受信してもよいし、あらかじめ画像記憶部３８０に記憶されていてもよい。

その後、ステップＳ１００２では、活字／手書き抽出部３２０が、原画像に含まれる活字部分と手書き部分を抽出する。なお、他の好ましい実施形態では、重要情報検出部３３０は、ステップＳ１００２において抽出された結果に基づいて、重要度の高い情報を検出することができる。かかる実施形態では、重要情報であると判定された文字のみを編集対象とすることで、処理に係る負荷を軽減することができる。

また、ステップＳ１００２において活字／手書き抽出部３２０は、抽出した活字の大きさに基づいて、当該活字を囲う矩形を定義することができる。なお、矩形の定義の一例として、矩形の大きさや、画像における矩形の座標などを挙げることができる。

ステップＳ１００２で抽出処理をした後、ステップＳ１００３では、手書き部分があるか否かによって処理を分岐する。手書き部分がない場合には（ＮＯ）、ステップＳ１０１３に進み、処理を終了する。手書き部分がある場合には（ＹＥＳ）、ステップＳ１００４に進む。

ステップＳ１００４では、画像生成部３４０は、抽出結果に基づいて、手書き削除画像を生成する。ステップＳ１００４で生成された手書き削除画像は、画像記憶部３８０に記憶することができる。なお、他の好ましい実施形態において画像生成部３４０は、活字／手書き抽出部３２０が定義した矩形外にある手書き部分を削除した手書き削除画像を生成することができる。

その後、ステップＳ１００５では、活字部分があるか否かによって処理を分岐する。活字部分がない場合には（ＮＯ）、ステップＳ１０１３に進み、処理を終了する。活字部分がある場合には（ＹＥＳ）、ステップＳ１００６に進む。

ステップＳ１００６では、画像生成部３４０は、手書き削除画像および抽出結果に基づいて、活字復元画像を生成する。ステップＳ１００６で生成された活字復元画像は、画像記憶部３８０に記憶することができる。

その後、ステップＳ１００７では、表示部３６０は、原画像、手書き削除画像、活字復元画像をディスプレイ２８０に表示し、ステップＳ１００８において、画像の選択を受け付ける。ここで、ステップＳ１００７、Ｓ１００８で表示される画面の例を、図８を以て説明する。

図８は、本実施形態における画像選択画面の例を示す図である。本実施形態の画像選択画面は、図８に示すように、原画像と、手書き削除画像と、活字復元画像とを並べて表示し、どの画像をＯＣＲの処理対象とするかをユーザに選択させることができる。また、ユーザは、画像選択画面において画像を選択したうえで、「画像を編集」ボタンを押下することで、選択した画像を編集する画面に遷移することができる。

説明を図７に戻す。ステップＳ１００８において、図８に例示した画像選択画面で画像を選択した後、ステップＳ１００９に進む。ステップＳ１００９では、画像選択画面で「画像を編集」が選択されたか否かによって処理を分岐する。画像を編集しない場合（ＮＯ）、ステップＳ１０１２に進み、選択した画像をＯＣＲ処理の対象画像として出力する。その後、ステップＳ１０１３において処理を終了する。

一方、ステップＳ１００９において画像を編集する場合には（ＹＥＳ）、ステップＳ１０１０に進む。ステップＳ１０１０では、選択した画像を編集する。ここで、ステップＳ１０１０において表示される画面の例を、図９を以て説明する。

図９は、本実施形態における編集画面の例を示す図であり、図９（ａ）は編集前の画面を、図９（ｂ）は編集後の画面をそれぞれ示している。図９の例では、図５（ａ）、（ｂ）の手書き削除画像を編集する場合について説明する。この場合、図５において説明した通り、手書き削除画像から活字を復元すると、元の活字が「３」、「６」であったものが、それぞれ、「８」、「５」として復元される虞がある。

そこでユーザは、図９（ｂ）に示すように、ペン機能を用いて線描を追加することで、元の活字と同じ「６」となるような修正を行うことができる。また、ユーザは、消しゴム機能を用いて不要な手書きを削除することで、元の活字と同じ「３」となるような修正を行うことができる。

再び説明を図７に戻す。ステップＳ１０１０で、図９に示した編集画面において画像を編集した後、ステップＳ１０１１に進む。ステップＳ１０１１では、編集した画像を画像記憶部３８０に記憶する。

続くステップＳ１０１２では、選択され、編集された画像を、ＯＣＲ処理の対象画像として出力する。その後、ステップＳ１０１３で処理を終了する。

図７に示した処理によって、ＯＣＲに適した画像を出力でき、その後のＯＣＲにおいて精度の高い文字認識を行うことができる。

以上、説明した本発明の実施形態によれば、ＯＣＲを行うのに適当な画像を出力する情報処理装置、システム、方法およびプログラムを提供することができる。

上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ（登録商標）、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…システム、１１０…ＭＦＰ、１２０…パソコン端末、２１０…ＣＰＵ、２２０…ＲＡＭ、２３０…ＲＯＭ、２４０…記憶装置、２５０…プリンタ装置、２６０…スキャナ装置、２７０…通信Ｉ／Ｆ、２８０…ディスプレイ、２９０…入力装置、３１０…画像取得部、３２０…手書き抽出部、３３０…重要情報検出部、３４０…画像生成部、３５０…画像編集部、３６０…表示部、３７０…操作部、３８０…画像記憶部

特開２０１８－１９６１０６号公報

Claims (10)

1. 画像に含まれる手書き部分と活字部分とを抽出する抽出手段と、
   前記抽出手段が抽出した前記手書き部分を前記画像から削除した手書き削除画像、および、前記手書き削除画像に含まれる活字を復元した活字復元画像を生成する画像生成手段と、
   前記画像、前記手書き削除画像、前記活字復元画像のうち、処理の対象とする画像を選択する画面を表示する表示手段と
   を含む、情報処理装置。
2. 前記表示手段に表示された前記画面から選択された画像を編集する編集手段をさらに含む、請求項１に記載の情報処理装置。
3. 前記画像に含まれる重要度の高い情報が記載された領域を検出する検出手段をさらに含み、
   前記編集手段は、前記領域を編集する、請求項２に記載の情報処理装置。
4. 前記抽出手段は、前記活字部分を矩形領域として抽出し、
   前記画像生成手段は、前記矩形領域外の手書き部分を削除した手書き削除画像を生成する、
   請求項２または３に記載の情報処理装置。
5. 画像に含まれる手書き部分と活字部分とを抽出する抽出手段と、
   前記抽出手段が抽出した前記手書き部分を前記画像から削除した手書き削除画像、および、前記手書き削除画像に含まれる活字を復元した活字復元画像を生成する画像生成手段と、
   前記画像、前記手書き削除画像、前記活字復元画像のうち、処理の対象とする画像を選択する画面を表示する表示手段と
   を含む、システム。
6. 前記表示手段に表示された前記画面から選択された画像を編集する編集手段をさらに含む、請求項５に記載のシステム。
7. 前記画像に含まれる重要度の高い情報が記載された領域を検出する検出手段をさらに含み、
   前記編集手段は、前記領域を編集する、請求項６に記載のシステム。
8. 前記抽出手段は、前記活字部分を矩形領域として抽出し、
   前記画像生成手段は、前記矩形領域外の手書き部分を削除した手書き削除画像を生成する、
   請求項６または７に記載のシステム。
9. 画像に含まれる手書き部分と活字部分とを抽出するステップと、
   前記抽出するステップにおいて抽出した前記手書き部分を前記画像から削除した手書き削除画像、および、前記手書き削除画像に含まれる活字を復元した活字復元画像を生成するステップと、
   前記画像、前記手書き削除画像、前記活字復元画像のうち、処理の対象とする画像を選択する画面を表示するステップと
   を含む、方法。
10. 情報処理装置が実行するプログラムであって、前記情報処理装置を、
    画像に含まれる手書き部分と活字部分とを抽出する抽出手段、
    前記抽出手段が抽出した前記手書き部分を前記画像から削除した手書き削除画像、および、前記手書き削除画像に含まれる活字を復元した活字復元画像を生成する画像生成手段、
    前記画像、前記手書き削除画像、前記活字復元画像のうち、処理の対象とする画像を選択する画面を表示する表示手段
    として動作させる、プログラム。