JP6957889B2 - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP6957889B2 JP6957889B2 JP2017021136A JP2017021136A JP6957889B2 JP 6957889 B2 JP6957889 B2 JP 6957889B2 JP 2017021136 A JP2017021136 A JP 2017021136A JP 2017021136 A JP2017021136 A JP 2017021136A JP 6957889 B2 JP6957889 B2 JP 6957889B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- paper
- small piece
- circumscribed rectangle
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 127
- 238000000605 extraction Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 15
- 238000000926 separation method Methods 0.000 description 52
- 238000000034 method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000036039 immunity Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
- H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
- H04N1/3875—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
- H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、画像内の小紙片画像の抽出が失敗した場合に、複数に分かれた小紙片画像をそのまま表示する場合よりも、見やすい画像を生成することができる画像処理装置及び画像処理プログラムを提供することを目的としている。
請求項1の発明は、画像内の小紙片画像の抽出に失敗した場合、複数の該小紙片画像を結合した画像を生成する生成手段と、前記画像内の外接矩形の大きさ又は該外接矩形内の検出できた小紙片画像の辺の数にしたがって、該外接矩形が小紙片画像を示しているか否かを判定する判定手段を有し、前記画像内の外接矩形が小紙片画像を示していない場合、該画像内の小紙片画像の抽出に失敗した場合とし、前記生成手段は、前記判定手段の判定結果を用いる、画像処理装置である。
<第1の実施の形態>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
小紙片とは、1回のスキャンで複数枚を読み取ることができる程度の大きさの文書をいう。例えば、名刺、クレジットカード等のカード、レシート(領収書)、レター等の文書が該当する。以下、名刺を例示して説明する。
「画像内の小紙片画像を抽出する」における画像とは、例えば、スキャナの原稿置き台(プラテンともいわれる)の上に、小紙片を置き、1回のスキャンで読み取られた画像をいう。つまり、複数の小紙片を置いた場合は、1回のスキャンで1枚の小紙片を読み取るよりも、スキャン回数を減らすことができる。ただし、本実施の形態(第1の実施の形態又は第2の実施の形態)では、複数の小紙片ではなく、画像内に1つの小紙片であっても対応可能である。また、スキャナを例示したが、デジタルカメラ等を用いて撮影した画像であってもよい。
また、判定モジュール115は、外接矩形の大きさ又はその外接矩形内の検出できた小紙片画像の辺の数にしたがって、その外接矩形が小紙片画像を示しているか否かを判定する。具体的には、判定モジュール115は、外接矩形の大きさが予め定められた範囲内にある場合、又は、小紙片画像の辺の数が予め定められた数より多い若しくは以上である場合に、外接矩形が小紙片画像を示していると判定するようにしてもよい。もちろんのことながら、2つの条件((1)外接矩形の大きさが予め定められた範囲内にあること、(2)小紙片画像の辺の数が予め定められた数より多い若しくは以上であること)を満たした場合に、外接矩形が小紙片画像を示していると判定するようにしてもよい。
例えば、画像生成モジュール120は、小紙片画像間の距離が閾値未満又は以下である場合に、その小紙片画像を結合するようにしてもよい。ここで「小紙片画像間の距離」として、例えば、小紙片画像の予め定められた位置(例えば、中心、重心、左上角等)間の距離であってもよいし、小紙片画像間の最短距離(又は最長距離)等であってもよい。
また、ここでの閾値は、(1)予め定められた値、(2)小紙片の種類に合わせた値、(3)抽出に成功した小紙片画像の大きさに応じた値のいずれかとしてもよい。「小紙片の種類」とは、例えば、前述したように、名刺、カード、レシート等がある。この種類は、予め定められた種類であってもよいし、操作者の操作によって指定された種類であってもよい。(2)は、種類毎に予め定められた閾値を用いる。また、「抽出に成功した小紙片画像」は、一般的には画像内に複数の小紙片画像があるので、抽出に成功した小紙片画像もあり得る。そこで、抽出に成功した小紙片画像の大きさに応じた閾値を採用する。一般的に、小紙片の大きさが大きいほど、閾値も大きくする。
画像分離処理モジュール110は、図2の例に示すように、二値化処理モジュール16、外接矩形設定モジュール18、原稿傾き判断モジュール20、エッジ画素検出モジュール22、有効エッジ判断モジュール24、辺傾き算出モジュール26、抽出画像領域設定モジュール28、画像抽出モジュール30を有している。
図6は、小紙片画像の領域を特定する際のノイズ耐性の強化について説明する図である。
図6(A)に示された例では、小紙片画像の上部のエッジが欠けているとする。このとき、外接矩形の上辺に対応して検出されるエッジ画素は、60−A及び60−Bとなる。ただし、60−Aのエッジ画素は、対角線61を超えて検出されたため第1の判断基準により、そして60−Bのエッジ画素は頂点56−Aに近づくにつれて上辺に近づくため第3の判断基準により有効エッジ画素とは判断されない。
図7(A)の例には、一部の輪郭が欠けた二値画像(頂点70−A、B、C、D、Eの各点を連結してなる連結画素)について外接矩形(頂点72−A、B、C、Dにより表される矩形)が設定された様子が描かれている。ここで、外接矩形の画像に対して上述した処理を行い有効エッジ画素を取得する。ここで、各辺の傾きの整合性が確認されると、図7(B)の例に示されるように、対向する辺について長い方の辺の長さに合うように連結画素を拡張して、抽出画像領域(頂点70−A、B、F、Dを結んでなる矩形領域)を設定する。
画像抽出モジュール30は、抽出画像領域設定モジュール28により設定された矩形の抽出画像領域から画像を抽出する。
以上説明したように、画像分離処理モジュール110によれば、対象としている画像から矩形原稿等(小紙片)の矩形画像を抽出する際の雑音耐性を強化することができる。
図9(a)に示す例は、スタンドアロン型として構築したものであり、画像入出力装置900は、画像処理装置100を有している。画像入出力装置900に備え付けられたスキャナを用いて、対象とする画像を取得し、抽出に成功した小紙片画像をUSBメモリ等に出力する。そして、小紙片画像の抽出に失敗した場合、複数のその小紙片画像を結合した画像を、画像入出力装置900に備え付けられたパネル等の表示装置に表示してもよい。
原稿管理装置910Bは、画像処理装置100を有している。例えば、画像入出力装置900Bは、読み込んだ画像(小紙片画像が含まれている画像)を原稿管理装置910Bに送信する。原稿管理装置910Bの画像処理装置100による処理結果(抽出に成功した小紙片画像と、抽出に失敗した小紙片画像を結合した画像)をユーザー端末920に送信し、ユーザーはユーザー端末920によってそれらの処理結果を確認する。
図10(a)の例に示す画像1000は、名刺を6枚読み込んで生成された画像である。
図10(b)の例に示す画像1010は、エッジ強調、2値化処理の結果の画像である。
図10(c)の例に示す画像1020は、ラベリング、外接矩形分離処理の結果の画像である。例えば、図10(c1)に示すように、外接矩形1022内には、エッジ画像1024がある。ここで、外接矩形1022aは、「富」を囲む外接矩形である。外接矩形1022bは、「士」を囲む外接矩形である。外接矩形1022cは、「太」を囲む外接矩形である。外接矩形1022dは、「郎」を囲む外接矩形である。ここで、外接矩形間で内包されるものは対象外とする。具体的には、図10(c2)の例に示すように、外接矩形1022に内包されている外接矩形1022a、1022b、1022c、1022dを、削除する。また、この場合、閾値を用いて、ある程度(例えば、名刺の大きさ)以上の大きさは内包関係を調査しないようにしてもよい。
図10(e)の例に示す名刺画像1030は、抽出に成功した名刺画像であり、元画像である画像1000からの切り出し処理、回転補正処理を施したものである。
図11(a)の例に示す画像1100は、名刺画像を読み取って、エッジ強調、2値化処理を行った後の一部の画像である(前述の画像1010の一部に該当)。ここでは、エッジ検出において、下側の紙片境界が検出されない例を示している。
図11(b)の例に示すグループ結果1110、グループ結果1120は、ラベリング(グループ化)結果の例を示すものである。つまり、1枚の名刺画像が2つのグループ結果1110、グループ結果1120に分かれている。
これらも名刺画像として抽出してしまうと、図11(c)の例に示すように、グループ結果1110に対応する名刺画像(失敗)1112、グループ結果1120に対応する名刺画像(失敗)1122を抽出してしまうことになる。つまり、最終出力として、1つの名刺画像が2つの画像として出力されることとなる。
ユーザー端末920では、名刺画像の抽出結果を画面1130に提示する。画面1130には、名刺画像欄1132、会社名・氏名認識結果欄1134、電話番号認識結果欄1136を表示する。本来は1枚の名刺画像である名刺画像(失敗)1112、名刺画像(失敗)1122は、それぞれ1枚の名刺画像として扱われてしまい、ユーザー1182にとって、どの名刺が抽出に失敗したものであるかがわかりにくくなっており、訂正対象も複数となってしまい煩雑である。
第1の実施の形態によると、抽出に失敗した画像は、1枚の名刺に対応することになる。これによって、ユーザー1182にとって、どの名刺が抽出に失敗したものであるかの特定が容易にでき、訂正対象の枚数も少なくなる。
ステップS1200では、画像処理装置100は、失敗画像の結合処理を開始する。
ステップS1202では、画像分離処理モジュール110は、画像分離処理を行う。例えば、図8に示したフローチャートによる処理を行う。
例えば、図8に示したステップS104、S105で、外接矩形の大きさが予め定められた大きさの範囲内に収まらない場合は、小紙片画像の抽出に失敗したと判定してもよい。ここで、「予め定められた大きさの範囲」として、例えば、名刺の大きさ(外接矩形が最小)以上であって、名刺を回転させて外接矩形が最大となるときの大きさまでとすればよい。「外接矩形が最大となるとき」とは、名刺の対角線を水平(又は垂直)としたときの外接矩形であり、具体的には、外接矩形の1辺は対角線の長さとなり、もう1辺は対角線を水平(又は垂直)としたときの名刺の上端と下端(左端と右端)間の長さとなる。
また、例えば、図8に示したステップS107、S108で、有効エッジ画素によって構成される辺が3辺以上でない場合は、小紙片画像の抽出に失敗したと判定してもよい。有効エッジとして検出された辺の数が2辺等の場合、図11(b)の例で示したように、1つの名詞画像を複数の画像に分割して抽出してしまうことになるからである。
ステップS1208では、判定モジュール115は、対象としている画像内の分離結果の全てについて判定が完了したか否かを判断し、完了した場合はステップS1210へ進み、それ以外の場合はステップS1204へ戻る。
ステップS1214では、画像生成モジュール120は、リストZからX番目の画像を選択する。
ステップS1216では、画像生成モジュール120は、変数Y=X+1とする。変数Yは、分離結果の画像の1つを示すものであり、変数Xで示される画像と結合対象となるか否かが判定される。
ステップS1218では、画像生成モジュール120は、リストZからY番目の画像を選択する。
ステップS1220では、画像生成モジュール120は、XとYで画像間の距離を測定する。
ステップS1222では、画像生成モジュール120は、距離が閾値以内であるか否かを判断し、閾値以内の場合はステップS1224へ進み、それ以外の場合はステップS1228へ進む。なお、変数Yに対応する画像がない場合も、ステップS1228へ進む。
ステップS1226では、画像生成モジュール120は、XとYをリストZから削除し、結合画像をリストZに登録し、ステップS1212へ戻る。
ステップS1228では、画像生成モジュール120は、Yはリスト要素数であるか否かを判断し、リスト要素数の場合はステップS1230へ進み、それ以外の場合はステップS1216へ戻る。つまり、変数Xで示される分離結果の画像と他の分離結果の画像との組み合わせを全て判定したか否かを判断している。
ステップS1230では、画像生成モジュール120は、X=X+1(変数Xの値をインクリメント)とする。
ステップS1232では、画像生成モジュール120は、全検査が完了したか否かを判断し、完了した場合は失敗画像結合処理を完了し(ステップS1299)、それ以外の場合はステップS1214へ戻る。つまり、分離結果の画像間の組み合わせを全て判定したか否かを判断している。
図14(A)の例に示す画像1400は、対象となる画像であって、1回のスキャンで生成された画像である。例えば、画像1400内には、名刺1402、名刺1406、名刺1406が撮影されている。
図14(B)の例に示す画像分離結果1410は、画像分離処理モジュール110による画像1400の処理結果を示している。ここで、名刺1402の外接矩形1412は成功と判定され、名刺1404の外接矩形1414、外接矩形1416、外接矩形1418は失敗と判定され、名刺1406の外接矩形1420、外接矩形1422は失敗と判定される。大きさ又は辺の数が成功の条件を満たさないと判定されたからである。
図14(C1)の例は、失敗した画像をリストZに格納する。ここでは、外接矩形1414、外接矩形1416、外接矩形1418、外接矩形1420、外接矩形1422がリストZに格納される。なお、図14(C1)の(a)は外接矩形1414に該当し、(b)は外接矩形1416に該当し、(c)は外接矩形1420に該当し、(d)は外接矩形1418に該当し、(e)は外接矩形1422に該当する。
図14(C2)の例では、2つの画像間の距離を計測して、近いものを結合し、元の画像(結合対象となった画像)を削除して、結合した画像を新規の画像として登録する。ここでは(a)と(b)を結合して(f)を追加する。
同様の処理を繰り返す。つまり、図14(C3)の例では、(c)と(e)を結合して(g)を追加する。図14(C4)の例では、(d)と(f)を結合して(h)を追加する。最終的には2つの画像となる。
第1の実施の形態を用いずに表示した場合は、図14(D2)の画像は図14(C1)内の(a)、(b)、(d)(外接矩形1414、外接矩形1416、外接矩形1418)の3つに分かれて表示され、図14(D3)の画像は図14(C1)内の(c)、(e)(外接矩形1420、外接矩形1422)の2つに分かれて表示されてしまい、元の名刺との対応がとりにくかったが、図14(D)のように表示されるので、元の名刺のどれが抽出に失敗したのかがわかりやすくなっている。
図15は、第2の実施の形態の構成例についての概念的なモジュール構成図である。
画像処理装置1500は、画像取得モジュール105、画像分離処理モジュール110、判定モジュール115、画像生成モジュール1520を有している。なお、第1の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。
画像生成モジュール1520は、判定モジュール115と接続されている。画像生成モジュール1520は、画像取得モジュール105が取得した画像内の小紙片画像の抽出に失敗した場合、その画像から抽出に成功した小紙片画像を消去した画像を生成する。ここで「画像内の小紙片画像の抽出に失敗した場合」として、例えば、判定モジュール115による判定結果を用いればよい。画像生成モジュール1520の処理によって、抽出に失敗した画像だけが残ることになるので、どの小紙片が抽出に失敗したのかがわかりやすくなる。
ステップS1600では、失敗画像生成処理を開始する。
ステップS1602では、画像分離処理を行う。
ステップS1604では、分離結果を判定する。
ステップS1606では、判定結果を各画像に付与する。
ステップS1608では、全て判定が完了したか否かを判断し、完了した場合はステップS1610へ進み、それ以外の場合はステップS1604へ戻る。
ステップS1612では、削除した領域を周囲の色で補正する。具体的には、周囲の色で消去した領域を塗りつぶす。周囲の色は、削除した領域の周囲の色の統計的値(平均値、中央値、最頻値等)であってもよい。なお、ステップS1612の処理は省略してもよい。
ステップS1699では、失敗画像生成処理を完了する。
図17(A)の例に示す画像1700は、対象となる画像であって、1回のスキャンで生成された画像である。例えば、画像1700内には、名刺1702、名刺1704、名刺1706が撮影されている。図14(A)の例に示す画像1400と同等である。
図17(B)の例に示す画像分離結果1710は、画像分離処理モジュール110による画像1700の処理結果を示している。なお、画像分離結果1710は、図14(B)の例に示す画像分離結果1410と同等である。名刺1702の外接矩形1712は成功と判定され、名刺1704の外接矩形1714、外接矩形1716、外接矩形1718は失敗と判定され、名刺1706の外接矩形1720、外接矩形1722は失敗と判定される。大きさ又は辺の数が成功の条件を満たさないと判定されたからである。
図17(D)の例は、抽出結果として2つの画像を出力することを示している。つまり、成功画像群の名刺画像1740と失敗画像の画像1730である。なお、成功画像群は、図17(D)の例では、1つの名刺画像1740であるが、抽出に成功した名刺画像が複数あれば、複数の名刺画像となる。
第2の実施の形態を用いずに表示した場合は、図17(A)の名刺1704の画像は外接矩形1714、外接矩形1716、外接矩形1718の3つに分かれて表示され、名刺1706の画像は外接矩形1720、外接矩形1722の2つに分かれて表示されてしまい、元の名刺との対応がとりにくかったが、図17(D)のように表示されるので、元の名刺のどれが抽出に失敗したのかがわかりやすくなっている。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
[A1]小紙片である対象物をスキャンしたスキャン画像を取得する手段と、
前記取得したスキャン画像の二値画像を生成するとともに、当該生成された二値画像から連結画素を検出する検出手段と、
前記検出手段により検出した連結画素に対して設定した外接矩形の各辺において、前記連結画素との接点から当該接点の属する辺の一方の頂点へと至る線分上の複数の点から、前記接点の属する辺に対して垂直方向に走査してエッジ画素を検出するエッジ画素検出手段と、
前記エッジ画素検出手段により検出されたエッジ画素のうち前記外接矩形の対角線を超えて検出されるか、又は前記検出されたエッジ画素と前記辺との距離が前記連結画素との接点から前記一方の頂点に向かうに連れて小さくなるものを排除して、前記スキャン画像に写し出された前記対象物の輪郭部に位置する有効エッジ画素を選別する選別手段と、
前記有効エッジ画素に基づいて矩形領域を設定する矩形領域設定手段と、
前記矩形領域設定手段により設定された矩形領域から画像を抽出する手段と、
を含むことを特徴とする画像抽出装置。
ことを特徴とする[A1]に記載の画像抽出装置。
ことを特徴とする[A1]又は[A2]に記載の画像抽出装置。
前記矩形領域設定手段は、前記算出された線分の傾きの整合性に基づいて前記矩形領域を設定する、
ことを特徴とする[A1]乃至[A3]のいずれかに記載の画像抽出装置。
前記検出された傾きが所定の値よりも大きい場合に、前記エッジ画素検出手段、前記選別手段、及び前記矩形領域設定手段による各処理を実行する、
ことを特徴とする[A1]乃至[A4]のいずれかに記載の画像抽出装置。
ことを特徴とする[A1]乃至[A5]のいずれかに記載の画像抽出装置。
小紙片である対象物をスキャンしたスキャン画像を取得する手段と、
前記取得したスキャン画像の二値画像を生成するとともに、当該生成された二値画像から連結画素を検出する検出手段と、
前記検出手段により検出した連結画素に対して設定した外接矩形の各辺において、前記連結画素との接点から当該接点の属する辺の一方の頂点へと至る線分上の複数の点から、前記接点の属する辺に対して垂直方向に走査してエッジ画素を検出するエッジ画素検出手段と、
前記エッジ画素検出手段により検出されたエッジ画素のうち前記外接矩形の対角線を超えて検出されるか、又は前記検出されたエッジ画素と前記辺との距離が前記連結画素との接点から前記一方の頂点に向かうに連れて小さくなるものを排除して、前記スキャン画像に写し出された前記対象物の輪郭部に位置する有効エッジ画素を選別する選別手段と、
前記有効エッジ画素に基づいて矩形領域を設定する矩形領域設定手段と、
前記矩形領域設定手段により設定された矩形領域から画像を抽出する手段として機能させるための画像抽出プログラム。
[A1]に記載の発明によれば、スキャン画像に写し出された対象物の画像を抽出する際の雑音耐性を強化することができる。また、対象物画像の輪郭部のエッジでない画素を排除することによりスキャン画像に写し出された対象物の画像を抽出する際の雑音耐性を強化することができる。
105…画像取得モジュール
110…画像分離処理モジュール
115…判定モジュール
120…画像生成モジュール
16…二値化処理モジュール
18…外接矩形設定モジュール
20…原稿傾き判断モジュール
22…エッジ画素検出モジュール
24…有効エッジ判断モジュール
26…辺傾き算出モジュール
28…抽出画像領域設定モジュール
30…画像抽出モジュール
900…画像入出力装置
910…原稿管理装置
920…ユーザー端末
990…通信回線
1500…画像処理装置
1520…画像生成モジュール
Claims (7)
- 画像内の小紙片画像の抽出に失敗した場合、複数の該小紙片画像を結合した画像を生成する生成手段と、
前記画像内の外接矩形の大きさ又は該外接矩形内の検出できた小紙片画像の辺の数にしたがって、該外接矩形が小紙片画像を示しているか否かを判定する判定手段
を有し、
前記画像内の外接矩形が小紙片画像を示していない場合、該画像内の小紙片画像の抽出に失敗した場合とし、
前記生成手段は、前記判定手段の判定結果を用いる、
画像処理装置。 - 前記生成手段は、前記小紙片画像間の距離が閾値未満又は以下である場合に、該小紙片画像を結合する、
請求項1に記載の画像処理装置。 - 前記閾値は、予め定められた値、小紙片の種類に合わせた値、抽出に成功した小紙片画像の大きさに応じた値のいずれかである、
請求項2に記載の画像処理装置。 - 画像内の小紙片画像の抽出に失敗した場合、該画像から抽出に成功した小紙片画像を消去した画像を生成する生成手段と、
前記画像内の外接矩形の大きさ又は該外接矩形内の検出できた小紙片画像の辺の数にしたがって、該外接矩形が小紙片画像を示しているか否かを判定する判定手段
を有し、
前記画像内の外接矩形が小紙片画像を示していない場合、該画像内の小紙片画像の抽出に失敗した場合とし、
前記生成手段は、前記判定手段の判定結果を用いる、
画像処理装置。 - 前記判定手段は、外接矩形の大きさが予め定められた範囲内にある場合、又は、小紙片画像の辺の数が予め定められた数より多い若しくは以上である場合に、外接矩形が小紙片画像を示していると判定する、
請求項1又は4に記載の画像処理装置。 - コンピュータを、
画像内の小紙片画像の抽出に失敗した場合、複数の該小紙片画像を結合した画像を生成する生成手段と、
前記画像内の外接矩形の大きさ又は該外接矩形内の検出できた小紙片画像の辺の数にしたがって、該外接矩形が小紙片画像を示しているか否かを判定する判定手段
として機能させ、
前記画像内の外接矩形が小紙片画像を示していない場合、該画像内の小紙片画像の抽出に失敗した場合とし、
前記生成手段は、前記判定手段の判定結果を用いる、
画像処理プログラム。 - コンピュータを、
画像内の小紙片画像の抽出に失敗した場合、該画像から抽出に成功した小紙片画像を消去した画像を生成する生成手段と、
前記画像内の外接矩形の大きさ又は該外接矩形内の検出できた小紙片画像の辺の数にしたがって、該外接矩形が小紙片画像を示しているか否かを判定する判定手段
として機能させ、
前記画像内の外接矩形が小紙片画像を示していない場合、該画像内の小紙片画像の抽出に失敗した場合とし、
前記生成手段は、前記判定手段の判定結果を用いる、
画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017021136A JP6957889B2 (ja) | 2017-02-08 | 2017-02-08 | 画像処理装置及び画像処理プログラム |
US15/689,365 US10643097B2 (en) | 2017-02-08 | 2017-08-29 | Image processing apparatuses and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017021136A JP6957889B2 (ja) | 2017-02-08 | 2017-02-08 | 画像処理装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018128825A JP2018128825A (ja) | 2018-08-16 |
JP6957889B2 true JP6957889B2 (ja) | 2021-11-02 |
Family
ID=63037824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017021136A Active JP6957889B2 (ja) | 2017-02-08 | 2017-02-08 | 画像処理装置及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10643097B2 (ja) |
JP (1) | JP6957889B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020031320A (ja) * | 2018-08-22 | 2020-02-27 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置及び画像表示方法 |
JP7447472B2 (ja) * | 2019-12-19 | 2024-03-12 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
JP2021136523A (ja) * | 2020-02-26 | 2021-09-13 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置、画像形成装置、原稿領域検出方法 |
US11394851B1 (en) * | 2021-03-05 | 2022-07-19 | Toshiba Tec Kabushiki Kaisha | Information processing apparatus and display method |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6373590B1 (en) * | 1999-02-04 | 2002-04-16 | Seiko Epson Corporation | Method and apparatus for slant adjustment and photo layout |
US6898316B2 (en) * | 2001-11-09 | 2005-05-24 | Arcsoft, Inc. | Multiple image area detection in a digital image |
US7305129B2 (en) * | 2003-01-29 | 2007-12-04 | Microsoft Corporation | Methods and apparatus for populating electronic forms from scanned documents |
US7805003B1 (en) * | 2003-11-18 | 2010-09-28 | Adobe Systems Incorporated | Identifying one or more objects within an image |
US7623734B2 (en) * | 2004-09-30 | 2009-11-24 | Microsoft Corporation | Method and system for automatically inscribing noisy objects in scanned image data within a minimum area rectangle |
JP2008016700A (ja) | 2006-07-07 | 2008-01-24 | Matsushita Electric Ind Co Ltd | 半導体集積装置 |
JP2008113075A (ja) * | 2006-10-27 | 2008-05-15 | Canon Inc | 画像処理装置およびその制御方法 |
JP4388545B2 (ja) * | 2006-12-27 | 2009-12-24 | キヤノンソフトウェア株式会社 | 画像処理装置及び方法、並びにプログラム |
JP4525787B2 (ja) * | 2008-04-09 | 2010-08-18 | 富士ゼロックス株式会社 | 画像抽出装置、及び画像抽出プログラム |
US9129340B1 (en) * | 2010-06-08 | 2015-09-08 | United Services Automobile Association (Usaa) | Apparatuses, methods and systems for remote deposit capture with enhanced image detection |
US9179035B2 (en) * | 2011-07-19 | 2015-11-03 | Samsung Electronics Co., Ltd. | Method of editing static digital combined images comprising images of multiple objects |
JP5749367B1 (ja) * | 2014-03-06 | 2015-07-15 | 株式会社Pfu | 画像読取装置、画像処理方法、および、プログラム |
-
2017
- 2017-02-08 JP JP2017021136A patent/JP6957889B2/ja active Active
- 2017-08-29 US US15/689,365 patent/US10643097B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018128825A (ja) | 2018-08-16 |
US20180225541A1 (en) | 2018-08-09 |
US10643097B2 (en) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10984233B2 (en) | Image processing apparatus, control method, and non-transitory storage medium that obtain text data for an image | |
US6970600B2 (en) | Apparatus and method for image processing of hand-written characters using coded structured light and time series frame capture | |
JP6957889B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4525787B2 (ja) | 画像抽出装置、及び画像抽出プログラム | |
JP2014092899A (ja) | 画像処理装置及び画像処理プログラム | |
JP7017060B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2000333005A (ja) | パターン検出方法、装置および記録媒体 | |
US8019113B2 (en) | Image processing apparatus, control method therefore, program, and storage medium | |
CN101197896B (zh) | 图像处理设备和图像处理方法 | |
US10075614B2 (en) | Image processing apparatus and non-transitory computer readable medium | |
JP6780271B2 (ja) | 画像処理装置及び画像処理プログラム | |
US11430235B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6191500B2 (ja) | 画像処理装置、画像処理システム及び画像処理プログラム | |
US20230273952A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20230027065A1 (en) | Image processing apparatus, image processing method, and non-transitory recording medium | |
JP6852364B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP5742367B2 (ja) | 画像処理装置及び画像処理プログラム | |
US8542922B2 (en) | Image processing apparatus, image processing method, and computer readable medium | |
US11501515B2 (en) | Apparatus, storage medium, and control method for removing a noise from a divided line image obtained by a character image | |
JP2014120832A (ja) | 画像処理装置及び画像処理プログラム | |
JP6922421B2 (ja) | 読取方法案内装置、読取方法案内プログラム及び画像処理システム | |
US20220319218A1 (en) | Image processing apparatus, image processing system, control method thereof, and storage medium | |
JP6676955B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP6876917B2 (ja) | 原稿サイズ検出装置、原稿サイズ検出プログラム及び画像処理システム | |
JP6606885B2 (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6957889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |