JP3814320B2 - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置 Download PDFInfo
- Publication number
- JP3814320B2 JP3814320B2 JP32563395A JP32563395A JP3814320B2 JP 3814320 B2 JP3814320 B2 JP 3814320B2 JP 32563395 A JP32563395 A JP 32563395A JP 32563395 A JP32563395 A JP 32563395A JP 3814320 B2 JP3814320 B2 JP 3814320B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- row
- line
- interval
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＯＣＲ（光学的文字認識）装置、複写機、ファクシミリ等の画像処理装置において、特に表画像を含む入力画像から文字を適正に抽出することのできる画像処理方法及び装置に関するものである。
【０００２】
本発明は、入力した表画像から文字画像を抽出する際に、入力した表の形式を判断して適正に文字画像を抽出することのできる画像処理方法及び装置に関するものである。
【０００３】
本発明は、入力した画像に含まれている表画像の属性をユーザの手操作により指定することなく、自動的に判断することのできる画像処理方法及び装置に関するものである。
【０００４】
【従来の技術】
自動領域分割機能を有するＯＣＲ装置では、罫線で囲まれている画像を表画像であると自動判別し、表の罫線で囲まれたセルを一つの文字領域として抽出する処理を行っている。
【０００５】
また、文字認識の後に、一つの文字領域から得られる認識結果の文字列間にタブコードを挿入し、行間にはリターンコードを挿入することによって、表画像から抽出されるセルの情報を文字認識後の文書データに反映させ、表計算ソフト等へデータの流し込みを容易にするようにしていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、文字認識の対象となっている表画像が横罫線のない表である場合、図７に示すように、縦に並ぶ複数の項目が一つの文字領域として判断されるため、入力した表の形態とは異なる文書が得られてしまい、その形態を入力した表の形態に整える作業をオペレータに強いることとなり、オペレータの負担を大きくしていた。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理装置は、表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出手段と、前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出手段と、前記行画像抽出手段で抽出された行画像の数が３以上であるか否か判断する行画像数判断手段と、前記行画像数判断手段で前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断手段と、前記行画像数判断手段で前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与手段と、を有する。
【０００８】
上記課題を解決するために、本発明の画像処理方法は、文書画像を記憶する記憶手段を有する画像処理装置が前記文書画像内の表画像領域に対して属性を付与するように制御するための画像処理方法であって、表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出ステップと、前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出ステップと、前記行画像抽出ステップで抽出された行画像の数が３以上であるか否か判断する行画像数判断ステップと、前記行画像数判断ステップで前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断ステップと、前記行画像数判断ステップで前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与ステップと、を有する。
【００１７】
【発明の実施の形態】
図１は、本発明の画像処理装置の一例の機能構成ブロック図である。１０１は入力部であって、文字認識の対象となる画像情報の入力、及びオペレータによりなされる各種指示を入力する。また、文書の編集等を行うためのキーボードを備える。ここで画像情報の入力は、原稿を光学的に読み込むスキャナや、或は既に光学的に読み込まれた画像情報を記憶装置や通信手段を介して入力するものであっても良い。１０２は後述するフローチャートの制御プログラムに従って、装置の制御や各処理部の演算・制御を行う演算処理部（ＣＰＵ）であり、１０３は後述するフローチャートを演算処理部１０２が実行するための制御プログラムや、各種処理に用いるデータ或は各種処理途中で生ずるデータを記憶する記憶部である。１０４は演算処理結果や画像処理結果、及び画像データを出力する出力部であって、ＣＲＴや液晶表示器等の表示手段や、或は他の端末や外部記憶手段に出力するための出力端末を含む。１０５は画像情報に含まれている文章の段落、見出しに順序を付ける順序付け部、１０６は画像情報の領域分割処理を行う領域分割部、１０７は画像情報に含まれている表画像の属性を、表画像の特性を検出し、分析することにより自動判定する表属性自動判定部、１０８は画像情報に含まれる表画像から表の形態を抽出し、文書化するための処理を行う表処理部、１０９は画像情報から文字画像を抽出し、更にその抽出された文字画像を認識する文字認識部である。
【００１８】
図２は画像を入力部１０１より入力してから文字認識して文書データとして出力部１０４より出力するまでの全体的な処理の流れを表わすフローチャートであり、制御プログラムは記憶部１０３に記憶され、演算処理部１０２の制御により実行される。
【００１９】
入力部１０１より画像情報を入力する（Ｓ２０１）。この入力された画像情報は、出力部１０４に含まれる表示手段により表示してオペレータに確認させても良い。次に、領域分割部１０６により入力画像の領域分割を行って、文章、セパレータ、図、表等の画像データ領域を抽出する（Ｓ２０２）。抽出された各画像データ領域の情報は、記憶部１０３に格納される。領域分割の詳細な方法については、特願平４−２４３２５２号に開示されている技術等がある。領域分割の結果、入力画像に表画像が含まれている場合は（Ｓ２０３ＹＥＳ）、Ｓ２０４に進んでその表画像の属性を自動判別する処理を行う（Ｓ２０４）。このＳ２０４の表画像の属性の自動判別処理については、図３のフローチャートに詳細な処理を示し、後に詳細に説明する。Ｓ２０４の表属性の判別の結果、その表画像が横罫線なしの表である場合は（Ｓ２０５ＹＥＳ）、Ｓ２０６に進んで横罫線なし表の表処理を行う。Ｓ２０６の横罫線なし表の表処理は、横罫線なしの表画像の表形態を保持して文書化するための、文字単位（セルに相当）の抽出及びその抽出された文字単位の順序付けの処理であるが、図４のフローチャートに従って後に詳細に説明する。Ｓ２０４の表属性の判別の結果、その表画像が横罫線ありの表である場合は（Ｓ２０５ＮＯ）、Ｓ２０９に進んで横罫線あり表の表処理を行う。このＳ２０９の横罫線ありの表の表処理は、表形態を保持して文書化するための、セルの抽出と、その抽出されたセルに順序を付ける処理であって、左から右へ、そして上から下へ順に番号を付与するものである。その順は、後述する図４のフローチャートのＳ４０２における順序と同じである。
【００２０】
Ｓ２０３で表なしと判断された場合、及びＳ２０６或はＳ２０９の処理が終了したら、Ｓ２０７に進み、順序付け部１０５により入力画像の表画像を除いた文章部分からなる見出し、本文段落に順序を付ける。この順序付けは、例えば、文章が縦書きの場合は右から左方向に順序を付け、同様に上下方向に関しては上から下方向に順序を付ければ良い。
【００２１】
Ｓ２０８では、文字認識処理部１０９により、文字認識処理を行い、Ｓ２０６、Ｓ２０９、Ｓ２０７で付けられた順序に従って文字列を出力し、入力画像の文書化を完了する。ただし、表画像に含まれる文字の出力については、セルとセルの間にセル区切りを表わすコードであるタブコードを挿入し、行と行の間には行区切りを表わすコードであるリターンコードを挿入する。
【００２２】
以上、図２のフローチャートに示す処理を行うことで、入力画像に横罫線なしの表が含まれている場合にも、オペレータの手操作によりその旨指定することなく、自動的に横罫線なし表を判別してその表についても表形態を保持して文書化することができる。
【００２３】
以下、Ｓ２０４において表属性自動判定部１０７が実行する表属性の自動判定処理について、図３のフローチャートに従って説明する。この処理において対象となっているのはＳ２０２の領域分割処理によって表画像であると判定された領域の画像であり、図５に例示したようなものである。
【００２４】
まず、表画像５０の罫線で囲まれたセルを抽出し（セル１〜セル４）、各セルの中の文字行の行数をカウントする（Ｓ３０１）。例えばセル１〜セル３は６行、セル４は２行である。次のＳ３０２及びＳ３０３の判断処理は、Ｓ３０１で抽出された全セルについて行う。Ｓ３０２の処理はＳ３０１でカウントされた行数が３以上であるか否かの判断であり、Ｓ３０３の処理はそのセルに含まれている文字画像の高さａと文字画像の垂直字方向の間隔ｂとの関係を判断するものであって、ｂ＞３ａであるか否かを判断する。Ｓ３０２或はＳ３０３においてＹＥＳと判断されるセルがある場合には、その表画像を横罫線なし表と判断して、記憶部１０３に記憶されているその表画像の領域情報に加えて横罫線なし表の属性を記憶する（Ｓ３０４）。対象となっている表画像の全てのセルＧＳ３０２とＳ３０３で共にＮＯと判断された場合は、その表画像は横罫線あり表と判断して、記憶部１０３に記憶されている表画像の領域情報に加えて横罫線あり表の属性を記憶する。図５に例示した表画像は、セル１〜セル３が行数が３以上とＳ３０２で判断され、かつ、セル４は２行の間隔が大きく、ｂ＞３ａと判断されるので、Ｓ３０４において横罫線なし表の属性が記憶部１０３に記憶される。
【００２５】
この図３のフローチャートの処理により、入力画像に含まれる表画像が横罫線のあるものなのかないものなのかの判断を、オペレータの手操作により指定することなく自動判定することができる。
【００２６】
以下、Ｓ２０６において表処理部１０８が実行する横罫線なし表処理について、図４のフローチャートに従って説明する。この処理において対象となっているのはＳ２０２の領域分割処理によって表画像であると判定された領域の画像であり、図６に例示した表画像６０のようなものである。
【００２７】
まず、表画像６０から抽出されたセル１〜セル３各々を、行単位ブロックに分割する（Ｓ４０２）。セル１は５つの行ブロックに分割される。セル２及びセル３も同様に５つの行ブロックに分割される。Ｓ４０１で抽出された各ブロックに順序付けを行う（Ｓ４０２）。順序付けは、左から右方向へ、更に上から下方向に付けられるので、セル１の一番上のブロックが順序として一番目の▲１▼、セル２の一番上のブロックが▲２▼、セル３の一番上のブロックが▲３▼、横方向はセル３で終わりなので、下方向へ移動してセル１の上から２番目が▲４▼、セル２の上から２番目が▲５▼というように順序付けを行う。この順序情報はブロック情報と共に記憶部１０３に記憶する。
【００２８】
このように、一つのセル内の複数項目を行単位のブロックを抽出することにより分割し、順序付けも行うので、横罫線なし表も横罫線あり表と同様にセル毎の文字列の抽出と順序付け、更にはその順序に従って文書化するので、表の形態を保持することができる。
【００２９】
【発明の効果】
以上説明したように、本発明によれば、表画像が罫線のある表なのか罫線のない表なのかといったような属性を自動的に判定することができ、操作性を向上させることができる。
【００３０】
以上説明したように、本発明によれば、罫線のない表であっても文字行単位で処理を行なうことができる。
【００３１】
以上説明したように、本発明によれば、罫線のない表であっても表の形態を保ったままで出力できるようになる。
【００３２】
以上説明したように、本発明によれば、罫線のない表であっても、文字認識結果を表の形態を保ったままで出力できるようになる。
【図面の簡単な説明】
【図１】画像処理装置の機能構成ブロック図
【図２】全体処理のフローチャート
【図３】表属性判定処理のフローチャート
【図４】横罫線なし表処理のフローチャート
【図５】表属性判定処理を行う表画像例示図
【図６】横罫線なし表処理の説明図
【図７】従来の表画像処理の説明図
【発明の属する技術分野】
本発明は、ＯＣＲ（光学的文字認識）装置、複写機、ファクシミリ等の画像処理装置において、特に表画像を含む入力画像から文字を適正に抽出することのできる画像処理方法及び装置に関するものである。
【０００２】
本発明は、入力した表画像から文字画像を抽出する際に、入力した表の形式を判断して適正に文字画像を抽出することのできる画像処理方法及び装置に関するものである。
【０００３】
本発明は、入力した画像に含まれている表画像の属性をユーザの手操作により指定することなく、自動的に判断することのできる画像処理方法及び装置に関するものである。
【０００４】
【従来の技術】
自動領域分割機能を有するＯＣＲ装置では、罫線で囲まれている画像を表画像であると自動判別し、表の罫線で囲まれたセルを一つの文字領域として抽出する処理を行っている。
【０００５】
また、文字認識の後に、一つの文字領域から得られる認識結果の文字列間にタブコードを挿入し、行間にはリターンコードを挿入することによって、表画像から抽出されるセルの情報を文字認識後の文書データに反映させ、表計算ソフト等へデータの流し込みを容易にするようにしていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、文字認識の対象となっている表画像が横罫線のない表である場合、図７に示すように、縦に並ぶ複数の項目が一つの文字領域として判断されるため、入力した表の形態とは異なる文書が得られてしまい、その形態を入力した表の形態に整える作業をオペレータに強いることとなり、オペレータの負担を大きくしていた。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理装置は、表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出手段と、前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出手段と、前記行画像抽出手段で抽出された行画像の数が３以上であるか否か判断する行画像数判断手段と、前記行画像数判断手段で前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断手段と、前記行画像数判断手段で前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与手段と、を有する。
【０００８】
上記課題を解決するために、本発明の画像処理方法は、文書画像を記憶する記憶手段を有する画像処理装置が前記文書画像内の表画像領域に対して属性を付与するように制御するための画像処理方法であって、表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出ステップと、前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出ステップと、前記行画像抽出ステップで抽出された行画像の数が３以上であるか否か判断する行画像数判断ステップと、前記行画像数判断ステップで前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断ステップと、前記行画像数判断ステップで前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与ステップと、を有する。
【００１７】
【発明の実施の形態】
図１は、本発明の画像処理装置の一例の機能構成ブロック図である。１０１は入力部であって、文字認識の対象となる画像情報の入力、及びオペレータによりなされる各種指示を入力する。また、文書の編集等を行うためのキーボードを備える。ここで画像情報の入力は、原稿を光学的に読み込むスキャナや、或は既に光学的に読み込まれた画像情報を記憶装置や通信手段を介して入力するものであっても良い。１０２は後述するフローチャートの制御プログラムに従って、装置の制御や各処理部の演算・制御を行う演算処理部（ＣＰＵ）であり、１０３は後述するフローチャートを演算処理部１０２が実行するための制御プログラムや、各種処理に用いるデータ或は各種処理途中で生ずるデータを記憶する記憶部である。１０４は演算処理結果や画像処理結果、及び画像データを出力する出力部であって、ＣＲＴや液晶表示器等の表示手段や、或は他の端末や外部記憶手段に出力するための出力端末を含む。１０５は画像情報に含まれている文章の段落、見出しに順序を付ける順序付け部、１０６は画像情報の領域分割処理を行う領域分割部、１０７は画像情報に含まれている表画像の属性を、表画像の特性を検出し、分析することにより自動判定する表属性自動判定部、１０８は画像情報に含まれる表画像から表の形態を抽出し、文書化するための処理を行う表処理部、１０９は画像情報から文字画像を抽出し、更にその抽出された文字画像を認識する文字認識部である。
【００１８】
図２は画像を入力部１０１より入力してから文字認識して文書データとして出力部１０４より出力するまでの全体的な処理の流れを表わすフローチャートであり、制御プログラムは記憶部１０３に記憶され、演算処理部１０２の制御により実行される。
【００１９】
入力部１０１より画像情報を入力する（Ｓ２０１）。この入力された画像情報は、出力部１０４に含まれる表示手段により表示してオペレータに確認させても良い。次に、領域分割部１０６により入力画像の領域分割を行って、文章、セパレータ、図、表等の画像データ領域を抽出する（Ｓ２０２）。抽出された各画像データ領域の情報は、記憶部１０３に格納される。領域分割の詳細な方法については、特願平４−２４３２５２号に開示されている技術等がある。領域分割の結果、入力画像に表画像が含まれている場合は（Ｓ２０３ＹＥＳ）、Ｓ２０４に進んでその表画像の属性を自動判別する処理を行う（Ｓ２０４）。このＳ２０４の表画像の属性の自動判別処理については、図３のフローチャートに詳細な処理を示し、後に詳細に説明する。Ｓ２０４の表属性の判別の結果、その表画像が横罫線なしの表である場合は（Ｓ２０５ＹＥＳ）、Ｓ２０６に進んで横罫線なし表の表処理を行う。Ｓ２０６の横罫線なし表の表処理は、横罫線なしの表画像の表形態を保持して文書化するための、文字単位（セルに相当）の抽出及びその抽出された文字単位の順序付けの処理であるが、図４のフローチャートに従って後に詳細に説明する。Ｓ２０４の表属性の判別の結果、その表画像が横罫線ありの表である場合は（Ｓ２０５ＮＯ）、Ｓ２０９に進んで横罫線あり表の表処理を行う。このＳ２０９の横罫線ありの表の表処理は、表形態を保持して文書化するための、セルの抽出と、その抽出されたセルに順序を付ける処理であって、左から右へ、そして上から下へ順に番号を付与するものである。その順は、後述する図４のフローチャートのＳ４０２における順序と同じである。
【００２０】
Ｓ２０３で表なしと判断された場合、及びＳ２０６或はＳ２０９の処理が終了したら、Ｓ２０７に進み、順序付け部１０５により入力画像の表画像を除いた文章部分からなる見出し、本文段落に順序を付ける。この順序付けは、例えば、文章が縦書きの場合は右から左方向に順序を付け、同様に上下方向に関しては上から下方向に順序を付ければ良い。
【００２１】
Ｓ２０８では、文字認識処理部１０９により、文字認識処理を行い、Ｓ２０６、Ｓ２０９、Ｓ２０７で付けられた順序に従って文字列を出力し、入力画像の文書化を完了する。ただし、表画像に含まれる文字の出力については、セルとセルの間にセル区切りを表わすコードであるタブコードを挿入し、行と行の間には行区切りを表わすコードであるリターンコードを挿入する。
【００２２】
以上、図２のフローチャートに示す処理を行うことで、入力画像に横罫線なしの表が含まれている場合にも、オペレータの手操作によりその旨指定することなく、自動的に横罫線なし表を判別してその表についても表形態を保持して文書化することができる。
【００２３】
以下、Ｓ２０４において表属性自動判定部１０７が実行する表属性の自動判定処理について、図３のフローチャートに従って説明する。この処理において対象となっているのはＳ２０２の領域分割処理によって表画像であると判定された領域の画像であり、図５に例示したようなものである。
【００２４】
まず、表画像５０の罫線で囲まれたセルを抽出し（セル１〜セル４）、各セルの中の文字行の行数をカウントする（Ｓ３０１）。例えばセル１〜セル３は６行、セル４は２行である。次のＳ３０２及びＳ３０３の判断処理は、Ｓ３０１で抽出された全セルについて行う。Ｓ３０２の処理はＳ３０１でカウントされた行数が３以上であるか否かの判断であり、Ｓ３０３の処理はそのセルに含まれている文字画像の高さａと文字画像の垂直字方向の間隔ｂとの関係を判断するものであって、ｂ＞３ａであるか否かを判断する。Ｓ３０２或はＳ３０３においてＹＥＳと判断されるセルがある場合には、その表画像を横罫線なし表と判断して、記憶部１０３に記憶されているその表画像の領域情報に加えて横罫線なし表の属性を記憶する（Ｓ３０４）。対象となっている表画像の全てのセルＧＳ３０２とＳ３０３で共にＮＯと判断された場合は、その表画像は横罫線あり表と判断して、記憶部１０３に記憶されている表画像の領域情報に加えて横罫線あり表の属性を記憶する。図５に例示した表画像は、セル１〜セル３が行数が３以上とＳ３０２で判断され、かつ、セル４は２行の間隔が大きく、ｂ＞３ａと判断されるので、Ｓ３０４において横罫線なし表の属性が記憶部１０３に記憶される。
【００２５】
この図３のフローチャートの処理により、入力画像に含まれる表画像が横罫線のあるものなのかないものなのかの判断を、オペレータの手操作により指定することなく自動判定することができる。
【００２６】
以下、Ｓ２０６において表処理部１０８が実行する横罫線なし表処理について、図４のフローチャートに従って説明する。この処理において対象となっているのはＳ２０２の領域分割処理によって表画像であると判定された領域の画像であり、図６に例示した表画像６０のようなものである。
【００２７】
まず、表画像６０から抽出されたセル１〜セル３各々を、行単位ブロックに分割する（Ｓ４０２）。セル１は５つの行ブロックに分割される。セル２及びセル３も同様に５つの行ブロックに分割される。Ｓ４０１で抽出された各ブロックに順序付けを行う（Ｓ４０２）。順序付けは、左から右方向へ、更に上から下方向に付けられるので、セル１の一番上のブロックが順序として一番目の▲１▼、セル２の一番上のブロックが▲２▼、セル３の一番上のブロックが▲３▼、横方向はセル３で終わりなので、下方向へ移動してセル１の上から２番目が▲４▼、セル２の上から２番目が▲５▼というように順序付けを行う。この順序情報はブロック情報と共に記憶部１０３に記憶する。
【００２８】
このように、一つのセル内の複数項目を行単位のブロックを抽出することにより分割し、順序付けも行うので、横罫線なし表も横罫線あり表と同様にセル毎の文字列の抽出と順序付け、更にはその順序に従って文書化するので、表の形態を保持することができる。
【００２９】
【発明の効果】
以上説明したように、本発明によれば、表画像が罫線のある表なのか罫線のない表なのかといったような属性を自動的に判定することができ、操作性を向上させることができる。
【００３０】
以上説明したように、本発明によれば、罫線のない表であっても文字行単位で処理を行なうことができる。
【００３１】
以上説明したように、本発明によれば、罫線のない表であっても表の形態を保ったままで出力できるようになる。
【００３２】
以上説明したように、本発明によれば、罫線のない表であっても、文字認識結果を表の形態を保ったままで出力できるようになる。
【図面の簡単な説明】
【図１】画像処理装置の機能構成ブロック図
【図２】全体処理のフローチャート
【図３】表属性判定処理のフローチャート
【図４】横罫線なし表処理のフローチャート
【図５】表属性判定処理を行う表画像例示図
【図６】横罫線なし表処理の説明図
【図７】従来の表画像処理の説明図
Claims (4)
- 表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出手段と、
前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出手段と、
前記行画像抽出手段で抽出された行画像の数が３以上であるか否か判断する行画像数判断手段と、
前記行画像数判断手段で前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断手段と、
前記行画像数判断手段で前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与手段と、
を有することを特徴とする画像処理装置。 - 更に、前記属性付与手段で横罫線なし表の属性が付与された場合、前記小画像領域抽出手段で抽出された小画像領域の位置関係と、前記行画像抽出手段で抽出された行画像の位置関係とに基づいて、前記行画像に対して順序付けを行なう順序付け手段を有することを特徴とする請求項１に記載の画像処理装置。
- 更に、前記行画像に含まれる文字画像を文字認識する文字認識手段と、
前記文字認識手段による文字認識結果を、前記表画像領域の属性に従って出力する出力手段と
を有することを特徴とする請求項１または２のいずれかに記載の画像処理装置。 - 文書画像を記憶する記憶手段を有する画像処理装置が前記文書画像内の表画像領域に対して属性を付与するように制御するための画像処理方法であって、
表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出ステップと、
前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出ステップと、
前記行画像抽出ステップで抽出された行画像の数が３以上であるか否か判断する行画像数判断ステップと、
前記行画像数判断ステップで前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断ステップと、
前記行画像数判断ステップで前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与ステップと、
を有することを特徴とする、画像処理方法。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32563395A JP3814320B2 (ja) | 1995-12-14 | 1995-12-14 | 画像処理方法及び装置 |
| US08/760,211 US6275608B1 (en) | 1995-12-14 | 1996-12-04 | Image processing method and apparatus and memory medium |
| TW085115012A TW419628B (en) | 1995-12-14 | 1996-12-05 | Image processing method and apparatus and memory meidum |
| DE69624663T DE69624663T2 (de) | 1995-12-14 | 1996-12-06 | Verfahren und Gerät zur Bildverarbeitung und Speichermedium |
| EP96308875A EP0779593B1 (en) | 1995-12-14 | 1996-12-06 | Image processing method and apparatus and memory medium |
| CN96119794A CN1099800C (zh) | 1995-12-14 | 1996-12-13 | 图像处理方法和设备 |
| KR1019960065050A KR100268367B1 (ko) | 1995-12-14 | 1996-12-13 | 화성 처리 방법과 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32563395A JP3814320B2 (ja) | 1995-12-14 | 1995-12-14 | 画像処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09167246A JPH09167246A (ja) | 1997-06-24 |
| JP3814320B2 true JP3814320B2 (ja) | 2006-08-30 |
Family
ID=18179032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32563395A Expired - Fee Related JP3814320B2 (ja) | 1995-12-14 | 1995-12-14 | 画像処理方法及び装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6275608B1 (ja) |
| EP (1) | EP0779593B1 (ja) |
| JP (1) | JP3814320B2 (ja) |
| KR (1) | KR100268367B1 (ja) |
| CN (1) | CN1099800C (ja) |
| DE (1) | DE69624663T2 (ja) |
| TW (1) | TW419628B (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001150745A (ja) * | 1999-11-30 | 2001-06-05 | Canon Inc | 画像処理装置および方法 |
| US7054871B2 (en) * | 2000-12-11 | 2006-05-30 | Lucent Technologies Inc. | Method for identifying and using table structures |
| JP4242796B2 (ja) * | 2004-03-12 | 2009-03-25 | パナソニック株式会社 | 画像認識方法及び画像認識装置 |
| JP4645498B2 (ja) * | 2006-03-27 | 2011-03-09 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4491488B2 (ja) * | 2008-03-03 | 2010-06-30 | シャープ株式会社 | 画像処理装置、画像読取装置、画像データ出力処理装置、および画像処理方法 |
| US8887038B2 (en) * | 2010-10-08 | 2014-11-11 | Business Objects Software Limited | Extrapolating tabular structure in a freeform document |
| EP2807608B1 (en) | 2012-01-23 | 2024-04-10 | Microsoft Technology Licensing, LLC | Borderless table detection engine |
| EP2807604A1 (en) | 2012-01-23 | 2014-12-03 | Microsoft Corporation | Vector graphics classification engine |
| JP2013161268A (ja) * | 2012-02-06 | 2013-08-19 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
| JP5701839B2 (ja) | 2012-10-26 | 2015-04-15 | 株式会社東芝 | 電子機器および方法 |
| US9953008B2 (en) | 2013-01-18 | 2018-04-24 | Microsoft Technology Licensing, Llc | Grouping fixed format document elements to preserve graphical data semantics after reflow by manipulating a bounding box vertically and horizontally |
| JP5717831B2 (ja) * | 2013-12-10 | 2015-05-13 | 株式会社東芝 | 電子機器および手書き文書処理方法 |
| CN104156683A (zh) * | 2014-06-30 | 2014-11-19 | 黄志康 | 公安出入境表格的自动录入系统 |
| JP6481204B2 (ja) * | 2015-11-13 | 2019-03-13 | キヤノンマーケティングジャパン株式会社 | 情報処理装置と、その処理方法及びプログラム |
| US20170220858A1 (en) * | 2016-02-01 | 2017-08-03 | Microsoft Technology Licensing, Llc | Optical recognition of tables |
| US10592738B2 (en) * | 2017-12-01 | 2020-03-17 | International Business Machines Corporation | Cognitive document image digitalization |
| JP6795770B2 (ja) * | 2019-02-06 | 2020-12-02 | キヤノンマーケティングジャパン株式会社 | 情報処理装置と、その処理方法及びプログラム |
| CN113408323B (zh) * | 2020-03-17 | 2023-03-03 | 华为技术有限公司 | 表格信息的提取方法、装置、设备及存储介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4998285A (en) * | 1988-03-11 | 1991-03-05 | Kabushiki Kaisha Toshiba | Character recognition apparatus |
| JP2812982B2 (ja) * | 1989-04-05 | 1998-10-22 | 株式会社リコー | 表認識方法 |
| JP2940936B2 (ja) * | 1989-06-06 | 1999-08-25 | 株式会社リコー | 表領域識別方法 |
| JP2930612B2 (ja) * | 1989-10-05 | 1999-08-03 | 株式会社リコー | 画像形成装置 |
| JP2713622B2 (ja) * | 1989-11-20 | 1998-02-16 | 富士通株式会社 | 表形式文書読取装置 |
| JPH03290774A (ja) * | 1990-04-06 | 1991-12-20 | Fuji Facom Corp | 文書画像の文章領域抽出装置 |
| JPH04243252A (ja) | 1991-01-18 | 1992-08-31 | Fuji Photo Film Co Ltd | ハロゲン化銀感光材料の現像処理方法 |
| JPH05188919A (ja) * | 1992-01-14 | 1993-07-30 | Hitachi Ltd | 文書可視化処理方法 |
| US5680479A (en) * | 1992-04-24 | 1997-10-21 | Canon Kabushiki Kaisha | Method and apparatus for character recognition |
| EP0587450B1 (en) * | 1992-09-11 | 2004-11-17 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| JPH0696275A (ja) | 1992-09-11 | 1994-04-08 | Canon Inc | 画像処理装置 |
| US5594815A (en) * | 1992-10-19 | 1997-01-14 | Fast; Bruce B. | OCR image preprocessing method for image enhancement of scanned documents |
| JP2789971B2 (ja) * | 1992-10-27 | 1998-08-27 | 富士ゼロックス株式会社 | 表認識装置 |
| JP3302147B2 (ja) * | 1993-05-12 | 2002-07-15 | 株式会社リコー | 文書画像処理方法 |
| US5737442A (en) * | 1995-10-20 | 1998-04-07 | Bcl Computers | Processor based method for extracting tables from printed documents |
-
1995
- 1995-12-14 JP JP32563395A patent/JP3814320B2/ja not_active Expired - Fee Related
-
1996
- 1996-12-04 US US08/760,211 patent/US6275608B1/en not_active Expired - Lifetime
- 1996-12-05 TW TW085115012A patent/TW419628B/zh not_active IP Right Cessation
- 1996-12-06 DE DE69624663T patent/DE69624663T2/de not_active Expired - Fee Related
- 1996-12-06 EP EP96308875A patent/EP0779593B1/en not_active Expired - Lifetime
- 1996-12-13 CN CN96119794A patent/CN1099800C/zh not_active Expired - Fee Related
- 1996-12-13 KR KR1019960065050A patent/KR100268367B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| DE69624663D1 (de) | 2002-12-12 |
| CN1099800C (zh) | 2003-01-22 |
| EP0779593A3 (en) | 1998-02-11 |
| CN1158044A (zh) | 1997-08-27 |
| DE69624663T2 (de) | 2003-07-03 |
| KR970049402A (ko) | 1997-07-29 |
| KR100268367B1 (ko) | 2000-10-16 |
| EP0779593A2 (en) | 1997-06-18 |
| JPH09167246A (ja) | 1997-06-24 |
| US6275608B1 (en) | 2001-08-14 |
| EP0779593B1 (en) | 2002-11-06 |
| TW419628B (en) | 2001-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3814320B2 (ja) | 画像処理方法及び装置 | |
| JP3805005B2 (ja) | 画像処理装置及び光学的文字認識装置及びそれらの方法 | |
| JP2003308480A (ja) | オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム | |
| JPH09120460A (ja) | 書類から記事を抽出する装置および方法 | |
| JPH1139428A (ja) | 文書映像の方向修正方法 | |
| US6003048A (en) | System and method for converting a coordinate based document to a markup language (ML) based document | |
| CN1250205A (zh) | 文献图象处理装置及其方法和录有所用程序的记录介质 | |
| US6504540B1 (en) | Method and apparatus for altering one or more attributes of one or more blocks of image data in a document | |
| JP4181328B2 (ja) | 数式認識装置および数式認識方法 | |
| JPH11110479A (ja) | 文字処理方法及び装置及び記憶媒体 | |
| CN110390323B (zh) | 信息处理装置以及计算机可读介质 | |
| JPH07220023A (ja) | 表認識方法及びその装置 | |
| JP3548234B2 (ja) | 文字認識方法及び装置 | |
| JP4501731B2 (ja) | 画像処理装置 | |
| JPH08202856A (ja) | 画像処理方法 | |
| JPH1166065A (ja) | 画像配置装置およびそのプログラム記録媒体 | |
| JPH08202859A (ja) | 電子ファイリング装置及びその方法 | |
| JP2803736B2 (ja) | 文字認識方式 | |
| JPH0388086A (ja) | 文書読取装置 | |
| JPH10116314A (ja) | 表処理方法及び表処理装置 | |
| JPH06251187A (ja) | 文字認識誤り修正方法及び装置 | |
| JPH1166232A (ja) | 帳票定義方法 | |
| JPH11242716A (ja) | 画像処理方法および記録媒体 | |
| JPH09269970A (ja) | 文字認識方法とその装置 | |
| JP2933947B2 (ja) | 画像処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |