JPH03268181A - 文書読み取り装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［概　要］ 写真、線画、文章の混在する文書を読み取る文書読み取
り装置に関し、 従来装置では、写真、線画、文章が混在する場合は、文
書をラスター・データとして読み取り保存するか、文章
部分のみをコード化して保存する方法を用いており、デ
ータの検索、編集等に不便であった問題の解決を目的と
し、ラスター・データを格納するフレーム・メモリと、
該ラスター・データをセル分割し、レイアウト画像とし
て保存するレイアウト・メモリと、レイアウト画像から
文書中の空白部を検出してブロック抽出する手段と、セ
ル平均画素数が所定値以上のものを写真ブロックとし、
所定の規則性を有するものを文章ブロックとし、残りを
線画ブロックとする検出手段と、写真ブロックについて
はラスター・データを、文章ブロックについては文字コ
ードを、線画ブロックについてはベクター・データと文
字部分についての文字コードを外部出力する手段を設け
て構成する。

［産業上の利用分野］ 本発明は、雑誌等の各種印刷文書を読み取り、データベ
ース化する文書読み取り装置に関し、特に、写真、線画
、文章の混在する一般的な文書を、それぞれの部分につ
いて分離認識し効率的な形でディジクル・データ化する
文書読み取り装置に関する。

［従来の技術］ 従来の文書読み取り装置においては、印刷された文書等
に文章の他に写真、線画が含まれる場合には、該写真、
線画部分を含めてディジタル・データ化することはでき
ず、例えば、印刷された文書を文書読み取り装置で読み
取り、デタベースを作成する場合などでは下記のごとき
方法が用いられている。

（１）文書をラスター・データとして読み込み、ラスタ
ー・データのまま保存する。

（２）　　文書の文章部分を抽出して、文字認識機構に
より読み取りコード・データ化して保存する。

［発明が解決しようとする課題］ しかしながら、従来技術の（］）の方法では、入力デー
タがラスター・データのままなので、検索用に手入力で
キーワードを付ける等の作業が必要となる。また、デー
タを参照することはできるが、編集したりすることが困
難である。

また、（２）の方法では、文書中の文章部分はコド・デ
ータ化されているので、検索・編集等か容易であるが、
文書の他の要素（写真や図表など）はディジタル化でき
ないか、ラスタデークの形で保存しなければならず、写
真や図表の検索、編集が困難であった。

本発明は上記問題点に鑑みなされたものであり、文書中
に文章の他に写真、線画が含まれる場合にも、効率的に
文書全体をディジタル・ブタ化し得る文書読み取り装置
を提供することを目的とする。

［課題を解決するための手段］ 本発明によれば、上述の目的は前記特許請求の範囲に記
載した手段により達成される。

すなわち、本発明は、写真と文章と線画が混在する文書
の読み取りを行なう文書読み取り装置において、 文書全体をラスター・データとして読み取り、該ラスタ
ー・データを格納するフレーム・メモリと、ラスター・
データを格子状にセル分割し、各分割領域の黒画素数を
計数してレイアウト画像として格納するレイアウト・メ
モリと、レイアウト画像情報から、文書の空白部分を検
出し、該空白部分により囲まれた領域をブロックとして
抽出するブロック抽出手段と、上記レイアウト画像情報
から、セル平均黒画素数が所定の値以上のブロックを写
真ブロックとする写真部検出手段と、レイアウト画像情
報の、セル平均黒画素数の変化に所定の規則性を有する
ものを文章ブロックとする文章検出手段と、上記写真ブ
ロックと文章ブロック以外のブロックを線画ブロックと
して判断する手段と、該線画ブロックと判断された部分
について、黒画素列を追跡してベクター・データを求約
るラスター・ベクタ変換手段と、上記線画ブロックのベ
クタデータより、線画ブロック中の文字列を抽出する文
字列抽出手段と、上記文章ブロック中の情報および」二
記線画ブロック中の文字列情報に対して文字認識を行な
う文字認識手段とを設け、さらに、文書中の写真部分に
ついてはラスタ・データとその位置情報を、文書中の文
章部分については認識された文字列コードとその位置、
文字サイズ、文字間隔情報を、文書中の線画部分につい
ては線分のベクター・データと、文字列の文字コードと
その位置、文字サイズ情報とを外部出力する手段を設け
た文書読み取り装置である。

［作　用］ 本発明、の文書読み取り装置では、写真、線画、文章の
混在する文書を、例えばスキャナ等でラスター・データ
として読み取り、該ラスター・データをセル分割し、各
分割領域中の黒画素数を計数してレイアウト画像としレ
イアウト・メモリに格納する。

次に、このレイアウト画像の空白部分を検出して、該空
白部分て囲まれる部分を文書のブロックとして抽出する
。

上北抽出された各ブロックについて、ブロック中の黒画
素の密度、分布の規則性を調べ、各ブロックが写真部か
、文章部か、または線画部かを判断する。

そして、各ブロックの内容に応じて下記のブタを外部出
力する。

（１）　　写真部分は、その位置と同領域のラスタ・デ
ータとして出力し、 （２）文章部分は、その位置と文字として認識された文
字コードを出力し、 （３）線画部分は、ラスター・ベクター変換により、ベ
クター化して、図中の文字は分離して文字認識し、コー
ド化して位置情報とともに出力する。

以下、より具体的な装置実現方法の一例を示して説明す
る。

ずなわぢ、本発明の文書読み取り装置では、（１）　　
最初に、文書をスキャナ等により、ラスター・データ２
して読み込み、全体画像をフレム・メモリに格納する。

（２）　　フレーム・メモリの全体画像を横Ｍｘ縦Ｎの
部分領域（セル）に分割し、各領域の黒画素数を計数し
てレイアウト・メモリに格納する。

（３）　　レイアウト・メモリより、各セルの黒画素数
がノイズと見なせる一定値Ｔ１以下のセルを空白セルと
する。

（４）４近傍で隣接する空白セルを連結して、空白部分
で区切られた矩形領域をブロックとして抽出する。

（５）　　写真領域は、他の領域に比べて黒画素密度が
高いという特徴を利用して、ブロック内のセル平均黒画
素数が閾値Ｔ２より大のものを、写真ブロックとして分
離する。

（６）写真領域の位置を検出したなら、フレーム・メモ
リの該当部分をラスター・データのまま切り出し、必要
に応じて符合化する。

（７）残ったブロックについて、水平および垂直方向に
射影をとり、各セル列、行のセル平均黒画素数を求める
。

（８）文章部分は、一定間隔で改行され、その間は空白
であるという性質から、閾値Ｔ３以上の領域と闇値Ｔ１
以下の領域が交互に現われるブロックを、文章ブロック
として分離する。

（９）　　文章ブロックは、水平射影と垂直射影から縦
書き／横書きを判断して、行単位に分離する。ここで、
同一文章ブロック内で行の幅や行間隔の異なる部分が混
在する場合があり、この場合は、その変化点で文章ブロ
ックを分割する。

（ＩＣ１行の位置情報により、フレーム・メモリがらの
行の画像を切り出して、行画像メモリに格納する。

ＯＩ）　　行画像メモリにおいて、横書きなら垂直方向
に、縦書きなら水平方向に射影をとり、連続した黒画素
領域をセグメントとして抽出し、セグメントの長さ、間
隔をもとに、文字サイズ、文字ピッチ等を判定して、−
文字単位に切り出す。

Ｏノ　　−文字単位に切り出された画像をもとに、辞書
とのパターン・マツチングを行ない、結果の文字コード
を得る。

０■　写真分離、文章分離により残ったブロックを線画
ブロックとし、フレーム・メモリ」二の該当ラスター・
テ゛−夕をラスクー・ベクタ変換部（ＲＶ変換部）によ
り、ベクター・ブタ化してベクター・メモリに格納する
。

０４．１　　ベクター・メモリ中のベクター・テ゛〜り
に対して、その連結状態を調べ比較的小さな孤立ベクタ
ー群の領域を文字候補として抽出する。近傍の文字候補
同士をその間隔、角度の条件により、統合してグルーピ
ング、文字列化する。

文字候補以外のベクターは図形候補として、その線種、
線幅等の情報を抽出したり、その形状より直線、円、円
弧といったプＩＪ　ミティフ′δ忍識を行なう。

０５）　　文字列の位置情報より、フレート・メモリか
ら文字列の画像を切り出し行画像メモリに格納する。

Ｑ６）　　行画像メモリに文字列の画像が格納された後
は、０１）〜０つにより文字認識を行なう。

０℃　次に、文章ブロック間の連結を検出する。

０印　全ブロックの認識が終了したなら、写真部分はそ
の位置情報（矩形の位置、幅および高さ）と符合化され
たラスター・データを、文章部分は、ブロック単位にそ
の位置情報Ｉ （矩形の位置、幅および高さ）、行の高さおよび文字の
幅、文字の間隔といった情報と、認識された文字コード
列を、 線画部分は、ベクター・データ（直線なら、二次元座標
対と線幅、線種等を、円、円弧なら中心座標、半径、線
幅、線種、始角、終角等）と、文字列データ（位置、幅
、高さ、傾き、文字数および文字コード列）といった情
報を外部出力する。

このようにして、本発明の文書読み取り装置では、写真
、文章、線画の混在する文書を、それぞれの部分につい
て分離認識して、原文書を忠実に再現可能な情報を、利
用効率の高い形態で出力することができる。

［実施例］ 本発明の文書読み取り装置の一実施例について以下説明
する。

第１図は本発明の一実施例を示す図であり、１は文書読
み取り装置、２はフレーム・メモリ、２ ３は圧縮部、４はレイアウト・メモリ、５はブロック抽
出部、６は写真検出部、７は文章検出部、８は行分離部
、９は行画像メモ’、１．１０は文字分離部、１１は文
字認識部、１２はコード・メモリ、１３はラスター・ベ
クター変換部（Ｒ／Ｖ変換部）、１４はベクター・メモ
リ、１５はベクター演算部、１６は通信制御部、１７は
パーソナル・コンピュータ、１８は読み取り対象となる
文書、１９はスキャナを表わしている。

また、第２図は読み取り対象となる文書の例を示す図で
ある。

以下、第２図に示す文書の読み取りを例に取って、本実
施例の動作について説明する。

（１）最初に、スキャナ１９により読み込まれた一ペー
ジ分の文書画像は、ラスター・データとして文書読み取
り装置１内のフレーム・７’％す２に格納される。

（２）圧縮部３はフレーム・メモリ２の全体画像をＮＸ
Ｍの格子状のセルに分割して、各部分の黒画素数を計数
し、レイアウト・メモリ４に格納する。

（３）　　ブロック抽出部５は、レイアウト・メモリ４
において、黒画素密度が一定のレベル以下のセルを空白
として、隣接する空白セルを４近傍で連結して、一定の
閾値以上の幅を持つ帯状の空白領域に囲まれた矩形領域
をプロ、ツクとして抽出する。第２図に示す文書をセル
分割して、空白セルと非空白セルに分けた状態を第３図
に、ブロック抽出した図を第４図に示す。

（４）　　写真検出部６は、各プロ・ツクのセル平均黒
画素数を５１測する。

第２図の文書例では、第４図に示すブロック■の部分が
最もセル平均黒画素数が高くなり、一定のレベルを越え
ているため、このブロックを写真ブロックと判定する。

他のブロックはこの写真レベルに到達しないため、次の
文章検出部７に渡される。

また、写真検出部６は、写真プロ・ツクを抽出したなら
、その位置、大きさ情報に従って、フレーム・メモリ２
から該当部分のラスタ・データを切り出す。

（５）　　文章検出部７は、レイアウト・メモリ４の黒
画素密度を水平・垂直方向に投影して、セル毎の平均値
を求める。

第４図のブロック■の部分では、第５図に示すような水
平・垂直投影結果が得られる。

また、ブロック■の部分では第６図のようになる。この
投影結果より黒画素レベルの高い部分と低い部分・が交
互に出現するブロック■のような部分を文章ブロックと
して分離する。

（６）　　行分離部８は、文章検出部７より通知された
文章ブロックから、縦書き／横書きを判定して（この例
では横書き）、−行単位の位置情報を求めて、対応する
行画像をフレーム・メモリ２から順次切り出し、行画像
メモリ９に格納して文字分離部１０に通知する。文字分
離部１０が行画像メモリ９の行画像から、−文字単位に
画像を切り出し、文字認識部１１に転　５− 送する。文字認識部１１は文字画像から、文字を言忍識
してコード・テ″−り化してコード・メモリ１２に格納
する。このとき、文章ブロックの位置情報および各行の
位置情報を合わせて格納する。

（７）残ったブロックは、線図形領域としてラスター・
ベクター変換部（Ｒ／Ｖ変換部）１３がフレーム・メモ
リ２の該当部分を細線化して得られる黒画素の点列を追
跡して、一定の閾値のもとて折線近似することにより、
二次元線分としてベクターを発生ずる。

すなわち、第７図の線図形のベクター変換について説明
する図に示されるごとく、第７図（ａ）の二値ラスター
・データに細線化処理を施こし、第７図（ｂ）に示す細
線化画像を得、該細線化画像中の黒画素列を折線近似し
第７図（Ｃ）に示すベクター・データを得る。

こうして得られたベクター・データは順次、ベクター・
メモリ１４に格納される。

６ （８）　　ベクター演算部１５は、ベクターの連結状態
を調べて、相互に連続なベクターの集合をネットとして
求める。さらに、各ネットの縦横方向の大きさを調べて
、縦および横方向の大きさがある範囲内のネットを文字
候補とする。

また、近傍の文字候補同士を連結、クルーピンクして文
字列化することにより、文字列の傾きを得ることができ
る。

すなわち、第８図はベクターからの文字列の抽出につい
て説明する図を示しており、図の例では、ベクター・デ
ータから文字列”　ＨＥ　Ｌ　Ｐ　”を求杓る例を示し
ている。

ベクター演算部１５はこうして得られた文字列の情報、
傾き情報をもとに、フレーム・メモリ２より文字列に該
当する画像を切り出し、回転させて水平方向として行画
像メモリ９に格納する。この後の、文字分離部１０およ
び文字認識部］］の動作は上述のとおりである。

ただし、文字δ忍識鉱果をコード・メモリ１２に格納す
る際は、文字列の位置、傾きおよび大きさといった情報
を同時に格納する。

ベクター演算部１５はさらに、文字候補以外のベクター
を図形候補として、直線、円といったプリミティブをＨ
Ｊｍすることも可能である。

（９）　　さらに、文章検出部７は、文章ブロック同士
の連結を調べる。すなわち、本例では横書きであり、か
つ各ブロックの文字サイズ、文字間隔、行間隔等がほぼ
等しいので、上から下へのルールにより、ブロック■Ｑ
ブロック■リブロック■の連結を得る。

αＯ全体の認識が終了したなら、第９図に示すごとき情
報を各メモリより通信制御部１６を介してワークステー
ション、パーソナル・コンピュータ１７等に出力する。

すなわち、第９図は文書読み取り装置からの出力データ
例を示す図であり、第９図（ａ）は写真ブロックからの
写真データの出力形式を、第９図（ｂ）は文章ブロック
からの文章ブロック・データの出力形式を、第９図（Ｃ
）は線画ブロックからのベクター・データの出力形式を
、第９図（ｄ）は線画ブロックからの文字列データの出
力形式の例をそれぞれ示すものである。

［発明の効果］ 以上説明したように、本発明によれば、写真、線画およ
び文章の混在する一般的な文書を、分離認識して効率的
な形でディジタル・データ化することができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す図、第２図は読み取り
対象となる文書の一例を示す図、第３図は文書をセル分
割した状態を示す図、第４図はブロック抽出について説
明する図、第５図は文章ブロックの投影結果によるセル
平均黒画素の状態を示す図、第６図は線画ブロックの投
影結果によるセル平均黒画素数の状態を示す図、第７図
は線図形のベクター変換について説明す　９− る図、第８図はベクターからの文字列の抽出について説
明する図、第９図は文書読み取り装置からの出力データ
例を示す図である。 ０ １・・・・・・文書読み取り装置、２・・・・・・フレ
ーム・メモリ、３・・・・・・圧縮部、４・・・・・・
レイアウト・メモリ、５・・・・・・ブロック抽出部、
６・・・・・・写真検出部、７・・・・・・文章検出部
、８・・・・・・行分離部、９・・・・行画像メモリ、
１０・・・・・・文字分離部、１１・・・・・・文字認
識部、１２・・・・・・コード・メモリ、１３・・・・
・ラスター・ベクター変換部（Ｒ／Ｖ変換部）、１４・
・・・・ベクター・メモリ、１５・・・・・・ベクター
演算部、１６・・・・・・通信制御部、１７・・・・・
・パーソナル・コンピュータ、１８・・・・・・読み取
り対象となる文書、１９・・・・スキャナ

Claims (1)

1. 【特許請求の範囲】 写真と文章と線画が混在する文書の読み取りを行なう文
   書読み取り装置において、 文書全体をラスター・データとして読み取り、該ラスタ
   ー・データを格納するフレーム・メモリと、 ラスター・データを格子状にセル分割し、各分割領域の
   黒画素数を計数してレイアウト画像として格納するレイ
   アウト・メモリと、 レイアウト画像情報から、文書の空白部分を検出し、該
   空白部分により囲まれた領域をブロックとして抽出する
   ブロック抽出手段と、 上記レイアウト画像情報から、セル平均黒画素数が所定
   の値以上のブロックを写真ブロックとする写真部検出手
   段と、 レイアウト画像情報の、セル平均黒画素数の変化に所定
   の規則性を有するものを文章ブロックとする文章検出手
   段と、 上記写真ブロックと文章ブロック以外のブロックを線画
   ブロックとして判断する手段と、該線画ブロックと判断
   された部分について、黒画素列を追跡してベクター・デ
   ータを求めるラスター・ベクター変換手段と、 上記線画ブロックのベクター・データより、線画ブロッ
   ク中の文字列を抽出する文字列抽出手段と、 上記文章ブロック中の情報および上記線画ブロック中の
   文字列情報に対して文字認識を行なう文字認識手段とを
   設け、 さらに、文書中の写真部分についてはラスター・データ
   とその位置情報を、文書中の文章部分については認識さ
   れた文字列コードとその位置、文字サイズ、文字間隔情
   報を、文書中の線画部分については線分のベクター・デ
   ータと、文字列の文字コードとその位置、文字サイズ情
   報とを外部出力する手段を、 設けたことを特徴とする文書読み取り装置。