JPH0991450A - 文書処理装置および文書処理方法 - Google Patents

Abstract

(57)【要約】 【課題】文書画像を種類対応の領域に分けて、個別に出
力できるようにする。 【解決手段】文書画像を複数の領域あるいは連結成分に
分割する手段 103と、分割された領域毎に領域の種類を
識別する手段 104と、識別された結果を表示しながら領
域情報を編集する編集手段105,106 と、編集された領域
情報を利用して、文書画像を整形する手段 107とを具備
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、書面としての文書
（原紙）を読み込んで、ハードコピーとして複写した
り、画像データに変換して保存したりするための文書処
理装置および文書処理方法に関する。

【０００２】

【従来の技術】書面としての文書（原紙；オリジナル）
を画像データとして取り込んで、その画像をハードコピ
ーとして出力したり、イメージファイルとして保存した
りする技術がある。前者は複写機や、パソコン等におけ
るイメージ取り込みの分野等に利用されている技術であ
り、後者はファイリング装置やデータベースに利用され
る技術である。

【０００３】このような従来のイメージ処理のための装
置においては、書面としての文書書類を画像データとし
て取り込んで、その画像をハードコピーとして複写した
り、画像に変換して保存したりする場合、文書書類が定
型サイズのものであれば、文書原紙の頁一枚（一葉）を
１つの単位として扱うのが一般的であった。

【０００４】また、文書書類のレイアウトを認識するた
めに文書画像をブロックに分割するといった方法がとら
れることもあった。

【０００５】すなわち、文書書類を構成している紙面内
容としてはタイトルや文章（テキスト）、挿絵や図表、
写真等の様々なものが含まれ、これらが紙面にレイアウ
トされている。

【０００６】それにもかかわらず、全てを一色端に扱う
ことから文書を複写したり、画像に変換して保存したり
する場合に、文書中に必要な部分と必要でない部分が混
在していてもそれらを分離して扱うことができなかっ
た。

【０００７】

【発明が解決しようとする課題】以上述べたように、従
来の文書処理装置においては、文書を複写したり、画像
に変換して保存したりする場合、文書一枚を１つの単位
として扱うため、文書中に必要な部分と必要でない部分
が混在していてもそれらを分離して扱うことができなか
った。

【０００８】文書のレイアウトを認識する方法では、テ
キスト領域を積極的に探索するのみで、テキスト領域を
知ることはできるものの、単にそれのみであり、必要な
領域と不必要な領域を分離して、必要な領域のみを文書
画像として出力あるいは保存しておくといったことは不
可能であった。

【０００９】そこでこの発明の目的とするところは、タ
イトルや文章（テキスト）、挿絵や図表、写真等の様々
なものが描かれている書面の画像から、タイトルや文章
（テキスト）、挿絵や図表、写真等の領域を区別して抽
出し、それぞれ別個に保存したり、別個に修正を加えて
ハードコピーしたりすることを可能にする文書処理装置
を提供することにある。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、本発明はつぎのように構成する。

【００１１】この発明においては、文書入力された画像
より特定の領域を抽出する領域抽出手段と、領域抽出手
段により抽出された領域をその特徴量により分類する領
域識別手段と、領域識別手段により識別された結果を表
示する識別結果表示手段と、識別結果を編集できる領域
編集手段と、領域編集手段によって編集された結果ある
いは識別結果により出力画像を生成する出力画像生成手
段と、出力画像生成手段によって生成された画像を出力
する画像出力手段とを具備する。

【００１２】更には、領域識別手段には、前記特徴量に
より分類すると共に、分類結果に応じて分割する機能を
持たせ、更には、分類結果が雑音領域である場合に、こ
の雑音領域を分離削除する機能を持たせる。

【００１３】文書を複写したり、画像に変換して保存し
たりする場合、入力された文書画像に対して、入力画像
に含まれる要素を領域として抽出し、それぞれの領域に
対して文書としての重要度を識別あるいは修正すること
により、必要な部分と不必要な部分を的確に分離して扱
うことが可能である。これにより、文書に含まれる書き
込みやノイズ、書類の影、その他の不必要な部分を取り
除いて、複写あるは保存などが可能となる。

【００１４】また、入力された文書画像に対して、入力
画像に含まれる要素を領域として抽出し、それぞれの領
域に対して文書としての重要度を識別あるいは修正し、
必要な部分のみを要素ごとに独立のデータとして保存し
ておくことにより、入力画像より得られたデータを別の
文書に再利用することができる。同時に、必要な部分の
みを保存しておくため、保存領域の節約にも効果をあげ
ることができる。

【００１５】さらに、領域をデータとして保存しておく
場合、すでに登録されているデータとの差異を計測する
ことにより、既登録のデータを重複して保存することな
くデータベースを構築できる。同時に、検索が効率的に
行え、保存領域の節約により効果をあげることができ
る。

【００１６】従って、このような本発明によれば、文書
を構成要素毎に領域分割し、それぞれの領域に必要・不
必要に係わる領域情報を識別し、識別結果表示手段に表
示された領域識別情報を見ながら、編集することによ
り、文書中の必要な部分のみを容易に取り出すことがで
きるようになり、また、必要な領域と不要な領域を分離
して扱うことが自動的にあるいは容易な手続きによって
実現できる。さらに、文書中のテキスト、図表などの構
成要素を部品として保存することができ、再利用するこ
とが容易にできる等の効果が得られる。

【００１７】また、文書を複写したり、画像に変換して
保存したりする場合に、入力文書に傾きがあっても、文
書中のテキストや図表といった必要な領域のみを残し、
ノイズ等の必要でない領域を削って出力することができ
るようにするために、本発明においては、領域識別にあ
たって、入力された文書画像から傾きを検出する傾き検
出手段と、前記傾き検出手段によって検出された傾きに
対して水平または垂直方向における前記文書画像の連結
成分領域を抽出する領域抽出手段と、前記領域抽出手段
に基づいて連結成分領域の形状を計測することにより領
域の属性を識別する領域識別手段と、識別された属性に
より変形あるいは濃度変換を行って出力画像データを生
成する出力画像生成手段を具備して構成した。

【００１８】文書を複写したり、画像に変換して保存し
たりする場合、入力された文書画像に対して、入力画像
の傾きを検出し、入力画像に含まれる要素を傾きに対し
て水平または垂直方向における領域として抽出し、それ
ぞれの領域に対して文書要素としての属性を識別するこ
とにより、必要な部分と不必要な部分を的確に分離して
扱うことが可能である。これにより、文書に含まれる書
き込みやノイズ、書類の影、その他の不必要な部分を取
り除いて、複写あるは保存などが可能となり、複写の際
のトナーや保存領域の節約にも効果を上げることができ
る。

【００１９】そして、本発明装置においては、入力文書
の傾きを検出し、その傾きに対して水平または垂直方向
における連結黒画素矩形領域を発生させ、この領域毎に
文字、図、写真、および雑音等の属性の識別を行なう。

【００２０】そのため、入力された文書画像に傾きがあ
り、その傾きを補正する場合において、抽出された領域
に対して傾き補正するために、必要な領域だけ高速に補
正することができる。

【００２１】すなわち、本発明では、領域識別にあたっ
て文書画像の傾きを補正してから領域識別するのではな
く、傾きを持った矩形領域情報より領域識別するため、
高速な処理を行うことができる。

【００２２】また、入力された文書画像に対して、入力
画像の傾きを検出し、入力画像に含まれる要素を傾きに
対して水平または垂直方向における領域として抽出し、
それぞれの領域に対して文書要素としての属性を識別す
る。これにより、同一属性の領域同士を統合すること
で、格納領域を削減することができる。

【００２３】すなわち、補正を行った画像を出力したい
場合においても、傾き補正が必要な領域だけに限定して
補正を行なうため、高速な傾き補正を行うことができ
る。また、画像全体の補正を行なうためには新たな格納
領域（メモリ）を必要とするが、本発明においてはそれ
を省くことが可能である。

【００２４】

【発明の実施の形態】本発明システムは、書類の画像を
画像入力部により取り込み、これを入力画像格納部に入
力画像データとして一時的に記憶し、次いで、この一時
記憶された画像データに対してデータの状況から領域抽
出部により文字や図形等が物理的にあるいは論理的に連
結されている単位を一つの領域として抽出し、次に、こ
の抽出された領域に対して領域識別部が、個々にその領
域の画像上の位置、大きさ、形状、構造、濃度分布等の
特徴量を計測し、その計測結果を、予め定められたルー
ルに基づいて識別することにより、各領域の種類、ある
いは、文書上の重要度を識別する。

【００２５】そして、これら識別された領域情報を、モ
ニタディスプレイ等の表示手段である領域識別結果表示
部に表示し、編集モードにすることで領域編集部により
ユーザは前記表示内容を参照しながら領域情報の編集作
業を行なうことでユーザの思うように領域情報の編集を
行なうことができる。そして、その編集の結果を画像デ
ータとして出力することができる。

【００２６】このように本発明システムにより、入力さ
れた文書画像に対して、入力画像に含まれるタイトル領
域、文章領域、図表領域、頁領域、写真領域などの如き
種別の異なる画像要素を区別して領域として抽出し、そ
れぞれの領域に対して予め設定したルールに従い、文書
としての重要度を識別し、あるいはその結果を修正する
ことにより、必要な部分と不必要な部分を適確に分離し
て扱うことが可能となる。

【００２７】従って、文書画像のデータのファイリング
や、ハードコピーなどを行なうにあたっても、ユーザの
思うように編集したり、調整したりして最終利用に供す
ることができるようになり、新しい利用分野、応用分野
を開拓できることになる。

【００２８】（より具体的な実施の態様１）以下、本発
明のより具体的な実施の態様の一例について、図面を参
照して説明する。

【００２９】図１は本発明の実施の態様の一例を示すブ
ロック図である。図１において、１０１は画像入力部、
１０２は入力画像格納部、１０３は領域抽出部、１０４
は領域識別部、１０５は領域識別結果表示部、１０６は
領域編集部、１０７は出力画像生成部、１０８は出力画
像格納部、１０９は画像出力部である。

【００３０】これらのうち、画像入力部１０１は画像デ
ータを入力するための装置であり、画像を読み取って画
像データ化するための装置であるイメージスキャナ等の
画像入力装置により、与えられた文書等の書類（内容が
記述された原紙）からの画像データを取り込むための装
置である。もちろん、画像入力部１０１は画像入力装置
そのものを含んだ構成であっても良いし、画像入力装置
により与えられた画像を取り込むだけの構成であっても
良い。

【００３１】入力画像格納部１０２はデータを一時保持
するための記憶部であり、画像入力部１０１で読み取ら
れた画像データを一時的に記憶するために格納しておく
ものである。また、領域抽出部１０３は、入力画像格納
部１０２に格納された画像データに対して、文字や図形
等が物理的にあるいは論理的に連結されている各領域に
分割して抽出するといった処理を行なうものである。

【００３２】領域識別部１０４は、詳細は後述するが領
域抽出部１０３において抽出された領域に対して、その
領域の位置、大きさ、形状等の特徴を計測して、領域の
種類あるいは重要度を識別するものである。

【００３３】また、領域識別結果表示部１０５は、入力
画像格納部１０２に格納されている画像データに、領域
識別部１０４において識別された領域の識別情報を重ね
て、表示するものであり、領域編集部１０６は、領域識
別結果表示部１０５に表示された領域情報を編集および
修正するためのユーザインタフェースであり、出力画像
生成部１０７は、領域識別部１０４において識別された
領域情報あるいは領域編集部１０６において編集された
領域情報を用いて、入力画像格納部１０２に記憶されて
いる画像に変更を加えて出力画像を生成するものであ
る。

【００３４】出力画像格納部１０８は、出力画像生成部
１０７において生成された出力画像を一時的に保存して
おくものであり、画像出力部１０９は、出力画像格納部
１０８において格納されている出力画像をプリンタや外
部記憶装置等に出力するものである。

【００３５】図２は図１の構成の本発明装置の文書処理
手順の例を示すフローチャートである。このフローチャ
ートを参照しながら図１の構成図と合わせて本発明によ
る文書処理装置の処理の流れを次に説明する。

【００３６】まず、書類の画像を画像入力部１０１によ
り取り込む（ステップＳＴ２０１）。すなわち、スキャ
ナ等の画像入力装置を利用して書類から画像を読み取
り、画像入力部１０１により画像データに変換してか
ら、入力画像格納部１０２に入力画像データとして一時
的に記憶しておく。

【００３７】次いで、入力された画像データに対して
（入力画像格納部１０２に一時的に記憶された入力画像
データに対して）領域抽出部１０３は、文字や図形等が
物理的にあるいは論理的に連結されている単位を一つの
領域として抽出する（ステップＳＴ２０２）。なお、領
域抽出部１０３での具体的な処理の内容の詳細は、図３
を参照して後述する。

【００３８】次に、この領域抽出部１０３で抽出された
領域に対して領域識別部１０４が、個々にその領域の画
像上の位置、大きさ、形状、構造、濃度分布等の特徴量
を計測し、予め定められたルールに従って領域の種類、
あるいは、文書上の重要度を識別する（ステップＳＴ２
０３）。

【００３９】抽出された全ての領域に対して識別処理が
終了すると（ステップＳＴ２０４）、これら識別された
領域情報を、モニタディスプレイ等の表示手段である領
域識別結果表示部１０５に表示する（ステップＳＴ２０
５）。

【００４０】ユーザはこれを参照して領域情報の編集作
業を行なう（ステップＳＴ２０６）。そして、ユーザの
領域情報の編集作業（ステップＳＴ２０６）に対して、
領域情報を更新し（ステップＳＴ２０７）、その更新に
従って領域情報の表示も変更する（ステップＳＴ２０
５）。この手順はユーザの修正作業が終了するまで繰り
返し行われる（ステップＳＴ２０８）。

【００４１】ユーザの修正作業が終了すると出力画像生
成部１０７において、出力画像生成が行なわれる（ステ
ップＳＴ２０９）。すなわち、編集後に、出力画像生成
部１０７において、修正が行われたなら修正された領域
情報を用いて、また、修正が行われなかったなら識別さ
れた領域情報を用いて、入力画像格納部１０２に記憶さ
れている画像に変更を加えて出力画像を生成する。

【００４２】最後に、画像出力部１０９において、生成
された出力画像をプリンタや外部記憶装置等に出力し
（ＳＴ２１０）、一連の処理が終了する。

【００４３】以上が本発明のシステムの大まかな処理動
作である。つぎに個々の要素の処理の詳細を説明する。

【００４４】［領域抽出部１０３の処理の詳細］図３は
本発明の文書処理装置の領域抽出部１０３における一例
としての領域抽出処理の詳細を示すフローチャートであ
り、領域抽出処理図２に示したステップＳＴ２０２で行
われる処理のフローチャートである。

【００４５】領域抽出処理を実施するために領域抽出部
１０３は、まず、入力された画像データ１３１（入力画
像格納部１０２にある１画面分（１頁分）の画像デー
タ）の全画素について２値化処理を行なう（ステップＳ
Ｔ３０１）。たとえば、２値化の閾値をＴと予め設定し
ておき、この閾値Ｔ以下の画素値を持っている画素を
“１”、それ以外を“０”とする処理を行なう。すなわ
ち、文書画像上の黒っぽいところを“１”とし、それ以
外を“０”とする処理を行なう。

【００４６】次に、２値化処理後の画素値が“１”であ
る画素に対してラベリング処理を行う（ステップＳＴ３
０２）。この処理は画素値“１”の画素が互いに隣り合
っている、あるいは、連結している画素を一纏まりにす
る処理であり、その纏まり（連結成分と呼ぶ）毎に違う
値を持つように画素値を変換する。この処理は例えば、
文献“長谷川純一他共著「画像処理の基本技法＜技法入
門編＞」 技術評論社刊、１９８６，(pp.47〜49) ”に
示されている如き手法を用いることにより行える。

【００４７】次いで、このラベリングされた画像に対し
て、２個以上の連結成分をさらに連結し、ひとつの連結
成分として融合する連結処理を行う（ステップＳＴ３０
３）。

【００４８】連結の方法は例えば次のようにする。

【００４９】まず、抽出された連結成分から任意の２個
を取り出し、それらの間の距離を計測する。２つの連結
成分間の距離は画素間の最小距離とする。そして、この
計測された距離が予め設定された閾値Ｄよりも小さい場
合に、１つの連結成分として連結する。

【００５０】領域抽出部１０３は以上の処理により、抽
出された連結成分の一つ一つを領域として出力し、領域
データ１３２とする。この領域データ１３２は領域識別
部１０４に渡されて領域識別の処理がなされることにな
る。

【００５１】以上が領域抽出部１０３の処理の詳細であ
る。次に領域識別部１０４の処理の詳細を説明する。

【００５２】［領域識別部１０４の処理の詳細］図４は
本発明の文書処理装置における領域識別部１０４での処
理である領域識別処理の詳細を示すフローチャートであ
り、図２における領域識別処理ステップＳＴ２０３での
処理の中身を示すフローチャートである。

【００５３】領域抽出部１０３から領域データ１３２を
受け取ると領域識別部１０４では、まず、この抽出され
た全領域データ１３２のそれぞれに対して特徴量を計測
する処理を行なう（ステップＳＴ４０１）。

【００５４】この特徴量の計測は、“画像上の位置”、
“領域の大きさ”、“領域の形状”、“領域の構造”、
“領域の濃度分布”のうち少なくとも１つである。これ
らの特徴量の計測方法の例を簡単に説明する。

【００５５】“画像上の位置”は、個々の領域の中心位
置あるいは重心の計測によって求める。どちらも縦横の
方向の座標値によって与えることができる。

【００５６】“領域の大きさ”は、縦横両方向の幅を計
測することで求める。そして、縦横の幅を掛合わせるこ
とで大きさが求まる。縦方向の幅は、領域内で最も上に
位置する画素の座標と最も下に位置する画素の座標との
差によって求める。また、横方向の幅は、領域内で最も
左に位置する画素の座標と最も右に位置する画素の座標
との差によって求める。

【００５７】“領域の形状”は、例えば縦方向の幅と横
方向の幅の割合によって求めることができる。これによ
り、縦長の領域あるいは横長の領域、正方形に近い領域
などの特徴が得られる。

【００５８】“領域の構造”は、縦横両方向の射影（プ
ロジェクション）を計測することにより求めることがで
きる。

【００５９】“領域の濃度分布”は、領域内の画素の濃
度値ヒストグラムをとることによって計測する。この場
合は２値化前の画像データを参照して計測する。

【００６０】以上の処理手法で特徴量を計測することが
できる。

【００６１】特徴量の計測が終了したら、次に予め設定
しておいたルールを適応して“文字領域”、“タイトル
領域”、“下線領域”、“表領域”、“線図領域”、
“写真領域”、“グラフ領域”などの如き各種領域の種
類のうちのいずれの種類であるかを判定する（ステップ
ＳＴ４０２，ＳＴ４０３）。

【００６２】この処理は例えば、図５に示されるような
ルールを設定しておき、これを参照して各領域の種類を
決定する。図５においてはルールのセット２０１は各領
域の種類毎に“位置”、“大きさ”、“形状”、“構
造”、“濃度分布”などの特徴量の範囲あるいは値が設
定されており、ここでは“文字領域”のルール２０２、
“タイトル領域”のルール２０３、“下線領域”のルー
ル２０４、“表領域”のルール２０５、“線図領域”の
ルール２０６、“写真領域”のルール２０７、“グラフ
領域”のルール２０８が登録されている。

【００６３】これに他の領域のルールを加えることがで
きる。また、登録済みの領域でも２個以上のルールによ
って領域の種類を決定することもできる。なお、図５に
おいて「−」であらわされている項は特徴量計測の結果
を問わない部分である。例えば、“文字領域”を決定す
るルール２０２は、“画像上の位置”、“形状”、“濃
度分布”に関してはどんな値をとっても構わないが、
“大きさ”については縦方向の幅がＡよりも大きく、Ｂ
よりも小さく、構造は均等である”という条件を満たし
ていれば、これは「“文字領域”である」、ということ
を意味する。

【００６４】図５における各特徴量の値について簡単に
説明しておく。

【００６５】まず、“位置”において「上部」は“画像
のＴ％よりも上にある”場合をいう。Ｔは設定値であ
り、たとえば２０％と設定する。「内部」は“画像のふ
ちにない”ことをいう。“ふち”とは、ある設定値Ｕを
定めたとき、画像の隅からＵ％以内の範囲をいう。設定
値Ｕはたとえば１０％と設定しておくが、画像データ上
の濃い画素の分布を射影（プロジェクション）の計測に
より求め、Ｕの値を文書（書面）毎に変化させても良
い。

【００６６】“大きさ”においては、図５では縦方向の
幅ｙのみを指定しているが、横方向の幅ｘを同時に設定
することもできる。文書画像のサイズから設定値Ａ，
Ｂ，Ｃ，Ｄ，Ｅが自動で求まるようにする。それぞれの
設定値は画素数で評価する。

【００６７】形状において、「横長」は“横方向の幅が
縦方向の幅のＶ倍よりも大きい”場合をいう。例えば、
設定値Ｖを“２”としておく。同様に「縦長」を定義で
きる。このとき、Ｖ≧１である。

【００６８】「方形」は“横長でもなく、縦長でもな
い”状態をいう。すなわち、横方向の幅が縦方向の幅の
Ｖ倍以下であり、かつ、１／Ｖ倍以上である場合をい
う。

【００６９】構造において、「均等」は“射影がほぼ均
等である”状態をいう。「変化等間隔」は“射影に際立
った変化があるもので、細いピークがある間隔毎にあ
る”状態をいう。「変化大」は“射影に際立った変化が
あるもので、非常に細いピークがある”状態をいう。
「変化あり」は“射影に際立った変化があるもので、ピ
ークに特徴がない”状態をいう。

【００７０】濃度分布において、「濃淡」は“濃淡の変
化がある”状態であり、「なし」は“濃淡の変化がな
い”状態である。

【００７１】以上により、各領域毎に計測された特徴量
から各領域の種類を識別することができるが、予め設定
されているルール２０１により識別できなかった領域を
“雑音領域”とすることもできる。

【００７２】また、識別された領域の種類により、各領
域の文書での“重要度”を点数化することができる（ス
テップＳＴ４０４）。たとえば“文字領域”であれば重
要度は“８”、“タイトル領域”であれば重要度は“１
０”、“下線・線領域”であれば重要度は“５”といっ
た具合に目的対応に適宜設定ができる。ここで重要度は
点数が高いほど重要であるとする。同じ種類の領域であ
ると判断されても、領域の大きさなどの特徴量で重要度
を変化させることもルールを増やすことによって可能で
ある。

【００７３】特に図５のルールに示されなかった“雑音
領域”については、重要度を低い点数に割り当てること
ができ、領域が持つ特徴量によりその点数を“０”〜
“４”程度に広がりを持たせることができる。たとえば
画像の位置が隅にあるものは重要度“１”、大きさがか
なり小さいものは重要度“０”というように設定ができ
る。この設定も図５でのルールと同様なルールを設定し
ておくことにより実現できる。

【００７４】以上により、領域情報データ１３３として
領域の特徴量に加えて領域の種類と領域の重要度を求め
ることができる。例えば、識別された領域情報は図６の
ようなテーブル２５１を用意しておき、領域の特徴量
（図６では縦横の位置、大きさのみであるが計測された
特徴量すべて）とともに、識別された領域の種類と重要
度を管理しておくことができる。

【００７５】以上が領域識別部１０４の処理の詳細であ
る。次に領域識別結果表示部１０５の処理の詳細を説明
する。

【００７６】［領域識別結果表示部１０５の処理の詳
細］図７は本発明の文書処理装置に入力される一例とし
ての文書画像の例である。ここでは文書画像５０１とし
てアンダーラインが引かれた文書タイトルと文章部分、
図表とが描かれているものを示してある。

【００７７】このような文書画像５０１を画像入力部１
０１より取り込み、入力画像格納部１０２に一時保持さ
せたとし、そして、領域抽出部１０３にてこれについて
領域抽出したとする。その結果は、例えば図８の如きと
なり、このような領域抽出して得られた画像がディスプ
レイの画面に出力されて表示されることになる。

【００７８】すなわち、図８は本発明の文書処理装置に
おける領域識別結果表示部１０５で領域情報表示処理
（図２の領域情報表示処理ステップＳＴ２０５での処
理）された内容によってＣＲＴや液晶表示板等のディス
プレイの画面に出力される領域情報５０１ａであり、領
域別に区切られた画像が画面表示される。

【００７９】すなわち、図７に示される文書画像５０１
が入力され、これが領域抽出処理において、図８に示す
ように５０２から５０６までの５つの領域が存在すると
認識されたとする。このとき、領域識別結果表示部１０
５ではそれぞれの領域を矩形枠で囲んだ形でディスプレ
イに画像を表示させる。この表示は図６に示すような認
識された領域情報が格納されているテーブルを参照して
行われる。

【００８０】このとき、領域識別結果表示部１０５では
重要度が“３”以下のものは領域情報を表示させない等
の設定が可能であり、また、このとき領域を示す矩形枠
の情報のみを表示したり、矩形枠の情報と一緒に入力画
像情報（文書画像５０１）を重ねて図８のように表示す
ることもできる。

【００８１】また、領域識別結果表示部１０５では設定
により、矩形枠の表示は行わないで、画像情報（文書画
像５０１）そのものを領域毎に異なる色で着色表示する
ようにすることもでき、このようにすることにより、領
域情報を色分け表示することもできる構成である。

【００８２】ここで、矩形枠の表示あるいは画像情報の
色分け表示において、領域の種類によって色分けを行う
ようにすれば、領域の種類の情報を言葉で表示せずと
も、領域の種類情報をユーザに知らせることができる利
点がある。

【００８３】例えば、“タイトル領域”の表示色は赤、
“テキスト領域”の表示色は緑、“線図領域”の表示色
は青、“ページ番号領域”の表示色は紫と設定した場合
において、領域５０２はタイトル、領域５０３はテキス
ト、領域５０４はテキスト、領域５０５は線図、領域５
０６はページ番号と識別されていたとすると、領域５０
２から５０６までの矩形枠あるいは画像情報の色をそれ
ぞれ赤、緑、緑、青、紫などなり、これらの色から領域
の種別をユーザは認識可能となる。

【００８４】以上が領域識別結果表示部１０５の処理の
詳細である。次に領域編集部１０６における領域情報編
集処理の詳細を説明する。

【００８５】［領域編集部１０６における領域情報編集
処理の詳細］図９、図１０は本発明の文書処理装置の領
域編集部１０６での領域情報編集処理の内容を示してお
り、図２のステップＳＴ２０６において行われる領域情
報の編集処理の状況の説明図である。

【００８６】領域編集部１０６はライトペンやマウスな
どのポインティングデバイスによりユーザがディスプレ
イの画面上で指示する領域を、これもまたユーザの指示
する“領域削除”、“領域統合”、“領域分割”、“領
域種別変更”の指令に応じて“領域削除”、“領域統
合”、“領域分割”、“領域種別変更”などの編集作業
を実施する。

【００８７】すなわち、ユーザはディスプレイの画面に
表示された図８に示される如き画面５０１ａを見ながら
上述の如きポインティングデバイス等を使用して、領域
の位置を指定する。そして、指定した領域に対して削除
や分割や統合、あるいは、領域の種類の変更等の作業内
容を指示することで、その指定した領域に対する削除や
領域の分割や統合、あるいは、領域の種類の変更をはじ
めとして、表示されている領域情報を様々に編集するこ
とができる。

【００８８】例えば、図９は領域情報５０１ａに対して
ページ番号の領域５０６を指定し、削除する編集処理を
実行することにより得られた結果としての編集済み表示
画面５０１ｂである。また、図１０は領域情報５０１ａ
に対してタイトルの領域５０２を指定し、タイトルの文
字部分の領域５０２ａと下線部分の領域５０２ｂに領域
分割する編集処理を実行することにより得られた結果と
しての編集済み表示画面５０１ｃである。

【００８９】実際には図６に示すような領域情報が格納
されているテーブルを書き換えることにより、編集が行
われる。例えば、領域の削除の編集処理では該当する領
域の重要度をより低く設定することで行われる。分割で
はひとつの領域情報が２つの領域情報として分割され
る。統合では２つ以上の領域情報が１つの領域情報とし
てまとめられる。領域の種類の変更では該当する領域の
種類の項が変更される。その他、領域の位置、大きさの
変更なども同様に行わうことができる。

【００９０】このような機能を実施することで、領域編
集部１０６は領域情報編集処理を実現する。

【００９１】図１１は本発明の一例としての文書処理装
置の領域編集部１０６での領域情報編集処理（図２のス
テップＳＴ２０６での処理）を行うためのユーザインタ
フェースの例である。

【００９２】文書処理装置にはユーザが装置を操作する
ための操作パネルがあるが、この操作パネルに領域情報
編集処理のためのユーザインタフェースが取り付けられ
る。すなわち、図１１において３０１は操作パネルであ
り、ディスプレイとしての液晶表示部３０２と各種操作
キー３０４〜３０８が設けられており、さらに操作パネ
ル３０１にはペン入力デバイス３０３が設けられてい
る。

【００９３】すなわち、このユーザインタフェースは文
書処理装置の操作パネル３０１の一部に付けられたもの
で、液晶表示部３０２にペン入力デバイス３０３、数個
のボタン３０４〜３０８が用意された構成となってお
り、そして、液晶表示部３０２には、領域識別結果表示
部１０５における領域識別結果表示処理（図２でのＳＴ
２０５の処理）での表示機能との絡みで、領域情報が表
示され、編集結果が表示される構成である。ボタン３０
４〜３０８は液晶表示部３０２内に仮想的に作成するこ
ともできる。この場合はペン入力デバイス３０３により
操作することになる。

【００９４】このような構成において、ユーザはボタン
３０４〜３０６を押すことによって編集機能を選択する
ことができる。そして、例えば、削除ボタン３０４が押
された状態では、ボタン３０４にランプがついて現在、
削除モードであることがわかるようになっている。この
削除モードにおいて、ユーザが液晶表示部３０２に表示
されている領域情報のうちの１つをペン入力デバイス３
０３で指定することによって、図９で説明したような削
除処理を領域編集部１０６が行うことになり、ユーザは
所望のように削除処理をすることができる。

【００９５】この削除モードは、他のボタンが押される
まで継続される。分割ボタン３０５が押されると、領域
の分割モードに切り替わり、領域編集部１０６は領域分
割処理をするモードになる。このモード時では指定され
た領域は分割処理が行われることになるので、ユーザの
所望のように指定領域を分割することができる。

【００９６】この分割処理はその対象領域に対して図３
におけるラベリング処理（ステップＳＴ３０２）、連結
処理（ステップＳＴ３０３）を再度行うものである。こ
のとき、連結処理（ステップＳＴ３０３）において連結
させる距離を小さくして領域統合を行うことにより、結
果的に領域を分離させることができる。

【００９７】また、統合ボタン３０６が押されると複数
領域の統合モードに切り替わり、領域編集部１０６はユ
ーザの指定した複数領域を統合する。つまり、統合モー
ドにおいては、ユーザがペン入力デバイス３０３で指定
した領域をすべて一つの領域に統合するように処理す
る。領域統合は統合モードを解除するまで続けられる。
終了ボタン３０７と取消ボタン３０８は特殊機能であっ
て、編集終了後は終了ボタン３０７を押すことによって
編集処理を終えることができる。また、操作を誤った場
合は取消ボタン３０８を押すことによって既に行われた
編集処理を無効にすることができる。

【００９８】以上により、入力された文書画像に対し
て、入力画像に含まれる領域情報を自動的に識別し、そ
れをユーザに提示することで編集を容易にし、また、編
集を可能にすることで自動識別が失敗した場合において
もそれを容易に修正することが可能となる。

【００９９】次に出力画像生成処理を説明する。

【０１００】［出力画像生成部１０７での処理の詳細］
図１２は本発明の１例としての文書処理装置の出力画像
生成部１０７の出力画像生成処理を示すフローチャート
であり、図２のステップＳＴ２０９で行われる処理の詳
細を示すフローチャートである。このフローチャートに
沿って説明する。

【０１０１】出力画像生成処理においては、出力画像生
成部１０７はまず、入力画像格納部１０２に保存されて
いる入力画像のサイズ、解像度などの情報を読み込む
（ステップＳＴ５０１）。この情報に応じて出力画像格
納部１０８に出力画像用のエリアを割り当てる（ステッ
プＳＴ５０２）。ついで、図６に示すような領域情報を
読み込んで（ステップＳＴ５０３）、領域毎に入力画像
から出力画像へ画像データの複写を行い、これをすべて
の領域の処理が終了するまで続ける（ステップＳＴ５０
４）。

【０１０２】画像データの転送は次のように行われる。

【０１０３】まず、入力画像格納部１０２から領域の範
囲に位置する入力画像データを読み込んでくる（ステッ
プＳＴ５０５）。次にこの画像データに対して２値化な
どの濃度変換処理を行って（ステップＳＴ５０６）、出
力画像データとして出力画像格納部１０８に処理済みデ
ータ書き込む（ステップＳＴ５０７）。濃度変換処理
（ステップＳＴ５０６）は該当する領域の種類、重要度
によって濃度の変換値を変化させて実施することができ
る。例えば重要度の情報を利用して、重要度“５”以下
は濃度値を“０”として出力したり、といった具合であ
る。

【０１０４】また、該当する領域の種類によって、濃度
変換の手法を変えることができる。例えば、テキストや
タイトルの領域では２値化を行ない、写真領域では濃淡
レベルのまま出力し、また、出力画像を濃淡レベルで出
力する場合では重要度が低いとき、出力される濃度が薄
くなるように濃度変換を加えるといった具合であり、設
定により、このような様々な濃度変換をすることが可能
である。

【０１０５】なお、この出力画像生成処理（ステップＳ
Ｔ２０９）では、入力画像格納部１０２と出力画像格納
部１０８を別々のエリアとして説明しているが、これを
同じエリアに割り当てておいても良い。この場合、出力
画像エリアの割り当て処理（ステップＳＴ５０２）は省
略できる。また、濃度変換処理（ステップＳＴ５０６）
で変換が不要な領域についてはデータの読み込み処理
（ステップＳＴ５０５）およびデータの書き込み処理
（ステップＳＴ５０７）が省略できる。

【０１０６】このように、本システムは、書類の画像を
画像入力部１０１により取り込み、これを入力画像格納
部１０２に入力画像データとして一時的に記憶し、次い
で、この一時記憶された画像データに対してデータの状
況から領域抽出部１０３により文字や図形等が物理的に
あるいは論理的に連結されている単位を一つの領域とし
て抽出し、次に、この抽出された領域に対して領域識別
部１０４が、個々にその領域の画像上の位置、大きさ、
形状、構造、濃度分布等の特徴量を計測し、その計測結
果を、予め定められたルールに基づいて識別することに
より、各領域の種類、あるいは、文書上の重要度を識別
する。

【０１０７】そして、これら識別された領域情報を、モ
ニタディスプレイ等の表示手段である領域識別結果表示
部１０５に表示し、編集モードにすることで領域編集部
１０６によりユーザは前記表示内容を参照しながら領域
情報の編集作業を行なうことでユーザの思うように領域
情報の編集を行なうことができ、その編集の結果を画像
データとして出力するようにしたものである。

【０１０８】このように本発明システムにより、入力さ
れた文書画像に対して、入力画像に含まれるタイトル領
域、文章領域、図表領域、頁領域、写真領域などの如き
種別の異なる画像要素を区別して領域として抽出し、そ
れぞれの領域に対して予め設定したルールに従い、文書
としての重要度を識別し、あるいはその結果を修正する
ことにより、例えば、文書中のテキストや図表といった
必要な領域のみを残し、書き込みやノイズといった必要
でない領域を削って出力するなど、必要な部分と不必要
な部分を適確に分離して扱うことが可能となる。

【０１０９】従って、文書画像のデータのファイリング
や、ハードコピーなどを行なうにあたっても、ユーザの
思うように編集したり、調整したりして最終利用に供す
ることができるようになり、新しい利用分野、応用分野
を開拓できることになる。

【０１１０】以上は文書画像のデータの取り込み、領域
抽出、領域の識別、編集、最終画像の出力といった構成
として、ハードコピー出力装置や画像ファイリング装置
のインタフェース等に適用するに最適な基本構成として
のシステム構成例を説明した。

【０１１１】次に文書画像のデータの取り込み、領域抽
出、領域の識別、編集、最終出力画像の蓄積といった機
能を持たせ画像ファイリングシステムとしての具体的な
適用例を説明する。

【０１１２】（より具体的な実施の態様２）図１３は本
発明の第２の実施の態様に係わる文書処理装置の構成図
である。

【０１１３】この図において出力画像データをファイル
として蓄積する画像ファイリングシステムについて説明
する。この例は基本的には図１の構成に、さらに画像蓄
積部１１０を付加したものである。

【０１１４】図１３に示すように、本装置は画像入力部
１０１、入力画像格納部１０２、領域抽出部１０３、領
域識別部１０４、領域識別結果表示部１０５、領域編集
部１０６、出力画像生成部１０７、出力画像格納部１０
８、画像出力部１０９、画像蓄積部１１０から構成され
る。

【０１１５】画像入力部１０１はスキャナ等の画像入力
装置により、与えられた文書等の書類から画像を読み取
るものである。入力画像格納部１０２は、画像入力部１
０１で読み取られた画像データを一時的に記憶するため
に格納しておくものである。

【０１１６】領域抽出部１０３は、入力画像格納部１０
２に格納された画像データに対して、文字や図形等が物
理的に、あるいは論理的に連結されている各領域に分割
して抽出するものである。

【０１１７】領域識別部１０４は、領域抽出部１０３に
おいて抽出された領域に対して、その領域の位置、大き
さ、形状等の特徴を計測して、領域の種類あるいは重要
度を識別するものである。

【０１１８】領域識別結果表示部１０５は、入力画像格
納部１０２に格納されている画像データに、領域識別部
１０４において識別された領域の識別情報を重ねて、表
示するものである。

【０１１９】領域の位置、大きさ、形状等の特徴を計測
して、領域の種類あるいは重要度を識別するものであ
る。

【０１２０】領域識別結果表示部１０５は、入力画像格
納部１０２に格納されている画像データに、領域識別部
１０４において識別された領域の識別情報を重ねて、表
示するものであり、領域編集部１０６は、領域識別結果
表示部１０５に表示された領域情報を編集および修正す
るためのユーザインタフェースである。

【０１２１】出力画像生成部１０７は、領域識別部１０
４において識別された領域情報あるいは領域編集部１０
６において編集された領域情報を用いて、入力画像格納
部１０２に記憶されている画像に変更を加えて出力画像
を生成するものである。また、出力画像格納部１０８
は、出力画像生成部１０７において生成された出力画像
を一時的に保存しておくものである。画像出力部１０９
は、出力画像格納部１０８において格納されている出力
画像を画像蓄積部１１０に出力するものである。

【０１２２】画像蓄積部１１０は、画像出力部１０９に
おいて出力された画像データをファイルとして蓄積して
おくものであり、これが画像ファイリング装置として新
たに加わった要素である。

【０１２３】このような構成において、画像入力部１０
１、入力画像格納部１０２、領域抽出部１０３、領域識
別部１０４、領域識別結果表示部１０５、領域編集部１
０６、出力画像生成部１０７、出力画像格納部１０８、
画像出力部１０９での作用は、より具体的な実施の態様
１のところで説明したものと変わりはない。

【０１２４】従って、その処理の詳細は先の説明を参照
することとし、ここでは異なる部分のみ説明する。但
し、ここで説明する例においては、出力画像生成部１０
７における処理機能として、領域毎にファイルを分割し
て保存できる機能を設けるようにして良い。

【０１２５】図１４は本発明の具体的な実施の態様２に
係わる文書処理装置の出力画像生成部１０７における出
力画像生成処理（図２のステップＳＴ２０９での処理）
での具体的手順を示す処理フローである。

【０１２６】このフローチャートを参照して説明する
と、出力画像生成部１０７ではまず、図６に示すような
領域情報を読み込む（ステップＳＴ６０１）。そして、
読み込んだ領域の数だけ出力画像データを生成する。全
ての領域について画像データの生成が終了したならば
（ステップＳＴ６０２）、出力画像生成処理（ＳＴ２０
９）を終了する。

【０１２７】［各出力画像データの生成］各出力画像デ
ータの生成は次のように行われる。

【０１２８】まず、該当する領域の出力画像への生成が
必要であるかを検査する（ステップＳＴ６０３）。ここ
では領域の重要度の情報より、例えば領域の重要度が
“３”未満であれば“生成必要なし”とし、重要度
“３”以上の領域のみについて出力画像を生成する（ス
テップＳＴ６０４）。

【０１２９】このようにして領域の重要度の情報より
“生成必要あり”と判断された領域に対して出力画像デ
ータの生成を行う。

【０１３０】次に、該当する領域のサイズに基づいて出
力画像格納部１０８に出力画像エリアの割り当てを行う
（ステップＳＴ６０３）。次に、入力画像格納部１０２
から領域の範囲に位置する入力画像データを読み込んで
くる（ステップＳＴ６０４）。この画像データに対して
出力画像エリアに収まるように座標変換を行った上で
（ステップＳＴ６０５）、２値化などの濃度変換を行っ
て（ステップＳＴ６０６）、出力画像データとして出力
画像格納部１０８に書き込む（ステップＳＴ６０７）。

【０１３１】ここで、それぞれの出力画像データに図６
で示したような領域情報の一部あるいは全部と、どの入
力画像から得られた画像データであるかを示す情報から
なる属性とを設定しておく（ステップＳＴ６０８）。座
標変換処理（ステップＳＴ６０５）あるいは濃度変換処
理（ステップＳＴ６０６）は該当する領域の種類、重要
度によって変化させて行うことができ、例えば、重要度
を利用して、重要度“５”以下はサイズを縮小して出力
画像データを生成するようにしたりする。

【０１３２】また、該当する領域の種類によって、濃度
変換の手法を変えることができる。例えば、テキストや
タイトルの領域では２値化を行うようにしたり、写真領
域では濃淡のまま出力するようにしたり、出力画像を濃
淡レベルで出力する場合では重要度が低いとき、出力さ
れる濃度が薄くなるように濃度変換を加えるようにした
りする等が可能である。

【０１３３】図１５は、図１４に示される処理手順によ
って、図７に示される文書画像データ５０１を図９に示
される領域情報５０１ｂを使って処理した結果、得られ
た出力画像群５０２〜５０５を示した図である。

【０１３４】図１５（ａ）〜（ｄ）に示すように、これ
らの出力画像群５０２〜５０５は、画像出力部１０９に
よる画像出力処理（ステップＳＴ２１０）によってプリ
ンタなどの画像出力装置あるいはハードディスクなどの
画像蓄積装置１１０に出力されることになる。

【０１３５】以上、説明したように本発明のより具体的
な実施の態様２の例の構成により、入力された文書画像
に対して、入力画像に含まれる要素を領域として抽出
し、それぞれの領域に対して文書としての重要度を識別
あるいは修正することにより、必要な部分のみを要素毎
に独立のデータとして保存しておくことができる。これ
により保存したデータを別の文書の作成時に再利用する
ことができる。同時に、必要な部分のみを保存しておく
ため、保存領域の節約にも効果をあげることができる。

【０１３６】要するに、ここに示した１例としての本シ
ステムは、書類の画像を画像入力部１０１により取り込
み、これを入力画像格納部１０２に入力画像データとし
て一時的に記憶し、次いで、この一時記憶された画像デ
ータに対してデータの状況から領域抽出部１０３により
文字や図形等が物理的にあるいは論理的に連結されてい
る単位を一つの領域として抽出し、次に、この抽出され
た領域に対して領域識別部１０４が、個々にその領域の
画像上の位置、大きさ、形状、構造、濃度分布等の特徴
量を計測し、その計測結果を、予め定められたルールに
基づいて識別することにより、各領域の種類、あるい
は、文書上の重要度を識別し、そして、これら識別され
た領域情報を、モニタディスプレイ等の表示手段である
領域識別結果表示部１０５に表示し、編集モードにする
ことで領域編集部１０６によりユーザは前記表示内容を
参照しながら領域情報の編集作業を行なうことでユーザ
の思うように領域情報の編集して各領域の画像を更新す
ることができるようにし、その編集の結果の更新画像を
含め、書類の入力画像を領域別の画像データとして分け
て出力し、画像蓄積部１１０に別々にファイルすること
ができるようにしたものである。

【０１３７】このように本発明システムにより、入力さ
れた文書画像に対して、入力画像に含まれるタイトル領
域、文章領域、図表領域、頁領域、写真領域などの如き
種別の異なる画像要素を区別して抽出し、これを領域別
に編集して更新することができると共に、更新結果の画
像を含め各領域の画像を分離して各別にファイルするこ
とができるようにしたことにより、文書画像のデータの
ファイリングと、後のファイルの利用の道に汎用性を持
たせることができるようになり、データベースとしての
応用が広がる。また、それぞれの領域に対して予め設定
したルールに従い、文書としての重要度を識別し、ある
いはその結果を修正することができるようにしたことに
より、必要な部分と不必要な部分を的確に分離して扱う
ことが可能となり、整理されたファイルを収集できるよ
うになる。

【０１３８】従って、文書画像のデータのファイリング
や、ハードコピーなどを行なうにあたっても、ユーザの
思うように編集したり、調整したりして最終利用に供す
ることができるようになり、新しい利用分野、応用分野
を開拓できることになる。

【０１３９】以上は文書画像のデータの取り込み、領域
抽出、領域の識別を行い、領域抽出された文書画像と識
別情報とを用いて、ユーザによる編集を行い、最終画像
の出力を得るようにするといった構成として、ハードコ
ピー出力装置や画像ファイリング装置のインタフェース
等に適用するに最適な基本構成としてのシステム構成例
を説明した。

【０１４０】しかし、文書画像によつては、ユーザによ
る編集作業を行わなくとも、領域識別の結果をもとに領
域分割、座標変換、濃度変換などのいずれかの処理を行
った後、文書画像のデータのファイリングやハードコピ
ーなどを行うことで不要な領域部分を除外して必要領域
のみを最適な状態でファイリングしたり、ハードコピー
などを行うことも可能である。

【０１４１】例えば、雑音領域と識別された領域に、雑
音成分以外の領域が接している場合、それらを分離し、
別々のものとして扱ったり、または入力画像中に含まれ
る雑音領域が大きい場合、その領域を削除し、更には必
要とされる文書領域を出力画像の大きさに合わせるなど
ということを行うことによって、出力画像の品質の向上
が見込まれ、ひいてはファイリング後のユーザによる編
集作業の軽減にもつながる。

【０１４２】これを実現する構成の−例を、より具体的
な実施の態様３として説明する。

【０１４３】（より具体的な実施の態様３）以下、本発
明の実施の態様３について、図面を参照して説明する。
この例は、文書のデータの取り込み、領域柚出、領域識
別、出力画像生成といった機能を持ち、領域識別には原
稿の縁等に現れた枠状あるいは帯状の雑音領域を認識し
て、これを他と区別する機能を持たせ、この雑音領域を
除外したものについて、出力として文書画像のハードコ
ピーやファイリングを行うものである。原稿の縁に雑音
領域が現れるケースは、例えば、原稿や本を複写機によ
りコピーして得た原稿あるいはスキャナーで読み取った
原稿が、複写機やスキャナーの用紙サイズより狭い場合
や、これらに原稿セットするに際して、位置がずれたり
した場合などにおいて、読取り領域の端に原稿の存在し
ない部分が生じてこの部分が黒やグレーの帯状あるいは
枠状の不要像として現れることがある。これは本来無用
のものであり、また、残すと見苦しいものであり、文書
画像のハードコピーを出力する場合にはトナー等の浪費
に繋がり、文書画像のファイリングにあっては、ファイ
ル容量を増やして、記憶資源の無駄使いになる。このよ
うな不都合の改善に、実施の態様３は役立つ。

【０１４４】この場合の文書処理装置の構成図は、図１
３に示したものと同じである。但し、領域識別部１０４
で識別された領域情報はユーザに表示して、編集モード
に入り、雑音領域として認識された部分の除去が指示さ
れれば、そこが除去修正された画像データを出力画像生
成部１０７において生成し、画像蓄積部１１０に保存す
るようにした画像ファイリングシステムとしてある点が
異なる。

【０１４５】そして、領域識別部１０４に持たせる知識
ベースに、黒枠雑音領域や外縁雑音領域の認識のための
知識情報を追加してある。図１６にこの例で用いる知識
ベースのルール内容を示す。図１６の例では、図５で説
明したものにさらに黒枠雑音領域２０９、外縁雑音領域
２１０の知識を付加したものである。

【０１４６】つまり、黒枠雑音領域２０９のルールにお
いては、“位置”は「内部」とする。これは、領域の中
心位置または重心が画像上において中心部付近に存在す
るとを意味する。

【０１４７】“大きさ”においては入力文書画像のサイ
ズに近い値となる。“形状”は入力文書画像のサイズに
近いので、“横長でもなく、縦長でもない”状態の「方
形」とする。“構造”においては、斜影が縦横とも両端
に際だったピークを持つので、「変化大」とする。“濃
度分布”においては、濃淡の変化がないので「なし」と
する。この条件を満たせば黒枠雑音領域である。

【０１４８】また、周辺雑音領域２１０のルールにおい
て、“位置”は原稿の端であり、“大きさ”については
横方向の場合にその幅ｘが設定値Ｗａに誤差分としてｗ
_a なるマージンを持たせた範囲内、縦方向の場合にはそ
の幅ｙが設定値Ｈａに誤差分としてｈ_a なるマージンを
持たせた範囲内の少なくともいずれかを満たし、“形
状”は不定とし、“構造”は変化ありとし、“濃度分
布”は不定として、この条件に合うものを外縁雑音領域
とする。

【０１４９】なお、図５での説明と同様に、文書画像の
サイズから設定値Ｗａ，Ｈａは自動で求まるようにす
る。

【０１５０】以下、動作の詳細を、例をあげて説明す
る。図１７は本発明の文書処理装置に入力される一例と
しての文書画像の例である。文書画像の構成は、図７に
示されているような文書画像に見出し７０３が存在し、
さらに文書領域の外側に黒枠状の雑音領域７０２が存在
し、全体として入力文書画像７０１となるようなものを
示してある。

【０１５１】この黒枠状の雑音領域７０２は、複写機等
で複写した際に生じるものであってもよい。この例の場
合、見出し部分７０３と黒枠状の雑音領城７０２は接触
しているため、領域抽出部１０３において、一つの領域
として抽出されることが予想される。そこで、このよう
な領域を領域識別部１０４における図１６に示されるよ
うなルールに予め設定しておき、他の雑音成分と分離し
ておくことが可能である。黒枠雑音領域に対する対応を
例に説明する。黒枠雑音領域の検出の具体的なルールと
しては、２０９のような設定で行える。

【０１５２】これは、領域の中心位置または重心が画像
上において中心部付近に存在するので、“位置”の条件
は「内部」であり、“大きさ”は入力文書画像のサイズ
に近い値となる。そして、“形状”は入力文書画像のサ
イズに近いので、“横長でもなく、縦長でもない”状態
の「方形」であり、“構造”は、斜影が縦横とも両端に
際だったピークを持つので、「変化大」である。また、
“濃度分布”は、濃淡の変化がないので「なし」であ
る。

【０１５３】以上のようなルールを予め設定しておき、
これに該当する領域を“黒枠雑音領域”と登録してあ
り、また、重要度は雑音領域であることから、低い値、
例えば、“１”を与えておく。

【０１５４】このようにすることで、前述の実施の態様
１や態様２における領域識別結果表示部１０５や領域編
集部１０６などにおいても、他の雑音領域と同様に扱う
ことが可能である。

【０１５５】まず、黒枠雑音領域として識別された領域
に対してのみ、縦横両方向の射影（プロジェクション）
を計測する。これは領域識別の“構造”を決める際に、
求めた射影の結果を使用してもよい。

【０１５６】図１８は、図１７に示した文書画像の例７
０１の黒枠雑音領域７０２に対してのみ、縦横両方向の
射影を計測した結果である。ドット数計数を行うことに
より得た縦横射影計測結果としてのプロファイルは、そ
れぞれ７０４、７０５に示す如きとなる。見出し部分７
０３は領域抽出部１０３の出力結果では、黒枠雑音領域
と接触しているため、黒枠雑音領域の一部として識別さ
れる。

【０１５７】そこで、領域識別部１０４において、この
射影の計測結果を利用して黒枠雑音領域７０２と見出し
部分７０３の領域分割を行う。射影７０４の結果、射影
のピーク値ｌに対し、見出し部分ではｍ、それ以外では
ｎとなったとする。また、射影７０５の結果、射影のピ
ーク値ｏに対し、見出し部分ではｐ、それ以外ではｑと
なったとする。

【０１５８】その時、ピーク値ｌに対し、（ｍ−ｎ）の
値が１／α倍以上または、ピーク値ｏに対し、（ｐ−
ｑ）の値が１／α倍以上であれば、そこに領域分割すべ
き部分が存在すると識別される。このαは入力文書のサ
イズなどから自動的に設定されてもよい。

【０１５９】次に領域分割すべき部分が存在すると識別
された場合、領域分割する位置の推定を行う。射影７０
４の位置ｇにおいて射影値が大きく変化し、さらに位置
ｈで値が変化していることから、ｇ−ｈ間を分割すべき
領域とする。また同様に、射影７０５の位置ｊにおいて
射影値が大きく変化し、さらに位置ｉで値が変化してい
ることから、ｉ−ｊ間を分割すべき領域とする。これよ
り分割領域は位置ｇ，ｈ，ｉ，ｊで囲まれた領域と推定
される。

【０１６０】従って、この領域を黒枠雑音領域７０２と
分割することで、見出し預域７０３が得られることにな
る。

【０１６１】［出力画像生成処理］次に、この具体的な
実施の態様３における出力画像生成処理について説明す
る。図１９は、文書処理装置の出力画像生成部１０７に
おける出力画像生成処理での具体的手順を示す処理フロ
ーである。

【０１６２】このフローチャートに従って説明すると、
出力画像生成部１０７ではまず、入力画像格納部１０２
の保存されている入力画像のサイズ、解像度などを読み
込む（ステップＳΤ８０１）。この情報に応じて出力画
像格納部１０８に出力画像用のエリアを割り当てる（ス
テップＳΤ８０２）。次に図６に示すような領域情報な
どを読み込む（ステップＳＴ８０３）。

【０１６３】この領域情報に“黒枠雑音領域”が含まれ
ているか検索し（ステップＳＴ８０４）、その結果、も
し存在する場合は文書領域推定処理（ステップＳΤ８０
５）行う。この文書領域推定とは、文書画像に含まれる
“黒枠雑音領域”の情報を用いて、文書画像での必要と
される領域を推定することである。

【０１６４】その後、領域毎に入力画像から出力画像へ
画像データの複写を行い、これをすべての領域の処理が
終了するまで続ける（ステップＳΤ８０６）。文書領域
の推定は次のように行われる。

【０１６５】まず、黒枠雑音領域として識別された領域
に対してのみ、縦横両方向の射影（プロジェクション）
を計測する。この射影は領域識別の“構造”を決める際
に求めたもの、または領域分割で分割位置の推定する際
に求めたものを使用してもよい。

【０１６６】図２０は、図１７に示した文書画像の例の
黒枠雑音領域７０２に対してのみ、縦横両方向の射影を
計測した結果である。なお、見出し領域７０３は、既に
分離が終了しているものとする。

【０１６７】黒枠雑音領域７０２に対してのみ射影を計
測すると、それぞれ、７０６、７０７の様な結果が得ら
れる。次に、それぞれの射影のビークを求める。ピーク
はどちらも文書領域の外側に存在するので、それぞれの
ピークの内側領域を文書領域７０８として推定する。

【０１６８】具体的には、文書領域７０８の座標値によ
って文書領域情報を管理することができる。画像データ
の転送は次のように行われる。まず、入力画像格納部１
０２から領域の範囲に位置する入力データを読み込んで
くる（ステップＳＴ８０７）。

【０１６９】次に、この画像データに対して座標変換処
理（ステップＳＴ８０８）および濃度変換処理（ＳΤ８
０９）を行う。これは、該当する領域の種類、重要度に
よって座標位置を変換したり、濃度の変換値を変化させ
る処理である。これにより、例えば、黒枠雑音領域は重
要度が低いので、濃度値を“０”にして出力するといっ
たことが行える。

【０１７０】また、文書領域推定処理（ＳＴ８０５）で
推定された文書領域を、出力画像サイズに合わせること
ができる。つまり、黒枠雑音領域は濃度変換処理（ＳＴ
８０８）で濃度値が“０”となるので、そのままの出力
では空白領域となる。

【０１７１】そこで、文書と推定された領域を出力画像
サイズに合わせる、つまり、座標変換処理（ステップＳ
Ｔ８０８）による拡大処理を行うことにより、より品質
の高い出力画像が得られる。その際、文書領域内であっ
ても、重要度が低い頒域、つまり、雑音と識別されたも
のは濃度変換により濃度値を“０”とすることができ
る。

【０１７２】逆に、出力画像サイズを文書領域推定処理
（ＳΤ８０５）で推定された文書領域の大きさに合わせ
ることも可能である。この場合、出力画像領域等のコス
トの削減につながる。

【０１７３】出力画像データ書き込み（ＳＴ８１０）以
降の処理は、前述した具体的な実施の態様１と同様であ
るので省略する。

【０１７４】図２１は、図１９に示される処理手順によ
つて、図１７に示される文書画像データ７０１を処理し
た結果、得られた出力画像を示した図である。図２１に
示す出力結果は、画像出力部１０９による画像出力装置
あるいはハードディスクなどの画像蓄積装置１１０に出
力されることになる。

【０１７５】以上、この具体例は、領域抽出手段によ
り、画像データとして読み込まれた文書画像から、関連
するひとまとまりの領域を抽出し、この領域抽出手段に
より抽出された領域をその特徴量により領域識別手段に
て分類および分割し、また、出力画像生成手段にて前記
領域識別手段の識別した結果に応じて出力画像を生成す
ると共に、この出力画像生成手段により生成された画像
を画像出力手段に出力し、また、前記画像出力手段によ
り出力された画像を画像蓄積手段に蓄積するようにした
ことを特徴とする文書処理装置である。

【０１７６】そして、このような装置構成によれば、入
力された文書画像に対して、入力画像に含まれる要素を
領域として抽出し、それぞれの領域に対して文書として
の重要度を識別し、更に黒枠雑音領域から得られる情報
を利用して、黒枠雑音領域に接触している領域を自動的
に分割し、文書領域と推定される部分を出力画像サイズ
に合わせることが可能となる。また、文書画像に現れた
枠状の雑音領域を除外することにより、ハードコピーを
出力するに当たり、トナー等の無用な消費を抑制でき、
また、ファイリングするに当たっては無用なデータを除
外できるので、その分、記憶資源の有効利用を図ること
ができるようになる。

【０１７７】従って、この構成および処理によれば、ユ
ーザによる編集作業を行わなくとも、雑音成分と接触し
ている雑音成分以外の領域を分割し、さらに雑音領域を
消し、無駄の少ない出力画像が得られる。

【０１７８】以上は文書画像のデータの取り込み、領域
抽出、領域の識別、編集、最終画像の出力といった構成
として、ハードコピー出力装置や画像ファイリング装置
のインタフェース等に適用するに最適な基本構成として
のシステム構成例を説明した。

【０１７９】しかし、ユーザによる編集や調整は、時と
して煩わしいものであり、これらの機能を付加しなくと
も文書画像のデータのファイリングや、ハードコピーな
どを行なうことは可能である。その構成を次により具体
的な実施の態様４として説明する。

【０１８０】（より具体的な実施の態様４）以下、本発
明のより具体的な実施の態様４について、図面を参照し
て説明する。この例は、文書画像のデータの取り込み、
領域抽出、領域の識別、編集、最終出力画像の蓄積とい
った機能を持たせ画像ファイリングシステムとしての具
体的な適用例を説明する。

【０１８１】図２２は本発明の実施の態様４としての文
書処理装置の構成図である。

【０１８２】基本的構成としては図１３で示した文書処
理装置とほとんど同じであるが、図２２では領域識別部
１０４で識別された領域情報をユーザに表示せずに、か
つ、修正されることなく、画像蓄積部１１０に保存する
画像データを出力画像生成部１０７において生成する画
像ファイリングシステムとしてある点が異なる。

【０１８３】従って、この構成によれば、領域編集を行
なうことなく画像データを画像蓄積部１１０に保存す
る。故に簡易なる構成で領域別画像データをファイリン
グすることができるシステムが得られる。

【０１８４】以上の各例は文書画像のデータの取り込
み、領域抽出、領域の識別、最終画像の出力、ファイル
の蓄積、あるいは編集機能、といった構成要素を備え
て、ハードコピー出力装置や画像ファイリング装置とし
てのシステム構成例を説明した。

【０１８５】しかし、システムとして纏まっていなくと
も、各機能要素をコンピュータネットワークに接続して
最終的に文書画像のデータのファイリングやハードコピ
ーなどを行なうことを可能することもできる。その構成
をつぎに説明する。

【０１８６】（より具体的な実施の態様５）図２３は本
発明の実施の態様５に係わる文書処理装置の構成図であ
る。この例は、文書画像のデータの取り込みと領域抽出
及び領域の識別部分、編集機能部分、最終出力画像の蓄
積部分といった機能要素をそれぞれ別個の端末装置と
し、コンピュータネットワークに接続して画像ファイリ
ングシステムとしての利用をネットワーク接続端末のユ
ーザで共有できるようにした構成である。

【０１８７】この例の構成も、図１３で示した文書処理
装置とほとんど同じであるが、図２３では領域識別部１
０４で識別された領域情報をユーザに表示せずに、か
つ、修正されることなく、画像蓄積部１１０に保存する
画像データを出力画像生成部１０７において生成するよ
うにした画像ファイリングシステムとしてある。

【０１８８】図２３に示す文書処理装置は、画像入力部
１０１、入力画像格納部１０２、領域抽出部１０３、領
域識別部１０４、出力画像生成部１０７、出力画像格納
部１０８、画像出力部１０９からなる画像取り込み装置
１１２と、領域識別結果表示部１０５、領域編集部１０
６からなる端末装置１１３と、画像蓄積部からなるファ
イリング装置１１４の３つの装置からなり、それぞれを
ネットワーク１１５で接続されている。

【０１８９】この構成の場合、画像入力から領域抽出、
領域識別、出力画像生成、画像出力までの各処理はネッ
トワーク１１５に接続された画像取り込み装置１１２に
よって行なわれる。そして領域識別部１０４による領域
識別の結果と画像出力部１０９による画像出力はネット
ワーク１１５に対してなされる。

【０１９０】また、ネットワーク１１５にはファイリン
グ装置１１４が接続されており、ファイリング装置１１
４はこのネットワーク１１５に出力された画像出力部１
０９からの画像出力を取り込んで領域別に画像ファイル
として蓄積する。

【０１９１】また、ネットワーク１１５には領域識別結
果表示部１０５と領域編集部１０６からなる端末装置１
１３が接続されており、端末装置１１３はネットワーク
１１５を介して領域識別の結果と、画像出力部１０９に
よる画像出力を受取り、領域識別の結果を表示して、こ
れに対して前述の如き領域編集の作業を施して所望の画
像ファイルに編集することができる。

【０１９２】また、ネットワーク１１５に対しては端末
装置として各種のインテリジェント端末を接続して利用
できるので、ファイリング装置１１４の画像ファイル検
索や、それを取り込んでの文書作成への利用など、ネッ
トワーク接続端末ユーザの様々な応用のみちが拓ける。

【０１９３】（より具体的な実施の態様６）図２４は本
発明の実施の態様６に係わる文書処理装置の構成図であ
る。

【０１９４】この例においては、画像の類似性を計測す
るようにし、蓄積してあるファイルと類似性の高いもの
は除外するようにして、ファイルを重複して保存するこ
とのないようにした装置を説明する。ここでは例えば、
既に画像蓄積されている画像と同じ画像は出力しないよ
うにした画像ファイリングシステムについて説明する。

【０１９５】図２４において、１０１は画像入力部、１
０２は入力画像格納部、１０３は領域抽出部、１０４は
領域識別部、１０５は領域識別結果表示部、１０６は領
域編集部、１０７は出力画像生成部、１０８は出力画像
格納部、１０９は画像出力部、１１０は画像蓄積部、１
１１は類似性計測部である。

【０１９６】これらのうち、画像入力部１０１はスキャ
ナ等の画像入力装置により、与えられた文書等の書類か
ら画像を読み取るものである。入力画像格納部１０２
は、画像入力部１０１で読み取られた画像データを一時
的に記憶するために格納しておくものである。

【０１９７】領域抽出部１０３は、入力画像格納部１０
２に格納された画像データに対して、文字や図形等が物
理的にあるいは論理的に連結されている各領域に分割し
て抽出するものである。

【０１９８】領域識別部１０４は、領域抽出部１０３に
おいて抽出された領域に対して、その領域の位置、大き
さ、形状等の特徴を計測して、領域の種類あるいは重要
度を識別するものである。

【０１９９】また、領域識別結果表示部１０５は、入力
画像格納部１０２に格納されている画像データに、領域
識別部１０４において識別された領域の識別情報を重ね
て、表示するものである。

【０２００】領域編集部１０６は、領域識別結果表示部
１０５に表示された領域情報を編集および修正するため
のユーザインタフェースであり、出力画像生成部１０７
は、領域識別部１０４において識別された領域情報ある
いは領域編集部１０６において編集された領域情報を用
いて、入力画像格納部１０２に記憶されている画像に変
更を加えて出力画像を生成するものである。

【０２０１】出力画像格納部１０８は、出力画像生成部
１０７において生成された出力画像を一時的に保存して
おくものであり、画像出力部１０９は、出力画像格納部
１０８において格納されている出力画像をプリンタや外
部記憶装置等に出力するものであり、画像蓄積部１１０
は、画像出力部１０９において出力された画像データを
ファイルとして蓄積しておくものである。

【０２０２】また、類似性計測部１１１は、出力画像格
納部１０８に格納されている出力画像データと画像蓄積
部１１０に登録されている画像データの類似性を計測す
るものである。本システムにおいては、類似性計測部１
１１によって類似なものが既に画像蓄積部１１０に登録
されていると計測された画像データは画像出力部１０９
において画像出力しないように制御する構成である。あ
るいは、類似なものが既に登録されている場合は、既に
登録されている画像と入れ替えを行なうようにする構成
とすることもできる。

【０２０３】このような構成において、図２４の各部１
０１〜１０９で行われる処理の詳細は、本発明の実施の
態様１および２で説明したものと同様である。本システ
ムにおいては、画像蓄積部１１０に登録されている画像
データのファイル内容と出力画像格納部１０８に記憶さ
れている各領域の画像データの内容とを類似性計測部１
１１により計測して類似性を判断する。

【０２０４】そして、類似性計測部１１１において類似
なものが既に画像蓄積部１１０に登録されていると計測
された画像データに対しては画像出力部１０９において
画像出力しないように制御するか、あるいは既に登録さ
れている画像データと入れ替えを行なうようにする。い
ずれを選択するかは、操作パネル等からのユーザの設定
に委ねる。

【０２０５】図２５は本発明の実施の態様６に係わる文
書処理装置に入力される文書画像の例であり、文書画像
６０１は図に示すように例えば、“タイトル”、“文
章”、“図表”とからなるものとする。

【０２０６】図２６は本発明の実施の態様６に係わる文
書処理装置の領域識別結果表示部１０５において実施さ
れる領域情報表示処理（図２のステップＳＴ２０５の処
理）によってＣＲＴや液晶表示板の画面に出力される領
域情報６０１ａである。

【０２０７】図２５に示される文書画像６０１が入力さ
れたとき、図２６に示される６０２から６０５までの４
つの領域が存在すると認識されたとする。このとき、そ
れぞれの領域を矩形枠で囲んだ形で表示される。表示の
形式は図８の説明でしたものと同様である。

【０２０８】図２７は類似性計測部１１１の処理の詳細
を示すフローチャートである。このフローチャートに従
って類似性計測処理の詳細を説明する。類似性計測部１
１１では、検査対象の領域画像を出力画像格納部１０８
に格納されている出力画像データのそれぞれと以下に説
明する処理を行なうことによって、類似画像が既に画像
蓄積部１１０に登録されているか、否かを検査する。

【０２０９】類似性計測部１１１では、まず、検査対象
の領域画像を出力画像格納部１０８から読み込む（ステ
ップＳＴ７０１）。

【０２１０】この領域画像に対する属性情報を読み込み
（ステップＳＴ７０２）、画像蓄積部１１０に登録され
ている画像から領域の種類をはじめとする情報が等しい
画像を検索する（ステップＳＴ７０３）。

【０２１１】そして、検索されたすべての画像に対して
類似度の計算を行なう（ステップＳＴ７０４）。類似度
の計算はつぎのようにして行なう。まず、検索された画
像データの読み込みを行なう（ステップＳＴ７０５）。
この画像データが検査対象画像のサイズに等しくなるよ
うに画像サイズの正規化を行なう（ステップＳＴ７０
６）。

【０２１２】次に、正規化された画像と検査対象画像の
間の差異を計測する（ステップＳＴ７０７）。差異は濃
淡画像である場合は画像間の差分を用いるか、２値画像
である場合は対象画像の画素と検索画像の近傍画素の比
較あるいはパターンのマッチング処理により計測する。
あるいは領域がタイトルやテキストなどの文字データで
ある場合は文字認識を行って、文字コードデータを比較
することによって両者の差異を計測することもできる。

【０２１３】この結果より類似度を算出する（ステップ
ＳＴ７０８）。そして、この算出した類似度が、ある閾
値Ｓよりも大きいとき、類似画像が既に登録されている
こととする（ステップＳＴ７０９）。

【０２１４】一方、算出した類似度が閾値Ｓに満たない
場合は次の検索画像に対して同様の処理を行ない、閾値
Ｓに達するものがなかった場合は類似画像は登録されて
いないとする（ステップＳＴ７１０）。

【０２１５】ここで、類似度が高いものがあるときに、
対象となる画像と既登録の画像の両者を提示して、新た
に登録すべきかどうかを選択させるようにすることもで
きる。 図２８は、図２５に示される文書画像データ６
０１を図１３に示されるシステムによって処理手順によ
って、図２６に示される領域情報６０１ｂを使用して処
理した結果、得られた領域別の画像データのファイルで
ある出力画像群６０２〜６０５を示している。

【０２１６】これらの出力画像群６０２〜６０５は、類
似度計測部１１１により、図２７に示される類似性計測
処理を行なうことによって、既に画像蓄積部１１０に保
存されている画像データとの類似性が計測される。

【０２１７】現在、図２４の画像蓄積部１１０に、図１
５（ａ）〜（ｄ）に示される画像データ５０２〜５０５
の４枚が画像ファイルとして保存されているとする。

【０２１８】類似性計測処理によって、画像データ５０
５の画像ファイルと出力画像６０５の類似性が高いと評
価されることになり、これによって、画像蓄積部１１０
に出力されないように類似性計測部１１１は画像蓄積部
１０９を制御し、一方、出力画像群６０２〜６０４は類
似性が低いと評価されて画像蓄積装置１１０に出力され
るように、類似度計測部１１１は画像出力部１０９を制
御することになる。

【０２１９】従って、類似性が低いと評価されたこれら
の出力画像群６０２〜６０４は、画像出力部１０９によ
ってハードディスクなどの画像蓄積装置１１０に追加出
力されて記録される結果、画像蓄積装置１１０には画像
データ５０２〜５０５および画像データ６０２〜６０４
の７枚の画像データが保存されることになる。

【０２２０】以上、説明したように本発明の実施の態様
６の例によれば、入力画像に含まれる要素を領域として
抽出し、それぞれの領域を独立のデータとして保存して
おくと共に、保存にあたっては保存データの内容との類
似性を評価し、類似性の高いものは除外して重複保存す
ることのないようにした。

【０２２１】そのため、入力された文書画像に対して、
入力画像に含まれる要素を領域として抽出し、それぞれ
の領域を独立のデータとして保存しておく場合、すでに
登録されているデータとの差異を計測するという手続き
を踏むだけで、既登録のデータを重複して保存すること
なくデータベースを構築できる。これにより、検索が効
率的に行え、保存領域の節約による効果をあげることが
できる。

【０２２２】以上の第１ないし第６の態様は、要約する
と、書類の画像を画像入力部により取り込み、これを入
力画像格納部に入力画像データとして一時的に記憶し、
次いで、この一時記憶された画像データに対してデータ
の状況から領域抽出部により文字や図形等が物理的にあ
るいは論理的に連結されている単位を一つの領域として
抽出し、次に、この抽出された領域に対して領域識別部
が、個々にその領域の画像上の位置、大きさ、形状、構
造、濃度分布等の特徴量を計測し、その計測結果を、予
め定められたルールに基づいて識別することにより、各
領域の種類、あるいは、文書上の重要度を識別し、そし
て、編集機能を有している場合には、これら識別された
領域情報を、モニタディスプレイ等の表示手段である領
域識別結果表示部に表示し、編集モードにすることで領
域編集部によりユーザは前記表示内容を参照しながら領
域情報の編集作業を行なうことでユーザの思うように領
域情報の編集して各領域の画像を更新することができる
ようにし、その編集の結果の更新画像を含め、書類の入
力画像を領域別の画像データとして分けて出力し、画像
蓄積部に別々にファイルすることができるようにし、編
集機能を有しない場合は識別された領域情報をもとに書
類の入力画像を領域別の画像データとして分けて出力
し、画像蓄積部に別々にファイルすることができるよう
にしたものである。

【０２２３】このように本発明システムによれば、文書
を複写したり、画像に変換して保存したりする場合、入
力された文書画像に対して、入力画像に含まれる要素、
例えば、タイトル領域、文章領域、図表領域、頁領域、
写真領域などの如き種別の異なる画像要素を区別して、
かつ、領域として抽出し、それぞれの領域に対して文書
としての重要度を識別あるいは修正することにより、必
要な部分と不必要な部分を的確に分離して扱うことが可
能である。これにより、文書に含まれる書き込みやノイ
ズ、書類の影、その他の不必要な部分を取り除いて、複
写あるは保存などが可能となる。

【０２２４】また、入力された文書画像に対して、入力
画像に含まれる要素を領域として抽出し、それぞれの領
域に対して文書としての重要度を識別あるいは修正し、
必要な部分のみを要素毎に独立のデータとして保存して
おくことにより、入力画像より得られたデータを別の文
書に再利用することができる。同時に、必要な部分のみ
を保存しておくため、保存領域の節約にも効果をあげる
ことができる。

【０２２５】さらに、領域をデータとして保存しておく
場合、すでに登録（すなわち保存）されているデータと
の差異を計測することにより、既登録のデータを重複し
て保存することなくデータベースを構築できる。同時
に、検索が効率的に行え、保存領域の節約により効果を
あげることができる。

【０２２６】以上は、文書画像から領域別に画像データ
を抽出してこれをファイルとして保存したり、ハードコ
ピーとして利用できるようにするものであったが、文書
書類を画像入力部１０１により読み込む場合に、読み込
む原稿である文書書類が斜めにセットされたり、文書書
類の歪みなどにより、画像が傾斜したりする。そこで、
これを修正することができるようにする技術を以下、説
明する。

【０２２７】（より具体的な実施の態様７）従来の文書
処理装置では、入力文書に傾きがある場合、その傾きを
検出・補正することで、レイアウト等の構造理解や、そ
の後の処理として入力文書中に記載されている文字の読
み取りなどを容易に行っていた。このとき用いられる傾
き補正としては、既に種々の手法が提案されている。例
えば、「ランに対する座標演算に基づく２値画像の高速
回転のための一手法」（電子情報通信学会論文誌、Ｄ、
ｖｏｌ、Ｊ７１−Ｄ、Ｎｏ．７、ｐｐ．１２９６−１３
０５）に示されているように、画像データをランレング
スデータに変換し、回転行列を横方向と縦方向の変換座
標になるように分解することで高速な回転処理を実現し
ようとしている。しかし、この方法では、入力文書画像
全体の傾きを補正するため、実時間処理を行うには処理
時間がかかるという問題点があった。また、補正後の画
像データを格納する領域（メモリ）を新たに用意する必
要があった。

【０２２８】このように、従来の文書処理装置では、入
力文書画像に傾きがある場合、入力文書画像全体の傾き
の補正するため処理時間に関してコストがかかり、新た
な格納領域（メモリ）を用意しなければならないという
問題点があった。

【０２２９】そこで、以下に示す例では傾きの補正を行
わずに、文書画像の領域識別を行うことのできる文書処
理方式を説明する。

【０２３０】以下、図面に基づいて本発明を説明する。
図２９は本装置の構成を示すブロック図であり、図３０
はその主要部の構成であって領域識別機能要素部分の構
成である。図において、１０１は画像入力部、１０２は
入力画像格納部、１０３は領域抽出部、１０４は領域識
別部、１０５は領域識別結果表示部、１０６は領域編集
部、１０７は出力画像生成部、１０８は出力画像格納
部、１０９は画像出力部、１１０は画像蓄積部、２１０
は文書画像傾き検出処理部である。また、１０５は領域
識別部、１０６は領域編集部である。

【０２３１】画像入力部１０１は、処理対象となる文書
を画像データとして入力するためのものであり、例えば
イメージスキャナ等から構成される。入力画像格納部１
０２は、この画像入力部１０１で取り込まれた画像デー
タを一時保持するためのものであり、文書画像傾き検出
処理部２１０は、この入力画像格納部１０２の画像デー
タから文書画像の傾きを検出するためのものである。

【０２３２】文書画像傾き検出処理部２１０は、図３０
に示すように、２値化処理部２１１と文書画像傾き検出
部２１２とからなる。

【０２３３】これらのうち、２値化処理部２１１は、画
像入力部１０１で入力された画像データに対して２値化
データへ変換するものである。ここで実施される２値化
処理は公知である手法により実現されても良い。また２
値化されたデータは、主走査方向または副走査方向のど
ちらかの各走査線毎に圧縮しておいても良い。これは、
以降の処理を高速に行うことを目的としている。例え
ば、圧縮の方法としてはランレングス符号化を用いても
良い。

【０２３４】文書画像傾き検出部２１２は、文書画像よ
り特徴量を抽出して、傾きを判断するものである。文書
画像から傾きを検出する手法として、既に公知となって
いるものがあり、例えば、特開平５−１７４１８３号で
開示されている手法により実現するようにしても良い。

【０２３５】領域抽出部１０３は、入力画像格納部１０
２に格納された画像データに対して、文字や図形等が物
理的に、あるいは論理的に連結されている各領域に分割
してそれぞれの種別毎に部分領域として抽出するもので
あり、ここではさらに文書画像傾き検出処理部２１０で
の検出情報を使用して入力画像格納部１０２上での入力
画像の傾きに対して水平または垂直方向において正確に
領域を抽出する機能を有する。

【０２３６】領域識別部１０４は、領域抽出部１０３に
よって抽出された領域（部分領域）から高さ、幅、縦横
率比などの特徴量を抽出して、文字・図・写真・雑音等
の領域の属性を識別する機能を有するものである。

【０２３７】出力画像生成部１０７は、領域識別部１０
４からの結果を基に、識別された属性により、変形ある
いは濃度変換を行って画像データを生成する機能を有す
るものである。この場合、出力装置としては、ディスプ
レイのような画像表示装置でも良いし、プリンタでも良
い。さらに、磁気記憶装置等に格納することもできる。

【０２３８】また、本装置においては、領域識別結果表
示部１０５と領域編集部１０６とがある。領域識別結果
表示部１０５は、入力画像格納部１０２に格納されてい
る画像データに、領域識別部１０４において識別された
領域の識別情報を重ねて、表示するものであり、領域編
集部１０６は、領域識別結果表示部１０５に表示された
領域情報を編集および修正するものである。これらは既
に実施の態様１等で説明したものと同じであり、図７に
示される如き文書画像５０１が入力されていたとして領
域抽出部１０３にて領域抽出した結果として、領域識別
結果表示部１０５には図８に示す如きの表示が成される
ことになる。

【０２３９】領域編集部１０６はライトペンやマウスな
どのポインティングデバイスによりユーザがディスプレ
イの画面上で指示する領域を、これもまたユーザの指示
する“領域削除”、“領域統合”、“領域分割”、“領
域種別変更”の指令に応じて“領域削除”、“領域統
合”、“領域分割”、“領域種別変更”などの編集作業
を実施するものである。

【０２４０】すなわち、ユーザはディスプレイの画面に
表示された図８に示される如き画面５０１ａを見ながら
上述の如きポインティングデバイス等を使用して、領域
の位置を指定する。そして、指定した領域に対して削除
や分割や統合、あるいは、領域の種類の変更等の作業内
容を指示することで、その指定した領域に対する削除や
領域の分割や統合、あるいは、領域の種類の変更をはじ
めとして、表示されている領域情報を様々に編集するこ
とができる。編集済みの領域は領域識別部１０４に渡さ
れることで、識別結果が修正されることになる。

【０２４１】そして、出力画像生成部１０７はこの識別
結果を反映した画像、修正されていない場合は領域識別
部１０４で識別された結果を反映した画像を生成するた
めの処理機能部であり、出力画像格納部１０８に対し
て、領域識別部１０４で識別された結果を反映した画像
を生成すべく対象領域の画像にデータについて必要なデ
ータ処理を施す機能を有する。そして、画像出力部１０
９において、この生成されて出力画像格納部１０８に記
憶された出力画像をプリンタや外部記憶装置等に出力す
る機能を有する。

【０２４２】このような構成において、画像入力部１０
１により、処理対象となる文書を画像データとして入力
する。すると入力画像格納部１０２は、この画像入力部
１０１で取り込まれた画像データを一時保持する。する
と、文書画像傾き検出処理部２１０は、この入力画像格
納部１０２の画像データから文書画像の傾きを検出す
る。

【０２４３】すなわち、文書画像傾き検出処理部２１０
は、図３０に示すように、２値化処理部２１１と文書画
像傾き検出部２１２とからなるものであり、２値化処理
部２１１が、画像入力部１０１で入力された画像データ
に対して２値化データへ変換し、文書画像傾き検出部２
１２は、この２値化データ化された文書画像より特徴量
を抽出して、傾きを判断する。文書画像から傾きを検出
する手法として、既に公知となっている例えば、特開平
５−１７４１８３号で開示されているが如き手法により
実現できる。

【０２４４】一方、領域抽出部１０３は、入力画像格納
部１０２に格納された画像データに対して、文字や図形
等が物理的に、あるいは論理的に連結されている各領域
に分割してそれぞれの種別毎に部分領域として抽出す
る。その際、ここではさらに文書画像傾き検出処理部２
１０での検出情報を使用し、これによって入力画像格納
部１０２上での入力画像の傾きに対して水平または垂直
方向において正確に領域を抽出する。

【０２４５】領域識別部１０４は、領域抽出部１０３に
よって抽出された領域（部分領域）から高さ、幅、縦横
率比などの特徴量を抽出して、文字・図・写真・雑音等
の領域の属性を識別する。

【０２４６】そして、出力画像生成部１０７は、領域識
別部１０４からの結果を基に、識別された属性により、
変形あるいは濃度変換を行って画像データを生成する。
この場合、出力装置としては、ディスプレイのような画
像表示装置でも良いし、プリンタでも良い。さらに、磁
気記憶装置等に格納することもできる。

【０２４７】また、本装置においては、領域識別結果表
示部１０５と領域編集部１０６とがある。領域識別結果
表示部１０５は、入力画像格納部１０２に格納されてい
る画像データに、領域識別部１０４において識別された
領域の識別情報を重ねて、表示するものであり、領域編
集部１０６は、領域識別結果表示部１０５に表示された
領域情報を編集および修正するものである。これらは既
に実施の態様１等で説明したものと同じであり、図７に
示される如き文書画像５０１が入力されていたとして領
域抽出部１０３にて領域抽出した結果として、領域識別
結果表示部１０５には図８に示す如きの表示が成される
ことになる。

【０２４８】もちろん、領域識別結果表示部１０５では
設定により、矩形枠の表示は行わないで、画像情報（文
書画像５０１）そのものを領域毎に異なる色で着色表示
するようにすることもでき、このようにすることによ
り、領域情報を色分け表示することもできる。

【０２４９】一方、領域編集部１０６はライトペンやマ
ウスなどのポインティングデバイスによりユーザがディ
スプレイの画面上で指示する領域を、これもまたユーザ
の指示する“領域削除”、“領域統合”、“領域分
割”、“領域種別変更”の指令に応じて“領域削除”、
“領域統合”、“領域分割”、“領域種別変更”などの
編集作業を実施する。

【０２５０】すなわち、ユーザはディスプレイの画面に
表示された図８に示される如き画面５０１ａを見ながら
上述の如きポインティングデバイス等を使用して、領域
の位置を指定する。そして、指定した領域に対して削除
や分割や統合、あるいは、領域の種類の変更等の作業内
容を指示することで、その指定した領域に対する削除や
領域の分割や統合、あるいは、領域の種類の変更をはじ
めとして、表示されている領域情報を様々に編集するこ
とができる。編集済みの領域は領域識別部１０４に渡さ
れることで、識別結果が修正されることになる。

【０２５１】そして、出力画像生成部１０７はこの識別
結果を反映した画像、修正されていない場合は領域識別
部１０４で識別された結果を反映した画像を生成するた
めの処理機能部であり、出力画像格納部１０８に対して
領域識別部１０４での識別された結果を反映した画像を
生成すべく対象領域の画像にデータについて必要なデー
タ処理を施す機能を有する。そして、画像出力部１０９
において、この生成されて出力画像格納部１０８に記憶
された出力画像をプリンタや外部記憶装置等に出力し、
一連の処理が終了する。

【０２５２】以上により、入力された文書画像に対し
て、これを２値化し、この２値化情報を用いて画像の傾
きを検出して傾き情報を得ると共に、文書画像の領域抽
出にあたってはこの傾き情報を参照して、領域の傾きを
水平（Ｘ軸）および垂直（Ｙ軸）のうちのいずれかに正
確に修正して抽出し、領域の属性を判定して領域別の画
像に区分けした画像として出力できるようにしたもので
あるから、文書書類が傾いた状態で読み込まれた場合で
も領域抽出の際に、傾き修正しながら領域抽出するの
で、高速に領域抽出することができる。

【０２５３】また、入力画像に含まれる領域情報を自動
的に識別し、それをユーザに提示することで編集を容易
にし、また、編集を可能にすることで自動識別が失敗し
た場合においてもそれを容易に修正することが可能とな
る。

【０２５４】基本的には領域抽出部１０３の動作は実施
の態様１や実施の態様２で説明したものを踏襲するが、
実施の態様６においては領域の傾きを調べて対処できる
ようにしている。そのために、つぎのような機能が加わ
る。

【０２５５】［実施の態様７における領域抽出部１０３
の詳細］実施の態様７における領域抽出部１０３につい
て詳述する。図３１は、本発明の領域識別機能要素部分
の一要素である領域抽出部１０３の動作を示すフローチ
ャートである。

【０２５６】領域抽出部１０３には２値化処理された入
力文書画像が入力される。

【０２５７】２値化処理された入力文書画像は、黒画素
融合処理（ステップＳ８１１）で水平または垂直方向の
どちらかまたは両方向において、黒画素に挟まれる長さ
Ｌ画素以下の白画素を黒画素に変換することにより一つ
の連続した黒画素とし、近接する黒画素を融合すること
で文書画像全体の連続黒画素の個数を減らす。

【０２５８】この処理の目的は、後述する部分領域抽出
処理（ステップＳ８１２）における領域数を減らすこと
によって処理量を削減することと、領域識別部１０４に
おける識別精度を高めることにある。

【０２５９】このとき、Ｌに与える値の大きさが問題と
なる。領域識別部１０４では、領域から得られる高さ、
幅、縦横比率等を用いて領域の属性を識別するものであ
るから、Ｌに大きい値を与えると、必要以上に黒画素が
融合され、実際には異なった属性で識別されるべき領域
が識別できないことが予想される。

【０２６０】また、入力文書画像の傾きが比較的大きい
場合、同一行にない文字列が融合されてしまう。逆にＬ
に小さな値を与えると、写真部分やかすれた部分の黒画
素が融合せず、正しく識別できいことも考えられる。従
って、Ｌは同一行にあり、隣接する文字が融合する程度
の値が望ましい。

【０２６１】部分領域抽出処理（ステップＳ８１２）で
は、黒画素間の連結性を調べることにより、連結する黒
画素領域を抽出するラベリング処理を行い、抽出された
連結黒画素領域を部分領域として抽出する。

【０２６２】その際、各部分領域を囲む最小矩形を検出
する。この最小矩形とはそれぞれの部分領域を構成する
画素を完全に囲み、更に画素が存在しない空白領域を最
小限にする矩形のことを指す。最小矩形の検出方法は領
域抽出部４の出力である傾きq によって変更しても良
い。以下にその例を示す。

【０２６３】＜方法１＞：図３２は、本発明の領域識別
装置の一例である部分領域抽出処理（ステップＳ８１
２）における最小矩形を求める方法の第１例を示したも
のである。

【０２６４】文書画像の主走査方向および副走査方向を
Ｘ‐Ｙ座標系とし、文書画像の傾きｑの値が閾値ｑｔに
対して、ｑ＜ｑｔまたはｑ＞ｑｔである場合、傾きｑに
対して水平、垂直方向をＸ´‐Ｙ´座標系とする。

【０２６５】ここで、Ｘ´‐Ｙ´座標系の各座標軸にお
ける部分領域の最小値、最大値 （X'*min, X'*max, Y'*min, Y'*max） を検出し、その交点を(X'1,Y'1), (X'2,Y'2), (X'3,Y'
3), (X'4,Y'4)とする。この４つの交点がＸ´‐Ｙ´座
標系における部分領域の最小矩形を表している。更に、
４点の内１点を基準点とし、その点に隣り合っている点
までの差、つまり幅と高さを求めても良い。

【０２６６】例えば、(X'1,Y'1) を基準点として(X'2,
Y'2) と(X'3,Y'3) との差を求め、それぞれＷ´，Ｈ´
とし、最小矩形データとする。この処理の目的は、基準
点の座標とＷ´，Ｈ´だけで最小矩形を表現できるた
め、部分領域データとして出力する際のデータ量を削減
することにある。また、Ｘ´‐Ｙ´座標系における最小
矩形の４点の座標値が必要である場合、アフィン変換に
より求めても良い（文献“長谷川純一他共著「画像処理
の基本技法＜技法入門編＞」技術評論社、１９８６１，
pp.32 ”参照）。

【０２６７】＜方法２＞図３３は、本発明の領域識別装
置における部分領域抽出処理（ステップＳ８１２）にお
ける最小矩形を求める方法の第２例を示したものであ
る。

【０２６８】傾きｑの値が閾値ｑｔに対して、−ｑｔ≦
ｑ≦ｑｔ である場合、文書画像の主走査方向および副
走査方向をＸ‐Ｙ座標軸ととする。Ｘ‐Ｙ座標系の各座
標軸における部分領域の最小値、最大値 （X*min, X*max, Y*min, Y*max） を検出し、その交点を(X1,Y1), (X2,Y2), (X3,Y3), (X
4,Y4)とする。この４つの交点がＸ‐Ｙ座標系における
部分領域の最小矩形を表している。この処理の目的は、
文書画像の傾きｑが閾値ｑｔより小さい場合、傾きが無
いものと見なすことで処理を高速に行うことにある。ま
た、＜方法１＞の場合と同様に、最小矩形の４点の内１
点を基準点とし、その点に隣り合っている点までの差、
つまり幅と高さ（Ｗ，Ｈ）を求めて、最小矩形データと
しても良い。

【０２６９】以上の方法により、領域全体に亙って傾き
があっても、あるいは文字単位で傾きがあってもそれ対
応に、抽出された部分領域の最小矩形を検出して、抽出
された部分領域と共に部分領域データとして出力するこ
とができる。

【０２７０】つぎに領域識別部１０４について説明す
る。基本的には領域識別部１０４についてもその動作は
実施の態様１や実施の態様２で説明したものを踏襲する
が、実施の態様７においては領域の傾きを調べて対処で
きるようにしている。そのために、つぎのような機能が
加わる。

【０２７１】［実施の態様７における領域識別部１０４
の詳細］図３４は、本発明の領域識別機能要素部分の一
要素である領域識別部１０４の動作を示すフローチャー
トである。

【０２７２】まず、矩形領域特徴量抽出処理（ステップ
Ｓ８２１）では、抽出された部分領域データすべてに対
して特徴量を計測する。特徴量としては、文書画像上の
位置、大きさ、形状、構造、濃度分布等があり、このう
ち、少なくとも１つの特徴量を計測する。その際、それ
ぞれの部分領域データにおける最小矩形を利用しするこ
とで、傾きのある場合においても正しく識別可能とな
る。

【０２７３】以下に、それぞれの特徴量計測方法の例を
示す。

【０２７４】画像上の位置は、個々の部分領域の最小矩
形の座標値、中心位置あるいは重心の計測によって求め
る。部分領域の大きさは、最小矩形のＸとＹ（またはＸ
´とＹ´）の両方向の幅や高さを計測し、両者を掛合わ
せることで大きさが求まる。Ｘ（またはＸ´）方向の幅
は、最小矩形の最も左に位置する画素の座標と最も右に
位置する画素の座標との差によって求める。

【０２７５】最小矩形を検出後に幅（ＷまたはＷ´）を
求めている場合は、その値を用いる。Ｙ（またはＹ´）
方向の高さは、最小矩形の最も上に位置する画素の座標
と最も下に位置する画素の座標との差によって求める。
最小矩形を検出後に高さ（ＨまたはＨ´）を求めている
場合は、その値を用いる。部分領域の形状は、例えばX
（またはＸ´）方向の幅とＹ（またはＹ´）方向の高さ
の割合によって求めることができる。

【０２７６】これにより、縦長の部分領域あるいは横長
の部分領域、正方形に近い部分領域などの特徴が得られ
る。部分領域の構造は、ＸとＹ（またはＸ´とＹ´）の
両方向の射影（プロジェクション）を計測することによ
り求めることができる。部分領域の濃度分布は、領域内
の画素の濃度値ヒストグラムをとることによって計測す
る。

【０２７７】この場合は２値化前の文書画像データを参
照して計測する。

【０２７８】このようにして特徴量の計測を行なうがこ
の特徴量計測終了後、矩形領域属性判定処理（ステップ
Ｓ８２２）により、すべての部分領域に対して領域属性
を割り当てる。例えば、図３５に示されるような領域属
性と、それに対応する特徴量の閾値を設定しておき、こ
れを参照して各部分領域の属性を決定する。

【０２７９】図３５においては属性は、文字領域属性、
線領域属性、表領域属性、線図領域属性、写真領域属性
が登録されている。場合によっては更に領域属性や特徴
量を追加することも可能である。

【０２８０】図３５において、「−」で示されている項
は特徴量計測の結果を問わない部分である。

【０２８１】例えば、文字領域属性と決定される部分領
域は、画像上の位置、形状、濃度分布に関してはどんな
値をとってもかまわず、ただし大きさついてはＸ方向の
幅がＡよりも大きく、Ｂよりも小さく、構造は均等であ
れば“文字領域”であることを意味する。

【０２８２】図３５における各特徴量の値について簡単
に説明する。

【０２８３】まず、位置において「内部」は文書画像の
ふちにないことをいう。ふちとは、ある設定値Ｕを定め
たとき文書画像の隅からＵ％以内の範囲をいう。設定値
Ｕはたとえば１０％と設定しておくが、文書画像上の濃
い画素の分布からＵの値を文書ごとに変化させてもよ
い。大きさにおいて、図３５ではＸ方向の幅のみを指定
しているが、Ｙ方向の幅同時に設定することもできる。
また、文書画像によってはＸ´やｙ´方向に設定しても
良い。文書画像のサイズから設定値Ａ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆが自動で求まるようにする。それぞれの設定値は
画素数で評価する。形状において、「横長」はｘ方向の
幅がｙ方向の高さのＶ倍よりも大きい場合をいう。例え
ば設定値Ｖを“２”としておく。同様に「縦長」を定義
できる。「方形」は横長でもなく縦長でもない状態をい
う。すなわち、横方向の幅が縦方向の幅のＶ倍以下であ
り、１／Ｖ倍以上である場合をいう。

【０２８４】構造において、「均等」とは射影がほぼ均
等である状態をいう。また、「極大変化」とは、細いピ
ークが一ヵ所で存在する状態をいう。「変化等間隔」と
は射影に際立った変化があるもので、細いピークがある
間隔毎にある状態をいう。さらには「変化大」とは射影
に際立った変化があるもので、非常に細いピークがある
状態をいう。また、「変化あり」とは射影に際立った変
化があるもので、ピークに特徴がない状態をいう。濃度
分布において、「濃淡」とは濃淡の変化がある状態であ
り、「なし」とは濃淡の変化がない状態である。

【０２８５】以上により、各領域毎に計測された特徴量
から各部分領域の属性を識別することができるが、予め
設定されている閾値により、識別できなかった領域を雑
音属性領域とすることもできる。

【０２８６】すべての部分領域に対して属性を割り当て
た後、部分領域データにその属性データを付加する。こ
の部分領域データ用いることで出力画像生成部１０７に
よって所望の形態を持つ出力結果を得ることができる。

【０２８７】その際、部分領域属性を利用して、部分領
域を変形させたり、あるいは濃度値を変換させたりする
ことで出力結果を加工することも可能である。例えば、
指定した領域属性を持つ領域だけ濃度値をそのまま出力
し、ほかの領域では濃度値を０にすることで消去するこ
とも可能である。また、雑音領域属性をもつ領域だけ濃
度値を０にすることで、綺麗な出力結果を得ることも可
能である。さらに、指定した領域属性を拡大・縮小した
り、移動させることで、ユーザの所望する出力結果を生
成できる。

【０２８８】以上、説明したように本発明の実施の態様
７により、入力文書画像に傾きがある場合においても、
その傾きを検出して、入力文書画像中の連結黒画素領域
を傾きに対して水平及び垂直方向における領域として抽
出することで、部分領域の抽出にあたり、正確な領域抽
出が行える。また、それぞれの領域に対して文書要素と
しての属性を識別することにより必要な部分と不必要な
部分を的確に分離して扱うことが可能である。これによ
り、文書に含まれる書き込みやノイズ、書類の影、その
他の不必要な部分を取り除いて、複写あるは保存などが
可能となり、複写（ハードコピー）の際のトナーの節約
や保存領域の節約にもその効果が期待できる。

【０２８９】また、傾斜情報を取得するので、抽出した
各領域の画像は傾斜分を補正して傾斜のない領域画像と
して扱うことができるようになり、複写（ハードコピ
ー）や保存された画像の利用に際して便利である。

【０２９０】（より具体的な実施の態様８）図３６は本
発明の領域識別機能要素部分の別の構成例を示すブロッ
ク図である。この図の構成は図３０の構成例に領域統合
部２２０を付加したものである。

【０２９１】以下、領域統合部２２０について詳述す
る。

【０２９２】文書画像は黒画素融合処理（図３１のステ
ップＳ８１１）によって連続黒画素数が減らされている
が、通常の文書画像において部分領域として抽出される
部分領域数は多い。例えば、１行の文字列が黒画素融合
処理（図３１のステップＳ８１１）を行っても１つの連
続黒画素とはならないで、複数の連続黒画素に分かれた
場合、抽出される部分領域数は連続黒画素数と同数であ
る。そこで、領域統合部２２０では、同一の属性を持
ち、かつ隣接した複数の部分領域を一つにまとめ、部分
領域数を減らすことを行なう。

【０２９３】図３７は、領域統合部２２０における処理
の流れを示したフローチャートであり、図３８、図３
９、図４０及び図４１は領域統合条件を説明するための
図である。以下、これらの図を基に領域統合部２２０に
おける領域統合処理について説明する。

【０２９４】すべての部分領域には領域識別部１０４に
よって、属性が割り当てられているので、領域統合部２
２０ではまず部分領域データを読み込み（ステップＳ８
３３）、統合しようとする目的の属性を持った部分領域
を見つける（ステップＳ８３４）。

【０２９５】次に他の部分領域データを読み込み（ステ
ップＳ８３６）、同じ属性の部分領域を見つける。同じ
属性である場合、領域統合条件を算出する。

【０２９６】図３８は、部分領域抽出処理（図３１のス
テップＳ８１２）において＜方法１＞で部分領域抽出を
行なった場合の領域統合条件を算出方法を示したもので
ある。符号１１０１を付して示す文字「Ａ」の最小矩形
より、高さＨ1 と、符号１１０２を付して示す文字
「Ｂ」の最小矩形より、高さＨ2 を求め、Ｈ1 とＨ2 と
の差Ｈd を求める。

【０２９７】また、符号１１０１を付して示す文字
「Ａ」の最小矩形と、符号１１０２を付して示す文字
「Ｂ」の最小矩形より、Ｗd を求める。そして、予め設
定した閾値Ｈt ，Ｗt と比較し、Ｈd ＜Ｈt かつＷd ＜
Ｗt である場合、領域統合条件を満たすものとし、符号
１１０１を付して示す文字「Ａ」と符号１１０２を付し
て示す文字「Ｂ」に対して部分領域統合を行う。

【０２９８】図３９は、部分領域統合を行った後の状態
を示している。部分領域統合によって最小矩形は変化し
ているため、そのデータを更新する必要がある。そこで
符号１１０１を付して示す文字「Ａ」と符号１１０２を
付して示す文字「Ｂ」の最小矩形の情報より、Ｘ´‐Ｙ
´座標系の各座標軸における新たな部分領域（１０３）
の最小値、最大値 （X'*min, X'*max, Y'*min, Y'*max） を検出し、その交点を (X'1,Y'1), (X'2,Y'2), (X'3,Y'3),(X'4,Y'4) として、新たな最小矩形のときに部分領域データを更新
する。

【０２９９】以上の例では、領域統合処理をＸ（または
Ｘ´）方向について述べたが、Ｙ（またはＹ´）方向に
ついても同様にして領域統合処理を行なうことができ
る。さらに、両者を組み合わせることで、両方向につい
ての領域統合処理を行っても良い。

【０３００】図４０は、部分領域抽出処理（図３１のス
テップＳ８１２）において＜方法２＞で部分領域抽出を
行なった場合の領域統合条件を算出方法を示したもので
ある。＜方法１＞の場合と同様にして、領域統合条件を
満たす場合、部分領域統合を行う。

【０３０１】図４１は、部分領域統合を行った後の状態
を示している。これも＜方法１＞の場合と同様にして、
部分領域データを更新する。

【０３０２】以上、説明したようにこの例により、同一
の属性を持ち、かつ隣接した複数の部分領域を一つにま
とめ、部分領域数を減らすことで、部分領域数を減ら
し、出力画像生成部１０７での処理の高速化を計ること
ができる。

【０３０３】（より具体的な実施の態様９）図４２は本
発明の領域識別装置の実施の態様９を説明するためのブ
ロック図である。この図の構成は、図３６の構成例に領
域傾き補正部２３０を付加したものである。

【０３０４】先の例では、文書画像が傾いている場合、
その傾きｑを検出し、傾きｑに対して水平、垂直方向に
座標系をとり、領域抽出や領域識別を行っていた。従っ
て、傾き補正は行っていないので、その出力である出力
画像生成部１０７では、傾いたままの画像が生成され
る。そこで、出力結果として傾き補正が必要な場合、領
域傾き補正部２３０で部分領域の傾き補正を行なう。

【０３０５】傾き補正部２３０では、文書画像傾き検出
部２１２からの出力である傾きｑを用いて、例えば
“「座標の平行移動による画像の高速回転法」（電学論
Ｃ, 105,3, pp.61-68, 1985）”に示される如きの方法
により、傾き補正を行なう。この場合、画像全体で傾き
補正を行なうのではなく、抽出された部分領域毎に補正
を行なう。また、予め補正が必要とされる部分領域の属
性を指定することによって、傾き補正が必要な部分領域
だけに限定して行なう。

【０３０６】従って、何も黒画素が無い下地とされる領
域は補正対象外であるため、画像全体で傾き補正する場
合と比較して高速に行なうことができる。例えば、文字
や図の属性を持った部分領域のみを傾き補正を行ない、
雑音の領域属性を持った部分領域に対しては傾き補正を
行なわないということが可能である。

【０３０７】以上、説明したように本発明の実施の態様
９によれば、文書画像の傾きを検出する文書画像傾き検
出部２１０に加えてさらに領域統合部２２０を設けて、
領域識別部１０４により得られる分離抽出された各部分
領域の属性情報をもとに、同一の属性を持ち、かつ隣接
した複数の部分領域についてそれらを一つにまとめ、部
分領域数を減らすようにした。そのため、入力された文
書画像が傾いていて、なおかつ傾き補正が望まれる場
合、文書画像全体で補正するのではなく、必要とされる
部分領域に対してのみ傾き補正を行なうことになるた
め、高速な補正処理を行うことが可能である。

【０３０８】以上、実施の態様７ないし９においては、
入力された文書画像から画像の傾きを検出する傾き検出
手段と、この傾き検出手段によって検出された傾きに対
して水平または垂直方向における前記文書画像の連結成
分領域を抽出することにより、文字や図形等が物理的あ
るいは論理的に連結されている単位を一つの領域として
抽出する領域抽出手段と、この領域抽出手段の抽出した
領域の情報に基づいて連結成分領域の形状を計測するこ
とにより領域の属性を識別する領域識別手段と、識別さ
れた属性により変形あるいは濃度変換を行って出力画像
データを生成する出力画像生成手段を具備するものであ
り、領域抽出にあたって、入力文書の傾きを検出し、そ
の傾きに対して水平または垂直方向における連結黒画素
矩形領域を発生させ、この領域毎に文字、図、写真、お
よび雑音等の属性の識別を行なうようにした。

【０３０９】すなわち、本発明では、文書画像の傾きを
補正してから領域識別するのではなく、傾きを持った矩
形領域情報より領域識別をするようしたため、高速な処
理が可能になる。また、傾き補正を施した画像を出力し
たい場合においても、傾き補正が必要な領域だけに限定
して補正することになるため、高速な傾き補正が可能に
なり、また、画像全体の補正を行なおうとした場合には
新たな格納領域（メモリ）を必要とするが、本発明にお
いてはそれを省くことが可能である。

【０３１０】故に本発明によれば、文書を複写したり、
画像に変換して保存したりする場合、入力された文書画
像に対して、入力画像の傾きを検出し、入力画像に含ま
れる要素を傾きに対して水平または垂直方向における領
域として抽出することで、正確な領域抽出ができ、それ
ぞれの領域に対して文書要素としての属性を識別するこ
とにより、必要な部分と不必要な部分を的確に分離して
扱うことが可能であって、これにより、文書に含まれる
書き込みやノイズ、書類の影、その他の不必要な部分を
取り除いて、複写あるは保存などが可能となり、複写の
際のトナーや保存領域の節約にも効果を上げることがで
きる。

【０３１１】また、入力された文書画像に対して、入力
画像の傾きを検出し、入力画像に含まれる要素を傾きに
対して水平または垂直方向における領域として抽出し、
それぞれの領域に対して文書要素としての属性を識別す
ることにより、同一属性の領域どうしを統合すること
で、格納領域を削減することで効果をあげることができ
る。

【０３１２】さらに、入力された文書画像に傾きがあ
り、その傾きを補正する場合、抽出された領域に対して
傾き補正するため、必要な領域だけ高速に補正すること
ができる。

【０３１３】

【発明の効果】以上説明したように本発明によれば、第
１には、文書を複写したり、画像に変換して保存したり
する場合、入力された文書画像に対して、入力画像に含
まれる要素を領域として抽出し、それぞれの領域に対し
て文書としての重要度を識別あるいは修正することによ
り、必要な部分と不必要な部分を的確に分離して扱うこ
とが可能である。これにより、文書に含まれる書き込み
やノイズ、書類の影、その他の不必要な部分を取り除い
て、複写あるは保存などが可能となる。また、入力され
た文書画像に対して、入力画像に含まれる要素を領域と
して抽出し、それぞれの領域に対して文書としての重要
度を識別あるいは修正し、必要な部分のみを要素毎に独
立のデータとして保存しておくことにより、入力画像よ
り得られたデータを別の文書に再利用することができ
る。同時に、必要な部分のみを保存しておくため、保存
領域の節約にも効果をあげることができる。さらに、領
域をデータとして保存しておく場合、すでに登録（すな
わち保存）されているデータとの差異を計測することに
より、既登録のデータを重複して保存することなくデー
タベースを構築できる。同時に、検索が効率的に行え、
保存領域の節約により効果をあげることができる。

【０３１４】さらにまた、本発明によれば、第２には、
文書を複写したり、画像に変換して保存したりする場
合、入力された文書画像に対して、入力画像の傾きを検
出し、入力画像に含まれる要素を傾きに対して水平また
は垂直方向における領域として抽出することで、正確な
領域抽出が行われ、それぞれの領域に対して文書要素と
しての属性を識別することにより、必要な部分と不必要
な部分を的確に分離して扱うことが可能である。これに
より、文書に含まれる書き込みやノイズ、書類の影、そ
の他の不必要な部分を取り除いて、複写あるは保存など
が可能となり、複写の際のトナーや保存領域の節約にも
効果を上げることができる。また、入力された文書画像
に対して、入力画像の傾きを検出し、入力画像に含まれ
る要素を傾きに対して水平または垂直方向における領域
として抽出し、それぞれの領域に対して文書要素として
の属性を識別することにより、同一属性の領域どうしを
統合することで、格納領域を削減することで効果をあげ
ることができる。さらに、入力された文書画像に傾きが
あり、その傾きを補正する場合、抽出された領域に対し
て傾き補正するため、必要な領域だけ高速に補正するこ
とができる。

【図面の簡単な説明】

【図１】本発明に係わる文書処理装置の構成図であっ
て、本発明のより具体的な実施の態様１の例を示すブロ
ック図。

【図２】図１の構成の本発明装置の文書処理手順の例を
示すフローチャート。

【図３】本発明のより具体的な実施の態様１に係わる領
域抽出処理のフローチャート。

【図４】本発明のより具体的な実施の態様１に係わる領
域識別処理のフローチャート。

【図５】本発明に係わる文書処理装置の領域識別処理で
利用する領域の種類を決定するためのルールの例を示す
図。

【図６】本発明に係わる文書処理装置の領域識別処理で
利用される領域の重要度を決定するためのルールの例を
示す図。

【図７】本発明に係わる文書処理装置において扱われる
文書画像の例を示す図。

【図８】本発明に係わる文書処理装置の領域識別結果表
示部に出力される領域情報例を示す図。

【図９】本発明に係わる文書処理装置の領域情報編集処
理の説明図。

【図１０】本発明に係わる文書処理装置の領域情報編集
処理の説明図。

【図１１】本発明に係わる文書処理装置の領域編集部１
０６での編集処理を行うためのユーザインタフェイス
例。

【図１２】本発明に係わる文書処理装置の出力画像生成
処理のフローチャート。

【図１３】本発明のより具体的な実施の態様２に係わる
文書処理装置の構成例を示すブロック図。

【図１４】本発明のより具体的な実施の態様２に係わる
文書処理装置の出力画像生成部１０７における出力画像
生成処理のフローチャート。

【図１５】本発明のより具体的な実施の態様２における
出力画像生成処理によって生成される出力画像の例を示
す図。

【図１６】本発明に係わる文書処理装置の領域識別処理
で利用する領域の種類を決定するためのルールの例を示
す図。

【図１７】本発明のより具体的な実施の態様３における
文書処理装置に入力される−例としての文書画像を示す
図。

【図１８】図１７に示す文書画像の例７０１の黒枠雑音
領域７０２に対してのみ、縦横両方向の射影を計測した
結果を示す図。

【図１９】実施の態様３の説明をするための図であっ
て、文書処理装置の出力画像生成部１０７における出力
画像生成処理での具体的手順を示す処理フフローチャー
ト。

【図２０】図１７に示した文書画像の例の黒枠雑音領域
７０２に対してのみ、縦横両方向の射影を計測した結果
を示す図。

【図２１】図１９に示される処理手順によつて、図１７
に示される文書画像データ７０１を処理した結果、得ら
れた出力画像を示す図。

【図２２】本発明のより具体的な実施の態様４に係わる
文書処理装置の構成例を示すブロック図。

【図２３】本発明のより具体的な実施の態様５に係わる
文書処理装置の構成例を示すブロック図。

【図２４】本発明のより具体的な実施の態様６に係わる
文書処理装置の構成例を示すブロック図。

【図２５】本発明の実施の態様６に係わる文書処理装置
に入力される文書画像の例を示す図。

【図２６】本発明の実施の態様６に係わる文書処理装置
の領域識別結果表示部１０５において実施される領域情
報表示処理による表示画面例を示す図。

【図２７】本発明の実施の態様６に係わる文書処理装置
における類似性計測部１１１の処理の詳細を示すフロー
チャート。

【図２８】本発明の実施の態様６に係わる文書処理装置
における出力画像生成処理によって生成される出力画像
例を示す図。

【図２９】本発明のより具体的な実施の態様７に係わる
文書処理装置の構成例を示すブロック図。

【図３０】図２９の要部構成図。

【図３１】本発明のより具体的な実施の態様７に係わる
文書処理装置の領域抽出処理のフローチャート。

【図３２】本発明のより具体的な実施の態様７に係わる
文書処理装置における領域抽出処理の説明図。

【図３３】本発明のより具体的な実施の態様７に係わる
文書処理装置における領域抽出処理の説明図。

【図３４】本発明のより具体的な実施の態様７に係わる
文書処理装置における領域識別処理のフローチャート。

【図３５】本発明に係わる文書処理装置の領域識別処理
で利用される領域属性を決定するための要素例を示す
図。

【図３６】本発明の実施の態様８に係わる文書処理装置
における領域識別機能要素部分の概略構成を示すブロッ
ク図。

【図３７】本発明に係わる文書処理装置の領域統合部２
２０における処理の流れを示したフローチャート。

【図３８】本発明の実施の態様８に係わる領域統合処理
の説明図。

【図３９】本発明の実施の態様８に係わる領域統合処理
の説明図。

【図４０】本発明の実施の態様８に係わる領域統合処理
の説明図。

【図４１】本発明の実施の態様８に係わる領域統合処理
の説明図。

【図４２】 本発明の実施の態様９における領域識別機
能要素部分の概略構成を示すブロック図。

【符号の説明】

１０１…画像入力部 １０２…入力画像格納部 １０３…領域抽出部 １０４…領域識別部 １０５…領域識別結果表示部 １０６…領域編集部 １０７…出力画像生成部 １０８…出力画像格納部 １０９…画像出力部 １１０…画像蓄積部 １１１…類似性計測部 ２１０…文書画像傾き検出処理部 ２１１…２値化処理部 ２１２…文書画像傾き検出部 ２２０…領域統合部 ２３０…領域傾き補正部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/40 Ｈ０４Ｎ 1/40 Ｆ

Claims (16)

【特許請求の範囲】
1. 【請求項１】 画像データとして読み込まれた文書画像
   より、特定の領域を抽出する領域抽出手段と、 前記領域抽出手段により抽出された領域をその特徴量に
   より分類する領域識別手段と、 前記領域識別手段により識別された結果を表示する識別
   結果表示手段と、 前記識別結果を編集するための領域編集手段と、 前記領域編集手段によって編集された結果あるいは前記
   識別結果に対応した出力画像を生成する出力画像生成手
   段と、 前記出力画像生成手段によって生成された画像を出力す
   る画像出力手段と、を具備することを特徴とする文書処
   理装置。
2. 【請求項２】 出力画像生成手段は、識別された領域毎
   に分割して別々の画像とする機能を有することを特徴と
   する請求項１記載の文書処理装置。
3. 【請求項３】 画像データとして読み込まれた文書画像
   より、特定領域を抽出する領域抽出手段と、 前記領域抽出手段により抽出された領域をその特徴量に
   より分類する領域識別手段と、 前記領域識別手段により識別された結果に応じて出力画
   像を生成する出力画像生成手段と、 前記出力画像生成手段によって生成された画像を出力す
   る画像出力手段とを具備し、 前記出力画像生成手段は、識別された領域毎に分割して
   別々の画像とすることを特徴とする文書処理装置。
4. 【請求項４】 画像データとして読み込まれた文書画像
   より、関連するひとまとまりの領域を抽出する領域抽出
   手段と、 前記領域抽出手段により抽出された領域をその特徴量に
   より分類する領域識別手段と、 前記領域識別手段により識別された結果に応じて出力画
   像を生成する出力画像生成手段と、 前記出力画像生成手段によって生成された画像を出力す
   る画像出力手段と、 前記画像出力手段により出力された画像を蓄積する画像
   蓄積手段と、を具備することを特徴とする文書処理装
   置。
5. 【請求項５】 画像データとして読み込まれた文書画像
   より、関連するひとまとまりの領域を抽出する領域抽出
   手段と、 前記領域抽出手段により抽出された領域をその特徴量に
   より分類する領域識別手段と、 前記領域識別手段により識別された結果を表示する識別
   結果表示手段と、 前記識別結果を編集するための領域編集手段と、 前記領域編集手段によって編集された結果あるいは前記
   識別結果に対応した出力画像を生成する出力画像生成手
   段と、 前記出力画像生成手段によって生成された画像を出力す
   る画像出力手段と、 前記画像出力手段により出力された画像を蓄積する画像
   蓄積手段と、を具備することを特徴とする文書処理装
   置。
6. 【請求項６】 前記画像出力手段により出力する画像と
   既に前記画像蓄積手段に蓄積されている画像との類似性
   を計測する類似性計測手段を具備し、 前記画像出力手段は、類似性計測手段により計測された
   類似性を利用して、類似性の度合いにより既に前記画像
   蓄積手段に蓄積されている画像であるか否かを判断して
   既蓄積画像は出力しない構成とすることを特徴とする請
   求項５または６いずれか１項記載の文書処理装置。
7. 【請求項７】 画像蓄積手段に蓄積される画像の入力画
   像の属性情報および入力画像上の位置情報のうち、少な
   くとも１つの情報を設定しておく関連情報設定手段を具
   備することを特徴とする請求項４または５または６いず
   れか１項記載の文書処理装置。
8. 【請求項８】 画像データをコード化あるいはベクトル
   化する画像コード化手段を具備し、 前記出力画像生成部は、前記領域識別手段により識別さ
   れた結果に応じて領域内の画像データをコード化あるい
   はベクトル化することを特徴とする請求項１または３ま
   たは４または５いずれか１項記載の文書処理装置。
9. 【請求項９】 画像データとして読み込まれた文書画像
   より、特定の領域を抽出する領域抽出ステップと、 前記領域抽出ステップにより抽出された領域をその特徴
   量により分類する領域識別ステップと、 前記領域識別ステップにより識別された結果を表示する
   識別結果表示ステップと、 前記識別結果を編集するための領域編集ステップと、 前記領域編集手段によって編集された結果あるいは前記
   識別結果に対応した出力画像を生成する出力画像生成ス
   テップと、を具備することを特徴とする文書処理方法。
10. 【請求項１０】 画像データとして読み込まれた文書画
    像より、関連するひとまとまりの領域を抽出する領域抽
    出ステップと、 前記領域抽出ステップにより抽出された領域をその特徴
    量により分類する領域識別ステップと、 前記領域識別ステップにより識別された結果に応じて出
    力画像を生成する出力画像生成ステップと、 前記出力画像生成ステップによって生成された画像を蓄
    積する画像蓄積ステップと、を具備することを特徴とす
    る文書処理方法。
11. 【請求項１１】 画像データとして読み込まれた文書画
    像より、関連するひとまとまりの領域を抽出する領域抽
    出ステップと、 前記領域抽出ステップにより抽出された領域をその特徴
    量により分類する領域識別ステップと、 前記領域識別ステップにより識別された結果を表示する
    識別結果表示ステップと、 前記識別結果を編集する領域編集ステップと、 前記領域編集ステップによって編集された結果あるいは
    前記識別結果に対応した出力画像を生成する出力画像生
    成ステップと、 前記出力画像生成ステップによって生成された画像を蓄
    積する画像蓄積ステップと、を具備することを特徴とす
    る文書処理方法。
12. 【請求項１２】 入力された文書画像から傾きを検出す
    る傾き検出手段と、 前記傾き検出手段によって検出された傾きに対して水平
    または垂直方向における前記文書画像の連結成分領域
    を、画像の傾きを補正せずに抽出する領域抽出手段と、 前記領域抽出手段の抽出した領域の情報に基づいて連結
    成分領域の形状を求めることにより、領域の属性を識別
    する領域識別手段と、 識別された属性に応じて変形または濃度変換の少なくと
    も１つを実施して出力画像データを生成する出力画像生
    成手段と、を具備することを特徴とする文書処理装置。
13. 【請求項１３】 識別された属性が同一かつ隣接する複
    数の前記領域を統合する領域統合手段を具備することを
    特徴とする請求項１２記載の文書処理装置。
14. 【請求項１４】 領域統合手段は、前記傾きに対して水
    平または垂直方向のうち、少なくとも一方において領域
    を統合することを特徴とする請求項１３記載の文書処理
    装置。
15. 【請求項１５】 出力画像生成手段は、前記傾きに従っ
    て、前記領域毎に必要に応じて傾き補正処理を行うこと
    を特徴とする請求項１２ないし１４いずれか１項記載の
    文書処理装置。
16. 【請求項１６】 画像データとして読み込まれた文書画
    像より、関連するひとまとまりの領域を抽出する領域抽
    出手段と、 前記領域抽出手段により抽出された領域をその特徴量に
    より分類および分割する領域識別手段と、 前記領域識別手段により識別された結果に応じて出力画
    像を生成する出力画像生成手段と、 前記出力画像生成手段により生成された画像を出力する
    画像出力手段と、を具備することを特徴とする文書処理
    装置。