JP3997696B2

JP3997696B2 - 画像処理のための装置、方法及び記録媒体

Info

Publication number: JP3997696B2
Application number: JP2000206582A
Authority: JP
Inventors: 葉子藤原
Original assignee: Konica Minolta Business Technologies Inc
Current assignee: Konica Minolta Business Technologies Inc
Priority date: 2000-07-07
Filing date: 2000-07-07
Publication date: 2007-10-24
Anticipated expiration: 2020-07-07
Also published as: JP2002027228A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像認識機能付き画像処理装置に関する。
【０００２】
【従来の技術】
多くの文書が電子データとしてやり取りされるようになってきているが、依然として紙データで大量の文書を受け取る場合も多々ある。例えば数十ページに及ぶ紙の資料などを受け取った場合など、紙で保存すると保存スペースを要する。一方、紙資料をスキャンして電子データに変換してもファイルサイズが大きくハードディスクの容量を消費する。このような紙原稿を複写する場合、ファイルスペースを節約したり、配布用の紙を節約したりするため、複数ページを縮小して１枚の用紙に出力する形式の割付コピーがよく使用される。
従来から、電子データ量を減らす１つの方法として、原稿を読み取って得られた画像データに対して、文字認識(ＯＣＲ)ソフトを用いて文字認識を行い、文字画像データを文字コード化することが知られている。これにより、画像データとして保存していた内容を文字コードデータで保存できるので、電子データ量を大幅に減らすことができる。
【０００３】
【発明が解決しようとする課題】
プレゼンテーション資料などでは、視覚的効果を狙って共通に使用される背景画像部分が多い。このために、複数ページを縮小して１枚の紙に出力すると、内容と関係のない背景画像部分があって読み難いとか、背景部が広くて文字や図が小さくなり読みにくい、という問題があった。
一般に文字認識(OCR)ソフトでは、画像データを文字コードに変換できるが、文字画像以外の図形・写真などの画像部分はそのままビットマップとしてファイルに保存される。上述の問題に対処するために、文字のみを出力するように設定できる文字認識ソフトを用いることも可能である。しかし、この場合、文書中に重要な内容の図や写真があっても、これらは文字以外の画像に相当するので、出力ファイルには保存されない。従って、重要な図表が捨てられてしまい、本来の複写の目的が達成できない。
【０００４】
本発明の目的は、共通画像を含む複数ページの画像を文字認識を用いて効率的に処理する画像処理装置を提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る画像処理装置は、複数ページからなる画像が入力された場合に、各ページにおける共通の画像を認識する共通画像認識手段と、前記複数ページからなる画像から共通の画像を除去する共通画像除去手段と、共通画像除去手段により共通画像が除去された複数ページからなる画像を出力する画像出力手段とを有する。ここで、前記画像出力手段は、各ページについて、共通画像が除去された画像を当該ページ内に拡大して出力する。
前記画像処理装置は、好ましくは、さらに、共通画像認識手段により共通画像が除去された複数ページからなる画像を１ページの画像に編集する画像編集手段を有する。
前記画像処理装置は、好ましくは、さらに、複数ページからなる画像から文字を認識する文字認識部と、文字認識部により認識された文字を画像から除去する文字除去手段とを備え、前記共通画像認識手段は、文字除去手段により文字が除去された各ページの画像を比較することにより、共通画像を認識する。
前記画像処理装置において、好ましくは、前記の文字除去手段は、文字を除去した部分の画像を背景画像に置き換える。
【０００６】
本発明に係る画像処理方法は、複数ページからなる画像が入力された場合に、各ページにおける共通の画像を認識し、前記複数ページからなる画像から共通の画像を除去し、共通画像が除去された複数ページからなる画像を出力することを特徴とする。ここで、画像を出力するとき、各ページについて、共通画像が除去された画像を当該ページ内に拡大して出力する。
【０００７】
本発明に係るコンピュータ読み取り可能な記録媒体は、複数ページからなる画像が入力された場合に、各ページにおける共通の画像を認識するステップと、前記複数ページからなる画像から共通の画像を除去するステップと、共通画像が除去された複数ページからなる画像を出力するステップとからなるプログラムを記録する。ここで、画像を出力するステップでは、各ページについて、共通画像が除去された画像を当該ページ内に拡大して出力する。
【０００８】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。
図１は、文字認識を用いるデジタル複写装置を含むシステムの構成を示す。デジタル複写装置１００は、原稿を読み取って画像データを出力する画像読取部２００と、画像データを処理して印字データを生成する画像処理部３００と、印字データを基に画像を用紙上に形成する画像形成部４００を備える。また、デジタル複写装置１００は、ネットワーク５００を介してコンピュータ６００とも接続される。ネットワーク５００に接続されているので、コピー機能のほかにスキャン機能とプリント機能をそれぞれ独立に使用できる。これにより、画像読取部２００から入力され画像処理されたデータをコンピュータ６００に送信でき、また、コンピュータ６００から送信されたデータを画像形成部４００でプリントできる。さらに、画像読取部２００は、束ねて載置された原稿を１枚ずつ画像読取位置へと搬送する自動搬送装置を有している。
【０００９】
図２は画像処理部３００を示す。画像処理部３００は、画像読取部２００とのインターフェイス部３０２、画像形成部４００とのインターフェイス部３０４、ＯＣＲ前処理部３０６、文字認識部(ＯＣＲ部)３０８、共通画像認識部３１０、変倍部３１２、複数のぺージを処理するための画像メモリ３１４、Ｎin１合成部３１６および操作パネル部３２２からなる。なお、画像処理部３００は、ハードディスク装置などの記憶装置３２０を備え、文字認識部３０８、共通認識部３１０などで用いるプログラムなどを格納する。ここで、ＯＣＲ前処理部３０６は、原稿の読み取りデータの２値化などを行う。文字認識部３０８は、２値化画像データから文字を認識して文字コードを出力する。共通画像認識部３１０は、複数のぺージからなる入力画像から各ページにおける共通の画像を認識する。
【００１０】
Ｎページの原稿を縮小して１枚の用紙に出力する形式の割付コピー（以下では、Ｎページを縮小して１ページの用紙に出力するコピーをＮin１コピーという。）の場合には、まず、画像読取部２００において、操作パネル３２２で、２in１、４in１などのモードを指定して、何枚の原稿を１枚の用紙にプリントするかを決定する。Ｎin１モードが指定された場合、または、通常コピーモードでオプションを選択した場合には、操作パネル３２２において、図３に示すような「背景除去」、「背景トリミング」の２つのオプション処理を選択する画面が表示される。自動原稿搬送装置に置かれた原稿は、この指定に従って処理される。
【００１１】
以下、Ｎin１コピーについて説明する。なお、１枚の原稿を１枚の用紙にプリントするコピーは、Ｎin１コピーのＮ＝１の処理と同様である。比較のため、図４に、従来のＮin１コピーの例を示す。左側に示すような複数枚の原稿において、各ページに共通の画像が含まれている。この場合、右側に示す８in１コピー（Ｎ＝８）において、各ページの画像がそのまま縮小される。これに対し、図５は、本実施形態において「背景除去」オプションが選択された場合のコピー出力例を示す。「背景除去」オプションが選択された場合には、８in１コピーの対象である８ぺージの原稿に共通の画像（背景画像）を認識し、認識された背景画像を除去して文字や内容部分にあたる画像のみプリントする。また、図６は、「背景トリミング」オプションが選択された場合のコピー出力例を示す。「背景トリミング」オプションが選択された場合には、８枚のぺージの原稿に共通の背景画像を認識し、認識された背景画像を除去し、背景のみに存在する領域をトリミングして、文字や内容部分にあたる画像領域を１ページ内に拡大した後、８ページを１枚の用紙に配置してプリントする。
【００１２】
ここで、同じ画像処理に対する、これらユーザーが設定できるモードの構成は１通りに限られるものではない。例えば、「文字重視コピー」が指定され、かつ、Ｎin１コピーが指定されている場合には、自動的に各ページに共通の背景画像を検出して、トリミングを行うというような設定なども考えられる。
【００１３】
以上のモード設定とは別に、この複写装置には、文字認識機能が搭載されており、コピーする際、文字を認識して文字コードをプリントするモードを選択できる。(以下、このモードをＯＣＲコピーモードと呼ぶ。)以下、このＯＣＲコピーモードでの処理が指定されている場合を中心に説明する。
【００１４】
図７に画像処理部３００の全体の処理フローを示す。インターフェース３０２では、原稿の読み取りによって得られた複数ページ（Ｎページ）の画像データを画像読取部２００から受け取る（Ｓ１０）。文字認識部３０８ではモノクロ２値画像から特徴量を抽出して文字認識を行うので、ＯＣＲ前処理部３０６は、前処理として、文字認識部３０８に入力するデータを作成するため、ＲＧＢで表示されたカラー画像データから、文字が黒、背景が白のモノクロ２値データを作成する（Ｓ１２）。２値化では、下地部のレベルと文字部のレベルを検出して２値化しきい値を決めるなどの方法を用いて、白地に書かれた色文字や色地に書かれた黒文字なども十分文字として認識できるようにする。ＯＣＲ前処理は、他に、孤立点などのノイズ除去、原稿の傾き補正処理、つぶれ文字やかすれ文字の補正なども含む。
【００１５】
次に、ＯＣＲ前処理後、モノクロ２値データは、文字認識部３０８に入力され、文字認識処理が行われる（Ｓ１４）。文字認識部３０８では、認識した文字の文字コードと文字サイズと各文字の位置が出力される。文字の位置とは、図８の下側に示すような１文字毎の外接矩形の座標位置で表される。それらの外接矩形の位置データをもとにページごとに文字位置の最大値と最小値を求めることにより、図８の上側に示すように、各ぺージ内の文字領域を検出し、これを基に全Ｎページのトータルの文字領域を決定する（Ｓ１６）。この文字位置情報は、共通画像領域が求められた後に用いられる。
【００１６】
次に、認識された文字をもとの画像から除去する（Ｓ１８）。認識された文字を画像データから除去する処理を図９により説明する。まず、２値化された文字に対し近傍５＊５の最小値をとるフィルター処理を行い、文字部分を膨張させる。次に、その膨張させた文字データと文字認識部３０８により求められている文字外接矩形とのＡＮＤをとり、カラー画像のその画素のデータを白に書き換える。これにより、文字部分は白く抜き取られる。文字の除去された画像は、文字が白地に書かれている場合であれば白地に、また色のついた背景部などに書かれている場合は周りの背景画像で補完された背景画像になる。
【００１７】
このようにして、文字の除去された画像に対して、共通画像認識部３１２は、Ｎページにおける共通の画像（背景画像）の認識処理を行う（Ｓ２０）。図１０を用いて、共通画像認識（図７、Ｓ２０）をより詳細に説明する。
図１０のフローチャートは、例えばＮページからなる原稿において、１ページ目と２ページ目の画像データ、２ページ目と３ページ目の画像データ、３ページ目と４ページ目の画像データ、・・・を比較していき、これらの比較結果に基いて共通画像の有無、及び、共通画像が存在する領域を決定するものである。まず、ページ番号を表わす変数ｎの初期値を１とする（Ｓ１００）。次に、全Ｎページの画像データを、図１１に示すフィルタを用いて平滑化する（Ｓ１０２）。平滑化は、原稿内に含まれる網点画像が共通画像認識結果に悪影響を及ぼすことがあるために行われる。本実施形態においては、全画像データに対して平滑化を行うが、後述するような画像データの比較に用いられる領域のみに対して平滑化を行うようにしてもよい。
【００１８】
次に、平滑化処理した画像を、図１２に示すようなブロックに分割して（Ｓ１０４）、ブロックごとに前述のように２ページづつ比較していく（Ｓ１０６）。例えば、ｎページと(ｎ＋１)ページを比較する場合、ｎページのそれぞれのブロックの中心画素の値をそのブロックの代表値とし、(ｎ＋１)ページの同じ位置のブロック内に同じ画像データが存在するかどうかを調べる（Ｓ１０８）。ブロック毎に比較するときに、このようにブロック分だけ位置に許容範囲を持たせて比較するのは、原稿がプリントされるときの位置精度や、原稿が画像読取部２００などで入力されるときの位置精度の問題から、同じ背景画像であっても全く同じ位置にあるのではなく、少しずれているからである。ブロックの大きさは、本実施形態では１７＊１７画素に設定している。次に、ｎページと(ｎ＋１)ページの画像について、ブロック内の各画素の赤、緑、青の入力画像データＲ，Ｇ，Ｂそれぞれの差の合計の最小値ΔＶを求める。
即ち、
ΔＶ(i,j)＝Ｍｉｎ(Ｒ_n+1(i, j, k, l)−Ｒ_n(ｉ,j))，Ｇ_n+1(ｉ, j, k, l)−Ｇ_n(i, j)，Ｂ_n+1(i, j, k, l)−Ｂ_n(i, j))
ここに、(ｉ,ｊ)は(ｘ,ｙ)ブロック番号であり、(ｋ,ｌ)はブロック内の画素位置である。(本実施形態では、ｋ、ｌは０〜１６の整数である。)そして、ΔＶの値に応じて、そのブロックの比較結果が同一の画像データか異なる画像データかを判別する。即ち、Ｖkを定数として、定数以下であれば、同じ画像データが存在したと判別して、そのブロックの比較結果は「同一」とする。
ΔＶ(i,j)≦Ｖkのとき、ブロック(i,j)の判別結果＝０(同一画像データ)
ΔＶ(i,j)＞Ｖkのとき、ブロック(i,j)の判別結果＝１(異なる画像データ)
ただし、ブロック内の１７＊１７の画素をすべて比較して、さらに、差の最小値を求めるのは非常に時間がかかるので、中心画素から順に比較していき、
ΔＶ(i,j)≦Ｖk
を満たす画素が見つかった時点で次のブロックの処理へ進むという方法でも、結果は同じである。図１３は、このような方法で、各ページの画像データを比較した判別結果の例を示す。共通画像と文字のみのぺージの場合（上側の例）では、基本的にぺージ全体が判別結果＝０(同一)となるが、共通画像以外の画像(以下、内容画像と呼ぶ)が存在するぺージの場合（下側の例）では、内容画像の部分が判別結果＝１(相違)となる。
【００１９】
さらに、文字部などで、偶然に同一画像データと判別されたブロックを除くために、判別結果＝０(同一)のブロックが孤立ブロックとして存在する場合は、孤立ブロックを除去する（Ｓ１１０）。孤立ブロックとは、判別結果＝０(同一)の注目ブロックに対し、８近傍すべてのブロックの判別結果の値が０でないようなブロックのことをいう。
【００２０】
次に、ｎをインクリメントし（Ｓ１１２）、ｎが全ページＮを越えない場合は（Ｓ１１４）、まだ処理されていないページがあるので、ステップＳ１０４に戻り、上述の処理を繰り返す。
【００２１】
全ページについて上述の処理が終わると、図１４に示すようにＮページ分の判別データから、各ブロックについて、判別データのうち判別結果＝０(同一)の個数をカウントし（Ｓ１１６）、その値によってブロック毎に、共通背景画像のみ、共通背景画像＋内容画像、共通背景画像なしの３つに判別する（Ｓ１１８）。即ち、
（１）カウント数＝Ｎのとき、共通背景画像のみのブロック
（２）ｋ＜カウント数＜Ｎのとき、共通背景＋内容画像
(０＜ｋ＜Ｎ、ここにｋは定数)
（３）カウント数＝０のとき、共通画像なし
という３つに判別する。このように、ページ内すべてのブロックについて、判別結果＝０(同一)の個数を数えて、判別し、共通画像のみの領域が求められる。ここで、共通画像の画像データは、判別結果＝０(同一)となっているぺージの文字除去後の画像データを採用すればよく、共通画像が認識されたことになる。
【００２２】
図７に戻って説明を続けると、さらに、共通画像＋内容画像と認識された領域について、求めた共通画像のデータと判別結果＝１(相違)となっているぺージの画像データをブロック毎に再度比較すると、共通画像でない画像データが認識され、内容画像の存在するぺージが確定できる（Ｓ２２）。これら内容画像が存在する領域は、消去や、トリミングをしてはいけない領域であり、その領域を共通画像以外の画像データとして残さなければならない。共通画像が認識された後、文字認識部３０８から出力された文字領域と共通画像認識部３１０から出力された共通画像のみが存在する領域のデータを用いて、共通画像として除去またはトリミングをする部分が決定される。Ｓ１６について説明したように、Ｎページトータルの文字領域が求められており、以上の処理で、Ｎページ分の最大文字領域と共通画像のみの領域がわかる。
【００２３】
次に、背景トリミングオプションが選択されている場合は（Ｓ２４でＹＥＳ）、その領域データをもとに倍率を設定する（Ｓ２６）。また、背景トリミングオプションが選択されていない場合は、共通画像（背景画像）のみの画像を除去する。
【００２４】
図１５はトリミングおよび背景除去領域を示す。図に示すとおり、文字領域と内容画像領域のＯＲをとることにより、残さなければならない領域、即ち、必要な領域が求められる。図の斜線領域は、(文字を除いて)共通の背景画像のみが存在する領域を表し、文字領域の部分が必要な領域を表している。従って、トリミング時の倍率β'は、必要な領域の横の長さをＬx、縦の長さをＬy、原稿の縦の長さをＬpx、横の長さをＬpyとすると、次のように求められる。
β'＝Ｍｉｎ(Ｌpx/Ｌx，Ｌpy/Ｌy)*β
ここに、βは、トリミングなしの時のＮin１コピーによる倍率である。ただし、実際は、余白を考慮する必要があるので、Ｌx、Ｌyに適当な余白分を足しておき、同様の計算を行う方がよい。
【００２５】
一方、背景除去オプションが選択されている時は、必要な領域以外の画像をすべて消去する。必要領域に関しては、文字認識部３０８で認識された文字コードを配置すればよい。また、文字以外の画像であって残す必要のある内容画像の領域も、各ページの判別データからわかっているので、ビットマップ画像として配置する。
背景除去あるいはトリミング時の倍率設定を行った後は、通常のＮin１コピーの変倍（Ｓ２８）とレイアウト処理（Ｓ３０）とを行い、プリント用データを出力する。
【００２６】
以上のような手順で、プレゼンテーション資料のような共通画像のある複数ページの原稿から共通画像を認識することにより、共通画像以外の画像部分（内容画像）を残しながら共通画像を除去したり、共通画像のみが存在する領域をトリミングして出力することができる。
【００２７】
この実施形態では、ＯＣＲによる文字認識を行う場合の処理例を示した。ここで、共通画像認識の前に文字認識処理を行い、文字領域認識を行うと同時に、認識した文字を除去する処理を行った。しかし、文字認識を行わない場合でも、同様の機能を実現することができる。すなわち、文字も含めた画像を直接比較して共通画像を認識することにより、細かい認識方法に違いはあるものの、同様の割付コピー（Ｎin１コピー）を実現できる。
【００２８】
【発明の効果】
本発明では、複数ページの原稿について、通常のコピーまたは割付コピーをする際、複数のページからなる画像に共通の画像（背景画像）を認識し、ユーザーの指示に応じて、共通画像を除去することにより、共通画像のない文字の読みやいコピー出力を得ることができる。
さらに、ユーザーの指示に応じて、共通画像のみが存在する領域をトリミングして余白を少なくして出力することにより、通常のコピーまたは割付コピーより大きな文字サイズで印字された読みやすいコピー出力を得ることができる。
【図面の簡単な説明】
【図１】システムの構成を示す図
【図２】画像処理部の構成を示す図
【図３】操作パネルの表示の図
【図４】従来の割付コピーの１例の図
【図５】背景除去オプション指定時の出力の説明図
【図６】背景トリミングオプション指定時の出力の説明図
【図７】全体の処理フローチャート
【図８】文字領域を説明するための図
【図９】文字削除を説明するための図
【図１０】共通画像認識の処理フローチャート
【図１１】平滑化フィルターの図
【図１２】画像比較を説明するための図
【図１３】判別結果の例の図
【図１４】Ｎページ分の判別結果の比較の図
【図１５】倍率計算を説明するための図
【符号の説明】
１００ネットワーク、２００画像読取部、３００画像処理部、３０８文字認識部、３１０共通画像認識部、３１６Ｎin１合成部、４００画像形成部、６００コンピュータ。

Claims

複数ページからなる画像が入力された場合に、各ページにおける共通の画像を認識する共通画像認識手段と、
前記複数ページからなる画像から共通の画像を除去する共通画像除去手段と、
共通画像除去手段により共通画像が除去された複数ページからなる画像を出力する画像出力手段と
を有し、前記画像出力手段は、各ページについて、共通画像が除去された画像を当該ページ内に拡大して出力することを特徴とする画像処理装置。
さらに、前記共通画像認識手段により共通画像が除去された複数ページからなる画像を１ページの画像に編集する画像編集手段を有することを特徴とする請求項１に記載の画像処理装置。
さらに、複数ページからなる画像から文字を認識する文字認識部と、文字認識部により認識された文字を画像から除去する文字除去手段とを備え、
前記共通画像認識手段は、文字除去手段により文字が除去された各ページの画像を比較することにより、共通画像を認識することを特徴とする請求項１に記載の画像処理装置。
前記文字除去手段は、文字を除去した部分の画像を背景画像に置き換えることを特徴とする請求項３に記載の画像処理装置。
複数ページからなる画像が入力された場合に、各ページにおける共通の画像を認識し、
前記複数ページからなる画像から共通の画像を除去し、
共通画像が除去された複数ページからなる画像を出力し、
この画像の出力において、各ページについて、共通画像が除去された画像を当該ページ内に拡大して出力することを特徴とする画像処理方法。
複数ページからなる画像が入力された場合に、各ページにおける共通の画像を認識するステップと、
前記複数ページからなる画像から共通の画像を除去するステップと、
共通画像が除去された複数ページからなる画像を出力するステップとからなり、
この画像の出力するステップにおいて、各ページについて、共通画像が除去された画像を当該ページ内に拡大して出力する
プログラムを記録するコンピュータ読み取り可能な記録媒体。