JP5979950B2 - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関する。

近年、文書を作成する際、単に文字を打ち込むのみならず、フォントに装飾を凝らしたり、図を自由に作成したり、あるいは写真等を取りこんだりといった、高度な機能が用いられるようになっている。

作成物の内容が高度になるほど、文書をまったく新規から作成する場合には大きな労力が必要とされる。従って、できるだけ過去に作成した文書の一部をそのまま、あるいは加工編集したものを再利用できるようにすることが望まれている。

また、インターネットに代表されるようなネットワークの広がりにより、文書が電子的に配布される機会も増えたが、電子文書が紙に印刷された紙文書で配布されることも多い。

紙文書しか手元に存在しない場合でも、紙文書の内容を再利用可能なデータとして得られるようにするための技術が考えられている。

例えば、紙文書を電子的に読み込ませた際に、その内容と一致する文書をデータベースから検索して取得し、読み込んだ紙文書のデータの代わりに利用できる技術が開示されている（例えば、特許文献１参照）。

また、同一の文書がデータベースから検索できなかった場合は、紙文書の内容を再利用が容易な電子データへと変換するため、この場合も紙文書の内容を再利用することができる。

このような紙文書からのデータに関し、文書画像中の文字情報を再利用が容易な電子データへと変換する技術として、ＯＣＲ技術がある。また、線や面で構成される図画情報を再利用が容易なデータへと変換する技術として、ベクトル化の技術がある。

こうした技術を用いて、特許文献１では、文書画像中の文字を文字コードにしたり、図形の輪郭をベクトルデータにすることで、再利用可能なデータへと変換する技術が開示されている。

さらに、特許文献１では、文書画像中の文字、線画、自然画、表などの領域を識別し、各領域の関係をツリー構造で表現するデータを構築する技術が開示されている。

そして、この技術では、同構造に従って上記文字コードやベクトルデータ、画像データ等を配置することで、アプリケーションで編集可能な電子文書ページへの変換を行っている。

こうして得られたデータは、元文書と同等のレイアウトを持ち、文書作成アプリケーション等で新規作成した電子文書ページと同様、文字や図形の位置やサイズの変更、さらに幾何学的な変形や色付けなどを容易に行うことができるデータとなっている。

また、文書画像中の表形式領域の構造を認識する技術がある。例えば、表内の矩形枠領域によって構成される行列構造を取得する技術が開示されている（例えば、特許文献２参照）。

この技術によって得られる枠領域の行構造と、上記技術による枠内文字のＯＣＲ結果を組み合わせることで、文書画像中の表領域を、表構造を持つ電子データへと変換することが可能である。

特開２００４−２６５３８４号公報 特開平１−１２９３５８号公報

上述した従来技術により、ベクトルデータや切り出し画像（文字、線画、自然画、表などの領域（オブジェクト））を示す前景画像と背景画像に分けることができる。

この背景画像は、元の画像から、前景画像が存在する領域の画素情報を消去することによって生成される。

図６は、背景画像を説明するための図であり、（Ａ）は元の画像を示し、（Ｂ）は背景画像を示している。

図６（Ａ）における線図形部分、すなわち文字画素塊６０１〜６０３、線画画素塊６０８、及び表枠画素塊６０４の線図形部分画素は、（Ｂ）の背景画像において、周辺の画素色で塗りつぶされた状態となっている。

また、自然画領域６０９に関しては、その矩形範囲全体が周辺の画素色で塗りつぶされた状態となっている。

このような背景画像に関して、ユーザの再利用性を高めるため、背景画像を付加せずにデータを生成する機能が知られている。

この機能を有効にすると、画像に文字データなどの前景画像が存在しないページに対しては、データが生成されないため、ページ（画像）そのものが出力されなくなってしまう。

従って、原稿のページ数と生成されたデータのページ数が異なってしまうという課題がある。ページ数が異なり、さらに原稿の枚数が多いと、どのページが抜けているか把握することが困難になる。

また、原稿を保持している人とデータ化された文書を受け取る人が異なる場合、受け取った人はページが抜けていることが分からない。

本発明の目的は、前景画像が抽出されないページが存在してもページ抜けが生じない仕組みを提供することにある。

上記目的を達成するために、請求項１の画像処理装置は、複数ページの画像のそれぞれのページの画像から前景画像を抽出する抽出手段と、前記複数ページの画像のそれぞれのページの画像から背景画像を除去する除去手段と、前記除去手段によって前記背景画像を除去する場合に、前記前景画像が抽出されないページのために、白紙ページを生成する生成手段と、前記抽出手段によって抽出された前景画像を含むページと、前記生成手段によって生成された白紙ページとを含むファイルを生成するファイル生成手段とを有することを特徴とする。

本発明によれば、前景画像が抽出されないページが存在してもページ抜けが生じないようにすることができる。

本発明の実施の形態に係るＭＦＰを含む画像処理システムの一例を示す図である。 図１におけるＭＦＰの概略構成を示す図である。 図２におけるＣＰＵにより実行される画像生成処理の手順を示すフローチャートである。 図２におけるＣＰＵにより実行される画像生成処理の変形例の手順を示すフローチャートである。 図４における告知画像を示す図である。 背景画像を説明するための図であり、（Ａ）は元の画像を示し、（Ｂ）は背景画像を示している。

以下、本発明の実施の形態について図面を参照しながら詳述する。なお、本実施の形態では、本発明に係る画像処理装置をＭＦＰ（Multi Function Peripheral）に適用した実施の形態について説明する。

図１は、本発明の実施の形態に係るＭＦＰ１００を含む画像処理システムの一例を示す図である。

図１において、画像処理システム１は、ＭＦＰ１００、プロキシサーバ１０３、及びクライアントＰＣ１０１で構成され、それらはＬＡＮ１０２により接続されている。

ＭＦＰ１００は、画像処理に係る複数種類の機能（例えば、複写機能、印刷機能、送信機能等）を実現する複合機である。

クライアントＰＣ１０１は、例えば、印刷データをＭＦＰ１００へ送信することで、その印刷データに基づく印刷物をＭＦＰ１００で印刷することが可能である。

また、ＬＡＮ１０２は、プロキシサーバ１０３を介して外部との通信を可能とするネットワーク１０４に接続されている。

このネットワーク１０４は、データの送受信が可能であればよい。ネットワーク１０４の具体例として、インターネットやＬＡＮやＷＡＮ、電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせが挙げられる。

また、クライアントＰＣ１０１、プロキシサーバ１０３の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。この構成要素の具体例として、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、及びマウスなどが挙げられる。

図２は、図１におけるＭＦＰ１００の概略構成を示す図である。

図２において、ＭＦＰ１００は、ＣＰＵ１１７、記憶部１１１、表示部１１６、操作部１１３、画像読み取り部１１０、印刷部１１２、データ処理部１１５、及びネットワークインタフェース１１４で構成される。

ＣＰＵ１１７は、ＭＦＰ１００全体を制御する。記憶部１１１は、ＲＯＭ、ＲＡＭ、ＨＤＤなどで構成される。ＲＯＭにはブートプログラムなどのプログラムが記憶される。ＲＡＭには、画像やプログラムが展開されたり、ワークエリアとして用いられる。ＨＤＤには、プログラム、画像、データベースなどが記憶される。

表示部１１６は、操作入力の状態表示、及び処理中の画像など、ユーザに対して情報を表示する。操作部１１３は、ユーザが操作するためのキーやボタンなどで構成される。また、表示部１１６にタッチパネルが設けられている場合には、そのタッチパネルも操作部１１３を構成する。

データ処理部１１５は、信号処理などのデータ処理を行う。ネットワークインタフェース１１４は、ＬＡＮ１０２に接続するためのインタフェースである。

画像読み取り部１１０は、オートドキュメントフィーダ（ＡＤＦ）を含み、原稿を光源で照射し、原稿反射像をレンズで固体撮像素子上に結像する。そして、画像読み取り部１１０は、固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）の画像として取得する。

印刷部１１２は、記録媒体に画像を印刷する。例えば、印刷部１１２は、上記画像読取信号に対応する画像などを記録媒体に印刷する。１つの原稿画像を複写する場合には、画像読み取り部１１０から得られた画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。

一方、複数の原稿画像を複写する場合には、一時的に記憶部１１１に１ページ分の記録信号を記憶させた後、これを印刷部１１２に出力するという処理を順次繰り返して、記録媒体上に画像を印刷させる。

また、印刷部１１２は、クライアントＰＣ１０１から出力されて、ネットワークインタフェース１１４により受信された印刷データを印刷する場合には、データ処理部１１５により処理されたラスタデータを用いて記録媒体に画像を印刷する。

さらに、ＭＦＰ１００は、画像をネットワークインタフェース１１４を介して送信する機能を有する。

送信時には、画像読み取り部１１０で取得された画像をデータ処理部１１５によって、ＴＩＦＦやＪＰＥＧ等の圧縮画像ファイル形式、あるいはＰＤＦ等のベクトルデータファイル形式の画像ファイルへと変換し、ネットワークインタフェース１１４から出力する。

出力された画像は、ＬＡＮ１０２を介してクライアントＰＣ１０１へ送信されたり、更にネットワーク１０４経由で外部端末（例えば、他のＭＦＰやクライアントＰＣ）に転送されたりする。

本実施の形態ではＭＦＰ１００を例に説明しているが、原稿を読み取り可能なスキャナ装置に本実施の形態を適用してもよい。

図３は、図２におけるＣＰＵ１１７により実行される画像生成処理の手順を示すフローチャートである。なお、ＣＰＵ１１７は、記憶部１１１に記憶されたプログラムを読み出して実行することによって、図３のフローチャートに示す処理を行う。

図３において、ＣＰＵ１１７は、画像読み取り部１１０に、原稿の１面を読み取らせ、１ページの画像を取得する。そして、ＣＰＵ１１７は、取得された画像から、データ処理部１１５により、前景画像を抽出する（ステップＳ１０１）。図６を例にすると、図６（Ｂ）に示される前景画像が抽出される。なお、取得された元画像は、前景画像と背景画像とに分けることができる。前景画像は、ベクトルデータや切り出される画像（文字、線画、自然画、表などの領域（オブジェクト））である。背景画像は、元画像から、前景画像が存在する領域の画素情報を消去することによって生成される画像である。図６の（Ａ）は元画像を示し、（Ｂ）は、元画像から前景画像が抽出された後の背景画像を示している。

次いで、ＣＰＵ１１７は、生成される画像に背景画像を付加するか否かを判別する（ステップＳ１０２）。ここでは、例えばユーザにより、生成される画像に背景画像を付加するか否かが設定されており、その設定に従ってＣＰＵ１１７は、生成される画像に背景画像を付加するか否かを判別する。

ステップＳ１０２の判別の結果、背景画像を付加する場合（ステップＳ１０２でＹＥＳ）、ＣＰＵ１１７は、前景画像及び背景画像が付加された画像を生成し（ステップＳ１０６）、本処理を終了する。

一方、ステップＳ１０２の判別の結果、背景画像を付加しない場合（ステップＳ１０２でＮＯ）、ＣＰＵ１１７は、抽出された前景画像があるか否か判別する（ステップＳ１０３）。

ステップＳ１０３の判別の結果、抽出された前景画像がある場合（ステップＳ１０３でＹＥＳ）、ＣＰＵ１１７は、前景画像のみの画像を生成し（ステップＳ１０５）、本処理を終了する。

一方、ステップＳ１０３の判別の結果、抽出された前景画像がない場合（ステップＳ１０３でＮＯ）、ＣＰＵ１１７は、白紙画像（前景画像の抽出ができなかったことを示す画像）を生成し（ステップＳ１０４）、本処理を終了する。

なお、Ｓ１０４、Ｓ１０５、Ｓ１０６で生成される画像は、それぞれ１ページのページ画像として生成される。原稿が複数枚ある場合や、原稿の両面を読み取る場合のように、画像が複数取得される場合、ＣＰＵ１１７は、原稿の読取面の数分、上記処理を繰り返し、各々の画像に対応する前景を含む画像、または白紙画像を生成する。ここで、ＣＰＵ１１７は、各々の画像に対応する前景を含む画像、または白紙画像を、予め定められた順番に並べた１つの文書データ（画像データ）を生成する。なお文書データは、ＣＰＵ１１７によって、ＴＩＦＦやＪＰＥＧ等の圧縮画像ファイル形式、あるいはＰＤＦ等のベクトルデータファイル形式の画像ファイルにファイル化されてもよい。

この予め定められた順番は、取得画像が取得された順番とすればよい。この順番は、文書データのページの順番となる。

また、上記取得画像が取得された順番についてであるが、例えば、複数の原稿が読み取られることで、読み取られた順番に従って画像が取得されるので、この順番が例として挙げられる。

また、図３のフローチャートに示す処理は、画像読み取り部１１０によって読み取ってＭＦＰ１００の記憶部１１１に記憶されている画像に対して、操作部１１３からの画像生成処理（前景抽出処理）の実行指示を受け付けた場合に行われてもよい。このとき、上述した予め定められた順番は、生成手段により前景を含む画像と、前景画像を抽出できなかったことを示す画像が生成された順番とすればよい。例えば、複数ページの文書データが記憶部１１１に記憶されており、その文書データに対して画像生成処理（前景抽出処理）の実行が指示された場合に、ＣＰＵ１１７は、その文書データに対して図３のフローチャートに示す処理を実行する。そのとき、元の文書データのページ順に画像生成処理が実行されるので、新たに生成される文書データのページ順は、生成手段により前景を含む画像と、前景画像を抽出できなかったことを示す画像が生成される順番とすればよい。

図３の画像生成処理は、画像読み取り部１１０により画像が取得されるごと、または記憶部１１１に記憶された元の文書データに含まれる各ページごとに実行される。このように前景画像が抽出されないときは、白紙画像を生成することで、ページ抜けを防止することができる。

具体的に、ステップＳ１０４では、前景画像が抽出されず、かつ取得画像の背景画像を、生成する画像に付加しない場合には、前景画像が抽出されなかったことを示す白紙画像が生成されるので、ページ抜けを防止することができる。また、ステップＳ１０５，１０６では、前景画像が抽出された場合には、前景画像を含む画像が生成される。前景画像を含む画像は、前景画像のみが付加された画像、または前景画像、背景画像が付加された画像である。このように、前景画像がない画像が存在しても白紙画像が生成されるので、前景画像がない画像が存在してもページ抜けが生じないこととなる。

図４は、図２におけるＣＰＵ１１７により実行される画像生成処理の変形例の手順を示すフローチャートである。

図４において、図３のステップと同じ処理を実行するステップには、同じ番号を用いているので、図３と異なる点は、ステップＳ２０４である。

そこで、ステップＳ１０３の判別の結果、抽出された前景画像がない場合（ステップＳ１０３でＮＯ）、ＣＰＵＩ１７は、前景画像の抽出ができなかったことを示す画像として告知画像を生成し（ステップＳ２０４）、本処理を終了する。

図５は、図４における告知画像６００を示す図である。

図５において、告知画像６００には、「このページは文字データがありません。」というメッセージが示され、元画像データうちの対応するページから前景画像が抽出されなかったことを告知するようになっている。これにより、元の画像が白紙画像だったのか、背景画像のみの画像であったのかが区別可能となる。

さらに、ＣＰＵ１１７は、リンク６００１を含む告知画像６００を生成するようにしてもよい。ＣＰＵ１１７は、前景画像が抽出されて前景画像が除かれた背景画像のみのページを、リンク６００１が指定された場合にのみ参照することができるページ（参考画像）として、生成される画像の最終ページ以降に付加しておく。それによって、そのリンク６００１が指定された場合に、その背景画像のみのページが表示される。

図４の処理では、前景画像が抽出されずかつ取得画像の背景画像を、生成する画像に付加しない場合には、告知画像に加え、前景画像が抽出されなかった取得画像の背景画像を含む参考画像を生成し、告知画像には参考画像へのリンクを含めるようにしている。

なお、Ｓ２０４、Ｓ１０５、Ｓ１０６で生成される画像は、それぞれ１ページのページ画像として生成される。そして、図４のフローチャートに示す処理でも、原稿が複数枚ある場合や、原稿の両面を読み取る場合のように、画像が複数取得される場合、ＣＰＵ１１７は、原稿の読取面の数分、上記処理を繰り返す。そして、ＣＰＵ１１７は、各々の画像に対応する前景を含む画像、または白紙画像を生成する。ここで、ＣＰＵ１１７は、各々の画像に対応する前景を含む画像、または白紙画像を、上述した予め定められた順番に並べた１つの文書データを生成する。なお文書データは、ＣＰＵ１１７によって、ＴＩＦＦやＪＰＥＧ等の圧縮画像ファイル形式、あるいはＰＤＦ等のベクトルデータファイル形式の画像ファイルにファイル化されてもよい。

また、上述した実施形態に示す方法で、生成された文書データは、ＣＰＵ１１７によって記憶部１１１に記憶される。この文書データは、操作部１１３または外部のクライアントＰＣ１０１からの指示を受け付けたことに従って、印刷されてもよいし、ネットワーク１０４を介して外部装置に送信されてもよい。なお、生成された文書データが印刷される場合に、ＣＰＵ１１７は、生成された画像データに含まれる参考画像以外の画像を印刷し、参考画像を印刷しないように制御してもよいし、参考画像も印刷するようにしてもよい。また、参考画像を印刷するか否かを、ユーザが、操作部１１３または外部のクライアントＰＣ１０１から設定できるようにしてもよい。また、生成された文書データが外部装置に送信される場合に、ＣＰＵ１１７は、生成された画像データに含まれる参考画像以外の画像を送信し、参考画像を送信しないように制御してもよいし、参考画像も送信するようにしてもよい。また、参考画像を送信するか否かを、ユーザが、操作部１１３または外部のクライアントＰＣ１０１から設定できるようにしてもよい。

（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ ＭＦＰ
１１０ 画像読み取り部
１１５ データ処理部
１１７ ＣＰＵ

Claims (10)

1. 複数ページの画像のそれぞれのページの画像から前景画像を抽出する抽出手段と、
   前記複数ページの画像のそれぞれのページの画像から背景画像を除去する除去手段と、
   前記除去手段によって前記背景画像を除去する場合に、前記前景画像が抽出されないページのために、白紙ページを生成する生成手段と、
   前記抽出手段によって抽出された前景画像を含むページと、前記生成手段によって生成された白紙ページとを含むファイルを生成するファイル生成手段と
   を有することを特徴とする画像処理装置。
2. 前記背景画像を除去するよう設定する設定手段をさらに有し、
   前記背景画像を除去するよう設定されている場合に、前記生成手段は、前記前景画像が抽出されないページのために、前記白紙ページを生成することを特徴とする請求項１記載の画像処理装置。
3. 複数ページの画像のそれぞれのページの画像から前景画像を抽出する抽出手段と、
   前記複数ページの画像のそれぞれのページの画像から背景画像を除去する除去手段と、
   前記除去手段によって前記背景画像を除去する場合に、前記前景画像が抽出されないページのために、前記前景画像が抽出できなかったことを示すページを生成する生成手段と、
   前記抽出手段によって抽出された前景画像を含むページと、前記生成手段によって生成された前記前景画像が抽出できなかったことを示すページとを含むファイルを生成するファイル生成手段と
   を有することを特徴とする画像処理装置。
4. 前記背景画像を除去するよう設定する設定手段をさらに有し、
   前記背景画像を除去するよう設定されている場合に、前記生成手段は、前記前景画像が抽出されないページのために、前記前景画像が抽出できなかったことを示すページを生成することを特徴とする請求項３記載の画像処理装置。
5. 原稿の画像を読み取る読取手段をさらに有し、
   前記抽出手段は、前記読取手段によって読み取られた原稿の複数ページの画像のそれぞれのページの画像から前景画像を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記抽出手段によって抽出された前景画像を含むページと、前記生成手段によって生成された前記ページを印刷する印刷手段をさらに有することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記ファイル生成手段によって生成されたファイルを、外部装置に送信する送信手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 複数ページの画像のそれぞれのページの画像から前景画像を抽出する抽出ステップと、
   前記複数ページの画像のそれぞれのページの画像から背景画像を除去する除去ステップと、
   前記除去ステップで前記背景画像を除去する場合に、前記前景画像が抽出されないページのために、白紙ページを生成する生成ステップと、
   前記抽出ステップで抽出された前景画像を含むページと、前記生成ステップで生成された白紙ページとを含むファイルを生成するファイル生成ステップと
   を有することを特徴とする画像処理装置の制御方法。
9. 複数ページの画像のそれぞれのページの画像から前景画像を抽出する抽出ステップと、
   前記複数ページの画像のそれぞれのページの画像から背景画像を除去する除去ステップと、
   前記除去ステップで前記背景画像を除去する場合に、前記前景画像が抽出されないページのために、前記前景画像が抽出できなかったことを示すページを生成する生成ステップと、
   前記抽出ステップで抽出された前景画像を含むページと、前記生成ステップで生成された前記前景画像が抽出できなかったことを示すページとを含むファイルを生成するファイル生成ステップと
   を有することを特徴とする画像処理装置の制御方法。
10. 請求項８または９に記載の画像処理装置の制御方法を、コンピュータに実行させるためのプログラム。

Images