JP4032734B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
原稿を読み取って得られた画像データから、写真領域、図形領域、および文字領域を判別し、それぞれの領域に適応した処理を行った後、各領域を合成した画像データを出力するという画像処理技術が知られている（たとえば、特開平５−３４２４０８号公報参照）。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、画像データ中の各領域の種類を誤り無く判別することが困難な場合がある。たとえば、画像データの中で、複数の異なる種類の領域が複雑なレイアウトで配置されている場合、あるいは相互に重なって配置されている場合には、領域の種類を誤判別するおそれが大きい。
【０００４】
たとえば、写真領域の中に図形領域が重なって配置されている場合、図形領域が判別されないで全体が写真領域と誤判別されて抽出されるおそれがある。したがって、抽出された領域に対して写真領域に適応した圧縮処理、たとえばＪＰＥＧ圧縮処理が施されると、写真領域の中の図形領域もＪＰＥＧ圧縮されてしまってエッジぼけなどのノイズが発生する。この結果、写真領域内の図形画像が劣化することになる。また、図形画像と文字画像とは主として線を構成要素としている点で共通しているため、図形領域であるにもかかわらず文字領域と誤判別されて、かかる領域に対して文字認識処理が実行されてしまうおそれもある。
【０００５】
このように、画像データから、図形画像が含まれる図形領域を重点的に抽出し、抽出された領域に対してベクタ変換処理などの図形領域に適応した処理を実行したい場合であっても、図形領域を確実に抽出することができないために、図形領域に対して不適切な処理が施されて画像の劣化を来たすおそれがあった。
【０００６】
一方、原稿の内容によっては、画像データ中の図形領域が重要である場合のほかに、写真領域が重要であって写真領域を高画質で再現したい場合、あるいは文字領域が重要であって他の領域の中の文字画像に対しても確実に文字認識処理を行いたい場合もある。
【０００７】
本発明は、上記従来技術の有する問題点に鑑みてなされたものであり、本発明の第１の目的は、読み取った画像データ中の図形領域に対して適切な処理を実行するために、当該画像データから図形領域を確実に抽出することである。また、本発明の第２の目的は、読み取った画像データ中の写真領域、図形領域、および文字領域のうちで、当該画像データの内容に応じて重要な領域を優先して確実に抽出することである。
【０００８】
【課題を解決するための手段】
本発明の上記目的は、下記の手段によって達成される。
【０００９】
（１）処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離手段を有する画像処理装置であって、前記領域分離手段は、前記画像データから、写真領域および文字領域よりも先に図形領域を抽出する図形領域最先抽出手段を備え、前記画像データから図形領域が抽出されて残ったデータから、写真領域と文字領域とを分離し、前記図形領域最先抽出手段は、前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第１図形領域抽出手段と、前記画像データから前記第１図形領域抽出手段により図形領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第２図形領域抽出手段とを有する、ことを特徴とする画像処理装置。
【００１０】
（２）前記領域分離手段は、前記画像データから図形領域が抽出されて残ったデータから、文字領域よりも先に写真領域を抽出する写真領域先行抽出手段をさらに備えていることを特徴とする上記（１）に記載の画像処理装置。
【００１１】
（３）前記領域分離手段は、前記画像データから図形領域が抽出されて残ったデータから、写真領域よりも先に文字領域を抽出する文字領域先行抽出手段をさらに備えていることを特徴とする上記（１）に記載の画像処理装置。
【００１２】
（４）前記第１領域分割処理は、前記画像データにおける写真領域、図形領域、または文字領域の部分とこれら以外の下地部分とを区別した２値画像のエッジを検出することにより、複数の所定領域に分割可能であり、前記第２領域分割処理は、前記画像データから図形領域と特定された領域が抽出されて残ったデータのエッジを検出することにより、前記所定領域よりも小さい複数の領域に分割可能であることを特徴とする上記（１）に記載の画像処理装置。
【００１３】
（５）処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離手段を有する画像処理装置であって、前記画像データから、写真領域、図形領域、および文字領域のうちで最先に抽出される領域を設定する設定手段を有し、前記領域分離手段は、前記画像データから、前記設定手段により設定された設定領域を最先に特定して抽出する設定領域最先抽出手段を備え、前記画像データから前記設定領域と特定された領域が抽出されて残った領域の種類が特定されていないデータから、残りの２つの領域を特定して分離し、前記設定領域最先抽出手段は、前記設定領域が写真領域または図形領域である場合、前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで前記設定領域と特定された領域を抽出する第１設定領域抽出手段と、前記画像データから前記第１設定領域抽出手段により設定領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで設定領域と特定された領域を抽出する第２設定領域抽出手段とを有する、ことを特徴とする画像処理装置。
（６）前記画像データから、前記写真領域、図形領域、および文字領域のうちで２番目に抽出される領域を設定する第２設定手段をさらに有し、前記領域分離手段は、前記画像データから前記設定領域と特定された領域が抽出されて残った領域の種類が特定されていないデータから、前記第２設定手段により設定された領域を先に特定して抽出する設定領域先行抽出手段をさらに備えていることを特徴とする上記（５）に記載の画像処理装置。
（７）原稿を読み取ることによって画像データを得る読取手段をさらに有し、前記処理しようとする画像データは、前記読取手段によって得られることを特徴とする上記（１）〜（６）のいずれか１つに記載の画像処理装置。
（８）処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離段階を有する画像処理方法であって、前記領域分離段階は、前記画像データから、写真領域および文字領域よりも先に図形領域を抽出する図形領域最先抽出段階を備え、前記画像データから図形領域が抽出されて残ったデータから、写真領域と文字領域とを分離する段階であり、前記図形領域最先抽出段階は、前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第１図形領域抽出段階と、前記画像データから前記第１図形領域抽出段階において図形領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第２図形領域抽出段階とを有する、ことを特徴とする画像処理方法。
（９）処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離手順を画像処理装置に実行させるための画像処理プログラムであって、前記領域分離手順は、前記画像データから、写真領域および文字領域よりも先に図形領域を抽出する図形領域最先抽出手順を備え、前記画像データから図形領域が抽出されて残ったデータから、写真領域と文字領域とを分離する手順であり、前記図形領域最先抽出手順は、前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第１図形領域抽出手順と、前記画像データから前記第１図形領域抽出手順において図形領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第２図形領域抽出手順とを有する、ことを特徴とする画像処理プログラム。
（１０）処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離段階を有する画像処理方法であって、前記画像データから、写真領域、図形領域、および文字領域のうちで最先に抽出される領域を設定する設定段階を有し、前記領域分離段階は、前記画像データから、前記設定段階において設定された設定領域を最先に特定して抽出する設定領域最先抽出段階を備え、前記画像データから前記設定領域と特定された領域が抽出されて残った領域の種類が特定されていないデータから、残りの２つの領域を特定して分離する段階であり、前記設定領域最先抽出段階は、前記設定領域が写真領域または図形領域である場合、前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで前記設定領域と特定された領域を抽出する第１設定領域抽出段階と、前記画像データから前記第１設定領域抽出段階において設定領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで設定領域と特定された領域を抽出する第２設定領域抽出段階とを有する、ことを特徴とする画像処理方法。
（１１）処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離手順を画像処理装置に実行させるための画像処理プログラムであって、
前記画像データから、前記写真領域、図形領域、および文字領域のうちで最先に抽出される領域を設定する設定手順を有し、前記領域分離手順は、前記画像データから、前記設定手順において設定された設定領域を最先に特定して抽出する設定領域最先抽出手順を備え、前記画像データから前記設定領域と特定された領域が抽出されて残った領域の種類が特定されていないデータから、残りの２つの領域を特定して分離する手順であり、前記設定領域最先抽出手順は、前記設定領域が写真領域または図形領域である場合、前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで前記設定領域と特定された領域を抽出する第１設定領域抽出手順と、前記画像データから前記第１設定領域抽出手順において設定領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで設定領域と特定された領域を抽出する第２設定領域抽出手順とを有する、ことを特徴とする画像処理プログラム。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１５】
図１は、本発明の実施形態にかかる画像処理装置を含む画像処理システムの全体構成を示すブロック図である。本画像処理システムは、画像処理装置１と、スキャナ２と、ファイルサーバ３とを備え、これらはコンピュータネットワーク４を介して相互に通信可能に接続されている。なお、コンピュータネットワークに接続される機器の種類および台数は、図１に示す例に限定されない。
【００１６】
図２は、本実施形態にかかる画像処理装置１の構成を示すブロック図である。図２において、画像処理装置１は、制御部１０１、記憶部１０２、操作部１０３、入力インタフェース部１０４、出力インタフェース部１０５、領域分離部１０６、画像処理部１０８、文書ファイル作成部１０９およびファイル形式変換部１１０を備えており、これらは信号をやり取りするためのバス１１１を介して相互に接続されている。
【００１７】
制御部１０１はＣＰＵであり、プログラムにしたがって上記各部の制御や各種の演算処理等を行う。記憶部１０２は、予め各種プログラムやパラメータを格納しておくＲＯＭ、作業領域として一時的にプログラムやデータを記憶するＲＡＭ、各種プログラムやパラメータを格納し、または画像処理により得られた画像データ等を一時的に保存するために使用されるハードディスク等からなる。
【００１８】
操作部１０３は、各種項目の設定、または動作開始の指示を行うためのキーや操作パネル等から構成される。図３に示すように、設定可能な項目としては、画像データの送信先、出力ファイル形式、原稿モード、スキャン条件、スキャン後処理等が挙げられる。
【００１９】
入力インタフェース部１０４は、画像データなどのデータや命令等を受信するためのインタフェースであり、出力インタフェース部１０５は、出力ファイルなどのデータや命令等を送信するためのインタフェースである。
【００２０】
領域分離部１０６は、画像データから、写真領域、図形領域、および文字領域を分離する。画像処理部１０８は、写真領域処理部１０８ａ、図形領域処理部１０８ｂおよび文字領域処理部１０８ｃからなる。各領域処理部１０８ａ〜１０８ｃは、領域分離部１０６によりそれぞれ抽出された文字領域、図形領域、および写真領域に対して、当該領域の種類に応じた適切な画像処理を施す。
【００２１】
文書ファイル作成部１０９は、写真領域処理部１０８ａ、図形領域処理部１０８ｂ、および文字領域処理部１０８ｃからそれぞれ送られる処理後の画像が含まれる各領域を合成して、内部ファイル形式により文書ファイルを作成する。ファイル形式変換部１１０は、内部ファイル形式により作成した文書ファイルを設定された出力ファイル形式に変換する。なお、出力ファイル形式としては、各種文書作成ソフトの文書形式や、ポストスクリプト（登録商標）、ＰＤＦ、ＪＰＥＧ、ＴＩＦＦ等の汎用フォーマットが挙げられる。
【００２２】
スキャナ２は、原稿を読み取って画像データを取得し、得られた画像データを画像処理装置に送信する。
【００２３】
ファイルサーバ３はコンピュータであり、コンピュータネットワーク４を介して受信したファイルを格納し、また転送要求に応じて格納したファイルをコンピュータネットワーク上の他の機器に転送する。
【００２４】
コンピュータネットワーク４は、イーサネット（登録商標）、トークンリング、ＦＤＤＩ等の規格によりコンピュータや周辺機器、ネットワーク機器等を接続したＬＡＮや、ＬＡＮ同士を専用線で接続したＷＡＮ等からなる。
【００２５】
次に、図４を参照して、本実施形態の画像処理装置１における処理の手順について説明する。なお、図４のフローチャートにより示されるアルゴリズムは、画像処理装置１の記憶部１０２にプログラムとして記憶されており、制御部１０１によって実行される。
【００２６】
まず、ステップＳ１０１では、各種項目の設定が行われる。すなわち、画像データの送信先、出力ファイル形式、原稿モード、スキャン条件、およびスキャン後処理についての設定が行われる。ここで、画像データの送信先の設定は、画像出力先装置のＩＰアドレス、ホスト名、メールアドレス等が入力されることにより行われる。出力ファイル形式の設定は、画像出力先装置に送信する出力ファイルのファイル形式が選択されることにより行われる。
【００２７】
原稿モードの設定は、写真画像が含まれる写真領域、図形画像が含まれる図形領域、および文字画像が含まれる文字領域のうちで、どの領域の画像を優先するかが選択されることにより行われる。ここで、写真画像とは、写真や絵柄などの連続的に変化する階調のある画像をいう。また、図形画像とは、線やベタ絵などのたとえばパソコンで作成された画像をいう。
【００２８】
図３に示すように、本実施形態では、ユーザは、操作部１０３を通して、原稿の内容に応じて、最も優先して処理したい領域（第１優先領域）と、２番目に優先して処理したい領域（第２優先領域）とを選択することができる。なお、ユーザによる第１優先領域および／または第２優先領域の選択が行われない場合には、所定のデフォルト値にしたがって領域の優先順位が決定される。
【００２９】
スキャン条件の設定は、スキャン領域、スキャン解像度、カラー／モノクロ等が指定されることにより行われる。スキャン後処理の設定は、文字認識処理、ベクタ変換処理、画像圧縮方法、減色方法、出力解像度等が指定されることにより行われる。
【００３０】
ステップＳ１０２では、画像処理の開始命令があるまで待機する。開始命令は、ユーザが操作部１０３のたとえばスタートキーを操作することにより行われる。
【００３１】
ステップＳ１０３では、スキャナ２に対して、出力インタフェース部１０５を介して原稿読み取り命令が送信される。ここで、スキャナ２は、画像処理装置１から原稿読み取り命令を受信すると、所定の位置にセットされた原稿を読み取って画像データを取得し、得られた画像データを画像処理装置１に送信する。
【００３２】
ステップＳ１０４では、スキャナ２から、入力インタフェース部１０４を介して画像データが受信されるまで待機する。ここで、スキャナ２から画像データが受信されると、受信した画像データ（ＲＧＢ画像データ）は記憶部１０２に保存される。
【００３３】
図５は、受信した画像データの一例を模式的に示す図である。図５に示される画像データは、写真画像ＰＩ１〜ＰＩ４、図形画像ＧＩ１〜ＧＩ３、文字画像ＣＩ１〜ＣＩ６、および下地Ｕから構成される。図示のように、写真画像ＰＩ１の中に図形画像ＧＩ３および文字画像ＣＩ１、ＣＩ３が配置されており、また、図形画像ＧＩ２の中に写真画像ＰＩ３、ＰＩ４および文字画像ＣＩ５、ＣＩ６が配置されている。ここで、下地とは、画像データにおける写真領域、図形領域、および文字領域以外の部分をいい、たとえば元の原稿の印刷されていない用紙の色が残っている部分に対応する画像データの部分をいう。
【００３４】
なお、画像処理の開始命令はコンピュータネットワーク４上の他の機器から、またはスキャナ２から入力されてもよい。
【００３５】
ステップＳ１０５では、領域分離部１０６により、スキャナ２から受信した画像データ、つまり処理しようとする画像データから、写真領域、図形領域、および文字領域が分離される。本実施形態では、領域分離部１０６は、操作部１０３を通したユーザによる選択によって設定された原稿モードにしたがって、画像データから第１優先領域を最先に抽出し、当該画像データから第１優先領域が抽出されて残ったデータから、残りの２つの領域を分離する。さらに、第２優先領域が選択されている場合には、画像データから第１優先領域が抽出されて残ったデータから、第２優先領域を先に抽出することによって残りの２つの領域を分離する。ここで、３種類の領域別に各画像が作成され、それぞれの領域は、各画像を含んだ領域として抽出される。この領域分離処理の手順についての詳細は後述する。
【００３６】
ステップＳ１０６では、ステップＳ１０５において分離された写真領域に対して、写真領域に適応した処理が行われる。すなわち、写真領域処理部１０８ａにより、写真領域内の写真画像は、たとえば、解像度変換が行われた後、カラー画像の非可逆圧縮処理が行われて、位置情報とともに記憶部１０２に保存される。
【００３７】
ステップＳ１０７では、ステップＳ１０５において分離された図形領域に対して、図形領域に適応した処理が行われる。すなわち、図形画像処理部１０８ｂにより、図形領域内の図形画像は、たとえば、スムージング処理、減色処理等が施された後、カラー画像の可逆圧縮処理が行われて、位置情報とともに記憶部１０２に保存される。
【００３８】
ステップＳ１０８では、ステップＳ１０５において分離された文字領域に対して、文字領域に適応した処理が行われる。すなわち、文字画像処理部１０８ｃにより、文字領域内の文字画像は、たとえば、２値化された後、１ビットデータの可逆圧縮処理が施されて、色情報、位置情報とともに記憶部１０２に保存される。
【００３９】
ステップＳ１０９では、文書ファイル作成部１０９により、写真領域処理部１０８ａ、図形領域処理部１０８ｂ、および文字領域処理部１０８ｃからそれぞれ送られた処理後の画像を含む上記３つの領域が合成されて、文書ファイルが作成される。
【００４０】
領域の合成は、たとえば図６（Ａ）に示すように、メモリ上に写真領域６００、図形領域７００、および文字領域８００を出力することにより行われる。ここで、図６（Ｂ）に示すように、写真領域６００内の写真画像６００ａ以外の部分、図形領域７００内の図形画像７００ａ以外の部分、文字領域８００内の文字画像８００ａ以外の部分がそれぞれマスク部６００ｂ〜８００ｂに指定される。なお、各領域６００〜８００は、画像６００ａ〜８００ａについての外接矩形で与えられる。マスク部は、メモリ上に先に記憶されている情報を有効とするためのマスク処理が行われる部分である。まず、写真領域６００と図形領域７００とがマスク処理されて配置され、その後に、文字領域８００がマスク処理されて配置される。すべての領域についてマスク処理を行う理由は、各領域内の画像が矩形である場合のみならず、他の領域の画像が中に入り込むような形状である場合を許容しているからである。こうして、図６（Ａ）に示すように、３つの領域内の画像が相互に欠損することなくメモリ上に出力されて、領域の合成が完了する。
【００４１】
文字領域を他の領域よりも後で配置する理由は、後述するように、領域分離処理の際に文字領域を抽出した後、文字画像が存在していた部分を元の画像データの背景部で補間する補間処理が行われているためである。つまり、文字領域を他の領域よりも先に配置すると、後で配置される領域内における補間された部分によって文字画像が隠されてしまうことを防止するためである。なお、図形領域を抽出した後、図形画像が存在していた部分に対しても補間処理が行われる場合には、写真領域、図形領域、文字領域の順番でメモリ上に出力される。
【００４２】
ステップＳ１１０では、ファイル形式変換部１１０により、ステップＳ１０９で作成された文書ファイルが、設定された出力ファイル形式に変換される。
【００４３】
ステップＳ１１１では、ステップＳ１１０で得られた出力ファイルが、出力インタフェース部１０５およびコンピュータネットワーク４を介してファイルサーバ３に送信される。
【００４４】
本実施形態では、ファイルサーバ３は、コンピュータネットワーク４を介して画像処理装置１から出力ファイルを受信すると、受信したファイルから文字画像および図形画像を展開し、文字画像に対して文字認識処理を施して文字コードデータに変換し、図形画像に対してベクタ変換処理を施してベクタデータに変換し、変換後の各データを写真画像とともに再度合成して、所定のファイル形式に変換して得られた文書ファイルをハードディスク等の記憶装置の所定のディレクトリに格納する。そして、コンピュータネットワーク４上の他の機器から当該ファイルの転送要求があると、格納した前記ファイルをコンピュータネットワーク４を介して前記他の機器に転送する。
【００４５】
次に、本実施形態における画像処理装置１の画像処理の特徴である図４に示したステップＳ１０５の領域分離処理の手順について、さらに詳細に説明する。
【００４６】
図７〜図１２は、原稿モードに応じた領域分離処理の手順を示すフローチャートである。図４のステップＳ１０１において設定される原稿モードは、全部で６種類ある。すなわち、原稿モードは、第１優先領域および第２優先領域が、それぞれ写真領域および図形領域である第１モード（図７参照）と、それぞれ写真領域および文字領域である第２モード（図８参照）と、それぞれ図形領域および写真領域である第３モード（図９参照）と、それぞれ図形領域および文字領域である第４モード（図１０参照）と、それぞれ文字領域および写真領域である第５モード（図１１参照）と、それぞれ文字領域および図形領域である第６モード（図１２参照）とからなる。
【００４７】
図７〜図１２の各領域分離処理は、２値化による領域分割、第１写真／図形領域抽出、エッジによる領域分割、第２写真／図形領域抽出、写真／図形領域抽出、および文字領域抽出という、各モードで内容が共通する処理ブロックを含んでいる。つまり、各領域分離処理は、原稿モードに応じて優先される領域がそれぞれ異なり、領域の優先度にしたがって、領域の抽出順がそれぞれ異なる。たとえば第１モードの場合、領域の優先度は、高い方から写真領域、図形領域、文字領域の順となり、領域の抽出順もこれと同じである。
【００４８】
以下、領域分離処理における各処理ブロックの内容について詳細に説明する。ここでは、例として図７の第１モードの処理順序と同じ順序で、各処理ブロックの内容について具体的な説明を行う。
【００４９】
（２値化による領域分割）
まず、図１３を参照して、２値化による領域分割の手順について説明する。
【００５０】
たとえば図５に示される受信した画像データに基づいて、明度からなる画像、つまり明度画像が作成される（ステップＳ３０１）。次に、明度画像から下地が除去され（ステップＳ３０２）、スムージングフィルタを使用するスムージング処理が行われる（ステップＳ３０３）。下地およびノイズが除去された明度画像は、下地の明度レベル（以下、「下地レベル」という。）で、２値化処理される（ステップＳ３０４）。これにより、図１４に示すように、下地以外の領域を黒く塗り潰した２値画像が得られる。この２値画像に対して、たとえば２次微分フィルタであるラプラシアンフィルタを使用することにより、エッジ検出が行われる（ステップＳ３０５）。続いて、モフォロジー処理の一種であるクロージング（膨張・侵食）処理を実行することにより、エッジが補間され、エッジから構成される画像、つまりエッジ画像が得られる（ステップＳ３０６、図１５参照）。図１５のエッジ画像は、図１４の２値画像の輪郭線に相当する。
【００５１】
このように下地レベルで２値化して得られた２値画像の輪郭線を検出することによって、相互に接する複数の領域がある場合にはこれらの領域を一つにまとめた形で、領域の分割が行われる。第１〜第４モードにおいては、図１４および図１５に示すような４つの大きな領域と文字領域とが得られる。ただし、文字領域が優先される第５および第６モードにおいては、２値化による領域分割よりも前に文字領域の抽出が行われるので、４つの大きな領域のみが得られる。
【００５２】
（第１写真／図形領域抽出）
次に、図１６および図１７を参照して、第１写真／図形領域抽出の手順について説明する。
【００５３】
第１写真／図形領域抽出に関する処理は、下地レベルで２値化して得られた２値画像の輪郭線によって区画された各領域（図１５の閉曲線で囲まれた領域）に対してそれぞれ実行される。まず、図１５のエッジ画像のエッジの位置に基づいて、第１方向、たとえば主走査方向に関するエッジ間線分の位置が検出される（ステップＳ４０１）。そして、注目エッジ間線分の位置に対応する明度画像の画素を使用して、たとえば図１８に示すようなヒストグラム（第１ヒストグラム）が作成される（ステップＳ４０２）。また、第１ヒストグラムに対して、平均値フィルタ（｜１｜０｜１｜）を使用するスムージング処理を行うことによって、たとえば図１９に示すような第２ヒストグラムが作成される（ステップＳ４０３）。続いて、下記の式にしたがって、階調毎に第１ヒストグラムHist１と第２ヒストグラムHist２の差を算出し、その合計を特徴量とする（ステップＳ４０４）。なお、明度は、８ビットデータで表され、２５６階調を有する。
【００５４】
【数１】

【００５５】
次いで、注目エッジ間線分に位置する総画素数Ｎ１と所定の定数Ｔ１との比率Ｒ１（＝Ｎ１／Ｔ１）が、算出される（ステップＳ４０５）。定数Ｔ１は、写真領域と図形領域とを分離するための第１のパラメータである。続いて、閾値である比率Ｒ１と特徴量とが比較される（ステップＳ４０６）。特徴量が、比率Ｒ１より大きいと判断される場合（ステップＳ４０６：ＮＯ）、第１方向に関するエッジ間線分に位置する画素の全ては、図形領域に属しているとみなされ、番号を割り当てる処理であるラベリングが実行され、ラベリングデータが生成される（ステップＳ４０７）。すなわち、各画素に対して領域判定の結果をラベリングする。具体的には、領域判定の結果が画素位置と対応して保存される。一方、特徴量が、比率Ｒ１以下であると判断される場合（ステップＳ４０６：ＹＥＳ）、第１方向に関するエッジ間線分に位置する画素の全ては、写真領域に属しているとみなされ、ラベリングデータが生成される（ステップＳ４０８）。続いて、注目エッジ間線分が、第１方向に関する最終エッジ間線分であるか否かが判断される（ステップＳ４０９）。注目エッジ間線分が、最終エッジ間線分でないと判断される場合（ステップＳ４０９：ＮＯ）、ステップＳ４０２に戻って、上記処理が繰り返される。
【００５６】
次に、図１５のエッジ画像に基づいて、第１方向と直交する方向である第２方向、たとえば副走査方向に関するエッジ間線分の位置が検出される（ステップＳ４１０）。そして、ステップＳ４０７およびＳ４０８で作成されたラベリングデータに基づいて、注目エッジ間線分に位置する総画素数Ｎ２と写真領域に属する画素数Ｎ３との比率Ｒ２（＝Ｎ３／Ｎ２）が、算出される（ステップＳ４１１）。続いて、比率Ｒ２と閾値である所定の定数Ｔ２とが比較される（ステップＳ４１２）。定数Ｔ２は、写真領域と図形領域とを分離するための第２のパラメータである。比率Ｒ２が、定数Ｔ２よりも小さいと判断される場合（ステップＳ４１２：ＮＯ）、第２方向に関する注目エッジ間線分に存在している画素の全てが、図形領域に属するとみなされ、ラベリングし直される（ステップＳ４１３）。一方、比率Ｒ２が、定数Ｔ２以上と判断される場合（ステップＳ４１２：ＹＥＳ）、第２方向に関する注目エッジ間線分に位置する画素の全てが、写真領域に属すると見なされ、ラベリングし直される（ステップＳ４１４）。続いて、注目エッジ間線分が、第２方向に関する最終エッジ間線分であるか否かが判断される（ステップＳ４１５）。注目エッジ間線分が、最終エッジ間線分でないと判断される場合（ステップＳ４１５：ＮＯ）、ステップＳ４１１に戻って、上記処理が繰り返される。
【００５７】
次に、２値化による領域分割により得られた一つの領域内で、写真領域に属するとラベリングされた画素の数Ｎ５と図形領域に属するとラベリングされた画素の数Ｎ４とが比較される（ステップＳ４１６）。Ｎ５＜Ｎ４と判断される場合（ステップＳ４１６：ＮＯ）、当該領域は図形領域と判定される（ステップＳ４１７）。一方、Ｎ５≧Ｎ４と判断される場合（ステップＳ４１６：ＹＥＳ）、当該領域は写真領域と判定される（ステップＳ４１８）。そして、写真領域または図形領域のうち優先度が高い方の領域の判定が確定されるとともに、当該領域内の画素の全てが、優先度が高い方の領域に属するとみなされ、ラベリングし直されて、画像データから抽出される（ステップＳ４１９）。ここで、位置データに基づいて領域の輪郭を追跡することによって領域の外接矩形が算出され、外接矩形内の座標位置に対応していて当該領域に属するとラベリングされた画素を含む矩形領域が、画像データから抽出される。
【００５８】
このように第１写真／図形領域抽出においては、２値化による領域分割が行われて得られた領域に対して、領域の境界であるエッジの間の画像特徴量を算出することにより、当該領域が写真領域であるか図形領域であるかが判定される。そして、写真領域の方が図形領域よりも優先度が高い場合（第１、第２、および第５モード）、写真領域が確定され、当該領域が矩形領域の形で抽出される。一方、図形領域の方が写真領域よりも優先度が高い場合（第３、第４、および第６モード）、図形領域が確定され、当該領域が矩形領域の形で抽出される。
【００５９】
本実施形態では、上記のように、図形領域の明度分布はある程度均一である一方で、写真領域の明度分布は分散しているという特徴に基づいて、写真領域であるかまたは図形領域であるかが判定される。ただし、領域の判定方法は、これに限定されるものではなく、たとえば明度画像から抽出される周波数成分を特徴量として用いて領域の判定を行ってもよい。
【００６０】
（エッジによる領域分割）
次に、図２０を参照して、エッジによる領域分割の手順について説明する。
【００６１】
エッジによる領域分割は、第１写真／図形領域抽出によって写真領域または図形領域のうち優先度が高い方の領域が抽出されて残ったデータに対して、実行される。
【００６２】
まず、画像データにおけるＲ成分画像、Ｇ成分画像、およびＢ成分画像のそれぞれに対して、たとえばラプラシアンフィルタなどのエッジ検出フィルタを使用することにより、エッジ検出が行われる（ステップＳ５０１〜Ｓ５０３）。続いて、検出されたＲ成分画像、Ｇ成分画像、およびＢ成分画像の各エッジの和集合を得るためのＯＲ処理が行われ（ステップＳ５０４）、さらにエッジの途切れをなくすために、クロージング処理が行われる（ステップＳ５０５）。ここで、第１〜第４モードの場合、文字領域の抽出がまだ行われていない段階であるため、文字画像のエッジも検出されてしまう。しかし、たとえば、領域の外接矩形の大きさ（縦および横寸法）が所定の閾値より小さく、外接矩形の大きさに対する領域内部の有効画素数の割合が所定の閾値より小さい場合、当該領域は、エッジによる領域分割の対象から除外される。これにより、文字画像のエッジは、領域の境界とはみなされなくなる。
【００６３】
図２１は、エッジによる領域分割によって得られた領域の一例を模式的に示す図であって、（Ａ）は、第１、第２、または第５モードの場合、（ｂ）は、第３、第４、または第６モードの場合を示す。ここで、図２１（Ａ）では、第１写真／図形領域抽出によって、図形領域よりも先に写真領域が既に抽出されている。つまり、図２１（Ｂ）に示す領域Ｐ１（領域Ｇ３を含む）、および領域Ｐ２は、図２１（Ａ）においては写真領域として抽出済みである。また、図２１（Ｂ）では、第１写真／図形領域抽出によって、写真領域よりも先に図形領域が既に抽出されている。つまり、図２１（Ａ）に示す領域Ｇ１、および領域Ｇ２（領域Ｐ３、Ｐ４を含む）は、図２１（Ｂ）においては写真領域として抽出済みである。
【００６４】
このようにエッジによる領域分割は、第１写真／図形領域抽出によって写真領域または図形領域のうち優先度の高い方の領域が抽出されて残ったデータの中に、優先度の高い方の領域が優先度の低い方の領域上に重なった状態でまだ残っている場合、あるいは優先度が高い方の領域が優先度の低い方の領域の内部に含まれた状態でまだ残っている場合に、当該優先度が高い方の領域をさらに抽出するために行われる。つまり、上記エッジを検出することによって、より細かい領域分割が行われる。
【００６５】
（第２写真／図形領域抽出）
次に、第２写真／図形領域抽出の手順について説明する。第２写真／図形領域抽出は、図２１に示されるエッジによる領域分割によって得られた領域に対して、前述した第１写真／図形領域抽出と同様の処理が再度行われる。これにより、第１、第２、および第５モードの場合、第１写真／図形領域抽出によっては写真領域として抽出されなかった図形領域中の写真領域が抽出される。たとえば図２１（Ａ）では、領域Ｐ３、Ｐ４が写真領域として追加的に抽出される。また、第３、第４、および第６モードの場合、第１写真／図形領域抽出によっては図形領域として抽出されなかった写真領域中の図形領域が抽出される。たとえば図２１（Ｂ）では、領域Ｇ３が図形領域として追加的に抽出される。
【００６６】
なお、図７〜図１２に示される第２写真／図形領域抽出の終了後に行われる写真／図形領域抽出においては、図２１に示されるエッジによる領域分割によって得られた領域のうち、第２写真／図形領域抽出によって抽出されずに残った領域が抽出される。
【００６７】
（文字領域抽出）
次に、図２２を参照して、文字領域抽出の手順について説明する。
【００６８】
ここでは、説明を簡単にするため、たとえば図２３に示される画像データに対して、文字領域抽出に関する処理が行われる場合について説明する。
【００６９】
まず、画像データに対して、領域統合処理が行われる（ステップＳ６０１）。この処理は、たとえば背景画像上の文字画像、あるいは画素値が異なる文字画像を含む文字領域をも抽出するための処理である。具体的には、まず、画像データのうち明度画像に対して、スムージング処理が施された後、変動閾値による２値化を行うことにより、エッジ画像が作成される。変動閾値による２値化処理とは、具体的には、たとえば図２４に示すように、５×５ブロック内の四隅に位置する画素の階調値の最大値からオフセット値を減算した値を閾値として注目画素を２値化する処理である。続いて、得られたエッジ画像の主走査方向の黒画素の間隔を計測し、所定間隔以下である黒画素間の白画素を全て黒画素で置換して主走査方向に黒画素を連結した連結エッジ画像を作成する。さらに、得られた連結エッジ画像の副走査方向に対しても、同様の処理が繰り返され、主副走査方向に黒画素を連結した連結エッジ画像が得られる。このようにして、画像処理装置１は、近隣の黒画素を連結し、画像データ中で孤立している個々の文字画像を１つの領域として統合することにより、ある程度まとまった文字列ごとに１つの領域として抽出することが可能となるものである。
【００７０】
次に、領域抽出処理が行われる（ステップＳ６０２）。この処理は、連結した黒画素のまとまりを１領域として別々に抽出する処理である。具体的には、まず、得られた連結エッジ画像に対し、連結した黒画素ごとにラベリングが施される。ラベリングと同時に、同一ラベルの連結した黒画素ごとの外接矩形の位置情報（幅、高さ、および座標）が検出され、ラベリング画像が作成される。続いて、ラベリング時に検出された外接矩形とラベル番号とに基づいて、ラベリング画像から当該外接矩形で囲まれる領域が局所領域として抽出される。ここで、同一ラベル番号の画素だけを含む外接矩形を抽出することにより、外接矩形同士が重なり合ったレイアウトの画像も分離して抽出することが可能となる。図２５は、変動閾値による２値化処理および黒画素の連結処理を施して得られた連結エッジ画像と、連結エッジ画像データから得られたラベリング画像において同一ラベルの連結した黒画素ごとに求めた外接矩形とを示す図である。
【００７１】
次に、ステップＳ６０２において抽出された各局所領域に属する画像の斜め方向エッジ成分が特徴量として抽出され（Ｓ６０３）、斜め方向エッジ成分の含有率が所定範囲内にある局所領域が、文字領域と判別される（Ｓ６０４）。文字領域は、図形、写真、罫線等の他の領域と比較して、小さい領域内に斜め方向エッジ成分を多く含んでいる。したがって、文字領域特有の周波数成分として斜め方向エッジ成分を抽出し局所領域における含有率を求めることにより、当該局所領域が文字領域であるか否かが判定され得る。かかる斜め方向エッジ成分の抽出は、２×２ＤＣＴ（離散コサイン変換）によって得られた周波数成分のうち高周波成分を抽出する処理と同等である。すなわち、局所領域内の画像に対して２×２マトリクスによるＤＣＴを施し、得られた周波数成分のうちの高周波成分を「０」として逆ＤＣＴ変換を行うことにより、高周波成分を除去した復元画像が得られる。そして、原画像と復元画像との差分を取り出すことにより、原画像の高周波成分のみが抽出され得る。ここで、図２６に示すフィルタ処理を施すことにより高速な処理が可能である。図２７は、抽出された高周波成分を２値化して得られた斜め方向エッジ成分画像の一例を示す図である。所領局域は、大体において単語単位となっている。このため、所領局域が文字領域である場合、局所領域内の斜め方向エッジ成分の含有率、すなわち、局所領域の面積に対する当該局所領域に属する図２７の黒画素総数の比率は所定範囲内となる（約０．２〜２０％）。したがって、当該比率が上記範囲内である局所領域が文字領域と判別される。
【００７２】
次に、文字画像作成処理が行われる（ステップＳ６０５）。すなわち、ステップＳ６０４において文字領域と判別された局所領域内における元の画像データ（スキャナ２から受信した画像データ）を２値化することによって文字部とその背景部とが区別され、文字部のみからなる文字画像が作成される。２値化する際に使用される閾値は、文字領域ごとに設定される。文字領域ごとの閾値の設定方法としては、例えば以下の方法を用いることができる。まず、文字領域ごとに、当該文字領域内の画像データの明度画像を用いて、図２８（Ａ）に示すような明度ヒストグラムを作成する。続いて、明度ヒストグラムを当該文字領域内の画素数に対する百分率に変換して二次微分を行い、二次微分の結果が所定値以上であれば「１」、それ以外は「０」を出力することによって、図２８（Ｂ）に示すようなピーク検出用ヒストグラムを作成し、ピークを検出する。そして、検出されたピーク数が２以上のときは両端のピークの中心値、ピーク数が１のときは当該ピークと前記明度ヒストグラムの左右立ち上がり値（図２８（Ａ）における「Ｌｅｆｔ」および「Ｒｉｇｈｔ」の値）の平均値、ピーク数が０のときは前記明度ヒストグラムの前記左右立ち上がり値の中心値を閾値と決定する。このように、文字領域内の明度ヒストグラムのピーク数によって異なる２値化閾値を用いるため、たとえば背景画像上の文字画像や反転文字画像等も、画像が欠けることなく２値化可能となる。
【００７３】
次に、画像補間処理が行われる（ステップＳ６０６）。すなわち、元の画像データから、文字部のみからなる文字画像が除去され、除去後の部分が、その文字画像の背景画素で補間される。ここで、文字画像の背景画素は、ステップＳ６０５において文字領域ごとに２値化して得られた画像から特定することができる。補間に使用される背景画素の値は、元のＲＧＢ画像データにおける文字画像の背景に相当する画素のＲＧＢごとの平均値を算出することにより与えられる。
【００７４】
このように、画像処理装置１は、近隣の黒画素を連結することにより近接する領域を統合して、統合された領域を抽出し、文字らしさを表す特徴量を算出して、この特徴量を用いて抽出された各領域が文字領域であるか否かを判別し、続いて、文字領域と判別された領域内の画像データから文字部のみからなる文字画像を作成する。そして、文字部のみからなる文字画像を除去した後の部分を背景画素で補間する。
【００７５】
この文字領域抽出においては、文字画像が写真画像または図形画像の上に重なっている場合であっても、文字領域の確実な抽出が可能である。ただし、文字領域よりも写真領域または図形領域が優先される原稿モードが設定されている場合、写真画像または図形画像の上に重なっている文字画像は、写真領域または図形領域の一部として先に抽出されることになる。
【００７６】
上述のようにして、図７〜図１２に示す設定された原稿モードに応じた領域抽出順序で、スキャナから受信した画像データから、写真領域、図形領域、および文字領域が分離される。
【００７７】
本実施形態によれば、画像データから写真領域、図形領域、および文字領域を分離する際に、各領域の抽出順を設定することができ、これにより、どの領域を優先して抽出するかを制御することが可能となる。したがって、優先度の高い領域は、その中に他の領域を含んでいても当該他の領域を包含した状態で優先的に抽出され、また、他の領域の中に含まれていても優先的に抽出される。このように、優先度の高い領域は、他の領域よりも先に抽出されるため他の領域と誤判別されて抽出されることがなくなり、当該領域に対して不適切な処理が施されて画像が劣化することが防止される。
【００７８】
図２９〜図３４は、図５の画像データから、それぞれ第１〜第６モードの領域分離処理によって分離された写真領域、図形領域、および文字領域を示す図であって、（Ａ）は最先に抽出された領域、（Ｂ）は２番目に抽出された領域、（Ｃ）は３番目に抽出された領域を示す。
【００７９】
第１優先領域が写真領域である場合（第１および第２モード）、図２９（Ａ）および図３０（Ａ）に示すように、受信した画像データから、写真領域が最先に抽出された後に、残ったデータから図形領域と文字領域とが分離されるため、写真領域は、他の領域の分離処理の影響を受けて当該他の領域に付随して抽出されることがなくなる。これにより、写真領域は、他の領域と誤判別されることなく確実に抽出され得る。したがって、写真領域を高画質で再現することを主目的とする場合、より多くの写真領域を確実に抽出して、当該領域に対して適切な処理を実行することができる。換言すれば、たとえば写真領域内のある部分が文字領域と誤判別され、後工程において文字領域に適応した２値化処理が行われてしまうことを防止することができる。また、たとえば写真領域内のある部分が図形領域と誤判別され、後工程において図形領域に適応した減色処理が行われて単一色で塗り潰されてしまうことを防止することができる。つまり、写真領域に対して不適切な処理が施されて写真画像が劣化することが防止される。また、写真領域を優先して抽出することにより、元の画像データの内容が維持される利点がある。すなわち、図形領域または文字領域であるにもかかわらず当該領域を写真領域と誤判別したとしても、画像として再現できるため当該領域の内容が維持される。
【００８０】
さらに、写真領域抽出後の画像データから、文字領域よりも先に図形領域を抽出する場合（第１モード）、図形領域内のある部分が文字領域と誤判別され、後工程において文字領域に適応した処理が行われてしまうことを防止することができる。したがって、写真画像および図形画像に対する劣化が少なくなる。また、写真領域抽出後の画像データから、図形領域よりも先に文字領域を抽出する場合（第２モード）、図形領域内の文字画像を抽出することが可能となる。したがって、写真画像および文字画像に対する劣化が少なくなる。
【００８１】
第１優先領域が図形領域である場合（第３および第４モード）、図３１（Ａ）および図３２（Ａ）に示すように、受信した画像データから、図形領域が最先に抽出された後に、残ったデータから写真領域と文字領域とが分離されるため、図形領域は、他の領域の分離処理の影響を受けて当該他の領域に付随して抽出されることがなくなる。これにより、図形領域は、他の領域と誤判別されることなく確実に抽出され得る。したがって、ベクタ変換処理などの図形領域に適応した処理を施すことを主目的とする場合、より多くの図形領域を確実に抽出して、当該領域に対して適切な処理を実行することができる。換言すれば、たとえば写真領域の中に図形領域が重なって配置されている場合、全体が写真領域と誤判別されＪＰＥＧ圧縮されてしまってノイズが発生することを防止することができる。また、たとえば文字画像と間違いやすい図形画像を含む領域が文字領域と誤判別されてしまって当該領域に対して文字領域に適応した処理である２値化処理、さらには文字認識処理が実行されることを防止することができる。つまり、図形領域に対して不適切な処理が施されて図形画像が劣化することが防止される。
【００８２】
さらに、図形領域抽出後の画像データから、文字領域よりも先に写真領域を抽出する場合（第３モード）、写真領域内のある部分が文字領域と誤判別され、後工程において文字領域に適応した処理が行われてしまうことを防止することができる。したがって、図形画像および写真画像に対する劣化が少なくなる。また、図形領域抽出後の画像データから、写真領域よりも先に文字領域を抽出する場合（第４モード）、写真領域内の文字画像を抽出することが可能となる。したがって、図形画像および文字画像を劣化させることなく、写真画像に対して非可逆の圧縮処理を行うことができる。
【００８３】
第１優先領域が文字領域である場合（第５および第６モード）、図３３（Ａ）および図３４（Ａ）に示すように、受信した画像データから、文字領域が最先に抽出された後に、残ったデータから写真領域と図形領域とが分離されるため、文字領域は、他の領域の分離処理の影響を受けて当該他の領域に付随して抽出されることがなくなる。これにより、文字領域は、他の領域と誤判別されることなく確実に抽出され得る。したがって、文字認識処理などの文字領域に適応した処理を施すことを主目的とする場合、より多くの文字領域を確実に抽出して、当該領域に対して適切な処理を実行することができる。換言すれば、たとえば画像データ中で文字画像が写真画像または図形画像の上に重なっている場合、文字領域が判別されないで全体が写真領域または図形領域と判別されて抽出されてしまって、文字画像に対する文字認識処理を十分に実行できないばかりか、文字画像に対して不適切な処理が施されることを防止することができる。
【００８４】
さらに、文字領域抽出後の画像データから、図形領域よりも先に写真領域を抽出する場合（第５モード）、たとえば図形領域に内包されている写真領域を抽出することが可能である。したがって、文字画像および写真画像に対する劣化が少なくなる。また、文字領域抽出後の画像データから、写真領域よりも先に図形領域を抽出する場合（第６モード）、たとえば写真領域に内包されている図形領域を抽出することが可能である。したがって、文字画像および図形画像を劣化させることなく、写真画像に対して非可逆の圧縮処理を行うことができる。
【００８５】
本発明は、上述した実施の形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。
【００８６】
本発明の画像処理装置は、上記実施形態で示した態様以外に、スキャナ、パソコン、ワークステーション、サーバ等のコンピュータ、デジタル複写機、ファクシミリ装置、およびＭＦＰ（multi-function peripheral）等の機器にも応用することができる。
【００８７】
また、上記実施形態では、ファイルサーバ３が、画像処理装置１から受信したファイルから文字画像および図形画像を展開して、それぞれ文字認識処理およびベクタ変換処理を施す構成とされているが、これらの処理は画像処理装置１により行われてもよい。また、図７〜図１２の各領域分離処理における個々の処理ブロックの内容は適宜変更が可能である。
【００８８】
また、上記実施形態では、画像処理装置１は、写真領域、図形領域、および文字領域のうちで画像データの内容に応じて優先的に抽出される領域を設定する構成とされているが、本発明はこれに限定されない。本発明による画像処理装置では、あらかじめ最先に抽出される領域が固定されていてもよく、たとえば図形領域が最先に抽出される領域として固定され得る。また、本発明による画像処理装置では、あらかじめ領域の抽出順が固定されていてもよく、たとえば図形領域、写真領域および文字領域の順、あるいは図形領域、文字領域および写真領域の順が領域の抽出順として固定され得る。
【００８９】
本発明による画像処理装置および画像処理方法は、上記各手順を実行するための専用のハードウエア回路によっても、また、上記各手順を記述した所定のプログラムをＣＰＵが実行することによっても実現することができる。後者により本発明を実現する場合、画像処理装置を動作させる上記所定のプログラムは、フレキシブルディスクやＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読取可能な記録媒体に記録されたプログラムは、通常、ハードディスク等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置の一機能としてその装置のソフトウエアに組み込んでもよい。
【００９０】
なお、上述した本発明の実施形態には、特許請求の範囲の請求項１〜１１に記載した発明以外にも、以下の付記１に示すような発明が含まれる。
【００９８】
［付記１］ 請求項９または１１に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【００９９】
【発明の効果】
上述したように、本発明の画像処理装置によれば、処理しようとする画像データから、図形領域が最先に抽出された後に、残ったデータから写真領域と文字領域とが分離され得る。このため、図形領域は、他の領域の分離処理の影響を受けて当該他の領域に付随して抽出されることがなくなる。これにより、図形領域は、他の領域と誤判別されることなく確実に抽出され得る。したがって、ベクタ変換処理などの図形領域に適応した処理を施すことを主目的とする場合、より多くの図形領域を確実に抽出して、当該領域に対して適切な処理を実行することができる。
【０１００】
また、画像データから写真領域、図形領域、および文字領域を分離する際に、各領域の抽出順を設定することが可能である。これにより、どの領域を優先して抽出するかを制御することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施形態にかかる画像処理装置を含む画像処理システムの全体構成を示すブロック図である。
【図２】 画像処理装置の構成の一例を示すブロック図である。
【図３】 操作部における原稿モード設定画面の一例を示す図である。
【図４】 画像処理装置における処理の手順を示すフローチャートである。
【図５】 スキャナから受信した画像データの一例を模式的に示す図である。
【図６】 領域の合成を説明するための図であって、（Ａ）は合成後の状態を示す図、（Ｂ）は合成前の状態を示す図である。
【図７】 第１モードの領域分離処理の手順を示すフローチャートである。
【図８】 第２モードの領域分離処理の手順を示すフローチャートである。
【図９】 第３モードの領域分離処理の手順を示すフローチャートである。
【図１０】 第４モードの領域分離処理の手順を示すフローチャートである。
【図１１】 第５モードの領域分離処理の手順を示すフローチャートである。
【図１２】 第６モードの領域分離処理の手順を示すフローチャートである。
【図１３】 ２値化による領域分割の手順を示すフローチャートである。
【図１４】 図５の下地以外の領域を黒く塗り潰した２値画像を示す図である。
【図１５】 図１４のエッジから構成される画像を示す図である。
【図１６】 第１写真／図形領域抽出の手順を示すフローチャートである。
【図１７】 図１６から続く第１写真／図形領域抽出の手順を示すフローチャートである。
【図１８】 第１ヒストグラムを示す図である。
【図１９】 第２ヒストグラムを示す図である。
【図２０】 エッジによる領域分割の手順を示すフローチャートである。
【図２１】 エッジによる領域分割によって得られた領域の一例を模式的に示す図であって、（Ａ）は第１、第２、または第５モードの場合、（ｂ）は第３、第４、または第６モードの場合を示す。
【図２２】 文字領域抽出の手順を示すフローチャートである。
【図２３】 文字領域抽出の説明のために用いられる画像データを示す図である。
【図２４】 変動閾値による２値化処理を説明するための図である。
【図２５】 変動閾値による２値化処理および黒画素の連結処理を施して得られた連結エッジ画像と、連結エッジ画像データから得られたラベリング画像において同一ラベルの連結した黒画素ごとに求めた外接矩形とを示す図である。
【図２６】 画像データの特徴周波数成分から高周波成分を除去する際に用いられるフィルタ処理を説明するための図である。
【図２７】 抽出された高周波成分を２値化して得られた斜め方向エッジ成分画像の一例を示す図である。
【図２８】 文字領域内の画像データの明度画像から作成した（Ａ）明度ヒストグラムと、（Ｂ）ピーク検出用ヒストグラムとの一例を示す図である。
【図２９】 第１モードの領域分離処理において、図５の画像データから、（Ａ）最先に抽出された写真領域、（Ｂ）２番目に抽出された図形領域、および（Ｃ）３番目に抽出された文字領域を示す図である。
【図３０】 第２モードの領域分離処理において、図５の画像データから、（Ａ）最先に抽出された写真領域、（Ｂ）２番目に抽出された文字領域、および（Ｃ）３番目に抽出された図形領域を示す図である。
【図３１】 第３モードの領域分離処理において、図５の画像データから、（Ａ）最先に抽出された図形領域、（Ｂ）２番目に抽出された写真領域、および（Ｃ）３番目に抽出された文字領域を示す図である。
【図３２】 第４モードの領域分離処理において、図５の画像データから、（Ａ）最先に抽出された図形領域、（Ｂ）２番目に抽出された文字領域、および（Ｃ）３番目に抽出された写真領域を示す図である。
【図３３】 第５モードの領域分離処理において、図５の画像データから、（Ａ）最先に抽出された文字領域、（Ｂ）２番目に抽出された写真領域、および（Ｃ）３番目に抽出された図形領域を示す図である。
【図３４】 第６モードの領域分離処理において、図５の画像データから、（Ａ）最先に抽出された文字領域、（Ｂ）２番目に抽出された図形領域、および（Ｃ）３番目に抽出された写真領域を示す図である。
【符号の説明】
１…画像処理装置、
１０１…制御部、
１０２…記憶部、
１０３…操作部、
１０４…入力インタフェース部、
１０５…出力インタフェース部、
１０６…領域分離部、
１０８…画像処理部、
１０８ａ…写真領域処理部、
１０８ｂ…図形領域処理部、
１０８ｃ…文字領域処理部、
１０９…文書ファイル作成部、
１１０…ファイル形式変換部、
１１１…バス、
２…スキャナ、
３…ファイルサーバ、
４…コンピュータネットワーク。

Claims (11)

1. 処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離手段を有する画像処理装置であって、
   前記領域分離手段は、
   前記画像データから、写真領域および文字領域よりも先に図形領域を抽出する図形領域最先抽出手段を備え、前記画像データから図形領域が抽出されて残ったデータから、写真領域と文字領域とを分離し、
   前記図形領域最先抽出手段は、
   前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第１図形領域抽出手段と、前記画像データから前記第１図形領域抽出手段により図形領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第２図形領域抽出手段とを有する、
   ことを特徴とする画像処理装置。
2. 前記領域分離手段は、
   前記画像データから図形領域が抽出されて残ったデータから、文字領域よりも先に写真領域を抽出する写真領域先行抽出手段をさらに備えていることを特徴とする請求項１に記載の画像処理装置。
3. 前記領域分離手段は、
   前記画像データから図形領域が抽出されて残ったデータから、写真領域よりも先に文字領域を抽出する文字領域先行抽出手段をさらに備えていることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１領域分割処理は、前記画像データにおける写真領域、図形領域、または文字領域の部分とこれら以外の下地部分とを区別した２値画像のエッジを検出することにより、複数の所定領域に分割可能であり、前記第２領域分割処理は、前記画像データから図形領域と特定された領域が抽出されて残ったデータのエッジを検出することにより、前記所定領域よりも小さい複数の領域に分割可能であることを特徴とする請求項１に記載の画像処理装置。
5. 処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離手段を有する画像処理装置であって、
   前記画像データから、写真領域、図形領域、および文字領域のうちで最先に抽出される領域を設定する設定手段を有し、
   前記領域分離手段は、
   前記画像データから、前記設定手段により設定された設定領域を最先に特定して抽出する設定領域最先抽出手段を備え、前記画像データから前記設定領域と特定された領域が抽出されて残った領域の種類が特定されていないデータから、残りの２つの領域を特定して分離し、
   前記設定領域最先抽出手段は、前記設定領域が写真領域または図形領域である場合、
   前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで前記設定領域と特定された領域を抽出する第１設定領域抽出手段と、前記画像データから前記第１設定領域抽出手段により設定領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで設定領域と特定された領域を抽出する第２設定領域抽出手段とを有する、
   ことを特徴とする画像処理装置。
6. 前記画像データから、前記写真領域、図形領域、および文字領域のうちで２番目に抽出される領域を設定する第２設定手段をさらに有し、
   前記領域分離手段は、
   前記画像データから前記設定領域と特定された領域が抽出されて残った領域の種類が特定されていないデータから、前記第２設定手段により設定された領域を先に特定して抽出する設定領域先行抽出手段をさらに備えていることを特徴とする請求項５に記載の画像処理装置。
7. 原稿を読み取ることによって画像データを得る読取手段をさらに有し、前記処理しようとする画像データは、前記読取手段によって得られることを特徴とする請求項１〜６のいずれか１つに記載の画像処理装置。
8. 処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離段階を有する画像処理方法であって、
   前記領域分離段階は、
   前記画像データから、写真領域および文字領域よりも先に図形領域を抽出する図形領域最先抽出段階を備え、前記画像データから図形領域が抽出されて残ったデータから、写真領域と文字領域とを分離する段階であり、
   前記図形領域最先抽出段階は、
   前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第１図形領域抽出段階と、前記画像データから前記第１図形領域抽出段階において図形領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第２図形領域抽出段階とを有する、
   ことを特徴とする画像処理方法。
9. 処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離手順を画像処理装置に実行させるための画像処理プログラムであって、
   前記領域分離手順は、
   前記画像データから、写真領域および文字領域よりも先に図形領域を抽出する図形領域最先抽出手順を備え、前記画像データから図形領域が抽出されて残ったデータから、写真領域と文字領域とを分離する手順であり、
   前記図形領域最先抽出手順は、
   前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第１図形領域抽出手順と、前記画像データから前記第１図形領域抽出手順において図形領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで図形領域と特定された領域を抽出する第２図形領域抽出手順とを有する、
   ことを特徴とする画像処理プログラム。
10. 処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離段階を有する画像処理方法であって、
    前記画像データから、写真領域、図形領域、および文字領域のうちで最先に抽出される領域を設定する設定段階を有し、
    前記領域分離段階は、
    前記画像データから、前記設定段階において設定された設定領域を最先に特定して抽出する設定領域最先抽出段階を備え、前記画像データから前記設定領域と特定された領域が抽出されて残った領域の種類が特定されていないデータから、残りの２つの領域を特定して分離する段階であり、
    前記設定領域最先抽出段階は、前記設定領域が写真領域または図形領域である場合、
    前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで前記設定領域と特定された領域を抽出する第１設定領域抽出段階と、前記画像データから前記第１設定領域抽出段階において設定領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで設定領域と特定された領域を抽出する第２設 定領域抽出段階とを有する、
    ことを特徴とする画像処理方法。
11. 処理しようとする画像データから、写真領域、図形領域、および文字領域を分離する領域分離手順を画像処理装置に実行させるための画像処理プログラムであって、
    前記画像データから、前記写真領域、図形領域、および文字領域のうちで最先に抽出される領域を設定する設定手順を有し、
    前記領域分離手順は、
    前記画像データから、前記設定手順において設定された設定領域を最先に特定して抽出する設定領域最先抽出手順を備え、前記画像データから前記設定領域と特定された領域が抽出されて残った領域の種類が特定されていないデータから、残りの２つの領域を特定して分離する手順であり、
    前記設定領域最先抽出手順は、前記設定領域が写真領域または図形領域である場合、
    前記画像データに対して、複数の所定領域に分割し得る第１領域分割処理を施し、分割された領域のうちで前記設定領域と特定された領域を抽出する第１設定領域抽出手順と、前記画像データから前記第１設定領域抽出手順において設定領域と特定された領域が抽出されて残ったデータに対して、前記所定領域よりも小さい複数の領域に分割し得る第２領域分割処理を施し、分割された領域のうちで設定領域と特定された領域を抽出する第２設定領域抽出手順とを有する、
    ことを特徴とする画像処理プログラム。

Images