JP4615462B2 - 画像処理装置、画像形成装置、プログラムおよび画像処理方法 - Google Patents

画像処理装置、画像形成装置、プログラムおよび画像処理方法 Download PDF

Info

Publication number
JP4615462B2
JP4615462B2 JP2006071044A JP2006071044A JP4615462B2 JP 4615462 B2 JP4615462 B2 JP 4615462B2 JP 2006071044 A JP2006071044 A JP 2006071044A JP 2006071044 A JP2006071044 A JP 2006071044A JP 4615462 B2 JP4615462 B2 JP 4615462B2
Authority
JP
Japan
Prior art keywords
image
character
image data
normalization processing
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006071044A
Other languages
English (en)
Other versions
JP2007251518A (ja
Inventor
広文 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2006071044A priority Critical patent/JP4615462B2/ja
Publication of JP2007251518A publication Critical patent/JP2007251518A/ja
Application granted granted Critical
Publication of JP4615462B2 publication Critical patent/JP4615462B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、受け付けた画像データを蓄積または送信する際に、画像データを理想的な形に変換するための正規化処理を行なう画像処理装置、画像形成装置、プログラムおよび画像処理方法に関する。
従来、スキャナやデジタルカメラなどの様々な端末機器から画像データを含む文書データを取得し、この文書データを適切に配信するための文書管理システムが知られている。また、配信先としては、利用者の個人利用環境や共同蓄積管理環境がある。利用者の個人利用環境としては、例えば電子メールがあり、上記文書管理システムは設定された利用者の電子メールアドレスへ端末機器から受信した文書データを配信する。利用者は画像データを含む文書データをＰＣ（パーソナルコンピュータ）のディスプレイで閲覧したり、紙に出力したりして利用する。
共同蓄積管理環境としては、ＰＣ上にて文書データの蓄積管理を実現する文書管理サーバ等があり、サーバは設定された蓄積管理ソフトウェアへ文書データを配信する。利用者は文書管理サーバにアクセスすることで、画像データを含む文書データをＰＣのディスプレイで閲覧したり、紙に出力したりして利用する。
ところで、一般的に、印刷物はディザ法などによりドットパターンとして擬似中間調表現がなされ、したがって本来連続階調であるべき部分がこのドットパターンの持つ周波数特性を持つことになる。このような特性をもつ印刷物を、光学的にスキャンし、閲覧あるいは紙出力する場合、読み取り装置／閲覧装置／出力装置の持つそれぞれの周波数特性と干渉してモアレを生じさせる。
また、スキャナやデジタルカメラなどの端末機器から印刷物をデジタル画像データとして入力する場合において、端末機器の設定が適切でない場合には、黒文字が薄かったり、文字と地肌のコントラストが貧弱であったりするために、文字の視認性が低下するといった、階調性の問題が生じることがある。
さらに、印刷物の各ページの枠は、デジタル画像データにおいては直立長方形として入力されるべきであるが、実際には傾いて入力されることがある。このような画像を印刷・表示すると、ページ枠に平行であるべき文字行が傾いて再現されるために、読み手に不快感を与えたり、あるいは、文書画像を、文字領域、写真領域、図領域、表領域、罫線領域などに分割するレイアウト解析処理に弊害をもたらすことがある。
ここで、文字情報が主体である印刷文書の場合における理想的な入力デジタル画像データとは、中間調部分が連続階調で表現されており、黒文字が十分に濃く、かつ、文字と地肌のコントラストが高く、さらに、各ページの枠が直立長方形となっているようなものである。
そこで、従来においては、入力したデジタル文書画像データを蓄積したり、あるいは、ネットワークを通して遠隔地に送信する場合、あるいは、ネットワークを通して配信されてきたデジタル文書画像データを受信して、蓄積したり、さらに、遠隔地に送信する場合には、デジタル文書画像データを理想的な形に変換するための「正規化処理」を行なうようにしたものが提案されている。具体的には、デジタル文書画像データの蓄積・送信の際に、中間調ドットパターンの連続階調への補正処理（例えば、特許文献１参照）、文字と地肌間のコントラスト強調処理（例えば、特許文献２参照）、スキュー補正処理（例えば、特許文献３参照）、などを施すようにしている。これにより、蓄積・送信されたデジタル文書画像データは、印刷・閲覧・編集などの様々な用途について、容易に再利用することができるようになる。そうでなければ、蓄積・送信されたデジタル文書画像データを利用するたびに、補正処理を施さなければならなくなるという煩わしさが生じる。
特に、ネットワークを通して配信されてきた画像を受信して処理する場合には、入力機器の特性や機器のパラメータ設定などの入力条件がわからないことが多いので、受信した画像から得られる統計量だけをもとに処理を行わなければならない。この実現手段として、特許文献４には、印刷原稿を画像入力機器でスキャンして得られたデジタル画像データを受信して蓄積または送信する文書画像伝達装置において、デジタル画像データに対して、デジタル画像データの持つ統計量に基づき該デジタル画像データの正規化処理を施す画像処理手段を備え、該画像処理手段による処理を施した後のデジタル画像データを蓄積または送信することを特徴とする発明が開示されている。
特開２００３−２８１５２６号公報 特開２００５−１１０１８４号公報 特許第３３０８０３２号公報 特開２００４−２９７７８６号公報
ところで、一口に印刷文書と言っても様々なものがある。新聞記事のように文字が主体のものもあれば、広告のように絵や写真が主体で、文字が少ないものもある。中には写真だけのページもある。
上述した特許文献３に記載されているようなスキュー補正処理を行うには、補正パラメータの計算のために、統計的に十分な数の文字が画像中に存在することが必要である。ところが、写真が主体で、文字が少ないような画像にスキュー補正を施そうとすると、補正パラメータの計算を適切に行うことができないために、スキュー補正によって、かえって画像の歪みを生ずることがあり得る。
また、文字と地肌間のコントラスト強調処理は、文字が殆どないような画像においては意味をなさない。さらに、特許文献３に記載されているように、階調変換関数を決定するために文字が画像中に存在することが必要であるが、文字が殆どないような画像からは階調変換関数を適切に算出することができないために、コントラスト強調処理によってかえって画像の歪みを生ずることがあり得る。
本発明は、上記に鑑みてなされたものであって、画像データの画像タイプに適した正規化処理を適用して、画像の歪みをもたらすことなく、画像データを理想的な表現に変換した形で送信または蓄積することができる画像処理装置、画像形成装置、プログラムおよび画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、受け付けた画像データを蓄積または送信する際に、前記画像データを理想的な形に変換するための正規化処理を行なう画像処理装置において、前記画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算するものであって、前記文字の散乱度は文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものであり、前記非文字の散乱度は非文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものである画像特徴量計算手段と、この画像特徴量計算手段により計算された前記画像特徴量を用い、前記画像データの画像タイプを分類識別する画像タイプ識別手段と、画像タイプと画像正規化処理の対応規則を対応付けた情報を記憶する記憶手段と、前記画像タイプ識別手段による分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて、画像正規化処理方法を選択する選択手段と、この選択手段で選択された画像正規化処理方法に基づいて、前記画像データに対して正規化処理を施す正規化手段と、を備える。
また、請求項５にかかる発明は、画像読取手段により読み取られた画像データを理想的な形に変換するための正規化処理を行ない、画像を用紙上に印刷する画像形成装置において、前記画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算するものであって、前記文字の散乱度は文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものであり、前記非文字の散乱度は非文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものである画像特徴量計算手段と、この画像特徴量計算手段により計算された前記画像特徴量を用い、前記画像データの画像タイプを分類識別する画像タイプ識別手段と、画像タイプと画像正規化処理の対応規則を対応付けた情報を記憶する記憶手段と、前記画像タイプ識別手段による分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて、画像正規化処理方法を選択する選択手段と、この選択手段で選択された画像正規化処理方法に基づいて、前記画像データに対して正規化処理を施す正規化手段と、を備える。
また、請求項９にかかる発明は、受け付けた画像データを蓄積または送信する際に、前記画像データを理想的な形に変換するための正規化処理をコンピュータに実行させるプログラムであって、前記コンピュータに、前記画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算するものであって、前記文字の散乱度は文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものであり、前記非文字の散乱度は非文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものである画像特徴量計算機能と、この画像特徴量計算機能により計算された前記画像特徴量を用い、前記画像データの画像タイプを分類識別する画像タイプ識別機能と、画像タイプと画像正規化処理の対応規則を対応付けた情報を記憶する記憶機能と、前記画像タイプ識別機能による分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて、画像正規化処理方法を選択する選択機能と、この選択機能で選択された画像正規化処理方法に基づいて、前記画像データに対して正規化処理を施す正規化機能と、を実行させる。
また、請求項１３にかかる発明は、受け付けた画像データを蓄積または送信する際に、前記画像データを理想的な形に変換するための正規化処理を実行するコンピュータにおける画像処理方法であって、前記画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算するものであって、前記文字の散乱度は文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものであり、前記非文字の散乱度は非文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものである画像特徴量計算工程と、この画像特徴量計算工程により計算された前記画像特徴量を用い、前記画像データの画像タイプを分類識別する画像タイプ識別工程と、画像タイプと画像正規化処理の対応規則を対応付けた情報を記憶する記憶工程と、前記画像タイプ識別工程による分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて、画像正規化処理方法を選択する選択工程と、この選択工程で選択された画像正規化処理方法に基づいて、前記画像データに対して正規化処理を施す正規化工程と、を含む。
請求項１，５，９，１３にかかる発明によれば、レイアウトの概略（文字や写真・絵の大体の空間的配置や分布など）に基づいて計算された画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を用いて当該画像データの画像タイプが分類識別された後、分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて画像正規化処理方法が選択され、選択された画像正規化処理方法に基づいて画像データに対して正規化処理が施され、送信または蓄積される。これにより、レイアウトの概略（文字や写真・絵の大体の空間的配置や文字と写真・絵の分布など）に従うことで画像のタイプを特徴付ける画像特徴量を高速に計算することができるとともに、画像データの画像タイプに適した正規化処理を適用して、画像の歪みをもたらすことなく、画像データを理想的な表現に変換した形で送信または蓄積することができるという効果を奏する。または、画像データの画像タイプに適した正規化処理を適用して、画像の歪みをもたらすことなく、画像データを理想的な表現に変換した形で画像を用紙上に印刷することができるという効果を奏する。
また、請求項２，６，１０，１４にかかる発明によれば、文字や写真・絵の大体の空間的配置、文字と写真・絵の分布などのレイアウトの概略をブロック単位で取得することができるので、文書画像データの画像特徴量を簡潔に計算することができるとともに、画像の粗い特徴と細かい特徴を表す特徴を効率的に抽出することができるという効果を奏する。
また、請求項３，７，１１，１５にかかる発明によれば、複数の画像正規化処理方法を選択する場合には、予め画像タイプに優先順位を付しておき、優先順位が高い画像タイプについての画像正規化処理方法を優先することができるという効果を奏する。
また、請求項４，８，１２，１６にかかる発明によれば、ドットパターンの持つ周波数特性を持つ印刷物を、光学的にスキャンし、閲覧あるいは紙出力する場合、読み取り装置／閲覧装置／出力装置の持つそれぞれの周波数特性と干渉して生じるモアレ現象の防止、文字と地肌のコントラストが貧弱であったりするために、文字の視認性が低下するといった、階調性の問題の防止、ページ枠に平行であるべき文字行が傾いて再現されるために生じる、読み手への不快感や、レイアウト解析処理への弊害の防止のいずれかを実行することができるという効果を奏する。
［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図１４に基づいて説明する。
図１は、本発明の第１の実施の形態にかかる画像処理装置１の電気的な接続を示すブロック図である。図１に示すように、画像処理装置１は、ＰＣ（Personal Computer）などのコンピュータであり、画像処理装置１の各部を集中的に制御するＣＰＵ（Central Processing Unit）２、情報を格納するＲＯＭ（Read Only Memory）３及びＲＡＭ（Random Access Memory）４等の一次記憶装置５、データファイル（例えば、カラービットマップ画像データ）を記憶する記憶部であるＨＤＤ（Hard Disk Drive）６等の二次記憶装置７、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置８、ネットワーク９を介して外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１０、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１１、並びに操作者がＣＰＵ２に命令や情報等を入力するためのキーボード１２、マウス等のポインティングデバイス１３等から構成されており、これらの各部間で送受信されるデータをバスコントローラ１４が調停して動作する。
なお、本実施の形態においては、画像処理装置１として一般的なパーソナルコンピュータを適用して説明しているが、これに限るものではなく、ＰＤＡ（Personal Digital Assistants）と称される携帯用情報端末、palmTopＰＣ、携帯電話、ＰＨＳ（Personal Handyphone System）等であっても良い。
このような画像処理装置１では、ユーザが電源を投入するとＣＰＵ２がＲＯＭ３内のローダーというプログラムを起動させ、ＨＤＤ６よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ７に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
ここで、画像処理装置１は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ６に記憶している。この意味で、ＨＤＤ６は、画像処理プログラムを記憶する記憶媒体として機能する。
また、一般的には、画像処理装置１のＨＤＤ６等の二次記憶装置７にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の記憶媒体８ａに記録され、この記憶媒体８ａに記録されたアプリケーションプログラムがＨＤＤ６等の二次記憶装置７にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体８ａも、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、例えばネットワークインターフェース１０を介して外部からダウンロードさせることにより、ＨＤＤ６等の二次記憶装置７にインストールするように構成しても良い。また、本実施の形態の画像処理装置１で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
画像処理装置１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ２が各種の演算処理を実行して各部を集中的に制御する。画像処理装置１のＣＰＵ２が実行する各種の演算処理のうち、本実施の形態の特長的な処理である画像データの蓄積／送信の際の正規化処理について以下に説明する。ここで、正規化処理とは、画像処理装置１に接続された外部機器（例えば、スキャナやデジタルカメラなど）やネットワーク９を通じて受け付けたデジタル画像データを理想的な形に変換するための処理である。
なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種の演算処理を実行するようにするのが望ましい。
ここで、画像処理装置１のＣＰＵ２が実行する画像データの蓄積／送信の際の正規化処理について説明する。図２は画像処理装置１のＣＰＵ２が実行する画像データの蓄積／送信の際の正規化処理にかかる機能を示す機能ブロック図、図３はその流れを概略的に示すフローチャートである。図２に示すように、画像処理装置１は、画像入力処理部２１と、画像特徴量計算部２２と、画像タイプ識別部２３と、画像正規化処理方法の選択部２４と、画像正規化処理部２５と、記憶部２６と、画像蓄積／送信処理部２７とを備えている。以下において、各構成部の動作と作用を詳述する。
画像入力処理部２１は、画像処理装置１に接続された外部機器（例えば、スキャナやデジタルカメラなど）やネットワーク９を通じて、デジタル画像データの入力を受け付ける。ここで、デジタル画像データは、例えば印刷物を光学的にスキャンしてデジタル変換したものである。
画像特徴量計算部２２は、画像特徴量計算手段として機能するものであって、画像全体の特徴量を出力するものである。図４は、画像特徴量計算部２２における画像特徴量計算処理の流れを概略的に示すフローチャートである。図４に示すように、まず、入力した画像を同じ大きさの矩形ブロックに排他的に分割し（ステップＳ１：ブロック分割手段）、各ブロックを、“絵”“文字”“他”の３種類のいずれかに分類する（ステップＳ２：ブロック分類手段）。次に、すべてのブロックの分類結果をもとに画像全体の画像特徴量を計算する（ステップＳ３：計算手段）。最後に、画像全体の画像特徴量を出力する（ステップＳ４）。以下において、各ステップの動作を説明する。
（１）ブロック分割（ステップＳ１）
入力画像を同じサイズのブロック、たとえば、１ｃｍ×１ｃｍ（解像度が２００ｄｐｉであれば８０画素×８０画素、解像度が３００ｄｐｉであれば１２０画素×高さ１２０画素）の矩形に分割する。
（２）ブロックの分類（ステップＳ２）
各ブロックを、“絵”“文字”“他”の３種類のいずれかに分類する。この処理のフローを図５に示し、以下において詳述する。
図５に示すように、まず、処理対象となるブロック画像を１００ｄｐｉ程度の低解像度に縮小した画像Ｉを生成するとともに（ステップＳ１１：画像生成手段）、解像度のレベル数Ｌを設定し（ステップＳ１２）、解像度縮小レベルｋを初期化（ｋ←０）する（ステップＳ１３）。このようなステップＳ１１〜Ｓ１３の処理を行うのは、図６に示すように、画像Ｉとともに、さらに低解像度化した画像からも特徴を抽出するためである。詳細は後述するが、例えば、解像度レベル数Ｌを２にした場合には、画像Ｉと、解像度が１／２の画像Ｉ1と、解像度が１／４の画像の画像Ｉ2との計３つの画像から特徴を抽出する。
解像度縮小レベルｋが解像度レベル数Ｌに達していない場合には（ステップＳ１４のＹｅｓ）、ステップＳ１１で生成した画像Ｉから解像度を１／２kに縮小した画像Ｉk（ｋ＝０，・・・，Ｌ）を生成し（ステップＳ１５）、画像Ｉkを２値化する（ステップＳ１６：２値化手段）。ただし、２値画像において、黒画素は値１、白画素は値０をとるとする。
次いで、２値化した解像度が１／２kの画像Ｉkから、Ｍ次元の特徴量ベクトルｆkを計算した後（ステップＳ１７）、解像度縮小レベルｋを“１”だけインクリメント（ｋ←ｋ＋１）する（ステップＳ１８）。
ここで、画像Ｉk（ｋ＝０，・・・，Ｌ）を２値化した画像から特徴を抽出する方法を述べる。自己相関関数を高次（Ｎ次）へと拡張した「高次自己相関関数（Ｎ次自己相関関数）」は、画面内の対象画像をＩ（ｒ）とすると、変位方向（Ｓ1，Ｓ2，…，ＳN）に対して、
Figure 0004615462
 で定義される。ただし、和Σは画像全体の画素rについての加算である。従って、高次自己相関関数は、次数や変位方向（Ｓ1，Ｓ2，…，ＳN）の取り方により、無数に考えられる。ここでは、簡単のため高次自己相関係数の次数Ｎを“２”までとする。また、変位方向を参照画素ｒの周りの局所的な３×３画素の領域に限定する。平行移動により等価な特徴を除くと、２値画像に対して、図７に示すように特徴の数は全部で２５個になる。各特徴の計算は、局所パターンの対応する画素の値の積を全画像に対して足し合わせればよい。例えば、「Ｎｏ．３」の局所パターンに対応する特徴は、参照画素ｒでの濃淡値とそのすぐ右隣の点での濃淡値との全画像に対する積和を取ることによって計算される。このようにして、解像度が１／２kの画像から、Ｍ＝２５次元の特徴量ベクトルｆk＝（ｇ（ｋ，１），・・・，ｇ（ｋ，２５））が計算される。ここに、画素特徴計算手段の機能および加算手段の機能が実行される。
上述したようなステップＳ１５〜Ｓ１８の処理（特徴量ベクトル計算手段）は、ステップＳ１８でインクリメントされた解像度縮小レベルｋが解像度レベル数Ｌを超える迄（ステップＳ１４のＮｏ）、繰り返される。
ステップＳ１８でインクリメントされた解像度縮小レベルｋが解像度レベル数Ｌを超えた場合には（ステップＳ１４のＮｏ）、特徴量ベクトルｆ0，・・・，ｆLをもとにして、ブロックを、“絵”“文字”“他”の３種類のいずれかに分類する（ステップＳ１９：分類手段）。
ここで、ブロックの分類の方法について詳述する。まず、前述したＭ＝２５次元の特徴量ベクトルｆk＝（ｇ（ｋ，１），・・・，ｇ（ｋ，２５））（ｋ＝０，・・・，Ｌ）から（２５×Ｌ）次元の特徴量ベクトルｘ＝（ｇ（０，１），・・・，ｇ（０，２５），・・・，ｇ（Ｌ，１），・・・，ｇ（Ｌ，２５））を生成する。このようなブロックの特徴量ベクトルｘを用いて分類を行うためには、前もって学習を行うことが必要である。そこで、本実施の形態においては、学習用データを文字だけ含むようなものと文字を含まないようなものの２種類に分けて特徴量ベクトルｘを計算する。その後、それぞれの平均をとることによって、文字画素の特徴量ベクトルｐ0と非文字画素の特徴量ベクトルｐ1を前もって計算しておく。そして、分類しようとしているブロック画像から得られた特徴量ベクトルｘを、既知の特徴量ベクトルｐ0とｐ1の線形結合に分解すれば、その結合係数ａ0，ａ1が文字画素と非文字画素の比率、あるいは、ブロックの「文字らしさ」と「非文字らしさ」を表すことになる。このような分解が可能であるのは、高次局所自己相関に基づく特徴が画面内の対象の位置に不変で、しかも、対象の数に関して加法性を持つことによる。特徴量ベクトルｘの分解を、
ｘ＝ａ0・ｐ0 ＋ａ0・ｐ1 ＝ＦTａ＋ｅ
とする。ここで、ｅは誤差ベクトル、Ｆ＝［ｐ0，ｐ1］T、ａ＝（ａ0，ａ1）Tである。最小二乗法により、最適な結合係数ベクトルａは、
ａ＝（ＦＦT）-1・Ｆｘ
で与えられる。各ブロックについて、「非文字らしさ」を表すパラメータａ1について閾値処理することにより、そのブロックを「絵」、「絵でない」、「未定」に分類する。各ブロックについて、「未定」または「絵でない」に分類されていて、文字らしさを表すパラメータａ0が閾値以上であれば「文字」に、そうでなければ「その他」に分類する。図８にブロック分類の例を示す。図８の例においては、黒部分は「文字」、グレイ部分は「絵」、白部分は「他」を表わしている。
（３）画像特徴量の計算（ステップＳ３）
ブロックの分類結果をもとにして、画像のタイプ分けのための画像特徴量を計算する。特に、
・文字、写真または絵の割合
・密集率：レイアウトの混み方（狭いところに詰め込まれている度合い）
・文字、写真または絵の散乱度：文字や写真または絵が紙面全体に散らばって分布している度合い
を計算する。具体的には、次の５つの画像特徴量を計算する。
・文字の割合Ｒｔ∈［０，１］：全ブロックの中で「文字」に分類されたブロックの割合
・非文字の割合Ｒｐ∈［０，１］：全ブロックの中で「写真または絵」に分類されたブロックの割合
・レイアウト密度Ｄ∈［０，１］：「文字」と「写真または絵」のブロック数の面積の和を、描画領域の面積で割ったもの
・文字散乱度Ｓｔ（＞０）：文字ブロックのｘ，ｙ方向の空間的分布について、分散・共分散行列の行列式を、画像の面積で正規化したもの
・非文字散乱度Ｓｐ（＞０）：写真または絵ブロックのｘ，ｙ方向の空間的分布について、分散・共分散行列の行列式を、画像の面積で正規化したもの
表１は、図８の例についての画像特徴量の計算結果を示すものである。
Figure 0004615462
次に、画像タイプ識別部２３について説明する。画像タイプ識別部２３は、画像タイプ識別手段として機能するものであって、画像特徴量計算部２２で計算した画像特徴量を用い、画像のタイプを分類識別する。本実施の形態においては、画像特徴量計算部２２で計算した特徴量を用いることにより、「スキュー補正、コントラスト強調処理をかけてはいけない」画像のタイプについて、例えば線形判別関数により簡単に表現するものとする。
・写真または絵が主体で、文字が殆どない画像のタイプ：すなわち、Ｒｐについて単調増加し、Ｒｔについて単調減少するような判別関数
Ｒｐ−ａ0・Ｒｔ−ａ1＞０ （ａ0＞１）
を満たす画像のタイプである。より具体的には、大きな写真や絵が張り付いているもの、あるいは、小さい写真が多数張り付いているものがこのタイプに分類される。
・文字が少なく、ページ全体に散らばっているような画像のタイプ：Ｒｔについて単調減少し、Ｓｔについて単調増加するような判別関数
Ｓｔ−ｃ0・Ｒｔ−ｃ1＞０ （ｃ0＞０）
を満たす画像のタイプである。より具体的には、写真や絵が占める割合がそれほど多くなくても、文字が写真や絵の説明に添えられているようなものがこのタイプに分類される。表２は、図８の例についてのタイプ識別例を示すものである。
Figure 0004615462
次に、画像正規化処理方法の選択部２４について説明する。画像正規化処理方法の選択部２４は、選択手段として機能するものであって、画像タイプ識別部２３における画像のタイプ分類の結果に基づいて、画像データの蓄積／送信の際における画像正規化の方法を選択する。例えば、図９に示すような画像タイプと画像正規化処理の対応規則を記憶手段である記憶部２６に保持しておき、この画像タイプと画像正規化処理の対応規則に従って画像正規化の方法を選択するようにすれば良い。
具体的には、図９に示すような対応規則においては、「絵が主体で、文字が殆どない」デジタル画像データ（図８の（ｄ）が該当）では、文字と地肌間のコントラスト強調のための階調変換は意味を持たず、また、前述したようにスキュー補正も十分な数の文字がないためにうまく働かないことが多い。したがって、中間調ドットパターンを連続階調に変換する処理だけを施す。
「文字が少なく、ページ全体に散らばっている」デジタル画像データ（図８の（ａ）（ｃ）（ｄ）が該当）では、統計的に十分な数の文字がないためにスキュー補正がうまく働く保障がない。そこで、中間調ドットパターンを連続階調に変換する処理と、文字と地肌間のコントラスト強調のための階調変換だけを施す。
それ以外の場合（図８の（ｂ）（ｅ）（ｆ）が該当）には、十分な数の文字が画像に存在するので、中間調ドットパターンを連続階調に変換する処理と、文字と地肌間のコントラスト強調のための階調変換処理とに加えて、スキュー補正も施す。
このようにして選択された画像正規化処理方法にしたがってパラメータが変更される。なお、複数の画像正規化処理方法が選択されるような場合には、例えば画像タイプに優先順位を付しておき、優先順位が高い画像タイプについての画像正規化処理方法を優先する。
画像正規化処理部２５は、正規化手段として機能するものであって、画像正規化処理方法の選択部２４で選択された画像正規化処理方法に基づいて、デジタル画像データに対して画像正規化処理を施す。
ここで、画像処理装置１のＣＰＵ２が実行する各種の画像正規化処理について簡単に説明する。
（１）中間調変換処理
まず、中間調ドットパターンを連続階調に変換する中間調変換処理について説明する。図１０は、中間調変換処理の流れを示すフローチャートである。図１０に示すように、デジタル画像データである原画像Ｉ0を入力あるいは受信していることが前提となっている（ステップＳ５０１）。このような前提の下、まず、原画像Ｉ0から低解像度の縮小画像Ｉを生成する（ステップＳ５０２）。次いで、低解像度画像Ｉへの処理として、生成した低解像度の縮小画像Ｉ上で、局所的特徴（エッジ、色信号の局所的統計量など）に基づいて前景画像Ｆを抽出する（ステップＳ５０３）。前景画像Ｆ以外の画素が背景画像Ｂとなる。そして、背景画像Ｂを連続階調表現に変換し、連続階調変換された背景画像Ｊとする（ステップＳ５０４）。連続階調とは、ディザ等の擬似階調とは異なり、個々の画素に画素値（カラーの場合はＲ、Ｇ、Ｂそれぞれの輝度）を付与して階調を表現したものである。
次に、原解像度画像Ｉ0への処理として、低解像度の縮小画像Ｉ中から前景として抽出された前景画像Ｆについて、受信したままの原画像Ｉ0での処理を行う。縮小画像Ｉ中から前景として抽出された前景画像Ｆ内で、局所的特徴（エッジ、色信号の局所的統計量など）をもとに前景画像ＦＦを抽出し、それ以外の画素を背景画像ＢＦとする（ステップＳ５０５）。そして、その背景画像ＢＦを連続階調表現に変換し、連続階調変換された背景画像Ｊ0とする（ステップＳ５０６）。
最後に、縮小画像Ｉから連続階調表現された背景画像Ｊ、前景画像ＦＦ、原画像Ｉ0から連続階調表現された背景画像Ｊ0を合成して、補正画像Ｑを得る（ステップＳ５０７）。
背景画像Ｂ、ＢＦを連続階調表現に変換する処理については、まず、前景画像Ｆを抽出した後に残る領域の画像、すなわち背景画像Ｂ内に、Ｗ×Ｗの大きさ（ウィンドウサイズｓ）の局所的領域Ｒを設定する。ここでは、ウィンドウサイズｓがＷ×Ｗの大きさであることから、局所的領域Ｒは正方形であることになるが、局所的領域Ｒは、矩形であれば必ずしも正方形に限定されない。また、この局所的領域Ｒは、それが適切なサイズであれば、鋭いエッジ、文字、グラフィックスなどを持たない。したがって、ウィンドウサイズｓの大きさと局所的領域Ｒの位置とが適切であれば、局所的領域Ｒ内の画素をＲ内の平均色で置き換えればよい。背景画像ＢＦについても同様である。
また、ステップＳ５０７のＦＦ、Ｊ、Ｊ０の合成を行い補正画像Ｑを得るには、Ｒ、Ｇ、Ｂ各色について次の処理を行えば良い。即ち、Ｑ［ｉ，ｊ］には、対応する低解像度画像での画素がＢ（背景）なら、低解像度連続階調画像Ｊの画素値を代入する。背景でない場合（Ｆ：前景）は、Ｑ［ｉ，ｊ］に対応する原解像度画像の画素がＦＦ（前景）なら、Ｉ０［ｉ，ｊ］を、ＢＦならＪ０［ｉ，ｊ］を代入すれば良い。
なお、この中間調変換処理の詳細については、本出願人が出願した特開２００３−２８
１５２６号公報（特許文献１）などに詳述されている。
（２）階調補正処理
次に、文字と地肌間のコントラスト強調のための階調変換処理について説明する。図１１は、階調補正処理の流れを示すフローチャートである。まず、処理の概要について説明する。文書画像には多くの文字が印刷されているが、一般的に通常の文書には、紙面の何も印刷されていない部分に黒い文字が直接印刷されている部分がある。このため、入力画像から黒文字がありそうな領域を抽出する。入力画像を十分に小さいブロックに分割することで、内部に黒い文字が紙面に直接印刷されているようなあるブロックが存在すると仮定できる。このことから、下地色となる紙面色が白であるとすると、次のような画像処理を行えば良い。以下、図１１を参照して処理の流れを説明する。
図１１に示すように、デジタル画像データである原画像Ｉ0を受信していることが前提となっている（ステップＳ６０１）。このような前提の下、まず、原画像Ｉ0から低解像度の縮小画像Ｉを生成する（ステップＳ６０２）。
次に、ステップＳ６０２で生成した低解像度画像Ｉを平滑化する（ステップＳ６０３）。そして、低解像度画像Ｉの各画素の周りに固定サイズのウィンドウを設定して、Ｒ、Ｇ、Ｂの各チャンネル（色）で信号（画素値）の平均値μと標準偏差σとを計算することで低解像度画像Ｉの特徴量を計算する（ステップＳ６０４）。画像データの平滑化は公知の技術であり、ノイズの除去を目的とする。また、ステップＳ６０４で求めた統計量は、次のステップでの文字領域の判定に用いる。
次いで、低解像度画像Ｉに対して局所適応的閾値処理と膨張処理とを行ってカラー成分の局所適応的二値化を行うことにより、文字領域Ｃの抽出検出を行う（ステップＳ６０５）。例えば、下地に黒文字が直接印刷された画像である場合、Ｒ、Ｇ、Ｂのすべてのチャンネル（色）においてコントラストが強くなる傾向がある。このため、信号値（画素値）が、すべてのチャンネル（色）において、閾値μ（ａ＋ｂσ）よりも低い画素［ｉ，ｊ］を文字領域Ｃの要素として設定する。ａ、ｂはパラメータであり、文書原稿に含まれるイメージ成分によって調整する。なお、文字領域Ｃの抽出検出の方法は、文字認識等で行われている既存の方法を用いても良い。
次に、入力された原画像Ｉ0を固定サイズの互いに重なりのないブロックに分割し（ステップＳ６０６）、分割した各ブロックにおいて、文字領域Ｃに属する画素を２つの代表色に応じて第１のクラスと第２のクラスとの２クラスに分類する（ステップＳ６０７）。そして、文字領域Ｃに属する画素の輝度に基づいて、通常は、明るい色の方を文字領域の背景色に、暗い色の方を文字色に対応させる。なお、ブロックの大きさは辺の長さが２０ｍｍ程度の正方形で良い（２００ｄｐｉでは１６０画素×１６０画素）。
さらに、文字領域Ｃに属する画素が２つの代表色に分類された各ブロックから、一方のクラスに分類された画素数が最大になるブロックＢをウィンドウＷとして選択し、このウィンドウＷにおける２つの代表色を入力画像における下地の平均色および黒文字の平均色としてそれぞれ設定し、さらに、輝度の統計量に基づいて、黒文字色と下地色とを推定する（ステップＳ６０８）。ここで、輝度は、例えば、
輝度＝（Ｒ＋Ｇ＋Ｂ）／３
に示す式の演算により取得されるＲ、Ｇ、Ｂ信号の平均値であり、この輝度から取得される輝度の平均値および標準偏差を輝度の統計量とする。
このようにして求めた輝度の統計量に基づいて、各ブロック内における各画素の階調補正を行う（ステップＳ６０９）。ここでは、下地色を白（輝度最大）とし、黒文字色を黒（輝度最小）とする。具体的には、クラス１を文字色の代表色とし、クラス２を下地色の代表色とすれば、文字色の代表色より暗い画素を黒、下地色の代表色より明るい画素を白として、二つの色の中間の画素に対しては、黒と白の中間調に線形マップする。つまり、
最大画素値を２５５とすると、
画素値＝２５５＊（ｘ−Ｂ）／（Ｗ−Ｂ）
ここで、ｘは注目している画素の画素値、Ｂは文字色の代表色の画素値、Ｗは文字色の
代表色の画素値である。
このようにして求めた画素値をＲ、Ｇ、Ｂ各色の画素値に設定する。なお、ここでは画素値という表現を用いたが、輝度と同じ意味である。
なお、この階調補正処理の詳細については、本出願人が出願した特開２００５−１１０１８４号公報（特許文献２）などに詳述されている。
（３）スキュー補正処理
次に、スキュー補正処理について説明する。スキューは当該分野において良く知られた問題であり、文書のラインが水平線上にないドキュメントイメージを指す。スキュー検出方法には、スキュー角の決定処理が設けられている。イメージを表現している抽出された矩形領域のリストからドキュメントのスキュー角を決定することができる。スキューを決定する方法は、抽出された矩形領域がどのようにして導き出されたかに依らない。従って、矩形領域に関してドキュメント表現を正確に行なうことができる方法であれば、これをスキューの検出および補正方法に用いることができる。
図１２は、スキュー角の決定処理の流れを示すフローチャートである。前提条件として、Ｘ−Ｙ平面上での座標点として矩形領域をアドレスすることができることが先ず理解されるべきである。
最初、所定数の関連した矩形領域のアドレス情報を矩形領域バッファに格納する（ステップＳ７０１）。スキュー角を検出するために、正確には８０個の矩形領域を用いることとする。さらに、格納されるアドレス情報は、矩形領域の左上隅の座標である。全ての矩形領域アドレスについて一貫性をもたせれば、これのかわりに、矩形領域の右下隅の座標をアドレス情報として用いることもできる。
次いで、各々のアドレスのＸ座標をＸ座標アドレスのヒストグラム上に投射し、コラムエッジを検出する（ステップＳ７０２）。図１３には、このようなヒストグラムが示されている。このヒストグラムは、最も頻度が高いＸ座標値を示している。この最も頻度が高いＸ座標値により、文書のコラムのエッジを検出することができる。すなわち、矩形領域をこれらの左上隅点により検出する場合には、左側のコラムエッジが検出される。これとは逆に、右下隅点が用いられる場合には、右側のコラムエッジが検出される。図１３を参照すると、符号７０１の部分は、Ｘ座標を示しており、符号７０２の部分は頻度を示しており、符号７０３の部分は、各Ｘ座標のカウント値の関係をグラフィックに示したものである。符号７０４で示すＸ座標値は、最も頻度が高く、このＸ座標値がコラムエッジとして定められる。コラムの検出は、スキュー角を決定するときに比較対象となる矩形領域をコラム検出結果を用いて制限することができる点で重要である。なお、この制限とは、同じコラム内の矩形領域のみを比較することである。
図１２を再び参照すると、矩形領域バッファに格納されている全てのあるいは限られた一部の関連した矩形領域間の正接角（タンジェント角）を決定し、ヒストグラム上に投射してスキュー角を検出する（ステップＳ７０３）。図１４には、２つの矩形領域間の正接角が示されている。第１の矩形領域８０１と第２の矩形領域８０２とは、対角線８０４と水平線８０３とによって定まるスキュー角をもつ。対角線８０４は、矩形領域８０１の右下隅８０６から矩形領域８０２の右下隅８０７まで延びている。水平線８０３は、矩形領域８０１の隅８０６から延びている。スキュー角８０５は、良く知られた三角法の計算により、次のようにして計算される。
ΔＸ＝｜（点８０６のＸ座標）−（点８０７のＸ座標）｜
ΔＹ＝｜（点８０６のＹ座標）−（点８０７のＹ座標）｜
スキュー角＝（１８０×ΔＹ）／（π×ΔＸ）
すなわち、対角線８０４を形成する座標点間の絶対値を計算し、スキュー角の式に挿入することで、スキュー角を計算できる。
なお、このスキュー補正処理の詳細については、本出願人が出願した特許第３３０８０３２号公報（特許文献３）などに詳述されている。
最後に、画像蓄積／送信処理部２７は、画像正規化処理方法の選択部２４で選択された画像正規化処理方法に基づいて画像正規化処理部２５で正規化された画像をＨＤＤ６などの記憶媒体に蓄積したり、あるいは、他の機能が動作する外部機器にネットワーク９を介して送信したりする。
このように本実施の形態によれば、レイアウトの概略（文字や写真・絵の大体の空間的配置や分布など）に基づいて計算された画像データの画像特徴量を用いて当該画像データの画像タイプが分類識別された後、分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて画像正規化処理方法が選択され、選択された画像正規化処理方法に基づいて画像データに対して正規化処理が施され、送信または蓄積される。これにより、レイアウトの概略（文字や写真・絵の大体の空間的配置や文字と写真・絵の分布など）に従うことで画像のタイプを特徴付ける画像特徴量を高速に計算することができるとともに、画像データの画像タイプに適した正規化処理を適用して、画像の歪みをもたらすことなく、画像データを理想的な表現に変換した形で送信または蓄積することができる。
なお、本実施の形態の「（２）ブロックの分類（ステップＳ２）」においては、ブロックから計算された（２５×Ｌ）次元の特徴量ベクトルｘについて、行列Ｆを用いて、ブロックの文字らしさと非文字らしさを表す係数成分から成る係数ベクトルａを計算したが、これに限るものではない。例えば、学習データから計算された特徴量ベクトルｘと、学習データに付属した教師信号（文字か、文字でないか）を用いた教師つき学習を前もって行い、識別関数を構築しておくようにしても良い。例えば、学習や識別関数は、線形判別分析と線形判別関数、ニューラルネットワークの誤差逆伝播とネットワークの重み係数などの既知のものを用いればよい。分類すべきブロックで計算された特徴量ベクトルｘについて、予め計算されておいた識別関数を用いて、ブロックを“絵”“文字”“他”のいずれかに分類する。
また、本実施の形態の「（２）ブロックの分類（ステップＳ２）」においては、２値画像から特徴を抽出するようにしたが、２値画像ではなく、多値画像から特徴を抽出するようにしても良い。この場合、３×３近傍の局所パターンの数は３５になる。これは、図７に示した局所パターンに加えて、１次自己相関において注目画素自身の濃淡値の２乗、２次自己相関において注目画素自身の濃淡値の３乗、８近傍の画素のそれぞれについて近傍画素の濃淡値の２乗と注目画素の濃淡値の積、合計１０個の相関値を計算しなければならないからである。２値画像では、濃淡値が１または０だけなので、濃淡値を２乗、３乗しても、もとの値と変わらないが、多値画像ではこれらのケースを考慮しなければならない。
そして、これに応じて，特徴量ｆｋの次元もＭ＝３５になり、特徴量ベクトルｆk＝（ｇ（ｋ，１），ｇ（ｋ，１），・・・，ｇ（ｋ，３５））が計算される。また、ブロックの分類においても、（３５×Ｌ）次元の特徴量ベクトルｘ＝（ｇ（０，１），・・・，ｇ（０，２５），・・・，ｇ（Ｌ，１），・・・，ｇ（Ｌ，２５））を用いる。
［第２の実施の形態］
次に、本発明の第２の実施の形態を図１５に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。
第１の実施の形態においては、画像処理装置１としてＰＣなどのコンピュータを適用したが、本実施の形態は、画像処理装置１としてデジタル複合機などに備えられる情報処理装置を適用したものである。
図１５は、本発明の第２の実施の形態にかかるデジタル複合機５０を示す外観斜視図である。図１５に示すように、画像読取手段であるスキャナ部５１及び画像印刷装置であるプリンタ部５２を備えた画像形成装置であるデジタル複合機５０に備えられる情報処理装置に画像処理装置１を適用し、デジタル複合機５０のスキャナ部５１で読み取ったスキャン画像に対して画像データの蓄積／送信の際の正規化処理を施すようにしたものである。
この場合、以下に示す３つの態様が考えられる。
１．スキャナ部５１におけるスキャン時に、画像タイプ識別部２３における画像タイプ識別処理まで実行し、画像データのヘッダに画像タイプ情報として記録する。
２．スキャナ部５１におけるスキャン時には特に何もせず、データ配信時またはデータ蓄積時に、画像正規化処理部２５による正規化処理まで行う。
３．スキャナ部５１におけるスキャン時に、画像正規化処理部２５による正規化処理まで行う。
［第３の実施の形態］
次に、本発明の第３の実施の形態を図１６に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。
第１の実施の形態においては、画像処理装置１としてローカルなシステム（例えば、パーソナルコンピュータ単体）を適用したが、本実施の形態は、画像処理装置１としてサーバクライアントシステムを構成するサーバコンピュータを適用したものである。
図１６は、本発明の第３の実施の形態にかかるサーバクライアントシステムを示す模式図である。図１６に示すように、サーバコンピュータＳにネットワークＮを介してクライアントコンピュータＣが複数台接続されたサーバクライアントシステムを適用しており、各クライアントコンピュータＣからサーバコンピュータＳに対して画像を送信し、サーバコンピュータＳ（画像処理装置１）において画像に対して画像データの蓄積／送信の際の正規化処理を施すようにしたものである。また、ネットワークＮ上には、ネットワークスキャナＮＳが設けられている。
この場合、以下に示す３つの態様が考えられる。
１．ネットワークスキャナＮＳを用いたサーバコンピュータＳ（画像処理装置１）によるスキャン時に、画像タイプ識別部２３における画像タイプ識別処理まで実行し、画像データのヘッダに画像タイプ情報として記録する。
２．ネットワークスキャナＮＳを用いたサーバコンピュータＳ（画像処理装置１）によるスキャン時には特に何もせず、データ配信時またはデータ蓄積時に、画像正規化処理部２５による正規化処理まで行う。
３．ネットワークスキャナＮＳを用いたサーバコンピュータＳ（画像処理装置１）によるスキャン時に、画像正規化処理部２５による正規化処理まで行う。
本発明の第１の実施の形態にかかる画像処理装置の電気的な接続を示すブロック図である。 画像処理装置のＣＰＵが実行する画像データの蓄積／送信の際の正規化処理にかかる機能を示す機能ブロック図である。 その流れを概略的に示すフローチャートである。 画像特徴計算部における画像特徴量計算処理の流れを概略的に示すフローチャートである。 ブロック分類処理の流れを概略的に示すフローチャートである。 多重解像度処理を示す模式図である。 高次自己相関関数計算のためのマスクパターンの一例を示す模式図である。 ブロック分類の例を示す模式図である。 画像タイプと画像正規化処理の対応規則の一例を示すフローチャートである。 中間調変換処理の流れを示すフローチャートである。 階調補正処理の流れを示すフローチャートである。 スキュー角の決定処理の流れを示すフローチャートである。 コラムエッジを検出するためのヒストグラムを示す図である。 ２つの矩形領域間の正接角を説明するための図である。 本発明の第２の実施の形態にかかるデジタル複合機を示す外観斜視図である。 本発明の第３の実施の形態にかかるサーバクライアントシステムを示す模式図である。
符号の説明
１ 画像処理装置
２２ 画像特徴量計算手段
２３ 画像タイプ識別手段
２４ 選択手段
２５ 正規化手段
２６ 記憶手段
５０ 画像形成装置
５１ 画像読取手段

Claims (16)

  1. 受け付けた画像データを蓄積または送信する際に、前記画像データを理想的な形に変換するための正規化処理を行なう画像処理装置において、
    前記画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算するものであって、前記文字の散乱度は文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものであり、前記非文字の散乱度は非文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものである画像特徴量計算手段と、
    この画像特徴量計算手段により計算された前記画像特徴量を用い、前記画像データの画像タイプを分類識別する画像タイプ識別手段と、
    画像タイプと画像正規化処理の対応規則を対応付けた情報を記憶する記憶手段と、
    前記画像タイプ識別手段による分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて、画像正規化処理方法を選択する選択手段と、
    この選択手段で選択された画像正規化処理方法に基づいて、前記画像データに対して正規化処理を施す正規化手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像特徴量計算手段は、
    前記画像データを矩形ブロックに排他的に分割するブロック分割手段と、
    分割された前記各ブロックを、当該画像データを構成する所定の構成要素に分類するブロック分類手段と、
    前記ブロックの分類結果に基づいて前記画像データの画像特徴量を計算する計算手段と、
    を備え、
    前記ブロック分類手段は、
    前記ブロックから複数の異なる解像度の画像を生成する画像生成手段と、
    前記各解像度の画像について、複数の局所パターンおよび複数の解像度のそれぞれについての特徴量を表す特徴量ベクトルを計算する特徴量ベクトル計算手段と、
    前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類手段と、
    を備えることを特徴とする請求項１記載の画像処理装置。
  3. 前記選択手段は、複数の画像正規化処理方法を選択する場合には、予め画像タイプに優先順位を付しておき、優先順位が高い画像タイプについての画像正規化処理方法を優先する、
    ことを特徴とする請求項１または２記載の画像処理装置。
  4. 前記正規化処理方法は、
    前記画像データ中の中間調ドットパターンを、当該中間調ドットパターンの統計量に基づき連続階調に変換する中間調変換処理と、
    前記画像データ中の黒文字色と紙面色を、当該画像データの統計量に基づき推定し、推定した黒文字色と紙面色とをもとに階調補正を行う階調補正処理と、
    前記画像データの傾きを、当該画像データの統計量に基づき推定し、推定した傾きを補正するスキュー補正処理と、
    のいずれかである、
    ことを特徴とする請求項３記載の画像処理装置。
  5. 画像読取手段により読み取られた画像データを理想的な形に変換するための正規化処理を行ない、画像を用紙上に印刷する画像形成装置において、
    前記画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算するものであって、前記文字の散乱度は文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものであり、前記非文字の散乱度は非文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものである画像特徴量計算手段と、
    この画像特徴量計算手段により計算された前記画像特徴量を用い、前記画像データの画像タイプを分類識別する画像タイプ識別手段と、
    画像タイプと画像正規化処理の対応規則を対応付けた情報を記憶する記憶手段と、
    前記画像タイプ識別手段による分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて、画像正規化処理方法を選択する選択手段と、
    この選択手段で選択された画像正規化処理方法に基づいて、前記画像データに対して正規化処理を施す正規化手段と、
    を備えることを特徴とする画像形成装置。
  6. 前記画像特徴量計算手段は、
    前記画像データを矩形ブロックに排他的に分割するブロック分割手段と、
    分割された前記各ブロックを、当該画像データを構成する所定の構成要素に分類するブロック分類手段と、
    前記ブロックの分類結果に基づいて前記画像データの画像特徴量を計算する計算手段と、
    を備え、
    前記ブロック分類手段は、
    前記ブロックから複数の異なる解像度の画像を生成する画像生成手段と、
    前記各解像度の画像について、複数の局所パターンおよび複数の解像度のそれぞれについての特徴量を表す特徴量ベクトルを計算する特徴量ベクトル計算手段と、
    前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類手段と、
    を備えることを特徴とする請求項５記載の画像形成装置。
  7. 前記選択手段は、複数の画像正規化処理方法を選択する場合には、予め画像タイプに優先順位を付しておき、優先順位が高い画像タイプについての画像正規化処理方法を優先する、
    ことを特徴とする請求項５または６記載の画像形成装置。
  8. 前記正規化処理方法は、
    前記画像データ中の中間調ドットパターンを、当該中間調ドットパターンの統計量に基づき連続階調に変換する中間調変換処理と、
    前記画像データ中の黒文字色と紙面色を、当該画像データの統計量に基づき推定し、推定した黒文字色と紙面色とをもとに階調補正を行う階調補正処理と、
    前記画像データの傾きを、当該画像データの統計量に基づき推定し、推定した傾きを補正するスキュー補正処理と、
    のいずれかである、
    ことを特徴とする請求項７記載の画像形成装置。
  9. 受け付けた画像データを蓄積または送信する際に、前記画像データを理想的な形に変換するための正規化処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
    前記画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算するものであって、前記文字の散乱度は文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものであり、前記非文字の散乱度は非文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものである画像特徴量計算機能と、
    この画像特徴量計算機能により計算された前記画像特徴量を用い、前記画像データの画像タイプを分類識別する画像タイプ識別機能と、
    画像タイプと画像正規化処理の対応規則を対応付けた情報を記憶する記憶機能と、
    前記画像タイプ識別機能による分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて、画像正規化処理方法を選択する選択機能と、
    この選択機能で選択された画像正規化処理方法に基づいて、前記画像データに対して正規化処理を施す正規化機能と、
    を実行させることを特徴とするプログラム。
  10. 前記画像特徴量計算機能は、
    前記画像データを矩形ブロックに排他的に分割するブロック分割機能と、
    分割された前記各ブロックを、当該画像データを構成する所定の構成要素に分類するブロック分類機能と、
    前記ブロックの分類結果に基づいて前記画像データの画像特徴量を計算する計算機能と、
    を前記コンピュータに実行させ、
    前記ブロック分類機能は、
    前記ブロックから複数の異なる解像度の画像を生成する画像生成機能と、
    前記各解像度の画像について、複数の局所パターンおよび複数の解像度のそれぞれについての特徴量を表す特徴量ベクトルを計算する特徴量ベクトル計算機能と、
    前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類機能と、
    を前記コンピュータに実行させることを特徴とする請求項９記載のプログラム。
  11. 前記選択機能は、複数の画像正規化処理方法を選択する場合には、予め画像タイプに優先順位を付しておき、優先順位が高い画像タイプについての画像正規化処理方法を優先する、
    ことを特徴とする請求項９または１０記載のプログラム。
  12. 前記正規化処理方法は、
    前記画像データ中の中間調ドットパターンを、当該中間調ドットパターンの統計量に基づき連続階調に変換する中間調変換処理と、
    前記画像データ中の黒文字色と紙面色を、当該画像データの統計量に基づき推定し、推定した黒文字色と紙面色とをもとに階調補正を行う階調補正処理と、
    前記画像データの傾きを、当該画像データの統計量に基づき推定し、推定した傾きを補正するスキュー補正処理と、
    のいずれかである、
    ことを特徴とする請求項１１記載のプログラム。
  13. 受け付けた画像データを蓄積または送信する際に、前記画像データを理想的な形に変換するための正規化処理を実行するコンピュータにおける画像処理方法であって、
    前記画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算するものであって、前記文字の散乱度は文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものであり、前記非文字の散乱度は非文字ブロックのｘ，ｙ方向の空間的分布について分散・共分散行列の行列式を画像の面積で正規化したものである画像特徴量計算工程と、
    この画像特徴量計算工程により計算された前記画像特徴量を用い、前記画像データの画像タイプを分類識別する画像タイプ識別工程と、
    画像タイプと画像正規化処理の対応規則を対応付けた情報を記憶する記憶工程と、
    前記画像タイプ識別工程による分類結果及び画像タイプと画像正規化処理の対応規則を対応付けた情報に基づいて、画像正規化処理方法を選択する選択工程と、
    この選択工程で選択された画像正規化処理方法に基づいて、前記画像データに対して正規化処理を施す正規化工程と、
    を含むことを特徴とする画像処理方法。
  14. 前記画像特徴量計算工程は、
    前記画像データを矩形ブロックに排他的に分割するブロック分割工程と、
    分割された前記各ブロックを、当該画像データを構成する所定の構成要素に分類するブロック分類工程と、
    前記ブロックの分類結果に基づいて前記画像データの画像特徴量を計算する計算工程と、
    を含み、
    前記ブロック分類工程は、
    前記ブロックから複数の異なる解像度の画像を生成する画像生成工程と、
    前記各解像度の画像について、複数の局所パターンおよび複数の解像度のそれぞれについての特徴量を表す特徴量ベクトルを計算する特徴量ベクトル計算工程と、
    前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類工程と、
    を含むことを特徴とする請求項１３記載の画像処理方法。
  15. 前記選択工程は、複数の画像正規化処理方法を選択する場合には、予め画像タイプに優先順位を付しておき、優先順位が高い画像タイプについての画像正規化処理方法を優先する、
    ことを特徴とする請求項１３または１４記載の画像処理方法。
  16. 前記正規化処理方法は、
    前記画像データ中の中間調ドットパターンを、当該中間調ドットパターンの統計量に基づき連続階調に変換する中間調変換処理と、
    前記画像データ中の黒文字色と紙面色を、当該画像データの統計量に基づき推定し、推定した黒文字色と紙面色とをもとに階調補正を行う階調補正処理と、
    前記画像データの傾きを、当該画像データの統計量に基づき推定し、推定した傾きを補正するスキュー補正処理と、
    のいずれかである、
    ことを特徴とする請求項１５記載の画像処理方法。
JP2006071044A 2006-03-15 2006-03-15 画像処理装置、画像形成装置、プログラムおよび画像処理方法 Expired - Fee Related JP4615462B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006071044A JP4615462B2 (ja) 2006-03-15 2006-03-15 画像処理装置、画像形成装置、プログラムおよび画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006071044A JP4615462B2 (ja) 2006-03-15 2006-03-15 画像処理装置、画像形成装置、プログラムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP2007251518A JP2007251518A (ja) 2007-09-27
JP4615462B2 true JP4615462B2 (ja) 2011-01-19

Family

ID=38595363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006071044A Expired - Fee Related JP4615462B2 (ja) 2006-03-15 2006-03-15 画像処理装置、画像形成装置、プログラムおよび画像処理方法

Country Status (1)

Country Link
JP (1) JP4615462B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5006263B2 (ja) * 2008-06-03 2012-08-22 株式会社リコー 画像処理装置、プログラムおよび画像処理方法
US9165188B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
JP2016538783A (ja) 2013-11-15 2016-12-08 コファックス， インコーポレイテッド モバイル映像データを用いて長尺文書の合成画像を生成するためのシステムおよび方法
JP6435740B2 (ja) * 2014-09-22 2018-12-12 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
JP6554193B1 (ja) 2018-01-30 2019-07-31 三菱電機インフォメーションシステムズ株式会社 記入領域抽出装置および記入領域抽出プログラム
JP7185451B2 (ja) 2018-09-10 2022-12-07 キヤノン株式会社 画像処理装置と画像処理方法、及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3308032B2 (ja) * 1992-04-06 2002-07-29 株式会社リコー スキュー補正方法およびスキュー角検出方法およびスキュー補正装置およびスキュー角検出装置
JP2002247353A (ja) * 2001-02-22 2002-08-30 Ricoh Co Ltd 白背景分離装置
JP2002262074A (ja) * 2001-02-27 2002-09-13 Ricoh Co Ltd 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
JP2003281526A (ja) * 2002-03-22 2003-10-03 Ricoh Co Ltd 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体
JP2004023174A (ja) * 2002-06-12 2004-01-22 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体
JP2004048130A (ja) * 2002-07-09 2004-02-12 Fuji Xerox Co Ltd 画像処理方法、画像処理装置、および画像処理プログラム
JP2005101765A (ja) * 2003-09-22 2005-04-14 Sharp Corp 画像処理方法、画像処理装置及び画像形成装置
JP2005110184A (ja) * 2003-09-12 2005-04-21 Ricoh Co Ltd 画像処理装置、画像処理プログラムおよび記憶媒体
JP2005236903A (ja) * 2004-02-23 2005-09-02 Sharp Corp 画像処理方法、画像処理装置及び画像形成装置並びにコンピュータプログラム
JP2006013722A (ja) * 2004-06-23 2006-01-12 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927904A (ja) * 1995-07-13 1997-01-28 Canon Inc 画像処理方法及びその装置
JPH09186858A (ja) * 1996-01-08 1997-07-15 Canon Inc 画像処理方法及び装置、及びコンピュータ制御装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3308032B2 (ja) * 1992-04-06 2002-07-29 株式会社リコー スキュー補正方法およびスキュー角検出方法およびスキュー補正装置およびスキュー角検出装置
JP2002247353A (ja) * 2001-02-22 2002-08-30 Ricoh Co Ltd 白背景分離装置
JP2002262074A (ja) * 2001-02-27 2002-09-13 Ricoh Co Ltd 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
JP2003281526A (ja) * 2002-03-22 2003-10-03 Ricoh Co Ltd 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体
JP2004023174A (ja) * 2002-06-12 2004-01-22 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体
JP2004048130A (ja) * 2002-07-09 2004-02-12 Fuji Xerox Co Ltd 画像処理方法、画像処理装置、および画像処理プログラム
JP2005110184A (ja) * 2003-09-12 2005-04-21 Ricoh Co Ltd 画像処理装置、画像処理プログラムおよび記憶媒体
JP2005101765A (ja) * 2003-09-22 2005-04-14 Sharp Corp 画像処理方法、画像処理装置及び画像形成装置
JP2005236903A (ja) * 2004-02-23 2005-09-02 Sharp Corp 画像処理方法、画像処理装置及び画像形成装置並びにコンピュータプログラム
JP2006013722A (ja) * 2004-06-23 2006-01-12 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2007251518A (ja) 2007-09-27

Similar Documents

Publication Publication Date Title
JP4615462B2 (ja) 画像処理装置、画像形成装置、プログラムおよび画像処理方法
JP4118749B2 (ja) 画像処理装置、画像処理プログラムおよび記憶媒体
US7324247B2 (en) Image processing apparatus, image processing program and storage medium storing the program
US6807304B2 (en) Feature recognition using loose gray scale template matching
JP3809404B2 (ja) 画像処理方法、装置およびシステム
JP4768451B2 (ja) 画像処理装置、画像形成装置、プログラムおよび画像処理方法
US11574489B2 (en) Image processing system, image processing method, and storage medium
US7525694B2 (en) Image processing device, image processing method, image processing program, and recording medium
JP4350778B2 (ja) 画像処理装置、画像処理プログラムおよび記録媒体
US20120243785A1 (en) Method of detection document alteration by comparing characters using shape features of characters
US8369614B2 (en) Edge control in a digital color image via tone and size dependent dilation of pixels
US20050225805A1 (en) Image forming apparatus, program therefor, storage medium, and image forming method
US10425554B1 (en) Method for generating and printing a drift resistant pantograph mark
JP2010056827A (ja) 画像処理装置および画像処理プログラム
JP2004336282A (ja) 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体
US20040223643A1 (en) Image manipulation according to pixel type
US9338310B2 (en) Image processing apparatus and computer-readable medium for determining pixel value of a target area and converting the pixel value to a specified value of a target image data
US20230062113A1 (en) Information processing apparatus, information processing method and non-transitory storage medium
US8260057B2 (en) Image processing apparatus that obtains a ruled line from a multi-value image
JP4059389B2 (ja) 画像処理装置、画像処理プログラムおよび記憶媒体
KR100416496B1 (ko) 다중 역치값을 이용한 이치화 방법
JP4169674B2 (ja) 画像処理装置、画像処理プログラムおよび記憶媒体
KR20140063378A (ko) 화상형성장치, 화상형성방법 및 컴퓨터 판독가능 기록매체
US11715314B2 (en) Performance improvement with object detection for software based image path
JP5847897B2 (ja) 印刷制御装置および印刷制御方法ならびにそのプログラムおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101020

R150 Certificate of patent or registration of utility model

Ref document number: 4615462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees