以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態1.
図1は本発明に係る画像処理装置の内部構成を示すブロック図である。本発明に係る画像処理装置は、制御部11、記憶部12、操作部13、表示部14、画像入力部15、画像出力部16、通信部17、及び文書照合処理部20を備える。
制御部11は、CPU、ROM、RAMなどを備えている。制御部11は、ROMに格納されている制御プログラムを実行することにより、前述したハードウェア各部の制御を行い、装置全体として本発明に係る画像処理装置として機能させる。
記憶部12は、メモリ、HDDなどの不揮発性の記憶手段であり、その記憶領域の一部は、処理内容決定テーブル12a及びハッシュテーブル12bとして利用される。この処理内容決定テーブル12aは、装置内(例えば、記憶部12内)に予め登録されている画像(以下、登録画像という)に類似した原稿画像が取り込まれた場合、出力処理として実行すべき処理の内容を規定している。また、ハッシュテーブル12bは、原稿画像の特徴を表す特徴量と原稿の種類を表すインデックスとの関係を規定している。
図2は処理内容決定テーブル12aの一例を示す概念図である。処理内容決定テーブル12aでは、原稿を表すインデックスと処理内容との関係が規定されている。ここで、原稿を表すインデックスとは、登録画像を識別するための識別子であり、後述する類似度判定処理部24にて原稿画像が登録画像に類似していると判定された場合、その登録画像に割り当てられているインデックスが選択される。処理内容決定テーブル12aでは、1つのインデックスに対して出力処理の処理内容を定めているため、インデックスが選択された場合に処理内容が決定される。例えば、インデックスとして「ID1」が選択された場合、処理内容はモノクロコピーに決定される。また、インデックスとして「ID2」が選択された場合、処理内容は2色印刷に決定される。同様に、他のインデックスが選択された場合、ファクシミリ送信、ファイリング処理、両面コピー、2in1(2面割り付け)、コピー及びステープル処理、コピー及びファクシミリ送信などが出力処理として決定される。
なお、上述した処理内容はデフォルトの内容であり、使用環境に応じて設定を変更するようにしてもよい。
図3は処理内容決定テーブル12aの他の例を示す概念図である。図3に示した処理内容決定テーブル12aでは、原稿を表すインデックスと複数の処理内容との関係を規定している。処理内容の変更は操作部13を通じて受付けることができる。例えば、処理内容の変更要求を操作部13を通じて受付けた場合、まず、デフォルトの処理内容を項目毎に表示し、ユーザに選択を促すことによって所望の処理内容を設定できるようにすることが可能である。
操作部13は、ユーザによる操作を受付けるためのインタフェースであり、各種スイッチ、ボタン等を備える。表示部14は、ユーザに対して報知すべき情報、画像等を表示するインタフェースであり、液晶ディスプレイなどを備える。
画像入力部15は、原稿画像を光学的に読取る手段であり、読取用の原稿に光を照射する光源、CCD(Charge Coupled Device)のようなイメージセンサ等を備えている。画像入力部15では、所定の読取位置にセットされた原稿からの反射光像を当該イメージセンサに結像させ、RGB(R : Red, G : Green, B : Blue)のアナログ電気信号を出力する。
なお、本発明の画像処理装置では、画像入力部15において原稿画像を読取ることにより、出力対象の画像データを取得する構成としているが、例えば、記憶部12に記憶されている画像データ、通信部17を通じて入力される画像データを出力対象としてもよく、これらの画像データに基づいて画像の出力を行う際に登録画像との類似度を判定し、類似している場合には処理内容決定テーブル12aが規定する処理内容に従って出力処理を行う構成としてもよい。
画像出力部16は、画像データに基づいて、用紙、OHPフィルム等のシート上に画像形成を行う手段である。そのため、画像出力部16は、感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して顕像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等(不図示)を備えており、電子写真方式にて利用者が所望する画像を用紙上に形成する。なお、レーザ書込装置を用いた電子写真方式により画像形成を行う他、インクジェット方式、熱転写方式、昇華方式等により画像形成を行う構成であってもよい。
通信部17は、ファクシミリ通信網、ローカルエリアネットワーク、インターネット網などの通信ネットワークへ接続するためのインタフェースを備えており、ファクシミリデータの送受信、各種データ及びプログラムの送受信を可能にしている。
文書照合処理部20は、原稿画像に含まれる文字列、罫線などから連結部分を抽出し、連結部分の重心を特徴点として算出する特徴点算出部21、算出された特徴点を用いて、原稿画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な量である特徴量(ハッシュ値)を算出する特徴量算出部22、原稿画像より算出された特徴量を用いてハッシュテーブル12bに登録されている原稿に投票する投票処理部23、投票結果を用いて登録画像との類似度を求め、原稿画像が登録画像に類似しているか否かの判定を行う類似度判定処理部24を備える。
類似度判定処理部24での判定結果は制御部11に通知される。制御部11は、原稿画像が登録画像に類似している旨の通知を受けた場合、その登録画像に関連付けて記憶してある処理内容の情報を処理内容決定テーブル12aから読出し、読出した情報に従って出力処理を実行する。一方、原稿画像が登録画像に類似していない旨の通知を受けた場合、操作部13にて設定された内容に従って出力処理を実行する。
本実施の形態では、原稿画像が登録画像に類似している場合、処理内容決定テーブル12aにより実行すべき処理内容を決定する構成としたが、決定した処理内容で出力処理を実行するか否かはユーザの判断に委ねてもよい。例えば、原稿のプレスキャン時に類似判定を行い、決定した処理内容の情報を表示部14に表示する。そして、表示した処理内容による出力処理を許可するか否かをユーザに確認し、実行を許可する旨の選択を操作部13を通じて受付けた場合、表示した処理内容で出力処理を行う。また、実行を許可しない旨の選択を操作部13を通じて受付けた場合、処理内容が設定されていない状態で出力処理を行う。
また、決定した処理内容での出力処理が許可されない場合、処理方法の選択を受付けるようにしてもよい。このとき、処理内容が変更された結果を学習し、学習結果に基づいて処理内容決定テーブル12aを更新するようにしてもよい。学習方法としては、ある一定期間内に処理内容が選択された回数をカウントし、最も使用頻度が多い処理内容を選択する手法を採用することができる。
以下、文書照合処理部20での処理内容について詳細に説明する。図4は特徴点算出部21の構成を示すブロック図である。特徴点算出部21は、無彩化処理部211、解像度変換部212、フィルタ処理部213、2値化処理部214、及び重心算出部215を備えている。
無彩化処理部211は、入力画像データがカラー画像であった場合に無彩化して、明度信号又は輝度信号に変換するための処理部である。例えば、下記の変換式により輝度信号を求める。
Yj=0.30Rj+0.59Gj+0.11Bj
ここで、Yjは各画素の輝度値、Rj,Gj,Bjは各画素の色成分を表す。また、この方法ではなく、RGB信号をCIE1976L* a* b* 信号(CIE : Commission International de l'Eclairage、 L*: 明度、a* , b*:色度)に変換しても良い。
解像度変換部212は、入力画像データが画像入力部15にて光学的に変倍されていた場合に、所定の解像度になるように再度変倍する処理部である。また、解像度変換部212では、後段の処理量を軽減するために、画像入力部15にて等倍時に読込まれる解像度よりも解像度を落とすための解像度変換としても用いられる。例えば、600dpi(dot per inch)で読込まれた画像データを300dpiに変換する。
フィルタ処理部213は、画像入力装置の空間周波数特性が機種ごとに異なることを吸収するために用いられる処理部である。CCDが出力する画像信号には、レンズやミラー等の光学部品、CCDの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び走査ムラ等に起因して、画像のぼけなどの劣化が生じている。フィルタ処理部213は、適切なフィルタ処理(強調処理)を施すことにより、MTFの劣化により生じるぼやけを修復する処理を行う。また、後段の特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタを用いて強調及び平滑化処理を行う。
図5はフィルタ処理部213にて用いられる混合フィルタの一例を示す概念図である。混合フィルタは、例えば、7×7の大きさを有する。入力された画像の画素を走査し、混合フィルタによる演算処理をすべての画素に対して行う。なお、混合フィルタの大きさは、7×7の大きさに限定されるものではなく、3×3、5×5などの大きさであってもよい。また、フィルタ係数の数値は一例であって、これに限定されるものではなく、使用される画像入力部15の特性などに応じて適宜設定される。
2値化処理部214は、無彩化された画像データから重心算出に適した2値画像データを作成する処理部である。そのため、2値化処理部214は、無彩化された画像データ(輝度値(輝度信号)又は明度値(明度信号))を閾値とすることにより画像を2値化する。
重心算出部215は、2値化されたデータ(例えば、「1」又は「0」で表される)から連結成分の重心を求め、これを特徴点として特徴量算出部22へ出力する。重心の算出方法としては、従来手法を用いることができる。すなわち、2値画像の2値化情報に基づいて各画素に対してラベリング(ラベル付け処理)を行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出する。抽出された特徴点は特徴量算出部22へ出力される。なお、特徴点は、2値画像における座標値(x座標、y座標)で表すことができる。
図6は特徴点の抽出例を示す模式図である。図6(a)は、前述した手法により、「A」の文字が連結領域として特定された例であり、図中の黒丸で示した点が特徴点(重心)として算出された様子を示している。図6(b)は、同様に「書」の文字から連結領域を抽出した例であるが、連結領域が2つの領域に分割されて特定されている様子を示している。この場合、各連結領域から特徴点(重心)が算出されるため、1つの文字から2つの特徴点(特徴点A,特徴点B)が算出される。
次に、特徴量の算出手法について説明する。特徴量算出部22は、特徴点算出部21によって算出された複数の特徴点から画像の特徴量を算出する。このとき、算出された特徴点の任意の1つを注目特徴点として選択し、その注目特徴点から距離が小さい4つの特徴点を周辺特徴点として選択する。
図7は注目特徴点及び周辺特徴点を示す説明図である。図7は特徴点算出部21によって6つの特徴点P1〜P6が算出された様子を示している。このとき、特徴量算出部22が特徴点P3を注目特徴点として選択した場合、注目特徴点P3からの距離が近い順に特徴点P1,P2,P4,P5が周辺特徴点として選択される。特徴量算出部22は、選択した注目特徴点(P3)及び周辺特徴点(P1,P2,P4,P5)を用いて、原稿画像の傾き、移動、回転等により不変な不変量を算出し、算出した不変量から原稿画像の特徴量を算出する。
図8は注目特徴点P3による不変量の算出例を説明する説明図である。注目特徴点P3と周辺特徴点P1,P2,P4,P5との間の距離を用いて、不変量H3jを、H3j=A3j/B3jにより定義する。ここで、j=1,2,3の値をとり、A3j、B3jはそれぞれ特徴点間の距離を示し、特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。すなわち、3通りの不変量が算出され、不変量H31の値はA31/B31(図8(a)参照)、不変量H32の値はA32/B32(図8(b)参照)、不変量H33の値はA33/B33となる(図8(c)参照)。これらの不変量H3jは、原稿読取時に原稿が回転、移動、傾いた場合であっても値が変化せず、後段の類似判定において画像の類似度の判定を精度良く行うことができる。
図9は注目特徴点を特徴点P4とした場合の不変量の算出例を説明する説明図である。特徴量算出部22は、上記と同様に、注目特徴点P4からの距離が近い順に周辺特徴点として特徴点P2,P3,P5,P6を選択する。このとき、不変量4j(j=1,2,3)は、前述と同様に、H4j=A4j/B4jにより算出することができる。すなわち、不変量H41の値はA41/B41(図9(a)参照)、不変量H42の値はA42/B42(図9(b)参照)、不変量H43の値はA43/B43となる(図9(c)参照)。
他の特徴点P1,P2,P5,P6を注目特徴点として選択した場合も同様であり、特徴量算出部22は、注目特徴点を順次変更し、各特徴点P1,P2,…,P6を選択した場合の不変量Hij(i=1,2,…,6:j=1,2,3)を算出する。
次いで、特徴量算出部22は、各注目特徴点により算出された不変量を用いて特徴量(ハッシュ値)Hiを算出する。注目特徴点を特徴点Piとした場合のハッシュ値Hiは、Hi=(Hi1×102 +Hi2×101 +Hi3×100)/Eで表される。ここで、iは自然数であり、特徴点の数を表している。また、Eは余りをどの程度設定するかにより決定される定数であり、例えば、E=10とした場合、余りは0〜9の値をとり、これが算出するハッシュ値の取り得る範囲となる。
注目特徴点による不変量の算出方法としては、例えば、図10に示すように注目特徴点P3の周辺特徴点P1,P2,P4,P5の4点より4通りの組み合わせを選択し、不変量H3j(j=1,2,3,4)を前述の場合と同様に、H3j=A5j/B5jにより算出してもよい。また、図11に示すように、注目特徴点をP4としたときも同様に、注目特徴点P4の周辺特徴点P2,P3,P5,P6の4点より4通りの組み合わせを選択し、不変量H4j(j=1,2,3,4)をH4j=A6j/B6jにより算出してもよい。この場合、ハッシュ値Hiは、Hi=(Hi1×103 +Hi2×102 +Hi3×101+Hi4×100 )/Eで算出される。
なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。また、上記では、周辺特徴点として4つを選択する構成としたが、4つに限定されるものではない。例えば、6つを抽出するようにしてもよい。この場合、6つの特徴点から5つを抽出し、5つを抽出する6通り夫々の方法について、5点から3点を抽出して不変量を求め、ハッシュ値を算出するようにしてもよい。
図12はハッシュテーブル12bの構成を示す概念図である。ハッシュテーブル12bは、ハッシュ値及び原稿を表すインデックスの各欄により構成される。すなわち、図12(a)に示すように、原稿を示すインデックスに対応して、原稿中の位置を示すポイントインデックス、及び不変量が登録されている。画像の類似度を判定するために、予め照合する画像、文書画像などをハッシュテーブル12bに登録しておく。なお、図12(b)に示すように、ハッシュ値が等しい場合、(H1=H5)、ハッシュテーブル12bの2つのエントリを1つにまとめることもできる。
投票処理部23は、特徴量算出部22が算出したハッシュ値(特徴量)に基づいて、ハッシュテーブル12bを検索し、登録されているインデックスの原稿に投票する。図13は投票結果の一例を示すグラフである。横軸は原稿の種類、縦軸は得票数を表している。図13に示した例は、3種類の原稿(「N1」〜「N3」)について投票が行われている様子を示している。投票を累積加算した投票結果は類似度判定処理部24へ出力される。
類似度判定処理部24は、投票処理部23から入力された投票結果に基づいて、原稿の類似度を判定し、判定結果を制御部11へ通知する。類似度判定処理部24は、投票処理部23から入力された投票数(得票数)を予め定めた閾値と比較し、投票数が閾値以上であれば、原稿画像が登録画像に類似すると判定し、さらに類似と判定された中で最も得票数が高い原稿画像が一致する原稿画像であると判定する。また、類似度判定処理部24は、投票処理部23から入力された投票数が閾値より小さい場合、類似する原稿がないと判定して、その結果を制御部11へ通知する。
なお、上記判定方法は一例であり、別の方法として、例えば、原稿毎の最大得票数(原稿毎に求められる特徴点の数など)で得票数を除算して正規化した後、類似度の判定や一致の判定を行ってもよい。
制御部11は、類似度判定処理部24から通知される判定結果に基づいて、登録された原稿に対応して定められた処理内容を処理内容決定テーブル12aから読出し、読出した処理を実行する。
以下、本実施の形態に係る画像処理装置が実行する処理について説明する。図14は画像処理装置が実行する処理の手順を説明するフローチャートである。画像入力部15を通じて入力された画像データは、文書照合処理部20へ入力される。特徴点算出部21は、入力された画像データから特徴点の算出処理を行う(ステップS11)。特徴点としては連結領域の重心が算出される。算出された特徴点の情報は、特徴量算出部22へ出力される。
特徴量算出部22は、特徴点算出部21で算出された特徴点の情報を基に特徴量の算出処理を行う(ステップS12)。特徴量としては、特徴点間の距離に基づくハッシュ値が算出される。算出された特徴量の情報は投票処理部23へ出力される。
投票処理部23は、特徴量算出部22で算出された特徴量(ハッシュ値)を基にハッシュテーブル12bを検索し、登録されているインデックスの原稿に投票する投票処理を行う(ステップS13)。そして、投票処理部23での投票結果に基づいて類似度判定処理部24が類似度判定処理を行い(ステップS14)、判定結果を制御部11へ通知する(ステップS15)。
制御部11は、類似度判定処理部24からの通知を基に原稿画像が予め登録されている所定画像(登録画像)であるか否かを判断する(ステップS16)。原稿画像が所定画像でないと判断した場合(S16:NO)、本フローチャートによる処理を終了する。
また、原稿画像が所定画像であると判断した場合(S16:YES)、すなわち、原稿画像が予め登録されている画像に類似する旨の通知を受けた場合、制御部11は、処理内容決定テーブル12aを検索し、処理方法が設定されているか否かを判断する(ステップS17)。処理方法が設定されていないと判断した場合(S17:NO)、本フローチャートによる処理を終了する。
処理方法が設定されていると判断した場合(S17:YES)、制御部11は、処理内容決定テーブル12aから処理方法の読出しを行い(ステップS18)、読出した処理方法により出力処理を実行する(ステップS19)。
以上の処理は、例えば、原稿画像のプレスキャン時に行う。プレスキャン時に文書照合を行い、一致するフォーマットが存在し、処理内容が設定されている場合は、処理内容を表示部14に表示し、ユーザの入力を促す。問題がなければ、操作部13に設けられている「OK」ボタン(不図示)を押下され、不可ならば「NO」ボタン(不図示)が押下される。何れかのボタンが押されると本スキャンが開始される。「NO」を選択した場合は、処理内容が設定されていない場合と同じ処理が行われる。あるいは、不可のとき、処理方法を選択するようにしてもよい。処理内容が変更された結果を学習し(例えば、ある一定時間内に処理内容が選択された回数をカウントし、最も使用頻度が高い処理内容を選択)、設定を変更するようにしてもよい。
設定される処理が宛先(送信先、ファイリングを保存するフォルダ)を必要とする処理(例えば、ファクシミリ、ファイリングなど)の場合には、予め宛先を処理内容決定テーブル12aに保存しておき、宛先の内容を参照して送信又は転送するようにしてもよい。図15は宛先が登録された処理内容決定テーブル12aの一例を示す概念図であり、図16は他の例を示す概念図である。
なお、事前に宛先が設定されていない場合は、処理が選択された後に宛先を入力するようにしてもよい。処理内容がファクシミリによる送信処理である場合、送信先のファクシミリ番号の入力を行い、ファイリングを行う場合には、画像形成装置(例えば、複合機)からアクセス可能なフォルダ又は記憶装置の構成(フォルダのツリー構造など)を表示部14に表示し、ユーザにファイルを格納するフォルダを選択するように促すようにすればよい。あるいは、パスを指定するようにしてもよい。
ファイルを保存するフォルダは、事前に作成しておき(例えば、ツリー構造のファイルシステム)、フォルダが選択されると、選択されたフォルダにファイルが格納されるようにパスが設定されるように構成しておく。類似のフォーマットのファイルは、あるフォルダの下位の階層に複数のフォルダを設け、これらのフォルダに順次格納するようにし、例えば、1つのフォルダに格納するファイル数を定めておき、所定数に達した場合、次のフォルダに格納するようにする。このように構成することにより、ユーザの確認は必要であるが、ファイルを自動的に仕分けることができる。
保存するファイルは、画像形成装置(例えば、複合機)のハードディスクに格納される。あるいは、ネットワークで接続されたサーバ、USBメモリ、USBまたはIEEE1394などのインターフェースを介して接続された外付けのハードディスク等であっても良い。
図17は宛先を必要とする処理を行う場合の処理手順を説明するフローチャートである。画像入力部15を通じて入力された画像データは、文書照合処理部20へ入力される。特徴点算出部21は、入力された画像データから特徴点の算出処理を行う(ステップS21)。特徴点としては連結領域の重心が算出される。算出された特徴点の情報は、特徴量算出部22へ出力される。
特徴量算出部22は、特徴点算出部21で算出された特徴点の情報を基に特徴量の算出処理を行う(ステップS22)。特徴量としては、特徴点間の距離に基づくハッシュ値が算出される。算出された特徴量の情報は投票処理部23へ出力される。
投票処理部23は、特徴量算出部22で算出された特徴量(ハッシュ値)を基にハッシュテーブル12bを検索し、登録されているインデックスの原稿に投票する投票処理を行う(ステップS23)。そして、投票処理部23での投票結果に基づいて類似度判定処理部24が類似度判定処理を行い(ステップS24)、判定結果を制御部11へ通知する(ステップS25)。
制御部11は、類似度判定処理部24からの通知を基に原稿画像が予め登録されている所定画像(登録画像)であるか否かを判断する(ステップS26)。原稿画像が所定画像でないと判断した場合(S26:NO)、本フローチャートによる処理を終了する。
また、原稿画像が所定画像であると判断した場合(S26:YES)、すなわち、原稿画像が予め登録されている画像に類似する旨の通知を受けた場合、制御部11は、処理内容決定テーブル12aを検索し、処理方法が設定されているか否かを判断する(ステップS27)。処理方法が設定されていないと判断した場合(S27:NO)、本フローチャートによる処理を終了する。
処理方法が設定されていると判断した場合(S27:YES)、制御部11は、処理内容決定テーブル12aから処理方法の読出しを行い、処理方法の表示を行う(ステップS28)。
次いで、操作部13を通じて入力される操作指示に基づき、処理方法がユーザによって確認されたか否かを判断する(ステップS29)。処理方法が確認されない場合(S29:NO)、本フローチャートによる処理を終了する。
処理方法がユーザによって確認されたと判断した場合(S29:YES)、処理内容決定テーブル12aを参照することによって宛先の入力が必要であるか否かを判断する(ステップS30)。処理内容が宛先を必要としない処理であったり、宛先を必要とする処理内容であっても処理内容決定テーブル12aに宛先が登録されている場合には、宛先の入力が不要であると判断し(S30:NO)、本フローチャートによる処理を終了する。
一方、処理内容が宛先を必要とする処理であるにも関わらず処理内容決定テーブル12aに宛先が登録されていない場合、宛先の入力が必要であると判断し(S30:YES)、宛先の入力を受付け(ステップS31)、読出した処理方法により処理を実行する(ステップS32)。
実施の形態2.
以下では、裏面に記入説明のある帳票書類を本発明の画像処理装置にて処理する実施の形態について説明する。
例えば、裏面に記入説明のある帳票書類や、記入を行う上で説明文が書かれているページ(以下、記入説明ページと記載)と実際に記入を行うページとが混在している帳票書類に対して、記入説明ページは、同種の帳票書類に共通する情報であるため、書き込み用の帳票を作成するとき以外、コピーを行う、ファリングする、又は電子配信を行うなどの処理の必要はない。そこで、記入説明であると判定された場合には、そのページに対して処理を行わないように原稿を表すインデックスと処理内容とを対応付けて格納しておく。このとき、記入説明ページを白紙ページとして扱う場合と、記入説明ページがなかったものとして扱う場合とがある。
図18は裏面に記入説明のある帳票書類及びその処理例を説明する説明図である。表面が記入面、裏面が記入説明ページとなっている帳票(図18(a)参照)が複数ある場合、表面については処理を行い、裏面は白紙ページとして出力する。例えば、複写機の場合には、表面はコピーを行い、裏面は白紙(読取りを行わない)で出力する(図18(b)参照)。
図19は裏面に記入説明のある帳票書類のセット及びその処理例を説明する説明図である。図19(a)に示したように、複数枚で1セットとなる帳票書類の場合には、説明ページは出力処理を行わず、続いて、その次のページを出力する(図19(b)参照)。
図20は複数枚で1セットとなる帳票書類及びその処理例を説明する説明図である。図20(a)に示したように、複数枚で1セットとなる帳票書類において、最後のページ、又は最後のページの裏面が記入説明ページである場合、両面コピーモードで出力する際には、帳票セット内の最終面は白紙ページとして出力する(図20(b)参照)。
なお、1枚ずつコピーする場合、又はファイリング、電子配信を行う場合は、図18及び図20において、白紙として表されているページは出力しなくてもよい。
このように、1つの原稿画像について2通りの処理方法を登録しておき、コピーを行うモード、処理を行う方法(コピー、ファイリング、電子配信)に基づいて制御部11が適切な処理方法を選択する。
実施の形態3.
実施の形態2では、記入説明のある帳票書類を例に説明を行ったが、記入説明ページではなく、以下で説明する裏紙として使用されるパターンについて適用してもよい。
近年、環境問題や資源の有効活用、コストの低減という観点から、正式書類以外の複写やプリンタのハードコピーに裏紙を使用するケースが増加している。裏紙を使用する場合、既に印刷されている裏面の情報は不要であり、裏紙として良く使うパターンを登録しておき、これらについては処理を行わない(複写を行わない、ファクシミリ送信しない等)ように設定しておく。
実施の形態4.
e文書法では、省庁別にガイドラインがあり、紙文書の種類や、提出先によって、見読性、完全性、機密性、検索性が規定(制限)されている場合がある。見読性では、色数、解像度、ガンマ値などが個別に規定されている。完全性では電子署名やタイムスタンプが要求されており、機密性では暗号化、検索性ではOCRなどがそれぞれ技術要件として挙げられている。図21はe文書法のガイドラインの例を示す図表である。
図22は本実施の形態に係る画像処理装置の内部構成を示すブロック図である。本発明に係る画像処理装置は、実施の形態1で説明した制御部11、記憶部12、操作部13、表示部14、画像入力部15、画像出力部16、通信部17、及び文書照合処理部20の他に、OCR処理部18、データ変換部19、電子署名処理部30を備える。また、通信部17には認証サーバ171、タイムスタンプサーバ172が接続される。
e文書法の対象となる定型の紙文書に対して、予め、見読性、完全性、機密性、検索性を満たすような要件を画像処理装置に登録しておく。例えば、ある文書(文書Aとする)について、見読性をRGB24ビットカラー(RGB各256階調)、解像度200dpi、γ=1.0、完全性を電子署名、タイムスタンプ、機密性を暗号化、検索性をOCR結果の付加という要件を登録しておく。また、別の文書(文書Bとする)について、見読性を白黒2値、解像度200dpi、完全性を電子署名、タイムスタンプ、検索性をOCR結果の付加という要件を登録しておく。
以下、処理内容について説明する。図23は画像処理装置が実行する処理の手順を説明するフローチャートである。まず、電子化する対象文書をスキャンし、画像入力部15を通じて画像データを取込む(ステップS41)。このとき、少なくとも登録されている上記要件を満たすような条件、例えば、RGBカラー600dpiでスキャン処理を行う。読取った画像データ(シェーディング補正までなされた画像データ)は記憶部12に格納されると共に、文書照合処理部20へ出力され、文書照合処理が実行される(ステップS42)。
図24は文書照合処理の処理手順を説明するフローチャートである。文書照合処理では、まず、入力された画像データから特徴点の算出処理を行う(ステップS421)。特徴点としては上述と同様に連結領域の重心が算出される。算出された特徴点の情報は、特徴量算出部22へ出力される。
特徴量算出部22は、特徴点算出部21で算出された特徴点の情報を基に特徴量の算出処理を行う(ステップS422)。特徴量としては、特徴点間の距離に基いて画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変な量(ハッシュ値)が算出される。算出された特徴量の情報は投票処理部23へ出力される。
投票処理部23は、特徴量算出部22で算出された特徴量(ハッシュ値)を基にハッシュテーブル12bを検索し、登録されているインデックスの原稿に投票する投票処理を行う(ステップS423)。そして、投票処理部23での投票結果に基づいて類似度判定処理部24が類似度判定処理を行い(ステップS424)、判定結果を制御部11へ通知する(ステップS425)。
制御部11は、類似度判定処理部24からの通知を基に原稿画像が予め登録されている所定画像(登録画像)であるか否かを判断する(ステップS426)。原稿画像が所定画像であると判断した場合(S426:YES)、判定信号として「1」を出力し(ステップS427)、原稿画像が所定画像でないと判断した場合(S426:NO)、判定信号として「0」を出力する(ステップS428)。判定信号を出力した後、処理を図23に示すフローチャートへ戻す。
画像処理装置の制御部11は、ステップS42の文書照合処理の結果、判定信号「1」が出力されたか否かを判断し(ステップS43)、判定信号「1」が出力されたと判断した場合(S43:YES)、後述する書式対応画像処理を行う(ステップS44)。また、判定信号「1」が出力されていないと判断した場合(S43:NO)、本フローチャートによる処理を終了する。
図25は書式対応画像処理の処理手順を説明するフローチャートである。まず、解像度変換が必要であるか否かを判断する(ステップS441)。例えば、画像入力部15を通じて取り込まれた画像データの解像度が300dpiであり、ステップS426の判断された登録画像が文書Aであるとした場合、文書Aの解像度要件が200dpiであるため、解像度変換が必要であると判断する。解像度変換が必要であると判断された場合(S441:YES)、解像度変換を行う(ステップS442)。このとき、解像度変換に引き続いて出力階調の補正、階調再現処理などを行ってもよい。また、解像度変換に先立ち、入力階調補正、領域分離処理、色補正、黒生成下色除去、空間フィルタ処理を行ってもよい。
解像度変換を行った場合(S442)、又は解像度変換が必要でないと判断した場合(S441:NO)、ガンマ変換が必要であるか否かを判断する(ステップS443)。ガンマ変換が必要であると判断した場合(S443:YES)、ガンマ変換を行う(ステップS444)。
ガンマ変換を行った場合(S444)、又はガンマ変換が必要でないと判断した場合(S443:NO)、白黒変換が必要であるか否かを判断する(ステップS445)。白黒変換が必要であると判断した場合(S445:YES)、無彩化変換処理により白黒変換を行う(ステップS446)。無彩化変換処理では、上述した変換式Yj=0.30Rj+0.59Gj+0.11Bjを用いて白黒データに変換することを行う。
白黒変換を行った場合(S446)、又は白黒変換が必要でないと判断した場合(S445:NO)、2値化処理が必要であるか否かを判断する(ステップS447)。2値化処理が必要であると判断した場合(S447:YES)、ディザ処理、誤差拡散処理、閾値処理(例えば、閾値として128を用いる)などを用いて2値化処理を行う(ステップS448)。
2値化処理を行った場合(S448)、又は2値化処理が必要でないと判断した場合(S447:NO)、本フローチャートによる処理を終了する。
以上の書式対応画像処理(S44)を行った後、処理結果を表示部14に表示し(ステップS45)、処理が適切であるか否かを確認する。例えば、解像度、階調が適切か、原稿全体が読み取られているか否かを確認する。このとき処理を行った画像と共に、処理内容(解像度、階調)の表示も行う。
次いで、再処理が必要であるか否かを判断(ステップS46)、再処理が不要であると判断した場合(S46:NO)、本フローチャートによる処理を終了する。読み取られた文字が小さく読み取りにくいなどの問題がある場合には、再処理が必要であると判断し(S46:YES)、解像度を変更するなど処理内容を再設定し(ステップS47)、再度書式対応画像処理(S44)を行い、適切な画像を得るようにする。
上記処理内容の条件と処理を行った画像とを記憶部12に格納しておき、処理を行った画像を順次的に表示させる。又は2つの画像を並べて表示させ、適切な画像を選択するようにしてもよい。この処理は画像処理装置で行ってもよく、上記処理内容の条件と処理を行った画像とをユーザのコンピュータに転送して適切な画像を選択し、選択した画像を画像処理装置、又は任意のサーバ等に転送して格納するようにしてもよい。
なお、これらの条件設定は、省庁が定めるガイドラインに従うほかに、文書によっては、独自に条件設定が必要な場合には、解像度を高くするなどの文書毎に設定しておき、さらには、上記のように処理結果を表示し確認することにより、帳票業務などのルーチンワーク効率を向上させることができる。
以上では、原稿画像を読み取って取得した画像データを、一旦、ハードディスクなどの記憶部12に格納し、格納した画像データを用いて以降の処理を行う場合について説明したが、プレスキャンを行って文書照合処理を行い、その結果、e文書法の対象となる文書であると判定された場合、本スキャンを行って画像処理を行うようにしてもよい。この場合、文書照合処理部20での処理はスルーとなる。
e文書法の対象となる文書に対しては、検索性でOCR処理が要求されているため、2値化された画像データに対してOCR処理部18で文字認識を行い、認識結果を読み取られた文書に添付する。OCR処理が施された画像データは、例えば、データ変換部19にてPDFファイルに変換され、記憶部12に格納される。
また、e文書法の対象となる文書は、基本的に電子署名及びタイムスタンプが必要である。そこで、e文書法の対象となる文書に対して処理を行うモードが選択された時は、電子署名及びタイムスタンプを取得する処理を行うように設定しておく。電子署名及びタイムスタンプが不要である文書の場合、例えば、操作部13から不要であることを入力(例えば、電子署名及びタイムスタンプ不要のボタンを選択する)すればよい。又は、コンピュータによりスキャナの動作を設定する場合、読み取り条件の設定画面より入力すればよい。
電子署名を付加する方法としては、上記PDFファイル(文書に要求される条件を満たして上記の各処理が施された画像データ)について、電子署名処理部30のハッシュ値計算部30aにてハッシュ関数を用いた新たなハッシュ値計算を行って記憶部12に格納しておき、署名者の秘密鍵を用いて暗号化部30bにて暗号化し、電子署名を生成する。このとき電子署名と予め電子署名者の公開鍵をもとに認証サーバ171から発行された電子証明書とを上記PDFファイルに添付し、電子署名付きの画像データとする。
タイムスタンプについても、同様に、上記PDFファイルについて電子署名処理部30のハッシュ値計算部30aにて新たに計算したハッシュ値をタイムスタンプサーバ172に送信する。タイムスタンプサーバ172に送信されたハッシュ値は、タイムスタンプサーバの秘密鍵により暗号化され、タイムスタンプとなり画像処理装置に返信され記憶部12に格納される。このタイムスタンプは電子署名が付加された画像データに添付される。
さらに、機密性で暗号化が要求される場合、上記電子署名と同様に公開鍵暗号方式を用いてもよく、秘密鍵暗号方式を用いてもよい。
実施の形態5.
通常のスキャン処理では、原稿を原稿台へ置く際、置き方がずれると、スキャンデータに画像欠けが生じる。また、原稿のエッジの陰を消すために原稿エッジ部分のデータを消去することが行われる場合がある。このような場合、原稿エッジ付近の情報(割り印など)が損なわれる。そこで、e文書法に準ずるスキャン処理では、原稿を完全に含むようにスキャンを行う。
図26は本実施の形態に係る画像読取装置の構成を示す模式図である。画像読取装置は、上部筐体で構成される原稿搬送部310、下部筐体で構成されるスキャナ部320などを備える。
原稿搬送部310には、原稿トレイ311に載置された原稿の検知を行う原稿セットセンサ312、原稿を1枚ずつ搬送するための呼込みローラ313、原稿上の画像を読み取るために原稿を搬送する搬送ローラ314a、314b、原稿の排出を行う原稿排出ローラ316、排出される原稿を検知する原稿排出センサ317などが設けられている。搬送ローラ(整合ローラ)314bは、駆動軸に電磁クラッチ(図示せず)を備えており、駆動モータ(図示せず)からの駆動力の伝達を制御できるようになっており、原稿のない状態では停止している。そして、原稿の先端が給送タイミングセンサ315に接触し、このセンサから所定の信号が伝達されたときに、原稿を下流側に搬送する方向に回動するように設定されている。搬送ローラ314bは、停止した状態で、上流側より搬送された原稿の先端が、搬送ローラ314bのニップ部に付き当たり、原稿に所定の撓みを形成した後に、下流側に原稿を搬送するように回動する。この際に、搬送ローラ314bのニップ部により、原稿の先端が搬送方向に直角となるように整合される。
スキャナ部320には、原稿台321の下面に沿って平行に往復移動する走査ユニット322、323、結像レンズ324、及び光電変換素子であるCCDラインセンサ325、排出トレイ326などが設けてある。走査ユニット322は、原稿台321から搬送される原稿、あるいは、原稿台321に載置された原稿に光を照射するための光源322a(例えば、ハロゲンランプなど)、原稿で反射された光を所定の光路に導くためのミラー322bなどを備えている。また、走査ユニット323は、原稿で反射された光を所定の光路に導くためのミラー323a、323bなどを備えている。
結像レンズ324は、走査ユニット323から導かれた反射光をCCDラインセンサ325上の所定の位置に結像させる。CCDラインセンサ325は、結像された光像を光電変換して電気信号を出力する。すなわち、原稿(例えば、原稿の表面)から読み取ったカラー画像に基づいて、R(赤)、G(緑)、B(青)の各色成分に色分解したデータを後述する画像処理部230へ出力する。
図27は画像処理部230の内部構成を示すブロック図である。画像処理部230は、AD変換部231、シェーディング補正部232、文書照合処理部233、解像度変換部234、出力階調補正部235、無彩化変換部236、階調再現処理部237を備える。
AD変換部231は、前述のスキャナ部320のCCDラインセンサ325が出力するアナログのRGB信号をデジタル形式の信号(画像データ)に変換する。シェーディング補正部は232、AD変換部231より送られてきたデジタルのRGB信号に対して、スキャナ部320の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部232ではカラーバランスの調整を行う。また、シェーディング補正部232では、RGBの反射率信号を濃度信号に変換し、文書照合処理部233に出力するとともに、RGB濃度信号を図に示していないメモリに格納する。
文書照合処理部233は、実施の形態1で説明した特徴点算出処理を行い、その結果を用いて事前に登録されている文書画像データとの類似度を判定する。e文書法の対象となる文書であると判定された場合は、処理内容を参照して図に示していない表示部に表示し、ユーザの確認を促す。
解像度変換部234は、メモリより読み出されたRGB信号についてニアレストネーバー法、バイリニア法、バイキュービック法などの方法を用いて解像度変換を行う。出力階調補正部235では、指定されているγを用いて階調補正処理を行い、文書の提出フォーマットとして、白黒2値が指定されている場合は、無彩化変換部236でRGB信号を無彩化信号に変換し、階調再現処理部237で2値化処理が行われる。白黒2値が指定されていない場合は、無彩化変換部236、階調再現処理部237の処理はスルーとなる。
上記の処理が施された画像データは、例えば、プリンタ装置、デジタル複合機等の画像形成装置へ送信されて出力されたり、所定のサーバに送信されて保管される。
通常のスキャン処理では、原稿を原稿台321へ置く際、置き方がずれるとスキャンデータに画像欠けが生じてしまう。また、原稿のエッジの陰を消すために原稿エッジ部分のデータを消去することが行われる場合がある。このような原稿エッジ付近の情報(割り印など)が損なわれる。そこで、e文書法に準ずるスキャン処理では原稿を完全に含むようにスキャンを行う。
図28は原稿画像のスキャン範囲を説明する説明図であり、図29は原稿台321への置き方を説明する説明図である。通常は原稿台321の端に原稿を合わせてスキャンを行うが(図29(a)を参照)、e文書モードでは、原稿台321の周囲に記された指標321a,321bに従って原稿を原稿台321にセットすることにより、欠けのないスキャンを実現する。
この場合、e文書法の対象となる文書に対して処理を行うモード(例えば、e文書モード)を設けておき、画像読取装置の操作パネルより処理モードを選択するように構成するのが好ましい。画像読取装置の動作をコンピュータで制御するように構成されている場合には、読取動作の設定画面でモードを選択するようにすればよい。例えば、原稿を自動原稿送り装置(ADF)を用いて読み取る場合、原稿画像をADFに対してセンター中心にセットし、原稿画像の搬送タイミングに応じて、早めに読み取りを開始するとともに、原稿画像のサイズよりも広めに読み取りを行うことにより、オーバースキャンを実現することができる。
e文書法の対象となる文書についてはオーバースキャンが必要な文書のみだけではなく、対象となる全ての文書について選択するようにし、オーバースキャンにて読み取るようにしておいても良い。
e文書法の対象となる文書に対して処理を行うモードを設けて、スキャナの制御を行い、処理の内容を、文書照合を用いて設定する。原稿画像を原稿台321に載置する場合は、図29のように、必ず指標321a,321bより内側に原稿をセットする。
実施の形態6.
本発明をスキャナ装置(画像入力装置)及びプリンタ装置(画像出力装置)を備えた画像形成装置に適用することも可能である。
図30は本実施の形態に係る画像形成装置の内部構成を説明するブロック図である。本実施の形態に係る画像形成装置は、操作パネル1、画像入力装置3、画像処理装置5、及び画像出力装置7を備える。
操作パネル1は、利用者による指示、選択操作を受付けるための各種スイッチ、ボタン、及び利用者に対して報知すべき情報を表示する液晶ディスプレイ装置などを備える。
画像入力装置3は、原稿の画像を光学的に読取る手段であり、読取用の原稿に光を照射する光源、CCD(Charge Coupled Device)のようなイメージセンサ等を備えている。
画像入力装置3では、所定の読取位置にセットされた原稿からの反射光像を当該イメージセンサに結像させ、RGB(R : Red, G : Green, B : Blue)のアナログ電気信号を出力する。画像入力装置3が出力したアナログ電気信号は画像処理装置5へ入力される。
画像処理装置5は、画像入力装置3から出力されるアナログ電気信号をデジタル電気信号に変換した後、特定色が含まれているか否かの判断を行い、特定色が含まれている場合に色補正を行って出力用の画像信号を生成する。生成した画像信号は画像出力装置7に出力される。本実施の形態では、出力用の画像信号としてCMYK信号(C:Cyan, M:Magenta, Y:Yellow, K:Black)を生成するようにしている。なお、画像処理装置5の内部構成については後に詳述することとする。
画像出力装置7は、画像処理装置5が出力する画像信号に基づいて用紙、OHPフィルム等のシート上に画像形成を行う手段である。そのため、画像出力装置7は、感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して顕像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等(不図示)を備えており、電子写真方式にて利用者が所望する画像を用紙上に形成する。なお、レーザ書込装置を用いた電子写真方式により画像形成を行う他、インクジェット方式、熱転写方式、昇華方式等により画像形成を行う構成であってもよい。
以下、画像処理装置5の内部構成について説明する。画像処理装置5は、AD変換部50、シェーディング補正部51、入力階調補正部52、領域分離処理部53、文書照合処理部54、色補正部55、黒生成下色除去部56、空間フィルタ処理部57、出力階調補正部58、階調再現処理部59を備えている。
AD変換部50は、画像入力装置3から入力されたRGBのアナログ信号をデジタル信号に変換する。シェーディング補正部51は、AD変換部50から出力されたデジタル形式のRGB信号に対して、画像入力装置3の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。また、シェーディング補正部51ではカラーバランスの調整を行う。
入力階調補正部52は、下地濃度の除去やコントラストなどの画質調整処理を行う。領域分離処理部53は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離する処理を行う。領域分離処理部53は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を後段の黒生成下色除去部56、空間フィルタ処理部57、及び階調再現処理部59へ出力すると共に、入力階調補正部52から出力された入力信号をそのまま後段の文書照合処理部54へ出力する。
文書照合処理部54は、実施の形態1と同様の処理手順により、特徴点算出処理を行い、その結果を用いて事前に登録されている登録画像との類似度を判定する。類似ありと判定され、しかも処理内容が設定されている場合は、処理内容を操作パネル1の表示部に表示し、ユーザの入力を促し、入力された結果に基づいて処理を実施する。文書照合処理部54を領域分離処理部53の後段に設けるのではなく入力階調補正部52と並列して設けても良い。
色補正部55は、色再現の忠実化再現のために、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取り除く処理を行うものである。黒生成下色除去部56は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いた新たなCMY信号を生成する処理を行う。この処理によってCMYの3色信号はCMYKの4色信号に変換される。
黒生成処理の一例として、スケルトンブラックによる黒生成を行う方法(一般方法)がある。この方法では、スケルトンカーブの入出力特性をy=f(x)、入力されるデータをC,M,Y、出力されるデータをC’,M’,Y’,K’、UCR率(UCR : Under Color Removal)をα(0<α<1)とすると、黒生成下色除去処理は以下の式で表される。
K’=f{min(C,M,Y)}
C’=C−αK’
M’=M−αK’
Y’=Y−αK’
空間フィルタ処理部57は、黒生成下色除去部56より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒子状劣化を防ぐように処理を行う。
例えば、領域分離処理部53にて文字に分離された領域は、特に黒文字又は色文字の再現性を高めるために、空間フィルタ処理部57による空間フィルタ処理における鮮鋭強調処理で高周波数の強調量が大きくされる。同時に、階調再現処理部59においては、高周波数の再現に適した高解像度のスクリーンでの2値化又は多値化処理が選択される。また、領域分離処理部53にて網点領域に分離された領域に関しては、空間フィルタ処理部57において、入力網点成分を除去するためのローパスフィルタ処理が施される。そして、出力階調補正部58において、濃度信号などの信号を画像出力装置7の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部59で最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理を施す。また、領域分離処理部53にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの2値化又は多値化処理が行われる。
前述した各処理が施された画像データは、一旦記憶手段(不図示)に記憶され、所定のタイミングで読み出されて画像出力装置7へ出力される。なお、以上の処理は、不図示のCPUにより制御される。
また、画像形成装置は、通信装置を備える構成としても良い。通信装置は、例えばモデムやネットワークカードより構成される。通信装置は、ネットワークカード、LANケーブル等を介して、ネットワークに接続された他の装置(例えば、パーソナルコンピュータ、サーバ、他のデジタル複合機等)とデータ通信を行う。
なお、通信装置は、画像データを送信する場合、相手先との送信手続きを行って送信可能な状態が確保されると、所定の形式で圧縮された画像データ(スキャナで読み込まれた画像データ)をメモリから読み出し、圧縮形式の変更など必要な処理を施して、通信回線を介して相手先に順次送信する。
また、通信装置は、画像データを受信する場合、通信手続きを行うとともに、相手先から送信されてくる画像データを受信して画像処理装置5に入力する。受信した画像データは、画像処理装置5で伸張処理、回転処理、解像度変換処理、出力階調補正、階調再現処理などの所定の処理が施され、画像出力装置7によって出力される。なお、受信した画像データを記憶装置(図示せず)に保存し、画像処理装置5が必要に応じて読み出して上記所定の処理を施すようにしてもよい。
本実施の形態では、所謂カラー複合機の例について説明したが、モノクロの複合機であってもよいことは勿論のことである。
実施の形態7.
本実施の形態では、本発明に係る画像処理装置をファクシミリ装置に適用した形態について説明する。
図31は本実施の形態に係るファクシミリ装置の内部構成を説明するブロック図である。本実施の形態に係るファクシミリ装置は、実施の形態4で説明した操作パネル1、画像入力装置3、画像出力装置7の他、画像処理装置6及び通信装置9を備える。
画像処理装置6は、AD変換部60、シェーディング補正部61、濃度変換処理部62、文書照合処理部63、領域分離処理部64、空間フィルタ処理部65、第1解像度変換部66a、第2解像度変換部66b、出力LUT処理部67、中間調処理部68、圧縮・伸張処理部69を備えている。
AD変換部60は、画像入力装置3から入力されたRGBのアナログ信号をデジタル信号に変換する。シェーディング補正部61は、AD変換部60から出力されたデジタル形式のRGB信号に対して、画像入力装置3の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。濃度変換処理部62は、シェーディング補正が施された画像データに対して、階調の非線形性を補正し、濃度データに変換する。この処理は、例えば、LUT(Look Up Table)を参照して行われる。
文書照合処理部63は、実施の形態1と同様の処理手順により、特徴点算出処理を行い、その結果を用いて事前に登録されている登録画像との類似度を判定する。類似ありと判定され、しかも処理内容が設定されている場合は、処理内容を操作パネル1の表示部に表示し、ユーザの入力を促し、入力された結果に基づいて処理を実施する。
領域分離処理部64は、濃度変換処理部62から出力された画像データに対し、各画素を文字領域、網点領域、写真(その他)領域の何れかに分離するものである。領域分離処理部64は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、空間フィルタ処理部65及び中間調処理部68へと出力すると共に、濃度変換処理部62より出力された入力信号をそのまま後段の空間フィルタ処理部65に出力する。
空間フィルタ処理部65は、領域分離処理部64より出力される画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒子性劣化を防ぐように処理するものである。
第1解像度変換部66aは、画像入力装置3より読み込まれた入力画像データの解像度を、画像出力装置7の解像度に応じて変換する処理を行う。処理手法としては、例えば1次補間法を用いる。ファクシミリ機能を使用する場合、第1解像度変換部66aでの処理は行わない。
出力LUT処理部67は、LUTを参照し、解像度変換されたデータに対して使用するトナーの特性(電子写真方式の場合)又はインクの特性(インクジェット方式の場合)に応じた階調補正を行う。この補正は、画像出力装置7における階調の非線形性に対する補正である。
中間調処理部68は、出力LUT処理部67から出力されたデータの各画素における8ビット階調の値を、例えば誤差拡散法を用いて2階調の値に変換するものである。この処理は、領域分離処理部64から出力される領域識別信号に応じて行われる。例えば、領域分離処理部64にて文字に分離された領域は、高域周波数の再現に適した2値化処理が施され、領域分離処理部64にて写真に分離された領域に関しては、階調再現性を重視した2値化処理が行われる。
ファクシミリ送信時には、中間調処理部68によって2値化された画像データは第2解像度変換部66bへ送出される。第2解像度変換部66bは必要に応じて解像度変換する処理を行う。第2解像度変換部66bの後段に画像データの回転処理を行う回転処理部を設けてもよい。圧縮・伸張処理部69は、2値化された画像データ又は解像度変換された画像データを所定の形式で圧縮し、不図示のメモリに格納する。
通信装置9は、例えば、モデムであり、相手先との送信手続きを行う。送信可能な状態を確保した場合、画像データを所定の形式で圧縮された状態で上記メモリから読出し、圧縮形式の変更など必要な処理を施した後、相手先に通信回線を介して順次送信する。
また、ファクシミリ受信時には、所定形式に圧縮された状態で相手先から送信されてくる画像データを通信装置9が受信する。受信した画像データは画像処理装置6へ入力される。画像処理装置6に入力された画像データは、圧縮・伸張処理部69での処理により伸張され、ページ画像として送信されてきた原稿画像が再現される。
再現された原稿画像は、画像出力装置7の能力に応じて回転処理がなされ、第2解像度変換部66bにて解像度変換処理が行われる。ページ単位の画像として再現された画像データは、画像出力装置7より出力される。
以上では、モノクロの画像データを処理する場合を例として示したが、例えば、領域分離処理部64と空間フィルタ処理部65との間に、画像入力装置3より読込まれたRGB信号に対し、色再現の忠実化実現のために不要吸収成分を含む、トナーやインクのCMY色材の分光特性に基づいた色濁りを取り除く処理を行う色補正部、及び色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する黒生成下色除去部を備えたカラー画像処理装置を備えてもよい。
実施の形態8.
本発明はコンピュータに実行させるためのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)を記録したコンピュータでの読取りが可能な記録媒体に、上述の文書照合及び出力制御を行う画像処理方法を記録するものとすることができる。本実施の形態では、記録媒体から読み取ったプログラムコードを実行することによって、上述の画像処理方法を実現する構成について説明する。
図32は記録媒体に記録されたプログラムコードを読取って実行する画像処理装置の内部構成を示すブロック図である。図中100は、本実施の形態に係る画像処理装置であり、具体的にはパーソナルコンピュータ、ワークステーション等である。画像処理装置100はCPU101を備えており、CPU101にはROM103、RAM104、ハードディスク105、外部記憶部106、入力部107、表示部108、通信ポート109等のハードウェアがバス102を介して接続されている。CPU101は、ROM103に予め格納された制御プログラムに従って前述のハードウェア各部を制御する。
RAM104は前述の制御プログラム、又は上述のプログラムコードの実行中に生成される各種データを一時的に記憶する揮発性のメモリである。ハードディスク105は、磁気記録媒体を有する記憶手段であり、記録媒体Mから読取ったプログラムコード等が記憶される。外部記憶部106は、本発明の画像処理方法をコンピュータに実行させるためのプログラムコードを記録した記録媒体Mからプログラムコードを読取るための読取装置を備えている。記録媒体Mとしては、FD(Flexible Disk)、CD−ROM等を用いることができる。外部記憶部106によって読取られたプログラムコードはハードディスク105に格納される。CPU101はハードディスク105に格納されたプログラムコードをRAM104上にロードして実行することにより、装置全体を、実施の形態1で説明したような判定処理を実行する装置として機能させ、予め登録されている登録画像と類似した原稿画像に基づいて出力処理を行う場合、その登録画像に関連付けられている処理を実行する。
入力部107は、外部から画像データを取得するためのインタフェースとして機能する。入力部107には、例えば、カラースキャナ装置などが接続される。表示部108は、処理対象の画像データ、画像処理中の画像データ、画像処理後の画像データ等を表示するためのインタフェースとして機能する。表示部108に液晶ディスプレイ装置などの外部表示装置を接続して画像データを表示する構成であってもよく、表示部108自身が表示装置を備え、画像データを表示する構成であってもよい。通信ポート109は、外部にプリンタ150を接続するためのインタフェースである。画像処理された画像データをプリンタ150にて印刷する場合、画像処理装置100は、前記画像データを基にプリンタ150にてデコード可能なプリントデータを生成し、生成したプリントデータをプリンタ150へ送信する。
なお、本実施の形態では、各種演算をCPU101が実行する構成としたが、画像処理に係る演算を行う専用のチップを別途設け、CPU101からの指示により演算を行う構成としてもよい。
また、上述のプログラムコードを記録する記録媒体Mとしては、前述したFD及びCD−ROMの他に、MO、MD、DVD等の光ディスク、ハードディスク等の磁気記録媒体、ICカード、メモリカード、光カード等のカード型記録媒体、マスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリの利用も可能である。また、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークから上述のプログラムコードをダウンロードするようにしてもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、又は別の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
また、本発明のコンピュータプログラムは、単体のアプリケーションプログラム、ユーティリティプログラムとして提供される形態であってもよく、他のアプリケーションプログラム、ユーティリティプログラムに組み込み、そのプログラムの一部の機能として提供する形態であってもよい。例えば、その一形態としてプリンタドライバに組み込んで提供する形態が考えられる。
実施の形態9.
本発明を画像処理システムに適用するようにしても良い。図33は本実施の形態に係る画像処理システムの全体構成を示す模式図である。図33に示すように、本実施の形態に係る画像処理システムは、サーバ70、複合機(MFP)10A,10B,…、プリンタ81A,81B,…、ファクシミリ82A,82B,…、コンピュータ83A,83B,…、デジタルカメラ84A,84B,…、スキャナ85A,85B,…などがネットワークNを介して接続されている。
サーバ70は、処理内容決定テーブル73a及びハッシュテーブル73bを一元的に管理しており(図34を参照)、ネットワークNを介して接続されているMFP10A(10B)が、処理内容決定テーブル73a及びハッシュテーブル73bをダウンロードするように構成されている。処理内容決定テーブル73a及びハッシュテーブル73bのダウンロードは、例えば、MFP10A(10B)の電源がオンされ、制御部11により通信回線の確立が確認された後に行われる。MFP10A(10B)の電源が常時オンの場合は、上記テーブル73a,73bの内容が更新された際、所定時間に各々のテーブル73a,73bを更新するようにしても良い。
図34は実施の形態9に係るMFP10A(10B)及びサーバ70の内部構成を示すブロック図である。MFP10A(10B)は、制御部11、記憶部12(第2の記憶手段)、操作部13、表示部14、画像入力部15、画像出力部16、通信部17、及び文書照合処理部20を備える。この内部構成は、実施の形態1で示した画像処理装置の内部構成とほぼ同一であり、同じ構成要素を図1と同一の符号を付して示す。
サーバ70は、サーバ制御部71、通信部72、サーバ記憶部73を備える。処理内容決定テーブル73aには、所定画像に関連づけられて種々の処理内容が記憶されているが、MFPによっては、記憶されている処理内容の機能を有していないものがある。そこで、接続されているMFPとこのMFPに備わっている機能との一覧テーブル(図35に概念図として示す機能一覧テーブル73cを参照)を別途作成しておき、処理内容決定テーブル73aがダウンロードされる際、対象のMFPに備わっていない機能(処理内容)については、無効であることを示す無効フラグをオンにするように制御する。この処理はサーバ制御部71にて行われる。
MFPの機能については、ネットワークNにMFPが接続された際に、MFPの情報をサーバ70に取り込み、管理者が機能一覧テーブル73cに登録しておく。MFPが置き換えられた際には、機能の比較を行い、機能一覧テーブル73cの情報を更新しておく。新たに付加された機能があり、その機能を用いて処理を行う場合は、その旨を登録し、また、逆に、ある機能が無くなった場合は、その機能が無効である旨を登録しておく。機能が使用できなくなった場合、MFPの表示部にその旨を表示するようにしても良い。
図36はサーバ70が実行する処理の手順を説明するフローチャートである。サーバ70は、MFPから処理内容決定テーブル73a,ハッシュテーブル73bの送信が要求された場合、機能一覧テーブル73cを参照して(ステップS51)、MFP毎の機能に対する無効フラグの情報を抽出し(ステップS52)、処理内容決定テーブル73a、ハッシュテーブル73b、無効フラグの情報を要求元のMFPへ送信する(ステップS53)。
図37はMFP10Aが実行する処理の手順を説明するフローチャートである。MFP10Aは、サーバ70に対して送信要求を行い、処理内容決定テーブル73a,ハッシュテーブル73b、無効フラグの情報を取得(ダウンロード)する(ステップS61)。これらのテーブル及び情報は、上述したようにMFP10Aの電源がオンされたタイミング、又はサーバ70にてテーブル73a,73bの内容が更新されたタイミングでダウンロードする。ダウンロードしたテーブルは、MFP10Aの記憶部12に格納される(格納したテーブルをそれぞれ処理内容決定テーブル12a、ハッシュテーブル12bとする)。
次いで、実施の形態1と同様に、画像入力部15を通じて入力された画像データに関して特徴点の算出処理を行う(ステップS62)。特徴点としては連結領域の重心が算出される。算出された特徴点の情報は、特徴量算出部22へ出力される。
特徴量算出部22は、特徴点算出部21で算出された特徴点の情報を基に特徴量の算出処理を行う(ステップS63)。特徴量としては、特徴点間の距離に基づくハッシュ値が算出される。算出された特徴量の情報は投票処理部23へ出力される。
投票処理部23は、特徴量算出部22で算出された特徴量(ハッシュ値)を基に記憶部12に格納したハッシュテーブル12bを検索し、登録されているインデックスの原稿に投票する投票処理を行う(ステップS64)。そして、投票処理部23での投票結果に基づいて類似度判定処理部24が類似度判定処理を行う(ステップS65)。類似度判定処理に関しては実施の形態1で詳細に説明した手法を用いることができる。
MFP10Aの制御部11は、類似度判定処理部24での判定結果に基づき、入力された原稿画像が所定画像(登録画像)に類似しているか否かを判断する(ステップS66)。入力された原稿画像が所定画像(登録画像)に類似していると判断した場合(S66:YES)、制御部11は、記憶部12に格納した処理内容決定テーブル12aを参照し(ステップS67)、原稿画像に対応する処理内容を読出す(ステップS68)。そして、読出した処理内容に従って出力処理を実行する(ステップS69)。なお、MFP10Aが保有していない処理内容については、サーバ70より送られてきた無効フラグに基づいて処理が無効となるように設定されている。
一方、ステップS66で入力された原稿画像が所定画像(登録画像)に類似していないと判断した場合(S66:NO)、MFP10Aの操作部13を通じて入力された処理内容に基づいて出力処理が実行される(S69)。
そして、制御部11は、全ての原稿画像の処理が終了したか否かを判断し(ステップS70)、処理が終了していないと判断した場合(S70:NO)、処理をステップS62へ戻す。全ての原稿画像の処理が終了したと判断した場合(S70:YES)、本フローチャートによる処理を終了する。
処理内容決定テーブル73a,ハッシュテーブル73bは、MFP10A,10B,…だけでなく、プリンタ81A,81B,…、ファクシミリ82A,82B,…、スキャナ85A,85B,…にダウンロードするようにても良い。この場合、機能一覧テーブル73cに、プリンタ81A,81B,…、ファクシミリ82A,82B,…、スキャナ85A,85B,…の機能を追加して制御を行うようにすれば良い。
実施の形態10.
実施の形態9では、サーバ70に格納された処理内容決定テーブル73a、ハッシュテーブル73bをMFP10A(10B)にダウンロードし、MFP10A(10B)で入力された原稿画像の類似度判定処理に基づいて処理内容の決定を行う構成としたが、処理内容決定テーブル73a、ハッシュテーブル73bをサーバ70に格納しておき、MFP10A,10B、プリンタ81A,81B等が特徴量をサーバ70に送信し、サーバ70で類似度判定を行い、原稿画像が登録画像に類似していると判定したとき、処理内容決定テーブル73aおよび機能一覧テーブル73cを参照して、サーバ70から処理内容(無効な処理がある場合は、無効フラグの情報も含めて)を送信するようにしても良い。
図38は実施の形態10に係るMFP10A(10B)及びサーバ70の内部構成を示すブロック図である。MFP10A(10B)のハードウェア構成は、実施の形態9に示したものと同一であるが、本実施の形態では、MFP10A(10B)で特徴量の算出処理までを行う構成であるため、文書照合処理部20は、投票処理部23及び類似度判定処理部24を備えていない。
一方、サーバ70は、サーバ制御部71、通信部72、サーバ記憶部73に加えて、投票処理部74a及び類似度判定処理部74bを備えた文書照合処理部74を有する。投票処理部74a及び類似度判定処理部74bにおける処理内容は、実施の形態1で説明した投票処理部23、類似度判定処理部24と全く同様であるのでその説明を省略することとする。
図39はMFP10Aが実行する処理の手順、図40はサーバ70が実行する処理の手順を説明するフローチャートである。MFP10Aは、実施の形態1と同様に、画像入力部15を通じて入力された画像データに関して特徴点の算出処理を行う(ステップS71)。特徴点としては連結領域の重心が算出される。算出された特徴点の情報は、特徴量算出部22へ出力される。
特徴量算出部22は、特徴点算出部21で算出された特徴点の情報を基に特徴量の算出処理を行う(ステップS72)。特徴量としては、特徴点間の距離に基づくハッシュ値が算出される。MFP10Aは、算出した特徴量をサーバ70へ送信する(ステップS73)。
サーバ70が、MFP10Aから送信された特徴量を受信した場合(ステップS81)、サーバ70の投票処理部74aは、受信した特徴量(ハッシュ値)を基にサーバ記憶部73に格納されているハッシュテーブル73bを検索し、登録されているインデックスの原稿に投票する投票処理を行う(ステップS82)。そして、投票処理部74aでの投票結果に基づいて類似度判定処理部74bが類似度判定処理を行う(ステップS83)。
サーバ70のサーバ制御部71は、類似度判定処理部74bでの判定結果に基づき、判定対象の原稿画像が所定画像(登録画像)に類似しているか否かを判断する(ステップS84)。判定対象の原稿画像が所定画像(登録画像)に類似していると判断した場合(S84:YES)、サーバ制御部71は、サーバ記憶部73に格納されている処理内容決定テーブル73aを参照し(ステップS85)、原稿画像に対応する処理内容を読出す(ステップS86)。
また、サーバ制御部71は、サーバ記憶部73に格納されている機能一覧テーブル73cを参照して(ステップS87)、読出した処理内容に対する無効フラグの情報を抽出し(ステップS88)。
次いで、ステップS86で読出した処理内容及びステップS88で抽出した無効フラグの情報をMFP10Aに送信する(ステップS89)。なお、ステップS84で判定対象の原稿画像が所定画像(登録画像)に類似していないと判断した場合(S84:NO)、類似原稿なしの判定結果をMFP10Aに送信する(ステップS90)。
MFP10Aは、処理内容及び無効フラグの情報を受信した場合(ステップS74)、それらの情報に基づいて出力処理を実行する(ステップS75)。
次いで、MFP10Aの制御部11は、全ての原稿画像の処理が終了したか否かを判断し(ステップS76)、処理が終了していないと判断した場合(S76:NO)、処理をステップS71へ戻す。全ての原稿画像の処理が終了したと判断した場合(S76:YES)、本フローチャートによる処理を終了する。
なお、本実施の形態では、原稿画像に対応する処理内容のみをダウンロードするので、機能一覧テーブル73cを無くし、ダウンロードされた処理内容と、MFP10A(10B)自身の機能とを比較して、MFP10A(10B)側で処理内容が無効か否かを判断するようにしても良い。サーバ70において、類似の原稿画像が無い場合は、その旨の判定信号に基づいて、MFP10A(10B)側で操作パネルより入力された処理内容に基づいて原稿画像の処理が行われる。
実施の形態11.
別の実施形態として、サーバ70に処理内容決定テーブル73a及びハッシュテーブル73bを格納しておき、ハッシュテーブル73bのみをMFP10A,10B,…、プリンタ81A,81B,…にダウンロードする構成としてもよい。この場合、MFP10A,10B,…、プリンタ81A,81B,…等で類似判定を行い、原稿画像が登録画像に類似していると判定したとき、サーバ70にアクセスして処理内容を参照し、サーバ70から処理内容の情報を取得する。
図41は実施の形態11に係るMFP10A(10B)及びサーバ70の内部構成を示すブロック図である。ハードウェア構成については、実施の形態9に示したものと同一であるが、本実施の形態では、MFP10Aは、サーバ70からハッシュテーブル73bのみをダウンロードして記憶部12に格納する(記憶部12に格納したテーブルをハッシュテーブル12bとする)。
図42はMFP10Aが実行する処理の手順、図43はサーバ70が実行する処理の手順を説明するフローチャートである。まず、MFP10Aがサーバ70に対して送信要求を行うことにより、サーバ70に格納されているハッシュテーブル73bを取得(ダウンロード)する(ステップS101)。取得したハッシュテーブル73bは記憶部12に格納される。
次いで、実施の形態1と同様に、画像入力部15を通じて入力された画像データに関して特徴点の算出処理を行う(ステップS102)。特徴点としては連結領域の重心が算出される。算出された特徴点の情報は、特徴量算出部22へ出力される。
特徴量算出部22は、特徴点算出部21で算出された特徴点の情報を基に特徴量の算出処理を行う(ステップS103)。特徴量としては、特徴点間の距離に基づくハッシュ値が算出される。算出された特徴量の情報は投票処理部23へ出力される。
投票処理部23は、特徴量算出部22で算出された特徴量(ハッシュ値)を基に記憶部12に格納したハッシュテーブル12bを検索し、登録されているインデックスの原稿に投票する投票処理を行う(ステップS104)。そして、投票処理部23での投票結果に基づいて類似度判定処理部24が類似度判定処理を行う(ステップS105)。類似度判定処理に関しては実施の形態1で詳細に説明した手法を用いることができる。
MFP10Aの制御部11は、類似度判定処理部24での判定結果に基づき、入力された原稿画像が所定画像(登録画像)に類似しているか否かを判断する(ステップS106)。入力された原稿画像が所定画像(登録画像)に類似していると判断した場合(S106:YES)、制御部11は、原稿を表すインデックスをサーバ70へ送信する(ステップS107)。
サーバ70は、MFP10Aから送信された原稿を表すインデックスを受信した場合(ステップS121)、処理内容決定テーブル73aを参照し(ステップS122)、対応する処理内容の読出しを行う(ステップS123)。次いで、サーバ70は、読出した処理内容をMFP10Aに送信する(ステップS124)。
MFP10Aがサーバ70から送信される処理内容を受信した場合(ステップS108)、受信した処理内容とMFP10A自身の機能とを比較して、備えられていない機能の無効化を行う(ステップS109)。次いで、MFP10Aは、受信した処理内容に従って出力処理を実行する(ステップS110)。また、ステップS106で入力された原稿画像が所定画像(登録画像)に類似していないと判断した場合(S106:NO)、MFP10A(10B)側で操作パネルより入力された処理内容に基づいて出力処理を行う(S110)。
次いで、MFP10Aの制御部11は、全ての原稿画像の処理が終了したか否かを判断し(ステップS111)、処理が終了していないと判断した場合(S111:NO)、処理をステップS102へ戻す。全ての原稿画像の処理が終了したと判断した場合(S111:YES)、本フローチャートによる処理を終了する。