以下、図1〜図15を用いて、本発明の実施形態を説明する。そして、本説明では、複合機100(画像形成装置に相当)を例に挙げて説明する。但し、本実施の形態に記載されている構成、配置等の各要素は、発明の範囲を限定するものではなく単なる説明例にすぎない。
(複合機100の概略構成)
図1を用いて、実施形態に係る複合機100を説明する。図1は、実施形態に係る複合機100の一例を示す図である。
図1に示すように、本実施形態の複合機100は、最上部に原稿を押さえる原稿カバー101が設けられる。又、画像読取部1(スキャナー)が原稿カバー101の下方に設けられる。又、正面上部に操作パネル2が設けられる。又、本体内に、給紙部31、搬送部32、画像形成部33、中間転写部34、定着部35を含む印刷部3が設けられる。
原稿カバー101は、図1の紙面奥側に支点が設けられ開閉可能である。画像読取部1内には、露光ランプ、ミラー、レンズ、イメージセンサ(例えば、CCD)のような光学系部材(不図示)が設けられる。露光ランプ、ミラーは副走査方向に移動可能な移動枠に設けられ、移動枠を移動させることにより読取位置を移動させることができる。画像読取部1は、これらの光学系部材を用い、セットされた原稿に光を照射し、原稿の反射光を受けたイメージセンサーの各画素の出力値をA/D変換し、画像データを生成する。複合機100は、読み取りで得られた画像データに基づき印刷や送信を行える(コピー機能、送信機能)。また、複合機100は、読み取りに基づく画像データを記憶する。
操作パネル2は、複合機100の正面上方に設けられる。そして、操作パネル2は、複合機100の状態や各種メッセージを表示する表示パネル21を備える。表示パネル21は、機能や設定項目の選択や、設定値の設定や文字入力を行うためのソフトキーを表示する。タッチパネル部22は、タッチされた部分の位置(座標)を検出する。また、操作パネル2には、コピー、送信のようなジョブの実行開始を指示するためのスタートキー23aのようなハードキー23も設けられる。
給紙部31は、用紙を搬送部32に送り出す。搬送部32は、給紙部31から供給された用紙を搬送する。画像形成部33は、形成すべき画像の画像データに基づきトナー像を形成し、形成したトナー像を用紙に定着させる。画像形成部33は、モノクロとカラーの両方の印刷に対応する。中間転写部34は、各色のトナー像を重畳しつつベルトに1次転写し、その後、トナー像を用紙に2次転写する。定着部35は、用紙に2次転写されたトナー像を加熱・加圧して定着させる。尚、定着後の用紙は排出され印刷が完了する。
(複合機100のハードウェア構成)
次に、図2を用いて、実施形態に係る複合機100のハードウェア構成を説明する。図2は、実施形態に係る複合機100の一例を示す図である。
複合機100には、制御部4と本体記憶部5が設けられる。制御部4は、複合機100の動作制御を司る。制御部4は、CPU4a、画像処理部4bを含む。CPU4aは、中央演算処理装置であって、本体記憶部5に記憶される制御プログラム、制御用データ、画像処理プログラムに基づき複合機100の各部を制御する。本体記憶部5は、複合機100の制御用プログラム、制御用データ、設定データ、画像データのようなデータを記憶する。本体記憶部5は、ROM、RAM、HDDのような記憶装置を含む。また、通信部6を介して接続されるサーバー7(データサーバー内の記憶装置)も複合機100の記憶部として利用することができる。
そして、制御部4は、印刷部3(給紙部31、搬送部32、画像形成部33、中間転写部34、定着部35)、操作パネル2、画像読取部1のような各部と信号線やバスで接続され、印刷部3の動作を制御する。
又、制御部4は、コンピューター200やサーバー7と通信するための回路、ソフトウェアを含む通信部6と接続される。通信部6は、ネットワークを介してコンピューター200やサーバー7とデータ通信を行う。また、通信部6は、画像データ、印刷の設定データを含む印刷用データをコンピューター200やサーバー7から受信する。通信部6は、複合機100に画像データを入力する入力部として機能する。制御部4は、受信した印刷用データに基づき、印刷部3を制御して、印刷を行わせる。
操作パネル2は、制御部4からの要求に従い、各種情報を表示する。タッチパネル部22は制御部4と接続される。制御部4は、タッチパネル部22の出力に基づき、タッチされた位置を認識する。そして、制御部4は、操作パネル2が表示しているアイコンやボタンやキーなどのうち、タッチされた対象を認識する。アイコンやボタンやキーを押すことにより、設定を行うことができる。
(OCR処理部8)
次に、図3を用いて、実施形態に係る複合機100が含むOCR処理部8を説明する。図3は、OCR処理部8の一例を示す図である。
実施形態に係る複合機100は、OCR処理部8を含む。OCR処理部8は、レイアウト解析部81、行/文字切り出し部82、文字認識部83、知識処理部84、出力処理部85を含む。また、類似判断処理部86も設けられる。OCR処理部8と類似判断処理部86は、制御部4の画像処理部4bの回路内にハードウェアとして設けられてもよい。また、OCR処理と類似判断処理を行わせるためのソフトウェアを本体記憶部5に記憶させ、CPUや画像処理部4bの回路に処理を行わせることによって、OCR処理部8と類似判断処理部86はソフトウェア的に実現されてもよい。
OCR処理部8は、画像読取部1による原稿読み取りで得られた画像データ(入力画像データ)に対して処理を行う。類似判断処理部86は、OCR処理部8が処理を行った画像データを比較対象として用いて、他の画像データと同一又は類似か否かを判断する。
レイアウト解析部81は、1ページの画像データのレイアウト解析を行う。そして、レイアウト解析部81は、1ページの画像データを文字領域と、図形のような画像の画像領域と、罫線部分(線、枠線)に分割する。レイアウト解析部81は、しきい値以上連続する長さの高濃度画素のかたまりを線と判定し、他の線と交点を有する線を枠線と判定する。微分フィルタ処理を行ってから入力画像データ中の枠線領域の判定を行ってもよい。
行/文字切り出し部82は、それぞれの文字領域に対し、行を切り出す。更に、行/文字切り出し部82は、行間、文字間に相当する空白(地肌色)を認識して、1文字単位に分解する。文字認識部83は、分解した1つの文字の大きさを一定の大きさに変換する(正規化)。また、文字認識部83は、サイズを正規化した各文字のパターンマッチングや、文字の方向成分のような特徴を抽出し、分解した1文字が何であるかを認識する。知識処理部84は、認識された文字を順番に並べた文字列を、予め登録された用語の辞書と照合し、誤って認識された文字を訂正する。出力処理部85は、各文字領域に含まれる文字列の認識結果を所定の形式(例えば、テキストデータ)で出力する。複合機100本体の本体記憶部5やサーバー7を出力先とすることができる。
(ひな形としての基準画像データD1の登録)
次に、図4〜図8を用いて、実施形態に係る基準画像データD1の登録の流れを説明する。図4は、実施形態に係る基準画像データD1の登録の流れの一例を示すフローチャートである。図5、図6は、基準画像データD1として登録される画像データの一例を示す図である。図7は、実施形態に係るファイル情報入力画面S1の一例を示す図である。図8は、実施形態に係る基準画像データD1の記憶態様の一例を示す図である。
本実施形態の複合機100では、ひな形文書の画像データ(ひな形データ)を基準画像データD1として登録することができる。登録された基準画像データD1は、本体記憶部5とサーバー7の一方、又は、両方に不揮発的に記憶される。使用者は操作パネル2を操作することにより、印刷や送信のような登録された基準画像データD1に基づくジョブを実行できる。言い換えると、登録した基準画像データD1を再利用し、印刷や送信を行うことができる。
そして、図4のスタートは、操作パネル2に基準画像データD1の登録を行う旨の入力(一連の操作)がなされた時点である(基準画像データ登録モード)。
使用者による原稿セットとスキャンの設定の後、使用者によってスタートキー23aが操作されると、制御部4は、画像読取部1に原稿の読み取りを行わせる(ステップ♯11)。そして、制御部4のレイアウト解析部81は、読み取りで得られた画像データのレイアウト解析を行って、領域を分割する(ステップ♯12)。なお、制御部4はレイアウト解析の前に画像データの傾きを認識し、傾き矯正の画像処理を行ってもよい。例えば、制御部4は、画像データ内の所定ドット以上の長さを有し、水平、垂直に対し斜めに伸びる直線を検出する。そして、制御部4は、垂直線と縦方向に長い直線のずれ角度と、水平線と横方向に長い直線のずれ角度を求める。そして、制御部4は、ずれ角度が0に近づくように、画像データに回転処理を施す。
そして、制御部4は、1ページの画像データから、罫線部分は残しつつ、文字領域と図形領域を削除し、線画像データD2を生成する(ステップ♯13)。具体的に、制御部4は、文字領域と図形領域に含まれる画素の画素値を下地色に変換する。制御部4は、画像データの各画素の濃度値についてのヒストグラムを生成する。そして、制御部4は、最も頻度が大きい画素値を下地色の画素値と認識する。これにより、文字が消え、枠、線が残る画像データが生成される。言い換えると、制御部4は、読み取りで得られた画像データから文字、図形を削除し、枠、線、空白からなる線画像データD2を生成する。
具体的に、図5、図6を用いて説明する。図5は、記入済の原稿用紙を読み取り、基準画像データD1を生成する例を示している。図5の上側の図は、文章記入済の原稿用紙を読み取ることで得られた画像データの一例を示している。また、図5の下側の図は、制御部4が文字を削除する処理を行うことにより得られる原稿用紙の線画像データD2を下側に示している。図5の下側の図に示すように、文字が削除され、線画像データD2を生成することによって、原稿用紙の形式(ひな形)の画像データが得られる。
また、図6は、記入済のレポート用紙を読み取り、基準画像データD1を生成する例を示している。図6の左側の図は、文章記入済のレポート用紙を読み取ることで得られた画像データの一例を示している。また、図6の右側の図は、制御部4が文字を削除する処理を行うことにより得られるレポート用紙の線画像データD2の一例示している。図6の右側の図に示すように、文字が削除され、線画像データD2を生成することによって、レポート用紙の形式(ひな形)の画像データが得られる。
そして、制御部4は、生成した線画像データD2のファイル名、仕分け情報i1(タグ)、保存先を入力するためのファイル情報入力画面S1を操作パネル2に表示させる(ステップ♯14)。仕分け情報i1は、本体記憶部5やサーバー7に記憶される画像データ(ファイル)をグループ単位で仕分けるために画像データに付される情報(キーワード、タグ、仕分け上のカテゴリー名)である。グループ名を仕分け情報i1として付すことができる。また、基準画像データD1の登録者名を仕分け情報i1として付してもよい。
ファイル情報入力画面S1には、入力されたファイル名、仕分け情報i1、保存先が表示される表示欄F1、F2、F3が設けられる(図7参照)。ファイル名に対応する表示欄F1がタッチされると、制御部4は、ソフトウェアキーボード(不図示)を操作パネル2に表示させる。使用者はソフトウェアキーボードに入力を行い、登録しようとする線画像データD2のファイル名をつけられる。図7では、登録しようとする線画像データD2に「レポート用紙」の名前を付けようとしている例を示している。
仕分け情報i1に対応する表示欄F2がタッチされたときも、制御部4は、ソフトウェアキーボード(不図示)を操作パネル2に表示させる。使用者はソフトウェアキーボードに入力を行い、登録しようとする線画像データD2の仕分け情報i1を設定できる。図7では、登録しようとする線画像データD2に「レポート用紙」、「論文」のキーワードを仕分け情報i1として付ける例を示している。
保存先に対応する表示欄F3がタッチされたとき、制御部4は、ファイルシステムの管理画面(不図示)を操作パネル2に表示させる。管理画面では、線画像データD2を記憶させるフォルダーを指定することができる。また、フォルダーを新規作成し、新規作成したフォルダーに線画像データD2を記憶させる設定を行うこともできる。また、記憶場所として、本体記憶部5のフォルダーを指定することもできるし、サーバー7内のフォルダーを指定することもできる。
そして、ファイル情報入力画面S1でOKキーK1が操作されると、制御部4は、指定された登録先(保存先)に、入力された仕分け情報i1が付された線画像データD2を記憶させる(ステップ♯15)。これにより、線画像データD2が基準画像データD1(ある形式の文書のひな形データ)として記憶される。
図8に示すように、本体記憶部5やサーバー7に記憶される基準画像データD1には、仕分け情報i1(検索用キーワード)が付される。図8の左端に図示する基準画像データD1の仕分け情報i1は、「原稿用紙」、「作文」であり、図8の中央に図示する基準画像データD1の仕分け情報i1は「レポート用紙」、「論文」であり、図8の右端に図示する基準画像データD1の仕分け情報i1は「報告書」である。
(入力画像データの仕分けと記憶)
次に、図9に基づき、複合機100に入力された画像データの仕分けと記憶について説明する。図9は、実施形態に係る複合機100での入力画像データの仕分けと記憶の流れの一例を示すフローチャートである。なお、本説明では、コピージョブや送信ジョブが実行されると、実行されたジョブの控えとして、制御部4がジョブに用いられる画像データを入力画像データとして自動的に記憶部に記憶させる場合を説明する。
図9のスタートは、ジョブの実行に伴い、複合機100に画像データが入力された時点である。複合機100への画像データの入力方法としては、画像読取部1(入力部に相当)による原稿読み取りや、通信部6(入力部に相当)による外部からの画像データの受信がある。コピージョブや、プリンタージョブや、送信ジョブのような画像データを扱うジョブのとき、複合機100に画像データが入力される。入力された画像データを入力画像データとして扱ってもよいし、画像処理部4bが入力された画像データに圧縮のような所定の画像処理を施した後の画像データを、入力画像データとして扱ってもよい。
制御部4(レイアウト解析部81)は、入力画像データのレイアウトを解析する(ステップ♯21)。そして、制御部4は、1ページの画像データから、文字領域(文字部分)と図形領域(図形部分)を削除し、線画像データD2を生成する(ステップ♯22)。ステップ♯21、ステップ♯22は、基準画像データD1の登録の場合と同様の処理である。また、傾き矯正の画像処理を行ってもよい点も同様である。
そして、制御部4(類似判断処理部86)は、生成した線画像データD2と、本体記憶部5やサーバー7に記憶された基準画像データD1を比較する(ステップ♯23)。このとき、正確な比較のため、制御部4は、線画像データD2の拡大、又は、縮小を行って、線画像データD2と基準画像データD1のサイズを同じサイズとする。
そして、制御部4(類似判断処理部86)は、線画像データD2が何れかの基準画像データD1と同一又は類似であるか判断する処理を行う(ステップ♯24)。入力画像データが、とある基準画像データD1と同じ形式に基づいている場合、入力画像データから文字を削除した線画像データD2と基準画像データD1のそれぞれに含まれる線や枠の位置や長さは同じ又は近似するはずである。一方、入力画像データが、本体記憶部5やサーバー7に記憶された基準画像データD1(ひな形)に準拠していない書類であるとき、両画像データの内容は一致しない。
そこで、制御部4(類似判断処理部86)は、基準画像データD1と線画像データD2のパターンマッチング処理を行って、基準画像データD1と線画像データD2が同一又は類似であるかを判断する。パターンマッチング処理には、様々な手法がある。例えば、制御部4は、ユークリッド距離に基づく演算を行い、演算により得られた値がゼロであるか、及び、閾値以下であるか否かによって、両画像データが類似するか否かを判断してもよい。また、制御部4は、基準画像データD1内の予め定められた複数の特徴画素(例えば、枠の隅の点)と、線画像データD2内の対応する複数の特徴画素のそれぞれについて、画像データの中心点からの距離を求めてもよい。そして、制御部4は、基準画像データD1に含まれる画素に基づき求めた距離の合計と、線画像データD2に含まれる画素に基づき求めた距離の合計との差が無ければ同一と判断し、差が閾値以下であれば類似と判断してもよい。また、制御部4は、両画像データのそれぞれを上下、左右、斜めの成分に分解し、分解したそれぞれのパターンを一定画素×一定画素(例えば、7×7)に縮小し、同方向の成分間でのユークリッド距離を求め、演算結果の合計値がゼロであれば同一、閾値以下であれば類似と判断するようにしてもよい。
そして、制御部4は、線画像データD2と同一又は類似の基準画像データD1が1つも無いと判断したとき(ステップ♯25のNo)、制御部4は、線画像データD2の元の入力画像データを、仕分け情報i1を付さずに記憶部(本体記憶部5やサーバー7)に記憶させる(ステップ♯26)。そして、本フローは終了する。なお、この場合のデータの保存場所は、予め定められていてもよいし、操作パネル2で設定できるようになっていてもよい。
一方、制御部4は、線画像データD2と同一又は類似の基準画像データD1が有ると判断したとき(ステップ♯25のNo)、制御部4は、同一又は類似の基準画像データD1に付された仕分け情報i1と同じ仕分け情報i1を、線画像データD2の元の入力画像データ(入力画像データに画像処理が施された後の画像データでもよい)に付す(ステップ♯27)。なお、類似と判断できた基準画像データD1が複数あるとき、制御部4は、基準画像データD1の1つを選択する。制御部4は、ユークリッド距離の演算結果を参照し、類似と判断できた基準画像データD1のうち、線画像データD2と最も類似度が大きい基準画像データD1を選ぶようにしてもよい。
さらに、制御部4は、仕分け情報i1が付された入力画像データが、既に記憶部に記憶されている画像データであって、同じ仕分け情報i1が付された画像データと同じフォルダーに記憶されるように、記憶部(本体記憶部5、サーバー7)に入力画像データを記憶させる(ステップ♯28)。これにより、仕分け情報i1が付された画像データは、自動的に同じ形式の書類の画像データが記憶されるフォルダーに格納される。そして、本フローは終了する(エンド)。
ここで、制御部4は、本体記憶部5とサーバー7のうち、比較に用いられた基準画像データD1が記憶されている方に設けられたフォルダーであって、同じ仕分け情報i1が付された画像データを含むフォルダーが入力画像データの記憶場所となるように、入力画像データを記憶部に記憶させてもよい。この場合、制御部4は、基準画像データD1が本体記憶部5に記憶されているとき本体記憶部5に、サーバー7に記憶されているときサーバー7に、入力画像データを記憶させる。
本体記憶部5又はサーバー7に記憶するとき、基準画像データD1が格納されたフォルダーとは別に、同じ仕分け情報i1が付された画像データを格納するフォルダー(同じグループとして扱う画像データをまとめてためるために使用者に作られたフォルダー)があるとき、制御部4は、それらのフォルダーのうち何れか一つ、又は、全てに入力画像データを記憶させる。なお、基準画像データD1が格納されたフォルダーと、それとは別に設けられ同じ仕分け情報i1が付された画像データを格納するフォルダーのように、入力画像データの記憶先の候補となるフォルダーが複数あるとき、操作パネル2は記憶先の候補を表示し、記憶先の選択を受け付けるようにしてもよい。この場合、制御部4は、選択された記憶先に入力画像データを記憶させる。
また、制御部4は、本体記憶部5とサーバー7のうち、比較に用いられた基準画像データD1が記憶されていない方に設けられたフォルダーであって、同じ仕分け情報i1が付された画像データを含むフォルダーが入力画像データの記憶場所となるように、入力画像データを記憶部に記憶させてもよい。つまり、基準画像データの記憶場所と入力画像データの記憶場所を異ならせてもよい。制御部4は、基準画像データD1が本体記憶部5に記憶されているときサーバー7に、基準画像データD1がサーバー7に記憶されているとき本体記憶部5に、入力画像データを記憶させる。入力画像データを記憶させるに際し、同じ仕分け情報i1が付された画像データを含むフォルダーがないとき、制御部4は、操作パネル2にフォルダー作成用画面(不図示)を表示させる。そして、制御部4は、使用者によって新規作成されたフォルダーに入力画像データを記憶させる。
又、同じ仕分け情報i1が付された画像データを格納するフォルダーが複数あるとき、制御部4は、それらのフォルダーのうち何れか一つ、又は、全てに入力画像データを記憶させる。あるいは、制御部4は、操作パネル2は記憶先の候補(同じ仕分け情報i1が付された画像データを格納するフォルダー)を複数表示し、記憶先の選択を受け付けるようにしてもよい。この場合、制御部4は選択された記憶先に入力画像データを記憶させる。
更に、仕分け情報i1が付された入力画像データの保存先を自動で定めず、常に、操作パネルで指定された保存先に仕分け情報i1が付された入力画像データを記憶させるようにしてもよい。この場合、ステップ♯28はスキップされる。
(プレスキャンモード)
次に、図10〜図12を用いて、本実施形態の複合機100でのプレスキャンモードを説明する。図10は、実施形態に係るプレスキャンモードでの処理の一例を示すフローチャートである。図11、図12は、プレスキャンモードで表示される画面の一例を示す図である。
通常、コピーやスキャン送信のような原稿読み取りを伴うジョブはスタートキー23aが操作されると、原稿の読み取りが開始される。一方、本実施形態の複合機100は、原稿をセットし、原稿カバー101を閉じると、画像データの読み取りを開始するプレスキャンを行うプレスキャンモードを有する。プレスキャンモードでは、スタートキー23aが操作されると、プレスキャンにより読み取られた画像データに基づき、印刷や送信が開始される。スタートキー23aの操作前に原稿の読み取りを先に行うので、スタートキー23aを押してからジョブ完了までの時間を短縮することができる。
操作パネル2で設定を行うことにより、プレスキャンモードのON/OFFを切り替えることができる。プレスキャンモードOFFの設定がなされているとき、原稿をセットし、原稿カバー101を閉じても、スキャンは開始されず、スタートキー23aが押されると原稿の読み取りが開始される。そして、図9のフローチャートに沿った処理がなされる。
以下、プレスキャンモードONの設定がなされているときの処理の流れの一例を図10〜図12を用いて説明する。図10のスタートは、原稿をセットし、原稿カバー101を閉じた時点である。
尚、原稿カバー101の予め定められた角度以上開けられたこと、及び、開状態から原稿カバー101が予め定められた角度(以下、基準角度)よりも閉められたことを検知するため、カバー開閉センサー91が設けられる(図1、図2参照)。例えば、カバー開閉センサー91は、上方に付勢される可動軸と透過型の光センサーを含む。基準角度は、画像読取部1の上面を0度として15〜45度の範囲の何れかの角度とできる。可動軸は、原稿カバー101が閉じられるほど下方に押し込まれ、原稿カバー101が開くに従い上方に突出する。光センサーの光軸を押し込まれた可動軸が遮るようになっている。カバー開閉センサー91(光センサー)の出力は、原稿カバー101が基準角度以上開けられているか否かによって出力値が異なる。カバー開閉センサー91の出力は制御部4に入力される。制御部4は、この出力に基づき、原稿カバー101が開いているか否かを認識する。
ここで、カバー開閉センサー91の出力が開状態から閉状態に変化したとき、画像読取部1のコンタクトガラス11に原稿がセットされているか否かを確認するため、制御部4は、画像読取部1に原稿の読み取り動作を行わせる。セット原稿の有無の確認のための読み取りは、原稿カバー101が完全に閉じる前のタイミングで行われる。
上記のタイミングで読み取りが行われるので、原稿がセットされているとき、読み取りで得られたラインの画像データでは、原稿がある位置に対応する画素と原稿が無い位置に対応する画素との画素値が異なる。そのため、隣接する画素間の画素値の差が閾値よりも大きくなっている境界が現れる。画像読取部1と制御部4は、隣接する画素間の画素値の差が閾値以上の部分を境界と認識する。画像読取部1と制御部4は、境界があるとき、原稿がセットされていると判断する。一方、境界が無いとき、画像読取部1と制御部4は、セットされた原稿は無いと判断する。なお、コンタクトガラス11の下方に反射型の光センサーを配し、光センサーによってセットされた原稿の有無を検知してもよい。このように、画像読取部1と制御部4は、原稿のセットを検知する。
尚、本実施形態の複合機100では、コンタクトガラス11の上側左隅が基準点とされる。基準点にあわせて、原稿の裏面(読取面を下側にした状態)の上側左隅に原稿をセットするようになっている。そのため、制御部4は、基準点から境界の位置までの距離を、セットされた原稿の主走査方向のサイズと認識する。また、コンタクトガラス11の下方には、サイズ検知センサー92が設けられる。サイズ検知センサー92は、反射型の光センサーとできる。サイズ検知センサー92は、原稿の副走査方向のサイズを検知するため、コンタクトガラス11の奥側端縁に沿って複数設けられる。制御部4は、セット原稿検知のための読み取りにあわせ、各サイズ検知センサー92に原稿の存在の有無を確認させる。制御部4は、セット原稿の副走査方向の長さは、原稿の存在を確認できた最も右側の光センサーと原稿の存在を確認できなかった最も左側の光センサーの間であると判断する。制御部4は、副走査方向の長さの範囲内の定形サイズであって、主走査方向の長さと最も近い定形サイズ(例えば、レターサイズやA4サイズ)をセット原稿のサイズと判定する。
つまり、図10のスタートは、原稿がセットされた状態で原稿カバー101が閉じられ、制御部4が原稿のセットを検知し、原稿サイズの判定をした時点である。まず、制御部4は、セットされた原稿の読み取りを画像読取部1に開始、実行させる(プレスキャンの実行、ステップ♯31)。この読み取りは、スタートキー23aによるジョブの実行指示がなされる前から開始される。言い換えると、原稿をセットして原稿カバー101を閉じると、自動的にスキャンが開始される。なお、読取面を下にし、原稿の読取面の上縁又は右縁をコンタクトガラス11の左縁に合わせるともに、原稿の読取面の上縁又は左縁をコンタクトガラス11の奥側の縁に合うように、使用者は原稿をセットする。
そして、制御部4は、原稿の最初から、又は、先の所定ライン数の読み取りから更に所定ライン数の読み取りを行ったか否か(所定ライン数分の画像データが生成されたか否か)を確認する(ステップ♯32)。所定ライン数は適宜定めることができる数である。1センチ〜数センチ、1インチ〜数インチの長さ分のライン数とすることができる。また、原稿の副走査方向の長さを予め定められた数(例えば、2〜10程度)で分割した長さに相当するライン数としてもよい。
所定ライン数の読み取りが完了していなければ(ステップ♯32のNo)、制御部4は、画像読取部1に読み取りを継続させる(ステップ♯33)。そして、フローは、ステップ♯32に戻る。一方、所定ライン数の読み取りが完了すると(ステップ♯32のYes)、制御部4(レイアウト解析部81)は、読み取り済の画像データに基づいて、線画像データD2を生成する(ステップ♯34)。制御部4は、読み取りが完了していない段階では、1ページのうち、部分的な線画像データD2を生成する。
そして、制御部4(類似判断処理部86)は、線画像データD2と、記憶部の基準画像データD1のうち部分的な線画像データD2と対応する大きさ、位置の部分の画像データを比較して、線画像データD2が何れかの基準画像データD1と同一又は類似であるかの判断処理を行う(ステップ♯35)。同一又は類似の基準画像データD1がないとき(ステップ♯36のNo)、制御部4は、判定した原稿サイズに基づき、原稿の端(末尾)まで読み取りを完了したか否かを確認する(ステップ♯37)。まだ読み取りを完了していないとき(ステップ♯37のNo)、フローは、ステップ♯31に戻り、次の所定ライン数の読み取りがなされる。
一方、同一、又は、類似の基準画像データD1が無い状態で読み取りが完了したとき(ステップ♯37のYes)、制御部4は、線画像データD2の元の入力画像データ(又は入力画像データに所定の画像処理を施した画像データ)を、仕分け情報i1を付さずに記憶部(本体記憶部5やサーバー7)に記憶させる(ステップ♯38)。そして、本フローは終了する。なお、この場合のデータの保存場所は、予め定められていてもよいし、操作パネル2で設定できるようになっていてもよい。
一方、同一又は類似の基準画像データD1があると判断したとき(ステップ♯36のYes)、制御部4は、制御部4は、同一または類似と判断した基準画像データD1に付された仕分け情報i1を操作パネル2に表示させる(ステップ♯39)。そして、制御部4は、判定した原稿サイズに基づき、原稿の端(末尾)まで読み取りを完了したか否かを確認する(ステップ♯310)
読み取りを完了していないとき(ステップ♯310のNo)、フローは、ステップ♯31に戻る。一方、読み取りが完了したとき(ステップ♯310のYes)、制御部4は、選択された仕分け情報i1に対応するフォルダーに入力画像データを記憶させる(ステップ♯311)。尚、ステップ♯311では、上述のステップ♯28と同様の処理がなされる。そして、本フローは終了する。
図11は、プレスキャン時に同一又は類似と判断された基準画像データD1があるときに表示される操作パネル2の表示パネル21の仕分け情報表示画面S3の一例を示す。図11に示すように、同一または類似と判断した基準画像データD1が複数あるとき、制御部4はそれぞれの基準画像データD1に付された仕分け情報i1であって、複数の仕分け情報i1を表示パネル21に表示させる。原稿の読み取りの初期段階では、余白の存在や、線の数が少ないため、複数の基準画像データD1と類似すると判断される場合がある。
また、図11に示すように、類似すると判断した基準画像データD1の仕分け情報i1(タグ)と、仕分け情報i1に対応する保存先の一例が表示される。所定ライン数の読み取りが行われるごとに、比較する画像データの範囲が広くなるので、同一又は類似と判断される基準画像データD1が少なくなって行くことが考えられる。そこで、制御部4は、所定ライン数の読み取りが行われ、同一又は類似と判断される基準画像データD1が少なくなるごとに、仕分け情報表示画面S3の内容を切り替える。具体的に、制御部4は、表示する仕分け情報i1を操作パネル2に減らさせる(図12参照)。図12は、原稿の読み取りが進み、表示される仕分け情報i1が読み取り当初(図11の状態)よりも少なくなった状態の一例を示している。
そして、制御部4は、使用者のタッチ操作によって選択された仕分け情報i1に対応する保存先に、読み取っている又は読み取りが完了した画像データ(入力画像データ)を記憶させる。制御部4は、仕分け情報i1に対応する保存先の一例を操作パネル2に表示させる。表示される保存先は、同じ仕分け情報i1が付された基準画像データD1や入力画像データが保存されたフォルダーである。
仕分け情報i1(保存先)の選択は、原稿の読み取りが完了する前に行うことができる。具体的に、制御部4は、表示された仕分け情報i1のうち、使用者が何れかを選択したか否かの確認を続ける。制御部4は、操作パネル2(タッチパネル部22)の出力に基づき、タッチされた仕分け情報i1が選択されたと認識する。そして、制御部4は、ジョブの実行の指示(スタートキー23aへの操作)がなされると、使用者により選択された仕分け情報i1に対応するフォルダーにプレスキャン完了により生成された入力画像データを記憶させる。
(画像データの検索)
次に、図13〜図15を用いて、実施形態に係る複合機100での画像データの検索を説明する。図13は、実施形態に係る複合機100での画像データの検索の流れの一例を示すフローチャートである。図14は、実施形態に係るキーワード入力画面S4の一例を示す図である。図15は、実施形態に係る検索結果画面S5の一例を示す図である。
本実施形態の複合機100は、画像データを記憶する部分として、本体記憶部5やサーバー7を含む。仕分け情報i1(タグ)が付された画像データが本体記憶部5やサーバー7に記憶されることがある。そして、本実施形態の複合機100では、特定の仕分け情報i1が付された画像データを検索し、抽出することができる。
図13のフローチャートのスタートは、特定の仕分け情報i1が付された画像データの検索機能を利用する一連の操作が操作パネル2になされた時点である。言い換えると、画像データの検索の開始指示が操作パネル2に入力された時点である。
まず、制御部4は、キーワード入力画面S4を操作パネル2(表示パネル21)に表示させる(ステップ♯41)。キーワード入力画面S4には、検索用のキーワードとして仕分け情報i1を入力するためのワード入力キーK2と、入力されたキーワードを表示するキーワード表示欄F4が設けられる(図14参照)。
ワード入力キーK2が操作されたとき、制御部4は、文字、数字、記号入力用のソフトウェアキーボード(不図示)を表示パネル21に表示させる。使用者は、ソフトウェアキーボードでキーワードを入力する。そして、制御部4は、使用者に入力されたキーワードをキーワード表示欄F4内に表示させる。図14では、キーワードとして「原稿用紙」の語が入力された例を示している。
そして、制御部4は、タッチパネル部22の出力に基づき、キーワード入力画面S4での検索開始を指示する入力を認識する(ステップ♯42)。具体的には、キーワード入力画面S4に配された検索キーへの操作が、検索開始を指示する入力として受け付けられる。
続いて、制御部4は、記憶部に記憶される画像データのうち、入力されたキーワードと同じ仕分け情報i1が付された画像データを探し、抽出する(ステップ♯43)。次に、制御部4は、検索結果画面S5を操作パネル2(表示パネル21)に表示させる(ステップ♯44)。そして、本フローは終了する。検索結果画面S5で画像データを選択し、選択した画像データの印刷を印刷部3に行わせたり、選択された画像データの送信を通信部6に行わせたりすることができる。
図15は、検索結果画面S5の一例を示す。制御部4は、一覧形式の検索結果を操作パネル2に表示させる。検索結果画面S5の一覧内には、チェックボックスC1、抽出された画像データの名前、抽出された画像データの登録日時、抽出された画像データのデータサイズの組合せが横方向に並べて配される。そして、抽出できた画像データが複数あるとき、組合せが縦方向に並べられる。なお、抽出された画像データの件数が1画面内に収まらないとき、スクロールバーB1を操作して他の抽出された画像データ名を表示させることができる。
使用者は、一覧表示された(抽出された)画像データのうち、利用したい画像データに対応するチェックボックスC1にチェックを入れる。制御部4は、表示位置がタッチされたチェックボックスC1を選択された画像データと認識する。また、制御部4は、選択された画像データに対応するチェックボックスC1内にチェックマークを表示させる。図15は、「作文1」の名前の画像データに対応するチェックボックスC1にチェックが入れられている例を示している。
また、検索結果画面S5には、印刷キーK3と送信キーK4が設けられる。何れかの画像データが選択された(チェックが入れられた)状態で印刷キーK3がタッチされたとき、制御部4は、選択された画像データの印刷を印刷部3に行わせる。何れかの画像データが選択された(チェックが入れられた)状態で送信キーK4がタッチされたとき、制御部4は、予め定められた、あるいは、操作パネル2により設定された送信先への画像データの送信を通信部6に行わせる。このように、登録した画像データを再利用して印刷、送信を行うことができる。
従来、同じ書式に基づくそれぞれの画像データは、含まれる文字、数字、記号が異なるので類似するとは判断されず、同じグループに属すると判断されなかった。そこで、実施形態に係る複合機100(画像形成装置)は、操作パネル2、入力部(画像読取部1、通信部6)、記憶部(本体記憶部5、サーバー7)を含む。操作パネル2は、使用者の設定操作を受け付け、表示を行う。入力部は、データを入力するための部分である。記憶部は、検索の目印としての情報であって、仕分けのための情報である仕分け情報i1が付された基準画像データD1を記憶する。制御部4は、入力部に入力されたデータに基づく画像データである入力画像データを解析して罫線部分と文字部分を認識し、罫線部分を残しつつ画像データから文字部分を削除して線画像データD2を生成し、基準画像データD1と生成した線画像データD2を比較して同一又は類似の画像データであるか否かを判断する判断処理を行い、同一又は類似と判断したとき、同一又は類似と判断した基準画像データD1に付されている仕分け情報i1を同一又は類似と判断した線画像データD2に対応する入力画像データに付加し、仕分け情報i1が付加された入力画像データを記憶部(本体記憶部5、サーバー7)に記憶させる。
これにより、画像データから文字部分を削除して、罫線(線や枠)に基づき画像の比較が行われるので、同じ書式に基づく文書のそれぞれの画像データは、文字部分の差に影響されず、同一又は類似と判断される。そして、入力画像データには、特徴を示し、仕分け、検索、分類を行う上で目印となる仕分け情報i1が自動的に付される。従って、同じ形式の文書には同じ仕分け情報i1を自動的に付すことができ、今までできなかった文書の形式の観点から画像データを仕分けることができる。
なお、基準画像データD1は、文書の形式(書式、ひな形、テンプレート)を示す画像データであり、予め記憶部に記憶される。また、どのような仕分け情報i1を基準画像データD1に付加しておくかは適宜定めることができる。文書の書式名のような文字(キーワード)を仕分け情報i1として用いることができる。
また、記憶部は、画像形成装置内に設けられる本体記憶部5と、画像形成装置と通信可能に接続されるサーバー7の何れか1つ又は両方である。制御部4は、本体記憶部5とサーバー7のうち、比較に用いられた基準画像データD1が記憶されている方に設けられたフォルダーであって、同じ仕分け情報i1が付された画像データを含むフォルダーが入力画像データの記憶場所となるように、入力画像データを記憶部に記憶させる。これにより、同じフォルダーに同じ形式の画像データが自動的に記憶される。従って、文書の形式単位で入力画像データを仕分けたうえで、記憶部(本体記憶部5、サーバー7)に入力画像データを記憶させることができる。
また、記憶部は、画像形成装置内に設けられる本体記憶部5と、画像形成装置と通信可能に接続されるサーバー7の何れか1つ又は両方である。制御部4は、本体記憶部5とサーバー7のうち、比較に用いられた基準画像データD1が記憶されていない方に設けられたフォルダーであって、同じ仕分け情報i1が付された画像データを含むフォルダーが入力画像データの記憶場所となるように、入力画像データを記憶部に記憶させる。これにより、基準画像データD1と入力画像データの記憶場所を異ならせることができる。また、データの記憶場所を適度に分散させることができる。
また、記憶部は、画像形成装置内に設けられる本体記憶部5と、画像形成装置と通信可能に接続されるサーバー7の何れか1つ又は両方である。操作パネル2は、仕分け情報i1の設定を受け付ける。制御部4は、記憶部に記憶された画像データの中から設定された仕分け情報i1が付された画像データの検索処理を行い、検索結果を操作パネル2に表示させる。これにより、仕分け情報i1に基づき同じ形式の書類の画像データを容易に抽出することができる。そして、使用者は、抽出結果を確認し、所望する画像データを探し出せる。
また、入力部は、原稿の画像データを読み取る画像読取部1である。画像読取部1は、原稿のセットを検知し、操作パネル2で原稿読み取りを伴うジョブの実行指示がなされる前にセットされた原稿の読み取りを開始するプレスキャンを行って原稿の画像データを入力画像データとして生成する。制御部4は、プレスキャンに基づく入力画像データから線画像データD2を生成し、生成した線画像データD2について判断処理を行い、同一又は類似する基準画像データD1があると判断したとき、同一又は類似する基準画像データD1の仕分け情報i1を操作パネル2に表示させる。また、制御部4は、操作パネル2に表示された仕分け情報i1のうち、使用者の操作により選択された仕分け情報i1を認識し同じ仕分け情報i1が付された画像データを含むフォルダーが入力画像データの記憶場所となるように入力画像データを記憶部(本体記憶部5、サーバー7)に記憶させる。これにより、使用者は、所望するフォルダーに入力画像データを記憶させられる。従って、入力画像データの仕分け先(保存先)を仕分け情報i1にの観点から決めることができる。
また、制御部4は、画像読取部1がプレスキャンにおいて所定ライン数の読み取りを行うごとに、読み取り済の画像データに基づいて、1ページの原稿のうちの部分的な線画像データD2を生成し、部分的な線画像データD2に基づいて判断処理を行う。操作パネル2は、所定ライン数の読み取りが行われるごとになされる判断処理によって同一又は類似すると判断された基準画像データD1が減るごとに表示する仕分け情報i1を減らす。
これにより、入力画像データの読み取りが段階的に進むごとに、判断処理の結果が示される。そのため、分割された領域を1つずつ読み取るごとに、入力画像データと少なくとも一部が似ている基準画像データD1を示すことができる。また、原稿の読み取りが進むごとに仕分け情報i1が減るので、仕分け情報i1が絞り込まれていく。そのため、仕分け情報i1(基準画像データD1)が絞り込まれていく過程を知ることができる。
ある形式の文書を作成したところ、ひな形として記憶部(本体記憶部5、サーバー7)に登録する前に、使用者は書き込みをしてしまう場合がある。又、文書のひな形のデータがなく、ある形式の文書を流用するには、文書作成ソフトウェアを用いて新たにひな形のデータを作成しなければならない場合もある。そこで、制御部4は、生成した線画像データD2を文書のひな形データとして記憶部(本体記憶部5、サーバー7)に記憶させる。
これにより、手元にある記入済の文書から線画像データD2を生成し、基準画像データD1として記憶部(本体記憶部5、サーバー7)に記憶させることができる。従って、使用者は、文書のひな形自体や、文書のひな形のデータがなくても、手元の書類のスキャンを行うだけで基準画像データD1を記憶部に登録できる。
また、画像形成装置(複合機100)は、印刷を行う印刷部3を含む。制御部4は、生成した線画像データD2を印刷部3に印刷させる。これにより、使用者は、手元にある書類と同じ形式であって未記入状態の書類を容易に入手できる。
また、記憶部(本体記憶部5)はOCRのソフトウェアを記憶する。制御部4は、OCRのソフトウェアに含まれる処理を利用することにより、入力画像データを解析して罫線部分と文字部分を認識する。
画像形成装置(複合機100)は、OCRの処理を行うOCR処理部8を含む。制御部4は、OCR処理部8が行う処理を利用することにより、前記入力画像データを解析して罫線部分と文字部分を認識する。これにより、OCR用のソフトウェアや回路を流用することができ、線画像データD2の生成のためだけの特別なソフトウェアを設計、開発せずに済む。
又、本発明の実施形態を説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。