JP5197464B2 - 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 - Google Patents

画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 Download PDF

Info

Publication number
JP5197464B2
JP5197464B2 JP2009080442A JP2009080442A JP5197464B2 JP 5197464 B2 JP5197464 B2 JP 5197464B2 JP 2009080442 A JP2009080442 A JP 2009080442A JP 2009080442 A JP2009080442 A JP 2009080442A JP 5197464 B2 JP5197464 B2 JP 5197464B2
Authority
JP
Japan
Prior art keywords
character
document
page
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009080442A
Other languages
English (en)
Other versions
JP2010231654A (ja
Inventor
仁志 廣畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009080442A priority Critical patent/JP5197464B2/ja
Publication of JP2010231654A publication Critical patent/JP2010231654A/ja
Application granted granted Critical
Publication of JP5197464B2 publication Critical patent/JP5197464B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、不可視の色が指定された検索可能な文字列データを画像データに埋め込む画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体に関する。
近年、記録用紙又は書籍等の記録媒体に記録されている文書(以下、原稿という)を画像読取装置で読み取ることによって、原稿の画像データを生成する技術が利用されている。また、生成した画像データに対して文字認識処理を施すことによって、この原稿に含まれる文字のテキストデータを生成する技術が利用されている。
電子文書には、生成された画像データとテキストデータとが関連付けて保存されている。このため、電子文書を閲覧するユーザは、適宜のキーワードを用いて、電子文書に含まれる所望の情報を検索することができる。
ここで、文字とは、英数字、かな文字、及び記号等である。
PDF(Personal Document Format)(登録商標)は、文書作成者が意図した通りに文書レイアウトを再現するための文書フォーマットである。PDF形式の電子文書では、透明色が指定された検索可能な文字列データ(いわゆる透明テキスト)が、画像データに埋め込まれる。例えばパーソナルコンピュータ(以下、PCという)を用いて、表示画面にPDF形式の電子文書を表示させた場合、文書画像内の文字画像上に、透明な文字画像が描画される。
透明テキストを含むPDF形式の電子文書に対してキーワード検索を行なった場合、透明テキストが検索される。しかしながら、描画された透明テキストは不可視であるため、ユーザには、あたかも文書画像内の文字画像が検索されているかのように見える。
文書画像内に描画される不可視の文字は、透明テキストに限定されるものではない。例えば不可視の文字は、文書画像内の余白領域上に、余白領域の色と同一の色で描画されることもある(特許文献1参照)。
従来、本文にルビ(ふりがな)が振られている原稿の画像データに対して文字認識処理を施した場合に、本文の文字認識結果がルビの文字認識結果によって分断されるという問題がある。
例えば、キーワードの前半の文字列と後半の文字列とが、1行目の行末と2行目の行頭とに分かれて配置されている場合、文字認識結果のテキストデータにおいては、キーワードの中途に、2行目の本文に振られているルビの文字列が含まれることがある。
このような不都合を解消するために、フォントの違いに基づいて本文とルビとを区別し、本文のみのテキストデータとルビのみのテキストデータとを個別に生成する技術が提案されている(特許文献2参照)。
この場合、ルビに邪魔されずに本文をキーワード検索することができる。
ところで、原稿の画像データに対して文字認識処理を施す際に、走査方向に対して文書画像が傾いていると、認識率が悪化する虞がある。
従って、文書画像の傾きを検出し(特許文献3参照)、検出結果に基づいて画像データを補正し、補正後の画像データに対して文字認識処理を施すことが望ましい。
特開2004−280514公報 特開2004−13863号公報 特開平7−192086号公報
複数頁の原稿の画像データ夫々に対して文字認識処理を施した場合、1頁目の原稿の透明テキストは1頁目の原稿の画像データに埋め込まれ、2頁目の原稿の透明テキストは2頁目の原稿の画像データに埋め込まれる。このため、1頁目の原稿と2頁目の原稿とに跨って、意味を成す文字列(例えば単語、熟語等の語句)が配置されている場合、意味を成す文字列が中途で分断された状態で、1頁目の透明テキストと2頁目の透明テキストとに含まれてしまうという問題がある。
つまり、キーワードの前半の文字列と後半の文字列とが、1頁目の原稿の最終行の行末と2頁目の原稿の第1行の行頭とに分かれて配置されている場合、1頁目の透明テキストには、キーワードの前半の文字列の透明テキストのみが含まれ、2頁目の透明テキストには、キーワードの後半の文字列の透明テキストのみが含まれることになる。
1頁目の透明テキストと2頁目の透明テキストとは連続していない。従って、透明テキスト全体を検索したとしても、1頁目の原稿及び2頁目の原稿に跨って配置されているキーワードの検索漏れが生じる。
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、少なくとも、一の頁の文書の末尾文字の文字列データを次の頁の文書の画像データに埋め込むか、又は、次の頁の文書の先頭文字の文字列データを一の頁の文書の画像データに埋め込むことにより、電子文書に対してキーワード検索を行なう際に、検索漏れが生じることを抑制することができる画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体を提供することにある。
本発明に係る画像処理方法は、文書に含まれる文字を抽出する文字抽出手段、及び、文字列データを画像データに埋め込む文字埋込手段を備える画像処理装置にて、複数頁の文書夫々に含まれる文字列を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込む画像処理方法であって、前記文字抽出手段は、最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出し、前記文字埋込手段は、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込むか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込むことを特徴とする。
本発明に係る画像処理装置は、複数頁の文書夫々に含まれる文字列を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込む画像処理装置において、最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出する文字抽出手段と、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出手段が抽出した先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込むか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出手段が抽出した末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込む文字埋込手段とを備えることを特徴とする。
本発明に係る画像処理装置は、意味を成す文字列を予め記憶してある文字記憶手段と、前記文字抽出手段が抽出した末尾文字及び先頭文字をこの順に合成することによって、新たな文字列を生成する文字生成手段と、該文字生成手段が生成した文字列を、前記文字記憶手段に記憶してある文字列と比較することによって、前記文字列が意味を成す文字列であるか否かを判定する文字判定手段とを更に備え、前記文字埋込手段は、前記文字判定手段が意味を成す文字列であると判定した場合に、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出手段が抽出した先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込み、且つ、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出手段が抽出した末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込むようにしてあることを特徴とする。
本発明に係る画像処理装置は、前記文字抽出手段は、前記末尾部分の複数行夫々の行末に位置する1又は複数個の末尾文字、及び、前記先頭部分の複数行夫々の行頭に位置する1又は複数個の先頭文字を夫々抽出するようにしてあり、前記文字生成手段は、前記文字抽出手段が抽出した各複数行分の末尾文字及び先頭文字の組み合わせをこの順に合成することによって、新たな文字列を生成するようにしてあり、前記文字埋込手段は、前記文字判定手段が意味を成す文字列であると判定した場合に、前記文字生成手段が生成した文字列の内、前記文字判定手段が意味を成す文字列であると判定した文字列が、前記一の頁の文書の画像データに埋め込まれる前記文字列データの末尾部分及び前記次の頁の文書の画像データに埋め込まれる前記文字列データの先頭部分夫々に含まれるようにして、前記一の頁の文書の画像データ及び前記次の頁の文書の画像データ夫々に前記文字列データを埋め込むようにしてあることを特徴とする。
本発明に係る画像処理装置は、画像読取装置が読み取った文書の画像データを受け付ける画像受付手段と、該画像受付手段が受け付けた画像データに基づいて、文書に含まれる文字を認識する文字認識手段とを更に備え、前記文字認識手段が認識した文字を、前記文字列データとして前記画像受付手段が受け付けた画像データに埋め込むようにしてあることを特徴とする。
本発明に係る画像形成装置は、本発明の画像処理装置と、記録シート上に画像を形成する画像形成手段とを備えることを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、複数頁の文書夫々に含まれる文字を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込ませるためのコンピュータプログラムであって、コンピュータに、最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出させる文字抽出ステップと、コンピュータに、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出ステップで抽出された先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込ませるか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出ステップで抽出された末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込ませる文字埋込ステップとを実行させることを特徴とする。
本発明に係る記録媒体は、本発明のコンピュータプログラムを記録してあることを特徴とする。
本発明にあっては、例えば、本発明の画像処理装置を用いて本発明の画像処理方法を実行することによって、複数頁の文書夫々に含まれる文字列が、不可視の色が指定された検索可能な文字列データとして、この文書の画像データに埋め込まれる。本発明の画像処理装置は、文字抽出手段及び文字埋込手段を備える。
文字抽出手段は、最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字を抽出する。最終頁の次の頁は存在しないため、最終頁の文書に係る末尾文字を抽出する必要はない。
また、文字抽出手段は、一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を抽出する。第1頁の前頁は存在しないため、第1頁の文書に係る先頭文字を抽出する必要はない。
一の頁の文書の画像データには、一の頁の文書に含まれる文字列が、不可視の色が指定された検索可能な文字列データとして埋め込まれる。同様に、次の頁の文書の画像データには、次の頁の文書に含まれる文字列が、不可視の色が指定された検索可能な文字列データとして埋め込まれる。
ところが、このままの状態では、一連の文字列が一の頁の文書及び次の頁の文書に跨って配置されている場合、即ち、一連の文字列の前半の文字列が一の頁の文書に配置され、後半の文字列が次の頁の文書に配置されている場合に、前半の文字列の文字列データが一の頁の文書に係る文字列データのみに含まれ、後半の文字列の文字列データが一の頁の文書に係る文字列データのみに含まれることになる。
キーワード検索は、一の頁の文書に係る文字列データ及び次の頁の文書に係る文字列データ夫々に対して実行される。このため、一の頁の文書及び次の頁の文書に跨って配置されている文字列を含むキーワードを検索した場合に、検索漏れが生じる虞がある。
そこで、文字埋込手段は、一の頁の文書の画像データに、次の頁の文書に係る先頭文字の文字列データを埋め込む。更に詳細には、文字埋込手段は、次の頁の文書に係る先頭文字の文字列データを、一の頁の文書に係る末尾文字の文字列データの後方側に連続して、一の頁の文書の画像データに埋め込む。
このため、一連の文字列が一の頁の文書及び次の頁の文書に跨って配置されている場合であっても、分断されたり一部が欠けたりすることなく、一連の文字列の文字列データが、一の頁の文書に係る文字列データに含まれる。
又は、文字埋込手段は、次の頁の文書の画像データに、一の頁の文書に係る末尾文字の文字列データを埋め込む。更に詳細には、文字埋込手段は、一の頁の文書に係る末尾文字の文字列データを、次の頁の文書に係る先頭文字の文字列データの前方側に連続して、次の頁の文書の画像データに埋め込む。
このため、一連の文字列が一の頁の文書及び次の頁の文書に跨って配置されている場合であっても、分断されたり一部が欠けたりすることなく、一連の文字列の文字列データが、次の頁の文書に係る文字列データに含まれる。
従って、一の頁の文書及び次の頁の文書に跨って配置されている文字列を含むキーワードを検索した場合に、検索漏れの発生を抑制することができる。
しかも、文字列データには不可視の色が指定されているため、一の頁の文書画像に次の頁の先頭文字の文字画像が含まれて見えることはない。同様に、次の頁の文書画像に一の頁の末尾文字の文字画像が含まれて見えることはない。
本発明にあっては、本発明の画像処理装置は、文字記憶手段、文字生成手段、及び文字判定手段を更に備える。
文字記憶手段には、意味を成す文字列が予め記憶されている。
文字抽出手段は、一の頁の文書の末尾文字、及び、次の頁の文書の先頭文字を夫々抽出する。
文字生成手段は、文字抽出手段が抽出した末尾文字及び先頭文字をこの順に合成することによって、新たな文字列を生成する。
文字判定手段は、文字生成手段が生成した新たな文字列を、文字記憶手段に記憶してある文字列と比較する。このことによって、文字判定手段は、文字生成手段が生成した新たな文字列が、意味を成す文字列であるか否かを判定する。
文字生成手段が生成した新たな文字列とは、末尾文字及び先頭文字が合成された文字列である。従って、文字判定手段が、意味を成す文字列であると判定した場合、意味を成す文字列が、一の頁の文書及び次の頁の文書に跨って配置されていることがわかる。例えば、一の頁の文書の末尾部分及び次の頁の文書の先頭部分夫々に、一部が欠けた不完全な語句が配置されている。
一方、文字判定手段が、意味を成す文字列ではないと判定した場合、意味を成す文字列が、一の頁の文書及び次の頁の文書に跨って配置されていないことがわかる。例えば、一の頁の文書の末尾部分及び次の頁の文書の先頭部分夫々に、完全無欠の語句が配置されている。
一の頁の文書の末尾部分及び次の頁の文書の先頭部分夫々に意味を成す文字列が配置されている場合、一の頁の文書に次の頁の先頭文字を付加したり、次の頁の文書に一の頁の末尾文字を付加したりしても、検索漏れの抑制にはほとんど貢献しない。しかも、無用な文字列データを埋め込まれた画像データは、データ量が無用に増大する。
このため、文字判定手段が否と判定した場合は、文字埋込手段による文字列データの埋め込みは実行されない。
一方、意味を成す文字列が一の頁の文書及び次の頁の文書に跨って配置されている場合、一の頁の文書に次の頁の先頭文字を付加し、且つ、次の頁の文書に一の頁の末尾文字を付加することによって、検索漏れが更に抑制される。何故ならば、一の頁の文書及び次の頁の文書に跨って配置されている文字列を含むキーワードを用いて文書を検索した場合に、一の頁の文書の画像データに埋め込まれている文字列データ及び次の頁の文書の画像データに埋め込まれている文字列データのいずれか一方又は両方でキーワードがヒットする可能性が高いからである。しかも、必要最小限の文字列データを埋め込まれた画像データは、必要最小限のデータ量を有する。
そこで、文字埋込手段は、文字判定手段が意味を成す文字列であると判定した場合に、次の頁の文書に係る先頭文字の文字列データを、一の頁の文書の画像データに埋め込まれる末尾文字の文字列データの後方側に連続して埋め込む。且つ、文字埋込手段は、一の頁の文書に係る末尾文字の文字列データを、次の頁の文書の画像データに埋め込まれる先頭文字の文字列データの前方側に連続して埋め込む。
この結果、意味を成す文字列の文字列データを、一の頁の文書に係る文字列データと次の頁の文書に係る文字列データとに夫々含ませることができる。
従って、意味を成す文字列として文字記憶手段に予め記憶させておく文字列を適切に設定することによって、検索漏れを更に抑制することができる。
本発明にあっては、本発明の画像処理装置は、一の頁の文書にフッタが含まれる場合、及び/又は、次の頁の文書にヘッダが含まれる場合であっても、意味を成す文字列の文字列データが、一の頁の文書に係る文字列データと次の頁の文書に係る文字列データとに夫々含まれるようにする。
このために、文字抽出手段は、一の頁の文書の末尾部分の複数行夫々の行末に位置する1又は複数個の末尾文字と、次の頁の文書の先頭部分の複数行夫々の行頭に位置する1又は複数個の先頭文字とを夫々抽出する。複数行夫々の行末から末尾文字を抽出する理由は、一の頁の文書の本文の少なくとも最終行とフッタとが含まれるようにするためである。同様に、複数行夫々の行頭から先頭文字を抽出する理由は、次のページの文書のヘッダと本文の少なくとも第1行とが含まれるようにするためである。
そして、文字生成手段は、文字抽出手段が抽出した各複数行分の末尾文字及び先頭文字の組み合わせをこの順に合成する。このことによって文字生成手段が生成する新たな文字列は、少なくとも、本文最終行の末尾文字とヘッダの先頭文字との組み合わせ、本文最終行の末尾文字と本文第1行の先頭文字との組み合わせ、フッタの末尾文字とヘッダの先頭文字との組み合わせ、及び、フッタの末尾文字と本文第1行の先頭文字との組み合わせの4種類である。
ところが、本文最終行の末尾文字とヘッダの先頭文字との組み合わせ、フッタの末尾文字とヘッダの先頭文字との組み合わせ、及び、フッタの末尾文字と本文第1行の先頭文字との組み合わせの3種類については、生成された新たな文字列が、意味を成す文字列であると判定される可能性は非常に低い。また、例えば本文最終行の末尾文字と本文第2行の先頭文字とが合成された新たな文字列が、意味を成す文字列であると判定される可能性は低い。
そこで、文字埋込手段は、文字判定手段が意味を成す文字列であると判定した場合に、次の頁の文書に係る先頭文字の文字列データを、一の頁の文書に係る末尾文字の文字列データの後方側に連続して、一の頁の文書の画像データに埋め込む。ただし、この末尾文字と先頭文字とを合成してなる文字列は、文字判定手段が意味を成す文字列であると判定した文字列である。このため、文字生成手段が生成した文字列の内、文字判定手段が意味を成す文字列であると判定した文字列の文字列データが、一の頁の文書の画像データに埋め込まれる本文の文字列データの後方側に連続して配置される。
且つ、文字埋込手段は、文字判定手段が意味を成す文字列であると判定した場合に、一の頁の文書に係る末尾文字の文字列データを、次の頁の文書に係る先頭文字の文字列データの前方側に連続して、次の頁の文書の画像データに埋め込む。ただし、この末尾文字と先頭文字とを合成してなる文字列は、文字判定手段が意味を成す文字列であると判定した文字列である。このため、文字生成手段が生成した文字列の内、文字判定手段が意味を成す文字列であると判定した文字列の文字列データが、次の頁の文書の画像データに埋め込まれる本文の文字列データの前方側に連続して配置される。
この結果、ヘッダ及び/又はフッタに邪魔されることなく、意味を成す文字列の文字列データを、一の頁の文書の本文に係る文字列データ及び次の頁の文書の本文に係る文字列データ夫々に含ませることができる。
本発明にあっては、本発明の画像処理装置は、画像受付手段及び文字認識手段を更に備える。
画像受付手段は、画像読取装置が読み取った文書の画像データを受け付ける。このために、本発明の画像処理装置は、画像読取装置に直結されているか、又は、インターネット若しくはLAN(Local Area Network)等を介して画像読取装置に接続されている。或いは、本発明の画像処理装置と画像読取装置とが、デジタル複合機に組み込まれている。なお、本発明の画像処理装置は、画像読取装置が読み取った文書の画像データを、例えば画像読取装置に直結されているPCから受信する構成でもよい。
文字認識手段は、画像受付手段が受け付けた画像データに基づいて、文書に含まれる文字を認識する。
画像受付手段が受け付けた画像データには、文字認識手段が認識した文字列が、不可視の色が指定された検索可能な文字列データとして埋め込まれる。
従って、本発明の画像処理装置は、原稿から電子文書を生成する場合に特に有用である。
本発明にあっては、画像形成装置が、本発明の画像処理装置及び画像形成手段を備え、画像形成手段は、記録シート上に画像を形成する。
本発明の画像処理装置は、画像データに埋め込まれている文字列データに対してキーワード検索を行なう際に、検索漏れが生じることを抑制することができる。このため、本発明の画像形成装置は、検索漏れの発生が抑制されている文字列データが埋め込まれた画像データに基づいて、記録シート上に画像を形成することができる。
文字列データには不可視の色が指定されているため、記録シート上に形成された一の頁の文書画像に、次の頁の先頭文字の文字画像が含まれて見えることはない。同様に、記録シート上に形成された次の頁の文書画像に一の頁の末尾文字の文字画像が含まれて見えることはない。従って、記録シートに記録してある文書画像をユーザが視認した場合に、各頁の文書画像の先頭部分又は末尾部分の文字画像が、無用に繰り返し記録されて見える不都合を防止することができる。
本発明にあっては、コンピュータプログラムが、本発明の画像処理装置が備える文字抽出手段及び文字埋込手段等を、コンピュータのハードウェア要素を用いてソフトウェア的に実現させる。本発明のコンピュータプログラムによる場合、公知のコンピュータを、本発明の画像処理装置として機能させることができる。
なお、本発明のコンピュータプログラムは、コンピュータに画像生成処理又は画像圧縮処理等を実行させるための一連の画像処理プログラムに組み入れられた構成であってもよい。
本発明にあっては、コンピュータでの読み取りが可能な記録媒体が、本発明のコンピュータプログラムを記録する。本発明の記録媒体による場合、本発明のコンピュータプログラムの配布、保管等の利便性を向上させることができる。
なお、本発明の記録媒体には、本発明のコンピュータプログラムが組み込まれている前記一連の画像処理プログラムが記録されていてもよい。
本発明の画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体による場合、一の頁の文書の末尾文字の文字列データと次の頁の文書の先頭文字の文字列データとがこの順に連続して、一の頁の文書の画像データ及び/又は次の頁の文書の画像データに埋め込まれる。
この結果、画像データが示す文書画像においては、一連の文字列が、頁の境界の前後に分割配置されていたとしても、文字列データに対するキーワード検索の際に、検索漏れが生じることを抑制することができる。
更に、画像データに基づく文書画像に重ねて、文字列データに基づく文字画像を表示画面に表示させた場合でも、一の頁の文書画像に次の頁の先頭文字の文字画像が含まれて見えたり、次の頁の文書画像に一の頁の末尾文字の文字画像が含まれて見えたりすることはない。従って、表示画面に表示された文書画像をユーザが視認した場合に、各頁の文書画像の先頭部分又は末尾部分の文字画像が、無用に繰り返し表示されて見える不都合を防止することができる。
本発明の実施の形態1に係る画像処理装置を含む画像形成装置がコピー機能を実現する場合の機能構成を示すブロック図である。 本発明の実施の形態1に係る画像処理装置を含む画像形成装置がscan to e-mail機能を実現する場合の機能構成を示すブロック図である。 本発明の実施の形態1に係る画像処理装置が備える画像入力装置の内部構成を模式的に示す正面図である。 本発明の実施の形態1に係る画像処理装置で用いられるγ曲線の一例を示す特性図である。 本発明の実施の形態1に係る画像処理装置が備える原稿検知部の内部構成を示すブロック図である。 本発明の実施の形態1に係る画像処理装置が備えるレイアウト解析部で実行されるレイアウト解析処理を説明するための模式図である。 本発明の実施の形態1に係る画像処理装置が備える文字認識部の内部構成を示すブロック図である。 意味を成す文字列が頁の境界の前後に分割配置されていない文書画像を例示する模式図である。 意味を成す文字列が頁の境界の前後に分割配置されている文書画像を例示する模式図である。 図9に示す文書画像の画像データに埋め込まれる透明テキストを例示する模式図である。 本発明の実施の形態1に係る画像処理装置が備える認識処理部で実行されるテキスト認識処理の手順を示すフローチャートである。 本発明の実施の形態1に係る画像処理装置が備える認識処理部で実行されるテキスト認識処理の手順を示すフローチャートである。 ヘッダ及びフッタを有する文書画像を例示する模式図である。 図13に示す文書画像に係る末尾文字と先頭文字との合成結果を示す説明図である。 本発明の実施の形態2に係る画像処理装置を含む画像形成装置がscan to e-mail機能を実現する場合の機能構成を示すブロック図である。 本発明の実施の形態3に係る画像処理装置を含む画像形成装置がscan to e-mail機能を実現する場合の機能構成を示すブロック図である。 本発明の実施の形態4に係る画像処理装置を含むスキャナ装置の内部の機能構成を示すブロック図である。 本発明の実施の形態5に係る画像処理装置の機能構成を示すブロック図である。 本発明の実施の形態5に係る画像処理装置で実行される電子文書生成処理の手順を示すフローチャートである。 本発明の実施の形態5に係る画像処理装置で実行される電子文書生成処理の手順を示すフローチャートである。
以下、本発明を、その実施の形態を示す図面に基づいて詳述する。
実施の形態 1.
本実施の形態では、画像処理装置が画像形成装置の一部をなす形態を例示する。
図1及び図2は、本発明の実施の形態1に係る画像処理装置2を含む画像形成装置1の内部の機能構成を夫々示すブロック図である。図1は、画像形成装置1がコピー機能を実現する場合の機能構成を示し、図2は、画像形成装置1がscan to e-mail機能を実現する場合の機能構成を示している。
画像形成装置1は、コピー機能、scan to e-mail機能、プリンタ機能、ファクシミリ通信機能、及びスキャナ機能等を有するデジタル複合機である。
画像形成装置1は、画像処理装置2と、画像処理装置2の入力側に接続されている画像入力装置11と、画像処理装置2の出力側に接続されている画像出力装置13とを備える。また、画像形成装置1は、画像処理装置2に夫々接続されている記憶部12及び送受信装置14を備える。更に、画像形成装置1は、制御部10及び操作パネル17を備えている。
記憶部12は、不揮発性の記憶装置(例えばハードディスク)である。
操作パネル17は、ユーザが画像形成装置1を操作するための操作ボタン及びテンキー等の操作部と、液晶ディスプレイ等で構成される表示部とを備える。操作パネル17を用いてユーザが入力した指示又は数値等は、制御部10に与えられる。
制御部10には、画像形成装置1の制御中枢であるCPU(Central Processing Unit)と、画像形成装置1を作動させるためのコンピュータプログラムが予め記憶されているROMと、CPUの作業領域として用いられるRAMとが含まれている。制御部10は、操作パネル17を介してユーザから与えられた指示又は数値等に応じて、画像形成装置1の各部を制御する。
画像処理装置2は、本発明の実施の形態に係る画像処理方法を実現する。このために、画像処理装置2は、A/D変換部20、シェーディング補正部21、入力処理部22、原稿検知部4、原稿補正部24、色補正部25、黒色生成/下色除去部26、空間フィルタ処理部27、出力階調補正部28、中間調生成部29、領域分離部30、フォーマット化処理部31、及び文字認識部5を備える。
画像形成装置1がコピー機能を実現する場合、図1に示すように、画像入力装置11から画像処理装置2へ画像データが出力され、画像処理装置2から画像出力装置13へ画像データが出力される。このとき、送受信装置14、フォーマット化処理部31、及び文字認識部5に画像データが入力されることはない。
画像形成装置1がscan to e-mail機能を実現する場合、図2に示すように、画像入力装置11から画像処理装置2へ画像データが出力され、画像処理装置2から送受信装置14へ画像データが出力される。このとき、画像データが画像出力装置13に入力されることはない。
以下では、まず、図1及び図2夫々を参照しながら画像形成装置1の各部について詳述する。
画像入力装置11は、原稿を光学的に読み取って、原稿の画像データを生成する。このために、画像入力装置11は、例えばCCD(Charge Coupled Device )を有するカラー・スキャナを用いてなる。画像入力装置11は、原稿からの反射光像をCCDで受光することによって、RGB(R:赤,G:緑,B:青)のアナログの電気信号(以下、アナログ信号という)を生成し、生成したアナログ信号からなる画像データを画像処理装置2へ出力する。このような画像入力装置11は、本発明における画像読取装置として機能する。
画像入力装置11で読み取った原稿の枚数P(PはP≧1の自然数)を示す枚数情報は、制御部10に与えられる。
ここで、画像入力装置11の原稿読み取り部分の構成を詳述する。
図3は、画像入力装置11の内部構成を模式的に示す正面図である。
画像入力装置11は、原稿を静止させた状態で読み取る静止読取モードと、原稿を搬送しながら原稿の一面を読み取る搬送読取モードと、原稿を搬送しながら原稿の両面を読み取る両面読取モードとを有する。
このために、画像入力装置11は、イメージセンサ部153及び読取部154を備える。
読取部154は、第1コンタクトガラス151に載置されている原稿を走査することによって原稿を読み取る。このために、原稿押さえマット157は、第1コンタクトガラス151上に載置された原稿を押さえる。
更に詳細には、読取部154は、第1走査ユニット163、第2走査ユニット164、結像レンズ165、及びCCD166を備える。
第1走査ユニット163は、第1コンタクトガラス151に沿って図中の左から右へ一定速度Vで移動しながら、原稿を露光するものである。このために、第1走査ユニット163は、例えば露光ランプを用いてなる光源162と、原稿からの反射光を第2走査ユニット164へ導く第1反射ミラー167とを有している。
第2走査ユニット164は、第1走査ユニット163に追随して一定速度V/2で移動しながら、第1反射ミラー167からの反射光を、第2反射ミラー168及び第3反射ミラー169でこの順に反射することによって、結像レンズ165へ導く。
結像レンズ165は、第3反射ミラー169からの反射光を、CCD166上で結像させる。
CCD166は、結像レンズ165からの光をアナログ信号に変換する。
以上のような読取部154は、静止読取モードでは、第1コンタクトガラス151の一端部Pに相対する位置から、図示しない原稿サイズ検知手段で検出された原稿サイズに応じて所定距離だけ移動する。
原稿サイズ検知手段は、画像入力装置11内に配置されたフォトトランジスタ等の光電変換素子を用いて、第1コンタクトガラス151に載置された原稿の主走査方向及び副走査方向夫々の原稿サイズを検知する。なお、原稿サイズ検知手段は、操作パネル17を用いてユーザが選択した原稿のサイズを検知する構成でもよい。
一方、イメージセンサ部153は、第2コンタクトガラス152上を搬送される原稿を読み取る。このために、画像入力装置11はADF(Auto Document Feeder)として構成され、ADFが、原稿搬送路156に沿って原稿を搬送する。この場合、整合ローラ対155は、搬送された原稿の先端が、整合ローラ対155のニップ部に付き当たることによって、原稿に所定の撓みを形成し、その後、下流側に原稿を搬送するように回動する。このとき、整合ローラ対155のニップ部は、原稿の先端が搬送方向に直角となるように整合する。上側原稿搬送ガイド158は、搬送される原稿のガイドである。
搬送読取モード及び両面読取モード夫々における読取部154は、図示しないホームポジションから、第2コンタクトガラス152に相対する位置へ移動する。
両面読取モードでは、イメージセンサ部153と読取部154とが同時的に原稿の両面を読み取る。このため、例えば、読取部154が原稿の表面を読み取るように設定されている場合、イメージセンサ部153で読み取られた原稿の裏面の画像データは、例えば記憶部12に一旦格納され、読取部154で読み取られた原稿の表面の画像データが、画像処理装置2へ出力されて、各種処理を施される。
裏面の画像データは、表面の画像データの処理が終了した後で、記憶部12から読み出されて画像処理装置2へ出力される。
遮光部材159は、読取部154の光源162が照射する光が、イメージセンサ部153へ入射することによって、不適切な濃度の画像データが生成されてしまう不都合を防止する。
以上のような画像入力装置11の各部のうち、イメージセンサ部153、整合ローラ対155、原稿搬送路156、原稿押さえマット157、及び上側原稿搬送ガイド158等が、上部筐体(原稿カバー)160を構成している。また、第1コンタクトガラス151、第2コンタクトガラス152、読取部154、及び遮光部材159等が、下部筐体161を構成している。
上部筐体160は、下部筐体161に対して開閉可能に構成されている。
図1及び図2夫々に示す画像処理装置2は、画像入力装置11から入力されたRGBのアナログ信号に基づいて、RGBのデジタル信号(以下、RGB信号という)からなる画像データを生成する。更に、画像処理装置2は、生成したRGB信号に基づいて、CMYK(C:シアン,M:マゼンタ,Y:イエロー,K:ブラック)のデジタル信号からなる画像データを生成して、ストリームとして画像出力装置13へ出力する。
画像出力装置13は、画像処理装置2から入力された画像データに基づいて、熱転写、電子写真、又はインクジェット等の方式により、記録シート(例えば記録用紙)上にカラーの文書画像を形成して出力する。このような画像出力装置13は、本発明における画像形成手段として機能する。
なお、画像出力装置13は、記録シート上にモノクロームの文書画像を形成して出力する構成でもよい。この場合、画像処理装置2が、画像入力装置11から入力されたカラーのアナログ信号を、モノクロームのデジタル信号に変換して画像出力装置13へ出力する。又は、画像入力装置11が、モノクロームのアナログ信号を画像処理装置2へ出力し、画像処理装置2が、入力されたモノクロームのアナログ信号を、モノクロームのデジタル信号に変換して画像出力装置13へ出力する。
送受信装置14は、画像処理装置2から出力された画像データを、画像形成装置1の外部へ送信する。
このために、送受信装置14は、図示しない公衆電話回線網、LAN又はインターネット等の通信ネットワークに接続可能であり、ファクシミリ又は電子メール等の通信方法により、通信ネットワークを介して画像形成装置1の外部へ画像データを送信する。例えば、操作パネル17を用いてユーザがscan to e-mail機能を選択した場合、画像データは、ネットワークカード、モデム等を用いてなる送受信装置14によってe-mailに添付され、設定された送信先へ送信される。
なお、画像形成装置1は、画像処理装置2から送受信装置14へ画像データを出力する前に、記憶部12に一旦記憶させる構成でもよい。また、画像形成装置1は、画像処理装置2から画像出力装置13へ画像データを出力する前に、記憶部12に一旦記憶させる構成でもよい。
本実施の形態においては、送受信装置14でe-mailに添付される画像データは、透明テキストが埋め込まれている画像データ(具体的には、PDF形式の電子文書)であるものとする。ここで、透明テキストとは、透明色が指定された検索可能な文字列データである。
なお、画像データに埋め込むべき文字列データは、透明テキストに限定されるものではない。つまり、画像データに埋め込むべき文字列データは、検索可能、且つ、文書画像内に不可視の文字を描画するためのデータであれば、どのようなものでもよい。例えば、文字列データは、テキストデータに対するキーワード検索と同様にしてキーワード検索が可能であり、更に、文書画像上の文字列が配置される領域の色と同一の色で文字列が描画されるように構成されたデータであればよい。
次に、図1を参照しながら、画像形成装置1がコピー機能を実現する場合の画像処理装置2の各部の動作を詳述する。
A/D変換部20は、画像入力装置11から画像処理装置2へ入力されたRGBのアナログ信号からなる画像データを受け付け、受け付けたアナログ信号をRGBのデジタル信号(即ちRGB信号)からなる画像データに変換し、変換後の画像データをシェーディング補正部21へ出力する。
シェーディング補正部21は、A/D変換部20から入力された画像データに対して、画像入力装置11の照明系、結像系及び撮像系で生じる各種の歪みを取り除く処理を行なう。次いで、シェーディング補正部21は、歪みを取り除いた画像データを入力処理部22へ出力する。
入力処理部22は、シェーディング補正部21から入力された画像データに対して、各種の画像処理を施す。入力処理部22にて実行される画像処理は、例えばγ補正処理、カラーバランスの調整処理、下地濃度の除去処理、及びコントラストの調整処理等の画質調整処理である。
入力処理部22にて画像処理された画像データは、記憶部12に記憶される。
原稿検知部4は、記憶部12から画像データを読み出す。原稿検知部4では、例えば特許文献3に記載されている画像傾き検出方法を用いて、読み出した画像データに基づき、原稿の傾きが検知される。原稿の傾きの検知結果は、原稿検知部4から原稿補正部24へ出力される。
原稿補正部24は、記憶部12から画像データを読み出し、原稿検知部4から入力された検知結果に基づき、読み出した画像データに対して、傾き補正処理を施す。原稿補正部24にて傾き補正処理が施された画像データは、記憶部12に記憶される。
更に、原稿検知部4は、傾き補正処理が施された画像データを記憶部12から読み出す。原稿検知部4では、読み出した画像データに基づいて、原稿の天地が判定される。原稿の天地の判定結果は、原稿検知部4から原稿補正部24へ出力される。
更に、原稿補正部24は、傾き補正処理が施された画像データを記憶部12から読み出し、原稿検知部4から入力された判定結果に基づき、読み出した画像データに対して、方向補正処理を施す。原稿補正部24にて方向補正処理が施された画像データは、色補正部25及び領域分離部30夫々へ出力される。
なお、原稿補正部24にて方向補正処理が施された画像データが、図示しない圧縮部に引き渡されて、例えばJPEG圧縮アルゴリズムに基づいて圧縮されてから、記憶部12に記憶される構成でもよい。この場合、記憶部12にはJPEGコードの圧縮ファイルが記憶される。
この後、記憶部12から読み出された圧縮ファイルは、図示しないJPEG伸張部に引き渡されて復号化処理が施されてから、色補正部25及び領域分離部30夫々へ出力される。又は、記憶部12から読み出された圧縮ファイルは、送受信装置14へ引き渡されることによって、画像形成装置1の外部へ送信される。
記憶部12に記憶されている圧縮ファイルの管理及び圧縮ファイルの引き渡し等の動作制御は、制御部10が行なう。
領域分離部30は、原稿補正部24から入力された画像データが表す画像中の各画素を、黒文字領域、色文字領域、網点領域、又は印画紙写真(連続階調領域)領域等のいずれかに分離する。また、領域分離部30は、分離結果に基づき、各画素がいずれの領域に属しているかを示す領域識別信号を、黒色生成/下色除去部26、空間フィルタ処理部27、及び中間調生成部29夫々へ出力する。
色補正部25は、原稿補正部24から入力された画像データを、CMYのデジタル信号(以下、CMY信号という)からなる画像データに変換し、色再現の忠実化実現のために、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りをCMY信号から取り除く処理を行なう。次いで、色補正部25は、色補正後のCMY信号からなる画像データを、黒色生成/下色除去部26へ出力する。
黒色生成/下色除去部26は、色補正部25から入力されたCMY信号に基づき、CMY信号からK信号を生成する黒色生成処理と、CMY信号から黒色生成で得たK信号を差し引いて新たなCMY信号を生成する処理とを行なう。この結果、CMY3色のデジタル信号からなる画像データは、CMYK4色のデジタル信号(以下、CMYK信号という)からなる画像データに変換される。次いで、黒色生成/下色除去部26は、CMYK信号からなる画像データを空間フィルタ処理部27へ出力する。
空間フィルタ処理部27は、黒色生成/下色除去部26から入力されたCMYK信号に対して、領域分離部30から入力された領域識別信号に基づき、デジタルフィルタによる空間フィルタ処理(強調処理及び平滑化処理)を行なう。
次いで、空間フィルタ処理部27は、処理後のCMYK信号からなる画像データを出力階調補正部28へ出力する。
出力階調補正部28では、空間フィルタ処理部27から入力された画像データに対して出力γ補正処理が施される。次いで、出力階調補正部28は、処理後の画像データを中間調生成部29へ出力する。
中間調生成部29では、出力階調補正部28から入力された画像データに対して、領域分離部30から入力された領域識別信号に基づき、領域の種類に応じた階調再現処理が施される。次いで、中間調生成部29は、処理後の画像データを画像出力装置13へ出力する。
出力階調補正部28における出力γ補正処理及び中間調生成部29における階調再現処理は、夫々、画像出力装置13にて記録シート上に形成される文書画像の画質を向上させるためのものである。
次に、図2を参照しながら、画像形成装置1がscan to e-mail機能を実現する場合の画像処理装置2の各部の動作を詳述する。
A/D変換部20、シェーディング補正部21、及び入力処理部22夫々の動作は、コピー機能を実現する場合と同様である。
原稿検知部4及び原稿補正部24夫々の動作は、コピー機能を実現する場合と略同様である。
ただし、原稿検知部4は、原稿の傾きを検知する傾き検知処理及び原稿の天地を判定する天地判定処理の他に、後述する文字認識処理の前処理であるレイアウト解析処理を実行する。
また、原稿補正部24は、方向補正処理を施した後の画像データを、色補正部25及び領域分離部30夫々へ出力し、更に、記憶部12に記憶させる。
領域分離部30の動作は、コピー機能を実現する場合と略同様である。ただし、領域分離部30は、領域識別信号を、空間フィルタ処理部27及び出力階調補正部28夫々へ出力する。
色補正部25は、原稿補正部24から入力された画像データを、一般に普及している表示装置の表示特性に適合した画像データ(例えば、sRGB規格の画像データ)に変換する。以下では、区別のため、色補正部25によって変換された後の画像データを、R’G’B’信号からなる画像データという。次いで、色補正部25は、R’G’B’信号に変換後の画像データを、黒色生成/下色除去部26へ出力する。
黒色生成/下色除去部26は、色補正部25から入力された画像データを、そのまま空間フィルタ処理部27へ出力する。
空間フィルタ処理部27は、黒色生成/下色除去部26から入力されたR’G’B’信号に対して、領域分離部30から入力された領域識別信号に基づき、デジタルフィルタによる空間フィルタ処理(強調処理及び平滑化処理)を行なう。
次いで、空間フィルタ処理部27は、処理後のR’G’B’信号からなる画像データを出力階調補正部28へ出力する。
出力階調補正部28は、空間フィルタ処理部27から入力された画像データに対して、領域分離部30から入力された領域識別信号に基づき、出力γ補正処理を施す。ただし、この場合の出力γ補正処理は、一般に普及している表示装置の表示画面に表示される文書画像の画質を向上させるためのものである。
図4は、出力階調補正部28で用いられるγ曲線の一例を示す特性図である。図4の横軸は出力階調補正部28に入力されたR’G’B’信号のレベルを示し、縦軸は出力階調補正部28から出力されるR’G’B’信号のレベルを示している。
出力階調補正部28では、例えば、文字領域に対しては、図4に実線で示すγ曲線を用いた出力γ補正処理を施し、文字領域以外の領域に対しては、図4に破線で示すγ曲線を用いた出力γ補正処理を施す。
次いで、出力階調補正部28は、処理後の画像データを中間調生成部29へ出力する。
中間調生成部29は、出力階調補正部28から入力された画像データを、そのままフォーマット化処理部31へ出力する。
フォーマット化処理部31は、出力階調補正部28から入力された画像データをPDF形式の画像データに変換する。次いで、フォーマット化処理部31は、後述する描画コマンド生成部52から入力された描画コマンドに従って、公知の手法を用いて、PDF形式に変換した画像データに、透明テキストを埋め込む。つまり、フォーマット化処理部31は、PDF形式の電子文書を生成する。最後に、フォーマット化処理部31は、生成した電子文書を送受信装置14へ出力する。
以下に、原稿検知部4における傾き検知処理及びレイアウト解析処理について詳細に説明する。天地判定処理についての詳述は省略する。
図5は、原稿検知部4の内部構成を示すブロック図である。
原稿検知部4は、信号変換部41、2値化処理部42、解像度変換部43、原稿傾き検知部44、及びレイアウト解析部45を備える。
原稿検知部4では、まず、傾き検知処理が実行される。この場合、原稿検知部4では、入力処理部22にて画像処理された画像データが、記憶部12から読み出される。読み出された画像データは、信号変換部41に入力される。
信号変換部41は、RGB信号からなる画像データを、輝度信号からなる画像データに変換する。
ここで、画像入力装置11で原稿を読み取る際の主走査方向及び副走査方向を、x座標方向及びy座標方向とする。このとき、座標(x,y)は画像上の画素の位置を示し、座標によって各画素を特定することができる。
座標(x,y)の画素におけるRGB信号の強度をRGB値(Rxy,Gxy,Bxy)と表わし、輝度信号の強度を輝度値Yxyと表わすと、輝度値Yxyは下記の式(1)を用いて求められる。
xy=0.30×Rxy+0.59×Gxy+0.11×Bxy…(1)
次いで、信号変換部41は、輝度信号からなる画像データを2値化処理部42へ出力する。
なお、信号変換部41は、RGB値をL* * * 表色系(CIE1976。CIE:Commission Internationale de l' Eclairage :国際照明委員会)における均等色空間上の座標(L*値:明度。a* 値,b* 値:色度)に変換する構成でもよい。又は、信号変換部41は、G信号からなる画像データを2値化処理部42へ出力する構成でもよい。
2値化処理部42は、信号変換部41から入力された画像データを2値化し、2値化処理後の画像データを解像度変換部43へ出力する。
8ビットの画像データを2値化する場合、2値化処理部42は、例えば、閾値を“128”とし、注目画素の画素値が“128”以上であれば、この画素値を“1”に変換し、“128”未満であれば、“0”に変換することを全画素に対して実行する。
なお、閾値は一定値に限定されるものではない。例えば、2値化処理部42は、注目画素及び周囲24画素夫々の画素値の平均値を演算して、演算結果を閾値とし、注目画素の画素値が閾値以上であれば、この画素値を“1”に変換し、閾値未満であれば、“0”に変換することを全画素に対して実行する構成でもよい。
ここで、画像入力装置11においては、原稿は例えば1200dpi又は600dpiで読み込まれるものとする。
解像度変換部43は、2値化処理部42から入力された画像データの解像度を、公知のニアレストネイバー法、バイリニア法、又はバイキュービック法等を用いて、第1の解像度(例えば300dpi)、又は第1の解像度よりも更に低い第2の解像度(例えば75dpi)に低解像度化する。
傾き検知処理を実行する場合、解像度変換部43は、第1の解像度に低解像度化した画像データを原稿傾き検知部44へ出力する。
原稿傾き検知部44は、解像度変換部43から入力された画像データに基づいて、原稿の傾きを検知し、検知結果を原稿補正部24へ出力する。
このために、原稿傾き検知部44は、入力された画像データ、即ち2値の画像データに基づいて、画素値“0”の黒画素と画素値“1”の白画素との境界点を複数個抽出し、抽出した境界点夫々の座標を求める。次いで、原稿傾き検知部44は、求めた座標に基づいて回帰直線を求め、求めた回帰直線の回帰計数bを得る。最後に、原稿傾き検知部44は、下記の式(2)を用いて傾き角度θを求める。
tanθ=b…(2)
ここで、境界点の個数をn(nはn≧2の自然数)個とし、i個目の境界点の座標を座標(xi ,yi )とし、回帰直線上の座標(x,y)とすると、回帰計数bは、下記の式(3)〜式(6)を用いて求められる。即ち、回帰計数bは、座標xi ,xの残差平方和Sx 、座標yi ,yの残差平方和Sy 、及び、座標xi ,xの残差と座標yi ,yの残差との積Sxyを用いて求められる。
Figure 0005197464
傾き検知処理の実行後、この場合、原稿検知部4は、原稿補正部24にて方向補正処理が施された画像データを、記憶部12から読み出す。読み出された画像データは、信号変換部41に入力される。
信号変換部41は、方向補正処理が施された画像データ(即ちRGB信号からなる画像データ)を、輝度信号からなる画像データに変換して、2値化処理部42へ出力する。
2値化処理部42は、信号変換部41から入力された画像データを2値化し、2値化処理後の画像データを解像度変換部43へ出力する。
解像度変換部43は、2値化処理部42から入力された画像データの解像度を、第1の解像度及び第2の解像度に低解像度化して、レイアウト解析部45へ出力する。つまり、解像度変換部43からレイアウト解析部45へは、第1の解像度に低解像度化された2値の画像データと、第2の解像度に低解像度化された2値の画像データとが両方とも出力される。
図6は、レイアウト解析部45で実行されるレイアウト解析処理を説明するための模式図である。
図6には、記録シートSに形成されている文書画像が例示されており、文書画像には、複数個の文字H,H,…が含まれている。
レイアウト解析部45は、解像度変換部43から入力された画像データの内、第2の解像度に低解像度化された画像データに基づいて、文書画像のレイアウトを解析し、レイアウト解析結果と、解像度変換部43から入力された画像データの内、第1の解像度に低解像度化された画像データとを文字認識部5へ出力する。
具体的には、レイアウト解析部45は、文書画像が横書きである(文字が並ぶ方向が主走査方向、即ちx座標方向に等しい)か、又は文書画像が縦書きである(文字が並ぶ方向が副走査方向、即ちy座標方向に等しい)かを解析する。
このために、レイアウト解析部45は、図6に破線で示すような各文字Hの外接矩形Qを求め、求めた外接矩形Q,Q,…同士の主走査方向の距離Lx ,Lx ,…と副走査方向の距離Ly ,Ly ,…とを求める。そして、レイアウト解析部45は、距離Lx ,Lx ,…の平均値が距離Ly ,Ly ,…の平均値よりも小さい(又は大きい)場合に、文書画像が横書きである(又は縦書きである)と判定する。
図6に示す文字領域の場合、距離Lx <距離Ly であるため、レイアウト解析部45は、横書きであるというレイアウト解析結果を文字認識部5へ出力する。
ここで、各文字Hの外接矩形Qを求める手順を説明する。
画像データには、主走査方向にI個の画素が含まれ、副操作方向にJ個の画像が含まれるものとする。ただし、定数I,J夫々は“2”以上の自然数である。
レイアウト解析部45は、まず,画像データに含まれるj番目のラインを注目ラインとし、黒画素にラベリングを行なう。ただし、変数jは1≦j≦J−1の自然数である。
このとき、主走査方向に連結している黒画素夫々には、同じラベルが与えられ、連結していない黒画素夫々には、異なるラベルが与えられる。
次いで、レイアウト解析部45は、画像データに含まれるj+1番目のラインを注目ラインとし、黒画素にラベリングを行なう。
このとき、主走査方向に連結している黒画素夫々には、同じラベルが与えられ、連結していない黒画素夫々には、異なるラベルが与えられる。ただし、この時点では、j+1番目のラインの黒画素に与えられるラベルは、j番目以下のラインの黒画素に与えられているラベルのいずれとも異なるものである。
次に、レイアウト解析部45は、j番目のラインに含まれる黒画素とj+1番目のラインに含まれる黒画素とが連結しているか否かを判定する。
連結していると判定した場合、レイアウト解析部45は、連結している黒画素夫々に、同じラベルを与える。
以上のような処理を、レイアウト解析部45は、変数jが定数J−1に達するまで繰り返す。
更に、レイアウト解析部45は、同じラベルが与えられている領域夫々を、一の文字Hを形成する文字領域であると判定し、各文字領域の上端、下端、左端、及び右端の画素位置に基づいて、外接矩形Qを求める。
このようにしてレイアウトを解析する場合、文字領域は大凡の位置がわかればよい。このため、レイアウト解析部45に入力される画像データの解像度は、文字領域の大凡の位置を判定することが可能な程度の低い解像度であればよい。故に、本実施の形態においても、レイアウト解析部45に入力される画像データの解像度は、原稿傾き検知部44に入力される画像データの解像度よりも低い。
仮に、過剰に高い解像度の画像データに基づいてレイアウトを解析すると、レイアウト解析部45の演算負荷が無駄に重くなる。
図7は、文字認識部5の内部構成を示すブロック図である。
文字認識部5は、認識処理部51、描画コマンド生成部52、及び辞書記憶部53を備える。
レイアウト解析部45から出力されたレイアウト解析結果及び画像データは、認識処理部51に入力される。認識処理部51には、画像入力装置11で読み取った原稿の枚数Pを示す枚数情報が、制御部10から入力される。
認識処理部51は、入力されたレイアウト解析結果、画像データ、及び枚数情報に基づいて、後述する図11及び図12に示すテキスト認識処理を実行する。テキスト認識処理には、公知の文字認識処理が含まれている。
文字認識処理では、主に文字の形状(即ち字形)でパターンマッチングを行なうことによって、文字の候補が選択され、前後の文字を組み合わせて意味を成す単語が得られるか否かを判定することによって、文字が特定される。
このため、辞書記憶部53には、各文字の字形データを有する字形辞書データと、一般的な単語のデータを有する単語辞書データとが予め記憶されている。
このような辞書記憶部53は、本発明における文字記憶手段として機能する。
なお、一般的な単語のみならず、熟語、及び慣用句等のデータが単語辞書データに含まれていてもよい。また、単語辞書データに含むべきデータを、ユーザが追加又は削除することが可能であってもよい。更に、文字認識部5が辞書記憶部53を備える構成ではなく、記憶部12の記憶領域の一部が辞書記憶部53として構成されていてもよい。
図8及び図9は、夫々複数行の本文が含まれる文書画像を例示する模式図である。図8には、意味を成す文字列が頁の境界の前後に分割配置されていない文書画像D11,D12が例示されており、図8(a)は第1頁の文書画像D11を示し、図8(b)は第2頁の文書画像D12を示している。一方、図9には、意味を成す文字列が頁の境界の前後に分割配置されている文書画像D21,D22が例示されており、図9(a)は第1頁の文書画像D21を示し、図9(b)は第2頁の文書画像D22を示している。
図8(a)に示すように、第1頁の文書画像D11の末尾部分には、「血糖値を下げる効果があります。」という15文字分の文字画像が含まれている。更に詳細には、最終行に「げる効果があります。」という文字画像が含まれている。このように、第1頁の文書画像D11においては、最終行の行末に、意味を成す文字列「あります。」が含まれている。
図8(b)に示すように、第2頁の文書画像D12の先頭部分には、「生鮮食品では、緑黄色野菜をはじめ、」という17文字分の文字画像が含まれている。更に詳細には、第1行に「生鮮食品では、緑黄色」という文字画像が含まれている。このように、第2頁の文書画像D12においては、第1行の行頭に、意味を成す文字列「生鮮」が含まれている。
即ち、図8に示す文書画像D11,D12は、意味を成す文字列が頁の境界の前後に分割配置されていない文書画像である。
図9(a)に示すように、第1頁の文書画像D21の末尾部分には、「最新機種を取り揃え、携帯電話サマ」という16文字分の文字画像が含まれている。更に詳細には、最終行に「揃え、携帯電話サマ」という文字画像が含まれている。
図9(b)に示すように、第2頁の文書画像D22の先頭部分には、「ーキャンペーンを、開催いたします。」という17文字分の文字画像が含まれている。更に詳細には、第1行に「ーキャンペーンを、」という文字画像が含まれている。
このように、第1頁の最終行の行末から第2頁の第1行の行頭に亘って、意味を成す文字列「サマー」が含まれている。
即ち、図9に示す文書画像D21,D22は、意味を成す文字列が頁の境界の前後に分割配置されている文書画像である。
従来、PDF形式の電子文書を生成する場合、図8(a)に示す文書画像D11の画像データには、「血糖値を下げる効果があります。」という透明テキストT11が埋め込まれ、図8(b)に示す文書画像D12の画像データには、「生鮮食品では、緑黄色野菜をはじめ、」という透明テキストT12が埋め込まれる。
同様に、図9(a)に示す文書画像D21の画像データには、「最新機種を取り揃え、携帯電話サマ」という透明テキストが埋め込まれ、図9(b)に示す文書画像D22の画像データには、「ーキャンペーンを、開催いたします。」という透明テキストが埋め込まれる。
ユーザが、図8に示す文書画像D11,D12の電子文書に対して、文書画像D11,D12上に存在する「生鮮」という言葉をキーワードにして検索を実行した場合には、検索漏れは生じない。何故ならば、「生鮮」という透明テキストが、第2頁の文書画像D12の画像データに埋め込まれている透明テキストT12に含まれているからである。
しかしながら、ユーザが、図9に示す文書画像D21,D22の電子文書に対して、文書画像D21,D22上に存在する「サマー」という言葉をキーワードにして検索を実行した場合には、検索漏れが生じる。何故ならば、「サマー」という透明テキストは、第1頁の文書画像D21の画像データに埋め込まれている透明テキストにも、第2頁の文書画像D22の画像データに埋め込まれている透明テキストにも、含まれていないからである。
そこで、本実施の形態においては、文字認識部5が、図9に示す文書画像D21,D22夫々の画像データに埋め込むべき透明テキストを補正する。
図10は、図9に示す文書画像D21,D22の画像データに埋め込まれる透明テキストT21,T22を例示する模式図である。図10(a)は第1頁の透明テキストT21を示し、図10(b)は第2頁の透明テキストT22を示している。
図10に示すように、文書画像D21の画像データには、「最新機種を取り揃え、携帯電話サマー」という透明テキストT21が埋め込まれ、文書画像D22の画像データには、「サマーキャンペーンを、開催いたします。」という透明テキストT22が埋め込まれている。
つまり、図9に示す文書画像D21,D22では、意味を成す文字列「サマー」が頁の境界の前後に分割配置されているが、図10に示す透明テキストT21,T22では、意味を成す文字列「サマー」が第1頁の透明テキストT21にも第2頁の透明テキストT22にも含まれている。つまり、透明テキストT21は、文書画像D21の本文の透明テキストの内、末尾文字「サマ」の後方側に連続して、文書画像D22の第1行の行頭に位置する1個の先頭文字「ー」の透明テキストが追加されたものである。また、透明テキストT22は、文書画像D22の本文の透明テキストの内、先頭文字「ー」の前方側に連続して、文書画像D21の最終行の行末に位置する2個の末尾文字「サマ」の透明テキストが追加されたものである。
この場合、ユーザが、文書画像D21,D22の電子文書に対して、文書画像D21,D22上に存在する「サマー」という言葉をキーワードにして検索を実行しても、検索漏れは生じない。
更に、ユーザが、文書画像D21,D22の電子文書に対して、文書画像D21,D22上に存在する「サマーキャンペーン」という言葉をキーワードにして検索を実行しても、検索漏れは生じない。何故ならば、「サマーキャンペーン」という透明テキストが、第2頁の文書画像D22の画像データに埋め込まれている透明テキストT22に含まれているからである。
なお、文字認識部5は、第1頁の本文の透明テキストには、第2頁の先頭文字の透明テキストを追加するが、第2頁の本文の透明テキストには、第1頁の末尾文字の透明テキストを追加しない構成でもよい。また、文字認識部5は、第1頁の本文の透明テキストには、第2頁の先頭文字の透明テキストを追加しないが、第2頁の本文の透明テキストには、第1頁の末尾文字の透明テキストを追加する構成でもよい。この場合、先頭文字又は末尾文字の透明テキストを追加することによるデータ量の増加を抑制することができる。
ただし、例えば「メモリ」の「メ」と「モリ」との間に頁の境界が位置する場合、第1頁にのみ「メモリ」を配置すると、「メモリの購入」というキーワードを検索したときに、たとえ第2頁に「モリの購入」という透明テキストが配置されていたとしても、検索キーワード「メモリの購入」はヒットしない。逆に、第2頁にのみ「メモリ」を配置すると、「新しいメモリ」というキーワードを検索したときに、たとえ第1頁に「新しいメ」という透明テキストが配置されていたとしても、検索キーワード「新しいメモリ」がヒットしない。つまり、検索漏れが生じる虞がある。
しかしながら、第1頁及び第2頁の両方に「メモリ」を配置すると、検索キーワード「メモリ」は第1頁及び第2頁の両方でヒットし、検索キーワード「メモリの購入」と「新しいメモリ」とは、第1頁及び第2頁のいずれか一方でヒットする。つまり、検索漏れの発生を抑制することができる。
また、文字認識部5は、第1頁の本文の透明テキストに、第2頁の第1行全部の透明テキストを追加し、第2頁の本文の透明テキストに、第1頁の最終行全部の透明テキストを追加する構成でもよい。この場合、例えば、意味を成す文字列「サマー」を含む「揃え、携帯電話サマーキャンペーンを、」という文言が、第1頁の透明テキストにも第2頁の透明テキストにも含まれる。
このとき、ユーザが、文書画像に対して「携帯電話サマーキャンペーン」という言葉をキーワードにして検索を実行しても、検索漏れは生じない。つまり、検索漏れの発生を更に抑制することができる。特に、意味を成す文字列をいちいち抽出せずに、単純に1行分(又は複数行分)の透明テキストを前後の頁に追加する場合は、処理が非常に簡易である。
ただし、本文の透明テキストに1行分(又は複数行分)の透明テキストを追加することによるデータ量の増加が顕著になるという問題がある。
ところで、本実施の形態においては、辞書記憶部53の単語辞書データに、意味を成す文字列として「サマー」が記憶してある。このため、文字認識部5は、「サマー」が意味を成す文字列であると判定する。ただし、文字認識部5は、「携帯電話サマーキャンペーン」が意味を成す文字列であると判定する構成でもよい。このためには、辞書記憶部53の単語辞書データに、意味を成す文字列として「携帯電話サマーキャンペーン」を記憶させておけばよい。
図11及び図12は、認識処理部51で実行されるテキスト認識処理の手順を示すフローチャートである。
図11に示すように、まず、認識処理部51は、変数kを“1”にリセットする(S11)。
次に、認識処理部51は、原稿の枚数を示す枚数情報が制御部10から入力されたか否かを判定し(S12)、入力されていない場合は(S12でNO)、S12の処理を繰り返し実行する。枚数情報が入力された場合(S12でYES)、認識処理部51は、S13以降の処理を実行する。
認識処理部51は、第k頁の文書画像のレイアウトを示すレイアウト解析結果と画像データとがレイアウト解析部45から入力されたか否かを判定し(S13)、入力されていない場合は(S13でNO)、S13の処理を繰り返し実行する。
レイアウト解析結果と画像データとが入力された場合(S13でYES)、認識処理部51は、第k頁の画像データに基づいて、公知の文字認識処理を実行する(S14)。
S14における認識処理部51は、画像データの特徴を数値的に示す特徴量(例えばエッジ強度)を演算し、演算結果に基づいて、図6に示すような一の文字Hを形成する文字領域を判別する。次に、認識処理部51は、辞書記憶部53に記憶されている字形辞書データを参照し、判別した文字領域と字形データとでパターンマッチングを行なうことによって字形の一致度を求める。更に、認識処理部51は、求めた一致度が所定以上である字形データに対応する文字を、判別した文字領域に対応する文字候補とする。
次に、認識処理部51は、レイアウト解析結果を参照し、文字が並ぶ方向に隣り合う複数個の文字領域夫々の文字候補同士を合成することによって、適宜の文字列を得る。最後に、認識処理部51は、辞書記憶部53に記憶されている単語辞書データを参照し、得られた文字列が意味を成す単語になるように、各文字領域に対応する文字を特定する。
そして、認識処理部51は、以上のような処理を、第k頁の画像データに含まれる文字領域夫々に対応する文字を全て特定するまで繰り返し実行する。
ところで、特定された文字が、文書中の何行目の何番目に配されている文字であるかという情報は、特定された文字に対応する文字領域に含まれている画素の座標と、レイアウト解析結果とに基づいて求めることができる。
図11に示すように、S14における文字認識処理の終了後、認識処理部51は、第k頁の画像データに係る文字認識結果を描画コマンド生成部52へ出力する(S15)。
S15の処理が実行されることによって、第k頁の画像データに係る文字認識結果が入力された描画コマンド生成部52は、入力された文字認識結果に基づいて、描画コマンドを生成する。生成された描画コマンドには、第k頁の画像データに係る描画コマンドであることを示す情報が付与される。
描画コマンドとは、透明テキストをPDF形式の画像データに埋め込むためのものであり、透明テキストに含まれる各文字の配置が、文書画像内の文字画像の配置に対応するように生成される。S15の処理が実行されることによって生成される描画コマンドは、フォーマット化処理部31において第k頁の本文の透明テキストを、第k頁の画像データに埋め込むためのものである。
S15の処理終了後、認識処理部51は、枚数情報が示す枚数Pが1枚であるか否かを判定する(S16)。
P=1である場合(S16でYES)、認識処理部51は、全頁に対するテキスト認識処理が終了したことを示す終了情報を、描画コマンド生成部52へ出力し(S17)、最後に、処理をS11へ戻す。
S16の処理が実行されることによって、終了情報が入力された描画コマンド生成部52は、生成した描画コマンドを全てフォーマット化処理部31へ出力する。
P>1である場合(S16でNO)、認識処理部51は、変数kが“1”であるか否かを判定する(S18)。
k=1である場合(S18でYES)、S14を実行したことによって、第1頁の画像データに対する文字認識処理が終了したため、認識処理部51は、第1頁に係る文字認識結果に基づいて、後述するように、末尾文字を抽出する(S19)。
S19の処理完了後、認識処理部51は、変数kに“2”をセットして(S20)、処理をS13へ戻す。
k>1である場合(S18でNO)、S14を実行したことによって、第1頁以外の第k頁の画像データに対する文字認識処理が終了したため、図12に示すように、認識処理部51は、第k頁に係る文字認識結果に基づいて、後述するように、先頭文字を抽出する(S21)。
更に、認識処理部51は、変数kが枚数Pに等しいか否かを判定する(S22)。
k<Pである場合(S22でNO)、S14を実行したことによって、第P頁以外の第k頁の画像データに対する文字認識処理が終了したため、認識処理部51は、第k頁に係る文字認識結果に基づいて、末尾文字を抽出し(S23)、次いで、後述するS24へ処理を移す。
k=Pである場合(S22でYES)、S14を実行したことによって、第P頁の画像データに対する文字認識処理が終了したため、認識処理部51は、S23の処理を実行することなく、S24へ処理を移す。
以上のように、本実施の形態では、第1頁に係る文字認識結果に基づいて先頭文字を抽出することはない。何故ならば、第1頁の前の頁が存在しないため、第1頁の先頭文字を抽出しても無駄になるからである。また、第P頁に係る文字認識結果に基づいて末尾文字を抽出することはない。何故ならば、第P頁の次の頁が存在しないため、第P頁の末尾文字を抽出しても無駄になるからである。この結果、無駄な処理が省かれるため、演算負荷が軽減される。
ここで、末尾文字及び先頭文字夫々の抽出について説明する。
図8(a)に示す文書画像D11の画像データに対してS14の文字認識処理を施した場合、最終行の文字認識結果として「げる効果があります。」という10文字が得られ、図8(b)に示す文書画像D12の画像データに対してS14の文字認識処理を施した場合、第1行の文字認識結果として「生鮮食品では、緑黄色」という10文字が得られる。
認識処理部51は、得られた文字認識結果に基づいて、認識した文字からなる1行分の文字列を分解する。このとき、認識処理部51は、1行分の文字列を分解する手法として、例えば形態素解析を用いる。
形態素解析とは、文を、形態素(意味を成す最小の言語単位。これ以上分解すると、意味を成さなくなる。)に分解するためのものである。形態素解析には、一般的な慣用句からなる辞書を用いて、辞書の慣用句と、分解すべき文に含まれる文字列とを比較し、辞書の慣用句と一致した文字列を形態素として抽出する手法や、分解すべき文に含まれる漢字と助詞とを認識することによって、形態素を抽出する手法等がある。
この結果、「げる効果があります。」という1行分の文字列は、「下げる」という動詞の送り仮名である「げる」という2個の文字と、名詞である「効果」という2個の文字と、格助詞である「が」という1個の文字と、動詞及び読点である「あります。」という5個の文字とに分解される。認識処理部51は、第1頁の最終行の末尾文字として、「あります。」を抽出する。
同様に、「生鮮食品では、緑黄色」という1行分の文字列は、「生鮮」という2個の文字と、「食品」という2個の文字と、「では、」という3個の文字と、「緑黄色」という3個の文字とに分解される。認識処理部51は、第2頁の第1行の先頭文字として、「生鮮」を抽出する。
図9(a)に示す文書画像D21の画像データに対してS14の文字認識処理を施した場合、最終行の文字認識結果として「揃え、携帯電話サマ」という9文字が得られ、図9(b)に示す文書画像D22の画像データに対してS14の文字認識処理を施した場合、第1行の文字認識結果として「ーキャンペーンを、」という9文字が得られる。
認識処理部51は、得られた文字認識結果に基づいて、認識した文字からなる1行分の文字列を分解する。
この結果、「揃え、携帯電話サマ」という1行分の文字列は、「揃え、」という3個の文字と、「携帯電話」という4個の文字と、「サマ」という2個の文字とに分解される。認識処理部51は、第1頁の最終行の末尾文字として、「サマ」を抽出する。
同様に、「ーキャンペーンを、」という1行分の文字列は、「ー」という1個の文字と、「キャンペーン」という6個の文字と、「を、」という2個の文字とに分解される。認識処理部51は、第2頁の第1行の先頭文字として、「ー」を抽出する。
図12に示すように、認識処理部51は、第k−1頁の末尾文字と、第k頁の先頭文字とをこの順に合成する(S24)。S24の処理が実行されることによって、新たな文字列が生成される。
図8に示す文書画像D11,D12については、第1頁の末尾文字「あります。」と第2頁の先頭文字「生鮮」とがこの順に合成されることによって、新たな文字列「あります。生鮮」が生成される。
図9に示す文書画像D21,D22については、第1頁の末尾文字「サマ」と第2頁の先頭文字「ー」とがこの順に合成されることによって、新たな文字列「サマー」が生成される。
図12に示すように、認識処理部51は、S24で生成した文字列が、意味を成す文字列であるか否かを判定する(S25)。このために、認識処理部51は、辞書記憶部53に記憶されている単語辞書データを参照し、単語辞書データに含まれる文字列と、S24で生成した文字列とを比較して、これらが一致するか否かを判定する。一致する場合、生成した文字列は意味を成す文字列であり、一致しない場合、生成した文字列は意味を成さない文字列である。
図8に示す文書画像D11,D12に係る新たな文字列「あります。生鮮」は、意味を成さない文字列である、と判定される。
図9に示す文書画像D21,D22に係る新たな文字列「サマー」は、意味を成す文字列である、と判定される。
S24で生成した文字列が、意味を成す文字列である場合(S25でYES)、認識処理部51は、描画コマンド生成部52に第k−1頁及び第k頁夫々に係る描画コマンドを補正させる描画コマンド補正命令を、描画コマンド生成部52へ出力し(S26)、処理を後述するS27へ移す。
S26の処理が実行されることによって、描画コマンド補正命令が入力された描画コマンド生成部52は、入力された描画コマンド補正命令に基づいて、描画コマンドを補正する。
具体的には、描画コマンド生成部52は、第k−1頁に係る描画コマンドを、第k−1頁の画像データに埋め込まれる第k−1頁の本文の透明テキストの後方側(即ち、第k−1頁の末尾文字の透明テキストの後方側)に連続して、第k頁目の先頭文字の透明テキストを埋め込むための描画コマンドに補正する。且つ、描画コマンド生成部52は、第k頁に係る描画コマンドを、第k頁の画像データに埋め込まれる第k頁の本文の透明テキストの前方側(即ち、第k頁の先頭文字の透明テキストの前方側)に連続して、第k−1頁目の末尾文字の透明テキストを埋め込むための描画コマンドに補正する。
この結果、補正された描画コマンドが描画コマンド生成部52からフォーマット化処理部31へ出力されるため、フォーマット化処理部31においては、図9に示す文書画像D21,D22の画像データに、図10に示す透明テキストT21,T22が埋め込まれる。
S24で生成した文字列が、意味を成す文字列ではない場合(S25でNO)、認識処理部51は、S26の処理を実行せずに、後述するS27へ処理を移す。
この結果、描画コマンドは補正されずに描画コマンド生成部52からフォーマット化処理部31へ出力されるため、フォーマット化処理部31においては、図8に示す文書画像D11,D12の画像データに、透明テキストT11,T12が埋め込まれる。
S25でNOの場合、又は、S26の処理終了後、認識処理部51は、変数kが枚数Pに等しいか否かを判定する(S27)。
k<Pである場合(S27でNO)、全頁に対するテキスト認識処理がまだ終了していないため、認識処理部51は、変数kを“1”インクリメントして(S28)、処理を図11に示すS13へ戻す。
図12に示すように、k=Pである場合(S27でYES)、全頁に対するテキスト認識処理が終了したため、認識処理部51は、処理を図11に示すS17へ移す。
以上のようなテキスト認識処理のS13の処理を実行する認識処理部51は、本発明における画像受付手段として機能する。また、S14の処理を実行する認識処理部51は、本発明における文字認識手段として機能する。更に、S19、S21及びS23夫々の処理を実行する認識処理部51は、本発明における文字抽出手段として機能する。更にまた、S24の処理を実行する認識処理部51は、本発明における文字生成手段として機能し、S25の処理を実行する認識処理部51は、本発明における文字判定手段として機能する。
また、認識処理部51がS26の処理を実行し、描画コマンド生成部52が描画コマンド補正処理を実行することによって、フォーマット化処理部31は、本発明における文字埋込手段として機能する。
ところで、図8〜図10には、横書きの文書画像を例示してあるが、縦書きの文書画像であっても、同様の手順で処理すれば良い。
また、図8〜図10には、ヘッダ及びフッタが存在しない文書画像を例示してある。このため、以下に、ヘッダ及び/又はフッタが存在する文書画像について説明する。
図13は、ヘッダ及びフッタを有する文書画像D31,D32を例示する模式図であり、図13(a)は第1頁の文書画像D31を示し、図13(b)は第2頁の文書画像D32を示している。文書画像D31,D32の本文は、図9に示す文書画像D21,D22と同じものである。文書画像D31,D32夫々には、「お得意様セール」という文字画像がヘッダとして含まれている。また、文書画像D31,D32夫々には、頁番号の文字画像(「1」,「2」)がフッタとして含まれている。
図13(a)に示す文書画像D31の画像データに対してS14の文字認識処理を施した場合、最終行の1行前の行(以下、第c行という)の文字認識結果として「揃え、携帯電話サマ」という9文字が得られ、最終行の文字認識結果として「1」という1文字が得られる。同様に、図13(b)に示す文書画像D22の画像データに対してS14の文字認識処理を施した場合、第1行の文字認識結果として「お得意様セール」という7文字が得られ、第2行の文字認識結果として「ーキャンペーンを、」という9文字が得られる。
「お得意様セール」という1行分の文字列は、「お得意様」という4個の文字と、「セール」という3個の文字とに分解される。
S19の処理を実行することによって、認識処理部51は、第1頁の末尾部分の下から2行夫々の末尾文字と、第2頁の先頭部分の上から2行夫々の先頭文字とを夫々抽出する。具体的には、認識処理部51は、第1頁の最終行の末尾文字として「1」を抽出し、第c行の末尾文字として「サマ」を抽出する。また、S21の処理を実行することによって、認識処理部51は、第2頁の第1行の先頭文字として「お得意様」を抽出し、第2頁の第2行の先頭文字として「ー」を抽出する。
更に、認識処理部51がS24の処理を実行することによって、各2行分の末尾文字と先頭文字とを組み合わせてなる4種類の新たな文字列が生成される。
図14は、図13に示す文書画像D31,D32に係る末尾文字と先頭文字との合成結果を示す説明図である。
認識処理部51は、合成結果1として、新たな文字列「1お得意様」を生成し、合成結果2として、新たな文字列「1ー」を生成する。また、認識処理部51は、合成結果3として、新たな文字列「サマお得意様」を生成し、合成結果4として、新たな文字列「サマー」を生成する。
S25の処理を実行することによって、認識処理部51は、合成結果4が意味を成す文字列である、と判定し、合成結果1〜3夫々は意味を成さない文字列である、と判定する。
合成結果4が意味を成す文字列であるため、認識処理部51は、S26の処理を実行する。この結果、描画コマンド生成部52にて、文書画像D31,D32に係る描画コマンドが補正される。
描画コマンド生成部52は、第1頁及び第2頁の透明テキストに、文字の追加を最小限にして、新たな文字列「サマー」が含まれるように、第1頁及び第2頁夫々に係る描画コマンドを補正する。
従って、第1頁に係る補正された描画コマンドは、末尾文字「サマ」の透明テキストの後方側に連続して、先頭文字「ー」の透明テキストが第1頁の画像データに埋め込まれるようにするためのものである。
また、第2頁に係る補正された描画コマンドは、先頭文字「ー」の透明テキストの前方側に連続して、末尾文字「サマ」の透明テキストが第2頁の画像データに埋め込まれるようにするためのものである。
本実施の形態では、認識処理部51が各2行分の末尾文字及び先頭文字を抽出する構成を例示したが、各3行分以上の末尾文字及び先頭文字を抽出する構成であってもよい。ヘッダ及びフッタ夫々が5行を越えることは滅多にないため、最大でも各5行分の末尾文字及び先頭文字を抽出することによって、ヘッダ及びフッタに邪魔されることなく、第k−1頁の最終行の末尾文字及び第k頁の第1行の先頭文字を抽出することができる。
仮に、認識処理部51が各6行以上の末尾文字及び先頭文字を抽出する構成である場合、末尾文字と先頭文字とを合成してなる新たな文字列の種類数が無駄に増大する虞がある。
なお、画像形成装置1は、ユーザが操作パネル17を用いてヘッダ及び/又はフッタの有無を指示する構成であってもよい。この場合、認識処理部51は、フッタ(又はヘッダ)が存在すると指示されたときに、末尾部分の複数行夫々の末尾文字(又は先頭部分の複数行夫々の先頭文字)を夫々抽出する。一方、フッタ(又はヘッダ)が存在しないと指示されたとき、認識処理部51は、末尾部分の最終行の末尾文字(又は先頭部分の第1行の先頭文字)を抽出する。
ヘッダ及び/又はフッタの有無が指示されない画像形成装置1の場合、認識処理部51は、複数行分の文字を抽出する手順、及び、1行分の文字を抽出する手順のいずれかの一方を常に実行する構成であればよい。
以上のような画像形成装置1は、意味を成す文字列が、頁の境界の前後に分割配置されているときに、一の頁の文書の末尾文字の透明テキストと一の頁の次の頁の文書に含まれる文字列の透明テキストとを、この順に連続させて、一の頁及び次の頁夫々の文書の画像データに埋め込む。
この結果、画像データが示す文書画像においては、透明テキストに対するキーワード検索の際に、検索漏れが生じることを抑制することができる。
透明テキストは、表示画面には表示されず、また、記録シートには記録されない。従って、一の頁の文書画像に次の頁の先頭文字の文字画像が無用に含まれて見えたり、次の頁の文書画像に一の頁の末尾文字の文字画像が無用に含まれて見えたりすることはない。
なお、画像形成装置1は、画像入力装置11で原稿を読み取る構成に限定されるものはない。例えば、画像形成装置1は、RGBのアナログ信号(又はデジタル信号)からなる画像データを画像形成装置1の外部から受信し、受信した画像データに対して、A/D変換部20(又はシェーディング補正部21)以降で実行される処理を施してもよい。また、画像形成装置1は、画像データと透明テキストとのセットが画像形成装置1の外部から与えられる構成でもよい。この場合、認識処理部51で文字認識を実行する必要がない。
実施の形態 2.
図15は、本発明の実施の形態2に係る画像処理装置2を含む画像形成装置1がscan to e-mail機能を実現する場合の機能構成を示すブロック図である。図15に示すブロック図は、実施の形態1の図2に示すブロック図に対応する。
本実施の形態の画像形成装置1は、実施の形態1の画像形成装置1と略同様の構成である。以下では、実施の形態1との差異について説明し、その他、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
図2に示すように、実施の形態1の領域分離部30は、原稿補正部24の後段に設けられている。
一方、図15に示すように、本実施の形態の領域分離部30は、入力処理部22の後段、且つ原稿検知部4の前段に設けられている。
このため、入力処理部22は、画像処理後の画像データを、記憶部12に記憶させると共に、領域分離部30へ出力する。また、原稿補正部24が、領域分離部30へ画像データを出力することはない。
領域分離部30は、領域識別信号を、空間フィルタ処理部27、出力階調補正部28、及び文字認識部5夫々へ出力する。
文字認識部5では、領域分離部30から入力された領域識別信号に基づいて、テキストマップが生成される。テキストマップとは、文字領域の内、文字エッジの領域を示すものであり、認識処理部51は、生成されたテキストマップを参照して、図6に示すような一の文字Hを形成する文字領域を判別する。
以上のような画像形成装置1は、実施の形態1の画像形成装置1と同様の効果を奏する。更に、文字認識部5で、画像データに基づいて文字領域と文字領域以外の領域とを区別する必要がないため、文字認識部5における演算負荷が軽減される。
実施の形態 3.
図16は、本発明の実施の形態3に係る画像処理装置2を含む画像形成装置1がscan to e-mail機能を実現する場合の機能構成を示すブロック図である。図16に示すブロック図は、実施の形態1の図2に示すブロック図に対応する。
本実施の形態の画像形成装置1は、実施の形態1の画像形成装置1と略同様の構成である。以下では、実施の形態1との差異について説明し、その他、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
図16に示すように、本実施の形態の画像処理装置2においては、入力処理部22と原稿検知部4との間に、原稿種別自動判別部32が設けられている。
このため、入力処理部22は、画像処理後の画像データを、記憶部12に記憶させると共に、原稿種別自動判別部32へ出力する。
原稿種別自動判別部32では、入力処理部22から入力された画像データが、文書の画像データであるか否かを判別する。ここで、文書の画像データとは、画像入力装置11が、文字原稿、文字印刷写真原稿、又は文字印画紙写真原稿等を読み取って生成した画像データである。
原稿種別自動判別部32は、判別結果を原稿検知部4及び文字認識部5へ出力し、文字認識部5は、入力された判定結果をフォーマット化処理部31へ出力する。
原稿種別自動判別部32から入力された判別結果が、文書の画像データであることを示している場合、原稿検知部4、文字認識部5、及びフォーマット化処理部31は、実施の形態1の原稿検知部4、文字認識部5、及びフォーマット化処理部31と同様に作動する。
原稿種別自動判別部32から入力された判別結果が、文書の画像データ以外の画像データであることを示している場合、原稿検知部4は、傾き検知処理及び天地判定処理だけを実行して、レイアウト解析処理を実行しない。また、文字認識部5の認識処理部51は、実施の形態1の図11及び図12に示すテキスト認識処理を実行しない。従って、描画コマンド生成部52からフォーマット化処理部31へ描画コマンドが出力されることはない。更に、フォーマット化処理部31は、出力階調補正部28から入力された画像データをPDF形式の画像データに変換して、送受信装置14へ出力する。つまり、PDF形式の画像データに透明テキストが埋め込まれることはない。
以上のような画像形成装置1は、画像処理装置2に入力された画像データが、文書の画像データである場合には、実施の形態1の画像形成装置1と同様の効果を奏する。更に、画像処理装置2に入力された画像データが、文書の画像データではない場合には、認識処理部51におけるテキスト認識処理及び描画コマンド生成部52における描画コマンド生成処理等の無用な処理が実行されないため、画像処理装置2における演算負荷が軽減される。
実施の形態 4.
実施の形態1〜3では、画像処理装置が画像形成装置の一部をなす形態を例示したが、本実施の形態においては、画像処理装置がスキャナ装置の一部をなす形態を例示する。ただし、実施の形態1に対応する部分には同一符号を付してそれらの説明を省略する。
図17は、本発明の実施の形態4に係る画像処理装置6を含むスキャナ装置の内部の機能構成を示すブロック図である。図17に示すブロック図は、実施の形態1の図2に示すブロック図に対応する。
スキャナ装置は、画像処理装置6と、制御部10、画像入力装置11、記憶部12、及び操作パネル17を備えている。画像処理装置6の出力側には、図示しない通信ケーブル又は通信ネットワークを介してPC又はデジタル複合機等の図示しないホスト装置が接続されている。
画像処理装置6は、A/D変換部20、シェーディング補正部21、入力処理部22、原稿検知部4、文字認識部5、原稿補正部61、色補正部62、及びフォーマット化処理部63を備える。
原稿補正部61の動作は、実施の形態1においてscan to e-mail機能を実現する場合の原稿補正部24の動作と略同様である。ただし、原稿補正部24は、方向補正処理を施した後の画像データを、色補正部62へ出力し、更に、記憶部12に記憶させる。
色補正部62は、実施の形態1においてscan to e-mail機能を実現する場合の色補正部25と略同様にして、原稿補正部61から入力された画像データを、R’G’B’信号からなる画像データに変換する。次いで、色補正部62は、R’G’B’信号に変換後の画像データを、フォーマット化処理部63へ出力する。
フォーマット化処理部63の動作は、実施の形態1においてscan to e-mail機能を実現する場合のフォーマット化処理部31の動作と略同様である。ただし、フォーマット化処理部63は、色補正部62から入力された画像データをPDF形式の画像データに変換する。更に、フォーマット化処理部63は、生成した電子文書を前記ホスト装置へ送信する。
前記ホスト装置は、スキャナ装置から受信した電子文書の記憶、電子文書の外部への送信、又は電子文書に含まれる画像データに基づいた画像形成等の処理を実行する。
以上のようなスキャナ装置は、実施の形態1の画像形成装置1と同様の効果を奏する。
実施の形態 5.
本実施の形態では、汎用のコンピュータを用いて本発明の実施の形態に係る画像処理装置を実現した形態を例示する。
図18は、本発明の実施の形態5に係る画像処理装置7の機能構成を示すブロック図である。
本実施の形態に係る画像処理装置7は、汎用コンピュータ(例えばPC)を用いてなる。
画像処理装置7は、各種演算を行なうCPU71と、演算に伴って発生する一時的な情報を記憶するRAM72と、本発明の実施の形態に係る記録媒体80から情報を読み取るドライブ部73と、記憶部74とを備えている。記録媒体80は、例えば光ディスクであり、記録媒体80には、発明の実施の形態に係るコンピュータプログラム81が記憶されている。ドライブ部73は、例えばCD−ROMドライブである。
記憶部74は、例えばハードディスクを用いてなる。記憶部74の記憶領域の一部には、実施の形態1の辞書記憶部53に記憶されている字形辞書データ及び単語辞書データと同様の字形辞書データ及び単語辞書データが予め記憶されている。このような記憶部74は、本発明における文字記憶手段として機能する。
CPU71は、ドライブ部73を用いて、記録媒体80からコンピュータプログラム81を読み取り、読み取ったコンピュータプログラム81を記憶部74に記憶させる。
また、画像処理装置7は、操作部75と表示部76とを備えている。
操作部75は、ユーザが画像処理装置7を操作するためのキーボード又はポインティングデバイス等である。操作部75を用いてユーザが入力した指示又は数値等は、CPU71に与えられる。
表示部76は、例えば液晶ディスプレイを用いてなり、CPU71に制御されて、各種の情報を表示する。
更に、画像処理装置7は、図示しない通信ネットワークに接続可能な通信部77と、画像処理装置7の外部の画像読取装置82に接続されたインタフェース(I/F)78とを備えている。
CPU71は、ファクシミリ又は電子メール等の通信方法によって、通信部77を介し、画像処理装置7の外部へデータを送信する。
CPU71は、I/F78を介して、後述する画像読取装置82から送信された画像データを受信する。このようなCPU71は、本発明における画像受付手段として機能する。
画像読取装置82は、スキャナ装置又はデジタル複合機等であり、原稿となる原稿を光学的に読み取って、RGB信号からなる画像データを生成し、生成した原稿の画像データと、読み取った原稿の枚数を示す枚数情報とを画像処理装置7へ送信する。
CPU71は、コンピュータプログラム81をRAM72にロードし、ロードしたコンピュータプログラム81に従って、本発明の実施の形態に係る画像処理方法を実現する。
図19及び図20は、本発明の実施の形態5に係る画像処理装置7で実行される電子文書生成処理の手順を示すフローチャートである。このような電子文書生成処理は、I/F78を介して画像データを受信した場合に自動的に実行される。なお、CPU71は、後述するS31の処理を実行する前に、傾き検知処理及び天地判定処理等を実行し、実行結果に基づいて画像データを補正する構成でもよい。
図19に示すように、CPU71は、実施の形態1の信号変換部41と同様にして、RGB信号からなる画像データを、輝度信号からなる画像データに変換する(S31)。次に、CPU71は、実施の形態1の2値化処理部42と同様にして、画像データを2値化する(S32)。また、CPU71は、実施の形態1の解像度変換部43と同様にして、画像データの解像度を第1の解像度及び第2の解像度夫々に低解像度化してなる画像データを生成する(S33)。更に、CPU71は、実施の形態1のレイアウト解析部45と同様にして、第2の解像度を有する画像データに基づき、文書画像のレイアウトを解析する(S34)。
S34の処理完了後、CPU71は、変数kを“1”にリセットする(S35)。
次に、CPU71は、第1の解像度を有する第k頁の画像データに基づいて、公知の文字認識処理を実行する(S36)。S36は、図11に示すS14に対応する。
S36における文字認識処理の終了後、CPU71は、S36における文字認識結果に基づいて、第k頁の描画情報を生成する(S37)。S37で生成される描画情報は、第k頁の本文の透明テキストを第k頁の画像データに埋め込むためのものであり、実施の形態1の描画コマンド生成部52が生成する描画コマンドに対応する。
S37の処理終了後、CPU71は、枚数情報が示す枚数Pが1枚であるか否かを判定する(S38)。
P=1である場合(S38でYES)、CPU71は、実施の形態1のフォーマット化処理部31と同様にして、画像データをPDF形式の画像データに変換する(S39)。PDF形式の画像データに変換すべき画像データは、S32で低解像度化されていない画像データである。この画像データに対して、CPU71は、予め前処理を施してもよい。この前処理とは、例えば、実施の形態1の色補正部25、空間フィルタ処理部27、及び出力階調補正部28夫々で実行される画像処理と同様の画像処理である。
最後に、CPU71は、実施の形態1のフォーマット化処理部31と同様にして、S38で生成した描画情報(又は、後述するS56で補正された描画情報)に基づき、PDF形式に変換した画像データに対して、透明テキストを埋め込む(S40)。この結果、PDF形式の電子文書が生成される。
CPU71は、生成された電子文書を記憶部74に記憶させるか、又は、実施の形態1の送受信装置14と同様にして、生成された電子文書をe-mailに添付した上で、通信部77を介して画像処理装置7の外部へ送信する。
S40の処理終了後、CPU71は、電子文書生成処理を終了する。
P>1である場合(S38でNO)、CPU71は、変数kが“1”であるか否かを判定する(S41)。
k=1である場合(S41でYES)、S36を実行したことによって、第1頁の画像データに対する文字認識処理が終了したため、CPU71は、第1頁に係る文字認識結果に基づき、実施の形態1の認識処理部51と同様にして、末尾文字を抽出する(S42)。
S42の処理完了後、CPU71は、変数kに“2”をセットして(S43)、処理をS36へ戻す。
k>1である場合(S41でNO)、S36を実行したことによって、第1頁以外の第k頁の画像データに対する文字認識処理が終了したため、図20に示すように、CPU71は、第k頁に係る文字認識結果に基づき、実施の形態1の認識処理部51と同様にして、先頭文字を抽出する(S51)。
更に、CPU71は、変数kが枚数Pに等しいか否かを判定する(S52)。
k<Pである場合(S52でNO)、S36を実行したことによって、第P頁以外の第k頁の画像データに対する文字認識処理が終了したため、CPU71は、第k頁に係る文字認識結果に基づいて、末尾文字を抽出し(S53)、次いで、後述するS54へ処理を移す。
k=Pである場合(S52でYES)、S36を実行したことによって、第P頁の画像データに対する文字認識処理が終了したため、CPU71は、S53の処理を実行することなく、S54へ処理を移す。
次いで、CPU71は、実施の形態1の認識処理部51と同様にして、第k−1頁の末尾文字と、第k頁の先頭文字とをこの順に合成する(S54)。S54の処理が実行されることによって、新たな文字列が生成される。
更に、CPU71は、実施の形態1の認識処理部51と同様にして、S54で生成した文字列が、意味を成す文字列であるか否かを判定する(S55)。このために、CPU71は、記憶部74に記憶されている単語辞書データを参照し、単語辞書データが示す文字列と、S54で生成した文字列とを比較して、これらが一致するか否かを判定する。
S54で生成した文字列が、意味を成す文字列である場合(S55でYES)、CPU71は、実施の形態1の描画コマンド生成部52による描画コマンドの補正と同様にして、第k−1頁及び第k頁夫々に係る描画情報を補正し(S56)、処理を後述するS57へ移す。
S54で生成した文字列が、意味を成す文字列ではない場合(S55でNO)、CPU71は、S56の処理を実行せずに、後述するS57へ処理を移す。
S55でNOの場合、又は、S56の処理終了後、CPU71は、変数kが枚数Pに等しいか否かを判定する(S57)。
k<Pである場合(S57でNO)、全頁に対するテキスト認識処理がまだ終了していないため、CPU71は、変数kを“1”インクリメントして(S58)、処理をS36へ戻す。
k=Pである場合(S57でYES)、全頁に対するテキスト認識処理が終了したため、CPU71は、処理をS39へ移す。
以上のようなテキスト認識処理のS36の処理を実行するCPU71は、本発明における文字認識手段として機能する。また、S42、S51及びS53夫々の処理を実行するCPU71は、本発明における文字抽出手段として機能する。更にまた、S54の処理を実行するCPU71は、本発明における文字生成手段として機能し、S55の処理を実行するCPU71は、本発明における文字判定手段として機能する。また、S56の処理を実行するCPU71は、本発明における文字埋込手段として機能する。
以上のような画像処理装置7は、実施の形態1の画像形成装置1と同様の効果を奏する。
本実施の形態においては、図19及び図20に示す電子文書生成処理が、I/F78を介して画像データを受信した場合に自動的に実行される場合を例示したが、これに限定されるものではない。例えば、I/F78を介して画像データを受信した場合には、受信した画像データが記憶部74に一旦記憶され、ユーザが操作部75を用いて電子文書生成命令を入力したときに、電子文書生成処理が実行される構成でもよい。或いは、ユーザが操作部75を用いて生成した画像データ、又は通信部77を介して受信した画像データ等に対して、電子文書生成処理が実行されてもよい。
なお、本発明のコンピュータプログラムを記録してある本発明の記録媒体は、磁気テープ、磁気ディスク、可搬型のハードディスク、CD−ROM/MO/MD/DVD等の光ディスク、又はICカード(メモリカードを含む)/光カード等のカード型記録媒体のいずれの形態であってもよい。また、本発明の記録媒体は、画像処理装置7に内蔵され、記録媒体の記録内容をCPU71が読み出すことが可能な半導体メモリ、即ちマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等であってもよい。
更に、本発明のコンピュータプログラムは、画像処理装置7の外部の図示しないサーバ装置から通信ネットワークを介して画像処理装置7へダウンロードされて、記憶部74に記憶される形態であってもよい。この形態の場合、コンピュータプログラムをダウンロードするために必要なプログラムは、予め記憶部74に記憶されてあるか、又は所定の記録媒体からドライブ部73を用いて読み出されて記憶部74に記憶され、必要に応じてRAM72にロードされる。
ところで、今回開示された実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲と均等の意味及び特許請求の範囲内での全ての変更が含まれることが意図される。
また、本発明の効果がある限りにおいて、実施の形態1〜3で開示した画像形成装置1、実施の形態4で開示したスキャナ装置、又は実施の形態5で開示した画像処理装置7に、実施の形態1〜5に開示されていない構成要素が含まれていてもよい。
1 画像形成装置
11 画像入力装置(画像読取装置)
13 画像出力装置(画像形成手段)
2 画像処理装置
31 フォーマット化処理部(文字埋込手段)
51 認識処理部(画像受付手段、文字抽出手段、文字生成手段、文字判定手段、文字認識手段)
53 辞書記憶部(文字記憶手段)
7 画像処理装置
71 CPU(画像受付手段、文字抽出手段、文字生成手段、文字判定手段、文字認識手段、文字埋込手段)
74 記憶部(文字記憶手段)
80 記録媒体
81 コンピュータプログラム
82 画像読取装置

Claims (8)

  1. 文書に含まれる文字を抽出する文字抽出手段、及び、文字列データを画像データに埋め込む文字埋込手段を備える画像処理装置にて、複数頁の文書夫々に含まれる文字列を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込む画像処理方法であって、
    前記文字抽出手段は、最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出し、
    前記文字埋込手段は、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込むか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込むことを特徴とする画像処理方法。
  2. 複数頁の文書夫々に含まれる文字列を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込む画像処理装置において、
    最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出する文字抽出手段と、
    前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出手段が抽出した先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込むか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出手段が抽出した末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込む文字埋込手段と
    を備えることを特徴とする画像処理装置。
  3. 意味を成す文字列を予め記憶してある文字記憶手段と、
    前記文字抽出手段が抽出した末尾文字及び先頭文字をこの順に合成することによって、新たな文字列を生成する文字生成手段と、
    該文字生成手段が生成した文字列を、前記文字記憶手段に記憶してある文字列と比較することによって、前記文字列が意味を成す文字列であるか否かを判定する文字判定手段と
    を更に備え、
    前記文字埋込手段は、前記文字判定手段が意味を成す文字列であると判定した場合に、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出手段が抽出した先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込み、且つ、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出手段が抽出した末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込むようにしてあることを特徴とする請求項2に記載の画像処理装置。
  4. 前記文字抽出手段は、前記末尾部分の複数行夫々の行末に位置する1又は複数個の末尾文字、及び、前記先頭部分の複数行夫々の行頭に位置する1又は複数個の先頭文字を夫々抽出するようにしてあり、
    前記文字生成手段は、前記文字抽出手段が抽出した各複数行分の末尾文字及び先頭文字の組み合わせをこの順に合成することによって、新たな文字列を生成するようにしてあり、
    前記文字埋込手段は、前記文字判定手段が意味を成す文字列であると判定した場合に、前記文字生成手段が生成した文字列の内、前記文字判定手段が意味を成す文字列であると判定した文字列が、前記一の頁の文書の画像データに埋め込まれる前記文字列データの末尾部分及び前記次の頁の文書の画像データに埋め込まれる前記文字列データの先頭部分夫々に含まれるようにして、前記一の頁の文書の画像データ及び前記次の頁の文書の画像データ夫々に前記文字列データを埋め込むようにしてあることを特徴とする請求項3に記載の画像処理装置。
  5. 画像読取装置が読み取った文書の画像データを受け付ける画像受付手段と、
    該画像受付手段が受け付けた画像データに基づいて、文書に含まれる文字を認識する文字認識手段と
    を更に備え、
    前記文字認識手段が認識した文字を、前記文字列データとして前記画像受付手段が受け付けた画像データに埋め込むようにしてあることを特徴とする請求項2から4の何れかひとつに記載の画像処理装置。
  6. 請求項2から5のいずれかひとつに記載の画像処理装置と、
    記録シート上に画像を形成する画像形成手段と
    を備えることを特徴とする画像形成装置。
  7. コンピュータに、複数頁の文書夫々に含まれる文字を、不可視の色が指定された検索可能な文字列データとして前記文書の画像データに埋め込ませるためのコンピュータプログラムであって、
    コンピュータに、最終頁以外の一の頁の文書の末尾部分の行末に位置する1又は複数個の末尾文字、及び、前記一の頁の文書の次の頁の文書の先頭部分の行頭に位置する1又は複数個の先頭文字を夫々抽出させる文字抽出ステップと、
    コンピュータに、前記一の頁の文書の画像データに埋め込まれる前記末尾文字の前記文字列データの後方側に連続して、前記文字抽出ステップで抽出された先頭文字を、前記文字列データとして前記一の頁の文書の画像データに埋め込ませるか、又は、前記次の頁の文書の画像データに埋め込まれる前記先頭文字の前記文字列データの前方側に連続して、前記文字抽出ステップで抽出された末尾文字を、前記文字列データとして前記次の頁の文書の画像データに埋め込ませる文字埋込ステップと
    を実行させることを特徴とするコンピュータプログラム。
  8. 請求項7に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
JP2009080442A 2009-03-27 2009-03-27 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 Active JP5197464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009080442A JP5197464B2 (ja) 2009-03-27 2009-03-27 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009080442A JP5197464B2 (ja) 2009-03-27 2009-03-27 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2010231654A JP2010231654A (ja) 2010-10-14
JP5197464B2 true JP5197464B2 (ja) 2013-05-15

Family

ID=43047379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009080442A Active JP5197464B2 (ja) 2009-03-27 2009-03-27 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体

Country Status (1)

Country Link
JP (1) JP5197464B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6938318B2 (ja) * 2017-10-03 2021-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7226023B2 (ja) * 2019-03-29 2023-02-21 ブラザー工業株式会社 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280514A (ja) * 2003-03-17 2004-10-07 Toppan Forms Co Ltd Pdfファイル及びpdfファイル作成システム
JP2006331308A (ja) * 2005-05-30 2006-12-07 Canon Inc 画像処理装置及びその制御方法、プログラム
JP4402138B2 (ja) * 2007-06-29 2010-01-20 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム

Also Published As

Publication number Publication date
JP2010231654A (ja) 2010-10-14

Similar Documents

Publication Publication Date Title
JP5280425B2 (ja) 画像処理装置、画像読取装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体
JP4772888B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体
US8363963B2 (en) Apparatus, method and computer readable medium that associates a plurality of possible word recognition results with an image
JP7387339B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US20100141991A1 (en) Image processing apparatus, image forming apparatus, and image processing method
JP5972578B2 (ja) 画像処理装置、画像形成装置、プログラム、記録媒体
JPH08289094A (ja) 文書イメージスキャン方法及びその装置
JP4362538B2 (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
US11341733B2 (en) Method and system for training and using a neural network for image-processing
JP2011008549A (ja) 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体
US8300944B2 (en) Image processing method, image processing apparatus, image reading apparatus, image forming apparatus, image processing system, and storage medium
US8184912B2 (en) Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP2012118863A (ja) 画像読取装置、画像形成装置、画像読取方法、プログラムおよびその記録媒体
US7986838B2 (en) Image processing apparatus and image processing method
JP2009015819A (ja) 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP6607490B2 (ja) 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体
JP5197464B2 (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体
JP3899872B2 (ja) 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
US20220166896A1 (en) Image reading device and image reading method
JP2010287178A (ja) 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体
JP4396710B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
US20080043269A1 (en) Method and apparatus for processing image containing picture and characters
JP2010273119A (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
US11134171B1 (en) Image reading apparatus, image forming apparatus, and image reading method that perform image processing for each area
JP2010286917A (ja) 画像処理装置、画像読取装置、複合機、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5197464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150