JP5672953B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、文字認識により生成された電子文書の利用性の向上に関する。

近年、情報の電子化が推進される傾向にあり、電子化された情報の出力に用いられるプリンタやファクシミリ及び書類の電子化に用いるスキャナ等の画像処理装置は欠かせない機器となっている。このような画像処理装置は、撮像機能、画像形成機能及び通信機能等を備えることにより、プリンタ、ファクシミリ、スキャナ、複写機として利用可能なＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ：複合機）として構成されることが多い。

このような画像処理装置のうち、書類の電子化に用いるスキャナにおいては、読み取りによって生成された画像に含まれる文字を、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）により認識して文字情報を生成することにより、画像として電子化された文書内の情報の検索を可能とすることや、コピー＆ペーストや修正等の編集を可能とすることが行われている。

このような電子文書は、書類の読み取りにより生成された画像情報と、上記ＯＣＲ処理により生成された文字情報とで構成される。そして、ＯＣＲ処理により生成された文字情報は、画像上において文字が認識された座標に対応する位置に配置される。更に、画像上に配置される文字情報は、ユーザによって直接視認されないよう、透明のレイヤとして付加される。

このような態様により生成された電子文書を、対応するビューア等で開いて文字列の検索を行うと、ユーザの視覚上、あたかも画像に含まれる文字が検索によって抽出されたように表示される。また、画像上の文字列を選択するようにユーザがマウス操作等を行うと、透明のレイヤとして付加された文字情報が選択されることにより、ユーザの視覚上は、画像に含まれる文字が選択されたように表示され、文字情報のコピー等が可能となる。

しかしながら、ＯＣＲにおいて１００％の認識率を達成することは困難であるため、上記電子文書において、画像には含まれている文字列が文字情報として認識されておらず、検索によって抽出されない場合があり得る。また、文字が誤認識された結果、選択によりコピーした文字列が、画像として表示されている文字列とは異なる場合があり得る。

このような課題は、日本語のように文字種類が多く、カタカナの“ロ”と漢字の“口”や、カタカナの“エ”と漢字の“工”等、似た形状の文字が多く存在する言語において特に顕著である。

また、ＯＣＲによる文字認識の精度は、書類上のフォント種類やフォントサイズ等の文字種類及び日本語や英語等の言語種類と、ＯＣＲアルゴリズムとの相性に左右される。例えば、ある方式のＯＣＲアルゴリズムでは、アルファベットの認識精度が高いが、仮名や漢字の認識精度が低く、ある方式のＯＣＲアルゴリズムでは、仮名や漢字の認識精度が高く、アルファベットの認識精度が低いということがあり得る。

従って、文字種類や言語種類に応じてＯＣＲアルゴリズムを選択することにより、認識精度を向上することが好ましいが、複数の言語種類や文字種類によって作成された書類の場合、ページごとや単語ごとにＯＣＲアルゴリズムを選択することは困難であった。

このようなＯＣＲによる文字認識の精度を向上するため、複数のＯＣＲアルゴリズムによりＯＣＲ処理を行い、複数のＯＣＲ認識結果のうちから最も確からしいものを１つ選択して認識結果とする方法が提案されている（例えば、特許文献１参照）。特許文献１に開示された技術においては、複数のＯＣＲ認識結果による多数決や言語処理による文字の補完により、複数のＯＣＲ認識結果のうちから最も確からしいものを１つ選択する。

特許文献１に開示された発明においては、複数のＯＣＲ認識結果から１つの結果を選択する際、書類の読み取りの都度、ユーザが手動で選択を行うのは現実的ではないため、上述したような多数決や言語処理により自動選択が採用されるが、正しい認識結果を選択することについて困難性がある。そのため、間違った認識結果が選択されてしまうこともあり、その場合、依然として課題は解決されない。

また、複数の認識結果のうちから正しい認識結果を選択する際の精度を向上するためには高度な処理を実行する必要があるため、処理負荷が高く、処理時間が増大する。また、上述したように似た形状の文字が多く存在する言語において、文字の形状に基づいて文字を判別することが困難であるという課題も解決することができない。

本発明は、このような課題を解決するためになされたものであり、画像に含まれる文字を認識して生成した文字情報を元の画像に重畳することにより、電子文書に検索可能性や編集可能性を持たせる場合において、検索性や編集性の向上を図ることを目的とする。

上記課題を解決するために、本発明の一態様は、画像として表示されている文字を認識して文字情報を生成する画像処理装置であって、文字が表示された画像を取得する画像取得部と、複数の異なる文字認識方式により前記取得された画像に表示されている文字を認識して文字情報を生成することにより、複数の文字認識結果を生成する文字認識部と、前記複数の文字認識結が不一致である場合に、果夫々の差異に基づき、前記複数の文字認識結果の優先順位を決定する優先順位決定部と、前記複数の文字認識結果として生成された文字列を、前記決定された優先順位に従って前記取得された画像上に透明なレイヤとして重畳する画像重畳部とを含み、前記画像重畳部は、前記複数の文字認識結果夫々における前記文字列の認識位置が不一致である場合に、前記決定された優先順位に従って前記文字列を透明なレイヤとして重畳する位置を決定することを特徴とする。

本発明によれば、画像に含まれる文字を認識して生成した文字情報を元の画像に重畳することにより、電子文書に検索可能性や編集可能性を持たせる場合において、検索性や編集性の向上を図ることができる。

本発明の実施形態に係る画像形成装置のハードウェア構成を模式的に示すブロック図である。 本発明の実施形態に係る画像形成装置の機能構成を示すブロック図である。 本発明の実施形態に係る画像処理部の機能構成を示すブロック図である。 本発明の実施形態に係る画像処理部の動作を示すフローチャートである。 本発明の実施形態に係るＯＣＲパラメータの入力画面を示す図である。 本発明の実施形態に係る画像処理部の動作を示すフローチャートである。 本発明の実施形態に係る優先度の調整態様を示す図である。 本発明の実施形態に係る文字列の重畳位置を示す図である。 本発明の実施形態に係る文字列の透明レイヤの重畳態様を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、スキャンにより読み取った書類の画像に含まれる文字を認識して文字情報を生成し、文字情報を透明のレイヤとして画像に重畳して電子文書を生成する画像処理装置を例として説明する。本実施形態に係る画像処理装置は、複数の文字認識方法により文字認識を実行して複数の文字認識結果を生成し、文字認識結果の内容に基づいて夫々の文字認識結果の優先順位を決定し、決定した優先順位の順に全ての文字認識結果を重畳する機能を特徴的な機能として含む。

図１は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。本実施形態に係る画像処理装置１は、撮像機能、画像形成機能及び通信機能等を備えることにより、プリンタ、ファクシミリ、スキャナ、複写機として利用可能な複合機である。尚、画像処理装置１は、図１に示すハードウェア構成に加えて、スキャナ、プリンタ等を実現するためのエンジンを備える。

図１に示すように、本実施形態に係る画像処理装置１は、一般的なサーバやＰＣ等と同様の構成を含む。即ち、本実施形態に係る画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。

ＣＰＵ１０は演算手段であり、画像処理装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。

Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが画像処理装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが画像処理装置１に情報を入力するためのユーザインタフェースである。

このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、それらのプログラムに従ってＣＰＵ１０が演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像処理装置１の機能を実現する機能ブロックが構成される。

次に、本実施形態に係る画像処理装置１の機能構成について、図２を参照して説明する。図２は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。図２に示すように、本実施形態に係る画像処理装置１は、コントローラ１００、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｎｔ Ｆｅｅｄｅｒ：原稿自動搬送装置）１０１、スキャナユニット１０２、排紙トレイ１０３、ディスプレイパネル１０４、給紙テーブル１０５、プリントエンジン１０６、排紙トレイ１０７及びネットワークＩ／Ｆ１０８を有する。

また、コントローラ１００は、主制御部１１１、エンジン制御部１１２、入出力制御部１１３、画像処理部１１４及び操作表示制御部１１５を含む。図２に示すように、本実施形態に係る画像処理装置１は、スキャナユニット１０２、プリントエンジン１０６を有する複合機として構成されている。尚、図２においては、電気的接続を実線の矢印で示しており、用紙若しくは文書束の流れを破線の矢印で示している。

ディスプレイパネル１０４は、画像処理装置１の状態を視覚的に表示する出力インタフェースであると共に、タッチパネルとしてユーザが画像処理装置１を直接操作し、若しくは画像処理装置１に対して情報を入力する際の入力インタフェース（操作部）でもある。ディスプレイパネル１０４は、図２に示すＬＣＤ６０及び操作部７０によって実現される。

ネットワークＩ／Ｆ１０８は、画像処理装置１がネットワークを介して機器と通信するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＳＢインタフェースが用いられる。ネットワークＩ／Ｆ１０８は、図２に示すＩ／Ｆ５０によって実現される。

コントローラ１００は、ソフトウェアとハードウェアとの組み合わせによって構成される。具体的には、ＲＯＭ３０や不揮発性メモリ並びにＨＤＤ４０や光学ディスク等の不揮発性記憶媒体に格納されたプログラムが、ＲＡＭ２０等の揮発性メモリ（以下、メモリ）にロードされ、それらのプログラムに従ってＣＰＵ１０が演算を行うことにより構成されるソフトウェア制御部と集積回路などのハードウェアとによってコントローラ１００が構成される。コントローラ１００は、画像処理装置１全体を制御する制御部として機能する。

主制御部１１０は、コントローラ１００に含まれる各部を制御する役割を担い、コントローラ１００の各部に命令を与える。エンジン制御部１２０は、プリントエンジン１０６やスキャナユニット１０２等を制御若しくは駆動する駆動手段としての役割を担う。画像処理部１３０は、主制御部１１０の制御に従い、印刷出力すべき画像情報に基づいて描画情報を生成する。この描画情報とは、画像形成部であるプリントエンジン１０６が画像形成動作において形成すべき画像を描画するための情報である。

また、画像処理部１３０は、スキャナユニット１０２から入力される撮像データを処理し、画像データを生成する。この画像データとは、スキャナ動作の結果物として画像処理装置１の記憶領域に格納される情報である。更に、画像処理部１３０は、本実施形態の要旨に係る機能として、上記生成した画像データにおいて画像として含まれる文字を認識し、文字情報を生成するＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｔｃｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）機能を含む。このＯＣＲ機能については後に詳述する。

操作表示制御部１４０は、ディスプレイパネル１０４に情報表示を行い若しくはディスプレイパネル１０４を介して入力された情報を主制御部１１０に通知する。入出力制御部１５０は、ネットワークＩ／Ｆ１０８を介して入力される情報を主制御部１１０に入力する。また、主制御部１１０は、入出力制御部１５０を制御し、ネットワークＩ／Ｆ１０８及びネットワークを介してクライアント端末２にアクセスする。

画像処理装置１がプリンタとして動作する場合は、まず、入出力制御部１５０がネットワークＩ／Ｆ１０８を介して印刷ジョブを受信する。入出力制御部１５０は、受信した印刷ジョブを主制御部１１０に転送する。主制御部１１０は、印刷ジョブを受信すると、画像処理部１３０を制御して印刷ジョブに含まれる文書情報若しくは画像情報に基づいて描画情報を生成させる。

画像処理部１３０は、描画情報を生成すると、生成した描画情報をＨＤＤ４０や図示しない不揮発性メモリ等に記憶させる。エンジン制御部１２０は、上記記憶された描画情報を読み出してプリントエンジン１０６に入力し、給紙テーブル１０５から搬送される用紙に対して画像形成を実行させる。プリントエンジン１０６の具体的態様としては、インクジェット方式による画像形成機構や電子写真方式による画像形成機構等を用いることが可能である。プリントエンジン１０６によって画像形成が施された文書は排紙トレイ１０７に排紙される。

画像処理装置１がスキャナとして動作する場合は、ユーザによるディスプレイパネル１０４の操作若しくはネットワークＩ／Ｆ１０８を介して外部の機器から入力されるスキャン実行指示に応じて、操作表示制御部１１５若しくは入出力制御部１１３が主制御部１１１にスキャン実行信号を転送する。主制御部１１１は、受信したスキャン実行信号に基づき、エンジン制御部１１２を制御する。

エンジン制御部１１２は、ＡＤＦ１０１を駆動し、ＡＤＦ１０１にセットされた撮像対象原稿をスキャナユニット１０２に搬送する。また、エンジン制御部１１２は、スキャナユニット１０２を駆動し、ＡＤＦ１０１から搬送される原稿を撮像する。また、ＡＤＦ１０１に原稿がセットされておらず、スキャナユニット１０２に直接原稿がセットされた場合、スキャナユニット１０２は、エンジン制御部１１２の制御に従い、セットされた原稿を撮像する。即ち、スキャナユニット１０２が撮像部として動作する。

撮像動作においては、スキャナユニット１０２に含まれるＣＣＤ等の撮像素子が原稿を光学的に走査し、光学情報に基づいて生成された撮像情報が生成される。エンジン制御部１１２は、スキャナユニット１０２が生成した撮像情報を画像処理部１１４に転送する。画像処理部１１４は、主制御部１１１の制御に従い、エンジン制御部１１２から受信した撮像情報に基づき画像情報を生成する。画像処理部１１４が生成した画像情報はＨＤＤ４０等の画像処理装置１に装着された記憶媒体に保存される。

画像処理部１１４によって生成された画像情報は、ユーザの指示に応じてそのままＨＤＤ４０等に格納され若しくは入出力制御部１１３及びネットワークＩ／Ｆ１０８を介して文書管理サーバ２等の外部の装置に送信される。また、画像処理装置１が複写機として動作する場合は、エンジン制御部１１２がスキャナユニット１０２から受信した撮像情報若しくは画像処理部１１４が生成した画像情報に基づき、画像処理部１１４が描画情報を生成する。その描画情報に基づいてプリンタ動作の場合と同様に、エンジン制御部１１２がプリントエンジン１０６を駆動する。

このような画像処理装置１において、上述したように画像処理部１１４によるＯＣＲ機能が本実施形態に係る要旨の１つである。以下、本実施形態に係る画像処理部１１４のＯＣＲ機能について説明する。図３は、本実施形態に係る画像処理部１１４の機能のうち、ＯＣＲに関する機能の構成を示すブロック図である。

図３に示すように、本実施形態に係る画像処理部１１４は、情報取得部１４１、ＯＣＲ制御部１４２、第一ＯＣＲ処理部１４３、第二ＯＣＲ処理部１４４、第三ＯＣＲ処理部１４５、第四ＯＣＲ処理部１４６、ＯＣＲ結果順序判定部１４７、文書生成部１４８及び文書出力部１４９を含む。図３に示すように、本実施形態に係る画像処理部１１４は、夫々異なるアルゴリズムに従って文字認識を行う複数のＯＣＲ処理部を含み、夫々のＯＣＲ結果を全て画像に重畳することが特徴の１つである。

情報取得部１４１は、スキャンの実行に応じて画像処理部１１４が生成した画像情報や、ＯＣＲを伴うスキャンの実行に際して、ユーザによってディスプレイパネル１０４を介して入力されたパラメータ等の情報を取得する。ＯＣＲ制御部１４２は、ユーザによってディスプレイパネル１０４を介して入力されたパラメータに基づき、複数のＯＣＤ処理部によるＯＣＲ処理の実行を制御する。

第一ＯＣＲ処理部１４３〜第四ＯＣＲ処理部１４６は、夫々異なったＯＣＲアルゴリズムにより文字認識を実行する。ＯＣＲ結果順序判定部１４７は、第一ＯＣＲ処理部１４３〜第四ＯＣＲ処理部１４６によるＯＣＲ処理の結果に基づき、夫々の文字認識結果の優先順位を判定する。このＯＣＲ結果順序判定部１４７による処理が、本実施形態に係る要旨の１つである。

文書生成部１４８は、ＯＣＲ結果順序判定部１４７による判定結果に基づき、元の画像にＯＣＲによって生成された文字情報の透明レイヤを重畳して電子文書を生成する。文書出力部１４９は、文書生成部１４８によって生成された電子文書を出力する。

次に、本実施形態に係る画像処理装置１において、ＯＣＲを伴うスキャンが実行される場合の動作について、図４のフローチャートを参照して説明する。図４に示すように、ＯＣＲを伴うスキャンが実行される場合、まず、ユーザがディスプレイパネル１０４を介して、ＯＣＲ処理についてのパラメータ等と共にスキャンの実行指示を入力する。これにより、操作表示制御部１１５、主制御部１１１を介して、画像処理部１１４の情報取得部１４１がＯＣＲパラメータ等の操作情報を取得する（Ｓ４０１）。

図５に、ユーザがＯＣＲ処理についてのパラメータを入力するための画面の例を示す。図５に示すように、ＯＣＲパラメータ入力画面において、ユーザは、ＯＣＲの回数を入力、若しくは選択すると共に、実行するＯＣＲ方式を選択し、選択したＯＣＲ方式の優先順位を入力する。これらの情報がディスプレイパネル１０４を介して操作表制御部１１５に入力され、主制御部１１４によって画像処理部１１４に入力される。

情報取得部１４１が操作情報を取得すると、ＯＣＲ制御部１４２は、それらの情報に基づき、ＯＣＲ回数、方式及び優先度を設定する（Ｓ４０２）。そして、スキャンの実行指示に応じてスキャンが実行され、画像処理部１１４に画像情報が入力されると、情報取得部１４１がその画像情報を取得する（Ｓ４０３）。即ち、Ｓ４０３において、情報取得部１４１が画像取得部として機能する。情報取得部１４１が画像情報を取得すると、ＯＣＲ制御部１４２は、選択されたＯＣＲ方式に対応するＯＣＲ処理部に対してＯＣＲパラメータを設定する（Ｓ４０４）と共に、そのＯＣＲ方式に応じてＯＣＲ対象の画像を加工して（Ｓ４０５）入力し、ＯＣＲ処理を実行させる（Ｓ４０６）。ここでは、ＯＣＲ制御部１４２及び第一ＯＣＲ処理部１４３〜第四ＯＣＲ処理部１４６が、文字認識部として機能する。

ＯＣＲ制御部１４２は、設定されたＯＣＲ回数分Ｓ４０４〜Ｓ４０６の処理を繰り返し（Ｓ４０７／ＮＯ）、設定されたＯＣＲ回数分、即ち、指定された全てのＯＣＲ方式についてＯＣＲ処理が完了すると（Ｓ４０７／ＹＥＳ）、ＯＣＲ結果順序判定部１４７が、全てのＯＣＲ結果に基づいて夫々のＯＣＲ方式による文字認識結果の優先度を調整する（Ｓ４０８）。即ち、ＯＣＲ結果順序判定部１４７が、優先順位決定部として機能する。

ここで、Ｓ４０８の処理の詳細について、図６を参照して説明する。図６に示すように、ＯＣＲ結果順序判定部１４７は、ＯＣＲ結果の優先順位調整動作において、夫々のＯＣＲ処理部によって生成されたＯＣＲ処理結果から１つの処理結果を取得し（Ｓ６０１）、ＯＣＲによって認識された文字列の先頭から順に単語を１つ選択する（Ｓ６０２）。

ＯＣＲ結果順序判定部１４７は、全方式によるＯＣＲ結果について１つずつ単語を取得するまでＳ６０１、Ｓ６０２の処理を繰り返し（Ｓ６０３／ＮＯ）、全方式によるＯＣＲ結果について１つずつ単語を取得すると（Ｓ６０３／ＹＥＳ）、夫々の単語の文字列が一致するか否か判断する（Ｓ６０４）。Ｓ６０４の判断により、全単語の文字列が一致した場合（Ｓ６０４／ＹＥＳ）、その単語について１つのテキストレイヤを作成する（Ｓ６０５）。

他方、全単語の文字列が一致しなかった場合（Ｓ６０４／ＮＯ）、ＯＣＲ結果順序判定部１４７は、異なる単語毎に優先順位を調整する（Ｓ６０９）。Ｓ６０９の処理について、図７（ａ）〜（ｃ）を参照して説明する。図７（ａ）に示すように、４つのＯＣＲ方式夫々の文字認識結果が、“カエル”（全て片仮名）、“加二ノレ”（漢字の“加”、漢字の“二”に片仮名の“ノレ”）、“カエル”（全て片仮名）、“力工ル”（漢字の“力”、漢字の“工”に片仮名の“ル”）だった場合を考える。

図７（ａ）に示すように、文字認識の結果としては、図５に示す画面において入力されたＯＣＲ方式の優先順位に加えて、夫々のＯＣＲ方式が文字認識の結果の確かさを示す数値として出力した確度の情報が含まれる。即ち、夫々のＯＣＲ処理部が、文字認識結果の確かさを示す情報を文字認識結果と共に生成する。ＯＣＲ結果順序判定部１４７は、図７（ｂ）に示すように、夫々の認識結果について優先度を＋若しくは−する。図７（ｂ）の例においては、優先順位１と優先順位３の文字認識結果が同一であるため、ＯＣＲ結果判定部１４７は、優先順位１と優先順位３の文字認識結果の優先度を＋する。

また、優先順位２の文字認識結果の確度が低いため、ＯＣＲ結果順序判定部１４７は、優先順位２の文字認識結果の優先度を−する。図７（ｂ）の例の他、例えば、４つの文字認識結果において文字列が異なる結果が１つである場合、その文字認識結果の優先度を−する態様が考えられる。

図７（ｂ）に示すように認識結果の優先度を調整すると、ＯＣＲ結果順序判定部１４７は、図７（ｃ）に示すように、優先順位１と優先順位３の文字認識結果が同一であるため、優先順位の高い方の文字認識結果を採用する。また、図７（ｃ）に示すように、ＯＣＲ結果順序判定部１４７は、Ｓ６０９による優先度の調整結果に基づき、優先順位を入れ替える。

Ｓ６０９の処理により優先度を調整して優先順位を入れ替えると、ＯＣＲ結果順序判定部１４７は、文字認識結果のうち異なる文字列毎にテキストレイヤを生成する（Ｓ６１０）。Ｓ６１０の処理において、ＯＣＲ結果順序判定部１４７が生成するテキストレイヤは、図７（ｃ）に示すようなテキストのレイヤであるが、その色は透明である。これにより、スキャンによって生成された画像の上にテキストレイヤを重畳する際、ユーザには通常の閲覧態様では見えないようにすることができる。

Ｓ６０５またはＳ６１０の処理が完了すると、ＯＣＲ結果順序判定部１４７は、夫々の文字認識結果の文字列が認識された位置、即ち画像情報の座標が同一か否か判断する（Ｓ６０６）。全ての文字列の位置が同一であった場合（Ｓ６０６／ＹＥＳ）、ＯＣＲ結果順序判定部１４７は、その位置をテキストレイヤの位置として決定し、図８に示すように、各文字列の優先順位に従って第１レイヤ、第２レイヤ、第３レイヤの順にテキストレイヤを格納する（Ｓ６０７）。尚、Ｓ６０５の処理を経た場合、生成されたテキストレイヤは１つのみであるため、第１レイヤのみにテキストレイヤが格納される。

他方、全ての文字列の位置が同一ではなかった場合（Ｓ６０６／ＮＯ）、ＯＣＲ結果順序判定部１４７は、最も優先順位の高い文字列の認識位置をテキストレイヤの位置として決定し、図８に示すように各文字列の優先順位に従って第１レイヤ、第２レイヤ、第３レイヤの順にテキストレイヤを格納する（Ｓ６１１）。

ＯＣＲ結果順序判定部１４７は、文字認識結果に含まれる全単語についてＳ６０１からの処理が完了するまで繰り返し（Ｓ６０８／ＮＯ）、文字認識結果に含まれる全単語についてＳ６０１からの処理が完了したら（Ｓ６０８／ＹＥＳ）、処理を終了する。このような処理により、本実施形態に係るＯＣＲ結果の順序調整処理が完了する。

図４のＳ４０８において、ＯＣＲ結果順序調整処理が完了すると、ＯＣＲ結果順序判定部１４７は、図６の処理により優先順位に応じてテキストレイヤを格納した夫々のレイヤを、スキャンにより生成された元の画像に重畳して電子文書を作成する（Ｓ４０９）。即ち、文書生成部１４８が、画像重畳部として機能する。画像処理部１１４は、Ｓ４０３からＳ４０９の処理を、読み取り対象としてセットされた全ての原稿について繰り返し（Ｓ４１０／ＮＯ）、全ての原稿についてＳ４０３〜Ｓ４０９の処理が完了したら（Ｓ４１０／ＹＥＳ）、生成した電子文書を出力して（Ｓ４１１）、処理を終了する。このような処理により、ＯＣＲを伴うスキャンが実行される場合における、画像処理部１１４の動作が完了する。

図９に、図４のＳ４０９の処理により生成された電子文書のレイヤ構造を示す。図９に示すように、本実施形態において生成された電子文書は、スキャンにより生成された元の画像の上に、図６の処理によって生成された夫々のレイヤが重畳されて構成されている。尚、図３において説明したように、本実施形態に係る画像処理部１１４は、夫々異なる方式によってＯＣＲを実行する第一ＯＣＲ処理部１４３〜第四ＯＣＲ処理部１４６を含むため、最大で４つのレイヤが生成される可能性がある。従って、元の画像の上に重畳されるレイヤは、第１レイヤから第４レイヤまでの４つのレイヤである。

このように、本実施形態に係る画像処理部１１４は、スキャンに伴ってＯＣＲを実行して電子文書を生成する際、異なる複数の方式によりＯＣＲを実行し、夫々の実行結果における文字列が異なる場合、異なる文字列を全て保存して別レイヤで元の画像に重畳する。これにより、異なる複数の文字列が認識された場合に、元の画像に重畳するための文字列としていずれか１つを選択するための処理が不要となり、処理を低減することが出来る。

また、元の画像に重畳するための文字列としていずれか１つを選択した場合、正確に認識された文字列ではなく、誤認識された文字列が選択されてしまう場合があり得る。そのような場合、ユーザが電子文書を閲覧用のアプリケーション等で閲覧して文字列を検索しても、本来抽出されるはずの文字列が抽出されないこととなる。これに対して、本実施形態の場合、正確認に認識された文字列も誤認識された文字列も、異なる認識結果を全て保持するため、上記課題を解決することができる。

また、似た形状の文字が多く存在する言語において、文字の形状に基づいて文字を判別することが困難であるという場合においても、より多くの文字認識方式による認識結果を全て画像上に重畳することにより、正しい認識結果を得る確率を向上することができる。

他方、図９に示すように、認識結果として異なる文字列を異なるレイヤに格納した場合、正確に認識された文字列が下位のレイヤに格納されていると、ユーザが文字列をコピー＆ペーストしたい場合に不都合が生じる。即ち、図９のようなレイヤ構造の場合、選択してコピーされる文字列は、通常の閲覧用アプリケーションでは、先頭のレイヤのみである。従って、正確に認識された文字列が下位のレイヤに格納されていると、正確に認識された文字列をコピーすることができない。

これに対して、本実施形態においては、ＯＣＲ結果順序判定部１４７が、図６において説明したような処理により、夫々異なる文字認識結果の優先度を調整し、優先度の高い文字列を上位のレイヤに格納するため、誤認識された文字列が第１レイヤに、正確に認識された文字列が下位のレイヤに格納されるような状態を防ぎ、正確に認識された文字列がコピーされるようにすることができる。

１ 画像形成装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１００ コントローラ
１０１ ＡＤＦ
１０２ スキャナユニット
１０３ 排紙トレイ
１０４ ディスプレイパネル
１０５ 給紙テーブル
１０６ プリントエンジン
１０７ 排紙トレイ
１０８ ネットワークＩ／Ｆ
１１０ 主制御部
１１２ エンジン制御部
１１３ 入出力制御部
１１４ 画像処理部
１１５ 操作表示制御部
１４１ 情報取得部
１４２ ＯＣＲ制御部
１４３ 第一ＯＣＲ処理部
１４４ 第二ＯＣＲ処理部
１４５ 第三ＯＣＲ処理部
１４６ 第四ＯＣＲ処理部
１４７ ＯＣＲ結果順序判定部
１４８ 文書生成部
１４９ 文書出力部

特開２００１−２２８８３号公報

Claims (9)

1. 画像として表示されている文字を認識して文字情報を生成する画像処理装置であって、
   文字が表示された画像を取得する画像取得部と、
   複数の異なる文字認識方式により前記取得された画像に表示されている文字を認識して文字情報を生成することにより、複数の文字認識結果を生成する文字認識部と、
   前記複数の文字認識結果が不一致である場合に、夫々の差異に基づき、前記複数の文字認識結果の優先順位を調整して決定する優先順位決定部と、
   前記複数の文字認識結果として生成された文字列を、前記決定された優先順位に従って前記取得された画像上に透明なレイヤとして重畳する画像重畳部とを含み、
   前記画像重畳部は、前記複数の文字認識結果夫々における前記文字列の認識位置が不一致である場合に、前記決定された優先順位に従って前記文字列を透明なレイヤとして重畳する位置を決定することを特徴とする画像処理装置。
2. 前記優先順位決定部は、同一の認識対象に基づいて前記複数の文字認識方式により夫々認識された複数の文字列を取得し、前記複数の文字列のうち異なる文字列毎に優先順位を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記優先順位決定部は、前記複数の文字列のうち、他に同一の文字列がある文字認識結果の優先度を上げることを特徴とする請求項２に記載の画像処理装置。
4. 前記優先順位決定部は、前記複数の文字列のうち、他に同一の文字列が無い文字認識結果の優先度を下げることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記画像重畳部は、同一の認識対象に基づく文字認識結果として生成された複数の文字列夫々の前記画像上における認識位置のうち、優先順位が最も高い文字列の前記画像上における認識位置に、前記複数の文字列を重畳することを特徴とする請求項１乃至４いずれかに記載の画像処理装置。
6. 前記複数の異なる文字認識方式夫々の優先順位を指定する優先順位指定情報をユーザによる操作に応じて取得する操作情報取得部を更に含み、
   前記優先順位決定部は、前記複数の文字認識結果夫々の差異に応じて前記取得された優先順位指定情報によって指定される優先順位を調整することにより、前記複数の文字認識結果の優先順位を決定することを特徴とする請求項１乃至５いずれかに記載の画像処理装置。
7. 前記文字認識部は、前記文字認識結果の確かさを示す情報を前記文字認識結果と共に生成し、
   前記優先順位決定部は、前記文字認識結果の確かさを示す情報に基づいて、前記文字認識結果の優先度を調整することを特徴とする請求項１乃至６いずれかに記載の画像処理装置。
8. 画像として表示されている文字を認識して文字情報を生成する画像処理方法であって、
   文字が表示された画像を取得して記憶媒体に記憶し、
   複数の異なる文字認識方式により前記取得された画像に表示されている文字を認識して文字情報を生成して記憶媒体に記憶することにより、複数の文字認識結果を生成し、
   前記複数の文字認識結果が不一致である場合に、夫々の差異に基づき、前記複数の文字認識結果の優先順位を調整して決定して記憶媒体に記憶し、
   前記複数の文字認識結果として生成された文字列を、前記決定された優先順位に従って前記取得された画像上に透明なレイヤとして重畳して記憶媒体に記憶し、
   前記複数の文字認識結果夫々における前記文字列の認識位置が不一致である場合に、前記決定された優先順位に従って前記文字列を透明なレイヤとして重畳する位置を決定することを特徴とする画像処理方法。
9. 画像として表示されている文字を認識して文字情報を生成する画像処理プログラムであって、
   文字が表示された画像を取得して記憶媒体に記憶するステップと、
   複数の異なる文字認識方式により前記取得された画像に表示されている文字を認識して文字情報を生成して記憶媒体に記憶することにより、複数の文字認識結果を生成するステップと、
   前記複数の文字認識結果が不一致である場合に、夫々の差異に基づき、前記複数の文字認識結果の優先順位を調整して決定して記憶媒体に記憶するステップと、
   前記複数の文字認識結果として生成された文字列を、前記決定された優先順位に従って前記取得された画像上に透明なレイヤとして重畳して記憶媒体に記憶するステップとと、
   前記複数の文字認識結果夫々における前記文字列の認識位置が不一致である場合に、前記決定された優先順位に従って前記文字列を透明なレイヤとして重畳する位置を決定するステップとを情報処理装置に実行させることを特徴とする画像処理プログラム。

Images