JP5455395B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、画像情報として入力された文書を変倍、再レイアウト等の加工をして新しい文書として出力する装置が考案されている。例えば、複写機においては複数のページ画像を縮小して１ページに並べて印刷する縮小印刷が実現されている。また、文字画像の並び替えにより任意の表示フォーマットへの表示を可能にする装置が考案されている（例えば、特許文献１参照）。
文字画像に対しては、文字認識処理を行い、得られた文字情報に基づいてフォント情報を利用して、別の字形データに変更したり、文字色の変更や文字修飾を加えたりすることができる。
また、文字行の分割数を決めて文字画像分割位置を定め、文字画像を再レイアウトする装置が考案されている（例えば、特許文献２参照）。

特開２００４−５４５３号公報 特開２０００−１６３０４４号公報

文字画像をレイアウトする際、文字画像から文字認識して得られた文字情報に基づいて文字画像の再レイアウト生成する場合、文字認識において誤認識を除去するのは困難である。このため、文字認識の結果得られた文字の編集処理（再レイアウト、文字表示効果の変更）により、元文書画像の内容と異なってしまう可能性がある。このような問題を回避するため、文書画像中の文字画像を使った編集方法が考案されているが、この方法でも連続する文字画像の文字境界を正確に得るのは同様に困難である。誤った文字区切り境界で文字編集処理を行うと、やはり元文書画像の内容と異なってしまう可能性がある。また、文字画像を再配置する際に、文字間の間隔を調整する必要があるが、分割誤りのある文字画像を正しく文字切りされた文字画像と同様の文字間隔で並べると元文書画像の内容と異なってしまう問題がある。

本発明はこのような問題点に鑑みなされたもので、視覚的に誤りのない文字区切り境界を得ることができ、元文書画像の内容を変えずに、再編集（再レイアウト、文字効果の変更等）を行うことを目的とする。

そこで、本発明の画像処理装置は、文書画像から文字画像を抽出する抽出手段と、分離禁止文字と、分離可能性方向と、後続文字と、を含む分離文字判定テーブルに基づいて、前記抽出手段で抽出された文字画像が分離文字であるか否かを判定する判定手段と、前記判定手段で分離文字と判定された場合、分離文字と判定された文字画像と、前記文字画像の後続の文字画像と、の間隔を保持するよう前記分離文字と判定された文字画像と、前記後続の文字画像と、を前記文書画像に配置し、前記判定手段で分離文字でないと判定された場合、分離文字でないと判定された文字画像と、前記文字画像の後続の文字画像と、を１つの文字画像として併合するよう前記文字画像に配置する配置手段と、前記配置手段で配置された文字画像を所定領域内に収まるように配置し、再編集する再編集手段と、前記再編集手段で再編集された結果を出力する出力手段と、を有する。

かかる構成とすることにより、視覚的に誤りのない文字区切り境界を得ることができ、元文書画像の内容を変えずに、再編集（再レイアウト、文字効果の変更等）を行うことができる。

また、本発明は、画像処理方法、プログラム及び記憶媒体としてもよい。

本発明によれば、視覚的に誤りのない文字区切り境界を得ることができ、元文書画像の内容を変えずに、再編集（再レイアウト、文字効果の変更等）を行うことができる。

画像処理装置（コンピュータ）のハードウェア構成の一例を示す図である。 画像処理装置の機能構成の一例を示す図である。 文字画像の一例を示す図である。 従来の実施形態における文字画像の再配置例を示す図（その１）である。 従来の実施形態における文字画像の再配置例を示す図（その２）である。 本実施形態に係る文字画像の再配置例を示す図（その１）である。 本実施形態に係る文字画像の再配置例を示す図（その２）である。 本実施形態に係る分離文字判定テーブルの構成を示す図である。 文書画像処理の一例を示すフローチャートである。 図９のステップＳ８４０の文字画像領域補正処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、画像処理装置（コンピュータ）のハードウェア構成の一例を示す図である。図１において、入力装置１１は、キーボードやポインティング装置で構成されている。ユーザは入力装置１１を操作しデータの入力や操作の指示を行う。蓄積装置１２は、バイナリデータやメタデータを蓄積するものであり、例えば、ハードディスク等である。表示装置１３は、蓄積装置１２に蓄積されたバイナリデータ等を表示するものであり、例えば、ＣＲＴや液晶等である。

ＣＰＵ１４は、上記の処理の全てに関わり、ＲＯＭ１５とＲＡＭ１０６はその処理に必要なメモリや作業領域を提供する。また、ＣＰＵ１４が、ＲＯＭ１５からプログラムを読み出して、プログラムに基づき処理を実行することにより、後述するフローチャートの各処理が実現される。
また、画像処理装置は、１０１から１０６の他、読込部を設け、公知のＣＣＤ素子等で構成されている撮像装置より画像を読み込むような構成としてもよい。また、図１には図示していないが、画像処理装置は、出力部としてプリンタ等を有するよう構成してもよい。

図２は、画像処理装置の機能構成の一例を示す図である。
文書画像入力部１０１は、平面読み取り型の画像スキャナ或いはデジタルカメラ等の画像情報をデジタルデータに変換する。また、文書画像入力部１０１は、プリンタドライバによって送信されたＰＤＬ、ストレージに記録されたデジタル画像データを読み込む。
文書画像解析部１０２は、文書画像入力部１０１により入力された文書画像情報を解析する。
文書画像レイアウト部１０３は、文書画像解析部１０２によって解析され、個々に領域分割された文書構成素材となる画像を再配置し、文書画像を生成し、出力部１０５に出力する。分離文字判定テーブル１０４は、文書画像レイアウト部１０３が文字画像を再配置する際に参照されるデータである。分離文字判定テーブル１０４は、例えば、ＲＯＭ１５又は蓄積装置１２等に記憶される。出力部１０５は、文書画像レイアウト部１０３がレイアウトした文書画像をプリンタ又は表示装置１３に出力する。

図３は、文字画像の一例を示す図である。
（ａ）は、文書画像入力部１０１によって読み取られた文書画像中の一部である「労働 ｓｍａｒｔ」という文字の字形が描画出力された文字画像である。
（ｂ）は、文書画像解析部１０２によって解析された（ａ）の文字画像の各文字領域の外接矩形を表したものである。文字画像（ａ）に対する文字領域分離の結果、「労」「イ」「動」「ｓ」「ｒ」「ｎ」「ａ」「ｒ」「ｔ」の９個の外接矩形領域に分離されている。
（ｃ）は、（ｂ）の文字領域分離結果に基づき、文書画像解析部１０２が、蓄積装置１２等に記憶されている字形辞書を参照して得られた文字認識結果であり、「労イ動ｓｒｎａｒｔ」の符号化された文字情報が得られている。

図４及び図５は、従来の実施形態における文字画像の再配置例を示す図である。
図４は、図３（ａ）の文字画像を図３（ｂ）の分離された文字画像に従い、所定の文字間隔をあけて文字画像を再配置した例であり、「働」「ｍ」の部分で文書画像解析における文字領域分割の誤りが顕在化している。また、図５は、配置領域の右端で折り返すことによる文字領域分割誤りの影響が更に顕著に表れる例である。

図６及び図７は、本実施形態に係る文字画像の再配置例を示す図である。図６は、図３（ａ）の文字画像を図３（ｂ）の分離された文字画像に従い、所定の文字間隔を保持して文字画像を再配置した例である。文字領域誤分割の影響を受ける文字領域境界の文字間隔を入力文書画像における間隔を保持することで元の文字画像を再現しつつ、それ以外の文字領域は所定の文字間隔で再配置されている。図７において、右端で折り返し配置が必要な場合、領域誤分割の影響を避ける文字位置で折り返し配置されている。

図８は、本実施形態に係る分離文字判定テーブルの構成を示す図である。分離文字判定テーブルは、１つの文字を表す字形画像が複数の文字字形画像に分離される可能性を示す文字に関する情報を格納した参照テーブルであり、文書画像レイアウト部１０３によって参照される。７０１は、分離された可能性のある文字を分離禁止文字として格納した分離禁止文字である。分離禁止文字は、Ｕｎｉｃｏｄｅ等の符号化された文字コード情報として格納される。７０２は、分離された可能性のある文字が、どの方向で分離される可能性があるかを示す情報で、水平方向を表すＬ−Ｒ、垂直方向を表すＵ−Ｂの値を持つ。例えば、１行目に格納されている「ｃ」は「ｄ」の文字が水平方向に「ｃ」と「ｌ」に分離される可能性があることを示している。７０３は、当該文字がどの程度の確率で分離される可能性があるかを経験的或いは統計的に数値化した情報である。７０４は、分離禁止文字に格納された文字を独立文字として扱わず、後続文字と結合した領域として扱うための非分離条件となる後続文字を格納する。後続文字はＵｎｉｃｏｄｅ等の符号化された文字コード情報として格納され、複数個格納可能である。

図９は、文書画像処理の一例を示すフローチャートである。
ステップＳ８１０において、文書画像入力部１０１は、入力された文書画像情報を文書画像解析部１０２に送る。文書画像解析部１０２は、種別ごとに領域分離する。領域分離の処理は例えば、特開２０００―２９３６７１号公報等に開示されている従来技術を用いて行うことができる。領域分離された処理結果は文書解析データとして蓄積装置１２等に記憶される。
次にステップＳ８２０において、文書画像解析部１０２は、記憶された文書解析データのうち文字領域のデータがあるか否か判定し、文字領域データでない場合、ステップＳ８６０へ分岐し、文字領域データである場合、ステップＳ８３０へ分岐する。
ステップＳ８３０において、文書画像解析部１０２は、文字領域内の文字画像情報に対して文字認識処理を行い、符号化文字情報を抽出する。また、文書画像解析部１０２は、文字符号化と同時に文字列の配置方向が縦か横かを判別する。文字認識処理は広く実施されている公知の技術であり、詳細を省略する。文字認識の結果、図３（ｃ）に示すような符号化文字列を得ることができる。

次にステップＳ８４０において、文書画像レイアウト部１０３は、再レイアウト対象の文字画像領域の補正処理を行う。文字画像領域補正処理の詳細は図１０において後述する。
文字領域補正処理の後、ステップＳ８５０において、文書画像レイアウト部１０３は、文字画像のレイアウト編集処理を行う。文書画像レイアウト部１０３は、レイアウト編集処理において、文字画像を所定領域内に収まるよう配置し、必要に応じて、文字サイズ及び文字種、文字色等を変更する。
ステップＳ８６０において、文書画像レイアウト部１０３は、文字領域以外の画像領域のレイアウト編集処理を行う。
ステップＳ８５０或いはステップＳ８６０の後、ステップＳ８７０において、出力部１０５は、レイアウト編集結果を出力して、図９に示す処理を終了する。

図１０は、図９のステップＳ８４０の文字画像領域補正処理の一例を示すフローチャートである。
ステップＳ９１０において、文書画像レイアウト部１０３は、図９ステップＳ８３０の文字認識処理の際に判別された文字画像領域における文字配置方向を取得する。
次にステップＳ９２０において、文書画像レイアウト部１０３は、１文字分の文字画像領域を取得し、取得した文字画像領域に対応する符号化文字情報を文字認識結果から取得する。
ステップＳ９３０において、文書画像レイアウト部１０３は、ステップＳ９２０で取得した符号化文字情報に基づき、分離文字判定テーブル１０４を参照し、分離禁止文字であるか否か検索する。ステップＳ９４０で判定を行い、文書画像レイアウト部１０３は、分離禁止文字である場合、ステップＳ９５０へ、分離禁止文字でない場合、ステップＳ９８０へ分岐する。

ステップＳ９５０において、文書画像レイアウト部１０３は、更に分離文字判定テーブルの分離可能性方向７０２をチェックし、ステップＳ９１０で取得した配置方向と一致するか否かを判定する。文書画像レイアウト部１０３は、異なる配置方向である場合、分離可能と判定しステップＳ９８０へ分岐し、配置方向に合致する場合、分離禁止条件を更に判定すべくステップＳ９６０へ分岐する。
ステップＳ９６０において、文書画像レイアウト部１０３は、分離文字判定テーブル１０４の非分離条件７０４をチェックし、文字認識結果の当該文字の後続文字と一致するか否かを判定する。文書画像レイアウト部１０３は、一致しない場合、分離可能と判定し、ステップＳ９８０へ分岐し、一致する場合、分離禁止と判定し、ステップＳ９７０へ分岐する。なお、文書画像レイアウト部１０３は、更に分離文字判定テーブル１０４の分離確率を参照し、所定確率以上の場合のみ、分離禁止と判定するようにしてもよい。

ステップＳ９７０において、前記文字画像領域と後続文字画像領域とを１つの文字画像領域として併合する。これにより、例えば図３（ｂ）のように分離した「イ」と「動」の文字画像領域が「働」という１文字の画像領域となり、「ｒ」と「ｎ」に分離した文字画像領域が「ｍ」という１文字の画像領域となる。
文書画像レイアウト部１０３は、ステップＳ９８０ですべての文字画像領域について処理し終えたかどうか判定し、未処理文字画像領域がある場合、ステップＳ９２０へループし、全文字画像領域の処理を終了した場合、図１０に示す処理を終了する。
つまり、文書画像レイアウト部１０３は、図１０に示す処理によって、分離を禁止する文字である場合は、文字画像（文字画像領域）と、後続する文字画像（文字画像領域）と、を１つの文字画像領域として併合する。と共に、文書画像レイアウト部１０３は、分離を禁止しない文字である場合、文字画像（文字画像領域）と、後続する文字画像（文字画像領域）と、の間隔を保持するよう、文字画像と、後続する文字画像と、を文書画像に配置する。

＜その他の実施形態＞
また、上述した実施形態の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は上述した実施形態を構成することになる。

また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。

上述した実施形態を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、上述した各実施系によれば、視覚的に誤りのない文字区切り境界を得ることができ、元文書画像の内容を変えずに、再編集（再レイアウト、文字効果の変更等）を行うことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１１ 入力装置
１２ 蓄積装置
１３ 表示部
１４ ＣＰＵ
１５ ＲＯＭ
１６ ＲＡＭ

Claims (6)

1. 文書画像から文字画像を抽出する抽出手段と、
   分離禁止文字と、分離可能性方向と、後続文字と、を含む分離文字判定テーブルに基づいて、前記抽出手段で抽出された文字画像が分離文字であるか否かを判定する判定手段と、
   前記判定手段で分離文字と判定された場合、分離文字と判定された文字画像と、前記文字画像の後続の文字画像と、の間隔を保持するよう前記分離文字と判定された文字画像と、前記後続の文字画像と、を前記文書画像に配置し、前記判定手段で分離文字でないと判定された場合、分離文字でないと判定された文字画像と、前記文字画像の後続の文字画像と、を１つの文字画像として併合するよう前記文字画像に配置する配置手段と、
   前記配置手段で配置された文字画像を所定領域内に収まるように配置し、再編集する再編集手段と、
   前記再編集手段で再編集された結果を出力する出力手段と、
   を有する画像処理装置。
2. 前記抽出手段は、前記文字画像の後続文字を更に抽出し、
   前記抽出手段で抽出された文字画像に係る領域における文字配置方向を取得する取得手段を更に有し、
   前記判定手段は、前記抽出手段で抽出された文字画像が前記分離文字判定テーブルの分離禁止文字か否か、前記取得手段で取得された文字配置方向と前記分離文字判定テーブルの分離可能性方向とは一致するか否か、前記抽出手段で抽出された後続文字と前記分離文字判定テーブルの後続文字とは一致するか否か、に基づいて、前記抽出手段で抽出された文字画像が分離文字であるか否かを判定する請求項１記載の画像処理装置。
3. 画像処理装置が実行する画像処理方法であって、
   文書画像から文字画像を抽出する抽出ステップと、
   分離禁止文字と、分離可能性方向と、後続文字と、を含む分離文字判定テーブルに基づいて、前記抽出ステップで抽出された文字画像が分離文字であるか否かを判定する判定ステップと、
   前記判定ステップで分離文字と判定された場合、分離文字と判定された文字画像と、前記文字画像の後続の文字画像と、の間隔を保持するよう前記分離文字と判定された文字画像と、前記後続の文字画像と、を前記文書画像に配置し、前記判定ステップで分離文字でないと判定された場合、分離文字でないと判定された文字画像と、前記文字画像の後続の文字画像と、を１つの文字画像として併合するよう前記文字画像に配置する配置ステップと、
   前記配置ステップで配置された文字画像を所定領域内に収まるように配置し、再編集する再編集ステップと、
   前記再編集ステップで再編集された結果を出力する出力ステップと、
   を含む画像処理方法。
4. 前記抽出ステップでは、前記文字画像の後続文字を更に抽出し、
   前記抽出ステップで抽出された文字画像に係る領域における文字配置方向を取得する取得ステップを更に含み、
   前記判定ステップでは、前記抽出ステップで抽出された文字画像が前記分離文字判定テーブルの分離禁止文字か否か、前記取得ステップで取得された文字配置方向と前記分離文字判定テーブルの分離可能性方向とは一致するか否か、前記抽出ステップで抽出された後続文字と前記分離文字判定テーブルの後続文字とは一致するか否か、に基づいて、前記抽出ステップで抽出された文字画像が分離文字であるか否かを判定する請求項３記載の画像処理方法。
5. コンピュータを、
   文書画像から文字画像を抽出する抽出手段と、
   分離禁止文字と、分離可能性方向と、後続文字と、を含む分離文字判定テーブルに基づいて、前記抽出手段で抽出された文字画像が分離文字であるか否かを判定する判定手段と、
   前記判定手段で分離文字と判定された場合、分離文字と判定された文字画像と、前記文字画像の後続の文字画像と、の間隔を保持するよう前記分離文字と判定された文字画像と、前記後続の文字画像と、を前記文書画像に配置し、前記判定手段で分離文字でないと判定された場合、分離文字でないと判定された文字画像と、前記文字画像の後続の文字画像と、を１つの文字画像として併合するよう前記文字画像に配置する配置手段と、
   前記配置手段で配置された文字画像を所定領域内に収まるように配置し、再編集する再編集手段と、
   前記再編集手段で再編集された結果を出力する出力手段と、
   して機能させるためのプログラム。
6. 前記抽出手段は、前記文字画像の後続文字を更に抽出し、
   前記抽出手段で抽出された文字画像に係る領域における文字配置方向を取得する取得手段として更に機能させ、
   前記判定手段は、前記抽出手段で抽出された文字画像が前記分離文字判定テーブルの分離禁止文字か否か、前記取得手段で取得された文字配置方向と前記分離文字判定テーブルの分離可能性方向とは一致するか否か、前記抽出手段で抽出された後続文字と前記分離文字判定テーブルの後続文字とは一致するか否か、に基づいて、前記抽出手段で抽出された文字画像が分離文字であるか否かを判定する請求項５記載のプログラム。

Images