JP4983526B2 - データ処理装置及びデータ処理プログラム - Google Patents

Description

本発明は、データ処理装置及びデータ処理プログラムに関する。

従来より、原稿画像を読み取って原稿画像の文字を認識する文字認識（ＯＣＲ（Optical Character Recognition））が提案されている。

ＯＣＲを行う際のレイアウトの判定技術としては、例えば、特許文献１〜３に記載の技術が提案されている。

特許文献１に記載の技術では、文書画像からレイアウトオブジェクトと構造を抽出する手段と、文書画像から抽出したテキストの領域からタイポグラフィーに基づいて段落、リスト、数式、プログラム、注釈等の論理オブジェクトを抽出する手段と、オブジェクト間の複数の可能な読み順を抽出する手段と、論理オブジェクトに対して予め定義されているモデルを適用して論理構造を抽出する手段と、から構成し、文字、写真、図形、表などで構成される多様な複数頁構成の文書からでも一次情報二次情報を抽出し、多様な電子フォーマットに変換可能にすることにより、文書管理システムの自動構築や様々な計算機アプリケーションの有効活用を可能にすることが提案されている。

特許文献２に記載の技術では、文字認識装置のバスに接続された画像入力部、第１の行切り出し部、第２の行切り出し部、行出力部から構成された行切り出し装置が提案されており、第１の行切り出し部は、画素の黒連結外接矩形を用いる方法や、画像上の黒画素の水平及び垂直方向の射影を用いる方法で行切り出しを行い、第２の行切り出し部へ出力する。第２の行切り出し部は、切り出された行の中から基準となる行を抽出し、抽出された基準行を用いて、第１の方法で切り出された各行の推定行数を算出し、推定行数が２以上の行については、行の分割を行うことが提案されている。

特許文献３に記載の技術では、スキャナ等から供給された画像データを、画像記憶部に格納し、該画像記憶部から画像データを出力する。また、入力部又は制御部等により設定された特徴情報を特徴記憶部に記憶し、特徴情報を文字切出し部に出力して、文字切出し部が、特徴情報に対応した文字切出しによって画像データから１文字毎に文字を切出して、切出された結果を、文字切出し結果として文字切出し装置の外に出力することが提案されている。

また、ＯＣＲ結果の文字列（文字コード群）をテキストデータとして埋め込んで、１つのデータに統合して検索を簡便化する技術が提案されている。

しかしながら、ＯＣＲ結果をテキストデータとして埋め込んだだけの場合、縦書き横書きの記述方向解析にＯＣＲ処理が失敗した際に、検索性能が落ちる（例えば、「あいうえお（改行）かきくけこ」を縦書きしてＯＣＲ結果が横書きと誤判定した場合、「かあきいくうけえこお」というテキストデータが生成されてしまう）という問題がある。

そこで、文字列の検索精度を向上するために特許文献４や特許文献５に記載の技術が提案されている。

特許文献４に記載の技術では、様々な人により書かれた文字を平均化して作成した標準文字を辞書にして、文字画像中に存在する１文字１文字の画像と、標準文字とを比較して、一致したら注目文字画像の近傍文字画像に注目し、標準文字から距離値を比較して、距率が閾値以内にある文字列を検索文字列とすることが提案されている。

特許文献５に記載の技術では、複数の文書の各々について、文書に含まれるテキストに基づくテキスト特徴情報と文書イメージに基づくイメージ特徴情報をメモリに保持し、検索文書のイメージデータに対して文字認識処理を行なって得られたテキストに基づいてテキスト特徴情報を取得すると共に、検索文書のイメージデータに基づいてイメージ特徴情報（レイアウト情報）を取得する。そして、上記検索文書に関して取得されたテキスト特徴情報とイメージ特徴情報を用いてメモリを検索して、複数の文書より検索文書に対応する文書を検索することが提案されている。
特開平１１−２５００４１号公報 特開２００４−１０２７９６号公報 特開２０００−０５７２６１号公報 特開２００４−２９５３２９号公報 特開２００４−３３４３３４号公報

本発明は、文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することを目的とする。

上記目的を達成するために請求項１に記載のデータ処理装置は、文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を文字情報及び文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識手段と、前記文字認識手段によって得られる前記文字認識結果を解析し、注目文字からの最近傍文字を算出する算出手段と、前記算出手段によって算出された前記最近傍文字が１つの場合に、注目文字の前記文字情報と前記算出手段の算出結果に対応する前記文字情報とを有する文字列を文字検索のための検索用レイヤーとして生成し、前記算出手段によって算出された前記最近傍文字が２以上の場合には、前記最近傍の文字毎にそれぞれ前記検索用レイヤーを生成する生成手段と、前記生成手段によって生成された前記検索用レイヤーを文字検索可能なように前記画像を表すデータに合成する合成手段と、を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の発明において、前記生成手段は、前記文字列と、該文字列と記述方向を逆にした文字列と、を前記検索用レイヤーとして生成することを特徴としている。

請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記生成手段は、前記算出手段によって最近傍文字を順次算出して前記検索用レイヤーを生成する際に、前記最近傍文字の方向が変化した場合に、前記方向が変化したところで文字列を分割して前記検索用レイヤーを生成することを特徴としている。

請求項４に記載のデータ処理プログラムは、文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識ステップと、前記文字認識ステップで得られる前記文字認識結果を解析し、注目文字からの最近傍文字を算出する算出ステップと、前記算出ステップで算出した前記最近傍文字が１つの場合に、注目文字の前記文字情報と前記算出手段の算出結果に対応する前記文字情報とを有する文字列を文字検索のための検索用レイヤーとして生成し、前記算出ステップで算出した前記最近傍文字が２以上の場合には、前記最近傍の文字毎にそれぞれ前記検索用レイヤーを生成する生成ステップと、前記生成ステップで生成した前記検索用レイヤーを文字検索可能なように前記画像を表すデータに合成する合成ステップと、を含む処理をコンピュータに実行させることを特徴としている。

請求項５に記載の発明は、請求項４に記載の発明において、前記生成ステップは、前記文字列と、該文字列と記述方向を逆にした文字列と、を前記検索用レイヤーとして生成することを特徴としている。

請求項６に記載の発明は、請求項４又は請求項５に記載の発明において、前記生成ステップは、前記算出ステップで順次最近傍文字を算出して前記検索用レイヤーを生成する際に、前記最近傍文字の方向が変化した場合に、前記方向が変化したところで文字列を分割して前記検索用レイヤー生成することを特徴としている。

請求項１に記載の発明によれば、本構成を採用しない場合に比べて、文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することができる、という効果がある。

請求項２に記載の発明によれば、記述方向に拘わらず文字検索が可能となる、という効果がある。

請求項３に記載の発明によれば、異なる記述方向が混在していても文字検索が可能となる、という効果がある。

請求項４に記載の発明によれば、本構成を採用しない場合に比べて、文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することができる、という効果がある。

請求項５に記載の発明によれば、記述方向に拘わらず文字検索が可能となる、という効果がある。

請求項６に記載の発明によれば、異なる記述方向が混在していても文字検索が可能となる、という効果がある。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

（第１実施形態）
本実施形態では、画像形成装置に本発明を適用するものである。図１は、本発明の第１実施形態に係わる画像形成装置の構成を示すブロック図である。

本発明の第１実施形態に係わる画像形成装置１０は、原稿を読み取ってテキスト検索が可能なＰＤＦ（Portable Document Format）形式のデータを作成するものである。

画像形成装置１０は、画像入力部１２、操作部１４、ＣＰＵ１６、ＲＡＭ１８、ＲＯＭ２０、表示部２２、画像処理部２４、ハードディスク（ＨＤＤ）２６、及びプリンタ２８がバス３０に接続されている。

画像入力部１２は、例えば、原稿に光を照射してスキャンし、原稿から反射された光をミラーやレンズを通してＣＣＤに集め、ＣＣＤで光電変換された画像信号をＡＤ変換して、デジタル画像データに変換することによって原稿を読み取ることによって画像を入力する。

操作部１４は、画像入力部１２による原稿の読取開始等の各種指示、入力した画像に対する画像処理の各種設定等を行う各種ボタンを備えている。また、操作部１４では、ＰＤＦ形式のデータを作成する際の各種設定等を行うための操作ボタン等も備えている。

表示部２２は、画像入力部１２によって読み取った原稿のレイアウト等を表示したり、各種設定を行うための画面等を表示する。

画像処理部２４は、画像入力部１２によって入力された画像に対して、ＯＣＲ処理を行って文字画像を認識してテキストデータを作成したり、作成したテキストデータを元画像に透明レイヤーとして合成してＰＤＦ形式のデータに変換したりする機能を有している。

本実施形態では、画像処理部２４は、画像解析部３０、画像分離部３２、ＯＣＲ処理部３４、ＯＣＲ中間データ解析部３６、ＰＤＦラッピング部３８、画像圧縮部４０、及び画像ファイル作成部４２を有しており、画像入力部１２によって入力された画像を画像解析部３０によって解析することによって画像中の文字や画像のレイアウトを解析し、文字画像と非文字画像を画像分離部３２で分離する。そして、文字画像についてＯＣＲ処理部３４にて文字認識を行う。また、ＯＣＲ中間データ解析部３６ではＯＣＲ処理する際に発生する中間データを解析して文字検索のためのテキストデータを生成し、作成した文字検索のためのテキストデータをＰＤＦラッピング部３８にて画像と合成してＰＤＦ形式への変換を行うと共に、画像圧縮部４０によって画像を圧縮する。そして、画像ファイル生成部４２が画像ファイルとしてＨＤＤ２６に記憶する。なお、画像処理部２４の詳細な機能は後述する。

ハードディスク（ＨＤＤ）２６は、画像処理部２４によって処理されたデータ（ＰＤＦファイル等）を蓄積し、操作部１４による操作等によってプリンタ２８に蓄積したデータを出力する。

プリンタ２８は、ＨＤＤ２６に記憶されたデータ等に基づく画像を用紙等の記録媒体に形成する。

ＣＰＵ１６は、ＲＯＭ２０に予め記憶されたプログラム等に従って画像形成装置１０を制御する。この時、ＲＡＭ１８はプログラム実行時の作業領域等として機能する。

ここで、画像処理部２４の詳細な機能について説明する。図２は、画像処理部２４の詳細な機能を示す機能ブロック図である。

画像処理部２４では、画像入力部１２によって入力した画像（スキャンデータ）が画像解析部３０によって文字／画像レイアウト解析４４が行われ、画像中の文字や画像のレイアウトが解析される。

文字／画像レイアウト解析４４が行われると、画像分離部３２でが文字画像／非文字画像分離４６が行われて、文字画像と非文字画像に分離される。

分離された非文字画像は、所定の画質補正７０が行われた後に、画像圧縮部４０によって画像圧縮７２が行われる。なお、画像圧縮７２は、各種画像圧縮形式を適用可能である。

一方、分離された文字画像は、ＯＣＲ処理部３４によってノイズ除去４８や文字先鋭化処理５０が行われる。例えば、フィルタ等を用いて文字画像のノイズを除去して、エッジ処理等によって文字画像を先鋭化する。先鋭化された文字画像は、画像圧縮部４０によって画像圧縮７２が行われる
また、先鋭化された文字画像は、画像圧縮部４０による画像圧縮７２とは別に、ＯＣＲ処理部３４によって、正立処理５２、段組判定５４、行列判定５６、文字判定５８、及びＯＣＲ処理６０が行われる。例えば、正立処理５２によって画像の向きを判定し、判定した向きに応じて、９０度、１８０度、２７０度等の回転を画像に対して行い、特開平１１−２５００４１号公報に記載の技術等を適用して、見出し用の文字列、新聞の段落、段組などを画像分割することで段組判定５４を行い、特許第２８９５１２２号や特開２００４−１０２７９６号に記載の技術等を適用して分割された領域を更に１行、あるいは１列単位に画像分割することによって行列判定５６を行い、分割された領域から、特開２０００−０５７２６１号に記載の技術等を適用して１文字づつ画像分割することによって文字判定５８を行う。そして、ＯＣＲ処理６０では、文字領域に分割した部分について、文字認識し、各文字に対応する画像を文字コードと文字位置情報に変換する。

また、ＯＣＲ処理６０を行う際に、ＯＣＲ中間データとして、文字位置情報と文字コードを文字毎に生成する。例えば、ＯＣＲ中間データの一例を図３（Ａ）に示す。なお、図３（Ａ）では、ポストスクリプトで記載された例を示し、図３（Ａ）では、文字コードと文字位置情報の他にフォントや文字サイズなどの情報も記載されたＯＣＲ中間データの一例を示す。

また、ＯＣＲ処理６０が行われた後に、ＯＣＲ中間データ解析部３６によってＯＣＲ中間データ解析６２が行われる。ＯＣＲ中間データ解析６２は、テキスト検索の精度を向上するために、ＯＣＲ処理６０によるＯＣＲ処理結果で判定した行列判定とは異なる方法で文字の記述方向を判定して新たなＯＣＲ結果をＯＣＲ中間データから生成する。

そして、ＯＣＲ中間データから新たなＯＣＲ結果が生成されると、ＰＤＦラッピング部３８によってＯＣＲ結果テキスト貼付け位置決め６４が行われると共に、テキスト／画像レイヤー合成６６が行われてＰＤＦフォーマット変換６８が行われる。すなわち、図３（Ｂ）に示すように、文字画像と非文字画像からなるラスタ画像７４に対して、文字画像の対応する位置に新たなＯＣＲ結果７６を透明レイヤー（以下、検索用レイヤーと称する場合もある）として検索可能に貼付けて、ＰＤＦ形式のデータに変換される。

次に、上述のＯＣＲ中間データから作成する検索用レイヤーの生成について説明する。

例えば、図４に示すＯＣＲ中間データの場合、段組判定結果の左上（Ｘ座標の最小値、Ｙ座標の最大値、図４では「か」）から最近傍文字を、最初の注目文字とし、これを検索用レイヤーに書き出す。例えば、図４の場合は、検索用レイヤーに、文字列「かき」が生成される。なお、検索用レイヤーに生成された文字列は、文字コードと文字情報として記述されるが、便宜的に文字（例えば、図４では「かき」等）として記載する。

一般的に、行・列間隔より、文字間隔の方が狭いので、最近傍文字を追跡することによって、正しく文字の記述方向を判定できる。すなわち、注目文字に対する最近傍文字を算出し、最近傍文字を算出したら、算出した文字を新しい注目文字として検索用レイヤーに追加する。

また、ＯＣＲ中間データにおいて、注目文字から最近傍文字への移動方向をチェックし、縦書きか横書きかを判定し、縦書きならば検索文字列の間に改行を入力する。

ここで、最近傍文字の算出は、注目文字の座標を（Ｘ_Ｎ，Ｙ_Ｎ）、最近傍文字候補の座標を（Ｘ_Ｎ＋１，Ｙ_Ｎ＋１）とすると、以下の（１）式を最小にする（Ｘ_Ｎ＋１，Ｙ_Ｎ＋１）を求めればよい。

また、縦書き横書きの判定は、具体的には、注目文字の座標を（Ｘ_Ｎ，Ｙ_Ｎ）、最近傍文字の座標を（Ｘ_Ｎ＋１，Ｙ_Ｎ＋１）、ａｂｓ（Ａ）をＡの絶対値とすると、ａｂｓ（Ｘ_Ｎ＋１−Ｘ_Ｎ）＞ａｂｓ（Ｙ_Ｎ＋１−Ｙ_Ｎ）の場合に横書きと判定し、ａｂｓ（Ｘ_Ｎ＋１−Ｘ_Ｎ）＜ａｂｓ（Ｙ_Ｎ＋１−Ｙ_Ｎ）の場合に横書きと判定する。

すなわち、Ｎ文字目を注目文字として、最近傍文字Ｎ＋１を算出したら、算出した文字を新しい注目文字として繰り返し、段組判定結果毎のＯＣＲ結果の文字を注目し、段組判定結果の最初の注目文字の検索用の透明レイヤーに書き込んだら、検索用文字列が完成する。なお、最近傍文字の算出は、注目文字の座標を（Ｘ_Ｎ，Ｙ_Ｎ）、最近傍文字候補の座標を（Ｘ_Ｎ＋１，Ｙ_Ｎ＋１）とすると、以下の式を最小にする（Ｘ_Ｎ＋１，Ｙ_Ｎ＋１）を求める。

例えば、図４の例では図５に示すように、Ｍ段組スタート地点「か」から開始して最近傍文字を求めると、矢印で示すようになり、Ｍ段組の検索文字列は、「か￥ｎき￥ｎく￥ｎけ￥ｎこと￥ｎて￥ｎつ￥ｎち￥ｎた」となり、Ｍ＋１段組の検索文字列は、「あいうえお￥ｎそせしすさ￥ｎなにぬねの」となる。なお、「￥ｎ」は改行コードを示す。

さらに、図５の例の検索文字列「か￥ｎき￥ｎく￥ｎけ￥ｎこと￥ｎて￥ｎつ￥ｎち￥ｎた」と「あいうえお￥ｎそせしすさ￥ｎなにぬねの」を、逆順の検索文字列「た￥ｎち￥ｎつ￥ｎて￥とこ￥ｎけ￥ｎく￥ｎき￥ｎか」と「のねぬにな￥ｎさしすせそ￥ｎおえういあ」を透明レイヤーに追記して、全ての文字列を検索できるようにすることで、更に検索精度を向上することが可能となる。

一方、最近傍文字が２つ以上存在する場合は、それぞれの最近傍文字について検索文字列を透明レイヤーに追加する。例えば、最近傍文字が２つ存在する場合には、縦書きの場合の検索文字列と、横書きの場合の検索文字列と、をそれぞれ透明レイヤーに追加する。この場合には、原稿がスキュー（回転）している場合と、スキュー（回転）していない場合とがあるが、何れにしても、注目文字を左上とした場合に、注目文字から最近傍文字候補群までの移動距離（ベクトル）のＸ成分とＹ成分を算出した時に、Ｘの絶対値｜Ｘ｜が最大になるもののみ連続して採用した場合に横書きとなり、Ｙの絶対値｜Ｙ｜が最大になるもののみ連続して採用した場合に縦書きとなる。

より具体的には、スキューしていない場合は、図６（Ａ）に示す最初の注目文字（図６（Ａ）では「Ｓ」）に対する最近傍文字は、（Ａ）方向の「Ｃ」と、（Ｂ）方向の「Ｃ」の２つがあり、（Ａ）方向への移動距離のＸ方向の絶対値を｜Ｘ_１｜、（Ｂ）方向への移動距離の絶対値を｜Ｘ_３｜（＝０）とすると、｜Ｘ_１｜＞｜Ｘ_３｜なので、横書き文字列を取得するために、（１）の矢印方向に移動し、更に（２）、（５）の矢印方向へ移動するように制限する。

一方、（Ａ）方向への移動距離のＹ方向の絶対値を｜Ｙ_１｜（＝０）、（Ｂ）方向への移動距離の方向の絶対値を｜Ｙ_３｜とすると、｜Ｙ_３｜＞｜Ｙ_１｜なので、縦書き文字列を取得するために、（３）の矢印方向に移動し、更に（４）の矢印方向へ移動するように制限すればよい。また、（Ｃ）まで移動してきたら、最近傍文字は（Ｄ）の一意に決まるので、（Ｄ）へ移動し、更に縦書き文字列の取得制限をかけ、（Ｅ）方向への移動距離の絶対値を｜Ｙ_６｜、（Ｆ）方向への移動距離の絶対値を｜Ｙ_７｜（＝０）とすると、｜Ｙ_６｜＞｜Ｙ_７｜なので、縦書き文字列の取得を継続するために（６）の矢印方向へ移動し、（Ｅ）を取得し、その後（Ａ）の文字を取得後に（２）方向に進んでいけばよい。

また、図６（Ｂ）、（Ｃ）に示すように、スキューしている場合は、最初の注目文字（図６では「Ｓ」）に対する最近傍文字は（Ａ）方向の「Ｃ」と、（Ｂ）方向の「Ｃ」の２つがあり、（Ａ）方向への移動距離のＸ方向の絶対値を｜Ｘ_１｜、（Ｂ）方向への移動距離の絶対値を｜Ｘ_３｜とすると、｜Ｘ_１｜＞｜Ｘ_３｜なので、横書き文字列を取得するために、（１）の矢印方向に移動し、更に（２）、（５）の矢印方向へ移動するように制限する。

一方、（Ａ）方向への移動距離のＹ方向の絶対値を｜Ｙ_１｜、（Ｂ）方向への移動距離の方向の絶対値を｜Ｙ_３｜とすると、｜Ｙ_３｜＞｜Ｙ_１｜なので、縦書き文字列を取得するために、（３）の矢印方向に移動し、更に（４）の矢印方向へ移動するように制限すればよい。また、（Ｃ）まで移動してきたら、最近傍文字は（Ｄ）の一意に決まるので、（Ｄ）へ移動し、更に縦書き文字列の取得制限をかけ、（Ｅ）方向への移動距離の絶対値を｜Ｙ_６｜、（Ｆ）方向への移動距離の絶対値を｜Ｙ_７｜とすると、｜Ｙ_６｜＞｜Ｙ_７｜なので、縦書き文字列の取得を継続するために（６）の矢印方向へ移動し、（Ｅ）を取得し、その後（Ａ）の文字を取得後に（２）方向に進んでいけばよい。

なお、何れの場合も一度取得した文字は、再度取得しないものとする。

続いて、上述のように構成された本発明の第１実施形態に係わる画像形成装置１０の画像処理部２４で行われるＰＤＦ作成時の検索用文字列の作成に関する処理について説明する。図７は、本発明の第１実施形態に係わる画像形成装置１０の画像処理部２４で行われるＰＤＦ作成時の検索用文字列の作成処理の流れの一例を示すフローチャートである。

まず、ステップ１００では、縦書きフラグが０にセットされてステップ１０２へ移行する。

ステップ１０２では、ＯＣＲ中間データが取得されてステップ１０４へ移行する。すなわち、ＯＣＲ処理部３４で生成された文字コードと文字位置情報が記述されたＯＣＲ中間データがＯＣＲ中間データ解析部３６によって取得される。

ステップ１０４では、ＯＣＲ処理によって判定された各段組の左上座標がＯＣＲ中間データ解析部３６によって算出されてステップ１０６へ移行する。

ステップ１０６では、ＯＣＲ中間データ解析部３６によって段組左上座標からの最近傍文字が最初の注目文字に設定されてステップ１０８へ移行する。

ステップ１０８では、ＯＣＲ中間データ解析部３６によって注目文字に対する最近傍文字が算出されてステップ１１０へ移行する。すなわち、上述の（１）式を最小にする（Ｘ_Ｎ＋１，Ｙ_Ｎ＋１）が求められる。

ステップ１１０では、最近傍文字が横方向か否かＯＣＲ中間データ解析部３６によって判定され、該判定が否定された場合にはステップ１１２へ移行し、肯定された場合にはステップ１１６へ移行する。

ステップ１１２では、ＯＣＲ中間データ解析部３６によって、旧縦書きフラグが新縦書きフラグに置き換えられると共に、新縦書きフラグが１にセットされてステップ１１４へ移行して、検索用レイヤーに縦書きを表すための改行コードと注目文字列が追加されてステップ１２０へ移行する。

一方、ステップ１１６では、ＯＣＲ中間データ解析部３６によって、旧縦書きフラグが新縦書きフラグに置き換えられると共に、新縦書きフラグが０にセットされてステップ１１８へ移行して、検索用レイヤーに注目文字列が追加されてステップ１２０へ移行する。

ステップ１２０では、旧縦書きフラグ≠新縦書きフラグか否かがＯＣＲ中間データ解析部３６によって判定され、該判定が肯定された場合にはステップ１２２へ移行し、否定された場合にはステップ１２４へ移行する。

ステップ１２２では、ＯＣＲ中間データ解析部３６によって、検索用文字列が記述方向が変化した文字で文字列が分割されてステップ１２４へ移行する。例えば、図８（Ａ）に示すように、横書き方向に最近傍文字が移動する場合、「お」と「こ」の間や「か」と「さ」の間で記述方向が変化するので、「あいうえお」、「お￥ｎこ」、「こけくきか」、「か￥ｎさ」、「さしすせそ」となり、図８（Ｂ）に示すように、縦書き方向に最近傍文字が移動する場合、「さ」と「し」の間、「い」と「う」の間、「え」と「お」の間で記述方向が変化するので、「あ￥ｎか￥ｎさ」、「さし」、「し￥ｎき￥ｎい」、「いう」、「う￥ｎく￥ｎす」、「すせ」、「せ￥ｎけ￥ｎえ」、「えお」、「お￥ｂこ￥ｎそ」となる。

次にステップ１２４では、全ＯＣＲ結果についてＯＣＲ中間データの解析が終了したか否かＯＣＲ中間データ解析部３６によって判定され、該判定が否定された場合にはステップ１２６へ移行して、ＯＣＲ中間データ解析部３６によって、最近傍文字が次の注目文字に設定されてステップ１０８に戻って上述の処理が繰り返され、ステップ１２４の判定が肯定されたところでステップ１２８へ移行する。

ステップ１２８では、ＯＣＲ中間データ解析部３６によって検索用レイヤーに書き出した文字列群が第１検索文字列とされてステップ１３０へ移行する。

ステップ１３０では、ＯＣＲ中間データ解析部３６によって第１検索文字列群を逆順に書き出した第２検索文字列群が検索用レイヤーに書き出されて一連の処理を終了する。すなわち、図８（Ａ）の場合では、「おえういあ」、「こ￥ｎお」、「かきくけこ」、「さ￥ｎか」、「そせすしさ」が第２検索文字列群として検索用レイヤーに書き出され、図８（Ｂ）の場合では、「さ￥ｎか￥ｎあ」、「しさ」、「い￥ｎき￥ｎし」、「うい」「す￥ｎく￥ｎう」、「せす」、「え￥ｎけ￥ｎせ」、「おえ」、「そ￥ｎこ￥ｎお」が第２検索文字列群として検索用レイヤーに書き出される。

そして、このように作成された検索用レイヤーと、文字画像及び文字画像からなる画像がＰＤＦラッピング部３８によって合成されると共に、ＰＤＦ形式のデータに変換される。なお、検索用レイヤーを合成する際には、元の画像の対応する位置（例えば、対応する段組の最初の文字位置等）に合成する。また、検索用レイヤーに複数の文字列が書き出されている場合には、文字列毎に検索用レイヤーを複数生成して、それぞれ合成するようにしてもよい。

すなわち、本実施形態の画像形成装置で生成されたＰＤＦデータを用いれば、横書きや縦書き、文字記述方向が異なるものが混在していても、従来よりも高い検索精度で、検索文字列に対応する文字列が検索用レイヤーから検索される。

なお、第1実施形態では、画像処理部２４をハードウエア構成として説明したが、これに限るものではなく、図７に示す処理を実行するソフトウエアとしてもよい。

（参考形態）
続いて、参考形態について説明する。図９は、参考形態に係わるコンピュータネットワークシステムの概略構成を示す図である。

第１実施形態では、画像形成装置１０において、検索用レイヤーを作成して元の画像と検索用レイヤーを合成してＰＤＦファイルに変換して、ＰＤＦファイル内の文字列検索を行うようにしたが、本形態では、第１実施形態で説明した、文字コードと文字位置情報を含むＯＣＲ中間データを画像形成装置７８によって元の画像に合成してＰＤＦファイルとして記憶しておき、コンピュータ８０から画像形成装置７８に記憶されたＰＤＦファイルにアクセス、あるいは画像形成装置７８に記憶されたＰＤＦファイルを取得して、ＰＤＦファイルに埋め込まれたＯＣＲ中間データを用いて、従来よりも高い精度で、検索文字に対応する文字列を検索するようにしたものである。

本発明の参考形態に係わるコンピュータネットワークシステム９０は、図９に示すように、コンピュータ８０と画像形成装置７８がインターネットやイントラネット等のネットワーク８２で接続されている。なお、本形態では、コンピュータ８０と画像形成装置７８をネットワーク接続した例を示すが、これに限るものではなく、コンピュータ８０と画像形成装置７８の接続は各種通信手段を適用することができる。

図１０は、参考形態に係わるコンピュータネットワークシステム９０における画像形成装置８０の構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して説明する。

参考形態に係わるコンピュータネットワークシステム９０における画像形成装置８０は、基本的には第１実施形態と同様の構成であり第１実施形態の画像形成装置１０のＯＣＲ中間データ解析部３６が省略された構成とされている。

すなわち、図１０に示すように、画像形成装置７８は、画像入力部１２、操作部１４、ＣＰＵ１６、ＲＡＭ１８、ＲＯＭ２０、表示部２２、画像処理部２５、ハードディスク（ＨＤＤ）２６、及びプリンタ２８がバス３０に接続されている。

画像入力部１２は、例えば、原稿に光を照射してスキャンし、原稿から反射された光をミラーやレンズを通してＣＣＤに集め、ＣＣＤで光電変換された画像信号をＡＤ変換して、デジタル画像データに変換することによって原稿を読み取ることによって画像を入力する。

操作部１４は、画像入力部１２による原稿の読取開始等の各種指示、入力した画像に対する画像処理の各種設定等を行う各種ボタンを備えている。また、操作部１４では、ＰＤＦ形式のデータを作成する際の各種設定等を行うための操作ボタン等も備えている。

表示部２２は、画像入力部１２によって読み取った原稿のレイアウト等を表示したり、各種設定を行うための画面等を表示する。

画像処理部２５は、画像入力部１２によって入力された画像に対して、ＯＣＲ処理を行って文字画像を認識してテキストデータを作成したり、作成したテキストデータを元画像に合成してＰＤＦ形式のデータに変換したりする機能を有している。

参考形態では、画像処理部２５は、画像解析部３０、画像分離部３２、ＯＣＲ処理部３４、ＯＣＲ中間データ解析部３６、ＰＤＦラッピング部３８、画像圧縮部４０、及び画像ファイル作成部４２を有しており、画像入力部１２によって入力された画像を画像解析部３０によって解析することによって画像中の文字や画像のレイアウトを解析し、文字画像と非文字画像を画像分離部３２で分離する。そして、文字画像についてＯＣＲ処理部３４にて文字認識を行ってＯＣＲ中間データを生成する。そして、作成したＯＣＲ中間データをＰＤＦラッピング部３８にて画像と合成してＰＤＦ形式への変換を行うと共に、画像圧縮部４０によって画像を圧縮する。そして、画像ファイル生成部４２が画像ファイルとしてＨＤＤ２６に記憶する。なお、画像処理部２５の詳細な機能は後述する。

ハードディスク（ＨＤＤ）２６は、画像処理部２５によって処理されたデータ（ＰＤＦファイル等）を蓄積し、操作部１４による操作等によってプリンタ２８に蓄積したデータを出力する。

プリンタ２８は、ＨＤＤ２６に記憶されたデータ等に基づく画像を用紙等の記録媒体に形成する。

ＣＰＵ１６は、ＲＯＭ２０に予め記憶されたプログラム等に従って画像形成装置７８を制御する。この時、ＲＡＭ１８はプログラム実行時の作業領域等として機能する。

ここで、画像処理部２５の詳細な機能について説明する。図１１は、参考形態に係わるコンピュータネットワークシステム９０の画像形成装置７８における画像処理部２５の詳細な機能を示す機能ブロック図である。なお、第１実施形態と同一機能については同一符号を付して説明する。

本形態の画像形成装置７８の画像処理部２５では、第１実施形態の画像形成装置１０のＯＣＲ中間データ解析部３６が省略された構成とされ、ＯＣＲ中間データが画像の対応する位置にそのまま透明レイヤー（検索用レイヤー）として合成されてＰＤＦファイルに変換される。

すなわち、本形態の画像処理部２５では、図１１に示すように、入力した画像（スキャンデータ）に対して文字／画像レイアウト解析４４が行われ、画像中の文字や画像のレイアウトが解析される。

また、文字／画像レイアウト解析４４が行われると、文字画像／非文字画像分離４６が行われて、文字画像と非文字画像に分離される。分離された非文字画像は、所定の画質補正７０が行われた後に、画像圧縮７２が行われる。なお、画像圧縮７２は、各種画像圧縮形式を適用可能である。

一方、分離された文字画像は、ノイズ除去４８や文字先鋭化処理５０が行われる。例えば、フィルタ等を用いて文字画像のノイズを除去して、エッジ処理等によって文字画像を先鋭化する。そして、先鋭化された文字画像は、画像圧縮される
また、先鋭化された文字画像は、画像圧縮処理とは別に、正立処理５２、段組判定５４、行列判定５６、文字判定５８、及びＯＣＲ処理６０が行われる。例えば、正立処理５２によって、画像の向きを判定し、判定した向きに応じて、９０度、１８０度、２７０度等の回転を画像に対して行い、特開平１１−２５００４１号公報に記載の技術等を適用して、見出し用の文字列、新聞の段落、段組などを画像分割することで段組判定５４を行い、特許第２８９５１２２号や特開２００４−１０２７９６号に記載の技術等を適用して分割された領域を更に１行、あるいは１列単位に画像分割することによって行列判定５６を行い、分割された領域から、特開２０００−０５７２６１号に記載の技術等を適用して１文字づつ画像分割することによって文字判定５８を行う。そして、ＯＣＲ処理６０では文字領域に分割した部分について、文字認識し、各文字に対応する画像を文字コードと文字位置情報に変換する。

また、ＯＣＲ処理を行う際に、ＯＣＲ中間データとして、文字位置情報と文字コードを文字毎に生成する。なお、ＯＣＲ中間データの一例は、図３（Ａ）に示した通りである。また、図３（Ａ）では、ポストスクリプトで記載された例を示し、図３（Ａ）では、文字コードと文字位置情報の他にフォントや文字サイズなどの情報も記載されたＯＣＲ中間データの一例を示す。

そして、ＯＣＲ中間データが生成されると、テキスト／画像レイヤー合成６６が行われてＰＤＦフォーマット変換６８が行われる。すなわち、文字画像と非文字画像からなるラスタ画像に対して、文字画像の対応する位置にＯＣＲ中間データを透明レイヤー（検索用レイヤー）として検索可能に貼付けて、ＰＤＦ形式のデータに変換される。

図１２（Ａ）は、参考形態に係わるコンピュータネットワークシステムにおけるコンピュータの構成を示すブロック図である。

コンピュータ８０は、ＣＰＵ１５０、主メモリ１５２、表示装置１５４、入力装置１５６、及び記憶装置１５８がバス１６０に接続された一般的な構成とされている。

すなわち、キーボードやマウス等の入力装置１５６によって入力された情報に応じた処理をＣＰＵ１５０が実行して表示装置１５４に表示する。本形態では、記憶装置１５８には、ＯＳ（Operating System）１６２、ファイル検索プログラム１６４、強調表示プログラム１６６等の各種プログラムが記憶されており、これらのプログラムをＣＰＵ１５０が実行することによって、文字列の検索を行って対応する文字列をハイライト表示するようになっている。なお、主メモリ１５２は、ＣＰＵ１５０が各種プログラムを実行する際の作業領域として機能する。

図１２（Ｂ）は、コンピュータ８０の各プログラムの機能を示す機能ブロック図である。

本形態では、ファイル検索プログラム１６４が実行されることによって、検索文字列入力ウィンドウ１６８を表示装置１５４に表示する。そして、検索文字列入力ウィンドウ１６８に検索文字列が入力されると、ファイル検索プログラム１６４によってＯＣＲ中間データ解析１７０が行われて、強調表示プログラム１６６によって検索された文字列のハイライト表示１７２が行われる。

続いて、検索文字列入力ウィンドウを含むユーザインタフェースについて説明する。

一般的なテキスト検索アプリケーションとしては、２つのユーザインタフェースがあり、一方は「全文検索」と呼ばれるタイプのもので、他方は「インクリメンタル検索」と呼ばれるタイプのものである。

「全文検索」は、表示された検索文字入力ボックス等に検索文字列をＭ文字分入力後（Ｍ＝１，２，３，４，・・・）、検索文字入力ボックスの検索ボタン等を操作することによって文字列の検索を開始する。詳細には、検索文字列のＭ文字分の文字コードが、検索対象のテキスト文に対して、１文字目からＭ文字目まで連続で文字コードが一致したら、テキスト文の該当文字列をハイライト表示することによって強調表示し、１文字目からＭ文字目まで連続して文字コードが一致する文字列が存在しなかったら、検索文字入力ボックスの近傍にあるミニウィンドウ等に「ヒットなし」などを表示する。なお、一致した文字列の前後を含めて、ミニウィンドウ等に一覧を表示するものもある。

「インクリメンタル検索」は、表示された検索文字入力ボックス等に検索文字列の１文字目を入力すると、まず１文字目は検索対象のテキスト文左上から最近傍の、当該文字コードを検索し、一致した文字コードが存在した場合には該当する文字コードをハイライト表示することによって強調表示し、続けて、２文字目を検索文字入力ボックスに入力すると、検索対象のテキスト文左上からの最近傍文字から２文字目まで連続して文字コードが一致する文字列が存在したら、テキスト文の該当文字コード２文字をハイライト表示することによって強調表示する。続けて、Ｎ文字目（Ｎ＝３，４，５，６，・・・）以降の入力も同様に、Ｎ文字目を検索文字入力ボックスに入力すると、検索対象のテキスト文左上からの最近傍の１文字目からＮ文字目まで連続して文字コードが一致する文字列が存在したら、テキスト文の該当文字コードＮ文字をハイライト表示することによって強調表示する。１文字目からＮ文字目まで連続で文字コードが一致する文字列あ存在しない場合には、検索文字入力ボックスの近傍のミニウィンドウ等に「ヒットなし」などを表示する。一致するテキスト文の次の一致箇所に移動する検索ボタンが存在するものもある。

なお、本形態では、「全文検索」と「インクリメント検索」の何れを適用するようにしてもよいが、本形態では後者の「インクリメンタル検索」を適用するものとして説明する。

ここで、コンピュータ８０でファイル検索プログラム１６４及び強調表示プログラム１６６を実行することによって行われる文字列の検索について説明する。

画像形成装置７８にアクセスまたは画像形成装置７８で作成されたＰＤＦファイルを取得してファイル検索プログラム１６４が起動されると、上述したように、検索文字列入力ウィンドウ１６８が表示装置１５４に表示される。そして、検索文字列が入力装置１５６によって入力されると、対応する文字列の検索を開始する。

入力された文字列の検索は、ＰＤＦファイルに検索用レイヤーとして埋め込まれたＯＣＲ中間データを用いてテキスト検索を行う。ＯＣＲ中間データは、２次元にレイアウトされたテキストとされており、検索対象のテキストは、左上から右下にかけて検索する。

まず、検索テキストの左上位置に対する最近傍文字を検索するために、検索対象テキストの左上位置（例えば、図１３参照）を算出する必要がある。これは、検索対象のページ内の全ての文字のＸ座標の値の一番小さい数値の文字をＯＣＲ中間データから検索すると共に、検索対象のページ内の全ての文字のＹ座標の値の一番大きい数値の文字をＯＣＲ中間データから検索する。

次に、例えば、検索対象の文字列として「かきくけこ」が入力装置１５６によって入力された場合に、最初の文字「か」について、図１４（Ａ）に示すように、左上最近傍に位置し、かつ文字コードが一致する文字をＯＣＲ中間データから検索し、「か」の文字を検出して、図１４（Ｂ）に示すように、ハイライト表示することによって強調表示する。

続いて、２文字目「き」について、図１５（Ａ）に示すように、「か」から最近傍文字までの距離を計算する。計算方法としては、例えば、文字「か」の座標を（Ｘ_Ｎ，Ｙ_Ｎ）、他の座標を（Ｘ_Ｎ＋１，Ｙ_Ｎ＋１）とすると、第１実施形態で説明した（１）を最小にする（Ｘ_Ｎ＋１，Ｙ_Ｎ＋１）を求める。図１５（Ａ）の例では「き」の文字コードにヒットする。そして、３文字目以降の「く」「け」「こ」についても同様に距離計算を実行して、「かきくけ」の全ての文字コードを検出して、図１５（Ｂ）に示すように、該当文字をハイライト表示することによって強調表示する。

なお、最近傍文字を検索する際には、段落毎に「最大距離」を設定して、「最大距離」を超えない範囲でしか検索しなように制限するようにしてもよい。これによってより精度の高い検索が可能となる。この時、「最大距離」としては、例えば、段落内の全ての文字の最近傍文字までの距離の平均値等を適用することができる。例えば、図１６（Ａ）に示す例では、「かきくてけとこ」と文字が並んでいるが、文字間隔１個分の最大距離の制限をかけると、検索式「かきくけこ」に対しては、この文字列は、図１６（Ｂ）に示すように、「か→き→く」と順番にヒットしていくが、「け」が文字間隔１個分より大きい位置に存在するので、「け」はヒットせずに、検索が終了し、検索結果は「かきく」までとなる。

続いて、上述のように構成されたコンピュータで行われるＰＤＦファイルの文字検索を行う際の処理の流れについて説明する。図１７は、参考形態に係わるコンピュータネットワークシステム９０におけるコンピュータ８０で行われるＰＤＦファイルの文字検索を行う際の処理の流れの一例を示すフローチャートである。

まずステップ２００では、文字検索用のユーザインタフェース（ＵＩ）が表示装置１５４に表示されてステップ２０２へ移行する。

ステップ２０２では、表示装置１５４に表示されたＵＩの検索文字入力ボックス等に１文字目が入力されたか否か判定される。該判定が否定された場合にはステップ２０４へ移行して、検索終了か否か判定される。すなわち、文字検索用のＵＩが閉じられたか否かが判定され、判定が肯定された場合にはそのまま処理を終了し、否定された場合にはステップ２０２へ戻っる。

一方、ステップ２０２の判定が肯定された場合には、ステップ２０６へ移行して、ＰＤＦファイルに合成されたＯＣＲ中間データを用いて、一致文字の全文検索が行われる。すなわち、検索文字入力ボックスに入力された文字の文字コードに対応する文字コードの検索がＯＣＲ中間データから検索される。

ステップ２０８では、文字コードが一致するものがあるか否か判定され、該判定が否定された場合にはステップ２１０へ移行して、検索失敗表示が行われて一連の処理を終了し、ステップ２０８の判定が肯定された場合にはステップ２１２へ移行する。

ステップ２１２では、一致した文字がハイライト表示されることによって強調表示されてステップ２１４へ移行する。

ステップ２１４では、表示装置１５４に表示された検索文字入力ボックスにＮ文字目が入力されたか否か判定され、該判定が否定された場合にはステップ２１６へ移行して、検索終了か否か判定される。すなわち、文字検索用のＵＩが閉じられたか否かが判定され、判定が肯定された場合にはそのまま処理を終了し、否定された場合にはステップ２１４へ戻っる。

一方、ステップ２１４の判定が肯定された場合には、ステップ２１８へ移行して、検索済みの最後の文字が新しい注目文字とされてステップ２２０へ移行する。

ステップ２２０では、注目文字からの最近傍文字が算出されてステップ２２２へ移行する。なお、この時注目文字は、検索済みの文字で複数の場合もあるが、それぞれについて最近傍文字を算出する。

ステップ２２２では、文字コードが一致するか否か判定され、該判定が否定された場合には上述のステップ２１０へ移行し、肯定された場合にはステップ２２４へ移行する。

ステップ２２４では、ＮがＮ＋１とされてステップ２１２に戻って上述の処理が繰り返される。

すなわち、本形態では、画像形成装置７８でＯＣＲ処理を行う際に生成した文字位置情報と文字コードを含むＯＣＲ中間データを検索用レイヤーとして元の画像に合成して４ＰＤＦファイル変換しておき、コンピュータ８０で文字検索を行う際に、ＯＣＲ中間データを用いることでＰＤＦファイルの文字列の検索が可能となる。この時、最近傍の文字を算出しながら文字検索するので、従来よりも高い検索精度で、検索文字列に対応する文字列の検索が行われる。

なお、参考形態における、図１７の処理はファイル検索プログラムや強調表示プログラムを実行することにより行われるものであるが、ハードウエア構成として、図１７の処理を行うようにしてもよい。

本発明の第１実施形態に係わる画像形成装置の構成を示すブロック図である。 本発明の第１実施形態に係わる画像形成装置における画像処理部の詳細な機能を示す機能ブロック図である。 （Ａ）はＯＣＲ中間データの一例を示す図であり、（Ｂ）は統計レイヤー（検索用レイヤー）を説明するための図である。 段組判定結果の左上から最近傍文字の検索の一例を示す図である。 Ｍ段組スタート地点から最近文字を求めた結果の一例を示す図である。 （Ａ）は画像がスキューしていない場合の最近傍文字が２つ存在する際の透明レイヤーの作成方法の一例を示す図であり、（Ｂ）及び（Ｃ）は画像がスキューしている場合の最近傍文字が２つ存在する際の透明レイヤーの作成方法の一例を示す図である。 本発明の第１実施形態に係わる画像形成装置の画像処理部で行われるＰＤＦ作成時の検索用文字列の作成処理の流れの一例を示すフローチャートである。 （Ａ）は横書きの場合に検索用文字列の記述方向が変化した場合に文字列の分割を説明するための図であり、（Ｂ）は縦書きの場合に検索用文字列の記述方向が変化した場合に文字列の分割を説明するための図である。 本発明の第２実施形態に係わるコンピュータネットワークシステムの概略構成を示す図である。 参考形態に係わるコンピュータネットワークシステムにおける画像形成装置の構成を示すブロック図である。 参考形態に係わる画像形成装置における画像処理部の詳細な機能を示す機能ブロック図である。 （Ａ）は参考形態に係わるコンピュータネットワークシステムにおけるコンピュータの構成を示すブロック図であり、（Ｂ）はコンピュータの各プログラムの機能を示す機能ブロック図である。 検索対象テキストの左上位置や座標を説明するための図である。 （Ａ）は文字列の検索開始を説明するための図であり、（Ｂ）は検索した文字のハイライト表示の例を示す図である。 （Ａ）は文字列の検索を説明するための図であり、（Ｂ）は検索した文字列のハイライト表示の例を示す図である。 （Ａ）は最近傍文字の検索の際に、「最大距離」を設定した場合を説明するための図であり、（Ｂ）は「最大距離」の制限によって検索が終了した場合の一例を説明するための図である。 参考形態に係わるコンピュータネットワークシステムにおけるコンピュータで行われるＰＤＦファイルの文字検索を行う際の処理の流れの一例を示すフローチャートである。

符号の説明

１０、７８ 画像形成装置
２４ 画像処理部
４４ 文字／画像レイアウト解析
４６ 文字画像／非文字画像分離
５４ 段組判定
５６ 行列判定
５８ 文字判定
６０ ＯＣＲ処理
６２ ＯＣＲ中間データ解析
６４ ＯＣＲ結果テキスト貼付け位置決め
６６ テキスト／画像レイヤー合成
６８ ＰＤＦフォーマット変換
８０ コンピュータ
１６４ ファイル検索プログラム
１６６ 強調表示プログラム
１６８ 検索文字列入力ウィンドウ
１７０ ＯＣＲ中間データ解析
１７２ 文字列ハイライト

Claims (6)

1. 文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を文字情報及び文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識手段と、
   前記文字認識手段によって得られる前記文字認識結果を解析し、注目文字からの最近傍文字を算出する算出手段と、
   前記算出手段によって算出された前記最近傍文字が１つの場合に、注目文字の前記文字情報と前記算出手段の算出結果に対応する前記文字情報とを有する文字列を文字検索のための検索用レイヤーとして生成し、前記算出手段によって算出された前記最近傍文字が２以上の場合には、前記最近傍の文字毎にそれぞれ前記検索用レイヤーを生成する生成手段と、
   前記生成手段によって生成された前記検索用レイヤーを文字検索可能なように前記画像を表すデータに合成する合成手段と、
   を備えたデータ処理装置。
2. 前記生成手段は、前記文字列と、該文字列と記述方向を逆にした文字列と、を前記検索用レイヤーとして生成することを特徴とする請求項１に記載のデータ処理装置。
3. 前記生成手段は、前記算出手段によって最近傍文字を順次算出して前記検索用レイヤーを生成する際に、前記最近傍文字の方向が変化した場合に、前記方向が変化したところで文字列を分割して前記検索用レイヤーを生成することを特徴とする請求項１又は請求項２に記載のデータ処理装置。
4. 文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識ステップと、
   前記文字認識ステップで得られる前記文字認識結果を解析し、注目文字からの最近傍文字を算出する算出ステップと、
   前記算出ステップで算出した前記最近傍文字が１つの場合に、注目文字の前記文字情報と前記算出手段の算出結果に対応する前記文字情報とを有する文字列を文字検索のための検索用レイヤーとして生成し、前記算出ステップで算出した前記最近傍文字が２以上の場合には、前記最近傍の文字毎にそれぞれ前記検索用レイヤーを生成する生成ステップと、
   前記生成ステップで生成した前記検索用レイヤーを文字検索可能なように前記画像を表すデータに合成する合成ステップと、
   を含む処理をコンピュータに実行させるデータ処理プログラム。
5. 前記生成ステップは、前記文字列と、該文字列と記述方向を逆にした文字列と、を前記検索用レイヤーとして生成することを特徴とする請求項４に記載のデータ処理プログラム。
6. 前記生成ステップは、前記算出ステップで順次最近傍文字を算出して前記検索用レイヤーを生成する際に、前記最近傍文字の方向が変化した場合に、前記方向が変化したところで文字列を分割して前記検索用レイヤー生成することを特徴とする請求項４又は請求項５に記載のデータ処理プログラム。

Images