JP4807618B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、文書を電子化してファイリングする際に適用して好適な画像処理装置及び画像処理プログラムに関する。

近年、紙媒体に印刷された文書（紙文書）をスキャナで読み取って文書データに電子化し、この文書データをハードディスク等に蓄積して活用する機会が多くなっている。こうして蓄積した文書データの活用性を高めるために、各々の文書データに何らかの属性情報を付与することが一般的に行なわれている。属性情報の代表的な例としては、文書検索のためのキーワードが挙げられる。属性情報としてキーワードを登録する場合は、文書データを蓄積するときにユーザがキーボードで所望のキーワードを入力すれば登録可能である。ただし、大量の文書データを取り扱う場合は、それに応じてキーワードの登録数も増えるため、キーボードでキーワードを入力する方式ではユーザの負担が大きくなる。

そこで、ユーザが手軽に属性情報を付与する仕組みとして、例えば下記特許文献１には、文書内の重要な部分（ポイントとなる部分）に蛍光ペンで印を付けた文書をイメージスキャナで読み取る場合に、印を付けた部分をＯＣＲ(Optical Character Reader)処理して単語に分割し、その単語をキーワードとしてインデックス部に登録する技術が記載されている。この技術によれば、ユーザがキーボードでいちいちキーワードを入力する必要がなくなるため、キーワードの登録にかかるユーザの負担が軽くなる。

特開平５−２３３７０５号公報

しかしながら、上記従来の技術では、文書中に印を付けた部分を対象にＯＣＲ処理を行なってキーワードを登録するため、紙文書に印を付ける際に、キーワードとして登録したい単語を含む文字列を正確にマーキングする必要がある。これに対して、紙文書への印付けは蛍光ペン等を用いたユーザの手作業により行なわれるため、例えば、大量の紙文書に印を付与する場合や、時間に追われて印を付与する場合などでは、印の付け方が雑になりやすい。このため、ユーザが意図した文字から印の一部が外れたり、印の始端や終端の位置が文字列（単語）の途中にかかったりすることがある。そうした場合、従来の技術では、キーワードの登録に際して、必要な文字が抜けたり、余分な文字が含まれたりするため、ユーザが意図したとおりのキーワードを登録できなくなる。

本発明は、上記課題を解決するためになされたもので、その目的とするところは、ユーザが文書中に付した印の位置に多少のズレがあっても、ユーザが意図した文字列を確実に抽出することができる画像処理装置及び画像処理プログラムを提供することにある。

本発明に係る画像処理装置は、文書データを入力する文書入力手段と、この文書入力手段で入力された文書データを用いて、文書中に含まれる文字列の位置を特定する第１の特定手段と、文書入力手段で入力された文書データを用いて、文書中に付された印の範囲を文字列の配列方向で特定する第２の特定手段と、第１の特定手段で特定した文字列の位置と第２の特定手段で特定した印の範囲に基づいて、印の対象とされた文字列を抽出する文字列抽出手段とを備えるものである。

本発明に係る画像処理プログラムは、コンピュータに、文書データを入力する文書入力工程と、文書入力工程で入力された文書データを用いて、文書中に含まれる文字列の位置を特定する第１の特定工程と、文書入力工程で入力された文書データを用いて、文書中に付された印の範囲を文字列の配列方向で特定する第２の特定工程と、第１の特定工程で特定した文字列の位置と第２の特定工程で特定した印の範囲に基づいて、前記印の対象とされた文字列を抽出する文字列抽出工程とを含む処理を実行させるものである。

本発明に係る画像処理装置及び画像処理プログラムにおいては、入力された文書データを用いて、文書中に含まれる文字列の位置を特定するとともに、文書中に付された印の範囲を文字列の配列方向で特定し、これらの特定情報に基づいて、印の対象とされた文字列を抽出する。このため、ユーザが意図した文字から印の一部が外れていた場合でも、その文字を、印の対象とされた文字列に含めて抽出することが可能となる。

本発明の画像処理装置及び画像処理プログラムによれば、ユーザが文書中に付した印の位置に多少のズレがあっても、ユーザが意図した文字列を確実に抽出することができる。このため、印付けでユーザが意図した文字列を文書データの属性情報として登録することが可能となる。

以下、本発明の具体的な実施の形態について図面を参照しつつ詳細に説明する。

図１は本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。図１において、文書入力部１は、電子化されたビットマップ形式の文書データを入力するものである。文書入力部１は、例えば、紙文書の画像を光学的に読み取って文書データに変換（電子化）するイメージスキャナ、あるいはイメージスキャナから出力される文書データをケーブル等を介して取り込む入力インターフェース等によって構成されるものである。

文書入力部１から入力される文書データの元になるオリジナルの紙文書には、予め文書中に印が付されているものとする。また、この印付けは、文書中で属性情報の登録対象となる文字列を、半透明の蛍光性インクを内蔵した蛍光ペン、ラインマーカーなどを用いて塗りつぶす方式で行なわれるものとする。蛍光性インクの色には、黄色、水色、ピンク色、オレンジ色、黄緑色、青色、赤色、緑色など様々な色がある。紙文書が白黒印刷された文書であれば、印付けにいずれの色を採用してもよいが、文字の可読性を考慮すると、濃色系よりも淡色系（黄色、水色、ピンク色などを）を採用した方がよい。また、紙文書がカラー印刷された文書であれば、カラー印刷で紙面に表現された色と異なる色を採用して印付けを行なうものとする。

文字認識部２は、文書入力部１から入力される文書データを用いて、当該文書データの文書中に含まれる文字を認識するものである。文字位置検出部３は、文字認識部２で認識された文字の位置を検出するものである。文字列位置特定部４は、文字認識部２で認識された文字で表される文章を単語単位の文字列に区分するとともに、文字位置検出部３で検出された文字の位置情報に基づいて、各々の文字列の位置を特定するものである。

印画素抽出部５は、文書入力部１から入力される文書データを用いて、当該文書データの文書中に付された印を表す画素（以下、「印画素」とも記す）を抽出するものである。印画素抽出部５には、文書中に付される印の色に合わせて、抽出すべき画素の色情報が設定されている。例えば、印付けに用いられる蛍光性インクの色が黄色であれば、抽出すべき画素の色情報が、蛍光性インクの黄色に合わせた色情報で設定される。また、複数の色を用いて文書中に印を付す場合は、それらの印の色を、抽出すべき画素の色情報として設定するとともに、それぞれの印の色と文書登録時の属性情報の関係を対応付けておく。例えば、印の色に黄色とピンク色と水色を用いる場合は、それぞれの色で印が付された文字列が、どのような属性情報（例えば、文書検索のためのキーワード、文書のファイル名、作成日時、作成者など）を表すものであるかを対応付けておく。

連結画素領域抽出部６は、印画素抽出部５で抽出された印画素のうち、互いに連結する印画素同士を連結画素として判定するとともに、同じ連結グループに属する複数（多数）の連結画素によって占められる画素領域を連結画素領域として抽出するものである。方向特定部７は、文書中に付された印の方向を特定するものである。印端特定部８は、方向特定部７で特定した印の方向と連結画素領域抽出部６で抽出した連結画素領域の範囲に基づいて、印の始端及び終端を特定するものである。印範囲特定部９は、印端特定部８で特定した印の始端及び終端に基づいて、印の範囲を文字列の配列方向で特定するものである。

文字列抽出部１０は、文字列位置特定部４で特定した文字列の位置と印範囲特定部９で特定した印の範囲に基づいて、印の対象とされた文字列を抽出するものである。文書登録部１１は、文書入力部１から入力された文書データをデータベース部１２に登録するとともに、当該文書データの登録に際して、文字列抽出部１０で抽出した文字列を当該文書データの属性情報としてデータベース部１２に登録するものである。データベース部１２は、例えばハードディスク等の大容量のデータ記憶装置を用いて構成されるものである。

上述した各々の構成要素のうち、文字認識部２、文字位置検出部３及び文字列位置特定部４は、本発明における「第１の特定手段」、すなわち文書入力部（文書入力手段）１で入力された文書データを用いて、文書中に含まれる文字列の位置を特定する手段を構成するものである。また、印画素抽出部５、連結画素領域抽出部６、方向特定部７、印端特定部８及び印範囲特定部９は、本発明における「第２の特定手段」、すなわち文書入力部（文書入力手段）１で入力された文書データを用いて、文書中に付された印の範囲を文字列の配列方向で特定する手段を構成するものである。

続いて、本発明の実施形態に画像処理装置を用いた画像処理方法について、図２のフローチャートを用いて説明する。この画像処理方法は、ＲＯＭ（Read Only Memory）あるいはハードディスク等に格納された画像処理プログラムをＣＰＵ（Central Processing Unit）がＲＡＭ（Random Access Memory）に読み出して実行することにより実現されるものである。画像処理プログラムは、予め画像処理装置にインストールされていてもよいし、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に格納して提供されてもよい。また、画像処理プログラムは、記録媒体を使用せずに、有線あるいは無線などの通信網を介して提供されてもよい。

まず、文書入力部１から文書データを入力する（ステップＳ１）。文書データの入力は、予め文書中に印が付された紙文書の画像を光学的に読み取って得られる文書データを取り込むことで行なう。次に、先ほど入力された文書データを用いて、文書中に含まれる文字列の位置を特定する処理（ステップＳ２）と、文書中に付された印の範囲を特定する処理（ステップＳ３）を行なう。なお、ステップＳ２の処理とステップＳ３の処理は、どちらを先に行なっても良いし、並列処理で同時進行的に行なってもよい。

文字列の位置を特定する処理（ステップＳ２）は、第１の特定手段を構成する文字認識部２、文字位置検出部３及び文字列位置特定部４によって行なわれる処理である。その際、文字認識部２は、公知の文字認識技術（例えば、ＯＣＲ処理）により、文書中に含まれる各々の文字を１文字ずつ認識するとともに、当該認識した各々の文字をテキストコードに変換する。また、文字位置検出部３は、文書中に含まれる文字の位置を１文字ずつ座標データで検出する。例えば、図３に示すように、文字認識部２でテキストコードに変換した文字が“あ”であれば、この文字に外接する矩形領域の位置を示す座標データ(x11,y11)-(x12,y12)を、当該文字の位置情報として検出する。

文字列位置特定部４は、文字認識部２でテキストコードに変換された各々の文字に関して形態素解析を行なうことにより、文書中に含まれる文字列を単語単位に区分するとともに、各々の単語を表す文字列の位置を、上記文字位置検出部３で検出した座標データを用いて特定するものである。例えば、図４に示すように、「イメージファイルを行う文書の登録を行うときあらかじめ業務に精通している」という文字列であれば、この文字列を「イメージファイル」「を」「行う」「文書」「の」「登録」「を」「行うとき」「あらかじめ」「業務」「に」「精通」「している」という単語に区分する。また、例えば「あらかじめ」のように複数の文字からなる単語を表す文字列に関しては、図５に示すように、当該文字列の先頭に位置する“あ”の文字の座標データ(x11,y11)-(x12,y12)と最後尾に位置する“め”の文字の座標データ(x51,y51)-(x52,y52)に基づいて、当該文字列の位置をコーナーの座標データ(x11,y11)-(x52,y52)で特定する。

一方、印の範囲を特定する処理（ステップＳ３）は、第２の特定手段を構成する印画素抽出部５、連結画素領域抽出部６、方向特定部７、印端特定部８及び印範囲特定部９によって行なわれる処理である。その際、印画素抽出部５は、予め設定された色情報に適合する画素値を有する画素を印画素として抽出する。例えば、印画素抽出部５で抽出すべき画素の色情報が、黄色の蛍光性インクに合わせて設定されている場合は、黄色の蛍光性インクに適合する画素値を有する画素を印画素として抽出する。

連結画素領域抽出部６は、印画素抽出部５で抽出された印画素のうち、互いに連結する印画素同士を連結画素として判定するとともに、同じ連結グループに属する複数の連結画素によって占められる画素領域を連結画素領域として抽出する。印画素同士が連結しているかどうかは、例えば、次のような手法で判定することが可能である。すなわち、１つの印画素を中心（注目画素）として、所定のサイズ（ｍ×ｎ画素サイズ）のウィンドウを設定し、このウィンドウ内に、注目画素と同じ色を有する他の印画素が存在すれば、それら２つの印画素が互いに連結していると判断する。これにより、見かけ上、１本のラインでつながった印を表す画素は、全て同じ連結グループに属する連結画素として判定される。また、文書中に複数の箇所にわたって印が付されている場合は、それらの印と同じ数だけ連結画素領域が抽出される。

方向特定部７は、文書中に付された印の方向を特定する。一般に、印の方向は、文書中の文字の配列方向に沿うものとなる。例えば、横書きの文書であれば、各々の文字が横方向に配列されるため、それに合わせて印も横方向に引かれ、縦書きの文書であれば、各々の文字が縦方向に配列されるため、それに合わせて印も縦方向に引かれる。また、横書きの文書の場合は、単語を構成する複数の文字の配列方向が横方向になり、縦書きの文書の場合は、単語を構成する複数の文字の配列方向が縦方向になる。そこで、方向特定部７においては、上述した文字列位置特定部４で文字列を単語単位に区分したときに、単語を構成する複数の文字の配列方向を印の方向として特定する。また、これ以外にも、例えば連結画素判定部５で連結画素と判定された同一グループに属する画素群を、当該画素群に外接する矩形の領域で取り囲み、この矩形の領域の長手方向を印の方向として特定してもよい。

印端特定部８は、方向特定部７で特定した印の方向において、連結画素領域抽出部６で抽出した連結画素領域の一端と他端をそれぞれ印の始端及び終端として特定する。例えば、図６に示すように、方向特定部７で特定した印の方向がＸ方向であった場合は、このＸ方向において、連結画素領域抽出部６で抽出した連結画素領域の一端Ｐ１及び他端Ｐ２をそれぞれ印の始端及び終端として特定する。

印範囲特定部９は、印端特定部８で特定した印の始端Ｐ１及び終端Ｐ２に基づいて、印が文字列の配列方向（実際に文字が並んでいる領域）でどこからどこまでの範囲に付されたものであるかを特定する。例えば、図７に示すように、印Ｍが付された文書中の文字列がＸ１方向に沿って配列されている場合は、この文字列の配列方向（配列領域）Ｘ１で印Ｍの始端Ｐ１から終端Ｐ２までの範囲を、当該印の範囲Ｅとして特定する。つまり、印Ｍが途中で曲がっている場合でも、この曲がりを無視して、実際に文字列が配列されている領域（行／列）で印の範囲Ｅを特定する。

このように文字列の配列方向Ｘ１で印の範囲Ｅを特定することにより、ユーザが文書中に付した印の位置が、印の途中でユーザの意図する位置からずれていても、その位置ずれに左右されることなく、ユーザが意図した印の範囲を適切に特定することができる。このため、印Ｍの途中で当該印Ｍから外れた文字があっても、この文字を含んだ範囲を印の範囲Ｅとして特定することができる。また、文書中に付された印Ｍが縦／横いずれの方向で付されたものであるかを特定し、この印の方向で連結画素領域の一端と他端をそれぞれ印の始端Ｐ１及び終端Ｐ２として特定することにより、ユーザがどこからどこまでを意図して印を付したかを適切に特定することができる。

続いて、文字列抽出部１０は、文字列位置特定部４で特定した文字列の位置と印範囲特定部９で特定した印の範囲に基づいて、印の対象とされた文字列を抽出する。具体的には、文字列位置特定部４で位置を特定した文字列の中から、印範囲特定部９で特定した印の範囲に含まれる文字列を、印の対象とされた文字列として抽出する（ステップＳ４）。例えば、上記図７に示すように、文字列の配列方向Ｘ１で印の範囲Ｅを特定した場合は、当該印の範囲Ｅに含まれる文字列を、印の対象とされた文字列として抽出する。印の範囲に含まれ文字列とは、少なくとも文字列の一部が印の範囲に重なり合う文字列をいう。

ここで、印Ｍの始端Ｐ１は「イメージファイル」という所定の単語を表す所定の文字列の途中に位置し、印Ｍの終端Ｐ２は「している」という所定の単語を表す所定の文字列の途中に位置している。そうした場合、文字列抽出部１０は、予め設定された抽出条件に基づいて、それらの文字列を「印の対象とされた文字列」として抽出するか否かを決定する。

抽出条件としては、上述した「イメージファイル」、「している」といった所定の文字列が、印範囲特定部９で特定した印の範囲Ｅに重なる部分と重ならない部分の比率で規定する場合が考えられる。この場合、印範囲特定部９で特定した印の範囲Ｅに対して、文字列位置特定部４で特定した文字列の位置を重ね合わせることにより、印の範囲Ｅの重なる文字列の部分と重ならない文字列の部分を判別する。そして、所定の文字列が半分以上の比率で印の範囲Ｅに重なる場合は、当該文字列を「印の対象とされた文字列」として抽出し、それ以外は抽出しないようにする。

上記の抽出条件を適用すると、「イメージファイル」という文字列の場合は、印の範囲Ｅに重なる部分（「メージファイル」の文字部分）が重ならない部分（「イ」の文字部分）よりも高い比率となる。このため、文字列抽出部１０では、「イメージファイル」という所定の文字列を「印の対象とされた文字列」として抽出する。これに対して、「している」という文字列の場合は、印の範囲Ｅに重なる部分（「し」の文字部分）が重ならない部分（「ている」の文字部分）よりも低い比率となる。このため、文字列抽出部１０では、「している」という所定の文字列を「印の対象とされた文字列」として抽出しない。

この結果、文字列抽出部１０においては、印付けでユーザが意図したとおりの文字列、すなわち「イメージファイルを行う文書の登録を行うときあらかじめ業務に精通」といった文字列が抽出されることになる。ちなみに、従来技術の手法を採用した場合は、印を付けた部分を対象にＯＣＲ処理を行なうため、「メージ」と「あらかじめ業務に精通し」といった文字列が抽出されることになる。

また、上記以外の抽出条件としては、所定の文字列で表される単語の種類で規定する場合が考えられる。例えば、単語の種類を自立語（名詞、動詞を含む）と付属語（助詞を含む）に分けるものとすると、所定の文字列で表される単語の種類が自立語であれば、これを印の対象とされた文字列として抽出し、「付属語」であれば抽出しない、という条件で、文字列の抽出可否を決定する。ここで例示した２つの抽出条件は、それぞれ単独で採用してもよいし、組み合わせで採用してもよい。また、印端特定部８で特定した印の始端Ｐ１と終端Ｐ２で個別に抽出条件を設定してもよい。

このように予め設定された抽出条件に基づいて文字列の抽出可否を決定することにより、ユーザが文書中に付した印の端がユーザの意図する位置から若干ずれていた場合でも、ユーザが意図した文字列を適切に抽出することができる。

その後、文書登録部１１は、文書入力部１から入力された文書データをデータベース部１２に登録するとともに、当該文書データの登録に際して、文字列抽出部１０で抽出した文字列を当該文書データの属性情報としてデータベース部１２に登録する（ステップＳ５）。この場合、文書データと属性情報は互いに対応付けて登録される。また、文書データの属性情報が、例えば、文書検索のためのキーワードの他に、文書のファイル名や作成日時などのように複数の異なる属性情報を表すものであれば、１つの文書データに対して複数の異なる属性情報を対応付けて登録する。これにより、印付けでユーザが意図した文字列を文書データの属性情報として登録することができる。

このように本発明の実施形態に係る画像処理装置及び画像処理プログラムにおいては、文書入力部１から入力された文書データを用いて、文書中に含まれる文字列の位置を特定するとともに、文書中に付された印の範囲を文字列の配列方向で特定し、それらの特定情報に基づいて、印の対象とされた文字列（文書データの属性情報となる文字列）を抽出するため、例えば、ユーザが文書中に蛍光ペン等で印を付与するときに、印の途中でユーザが意図した文字から印の一部が外れていた場合でも、その文字を、印の対象とされた文字列に含めて抽出することができる。このため、紙文書への印付けでユーザが意図した文字列を確実に抽出することができる。

また、ユーザが印を付与する際の位置ズレにより、ユーザが意図した文字列の範囲よりも若干長い範囲で印が付された場合や、ユーザが意図した文字列の範囲よりも若干短い範囲で印が付された場合でも、ユーザが意図した文字列を過不足なく抽出することができる。このため、印付けでユーザが意図したとおりの文字列を文書データの属性情報として登録することが可能となる。

なお、文書データの入力に用いられる文書（紙文書）は、オフィス文書だけでなく、例えば、雑誌やポスターなどであってもよい。

本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の実施形態に係る画像処理方法を示すフローチャートである。 文字の位置を検出する処理を説明する図である。 文字列を単語で区分した例を示す図である。 文字列の位置を特定する処理を説明する図である。 印の範囲を特定する処理を説明する図である。 文字列の配列方向で特定される印の範囲を示す図である。

符号の説明

１…文書入力部、２…文字認識部、３…文字位置検出部、４…文字列位置特定部、５…印画素抽出部、６…連結画素領域抽出部、７…方向特定部、８…印端検出部、９…印範囲特定部、１０…文字列抽出部、１１…文書登録部、１２…データベース部

Claims (7)

1. 文書データを入力する文書データ入力手段と、
   前記文書データ入力手段で入力された文書データを用いて、文書中に含まれる文字列の位置を特定する第１の特定手段と、
   前記第１の特定手段で特定された文字列の位置を単語単位で特定したときに、単語を構成する複数の文字の配列方向を、ユーザによって文書中に付された印の方向とし、当該印の方向について印の範囲を特定する第２の特定手段と、
   前記第２の特定手段で特定した前記印の範囲を規定する、当該印の始端及び終端のうちの少なくとも一方が、前記第１の特定手段で位置を特定した文字列の中で所定の単語を表す所定の文字列の途中に位置する場合に、前記所定の文字列を、ユーザが印を付した対象である文字列として抽出するか否かを予め設定された抽出条件に基づいて決定し、前記抽出条件を満たす場合に前記所定の文字列を抽出する文字列抽出手段と
   を備えることを特徴とする画像処理装置。
2. 前記文字列抽出手段で抽出した前記文字列を前記文書データの属性情報として登録する登録手段を備える
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記文字列抽出手段は、前記第１の特定手段で位置を特定した文字列の中から、前記第２の特定手段で特定した前記印の範囲に含まれる文字列を、ユーザが印を付した対象である文字列として抽出する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記抽出条件は、前記所定の文字列が前記印の範囲に重なる部分と重ならない部分の比率で規定される
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記抽出条件は、前記所定の文字列で表される単語の種類で規定される
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記第２の特定手段は、
   前記文書中に付された印を表す画素同士を連結した連結画素領域を抽出する連結画素領域抽出手段と、
   前記第１の特定手段で特定された文字列の位置を単語単位で特定したときに、単語を構成する複数の文字の配列方向を前記文書中に付された印の方向として特定する方向特定手段と、
   前記方向特定手段で特定した前記印の方向における、前記連結画素領域抽出手段で抽出した前記連結画素領域の一端及び他端を、前記印の始端及び終端として特定する印端特定手段と、
   前記方向特定手段で特定した前記印の方向における、前記印端特定手段で特定された印の始端から終端までの範囲を、当該印の範囲として特定する印範囲特定手段と
   を有することを特徴とする請求項１記載の画像処理装置。
7. コンピュータに、
   文書データを入力する文書データ入力工程と、
   前記文書データ入力工程で入力された文書データを用いて、文書中に含まれる文字列の位置を特定する第１の特定工程と、
   前記第１の特定工程で特定された文字列の位置を単語単位で特定したときに、単語を構成する複数の文字の配列方向を、ユーザによって文書中に付された印の方向とし、当該印の方向について印の範囲を特定する第２の特定工程と、
   前記第２の特定工程で特定した前記印の範囲を規定する、当該印の始端及び終端のうちの少なくとも一方が、前記第１の特定工程で位置を特定した文字列の中で所定の単語を表す所定の文字列の途中に位置する場合に、前記所定の文字列を、ユーザが印を付した対象である文字列として抽出するか否かを予め設定された抽出条件に基づいて決定し、前記抽出条件を満たす場合に前記所定の文字列を抽出する文字列抽出工程と
   を含む処理を実行させるための画像処理プログラム。

Images