JP4682663B2 - ドキュメント処理装置 - Google Patents

Description

本発明は、文字情報を含むドキュメントを処理するドキュメント処理装置に関する。

文字コードデータを含むドキュメントについて、文書の概要を把握するために、当該電子文書の一部を表示させることは広く行われている。この技術によれば、電子文書の内容を全て表示させることなく、文書の概要を利用者が容易に把握できる。

また、ドキュメントのサムネイルを作成して、当該サムネイルの一覧を表示し、ドキュメントの選択を支援することも広く行われている（例えば特許文献１）。このとき、指定した検索キーワードを含むドキュメントのサムネイルだけを一覧表示することも行われている。
特開２００４−３５６８３１号公報

しかしながら、上記従来の技術においては、指定した検索キーワードを含むドキュメントについて、そのサムネイルの一覧が表示されるだけであり、実際に検索キーワードがどこに含まれているかは、一旦、各ドキュメントの内容を表示させてから行うこととなり、利便性が低い。

本発明は、上記実情に鑑みてなされたもので、その目的の一つは、利用者の利便性を向上できるドキュメント処理装置を提供することにある。

上記従来例の問題点を解決するための本発明は、ドキュメント処理装置であって、文字情報を含むドキュメントを処理対象として、当該ドキュメントに包含される文字情報から、指定された検索文字列に合致する部分を特定する手段と、検索文字列に合致する部分を特定する情報を、合致部分特定情報として前記ドキュメントに関連づけて保持する手段と、を含み、前記処理対象となったドキュメントの少なくとも一部を一覧表示する際に、各ドキュメントに関連付けて保持されている、合致部分特定情報に基づく所定の表示処理が行われることを特徴としている。

ここで前記処理対象となったドキュメントが、前記文字情報を画像データとして含む場合には、当該画像データのうち、文字情報を含む領域を特定し、当該特定した領域について文字認識処理を実行して文字列データを生成し、当該文字列データを利用して、前記検索文字列に合致する部分を特定する処理を行うこととしてもよい。

さらに、本発明の一態様に係るドキュメント処理方法は、文字情報を含むドキュメントを処理対象として、当該ドキュメントに包含される文字情報から、指定された検索文字列に合致する部分を特定する工程と、検索文字列に合致する部分を特定する情報を、合致部分特定情報として前記ドキュメントに関連づけて保持する工程と、を実行し、前記処理対象となったドキュメントの少なくとも一部を一覧表示する際に、各ドキュメントに関連付けて保持されている、合致部分特定情報に基づく所定の表示処理が行われることを特徴としている。

さらに本発明の別の態様に係るプログラムは、コンピュータに、文字情報を含むドキュメントを処理対象として、当該ドキュメントに包含される文字情報から、指定された検索文字列に合致する部分を特定する手順と、検索文字列に合致する部分を特定する情報を、合致部分特定情報として前記ドキュメントに関連づけて保持する手順と、前記処理対象となったドキュメントの少なくとも一部を一覧表示する際に、各ドキュメントに関連付けて保持されている、合致部分特定情報に基づく所定の表示処理を行う手順と、を実行させることを特徴としている。

本発明の好適な実施の形態について、図面を参照しながら説明する。本発明の実施の形態に係るドキュメント処理装置は、図１に示すように、制御部１１と、記憶部１２と、画像読取部１３と、表示部１４と、操作部１５とを含んで構成されている。

ここで、制御部１１は、例えばＣＰＵ等で構成されており、記憶部１２に格納されているプログラムに従って動作する。この制御部１１は、文字情報を含むドキュメントを処理対象として、当該ドキュメントに包含される文字情報から、指定された検索文字列のそれぞれに合致する部分を特定する検索処理を実行し、各検索文字列ごとに、合致する部分を特定する情報を、合致部分特定情報としてドキュメントに関連づけて保持させる。そして、処理対象となったドキュメントの少なくとも一部を一覧表示する際に、各ドキュメントに関連付けて保持されている、合致部分特定情報に基づく所定の表示処理（一覧表示処理）を実行する。この制御部１１の処理の内容については、後に詳しく述べる。

記憶部１２は、ＲＡＭやＲＯＭ等のメモリ素子及び／又はディスクデバイスなどを含んで構成されている。この記憶部１２には、制御部１１によって実行されるプログラムが格納されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。

画像読取部１３は、例えばスキャナ等であり、媒体に形成されている画像を読み取って得られた画像データを制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１からの指示に従って、情報の表示を行う。操作部１５は、キーボードやマウス等であり、利用者の指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。

［ドキュメントの生成］
ここで制御部１１の具体的な処理の内容について説明する。本実施の形態では、処理対象となるドキュメントは、例えば画像読取部１３にて読み取られて入力される。なお、ドキュメントは複数のページを含んでもよい。

すなわち制御部１１は、ページごとの画像データのセットを画像読取部１３から受け入れて、各画像データに対して分離処理を実行する。この分離処理では、まず画像データを、輝度のしきい値で二値化した上で、黒画素の連続する部分（画素塊）を特定し、それぞれにラベルを付与する。この処理は、ラベリング処理として広く知られている処理を用いることができる。

そして各特定した画素塊に外接する外接矩形を画定し、当該外接矩形が画像データ上で連続的に配列されている領域を、文字情報を含む領域として特定する。制御部１１は、さらに当該特定した領域に対して文字認識処理を実行し、各外接矩形内の文字画像ごとに、認識処理結果としての文字コードデータを生成する。

これらの処理は、レイアウト認識、光学的文字認識（ＯＣＲ）として広く知られた処理であるので、その詳細な説明を省略する。本実施の形態において特徴的なことの一つは、文字認識処理の結果である文字コードデータごとに、文字画像に対応する外接矩形の座標情報（以下、対応座標情報と呼ぶ）を関連付けて記憶させることである。

制御部１１は、また、レイアウト認識の処理によって文字情報を含む領域として特定された領域内の上記外接矩形について、元の画像データ上で、各外接矩形内の画素塊に対応する各画素を、その周辺画素値に基づいて変更する。例えば、元の画像データの各画素をラスタスキャン順に走査する。そして、走査により選択される注目画素が上記画素塊に対応する画素でなければ、当該注目画素の画素値をそのままとするとともに、当該注目画素の画素値を直前画素値として記憶する。

また、走査により選択される注目画素が上記画素塊に対応する画素である場合、当該注目画素の画素値を、記憶している直前画素値に設定する。これにより画素塊に対応する画素の値が、ラスタスキャン順に直前画素値と同一になる。このようにして生成された画像は、絵柄部分を含むものとなるので、以下、絵柄画像と呼ぶ。

さらに制御部１１は、元の画像データ上で外接矩形内の画素塊ごとに代表色を決定し、当該代表色と、画素塊の形状（二値化された有意画素のパターン）と、外接矩形の元の画像データ上での座標情報とを関連付けた文字画像を生成し、文字列データと、絵柄画像と、この文字画像とを関連付けて記憶部１２に、ドキュメントのデータとして格納する。この記憶部１２に格納されたデータは、文字と絵柄とを分離した画像と、文字の部分を認識して得た文字列データとを含むデータである。

なお、ここでは文字画像について、外接矩形ごとに代表色を決定する例について述べたが、これに代えて、例えばＭＲＣ（Mixed Raster Content）のように、文字画像を、文字の色を表すフォアグラウンド画像と、フォアグラウンド画像のマスクとなるセレクタとの二層に分離してもよい。この場合、絵柄画像をバックグラウンド画像として、バックグラウンド画像、フォアグラウンド画像、セレクタ、及び文字列データを互いに関連付けた多層フォーマットのドキュメントとして記憶部１２に保持させる。

制御部１１は、画像読取部１３から入力される画像が複数のページに亘る場合は、各ページごとに、絵柄画像、文字画像（ＭＲＣの場合、二層となる）、及び文字列データを生成して、互いに関連付けて保持する。

なお、ＭＲＣは、ＩＴＵ−Ｔ勧告Ｔ．４４として規格化されているフォーマットであるので、詳しい説明を省略する。

さらに、本実施の形態の制御部１１は、一覧表示のために、元の画像データを縮小処理して、所定のサイズ以下のサムネイル画像を生成する。なお、複数のページがある場合は、最初のページのサムネイル画像のみを生成してもよいし、各ページのサムネイル画像を生成してもよい。生成したサムネイル画像のデータは、ドキュメントに関連付けて記憶部１２に格納しておく。

［検索処理］
制御部１１は、利用者から検索キーワードが入力されると、当該検索キーワードを指定された検索文字列として、記憶部１２に格納されている各ドキュメントの各ページの文字列データから当該指定された検索文字列に合致する部分を検索する。

そして、検索文字列に合致する部分が見いだされると、当該部分を特定する合致部分特定情報を生成し、ドキュメントのデータに関連付けて保持する。合致部分特定情報は、例えばページ上での検索文字列に合致する部分の各外接矩形の座標値のセット（座標情報）とすればよい。例えば制御部１１は、図２に示すように、検索文字列（Ａ）と、座標情報（Ｂ）とを関連付けたエントリを含む検索結果データを、ページごとに生成し、対応するページの絵柄画像や文字画像等に関連付けて、記憶部１２に格納する。また制御部１１は、検索結果データをページごとに生成するのではなく、ページと外接矩形の座標値のセットとを関連付けて座標情報を生成し、検索文字列（Ａ）と、ページの情報を含む座標情報（Ｂ）とを関連付けたエントリを含む検索結果データを生成して、ドキュメントのデータ全体に関連付けて保持するようにしてもよい。

また、制御部１１は、検索文字列に合致する部分が見いだされなかったドキュメントについては、検索結果データを生成しない。

ここでドキュメントのデータと検索結果データとの関連付けは、ドキュメントのデータがＭＲＣ等の多層フォーマットとなっている場合、検索結果データを一つの層として含めることによって行うことができる。

［一覧表示処理］
制御部１１は、検索結果データに基づいて、各ドキュメントのサムネイル画像を加工し、修正サムネイル画像を生成する。

例えば制御部１１は、検索結果データが関連づけられているドキュメントを表示対象ドキュメントとして、表示対象ドキュメントごとに、次の処理を行う。制御部１１は、表示対象ドキュメントの一つを注目ドキュメントとして、そのサムネイル画像を読み出す。また、注目ドキュメントのデータに関連づけられている検索結果を読み出して、各エントリの座標情報を読み出す。制御部１１は、読み出した座標情報のうち、例えばＹ座標値（ドキュメントの縦方向の座標値）に対して元のドキュメントに対するサムネイル画像の縮小比ｒを乗じて、サムネイル上でのＹ座標値を演算する。そして例えば図３に示すように、サムネイル画像の右端に隣接して、当該座標値によって表される位置に、所定色（例えば黄色）の矩形（Ｐ）を描画する。この描画された矩形は、あたかもサムネイル画像に付された付箋のように表示されることとなる。制御部１１は、各表示対象ドキュメントについて、上述の処理を繰り返して行い、表示対象ドキュメントの各々についてのサムネイル画像に「付箋」の画像を付加する。

制御部１１は、こうして「付箋」を付加したサムネイル画像を例えばマトリクス状に配列して表示する。また、このとき制御部１１は、検索結果データに含まれるエントリの数（検索文字列に合致する部分の数、つまり検索のヒット数）をカウントし、カウントの結果に基づいてドキュメントのサムネイル画像の表示順序を並べ替えて表示してもよい。

また制御部１１は、検索結果データに、表示するサムネイル画像に対応するページに係る座標情報が含まれる場合は、当該座標情報（各外接矩形に対応する座標情報）に対して元のドキュメントに対するサムネイル画像の縮小比ｒを乗じて、サムネイル画像上での座標情報を演算し、当該演算結果の位置を強調する所定処理を行ってもよい。ここで強調の処理としては、例えば赤色の枠を描画し、あるいは、所定色の塗りつぶし矩形を半透明合成（合成対象となる画素値のうち輝度の低い側を残しつつ合成するなど）する。

さらに制御部１１は、利用者によりマウスポインタの移動操作が行われると、移動後の位置を参照して、いずれかのサムネイル画像上にマウスポインタが位置しているか否かを調べる。そして、いずれかのサムネイル画像上にマウスポインタが位置している場合には、検索結果データに含まれるエントリの少なくとも一部を文字列として表示する。この表示は例えば、各サムネイル画像にオーバレイするウインドウ画像Ｗを表示し、当該ウインドウ画像上に文字列を描画することで行うことができる（図４（ａ））。

また、制御部１１は、ここで描画する文字列として、各ページごとのエントリの数をカウントした結果としてもよい。例えば図４（ｂ）に示すように、合計数を併せて表示し、「ヒット数合計：３個、２ページ目１個…」などとして表示することしてもよい。

本実施の形態によると、指定した検索文字列を含むドキュメントについて、そのサムネイル画像の表示の際に、どの位置にあるのかを表す画像（付箋や強調表示）などの表示を併せて行うので、利用者の利便性を向上できる。

本発明の実施の形態に係るドキュメント処理装置の一例を表す構成ブロック図である。 検索結果データの例を表す説明図である。 本発明の実施の形態に係るドキュメント処理装置による一覧表示時のドキュメントのサムネイル画像の例を表す説明図である。 本発明の実施の形態に係るドキュメント処理装置による、一覧表示時のドキュメントの表示例を表す図である。

符号の説明

１１ 制御部、１２ 記憶部、１３ 画像読取部、１４ 表示部、１５ 操作部。

Claims (2)

1. スキャナで読み取られたドキュメントを処理対象として、当該ドキュメントに含まれる画素塊を特定し、当該特定した画素塊に外接する外接矩形を画定し、当該外接矩形が連続的に配列されている領域を、文字情報を含む領域として特定する手段と、
   当該特定した領域に対して文字認識処理を実行するとともに、各外接矩形内の文字画像に関連づけて、文字コードデータを記憶する手段と、
   前記文字認識処理により得られた文字列データから、指定された検索文字列に合致する部分を特定する手段と、
   前記検索文字列に合致する部分の数を、カウントする手段と、
   検索文字列に合致する部分の前記各外接矩形の座標情報を、合致部分特定情報として前記ドキュメントに関連づけて保持する手段と、
   前記処理対象となったドキュメントの少なくとも一部のサムネイル画像を一覧表示する際に、前記カウントした検索文字列に合致する部分の数に基づいて、表示順序を並べ替えて表示する手段と、
   を含み、
   前記表示手段は、検索文字列に合致する部分の前記各外接矩形の座標情報のうち、ドキュメントの縦方向の座標値に基づいて定められる座標値を演算し、一覧表示されているドキュメントのサムネイル画像に対し、当該座標値で表される位置に付箋の画像を付加する
   ことを特徴とするドキュメント処理装置。
2. コンピュータを、
   スキャナで読み取られたドキュメントを処理対象として、当該ドキュメントに含まれる画素塊を特定し、当該特定した画素塊に外接する外接矩形を画定し、当該外接矩形が連続的に配列されている領域を、文字情報を含む領域として特定する手段と、
   当該特定した領域に対して文字認識処理を実行するとともに、各外接矩形内の文字画像に関連づけて、文字コードデータを記憶する手段と、
   前記文字認識処理により得られた文字列データから、指定された検索文字列に合致する部分を特定する手段と、
   前記検索文字列に合致する部分の数を、カウントする手段と、
   検索文字列に合致する部分の前記各外接矩形の座標情報を、合致部分特定情報として前記ドキュメントに関連づけて保持する手段と、
   前記処理対象となったドキュメントの少なくとも一部のサムネイル画像を一覧表示する際に、前記カウントした検索文字列に合致する部分の数に基づいて、表示順序を並べ替えて表示する手段と、
   として機能させ、
   前記表示手段として機能させる際には、コンピュータに、検索文字列に合致する部分の前記各外接矩形の座標情報のうち、ドキュメントの縦方向の座標値に基づいて定められる座標値を演算させ、一覧表示されているドキュメントのサムネイル画像に対し、当該座標値で表される位置に付箋の画像を付加させる
   ことを特徴とするプログラム。

Images