JP7434001B2 - 情報処理装置、プログラム、情報処理方法 - Google Patents

Description

本発明は、画像データ内に含まれる文字画像に基づいて、当該画像データにメタデータを関連づけるための装置、方法、プログラムに関する。

従来、スキャンや撮影された画像から、光学文字認識（ＯＣＲ）を用いて、文字列を抽出する技術がある。特許文献１には、スキャンした文書画像の帳票種別を識別して、当該識別した帳票種別に基づき特定される欄に記載されている文字画像のＯＣＲ結果を、当該文書画像のファイル名等に用いる技術が開示されている。また、特許文献２、３には、スキャン画像をプレビュー表示し、ユーザにより選択された文字領域のＯＣＲ結果を、当該スキャン画像のファイル名やメタデータ等に用いる技術が提案されている。

特開昭６２－０５１８６６号公報 特開２０１９－０４１１５０号公報 特開２０１２－０５３９１１号公報

本出願人は、ＰＣのディスプレイに表示された文書画像上で、マウスポインタを用いてユーザに複数の文字領域を選択させ、当該選択された複数の文字領域のＯＣＲ結果を用いて、当該文書画像に対してメタデータを付与（関連付け）するシステムを検討している。

文書画像のメタデータとして複数種類の項目名それぞれに対応する値を入力することを考えた場合、例えば、図４のような設定画面を用いることが考えられる。図４の設定画面は、文書画像４０２を表示するためのプレビューペイン４０１と、当該文書画像のメタデータとして複数種類の項目名に対する値を入力するためのメタデータペイン４１１とで構成されている。例えば、メタデータペイン４１１には、メタデータの項目名として予め定義されている「Ｃｕｓｔｏｍｅｒ Ｎａｍｅ」、「Ａｄｄｒｅｓｓ」、「Ｔｅｌｅｐｈｏｎｅ Ｎｕｍｂｅｒ」が表示されており、ユーザはこれらの項目名それぞれに対応するデータを入力する必要があるものとする。例えば、項目名「Ｃｕｓｔｏｍｅｒ Ｎａｍｅ」に対応する値として、文書画像内に記述されている「ＸＹＺ Ｃｏｒｐｏｒａｔｉｏｎ」を関連付けたいものとする。同様に、項目名「Ａｄｄｒｅｓｓ」には「１ Ｐｕｍｐｋｉｎ Ｒｏａｄ， Ｎｅｗ Ｙｏｒｋ， ＮＹ」を関連付け、項目名「Ｔｅｌｅｐｈｏｎｅ Ｎｕｍｂｅｒ」には「（１２３）４５６－７８９０」をそれぞれ関連付けたいものとする。この場合、以下のような操作が必要になる。まず最初に、ユーザは、メタデータペイン４１１の「Ｃｕｓｔｏｍｅｒ Ｎａｍｅ」という項目名を選択し、次に、その項目名に関連付けたい文字列を含む文字領域として、プレビューペイン４０１に表示されている文書画像内の文字領域「ＸＹＺ Ｃｏｒｐｏｒａｔｉｏｎ」を選択する。そうすることで、メタデータペイン４１１の項目名「Ｃｕｓｔｏｍｅｒ Ｎａｍｅ」に対して、当該選択された文字領域の部分画像が部分画像表示欄４１２に表示され、かつ、当該選択された文字領域の文字認識結果の「ＸＹＺ Ｃｏｒｐｏｒａｔｉｏｎ」が入力欄４１３に入力される。さらに、ユーザが、次に付与したいメタデータの項目名として「Ａｄｄｒｅｓｓ」を選択し、その項目名に関連付けたい文字列を含む文字領域として、プレビューペイン４０１に表示されている文書画像内の文字領域「１ Ｐｕｍｐｋｉｎ Ｒｏａｄ， Ｎｅｗ Ｙｏｒｋ， ＮＹ」を選択する。そうすることで、メタデータペイン４１１の項目名「Ａｄｄｒｅｓｓ」に対して、当該選択された文字領域の部分画像が部分画像表示欄４１４に表示され、かつ、当該選択された文字領域の文字認識結果の「１ Ｐｕｍｐｋｉｎ Ｒｏａｄ， Ｎｅｗ Ｙｏｒｋ， ＮＹ」が入力欄４１５に入力される。項目名「Ｂｉｌｌｉｎｇ Ｎａｍｅ」においても、同様の手順の操作を行うことにより、選択された文字領域の部分画像が部分画像表示欄４１６に表示され、かつ、当該選択された文字領域の文字認識結果が入力欄４１７に表示される。このように、メタデータの各項目名に対して文字認識結果の文字列を関連付けたい場合、ユーザは、メタデータペイン４１１の所望の項目名を選択してから、プレビューペイン４０１に表示された文書画像上の所望の文字領域を選択するという操作を、繰り返し行う必要が生じる。メタデータとして付与すべき項目名の数が多くなると、メタデータペイン４１１における選択操作と、プレビューペイン４０１における選択操作とを行うために、マウスポインタを行き来させる回数が多くなり、ユーザの操作負荷が大きくなってしまう。

上記の課題を解決するため、本発明の情報処理装置は、文書画像を表示する第１のペインと、前記文書画像に関連づけるべき複数のメタデータを入力するための複数の入力欄と、を含む画面を表示する表示手段と、前記第１のペインに表示された前記文書画像内の文字領域の１つがユーザにより選択された場合、当該選択された文字領域の文字認識結果を、前記複数の入力欄のうちの入力先として特定されている第１の入力欄に入力する第１の入力手段と、前記第１の入力手段によって前記文字認識結果が前記第１の入力欄に入力された後に、前記ユーザによってマウスのホイール操作が為された場合、前記第１の入力欄に入力された前記文字認識結果を、当該ホイール操作に応じて特定される第２の入力欄に移動させる第１のホイール操作手段と、を備えることを特徴とする。

本発明によれば、表示されている文書画像上で選択した文字領域の文字認識結果を用いて、メタデータの入力を行う際に、操作性が向上する。

本実施形態のシステム構成例 情報処理装置のハードウェア構成例 ソフトウェア構成例 メタデータが入力されていない状態の設定画面の例 メタデータの一部が入力されている状態の設定画面の例 スキャン文書処理サーバーにより実行される処理フローチャート 文書画像上の文字領域がクリックされた際の設定画面の例 実施例１のクライアント端末により実行される処理フローチャート 実施例２における設定画面の例 実施例２のクライアント端末により実行される処理フローチャート 実施例３における設定画面の例 実施例３のクライアント端末により実行される処理フローチャート 実施例４のクライアント端末により実行される処理フローチャート

［実施例１］
図１は、本発明を実施するためのシステムの一例である。ネットワーク１０１は、有線または無線のインターネット／イントラネットなどで構成される。スキャン文書処理サーバー１１１は、スキャン文書（スキャンにより取得された文書画像）に対してＯＣＲ処理などを実行する。クライアント端末１２１は、スキャン文書から抽出したデータをユーザーが確認したり修正したりするための端末である。クライアント端末１２１としては、パーソナルコンピューター、ラップトップコンピューター、タブレットコンピューター、スマートフォンなどのデバイスを利用することが可能である。業務サーバー１３１は、スキャン文書から抽出したデータを受信して各種処理を行うための外部システムである。なお、スキャン文書は、スキャン機能を有するスキャン装置１４１（スキャナや複合機）において文書を読み取ることにより生成される。なお、スキャン装置は、ネットワークに直接接続されてスキャン文書処理サーバー１１１等に文書画像を送信できるようにしてもよいし、クライアント端末１２１にケーブル接続されて、クライアント端末経由で文書画像を送信できるようにしてもよい。

図２は、スキャン文書処理サーバー１１１、クライアント端末１２１、業務サーバー１３１のいずれかとして利用可能な情報処理装置のハードウェア構成例を示している。ネットワークインターフェース２０２は、ＬＡＮなどのネットワーク１０５に接続して、他のコンピューターやネットワーク機器との通信を行うためのインタフェースである。通信の方式としては、有線・無線のいずれでもよい。ＲＯＭ２０４には、組込済みプログラムおよびデータが記録されている。ＲＡＭ２０５は、ワークエリアとして利用可能な一時メモリ領域である。二次記憶装置２０６は、ＨＤＤやフラッシュメモリであり、後述する処理を行うためのプログラムや各種データが記憶される。ＣＰＵ２０３は、ＲＯＭ２０４、ＲＡＭ２０５、二次記憶装置２０６などから読み込んだプログラムを実行する。ユーザーインターフェース２０１は、ディスプレイ、キーボード、マウス、ボタン、タッチパネルなどで構成され、ユーザからの操作を受け付けたり、情報の表示を行ったりする。各処理部は、入出力インターフェース２０７を介して接続されている。

図３は、本実施形態における各装置で実行されるソフトウェア（プログラム）の構成図である。各装置にインストールされたソフトウェアは、それぞれのＣＰＵで実行され、また、各装置間は、相互に通信可能な構成となっている。

スキャン文書処理アプリケーション３１１は、スキャン文書処理サーバー１１１にインストールされたプログラムである。本実施例では、スキャン文書処理サーバー１１１はスキャン文書処理アプリケーション３１１を実行することによってＷｅｂアプリケーションサーバーとして動作するものとして説明するが、これに限るものではない。３１２は、スキャン文書処理アプリケーション３１１によって提供されるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）である。３１３は、スキャン文書処理アプリケーション３１１によって提供されるＷｅｂ ＵＩである。

データストア３２１は、スキャン文書処理アプリケーション３１１、および、後述するバックエンドアプリケーション３３１が使用するデータを保存・管理するためのモジュールである。データストア３２１には、次に説明する各種データが格納される。スキャン文書格納部３２２は、スキャン文書の画像を、ＪＰＥＧ等の画像ファイル或いはＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）等の文書ファイルとして保存する。スキャン文書ジョブキュー３２３は、後述するメタデータ入力処理待ちのジョブを管理するキューを保持する。メタデータ管理部３２４は、スキャン文書ごとに付加が必要な複数のメタデータの一覧・メタデータごとの名前（複数のメタデータそれぞれの項目名）、値のフォーマット（文字列・数字など）などを管理する。スキャン文書処理結果格納部３２５は、ＯＣＲ処理結果、帳票判別結果を格納する。また、スキャン文書処理結果格納部３２５は、スキャン文書ごとに関連付けられたメタデータとその抽出領域情報や、編集されたメタデータの値などを格納する。

バックエンドアプリケーション３３１は、バックグラウンド処理を実行するためのプログラムである。バックエンドアプリケーション３３１は、以下に示すようなバックグラウンドで順次実行されうる処理を担当する。ＯＣＲ処理部３３２は、スキャン文書格納部３２２から文書画像を取得し、ＯＣＲ処理を実行する。ＯＣＲ処理では、文字列と認識された領域の始点座標・幅・高さ、および認識できたＯＣＲ結果文字列を抽出する。帳票処理部３３３は、入力画像を領域解析することに識別される領域の配置パターンや、ＯＣＲ処理結果の文字列の情報や、入力画像から検出された２次元コード等を用いて、帳票の種別を判別する。なお、帳票種別の判別処理は、パターン認識、機械学習などいずれの手法でもよい。外部システム通信部３３４は、外部の業務サーバー１３１にスキャン文書およびそのＯＣＲ結果等の送信処理を実行する。スキャン文書およびその処理結果を外部システムに送信する必要が無い場合（スキャン文書処理サーバー内で処理結果を保存する場合や、クライアント端末で処理結果を保存する場合）は、外部システム通信部３３４は省略可能である。

クライアントアプリケーション３５１は、クライアント端末で実行されるプログラムである。本実施例では、前記スキャン文書処理アプリケーション３１１のＷｅｂアプリケーションとして提供されるものとする。すなわち、クライアント端末のウェブブラウザーでＷｅｂ ＵＩ３１３を表示して、必要なデータをＡＰＩ３１２を介して送受信することにより実現する方法があるが、これに限るものではない。例えば、必要なデータをＡＰＩ３１２を介して送受信するよう作成された、コンピュータのデスクトップで動作するアプリケーションや、スマートフォン等で動作するモバイルアプリケーションなどでもよい。

業務アプリケーション３６１は、業務サーバー１３１で実行されるプログラムである。業務データストレージ３６２は、業務アプリケーション３６１が使用するデータを保存するためのモジュールである。業務アプリケーション３６１では、ファイル管理・文書管理・受注管理・会計処理などの各種業務において、スキャン文書処理サーバでの処理結果（メタデータと文書画像）を受信して、各種業務に係る処理を実行する。なお、業務の種類を限定するものでない。

図６を用いて、スキャン文書処理サーバー１１１により実行される処理フローについて説明する。

ステップＳ６０１において、スキャン文書処理サーバー１１１は、スキャン装置１４１でスキャンすることにより生成されたスキャン文書（すなわち、文書画像）を受信し、スキャン文書格納部３２２に保存する。

ステップＳ６０２において、スキャン文書処理サーバー１１１は、ＯＣＲ処理部３３２および帳票処理部３３３を用いて、文字認識処理および帳票種別判別処理（帳票認識処理）を実行する。文字認識結果の文字列、各文字領域の位置情報、帳票種別の判別結果は、スキャン文書処理結果格納部３２５に格納される。また、帳票種別判別処理により、帳票種別が判別された場合は、当該判別された帳票種別に付与すべきメタデータの項目名も特定されるものとする。帳票種別は、前述したように、スキャン文書を領域解析することに識別される領域の配置パターンや、文字認識結果の文字列の情報や、スキャン文書から検出された２次元コード等を用いて判別することができる。

また、スキャンした文書にメタデータを付与する際に利用した文字領域の位置情報と当該文書のレイアウトとを学習して学習済みモデルを作成しておくようにしてもよい。そうすれば、同じ帳票種別の類似するレイアウトを有する新たな文書をスキャンした場合に、当該学習済みモデルに基づき、メタデータとして利用する文字領域の位置を特定し、当該文字領域の文字認識結果を用いて当該スキャン文書に対してメタデータを自動的に付与することができる。この場合、ユーザは、当該自動付与されたメタデータが正しいかどうかをクライアント端末で確認し、必要に応じてメタデータを修正した後、外部システム（業務サーバー）への登録指示を行えばよい。

一方で、文字認識処理により文書のタイトルを認識することで帳票種別を判別することができたとしても、類似のレイアウトを有する文書を学習済みでなかったり、一部の文字領域が特定できなかった場合などは、メタデータを自動的に付与することができない。この場合、ユーザは、自動付与されていないメタデータに関して、ユーザの操作により入力を行った後、外部システム（業務サーバー）への登録指示を行うことになる。

ステップＳ６０３において、スキャン文書処理サーバー１１１は、クライアント端末からスキャン文書の表示リクエストを受信したか判定する。表示リクエストを受信したと判定した場合は、ステップＳ６０４において、当該リクエストされたスキャン文書のプレビュー画像と、文字認識結果（文字領域の位置情報、および、各文字領域で認識された文字列の情報）と、帳票種別に対応するメタデータの項目名とを、クライアント端末に送信する。このとき、学習済みモデルに基づき、メタデータの少なくとも一部が既に自動付与されている場合は、自動付与されているメタデータの情報も一緒に送信する。

図４を用いて、クライアント端末においてクライアントアプリケーション３５１を実行することにより表示される画面ＵＩの動作概要を説明する。なお、クライアントアプリケーションがＷｅｂアプリケーションである場合は、ウェブブラウザー上で表示される画面である。プレビューペイン４０１には、スキャンされた文書画像（ページ画像）４０２がプレビュー表示される。プレビューペイン４０１では、文書画像４０２をスクロールしたりズームしたりすることにより、文書画像内のユーザ所望の箇所を表示させることができる。メタデータペイン４１１には、当該プレビューペインにプレビュー表示されている文書画像に対して、メタデータとして設定するための値を入力するための複数の入力欄（入力用のＧＵＩ部品（入力用コントロールとも呼ぶ））が含まれている。メタデータとして使用される複数の項目名は、スキャンした文書画像の帳票種別に応じて決定されるものとする。例えば、文書画像４０２は「購入注文書」として帳票判別され、購入注文書に対して付与（関連付け）すべきメタデータの項目名として、「Ｃｕｓｔｏｍｅｒ Ｎａｍｅ」、「Ａｄｄｒｅｓｓ」、「Ｔｅｌｅｐｈｏｎｅ Ｎｕｍｂｅｒ」の３つがあった場合、図４のようなメタデータペイン４１１を含む設定画面が表示される。メタデータペイン４１１には、各項目名に関するメタデータを入力するための入力欄４１３，４１５，４１７と、文字認識結果を用いてメタデータの入力を行った場合に当該文字認識結果の認識元となった文字領域の部分画像を表示するための部分画像表示欄４１２，４１４，４１６と、が含まれている。類似帳票に基づいてメタデータが自動付与されている場合は、入力欄に当該自動付与されたメタデータが表示されるが、メタデータが自動付与されなかった場合は図４のように空欄となっている。この場合、ユーザが、所望の項目名を選択することで入力先の項目名を特定した後に、文書画像４０２内の所望の文字領域を選択すると、当該選択された文字領域の部分画像が、当該入力先として選択中の項目名に対応する部分画像表示欄に表示される。そして、当該選択された文字領域の部分画像に対応する文字認識結果が、当該入力先として選択中の項目名に対応する入力欄に入力される。なお、入力欄に対して、ユーザがクライアント端末のキーボードを用いて、文字列をキー入力したり修正したりすることも可能とする。

図４の４２１を用いて、文書画像４０２における直交座標系を説明する。図４の４２１は、文書画像４０２の上端側の一部を模式的に示しており、ページ画像４０２の左上の角が、当該ページ画像における原点として定義している。ＯＣＲ処理部３３２は、ページ画像に対してＯＣＲ処理を実行して、文字列として認識された文字領域４２２，４２３，４２４それぞれの始点座標（文字領域の左上の座標）・幅・高さを取得する。図４の４２１では、網掛けされている文字領域４２２，４２３，４２４の情報が取得されたものとする。当該取得された文字領域の情報は内部的に保持され、ユーザが文書画像上でマウスクリックすると、当該クリックされた位置に対応する文字領域が選択状態となる。なお、文書画像４０２には、他にも文字領域が存在するが、ここでは説明を省略する。例えば、文字領域４２４の場合は、始点座標（１２００，７００）、幅７２０、高さ１２０などと表現される。

図５は、類似帳票に基づいて、項目名「Ｃｕｓｔｏｍｅｒ Ｎａｍｅ」５１２に関してはメタデータが自動付与されたが、それ以外の項目名に関してはメタデータが付与されなかった場合の画面の例である。この場合、メタデータペイン５１１内の項目名「Ｃｕｓｔｏｍｅｒ Ｎａｍｅ」５１２に対しては、当該自動付与に用いられた文字領域の部分画像が切り出されて部分画像表示欄５１３に表示され、かつ、当該自動付与されたメタデータ（当該文字領域の文字認識結果）が入力欄５１４に入力された状態で表示される。なお、メタデータが未設定である項目名に関して、部分画像表示欄は５１５のように部分画像が未設定であることを示す「＋」ボタンを表示し、かつ、入力欄は５１６のように空欄にする。ユーザは、未設定の項目名に対しては、図４の場合と同様に、文書画像内の所望の文字領域を選択したり、キーボードを用いてキー入力したりすることにより、各項目名のメタデータを設定することになる。

クライアント端末において、スキャン文書に対して付与するメタデータを確認・修正した後、ユーザにより登録指示が為された場合、クライアント端末はスキャン文書処理サーバーに対して登録リクエストを送信する。このとき、登録リクエストには、図４や図５の画面を介して設定されたメタデータに関する情報が含まれている。スキャン文書処理サーバー１１１は、ステップＳ６０５において、クライアント端末から当該登録リクエストを受信すると、ステップＳ６０６に進んで、当該文書画像とメタデータとを外部システム（業務サーバー１３１）等に登録する。

図８のフローチャートを用いて、クライアント端末１２１のクライアントアプリケーション３５１により表示されるメタデータの設定画面について説明する。スキャン文書処理サーバー１１１のスキャン文書処理アプリケーション３１１は、スキャン文書ジョブキュー３２３から処理待ちのスキャン文書ジョブの一覧に関するキューを取得し、クライアントアプリケーション３５１に提供する。クライアント端末のユーザーが、当該提供された処理待ちのスキャン文書ジョブ一覧の中から、所望のスキャン文書ジョブを処理対象として選択すると、クライアントアプリケーション３５１は当該選択されたジョブの表示リクエストをサーバー１１１に送信する。スキャン文書処理アプリケーション３１１は、前述したＳ６０３で表示リクエストを受信すると、スキャン文書格納部３２２から当該リクエストされたスキャン文書のプレビュー画像を取得する。さらに、スキャン文書処理結果格納部３２５から当該リクエストされたスキャン文書の文字認識結果（文字領域の位置情報と、各文字領域で文字認識された文字列の情報）を取得する。さらに、メタデータ管理部から、当該リクエストされたスキャン文書の帳票種別に対応するメタデータの項目名の一覧と、メタデータの少なくとも一部が既に自動付与されている場合は当該付与済みのメタデータの情報とを取得する。そして、スキャン文書処理アプリケーション３１１は、これらのデータをクライアントアプリケーション３５１に提供する。クライアントアプリケーション３５１は、ステップＳ８０１において、当該提供されたプレビュー画像、文字認識結果、メタデータの項目名、既に付与済みのメタデータの情報とを受信する。

ステップＳ８０２において、クライアントアプリケーション３５１は、Ｓ８０１で受信した情報に基づいて、プレビューペインにプレビュー画像を表示し、メタデータペインにメタデータの項目名と既に付与済みのメタデータの情報とを表示する。ステップＳ８０３において、クライアントアプリケーション３５１は、変数ｎを１に設定する。

ステップＳ８０４において、クライアントアプリケーション３５１は、メタデータのｎ番目の項目名の入力欄（入力コントロール）にデータが既に入力されているか判定する。既に入力されていると判定した場合は、ステップＳ８０５に進んで、変数ｎをインクリメントする。そして、ステップＳ８０６で全ての項目名にデータが入力済みでないと判定した場合は、ステップＳ８０４に戻って、次の項目名にデータが既に入力されているか判定する。

ステップＳ８０４で、ｎ番目の項目名の入力欄にデータが未だ入力されていないと判定した場合は、ステップＳ８０８に進み、当該ｎ番目の項目名の入力欄（入力コントロール）にカーソルを合わせて、当該ｎ番目の項目名を入力先として特定する。例えば、図４の例では、全ての項目名が未入力の状態なので、１番目の項目名（Ｃｕｓｔｏｍｅｒ Ｎａｍｅ）の入力欄４１３にカーソルが表示され、現在の入力先となる。なお、このとき、当該項目名が入力先として選択中であることを分かりやすく表示するために、当該項目名に係る領域を太線枠で強調表示するなどしてもよい。また、図５の例では、１番目の項目名（Ｃｕｓｔｏｍｅｒ Ｎａｍｅ）に関してはデータが入力欄５１４に入力されているので、２番目の項目名（Ａｄｄｒｅｓｓ）の入力欄５１６にカーソルが表示される。

ステップＳ８０９において、クライアントアプリケーション３５１は、プレビューペイン５０１に表示しているプレビュー画像内の文字領域がユーザによりクリック操作されたか（すなわち、プレビュー画像内の文字領域がユーザにより選択されたか）判定する。

プレビュー画像内の文字領域が選択されたと判定された場合、ステップＳ８１０において、当該選択された文字領域に関する文字認識結果が、当該カーソルが合わせられている入力欄（すなわち、選択中の項目名に関する入力欄）に入力される。文字認識結果が入力欄に入力された後は、ステップＳ８０５、Ｓ８０６、Ｓ８０４を経由してステップＳ８０８に進むことにより、次の未入力の項目名の入力欄にカーソルが自動的に移動することになる。すなわち、ユーザーが、プレビューペインに表示されているプレビュー画像において、所望の文字領域を選択する操作を行うだけで、メタデータペインにおいて、未入力の項目名のうちの１つが次の入力先として特定されてカーソルが自動的に移動する。したがって、ユーザは、プレビューペイン内でのクリック操作だけで、メタデータペイン内の各項目名に関するデータを順次入力していくことができ、ユーザがマウスポインタを移動させる手間を軽減することができる。例えば、図５の例のように、カーソルが入力欄５１６にあわせられているときに、プレビュー画像内の文字列「１ Ｐｕｍｐｋｉｎ Ｒｏａｄ， Ｎｅｗ Ｙｏｒｋ， ＮＹ」の箇所がユーザによりクリックされた場合、図７（ａ）のように、当該クリックされた位置の文字領域７０２が選択されて網掛け表示（又は色付け表示）され、当該選択された文字領域に対応する文字認識結果がメタデータペイン７１０の入力欄７１２に入力される。なお、この際、各項目名のデータ入力に利用された文字領域７０１と７０２は、網掛けの種類（又は色付けの種類）を変えて表示する。そして、メタデータペイン７１０の各項目名の左側に、対応する文字領域の網掛けの種類（又は色付けの種類）を凡例表示すれば、各項目名に関連付けたデータがどの位置の文字領域から抽出された文字列なのか、ユーザは容易に判別できるようになる。

また、当該選択された文字領域に関する文字認識結果が、当該選択中の入力欄に入力された結果、全ての項目名の入力欄にデータが入力された場合は、ステップＳ８０５、Ｓ８０６、Ｓ８０７の順に進むことにより、登録ボタンにフォーカスが合わせられることになる。例えば、図７（ａ）の画面のようにカーソルが入力欄７１３に移動した状態で、ユーザによりプレビュー画像内の文字領域７０３が選択されると、図７（ｂ）のように、入力欄７１３に対応する文字列が入力される。図７（ｂ）では、メタデータペインのすべての入力欄７１１，７１２，７１３にデータが入力されているので、登録ボタン（Ｒｅｇｉｓｔｅｒボタン）７１４にフォーカスが当たっている。登録ボタンにフォーカスが当たっている状態でユーザがキーボードのＥｎｔｅｒキーを押下すれば、後述するステップＳ８１６の登録処理が実行される。

ステップＳ８１１において、クライアントアプリケーション３５１は、ユーザによりキーボードを介してキー入力されたか判定し、キー入力されたと判定した場合は、ステップＳ８１２に進む。ステップＳ８１２において、クライアントアプリケーション３５１は、当該キー入力された文字列を、当該カーソルが合わせられている入力欄に入力する。このように、プレビュー画像内に所望の文字列が無かった場合は、キーボード操作でキー入力することも簡単に行える。キー入力を行った場合も、ステップＳ８０５、Ｓ８０６、Ｓ８０４を経由してステップＳ８０８に進むことにより、次の未入力の項目名の入力欄にカーソルが自動的に移動することになる。

ステップＳ８１３において、クライアントアプリケーション３５１は、現在選択中の項目名（現在カーソルが合わせられている項目名）とは異なる他の項目名がユーザにより選択指示されたか判定し、選択されたと判定した場合はステップＳ８１４に進む。

ステップＳ８１４において、クライアントアプリケーション３５１は、当該ユーザにより選択された項目名の入力欄にカーソルを合わせ、ステップＳ８０９以降の処理に戻る。

ステップＳ８１５において、クライアントアプリケーション３５１は、登録指示が為されたか、キャンセル指示が為されたか判定する。登録指示が為されたと判定した場合は、ステップＳ８１６において、クライアントアプリケーション３５１は、メタデータペインの各項目名の入力欄に入力されているデータとともに、登録リクエストを送信する。なお、登録指示は、登録ボタンにフォーカスが当たっている状態でキーボードのＥｎｔｅｒキーが押下されるか、マウス操作により登録ボタンがクリックされるか為された場合に実行される。キャンセル指示が為されたと判定した場合は、ステップＳ８１７において、クライアントアプリケーション３５１は、当該設定画面において入力されたデータを破棄して、処理待ちのスキャン文書ジョブの一覧を表示する画面（不図示）に戻る。

上記実施例によれば、プレビューペインに表示されているプレビュー画像上で、ユーザが所望の文字領域を選択するだけで、対応する文字列がメタデータペインの各項目名の入力欄に入力されるとともに、未入力の項目名にカーソルが自動的に移動する。これにより、ユーザは、プレビューペインとメタデータペインとの間で、マウスポインタを移動させる頻度を減らすことができ、操作性が向上する。

［実施例２］
実施例１では、図８のＳ８０９でユーザにより文字領域が選択された場合、Ｓ８１０でその文字認識結果を入力欄に入力した後、Ｓ８０５、Ｓ８０６、Ｓ８０４を経由して、Ｓ８０８で次の項目名の入力欄にカーソルが自動的に移動するようになっていた。実施例２では、ユーザによりプレビュー画像内の文字領域が選択された場合、当該文字領域の文字認識結果の確度（信頼度）が低い場合は、カーソルを次の項目名の入力欄へ移動させずに、当該入力された文字認識結果をユーザが修正しやすくする。

図１０のフローチャートと図９の画面例とを用いて、実施例２におけるクライアント端末１２１のクライアントアプリケーション３５１により表示されるメタデータの設定画面について説明する。図１０のフローチャートの各ステップのうち、図８と同様のステップについては、同じ番号を付与し、詳細な説明は省略する。

図１０のステップＳ８０９においてプレビュー画像内の文字領域がユーザによりクリック操作されたと判定した場合、ステップＳ８１０において、当該選択された文字領域に関する文字認識結果が、現在カーソルが合っている入力欄に入力される。その後、図１０のステップＳ１００１において、クライアントアプリケーション３５１は、当該入力された文字認識結果の確度（信頼度）が所定の閾値以上であるか判定する。ステップＳ１００１において、文字認識結果の確度が所定の閾値以上であると判定した場合は、実施例１と同様に、ステップＳ８０５、Ｓ８０６、Ｓ８０４，Ｓ８０８の順に遷移することにより、次の未入力の項目名の入力欄に、カーソルが自動的に移動する。一方、ステップＳ１００１において、文字認識結果の確度が所定の閾値より低い文字を含むと判定した場合は、カーソルを別の入力欄に移動させずに、ステップＳ８１１に遷移して、キーボード等での修正処理が行われたか判定する。

例えば、図５のようにカーソルが入力欄５１６にあるときに、図９のようにプレビュー画像内の文字領域９０２が選択された場合、当該選択された文字領域の文字認識結果を入力欄に入力する。このとき、文字認識結果の文字列の中に、誤認識された文字が含まれる場合、当該文字認識結果の確度（信頼度）が低いので、カーソル９１２を移動させずに同じ入力欄に維持する。このとき、図９のように、当該入力された文字列全体を選択状態にしておく。こうすることで、ユーザがこの状態から直接キーボードでキー入力すれば、当該入力されている文字列全体を当該キー入力された文字で置換することもできるし、キーボードの矢印キーを押して一部の文字のみ修正対象とすることもできる。なお、文字認識結果の確度が所定の閾値より低い場合は、文字認識結果に誤字が含まれている可能性がある旨のメッセージをさらに表示して、ユーザに注意喚起するようにしてもよい。

実施例２によれば、文字認識結果に誤認識した文字が含まれている可能性がある場合、次の項目名の入力欄に自動的に移動しないようにするので、ユーザーが誤認識文字に気付かずにスキャン文書にメタデータを付与することを防止することができる。

［実施例３］
実施例３では、ユーザがプレビュー画像内の文字領域をクリックしたときに当該文字領域の文字認識結果の入力先となった入力欄がユーザが意図していた入力欄と異なっていた場合に、マウスホイール操作により簡単に入力先を変更できるようにする。

図１２のフローチャートと図１１の画面例とを用いて、実施例３におけるクライアント端末１２１のクライアントアプリケーション３５１により表示されるメタデータの設定画面について説明する。図１２のフローチャートの各ステップのうち、図８と同様のステップについては、同じ番号を付与し、詳細な説明は省略する。

図１２のステップＳ８０９においてプレビュー画像内の文字領域がユーザによりクリック操作されたと判定した場合、ステップＳ８１０において、当該選択された文字領域に関する文字認識結果が、現在カーソルが合っている入力欄に入力される。その後、図１２のステップＳ１２０１において、マウスポインタの位置が当該クリック（選択）した文字領域の範囲から外れたか、マウスのホイールが操作されたか判定する。

マウスポインタが動かされて当該選択した文字領域から外れたとステップＳ１２０１で判定した時点で、入力欄に入力されている文字認識結果の文字列を確定して、ステップＳ８０５に進む。その後、未入力の入力欄がある場合は、ステップＳ８０６、Ｓ８０４を経由してＳ８０８に進むことにより、次の未入力の入力欄にカーソルが自動的に移動する。

一方、マウスポインタで文字領域をクリックした後、マウスポインタがその文字領域内に留まっている状態で、マウスのホイール操作が為されたとステップＳ１２０１で判定した場合は、ステップＳ１２０２に進む。そして、マウスホイールの操作方向が下方向であった場合は、Ｓ１２０２において、当該ｎ番目の項目名の入力欄に入力された文字認識結果の文字列を、１つ下の項目名（ｎ＋１番目の項目名）の入力欄に移動させ、変数ｎをｎ＋１に更新する。さらに続けて下方向のマウスホイール操作が為された場合は、さらに１つ下の項目名の入力欄に当該入力された文字認識結果の文字列を移動させ、変数ｎを更新する。一方、マウスホイールの操作方向が上方向であった場合は、当該ｎ番目の項目名の入力欄に入力された文字認識結果の文字列を、１つ上の項目名（ｎ－１番目の項目名）の入力欄に移動させ、変数ｎをｎ－１に更新する。なお、本実施形態では、マウスホイール操作によって、文字認識結果の文字列が一番下（最後）の項目名の入力欄に移動された後、さらに、下方向へのマウスホイール操作が続けて行われた場合は、一番上（先頭）の項目名の入力欄に当該文字列を移動させる。逆に、一番上（先頭）の項目名の入力欄に文字列が移動された後、さらに、上方向へのマウスホイール操作が行われた場合は、一番下（最後）の項目名の入力欄に当該文字列を移動させるものとする。このように、実施例３では、ホイール操作に応じて「ループ状」に文字列を移動させるものとするが、これに限るものではない。すなわち、最後の項目名の入力欄に移動させた後にさらに下方向にホイール操作されたとしても先頭に戻らずにそのまま留まらせるようにしてもよい。また、先頭の項目名の入力欄に移動させた後にさらに上方向にホイール操作されたとしても最後に移動せずにそのまま留まらせるようにしてもよい。

本実施形態では、プレビュー画像上で文字領域をクリックすることにより入力欄に入力した文字列を、マウスホイール操作の方向に応じて移動させることができる。したがって、ユーザがクリックした文字領域の文字列が別の項目名の入力欄に入力すべきものであった場合に、ユーザはマウスホイール操作により簡単に修正することができる。

なお、実施例３で説明した図１２のフローチャートに、実施例２で説明した「文字認識結果の確度が所定閾値以上であるか」の処理を加えることも可能である。その場合は、図１２のステップＳ１２０１において、マウスポインタの位置が当該選択した文字領域から外れたと判断した場合に、図１０で説明したステップＳ１００１の判定処理を行うようにすればよい。このようにすれば、マウスポインタの位置が当該選択した文字領域から外れた場合に、文字認識結果の確度が所定閾値以上であれば、未入力の項目名の入力欄にカーソルが自動的に移動する。一方、文字認識結果の確度が所定閾値より低ければ、当該選択中の項目名の入力欄にカーソルが留まるようになる。

［実施例４］
上述した実施例３では、プレビュー画像内で文字領域を選択した直後にマウスのホイール操作が為された場合に、当該選択された文字領域の文字認識結果を、ホイール操作に応じた入力欄に移動させる例について説明した。

実施例４では、プレビュー画像内で文字領域を選択する前にマウスのホイール操作が為された場合、ホイール操作に応じて、入力先として特定されている入力欄を変更する例について、図１３のフローチャートを用いて説明する。図１３のフローチャートの各ステップのうち、図８と同様のステップについては、同じ番号を付与し、詳細な説明は省略する。図１３では、ステップＳ８０８とステップＳ８０９との間に、ステップＳ１３０１とステップＳ１３０２を設ける。

ステップＳ１３０１において、マウスのホイール操作が為されたか判定し、ホイール操作が為されたと判定した場合はステップＳ１３０２に遷移し、ホイール操作が為されなかったと判定した場合はステップＳ８０９に遷移する。

ステップＳ１３０２においては、マウスホイールの操作方向に連動して、現在の入力先となっている入力欄に表示されているカーソルを移動させることにより、入力先として特定されている入力欄を変更する。すなわち、ホイールの操作方向が下方向であった場合は、現在の入力先として特定されている項目名の入力欄に表示されているカーソルを、その項目より下にある項目名の入力欄に順次移動させていく。また、ホイールの操作方向が上方向であった場合は、現在の入力先として特定されている項目名の入力欄に表示されているカーソルを、その項目より上にある項目名の入力欄に順次移動させていく。

このように構成することにより、マウスポインタがプレビューペイン上にある場合であっても、マウスのホイール操作によって、現在の入力先として特定されている項目名の入力欄を容易に変更することができる。

なお、上述した図１３では、ステップＳ１３０１とＳ１３０２の処理を、実施例１（図８のフローチャート）に組み込む場合について説明したが、これに限るものではない。例えば、実施例２（図１０）や実施例３（図１２）のステップＳ８０８とステップＳ８０９との間に、ステップＳ１３０１とステップＳ１３０２を組み込むようにしてもよい。

［その他の実施例］
実施例１～４で説明した処理を実現させるためのプログラム（ソフトウエア）は、ネットワーク又はコンピュータ読取可能な記憶媒体を介して、システム或いは装置に供給されてもよい。そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）が当該プログラムを読み出して実行することにより、上述した実施例の処理を実現することができる。

Claims (14)

1. 文書画像を表示する第１のペインと、前記文書画像に関連づけるべき複数のメタデータを入力するための複数の入力欄と、を含む画面を表示する表示手段と、
   前記第１のペインに表示された前記文書画像内の文字領域の１つがユーザにより選択された場合、当該選択された文字領域の文字認識結果を、前記複数の入力欄のうちの入力先として特定されている第１の入力欄に入力する第１の入力手段と、
   前記第１の入力手段によって前記文字認識結果が前記第１の入力欄に入力された後に、前記ユーザによってマウスのホイール操作が為された場合、前記第１の入力欄に入力された前記文字認識結果を、当該ホイール操作に応じて特定される第２の入力欄に移動させる第１のホイール操作手段と、
   を備えることを特徴とする情報処理装置。
2. 前記ユーザによって前記マウスのポインタが当該選択された文字領域から外れた時点で、前記文字認識結果が前記第１の入力欄に入力されている状態ならば、前記文字認識結果の入力先の入力欄を前記第１の入力欄に確定する一方、
   前記ユーザによって前記マウスのポインタが当該選択された文字領域から外れた時点で、前記文字認識結果が前記第２の入力欄に入力されている状態ならば、前記文字認識結果の入力先の入力欄を前記第２の入力欄に確定する確定手段を、更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記確定手段により前記文字認識結果の入力先の入力欄が確定された後、前記複数の入力欄のうちに未入力の入力欄がある場合、当該未入力の入力欄のうちの１つを次の入力先として自動的に特定する特定手段を、更に備えることを特徴とする請求項２に記載の情報処理装置。
4. 前記特定手段は、さらに、前記次の入力先として自動的に特定した入力欄に、カーソルを自動的に移動させることを特徴とする請求項３に記載の情報処理装置。
5. 前記ユーザによりキーボードを用いて文字列がキー入力された場合、当該キー入力された文字列を前記複数の入力欄のうちの入力先として特定されている前記第１の入力欄に入力する第２の入力手段を、更に備えることを特徴とする請求項１に記載の情報処理装置。
6. 前記表示手段は、前記複数の入力欄を、それぞれの項目名と対応づけて表示する、ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記表示手段は、前記第１の入力手段によって前記選択された文字領域の文字認識結果が前記第１の入力欄に入力された場合、さらに、当該選択された文字領域の部分画像を当該入力欄に対応づけて表示する、ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記表示手段は、前記複数の入力欄を、前記画面の第２のペインに表示することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 文書画像を表示する第１のペインと、前記文書画像に関連づけるべき複数のメタデータを入力するための複数の入力欄と、を含む画面を表示する表示手段と、
   前記第１のペインに表示された前記文書画像内の文字領域の１つがユーザにより選択された場合、当該選択された文字領域の文字認識結果を、前記複数の入力欄のうちの入力先として特定されている１つの入力欄に入力する第１の入力手段と、
   前記第１の入力手段により入力された前記文字認識結果の確度が、所定閾値以上であるか否か判定する判定手段と、
   前記第１の入力手段によって前記文字認識結果が前記特定されている１つの入力欄に入力された後、前記判定手段で前記文字認識結果の確度が前記所定閾値以上であると判定し、かつ、前記複数の入力欄のうちに未入力の入力欄がある場合に、当該未入力の入力欄のうちの１つを次の入力先として自動的に特定する特定手段と、
   を備えることを特徴とする情報処理装置。
10. 前記特定手段は、前記第１の入力手段によって前記文字認識結果が前記特定されている１つの入力欄に入力された後、前記判定手段で前記文字認識結果の確度が前記所定閾値以上でないと判定した場合、前記特定されている１つの入力欄を入力先として維持する、ことを特徴とする請求項９に記載の情報処理装置。
11. 前記第１のペインに表示された前記文書画像内の文字領域の１つが前記ユーザにより選択される前に、前記ユーザによって前記マウスの第２のホイール操作が為された場合、現在の入力先として特定されている前記第１の入力欄を、当該第２のホイール操作に応じて特定される入力欄に変更する第２のホイール操作手段を、更に有することを特徴とする請求項１に記載の情報処理装置。
12. 前記第２のホイール操作手段は、更に、前記第２のホイール操作に応じて変更した入力欄にカーソルを移動させることを特徴とする請求項１１に記載の情報処理装置。
13. コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
14. 文書画像を表示する第１のペインと、前記文書画像に関連づけるべき複数のメタデータを入力するための複数の入力欄と、を含む画面を表示する表示ステップと、
    前記第１のペインに表示された前記文書画像内の文字領域の１つがユーザにより選択された場合、当該選択された文字領域の文字認識結果を、前記複数の入力欄のうちの入力先として特定されている第１の入力欄に入力する第１の入力ステップと、
    前記第１の入力ステップで前記文字認識結果が前記第１の入力欄に入力された後に、前記ユーザによってマウスのホイール操作が為された場合、前記第１の入力欄に入力された前記文字認識結果を、当該ホイール操作に応じて特定される第２の入力欄に移動させる第１のホイール操作手段と、
    を備えることを特徴とする情報処理方法。

Images