JP5712487B2 - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関し、特に、画像データに対して文字認識を実行する画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

近年では法改正により、財務又は税務関係の帳票類や取締役会議事録等、商法や税法で保管が義務づけられている文書について、紙文書だけでなく電子化された文書ファイルでの保存が認められるようになった。そのため、これまでに比べて紙文書をスキャンして電子化する動きが活発となっている。

ここで問題となるのが、スキャンした文書画像の検索性である。例えば、スキャンした文書画像にはファイル名の重複を避けるために、スキャンした時刻等に基づいて名前が付けられることが多い。例えば、20090630141527.jpg等といった名前が付けられる。このように人間からは記号にしか見えない情報がファイル名として付加されている場合、ユーザがかつてスキャンした文書画像を探そうとすると、一枚一枚画像を開いて所望の文書を探さなくてはならない。サムネイルと呼ばれる縮小画像を用いて大まかな形から所望の文書画像を探すことも考えられるが、同じフォーマットの帳票が多数含まれたデータベース内では、縮小画像から所望の文書画像を見分けることは難しい。

そこで、ＯＣＲ（Optical Character Recognition）と呼ばれる技術を用いて、スキャンした画像に含まれる文字列を認識し、認識した文字列を利用してユニークなファイル名を付けるといった技術が提案されている。一般にスキャンした文書画像に付加したいファイル名はその文書画像内に含まれる場合が多い。例えば、文書の表題等が付加したいファイル名に該当する。

特許文献１には、画像から文字の存在する領域を複数検出し、検出した領域の特徴に基づいてそれぞれタイトルらしさを算出して、最もタイトルらしい領域に対してＯＣＲを施すことにより、画像から好適なファイル名を取得するという技術が開示されている。これにより、スキャンした文書のファイル名を文書のタイトルとすることができる。その結果、ユーザはファイル名を見るだけで所望の文書画像ファイルを探すことが可能となり、文書画像ファイルを一つ一つ開く検索時間を大幅に短縮することが可能になる。

一方で、特許文献１に記載の発明を利用しても、同じフォーマットの帳票が複数入力されると、全く同じファイル名が複数存在することになり、検索性は劣化する。そのため、特許文献２では画像データから複数の文字列を抽出し,それらをつないでファイル名にするといった技術が開示されている。また、特許文献３ではタイトルを抽出及び認識し、認識結果が所定のタイトル(例えば、頻出する「帳票」という単語など)に合致する場合には周辺の文字列を探すことで、単純に「帳票」というファイル名を付加するのではなく、「帳票NO:12457824N」等といったファイル名を付加できるような技術が開示されている。

しかし、ここまで述べた技術はいずれもタイトルを高い精度（１００％に近い精度）で検出できるわけではない。更に言えば、文字認識の精度も１００％ではない。その結果、正体不明の文字化けなどといった、異常な振る舞いをしてしまう可能性が少なからず存在する。異常な振る舞いが発生した際に、ここまでに述べた技術は複雑すぎて、動作の仕組みを理解していない殆どのユーザにとっては意味不明な機能、即ち、使えない機能と認識されてしまうことになる。以上のようなファイル名付加機能（以下、「全自動のファイル命名機能」という。）には以上のような問題がある。

一方で、異なるアプローチでタイトルを抽出及び認識してファイル名として付加するような技術も提案されている。例えば、特許文献４にはタイトル領域に所定のマーキングを施してスキャンすると、その領域に対してＯＣＲが施され、文書画像ファイルには、その領域の文字認識結果が付加される。特許文献５にも同様の技術が開示されている。以降、これらのファイル命名機能を半自動の命名機能と呼ぶこととする。

これらの半自動の命名機能にはタイトルの検出精度を向上させる（１００％に近づける）ことができるという利点はあるも。しかし、マーキングを付けることにより画像が汚れる、マーキングにより認識したい文字の一部が隠れ、文字認識の精度が落ちるといった問題がある。

本発明は、上記の点に鑑みてなされたものであって、文字認識の対象とされる文書の状態を劣化させることなく文字認識の領域を指定させることのできる画像処理装置、画像処理システム、画像処理方法、及びプログラムの提供を目的とする。

そこで上記課題を解決するため、本発明は、第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手段と、第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する第一の文字認識手段とを有する。

このような画像処理装置では、文字認識の対象とされる文書の状態を劣化させることなく文字認識の領域を指定させることができる。

本発明によれば、文字認識の対象とされる文書の状態を劣化させることなく文字認識の領域を指定させることができる。

本発明の第一の実施形態の画像形成装置の外観を示す斜視図である。 本発明の第一の実施形態の画像形成装置を用いて帳票をスキャンし、文書ファイルを作成する手順を示す図である。 本発明の第一の実施形態において使用される帳票及びマーキング用紙を示す図である。 図１における操作部の拡大図である。 本発明の第一の実施形態の画像形成装置における画像処理のフローを示す図である。 マーキング領域が広過ぎる場合の一例を示す図である。 複数枚の帳票又は複数種類の帳票を処理する例を示す図である。 図５におけるマーキング領域検出手段の構成を示す図である。 図８におけるラベリング手段の処理を示す図である。 図５における行間検出手段の処理を示す図である。 図５における文字間検出手段の処理を示す図である。 本発明の第二の実施形態において使用される帳票及びマーキング用紙を示す図である。 本発明の第二の実施形態における画像処理のフローを示す図である。 本発明の第三の実施形態において使用される帳票及びマーキング用紙を示す図である。 本発明の第三の実施形態における画像処理のフローを示す図である。 本発明の第四の実施形態において使用される帳票及びマーキング用紙を示す図である。 本発明の第五の実施形態において使用される帳票及びマーキング用紙を示す図である。 本発明の第五の実施形態における画像処理のフローを示す図である。 本発明の第七の実施形態において使用される帳票及びマーキング用紙を示す図である。 本発明の第七の実施形態における画像処理のフローを示す図である。 第八の実施形態における情報処理システムの構成例を示す図である。 第八の実施形態における画像形成装置のハードウェア構成例を示す図である。 第八の実施形態におけるユーザ端末のハードウェア構成例を示す図である。 ウィジェット、ウィジェットマネージャ、及びプロバイダアプリの機能構成例を示す図である。 ウィジェットマネージャの起動時の処理手順を説明するためのシーケンス図である。 ユーザ管理テーブルの構成例を示す図である。 マーキング用紙印刷ウィジェットへのジョブ投入時の処理手順を説明するためのシーケンス図である。 マーキング用紙印刷ウィジェットのウィジェット情報の例を示す図である。 実行可能なウィジェットの一覧の表示処理の処理手順を説明するためのシーケンス図である。 ユーザ選択画面の表示例を示す図である。 ウィジェットマネージャからプロバイダアプリに送信されるマーキング用紙印刷ウィジェットのウィジェット情報の構成例を示す図である。 ウィジェット選択画面の表示例を示す図である。 マーキング用紙印刷ウィジェットの実行時の処理手順を説明するためのシーケンス図である。 帳票スキャンウィジェットの起動時の処理手順を説明するためのシーケンス図である。 帳票スキャンウィジェットのウィジェット情報の例を示す図である。 帳票スキャンウィジェット実行時の処理手順を説明するためのシーケンス図である。

以下に本発明の実施形態を添付した図面を参照して説明する。
［第一の実施形態］
〈画像形成装置の構成〉
図１は、本発明の第一の実施形態の画像形成装置であるデジタル複合機（ＭＦＰ（Multifunction Peripheral））の外観を示す斜視図である。このデジタル複合機１００（以下、単に、「複合機１００」という。）は、本体１１０、大量用紙供給装置（ＬＣＴ）１１１及びソート、孔あけ、ステイプル等の後処理を行うフィニッシャー１１２等を有する。本体１１０は、上部に、トレイに載置した原稿を読み取り位置に搬送する自動原稿供給装置（ＡＤＦ）１１３及びオペレータとのインタフェースとして、読み取りモード、複写倍率の設定、給紙段の設定、後処理の設定を受け付け、オペレータに対する表示等を行う操作部１１４を備え、また、下部に、給紙部１１５を有する。フィニッシャー１１２は、排紙部１１７を備えている。

複合機１００は、後に詳述する電源供給系を除き、基本的に電子写真プロセスで画像を形成する公知の複合機が有する走査露光系、給紙搬送系、現像系、定着系、排紙系等を構成する機構及び制御装置を内蔵する。また、複合機１００は、コピー動作を次のように行う。即ち、原稿がＡＤＦ１１３のトレイに載置され、操作部１１４上の実行ボタン１１４２（図４参照）が押下されると、ＡＤＦ１１３の送りを経て、原稿は読み取り位置である図示しないコンタクトガラス上に供給される。この後、原稿面の画像は、図示しない照明系、結像光学系によりＣＣＤラインセンサの受光面に伝達され、光電的に二次元走査方式で読み取られる。読み取られた画像データは、各種の補正・処理を経て、印刷（画像形成）用の画像データとして生成され、生成された画像データに基づき、走査露光系のレーザーダイオード（ＬＤ）を駆動する。駆動されたＬＤからのビームは、感光体ドラム面を二次元で走査露光し、静電潜像を形成する。その後、静電潜像は、いわゆる電子写真に特有のトナー現像、転写、定着のプロセスを経て、操作部１１４により指示された転写紙に可視化像として定着され、コピー画像が形成される。また、後処理の指示があれば、フィニッシャー１１２にてソート、孔あけ、ステイプルなどが施された後、排紙部１１７から排出される。

〈帳票の文字認識〉
次にユーザが複合機１００を用いて帳票をスキャンし、文書ファイルを作成する手順について、図２用いて説明する。

まず、ユーザはスキャンしたい画像を準備する（ステップＳ１）。ここでは、図３Ａに示す帳票１を準備したのとする。続いて、ユーザはマーキング用紙をスキャンしたい画像に重ね、スキャンしたい画像中で画像の識別名としたい領域をボールペン等で囲むことでマーキングする（ステップＳ１）。ここでは、マーキング用紙として白紙のプリンタ用紙を用いた。この作業により、図３Ｂに示すように、マーキング用紙２には、帳票１の「帳票」という文字１１、及び帳票番号である「NO.B1112745N」という文字１２に対応する領域にマーキング２１及び２２が付与される。尚、以降はマーキング用紙２に付与された画像をマーキング画像、保存対象としてスキャンしたい画像（ここでは帳票）を帳票画像と呼ぶことにする。なお、画像の識別名とは、画像を永続化する際に、当該画像に関連付けられる又は付与される識別名である。本実施形態では、画像の識別名としてファイル名を用いる。これは、画像の記憶手段として、公知のファイルシステムが用いられるのが一般的であるからである。但し、識別名の具体的な形態は、実際に画像の保存先として用いる記憶手段に適したものとすればよい。

続いて、ユーザはマーキング用紙２と帳票１を重ねたまま原稿をＡＤＦ１１３にセットする(ステップＳ３)。次いでマーキングした領域をファイル名に設定するモードを設定する(ステップＳ４)。図４は図１の操作部１１４を拡大したものであるが、モード選択ボタン１１４１の中から「アプリ１」と記載されたボタンを押すことでステップＳ４は達成される。

続いて、ユーザが、操作部１１４の実行ボタン１１４２を押すと（ステップＳ５）、複合機１０は、マーキング用紙２よりマーキング画像を読み取り、帳票１より帳票画像を読み取る。複合機１０は、更に、帳票画像におけるマーキング画像に対応する領域を文字認識する。複合機１０は、文字認識した結果の文字列をディスプレイ１１４３に確認のために表示する（ステップＳ６）。その後、例えば、ユーザによって保存指示が入力されると、帳票画像は、文字認識された文字列をファイル名として保存される。

〈複合機内部の画像処理〉
続いて図５を用いて、複合機１００内部の処理フローについて説明する。複合機１００はＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などを内蔵しており、この処理フローは、ＣＰＵがＲＯＭやＨＤＤに格納されているプログラムを実行することにより行われるものであり、各手段は処理フローの機能に対応するブロックである。

まず画像１００１（マーキング画像及び帳票画像）は画像読み取り手段１２１により順次光電変換され、画像データに変換される。続いてマーキング領域検出手段１２２は、マーキング画像データから、ユーザのマーキングした部分（すなわち、記入内容）を検出する。複数のマーキングが存在した場合には存在したマーキング全てを検出する。その後、マーキング領域検出手段１２２は、ユーザのマーキングした部分の外接矩形の座標情報、即ち水平位置x、垂直位置y、幅w、高さhをマーキング領域として出力する。複数のマーキング領域が存在した場合、垂直位置が若いもの、水平位置が若いものの順に矩形の座標情報が出力されるものとする。マーキング領域検出手段１２２の動作の詳細については後述する。

帳票画像において、そのマーキング領域をそのまま文字認識しても良いが、図６に示されるように、ユーザがマーキングした部分２１'が他の行にかかっている場合などには、ユーザが指定した文字列（図６では「帳票」という文字１１）以外の領域（図６では「NO.01112745N」という文字１２の一部）がノイズになってしまい、ノイズを文字として認識してしまう等の不具合が発生する可能性がある。

そこで、本実施形態では、ユーザがマーキングした部分をそのまま文字認識に利用するのではなく、帳票画像の特徴情報が検出（抽出）され、当該特徴情報に基づいてマーキング領域が補正される。具体的には、行間検出手段１２３が、特徴情報の一例である行間情報を検出する。また、文字間検出手段１２４が、特徴情報の一例である文字間情報を検出する。抽出領域算出手段１２５は、検出された行間情報、文字間情報を頼りにマーキング領域を補正する。補正により得られるのは、マーキング領域として得られる情報と同様に外接矩形の座標情報、即ち水平位置x、垂直位置y、幅w、高さhである。この処理は検出されたマーキング領域全てに対して行われる。尚、行間検出手段１２３、文字間検出手段１２４、及び抽出領域算出手段１２５の詳細な動作については後述する。

続いて、文字認識手段１２６では、補正されたマーキング領域に関して帳票画像に対して文字認識を施し、画像データを所定の文字コード（例えば、アスキーコード）に変換する。この文字認識処理も検出したマーキング領域全てに対して行われる。

続いて、文字連結手段１２７では、文字認識手段１２６により出力された文字コード（文字列）を、処理が終わった順番に連結し、ページ番号及び、画像フォーマットを示す拡張子(例えば.jpg)等を付与して連結文字列を出力する。例えば、図３のようなマーキング画像、及び帳票画像を用意した場合には、出力される連結文字列（出力文字列）は「帳票NO.B1112745N_01.jpg」となる。尚、この文字認識処理は、いわゆるパーターンマッチング等の周知の技術を用いて容易に行うことができるので、詳細な説明は省略する。

画像保持手段１２８は、出力文字列をファイル名として、読み取られた帳票画像データを保存する。ここで、マーキング画像データはマーキング領域２１、２２が読み取られた後には不要である。マーキング画像データを帳票画像データと一緒に保存してしまうと、マーキング画像データがノイズとなりファイル名の検索性が悪くなる。そこで、本実施形態では、マーキング画像データは帳票画像データとは別のフォルダに保存するか、破棄してしまうことにより、帳票画像データの検索性を高め、ユーザの利便性を向上させている。

以上のように、帳票画像に含まれる文字列を用いてファイル名を作成することで、ユーザによって適切な領域が選択されれば、帳票画像データには適切、かつユニークな名前を付与することができる、その結果、ファイル名だけで画像を特定することが可能となり、検索の利便性が格段に向上する。

また、本実施形態のように、ユーザにマーキングを促す構成とすることにより、全自動のファイル命名の際に問題となった、ユーザの意図と異なる領域をタイトルとしてファイルに付与するといった問題は発生し得ない。

更に、マーキング用紙２を別途用意することにより、従来の半自動の命名機能のように原稿（ここでは帳票１）を汚すことがない。また、マーキングによって読み取りたい領域の文字が隠れることもない。

更に、同じフォーマットの帳票に対して、マーキング画像を使い回せば、マーキングを付ける手間も最小限に抑えることができる。また、同じフォーマットの帳票がたくさんあることを考えると、ユーザはフォーマットの異なる帳票ごとにマーキング専用の紙を用意しておけば、何度もマーキングを行う必要がなくなり、また紙も無駄に消費しなくて良い。また、今回の説明ではマーキング専用の紙と述べたが、ＯＨＰシートなどを利用すれば、透過率が高く、重ねた時により分かりやすくなるし、また紙に比べると耐久性が高いので、何度も使いまわせることになりユーザの利便性は高くなる。

更に、スキャン時には必ず二枚の画像を重ねることになり、また、マーキング用紙が透けることから、その後の複合機１００の動作が直感的に予測しやすくなるだけでなく、ユーザが間違えて異なるフォーマットの帳票用のマーキング用紙を利用しようとした際にも、ユーザが間違いに気づきやすくなると言う効果がある。

なお、同一のマーキング用紙２が適用される複数枚の帳票１を一度に処理してもよい。また、適用されるべきマーキング用紙２が異なる複数種類の帳票１を一度に処理してもよい。

図７は、複数枚の帳票又は複数種類の帳票を処理する例を示す図である。同図には、２種類の帳票１ａ及び１ｂが示されている。帳票１ａ及び２ａは、それぞれ複数枚有る。この場合、同図に示されるように、各帳票の先頭ページの前に当該帳票に対応したマーキング用紙２を配置して（重ねて）、複合機１００のＡＤＦにセットすればよい。同図の例では、帳票１ａの先頭ページの前にマーキング用紙２ａが配置され、帳票２ａの先頭ページの前にマーキング用紙２ｂが配置されている。したがって、マーキング用紙２ｂは、帳票１ａの最終ページと帳票１ｂの先頭ページとの間に挟まれた状態となる。

図７に示されるようにマーキング用紙２及び帳票１がＡＤＦにセットされた場合、画像読取手段１２１は、セットされた状態において先頭のページから順に、マーキング画像データ又は帳票画像データへの変換を行う。その結果、同図の例では、マーキング用紙２ａより読み取られた１つのマーキング画像データ、帳票１ａの各ページより読み取られた複数の帳票画像データ、マーキング用紙２ｂより読み取られた１つのマーキング画像データ、及び帳票１ａの各ページより読み取られた複数の帳票画像データが生成される。また、読み取られた順に、各画像データの配列順が記録される。

マーキング領域検出手段１２２、行間検出手段１２３、文字間検出手段１２４、及び抽出領域算出手段１２５は、マーキング画像データに対して上述したそれぞれの処理を実行する。したがって、図７の例では、マーキング用紙２ａ又はマーキング用紙２ｂより読み取られた二つのマーキング画像データに対して当該処理が実行される。なお、マーキング用紙２の所定の位置に所定の記号又は図形等をマーキング用紙２の識別情報として付加しておくとよい。図７では、マーキング用紙２の右上にバーコードが付加されている例が示されている。マーキング領域検出手段１２２は、当該識別情報の有無に基づいて、マーキング画像データと帳票画像データとを区別する。

続いて、文字認識手段１２６は、画像データの配列順において、処理対象の帳票画像データより前であって、かつ、最後のマーキング画像データより検出されたマーキング領域について、当該帳票画像データに対する文字認識を実行する。

上記より、各帳票画像データは、当該帳票１に対応したマーキング用紙２において指定されたマーキング領域に基づくファイル名によって保存される。

〈マーキング領域検出手段１２２〉
図８を用いてマーキング領域検出手段１２２の動作を説明する。同図に示されるように、マーキング領域検出手段１２２は、二値化手段２０１及びラベリング手段２０２等を含む。

二値化手段２０１は、画像データ（マーキング画像データ）１００２に対して閾値処理を行うことで、画像に含まれる各画素が白画素か黒画素かを判定する。ここで画像データは１画素当たり８ビット（０〜２５５）であり、値が大きいほど明るい画素とする。閾値は１２８を用いる。

ラベリング手段２０２は、繋がりを持つ画素を一つのラベルとして分類する。例えば図９Ａのように二値化された画像の場合、背景のラベルを０とすれば、図９Ｂのように、左上の黒い塊のラベルが１、右下の黒い塊のラベルが２といった具合にラベリングされる。

具体的なラベリング手法は、以下の通りである。画像の各画素を左上端から走査しながら、黒画素を探索する。白画素の場合、注目画素のラベルは０である。一方、黒画素が現れた場合、隣接する左か上に黒画素が無いかを調べ、黒画素がある場合には、隣接する画素のラベルを注目画素のラベルとする。黒画素が無い場合には、新しいラベルを注目画素に付与する。以上の処理を画像の右下端の画素まで繰り返す。全ての画素にラベルが付与されたら、ラベル毎に外接矩形を算出する。図９Ｂの例で言うと、１のラベルは左端から３〜４つ目、上端から２〜３つ目に存在するので、左＝３、上＝２、幅＝２、高さ＝２の矩形が外接矩形と言うことになる。

尚、ラベリング後、予め決めた大きさよりも小さな領域は無視すると、ノイズに対して頑健なシステムになる。また、ノイズ除去後のラベリングされた要素の数が０の際には、読み取りが正常に行えない旨を操作部１１４のディスプレイ１１４３を通じてユーザに通知する。

〈行間検出手段１２３〉
行間検出手段１２３は、前述の通り、マーキング領域を補正することを目的として行間を検出する。行間検出手段１２３は、まず画像全体に対して、二値化手段２０１と同様にして、各画素が黒（０）か白（２５５）かを判定する。その後、行間検出手段１２３は、縦方向の座標毎に、横方向に走査して画素値を積算する。例えば、図１０Ｂのような画像の画像データに対してこの処理を行うと、図１０Ａのようなヒストグラムが得られる。この画像において、行間は真っ白なので、横方向の積算値は非常に高くなる。一方で、文字が存在する場合、横方向の積算値は若干低くなる。その結果、行間はそのヒストグラムにおいてピークを示すようになる。行間検出手段１２３は、全てのピークを検出し、行間座標として出力する。

〈文字間検出手段１２４〉
文字間検出手段１２４は、行間検出手段１２３と同様にマーキング領域を補正することを目的とし、文字間を検出する。文字間検出手段１２４は、行毎に文字間を検出する。尚、ここで言う行とは行間検出手段１２３によって検出された行間と行間に挟まれた領域を示す。

文字間検出手段１２４は、まず行間検出手段１２３と同様に画像を二値化し、今度は、縦方向の座標毎に、縦方向に走査して画素値を積算してヒストグラムを作成する。行間を検出した時と同様、文字間の位置でもヒストグラムが非常に高くなり、そのヒストグラムにおいてピークを示すようになる。文字間検出手段１２４は、全てのピークを検出し、文字間座標として出力する。それぞれの行において文字間座標が算出されるので、行間、文字間を図で示すと以下の図１１におけるグレーの領域になる。

〈抽出領域検出手段１２５〉
抽出領域検出手段１２５は、前述の通り、ユーザが実際にマーキングした領域を行間情報と、文字間情報とを用いて修正する。まずは行間情報を用いての修正であるが、抽出領域検出手段１２５は、マーキング領域に、行間が二つ、つまり、行が一つだけ含まれる場合には、その行の上端と下端とを修正後のマーキング領域の上端と下端とする。抽出領域検出手段１２５は、行が複数含まれる場合には、認識できない旨を操作部１１４のディスプレイ１１４３を通じてユーザに通知する。また、マーキング領域に、行間が一つしか含まれない、つまり一つの行が不完全な形でしか選択領域に含まれない場合は、抽出領域検出手段１２５は、マーキング領域の上端と下端付近を調べ、最も近い行間を探し、近いほうの行間とマーキング領域に含まれる行間とを、修正後のマーキング領域の上端と下端とする。

続いて、抽出領域検出手段１２５は、文字間情報を用いて、マーキング領域の左側と右側を調べ、最も近い文字間位置をもって修正後のマーキング領域の左側と右側に設定する。続いて、抽出領域検出手段１２５は、マーキング領域に含まれる文字数を調べ、文字数が0の場合には、検出すべき文字が存在しないとして、ディスプレイ１１４３を通じてユーザに通知する。

以上のように補正を行うことにより、図６に示すようなユーザによるマーキングが不適切な場合であっても、認識すべき文字列画像が欠けたり、不必要な画像を誤って文字認識したりする可能性が低減される。その結果、ユーザの期待通りの認識結果が得られる可能性が高まる。また、読み取りたい領域以外を若干含んでいても良いので、ユーザは気軽にマーキングすることが可能になる。

なお、以上の説明では、マーキング領域を矩形や楕円形の枠状のものとしたが、マーキング領域を「 」、<>などの括弧、或いは下線などによって指定させても良い。これらの記号であっても、当該記号と帳票画像の文字認識領域との対応関係を予め定めておけば、枠状の場合と同様にマーキング領域を検出し、文字認識をすることが可能である。
［第二の実施形態］
図１２に、本発明の第二の実施形態の画像形成装置である複合機で使用する帳票及びマーキング用紙を示す。また、図１３に、本実施形態の複合機内部の画像処理を示す。本実施形態は第一の実施形態とほぼ内容を同じくするものであり、帳票画像だけでなく、マーキング画像に対しても文字認識を施す点が第一の実施形態と異なる。

図１２Ａに示すように、本実施形態における帳票画像は第一の実施形態（図３Ａ）と同じである。一方、マーキング画像については、図１２Ｂに示すように、マーキング領域２１、２２の内部に、それぞれ数字「１」、「２」が記載されている点が図３Ｂとは異なる。この数字はユーザが手書きで書き込むものである。

複数のマーキング領域２１、２２が存在する場合に、ファイル名となる文字列を連結する必要がある。第一の実施形態では、検出されたマーキング領域の位置に応じて文字列を連結する順番を決めていたが、その順番は必ずしも簡単な規則に従うものではない。適切な順番を知るにはユーザに指定してもらうことが手っ取り早いので、本実施形態では、マーキング領域２１、２２内に文字列を連結する順番をユーザに記入してもらうようにした。

また、複合機１００の内部では、図１３に示すように、第１の実施形態（図５）における文字認識手段１２６と同じ動作を行う第一の文字認識手段１２６−１に加えて、マーキング領域２１、２２の内部の文字認識を行う第二の文字認識手段１２６−２を設け、その出力を文字連結手段１２７に供給するようにした。

尚、マーキング画像データに対する文字認識処理は、帳票画像に施す文字認識処理に比べて識別できる文字種の数を大幅に小さくしておくことが望ましい。例えば、本実施形態では数字に限定している。一般に活字に比べて手書きの文字は形状の自由度が高く、認識が難しくなる。そこで、本実施形態のように認識できる文字種を数字に限定することで、識別率の劣化を抑制している。

また、ここまでマーキング画像に対して「文字認識」を行うと述べてきたが、必ずしも文字を認識する必要はない。ユーザにとって直感的に書き込みやすいのは数字であるが，認識しやすい記号（○、△、□等）と、どの記号がどの数字に対応するかを予め決めておけば、同様の効果が得られるし、識別率も数字を用いた場合よりも向上することが予想される。従って、第二の文字認識手段１２６−２は厳密な意味でのＯＣＲである必要はない。
［第三の実施形態］
図１４に、本発明の第三の実施形態の画像形成装置である複合機で使用する帳票及びマーキング用紙を示す。また、図１５に、本実施形態の複合機内部の画像処理を示す。本実施形態は第二の実施形態と同じく、帳票画像だけでなく、マーキング画像に対しても文字認識を施すが、文字認識結果に応じて行う処理が異なる。

図１４Ａに示すように、本実施形態における帳票画像は第１の実施形態（図３Ａ）及び第２の実施形態（図１２Ａ）と同じである。一方、マーキング画像については、図１４Ｂに示すように、第２の実施形態（図１２Ｂ）と同様、内部に文字が記入されているが、数字の「１」、「２」ではなくアルファベットの「Ｊ」、「Ｅ」である点が異なる。

また、複合機１００の内部では、図１５に示すように、第１の実施形態（図５）における文字認識手段１２６と同様な動作を行う第一の文字認識手段１２６−１に加えて、マーキング領域２１、２２の内部の文字認識を行う第二の文字認識手段１２６−２を設け、その出力を第一の文字認識手段１２６−１に供給するようにした。

第一の文字認識手段１２６−１では、第二の文字認識手段１２６−２の認識結果に応じて、動作が変化する。即ち「Ｅ」が検出されたマーキング領域２２に対しては英語限定の文字認識を施し、「Ｊ」が検出されたマーキング領域２１に対しては日本語限定の文字認識を施す。

一般に文字認識処理は特定の言語に対して、最適な領域抽出のアルゴリズムを備えたり、最適な辞書を用意したりすることにより識別率の向上を図っている。一方、複数の言語が入力されることを想定する場合には、どの言語が利用されているかを推定し、推定した言語の文字認識を利用するといった処理が行われる。この推定の精度は１００％ではなく、言語の推定を間違えると、識別精度は劣化する。つまり、事前にどの言語の文字認識を利用すれば良いかが明らかならば、識別の精度は向上すると言うことである。

本実施形態によれば、ユーザは手書きで一文字を書き込むだけで、その領域にどの言語の文字認識をかけて欲しいかを指定することができるので、容易に識別精度を向上させることができる。尚、今回は英語と日本語を指定できるようにしたが、数字をN、半角カナをKなどに割り振り、更にENと記入すると、文字認識結果を英語と数字だけに限定できるといった使い方も想定できる。
［第四の実施形態］
図１６に、本発明の第四の実施形態の画像形成装置である複合機で使用する帳票及びマーキング用紙を示す。図１６Ａに示されるように、本実施形態における帳票１は上記実施形態と同じである。一方、マーキング用紙２については、図１６Ｂに示されるように、未記入の帳票画像（すなわち、帳票のテンプレートの画像）の各文字列を囲む矩形や罫線等の図形が描画された画像（以下、「枠画像」という。）が予め記録されている。すなわち、本実施形態では、帳票のテンプレート画像（帳票テンプレート画像）を予め解析することにより、枠画像が記録された電子データ（以下、「枠画像データ」という。）を生成しておき、当該枠画像データをプリンタに印刷させることにより、マーキング用紙２が作成される。なお、枠画像データの生成は、人手によって行われてもよいし、所定のプログラムによって自動的に行われてもよい。帳票テンプレート画像に基づいてマーキング画像を自動生成する場合、帳票画像からの罫線の抽出や、各文字列を囲む矩形の抽出等は、公知の画像処理技術を用いればよい。

本実施形態では、枠画像が記録されたマーキング用紙２において、ユーザは、マーキング領域とする矩形（罫線内の矩形が含まれてもよい）に蛍光ペン又は色鉛筆等、（黒以外の色）の色の筆記具によって記入を行う。図１６Ｂでは、マーキングｍ１及びｍ２が記入された例が示されている。なお、図１６Ｂに示されるように、マーキング領域とされる矩形内に、文字認識の対象とされる文字が記入される場合は、蛍光ペンが好適である。

第四の実施形態の複合機１００の処理内容は、第一〜第三の実施形態のいずれかと同様でよい。但し、マーキング画像の内容及びマーキング領域検出手段１２２の動作が第二の実施形態とは異なる。

すなわち、第四の実施形態において、画像読み取り手段１２１によって生成されるマーキング画像には、ユーザによってマーキングされた画像（例えば、マーキングｍ１及びｍ２等を示す画像）だけでなく、枠画像も含まれる。また、マーキング領域検出手段１２２は、マーキング画像について二値化を行わずに、黒以外の色を有する描画部分（画素）を検出し、当該描画部分を含む矩形をマーキング領域として検出する。その結果、図７の例では、マーキングｍ１を含むマーキング領域２１と、マーキングｍ２を含むマーキング領域２２とが検出される。なお、各矩形の検出は、公知の画像処理技術を用いればよい。

図１６において、マーキング領域２１及び２２に含まれる「１」又は「２」の意味は、第二の実施形態と同様である。数字の代わりに、第三の実施形態と同様の文字が記入されてもよい。

なお、マーキングｍ１及びｍ２は、必ずしもカラーでなくてもよい。マーキングｍ１及びｍ２等がカラーに限定されない場合、マーキング領域検出手段１２２は、上記実施形態と同様に、マーキング画像を二値化する。続いて、マーキング領域検出手段１２２は、二値化されたマーキング画像と、予め保存されている枠画像データによって示される枠画像との差分を抽出することにより、マーキングｍ１及びｍ２等を検出する。その他の処理は上記より自明であるため省略する。なお、複数種類の帳票１を処理する場合、帳票１の種類ごとに枠画像が異なりうる。したがって、このような場合には、帳票１の種類の識別子が埋め込まれたバーコード等を、当該種類に対応した枠画像と共にマーキング用紙２に記録しておけばよい。マーキング領域検出手段１２２は、当該バーコードより読み取られた識別子に対応する枠画像データによって示される枠画像と、マーキング用紙２より読み取られたマーキング画像との差分を抽出する。

本実施形態によれば、マーキング領域は、予め解析された矩形領域単位で検出されるため、より高い精度でマーキング領域を特定することができる。また、行間検出手段１２３及び文字間検出手段１２４等の必要性を低減させることができ、処理内容をより単純化することができる。
［第五の実施形態］
図１７に、本発明の第五の実施形態の画像形成装置である複合機で使用する帳票及びマーキング用紙を示す。また、図１８に、本実施形態の複合機内部の画像処理を示す。本実施形態は第一の実施形態と構成をほぼ同じくするものであり、マーキング用紙に予めバーコードを出力しておく点で異なる。

図１７Ａに示すように、本実施形態における帳票画像は第１の実施形態（図３Ａ）と同じである。一方、マーキング画像については、図１７Ｂに示すように、第１の実施形態（図３Ｂ）と同様、帳票番号である「NO.B1112745N」という文字１２に対応するマーキング領域２２はあるものの、「帳票」という文字１１に対応するマーキング領域は無く、代わりにバーコード２３が有る。バーコード２３には、ユーザが指定した単語が埋め込まれており、ここでは埋め込まれている単語は「帳票」である。

また、複合機１００の内部では、図１８に示すように、第１の実施形態（図５）における画像処理のフローに加えて、バーコード認識手段１２９を設け、その出力を文字連結手段１２７に供給するようにした。

これにより、第一の実施例と同様にマーキング領域２２を検出し、帳票画像データにおける該領域に対して文字認識を施すことにより、「NO.B1112745N」という文字列を得る。また、バーコード２３を読み取ることにより、「帳票」という単語を認識する。後は第一の実施形態と全く同様で、文字連結手段１２７で連結することにより、「帳票NO.B1112745N_01.jpg」がファイル名となる。

同じフォーマットの帳票を何度も読み取る場合、一部の単語は文字認識しないでも予め分かっている場合がある。例えば、本実施形態で例示している「帳票」と言う言葉は、このフォーマットの帳票では必ず記載されている単語である。これらを毎回文字認識しても構わないが、文字認識の識別精度に比べてバーコードの識別精度は格段に高い。

そこで、本実施形態のように、キーワードを予め埋め込んだバーコードが出力された紙をマーキング用紙として利用すれば、毎回精度良くファイル名に利用する単語を検出できる。これにより、ユーザがファイル名を修正する確率が低くなることから、認識結果が間違いであった場合の修正工数を削減でき、より利便性が向上する。尚、本実施形態ではバーコードを利用したが、二次元コードであっても構わないし、他のコードであっても構わない。
［第六の実施形態］
第六の実施形態の帳票及びマーキング用紙は、第五の実施形態と同様でよい。また、第六の実施形態における複合機１００の内部の画像処理も第五の実施形態と同様でよい。但し、第六の実施形態では、バーコード２３に埋め込まれている情報が異なる。第六の実施形態では、帳票画像データの保存位置を示す文字列（フォルダ名）が記録されている。

したがって、第六の実施形態において、バーコード認識手段１２９は、バーコード２３より文字列を抽出する。文字列連結手段１２７は、連結された文字列（ファイル名）に対して、バーコード認識手段１２９によって抽出された文字列をフォルダ名として付加することにより、ファイルパス名を生成する。その結果、帳票画像データは、画像保持手段１２８において、バーコード２３によって指定されたフォルダ名に係るフォルダの下に保存される。

本実施形態によれば、帳票画像データの保存場所を適切に分類することができる。例えば、帳票の種類に応じたフォルダ名が埋め込まれたバーコード２３を有するマーキング用紙２を帳票の種類ごとに作成しておく。保存する帳票１の種類に応じたマーキング用紙２を利用すれば、帳票１の種類毎に異なるフォルダに帳票画像データを保存させることができる。

なお、フォルダ名は情報量が多いため、フォルダ名を埋め込むためのバーコード２３として、ＱＲコード等の２次元コードを利用してもよい。また、保存位置を示す文字列は、フォルダ名に限定されない。例えば、ＵＲＬ（Uniform Resource Locator）等が、保存位置を示す文字列として用いられてもよい。
［第七の実施形態］
ここまでの実施形態では、ファイルの命名についてのみ説明を行ってきた。しかし、本発明を用いて実現できるのはファイルの命名に限らない。例えば、マーキング画像から読み取った文字(記号)と帳票画像から読み取ったテキストを関連付けて、ＸＭＬデータとして出力することが可能である。これにより、どんなフォーマットの帳票に対しても、適切なマーキング画像を用意するだけで対応可能なアプリケーションが構築できることになる。

図１９に、本発明の第七の実施形態の画像形成装置である複合機で使用する帳票及びマーキング用紙を示す。また、図２０に、本実施形態の複合機内部の画像処理を示す。

図１９Ａに示すように、帳票１には、帳票番号を表す数字１３と請求金額を表す数字１４が記載されている。一方、マーキング用紙２には、マーキング領域２４及び２５が配列されており、それぞれの内部に数字「１」、「２」が記入されている。

また、複合機１００の内部の画像処理のフローとして、図２０に示すように、第１の実施形態（図５）における文字認識手段１２６と同じ動作を行う第一の文字認識手段１２６−１に加えて、マーキング領域２４、２５の内部の文字認識を行う第二の文字認識手段１２６−２と、それらの文字認識手段の出力を関連付けてＸＭＬ形式のデータとして出力するＸＭＬ出力手段１３０を設けた。

つまり、予め、帳票NOは「１」、請求金額は「２」といった番号に対する領域の種別を決めておく。ユーザは新しい帳票を入手した際には、マーキング用紙にマーキング領域を書き込み、各領域の種別に対応した数字を書き込む。その後、重ねてスキャンするだけで、どんなフォーマットの帳票も所定のデータベースに導入可能になる。

これまでに同様の操作を実現するには、帳票のフォーマット毎に、読み取りルールを構築し、アプリケーションに対して設定してやる必要があった。この作業はＰＣ（パーソナルコンピュータ）の操作に不慣れなユーザにとっては敷居の高い作業であり、ユーザによっては、システムエンジニアに依頼する必要があった。本実施形態のように、直感的な操作で様々なフォーマットに対する読み取りルールを構築することで、ユーザの利便性は格段に向上する。

以上デジタル複合機を用いて様々な実施形態について述べたが、本発明はデジタル複合機の範囲にとどまるものではない。スキャナと演算装置が存在すれば本発明は実施可能である。例えば、スキャナは個人向けのフラットベッドスキャナを使っても良いし、マーキング領域検出などの処理はスキャナとネットワークで繋がれたＰＣなどを利用しても一向に構わない。
［第八の実施形態］
次に、第八の実施の形態において説明した技術を要素技術として利用した情報処理システムについて説明する。図２１は、第八の実施形態における情報処理システムの構成例を示す図である。同図の情報処理システム５において、一台以上の画像形成装置３０と、一台以上のユーザ端末４０とは、ＬＡＮ（Local Area Network）又はインターネット等のネットワーク（有線又は無線の別は問わない。）を介して接続されている。

画像形成装置３０は、スキャン、印刷、コピー、及びＦＡＸ送受信等の機能を一台の筐体によって実現する複合機である。本実施の形態において、画像形成装置３０は、スキャン機能及び印刷機能の双方を備えているのが好適である。但し、スキャン機能又は印刷機能のいずれか一方を備える機器が画像形成装置３０として用いられてもよい。この場合、情報処理システム５は、スキャン機能を備える機器を少なくとも一台含み、印刷機能を備える機器を少なくとも一台含めばよい。

ユーザ端末４０は、ユーザが利用する個人端末であり、ソフトウェアプログラムのインストール及び実行が可能であり、通信機能を有するものであれば、特定の装置に限定されない。ユーザ端末４０の具体例として、デスクトップ型のＰＣ（Personal Computer）、ノートＰＣ、ＰＤＡ（Personal Digital Assistance）、又は携帯電話等が挙げられる。

ユーザ端末４０のソフトウェア構成について説明する。図２１において、ユーザ端末４０は、マーキング用紙印刷ウィジェット４１ａ、帳票スキャンウィジェット４１ｂ、ウィジェットマネージャ４２、バーコードエンコーダ４３、バーコードデコーダ４４、帳票テンプレート解析部４５、ファイル名生成部４６、及びＯＳ４７等を有する。

マーキング用紙印刷ウィジェット４１ａ及び帳票スキャンウィジェット４１ｂは、本実施の形態において、「ウィジェット４１」として総称されるアプリケーションプログラムである。近年では、ウィジェット（Ｗｉｄｇｅｔ）又はガジェット（Ｇａｄｇｅｔ）とよばれる手軽なアプリケーションが流通している。本実施の形態では、手軽にインストールして利用可能なアプリケーションという程度の意味においてこれらのアプリケーションをウィジェット４１と呼ぶ（すなわち、技術的な意義において限定する趣旨ではない）。但し、本実施の形態において、各ウィジェット４１は、画像形成装置３０の機能を利用して所定の処理フロー（例えば、ワークフロー等の一連の処理フロー）を実現するという点において共通する。

マーキング用紙印刷ウィジェット４１ａは、第六の実施形態のように予めバーコード等が記録されたマーキング用紙を印刷するための印刷ジョブを画像形成装置３０に実行させる。

帳票スキャンウィジェット４１ｂは、マーキング用紙及び帳票に関して画像形成装置３０にスキャンジョブを実行させる。帳票スキャンウィジェット４１ｂは、スキャンされたマーキング画像データ及び帳票画像データに基づいて生成されるファイル名によって、当該帳票画像データをユーザ端末４０の記憶装置に保存する。

ウィジェットマネージャ４２は、ウィジェット４１と画像形成装置３０との間の通信の仲介等を行う。各ウィジェット４１は、ウィジェットマネージャ４２によって規定されるインタフェース及び処理手順を備える必要がある。換言すれば、ウィジェットマネージャ４２と協調して動作するアプリケーションが、本実施の形態におけるウィジェット４１である。

バーコードエンコーダ４３は、文字列を入力情報とし、当該文字列を示すバーコード画像データを生成する。バーコードデコーダ４４は、バーコード画像データを入力情報とし、当該バーコード画像に埋め込まれている文字列を抽出する。

帳票テンプレート解析部４５は、帳票のテンプレートデータ（帳票テンプレートデータ）を解析して、未記入の帳票の文字列を囲む矩形や罫線等が記録された枠画像データを生成する。帳票テンプレートデータとは、未記入の帳票のフォーマットが記録された電子データをいう。帳票テンプレートデータは、画像データでもよいし、所定のアプリケーション（ワープロソフト又は表計算ソフト等）によって生成された文書データでもよい。テンプレートデータから枠画像データの生成は、公知の画像処理技術を用いればよい。なお、帳票テンプレートデータをユーザが有している状況として、当該帳票テンプレートデータに係る帳票が、発注伝票等、当該ユーザが記入して使用する帳票である状況を想定するとよい。

ファイル名生成部４６は、マーキング画像データに基づいて帳票画像データより文字列を抽出し、当該文字列に基づいて帳票画像データに対するファイル名を抽出する。

ＯＳ４７は、いわゆるＯＳ（Operating System）である。ユーザ端末４０上の各ソフトウェアは、ＯＳ４７上においてプロセス又はスレッドとして動作する。

画像形成装置３０のソフトウェア構成について説明する。図２１において、画像形成装置３０は、標準アプリ３２１、ＳＤＫアプリ３２２、ＳＤＫプラットフォーム３２３、コントロールサービス３２４、及びＯＳ３２５等を有する。

標準アプリ３２１は、画像形成装置３０に標準的に（出荷時に予め）実装されているアプリケーションの集合である。同図では、スキャンアプリ３２１１、印刷アプリ３２１２、コピーアプリ３２１３、及びＦＡＸアプリ３２１４が例示されている。スキャンアプリ３２１１は、スキャンジョブを実行する。印刷アプリ３２１２は印刷ジョブを実行する。コピーアプリ３２１３は、コピージョブを実行する。ＦＡＸアプリ３２１４は、ＦＡＸの送信ジョブ又は受信ジョブを実行する。

コントロールサービス３２４は、各種のハードウェアリソース等を制御するための機能を上位アプリケーション等に対して提供するソフトウェアモジュール群であり、例えば、ネットワーク通信に関する機能、スキャナの制御機能、プリンタの制御機能、メモリの管理機能等を有する。

ＳＤＫアプリ３２２は、画像形成装置３０の出荷後において、画像形成装置３０の機能拡張を図るためのプラグインとして追加的にインストールされるアプリケーションである。同図では、ＳＤＫアプリ３２２として、プロバイダアプリ３２２１が例示されている。プロバイダアプリ３２２１は、ウィジェット４１を画像形成装置３０より操作可能とするための処理を実行する。

ＳＤＫプラットフォーム３２３は、ＳＤＫアプリ３２２の実行環境を提供する。各ＳＤＫアプリ３２２は、ＳＤＫプラットフォーム３２３が提供するＡＰＩ（Application Program Interface）を利用して開発される。例えば、ＳＤＫプラットフォーム３２３は、スキャン機能を利用させるためのインタフェース、印刷機能を利用させるためのインタフェース、コピー機能を利用させるためのインタフェース等をＳＤＫアプリ３２２に提供する。なお、ＳＤＫプラットフォーム３２３のＡＰＩは公開されており、サードベンダ等によってもＳＤＫアプリ３２２は開発されうる。

ＯＳ３２５は、いわゆるＯＳ（Operating System）である。画像形成装置３０上の各ソフトウェアは、ＯＳ３２５上においてプロセス又はスレッドとして動作する。

続いて、各装置のハードウェア構成について説明する。図２２は、第八の実施形態における画像形成装置のハードウェア構成例を示す図である。図２２において、画像形成装置３０は、コントローラ３１、スキャナ３２、プリンタ３３、モデム３４、操作パネル３５、ネットワークインタフェース３６、及びＳＤカードスロット３７等のハードウェアを有する。

コントローラ３１は、ＣＰＵ３１１、ＲＡＭ３１２、ＲＯＭ３１３、及びＨＤＤ３１４等を有する。ＲＯＭ３１３には、各種のプログラムやプログラムによって利用されるデータ等が記録されている。ＲＡＭ３１２は、プログラムをロードするための記憶領域や、ロードされたプログラムのワーク領域等として用いられる。ＣＰＵ３１１は、ＲＡＭ３１２にロードされたプログラムを処理することにより、各種の機能を実現する。ＨＤＤ３１４には、プログラムやプログラムが利用する各種のデータ等が記録される。

スキャナ３２は、原稿より画像データを読み取るためのハードウェアである。プリンタは１３、印刷データを印刷用紙に印刷するためのハードウェアである。モデム３４は、電話回線に接続するためのハードウェアであり、ＦＡＸ通信による画像データの送受信を実行するために用いられる。操作パネル３５は、ユーザからの入力の受け付けを行うめのボタン等の入力手段や、液晶表示部等の表示手段を備えたハードウェアである。ネットワークインタフェース３６は、ＬＡＮ等のネットワーク（有線又は無線の別は問わない。）に接続するためのハードウェアである。ＳＤカードスロット３７は、ＳＤカード８０に記録されたプログラムを読み取るために利用される。すなわち、画像形成装置３０では、ＲＯＭ３１３に記録されたプログラムだけでなく、ＳＤカード８０に記録されたプログラムもＲＡＭ３１２にロードされ、実行されうる。なお、他の記録媒体（例えば、ＣＤ−ＲＯＭ又はＵＳＢ（Universal Serial Bus）メモリ等）によってＳＤカード８０が代替されてもよい。すなわち、ＳＤカード８０の位置付けに相当する記録媒体の種類は、所定のものに限定されない。この場合、ＳＤカードスロット３７は、記録媒体の種類に応じたハードウェアによって代替されればよい。

図２３は、第八の実施形態におけるユーザ端末のハードウェア構成例を示す図である。図２３のユーザ端末４０は、それぞれバスＢで相互に接続されているドライブ装置４００と、補助記憶装置４０２と、メモリ装置４０３と、ＣＰＵ４０４と、インタフェース装置４０５と、表示装置４０６と、入力装置４０７とを有する。

ユーザ端末４０での処理を実現するプログラムは、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体４０１によって提供される。プログラムを記録した記録媒体４０１がドライブ装置４００にセットされると、プログラムが記録媒体４０１からドライブ装置４００を介して補助記憶装置４０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体４０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置４０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置４０３は、プログラムの起動指示があった場合に、補助記憶装置４０２からプログラムを読み出して格納する。ＣＰＵ４０４は、メモリ装置４０３に格納されたプログラムに従ってユーザ端末４０に係る機能を実現する。インタフェース装置４０５は、ネットワーク接続用のインタフェース、ＵＳＢ（Universal Serial Bus）接続用のインタフェース、Ｂｌｕｅｔｏｏｔｈ等の無線通信用のインタフェース等、各種通信用のインタフェースである。表示装置４０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置４０７はキーボード、マウス等のポインティングデバイス、又はボタン等で構成され、様々な操作指示を入力させるために用いられる。

続いて、ウィジェット４１、ウィジェットマネージャ４２、及びプロバイダアプリ３２２１について更に詳しく説明する。図２４は、ウィジェット、ウィジェットマネージャ、及びプロバイダアプリの機能構成例を示す図である。

同図に示されるように、各ウィジェット４１は、ウィジェットＵＩ部４１１、ウィジェット情報送信部４１２、連携部４１３、ロジック部４１４、及び属性情報管理ファイル４１５等を有する。

ウィジェットＵＩ部４１１は、ウィジェット４１に関する各種の表示制御及び入力制御等を行う。ウィジェット情報送信部４１２は、ウィジェット４１が起動されたとき等に、ウィジェット情報（ウィジェット４１の属性情報）の登録要求をウィジェットマネージャ４２に送信する。連携部４１３は、プロバイダアプリ３２２１との連携のための通信（情報のやりとり等）を制御する。属性情報管理ファイル４１５は、ウィジェット４１対する属性情報を格納するファイルである。属性情報には、ウィジェット４１に対する設定情報も含まれる。設定情報は、ウィジェット４１の振る舞い又はウィジェット４１によって実行されるジョブの内容を規定するパラメータの集合である。ロジック部４１４は、各ウィジェット４１に固有の機能が実装される部分である。例えば、マーキング用紙印刷ウィジェット４１ａのロジック部４１４は、マーキング用紙を印刷するための印刷ジョブを画像形成装置３０に実行させる。帳票スキャンウィジェット４１ｂのロジック部４１４は、マーキング用紙及び帳票に関して画像形成装置３０にスキャンジョブを実行させる。帳票スキャンウィジェット４１ｂのロジック部４１４は、スキャンされたマーキング画像データ及び帳票画像データに基づいて生成されるファイル名によって、当該帳票画像データをユーザ端末４０の記憶装置に保存する。

なお、ウィジェット４１に含まれる各部について、マーキング用紙印刷ウィジェット４１ａに属するものと帳票スキャンウィジェット４１ｂに属するものとを区別する場合、前者については「ａ」を、後者については「ｂ」を参照番号の末尾に付加する。例えば、マーキング用紙印刷ウィジェット４１ａのロジック部４１４は、「ロジック部４１４ａ」と表記される。

ウィジェットマネージャ４２は、ウィジェット情報登録部４２１、広告部４２２、ウィジェット情報提供部４２３、仲介部４２４、及びウィジェット情報管理テーブル４２７等を有する。

ウィジェット情報登録部４２１は、ウィジェット４１より送信されるウィジェット情報の登録要求を受信し、当該ウィジェット情報をウィジェット情報管理テーブル４２７に保存する。ウィジェット情報管理テーブル４２７には、ユーザ端末４０において起動されている各ウィジェット４１のウィジェット情報が登録されるテーブルであり、ユーザ端末４０の補助記憶装置４０２に記録される。

広告部４２２は、ウィジェット情報登録部４２１によって受信されたウィジェット情報に含まれるユーザＩＤ等をネットワーク上に広告（ブロードキャスト又はマルチキャスト等）する。広告は、ユーザ単位（ユーザＩＤ単位）で発行される。したがって、広告部４２２による広告は、何らかのウィジェット４１を利用可能になったユーザが新たに発生したことを画像形成装置３０に通知するための情報であるといえる。

ウィジェット情報提供部４２３は、画像形成装置３０からの要求に応じ、ウィジェット情報管理テーブル４２７に登録されているウィジェット情報を画像形成装置３０に提供（送信）する。仲介部４２４は、ウィジェット４１とプロバイダアプリ３２２１との通信を仲介又は中継する。

プロバイダアプリ３２２１は、ユーザ検知部３３１、ＵＩ制御部３３２、ウィジェット情報取得部３３３、ウィジェット連携部３３４、機能制御部３３５、及びユーザ管理テーブル３３６等を有する。

ユーザ検知部３３１は、ウィジェットマネージャ４２より発行される広告に基づいて、ウィジェット４１を利用可能なユーザの存在を検知し、広告に含まれているユーザＩＤ等をユーザ管理テーブル３３６に登録する。ユーザ管理テーブル３３６は、利用可能なウィジェット４１がネットワーク上に存在するユーザの一覧を管理するテーブルである。

ＵＩ制御部３３２は、ユーザよりウィジェット４１の操作指示等の入力を受け付ける。すなわち、ウィジェット４１は、ユーザ端末４０に配置されているが、画像形成装置３０の操作パネル３５からも操作されうる。ウィジェット情報取得部３３３は、ユーザ管理テーブル３３６に登録されているユーザの中から選択されたユーザに属するウィジェット４１のウィジェット情報をウィジェットマネージャ４２より取得する。ウィジェット連携部３３４は、ウィジェットマネージャ４２との通信を制御する。機能制御部３３５は、ウィジェット４１から要求された機能の実行を制御する。機能を実現するための処理は、標準アプリ３２１や他のＳＤＫアプリ３２２に委譲される。

以下、情報処理システム５の処理手順について説明する。ウィジェット４１を利用する前に、ユーザは、ユーザ端末４０においてウィジェットマネージャ４２を起動しておく必要がある。そこで、まず、ウィジェットマネージャ４２の起動時の処理手順について説明する。

図２５は、ウィジェットマネージャの起動時の処理手順を説明するためのシーケンス図である。

ユーザの指示に応じ、又は自動的にウィジェットマネージャ４２が起動されると、ウィジェットマネージャ４２の広告部４２２は、ログインユーザのユーザＩＤとウィジェット情報取得用ＵＲＬとを含むユーザ情報の広告をネットワーク上に送信する（Ｓ１０１）。

続いて、プロバイダアプリ３２２１のユーザ検知部３３１は、広告を受信すると、当該広告に含まれているユーザＩＤ及びウィジェット情報取得用ＵＲＬをユーザ管理テーブル３３６に登録する（Ｓ１０２）。

図２６は、ユーザ管理テーブルの構成例を示す図である。同図に示されるように、ユーザ管理テーブル３３６は、ユーザＩＤとウィジェット情報取得用ＵＲＬとの組（ペア）を管理する。ウィジェット情報取得用ＵＲＬは、ウィジェットマネージャ４２ごとに一意なＵＲＬである。ウィジェットマネージャ４２は、一台のユーザ端末４０において一つ起動されればよい。すなわち、ウィジェットマネージャ４２は、複数のウィジェット４１から共用される。同図では、ユーザＡ及びユーザＢについてレコードが登録されている例が示されている。ユーザ管理テーブル３３６は、例えば、ＨＤＤ３１４に記憶されている。

ウィジェットマネージャ４２の起動後、ユーザは、マーキング用紙印刷ウィジェット４１ａ又は帳票スキャンウィジェット４１ｂを利用することが可能となる。

続いて、マーキング用紙印刷ウィジェットへのジョブ投入時の処理手順について説明する。図２７は、マーキング用紙印刷ウィジェットへのジョブ投入時の処理手順を説明するためのシーケンス図である。

マーキング用紙印刷ウィジェット４１ａの起動に応じ、マーキング用紙印刷ウィジェット４１ａのウィジェットＵＩ部４１１ａは、マーキング用紙印刷ウィジェット４１ａのアイコンを表示装置４０６に表示させる。ユーザによる入力装置４０７（マウス）の操作により、帳票テンプレートデータファイルがマーキング用紙印刷ウィジェット４１ａのアイコンにドラッグ＆ドロップされると（Ｓ２０１）、マーキング用紙印刷ウィジェット４１ａのウィジェットＵＩ部４１１には、ドロップされた帳票テンプレートデータファイルのファイルパス名がＯＳ４７より通知される。なお、帳票テンプレートデータファイルとは、帳票テンプレートデータが格納されているファイルである。

続いて、マーキング用紙印刷ウィジェット４１ａのロジック部４１４ａは、当該ファイルパス名より帳票テンプレートデータファイルが保存されているフォルダ名（フォルダのパス名）を抽出する（Ｓ２０２）。続いて、ロジック部４１４ａは、抽出されたフォルダ名をバーコードエンコーダ４３に入力する（Ｓ２０３）。バーコードエンコーダ４３は、入力されたフォルダ名が埋め込まれたバーコード画像を示すデータ（バーコード画像データ）を生成する（Ｓ２０４）。バーコード画像のサイズ（幅及び高さ）は、所定の値とされる。続いて、バーコードエンコーダ４３は、生成されたバーコード画像データをロジック部４１４ａに出力する（Ｓ２０５）。

続いて、ロジック部４１４ａは、ドロップされた帳票テンプレートデータファイルのファイルパス名を帳票テンプレート解析部４５に入力する（Ｓ２０６）。帳票テンプレート解析部４５は、入力されたファイルパス名に係る帳票テンプレートデータファイルより帳票テンプレートデータを取得し、当該帳票テンプレートデータに所定の画像処理を実行することにより、帳票のテンプレートの枠画像データを生成する（Ｓ２０７）。続いて、帳票テンプレート解析部４５は、枠画像データをロジック部４１４ａに出力する（Ｓ２０８）。

続いて、ロジック部４１４ａは、枠画像データが示す枠画像の所定の位置（例えば、右上）に、バーコード画像データが示すバーコード画像を合成して（重畳させて）、マーキング用紙データを生成する（Ｓ２０９）。マーキング用紙データは、マーキング用紙の元となる画像データをいう。すなわち、マーキング用紙データが印刷されることにより、マーキング用紙が作成される。続いて、ロジック部４１４ａは、マーキング用紙データ及び帳票テンプレートデータのそれぞれについて印刷データを生成する（Ｓ２１０）。印刷データは、画像形成装置３０が解釈可能なデータをいい、例えば、非図示のプリンタドライバを利用して生成される。但し、ＴＩＦＦ（Tagged Image File Format）等の所定の画像データを直接解釈可能なプリンタも存在する。したがって、マーキング用紙データ及び帳票テンプレートデータが、画像形成装置３０に解釈可能なデータ形式であれば、ステップＳ２１０は、必ずしも実行されなくてもよい。

続いて、マーキング用紙印刷ウィジェット４１ａのウィジェット情報送信部４１２ａは、マーキング用紙データの印刷データ及び帳票テンプレートデータの印刷データ等を含むウィジェット情報の登録要求をウィジェットマネージャ４２に送信する（Ｓ２１１）。なお、マーキング用紙印刷ウィジェット４１ａのウィジェット情報は、投入されたジョブに関する属性情報に相当する。また、各ウィジェット４１には、ウィジェットマネージャ４２と通信するための識別情報（例えば、ウィジェットマネージャ４２のＵＲＬ（Uniform Resource Locator）等）が予め設定されている。

図２８は、マーキング用紙印刷ウィジェットのウィジェット情報の例を示す図である。同図において、マーキング用紙印刷ウィジェット４１ａのウィジェット情報は、ウィジェットＩＤ、ユーザＩＤ、連携機能識別子、ウィジェットアドレス、表示名、設定情報、及び印刷データ等を含む。

ウィジェットＩＤは、各ウィジェット４１を一意に識別する識別情報である。ユーザＩＤは、マーキング用紙印刷ウィジェット４１ａの所有者であるユーザの識別情報である。連携機能識別子は、マーキング用紙印刷ウィジェット４１ａと連携する画像形成装置３０が有している必要のある機能（換言すれば、マーキング用紙印刷ウィジェット４１ａが利用する機能）を識別するための情報である。連携機能識別子の一例として「ｐｒｉｎｔ」、「ｓｃａｎ」等が挙げられる。「ｐｒｉｎｔ」は、印刷機能を示す。「ｓｃａｎ」は、スキャン機能を示す。マーキング用紙印刷ウィジェット４１ａは、画像形成装置３０の印刷機能を利用する。したがって、図２８の例では、「ｐｒｉｎｔ」が連携機能識別子とされている。ウィジェットアドレスは、ネットワーク通信において各ウィジェットを一意に識別するための識別情報（例えば、ＵＲＬ等）である。表示名は、マーキング用紙印刷ウィジェット４１ａの名前の表示用の文字列である。

マーキング用紙印刷ウィジェット４１ａの属性情報管理ファイル４１５に格納されている、マーキング用紙の印刷ジョブに関する設定情報である。設定情報を構成するパラメータとして、例えば、用紙サイズ等が挙げられる。印刷データとしては、マーキング用紙データの印刷データと、帳票テンプレートデータの印刷データとが含まれている。

ステップＳ２１１においてマーキング用紙印刷ウィジェット４１ａのウィジェット情報送信部４１２ａより送信されたウィジェット情報は、ウィジェットマネージャ４２のウィジェット情報登録部４２１によって受信される。ウィジェット情報登録部４２１は、受信されたウィジェット情報に含まれているユーザＩＤに対応するウィジェット情報管理テーブル４２７に当該ウィジェット情報を登録する（Ｓ２１２）。これによって、ウィジェットマネージャ４２には、マーキング用紙印刷ウィジェット４１ａのジョブが登録されたことになる。

ユーザ端末４０においてマーキング用紙印刷ウィジェット４１ａにジョブを投入後、ユーザは、当該ジョブを実行させるために画像形成装置３０の設置場所へ移動する。なお、複数の画像形成装置３０がネットワークに接続されている場合、同一の広告が各画像形成装置３０のユーザ検知部３３１によって受信され、それぞれの画像形成装置３０のユーザ管理テーブル３３６にユーザＩＤ及びウィジェット情報取得用ＵＲＬが登録される。したがって、ユーザは、印刷機能を備えた画像形成装置３０であれば、複数の画像形成装置３０のいずれからも当該ジョブを実行させることができる。

続いて、画像形成装置３０におけるユーザによる操作に応じて実行される処理について説明する。図２９は、実行可能なウィジェットの一覧の表示処理の処理手順を説明するためのシーケンス図である。

ユーザによって操作パネル３５を介してプロバイダアプリ３２２１の利用指示が入力されると（Ｓ３０１）、プロバイダアプリ３２２１のＵＩ制御部３３２は、ユーザ管理テーブル３３６に登録されている情報に基づいてユーザ選択画面を操作パネル３５に表示させる（Ｓ３０２）。

図３０は、ユーザ選択画面の表示例を示す図である。同図に示されるユーザ選択画面６１０には、ユーザＩＤごとにボタンが表示されている。同図では、ユーザＡに対応するボタン６１１とユーザＢに対応するボタン６１２とが表示されている。

続いて、ユーザは、ユーザ選択画面６１０において自らのユーザＩＤに対応するボタンを押下する（Ｓ３０３）。ボタンの押下に応じ、ウィジェット情報取得部３３３は、選択されたボタンに対応するユーザＩＤに関連付けられているウィジェット情報取得用ＵＲＬをユーザ管理テーブル３３６より取得する。なお、ユーザＩＤに対応するボタンの押下に応じ、ユーザの認証を行い、ユーザが認証された場合にのみ以降の処理が実行されるようにしてもよい。

続いて、ウィジェット情報取得部３３３は、選択されたユーザＩＤに対応するウィジェット情報取得用ＵＲＬ宛に、ウィジェット情報の取得要求を送信する（Ｓ３０４）。ウィジェット情報の取得要求は、ウィジェットマネージャ４２のウィジェット情報提供部４２３によって受信される。ウィジェット情報提供部４２３は、ウィジェット情報取得用ＵＲＬに対応するウィジェット情報管理テーブル４２７（すなわち、画像形成装置３０を操作中のユーザに対応するウィジェット情報管理テーブル４２７）に登録されているウィジェット情報の一覧を取得し、当該一覧をプロバイダアプリ３２２１に返信する（Ｓ３０５）。ウィジェット情報の一覧の送信に際し、ウィジェット情報提供部４２３は、プロバイダアプリ３２２１と各ウィジェット４１との通信を中継するためのＵＲＬ（以下、「ウィジェット中継用ＵＲＬ」という。）をウィジェットごと（ウィジェット情報ごと）に一意に生成する。ウィジェット情報提供部４２３は、ウィジェットごとに生成されたウィジェット中継用ＵＲＬを、各ウィジェットに対応するウィジェット情報に付加し、ウィジェット中継用ＵＲＬが付加されたウィジェット情報の一覧をプロバイダアプリ３２２１に送信する。したがって、ステップＳ３０５において送信されるウィジェット情報は、例えば、図３１に示されるような構成を有する。

図３１は、ウィジェットマネージャからプロバイダアプリに送信されるマーキング用紙印刷ウィジェットのウィジェット情報の構成例を示す図である。

図３１に示されるウィジェット情報は、図２８のウィジェット情報に対してウィジェット中継用ＵＲＬが付加されたものである。また、同図のウィジェット情報には、ジョブの実体は含まれていない。すなわち、設定情報及び印刷データは含まれていない。この時点では、実行されるジョブが決定されておらず、ジョブの実体を転送する必要は無いからである。ステップＳ３０５では、同図に示されるようなウィジェット情報の一覧が送信される。ここでは、ウィジェット情報が一つしか含まれないものもウィジェット情報の一覧という。なお、後述されるように、帳票スキャンウィジェット４１ｂがユーザ端末４０において起動されている場合、当該一覧には、帳票スキャンウィジェット４１ｂのウィジェット情報も含まれる。

続いて、プロバイダアプリ３２２１のＵＩ制御部３３２は、受信されたウィジェット情報の一覧をＲＡＭ３１２に記録しておき、当該ウィジェット情報の一覧に基づいて、ユーザに利用可能なウィジェット４１の一覧を含む画面（ウィジェット選択画面）を表示させる（Ｓ３０６）。

図３２は、ウィジェット選択画面の表示例を示す図である。同図においてウィジェット選択画面６２０には、マーキング用紙印刷ウィジェット４１ａに対応するボタン６２１と帳票スキャンウィジェット４１ｂに対応するボタン６２２とが表示されている。すなわち、同図は、マーキング用紙印刷ウィジェット４１ａのウィジェット情報と、帳票スキャンウィジェット４１ｂのウィジェット情報とがステップＳ３０５において受信された場合のウィジェット選択画面６２０の表示例である。

ウィジェット選択画面６２０においてボタン６２１が押下され、操作パネル３５のスタートキーが押下されると、図３３に示される処理が開始される。

図３３は、マーキング用紙印刷ウィジェットの実行時の処理手順を説明するためのシーケンス図である。

ウィジェット連携部３３４は、押下されたボタン６２１に対応するウィジェット情報（以下、「カレントウィジェット情報」という。）に含まれている連携機能識別子（「ｐｒｉｎｔ」）に基づいて、印刷を実行すべきことを認識する。印刷を実行するためにジョブの実体（印刷データ及び設定情報）を入手する必要がある。そこで、ウィジェット連携部３３４は、印刷データ及び設定情報の送信要求をカレントウィジェット情報に含まれているウィジェット中継用ＵＲＬ宛に送信する（Ｓ４０１）。

ウィジェット中継用ＵＲＬ宛の印刷データ及び設定情報の送信要求は、ウィジェットマネージャ４２の仲介部４２４によって受信される。仲介部４２４は、ウィジェット情報管理テーブル４２７に登録されているウィジェット情報の中で、当該ウィジェット中継用ＵＲＬが対応するウィジェット情報より印刷データ及び設定情報を取得する。印刷データとしては、マーキング用紙データ及び帳票テンプレートデータのそれぞれの印刷データが取得される。仲介部４２４は、取得された印刷データ及び設定情報をプロバイダアプリ３２２１のウィジェット連携部３３４に返信する（Ｓ４０２）。

ウィジェット連携部３３４は、受信された印刷データ及び設定情報を機能制御部３３５に入力する。続いて、機能制御部３３５は、入力された印刷データ及び設定情報に基づく印刷ジョブを印刷アプリ３２１２に実行させる（Ｓ４０３）。その結果、当該設定情報及び印刷データに基づく印刷画像が印刷された印刷用紙がプリンタ３３より出力される。具体的には、マーキング用紙データの印刷データに基づいてマーキング用紙が印刷される。当該マーキング用紙には、バーコードと枠画像とが記録されている。また、帳票テンプレートデータに基づいて未記入の帳票も印刷される。

上記のように印刷された帳票に対して、ユーザは必要事項を記入する。ユーザは、記入済みの帳票を電子データ（ファイル）として保存するため、マーキング用紙に対してマーキングを行う。ここでは、第四の実施の形態と同様、マーキング領域とする矩形に記入（マーキング）が行われる。その後、帳票スキャンウィジェット４１ｂ及び画像形成装置３０等を利用して、帳票の電子化及び保存が行われる。

そこで、次に、帳票スキャンウィジェット４１ｂの動作について説明する。図３４は、帳票スキャンウィジェットの起動時の処理手順を説明するためのシーケンス図である。

ユーザ端末４０においてユーザによって入力される帳票スキャンウィジェット４１ｂの起動指示に応じ、帳票スキャンウィジェット４１ｂの表示制御部２１１１ｂは、帳票スキャンウィジェット４１ｂのアイコンを表示装置４０６に表示させる（Ｓ５０１）。続いて、帳票スキャンウィジェット４１ｂのウィジェット情報送信部４１２は、属性情報管理ファイル４１５ｂよりウィジェット情報を取得し、当該ウィジェット情報の登録要求をウィジェットマネージャ４２に送信する（Ｓ５０２）。

図３５は、帳票スキャンウィジェットのウィジェット情報の例を示す図である。同図に示されるウィジェット情報の構成は、図２８において説明したマーキング用紙印刷ウィジェット４１ａのウィジェット情報の構成とほぼ同様である。但し、帳票スキャンウィジェット４１ｂのウィジェット情報には印刷データは含まれていない。また、帳票スキャンウィジェット４１ｂに対する設定情報の構成は、マーキング用紙印刷ウィジェット４１ａに対する設定情報の構成と異なる。また、帳票スキャンウィジェット４１ｂは、画像形成装置３０のスキャン機能を利用する。したがって、連携識別子の値は「ｓｃａｎ」とされている。

ステップＳ５０２において、帳票スキャンウィジェット４１ｂのウィジェット情報送信部４１２ｂより送信されたウィジェット情報は、ウィジェットマネージャ４２のウィジェット情報登録部４２１によって受信される。ウィジェット情報登録部４２１は、受信されたウィジェット情報に含まれているユーザＩＤに対応するウィジェット情報管理テーブル４２７に当該ウィジェット情報を登録する（Ｓ５０３）。

以上で帳票スキャンウィジェット４１ｂのウィジェット情報はウィジェットマネージャ４２に登録された。

その後、ユーザは、帳票スキャンウィジェット４１ｂを実行させるために画像形成装置３０の設置場所へ移動する。マーキング用紙印刷ウィジェット４１ａと同様、広告を受信しており、スキャン機能を備えた複数の画像形成装置３０のいずれからも帳票スキャンウィジェット４１ｂを実行させることができる。

画像形成装置３０の操作パネル３５を介した操作によって、ウィジェット選択画面６２０を表示させるまでに実行される処理手順は、図２９において説明した通りである。図２９の処理によって、ウィジェットマネージャ４２に登録された帳票スキャンウィジェット４１ｂのウィジェット情報は、画像形成装置３０に転送される。当該ウィジェット情報は、図３５に示されるウィジェット情報にウィジェット中継用ＵＲＬが付加されたものである。当該ウィジェット情報に基づいて、ウィジェット選択画面６２０には、図３２に示されるように帳票スキャンウィジェット４１ｂに対応するボタン６２２が表示される。

ウィジェット選択画面６２０表示後の帳票スキャンウィジェット４１ｂに関する処理手順について説明する。図３６は、帳票スキャンウィジェット実行時の処理手順を説明するためのシーケンス図である。

まず、原稿として、マーキング用紙及び帳票が重ねられて画像形成装置３０のＡＤＦにセットされる。なお、当該マーキング用紙は、マーキング用紙印刷ウィジェット４１ａを利用して印刷され、マーキングが行われたものである。また、当該帳票は、マーキング用紙印刷ウィジェット４１ａを利用して印刷され、記入が行われたものである。マーキング用紙及び帳票がＡＤＦにセットされた状態で、ウィジェット選択画面６２０において、帳票スキャンウィジェット４１ｂに対応するボタン６２２が選択される（Ｓ６０１）。プロバイダアプリ３２２１のウィジェット連携部３３４は、押下されたボタン６２２に対応するウィジェット情報（以下、「カレントウィジェット情報」という。）に含まれている連携機能識別子（「ｓｃａｎ」）に基づいて、スキャンを実行すべきことを認識する。そこで、ウィジェット連携部３３４は、スキャンの実行を機能制御部３３５に要求する。

機能制御部３３５は、カレントウィジェット情報に含まれている設定情報に基づくスキャンジョブをスキャンアプリ３２１１に実行させる（Ｓ６０２）。スキャンアプリ３２１１は、画像形成装置３０にセットされたマーキング用紙及び帳票に対するスキャンをスキャナ３２に実行させ、その結果得られる画像データ（マーキング画像データ及び帳票画像データ）をウィジェット連携部３３４に出力する。以下、マーキング画像データ及び帳票画像データを総称する場合、「スキャン画像データ」という。

ウィジェット連携部３３４は、スキャン画像データをカレントウィジェット情報に含まれているウィジェット中継用ＵＲＬ宛に送信する（Ｓ６０３）。ウィジェット中継用ＵＲＬ宛に送信されたスキャン画像データは、ウィジェットマネージャ４２の仲介部４２４によって受信される。

一方、帳票スキャンウィジェット４１ｂは、ウィジェット情報を送信した後、画像形成装置３０において画像データがスキャンされたことを確認するためのポーリングを行い、画像データの転送（返信）を待機している。具体的には、帳票スキャンウィジェット４１ｂの連携部４１３ｂは、スキャンされた画像データの取得要求をウィジェットマネージャ４２の仲介部４２４に送信する（Ｓ５１１）。仲介部４２４は、当該取得要求に対する応答を行う（Ｓ５１２）。

仲介部４２４は、スキャン画像データの受信後に受信される、画像データの取得要求（Ｓ５１１）に応じ、当該取得要求元の帳票スキャンウィジェット４１ｂのウィジェット中継用ＵＲＬに関して受信されているスキャン画像データを、帳票スキャンウィジェット４１ｂの連携部４１３ｂに返信する（Ｓ５１２）。

連携部４１３ｂは、スキャン画像データを受信すると、当該スキャン画像データをロジック部４１４ｂに入力する。ロジック部４１４ｂは、マーキング画像データをバーコードデコーダ４４に入力する（Ｓ５１３）。バーコードデコーダ４４は、マーキング画像データの所定の位置に含まれているバーコード画像よりフォルダ名を抽出し、当該フォルダ名をロジック部４１４ｂに出力する（Ｓ５１４）。

続いて、ロジック部４１４ｂは、マーキング画像データ、帳票画像データ、及びバーコードデコーダ４４より出力されたフォルダ名をファイル名生成部４６に入力する（Ｓ５１５）。ファイル名生成部４６は、例えば、第四の実施の形態等において説明した処理により、マーキング画像データ及び帳票画像データに基づいて、帳票画像データに対するファイル名を生成する（Ｓ５１６）。ファイル名生成部４６は、生成されたファイル名をロジック部４１４ｂに出力する（Ｓ５１７）。

なお、マーキング画像と枠画像との差分を抽出する場合、ファイル名生成部４６は、入力されたフォルダ名に係るフォルダより帳票テンプレートデータを取得し、当該帳票テンプレートデータに基づいて枠画像データを生成する。ファイル名生成部４６は、当該枠画像データが示す枠画像と、入力されたマーキング画像データが示すマーキング画像との差分を抽出する。ファイル名生成部４６は、抽出された差分に基づいてマーキング用紙に対する記入位置を検出する。

続いて、ロジック部４１４ｂは、帳票画像データを補助記憶装置４０２に保存する（Ｓ５１９）。より詳しくは、ロジック部４１４ｂは、バーコードデコーダ４４より出力されたフォルダ名に係るフォルダの下に、ファイル名生成部４６より出力されたファイル名に係るファイルを生成し、当該ファイルに帳票画像データを記録する。なお、マーキング画像データは、廃棄されてもよいし、帳票画像データとは異なるフォルダに保存されてもよい。

上述したように、本実施形態によれば、画像形成装置３０の処理負荷を軽減することができる。すなわち、マーキング用紙に印刷される画像の生成処理や、マーキング画像及び帳票画像に対する画像処理等は、ユーザ端末４０によって実行される。したがって、本実施形態では、ユーザ端末４０が、画像処理装置の一例に相当する。また、帳票画像データを、ユーザの任意のユーザ端末４０に保存させることができる。

なお、マーキング画像データに含まれているバーコードに埋め込まれているフォルダ名は、帳票テンプレートデータが保存されていたフォルダのフォルダ名である。したがって、本実施形態において、各帳票画像データは、対応する帳票テンプレートデータと同じフォルダに保存される。これは、一般的に、テンプレートファイル又はフォーマットファイル等と、内容が記入されたファイルとは、同じフォルダ内に整理されて保存される傾向にあることに鑑みたものである。但し、帳票画像データは、帳票テンプレートデータと異なるフォルダに保存されてもよい。例えば、帳票テンプレートデータは、「ｘｘｘ／ｔｅｍｐｌａｔｅ」というフォルダに保存され、帳票画像データは、「ｘｘｘ／ｄａｔａ」というフォルダに保存されてもよい。この場合、ロジック部４１４ｂは、バーコードデコーダ４４より出力されたフォルダ名を加工することにより得られるフォルダ名に係るフォルダに帳票画像データを保存すればよい。バーコードデコーダ４４より出力されたフォルダ名を加工することにより得られるフォルダ名とは、上記の例では、「ｔｅｍｐｌａｔｅ」の部分に「ｄａｔａ」を埋め込むことにより得られるフォルダ名である。なお、「ｘｘｘ」は、例えば、帳票の種類を示す文字列である。

また、本実施形態では、枠画像を含むマーキング用紙を適用した例を説明したが、枠画像を含まないマーキング用紙が用いられてもよい。すなわち、マーキング用紙には、フォルダ名が埋め込まれたバーコード画像のみが記録されるようにしてもよい。この場合、帳票テンプレート解析部４５による処理は不要である。また、ファイル名生成部４６は、第一〜第三の実施形態において説明したいずれかの処理を実行すればよい。

また、マーキング用紙に記録されるバーコードに埋め込まれるフォルダ名は、帳票テンプレートデータとは無関係に決定されてもよい。例えば、マーキング用紙印刷ウィジェット４１ａの属性情報管理ファイル４１５に当該フォルダ名が設定されていてもよい。又は、例えば、マーキング用紙印刷ウィジェット４１ａのアイコンを操作することにより表示されるマーキング用紙印刷ウィジェット４１ａの設定画面を介して当該フォルダ名が設定されてもよい。

また、マーキング用紙印刷ウィジェット４１ａは、必ずしも帳票テンプレートデータを印刷対象としなくてもよい。この場合、バーコード画像を含むマーキングデータのみが印刷対象とされる。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 帳票
２ マーキング用紙
５ 情報処理システム
２１，２２ マーキング領域
２３ バーコード
３０ 画像形成装置
３１ コントローラ
３２ スキャナ
３３ プリンタ
３４ モデム
３５ 操作パネル
３６ ネットワークインタフェース
３７ ＳＤカードスロット
４０ ユーザ端末
４１ａ マーキング用紙印刷ウィジェット
４１ｂ 帳票スキャンウィジェット
４２ ウィジェットマネージャ
４３ バーコードエンコーダ
４４ バーコードデコーダ
４５ 帳票テンプレート解析部
４６ ファイル名生成部
４７ ＯＳ
８０ ＳＤカード
１００ 画像形成装置
１１４ 操作部
１２１ 画像読み取り手段
１２２ マーキング領域検出手段
１２３ 行間検出手段
１２４ 文字間検出」手段
１２５ 抽出領域検出手段
１２６ 文字認識手段
１２６−１ 第一の文字認識手段
１２６−２ 第二の文字認識手段
１２７ 文字連結手段
１２８ 画像保持手段
１２９ バーコード認識手段
１３０ ＸＭＬ出力手段
３１１ ＣＰＵ
３１２ ＲＡＭ
３１３ ＲＯＭ
３１４ ＨＤＤ
３２１ 標準アプリ
３２２ ＳＤＫアプリ
３２３ ＳＤＫプラットフォーム
３２４ コントロールサービス
３２５ ＯＳ
３３１ ユーザ検知部
３３２ ＵＩ制御部
３３３ ウィジェット情報取得部
３３４ ウィジェット連携部
３３５ 機能制御部
３３６ ユーザ管理テーブル
４００ ドライブ装置
４０１ 記録媒体
４０２ 補助記憶装置
４０３ メモリ装置
４０４ ＣＰＵ
４０５ インタフェース装置
４０６ 表示装置
４０７ 入力装置
４１１ ウィジェットＵＩ部
４１２ ウィジェット情報送信部
４１３ 連携部
４１４ ロジック部
４１５ 属性情報管理ファイル
４２１ ウィジェット情報登録部
４２２ 広告部
４２３ ウィジェット情報提供部
４２４ 仲介部
４２７ ウィジェット情報管理テーブル
Ｂ バス

特開平９−１３４０６号公報 特開２００９−２７６４８号公報 特開２００８−７７４５４号公報 特開平１−１５０９７４号公報 特開平９−２７４６４３号公報

Claims (14)

1. 第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手段と、
   第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する第一の文字認識手段と、
   前記第一の画像データについて前記領域に対して文字認識を実行する第二の文字認識手段と、
   前記記入位置に基づいて特定される領域が複数存在する場合に、それぞれの領域から得られる文字列を連結する順番を決定する決定手段と、
   複数の前記領域のそれぞれから前記第一の文字認識手段により得られた文字列を、前記決定手段により決定した連結順で連結する文字連結手段とを有し、
   前記決定手段は、前記第二の文字認識手段による文字認識によって得られる文字が示す順番に基づいて、連結する順番を決定する画像処理装置。
2. 前記第一の文字認識手段による文字認識の結果に基づいて前記第二の画像データの識別名を生成する識別名生成手段を有する請求項１載の画像処理装置。
3. 第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手段と、
   第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する第一の文字認識手段と、
   前記第一の文字認識手段により得られる文字列に対して連結する文字列を、前記第一の画像データに含まれるコード情報に基づき取得する取得手段と、
   前記第一の文字認識手段により得られた前記文字列と、前記取得手段により取得した前記文字列とを連結し、前記第二の画像データの識別名を生成する識別名生成手段と
   を有する画像処理装置。
4. 前記第二の画像データの特徴情報を検出し、前記特徴情報に基づいて前記領域を補正する補正手段を有する請求項１乃至３いずれか一項記載の画像処理装置。
5. 前記第一の画像データに含まれているコード情報に基づき、前記第二の画像データを保存する保存位置の情報を取得する保存位置取得手段と
   前記保存位置取得手段により得られた保存位置に前記前記第二の画像データを保存する保存手段とを有する請求項１乃至４いずれか一項記載の画像処理装置。
6. 第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手段と、
   第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する第一の文字認識手段と、
   前記第一の画像データについて前記領域に対して文字認識を実行する第二の文字認識手段と、
   前記記入位置に基づいて特定される領域が複数存在する場合に、それぞれの領域から得られる文字列を連結する順番を決定する決定手段と、
   複数の前記領域のそれぞれから前記第一の文字認識手段により得られた文字列を、前記決定手段により決定した連結順で連結する文字連結手段とを有し、
   前記決定手段は、前記第二の文字認識手段による文字認識によって得られる文字が示す順番に基づいて、連結する順番を決定する画像処理システム。
7. 第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手段と、
   第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する第一の文字認識手段と、
   前記第一の文字認識手段により得られる文字列に対して連結する文字列を、前記第一の画像データに含まれるコード情報に基づき取得する取得手段と、
   前記第一の文字認識手段により得られた前記文字列と、前記取得手段により取得した前記文字列とを連結し、前記第二の画像データの識別名を生成する識別名生成手段と
   を有する画像処理システム。
8. 画像処理装置が、
   第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手順と、
   第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する第一の文字認識手順と、
   前記第一の画像データについて前記領域に対して文字認識を実行する第二の文字認識手順と、
   前記記入位置に基づいて特定される領域が複数存在する場合に、それぞれの領域から得られる文字列を連結する順番を決定する決定手順と、
   複数の前記領域のそれぞれから前記第一の文字認識手順により得られた文字列を、前記決定手順により決定した連結順で連結する文字連結手順とを実行し、
   前記決定手順は、前記第二の文字認識手順による文字認識によって得られる文字が示す順番に基づいて、連結する順番を決定する画像処理方法。
9. 前記第一の文字認識手順による文字認識の結果に基づいて前記第二の画像データの識別名を生成する識別名生成手順を前記画像処理装置が実行する請求項８記載の画像処理方法。
10. 画像処理装置が、
    第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手順と、
    第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する第一の文字認識手順と、
    前記第一の文字認識手順により得られる文字列に対して連結する文字列を、前記第一の画像データに含まれるコード情報に基づき取得する取得手順と、
    前記第一の文字認識手順により得られた前記文字列と、前記取得手順により取得した前記文字列とを連結し、前記第二の画像データの識別名を生成する識別名生成手順と
    を実行する画像処理方法。
11. 前記第二の画像データの特徴情報を検出し、前記特徴情報に基づいて前記領域を補正する補正手順を前記画像処理装置が実行する請求項８乃至１０いずれか一項記載の画像処理方法。
12. 前記第一の画像データに含まれているコード情報に基づき、前記第二の画像データを保存する保存位置の情報を取得する保存位置取得手順と
    前記保存位置取得手順により得られた保存位置に前記前記第二の画像データを保存する保存手順とを前記画像処理装置が実行する請求項８乃至１１いずれか一項記載の画像処理方法。
13. 画像処理装置に、
    第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手順と、
    第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する文字認識手順と、
    前記第一の画像データについて前記領域に対して文字認識を実行する第二の文字認識手順と、
    前記記入位置に基づいて特定される領域が複数存在する場合に、それぞれの領域から得られる文字列を連結する順番を決定する決定手順と、
    複数の前記領域のそれぞれから前記文字認識手順により得られた文字列を、前記決定手順により決定した連結順で連結する文字連結手順とを実行させ、
    前記決定手順は、前記第二の文字認識手順による文字認識によって得られる文字が示す順番に基づいて、連結する順番を決定するプログラム。
14. 画像処理装置に、
    第一の用紙より読み取られた第一の画像データに基づいて、前記第一の用紙に対する記入位置を検出する記入位置検出手順と、
    第二の用紙より読み取られた第二の画像データについて、前記記入位置に基づいて特定される領域に対して文字認識を実行する文字認識手順と、
    前記文字認識手順により得られる文字列に対して連結する文字列を、前記第一の画像データに含まれるコード情報に基づき取得する取得手順と、
    前記文字認識手順により得られた前記文字列と、前記取得手順により取得した前記文字列とを連結し、前記第二の画像データの識別名を生成する識別名生成手順と
    を実行させるためのプログラム。

Images