JP2024079108A - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】スキャンした帳票の内容の不備が見つかった場合、訂正を簡便に行う画像処理装置、画像処理装置の制御方法及びプログラムを提供する。【解決手段】画像処理システムにおいて、スキャナによる帳票に対する読取動作によって、帳票の画像である帳票画像を取得する画像取得部（ＭＦＰのＣＰＵ）と、画像取得部が取得した帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出部（ＭＦＰ連携サービスのＣＰＵ又はＭＦＰのＣＰＵ）と、抽出部が抽出した領域情報における記載不備の有無の判定を行う判定部（ＭＦＰ連携サービスのＣＰＵ）と、記載不備がある場合に、記載不備のある領域を編集可能な状態で表示し得る表示部（ＭＦＰのＣＰＵ）と、を有する。表示部は、記載不備のある領域の編集を行うか、読取装置による帳票の再読取りを行うか、を選択可能であることを表示する。【選択図】図５

Description

本発明は、スキャン帳票の認識処理を行う画像処理装置、画像処理装置の制御方法及びプログラムに関する。

従来、記入した申請書などの紙帳票をスキャンして電子化し、申請フォルダや担当者のメールの宛先に送信するといったシステムがある。申請先の確認によって、スキャン送信した帳票の内容の不備が見つかった場合、修正の上再度スキャンしなおすといったユースケースが考えられる。

上記のようなユースケースにおいて、スキャンした帳票を解析することで、記入の不備を検知する方法がある。特許文献１には、帳票における記載する箇所の領域を予め登録しておくことで、スキャンした帳票の内容を解析・抽出し、記載内容の判定結果に応じて、予め設定されたアクション（例えば、メール通知）を行う方法が開示されている。

特開２０２０－１９４２７２号公報

しかしながら、特許文献１の手法では、例えば、予め指定されたユーザーへメール通知するといった、一方通行でかつ単純なアクションしかできない。そのため、通知を受けた申請者が不備を修正して、再度同じような手順でスキャンしなおさなければならなかった。

本発明は、上記問題点に鑑みてなされたものであり、スキャンした帳票の内容の不備が見つかった場合、訂正を簡便にできるようにすることを目的とする。

上記の目的を達成するために、本発明における画像処理装置は、読取装置による帳票に対する読取動作によって、前記帳票の画像である帳票画像を取得する画像取得部と、前記画像取得部により取得された前記帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出部と、前記抽出部により抽出された前記領域情報における記載不備の有無の判定を行う判定部と、前記記載不備がある場合に、前記記載不備のある領域を編集可能な状態で表示し得る表示部と、を有し、前記表示部は、前記記載不備のある領域の編集を行うか、前記読取装置による前記帳票の再読取りを行うか、を選択可能であることを表示することを特徴とする。

本発明によれば、スキャンした帳票の内容の不備が見つかった場合、訂正を簡便にできるようにすることができる。

本システムの全体構成を示す図。 ＭＦＰのハードウェア構成図。 クライアントＰＣ及びＭＦＰ連携サービスのハードウェア構成図。 本実施形態に係る画像処理システムのソフトウェア構成図。 各装置間の処理の流れを示すシーケンス図。 ＭＦＰまたはクライアントＰＣが表示する申請内容の確認設定画面の一例を示す図。 ＭＦＰまたはクライアントＰＣが表示する申請内容の確認設定画面の一例を示す図。 ＭＦＰまたはクライアントＰＣが表示するメイン画面の一例を示す図。 ＭＦＰまたはクライアントＰＣが表示するログイン画面の一例を示す図。 ＭＦＰまたはクライアントＰＣが表示すスキャン設定画面の一例を示す図。 内容判定結果のレスポンスデータの一例を示す図。 画像処理部が行う内容確認処理の詳細を示すフローチャート。 ＭＦＰまたはクライアントＰＣが表示する再申請画面の一例を示す図。 ＭＦＰまたはクライアントＰＣが表示するＵＩ入力画面の一例を示す図。 ＭＦＰまたはクライアントＰＣが表示するソフトキーボード画面の一例を示す図。 解析結果データ構造の詳細の一例を示す図。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

＜全体構成＞
図１は、本システムの全体構成を示す図である。画像処理システムは、ＭＦＰ１１０、クライアントＰＣ１１１、ＭＦＰ連携サービス１２０およびクラウドストレージ１３０を含む。ＭＦＰは、Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌの略である。ＭＦＰ１１０及びクライアントＰＣ１１１は、ＬＡＮ経由でインターネット上の各種サービスを提供するサーバに対して通信可能に接続されている。ＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。

ＭＦＰ１１０は、スキャナやプリンタといった複数の機能を有する複合機であり、画像処理装置の一例である。本実施形態のスキャナは、帳票等の原稿に対して読取動作を行う読取装置の一例である。クライアントＰＣ１１１は、ＭＦＰ連携サービス１２０に対して依頼したサービスの提供を受けるコンピュータまたはアプリケーションである。ＭＦＰ連携サービス１２０は、ＭＦＰ１１０でスキャンした画像ファイルを自サーバ上に保存したり、解析したり、別のストレージサービス等のファイル保存が可能なサービスに転送したりする機能を持つサービスの一例である。クラウドストレージ１３０は、インターネットを介してファイルを保存したりウェブブラウザでファイルを取得したりすることができるサービスである。

本実施形態の画像処理システムは、ＭＦＰ１１０、クライアントＰＣ１１１、ＭＦＰ連携サービス１２０およびクラウドストレージ１３０からなる構成としているが、これに限定されない。例えば、ＭＦＰ１１０がクライアントＰＣ１１１やＭＦＰ連携サービス１２０の役割を兼ね備えてもよい。また、ＭＦＰ連携サービス１２０は、インターネット上ではなくＬＡＮ上のサーバに配置した接続形態であってもよい。また、クラウドストレージ１３０は、メールサーバなどに置き換えて、スキャンした画像をメールに添付し送信してもよいし、申請サービスなどに置き換えて、スキャンした画像から記入情報を抜き出して送信してもよい。

＜ＭＦＰのハードウェア構成＞
図２は、ＭＦＰ１１０のハードウェア構成図である。ＭＦＰ１１０は、制御部２１０、操作部２２０、プリンタ２２１、スキャナ２２２、モデム２２３で構成される。制御部２１０は、以下の各部２１１～２１９で構成され、ＭＦＰ１１０全体の動作を制御する。

ＣＰＵ２１１は、ＲＯＭ２１２に記憶された制御プログラムを読み出して、読取／印刷／通信など、ＭＦＰ１１０が有する各種機能を実行・制御する。ＲＡＭ２１３は、ＣＰＵ２１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施形態では１つのＣＰＵ２１１が１つのメモリ（ＲＡＭ２１３またはＨＤＤ２１４）を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されない。例えば、複数のＣＰＵや複数のＲＡＭまたはＨＤＤを協働させて各処理を実行してもよい。ＨＤＤ２１４は、画像データや各種プログラムを記憶する大容量記憶部である。

操作部Ｉ／Ｆ２１５は、操作部２２０と制御部２１０とを接続するインタフェースである。操作部２２０には、タッチパネルやキーボードなどが備えられており、ユーザーによる操作／入力／指示を受け付ける。

プリンタＩ／Ｆ２１６は、プリンタ２２１と制御部２１０とを接続するインタフェースである。印刷用の画像データはプリンタＩ／Ｆ２１６を介して制御部２１０からプリンタ２２１へ転送され、記録媒体上に印刷される。

スキャナＩ／Ｆ２１７は、スキャナ２２２と制御部２１０とを接続するインタフェースである。スキャナ２２２は、不図示の原稿台やＡＤＦにセットされた原稿を読み取って画像データを生成し、スキャナＩ／Ｆ２１７を介して制御部２１０に入力する。ＡＤＦは、Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒの略である。ＭＦＰ１１０は、スキャナ２２２で生成された画像データをプリンタ２２１から印刷出力（またはコピー）する他、ファイル送信またはメール送信することができる。

モデムＩ／Ｆ２１８は、モデム２２３と制御部２１０とを接続するインタフェースである。モデム２２３は、ＰＳＴＮ上のファクシミリ装置との間で画像データをファクシミリ通信する。

ネットワークＩ／Ｆ２１９は、制御部２１０（ＭＦＰ１１０）をＬＡＮに接続するインタフェースである。ＭＦＰ１１０は、ネットワークＩ／Ｆ２１９を用いてインターネット上の各サービスに画像データや情報を送信したり、各種情報を受信したりする。

＜クライアントＰＣ、ＭＦＰ連携サービスのハードウェア構成＞
図３は、クライアントＰＣ１１１及びＭＦＰ連携サービス１２０のハードウェア構成図である。クライアントＰＣ１１１及びＭＦＰ連携サービス１２０は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、ＨＤＤ３１４及びネットワークＩ／Ｆ３１５で構成される。

ＣＰＵ３１１は、ＲＯＭ３１２に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。ＲＡＭ３１３は、ＣＰＵ３１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３１４は、画像データや各種プログラムを記憶する大容量記憶部である。ネットワークＩ／Ｆ３１５は、ＭＦＰ連携サービス１２０をインターネットに接続するインタフェースである。ＭＦＰ連携サービス１２０およびクラウドストレージ１３０は、ネットワークＩ／Ｆ３１５を介して他の装置（ＭＦＰ１１０など）から処理リスエストを受けて各種情報を送受信する。

＜画像処理システムのソフトウェア構成＞
図４は、本実施形態に係る画像処理システムのソフトウェア構成図である。ＭＦＰ１１０は、ネイティブ機能部４１０と追加機能部４２０の大きく２つに分けられる。ネイティブ機能部４１０に含まれる各部はＭＦＰ１１０に標準的に備えられたものであるのに対し、追加機能部４２０はＭＦＰ１１０に追加インストールされたアプリケーションである。追加機能部４２０はＪａｖａ（登録商標）をベースとしたアプリケーションであり、ＭＦＰ１１０への機能追加を容易に実現できる。なお、ＭＦＰ１１０には図示しない他の追加アプリケーションがインストールされていても良い。

ネイティブ機能部４１０は、スキャン実行部４１１および画像データ保存部４１２を有する。追加機能部４２０は、表示制御部４２１、スキャン指示部４２２、連携サービスリクエスト部４２３を有する。

表示制御部４２１は、ＭＦＰ１１０の操作部２２０のタッチパネル機能を有する液晶表示部に、ユーザーによる操作を受け付けるためのＵＩ画面を表示する。ＵＩは、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。例えば、ＭＦＰ連携サービス１２０へアクセスするための認証情報の入力、スキャン設定、ならびに、スキャン開始の操作、プレビュー画面などのＵＩ画面を表示する。スキャン指示部４２２は、ＵＩ画面を介して入力されたユーザー指示に応じたスキャン設定と共にスキャン実行部４１１にスキャン処理を要求する。

スキャン実行部４１１は、スキャン指示部４２２からのスキャン設定を含んだスキャン要求を受け取る。スキャン実行部４１１は、スキャン要求に従い、スキャナＩ／Ｆ２１７を介してスキャナ２２２で、原稿台ガラスに置かれた原稿を読み取ることでスキャン画像データを生成する。生成したスキャン画像データは、画像データ保存部４１２に送られる。スキャン実行部４１１は、保存したスキャン画像データを一意に示すスキャン画像識別子をスキャン指示部４２２へ送る。スキャン画像識別子はＭＦＰ１１０においてスキャンした画像をユニークに識別するための番号や記号、アルファベットなどである（不図示）。画像データ保存部４１２は、スキャン実行部４１１から受け取ったスキャン画像データをＨＤＤ２１４に保存する。

スキャン指示部４２２は、スキャン実行部４１１から受け取ったスキャン画像識別子に対応するスキャン画像データを画像データ保存部４１２から取得する。スキャン指示部４２２は、取得したスキャン画像データにＭＦＰ連携サービス１２０で処理を行う指示を連携サービスリクエスト部４２３に要求する。

連携サービスリクエスト部４２３は、ＭＦＰ連携サービス１２０に対して各種処理の要求を行う。例えば、ログイン、スキャン画像の解析、スキャン画像の送信などの要求を行う。ＭＦＰ連携サービス１２０とのやり取りはＲＥＳＴやＳＯＡＰなどのプロトコルを使用するが、その他の通信手段を用いてもよい。

ＭＦＰ連携サービス１２０は、リクエスト制御部４３１、画像処理部４３２、クラウドストレージアクセス部４３３、データ管理部４３４、表示制御部４３５を有する。

リクエスト制御部４３１は、外部装置からの要求を受信できる状態で待機している。処理要求を受けると要求に応じて適宜、画像処理部４３２、クラウドストレージアクセス部４３３、データ管理部４３４に処理を指示する。

画像処理部４３２は、画像に対して文字領域解析、ＯＣＲ処理、内容判定処理（後述の図１２で説明する）、画像の回転や傾き補正などの画像に対する認識処理や画像の加工処理を行う。ＯＣＲは、Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎの略である。

クラウドストレージアクセス部４３３は、クラウドストレージに対する処理の要求を行う。クラウドサービスは、一般的にＲＥＳＴやＳＯＡＰなどのプロトコルで、クラウドストレージにファイルを保存したり、保存したファイルを取得したりするための様々なインタフェースを公開している。クラウドストレージアクセス部４３３は、公開されたクラウドストレージのインタフェースを使用してクラウドストレージの操作を行う。

データ管理部４３４は、ＭＦＰ連携サービス１２０で管理するユーザー情報や各種設定データ等を保持する。

表示制御部４３５は、インターネット経由で接続されたＰＣやモバイル等の別端末（不図示）上で動作しているウェブブラウザからのリクエストを受けて画面表示に必要な画面構成情報（ＨＴＭＬ、ＣＳＳ等）を返す。ユーザーは、ウェブブラウザで表示される画面経由でＭＦＰ連携サービス１２０に登録しているユーザー情報を確認したり、スキャンする際の設定を変更したりする。

なお図４ではＭＦＰ１１０に追加機能部４２０をインストールする構成の例について説明したが、本件はこの構成に限定せず、クライアントＰＣ１１１に追加機能部４２０の機能が含まれていても構わない。

＜全体の処理の流れ＞
図５は、ＭＦＰ１１０でスキャンした画像をファイル化してクラウドストレージに送信する際の各装置間の処理の流れを示すシーケンス図である。ここでは、各装置間のやり取りを中心に説明する。なお、図５ではＭＦＰ１１０がＭＦＰ連携サービス１２０とやり取りを行う記載としているが、後述する解析結果取得、画面の表示は、ＭＦＰ１１０でなくクライアントＰＣ１１１が実行する構成でも構わない。ＭＦＰ１１０での処理は、例えば、ＲＯＭ２１２やＨＤＤ２１４に保存されたプログラムを、ＲＡＭ２１３に読み込んだのち、ＭＦＰ１１０の制御部２１０のＣＰＵ２１１が実行する。以下において、各処理は、各装置内のＣＰＵが、記憶媒体に格納されているプログラムに従って、実行する。以下の説明において、図５に示す各工程の先頭に「Ｓ」を付したステップに沿って説明するが、必要に応じて、他の図面を参照して説明する。

ＭＦＰ１１０は、通常の状態ではメイン画面をタッチパネル上に表示する。メイン画面には、提供する各機能を実施するためのボタンが並べられている。図８は、ＭＦＰ１１０またはクライアントＰＣ１１１が表示するメイン画面８００の一例を示す図である。ＭＦＰ１１０にスキャン帳票をクラウドストレージに送信するための申請ボタン８０１を作成することで、ＭＦＰ１１０のメイン画面８００に表示される。申請ボタン８０１を押すとスキャンした帳票をクラウドストレージに送信するための画面が表示され、図５のシーケンスで示す処理が行われる。申請ボタンの作成方法の詳細は、図６を用いて後述する。

Ｓ５０１で、スキャンアプリは、ＭＦＰ連携サービス１２０にアクセスするための認証情報を入力するログイン画面９００を表示する。図９は、ＭＦＰ１１０またはクライアントＰＣ１１１が表示するログイン画面の一例を示す図である。ユーザは、ユーザー名９０２とパスワード９０３を入力し、ログインボタン９０１を押下する。

Ｓ５０３で、ＭＦＰ連携サービス１２０は、ログイン要求に含まれるユーザー名とパスワードが正しいか検証し、正しければアクセストークンをＭＦＰ１１０に返す。以降のＭＦＰ１１０からＭＦＰ連携サービス１２０に対して行う各種リクエストには、このアクセストークンと共に要求が出され、この情報により処理対象のユーザーを特定することができる。ユーザー認証の方法は一般的に公知な手法（Ｂａｓｉｃ認証、Ｄｉｇｅｓｔ認証、ＯＡｕｔｈを用いた認可等）を用いて行う。

ＭＦＰ１１０は、ログイン処理が完了したら、Ｓ５０４で、スキャン設定画面１０００を表示する。図１０は、ＭＦＰ１１０またはクライアントＰＣ１１１が表示すスキャン設定画面の一例を示す図である。ユーザは、各種スキャンの読み込みに関する設定を行い、原稿台ガラスまたはＡＤＦにスキャンする対象の紙帳票を置き、「スキャン開始」ボタン１００１を押す。Ｓ５０５で、スキャンを実行して紙帳票を電子化した画像データを生成する。このため、本実施形態のＣＰＵ２１１は、スキャナによる帳票に対する読取動作によって、帳票の画像である帳票画像を取得する画像取得部として機能する。

Ｓ５０６で、スキャン処理により生成した画像とともにスキャン画像の解析要求をＭＦＰ連携サービス１２０に送信する。ＭＦＰ連携サービス１２０は、スキャン画像の解析要求を受信すると、Ｓ５０７で、ＭＦＰ連携サービス１２０の画像処理部４３２で画像解析を開始する。ＭＦＰ連携サービス１２０は、要求受信後、画像処理部４３２で内容確認処理１２００を行う。画像処理部４３２における内容確認処理１２００の詳細については図１２を用いて後述する。ここで、ＭＦＰ連携サービス１２０は、画像解析において、帳票画像における所定の記載事項の領域を抽出し、記載不備があるかについての内容確認処理１２００を行う。なお、前述のように、ＭＦＰ連携サービス１２０の役割をＭＦＰ１１０が兼ね備えてもよい。このため、本実施形態のＣＰＵ３１１（またはＣＰＵ２１１、以下省略）は、帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出部の機能を有する。また、ＣＰＵ３１１は、領域情報における記載不備の有無の判定を行う判定部の機能を有する。

内容確認処理が完了すると、Ｓ５０８で、画像処理部４３２は、処理結果を返す。処理結果がＮＧ、つまり内容に不備がある場合、Ｓ５０９で、ＭＦＰ連携サービス１２０は、再申請指示をレスポンスとしてＭＦＰ１１０に返す。処理結果のレスポンスは、処理結果ステータスと共にスキャン画像を解析した結果の情報を含む。図１１は、内容判定結果のレスポンスデータの一例を示す図である。図１１（Ａ）は、内容確認ＮＧ時のレスポンスデータの一例である。“Ｓｔａｔｕｓ”は、内容確認の結果ステータスを表す。例えば、ＮＧの場合は、“ｉｎｖａｌｉｄ”という値が記載される。“ｉｎｖａｌｉｄＰａｇｅ”は、内容に不備があったスキャン画像の情報がリストで記載される。複数のページの内容に不備があった場合、“ｉｎｖａｌｉｄＰａｇｅ”の値は複数設定される。“ｉｎｖａｌｉｄＰａｇｅ”は、“ｐａｇｅＮｕｍｂｅｒ”、“ｆｉｌｅ”、“ｉｎｖａｌｉｄＡｒｅａ”で構成され、それぞれ、「ページ数」、「スキャン画像ファイルのＵＲＬ」、「内容に不備がある項目の情報」である。“ｉｎｖａｌｉｄＡｒｅａ”はリストで記載され、“ａｒｅａ”には「内容に不備がある項目の矩形座標」、“ｒｅａｓｏｎ”には「ＮＧの理由」が設定される。本実施形態は、記入漏れと判断された場合に設定される“ｂｌａｎｋ”が設定されている。複数の項目がＮＧの場合は、“ｉｎｖａｌｉｄＡｒｅａ”の値は複数設定される。また、図１１（Ｂ）は、内容確認ＯＫ時のレスポンスデータの一例である。“Ｓｔａｔｕｓ”情報のみであり、値は“ｓｕｃｃｅｓｓ”という値が記載される。このように、本実施形態のＣＰＵ３１１は、記載不備がないと判定された場合に、不備がないことを通知する通知部として機能する。通知先は、ＭＦＰ１１０の他、クライアントＰＣ１１１でもよい。

Ｓ５１０で、Ｓ５０９で内容確認ＮＧ時のレスポンスデータを取得した結果情報を使用して再申請画面１３００を表示する。また、本実施形態では、詳細は明記しないが、スキャンした帳票フォーマットが選択した申請ボタンに登録された帳票フォーマットと異なる時は、「スキャンした申請書が間違っています。」といったメッセージの画面（不図示）をＭＦＰ１１０またはクライアントＰＣ１１１が表示してもよい。

Ｓ５１１で、再申請用画面で不備を修正する再申請を行う。ユーザが「送信」ボタンを押すと、Ｓ５１２で再申請した情報をＭＦＰ連携サービス１２０に送信する。ＭＦＰ連携サービス１２０は、再申請した情報の解析要求を受信すると、Ｓ５１３で、ＭＦＰ連携サービス１２０の画像処理部４３２で画像解析を開始する。ＭＦＰ連携サービス１２０は、要求受信後、画像処理部４３２で内容確認処理１２００を行う。前記と同様、画像処理部４３２における内容確認処理１２００の詳細については図１２を用いて後述する。このように、本実施形態のＣＰＵ２１１は、記載不備のある領域に対して編集がなされた場合に、記載不備の有無の判定を再度判定する。

内容確認処理が完了すると、Ｓ５１４で、画像処理部４３２は処理結果を返す。処理結果がＯＫ、つまり内容に問題がない場合、ＭＦＰ連携サービス１２０は、Ｓ５１５で、スキャン画像からファイルを生成する。そして、Ｓ５１６で、生成したファイルをクラウドストレージ１３０に送信する。

図６は、ＭＦＰ１１０またはクライアントＰＣ１１１が表示する申請内容の確認設定画面６００の一例を示す図である。本画面は、内容確認処理におけるルールを設定する画面であり、（１）～（９）の内容確認のためのチェック項目が設定されている状態である。このように、本実施形態のＣＰＵ２１１は、確認設定画面６００を用いて、帳票画像における領域情報の判定条件を設定する設定部として機能する。チェック項目の設定方法は、図７を用いて後述する。

確認設定画面６００は、申請ボタン名入力エリア６０１、帳票フォーマット表示エリア６０２、チェック項目設定エリア６０３、チェック項目一覧エリア６０４、参照ボタン６０５、作成ボタン６０６から構成されている。参照ボタン６０５を押下すると、ファイル選択画面（不図示）が表示され、帳票フォーマットのファイルを選択できる。選択されたファイルは、帳票フォーマット表示エリア６０２に表示される。このとき、帳票フォーマット表示エリア６０２には複数のページが表示できるように、スクロールバー（不図示）やページ送りボタン（不図示）を設けてもよい。

チェック項目設定エリア６０３は、領域指定ボタン６０７と判定条件プルダウン６０８、追加ボタン６０９、キャンセルボタン６１０から構成される。選択領域６１１は、帳票フォーマット表示エリア６０２上で、マウス操作によって領域を指定することができる。

チェック項目一覧エリア６０４は、チェック項目６１２及びチェックルール削除ボタン６１３から構成され、チェック項目には追加した順に番号が振られる。作成ボタン６０６を押下すると、申請ボタン名入力エリア６０１に入力された申請ボタン名の申請ボタン８０１が作成され、ＭＦＰ１１０のメイン画面８００に表示される。このとき、作成した申請ボタンに紐づく、後述のフローによって追加される帳票フォーマット情報及び選択領域および判定条件を含むチェック項目情報は、ＭＦＰ連携サービス１２０のデータ管理部４３４に保存される。

図７は、ＭＦＰ１１０またはクライアントＰＣ１１１が表示する申請内容の確認設定画面６００の一例を示す図である。図７で、図６におけるチェック項目（９）を追加する操作フローを説明する。領域指定ボタン６０７を押下すると、帳票フォーマット表示エリア６０２で領域を指定できるようになる。領域指定の具体的な操作方法は限定しない。項目７０１のように、例えば、マウスドラッグによって矩形指定がなされてもよい。また、画像解析によって記入欄の枠線を自動認識することにより、該当の記入欄をクリックすると領域指定がなされることとしてもよい。前記操作によって指定された領域は色が変化する。また、領域を指定すると、領域指定ボタン６０７が領域座標情報７０２に置き換わって表示される。

続いて、判定条件を選択する。判定条件プルダウン６０８を押下すると、判定条件の選択肢が表示される。本実施形態においては、「記入漏れ」と「印鑑押し忘れ」が表示されているが、判定条件はこれに限定されるものではない。例えば、「記入漏れ」は選択した領域内に何か記入されているか判定する。「印鑑押し忘れ」は選択した領域に印鑑画像の特徴量が存在するか判定する。

最後に、追加ボタン６０９が押下されると、図６のように、帳票フォーマット表示エリア６０２上に確定された（９）の領域が選択状態となって表示され、チェック項目リスト一覧エリアにチェック項目（９）が追加される。また、このとき、帳票フォーマット表示エリア６０２上の選択領域は、指定状態とは別の色で表示され、かつチェック項目番号が表示される。また、キャンセルボタン６１０を押下した場合、領域指定や判定条件の設定はキャンセルされ、図６のように表示が戻る。

図１２は、画像処理部４３２が行う内容確認処理の詳細を示すフローチャートである。本フローチャートは図５における内容確認処理１２００に相当する。本フローチャートの処理は、本実施形態においては、ＭＦＰ連携サービス１２０が含まれるコンピュータのＣＰＵ３１１がプログラムに沿って実行される。しかし、当該処理をＭＦＰ１１０にて行ってもよく、その場合は、ＭＦＰ１１０が有するＣＰＵ２１１によって実行される。

はじめに、ＭＦＰ連携サービス１２０は、Ｓ１２０１で、入力画像の文字領域を解析する。図１６は、解析結果のデータ構造の詳細の一例を示す図である。ルートの”ｄａｔａ”は、スキャン帳票のページのリストを表し、複数のページに関する解析結果が配列として格納される。各帳票のページは”ｐａｇｅＮｕｍｂｅｒ”、”ｉｍａｇｅＷｉｄｔｈ”、”ｉｍａｇｅＨｅｉｇｈｔ”、”ｒｅｇｉｏｎｓ”を持つ。”ｐａｇｅＮｕｍｂｅｒ”は、帳票のページ番号である。”ｉｍａｇｅＷｉｄｔｈ”は、解析した画像のＸ方向（横方向）のピクセル数を示す。”ｉｍａｇｅＨｅｉｇｈｔ”は、解析した画像のＹ方向（縦方向）のピクセル数を示す。”ｒｅｇｉｏｎｓ”は解析した画像から解析された文字領域の座標情報と文字情報の配列が含まれる。次に”ｒｅｇｉｏｎｓ”内の情報について説明する。”ｒｅｃｔ”には抽出した文字領域一つの座標を示す。”ｘ”は領域の左上のＸ座標、”ｙ”は領域の左上のＹ座標、”ｗｉｄｔｈ”は領域のＸ方向のピクセル数、”ｈｅｉｇｈｔ”は領域のＹ方向のピクセル数を示す。”ｔｅｘｔ”は”ｒｅｃｔ”の文字領域をＯＣＲして文字認識を行った結果、抽出された文字列を示す。この”ｒｅｃｔ”と”ｔｅｘｔ”の情報が解析したスキャン画像内の全文字領域分含まれる。“ｔｙｐｅ”は、文字識別種別を示す。例えば、テキストの場合は“ｔｅｘｔ”、印鑑の場合は“ｓｔａｍｐ”と設定される。

続いて、Ｓ１２０２で、選択した申請ボタンに紐づくチェック項目リストを画像データ保存部４１２から取得する。Ｓ１２０３で、Ｎを初期化（０）する。

Ｓ１２０４で、ＮがＳ１２０２で取得したチェック項目数より多いか比較する。Ｓ１２０４で、ＮがＳ１２０２で取得したチェック項目数以下と判定された場合、Ｓ１２０５で、チェック項目リストの中からＮ番目のチェック項目情報を取得する。チェック項目情報には、選択領域および判定条件が含まれる。Ｓ１２０６で、チェック項目における内容チェックを行う。具体的な実施形態として、前記チェック項目情報の選択領域と重なり合う、取得した解析結果の文字領域が存在するか比較する。このとき、判定条件が「記入漏れ」の場合、文字領域が存在しないと判定されると、内容確認ＮＧと判定される。別の例として、判定条件が「印鑑押し忘れ」の場合、重なり合う文字領域の文字識別種別が“ｓｔａｍｐ”と出ない場合、ＮＧと判定される。

Ｓ１２０７で、Ｓ１２０６の結果がＮＧと判定された場合は、Ｓ１２０８で、ＮＧリストに対象のチェック項目情報と判定結果を追加する（不図示）。ＮＧと判定されない場合は、Ｓ１２０９で、Ｎを１インクリメントして、Ｓ１２０４に戻る。

Ｓ１２０４で、ＮがＳ１２０２で取得したチェック項目数より多いと判定された場合、Ｓ１２１０において、ＮＧリストがあるか判定する。Ｓ１２１０で、ＮＧリストがあると判定された場合は、Ｓ１２１１で、内容ＮＧのレスポンス情報（図１１（Ａ））を作成する。Ｓ１２１０で、ＮＧリストがあると判定された場合は、Ｓ１２１２において内容ＯＫのレスポンス情報（図１１（Ｂ））を作成する。その後のフローは、図５のＳ５０８に続く。

図１３は、ＭＦＰ１１０またはクライアントＰＣ１１１が表示する再申請画面１３００の一例を示す図である。再申請画面１３００は、スキャンした帳票の内容の内容がＮＧと判定された場合、再申請操作を行うための画面である。再申請画面１３００は、スキャン帳票表示エリア１３０１、再スキャンメニューボタン１３０２、直接入力メニューボタン１３０３、キャンセルボタン１３０４から構成されている。このため、本実施形態のＣＰＵ２１１は、記載不備のある領域の編集を行うか、読取装置による帳票の再読取りを行うか、を選択可能であることを表示する表示部の機能を有する。

スキャン帳票表示エリア１３０１には、チェック項目でＮＧとなった領域１３０５が色付けされ、さらにチェック項目番号が表示される。スキャン帳票表示エリア１３０１は、複数ページ表示できるように、スクロールバー（不図示）やページ送りボタン（不図示）を設けてもよい。

再スキャンメニューボタン１３０２は、ユーザーがＮＧの内容に関して、紙の申請書に直接記入して、再度スキャン送信を行うためのメニューボタンである。再スキャンメニューボタン１３０２を押下すると、スキャン設定画面１０００が表示される。スキャン設定画面１０００でスキャンすると、スキャンした情報をＭＦＰ連携サービス１２０に送信する（Ｓ５１２）。このように、本実施形態では、再スキャンメニューボタン１３０２が押されて、読取装置による帳票の再読取りを行うことが選択された場合には、再読取画面が表示される。

直接入力メニューボタン１３０３は、ＭＦＰ１１０またはクライアントＰＣ１１１のＵＩ上で内容を修正するためのメニューボタンである。直接入力メニューボタン１３０３を押下すると、ＵＩ入力画面１４００が表示される。ただし、「印鑑押し忘れ」といった直接入力では対応できないＮＧチェック項目がある場合、直接入力メニューボタン１３０３を非表示、または押下できない状態となる。この場合、再スキャンメニューボタン１３０２のみが選択可能な状態となる。この例のように、本実施形態では、読取装置による帳票の再読取りを行う領域と設定されている領域のみに記載不備があると判定された場合には、読取装置による帳票の再読取りを行うことのみが選択可能であることが表示される。なお、帳簿の再読取りを行うことのみが選択可能であることの表示は、本実施形態のようなボタンの表示のみに限るものではなく、帳簿の再読取りを行うことのみが選択可能であることをテキスト表示することとしてもよい。ＵＩ入力画面１４００による設定フローの詳細は図１４で説明する。キャンセルボタン１３０４を押下すると、Ｓ５０５含め、スキャン処理をキャンセルし、処理を終了する。このように、本実施形態のＣＰＵ２１１は、記載不備のある領域の編集を行うことが選択された場合には、編集画面を表示する。

図１４は、ＭＦＰ１１０またはクライアントＰＣ１１１が表示するＵＩ入力画面１４００の一例を示す図である。図１４で、図１３におけるＮＧのチェック項目番号（９）である「利用部屋番号」１３０５に対してＵＩ上で直接入力する操作フローを説明する。ＵＩ入力画面１４００は、スキャン帳票表示エリア１４０１、入力エリア１４０２、キーボード表示ボタン１４０３、決定ボタン１４０４、キャンセルボタン１４０５、送信ボタン１４０６、戻るボタン１４０７を有する。スキャン帳票表示エリア１４０１のチェック項目でＮＧとなった領域１４０８が色付けされ、さらにチェック項目番号が表示される。

まず、画面表示時、入力エリア１４０２、キーボード表示ボタン１４０３、決定ボタン１４０４、キャンセルボタン１４０５及び送信ボタン１４０６は、押下できない状態で表示される。ＮＧとなった領域１４０８を押下すると、入力エリア１４０２、キーボード表示ボタン１４０３、決定ボタン１４０４、キャンセルボタン１４０５が押下できる状態に変化する。さらに、押下したＮＧ領域のチェック項目番号１４０９が表示される。このように、本実施形態のＣＰＵ２１１は、記載不備がある場合に、記載不備のある領域を編集可能な状態で表示し得る表示部として機能する。

本実施形態では、２つの入力方法が選択可能である。一つ目は、ＭＦＰ１１０またはクライアントＰＣ１１１のディスプレイ上で直接手書き記入である。本実施形態では、「Ａ１０」という文字列を、入力エリア１４０２上に指やタッチペン等を使って手書きで入力している。このように、本実施形態では、編集画面に対する入力を手書き文字で行うことが選択可能であり、その場合に、手書き入力画面が表示される。

二つ目は、ソフトキーボードによる入力である。キーボード表示ボタン１４０３を押下すると、ソフトキーボード画面１５００が表示される。図１５は、ＭＦＰ１１０またはクライアントＰＣ１１１が表示するソフトキーボード画面１５００の一例を示す図である。本実施形態では、図１５を詳細には説明しないが、ソフトキーボード画面１５００は、一般的なソフトキーボードを示している。キーボードを使って文字列をテキストフィールド１５０１に入力し、ＯＫボタン１５０２を押下すると、入力エリア１４０２に入力文字列が表示される。このように、本実施形態では、編集画面に対する入力を活字で行うことが選択可能であり、その場合に、ソフトキーボードが表示される。

入力エリア１４０２に入力した後、決定ボタン１４０４を押下すると、スキャン帳票表示エリア１４０１に前述の入力した文字列１４１０が表示される。また、入力エリア１４０２、キーボード表示ボタン１４０３、決定ボタン１４０４、キャンセルボタン１４０５は、画面表示時の状態に戻る。

すべてのＮＧとなったチェック項目に対して入力が行われると、送信ボタン１４０６が押下できる状態に変化する。キャンセルボタン１４０５を押下すると、入力エリア１４０２、キーボード表示ボタン１４０３、決定ボタン１４０４、キャンセルボタン１４０５は、画面表示時の状態に戻る。送信ボタン１４０６を押下すると、入力した情報をＭＦＰ連携サービス１２０に送信する（Ｓ５１２）。戻るボタン１４０７を押下すると、再申請画面１３００を表示する。

［その他の実施形態］
以上、本発明をその好適な実施形態に基づいて詳述したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。尚、本実施形態は、以下の組み合わせを含む。

〔構成１〕
読取装置による帳票に対する読取動作によって、前記帳票の画像である帳票画像を取得する画像取得部と、
前記画像取得部により取得された前記帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出部と、
前記抽出部により抽出された前記領域情報における記載不備の有無の判定を行う判定部と、
前記記載不備がある場合に、前記記載不備のある領域を編集可能な状態で表示し得る表示部と、を有し、
前記表示部は、前記記載不備のある領域の編集を行うか、前記読取装置による前記帳票の再読取りを行うか、を選択可能であることを表示する
ことを特徴とする画像処理装置。

〔構成２〕
前記判定部は、前記記載不備のある領域に対して編集がなされた場合に、記載不備の有無の判定を再度判定する
ことを特徴とする構成１に記載の画像処理装置。

〔構成３〕
前記表示部は、前記記載不備のある領域の編集を行うことが選択された場合には、編集画面を表示する
ことを特徴とする構成１または２に記載の画像処理装置。

〔構成４〕
前記表示部は、編集画面に対する入力を活字で行うか手書き文字で行うかを選択可能であることを表示する
ことを特徴とする構成３に記載の画像処理装置。

〔構成５〕
前記表示部は、編集画面に対する入力を活字で行うことが選択された場合には、ソフトキーボードを表示する
ことを特徴とする構成４に記載の画像処理装置。

〔構成６〕
前記表示部は、編集画面に対する入力を手書き文字で行うことが選択された場合には、手書き入力画面を表示する
ことを特徴とする構成４または５に記載の画像処理装置。

〔構成７〕
前記表示部は、前記読取装置による前記帳票の再読取りを行うことが選択された場合には、再読取画面を表示する
ことを特徴とする構成１乃至６のいずれか１項に記載の画像処理装置。

〔構成８〕
前記判定部が記載不備がないと判定した場合には、不備がないことを通知する通知部をさらに有する
ことを特徴とする構成１乃至７のいずれか１項に記載の画像処理装置。

〔構成９〕
前記帳票画像における前記領域情報の判定条件を設定する設定部をさらに有する
ことを特徴とする構成１乃至８のいずれか１項に記載の画像処理装置。

〔構成１０〕
前記表示部は、前記読取装置による前記帳票の再読取りを行う領域と前記設定部にて設定されている領域のみに記載不備があると判定された場合に、前記読取装置による前記帳票の再読取りを行うことのみが選択可能であることを表示する
ことを特徴とする構成９に記載の画像処理装置。

〔方法１〕
読取装置による帳票に対する読取動作によって、前記帳票の画像である帳票画像を取得する画像取得工程と、
前記画像取得工程で取得された前記帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出工程と、
前記抽出工程で抽出された前記領域情報における記載不備の有無の判定を行う判定工程と、
前記記載不備がある場合に、前記記載不備のある領域を編集可能な状態で表示し得る表示工程と、を有し、
前記表示工程では、前記記載不備のある領域の編集を行うか、前記読取装置による前記帳票の再読取りを行うか、を選択可能であることを表示する
ことを特徴とする画像処理装置の制御方法。

〔プログラム１〕
画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
画像処理装置の制御方法は、
読取装置による帳票に対する読取動作によって、前記帳票の画像である帳票画像を取得する画像取得工程と、
前記画像取得工程で取得された前記帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出工程と、
前記抽出工程で抽出された前記領域情報における記載不備の有無の判定を行う判定工程と、
前記記載不備がある場合に、前記記載不備のある領域を編集可能な状態で表示し得る表示工程と、を有し、
前記表示工程では、前記記載不備のある領域の編集を行うか、前記読取装置による前記帳票の再読取りを行うか、を選択可能であることを表示する
ことを特徴とするプログラム。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０…ＭＦＰ
１１１…クライアントＰＣ
１２０…ＭＦＰ連携サービス
２１０…制御部
２１１…ＣＰＵ
４２１…表示制御部
１３００…再申請画面
１３０２…再スキャンメニューボタン
１３０３…直接入力メニューボタン

Claims (12)

1. 読取装置による帳票に対する読取動作によって、前記帳票の画像である帳票画像を取得する画像取得部と、
   前記画像取得部により取得された前記帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出部と、
   前記抽出部により抽出された前記領域情報における記載不備の有無の判定を行う判定部と、
   前記記載不備がある場合に、前記記載不備のある領域を編集可能な状態で表示し得る表示部と、を有し、
   前記表示部は、前記記載不備のある領域の編集を行うか、前記読取装置による前記帳票の再読取りを行うか、を選択可能であることを表示する
   ことを特徴とする画像処理装置。
2. 前記判定部は、前記記載不備のある領域に対して編集がなされた場合に、記載不備の有無の判定を再度判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示部は、前記記載不備のある領域の編集を行うことが選択された場合には、編集画面を表示する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記表示部は、編集画面に対する入力を活字で行うか手書き文字で行うかを選択可能であることを表示する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記表示部は、編集画面に対する入力を活字で行うことが選択された場合には、ソフトキーボードを表示する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記表示部は、編集画面に対する入力を手書き文字で行うことが選択された場合には、手書き入力画面を表示する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記表示部は、前記読取装置による前記帳票の再読取りを行うことが選択された場合には、再読取画面を表示する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記判定部が記載不備がないと判定した場合には、不備がないことを通知する通知部をさらに有する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記帳票画像における前記領域情報の判定条件を設定する設定部をさらに有する
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記表示部は、前記読取装置による前記帳票の再読取りを行う領域と前記設定部にて設定されている領域のみに記載不備があると判定された場合に、前記読取装置による前記帳票の再読取りを行うことのみが選択可能であることを表示する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 読取装置による帳票に対する読取動作によって、前記帳票の画像である帳票画像を取得する画像取得工程と、
    前記画像取得工程で取得された前記帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出工程と、
    前記抽出工程で抽出された前記領域情報における記載不備の有無の判定を行う判定工程と、
    前記記載不備がある場合に、前記記載不備のある領域を編集可能な状態で表示し得る表示工程と、を有し、
    前記表示工程では、前記記載不備のある領域の編集を行うか、前記読取装置による前記帳票の再読取りを行うか、を選択可能であることを表示する
    ことを特徴とする画像処理装置の制御方法。
12. 画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
    画像処理装置の制御方法は、
    読取装置による帳票に対する読取動作によって、前記帳票の画像である帳票画像を取得する画像取得工程と、
    前記画像取得工程で取得された前記帳票画像における所定の記載事項の領域を示す領域情報を抽出する抽出工程と、
    前記抽出工程で抽出された前記領域情報における記載不備の有無の判定を行う判定工程と、
    前記記載不備がある場合に、前記記載不備のある領域を編集可能な状態で表示し得る表示工程と、を有し、
    前記表示工程では、前記記載不備のある領域の編集を行うか、前記読取装置による前記帳票の再読取りを行うか、を選択可能であることを表示する
    ことを特徴とするプログラム。
    
    

Images