JP5712012B2

JP5712012B2 - 入力シートシステム、入力シート処理方法、及び入力シート処理プログラム

Info

Publication number: JP5712012B2
Application number: JP2011059910A
Authority: JP
Inventors: 克人望月; 茂生内田; 悟史小山; 平芦川
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2011-03-17
Filing date: 2011-03-17
Publication date: 2015-05-07
Anticipated expiration: 2031-03-17
Also published as: JP2012194925A

Description

本発明の実施形態は、ユーザからの指示が記された入力シートを読み取り、その読み取り結果をもとに情報処理を行う入力シートシステム、入力シート処理方法、及び入力シート処理プログラムに関する。

情報処理システムへの入力方式の一つとして、マークシート方式やフォーム記述方式がある。この方式では、ユーザがシートに手書きすることで指示事項が表現でき、特別の入力装置の必要がないなどの利点がある。

また従来では、マークシート方式では、マークシート用紙のチェック項目のレイアウトの仕方が厳格に定まっていることに対して、ユーザにとって理解し易いレイアウトでマークシートを構成するシステムが考えられている。例えば、ソフトウェア部品のプログラム本体をライブラリに登録しておき、ソフトウェア部品のシンボルを配置した入力フォームを作成し、この入力シートに対する記入に応じて、シンボルに対応するソフトウェア部品間の従属関係に従って各ソフトウェア部品の処理を実行する。

特開平９−２２３００７号公報

しかしながら従来の方式は、入力シートのフォームに応じたソフトウェア部品のプログラムを、ソフトウェアの専門知識を有する部品作成者が予め作成しなければならなかった。このため、ユーザが入力シートを用いて新たな機能（情報処理）を実行させようとする場合、その都度、部品作成者が開発する必要があった。このため、ユーザが入力シートを用いて必要とする情報処理を容易に実行させることは困難となっていた。

本発明が解決しようとする課題は、入力シートを用いて、必要とする情報処理を容易に実行させることが可能な入力シートシステム、入力シート処理方法、入力シート処理プログラムを提供することである。

実施形態によれば、入力シートシステムは、作業内容を表す複数のアクティビティアイコンが記録された入力シートの第１の画像を読み取る入力シート読取り手段と、前記入力シート読取り手段により読み取りの対象となる前記入力シートの第２の画像を記録する入力シート記録手段と、前記第１の画像と前記第２の画像との差分画像をもとに、前記入力シートに記入された記入情報を判別する記入情報判別手段と、前記入力シートにおける前記記入情報の記入位置と前記複数のアクティビティアイコンの記録位置をもとに、前記記入情報により指定された前記アクティビティアイコン間の関連性を判別する関連判別手段と、前記関連判別手段により判別された前記アクティビティアイコン間の関連性と前記記入情報とをもとに、関連のある各アクティビティアイコンに対応する作業内容に応じたワークフロースクリプトを生成するワークフロースクリプト生成手段とを有することを特徴とする。

本実施形態における入力シートシステム（ワークフローシステム）の概略構成の一例を示す図。本実施形態におけるワークフローシステムのモジュール構成を示すブロック図。本実施形態における入力シート１０５の生成の流れを示すフローチャート。本実施形態における入力シート生成部１０４による入力シート生成処理を示すフローチャート。本実施形態における入力シートで用いられる始点記号と終点記号の一例を示す図。第１実施形態におけるアクティビティ（処理機能）の一例を示す図。第１実施形態におけるアクティビティアイコンの記述凡例を示す図。第１実施形態におけるアクティビティアイコンの具体例を示す図。第１実施形態における入力シートの一例を示す図。第１実施形態における入力シートへの記入例を示す図。第１実施形態におけるにワークフロースクリプト生成処理の流れを示すフローチャート。第１実施形態における入力シート情報取得処理の流れを示すフローチャート。第１実施形態における入力シート情報取得処理によって得られた差分画像の一例を示す図。第１実施形態におけるワークフロースクリプト変換処理の流れを示すフローチャート。第１実施形態におけるアクティビティ関連判断部によるアクティビティ関連情報取得処理の流れを示すフローチャート。第１実施形態におけるアクティビティ関連判断部によりＬｉｓｔＡｃｔＬｉｎｋとして保存されたリストの一例を示す図。第１実施形態における手書き入力処理部による手書き入力取得処理の流れを示すフローチャート。第１実施形態における手書き入力処理部によりＬｉｓｔＡｃｔＬｉｎｋとして保存されたリストの一例を示す図。第１実施形態におけるワークフロースクリプト生成部によるワークフロースクリプト生成処理の流れを示すフローチャート。第１実施形態におけるワークフロースクリプト生成部１０９によるアクティビティ記述処理の流れを示すフローチャート。第１実施形態における図１６のリストＬｉｓｔＡｃｔＬｉｎｋを処理した場合のスクリプト生成状況の一例を示す図。第１実施形態における図１６のリストＬｉｓｔＡｃｔＬｉｎｋを処理した場合のスクリプト生成状況の一例を示す図。第１実施形態における図１６のリストＬｉｓｔＡｃｔＬｉｎｋを処理した場合のスクリプト生成状況の一例を示す図。第１実施形態における図１６のリストＬｉｓｔＡｃｔＬｉｎｋを処理した場合のスクリプト生成状況の一例を示す図。第１実施形態における文字列データが追加されたワークフロースクリプトの一例を示す図。第２実施形態における継続アクティビティアイコンの一例を示す図。第２実施形態における入力シートへの記入例を示す図。第２実施形態における入力シートへの記入例を示す図。第２実施形態におけるアクティビティ関連情報取得処理の一部処理を示すフローチャート。

以下、本実施の形態について、図面を参照して説明する。
本実施の形態に係る入力シートシステムは、ユーザからの指示が記された入力シートを読み取り、その読み取り結果をもとに特定の目的に応じた一連の処理（業務）を１つのワークフローとして実行するワークフローシステムとして実現される。入力シートシステムは、例えばデジタル複合機（ＭＦＰ（Multi Function Peripheral））に接続された１つ又は複数のサーバ、及び１つ又は複数のユーザ端末（クライアントＰＣ）を含むシステムにおいて実現される。

図１は、本実施形態における入力シートシステム（ワークフローシステム）の概略構成の一例を示す図である。
図１に示すように、本実施形態における入力シートシステムは、デジタル複合機１（以下、ＭＦＰ１と称する）、サーバ３、ユーザ端末（クライアントＰＣ）４、及びローカルエリアネットワーク５により構成する。なお、ローカルエリアネットワーク５には、複数のサーバ３、あるいは、複数のユーザ端末４が接続されていても良い。

ＭＦＰ１は、画像形成装置あるいは画像読取装置として機能する。ＭＦＰ１は、スキャナ機能、プリンタ機能、ネットワーク通信機能、及びファクシミリ機能などを有する。サーバ３は、サーバコンピュータである。ＭＦＰ１及びサーバ３は、制御ユニット（ＣＰＵ）がメモリに保存したアプリケーションプログラムを実行することにより実現される様々の処理機能を有する。ユーザ端末４は、各ユーザが使用する端末機器である。サーバ３及びユーザ端末４は、各ローカルエリアネットワーク５を介してＭＦＰ１とデータ通信を行う機能を有する。

ＭＦＰ１は、スキャナ（画像読取部）１１、プリンタ（画像形成部）１３、操作パネル１７、及びシステム制御部２０を有する。さらに、ＭＦＰ１には、ファクシミリデータを送受信するためのファクシミリインタフェースなどを搭載するようにしても良い。

スキャナ１１は、原稿面を光学的に走査することにより原稿面上の画像を読取る。スキャナ１１は、原稿面の画像をカラー画像データ（多値の画像データ）あるいはモノクロ画像データに変換する。スキャナ１１は、走査機構、光電変換部及び自動原稿送り装置（ＡＤＦ）などを有する。

プリンタ１３は、カラー画像データ（多値の画像データ）あるいはモノクロ画像データに基づく画像を用紙上に形成するユニットである。プリンタ１３は、特定の画像形成方式に限定されるものではない。例えば、プリンタ１３は、電子写真方式の画像形成装置、インクジェット方式あるいは熱転写方式などの印刷方式であっても良い。

操作パネル１７は、ユーザインタフェースである。操作パネル１７は、例えば、各種の操作キー及びタッチパネル内蔵の表示部を有する。操作パネル１７は、ユーザが操作指示を入力するための操作部、及びユーザに対する案内などを表示する表示部として機能する。

システム制御部２０は、ＭＦＰ１内の各部を統括的に制御する。例えば、システム制御部２０は、スキャナ１１及びプリンタ１３を制御する。システム制御部２０は、操作パネル１７からユーザによる指示を取得する。システム制御部２０は、ＣＰＵ２１、メインメモリ２２、ＦＲＯＭ２３、画像処理部２４、ネットワークインタフェース２５、ページメモリ２６、及びＨＤＤ２８などを有する。

ＣＰＵ２１は、ＭＦＰ１の制御を司る制御ユニットである。ＣＰＵ２１は、ＦＲＯＭ２３あるいはＨＤＤ２８に記録されているプログラム（入力シート処理プログラムを含む）を実行することにより各種の処理機能を実現する。メインメモリ２２は、ランダムアクセスメモリ（ＲＡＭ）などにより構成する。メインメモリ２２は、ワーキングメモリとして機能する。ＦＲＯＭ２３は、書換え可能な不揮発性メモリで構成する。ＦＲＯＭ２３は、ＭＦＰ１の動作を司る制御プログラム及び制御データなどを記録する。また、ＦＲＯＭ２３は、制御データあるいは設定情報などが書き込まれる。ＦＲＯＭ２３には、各種の動作状態を示す各種のフラグを記録するようにしても良い。

画像処理部２４は、スキャナ１１で読取った画像データ、あるいは、ネットワーク経由でユーザ端末４から受信した画像データに対して画像処理する。ネットワークインタフェース２５は、ローカルエリアネットワーク５を介して外部装置と通信を行うためのＬＡＮインタフェースである。ページメモリ２６は、プリント用の画像データを展開するためのメモリである。ページメモリ２６は、少なくとも１ページ分の画像データを展開する領域が確保できる。ＨＤＤ２８は、データ記録用の大容量のメモリである。ＨＤＤ２８は、例えば、印刷対象とする画像データを蓄積する。

次に、サーバ３の構成について説明する。
サーバ３は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、ネットワークインタフェース（Ｉ／Ｆ）３４、及びＨＤＤ３５を有する。
ＣＰＵ３１は、サーバ３全体の制御を司る制御ユニットである。ＣＰＵ３１は、ＲＯＭ３３及びＨＤＤ３５に記録されているプログラム（入力シート処理プログラムを含む）に基づいて様々な処理機能を実現する。ＲＡＭ３２は、ワーキングメモリである。ＲＯＭ３３は、サーバ３の基本的な動作を司る制御プログラム及び制御データなどを記録する。ＨＤＤ３５は、データ記録用の記録装置である。ネットワークインタフェース３４は、ローカルエリアネットワーク５内の各装置とのデータ通信を行うためのＬＡＮインタフェースである。例えば、サーバ３は、ネットワークインタフェース３４によりローカルエリアネットワーク５を介してＭＦＰ１とのデータの送受信が可能である。

また、ユーザ端末４は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、ネットワークインタフェース（Ｉ／Ｆ）４４、ＨＤＤ４５、表示部４６、及び操作部４７を有する。
ＣＰＵ４１は、ＲＯＭ４３及びＨＤＤ４５に記録されているプログラム（入力シート処理プログラムを含む）に基づいて様々な処理機能を実現する。ＲＡＭ４２は、ワーキングメモリである。ＲＯＭ４３は、ユーザ端末４の基本的な動作を司る制御プログラム及び制御データなどを記録する。ＨＤＤ４５は、データ記録用の記録装置である。ネットワークインタフェース４４は、ローカルエリアネットワーク５内の各装置とのデータ通信を行うためのＬＡＮインタフェースである。例えば、ユーザ端末４は、ネットワークインタフェース４４によりローカルエリアネットワーク５を介してＭＦＰ１とのデータの送受信が可能である。

図２は、本実施形態におけるワークフローシステムのモジュール構成を示すブロック図である。
図２に示すように、本実施形態におけるワークフローシステムは、ユーザインタフェース部１０１、プリント部１０２、アクティビティデータベース（ＤＢ）１０３、入力シート生成部１０４、入力シート情報ＤＢ１０６、スキャン部１０７、入力シート読み取り部１０８、ワークフロースクリプト生成部１０９、アクティビティ関連判断部１１０、及び手書き入力処理部１１１が設けられる。

ユーザインタフェース部１０１は、ユーザからの指示を受ける。

プリント部１０２は、ワークフローを定義するための入力シート１０５を印刷する。入力シート１０５には、ワークフローを定義するための、作業プロセスの一作業単位であるアクティビティ（処理プロセスやタスク）を表わす作業シンボル（以下、アクティビティアイコンと称する）が印刷される。

アクティビティＤＢ１０３には、入力シート１０５に印刷するアクティビティアイコンに関するデータが予め記録される。

入力シート生成部１０４は、アクティビティデータベース１０３に記録されたデータをもとに、作業内容を表す複数のアクティビティアイコンが記録された入力シートを生成して、プリント部１０２により入力シート１０５を印刷出力させる。

入力シート情報データベース（ＤＢ）１０６は、入力シート生成部１０４により生成された入力シート、すなわちスキャン部１０７を通じて入力シート読み取り部１０８により読み取りの対象となる入力シート１０５の画像（第２の画像）を記録する。

スキャン部１０７は、入力シート１０５をスキャンして入力シートの画像を読み取る。スキャン部１０７に画像が読み取られる入力シート１０５には、入力シート１０５に記録された複数のアクティビティアイコン、及び作業の開始と終了を表すシンボルとの関連性を示す記入、またワークフローを定義するための記入がされている。

入力シート読み取り部１０８は、ユーザインタフェース部１０１により入力シート１０５の読み取り指示が入力された際に、スキャン部１０７により入力シート１０５をスキャンさせて、入力シート１０５の画像を読み取る。

アクティビティ関連判断部１１０は、入力シート読み取り部１０８により読み取られた入力シート１０５の画像（第１の画像）と、入力シート情報ＤＢ１０６に記録された入力シート１０５に対応する画像（第２の画像）との差分画像をもとに、アクティビティアイコン間の関連性を判別する。アクティビティ関連判断部１１０は、アクティビティアイコン間の関連性をもとに、アクティビティ（処理）の順序、データの流れを判定する。

手書き入力処理部１１１は、入力シート読み取り部１０８により読み取られた入力シート１０５の画像について、ＯＣＲ（Optical Character Reader)機能によって文字認識処理を実行して、入力シート１０５に記録された手書きされた文字（記入情報）や印刷文字を判別する。入力シート１０に記録されたアクティビティアイコンには、ワークフローを定義するための文字列が必要に応じてユーザによって手書きされる。

ワークフロースクリプト生成部１０９は、アクティビティ関連判断部１１０により判別されたアクティビティアイコンの関連性と、手書き入力処理部１１１により判別された記入情報とをもとに、各アクティビティアイコンに対応する作業内容に応じたワークフロースクリプトを作成する。

なお、図２に示す各モジュールは、例えば、サーバ３あるいはユーザ端末４において実現される。また、各モジュールのうち一部または全部を、ＭＦＰ１において実現するようにしても良い。例えば、図２において、プリント部１０２とスキャン部１０７は、ＭＦＰ１において実現する。また、各モジュールは、例えば、複数のサーバ３あるいはユーザ端末４に配置されるようにしても良い。さらに、各モジュールのうちの一部は、外部のネットワーク（例えば、ＭＦＰ１が設置されているＬＡＮではなく、インターネットなどの外部ネットワーク）上のサーバに配置されていてもよい。すなわち、ワークフローシステムは、ＭＦＰ１、１つ又は複数のサーバ３／ユーザ端末４、あるいは外部のネットワークのサーバに配置された各モジュールにより一連の処理であるワークフローを実現する。

各モジュールを実現するためのプログラムは、モジュールが実現される装置（ＭＦＰ１、サーバ３、ユーザ端末４）の読取り可能なメモリ（メインメモリ、ＲＡＭ（Random Access Memory））に記録され、ＣＰＵによって実行される。また、各モジュールを実現するプログラムは、コンピュータが読取り可能な記録媒体に保持され、記録媒体を介してサーバ３、ユーザ端末４あるいはＭＦＰ１にインストールされるようにしても良い。記録媒体としては、ＣＤ−ＲＯＭ等のプログラムを記録でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。また、このように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティングシステム）等と協働してその機能を実現させるものであってもよい。

（第１実施形態）
第１実施形態では、説明を簡単にするために、単数ページの入力シート１０５を用いてワークフローを生成するものとし、ワークフロースクリプトとして、例えばワークフロー定義のＸＭＬ（Extensible Markup Language）ファイルであるＸＯＭＬ（Extensible Object Markup Language）形式を出力する場合について示す。

図３は、本実施形態における入力シート１０５の生成の流れを示すフローチャートである。
まず、入力シート生成部１０４は、ユーザ操作に応じて、ユーザインタフェース部１０１から入力シートの印刷指示を受けると（Ｓ２０１）、入力シート生成処理を行う（Ｓ２０２）。入力シート生成部１０４は、入力シート生成処理によって、入力シート１０５に印刷するパターンデータを生成する。

図４は、本実施形態における入力シート生成部１０４による入力シート生成処理を示すフローチャートである。
まず、入力シート生成部１０４は、入力シートには、例えば図５（ａ）（ｂ）に示すような、ワークフローの作業の開始を表す始点記号（シンボル）４０１、終点記号（シンボル）４０２とを配置する（Ｓ３０１）。次に、入力シート生成部１０４は、アクティビティＤＢ１０３からアクティビティ名、変数情報、配置情報からなるリストＬｉｓｔＡｃｔ（インデックスの最小値を１とする）を取得する（Ｓ３０２）。配置情報とは、入力や出力、その過程の処理といった、そのアクティビティの処理を行うタイミングが記載されたものであり、処理の位置関係で必要な場合にこれを用意する。

第１実施形態では、図６（ａ）（ｂ）（ｃ）（ｄ）に示すような、アクティビティ（処理機能）が用意されているものとする。すなわち、図６（ａ）はスキャン（Ｓｃａｎ）、図６（ｂ）はファイル読み込み（ＦｉｌｅＬｏａｄ）、図６（ｃ）はファイル保存（ＳａｖｅＦｉｌｅ）、図６（ｄ）はメール送信（ＳｅｎｄＭａｉｌ）のアクティビティを示している。例えば、図６（ａ）に示すスキャン（Ｓｃａｎ）のアクティビティ（アクティビティ名）では、入力変数として、「カラーモード」「解像度」「一時ファイル」が記載され、出力変数として、「結果」「一時ファイル」が記載され、配置情報として「入力」が記載されている。入力変数の「一時ファイル」は、ユーザの直接指定可能な変数とし、ユーザが入力シート１０５に対して手書きすることにより指定できるものとする。

他のアクティビティについても同様にして、図６（ｂ）〜（ｃ）に示すように、入力変数、出力変数、配置情報について記載されている。

入力シート生成部１０４は、初期値としてｉ＝１とし（Ｓ３０３）、ＬｉｓｔＡｃｔ［ｉ］を取得する（Ｓ３０４，Ｓ３０５）。入力シート生成部１０４は、ＬｉｓｔＡｃｔ［ｉ］に記載されたアクティビティ名、変数情報（入力変数／出力変数）をもとに、アクティビティアイコンを作成する（Ｓ３０６）。

図７は、第１実施形態におけるアクティビティアイコンの記述凡例を示している。図７に示すように、アクティビティアイコンは、アクティビティ名６０１、入力変数６０２、出力変数６０３からなる。また、ユーザが直接入力可能な変数については、入力ボックス６０４が設けられている。

図８（ａ）（ｂ）（ｃ）（ｄ）は、図６（ａ）（ｂ）（ｃ）（ｄ）に示すアクティビティに相当するアクティビティアイコン７０１〜７０４の具体例を示している。入力シート生成部１０４は、図６（ａ）〜（ｄ）に示す記載内容に応じて、各アクティビティに応じたアクティビティアイコンを生成する。

入力シート生成部１０４は、アクティビティアイコンを生成した後、アクティビティの配置情報をもとにアクティビティアイコンを配置する（Ｓ３０７）。すなわち、配置情報が「入力」を示すアクティビティについては、アクティビティアイコンをデータ入力側の例えば左側に配置する。また、配置情報が「出力」を示すアクティビティについては、アクティビティアイコンをデータ出力側の例えば右側に配置する。また、図６（ｃ）（ｄ）に示すアクティビティ（ファイル保存、メール送信）の配置情報は「入力以外」となっているため、データ入力側の例えば左側以外に配置する。

入力シート生成部１０４は、アクティビティを配置した入力シートにおける座標を記録しておく。この座標は、例えばアクティビティアイコン全体の位置、アクティビティ名の位置、アクティビティアイコン内の各変数の位置を示すものを含む。また、アクティビティアイコンに入力ボックスがある場合（例えば、図８（ａ）に示すアクティビティアイコン）には、入力ボックスが配置された位置を示す座標を記録しておく（Ｓ３０８）。

入力シート生成部１０４は、前述したＳ３０５〜Ｓ３０８の処理を、全てのＬｉｓｔＡｃｔに対して実施する（Ｓ３０９，Ｓ３０４）。ここでは、図６（ａ）〜（ｄ）に示すＬｉｓｔＡｃｔ［ｉ］（ｉ＝１〜４）のそれぞれについて実行して、４つのアクティビティアイコンを作成する。

入力シート生成部１０４は、アクティビティアイコンの生成を終了した後、入力シートに固有の入力シートＩＤを設定し（Ｓ３１０）、入力シート情報ＤＢ１０６に、入力シートＩＤ、複数のアクティビティと始点記号４０１／終点記号４０２とが配置された入力シートの画像、それぞれのアクティビティと入力ボックスの座標を保存する（Ｓ３１１）。

以上により入力シート生成処理を終了する。入力シート生成部１０４は、入力シート生成処理により生成した入力シートの印刷出力をプリント部１０２に指示する（Ｓ２０３）。プリント部１０２は、例えばＭＦＰ１のプリンタ１３を制御して、入力シート１０５を印刷させる。

図９は、図６（ａ）〜（ｄ）の記載をもとに作成した入力シート１０５の一例を示す図である。
図９に示すように、入力シート１０５のデータ入力側となる左側の端近傍には始点記号４０１が配置され、次に配置情報が「入力」となっていたアクティビティアイコン７０１，７０２が配置されている。アクティビティアイコン７０１には、入力変数「ｔｅｍｐｐａｔｈ」と対応付けて入力ボックスが設けられている。また、入力シート１０５のデータ出力側となる右側には配置情報が「入力以外」となっていたアクティビティアイコン７０３，７０４が配置され、右端近傍には終点記号４０２が配置されている。また、図９に示す入力シート１０５の右下には、シートＩＤ７０５「ＷＦＩＤ：０００１５０１」が印刷されている。

ユーザは、複数のアクティビティアイコン７０１〜７０４が記載された入力シート１０５に対して、ワークフローとして実行させようとするアクティビティアイコンの関連性を定義する記入をすることにより、実際に処理する内容を決定することができる。ここでは、ワークフローで必要とする処理のアクティビティアイコンについてのみ関連性を定義すれば良い。従って、アクティビティＤＢ１０３には入力シート１０５毎の専用のデータ等を予め作成して記録しておく必要はなく、ワークフローにおいて実行可能なアクティビティのデータが記録されていれば良い。

以下の説明では、スキャンのアクティビティアイコン７０１とファイル保存のアクティビティアイコン７０３の関連性を入力シート１０５への記入により定義することで、スキャン処理とファイル保存の順で処理させるワークフローを作成する場合を例にして説明する。

例えば、ユーザは入力シート１０５に対して、図１０に示すような記入をしたものとする。すなわち、始点記号４０１からアクティビティアイコン７０１に向かう矢印８０１、アクティビティアイコン７０１の出力変数「ｐａｇｅ」からアクティビティアイコン７０３の入力変数「ｐａｇｅ」に向かう矢印８０２、アクティビティアイコン７０１の出力変数「ｔｅｍｐｐａｔｈ」からアクティビティアイコン７０３の入力変数「ｆｉｌｅｐａｔｈ」に向かう矢印８０３、アクティビティアイコン７０３の出力変数「ｒｅｓｕｌｔ」から終点記号４０２に向かう矢印８０４が手書きによって記入されている。また、図１０に示す例では、アクティビティアイコン７０１の入力ボックスに、手書きによって「Ｃ￥ｓｃａｎ￥ｓａｖｅ」の文字列８０５が記入されている。

関連性を示す矢印は、シンボルとアクティビティアイコンとを接続するように記入されるものとする。なお、接続されていなくても、少なくとも矢印の端部の位置によって特定のシンボルあるいはアクティビティアイコンが特定されるように記入されていれば良い。また、アクティビティアイコンの関連性を示す記入は、矢印に限るものではなく、処理の流れが入力シート１０５の左側から右側に定義されていれば単純な線だけでも良いし、他の予め決められたパターンであっても良い。

入力シートシステムは、図１０に示すように、ユーザによってワークフローを定義する記入がされた入力シート１０５をもとに、ワークフローを作成するワークフロースクリプト生成処理を実行する。

図１１は、第１実施形態におけるにワークフロースクリプト生成処理の流れを示すフローチャートである。
入力シートシステムは、入力シート読み取り部１０８により入力シート１０５から情報を取得するための入力シート情報取得処理を行い（Ｓ１００１）、ワークフロースクリプト生成部１０９により入力シート１０５の情報をワークフロースクリプトへ変換するワークフロースクリプト変換処理を行う（Ｓ１００２）。以下、それぞれの処理について説明する。

図１２は、第１実施形態における入力シート情報取得処理の流れを示すフローチャートである。
入力シート読み取り部１０８は、ユーザ操作に応じて、ユーザインタフェース部１０１から記述済みの入力シート１０５の読み込み指示を受け取ると（Ｓ１１０１）、記述済みの入力シート１０５のスキャンをスキャン部１０７に指示する。スキャン部１０７は、例えばＭＦＰ１のスキャナ１１を制御して、入力シート１０５をスキャンさせて入力シート１０５の画像（以下、シート画像と称する）を読み取る。

入力シート読み取り部１０８は、スキャン部１０７により記述済み入力シート１０５のシート画像を読み取ると（Ｓ１１０２）、手書き入力処理部１１１のＯＣＲ機能によって、シート画像から入力シートＩＤを読み取らせる。入力シート読み取り部１０８は、入力シートＩＤを取得すると（Ｓ１１０３）、入力シート情報ＤＢ１０６から入力シートＩＤに対応する記述前の入力シートの画像（シート画像）を読み出す（Ｓ１１０４）。すなわち、印刷時の入力シートの画像を取得する。

次に、入力シート読み取り部１０８は、スキャン部１０７を通じて取得した記述済みの入力シート１０５のシート画像と、入力シート情報ＤＢ１０６から読み出した記述前の入力シート１０５のシート画像との差分画像（入力シート情報）を画像処理によって算出する（Ｓ１１０５）。

以上の処理により入力シート情報取得処理は完了する。図１３は、入力シート情報取得処理によって得られた差分画像の一例を示している。図１３に示すように、図１０に示す入力シート１０５に対してユーザが記入した部分だけが差分画像として抽出されている。

入力シート読み取り部１０８は、取得された差分画像（入力シート情報）をワークフロースクリプト生成部１０９に送り、ワークフロースクリプト変換処理を実行させる。

図１４は、第１実施形態におけるワークフロースクリプト変換処理の流れを示すフローチャートである。ワークフロースクリプト変換処理では、アクティビティ関連判断部１１０によるアクティビティ関連情報取得処理（Ｓ１３０１）、手書き入力処理部１１１による手書き入力取得処理（Ｓ１３０２）、ワークフロースクリプト生成部１０９によるワークフロースクリプト生成処理（Ｓ１３０３）を実施する。

図１５は、第１実施形態におけるアクティビティ関連判断部１１０によるアクティビティ関連情報取得処理の流れを示すフローチャートである。
アクティビティ関連判断部１１０は、差分画像から未確認の矢印を１つ識別すると（Ｓ１４０１，Ｓ１４０２）、矢印の始点と終点の座標を取得する（Ｓ１４０３）。アクティビティ関連判断部１１０は、矢印の始点、終点の座標と、入力シート情報ＤＢ１０６に記録されているアクティビティアイコンを配置した位置を示す座標とを比較して、矢印の始点と終点（あるいはその近傍）の位置に配置された、それぞれのアクティビティアイコン、アクティビティアイコン内の変数を判別する（Ｓ１４０４）。なお、始点記号４０１と終点記号４０２についても、アクティビティアイコンと同様に判別するものとする。また、矢印（始点、終点）が変数を指しておらず、アクティビティ自体を指していた場合は、変数の取得は行わない。アクティビティ関連判断部１１０は、差分画像から得られた情報を、アクティビティアイコン間の関連性を示すデータとしてリストＬｉｓｔＡｃｔＬｉｎｋに保存する（Ｓ１４０５）。ＬｉｓｔＡｃｔＬｉｎｋのリストには、開始アクティビティ、開始アクティビティの変数、終了アクティビティ、終了アクティビティの変数のデータが保存される。同様にして、他の未確認の矢印のそれぞれについて、前述したＳ１４０２〜Ｓ１４０５の処理を実施して、得られたデータをＬｉｓｔＡｃｔＬｉｎｋに保存する（Ｓ１４０１）。

図１６は、アクティビティ関連判断部１１０によりＬｉｓｔＡｃｔＬｉｎｋとして保存されたリストの一例を示す。図１６に示すように、図１３に示す矢印８０１，８０２，８０３，８０４のそれぞれに対応するデータに対して、インデックス１，２，３，４が付されており、それぞれに対応するデータが保存されている。

例えば、インデックス１は、矢印８０１に対応しており、開始アクティビティが開始記号、終了アクティビティがスキャン（Ｓｃａｎ）であることを示している。このデータについては、矢印８０１が変数を指していないため、変数のデータが保存されていない。

図１７は、第１実施形態における手書き入力処理部１１１による手書き入力取得処理の流れを示すフローチャートである。
手書き入力処理部１１１は、シート画像に未確認の文字（矢印以外のパターン）が存在すると（Ｓ１６０１）、その文字についてＯＣＲ機能を用いて文字認識する（Ｓ１６０２）。手書き入力処理部１１１は、文字（あるいは文字列）を１つ識別すると、文字列を囲むボックスを仮想的に生成し（Ｓ１６０３）、このボックスの一角の座標を取得する（Ｓ１６０４）。例えば、図１３に示す例では、矢印以外のパターンとして、手書きされた文字列８０５が存在している。

手書き入力処理部１１１は、この文字列の位置を示すボックスの座標をもとに、入力シート情報ＤＢ１０６に記録された各アクティビティアイコンの入力ボックスの位置を示す座標を検索して、ボックスの座標を含むアクティビティアイコンの入力ボックスの座標を求める（Ｓ１６０５）。すなわち、手書き入力処理部１１１は、シート画像中の未確認の文字列が、何れのアクティビティアイコンの入力ボックスに記入された文字列であるかを判別する。

手書き入力処理部１１１は、差分画像から得られた読み取られた文字列の情報を、ユーザにより指定された記入情報としてリストＬｉｓｔＡｃｔＩｎｐｕｔに保存する（Ｓ１６０６）。ＬｉｓｔＡｃｔＩｎｐｕｔのリストには、対象アクティビティ、対象アクティビティの変数、文字列データが保存される。同様にして、他の未確認の文字列があれば、それぞれの文字列について、前述したＳ１６０２〜Ｓ１６０６の処理を実施して、得られたデータをＬｉｓｔＡｃｔＩｎｐｕｔに保存する（Ｓ１６０１）。

図１８は、手書き入力処理部１１１によりＬｉｓｔＡｃｔＬｉｎｋとして保存されたリストの一例を示す。図１８に示すように、図１３に示す文字列８０５に対応するデータに対して、インデックス１が付されており、対応するデータが保存されている。

例えば、インデックス１は、文字列８０５に対応しており、対象アクティビティがスキャン（Ｓｃａｎ）、変数が「ｔｅｍｐｐａｔｈ」、文字列データが「Ｃ￥ｓｃａｎ￥ｓａｖｅ」であることを示している。図６（ａ）に示すように、スキャン（Ｓｃａｎ）の変数「ｔｅｍｐｐａｔｈ」に対して、ユーザの手書きによって指定された文字列「Ｃ￥ｓｃａｎ￥ｓａｖｅ」は、一時ファイルの保存先を示している。

次に、ワークフロースクリプト生成部１０９は、アクティビティ関連情報取得処理と手書き入力取得処理によって得られたデータをもとにしてワークフロースクリプトを生成するためのワークフロースクリプト生成処理を実行する。

図１９は、第１実施形態におけるワークフロースクリプト生成部１０９によるワークフロースクリプト生成処理の流れを示すフローチャートである。

まず、ワークフロースクリプト生成部１０９は、ワークフロースクリプトの定義部分などを含むワークフロースクリプトを、テンプレートをもとに作成する（Ｓ１８０１）。次に、ワークフロースクリプト生成部１０９は、初期値ｊ＝１とし（Ｓ１８０２）、ＬｉｓｔＡｃｔＬｉｎｋ［ｉ］に保存された開始アクティビティ、終了アクティビティを取得する（Ｓ１８０４）。ワークフロースクリプト生成部１０９は、開始アクティビティと終了アクティビティに対し、アクティビティ記述処理を実施する（Ｓ１８０５）。

図２０は、第１実施形態におけるワークフロースクリプト生成部１０９によるアクティビティ記述処理の流れを示すフローチャートである。
まず、ワークフロースクリプト生成部１０９は、対象とする開始アクティビティと終了アクティビティとが、ワークフロー言語（例えばＸＯＭＬ）の記述ルールに則りスクリプト内に正しく配置できるかを検証する（Ｓ１９０１）。これは、各スクリプトの種類に応じた記述ルールに従う。

開始アクティビティと終了アクティビティとが配置可能であると判別される場合、ワークフロースクリプト生成部１０９は、対象としているアクティビティについて既にワークフロースクリプト内に記述されているかどうかを確認する（Ｓ１９０２）。ここで、記述されていない場合には、対象とするアクティビティのスクリプトを、ワークフロースクリプトの配置すべき場所に記述する（Ｓ１９０３）。

次に、ＬｉｓｔＡｃｔＬｉｎｋ［ｉ］に変数同志が関連付けられていた場合（Ｓ１９０４のＹｅｓ）、変数の代入を示すので、ワークフロースクリプト生成部１０９は、ワークフロースクリプトに代入式を記述する（Ｓ１９０５）。

なお、Ｓ１９０１の検証時や、Ｓ１９０４の代入式記述で記述ルール違反が発生した場合には、ワークフロースクリプト生成部１０９は、その旨を呼び出し処理に通知する（Ｓ１９０６）。呼び出し処理では、ワークフロースクリプト生成部１０９は、ユーザインタフェース部１０１を通じて、記述ルール違反が発生していることをユーザに通知するための出力（例えば、表示出力）をする（Ｓ１８１１）。
以下、同様にして、前述したＳ１８０４〜Ｓ１８０５の処理を、ＬｉｓｔＡｃｔＬｉｎｋの全項目に対して実施する（Ｓ１８０３）。

図２１、図２２、図２３、及び図２４は、図１６のリストＬｉｓｔＡｃｔＬｉｎｋを処理した場合のスクリプト生成状況の一例を示す。
図２１（ａ）は初期状態におけるアクティビティの関連（開始アクティビティと終了アクティビティ）を示している。なお、図２１〜図２４において、実線は確定状態、点線は仮定状態を示す。また、図２１（ｂ）は、図２１（ａ）に示すアクティビティのワークフロースクリプトの記述例を示している。ただし、図２１（ｂ）に示す初期段階では、テンプレートのままである。

図２２（ａ）は、ＬｉｓｔＡｃｔＬｉｎｋ［１］を反映したアクティビティの関連を示し、図２２（ｂ）は、図２２（ａ）に示すアクティビティのワークフロースクリプトの記述例を示している。すなわち、アクティビティ「Ｓｃａｎ」に対応するスクリプトが挿入されている。

図２３（ａ）は、ＬｉｓｔＡｃｔＬｉｎｋ［２］［３］を反映したアクティビティの関連を示し、図２３（ｂ）（ｃ）は、図２３（ａ）に示すアクティビティのワークフロースクリプトの記述例を示している。すなわち、アクティビティ「Ｓｃａｎ」「ＳａｖｅＦｉｌｅ」のそれぞれ異なる変数の関連に応じたスクリプトが挿入されている。

図２４（ａ）は、ＬｉｓｔＡｃｔＬｉｎｋ［４］を反映したアクティビティの関連を示し、図２４（ｂ）は、図２４（ａ）に示すアクティビティのワークフロースクリプトの記述例を示している。これにより、全てのアクティビティの関連が確定される。

このように、アクティビティ記述処理では、ＬｉｓｔＡｃｔＬｉｎｋに保存された、それぞれの開始アクティビティと終了アクティビティの関係を反映するスクリプトを記述していく。ＬｉｓｔＡｃｔＬｉｎｋは、ユーザが記入した矢印により定義された、作業の開始から終了までのアクティビティの関連をリスト化したものであるため、正しい記入がされていれば、開始から終了までのワークフロースクリプトが記述されて必ず確定状態になる。

次に、ワークフロースクリプト生成部１０９は、初期値をｊ＝１とし（Ｓ１８０７）、ＬｉｓｔＡｃｔＩｎｐｕｔ［ｊ］の対象アクティビティと文字列データを取得する（Ｓ１８０９）。対象アクティビティが存在した場合（Ｓ１８１０のＹｅｓ）、ワークフロースクリプト生成部１０９は、対象アクティビティのスクリプトの変数に、ユーザの手書きによって入力された文字列データを追加（代入記述を実施）する（Ｓ１８１２）。

図２５には、文字列データが追加されたワークフロースクリプトの一例を示している。図２５に示すように、「temppath=“C:\scan\save”」の記述が追加されている。

一方、対象アクティビティがスクリプト内に存在しない場合（Ｓ１８１０のＮｏ）、ワークフロースクリプト生成部１０９は、記述ルール違反となるため、ユーザインタフェース部１０１を通じて、記述ルール違反が発生していることをユーザに通知するための出力（例えば、表示出力）をして（Ｓ１８１１）処理を終了する。

以上の処理が終了すると、ワークフロースクリプトが完成する。入力シートシステムは、このワークフロースクリプトの論理的検証をスクリプトの処理エンジン内で実施したのち、記載したワークフロースクリプトを実行することになる。

このようにして、第１実施形態における入力シートシステム（ワークフローシステム）では、ユーザが入力シート１０５に記録されたアクティビティアイコンに対して関連性を定義する記入をすることで、アクティビティアイコンの関連に応じたワークフロースクリプトを容易に作成することができるようになる。入力シート１０５では、予め複数のアクティビティアイコンが配置され、ユーザが任意に必要なアクティビティアイコンを選択して関連性を指定するので、シート毎に専門家がプログラムを作成するといった必要がない。

（第２実施形態）
第１実施形態では、単数ページの入力シート１０５について処理する場合について説明したが、ワークフローの定義が複数ページの入力シート１０５を必要とする場合がある。複数ページにまたがってアクティビティアイコンの関連性を示す矢印を認識することは、ページ端の座標を認識することになり正確な処理が困難となる。そこで、第２実施形態では、複数のページ（入力シート１０５）をまたぐ際に矢印を記入することなく、アクティビティアイコンの関連性を判断して、複数ページの入力シート１０５により定義されたワークフロースクリプトを記述できるようにする。

１ページ目の入力シート１０５については、第１実施形態と同様の処理を実施するものとする。２ページ目以降の入力シート１０５に関しては、入力シート生成処理において、入力シートに始点、終点記号を配置する際、始点記号ではなく、図２６に示す特別なアクティビティアイコンを配置する。このアクティビティアイコンを継続アクティビティアイコンと呼ぶ。

図２６に示すように、継続アクティビティアイコンには、入力変数はなく、アクティビティ名、出力変数は汎用的な名前が付加される。また、出力変数の数は全アクティビティの出力数の中の最大数と同じものとする。この継続アクティビティアイコンは、前頁（入力シート１０５）の最後に処理されるアクティビティに代用するために用いられる。

図２７は１ページ目とする入力シート１０５ａの一例を示し、図２８は２ページ目とする入力シート１０５ｂの一例を示している。入力シート１０５ａ，１０５ｂは、ユーザによって記入済みである。

図２８に示す２ページ目の入力シート１０５ｂには、継続アクティビティアイコン９００が配置されており、１ページ目の「ＳａｖｅＦｉｌｅ」のアクティビティアイコン７０３と同等であることを示す。また、継続アクティビティアイコン９００の変数Ｏｕｔｐｕｔ２は、アクティビティアイコン７０３の変数「ｆｉｌｅｐａｔｈ」と同等であることを示す。これによってページを跨ぐような矢印を引くことなしに、継続アクティビティアイコン９００に前ページの最後のアクティビティアイコン７０３を代用させることにより、複数のページ（入力シート１０５ａ，１０５ｂ）に渡ってワークフローを定義することが可能となる。

なお、ユーザに記入された入力シート１０５を読み込む際には、アクティビティ関連情報取得処理の矢印の始点、終点座標にあるアクティビティ、変数情報を取得する際に（Ｓ１４０４）、始点が継続アクティビティアイコンだった場合に限り、Ｓ１４０４ではなく、図２９に示すフローチャートの処理を実施する。

まず、前ページの最終処理アクティビティＬａｓｔＡｃｔを取得し、これを開始アクティビティとする（Ｓ２５０１）。次に、継続アクティビティに接続されている始点が何番目の変数か取得する（Ｓ２５０２）。そして、ＬａｓｔＡｃｔの対象の番目の変数を開始アクティビティの対象変数とする（Ｓ２５０３）。

その他の処理に関しては、第１実施形態において説明した単数ページの場合と同様の処理を行えばよい。
このようにして、第２実施形態の入力シートシステムでは、特別な継続アクティビティアイコン９００を入力シート１０５に配置することで、容易かつ確実に複数枚の入力シート１０５を用いたワークフローを定義することができる。

なお、前述した各実施形態の説明では、同一のシステム内で入力シート１０５を生成し、入力シート１０５に記入された情報をもとにしてワークフロースクリプトを作成しているが、入力シート１０５を別のシステムで作成するようにしても良い。この場合、入力シート１０５を生成するためのデータは、別途、入力シート情報ＤＢ１０６に記録されるものとする。ワークフロースクリプトの作成については、前述と同様にして、入力シート１０５の画像を読み取って実行すれば良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…デジタル複合機、１１…スキャナ、１３…プリンタ、１７…操作パネル、２０…システム制御部、２１…ＣＰＵ、２２…メインメモリ、２３…ＦＲＯＭ、２４…画像処理部、２５…ネットワークインタフェース、２６…ページメモリ、２８…ＨＤＤ、３１…ＣＰＵ、３２…ＲＡＭ、３３…ＲＯＭ、３４…ネットワークインタフェース、３５…ＨＤＤ、４１…ＣＰＵ、４２…ＲＡＭ、４３…ＲＯＭ、４４…ネットワークインタフェース、４５…ＨＤＤ、４６…操作部、４７…表示部。

Claims

作業内容を表す複数のアクティビティアイコンが記録された入力シートの第１の画像を読み取る入力シート読取り手段と、
前記入力シート読取り手段により読み取りの対象となる前記入力シートの第２の画像を記録する入力シート記録手段と、
前記第１の画像と前記第２の画像との差分画像をもとに、前記入力シートに記入された記入情報を判別する記入情報判別手段と、
前記入力シートにおける前記記入情報の記入位置と前記複数のアクティビティアイコンの記録位置をもとに、前記記入情報により指定された前記アクティビティアイコン間の関連性を判別する関連判別手段と、
前記関連判別手段により判別された前記アクティビティアイコン間の関連性と前記記入情報とをもとに、関連のある各アクティビティアイコンに対応する作業内容に応じたワークフロースクリプトを生成するワークフロースクリプト生成手段とを有する入力シートシステム。
前記入力シートには、前記アクティビティアイコンの他に、作業の開始と終了を表すシンボルを含み、
前記関連判別手段は、前記記入情報をもとに、前記アクティビティアイコンと前記シンボルとの関連性を判別する請求項１記載の入力シートシステム。
前記アクティビティアイコンには、前記アクティビティアイコンを示すアクティビティアイコン名、前記アクティビティアイコンに対応する作業の入力変数及び出力変数を表すデータの少なくとも１つを含む請求項１記載の入力シートシステム。
前記入力シート読取り手段は、第１の入力シート及び第２の入力シートを読み取り、
前記ワークフロースクリプト生成手段は、前記第２の入力シートに予め決められた特定のアクティビティアイコンがあった場合に、前記第１の入力シートに記入された第１記入情報をもとに関連性が判別された前記アクティビティアイコンと、前記第２の入力シートに記入された第２記入情報をもとに関連性が判別された前記アクティビティアイコンに対応する作業内容に応じたワークフロースクリプトを生成する請求項１記載の入力シートシステム。
前記入力シートを印刷する入力シート印刷手段をさらに有し、
前記入力シート記録手段は、前記入力シート印刷手段により印刷された前記入力シートの前記第２の画像を記録する請求項１記載の入力シートシステム。
作業内容を表す複数のアクティビティアイコンが記録された入力シートの第１の画像を読み取り、
前記第１の画像と予め記録された読み取りの対象となる前記入力シートの第２の画像との差分画像をもとに、前記入力シートに記入された記入情報を判別し、
前記入力シートにおける前記記入情報の記入位置と前記複数のアクティビティアイコンの記録位置をもとに、前記記入情報により指定された前記アクティビティアイコン間の関連性を判別し、
前記アクティビティアイコン間の関連性と前記記入情報とをもとに、関連のある各アクティビティアイコンに対応する作業内容に応じたワークフロースクリプトを生成する入力シート処理方法。
コンピュータを、
作業内容を表す複数のアクティビティアイコンが記録された入力シートの第１の画像を読み取る入力シート読取り手段と、
前記入力シート読取り手段により読み取りの対象となる前記入力シートの第２の画像を記録する入力シート記録手段と、
前記第１の画像と前記第２の画像との差分画像をもとに、前記入力シートに記入された記入情報を判別する記入情報判別手段と、
前記入力シートにおける前記記入情報の記入位置と前記複数のアクティビティアイコンの記録位置をもとに、前記記入情報により指定された前記アクティビティアイコン間の関連性を判別する関連判別手段と、
前記関連判別手段により判別された前記アクティビティアイコン間の関連性と前記記入情報とをもとに、関連のある各アクティビティアイコンに対応する作業内容に応じたワークフロースクリプトを生成するワークフロースクリプト生成手段として機能させるための入力シート処理プログラム。