JP6326744B2 - 情報処理システム、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法およびプログラムに関する。

従来、画像読取装置などに搭載可能な写真管理アプリが知られている。この写真管理アプリの例としては、ネットワークで接続された外部サーバに置かれた画像ファイル群と印刷形式の雛形を表すモデル（以下、「テンプレート画像」と称する場合がある）を並列で表示し、例えばユーザが、画面上の画像ファイルに対して指などを接触させることで当該画像ファイルを選択し、その指を画面に接触させたまま、テンプレート画像上の規定の位置範囲に動かすと、その選択された画像ファイルをテンプレート画像上に形成するとともに、その付帯情報を文字情報としてテンプレート画像上に描画する機能を提供するためのアプリケーションである。

しかし、従来の写真管理アプリでは、ユーザは、画面上において、添付したい画像ファイルを指などで選択し、雛形（予め定められたフォーマット）に貼り付ける作業をしなければならず、画面が小さい場合には非常に操作しにくいという問題がある。

本発明は、上記に鑑みてなされたものであって、予め定められたフォーマットの所定領域に画像データを添付する際の操作効率を向上させることが可能な情報処理システム、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像読取部により読み取られた原稿の画像を示す第１画像データを受信する受信部と、前記第１画像データに含まれる手書き文字を認識する認識部と、それぞれが印刷形式の雛形を表す複数種類のテンプレート画像ごとに、第２画像データが添付される所定領域の位置情報を対応付けた第１対応情報を保存する第１保存部と、前記第１画像データの特徴情報に基づいて、対応する前記テンプレート画像を特定する特定部と、複数種類の文字ごとに、前記第２画像データを対応付けた第２対応情報を保存する第２保存部と、前記認識部により認識された前記手書き文字に対応する前記第２画像データを、前記特定部により特定された前記テンプレート画像の前記所定領域に添付して第３画像データを生成する画像添付部と、前記認識部によって前記手書き文字が認識されなかった場合、前記テンプレート画像のレイアウトを変更する変更部と、を備え、前記認識部は、前記第１画像データのうち、前記特定部により特定された前記テンプレート画像の前記所定領域に対応する領域内の前記手書き文字を認識する、情報処理システムである。

本発明によれば、予め定められたフォーマットの所定領域に画像データを添付する際の操作効率を向上させることができる。

図１は、ＭＦＰのハードウェア構成例を示す図である。 図２は、ＭＦＰのソフトウェア構成例を示す模式図である。 図３は、第１実施形態の操作部の機能構成の一例を示す図である。 図４は、第１実施形態のＭＦＰの動作例を示すフロー図である。 図５は、写真番号記載フォーマット用紙の一例を示す図である。 図６は、操作部に表示される画面の一例を示す図である。 図７は、写真番号が記入されたフォーマット用紙の一例を示す図である。 図８は、操作部に表示される画面の一例を示す図である。 図９は、第２実施形態の操作部の機能構成の一例を示す図である。 図１０は、訂正記号が記入されたフォーマット用紙の一例を示す図である。 図１１は、第２実施形態のＭＦＰの動作例を示すフロー図である。 図１２は、第３実施形態の操作部の機能構成の一例を示す図である。 図１３は、第３実施形態のＭＦＰの動作例を示すフロー図である。 図１４は、第４実施形態の操作部の機能構成の一例を示す図である。 図１５は、第４実施形態のＭＦＰの動作例を示すフロー図である。 図１６は、第５実施形態の操作部の機能構成の一例を示す図である。 図１７は、第５実施形態のＭＦＰの動作例を示すフロー図である。 図１８は、操作部に表示される画面の一例を示す図である。

以下、添付図面を参照しながら、本発明に係る情報処理システム、情報処理方法およびプログラムの実施形態を詳細に説明する。以下では、本発明に係る情報処理システムを、複合機（ＭＦＰ：Multifunction Peripheral）に適用した場合を例に挙げて説明するが、これに限定されるものではない。なお、複合機とは、印刷機能、複写機能、スキャナ機能、及びファクシミリ機能のうち少なくとも２つの機能を有する装置である。本発明に係る情報処理システムが適用された複合機は、少なくともスキャナ機能を有する。

（第１実施形態）
図１は、本実施形態のＭＦＰ１のハードウェア構成例を示すブロック図である。図１に示すように、ＭＦＰ１は、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種の機能を実現可能な本体１０と、ユーザの操作に応じた入力を受け付ける操作部２０と、を備える。本体１０と操作部２０は、専用の通信路３００を介して相互に通信可能に接続されている。通信路３００は、例えばＵＳＢ（Universal Serial Bus）規格のものを用いることもできるが、有線か無線かを問わず任意の規格のものであってよい。

なお、本体１０は、操作部２０で受け付けた入力に応じた動作を行うことができる。また、本体１０は、クライアントＰＣ（パーソナルコンピュータ）等の外部装置とも通信可能であり、外部装置から受信した指示に応じた動作を行うこともできる。

次に、本体１０のハードウェア構成について説明する。図１に示すように、本体１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ＨＤＤ（ハードディスクドライブ）１４と、通信Ｉ／Ｆ（インタフェース）１５と、接続Ｉ／Ｆ１６と、エンジン部１７とを備え、これらがシステムバス１８を介して相互に接続されている。

ＣＰＵ１１は、本体１０の動作を統括的に制御する。ＣＰＵ１１は、ＲＡＭ１３をワークエリア（作業領域）としてＲＯＭ１２またはＨＤＤ１４等に格納されたプログラムを実行することで、本体１０全体の動作を制御し、上述したコピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種機能を実現する。

通信Ｉ／Ｆ１５は、クライアントＰＣ（パーソナルコンピュータ）等の外部装置と通信するためのインタフェースである。接続Ｉ／Ｆ１６は、通信路３００を介して操作部２０と通信するためのインタフェースである。

エンジン部１７は、コピー機能、スキャナ機能、ファクス機能、および、プリンタ機能を実現させるための、汎用的な情報処理及び通信以外の処理を行うハードウェアである。例えば、原稿の画像をスキャンして読み取るスキャナ（画像読取部）、用紙等のシート材への印刷を行うプロッタ（画像形成部）、ファクス通信を行うファクス部などを備えている。本実施形態におけるエンジン部１７は、少なくともスキャナ（画像読取部）を備えており、このスキャナ（画像読取部）は、ＯＣＲ（Optical Character Recognition）の機能を有している。更に、印刷済みシート材を仕分けるフィニッシャや、原稿を自動給送するＡＤＦ（自動原稿給送装置）のような特定のオプションを備えることもできる。

次に、操作部２０のハードウェア構成について説明する。図１に示すように、操作部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、フラッシュメモリ２４と、通信Ｉ／Ｆ２５と、接続Ｉ／Ｆ２６と、操作パネル２７と、を備え、これらがシステムバス２８を介して相互に接続されている。

ＣＰＵ２１は、操作部２０の動作を統括的に制御する。ＣＰＵ２１は、ＲＡＭ２３をワークエリア（作業領域）としてＲＯＭ２２またはフラッシュメモリ２４等に格納されたプログラムを実行することで、操作部２０全体の動作を制御し、ユーザから受け付けた入力に応じた情報（画像）の表示などの後述する各種機能を実現する。

通信Ｉ／Ｆ２５は、インターネットなどのネットワークを介してサーバ装置等の外部装置と通信するためのインタフェースである。接続Ｉ／Ｆ２６は、通信路３００を介して本体１０と通信するためのインタフェースである。

操作パネル２７は、ユーザの操作に応じた各種の入力を受け付けるとともに、各種の情報（例えばＭＦＰ１の動作状況を示す情報、設定状態などを示す情報など）を表示する。この例では、操作パネル２７は、タッチパネル機能を搭載した液晶表示装置（ＬＣＤ）で構成されるが、これに限られるものではない。例えばタッチパネル機能が搭載された有機ＥＬ表示装置で構成されてもよい。さらに、これに加えて又はこれに代えて、ハードウェアキー等の操作部やランプ等の表示部を設けることもできる。

次に、ＭＦＰ１のソフトウェア構成について説明する。図２は、ＭＦＰ１のソフトウェア構成の一例を示す模式図である。図２に示すように、本体１０は、アプリ層１０１と、サービス層１０２と、ＯＳ層１０３とを有する。アプリ層１０１、サービス層１０２、および、ＯＳ層１０３の実体は、ＲＯＭ１２やＨＤＤ１４等に格納されている各種ソフトウェアである。ＣＰＵ１１が、これらのソフトウェアを実行することにより、各種の機能が提供される。

アプリ層１０１のソフトウェアは、ハードウェア資源を動作させて所定の機能を提供するためのアプリケーションソフトウェア（以下の説明では、単に「アプリ」あるいは「アプリケーション」と称する場合がある）である。例えばアプリケーションの種類としては、コピー機能を提供するためのコピーアプリ、スキャナ機能を提供するためのスキャナアプリ、ファクス機能を提供するためのファクスアプリ、プリンタ機能を提供するためのプリンタアプリなどが挙げられる。

サービス層１０２のソフトウェアは、アプリ層１０１とＯＳ層１０３との間に介在し、アプリケーションに対し、本体１０が備えるハードウェア資源を利用するためのインタフェースを提供するためのソフトウェアである。より具体的には、ハードウェア資源に対する動作要求の受付、動作要求の調停を行う機能を提供するためのソフトウェアである。サービス層１０２が受け付ける動作要求としては、スキャナによる読み取りやプロッタによる印刷等の要求が考えられる。

なお、サービス層１０２によるインタフェースの機能は、本体１０のアプリ層１０１だけではなく、操作部２０のアプリ層２０１に対しても提供される。すなわち、操作部２０のアプリ層２０１（アプリ）も、サービス層１０２のインタフェース機能を介して、本体１０のハードウェア資源（例えばエンジン部１７）を利用した機能を実現することができる。

ＯＳ層１０３のソフトウェアは、本体１０が備えるハードウェアを制御する基本機能を提供するための基本ソフトウェア（オペレーティングシステム）である。サービス層１０２のソフトウェアは、各種アプリからのハードウェア資源の利用要求を、ＯＳ層１０３が解釈可能なコマンドに変換してＯＳ層１０３に渡す。そして、ＯＳ層１０３のソフトウェアによりコマンドが実行されることで、ハードウェア資源は、アプリケーションの要求に従った動作を行う。

同様に、操作部２０は、アプリ層２０１と、サービス層２０２と、ＯＳ層２０３とを有する。操作部２０が備えるアプリ層２０１、サービス層２０２及びＯＳ層２０３も、階層構造については本体１０側と同様である。ただし、アプリ層２０１のアプリにより提供される機能や、サービス層２０２が受け付け可能な動作要求の種類は、本体１０側とは異なる。アプリ層２０１のアプリとしては、操作部２０が備えるハードウェア資源を動作させて所定の機能を提供するためのソフトウェアであってもよいが、主として、本体１０が備える機能（コピー機能、スキャナ機能、ファクス機能、プリンタ機能）に関する操作や表示を行うためのＵＩ（ユーザインタフェース）の機能を提供するためのソフトウェアや、ユーザが使用するデジタルカメラなどの撮像装置の撮像により得られた画像データ（請求項の「第２画像データ」に対応）を、スキャナにより読み取られた原稿の画像データ（請求項の「第１画像データ」に対応）の所定領域に添付する機能を提供するためのソフトウェア（以下の説明では、「写真管理アプリ」と称する場合がある）などが含まれる。

なお、本実施形態では、機能の独立性を保つために、本体１０側のＯＳ層１０３のソフトウェアと操作部２０側のＯＳ層２０３のソフトウェアが互いに異なる。つまり、本体１０と操作部２０は、別々のオペレーティングシステムで互いに独立して動作する。例えば、本体１０側のＯＳ層１０３のソフトウェアとしてＬｉｎｕｘ（登録商標）を用い、操作部２０側のＯＳ層２０３のソフトウェアとしてＡｎｄｒｏｉｄ（登録商標）を用いることも可能である。

また、本実施形態では、操作部２０に対する電力供給は、本体１０から通信路３００を経由して行われているので、操作部２０の電源制御を、本体１０の電源制御とは別に（独立して）行うことができる。

次に、ＭＦＰ１の機能構成について説明する。図３は、操作部２０の機能構成の一例を示す図である。説明の便宜上、図３では、上述の写真管理アプリに関する機能を主に例示しているが、操作部２０が有する機能は、これらに限られるものではない。

図３に示すように、操作部２０は、受信部２１１と、認識部２１２と、第１保存部２１３と、特定部２１４と、第２保存部２１５と、画像添付部２１６と、生成データ保存部２１７と、第１表示部２１８とを有する。上記各部については、これらの一部又は全部がソフトウェア（プログラム）、ハードウェア回路であっても良い。また、上記各部のうちの一部が本体１０側に搭載される形態であってもよい。

受信部２１１は、上述のエンジン部１７に含まれるスキャナ（画像読取部）により読み取られた原稿の画像を示す第１画像データを受信する。本実施形態におけるスキャナは、原稿をスキャンして読み取った画像に対してＯＣＲ処理を行い、原稿画像の属性を表す様々な画像特性値を算出する。なお、ＯＣＲ処理は、公知の技術であるため、ここでは詳細な説明は省略する。本実施形態におけるスキャナは、スキャン結果を示す第１画像データと、ＯＣＲ処理の結果を示すＯＣＲ情報（算出された画像特性値を示す情報）とを操作部２０へ送信する。受信部２１１は、スキャナからの第１画像データとＯＣＲ情報とを受信する。

認識部２１２は、第１画像データに含まれる手書き文字を認識する。本実施形態における認識部２１２は、受信部２１１で受信した第１画像データとＯＣＲ情報とに基づいて、第１画像データに含まれる手書き文字を認識する。

第１保存部２１３は、それぞれが印刷形式の雛形を表す複数種類のテンプレート画像ごとに、第２画像データが添付される所定領域の位置情報（例えば画像データの座標系における座標情報）を対応付けた第１対応情報を保存する。この例では、第２画像データは、ユーザが使用するデジタルカメラなどの撮像装置の撮像により得られた画像データである。「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。以下の説明では、上記所定領域を、「写真添付領域」と称する場合がある。

特定部２１４は、第１画像データの特徴情報に基づいて、対応するテンプレート画像を特定する。例えば特定部２１４は、第１保存部２１３に格納された複数のテンプレート画像のうち、第１画像データの特徴点（特徴情報の一例）と一致する特徴点を含むテンプレート画像を、第１画像データに対応するテンプレート画像として特定することもできる。なお、これに限らず、上記特徴情報は、例えばテンプレート画像を判別するための判別画像（例えばバーコードなど）であってもよい。この例では、予め原稿に判別画像を描画しておき、特定部２１４は、スキャン結果を示す第１画像データを解析して判別画像を抽出し、その抽出した判別画像から、対応するテンプレート画像を特定することもできる。

ここで、本実施形態における認識部２１２は、受信部２１１で受信した第１画像データのうち、特定部２１４により特定されたテンプレート画像の所定領域に対応する領域内の手書き文字を認識する。より具体的には、認識部２１２は、第１保存部２１３に保存された第１対応情報を参照して、特定部２１４により特定されたテンプレート画像に対応する位置情報（例えば画像データの座標系における座標情報）を特定し、受信部２１１で受信した第１画像データのうち、その特定した位置情報によって示される領域内の手書き文字を認識するという具合である。

第２保存部２１５は、複数種類の文字ごとに、第２画像データを対応付けた第２対応情報を保存する。第２保存部２１５に格納される第２対応情報は、第２画像データの追加や削除が行われるたびに更新される。第２画像データは、ＳＤカードなどの外部記憶媒体から読み込むこともでき、読み込んだ第２画像データと、特定の文字とを対応付けて第２対応情報を生成（あるいは更新）することもできる。

画像添付部２１６は、認識部２１２により認識された手書き文字に対応する第２画像データを、特定部２１４により特定されたテンプレート画像の所定領域に添付して第３画像データを生成する。より具体的には、画像添付部２１６は、第２保存部２１５に保存された第２対応情報を参照して、認識部２１２により認識された手書き文字に対応する第２画像データを特定する。そして、画像添付部２１６は、その特定した第２画像データを、特定部２１４により特定されたテンプレート画像の所定領域に添付して第３画像データを生成する。

生成データ保存部２１７は、画像添付部２１６により生成された第３画像データを保存する。第１表示部２１８は、第３画像データを操作パネル２７に表示する制御を行う。また、第１表示部２１８は、添付可能な第２画像データのリストを表示する制御を行うこともできる。この例では、第１表示部２１８は、添付可能な第２画像データのリストとして、上述の第２対応情報を表示する。より具体的には、第１表示部２１８は、添付可能な第２画像データ（この例では写真データ）ごとに、写真データを識別する番号を示す写真番号（上記文字の一例）を対応付けた第２対応情報を表示するという具合である。さらに、第１表示部２１８は、テンプレート画像のリストを表示する制御を行うこともできる。

次に、ＭＦＰ１の動作例を説明する。図４は、写真データ（第２画像データの一例）をテンプレート画像に添付して表示する手順の一例を示すフロー図である。まず、ユーザは、予め印刷しておいた写真番号記載フォーマット用紙（原稿）に対して、添付したい写真データの写真番号を記入する（ステップＳ１）。図５は、写真番号記載フォーマット用紙の一例を示す図である。写真番号記載フォーマット用紙は写真添付領域を有し、この写真添付領域には、添付したい写真データの写真番号を記入する領域が含まれている。

また、このとき、図６に示すように、操作パネル２７の画面上には、添付可能な写真データごとに写真番号を対応付けた第２対応情報と、写真番号の記入を促す情報とが表示されている。また、この例では、操作パネル２７の画面上には、スキャナによるスキャンの実行指示を受け付けるＵＩ画像３０も併せて表示されている。ユーザは、操作パネル２７上に表示された第２対応情報を見ながら、添付したい写真データの写真番号を写真番号記載フォーマット用紙に記入する。図７は、写真番号が記入された後の写真番号記載フォーマット用紙の一例を示す図である。

ユーザは、添付したい写真データの写真番号を写真番号記載フォーマット用紙に記入した後、スキャナによるスキャンの実行を指示する（ステップＳ２）。この例では、ユーザは、操作パネル２７上に表示されたＵＩ画像３０（図６参照）を押下する操作を行うことで、スキャナによるスキャンの実行指示を入力することができる。スキャナによるスキャンの実行指示を受け付けた場合、スキャナは、写真番号が記入された写真番号記載フォーマット用紙のスキャンを開始し、スキャン結果を示す第１画像データを得る。また、スキャナは、第１画像データに対してＯＣＲ処理を行い、スキャン結果を示す第１画像データと、ＯＣＲ処理の結果を示すＯＣＲ情報とを操作部２０へ送信する。

操作部２０の受信部２１１は、第１画像データとＯＣＲ情報とをスキャナから受信する（ステップＳ３）。次に、特定部２１４は、ステップＳ３で受信した第１画像データの特徴情報に基づいて、対応するテンプレート画像を特定する（ステップＳ４）。例えば特定部２１４は、第１保存部２１３に格納された複数のテンプレート画像のうち、第１画像データの特徴点と一致する特徴点を含むテンプレート画像を、第１画像データに対応するテンプレート画像として特定することもできる。なお、これに限らず、上述したように、上記特徴情報は、例えばテンプレート画像を判別するための判別画像（例えばバーコードなど）であってもよい。

次に、認識部２１２は、ステップＳ３で受信した第１画像データのうち、ステップＳ４で特定されたテンプレート画像の所定領域に対応する領域内の手書き文字を認識する。この例では、認識部２１２は、第１保存部２１３に保存された第１対応情報を参照して、ステップＳ４で特定されたテンプレート画像に対応する位置情報を特定し、第１画像データのうち、その特定した位置情報によって示される領域内の手書き文字をＯＣＲ情報に基づいて認識するという具合である。要するに、認識部２１２は、写真番号記載フォーマット用紙の写真添付領域に記入された手書き文字を認識する（ステップＳ５）。

次に、画像添付部２１６は、ステップＳ５で認識された手書き文字に対応する第２画像データを、ステップＳ４で特定したテンプレート画像の所定領域に添付して第３画像データを生成する（ステップＳ６）。より具体的には、画像添付部２１６は、第２保存部２１５に保存された第２対応情報を参照して、ステップＳ５で認識された手書き文字に対応する第２画像データを特定する。また、画像添付部２１６は、第１保存部２１３に保存された第１対応情報を参照して、ステップＳ４で特定されたテンプレート画像の所定領域を特定する。そして、画像添付部２１６は、以上のようにして特定した第２画像データを、以上のようにして特定したテンプレート画像の所定領域に添付して第３画像データを生成する。

なお、例えば画像添付部２１６は、ステップＳ５で認識された手書き文字に対応する第２画像データのサイズと、ステップＳ４で特定したテンプレート画像の所定領域のサイズとが異なる場合は、第２画像データのサイズを調整する機能を有していてもよい。要するに、画像添付部２１６は、所定領域のサイズに合わせて、第２画像データのサイズを変化させる機能を有していてもよい。

次に、図８に示すように、第１表示部２１８は、ステップＳ６で生成された第３画像データを操作パネル２７に表示する制御を行う（ステップＳ７）。図８の例では、操作パネル２７には、印刷の実行指示を受け付けるＵＩ画像３１も併せて表示されている。この例では、ユーザは、操作パネル２７上に表示されたＵＩ画像３１を押下する操作を行うことで、印刷の実行指示を入力することができる。印刷の実行指示を受け付けた場合、ＭＦＰ１（エンジン部１７が有する画像形成部）は、第３画像データの印刷を開始するという具合である。

以上に説明したように、本実施形態では、ユーザが、添付したい写真データの写真番号を写真番号記載フォーマット用紙に手書きで記入した後、スキャナによるスキャンの実行を指示すると、上述の写真管理アプリが搭載された操作部２０は、ユーザが手書きで記入した写真番号に対応する写真データを、スキャン結果を示す第１画像データに対応するテンプレート画像の所定領域に添付して第３画像データを生成する。これにより、予め定められたフォーマット（テンプレート画像）の所定領域に画像データを添付する際の操作効率を向上させることができる。

（第２実施形態）
次に、第２実施形態について説明する。上述の第１実施形態と重複する部分については適宜に説明を省略する。

図９は、第２実施形態に係る操作部２２０の機能構成の一例を示す図である。図９に示すように、操作部２２０は、受信部２１１と、認識部２２１と、第１保存部２１３と、特定部２１４と、第２保存部２１５と、画像添付部２１６と、生成データ保存部２１７と、第１表示部２１８とを有する。認識部２２１以外の機能は、第１実施形態と同様である。

認識部２２１は、第１実施形態で説明した機能に加えて、文字を訂正するための訂正記号を検出した場合は、検出した訂正記号から一定範囲内に存在する手書き文字を認識する機能を有する。訂正記号の例としては、例えば図１０に示すような二重線３２などが含まれる。

図１１は、第２実施形態において、写真データをテンプレート画像に添付して表示する手順の一例を示すフロー図である。ここでは、認識部２２１によって訂正記号が検出される場合を例に挙げて説明する。図１１に示すステップＳ１１〜ステップＳ１４の処理の内容は、図４に示すステップＳ１〜ステップＳ４の処理の内容と同様であるので、詳細な説明は省略する。

ステップＳ１４の後、認識部２２１は、写真添付領域に記入された訂正記号を検出する（ステップＳ１５）。次に、認識部２２１は、テンプレート画像の文字列以外の文字が、検出した訂正記号から一定範囲内に存在するか否かを判断する（ステップＳ１６）。この検索範囲は、第１画像データのうち、写真添付領域に相当する範囲などに限定される。一定範囲内に文字が存在する場合（ステップＳ１６：Ｙｅｓ）、認識部２２１は、その文字を、写真添付領域に記入された文字として認識する。そして、画像添付部２１６は、第２対応情報を参照して、認識部２２１により認識された文字に対応する第２画像データを特定し、特定した第２画像データを、ステップＳ１４で特定したテンプレート画像の所定領域に添付して第３画像データを生成する（ステップＳ１７）。そして、第１表示部２１８は、ステップＳ１７で生成された第３画像データを表示する（ステップＳ１８）。一方、上述のステップＳ１６において、一定範囲内に文字が存在しない場合（ステップＳ１６：Ｎｏ）、そのまま処理は終了する。

（第３実施形態）
次に、第３実施形態について説明する。上述の第１実施形態と重複する部分については適宜に説明を省略する。

図１２は、第３実施形態に係る操作部２３０の機能構成の一例を示す図である。図１２に示すように、操作部２３０は、受信部２１１と、認識部２１２と、第１保存部２１３と、特定部２１４と、第２保存部２１５と、画像添付部２１６と、生成データ保存部２１７と、第１表示部２１８と、編集部２３１とを有する。編集部２３１以外の機能は、第１実施形態と同様である。

編集部２３１は、第１表示部２１８によって第３画像データが表示されたときに、手書き文字の編集を行うか否かをユーザに問い合わせる制御を行い、手書き文字を編集する指示を受け付けた場合は、第３画像データを作り直す制御を行う。より具体的には、編集部２３１は、画像添付部２１６により生成された第３画像データを破棄し、受信部２１１に対して、新たな第１画像データの受信を待つことを指示する。

図１３は、第３実施形態において、写真データをテンプレート画像に添付して表示する手順の一例を示すフロー図である。図１３に示すステップＳ２１〜ステップＳ２７の処理の内容は、図４に示すステップＳ１〜ステップＳ７の処理の内容と同様であるので、詳細な説明は省略する。図１３に示すステップＳ２７の後、編集部２３１は、手書き文字の編集を行うか否かをユーザに問い合わせる制御を行う（ステップＳ２８）。この例では、編集部２３１は、手書き文字を編集する指示を受け付けるための編集ボタン（ＵＩ画像）を操作パネル２７上に表示する制御を行う。

ここでは、ユーザが、手書き文字の編集を行う場合を例に挙げて説明する。ステップＳ２８の後、ユーザは、編集ボタンを押下する操作を行う（ステップＳ２９）。ユーザが編集ボタンを押下する操作を行った場合（ステップＳ３０：Ｙｅｓ）、編集部２３１は、第３画像データを作り直す制御を行う。この例では、編集部２３１は、ステップＳ２６で生成された第３画像データを破棄し、受信部２１１に対して、新たな第１画像データの受信を待つことを指示する。そして、ユーザは、スキャンした原稿に記入した写真番号を修正する（ステップＳ３１）。例えば、修正したい番号の上に二重線を引いて、その近傍に新しい番号を記入してもよい。以降、ステップＳ２２以降の処理が繰り返される。

（第４実施形態）
次に、第４実施形態について説明する。上述の第１実施形態と重複する部分については適宜に説明を省略する。

図１４は、第４実施形態に係る操作部２４０の機能構成の一例を示す図である。図１４に示すように、操作部２４０は、受信部２１１と、認識部２１２と、第１保存部２１３と、特定部２１４と、第２保存部２１５と、画像添付部２４６と、生成データ保存部２１７と、第１表示部２１８と、第２表示部２４１と、選択部２４２とを有する。第２表示部２４１、選択部２４２、および、画像添付部２４６以外の機能は、第１実施形態と同様である。

第２表示部２４１は、認識部２１２によって複数種類の手書き文字が認識された場合は、第３画像データが生成される前に、認識部２１２により認識された複数種類の手書き文字を表示する。選択部２４２は、ユーザの指示に従って、第２表示部２４１によって表示された複数種類の手書き文字のうちの何れかを選択する。画像添付部２４６は、第１実施形態で説明した機能に加えて、選択部２４２により選択された手書き文字に対応する第２画像データを、特定部２１４により特定されたテンプレート画像の所定領域に添付して第３画像データを生成する。

図１５は、第４実施形態において、写真データをテンプレート画像に添付して表示する手順の一例を示すフロー図である。図１５に示すステップＳ３１〜ステップＳ３５の処理の内容は、図４に示すステップＳ１〜ステップＳ５の処理の内容と同様であるので、詳細な説明は省略する。ここでは、図１３に示すステップＳ３５において、認識部２１２は、複数種類の手書き文字を認識した場合を例に挙げて説明する。ステップＳ３５の後、第２表示部２４１は、認識部２１２によって認識された複数種類の手書き文字を操作パネル２７上に表示する制御を行う（ステップＳ３６）。これを見たユーザは、何れかの文字を選択することを指示する（ステップＳ３７）。そして、選択部２４２は、ユーザの指示に従って、何れかの文字を選択する（ステップＳ３８）。

次に、画像添付部２４６は、ステップＳ３８で選択された文字に対応する第２画像データを、ステップＳ３４で特定されたテンプレート画像の所定領域に添付して第３画像データを生成する（ステップＳ３９）。次に、第１表示部２１８は、ステップＳ３９で生成された第３画像データを表示する（ステップＳ４０）。

（第５実施形態）
次に、第５実施形態について説明する。上述の第１実施形態と重複する部分については適宜に説明を省略する。

図１６は、第５実施形態に係る操作部２５０の機能構成の一例を示す図である。図１６に示すように、操作部２５０は、受信部２１１と、認識部２１２と、第１保存部２１３と、特定部２１４と、第２保存部２１５と、画像添付部２１６と、生成データ保存部２１７と、第１表示部２１８と、変更部２５１とを有する。変更部２５１以外の機能は、第１実施形態と同様である。

変更部２５１は、認識部２１２によって手書き文字が認識されなかった場合、テンプレート画像のレイアウトを変更することができる。より具体的には、変更部２５１は、テンプレート画像のレイアウトを変更するか否かをユーザに問い合わせる制御を行い、テンプレート画像のレイアウトを変更する指示を受け付けた場合は、テンプレート画像のレイアウトを変更する。本実施形態では、変更部２５１は、認識部２１２によって手書き文字が認識されなかった場合、レイアウトを変更する指示を受け付けるためのレイアウト変更ボタン（ＵＩ画像）を操作パネル２７上に表示する制御を行う。

図１７は、第５実施形態において、写真データをテンプレート画像に添付して表示する手順の一例を示すフロー図である。図１７に示すステップＳ４１〜ステップＳ４５の処理の内容は、図４に示すステップＳ１〜ステップＳ５の処理の内容と同様であるので、詳細な説明は省略する。また、図１７に示すステップＳ５０およびステップＳ５１の処理の内容は、図４に示すステップＳ６およびステップＳ７の処理の内容と同様であるので、詳細な説明は省略する。

ステップＳ４５の後、認識部２１２は、ステップＳ４３で受信した第１画像データに、写真番号を示す手書き文字が含まれているか否かを判断する（ステップＳ４６）。この判断は、写真添付領域ごとに行う。写真番号を示す手書き文字が含まれていないと判断された場合（ステップＳ４６：Ｎｏ）、変更部２５１は、テンプレート画像のレイアウトを変更するか否かをユーザに問い合わせる制御を行う（ステップＳ４７）。この例では、変更部２５１は、上述のレイアウト変更ボタンを操作パネル２７上に表示する制御を行う。

ここでは、ユーザがレイアウトの変更を指示する場合を例に挙げて説明する。ステップＳ４７の後、ユーザは、レイアウト変更ボタンを押下する操作を行う（ステップＳ４８）。ユーザがレイアウト変更ボタンを押下する操作を行った場合、つまり、レイアウトを変更する指示を受け付けた場合、変更部２５１は、テンプレート画像のレイアウトを変更する（ステップＳ４９）。例えば変更部２５１は、テンプレート画像のうち、写真番号が記入されなかった写真添付領域の箇所とそれに関連する部分を削除することもできる。この例では、図１８に示すように、写真番号が記入された箇所のみ表示されることになる。

以上、本発明に係る実施形態について説明したが、本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

例えば、上述の各実施形態では、本体１０と操作部２０は、別々のオペレーティングシステムで互いに独立して動作しているが、これに限らず、例えば本体１０と操作部２０が同じオペレーティングシステムで動作する形態であってもよい。

また、上述した各実施形態の情報処理システムで実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ ＭＦＰ
１０ 本体
２０ 操作部
２１１ 受信部
２１２ 認識部
２１３ 第１保存部
２１４ 特定部
２１５ 第２保存部
２１６ 画像添付部
２１７ 生成データ保存部
２１８ 第１表示部
２３１ 編集部
２４１ 第２表示部
２４２ 選択部
２５１ 変更部
３００ 通信路

特開２０１０−１３６０８５号公報

Claims (10)

1. 画像読取部により読み取られた原稿の画像を示す第１画像データを受信する受信部と、
   前記第１画像データに含まれる手書き文字を認識する認識部と、
   それぞれが印刷形式の雛形を表す複数種類のテンプレート画像ごとに、第２画像データが添付される所定領域の位置情報を対応付けた第１対応情報を保存する第１保存部と、
   前記第１画像データの特徴情報に基づいて、対応する前記テンプレート画像を特定する特定部と、
   複数種類の文字ごとに、前記第２画像データを対応付けた第２対応情報を保存する第２保存部と、
   前記認識部により認識された前記手書き文字に対応する前記第２画像データを、前記特定部により特定された前記テンプレート画像の前記所定領域に添付して第３画像データを生成する画像添付部と、
   前記認識部によって前記手書き文字が認識されなかった場合、前記テンプレート画像のレイアウトを変更する変更部と、を備え、
   前記認識部は、前記第１画像データのうち、前記特定部により特定された前記テンプレート画像の前記所定領域に対応する領域内の前記手書き文字を認識する、
   情報処理システム。
2. 前記特徴情報は、前記テンプレート画像を判別するための判別画像である、
   請求項１に記載の情報処理システム。
3. 前記画像添付部は、前記所定領域のサイズに合わせて、前記第２画像データのサイズを変化させる、
   請求項１または２に記載の情報処理システム。
4. 前記第３画像データを表示する第１表示部をさらに備える、
   請求項１乃至３のうちの何れか１項に記載の情報処理システム。
5. 前記認識部は、文字を訂正するための訂正記号を検出した場合は、検出した前記訂正記号から一定範囲内に存在する前記手書き文字を認識する、
   請求項１乃至４のうちの何れか１項に記載の情報処理システム。
6. 前記第１表示部によって前記第３画像データが表示されたときに、前記手書き文字の編集を行うか否かをユーザに問い合わせる制御を行い、前記手書き文字を編集することを示す入力を受け付けた場合は、前記第３画像データを作り直す制御を行う編集部をさらに備える、
   請求項４に記載の情報処理システム。
7. 前記認識部によって複数種類の前記手書き文字が認識された場合は、前記第３画像データが生成される前に、前記認識部により認識された前記複数種類の前記手書き文字を表示する第２表示部と、
   ユーザの指示に従って、前記第２表示部によって表示された前記複数種類の前記手書き文字のうちの何れかを選択する選択部と、をさらに備え、
   前記画像添付部は、前記選択部により選択された前記手書き文字に対応する前記第２画像データを、前記特定部により特定された前記テンプレート画像の前記所定領域に添付して前記第３画像データを生成する、
   請求項１乃至４のうちの何れか１項に記載の情報処理システム。
8. 前記変更部は、前記テンプレート画像のレイアウトを変更するか否かをユーザに問い合わせる制御を行い、前記テンプレート画像のレイアウトを変更することを示す入力を受け付けた場合は、前記テンプレート画像のレイアウトを変更する制御を行う、
   請求項１に記載の情報処理システム。
9. 画像読取部により読み取られた原稿の画像を示す第１画像データを受信する受信ステップと、
   前記第１画像データに含まれる手書き文字を認識する認識ステップと、
   前記第１画像データの特徴情報に基づいて、前記第１画像データに対応し、かつ、印刷形式の雛形を表すテンプレート画像を特定する第１特定ステップと、
   複数種類の文字ごとに、第２画像データを対応付けた第２対応情報を参照して、前記認識ステップにより認識された前記手書き文字に対応する前記第２画像データを特定する第２特定ステップと、
   複数種類の前記テンプレート画像ごとに、前記第２画像データが添付される所定領域の位置情報を対応付けた第１対応情報を参照して、前記第１特定ステップで特定された前記テンプレート画像の前記所定領域を特定する第３特定ステップと、
   前記第２特定ステップで特定した前記第２画像データを、前記第３特定ステップで特定した前記テンプレート画像の前記所定領域に添付して第３画像データを生成する画像添付ステップと、
   前記認識ステップによって前記手書き文字が認識されなかった場合、前記テンプレート画像のレイアウトを変更する変更ステップと、を含み、
   前記認識ステップは、前記第１画像データのうち、前記第３特定ステップにより特定された前記テンプレート画像の前記所定領域に対応する領域内の前記手書き文字を認識する、
   情報処理方法。
10. コンピュータに、
    画像読取部により読み取られた原稿の画像を示す第１画像データを受信する受信ステップと、
    前記第１画像データに含まれる手書き文字を認識する認識ステップと、
    前記第１画像データの特徴情報に基づいて、前記第１画像データに対応し、かつ、印刷形式の雛形を表すテンプレート画像を特定する第１特定ステップと、
    複数種類の文字ごとに、第２画像データを対応付けた第２対応情報を参照して、前記認識ステップにより認識された前記手書き文字に対応する前記第２画像データを特定する第２特定ステップと、
    複数種類の前記テンプレート画像ごとに、前記第２画像データが添付される所定領域の位置情報を対応付けた第１対応情報を参照して、前記第１特定ステップで特定された前記テンプレート画像の前記所定領域を特定する第３特定ステップと、
    前記第２特定ステップで特定した前記第２画像データを、前記第３特定ステップで特定した前記テンプレート画像の前記所定領域に添付して第３画像データを生成する画像添付ステップと、
    前記認識ステップによって前記手書き文字が認識されなかった場合、前記テンプレート画像のレイアウトを変更する変更ステップと、を実行させ、
    前記認識ステップは、前記第１画像データのうち、前記第３特定ステップにより特定された前記テンプレート画像の前記所定領域に対応する領域内の前記手書き文字を認識する、
    プログラム。

Images