JP6540280B2 - 画像処理装置およびコンピュータプログラム - Google Patents

Description

本明細書は、シートを光学的に読み取ることによって生成される対象画像データを用いて、特定のファイルフォーマットの画像ファイルを生成する画像処理に関する。

ＰＤＦファイルは、画像データと、注釈などの様々なデータと、を含むことができるために、注釈付きの電子文書を保存するために広く利用されている。例えば、特許文献１では、画像形成装置は、手書きで追記された文字や画像を含むシートを読み取り、画像データと、手書きで追記された文字や画像を示す注釈用データと、を含むＰＤＦファイルを生成する。

特開２００８−１８１４８５号公報

しかしながら、上記技術では、注釈にすべき情報、すなわち、シート上に記入された記入対象を適切に特定できない場合があった。この結果、ユーザが所望するＰＤＦファイルを生成することができない可能性があった。

本明細書は、シート上の記入対象を適切に特定して、ユーザが所望する画像ファイルを生成することができる技術を開示する。

本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］シート上の元画像と、前記シート上にユーザによって付加された付加画像と、を含む対象画像を示す対象画像データであって、前記シートを光学的に読み取ることによって生成される前記対象画像データを取得する取得部と、前記対象画像データを解析することによって、前記付加画像を構成する閉じた線で囲まれる前記対象画像内の領域である付加領域であって、前記付加画像を含む前記付加領域を特定する第１特定部と、前記対象画像データのうち、前記付加領域内の画像を示す部分画像データを解析することによって、前記付加領域内において、前記付加画像に含まれる記入対象を特定する第２特定部と、前記第２特定部による特定結果と、前記対象画像データと、を用いて、前記対象画像から前記付加画像が消去された消去済画像を示す消去済画像データと、前記付加画像に関して前記消去済画像を補足する補足情報を示す補足情報データと、を生成して、前記消去済画像データと前記補足情報データとを含む画像ファイルを生成する生成部であって、前記画像ファイルは、前記補足情報データによって示される前記補足情報と独立して前記消去済画像を再生可能であるとともに、前記消去済画像と前記補足情報とを同時に再生可能である特定のファイルフォーマットを有する、前記生成部と、を備える、画像処理装置。

上記構成によれば、付加画像を含む対象画像を示す対象画像データを解析することによって、付加領域が特定される。そして、付加領域内の画像を示す部分画像データを解析することによって、付加画像内の記入対象が特定される。そして、第２特定部による特定結果と、対象画像データと、を用いて、消去済画像データと補足情報データとを含む画像ファイルが生成される。この結果、シート上に付加された記入対象を適切に特定して、ユーザが所望する画像ファイルを生成することができる。
［適用例２］
適用例１に記載の画像処理装置であって、
前記第１特定部は、前記対象画像内に前記閉じた線で囲まれる領域が存在するかを解析することによって、前記付加領域を特定する、画像処理装置。
［適用例３］
適用例１または２に記載の画像処理装置であって、
前記第１特定部は、
前記対象画像データを解析することによって、前記対象画像内の背景色とは異なる予め定められた色を有する部分画像を前記付加画像として特定し、
特定された前記付加画像の外縁に囲まれた領域を前記付加領域として特定する、画像処理装置。
［適用例４］
適用例１に記載の画像処理装置であって、
前記第１特定部は、
前記対象画像データを解析することによって、前記対象画像内の一部の領域を囲む線状の画像であって、予め定められた色を有する、前記線状の画像を前記付加画像として特定し、
前記線状の画像によって囲まれた前記対象画像内の一部の領域を前記付加領域として特定する、画像処理装置。
［適用例５］
適用例１〜４のいずれかに記載の画像処理装置であって、
前記第２特定部によって、前記付加領域内に、前記記入対象として文字が特定された場合には、前記生成部は、特定された文字を示すテキスト情報を含む第１種の補足情報データを含む前記画像ファイルを生成し、
前記第２特定部によって、前記付加領域内に、文字とは異なる前記記入対象が特定された場合には、前記付加領域内の前記記入対象を少なくとも示す画像データを含む第２種の補足情報データを含む前記画像ファイルを生成する、画像処理装置。
［適用例６］
適用例５に記載の画像処理装置であって、さらに、
前記第２特定部は、前記付加領域内の画像に対して、文字認識処理を実行して、文字が認識されるか否かを判断し、
前記生成部は、
前記付加領域内に文字が認識される場合に、前記第１種の補足情報データを含む前記画像ファイルを生成し、
前記付加領域内に文字が認識されない場合に、前記第２種の補足情報データを含む前記画像ファイルを生成する、画像処理装置。
［適用例７］
適用例６に記載の画像処理装置であって、
前記補足情報は、前記消去済画像と前記補足情報とが同時に再生される場合に、前記対象画像内で前記付加領域が存在する位置に対応する前記消去済画像内の位置と関係付けて表現される、画像処理装置。
［適用例８］
適用例１〜３のいずれかに記載の画像処理装置であって、
前記第２特定部は、前記付加領域内において、前記付加領域内の背景画素とは異なる色を示す非背景画素を特定することによって、前記付加領域の背景とは異なる画像を特定し、
前記生成部は、
前記第２特定部によって前記付加領域内に、閾値以上の個数の前記非背景画素が特定される場合には、前記閾値以上の個数の前記非背景画素が示す前記補足情報を示す前記補足情報データを含む前記画像ファイルを生成し、
前記第２特定部によって前記付加領域内に前記閾値以上の個数の前記非背景画素が特定されない場合には、ユーザによる入力を受け取るための入力欄であって前記消去済画像内に配置される前記入力欄を示す入力欄データを含む前記画像ファイルを生成する、画像処理装置。
［適用例９］
適用例８に記載の画像処理装置であって、
前記入力欄は、前記消去済画像と同時に再生される場合に、前記対象画像内で前記付加領域が存在する位置に対応する前記消去済画像内の位置に配置される、画像処理装置。
［適用例１０］
適用例９に記載の画像処理装置であって、
前記入力欄のサイズは、前記付加画像によって規定される前記付加領域のサイズに基づいて決定される、画像処理装置。
［適用例１１］
適用例１〜１０のいずれかに記載の画像処理装置であって、
前記取得部は、前記付加画像として、第１の色を有する第１の付加画像と、第２の色を有する第２の付加画像と、を含む前記対象画像を示す前記対象画像データを取得し、
前記第１特定部は、前記第１の付加画像によって規定された第１の付加領域と、前記第２の付加画像によって規定された第２の付加領域と、を特定し、
前記生成部は、前記画像ファイルとして、第１の画像ファイルと第２の画像ファイルとを生成し、
前記第１の画像ファイルは、前記対象画像データに基づく前記消去済画像データと、前記第１の付加画像に対応する第１の補足情報データと、を含み、
前記第2の画像ファイルは、前記消去済画像データと、前記第２の付加画像に対応する第２の補足情報データと、を含む、画像処理装置。

なお、本明細書に開示された技術は、種々の形態で実現することが可能であり、例えば、画像読取装置、画像処理方法、これらの装置または方法を実現するためのコンピュータプ口グラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

本発明の一実施例としてのシステム９００を示す説明図である。 システム９００の動作のフローチャートである。 第１実施例で用いられる画像の一例を示す図である。 ＰＤＦファイルの一例を示す図である。 ＰＤＦファイルに含まれるページデータの一例を示す図である。 付加領域特定処理のフローチャートである。 記入対象特定処理のフローチャートである。 出力ＰＤＦファイル生成処理のフローチャートである。 出力ＰＤＦファイルを閲覧ソフトを用いて表示した様子を示す図である。 出力ＰＤＦファイルを閲覧ソフトを用いて表示した様子を示す図である。 第２実施例で用いられる画像の一例を示す図である。 第２実施例の付加領域特定処理のフローチャートである。

Ａ．第１実施例：
図１は、本発明の一実施例としてのシステム９００を示す説明図である。このシステム９００は、インターネットなどのネットワーク５００と、ネットワーク５００に接続された複合機１００と、ネットワーク５００に接続されたサーバ３００と、を備えている。

複合機１００は、複合機１００の全体を制御するコントローラとしてのＣＰＵ１１０と、ＤＲＡＭ等の揮発性記憶装置１２０と、フラッシュメモリ等の不揮発性記憶装置１３０と、液晶パネル等の表示部１４０と、タッチパネル等の操作部１５０と、読取実行部１６０と、印刷実行部１７０と、他の装置（例えば、サーバ３００）と通信するための有線や無線の通信インタフェース１８０（例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格に準拠した無線通信インタフェース）と、を備えている。不揮発性記憶装置１３０は、コンピュータプログラム１３２を格納している。通信インタフェース１８０は、ネットワーク５００に接続されている。このコンピュータプログラム１３２は、例えば、出荷時に不揮発性記憶装置１３０に格納される形態や、サーバなどの計算機からネットワーク５００を介してダウンロードされる形態で提供される。

読取実行部１６０は、シート上の画像を表す画像データを生成する装置である。具体的には、読取実行部１６０は、図示しない光学センサ（例えば、ＣＩＳ（Contact Image Sensor））を備え、読取実行部１６０に載置されたシートを光学的に読み取ることによって、シート上の画像を表す画像データを生成する。以下、読取実行部１６０によって生成される画像データを「スキャンデータ」とも呼ぶ。

印刷実行部１７０は、画像を印刷する装置であり、いわゆるインクジェットプリンタである。ただし、他の種類のプリンタ（例えば、いわゆるレーザプリンタ）を採用してもよい。

ＣＰＵ１１０は、揮発性記憶装置１２０と不揮発性記憶装置１３０とを用いてコンピュータプログラム１３２を実行することによって、後述する処理を実行する。

本実施例の画像処理装置としてのサーバ３００は、サーバ３００の全体を制御するコントローラとしてのＣＰＵ３１０と、ＤＲＡＭ等の揮発性記憶装置３２０と、フラッシュメモリ等の不揮発性記憶装置３３０と、他の装置（例えば、複合機１００）と通信するための有線や無線の通信インタフェース３８０（例えば、ＩＥＥＥ８０２．３の規格に準拠した有線通信インタフェース）と、を備えている。不揮発性記憶装置３３０は、コンピュータプログラム３３２を格納している。このコンピュータプログラム３３２は、例えば、ＣＤ−ＲＯＭなどに格納される形態や、他のサーバなどの計算機からネットワーク５００を介してダウンロードされる形態で提供される。通信インタフェース３８０は、ネットワーク５００に接続されている。

ＣＰＵ３１０は、揮発性記憶装置３２０と不揮発性記憶装置３３０とを用いてコンピュータプログラム３３２を実行することによって、後述する画像処理を実行する。

図２は、システム９００の動作のフローチャートである。図２には、複合機１００による処理と、サーバ３００による処理と、が示されている。これらの処理は、例えば、読取実行部１６０に載置されたシートを読み取って、ＰＤＦファイルを生成する指示がユーザから複合機１００によって受け付けられた場合に、複合機１００のＣＰＵ１１０によって開始される。ユーザは、複合機１００の操作部１５０を操作することによって、必要な指示を入力できる。

Ｓ１００では、複合機１００のＣＰＵ１１０（図１）は、読取実行部１６０を制御することによって、シートＳＴを光学的に読み取り、シートＳＴを表すスキャンデータを生成する。スキャンデータは、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの成分値（本実施例では、２５６階調の階調値）で画素ごとの色を表すビットマップ形式のＲＧＢ画像データである。以下、赤、緑、青の成分値を、それぞれ、「Ｒ値」、「Ｇ値」、「Ｂ値」とも呼ぶ。また、色を表す値を「色値」とも呼び、Ｒ値とＧ値とＢ値とを含む色値をＲＧＢ値とも呼ぶ。

図３は、第１実施例で用いられる画像の一例を示す図である。図３（Ａ）、（Ｂ）には、第１実施例のスキャンデータによって表されるスキャン画像ＳＩ１、ＳＩ２が示されている。スキャン画像ＳＩ１、ＳＩ２は、これらの画像ＳＩ１、ＳＩ２を示すスキャンデータを生成する際に、読取実行部１６０によって読み取られたシートＳＴ１、ＳＴ２を表す画像であるから、図３（Ａ）、（Ｂ）は、シートＳＴ１、ＳＴ２の一例を示す図と言うこともできる。

シートＳＴ１は元画像ＯＩ１を表している。元画像ＯＩ１は、背景ＢＧ１と、オブジェクトとしての描画Ｇ１、Ｇ２および文字Ｔ１と、を含んでいる。シートＳＴ１には、ユーザによって付箋ＡＰ１、ＡＰ２が貼り付けられている。付箋ＡＰ１上には、ユーザによって文字ＵＴが記入されている。付箋ＡＰ２上には、ユーザによって描画ＵＧが記入されている。描画は、例えば、イラスト、表、グラフ、線図、ベクトルグラフィックス、模様などを含む。付箋の色（本実施例では、赤や青）は、背景ＢＧ１の色（本実施例では、白）とは異なっている。本実施例では、付箋ＡＰ１の色と、付箋ＡＰ２の色とは、異なっている。具体的には、付箋ＡＰ１の色は、青であり、付箋ＡＰ２の色は、赤である。

したがって、付箋ＡＰ１、ＡＰ２が貼り付けられたシートＳＴ１を読み取って生成されたスキャン画像ＳＩ１は、元画像ＯＩ１と、付箋ＡＰ１を示す付箋画像ＡＩ１と、付箋ＡＰ２を示す付箋画像ＡＩ２と、付箋画像ＡＩ１内の文字ＵＴと、付箋ＡＰ２内の描画ＵＧと、を含んでいる。

シートＳＴ２は元画像ＯＩ２を表している。元画像ＯＩ２は、背景ＢＧ２と、オブジェクトとしての文字Ｔ２〜Ｔ５と、を含んでいる。シートＳＴ２には、ユーザによって付箋ＡＰ３、ＡＰ４が貼り付けられている。付箋ＡＰ３、４には、ユーザによって記入された文字等はない。

したがって、付箋ＡＰ３、ＡＰ４が貼り付けられたシートＳＴ２を読み取って生成されたスキャン画像ＳＩ２は、元画像ＯＩ２と、付箋ＡＰ３を示す付箋画像ＡＩ３と、付箋ＡＰ３を示す付箋画像ＡＩ４と、を含んでいる。付箋ＡＰ３の色と、付箋ＡＰ４の色とは、同じ色（例えば、青）である。

付箋ＡＰ１〜ＡＰ４は、特定形状（例えば、矩形）の用紙であって、シートＳＴより小さな用紙である。付箋ＡＰ１〜ＡＰ４は、例えば、市販されているポストイット（登録商標）である。Ｓ１００では、シートＳＴ１およびシートＳＴ２のいずれかが読み取られた処理対象のスキャンデータが生成されるものとする。

Ｓ１１０では、複合機１００のＣＰＵ１１０（図１）は、生成したスキャンデータを格納したＰＤＦファイルを生成する。ＰＤＦファイルは、ＰＤＦ（Portable Document Formatの略）と呼ばれるファイルフォーマットを有する画像ファイルである。

ここで、ＰＤＦファイルの構成の概要を説明する。図４は、ＰＤＦファイルの一例を示す図である。ＰＤＦは、ｎページ（ｎは１以上の整数）分の文書を示す画像を格納できるフォーマットである。このために、ＰＤＦファイルＩＦは、ｎ個のページデータＰＤ１〜ＰＤｎを含む。本実施例では、シートＳＴ１またはシートＳＴ２のいずれかを示す含む１ページ分の画像を示すＰＤＦファイルＩＦが生成される。Ｓ１１０で生成されるＰＤＦファイルを入力ＰＤＦファイルとも呼ぶ。各ページデータは、１ページ分の文書を示すページ画像を表すページ記述データを含む。ページ記述データは、ベクターデータや、テキストデータなどの各種のデータを含み得るが、本実施例では、画像データ、例えば、ＪＰＥＧ形式で圧縮されたＪＰＥＧデータを含んでいる（例えば、後述する図５（Ａ））。さらに、各ページデータは、付属データを含み得る。付属データは、例えば、後述する注釈テキストコードＴＣや注釈画像データＩＣなどの補足情報データと、入力フォームコードＦＣと、を含み得る。

図５は、ＰＤＦファイルに含まれるページデータの一例を示す図である。入力ＰＤＦファイルは、図５（Ａ）に示す１個のページデータＰＤ１１を含んでいる。ページデータＰＤ１１は、Ｓ１００で生成されたスキャンデータＳＤ（ＪＰＥＧ圧縮済）を、上述したページ記述データとして含んでいる。

Ｓ１２０では、ＣＰＵ１１０は、ネットワーク５００を介して、入力ＰＤＦファイルをサーバ３００に送信する。Ｓ２００では、サーバ３００のＣＰＵ３１０は、複合機１００から送信される入力ＰＤＦファイルを取得する。

Ｓ２１０では、サーバ３００のＣＰＵ３１０は、取得した入力ＰＤＦファイルに含まれるＪＰＥＧデータを解凍することによって、Ｓ１００で生成されたスキャンデータＳＤ（即ち、ＲＧＢ画像データ）を取得する。以下、本ステップで取得されたスキャンデータＳＤ（対象画像データとも呼ぶ）によって表される画像を対象画像とも呼ぶ。

Ｓ２２０では、ＣＰＵ３１０は、付加領域特定処理を実行する。付加領域特定処理は、対象画像データを解析することによって、対象画像内の付加領域を特定する処理である。図６は、付加領域特定処理のフローチャートである。本実施例の付加領域特定処理は、特定色の付箋画像を特定することによって、付加領域を特定する処理である。

Ｓ３０５では、ＣＰＵ３１０は、対象画像データから、特定色を有する複数個の特定色画素を抽出する。本実施例では、複数種類の特定色に対応する複数種類の特定色画素が抽出される。例えば、付箋に一般的に用いられる赤、青、黄の３色に対応する３種類の特定色画素、すなわち、赤色画素、青色画素、黄色画素が抽出される。具体的には、これらの３色に対応する３種類の特定色範囲がそれぞれ予め定められ、不揮発性記憶装置３３０に格納されている。例えば、赤色範囲は、ＲＧＢ値の各成分の値の範囲、Ｒ１≦Ｒ≦Ｒ２、かつ、Ｇ１≦Ｇ≦Ｇ２、かつ、Ｂ１≦Ｂ≦Ｂ２を満たすＲＧＢ値の範囲である。青色範囲、黄色範囲も同様に定められている。赤色画素、青色画素、黄色画素は、それぞれ、対象画像内の複数個の画素のうち、赤色範囲内のＲＧＢ値を有する画素、青色範囲内のＲＧＢ値を有する画素、黄色範囲内のＲＧＢ値を有する画素である。非特定色画素は、特定色画素とは異なる画素、すなわち、３種類の特定色範囲のいずれにも属さないＲＧＢ値を有する画素である。

ＣＰＵ３１０は、対象画像内の複数個の画素に一対一で対応する複数個の画素を含む抽出画像データを生成する。抽出画像データは、例えば、対象画像内の非特定色画素に対応する画素の値を「０」、赤色画素、青色画素、黄色画素に対応する画素の値を、それぞれ、「１」、「２」、「３」に設定した画像データである。

Ｓ３１０では、ＣＰＵ３１０は、１種類の特定色画素で構成される特定色オブジェクトを特定する。具体的には、連続する一つながりの１個以上の１種類の特定色画素で構成される特定色画素群を、１個の特定色オブジェクトとして特定する。図３（Ｃ）、（Ｄ）には、特定色オブジェクトの一例が示されている。図３（Ｃ）の抽出画像ＢＩ１は、図３（Ａ）のスキャン画像ＳＩ１に対応し、図３（Ｄ）の抽出画像ＢＩ２は、図３（Ｂ）のスキャン画像ＳＩ２に対応している。これらの抽出画像ＢＩ１、ＢＩ２内の黒色の領域は、特定色オブジェクトの領域を示し、白色の領域は、特定色オブジェクトが存在しない領域を示す。図３（Ｃ）の抽出画像ＢＩ１では、付箋画像ＡＩ１、ＡＩ２にそれぞれ対応する特定色オブジェクトＣＰ１、ＣＰ２と、付箋画像とは異なる描画Ｇ１の一部分に対応する特定色オブジェクトＣＰ３と、が特定される。また、図３（Ｄ）の抽出画像ＢＩ２では、付箋画像ＡＩ３、ＡＩ４にそれぞれ対応する特定色オブジェクトＣＰ４、ＣＰ５が、特定される。本ステップでは、各特定色オブジェクトを構成する１個以上の画素のそれぞれにラベル（画素値）を付したラベル画像データと、各特定色オブジェクトの色（複数種の特定色のいずれかの色）を示す色データと、が生成される。

Ｓ３１５では、ＣＰＵ３１０は、Ｓ３１０で特定された複数個の特定色オブジェクトの中から、１個の注目特定色オブジェクトを選択する。Ｓ３２０では、ＣＰＵ３１０は、注目特定色オブジェクトに対して、形状解析処理を実行する。形状解析処理は、特定色オブジェクトの形状が、付箋としての形状を有しているか否かを判定する処理である。具体的には、ＣＰＵ３１０は、付箋の形状を有する基準オブジェクトと、注目特定色オブジェクトと、の一致率ＭＲを算出する。具体例を、図３（Ｃ）の抽出画像ＢＩ１の特定色オブジェクトＣＰ３が注目特定色オブジェクトであるとして説明する。まず、特定色オブジェクトＣＰ３の外接矩形ＯＳ３が特定される。外接矩形ＯＳ３と同じサイズを有する矩形のオブジェクトが、基準オブジェクトとして決定される。そして、特定色オブジェクトＣＰ３の外接矩形ＯＳ３の基準画素（例えば、左上の画素）と、基準オブジェクトの基準画素（例えば、左上の画素）と、が一致するように、特定色オブジェクトＣＰ３と基準オブジェクトとが重ねられる。この状態で、基準オブジェクトに含まれる複数個の画素のうち、特定色オブジェクトＣＰ３を構成する特定色画素と、重なる画素の個数ＶＮが算出される。そして、基準オブジェクトに含まれる画素の総数ＴＮに対する個数ＶＮが、一致率ＭＲとして算出される（ＭＲ＝（ＶＮ／ＴＮ））。そして、一致率ＭＲが所定の閾値ＴＨ１（例えば、０.７）以上である場合には、特定色オブジェクトＣＰ３は、付箋の形状を有すると判断され、一致率ＭＲが所定の閾値ＴＨ１未満である場合には、特定色オブジェクトＣＰ３は、付箋の形状を有しないと判断される。なお、付箋の形状を有するか否かの判断方法は、これに限られない。例えば、さらに、付箋であると考えられるサイズを有すること、具体的には、例えば、縦方向および横方向の画素数が、原稿上での５ｍｍに相当する画素数以上であり、かつ、原稿上での１５ｃｍに相当する画素数以下であること、をさらに判断条件に含めても良い。

Ｓ３２５では、ＣＰＵ３１０は、形状解析処理にて、注目特定色オブジェクトが、付箋の形状を有すると判断されたか否かを判断する。注目特定色オブジェクトが、付箋の形状を有すると判断された場合には（Ｓ３２５：ＹＥＳ）、Ｓ３３０にて、ＣＰＵ３１０は、注目特定色オブジェクトは、付箋を示す付箋画像であると決定して、付箋画像の位置、サイズ、色を示す情報を揮発性記憶装置３２０に記憶する。付箋画像の位置およびサイズを示す情報は、例えば、対象画像内に規定された二次元座標系で表される座標であって、矩形の付箋画像の左上の画素と右下の画素との座標を示す情報である。本実施例では、付箋画像の外縁によって囲まれた領域が付加領域であるので、付箋画像が特定されることは、付加領域が特定されることに等しい。一方、注目特定色オブジェクトが、付箋の形状を有すると判断されない場合には（Ｓ３２５：ＮＯ）、Ｓ３３５にて、ＣＰＵ３１０は、注目特定色オブジェクトは、付箋画像でないと決定する。

Ｓ３４０では、ＣＰＵ３１０は、対象画像内の全ての特定色オブジェクトを処理したか否かを判断する。未処理の特定色オブジェクトがある場合には（Ｓ３４０：ＮＯ）、ＣＰＵ３１０は、Ｓ３１５に戻って、未処理の特定色オブジェクトを選択する。全ての特定色オブジェクトを処理した場合には（Ｓ３４０：ＹＥＳ）、図６の付加領域特定処理は終了される。

なお、付加領域特定処理によって、図３（Ａ）のスキャン画像ＳＩ１を表すスキャンデータが対象画像データである場合には、図３（Ｃ）の抽出画像ＢＩ１の特定色オブジェクトＣＰ１、ＣＰ２に対応する付箋画像ＡＩ１、ＡＩ２が特定される。図３（Ｂ）のスキャン画像ＳＩ２を表すスキャンデータが対象画像データである場合には、図３（Ｄ）の抽出画像ＢＩ２の特定色オブジェクトＣＰ４、ＣＰ５に対応する付箋画像ＡＩ３、ＡＩ４が特定される。

付加領域特定処理が終了すると、図２のＳ２３０では、ＣＰＵ３１０は、記入対象特定処理を実行する。記入対象特定処理は、付箋画像によって規定される付加領域内の画像を表す部分画像データを解析することによって、付加領域内において、記入対象を特定する処理である。記入対象は、ユーザによって付加領域内に記入された対象物、本実施例では、シートＳＴ１、ＳＴ２に貼り付けられた付箋に、ユーザによって記入された情報である。

図７は、記入対象特定処理のフローチャートである。Ｓ４０５では、ＣＰＵ３１０は、１個以上の付箋画像によってそれぞれ規定される１個以上の付加領域から、１個の注目付加領域を選択する。本実施例では、上述したように、付加領域特定処理において特定された付箋画像の外縁に囲まれた領域、換言すれば、付箋画像の内部の領域が付加領域である。したがって、本実施例では、１個の付加領域を選択することは、特定された１個の付箋画像を選択することに等しい。

Ｓ４１０では、ＣＰＵ３１０は、対象画像データのうち、選択された注目付加領域内の非背景画素を特定する。具体的には、ＣＰＵ３１０は、注目付加領域を規定する付箋画像の外縁部分に位置する複数個の画素のＲＧＢ値の平均値を、注目付加領域の背景色ＢＣ（Ｒ＿ｂ、Ｇ＿ｂ、Ｂ＿ｂ）として算出する。そして、背景色ＢＣに基づいて背景色範囲ＢＲが決定される。背景色範囲ＢＲは、例えば、（Ｒ＿ｂ−ΔＶ）≦Ｒ≦（Ｒ＿ｂ＋ΔＶ）、かつ、（Ｇ＿ｂ−ΔＶ）≦Ｇ≦（Ｇ＿ｂ＋ΔＶ）、かつ、（Ｂ＿ｂ−ΔＶ）≦Ｂ≦（Ｂ＿ｂ＋ΔＶ）を満たすＲＧＢ値の範囲である。ΔＶは、予め定められた値であり、例えば、ＲＧＢ値の各成分値が２５６階調の値を取る場合に、ΔＶ＝１０である。ＣＰＵ３１０は、注目付加領域内の画像を表す部分画像データに複数個の画素のうち、背景色範囲ＢＲ内のＲＧＢ値を有する画素を背景画素に分類し、背景色範囲ＢＲ外のＲＧＢ値を有する画素を非背景画素に分類することによって、当該部分画像データを二値化する。この結果、注目付加領域内において、注目付加領域の背景を示す複数個の背景画素と、注目付加領域の背景画素とは異なる色を示す複数個の非背景画素と、が特定される。

Ｓ４１５では、ＣＰＵ３１０は、注目付加領域内で特定された非背景画素の個数は、閾値ＴＨ２以上であるか否かを判断する。閾値ＴＨ２は、付加領域内に、ユーザによって記入された文字や描画が存在する場合に、当該文字や描画を構成する非背景画素の個数が閾値ＴＨ２以上であると判断され、ユーザによって記入された文字や描画が存在しない場合に、非背景画素の個数が閾値ＴＨ２未満であると判断されるように、予め決定される。閾値ＴＨ２は、ユーザによって記入された文字や描画が存在しないにも拘わらずに非背景画素であると判断されるノイズ画素の発生を考慮して、例えば、注目付加領域に含まれる画素の総数の所定割合（例えば、３％）に設定される。例えば、図３（Ａ）の付箋画像ＡＩ１、ＡＩ２の領域が、注目付加領域である場合には、特定された非背景画素の個数は、閾値ＴＨ２以上であると判断される。また、図３（Ｂ）の付箋画像ＡＩ３、ＡＩ４の領域が、注目付加領域である場合には、特定された非背景画素の個数は、閾値ＴＨ２未満であると判断される。

非背景画素の個数が閾値ＴＨ２未満である場合には（Ｓ４１５：ＮＯ）、Ｓ４２０にて、ＣＰＵ３１０は、付加領域内に記入対象はないと判断して、Ｓ４４５に処理を進める。

非背景画素の個数が閾値ＴＨ２以上である場合には（Ｓ４１５：ＹＥＳ）、Ｓ４２５にて、ＣＰＵ３１０は、付加領域内の非背景画素群が文字を表しているか否かを判断するために、付加領域内の画像を表す部分画像データに対して文字認識処理を実行する。文字認識処理には、公知のＯＣＲ（Optical Character Recognition）技術で利用される文字認識処理が用いられる。文字が認識された場合には、当該認識された文字を示すテキストデータが生成されて、処理対象の付加領域と対応付けて、揮発性記憶装置３２０のバッファ領域内に記録される。

Ｓ４３０では、ＣＰＵ３１０は、Ｓ４２５の文字認識処理にて、文字が認識されたか否かを判断する。例えば、図３の付箋画像ＡＩ１が注目付加領域内の画像である場合には、文字認識処理にて、文字が認識される。図３の付箋画像ＡＩ２が注目付加領域内の画像である場合には、文字認識処理にて、文字が認識されない。文字が認識された場合には（Ｓ４３０：ＹＥＳ）、Ｓ４３５にて、ＣＰＵ３１０は、付加領域内の記入対象は、文字であると判断して、Ｓ４４５に処理を進める。文字が認識されない場合には（Ｓ４３０：ＮＯ）、Ｓ４４０にて、ＣＰＵ３１０は、付加領域内の記入対象は、非文字であると判断して、Ｓ４４５に処理を進める。

Ｓ４４５では、ＣＰＵ３１０は、全ての付加領域を処理したか否かを判断する。未処理の付加領域がある場合には（Ｓ４４５：ＮＯ）、ＣＰＵ３１０は、Ｓ４０５に戻って、未処理の付加領域を選択する。全ての付加領域を処理した場合には（Ｓ４４５：ＹＥＳ）、ＣＰＵ３１０は、記入対象特定処理を終了する。

記入対象特定処理が終了すると、図２のＳ２４０では、ＣＰＵ３１０は、出力ＰＤＦファイル生成処理を実行する。出力ＰＤＦファイル生成処理は、図７の記入対象特定処理による特定結果と、対象画像データと、を用いて、出力ＰＤＦファイルを生成する処理である。出力ＰＤＦファイルは、詳しくは後述するが、対象画像データに基づく画像データと、上述した付属データと、を含む。

図８は、出力ＰＤＦファイル生成処理のフローチャートである。Ｓ５０５では、ＣＰＵ３１０は、図６の付加領域特定処理において、対象画像内にて特定された付箋画像の色（特定色）の中から、１個の注目特定色を選択する。例えば、対象画像内に、赤の付箋画像と、青の付箋画像と、の２種類の付箋画像が特定されている場合には、例えば、１回目のＳ５０５では、赤が、注目特定色として選択され、２回目のＳ５０５では、青が、注目特定色として選択される。

Ｓ５１０では、ＣＰＵ３１０は、注目特定色を有する１個以上の付箋画像によって規定される１個以上の付加領域の中から、１個の注目付加領域を選択する。

Ｓ５１５では、ＣＰＵ３１０は、記入対象特定処理にて、注目付加領域内に記入対象（文字、または、非文字）があると判断されたか否かを判断する。注目付加領域内に記入対象がない場合には（Ｓ５１５：ＮＯ）、Ｓ５２０にて、ＣＰＵ３１０は、付属データとして、入力フォームコードＦＣを生成する。入力フォームコードＦＣは、ユーザによる文字の入力を受け取るための入力欄を規定するコードである。この入力欄は、出力ＰＤＦファイルのページデータに含まれるページ記述データによって示されるページ画像（以下、単にページ画像とも呼ぶ）内に配置される。図４に示すように、ページデータは、ページ記述データと、付属データと、を含む。本実施例のページ画像は、ページ記述データとしてのＪＰＥＧデータで示される画像（すなわち、後述する消去済画像）である。入力フォームコードＦＣは、入力欄であることを示す情報と、入力欄のサイズを示すサイズ情報と、ページ画像における入力欄の位置を示す位置情報と、を含む。入力欄のサイズ情報、および、位置情報は、対象画像内における対応する付箋画像のサイズおよび位置を示す座標の情報が用いられる。例えば、図３（Ｂ）の付箋画像ＡＩ３、ＡＩ４の領域が、注目付加領域である場合には、本ステップにて、入力フォームコードＦＣが生成される。

注目付加領域内に記入対象がある場合には（Ｓ５１５：ＹＥＳ）、Ｓ５２５にて、ＣＰＵ３１０は、記入対象が、文字であるか、非文字であるか、を判断する。記入対象が、文字である場合には（Ｓ５２５：ＹＥＳ）、Ｓ５３０にて、ＣＰＵ３１０は、注釈テキストコードＴＣを生成する。注釈テキストコードは、ページ画像を補足するための文字を規定するコードである。注釈テキストコードは、例えば、文字を示すテキストデータと、ページ画像において当該文字が対応付けられる位置を示す位置情報と、を含む。テキストデータは、ユーザによって注目付加領域に記入された文字を示すテキストデータ、すなわち、図７のＳ４２５の文字認識処理において特定された文字を示す。文字が対応付けられる位置を示す位置情報は、対象画像内における対応する付箋画像の位置を示す座標の情報が用いられる。例えば、図３（Ａ）の付箋画像ＡＩ１の領域が、注目付加領域である場合には、本ステップにて、注釈テキストコードＴＣが生成される。

記入対象が、非文字である場合には（Ｓ５２５：ＮＯ）、Ｓ５３５にて、ＣＰＵ３１０は、注釈画像データＩＣを生成する。注釈画像データＩＣは、ページ画像を補足するための画像を示すデータである。注釈画像データＩＣは、例えば、ページ画像を補足するための画像を示す画像ファイルと、ページ画像において当該画像が対応付けられる位置を示す位置情報と、を含む。画像ファイルは、注目付加領域内の画像、本実施例では、注目付加領域に対応する付箋画像を示す。ＣＰＵ３１０は、対象画像をトリミングして、対応する付箋画像の外縁に沿って、外縁の内部の画像を切り出すことによって、対象画像データから対応する付箋画像の外縁の内部を示す部分画像データを抽出する。ＣＰＵ３１０は、当該部分画像データをＪＰＥＧ形式に変換することによって、注釈画像データＩＣ用の画像ファイルを生成する。画像が対応付けられる位置を示す位置情報は、対象画像内における対応する付箋画像の位置を示す座標の情報が用いられる。例えば、図３（Ａ）の付箋画像ＡＩ２の領域が、注目付加領域である場合には、本ステップにて、注釈画像データＩＣが生成される。

なお、入力フォームコードＦＣ、注釈画像データＩＣ、注釈テキストコードＴＣは、例えば、ＰＤＦの規格（例えば、ＩＳＯ−３２０００−１：２００８）に従って、記述される。注釈画像データＩＣ、注釈テキストコードＴなどの注釈データは、ページ画像とは分離した形でページ画像と対応付けられるデータである。

Ｓ５４０では、ＣＰＵ３１０は、注目特定色を有する付箋画像によって規定される全ての付加領域を処理したか否かを判断する。未処理の付加領域がある場合には（Ｓ５４０：ＮＯ）、ＣＰＵ３１０は、Ｓ５１０に戻って、未処理の付加領域を選択する。全ての付加領域を処理した場合には（Ｓ５４０：ＹＥＳ）、ＣＰＵ３１０は、Ｓ５５０に処理を進める。

Ｓ５４５では、ＣＰＵ３１０は、対象画像から付加領域内の画像が消去された消去済画像を示す消去済画像データを生成する。例えば、付加領域内の複数個の画素のＲＧＢ値を、対象画像の背景色（例えば、白色）を示すＲＧＢ値に置換することによって、消去済画像データが生成される。本実施例では、付加領域内の画像は、図６の付加領域特定処理にて特定された付箋画像そのもの（すなわち、付箋画像の外縁の内部の画像そのもの）である。したがって、本実施例では、付加領域特定処理にて特定された付箋画像を構成する複数個の画素のＲＧＢ値が、対象画像の背景色を示すＲＧＢ値に置換される。

Ｓ５５０では、ＣＰＵ３１０は、生成された消去済画像データを含むＰＤＦファイルを生成する。具体的には、ＣＰＵ３１０は、図５（Ａ）に示されるページデータＰＤ１１に代えて、図５（Ｂ）に示すページデータＰＤ１２を含むＰＤＦファイルを生成する。このページデータＰＤ１２は、ＪＰＥＧ圧縮された消去済画像データＥＤをページ記述データとして含んでいる。

Ｓ５５５では、ＣＰＵ３１０は、Ｓ５２０、Ｓ５３０、Ｓ５３５にて生成済のコード等（すなわち、注釈テキストコードＴＣ、入力フォームコードＦＣ、注釈画像データＩＣの少なくとも１つ）を、Ｓ５５０にて生成されたＰＤＦファイルに含まれるページデータ（例えば、図５（Ｂ）のページデータＰＤ１２）に、付属データとして追加する。具体的には、図５（Ｂ）のページデータＰＤ１２に各種のコードを付加することによって、図５（Ｃ）〜（Ｅ）のいずれかのページデータが生成される。図５(Ｃ)は、図３（Ａ）のスキャン画像ＳＩ１を示すスキャンデータが対象画像データである場合に、図３（Ａ）の付箋画像ＡＩ１に関して生成されるページデータＰＤ１３を示す。図５（Ｄ）は、図３（Ａ）のスキャン画像ＳＩ１を示すスキャンデータが対象画像データである場合に、図３（Ａ）の付箋画像ＡＩ２に関して生成されるページデータＰＤ１４を示す。図５（Ｅ）は、図３（Ｂ）のスキャン画像ＳＩ２を示すスキャンデータが対象画像データである場合に生成されるページデータＰＤ１５を示す。この結果、注目特定色についての出力ＰＤＦファイルが完成する。

Ｓ５６０では、対象画像内にて特定された付箋画像の全ての特定色について、注目特定色として処理したか否かを判断する。未処理の特定色がある場合には（Ｓ５６０：ＮＯ）、ＣＰＵ３１０は、Ｓ５０５に戻って、未処理の特定色を選択する。全ての特定色について処理した場合には（Ｓ５６０：ＹＥＳ）、ＣＰＵ３１０は、出力ＰＤＦファイル生成処理を終了する。

以上の出力ＰＤＦファイル生成処理が実行されると、対象画像内に含まれる付箋画像の色ごとに、１個ずつの出力ＰＤＦファイルが生成される。例えば、図３（Ａ）のスキャン画像ＳＩ１は、２種類の特定色をそれぞれ有する付箋画像ＡＩ１、ＡＩ２を含む。このために、スキャン画像ＳＩ１を示すスキャンデータが、対象画像データである場合には、２種類の特定色にそれぞれ対応する２個の出力ＰＤＦファイルが生成される。２個の出力ＰＤＦファイルは、図５（Ｃ）のページデータＰＤ１３を含む出力ＰＤＦファイルＦＬ１と、図５（Ｄ）のページデータＰＤ１４を含む出力ＰＤＦファイルＦＬ２である。また、図３（Ｂ）のスキャン画像ＳＩ２は、１種類の特定色を有する２個の付箋画像ＡＩ３、ＡＩ４を含む。

換言すれば、第１の色（例えば、青）を有する第１の付箋画像ＡＩ１と、第２の色（例えば、赤）を有する第２の付箋画像ＡＩ２と、を含むスキャン画像ＳＩ２を示すスキャンデータが、対象画像データであるとする。この場合には、図６の付加領域特定処理にて、第１の付箋画像ＡＩ１によって規定される第１の付加領域と、第２の付箋画像ＡＩ２によって規定される第２の付加領域とが、特定される。そして、図８の出力ＰＤＦファイル生成処理において、第１の付加領域内の画像（具体的には、文字である記入対象）に対応する注釈テキストコードＴＣを含む第１の出力ＰＤＦファイルＦＬ１と、第２の付加領域内の画像（具体的には、描画である記入対象）に対応する注釈画像データＩＣを含む第２の出力ＰＤＦファイルＦＬ２と、が生成される。この結果、ユーザは、色が互いに異なる複数種類の付箋を１個のシートに貼り付けることによって、貼り付けられた付箋の色の個数分の出力ＰＤＦファイルを簡単に生成することができる。

一方、スキャン画像ＳＩ２を示すスキャンデータが、対象画像データである場合には、１種類の特定色に対応する１個の出力ＰＤＦファイルＦＬが生成される。１個の出力ＰＤＦファイルは、図５（Ｅ）のページデータＰＤ１５を含む出力ＰＤＦファイルである。

出力ＰＤＦファイル生成処理が終了すると、図２のＳ２５０では、ＣＰＵ３１０は、生成した出力ＰＤＦファイルを、ネットワーク５００を介して、複合機１００に送信する。Ｓ１３０では、複合機１００のＣＰＵ１１０は、サーバ３００から出力ＰＤＦファイルを受信する。Ｓ１４０では、ＣＰＵ１１０は、受信した出力ＰＤＦファイルを、例えば、不揮発性記憶装置１３０に保存する。出力ＰＤＦファイルは、ユーザの利用に供される。例えば、ユーザは、出力ＰＤＦファイルを、ユーザの端末装置に保存して、公知のＰＤＦファイル用の閲覧ソフトを用いて、出力ＰＤＦファイルを再生することができる。具体的には、出力ＰＤＦファイルによって示される画像を表示、印刷することができる。

図９、図１０は、出力ＰＤＦファイルを、閲覧ソフトを用いて表示した様子を示す図である。図９（Ａ）には、図５（Ｃ）のページデータＰＤ１３を含む出力ＰＤＦファイルＦＬ１が表示される様子が示されている。図９（Ａ）に示すように、出力ＰＤＦファイルＦＬ１を表示すると、例えば、端末装置の画面において、消去済画像ＥＩ１と、注釈テキストＡＮ１と、が表示される。消去済画像ＥＩ１は、出力ＰＤＦファイルＦＬ１のページデータＰＤ１３に格納された消去済画像データＥＤによって示される画像、すなわち、図３（Ａ）のスキャン画像ＳＩ１から付箋画像ＡＩ１、ＡＩ２が消去された画像である。注釈テキストＡＮ１は、ページデータＰＤ１３に格納された注釈テキストコードＴＣによって示される文字である。注釈テキストＡＮ１は、図３（Ａ）のスキャン画像ＳＩ１内の付箋画像ＡＩ１内の文字、すなわち、シートＳＴ１上にユーザによって貼り付けられた付箋ＡＰ１上にユーザによって記入された文字を示す。ここで、端末装置の表示部において表示される際に、消去済画像ＥＩ１は、図９（Ａ）に示すように、注釈テキストＡＮ１と同時に表示可能である。また、図示は省略するが、例えば、閲覧ソフトにおいて、注釈テキストＡＮ１を非表示に設定することによって、消去済画像ＥＩ１のみが表示部に表示される。すなわち、消去済画像ＥＩ１は、注釈テキストＡＮ１とは独立して表示可能である。

また、図９（Ａ）の注釈テキストＡＮ１は、消去済画像ＥＩ１上に配置されたマーカＭ１を介して、消去済画像ＥＩ１上の特定の位置に関係付けて表示されている。この特定の位置は、注釈テキストコードＴＣに含まれる位置情報によって示される位置である。また、特定の位置は、スキャン画像ＳＩ１において、付箋画像ＡＩ１が配置されている位置である。

図９（Ｂ）には、図５（Ｄ）のページデータＰＤ１４を含む出力ＰＤＦファイルＦＬ２が表示される様子が示されている。図９（Ｂ）に示すように、出力ＰＤＦファイルＦＬ２を表示すると、例えば、端末装置の画面において、消去済画像ＥＩ１と、注釈画像ＡＮ２と、が表示される。注釈画像ＡＮ２は、ページデータＰＤ１４に格納された注釈画像データＩＣによって示される画像、すなわち、注釈画像データに含まれる画像ファイルによって示される画像である。注釈画像ＡＮ２は、図３（Ａ）のスキャン画像ＳＩ１内の付箋画像ＡＩ２内の描画、すなわち、シートＳＴ１上にユーザによって貼り付けられた付箋ＡＰ２上にユーザによって記入された描画を示す。出力ＰＤＦファイルＦＬ２を、閲覧ソフトを用いて、端末装置の画面に表示すると、出力ＰＤＦファイルＦＬ１と同様に、消去済画像ＥＩ１は、注釈画像ＡＮ２と独立して表示可能であるとともに、注釈画像ＡＮ２と同時に表示可能である。

また、図９（Ｂ）の注釈画像ＡＮ２は、消去済画像ＥＩ１上に配置されたマーカＭ２を介して、消去済画像ＥＩ１上の特定の位置に関係付けて表示されている。この特定の位置は、注釈画像データＩＣに含まれる位置情報によって示される位置である。また、特定の位置は、スキャン画像ＳＩ１において、付箋画像ＡＩ２が配置されている位置である。

注釈画像データ、および、注釈テキストコードは、付加領域内において特定された記入対象（すなわち、付箋画像に記入された文字や描画）を示している。そして、記入対象を含む付箋画像は、消去済画像には含まれていない。このことから、注釈画像データ、および、注釈テキストコードは、付箋画像に関して、付箋画像が消去された消去済画像を補足する補足情報を示す補足情報データである、と言うことができる。

図１０には、図５（Ｅ）のページデータＰＤ１５を含む出力ＰＤＦファイルＦＬ３が表示される様子が示されている。図１０に示すように、出力ＰＤＦファイルＦＬ３を表示すると、例えば、端末装置の画面において、消去済画像ＥＩ２と、２個の入力欄ＩＦ１、ＩＦ２と、が表示される。消去済画像ＥＩ２は、出力ＰＤＦファイルＦＬ３のページデータＰＤ１５に格納された消去済画像データＥＤによって示される画像、すなわち、図３（Ｂ）のスキャン画像ＳＩ２から付箋画像ＡＩ３、ＡＩ４が消去された画像である。入力欄ＩＦ１、ＩＦ２は、ページデータＰＤ１５に格納された入力フォームコードＦＣ１、ＦＣ２によって示されるテキストの入力欄である。ここで、端末装置の表示部において表示される際に、入力欄ＩＦ１、ＩＦ２は、ユーザの操作に基づいて、表示と非表示とを切り替えることができる。すなわち、消去済画像ＥＩ２は、図１０に示すように、入力欄ＩＦ１、ＩＦ２と同時に表示可能である。また、消去済画像ＥＩ１は、入力欄ＩＦ１、ＩＦ２とは独立して表示可能である。

入力欄ＩＦ１、ＩＦ２は、消去済画像ＥＩ２内の特定の位置に特定のサイズで配置されている。入力欄ＩＦ１、ＩＦ２の特定の位置は、入力フォームコードＦＣ１、ＦＣ２に含まれる位置情報によって示される位置、すなわち、スキャン画像ＳＩ２において、付箋画像ＡＩ３、ＡＩ４が配置された位置である。また、入力欄ＩＦ１、ＩＦ２の特定のサイズは、入力フォームコードＦＣ１、ＦＣ２に含まれるサイズ情報によって示されるサイズ、すなわち、スキャン画像ＳＩ２における付箋画像ＡＩ３、ＡＩ４のサイズである。

以上説明した本実施例によれば、ＣＰＵ３１０は、シート（例えば、シートＳＴ１）上の元画像（例えば、元画像ＯＩ１）と、シート上にユーザによって付加された付箋画像ＡＩ１、ＡＩ２と、を含む対象画像（例えば、スキャン画像ＳＩ１）を示す対象画像データを取得する（図２のＳ２１０）。そして、ＣＰＵ３１０は、図６の付加領域特定処理にて、対象画像データを解析することによって、付箋画像（例えば、付箋画像ＡＩ１、ＡＩ２）の外縁によって囲まれる付加領域を特定する。ＣＰＵ３１０は、図７の記入対象特定処理にて、対象画像データのうち、付加領域内の画像を示す部分画像データを解析することによって、付加領域内において、付箋画像に含まれる文字や描画を記入対象として特定する。ＣＰＵ３１０は、図８の出力ＰＤＦファイル生成処理にて、記入対象の特定結果と、対象画像データと、を用いて、消去済画像データＥＤと、補足情報データ（例えば、注釈テキストコードＴＣ、注釈画像データＩＣ）と、を生成して、消去済画像データＥＤと補足情報データとを含む出力ＰＤＦファイルを生成する。この結果、シート上に付加された記入対象を適切に特定して、ユーザが所望する出力ＰＤＦファイルを生成することができる。

より詳しく説明する。例えば、シート上に付箋を貼ることなく、直接に記入対象がシート上に記入されている場合などに、スキャンデータを解析することによって、記入対象を適切に特定することは困難である場合がある。例えば、シート上の元画像のオブジェクトと、ユーザによって記入された記入対象と、の区別が困難である場合があるからである。本実施例では、ユーザは、シート上に付箋を貼り付けて、当該付箋上に記入対象を記入することとしている。そして、ＣＰＵ３１０は、先ずは、対象画像データを解析して、付箋を示す付箋画像を特定することとしている。付箋は、例えば、特定色（青、赤、黄など）を有していることや、特定の形状（矩形など）を有していること、などの特徴があるために、付箋画像を精度良く特定することは、比較的容易である。そして、ＣＰＵ３１０は、付箋画像の外縁によって規定される付加領域内の画像を示す部分画像データを解析することによって、記入対象を特定する。この結果、元画像ＯＩ１内のオブジェクトを誤って記入対象として特定することや、記入対象の特定漏れの発生を抑制して、記入対象を精度良く特定することができる。また、記入対象が付箋上に記入されていない場合には、記入対象が付箋上に記入されていないことを精度良く判断することができる。この結果、ユーザが所望する出力ＰＤＦファイルを生成することができる。

また、ＣＰＵ３１０は、付箋画像を構成する閉じた線で囲まれる領域（すなわち、付箋画像によって規定される付加領域）が存在するかを解析することによって、前記付加領域を特定する（図６のＳ３２０）。この結果、付箋画像（すなわち、付加領域）を適切に特定することができる。

より具体的には、ＣＰＵ３１０は、対象画像データを解析することによって、対象画像内の背景色（例えば、白）とは異なる予め定められた特定色（例えば、赤、青、黄）を有する部分画像である付箋画像を特定し、特定された付箋画像の外縁に囲まれた領域を付加領域として特定する（図６のＳ３０５〜Ｓ３３５）。この結果、予め定められた色を有する付箋を、シートに貼り付けることによって、ユーザは、シートに、付加領域を規定するための付加画像を簡単に付加することができる。したがって、ユーザが所望する出力ＰＤＦファイルを、精度良く、かつ、簡単に生成することができる。

さらに、図７の記入対象特定処理にて、付加領域内に、文字が特定された場合には、図８の出力ＰＤＦファイル生成処理にて、当該文字を示すテキストデータを含む注釈テキストコードＴＣが生成され（Ｓ５３０）、注釈テキストコードＴＣを含む出力ＰＤＦファイルが生成される（Ｓ５５５）。さらに、付加領域内に、文字とは異なる画像（例えば、描画）が特定された場合には、当該付加領域内の画像を示す画像データ（画像ファイル）を含む注釈画像データＩＣが生成され（Ｓ５３５）、当該注釈画像データＩＣを含む出力ＰＤＦファイルが生成される（Ｓ５５５）。こうすれば、付加領域内にて特定される画像（具体的には、文字を示すか否か）に応じて、異なる種類の補足情報データを含む出力ＰＤＦファイルが生成される。したがって、ユーザが所望する種類の補足情報データを含む出力ＰＤＦファイルを柔軟に生成することができる。

より具体的には、図７の記入対象特定処理では、付加領域内の画像に対して、文字認識処理が実行され（Ｓ４２５）、文字が認識されるか否かが判断される（Ｓ４３０）。そして、文字認識処理によって文字が認識される場合に、注釈テキストコードＴＣを含む出力ＰＤＦファイルが生成され、文字認識処理によって文字が認識されない場合に、注釈画像データＩＣを含む出力ＰＤＦファイルが生成される。こうすれば、付加領域内に文字認識処理によって文字が認識されるか否かによって、異なる種類の補足情報データを含む出力ＰＤＦファイルが生成される。したがって、ユーザが所望する出力ＰＤＦファイルを適切に生成することができる。

そして、注釈テキストＡＮ１や注釈画像ＡＮ２は、図９に示すように、消去済画像ＥＩ１と同時に表示される場合に、対象画像内で付箋画像ＡＩ１、ＡＩ２が存在する位置、すなわち、対象画像内で付加領域が存在する位置に対応する消去済画像ＥＩ１内の位置Ｍ１、Ｍ２と対応付けて、表現される。この結果、よりユーザの意図が反映された出力ＰＤＦファイルを生成することができる。

さらに、図７の記入対象特定処理では、付加領域内において、非背景画素を特定することによって、記入対象が特定され（Ｓ４１０）、閾値ＴＨ２以上の個数の非背景画素が特定される場合には（Ｓ４１５：ＹＥＳ）、図８の出力ＰＤＦファイル生成処理において、当該非背景画素が示す記入対象（たとえば、文字や非文字）を示す補足情報データ（例えば、注釈テキストコードＴＣや注釈画像データＩＣ）を含む出力ＰＤＦファイルが生成される。閾値ＴＨ２以上の個数の非背景画素が特定されない場合には（Ｓ４１５：ＮＯ）、図８の出力ＰＤＦファイル生成処理において、入力欄ＩＦ１、ＩＦ２を示す入力フォームコードＦＣを含む出力ＰＤＦファイルが生成される。この結果、付加領域内に閾値以上の個数の非背景画素が特定できるか否かによって、異なる種類の付属データを含む出力ＰＤＦファイルが生成される。したがって、ユーザが所望する画像ファイルを適切に生成し得る。

入力欄ＩＦ１、ＩＦ２は、図１０に示すように、消去済画像ＥＩ２と同時に表示される場合に、対象画像内で対応する付箋画像ＡＩ３、ＡＩ４（すなわち、対応する付加領域）が存在する位置に対応する消去済画像ＥＩ２内の位置に配置される。この結果、入力欄がユーザの所望する位置に配置された画像を示す出力ＰＤＦファイルを簡単に生成できる。具体的には、ユーザは、シート上の元画像における入力欄を配置したい位置に、なにも記入されていない付箋を貼り付ければ良い。

また、入力欄ＩＦ１、ＩＦ２のサイズは、付箋画像によって規定される付加領域のサイズに基づいて決定されている。具体的には、消去済画像ＥＩ２における入力欄ＩＦ１、ＩＦ２のサイズは、対象画像（スキャン画像ＳＩ２）における付箋画像ＡＩ３、ＡＩ４のサイズと等しい。この結果、ユーザの所望するサイズの入力欄が配置された画像を示す出力ＰＤＦファイルを簡単に生成できる。具体的には、ユーザは、シート上の元画像に配置したい入力欄に相当するサイズの付箋を貼り付ければ良い。

以上の説明から解るように、第１実施例の付箋画像ＡＩ１〜ＡＩ４は、付加画像の例である。また、注釈テキストＡＮ１、注釈画像ＡＮ２は、補足情報の例であり、注釈テキストコードＴＣ、注釈画像データＩＣは、補足情報データの例であり、入力フォームコードＦＣは、入力欄データの例である。

Ｂ.第２実施例：
第１実施例では、付加領域は、付箋の外縁によって規定されているが、第２実施例では、付加領域は、囲み線によって規定される。囲み線は、ユーザによって、シート上に記入される線状の画像であり、対象画像内の一部の領域を囲む線状の画像である。囲み線は、予め定められた特定色（たとえば、赤、青、黄）のペンで記入されるので、予め定められた特定色を有する。

図１１は、第２実施例で用いられる画像の一例を示す図である。図１１（Ａ）、（Ｂ）には、シートＳＴ１ｂ、ＳＴ２ｂがスキャンされることによって生成される第２実施例のスキャンデータによって表されるスキャン画像ＳＩ１ｂ、ＳＩ２ｂが示されている。

図１１（Ａ）のシートＳＴ１ｂでは、元画像ＯＩ１を表すシートＳＴ１ｂ上に、記入対象としての文字ＵＴ、描画ＵＧが、記入されている。そして、これらの文字ＵＴ、描画ＵＧは、上述した囲み線ＡＰ１ｂ、ＡＰ２ｂによって囲まれている。

したがって、囲み線ＡＰ１ｂ、ＡＰ２ｂ、文字ＵＴ、描画ＵＧが記入されたシートＳＴ１ｂを読み取って生成されたスキャン画像ＳＩ１ｂは、元画像ＯＩ１と、囲み線ＡＰ１ｂ、ＡＰ２ｂを示す囲み線画像ＡＩ１ｂ、ＡＩ２ｂと、文字ＵＴと、描画ＵＧと、を含んでいる。

図１１（Ｂ）のシートＳＴ２ｂでは、囲み線ＡＰ３ｂ、ＡＰ４ｂが記入されている。これらの囲み線ＡＰ３ｂ、ＡＰ４ｂは、例えば、定規などを用いて矩形に記入されている。囲み線ＡＰ３ｂ、ＡＰ４ｂの内側には、記入対象としての文字や描画は、記入されていない。

したがって、シートＳＴ２ｂを読み取って生成されたスキャン画像ＳＩ２ｂは、元画像ＯＩ２と、囲み線ＡＰ３ｂ、ＡＰ４ｂを示す囲み線画像ＡＩ３ｂ、ＡＩ４ｂと、を含んでいる。

第１実施例の付加領域は、付箋画像によって規定される領域、具体的には、付箋画像の外縁によって囲まれる領域であるが、第２実施例の付加領域は、囲み線画像ＡＩ２ｂ〜ＡＩ４ｂによって規定される領域、具体的には、囲み線画像ＡＩ２ｂ〜ＡＩ４ｂによって囲まれる領域である。

このために、第２実施例の付加領域特定処理は、第１実施例の図６の付加領域特定処理とは、異なっている。図１２は、第２実施例の付加領域特定処理のフローチャートである。図１２の付加領域特定処理では、図６の付加領域特定処理のＳ３２０、Ｓ３２５、Ｓ３３０、Ｓ３３５、Ｓ３４５に代えて、Ｓ３２０ｂ、Ｓ３２５ｂ、Ｓ３３０ｂ、Ｓ３３５ｂ、Ｓ３４５ｂが実行される。

第２実施例の付加領域特定処理では、図１１（Ａ）のスキャン画像ＳＩ１ｂを示すスキャンデータが対象画像データである場合には、Ｓ３１０が実行された時点で、図１１（Ｃ）に示す抽出画像ＢＩ１ｂを示す抽出画像データが生成される。抽出画像ＢＩ１ｂでは、囲み線画像ＡＩ１ｂ、ＡＩ２ｂにそれぞれ対応する特定色オブジェクトＣＰ１ｂ、ＣＰ２ｂと、描画Ｇ１の一部分に対応する特定色オブジェクトＣＰ３と、が特定されている。

また、第２実施例の付加領域特定処理では、図１１（Ｂ）のスキャン画像ＳＩ２ｂを示すスキャンデータが対象画像データである場合には、Ｓ３１０が実行された時点で、図１１（Ｄ）に示す抽出画像ＢＩ２ｂを示す抽出画像データが生成される。抽出画像ＢＩ２ｂでは、囲み線画像ＡＩ３ｂ、ＡＩ４ｂにそれぞれ対応する特定色オブジェクトＣＰ４ｂ、ＣＰ５ｂが、特定されている。

Ｓ３２０ｂでは、ＣＰＵ３１０は、注目特定色オブジェクトに対して、囲み線判定処理を実行する。囲み線判定処理は、特定色オブジェクトの形状が、囲み線画像としての線形状を有しているか否かを判定する処理である。囲み線判定処理は、例えば、公知の方法を用いて行われる。囲み線判定処理の詳細な方法は、例えば、特開２０１４−１８２６２２号公報（特願２０１３−５７０４３）に開示されている。

囲み線判定処理では、例えば、ＣＰＵ３１０は、注目特定色オブジェクトが、線を表しており、かつ、対象画像内の一部の領域を囲む囲み形状を有している場合に、注目特定色オブジェクトは、囲み線画像であると判定する。

先ず、注目特定色オブジェクトが、線を表しているか否かの判断について説明する。具体的には、注目特定色オブジェクトに外接する矩形領域が特定される。そして、ＣＰＵ３１０は、矩形領域内のＹ方向に沿った複数本のラインのそれぞれについて、各ライン上において連続する特定色画素の個数（連続画素数ＲＮ）を算出する。そして、複数本のラインの連続画素数ＲＮの平均値ＲＮａｖｅ１を算出する。平均値ＲＮａｖｅ１は、注目特定色オブジェクトが、線を表している場合には、線の幅に対応した比較的小さな特定範囲内の値になるので、ＣＰＵ３１０は、平均値ＲＮａｖｅ１が、特定範囲内であるか否かを判断する。同様に、ＣＰＵ３１０は、矩形領域内のＸ方向に沿った複数本のラインのそれぞれについて、連続画素数ＲＮを算出し、複数本のラインの連続画素数ＲＮの平均値ＲＮａｖｅ２を算出する。そして、ＣＰＵ３１０は、平均値ＲＮａｖｅ２が、特定範囲内であるか否かを判断する。そして、ＣＰＵ３１０は、Ｙ方向についての平均値ＲＮａｖｅ１が、特定範囲内であり、かつ、Ｘ方向についての平均値ＲＮａｖｅ２が、特定範囲内である場合に、注目特定色オブジェクトが、線を表していると判断する。

次に、注目特定色オブジェクトが、対象画像内の一部の領域を囲む囲み形状を有しているか否かの判断について説明する。ＣＰＵ３１０は、注目特定色オブジェクトを構成する複数個の特定色画素のそれぞれに対して、判定用の枠を設定する。枠は、設定対象の特定色画素を中心とする正方形の枠である。枠の縦方向および横方向のサイズは、例えば、想定される囲み線の縦方向および横方向のサイズのおよそ１／１０程度のサイズに予め設定されている。そして、ＣＰＵ３１０は、設定された枠と、注目特定色オブジェクトと、の交点の個数を、特定色画素ごとにカウントする。注目特定色オブジェクトが、囲み形状を有している場合には、全ての特定色画素において、交点の個数は、２個となるはずである。実際には、囲み線画像の一部が切れている場合や、ノイズが含まれる場合があるので、基準割合以上の特定色画素において、交点の個数が、２個である場合には、注目特定色オブジェクトがＣＰＵ３１０は、囲み形状を有していると判断する。

Ｓ３２５ｂでは、ＣＰＵ３１０は、囲み線判定処理にて、注目特定色オブジェクトが、囲み線画像であると判定されたか否かを判断する。注目特定色オブジェクトが、囲み線画像であると判定された場合には（Ｓ３２５ｂ：ＹＥＳ）、Ｓ３３０ｂにて、ＣＰＵ３１０は、注目特定色オブジェクトは、囲み線画像であると決定する。注目特定色オブジェクトが、囲み線画像であると判定されない場合には（Ｓ３２５ｂ：ＮＯ）、Ｓ３３５ｂにて、ＣＰＵ３１０は、注目特定色オブジェクトは、囲み線画像でないと決定して、決定された囲み線画像の位置、サイズ、色を示す情報を揮発性記憶装置３２０に記憶する。

このように、付加領域特定処理では、囲み線画像が付加画像として特定される。そして、当該囲み線画像によって囲まれた対象画像内の一部の領域が付加領域として特定され、当該付加領域を用いて、図７の記入対象特定処理や、図８の出力ＰＤＦファイル生成処理が実行される。

以上説明した第２実施例によれば、対象画像データを解析することによって、対象画像内の一部の領域を囲む線状の画像であって、予め定められた色を有する線状の画像である囲み線画像が付加画像として特定される（図１１）。そして、当該囲み線画像によって囲まれた対象画像内の一部の領域が付加領域として特定される。この結果、例えば、予め定められた色のペンで、シート内の領域を囲むことによって、ユーザは、シートに付加画像を簡単に付加することができる。この結果、画像処理装置は、ユーザが所望する画像と付属データ（補足情報データや入力欄データ）とを含む出力ＰＤＦファイルを簡単に生成することができる。

Ｃ.変形例
（１）上記第１実施例では、対象画像（スキャン画像）の付加領域は、付箋画像によって規定される領域であり、第２実施例では、対象画像の付加領域は、囲み線画像によって規定される領域である。一般的に言えば、付加領域は、シート上にユーザによって付加された付加画像（例えば、付箋画像や囲み線画像）を構成する閉じた線（例えば、付箋画像の外縁や、囲み線画像そのもの）で囲まれる対象画像内の領域であれば良い。

（２）上記各実施例では、補足情報データの例として、注釈テキストコードＴＣ、注釈画像データＩＣとが挙げられているが、これに限られない。補足情報データは、例えば、付加領域内の記入対象としての文字を示す音声を示す音声コードであっても良い。あるいは、補足情報データは、例えば、付加領域内のテキストをハイライト表示するハイライトコードであっても良い。一般的には、補足情報データによって示される補足情報と、消去済画像とが、同時に再生（例えば、表示や、音声出力）可能であり、互いに独立して再生可能であれば良い。

（３）上記各実施例では、注釈画像データＩＣは、対応する付加領域内の画像のみを示す画像データを含んでいる。これに代えて、注釈画像データＩＣは、スキャン画像の全体を示す画像データ、すなわち、対象画像データそのものであっても良い。この場合には、例えば、対象画像内に少なくとも１個の非文字を含む付加領域が存在する場合には、ＣＰＵ３１０は、対象画像データそのものを含む注釈画像データＩＣと、消去済画像データと、を含み、他の付加領域内の画像に対応する補足情報データを含まない、出力ＰＤＦファイルを生成しても良い。

（４）上記各実施例において、補足情報データによって示される補足情報（例えば、注釈テキストＡＮ１や注釈画像ＡＮ２）は、対象画像内の特定の位置に対応付けられている。これに代えて、注釈テキストＡＮ１や注釈画像ＡＮ２は、対象画像に対応付けられ、対象画像内の特定の位置までは規定されていなくても良い。例えば、補足情報は、付加画像の位置に関わらず、画像中央の位置に対応付けられてもよい。

（５）上記第１実施例では、１個の対象画像に、複数種類の特定色の付箋画像が含まれる場合には、複数個の出力ＰＤＦファイルが生成される。これに代えて、１個の対象画像に、複数種類の特定色の付箋画像が含まれる場合であっても、ＣＰＵ３１０は、１個の出力ＰＤＦファイルを生成しても良い。この場合には、ＣＰＵ３１０は、複数種類の特定色の付箋画像を区別することなく、複数種類の特定色の付箋画像のそれぞれについて、対応する付属データ（補足情報データや、入力欄データ）を生成して、生成された複数個の付属データを、１個の出力ＰＤＦファイルに含めれば良い。より具体的には、図８において、Ｓ５０５を省略し、図８のＳ５１０にて、ＣＰＵ３１０は、全ての付加領域を注目付加領域として選択すれば良い。

（６）上記第１実施例では、付箋画像は、特定色を有するとともに、特定の形状（具体的には、矩形）を有することを条件に特定されている。これに代えて、付箋画像は、特定色を有するベタ領域であることだけを条件に特定されても良い。すなわち、形状に関する解析は、付箋画像を特定するために実行されなくても良い。この場合には、例えば、任意の形状（例えば、丸形状、星形状）を有する付箋を用いることができる。

（７）上記各実施例では、入力ＰＤＦファイルは、１ページ分のスキャンデータを含むが、Ｍ枚（Ｍは２以上の整数）のシートを読み取って得られるＭページ分のスキャンデータを含んでも良い。この場合には、Ｍページ分の対象画像（スキャン画像）のそれぞれについて、図２のＳ２２０〜Ｓ２４０の処理が実行されて、Ｍページ分の消去済画像を含む出力ＰＤＦファイルが生成されても良い。

（８）上記各実施例の入力ＰＤＦファイルや、出力ＰＤＦファイルは、他の形式の画像ファイルであっても良い。例えば、入力ＰＤＦファイルに代えて、ＪＰＥＧ形式のファイルやＴＩＦ形式のファイルなどの任意の形式の画像ファイルが用いられ得る。また、出力ＰＤＦファイルに代えて、補足情報データと、画像データと、を独立して格納可能であり、当該画像データによって示される画像と、補足情報データによって示される補足情報と、を同時に再生可能であるとともに、独立して再生可能である他のフォーマットを有する画像ファイルが用いられ得る。例えば、注釈を示す注釈データを、画像データとは別に格納可能なページ記述言語、例えば、ＸＰＳ（XML Paper Specification）形式の画像ファイルを採用可能である。

（９）上記実施例では、対象画像データとして、読取実行部１６０によって光学的に読み取られたスキャンデータが採用されている。これに限らず、例えば、デジタルカメラによって光学的に読み取られた画像データが採用されても良い。

（１０）上記実施例のサーバ３００が実行する画像処理は、サーバ３００と異なる種類の装置（例えば、デジタルカメラ、スキャナ、パーソナルコンピュータ、携帯電話）によって実現されてもよい。また、サーバ３００は、ネットワークを介して互いに通信可能な複数個の装置（例えば、コンピュータ）を含んでも良い。サーバ３００が実行する画像処理は、複数個の装置によって、一部ずつ実行され得る。この場合には、複数個の装置が、１個の画像処理装置として機能する。

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、サーバ３００が実行する画像処理の全部または一部は、論理回路を含む専用のハードウェア回路によって実現されても良い。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１００...複合機、１１０...ＣＰＵ、１２０...揮発性記憶装置、１３０...不揮発性記憶装置、１３２...コンピュータプログラム、１４０...表示部、１５０...操作部、１６０...読取実行部、１７０...印刷実行部、１８０...通信インタフェース、３００...サーバ、３１０...ＣＰＵ、３２０...揮発性記憶装置、３３０...不揮発性記憶装置、３３２...コンピュータプログラム、３８０...通信インタフェース、５００...ネットワーク

Claims (16)

1. シート上の元画像と、前記シート上にユーザによって付加された付加画像と、を含む対象画像を示す対象画像データであって、前記シートを光学的に読み取ることによって生成される前記対象画像データを取得する取得部と、
   前記対象画像データを解析することによって、前記付加画像を構成する閉じた線で囲まれる前記対象画像内の領域である付加領域であって、前記付加画像を含む前記付加領域を特定する第１特定部と、
   前記対象画像データのうち、前記付加領域内の画像を示す部分画像データを解析することによって、前記付加領域内において、前記付加画像に含まれる記入対象を特定する第２特定部と、
   前記第２特定部による特定結果と、前記対象画像データと、を用いて、前記対象画像から前記付加画像が消去された消去済画像を示す消去済画像データと、前記付加画像に関して前記消去済画像を補足する補足情報を示す補足情報データと、を生成して、前記消去済画像データと前記補足情報データとを含む画像ファイルを生成する生成部であって、前記画像ファイルは、前記補足情報データによって示される前記補足情報と独立して前記消去済画像を再生可能であるとともに、前記消去済画像と前記補足情報とを同時に再生可能である特定のファイルフォーマットを有する、前記生成部と、
   を備え、
   前記第２特定部は、前記付加領域内の画像に対して、文字認識処理を実行して、前記記入対象としての文字が認識されるか否かを判断し、
   前記生成部は、
   前記第２特定部によって前記付加領域内に文字が認識される場合に、認識された文字を示すテキスト情報を含む第１種の補足情報データを含む前記画像ファイルを生成し、
   前記第２特定部によって前記付加領域内に文字が認識されない場合に、前記付加領域内の文字とは異なる前記記入対象を少なくとも示す画像データを含む第２種の補足情報データを含む前記画像ファイルを生成する、画像処理装置。
   
   
2. シート上の元画像と、前記シート上にユーザによって付加された付加画像と、を含む対象画像を示す対象画像データであって、前記シートを光学的に読み取ることによって生成される前記対象画像データを取得する取得部と、
   前記対象画像データを解析することによって、前記付加画像を構成する閉じた線で囲まれる前記対象画像内の領域である付加領域であって、前記付加画像を含む前記付加領域を特定する第１特定部と、
   前記対象画像データのうち、前記付加領域内の画像を示す部分画像データを解析することによって、前記付加領域内において、前記付加画像に含まれる記入対象を特定する第２特定部と、
   前記第２特定部による特定結果と、前記対象画像データと、を用いて、前記対象画像から前記付加画像が消去された消去済画像を示す消去済画像データと、前記付加画像に関して前記消去済画像を補足する補足情報を示す補足情報データと、を生成して、前記消去済画像データと前記補足情報データとを含む画像ファイルを生成する生成部であって、前記画像ファイルは、前記補足情報データによって示される前記補足情報と独立して前記消去済画像を再生可能であるとともに、前記消去済画像と前記補足情報とを同時に再生可能である特定のファイルフォーマットを有する、前記生成部と、
   を備え、
   前記第２特定部は、前記付加領域内において、前記付加領域内の背景画素とは異なる色を示す非背景画素を特定することによって、前記付加領域の背景とは異なる画像を特定し、
   前記生成部は、
   前記第２特定部によって前記付加領域内に、閾値以上の個数の前記非背景画素が特定される場合には、前記閾値以上の個数の前記非背景画素が示す前記補足情報を示す前記補足情報データを含む前記画像ファイルを生成し、
   前記第２特定部によって前記付加領域内に前記閾値以上の個数の前記非背景画素が特定されない場合には、ユーザによる入力を受け取るための入力欄であって前記消去済画像内に配置される前記入力欄を示す入力欄データを含む前記画像ファイルを生成する、画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記取得部は、前記付加画像として、第１の色を有する第１の付加画像と、第２の色を有する第２の付加画像と、を含む前記対象画像を示す前記対象画像データを取得し、
   前記第１特定部は、前記第１の付加画像によって規定された第１の付加領域と、前記第２の付加画像によって規定された第２の付加領域と、を特定し、
   前記生成部は、前記画像ファイルとして、第１の画像ファイルと第２の画像ファイルとを生成し、
   前記第１の画像ファイルは、前記対象画像データに基づく前記消去済画像データと、前記第１の付加画像に対応する第１の補足情報データと、を含み、
   前記第２の画像ファイルは、前記消去済画像データと、前記第２の付加画像に対応する第２の補足情報データと、を含む、画像処理装置。
4. シート上の元画像と、前記シート上にユーザによって付加された付加画像と、を含む対象画像を示す対象画像データであって、前記シートを光学的に読み取ることによって生成される前記対象画像データを取得する取得部であって、前記対象画像は、前記付加画像として、第１の色を有する第１の付加画像と、第２の色を有する第２の付加画像と、を含む、前記取得部と、
   前記対象画像データを解析することによって、前記付加画像を構成する閉じた線で囲まれる前記対象画像内の領域である付加領域であって、前記付加画像を含む前記付加領域を特定する第１特定部であって、前記付加領域として、前記第１の付加画像によって規定された第１の付加領域と、前記第２の付加画像によって規定された第２の付加領域と、を特定する、前記第１特定部と、
   前記対象画像データのうち、前記付加領域内の画像を示す部分画像データを解析することによって、前記付加領域内において、前記付加画像に含まれる記入対象を特定する第２特定部と、
   前記第２特定部による特定結果と、前記対象画像データと、を用いて、前記対象画像から前記付加画像が消去された消去済画像を示す消去済画像データと、前記付加画像に関して前記消去済画像を補足する補足情報を示す補足情報データと、を生成して、前記消去済画像データと前記補足情報データとを含む画像ファイルを生成する生成部であって、前記画像ファイルは、前記補足情報データによって示される前記補足情報と独立して前記消去済画像を再生可能であるとともに、前記消去済画像と前記補足情報とを同時に再生可能である特定のファイルフォーマットを有する、前記生成部と、
   を備え、
   前記生成部は、前記画像ファイルとして、第１の画像ファイルと第２の画像ファイルとを生成し、
   前記第１の画像ファイルは、前記対象画像データに基づく前記消去済画像データと、前記第１の付加画像に対応する第１の補足情報データと、を含み、
   前記第２の画像ファイルは、前記消去済画像データと、前記第２の付加画像に対応する第２の補足情報データと、を含む、画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記第２特定部によって、前記付加領域内に、前記記入対象として文字が特定された場合には、前記生成部は、特定された文字を示すテキスト情報を含む第１種の補足情報データを含む前記画像ファイルを生成し、
   前記第２特定部によって、前記付加領域内に、文字とは異なる前記記入対象が特定された場合には、前記付加領域内の前記記入対象を少なくとも示す画像データを含む第２種の補足情報データを含む前記画像ファイルを生成する、画像処理装置。
6. 請求項５に記載の画像処理装置であって、さらに、
   前記第２特定部は、前記付加領域内の画像に対して、文字認識処理を実行して、文字が認識されるか否かを判断し、
   前記生成部は、
   前記付加領域内に文字が認識される場合に、前記第１種の補足情報データを含む前記画像ファイルを生成し、
   前記付加領域内に文字が認識されない場合に、前記第２種の補足情報データを含む前記画像ファイルを生成する、画像処理装置。
7. 請求項４に記載の画像処理装置であって、
   前記第２特定部は、前記付加領域内において、前記付加領域内の背景画素とは異なる色を示す非背景画素を特定することによって、前記付加領域の背景とは異なる画像を特定し、
   前記生成部は、
   前記第２特定部によって前記付加領域内に、閾値以上の個数の前記非背景画素が特定される場合には、前記閾値以上の個数の前記非背景画素が示す前記補足情報を示す前記補足情報データを含む前記画像ファイルを生成し、
   前記第２特定部によって前記付加領域内に前記閾値以上の個数の前記非背景画素が特定されない場合には、ユーザによる入力を受け取るための入力欄であって前記消去済画像内に配置される前記入力欄を示す入力欄データを含む前記画像ファイルを生成する、画像処理装置。
8. 請求項２または７に記載の画像処理装置であって、
   前記入力欄は、前記消去済画像と同時に再生される場合に、前記対象画像内で前記付加領域が存在する位置に対応する前記消去済画像内の位置に配置される、画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記入力欄のサイズは、前記付加画像によって規定される前記付加領域のサイズに基づいて決定される、画像処理装置。
10. 請求項１〜９のいずれかに記載の画像処理装置であって、
    前記第１特定部は、前記対象画像内に前記閉じた線で囲まれる領域が存在するかを解析することによって、前記付加領域を特定する、画像処理装置。
11. 請求項１〜１０のいずれかに記載の画像処理装置であって、
    前記第１特定部は、
    前記対象画像データを解析することによって、前記対象画像内の背景色とは異なる予め定められた色を有する部分画像を前記付加画像として特定し、
    特定された前記付加画像の外縁に囲まれた領域を前記付加領域として特定する、画像処理装置。
12. 請求項１〜９のいずれかに記載の画像処理装置であって、
    前記第１特定部は、
    前記対象画像データを解析することによって、前記対象画像内の一部の領域を囲む線状の画像であって、予め定められた色を有する、前記線状の画像を前記付加画像として特定し、
    前記線状の画像によって囲まれた前記対象画像内の一部の領域を前記付加領域として特定する、画像処理装置。
13. 請求項１〜１２のいずれかに記載の画像処理装置であって、
    前記補足情報は、前記消去済画像と前記補足情報とが同時に再生される場合に、前記対象画像内で前記付加領域が存在する位置に対応する前記消去済画像内の位置と関係付けて表現される、画像処理装置。
14. シート上の元画像と、前記シート上にユーザによって付加された付加画像と、を含む対象画像を示す対象画像データであって、前記シートを光学的に読み取ることによって生成される前記対象画像データを取得する取得機能と、
    前記対象画像データを解析することによって、前記付加画像を構成する閉じた線で囲まれる前記対象画像内の領域である付加領域であって、前記付加画像を含む前記付加領域を特定する第１特定機能と、
    前記対象画像データのうち、前記付加領域内の画像を示す部分画像データを解析することによって、前記付加領域内において、前記付加画像に含まれる記入対象を特定する第２特定機能と、
    前記第２特定機能による特定結果と、前記対象画像データと、を用いて、前記対象画像から前記付加画像が消去された消去済画像を示す消去済画像データと、前記付加画像に関して前記消去済画像を補足する補足情報を示す補足情報データと、を生成して、前記消去済画像データと前記補足情報データとを含む画像ファイルを生成する生成機能であって、前記画像ファイルは、前記補足情報データによって示される前記補足情報と独立して前記消去済画像を再生可能であるとともに、前記消去済画像と前記補足情報とを同時に再生可能である特定のファイルフォーマットを有する、前記生成機能と、
    をコンピュータに実現させ、
    前記第２特定機能は、前記付加領域内の画像に対して、文字認識処理を実行して、前記記入対象としての文字が認識されるか否かを判断し、
    前記生成機能は、
    前記第２特定機能によって前記付加領域内に文字が認識される場合に、認識された文字を示すテキスト情報を含む第１種の補足情報データを含む前記画像ファイルを生成し、
    前記第２特定機能によって前記付加領域内に文字が認識されない場合に、前記付加領域内の文字とは異なる前記記入対象を少なくとも示す画像データを含む第２種の補足情報データを含む前記画像ファイルを生成する、コンピュータプログラム。
15. シート上の元画像と、前記シート上にユーザによって付加された付加画像と、を含む対象画像を示す対象画像データであって、前記シートを光学的に読み取ることによって生成される前記対象画像データを取得する取得機能と、
    前記対象画像データを解析することによって、前記付加画像を構成する閉じた線で囲まれる前記対象画像内の領域である付加領域であって、前記付加画像を含む前記付加領域を特定する第１特定機能と、
    前記対象画像データのうち、前記付加領域内の画像を示す部分画像データを解析することによって、前記付加領域内において、前記付加画像に含まれる記入対象を特定する第２特定機能と、
    前記第２特定機能による特定結果と、前記対象画像データと、を用いて、前記対象画像から前記付加画像が消去された消去済画像を示す消去済画像データと、前記付加画像に関して前記消去済画像を補足する補足情報を示す補足情報データと、を生成して、前記消去済画像データと前記補足情報データとを含む画像ファイルを生成する生成機能であって、前記画像ファイルは、前記補足情報データによって示される前記補足情報と独立して前記消去済画像を再生可能であるとともに、前記消去済画像と前記補足情報とを同時に再生可能である特定のファイルフォーマットを有する、前記生成機能と、
    をコンピュータに実現させ、
    前記第２特定機能は、前記付加領域内において、前記付加領域内の背景画素とは異なる色を示す非背景画素を特定することによって、前記付加領域の背景とは異なる画像を特定し、
    前記生成機能は、
    前記第２特定機能によって前記付加領域内に、閾値以上の個数の前記非背景画素が特定される場合には、前記閾値以上の個数の前記非背景画素が示す前記補足情報を示す前記補足情報データを含む前記画像ファイルを生成し、
    前記第２特定機能によって前記付加領域内に前記閾値以上の個数の前記非背景画素が特定されない場合には、ユーザによる入力を受け取るための入力欄であって前記消去済画像内に配置される前記入力欄を示す入力欄データを含む前記画像ファイルを生成する、コンピュータプログラム。
16. シート上の元画像と、前記シート上にユーザによって付加された付加画像と、を含む対象画像を示す対象画像データであって、前記シートを光学的に読み取ることによって生成される前記対象画像データを取得する取得機能であって、前記対象画像は、前記付加画像として、第１の色を有する第１の付加画像と、第２の色を有する第２の付加画像と、を含む、前記取得機能と、
    前記対象画像データを解析することによって、前記付加画像を構成する閉じた線で囲まれる前記対象画像内の領域である付加領域であって、前記付加画像を含む前記付加領域を特定する第１特定機能であって、前記付加領域として、前記第１の付加画像によって規定された第１の付加領域と、前記第２の付加画像によって規定された第２の付加領域と、を特定する、前記第１特定機能と、
    前記対象画像データのうち、前記付加領域内の画像を示す部分画像データを解析することによって、前記付加領域内において、前記付加画像に含まれる記入対象を特定する第２特定機能と、
    前記第２特定機能による特定結果と、前記対象画像データと、を用いて、前記対象画像から前記付加画像が消去された消去済画像を示す消去済画像データと、前記付加画像に関して前記消去済画像を補足する補足情報を示す補足情報データと、を生成して、前記消去済画像データと前記補足情報データとを含む画像ファイルを生成する生成機能であって、前記画像ファイルは、前記補足情報データによって示される前記補足情報と独立して前記消去済画像を再生可能であるとともに、前記消去済画像と前記補足情報とを同時に再生可能である特定のファイルフォーマットを有する、前記生成機能と、
    をコンピュータに実現させ、
    前記生成機能は、前記画像ファイルとして、第１の画像ファイルと第２の画像ファイルとを生成し、
    前記第１の画像ファイルは、前記対象画像データに基づく前記消去済画像データと、前記第１の付加画像に対応する第１の補足情報データと、を含み、
    前記第２の画像ファイルは、前記消去済画像データと、前記第２の付加画像に対応する第２の補足情報データと、を含む、コンピュータプログラム。

Images