JP4934181B2

JP4934181B2 - 付加画像処理システム、画像形成装置及び付加画像追加方法

Info

Publication number: JP4934181B2
Application number: JP2009231172A
Authority: JP
Inventors: 肇富沢
Original assignee: Toshiba Corp; Toshiba Tec Corp
Current assignee: Toshiba Corp; Toshiba Tec Corp
Priority date: 2009-01-26
Filing date: 2009-10-05
Publication date: 2012-05-16
Anticipated expiration: 2029-10-05
Also published as: JP2010170525A

Description

本発明は、付加画像処理システム、画像形成装置及び付加画像追加方法に関する。

画像形成装置等により印刷された紙文書に対して、ユーザにより書き込みが行われることがある。このようにユーザにより書き込みが行われた文書をスキャンし、そのスキャン画像から書き込みが行われた部分の画像を抽出し、活用する技術が提案されている。

その１つとして、特許文献１に示される技術が挙げられる。特許文献１では、電子文書の印刷時に電子文書を特定する情報を紙文書に付与することで、書き込み画像を抽出し、その後、紙文書になされた書き込みのみの文書や、オリジナル文書のみ、電子文書に書き込みを反映した文書を選択して印刷することが可能な技術が開示されている。また、特許文献1においては、紙文書のなされた書き込みに記入者毎の関連情報やアクセス権限情報を付与することにより、書き込みの一部のみを残した文書を作成することが可能であると記載されている。

しかしながら特許文献１では、紙文書になされた書き込みは文書自体と関連付けられているため、その文書の一部のテキストが用いられた他の文書に対しては、書き込みを挿入することはできない。そのため、書き込みの再利用性は限られることとなる。

さらに、テキストと書き込みを関連付けただけでは、文書内に同一テキストが多数存在する場合に全ての同一テキストに書き込みが行われてしまう。すなわち、文書内の同一テキストのうちユーザが意図したテキストのみに書き込みを付加することができず、書き込みの再利用において利便性に欠けるといえる。

本発明は、上記の問題を解決するために成されたものであり、紙文書になされた書き込み等の付加画像を抽出し、その付加画像の再利用性を高める付加画像処理システム、画像形成装置及び付加画像処理方法を提供することを目的とした。

上記問題を解決するために、本発明に係る付加画像処理システムは、電子情報であるドキュメントファイルを保管するドキュメント保管部と、前記ドキュメントファイルを印刷する印刷部と、前記印刷部により印刷された紙文書をスキャンしてスキャン画像を取得するスキャン画像取得部と、前記スキャン画像に対応する印刷元ドキュメントファイルを特定する印刷元ドキュメント特定部と、前記印刷元ドキュメントファイルと、前記スキャン画像とを比較したときの差分を付加画像として取得する付加画像取得部と、前記印刷元ドキュメントファイルから前記付加画像取得部にて取得した付加画像と対応するテキストを取得する対応テキスト取得部と、前記対応テキスト取得部にて取得された前記付加画像に対応する対応テキストのメタデータと前記付加画像とを対応づけて保管する付加画像保管部と、前記対応テキストのメタデータの項目を選択させ選択された項目について検索を行い選択された項目の付加画像があった場合に、新たなドキュメントファイルに前記付加画像保管部に保管されていた当該付加画像を追加する付加画像追加部と、を具備することを特徴とする。

また、本発明に係る画像形成装置は、電子情報であるドキュメントファイルを保管するドキュメント保管部と、前記ドキュメントファイルを印刷する印刷部と、前記印刷部により印刷される紙文書をスキャンしてスキャン画像を取得するスキャン画像取得部と、前記スキャン画像に対応する印刷元ドキュメントファイルを特定する印刷元ドキュメント特定部と、前記印刷元ドキュメントファイルと、前記スキャン画像とを比較したときの差分を付加画像として取得する付加画像取得部と、前記付加画像取得部にて取得した付加画像と対応する、前記印刷元ドキュメントファイル内のテキストを取得する対応テキスト取得部と、前記対応テキスト取得部にて取得された前記付加画像に対応する対応テキストのメタデータと前記付加画像とを対応づけて保管する付加画像保管部と、前記対応テキストのメタデータの項目を選択させ選択された項目について検索を行い選択された項目の付加画像があった場合に、新たなドキュメントファイルに前記付加画像保管部に保管されていた当該付加画像を追加する付加画像追加部と、を有することを特徴とする。

また、本発明に係る付加画像追加方法は、電子情報であるドキュメントファイルをドキュメント保管部が保管し、紙文書をスキャンしてスキャン画像をスキャン画像取得部が取得し、保管した前記ドキュメントファイルの中から前記スキャン画像に対応するドキュメントファイルを印刷元ドキュメント特定部が印刷元ドキュメントファイルとして取得し、前記印刷元ドキュメントファイルと前記スキャン画像とを比較したときの差分を付加画像取得部が付加画像として取得し、前記付加画像取得部にて取得した付加画像と対応する、前記印刷元ドキュメントファイル内のテキストを対応テキスト取得部が取得し、前記対応テキストのメタデータと前記付加画像を対応付けて付加画像保管部が保管し、前記対応テキストのメタデータの項目を選択させ選択された項目について検索を行い選択された項目の付加画像があった場合に、保管されていた当該付加画像を付加画像追加部が前記ドキュメントファイルに追加する、ことを特徴とする。

本発明によれば、紙文書への付加画像の再利用性を高めることが可能な画像形成装置、付加画像処理システム及び付加画像処理方法を提供できる。

第１の実施形態における付加画像処理システムの構成機器を示す構成図。第１の実施形態における付加画像処理システムの処理部を示すブロック図。ドキュメント保管部に保管されるドキュメントの保管形式例。ドキュメントファイルＤ１の出力イメージ図。ドキュメントファイルＤ１に付加画像を追加した紙文書のイメージ図。付加画像の抽出処理を示すフローチャート。付加画像の保管形態の一例を示したイメージ図。ドキュメント閲覧アプリケーションの表示画面のイメージ図。ドキュメントファイル９０４の出力イメージ図。評価メタデータ項目選択画面のイメージ図。ドキュメントファイル９０４に付加画像を追加したドキュメントファイルのイメージ図。テキスト文字列に変換された付加画像を追加したドキュメントファイル９０４のイメージ図。第２の実施形態における付加画像処理システムの構成機器を示す構成図。第２の実施形態における付加画像処理システムの処理部を示すブロック図。第３の実施形態における付加画像処理システムの処理部を示すブロック図。付加画像追加方法選択画面のイメージ図。第３の実施形態におけるドキュメントファイルのイメージ図。「上書き」により付加画像を追加したドキュメントファイルのイメージ図。「挿入」により付加画像を追加したドキュメントファイルのイメージ図。「省略」により付加画像を追加したドキュメントファイルのイメージ図。

以下、本発明における実施の形態を図面を参照して説明する。

（第１の実施形態）
第１の実施形態を図１から図１１を参照して説明する。

図１は、付加画像処理システムの構成機器を示す構成図である。

付加画像処理システムは、画像形成装置１、ドキュメント管理サーバ２、クライアントＰＣ３から成り、これらはネットワーク４により接続され、情報の授受を行っている。

図２は、付加画像処理システムが備える処理部を示すブロック図である。

画像形成装置１は、ドキュメントを印刷することができる印刷部１１と、紙文書をスキャンしてスキャン画像を取得することができるスキャン画像取得部１２とを備える。ドキュメント管理サーバ２はドキュメント保管部１３、印刷元ドキュメントファイル取得部１４、対応テキスト文字列取得部１５、付加画像取得部１６、テキストメタデータ取得部１７、付加画像保管部１８、付加画像追加部１９を有する。クライアントＰＣ３はドキュメント閲覧部２０を有する。

次に、ドキュメント管理サーバ２およびクライアントＰＣ３が備える各処理部の説明を行う。

ドキュメント保管部１３は、電子情報であるドキュメントファイルを、そのドキュメントファイルを一意に特定するＩＤ、ドキュメントファイルの作成者、作成日時、カテゴリ等のメタデータとともに保管する。ドキュメント保管部１３に保管されるドキュメントの保管形式の一例を図３に示す。図３には、ドキュメントファイル３０１〜３０４が示されている。このようにドキュメントファイルは、ドキュメント保管部１３において、そのメタデータとともに保管される。

印刷元ドキュメントファイル特定部１４は、スキャン画像取得部１２にて取得したスキャン画像の元となっているドキュメントファイルである印刷元ドキュメントファイルを特定する。方法の詳細については後述する。

付加画像取得部１５は、スキャン画像取得部１２にて取得されたスキャン画像と、印刷元ドキュメントファイル特定部により特定された印刷元ドキュメントファイルとを比較し、差分がある部分を付加画像として抽出し、取得する。

対応テキスト文字列取得部１６は、付加画像取得部１５にて取得した付加画像が印刷元ドキュメントファイル中のどのテキスト文字列に対応しているのかと特定し、取得する。そして、テキストメタデータ取得部１７にて、対応テキスト文字列取得部１６にて取得したテキスト文字列が、どのようなメタデータを持っているかを解析し、取得する。このテキスト文字列のメタデータの取得方法の詳細については後に示す。

付加画像保管部１８は、付加画像取得部１６にて取得した付加画像を、対応するテキスト文字列及びそのテキストメタデータとともに保管する。そして、付加画像追加部１９では、ドキュメントデータの中に付加画像が関連付けられているテキスト文字列があった場合、付加画像保管部１８に保管されている付加画像をそのドキュメントファイルの中に追加することができる。付加画像の追加方法については、後述する。

ドキュメント閲覧部２０は、ドキュメント保管部１３及び付加画像保管部１８に保管されている情報をユーザに提示する部位である。

上記、説明した各処理部を用いて付加画像をドキュメントファイルに追加することができる。ドキュメントファイルに付加画像を追加するまでの詳細な流れを以下に示す。

ユーザはクライアントＰＣ３からドキュメント管理サーバ２にアクセスし、ドキュメント保管部１３に保管されているドキュメント一覧をクライアントＰＣのディスプレイにて参照することができる。そして、ユーザはこのドキュメント一覧から印刷したいドキュメントファイルをクライアントＰＣ３において指定する。すると、ユーザにより指定されたドキュメントファイルが画像形成装置１の印刷部１１より印刷され、紙文書が出力される。

ここで、ドキュメント保管部１３に保管されているドキュメントファイルを印刷する際に、対象ドキュメントファイルのファイル名、保管フォルダ、及び印刷したページ範囲など、印刷したドキュメントファイルを特定できる情報を、例えばバーコードなどの符号に変換し、紙文書に付加して出力する。このバーコードにより、紙文書をスキャンした際に、印刷元となったドキュメントファイルを特定することができる。

このようにして印刷された紙文書に対して、ユーザは筆記用具を用いて、書き込みを行うことができる。例えば、ドキュメント保管部１３にて図４に示されるドキュメントファイルＤ１が保管されており、このドキュメントファイルＤ１をユーザが印刷したとする。印刷により出力された紙文書に対し、ユーザが手書き画像を加えた場合の紙文書を図５に示す。すなわち、「試作システム」というテキストに対し、手書きで「Ｗｅｂアンケートシステム、納期・・・１０／Ｅ」という注釈が付加されている。この手書きによる追記は、付加画像５０１と称することとする。また、「ＸＭＬ」というテキストに対しては、「ｅＸｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ」とう手書きの追記が行われている。これは、付加画像５０２と称することとする。

次に、手書きの追記が行われた紙文書から追記された画像（付加画像）を抽出する処理について図６のフローチャートを用いて説明する。

まず、Ｓ１０１にて、スキャン画像取得部１２にスキャン画像を取得する。今回は、図５に示す手書き画像の追記が行われた紙文書のスキャン画像取得することとする。このスキャンされた画像は、ネットワーク４を解してドキュメント管理サーバ２へ送られる。

次に、Ｓ１０２にて印刷元ドキュメント特定部１４により、Ｓ１０１においてスキャンされた紙文書の元となったドキュメントファイル（以後、印刷元ドキュメントファイルと称する）を特定する。図５の文書をスキャンした場合は、図４に示されるドキュメントファイルＤ１を印刷元ドキュメントファイルとして特定することとなる。

具体的に印刷元ドキュメントファイルを特定する方法の1つとして、紙文書に記載されているドキュメントファイルを特定するバーコードを読み取る方法が挙げられる。これは、上述したように紙文書を印刷する際にそのドキュメントファイルを特定できるバーコードを付加しておくことによって可能となる。

また、紙文書にバーコードが付与されていない場合であれば、スキャン画像に最も近いドキュメントファイルをドキュメント保管部１３より検索する類似画像検索を用いて特定してもよい。あるいは、ドキュメント保管部１３により保管されているドキュメントファイルの中から、印刷元ドキュメントファイルをユーザが直接指定するとしてもよい。この場合、印刷元ドキュメント特定部１４は、ドキュメント保管部１３にて管理されているドキュメントファイルの一覧をユーザに提示し、選択してもらうＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）を提供する。

Ｓ１０３では、このようにしてスキャン画像の印刷元ドキュメントファイルがドキュメント保管部１３に保管されているか否かを判断する。スキャン画像の印刷元ドキュメントファイルがドキュメント保管部１３に保管されていない場合（Ｓ１０３；ＮＯ）は付加画像の抽出処理は終了される。

印刷元ドキュメントファイルがドキュメント保管部１３に保管されていると判定された場合（Ｓ１０３；Ｙｅｓ）、Ｓ１０４に進み、付加画像取得部１５によりスキャン画像と、印刷元ドキュメントファイルとの比較を行い、紙文書に追記された画像を付加画像として抽出する。

付加画像取得部１５は、まず、Ｓ１０１にて取得されたスキャン画像とＳ１０４にて取得された印刷元ドキュメントファイルとを比較し、差分を検出する。ここで検出された差が付加画像として検出される。今回の場合、図５の画像と、図４の印刷元ドキュメントファイルＤ１とを比較し、差分を取る。また、差分である付加画像を抽出する際、付加画像を塊ごとに分離して、グループ化を行う。その結果、今回の場合は付加画像５０１及び付加画像５０２という二つの付加画像を得ることができる。

次に、Ｓ１０５において、付加画像があるか否かを判定する。Ｓ１０４においてスキャン画像と印刷元ドキュメントファイルとの差分がない場合は、付加画像は無いものと判断され（Ｓ１０５；ＮＯ）、付加画像抽出処理は終了される。

Ｓ１０４においてスキャン画像と印刷元ドキュメントファイルの差分が検出された場合は、付加画像があるものと判断され（Ｓ１０５；ＹＥＳ）、Ｓ１０６に進む。

Ｓ１０６においては、対応テキスト文字列取得部１６によりＳ１０４にて抽出された付加画像に対応する印刷元ドキュメントファイル中のテキスト文字列を取得する。図５の画像における付加画像５０１は、「試作システム」というテキスト文字列の下に下線が引かれ、引き出し線によって延びた先に「Ｗｅｂアンケート集計システム納期・・・１０／Ｅ」という付加画像５０１が追加されている。対応テキスト文字列取得部１６は、付加画像５０１を解析し、付加画像５０１中の下線部を検出する。さらに、検出した下線部から下線が引かれているテキスト文字列を印刷元ドキュメントファイルより取得する。

このような処理から、付加画像５０１には、「試作システム」というテキスト文字列が対応していると判断する。このような処理をＳ１０４にて抽出された全ての付加画像について行い、付加画像に対応するテキスト文字列（対応テキスト文字列）を取得する。付加画像５０２についても、同様に下線部を検出し、対応するテキスト文字列「ＸＭＬ」を印刷元ドキュメントファイルより抽出できる。

なお、付加画像５０１、付加画像５０２においては、下線を抽出し、対応テキスト文字列を取得したが、下線ではなく、テキスト文字列を囲む丸印を検出し、対応テキスト文字列を取得するとしてもよい。また、付加画像とテキスト文字列との間の距離の閾値を設け、付加画像とテキスト文字列の間の距離が閾値以下であれば、その付加画像に対応する対応テキスト文字列と判断するようにしてもよい。

次に、Ｓ１０７にて、Ｓ１０６において付加画像に対応するテキスト文字列が取得できたか否かを判断する。付加画像に対応する対応テキスト文字列が取得されなければ（Ｓ１０７；ＮＯ）、付加画像抽出処理を終了する。付加画像に対応する対応テキスト文字列が1つでも取得できれば（Ｓ１０７；ＹＥＳ）、Ｓ１０８に進む。また、Ｓ１０４にて取得された付加画像のうちＳ１０６にて対応テキスト文字列が取得できなかった付加画像は以降の処理においては無視することとする。

Ｓ１０８においては、テキストメタデータ取得部１７によりＳ１０６にて取得された対応テキスト文字列のメタデータを取得する。対応テキスト文字列のメタデータの1つとして、「見出し」、「本文」、「ヘッダ」等のレイアウト属性が挙げられる。このレイアウト属性は、ドキュメントファイル内におけるテキスト文字列の大きさや位置等から判断される。例えば、テキスト文字列のフォントサイズが大きく、ページの上の方に存在しているのであれば、このテキスト文字列は、「見出し」であるというように判定を行う。

他の対応テキスト文字列のメタデータとして、印刷元ドキュメントファイルが保管されている保管フォルダを示す“保管フォルダ”、ドキュメントファイルを作成した“作成者”、ユーザが定めた文書の“カテゴリ”というようなメタデータを取得してもよい。
次にＳ１０９において、付加画像保管部１８にＳ１０４にて抽出した付加画像、Ｓ１０６にて取得した付加画像に対応する対応テキスト文字列、Ｓ１０８にて取得した対応テキスト文字列が持つメタデータを関連付けて保管する。

図７に、付加画像の保管形態の一例を示す。図７の付加画像保管形態８０１に示される付加画像は、付加画像５０１を示している。この付加画像５０１を例にとり、付加画像の保管形態について説明する。まず、対応テキスト文字列として「試作システム」が挙げられている。そして、その対応テキスト文字列のメタデータである“レイアウト属性”、“保管フォルダ”、“作成者”、“カテゴリ”が挙げられている。このように付加画像と対応テキスト文字列、メタデータが関連付けられて付加画像保管部１８に保管されている。付加画像保管形態８０２や８０３についても同様の形態で保管されている。

紙文書に追記された付加画像の抽出は以上の流れで行われる。

次に、新たなドキュメントファイルに対し、付加画像保管部１８に保管されている付加画像を追加する処理について説明する。

ユーザは、クライアントＰＣ３のドキュメント閲覧部２０よりドキュメント管理サーバ２のドキュメント保管部１３に保管されているドキュメントファイルを閲覧することができる。閲覧方法としては、例えば、図８に示すような画面を持つドキュメント閲覧アプリケーションをクライアントＰＣ３にインストールし、このドキュメント閲覧アプリケーションにより所望するドキュメントファイルの内容を閲覧する方法が挙げられる。

図８のドキュメント閲覧アプリケーションの説明を行うと、まず、フォルダ選択領域９０１にドキュメント保管部１３にて保管されているドキュメントファイルのフォルダ名がツリー形式で表示される。ユーザは、フォルダ名の横にある＋や−のマークをクリックすることにより下位のフォルダを展開したり、省略することができる。そして、フォルダ名をクリックすることによりフォルダを選択することができ、選択されたフォルダに含まれるドキュメントファイルの一覧がファイル選択領域９０３に表示される。ファイル選択領域９０３に表示されるファイル名のうち、所望のファイル名をクリックすることによりドキュメント表示領域９０５にそのドキュメントファイルが表示される。

図８の表示を例にとり説明を行うと、ここでは、フォルダは「議事録」フォルダ９０２が選択され、このフォルダ９０２に含まれるドキュメントファイル２つがドキュメントファイル選択領域９０３に表示されている。この表示された２つのドキュメントファイルのうち「試作システム検討会議２」のドキュメントファイル９０４をクリックし、選択することにより、ドキュメント表示領域９０５にはドキュメントファイル９０４の１ページ目が表示される。このドキュメントファイル９０４の1ページ目を図９に示す。ユーザはボタン９０６を押すことで表示されているページを戻したり、ボタン９０７を押すことでページを進めたりすることができ、ドキュメントファイルの内容を確認できる。なお、この「試作システム検討会議２」というドキュメントファイルは、図３のドキュメントファイル３０３に該当する。

また、ボタン９０９をクリックすると、印刷部１１により閲覧しているドキュメントファイルを印刷することが可能である。付加画像追加ボタン９１０をクリックすることにより付加画像保管部１８に保管されている付加画像をドキュメントファイルに追加する処理に関する画面が表示される。

ユーザが付加画像追加ボタン９１０を押すと、図１０に示す評価メタデータ項目選択画面が表示される。評価メタデータ項目選択画面では、１００１〜１００４の４つのメタデータ項目が表示されており、各々のメタデータ項目が持つチェックボックスによりユーザが選択できるようになっている。ユーザが選択したメタデータ項目を用いて追加する付加画像は選択される。すなわち、ユーザに選択されなかったメタデータ項目については追加する付加画像選択の際に考慮しない。

図１０では、メタデータ項目のうちカテゴリ１００３、レイアウト属性１００４のチェックボックスにチェックが入っている。従って、閲覧しているドキュメントファイル中のテキスト文字列の持つメタデータと付加画像の持つメタデータのうち、カテゴリとレイアウト属性が一致しているかどうかを評価し、一致している場合にのみドキュメントファイルに付加画像を追加することになる。

図１０の評価メタデータ項目選択画面のメタデータ項目にチェックを入れ、ＯＫボタン１００５を押すと図８のドキュメント表示領域９０５には、付加画像が追加されたドキュメントファイルが表示される。今回の場合、図１１で示されるドキュメントファイルが表示される。

図１１では、２つの付加画像が追加されている。これを付加画像１２０１と付加画像１２０２とする。

付加画像１２０１は、図７の付加画像保管形態８０１で示される付加画像である。この付加画像は、「試作システム」というテキスト文字列に関連付けて保管されている画像であり、選択した図９に示すドキュメントファイル９０４には「試作システム」というテキスト文字列が存在する。テキストメタデータ取得部１７にて、ドキュメントファイル９０４の「試作システム」というテキスト文字列のメタデータを取得すると、レイアウト属性は「見出し」、フォルダは「共有／議事録」、作成者は「橋立」、カテゴリは「Ｗｅｂアンケートシステム」というメタデータが得られたとする。一方、付加画像１２０１のメタデータは、図７に示されるように、レイアウト属性が「見出し」であり、フォルダは「共有／議事録」、作成者は「松島」、カテゴリは「Ｗｅｂアンケート集計システム」である。

今回の場合、図１０の評価メタデータ項目選択画面にて、カテゴリ１００３、レイアウト属性１００４が選択されているため、この２つの項目のメタデータが、テキスト文字列のメタデータと付加画像のメタデータとの間で一致していればよい。この２つのメタデータ項目に関しては一致しているため、付加画像保管形態８０１に示される付加画像は付加画像１２０１としてドキュメントファイル９０４に追加されることとなる。

同様に、付加画像１２０２は、図７の付加画像保管形態８０２で示される付加画像である。この付加画像は、テキスト文字列「ＸＭＬ」に関連付けて保管されている画像であり、選択したドキュメントファイル９０４には、「ＸＭＬ」というテキスト文字列が存在する。テキストメタデータ取得部１７にて、ドキュメントファイル９０４の「ＸＭＬ」というテキスト文字列のメタデータを取得すると、レイアウト属性が「本文」であり、フォルダが「共有／議事録」、作成者が「松島」、カテゴリが「Ｗｅｂアンケート集計システム」というメタデータが得られたとする。一方、付加画像１２０２のメタデータは、図７に示されるようにレイアウト属性が「本文」であり、フォルダは「共有／議事録」、作成者は「松島」、カテゴリは「Ｗｅｂアンケート集計システム」である。このとき、選択されているメタデータ項目のカテゴリ、レイアウト属性が一致しているので、付加画像保管形態８０２で示される付加画像は付加画像１２０２としてドキュメントファイル９０４に追加されることとなる。

ここで、付加画像保管部１８には、図７に示されるように付加画像保管形態８０３で保管される付加画像も保管されていたとする。この付加画像は、関連付けられているテキスト文字列が「試作システム」であり、ドキュメントファイル９０２には、「試作システム」というテキスト文字列は存在する。しかしながら、テキストメタデータ取得部１７にて取得するドキュメントファイル９０４の「試作システム」のメタデータによると、カテゴリは「Ｗｅｂアンケートシステム」レイアウト属性は「見出し」である。しかしながら、付加画像保管形態８０３に示される付加画像のメタデータは、カテゴリが「画像検索システム」、レイアウト属性は「本文」である。すなわち、テキスト文字列が持つメタデータと付加画像の持つテキスト文字列のメタデータが、選択されたメタデータ項目について一致していない。そのため、この付加画像保管形態８０３の付加画像はドキュメントファイル９０４に追加されない。

また、付加画像が手書きの文字列である場合に、その文字情報から印刷元ドキュメントファイルのテキストと同じテキスト文字列に変換することが可能なテキスト文字列変換部を持ち、手書きの付加画像に代わり、テキスト文字列に変換した付加画像を追加するとしてもよい。例として、図１１に示した手書きの付加画像１２０１、１２０２をテキスト文字列に変換して追加した場合のドキュメントファイルを図１２に示す。

以上のような実施形態をとることにより、ドキュメントファイルの中のテキスト文字列に対応した付加画像をそのドキュメントファイルに追加することが可能となる。

付加画像はドキュメント内のテキスト文字列に対応するため、付加画像を抽出した文書とは異なる文書にその付加画像に対応するテキスト文字列が挿入された場合、そのテキスト文字列に対しても付加画像を挿入することが可能となる。また、付加画像は対応するテキスト文字列のテキストメタデータとも関連付けられているため、文書内に同一のテキストが多数存在する場合にも、ユーザが指定したテキストメタデータが一致するテキストのみに付加画像を追加できる。加えて、ドキュメントのカテゴリと付加画像のカテゴリが一致する場合にのみ付加画像を挿入するため、ドキュメントのカテゴリとは異なる、関係のない付加画像が挿入されることを防ぐことができる。すなわち、ユーザが意図したテキストにのみ付加画像を追加することができ、付加画像の再利用性が高まる。

なお、本実施形態において、スキャンした紙文書から抽出された付加画像のうち、対応する対応テキスト文字列がないと判断された付加画像は、以降の処理において無視する、としたが、対応テキスト文字列のない付加画像はそのドキュメントファイル自体のメタデータと関連付けて保存しておいてもよい。対応テキスト文字列の代わりに、ドキュメントファイル内の位置情報等と関連付けて保存しておけば、対応テキスト文字列の無い付加画像も利用することができる。

（第２の実施形態）
次に第２の実施形態を図１３乃至図１４を用いて説明する。

以下、第１の実施形態と同一の部分には同一の符号を用い、本実施形態の特徴部分のみ説明する。

本実施形態においては、第1の実施形態において、ドキュメント管理サーバ２が備える処理部は全て画像形成装置が有する。

図１３は、本実施形態における付加画像処理システムの構成機器を示す構成図である。

付加画像処理システムは、画像形成装置１、クライアントＰＣ３により構成され、これらはネットワーク４により情報の授受を行う。

図１４は、画像形成装置が備える処理部を示すブロック図である。

第１の実施形態と同一名称の処理部については、各々が担う働きについても同様である。画像形成装置は、第１の実施形態と同様に印刷部１１、スキャン画像取得部１２に加え、ドキュメント保管部１３、付加画像保管部１８、付加画像取得部１５、印刷元ドキュメント特定部１４、対応テキスト文字列取得部１６、テキストメタデータ取得部１７、付加画像追加部１９を備える。クライアントＰＣ３は、第１の実施形態と同様にドキュメント閲覧部２０を備える。

スキャンした紙文書からの付加画像抽出処理、ドキュメントファイルへの付加画像追加処理は、第１の実施形態と同様の処理部を用い、同様の流れで行われる。本実施形態においては、第１の実施形態のおけるドキュメント管理サーバ２が備える処理部を画像形成装置１が有するため、画像形成装置１で読み取られた紙文書のスキャン画像は、ネットワークを介してサーバに送る必要はなく、画像形成装置１内で処理される。また、付加画像の追加処理を行ったドキュメントファイルを印刷する場合も、サーバから画像形成装置１へネットワークを介して通信を行う必要がない。

なお、本実施形態において、ドキュメント保管部１３や付加画像保管部１８に保管されているデータをユーザが閲覧するためのドキュメント閲覧部２０は、クライアントＰＣが有することとしたが、このドキュメント閲覧部も画像形成装置が有することとしてもよい。これは、例えば、画像形成装置１が印刷指示等を行うために有するコントロールパネルにドキュメント保管部１３や付加画像保管部１８に保管されているデータを表示可能にし、このコントロールパネルを介して、ドキュメントファイルへの付加画像の追加処理等の指示をユーザが行うことができるようにすることで可能となる。

（第３の実施形態）
次に第３の実施形態を図１５乃至図２０を用いて説明する。

以下、第１及び第２の実施形態と同一の部分には同一の符号を用い、本実施形態の特徴部分のみ説明する。

第３の実施形態の付加画像処理システムが備える処理部のブロック図を図１５に示す。本実施形態においては、第１の実施形態の付加画像処理システムに加えて、ドキュメントファイルに付加画像を追加する際の追加方法をユーザが選択できる付加画像追加方法選択部４０を備える。

具体的に付加画像の追加方法の選択について説明する。

図８のドキュメント閲覧アプリケーションによる表示画面にて、付加画像追加ボタン９１０を押し、図１０の評価メタデータ項目選択画面を表示させ、評価メタデータ項目を選択した後、ＯＫボタン１００５を押すと、図１６に示す付加画像追加方法選択画面が表示される。図１６では、付加画像追加方法の例として、「上書き」１３０１、「挿入」１３０２、「省略」１３０３が示されている。この付加画像追加方法からユーザが選択し、ＯＫボタン１３０４を押すと、付加画像追加方法選択部４０は、ユーザにより選択された付加画像追加方法を付加画像追加部１９に伝える。そして、付加画像追加部１９は、ユーザが選択した方法により付加画像を追加する。

次に、図１６で例として示した付加画像追加方法「上書き」、「挿入」「省略」について説明する。図１７に示すドキュメントファイルの「ＸＭＬ」というテキスト文字列に対応する付加画像を追加する場合を例にとり、説明する。

「上書き」は、図１８で示すように付加画像１５０１を追加する位置のドキュメントファイルの画像が有るか否かに係らず、ドキュメントファイルの画像の上に付加画像を描画する方法である。

「挿入」は、付加画像を追加した際に、付加画像の下になり、見えなくなるドキュメントファイル中の画像をずらして表示し、付加画像により見えなくなるドキュメントファイルの画像が無いようにする方法である。すなわち、図１９で示すように付加画像１６０１を追加する。これは、付加画像１６０１を追加することによって見えなくなってしまう「ファイルでの集計結果方法」というテキスト文字列を改行して、テキスト文字列が見えなくなることを防ぎ、付加画像を追加している。

次に、「省略」は、図２０（ａ）に示すように付加画像省略マーク１７０１が追加される。ユーザがドキュメント上のこの付加画像省略マーク１７０１をクリックすることにより付加画像１８０２が図２０（ｂ）のように展開され、表示される。これは、付加画像を追加した後のドキュメントを印刷しない場合に、有効な追加方法である。

本実施形態のように、ユーザが付加画像の追加方法を選択できれば、ユーザがドキュメントファイルを利用する場面に適した付加画像の追加様式を選ぶことが可能となる。

なお、本実施形態において、付加画像追加方法選択部４０は、ドキュメント管理サーバ２が備えることとしたが、第２の実施形態のように付加画像処理に関する処理部を画像形成装置１が備える場合は、画像形成装置１が備えることとしてもよい。

１．画像形成装置
２．ドキュメント管理サーバ
３．クライアントＰＣ
１１．印刷部
１２．スキャン画像取得部
１３．ドキュメント保管部
１４．印刷元ドキュメント特定部
１５．付加画像取得部
１６．対応テキスト文字列取得部
１７．テキストメタデータ取得部
１８．付加画像保管部
１９．付加画像追加部
２０．ドキュメント閲覧部
４０．付加画像追加方法選択部

特開２００６−６５５２４公報

Claims

電子情報であるドキュメントファイルを保管するドキュメント保管部と、
前記ドキュメントファイルを印刷する印刷部と、前記印刷部により印刷された紙文書をスキャンしてスキャン画像を取得するスキャン画像取得部と、
前記スキャン画像に対応する印刷元ドキュメントファイルを特定する印刷元ドキュメント特定部と、
前記印刷元ドキュメントファイルと、前記スキャン画像とを比較したときの差分を付加画像として取得する付加画像取得部と、
前記印刷元ドキュメントファイルから前記付加画像取得部にて取得した付加画像と対応するテキストを取得する対応テキスト取得部と、
前記対応テキスト取得部にて取得された前記付加画像に対応する対応テキストのメタデータと前記付加画像とを対応づけて保管する付加画像保管部と、
前記対応テキストのメタデータの項目を選択させ選択された項目について検索を行い選択された項目の付加画像があった場合に、新たなドキュメントファイルに前記付加画像保管部に保管されていた当該付加画像を追加する付加画像追加部と、
を具備することを特徴とする付加画像処理システム。
前記印刷部により前記ドキュメントファイルを印刷する際に、前記ドキュメントファイルを特定できる情報を付与して印刷することを特徴とする請求項１記載の付加画像処理システム。
前記印刷元ドキュメント特定部は、前記ドキュメント保管部から類似画像検索により前記スキャン画像と類似する画像を検索することにより前記スキャン画像に対応する前記印刷元ドキュメントファイルを取得することを特徴とする請求項１記載の付加画像処理システム。
前記対応テキストのメタデータは複数の項目を有しており、前記付加画像追加部により前記付加画像を新たなドキュメントファイルに追加する場合に考慮する前記項目を選択可能なテキストメタデータ選択部をさらに有することを特徴とする請求項１記載の付加画像処理システム。
前記付加画像追加部は前記付加画像を追加する追加方法を複数有し、
前記追加方法の中で用いる追加方法を選択可能な付加画像追加方法選択部をさらに有することを特徴とする請求項１記載の付加画像処理システム。
前記付加画像を文字情報としてテキスト文字列に変換するテキスト文字列変換部をさらに有し、前記テキスト文字列変換部でテキスト文字列に変換された付加画像を新たなドキュメントファイルに追加することを特徴とする請求項１記載の付加画像処理システム。
前記ドキュメント保管部は、前記ドキュメントファイルの持つドキュメントメタデータもともに保管し、
前記付加画像保管部は、前記対応テキスト取得部にて前記付加画像に対応するテキストが取得されない場合は、前記付加画像を前記ドキュメントメタデータと対応付けて保管し、
前記付加画像追加部は、前記ドキュメントメタデータに基づいて前記付加画像を追加することができる、
ことを特徴とする請求項１記載の付加画像処理システム。
電子情報であるドキュメントファイルを保管するドキュメント保管部と、
前記ドキュメントファイルを印刷する印刷部と、
前記印刷部により印刷される紙文書をスキャンしてスキャン画像を取得すスキャン画像取得部と、
前記スキャン画像に対応する印刷元ドキュメントファイルを特定する印刷元ドキュメント特定部と、
前記印刷元ドキュメントファイルと、前記スキャン画像とを比較したときの差分を付加画像として取得する付加画像取得部と、
前記付加画像取得部にて取得した付加画像と対応する、前記印刷元ドキュメントファイル内のテキストを取得する対応テキスト取得部と、
前記対応テキスト取得部にて取得された前記付加画像に対応する対応テキストのメタデータと前記付加画像とを対応づけて保管する付加画像保管部と、
前記対応テキストのメタデータの項目を選択させ選択された項目について検索を行い選択された項目の付加画像があった場合に、新たなドキュメントファイルに前記付加画像保管部に保管されていた当該付加画像を追加する付加画像追加部と、
を有することを特徴とする画像形成装置。
電子情報であるドキュメントファイルをドキュメント保管部が保管し、
紙文書をスキャンしてスキャン画像をスキャン画像取得部が取得し、
保管した前記ドキュメントファイルの中から前記スキャン画像に対応するドキュメントファイルを印刷元ドキュメント特定部が印刷元ドキュメントファイルとして取得し、
前記印刷元ドキュメントファイルと前記スキャン画像とを比較したときの差分を付加画像取得部が付加画像として取得し、
前記付加画像取得部にて取得した付加画像と対応する、前記印刷元ドキュメントファイル内のテキストを対応テキスト取得部が取得し、
前記対応テキストのメタデータと前記付加画像を対応付けて付加画像保管部が保管し、
前記対応テキストのメタデータの項目を選択させ選択された項目について検索を行い選択された項目の付加画像があった場合に、保管されていた当該付加画像を付加画像追加部が前記ドキュメントファイルに追加する、
ことを特徴とする付加画像追加方法。
前記紙文書に前記印刷元ドキュメントファイルを特定できる情報を付与することを特徴とする請求項９記載の付加画像追加方法。
前記印刷元ドキュメントファイルを取得する際、類似画像検索により前記スキャン画像と類似する画像を検索することにより保管したドキュメントファイルから前記スキャン画像に対応する前記印刷元ドキュメントファイルを取得することを特徴とする請求項９記載の付加画像追加方法。
前記対応テキストのメタデータは複数の項目を有しており、前記付加画像を前記ドキュメントファイルに追加する場合に考慮する前記項目を選択可能であることを特徴とする請求項９記載の付加画像追加方法。
前記付加画像を前記ドキュメントファイルに追加する方法を複数有し、前記追加方法の中で用いる追加方法を選択可能であることを特徴とする請求項９記載の付加画像追加方法。
前記ドキュメントファイルを保管する際、前記ドキュメントファイルの持つドキュメントメタデータもともに保管し、
前記付加画像に対応するテキストが取得されない場合は、前記付加画像を前記ドキュメントメタデータと対応付けて保管し、
前記ドキュメントメタデータに基づいて前記付加画像を前記ドキュメントファイルに追加することを特徴とする請求項９記載の付加画像追加方法。