JP6268950B2 - 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

この発明は、画像処理システム、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、データ中の一部を別の画像に置き換えたデータを処理する画像処理システムおよびその画像処理システムで実行される画像処理方法、データ中の一部を別の画像に置き換えたデータを処理する画像処理装置、その画像処理装置で実行される画像処理方法および画像処理プログラムに関する。

近年、拡張現実の技術が開発されている。例えば、特開２０１３−２６９２２号公報には、画像形成装置と、画像形成装置へ画像出力要求を送信する情報処理装置と、サーバーと、携帯端末装置とを備え、情報処理装置は、基本原稿と基本原稿に拡張現実用付加情報を付加した原稿とから拡張現実用付加情報を特定し、拡張現実用付加情報に対応するタグを生成し、タグに関連付けて拡張現実用付加情報をサーバーに登録し、タグを付加した基本原稿の画像出力要求を画像形成装置へ送信し、画像形成装置は、画像出力要求に従って、タグを付加した基本原稿の画像を出力し、携帯端末装置は、画像形成装置により出力された、タグを付加した基本原稿の画像を撮像し、撮像した画像からタグを抽出し、タグに関連付けられている拡張現実用付加情報をサーバーから取得し、拡張現実用付加情報を、撮像した画像に重畳させて表示すること、を特徴とする画像形成システムが記載されている。

しかしながら、従来の画像形成システムにおいては、撮像した画像に拡張現実用付加情報を重畳する位置およびサイズと、撮像した画像に含まれる基本原稿の画像との関係はタグで特定されるのみなので、基本原稿に表された情報の位置に合わせて、拡張現実用付加情報を表示することができず、撮像した画像に含まれる基本原稿の一部が拡張現実用付加情報によって隠れてしまうといった問題がある。
特開２０１３−２６９２２号公報

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、関連付けられた２つのデータの一方の変更を他方に反映することが可能な画像処理システムおよび画像処理装置を提供することである。

この発明の他の目的は、関連付けられた２つのデータの一方の変更を他方に反映することが可能な画像処理方法および画像処理プログラムを提供することである。

上述した目的を達成するためにこの発明のある局面によれば、画像処理システムは、情報処理装置と、画像処理装置とを含む画像処理システムであって、情報処理装置は、データを、そのデータ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに変換する置換手段と、ＡＲタグと関連部分とを関連付ける関連付手段と、を備えており、画像処理装置は、置換データ中のＡＲタグをＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生手段と、を備え、情報処理装置または画像処理装置は、置換データのＡＲタグ以外の部分を変更する置換データ変更手段を、さらに備え、画像再生手段は、置換データ変更手段によって置換データが変更された場合、変更後の置換データのＡＲタグに代えてＡＲタグに関連付けられた関連部分が配置される部分である置換対象領域に基づいて、ＡＲタグに関連付けられた関連部分を変更する関連部分変更手段を含む。

この局面に従えば、情報処理装置によって、データが、そのデータデータ中の関連部分をＡＲタグで置き換えた置換データに変換され、ＡＲタグと関連部分とが関連付けられる。情報処理装置または画像処理装置によって、置換データのＡＲタグ以外の部分が変更される。さらに、画像処理装置によって、置換データ中のＡＲタグを関連部分で置換した再生画像が生成されるが、置換データが変更される場合、変更後の置換データのＡＲタグに代えて関連部分が配置される部分である置換対象領域に基づいて、関連部分が変更される。置換データが変更される場合に、関連部分が変更されるので、ユーザーは、置換データと関連部分との関係を意識することなく、置換データを変更することができる。その結果、関連付けられた２つのデータの一方の変更を他方に反映することが可能な画像処理システムを提供することができる。

好ましくは、関連部分変更手段は、変更後の置換データ中でＡＲタグに関連付けられた関連部分が配置される置換対象領域を抽出する置換対象領域抽出手段を含み、置換対象領域に含まれる画像および置換対象領域の周辺の画像に基づいて、関連部分を変更する。

この局面に従えば、変更後の置換データ中で、ＡＲタグに関連付けられた関連部分が配置される置換対象領域に含まれる画像および置換対象領域の周辺の画像に基づいて、関連部分を変更するので、再生画像において関連部分を適切に配置することができる。

好ましくは、関連部分変更手段は、置換対象領域に所定の規則に従ってＡＲタグ以外の画像が配置される場合、置換対象領域が当該画像を含まないサイズとなるように、関連部分のサイズを縮小する縮小手段を、含む。

この局面に従えば、置換対象領域が当該画像を含まないサイズとなるように、関連部分のサイズを縮小するので、関連部分が別の画像と重ならないようにすることができる。

好ましくは、関連部分変更手段は、置換対象領域およびそれから所定の範囲内にＡＲタグ以外の画像が配置されていない場合、置換対象領域の周辺に配置される画像を含まないサイズまで拡大したサイズとなるように、関連部分のサイズを拡大する拡大手段を、含む。

この局面に従えば、置換対象領域の周辺に配置される画像を含まないサイズまで拡大したサイズとなるように、関連部分のサイズを拡大するので、再生画像において空白部分を少なくすることができる。

好ましくは、関連部分変更手段は、置換対象領域の少なくとも一部の色が関連部分の色と同系色の場合、関連部分の色を変更する色変更手段を、含む。

この局面に従えば、置換対象領域の少なくとも一部の色が関連部分の色と同系色の場合、関連部分の色を変更するので、再生画像において関連部分が視認不可能となるのを防止することができる。

好ましくは、関連部分変更手段は、置換対象領域に所定の規則に従わずＡＲタグ以外の画像が配置される場合、関連部分の置換対象領域に含まれる画像と重なる部分を関連部分から消去する消去手段を、含む。

この局面に従えば、関連部分の置換対象領域に含まれる画像と重なる部分を関連部分から消去するので、変更後の置換データに追加された画像が、再生画像において関連部分で隠れないようにすることができる。

好ましくは、関連付手段により関連付けられたＡＲタグと関連部分とを記憶する記憶手段と、ＡＲタグを含む取得要求を受信することに応じて、受信された取得要求に含まれるＡＲタグに関連付けられた関連部分を返信する関連部分返信手段と、記憶手段に記憶された関連部分を関連部分変更手段により変更された関連部分で更新する関連部分更新手段と、を備えたサーバーを、さらに備える。

この局面に従えば、関連部分および変更された関連部分がサーバーに記憶されるので、関連部分を生成する情報処理装置と、再生画像を生成する装置との間で、関連部分を送受信する必要がない。このため、置換データを取得可能な任意の装置で、再生画像を生成することができる。

好ましくは、画像処理装置は、変更された置換データの画像を記録媒体に形成する画像形成制御手段を、さらに備える。

好ましくは、画像処理装置は、記録媒体に形成された画像を光学的に読み取って画像データを取得する画像読取手段と、取得された画像データからＡＲタグを抽出するＡＲタグ抽出手段と、をさらに備え、画像再生手段は、ＡＲタグ抽出手段がＡＲタグを抽出した画像データを置換データとし、置換データ中のＡＲタグをＡＲタグに関連付けられた関連部分で置換した再生画像を生成する。

好ましくは、記録媒体に形成された画像を撮像することによって画像データを取得する撮像手段と、取得された画像データからＡＲタグを抽出する携帯側ＡＲタグ抽出手段と、画像データ中のＡＲタグをＡＲタグに関連付けられた関連部分で置換した再生画像を生成する携帯側画像再生手段と、を備えた携帯情報装置を、さらに備える。

この発明のさらに他の局面によれば、画像処理方法は、情報処理装置と、画像処理装置とを含む画像処理システムで実行される画像処理方法であって、情報処理装置に、データを、そのデータ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに変換する置換ステップと、ＡＲタグと関連部分とを関連付ける関連付ステップと、を実行させ、画像処理装置に、置換データ中のＡＲタグをＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生ステップと、を実行させ、情報処理装置または画像処理装置に、置換データのＡＲタグ以外の部分を変更する置換データ変更ステップを、さらに実行させ、画像再生ステップは、置換データ変更ステップにおいて置換データが変更された場合、変更後の置換データのＡＲタグに代えてＡＲタグに関連付けられた関連部分が配置される部分である置換対象領域に基づいて、ＡＲタグに関連付けられた関連部分を変更する関連部分変更ステップを含む。

この局面に従えば、関連付けられた２つのデータの一方の変更を他方に反映することが可能な画像処理方法を提供することができる。
この発明のさらに他の局面によれば、画像処理装置は、データ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに基づいて、置換データ中のＡＲタグをＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生手段と、置換データのＡＲタグ以外の部分を変更する置換データ変更手段と、を備え、画像再生手段は、置換データ変更手段によって置換データが変更された場合、変更後の置換データのＡＲタグに代えてＡＲタグに関連付けられた関連部分が配置される部分である置換対象領域に基づいて、ＡＲタグに関連付けられた関連部分を変更する関連部分変更手段を含む。
好ましくは、関連部分変更手段は、変更後の置換データ中でＡＲタグに関連付けられた関連部分が配置される置換対象領域を抽出する置換対象領域抽出手段を含み、置換対象領域に含まれる画像および置換対象領域の周辺の画像に基づいて、関連部分を変更する。
好ましくは、関連部分変更手段は、置換対象領域に所定の規則に従ってＡＲタグ以外の画像が配置される場合、置換対象領域が当該画像を含まないサイズとなるように、関連部分のサイズを縮小する縮小手段を、含む。
好ましくは、関連部分変更手段は、置換対象領域およびそれから所定の範囲内にＡＲタグ以外の画像が配置されていない場合、置換対象領域の周辺に配置される画像を含まないサイズまで拡大したサイズとなるように、関連部分のサイズを拡大する拡大手段を、含む。
好ましくは、関連部分変更手段は、置換対象領域の少なくとも一部の色が関連部分の色と同系色の場合、関連部分の色を変更する色変更手段を、含む。
好ましくは、関連部分変更手段は、置換対象領域に所定の規則に従わずＡＲタグ以外の画像が配置される場合、関連部分の置換対象領域に含まれる画像と重なる部分を関連部分から消去する消去手段を、含む。
好ましくは、変更された置換データの画像を記録媒体に形成する画像形成制御手段を、さらに備える。
好ましくは、記録媒体に形成された画像を光学的に読み取って画像データを取得する画像読取手段と、取得された画像データからＡＲタグを抽出するＡＲタグ抽出手段と、をさらに備え、画像再生手段は、ＡＲタグ抽出手段がＡＲタグを抽出した画像データを置換データとし、置換データ中のＡＲタグをＡＲタグに関連付けられた関連部分で置換した再生画像を生成する。
この発明のさらに他の局面によれば、画像処理方法は、画像処理装置で実行される画像処理方法であって、データ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに基づいて、置換データ中のＡＲタグをＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生ステップと、置換データのＡＲタグ以外の部分を変更する置換データ変更ステップと、を含み、画像再生ステップは、置換データ変更ステップにおいて置換データが変更された場合、変更後の置換データのＡＲタグに代えてＡＲタグに関連付けられた関連部分が配置される部分である置換対象領域に基づいて、ＡＲタグに関連付けられた関連部分を変更する関連部分変更ステップを含む。
この発明のさらに他の局面によれば、画像処理装置を制御するコンピューターで実行される画像処理プログラムであって、データ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに基づいて、置換データ中のＡＲタグをＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生ステップと、置換データのＡＲタグ以外の部分を変更する置換データ変更ステップと、をコンピューターに実行させ、画像再生ステップは、置換データ変更ステップにおいて置換データが変更された場合、変更後の置換データのＡＲタグに代えてＡＲタグに関連付けられた関連部分が配置される部分である置換対象領域に基づいて、ＡＲタグに関連付けられた関連部分を変更する関連部分変更ステップを含む。

本発明の実施の形態における画像処理システムの全体概要の一例を示す図である。 ＭＦＰの外観を示す斜視図である。 ＭＦＰのハードウェア構成の概要の一例を示すブロック図である。 本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。 本実施の形態におけるＰＣのハードウェア構成の概要の一例を示すブロック図である。 本実施の形態におけるサーバーのハードウェア構成の概要の一例を示すブロック図である。 本実施の形態におけるＰＣが備えるＣＰＵの機能の概要の一例を示すブロック図である。 アプリケーションデータおよび置換データの一例を示す図である。 本実施の形態におけるサーバーが備えるＣＰＵの機能の概要の一例を示すブロック図である。 本実施の形態におけるＭＦＰが備えるＣＰＵの機能の概要の一例を示すブロック図である。 変更後の置換データおよび再生画像の一例を示す第１の図である。 変更後の置換データおよび再生画像の一例を示す第２の図である。 変更後の置換データおよび再生画像の一例を示す第３の図である。 変更後の置換データおよび再生画像の一例を示す第４の図である。 関連部分の方向が誤っている場合における再生画像の一例および変更後の関連部分で再生した再生画像の一例を示す第１の図である。 関連部分のサイズが誤っている場合における再生画像の一例および変更後の関連部分で再生した再生画像の一例を示す第２の図である。 本実施の形態における携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。 置換データ生成処理の流れの一例を示すフローチャートである。 置換データ変更処理の流れの一例を示す図である。 関連部分管理処理の流れの一例を示す図である。 画像処理の流れの一例を示すフローチャートである。 再生画像生成処理の流れの一例を示すフローチャートである。 置換データ表示処理の流れの一例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

図１は、本発明の実施の形態における画像処理システムの全体概要の一例を示す図である。図１を参照して、画像処理システム１は、それぞれがネットワーク２に接続された無線局３と、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００と、携帯情報装置２００と、パーソナルコンピューター（以下「ＰＣ」という）３００と、サーバー４００と、を含む。

ネットワーク２は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク２は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク２は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。

ＭＦＰ１００は、画像処理装置として機能し、原稿を読み取るための原稿読取機能、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成機能、ファクシミリデータを送受信するファクシミリ送受信機能、ネットワーク２に接続された他のコンピューターと通信する通信機能を備えている。ＭＦＰ１００は、ネットワーク２を介して、無線局３、ＰＣ３００およびサーバー４００と、データの送受信が可能である。なお、画像処理装置の一例として、ＭＦＰ１００を例に説明するが、ＭＦＰ１００に代えて、画像を処理する機能を備えた装置であれば、例えば、ＰＣ３００であってもよい。

ＰＣ３００は、一般的なコンピューターである。ＰＣ３００は、ＭＦＰ１００を制御するためのプリンタドライバプログラムがインストールされている。

携帯情報装置２００は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、スマートフォンなど、ユーザーに携帯して使用されるコンピューターである。携帯情報装置２００は、無線ＬＡＮ通信機能を備えており、無線局３と通信可能である。 無線局３は、ネットワーク２の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００と通信して、携帯情報装置２００をネットワーク２に接続する。このため、携帯情報装置２００は、無線局３およびネットワーク２を介してＭＦＰ１００、ＰＣ３００およびサーバー４００とデータの送受信が可能である。また、携帯情報装置２００は、ＰＣ３００と同様に、ＭＦＰ１００を制御するためのプリンタドライバプログラムがインストールされており、携帯情報装置２００に記憶されたデータの画像を、ＭＦＰ１００にプリントさせることができる。

図２は、ＭＦＰの外観を示す斜視図である。図３は、ＭＦＰのハードウェア構成の概要の一例を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。

後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。

メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。

ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。

操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーからなるハードキー部１６７を備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１上に設けられたタッチパネルを１６５さらに含む。

通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク２に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、携帯情報装置２００、ＰＣ３００、サーバー４００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク２を介してインターネットに接続されたコンピューターと通信が可能である。

ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。

外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）などの半導体メモリであってもよい。

また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク２に接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク２に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

画像処理システム１において、ＭＦＰ１００、携帯情報装置２００、ＰＣ３００およびサーバー４００間で、データが送受信される。データを送受信するプロトコルは、受信側の装置において送信元を特定することができれば、任意のプロトコルを用いることが可能である。データを送受信するプロトコルは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）およびＳＭＰＴ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＰＯＰ（Ｐｏｓｔ Ｏｆｆｉｃｅ Ｐｒｏｔｏｃｏｌ）等が用いられる。

図４は、本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。図４を参照して、本実施の形態における携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリ２０３と、通話部２０５と接続された無線通信部２０４と、情報を表示する表示部２０６と、ユーザーの操作を受け付ける操作部２０７と、無線ＬＡＮＩ／Ｆ２０８と、外部記憶装置２１１と、を含む。

無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、携帯情報装置２００を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０５に出力する。また、無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイクおよびスピーカを備え、無線通信部２０４から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２０４に出力する。さらに、無線通信部２０４は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。

カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。

表示部２０６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０７は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。

無線ＬＡＮＩ／Ｆ２０８は、無線局３と通信し、携帯情報装置２００をネットワーク２に接続するためのインターフェースである。携帯情報装置２００に、ＭＦＰ１００、ＰＣ３００およびサーバー４００それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＭＦＰ１００、ＰＣ３００およびサーバー４００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、携帯情報装置２００が無線ＬＡＮＩ／Ｆ２０８を用いて、ＭＦＰ１００、ＰＣ３００およびサーバー４００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、携帯情報装置２００、ＭＦＰ１００、ＰＣ３００およびサーバー４００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、携帯情報装置２００が、ＭＦＰ１００、ＰＣ３００およびサーバー４００のいずれかと、１対１で通信するようにしてもよい。また、携帯情報装置２００を、ＭＦＰ１００、ＰＣ３００およびサーバー４００のいずれかと、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等の有線で接続するようにし、携帯情報装置２００が、ＭＦＰ１００、ＰＣ３００およびサーバー４００のいずれかと、１対１で通信するようにしてもよい。

フラッシュメモリ２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリ２０３に記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。

外部記憶装置２１１は、携帯情報装置２００に着脱自在であり、プログラムを記憶したＣＤ−ＲＯＭ２１１Ａが装着可能である。ＣＰＵ２０１は、外部記憶装置２１１を介してＣＤ−ＲＯＭ２１１Ａにアクセス可能である。ＣＰＵ２０１は、外部記憶装置２１１に装着されたＣＤ−ＲＯＭ２１１Ａに記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行することが可能である。

なお、ＣＰＵ２０１が実行するプログラムとして、フラッシュメモリ２０３またはＣＤ−ＲＯＭ２１１Ａに記録されたプログラムについて説明したが、ネットワーク２に接続された他のコンピューターが、フラッシュメモリ２０３に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、携帯情報装置２００が、ネットワーク２に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

なお、ＣＰＵ２０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ２１１Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリであってもよい。

図５は、本実施の形態におけるＰＣのハードウェア構成の概要の一例を示すブロック図である。図５を参照して、ＰＣ３００は、ＰＣ３００の全体を制御するためのＣＰＵ３０１と、ＣＰＵ３０１が実行するためのプログラムを記憶するＲＯＭ３０２と、ＣＰＵ３０１の作業領域として使用されるＲＡＭ３０３と、データを不揮発的に記憶するＨＤＤ３０４と、ＣＰＵ３０１をネットワーク２に接続する通信部３０５と、情報を表示する表示部３０６と、ユーザーの操作の入力を受け付ける操作部３０７と、外部記憶装置３０９と、を含む。

外部記憶装置３０９は、ＣＤ−ＲＯＭ３０９Ａが装着される。ＣＰＵ３０１は、外部記憶装置３０９を介してＣＤ−ＲＯＭ３０９Ａにアクセス可能である。ＣＰＵ３０１は、外部記憶装置３０９に装着されたＣＤ−ＲＯＭ３０９Ａに記録されたプログラムをＲＡＭ３０３にロードして実行する。なお、ＣＰＵ３０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ３０９に限られず、光ディスク、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリであってもよい。

また、ＣＰＵ３０１が実行するプログラムは、ＣＤ−ＲＯＭ３０９に記録されたプログラムに限られず、ＨＤＤ３０４に記憶されたプログラムをＲＡＭ３０３にロードして実行するようにしてもよい。この場合、ネットワーク２に接続された他のコンピューターが、ＰＣ３００のＨＤＤ３０４に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＰＣ３００が、ネットワーク２に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ３０４に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ３０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

図６は、本実施の形態におけるサーバーのハードウェア構成の概要の一例を示すブロック図である。図６を参照して、サーバー４００は、サーバー４００の全体を制御するためのＣＰＵ４０１と、ＣＰＵ４０１が実行するためのプログラムを記憶するＲＯＭ４０２と、ＣＰＵ４０１の作業領域として使用されるＲＡＭ４０３と、データを不揮発的に記憶するＨＤＤ４０４と、ＣＰＵ４０１をネットワーク２に接続する通信部４０５と、情報を表示する表示部４０６と、ユーザーの操作の入力を受け付ける操作部４０７と、外部記憶装置４０９と、を含む。

外部記憶装置４０９は、ＣＤ−ＲＯＭ４０９Ａが装着され、ＣＰＵ４０１は、外部記憶装置４０９に装着されたＣＤ−ＲＯＭ４０９Ａに記録されたプログラムをＲＡＭ４０３にロードして実行する。なお、ＣＰＵ４０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ４０９に限られず、光ディスク、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリであってもよい。

図７は、本実施の形態におけるＰＣが備えるＣＰＵの機能の概要の一例を示すブロック図である。図７に示す機能は、本実施の形態におけるＰＣ３００が備えるＣＰＵ３０１が、ＲＯＭ３０２、ＨＤＤ３０４、またはＣＤ−ＲＯＭ３０９Ａに記憶されたプログラムを実行することにより、ＣＰＵ３０１に形成される機能である。図７を参照して、ＣＰＵ３０１は、データを生成または編集するデータ生成部３５１と、ＡＲタグと関連部分とを関連付ける関連付部３５３と、データを出力するデータ出力部３５５と、置換データ変更部３５７と、を含む。

データ生成部３５１は、ＣＰＵ３０１がアプリケーションプログラムを実行するタスクであり、アプリケーションデータを生成する。アプリケーションプログラムは、特に限定するものではないが、例えば、文書を生成する文書編集プログラム、画像を編集する画像編集プログラム、表計算プログラム、プレゼンテーション用のデータを生成するプログラム、データベースプログラム等を含む。データ生成部３５１は、生成されたアプリケーションデータを、ＨＤＤ３０４に記憶するとともに、出力部５５に出力する。

データ生成部３５１は、置換部３６１を含む、置換部３６１は、アプリケーションデータを、そのアプリケーションデータ中でユーザーにより指定された部分を関連部分とし、その関連部分をＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）タグで置き換えた置換データを生成する。関連部分は、アプリケーションデータ中でユーザーにより指定された部分なので、アプリケーションデータによって異なるが、文字、図形または写真、またはそれらの組み合わせを含む。ＡＲタグは、予め定められた画像であり、他の画像および他のＡＲタグと区別することが可能な画像である。なお、ＡＲタグを、ＱＲコード（登録商標）（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ Ｃｏｄｅ）等の二次元バーコードとしてもよい。

例えば、ユーザーがアプリケーションデータ中の一部を、ある限られた別のユーザーにのみ公開を望む場合、その部分を関連部分として指定すれば、アプリケーションデータが置換データに変換される。置換データを出力しても、関連部分はＡＲタグに置き換えられているので、置換データから関連部分を知ることはできない。ユーザーは、アプリケーションデータの一部を関連部分として指定することにより、置換データを見る別のユーザーが、関連部分が解らないようにすることができる。置換部３６１は、置換データを、ＨＤＤ３０４に記憶するとともに、置換データ変更部３５７およびデータ出力部３５５に出力するとともに、関連部分とその関連部分を置き換えたＡＲタグとの組を関連付部３５３に出力する。

置換データ変更部３５７は、置換部３６１から入力され、ＨＤＤ３０４に記憶された置換データを変更し、ＨＤＤ３０４に記憶された変更前の置換データを変更後の置換データで更新する。置換データ変更部３５７は、置換データ中で、ＡＲタグ以外の部分を変更する。変更は、置換データの一部を削除する変更と、置換データに一部を追加する変更と、置換データに背景画像の追加する変更と、置換データから背景画像を削除する変更と、置換データの一部の色を異ならせる変更と、を含む。置換データ変更部３５７は、置換データの１つの領域を複数種類の方法で変更する場合がある。例えば、置換データに一部を追加するとともに、その追加した一部を含む部分の色を変更する場合である。置換データ変更部５３は、変更後の置換データを出力部５５に出力する。

データ出力部３５５は、データ生成部３５１から置換データが入力され、置換データ変更部３５７から変更後の置換データが入力される。データ出力部３５５は、置換データまたは変更された置換データを、ＰＣ３００を操作するユーザーが操作部３０７に入力する操作によって定まる出力先に出力する。

データ出力部３５５は、画像形成制御部３７１と、データ送信部３７３と、を含む。画像形成制御部３７１は、置換データの画像または変更後の置換データの画像を用紙に形成する。ここでは、画像形成制御部３７１が置換データまたは変更された置換データの画像を用紙に形成する場合は、ＭＦＰ１００を制御して、ＭＦＰ１００に置換データの画像または変更後の置換データの画像を用紙に形成させる場合を例に説明する。画像形成制御部３７１は、置換データまたは変更後の置換データをプリントデータに変換し、プリントデータをＭＦＰ１００に通信部３０５を介して送信する。これにより、ＭＦＰ１００によってプリントデータの画像が用紙に形成される。

データ送信部３７３は、通信部３０５を介して、置換データまたは変更された置換データを他のコンピューターに送信する。送信プロトコルは、特に限定するものではないが、例えば、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるファイル転送、置換データまたは変更された置換データを添付した電子メールの送信である。ここでは、データ送信部３７３が、置換データまたは変更された置換データを送信する場合は、携帯情報装置２００に送信する場合を例に説明する。

関連付部３５３は、置換部３６１から関連部分とＡＲタグとの組が入力される。関連付部３５３は、置換部３６１から入力される関連部分とＡＲタグとを関連付けてサーバー４００に登録する。この際、関連付部３５３は、関連部分の公開を制限する場合、関連部分とＡＲタグとの組にパスワードを付加してサーバー４００に登録する。置換部３６１から入力される関連部分と、ＡＲタグと、パスワードと、を含む関連部分レコードを、通信部３０５を介してサーバー４００に送信する。このパスワードは、ＰＣ３００のユーザーが、置換データを生成する際に、置換データに対して付与するパスワードであり、関連部分を公開する他のユーザーに通知する。

図８（Ａ）は、アプリケーションデータの一例を示す図である。図８（Ａ）を参照して、アプリケーションデータ８０１は、「ＡＢＣＤＥＦＧ」の文字が表された関連部分８０３を含む。図８（Ｂ）は、置換データの一例を示す図である。図８（Ｂ）を参照して、置換データ８０１Ａは、図８（Ａ）に示したアプリケーションデータ８０１から生成され、アプリケーションデータ８０１と異なる点は、関連部分８０３がＡＲタグ８０３Ａに置き換えられた点である。このため、置換データ８０１Ａの画像を用紙に形成した場合、その画像からアプリケーションデータ８０１に含まれている関連部分８０３の画像は形成されない。この例の場合、関連部分８０３と、ＡＲタグ８０３Ａと、ユーザーにより指定されたパスワードとを含む関連部分レコードが、サーバー４００に登録される。

図９は、本実施の形態におけるサーバーが備えるＣＰＵの機能の概要の一例を示すブロック図である。図９に示す機能は、本実施の形態におけるサーバー４００が備えるＣＰＵ４０１が、ＲＯＭ４０２、ＨＤＤ４０４、またはＣＤ−ＲＯＭ４０９Ａに記憶されたプログラムを実行することにより、ＣＰＵ４０１に形成される機能である。図９を参照して、ＣＰＵ４０１は、ＰＣ３００から関連部分を受信する関連部分受信部４５１と、関連部分を登録する登録部４５３と、更新指示を受信する更新指示受信部４５５と、登録された関連部分を更新指示に基づいて更新する関連部分更新部４５７と、関連部分の送信の要求を受信する送信要求受信部４５９と、ユーザーを認証する認証部４６１と、関連部分返信部４６３と、を含む。

関連部分受信部４５１は、通信部４０５を制御して、ＰＣ３００が送信する関連部分レコードを受信する。関連部分受信部４５１は、関連部分レコードを登録部４５３に出力する。登録部４５３は、関連部分レコードをＨＤＤ４０４に記憶する。換言すれば、登録部４５３は、関連部分レコードに含まれる関連部分とＡＲタグとの組を登録する。登録部４５３は、登録された関連部分とＡＲタグとの組を関連部分返信部４６３に出力する。

更新指示受信部４５５は、通信部４０５を制御して、後述するＭＦＰ１００が送信する更新指示を受信する。更新指示の詳細は、後述するが、ＡＲタグと変更後の関連部分とを含む。更新指示受信部４５５は、ＭＦＰ１００から受信された更新指示を関連部分更新部４５７に出力する。

関連部分更新部４５７は、更新指示が受信されることに応じて、ＨＤＤ４０４に記憶された関連部分レコードのうちから更新指示に含まれるＡＲタグと同じＡＲタグを含む関連部分レコードを特定し、特定された関連部分レコードに含まれる関連部分を、更新指示に含まれる関連部分で更新する。関連部分更新部４５７は、更新後の関連部分とＡＲタグとの組を関連部分返信部４６３に出力する。

送信要求受信部４５９は、通信部４０５を制御して、後述するＭＦＰ１００または携帯情報装置２００が送信する関連部分の送信要求を受信する。関連部分の送信要求の詳細は後述するが、ＡＲタグとパスワードとを含む。送信要求受信部４５９は、ＭＦＰ１００および携帯情報装置２００のいずれかから関連部分の送信要求を受信されることに応じて、受信された関連部分の送信要求を認証部４６１および関連部分返信部４６３に出力する。

認証部４６１は、関連部分の送信要求の送信を指示したユーザーを認証する。具体的には、認証部４６１は、ＨＤＤ４０４に記憶された関連部分レコードのうちから関連部分の送信要求に含まれるＡＲタグと同じＡＲタグを含む関連部分レコードを特定し。特定された関連部分レコードに含まれるパスワードを、関連部分の送信要求に含まれるパスワードトと比較する。認証部４６１は、両者が一致すれば、送信指示を関連部分返信部４６３に出力するが、両者が異なれば関連部分返信部４６３にエラー信号を出力する。

関連部分返信部４６３は、送信要求受信部４５９から関連部分の送信要求が入力されることに応じて、ＨＤＤ４０４に記憶された関連部分レコードのうちから関連部分の送信要求に含まれるＡＲタグと同じＡＲタグを含む関連部分レコードを特定し。特定された関連部分レコードに含まれる関連部分を取得する。この関連部分は、登録部４５３によってＨＤＤ４０４に記憶された関連部分であり、関連部分更新部４５７によって関連部分が更新されている場合には更新後の関連部分である。関連部分返信部４６３は、認証部４６１から送信指示が入力されることを条件に、取得された関連部分と、その関連部分と組になるＡＲタグとの組を、関連部分の送信要求を送信してきた装置、ここでは、ＭＦＰ１００または携帯情報装置２００に、通信部４０５を介して送信する。関連部分返信部４６３は、認証部４６１からエラー信号が入力される場合、エラー信号を、関連部分の送信要求を送信してきた装置、ここでは、ＭＦＰ１００または携帯情報装置２００に、通信部４０５を介して送信する。

図１０は、本実施の形態におけるＭＦＰが備えるＣＰＵの機能の概要の一例を示すブロック図である。図１０に示す機能は、本実施の形態におけるＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶されたプログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図１０を参照して、ＣＰＵ１１１は、置換データを取得する置換データ取得部５１と、置換データを変更する置換データ変更部５３と、出力部５５と、置換データからＡＲタグを抽出するＡＲタグ抽出部５７と、抽出されたＡＲタグに関連付けられた関連部分を取得する関連部分取得部５９と、画像再生部６３と、サーバー４００に更新指示を送信する更新指示送信部６５と、を含む。

置換データ取得部５１は、通信Ｉ／Ｆ部１１２を制御し、ＰＣ３００が送信する置換データを受信する。ＰＣ３００が置換データをプリントデータとして送信する場合には、そのプリントデータを置換データとして受信する。また、置換データ取得部５１は、原稿読取部１３０を制御して、置換データの画像が形成された用紙を、原稿読取部１３０が読み取って出力する画像データを置換データとして取得する。置換データ取得部５１は、取得された置換データを置換データ変更部５３に出力する。

また、置換データ取得部５１は、通信Ｉ／Ｆ部１１２がＰＣ３００から変更後の置換データを受信する場合、変更後の置換データを取得する。また、置換データ取得部５１は、原稿読取部１３０が、変更後の置換データの画像が形成された用紙を読み取る場合、原稿読取部１３０が読み取って出力する画像データを変更後の置換データとして取得する。置換データ取得部５１は、取得された変更後の置換データを置換データ変更部５３に出力する。

置換データ変更部５３は、置換データ取得部５１から置換データまたは変更後の置換データが入力され、置換データまたは変更後の置換データを変更する。置換データ変更部５３は、置換データ取得部５１から入力される置換データを変更した変更後の置換データ、または変更後の置換データをさらに変更した変更後の置換データを、出力部５５に出力する。なお、置換データ変更部５３は、置換データまたは変更後の置換データを変更しない場合があり、その場合には、置換データ取得部５１から入力される置換データまたは変更後の置換データを、変更することなく、そのまま出力部に出力する。

置換データ変更部５３は、置換データまたは変更後の置換データ中で、ＡＲタグ以外の部分を変更する。変更は、置換データの一部を削除する変更と、置換データに一部を追加する変更と、置換データに背景画像の追加する変更と、置換データから背景画像を削除する変更と、置換データの一部の色を異ならせる変更と、を含む。例えば、置換データ変更部５３は、置換データまたは変更後の置換データを表示部１６１に表示させ、ユーザーが操作部１６３に入力する操作に従って置換データまたは変更後の置換データを変更する。例えば、置換データまたは変更後の置換データにウォーターマークを重畳する操作を入力すれば、置換データまたは変更後の置換データにウォーターマークを重畳することによって変更後の置換データを生成する。置換データ変更部５３は、置換データまたは変更後の置換データの１つの領域を複数種類の方法で変更する場合がある。例えば、置換データに新たな画像を追加するとともに、置換データの全体にウォーターマークを重畳する場合である。

出力部５５は、置換データ変更部５３から置換データまたは変更後の置換データが入力される場合、置換データまたは変更後の置換データを外部に出力する。置換データまたは変更後の置換データの出力先は、ＭＦＰ１００を操作するユーザーが操作部１６３に入力する操作によって決定される。出力部５５は、画像形成制御部８１と、データ送信制御部８３と、を含む。

画像形成制御部８１は、ユーザーにより入力される操作が画像形成を示す場合、画像形成部１４０を制御し、置換データの画像または変更後の置換データの画像を用紙に形成する。データ送信制御部８３は、ユーザーにより入力される操作がデータ送信を示す場合、通信Ｉ／Ｆ部１１２を制御して、置換データまたは変更された置換データを他のコンピューターに送信する。送信プロトコルは、特に限定するものではないが、例えば、ＦＴＰによるファイル転送、置換データまたは変更された置換データを添付した電子メールの送信である。また、データの送信先は、ＭＦＰ１００を操作するユーザーが操作部１６３に入力する操作によって決定される。ここでは、データ送信部３７３が置換データまたは変更された置換データを送信する一例として、携帯情報装置２００に送信する場合を例に説明する。

ＡＲタグ抽出部５７は、置換データ取得部５１から置換データまたは変更後の置換データが入力される。ＡＲタグ抽出部５７は、置換データ取得部５１から入力される置換データまたは変更後の置換データからＡＲタグを抽出する。ＡＲタグ抽出部５７は、抽出されたＡＲタグを関連部分取得部６１に出力する。ＡＲタグ抽出部５７は、置換データ取得部５１から入力される置換データまたは変更後の置換データから複数のＡＲタグを抽出する場合、抽出された複数のＡＲタグの全てを関連部分取得部５９に出力する。

関連部分取得部５９は、ＡＲタグ抽出部５７から１以上のＡＲタグが入力される場合、１以上のＡＲタグをそれぞれに関連付けられた１以上の関連部分を取得する。具体的には、関連部分取得部５９は、表示部１６１にパスワードの入力画面を表示し、ユーザーが操作部１６３に入力するパスワードを受け付ける。そして、関連部分取得部５９は、通信Ｉ／Ｆ部１１２を制御して、ユーザーにより入力されたパスワードとＡＲタグとを含む関連部分の送信要求をサーバー４００に送信し、サーバー４００が返信する関連部分とＡＲタグとの組を受信する。

上述したように、サーバー４００は、関連部分の送信要求に含まれるパスワードが、関連部分レコードに含まれるパスワードと一致する場合に、関連部分レコードに含まれる関連部分とＡＲタグとの組を返信する。このため、関連部分取得部５９は、パスワードを知る者がＭＦＰ１００を操作する場合に限って、ＡＲタグと関連部分との組を取得する。関連部分取得部５９は、ＡＲタグ抽出部５７から複数のＡＲタグが入力される場合、複数のＡＲタグごとに、関連部分の送信要求をサーバー４００に送信し、複数のＡＲタグそれぞれに対応するＡＲタグと関連部分との組を取得する。関連部分取得部５９は、ＡＲタグと関連部分との組を取得すると、それを画像再生部６３に出力する。

画像再生部６３は、置換データ取得部５１から置換データまたは変更後の置換データが入力され、関連部分取得部５９からＡＲタグと関連部分との組が入力される。画像再生部６３は、置換データまたは変更後の置換データに含まれるＡＲタグを、そのＡＲタグに関連付けられた関連部分で置換した再生画像を生成し、生成された再生画像を出力部５５に出力する。

画像再生部６３は、関連部分変更部７１を含む。関連部分変更部７１は、変更後の置換データに含まれるＡＲタグに関連付けられた関連部分が、そのＡＲタグに代えて配置される部分である置換対象領域および置換対象領域の周辺に配置される画像に基づいて、関連部分を変更する。

関連部分変更部７１は、置換対象領域抽出部７３と、縮小部７５と、拡大部７６と、色変換部７７と、回転部７８と、消去部７９と、を含む。置換データまたは変更後の置換データに配置されたＡＲタグの位置およびサイズによって、そのＡＲタグと組になる関連部分を、置換データまたは変更後の置換データ中で配置する位置、方向およびサイズが定まる。置換対象領域抽出部７３は、置換データ取得部５１から入力される置換データまたは変更後の置換データに配置されたＡＲタグに基づいて、そのＡＲタグと組になる関連部分を配置する領域を置換対象領域に決定する。

置換対象領域抽出部７３は、置換データまたは変更後の置換データ中の置換対象領域の画像および置換対象領域の周辺の画像に基づいて、関連部分の変更が必要か否かを判断する。換言すれば、置換対象領域抽出部７３は、置換データ取得部５１から置換データおよび変更後の置換データのいずれが入力されたかを判断し、置換データ取得部５１から変更後の置換データが入力されたと判断する場合に、関連部分の変更が必要と判断する。置換対象領域抽出部７３は、関連部分の変更が必要と判断する場合、ＡＲタグと置換対象領域との組を、縮小部７５、拡大部７６、色変換部７７、回転部７８、および消去部７９に出力する。

置換対象領域抽出部７３は、置換データまたは変更後の置換データ中の置換対象領域にＡＲタグ以外の画像が配置される場合、置換データ取得部５１から変更後の置換データが入力されたと判断し、関連部分の変更が必要と判断する。また、置換対象領域抽出部７３は、置換データまたは変更後の置換データ中の置換対象領域およびそれから所定の範囲内にＡＲタグ以外の画像が配置されていない場合、置換データ取得部５１から変更後の置換データが入力されたと判断し、関連部分の変更が必要と判断する。また、置換対象領域抽出部７３は、置換データまたは変更後の置換データ中の置換対象領域の少なくとも一部の色が関連部分の色と同系色の場合、置換データ取得部５１から変更後の置換データが入力されたと判断し、関連部分の変更が必要と判断する。２つの部分の色相が所定の範囲内にある場合に、同系色と判断する。

縮小部７５は、置換データ取得部５１から入力される変更後の置換データのうち、置換対象領域抽出部７３から入力される置換対象領域に所定の規則に従ってＡＲタグ以外の画像が配置される場合、置換対象領域が当該画像を含まないサイズとなるようにＡＲタグと組になる関連部分を縮小する。縮小部７５は、ＡＲタグと縮小後の関連部分とを更新指示送信部６５に出力する。所定の規則に従って画像が配置される場合は、例えば、置換対象領域に文章の一部の画像が含まれる場合、または、置換対象領域に画像の一部が含まれる場合に、置換対象領域にそれらの画像が配置される場合である。縮小部７５は、置換対象領域の４辺の少なくとも１つに沿って、外周から内側に均等な幅の領域に画像が配置される場合に、所定の規則に従って画像が配置されていると判断する。

拡大部７６は、置換データ取得部５１から入力される変更後の置換データのうち、置換対象領域およびそれから所定の範囲内にＡＲタグ以外の画像が配置されていない場合、置換対象領域を、その周辺に配置される画像を含まないサイズまで拡大したサイズとなるように、ＡＲタグと組になる関連部分を拡大する。拡大部７６は、ＡＲタグと拡大後の関連部分とを更新指示送信部６５に出力する。

色変換部７７は、置換データ取得部５１から入力される変更後の置換データのうち、置換対象領域の少なくとも一部の色が関連部分の色と同系色の場合、関連部分の色（色相）を置換対象領域の少なくとも一部の色と異なる色（色相）に変更する。色変換部７７は、ＡＲタグと色を変換した後の関連部分とを更新指示送信部６５に出力する。

回転部７８は、置換データ取得部５１から入力される変更後の置換データのうち、置換対象領域以外の部分の画像の方向を検出し、検出された方向と置換対象領域の方向とが異なる場合、関連部分を検出された方向に回転させる。回転部７８は、ＡＲタグと回転後の関連部分とを更新指示送信部６５に出力する。

消去部７９は、置換データ取得部５１から入力される変更後の置換データのうち、置換対象領域抽出部７３から入力される置換対象領域にＡＲタグ以外の画像が配置されており、かつ、置換対象領域に配置されるＡＲタグ以外の画像が所定の規則に従って配置されていない場合、関連部分の置換対象領域に含まれる画像と重なる部分を関連部分から消去する。消去部７９は、ＡＲタグと一部を消去した後の関連部分とを更新指示送信部６５に出力する。

更新指示送信部６５は、縮小部７５、拡大部７６、色変換部７７、回転部７８および消去部７９の少なくとも１つからＡＲタグと変更後の関連部分との組が入力されることに応じて、更新指示をサーバー４００に通信Ｉ／Ｆ部１１２を介して送信する。更新指示は、縮小部７５、拡大部７６、色変換部７７、回転部７８および消去部７９の少なくとも１つから入力されるＡＲタグと変更後の関連部分との組を含む。

画像再生部６３は、置換データ取得部５１から置換データまたは変更後の置換データが入力され、関連部分取得部５９からＡＲタグと関連部分との組が入力される。画像再生部６３は、関連部分変更部７１によって置換データ取得部５１から置換データが入力されたと判断される場合、置換データ取得部５１から入力された置換データにおいて、その置換データに含まれるＡＲタグをそのＡＲタグと組なる関連部分で置き換えた再生画像を生成し、生成された再生画像を出力部５５に出力する。画像再生部６３は、関連部分変更部７１によって置換データ取得部５１から変更後の置換データが入力されたと判断される場合、関連部分変更部７１によって関連部分が変更される。画像再生部６３は、置換データ取得部５１から入力された変更後の置換データにおいて、その変更後の置換データに含まれるＡＲタグをそのＡＲタグと組なる関連部分変更部７１によって変更された後の関連部分で置き換えた再生画像を生成し、生成された再生画像を出力部５５に出力する。

出力部５５は、画像再生部６３から再生画像が入力される場合、再生画像を外部に出力する。出力部５５は、画像再生部６３から再生画像が入力される場合、置換データ変更部５３から置換データまたは変更後の置換データが入力される。出力部５５は、画像再生部６３から入力される再生画像と、置換データ変更部５３から入力される置換データまたは変更後の置換データのいずれか一方を外部に出力する。出力部５５がいずれを出力するかは、ユーザーが操作部１６３に入力する操作によって定まる。出力部５５は、ユーザーにより入力される操作が置換データの出力を示す場合、置換データ変更部５３から入力される置換データまたは変更後の置換データを外部に出力し、ユーザーにより入力される操作が再生画像の出力を示す場合、画像再生部６３から入力される再生画像を外部に出力する。

画像形成制御部８１は、ユーザーにより入力される操作が画像形成を示す場合、画像形成部１４０を制御し、再生画像を用紙に形成する。データ送信制御部８３は、ユーザーにより入力される操作がデータ送信を示す場合、通信Ｉ／Ｆ部１１２を制御して、再生画像を他のコンピューターに送信する。また、データの送信先は、ＭＦＰ１００を操作するユーザーが操作部１６３に入力する操作によって決定される。

図１１（Ａ）は、変更後の置換データの一例を示す第１の図である。図１１（Ａ）を参照して、変更後の置換データ８５１は、ＡＲタグ８０３Ａと、追加部分８５３と、を含む。変更後の置換データ８５１が図８（Ｂ）に示した置換データ８０１Ａと異なる点は、追加部分８５３を含む点である。このため、変更後の置換データ８５１において、ＡＲタグ８０３Ａの上の空白部分が、図８（Ｂ）に示した置換データ８０１Ａに比較して狭い。

図１１（Ｂ）は、再生画像の一例を示す第１の図である。図１１（Ｂ）を参照して、再生画像８５１Ａは、追加部分８５３と、変更後の関連部分８０３Ｂとを含む。図１１（Ａ）に示した置換データ８５１と異なる点は、ＡＲタグ８０３Ａに代えて、変更後の関連部分８０３Ｂを含む点である。さらに、変更後の関連部分８０３Ｂに含まれる変更後の関連部分８０３Ｂは、図８（Ａ）に示したアプリケーションデータ８０１に含まれる関連部分８０３を縮小した画像である。このため、変更後の関連部分８０３Ｂと、追加部分８５３とが重ならないので、再生画像８５１Ａにおいて、変更後の関連部分８０３Ｂと、追加部分８５３とを視認可能にすることができる。

図１２（Ａ）は、変更後の置換データの一例を示す第２の図である。図１２（Ａ）を参照して、変更後の置換データ８６１は、ＡＲタグ８０３Ａと、削除部分８６３と、を含む。なお、削除部分８６３は、説明のために点線で示しているが、図１２（Ａ）中の点線は実際には存在しない。変更後の置換データ８６１が図８（Ｂ）に示した置換データ８０１Ａと異なる点は、削除部分８６３を含む点である。削除部分８６３は、図８（Ｂ）に示した置換データ８０１Ａに存在するが、変更後の置換データ８６１には存在しない。このため、変更後の置換データ８６１におけるＡＲタグ８０３Ａの上の空白部分が、図８（Ｂ）に示した置換データ８０１ＡにおけるＡＲタグ８０３Ａの上の空白部分に比較して広い。

図１２（Ｂ）は、再生画像の一例を示す第２の図である。図１２（Ｂ）を参照して、再生画像８６１Ａは、削除部分８６３と、変更後の関連部分８０３Ｃとを含む。なお、削除部分８６３は、変更後の関連部分８０３Ｃと重なることを示すために点線で示しており、図１２（Ｂ）中の点線は実際には存在しない。図１２（Ａ）に示した置換データ８６１と異なる点は、ＡＲタグ８０３Ａに代えて、変更後の関連部分８０３Ｃを含む点である。さらに、再生画像８６１Ａに含まれる変更後の関連部分８０３Ｃは、図８（Ａ）に示したアプリケーションデータ８０１に含まれる関連部分８０３を拡大した画像である。このため、変更後の関連部分８０３Ｃが、削除部分８６３と重なり、再生画像８６１Ａにおいて、変更後の関連部分８０３Ｃの上下の空白部分が広くならない。

図１３（Ａ）は、変更後の置換データの一例を示す第３の図である。図１３（Ａ）を参照して、変更後の置換データ８７１は、ＡＲタグ８０３Ａを含み、背景に色が付されている。なお、図１３（Ａ）では、背景に色が付されていることをハッチングで示している。変更後の置換データ８７１が図８（Ｂ）に示した置換データ８０１Ａと異なる点は、背景全体の色が異なる点である。

図１３（Ｂ）は、再生画像の一例を示す第３の図である。図１３（Ｂ）を参照して、再生画像８７１Ａは、変更後の関連部分８０３Ｄを含む。再生画像８７１Ａが図１３（Ａ）に示した置換データ８７１と異なる点は、ＡＲタグ８０３Ａに代えて変更後の関連部分８０３Ｄを含む点である。さらに、再生画像８７１Ａに含まれる変更後の関連部分８０３Ｄは、図８（Ａ）に示したアプリケーションデータ８０１に含まれる関連部分８０３と色が異なり、関連部分８０３Ｄの色は、再生画像８７１Ａの変更後の関連部分８０３Ｄ以外の部分の色と異なる色である。このため、再生画像８７１Ａにおいて、変更後の関連部分８０３Ｄが、それ以外の部分の色と異なるので、変更後の関連部分８０３Ｄを見易くなる。

図１４（Ａ）は、変更後の置換データの一例を示す第４の図である。図１４（Ａ）を参照して、変更後の置換データ８８１は、ＡＲタグ８０３Ａと、ウォーターマーク８８３と、を含む。変更後の置換データ８８１が図８（Ｂ）に示した置換データ８０１Ａと異なる点は、ウォーターマーク８８３が追加されている点である。

図１４（Ｂ）は、再生画像の一例を示す第４の図である。図１４（Ｂ）を参照して、再生画像８８１Ａは、変更後の関連部分８０３Ｅを含む。再生画像８８１Ａが図１４（Ａ）に示した置換データ８８１と異なる点は、ＡＲタグ８０３Ａに代えて変更後の関連部分８０３Ｅを含む点である。さらに、再生画像８７１Ａに含まれる変更後の関連部分８０３Ｅは、図８（Ａ）に示したアプリケーションデータ８０１に含まれる関連部分８０３と異なる点は、ウォーターマーク８８３と重なる部分が消去されている点である。このため、再生画像８８１Ａにおいて、変更後の関連部分８０３Ｄと、ウォーターマーク８８３とを、見易くなる。

図１５（Ａ）は、関連部分の方向が誤っている場合における再生画像の一例を示す図である。図１５（Ａ）を参照して、再生画像８９１は、関連部分８９３を含む。再生画像８９１において、関連部分８９３は写真を示しており、その写真の上方向が、再生画像８９１において左方向となっている。これは、アプリケーションデータにおいて、ＡＲタグと関連部分８９３とを関連付ける段階において、ＡＲタグの方向と関連部分８９３の方向とが誤って関連付けられる場合である。

図１５（Ｂ）は、変更後の関連部分で再生した再生画像の一例を示す第１の図である。図１５（Ｂ）を参照して、再生画像８９１Ａは、変更後の関連部分８９３Ａを含む。再生画像８９１Ａが図１５（Ａ）に示した再生画像８９１と異なる点は、関連部分８９３に代えて変更後の関連部分８９３Ａを含む点である。変更後の関連部分８９３Ａは、関連部分８９３と方向が異なり、その方向が、再生画像８９１の変更後の関連部分８９３Ａ以外の部分の方向と一致している。このため、ＡＲタグと関連部分との関連付の誤りを修正することができる。

図１６（Ａ）は、関連部分のサイズが誤っている場合における再生画像の一例を示す図である。図１６（Ａ）を参照して、再生画像８９５は、関連部分８９７を含む。再生画像８９５において、関連部分８９７は、再生画像８９５からはみ出している。これは、アプリケーションデータにおいて、ＡＲタグと関連部分８９３とを関連付ける段階において、ＡＲタグのサイズと関連部分８９３のサイズとが誤って関連付けられる場合である。

図１６（Ｂ）は、変更後の関連部分で再生した再生画像の一例を示す第２の図である。図１６（Ｂ）を参照して、再生画像８９５Ａは、変更後の関連部分８９７Ａを含む。再生画像８９５Ａが図１６（Ａ）に示した再生画像８９５と異なる点は、関連部分８９７に代えて変更後の関連部分８９７Ａを含む点である。変更後の関連部分８９７Ａは、関連部分８９７とサイズが異なり、再生画像８９５Ａの内側に含まれ、かつ、図８（Ｂ）に示した置換データ８０１ＡのＡＲタグ８０３Ａ以外の部分と重ならないサイズである。このため、ＡＲタグのサイズと関連部分のサイズとの関連付の誤りを修正することができる。

図１７は、本実施の形態における携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。図１７に示す機能は、本実施の形態における携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３またはＣＤ−ＲＯＭ２１１Ａに記憶されたプログラムを実行することにより、ＣＰＵ２０１に形成される機能である。図１７を参照して、ＣＰＵ２０１は、データ取得部２５１と、データ取得部２５１により取得されたデータからＡＲタグを抽出するＡＲタグ抽出部２５３と、抽出されたＡＲタグに関連付けられた関連部分を取得する関連部分取得部２５５と、画像再生部２５７と、再生画像出力部２５９と、を含む。

データ取得部２５１は、置換データを取得する。例えば、データ取得部２５１は、カメラ２０２を制御し、ＭＦＰ１００によって置換データの画像が形成された用紙をカメラ２０２に撮像させ、カメラ２０２が用紙に形成された置換データの画像を撮像して出力する画像データを置換データとして取得する。また、データ取得部２５１は、無線通信部２０４を制御し、ＭＦＰ１００によって送信される置換データを受信する場合、無線通信部２０４がＭＦＰ１００から受信する置換データを取得する。データ取得部２５１は、取得された置換データをＡＲタグ抽出部２５３および画像再生部２５７に出力する。

ＡＲタグ抽出部２５３は、データ取得部２５１から置換データが入力されることに応じて、置換データからＡＲタグを抽出し、抽出されたＡＲタグを関連部分取得部２５５に出力する。ＡＲタグ抽出部２５３は、置換データから複数のＡＲタグを抽出する場合、抽出された複数のＡＲタグの全てを関連部分取得部２５５に出力する。

関連部分取得部２５５は、ＡＲタグ抽出部２５３から１以上のＡＲタグが入力される場合、１以上のＡＲタグをそれぞれに関連付けられた１以上の関連部分を取得する。具体的には、関連部分取得部２５５は、表示部２０６にパスワードの入力画面を表示し、ユーザーが操作部２０７に入力するパスワードを受け付ける。そして、関連部分取得部２５５は、無線ＬＡＮＩ／Ｆ２０８を制御して、ユーザーにより入力されたパスワードとＡＲタグとを含む関連部分の送信要求をサーバー４００に送信し、サーバー４００が返信する関連部分とＡＲタグとの組を受信する。

上述したように、サーバー４００は、関連部分の送信要求に含まれるパスワードが、関連部分レコードに含まれるパスワードと一致する場合に、関連部分レコードに含まれる関連部分とＡＲタグとの組を返信する。このため、関連部分取得部２５５は、パスワードを知る者が携帯情報装置２００を操作する場合に限って、ＡＲタグと関連部分との組を取得する。関連部分取得部２５５は、ＡＲタグ抽出部２５３から複数のＡＲタグが入力される場合、複数のＡＲタグごとに、関連部分の送信要求をサーバー４００に送信し、複数のＡＲタグそれぞれに対応するＡＲタグと関連部分との組を取得する。関連部分取得部２５５は、ＡＲタグと関連部分との組を取得すると、それを画像再生部２５７に出力する。

画像再生部２５７は、データ取得部２５１から置換データが入力され、関連部分取得部２５５からＡＲタグと関連部分との組が入力される。画像再生部２５７は、置換データに含まれるＡＲタグを、そのＡＲタグに関連付けられた関連部分で置換した再生画像を生成し、生成された再生画像を再生画像出力部２５９に出力する。

再生画像出力部２５９は、画像再生部２５７から再生画像が入力される場合、再生画像を表示部２０６に表示する。再生画像が表示部２０６に表示されるので、例えば、カメラ２０２で置換データの画像が形成された用紙を撮像する場合、置換データの画像に代えて再生画像を表示するようにすれば、置換データの画像には存在しない関連部分が置換データの画像に存在するかのごとく表示することができる。

なお、再生画像出力部２５９は、再生画像を表示部２０６に表示する場合を例に説明したが、再生画像を他のコンピューターに送信するようにしてもよい。

図１８は、置換データ生成処理の流れの一例を示すフローチャートである。置換データ生成処理は、ＰＣ３００が備えるＣＰＵ３０１が、ＲＯＭ３０２、ＨＤＤ３０４またはＣＤ−ＲＯＭ３０９Ａに記憶されたプログラムを実行することにより、ＣＰＵ３０１により実行される処理である。

図１８を参照して、ＣＰＵ３０１は、アプリケーションプログラムによって生成されたアプリケーションデータを取得する（ステップＳ３０１)。アプリケーションデータは、ＣＰＵ３０１がアプリケーションプログラムを実行することにより、生成するデータであり、例えば、ＨＤＤ３０４に記憶される。

次のステップＳ３０２においては、アプリケーションデータ中の関連部分の指定を受け付ける。たとえば、アプリケーションデータの画像を表示部３０６に表示し、ユーザーが、表示された画像中の任意の領域を指定する操作を操作部３０７に入力すれば、指定された領域を関連部分として受け付ける。関連部分の指定を受け付けるまで待機状態となり（ステップＳ３０２でＮＯ）、関連部分の指定を受け付けたならば（ステップＳ３０２でＹＥＳ）、処理をステップＳ３０３に進める。

ステップＳ３０３においては、ＡＲタグを決定する。予め準備されたＡＲタグのうちから任意のＡＲタグを決定する。次のステップＳ３０４においては、関連部分レコードを生成する。ステップＳ３０２においてアプリケーションデータの中でユーザーにより指定された領域を関連部分に設定し、ステップＳ３０３において決定されたＡＲタグを設定した関連部分レコードを生成する。

ステップＳ３０５においては、関連部分をＡＲタグで置き換える。具体的には、ステップＳ３０１において取得されたアプリケーションデータのうち、ステップＳ３０２においてユーザーにより指定された関連部分を、ステップＳ３０３において決定されたＡＲタグで置き換える。

次のステップＳ３０６においては、関連部分の指定が終了したか否かを判断する。操作部３０７が、ユーザーによる終了操作を受け付けると、関連部分の指定が終了したと判断する。例えば、操作部３０７が備える複数のキーのうち終了操作が予め割り当てられたキーがユーザーにより押下されると、終了操作を受け付ける。関連部分の指定が終了したならば処理をステップＳ３０７に進めるが、そうでなければ処理をステップＳ３０２に戻す。ステップＳ３０７においては、置換データをＨＤＤ３０４に記憶する。置換データは、ステップＳ３０４においてアプリケーションデータのうちユーザーにより指定された関連部分を、ＡＲタグで置き換えたデータである。ステップＳ３０２によって、アプリケーションデータのうち複数の部分が関連部分としてユーザーにより指定される場合、ステップＳ３０４が指定された関連部分の数と同じ回数だけ実行されるので、アプリケーションデータのうち複数の関連部分を複数のＡＲタグでそれぞれ置き換えた置換データが、ＨＤＤ３０４に記憶される。

ステップＳ３０８のいては、登録指示を受け付けたか否かを判断する。操作部３０７が、ユーザーによる登録指示の操作を受け付けると、登録指示を受け付けたと判断する。例えば、操作部３０７が備える複数のキーのうち登録指示が予め割り当てられたキーがユーザーにより押下されると、登録指示を受け付ける。登録指示を受け付けるまで待機状態となり（ステップＳ３０８でＮＯ）、登録指示を受け付けたならば（ステップＳ３０８でＹＥＳ）、処理をステップＳ３０９に進める。ステップＳ３０９においては、ユーザーが操作部３０７に入力するパスワードを受け付ける。そして、関連部分をサーバー４００に登録し（ステップＳ３１０）、処理をステップＳ３１１に進める。ステップＳ３０４において生成された関連部分レコードにステップＳ３０９において受け付けられたパスワードを設定し、関連部分レコードをサーバー４００に通信部３０５を介して送信する。サーバーが関連部分レコードを受信する場合の処理は後述する。

ステップＳ３１１においては、出力指示を受け付けたか否かを判断する。操作部３０７が、ユーザーによる出力指示の操作を受け付けると、出力指示を受け付けたと判断する。例えば、操作部３０７が備える複数のキーのうちプリント指示または送信指示が予め割り当てられたキーがユーザーにより押下されると、出力指示を受け付ける。出力指示を受け付けるまで待機状態となり（ステップＳ３１１でＮＯ）、出力指示を受け付けたならば（ステップＳ３１１でＹＥＳ）、処理をステップＳ３１２に進める。ステップＳ３１２においては、出力指示により特定される出力先によって処理を分岐させる。出力指示がプリントを示すならば処理をステップＳ３１３に出力し、出力指示がデータ送信を示すならば処理をステップＳ３１４に進める。例えば、ステップＳ３１１において操作部３０７が備える複数のキーのうちプリント指示が割り当てられたキーがユーザーにより押下される場合は、処理をステップＳ３１３に進め、送信指示が割り当てられたキーがユーザーにより押下される場合は、処理をステップＳ３１４に進める。

ステップＳ３１３においては、置換データをプリントし、処理を終了する。具体的には、ステップＳ３０７においてＨＤＤ３０４に記憶された置換データの画像をＭＦＰ１００にプリントさせるために、置換データをプリントデータに変換し、変換されたプリントデータをＭＦＰ１００に通信部３０５を介して送信する。ステップＳ３１４においては、置換データを送信し、処理を終了する。具体的には、ステップＳ３０７においてＨＤＤ３０４に記憶された置換データを他のコンピューターに通信部３０５を介して送信する。置換データを送信する先は、ユーザーが操作部３０７を用いて指定するようにすればよい。例えば、携帯情報装置２００がユーザーにより指定される場合は、置換データを、携帯情報装置２００に送信する。

図１９は、置換データ変更処理の流れの一例を示す図である。置換データ生成処理は、ＰＣ３００が備えるＣＰＵ３０１が、ＲＯＭ３０２、ＨＤＤ３０４またはＣＤ−ＲＯＭ３０９Ａに記憶されたプログラムを実行することにより、ＣＰＵ３０１により実行される処理である。ＣＰＵ３０１が、置換データ変更処理を実行する前の段階では、上述した置換データ生成処理が、ＣＰＵ３０１によって実行されてＨＤＤ３０４に置換データが記憶されている。

図１９を参照して、ＣＰＵ３０１は、ＨＤＤ３０４に記憶されている置換データを読み出す（ステップＳ３２１）。ＨＤＤ３０４に複数の置換データが記憶されている場合には、ユーザーにより指定された置換データを読み出す。次のステップＳ３２２においては、読み出された置換データに対して修正指示を受け付けたか否かを判断する。修正指示を受け付けるまで待機状態となり（ステップＳ３２２でＮＯ）、修正指示を受け付けたならば（ステップＳ３２２でＹＥＳ）、処理をステップＳ３２３に進める。修正指示は、ユーザーが操作部３０７に入力する操作であり、置換データ中で、ＡＲタグ以外の部分の変更を指示する操作である。置換データの変更は、置換データの一部を削除する変更と、置換データに一部を追加する変更と、置換データに背景画像の追加する変更と、置換データから背景画像を削除する変更と、置換データの一部の色を異ならせる変更と、を含む。

ステップＳ３２３においては、ステップＳ３２２において受け付けられた修正指示に従って、ステップＳ３２１において読み出された置換データを変更する。次のステップＳ３２４においては、修正終了指示を受け付けたか否かを判断する。操作部３０７が、ユーザーによる修正終了指示の操作を受け付けると、修正終了指示を受け付けたと判断する。例えば、操作部３０７が備える複数のキーのうち修正終了指示が予め割り当てられたキーがユーザーにより押下されると、修正終了指示を受け付ける。修正終了指示を受け付けたならば処理をステップＳ３２５に進めるが、そうでなければ処理をステップＳ３２２に戻す。

ステップＳ３２５においては、変更後の置換データをＨＤＤ３０４に記憶する。変更後の置換データは、ステップＳ３２３において置換データの一部を変更したデータである。 ステップＳ３２６においては、出力指示を受け付けたか否かを判断する。出力指示を受け付けるまで待機状態となり（ステップＳ３２６でＮＯ）、出力指示を受け付けたならば（ステップＳ３２６でＹＥＳ）、処理をステップＳ３２７に進める。ステップＳ３２７においては、出力指示により特定される出力先によって処理を分岐させる。出力指示がプリントを示すならば処理をステップＳ３２８に進め、出力指示がデータ送信を示すならば処理をステップＳ３２９に進める。ステップＳ３２８においては、変更後の置換データをプリントし、処理を終了する。具体的には、ステップＳ３２３において変更された後の置換データの画像をＭＦＰ１００にプリントさせるために、変更後の置換データのプリントデータをＭＦＰ１００に通信部３０５を介して送信する。ステップＳ３２９においては、変更後の置換データを送信し、処理を終了する。具体的には、ステップＳ３２３において変更された後の置換データを他のコンピューターに通信部３０５を介して送信する。置換データを送信する先は、ユーザーが操作部３０７を用いて指定するようにすればよい。例えば、携帯情報装置２００がユーザーにより指定される場合は、変更後の置換データを、携帯情報装置２００に送信する。

図２０は、関連部分管理処理の流れの一例を示す図である。関連部分管理処理は、本実施の形態におけるサーバー４００が備えるＣＰＵ４０１が、ＲＯＭ４０２、ＨＤＤ４０４またはＣＤ−ＲＯＭ４０９Ａに記憶されたプログラムを実行することにより、ＣＰＵ４０１により実行される処理である。図２０を参照して、ＣＰＵ４０１は関連部分レコードを受信したか否かを判断する（ステップＳ４０１）。通信部４０５が、ＰＣ３００から関連部分レコードを受信したならば処理をステップＳ４０２に進めるが、そうでなければ処理をステップＳ４０３に進める。ステップＳ４０３においては、受信された関連部分レコードをＨＤＤ４０４に記憶し、処理をステップＳ４０３に進める。

ステップＳ４０３においては、更新指示を受信したか否かを判断する。通信部４０５が、ＭＦＰ１００から更新指示を受信したならば処理をステップＳ４０４に進めるが、そうでなければ処理をステップＳ４０６に進める。更新指示は、ＡＲタグと変更後の関連部分とを含む。

ステップＳ４０４においては、受信された更新指示に含まれるＡＲタグを含む関連部分レコードをＨＤＤ４０４から抽出する。そして、抽出された関連部分レコードに含まれる関連部分を、更新指示に含まれる関連部分で変更し（ステップＳ４０５）、処理をステップＳ４０６に進める。これにより、ＨＤＤ４０４に記憶あれた関連部分レコードが更新される。

ステップＳ４０６においては、送信要求を受信したか否かを判断する。通信部４０５が、ＭＦＰ１００または携帯情報装置２００から関連部分の送信要求を受信したならば処理をステップＳ４０７に進めるが、そうでなければ処理をステップＳ４０１に戻す。関連部分の送信要求は、ＡＲタグとパスワードとを含む。

ステップＳ４０７においては、関連部分の送信要求に含まれるＡＲタグを含む関連部分レコードをＨＤＤ４０４から抽出する。そして、抽出された関連部分レコードに含まれるパスワードが、関連部分の送信要求に含まれるパスワードと一致するか否かを判断する（ステップＳ４０８）。両者が一致するならば処理をステップＳ４０９に進めるが、そうでなければ処理をステップＳ４０１に戻す。ステップＳ４０９においては、ステップＳ４０７において抽出された関連部分レコードを、関連部分の送信要求を送信してきた装置に、通信部４０５を介して送信する。

図２１は、画像処理の流れの一例を示すフローチャートである。画像処理は、本実施の形態におけるＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶されたプログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図２１を参照して、ＣＰＵ１１１は、原稿を読み取ったか否かを判断する（ステップＳ１０１）。原稿読取部１２０が原稿を読み取ったならば処理をステップＳ１０２に進めるが、そうでなければ処理をステップＳ１０３に進める。ステップＳ１０２においては、原稿読取部１２０が原稿を読み取って出力する画像データを置換データに設定し、処理をステップＳ１０５に進める。

ステップＳ１０３においては、通信Ｉ／Ｆ部１１２が外部からデータを受信したか否かを判断する。データを受信したならば処理をステップＳ１０４に進めるが、そうでなければ処理をステップＳ１０１に戻す。ステップＳ１０４においては、通信Ｉ／Ｆ部１１２が受信したデータを置換データに設定し、処理をステップＳ１０５に進める。

ステップＳ１０５においては、変更指示を受け付けたか否かを判断する。変更指示を受け付けたならば処理をステップＳ１０６に進めるが、そうでなければ処理をステップＳ１０７に進める。変更指示は、ユーザーが操作部１６３に入力する操作であり、置換データ中で、ＡＲタグ以外の部分の変更を指示する操作である。変更指示は、置換データの一部を削除する指示と、置換データに新たな部分を追加する指示と、置換データに背景画像の追加する指示と、置換データから背景画像を削除する指示と、置換データの一部の色を異ならせる指示と、を含む。置換データに追加または削除する背景画像は、例えばウォーターマークである。ステップＳ１０６においては、ステップＳ１０５において受け付けられた変更指示に従って、置換データを変更し、処理をステップＳ１０７に進める。ステップＳ１０６において変更された置換データを、変更後の置換データという。

ステップＳ１０７においては、出力指示を受け付けたか否かを判断する。操作部１６３が、ユーザーによる出力指示の操作を受け付けると、出力指示を受け付けたと判断する。例えば、操作部１６３が備える複数のキーのうちプリント指示または送信指示が予め割り当てられたキーがユーザーにより押下されると、出力指示を受け付ける。出力指示を受け付けたならば処理をステップＳ１０８に進めるが、そうでなければ処理をステップＳ１１０に進める。ステップＳ１０８においては、出力指示により特定される出力先によって処理を分岐させる。出力指示がプリントを示すならば処理をステップＳ１０９に出力し、出力指示がデータ送信を示すならば処理をステップＳ１１０に進める。例えば、ステップＳ１０７において操作部１６３が備える複数のキーのうちプリント指示が割り当てられたキーがユーザーにより押下される場合は、処理をステップＳ１０９に進め、送信指示が割り当てられたキーがユーザーにより押下される場合は、処理をステップＳ１１０に進める。

ステップＳ１０９においては、置換データまたは変更後の置換データをプリントし、処理をステップＳ１１１に進める。具体的には、画像形成部１４０を制御し、ステップＳ１０６が実行される場合には変更後の置換データの画像を、ステップＳ１０６が実行されない場合には置換データの画像を、用紙に形成させる。ステップＳ１１０においては、処理対象データを外部に送信し、処理をステップＳ１１１に進める。具体的には、ステップＳ１０６が実行される場合には変更後の置換データを、ステップＳ１０６が実行されない場合には置換データを、通信Ｉ／Ｆ部１１２を介して送信する。置換データまたは変更後の置換データを送信する先は、ユーザーが操作部１６３を用いて指定するようにすればよい。例えば、携帯情報装置２００がユーザーにより指定される場合は、置換データまたは変更後の置換データを、携帯情報装置２００に送信する。

ステップＳ１１１においては、再生画像生成指示を受け付けたか否かを判断する。操作部１６３が、ユーザーによる再生画像生成指示の操作を受け付けると、再生画像生成指示を受け付けたと判断する。例えば、操作部１６３が備える複数のキーのうち再生画像生成指示が予め割り当てられたキーがユーザーにより押下されると、再生画像生成指示を受け付ける。再生画像生成指示を受け付けたならば処理をステップＳ１１２に進めるが、そうでなければ処理を終了する。ステップＳ１１２においては、再生画像生成処理を実行し、処理をステップＳ１１３に進める。再生画像生成処理の詳細は後述するが、置換データまたは変更後の置換データ中のＡＲタグを関連部分で置き換えた再生画像を生成する処理である。

ステップＳ１１３においては、ステップＳ１０７と同様に、出力指示を受け付けたか否かを判断する。出力指示を受け付けるまで待機状態となり（ステップＳ１１３でＮＯ）、出力指示を受け付けたならば（ステップＳ１１３でＹＥＳ）、処理をステップＳ１１４に進める。ステップＳ１１４においては、出力指示により特定される出力先によって処理を分岐させる。出力指示がプリントを示すならば処理をステップＳ１１５に進め、出力指示がデータ送信を示すならば処理をステップＳ１１６に進める。

ステップＳ１１５においては、再生画像をプリントし、処理を終了する。具体的には、画像形成部１４０を制御し、ステップＳ１１２において生成された再生画像を用紙に形成させる。ステップＳ１１６においては、ステップＳ１１２において生成された再生画像を外部に送信し、処理を終了する。具体的には、ステップＳ１１２において生成された再生画像を、通信Ｉ／Ｆ部１１２を介して送信する。再生画像を送信する先は、ユーザーが操作部１６３を用いて指定するようにすればよい。例えば、携帯情報装置２００がユーザーにより指定される場合は、再生画像を、携帯情報装置２００に送信する。

図２２は、再生画像生成処理の流れの一例を示すフローチャートである。再生画像生成処理は、図２１に示した画像処理のステップＳ１１２において実行される処理であり、ステップＳ１１２が実行される前の段階で、置換データまたは変更後の置換データが取得されている。図２２を参照して、置換データまたは変更後の置換データからＡＲタグを抽出する。置換データまたは変更後の置換データが複数のＡＲタグを含む場合には、複数のＡＲタグの全てを抽出する。

ステップＳ１２２においては、パスワードを受け付ける。このパスワードは、ＰＣ３００を用いて、置換データを生成する際に、置換データを生成したユーザーが、置換データに対して付与したパスワードである。次のステップＳ１２３においては、ステップＳ１２１において置換データまたは変更後の置換データから抽出された１以上のＡＲタグうちから１つを処理対象として選択する。次のステップＳ１２４においては、ＡＲタグに関連付けられた関連部分を取得する。具体的には、通信Ｉ／Ｆ部１１２を制御して、ステップＳ１２２において入力されたパスワードと、ステップＳ１２３において選択されたＡＲタグとを含む関連部分の送信要求をサーバー４００に送信し、サーバー４００が返信する関連部分とＡＲタグとの組を受信する。

ステップＳ１２５においては、置換データまたは変更後の置換データから置換対象領域を抽出する。置換データまたは変更後の置換データに配置されたＡＲタグに基づいて、そのＡＲタグと組になる関連部分を配置する領域を置換対象領域として抽出する。置換データまたは変更後の置換データに配置されたＡＲタグの位置およびサイズによって、そのＡＲタグと組になる関連部分を置換データまたは変更後の置換データ中で配置する位置、方向およびサイズが定まる。ＡＲタグの位置およびサイズに基づいて、関連部分を置換データまたは変更後の置換データに配置するサイズおよびサイズを決定し、置換対象領域を決定する。

次のステップＳ１２６においては、置換データまたは変更後の置換データ中の置換対象領域がＡＲタグ以外の画像を含むか否かを判断する。置換データまたは変更後の置換データ中の置換対象領域がＡＲタグ以外の画像を含むならば処理をステップＳ１２７に進めるが、そうでなければ処理をステップＳ１３０に進める。置換対象領域がＡＲタグ以外の画像を含む場合、処理対象とするデータは変更後の置換データである。ステップＳ１２７においては、変更後の置換データ中の置換対象領域に含まれるＡＲタグ以外の画像が、置換対象領域に所定の規則で配置されているか否かを判断する。所定の規則は、例えば、置換対象領域の４辺の少なくとも１つに沿って、外周から内側に均等な幅の領域に画像が配置される場合である。置換対象領域に含まれるＡＲタグ以外の画像が、置換対象領域に所定の規則で配置されているならば処理をステップＳ１２８に進めるが、そうでなければ処理をステップＳ１２９に進める。

ステップＳ１２８においては、関連部分を縮小し、処理をステップＳ１３０に進める。具体的には、変更後の置換データ中の置換対象領域がＡＲタグ以外の画像を含まないサイズとなるように、ＡＲタグと組になる関連部分を縮小する。

ステップＳ１２９においては、関連部分の一部を消去し、処理をステップＳ１３０に進める。具体的には、関連部分のうちから、変更後の置換データ中の置換対象領域に含まれるＡＲタグ以外の画像と重なる部分を関連部分から消去する。

ステップＳ１３０においては、置換データまたは変更後の置換データ中の置換対象領域の少なくとも一部の色が関連部分の色と同系色か否かを判断する。置換対象領域の少なくとも一部の色が関連部分の色と同系色ならば処理をステップＳ１３１に進めるが、そうでなければ処理をステップＳ１３２に進める。置換対象領域の少なくとも一部の色が関連部分の色と同系色の場合、処理対象とするデータは変更後の置換データである。ステップＳ１３１においては、関連部分の色を、変更後の置換データ中の置換対象領域に含まれる同系色の色と異なる色に変更し、処理をステップＳ１３２に進める。

ステップＳ１３２においては、置換データまたは変更後の置換データ中の置換対象領域以外の部分の画像の方向を検出する。例えば、置換データまたは変更後の置換データを文字認識することにより検出された文字の方向を検出する。また、関連部分を文字認識することにより検出された文字の方向を検出する。そして、置換対象領域以外の部分の画像の方向が関連部分の方向と異なるか否かを判断する（ステップＳ１３３）。置換対象領域以外の部分の画像の方向が関連部分の方向と異なるならば処理をステップＳ１３４に進めるが、そうでなければ処理をステップＳ１３５に進める。

置換対象領域以外の部分の画像の方向が関連部分の方向と異なる場合、処理対象とするデータは置換データおよび変更後の置換データのいずれかである。処理対象とするデータが置換データの場合は、ＰＣ３００を用いて、置換データを生成する際に、置換データを生成したユーザーが、関連部分の方向を誤って指定した場合がある。処理対象とするデータが変更後の置換データの場合は、ＰＣ３００またはＭＦＰ１００を用いて、置換データを変更する際に、置換データの方向を変更した場合である。

ステップＳ１３４においては、ステップＳ１３２において検出された置換データまたは変更後の置換データ中の置換対象領域以外の部分の画像の方向と同じ方向となるように、関連部分を回転させ、処理をステップＳ１３５に進める。

ステップＳ１３５においては、サーバー４００に更新指示を通信Ｉ／Ｆ部１１２を介して送信し、処理をステップＳ１３６に進める。更新指示は、ステップＳ１２３で処理対象に選択されているＡＲタグと、ステップＳ１２８、ステップＳ１２９，ステップＳ１３１およびステップＳ１３４の少なくとも１つで変更された後の関連部分との組を含む。

ステップＳ１３６においては、置換データまたは変更後の置換データに含まれるＡＲタグを関連部分で置き換え、処理をステップＳ１３７に進める。ＡＲタグを置き換える関連部分は、ステップＳ１２８、ステップＳ１２９，ステップＳ１３１およびステップＳ１３４の少なくとも１つが実行される場合には、変更された後の関連部分である。

ステップＳ１３７においては、ステップＳ１２１において置換データまたは変更後の置換データから抽出された１以上のＡＲタグのうちにステップＳ１２３において処理対象に選択されていないＡＲタグが存在するか否かを判断する。未選択のＡＲタグが存在するならば、処理をステップＳ１２３に戻すが、そうでなければ処理を画像処理に戻す。

図２３は、置換データ表示処理の流れの一例を示すフローチャートである。置換データ表示処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３またはＣＤ−ＲＯＭ２１１Ａに記憶されたプログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図２３を参照して、ＣＰＵ２０１は、原稿を撮像したか否かを判断する（ステップＳ２０１）。カメラ２０２が、被写体を撮像したならは処理をステップＳ２０２に進めるが、そうでなければ処理をステップＳ２０３に進める。ここでは、カメラ２０２の被写体は、ＭＦＰ１００により置換データまたは変更後の置換データの画像が形成された用紙としている。ステップＳ２０２においては、カメラ２０２が被写体を撮像して出力する画像データを置換データに設定し、処理をステップＳ２０５に進める。ここでは、ステップＳ２０３においては、無線ＬＡＮＩ／Ｆ２０８が外部からデータを受信したか否かを判断する。データを受信したならば処理をステップＳ２０４に進めるが、そうでなければ処理をステップＳ２０１に戻す。ここでは、ＰＣ３００またはＭＦＰ１００から置換データまたは変更後の置換データを受信する場合を例に説明する。ステップＳ２０４においては、無線ＬＡＮＩ／Ｆ２０８が受信したデータを置換データに設定し、処理をステップＳ２０５に進める。

ステップＳ２０５においては、ステップＳ２０２またはステップＳ２０４において設定された置換データからＡＲタグを抽出する。置換データが複数のＡＲタグを含む場合には、複数のＡＲタグの全てを抽出する。

ステップＳ２０６においては、パスワードを受け付ける。このパスワードは、ＰＣ３００を用いて、置換データを生成する際に、置換データを生成したユーザーが、置換データに対して付与したパスワードである。次のステップＳ２０７においては、ステップＳ２０５において置換データから抽出された１以上のＡＲタグうちから１つを処理対象として選択する。次のステップＳ２０８においては、ＡＲタグに関連付けられた関連部分を取得する。具体的には、無線ＬＡＮＩ／Ｆ２０８を制御して、ステップＳ２０６において受け付けたパスワードと、ステップＳ２０５において選択されたＡＲタグとを含む関連部分の送信要求をサーバー４００に送信し、サーバー４００が返信する関連部分とＡＲタグとの組を受信する。

次のステップＳ２０９においては、置換データに含まれるＡＲタグを関連部分で置き換え、処理をステップＳ２１０に進める。ＡＲタグを置き換える関連部分は、ステップＳ２０９において取得された関連部分である。具体的には、置換データに配置されたＡＲタグの位置およびサイズに基づいて、置換対象領域を決定し、決定した置換対象領域に関連部分を配置する。

ステップＳ２１０においては、ステップＳ２０５において置換データから抽出された１以上のＡＲタグのうちにステップＳ２０７において処理対象に選択されていないＡＲタグが存在するか否かを判断する。未選択のＡＲタグが存在するならば、処理をステップＳ２０７に戻すが、そうでなければ処理をステップＳ２１１に進める。

ステップＳ２１１においては、再生画像を表示部２０６に表示し、処理をステップＳ２１２に進める。再生画像は、ステップＳ２０９において、置換データに含まれるＡＲタグを関連部分で置き換えた画像である。

ステップＳ２１２においては、送信指示を受け付けたか否かを判断する。送信指示を受け付けたならば処理をステップＳ２１２に進めるが、そうでなければ処理を終了する。ステップＳ２１２においては、再生画像を外部に無線ＬＡＮＩ／Ｆ２０８を介して送信し、処理を終了する。再生画像を送信する先は、ユーザーが操作部２０７を用いて指定するようにすればよい。例えば、ＰＣ３００がユーザーにより指定される場合は、再生画像を、ＰＣ３００に送信する。

以上説明したように、本実施の形態における画像処理システム１は、情報処理装置としてのＰＣ３００と、画像処理装置としてのＭＦＰ１００を含み、ＰＣ３００は、データをそのデータ中の少なくとの一部である関連部分をＡＲタグで置き換えた置換データに変換し、ＡＲタグと関連部分とを関連付けた関連部分レコードをサーバー３００に送信し、サーバー３００は、関連部分レコードを記憶する。ＰＣ３００またはＭＦＰ１００は、置換データのＡＲタグ以外の部分を変更し、ＭＦＰ１００は、置換データが変更される場合、変更後の置換データのＡＲタグに代えてＡＲタグに関連付けられた関連部分が配置される部分である置換対象領域に基づいて、ＡＲタグに関連付けられた関連部分を変更する。ＭＦＰ１００は、置換データ中のＡＲタグを関連部分で置換した再生画像を生成するが、置換データが変更される場合、関連部分を変更する。このため、置換データが変更される場合に、関連部分が変更されるので、ユーザーは、置換データと関連部分との関係を意識することなく、置換データを変更することができる。

また、変更後の置換データ中でＡＲタグに関連付けられた関連部分が配置される置換対象領域を抽出し、置換対象領域に含まれる画像および置換対象領域の周辺の画像に基づいて、関連部分を変更するので、再生画像において関連部分を適切に配置することができる。

また、置換対象領域に文章の一部の画像が含まれる場合、または、置換対象領域に画像の一部が含まれる場合に、置換対象領域にそれらの画像が配置される場合等、置換対象領域の４辺の少なくとも１つに沿って、外周から内側に均等な幅の領域に画像が配置されるよな、所定の規則に従って、置換対象領域にＡＲタグ以外の画像が配置される場合、置換対象領域が当該画像を含まないサイズとなるように、関連部分のサイズを縮小する。このため、再生画像において関連部分が別の画像と重ならないようにすることができる。

また、置換対象領域およびそれから所定の範囲内にＡＲタグ以外の画像が配置されていない場合、置換対象領域の周辺に配置される画像を含まないサイズまで拡大したサイズとなるように、関連部分のサイズを拡大するので、再生画像において空白部分を少なくすることができる。

また、置換対象領域の少なくとも一部の色が関連部分の色と同系色の場合、関連部分の色を変更するので、再生画像において関連部分が視認不可能となるのを防止することができる。

さらに、置換対象領域に所定の規則に従わずＡＲタグ以外の画像が配置される場合、関連部分の置換対象領域に含まれる画像と重なる部分を関連部分から消去するので、変更後の置換データに追加された画像が、再生画像において関連部分で隠れないようにすることができる。

また、サーバー４００は、ＰＣ３００から送信される関連部分レコードを記憶し、ＭＦＰ１００から更新指示を受信することに応じて、更新指示に従って関連部分レコードに含まれる関連部分を更新し、携帯情報装置２００またはＭＦＰ１００からＡＲタグを含む取得要求を受信することに応じて、受信された取得要求に含まれるＡＲタグに関連付けられた関連部分を返信する。関連部分および変更された関連部分がサーバー４００に記憶されるので、関連部分を生成するＰＣ３００と、再生画像を生成するＭＦＰ１００または携帯情報装置２００との間で、関連部分を送受信する必要がない。このため、置換データを取得可能なＭＦＰ１００または携帯情報装置２００のうち任意の装置で、再生画像を生成することができる。

ＭＦＰ１００は、置換データの画像が形成された用紙を原稿読取部１２０で読み取って得られる画像データを置換データとして処理し、携帯情報装置２００は、ＭＦＰ１００により置換データの画像が用紙に形成された画像をカメラ２０２で撮像するよこにより得られる画像データを置換データとして処理し、それぞれ再生画像を生成する。このため、ＭＦＰ１００および携帯情報装置２００のいずれかで、再生画像を生成することができる。

なお、上述した実施の形態においては、画像処理システム１について説明したが、図１８〜図２２に示した処理を、ＰＣ３００、ＭＦＰ１００およびサーバー４００に実行させる画像処理方法として、発明を特定することができるのは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理システム、２ ネットワーク、５１ 置換データ取得部、５３ 置換データ変更部、５５ 出力部、５７ ＡＲタグ抽出部、５９ 関連部分取得部、６１ 関連部分取得部、６３ 画像再生部、６５ 更新指示送信部、７１ 関連部分変更部、７３ 置換対象領域抽出部、７５ 縮小部、７６ 拡大部、７７ 色変換部、７８ 回転部、７９ 消去部、８１ 画像形成制御部、８３ データ送信制御部、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＨＤＤ、１１６ ファクシミリ部、１１７ 外部記憶装置、１１８ ＣＤ−ＲＯＭ、１２０ 自動原稿搬送装置、１２０ 原稿読取部、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１５５ 後処理部、１６０ 操作パネル、１６１ 表示部、１６３ 操作部、１６５ タッチパネル、１６７ ハードキー部、２００ 携帯情報装置、２０１ ＣＰＵ、２０２ カメラ、２０３ フラッシュメモリ、２０４ 無線通信部、２０５ 通話部、２０６ 表示部、２０７ 操作部、２０８ 無線ＬＡＮＩ／Ｆ、２１１ 外部記憶装置、２５１ データ取得部、２５３ ＡＲタグ抽出部、２５５ 関連部分取得部、２５７ 画像再生部、２５９ 再生画像出力部、３００ サーバー、３０１ ＣＰＵ，３０２ ＲＯＭ、３０３ ＲＡＭ、３０４ ＨＤＤ、３０５ 通信部、３０６ 表示部、３０７ 操作部、３０９ 外部記憶装置、３５１ データ生成部、３５３ 関連付部、３５５ データ出力部、３５７ 置換データ変更部、３６１ 置換部、３７１ 画像形成制御部、３７３ データ送信部、４００ サーバー、４０１ ＣＰＵ，４０２ ＲＯＭ、４０３ ＲＡＭ、４０４ ＨＤＤ、４０５ 通信部、４０６ 表示部、４０７ 操作部、４０９ 外部記憶装置、４５１ 関連部分受信部、４５３ 登録部、４５５ 更新指示受信部、４５７ 関連部分更新部、４５９ 送信要求受信部、４６１ 認証部、４６３ 関連部分返信部。

Claims (21)

1. 情報処理装置と、画像処理装置とを含む画像処理システムであって、
   前記情報処理装置は、データを、そのデータ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに変換する置換手段と、
   前記ＡＲタグと前記関連部分とを関連付ける関連付手段と、を備えており、
   前記画像処理装置は、前記置換データ中の前記ＡＲタグを前記ＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生手段と、を備え、
   前記情報処理装置または前記画像処理装置は、前記置換データの前記ＡＲタグ以外の部分を変更する置換データ変更手段を、さらに備え、
   前記画像再生手段は、前記置換データ変更手段によって前記置換データが変更された場合、変更後の置換データの前記ＡＲタグに代えて前記ＡＲタグに関連付けられた前記関連部分が配置される部分である置換対象領域に基づいて、前記ＡＲタグに関連付けられた前記関連部分を変更する関連部分変更手段を含む、画像処理システム。
2. 前記関連部分変更手段は、前記変更後の置換データ中で前記ＡＲタグに関連付けられた関連部分が配置される置換対象領域を抽出する置換対象領域抽出手段を含み、
   前記置換対象領域に含まれる画像および前記置換対象領域の周辺の画像に基づいて、前記関連部分を変更する、請求項１に記載の画像処理システム。
3. 前記関連部分変更手段は、前記置換対象領域に所定の規則に従って前記ＡＲタグ以外の画像が配置される場合、前記置換対象領域が当該画像を含まないサイズとなるように、前記関連部分のサイズを縮小する縮小手段を、含む請求項１または２に記載の画像処理システム。
4. 前記関連部分変更手段は、前記置換対象領域およびそれから所定の範囲内に前記ＡＲタグ以外の画像が配置されていない場合、前記置換対象領域の周辺に配置される画像を含まないサイズまで拡大したサイズとなるように、前記関連部分のサイズを拡大する拡大手段を、含む請求項１〜３のいずれかに記載の画像処理システム。
5. 前記関連部分変更手段は、前記置換対象領域の少なくとも一部の色が前記関連部分の色と同系色の場合、前記関連部分の色を変更する色変更手段を、含む請求項１〜４のいずれかに記載の画像処理システム。
6. 前記関連部分変更手段は、前記置換対象領域に所定の規則に従わず前記ＡＲタグ以外の画像が配置される場合、前記関連部分の前記置換対象領域に含まれる画像と重なる部分を前記関連部分から消去する消去手段を、含む請求項１〜５のいずれかに記載の画像処理システム。
7. 前記関連付手段により関連付けられた前記ＡＲタグと前記関連部分とを記憶する記憶手段と、
   前記ＡＲタグを含む取得要求を受信することに応じて、前記受信された取得要求に含まれる前記ＡＲタグに関連付けられた関連部分を返信する関連部分返信手段と、
   前記記憶手段に記憶された関連部分を前記関連部分変更手段により変更された関連部分で更新する関連部分更新手段と、を備えたサーバーを、さらに備えた請求項１〜６のいずれかに記載の画像処理システム。
8. 前記画像処理装置は、前記変更された置換データの画像を記録媒体に形成する画像形成制御手段を、さらに備えた、請求項１〜７のいずれかに記載の画像処理システム。
9. 前記画像処理装置は、記録媒体に形成された画像を光学的に読み取って画像データを取得する画像読取手段と、
   前記取得された画像データからＡＲタグを抽出するＡＲタグ抽出手段と、をさらに備え、
   前記画像再生手段は、前記ＡＲタグ抽出手段がＡＲタグを抽出した画像データを置換データとし、前記置換データ中の前記ＡＲタグを前記ＡＲタグに関連付けられた関連部分で置換した再生画像を生成する、請求項１〜８のいずれかに記載の画像処理システム。
10. 記録媒体に形成された画像を撮像することによって画像データを取得する撮像手段と、
    前記取得された画像データからＡＲタグを抽出する携帯側ＡＲタグ抽出手段と、
    前記画像データ中の前記ＡＲタグを前記ＡＲタグに関連付けられた関連部分で置換した再生画像を生成する携帯側画像再生手段と、を備えた携帯情報装置を、さらに備えた請求項１〜９のいずれかに記載の画像処理システム。
11. 情報処理装置と、画像処理装置とを含む画像処理システムで実行される画像処理方法であって、
    前記情報処理装置に、データを、そのデータ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに変換する置換ステップと、
    前記ＡＲタグと前記関連部分とを関連付ける関連付ステップと、を実行させ、
    前記画像処理装置に、前記置換データ中の前記ＡＲタグを前記ＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生ステップと、を実行させ、
    前記情報処理装置または前記画像処理装置に、前記置換データの前記ＡＲタグ以外の部分を変更する置換データ変更ステップを、さらに実行させ、
    前記画像再生ステップは、前記置換データ変更ステップにおいて前記置換データが変更された場合、変更後の置換データの前記ＡＲタグに代えて前記ＡＲタグに関連付けられた前記関連部分が配置される部分である置換対象領域に基づいて、前記ＡＲタグに関連付けられた前記関連部分を変更する関連部分変更ステップを含む、画像処理方法。
12. データ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに基づいて、前記置換データ中の前記ＡＲタグを前記ＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生手段と、
    前記置換データの前記ＡＲタグ以外の部分を変更する置換データ変更手段と、を備え、
    前記画像再生手段は、前記置換データ変更手段によって前記置換データが変更された場合、変更後の置換データの前記ＡＲタグに代えて前記ＡＲタグに関連付けられた前記関連部分が配置される部分である置換対象領域に基づいて、前記ＡＲタグに関連付けられた前記関連部分を変更する関連部分変更手段を含む、画像処理装置。
13. 前記関連部分変更手段は、前記変更後の置換データ中で前記ＡＲタグに関連付けられた関連部分が配置される置換対象領域を抽出する置換対象領域抽出手段を含み、
    前記置換対象領域に含まれる画像および前記置換対象領域の周辺の画像に基づいて、前記関連部分を変更する、請求項１２に記載の画像処理装置。
14. 前記関連部分変更手段は、前記置換対象領域に所定の規則に従って前記ＡＲタグ以外の画像が配置される場合、前記置換対象領域が当該画像を含まないサイズとなるように、前記関連部分のサイズを縮小する縮小手段を、含む請求項１２または１３に記載の画像処理装置。
15. 前記関連部分変更手段は、前記置換対象領域およびそれから所定の範囲内に前記ＡＲタグ以外の画像が配置されていない場合、前記置換対象領域の周辺に配置される画像を含まないサイズまで拡大したサイズとなるように、前記関連部分のサイズを拡大する拡大手段を、含む請求項１２〜１４のいずれかに記載の画像処理装置。
16. 前記関連部分変更手段は、前記置換対象領域の少なくとも一部の色が前記関連部分の色と同系色の場合、前記関連部分の色を変更する色変更手段を、含む請求項１２〜１５のいずれかに記載の画像処理装置。
17. 前記関連部分変更手段は、前記置換対象領域に所定の規則に従わず前記ＡＲタグ以外の画像が配置される場合、前記関連部分の前記置換対象領域に含まれる画像と重なる部分を前記関連部分から消去する消去手段を、含む請求項１２〜１６のいずれかに記載の画像処理装置。
18. 前記変更された置換データの画像を記録媒体に形成する画像形成制御手段を、さらに備えた、請求項１２〜１７のいずれかに記載の画像処理装置。
19. 記録媒体に形成された画像を光学的に読み取って画像データを取得する画像読取手段と、
    前記取得された画像データからＡＲタグを抽出するＡＲタグ抽出手段と、をさらに備え、
    前記画像再生手段は、前記ＡＲタグ抽出手段がＡＲタグを抽出した画像データを置換データとし、前記置換データ中の前記ＡＲタグを前記ＡＲタグに関連付けられた関連部分で置換した再生画像を生成する、請求項１２〜１８のいずれかに記載の画像処理装置。
20. 画像処理装置で実行される画像処理方法であって、
    データ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに基づいて、前記置換データ中の前記ＡＲタグを前記ＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生ステップと、
    前記置換データの前記ＡＲタグ以外の部分を変更する置換データ変更ステップと、を含み、
    前記画像再生ステップは、前記置換データ変更ステップにおいて前記置換データが変更された場合、変更後の置換データの前記ＡＲタグに代えて前記ＡＲタグに関連付けられた前記関連部分が配置される部分である置換対象領域に基づいて、前記ＡＲタグに関連付けられた前記関連部分を変更する関連部分変更ステップを含む、画像処理方法。
21. 画像処理装置を制御するコンピューターで実行される画像処理プログラムであって、
    データ中の少なくとも一部である関連部分をＡＲタグで置き換えた置換データに基づいて、前記置換データ中の前記ＡＲタグを前記ＡＲタグに関連付けられた関連部分で置換した再生画像を生成する画像再生ステップと、
    前記置換データの前記ＡＲタグ以外の部分を変更する置換データ変更ステップと、を前記コンピューターに実行させ、
    前記画像再生ステップは、前記置換データ変更ステップにおいて前記置換データが変更された場合、変更後の置換データの前記ＡＲタグに代えて前記ＡＲタグに関連付けられた前記関連部分が配置される部分である置換対象領域に基づいて、前記ＡＲタグに関連付けられた前記関連部分を変更する関連部分変更ステップを含む、画像処理プログラム。

Images