JP6268904B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

この発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、ＡＲタグに関連付けられた情報をユーザーに通知する画像処理装置、その画像処理装置で実行される画像処理方法および画像処理プログラムに関する。

特開２０１０−１５１９９７号公報には、プレゼンテーション画像を表示するための第１の表示情報と、プレゼンテーション画像内の領域に関連付けた補助画像を表示するための第２の表示情報とを含むプレゼンテーションデータを記憶する記憶手段と、第１の表示情報に基づくプレゼンテーション画像を表示する表示装置と、表示されたプレゼンテーション画像上の領域のうちユーザーにより指示された領域の座標に基づき、指示された領域に関連付けられた補助画像を第２の表示情報を記憶手段から読み出してヘッドマウントディスプレイに表示させるプレゼンテーションシステムが記載されている。

しかしながら、従来のプレゼンテーションシステムは、ヘッドマウントディスプレイが故障などした場合に、ユーザーは補助画像を確認することができないといった問題がある。
特開２０１０−１５１９９７号公報

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、ＡＲタグに関連付けられた関連情報を表示するための装置が故障した場合であってもＡＲタグに関連付けられた関連情報をユーザーに通知することが可能な情報提供装置、情報提供方法および情報提供プログラムを提供することである。

この発明の他の目的は、装置に関連する情報と、その情報が装置に関連することをユーザーに通知することが可能な情報提供装置、情報提供方法および情報提供プログラムを提供することである。

上述した目的を達成するためにこの発明のある局面によれば、情報提供装置は、ＡＲタグと関連情報とを関連付けて登録する登録手段と、ＡＲタグを含む発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像としてＡＲタグと関連付ける関連付手段と、発表用データの画像を表示装置に表示させる画像表示制御手段と、表示装置により表示された発表用データの画像を撮像可能な第１の外部装置からＡＲタグを受信することに応じて、受信されたＡＲタグと登録手段により関連付けられた関連情報を第１の外部装置に表示させるために、受信されたＡＲタグと、当該ＡＲタグと登録手段により関連付けられた関連情報との組を第１の外部装置に送信する関連情報送信手段と、第１の外部装置の状態が所定の状態になることに応じて、発表用データに含まれるＡＲタグに登録手段により関連付けられた関連情報と当該ＡＲタグに関連付手段により関連付けられた関連画像との組を出力する代替情報出力手段と、を備える。

この局面に従えば、発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像としてＡＲタグと関連付け、第１の外部装置からＡＲタグを受信することに応じて、受信されたＡＲタグと関連付けて登録された関連情報を第１の外部装置に表示させるために、ＡＲタグと関連情報との組を、出力する。このため、第１の外部装置が表示装置により表示された発表用データの画像を撮像した画像中のＡＲタグに関連付けて関連情報を表示すれば、発表用データに含まれるＡＲタグに関連付けられた関連情報を第１の外部装置のユーザーに通知することができる。また、第１の外部装置が故障することに応じて、発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組を出力する。このため、出力される関連情報と関連画像とを見るユーザーは、表示装置により表示された発表用データの画像に含まれる関連画像を特定できるとともに、関連画像に関連付けられた関連情報を知ることができる。その結果、発表用データ中のＡＲタグに関連付けられた関連情報を表示する装置が故障する場合であっても発表用データ中のＡＲタグに関連付けられた関連情報を発表データ中の位置を示した状態でユーザーに通知することが可能な情報提供装置を提供することができる。

好ましくは、代替情報出力手段は、発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組を、第１の外部装置に対して関連付けられた第２の外部装置で表示させるために、発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組を第２の外部装置に送信する送信制御手段を含む。

この局面に従えば、発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組が、第２の外部装置で表示される。このため、第２の外部装置に表示される関連情報と関連画像とを見るユーザーは、表示装置により表示された発表用データの画像に含まれる関連画像を特定できるとともに、関連画像に関連付けられた関連情報を知ることができる。

好ましくは、代替情報出力手段は、発表用データが複数のＡＲタグを含む場合、複数のＡＲタグごとに、当該ＡＲタグと関連付けられた関連情報と関連画像との組を、第２の外部装置に送信し、第２の外部装置は、情報提供装置から受信される複数の組それぞれを他の組と区別して、当該組に含まれる関連情報と関連画像とを表示する関連情報表示手段を、備える。

この局面に従えば、第２の外部装置は、ＡＲタグと関連付けられた関連情報と関連画像との組の複数それぞれを他の組と区別して表示するので、発表用データ中の複数のＡＲタグごとに関連情報を第２の外部装置でユーザーに通知することができる。

好ましくは、画像を表示する表示手段と、操作画面を表示手段に表示する表示制御手段と、第２の外部装置によって遠隔制御される遠隔制御手段と、をさらに備え、遠隔制御手段は、第２の外部装置によって遠隔制御されている間は、表示手段に表示されている操作画面を第２の外部装置に遠隔操作のための遠隔操作画面として送信する遠隔操作画面送信手段を、含み、代替情報出力手段は、ＡＲタグと関連付けられた関連情報と関連画像とを含む代替画面を生成する代替画面生成手段と、遠隔制御手段が第２の外部装置によって遠隔制御されている間は、生成された代替画面を操作画面として表示手段に表示させる代替画面表示制御手段と、を含む。

この局面に従えば、第２の外部装置によって遠隔制御されている間は、発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組が、第２の外部装置で表示される。このため、第２の外部装置に表示される関連情報と関連画像とを見るユーザーは、表示装置により表示された発表用データの画像に含まれる関連画像を特定できるとともに、関連画像に関連付けられた関連情報を知ることができる。

好ましくは、発表用データは、複数ページを含み、代替情報出力手段は、画像表示制御手段により表示装置に表示させているページに含まれるＡＲタグと関連付けられた関連情報と関連画像との組を、第２の外部装置に送信するために、画像表示制御手段により表示装置に表示させているページが変更されるごとに、変更後のページに含まれるＡＲタグを選択するページ単位選択手段を含む。

この局面によれば、発表用データに含まれる複数ページのうち表示されているページに含まれるＡＲタグと関連付けられた関連情報を、第２の外部装置のユーザーに通知することができ、表示されていないページに含まれるＡＲタグと関連付けられた関連情報を第２の外部装置のユーザーに通信しないようにすることができる。

好ましくは、代替情報出力手段は、発表用データに含まれるＡＲタグに登録手段により関連付けられた関連情報と当該ＡＲタグに関連付手段により関連付けられた関連画像とを画像形成する関連情報画像形成手段を、さらに含む。

この局面に従えば、発表用データに含まれる複数のＡＲタグそれぞれに関連付けられた関連情報と関連画像が画像形成されるので、画像形成された関連情報と関連画像とを見るユーザーは、表示装置により表示された発表用データの画像に含まれる関連画像を特定できるとともに、関連画像に関連付けられた関連情報を知ることができる。

この発明の他の局面に従えば、情報提供装置は、装置の少なくとも一部に対して関連付けられた関連情報と、装置の位置を示す位置情報と、装置を識別するための装置識別情報とを関連付けたエアータグ情報をエアータグサーバーに登録するエアータグ登録手段と、関連情報と、当該関連情報と関連付けられた装置の少なくとも一部を示す関連画像と、を関連付けた部分情報を登録する部分情報登録手段と、エアータグサーバーにアクセスしてエアータグ情報を取得した外部装置から関連情報の送信要求を受信することに応じて、関連情報と当該関連情報と関連付けられた関連画像との組を外部装置に送信する部分情報送信手段と、を備える。

この局面に従えば、エアータグ情報をエアータグサーバーに登録し、関連情報と関連画像とを関連付けた部分情報を登録し、エアータグサーバーにアクセスしてエアータグ情報を取得した外部装置から関連情報の送信要求を受信することに応じて、関連情報と関連画像との組を外部装置に送信する。このため、外部装置において関連情報と関連画像とを表示すれば、外部装置のユーザーに、関連情報を通知することができるとともに、その関連情報が装置のどの部分に関連する情報であるかを通知することができる。その結果、装置に関連する情報と、その情報が装置に関連することをユーザーに通知することが可能な情報提供装置を提供することができる。

好ましくは、部分情報登録手段は、エアータグ登録手段により登録されたエアータグ情報に含まれる関連情報を、関連情報に関連付けられた装置の部分を少なくとも含む複数の関連画像と関連付けた部分情報を登録し、部分情報送信手段は、外部装置の表示能力に基づいて、関連情報に関連付けられた複数の関連画像のうちから１つの関連画像を選択する関連画像選択手段を、含む。

この局面に従えば、外部装置の表示能力に対応する関連画像を送信するので、外部装置で関連画像を表示することができる。

好ましくは、画像を表示する表示手段と、操作画面を表示手段に表示する表示制御手段と、外部装置によって遠隔制御される遠隔制御手段と、をさらに備え、遠隔制御手段は、外部装置によって遠隔制御されている間は、表示手段に表示されている操作画面を外部装置に遠隔操作のための遠隔操作画面として送信する遠隔操作画面送信手段を、含み、部分情報送信手段は、関連情報と関連画像とを含む代替画面を生成する代替画面生成手段と、外部装置から部分情報の送信要求を受信することに応じて、生成された代替画面を操作画面として表示手段に表示させる代替画面表示制御手段と、を含む。

この局面に従えば、外部装置によって遠隔制御されている間は、関連情報と関連画像とを含む代替画面を、外部装置に表示することができる。

この発明のさらに他の局面によれば、情報提供方法は、ＡＲタグと関連情報とを関連付けて登録する登録ステップと、ＡＲタグを含む発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像としてＡＲタグと関連付ける関連付ステップと、発表用データの画像を表示装置に表示させる画像表示制御ステップと、表示装置により表示された発表用データの画像を撮像可能な第１の外部装置からＡＲタグを受信することに応じて、受信されたＡＲタグと登録ステップにおいて関連付けられた関連情報を第１の外部装置に表示させるために、受信されたＡＲタグと、当該ＡＲタグと登録ステップにおいて関連付けられた関連情報との組を第１の外部装置に送信する関連情報送信ステップと、第１の外部装置が故障することに応じて、発表用データに含まれるＡＲタグに登録ステップにおいて関連付けられた関連情報と当該ＡＲタグに関連付ステップにおいて関連付けられた関連画像との組を出力する代替情報出力ステップと、を情報提供装置に実行させる。

この局面に従えば、発表用データ中のＡＲタグに関連付けられた関連情報を表示する装置が故障する場合であっても発表用データ中のＡＲタグに関連付けられた関連情報を発表データ中の位置を示した状態でユーザーに通知することが可能な情報提供方法を提供することができる。

この発明のさらに他の局面によれば、情報提供方法は、装置の少なくとも一部に対して関連付けられた関連情報と、装置の位置を示す位置情報と、装置を識別するための装置識別情報とを関連付けたエアータグ情報をエアータグサーバーに登録するエアータグ登録ステップと、関連情報と、当該関連情報と関連付けられ、装置の少なくとも一部を示す関連画像と、を関連付けた部分情報を登録する部分情報登録ステップと、エアータグサーバーにアクセスしてエアータグ情報を取得した外部装置から関連情報の送信要求を受信することに応じて、関連情報と当該関連情報と関連付けられた関連画像との組を外部装置に送信する部分情報送信手段と、を情報提供装置に実行させる。

この局面に従えば、装置に関連する情報と、その情報が装置に関連することをユーザーに通知することが可能な情報提供方法を提供することができる。

この発明のさらに他の局面によれば、情報提供プログラムは、ＡＲタグと関連情報とを関連付けて登録する登録ステップと、ＡＲタグを含む発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像としてＡＲタグと関連付ける関連付ステップと、発表用データの画像を表示装置に表示させる画像表示制御ステップと、表示装置により表示された発表用データの画像を撮像可能な第１の外部装置からＡＲタグを受信することに応じて、受信されたＡＲタグと登録ステップにおいて関連付けられた関連情報を第１の外部装置に表示させるために、受信されたＡＲタグと、当該ＡＲタグと登録ステップにおいて関連付けられた関連情報との組を第１の外部装置に送信する関連情報送信ステップと、第１の外部装置が故障することに応じて、発表用データに含まれるＡＲタグに登録ステップにおいて関連付けられた関連情報と当該ＡＲタグに関連付ステップにおいて関連付けられた関連画像との組を出力する代替情報出力ステップと、をコンピューターに実行させる。

この局面に従えば、発表用データ中のＡＲタグに関連付けられた関連情報を表示する装置が故障する場合であっても発表用データ中のＡＲタグに関連付けられた関連情報を発表データ中の位置を示した状態でユーザーに通知することが可能な情報提供プログラムを提供することができる。

この発明のさらに他の局面によれば、情報提供プログラムは、装置の少なくとも一部に対して関連付けられた関連情報と、装置の位置を示す位置情報と、装置を識別するための装置識別情報とを関連付けたエアータグ情報をエアータグサーバーに登録するエアータグ登録ステップと、関連情報と、当該関連情報と関連付けられ、装置の少なくとも一部を示す関連画像と、を関連付けた部分情報を登録する部分情報登録ステップと、エアータグサーバーにアクセスしてエアータグ情報を取得した外部装置から関連情報の送信要求を受信することに応じて、関連情報と当該関連情報と関連付けられた関連画像との組を外部装置に送信する部分情報送信手段と、をコンピューターに実行させる。

この局面に従えば、装置に関連する情報と、その情報が装置に関連することをユーザーに通知することが可能な情報提供プログラムを提供することができる。

本発明の実施の形態における会議システムの全体概要の一例を示す図である。 本実施の形態におけるＭＦＰの外観を示す斜視図である。 本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である 本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。 本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。 本実施の形態におけるエアータグサーバーのハードウェア構成の一例を示すブロック図である。 第１の実施の形態におけるＭＦＰが備えるＣＰＵの機能の概要の一例を示すブロック図である。 発表用データの一例を示す図である。 関連情報テーブルの一例を示す図である。 関連画像デーブルの一例を示す図である。 プロジェクターによって投影される発表用データの画像の一例を示す図である。 第１の実施の形態におけるＨＭＤが備えるＣＰＵの機能の概要の一例を示すブロック図である。 ＨＭＤを装着するユーザーが視認する画像の一例を示す図である。 第１の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。 携帯情報装置で表示される代替画面の一例を示す図である。 第１の実施の形態における表示制御処理の流れの一例を示すフローチャートである。 第１の実施の形態における関連情報表示制御処理の流れの一例を示すフローチャートである。 表示設定がプリント設定の場合に用紙に形成される画像の一例を示す図である。 携帯情報装置における閲覧画面の一例を示す第１の図である。 携帯情報装置における閲覧画面の一例を示す第２の図である。 第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の概要の一例を示すブロック図である。 エアータグ情報の一例を示す図である。 部分情報の一例を示す図である。 第２の実施の形態におけるサーバーが備えるＣＰＵの機能の概要の一例を示すブロック図である。 第２の実施の形態における携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。 携帯情報装置でＭＦＰを撮像する場合に表示される画像の一例を示す図である。 携帯情報装置で表示される代替画面の一例を示す第１の図である。 携帯情報装置で表示される代替画面の一例を示す第２の図である。 第２の実施の形態における表示制御処理の流れの一例を示すフローチャートである。 第２の実施の形態におけるエアータグ情報管理処理の流れの一例を示すフローチャートである。 第２の実施の形態における関連情報表示制御処理の流れの一例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
図１は、本発明の実施の形態における会議システムの全体概要の一例を示す図である。図１を参照して、会議システム１は、それぞれがネットワーク２に接続された無線局３と、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００と、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）２００と、パーソナルコンピューター（以下「ＰＣ」という）３００と、携帯情報装置４００と、プロジェクター５００と、エアータグサーバー６００と、を含む。

ＭＦＰ１００は、画像処理装置として機能し、原稿を読み取るための原稿読取機能、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成機能およびファクシミリデータを送受信するファクシミリ送受信機能を備えている。なお、第１の実施の形態においては画像処理装置の一例として、ＭＦＰ１００を例に説明するが、ＭＦＰ１００に代えて、画像を処理する機能を備えた装置であれば、例えば、ＰＣ３００、エアータグサーバー６００等であってもよい。

ＰＣ３００は、一般的なコンピューターである。ＰＣ３００は、ＭＦＰ１００を制御するためのプリンタドライバプログラムがインストールされている。

携帯情報装置４００は、情報処理装置の一例である。携帯情報装置４００は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、スマートフォンなど、ユーザーに携帯して使用され、データを記憶する機能、無線ＬＡＮ機能を備えている。また、携帯情報装置４００は、ＰＣ３００と同様に、ＭＦＰ１００を制御するためのプリンタドライバプログラムがインストールされており、携帯情報装置４００に記憶されたデータの画像を、ＭＦＰ１００にプリントさせることができる。

ＨＭＤ２００は、メガネの形状をしており、ユーザーにより装着されて使用される。ＨＭＦ２００は、被写体を撮像する撮像機能、メガネのレンズ部分に画像を表示する表示機能、無線ＬＡＮ機能を備えている。ＨＭＤ２００を装着するユーザーは、レンズを通して被写体を視認するとともに、レンズに表示された画像を視認することができる。

プロジェクター５００は、表示装置として機能し、通信機能、画像表示機能を備えている。プロジェクター５００は、ネットワーク２を介してＭＦＰ１００により制御され、ＭＦＰ１００から受信される画像データの画像をスクリーンに投影する。なお、ここでは、表示装置の一例としてプロジェクター５００を例に説明したが、画像を表示する機能を備えた装置であれば、液晶表示装置、有機ＥＬＤであってもよい。

ネットワーク２は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク２は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク２は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。

ＭＦＰ１００は、ネットワーク２を介して、無線局３、ＰＣ３００、プロジェクター５００およびエアータグサーバー６００と、データの送受信が可能である。無線局３は、ネットワーク２の中継装置であり、無線ＬＡＮ通信機能を備えたＨＭＤ２００および携帯情報装置４００と通信して、ＨＭＤ２００および携帯情報装置４００をネットワーク２に接続する。このため、ＨＭＤ２００および携帯情報装置４００各々は、無線局３およびネットワーク２を介してＭＦＰ１００、ＰＣ３００、エアータグサーバー６００とデータの送受信が可能である。

図２は、本実施の形態におけるＭＦＰの外観を示す斜視図である。図３は、本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。

後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。

メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。

ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。

操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーからなるハードキー部１６７を備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１上に設けられたタッチパネルを１６５さらに含む。

通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク２に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、ＨＭＤ２００、ＰＣ３００、携帯情報装置４００、プロジェクター５００およびエアータグサーバー６００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク２を介してインターネットに接続されたコンピューターと通信が可能である。

ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。

外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）などの半導体メモリーであってもよい。

また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク２に接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク２に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

会議システム１において、ＭＦＰ１００、ＨＭＤ２００、ＰＣ３００、携帯情報装置４００、エアータグサーバー６００間で、データが送受信される。データを送受信するプロトコルは、受信側の装置において送信元を特定することができれば、任意のプロトコルを用いることが可能である。データを送受信するプロトコルは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）およびＳＭＰＴ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＰＯＰ（Ｐｏｓｔ Ｏｆｆｉｃｅ Ｐｒｏｔｏｃｏｌ）等が用いられる。

図４は、本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。図４を参照して、本実施の形態におけるＨＭＤ２００は、ＨＭＤ２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリー２０３と、情報を表示する表示部２０４と、無線ＬＡＮＩ／Ｆ２０５と、を含む。

カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。

表示部２０４は、透明な部材からなる液晶表示装置（ＬＣＤ）であり、ＨＭＤ２００のレンズ部分に埋め込まれている。

無線ＬＡＮＩ／Ｆ２０５は、無線局３と通信し、ＨＭＤ２００をネットワーク２に接続するためのインターフェースである。フラッシュメモリー２０３に、ＭＦＰ１００のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、ＨＭＤ２００は、ＭＦＰ１００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、ＨＭＤ２００が無線ＬＡＮＩ／Ｆ２０５を用いて、ＭＦＰ１００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、ＨＭＤ２００およびＭＦＰ１００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、ＨＭＤ２００が、ＭＦＰ１００と、１対１で通信するようにしてもよい。

フラッシュメモリー２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリー２０３に記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。

図５は、本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。図５を参照して、携帯情報装置４００は、携帯情報装置４００の全体を制御するためのＣＰＵ４０１と、カメラ４０２と、データを不揮発的に記憶するフラッシュメモリー４０３と、通話部４０５と接続された無線通信部４０４と、情報を表示する表示部４０６と、ユーザーの操作を受け付ける操作部４０７と、無線ＬＡＮＩ／Ｆ４０８と、位置検出部４０９と、方位検出部４１０と、外部記憶装置４１１と、を含む。

無線通信部４０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部４０４は、携帯情報装置４００を電話通信網に接続し、通話部４０５を用いた通話を可能とする。無線通信部４０４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部４０５に出力する。また、無線通信部４０４は、通話部４０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部４０５は、マイクおよびスピーカを備え、無線通信部４０４から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部４０４に出力する。さらに、無線通信部４０４は、ＣＰＵ４０１により制御され、携帯情報装置４００を電子メールサーバーに接続し、電子メールを送受信する。

カメラ４０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ４０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。

表示部４０６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部４０７は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。

無線ＬＡＮＩ／Ｆ４０８は、無線局３と通信し、携帯情報装置４００をネットワーク３に接続するためのインターフェースである。携帯情報装置４００に、ＨＭＤ２００、エアータグサーバー６００、ＭＦＰ１００、ＰＣ３００それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置４００は、ＨＭＤ２００、エアータグサーバー６００、ＭＦＰ１００、ＰＣ３００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、携帯情報装置４００が無線ＬＡＮＩ／Ｆ４０８を用いて、ＨＭＤ２００、エアータグサーバー６００、ＭＦＰ１００、ＰＣ３００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、携帯情報装置４００、ＨＭＤ２００、エアータグサーバー６００、ＭＦＰ１００、ＰＣ３００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、携帯情報装置４００が、ＨＭＤ２００、エアータグサーバー６００、ＭＦＰ１００、ＰＣ３００のいずれかと、１対１で通信するようにしてもよい。また、携帯情報装置４００を、ＨＭＤ２００、エアータグサーバー６００、ＭＦＰ１００、ＰＣ３００のいずれかと、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等の有線で接続するようにし、携帯情報装置４００が、ＨＭＤ２００、エアータグサーバー６００、ＭＦＰ１００、ＰＣ３００のいずれかと、１対１で通信するようにしてもよい。

フラッシュメモリー４０３は、ＣＰＵ４０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ４０１は、フラッシュメモリー４０３に記録されたプログラムを、ＣＰＵ４０１が備えるＲＡＭにロードして実行する。

位置検出部４０９は、携帯情報装置４００の現在位置を検出する。具体的には、位置検出部４０９は、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機であり、複数のＧＰＳ衛星からの電波を受信することにより、現在位置を測定する。位置検出部４０９は、測定した現在位置を示す値、たとえば、緯度と経度とをＣＰＵ４０１に出力する。

方位検出部４１０は、携帯情報装置４００のカメラ４０２が向く方向の方位を検出する。具体的には、方位検出部４１０は、地磁気を計測する地磁気センサーである。方位検出部４１０は、検出した方位をＣＰＵ４０１に出力する。方位検出部４１０は、カメラ４０２の撮像方向、換言すれば、カメラ４０２のレンズの光軸が向く方向を検出可能なように携帯情報装置４００に設置される。なお、方位検出部４１０は、地磁気センサーに限らず、ジャイロセンサー等を用いるようにしてもよい。

外部記憶装置４１１は、携帯情報装置４００に着脱自在であり、遠隔操作プログラムを記憶したＣＤ−ＲＯＭ４１１Ａが装着可能である。ＣＰＵ４０１は、外部記憶装置４１１を介してＣＤ−ＲＯＭ４１１Ａにアクセス可能である。ＣＰＵ４０１は、外部記憶装置４１１に装着されたＣＤ−ＲＯＭ４１１Ａに記録された遠隔操作プログラムを、ＣＰＵ４０１が備えるＲＡＭにロードして実行することが可能である。

なお、ＣＰＵ４０１が実行するプログラムとして、フラッシュメモリー４０３またはＣＤ−ＥＯＭ４１１Ａに記録されたプログラムについて説明したが、ネットワーク２に接続された他のコンピューターが、フラッシュメモリー４０３に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、携帯情報装置４００が、ネットワーク２に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ４０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

なお、ＣＰＵ４０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ４１１Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリーであってもよい。

図６は、本実施の形態におけるエアータグサーバーのハードウェア構成の一例を示すブロック図である。図６を参照して、エアータグサーバー６００は、エアータグサーバー６００の全体を制御するためのＣＰＵ６０１と、ＣＰＵ６０１が実行するためのプログラムを記憶するＲＯＭ６０２と、ＣＰＵ６０１の作業領域として使用されるＲＡＭ６０３と、データを不揮発的に記憶するＨＤＤ６０４と、ＣＰＵ６０１をネットワーク２に接続する通信部６０５と、情報を表示する表示部６０６と、ユーザーの操作の入力を受け付ける操作部６０７と、を含む。

図７は、第１の実施の形態におけるＭＦＰが備えるＣＰＵの機能の概要の一例を示すブロック図である。図７に示す機能は、第１の実施の形態におけるＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶されたプログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図７を参照して、ＣＰＵ１１１は、発表用データ取得部５１と、登録部５３と、関連付部５５と、プロジェクター５００を制御する画像表示制御部５７と、関連情報送信部５９と、状態監視部６１と、代替情報出力部６３と、表示部１６１を制御する表示制御部６５と、外部の装置により遠隔制御される遠隔制御部６７と、を含む。

発表用データ取得部５１は、ユーザーがＰＣ３００を用いて生成する発表用データを取得する。発表用データは、ユーザーが、ＰＣ３００を用いて、ＰＣ３００にアプリケーションプログラムを実行させ、ＰＣ３００により生成されるアプリケーションデータである。発表用データは、少なくとも１ページを含む。また、発表用データは、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）タグを含む。ＡＲタグは、予め定められた画像であり、他の画像および他のＡＲタグと区別することが可能な画像である。なお、ＡＲタグを、ＱＲコード（登録商標）（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ Ｃｏｄｅ）等の二次元バーコードとしてもよい。発表用データ取得部５１は、通信Ｉ／Ｆ部１１２がＰＣ３００から発表用データを受信すると、受信された発表用データを取得する。ＰＣ３００を操作するユーザーが、発表用データをＭＦＰ１００のＨＤＤ１１５に記憶にさせる場合、発表用データ取得部５１は、ＨＤＤ１１５に記憶された発表用データの指定を受け付け、発表用データをＨＤＤ１１５から読み出すことにより、発表用データを取得する。発表用データ取得部５１は、取得された発表用データを、関連付部５５および画像表示制御部５７に出力する。

登録部５３は、ＡＲタグと関連情報とを関連付けて登録する。関連情報は、ユーザーにより定められた情報であり、文字、図形または写真、またはそれらの組み合わせである。登録部５３は、ＡＲタグと関連情報とを含む関連情報レコードを、関連情報送信部５９および代替情報出力部６３に出力する。 登録部５３は、ユーザーが、操作部１６３を操作して、ＡＲタグと、関連情報とを入力すれば、入力されたＡＲタグと、入力された関連情報とを含む関連情報レコードを生成し、生成された関連情報レコードをＨＤＤ１１５に記憶する。ＰＣ３００から受信するなどして、予め準備されたＡＲタグのうちからユーザーが指定すればよい。関連情報が文字の場合には、操作部１６３が備えるキーボードを用いて入力することができる。また、関連情報が図形または写真の場合には、別のコンピューターで作成した図形や、デジタルカメラで撮像して得られる写真や、インターネットに接続されたサーバーに記憶された図形または写真を、通信Ｉ／Ｆ部１１２を介してそれらが記録されたコンピューターからダウンロードするようにすればよい。

また、登録部５３は、ユーザーがＰＣ３００に入力するＡＲタグと関連情報とを含む関連情報レコードを、ＰＣ３００から取得するようにしてもよい。さらに、ＡＲタグと関連情報を含む関連情報レコードが記録されたＣＤ−ＲＯＭ１１６が外部記憶装置１１７に装着される場合、ＣＤ−ＲＯＭ１１６から関連情報レコードを読み出すようにしてもよい。

関連付部５５は、発表用データ取得部５１から入力される発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像としてＡＲタグと関連付ける。関連付部５５は、発表用データを解析することによって、発表用データ中のＡＲタグを抽出する。さらに、関連付部５５は、抽出されたＡＲタグが発表データ中で配置される位置を特定し、その位置の近傍に配置された領域の画像を関連画像として抽出する。関連付部５５は、ＡＲタグと関連画像とを含む関連画像レコードを生成し、生成された関連画像レコードを代替情報出力部６３に出力する。関連付部５５は、発表用データから複数のＡＲタグを抽出する場合、複数のＡＲタグそれぞれについて、そのＡＲタグに対応する関連画像を発表用データから抽出し、複数のＡＲタグにそれぞれ対応する複数の関連画像レコードを代替情報出力部６３に出力する。

画像表示制御部５７は、プロジェクター５００を制御して、発表用データ取得部５１から入力される発表用データの画像を、ページごとにプロジェクター５００に表示させる。画像表示制御部５７は、ユーザーが入力する操作に従って、発表用データを特定し、プロジェクター５００に発表用データの画像を表示させる。ユーザーがＭＦＰ１００の操作部１６３を操作する場合、操作部１６３にユーザーにより入力された操作を受け付ける。また、ユーザーが、携帯情報装置４００を操作して、ＭＦＰ１００を遠隔操作する場合、ユーザーが携帯情報装置４００に入力する操作を、通信Ｉ／Ｆ部１１２が携帯情報装置４００から受信する。画像表示制御部５７は、プロジェクター５００に表示させている発表用データと、その発表用データに含まれる複数ページのうち、プロジェクター５００に表示させているページを識別するためのページ識別情報と、を代替情報出力部６３に出力する。

図８は、発表用データの一例を示す図である。図８を参照して、発表用データ７０１は、２ページからなり、第１ページにＡＲタグ７０３，７０５を含み、第２ページにＡＲタグ７０７を含む。

図９は、関連情報テーブルの一例を示す図である。図９を参照して、関連情報テーブルは、ＡＲタグごとに関連情報レコードを含む。関連情報レコードは、ＡＲタグ識別情報の項目と、関連情報の項目と、を含む。ここでは、図８に示した発表用データ７０１に対応する関連情報テーブルを示す。発表用データ７０１は、３つのＡＲタグ７０３，７０５，７０７を含むので、関連情報テーブルは３つの関連情報レコードを含む。ここでは、ＡＲタグ７０３，７０５，７０７のＡＲタグ識別情報を、それぞれ「ＡＲ１」、「ＡＲ２」、「ＡＲ３」としている。ＡＲタグ識別情報の項目に「ＡＲ１」が設定された関連情報レコードは、関連情報の項目に「関連情報Ａ」が設定されており、ＡＲタグ識別情報「ＡＲ１」に対して、関連情報「関連情報Ａ」が関連付けられている。ＡＲタグ識別情報の項目に「ＡＲ２」が設定された関連情報レコードは、関連情報の項目に「関連情報Ｂ」が設定されており、ＡＲタグ識別情報「ＡＲ２」に対して、関連情報「関連情報Ｂ」が関連付けられている。ＡＲタグ識別情報の項目に「ＡＲ３」が設定された関連情報レコードは、関連情報の項目に「関連情報Ｃ」が設定されており、ＡＲタグ識別情報「ＡＲ３」に対して、関連情報「関連情報Ｃ」が関連付けられている。

図１０は、関連画像デーブルの一例を示す図である。図１０を参照して、関連画像テーブルは、ＡＲタグごとに関連画像レコードを含む。関連画像レコードは、ＡＲタグ識別情報の項目と、関連画像の項目と、を含む。ここでは、図８に示した発表用データ７０１に対応する関連情報テーブルを示す。発表用データ７０１は、３つのＡＲタグ７０３，７０５，７０７を含むので、関連画像テーブルは３つの関連情報レコードを含む。ここでは、ＡＲタグ７０３，７０５，７０７のＡＲタグ識別情報を、それぞれ「ＡＲ１」、「ＡＲ２」、「ＡＲ３」としている。ＡＲタグ識別情報の項目に「ＡＲ１」が設定された関連情報レコードは、関連画像の項目に図８に示した発表用データにおいてＡＲタグ７０３の右に配置される文字「あい」の画像が設定されており、ＡＲタグ識別情報「ＡＲ１」に対して、文字「あい」の画像が関連画像として関連付けられている。ＡＲタグ識別情報の項目に「ＡＲ２」が設定された関連情報レコードは、関連画像の項目に図８に示した発表用データにおいてＡＲタグ７０５の右に配置される文字「いろ」の画像が設定されており、ＡＲタグ識別情報「ＡＲ２」に対して、文字「いろ」の画像が関連情報として関連付けられている。ＡＲタグ識別情報の項目に「ＡＲ３」が設定された関連情報レコードは、関連画像の項目に図８に示した発表用データにおいてＡＲタグ７０７の右に配置されるグラフの一部の画像が設定されており、ＡＲタグ識別情報「ＡＲ３」に対して、グラフの一部の画像が関連情報として関連付けられている。

図１１は、プロジェクターによって投影される発表用データの画像の一例を示す図である。図１１に示す画像７１１は、図８に示した発表用データの第１ページの画像が、プロジェクター５００によって表示される場合を例に示している。図１１を参照して、画像７１１は、発表用データ７０１の第１ページの画像を含む。

ここで、ＭＨＤの機能について説明する。図１２は、第１の実施の形態におけるＨＭＤが備えるＣＰＵの機能の概要の一例を示すブロック図である。図１２に示す機能は、第１の実施の形態におけるＨＭＤ２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶されたプログラムを実行することにより、ＣＰＵ２０１に形成される機能である。図１２を参照して、ＣＰＵ２０１は、カメラ２０２を制御する撮像制御部２５１と、カメラ２０２により撮像された画像からＡＲタグを抽出するＡＲタグ抽出部２５３と、ＡＲタグに関連付けられた関連情報を取得する関連情報取得部２５５と、関連情報を表示部２０４に表示する関連情報表示部２５７と、代替表示指示送信部２５９と、を含む。

撮像制御部２５１は、カメラ２０２を制御し、カメラ２０２が被写体を撮像して出力する画像データを取得する。カメラ２０２は、カメラ２０２の光軸がＨＭＤ２００を装着するユーザーの視線方向となるように、ＨＤＭ２００の本体に設置される。

撮像制御部２５１は、カメラ２０２が出力する画像データをＡＲタグ抽出部２５３に出力する。また、撮像制御部２５１は、カメラ２０２が故障などして画像データを出力しない状態となると、エラー信号を代替表示指示送信部２５９に出力する。

代替表示指示送信部２５９は、撮像制御部２５１からエラー信号が入力されると、ＭＦＰ１００に代替表示指示を送信する。フラッシュメモリー２０３に、ＭＦＰ１００のＩＰアドレスを記憶させておくことにより、無線ＬＡＮＩ／Ｆ２０５を制御して、ＭＦＰ１００のＩＰアドレス宛に代替表示指示を送信する。なお、代替表示指示送信部２５９は、ユーザーによる指示が入力されることに応じて、ＭＦＰ１００に代替指示を送信するようにしてもよい。この場合には、撮像制御部２５１はエラー信号を出力する必要はない。

ＨＭＤ２００を装着するユーザーが、プロジェクター５００が画像を投影するスクリーンを見る場合、カメラ２０２はスクリーンを被写体として撮像し、スクリーンにプロジェクター５００によって投影された画像を撮像した画像データを出力する。上述したように、プロジェクター５００は、発表用データの画像をスクリーンに投影するため、カメラ２０２が出力する画像データは、発表用データの画像に含まれるＡＲタグの画像を含む。

ＡＲタグ抽出部２５３は、撮像制御部２５１から入力される画像データを解析し、画像データからＡＲタグを抽出する。画像データが複数のＡＲタグを含む場合、複数のＡＲタグの全てを抽出する。ＡＲタグ抽出部２５３は、抽出されたＡＲタグと、そのＡＲタグの画像データ中の位置を示す位置情報とを、関連情報取得部２５５に出力する。

関連情報取得部２５５は、ＡＲタグ抽出部２５３からＡＲタグが入力されることに応じて、無線ＬＡＮＩ／Ｆ２０５を制御して、関連情報の取得要求をＭＦＰ１００に送信する。関連情報の取得要求は、ＡＲタグ抽出部２５３から入力されるＡＲタグを含む。後述するように、ＭＦＰ１００は、関連情報の取得要求を受信することに応じて、ＡＲタグに関連付けられた関連情報を返信するので、関連情報取得部２５５は、無線ＬＡＮＩ／Ｆ２０５が受信する関連情報を取得する。関連情報取得部２５５は、取得された関連情報と、関連情報の取得に用いたＡＲタグに対応する位置情報とを関連情報表示部２５７に出力する。

関連情報表示部２５７は、関連情報取得部２５５から、関連情報と位置情報との組が入力されることに応じて、関連情報の画像を表示部２０４において位置情報で特定される位置に表示する。ＡＲタグの位置およびサイズによって、そのＡＲタグと関連付けられた関連情報を表示する位置およびサイズが定まる。関連情報取得部２５５から入力される位置情報は、ＡＲタグの位置を示すので、ユーザーの視界中でＡＲタグと重なる位置に関連情報の画像を表示する。ユーザーがＨＭＤ２００のレンズを通して見る視界に置いて、レンズに表示された関連情報の画像はスクリーンに投影されたＡＲタグよりも手前に配置される。また、関連情報の画像はＡＲタグの画像がレンズに投影される位置に配置されるので、ユーザーは、ＡＲタグの画像に代えて関連情報の画像を見ることになる。

図１３は、ＨＭＤを装着するユーザーが視認する画像の一例を示す図である。図１３では、ＨＭＤ２００を装着するユーザーが、図８に示したプロジェクター５００によって発表用データの第１ページの画像が投影されたスクリーンを視認する画像を示している。図１３を参照して、ＨＭＤ２００を装着するユーザーは、図８に示した画像７１１と異なる点は、ＡＲタグ７０３に代えて、関連情報「関連情報Ａ」の画像７０３Ａを含み、ＡＲタグ７０５に代えて、関連情報「関連情報Ｂ」の画像７０５Ａを含む。関連情報Ａは、図９に示した関連情報テーブルによって、ＡＲタグ識別情報「ＡＲ１」に関連付けられ、関連情報Ｂは、図９に示した関連情報テーブルによって、ＡＲタグ識別情報「ＡＲ１」に関連付けられる。

図７に戻って、関連情報送信部５９は、登録部５３から関連情報レコードが入力される。関連情報送信部５９は、通信Ｉ／Ｆ部１１２がＨＭＤ２００から関連情報の取得要求を受信すると、受信された取得要求に含まれるＡＲタグと組になる関連情報を返信する。具体的には、登録部５３から入力される関連情報レコードのうちから関連情報の取得要求に含まれるＡＲタグを含む関連情報レコードを特定し、特定された関連情報レコードに含まれる関連情報を返信する。また、関連情報送信部５９は、関連情報の取得要求を送信してきた装置、ここではＨＭＤ２００を識別するための装置識別情報を状態監視部６１に出力する。装置識別情報は、例えばネットワーク２で割り当てられたネットワークアドレスを用いることができる。

状態監視部６１は、関連情報送信部５９から装置識別情報が入力されることに応じて、当該装置識別情報で識別される装置、ここではＨＭＤ２００の状態を監視する。状態監視部６１は、通信Ｉ／Ｆ部１１２が関連情報送信部５９から入力される装置識別情報で特定されるＨＭＤ２００から代替表示指示を受信する場合、ＨＭＤ２００の状態としてカメラ２０２が故障した状態を検出する。なお、ここではＨＭＤ２００が代替表示指示を送信する場合を例に説明したが、状態監視部６１が所定時間間隔でＨＭＤ２００に問い合わせることによりＨＭＤ２００の状態を監視し、カメラ２０２が故障した状態を検出するようにしてもよい。状態監視部６１は、ＨＭＤ２００の状態としてカメラ２０２が故障した状態を検出すると、代替表示指示を送信してきた装置、ここではＨＭＤ２００の装置識別情報を含む出力指示を代替情報出力部６３に出力する。

代替情報出力部６３は、状態監視部６１から出力指示が入力され、関連付部５５から関連画像レコードが入力され、登録部５３から関連情報レコードが入力され、画像表示制御部５７から発表用データとページ識別情報とが入力される。代替情報出力部６３は、状態監視部６１から出力指示が入力されることに応じて、画像表示制御部５７から入力される発表用データのうちからＡＲタグを抽出し、抽出されたＡＲタグに関連付けられた関連画像および関連情報を、携帯情報装置４００に表示させる。携帯情報装置４００は、ＨＭＤ２００と予め関連付けられた装置である。

代替情報出力部６３は、ページ単位選択部７１と、代替画面生成部７３と、送信制御部７５と、代替画面表示制御部７７と、関連情報画像形成部７９と、を含む。ページ単位選択部７１は、状態監視部６１から出力指示が入力されることに応じて、画像表示制御部５７から入力される発表用データに含まれる複数ページのうち画像表示制御部５７から入力されるページ識別情報で特定されるページを特定し、特定されたページに含まれる１以上のＡＲタグを抽出する。換言すれば、ページ単位選択部７１は、発表用データに含まれる１以上のＡＲタグうちから、画像表示制御部５７から入力されるページ識別情報で特定されるページに含まれる１以上のＡＲタグを抽出する。画像表示制御部５７から入力されるページ識別情報で特定されるページの画像は、画像表示制御部５７によってプロジェクター５００に表示させている画像である。このため、ページ単位選択部７１は、発表用データに含まれる１以上のＡＲタグのうち、プロジェクター５００に表示されている画像に含まれるＡＲタグを選択する。画像表示制御部５７は、プロジェクター５００に表示させるページを切り換えるごとに、ページ識別情報を出力するので、ページ単位選択部７１は、画像表示制御部５７によってプロジェクター５００に表示されているページが変更されるごとに、変更後のページに含まれるＡＲタグを選択する。

ページ単位選択部７１は、選択されたＡＲタグと組になる関連画像および関連情報を選択する。具体的には、ページ単位選択部７１は、関連付部５５から入力される関連画像レコードのうち、変更後のページに含まれるＡＲタグを含む関連画像レコードを特定し、特定した関連画像レコードに含まれる関連画像を取得する。さらに、ページ単位選択部７１は、登録部５３から入力される関連情報レコードのうち、変更後のページに含まれるＡＲタグを含む関連情報レコードを特定し、特定した関連情報レコードに含まれる関連情報を取得する。ページ単位選択部７１は、発表用データのうちから複数のＡＲタグを選択する場合、換言すれば、プロジェクター５００に表示されている画像に複数のＡＲタグが含まれる場合、プロジェクター５００に表示されている画像に複数のＡＲタグを選択するので、複数のＡＲタグそれぞれについて、当該ＡＲタグに対応する関連画像および関連情報を取得する。ページ単位選択部７１は、１以上のＡＲタグそれぞれに対応して取得された関連画像と関連情報との組を代替画面生成部７３に出力する。

代替画面生成部７３は、ページ単位選択部７１から入力される関連画像と関連情報との組を含む代替画面を生成する。代替画面は、関連画像と関連情報とを所定の位置関係で配置した画面である。所定の位置関係は、限定するものではないが、関連画像と関連情報との間隔が所定の距離以内となる関係である。代替画面生成部７３は、ページ単位選択部７１から関連画像と関連情報との組が複数入力される場合、複数の組にそれぞれ含まれる関連画像と関連情報とを含む代替画面を生成する。代替画面生成部７３は、生成された代替画面を、送信制御部７５、代替画面表示制御部７７および関連情報画像形成部７９に出力する。

送信制御部７５は、代替画面生成部７３から代替画面が入力されることに応じて、状態監視部６１から入力される装置識別情報で特定されるＨＭＤ２００に予め対応付けられた携帯情報装置４００に、代替画面を通信Ｉ／Ｆ部１１２を介して送信する。

関連情報画像形成部７９は、代替画面生成部７３から代替画面が入力されることに応じて、画像形成部１４０を制御して、代替画面の画像を用紙に形成させる。

代替画面表示制御部７７は、代替画面生成部７３から代替画面が入力されることに応じて、表示制御部６５に、代替画面表示指示を出力する。代替画面表示指示は、代替画面生成部７３から入力される代替画面を含み、代替画面を表示部１６１に表示させるコマンドである。

表示制御部６５は、表示部１６１を制御して、表示部１６１に画像を表示させる。表示制御部６５は、代替画面表示制御部７７から代替画面表示指示が入力されることに応じて、代替画面表示指示に含まれる代替画面を表示部１６１に表示させる。表示制御部６５は、後述する遠隔操作受信部８３から操作画面が入力されることに応じて、操作画面を表示部１６１に表示させる。

遠隔制御部６７は、通信Ｉ／Ｆ部１１２を介して接続された外部の装置によって遠隔制御される。ここでは、携帯情報装置４００によって遠隔制御される場合を例に説明する。この場合、遠隔制御部６７は、通信Ｉ／Ｆ部１１２を介して携帯情報装置４００と通信可能な状態である。遠隔制御部は、遠隔操作画面送信部８１と、遠隔操作受信部８３と、を含む。

遠隔操作画面送信部８１は、表示制御部６５によって表示部１６１に表示されている操作画面の画像を、携帯情報装置４００に送信する。これにより、携帯情報装置４００では、表示部１６１に表示されている操作画面の画像と同じ画像が表示部４０６に表示する。したがって、表示制御部６５によって表示部１６１に代替画面が表示されている状態においては、携帯情報装置４００の表示部４０６には、代替画面の画像が表示される。

携帯情報装置４００を操作するユーザーは、表示部４０６に表示された操作画面中のいずれかを指示すれば、指示された位置に対応する遠隔操作をＭＦＰ１００に送信する。遠隔操作受信部８３は、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置４００が送信する遠隔操作を受信する。遠隔操作は、処理を実行させるための実行指令と、別の操作画面を表示させる画面遷移コマンドを含む。遠隔操作受信部８３は、画面遷移コマンドの遠隔操作を受信する場合、画面遷移コマンドにより特定される遷移後の操作画面を表示制御部６５に出力する。

また、遠隔操作受信部８３は、実行指令を示す遠隔操作を受信する場合、実行指令で特定される処理を実行する。遠隔制御部６７が実行する処理は、自動原稿搬送装置１２０および原稿読取部１３０を制御して原稿の画像を読み取るスキャン処理、画像形成部１４０、給紙部１５０および後処理部１５５を制御して用紙に画像を形成する画像形成処理、ＨＤＤ１１５またはＣＤ−ＲＯＭ１１８に記憶されたデータを読み出しまたは書き込みするデータ管理処理、ファクシミリ部１１６を制御してファクシミリデータを送受信するファクシミリ処理、通信Ｉ／Ｆ部１１２を制御してデータを送受信するデータ送受信処理、を含む。遠隔制御部６７が実行する処理は、上記の２以上の処理を組み合わせた処理を含む。例えば、スキャン処理と画像形成処理を組み合わせたコピー処理、スキャン処理とデータ送信処理を組み合わせて原稿画像を読み取った画像データを送信するスキャンｔｏ送信処理、スキャン処理とデータ管理処理とを組み合わせて原稿画像を読み取った画像データをＨＤＤ１１５に記憶するスキャンｔｏＢＯＸ処理を含む。

図１４は、第１の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。図１４に示す機能は、携帯情報装置４００が備えるＣＰＵ４０１が、フラッシュメモリー４０３、ＣＤ−ＲＯＭ４１３Ａに記憶されたプログラムを実行することにより、ＣＰＵ４０１に形成される機能である。図１４を参照して、ＣＰＵ４０１は、代替情報受信部４５１と、代替情報表示部４５３と、を含む。代替情報受信部４５１が、無線ＬＡＮＩ／Ｆ４０８を制御し、ＭＦＰ１００が送信する代替画面を受信する。代替情報受信部４５１は、受信された代替画面を代替情報表示部４５３に出力する。代替情報表示部４５３は、代替情報受信部４５１から代替画面が入力されることに応じて、代替画面を表示部４０６に表示する。

図１５は、携帯情報装置で表示される代替画面の一例を示す図である。図１５では、図８に示したプロジェクター５００によって発表用データの第１ページの画像がスクリーンに投影された状態で、携帯情報装置４００で表示される代替画面を示す。図１５を参照して、代替画面７１１Ｂは、図８に示したＡＲタグ７０３に対応する関連情報「関連情報Ａ」の画像７０３Ａと、関連情報「関連情報Ｂ」の画像７０５Ａを含む。さらに、関連情報「関連情報Ａ」の画像７０３Ａの右にＡＲタグ７０３に対応する関連画像７０３Ｂが配置され、関連情報「関連情報Ｂ」の画像７０５Ａの右にＡＲタグ７０５に対応する関連画像７０５Ｂが配置される。

したがって、ＨＭＤ２００のカメラ２０２が故障等して関連情報を表示できない状態であっても、ユーザーは、携帯情報装置４００に表示される代替画面を見て、関連情報を知ることができるとともに、代替画面において関連情報の右に配置された関連画像を見ることによって、スクリーンに投影された画像中のどの部分に対応する関連情報であるかを知ることができる。

図１６は、第１の実施の形態における表示制御処理の流れの一例を示すフローチャートである。表示制御処理は、第１の実施の形態におけるＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶されたプログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１６を参照して、ＣＰＵ１１１は、登録指示を受け付けたから否かを判断する（ステップＳ０１）。ユーザーが、操作部１６３の登録指示が予め割り当てられたキーを指示する操作を受け付けると、登録指示を受け付ける。登録指示を受け付けたならば処理をステップＳ０２に進めるが、そうでなければ処理をステップＳ０５に進める。

ステップＳ０２においては、ＡＲタグの指定を受け付ける。予め準備された複数のＡＲタグのうちからユーザーにより指定されたＡＲタグを受け付ける。次のステップＳ０３においては、関連情報を受け付ける。ユーザーが操作部１６３を用いて入力する関連情報を受け付ける。関連情報が文字の場合には、ユーザーが操作部１６３を用いて入力する関連情報を受け付ける。また、関連情報が図形または写真の場合には、別のコンピューターで作成した図形や、デジタルカメラで撮像して得られる写真や、インターネットに接続されたサーバーに記憶された図形または写真を、ユーザーが操作部１６３を用いて指定すれば、通信Ｉ／Ｆ部１１２を介してそれらが記録されたコンピューターからダウンロードする。

次のステップＳ０４においては、関連情報レコードをＨＤＤ１１５に記憶し、処理をステップＳ０５に進める。ステップＳ０２において受け付けられたＡＲタグと、ステップＳ０３において受け付けられた関連情報とを含む関連情報レコードを生成し、生成された関連情報レコードをＨＤＤ１１５に記憶する。

ステップＳ０５においては、発表用データを受信したか否かを判断する。発表用データは、ユーザーが、ＰＣ３００を用いて、ＰＣ３００にアプリケーションプログラムを実行させ、ＰＣ３００により生成されるアプリケーションデータである。通信Ｉ／Ｆ部１１２を制御して、ＰＣ３００から発表用データを受信する。ＰＣ３００を操作するユーザーが、発表用データをＭＦＰ１００のＨＤＤ１１５に記憶にさせるようにしてもよい。この場合には、次のステップＳ０６を実行する必要は無い。

ステップＳ０６においては、受信された発表用データをＨＤＤ１１５に記憶し、処理をステップＳ０７に進める。ステップＳ０７においては、ステップＳ０５において受信された発表用データからＡＲタグを抽出する。次のステップＳ０８では、発表用データから関連画像を抽出する。関連画像は、発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像である。ステップＳ０５において抽出されたＡＲタグの近傍に配置される領域の画像を関連画像として抽出する。

次のステップＳ０９においては、関連画像レコードをＨＤＤ１１５に記憶し、処理をステップＳ１０に進める。ステップＳ０７において抽出されたＡＲタグと、ステップＳ０８において抽出された関連画像とを含む関連画像レコードを生成し、生成された関連画像レコードをＨＤＤ１１５に記憶する。

ステップＳ１０においては、発表用データの表示指示を受け付けたか否かを判断する。ユーザーが操作部１６３を操作する場合、ユーザーが操作部１６３を用いて発表用データを指定する操作を受け付ける。また、ユーザーが、携帯情報装置４００を用いてＭＦＰ１００を遠隔操作する場合、ユーザーが携帯情報装置４００を用いて発表用データを指定する操作を、通信Ｉ／Ｆ部１１２で携帯情報装置４００から受信する。発表用データの表示指示を受け付けたならば処理をステップＳ１１に進めるが、そうでなければ処理をステップＳ１３に進める。ステップＳ１１においては、発表用データに含まれる１以上のページうちから、表示対象となるページを特定し、処理をステップＳ１２に進める。発表用データの表示指示が受け付けられた段階においては、最初の第１ページを特定する。ステップＳ１２においては、発表用データに含まれる１以上のページのうち、ステップＳ１１において特定されたページの画像を、プロジェクター５００に送信し、プロジェクターに当該ページの画像を表示させ、処理をステップＳ１３に進める。

ステップＳ１３においては、関連情報の取得要求を受信したか否かを判断する。ここでは、ＨＭＤ２００から関連情報の取得要求を受信する場合を例に説明する。通信Ｉ／Ｆ部１１２がＨＭＤ２００から関連情報の取得要求を受信したか否かを判断する。関連情報の取得要求を受信したならば処理をステップＳ１４に進めるが、そうでなければ処理をステップＳ１７に進める。

ステップＳ１４においては、受信された取得要求に含まれるＡＲタグで、ＨＤＤ１１５に記憶された関連情報レコードを検索する。次のステップＳ１５においては、検索の結果、取得要求に含まれるＡＲタグと同じＡＲタグを含む関連情報レコードが抽出されたか否かを判断する。そのような関連情報レコードが抽出されたならば、処理をステップＳ１６に進めるが、そうでなければステップＳ１６をスキップして処理をステップＳ１７に進める。ステップＳ１６においては、ステップＳ１５において抽出された関連情報レコードを、取得要求を送信してきたＨＭＤ２００に通信Ｉ／Ｆ部１１２を介して返信し、処理をステップＳ１７に進める。

ステップＳ１７においては、代替表示指示を受信したか否かを判断する。ここでは、ＨＭＤ２００から代替表示指示を受信する場合を例に説明する。通信Ｉ／Ｆ部１１２がＨＭＤ２００から代替表示指示を受信したか否かを判断する。代替表示指示を受信したならば処理をステップＳ１８に進めるが、そうでなければ処理をステップＳ２９に進める。

ステップＳ１８においては、発表用データに含まれる１以上のページのうちプロジェクター５００に表示されているページを特定する。次のステップＳ１９においては、表示用データに含まれる１以上のページのうち、ステップＳ１８において特定されたページからＡＲタグを抽出する。そして、抽出されたＡＲタグのうちから１つを処理対象として選択し（ステップＳ２０）、処理をステップＳ２１に進める。ステップＳ２１においては、ステップＳ２０において処理対象に選択されたＡＲタグと関連付けられた関連情報レコードを抽出する。具体的には、処理対象に選択されたＡＲタグを含む関連情報レコードを、ＨＤＤ１１５に記憶された関連情報レコードのうちから抽出する。ステップＳ２２においては、ステップＳ２０において処理対象に選択されたＡＲタグと関連付けられた関連画像を抽出する。具体的には、処理対象に選択されたＡＲタグを含む関連画像レコードを、ＨＤＤ１１５に記憶された関連画像レコードのうちから抽出する。

ステップＳ２３においては、ステップＳ２１において抽出された関連情報と、ステップＳ２２において抽出された関連画像とを、代替画面に設定する。具体的には、関連情報と関連画像とを、代替画面に並べて配置する。なお、関連情報と関連画像とを関連付けて代替画面に配置すればよく、例えば、関連情報と関連画像とを線で結んでも良いし、関連情報と関連画像とを線で囲むようにしてもよい。

テップＳ２４においては、処理対象に選択されていないＡＲタグが存在するか否かを判断する。未処理のＡＲタグが存在するならば、処理をステップＳ２０に戻すが、そうでなければ処理をステップＳ２５に進める。

ステップＳ２５においては、表示設定により、処理を分岐させる。表示設定は、ユーザーにより設定される。例えば、ＭＦＰ１００に予め設定される場合であっても良いし、ＨＭＤ２００から代替表示指示等ともに受信されるようにしてもよい。表示設定が送信設定ならば処理をステップＳ２６に進め、プリント設定ならば処理をステップＳ２７に進め、遠隔表示設定ならば処理をステップＳ２８に進める。

ステップＳ２６においては、代替画面をＨＭＤ２００に対して予め対応付けられた携帯情報装置４００に送信し、処理をステップＳ２９に進める。ステップＳ２７においては、画像形成部１４０を制御して、代替画面の画像を用紙に形成させ、処理をステップＳ２９に進める。ステップＳ２８においては、代替画面を表示部１６１に表示し、処理をステップＳ２９に進める。ＭＦＰ１００が携帯情報装置４００によって遠隔制御されている場合は、代替画面が携帯情報装置４００に送信されるので、携帯情報装置４００に代替画面が表示される。

ステップＳ２９においては、ページ切換指示を受け付けたか否かを判断する。ページ切換指示を受け付けたならば処理をステップＳ１１に戻すが、そうでなければ処理を終了する。ステップＳ２９においてページ切換指示が受け付けられた後に実行されるステップＳ１１においては、表示用データに含まれる１以上のページのうち、ページ切換指示で特定されるページがプロジェクター５００に表示される。

図１７は、第１の実施の形態における関連情報表示制御処理の流れの一例を示すフローチャートである。関連情報表示制御処理は、第１の実施の形態におけるＨＭＤ２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶されたプログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図１７を参照して、ＣＰＵ２０１は、カメラ４０２を制御し、被写体を撮像させる（ステップＳ１０１）。次のステップＳ１０２においては、撮像に成功したか否かを判断する。カメラ４０２が故障する等の理由でカメラ４０２が画像データを出力しない場合に、撮像に失敗したと判断する。撮像に成功したならば処理をステップＳ１０３に進めるが、そうでなければ処理をステップＳ１０６に進める。ステップＳ１０６においては、代替表示指示をＭＦＰ１００に、無線ＬＡＮＩ／Ｆ２０５を介して送信し、処理をステップＳ１０７に進める。

ステップＳ１０３においては、カメラ４０２が出力する画像データからＡＲタグを抽出する。ここでは、カメラ４０２の被写体は、プロジェクター５００が画像を投影するスクリーンである。上述したように、プロジェクター５００は、ＭＦＰ１００によって制御されて、発表用データに含まれる１以上のページのうちユーザーにより指定されたページの画像をスクリーンに投影する。したがって、カメラ４０２がスクリーンを撮像して出力する画像データは、発表用データに含まれる１以上のページのうちユーザーにより指定されたページの画像を含む。カメラ４０２が出力する画像データからＡＲタグを抽出したならば処理をステップＳ１０４に進めるが、そうでなければ処理をステップＳ１０７に進める。

ステップＳ１０４においては、ＭＦＰ１００から関連情報を取得する。無線ＬＡＮＩ／Ｆ２０５を制御して、ステップＳ１０３において抽出されたＡＲタグを含む関連情報の取得要求をＭＦＰ１００に送信する。ＭＦＰ１００は、関連情報の取得要求を受信することに応じて、ＡＲタグに関連付けられた関連情報を返信するので、無線ＬＡＮＩ／Ｆ２０５が受信する関連情報を取得する。

ステップＳ１０５においては、ステップＳ１０４において取得された関連情報を、ステップＳ１０３において抽出されたＡＲタグに対応する位置に配置されるように、表示部２０４に表示し、処理をステップＳ１０７に進める。

ステップＳ１０７においては、電源がＯＦＦに切り換えられたか否かを判断する。電源がＯＦＦに切り換えられたならば処理を終了するが、そうでなければ処理をステップＳ１０１に戻す。

＜第１の変形例＞
第１の実施の形態においては、表示設定によって代替画面の出力先を変更するようにした。第１の変形例においては、表示設定がプリント設定の場合に、代替画面ではなく、発表用データに含まれるすべてのＡＲタグに対応する、関連情報と関連画像の組の画像を、１枚の用紙に形成させるようにしたものである。

図１８は、表示設定がプリント設定の場合に用紙に形成される画像の一例を示す図である。図１８は、図８に示した発表用データに対応して、用紙に画像形成される関連情報と関連画像の組の画像を示している。図９に示した関連情報テーブルおよび図１０に示した関連画像テーブルそれぞれにおいて、ＡＲタグに関連付けられた関連情報と関連画像との組をそれぞれ配置した画像となっている。

したがって、ＨＭＤ２００のカメラ２０２が故障等して関連情報を表示できない状態であっても、ユーザーは、図１８に示した画像を見て、発表用データの全てのページに関連する関連情報を知ることができるとともに、関連情報の右に配置された関連画像を見ることによって、スクリーンに投影された画像中のどの部分に対応する関連情報であるかを知ることができる。

＜第２の変形例＞
第１の実施の形態においては、表示設定によって代替画面の出力先を変更するようにした。第２の変形例においては、表示設定が送信設定の場合に、代替画面ではなく、発表用データに含まれるすべてのＡＲタグに対応する、関連情報と関連画像の組を、携帯情報装置４００に送信するようにしたものである。

この場合、携帯情報装置４００は、ＡＲタグ７０３に対応する関連情報と関連画像の組、ＡＲタグ７０５に対応する関連情報と関連画像の組、ＡＲタグ７０７に対応する関連情報と関連画像の組を受信する。携帯情報装置４００は、ＡＲタグ７０３，７０５，７０７にそれぞれ対応する関連情報と関連画像の組を、ＡＲタグ７０３，７０５，７０７ごとに表示する。この場合、ユーザーは、携帯情報装置２００において、予め定められたページ送り操作を用いて、関連情報と関連画像の組を閲覧することができる。

図１９は、携帯情報装置における閲覧画面の一例を示す第１の図である。図１９を参照して、閲覧画面は、ＡＲタグ７０３に対応する関連情報「関連情報Ａ」の画像７０３Ａの右にＡＲタグ７０３に対応する関連画像７０３Ｂが配置される。

図２０は、携帯情報装置における閲覧画面の一例を示す第２の図である。図２０に示す閲覧画面は、図１９に示す閲覧画面が表示されている状態で、ユーザーがページ送り操作を携帯情報装置４００に入力した場合に表示される画面である。図２０を参照して、閲覧画面は、ＡＲタグ７０５に対応する関連情報「関連情報Ｂ」の画像７０５Ａの右にＡＲタグ７０５に対応する関連画像７０５Ｂが配置される。

したがって、ＨＭＤ２００のカメラ２０２が故障等して関連情報を表示できない状態であっても、ユーザーは、図１９および図２０に示した画像を見て、発表用データに関連する関連情報を知ることができるとともに、関連情報の右に配置された関連画像を見ることによって、スクリーンに投影された画像中のどの部分に対応する関連情報であるかを知ることができる。

以上説明したように、第１の実施の形態におけるＭＦＰ１００は、情報提供装置として機能し、発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像としてＡＲタグと関連付け、第１の外部装置からＡＲタグを受信することに応じて、受信されたＡＲタグと関連付けて登録された関連情報をＨＭＤ２００に表示させるために、ＡＲタグと関連情報との組を、ＨＭＤ２００に送信する。このため、ＨＭＤ２００が、プロジェクター５００によりスクリーンに投影された発表用データの画像を撮像した画像中のＡＲタグに関連付けて関連情報を表示すれば、発表用データに含まれるＡＲタグに関連付けられた関連情報をＨＭＤ２００を装着するユーザーに通知することができる。また、ＨＭＤ２００のカメラ２０２が故障する場合、発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組を、ＨＭＤ２００と予め対応付けられた携帯情報装置４００に送信し、表示させる。このため、携帯情報装置４００で表示される関連情報と関連画像とを見るユーザーは、プロジェクター５００によりスクリーンに投影された発表用データの画像に含まれる関連画像を特定できるとともに、関連画像に関連付けられた関連情報を知ることができる。ＨＭＤ２００を装着するユーザーは、携帯情報装置４００を携帯していれば、ＨＭＤ２００が故障した場合でも、スクリーンに投影された発表用データの画像に含まれる関連画像を特定できるとともに、関連画像に関連付けられた関連情報を知ることができる。

また、ＭＦＰ１００は、発表用データが複数のＡＲタグを含む場合、複数のＡＲタグごとに、当該ＡＲタグと関連付けられた関連情報と関連画像との組を、携帯情報装置４００に送信し、携帯情報装置４００は、ＭＦＰ１００から受信される複数の組それぞれを他の組と区別して、当該組に含まれる関連情報と関連画像とを表示する。このため、携帯情報装置４００は、ＡＲタグと関連付けられた関連情報と関連画像との組の複数それぞれを他の組と区別して表示するので、発表用データ中の複数のＡＲタグごとに関連情報を、携帯情報装置４００を携帯するユーザーに通知することができる。

また、ＭＦＰ１００は、携帯情報装置４００によって遠隔制御されている間は、発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組を含む代替画面を操作画面とするので、代替画面が携帯情報装置４００に表示される。このため、ＨＭＤ２００を装着するユーザーは、ＨＭＤ２００が故障した場合に、自らが携帯する携帯情報装置４００でＭＦＰ１００を遠隔制御すれば、携帯情報装置４００に表示される関連情報と関連画像とを見ることができる。

また、ＭＦＰ１００は、発表用データに含まれる複数ページのうち表示されているページに含まれるＡＲタグと関連付けられた関連情報と関連画像との組を、携帯情報装置４００に送信する。このため、表示されていないページに含まれるＡＲタグと関連付けられた関連情報を、携帯情報装置４００を携帯するユーザーに通信しないようにすることができる。

また、ＭＦＰ１００は、発表用データに含まれる複数のＡＲタグそれぞれに関連付けられた関連情報と関連画像との画像を用紙に形成する。このため、用紙に形成された関連情報と関連画像とを見るユーザーは、プロジェクター５００によりスクリーンに投影された発表用データの画像に含まれる関連画像を特定できるとともに、関連画像に関連付けられた関連情報を知ることができる。

＜第２の実施の形態＞
図２１は、第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の概要の一例を示すブロック図である。図２１に示す機能は、第２の実施の形態におけるＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶されたプログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図７に示した機能と同じ機能には同一の符号を付している。図１２を参照して、ＣＰＵ１１１Ａは、エアータグ登録部５１Ａと、部分情報登録部５３Ａと、部分情報要求受信部５９Ａと、部分情報送信部６１Ａと、表示部１６１を制御する表示制御部６５と、外部の装置により遠隔制御される遠隔制御部６７と、を含む。

エアータグ登録部５１Ａは、ＭＦＰ１００に関連するエアータグ情報をエアータグサーバー６００に登録する。エアータグ登録部５１Ａは、エアータグ情報をエアータグサーバー６００に、通信Ｉ／Ｆ部１１２を介して送信する。エアータグ情報は、関連情報と、位置情報と、装置識別情報と、を含む。

関連情報は、ＭＦＰ１００の少なくとも一部に関連する情報である。例えば、関連情報は、ＭＦＰ１００が備える複数の部分それぞれの状態を示す状態情報を含む。状態情報は、例えば、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５それぞれの状態を示す情報を含む。例えば、画像形成部１４０の状態は、用紙が詰まった状態、トナー残量を含む。後処理部の状態は、用紙が詰まった状態、ビンの数を含む。また、関連情報は、状態情報に限定されるものではなく、任意の情報とすることができ、例えば、ＭＦＰ１００が備える種々のセンサーで関連情報を検出するようにすればよい。また、ＭＦＰ１００を操作するユーザーが、操作部１６３に関連情報を入力するようにしてもよい。

位置情報は、ＭＦＰ１００の地理上の位置を示す情報である。位置情報は、例えば、緯度と経度である。ＭＦＰ１００は、ＭＦＰ１００を操作するユーザー、例えば、ＭＦＰ１００を管理するユーザーが、ＭＦＰ１００が配置されている現在位置を示す位置情報を操作部１６３に入力すれば、入力された位置情報をＨＤＤ１１５に記憶する。なお、ＭＦＰ１００がＧＰＳ受信装置を備える場合には、ＧＰＳ受信装置によって計測された位置から位置情報を特定するようにしてもよい。装置識別情報は、ＭＦＰ１００を識別するための情報であり、例えば、ネットワーク２においてＭＦＰ１００に割り当てられたネットワークアドレスである。

エアータグ登録部５１Ａは、エアータグサーバー６００に登録したエアータグ情報に含まれる関連情報と、ＭＦＰ１００が備える複数の部分のうち、その関連情報が関連する部分を識別するための部分識別情報とを、部分情報登録部５３Ａに出力する。

部分情報登録部５３Ａは、エアータグ登録部５１Ａから関連情報と部分識別情報とが入力され、入力された関連情報と、関連画像と、を含む部分情報を生成し、部分情報をＨＤＤ１１５に記憶する。関連画像は、関連情報と関連付けられた装置の少なくとも一部を示す画像である。関連画像は、部分識別情報で特定される部分の概観を撮像した画像とすることができる。部分情報登録部５３Ａは、関連情報に１以上の関連画像を関連付ける場合がある。関連画像は、ＭＦＰ１００の部分のうち、関連情報と関連付けられた部分の画像と、その部分と他の部分とを含む画像と、含む。関連画像は、ＭＦＰ１００の全体を撮像した画像であってもよい。例えば、関連情報が自動原稿搬送装置１２０と関連付けられている場合、関連画像は自動原稿搬送装置１２０の概観を撮像した画像、自動原稿搬送装置１２０および原稿読取部１３０の概観を撮像した画像、または、ＭＦＰ１００の全体を撮像した画像である。部分情報登録部５３Ａは、部分情報をＨＤＤ１１５に記憶する場合、記憶された部分情報を部分情報送信部６１Ａに出力する。

図２２は、エアータグ情報の一例を示す図である。図２２に示すエアータグ情報は、ＭＦＰ１００によってエアータグサーバー６００に登録されるエアータグ情報を示す。図２２を参照して、エアータグ情報は、装置識別情報の項目と、位置情報の項目と関連情報の項目と、を含む。ここでは、ＭＦＰ１００によって３つのエアータグ情報が登録された場合を例に示している。３つのエアータグ情報の全てにおいて、装置識別情報の項目にＭＦ１００の装置識別情報「ＭＦＰ−Ａ」が設定され、位置情報の項目にＭＦ１００の地理上の位置を示す位置情報「位置Ａ」が設定される。第１番目のエアータグ情報は、関連情報の項目に「スキャン時異常音」が設定され、第２番目のエアータグ情報は、関連情報の項目に「現像器交換必要」が設定され、第３番目のエアータグ情報は、関連情報の項目に「カセット三段目はジャムする」が設定される。

図２３は、部分情報の一例を示す図である。図２３に示す部分情報は、ＭＦＰ１００により図２２に示したエアータグ情報が登録される場合に、ＭＦＰ１００に記憶される部分情報を示している。図２３を参照して、部分情報は、３つの部分情報レコードを含む。部分情報レコードは、関連情報の項目と、関連画像１の項目と、関連画像２の項目と、を含む。図２３を参照して、関連情報「スキャン時異音」を関連情報に含む部分情報レコードは、関連画像１の項目に原稿読取部１２０の概観を撮像した画像が設定され、関連画像２の項目にＭＦＰ１００の全体の概観を撮像した画像が設定される。関連情報「現像器交換必要」を関連情報に含む部分情報レコードは、関連画像１の項目に画像形成部１４０の概観を撮像した画像が設定され、関連画像２の項目にＭＦＰ１００の全体の概観を撮像した画像が設定される。関連情報「カセット３段目はジャムする」を関連情報に含む部分情報レコードは、関連画像１の項目に給紙部１５０の概観を撮像した画像が設定され、関連画像２の項目にＭＦＰ１００の全体の概観を撮像した画像が設定される。

図２１に戻って、部分情報要求受信部５９Ａは、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置４００から部分情報要求を受信する。ここでの、携帯情報装置４００は、エアータグサーバー６００からエアータグ情報を受信した装置である。部分情報要求受信部５９Ａは、部分情報要求を送信してきた携帯情報装置４００が、遠隔制御部６７が遠隔制御されている装置と同一か否かを判断する。換言すれば、部分情報要求受信部５９Ａは、遠隔制御部６７が部分情報要求を送信してきた携帯情報装置４００によって遠隔制御されているか否かを判断する。部分情報要求受信部５９Ａは、遠隔制御部６７から遠隔制御されている装置の装置識別情報を取得し、部分情報要求を送信してきた携帯情報装置４００の装置識別情報と比較することによって、遠隔制御部６７が部分情報要求を送信してきた携帯情報装置４００によって遠隔制御されているか否かを判断する。部分情報要求受信部５９Ａは、遠隔制御部６７が部分情報要求を送信してきた携帯情報装置４００によって遠隔制御されているならば、遠隔表示指示を部分情報送信部６１Ａに出力し、遠隔制御部６７が部分情報要求を送信してきた携帯情報装置４００によって遠隔制御されていないならば携帯情報装置４００の装置識別情報を含む送信指示を部分情報送信部６１Ａに出力する。

部分情報送信部６１Ａは、部分情報登録部５３から部分情報が入力され、部分情報要求受信部５９Ａから遠隔表示指示または送信指示が入力される。部分情報送信部６１Ａは、関連画像選択部７１Ａと、代替画面生成部７３Ａと、送信制御部７５Ａと、代替画面表示制御部７７Ａと、を含む。

関連画像選択部７１Ａは、部分情報登録部５３Ａから入力される部分情報のうち関連画像が複数のものについて、複数の関連画像のうちから１つを選択する。関連画像選択部７１Ａは、部分情報要求受信部５９Ａから送信指示が入力される場合、送信指示に含まれる装置識別情報で特定される携帯情報装置４００の表示能力に基づいて、関連画像を選択する。携帯情報装置４００が備える表示部４０６の解像度に基づいて、関連画像を選択する。

関連画像選択部７１Ａは、部分情報要求受信部５９Ａから遠隔表示指示が入力される場合、遠隔制御部６７が遠隔制御されている装置を特定し、特定した装置の表示能力に基づいて、関連画像を選択する。例えば、遠隔制御部６７が携帯情報装置４００によって遠隔制御されている場合、携帯情報装置４００が備える表示部４０６の表示解像度に基づいて、関連画像を選択する。

関連画像選択部７１Ａは、関連画像が２つの場合、解像度が所定の値以上であれば、複数の関連画像のうちサイズの大きな関連画像を選択し、解像度が所定の値以下より小さければ、複数の関連画像のうちサイズの小さな関連画像を選択する。関連画像が３以上の場合、しきい値を複数設けて、解像度に対応するサイズの関連画像を選択する。関連画像選択部７１Ａは、１以上の部分情報それぞれについて、その部分情報に含まれる関連情報と、１以上の関連画像のうちから選択された１つの関連画像との組を、代替画面生成部７３Ａに出力する。

代替画面生成部７３Ａは、関連画像選択部７１Ａから入力される関連画像と関連情報との組を含む代替画面を生成する。代替画面は、関連画像と関連情報とを所定の位置関係で配置した画面である。所定の位置関係は、限定するものではないが、関連画像と関連情報との間隔が所定の距離以内となる関係である。代替画面生成部７３Ａは、関連画像選択部７１Ａから関連画像と関連情報との組が複数入力される場合、複数の組にそれぞれ含まれる関連画像と関連情報とを含む代替画面を生成する。代替画面生成部７３Ａは、生成された代替画面を、送信制御部７５Ａ、および代替画面表示制御部７７Ａに出力する。

送信制御部７５Ａは、部分情報要求受信部５９Ａから送信指示が入力される場合、代替画面生成部７３Ａから代替画面が入力されることに応じて、送信指示に含まれる装置識別情報で特定される携帯情報装置４００に、代替画面を通信Ｉ／Ｆ部１１２を介して送信する。

代替画面表示制御部７７Ａは、部分情報要求受信部５９Ａから遠隔表示指示が入力される場合、代替画面生成部７３Ａから代替画面が入力されることに応じて、表示制御部６５に、代替画面表示指示を出力する。代替画面表示指示は、代替画面生成部７３Ａから入力される代替画面を含み、代替画面を表示部１６１に表示させるコマンドである。

表示制御部６５は、表示部１６１を制御して、表示部１６１に代替画面を表示させるので、代替画面が表示部１６１に表示されるとともに、遠隔操作画面送信部８１によって、代替画面が携帯情報装置４００の表示部４０６に表示される。

図２４は、第２の実施の形態におけるサーバーが備えるＣＰＵの機能の概要の一例を示すブロック図である。図２４に示す機能は、エアータグサーバー６００が備えるＣＰＵ６０１が、ＲＯＭ６０２またはＨＤＤ６０４に記憶されたプログラムを実行することにより、ＣＰＵ６０１に形成される機能である。図２４を参照して、ＣＰＵ６０１は、エアータグ情報受信部６５１と、エアータグ情報登録部６５３と、送信要求受信部６５５と、抽出部６５７と、エアータグ情報返信部６５９と、を含む。

エアータグ情報受信部６５１は、通信部６０５が外部から受信するエアータグ情報を受信し、受信されたエアータグ情報をエアータグ情報登録部６５３に出力する。ここでは、ＭＦＰ１００からエアータグ情報を受信する場合を例に説明する。エアータグ情報は、装置識別情報と、位置情報と、関連情報と、を含む。エアータグ情報登録部６５３は、エアータグ情報受信部６５１から入力されるエアータグ情報を、ＨＤＤ６０４に記憶する。

送信要求受信部６５５は、通信部６０５を制御し、外部から送信される送信要求を受信する。本実施の形態においては、後述する携帯情報装置４００が送信要求を送信する場合を例に説明する。この場合、送信要求受信部６５５は、携帯情報装置４００から送信要求を受信する。送信要求の詳細は後述するが、送信要求を送信してきた装置、ここではＨＭＤ２００の現在位置を示す位置情報を含む。送信要求受信部６５５は、受信された送信要求に含まれる位置情報を含む抽出指示を抽出部６５７に出力する。

抽出部６５７は、送信要求受信部６５５から抽出指示が入力されることに応じて、エアータグ情報登録部６５３によってＨＤＤ６０４に記憶されているエアータグ情報のうちから所定の条件を満たすエアータグ情報を抽出する。具体的には、ＨＤＤ６０４に記憶されているエアータグ情報のうち、抽出指示に含まれる位置情報で特定される位置から所定の距離の範囲内の位置情報が設定されたエアータグ情報を抽出する。換言すれば、携帯情報装置４００から所定の距離の範囲内に存在する装置が送信したエアータグ情報のみを抽出する。所定の距離は、任意に定めることができる。所定の距離は、携帯情報装置４００を操作するユーザーが、手で装置に触れることができる距離とするのが好ましい。また、携帯情報装置４００で、操作対象となる装置を撮像する場合に、その装置から少し後退する場合があるので、手で装置に触れることができる距離に、１または２歩後退した距離を加えた距離としてもよい。抽出部６５７は、抽出指示に含まれる位置情報で特定される位置から所定の距離の範囲内の位置情報が設定されたエアータグ情報が複数存在する場合には、それらのすべてを抽出する。抽出部６５７は、抽出された１以上のエアータグ情報をエアータグ情報返信部６５９に出力する。また、抽出部６５７は、エアータグ情報を抽出しない場合、エラー信号をエアータグ情報返信部６５９に出力する。

エアータグ情報返信部６５９は、抽出部６５７から１以上のエアータグ情報が入力される場合、抽出部６５７から入力される１以上のエアータグ情報を、送信要求を送信してきた装置、ここでは、携帯情報装置４００に通信部６０５を介して送信する。また、エアータグ情報返信部６５９は、抽出部６５７からエラー信号が入力される場合、エラー信号を送信要求を送信してきた装置に通信部６０５を介して送信する。

図２５は、第２の実施の形態における携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。図２５に示す機能は、第２の実施の形態における携帯情報装置４００が備えるＣＰＵ４０１が、フラッシュメモリー４０３、またはＣＤ−ＲＯＭ４１１Ａに記憶された遠隔制御プログラムを実行することにより、ＣＰＵ４０１に形成される機能である。図２５を参照して、ＣＰＵ４０１は、カメラ４０２を制御する撮像制御部４６１と、エアータグ情報取得部４６３と、エアータグ情報表示部４６５と、部分情報取得部４６７と、部分情報表示部４６９と、遠隔操作部４７１と、を含む。

撮像制御部４６１は、カメラ４０２を制御して、カメラ４０２に被写体を撮像させる。ここでは、カメラ４０２の被写体は、遠隔操作の対象となるＭＦＰ１００としている。撮像制御部４６１は、カメラ４０２が被写体を撮像して出力する画像データの画像を、表示部４０６に表示させるとともに、エアータグ情報取得部４６３に撮像したことを示す撮像信号を出力する。撮像制御部４６１は、カメラ４０２を起動し、カメラ４０２が出力する画像データの画像を表示部４０６に表示している間に、撮像信号を継続してエアータグ情報取得部４６３に出力する。

また、撮像制御部４６１は、カメラ４０２が故障などして画像データを出力しない状態となると、エラー信号を部分情報取得部４６７に出力する。

エアータグ情報取得部４６３は、エアータグサーバー６００からエアータグ情報を取得する。具体的には、エアータグ情報取得部４６３は、撮像制御部４６１から撮像信号が入力されると、位置検出部４０９を制御し、位置検出部４０９に現在位置を測定させ、位置検出部４０９が出力する現在位置を示す位置情報を取得する。エアータグ情報取得部４６３は、取得された位置情報を含む送信要求を、無線ＬＡＮＩ／Ｆ４０８を介して、エアータグサーバー６００に送信する。携帯情報装置４００のフラッシュメモリー４０３に、エアータグサーバー６００のＩＰアドレスを予め記憶しておけばよい。上述したように、送信要求を受信するエアータグサーバー６００は、１以上のエアータグ情報またはエラー信号を返信する。ここでは、図２２に示したエアータグ情報を返信する。

エアータグ情報取得部４６３は、無線ＬＡＮＩ／Ｆ４０８がエアータグサーバー６００から１以上のエアータグ情報またはエラー信号を受信すると、１以上のエアータグ情報またはエラー信号を取得する。

また、エアータグ情報取得部４６３は、撮像制御部４６１から撮像信号が入力されると、方位検出部４１０を制御し、方位検出部４１０にカメラ４０２の撮像方向を検出させ、方位検出部４１０が出力する方位を取得する。エアータグ情報取得部４６３は、エアータグサーバー６００から１以上のエアータグ情報を受信する場合、１以上のエアータグ情報のうちから方位情報で特定される方向に位置する位置情報を含む１以上のエアータグ情報を抽出する。エアータグ情報は、装置識別情報と、位置情報と、関連情報と、を含む。エアータグ情報取得部４６３は、抽出された１以上のエアータグ情報を、エアータグ情報表示部４６５に出力する。また、エアータグ情報取得部４６３は、取得されたエアータグ情報に含まれる装置識別情報を部分情報取得部４６７に出力する。エアータグ情報取得部４６３は、エアータグサーバー６００からエラー信号を受信する場合、エラー信号をエアータグ情報表示部４６５に出力する。

エアータグ情報表示部４６５は、エアータグ情報取得部４６３から１以上のエアータグ情報が入力される場合、１以上のエアータグ情報それぞれに含まれる関連情報を、表示部４０６に表示する。上述したように、表示部４０６には撮像制御部４６１によってカメラ４０２がＭＦＰ１００を被写体として撮像して出力する画像データの画像が表示されているので、エアータグ情報表示部４６５は、その画像に関連情報を重畳して表示する。これによって、表示部４０６には、カメラ４０２の被写体となるＭＦＰ１００の画像と、ＭＦＰ１００の関連情報の画像とが、表示される。

遠隔操作部４７１は、無線ＬＡＮＩ／Ｆ４０８を介して接続された装置を遠隔制御する。ここでは、ＭＦＰ１００を遠隔制御する場合を例に説明する。この場合、遠隔操作部４７１は、無線ＬＡＮＩ／Ｆ４０８を介してＭＦＰ１００と通信可能な状態である。

遠隔操作部４７１は、ＭＦＰ１００から送信される操作画面を受信し、受信された操作画面を表示部４０６に表示する。携帯情報装置４００を操作するユーザーは、表示部４０６に表示された操作画面中のいずれかを指示すれば、指示された位置に対応する遠隔操作を、無線ＬＡＮＩ／Ｆ４０８を介してＭＦＰ１００に送信する。

部分情報取得部４６７は、エアータグ情報取得部４６３からエアータグ情報に含まれる装置識別情報が入力される。部分情報取得部４６７は、撮像制御部４６１からエラー信号が入力されることに応じて、エアータグ情報取得部４６３から入力される装置識別情報で特定される装置、ここでは、ＭＦＰ１００から部分情報を取得する。具体的には、部分情報取得部４６７は、部分情報要求をＭＦＰ１００に無線ＬＡＮＩ／Ｆ４０８を介して送信する。なお、部分情報取得部４６７は、ユーザーによる指示が入力されることに応じて、ＭＦＰ１００に部分情報取得要求を送信するようにしてもよい。この場合には、撮像制御部２５１はエラー信号を出力する必要はない。

遠隔操作部４７１は、ＭＦＰ１００を遠隔制御している状態では、ＭＦＰ１００が送信する代替画面を受信し、表示部４０６に表示させる。ＭＦＰ１００は、携帯情報装置４００から部分情報要求を受信すると、携帯情報装置４００によって遠隔制御されている場合に代替画面を送信するが、遠隔操作部４７１がＭＦＰ１００を遠隔制御している場合には、遠隔操作部４７１が、無線ＬＡＮＩ／Ｆ４０８を介してＭＦＰ１００から代替画面を受信し、表示部４０６に表示する。換言すれば、カメラ４０２が故障しており、かつ、ＭＦＰ１００を遠隔操作している最中に、携帯情報装置４００のユーザーがカメラ４０２の撮像範囲にＭＦＰ１００が入るように携帯情報装置４００を向ければ、代替画面が表示部４０６に表示される。

また、ＭＦＰ１００は、携帯情報装置４００から部分情報要求を受信すると、携帯情報装置４００によって遠隔制御されていないことを条件に、代替画面を返信するので、部分情報取得部４６７は、遠隔操作部４７１がＭＦＰ１００を遠隔操作していないことを条件に、無線ＬＡＮＩ／Ｆ４０８がＭＦＰ１００から受信する代替画面を取得する。部分情報取得部４６７は、取得された代替画面を部分情報表示部４６９に出力する。部分情報表示部４６９は、部分情報取得部４６７から代替画面が入力されることに応じて、その代替画面を表示部４０６に表示させる。

このため、遠隔操作部４７１がＭＦＰ１００を遠隔制御している場合、およびＭＦＰ１００を遠隔制御していない場合の何れにおいても、カメラ４０２が故障した状態で、携帯情報装置４００のユーザーがカメラ４０２の撮像範囲にＭＦＰ１００が入るように携帯情報装置４００を向ければ、代替画面が表示部４０６に表示される。代替画面は、関連情報と、ＭＦＰ１００の少なくとも一部の画像との組を含むので、ＭＦＰ１００の少なくとも一部の画像と関連付けて関連情報をユーザーに提示することができる。このため、カメラ４０２が故障している状態で、エアータグ情報に含まれる関連情報だけでなく、関連画像も併せて閲覧することができるので、関連情報がＭＦＰ１００に関連する情報であるかをユーザーに提示することができる。

図２６は、携帯情報装置でＭＦＰを撮像する場合に表示される画像の一例を示す図である。ここでは、ＭＦＰ１００によって図２２に示したエアータグ情報が登録されている場合に、携帯情報装置４００でＭＦＰ１００を撮像する場合に携帯情報装置４００の表示部４０６に表示される画像８０１を示している。図２６を参照して、画像８０１は、カメラ４０２がＭＦＰ１００を撮像して出力する画像に重畳して、関連情報の画像８０３，８０５，８０７を含む。関連情報の画像８０３は、図２２に示した第１番目のエアータグ情報の関連情報の項目に設定された「スキャン時異常」の文字列の画像である。関連情報の画像８０５は、図２２に示したが第２番目のエアータグ情報の関連情報の項目に設定された「現像器交換必要」の文字列の画像である。関連情報の画像８０３は、図２２に示した第３番目のエアータグ情報の関連情報の項目に設定された「カセット三段目はジャムする」の文字列の画像である。

図２７は、携帯情報装置で表示される代替画面の一例を示す第１の図である。図２７では、ＭＦＰ１００によって図２２に示したエアータグ情報が登録されている場合に、携帯情報装置４００のカメラ４０２が故障等で機能しない状態で、携帯情報装置４００のカメラ４０２をＭＦＰ１００に向けた場合に携帯情報装置４００の表示部４０６に表示される代替画面８５１を示している。図２７を参照して、代替画面８５１は、関連情報の画像８０３，８０５，８０７と、それらと関連付けられた関連画像８０９を含む。

したがって、携帯情報装置４００のカメラ４０２が故障等して、ＭＦＰ１００を撮像した画像を表示できない状態であっても、ユーザーは、携帯情報装置４００に表示される代替画面８５１を見て、関連情報の画像８０３，８０５，８０７から関連情報を知ることができるとともに、関連画像８０９から関連情報がＭＦＰ１００に関連する情報であることを知ることができる。

図２８は、携帯情報装置で表示される代替画面の一例を示す第２の図である。図２８では、ＭＦＰ１００によって図２２に示したエアータグ情報が登録されている場合に、携帯情報装置４００のカメラ４０２が故障等で機能しない状態で、携帯情報装置４００のカメラ４０２をＭＦＰ１００に向けた場合に携帯情報装置４００の表示部４０６に表示される代替画面８５１を示している。図２８を参照して、代替画面８６１は、関連情報の画像８０３と、その左に配置された関連画像８０３Ａを含む。関連画像８０３Ａは、原稿読取部１２０の概観を撮像した画像であり、関連情報が原稿読取部１２０に関連する情報であることを、ユーザーに通知することができる。

したがって、携帯情報装置４００のカメラ４０２が故障等して、ＭＦＰ１００を撮像した画像を表示できない状態であっても、ユーザーは、携帯情報装置４００に表示される代替画面８６１を見て、関連情報の画像８０３から関連情報を知ることができるとともに、関連画像８０３Ａから関連情報がＭＦＰ１００の原稿読取装置１２０に関連する情報であることを知ることができる。

なお、ここでは、関連画像を、ＭＦＰ１００の全体または一部の概観を撮像した画像としたが、ＭＦＰ１００の全体または一部の概観を模した図柄であってもよい。

図２９は、第２の実施の形態における表示制御処理の流れの一例を示すフローチャートである。第２の実施の形態における表示制御処理は、第２の実施の形態におけるＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶されたプログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図２９を参照して、ＣＰＵ１１１は、エアータグ情報の登録指示を受け付けたから否かを判断する（ステップＳ５１）。ユーザーが、操作部１６３のエアータグ情報の登録指示が予め割り当てられたキーを指示する操作を受け付けると、エアータグ情報の登録指示を受け付ける。エアータグ情報の登録指示を受け付けたならば処理をステップＳ５２に進めるが、そうでなければ処理をステップＳ５９に進める。

ステップＳ５２においては、関連情報を取得する。関連情報は、ＭＦＰ１００の少なくとも一部に関連する情報である。関連情報は、ＭＦＰ１００が備える複数の部分それぞれの状態を示す状態情報を含む。ＭＦＰ１００が備える複数の部分は、例えば、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５である。状態情報は、例えば、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５それぞれの状態を示す情報を含む。例えば、関連情報として、トナー残量を取得する場合、トナー残量は、画像形成部１４０に関連する情報である。

次のステップＳ５３においては、関連部分を決定する。ＭＦＰ１００が備える複数の部分のうち、ステップＳ５１において受け付けられた関連情報が関連する部分を決定する。例えば、ステップＳ５２において受け付けられた関連情報が、トナー残量ならば、関連部分として画像形成部１４０を決定する。

次のステップＳ５４においては、関連画像を取得する。ステップＳ５３において決定された関連部分の画像を関連画像として取得する。ＭＦＰ１００が備える複数の部分である、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５それぞれの外観を撮像した画像をあらかじめ準備しておき、ステップＳ５３において決定された関連部分に対応する画像を関連画像として取得する。また、関連画像は、関連情報に対して、複数であってもよい。

ステップＳ５５においては、部分情報を生成する。部分情報は、ステップＳ５２において取得された関連情報と、ステップＳ５４において取得された関連画像とを含む。そして、生成された部分情報をＨＤＤ１１５に記憶し（ステップＳ５６）、処理をステップＳ５７に進める。

ステップＳ５７においては、エアータグ情報を生成する。エアータグ情報は、関連情報と、位置情報と、装置識別情報と、を含む。ステップＳ５２において取得された関連情報と、ＭＦＰ１００の地理上の位置を示す位置情報と、ＭＦＰ１００の装置識別情報であるネットワークアドレスと、を含む。

ステップＳ５８においては、ステップＳ５７において生成されたエアータグ情報を登録し、処理をステップＳ５９に進める。ＭＦＰ１００に、エアータグサーバー６００のネットワークアドレスを予め登録しておき、通信Ｉ／Ｆ部１１２を介して、エアータグ情報をエアータグサーバー６００に送信する。

ステップＳ５９においては、部分情報要求を受信したから否かを判断する。通信Ｉ／Ｆ部１１２が外部から部分情報要求を受信したか否かを判断する。部分情報要求を受信したならば処理をステップＳ６１に進めるが、そうでなければ処理をステップＳ５１に戻す。ここでは、エアータグサーバー６００からエアータグ情報を受信した携帯情報装置４００から部分情報要求を受信する場合を例に説明する。

ステップＳ６１においては、代替画面を生成する。ステップＳ５６においてＨＤＤ１１５に記憶された部分情報を読み出し、その部分情報に含まれる関連画像と関連情報との組を含む代替画面を生成する。代替画面は、関連画像と関連情報とを所定の位置関係で配置した画面である。所定の位置関係は、限定するものではないが、関連画像と関連情報との間隔が所定の距離以内となる関係である。ＨＤＤ１１５に複数の部分情報が記録されている場合、複数の組に部分情報それぞれに含まれる関連画像と関連情報とを含む代替画面を生成する。

ステップＳ６１においては、外部の遠隔操作装置により遠隔制御されているか否かを判断する。遠隔制御されているならば処理をステップＳ６２に進めるが、そうでなければ処理をステップＳ６３に進める。ステップＳ６２においては、代替画面を表示部１６１に表示し、処理をステップＳ５１に戻す。例えば、携帯情報装置４００により遠隔制御されている場合には、表示部１６１に表示された画像と同じ画像が携帯情報装置４００に表示される。このため、代替画面を表示部１６１に表示すれば、携帯情報装置４００で代替画面が表示される。

ステップＳ６３においては、代替画面を、部分情報要求を送信してきた装置、ここでは携帯情報装置４００に、通信Ｉ／Ｆ部１１２を介して送信し、処理をステップＳ５１に戻す。これにより、携帯情報装置４００で代替画面が表示される。

図３０は、第２の実施の形態におけるエアータグ情報管理処理の流れの一例を示すフローチャートである。第２の実施の形態におけるエアータグ情報管理処理は、サーバー６００が備えるＣＰＵ６０１が、ＲＯＭ６０２またはＨＤＤ６０４に記憶されたプログラムを実行することにより、ＣＰＵ６０１により実行される処理である。

図３０を参照して、ＣＰＵ６０１は、エアータグ情報を受信したか否かを判断する（ステップＳ３０１）。通信部３０５がエアータグ情報を受信したならば処理をステップＳ３０２に進めるが、そうでなければ処理をステップＳ３０３に進める。エアータグ情報は、本実施の形態においては、情報処理装置として機能するＭＦＰ１００から受信される。エアータグ情報は、装置識別情報と、位置情報と、処理情報と、を含む。また、エアータグ情報は、データ識別情報を含む場合がある。

ステップＳ３０２においては、ステップＳ３０１において受信されたエアータグ情報を登録し、処理をステップＳ３０３に進める。ステップＳ３０３においては、送信要求を受信したか否かを判断する。本実施の形態においては、通信部３０５が携帯情報装置２００から送信要求を受信したか否かを判断する。送信要求は、送信要求を送信してきた携帯情報装置２００の現在位置を示す位置情報を含む。送信要求を受信したならば処理をステップＳ３０４に進めるが、そうでなければ処理をステップＳ３０１に戻す。

ステップＳ３０４においては、送信要求を送信してきた携帯情報装置２００の位置情報を取得する。ステップＳ３０３において受信された送信要求に含まれる位置情報を抽出する。そして、ＨＤＤ３０４に記憶されているエアータグ情報のうちからステップＳ３０４において取得された位置情報で特定される位置から所定の距離の範囲内の位置情報が設定されたエアータグ情報を抽出する。換言すれば、携帯情報装置２００から所定の距離の範囲内に存在する装置が送信したエアータグ情報のみを抽出する。

ステップＳ３０６においては、エアータグ情報を返信し、処理をステップＳ３０１に戻す。具体的には、ステップＳ３０５において抽出された１以上のエアータグ情報を、送信要求を送信してきた携帯情報装置２００に通信部３０５を介して送信する。なお、ステップＳ３０５においてエアータグ情報が抽出されない場合には、エラー信号を送信要求を送信してきた携帯情報装置２００に通信部３０５を介して送信する。

図３１は、第２の実施の形態における関連情報表示制御処理の流れの一例を示すフローチャートである。第２の実施の形態における関連情報表示制御処理は、第２の実施の形態における携帯情報装置４００が備えるＣＰＵ４０１が、フラッシュメモリー４０３、またはＣＤ−ＲＯＭ４１１Ａに記憶された遠隔制御プログラムを実行することにより、ＣＰＵ４０１により実行される処理である。図３１を参照して、ＣＰＵ４０１は、カメラ４０２を制御し、被写体を撮像させる（ステップＳ２０１）。次のステップＳ２０２においては、エアータグサーバー６００からエアータグ情報を取得する。具体的には、携帯情報装置４００の現在位置を測定し、測定された現在位置を示す位置情報を含む送信要求を、無線ＬＡＮＩ／Ｆ４０８を介して、エアータグサーバー６００に送信する。携帯情報装置４００のフラッシュメモリー４０３に、エアータグサーバー６００のＩＰアドレスを予め記憶しておけばよい。上述したように、送信要求を受信するエアータグサーバー６００は、１以上のエアータグ情報またはエラー信号を返信する。

ステップＳ２０３においては、撮像に成功したか否かを判断する。カメラ４０２が故障する等の理由でカメラ４０２が画像データを出力しない場合に、撮像に失敗したと判断する。撮像に成功したならば処理をステップＳ２０４に進めるが、そうでなければ処理をステップＳ２０５に進める。

ステップＳ２０４においては、ステップＳ２０２において取得されたエアータグ情報に含まれる関連情報を、表示部４０６に表示し、処理をステップＳ２１０に進める。ステップＳ２０１においてカメラ４０２によりＭＦＰ１００を被写体として撮像させることにより、表示部４０６にはカメラ４０２がＭＦＰ１００を被写体として撮像して出力する画像データの画像が表示されているので、その画像に関連情報を重畳して表示する。これによって、表示部４０６には、カメラ４０２の被写体となるＭＦＰ１００の画像と、ＭＦＰ１００の関連情報の画像とが、表示される。

一方、ステップＳ２０５においては、部分情報要求をＭＦＰ１００に、無線ＬＡＮＩ／Ｆ２０５を介して送信し、処理をステップＳ２０６に進める。ステップＳ２０２において取得されたエアータグ情報に含まれる装置識別情報によって、ＭＦＰ１００を特定する。 ステップＳ２０６においては、部分情報要求を送信したＭＦＰ１００を遠隔制御中であるか否かを判断する。ＭＦＰ１００を遠隔制御中ならば処理をステップＳ２０７に進めるが、そうでなければ処理をステップＳ２０８に進める。上述したように、ＭＦＰ１００は、携帯情報装置４００から部分情報要求を受信すると、代替画面を返信するので、無線ＬＡＮＩ／Ｆ４０８がＭＦＰ１００から代替画面を受信する。

ステップＳ２０７においては、表示部４０６に表示する画像を、遠隔操作のための画面に切り換え、処理をステップＳ２１０に進める。携帯情報装置４００がＭＦＰ１００を遠隔制御している場合には、ＭＦＰ１００を遠隔制御するプロセスが、無線ＬＡＮＩ／Ｆ４０８がＭＦＰ１００から受信する代替画面を表示部４０６に表示するからである。

ステップＳ２０８においては、無線ＬＡＮＩ／Ｆ４０８を制御して、ＭＦＰ１００が送信する代替画面を受信する。次のステップＳ２０９においては、受信された代替画面を表示部４０６に表示し、処理をステップＳ２１０に進める。

ステップＳ２１０においては、電源がＯＦＦに切り換えられたか否かを判断する。電源がＯＦＦに切り換えられたならば処理を終了するが、そうでなければ処理をステップＳ２０１に戻す。

第２の実施の形態におけるＭＦＰ１００は、情報提供装置として機能し、ＭＦＰ１００の少なくとも一部に対して関連付けられた関連情報と、ＭＦＰ１００の位置を示す位置情報と、ＭＦＰ１００を識別するための装置識別情報とを関連付けたエアータグ情報をエアータグサーバー６００に登録し、関連情報と、当該関連情報と関連付けられたＭＦＰ１００の少なくとも一部を示す関連画像と、を関連付けた部分情報を登録する。一方、携帯情報装置４００は、ＭＦＰ１００をカメラ４０２の被写体とする場合、カメラ４０２が故障している場合には、携帯情報装置４００が関連情報の送信要求をＭＦＰ１００に送信する。ＭＦＰ１００は、関連情報の送信要求を携帯情報装置４００から受信することに応じて、関連情報と関連画像との組を携帯情報装置４００に送信する。このため、携帯情報装置４００が関連情報と関連画像とを表示すれば、携帯情報装置４００を携帯するユーザーに、関連情報を通知することができるとともに、その関連情報がＭＦＰ１００のどの部分に関連する情報であるかを通知することができる。

また、ＭＦＰ１００は、関連情報に関連付けられた装置の部分を少なくとも含む複数の関連画像と関連情報を関連付けた部分情報を登録し、携帯情報装置４００の表示能力に基づいて、関連情報に関連付けられた複数の関連画像のうちから１つの関連画像を選択する。このため、携帯情報装置４００の表示能力に対応する関連画像を送信するので、携帯情報装置４００で適切なサイズで関連画像を表示することができる。

また、ＭＦＰ１００は、携帯情報装置４００によって遠隔制御されている間は、関連情報と関連画像とを含む代替画面を操作画面とするので、代替画面が携帯情報装置４００で表示される。このため、携帯情報装置４００を携帯するユーザーは、カメラ４０２が故障した場合に、携帯情報装置４００でＭＦＰ１００を遠隔制御すれば、携帯情報装置４００に表示される代替画面を見ることができる。

なお、上述した実施の形態においては、情報提供装置の一例としてＭＦＰ１００を例に説明したが、図１６または図２９に示した表示制御処理をＭＦＰ１００に実行させる情報提供方法、またはその情報提供方法をＭＦＰ１００が備えるＣＰＵ１１１に実行させる情報提供プログラムとして、発明を特定することができるのは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 会議システム、２ ネットワーク、３ 無線局、１００ ＭＦＰ、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＨＤＤ、１１６ ファクシミリ部、１１７ 外部記憶装置、１１８ ＣＤ−ＲＯＭ、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１５５ 後処理部、１６０ 操作パネル、１６１ 表示部、１６３ 操作部、２００ 携帯情報装置、２０１ ＣＰＵ、２０２ カメラ、２０３ フラッシュメモリー、２０４ 表示部、２０５ 無線ＬＡＮＩ／Ｆ、４０１ ＣＰＵ、４０２ カメラ、４０３ フラッシュメモリー、４０４ 無線通信部、４０５ 通話部、４０６ 表示部、４０７ 操作部、４０９ 位置検出部、４１０ 方位検出部、４１１ 外部記憶装置、５００ プロジェクター、６００ エアータグサーバー、６０１ ＣＰＵ、６０２ ＲＯＭ、６０３ ＲＡＭ、６０４ ＨＤＤ、６０５ 通信部、６０６ 表示部、６０７ 操作部、５１ 発表用データ取得部、５１Ａ エアータグ登録部、５３ 登録部、５３ 部分情報登録部、５３Ａ 部分情報登録部、５５ 関連付部、５７ 画像表示制御部、５９ 関連情報送信部、５９Ａ 部分情報要求受信部、６１ 状態監視部、６１Ａ 部分情報送信部、６３ 代替情報出力部、６５ 表示制御部、６７ 遠隔制御部、７１ ページ単位選択部、７１Ａ 関連画像選択部、７３，７３Ａ 代替画面生成部、７５，７５Ａ 送信制御部、７７，７７Ａ 代替画面表示制御部、７９ 関連情報画像形成部、８１ 遠隔操作画面送信部、８３ 遠隔操作受信部、２５１ 撮像制御部、２５３ タグ抽出部、２５５ 関連情報取得部、２５７ 関連情報表示部、２５９ 代替表示指示送信部、４００ 携帯情報装置、４５１ 代替情報受信部、４５３ 代替情報表示部、４６１ 撮像制御部、４６３ エアータグ情報取得部、４６５ エアータグ情報表示部、４６７ 部分情報取得部、４６９ 部分情報表示部、４７１ 遠隔操作部。

Claims (13)

1. ＡＲタグと関連情報とを関連付けて登録する登録手段と、
   ＡＲタグを含む発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像として前記ＡＲタグと関連付ける関連付手段と、
   前記発表用データの画像を表示装置に表示させる画像表示制御手段と、
   前記表示装置により表示された発表用データの画像を撮像可能な第１の外部装置からＡＲタグを受信することに応じて、前記受信されたＡＲタグと前記登録手段により関連付けられた関連情報を前記第１の外部装置に表示させるために、前記受信されたＡＲタグと、当該ＡＲタグと前記登録手段により関連付けられた関連情報との組を前記第１の外部装置に送信する関連情報送信手段と、
   前記第１の外部装置が故障することに応じて、前記発表用データに含まれるＡＲタグに前記登録手段により関連付けられた関連情報と当該ＡＲタグに前記関連付手段により関連付けられた関連画像との組を出力する代替情報出力手段と、を備えた情報提供装置。
2. 前記代替情報出力手段は、前記発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組を、前記第１の外部装置に対して関連付けられた第２の外部装置で表示させるために、前記発表用データに含まれるＡＲタグにそれぞれ関連付けられた関連情報と関連画像との組を前記第２の外部装置に送信する送信制御手段を含む、請求項１に記載の情報提供装置。
3. 前記送信制御手段は、前記発表用データが複数のＡＲタグを含む場合、前記複数のＡＲタグごとに、当該ＡＲタグと関連付けられた関連情報と関連画像との組を、前記第２の外部装置に送信し、
   前記第２の外部装置は、前記情報提供装置から受信される複数の組それぞれを他の組と区別して、当該組に含まれる関連情報と関連画像とを表示する関連情報表示手段を、備える、請求項２に記載の情報提供装置。
4. 画像を表示する表示手段と、
   操作画面を前記表示手段に表示する表示制御手段と、
   第２の外部装置によって遠隔制御される遠隔制御手段と、をさらに備え、
   前記遠隔制御手段は、前記第２の外部装置によって遠隔制御されている間は、前記表示手段に表示されている操作画面を前記第２の外部装置に遠隔操作のための遠隔操作画面として送信する遠隔操作画面送信手段を、含み、
   前記代替情報出力手段は、前記ＡＲタグと関連付けられた関連情報と関連画像とを含む代替画面を生成する代替画面生成手段と、
   前記遠隔制御手段が前記第２の外部装置によって遠隔制御されている間は、前記生成された代替画面を操作画面として前記表示手段に表示させる代替画面表示制御手段と、を含む、請求項１に記載の情報提供装置。
5. 前記発表用データは、複数ページを含み、
   前記代替情報出力手段は、前記発表用データに含まれる複数ページのうち、前記画像表示制御手段により前記表示装置に表示させているページに含まれるＡＲタグと関連付けられた関連情報と関連画像との組を、前記画像表示制御手段により前記表示装置に表示させているページが変更されるごとに出力するために、変更後のページに含まれるＡＲタグを選択するページ単位選択手段を含む、請求項１〜４のいずれかに記載の情報提供装置。
6. 前記代替情報出力手段は、前記発表用データに含まれるＡＲタグに前記登録手段により関連付けられた関連情報と当該ＡＲタグに前記関連付手段により関連付けられた関連画像とを画像形成する関連情報画像形成手段を、さらに含む請求項１〜５のいずれかに記載の情報提供装置。
7. 装置の少なくとも一部に対して関連付けられた関連情報と、装置の位置を示す位置情報と、装置を識別するための装置識別情報とを関連付けたエアータグ情報をエアータグサーバーに登録するエアータグ登録手段と、
   前記関連情報と、当該関連情報と関連付けられた装置の少なくとも一部を示す関連画像と、を関連付けた部分情報を登録する部分情報登録手段と、
   前記エアータグサーバーにアクセスして前記エアータグ情報を取得した外部装置から関連情報の送信要求を受信することに応じて、前記関連情報と当該関連情報と関連付けられた前記関連画像との組を前記外部装置に送信する部分情報送信手段と、を備えた情報提供装置。
8. 前記部分情報登録手段は、前記エアータグ登録手段により登録されたエアータグ情報に含まれる関連情報を、前記関連情報に関連付けられた装置の複数の部分をそれぞれ示す複数の関連画像と関連付けた部分情報を登録し、
   前記部分情報送信手段は、前記外部装置の表示能力に基づいて、前記関連情報に関連付けられた複数の関連画像のうちから１つの関連画像を選択する関連画像選択手段を、含む、請求項７に記載の情報提供装置。
9. 画像を表示する表示手段と、
   操作画面を前記表示手段に表示する表示制御手段と、
   前記外部装置によって遠隔制御される遠隔制御手段と、をさらに備え、
   前記遠隔制御手段は、前記外部装置によって遠隔制御されている間は、前記表示手段に表示されている操作画面を前記外部装置に遠隔操作のための遠隔操作画面として送信する遠隔操作画面送信手段を、含み、
   前記部分情報送信手段は、前記関連情報と前記関連画像とを含む代替画面を生成する代替画面生成手段と、
   前記外部装置から部分情報の送信要求を受信することに応じて、前記生成された代替画面を操作画面として前記表示手段に表示させる代替画面表示制御手段と、を含む、請求項７または８に記載の情報提供装置。
10. ＡＲタグと関連情報とを関連付けて登録する登録ステップと、
    ＡＲタグを含む発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像として前記ＡＲタグと関連付ける関連付ステップと、
    前記発表用データの画像を表示装置に表示させる画像表示制御ステップと、
    前記表示装置により表示された発表用データの画像を撮像可能な第１の外部装置からＡＲタグを受信することに応じて、前記受信されたＡＲタグと前記登録ステップにおいて関連付けられた関連情報を前記第１の外部装置に表示させるために、前記受信されたＡＲタグと、当該ＡＲタグと前記登録ステップにおいて関連付けられた関連情報との組を前記第１の外部装置に送信する関連情報送信ステップと、
    前記第１の外部装置が故障することに応じて、前記発表用データに含まれるＡＲタグに前記登録ステップにおいて関連付けられた関連情報と当該ＡＲタグに前記関連付ステップにおいて関連付けられた関連画像との組を出力する代替情報出力ステップと、を情報提供装置に実行させる情報提供方法。
11. 装置の少なくとも一部に対して関連付けられた関連情報と、装置の位置を示す位置情報と、装置を識別するための装置識別情報とを関連付けたエアータグ情報をエアータグサーバーに登録するエアータグ登録ステップと、
    前記関連情報と、当該関連情報と関連付けられ、装置の少なくとも一部を示す関連画像と、を関連付けた部分情報を登録する部分情報登録ステップと、
    前記エアータグサーバーにアクセスして前記エアータグ情報を取得した外部装置から関連情報の送信要求を受信することに応じて、前記関連情報と当該関連情報と関連付けられた前記関連画像との組を前記外部装置に送信する部分情報送信手段と、を情報提供装置に実行させる情報提供方法。
12. ＡＲタグと関連情報とを関連付けて登録する登録ステップと、
    ＡＲタグを含む発表用データ中でＡＲタグが配置される位置の近傍に配置された領域の画像を関連画像として前記ＡＲタグと関連付ける関連付ステップと、
    前記発表用データの画像を表示装置に表示させる画像表示制御ステップと、
    前記表示装置により表示された発表用データの画像を撮像可能な第１の外部装置からＡＲタグを受信することに応じて、前記受信されたＡＲタグと前記登録ステップにおいて関連付けられた関連情報を前記第１の外部装置に表示させるために、前記受信されたＡＲタグと、当該ＡＲタグと前記登録ステップにおいて関連付けられた関連情報との組を前記第１の外部装置に送信する関連情報送信ステップと、
    前記第１の外部装置が故障することに応じて、前記発表用データに含まれるＡＲタグに前記登録ステップにおいて関連付けられた関連情報と当該ＡＲタグに前記関連付ステップにおいて関連付けられた関連画像との組を出力する代替情報出力ステップと、をコンピューターに実行させる情報提供プログラム。
13. 装置の少なくとも一部に対して関連付けられた関連情報と、装置の位置を示す位置情報と、装置を識別するための装置識別情報とを関連付けたエアータグ情報をエアータグサーバーに登録するエアータグ登録ステップと、
    前記関連情報と、当該関連情報と関連付けられ、装置の少なくとも一部を示す関連画像と、を関連付けた部分情報を登録する部分情報登録ステップと、
    前記エアータグサーバーにアクセスして前記エアータグ情報を取得した外部装置から関連情報の送信要求を受信することに応じて、前記関連情報と当該関連情報と関連付けられた前記関連画像との組を前記外部装置に送信する部分情報送信手段と、をコンピューターに実行させる情報提供プログラム。

Images