JP6155889B2 - システムの制御方法、携帯情報端末の制御方法、携帯情報端末 - Google Patents

Description

本技術は、システムの制御方法、携帯情報端末の制御方法、携帯情報端末に関する。

近年、例えば携帯情報端末に搭載されたカメラにより撮影されたマーカ（物体）に、文字列や絵柄などの視覚情報を重畳表示させる、いわゆる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が開発されている。拡張現実技術では、視覚情報をマーカに紐付けるＡＲテーブルを事前に準備しておき、カメラ画像からマーカが検出されたときに、マーカに紐付けられた視覚情報をＡＲテーブルから特定して、カメラ画像に包含されるマーカに視覚情報を重畳表示する。このため、携帯情報端末のユーザは、カメラでマーカを撮影するだけで、いつでもマーカに紐付けられた視覚情報を確認することが出来る。例えば、ホワイトボードにマーカを貼り付け、該マーカに会議資料を紐付けておけば、ホワイトボードに会議資料を表示させることができる。

特開２０１０−１９８１０４ 特開２０１１−１７０６８２

ところで、従来技術にかかる仮想現実技術では、事前に準備されたＡＲテーブルを使用して、マーカに紐付けられた視覚情報を特定する。このため、マーカに重畳表示させる視覚情報は、事前に準備されたものを表示していた。

開示の技術によれば、自由度のある視覚情報の提供を実現できるシステムの制御方法、携帯情報端末の制御方法、携帯情報端末を提供する。

開示の技術の一観点によれば、物体に視覚情報を紐付けるテーブルに基づき、入力画像から検出される物体に視覚情報を対応付けて表示するシステムの制御方法に於いて、前記物体の属性情報と前記視覚情報の属性情報を比較し、前記属性情報が一致した前記物体に前記視覚情報を紐付けし、前記紐付けされた前記物体と前記視覚情報を前記テーブルに格納し、前記視覚情報の指定を受け付け、前記物体に紐付けられていない視覚情報の指定を受け付けた場合、前記指定を受け付けた前記視覚情報の属性情報を、前記紐付けられた物体の属性情報に変更し、前記テーブルの前記物体に紐付けられている視覚情報を、前記指定を受け付けた視覚情報に変更することで、前記物体に対応付けて表示する視覚情報を切り替える、システムの制御方法が提供される。

本開示の技術の一観点によれば、自由度のある視覚情報の提供を実現できる。

一実施形態にかかるアプリプッシュシステムの概略図である。 一実施形態にかかる携帯情報端末のハードウェア構成の概略図である。 一実施形態にかかる携帯情報端末の機能ブロックの概略図である。 一実施形態にかかるアプリ情報テーブルの模式図である。 一実施形態にかかるマーカ情報テーブルの模式図である。 一実施形態にかかる対応情報テーブルの模式図である。 一実施形態にかかる表示位置情報テーブルの模式図である。 一実施形態にかかる選択項目情報テーブルの模式図である。 一実施形態にかかるアプリサーバのハードウェア構成の概略図である。 一実施形態にかかるアプリサーバの機能ブロックの概略図である。 一実施形態にかかる送信先情報テーブルの模式図である。 一実施形態にかかるアプリ情報テーブルの模式図である。 一実施形態にかかる携帯情報端末のマーカ情報更新処理のフローチャートである。 一実施形態にかかる携帯情報端末のアプリ表示位置算出処理のフローチャートである。 一実施形態にかかる携帯情報端末のアプリ情報取得／削除処理のフローチャートである。 一実施形態にかかる携帯情報端末の対応情報テーブル更新処理のフローチャートである。 一実施形態にかかる携帯情報端末のアプリ表示処理のフローチャートである。 一実施形態にかかるカメラ画像の具体例の概略図である。 一実施形態にかかるシステムの表示アプリの変更処理のフローチャートである。

図１−図１９を参照して、一実施形態を説明する。

本実施形態では、ユーザによる視覚情報の指定に基づき、ＡＲテーブル（対応情報テーブル）に記録されたマーカ及び視覚情報（表示位置及びアプリ）の対応関係を書き換えることで、マーカに重畳表示（対応表示）させる視覚情報を切り替える。例えば、ホワイトボードのマーカに紐付けられた会議資料を他の会議資料に書き換えることで、マーカに重畳表示させる会議資料、即ちホワイトボードに表示させる会議資料を他の会議資料に切り替える。

（アプリプッシュシステムの概略図）
図１は、一実施形態にかかるアプリプッシュシステムの概略図である。

図１に示すように、本実施形態にかかるアプリプッシュシステムは、携帯情報端末１００、アプリサーバ２００、マーカ情報サーバ３００を含む。携帯情報端末１００、アプリサーバ２００、マーカ情報サーバ３００は、例えば無線もしくは有線のネットワーク４００により相互接続されている。アプリプッシュシステムでは、アプリサーバ２００から携帯情報端末１００にアプリが自動ダウンロードされるが、ここでのアプリは、例えばデータなどを含むコンテンツの一例であって、所謂アプリケーションプログラムである必要はない。

（携帯情報端末１００のハードウェア構成）
図２は、一実施形態にかかる携帯情報端末１００のハードウェア構成の概略図である。

図２に示すように、本実施形態にかかる携帯情報端末１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、メインメモリ１０２、補助メモリ１０３、クロック供給回路１０４、電圧供給回路１０５、ディスプレイ１０６、タッチスクリーン１０７、ネットワークＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１０８、カメラ１０９、ＧＰＳモジュール１１０、をハードウェアモジュールとして備える。これらのハードウェアモジュールは、例えばバス１１１により相互接続されている。

ＣＰＵ１０１は、クロック供給回路１０４から供給されるクロック信号及び電圧供給回路１０５から供給される電圧により動作して、携帯情報端末１００の各種ハードウェアモジュールを制御する。さらに、ＣＰＵ１０１は、補助メモリ１０３に格納された各種プログラムを読み出して、メインメモリ１０２にロードするとともに、該メインメモリ１０２にロードされた各種プログラムを実行することで、各種機能を実現する。各種機能の詳細は、後述することとする。

メインメモリ１０２は、ＣＰＵ１０１により実行される各種プログラムを格納する。さらに、メインメモリ１０２は、ＣＰＵ１０１のワークエリアとして使用され、ＣＰＵ１０１による処理に必要な各種データを記憶する。メインメモリ１０２としては、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを使用しても良い。

補助メモリ１０３は、携帯情報端末１００を動作させる各種プログラムを格納している。各種プログラムとしては、例えば、携帯情報端末１００が実行するアプリケーションプログラムやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などがある。本実施形態にかかるＡＲアプリ（制御プログラム）も補助メモリ１０３に格納されている。補助メモリ１０３としては、例えば、ハードディスクやフラッシュメモリ等の不揮発メモリを使用しても良い。

ディスプレイ１０６は、ＣＰＵ１０１により制御され、ユーザに画像情報を表示する。タッチスクリーン１０７は、ディスプレイ１０６に貼り付けられ、例えばユーザの指先やペン先の接触位置の位置情報を入力する。

ネットワークＩ／Ｆ１０８は、例えばアプリサーバ２００からのプッシュメッセージやアプリ（アプリファイル及びアプリ情報）の受信インターフェース、もしくは、マーカ情報サーバ３００からのマーカ情報の受信インターフェースとして機能する。

カメラ１０９は、例えば会議室内の風景などの画像情報を取得する。ＧＰＳモジュール１１０は、複数の人工衛星からのＧＰＳ信号に基づき、携帯情報端末１００の位置情報（経度緯度など）を取得する。なお、本実施形態では、ＧＰＳ信号に基づき、携帯情報端末１００の位置情報を取得しているが、例えば３Ｇ（Ｇｅｎｅｒａｔｉｏｎ）の基地局からのセルＩＤ、Ｗｉ−Ｆｉ（登録商標）のアクセスポイントからのＭＡＣアドレスなどに基づき、携帯情報端末１００の位置情報を取得しても良い。

（携帯情報端末１００の機能ブロック）
図３は、一実施形態にかかる携帯情報端末１００の機能ブロックの概略図である。

図３に示すように、本実施形態にかかる携帯情報端末１００は、アプリ情報受信部１２１、アプリ情報管理部１２２、カメラ画像取得部１２３、背景表示部１２４、マーカ情報取得部１２５、マーカ情報更新部１２６、画像認識／位置取得部１２７、対応情報更新部１２８、表示位置情報更新部１２９、対応情報／表示位置取得部１３０、アプリ取得部１３１、アプリ表示部１３２、変更指示送信部１３３、アプリ情報格納部１３４、マーカ情報格納部１３５、対応情報格納部１３６、表示位置情報格納部１３７、を機能ブロックとして備える。

これらの機能ブロックは、何れもＣＰＵ１０１が、メインメモリ１０２にＡＲアプリ（制御プログラム）を読み込むとともに、該メインメモリ１０２に読み込んだＡＲアプリを実行することで実現される。

さらに、本実施形態にかかる携帯情報端末１００は、位置情報取得部１３８、アプリ特定部１３９、アプリ変更指示部１４０、選択項目情報格納部１４１、を機能ブロックとして備える。

これらの機能ブロックは、何れもＣＰＵ１０１が、メインメモリ１０２に補助アプリ（制御プログラム）を読み込むとともに、該メインメモリ１０２に読み込んだ補助アプリを実行することで実現される。なお、補助アプリは、後述するアジェンダアプリに組み込んでも良い。

アプリ情報受信部１２１は、アプリサーバ２００からアプリのインストール指示やアンインストール指示を受信する。アプリ情報受信部１２１は、アプリサーバ２００からのインストール指示に基づき、送信元のアプリサーバ２００にアプリの送信要求を通知して、アプリサーバ２００からアプリを受信する。アプリは、アプリファイル及びアプリ情報を含む。アプリファイルは、アプリの機能を実現するプログラムを含む。アプリ情報は、アプリＩＤ、キーワード、を含む。アプリＩＤは、アプリを識別する識別情報である。キーワードは、アプリに関連する文字列である。キーワードとしては、例えばアプリの名称（アプリ名）、作成者名、種別、用途、作成日時、作成場所、使用場所、使用日時、使用時期、などを使用しても良い。

さらに、本実施形態にかかるアプリ情報受信部１２１は、アプリサーバ２００により変更されたアプリ情報をアプリサーバ２００から受信する。

アプリ情報管理部１２２は、アプリサーバ２００からのアプリファイル及びアプリ情報を、アプリ情報格納部１３４に格納されたアプリ情報テーブルＴ１に記憶する。アプリ情報管理部１２２は、アプリサーバ２００からのアンインストール指示に基づき、指定されるアプリファイル及びアプリ情報を、アプリ情報テーブルＴ１から削除する。又、アプリ情報管理部１２２は、アプリのキーワード、即ちアプリ情報に含まれるキーワードを、アプリ情報テーブルＴ１から取得する。

さらに、本実施形態にかかるアプリ情報管理部１２２は、アプリサーバ２００により変更されたアプリ情報を使用して、アプリ情報テーブルＴ１に記録されたアプリ情報を更新（変更）する。

カメラ画像取得部１２３は、カメラ１０９により撮影された画像、即ちカメラ画像を取得する。

背景表示部１２４は、カメラ画像取得部１２３により撮影されたカメラ画像を、背景画像として、ディスプレイ１０６に表示する。

マーカ情報取得部１２５は、マーカ情報サーバ３００からマーカ情報を取得する。マーカ情報は、マーカＩＤ、画像データ、キーワードを含む。マーカＩＤは、マーカを識別する識別情報である。なお、マーカは、特に限定されるものではないが、例えばホワイトボードなどの対象物（物体）に貼り付けられ、対象物の指定もしくは対象物の部分の指定に使用される。共通のマーカを複数の対象物に貼り付けても良い。共通ではない複数のマーカを１つの対象物に貼り付けても良い。マーカとしては、例えばバーコードやＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コードなどを使用しても良い。マーカＩＤは、マーカを識別する識別情報である。画像データは、マーカの画像データである。キーワードは、マーカに対応表示させるアプリに関連する文字列である。キーワードとしては、例えばマーカに対応表示させるアプリの名称（アプリ名）、表示時期、などを使用しても良い。

マーカ情報更新部１２６は、マーカ情報取得部１２５により取得されたマーカ情報に基づき、マーカ情報格納部１３５に格納されているマーカ情報テーブルＴ２を更新する。

画像認識／位置取得部１２７は、マーカ情報格納部１３５に格納されているマーカ情報テーブルＴ２からマーカの画像データを取得して、マーカが、背景表示部１２４により表示された背景画像に含まれているかどうかを判断する。マーカが背景画像に含まれている場合、画像認識／位置取得部１２７は、マーカの画像データに基づき、ディスプレイ１０６を基準とするマーカの位置を算出する。又、画像認識／位置取得部１２７は、マーカのキーワード、即ちマーカ情報に含まれるキーワードを、マーカ情報テーブルＴ２から取得する。

対応情報更新部１２８は、画像認識／位置取得部１２７により取得されたマーカのキーワードと、アプリ情報管理部１２２により取得されたアプリのキーワードと、に基づき、マーカ及びアプリを対応付ける。

表示位置情報更新部１２９は、画像認識／位置取得部１２７により取得されたマーカの位置に基づき、アプリの表示位置を算出する。表示位置は、アプリの表示範囲である。さらに、表示位置情報更新部１２９は、アプリの表示位置に基づき、表示位置情報格納部１３７に格納されている表示位置情報テーブルＴ４を更新する。

対応情報／表示位置取得部１３０は、対応情報格納部１３６に格納された対応情報テーブルＴ３からマーカ及びアプリの対応関係を取得する。さらに、対応情報／表示位置取得部１３０は、表示位置情報格納部１３７に格納された表示位置情報テーブルＴ４からアプリの表示位置を取得する。

アプリ取得部１３１は、対応情報／表示位置取得部１３０により取得された対応関係に基づき、それぞれの表示位置に紐付けられたアプリを特定して、アプリ情報格納部１３４からアプリファイルを取得する。

アプリ表示部１３２は、アプリ取得部１３１により取得されたアプリの実行画面を、対応情報／表示位置取得部１３０により取得された表示位置に表示する。なお、表示位置は、マーカ毎に設定される為、アプリの実行画面を表示位置に表示することは、アプリをマーカに対応表示することに相当する。

変更指示送信部１３３は、アプリ変更指示部１４０から通知されたアプリの変更指示に基づき、アプリサーバ２００にアプリ情報の変更指示を送信する。アプリ情報の変更指示は、携帯情報端末１００のユーザにより指定されたアプリ、即ち指定アプリのアプリＩＤ及び指定アプリのアプリ情報に追加するキーワードを含む。

位置情報取得部１３８は、タッチスクリーン１０７の検出結果に基づき、携帯情報端末１００のユーザによる接触位置の位置情報を取得する。

アプリ特定部１３９は、位置情報取得部１３８により取得された位置情報に基づき、携帯情報端末１００に保存された複数のアプリのうち、携帯情報端末１００のユーザが指定するアプリ、即ち指定アプリを特定する。

アプリ変更指示部１４０は、表示中のアプリ、即ち表示アプリの変更指示を変更指示送信部１３３に通知する。アプリの変更指示は、携帯情報端末１００のユーザにより指定されたアプリ、即ち指定アプリのアプリＩＤを含む。

アプリ情報格納部１３４は、アプリ情報テーブルＴ１を格納する。

マーカ情報格納部１３５は、マーカ情報テーブルＴ２を格納する。

対応情報格納部１３６は、対応情報テーブルＴ３を格納する。

表示位置情報格納部１３７は、表示位置情報テーブルＴ４を格納する。

選択項目情報格納部１４１は、選択項目情報テーブルＴ５を格納する。

アプリ情報テーブルＴ１、マーカ情報テーブルＴ２、対応情報テーブルＴ３、表示位置情報テーブルＴ４、選択項目情報テーブルＴ５の詳細は、何れも後述することとする。

（アプリ情報テーブルＴ１）
図４は、一実施形態にかかるアプリ情報テーブルＴ１の模式図である。

図４に示すように、アプリ情報テーブルＴ１は、それぞれのアプリＩＤにより識別されるアプリに、アプリ名、アプリファイル、キーワードを紐付ける。アプリ名は、アプリの名前である。アプリファイルは、アプリの機能を実現するプログラムを含む。キーワードは、アプリに関連する文字列である。キーワードとしては、例えばアプリの名称（アプリ名）、作成者名、種別、用途、作成日時、作成場所、使用場所、使用日時、使用時期、などを使用しても良い。

例えばテーブル１行目に記載の具体例では、アプリＩＤ「ｖｖｖｖ」により識別されるアプリに、アプリ名として「ｇｉｊｉｒｏｋｕ」、アプリファイルとして「ｖｖｖｖ．ｈｔｍｌ」、キーワードとして「ｎｏｗ」が紐付けられている。テーブル２行目に記載の具体例では、アプリＩＤ「ｗｗｗｗ」により識別されるアプリに、アプリ名として「ｇｉｄａｉ １」、アプリファイルとして「ｗｗｗｗ．ｈｔｍｌ」、キーワードとして「ｇｉｄａｉ１」が紐付けられている。

（マーカ情報テーブルＴ２）
図５は、一実施形態にかかるマーカ情報テーブルＴ２の模式図である。

図５に示すように、マーカ情報テーブルＴ２は、それぞれのマーカＩＤにより識別されるマーカに、画像データ、キーワードを紐付ける。画像データは、マーカの画像データである。キーワードは、マーカに対応表示させるアプリに関連する文字列である。キーワードとしては、例えばマーカに対応表示させるアプリの名称（アプリ名）、表示時期、などを使用しても良い。

例えばテーブル１行目に記載の具体例では、マーカＩＤ「ａａａａ」により識別されるマーカに、画像データとして「ｘｘｘ．ｐｎｇ」、キーワードとして「ａｇｅｎｄａ」が紐付けられている。テーブル２行目に記載の具体例では、マーカＩＤ「ｂｂｂｂ」により識別されるマーカに、画像データとして「ｙｙｙ．ｐｎｇ」、キーワードとして「ｎｏｗ」が紐付けられている。

（対応情報テーブルＴ３）
図６は、一実施形態にかかる対応情報テーブルＴ３の模式図である。

図６に示すように、対応情報テーブルは、それぞれの表示位置ＩＤにより識別される表示位置に、アプリＩＤにより識別されるアプリを紐付ける。表示位置は、マーカそれぞれに設定される。

例えばテーブル１行目に記載の具体例では、表示位置ＩＤ「１２３」により識別される表示位置に、アプリＩＤ「ｚｚｚｚ」により識別されるアプリが紐付けられている。テーブル２行目に記載の具体例では、表示位置ＩＤ「１２４」により識別される表示位置に、アプリＩＤ「ｖｖｖｖ」により識別されるアプリが紐付けられている。

（表示位置情報テーブルＴ４）
図７は、一実施形態にかかる表示位置情報テーブルＴ４の模式図である。

図７に示すように、表示位置情報テーブルＴ４は、それぞれの表示位置ＩＤにより識別される表示位置に、表示範囲、キーワードを紐付ける。表示範囲は、アプリの表示範囲である。本実施形態では、表示範囲として、基準位置を規定する座標成分「ｘ」及び「ｙ」と、表示範囲のサイズを規定する幅「ｗ」及び高さ「ｈ」と、を使用する。ここでのキーワードは、マーカＩＤに紐付けられたキーワード、即ちマーカのキーワードである。即ち、表示位置情報テーブルＴ４は、マーカのキーワードを表示位置ＩＤに紐付けて記憶している。

例えばテーブル１行目に記載の具体例では、表示位置ＩＤ「１２３」により識別される表示位置に、表示範囲（ｘ、ｙ、ｗ、ｈ）として（１５、２４、８０、８０）、キーワードとして「ａｇｅｎｄａ」が紐付けられている。テーブル２行目に記載の具体例では、表示位置ＩＤ「１２４」により識別される表示位置に、表示範囲（ｘ、ｙ、ｗ、ｈ）として（２０８、３４０、９０、８０）、キーワードとして「ｎｏｗ」が紐付けられている。

（選択項目情報テーブルＴ５）
図８は、一実施形態にかかる選択項目情報テーブルＴ５の模式図である。

図８に示すように、選択項目情報テーブルＴ５は、それぞれの選択項目ＩＤにより識別される選択項目に、表示範囲、アプリＩＤを紐付ける。表示範囲は、後述するアジェンダアプリの実行画面に表記される選択項目の表示範囲である。本実施形態では、表示範囲として、基準位置を規定する座標成分「ｘ」及び「ｙ」と、表示範囲のサイズを規定する幅「ｗ」及び高さ「ｈ」と、を使用する。

例えばテーブル１行目に記載の具体例では、選択項目ＩＤ「００１」により識別される選択項目に、表示範囲（ｘ、ｙ、ｗ、ｈ）として（１５、１０、８０、３０）、アプリＩＤとして「ｖｖｖｖ」が紐付けられている。テーブル２行目に記載の具体例では、選択項目ＩＤ「００２」により識別される選択項目に、表示範囲（ｘ、ｙ、ｗ、ｈ）として（１５、２５、８０、３０）、アプリＩＤとして「ｗｗｗｗ」が紐付けられている。

（アプリサーバ２００のハードウェア構成）
図９は、一実施形態にかかるアプリサーバ２００のハードウェア構成の概略図である。

図９に示すように、本実施形態にかかるアプリサーバ２００は、ＣＰＵ２０１、メインメモリ２０２、補助メモリ２０３、クロック供給回路２０４、電圧供給回路２０５、ディスプレイ２０６、タッチスクリーン２０７、ネットワークＩ／Ｆ２０８、をハードウェアモジュールとして備える。これらのハードウェアモジュールは、例えばバス２０９により相互接続されている。

これらのハードウェアモジュールは、それぞれ携帯情報端末１００のＣＰＵ１０１、メインメモリ１０２、補助メモリ１０３、クロック供給回路１０４、電圧供給回路１０５、ディスプレイ１０６、タッチスクリーン１０７、ネットワークＩ／Ｆ１０８に相当する為、説明を省略することとする。

（アプリサーバ２００の機能ブロック）
図１０は、一実施形態にかかるアプリサーバ２００の機能ブロックの概略図である。

図１０に示すように、本実施形態にかかるアプリサーバ２００は、アプリ情報送信部２２１、変更指示受信部２２２、アプリ情報変更部２２３、アプリ情報格納部２２４、送信先情報格納部２２５、を機能ブロックとして備える。

これらの機能ブロックは、何れもＣＰＵ２０１が、メインメモリ２０２に制御プログラムを読み込むとともに、該メインメモリ２０２に読み込んだ制御プログラムを実行することで実現される。

アプリ情報送信部２２１は、例えば携帯情報端末１００のコンテキストなどに基づき、携帯情報端末１００にアプリのインストール指示やアンインストール指示を送信する。アプリ情報送信部２２１は、携帯情報端末１００からのアプリの送信要求に基づき、アプリ情報格納部２２４に格納されたアプリを、即ちアプリファイル及びアプリ情報を携帯情報端末１００に送信する。さらに、アプリ情報変更部２２３によりアプリ情報が変更された場合、アプリ情報送信部２２１は、アプリ情報変更部２２３により変更されたアプリ情報を携帯情報端末１００に送信する。このとき、アプリ情報送信部２２１は、アプリ情報すべてを携帯情報端末１００に送信するのではなく、アプリ情報のうち、変更された情報だけを選択的に携帯情報端末１００に送信しても良い。

変更指示受信部２２２は、携帯情報端末１００からのアプリ情報の変更指示を受信する。

アプリ情報変更部２２３は、変更指示受信部２２２により受信されたアプリ情報の変更指示に基づき、アプリ情報格納部２２４に格納されたアプリ情報テーブルＴ７を変更する。例えば、アプリ情報の変更指示がキーワードの変更指示であれば、アプリ情報変更部２２３は、アプリ情報テーブルＴ７に記録されたキーワードを変更する。

アプリ情報格納部２２４は、アプリ情報テーブルＴ７を格納する。

送信先情報格納部２２５は、送信先情報テーブルＴ６を格納する。

（送信先情報テーブルＴ６）
図１１は、一実施形態にかかる送信先情報テーブルＴ６の模式図である。

図１１に示すように、送信先情報テーブルＴ６は、それぞれのサービスＩＤにより識別されるサービスに、送信先アドレスを紐付ける。サービスは、本実施形態にかかるアプリプッシュシステムが提供するサービスである。サービス例としては、例えば携帯情報端末１００のコンテキストに基づき、携帯情報端末１００にアプリを自動配布するサービスである。送信先アドレスは、例えばサービスに加入する携帯情報端末のアドレスである。

例えばテーブル１行目に記載の具体例では、サービスＩＤ「ｆｆｆｆ」により識別されるサービスに、送信先アドレスとして「ｏｏｏｏ」、「ｐｐｐｐ」、「ｑｑｑｑ」、「ｒｒｒｒ」が紐付けられている。テーブル２行目に記載の具体例では、サービスＩＤ「ｇｇｇｇ」により識別されるサービスに、送信先アドレスとして「ｓｓｓｓ」、「ｔｔｔｔ」が紐付けられている。

（アプリ情報テーブルＴ７）
図１２は、一実施形態にかかるアプリ情報テーブルＴ７の模式図である。

図１２に示すように、アプリ情報テーブルＴ７は、携帯情報端末１００のアプリ情報格納部１３４に格納されたアプリ情報テーブルＴ１と同等である。このため、アプリ情報テーブルＴ７の詳細は、省略することとする。但し、アプリ情報テーブルＴ１に記録されたアプリ情報は、すべてアプリ情報テーブルＴ７に記録されているが、アプリ情報テーブルＴ７に記録されたアプリ情報は、アプリ情報テーブルＴ１に記録されていないこともある。

（マーカ情報更新処理）
図１３は、一実施形態にかかる携帯情報端末１００のマーカ情報更新処理のフローチャートである。

図１３に示すように、マーカ情報取得部１２５は、携帯情報端末１００のユーザ操作を受け付ける（ステップＳ００１）。ユーザ操作としては、例えばユーザによるＡＲアプリの起動指示やＡＲアプリへの更新指示などを想定する。

次に、マーカ情報取得部１２５は、マーカ情報サーバ３００にマーカ情報の取得要求を通知する（ステップＳ００２）。マーカ情報の取得要求に、携帯情報端末１００のユーザのコンテキスト情報、例えばユーザの位置情報やスケジュール情報などを含めても良い。

次に、マーカ情報取得部１２５は、マーカ情報サーバ３００からマーカ情報を取得したかどうかを判断する（ステップＳ００３）。

ここで、マーカ情報を取得したと判断されない場合（ステップＳ００３のＮｏ）、マーカ情報取得部１２５は、再度、マーカ情報を取得したかどうかを判断する（ステップＳ００３）。

一方、マーカ情報を取得したと判断された場合（ステップＳ００３のＹｅｓ）、マーカ情報更新部１２６は、マーカ情報サーバ３００から取得したマーカ情報を使用して、マーカ情報格納部１３５に格納されているマーカ情報テーブルＴ２を更新する（ステップＳ００４）。

なお、マーカ情報の取得要求にコンテキスト情報を含める場合、マーカ情報サーバ３００から携帯情報端末１００に、コンテキスト情報に対応するマーカ情報を提供しても良い。例えば、コンテキスト情報として「会議中」を取得した場合、マーカ情報サーバ３００は、会議室内に存在するマーカに限定して、携帯情報端末１００にマーカ情報を提供しても良い。

次に、マーカ情報取得部１２５は、再度、携帯情報端末１００のユーザ操作を受け付ける（ステップＳ００１）。

（アプリ表示位置算出処理）
図１４は、一実施形態にかかる携帯情報端末１００のアプリ表示位置算出処理のフローチャートである。

図１４に示すように、カメラ画像取得部１２３は、カメラ１０９により撮影されたカメラ画像を取得する（ステップＳ０１１）。

次に、背景表示部１２４は、カメラ画像取得部１２３により取得されたカメラ画像を、背景画像としてディスプレイ１０６に表示する（ステップＳ０１２）。

次に、画像認識／位置取得部１２７は、マーカ情報テーブルＴ２に記録されているマーカＩＤから未選択のマーカＩＤを選択する（ステップＳ０１３）。

次に、画像認識／位置取得部１２７は、選択中のマーカＩＤ、即ち処理対象のマーカＩＤに紐付けられた画像データを、マーカ情報テーブルＴ２から取得する（ステップＳ０１４）。

次に、画像認識／位置取得部１２７は、マーカ情報テーブルＴ２から取得された処理対象のマーカＩＤに紐付けられた画像データと、背景表示部１２４により表示された背景画像の画像データと、を使用して、処理対象のマーカＩＤに紐付けられた画像データが背景画像に含まれているか、即ち処理対象のマーカＩＤにより識別されるマーカが背景画像に含まれているかどうかを判断する（ステップＳ０１５）。

ここで、処理対象のマーカＩＤに紐付けられた画像データが背景画像に含まれていると判断された場合（ステップＳ０１５のＹｅｓ）、即ち処理対象のマーカＩＤにより識別されるマーカが背景画像に含まれていると判断された場合、画像認識／位置取得部１２７は、処理対象のマーカＩＤに紐付けられた画像データに基づき、背景画像を基準とする、処理対象のマーカＩＤにより識別されるマーカの位置を算出する（ステップＳ０１６）。

次に、画像認識／位置取得部１２７は、処理対象のマーカＩＤに紐付けられているキーワードを、マーカ情報テーブルＴ２から取得する（ステップＳ０１７）。

次に、画像認識／位置取得部１２７は、マーカ情報テーブルＴ２に未選択のマーカＩＤが無いかどうか判断する（ステップＳ０１８）。処理対象のマーカＩＤに紐付けられた画像データが背景画像に含まれていると判断されない場合も（ステップＳ０１５のＮｏ）、即ち処理対象のマーカＩＤにより識別されるマーカが背景画像に含まれない場合も、画像認識／位置取得部１２７は、マーカ情報テーブルＴ２に未選択のマーカＩＤが無いかどうか判断する（ステップＳ０１８）。

ここで、未選択のマーカＩＤが無いと判断された場合（ステップＳ０１８のＹｅｓ）、表示位置情報更新部１２９は、処理対象のマーカＩＤにより識別されるマーカの位置に基づき、背景画像を基準とする、アプリの実行画面の表示位置を算出する（ステップＳ０１９）。さらに、表示位置情報更新部１２９は、アプリの実行画面の表示位置に表示位置ＩＤを付与して、アプリの実行画面の表示位置を表示位置テーブルＴ４に記録する。アプリの実行画面の表示位置は、アプリの実行画面の表示範囲である。ここでは、アプリの実行画面の表示位置に表示位置ＩＤを付与しているが、本実施形態では、マーカ毎に１つの表示位置を設定する為、表示位置ＩＤの代わりにマーカＩＤを、そのまま使用しても良い。

なお、表示位置情報更新部１２９は、アプリの実行画面の表示位置を、マーカの基準位置からシフトさせても良い。アプリの実行画面の表示位置をマーカの基準位置からシフトさせれば、マーカの真上にアプリの実行画面が表示されることを避けることができる。

次に、対応情報更新部１２８は、処理を「対応情報テーブル更新処理」に遷移させる（ステップＳ０３０）。「対応情報テーブル更新処理」の詳細は、後述することとする。

なお、未選択のマーカＩＤが無いと判断されない場合（ステップＳ０１８のＮｏ）、画像認識／位置取得部１２７は、再度、マーカ情報テーブルＴ２に記録されているマーカＩＤから未選択のマーカＩＤを選択する（ステップＳ０１３）。

（アプリ情報取得／削除処理）
図１５は、一実施形態にかかるアプリ情報取得／削除処理のフローチャートである。

図１５に示すように、アプリ情報受信部１２１は、アプリサーバ２００からのプッシュメッセージを受信する（ステップＳ０２１）。

次に、アプリ情報管理部１２２は、アプリサーバ２００からのプッシュメッセージが、アプリのインストール指示であるかどうかを判断する（ステップＳ０２２）。

ここで、アプリのインストール指示であると判断された場合（ステップＳ０２２のＹｅｓ）、アプリ情報管理部１２２は、インストール指示により指定されるアプリ、即ちアプリファイル及びアプリ情報を、アプリサーバ２００から取得（ダウンロード）して、アプリ情報テーブルＴ１に記憶する（ステップＳ０２３）。具体的には、アプリ情報管理部１２２は、アプリファイルをアプリ情報テーブルＴ１の「アプリファイル」に記録するとともに、アプリ情報に含まれるキーワードをアプリ情報テーブルＴ１の「キーワード」に記録する。なお、本実施形態では、アプリファイルそのものをアプリ情報テーブルＴ１に記録しているが、本発明は、これに限定されるものではない。例えば、アプリファイルの格納先（パス）をアプリ情報テーブルＴ１の「アプリファイル」に記録しても良い。

次に、対応情報更新部１２８は、処理を「対応情報テーブル更新処理」に遷移させる（ステップＳ０３０）。「対応情報テーブル更新処理」の詳細は、後述することとする。

一方、アプリのインストール指示であると判断されない場合（ステップＳ０２２のＮｏ）、アプリ情報管理部１２２は、アプリサーバ２００からのプッシュメッセージが、アプリのアンインストール指示であるかどうかを判断する（ステップＳ０２５）。

ここで、アプリのアンインストール指示であると判断された場合（ステップＳ０２５のＹｅｓ）、アプリ情報管理部１２２は、アンインストール指示により指定されるアプリ、即ちアプリファイル及びアプリ情報を、アプリ情報テーブルＴ１から削除する（ステップＳ０２６）。

次に、対応情報更新部１２８は、「対応情報テーブル更新処理」を実施する（ステップＳ０３０）。

一方、アプリのアンインストール指示であると判断されない場合（ステップＳ０２５のＮｏ）、アプリ情報受信部１２１は、アプリサーバ２００からのプッシュメッセージの受信を継続する（ステップＳ０２１）。

（対応情報テーブル更新処理）
図１６は、一実施形態にかかる携帯情報端末１００の対応情報テーブル更新処理のフローチャートである。

図１６に示すように、対応情報更新部１２８は、表示位置情報テーブルＴ４に記録されている未選択の表示位置ＩＤから処理対象の表示位置ＩＤを取得する（ステップＳ０３１）。

次に、対応情報更新部１２８は、処理対象の表示位置ＩＤに紐付けられたキーワード、即ちマーカＩＤに紐付けられたキーワードを、表示位置情報テーブルＴ４から取得する（ステップＳ０３２）。

次に、アプリ情報管理部１２２は、アプリ情報テーブルＴ１に記録されている未選択のアプリＩＤから処理対象のアプリＩＤを取得する（ステップＳ０３３）。

次に、アプリ情報管理部１２２は、処理対象のアプリＩＤに紐付けられたキーワードを、アプリ情報テーブルＴ１から取得する（ステップＳ０３４）。

次に、対応情報更新部１２８は、処理対象の表示位置ＩＤに紐付けられたキーワード、即ちマーカＩＤに紐付けられたキーワードと、処理対象のアプリＩＤに紐付けられたキーワードと、が一致するかどうか判断する（ステップＳ０３５）。

ここで、表示位置ＩＤに紐付けられたキーワード、即ちマーカＩＤに紐付けられたキーワードと、アプリＩＤに紐付けられたキーワードと、が一致すると判断された場合（ステップＳ０３５のＹｅｓ）、対応情報更新部１２８は、対応情報テーブルＴ３を更新する（ステップＳ０３６）。具体的には、対応情報更新部１２８は、処理対象の表示位置ＩＤと、処理対象のアプリＩＤと、を対応付けて、対応情報テーブルＴ３に記録する。なお、表示位置ＩＤ及びアプリＩＤを紐付けることは、マーカＩＤ及びアプリＩＤを紐付けること、即ちマーカ及びアプリを紐付けることと等価である。

次に、対応情報更新部１２８は、未選択のアプリＩＤが無いかどうかを判断する（ステップＳ０３７）。処理対象の表示位置ＩＤに紐付けられたキーワード、即ちマーカＩＤに紐付けられたキーワードと、処理対象のアプリＩＤに紐付けられたキーワードと、が一致すると判断されない場合も（ステップＳ０３５のＮｏ）、対応情報更新部１２８は、未選択のアプリＩＤが無いかどうかを判断する（ステップＳ０３７）。

ここで、未選択のアプリＩＤが無いと判断されない場合（ステップＳ０３７のＮｏ）、アプリ情報管理部１２２は、再度、アプリ情報テーブルＴ１に記録されているアプリＩＤから未選択のアプリＩＤを選択する（ステップＳ０３３）。

一方、未選択のアプリＩＤが無いと判断された場合（ステップＳ０３７のＹｅｓ）、対応情報更新部１２８は、未選択の表示位置ＩＤが無いかどうかを判断する（ステップＳ０３８）。

ここで、未選択の表示位置ＩＤが無いと判断されない場合（ステップＳ０３８のＮｏ）、対応情報更新部１２８は、再度、表示位置情報テーブルＴ４に記録されている表示位置ＩＤから未選択の表示位置ＩＤを選択する（ステップＳ０３１）。

一方、未選択の表示位置ＩＤが無いと判断された場合（ステップＳ０３８のＹｅｓ）、対応情報更新部１２８は、処理を「アプリ表示処理」に遷移させる（ステップＳ０３９）。

（アプリ表示処理）
図１７は、一実施形態にかかる携帯情報端末１００のアプリ表示処理のフローチャートである。

図１７に示すように、対応情報／表示位置取得部１３０は、表示位置情報テーブルＴ４に記録されている表示位置ＩＤから未選択の表示位置ＩＤを選択する（ステップＳ０４１）。

次に、対応情報／表示位置取得部１３０は、選択中の表示位置ＩＤ、即ち処理対象の表示位置ＩＤに対応付けられたアプリＩＤを、対応情報テーブルＴ３から特定する（ステップＳ０４２）。

次に、アプリ取得部１３１は、アプリＩＤに紐付けられたアプリファイルをアプリ情報テーブルＴ１から取得する（ステップＳ０４３）。

次に、アプリ表示部１３２は、アプリ情報テーブルＴ１から取得されたアプリファイルを実行して、処理対象の表示位置ＩＤにより識別される表示位置に、アプリの実行画面を表示する（ステップＳ０４４）。なお、本実施形態では、アプリ表示部１３２がアプリファイルを実行して、アプリの実行画面を表示させている。しかし、本発明は、これに限定されるものではない。例えばアプリファイルとは別個に、アプリの実行画面の画像データをアプリ情報テーブルＴ１に記録しておけば、アプリ表示部１３２は、アプリＩＤに紐付けられた画像データに基づき、アプリの実行画面を表示することも出来る。

次に、対応情報／表示位置取得部１３０は、未選択の表示位置ＩＤが無いかどうかを判断する（ステップＳ０４５）。

ここで、未選択の表示位置ＩＤが無いと判断された場合（ステップＳ０４５のＹｅｓ）、対応情報／表示位置取得部１３０は、「アプリ表示処理」を終了させる。

一方、未選択の表示位置ＩＤが無いと判断されない場合（ステップＳ０４５のＮｏ）、対応情報／表示位置取得部１３０は、再度、表示位置情報テーブルＴ４に記録されている表示位置ＩＤから未選択の表示位置ＩＤを選択する（ステップＳ０４１）。即ち、表示位置情報テーブルＴ４に記録されている未選択の表示位置ＩＤが無くなるまで、Ｓ０４１−Ｓ０４４までのステップが実行される。こうして、表示位置情報テーブルＴ４に記録されている表示位置ＩＤの何れかに対応付けられているアプリは、すべて背景画像に重畳表示されることとなる。

（表示アプリの変更処理）
以下、具体例を参照しながら、表示アプリの変更処理を詳細に説明する。

図１８は、一実施形態にかかるカメラ画像の具体例の概略図である。図１９は、一実施形態にかかるシステムの表示アプリの変更処理のフローチャートである。

ここでは、アジェンダアプリ、議事録アプリ、議題１アプリ、議題２アプリ、内容確認アプリが、事前に携帯情報端末１００に取得（ダウンロード）されていると想定する。さらに、アジェンダアプリのアプリ情報にキーワード「ａｇｅｎｄａ」、議事録アプリのアプリ情報にキーワード「ｎｏｗ」、マーカ１のマーカ情報にキーワード「ａｇｅｎｄａ」、マーカ２のマーカ情報にキーワード「ｎｏｗ」が埋め込まれていると想定する。

このような状況下では、本実施形態にかかる「対応情報テーブル更新処理」が実施されると、マーカ１にアジェンダアプリ、マーカ２に議事録アプリが紐づけられる。このため、図１８（ａ）に示すように、アジェンダアプリ及び議事録アプリの実行画面は、それぞれホワイトボードに貼り付けられたマーカ１及びマーカ２に対応表示されることとなる。これを本具体例のデフォルト（表示アプリの変更前）の表示状態とする。

なお、アジェンダアプリの実行画面は、会議などのトピックスの目次画面である。それぞれのトピックスは、携帯情報端末１００のユーザが選択可能な選択項目として、アジェンダアプリの実行画面に表記されている。本実施形態では、トピックスとして、「議事録」、「議題１」、「議題２」、「内容確認」が使用されている。一方、議事録アプリの実行画面は、アジェンダアプリの実行画面にトピックスとして表記された「議事録」のコンテンツ（中身）である。

ここで、コンテンツ（中身）が表示されているアプリ、即ち表示アプリを、議事録アプリから議題１アプリに変更したい場合、携帯情報端末１００のユーザは、アジェンダアプリの実行画面に表記された「議題１」に指先やペン先などを接触させる。これをトリガとして、本実施形態にかかる「表示アプリの変更処理」が開始されることとなる。

図１９に示すように、携帯情報端末１００の位置情報取得部１３８は、タッチスクリーン１０７の検出結果に基づき、携帯情報端末１００のユーザによる接触位置の位置情報を取得する（ステップＳ０５１）。

次に、携帯情報端末１００のアプリ特定部１３９は、位置情報取得部１３８により取得された位置情報に基づき、携帯情報端末１００のユーザにより指定されたアプリ、即ち指定アプリを特定する（ステップＳ０５２）。具体的には、アプリ特定部１３９は、選択項目情報格納部１４１に格納された選択項目情報テーブルＴ５に基づき、位置情報取得部１３８により取得された位置情報が包含される表示範囲に紐付けられたアプリＩＤを特定する。本実施形態では、議題１アプリを指定アプリとする。

次に、携帯情報端末１００のアプリ変更指示部１４０は、携帯情報端末１００の変更指示送信部１３３にアプリの変更指示を通知する（ステップＳ０５３）。アプリの変更指示は、指定アプリのアプリＩＤを含む。

次に、携帯情報端末１００の変更指示送信部１３３は、アプリ変更指示部１４０からのアプリの変更指示を受け付ける（ステップＳ０５４）。

次に、携帯情報端末１００の変更指示送信部１３３は、アプリサーバ２００にアプリ情報の変更指示を送信する（ステップＳ０５５）。アプリ情報の変更指示は、指定アプリのアプリＩＤ、及び指定アプリのアプリ情報に追加するキーワードを含む。ここでは、表示時期を指定する「ｎｏｗ」を、アプリ情報に追加するキーワードとする。

次に、アプリサーバ２００の変更指示受信部２２２は、携帯情報端末１００からのアプリ情報の変更指示を受信する（ステップＳ０５６）。

次に、アプリサーバ２００のアプリ情報変更部２２３は、変更指示受信部２２２からのアプリ情報の変更指示に基づき、アプリサーバ２００のアプリ情報格納部２２４に格納されたアプリ情報テーブルＴ７を変更する（ステップＳ０５７）。具体的には、アプリ情報変更２２３は、アプリ情報の変更指示から指定アプリのアプリＩＤを抽出して、指定アプリのアプリＩＤに紐付けられたアプリ情報にキーワード「ｎｏｗ」を追加する。さらに、アプリ情報変更部２２３は、アプリ情報の変更指示を受信したときに表示されていた議事録アプリのアプリ情報からキーワード「ｎｏｗ」を削除する。

次に、アプリサーバ２００のアプリ情報送信部２２１は、送信先情報格納部２２５に格納された送信先情報テーブルＴ６からアプリ情報の送信先アドレスを取得する（ステップＳ０５８）。具体的には、アプリ情報送信部２２１は、携帯情報端末１００のユーザが加入しているサービスのサービスＩＤに紐付けられた送信先アドレスを送信先情報テーブルＴ６から取得する。

次に、アプリサーバ２００のアプリ情報送信部２２１は、アプリ情報の送信先アドレスそれぞれに、アプリ情報変更部２２３により変更されたアプリ情報を送信する（ステップＳ０５９）。なお、アプリ情報送信部２２１は、アプリ情報の全てを送信する必要はなく、例えばアプリ情報変更部２２３により変更された情報、例えばキーワードだけを選択的に送信しても良い。

次に、携帯情報端末１００のアプリ情報受信部１２１は、アプリサーバ２００からのアプリ情報、即ちアプリサーバ２００により変更されたアプリ情報を受信する（ステップＳ０６０）。

次に、携帯情報端末１００のアプリ管理部１２２は、アプリ情報受信部１２１により受信されたアプリ情報を使用して、アプリ情報格納部１３４に記憶されているアプリ情報テーブルＴ１を変更する（Ｓ０６１）。本実施形態では、議題１アプリを指定アプリとしている為、議題１アプリのアプリ情報にキーワード「ｎｏｗ」が追加され、それまで表示されていた議事録アプリのアプリ情報からキーワード「ｎｏｗ」が削除される。このため、本実施形態にかかる「対応情報テーブル更新処理」が実施されると、マーカ２に紐付けられていたアプリが、議事録アプリから議題１アプリに切り替わり、これにより、図１８（ｂ）に示すように、マーカ２に対応表示されていたアプリが、議事録アプリから議題１アプリに切り替わることとなる。

以上のように、本実施形態によれば、携帯情報端末１００のユーザ指定をトリガとして、マーカ及びアプリの対応関係を切り替える。このため、ユーザの要望に基づき、マーカに対応表示させるアプリを自由に変えることが出来る。

さらに、アプリ情報の変更指示を携帯情報端末１００からアプリサーバ２００に通知して、アプリサーバ２００にアプリ情報（キーワード）を変更させる。そして、変更されたアプリ情報を、サービスに加入する全ての携帯情報端末に、アプリサーバ２００から送信する。このため、携帯情報端末は、「対応情報テーブル更新処理」を実施することで、マーカ及びアプリの対応関係が同時に切り替えられる為、表示アプリの切り替えを、サービスに加入する全ての携帯情報端末で共有することができる。

なお、本実施形態では、アプリのキーワードを書き換え、マーカ及びアプリの対応関係を変更することで、マーカに対応表示させるアプリを切り替えている。ところが、本発明は、これに限定されるものではない。例えば、マーカのキーワードを書き換え、マーカ及びアプリの対応関係を変更することで、マーカに対応表示させるアプリを切り替えても良い。即ち、マーカのキーワードを、マーカに対応表示させたいアプリのキーワードに書き換えても良い。例えば、マーカ２のキーワードを「ｎｏｗ」から「ｇｉｄａｉ１」に書き換えれば、本実施形態にかかる「対応情報テーブル更新処理」が実施されることで、マーカ２に議題１アプリが紐づけられ、結果として、マーカ２に議題１アプリの実行画面が対応表示されることとなる。

なお、本実施形態にかかる携帯情報端末１００は、キーワードが一致したマーカ及びアプリの対応関係を対応情報テーブルＴ３に記録している。しかし、本発明は、これに限定されるものではない。例えば、マーカもしくはアプリに複数のキーワードが付加されている場合、携帯情報端末１００は、キーワードの一致数が最大となるマーカ及びアプリの対応関係を対応情報テーブルＴ３に記録しても良い。但し、マーカのキーワード及びアプリのキーワードの双方に、特定キーワード、例えば表示時期を指定する「ｎｏｗ」が含まれている場合、携帯情報端末１００は、キーワードに「ｎｏｗ」が含まれているマーカ及びアプリの対応関係を優先的に対応情報テーブルＴ３に記録することとなる。

１００：携帯情報端末
１２１：アプリ情報受信部
１２２：アプリ情報管理部
１２３：カメラ画像取得部
１２４：背景表示部
１２５：マーカ情報取得部
１２６：マーカ情報更新部
１２７：画像認識／位置取得部
１２８：対応情報更新部
１２９：表示位置情報更新部
１３０：対応情報／表示位置取得部
１３１：アプリ取得部
１３２：アプリ表示部
１３３：変更指示送信部
１３４：アプリ情報格納部
１３５：マーカ情報格納部
１３６：対応情報格納部
１３７：表示位置情報格納部
１３８：位置情報取得部
１３９：アプリ特定部
１４０：アプリ変更指示部
１４１：選択項目情報格納部
Ｔ１：アプリ情報テーブル
Ｔ２：マーカ情報テーブル
Ｔ３：対応情報テーブル
Ｔ４：表示位置情報テーブル
Ｔ５：選択項目情報テーブル

Claims (4)

1. 物体に視覚情報を紐付けるテーブルに基づき、入力画像から検出される物体に視覚情報を対応付けて表示するシステムの制御方法に於いて、
   前記物体の属性情報と前記視覚情報の属性情報を比較し、前記属性情報が一致した前記物体に前記視覚情報を紐付けし、前記紐付けされた前記物体と前記視覚情報を前記テーブルに格納し、
   前記視覚情報の指定を受け付け、
   前記物体に紐付けられていない視覚情報の指定を受け付けた場合、前記指定を受け付けた前記視覚情報の属性情報を、前記紐付けられた物体の属性情報に変更し、前記テーブルの前記物体に紐付けられている視覚情報を、前記指定を受け付けた視覚情報に変更することで、前記物体に対応付けて表示する視覚情報を切り替える、システムの制御方法。
2. 請求項１に記載のシステムの制御方法に於いて、さらに、
   前記テーブルの前記物体に紐付けられている前記視覚情報の属性情報を、前記物体の属性情報から削除する、システムの制御方法。
3. 物体に視覚情報を紐付けるテーブルに基づき、入力画像から検出される物体に視覚情報を対応付けて表示する携帯情報端末の制御方法に於いて、
   前記物体の属性情報と前記視覚情報の属性情報を比較し、前記属性情報が一致した前記物体に前記視覚情報を紐付けし、前記紐付けされた前記物体と前記視覚情報を前記テーブルに格納し、
   前記視覚情報の指定を受け付け、
   前記物体に紐付けられていない視覚情報の指定を受け付けた場合、前記指定を受け付けた前記視覚情報の属性情報を、前記紐付けられた物体の属性情報に変更し、前記テーブルの前記物体に紐付けられている視覚情報を、前記指定を受け付けた視覚情報に変更することで、前記物体に対応付けて表示する視覚情報を切り替える、携帯情報端末の制御方法。
4. 入力画像から検出される物体に視覚情報を対応付けて表示する携帯情報端末に於いて、
   前記物体の属性情報と前記視覚情報の属性情報が一致した前記物体と前記視覚情報を紐付けして格納されるテーブルと、
   前記視覚情報の指定を受け付ける受付部と、
   前記物体に紐付けられていない視覚情報の指定を受け付けた場合、前記指定を受け付けた前記視覚情報の属性情報を、前記紐付けられた物体の属性情報に変更し、前記テーブルの前記物体に紐付けられている視覚情報を、前記指定を受け付けた視覚情報に変更することで、前記物体に対応付けて表示する視覚情報を切り替える切替部と、
   を備える携帯情報端末。

Images