JP6297540B2 - システムの制御方法、携帯情報端末の制御方法、サーバの制御方法 - Google Patents

システムの制御方法、携帯情報端末の制御方法、サーバの制御方法 Download PDF

Info

Publication number
JP6297540B2
JP6297540B2 JP2015513357A JP2015513357A JP6297540B2 JP 6297540 B2 JP6297540 B2 JP 6297540B2 JP 2015513357 A JP2015513357 A JP 2015513357A JP 2015513357 A JP2015513357 A JP 2015513357A JP 6297540 B2 JP6297540 B2 JP 6297540B2
Authority
JP
Japan
Prior art keywords
information
application
display
server
information terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015513357A
Other languages
English (en)
Other versions
JPWO2014174547A1 (ja
Inventor
坂本　拓也
拓也 坂本
伊藤　栄信
栄信 伊藤
和明 二村
和明 二村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2014174547A1 publication Critical patent/JPWO2014174547A1/ja
Application granted granted Critical
Publication of JP6297540B2 publication Critical patent/JP6297540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Computer Graphics (AREA)

Description

本技術は、システムの制御方法、携帯情報端末の制御方法、サーバの制御方法に関する。
携帯情報端末ユーザの居場所や状況などのコンテキスト毎に、携帯情報端末のデスクトップ（ホーム画面）に表示するアプリなどのコンテンツを切り替える、いわゆるコンテキストデスクトップ技術が開発されている。コンテキストデスクトップ技術では、例えばサーバなどの外部からの指示を契機に、携帯情報端末がアプリなどのコンテンツを自動インストールもしくは自動アンインストールする。
プレスリリース（技術）"時間や場所に応じて必要なアプリケーションが自動配信・自動実行される情報端末技術を開発"、平成２３年７月１９日、株式会社富士通、［平成２４年７月８日検索］、インターネット＜http://pr.fujitsu.com/jp/news/2011/07/19-1.html＞
ところが、例えばサーバなどの外部からの指示を契機にアプリなどのコンテンツを自動インストールする場合、ユーザは、自分の意志でコンテンツをインストールしていない為、例えばコンテンツの用途、即ち提供サービスなどを把握できないことがある。このため、インストールされたコンテンツを有効に使用することができないこともある。
開示の技術によれば、携帯情報端末にダウンロードされたコンテンツの有効利用を支援することができる携帯情報端末の制御方法、制御プログラム、携帯情報端末を提供する。
開示の技術の一観点によれば、サーバから携帯情報端末にアプリをダウンロードするシステムの制御方法に於いて、前記携帯情報端末のユーザ操作を受け付けたときに前記サーバと異なる対象物情報サーバから取得した表示対象物情報であって、表示対象となる複数の物体と、前記複数の物体の各々に関連する、名称または種別を含む属性情報とが対応付けられている前記表示対象物情報が格納部に格納されているときに、前記表示対象物情報と異なる表示対象物情報を前記対象物情報サーバから取得した場合、前記格納部に格納された前記表示対象物情報を前記異なる表示対象物情報で更新し、前記複数の物体の中の物体が、前記携帯情報端末の入力画像に含まれている場合、前記表示対象物情報から、前記物体の属性情報を抽出し、前記サーバから前記携帯情報端末にインストールされた前記アプリから、前記アプリの作成者名または種別を含む属性情報を抽出し、前記物体の属性情報と、前記アプリの属性情報との比較によって、前記物体と前記アプリとが対応すると判定された場合に、前記アプリに関する情報を、前記物体に対応付けて表示する、システムの制御方法が提供される。
本開示の技術の一観点によれば、携帯情報端末にダウンロードされたコンテンツを有効に利用することができる。
第１の実施形態にかかるアプリプッシュシステムの概略図である。 第１の実施形態にかかる携帯情報端末のハードウェア構成の概略図である。 第１の実施形態にかかる携帯情報端末の機能ブロックの概略図である。 第１の実施形態にかかるアプリ情報テーブルの模式図である。 第１の実施形態にかかる表示対象物情報テーブルの模式図である。 第１の実施形態にかかる対応情報テーブルの模式図である。 第１の実施形態にかかる表示位置情報テーブルの模式図である。 第１の実施形態にかかる携帯情報端末の表示対象情報更新処理のフローチャートである。 第１の実施形態にかかる携帯情報端末のアプリ表示位置算出処理のフローチャートである。 第１の実施形態にかかるアプリ情報取得／削除処理のフローチャートである。 第１の実施形態にかかる携帯情報端末の対応情報テーブル更新処理のフローチャートである。 第１の実施形態にかかる携帯情報端末のアプリ表示処理のフローチャートである。 第１の実施形態にかかる表示画面の具体例の模式図である。 第１の実施形態の変形例１にかかる表示画面の具体例の模式図である。 第１の実施形態の変形例２にかかる表示画面の具体例の模式図である。 第２の実施形態にかかる携帯情報端末の機能ブロックの概略図である。 第２の実施形態にかかるアイコン情報テーブルの模式図である。 第２の実施形態にかかる表示時間情報テーブルの模式図である。 第２の実施形態にかかる携帯情報端末の滞留判定処理のフローチャートである。 第２の実施形態にかかる携帯情報端末のズーム起動処理のフローチャートである。
［第１の実施形態］
図１−図１３を参照して、第１の実施形態を説明する。
（アプリプッシュシステムの概略図）
図１は、第１の実施形態にかかるアプリプッシュシステムの概略図である。
図１に示すように、本実施形態にかかるアプリプッシュシステムは、携帯情報端末１００、アプリサーバ２００、対象物情報サーバ３００を含む。携帯情報端末１００、アプリサーバ２００、対象物情報サーバ３００は、例えば無線もしくは有線のネットワーク４００により相互接続されている。アプリプッシュシステムでは、アプリサーバ２００から携帯情報端末１００にアプリが自動ダウンロードされるが、ここでのアプリは、例えばデータなどを含むコンテンツの一例であって、所謂アプリケーションプログラムである必要はない。
（携帯情報端末１００のハードウェア構成）
図２は、第１の実施形態にかかる携帯情報端末１００のハードウェア構成の概略図である。
図２に示すように、本実施形態にかかる携帯情報端末１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、メインメモリ１０２、補助メモリ１０３、クロック供給回路１０４、電圧供給回路１０５、ディスプレイ１０６、タッチスクリーン１０７、ネットワークＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１０８、カメラ１０９、ＧＰＳモジュール１１０、をハードウェアモジュールとして備える。これらのハードウェアモジュールは、例えばバス１１１により相互接続されている。
ＣＰＵ１０１は、クロック供給回路１０４から供給されるクロック信号及び電圧供給回路１０５から供給される電圧により動作して、携帯情報端末１００の各種ハードウェアモジュールを制御する。さらに、ＣＰＵ１０１は、補助メモリ１０３に格納された各種プログラムを読み出して、メインメモリ１０２にロードするとともに、該メインメモリ１０２にロードされた各種プログラムを実行することで、各種機能を実現する。各種機能の詳細は、後述することとする。
メインメモリ１０２は、ＣＰＵ１０１により実行される各種プログラムを格納する。さらに、メインメモリ１０２は、ＣＰＵ１０１のワークエリアとして使用され、ＣＰＵ１０１による処理に必要な各種データを記憶する。メインメモリ１０２としては、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを使用しても良い。
補助メモリ１０３は、携帯情報端末１００を動作させる各種プログラムを格納している。各種プログラムとしては、例えば、携帯情報端末１００が実行するアプリケーションプログラムやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などがある。本実施形態にかかるＡＲアプリ（制御プログラム）も補助メモリ１０３に格納されている。補助メモリ１０３としては、例えば、ハードディスクやフラッシュメモリ等の不揮発メモリを使用しても良い。
ディスプレイ１０６は、ＣＰＵ１０１により制御され、ユーザに画像情報を表示する。タッチスクリーン１０７は、ディスプレイ１０６に貼り付けられ、ユーザの指先やペン先などで接触された位置情報を入力する。
ネットワークＩ／Ｆ１０８は、例えばアプリサーバ２００からのプッシュメッセージやアプリの受信インターフェース、もしくは、対象物情報サーバ３００からの表示対象情報の受信インターフェースとして機能する。
カメラ１０９は、例えば会議室内の風景などの画像情報を取得する。ＧＰＳモジュール１１０は、複数の人口衛星からのＧＰＳ信号に基づき、携帯情報端末１００の位置情報（経度緯度など）を取得する。なお、本実施形態では、ＧＰＳ信号に基づき、携帯情報端末１００の位置情報を取得しているが、例えば３Ｇ（Ｇｅｎｅｒａｔｉｏｎ）の基地局からのセルＩＤ、Ｗｉ−Ｆｉ（登録商標）のアクセスポイントからのＭＡＣアドレスなどに基づき、携帯情報端末１００の位置情報を取得しても良い。
（携帯情報端末１００の機能ブロック）
図３は、第１の実施形態にかかる携帯情報端末１００の機能ブロックの概略図である。
図３に示すように、本実施形態にかかる携帯情報端末１００は、アプリ情報受信部１２１、アプリ情報管理部１２２、カメラ画像取得部１２３、背景表示部１２４、対象物情報取得部１２５、対象物情報更新部１２６、画像認識／位置取得部１２７、対応情報更新部１２８、表示位置情報更新部１２９、対応情報／表示位置取得部１３０、アプリ取得部１３１、アイコン表示部１３２、アプリ情報格納部１３３、対象物情報格納部１３４、対応情報格納部１３５、表示位置情報格納部１３６、を機能ブロックとして備える。
これらの機能ブロックは、何れもＣＰＵ１０１が、メインメモリ１０２にＡＲアプリ（制御プログラム）を読み込むとともに、該メインメモリ１０２に読み込んだＡＲアプリを実行することで実現される。
アプリ情報受信部１２１は、アプリサーバ２００からプッシュメッセージを受信する。プッシュメッセージとしては、例えばアプリのインストール指示やアンインストール指示を含む。さらに、アプリ情報受信部１２１は、アプリサーバ２００からのインストール指示に基づき、アプリサーバ２００からアプリの圧縮ファイルを受信する。アプリの圧縮ファイルは、アプリファイル及びアプリ情報を含む。アプリファイルは、アプリの機能を実現する為のプログラムを含む。アプリ情報は、アプリに関連するキーワードを含む。キーワードとしては、例えばアプリの作成者名、種別、用途、作成日時、作成場所、使用場所、使用日時、などの属性情報を使用しても良い。
アプリ情報管理部１２２は、アプリサーバ２００からのアプリの圧縮ファイルを解凍して、アプリファイル及びアプリ情報を取得する。さらに、アプリ情報管理部１２２は、アプリファイル及びアプリ情報を、アプリ情報格納部１３３に格納されたアプリ情報テーブルＴ１に記録する。又、アプリ情報管理部１２２は、アプリサーバ２００からのアンインストール指示に基づき、指定されるアプリファイル及びアプリ情報を、アプリ情報テーブルＴ１から削除する。さらに、アプリ情報管理部１２２は、アプリに関連するキーワードを、アプリ情報テーブルＴ１から取得する。
カメラ画像取得部１２３は、カメラ１０９により撮影された画像、即ちカメラ画像を取得する。
背景表示部１２４は、カメラ画像取得部１２３により撮影されたカメラ画像を、背景画像として、ディスプレイ１０６に表示する。
対象物情報取得部１２５は、対象物情報サーバ３００から表示対象物情報を取得する。表示対象物情報は、対象物ＩＤ、画像データ、キーワードを含む。対象物は、例えば従業員、ホワイトボード、建物などの、ＡＲ表示の対象となる物体である。対象物ＩＤは、対象物を識別する為の識別情報である。画像データは、対象物の画像データである。キーワードは、対象物に関連するキーワードである。キーワードとしては、例えば対象物の名称や種別などの属性情報を使用しても良い。
対象物情報更新部１２６は、対象物情報取得部１２５により取得された表示対象物情報に基づき、対象物情報格納部１３４に格納されている表示対象物情報テーブルＴ２を更新する。
画像認識／位置取得部１２７は、対象物情報格納部１３４に格納されている表示対象物情報テーブルＴ２から対象物の画像データを取得して、対象物が、背景表示部１２４により表示された背景画像に含まれているかどうかを判断する。対象物が背景画像に含まれている場合、画像認識／位置取得部１２７は、対象物の画像データに基づき、対象物の位置を算出する。さらに、画像認識／位置取得部１２７は、対象物に関連するキーワードを、表示対象物情報テーブルＴ２から取得する。
対応情報更新部１２８は、画像認識／位置取得部１２７により取得された対象物に関連するキーワードと、アプリ情報管理部１２２により取得されたアプリに関連するキーワードと、に基づき、対象物及びアプリを対応付ける。具体的には、対応情報更新部１２８は、対象物に関連するキーワードと、アプリに関連するキーワードと、の一致数を算出する。さらに、対応情報更新部１２８は、キーワードの一致数が最大となる対象物及びアプリの対応関係（組み合わせ）に基づき、対応情報格納部１３５に格納された対応情報テーブルＴ３を更新する。即ち、対応情報更新部１２８は、キーワードの一致数が最大となる対応物及びアプリの対応関係を対応情報テーブルＴ３に記録する。
表示位置情報更新部１２９は、画像認識／位置取得部１２７により取得された対象物の位置に基づき、アプリの表示位置を算出する。表示位置は、アプリを表示することができる表示範囲である。さらに、表示位置情報更新部１２９は、アプリの表示位置に基づき、表示位置情報格納部１３６に格納されている表示位置情報テーブルＴ４を更新する。
対応情報／表示位置取得部１３０は、対応情報格納部１３５に格納された対応情報テーブルＴ３から対象物及びアプリの対応関係を取得する。さらに、対応情報／表示位置取得部１３０は、表示位置情報格納部１３６に格納された表示位置情報テーブルＴ４から表示位置を取得する。
アプリ取得部１３１は、対応情報／表示位置取得部１３０により取得された対応関係に基づき、それぞれの表示位置に紐付けられたアプリを特定して、アプリの画像データをアプリ情報格納部１３３から取得する。アプリの画像データとしては、例えばアプリのアイコンを使用しても良い。
アイコン表示部１３２は、アプリ取得部１３１により取得されたアプリの画像データを使用して、対応情報／表示位置取得部１３０により取得された表示位置に、アプリのアイコンを重畳表示する。
アプリ情報格納部１３３は、アプリ情報テーブルＴ１を格納する。
対象物情報格納部１３４は、表示対象物情報テーブルＴ２を格納する。
対応情報格納部１３５は、対応情報テーブルＴ３を格納する。
表示位置情報格納部１３６は、表示位置情報テーブルＴ４を格納する。
アプリ情報テーブルＴ１、表示対象物情報テーブルＴ２、対応情報テーブルＴ３、表示位置情報テーブルＴ４の詳細は、何れも後述することとする。
（アプリ情報テーブルＴ１）
図４は、第１の実施形態にかかるアプリ情報テーブルＴ１の模式図である。
図４に示すように、アプリ情報テーブルＴ１は、それぞれのアプリＩＤにより識別されるアプリに、アプリ名、アプリファイル、キーワードを紐付ける。アプリ名は、アプリの名前である。アプリファイルは、アプリの機能を実現する為のプログラムを含む。キーワードは、アプリに関連するキーワードである。キーワードとしては、例えばアプリの作成者名、種別、用途、作成日時、作成場所、使用場所、使用日時、などの属性情報を使用しても良い。例えばテーブル１行目に記載の具体例では、アプリＩＤ「ｘｘｘｘ」により識別されるアプリに、アプリ名として「ｓｈｉｒｙｏｕ１」、アプリファイルとして「ｘｘｘｘ．ｈｔｍｌ」、キーワードとして「Ｔａｎａｋａ（作成者名）」、「ｄｏｃｕｍｅｎｔ（種別）」、「ｗｏｒｋ（用途）」が紐付けられている。
（表示対象物情報テーブルＴ２）
図５は、第１の実施形態にかかる表示対象物情報テーブルＴ２の模式図である。
図５に示すように、表示対象物情報テーブルＴ２は、それぞれの対象物ＩＤにより識別される対象物に、画像データ、キーワードを紐付ける。画像データは、対象物の画像データである。キーワードは、対象物に関連するキーワードである。キーワードとしては、例えば対象物の名称、対象物の種別などの属性情報を使用しても良い。例えばテーブル１行目に記載の具体例では、対象物ＩＤ「ａａａａ」により識別される対象物に、画像データとして「ｘｘｘ．ｐｎｇ」、キーワードとして「Ｔａｎａｋａ（作成者名）」及び「ｗｏｒｋ（用途）」が紐付けられている。
（対応情報テーブルＴ３）
図６は、第１の実施形態にかかる対応情報テーブルＴ３の模式図である。
図６に示すように、対応情報テーブルは、それぞれの表示位置ＩＤにより識別される表示位置に、アプリＩＤにより識別されるアプリを紐付ける。表示位置は、対象物それぞれに設定される。例えばテーブル１行目に記載の具体例では、表示位置ＩＤ「１２３」により識別される表示位置に、アプリＩＤ「ｘｘｘｘ」により識別されるアプリが紐付けられている。
（表示位置情報テーブルＴ４）
図７は、第１の実施形態にかかる表示位置情報テーブルＴ４の模式図である。
図７に示すように、表示位置情報テーブルＴ４は、それぞれの表示位置ＩＤにより識別される表示位置に、表示範囲、キーワード、を紐付ける。表示範囲は、アプリを表示することができる表示範囲である。本実施形態では、表示範囲として、基準位置を規定する座標成分「ｘ」及び「ｙ」と、表示範囲のサイズを規定する幅「ｗ」及び高さ「ｈ」と、を使用する。例えばテーブル１行目に記載の具体例では、表示位置ＩＤ「１２３」により識別される表示位置に、表示範囲（ｘ、ｙ、ｗ、ｈ）として（１５、２４、８０、８０）が紐付けられている。
（表示対象情報更新処理）
図８は、第１の実施形態にかかる携帯情報端末１００の表示対象情報更新処理のフローチャートである。
図８に示すように、対象物情報取得部１２５は、携帯情報端末１００のユーザ操作を受け付ける（ステップＳ００１）。ユーザ操作としては、例えばユーザによるＡＲアプリの起動指示やＡＲアプリへの更新指示などを想定する。
次に、対象物情報取得部１２５は、対象物情報サーバ３００に表示対象物情報の取得要求を通知する（ステップＳ００２）。表示対象物情報の取得要求に、携帯情報端末１００のユーザのコンテキスト情報、例えばユーザの位置情報やスケジュール情報などを含めても良い。
次に、対象物情報取得部１２５は、対象物情報サーバ３００から表示対象物情報を取得したかどうかを判断する（ステップＳ００３）。
ここで、表示対象物情報を取得したと判断されない場合（ステップＳ００３のＮｏ）、対象物情報取得部１２５は、再度、表示対象物情報を取得したかどうかを判断する（ステップＳ００３）。
一方、表示対象物情報を取得したと判断された場合（ステップＳ００３のＹｅｓ）、対象物情報更新部１２６は、対象物情報サーバ３００から取得した表示対象物情報を使用して、対象物情報格納部１３４に格納されている表示対象物情報テーブルＴ２を更新する（ステップＳ００４）。
なお、表示対象物情報の取得要求にコンテキスト情報を含める場合、対象物情報サーバ３００から携帯情報端末１００に、コンテキスト情報に対応する表示対象物情報を提供しても良い。例えば、コンテキスト情報として「会議中」を取得した場合、対象物情報サーバ３００は、会議に出席中の従業員や、会議室内に存在する設備など、に関する表示対象物情報を携帯情報端末１００に提供しても良い。
次に、対象物情報取得部１２５は、再度、携帯情報端末１００のユーザ操作を受け付ける（ステップＳ００１）。
（アプリ表示位置算出処理）
図９は、第１の実施形態にかかる携帯情報端末１００のアプリ表示位置算出処理のフローチャートである。
図９に示すように、カメラ画像取得部１２３は、カメラ１０９により撮影されたカメラ画像を取得する（ステップＳ０１１）。
次に、背景表示部１２４は、カメラ画像取得部１２３により取得されたカメラ画像を、背景画像としてディスプレイ１０６に表示する（ステップＳ０１２）。
次に、画像認識／位置取得部１２７は、表示対象物情報テーブルＴ２に記録されている対象物ＩＤから未選択の対象物ＩＤを選択する（ステップＳ０１３）。
次に、画像認識／位置取得部１２７は、選択中の対象物ＩＤ、即ち処理対象の対象物ＩＤに紐付けられた画像データを取得する（ステップＳ０１４）。
次に、画像認識／位置取得部１２７は、表示対象物情報テーブルＴ２から取得された処理対象の対象物の画像データと、背景表示部１２４により表示された背景画像の画像データと、を使用して、画像認識を実施して、処理対象の対象物が背景画像に含まれているかどうかを判断する（ステップＳ０１５）。
ここで、処理対象の対象物が背景画像に含まれていると判断された場合（ステップＳ０１５のＹｅｓ）、画像認識／位置取得部１２７は、処理対象の対象物の画像データに基づき、背景画像を基準とする、処理対象の対象物の位置を算出する（ステップＳ０１６）。
次に、画像認識／位置取得部１２７は、処理対象の対象物に紐付けられているキーワードを、表示対象物情報テーブルＴ２から取得する（ステップＳ０１７）。例えば、図５に示すように、処理対象の対象物の対象物ＩＤが「ａａａａ」であれば、画像認識／位置取得部１２７は、キーワードとして、「Ｔａｎａｋａ」及び「ｗｏｒｋ」を取得することとなる。
次に、画像認識／位置取得部１２７は、表示対象物情報テーブルＴ２に未選択の対象物ＩＤが無いかどうか判断する（ステップＳ０１８）。処理対象の対象物が背景画像に含まれていると判断されない場合も（ステップＳ０１５のＮｏ）、画像認識／位置取得部１２７は、表示対象物情報テーブルＴ２に未選択の対象物ＩＤが無いかどうか判断する（ステップＳ０１８）。
ここで、未選択の対象物ＩＤが無いと判断された場合（ステップＳ０１８のＹｅｓ）、表示位置情報更新部１２９は、処理対象の対象物の位置に基づき、背景画像を基準とする、アプリのアイコンの表示位置を算出する（ステップＳ０１９）。さらに、表示位置情報更新部１２９は、アイコンの表示位置に表示位置ＩＤを付与して、表示位置テーブルＴ４に記録する。ここでは、アイコンの表示位置に表示位置ＩＤを付与しているが、本実施形態では、対象物毎に表示位置を１つずつ設定する為、表示位置ＩＤの代わりに対象物ＩＤを、そのまま使用しても良い。
なお、表示位置情報更新部１２９は、アイコンの表示位置を、対象物の位置からシフトさせた位置として、対象物の真上にアイコンが表示されることを避けても良い。
次に、対応情報更新部１２８は、処理を「対応情報テーブル更新処理」に遷移させる（ステップＳ０３０）。「対応情報テーブル更新処理」の詳細は、後述することとする。
なお、未選択の対象物ＩＤが無いと判断されない場合（ステップＳ０１８のＮｏ）、画像認識／位置取得部１２７は、再度、表示対象物情報テーブルＴ２に記録されている対象物ＩＤから未選択の対象物ＩＤを選択する（ステップＳ０１３）。
（アプリ情報取得／削除処理）
図１０は、第１の実施形態にかかるアプリ情報取得／削除処理のフローチャートである。
図１０に示すように、アプリ情報受信部１２１は、アプリサーバ２００からのプッシュメッセージを受信する（ステップＳ０２１）。
次に、アプリ情報管理部１２２は、アプリサーバ２００からのプッシュメッセージが、アプリのインストール指示であるかどうかを判断する（ステップＳ０２２）。
ここで、アプリのインストール指示であると判断された場合（ステップＳ０２２のＹｅｓ）、アプリ情報管理部１２２は、インストール指示により指定されるアプリの圧縮ファイルを、アプリサーバ２００から取得（ダウンロード）して、アプリファイル及びアプリ情報に解凍後、アプリ情報テーブルＴ１に記憶する（ステップＳ０２３）。具体的には、アプリ情報管理部１２２は、アプリファイルをアプリ情報テーブルＴ１の「アプリファイル」に記録するとともに、アプリ情報からアプリに関連するキーワードを抽出して、該キーワードをアプリ情報テーブルＴ１の「キーワード」に記録する。なお、本実施形態では、アプリファイルそのものをアプリ情報テーブルＴ１に記録しているが、本発明は、これに限定されるものではない。例えば、アプリファイルの格納先（パス）をアプリ情報テーブルＴ１の「アプリファイル」に記録しても良い。
次に、対応情報更新部１２８は、処理を「対応情報テーブル更新処理」に遷移させる（ステップＳ０３０）。「対応情報テーブル更新処理」の詳細は、後述することとする。
一方、アプリのインストール指示であると判断されない場合（ステップＳ０２２のＮｏ）、アプリ情報管理部１２２は、アプリサーバ２００からのプッシュメッセージが、アプリのアンインストール指示であるかどうかを判断する（ステップＳ０２５）。
ここで、アプリのアンインストール指示であると判断された場合（ステップＳ０２５のＹｅｓ）、アプリ情報管理部１２２は、アンインストール指示により指定されるアプリのアプリファイル及びアプリ情報を、アプリ情報テーブルＴ１から削除する（ステップＳ０２６）。
次に、対応情報更新部１２８は、「対応情報テーブル更新処理」を実施する（ステップＳ０３０）。
一方、アプリのアンインストール指示であると判断されない場合（ステップＳ０２５のＮｏ）、アプリ情報受信部１２１は、アプリサーバ２００からのプッシュメッセージの受信を継続する（ステップＳ０２１）。
（対応情報テーブル更新処理）
図１１は、第１の実施形態にかかる携帯情報端末１００の対応情報テーブル更新処理のフローチャートである。
図１１に示すように、対応情報更新部１２８は、表示位置情報テーブルＴ４に記録されている未選択の表示位置ＩＤから処理対象の表示位置ＩＤを取得する（ステップＳ０３１）。
次に、対応情報更新部１２８は、処理対象の表示位置ＩＤに紐付けられたキーワードを、表示位置情報テーブルＴ４から取得する（ステップＳ０３２）。
次に、アプリ情報管理部１２２は、アプリ情報テーブルＴ１に記録されている未選択のアプリＩＤから処理対象のアプリＩＤを取得する（ステップＳ０３３）。
次に、アプリ情報管理部１２２は、処理対象のアプリＩＤに紐付けられたキーワードを、アプリ情報テーブルＴ１から取得する（ステップＳ０３４）。
次に、対応情報更新部１２８は、処理対象の表示位置ＩＤに紐付けられたキーワードと、処理対象のアプリＩＤに紐付けられたキーワードと、の一致数を算出する（ステップＳ０３５）。
次に、対応情報更新部１２８は、処理対象の表示位置ＩＤに紐付けられたキーワードと、処理対象のアプリＩＤに紐付けられたキーワードと、の一致数が、処理対象の表示位置ＩＤに紐付けられたキーワードと、選択済のアプリＩＤに紐付けられたキーワードと、の一致数の中で最大であるかどうかを判断する（ステップＳ０３６）。即ち、対応情報更新部１２８は、新たに算出されたキーワードの一致数が、既に算出されているキーワードの一致数の中で最大であるかどうかを判断する。
ここで、新たに算出されたキーワードの一致数が最大であると判断された場合（ステップＳ０３６のＹｅｓ）、対応情報更新部１２８は、対応情報テーブルＴ３を更新する（ステップＳ０３７）。具体的には、対応情報更新部１２８は、処理対象の表示位置ＩＤと、処理対象のアプリＩＤと、を対応付けて、対応情報テーブルＴ３に記録する。
次に、対応情報更新部１２８は、未選択のアプリＩＤが無いかどうかを判断する（ステップＳ０３８）。新たに算出されたキーワードの一致数が最大であると判断されない場合も（ステップＳ０３６のＮｏ）、対応情報更新部１２８は、未選択のアプリＩＤが無いかどうかを判断する（ステップＳ０３８）。
ここで、未選択のアプリＩＤが無いと判断されない場合（ステップＳ０３８のＮｏ）、アプリ情報管理部１２２は、再度、アプリ情報テーブルＴ１に記録されているアプリＩＤから未選択のアプリＩＤを選択する（ステップＳ０３３）。
一方、未選択のアプリＩＤが無いと判断された場合（ステップＳ０３８のＹｅｓ）、対応情報更新部１２８は、未選択の表示位置ＩＤが無いかどうかを判断する（ステップＳ０３９）。
ここで、未選択の表示位置ＩＤが無いと判断されない場合（ステップＳ０３９のＮｏ）、対応情報更新部１２８は、再度、表示位置情報テーブルＴ４に記録されている表示位置ＩＤから未選択の表示位置ＩＤを選択する（ステップＳ０３１）。
一方、未選択の表示位置ＩＤが無いと判断された場合（ステップＳ０３９のＹｅｓ）、対応情報更新部１２８は、処理を「アプリ表示処理」に遷移させる（ステップＳ０４０）。
なお、対応情報テーブル更新処理では、対応情報更新部１２８が表示位置ＩＤそれぞれに、複数のアプリＩＤを対応付けることもある。
（アプリ表示処理）
図１２は、第１の実施形態にかかる携帯情報端末１００のアプリ表示処理のフローチャートである。
図１２に示すように、対応情報／表示位置取得部１３０は、表示位置情報テーブルＴ４に記録されている表示位置ＩＤから未選択の表示位置ＩＤを選択する（ステップＳ０４１）。
次に、対応情報／表示位置取得部１３０は、選択中の表示位置ＩＤ、即ち処理対象の表示位置ＩＤに対応付けられたアプリＩＤを、対応情報テーブルＴ３から取得する（ステップＳ０４２）。
次に、アプリ取得部１３１は、アプリＩＤに紐付けられた画像データをアプリ情報テーブルＴ１から取得する（ステップＳ０４３）。アプリに関連する画像データとしては、例えばアプリのアイコンの画像データなどを使用しても良い。
次に、アイコン表示部１３２は、処理対象の表示位置ＩＤにより識別される表示位置に、アプリのアイコンを表示する（ステップＳ０４４）。なお、表示位置ＩＤに複数のアプリＩＤを対応付けられている場合、アイコン表示部１３２は、複数のアプリのアイコンを表示位置に表示することとなる。
次に、対応情報／表示位置取得部１３０は、未選択の表示位置ＩＤが無いかどうかを判断する（ステップＳ０４５）。
ここで、未選択の表示位置ＩＤが無いと判断された場合（ステップＳ０４５のＹｅｓ）、対応情報／表示位置取得部１３０は、「アプリ表示処理」を終了させる。
一方、未選択の表示位置ＩＤが無いと判断されない場合（ステップＳ０４５のＮｏ）、対応情報／表示位置取得部１３０は、再度、表示位置情報テーブルＴ４に記録されている表示位置ＩＤから未選択の表示位置ＩＤを選択する（ステップＳ０４１）。即ち、表示位置情報テーブルＴ４に記録されている未選択の表示位置ＩＤが無くなるまで、Ｓ０４１−Ｓ０４４までのステップが実行される。こうして、表示位置情報テーブルＴ４に記録されている表示位置ＩＤの何れかに対応付けられているアプリは、すべて背景画像に重畳表示されることとなる。
以上のように、本実施形態では、背景画像から抽出された対象物のキーワード（属性情報）と、アプリから抽出されたキーワード（属性情報）と、に基づき、対象物及びアプリを対応付けている。このため、例えばユーザの意志とは無関係にアプリが携帯情報端末１００にインストールされても、背景画像に含まれる対象物に対応付けて該アプリを表示することができる。
（表示画面の具体例）
図１３は、第１の実施形態にかかる表示画面の具体例の模式図である。
図１３に示すように、携帯情報端末１００のカメラ画像に、対象物として、会議に出席中の田中さん及び吉田さんが表示されているときに、田中さんが作成した会議資料アプリが携帯情報端末１００にダウンロードされた場合、田中さん近傍に設定された表示位置に、会議資料アプリのアイコンが表示される。
逆に、田中さんが作成した会議資料アプリが既に携帯情報端末１００にダウンロードされているとときに、携帯情報端末１００のカメラ画像に、田中さん及び吉田さんが表示された場合、田中さん近傍に設定された表示位置に、会議資料アプリのアイコンが表示される。
このため、携帯情報端末１００のユーザは、会議資料アプリを、田中さんに関連するアプリとして認識することができる。ここでは、田中さんが作成した会議資料アプリの表示を例示しているが、吉田さんが作成した会議資料アプリがダウンロードされた場合、会議資料アプリのアイコンが吉田さんの近傍に表示される。
なお、本実施形態では、アプリに関連するキーワードをアプリ情報に含めているが、本発明は、これに限定されるものではない。例えば、アプリファイルに含まれる文字列などをキーワードとして抽出すれば、アプリファイルにアプリ情報を添付しなくても良い。例えば、アプリファイルの属性情報やマニフェスト情報などを使用しても良い。
さらに、本実施形態では、携帯情報端末１００が対象物及びアプリのキーワードマッチングを実施しているが、本発明は、これに限定されるものではない。例えば、携帯情報端末１００は、対象物に関連するキーワード及びアプリに関連するキーワードの取得後、これらを外部サーバ、例えばアプリサーバ２００もしくは対象物情報サーバ３００に送信して、キーワードマッチングを外部サーバに実行させても良い。
又、携帯情報端末１００は、カメラ画像の取得後、該カメラ画像を外部サーバに送信して、対象物に関連するキーワードの抽出を、外部サーバに実行させても良い。
［変形例１］
図１４を参照して、第１の実施形態の変形例１を説明する。
第１の実施形態では、アプリのアイコンを対象物に対応付けて表示しているが、本発明は、これに限定されるものではない。例えば、アプリのアイコンの代わりに、アプリの実行画面を使用しても良い。
（表示画面の具体例）
図１４は、第１の実施形態の変形例１にかかる表示画面の具体例の模式図である。
図１４に示すように、変形例１では、田中さん近傍に設定された表示位置に、田中さんが作成した会議資料アプリの実行画面が表示されている。このように、アプリの実行画面を表示すれば、携帯情報端末１００のユーザは、アプリの中身（例えばサービス内容など）を認識することができる。ゆえに、複数のアプリが田中さんに対応付けて表示されていても、所望のアプリを容易に選定することができる。
［変形例２］
図１５を参照して、第１の実施形態の変形例２を説明する。
第１の実施形態では、対象物毎に表示位置を１つずつ設定しているが、本発明は、これに限定されるものではない。例えば、それぞれの対象物に複数の表示位置を設定して、それぞれの表示位置に別アプリを表示しても良い。即ち、変形例２にかかる表示位置情報更新部１２９は、画像認識／位置取得部１２７により取得された対象物の位置に基づき、複数の表示位置を算出するとともに、それぞれの表示位置に別個の表示位置ＩＤを付与して、表示位置テーブルＴ４に記録しても良い。
（表示画面の具体例）
図１５は、第１の実施形態の変形例２にかかる表示画面の具体例の模式図である。
図１５に示すように、変形例２では、ホワイトボードに設定された表示位置１に、会議のアジェンダアプリの実行画面が表示され、ホワイトボードに設定された表示位置２に、会議資料アプリｘｘｘ１のアプリのアイコン及び会議資料ｘｘｘ２のアプリのアイコンが表示されている。なお、会議資料ｘｘｘ１のアプリ及び会議資料ｘｘｘ２のアプリは、アジェンダアプリの実行画面に記載の「会議資料ｘｘｘ１」及び「会議資料ｘｘｘ２」の資料閲覧用のファイルである。
このように、対象物としてのホワイトボードに複数の表示位置を設定して、それぞれの表示位置に別アプリを表示すれば、対象物に対応付けられた複数アプリを整理して表示することができる。従って、携帯情報端末１００のユーザは、複数のアプリが対象物に対応付けて表示されていても、所望のアプリを容易に選定することができる。
［第２の実施形態］
図１６−図２０を参照して、第２の実施形態を説明する。但し、第１の実施形態と同等の構成、機能、動作、作用などは、説明を省略することとする。
本実施形態にかかる携帯情報端末１００Ａは、第１の実施形態にかかる携帯情報端末１００に対して、さらに、対象物に対応付けて表示されたアプリを自動起動する、いわゆる自動起動モードを有する。以下、詳細に説明する。
（携帯情報端末１００Ａの機能ブロック）
図１６は、第２の実施形態にかかる携帯情報端末１００Ａの機能ブロックの概略図である。
図１６に示すように、本実施形態にかかる携帯情報端末１００Ａは、第１の実施形態にかかる携帯情報端末１００に対して、さらに、表示時間確認計算部１３７、表示サイズ決定部１３８、アプリ実行部１３９、アイコン情報格納部１４０、表示時間情報格納部１４１、を機能ブロックとして備える。
これらの機能ブロックは、何れもＣＰＵ１０１が、メインメモリ１０２にＡＲアプリ（制御プログラム）を読み込むとともに、該メインメモリ１０２に読み込んだＡＲアプリを実行することで実現される。
表示時間確認計算部１３７は、表示時間情報テーブルＴ６に記録された滞留開始時刻に基づき、滞留開始時刻から現在時刻までの滞留時刻を算出する。さらに、表示時間確認計算部１３７は、滞留時間が所定時間以上であるかどうかを判断する。
表示サイズ決定部１３８は、表示時間情報テーブルＴ６に記録されたズーム開始時刻に基づき、ズーム開始時刻から現在時刻までのズーム時間を算出する。さらに、表示サイズ決定部１３８は、ズーム開始時間が所定時間以上であるかどうかを判断する。表示サイズ決定部１３８は、アイコン情報テーブルＴ５に記録されたアイコンの表示サイズを所定倍率で拡大して、表示サイズを更新（拡大）する。
アプリ実行部１３９は、ズーム開始時間が所定時間以上である場合、アプリを起動して、アプリの実行画面を、表示画面の全体に表示する。
アイコン情報格納部１４０は、アイコン情報テーブルＴ５を格納する。
表示時間情報格納部１４１は、表示時間情報テーブルＴ６を格納する。
アイコン情報テーブルＴ５及び表示時間情報テーブルＴ６の詳細は、何れも後述することとする。
（アイコン情報テーブルＴ５）
図１７は、第２の実施形態にかかるアイコン情報テーブルＴ５の模式図である。
図１７に示すように、アイコン情報テーブルＴ５は、それぞれのアプリＩＤにより識別されるアプリに、アイコンの、表示位置、表示サイズを紐付ける。表示位置は、第１の実施形態にかかる「アプリを表示することができる表示範囲」ではなく、アプリのアイコンを表示する位置そのものである。本実施形態では、表示位置として、アイコンの座標成分「ｘ」及び「ｙ」を使用する。表示サイズは、アプリのアイコンを表示するサイズである。表示サイズの単位は、特に限定されるものではないが、例えばアイコンを包含する最小矩形の一辺のピクセル数などを使用しても良い。表示サイズは、表示サイズ決定部１３８により書き換えられる。例えばテーブル１行目に記載の具体例では、アプリＩＤ「ｘｘｘｘ」により識別されるアプリに、アイコンの表示位置（ｘ、ｙ）として「（１５、２４）」、表示サイズとして「２００」が紐付けられている。
（表示時間情報テーブルＴ６）
図１８は、第２の実施形態にかかる表示時間情報テーブルＴ６の模式図である。
図１８に示すように、表示時間情報テーブルＴ６は、それぞれのアプリＩＤにより識別されるアプリのアイコンに、滞留開始時刻、ズーム開始時刻を紐付ける。滞留開始時刻は、後述する滞留判定処理の開始時刻、即ち携帯情報端末１００Ａの自動起動モードへの遷移後、最初にアイコンが所定範囲に表示された時刻である。ズーム開始時刻は、ズーム起動処理の開始時刻である。例えばテーブル１行目に記載の具体例では、アプリＩＤ「ｘｘｘｘ」により識別されるアプリのアイコンに、滞留開始時刻として「２０１２／１２／１５ Ｔ１３：０１：０５」、ズーム開始時刻として「２０１２／１２／１５ Ｔ１３：０１：１５」が紐付けられている。滞留開始時刻は、表示時間確認計算部１３７により書き換えられ、ズーム開始時刻は、表示サイズ決定部１３８により書き換えられる。
（滞留判定処理）
図１９は、第２の実施形態にかかる携帯情報端末１００Ａの滞留判定処理のフローチャートである。
図１９に示すように、アプリの画像データの取得後（ステップＳ０４３）、表示時間確認計算部１３７は、アイコン情報格納部１４０に格納されているアイコン情報テーブルＴ５に基づき、直前のアイコンが所定範囲に含まれているかどうかを判断する（ステップＳ０５１）。
ここで、直前のアイコンが所定範囲に含まれていると判断されない場合（ステップＳ０５１のＮｏ）、表示時間確認計算部１３７は、表示時間情報格納部１４１に格納されている表示時間情報テーブルＴ６の記録情報（滞留開始時刻）をクリアする（ステップＳ０５２）。
次に、アイコン表示部１３２は、第１の実施形態と同様、処理対象の表示位置ＩＤにより識別される表示位置に、アプリのアイコンを重畳表示する（ステップＳ０４４）。
一方、直前のアイコンが所定範囲に含まれていると判断された場合（ステップＳ０５１のＹｅｓ）、表示時間確認計算部１３７は、表示時間情報格納部１４１に格納されている表示時間情報テーブルＴ６から滞留開始時刻を取得する（ステップＳ０５３）。
次に、表示時間確認計算部１３７は、表示時間情報テーブルＴ６の記録情報（滞留開始時刻）がクリアされているかどうかを判断する（ステップＳ０５４）。
ここで、表示時間情報テーブルＴ６の記録情報がクリアされていると判断された場合（ステップＳ０５４のＹｅｓ）、即ち表示時間情報テーブルＴ６に滞留開始時刻が記録されていない場合、表示時間確認計算部１３７は、現在時刻を滞留開始時刻として、表示時間情報テーブル６に記録する（ステップＳ０５７）。
次に、アイコン表示部１３２は、第１の実施形態と同様、処理対象の表示位置ＩＤにより識別される表示位置に、アプリのアイコンを重畳表示する（ステップＳ０４４）。
一方、表示時間情報テーブルＴ６がクリアされていると判断されない場合（ステップＳ０５４のＮｏ）、即ち表示時間情報テーブルＴ６に滞留開始時刻が記録されている場合、表示時間確認計算部１３７は、滞留開始時刻及び現在時刻の差分、即ち滞留時間が所定時間以上であるかどうかを判断する（ステップＳ０５５）。
ここで、滞留時間が所定時間以上であると判断された場合（ステップＳ０５５のＹｅｓ）、表示時間確認計算部１３７は、処理を「ズーム起動処理」に遷移させる（ステップＳ０５６）。
一方、滞留時間が所定時間以上であると判断されない場合（ステップＳ０５５のＮｏ）、アイコン表示部１３２は、第１の実施形態と同様、処理対象の表示位置ＩＤにより識別される表示位置に、アプリのアイコンを重畳表示する（ステップＳ０４４）。
以上のように、アプリのアイコンが所定範囲に滞留している滞留時間が所定時間に到達したときに、携帯情報端末１００Ａは、ズーム起動処理を開始する。
（ズーム起動処理）
図２０は、第２の実施形態にかかる携帯情報端末１００Ａのズーム起動処理のフローチャートである。
図２０に示すように、表示サイズ決定部１３８は、表示時間情報格納部１４１に格納されている表示時間情報テーブルＴ６にズーム開始時刻を記録する（ステップＳ０６１）。
次に、表示サイズ決定部１３８は、アイコン情報テーブルＴ５からアイコンの表示サイズを取得する（ステップＳ０６２）。
次に、表示サイズ決定部１３８は、アイコンの表示サイズを所定倍率で拡大して、表示サイズを更新（拡大）する（ステップＳ０６３）。さらに、表示サイズ決定部１３８は、更新後の表示サイズに基づき、アイコン情報テーブルＴ５に記録された表示サイズを更新する。
次に、アイコン表示部１３２は、アプリのアイコンを、更新後の表示サイズで表示する（ステップＳ０６４）。具体的には、アイコン表示部１３２は、アプリのアイコンを、アイコン情報テーブルＴ５に記録されたアイコンの表示サイズで表示する。
次に、表示サイズ決定部１３８は、ズーム開始時刻及び現在時刻の差分、即ちズーム時間が所定時間以上であるかどうかを判断する（ステップＳ０６５）。
ここで、ズーム時間が所定時間以上であると判断されない場合（ステップＳ０６５のＮｏ）、表示サイズ決定部１３８は、再度、アイコンの表示サイズを所定倍率で拡大して、表示サイズを更新する（ステップＳ０６３）。即ち、表示サイズ決定部１３８は、アイコンのズーム起動処理を開示してから所定時間が経過するまで、アイコンの表示サイズを徐々に拡大する。
一方、ズーム時間が所定時間以上であると判断された場合（ステップＳ０６５のＹｅｓ）、アイコン表示部１３２は、アプリの実行画面を表示画面の全域に表示する（ステップＳ０６６）。
以上のように、アイコンのズーム起動処理の開始後の経過時間が所定時間に到達したときに、携帯情報端末１００Ａは、アプリを自動実行する。即ち、携帯情報端末１００Ａのユーザは、例えばタッチ操作をすることなく、所望のアプリを実行することができる。従って、携帯情報端末１００Ａのユーザの手間を削減することができる。
１００：携帯情報端末
１００Ａ：携帯情報端末
１２１：アプリ情報受信部
１２２：アプリ情報管理部
１２３：カメラ画像取得部
１２４：背景表示部
１２５：対象物情報取得部
１２６：対象物情報更新部
１２７：画像認識／位置取得部
１２８：対応情報更新部
１２９：表示位置情報更新部
１３０：対応情報／表示位置取得部
１３１：アプリ取得部
１３２：アイコン表示部
１３３：アプリ情報格納部
１３４：対象物情報格納部
１３５：対応情報格納部
１３６：表示位置情報格納部
１３７：表示時間確認計算部
１３８：表示サイズ決定部
１３９：アプリ実行部
１４０：アイコン情報格納部
１４１：表示時間情報格納部
２００：アプリサーバ
３００：対象物情報サーバ
Ｔ１：アプリ情報テーブル
Ｔ２：表示対象物情報テーブル
Ｔ３：対応情報テーブル
Ｔ４：表示位置情報テーブル
Ｔ５：アイコン情報テーブル
Ｔ６：表示時間情報テーブル

Claims (8)

  1. サーバから携帯情報端末にアプリをダウンロードするシステムの制御方法に於いて、
    前記携帯情報端末のユーザ操作を受け付けたときに前記サーバと異なる対象物情報サーバから取得した表示対象物情報であって、表示対象となる複数の物体と、前記複数の物体の各々に関連する、名称または種別を含む属性情報とが対応付けられている前記表示対象物情報が格納部に格納されているときに、前記表示対象物情報と異なる表示対象物情報を前記対象物情報サーバから取得した場合、前記格納部に格納された前記表示対象物情報を前記異なる表示対象物情報で更新し、
    前記複数の物体の中の物体が、前記携帯情報端末の入力画像に含まれている場合、前記表示対象物情報から、前記物体の属性情報を抽出し、
    前記サーバから前記携帯情報端末にインストールされた前記アプリから、前記アプリの作成者名または種別を含む属性情報を抽出し、
    前記物体の属性情報と、前記アプリの属性情報との比較によって、前記物体と前記アプリとが対応すると判定された場合に、前記アプリに関する情報を、前記物体に対応付けて表示する、システムの制御方法。
  2. 請求項１に記載のシステムの制御方法に於いて、
    前記携帯情報端末は、前記サーバからの指示を契機に前記アプリをダウンロードする、システムの制御方法。
  3. 請求項２に記載のシステムの制御方法に於いて、
    前記アプリに関する情報を、前記アプリのアイコンとする、システムの制御方法。
  4. 請求項３に記載のシステムの制御方法に於いて、
    前記アプリに関する情報の表示位置が、所定時間、前記携帯情報端末の表示画面の所定範囲に滞留している場合、前記アプリに関する実行処理を開始する、システムの制御方法。
  5. 携帯情報端末のユーザ操作を受け付けたときに対象物情報サーバから取得した表示対象物情報であって、表示対象となる複数の物体と、前記複数の物体の各々に関連する、名称または種別を含む属性情報とが対応付けられている前記表示対象物情報が格納部に格納されているときに、前記表示対象物情報と異なる表示対象物情報を前記対象物情報サーバから取得した場合、前記格納部に格納された前記表示対象物情報を前記異なる表示対象物情報で更新し、外部からの指示に基づき、前記対象物情報サーバと異なるサーバからアプリをダウンロードする前記携帯情報端末に、
    前記複数の物体の中の物体が、前記携帯情報端末の入力画像に含まれている場合、前記更新された表示対象物情報から、前記物体の属性情報を抽出し、
    前記サーバから前記携帯情報端末にインストールされた前記アプリから、前記アプリの作成者名または種別を含む属性情報を抽出し、
    前記物体の属性情報と、前記アプリの属性情報との比較によって、前記物体と前記アプリとが対応すると判定された場合に、前記アプリに関する情報を、前記物体に対応付けて表示する処理を実行させるためのプログラム。
  6. 請求項５に記載のプログラムに於いて、前記携帯情報端末に、さらに、
    前記入力画像の属性情報と、前記アプリの属性情報と、をサーバに送信する処理を実行させるためのプログラム。
  7. 請求項５に記載のプログラムに於いて、前記携帯情報端末に、さらに、
    前記アプリに関する情報の表示位置が、所定時間、前記携帯情報端末の表示画面の所定範囲に滞留している場合に、前記アプリに関する実行処理を開始させるプログラム。
  8. 携帯情報端末にアプリを提供するサーバの制御方法に於いて、
    前記携帯情報端末のユーザ操作を受け付けたときに前記サーバと異なる対象物情報サーバから取得した表示対象物情報であって、表示対象となる複数の物体と、前記複数の物体の各々に関連する、名称または種別を含む属性情報とが対応付けられている前記表示対象物情報が格納部に格納されているときに、前記表示対象物情報と異なる表示対象物情報を前記対象物情報サーバから取得した場合、前記格納部に格納された前記表示対象物情報を前記異なる表示対象物情報で更新し、
    前記携帯情報端末から前記携帯情報端末の入力画像を取得し、
    前記複数の物体の中の物体が、前記入力画像に含まれている場合、前記表示対象物情報から、前記物体の属性情報を抽出し、
    前記サーバから前記携帯情報端末にインストールされた前記アプリから、前記アプリの作成者名または種別を含む属性情報を抽出し、
    前記物体の属性情報と、前記アプリの属性情報との比較によって、前記物体と前記アプリとが対応すると判定された場合に、前記アプリに関する情報を、前記物体に対応付けて前記携帯情報端末に表示させる、サーバの制御方法。
JP2015513357A 2013-04-22 2013-04-22 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法 Active JP6297540B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/002684 WO2014174547A1 (ja) 2013-04-22 2013-04-22 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法

Publications (2)

Publication Number Publication Date
JPWO2014174547A1 JPWO2014174547A1 (ja) 2017-02-23
JP6297540B2 true JP6297540B2 (ja) 2018-03-20

Family

ID=51791160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015513357A Active JP6297540B2 (ja) 2013-04-22 2013-04-22 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法

Country Status (4)

Country Link
US (1) US9997140B2 (ja)
EP (1) EP2990920B1 (ja)
JP (1) JP6297540B2 (ja)
WO (1) WO2014174547A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6180464B2 (ja) * 2015-06-17 2017-08-16 インヴェンティット株式会社 アプリケーションの実行環境制御システム、実行環境制御装置および実行環境制御用プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10254614A (ja) * 1997-03-06 1998-09-25 Hitachi Ltd 携帯型電子処理装置及びその操作方法
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
JP2007120973A (ja) 2005-10-25 2007-05-17 Denso Corp 移動体用アプリケーション実行装置
JP4914268B2 (ja) 2007-03-29 2012-04-11 株式会社日立製作所 検索サービスサーバの情報検索方法。
US8253806B2 (en) * 2007-12-17 2012-08-28 Canon Kabushiki Kaisha Image sharing system, image managing server, and control method and program thereof
JP5053158B2 (ja) * 2008-04-18 2012-10-17 富士フイルム株式会社 表示装置、操作制御方法およびプログラム
US8711176B2 (en) 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
JP2010009192A (ja) * 2008-06-25 2010-01-14 Olympus Corp 情報表示システム及びそれを用いた携帯情報端末
CA2766821A1 (en) * 2008-06-25 2009-12-30 Veloxum Llc Systems and methods for tuning an operating system, application, or network component
TWI514337B (zh) 2009-02-20 2015-12-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
JP5382788B2 (ja) * 2009-06-24 2014-01-08 Ｎｅｃビッグローブ株式会社 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US8830267B2 (en) * 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool
US20120290974A1 (en) * 2011-01-20 2012-11-15 Vibrant Media, Inc. Systems and methods for providing a discover prompt to augmented content of a web page
JP5752959B2 (ja) 2011-03-10 2015-07-22 株式会社三共 遊技機関連情報配信システム、遊技機関連情報配信装置および携帯端末用アプリケーションプログラム
JP5887721B2 (ja) 2011-06-10 2016-03-16 富士通株式会社 情報配信装置、情報処理端末、情報配信方法、情報処理方法、情報配信プログラム、および情報処理プログラム
KR101343609B1 (ko) * 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
JP5854714B2 (ja) * 2011-09-05 2016-02-09 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム
WO2013173389A1 (en) * 2012-05-14 2013-11-21 Orbotix, Inc. Operating a computing device by detecting rounded objects in an image
KR20180035243A (ko) * 2012-08-24 2018-04-05 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
US9189514B1 (en) * 2014-09-04 2015-11-17 Lucas J. Myslinski Optimized fact checking method and system
US10216996B2 (en) * 2014-09-29 2019-02-26 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher

Also Published As

Publication number Publication date
US20170110095A1 (en) 2017-04-20
EP2990920B1 (en) 2019-04-03
EP2990920A1 (en) 2016-03-02
WO2014174547A1 (ja) 2014-10-30
EP2990920A4 (en) 2016-04-20
US9997140B2 (en) 2018-06-12
JPWO2014174547A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
US11991249B2 (en) Method, user equipment, server, and apparatus for implementing information sharing
CN108074177B (zh) 数据对账方法、系统和计算机可读存储介质
WO2015117426A1 (zh) 文件管理方法及装置
JP6362761B2 (ja) ローミングネットワークアクセス方法および装置
US20160330208A1 (en) Method and apparatus for implementing document sharing between user groups
US20170235566A1 (en) System and method for efficient software replication
KR101842558B1 (ko) 로밍 네트워크 접속 방법 및 장치
JP2015018295A (ja) アプリケーション管理装置、アプリケーション管理システムおよびプログラム
CN107632872B (zh) 桌面布局处理方法、用户数据处理方法及装置、计算机存储介质
WO2015154577A1 (zh) 应用图标的设置方法及装置
CN103379476A (zh) 终端和联系人信息更新方法
CN103312489A (zh) 一种终端与服务器进行同步的方法和装置
JP6155889B2 (ja) システムの制御方法、携帯情報端末の制御方法、携帯情報端末
CN106293790B (zh) 基于Firefox操作系统的应用程序升级方法和装置
CN113821249A (zh) 项目开发配置的方法、装置、电子设备和可读存储介质
CN113660359A (zh) 域名解析记录的管理方法及装置、存储介质及电子设备
JP6297540B2 (ja) システムの制御方法、携帯情報端末の制御方法、サーバの制御方法
US20140137092A1 (en) Information processing apparatus, information processing system, non-transitory computer-readable storage medium having stored therein information processing program, and information processing method
US20130097207A1 (en) Information processing device, information processing method and computer program
CN109088977B (zh) 一种自动安装移动终端应用的控制方法及控制装置
CN109325057B (zh) 中间件管理方法、装置、计算机设备以及存储介质
KR20170046532A (ko) 모바일 단말기의 템플릿 관리 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170613

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180221

R150 Certificate of patent or registration of utility model

Ref document number: 6297540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150