JP2024071596A - 表示端末およびアプリケーション制御方法 - Google Patents
表示端末およびアプリケーション制御方法 Download PDFInfo
- Publication number
- JP2024071596A JP2024071596A JP2024050613A JP2024050613A JP2024071596A JP 2024071596 A JP2024071596 A JP 2024071596A JP 2024050613 A JP2024050613 A JP 2024050613A JP 2024050613 A JP2024050613 A JP 2024050613A JP 2024071596 A JP2024071596 A JP 2024071596A
- Authority
- JP
- Japan
- Prior art keywords
- icon
- application
- image
- display
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000010191 image analysis Methods 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 63
- 238000012545 processing Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 35
- 230000004048 modification Effects 0.000 description 24
- 238000012986 modification Methods 0.000 description 24
- 239000000284 extract Substances 0.000 description 19
- 238000001514 detection method Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3209—Monitoring remote activity, e.g. over telephone lines or network connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3215—Monitoring of peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3265—Power saving in display device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
- H04M1/724097—Worn on the head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、表示領域の小さい表示端末における表示制御技術に関する。
表示領域の小さい表示端末として、例えば、ユーザの頭部に支持され、ユーザの眼前に画像を表示するHMD(ヘッドマウントディスプレイ;Head Mount Display)がある。HMDの中でも、外界とディスプレイ表示との両者を視認可能な透過型(シースルー型)は、特に表示領域が小さい。このようなHMDにおいて、ディスプレイ表示を用いて行う操作の操作性を向上させる技術として、例えば、特許文献1に開示の技術がある。
特許文献1に開示のHMDシステムは、座標系設定部と、セグメント選択部と、画像生成部とを具備する。座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。セグメント選択部は、円筒座標系において、ディスプレイの方向に基づいて複数のセグメントのいずれかを選択待機状態とする。画像生成部は、選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じてディスプレイに表示される表示画像を生成する。
HMDにおいても、一般に普及しているパソコンやスマートフォンの様な情報端末と同様に、アイコンをディスプレイ上に配置して表示し、その選択を受け付けることにより、選択されたアイコンに対応付けられたアプリケーションソフトを起動する。
特許文献1に開示の技術では、HMD装着者の周囲の実空間に、複数のセグメントに区画された円筒形座標を設定する。そして、各セグメントに選択可能なオブジェクト(アイコン)を表示し、HMD装着者の視線方向のセグメントに表示されるアイコンが選択されたものとする。これにより、ユーザ(HMD装着者)は、手に持って操作入力を行う操作機器を使用することなく、操作指示を行うことができ、操作性が向上する。
しかしながら、特許文献1に開示の技術によれば、HMDに保存された全アプリケーションのアイコンが表示され、その中から所望のものを選択する。このとき、周囲に設定された円筒形座標に各アイコンを表示するセグメントが設けられるため、所望のアイコンを選択するために、ユーザは、頭を回転させる必要がある。また、選択可能なアイコンの数だけ、セグメントを用意する必要があり、アイコン数が多い場合、セグメント数も増加し、個々のセグメントの領域が小さくなる。これに伴い、各セグメントに表示されるアイコンのサイズも小さくなる。また、アイコンの表示に多くの領域が用いられるため、外界を視認する領域も小さくなる。従って、保存されるアプリケーション数が多くなればなるほど、利便性は高まるが、操作性は低下する。
本発明は、上記事情に鑑みてなされたもので、表示領域の小さい表示端末において、利便性を維持しながら、高い操作性を実現する技術を提供することを目的とする。
本発明は、撮影装置と、前記撮影装置で撮影した画像の解析およびアプリケーションの実行を行うアプリケーション制御部を備える表示端末であって、当該表示端末のユーザの指示により、前記撮影装置は、前記ユーザの視野範囲の画像を取得し、前記アプリケーション制御部は、前記視野範囲の画像に表示されている実行可能なアプリケーションに対応するアイコン図形を、前記視野範囲の画像に基づき探索し、前記探索により前記アイコン図形を一つ発見した場合は、前記アイコン図形に対応するアプリケーションを自動で起動し、複数発見した場合は、前記アイコン図形を当該表示端末に表示し、前記ユーザにより選択された前記アイコン図形に対応するアプリケーションを起動することを特徴とする。
また、本発明は表示端末と、前記表示端末にネットワークを介して接続されるサーバとを備えたアプリケーション制御システムであって、撮影装置と、記憶装置と、前記表示端末のユーザの指示により、前記撮影装置が前記ユーザの視野範囲の画像を取得し、前記視野範囲の画像に表示されている実行可能なアプリケーションに対応するアイコン図形を、前記視野範囲の画像に基づき探索する画像解析部と、前記探索により発見された前記アイコン図形に対応付けられたアプリケーションが、前記記憶装置に格納されているか判別する起動部と、前記アプリケーションが前記記憶装置に格納されていないと判別された場合、当該アプリケーションを前記サーバから取得する取得部を備え、前記起動部はさらに、前記探索により発見された前記アイコン図形が一つの場合は、当該アイコン図形に対応付けられたアプリケーションを自動起動し、複数の場合は前記ユーザにより選択された前記アイコン図形に対応付けられたアプリケーションを起動することを特徴とする。
また、本発明は、撮影装置を備える表示端末におけるアプリケーション制御方法であって、前記表示端末のユーザの指示により、前記ユーザの視野範囲の画像を取得し、前記視野範囲の画像に表示されている実行可能なアプリケーションに対応するアイコン図形を、前記視野範囲の画像に基づき探索し、前記探索により発見された前記アイコン図形が一つの場合は当該アイコン図形に対応付けられたアプリケーションを自動起動し、複数の場合は前記アイコン図形を当該表示端末に表示し、前記ユーザにより選択された前記アイコン図形に対応付けられたアプリケーションを起動することを特徴とする。
本発明によれば、表示領域の小さい表示端末において、利便性を維持しながら、高い操作性を実現できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の実施の形態について、図面を用いて説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。なお、本発明はここで説明する実施形態に限定されるものではない。
<<第一の実施形態>>
本実施形態では、表示端末において、不要なアイコンを表示させず、所望のアプリケーションを起動させるアプリケーション制御システムを提供する。ユーザは、多数のアイコンの中から、所望のアプリケーションを起動させるためのアイコンを探さなくてもよい。
本実施形態では、表示端末において、不要なアイコンを表示させず、所望のアプリケーションを起動させるアプリケーション制御システムを提供する。ユーザは、多数のアイコンの中から、所望のアプリケーションを起動させるためのアイコンを探さなくてもよい。
以下、本実施形態(本明細書)において、プログラムの機能を示す図形または記号であって、ユーザが選択し、実行を指示することにより、当該プログラムが起動する図形または記号を、アイコンと呼ぶ。さらに、本実施形態(本明細書)では、アイコンに対する実行指示により実行されるプログラムを、アプリケーションまたはアプリと呼ぶ。
また、本実施形態では、表示端末として、ユーザが頭部に装着して用いるHMD(ヘッドマウントディスプレイ;Head Mount Display)であって、外界とディスプレイ表示との両者を視認可能な透過型(シースルー型)のHMDを例にあげて説明する。
図1(a)は、本実施形態のアプリケーション制御システム100のシステム構成図である。本実施形態のアプリケーション制御システム100は、HMD200と、サーバ300とを備える。HMD200とサーバ300とは、ネットワーク101を介して相互にデータの送受信を行う。
本実施形態のサーバ300は、アプリケーション関連サービスを行う業者によって設置されるサーバ装置である。本実施形態では、HMD200から送信された要求データを解析し、関連したサービスを要求元のHMD200に提供する。例えば、サーバ300は、各種のアプリケーションを保持し、HMD200からの要求に応じて、HMD200にアプリケーションを提供する。サーバ300は、例えば、アプリストア等である。
なお、本図では、ネットワーク101に接続されるHMD200およびサーバ300は、それぞれ、一つのみ記載しているが、これらの数は、問わない。また、他の装置がさらに接続され、相互にデータ送受信を行っても良い。
まず、本実施形態のアプリケーション制御システム100によるアプリケーション制御の概要を、図1(b)~図1(e)を用いて説明する。
図1(b)に示すように、HMD200を装着したユーザ201が、看板501等に記載されるアイコンと思われる図形を発見した場合、HMD200の探索モードをONにする。なお、探索モードについては、後述する。このとき、ユーザ201は、HMD200のディスプレイに表示される撮影領域に、当該図形が含まれるようにする。例えば、図形との距離、図形に対する自身の向き等を調整する。
探索モードがONにされたことを受け、HMD200は、ユーザ201の視野範囲の画像を取得する。ここで取得した画像601の例を図1(c)に示す。ここでは、一例として、タクシー乗場を示す。
そして、HMD200は、取得した画像601を解析し、実視野内の図形等に対応する画像601上の領域(以下、オブジェクトと呼ぶ)602を抽出する。なお、図1(d)では、点線の矩形領域が抽出したオブジェクト602である。抽出等の詳細は、後述する。
HMD200は、オブジェクト602を抽出すると、当該オブジェクト602で特定されるアイコンが選択されたものと判断し、図1(e)に示すように、特定したアイコンに対応づけて保持するアプリケーションを起動する。ここでは、タクシー配車アプリ603を起動する例を示す。ユーザ201は、この中から所望の処理を選択し、実行する。
従来は、HMD200が記憶している使用可能な全てのアプリケーションのアイコンを表示させ、その中からその時点で必要なアイコンを選択し、実行している。しかし、本実施形態によれば、ユーザ201の視野範囲にある実オブジェクトの画像をアイコンとして特定し、自動的にそのアプリケーションを起動させる。従って、ユーザ201は、多数のアイコンの中から所望のアイコンを探して選択する必要がなく、あたかも周囲環境に存在する実際の図形をアイコン代わりに用いているかのように、その場で必要な関連アプリケーションを起動させることができる。
以下、上記処理を実現する本実施形態のHMD200について、説明する。
[ハードウェア構成]
図2は、本実施形態のHMD200のハードウェア構成図である。本実施形態のHMD200は、基本的に汎用のコンピュータ(情報処理装置)と同様の構成を有する。すなわち、HMD200は、本図に示すように、CPU211と、RAM212と、ROM213と、カメラ214と、ディスプレイ215と、音声インタフェース(I/F)216と、通信インタフェース(I/F)217と、センサ218と、各部を接続するバス219と、を備える。
図2は、本実施形態のHMD200のハードウェア構成図である。本実施形態のHMD200は、基本的に汎用のコンピュータ(情報処理装置)と同様の構成を有する。すなわち、HMD200は、本図に示すように、CPU211と、RAM212と、ROM213と、カメラ214と、ディスプレイ215と、音声インタフェース(I/F)216と、通信インタフェース(I/F)217と、センサ218と、各部を接続するバス219と、を備える。
撮影装置であるカメラ214は、外向カメラ214aと、視線検出カメラ214bとを備える。外向カメラ214aは、HMD200のユーザ201の視野を撮影範囲に含むよう取り付けられる。視線検出カメラ214bは、ユーザ201の視線方向を検出するカメラである。このため、視線検出カメラ214bは、ユーザ201の眼の虹彩、瞳孔等を撮影範囲に含むよう取り付けられる。
ディスプレイ215は、カメラ214で取得した画像、HMD200内で生成された画面データを表示する。ディスプレイ215は、例えば、透過型の液晶デバイスや有機ELデバイス、あるいはMEMS(micro electro mechanical systems)を用いた光走査型のデバイス等で構成される。しかしながら、デバイスはこれに限定されず、ディスプレイ215上に映像を表示しつつ、ディスプレイ215の向こう側が透けて見える構造を実現可能なデバイスであればよい。
音声I/F216は、例えば、マイク、スピーカ、ブザー等である。外界の音の入力と、HMD200内で作成した音や通信I/F217介して送られてくる音声や音楽等の音の出力とを行う。本実施形態では、音声I/F216は、備えなくてもよい。
通信I/F217は、符号回路や復号回路、アンテナ等を備え、ネットワーク101を介して、他装置とのデータの送受信(データ通信)を行う。本実施形態では、図示を省略したアクセスポイント等を介して、または、図示を省略した移動体電話通信網の基地局等を介して、ネットワーク101と接続するI/Fである。通信I/F217を介して、HMD200は、ネットワーク101に接続された各サーバ300とのデータ送受信を行う。
HMD200と前記アクセスポイントとの接続は、例えば、Wi-Fi(登録商標)等の無線通信方式やその他の通信方式により行われる。HMD200と前記移動体電話通信網の基地局との接続は、例えば、W-CDMA(登録商標)(Wideband Code Division Multiple Access)方式やGSM(登録商標)(Global System for Mobile communications)方式、LTE(Long Term Evolution)方式、或いはその他の通信方式によって行われる。
センサ218は、HMD200の現在位置、傾き、速度、ユーザ201による操作等を検出する。センサ218として、例えば、GPS受信機218a等の位置情報取得センサ(位置情報取得装置)、ジャイロセンサ218b、加速度センサ218c、地磁気センサ218d、タッチセンサ218e等を備える。なお、センサ218は、全てを備えなくてもよい。
なお、RAM212およびROM213は、特に区別する必要がない場合は、両者を合わせて記憶装置230と呼ぶ。また、音声I/F216も備えなくてもよい。
[機能ブロック]
図3(a)は、本実施形態のHMD200の、上記アプリケーション制御処理に関連する機能であるアプリケーション制御部(アプリ制御部と呼ぶ。)220の機能ブロック図である。アプリ制御部220は、指示受付表示部221と、撮影処理部222と、画像解析部223とアプリ起動部224と、アプリ取得部225と、を備える。
図3(a)は、本実施形態のHMD200の、上記アプリケーション制御処理に関連する機能であるアプリケーション制御部(アプリ制御部と呼ぶ。)220の機能ブロック図である。アプリ制御部220は、指示受付表示部221と、撮影処理部222と、画像解析部223とアプリ起動部224と、アプリ取得部225と、を備える。
これらの各部は、CPU211が、記憶装置230に格納されたプログラムを、RAM212等のメモリにロードして実行することにより実現される。
また、記憶装置230には、アイコンデータベース(アイコンDB)231と、アプリケーションデータベース(アプリDB)232と、画像233と、表示データ234と、が格納される。
アプリDB232は、アイコンと、当該アイコンが選択されることにより起動されるアプリケーションとを対応づけて登録するデータベースである。図4(a)にアプリDB232の一例を示す。
本図に示すように、アプリDB232は、アイコン毎の当該アイコンに対応付けられたアプリケーションの情報が登録される。本実施形態では、アイコンの図形または記号(以下、アイコン図形、または、アイコンと呼ぶ)を一意に識別する情報であるアイコンID232a毎に、アプリケーションの名称(アプリ名称)232b、アプリケーションを一意に識別する情報であるアプリID232c、アプリケーションが保存されている場所の情報であるアプリ格納場所232dが登録される。アプリ格納場所232dは、HMD200の記憶装置内のアドレスである。なお、アプリケーションが、HMD200の記憶装置に保持されていない場合、例えば、ネットワーク上の、当該アプリケーションを保持するサーバ300の場所であるURLであってもよい。
アイコンDB231は、アイコンを登録するデータベースである。図4(b)のその一例を示す。
本図に示すように、アイコンは、それぞれ、アイコンID231aと、アイコン図形231bと、種別(カテゴリ)231cと、内容231dとを備える。アイコンID231aは、アイコンを一意に識別する情報である。アイコン図形231bは、アイコンとしてディスプレイ215に表示する図形の形状情報である。
種別231cは、アイコンに対応付けられたアプリケーションの処理内容ごとに予め設定された分類が登録される。本実施形態では、例えば、交通、決済、施設、商品、買い物、ゲーム、音楽や動画配信、等である。
内容231dは、アイコン図形231bの説明および/またはアイコンに対応付けられたアプリケーションの処理内容の概要が登録される。内容231dに登録される情報は、後述の撮影画像の意味を解析して関連するアイコンを特定する際に用いられる。
また、記憶装置230には、撮影処理部222により取得された画像233が格納される。また、指示受付表示部221がディスプレイ215に表示させる画面データを生成する際に用いる、各種のデータが表示データ234として格納される。
指示受付表示部221は、ユーザ201による操作指示を受け付ける。また、各部の処理結果から画面データを生成し、ディスプレイ215に表示させる。
指示受付表示部221は、例えば、ディスプレイ215に各種の操作指示ボタン(領域)を表示し、ユーザ201による選択を受け付ける。操作指示ボタンのデータは、予め記憶装置に格納される。
ユーザ201による選択等の指示は、例えば、視線によりなされる。すなわち、ユーザ201の視線方向を検出し、ポインティングデバイスの代替として用いる。ディスプレイ215上の、視線上に存在する領域が選択されたものと判断される。
視線方向の検出は既存の技術を用いる。例えば、ユーザ201の眼の、不動の基準点に対する、動点の位置に基づいて検出する。不動の基準点には、例えば、目頭等が用いられる。動点には、例えば、瞳孔、虹彩等が用いられる。これらの位置は、視線検出カメラ214bにより撮影された画像を解析することにより得る。選択指示の検出には、例えば、所定回の瞬きをさらに加えてもよい。
ここで、指示受付表示部221の、主として視線による指示を実現する機能の機能ブロックを図3(b)に示す。本図に示すように、指示受付表示部221は、表示制御部241と、表示画像生成部242と、視線検出部243と、解析制御部244とを備える。
表示画像生成部242は、ディスプレイ215に表示する画面データを生成する。画面データは、例えば、記憶装置230に格納された各種のデータを用いて生成される。
表示制御部241は、表示画像生成部242が生成した画面データをディスプレイ215に表示させる。
視線検出部243は、視線検出カメラ214bが撮影した映像から視線方向を検出する。
解析制御部244は、視線検出部243が検出した視線方向を解析し、指示を特定し、各部に信号を出力する。解析制御部244は、視線方向が所定期間同方向である場合、当該視線上に存在する画像領域が選択されたものと判別する。また、視線方向が所定期間、同方向であり、かつ、所定の間隔で所定回数瞬きをした場合、当該画像領域が選択されたものと判別してもよい。
なお、操作指示には、例えば、HMD200の処理を探索モードとする指示(探索指示)、抽出されたアイコン群の中から、所望のアイコンやアプリケーションを選択する選択指示、選択されたアプリケーションの実行を指示する実行指示、等がある。指示受付表示部221は、それぞれの指示を受け付けると、選択指示信号および実行指示信号をそれぞれ出力する。
なお、探索モードは、ユーザ201の実視野を撮影するモードである。指示受付表示部221は、探索指示を受け付けた場合、撮影処理部222に画像を取得する指示として撮影指示信号を出力する。探索モード終了指示を受け付けるまで、撮影指示信号を出力する。
探索指示は、例えば、ディスプレイ215に表示された探索指示ボタンを、ユーザ201が選択したことにより受け付ける。探索指示ボタンは、例えば、HMD200の起動時以降、または、アプリケーション制御処理の開始の指示を受け付けた後、ディスプレイ215に表示される。
選択指示は、例えば、ディスプレイ215に表示された複数のアイコンの中から、所望のアイコンの選択を受け付ける指示である。実行指示は、アプリケーションの実行の指示である。選択指示により選択されたアイコンに対応付けられたアプリケーションを実行する指示を受け付ける。
撮影処理部222は、指示受付表示部221から撮影指示信号を受信すると、所定の時間間隔で、ユーザ201の視野範囲(実視野)を撮影する。撮影は、外向カメラ214aを用いる。撮影により取得した画像233は、記憶装置230に記憶する。
なお、撮影処理部222による撮影は、探索モードとなったタイミングで1回、行うよう構成してもよい。
画像解析部223は、撮影処理部222が取得した画像233を記憶装置230に記憶すると、当該画像233を解析し、画像233内のアイコンを抽出する。
具体的には、画像解析部223は、まず、画像233内の、外界に存在する実際のオブジェクト(実オブジェクト)に対応する領域を、画像上のオブジェクトとして抽出する。そして、抽出したオブジェクトの領域を特定する情報である領域情報を用いて当該実オブジェクトに関連するアイコンを特定する。
オブジェクトの抽出は、例えば、公知の輪郭抽出(エッジ検出)により行う。そして、抽出した全てのオブジェクトについて、アイコンDB231に保持されるアイコン図形231bと合致するか否かを判別する。
判別は、例えば、形状のみの公知のマッチング法により行う。そして、抽出したオブジェクトの中で、アイコンDB231に保持されるアイコン図形231bと合致したオブジェクトを、アイコンと判定する。そして、合致したアイコン図形231bを、当該オブジェクトに関連するアイコンとして特定する。
なお、ここで言う合致とは、完全一致に限定されず、所定の類似度以上の照合結果を含む。
なお、画像解析部223がオブジェクトとして画像233から抽出する対象は、街頭に表示されているマーク、店頭で掲示や表示されるマーク、あるいは商品タグに印字表示されるマークなど様々な実オブジェクトであってよい。また、ペイントされているもの、シール状のものに印刷されているもの、あるいはタブレット端末や案内板などの表示装置に表示されているものなど、様々な形態を含む。
なお、画像解析部223は、アイコンと判定されたオブジェクトが複数ある場合、それらをディスプレイに215に表示する。そして、指示受付表示部221を介して、選択指示を受け付ける。なお、このとき、ディスプレイ215に表示するのは、オブジェクトに合致したアイコン図形231bであってもよいし、抽出したオブジェクトの領域の画像データそのものであってもよい。
なお、アイコンは、目の網膜へ直接表示させてもよい。外向カメラ214aの撮影範囲に存在する外界の光景を目視可能な態様で、表示できれば、表示方式は問わない。
表示されたアイコンに対し、選択指示を受け付けると、指示受付表示部221は、選択されたアイコンを、非選択のアイコンと異なる態様で表示する。例えば、サイズを変える、色を変える、特別な枠で囲む等である。また、選択されたアイコンのみサイズを大きく表示し、他のアイコンのサイズを選択されたアイコンに比べて小さく表示させる、選択されたアイコンのみカラーで表示し、他のアイコンは、グレースケールで表示する、等であってもよい。
アプリ起動部224は、選択されたアイコンに対応付けられたアプリケーションを実行する。具体的には、アプリ起動部224は、アプリDB232を参照し、選択されたアイコンに対応付けられたアプリケーションを特定する。ここでは、選択されたアイコンのアイコンID231a/232aに対応づけて登録されているアプリ格納場所232dを抽出し、その場所から当該アプリケーションのプログラムをRAM212にロードして起動させる。
なお、アプリ起動部224は、選択されたアイコンのアプリケーションが記憶装置230に格納されていない場合は、アプリ取得部225にアプリ取得信号を送信する。これは、例えば、選択されたアイコンのアプリ格納場所232dにネットワーク101上のURLが登録されている場合、あるいは、アプリDB232に、選択されたアイコンのアイコンID232aの登録がない場合である。アプリ取得信号には、アイコンID232aを含める。アプリ格納場所232dにURLが登録されている場合は、URLもさらに含める。
アプリ取得部225は、アプリ起動部224からアプリ取得信号を受信すると、アプリ取得信号に含まれるアイコンID232aに対応づけられたアプリケーションをサーバ300から取得する。なお、URLを受信した場合は、当該URLにアクセスし、アプリケーションを取得する。
このとき、アプリ取得部225は、アイコンID232aを含むアプリケーション取得要求を当該サーバ300に送信し、アプリケーションの提供を受ける。すなわち、アプリケーションをダウンロードする。
また、アプリ取得部225は、提供されたアプリケーションを、記憶装置230に格納し、格納場所を当該アイコンID232aに対応づけてアプリDB232のアプリ格納場所232dに登録する。そして、登録を終えたことを、アプリ起動部224に通知する。アプリ起動部224は、通知を受け、当該アプリケーションを起動する。
ダウンロードしたアプリケーションをアプリDB232に登録することにより、次回以降は、そのままそのアプリケーションを利用できる。
なお、画像解析部223による解析によりアイコンと判定されたオブジェクトが1つである場合、上記選択指示はなされなくてもよい。この場合、画像解析部223により、抽出されたオブジェクトがアイコンであると判定されると、アプリ起動部224は、当該アイコンに対応付けられたアプリケーションをそのまま実行する。
なお、本実施形態のHMD200は、さらに、図示はしないが、各ハードウェアの動作を制御する制御部を備える。具体的には、通信I/F217の動作を制御する通信制御部と、外向カメラ214aの動作を制御する外向きカメラ制御部と、センサ218毎に設けられた、それぞれのセンサ218の動作を制御するセンサ制御部と、である。
通信制御部は、HMD200が有するWiFi、Bluetooth(登録商標)、4Gや5Gなどの移動通信システム等の無線通信機能を制御し、外部装置とのデータの送受信を実現する。センサ制御部は、各センサで検出した信号を出力する。
[処理フロー]
次に、本実施形態のアプリ制御部220によるアプリケーション制御処理の流れを説明する。図5は、本実施形態のアプリケーション制御処理の処理フローである。また、以下の処理は、探索指示を受け付けたことを契機に開始する。
次に、本実施形態のアプリ制御部220によるアプリケーション制御処理の流れを説明する。図5は、本実施形態のアプリケーション制御処理の処理フローである。また、以下の処理は、探索指示を受け付けたことを契機に開始する。
撮影処理部222は、外向カメラ214aに撮影させ、ユーザ201の実視野を含む画像233を取得する(ステップS1101)。取得した画像233は、記憶装置230に記憶する。
画像解析部223は、当該画像233を解析し、オブジェクトを抽出する(ステップS1102)。そして、抽出したオブジェクトがアイコンであるか否かを判別し、アイコンである場合、アイコンを特定する(ステップS1103)。ここでは、アイコンDB231を参照し、当該オブジェクトに類似の形状を有するアイコン図形231bが登録されているか否かにより判断する。すなわち、抽出したオブジェクトに類似のアイコン図形231bがアイコンDB231に登録されている場合、当該オブジェクトを、当該類似のアイコンであると判別する。そして、類似のアイコンとして判別されたアイコン図形231bに対応づけて登録されているアイコンID231aを抽出することにより、アイコンを特定する。さらに、画像解析部223は、画像233の解析中、アイコンが特定されたオブジェクトの数をアイコン数としてカウントする。
指示受付表示部221は、アイコン数が0であるか否かを判別する(ステップS1104)。アイコン数が0であれば、処理を終了する。
一方、0でなければ、指示受付表示部221は、アイコン数が1であるか否かを判別する(ステップS1105)。
アイコン数が1である場合(S1105;Yes)、後述のステップS1108へ移行する。
一方、アイコン数が1でない場合(S1105;No)、すなわち、アイコン数が複数であれば、指示受付表示部221は、特定されたアイコン全てについて、当該アイコンのアイコン図形231bをディスプレイ215に表示する(ステップS1106)。そして、選択指示を受け付ける(ステップS1107)。
アプリ起動部224は、アプリDB232を参照し、選択されたアイコンのアイコンID231a/232aに対応付けられたアプリケーションがHMD200内に登録されているか否かを判別する(ステップS1108)。ここでは、アプリ格納場所232dとして、記憶装置230内のアドレスが格納されている場合、アプリケーションが登録されていると判断する。
HMD200内にアプリケーションが登録されている場合は、当該アプリケーションを起動し(ステップS1109)、処理を終了する。
一方、HMD200内にアプリケーションが登録されていない場合は、アプリ取得部225にアプリを取得するよう指示を行う。アプリ取得部225は、サーバ300にアクセスして検索し(ステップS1111)、当該アイコンのアイコンID232aに対応付けられたアプリケーションをサーバ300から取得(ダウンロード)する(ステップS1112)。そして、アプリ取得部225は、ダウンロードしたアプリケーションを、アイコンID232aに対応づけて、アプリDB232に登録する(ステップS11 BR>P3)。そして、ステップS1109へ移行する。
なお、本実施形態では、探索モードの間、アプリ制御部220は、所定の時間間隔で、上記処理を実行する。
なお、ここで各処理の遷移時には前の表示を消して新たな表示を行うようにする。これにより、不要な表示による見苦しさを防ぐことが出来る。勿論、この様な画面表示の方法は本実施形態におけるすべての画面遷移に於いて適用可能である。
[使用例]
次に、本実施形態のアプリケーション制御システムの具体的な利用例を図6(a)~図7(c)を用いて説明する。ここでは、ユーザ201が、タクシー乗場の近傍において、配車アプリケーションを起動させたい場合を例にあげて説明する。配車アプリケーションは、タクシーの配車を依頼したり、予約したり、料金を検索したりするアプリケーションである。
次に、本実施形態のアプリケーション制御システムの具体的な利用例を図6(a)~図7(c)を用いて説明する。ここでは、ユーザ201が、タクシー乗場の近傍において、配車アプリケーションを起動させたい場合を例にあげて説明する。配車アプリケーションは、タクシーの配車を依頼したり、予約したり、料金を検索したりするアプリケーションである。
図1(b)に示すように、ユーザ201は、例えば、タクシー乗場の近傍に来た場合、配車アプリケーションのアイコンと同じ図形が付された看板501を目にする。このような看板501を目にしたユーザ201は、視線により、ディスプレイ215に表示される探索指示ボタン711を指示する。
この場合のディスプレイ215を介してユーザ201が目にする内容を図6(a)に示す。上述のように、このディスプレイ215は、透過型である。従って、ユーザ201には、実空間の実像510にHMD200が生成した画像が重畳されて見える。なお、本図において、実空間(実環境)の実像を実線で、指示受付表示部221が生成した画像を破線で示す。本図においては、探索指示ボタン711が画像である。
ここは、例えば、駅前広場等である。ユーザ201の視野範囲には、実空間の実オブジェクトとして、バスの図形511が付されたバス停、電車の図形512が付された乗場案内、タクシーの図形513が付された看板、人物514、花515、雑草516、犬517等が存在する。
ユーザ201が視線により探索指示ボタン711を選択したことを受け付けると、指示受付表示部221は、撮影処理部222に、画像を取得させる。外向カメラ214aの撮像視野は、HMD200のディスプレイ215を介したユーザの実視野を含むよう予め設定される。この時取得された画像610を、図6(b)に示す。
画像解析部223は、この画像610から、オブジェクトを抽出する。抽出されたオブジェクトの例を、図6(c)に示す。このような環境を撮影した画像610からは、電車の図形611、バスの図形612、タクシーの図形613、人物の図形614、花の図形615、雑草の図形616、犬の図形617、円618、楕円619等がオブジェクトとして抽出される。そして、画像解析部223は、抽出した各オブジェクトそれぞれについて、アイコンDB231を参照して、アイコンであるか否かを判別する。
すなわち、画像解析部223は、これらのオブジェクトを、それぞれ、アイコンDB231に登録されているアイコン図形231bと対比し、合致または類似するものがあるか否かを判別する。そして、アイコンDB231に登録されているアイコン図形231bの中に類似するものがあれば、抽出したオブジェクトを、当該アイコン図形231bと特定する。
上記例では、バスの図形611、電車の図形612およびタクシーの図形613が、アイコンと判別され、それぞれのアイコンID231aが特定される。
そして、指示受付表示部221は、特定された各アイコンのアイコン図形231bを、アイコンDB231から抽出し、表示アイコン712として生成する。生成した表示アイコン712のディスプレイ215への表示例を図7(a)に示す。このとき、表示アイコン712の表示領域は、予め定めておく。なお、表示領域は、ユーザ201からの指示により変更可能としてもよい。
そして、ユーザ201から、選択指示を受け付けると、当該アイコンに対応づけられているアプリケーションを起動させる。ここでは、タクシーの図形のアイコンが選択され、それに対応付けられた、タクシー配車アプリケーションが起動される。
このとき、指示受付表示部221は、選択指示を受け付けた表示アイコン712を、他の表示アイコン712とは異なる態様で表示させる。例えば、図7(b)に示すように、他の表示アイコン712より大きく表示させる。
その後、指示受付表示部221は、アプリ起動部224からの指示に従って、図7(c)に示すように、起動させたアプリケーションの初期画面データ713を、ディスプレイ215に表示させる。
以上説明したように、本実施形態のHMD200は、ユーザ201の指示に従って外向カメラ214aで撮影した画像233を解析し、外界に存在する実オブジェクトを抽出し、それぞれ、関連するアイコンを特定する。そして、特定されたアイコンに対応付けられたアプリケーションを起動する。すなわち、本実施形態では、アイコン図形に類似した、実オブジェクトを撮影するだけでアプリケーションが起動する。
このように、本実施形態によれば、外界に配される各種のオブジェクトを、あたかもアイコンのように用い、対応するアプリケーションを起動させる。従って、本実施形態によれば、ユーザ201の置かれた環境で、最も使用される可能性の高いアプリケーションを、ユーザ201の手を煩わすことなく起動させることができる。多数のアイコン表示から選択を受け付ける処理がないため、ユーザ201の視野を阻害することなく、利便性および操作性の高いHMD200を提供できる。
また、本実施形態によれば、ユーザ201が置かれた環境で、使用される可能性の高いアプリケーションのアイコンが複数特定された場合であっても、それらのみが表示される。すなわち、使用される可能性の高いアイコンのみが選択的に表示される。
一般に、スマートフォン、タブレット端末、パソコンなどを基に構築される端末では、その端末で使用可能なアプリケーションそれぞれのアイコンが全て表示され、その中からユーザ201は選択する必要がある。このため、多数のアイコンがディスプレイ215に表示される。
しかしながら、本実施形態によれば、必要最小限のアイコンしか表示されない。このため、HMD200のような、表示領域の小さい表示端末であっても、ユーザ201の視野を阻害することが少ない。また、多数のアイコンの中から所望のアイコンを探索する手間も省くことができ、使い勝手もよい。従って、視認性、利便性および操作性の高いHMD200を提供できる。
また、本実施形態では、ユーザ201が実行したいアプリケーションがHMD200に登録されていない場合、アプリ取得部225が、サーバ300から取得し、登録する。このため、所望のアプリケーションの実行確率が向上する。
<変形例1>
また、上記実施形態では、指示受付表示部221は、ユーザ201からの指示を、ユーザ201の視線を解析することにより、受け付けている。しかし、指示の受け付け手法は、これに限定されない。例えば、タッチセンサ218eによるセンシングを用いてもよい。ディスプレイ215の表示領域内で、カーソル表示に対する操作によるカーソル移動と選択動作、例えばタッチセンサ218eへの2度タップ動作等によって、当該領域が選択されたことを認識し、受け付ける。
また、上記実施形態では、指示受付表示部221は、ユーザ201からの指示を、ユーザ201の視線を解析することにより、受け付けている。しかし、指示の受け付け手法は、これに限定されない。例えば、タッチセンサ218eによるセンシングを用いてもよい。ディスプレイ215の表示領域内で、カーソル表示に対する操作によるカーソル移動と選択動作、例えばタッチセンサ218eへの2度タップ動作等によって、当該領域が選択されたことを認識し、受け付ける。
また、図8(a)に示すように、指示受付表示部221は、ユーザ201の手指の動きを外向カメラ214aで検出する。手指の動きとして、ジェスチャ操作が検出された場合、指示受付表示部221は、当該表示アイコン712が選択されたものと判断してもよい。なお、ジェスチャ操作とは、例えば、表示アイコン712が表示されている領域をタッチするような動作、クリックするような動作、あるいはつまむような動作等である。また、タッチするような動作は、手指と表示アイコン712とが視線上で重なる他、オブジェクトの実物へのタッチ動作等でもよい。
<変形例2>
なお、上記実施形態では、図7(a)に示すように、表示アイコン712を、ディスプレイ215の、予め定めた領域に表示しているが、これに限定されない。例えば、指示受付表示部221は、図8(b)に示すように、ディスプレイ215上の、ユーザ201の実視野の、元となる実オブジェクトの位置に、表示アイコン712を仮想オブジェクトのように表示させてもよい。
なお、上記実施形態では、図7(a)に示すように、表示アイコン712を、ディスプレイ215の、予め定めた領域に表示しているが、これに限定されない。例えば、指示受付表示部221は、図8(b)に示すように、ディスプレイ215上の、ユーザ201の実視野の、元となる実オブジェクトの位置に、表示アイコン712を仮想オブジェクトのように表示させてもよい。
このとき、対応するアプリケーションが記憶装置230に格納されているアイコンと、そうでないアイコンとの表示アイコン712の表示態様を変更してもよい。
さらに、表示アイコン712として表示させるのは、アイコン図形231bでなくてもよい。ディスプレイ215上の、アイコンであると判別されたオブジェクトの領域に、当該オブジェクトがアイコンと判別されたことがわかる表示を行ってもよい。例えば、点線の枠を当該オブジェクトの位置に表示させるなどである。
<変形例3>
また、この表示アイコン712の表示は、ユーザ201の指示により表示と非表示との切り替え可能に構成してもよい。表示アイコン712を表示しない場合は、ユーザ201は、実オブジェクトに対応する領域自体をアイコンとして選択操作を行い、対応アプリの起動を行うようにしてもよい。この場合、指示受付表示部221は、視野範囲を撮影した画像を解析することにより、ユーザ201が選択操作した画像領域のオブジェクトからアイコンを特定し、指示を受け付ける。また、表示により、外界の認識が阻害されると判別された場合、指示受付表示部221は、表示アイコン712の表示を禁止してもよい。この場合、指示受付表示部221は、表示前に、実視野に対応する領域の画像を取得し、画像解析部223に解析させ、表示アイコン712の表示により、外界の実オブジェクト群の認識が阻害されるか否かを判別する。また、画像解析部223の解析結果に従って、指示受付表示部221は、外界の実オブジェクト群の認識が、できるだけ阻害されないような領域に表示アイコン712を表示させるよう調整してもよい。
また、この表示アイコン712の表示は、ユーザ201の指示により表示と非表示との切り替え可能に構成してもよい。表示アイコン712を表示しない場合は、ユーザ201は、実オブジェクトに対応する領域自体をアイコンとして選択操作を行い、対応アプリの起動を行うようにしてもよい。この場合、指示受付表示部221は、視野範囲を撮影した画像を解析することにより、ユーザ201が選択操作した画像領域のオブジェクトからアイコンを特定し、指示を受け付ける。また、表示により、外界の認識が阻害されると判別された場合、指示受付表示部221は、表示アイコン712の表示を禁止してもよい。この場合、指示受付表示部221は、表示前に、実視野に対応する領域の画像を取得し、画像解析部223に解析させ、表示アイコン712の表示により、外界の実オブジェクト群の認識が阻害されるか否かを判別する。また、画像解析部223の解析結果に従って、指示受付表示部221は、外界の実オブジェクト群の認識が、できるだけ阻害されないような領域に表示アイコン712を表示させるよう調整してもよい。
<変形例4>
また、上記実施形態では、画像解析部223は、取得された画像233から、ユーザ201の実視野内の図形をオブジェクトとして抽出している。しかし、抽出するオブジェクトは、図形に限定されない。例えば、看板等に表示された文字列でもよい。オブジェクトとして抽出する文字列621、622、623の例を図9(a)から図9(c)に示す。
また、上記実施形態では、画像解析部223は、取得された画像233から、ユーザ201の実視野内の図形をオブジェクトとして抽出している。しかし、抽出するオブジェクトは、図形に限定されない。例えば、看板等に表示された文字列でもよい。オブジェクトとして抽出する文字列621、622、623の例を図9(a)から図9(c)に示す。
文字列の抽出は、既存の技術、例えば、OCR等の処理により行う。そして、画像解析部223は、抽出した文字列の意味を解析する。意味解析は、既存の技術、例えば、形態素解析等の処理により行う。そして、解析した意味と、アイコンDB231の内容231dとを比較し、対応するアイコンの有無を判別する。すなわち、画像解析部223は、解析により得られた意味と、内容231dとが所定の精度で合致した場合、当該内容231dを有するアイコンを、関連するアイコンと判別する。
なお、画像解析部223は、抽出した文字列に関連するアイコンが特定された場合、当該アイコンのアイコン図形231bを抽出し、指示受付表示部221に、表示アイコン712として、ディスプレイ215に表示させてもよい。表示位置は、実視野の当該文字列の近傍とする。ディスプレイ215への表示例を図9(d)から図9(f)に示す。ここで、図9(f)は、関連するアイコンとして、複数のアイコンが特定された場合の例である。この場合は、特定された全てのアイコンのアイコン図形231bを表示させる。
抽出するオブジェクトを図形に限定しないことにより、より幅広くユーザ201の実視野内からアイコンに相当する領域を抽出することができる。これに伴い、所望のアプリケーションが起動される確率が高まる。よって、ユーザ201にとっての利便性が向上する。
<変形例5>
なお、上記実施形態では、アイコン数が1つの場合、対応するアプリケーションを自動起動させている。しかし、これに限定されない。例えば、起動前にユーザ201から、実行の指示(実行指示)を受け付けるよう構成してもよい。すなわち、上記ステップS1109の前に、実行指示を受け付け、アプリ起動部224は、アプリケーションを起動する。
なお、上記実施形態では、アイコン数が1つの場合、対応するアプリケーションを自動起動させている。しかし、これに限定されない。例えば、起動前にユーザ201から、実行の指示(実行指示)を受け付けるよう構成してもよい。すなわち、上記ステップS1109の前に、実行指示を受け付け、アプリ起動部224は、アプリケーションを起動する。
このとき、図8(c)に示すように、指示受付表示部221は、例えば、ディスプレイ215の所定の領域に、実行指示を受け付ける指示ボタン715を表示する。そして、当該指示ボタン715に対する視線による選択を、実行指示として受け付ける。
起動前にユーザ201から実行指示を受け付けることにより、不要なアプリケーションの起動を低減できる。
なお、自動起動させる場合、自動起動後、ユーザ201から、アプリケーションの起動あるいは動作を途中で中止させる指示(中止指示)を受付可能なように構成してもよい。中止指示には、例えば、図8(a)を用いて説明した、ユーザ201によるジェスチャ操作等を用いることができる。ジェスチャ操作は、手を振る、頭を振る等の操作であってもよい。
さらに、このジェスチャ操作により、意図しない表示を解除するよう構成してもよい。例えば、ユーザ201の視線により、意図せず探索指示ボタン711を選択してしまうことがある。このとき、その後表示される表示アイコン712、初期画面データ713等は、意図しないものである。このような場合、指示受付表示部221は、中止指示を受け付けると、アプリケーション制御処理を中止し、元の画面に戻す。
また、実行指示を受け付けることなく自動で起動させる場合、アプリケーションによっては、予め起動禁止を設定しておいてもよい。具体的には、アプリDB232の該当するアプリケーションのレコードに起動禁止を意味するフラグを設定しておく。アプリ起動部224は、起動禁止が設定されている場合、上記ステップS1109において、アプリケーションを起動せず、例えば、ユーザ201に起動禁止が設定されていることを通知する。
<変形例6>
なお、上記実施形態では、アプリDB232において、1つのアイコンID232aに対し、1つのアプリケーションが対応づけられているが、これに限定されない。例えば、1つのアイコンID232aに対し、複数のアプリケーションが対応づけられていてもよい。
なお、上記実施形態では、アプリDB232において、1つのアイコンID232aに対し、1つのアプリケーションが対応づけられているが、これに限定されない。例えば、1つのアイコンID232aに対し、複数のアプリケーションが対応づけられていてもよい。
例えば、タクシーの図形のアイコン(アイコンID232aは、タクシー01)に、複数のタクシー会社の配車アプリケーションがそれぞれ関連づけられている場合のアプリDB232の一例を図10(a)に示す。
この場合、アプリ起動部224は、選択指示を受け付けたアイコンのアイコンID232aに対応付けられた全てのアプリケーションの情報を指示受付表示部221に出力する。例えば、アプリ名称232bを出力する。これを受け、指示受付表示部221は、図10(b)に示すように、対応付けられたアプリケーションを特定可能な画像データ(アプリアイコン)714を生成し、ディスプレイ215に表示する。
指示受付表示部221は、アプリアイコン714に対するユーザ201による選択の指示を受け付ける。そして、アプリ起動部224は、当該アプリケーションを起動する。
なお、1つのアイコンID232aに対し、複数のアプリケーションが対応づけられている場合、アプリケーションに、優先順位を設定し、アプリアイコン714を、優先度の高い順に並べて表示するよう構成してもよい。この場合、優先度は、予めアプリDB232に登録しておく。
なお、優先順位が設定されている場合は、指示受付表示部221は、ユーザ201からの選択を待たず、優先順位の一番高いものが選択されたものと判定してもよい。
また、対応アプリケーションがアプリDB232に登録されていない場合、アプリ取得部225が上述のようにサーバ300から取得する。このとき、サーバ300上でも、1つのアイコンに対し、複数のアプリケーションが用意されていることがある。この場合、ダウンロードする前に、指示受付表示部221は、各アプリケーションを特定する情報をディスプレイ215に表示し、ユーザ201からの選択の指示を受け付けるよう構成してもよい。
なお、アプリ取得部225が、サーバ300からアプリケーションを取得する場合、送信するアイコンID232aに対応付けられたアプリケーションが存在しない場合がある。このような場合は、サーバ300上のAI(Artificial Intelligence)機能によって、関連性(適合性)の高いアプリケーションを、関連度(適合度)の高い順に所定数選出させてもよい。
その結果選出されたアプリケーションのアプリアイコン714を適合度の高い順に表示してもよい。なお、表示は、人気順であってもよい。そして、ユーザ201からの選択指示を受け付けると、アプリ取得部225は、選択されたアプリケーションを、サーバ300からダウンロードする。
<変形例7>
また、HMD200が備える他の機能と連携し、さらに、表示アイコン712またはアプリアイコン714の表示数を低減させてもよい。また、照合対象のアイコン数を低減させて、画像解析部223の処理負担を低減させてもよい。これにより、処理速度を速めるとともに、アイコンとして特定される確率および所望のアイコンが特定される確率を高めることができる。
また、HMD200が備える他の機能と連携し、さらに、表示アイコン712またはアプリアイコン714の表示数を低減させてもよい。また、照合対象のアイコン数を低減させて、画像解析部223の処理負担を低減させてもよい。これにより、処理速度を速めるとともに、アイコンとして特定される確率および所望のアイコンが特定される確率を高めることができる。
例えば、ユーザ201の状況により、アイコンDB231内の照合対象とするアイコンを制限する。この場合、画像解析部223は、まず、上記手法で画像からオブジェクトを抽出する。そして、アイコンであるか否かを判別する際、状況に合致した種別231cまたは内容231dを有するアイコンのアイコン図形231bとのみ照合する。
例えば、HMD200が、スケジュール管理機能を備える場合、その情報を利用してもよい。例えば、スケジュール管理機能により、これから電車に乗る予定が明らかな場合、画像解析部223は、内容231dあるいは種別231cを参照し、電車関連のアイコンのアイコン図形231bのみを抽出して照合を行う。電車関連のアイコンは、例えば、内容231dに電車関連であることが登録されているアイコン、あるいは、種別231cが交通であるアイコンである。なお、画像解析部223は、スケジュール管理機能から、スケジュール情報を取得し、意味解析により照合範囲を特定する。
また、例えば、HMD200が、処理履歴を蓄積する機能を備える場合、その情報を利用してもよい。また、HMD200が、処理履歴を、処理時の位置情報に対応づけて蓄積する機能を備える場合、その情報を利用してもよい。これらは、さらに、スケジュール情報と組み合わせて用いてもよい。
例えば、ユーザ201が、特定の店舗では、電子マネーで支払いをしていることが履歴として記録されている場合、画像解析部223は、この情報を用いて、照合範囲を制限する。店舗を特定する情報には、店舗の位置情報を用いる。店舗の位置情報は、位置情報取得装置であるGPS受信機218aにより取得する。
すなわち、HMD200の現在位置が当該店舗である場合、画像解析部223は、抽出したオブジェクトを、アイコンDB231の、電子マネーに関連するアイコン図形231bのみと照合する。例えば、内容231dに電子マネーであることを意味する情報が登録されているアイコンや、種別231cに決済であることが登録されているアイコン等である。
なお、さらに、特定の店舗では、特定の電子マネーで支払いをしていると記録されている場合、アプリ起動部224は、ユーザ201が当該店舗内で探索モードをONにした場合、当該特定の電子マネーに関連するアプリケーションを直接起動するよう構成しもてよい。なお、アプリ起動部224は、指示受付表示部221を介して、位置情報、探索指示を受信する。
また、現在位置情報に加え、現在位置がどのような場所であるかの情報が得られる場合、当該情報に応じて、抽出するアイコンの範囲を限定してもよい。
例えば、現在位置が、行政関連施設等であれば、行政サービス系のアイコンに、交通機関であれば、交通系のアイコンのみを画像解析部223の検索範囲とする。
これにより、アイコンに類似の実オブジェクトを不用意に撮影したとしても、アイコンとして抽出されない。なお、現在位置がどのような場所であるかの情報は、GPS受信機218aによる現在位置情報、通信I/F217が有するモバイル通信機能等で得られる現在位置情報および地図情報等を用いて判断される。
また、他のデータベースと連携してもよい。例えば、図11に示すように、予め店舗毎に利用可能なアプリケーションをデータベース(店舗DB235)として保持し、それを用いて、照合対象のアイコン図形231b数を低減してもよい。
店舗DB235には、店舗毎に、その位置情報と、利用可能なアプリケーションのアプリID232cまたはアイコンID232aが登録される。図11の例では、アイコンID232aが登録される場合を例示する。画像解析部223は、HMD200のGPS受信機218aで取得した現在位置情報と、店舗の位置情報とが合致した場合、当該店舗にいると判別する。そして、店舗DB235に登録される利用可能なアイコンID232aにより照合範囲を限定する。
なお、店舗DB235を有する場合、ユーザ201が店舗にいると判別された状態で、探索モードがONになった場合、指示受付表示部221は、画像解析部223に画像を解析させる代わりに、店舗DB235に登録されるアイコンID232aのアイコン図形231bを、アイコンDB231から抽出し、全てディスプレイ215に表示させてもよい。
また、店舗DB235に、さらに、店舗毎に、利用可能なアプリケーションの優先順位が設定されていてもよい。この場合、指示受付表示部221は、当該店舗内で探索モードがONになった場合、HMD200に登録されているアプリケーションの中で、最も優先度の高いアプリケーションを、アプリ起動部224に起動させてもよい。
特に、決済時等のアプリケーション制御処理にこのような変形例を適用すると、例えば、HMD200が、実視野に存在する実オブジェクトそれぞれに対応するアイコンのアプリケーションを保持している場合であっても、決済に非関連のアイコンは表示されない。これにより、選択候補がより関連性の高いもののみになるため、ユーザにとって、さらに使い勝手が向上する。
なお、本変形例は、同種別のアイコンが複数表示され、所定の規則に従って選択する場合に適用可能である。所定の規則は、例えば、過去の利用頻度や、予め定めた優先順位等である。
<変形例8>
また、アイコンに相当するオブジェクトの近傍にQRコード(登録商標)等の補助コードが配置されている場合、アプリ制御部220の処理負担を軽減するため、当該補助コードにより提供される補助情報を用いてもよい。例えば、アプリケーションを、当該補助コードの情報に従って取得してもよい。なお、以下、補助コードがQRコードである場合を例にあげて説明する。
また、アイコンに相当するオブジェクトの近傍にQRコード(登録商標)等の補助コードが配置されている場合、アプリ制御部220の処理負担を軽減するため、当該補助コードにより提供される補助情報を用いてもよい。例えば、アプリケーションを、当該補助コードの情報に従って取得してもよい。なお、以下、補助コードがQRコードである場合を例にあげて説明する。
本実施形態では、画像解析部223により抽出されたオブジェクトがアイコンと判別された場合、画像解析部223は、さらに、画像233内の当該オブジェクトの近傍のQRコードの補助情報を参照する。
なお、画像解析部223は、画像内にQRコードが無い場合は、本処理は行わなくてもよい。画像内にQRコードが複数ある場合は、各オブジェクトについて、画像内で、最も距離の近い(最寄の)QRコードを、当該オブジェクトのQRコードと判断する。
そして、画像解析部223は、特定したQRコードから情報(QR情報と呼ぶ。)を取得し、そのQR情報に従って処理を行い、その結果を表示する。
画像解析部223は、例えば、QR情報に、関連するアプリケーションの保存場所としてURLが登録されている場合、それを、アプリ起動部224を介してアプリ取得部225に通知する。アプリ取得部225は、通信I/F217を介して当該URLにアクセスし、当該URLを有するサーバ300からアプリケーションを取得し、起動する。また、QR情報そのものをテキスト化してディスプレイ215に表示してもよい。
例えば、図12(a)に示すように、タクシーの図形513が付された看板501上に、QRコード531が付されているとする。画像解析部223は、この視野を撮影した画像233からタクシーの図形513に対応する領域をアイコンと特定する。その後、画像233の中から最寄のQRコードを特定し、その情報を取得し、上述のように利用する。
なお、図12(a)に示すように、タクシー乗場の看板501に配置されるQRコードには、例えば、タクシー配車サービスを提供する会社のURL情報、タクシー配車アプリケーションのURL情報、配車指定場所を示す位置情報、配車センターの電話番号情報、等が記録される。
また、種別231cがショッピングであるアイコンの近傍に配置されるQRコードには、例えば、オンラインショップのアプリケーションのURL情報、店舗情報等の掲載されるURL情報、店舗の商品情報、会計時の決済情報、等が記録される。
また、路線バスの図形の近傍に配置されるQRコードには、バス路線情報、乗場情報、運賃情報等を掲載するサイトのURL情報、実時間での運行情報を提供するサイトのURL情報、乗り換え案内を提供するサイトのURL情報等が記録される。
また、トイレを示す図形の近傍に配置されるQRコードには、公衆トイレの位置や、現在位置から最寄りの公衆トイレまでの誘導情報を提供するサイトのURL情報等が記録される。このようなQRコードは、例えば、大型店舗やショッピングモール等に設けられる。
QRコードにより得られる補助情報とは別に、上記実施形態同様、アプリ起動部224が、アプリDB232を参照し、アイコンに対応づけて登録されているアプリケーションを起動させてもよい。
また、補助情報は、起動されたアプリケーションの処理に用いてもよい。
この場合、起動したアプリケーションは、読み取った補助情報と共に、あるいは補助情報に基づいて所定の処理を行う。これにより、QRコードから得た補助情報を、アプリケーション実行時のパラメータとして用いたりするなど、より複合的な処理を自動化できる。従って、アプリケーションソフトによる処理動作に加えて補助コードを用いることによりHMD200のユーザ201にとって、さらに望ましい処理を得ることが可能となる。
例えば、図12(b)に示すように、衣服に添付されるタグ等にマーク518とQRコード531とが付されているものとする。このマーク518には、衣服を扱うオンラインストアのアプリケーションが対応づけられているものとする。また、QRコード531には、当該衣服のメーカコード、商品番号、色、サイズ等当該衣服を特定する情報が補助情報として登録されているものとする。
当該アプリが起動された際、補助情報を取り込むことで、自動的に当該衣服と同一商品をオンラインストアで注文できる。また、当該衣類に関し、色やサイズの異なる商品を検索することができる。
また、例えば、図13(a)に示すように、店舗の会計用レジスタ(レジ)542近傍には、通常、使用可能なクレジットカードのマークや、使用可能な電子マネーのマーク、その他使用可能な決済手段のマーク等が貼付される。このようなエリアでは、レシート541等に記載されたQRコード531を用いてもよい。この場合のQRコード531には、購入金額の合計、店舗情報、購入品情報、決済機関、等の決済に必要な情報が補助情報として記録されている。アイコンの選択により起動された決済系のアプリケーションがこのQRコード531に記録されている補助情報を用いて決済処理を進めることが出来る。なお、レシート541の代わりにタブレット等の表示端末にQRコードを表示してもよい。さらに、使用可能なクレジットカードのマークや、使用可能な電子マネーのマーク、その他使用可能な決済手段のマーク等を表示端末に表示してもよい。
なお、視野範囲の撮影とレシート541の撮影とは、別個に行ってもよい。この場合、アプリ制御部220は、先に撮影したユーザ201の視野範囲の画像から抽出、特定されたアイコンに対応するアプリケーションを起動後、レシート541を撮影し、QRコード531の補助情報を取得し、アプリケーションの処理に反映させる。
なお、上記説明では、画像解析部223が、QRコードのリーダとしても機能する場合を例に挙げて説明した。しかし、QRコードのリーダ機能を、画像解析部223とは別に備えていてもよい。この場合、画像解析部223は、QRコードを特定した後、当該リーダ機能に対し、読み取を指示する。
また、上記説明では、QRコードの読み取りは、自動的に行われる。しかし、QRコードの読み取りは、ユーザ201からの指示を受け付けた場合のみ行うよう構成してもよい。この場合、指示受付表示部221が、ユーザ201による指示を受け付け、画像解析部223またはリーダ機能に読み取りを指示する。例えば、ユーザ201の視線方向が、ディスプレイ215に表示される画像上のQRコードの方向である場合、選択されたと判断する。
なお、上記例では、オブジェクトとQRコードとは独立したものである。しかし、アイコン図形と補助コード(QRコード)とを組み合わせたアイコン付QRコードがある。
このようなアイコン付QRコードの場合、画像解析部223は、抽出されたオブジェクトに対し、アイコンであるか否かの判定を行わず、アイコンと判定し、QRコードに記録されている補助情報を取得する。そして、補助情報に従って、その後の処理を行う。
図13(b)に、決済系のアイコン付QRコード532の一例を示す。本図では、QRコードの部分に、アイコン図形の種別が決済系であること、利用可能な決済手段などが記録される。
画像解析部223は、画像を解析することにより、これらの情報を取得する。そして、アイコンDB231にアクセスし、種別231cが決済系であるアイコン図形を全て抽出し、図13(c)に示すように、ディスプレイ215に表示させる。以下の処理は、上記実施形態と同様である。
なお、ここでは、決済系のアイコン図形を例にあげて説明しているが、これに限定されない。交通系、コマース系、行政サービス系等、様々なサービスや処理に適用することができる。
<変形例9>
なお、上記実施形態および変形例では、HMD200自体が、アイコンDB231を備え、画像解析部223がアイコンDB231を参照し、抽出したオブジェクトがアイコンであるか否かを判別している。また、アプリケーションについても、同様に、HMD200自体がアプリDB232を備え、アプリDB232のアプリ格納場所232dに従って、アプリケーションを起動させている。
なお、上記実施形態および変形例では、HMD200自体が、アイコンDB231を備え、画像解析部223がアイコンDB231を参照し、抽出したオブジェクトがアイコンであるか否かを判別している。また、アプリケーションについても、同様に、HMD200自体がアプリDB232を備え、アプリDB232のアプリ格納場所232dに従って、アプリケーションを起動させている。
しかしながら、アイコンDB231およびアプリDB232を、HMD200自体が備えなくてもよい。アイコンDB231の代わりに、サーバ300が様々なアイコン図形が登録されるアイコンバンク311を備えていてもよい。また、アプリDB232無しで、常に、サーバ300からアプリケーションを取得するよう構成してもよい。
この場合、図14に示すように、アイコンバンク311に登録される各アイコンは、アイコンID311aと、アイコン図形311bと、種別311cと、内容311dとを備える。さらに、アイコンは、当該アイコンに対応するアプリケーションのURL情報(対応アプリURL311e)と、関連情報311fとが登録される。
種別311cは、上記アイコンDB231同様、アイコンの種類で分類した情報であり、例えば、交通系、決済系、等である。アイコンID311aは、各アイコンを一意に識別する情報である。対応アプリURL311eは、アイコンに対応付けられたアプリケーションへのアクセス情報である。関連情報は、例えば、当該アイコンの登録元の情報、権利元の情報等である。
なお、アイコンバンク311が登録されるサーバ300は、アプリケーションが登録されるサーバ300とは異なる装置であってよい。
この場合、画像解析部223は、上記ステップS1103のアイコンの特定処理時に、通信I/F217を介してサーバ300のアイコンバンク311にアクセスし、照会を行い、特定する。そして、画像解析部223は、特定したアイコンのアイコンID311aおよびアイコン図形311bをHMD200にダウンロードし、アイコン図形311bをディスプレイ215に表示し、選択を受け付ける。なお、ダウンロードする際は、アイコンに対応付けられた、他の情報(種別311c、内容311d、対応アプリURL311e等)も、併せてダウンロードする。
指示受付表示部221は、選択されたアイコンの情報を、アプリ取得部225に通知する。そして、アプリ取得部225は、選択されたアイコンに対応付けられた対応アプリURL311eに従って、当該URLにアクセスし、対応アプリケーションをダウンロードし、起動する。
抽出したオブジェクトがアイコンであるか否かを判別する際、アイコンDB231のみを照合範囲とすると、処理速度は速い。一方、アイコンバンク311を用いることにより、ネットワーク101を介してサーバ300にアクセスすることになり、全体としての処理速度は遅くなるが、その分、アイコンとして特定される可能性が高まる。
この様に、アイコンバンク311に各種のアイコンとその関連情報とを登録しておくことで、初めて使用するアイコンに対して、それを認識して関連するアプリケーションを利用することが出来る。このため、利便性がさらに向上する。
なお、アプリケーション自体もアイコンバンク311に登録されていてもよい。
また、上記実施形態と、本変形例とを組み合わせてもよい。すなわち、画像解析部223は、オブジェクト抽出後、まず、アイコンDB231にアクセスする。そして、アイコンDB231に、抽出したオブジェクトに相当するアイコンが登録されていない場合、サーバ300のアイコンバンク311を照会する。そして、画像解析部223は、アイコンバンク311からアイコン図形等のデータをダウンロードした場合、アイコンDB231に追加登録する。
これにより、アイコンDB231が充実していない場合であっても、画像233から、世の中にあるアイコンに類似するオブジェクトを抽出さえできれば、当該アイコンに対応付けられたアプリケーションを起動できる。すなわち、一般に広く普及していないアイコンについては、事前の登録が不要となり、さらに利便性が向上する。
なお、アイコンバンク311にも合致するアイコン図形311bが登録されていない場合は、画像233から抽出したオブジェクトは、類似のアイコンが存在しないものと判別し、その旨をディスプレイ215に表示して処理を中断してもよい。また、ユーザ201にその旨通知してもよい。
アイコンバンク311を用いることにより、実世界上に存在する各種のオブジェクトをアイコンとして登録して意味づけや種別分けすることで利用可能となる。あるいは、意味づけ等が行われていないオブジェクトであっても、当該オブジェクトの形状、配置場所等から類推して意味づけを行うことも可能である。
<<第二の実施形態>>
次に本発明の第二の実施形態を説明する。第一の実施形態では、表示をHMD200のディスプレイ215に行っているが、本実施形態では、携帯端末とさらに連携し、表示は、携帯端末のディスプレイに行う。
次に本発明の第二の実施形態を説明する。第一の実施形態では、表示をHMD200のディスプレイ215に行っているが、本実施形態では、携帯端末とさらに連携し、表示は、携帯端末のディスプレイに行う。
本実施形態では、HMD200は、ユーザ201の手元の携帯端末との間で、WiFiやBluethooth(登録商標)の様な無線通信を行い、HMD200で特定したアイコン図形や、起動させたアプリケーションの初期画面のデータ等を携帯端末に送信する。携帯端末では、受信したアイコン図形や初期画面を携帯端末のディスプレイに表示させる。
まず、本実施形態のアプリケーション制御システム100aのシステム構成について説明する。図15(a)は、本実施形態のアプリケーション制御システム100aのシステム構成図である。本実施形態のアプリケーション制御システム100aは、HMD200と、サーバ300と、携帯端末400とを備える。
第一の実施形態同様、HMD200およびサーバ300は、ネットワーク101を介して接続される。また、これらの構成、機能は、第一の実施形態と同様である。
ただし、上述のように、本実施形態では、HMD200と携帯端末400とは、近距離無線通信でデータの送受信を行う。このため、本実施形態の通信I/F217は、LAN(Local Area Network)通信I/Fと、近距離無線通信I/Fと、を備える。
LAN通信I/Fは、Wi-Fi(登録商標)等による無線接続によりアクセスポイント(AP)装置を介してネットワークに接続され、ネットワーク上の他の装置とデータの送受信を行うインタフェースである。
近距離無線通信I/Fは、無線通信器を備える他の装置と無線通信によりデータの送受信を行う。例えば、Bluetooth等により、数mから数十m程度の距離の情報機器間で、電波を使い、簡易な情報のやりとりを実現するI/Fである。また、近接無線通信I/Fは、例えば、近距離無線通信(NFC(Near Field Communication))のI/Fであり、数センチからおよそ1メートル程度の極短距離で、NFCチップを搭載した機器間の双方向通信を実現してもよい。例えば、携帯端末の本体に搭載される電子マネーなどの非接触ICチップを利用したサービスに対応する。
さらに、指示受付表示部221は、通信I/F217を介して、携帯端末400からの指示を受け付ける。
携帯端末400は、例えば、スマートフォン、タブレット端末等、通信機能と表示装置とを備える情報処理装置である。携帯端末400はウォッチ等のウェアラブル機器でもよい。ウェアラブル機器を用いると、HMD200と合わせてウェアラブル機器のみでシステムが構築できるため、使用者の手を塞がない利点を保てる。本実施形態では、HMD200とは、近距離無線通信で接続される。近距離無線通信は、例えば、WiFiやBluethooth等である。なお、携帯端末400は、さらに、ネットワーク101に接続される。
図15(b)に、本実施形態の携帯端末400のハードウェア構成図を示す。携帯端末400は、基本的に図2に示すHMD200と同様の構成を有する。すなわち、CPU411と、RAM412と、ROM413と、カメラ414(外向カメラ414aおよび視線検出カメラ414b)と、ディスプレイ415と、音声インタフェース(I/F)416と、通信I/F417と、センサ418(GPS受信機418a、ジャイロセンサ418b、加速度センサ418c、地磁気センサ418d、タッチセンサ418e)と、各部を接続するバス419と、を備える。図2に示すHMD200と同名の構成は、同様の機能を備える。
すなわち、通信I/F417も、通信I/F217同様、LAN通信I/Fと、近距離無線通信I/Fと、を備える。なお、通信I/F417は、さらに、移動体電話通信網の基地局との無線通信により、通話及びデータの送受信を行う電話網通信I/Fと、USB(Universal Serial Bus)等の有線接続手段により、HMD200近傍の他の装置とデータの送受信を行う優先通信I/Fと、近接無線通信器を備える他の装置と無線通信によりデータの送受信を行う近接無線通信I/Fと、赤外線通信を実現する赤外線通信I/Fと、を備えてもよい。
本実施形態では、第一の実施形態において、HMD200のディスプレイ215に表示されるデータが、ディスプレイ215の代わりに、ディスプレイ415に表示される。
また、ディスプレイ415を介して受け付けたユーザからの指示は、通信I/F417を介して、HMD200に送信され、通信I/F217を介して、指示受付表示部221に送信される。
以下、本実施形態のディスプレイ415における表示例を、図16(a)~図16(c)を用いて、具体例で説明する。例えば、ユーザ201がタクシー乗場の近傍に来た場合、第一の実施形態では、ディスプレイ215に表示される探索指示ボタン711を選択する。本実施形態では、図16(a)に示すように、ディスプレイ415に探索指示ボタン421を表示させる。表示は、携帯端末400のCPU411によりなされる。
そして、ユーザ201が、探索指示ボタン421を選択すると、CPU411は、選択を受け付ける。そして、CPU411は、選択を受け付けたことを意味する信号を生成し、通信I/F417を介してHMD200に出力する。HMD200では、通信I/F217を介してこの信号を受信し、指示受付表示部221に受け渡される。
指示受付表示部221は、画像解析部223に指示し、第一の実施形態同様、撮影処理部222に画像を取得させる。そして、画像解析部223に、オブジェクトを抽出させ、アイコンを特定させる。そして、画像解析部223がアイコンを特定すると、特定されたアイコンの数が複数の場合、当該アイコン図形を通信I/F217を介して携帯端末400へ送信する。
携帯端末400側では、図16(b)に示すように、CPU411が、受信したアイコン図形422を、ディスプレイ415に表示させる。そして、CPU411がユーザからの選択を受け付けると、受け付けた選択内容を通信I/F417を介してHMD200へ送信する。
HMD200側では、通信I/F217を介して指示受付表示部221が選択内容を受信すると、選択内容をアプリ起動部224へ送信する。それを受け、アプリ起動部224は、第一の実施形態同様の手法で、アプリDB232にアクセスし、アプリケーションの登録の有無を判別する。そして、アプリ起動部224は、アプリケーションが登録されていれば、当該アプリケーションを起動させる。そして、指示受付表示部221は、初期画面データを、通信I/F217を介して携帯端末400へ送信する。
携帯端末400側では、図16(c)に示すように、CPU411が、受信した初期画面423を、ディスプレイ415に表示させる。
一方、アプリケーションが登録されていない場合は、アプリ取得部225に、サーバ300からアプリを取得させ、第一の実施形態同様の処理を行った後、取得したアプリケーションを起動させ、その起動画面データを送信する。
本実施形態によれば、ユーザ201が手元に保持する携帯端末400と連携する。従って、ユーザ201は、自身が手元に保有する携帯端末400で操作指示を行うことができ、使い勝手がよい。
なお、ディスプレイ215での表示態様の各種の変形例は、本実施形態の表示においても適用できる。
例えば、選択されたアイコン図形の表示を、他の非選択のアイコン図形とは異なる態様とする、取得した画像上に、アイコン図形を重畳表示する、等である。取得した画像上にアイコン図形を重畳表示する場合は、取得した画像も、併せて携帯端末400へ送信する。
また、第一の実施形態の、表示態様以外の各種の変形例も、本実施形態に適用できる。
<<第三の実施形態>>
次に、本発明の第三の実施形態を説明する。本実施形態では、第一の実施形態または第二の実施形態のシステム構成に、さらに、ビーコンが加わる。以下、第一の実施形態にビーコンが加わる場合を例に、本実施形態を説明する。
次に、本発明の第三の実施形態を説明する。本実施形態では、第一の実施形態または第二の実施形態のシステム構成に、さらに、ビーコンが加わる。以下、第一の実施形態にビーコンが加わる場合を例に、本実施形態を説明する。
図17(a)は、本実施形態のアプリケーション制御システム100bのシステム構成図である。本実施形態のアプリケーション制御システム100bは、HMD200と、サーバ300と、ビーコン800とを備える。
ビーコン800は、予め設定された固有のID情報を出力する。例えば、BLE(Bluetooth Low Energy)仕様の信号(以下、ビーコン信号と呼ぶ。)を常時発信する。このビーコン信号は、ビーコン信号を受信するアプリケーションが起動されている端末においてのみ受信される。
本実施形態のビーコン800は、ビーコン信号を発信する発信器である。ビーコン800は、数秒ごとに1回、ビーコン信号を出力する。このビーコン信号は、例えば、半径数十メートルの範囲に到達する程度の出力とする。
第一の実施形態同様、HMD200およびサーバ300は、ネットワーク101を介して接続される。また、これらの構成、機能は、基本的に、第一の実施形態と同様である。
ただし、本実施形態のHDM200の通信I/F217は、ビーコン800からのビーコン信号を受信する信号受信部としても機能する。すなわち、BLE仕様の信号を受信可能とする。
また、HMD200は、ビーコン800からの信号を受信した場合、探索モードとする。これを実現するため、本実施形態のHMD200は、図17(b)に示すように、第一の実施形態の機能に加え、ビーコン信号の受信処理を行うビーコン受信部228をさらに備える。
ビーコン受信部228は、ビーコン800からのビーコン信号を受信すると、指示受付表示部221に探索指示を送信する。
上述のように、ビーコン信号は、このビーコン信号に応じた処理を行うアプリケーション(以下、ビーコン受信アプリと呼ぶ。)を搭載した端末においてのみ受信される。本実施形態では、記憶装置230にこのビーコン受信アプリのプログラムを登録しておく。そして、HMD200の起動とともに、あるいは、ユーザ201からの指示に従って、CPU211が、ビーコン受信アプリをRAM212にロードして実行することにより、ビーコン信号を受信する通信I/F217およびビーコン受信部228を実現する。なお、ビーコン受信アプリは、起動後、常時、バックグラウンドで実行される。
このように、本実施形態では、HMD200が、ビーコン信号を受信可能なエリア内に入ると、HMD200は、通信I/F217を介してビーコン信号を受信する。そして、受信したビーコン信号は、ビーコン受信部228に送信され、探索指示とされ、指示受付表示部221に送信される。
探索指示を受け取った指示受付表示部221は、第一の実施形態同様、撮影処理部222に撮影、すなわち、画像233の取得を開始させる。そして、画像解析部223は、画像233が取得される毎に、画像233を解析してオブジェクトを抽出し、アイコンを特定する。そして、アプリ起動部224が、指定されたアイコンのアプリケーションを起動する。
以下、一例として、ビーコン800が、図18(a)に示すように、商店や飲食店等の会計エリアに配置される場合を例にあげて説明する。この場合、ビーコン800は、会計用レジスタ(レジ)の近傍に配置される。レジの近傍には、通常、使用可能なクレジットカードのマークや、使用可能なICカードのマーク等が貼付される。
ユーザ201が、レジに近づくと、HMD200は、ビーコン800からのビーコン信号を受信する。通信I/F217を介して指示受付表示部221は、ビーコン信号を受信すると、撮影処理部222に、視野範囲内の画像を取得させる。そして、画像解析部223は、オブジェクトを抽出し、アイコンを特定する。
会計エリアでは、ユーザ201は、透過型のディスプレイ215を通して、例えば、図18(b)に示すような光景(実像)550を見る。具体的には、レジ近傍に、当該店舗で使用可能な各種のクレジットカードや電子マネーのステッカーが貼付されている光景である。ここで、ビーコン信号を受信することにより、撮影処理部222は、図18(c)に示すような画像650を取得する。
画像解析部223は、この画像650から、オブジェクト群を抽出する。抽出されたオブジェクト群620の例を図19(a)に示す。そして、画像解析部223は、アイコンDB231を参照し、アイコンであるオブジェクトを特定する。
そして、指示受付表示部221は、アイコンと特定されたオブジェクトのアイコン図形231bを、アイコンDB231から抽出し、ディスプレイ215に表示する。表示例を図19(b)に示す。なお、ここでは、透過型のディスプレイ215を通してユーザ201の視界に入る、外界の光景は、省略する。以下同様とする。
指示受付表示部221は、ユーザ201からの選択の指示を受け付ける。指示受付表示部221は、例えば、選択されたアイコン図形231bを、他のアイコン図形とは異なる態様で表示させてもよい。例えば、図19(c)に示すように、選択されたアイコン図形を、他のアイコン図形より大きく表示する。
アプリ起動部224は、選択されたアイコンに対応づけてアプリDB232に登録されているアプリケーションを起動する。ここでは、例えば、図19(d)に示すように、アイコン図形で示されたカードによる決済を行う画面を、ディスプレイ215に表示する。
なお、選択されたアイコンに対応づけてアプリケーションが登録されていない場合、第一の実施形態同様、アプリ取得部225が、サーバ300からアプリを取得する。
このように、本実施形態では、外界のアイコンに相当するオブジェクトが配される近傍に、ビーコンを配置する。そして、探索モードをONにする代わりに、ビーコン800からの信号を受信した場合、HMD200が、アプリケーション制御処理を開始する。
このため、本実施形態によれば、第一の実施形態と同様の効果を奏する。さらに、本実施形態によれば、探索モードをONにするといった操作が不要となり、ユーザ201の手間が減り、利便性が高まる。
<変形例10>
なお、ビーコン800から出力されるビーコン信号は、本実施形態では、基本的に、アイコンに相当するオブジェクトが近傍にあることを意味する信号である。しかしながら、ビーコン800が発信するビーコン信号には、位置情報以外の情報を追加してもよい。例えば、近傍で行われる処理を限定する情報等である。
なお、ビーコン800から出力されるビーコン信号は、本実施形態では、基本的に、アイコンに相当するオブジェクトが近傍にあることを意味する信号である。しかしながら、ビーコン800が発信するビーコン信号には、位置情報以外の情報を追加してもよい。例えば、近傍で行われる処理を限定する情報等である。
これにより、画像解析部223が照合するアイコンの種別231cを限定することができる。その結果、外界のマークに対する反応が頻繁に起こる煩わしさを低減できる。
例えば、決済を伴う場所近傍では、決済に関連した、アイコンのみを特定する。この場合、指示受付表示部221は、ビーコン信号を受信すると、探索指示を出力するだけでなく、ビーコン信号を、画像解析部223にも出力する。
画像解析部223は、ビーコン信号を解析し、必要とするアイコンの種別231cを特定する。そして、抽出したオブジェクトに対応するアイコンを特定する際、特定した種別231cに合致したアイコンのみと照合する。
例えば、種別231cが決済であるアイコンのみを抽出するようビーコン信号に登録されている場合、図19(b)の例では、左から、それぞれ、アイコンDBに登録されるアイコン種別が、決済、決済、決済、決済、ポイント付与、とする。この場合、一番右のアイコンは、ディスプレイ215に表示されない。
なお、本実施形態においても、第二の実施形態のように、表示先は、携帯端末400であってもよい。
<変形例11>
上記各実施形態および変形例のHMD200は、さらに、使用者認証機能を備えていてもよい。
上記各実施形態および変形例のHMD200は、さらに、使用者認証機能を備えていてもよい。
使用者認証機能は、HMD200のユーザ201が、予め登録されたユーザ201であることを認証し、認証が成功した場合のみ、上記アプリケーション制御処理を行うよう指示するセキュリティ機能である。
本変形例のHMD200の機能ブロック図を図20に示す。本変形例のアプリ制御部220は、第一の実施形態の機能に、さらに、HMD200のユーザ201を認証する使用者認証を行う認証部229を備える。
使用者認証には、例えば、虹彩認証等を用いることができる。この場合、使用者認証機能は、例えば、認証部229と視線検出カメラ214bとにより実現される。
虹彩認証では、予めユーザ201の虹彩を撮影し、ROM213に照合データ236として記憶しておく。ユーザ201がHMD200を装着した際、認証部229は、視線検出カメラ214bでユーザ201の虹彩の画像を取得し、予め記憶した虹彩の画像と照合する。そして、認証部229は、照合に成功した場合、正当なユーザ201であることを、指示受付表示部221に通知する。指示受付表示部221は、照合成功の通知を受けた場合、探索指示ボタンをディスプレイ215に表示する。
なお、使用者認証は、上記手法に限定されない。例えば、認証パターンの視線追跡によるロック解除、所定時間でのまばたき回数や所定時間間隔でのまばたき動作、あるいは指紋認証機能等であってもよい。また、これらの組み合わせであってもよい。また、これ以外の認証手法であってもよい。なお、認証パターンは、例えば、指示受付表示部221により作成する。
以上により、例えば決済処理などに於いて他者のなりすましによる処理を防ぐことが可能となる。従って、利便性と高い操作性を備えながら、安全性も高いHMD200を実現できる。
<変形例12>
なお、第一の実施形態、第三の実施形態および各変形例では、表示端末として、HMD200を用いる場合を例にあげて説明したが、表示端末は、これに限定されない。これらの例では、カメラや通信機能を備えたスマートフォンやタブレット型端末等の携帯端末であってもよい。
なお、第一の実施形態、第三の実施形態および各変形例では、表示端末として、HMD200を用いる場合を例にあげて説明したが、表示端末は、これに限定されない。これらの例では、カメラや通信機能を備えたスマートフォンやタブレット型端末等の携帯端末であってもよい。
いずれであっても、アイコン図形に類似した、実オブジェクトを撮影するだけでアプリケーションを立ち上げることができる。このため、利用したいアプリケーションのアイコンを表示画面上から探し出して起動するといった手間を省くことができ、使い勝手が向上する。
なお、上記第一の実施形態および第二の実施形態では、探索モードがONになった際、外界の画像233を取得し、画像解析を開始しているが、これに限定されない。例えば、常時、所定の時間間隔で外界の画像233を取得し、画像を取得する毎に、画像解析部223がアイコンを特定するよう構成してもよい。
この場合、常に、ディスプレイ215にそのタイミングで選択可能な表示アイコン712が表示される。ユーザ201は、アプリケーションを実行したいタイミングで、表示アイコン712の中から選択指示を行えばよい。
なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100:アプリケーション制御システム、100a:アプリケーション制御システム、
100b:アプリケーション制御システム、101:ネットワーク、
200:HMD、201:ユーザ、211:CPU、212:RAM、213:ROM
、214:カメラ、214a:外向カメラ、214b:視線検出カメラ、215:ディス
プレイ、216:音声I/F、217:通信I/F、218:センサ、218a:GPS
受信機、218b:ジャイロセンサ、218c:加速度センサ、218d:地磁気センサ
、218e:タッチセンサ、219:バス、220:アプリ制御部、221:指示受付表
示部、222:撮影処理部、223:画像解析部、224:アプリ起動部、225:アプ
リ取得部、228:ビーコン受信部、229:認証部、230:記憶装置、
231:アイコンDB、231a:アイコンID、231b:アイコン図形、231c
:種別、231d:内容、232:アプリDB、232a:アイコンID、232b:ア
プリ名称、232c:アプリID、232d:アプリ格納場所、
233:画像、234:表示データ、235:店舗DB、236:照合データ、241
:表示制御部、242:表示画像生成部、243:視線検出部、244:解析制御部、
300:サーバ、311:アイコンバンク、311a:アイコンID、311b:アイ
コン図形、311c:種別、311d:内容、311e:対応アプリURL、311f:
関連情報、
400:携帯端末、411:CPU、412:RAM、413:ROM、414:カメ
ラ、414a:外向カメラ、414b:視線検出カメラ、415:ディスプレイ、417
:通信I/F、418:センサ、418a:GPS受信機、418b:ジャイロセンサ、
418c:加速度センサ、418d:地磁気センサ、418e:タッチセンサ、419:
バス、421:探索指示ボタン、422:アイコン図形、423:初期画面、
501:看板、510:実像、511:バスの図形、512:電車の図形、513:タ
クシーの図形、514:人物、515:花、516:雑草、517:犬、518:マーク
、531:QRコード、532:アイコン付QRコード、541:レシート、550:実
像、
601:画像、602:オブジェクト、603:タクシー配車アプリ、610:画像、
611:図形、612:図形、613:図形、614:図形、615:図形、616:図
形、617:図形、618:円、619:楕円、620:オブジェクト群、621:文字
列、622:文字列、623:文字列、650:画像、
711:探索指示ボタン、712:表示アイコン、713:初期画面データ、714:
アプリアイコン、715:指示ボタン、800:ビーコン
100b:アプリケーション制御システム、101:ネットワーク、
200:HMD、201:ユーザ、211:CPU、212:RAM、213:ROM
、214:カメラ、214a:外向カメラ、214b:視線検出カメラ、215:ディス
プレイ、216:音声I/F、217:通信I/F、218:センサ、218a:GPS
受信機、218b:ジャイロセンサ、218c:加速度センサ、218d:地磁気センサ
、218e:タッチセンサ、219:バス、220:アプリ制御部、221:指示受付表
示部、222:撮影処理部、223:画像解析部、224:アプリ起動部、225:アプ
リ取得部、228:ビーコン受信部、229:認証部、230:記憶装置、
231:アイコンDB、231a:アイコンID、231b:アイコン図形、231c
:種別、231d:内容、232:アプリDB、232a:アイコンID、232b:ア
プリ名称、232c:アプリID、232d:アプリ格納場所、
233:画像、234:表示データ、235:店舗DB、236:照合データ、241
:表示制御部、242:表示画像生成部、243:視線検出部、244:解析制御部、
300:サーバ、311:アイコンバンク、311a:アイコンID、311b:アイ
コン図形、311c:種別、311d:内容、311e:対応アプリURL、311f:
関連情報、
400:携帯端末、411:CPU、412:RAM、413:ROM、414:カメ
ラ、414a:外向カメラ、414b:視線検出カメラ、415:ディスプレイ、417
:通信I/F、418:センサ、418a:GPS受信機、418b:ジャイロセンサ、
418c:加速度センサ、418d:地磁気センサ、418e:タッチセンサ、419:
バス、421:探索指示ボタン、422:アイコン図形、423:初期画面、
501:看板、510:実像、511:バスの図形、512:電車の図形、513:タ
クシーの図形、514:人物、515:花、516:雑草、517:犬、518:マーク
、531:QRコード、532:アイコン付QRコード、541:レシート、550:実
像、
601:画像、602:オブジェクト、603:タクシー配車アプリ、610:画像、
611:図形、612:図形、613:図形、614:図形、615:図形、616:図
形、617:図形、618:円、619:楕円、620:オブジェクト群、621:文字
列、622:文字列、623:文字列、650:画像、
711:探索指示ボタン、712:表示アイコン、713:初期画面データ、714:
アプリアイコン、715:指示ボタン、800:ビーコン
本発明は、表示端末であって、撮影部と、表示部と、制御部と、を備え、当該表示端末は、探索モードを有し、前記制御部は、ユーザの指示に基づいて前記探索モードへの切替えが行われた場合、前記撮影部が前記ユーザの視野範囲の画像を取得するよう制御し、実行可能なアプリケーションに対応するアイコン図形が前記画像にあるか否かを解析するように制御し、前記アイコン図形が一つある場合、前記アイコン図形に対応するアプリケーションを自動で起動するよう制御し、前記アイコン図形が複数ある場合、前記アイコン図形を前記表示部に表示し、前記ユーザにより選択された前記アイコン図形に対応するアプリケーションを起動するよう制御する。
また、本発明は表示端末におけるアプリケーション制御方法であって、前記表示端末は、撮影部と、表示部と、制御部と、を備え、当該表示端末は、探索モードを有し、前記制御部は、ユーザの指示に基づいて前記探索モードへの切替えが行われた場合、前記撮影部が前記ユーザの視野範囲の画像を取得するよう制御し、実行可能なアプリケーションに対応するアイコン図形が前記画像にあるか否かを解析するように制御し、前記アイコン図形が一つある場合、前記アイコン図形に対応するアプリケーションを自動で起動するよう制御し、前記アイコン図形が複数ある場合、前記アイコン図形を前記表示部に表示し、前記ユーザにより選択された前記アイコン図形に対応するアプリケーションを起動するよう制御する。
Claims (6)
- 撮影装置と、前記撮影装置で撮影した画像の解析およびアプリケーションの実行を行うアプリケーション制御部を備える表示端末であって、
当該表示端末のユーザの指示により、
前記撮影装置は、前記ユーザの視野範囲の画像を取得し、
前記アプリケーション制御部は、前記視野範囲の画像に表示されている実行可能なアプリケーションに対応するアイコン図形を、前記視野範囲の画像に基づき探索し、前記探索により前記アイコン図形を一つ発見した場合は、前記アイコン図形に対応するアプリケーションを自動で起動し、複数発見した場合は、前記アイコン図形を当該表示端末に表示し、前記ユーザにより選択された前記アイコン図形に対応するアプリケーションを起動すること
を特徴とする表示端末。 - 請求項1に記載の表示端末であって、
前記アプリケーション制御部は、所定の時間間隔で前記アイコン図形の探索と前記アイコン図形に対応するアプリケーションを起動する処理を繰り返し、
前記アプリケーションを起動する処理の後に、当該表示端末に前記アイコン図形が表示されている場合は、前記アイコン図形を消去する
ことを特徴とする表示端末。 - 請求項1記載の表示端末であって、
当該表示端末は、ヘッドマウントディスプレイである
ことを特徴とする表示端末。 - 表示端末と、前記表示端末にネットワークを介して接続されるサーバとを備えたアプリケーション制御システムであって、
撮影装置と、
記憶装置と、
前記表示端末のユーザの指示により、前記撮影装置が前記ユーザの視野範囲の画像を取得し、前記視野範囲の画像に表示されている実行可能なアプリケーションに対応するアイコン図形を、前記視野範囲の画像に基づき探索する画像解析部と、
前記探索により発見された前記アイコン図形に対応付けられたアプリケーションが、前記記憶装置に格納されているか判別する起動部と、
前記アプリケーションが前記記憶装置に格納されていないと判別された場合、当該アプリケーションを前記サーバから取得する取得部と、を備え、
前記起動部はさらに、前記探索により発見された前記アイコン図形が一つの場合は、当該アイコン図形に対応付けられたアプリケーションを自動起動し、複数の場合は前記ユーザにより選択された前記アイコン図形に対応付けられたアプリケーションを起動する
ことを特徴とするアプリケーション制御システム。 - 請求項4に記載のアプリケーション制御システムであって、
前記探索により発見された前記アイコン図形に対応するアプリケーションが前記サーバにも格納されていない場合、前記サーバが関連性の高いアプリケーションを関連度の高い順に所定数を選出する
ことを特徴とするアプリケーション制御システム。 - 撮影装置を備える表示端末におけるアプリケーション制御方法であって、
前記表示端末のユーザの指示により、
前記ユーザの視野範囲の画像を取得し、
前記視野範囲の画像に表示されている実行可能なアプリケーションに対応するアイコン図形を、前記視野範囲の画像に基づき探索し、
前記探索により発見された前記アイコン図形が一つの場合は当該アイコン図形に対応付けられたアプリケーションを自動起動し、複数の場合は前記アイコン図形を当該表示端末に表示し、前記ユーザにより選択された前記アイコン図形に対応付けられたアプリケーションを起動する
ことを特徴とするアプリケーション制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024050613A JP2024071596A (ja) | 2019-01-24 | 2024-03-27 | 表示端末およびアプリケーション制御方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020567318A JP7223776B2 (ja) | 2019-01-24 | 2019-01-24 | 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 |
PCT/JP2019/002279 WO2020152828A1 (ja) | 2019-01-24 | 2019-01-24 | 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 |
JP2023016069A JP7463578B2 (ja) | 2019-01-24 | 2023-02-06 | アプリケーション制御システムおよびアプリケーション制御方法 |
JP2024050613A JP2024071596A (ja) | 2019-01-24 | 2024-03-27 | 表示端末およびアプリケーション制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023016069A Division JP7463578B2 (ja) | 2019-01-24 | 2023-02-06 | アプリケーション制御システムおよびアプリケーション制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024071596A true JP2024071596A (ja) | 2024-05-24 |
Family
ID=71736846
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020567318A Active JP7223776B2 (ja) | 2019-01-24 | 2019-01-24 | 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 |
JP2023016069A Active JP7463578B2 (ja) | 2019-01-24 | 2023-02-06 | アプリケーション制御システムおよびアプリケーション制御方法 |
JP2024050613A Pending JP2024071596A (ja) | 2019-01-24 | 2024-03-27 | 表示端末およびアプリケーション制御方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020567318A Active JP7223776B2 (ja) | 2019-01-24 | 2019-01-24 | 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 |
JP2023016069A Active JP7463578B2 (ja) | 2019-01-24 | 2023-02-06 | アプリケーション制御システムおよびアプリケーション制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220057636A1 (ja) |
JP (3) | JP7223776B2 (ja) |
CN (1) | CN113272766A (ja) |
WO (1) | WO2020152828A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117480860A (zh) * | 2021-06-08 | 2024-01-30 | 株式会社半导体能源研究所 | 显示装置及显示系统 |
USD985619S1 (en) * | 2021-08-23 | 2023-05-09 | Waymo Llc | Display screen or portion thereof with graphical user interface |
JP7506135B2 (ja) | 2022-11-15 | 2024-06-25 | ソフトバンク株式会社 | 情報処理装置、プログラム、及び表示方法 |
CN116048710B (zh) * | 2023-04-03 | 2023-09-29 | 荣耀终端有限公司 | 应用标识的显示方法、电子设备及可读存储介质 |
JP7481567B1 (ja) | 2023-12-13 | 2024-05-10 | PayPay株式会社 | アプリケーション管理システム、アプリケーション管理装置、アプリケーション管理方法、およびプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000194726A (ja) * | 1998-10-19 | 2000-07-14 | Sony Corp | 情報処理装置及び方法、情報処理システム並びに提供媒体 |
WO2011119167A2 (en) * | 2010-03-26 | 2011-09-29 | Hewlett-Packard Development Company, L.P. | Associated file |
KR101795040B1 (ko) * | 2011-06-21 | 2017-11-08 | 삼성전자주식회사 | 휴대단말기의 어플리케이션 설치 방법 |
KR101343609B1 (ko) * | 2011-08-24 | 2014-02-07 | 주식회사 팬택 | 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법 |
KR20190133080A (ko) * | 2011-09-19 | 2019-11-29 | 아이사이트 모빌 테크놀로지 엘티디 | 증강 현실 시스템용 터치프리 인터페이스 |
JP6044079B2 (ja) * | 2012-02-06 | 2016-12-14 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP5705793B2 (ja) * | 2012-06-21 | 2015-04-22 | ヤフー株式会社 | 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラム |
US9690457B2 (en) * | 2012-08-24 | 2017-06-27 | Empire Technology Development Llc | Virtual reality applications |
US9924102B2 (en) * | 2013-03-14 | 2018-03-20 | Qualcomm Incorporated | Image-based application launcher |
WO2014157886A1 (en) * | 2013-03-27 | 2014-10-02 | Samsung Electronics Co., Ltd. | Method and device for executing application |
JP6108926B2 (ja) | 2013-04-15 | 2017-04-05 | オリンパス株式会社 | ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法 |
EP3012587A4 (en) | 2013-06-17 | 2017-03-08 | Sony Corporation | Image processing device, image processing method, and program |
US10943111B2 (en) * | 2014-09-29 | 2021-03-09 | Sony Interactive Entertainment Inc. | Method and apparatus for recognition and matching of objects depicted in images |
JP6596989B2 (ja) * | 2015-07-02 | 2019-10-30 | 富士通株式会社 | 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ |
WO2018029831A1 (ja) * | 2016-08-10 | 2018-02-15 | 三菱電機ビルテクノサービス株式会社 | ビル用ビーコンシステム |
JP2018055416A (ja) * | 2016-09-29 | 2018-04-05 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム |
US10360734B2 (en) * | 2017-05-05 | 2019-07-23 | Unity IPR ApS | Contextual applications in a mixed reality environment |
JP6972682B2 (ja) * | 2017-06-13 | 2021-11-24 | セイコーエプソン株式会社 | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 |
WO2018230656A1 (ja) * | 2017-06-16 | 2018-12-20 | 本田技研工業株式会社 | 地点情報提供システム、地点情報提供方法、およびプログラム |
US10325409B2 (en) * | 2017-06-16 | 2019-06-18 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
WO2018230649A1 (ja) | 2017-06-16 | 2018-12-20 | 本田技研工業株式会社 | 情報提供システム、情報提供方法、およびプログラム |
-
2019
- 2019-01-24 JP JP2020567318A patent/JP7223776B2/ja active Active
- 2019-01-24 CN CN201980088453.5A patent/CN113272766A/zh active Pending
- 2019-01-24 US US17/421,220 patent/US20220057636A1/en active Pending
- 2019-01-24 WO PCT/JP2019/002279 patent/WO2020152828A1/ja active Application Filing
-
2023
- 2023-02-06 JP JP2023016069A patent/JP7463578B2/ja active Active
-
2024
- 2024-03-27 JP JP2024050613A patent/JP2024071596A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7223776B2 (ja) | 2023-02-16 |
CN113272766A (zh) | 2021-08-17 |
WO2020152828A1 (ja) | 2020-07-30 |
US20220057636A1 (en) | 2022-02-24 |
JPWO2020152828A1 (ja) | 2021-11-18 |
JP2023041955A (ja) | 2023-03-24 |
JP7463578B2 (ja) | 2024-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7463578B2 (ja) | アプリケーション制御システムおよびアプリケーション制御方法 | |
AU2018289629B2 (en) | Settlement method, entrance control method, and apparatus | |
US20190311422A1 (en) | Methods and arrangements including data migration among computing platforms, e.g. through use of audio encoding | |
CN104813298B (zh) | 使用传感器背景的近场通信方法和装置 | |
KR20160105279A (ko) | 전자 결제 시스템을 포함하는 전자 장치 및 그의 동작 방법 | |
KR20160099464A (ko) | 결제 처리 방법 및 이를 지원하는 전자 장치 | |
KR20150059466A (ko) | 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치 | |
KR20150026535A (ko) | 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체 | |
CN110023935B (zh) | 信息处理终端、信息处理设备、信息处理方法、信息处理系统和程序 | |
KR102598806B1 (ko) | 동적으로 구성 가능한 소셜 미디어 플랫폼 | |
JP2015179493A (ja) | ジェスチャ入力システム | |
US20160260080A1 (en) | Terminal and operating method thereof | |
EP3787225A1 (en) | Authentication system, authentication terminal, user terminal, authentication method, and program | |
EP3438904A1 (en) | Biological data registration support device, biological data registration support system, biological data registration support method, biological data registration support program, recording medium for storing biological data registration support program | |
KR20170022592A (ko) | 전자 장치 및 이의 콘텐트 변형 방법 | |
CN114730425A (zh) | 无现金结算系统以及信息终端 | |
KR102303206B1 (ko) | 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치 | |
CN113850587A (zh) | 一种信息显示方法、装置及设备 | |
JP6584855B2 (ja) | 入力支援装置、入力支援方法及びプログラム | |
JP7509218B2 (ja) | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム | |
JP3156068U (ja) | 地図情報提供システム | |
US10802700B2 (en) | Information processing apparatus and information processing method | |
US11265391B1 (en) | Medical service provider rapid response system | |
KR20210110471A (ko) | 필기 입력에 기초하여, 동작을 수행하는 전자 장치 및 그 동작 방법 | |
KR20160108090A (ko) | 단말기 및 그 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240404 |