WO2019097726A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2019097726A1
WO2019097726A1 PCT/JP2017/041676 JP2017041676W WO2019097726A1 WO 2019097726 A1 WO2019097726 A1 WO 2019097726A1 JP 2017041676 W JP2017041676 W JP 2017041676W WO 2019097726 A1 WO2019097726 A1 WO 2019097726A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
user
information processing
time zone
Prior art date
Application number
PCT/JP2017/041676
Other languages
English (en)
French (fr)
Inventor
ケルビン カ シン チェング
宗 益子
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to JP2019522596A priority Critical patent/JP6606312B2/ja
Priority to US16/615,901 priority patent/US11126848B2/en
Priority to EP17932463.7A priority patent/EP3716220B1/en
Priority to PCT/JP2017/041676 priority patent/WO2019097726A1/ja
Publication of WO2019097726A1 publication Critical patent/WO2019097726A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt

Definitions

  • One aspect of the present invention relates to an information processing apparatus, an information processing method, and an information processing program for providing a user with augmented reality.
  • Patent Document 1 specifies an object displayed as three-dimensional data based on a photographing unit that detects the line of sight of the user by photographing the eyes of the user and the detected line of sight of the user,
  • a head mounted display is described which comprises: data of interest output means for outputting as data of interest.
  • the information processing apparatus attached to the user When the information processing apparatus attached to the user tries to acquire the related information of all the objects in the field of view of the user, it may take time to finish acquiring the related information from the server. In addition, even if the terminal can acquire the related information, if the view of the user changes during the process, the related information of the object out of view is discarded without being displayed on the terminal. Therefore, data communication between the information processing apparatus and the server becomes useless.
  • An information processing apparatus includes a detection unit that detects a region of interest corresponding to the user's vision, and a first object overlapping with the region of interest among one or more objects in a space where the user exists. In the first time zone where the first object overlaps the region of interest, the request unit which requests the other object to the first object information related to the first object, and the request in the first time zone. And a receiver configured to receive the first object information transmitted from another computer.
  • An information processing method is an information processing method executed by an information processing apparatus including a processor, which is a detection step of detecting an attention area corresponding to a user's vision;
  • the first object information related to the first object is identified in the identification step of identifying the first object overlapping the attention area among the one or more objects in the first time zone during which the first object overlaps the attention area.
  • a receiving step of requesting the first computer to receive the first object information transmitted from the other computer in response to the request during the first time zone.
  • An information processing program includes a detection step of detecting a region of interest corresponding to the user's vision, and a first object overlapping with the region of interest among one or more objects in a space where the user exists.
  • the first object overlaps with the region of interest
  • the request step of requesting the first object information related to the first object to another computer, and in the first time zone,
  • the computer executes a receiving step of receiving the first object information transmitted from the other computer.
  • the request and reception of the first object information related to the object is performed in the first time zone in which the object overlaps the attention area.
  • the information of the first object provided via the communication network is useful and not wasteful to the user.
  • the data communication of the information processing apparatus can be efficiently executed by requesting and receiving information in a time zone in which the user is estimated to focus on the object.
  • data communication of an information processing apparatus for providing a user with augmented reality can be efficiently executed.
  • FIG. 1 illustrates an example of the overall configuration of an augmented reality (AR) system. It is a figure which shows the example of the hardware constitutions of the head mounted display (HMD) which concerns on embodiment. It is a figure showing the example of the hardware constitutions of the server concerning an embodiment. It is a figure showing an example of functional composition of AR system concerning an embodiment. It is a figure which shows the example of a human visual field. It is a flowchart which shows the example of the whole process in HMD which concerns on embodiment. It is a flowchart which shows the example of detection of the attention area and surrounding area in HMD. It is a sequence diagram which shows the example of cooperation of HMD and server regarding acquisition of object information. It is a flow chart which shows an example of acquisition of object information about one object.
  • AR augmented reality
  • an information processing apparatus is applied to a head mounted display (HMD) 10.
  • the HMD 10 is a display device mounted on the head of the user and is a type of wearable terminal.
  • the HMD 10 is worn so as to cover the user's eyes, and the user can view the information displayed on the HMD 10.
  • the HMD 10 is used to provide the user with augmented reality.
  • Augmented reality is a world in which computer-processed information is added to the real world. Therefore, the display method of the HMD 10 is transmission type such as optical transmission and video transmission.
  • the user is a person who wears the HMD 10 and experiences augmented reality.
  • FIG. 1 is a diagram showing an example of the overall configuration of an augmented reality (AR) system 1 including an HMD 10.
  • the AR system 1 is a computer system that provides augmented reality to the user of the HMD 10.
  • the AR system 1 includes a server 20 and a database group 30 in addition to the HMD 10.
  • the number of HMDs 10 included in the AR system 1 is not limited, and the AR system 1 may include a plurality of HMDs 10.
  • the HMD 10 and the server 20 can exchange data with each other via the communication network N.
  • the server 20 can access the databases 30 via the communication network N.
  • the server 20 is a computer that provides the HMD 10 with information for realizing augmented reality, and corresponds to the “other computer” for the HMD 10.
  • the database group 30 is a device that stores data necessary for providing augmented reality.
  • the configuration of the communication network N is not limited, and may be configured to include, for example, the Internet or an intranet.
  • the portion of the communication network N connected to the HMD 10 is generally a wireless communication network.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the HMD 10.
  • the HMD 10 includes a processor 101, a main storage unit 102, an auxiliary storage unit 103, a communication module 104, a display 105, a camera 106, an inertial measurement unit (IMU) 107, a global positioning system (GPS) 108, and a depth sensor 109.
  • the processor 101 is an arithmetic device that executes an operating system, an application program, and the like.
  • the main storage unit 102 includes a ROM and a RAM, and temporarily stores loaded programs, operation results, and the like.
  • the auxiliary storage unit 103 is configured by a flash memory or the like, and stores programs or data permanently.
  • the communication module 104 is configured by a wireless communication module or the like, and performs transmission and reception of data with another computer.
  • the display 105 is a device that displays data or information so that the user can visually recognize, and realizes stereoscopic vision by displaying an image for the left eye and an image for the right eye.
  • the camera 106 is a sensor for photographing the surrounding environment of the user or photographing the eyes of the user, and the HMD 10 can be equipped with a plurality of types of cameras for each purpose of such photographing.
  • the IMU 107 is a sensor that detects angles or angular velocities and accelerations of three axes that define movement.
  • the GPS 108 is a system that calculates the current position using radio waves transmitted from a plurality of artificial satellites.
  • the depth sensor 109 is a sensor that measures the distance to the object, and is configured of, for example, an infrared depth sensor.
  • the HMD 10 may not include some of these hardware elements, or may include other hardware elements.
  • the shape of the HMD 10 may be glasses, goggles, helmets, etc., but the shape is not limited.
  • Each functional element of the HMD 10 is realized by reading predetermined software (for example, a client program P1 described later) on the processor 101 or the main storage unit 102 and executing the software.
  • the processor 101 operates the communication module 104, the display 105, the camera 106, the IMU 107, the GPS 108, or the depth sensor 109 in accordance with the software to read and write data in the main storage unit 102 or the auxiliary storage unit 103.
  • Data or database necessary for processing is stored in the main storage unit 102 or the auxiliary storage unit 103.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the server 20.
  • the server 20 includes a processor 201 that executes an operating system, an application program, etc., a main storage unit 202 configured by a ROM and a RAM, an auxiliary storage unit 203 configured by a hard disk or a flash memory, and a network card or wireless
  • the communication control unit 204 includes a communication module, an input device 205 such as a keyboard and a mouse, and an output device 206 such as a monitor.
  • the server 20 may not include some of these hardware components, or may include other hardware components.
  • Each functional element of the server 20 is realized by reading predetermined software (for example, a server program P2 described later) on the processor 201 or the main storage unit 202 and executing the software.
  • the processor 201 operates the communication control unit 204, the input device 205, or the output device 206 according to the software to read and write data in the main storage unit 202 or the auxiliary storage unit 203.
  • Data or database necessary for processing is stored in the main storage unit 202 or the auxiliary storage unit 203.
  • the server 20 may be configured by one computer or may be configured by a plurality of computers. In the case of using a plurality of computers, one computer 20 is logically constructed by connecting these computers via a communication network such as the Internet or an intranet.
  • FIG. 4 is a diagram showing an example of the functional configuration of the AR system 1.
  • the HMD 10 includes a visual field setting unit 11, a visual field detection unit 12, an object identification unit 13, a request unit 14, a reception unit 15, and a display control unit 16 as functional components.
  • the processor 101 functions as the visual field setting unit 11, the visual field detection unit 12, the object identification unit 13, the request unit 14, the reception unit 15, and the display control unit 16.
  • the server 20 includes a user search unit 21, a reception unit 22, an object search unit 23, and a transmission unit 24 as functional components. That is, the processor 201 functions as the user search unit 21, the reception unit 22, the object search unit 23, and the transmission unit 24.
  • the visual field setting unit 11 is a functional element that sets the visual field of the user on the HMD 10. More specifically, the visual field setting unit 11 sets a plurality of types of visual fields according to the viewing angle. For example, the visual field setting unit 11 sets the range (angle) from the user's gaze point (the point at which the user is watching), thereby setting the central vision, the effective visual field, and the peripheral visual field of the user.
  • the view setting unit 11 may acquire the user attribute from the server 20 in order to set the view.
  • Central vision is an area where human beings can clearly recognize the attributes (for example, shape and color) of an object, and generally from 1 to 2 degrees from the gaze point (the position the user is looking at (looking at)) It is a very limited range.
  • the effective visual field is a central vision and an area around it that allows a human to almost clearly recognize the attribute of an object, generally in the range of 4 to 20 ° from the gaze point.
  • the peripheral vision is an area other than the central vision and the effective visual field (in other words, the area outside the effective visual field), and a human can not clearly recognize an object in the peripheral vision.
  • peripheral vision human beings are relatively easy to recognize moving objects and noticeable objects, but have difficulty in recognizing stationary objects and inconspicuous objects.
  • FIG. 5 is a view showing human vision.
  • the central vision 41, the effective visual field 42, and the peripheral visual field 43 are determined based on the viewpoint 44 and the gaze point 45.
  • the viewpoint is a position serving as a reference point of the line of sight, and for example, a midpoint between the user's eyes may be set as the viewpoint.
  • the field of view is shown in two dimensions (a range along the horizontal direction) in this figure, the field of view is similarly defined in the vertical direction, and thus is in fact three-dimensionally defined.
  • the visual field detection unit 12 is a functional element that detects an attention area and a surrounding area corresponding to the user's vision.
  • the attention area is an area in which the user clearly recognizes the object in the field of view of the user on the HMD 10, and is a limited area including the fixation point.
  • the peripheral area is an area other than the area of interest in the field of view of the user on the HMD 10.
  • the visual field detection unit 12 may detect an attention area including central vision. For example, only the central vision may be detected as an attention area, or an area including central vision and part or all of the effective visual field is an attention area. It may be detected as In any case, the region of interest does not include the peripheral vision.
  • the visual field detection unit 12 specifies a portion other than the region of interest as the peripheral region.
  • the “region of interest and peripheral region corresponding to the user's vision” refers to the region of interest and peripheral region set based on the current line of sight of the user. Therefore, the attention area and the surrounding area to be detected change depending on the position, orientation, and movement of the user.
  • the object specifying unit 13 is a functional element that specifies, out of objects in the space where the user exists, a first object overlapping the detected area of interest and a second object overlapping the detected peripheral area.
  • the “space where the user exists” is a concept including at least one of the real space where the user exists and the virtual space provided to the user by the HMD 10. Therefore, “an object in the space in which the user exists” is a concept including both a real object in the real space and a virtual object displayed on the display 105 of the HMD 10.
  • An object is a tangible or visible intangible object that can be viewed by the user.
  • the “first object overlapping with the region of interest” is an object overlapping with at least a part of the region of interest on the display 105 viewed by the user.
  • the “second object overlapping with the peripheral area” is an object overlapping the peripheral area without overlapping with the attention area on the display 105 visually recognized by the user.
  • the object specifying unit 13 can specify one or more first objects and one or more second objects.
  • the request unit 14 is a functional element that requests the server 20 for object information related to an object.
  • the request unit 14 generates a request signal which is a signal for requesting object information, and transmits the request signal to the server 20.
  • the receiving unit 15 is a functional element that receives the first object information or the second object information transmitted from the server 20 in response to a request from the request unit 14.
  • the received object information can be said to be a response signal to the request signal.
  • the display control unit 16 is a functional element that displays the received first object information or second object information on the display 105.
  • the display control unit 16 displays individual object information on the HMD 10 in association with real or virtual individual objects that the user has already viewed.
  • the user search unit 21 is a functional element that transmits a user attribute in response to a request from the view setting unit 11.
  • the receiving unit 22 is a functional element that receives the request signal transmitted from the request unit 14.
  • the object search unit 23 is a functional element that searches for object information based on the request signal.
  • the transmission unit 24 is a functional element that transmits the object information to the HMD 10.
  • the database group 30 is a set of one or more databases.
  • the database is a functional element (storage unit) that stores data sets so as to be able to cope with arbitrary data operations (for example, extraction, addition, deletion, overwrite, etc.) from a processor or an external computer.
  • the implementation method of the database is not limited, and may be, for example, a database management system or a text file such as a configuration file.
  • the database group 30 includes a user database 31 and an object database 32.
  • the user database 31 is a device that stores user information.
  • the user information is information including a data item indicating an attribute of the user.
  • User attributes are the nature or characteristics of the user and may include so-called personal information.
  • Each record of user information is identified by a user ID which is an identifier for uniquely identifying an individual user. Any user ID may be used as long as it can identify the user, for example, a mere serial number or a personal account may be used as the user ID.
  • the user attribute is represented by one or more data items, and the number and type thereof are not limited at all.
  • the user attribute may include data items such as name, date of birth (age), gender, address, telephone number, and e-mail address.
  • the object database 32 is a device that stores object information.
  • Object information is information including a data item indicating an attribute (property or feature) of an object.
  • Each record of object information is identified by an object ID which is an identifier for uniquely identifying an individual object. Any object ID may be used as long as it can identify the object, for example, a mere serial number, a product number, or a model number may be used as the object ID.
  • An object attribute is represented by one or more data items, and the number and type thereof are not limited at all.
  • the object attribute may include data items such as product name, manufacturer name, seller name (store name), sales price, product description, user evaluation or comment.
  • FIG. 6 is a flowchart showing an example of the overall processing in the HMD 10.
  • FIG. 7 is a flow chart showing an example of detection of a region of interest and surrounding region in the HMD 10.
  • FIG. 8 is a sequence diagram showing an example of cooperation between the HMD 10 and the server 20 regarding acquisition of object information.
  • FIG. 9 is a flowchart showing an example of acquisition of object information for one object.
  • FIG. 10 is a flowchart showing an example of object search in the server 20.
  • FIG. 11 is a diagram showing an example of display of object information.
  • FIG. 12 is a flowchart showing another example of acquisition of object information for one object.
  • FIG. 13 is a view showing another example of display of object information.
  • FIG. 14 is a flowchart showing yet another example of acquisition of object information for one object.
  • the visual field setting unit 11 sets the visual field of the user.
  • the visual field setting unit 11 may set the central vision, the effective visual field, and the peripheral visual field based on the user's attributes, and adopts the central visual sense, the effective visual field, and the peripheral visual field set in advance regardless of the user's attributes. You may
  • the visual field setting unit 11 may have an adjustment function of changing the size of the central vision, the effective visual field, and the peripheral visual field based on user input.
  • the visual field detection unit 12 detects an attention area and a peripheral area corresponding to the user's vision.
  • the visual field detection unit 12 detects the current area of interest and the peripheral area based on the visual field set by the visual field setting unit 11 and the current state of the user.
  • the detection of the area of interest and the surrounding area is processing for specifying the area of the area of interest and the area around the HMD 10.
  • the current state of the user may be identified based on the user's posture and the presence or absence of movement.
  • the object identification unit 13 identifies the first object or the second object.
  • the object specifying unit 13 checks the overlap between the detected area of interest and an object in the space where the user exists (specifically, an object in the field of view of the user through the display 105). Identify an object Further, the object specifying unit 13 specifies the second object by examining an overlap between the detected peripheral area and an object in the space in which the user is present.
  • step S14 the request unit 14 and the reception unit cooperate to acquire the first object information or the second object information from the server 20.
  • the display control unit 16 displays the first object or the second object on the display 105.
  • the display control unit 16 may display the object information in an arbitrary format, and may display the object information in a format such as text, a symbol, a graphic, a still image, a moving image, and the like.
  • the display control unit 16 may display each piece of object information in the vicinity of the corresponding object, and this display method can convey the relationship between the object and the information to the user in an easily understandable manner.
  • step S16 the series of processes of step S12 to step S15 may be repeatedly executed until the end of the process is instructed by a user input or the like.
  • the visual field setting unit 11 refers to a memory (the main storage unit 102 or the auxiliary storage unit 103) to check whether visual field information has already been stored.
  • the visual field information is information indicating the central vision, the effective visual field, and the peripheral visual field when the user is at rest. As described above, since there are individual differences in human vision, the first object and the second object can be accurately identified by setting the vision on the HMD 10 to each user.
  • the visual field setting unit 11 transmits a signal including the user ID to the server 20 in step S112 (step S12).
  • step S113 the user search unit 21 of the server 20 receives the signal, searches the user database 31 using the user ID, and acquires the user attribute corresponding to the user ID.
  • step S114 the user search unit 21 transmits the user attribute to the HMD 10 as a response signal.
  • the visual field setting unit 11 receives the response signal, and generates visual field information based on the user attribute.
  • the visual field setting unit 11 holds in advance setting rules for determining the central vision, the effective visual field, and the peripheral visual field from the user attributes, and by referring to the rules, the central vision corresponding to the user attributes, the effective visual field , And set the peripheral vision.
  • the setting rule may indicate the correspondence between biological information (for example, age) and the size of each of the central vision, the effective visual field, and the peripheral visual field (the angle from the gaze point).
  • the effective visual field when the age is less than 65 years, the effective visual field is in the range of 20 ° from the gaze point, and the peripheral visual field is in the range of 100 ° from the gaze point. May be included.
  • the setting rule further indicates that, when the age is 65 or older, the effective visual field is in the range of 10 ° from the gaze point, and the peripheral visual field is in the range of 90 ° from the gaze point. May be included.
  • the details of the setting rule are not limited to this, and may be defined using, for example, different threshold values and setting values, or may be defined using user attributes other than the age.
  • the visual field setting unit 11 sets the visual field (central vision, effective visual field, and peripheral visual field) of the user based on the user attribute and the setting rule, and generates visual field information indicating the visual field. Then, the visual field setting unit 11 stores the visual field information in the memory (the main storage unit 102 or the auxiliary storage unit 103), and uses the visual field information in the subsequent processing.
  • the visual field setting unit 11 reads the visual field information from the memory.
  • the visual field detection unit 12 acquires the current state of the user.
  • the visual field setting unit 11 uses the data obtained from the camera 106 or the IMU 107 to execute tracking functions such as eye tracking and position tracking to obtain the user's gaze (viewpoint and gaze point).
  • the visual field setting unit 11 uses the data obtained from the camera 106, the IMU 107, or the GPS 108 to determine the current moving speed of the user.
  • the visual field detection unit 12 detects the attention area and the peripheral area based on the visual field information and the current state of the user. Specifically, in the visual field detection unit 12, the user stands still based on the visual field (central vision, effective visual field, and peripheral visual field) indicated by the visual field information and the calculated line of sight (viewpoint and gaze point) Calculate the current area of interest and surrounding area of the case. Then, the visual field detection unit 12 adjusts those areas based on the calculated moving speed. Generally, the faster a person travels, the narrower the field of vision, for example, the driver's field of vision becomes narrower as the speed of the vehicle increases. The adjustment of the attention area and the surrounding area based on the moving speed is a process in consideration of such a general phenomenon.
  • the visual field detection unit 12 holds in advance adjustment rules for adjusting the attention area and the peripheral area based on the moving speed, and adjusts the attention area and the peripheral area by referring to the rules.
  • the adjustment rule may indicate the correspondence between the movement speed and the size (angle from the gaze point) of the attention area and the surrounding area. For example, the adjustment rule does not adjust the attention area and the surrounding area when the movement speed is less than Va (that is, uses the attention area and the surrounding area at rest), and the movement speed Va or more. It may be defined to narrow the attention area and the surrounding area according to the increase of the moving speed.
  • step S116 and S117 by the visual field detection unit 12 is repeatedly executed according to the change of the state of the user (specifically, the change of the posture and the moving speed of the user).
  • the object identification unit 13 identifies an object overlapping the region of interest as a first object.
  • the object identification unit 13 estimates the position of each object based on data obtained from the camera 106 or the depth sensor 109.
  • the object specifying unit 13 specifies the object overlapping the attention area as the first object by obtaining the positional relationship between each object on the display 105 and the attention area. Note that there may be cases where no first object is identified.
  • the object specifying unit 13 obtains a first search key for obtaining first object information from each of the first objects.
  • the first search key and the method of obtaining it are not limited.
  • the object specifying unit 13 analyzes the image of the camera 106 to convert text or a two-dimensional barcode represented by printing, a seal, or the like on the first object into a character string, and It may be acquired as a search key.
  • the first search key may include an object ID.
  • the object identification unit 13 identifies an object overlapping the surrounding area as a second object. Similar to the first object, the object specifying unit 13 specifies the second object by obtaining the positional relationship between each object on the display 105 and the surrounding area. When one or more second objects are specified, the object specifying unit 13 acquires the second search key for obtaining the second object information from the respective second objects in the same manner as the first object.
  • the second search key may include an object ID.
  • step S123 the request unit 14 generates a request signal and transmits this signal to the server 20.
  • the request unit 14 generates a request signal including the first search key or the second search key.
  • the request unit 14 includes these two types of search keys in the request signal so that the server 20 can distinguish between the first search key and the second search key.
  • the server 20 searches for object information in response to the request signal.
  • the object search unit 23 acquires first object information from the object database 32 according to the first search key.
  • the object search unit 23 further acquires second object information from the object database 32 in accordance with the second search key. If the request signal does not include the first search key, step S124 is omitted, and if the request signal does not include the second search key, step S125 is omitted.
  • the transmission unit 24 transmits the first object information or the second object information to the HMD 10 as a response to the request signal.
  • the HMD 10 receives and displays the object information.
  • the display control unit 16 displays the received first object information or second object information on the display 105.
  • the display control unit 16 displays each of the first and second object information based on the position of each of the first and second objects on the display 105.
  • Whether a certain object A is processed as a first object, a second object, or not processed varies depending on the positional relationship between the detected area of interest and surrounding area and the object A. In other words, what information the HMD 10 displays regarding the object A may change with the passage of time depending on the user's gaze.
  • An example of processing for acquiring object information will be described in detail focusing on one object A with reference to FIG.
  • the object specifying unit 13 specifies the object A as a first object in step S132.
  • step S133 the object identification unit 13 estimates the distance from the user to the object A identified as the first object.
  • the object specifying unit 13 obtains the distance from the HMD 10 to the object A using the data obtained from the camera 106 or the depth sensor 109, and regards this distance as the distance from the user to the object A.
  • the object specifying unit 13 does not specify the object A as the first object or the second object.
  • the object specification unit 13 determines that the object A is the second object condition in step S135. It is determined whether or not they match. That is, the object specifying unit 13 determines whether to acquire the second object information for the object A. If the object A matches the condition of the second object (YES in step S135), the object specifying unit 13 specifies the object A as a second object in step S136. If the object A does not match the condition of the second object (NO in step S135), the object specifying unit 13 does not specify the object A as the second object.
  • the condition of the second object is not limited.
  • the condition of the second object may be defined as that the magnitude of the contrast between the object and the background area of the object (that is, the periphery of the object) is equal to or greater than the threshold Tc.
  • the object identification unit 13 holds a predetermined threshold Tc in advance.
  • the object specifying unit 13 analyzes the image obtained from the camera 106 to calculate the contrast between the object A and the background area of the object A, and compares the contrast with the threshold value Tc. If the contrast is equal to or higher than the threshold Tc (YES in step S135), the object specifying unit 13 specifies the object A as a second object (step S136). If the contrast is less than the threshold Tc (NO in step S135), the object specifying unit 13 does not specify the object A as the second object.
  • the condition of the second object may be defined as that the object is moving.
  • the object is moving is a concept that includes both the change of the position of the object and the movement of the object on the spot without changing the position.
  • the object specifying unit 13 analyzes an image (a moving image or a series of still images) obtained from the camera 106 to determine whether the object A is moving. If the object A is moving (YES in step S135), the object specifying unit 13 specifies the object A as a second object (step S136). If the object A is stationary (NO in step S135), the object specifying unit 13 does not specify the object A as the second object.
  • the condition of the second object may be defined as the object having the same attribute as the first object (ie, the object overlapping the region of interest).
  • the object specifying unit 13 analyzes the image of the camera 106 to convert text or a two-dimensional barcode represented by printing, sealing, or the like on the object A into a character string, and acquires the character string.
  • the object specifying unit 13 analyzes the image to convert the text or two-dimensional barcode expressed by printing, seal, etc. on the already specified first object into a character string, and acquires the character string Do. Then, the object identification unit 13 compares the two character strings to determine whether the object A has the same attribute as the first object.
  • the object specifying unit 13 specifies the object A as a second object (step S136). If the object A does not have the same attribute as the first object (NO in step S135), the object specifying unit 13 does not specify the object A as the second object.
  • the condition of the second object may be defined as the distance from the user to the object being less than a threshold Ta.
  • the object identification unit 13 holds a predetermined threshold value Ta in advance.
  • the object specifying unit 13 obtains the distance from the HMD 10 to the object A using the data obtained from the camera 106 or the depth sensor 109, and regards this distance as the distance from the user to the object A. Then, the object identification unit 13 compares the distance with the threshold value Ta. If the distance is less than the threshold Ta (YES in step S135), the object specifying unit 13 specifies the object A as a second object (step S136). If the distance is equal to or larger than the threshold Ta (NO in step S135), the object specifying unit 13 does not specify the object A as the second object.
  • the condition of the second object may be a combination of the distance from the user to the object and the contrast.
  • the object specifying unit 13 specifies the object A as a second object when the distance is less than the threshold Ta and the contrast is equal to or larger than the threshold Tc, and in the other cases, the object A is second Not identified as an object.
  • the condition of the second object may be a combination of distance and movement of the object.
  • the object specifying unit 13 specifies the object A as the second object when the distance is less than the threshold Ta and the object A is moving, and otherwise the object A is the second object Not specified as.
  • the condition of the second object may be a combination of distance and attribute match. In this case, the object specifying unit 13 specifies the object A as the second object when the distance is less than the threshold Ta and the object A has the same attribute as at least one first object, otherwise Does not specify object A as the second object.
  • the request unit 14 When the object A is specified as the first object or the second object, the request unit 14 generates the request signal and transmits the request signal to request the first or second object information of the object A from the server 20 in step S137.
  • the request unit 14 When the object A is identified as the first object, the request unit 14 generates a request signal indicating the combination of the first search key and the distance from the user, and the object A is identified as the second object. The request unit 14 generates a request signal including the second search key. Then, the request unit 14 transmits the request signal to the server 20.
  • step S138 the receiving unit 15 receives the first object information or the second object information transmitted from the server 20 in response to the request signal.
  • step S139 the display control unit 16 displays the first object information or the second object information on the display 105 in association with the object A.
  • step S131 After step S139, and thus the processes of steps S131 to S139 may be repeatedly performed. If the object A continues to overlap the attention area after the display control unit 16 displays the first object information in step S139, acquisition and display of the first object information are executed again. Specifically, the request unit 14 requests the first object information from the server 20, the reception unit 15 receives the first object information from the server 20, and the display control unit 16 displays the first object information on the display 105. indicate.
  • the request unit 14 repeatedly requests the server 20 for first object information related to the object A, and the reception unit 15
  • the first object information is repeatedly or continuously received, and the display control unit 16 repeatedly or continuously displays the first object information on the display 105.
  • the first object information is requested, received, and displayed only for the first time zone.
  • Such repeated processing may be similarly performed for acquisition and display of second object information. If the object A continues to overlap the peripheral area after the display control unit 16 displays the second object information in step S139, acquisition and display of the second object information are executed again. Specifically, the request unit 14 requests the second object information from the server 20, the reception unit 15 receives the second object information from the server 20, and the display control unit 16 displays the second object information on the display 105. indicate. That is, in a time zone (third time zone) in which the object A which is the second object overlaps the peripheral area, the request unit 14 repeatedly requests the server 20 for second object information related to the object A, and the reception unit 15 The second object information is repeatedly or continuously received, and the display control unit 16 repeatedly or continuously displays the second object information on the display 105.
  • step S140 HMD 10 end its reception and display.
  • the reception unit 15 ends the reception. This means that the receiving unit 15 receives the first object information only during the first time zone, and receives the second object information only during the third time zone. Further, the display control unit 16 erases the first object information or the second object information from the display 105. If the object information is neither received nor displayed at this time, the process of step S140 is omitted.
  • step S141 the receiving unit 22 receives a request signal from the HMD 10.
  • the object search unit 23 sets search items of the first and second object information for each of the first and second objects. For example, the object search unit 23 may set the search item such that the number of data items of the second object information is smaller than the number of data items of the first object information. When acquiring the first object information, the object search unit 23 may change the search item according to the distance between the first object and the user (HMD 10).
  • An example of setting of search items for one object A is shown. If the object A is specified as the second object, the object search unit 23 sets the product name as a search item. If the distance between the object A and the user is equal to or more than the threshold value Td, assuming that the object A is specified as the first object, the object search unit 23 sets a product name, a maker name, and a price as search items. If the distance between the object A and the user is less than the threshold Td, assuming that the object A is identified as the first object, the object search unit 23 sets the user's evaluation and comment on the object as a search item. In this example, since the data item of the second object information is only the product name, the number of data items is one.
  • the number of data items is 3 if the data items are a product name, a maker name, and a price, and the number of data items is 2 if the data items are a user's evaluation and comment.
  • the number of data items of the first / second object information is not limited to this.
  • the number of data items of the second object information is two, and the number of data items of the first object information is at least three. May be With regard to the first object information, at least one data item may always be obtained regardless of the distance, and another data item may or may not be obtained according to the distance.
  • step S143 the object search unit 23 acquires the first object information or the second object information from the object database 32 in accordance with the set search item.
  • the object search unit 23 searches the first object information based on the first search key, and searches the second object information based on the second search key.
  • step S134 the transmitting unit 24 transmits the retrieved first object information or second object information to the HMD 10.
  • FIG. 11 is a view showing an example of display of object information, and specifically, an example in which displayed object information changes in accordance with a change in a user's field of view is schematically shown.
  • the screen 50 represents at least a portion of real and virtual objects viewed by the user through the display 105 of the HMD 10 and includes a region of interest 51. An area other than the attention area 51 in the screen 50 is taken as a peripheral area.
  • a beer can 61, a magazine 62 and a plate 63 placed on the table are shown.
  • the magazine 62 first overlaps the attention area 51, and the beer can 61 and the plate 63 overlap the surrounding area.
  • the object specifying unit 13 specifies the magazine 62 as the first object, specifies the beer can 61 as the second object, and does not specify the tray 63 as the second object.
  • the object specifying unit 13 specifies only the beer can 61 as the second object because the contrast of the beer can 61 is equal to or more than the threshold Tc but the contrast of the plate 63 is less than the threshold Tc.
  • the first object information 621 product name, manufacturer name, and price
  • the second object information 611 product name
  • Data items constituting the first object information 621 are set according to the distance between the magazine 62 and the user.
  • the object specifying unit 13 specifies the beer can 61 as a first object, specifies the magazine 62 as a second object, and does not specify the tray 63 as a second object. For example, the object specifying unit 13 specifies only the magazine 62 as the second object because the contrast of the magazine 62 is equal to or higher than the threshold Tc but the contrast of the plate 63 is smaller than the threshold Tc.
  • the first object information 612 product name, manufacturer name, and price
  • the second object information 622 product name of the magazine 62 are displayed.
  • the data items constituting the first object information 612 are set according to the distance between the beer can 61 and the user.
  • the object specifying unit 13 continues to specify the beer can 61 as a first object, but along with shortening of the distance between the user and the beer can 61, the user's evaluation and comment are displayed as first object information 613.
  • the distance between the first object and the user is relatively long (when the distance is equal to or greater than the threshold Td)
  • the basic information of the first object is displayed as the first object information, and the distances are compared It is possible to display the detailed information of the first object in the case of close (when the distance is less than the threshold Td).
  • the HMD 10 may continue to acquire the first object information only for a predetermined time, even when the HMD deviates from the attention area, for the object specified as the first object.
  • An example in which the first object information is acquired also for an object that has deviated from the attention area will be described in detail, focusing on one object A with reference to FIG. 12.
  • step S131A the object specifying unit 13 starts to measure the elapsed time from that point .
  • the object identification unit 13 compares the elapsed time with a threshold T (seconds). If T seconds have not elapsed since the object A deviated from the attention area (in the second time zone) (NO in step S131A), the object specifying unit 13 executes steps S132 and S133. That is, the object specifying unit 13 specifies the object A as the first object, and estimates the distance from the user to the object A. Thereafter, the processing of steps S137 to S139 described above is performed.
  • step S134 if T seconds have elapsed since the object A moved out of the region of interest (if the second time zone has passed) (YES in step S131A), the processes in step S134 and subsequent steps are executed.
  • step S140 if reception of the first object information of the object A continues for the first time zone and the second time zone, the reception unit 15 ends the reception. This means that the receiving unit 15 receives the first object information only in the first time zone and the second time zone.
  • FIG. 13 is a view showing another example of display of object information, and specifically, schematically shows an example of change in object information before and after a certain object deviates from the attention area.
  • the first state in FIG. 13 is the same as in FIG. 11, and on the screen 50, the first object information 621 (product name, manufacturer name, and price) of the magazine 62 and the second object information 611 of the beer can 61 (product And the name is displayed.
  • the object specifying unit 13 specifies the beer can 61 overlapping the attention area 51 as the first object and the magazine overlapping the peripheral area Continue to identify 62 as the first object.
  • the first object information 612 product name, manufacturer name, and price
  • the first object information 621 product name, manufacturer name, and price
  • Data items constituting the first object information are set according to the distance between the object and the user.
  • the object specifying unit 13 specifies the magazine 62 overlapping the peripheral area as the second object.
  • the second object information 622 product name
  • the object information of the magazine 62 changes from the first object information 621 to the second object information 622.
  • the HMD 10 may continue reception and display of the first object information without repeatedly requesting the first object information while the object specified as the first object continues to overlap the attention area. That is, the request for the first object information may be executed only once when an object located outside the region of interest overlaps the region of interest. Similarly, while the object specified as the second object continues to overlap with the peripheral area, the HMD 10 may continue to receive and display the second object information without repeatedly requesting the second object information. That is, the request for the second object information may be executed only once when an object located outside the peripheral area overlaps the peripheral area. Focusing on one object A, an example of processing for continuing reception and display although the request is once will be described in detail with reference to FIG.
  • step S133A and S136A steps S133A and S136A.
  • step S137 in FIG. 9 is divided into steps S137A and 137B.
  • step S132A it is determined whether the request unit 14 requests the server 20 for the first object information.
  • the request unit 14 determines to request the first object information (YES in step S133A). If the change in the distance from the user to the object A is equal to or greater than the threshold Tx, the request unit 14 may determine to request object information even if the request signal has already been transmitted (YES in step S133A). In step S137A, the request unit 14 requests the server 20 for the first object information of the object A by generating and transmitting a request signal. In this case, the processes of steps S138 and S139 are performed.
  • step S133A determines that the object information is not requested (NO in step S133A), and the process of step S137A is omitted. If the request unit 14 has already transmitted the request signal and the distance from the user to the object A is less than the threshold Tx, the request unit 14 determines that the object information is not requested (NO in step S133A) and the process in step S137A. May be omitted.
  • step S137A is omitted, there is a possibility that the receiving unit 15 continues to receive the first object information (step S138).
  • the process of step S139 is the same as the process shown in FIG.
  • step S136A it is determined whether the request unit 14 requests the server 20 for the second object information.
  • the request unit 14 determines to request the second object information (YES in step S136A). In step S137B, the request unit 14 requests the server 20 for the second object information of the object A by generating and transmitting a request signal. In this case, the processes of steps S138 and S139 are performed.
  • step S137B determines that the object information is not requested.
  • step S137B is omitted, there is a possibility that the receiving unit 15 continues to receive the second object information (step S138).
  • the process of step S139 is the same as the process shown in FIG.
  • the HMD 10 continues acquiring the first object information only within a predetermined time after the object specified as the first object deviates from the region of interest, the HMD 10 does not generate and transmit the request signal again. Object information may continue to be received and displayed. That is, the process shown in FIG. 14 may be combined with the process shown in FIG.
  • FIG. 14 is a diagram showing the configuration of the AR program P.
  • the AR program P includes a client program P1 that causes the computer to function as the HMD 10, and a server program P2 that causes the computer to function as the server 20.
  • the information processing program according to the present invention is applied to the client program P1.
  • the client program P1 includes a main module P10, a view setting module P11, a view detection module P12, an object specifying module P13, a request module P14, a reception module P15, and a display control module P16.
  • the main module P10 is a part that centrally manages the functions of the HMD 10.
  • the visual field setting module P11, the visual field detection module P12, the object identification module P13, the request module P14, the reception module P15, and the display control module P16 By executing the visual field setting module P11, the visual field detection module P12, the object identification module P13, the request module P14, the reception module P15, and the display control module P16, the visual field setting unit 11, the visual field detection unit 12, the object identification unit 13, the request The unit 14, the receiving unit 15, and the display control unit 16 are realized.
  • the server program P2 includes a main module P20, a user search module P21, a reception module P22, an object search module P23, and a transmission module P24.
  • the main module P10 is a part that centrally manages the functions of the server 20.
  • the client program P1 and the server program P2 may be provided after being fixedly recorded on a tangible recording medium such as, for example, a CD-ROM, a DVD-ROM, or a semiconductor memory.
  • a tangible recording medium such as, for example, a CD-ROM, a DVD-ROM, or a semiconductor memory.
  • each of the client program P1 and the server program P2 may be provided via a communication network as a data signal superimposed on a carrier wave.
  • the client program P1 and the server program P2 may be provided together or separately.
  • the information processing apparatus focuses on the detection unit that detects the attention area corresponding to the user's vision, and the one or more objects in the space where the user is present.
  • a specifying unit for specifying a first object overlapping the area; a requesting unit for requesting the first object information related to the first object to another computer in a first time zone in which the first object overlaps the region of interest; And a receiver configured to receive first object information transmitted from another computer in response to a request during a time zone.
  • An information processing method is an information processing method executed by an information processing apparatus including a processor, which is a detection step of detecting an attention area corresponding to a user's vision;
  • the first object information related to the first object is identified in the identification step of identifying the first object overlapping the attention area among the one or more objects in the first time zone during which the first object overlaps the attention area.
  • a receiving step of requesting the first computer to receive the first object information transmitted from the other computer in response to the request during the first time zone.
  • An information processing program includes a detection step of detecting a region of interest corresponding to the user's vision, and a first object overlapping with the region of interest among one or more objects in a space where the user exists.
  • the first object overlaps with the region of interest
  • the request step of requesting the first object information related to the first object to another computer, and in the first time zone,
  • the computer executes a receiving step of receiving the first object information transmitted from the other computer.
  • the request and reception of the first object information related to the object is performed in the first time zone in which the object overlaps the attention area.
  • the information of the first object provided via the communication network is useful and not wasteful to the user.
  • the data communication of the information processing apparatus can be efficiently executed by requesting and receiving information in a time zone in which the user is estimated to focus on the object. Naturally, this means that the load on the communication network can be reduced.
  • the request unit may repeatedly request the first object information to the other computer in the first time zone.
  • Data communication of the information processing apparatus can be efficiently executed by repeatedly requesting and receiving information in a time zone in which the user is estimated to focus on the object.
  • the receiving unit may continuously receive the first object information in the first time zone.
  • Data communication of the information processing apparatus can be efficiently performed by continuing to receive information during a time zone in which the user is estimated to be focusing on the object.
  • the identification unit estimates the distance between the first object and the user
  • the request unit requests the first object information including the data item according to the distance
  • the reception unit The first object information may be received including data items according to the distance. As the distance between the object and the user is closer, it can be estimated that the user is more interested in the object. Therefore, by setting the content of the first object information according to the distance, unnecessary data communication can be avoided, and information desired by the user can be provided.
  • the request unit may request the first object information only during the first time zone, and the receiving unit may receive the first object information only during the first time zone .
  • the request unit transmits the first object information related to the first object even during the second time period until the predetermined time elapses after the first object moves out of the attention area.
  • the receiving unit may receive the first object information transmitted from another computer in response to the request also in the second time zone. Even when the first object deviates from the attention area in consideration of the line of sight of the user returning in a short time, the information displayed is obtained by acquiring the first object information in the short time. It is possible to keep on displaying the same information, avoiding repeated switching.
  • the request unit requests the first object information only in the first time zone and the second time zone, and the reception unit only in the first time zone and the second time zone
  • the first object information may be received.
  • the detection unit further detects the peripheral area outside the region of interest, and the identification unit specifies the second object overlapping the peripheral area from among the one or more objects, and requests The unit requests another computer for second object information related to the second object in a third time zone in which the second object overlaps with the peripheral area, and the receiving unit responds to the other in the third time zone according to the request.
  • the second object information transmitted from the computer may be received. Since the user may also focus on objects located in the peripheral area of the field of view, the information of the second object provided via the communication network may also be useful to the user. Therefore, by providing information on the second object located in the peripheral area, it is possible to provide the user with information presumed to be necessary while avoiding waste of data communication.
  • the request unit may repeatedly request the second object information to another computer in the third time zone. By repeatedly requesting information on the second object, it is possible to repeatedly provide the user with information presumed to be necessary while avoiding waste of data communication.
  • the number of data items of the second object information may be smaller than the number of data items of the first object information.
  • the user clearly recognizes objects in the region of interest more clearly than objects in the peripheral region and has a strong interest. Therefore, reducing the amount of data of the second object information and reducing the load on the communication network by making the number of data items of the second object related to objects in the peripheral area smaller than that of the first object information. it can.
  • the identification unit may identify, as the second object, an object having a distance to the user less than the threshold among the one or more objects overlapping the peripheral area.
  • human beings are more interested in the second object overlapping with the surrounding area, as the distance to the second object is closer. Therefore, by acquiring the second object information only for the second object close to the user, it is possible to reduce the data amount of the second object information and reduce the load on the communication network.
  • the identification unit may identify, as the second object, an object whose contrast with the background area is greater than or equal to the threshold value among one or more objects overlapping the peripheral area.
  • human beings easily identify the second object overlapping with the surrounding area as the contrast is higher. Therefore, by acquiring the second object information only for the second object with high contrast, it is possible to suppress the data amount of the second object information and reduce the load on the communication network.
  • the identifying unit may identify a moving object among the one or more objects overlapping the peripheral area as the second object.
  • humans easily identify moving second objects that overlap the surrounding area. Therefore, by acquiring the second object information only for the moving second object, the data amount of the second object information can be suppressed, and the load on the communication network can be reduced.
  • the identification unit may identify an object having the same attribute as the first object among the one or more objects overlapping the peripheral area as the second object. It is highly probable that the user looks at the second object overlapping with the surrounding area that has the same attribute as the currently focused first object. Therefore, by acquiring the second object information only for the second object having the same attribute as the first object, it is possible to suppress the data amount of the second object information and reduce the load on the communication network.
  • the information processing apparatus may further include a setting unit configured to set the attention area based on the attribute of the user.
  • a setting unit configured to set the attention area based on the attribute of the user.
  • the setting unit may set the attention area based on the moving speed of the user.
  • a human's visual field tends to narrow as the moving speed is high, and the central and effective visual fields in which the human can clearly recognize an object also narrow. Therefore, by setting the region of interest based on the moving speed of the user, a required amount of first object information for the user is requested and received. Therefore, data communication of the information processing apparatus can be executed efficiently.
  • the information processing apparatus may further include a display control unit that displays the first object information on the display in the first time zone.
  • the display may be a head mounted display.
  • the user can show the first object information to the user through a display such as a head mounted display in the first time zone in which the user is estimated to focus on the object in the first time zone .
  • the display can be efficiently controlled by displaying the information in a time zone in which the user is estimated to focus on the object.
  • the receiver may receive the first object information or the second object information using a resume download feature.
  • the resume download function is a function of starting download again from the canceled portion even if the download is temporarily stopped.
  • the HMD 10 displays the first object information or the second object information on the display 105, but the application of the request and the received object information is not limited to the display.
  • the information processing apparatus may store the request and the received first object information or second object information in the memory, or may transmit the information to another information processing apparatus.
  • the HMD 10 detects both the attention area and the peripheral area in the above embodiment, the detection of the peripheral area is not an essential process of the information processing apparatus. Therefore, the information processing apparatus may not perform the process related to the second object.
  • the configuration of the information processing apparatus is not limited.
  • the information processing apparatus may be a combination of a wearable terminal such as an HMD and another terminal such as a high-performance mobile phone (smart phone).
  • the processing procedure of the information processing method executed by at least one processor is not limited to the example in the above embodiment.
  • some of the steps (processes) described above may be omitted, or the steps may be performed in another order.
  • any two or more of the steps described above may be combined, or some of the steps may be modified or deleted.
  • other steps may be performed in addition to the above steps.
  • either of the two criteria of “more than” and “greater than” may be used.
  • either of the two criteria of “less than” and “less than” may be used. The choice of such criteria does not change the technical significance of the process of comparing the magnitude of the two numbers.

Abstract

一実施形態に係る情報処理装置は、ユーザの視覚に対応する注目領域を検出する検出部と、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定部と、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求部と、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信部とを備える。

Description

情報処理装置、情報処理方法、および情報処理プログラム
　本発明の一側面は、ユーザに拡張現実を提供する情報処理装置、情報処理方法、および情報処理プログラムに関する。
　ユーザの視線の先にあるオブジェクトを特定してそのオブジェクトに関連する情報を拡張現実として該ユーザに提供する情報処理装置が知られている。例えば、特許文献１は、ユーザの目を撮影することでユーザの視線を検知する撮影手段と、検知したユーザの視線に基づいて、３次元データとして表示された対象物を特定し、対象物を関心対象データとして出力する関心データ出力手段とを備えるヘッドマウントディスプレイを記載する。
特開２０１７－３３３３４号公報
　ユーザに装着された情報処理装置が該ユーザの視界に入るすべてのオブジェクトの関連情報を取得しようとすると、その関連情報をサーバから取得し終えるのに時間が掛かる可能性がある。加えて、その端末が関連情報を取得できたとしても、その処理の間にユーザの視界が変化してしまうと、視界から外れたオブジェクトの関連情報は端末に表示されることなく破棄される。そのため、情報処理装置とサーバとの間のデータ通信が無駄なものになってしまう。
　そこで、ユーザに拡張現実を提供する情報処理装置のデータ通信を効率良く実行することが望まれている。
　本発明の一側面に係る情報処理装置は、ユーザの視覚に対応する注目領域を検出する検出部と、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定部と、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求部と、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信部とを備える。
　本発明の一側面に係る情報処理方法は、プロセッサを備える情報処理装置により実行される情報処理方法であって、ユーザの視覚に対応する注目領域を検出する検出ステップと、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定ステップと、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求ステップと、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信ステップとを含む。
　本発明の一側面に係る情報処理プログラムは、ユーザの視覚に対応する注目領域を検出する検出ステップと、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定ステップと、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求ステップと、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信ステップとをコンピュータに実行させる。
　このような側面においては、オブジェクトが注目領域と重なる第１時間帯においてそのオブジェクトに関連する第１オブジェクト情報の要求および受信が実行される。この第１時間帯ではユーザはそのオブジェクトに注目していると推定されるので、通信ネットワークを介して提供される第１オブジェクトの情報はユーザにとって有用であり無駄にはならない。このように、ユーザがオブジェクトを注目していると推定される時間帯に情報を要求および受信することで、情報処理装置のデータ通信を効率良く実行することができる。
　本発明の一側面によれば、ユーザに拡張現実を提供する情報処理装置のデータ通信を効率良く実行することができる。
拡張現実（ＡＲ）システムの全体構成の例を示す図である。 実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）のハードウェア構成の例を示す図である。 実施形態に係るサーバのハードウェア構成の例を示す図である。 実施形態に係るＡＲシステムの機能構成の例を示す図である。 人間の視野の例を示す図である。 実施形態に係るＨＭＤでの全体的な処理の例を示すフローチャートである。 ＨＭＤでの注目領域および周辺領域の検出の例を示すフローチャートである。 オブジェクト情報の取得に関するＨＭＤとサーバとの連携の例を示すシーケンス図である。 一つのオブジェクトについてのオブジェクト情報の取得の例を示すフローチャートである。 実施形態に係るサーバでのオブジェクト検索の例を示すフローチャートである。 オブジェクト情報の表示の例を示す図である。 一つのオブジェクトについてのオブジェクト情報の取得の別の例を示すフローチャートである。 オブジェクト情報の表示の別の例を示す図である。 一つのオブジェクトについてのオブジェクト情報の取得のさらに別の例を示すフローチャートである。 実施形態に係る情報処理プログラムの構成を示す図である。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
　［システムの構成］
　本実施形態では、本発明に係る情報処理装置をヘッドマウントディスプレイ（ＨＭＤ）１０に適用する。ＨＭＤ１０は、ユーザの頭部に装着する表示装置であり、ウェアラブル端末の一種である。ＨＭＤ１０はユーザの両眼を覆うように装着され、ユーザはそのＨＭＤ１０上に表示される情報を見ることができる。本実施形態では、ＨＭＤ１０はユーザに拡張現実を提供するために用いられる。拡張現実とは、コンピュータにより処理された情報が現実世界に付加された世界である。したがって、ＨＭＤ１０の表示方式は、光学透過やビデオ透過などの透過型である。ユーザとは、ＨＭＤ１０を装着して拡張現実を体験する人である。
　図１は、ＨＭＤ１０を含む拡張現実（ＡＲ）システム１の全体構成の例を示す図である。ＡＲシステム１は、ＨＭＤ１０のユーザに拡張現実を提供するコンピュータシステムである。ＡＲシステム１はＨＭＤ１０に加えてサーバ２０およびデータベース群３０を備える。図１では１台のＨＭＤ１０を示すが、ＡＲシステム１に含まれるＨＭＤ１０の台数は限定されず、ＡＲシステム１は複数のＨＭＤ１０を備えてもよい。ＨＭＤ１０およびサーバ２０は通信ネットワークＮを介して互いにデータを送受信することができる。サーバ２０は通信ネットワークＮを介してデータベース群３０にアクセスすることができる。サーバ２０は、拡張現実を実現するための情報をＨＭＤ１０に提供するコンピュータであり、ＨＭＤ１０にとって「他のコンピュータ」に相当する。データベース群３０は、拡張現実の提供に必要なデータを記憶する装置である。通信ネットワークＮの構成は限定されず、例えばインターネットまたはイントラネットを含んで構成されてもよい。通信ネットワークＮのうちＨＭＤ１０と接続する部分は一般には無線通信ネットワークである。
　図２はＨＭＤ１０のハードウェア構成の例を示す図である。例えば、ＨＭＤ１０はプロセッサ１０１、主記憶部１０２、補助記憶部１０３、通信モジュール１０４、ディスプレイ１０５、カメラ１０６、慣性計測ユニット（ＩＭＵ）１０７、全地球測位システム（ＧＰＳ）１０８、および深度センサ１０９を含む。プロセッサ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する演算装置である。主記憶部１０２はＲＯＭおよびＲＡＭで構成され、ロードされたプログラムや演算結果などを一時的に記憶する。補助記憶部１０３はフラッシュメモリなどで構成され、プログラムまたはデータを永続的に記憶する。通信モジュール１０４は無線通信モジュールなどで構成され、他のコンピュータとの間でデータの送受信を実行する。ディスプレイ１０５はユーザが視認できるようにデータまたは情報を表示する装置であり、左眼用の画像および右眼用の画像を表示することで立体視を実現させる。カメラ１０６はユーザの周辺環境を撮影したり、ユーザの眼を撮影したりするためのセンサであり、ＨＭＤ１０はこのような撮影の目的毎に複数種類のカメラを搭載し得る。ＩＭＵ１０７は、運動を規定する３軸の角度または角速度と加速度とを検出するセンサである。ＧＰＳ１０８は複数の人工衛星から発信された電波を用いて現在位置を算出するシステムである。深度センサ１０９は対象物までの距離を測定するセンサであり、例えば赤外線深度センサで構成される。ＨＭＤ１０はこれらのハードウェア要素の一部を備えなくてもよいし、他のハードウェア要素を備えてもよい。ＨＭＤ１０の形状としては眼鏡型、ゴーグル型、ヘルメット型などがあるが、形状は限定されない。
　ＨＭＤ１０の各機能要素は、プロセッサ１０１または主記憶部１０２の上に所定のソフトウェア（例えば、後述するクライアントプログラムＰ１）を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ１０１はそのソフトウェアに従って通信モジュール１０４、ディスプレイ１０５、カメラ１０６、ＩＭＵ１０７、ＧＰＳ１０８、または深度センサ１０９を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
　図３はサーバ２０のハードウェア構成の例を示す図である。サーバ２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するプロセッサ２０１と、ＲＯＭおよびＲＡＭで構成される主記憶部２０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部２０３と、ネットワークカードまたは無線通信モジュールで構成される通信制御部２０４と、キーボードやマウスなどの入力装置２０５と、モニタなどの出力装置２０６とを備える。サーバ２０はこれらのハードウェア要素の一部を備えなくてもよいし、他のハードウェア要素を備えてもよい。
　サーバ２０の各機能要素は、プロセッサ２０１または主記憶部２０２の上に所定のソフトウェア（例えば、後述するサーバプログラムＰ２）を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ２０１はそのソフトウェアに従って、通信制御部２０４、入力装置２０５、または出力装置２０６を動作させ、主記憶部２０２または補助記憶部２０３におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部２０２または補助記憶部２０３内に格納される。
　サーバ２０は１台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータがインターネットやイントラネットなどの通信ネットワークを介して接続されることで、論理的に一つのサーバ２０が構築される。
　図４はＡＲシステム１の機能構成の例を示す図である。ＨＭＤ１０は機能的構成要素として視野設定部１１、視野検出部１２、オブジェクト特定部１３、要求部１４、受信部１５、および表示制御部１６を備える。言い換えると、プロセッサ１０１は視野設定部１１、視野検出部１２、オブジェクト特定部１３、要求部１４、受信部１５、および表示制御部１６として機能する。サーバ２０は機能的構成要素としてユーザ検索部２１、受信部２２、オブジェクト検索部２３、および送信部２４を備える。すなわち、プロセッサ２０１はユーザ検索部２１、受信部２２、オブジェクト検索部２３、および送信部２４として機能する。
　ＨＭＤ１０の各機能要素の概要を説明する。視野設定部１１は、ＨＭＤ１０上でのユーザの視野を設定する機能要素である。より具体的には、視野設定部１１は視野角に応じて複数種類の視野を設定する。例えば、視野設定部１１はユーザの注視点（ユーザが見ている点）からの範囲（角度）を設定することで、該ユーザの中心視、有効視野、および周辺視野を設定する。視野設定部１１は視野を設定するためにサーバ２０からユーザ属性を取得してもよい。
　中心視とは、人間が物体の属性（例えば形および色）を明確に認識できる領域であり、一般には注視点（ユーザが見ている（注目している）位置）から１～２°までの非常に限られた範囲である。有効視野とは、人間が物体の属性をほぼ明確に認識できる、中心視およびその周りの領域であり、一般には注視点から４～２０°の範囲である。周辺視野とは、中心視および有効視野以外の領域（言い換えると、有効視野の外側の領域）であり、人間はこの周辺視野内の物体を明確に認識できない。周辺視野に関しては、人間は動く物体や目立つ物体については比較的認識し易いが、静止している物体や目立たない物体については認識しづらいという特性がある。中心視、有効視野、および周辺視野は年齢などによる個人差がある。図５は人間の視野を示す図である。中心視４１、有効視野４２、および周辺視野４３は視点４４および注視点４５に基づいて定まる。視点とは視線の基点となる位置であり、例えば、ユーザの両眼の中間点が視点として設定され得る。この図では視野を２次元（水平方向に沿った範囲）で示すが、視野は鉛直方向についても同様に定義され、したがって、実際には立体的に定義される。
　視野検出部１２は、ユーザの視覚に対応する注目領域および周辺領域を検出する機能要素である。注目領域とは、ＨＭＤ１０上でのユーザの視野のうち、該ユーザが物体を明確に認識する領域であり、注視点を含む限定された領域である。周辺領域とは、ＨＭＤ１０上でのユーザの視野のうち注目領域以外の領域である。視野検出部１２は中心視を含む注目領域を検出してもよく、例えば中心視のみを注目領域として検出してもよいし、中心視と有効視野の一部または全部とから成る領域を注目領域として検出してもよい。いずれにしても、注目領域は周辺視野を含まない。視野検出部１２は注目領域以外の部分を周辺領域として特定する。「ユーザの視覚に対応する注目領域および周辺領域」とはユーザの現在の視線に基づいて設定される注目領域および周辺領域のことをいう。したがって、検出される注目領域および周辺領域はユーザの位置、向き、および動きにより変わる。
　オブジェクト特定部１３は、ユーザが存在する空間内にあるオブジェクトの中から、検出された注目領域と重なる第１オブジェクトと、検出された周辺領域と重なる第２オブジェクトとを特定する機能要素である。「ユーザが存在する空間」は、ユーザが存在する現実空間と、ＨＭＤ１０によりユーザに提供される仮想空間との少なくとも一方を含む概念である。したがって、「ユーザが存在する空間内にあるオブジェクト」とは、現実空間にある現実のオブジェクトと、ＨＭＤ１０のディスプレイ１０５上に表示されている仮想オブジェクトとの双方を含む概念である。オブジェクトとは、ユーザが視認可能な有体物または可視化された無体物である。「注目領域と重なる第１オブジェクト」とは、ユーザが視認するディスプレイ１０５上において、注目領域の少なくとも一部と重なるオブジェクトである。「周辺領域と重なる第２オブジェクト」とは、ユーザが視認するディスプレイ１０５上において、注目領域とは重なることなく周辺領域と重なるオブジェクトである。オブジェクト特定部１３は１以上の第１オブジェクトと１以上の第２オブジェクトとを特定することができる。
　要求部１４は、オブジェクトに関連するオブジェクト情報をサーバ２０に要求する機能要素である。要求部１４はオブジェクト情報を要求するための信号である要求信号を生成し、この要求信号をサーバ２０に送信する。本実施形態では、オブジェクト情報には、第１オブジェクトに関連する第１オブジェクト情報と、第２オブジェクトに関連する第２オブジェクト情報との２種類がある。第１オブジェクト情報も第２オブジェクト情報もＨＭＤ１０上に表示される（すなわち可視化される）。オブジェクト情報のデータ項目および内容は限定されない。
　受信部１５は、要求部１４による要求に応じてサーバ２０から送信されてきた第１オブジェクト情報または第２オブジェクト情報を受信する機能要素である。受信されるオブジェクト情報は、要求信号に対する応答信号であるといえる。
　表示制御部１６は、受信された第１オブジェクト情報または第２オブジェクト情報をディスプレイ１０５上に表示する機能要素である。表示制御部１６は、ユーザが既に見ている現実のまたは仮想の個々のオブジェクトと関連付けて個々のオブジェクト情報をＨＭＤ１０上に表示する。
　次に、サーバ２０の各機能要素の概要を説明する。ユーザ検索部２１は、視野設定部１１からの要求に応じてユーザ属性を送信する機能要素である。受信部２２は、要求部１４から送信されてきた要求信号を受信する機能要素である。オブジェクト検索部２３は、その要求信号に基づいてオブジェクト情報を検索する機能要素である。送信部２４はそのオブジェクト情報をＨＭＤ１０に送信する機能要素である。
　データベース群３０は、１以上のデータベースの集合である。データベースとは、プロセッサまたは外部のコンピュータからの任意のデータ操作（例えば、抽出、追加、削除、上書きなど）に対応できるようにデータ集合を記憶する機能要素（記憶部）である。データベースの実装方法は限定されず、例えばデータベース管理システムでもよいし、設定ファイルなどのテキストファイルでもよい。本実施形態では、データベース群３０はユーザデータベース３１およびオブジェクトデータベース３２を含む。
　ユーザデータベース３１は、ユーザ情報を記憶する装置である。ユーザ情報はユーザの属性を示すデータ項目を含む情報である。ユーザ属性とはユーザの性質または特徴であり、いわゆる個人情報を含み得る。ユーザ情報の各レコードは、個々のユーザを一意に特定するための識別子であるユーザＩＤにより特定される。ユーザを識別することができるのであれば何をユーザＩＤとして用いてもよく、例えば、単なる連番または個人のアカウントをユーザＩＤとして用いてもよい。ユーザ属性は１以上のデータ項目で表され、その個数および種類は何ら限定されない。例えば、ユーザ属性は氏名、生年月日（年齢）、性別、住所、電話番号、メールアドレスなどのデータ項目を含んでもよい。
　オブジェクトデータベース３２は、オブジェクト情報を記憶する装置である。オブジェクト情報は、オブジェクトの属性（性質または特徴）を示すデータ項目を含む情報である。オブジェクト情報の各レコードは、個々のオブジェクトを一意に特定するための識別子であるオブジェクトＩＤにより特定される。オブジェクトを識別することができるのであれば何をオブジェクトＩＤとして用いてもよく、例えば、単なる連番、製品番号、または型番をオブジェクトＩＤとして用いてもよい。オブジェクト属性は１以上のデータ項目で表され、その個数および種類は何ら限定されない。例えば、オブジェクト属性は商品名、メーカ名、販売者名（店舗名）、販売価格、商品説明、ユーザによる評価またはコメントなどのデータ項目を含んでもよい。
　［システムの動作］
　図６～図１４を参照しながら、ＡＲシステム１の動作を説明するとともに本実施形態に係る情報処理方法について説明する。図６はＨＭＤ１０での全体的な処理の例を示すフローチャートである。図７はＨＭＤ１０での注目領域および周辺領域の検出の例を示すフローチャートである。図８はオブジェクト情報の取得に関するＨＭＤ１０とサーバ２０との連携の例を示すシーケンス図である。図９は一つのオブジェクトについてのオブジェクト情報の取得の例を示すフローチャートである。図１０はサーバ２０でのオブジェクト検索の例を示すフローチャートである。図１１はオブジェクト情報の表示の例を示す図である。図１２は一つのオブジェクトについてのオブジェクト情報の取得の別の例を示すフローチャートである。図１３はオブジェクト情報の表示の別の例を示す図である。図１４は一つのオブジェクトについてのオブジェクト情報の取得のさらに別の例を示すフローチャートである。
　図６を参照しながらＨＭＤ１０での処理の概要を説明する。ステップＳ１１では、視野設定部１１がユーザの視野を設定する。視野設定部１１はユーザの属性に基づいて中心視、有効視野、および周辺視野を設定してもよいし、ユーザの属性に関係なく予め設定された中心視、有効視野、および周辺視野をそのまま採用してもよい。視野設定部１１はユーザ入力に基づいて中心視、有効視野、および周辺視野の大きさを変更する調整機能を有してもよい。
　ステップＳ１２では、視野検出部１２が、ユーザの視覚に対応する注目領域および周辺領域を検出する。視野検出部１２は視野設定部１１により設定された視野とユーザの現在の状態とに基づいて、現在の注目領域および周辺領域を検出する。注目領域および周辺領域の検出とは、ＨＭＤ１０上での注目領域および周辺領域の範囲を特定する処理である。ユーザの現在の状態は、ユーザの姿勢と移動の有無とに基づいて特定され得る。
　ステップＳ１３では、オブジェクト特定部１３が第１オブジェクトまたは第２オブジェクトを特定する。オブジェクト特定部１３は、検出された注目領域と、ユーザが存在する空間内にあるオブジェクト（具体的には、ディスプレイ１０５を通じてユーザの視野に入っているオブジェクト）との重なりを検査することで第１オブジェクトを特定する。また、オブジェクト特定部１３は、検出された周辺領域と、ユーザが存在する空間内にあるオブジェクトとの重なりを検査することで第２オブジェクトを特定する。
　ステップＳ１４では、要求部１４および受信部が協働して第１オブジェクト情報または第２オブジェクト情報をサーバ２０から取得する。
　ステップＳ１５では、表示制御部１６が第１オブジェクトまたは第２オブジェクトをディスプレイ１０５上に表示する。表示制御部１６はオブジェクト情報を任意の形式で表示してよく、例えばテキスト、記号、図形、静止画、動画などの形式でオブジェクト情報を表示してよい。表示制御部１６は、それぞれのオブジェクト情報を対応するオブジェクトの近傍に表示してもよく、この表示手法によりオブジェクトとその情報との関係を視覚的にわかり易くユーザに伝えることができる。
　ステップＳ１６として示すように、ステップＳ１２～ステップＳ１５の一連の処理は、処理の終了がユーザ入力などにより指示されるまで繰り返し実行され得る。
　図７を参照しながら、注目領域および周辺領域の検出の例を詳細に説明する。ステップＳ１１１では、視野設定部１１はメモリ（主記憶部１０２または補助記憶部１０３）を参照して視野情報が既に記憶されているか否かを検査する。視野情報は、ユーザの静止時における中心視、有効視野、および周辺視野を示す情報である。上述したように人間の視野には個人差があるので、ＨＭＤ１０上での視野を個々のユーザに合わせて設定することで、第１オブジェクトおよび第２オブジェクトを正確に特定することができる。
　視野情報がまだＨＭＤ１０のメモリ内に記憶されていない場合には（ステップＳ１１１においてＮＯ）、ステップＳ１１２において、視野設定部１１が、ユーザＩＤを含む信号をサーバ２０に送信する（ステップＳ１２）。
　ステップＳ１１３では、サーバ２０のユーザ検索部２１がその信号を受信し、ユーザＩＤを用いてユーザデータベース３１を検索することで、そのユーザＩＤに対応するユーザ属性を取得する。ステップＳ１１４では、ユーザ検索部２１はそのユーザ属性を応答信号としてＨＭＤ１０に送信する。
　ステップＳ１１５では、視野設定部１１がその応答信号を受信し、ユーザ属性に基づいて視野情報を生成する。視野設定部１１は、中心視、有効視野、および周辺視野をユーザ属性から決定するための設定規則を予め保持しており、その規則を参照することで、ユーザ属性に対応する中心視、有効視野、および周辺視野を設定する。一例として、設定規則は、生体情報（例えば年齢）と、中心視、有効視野、および周辺視野のそれぞれの大きさ（注視点からの角度）との対応関係を示してもよい。例えば、設定規則は、年齢が６５歳未満である場合には、有効視野が注視点から２０°までの範囲であり、かつ周辺視野が注視点から１００°までの範囲である、という対応関係を含んでもよい。その設定規則はさらに、年齢が６５歳以上である場合には、有効視野が注視点から１０°までの範囲であり、かつ周辺視野が注視点から９０°までの範囲である、という対応関係を含んでもよい。設定規則の詳細はこれに限定されず、例えば異なる閾値および設定値を用いて定義されてもよいし、年齢以外のユーザ属性を用いて定義されてもよい。いずれにしても、視野設定部１１はユーザ属性および設定規則に基づいてユーザの視野（中心視、有効視野、および周辺視野）を設定し、その視野を示す視野情報を生成する。そして、視野設定部１１はその視野情報をメモリ（主記憶部１０２または補助記憶部１０３）に格納すると共に、その視野情報を以降の処理で用いる。
　一方、視野情報が既にメモリ内に記憶されている場合には（ステップＳ１１１においてＹＥＳ）、視野設定部１１はその視野情報をメモリから読み出す。
　ステップＳ１１６において、視野検出部１２がユーザの現在の状態を取得する。例えば、視野設定部１１は、カメラ１０６またはＩＭＵ１０７から得られるデータを用いて視線トラッキングやポジショントラッキングなどの追跡機能を実行することでユーザの視線（視点および注視点）を求める。さらに、視野設定部１１はカメラ１０６、ＩＭＵ１０７、またはＧＰＳ１０８から得られるデータを用いてユーザの現在の移動速度を求める。
　ステップＳ１１７において、視野検出部１２は、視野情報とユーザの現在の状態とに基づいて注目領域および周辺領域を検出する。具体的には、視野検出部１２は、視野情報で示される視野（中心視、有効視野、および周辺視野）と算出された視線（視点および注視点）とに基づいて、ユーザが静止している場合の現在の注目領域および周辺領域を算出する。そして、視野検出部１２は算出された移動速度に基づいてそれらの領域を調整する。一般に、人間は早く移動するほど視野は狭くなり、例えば、運転者の視野は自動車の速度が大きくなるほど狭くなる。移動速度に基づく注目領域および周辺領域の調整は、このような一般的な現象を考慮した処理である。視野検出部１２は、移動速度に基づいて注目領域および周辺領域を調整するための調整規則を予め保持しており、その規則を参照することで注目領域および周辺領域を調整する。調整規則は、移動速度と、注目領域および周辺領域のそれぞれの大きさ（注視点からの角度）との対応関係を示してもよい。例えば、調整規則は、移動速度がＶａ未満である場合には注目領域および周辺領域を調整せず（すなわち、静止時の注目領域および周辺領域を用いる）、移動速度Ｖａ以上である場合には、移動速度の増加に応じて注目領域および周辺領域を狭めるように定義されてもよい。
　視野検出部１２による処理（ステップＳ１１６，Ｓ１１７）は、ユーザの状態の変化（具体的には、ユーザの姿勢および移動速度の変化）に応じて繰り返し実行される。
　図８を参照しながら、オブジェクト情報の取得に関するＨＭＤ１０とサーバ２０との連携の例を詳細に説明する。ステップＳ１２１では、オブジェクト特定部１３が注目領域と重なるオブジェクトを第１オブジェクトとして特定する。オブジェクト特定部１３はカメラ１０６または深度センサ１０９から得られるデータ基づいて個々のオブジェクトの位置を推定する。そして、オブジェクト特定部１３はディスプレイ１０５上におけるそれぞれのオブジェクトと注目領域との位置関係を求めることで、注目領域と重なるオブジェクトを第１オブジェクトとして特定する。なお、第１オブジェクトが一つも特定されない場合があり得る。１以上の第１オブジェクトを特定した場合には、オブジェクト特定部１３は、第１オブジェクト情報を得るための第１検索キーをそれぞれの第１オブジェクトから取得する。第１検索キーおよびその取得方法は限定されない。例えば、オブジェクト特定部１３はカメラ１０６の画像を解析することで、第１オブジェクト上に印刷、シールなどにより表現されているテキストまたは２次元バーコードを文字列に変換し、その文字列を第１検索キーとして取得してもよい。例えば、第１検索キーはオブジェクトＩＤを含んでもよい。
　ステップＳ１２２では、オブジェクト特定部１３は周辺領域と重なるオブジェクトを第２オブジェクトとして特定する。オブジェクト特定部１３は第１オブジェクトと同様に、ディスプレイ１０５上におけるそれぞれのオブジェクトと周辺領域との位置関係を求めることで第２オブジェクトを特定する。１以上の第２オブジェクトを特定した場合には、オブジェクト特定部１３は第１オブジェクトと同様の手法で、第２オブジェクト情報を得るための第２検索キーをそれぞれの第２オブジェクトから取得する。第２検索キーはオブジェクトＩＤを含んでもよい。
　ステップＳ１２３では、要求部１４が要求信号を生成してこの信号をサーバ２０に送信する。要求部１４は第１検索キーまたは第２検索キーを含む要求信号を生成する。この処理において、要求部１４は、サーバ２０が第１検索キーと第２検索キーとを区別できるようにこれら２種類の検索キーを要求信号に含める。
　この要求信号に応じてサーバ２０がオブジェクト情報を検索する。ステップＳ１２４では、オブジェクト検索部２３が第１検索キーに従って第１オブジェクト情報をオブジェクトデータベース３２から取得する。ステップＳ１２５では、オブジェクト検索部２３はさらに第２検索キーに従って第２オブジェクト情報をオブジェクトデータベース３２から取得する。要求信号が第１検索キーを含まない場合にはステップＳ１２４が省略され、要求信号が第２検索キーを含まない場合にはステップＳ１２５が省略される。ステップＳ１２６では、送信部２４が、第１オブジェクト情報または第２オブジェクト情報を要求信号への応答としてＨＭＤ１０に送信する。
　この応答に応じてＨＭＤ１０がオブジェクト情報を受信および表示する。ステップＳ１２７では、表示制御部１６が受信された第１オブジェクト情報または第２オブジェクト情報をディスプレイ１０５上に表示する。表示制御部１６はディスプレイ１０５上での各第１／第２オブジェクトの位置に基づいて各第１／第２オブジェクト情報を表示する。
　ある一つのオブジェクトＡが、第１オブジェクトとして処理されるか、第２オブジェクトとして処理されるか、あるいは処理されないかは、検出された注目領域および周辺領域と、オブジェクトＡとの位置関係により変わる。言い換えると、ＨＭＤ１０がオブジェクトＡに関してどのような情報を表示するかは、ユーザの視線に依存して時間の経過と共に変わり得る。図９を参照しながら、一つのオブジェクトＡに着目して、オブジェクト情報を取得する処理の例を詳細に説明する。
　オブジェクトＡが注目領域と重なる場合には（ステップＳ１３１においてＹＥＳ）、ステップＳ１３２においてオブジェクト特定部１３はオブジェクトＡを第１オブジェクトとして特定する。
　ステップＳ１３３において、オブジェクト特定部１３は、ユーザから、第１オブジェクトとして特定されたオブジェクトＡまでの距離を推定する。オブジェクト特定部１３は、カメラ１０６または深度センサ１０９から得られたデータを用いてＨＭＤ１０からオブジェクトＡまでの距離を求め、この距離をユーザからオブジェクトＡまでの距離と見做す。
　オブジェクトＡが注目領域と重ならず（ステップＳ１３１においてＮＯ）、周辺領域とも重ならない場合には（ステップＳ１３４においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第１オブジェクトとも第２オブジェクトとも特定しない。
　一方、オブジェクトＡが注目領域とは重ならないが（ステップＳ１３１においてＮＯ）、周辺領域と重なる場合には（ステップＳ１３４においてＹＥＳ）、ステップＳ１３５においてオブジェクト特定部１３はオブジェクトＡが第２オブジェクトの条件に合致するか否かを判定する。すなわち、オブジェクト特定部１３は、オブジェクトＡについて第２オブジェクト情報を取得するか否かを判定する。オブジェクトＡが第２オブジェクトの条件に合致する場合には（ステップＳ１３５においてＹＥＳ）、ステップＳ１３６においてオブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する。オブジェクトＡが第２オブジェクトの条件に合致しない場合には（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。
　第２オブジェクトの条件は限定されない。例えば、第２オブジェクトの条件は、オブジェクトと該オブジェクトの背景領域（すなわち、オブジェクトの周辺）とのコントラストの大きさが閾値Ｔｃ以上であることと定義されてもよい。オブジェクト特定部１３は予め定められた閾値Ｔｃを予め保持する。オブジェクト特定部１３はカメラ１０６から得られた画像を解析してオブジェクトＡとオブジェクトＡの背景領域とのコントラストを算出し、そのコントラストと閾値Ｔｃとを比較する。コントラストが閾値Ｔｃ以上であれば（ステップＳ１３５においてＹＥＳ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する（ステップＳ１３６）。コントラストが閾値Ｔｃ未満であれば（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。
　第２オブジェクトの条件は、オブジェクトが動いていること、と定義されてもよい。「オブジェクトが動いている」とは、オブジェクトの位置が変わることと、オブジェクトが位置を変えることなくその場で動くこととの双方を含む概念である。オブジェクト特定部１３はカメラ１０６から得られた画像（動画像、または静止画の連続）を解析してオブジェクトＡが動いているか否かを判定する。オブジェクトＡが動いている場合には（ステップＳ１３５においてＹＥＳ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する（ステップＳ１３６）。オブジェクトＡが静止している場合には（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。
　第２オブジェクトの条件は、オブジェクトが第１オブジェクト（すなわち、注目領域と重なっているオブジェクト）と同じ属性を有すること、と定義されてもよい。例えば、オブジェクト特定部１３はカメラ１０６の画像を解析することで、オブジェクトＡ上に印刷、シールなどにより表現されているテキストまたは２次元バーコードを文字列に変換し、その文字列を取得する。また、オブジェクト特定部１３はその画像を解析することで、既に特定した第１オブジェクト上に印刷、シールなどにより表現されているテキストまたは２次元バーコードを文字列に変換し、その文字列を取得する。そして、オブジェクト特定部１３は双方の文字列を比較することで、オブジェクトＡが第１オブジェクトと同じ属性を有するか否かを判定する。オブジェクトＡが少なくとも一つの第１オブジェクトと同じ属性を有する場合には（ステップＳ１３５においてＹＥＳ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する（ステップＳ１３６）。オブジェクトＡが第１オブジェクト同じ属性を有しない場合には（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。
　第２オブジェクトの条件は、ユーザからオブジェクトまでの距離が閾値Ｔａ未満であることと定義されてもよい。オブジェクト特定部１３は予め定められた閾値Ｔａを予め保持する。オブジェクト特定部１３は、カメラ１０６または深度センサ１０９から得られたデータを用いてＨＭＤ１０からオブジェクトＡまでの距離を求め、この距離をユーザからオブジェクトＡまでの距離と見做す。そして、オブジェクト特定部１３はその距離を閾値Ｔａと比較する。距離が閾値Ｔａ未満であれば（ステップＳ１３５においてＹＥＳ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する（ステップＳ１３６）。距離が閾値Ｔａ以上であれば（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。
　第２オブジェクトの条件はユーザからオブジェクトまでの距離とコントラストとの組合せでもよい。この場合には、オブジェクト特定部１３は、距離が閾値Ｔａ未満でありかつコントラストが閾値Ｔｃ以上である場合にはオブジェクトＡを第２オブジェクトとして特定し、それ以外の場合にはオブジェクトＡを第２オブジェクトとして特定しない。あるいは、第２オブジェクトの条件は距離とオブジェクトの動きとの組合せでもよい。この場合には、オブジェクト特定部１３は、距離が閾値Ｔａ未満でありかつオブジェクトＡが動いている場合にはオブジェクトＡを第２オブジェクトとして特定し、それ以外の場合にはオブジェクトＡを第２オブジェクトとして特定しない。あるいは、第２オブジェクトの条件は距離と属性の一致との組合せでもよい。この場合には、オブジェクト特定部１３は、距離が閾値Ｔａ未満でありかつオブジェクトＡが少なくとも一つの第１オブジェクトと同じ属性を有する場合にはオブジェクトＡを第２オブジェクトとして特定し、それ以外の場合にはオブジェクトＡを第２オブジェクトとして特定しない。
　オブジェクトＡを第１オブジェクトまたは第２オブジェクトとして特定すると、ステップＳ１３７において、要求部１４が要求信号を生成および送信することで、オブジェクトＡの第１または第２オブジェクト情報をサーバ２０に要求する。オブジェクトＡが第１オブジェクトとして特定された場合には、要求部１４は第１検索キーとユーザからの距離との組合せを示す要求信号を生成し、オブジェクトＡが第２オブジェクトとして特定された場合には、要求部１４は第２検索キーを含む要求信号を生成する。そして、要求部１４はその要求信号をサーバ２０に送信する。
　ステップＳ１３８では、受信部１５がその要求信号に応じてサーバ２０から送られてきた第１オブジェクト情報または第２オブジェクト情報を受信する。
　ステップＳ１３９では、表示制御部１６がその第１オブジェクト情報または第２オブジェクト情報をオブジェクトＡと関連付けたかたちでディスプレイ１０５上に表示する。
　処理はステップＳ１３９の後にＳ１３１に戻り、したがって、ステップＳ１３１～Ｓ１３９の処理は繰り返し実行され得る。ステップＳ１３９において表示制御部１６が第１オブジェクト情報を表示した後にオブジェクトＡが引き続き注目領域と重なる場合には、第１オブジェクト情報の取得および表示が再び実行される。具体的には、要求部１４が第１オブジェクト情報をサーバ２０に要求し、受信部１５が第１オブジェクト情報をサーバ２０から受信し、表示制御部１６がその第１オブジェクト情報をディスプレイ１０５上に表示する。すなわち、第１オブジェクトであるオブジェクトＡが注目領域と重なる時間帯（第１時間帯）では、要求部１４がオブジェクトＡに関連する第１オブジェクト情報をサーバ２０に繰り返し要求し、受信部１５がその第１オブジェクト情報を繰り返しまたは継続して受信し、表示制御部１６がその第１オブジェクト情報をディスプレイ１０５上に繰り返しまたは継続して表示する。第１オブジェクト情報は第１時間帯に限定して要求、受信、および表示される。
　このような繰り返し処理は第２オブジェクト情報の取得および表示についても同様に実行され得る。ステップＳ１３９において表示制御部１６が第２オブジェクト情報を表示した後にオブジェクトＡが引き続き周辺領域と重なる場合には、第２オブジェクト情報の取得および表示が再び実行される。具体的には、要求部１４が第２オブジェクト情報をサーバ２０に要求し、受信部１５が第２オブジェクト情報をサーバ２０から受信し、表示制御部１６がその第２オブジェクト情報をディスプレイ１０５上に表示する。すなわち、第２オブジェクトであるオブジェクトＡが周辺領域と重なる時間帯（第３時間帯）では、要求部１４がオブジェクトＡに関連する第２オブジェクト情報をサーバ２０に繰り返し要求し、受信部１５がその第２オブジェクト情報を繰り返しまたは継続して受信し、表示制御部１６がその第２オブジェクト情報をディスプレイ１０５上に繰り返しまたは継続して表示する。
　オブジェクトＡが第１オブジェクトとも第２オブジェクトとも特定されない場合に（ステップＳ１３４においてＮＯ、またはステップＳ１３５においてＮＯ）、もし第１オブジェクト情報または第２オブジェクト情報が受信または表示されていれば、ステップＳ１４０において、ＨＭＤ１０はその受信および表示を終了する。オブジェクトＡのオブジェクト情報の受信が続いている場合には、受信部１５がその受信を終了する。これは、受信部１５が第１時間帯に限って第１オブジェクト情報を受信し、第３時間帯に限って第２オブジェクト情報を受信することを意味する。また、表示制御部１６が第１オブジェクト情報または第２オブジェクト情報をディスプレイ１０５上から消去する。この時点でオブジェクト情報が受信も表示もされていなければ、ステップＳ１４０の処理は省略される。
　図１０を参照しながら、サーバ２０によるオブジェクト情報の検索の例を詳細に説明する。ステップＳ１４１では、受信部２２がＨＭＤ１０から要求信号を受信する。
　ステップＳ１４２では、オブジェクト検索部２３が第１／第２オブジェクトのそれぞれについて、第１／第２オブジェクト情報の検索項目を設定する。例えば、オブジェクト検索部２３は、第２オブジェクト情報のデータ項目数が第１オブジェクト情報のデータ項目数より小さくなるように検索項目を設定してもよい。第１オブジェクト情報を取得する場合に、オブジェクト検索部２３は、第１オブジェクトとユーザ（ＨＭＤ１０）との距離に応じて検索項目を変更してもよい。
　一つのオブジェクトＡについて検索項目の設定の例を示す。オブジェクトＡが第２オブジェクトとして特定された場合には、オブジェクト検索部２３は商品名を検索項目として設定する。オブジェクトＡが第１オブジェクトとして特定されたとして、オブジェクトＡとユーザとの距離が閾値Ｔｄ以上である場合には、オブジェクト検索部２３は商品名、メーカ名、および価格を検索項目として設定する。オブジェクトＡが第１オブジェクトとして特定されたとして、オブジェクトＡとユーザとの距離が閾値Ｔｄ未満である場合には、オブジェクト検索部２３はオブジェクトに対するユーザの評価およびコメントを検索項目として設定する。この例では、第２オブジェクト情報のデータ項目は商品名のみなのでデータ項目数は１である。一方、第１オブジェクト情報については、データ項目が商品名、メーカ名、および価格であればデータ項目数は３であり、データ項目がユーザの評価およびコメントであればデータ項目数は２である。当然ながら第１／第２オブジェクト情報のデータ項目数はこれに限定されるものではなく、例えば第２オブジェクト情報のデータ項目数が２であり、第１オブジェクト情報のデータ項目数が少なくとも３であってもよい。第１オブジェクト情報に関して、少なくとも一つのデータ項目が距離に関係なく常に取得され、別のデータ項目が距離に応じて取得されたりされなかったりしてもよい。
　ステップＳ１４３において、オブジェクト検索部２３は設定した検索項目に従って第１オブジェクト情報または第２オブジェクト情報をオブジェクトデータベース３２から取得する。オブジェクト検索部２３は第１検索キーに基づいて第１オブジェクト情報を検索し、第２検索キーに基づいて第２オブジェクト情報を検索する。
　ステップＳ１３４において、送信部２４が検索された第１オブジェクト情報または第２オブジェクト情報をＨＭＤ１０に送信する。
　図１１はオブジェクト情報の表示の例を示す図であり、具体的には、表示されるオブジェクト情報がユーザの視野の変化に伴って変化する例を模式的に示す。画面５０は、ＨＭＤ１０のディスプレイ１０５を通してユーザが見る現実のおよび仮想のオブジェクトの少なくとも一部を表し、注目領域５１を含む。画面５０のうち注目領域５１以外の領域を周辺領域とする。オブジェクトとして、テーブルの上に置かれたビール缶６１、雑誌６２、および皿６３を示す。
　この例では、まず雑誌６２が注目領域５１と重なっており、ビール缶６１および皿６３が周辺領域と重なっている。オブジェクト特定部１３は雑誌６２を第１オブジェクトとして特定し、ビール缶６１を第２オブジェクトとして特定し、皿６３を第２オブジェクトとして特定していない。例えば、オブジェクト特定部１３は、ビール缶６１のコントラストは閾値Ｔｃ以上であるが皿６３のコントラストは閾値Ｔｃ未満であるため、ビール缶６１のみを第２オブジェクトとして特定している。この特定に応じて雑誌６２の第１オブジェクト情報６２１（商品名、メーカ名、および価格）と、ビール缶６１の第２オブジェクト情報６１１（商品名）とが表示される。第１オブジェクト情報６２１を構成するデータ項目は雑誌６２とユーザとの距離に応じて設定される。
　その後、ユーザが雑誌６２からビール缶６１に視線を移すことで視野が変わり、ビール缶６１が注目領域５１と重なり、雑誌６２および皿６３が周辺領域と重なったものとする。オブジェクト特定部１３はビール缶６１を第１オブジェクトとして特定し、雑誌６２を第２オブジェクトとして特定し、皿６３を第２オブジェクトとして特定していない。例えば、オブジェクト特定部１３は、雑誌６２のコントラストは閾値Ｔｃ以上であるが皿６３のコントラストは閾値Ｔｃ未満であるため、雑誌６２のみを第２オブジェクトとして特定している。この特定に応じてビール缶６１の第１オブジェクト情報６１２（商品名、メーカ名、および価格）と、雑誌６２の第２オブジェクト情報６２２（商品名）とが表示される。第１オブジェクト情報６１２を構成するデータ項目はビール缶６１とユーザとの距離に応じて設定される。
　その後、ユーザがビール缶６１を手に取って見ることで視野が変わり、ビール缶６１が注目領域５１と重なったまま、ユーザとビール缶６１との距離が近くなったとする。オブジェクト特定部１３は引き続きビール缶６１を第１オブジェクトとして特定するが、ユーザとビール缶６１との距離の短縮に伴い、ユーザの評価およびコメントが第１オブジェクト情報６１３として表示される。このように、第１オブジェクトとユーザとの距離が比較的遠い場合（距離が閾値Ｔｄ以上である場合）には第１オブジェクトの基本的な情報を第１オブジェクト情報として表示させ、その距離が比較的近い場合（距離が閾値Ｔｄ未満である場合）には第１オブジェクトの詳細な情報を表示させることが可能である。
　ＨＭＤ１０は、第１オブジェクトとして特定されたオブジェクトについて、注目領域から外れた場合でも予め定められた時間内に限って第１オブジェクト情報を取得し続けてもよい。図１２を参照しながら、一つのオブジェクトＡに着目して、注目領域から外れたオブジェクトについても第１オブジェクト情報を取得する例を詳細に説明する。
　図９に示す処理と異なるのは、オブジェクトＡが注目領域と重ならなかった場合（ステップＳ１３１においてＮＯ）の処理であり、図１２ではこの処理をステップＳ１３１Ａで示す。オブジェクト特定部１３は、第１オブジェクトとして特定されたオブジェクトＡが注目領域から外れた場合（第１時間帯を過ぎた場合）に（ステップＳ１３１においてＮＯ）、その時点からの経過時間を計測し始める。ステップＳ１３１Ａにおいて、オブジェクト特定部１３はその経過時間を閾値Ｔ（秒）と比較する。オブジェクトＡが注目領域から外れてからまだＴ秒経過していない場合（第２時間帯である場合）には（ステップＳ１３１ＡにおいてＮＯ）、オブジェクト特定部１３はステップＳ１３２，Ｓ１３３を実行する。すなわち、オブジェクト特定部１３はオブジェクトＡを第１オブジェクトとして特定し、ユーザからオブジェクトＡまでの距離を推定する。その後、上述したステップＳ１３７～Ｓ１３９の処理が実行される。
　一方、オブジェクトＡが注目領域から外れてからＴ秒経過した場合（第２時間帯を過ぎた場合）には（ステップＳ１３１ＡにおいてＹＥＳ）、上述したステップＳ１３４以降の処理が実行される。ステップＳ１４０において、もし第１時間帯および第２時間帯にわたってオブジェクトＡの第１オブジェクト情報の受信が続いている場合には受信部１５がその受信を終了する。これは、受信部１５が第１時間帯および第２時間帯に限って第１オブジェクト情報を受信することを意味する。
　図１３はオブジェクト情報の表示の別の例を示す図であり、具体的には、ある一つのオブジェクトが注目領域から外れる前後におけるオブジェクト情報の変化の例を模式的に示す。この図１３における最初の状態は図１１と同じであり、画面５０では、雑誌６２の第１オブジェクト情報６２１（商品名、メーカ名、および価格）と、ビール缶６１の第２オブジェクト情報６１１（商品名）とが表示されている。
　その後、ユーザが雑誌６２からビール缶６１に視線を移すことで視野が変わり、ビール缶６１が注目領域５１と重なり、雑誌６２および皿６３が周辺領域と重なったものとする。雑誌６２が注目領域５１から外れた時間が閾値Ｔ（秒）未満である場合には、オブジェクト特定部１３は注目領域５１と重なるビール缶６１を第１オブジェクトとして特定するとともに、周辺領域と重なる雑誌６２を引き続き第１オブジェクトとして特定する。この特定に応じて、ビール缶６１の第１オブジェクト情報６１２（商品名、メーカ名、および価格）が表示されると共に、雑誌６２の第１オブジェクト情報６２１（商品名、メーカ名、および価格）が引き続き表示される。第１オブジェクト情報を構成するデータ項目はオブジェクトとユーザとの距離に応じて設定される。
　その後、雑誌６２が注目領域５１から外れた時間が閾値Ｔ（秒）以上になると、オブジェクト特定部１３は、周辺領域と重なる雑誌６２を第２オブジェクトとして特定する。この特定に応じて、雑誌６２の第２オブジェクト情報６２２（商品名）が表示される。すなわち、雑誌６２が注目領域５１から周辺領域に移ってからＴ秒経過すると、雑誌６２のオブジェクト情報が第１オブジェクト情報６２１から第２オブジェクト情報６２２に変わる。
　ＨＭＤ１０は、第１オブジェクトとして特定されたオブジェクトが注目領域と重なり続ける間は、第１オブジェクト情報の要求を繰り返し行うことなく、第１オブジェクト情報の受信および表示を継続してもよい。すなわち、第１オブジェクト情報の要求は、注目領域外に位置していたオブジェクトが注目領域と重なった時点で一度だけ実行されてもよい。同様に、ＨＭＤ１０は、第２オブジェクトとして特定されたオブジェクトが周辺領域と重なり続ける間は、第２オブジェクト情報の要求を繰り返し行うことなく、第２オブジェクト情報の受信および表示を継続してもよい。すなわち、第２オブジェクト情報の要求は、周辺領域外に位置していたオブジェクトが周辺領域と重なった時点で一度だけ実行されてもよい。図１４を参照しながら、一つのオブジェクトＡに着目して、要求は一回であるが受信および表示を継続する処理の例を詳細に説明する。
　図９に示す処理と異なるのは、オブジェクト情報を要求するか否かを判定する処理の追加であり、図１４ではこの処理をステップＳ１３３Ａ，Ｓ１３６Ａで示す。また、図１４では、図９におけるステップＳ１３７を、ステップＳ１３７Ａ，１３７Ｂに分けて示す。
　ステップＳ１３２，Ｓ１３３において、オブジェクト特定部１３がオブジェクトＡを第１オブジェクトとして特定して、ユーザからオブジェクトＡまでの距離を推定したとする。この場合、ステップＳ１３３Ａにおいて、要求部１４が第１オブジェクト情報をサーバ２０に要求するか否かを判定する。
　オブジェクトＡが注目領域と重なった後に未だ要求信号を送信していない場合には、要求部１４は第１オブジェクト情報を要求すると判定する（ステップＳ１３３ＡにおいてＹＥＳ）。要求部１４は、要求信号を既に送信した場合でも、ユーザからオブジェクトＡまでの距離の変化が閾値Ｔｘ以上であれば、オブジェクト情報を要求すると判定してもよい（ステップＳ１３３ＡにおいてＹＥＳ）。ステップＳ１３７Ａにおいて、要求部１４は要求信号を生成および送信することで、オブジェクトＡの第１オブジェクト情報をサーバ２０に要求する。この場合、ステップＳ１３８，Ｓ１３９の処理が実行される。
　一方、オブジェクトＡが注目領域と重なった後に既に要求信号を送信した場合には、要求部１４はオブジェクト情報を要求しないと判定し（ステップＳ１３３ＡにおいてＮＯ）、ステップＳ１３７Ａの処理を省略する。要求部１４は、既に要求信号を送信しており、かつユーザからオブジェクトＡまでの距離が閾値Ｔｘ未満の場合に、オブジェクト情報を要求しないと判定して（ステップＳ１３３ＡにおいてＮＯ）、ステップＳ１３７Ａの処理を省略してもよい。ステップＳ１３７Ａが省略された場合に、受信部１５が第１オブジェクト情報の受信を継続している可能性がある（ステップＳ１３８）。ステップＳ１３９の処理は図９に示す処理と同じである。
　ステップＳ１３６においてオブジェクト特定部１３がオブジェクトＡを第２オブジェクトとして特定したとする。この場合、ステップＳ１３６Ａにおいて、要求部１４が第２オブジェクト情報をサーバ２０に要求するか否かを判定する。
　オブジェクトＡが周辺領域と重なった後に未だ要求信号を送信していない場合には、要求部１４は第２オブジェクト情報を要求すると判定する（ステップＳ１３６ＡにおいてＹＥＳ）。ステップＳ１３７Ｂにおいて、要求部１４は要求信号を生成および送信することで、オブジェクトＡの第２オブジェクト情報をサーバ２０に要求する。この場合、ステップＳ１３８，Ｓ１３９の処理が実行される。
　一方、オブジェクトＡが周辺領域と重なった後に既に要求信号を送信した場合には、要求部１４はオブジェクト情報を要求しないと判定し（ステップＳ１３６ＡにおいてＮＯ）、ステップＳ１３７Ｂの処理を省略する。ステップＳ１３７Ｂが省略された場合に、受信部１５が第２オブジェクト情報の受信を継続している可能性がある（ステップＳ１３８）。ステップＳ１３９の処理は図９に示す処理と同じである。
　ＨＭＤ１０は、第１オブジェクトとして特定されたオブジェクトが注目領域から外れた後も所定の時間内に限って第１オブジェクト情報を取得し続ける場合に、要求信号を再び生成および送信することなくその第１オブジェクト情報を受信および表示し続けてもよい。すなわち、図１４に示す処理は、図１２に示す処理と組み合わされてもよい。
　［プログラム］
　図１５を参照しながら、コンピュータシステムをＡＲシステム１として機能させるための拡張現実（ＡＲ）プログラムＰを説明する。図１４はＡＲプログラムＰの構成を示す図である。ＡＲプログラムＰは、コンピュータをＨＭＤ１０として機能させるクライアントプログラムＰ１と、コンピュータをサーバ２０として機能させるサーバプログラムＰ２とを含む。本実施形態では、本発明に係る情報処理プログラムをクライアントプログラムＰ１に適用する。
　クライアントプログラムＰ１はメインモジュールＰ１０、視野設定モジュールＰ１１、視野検出モジュールＰ１２、オブジェクト特定モジュールＰ１３、要求モジュールＰ１４、受信モジュールＰ１５、および表示制御モジュールＰ１６を含む。メインモジュールＰ１０は、ＨＭＤ１０の機能を統括的に管理する部分である。視野設定モジュールＰ１１、視野検出モジュールＰ１２、オブジェクト特定モジュールＰ１３、要求モジュールＰ１４、受信モジュールＰ１５、および表示制御モジュールＰ１６を実行することで、視野設定部１１、視野検出部１２、オブジェクト特定部１３、要求部１４、受信部１５、および表示制御部１６が実現する。
　サーバプログラムＰ２はメインモジュールＰ２０、ユーザ検索モジュールＰ２１、受信モジュールＰ２２、オブジェクト検索モジュールＰ２３、および送信モジュールＰ２４を含む。メインモジュールＰ１０は、サーバ２０の機能を統括的に管理する部分である。ユーザ検索モジュールＰ２１、受信モジュールＰ２２、オブジェクト検索モジュールＰ２３、および送信モジュールＰ２４を実行することで、ユーザ検索部２１、受信部２２、オブジェクト検索部２３、および送信部２４が実現する。
　クライアントプログラムＰ１およびサーバプログラムＰ２はそれぞれ、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、クライアントプログラムＰ１およびサーバプログラムＰ２はそれぞれ、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。クライアントプログラムＰ１およびサーバプログラムＰ２は一緒に提供されてもよいし、別々に提供されてもよい。
　［効果］
　以上説明したように、本発明の一側面に係る情報処理装置は、ユーザの視覚に対応する注目領域を検出する検出部と、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定部と、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求部と、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信部とを備える。
　本発明の一側面に係る情報処理方法は、プロセッサを備える情報処理装置により実行される情報処理方法であって、ユーザの視覚に対応する注目領域を検出する検出ステップと、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定ステップと、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求ステップと、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信ステップとを含む。
　本発明の一側面に係る情報処理プログラムは、ユーザの視覚に対応する注目領域を検出する検出ステップと、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定ステップと、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求ステップと、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信ステップとをコンピュータに実行させる。
　このような側面においては、オブジェクトが注目領域と重なる第１時間帯においてそのオブジェクトに関連する第１オブジェクト情報の要求および受信が実行される。この第１時間帯ではユーザはそのオブジェクトに注目していると推定されるので、通信ネットワークを介して提供される第１オブジェクトの情報はユーザにとって有用であり無駄にはならない。このように、ユーザがオブジェクトを注目していると推定される時間帯に情報を要求および受信することで、情報処理装置のデータ通信を効率良く実行することができる。当然ながら、これは通信ネットワークに掛かる負荷を低減できることを意味する。
　他の側面に係る情報処理装置では、要求部が、第１時間帯において第１オブジェクト情報を他のコンピュータに繰り返し要求してもよい。ユーザがオブジェクトを注目していると推定される時間帯に情報を繰り返し要求および受信することで、情報処理装置のデータ通信を効率良く実行することができる。
　他の側面に係る情報処理装置では、受信部が、第１時間帯において第１オブジェクト情報を継続して受信してもよい。ユーザがオブジェクトを注目していると推定される時間帯に情報を受信し続けることで、情報処理装置のデータ通信を効率良く実行することができる。
　他の側面に係る情報処理装置では、特定部が、第１オブジェクトとユーザとの距離を推定し、要求部が、距離に応じたデータ項目を含む第１オブジェクト情報を要求し、受信部が、距離に応じたデータ項目を含む第１オブジェクト情報を受信してもよい。オブジェクトとユーザとの距離が近いほどユーザがそのオブジェクトに興味を持っていると推定することができる。したがって、第１オブジェクト情報の内容をその距離に応じて設定することで、無駄なデータ通信を避けて、ユーザが欲する情報を提供することができる。
　他の側面に係る情報処理装置では、要求部が、第１時間帯に限って第１オブジェクト情報を要求し、受信部が、第１時間帯に限って第１オブジェクト情報を受信してもよい。ユーザがオブジェクトに注目していると推定される時間帯に限定して第１オブジェクト情報を提供することで、無駄なデータ通信を確実に回避することができる。
　他の側面に係る情報処理装置では、要求部が、第１オブジェクトが注目領域から外れてから所定時間が経過するまでの第２時間帯においても、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、受信部が、第２時間帯においても、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信してもよい。ユーザの視線が短時間の間に元に戻ることを考慮して、第１オブジェクトが注目領域から外れた場合でもその短時間の間は第１オブジェクト情報を取得することで、表示される情報が何度も切り替わることを避けて同じ情報を表示し続けることができる。
　他の側面に係る情報処理装置では、要求部が、第１時間帯および第２時間帯に限って第１オブジェクト情報を要求し、受信部が、第１時間帯および第２時間帯に限って第１オブジェクト情報を受信してもよい。ユーザがオブジェクトに注目していると推定される時間帯と、ユーザの視線が元に戻ると推定される時間帯とに限定して第１オブジェクト情報を提供することで、無駄なデータ通信を確実に回避することができる。
　他の側面に係る情報処理装置では、検出部が、注目領域の外側の周辺領域をさらに検出し、特定部が、１以上のオブジェクトの中から、周辺領域と重なる第２オブジェクトを特定し、要求部が、第２オブジェクトが周辺領域と重なる第３時間帯において、第２オブジェクトに関連する第２オブジェクト情報を他のコンピュータに要求し、受信部が、第３時間帯において、要求に応じて他のコンピュータから送信されてきた第２オブジェクト情報を受信してもよい。ユーザは視野の周辺領域に位置するオブジェクトにも着目する可能性があるので、通信ネットワークを介して提供される第２オブジェクトの情報もユーザにとって有用であり得る。したがって、周辺領域に位置する第２オブジェクトの情報を提供することで、データ通信の無駄を避けつつ、必要と推定される情報をユーザに提供することができる。
　他の側面に係る情報処理装置では、要求部が、第３時間帯において第２オブジェクト情報を他のコンピュータに繰り返し要求してもよい。第２オブジェクトの情報を繰り返し要求することで、データ通信の無駄を避けつつ、必要と推定される情報をユーザに繰り返し提供できる。
　他の側面に係る情報処理装置では、第２オブジェクト情報のデータ項目数が第１オブジェクト情報のデータ項目数よりも少なくてもよい。一般に、ユーザは周辺領域内のオブジェクトよりも注目領域内のオブジェクトを明確に認識して強い興味を持つ。したがって、周辺領域内のオブジェクトに関する第２オブジェクトのデータ項目の個数を第１オブジェクト情報よりも少なくすることで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。
　他の側面に係る情報処理装置では、特定部が、周辺領域と重なる１以上のオブジェクトのうちユーザとの距離が閾値未満であるオブジェクトを第２オブジェクトとして特定してもよい。一般に人間は、周辺領域と重なる第２オブジェクトについては、自身との距離が近いものほどより強い興味を持つ。したがって、ユーザとの距離が近い第２オブジェクトに限って第２オブジェクト情報を取得することで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。
　他の側面に係る情報処理装置では、特定部が、周辺領域と重なる１以上のオブジェクトのうち背景領域とのコントラストが閾値以上であるオブジェクトを第２オブジェクトとして特定してもよい。一般に人間は、周辺領域と重なる第２オブジェクトについては、コントラストが高いものほど容易に識別する。したがって、コントラストが高い第２オブジェクトに限って第２オブジェクト情報を取得することで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。
　他の側面に係る情報処理装置では、特定部が、周辺領域と重なる１以上のオブジェクトのうち動いているオブジェクトを第２オブジェクトとして特定してもよい。一般に人間は、周辺領域と重なる第２オブジェクトについては、動いているものを容易に識別する。したがって、動いている第２オブジェクトに限って第２オブジェクト情報を取得することで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。
　他の側面に係る情報処理装置では、特定部が、周辺領域と重なる１以上のオブジェクトのうち第１オブジェクトと同じ属性を有するオブジェクトを第２オブジェクトとして特定してもよい。ユーザは、周辺領域と重なる第２オブジェクトについては、現在注目している第１オブジェクトと同じ属性を持つものに注目する蓋然性が高い。したがって、第１オブジェクトと同じ属性を持つ第２オブジェクトに限って第２オブジェクト情報を取得することで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。
　他の側面に係る情報処理装置では、ユーザの属性に基づいて注目領域を設定する設定部をさらに備えてもよい。個々のユーザ毎に注目領域を設定することで、それぞれのユーザにとって必要な量の第１オブジェクト情報が要求および受信される。したがって、情報処理装置のデータ通信を効率良く実行することができる。
　他の側面に係る情報処理装置では、設定部がユーザの移動速度に基づいて注目領域を設定してもよい。人間の視野は移動速度が早いと狭まる傾向があり、人間がオブジェクトを明確に認識できる中心視および有効視野も狭まる。したがって、ユーザの移動速度に基づいて注目領域を設定することで、ユーザにとって必要な量の第１オブジェクト情報が要求および受信される。したがって、情報処理装置のデータ通信を効率良く実行することができる。
　他の側面に係る情報処理装置では、第１時間帯において第１オブジェクト情報をディスプレイ上に表示する表示制御部をさらに備えてもよい。
　他の側面に係る情報処理装置では、ディスプレイがヘッドマウントディスプレイであってもよい。
　このような側面においては、第１時間帯ではユーザはオブジェクトに注目していると推定される第１時間帯において、ヘッドマウントディスプレイなどのディスプレイを介してユーザに第１オブジェクト情報を見せることができる。ユーザがオブジェクトを注目していると推定される時間帯に情報を表示することで、ディスプレイを効率良く制御することができる。
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
　受信部は、レジュームダウンロード機能（ｒｅｓｕｍｅ　ｄｏｗｎｌｏａｄ　ｆｅａｔｕｒｅ）を用いて第１オブジェクト情報または第２オブジェクト情報を受信してもよい。レジュームダウンロード機能は、ダウンロードが一時的に中止された場合でも、その中止された部分から再びダウンロードを開始する機能である。
　上記実施形態ではＨＭＤ１０が第１オブジェクト情報または第２オブジェクト情報をディスプレイ１０５上に表示するが、要求および受信したオブジェクト情報の用途は表示に限定されない。例えば、情報処理装置は要求および受信した第１オブジェクト情報または第２オブジェクト情報をメモリに格納してもよいし、他の情報処理装置に送信してもよい。
　上記実施形態ではＨＭＤ１０が注目領域および周辺領域の双方を検出するが、周辺領域の検出は情報処理装置の必須の処理ではない。したがって、情報処理装置は第２オブジェクトに関する処理を実行しなくてもよい。
　上記実施形態ではＨＭＤ１０を例示したが、情報処理装置の構成は限定されない。例えば、情報処理装置は、ＨＭＤなどのウェアラブル端末と、高機能携帯電話機（スマートフォン）などの他の端末との組合せであってもよい。
　少なくとも一つのプロセッサにより実行される情報処理方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。
　本発明に係る情報処理装置を含むコンピュータシステム内で二つの数値の大小関係を比較する際には、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」の二つの基準のうちのどちらを用いてもよい。このような基準の選択は、二つの数値の大小関係を比較する処理についての技術的意義を変更するものではない。
１…拡張現実システム、１０…ヘッドマウントディスプレイ（情報処理装置）、１１…視野設定部、１２…視野検出部、１３…オブジェクト特定部、１４…要求部、１５…受信部、１６…表示制御部、２０…サーバ、２１…ユーザ検索部、２２…受信部、２３…オブジェクト検索部、２４…送信部、３０…データベース群、３１…ユーザデータベース、３２…オブジェクトデータベース、Ｐ…拡張現実プログラム（情報処理プログラム） 、Ｐ１…クライアントプログラム、Ｐ１０…メインモジュール、Ｐ１１…視野設定モジュール、Ｐ１２…視野検出モジュール、Ｐ１３…オブジェクト特定モジュール、Ｐ１４…要求モジュール、Ｐ１５…受信モジュール、Ｐ１６…表示制御モジュール、Ｐ２…サーバプログラム、Ｐ２０…メインモジュール、Ｐ２１…ユーザ検索モジュール、Ｐ２２…受信モジュール、Ｐ２３…オブジェクト検索モジュール、Ｐ２４…送信モジュール。

Claims (20)

  1. 　ユーザの視覚に対応する注目領域を検出する検出部と、
    　前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトを特定する特定部と、
    　前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求部と、
    　前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信する受信部と
    を備える情報処理装置。
  2. 　前記要求部が、前記第１時間帯において前記第１オブジェクト情報を前記他のコンピュータに繰り返し要求する、
    請求項１に記載の情報処理装置。
  3. 　前記受信部が、前記第１時間帯において前記第１オブジェクト情報を継続して受信する、
    請求項１または２に記載の情報処理装置。
  4. 　前記特定部が、前記第１オブジェクトと前記ユーザとの距離を推定し、
    　前記要求部が、前記距離に応じたデータ項目を含む前記第１オブジェクト情報を要求し、
    　前記受信部が、前記距離に応じた前記データ項目を含む前記第１オブジェクト情報を受信する、
    請求項１～３のいずれか一項に記載の情報処理装置。
  5. 　前記要求部が、前記第１時間帯に限って前記第１オブジェクト情報を要求し、
    　前記受信部が、前記第１時間帯に限って前記第１オブジェクト情報を受信する、
    請求項１～４のいずれか一項に記載の情報処理装置。
  6. 　前記要求部が、前記第１オブジェクトが前記注目領域から外れてから所定時間が経過するまでの第２時間帯においても、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、
    　前記受信部が、前記第２時間帯においても、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信する、
    請求項１～４のいずれか一項に記載の情報処理装置。
  7. 　前記要求部が、前記第１時間帯および前記第２時間帯に限って前記第１オブジェクト情報を要求し、
    　前記受信部が、前記第１時間帯および前記第２時間帯に限って前記第１オブジェクト情報を受信する、
    請求項６に記載の情報処理装置。
  8. 　前記検出部が、前記注目領域の外側の周辺領域をさらに検出し、
    　前記特定部が、前記１以上のオブジェクトの中から、前記周辺領域と重なる第２オブジェクトを特定し、
    　前記要求部が、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求し、
    　前記受信部が、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する、
    請求項１～７のいずれか一項に記載の情報処理装置。
  9. 　前記要求部が、前記第３時間帯において前記第２オブジェクト情報を前記他のコンピュータに繰り返し要求する、
    請求項８に記載の情報処理装置。
  10. 　前記第２オブジェクト情報のデータ項目数が前記第１オブジェクト情報のデータ項目数よりも少ない、
    請求項８または９に記載の情報処理装置。
  11. 　前記特定部が、前記周辺領域と重なる１以上の前記オブジェクトのうち前記ユーザとの距離が閾値未満である前記オブジェクトを前記第２オブジェクトとして特定する、
    請求項８～１０のいずれか一項に記載の情報処理装置。
  12. 　前記特定部が、前記周辺領域と重なる１以上の前記オブジェクトのうち背景領域とのコントラストが閾値以上である前記オブジェクトを前記第２オブジェクトとして特定する、
    請求項８～１１のいずれか一項に記載の情報処理装置。
  13. 　前記特定部が、前記周辺領域と重なる１以上の前記オブジェクトのうち動いている前記オブジェクトを前記第２オブジェクトとして特定する、
    請求項８～１１のいずれか一項に記載の情報処理装置。
  14. 　前記特定部が、前記周辺領域と重なる１以上の前記オブジェクトのうち前記第１オブジェクトと同じ属性を有する前記オブジェクトを前記第２オブジェクトとして特定する、
    請求項８～１１のいずれか一項に記載の情報処理装置。
  15. 　前記ユーザの属性に基づいて前記注目領域を設定する設定部
    をさらに備える請求項１～１４のいずれか一項に記載の情報処理装置。
  16. 　前記設定部が前記ユーザの移動速度に基づいて前記注目領域を設定する、
    請求項１５に記載の情報処理装置。
  17. 　前記第１時間帯において前記第１オブジェクト情報をディスプレイ上に表示する表示制御部をさらに備える、
    請求項１～１６のいずれか一項に記載の情報処理装置。
  18. 　前記ディスプレイがヘッドマウントディスプレイである、
    請求項１７に記載の情報処理装置。
  19. 　プロセッサを備える情報処理装置により実行される情報処理方法であって、
    　ユーザの視覚に対応する注目領域を検出する検出ステップと、
    　前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトを特定する特定ステップと、
    　前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求ステップと、
    　前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信する受信ステップと
    を含む情報処理方法。
  20. 　ユーザの視覚に対応する注目領域を検出する検出ステップと、
    　前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトを特定する特定ステップと、
    　前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求ステップと、
    　前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信する受信ステップと
    をコンピュータに実行させる情報処理プログラム。
PCT/JP2017/041676 2017-11-20 2017-11-20 情報処理装置、情報処理方法、および情報処理プログラム WO2019097726A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019522596A JP6606312B2 (ja) 2017-11-20 2017-11-20 情報処理装置、情報処理方法、および情報処理プログラム
US16/615,901 US11126848B2 (en) 2017-11-20 2017-11-20 Information processing device, information processing method, and information processing program
EP17932463.7A EP3716220B1 (en) 2017-11-20 2017-11-20 Information processing device, information processing method, and information processing program
PCT/JP2017/041676 WO2019097726A1 (ja) 2017-11-20 2017-11-20 情報処理装置、情報処理方法、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041676 WO2019097726A1 (ja) 2017-11-20 2017-11-20 情報処理装置、情報処理方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2019097726A1 true WO2019097726A1 (ja) 2019-05-23

Family

ID=66540140

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041676 WO2019097726A1 (ja) 2017-11-20 2017-11-20 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (4)

Country Link
US (1) US11126848B2 (ja)
EP (1) EP3716220B1 (ja)
JP (1) JP6606312B2 (ja)
WO (1) WO2019097726A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166747A1 (ja) * 2020-02-18 2021-08-26 株式会社Ｎｔｔドコモ 情報処理システム
JP2022505999A (ja) * 2019-10-15 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 拡張現実データの提示方法、装置、機器および記憶媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3281390B1 (en) * 2015-04-09 2022-03-23 OMRON Corporation Embedded web server
JP7056500B2 (ja) * 2018-10-04 2022-04-19 トヨタ自動車株式会社 画像生成装置、画像生成方法、およびプログラム
US10984534B2 (en) * 2019-03-28 2021-04-20 GM Global Technology Operations LLC Identification of attention region for enhancement of sensor-based detection in a vehicle
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11380094B2 (en) * 2019-12-12 2022-07-05 At&T Intellectual Property I, L.P. Systems and methods for applied machine cognition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP2006267887A (ja) * 2005-03-25 2006-10-05 Konica Minolta Photo Imaging Inc 映像認識手段を備えたヘッドマウントディスプレイ
JP2013211027A (ja) * 2008-12-25 2013-10-10 Panasonic Corp 情報表示装置
JP2016173693A (ja) * 2015-03-17 2016-09-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017033334A (ja) 2015-08-03 2017-02-09 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738804B1 (en) * 2000-09-15 2004-05-18 Yodlee.Com, Inc. Method and apparatus for enabling sectored data refreshing of Web-site data during session
CN102144201A (zh) 2008-09-03 2011-08-03 皇家飞利浦电子股份有限公司 在用户与交互式显示系统之间执行基于目光的交互的方法
US20120113145A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality surveillance and rescue system
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US20130191250A1 (en) * 2012-01-23 2013-07-25 Augme Technologies, Inc. System and method for augmented reality using multi-modal sensory recognition from artifacts of interest
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US20150331240A1 (en) * 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US11150482B2 (en) * 2015-02-25 2021-10-19 Facebook Technologies, Llc Augmented reality content creation
CN105988219B (zh) * 2015-03-17 2020-11-10 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US20180227630A1 (en) * 2015-08-07 2018-08-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH System and method for displaying a stream of images
CN108351685B (zh) 2015-08-15 2022-07-08 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP2006267887A (ja) * 2005-03-25 2006-10-05 Konica Minolta Photo Imaging Inc 映像認識手段を備えたヘッドマウントディスプレイ
JP2013211027A (ja) * 2008-12-25 2013-10-10 Panasonic Corp 情報表示装置
JP2016173693A (ja) * 2015-03-17 2016-09-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2017033334A (ja) 2015-08-03 2017-02-09 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3716220A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022505999A (ja) * 2019-10-15 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 拡張現実データの提示方法、装置、機器および記憶媒体
WO2021166747A1 (ja) * 2020-02-18 2021-08-26 株式会社Ｎｔｔドコモ 情報処理システム
JPWO2021166747A1 (ja) * 2020-02-18 2021-08-26

Also Published As

Publication number Publication date
JP6606312B2 (ja) 2019-11-13
EP3716220A4 (en) 2021-09-08
US11126848B2 (en) 2021-09-21
JPWO2019097726A1 (ja) 2019-11-21
EP3716220B1 (en) 2024-02-21
EP3716220A1 (en) 2020-09-30
US20200184218A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
WO2019097726A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US20210342387A1 (en) Method and apparatus for image processing and associated user interaction
US9262780B2 (en) Method and apparatus for enabling real-time product and vendor identification
US11614803B2 (en) Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
JP5280475B2 (ja) 情報処理システム、情報処理方法及びプログラム
US9014754B2 (en) Information processing system and information processing method
US20130083064A1 (en) Personal audio/visual apparatus providing resource management
KR20150129546A (ko) 안경형 단말기와 그 안경형 단말기의 제어 방법
CN115512534B (zh) 远程设备的发现和连接
US20180268453A1 (en) Composite image generation
KR101922713B1 (ko) 사용자 단말, 중개서버 및 이를 포함하는 안경업체 중개 시스템 및 방법
CN109815409B (zh) 一种信息的推送方法、装置、穿戴设备及存储介质
WO2019187487A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11270367B2 (en) Product comparison techniques using augmented reality
US20180158242A1 (en) Information processing method and program for executing the information processing method on computer
KR101777328B1 (ko) 스마트 글래스와 모바일 장치를 이용하여 상품에 관련된 데이터를 제공하는 방법
KR20170049219A (ko) 웨어러블 디바이스를 이용한 결제 정보 제공 시스템 및 이를 이용한 결제 정보 제공 방법
KR101737936B1 (ko) 스마트 글래스와 모바일 장치를 이용한 쿠폰 제공 방법
CN114967922A (zh) 信息展示方法、装置、电子设备及存储介质
WO2024047990A1 (ja) 情報処理装置
TW201432594A (zh) 配戴式商品資訊顯示裝置以及資訊顯示方法
JP2022069212A (ja) 制御装置、プログラム、及びシステム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019522596

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17932463

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017932463

Country of ref document: EP

Effective date: 20200622