WO2017169400A1 - 情報処理装置、情報処理方法、およびコンピュータ可読媒体 - Google Patents

情報処理装置、情報処理方法、およびコンピュータ可読媒体 Download PDF

Info

Publication number
WO2017169400A1
WO2017169400A1 PCT/JP2017/007239 JP2017007239W WO2017169400A1 WO 2017169400 A1 WO2017169400 A1 WO 2017169400A1 JP 2017007239 W JP2017007239 W JP 2017007239W WO 2017169400 A1 WO2017169400 A1 WO 2017169400A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
information processing
processing apparatus
information
display object
Prior art date
Application number
PCT/JP2017/007239
Other languages
English (en)
French (fr)
Inventor
貴広 岡山
遼 深澤
邦在 鳥居
近藤　一臣
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780019336.4A priority Critical patent/CN108885497B/zh
Priority to DE112017001660.6T priority patent/DE112017001660T5/de
Priority to US16/086,758 priority patent/US10861181B2/en
Publication of WO2017169400A1 publication Critical patent/WO2017169400A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a computer-readable medium.
  • a technology has been developed in which a display position corresponding to a user's line-of-sight position is determined, and display is performed at a position based on the determined display position.
  • a technique for determining the display position based on the line-of-sight position and visual field characteristics of the driver of the vehicle and displaying a warning at the determined display position or in the vicinity of the display position for example, disclosed in Patent Document 1 below.
  • various display objects indicating characters (or character strings; the same shall apply hereinafter), images, or combinations thereof can be displayed in real space (or reality).
  • An image showing a real space such as a picked-up image obtained by picking up the space (hereinafter, the same shall apply) and can be displayed on the display screen.
  • This disclosure proposes a new and improved information processing apparatus, information processing method, and computer-readable medium capable of facilitating recognition of a display object by a user.
  • an information processing apparatus selects a display object from among a plurality of candidate objects corresponding to a specific position in the user's field of view, and displays the selected display object on the display screen in association with the specific position
  • a processing unit is provided that performs processing based on line-of-sight information indicating the line of sight of the user.
  • an information processing method including executing display control processing by an information processing device. Based on the line-of-sight information indicating the user's line of sight, the display control process selects a display object from a plurality of candidate objects corresponding to a specific position in the user's field of view, and the selected display object is the specific It is displayed on the display screen in association with the position.
  • a computer readable medium including instructions operable on the information processing apparatus to execute the information processing method.
  • the information processing method selects a display object from among a plurality of candidate objects corresponding to a specific position in a user's visual field based on line-of-sight information indicating a user's line of sight, and identifies the selected display object Display control processing to be displayed on the display screen in association with the position.
  • FIG. 1 is an explanatory diagram for explaining an example of the information processing method according to this embodiment, and shows an example of human visual field characteristics.
  • “H” shown in FIG. 1 indicates the horizontal direction
  • “V” shown in FIG. 1 indicates the vertical direction
  • “ ⁇ ” shown in FIG. 1 indicates an azimuth angle in the viewing direction.
  • the human visual field characteristics can be classified as follows, for example.
  • Discrimination field of view A range in which a human can recognize the shape and content of any type of display object.
  • Word recognition limit A range of limits where humans can read characters (an example of a display object).
  • Effective field of view A range in which a human can identify the shape of a display object other than characters (an example of a display object).
  • -Other ranges ranges other than discrimination visual field, word identification limit, and effective visual field: Although the shape and contents of the display object cannot be identified, the movement of the display object due to the display object being animated, etc. A range that can be noticed.
  • the distance from the user's viewpoint position to the word identification limit (corresponding to the azimuth angle) or the distance to the boundary of the effective visual field may be regarded as the “first value”.
  • a distance indicating a satisfactory range as a superimposed visual field or a distance indicating a visual limit that can be viewed with both eyes with respect to the user's viewpoint position may be regarded as a “second value”.
  • the distance between the viewpoint position and the specific position (object) is equal to or smaller than the first value, or larger than the first value and equal to or smaller than the second value. Based on such determination, it may be considered that a display object corresponding to a specific position is selected from a plurality of candidate objects. Details will be described later with reference to FIG.
  • warning display is performed with the discrimination visual field set as an appropriate display position corresponding to the line-of-sight position.
  • the user can recognize the shape and content of an arbitrary type of display object within the discrimination visual field. Therefore, for example, if warning display is performed within the discrimination visual field as in the technique described in Patent Document 1, the content of the warning display may be recognized by the user.
  • a use case is assumed in which a display object corresponding to an object included in the real space is displayed on the display screen while being superimposed on the real space.
  • the object may be regarded as corresponding to a specific position in the user's field of view.
  • Examples of the display screen according to the present embodiment include an eyewear-type wearable device (hereinafter, simply referred to as “eyewear”) such as a glasses-type wearable device, an HMD (Head Mounted Display), and the like.
  • the HMD may be a transmissive device or a non-transmissive device.
  • Examples of the transmissive type include arbitrary types such as a video transmissive type and an optical transmissive type in which an image captured by an imaging device is displayed on a display screen so that an outside scenery is electronically displayed.
  • examples of the display method for realizing the transmission type include any display method capable of realizing the transmission type, such as a hologram method, a half mirror method, and a pupil division method.
  • the display screen according to the present embodiment may be a display screen of an arbitrary device such as a smartphone or a tablet.
  • Examples of the object according to the present embodiment include living things such as human beings and things.
  • the target object according to the present embodiment is specified by performing processing using an arbitrary recognition technique such as a face recognition technique or an object recognition technique on a captured image, for example.
  • the object according to the present embodiment may be specified using, for example, position information indicating the position of the user and a database in which the position and the object are associated with each other.
  • position information for example, from position data obtained by the position specifying device provided in the apparatus related to the display screen according to this embodiment, or from an external position specifying device connected to the apparatus related to the display screen according to this embodiment
  • the position data obtained can be mentioned.
  • the position specifying device include an arbitrary device capable of specifying the position, such as a device related to GNSS (Global Navigation Satellite System).
  • Examples of the display object according to the present embodiment include arbitrary display objects that can be displayed on the display screen, such as characters, images (moving images or still images), or combinations thereof. If a specific example is given, the example shown below will be given as a display object concerning this embodiment. Needless to say, examples of display objects according to the present embodiment are not limited to the specific examples shown below.
  • -Text label for example, a character string that is less than the set number of characters
  • Sentence for example, a character string with more characters than the number of characters set
  • No animation icon for example, a character string with more characters than the number of characters set
  • the information processing apparatus performs “a process of displaying a display object selected from a plurality of display object candidates (candidate objects) corresponding to the target based on the line-of-sight information”. (Hereinafter, referred to as “display control processing”).
  • the information processing apparatus selects “a display object from a plurality of candidate objects corresponding to a specific position in the user's field of view, and displays the selected display object in association with the specific position. It may be considered that the “display control process to be displayed on the screen” is performed.
  • the display method of the display object displayed by the information processing apparatus according to the present embodiment by the display control process is changed based on the line-of-sight information.
  • the line-of-sight information according to the present embodiment is data indicating the user's line of sight.
  • the line-of-sight information according to the present embodiment includes, for example, “data indicating the position of the user's line of sight” and “data that can be used for specifying the position of the user's line of sight (or for estimating the position of the user's line of sight). Data that can be used. The same shall apply hereinafter.) ”.
  • Examples of the data indicating the position of the user's line of sight according to the present embodiment include “coordinate data indicating the position of the user's line of sight on the display screen”.
  • the position of the user's line of sight on the display screen is represented by coordinates in a coordinate system with the reference position on the display screen as the origin, for example.
  • the reference position on the display screen according to the present embodiment may be, for example, a fixed position set in advance, or a position that can be set based on a user operation or the like.
  • the information processing apparatus uses, for example, the line-of-sight detection technology.
  • Coordinate data indicating the position of the user's line of sight on the display screen is acquired from the external device that specifies (or estimates) the line of sight.
  • the information processing apparatus specifies coordinates of the position of the user's line of sight on the display screen by specifying (or estimating) the position of the user's line of sight using the line-of-sight detection technique. It is also possible to obtain data.
  • a line-of-sight detection technique for example, an eye moving point (for example, an iris or a pupil) with respect to a reference point of an eye (for example, a point corresponding to a non-moving part of the eye such as the eye head or corneal reflection).
  • a reference point of an eye for example, a point corresponding to a non-moving part of the eye such as the eye head or corneal reflection.
  • the line-of-sight detection technology is not limited to the above.
  • the information processing apparatus and the external apparatus may be configured such that the “corneal reflection method” such as “pupil corneal reflection method”, “scleral reflection method”, “face detection, face, eye, nose, mouth” It is also possible to detect the user's line of sight using an arbitrary line-of-sight detection technique using AAM (Active Appearance Model) that follows the feature points obtained from the above.
  • AAM Active Appearance Model
  • the data indicating the position of the user's line of sight according to the present embodiment is not limited to the above “coordinate data indicating the position of the user's line of sight on the display screen”.
  • the data indicating the position of the user's line of sight is “the position in the real object that the user is looking at. It may be “coordinate data shown”.
  • the position of the real space in the real object that the user is viewing is specified (or estimated) based on, for example, a three-dimensional image of the real object and a line-of-sight vector specified (or estimated) using the line-of-sight detection technique.
  • the method for specifying the position of the real object in the real space that the user is viewing is not limited to the above, and any technique that can specify the position of the real object in the real space that the user is viewing may be used. Is possible.
  • the information processing apparatus When the information related to the position of the user's line of sight according to the present embodiment is coordinate data indicating the position in the real object in the real space that the user is looking at, the information processing apparatus according to the present embodiment, for example, The coordinate data indicating the position of the real space in the real object is acquired from the external device.
  • the information processing apparatus identifies (or estimates) the position in the real object in the real space that the user is viewing by using a gaze detection technique or the like. It is also possible to acquire coordinate data indicating the position of the real space in the real object.
  • data that can be used for specifying the position of the user's line of sight for example, captured image data in which the direction in which an image is displayed on the display screen is captured (from the display screen side to the display screen). Captured image data obtained by capturing the opposite direction).
  • the data that can be used for specifying the position of the user's line of sight according to the present embodiment further includes the user's line of sight, such as detection data of an infrared sensor that detects infrared rays in the direction in which the image is displayed on the display screen.
  • the detection data of any sensor that obtains a detection value that can be used to improve the estimation accuracy of the position may be included.
  • the data that can be used for specifying the position of the user's line of sight according to the present embodiment may be, for example, data relating to the specification of the three-dimensional image of the real object and the line of sight of the user.
  • the information processing apparatus when using data that can be used for specifying the position of the user's line of sight, the information processing apparatus according to the present embodiment relates to the method for specifying the position of the user's line of sight according to the present embodiment as described above, for example. Processing is performed to identify (or estimate) the position of the user's line of sight.
  • FIG. 2 is an explanatory diagram for explaining an example of the information processing method according to the present embodiment, and shows an example in which the display object display method changes based on the line-of-sight information.
  • FIG. 2A shows an example of a display object displayed on the object O on the display screen S.
  • FIG. 2B shows another example of the display object displayed on the object O on the display screen S.
  • the display screen S of FIG. 2A and the display screen S of FIG. 2B show, for example, a display screen of an HMD (an example of a display screen of a wearable device used by being worn on the user's head). .
  • HMD an example of a display screen of a wearable device used by being worn on the user's head.
  • FIG. 2 it is assumed that the user's line of sight is directed near the center of the display screen S.
  • the information processing apparatus when the object O exists at the end of the user's line of sight, the information processing apparatus according to the present embodiment is, for example, “icon (an example of an image. ..) And characters ”(an example of a display object corresponding to the object O) is displayed on the display screen S.
  • the information processing apparatus displays, for example, characters at the word identification limit and icons at the effective field of view.
  • an “icon” (another example of a display object corresponding to the object O) is displayed on the display screen S. Is displayed.
  • the information processing apparatus displays an icon in the effective field of view, for example.
  • the information processing apparatus changes the display object display method based on the user's line of sight indicated by the line-of-sight information in consideration of visual field characteristics.
  • the time required for the user to recognize the display object displayed on the display screen S can be shortened by changing the display method of the display object.
  • the information processing apparatus can facilitate the recognition of the display object by the user.
  • the information processing apparatus includes a display control process (“a plurality of display object candidates corresponding to an object based on line-of-sight information” as a process related to the information processing method according to the present embodiment. Processing for displaying the display object selected from among them is performed.
  • the information processing apparatus causes the selected display object to be displayed by being superimposed on the real space or an image showing the real space.
  • the image indicating the real space include a captured image obtained by capturing the real space and an image in which the real space generated by the CG (Computer Graphics) technology is virtually represented.
  • the information processing apparatus for example, an arbitrary technique that can display a display object such as an AR technology superimposed on the real space, or a display object such as an image processing technique on an image that represents the real space.
  • the display object is displayed using any technique that can be displayed in a superimposed manner.
  • the information processing apparatus performs, for example, the process according to the first example shown in (2-1) below and the second example shown in (2-2) as the display control process.
  • the processing related to is performed.
  • the information processing apparatus uses, for example, a display object display method based on line-of-sight information. Change.
  • examples of how to display the display object changed by the information processing apparatus according to the present embodiment include the following examples (A) to (D).
  • the information processing apparatus changes the display object display method by changing the display object layout.
  • the information processing apparatus arranges display objects based on the user's line of sight indicated by the line-of-sight information in consideration of visual field characteristics, for example, as illustrated with reference to FIGS. 2A and 2B. By changing the layout of the display object.
  • the information processing apparatus changes the display object display method by changing the decoration method of the display object.
  • Examples of the decoration method for the display object changed by the information processing apparatus according to the present embodiment include the following examples. Needless to say, examples of decorations for display objects are not limited to the examples shown below. -Characters (examples of display objects) are bolded. -Add a colored frame to an image (an example of a display object). -Blink characters and images.
  • the information processing apparatus performs, for example, highlighting that changes the way the display object is decorated as described below. -When displaying a character (an example of a display object) in the range of the effective visual field which is not a discrimination visual field or a word identification limit, the information processing apparatus according to the present embodiment makes the character bold. Moreover, when displaying a character in the range of a discrimination visual field or a word identification limit, the information processing apparatus according to the present embodiment does not make the character bold. When displaying an image (an example of a display object) in another range, the information processing apparatus according to the present embodiment adds a colored frame to the image or blinks the image.
  • the information processing apparatus when displaying an image in the discrimination visual field, the word identification limit, or the effective visual field, the information processing apparatus according to the present embodiment does not add a colored frame to the image and does not blink the image (that is, the display object). Display the image itself.
  • the information processing apparatus changes the display object display method by changing the display object omission method.
  • the information processing apparatus uses, for example, an arbitrary abbreviation format such as omission by a three-point reader (“...”)
  • an entire character an example of a display object
  • Omit characters For example, when the entire character can be displayed within the word identification limit, the information processing apparatus according to the present embodiment does not omit the character. That is, the information processing apparatus according to the present embodiment may be regarded as changing the number of display characters of the text information based on the line-of-sight information when the attribute information of the selected display object includes text information.
  • the information processing apparatus changes the display method according to the first example shown in (A) to (C). It is also possible to change the display method of the display object by combining two or more display method changes among the display method changes according to the third example.
  • the information processing apparatus is, for example, as shown in the change in the display method according to the first example shown in (A) to the change in the display method according to the fourth example shown in (D). Further, in consideration of the visual field characteristics, the display object display method is changed based on the user's line of sight indicated by the line of sight information.
  • processing related to the change in the display method of the display object is not limited to the example shown above.
  • the information processing apparatus according to the present embodiment can perform processes as shown in (i) to (iv) below.
  • the information processing apparatus further changes the display method of the display object based on the state information.
  • the state information according to the present embodiment is data indicating the state of the user.
  • Examples of the state information according to the present embodiment include data indicating a user's action recognition result and data indicating a user's interaction state.
  • the data indicating the user's behavior recognition result indicates the recognition result of the user's behavior, for example, stationary, walking, running, stair climbing, and vehicle driving.
  • a user's action is estimated based on the detection result of the sensor which can detect a motion, such as an acceleration sensor and a gyro sensor, with which the device concerning the display screen concerning this embodiment is provided, for example.
  • the user's behavior may be estimated by any technique capable of recognizing the user's behavior.
  • the process related to the estimation of user behavior may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external device of the information processing apparatus according to the present embodiment.
  • the information processing apparatus refers to, for example, a table (or database) in which actions and display methods are associated with each other, and displays display objects according to display methods corresponding to recognized actions.
  • a method of changing the display method corresponding to the recognized action for example, one or more of the size of the display object, the degree of omission, and the movement due to animation, blinking, etc.
  • a method of changing according to the degree of movement is mentioned.
  • the information processing apparatus according to the present embodiment is, for example, a layout of only icons (an example of a display object) when the target object exists in the user's effective field of view and the user is in a moving state.
  • data indicating the user's dialogue state for example, data indicating whether or not the user is talking can be cited.
  • Data indicating the user's dialogue state is estimated by detecting a conversation based on a detection result of a voice detection device such as a microphone included in the apparatus related to the display screen according to the present embodiment, for example.
  • the processing related to the estimation of the user's dialogue state may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external device of the information processing apparatus according to the present embodiment.
  • the information processing apparatus displays the display object by, for example, a display method corresponding to the dialog state indicated by the data indicating the user's dialog state.
  • a display method corresponding to the dialog state indicated by the data indicating the user's dialog state As a method of changing the display method corresponding to the state of the conversation, for example, when the user is talking, the size of the display object, the degree of omission, and one or two of the movements due to animation, blinking, etc. The method of changing the above is mentioned.
  • the information processing apparatus further changes the display method of the display object based on the environment information.
  • the environment information according to the present embodiment is data indicating the user's surrounding environment.
  • Examples of data indicating the surrounding environment according to the present embodiment include data indicating illuminance, data indicating luminance, and the like.
  • Examples of the data indicating the illuminance include data indicating the detection result of the illuminance sensor included in the device related to the display screen according to the present embodiment.
  • the character an example of the display object
  • the method of changing the display method when using data indicating illuminance is not limited to the example described above.
  • the data indicating the luminance for example, data indicating the detection result of the luminance sensor provided in the device related to the display screen according to the present embodiment can be cited.
  • the luminance sensor is arranged to detect the luminance in the direction in which the user is facing.
  • the character an example of the display object
  • the method of changing the display method in the case of using data indicating luminance is not limited to the above example.
  • the example of changing the display method of the display object based on the environment information is not limited to the example shown above.
  • the information processing apparatus further changes the display method of the display object based on the display object selected from the plurality of display object candidates.
  • the information processing apparatus according to the present embodiment changes the display method of the display object based on attribute information indicating the attribute of the selected display object.
  • Attribute information includes, for example, data including one or more of display object type, importance, and priority.
  • the information processing apparatus blinks a display object when, for example, the object is outside the effective field of view of the user and the importance of the display object indicated by the attribute information is greater than a predetermined threshold value. Enhance the display object by adding a colored frame. Needless to say, the method of changing the display method when using attribute information is not limited to the example shown above.
  • the information processing apparatus performs, for example, a method of displaying a display object by performing a process combining two or more of the processes shown in (i) to (iii) above. You may change it.
  • the information processing apparatus selects a display object from a plurality of display object candidates corresponding to the target object. To do.
  • the information processing apparatus displays a display object corresponding to an object based on information indicating a viewpoint position on a display screen specified based on line-of-sight information, a position of the object on the display screen, and visual field characteristics. Select.
  • the information processing apparatus describes whether a plurality of candidate objects are based on the relationship between the viewpoint position specified based on the line-of-sight information and the specific position (corresponding to the object). It may be considered that a display object corresponding to a specific position is selected.
  • Examples of the information indicating the visual field characteristic according to the present embodiment include data indicating the visual field characteristic of a human shown with reference to FIG.
  • the information processing apparatus calculates the distance between the viewpoint position and the position of the object. Then, the information processing apparatus according to the present embodiment selects a display object corresponding to the target object based on the calculated distance and information indicating the visual field characteristics.
  • the information processing apparatus determines to which range of visual field characteristics the position of the object belongs from the calculated distance. Then, the information processing apparatus according to the present embodiment selects a display object corresponding to the determined range from a plurality of display object candidates corresponding to the target object.
  • the information processing apparatus selects a display object including characters. For example, when the determined range is outside the effective visual field, that is, when the target object is outside the effective visual field of the user, a display object from which characters are excluded is selected.
  • the information processing apparatus can also preferentially select a display object candidate having a high priority. It is.
  • the information processing apparatus according to the present embodiment can grasp the priority by referring to attribute information, for example.
  • the information processing apparatus performs, for example, the processing according to the first example shown in (2-1) and the processing according to the second example shown in (2-2).
  • a display object selected from a plurality of display object candidates corresponding to the object is displayed on the display screen.
  • the display object display method dynamically changes based on line-of-sight information.
  • the display control process according to the present embodiment is not limited to the process according to the first example shown in (2-1) and the process according to the second example shown in (2-2).
  • the information processing apparatus may further perform processing for suppressing the display from dynamically changing based on line-of-sight information or the like.
  • the information processing apparatus performs the display control process according to the present embodiment, for example, for each set time interval.
  • the time interval according to the present embodiment may be a fixed time interval that is set in advance, or may be a variable time interval that can be changed based on a user operation or the like.
  • the information processing apparatus according to the present embodiment may perform the display control process according to the present embodiment at intervals of 1 second or longer.
  • the information processing apparatus according to the present embodiment may perform the display control process according to the present embodiment every two or more frames, for example, for a display frame rate of 60 fps. That is, the information processing apparatus according to the present embodiment may perform the display control process according to the present embodiment at a time interval longer than the time interval for displaying one frame.
  • the display control process according to the present embodiment is performed at every set time interval, so that the display control process according to the present embodiment is performed every frame at a frequency at which the display object display on the display screen changes dynamically. Less than if Therefore, since the display control process according to the present embodiment is performed at each set time interval, switching of display of display objects on the display screen is suppressed, so that the load on the user can be reduced. Note that, from the viewpoint of reducing the load on the user, the display control process according to the present embodiment may be performed at intervals of 1 second or more as exemplified above.
  • the information processing apparatus may perform a process of maintaining the layout of display objects that are already displayed, for example, during a period when the display control process according to the present embodiment is not performed.
  • the information processing apparatus calculates the distance between the viewpoint position on the display screen specified based on the line-of-sight information and the position of the object on the display screen. Then, the information processing apparatus according to the present embodiment maintains the layout of the already displayed display object by enlarging and reducing the display object based on the calculated distance.
  • the information processing apparatus performs, for example, the above-described display control process as a process related to the information processing method according to the present embodiment.
  • the display control process mentioned above prescribes
  • FIG. 3 is a flowchart showing an example of processing related to the information processing method according to the present embodiment.
  • the information processing apparatus searches for an object and detects the object (S100).
  • the information processing apparatus for example, “performs a captured image for processing related to an arbitrary recognition technique such as a face recognition technique or an object recognition technique” or “position information, a position and an object are The object is detected by using the associated database ”or a combination thereof.
  • step S100 may be performed in an external device of the information processing apparatus according to the present embodiment, such as a server that can communicate with the information processing apparatus according to the present embodiment.
  • the information processing apparatus according to the present embodiment performs the processes in and after step S102 described later using the detection result of the object acquired from the external apparatus.
  • the information processing apparatus determines whether an object has been detected (S102).
  • step S102 If it is not determined in step S102 that an object has been detected, the information processing apparatus according to the present embodiment ends the process illustrated in FIG. In addition, when it is determined in step S102 that the target object has been detected, the information processing apparatus according to the present embodiment performs processing from step S104 described later.
  • the information processing apparatus calculates a viewpoint position (gaze point) on the display screen based on the line-of-sight information (S104).
  • the information processing apparatus uses, for example, the intersection point between the line of the line-of-sight direction specified from the line-of-sight information and the display screen as the viewpoint position on the display screen.
  • the method for calculating the viewpoint position on the display screen is not limited to the above, and the information processing apparatus according to the present embodiment can use any method that can identify the viewpoint position on the display screen. .
  • the information processing apparatus reads display object data associated with the detected object from a recording medium such as a storage unit (described later) (S106).
  • the information processing apparatus calculates the position of the detected object on the display screen (S108).
  • the information processing apparatus calculates a position for each detected object.
  • the information processing apparatus uses, for example, coordinates on the display screen of the target object when the captured image including the target object is displayed on the display screen as the position of the target object on the display screen.
  • the calculation method of the position of the object on the display screen is not limited to the above, and the information processing apparatus according to the present embodiment uses any method that can identify the position of the object on the display screen. Is possible.
  • the information processing apparatus calculates the distance between the viewpoint position on the display screen calculated in step S104 and the position of the object on the display screen calculated in step S108 (S110).
  • the information processing apparatus calculates a distance for each detected object.
  • the information processing apparatus selects a display object to be displayed on the display screen based on the distance calculated in step S110 and the visual field characteristic information (S112).
  • the information processing apparatus selects a display object for each object, for example.
  • the information processing apparatus calculates the layout of the selected display object and displays the display object on the display screen (S114). An example of the process of step S112 and the process of step S114 will be described later.
  • the information processing apparatus displays, on the display screen, a display object selected from a plurality of display object candidates corresponding to the target object, for example, by performing the processing shown in FIG. Further, for example, the processing shown in FIG. 3 is performed, so that the display object display method dynamically changes based on line-of-sight information and the like.
  • the display control process shown in FIG. 3 may be stopped as an exception process.
  • data for determining whether or not to stop the display control process in the above case (for example, a flag indicating on / off of an interrupt) is included in, for example, the metadata of the application.
  • FIG. 4A to 4C are explanatory diagrams illustrating display examples of display objects displayed by processing according to the information processing method according to the present embodiment.
  • FIG. 4A shows an example of display of a display object in which icons and characters are combined.
  • FIG. 4B has shown an example of the display of the display object which shows a character.
  • FIG. 4C shows an example of display of a display object in which a title, characters, and an icon are combined.
  • the contents represented by the display object corresponding to the object include, for example, contents related to a person (for example, name, nickname, birthplace, photograph, or a combination thereof) and contents related to an object (for example, “nutrient value of food” And / or “book author / cover”, “store name, location, phone number”, etc.).
  • contents related to a person for example, name, nickname, birthplace, photograph, or a combination thereof
  • contents related to an object for example, “nutrient value of food” And / or “book author / cover”, “store name, location, phone number”, etc.
  • the content represented by the display object corresponding to the object is not limited to the example shown above, and may be arbitrary content.
  • FIGS. 4A to 4C show display objects corresponding to a plurality of objects for convenience, but some of the display objects shown in FIGS. 4A to 4C are displayed based on line-of-sight information. There may also be display objects that are not.
  • FIG. 5 is a flowchart showing an example of processing related to the information processing method according to the present embodiment, and shows an example of processing in step S112 and processing in step S114 in FIG.
  • FIG. 6 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of attribute information according to the present embodiment.
  • the information processing apparatus determines a display range (displayable area) in which the display object selected on the display screen can be displayed (S200). Note that the information processing apparatus according to the present embodiment further determines a display position within the display range in which the display object is displayed in step S200. For example, the display position of the display object is determined so as to be in the vicinity of the target as shown in FIG. When a plurality of character strings are displayed as display objects, the character strings may be arranged in the order of priority of the character strings in the vertical direction of the display range. Further, when the display object is a character string, it may be preferentially arranged in the discrimination visual field or the word identification limit.
  • the information processing apparatus has, for example, a display range in which a display object can be displayed on the display screen based on information indicating the viewpoint position and visual field characteristics on the display screen specified based on the line-of-sight information. decide.
  • the information processing apparatus determines the display range based on the effective visual field specified by the viewpoint position and the information indicating the visual field characteristic. Note that the display range is wider than the effective visual field, and may be regarded as including the effective visual field. Further, the display range may be regarded as a range narrower than the display screen S.
  • the information processing apparatus performs the processing of steps S202 to S206, which will be described later, in order from the display object candidate corresponding to the field with high priority. If there is no display object candidate, the information processing apparatus according to the present embodiment ends the process illustrated in FIG.
  • the information processing apparatus determines whether or not the field value is a character string and the display position determined in step S200 is outside the range of the effective visual field (S202).
  • step S202 If it is determined in step S202 that the field value is a character string and the display position determined in step S200 is outside the range of the effective visual field, the information processing apparatus according to the present embodiment The processing from step S202 is performed on the display object corresponding to the field. That is, when the determination result in step S202 is affirmative (YES), it is considered that the selection of a candidate object including a character string outside the effective visual field range as a display object is substantially prohibited. You can do it.
  • step S202 when it is not determined that the field value is a character string and the display position determined in step S200 is outside the range of the effective visual field, the information processing apparatus according to the present embodiment A display object is arranged in the determined display range (S204). That is, if it is determined that the field value is a non-character string, or if it is determined that the determined display position is within the range of the effective field of view, the display object is arranged in the determined display range. Is done. As described in the second example above, when the character string is arranged as a display object in the range of the effective visual field that is not the discrimination visual field or the word identification limit, the information processing apparatus according to the present embodiment You may make it.
  • the information processing apparatus may not make the character bold. Then, the information processing apparatus according to the present embodiment determines whether or not the arranged display object protrudes from the display range determined in step S200 by the arrangement of the display object (S206).
  • the information processing apparatus performs the processing from step S202 on the display object corresponding to another field. I do.
  • step S206 when it is determined in step S206 that the display object placed out of the determined display range, the information processing apparatus according to the present embodiment ends the process shown in FIG. That is, the determination in step S206 is repeated until it becomes substantially difficult or impossible to arrange a further display object within the determined display range.
  • the display object when a part of the display object protrudes from the effective visual field, the part of the display object that protrudes may be displayed.
  • the processing of FIG. 5 substantially prohibits the arrangement of the character string outside the effective visual field, and the character string is arranged only within the effective visual field.
  • the character string is arranged only within the range of the effective visual field, the user's recognition load is reduced, and the information recognition time by the user is shortened.
  • the processing load as a system can be reduced as a result of the reduction in the amount of information within the display range.
  • the information processing apparatus performs, for example, the process illustrated in FIG. 5 as the process in step S112 in FIG. 3 and the process in step S114.
  • the display object is displayed in the determined display range by performing the processing shown in FIG.
  • step S112 of FIG. 3 and the process of step S114 are not restricted to the process shown in FIG.
  • step S202 of FIG. it is difficult for the user to identify a character in a range that is not the discrimination visual field or the word identification limit. Therefore, in step S202 of FIG. Alternatively, reference may be made to “range of word identification limits”.
  • the information processing apparatus can arrange display objects using, for example, a flow layout of HTML (Hyper Text Markup Language).
  • HTML Hyper Text Markup Language
  • the information processing apparatus further displays the display object based on one or more of the state information, the environment information, and the selected display object, for example. You can change your way.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, a communication unit 102 and a control unit 104.
  • the information processing apparatus 100 includes, for example, a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and a user-operable operation unit (see FIG. And a display unit (not shown) for displaying various screens on the display screen.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • a ROM (not shown) stores control data such as a program used by the control unit 104 and calculation parameters.
  • a RAM (not shown) temporarily stores a program executed by the control unit 104.
  • the storage unit is a storage unit included in the information processing apparatus 100 and stores, for example, data related to the information processing method according to the present embodiment such as attribute information and display objects, and various data such as various applications. To do.
  • examples of the storage unit (not shown) include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • an operation input device to be described later can be cited.
  • a display part (not shown), the display device mentioned later is mentioned.
  • FIG. 8 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, and a communication interface 164.
  • the information processing apparatus 100 connects each component with a bus 166 as a data transmission path, for example.
  • the MPU 150 is composed of, for example, one or two or more processors configured by an arithmetic circuit such as an MPU, various processing circuits, and the like, and functions as the control unit 104 that controls the information processing apparatus 100 as a whole. Further, the MPU 150 plays a role of, for example, the processing unit 110 described later in the information processing apparatus 100.
  • the processing unit 110 may be configured with a dedicated (or general-purpose) circuit (for example, a processor separate from the MPU 150) that can realize the processing of the processing unit 110.
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown) and stores various data such as data related to the information processing method according to the present embodiment such as attribute information and various applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 100 or an external display device.
  • the display device 162 may be a device capable of display and user operation, such as a touch panel.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and communicates with an external device such as an imaging device or an external device such as a server by wireless or wired via a network (or directly). It functions as the communication unit 102 for performing.
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG.
  • the information processing apparatus 100 does not include the communication interface 164 when communicating with an external apparatus or the like via a connected external communication device or when configured to perform stand-alone processing.
  • the communication interface 164 may be configured to be able to communicate with one or more external devices or the like by a plurality of communication methods.
  • the information processing apparatus 100 can have a configuration that does not include the recording medium 156, the operation input device 160, and the display device 162, for example.
  • part or all of the configuration (or the configuration according to the modification) illustrated in FIG. 8 may be realized by one or two or more ICs.
  • the communication unit 102 is a communication unit included in the information processing apparatus 100, and communicates with an external device such as an imaging device or an external device such as a server wirelessly or via a network (or directly). .
  • the communication of the communication unit 102 is controlled by the control unit 104, for example.
  • examples of the communication unit 102 include a communication antenna and an RF circuit, a LAN terminal, and a transmission / reception circuit, but the configuration of the communication unit 102 is not limited to the above.
  • the communication unit 102 can have a configuration corresponding to an arbitrary standard capable of performing communication such as a USB terminal and a transmission / reception circuit, or an arbitrary configuration capable of communicating with an external device via a network.
  • the communication unit 102 may be configured to be able to communicate with one or more external devices or the like by a plurality of communication methods.
  • the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100.
  • the control unit 104 includes, for example, a processing unit 110 and plays a role of leading the processing related to the information processing method according to the present embodiment.
  • the processing unit 110 plays a role of leading the display control process according to the present embodiment, and displays a display object selected from a plurality of display object candidates corresponding to the target object based on the line-of-sight information. To display.
  • the processing unit 110 changes the display method of the display object based on the line-of-sight information, for example, as shown in (A) to (D) above.
  • the processing unit 110 can further change the display method of the display object based on one or more of the state information, the environment information, and the selected display object.
  • the processing unit 110 performs, for example, the process according to the first example shown in (2-1) and the process according to the second example shown in (2-2).
  • the selected display object is displayed on the display screen, and the display object display method is dynamically changed. Further, as described above, the processing unit 110 may further perform processing for suppressing the display from changing dynamically.
  • the processing unit 110 performs processing for detecting an object, and performs display control processing according to the present embodiment when the object is detected.
  • the control unit 104 includes, for example, the processing unit 110, thereby leading to processing related to the information processing method according to the present embodiment (for example, display control processing according to the present embodiment).
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment (for example, display control processing according to the present embodiment) with the configuration illustrated in FIG. 7, for example.
  • the information processing apparatus 100 can facilitate the recognition of the display object by the user, for example, with the configuration shown in FIG.
  • the information processing apparatus 100 can exhibit the effects that are achieved by performing the processing related to the information processing method according to the present embodiment as described above.
  • the information processing apparatus can include the processing unit 110 illustrated in FIG. 7 separately from the control unit 104 (for example, realized by another processing circuit).
  • the display control process according to the present embodiment defines the process according to the information processing method according to the present embodiment for convenience. Therefore, the configuration for realizing the processing according to the information processing method according to the present embodiment is not limited to the configuration illustrated in FIG. 7, and the configuration according to the method of dividing the processing according to the information processing method according to the present embodiment is taken. It is possible.
  • the information processing apparatus when communicating with an external apparatus via an external communication device having the same function and configuration as the communication unit 102, or when performing stand-alone processing, the information processing apparatus according to the present embodiment is The communication unit 102 may not be provided.
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • This embodiment is, for example, a wearable device used by wearing on the user's head such as eyewear and HMD, a computer such as a PC (Personal Computer) and a server, a communication device such as a mobile phone and a smartphone, and a tablet type
  • the present invention can be applied to various devices that can perform processing related to the information processing method according to the present embodiment, such as an apparatus.
  • the present embodiment can be applied to a processing IC that can be incorporated in the above-described device, for example.
  • the information processing apparatus may be applied to an information processing system that is premised on connection to a network (or communication between apparatuses) such as cloud computing.
  • a network or communication between apparatuses
  • cloud computing As an example of an information processing system in which processing according to the information processing method according to the present embodiment is performed, for example, display on a display screen of another device is controlled by one device that performs display control processing according to the present embodiment.
  • display on a display screen of another device is controlled by one device that performs display control processing according to the present embodiment.
  • the system to be used is mentioned.
  • a program for causing a computer system to function as the information processing apparatus according to the present embodiment (for example, a program capable of executing processing related to the information processing method according to the present embodiment, such as display control processing according to the present embodiment) ) Is executed by a processor or the like in the computer system, so that the user can easily recognize the display object.
  • the computer system according to the present embodiment includes a single computer or a plurality of computers. A series of processing relating to the information processing method according to the present embodiment is performed by the computer system according to the present embodiment.
  • a program for causing a computer system to function as the information processing apparatus according to the present embodiment is executed by a processor or the like in the computer system, thereby performing the above-described processing according to the information processing method according to the present embodiment. Effects can be achieved.
  • a program for causing a computer system to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further stores the program.
  • a recording medium (computer-readable medium) can also be provided.
  • Display control processing for selecting a display object from among a plurality of candidate objects corresponding to a specific position in a user's field of view, and displaying the selected display object on the display screen in association with the specific position;
  • An information processing apparatus comprising a processing unit that performs processing based on line-of-sight information indicating the line of sight.
  • the processing unit changes a display method of the display object based on the line-of-sight information.
  • the processing unit changes a display method of the display object by changing at least one of a layout of the display object, a decoration method for the display object, and a method of omitting the display object.
  • the plurality of candidate objects include attribute information;
  • the processing unit is configured to display the display object based on the determination whether the attribute information of the selected display object includes text information or whether the attribute information of the selected display object does not include text information.
  • the processing unit selects the display object corresponding to the specific position from the plurality of candidate objects based on the relationship between the viewpoint position specified based on the line-of-sight information and the specific position. , (1) to (9) The information processing apparatus according to any one of (1) to (9). (11) The processing unit is configured such that a distance between the viewpoint position and the specific position is equal to or less than a first value, or a distance between the viewpoint position and the specific position is larger than the first value and The information processing apparatus according to (10), wherein the display object corresponding to the specific position is selected from the plurality of candidate objects based on determination of whether the value is equal to or less than a second value.
  • the processing unit includes text among the plurality of candidate objects.
  • the processor is Based on the relationship between the viewpoint position and the specific position, a display range of the display screen on which the display object is displayed is determined, The information processing apparatus according to any one of (10) to (13), wherein arrangement of the display objects to be displayed on the display screen is limited based on a visual field characteristic and the determined display range.
  • the processor is Performing a process of detecting an object corresponding to the specific position; The information processing apparatus according to any one of (1) to (14), wherein the display control process is performed according to detection of the object.
  • the processing unit performs the display control process at a time interval longer than a time interval for displaying one frame, The information processing apparatus according to any one of (1) to (15), wherein a layout process for maintaining a layout of the display object already displayed is performed during a period in which the display control process is not performed.
  • the processor is The information processing apparatus according to (16), wherein the layout process is performed based on a distance between a viewpoint position specified based on the line-of-sight information and the specific position.
  • a computer-readable medium including instructions operable on an information processing apparatus to execute an information processing method, The information processing method selects a display object from a plurality of candidate objects corresponding to a specific position in a user's visual field based on line-of-sight information indicating the user's line of sight, and specifies the selected display object Display control processing to be displayed on the display screen in association with the position of the information processing device, Computer readable medium.
  • (II-1) A processing unit that performs processing to display a display object selected from a plurality of display object candidates corresponding to the object based on line-of-sight information indicating the user's line of sight; The information processing apparatus, wherein the processing unit changes a display method of the display object based on the line-of-sight information.
  • (II-2) The information processing apparatus according to (II-1), wherein the processing unit changes a display method of the display object by changing a layout of the display object.
  • (II-3) The information processing apparatus according to (II-1) or (II-2), wherein the processing unit changes a display method of the display object by changing a decoration method of the display object.
  • (II-4) The information processing apparatus according to any one of (II-1) to (II-3), wherein the processing unit changes a display method of the display object by changing a method of omitting the display object.
  • (II-5) The information processing apparatus according to any one of (II-1) to (II-4), wherein the processing unit further changes a display method of the display object based on state information indicating a state of the user. .
  • II-6) The information processing unit according to any one of (II-1) to (II-5), wherein the processing unit further changes a display method of the display object based on environment information indicating a surrounding environment of the user. apparatus.
  • (II-7) The information processing apparatus according to any one of (II-1) to (II-6), wherein the processing unit further changes a display method of the display object based on the selected display object.
  • the processing unit selects the display object corresponding to the target object based on information indicating a viewpoint position on the display screen specified based on the line-of-sight information, a position of the target object on the display screen, and a visual field characteristic.
  • the information processing apparatus according to any one of (II-1) to (II-7).
  • the processor is Calculating the distance between the viewpoint position and the position of the object; The information processing apparatus according to (II-8), wherein the display object corresponding to the object is selected based on the calculated distance and information indicating visual field characteristics.
  • a priority is set for each of the plurality of display object candidates, The information processing apparatus according to (8) or (II-9), wherein the processing unit preferentially selects the display object candidate having a high priority.
  • the processor is Based on the viewpoint position and the information indicating the visual field characteristics, a display range for displaying the display object on the display screen is determined, The information processing apparatus according to any one of (II-8) to (II-10), wherein the display object is displayed in the determined display range.
  • the processor is Performing a process of detecting the object;
  • the information processing apparatus according to any one of (II-1) to (II-11), wherein the display process is performed when the object is detected.
  • (II-13) The information processing apparatus according to any one of (II-1) to (II-12), wherein the processing unit performs the process of displaying at a set time interval.
  • (II-14) In the period when the process of displaying is not performed, the processing unit Calculating the distance between the viewpoint position on the display screen specified based on the line-of-sight information and the position of the object on the display screen;
  • the information processing apparatus according to (II-13), which performs a process of maintaining a layout of the display object that is already displayed based on the calculated distance.
  • (II-15) The information processing unit according to any one of (II-1) to (II-14), wherein the processing unit displays the selected display object superimposed on a real space or an image indicating the real space. apparatus.
  • (II-16) A step of displaying a display object selected from a plurality of display object candidates corresponding to the object based on line-of-sight information indicating a user's line of sight; An information processing method executed by an information processing apparatus, wherein a display method of the display object changes based on the line-of-sight information.
  • the computer system has a function of performing a process of displaying a display object selected from a plurality of display object candidates corresponding to the object based on the line-of-sight information indicating the user's line of sight, A program in which a method of displaying the display object changes a display method based on the line-of-sight information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を、前記ユーザの視線を示す視線情報に基づいて行う処理部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびコンピュータ可読媒体
　本開示は、情報処理装置、情報処理方法、およびコンピュータ可読媒体に関する。
　ユーザの視線位置に対応する表示位置を判定し、判定された表示位置に基づく位置に表示を行わせる技術が開発されている。車両の運転者の視線位置と視野特性に基づいて表示位置を判定し、判定された表示位置、または当該表示位置の近傍に警告表示を行わせる技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開平７－３２９６５７号公報
　例えば、ＡＲ（Augmented　Reality）技術などが利用されることによって、文字（または文字列。以下同様とする。）や画像、あるいはこれらの組み合わせなどを示す様々な表示オブジェクトを、現実空間（または、現実空間が撮像された撮像画像などの現実空間を示す画像。以下、同様とする。）に重畳して表示画面に表示することが可能である。
　また、上記のように表示オブジェクトを現実空間に重畳させる場合には、重畳された表示オブジェクトが示す内容を、より容易にユーザに認識させたいというニーズがある。
　本開示では、ユーザによる表示オブジェクトの認識の容易化を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびコンピュータ可読媒体を提案する。
　本開示によれば、情報処理装置が提供される。情報処理装置は、ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を、前記ユーザの視線を示す視線情報に基づいて行う処理部を備える。
　また、本開示によれば、表示制御処理を、情報処理装置により実行すること、を含む情報処理方法が提供される。前記表示制御処理により、ユーザの視線を示す視線情報に基づいて、ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトが選択され、選択された前記表示オブジェクトが前記特定の位置に関連付けて表示画面に表示される。
　また、本開示によれば、情報処理方法を実行するように情報処理装置上で動作可能な命令を含むコンピュータ可読媒体が提供される。前記情報処理方法は、ユーザの視線を示す視線情報に基づいて、ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を含む。
　本開示によれば、ユーザによる表示オブジェクトの認識の容易化を図ることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理方法に係る処理により表示される表示オブジェクトの表示例を示す説明図である。 本実施形態に係る情報処理方法に係る処理により表示される表示オブジェクトの表示例を示す説明図である。 本実施形態に係る情報処理方法に係る処理により表示される表示オブジェクトの表示例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理装置
　　３．本実施形態に係るコンピュータ可読媒体
（本実施形態に係る情報処理方法）
　まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
［１］本実施形態に係る情報処理方法の概要
　図１は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、人間の視野特性の一例を示している。ここで、図１に示す“Ｈ”は水平方向を示し、図１に示す“Ｖ”は垂直方向を示している。また、図１に示す“φ”は、視線方向の方位角を示している。
　人間の視野特性は、例えば下記のように分類することが可能である。
　　・弁別視野：人間が、任意の種類の表示オブジェクトの形状や内容を認識することができる範囲。
　　・ワード識別限界：人間が、文字（表示オブジェクトの一例）を読むことができる限界の範囲。
　　・有効視野：人間が、文字（表示オブジェクトの一例）以外の表示オブジェクトの形状を識別することができる範囲。
　　・その他の範囲（弁別視野、ワード識別限界、および有効視野以外の範囲）：表示オブジェクトの形状や内容を識別することはできないが、表示オブジェクトがアニメーション表示されることなどによる表示オブジェクトの動きには気が付くことが可能な、範囲。
　なお、ユーザの視点位置から、ワード識別限界までの（方位角に対応する）距離、あるいは有効視野の境界までの距離が“第１の値”として見做されてよい。また、ユーザの視点位置に対し、重畳視野としての満足範囲を示す距離、あるいは両眼視できるＶｉｓｕａｌ　Ｌｉｍｉｔを示す距離が“第２の値”として見做されてよい。本実施形態に係る情報処理装置は、視点位置と特定の位置（対象物）の間の距離が第１の値以下であるか、あるいは第１の値よりも大きくかつ第２の値以下であるかの判定に基づいて、複数の候補オブジェクトの中から特定の位置に対応する表示オブジェクトを選択するものと見做されてもよい。詳細は図５を参照しつつ後述する。
　例えば特許文献１に記載の技術が用いられる場合には、弁別視野内を視線位置に応じた適正表示位置として、警告表示が行われる。ここで、上記に示すように、弁別視野内では、ユーザは、任意の種類の表示オブジェクトの形状や内容を認識することができうる。よって、例えば特許文献１に記載の技術のように、弁別視野内に警告表示を行えば、警告表示の内容をユーザに認識させることができる可能性がある。
　ここで、例えば、現実空間に含まれる対象物に対応する表示オブジェクトを、現実空間に重畳して表示画面に表示させるユースケースを想定する。なお、対象物はユーザの視野内の特定の位置に対応すると見做してよい。
　本実施形態に係る表示画面としては、例えば、眼鏡型のウェアラブル装置のようなアイウェア型のウェアラブル装置（以下、単に「アイウェア」と示す場合がある。）や、ＨＭＤ（Head　Mounted　Display）などの、ユーザの頭部に装着して用いられるウェアラブル装置の表示画面が挙げられる。ＨＭＤは、透過型の装置であってもよいし、非透過型の装置であってもよい。透過型としては、撮像デバイスにより撮像された画像を表示画面に表示させることにより電子的に外の景色を見せるビデオ透過型や、光学透過型など、任意の型が挙げられる。また、透過型を実現するための表示方式としては、例えば、ホログラム方式や、ハーフミラー方式、瞳分割方式など、透過型を実現することが可能な任意の表示方式が挙げられる。
　また、本実施形態に係る表示画面は、例えば、スマートフォンや、タブレットなどの任意の装置の表示画面であってもよい。
　本実施形態に係る対象物としては、例えば、人間などの生物や、物などが挙げられる。
　本実施形態に係る対象物は、例えば、撮像画像に対して、顔認識技術や物体認識技術などの任意の認識技術を利用した処理が行われることによって、特定される。
　また、本実施形態に係る対象物は、例えば、ユーザの位置を示す位置情報と、位置および対象物が対応付けられているデータベースとを用いて、特定されてもよい。位置情報としては、例えば、本実施形態に係る表示画面に係る装置が備える位置特定デバイスにより得られる位置データや、本実施形態に係る表示画面に係る装置に接続されている外部の位置特定デバイスより得られる位置データが挙げられる。位置特定デバイスとしては、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）に係るデバイスなど、位置を特定することが可能な任意のデバイスが挙げられる。
　本実施形態に係る表示オブジェクトとしては、例えば、文字や、画像（動画像または静止画像）、あるいはこれらの組み合わせなど、表示画面に表示することが可能な、任意の表示オブジェクトが挙げられる。具体例を挙げると、本実施形態に係る表示オブジェクトとしては、下記に示す例が挙げられる。なお、本実施形態に係る表示オブジェクの例が、下記に示す具体例に限られないことは、言うまでもない。
　　・テキストラベル（例えば、設定されている文字数以下の文字列）
　　・文章（例えば、文字数が設定されている文字数より多い文字列）
　　・アニメーションなしアイコン
　　・アニメーションありアイコン
　　・写真
　　・写真のサムネイル
　　・動画像
　上記のようなユースケースを想定した場合、対象物に対応する表示オブジェクトをユーザの弁別視野内に表示させたとしても、ユーザが表示オブジェクトと対象物との関係や表示オブジェクトの内容を容易に把握することができない恐れがある。具体例を挙げると、例えば下記のような場合に、ユーザが表示オブジェクトと対象物との関係や表示オブジェクトの内容を容易に把握することができない恐れがある。
　　・対象物が複数存在し、各対象物にそれぞれ対応する複数の表示オブジェクトを表示させる場合（表示させる情報量が多くなる場合）
　　・対象物が上記その他の範囲にある場合
　よって、対象物に対応する表示オブジェクトを表示させる場合には、“当該表示オブジェクトをユーザの弁別視野内に常に表示させることが、表示オブジェクトの望ましい表示方法である”とは、限らない。
　そこで、本実施形態に係る情報処理装置は、“視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補（候補オブジェクト）の中から選択された表示オブジェクトを、表示させる処理”
（以下、「表示制御処理」と示す場合がある。）を行う。あるいは、本実施形態に係る情報処理装置は、“ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された表示オブジェクトを特定の位置に関連付けて表示画面に表示させる表示制御処理”を行うものと見做してもよい。
　また、本実施形態に係る情報処理装置が表示制御処理により表示させる表示オブジェクトの表示は、視線情報に基づいて表示の仕方が変わる。
　ここで、本実施形態に係る視線情報とは、ユーザの視線を示すデータである。本実施形態に係る視線情報としては、例えば、“ユーザの視線の位置を示すデータ”や、“ユーザの視線の位置の特定に用いることが可能なデータ（または、ユーザの視線の位置の推定に用いることが可能なデータ。以下、同様とする。）”が挙げられる。
　本実施形態に係るユーザの視線の位置を示すデータとしては、例えば、“表示画面におけるユーザの視線の位置を示す座標データ”が挙げられる。表示画面におけるユーザの視線の位置は、例えば、表示画面における基準位置を原点とする座標系における座標で表される。本実施形態に係る表示画面における基準位置は、例えば、予め設定された固定の位置であってもよいし、ユーザ操作などに基づいて設定可能な位置であってもよい。
　本実施形態に係るユーザの視線の位置に関する情報が、表示画面におけるユーザの視線の位置を示す座標データである場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定（または推定）した外部装置から、表示画面におけるユーザの視線の位置を示す座標データを取得する。また、上記の場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定（または推定）することによって、表示画面におけるユーザの視線の位置を示す座標データを取得することも可能である。
　本実施形態に係る視線検出技術としては、例えば、目の基準点（例えば、目頭や角膜反射などの目における動かない部分に対応する点）に対する、目の動点（例えば、虹彩や瞳孔などの目における動く部分に対応する点）の位置に基づいて、視線を検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、“瞳孔角膜反射法”などの“角膜反射法”や、“強膜反射法”、“顔を検出した後に、目・鼻・口などから得られる特徴点を追っていくＡＡＭ（Active　Appearance　Model）”などを利用した、任意の視線検出技術を用いて、ユーザの視線を検出することも可能である。
　なお、本実施形態に係るユーザの視線の位置を示すデータは、上記“表示画面におけるユーザの視線の位置を示す座標データ”に限られない。
　例えば、ユーザが透過型のアイウェアやＨＭＤを装着している場合などにおいては、本実施形態に係るユーザの視線の位置を示すデータは、“ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データ”であってもよい。
　ユーザが見ている実空間の実オブジェクトにおける位置は、例えば、実オブジェクトの三次元画像と、視線検出技術を用いて特定（または推定）される視線ベクトルとに基づいて、特定（または推定）される。なお、ユーザが見ている実空間の実オブジェクトにおける位置の特定方法は、上記に限られず、ユーザが見ている実空間の実オブジェクトにおける位置を特定することが可能な任意の技術を用いることが可能である。
　本実施形態に係るユーザの視線の位置に関する情報が、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データである場合、本実施形態に係る情報処理装置は、例えば、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データを外部装置から取得する。また、上記の場合、本実施形態に係る情報処理装置は、例えば、視線検出技術などを用いてユーザが見ている実空間の実オブジェクトにおける位置を特定（または推定）することによって、ユーザが見ている実空間の実オブジェクトにおける位置を示す座標データを取得することも可能である。
　また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータとしては、例えば、表示画面において画像が表示される方向が撮像された撮像画像データ（表示画面側から表示画面に対向する方向が撮像された撮像画像データ）が挙げられる。また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータには、さらに、表示画面において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
　また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータは、例えば、実オブジェクトの三次元画像と、ユーザの視線ベクトルの特定に係るデータであってもよい。
　例えば、ユーザの視線の位置の特定に用いることが可能なデータを用いる場合、本実施形態に係る情報処理装置は、例えば上記のような本実施形態に係るユーザの視線の位置の特定方法に係る処理を行い、ユーザの視線の位置を特定する（または推定する）。
　図２は、本実施形態に係る情報処理方法の一例を説明するための説明図であり、視線情報に基づき表示オブジェクトの表示の仕方が変わる例を示している。
　図２のＡは、表示画面Ｓにおいて、対象物Ｏに対して表示される表示オブジェクトの一例を示している。また、図２のＢは、表示画面Ｓにおいて、対象物Ｏに対して表示される表示オブジェクトの他の例を示している。
　図２のＡの表示画面Ｓと、図２のＢの表示画面Ｓとは、例えば、ＨＭＤの表示画面（ユーザの頭部に装着して用いられるウェアラブル装置の表示画面の一例）を示している。また、図２では、ユーザの視線は、表示画面Ｓの中心付近に向いているものとする。
　表示画面Ｓにおける対象物Ｏの上部に、対象物Ｏに対応する表示オブジェクトを表示させる場合を例に挙げる。
　例えば図２のＡに示すように、ユーザの視線の先に対象物Ｏが存在する場合には、本実施形態に係る情報処理装置は、例えば、“アイコン（画像の一例。以下、同様とする。）と文字とを組み合わせ”（対象物Ｏに対応する表示オブジェクトの一例）を、表示画面Ｓに表示させる。
　ここで、上述した人間の視野特性より、弁別視野またはワード識別限界ではない範囲では、ユーザは、文字を識別することは困難である。よって、図２のＡに示す例では、本実施形態に係る情報処理装置は、例えば、ワード識別限界に、文字を表示させ、有効視野にアイコンを表示させる。
　また、例えば図２のＢに示すように、ユーザの視線の先に対象物Ｏが存在しない場合には、“アイコン”（対象物Ｏに対応する表示オブジェクトの他の例）が、表示画面Ｓに表示される。
　ここで、図２のＢに示すようにユーザの視線の先に対象物Ｏが存在しない場合において、図２のＡと同様の表示オブジェクトを表示させたとしても、ユーザが、表示された文字を認識することは、困難である。また、その他の範囲では、ユーザは、表示オブジェクトの形状を識別することは困難である。よって、図２のＢに示す例では、本実施形態に係る情報処理装置は、例えば、有効視野にアイコンを表示させる。
　本実施形態に係る情報処理装置は、例えば図２に示すように、視野特性を考慮して、視線情報が示すユーザの視線に基づき表示オブジェクトの表示の仕方を変える。
　例えば図２に示すように、表示オブジェクトの表示の仕方が変わることによって、ユーザが表示画面Ｓに表示される表示オブジェクトを認識するまでに要する時間を、より短くすることが可能となる。
　よって、本実施形態に係る情報処理装置は、ユーザによる表示オブジェクトの認識の容易化を図ることができる。
［２］本実施形態に係る情報処理方法に係る処理
　次に、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
　上述したように、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、表示制御処理（“視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理”）を行う。
　本実施形態に係る情報処理装置は、選択された表示オブジェクトを、現実空間、または現実空間を示す画像に重畳させて表示させる。ここで、現実空間を示す画像としては、例えば、現実空間が撮像された撮像画像や、ＣＧ（Computer　Graphics）技術により生成された現実空間が仮想的に表された画像が挙げられる。
　本実施形態に係る情報処理装置は、例えば、ＡＲ技術などの表示オブジェクトを現実空間に重畳させて表示させることが可能な任意の技術や、画像処理技術などの表示オブジェクトを現実空間を示す画像に重畳させて表示させることが可能な任意の技術を用いて、表示オブジェクトを表示させる。
　具体的には、本実施形態に係る情報処理装置は、表示制御処理として、例えば、下記の（２－１）に示す第１の例に係る処理と（２－２）に示す第２の例に係る処理とを行う。
（２－１）表示制御処理の第１の例：表示オブジェクトの表示の仕方の変更に係る処理
　本実施形態に係る情報処理装置は、例えば、視線情報に基づいて、表示オブジェクトの表示の仕方を変える。
　ここで、本実施形態に係る情報処理装置が変える表示オブジェクトの表示の仕方としては、例えば、下記の（Ａ）～（Ｄ）に示す例が挙げられる。
（Ａ）表示オブジェクトの表示の仕方の変更の第１の例
　本実施形態に係る情報処理装置は、表示オブジェクトのレイアウトを変えることにより、表示オブジェクトの表示の仕方を変える。
　本実施形態に係る情報処理装置は、例えば図２のＡ、図２のＢを参照して示したように、視野特性を考慮して視線情報が示すユーザの視線に基づき表示オブジェクトを配置することによって、表示オブジェクトのレイアウトを変える。
（Ｂ）表示オブジェクトの表示の仕方の変更の第２の例
　本実施形態に係る情報処理装置は、表示オブジェクトに対する装飾の仕方を変えることにより、表示オブジェクトの表示の仕方を変える。
　本実施形態に係る情報処理装置が変える表示オブジェクトに対する装飾の仕方としては、例えば下記に示す例が挙げられる。なお、表示オブジェクトに対する装飾の例が、下記に示す例に限られないことは、言うまでもない。
　　・文字（表示オブジェクトの一例）を太字にする。
　　・画像（表示オブジェクトの一例）に色つきの枠を付す。
　　・文字や画像を明滅させる。
　本実施形態に係る情報処理装置は、例えば下記のように、表示オブジェクトに対する装飾の仕方を変える強調表示を行う。
　　・弁別視野またはワード識別限界ではない有効視野の範囲に、文字（表示オブジェクトの一例）を表示させる場合、本実施形態に係る情報処理装置は、文字を太字にする。また、弁別視野またはワード識別限界の範囲に文字を表示させる場合には、本実施形態に係る情報処理装置は、文字を太字にしない。
　　・その他の範囲に画像（表示オブジェクトの一例）を表示させる場合、本実施形態に係る情報処理装置は、画像に色つきの枠を付す、または、画像を明滅させる。また、弁別視野、ワード識別限界、あるいは有効視野に画像を表示させる場合、本実施形態に係る情報処理装置は、画像に色つきの枠を付さず、また、画像を明滅させない（つまり、表示オブジェクトである画像そのものを表示させる。）。
（Ｃ）表示オブジェクトの表示の仕方の変更の第３の例
　本実施形態に係る情報処理装置は、表示オブジェクトの省略の仕方を変えることにより、表示オブジェクトの表示の仕方を変える。
　本実施形態に係る情報処理装置は、例えば、文字（表示オブジェクトの一例）全体が、ワード識別限界内に表示できない場合には、三点リーダ（“…”）による省略などの任意の省略形式によって、文字の省略を行う。また、例えば、文字全体がワード識別限界内に表示できる場合には、本実施形態に係る情報処理装置は、文字の省略を行わない。すなわち、本実施形態に係る情報処理装置は、選択された表示オブジェクトの属性情報がテキスト情報を含む場合、視線情報に基づいて、テキスト情報の表示文字数を変化させるものと見做してもよい。
（Ｄ）表示オブジェクトの表示の仕方の変更の第４の例
　本実施形態に係る情報処理装置は、例えば、上記（Ａ）に示す第１の例に係る表示の仕方の変更～上記（Ｃ）に示す第３の例に係る表示の仕方の変更のうちの、２以上の表示の仕方の変更を組み合わせることによって、表示オブジェクトの表示の仕方を変えることも可能である。
　本実施形態に係る情報処理装置は、例えば、上記（Ａ）に示す第１の例に係る表示の仕方の変更～上記（Ｄ）に示す第４の例に係る表示の仕方の変更に示すように、視野特性を考慮して、視線情報が示すユーザの視線に基づき表示オブジェクトの表示の仕方を変える。
　なお、表示オブジェクトの表示の仕方の変更に係る処理は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、下記の（ｉ）～（ｉｖ）に示すような処理を行うことも可能である。
（ｉ）
　本実施形態に係る情報処理装置は、例えば、さらに状態情報に基づいて、表示オブジェクトの表示の仕方を変える。
　ここで、本実施形態に係る状態情報とは、ユーザの状態を示すデータである。本実施形態に係る状態情報としては、例えば、ユーザの行動認識結果を示すデータや、ユーザの対話状態を示すデータなどが挙げられる。
　ユーザの行動認識結果を示すデータは、例えば、静止、歩行、走行、階段昇降、乗り物運転など、ユーザの行動の認識結果を示す。ユーザの行動は、例えば、本実施形態に係る表示画面に係る装置が備える、加速度センサやジャイロセンサなどの動きを検出することが可能なセンサの検出結果に基づき推定される。なお、ユーザの行動は、ユーザの行動を認識することが可能な、任意の技術により推定されてもよい。ユーザの行動の推定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
　本実施形態に係る情報処理装置は、例えば、行動と表示の仕方とが対応付けられているテーブル（または、データベース）を参照し、認識された行動に対応する表示の仕方によって、表示オブジェクトを表示させる。認識された行動に対応して表示の仕方を変える方法としては、例えば、表示オブジェクトの大きさ、省略の程度、およびアニメーションや明滅などによる動きのうちの１または２以上を、認識された行動の動きの度合いによって変える方法が、挙げられる。具体例を挙げると、本実施形態に係る情報処理装置は、例えば、対象物がユーザの有効視野内に存在し、かつ、ユーザが移動状態にある場合、アイコン（表示オブジェクトの一例）のみのレイアウトとする。
　また、ユーザの対話状態を示すデータとしては、例えば、ユーザが会話しているか否かを示すデータが挙げられる。ユーザの対話状態を示すデータは、例えば、本実施形態に係る表示画面に係る装置が備える、マイクロホンなどの音声検出デバイスの検出結果に基づいて会話が検出されることにより、推定される。ユーザの対話状態の推定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
　本実施形態に係る情報処理装置は、例えば、ユーザの対話状態を示すデータが示す対話の状態に対応する表示の仕方によって、表示オブジェクトを表示させる。対話の状態に対応して表示の仕方を変える方法としては、例えば、ユーザの会話している場合に、表示オブジェクトの大きさ、省略の程度、およびアニメーションや明滅などによる動きのうちの１または２以上を変える方法が、挙げられる。
　なお、状態情報に基づいて表示オブジェクトの表示の仕方を変える例が、上記に示す例に限られないことは、言うまでもない。
（ｉｉ）
　本実施形態に係る情報処理装置は、例えば、さらに環境情報に基づいて、表示オブジェクトの表示の仕方を変える。
　ここで、本実施形態に係る環境情報とは、ユーザの周辺環境を示すデータである。本実施形態に係る周辺環境を示すデータとしては、例えば、照度を示すデータや、輝度を示すデータなどが挙げられる。
　照度を示すデータとしては、例えば、本実施形態に係る表示画面に係る装置が備える照度センサの検出結果を示すデータが挙げられる。
　本実施形態に係る情報処理装置は、例えば、対象物がユーザの有効視野内に存在し、かつ、照度が所定の閾値より大きい場合には、文字（表示オブジェクトの一例）を太字とすることなどによって、表示オブジェクトをより見やすくする。なお、照度を示すデータを用いる場合における表示の仕方を変える方法が、上記に示す例に限られないことは、言うまでもない。
　また、輝度を示すデータとしては、例えば、本実施形態に係る表示画面に係る装置が備える輝度センサの検出結果を示すデータが挙げられる。本実施形態に係る表示画面に係る装置がアイウェアやＨＭＤである場合、輝度センサは、ユーザが向いている方向の輝度を検出するように配置される。
　本実施形態に係る情報処理装置は、例えば、対象物がユーザの有効視野内に存在し、かつ、輝度が所定の閾値より大きい場合には、文字（表示オブジェクトの一例）を太字とすることなどによって、表示オブジェクトをより見やすくする。なお、輝度を示すデータを用いる場合における表示の仕方を変える方法が、上記に示す例に限られないことは、言うまでもない。
　なお、環境情報に基づいて表示オブジェクトの表示の仕方を変える例が、上記に示す例に限られないことは、言うまでもない。
（ｉｉｉ）
　本実施形態に係る情報処理装置は、例えば、さらに、複数の表示オブジェクトの候補の中から選択された表示オブジェクトに基づいて、表示オブジェクトの表示の仕方を変える。本実施形態に係る情報処理装置は、例えば、選択された表示オブジェクトの属性を示す属性情報に基づいて、表示オブジェクトの表示の仕方を変える。
　本実施形態に係る属性情報としては、例えば、表示オブジェクトの種類、重要度、優先度のうちの１または２以上を含むデータが挙げられる。
　本実施形態に係る情報処理装置は、例えば、対象物がユーザの有効視野外に存在し、かつ、属性情報が示す表示オブジェクトの重要度が所定の閾値より大きい場合には、表示オブジェクトを明滅させる、色つきの枠を付けるなどによって、表示オブジェクトをより強調する。なお、属性情報を用いる場合における表示の仕方を変える方法が、上記に示す例に限られないことは、言うまでもない。
　なお、表示オブジェクトに基づいて表示オブジェクトの表示の仕方を変える例が、上記に示す例に限られないことは、言うまでもない。
（ｉｖ）
　本実施形態に係る情報処理装置は、例えば、上記（ｉ）に示す処理～上記（ｉｉｉ）に示す処理のうちの２以上の処理を組み合わせた処理を行うことによって、表示オブジェクトの表示の仕方を変えてもよい。
（２－２）表示制御処理の第２の例：表示オブジェクトの選択に係る処理
　本実施形態に係る情報処理装置は、対象物に対応する複数の表示オブジェクトの候補の中から、表示オブジェクトを選択する。
　本実施形態に係る情報処理装置は、例えば、視線情報に基づき特定される表示画面における視点位置、表示画面における対象物の位置、および視野特性を示す情報に基づいて、対象物に対応する表示オブジェクトを選択する。あるいは、本実施形態に係る情報処理装置は、視線情報に基づき特定される視点位置と、（対象物に対応する）特定の位置の間の関係性に基づいて、複数の候補オブジェクトの中か記特定の位置に対応する表示オブジェクトを選択するものと見做してもよい。本実施形態に係る視野特性を示す情報としては、例えば、図１を参照して示した人間の視野特性を示すデータが挙げられる。
　より具体的には、本実施形態に係る情報処理装置は、上記視点位置と上記対象物の位置との距離を算出する。そして、本実施形態に係る情報処理装置は、算出された距離と、視野特性を示す情報とに基づいて、対象物に対応する表示オブジェクトを選択する。
　本実施形態に係る情報処理装置は、算出された距離から上記対象物の位置が、視野特性のどの範囲に属するかを判定する。そして、本実施形態に係る情報処理装置は、対象物に対応する複数の表示オブジェクトの候補の中から、判定された範囲に対応する表示オブジェクトを選択する。
　例えば、判定された範囲が有効視野内である場合、すなわち、対象物がユーザの有効視野内に存在する場合には、本実施形態に係る情報処理装置は、文字を含む表示オブジェクトを選択する。また、例えば、判定された範囲が有効視野外である場合、すなわち、対象物がユーザの有効視野外に存在する場合には、文字が除外された表示オブジェクトを選択する。
　また、複数の表示オブジェクトの候補それぞれに、優先度が設定されている場合には、本実施形態に係る情報処理装置は、優先度が高い表示オブジェクトの候補を、優先的に選択することも可能である。本実施形態に係る情報処理装置は、例えば、属性情報を参照することによって、優先度を把握することが可能である。
　本実施形態に係る情報処理装置は、例えば、上記（２－１）に示す第１の例に係る処理と上記（２－２）に示す第２の例に係る処理とを行うことによって、対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示画面に表示させる。また、表示オブジェクトの表示の仕方は、視線情報などに基づいて動的に変わる。
　なお、本実施形態に係る表示制御処理は、上記（２－１）に示す第１の例に係る処理と上記（２－２）に示す第２の例に係る処理とに限られない。
　例えば、本実施形態に係る情報処理装置は、視線情報などに基づいて表示が動的に変わることを抑制するための処理を、さらに行ってもよい。
　本実施形態に係る情報処理装置は、例えば、設定されている時間間隔ごとに、本実施形態に係る表示制御処理を行う。
　本実施形態に係る時間間隔としては、例えば、設定された秒ごとや、設定されたフレーム数ごとなどが挙げられる。本実施形態に係る時間間隔は、予め設定されている固定の時間間隔であってもよいし、ユーザの操作などに基づいて変更可能な可変の時間間隔であってもよい。例えば、本実施形態に係る情報処理装置は、本実施形態に係る表示制御処理を１秒以上の間隔で行ってもよい。あるいは、本実施形態に係る情報処理装置は、例えば６０ｆｐｓの表示フレームレートに対し、２フレーム以上ごとに本実施形態に係る表示制御処理を行ってもよい。すなわち、本実施形態に係る情報処理装置は、１フレームを表示する時間間隔よりも長い時間間隔で本実施形態に係る表示制御処理を行えばよい。
　設定されている時間間隔ごとに本実施形態に係る表示制御処理が行われることによって、表示画面における表示オブジェクトの表示が動的に変わる頻度は、毎フレームで本実施形態に係る表示制御処理が行われる場合よりも少なくなる。よって、設定されている時間間隔ごとに本実施形態に係る表示制御処理が行われることにより、表示画面における表示オブジェクトの表示の切り替えが抑制されるので、ユーザにかかる負荷を低減することができる。なお、ユーザにかかる負荷を低減する観点において、本実施形態に係る表示制御処理は、上記で例示されているように１秒以上の間隔で行われるものとしてもよい。
　また、本実施形態に係る情報処理装置は、例えば、本実施形態に係る表示制御処理が行われない期間では、既に表示されている表示オブジェクトのレイアウトを維持する処理を行ってもよい。
　本実施形態に係る情報処理装置は、視線情報に基づき特定される表示画面における視点位置と、表示画面における対象物の位置との距離を算出する。そして、本実施形態に係る情報処理装置は、算出された距離に基づいて、表示オブジェクトの拡大、縮小を行うことによって、既に表示されている表示オブジェクトのレイアウトを維持する。
　既に表示されている表示オブジェクトのレイアウトが維持されることによって、本実施形態に係る表示制御処理が行われない期間において、既に表示されている表示オブジェクトをみるユーザが感じうる違和感の低減を図ることができる。
　本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上述したような表示制御処理を行う。
　なお、上述した表示制御処理は、便宜上、本実施形態に係る情報処理方法に係る処理を規定したものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、上述した表示制御処理を、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
［３］本実施形態に係る情報処理方法に係る処理の一例
　次に、本実施形態に係る情報処理方法に係る処理の具体例を示す。
　図３は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。
　本実施形態に係る情報処理装置は、対象物を探索して対象物を検出する（Ｓ１００）。本実施形態に係る情報処理装置は、例えば、“撮像画像に対して顔認識技術や物体認識技術などの任意の認識技術に係る処理を行うこと”や、“位置情報と、位置および対象物が対応付けられているデータベースとを用いること”、あるいは、これらの組み合わせによって、対象物を検出する。
　なお、ステップＳ１００の処理は、例えば、本実施形態に係る情報処理装置と通信可能なサーバなどの、本実施形態に係る情報処理装置の外部装置において行われてもよい。ステップＳ１００の処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、当該外部装置から取得された対象物の検出結果を利用して、後述するステップＳ１０２以降の処理を行う。
　本実施形態に係る情報処理装置は、対象物が検出されたか否かを判定する（Ｓ１０２）。
　ステップＳ１０２において対象物が検出されたと判定されない場合には、本実施形態に係る情報処理装置は、図３に示す処理を終了する。また、本実施形態に係る情報処理装置は、ステップＳ１０２において対象物が検出されたと判定された場合に、後述するステップＳ１０４以降の処理を行う。
　ステップＳ１０２において対象物が検出されたと判定された場合には、本実施形態に係る情報処理装置は、視線情報に基づいて表示画面における視点位置（注視点）を算出する（Ｓ１０４）。本実施形態に係る情報処理装置は、例えば、視線情報から特定される視線方向の直線と、表示画面との交点を、表示画面における視点位置とする。なお、表示画面における視点位置の算出方法は、上記に限られず、本実施形態に係る情報処理装置は、表示画面における視点位置を特定することが可能な、任意の方法を用いることが可能である。
　本実施形態に係る情報処理装置は、検出された対象物に対応付けられている表示オブジェクトのデータを、記憶部（後述する）などの記録媒体から読み出す（Ｓ１０６）。
　本実施形態に係る情報処理装置は、表示画面における検出された対象物の位置を算出する（Ｓ１０８）。ステップＳ１００において対象物が複数検出された場合、本実施形態に係る情報処理装置は、検出された対象物ごとに位置を算出する。
　本実施形態に係る情報処理装置は、例えば、対象物が含まれる撮像画像を表示画面に表示する際の対象物の表示画面における座標を、表示画面における対象物の位置とする。なお、表示画面における対象物の位置の算出方法は、上記に限られず、本実施形態に係る情報処理装置は、表示画面における対象物の位置を特定することが可能な、任意の方法を用いることが可能である。
　本実施形態に係る情報処理装置は、ステップＳ１０４において算出された表示画面における視点位置と、ステップＳ１０８において算出された表示画面における対象物の位置との距離を算出する（Ｓ１１０）。ステップＳ１００において対象物が複数検出された場合には、本実施形態に係る情報処理装置は、検出された対象物ごとに距離を算出する。
　本実施形態に係る情報処理装置は、ステップＳ１１０において算出された距離と、視野特性の情報とに基づいて、表示画面に表示させる表示オブジェクトを選択する（Ｓ１１２）。ステップＳ１００において対象物が複数検出された場合には、本実施形態に係る情報処理装置は、例えば、対象物ごとに表示オブジェクトを選択する。そして、本実施形態に係る情報処理装置は、選択された表示オブジェクトのレイアウトを計算し、表示オブジェクトを表示画面に表示させる（Ｓ１１４）。なお、ステップＳ１１２の処理、およびステップＳ１１４の処理の一例については、後述する。
　本実施形態に係る情報処理装置は、例えば図３に示す処理を行うことによって、対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示画面に表示させる。また、例えば図３に示す処理が行われることによって、表示オブジェクトの表示の仕方は、視線情報などに基づいて動的に変わる。
　なお、本実施形態に係る情報処理方法に係る処理は、図３に示す例に限られない。
　例えば、アプリケーションが、本実施形態に係る表示制御処理以外の描画を実行する場合には、例外処理として、図３に示す表示制御処理が停止されてもよい。ここで、上記の場合において表示制御処理を停止するか否かを判定するためのデータ（例えば、割り込みのオン、オフを示すフラグなど）は、例えば、アプリケーションのメタデータに含まれる。
　図４Ａ～図４Ｃそれぞれは、本実施形態に係る情報処理方法に係る処理により表示される表示オブジェクトの表示例を示す説明図である。図４Ａは、アイコンと文字とが組み合わされた表示オブジェクトの表示の一例を示している。また、図４Ｂは、文字を示す表示オブジェクトの表示の一例を示している。また、図４Ｃは、タイトル、文字、およびアイコンとが組み合わされた表示オブジェクトの表示の一例を示している。
　対象物に対応する表示オブジェクトが表す内容としては、例えば、人に関する内容（例えば、名前、ニックネーム、出身地、写真など、あるいは、これらの組み合わせ）と、物に関する内容（例えば、“食品の栄養価”、“本の作者や表紙”、“店の名前、場所、電話番号”など）との一方または双方が、挙げられる。なお、対象物に対応する表示オブジェクトが表す内容は、上記に示す例に限られず、任意の内容であってもよい。
　なお、図４Ａ～図４Ｃでは、便宜上、複数の対象物それぞれに対応する表示オブジェクトを表しているが、図４Ａ～図４Ｃに表されている表示オブジェクトの中には、視線情報に基づいて表示されない表示オブジェクトも存在しうる。
　図５は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図であり、図３のステップＳ１１２の処理、およびステップＳ１１４の処理の一例を示している。また、図６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る属性情報の一例を示している。
　本実施形態に係る情報処理装置は、表示画面において選択された表示オブジェクトを表示させることが可能な表示範囲（表示可能領域）を決定する（Ｓ２００）。なお、本実施形態に係る情報処理装置は、ステップＳ２００において、表示オブジェクトを表示させる表示範囲内の表示位置をさらに決定する。例えば、表示オブジェクトの表示位置は、図２で示したように対象物の近傍となるように決定される。なお、表示オブジェクトとして複数の文字列を表示する場合、表示範囲の上下方向において文字列の優先度の順に文字列が配置されるものとしてもよい。また、表示オブジェクトが文字列である場合、優先的に弁別視野またはワード識別限界に配置されるものとしてもよい。
　本実施形態に係る情報処理装置は、例えば、視線情報に基づき特定される表示画面における視点位置と視野特性を示す情報とに基づいて、表示画面において表示オブジェクトを表示させることが可能な表示範囲を決定する。本実施形態に係る情報処理装置は、例えば、視点位置と視野特性を示す情報とにより特定される有効視野を元に、表示範囲を決定する。なお、表示範囲は有効視野よりも広く、有効視野を包含するものと見做してもよい。また、表示範囲は表示画面Ｓよりも狭い範囲であると見做してもよい。
　本実施形態に係る情報処理装置は、図６に示す属性情報を参照して、優先度が高いフィールドに対応する表示オブジェクトの候補から順番に、後述するステップＳ２０２～Ｓ２０６の処理を行う。また、表示オブジェクトの候補が存在しない場合には、本実施形態に係る情報処理装置は、図５に示す処理を終了する。
　本実施形態に係る情報処理装置は、フィールドの値が文字列であり、かつ、ステップＳ２００において決定された表示位置が有効視野の範囲外であるか否かを判定する（Ｓ２０２）。
　ステップＳ２０２において、フィールドの値が文字列であり、かつ、ステップＳ２００において決定された表示位置が有効視野の範囲外であると判定された場合には、本実施形態に係る情報処理装置は、他のフィールドに対応する表示オブジェクトに対して、ステップＳ２０２からの処理を行う。すなわち、ステップＳ２０２の判定結果が肯定的な判定（ＹＥＳ）である場合、有効視野の範囲外にある文字列を含む候補オブジェクトを、表示オブジェクトとして選択することを実質的に禁止するものと見做してよい。
　また、ステップＳ２０２において、フィールドの値が文字列であり、かつ、ステップＳ２００において決定された表示位置が有効視野の範囲外であると判定されない場合には、本実施形態に係る情報処理装置は、決定された表示範囲に表示オブジェクトを配置する（Ｓ２０４）。すなわち、フィールドの値が非文字列であると判定された場合、あるいは、決定された表示位置が有効視野の範囲内であると判定された場合には、決定された表示範囲に表示オブジェクトが配置される。なお、上述の第２の例で説明したように、表示オブジェクトとして文字列を弁別視野またはワード識別限界ではない有効視野の範囲に配置する場合、本実施形態に係る情報処理装置は、文字を太字にするようにしてもよい。また、弁別視野またはワード識別限界の範囲に文字列を配置する場合には、本実施形態に係る情報処理装置は、文字を太字にしないものとしてもよい。そして、本実施形態に係る情報処理装置は、表示オブジェクトの配置により、配置された表示オブジェクトが、ステップＳ２００において決定された表示範囲からはみ出すか否かを判定する（Ｓ２０６）。
　ステップＳ２０６において配置された表示オブジェクトが決定された表示範囲からはみ出すと判定されない場合には、本実施形態に係る情報処理装置は、他のフィールドに対応する表示オブジェクトに対して、ステップＳ２０２からの処理を行う。
　また、ステップＳ２０６において配置された表示オブジェクトが決定された表示範囲からはみ出すと判定された場合には、本実施形態に係る情報処理装置は、図５に示す処理を終了する。すなわち、決定された表示範囲内に更なる表示オブジェクトの配置が実質的に困難、あるいは不可能になるまで、ステップＳ２０６の判定が繰り返される。なお、表示オブジェクトを配置した結果、表示オブジェクトの一部が有効視野からはみ出す場合、そのはみ出した表示オブジェクトの一部については表示されてよい。
　図５の処理により、有効視野の範囲外への文字列の配置は実質的に禁止され、有効視野の範囲内にのみ文字列が配置される。結果として、有効視野の範囲内にのみ文字列が配置されるため、ユーザの認知負荷が軽減され、ユーザによる情報の認識時間が短縮される。なお、副次的な効果として、表示範囲内の情報量が低減される結果として、システムとしての処理負荷も低減され得る。
　本実施形態に係る情報処理装置は、図３のステップＳ１１２の処理、およびステップＳ１１４の処理として、例えば図５に示す処理を行う。例えば図５に示す処理が行われることによって、表示オブジェクトが決定された表示範囲に表示される。
　なお、図３のステップＳ１１２の処理、およびステップＳ１１４の処理は、図５に示す処理に限られない。例えば、上述の通り、弁別視野またはワード識別限界ではない範囲では、ユーザは、文字を識別することは困難であるため、図５のステップＳ２０２において、“有効視野の範囲”に代えて“弁別視野またはワード識別限界の範囲”が参照されてもよい。
　また、本実施形態に係る情報処理装置は、例えば、ＨＴＭＬ（Hyper　Text　Markup　Language）のフローレイアウトを利用して、表示オブジェクトを配置することが可能である。
　また、上述したように、本実施形態に係る情報処理装置は、例えば、さらに、状態情報、環境情報、および選択された表示オブジェクトのうちの、１または２以上に基づいて、表示オブジェクトの表示の仕方を変えることができる。
（本実施形態に係る情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について、説明する。
　図７は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、属性情報や表示オブジェクトなどの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
　操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
　図８は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
　ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する処理部１１０の役目を果たす。なお、処理部１１０は、処理部１１０の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、属性情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
　また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。
　なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば、撮像デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。
　情報処理装置１００は、例えば図８に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図８に示す構成に限られない。
　例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合や、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることが可能である。
　また、例えば、図８に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣで実現されてもよい。
　再度図７を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
　ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、処理部１１０を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
　処理部１１０は、本実施形態に係る表示制御処理を主導的に行う役目を果たし、視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示画面に表示させる。
　また、処理部１１０は、例えば、視線情報に基づいて、例えば上記（Ａ）～上記（Ｄ）に示すように、表示オブジェクトの表示の仕方を変える。処理部１１０は、さらに、状態情報、環境情報、および選択された表示オブジェクトのうちの、１または２以上に基づいて、表示オブジェクトの表示の仕方を変えることも可能である。
　より具体的には、処理部１１０は、例えば、上記（２－１）に示す第１の例に係る処理と上記（２－２）に示す第２の例に係る処理とを行うことによって、選択された表示オブジェクトを表示画面に表示させ、また、表示オブジェクトの表示の仕方を動的に変える。また、処理部１１０は、上述したように、表示が動的に変わることを抑制するための処理などを、さらに行ってもよい。
　また、処理部１１０は、例えば図３を参照して説明したように、対象物を検出する処理を行い、対象物が検出された場合に本実施形態に係る表示制御処理を行う。
　制御部１０４は、例えば処理部１１０を備えることによって、本実施形態に係る情報処理方法に係る処理（例えば、本実施形態に係る表示制御処理）を主導的に行う。
　情報処理装置１００は、例えば図７に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、本実施形態に係る表示制御処理）を行う。
　したがって、情報処理装置１００は、例えば図７に示す構成によって、ユーザによる表示オブジェクトの認識の容易化を図ることができる。
　また、例えば図７に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
　なお、本実施形態に係る情報処理装置の構成は、図７に示す構成に限られない。
　例えば、本実施形態に係る情報処理装置は、図７に示す処理部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
　また、上述したように、本実施形態に係る表示制御処理は、便宜上、本実施形態に係る情報処理方法に係る処理を規定したものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図７に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
　また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合や、スタンドアロンで処理を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。
　以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、アイウェアやＨＭＤなどのユーザの頭部に装着して用いられるウェアラブル装置や、ＰＣ（Personal　Computer）やサーバなどのコンピュータ、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした情報処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる情報処理システムの一例としては、例えば、本実施形態に係る表示制御処理を行う一の装置によって、他の装置の表示画面への表示が制御されるシステムが、挙げられる。
（本実施形態に係るプログラム）
　コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、本実施形態に係る表示制御処理など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、ユーザによる表示オブジェクトの認識の容易化を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
　また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体（コンピュータ可読媒体）も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を、前記ユーザの視線を示す視線情報に基づいて行う処理部を備える、情報処理装置。
（２）
　前記処理部は、前記視線情報に基づいて、前記表示オブジェクトの表示の仕方を変える、（１）に記載の情報処理装置。
（３）
　前記処理部は、前記表示オブジェクトのレイアウト、前記表示オブジェクトに対する装飾の仕方、前記表示オブジェクトの省略の仕方のうち少なくとも１つを変えることにより、前記表示オブジェクトの表示の仕方を変える、（２）に記載の情報処理装置。
（４）
　前記処理部は、さらに、前記ユーザの移動状態および対話状態のうち少なくとも一方を示す状態情報に基づいて、前記表示オブジェクトの表示の仕方を変える、（２）、または（３）に記載の情報処理装置。
（５）
　前記複数の候補オブジェクトは属性情報を含み、
　前記処理部は、さらに、選択された前記表示オブジェクトの属性情報に基づいて、前記表示オブジェクトの表示の仕方を変える、（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
　前記処理部は、選択された前記表示オブジェクトの属性情報がテキスト情報を含むか、あるいは選択された前記表示オブジェクトの属性情報がテキスト情報を含まないかの判定に基づいて、前記表示オブジェクトの表示の仕方を決定する、（５）に記載の情報処理装置。
（７）
　前記処理部は、選択された前記表示オブジェクトの属性情報がテキスト情報を含む場合、前記視線情報に基づいて、前記テキスト情報の表示文字数を変化させる、（６）に記載の情報処理装置。
（８）
　前記処理部は、選択された前記表示オブジェクトの属性情報がテキスト情報を含む場合、前記視線情報に基づいて、前記テキスト情報の強調表示を行う、（６）、または（７）に記載の情報処理装置。
（９）
　前記複数の候補オブジェクトはそれぞれ前記属性情報として優先度を示す情報を含み、
　前記処理部は、前記複数の候補オブジェクトの中から相対的に高い優先度を有する候補オブジェクトを、前記表示オブジェクトとして優先的に選択する、（５）～（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記処理部は、前記視線情報に基づき特定される視点位置と前記特定の位置の間の関係性に基づいて、前記複数の候補オブジェクトの中から前記特定の位置に対応する前記表示オブジェクトを選択する、（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記処理部は、前記視点位置と前記特定の位置の間の距離が第１の値以下であるか、あるいは前記視点位置と前記特定の位置の間の距離が前記第１の値よりも大きくかつ第２の値以下であるかの判定に基づいて、前記複数の候補オブジェクトの中から前記特定の位置に対応する前記表示オブジェクトを選択する、（１０）に記載の情報処理装置。
（１２）
　前記処理部は、前記視点位置と前記特定の位置の間の距離が前記第１の値よりも大きくかつ第２の値以下であるとの判定に基づいて、前記複数の候補オブジェクトのうち、テキスト情報を含む候補オブジェクトの選択を禁止する、（１１）に記載の情報処理装置。
（１３）
前記第１の値および前記第２の値は、視野特性に基づく値である、（１１）、または（１２）に記載の情報処理装置。
（１４）
　前記処理部は、
　前記視点位置と前記特定の位置の間の関係性に基づいて、前記表示オブジェクトを表示させる前記表示画面の表示範囲を決定し、
　視野特性と決定された前記表示範囲に基づいて、前記表示画面に表示させる前記表示オブジェクトの配置を制限する、（１０）～（１３）のいずれか１つに記載の情報処理装置。
（１５）
　前記処理部は、
　前記特定の位置に対応する対象物を検出する処理を行い、
　前記対象物の検出に応じて前記表示制御処理を行う、（１）～（１４）のいずれか１つに記載の情報処理装置。
（１６）
　前記処理部は、１フレームを表示する時間間隔よりも長い時間間隔で、前記表示制御処理を行い、
　前記表示制御処理が行われない期間において、既に表示されている前記表示オブジェクトのレイアウトを維持するレイアウト処理を行う、（１）～（１５）のいずれか１つに記載の情報処理装置。
（１７）
　前記処理部は、
　前記視線情報に基づき特定される視点位置と、前記特定の位置との距離に基づいて、前記レイアウト処理を行う、（１６）に記載の情報処理装置。
（１８）
　前記処理部は、選択された前記表示オブジェクトを、現実空間、または現実空間を示す画像に重畳させて表示させる、（１）～（１７）のいずれか１つに記載の情報処理装置。
（１９）
　ユーザの視線を示す視線情報に基づいて、ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を、情報処理装置により実行すること、を含む情報処理方法。
（２０）
　情報処理方法を実行するように情報処理装置上で動作可能な命令を含むコンピュータ可読媒体であって、
　前記情報処理方法が、ユーザの視線を示す視線情報に基づいて、ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を、前記情報処理装置により実行すること、を含む、
　コンピュータ可読媒体。
（ＩＩ－１）
　ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う処理部を備え、
　前記処理部は、前記視線情報に基づいて、前記表示オブジェクトの表示の仕方を変える、情報処理装置。
（ＩＩ－２）
　前記処理部は、前記表示オブジェクトのレイアウトを変えることにより、前記表示オブジェクトの表示の仕方を変える、（ＩＩ－１）に記載の情報処理装置。
（ＩＩ－３）
　前記処理部は、前記表示オブジェクトに対する装飾の仕方を変えることにより、前記表示オブジェクトの表示の仕方を変える、（ＩＩ－１）、または（ＩＩ－２）に記載の情報処理装置。
（ＩＩ－４）
　前記処理部は、前記表示オブジェクトの省略の仕方を変えることにより、前記表示オブジェクトの表示の仕方を変える、（ＩＩ－１）～（ＩＩ－３）のいずれか１つに記載の情報処理装置。
（ＩＩ－５）
　前記処理部は、さらに前記ユーザの状態を示す状態情報に基づいて、前記表示オブジェクトの表示の仕方を変える、（ＩＩ－１）～（ＩＩ－４）のいずれか１つに記載の情報処理装置。
（ＩＩ－６）
　前記処理部は、さらに前記ユーザの周辺環境を示す環境情報に基づいて、前記表示オブジェクトの表示の仕方を変える、（ＩＩ－１）～（ＩＩ－５）のいずれか１つに記載の情報処理装置。
（ＩＩ－７）
　前記処理部は、さらに選択された前記表示オブジェクトに基づいて、前記表示オブジェクトの表示の仕方を変える、（ＩＩ－１）～（ＩＩ－６）のいずれか１つに記載の情報処理装置。
（ＩＩ－８）
　前記処理部は、前記視線情報に基づき特定される表示画面における視点位置、前記表示画面における前記対象物の位置、および視野特性を示す情報に基づいて、前記対象物に対応する前記表示オブジェクトを選択する、（ＩＩ－１）～（ＩＩ－７）のいずれか１つに記載の情報処理装置。
（ＩＩ－９）
　前記処理部は、
　前記視点位置と前記対象物の位置との距離を算出し、
　算出された前記距離と、視野特性を示す情報とに基づいて、前記対象物に対応する前記表示オブジェクトを選択する、（ＩＩ－８）に記載の情報処理装置。
（ＩＩ－１０）
　複数の前記表示オブジェクトの候補それぞれには、優先度が設定され、
　前記処理部は、優先度が高い前記表示オブジェクトの候補を、優先的に選択する、（８）、または（ＩＩ－９）に記載の情報処理装置。
（ＩＩ－１１）
　前記処理部は、
　前記視点位置と前記視野特性を示す情報とに基づいて、前記表示画面において前記表示オブジェクトを表示させる表示範囲を決定し、
　決定された前記表示範囲に、前記表示オブジェクトを表示させる、（ＩＩ－８）～（ＩＩ－１０）のいずれか１つに記載の情報処理装置。
（ＩＩ－１２）
　前記処理部は、
　前記対象物を検出する処理を行い、
　前記対象物が検出された場合に、前記表示させる処理を行う、（ＩＩ－１）～（ＩＩ－１１）のいずれか１つに記載の情報処理装置。
（ＩＩ－１３）
　前記処理部は、設定されている時間間隔ごとに、前記表示させる処理を行う、（ＩＩ－１）～（ＩＩ－１２）のいずれか１つに記載の情報処理装置。
（ＩＩ－１４）
　前記表示させる処理が行われない期間において、前記処理部は、
　前記視線情報に基づき特定される表示画面における視点位置と、前記表示画面における前記対象物の位置との距離を算出し、
　算出された前記距離に基づいて、既に表示されている前記表示オブジェクトのレイアウトを維持する処理を行う、（ＩＩ－１３）に記載の情報処理装置。
（ＩＩ－１５）
　前記処理部は、選択された前記表示オブジェクトを、現実空間、または現実空間を示す画像に重畳させて表示させる、（ＩＩ－１）～（ＩＩ－１４）のいずれか１つに記載の情報処理装置。
（ＩＩ－１６）
　ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行うステップを有し、
　前記視線情報に基づいて、前記表示オブジェクトの表示の仕方が変わる、情報処理装置により実行される情報処理方法。
（ＩＩ－１７）
　ユーザの視線を示す視線情報に基づいて対象物に対応する複数の表示オブジェクトの候補の中から選択された表示オブジェクトを、表示させる処理を行う機能をコンピュータシステムに実現させ、
　前記表示させる処理を行う機能により、前記視線情報に基づいて、前記表示オブジェクトの表示の仕方が変わる、プログラム。
　１００　　情報処理装置
　１０２　　通信部
　１０４　　制御部
　１１０　　処理部

Claims (20)

  1. 　ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を、前記ユーザの視線を示す視線情報に基づいて行う処理部を備える、情報処理装置。
  2. 　前記処理部は、前記視線情報に基づいて、前記表示オブジェクトの表示の仕方を変える、請求項１に記載の情報処理装置。
  3. 　前記処理部は、前記表示オブジェクトのレイアウト、前記表示オブジェクトに対する装飾の仕方、前記表示オブジェクトの省略の仕方のうち少なくとも１つを変えることにより、前記表示オブジェクトの表示の仕方を変える、請求項２に記載の情報処理装置。
  4. 　前記処理部は、さらに、前記ユーザの移動状態および対話状態のうち少なくとも一方を示す状態情報に基づいて、前記表示オブジェクトの表示の仕方を変える、請求項２に記載の情報処理装置。
  5. 　前記複数の候補オブジェクトは属性情報を含み、
    　前記処理部は、さらに、選択された前記表示オブジェクトの属性情報に基づいて、前記表示オブジェクトの表示の仕方を変える、請求項１に記載の情報処理装置。
  6. 　前記処理部は、選択された前記表示オブジェクトの属性情報がテキスト情報を含むか、あるいは選択された前記表示オブジェクトの属性情報がテキスト情報を含まないかの判定に基づいて、前記表示オブジェクトの表示の仕方を決定する、請求項５に記載の情報処理装置。
  7. 　前記処理部は、選択された前記表示オブジェクトの属性情報がテキスト情報を含む場合、前記視線情報に基づいて、前記テキスト情報の表示文字数を変化させる、請求項６に記載の情報処理装置。
  8. 　前記処理部は、選択された前記表示オブジェクトの属性情報がテキスト情報を含む場合、前記視線情報に基づいて、前記テキスト情報の強調表示を行う、請求項６に記載の情報処理装置。
  9. 　前記複数の候補オブジェクトはそれぞれ前記属性情報として優先度を示す情報を含み、
    　前記処理部は、前記複数の候補オブジェクトの中から相対的に高い優先度を有する候補オブジェクトを、前記表示オブジェクトとして優先的に選択する、請求項５に記載の情報処理装置。
  10. 　前記処理部は、前記視線情報に基づき特定される視点位置と前記特定の位置の間の関係性に基づいて、前記複数の候補オブジェクトの中から前記特定の位置に対応する前記表示オブジェクトを選択する、請求項１に記載の情報処理装置。
  11. 　前記処理部は、前記視点位置と前記特定の位置の間の距離が第１の値以下であるか、あるいは前記視点位置と前記特定の位置の間の距離が前記第１の値よりも大きくかつ第２の値以下であるかの判定に基づいて、前記複数の候補オブジェクトの中から前記特定の位置に対応する前記表示オブジェクトを選択する、請求項１０に記載の情報処理装置。
  12. 　前記処理部は、前記視点位置と前記特定の位置の間の距離が前記第１の値よりも大きくかつ第２の値以下であるとの判定に基づいて、前記複数の候補オブジェクトのうち、テキスト情報を含む候補オブジェクトの選択を禁止する、請求項１１に記載の情報処理装置。
  13. 前記第１の値および前記第２の値は、視野特性に基づく値である、請求項１１に記載の情報処理装置。
  14. 　前記処理部は、
    　前記視点位置と前記特定の位置の間の関係性に基づいて、前記表示オブジェクトを表示させる前記表示画面の表示範囲を決定し、
    　視野特性と決定された前記表示範囲に基づいて、前記表示画面に表示させる前記表示オブジェクトの配置を制限する、請求項１０に記載の情報処理装置。
  15. 　前記処理部は、
    　前記特定の位置に対応する対象物を検出する処理を行い、
    　前記対象物の検出に応じて前記表示制御処理を行う、請求項１に記載の情報処理装置。
  16. 　前記処理部は、１フレームを表示する時間間隔よりも長い時間間隔で、前記表示制御処理を行い、
    　前記表示制御処理が行われない期間において、既に表示されている前記表示オブジェクトのレイアウトを維持するレイアウト処理を行う、請求項１に記載の情報処理装置。
  17. 　前記処理部は、
    　前記視線情報に基づき特定される視点位置と、前記特定の位置との距離に基づいて、前記レイアウト処理を行う、請求項１６に記載の情報処理装置。
  18. 　前記処理部は、選択された前記表示オブジェクトを、現実空間、または現実空間を示す画像に重畳させて表示させる、請求項１に記載の情報処理装置。
  19. 　ユーザの視線を示す視線情報に基づいて、ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を、情報処理装置により実行すること、を含む情報処理方法。
  20. 　情報処理方法を実行するように情報処理装置上で動作可能な命令を含むコンピュータ可読媒体であって、
    　前記情報処理方法が、ユーザの視線を示す視線情報に基づいて、ユーザの視野内の特定の位置に対応する複数の候補オブジェクトの中から表示オブジェクトを選択し、選択された前記表示オブジェクトを前記特定の位置に関連付けて表示画面に表示させる表示制御処理を、前記情報処理装置により実行すること、を含む、
    　コンピュータ可読媒体。
PCT/JP2017/007239 2016-03-29 2017-02-24 情報処理装置、情報処理方法、およびコンピュータ可読媒体 WO2017169400A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780019336.4A CN108885497B (zh) 2016-03-29 2017-02-24 信息处理装置、信息处理方法和计算机可读介质
DE112017001660.6T DE112017001660T5 (de) 2016-03-29 2017-02-24 Datenverarbeitungseinrichtung, Datenverarbeitungsverfahren und computerlesbares Medium
US16/086,758 US10861181B2 (en) 2016-03-29 2017-02-24 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-065218 2016-03-29
JP2016065218A JP2017182247A (ja) 2016-03-29 2016-03-29 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2017169400A1 true WO2017169400A1 (ja) 2017-10-05

Family

ID=59964217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007239 WO2017169400A1 (ja) 2016-03-29 2017-02-24 情報処理装置、情報処理方法、およびコンピュータ可読媒体

Country Status (5)

Country Link
US (1) US10861181B2 (ja)
JP (1) JP2017182247A (ja)
CN (1) CN108885497B (ja)
DE (1) DE112017001660T5 (ja)
WO (1) WO2017169400A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489805A1 (en) * 2017-11-28 2019-05-29 Beijing Xiaomi Mobile Software Co., Ltd. Method, apparatus and storage medium for searching for an object
JPWO2020110270A1 (ja) * 2018-11-29 2021-09-27 マクセル株式会社 映像表示装置および方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021096490A (ja) * 2018-03-28 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7263825B2 (ja) * 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7476866B2 (ja) 2021-11-22 2024-05-01 トヨタ自動車株式会社 ウェアラブル端末の画像表示制御装置及び画像表示制御方法及び画像表示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119297A (ja) * 2004-10-20 2006-05-11 Olympus Corp 情報端末装置
JP2013156806A (ja) * 2012-01-30 2013-08-15 Konica Minolta Inc 管理システム、管理サーバおよびプログラム
JP2014106445A (ja) * 2012-11-29 2014-06-09 Toshiba Corp 電子機器および表示制御方法
JP2016173693A (ja) * 2015-03-17 2016-09-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3119076B2 (ja) 1994-06-02 2000-12-18 日産自動車株式会社 車両用警報表示装置
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8773467B2 (en) * 2011-06-13 2014-07-08 International Business Machines Corporation Enhanced asset management and planning system
CN107656618B (zh) * 2013-03-15 2021-03-23 奇跃公司 显示系统和方法
KR20170031223A (ko) * 2014-07-31 2017-03-20 세이코 엡슨 가부시키가이샤 표시 장치, 표시 장치의 제어 방법 및, 프로그램을 갖는 컴퓨터 판독 가능 기록 매체
CN105425971B (zh) * 2016-01-15 2018-10-26 中意工业设计（湖南）有限责任公司 一种眼动界面的交互方法、装置和近眼显示器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119297A (ja) * 2004-10-20 2006-05-11 Olympus Corp 情報端末装置
JP2013156806A (ja) * 2012-01-30 2013-08-15 Konica Minolta Inc 管理システム、管理サーバおよびプログラム
JP2014106445A (ja) * 2012-11-29 2014-06-09 Toshiba Corp 電子機器および表示制御方法
JP2016173693A (ja) * 2015-03-17 2016-09-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489805A1 (en) * 2017-11-28 2019-05-29 Beijing Xiaomi Mobile Software Co., Ltd. Method, apparatus and storage medium for searching for an object
US10621439B2 (en) 2017-11-28 2020-04-14 Beijing Xiaomi Mobile Software Co., Ltd. Method, apparatus, and storage medium for searching for object using augmented reality (AR)
JPWO2020110270A1 (ja) * 2018-11-29 2021-09-27 マクセル株式会社 映像表示装置および方法
JP7076007B2 (ja) 2018-11-29 2022-05-26 マクセル株式会社 映像表示装置および方法

Also Published As

Publication number Publication date
CN108885497B (zh) 2022-07-05
CN108885497A (zh) 2018-11-23
DE112017001660T5 (de) 2018-12-13
US20190066325A1 (en) 2019-02-28
JP2017182247A (ja) 2017-10-05
US10861181B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
WO2017169400A1 (ja) 情報処理装置、情報処理方法、およびコンピュータ可読媒体
CN110413105B (zh) 虚拟环境内的虚拟对象的有形可视化
US9430038B2 (en) World-locked display quality feedback
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
KR20150116871A (ko) Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
US11922594B2 (en) Context-aware extended reality systems
US11244496B2 (en) Information processing device and information processing method
US20190064528A1 (en) Information processing device, information processing method, and program
JP2010097472A (ja) 表示システム、表示方法およびプログラム
US20220189433A1 (en) Application programming interface for setting the prominence of user interface elements
US11004273B2 (en) Information processing device and information processing method
EP3438938B1 (en) Information processing device, information processing method, and program
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773945

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17773945

Country of ref document: EP

Kind code of ref document: A1