WO2019021573A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019021573A1
WO2019021573A1 PCT/JP2018/018108 JP2018018108W WO2019021573A1 WO 2019021573 A1 WO2019021573 A1 WO 2019021573A1 JP 2018018108 W JP2018018108 W JP 2018018108W WO 2019021573 A1 WO2019021573 A1 WO 2019021573A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
attraction area
attraction
processing apparatus
Prior art date
Application number
PCT/JP2018/018108
Other languages
English (en)
French (fr)
Inventor
茜 近藤
遼 深澤
慧 新田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112018003820.3T priority Critical patent/DE112018003820T5/de
Priority to US16/631,907 priority patent/US20200159318A1/en
Priority to CN201880048572.3A priority patent/CN110998673A/zh
Priority to KR1020207001258A priority patent/KR20200031098A/ko
Publication of WO2019021573A1 publication Critical patent/WO2019021573A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • augmented reality In recent years, a technique called augmented reality (AR) has been attracting attention, in which a virtual object is superimposed on a real space and presented to a user.
  • a head mounted display hereinafter also referred to as "HMD" having a display positioned in front of the user's eyes when mounted on the head of the user or a projector may be used to provide virtual objects in real space. It is possible to make a superimposed display.
  • Patent Document 1 discloses a technique for arranging virtual objects based on position information of real space and real objects existing in real space.
  • the virtual object is not necessarily displayed at a position desired by the user, and for example, the virtual object is displayed at a position at which the user is less likely to notice There was a case.
  • the present disclosure proposes a novel and improved information processing apparatus, information processing method, and program that can display virtual objects in an arrangement that is easy for the user to notice.
  • an attraction area identification unit that identifies an attraction area that is relatively easy to attract the user's visual attention within the field of view of the user, and display control that places a virtual object in the attraction area
  • An information processing apparatus comprising: a display control unit;
  • the processor specifies, within the field of view of the user, a attraction area that is relatively easy to attract the visual attention of the user, and a display control for placing a virtual object in the attraction area.
  • An information processing method is provided, including performing.
  • the computer has a function of specifying an attraction area that is relatively easy to attract the visual attention of the user within the field of view of the user, and display control of arranging a virtual object in the attraction area.
  • a program is provided for realizing functions to be performed.
  • FIG. 18 is an explanatory diagram for describing an example in which a virtual object is arranged in a gaze area along an edge in the vicinity of a fixation point. It is explanatory drawing for demonstrating the other example by which a virtual object is arrange
  • FIG. 1 is a diagram for explaining an outline of an information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 according to the present embodiment is realized by, for example, a glasses-type head mounted display (HMD) mounted on the head of the user U.
  • the display unit 13 corresponding to the spectacle lens portion positioned in front of the user U at the time of wearing may be transmissive or non-transmissive.
  • the information processing apparatus 1 can present a virtual object within the field of view of the user U by displaying the virtual object on the display unit 13.
  • HMD which is an example of the information processing apparatus 1 is not limited to what presents an image to both eyes, and may present an image only to one eye.
  • the HMD may be of one eye type provided with a display unit 13 for presenting an image to one eye.
  • the information processing apparatus 1 is provided with an outward camera 110 that captures the direction of the line of sight of the user U, that is, the field of view of the user at the time of wearing.
  • the information processing apparatus 1 is provided with various sensors such as an inward camera or a microphone (hereinafter, referred to as a “microphone”) that captures an eye of the user U at the time of wearing.
  • a plurality of outward cameras 110 and a plurality of inward cameras may be provided.
  • the shape of the information processing apparatus 1 is not limited to the example shown in FIG.
  • the information processing apparatus 1 is a headband type (a type mounted with a band that goes around the entire circumference of the head. There may be a band that passes not only the side but also the top of the head). It may be an HMD (the visor portion of the helmet corresponds to the display).
  • the information processing apparatus 1 is a wristband type (for example, a smart watch, with or without a display), a headphone type (without a display), or a neck phone type (with a neck type, with or without a display). May be realized by a wearable device such as
  • the information processing apparatus 1 actually determines the virtual object based on the information of the real space (an example of the field of view of the user) obtained by the photographing of the outward camera 110. It is possible to execute display control arranged in space.
  • the user U may have difficulty in recognizing the virtual object.
  • the virtual object is a virtual object related to operation input, depending on the position at which the virtual object is arranged, it is difficult for the user U to grasp the sense of distance to the virtual object, making operation input difficult, and causing erroneous operation. There was a risk of becoming ill.
  • the information processing apparatus 1 realizes the arrangement of virtual objects in which the user can easily notice and easily grasp the sense of distance. Specifically, the information processing apparatus 1 according to the present embodiment arranges the virtual object in the attraction area that is relatively easy to attract the visual attention of the user within the field of view (a part of the real space) of the user. Execute display control.
  • FIG. 2 is a block diagram showing an exemplary configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a sensor unit 11, a control unit 12, a display unit 13, a speaker 14, a communication unit 15, an operation input unit 16, and a storage unit 17.
  • the sensor unit 11 has a function of acquiring various information related to the user or the surrounding environment.
  • the sensor unit 11 includes an outward camera 110, an inward camera 111, a microphone 112, a gyro sensor 113, an acceleration sensor 114, an azimuth sensor 115, a position measurement unit 116, and a living body sensor 117.
  • the specific example of the sensor part 11 mentioned here is an example, and this embodiment is not limited to this.
  • each sensor may be plural.
  • the outward camera 110 and the inward camera 111 are obtained by a lens system including an imaging lens, an aperture, a zoom lens, a focus lens, etc., a drive system for performing a focus operation and a zoom operation on the lens system, and a lens system.
  • the imaging light is photoelectrically converted to generate an imaging signal.
  • the solid-state imaging device array may be realized by, for example, a charge coupled device (CCD) sensor array or a complementary metal oxide semiconductor (CMOS) sensor array.
  • the angle of view and the direction of the outward camera 110 be set so as to capture an area corresponding to the field of view of the user in the real space.
  • the microphone 112 picks up the user's voice and the surrounding environmental sound, and outputs it to the control unit 12 as voice data.
  • the gyro sensor 113 is realized by, for example, a three-axis gyro sensor, and detects an angular velocity (rotational speed).
  • the acceleration sensor 114 is realized by, for example, a 3-axis acceleration sensor (also referred to as a G sensor), and detects an acceleration at the time of movement.
  • a 3-axis acceleration sensor also referred to as a G sensor
  • the azimuth sensor 115 is realized by, for example, a three-axis geomagnetic sensor (compass), and detects an absolute direction (azimuth).
  • the position measurement unit 116 has a function of detecting the current position of the information processing device 1 based on an externally obtained signal.
  • the position positioning unit 116 is realized by a GPS (Global Positioning System) positioning unit, receives radio waves from GPS satellites, and detects and detects the position where the information processing apparatus 1 is present. The position information is output to the control unit 12. Further, the position measurement unit 116 detects the position by transmission / reception with, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile phone, PHS, smart phone, etc. in addition to GPS, or by short distance communication, etc. It may be.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • mobile phone PHS
  • smart phone smart phone
  • the biometric sensor 117 detects biometric information of the user. Specifically, for example, heart rate, body temperature, sweating, blood pressure, pulse, breathing, blink, eye movement, fixation time, size of pupil diameter, blood pressure, brain wave, body movement, body position, skin temperature, skin electrical resistance, MV (Micro vibration), myoelectric potential, or SPO2 (blood oxygen saturation) etc. can be detected.
  • biometric information of the user Specifically, for example, heart rate, body temperature, sweating, blood pressure, pulse, breathing, blink, eye movement, fixation time, size of pupil diameter, blood pressure, brain wave, body movement, body position, skin temperature, skin electrical resistance, MV (Micro vibration), myoelectric potential, or SPO2 (blood oxygen saturation) etc.
  • Control unit 12 The control unit 12 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1 according to various programs. Further, as shown in FIG. 2, the control unit 12 according to the present embodiment functions as a recognition unit 120, an attraction area specifying unit 122, an arrangement setting acquisition unit 124, and a display control unit 126.
  • the recognition unit 120 has a function of performing recognition (including detection) of information on the user or information on the surrounding situation using various types of sensor information sensed by the sensor unit 11.
  • the recognition unit 120 may recognize the position and posture (including the orientation or inclination of the face with respect to the body) of the user, the line of sight of the user, the point of gaze of the user, and the like as the information regarding the user.
  • the recognition unit 120 may detect the fixation point of the user based on the line of sight of the user. For example, when the line of sight of the user stays in a predetermined range for a predetermined time or more, the recognition unit 120 may detect a point (three-dimensional position) ahead of the line of sight of the user as a gaze point.
  • the detection method of the user's gaze point by the recognition part 120 is not limited to the example which concerns, It may carry out by various known methods.
  • the recognition unit 120 may recognize a three-dimensional shape in the field of view of the user as the information on the surrounding situation. For example, when a plurality of outward facing cameras 110 are provided, the recognition unit 120 may obtain a depth image (distance image) based on parallax information to recognize a three-dimensional shape within the field of view of the user. In addition, even when only one outward camera 110 is provided, the recognition unit 120 can recognize the three-dimensional shape in the field of view of the user from the images acquired in time series.
  • the recognition unit 120 may detect the boundary surface of the real object from within the field of view of the user as the information on the surrounding situation.
  • the expression "boundary surface” is used as a expression including, for example, a surface between a real object and another real object, or a surface between a space in which a real object does not exist and a real object.
  • the boundary surface may be a curved surface.
  • the recognition unit 120 may detect the boundary surface from the image acquired by the outward camera 110, or may detect the boundary surface based on the recognized three-dimensional shape in the field of view of the user. For example, when the three-dimensional shape in the field of view of the user is expressed as point cloud data, the recognition unit 120 can detect the boundary surface by clustering the point cloud data.
  • the detection method of the boundary surface by the recognition part 120 is not limited to the example which concerns, It may carry out by various known methods.
  • the recognition unit 120 provides the attraction area identification unit 122 and the display control unit 126 with information regarding the recognized user and information regarding the surrounding situation.
  • the attraction area identification unit 122 identifies an attraction area that is relatively easy to attract the user's visual attention within the field of view of the user. In the present specification, being easy to attract visual attention may be considered to mean having a visual feature that is attractive to the eye.
  • the attraction area specifying unit 122 may specify the attraction area based on, for example, the information recognized by the recognition unit 120.
  • the attraction area identified by the attraction area identification unit 122 is provided to a display control unit 126 described later, and the display control unit 126 executes display control to arrange a virtual object in the attraction area.
  • the attraction area specifying unit 122 may specify the attraction area on the boundary surface detected from within the field of view by the recognition unit 120, for example. Since the display control unit 126 described later executes display control for arranging the virtual object in the attraction area, it is possible to arrange the virtual object on the boundary surface with such a configuration. Therefore, with such a configuration, the user can easily grasp the sense of distance to the virtual object as compared to the case where the virtual object is disposed in the space where the real object does not exist.
  • the attraction area identification unit 122 may identify the attraction area based on the edge of the interface detected from within the field of view.
  • the attraction area specifying unit 122 can detect, for example, an end portion of the boundary surface detected by the recognition unit 120 as an edge.
  • the edge detected by the attraction area specifying unit 122 may be linear or curved.
  • the attraction area specifying unit 122 may detect an edge from the image acquired by the outward camera 110, or may detect an edge based on the three-dimensional shape of the boundary surface. Since the edge is easy for the user to understand and hardly lose sight, by specifying the attraction area based on the edge, it is possible for the user to not easily miss the virtual object arranged in the attraction area.
  • the attraction area specifying unit 122 may specify an area along the edge as the attraction area, or may specify the attraction area based on a combination of the edge and other elements described later.
  • the attraction area specifying unit 122 may specify the attraction area based on the user's gaze point detected by the recognition unit 120. For example, when the gaze point of the user is detected on a certain boundary surface, the attraction area identification unit 122 may specify the attraction region on the boundary surface at which the gaze point is located. According to such a configuration, it is possible to arrange the virtual object on the boundary surface at which the user is gazing, and compared with the case where the virtual object is arranged on the boundary surface at which the user is not gazing It makes it easier to notice objects.
  • the attraction area specifying unit 122 may detect an edge on the boundary surface where the gaze point is located. Then, when an edge is detected in the vicinity of the fixation point, the attraction area identification unit 122 may specify an area on the boundary surface along the detected edge as the attraction area. When a plurality of edges are detected in the vicinity of the fixation point, the attraction area identification unit 122 may specify an area on the boundary surface along the edge closest to the fixation point as the attraction area. According to such a configuration, it is possible to place the virtual object in an area close to the user's gaze point and in a relatively easy to attract visual attention of the user, and the user is more likely to notice the virtual object.
  • the attraction area specifying unit 122 may not specify the attraction area when the user's gaze point is detected on a certain boundary surface but an edge is not detected in the vicinity of the gaze point.
  • the attraction area identification unit 122 does not detect the fixation point in any boundary surface, or the boundary surface on which the fixation point is positioned is not a suitable boundary surface. May specify the attraction area by a method not using the fixation point described below. Note that the case where the boundary surface is not a suitable boundary surface is, for example, a case where it is difficult to arrange a virtual object in the region of interest even if the attraction region is specified on the boundary surface, for example The area may be smaller than or equal to a predetermined threshold.
  • the attraction area identification unit 122 may identify the attraction area based on color information in the field of view.
  • Color information in the field of view may be obtained, for example, from an image obtained by the outward camera 110.
  • the attraction area identification unit 122 may identify an attraction score indicating the user's visual attention attractiveness based on the color information, and identify the attraction area based on the attraction score.
  • the method for specifying the attraction score based on color information is not particularly limited.
  • the attraction area identification unit 122 determines the background color, the color size, the color intensity, the color duration, the color movement, and the like.
  • the attraction score may be specified.
  • the attraction area specifying unit 122 may specify the attraction score such that the attraction score is higher in the case of the chromatic color than in the achromatic color.
  • the attraction area specifying unit 122 may specify the attraction score such that the attraction score is higher in the color closer to white than the color close to black.
  • the attraction area specifying unit 122 may specify the attraction score such that the warmth color is higher in the attraction score than the cold color. Further, the attraction area specifying unit 122 may specify the attraction score so that the attraction score of the high saturation color is higher than that of the low saturation color.
  • the identification method of the attraction score by the attraction region identification unit 122 is not limited to the identification method based on the color information.
  • the attraction area specifying unit 122 may specify the attraction score based on the above-described edge, or may specify the attraction score such that the attraction score of the region along the edge is high.
  • the attraction score may be identified by a combination of the identification method based on the color information described above and the identification method based on the edge.
  • the attraction area specifying unit 122 may specify the attraction score described above for each boundary surface detected by the recognition unit 120, and specify the attraction area on the boundary surface having the highest attraction score. According to such a configuration, it is possible to place the virtual object on the boundary surface that is most likely to attract the visual attention of the user in the field of view of the user, and the user is more likely to notice the virtual object.
  • the attraction area specifying unit 122 specifies an attraction score for each position on the boundary surface having the highest attraction score, and the attraction area is determined based on the attraction score specified for each position on the boundary surface. It may be specified.
  • the identification method of the attraction area in particular based on the attraction score identified for every position on the said boundary surface is not specifically limited.
  • the attraction area identification unit 122 may identify, as an attraction area, an overlap region of an area along an edge and a predetermined range centered on a point with the highest attraction score based on color information.
  • the attraction area specifying unit 122 may specify, as the attraction area, an overlapping area of a region where the attraction score is equal to or more than a predetermined threshold value and a predetermined range centered on the point with the highest attraction score.
  • the attraction area specifying unit 122 determines that the attraction score of the boundary surface having the highest attraction score is equal to or less than a predetermined threshold, or the attraction score for each position on the boundary surface is equal to or less than the predetermined threshold. In the case, the attraction area may not be specified.
  • the arrangement setting acquisition unit 124 acquires information on setting related to the arrangement of a predetermined virtual object (hereinafter, referred to as arrangement setting). For example, the arrangement setting acquisition unit 124 may acquire, for example, the arrangement setting from the storage unit 17 or may acquire it from another device via the communication unit 15. The arrangement setting acquisition unit 124 provides the acquired arrangement setting to the display control unit 126.
  • the arrangement setting may include, for example, information such as the shape, number, arrangement order, size, arrangement direction, changeable size of the virtual object, and deformation possibility of the arrangement direction of the virtual objects.
  • the display control unit 126 executes display control according to the display unit 13, and arranges the virtual object in the field of view of the user based on, for example, the arrangement setting. For example, when the attraction area identification unit 122 identifies the attraction area, the display control unit 126 may execute display control of arranging the virtual object in the attraction area.
  • the display control unit 126 may change the size of the virtual object or deform the arrangement direction of the virtual object in accordance with the attraction area. For example, the display control unit 126 may change the size of the virtual object so as to fit in the attraction area. Further, the arrangement direction of the virtual object may be changed according to the shape of the attraction area, and the virtual object may be arranged in the arrangement direction according to the shape of the attraction area. For example, when the area along the edge is specified as the eye-gaze area as described above, the virtual object may be arranged along the edge.
  • the display control unit 126 may arrange the virtual object in accordance with the information of the changeability of the size of the virtual object included in the arrangement setting or the information of the deformability of the arrangement direction of the virtual object. For example, when the size of the virtual object can not be changed, the display control unit 126 does not change the size of the virtual object, and for example, arranges the virtual object not only in the attraction area but also outside the attraction area. It is also good. In addition, when the arrangement direction of the virtual object is not deformable, the display control unit 126 does not change the arrangement direction of the virtual object, and even if the virtual object is arranged in the arrangement direction set based on the arrangement setting. Good.
  • the display control unit 126 may arrange the virtual object even when the attraction area identification unit 122 does not identify the attraction area. For example, when the user's gaze point is detected on a certain boundary surface but the edge is not detected in the vicinity of the gaze point, the display control unit 126 does not specify the attraction area. A virtual object may be placed near the viewpoint. The display control unit 126 may arrange the virtual object in front of the user's eyes (for example, near the center of the field of view) when the attraction area is not specified by the attraction area specifying unit 122. According to the configuration, even if the attraction area is not specified, the user is likely to notice the virtual object.
  • the display unit 13 is realized by, for example, a lens unit (an example of a transmissive display unit) that performs display using a hologram optical technology, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or the like.
  • the display unit 13 may be transmissive, semi-transmissive or non-transmissive.
  • the speaker 14 reproduces an audio signal according to the control of the control unit 12.
  • the communication unit 15 is a communication module for transmitting and receiving data to and from another device by wired or wireless communication.
  • the communication unit 15 is, for example, a wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity (registered trademark), infrared communication, Bluetooth (registered trademark), short distance / non-contact communication, etc. Communicate directly with or wirelessly through a network access point.
  • the operation input unit 16 is realized by an operation member having a physical structure such as a switch, a button, or a lever.
  • the storage unit 17 stores programs and parameters for the control unit 12 to execute each function.
  • the storage unit 17 stores information related to a virtual object (which may include arrangement settings).
  • the configuration of the information processing apparatus 1 according to the present embodiment has been specifically described above, but the configuration of the information processing apparatus 1 according to the present embodiment is not limited to the example illustrated in FIG.
  • the configuration of the information processing apparatus 1 according to the present embodiment is not limited to the example illustrated in FIG.
  • at least a part of the functions of the control unit 12 of the information processing device 1 may exist in another device connected via the communication unit 15.
  • FIG. 3 is a flowchart showing an operation example of the information processing apparatus 1 according to the present embodiment.
  • the arrangement setting acquisition unit 124 acquires arrangement settings from the storage unit 17 or from another device via the communication unit 15 (S10).
  • sensing is performed by the sensor unit 11 (S20), and information on the user or information on the surrounding situation is recognized using the various sensor information sensed (S30).
  • FIG. 4 is a flowchart showing the process of step S40 shown in FIG. 3 in more detail.
  • the attraction area identification unit 122 When the fixation point is detected and the fixation point is located on a suitable boundary surface (YES in S402), the attraction area identification unit 122 performs edge detection on the boundary surface (S404). When an edge is detected in the vicinity of the fixation point (YES in S406), the attraction area identification unit 122 identifies an area along the edge in the vicinity of the detected fixation point as the attraction area, and the display control unit 126 determines the attraction area It decides to arrange the virtual object in (S408).
  • the display control unit 126 determines to arrange a virtual object in the vicinity of the gaze point (S410).
  • the attraction area identification unit 122 identifies the attraction area by a method not using the fixation point (S412). ). In step S412, the attraction area identification unit 122 may identify the attraction area based on, for example, color information or an edge.
  • step S412 determines to arrange the virtual object in the attraction area (S416).
  • the attraction area is not specified in step S412 (NO in S414), it is determined to arrange the virtual object in front of the user's eyes (for example, near the center of view) (S418).
  • the display control unit 126 executes display control for arranging a virtual object as determined in step S40, and causes the display unit 13 to display the virtual object (S50).
  • Example where virtual objects are placed in the attraction area The operation of the information processing apparatus 1 according to the present embodiment has been described above. Subsequently, in the present embodiment, an example of the case where a virtual object is arranged in the attraction area will be specifically described with reference to FIGS. 5 and 6. 5 and 6, the user U wears the information processing apparatus 1 which is a glasses-type HMD as shown in FIG. Further, the display unit 13 of the information processing apparatus 1 positioned in front of the user U is transparent, and the virtual objects V11 to V13 displayed on the display unit 13 are viewed by the user U as if they exist in real space. Be done.
  • FIG. 5 is an explanatory diagram for explaining an example in which a virtual object is arranged in an eye-catching area along an edge near the gaze point.
  • the gaze point G10 of the user U is located on the boundary surface B10 of the desk 3.
  • the attraction area identification unit 122 identifies the attraction area R10 along the edge E10 near the gaze point G10, and the virtual objects V11 to V13 are arranged in the attraction area R10.
  • the virtual objects V11 to V13 are arranged along the edge E10 existing near the gaze point G10 of the user U, the user U can easily notice the virtual objects V11 to V13, easily grasp the sense of distance, and hardly lose sight.
  • FIG. 6 is an explanatory diagram for explaining another example in which the virtual object is arranged in the attraction area.
  • the desk 3A and the desk 3B are included in the field of view of the user U.
  • the recognition unit 120 can not detect the fixation point or the detected fixation point is not located on a suitable boundary surface
  • the attraction area identification unit 122 does not use the fixation point. Identify the attraction area.
  • the boundary surface B20 of the desk 3A has the highest attraction score.
  • the attraction area R20 is specified.
  • virtual objects V11 to V13 are arranged in the attraction area R20.
  • the virtual objects V11 to V13 are arranged in the attraction area R20 that easily attracts the visual attention of the user U. Therefore, the user U can easily notice the virtual objects V11 to V13 and can easily grasp the sense of distance. Also, when the attraction area R20 is identified based on the edge, the attraction area R20 is identified near the edge, and the user U is less likely to lose sight of the virtual objects V11 to V13.
  • the virtual object displayed by the display control unit 126 is not limited to a static virtual object, and may include animation. In such a case, the display control unit 126 may display an animation based on the attraction area.
  • the example which concerns is demonstrated as a modification 1 with reference to FIG. FIG. 7 is an explanatory view for explaining the present modification.
  • the eye attraction area R30 is specified along the edge between the wall W30 which is the boundary surface and the floor F30 which is the boundary surface. Then, the display control unit 126 arranges virtual objects V11 to V13 in the attraction area R30. Furthermore, the display control unit 126 displays an auxiliary virtual object V30 which is an animation that blinks in the attraction area R30. Such a configuration makes it easier for the user to notice the virtual objects V11 to V13.
  • the display of animation based on the attraction area is not limited to such an example.
  • the display control unit 126 may display an animation with a certain position in the attraction area as a start position.
  • an auxiliary virtual object for making the user notice the virtual object it is also considered to display an animation directed to the virtual object to be noticed, with the vicinity of the fixation point (for example, the fixation point G30 in the example of FIG. 7) as the start position.
  • the animation may cover a large area in the user's view.
  • the gaze point G40 of the user is located on the boundary surface B40 of the display 4. Therefore, the attraction area specifying unit 122 can specify the attraction area R40 along the edge E40 detected in the vicinity of the gaze point G40.
  • the display control unit 126 arranges virtual objects V11 to V13 along the edge E40 on the opposite side to the boundary surface B40 as shown in FIG. According to such a configuration, it is possible to arrange the virtual objects V11 to V13 at positions which are easy for the user to notice and not easily lose sight while avoiding obstructing the user.
  • the virtual object is superimposed on the image of the real space obtained by the photographing of the outward camera 110 to display the same effect as the above-described effect. Is possible. Further, even when the display unit 13 is a projector, it is possible to realize the same effect as the above-described effect by projecting the virtual object in the real space.
  • the field of view of the user may be a virtual space, and the virtual space may be displayed on the non-transmissive display unit 13.
  • the display control unit 126 executes display control related to the virtual space.
  • a virtual object already placed in the virtual space may be used instead of the real object described above.
  • the attraction area may be specified on the boundary surface of the virtual object already placed, and a new virtual object may be disposed in the attraction area.
  • FIG. 9 is a block diagram showing an example of the hardware configuration of the information processing apparatus 1 according to the present embodiment.
  • Information processing by the information processing apparatus 1 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 1 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903 and a host bus 904a.
  • the information processing apparatus 1 further includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 1 may have a processing circuit such as a DSP or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, the control unit 12.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 1. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 1 can input various data to the information processing apparatus 1 and instruct processing operations by operating the input device 906.
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing device 1.
  • the display device visually displays the results obtained by the various processes performed by the information processing device 1 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the output device 907 may form, for example, the display unit 13.
  • the storage device 908 is a device for storing data formed as an example of a storage unit of the information processing device 1.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 17.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 1.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication device 913 may form, for example, the communication unit 15.
  • the sensor 915 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 1 such as the attitude of the information processing apparatus 1 and the moving speed, and information on the environment around the information processing apparatus 1 such as brightness and noise around the information processing apparatus 1.
  • sensor 915 may include a GPS sensor that receives GPS signals and measures latitude, longitude and altitude of the device.
  • the sensor 915 may form, for example, the sensor unit 11.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • a computer program for realizing each function of the information processing apparatus 1 according to the present embodiment as described above, and to implement it on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • steps in the above embodiment do not necessarily have to be processed chronologically in the order described as the flowchart diagram.
  • each step in the process of the above embodiment may be processed in an order different from the order described as the flowchart diagram, or may be processed in parallel.
  • An attraction area identification unit that identifies an attraction area that is relatively likely to attract the user's visual attention within the field of view of the user;
  • a display control unit that executes display control of arranging a virtual object in the attraction area;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the attraction area identification unit identifies the attraction area on a boundary surface detected from within the field of view. (3) The information processing apparatus according to (2), wherein the attraction area identification unit identifies the attraction area based on an edge of the boundary surface detected from within the field of view. (4) The information processing apparatus according to (3), wherein the attraction area identification unit identifies the attraction area based further on a gaze point of the user.
  • the information processing apparatus (4), wherein the attraction area identification unit identifies the attraction area on the boundary surface at which the user's gaze point is located. (6) The information processing apparatus according to (5), wherein the attraction area identification unit identifies an area along the detected edge as the attraction area when the edge is detected in the vicinity of the gaze point. (7) The information processing apparatus according to (6), wherein the display control unit arranges the virtual object in the vicinity of the fixation point when the edge is not detected in the vicinity of the fixation point of the user. (8) The display control unit arranges the virtual object in addition to the boundary surface on which the gaze point is located, when the gaze time of the user is larger than a predetermined threshold value. The information processing apparatus according to one item.
  • the information processing apparatus (9) The information processing apparatus according to any one of (2) to (8), wherein the attraction area identification unit identifies the attraction area based on color information in the field of view. (10) The display control unit identifies, for each of the boundary surfaces, an attraction score indicating the user's visual attention to the attraction, and identifies the attraction region on the boundary surface having the highest attraction score.
  • the information processing apparatus according to any one of (2) to (9).
  • (11) The information processing apparatus according to any one of (1) to (10), wherein the display control unit arranges the virtual object in an arrangement direction according to a shape of the attraction area.
  • (12) The information processing apparatus according to any one of (1) to (11), wherein the display control unit displays an animation based on the attraction area.
  • the field of view of the user is real space, The information processing apparatus according to any one of (1) to (12), wherein the display control unit executes the display control related to a transmissive display unit.
  • the field of view of the user is a virtual space, The information processing apparatus according to any one of (1) to (13), wherein the display control unit executes the display control related to a virtual space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する誘目領域特定部と、前記誘目領域に仮想オブジェクトを配置する表示制御を実行する表示制御部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、実空間に仮想オブジェクトを重畳してユーザに提示する拡張現実（ＡＲ：Augmented　Reality）と呼ばれる技術が注目されている。例えば、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有するヘッドマウントディスプレイ（Head Mounted Display：以下、「ＨＭＤ」とも称する）や、プロジェクタを用いて、実空間に仮想オブジェクトを重畳表示させることが可能である。
　このようなＡＲ技術において仮想オブジェクトは、例えば実空間の情報に基づいて配置され得る。例えば下記特許文献１には、実空間の位置情報や実空間に存在する実オブジェクトを基準にして仮想オブジェクトを配置する技術が開示されている。
国際公開第２０１４／１６２８２３号
　しかし、このように実空間の情報に基づいて仮想オブジェクトが配置される場合、ユーザにとって望ましい位置に仮想オブジェクトが表示されるとは限らず、例えばユーザが気づきにくい位置に仮想オブジェクトが表示されてしまう場合があった。
　そこで、本開示では、ユーザが気づきやすい配置で仮想オブジェクトを表示させることが可能な、新規かつ改良された、情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する誘目領域特定部と、前記誘目領域に仮想オブジェクトを配置する表示制御を実行する表示制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定することと、前記誘目領域に仮想オブジェクトを配置する表示制御をプロセッサが実行することと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータに、ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する機能と前記誘目領域に仮想オブジェクトを配置する表示制御を実行する機能と、を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、ユーザが気づきやすい配置で仮想オブジェクトを表示させることが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理装置１の概要を説明する図である。 同実施形態に係る情報処理装置１の構成例を示すブロック図である。 同実施形態に係る情報処理装置１の動作例を示すフローチャート図である。 図３に示したステップＳ４０の処理をより詳細に示すフローチャート図である。 仮想オブジェクトが注視点近傍のエッジに沿う誘目領域に配置される例を説明するための説明図である。 仮想オブジェクトが誘目領域に配置される他の例を説明するための説明図である。 同実施形態に係る変形例１を説明するための説明図である。 同実施形態に係る変形例２を説明するための説明図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．概要＞＞
　＜＜２．構成＞＞
　＜＜３．動作＞＞
　＜＜４．仮想オブジェクトが誘目領域に配置される具体例＞＞
　　＜４－１．具体例１＞
　　＜４－２．具体例２＞
　＜＜５．変形例＞＞
　　＜５－１．変形例１＞
　　＜５－２．変形例２＞
　　＜５－３．変形例３＞
　＜＜６．ハードウェア構成例＞＞
　＜＜７．むすび＞＞
　＜＜１．概要＞＞
　まず、本開示の一実施形態による情報処理装置の概要について説明する。図１は、本実施形態による情報処理装置１の概要を説明する図である。図１に示すように、本実施形態による情報処理装置１は、例えばユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。装着時にユーザＵの眼前に位置するメガネレンズ部分に相当する表示部１３は、透過型または非透過型であってもよい。情報処理装置１は、表示部１３に仮想オブジェクトを表示することで、ユーザＵの視界内に仮想オブジェクトを提示することができる。また、情報処理装置１の一例であるＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。例えばＨＭＤは、片方の眼に画像を提示する表示部１３が設けられた片目タイプのものであってもよい。
　また、情報処理装置１には、装着時にユーザＵの視線方向、すなわちユーザの視界を撮像する外向きカメラ１１０が設けられている。さらに、図１に図示しないが、情報処理装置１には、装着時にユーザＵの眼を撮像する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられている。外向きカメラ１１０、および内向きカメラは、それぞれ複数設けられていてもよい。
　なお情報処理装置１の形状は図１に示す例に限定されない。例えば情報処理装置１は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。また、情報処理装置１は、リストバンド型（例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む）、ヘッドフォン型（ディスプレイなし）、またはネックフォン型（首掛けタイプ。ディスプレイがある場合または無い場合を含む）等のウェアラブル装置により実現されてもよい。
　ここで、例えば表示部１３が透過型である場合には、情報処理装置１は、外向きカメラ１１０の撮影により得られる実空間（ユーザの視界の一例）の情報に基づいて、仮想オブジェクトを実空間に配置する表示制御を実行することが可能である。
　ここで、仮想オブジェクトが配置される位置によっては、ユーザＵが仮想オブジェクトに気づきにくいことがあった。また、仮想オブジェクトが操作入力に係る仮想オブジェクトである場合、仮想オブジェクトが配置される位置によっては、ユーザＵが仮想オブジェクトまでの距離感をつかみにくく、操作入力が困難であったり、誤操作の原因となったりする恐れがあった。
　そこで、本実施形態に係る情報処理装置１は、ユーザが気づきやすく、距離感をつかみやすいような仮想オブジェクトの配置を実現する。具体的には、本実施形態に係る情報処理装置１は、ユーザの視界内（実空間の一部）で、相対的にユーザの視覚的な注意を誘引しやすい誘目領域に仮想オブジェクトを配置する表示制御を実行する。
　＜＜２．構成＞＞
　以上、本実施形態に係る情報処理装置１の概要について説明した。続いて、本実施形態に係る情報処理装置１の構成について図２を参照して説明する。図２は、本実施形態に係る情報処理装置１の構成例を示すブロック図である。図２に示すように、情報処理装置１は、センサ部１１、制御部１２、表示部１３、スピーカー１４、通信部１５、操作入力部１６、および記憶部１７を有する。
　（センサ部１１）
　センサ部１１は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部１１は、外向きカメラ１１０、内向きカメラ１１１、マイク１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、位置測位部１１６、および生体センサ１１７を含む。なおここで挙げるセンサ部１１の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
　外向きカメラ１１０および内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
　なお、本実施形態において、外向きカメラ１１０は、実空間におけるユーザの視界に相当する領域を撮像するように、画角、及び向きが設定されることが望ましい。
　マイク１１２は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１２に出力する。
　ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
　加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
　方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
　位置測位部１１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１１６は、ＧＰＳ（Global　Positioning　System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１２に出力する。また、位置測位部１１６は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　生体センサ１１７は、ユーザの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度））などを検知し得る。
　（制御部１２）
　制御部１２は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、本実施形態による制御部１２は、図２に示すように、認識部１２０、誘目領域特定部１２２、配置設定取得部１２４、及び表示制御部１２６として機能する。
　認識部１２０は、センサ部１１によりセンシングされた各種センサ情報を用いてユーザに関する情報、または周辺状況に関する情報の認識（検出を含む）を行う機能を有する。
　例えば、認識部１２０は、ユーザに関する情報として、ユーザの頭部の位置と姿勢（身体に対する顔の向きまたは傾きを含む）、ユーザの視線、ユーザの注視点等を認識してもよい。認識部１２０は、ユーザの視線に基づき、ユーザの注視点を検出してもよい。例えば認識部１２０は、所定時間以上、一定範囲にユーザの視線が滞留していた場合に、当該ユーザの視線の先の点（三次元位置）を注視点として検出してもよい。なお、認識部１２０によるユーザの注視点の検出方法は係る例に限定されず、周知の様々な方法で行われてよい。
　また、認識部１２０は、周辺状況に関する情報として、ユーザの視界内の三次元形状を認識してもよい。例えば、外向きカメラ１１０が複数設けられている場合、認識部１２０は、視差情報によりデプス画像（距離画像）を得て、ユーザの視界内の三次元形状を認識してよい。また、外向きカメラ１１０が１つしか設けられていない場合であっても、認識部１２０は、時系列的に取得された画像から、ユーザの視界内の三次元形状を認識し得る。
　また、認識部１２０は、周辺状況に関する情報として、ユーザの視界内から実オブジェクトの境界面を検出してもよい。なお、本明細書において境界面との表現は、例えば実オブジェクトと他の実オブジェクトとの間の面、または実オブジェクトが存在しない空間と実オブジェクトとの間の面等を含む表現として用いられる。また、境界面は曲面であってもよい。
　認識部１２０は、外向きカメラ１１０により取得された画像から境界面を検出してもよいし、認識されたユーザの視界内の三次元形状に基づいて、境界面を検出してもよい。例えばユーザの視界内の三次元形状が点群データとして表現されている場合、認識部１２０は、点群データをクラスタリングすることで、境界面を検出し得る。なお、認識部１２０による境界面の検出方法は係る例に限定されず、周知の様々な方法で行われてよい。
　認識部１２０は、認識されたユーザに関する情報、及び周辺状況に関する情報を誘目領域特定部１２２、及び表示制御部１２６へ提供する。
　誘目領域特定部１２２は、ユーザの視界内で、相対的に当該ユーザの視覚的な注意を誘引しやすい誘目領域を特定する。本明細書において、視覚的な注意を誘引しやすいとは、人目を引きつけやすい視覚的特徴を有していることを意味すると見做されてもよい。誘目領域特定部１２２は、例えば認識部１２０により認識された情報に基づいて誘目領域を特定してもよい。なお、誘目領域特定部１２２が特定した誘目領域は、後述する表示制御部１２６へ提供され、表示制御部１２６は、当該誘目領域に仮想オブジェクトを配置する表示制御を実行する。
　誘目領域特定部１２２は、例えば認識部１２０により視界内から検出された境界面において、誘目領域を特定してもよい。後述する表示制御部１２６は、誘目領域に仮想オブジェクトを配置する表示制御を実行するため、係る構成により、境界面に仮想オブジェクトを配置することが可能である。そのため、係る構成により、実オブジェクトが存在しない空間に仮想オブジェクトが配置される場合と比較して、ユーザは仮想オブジェクトまでの距離感をつかみやすくなる。
　誘目領域特定部１２２は、視界内から検出される境界面のエッジに基づいて、誘目領域を特定してもよい。誘目領域特定部１２２は、例えば認識部１２０により検出された境界面の端の部分をエッジとして検出し得る。誘目領域特定部１２２により検出されるエッジは、直線状であってもよいし、曲線状であってもよい。誘目領域特定部１２２は、外向きカメラ１１０により取得された画像からエッジを検出してもよいし、境界面の三次元形状に基づいて、エッジを検出してもよい。エッジはユーザにとってわかりやすく、見失いにくいため、誘目領域がエッジに基づいて特定されることで、誘目領域に配置される仮想オブジェクトをユーザが見失いにくい、という効果がある。
　誘目領域特定部１２２は、例えば、エッジに沿う領域を誘目領域として特定してもよいし、エッジと後述する他の要素と組み合わせに基づいて誘目領域を特定してもよい。
　誘目領域特定部１２２は、認識部１２０により検出されるユーザの注視点に基づいて、誘目領域を特定してもよい。例えば、誘目領域特定部１２２は、ユーザの注視点が、ある境界面上に検出された場合、当該注視点が位置する当該境界面において誘目領域を特定してもよい。係る構成によれば、ユーザが注視している境界面に仮想オブジェクトを配置することが可能であり、ユーザが注視していない境界面に仮想オブジェクトが配置される場合と比較して、ユーザは仮想オブジェクトに気づきやすくなる。
　また、誘目領域特定部１２２は、ユーザの注視点が、ある境界面上に検出された場合、当該注視点が位置する当該境界面を対象としてエッジを検出してもよい。そして、誘目領域特定部１２２は、当該注視点の近傍にエッジが検出された場合に、検出された当該エッジに沿う、当該境界面上の領域を誘目領域として特定してもよい。なお、当該注視点の近傍に複数のエッジが検出された場合、誘目領域特定部１２２は、当該注視点から最も近いエッジに沿う当該境界面上の領域を誘目領域として特定してもよい。係る構成によれば、ユーザの注視点に近く、かつ相対的に当該ユーザの視覚的な注意を誘引しやすい領域に仮想オブジェクトを配置することが可能であり、ユーザは仮想オブジェクトにより気づきやすくなる。
　なお、誘目領域特定部１２２は、ユーザの注視点が、ある境界面上に検出されたが、当該注視点の近傍にエッジが検出されなかった場合には誘目領域を特定しなくてもよい。
　また、誘目領域特定部１２２は、注視点が検出されなかった場合、検出された注視点がいずれの境界面にも位置しない場合、または注視点が位置する境界面が好適な境界面でない場合には、以下に説明する注視点を用いない方法で誘目領域を特定してもよい。なお、境界面が好適な境界面でない場合とは、例えば当該境界面上で誘目領域を特定しても、当該誘目領域に仮想オブジェクトを配置するのが困難な場合であり、例えば当該境界面の面積が所定の閾値以下の場合であってもよい。
　例えば、誘目領域特定部１２２は、視界内の色情報に基づいて、誘目領域を特定してもよい。視界内の色情報は、例えば外向きカメラ１１０により取得された画像から取得され得る。
　例えば、誘目領域特定部１２２は、色情報に基づいて、ユーザの視覚的な注意の誘引しやすさを示す誘目スコアを特定し、当該誘目スコアに基づいて誘目領域を特定してもよい。色情報に基づく誘目スコアの特定方法は特に限定されないが、例えば、誘目領域特定部１２２は、背景の色、色の大きさ、色の強さ、色の持続時間、色の動き等に基づいて誘目スコアを特定してもよい。また、誘目領域特定部１２２は、無彩色よりも有彩色の方が誘目スコアが高くなるように誘目スコアを特定してもよい。また、誘目領域特定部１２２は、黒色に近い色よりも白色に近い色の方が誘目スコアが高くなるように誘目スコアを特定してもよい。また、誘目領域特定部１２２は、寒色系の色よりも暖色系の色の方が誘目スコアが高くなるように誘目スコアを特定してもよい。また、誘目領域特定部１２２は、低彩度色よりも高彩度色の方が誘目スコアが高くなるように誘目スコアを特定してもよい。
　なお、誘目領域特定部１２２による誘目スコアの特定方法は、色情報に基づく特定方法に限定されない。例えば、誘目領域特定部１２２は、上述したエッジに基づいて誘目スコアを特定してもよく、エッジに沿った領域の誘目スコアが高くなるように誘目スコアを特定してもよい。上述した色情報に基づく特定方法と、エッジに基づく特定方法の組み合わせによって誘目スコアが特定されてもよい。
　例えば、誘目領域特定部１２２は、認識部１２０により検出された境界面ごとに、上述した誘目スコアを特定し、最も高い誘目スコアを有する境界面において、誘目領域を特定してもよい。係る構成によれば、ユーザの視界内で最も当該ユーザの視覚的な注意を誘引しやすい境界面に仮想オブジェクトを配置することが可能であり、ユーザは仮想オブジェクトにより気づきやすくなる。
　また、誘目領域特定部１２２は、最も高い誘目スコアを有する当該境界面上の各位置ごとに誘目スコアを特定し、当該境界面上の各位置ごとに特定された誘目スコアに基づいて誘目領域を特定してもよい。なお、当該境界面上の各位置ごとに特定された誘目スコアに基づく誘目領域の特定方法は特に限定されない。または、誘目領域特定部１２２は、エッジに沿った領域と、色情報に基づく誘目スコアが最も高い点を中心とした所定範囲との重複領域を誘目領域として特定してもよい。例えば、誘目領域特定部１２２は、誘目スコアが所定の閾値以上である領域と、最も誘目スコアの高い点を中心とした所定範囲との重複領域を誘目領域として特定してもよい。
　なお、誘目領域特定部１２２は、最も高い誘目スコアを有する境界面の誘目スコアが所定の閾値以下である場合や、当該境界面上の各位置ごとの誘目スコアが、全て所定の閾値以下である場合には、誘目領域を特定しなくてもよい。
　配置設定取得部１２４は、予め定められた仮想オブジェクトの配置に係る設定の情報（以下、配置設定と呼称する）を取得する。配置設定取得部１２４は、例えば配置設定を例えば記憶部１７から取得してもよいし、通信部１５を介して他の装置から取得してもよい。配置設定取得部１２４は、取得した配置設定を表示制御部１２６へ提供する。
　配置設定は、例えば仮想オブジェクトの形状、数、並び順、大きさ、配置方向、大きさの変更可否、配置方向の変形可否、等の情報を含んでもよい。
　表示制御部１２６は、表示部１３に係る表示制御を実行し、例えば配置設定に基づいて仮想オブジェクトをユーザの視界内に配置する。例えば、表示制御部１２６は、誘目領域特定部１２２により誘目領域が特定された場合には、誘目領域に仮想オブジェクトを配置する表示制御を実行してよい。
　表示制御部１２６は、誘目領域に仮想オブジェクトを配置する場合、誘目領域に応じて、仮想オブジェクトの大きさを変更したり、仮想オブジェクトの配置方向を変形したりしてもよい。例えば、表示制御部１２６は、誘目領域に収まるように仮想オブジェクトの大きさを変更してもよい。また、誘目領域の形状に応じて、仮想オブジェクトの配置方向を変形し、誘目領域の形状に応じた配置方向で仮想オブジェクトを配置してもよい。例えば、上述したようにエッジに沿う領域が誘目領域として特定された場合、仮想オブジェクトがエッジに沿うように配置されてもよい。
　なお、表示制御部１２６は、配置設定に含まれる仮想オブジェクトの大きさの変更可否の情報、または仮想オブジェクトの配置方向の変形可否の情報に従って、仮想オブジェクトを配置してもよい。例えば、仮想オブジェクトの大きさが変更不可である場合には、表示制御部１２６は仮想オブジェクトの大きさを変更せず、例えば誘目領域だけでなく、誘目領域の外側にも仮想オブジェクトを配置してもよい。また、仮想オブジェクトの配置方向が変形不可である場合には、表示制御部１２６は仮想オブジェクトの配置方向を変形せず、配置設定に基づき予め設定された配置方向で、仮想オブジェクトを配置してもよい。
　また、表示制御部１２６は、誘目領域特定部１２２により誘目領域が特定されなかった場合にも仮想オブジェクトを配置してよい。例えば、表示制御部１２６は、ユーザの注視点が、ある境界面上に検出されたが、当該注視点の近傍にエッジが検出されなかったことで誘目領域が特定されなかった場合に、当該注視点の近傍に仮想オブジェクトを配置してもよい。また、表示制御部１２６は、誘目領域特定部１２２により誘目領域が特定されなかった他の場合に、ユーザの目の前（例えば視界の中心近傍）に仮想オブジェクトを配置してもよい。係る構成によれば、誘目領域が特定されなかった場合であっても、ユーザは仮想オブジェクトに気づきやすくなる。
　（表示部１３）
　表示部１３は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置等により実現される。また、表示部１３は、透過型、半透過型、または非透過型であってもよい。
　（スピーカー１４）
　スピーカー１４は、制御部１２の制御に従って、音声信号を再生する。
　（通信部１５）
　通信部１５は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１５は、例えば有線ＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
　（操作入力部１６）
　操作入力部１６は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
　（記憶部１７）
　記憶部１７は、上述した制御部１２が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部１７には、仮想オブジェクトに関する情報（配置設定を含んでもよい）が記憶されている。
　以上、本実施形態による情報処理装置１の構成について具体的に説明したが、本実施形態による情報処理装置１の構成は図２に示す例に限定されない。例えば情報処理装置１の制御部１２が有する少なくとも一部の機能が、通信部１５を介して接続される他の装置に存在してもよい。
　＜＜３．動作＞＞
　以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る情報処理装置１の動作について図３、図４を参照して説明する。図３は本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
　図３に示すように、まず配置設定取得部１２４が、配置設定を記憶部１７から、または通信部１５を介して他の装置から取得する（Ｓ１０）。
　続いて、センサ部１１によりセンシングが行われ（Ｓ２０）、センシングされた各種センサ情報を用いてユーザに関する情報、または周辺状況に関する情報の認識を行う（Ｓ３０）。
　続いて、誘目領域特定部１２２と表示制御部１２６により、仮想オブジェクトの配置が決定される（Ｓ４０）。以下では、ステップＳ４０の処理について、図４を参照してより詳細に説明する。図４は、図３に示したステップＳ４０の処理をより詳細に示すフローチャート図である。
　注視点が検出され、かつ注視点が好適な境界面上に位置する場合（Ｓ４０２においてＹＥＳ）、誘目領域特定部１２２は、当該境界面においてエッジ検出を行う（Ｓ４０４）。注視点の近傍にエッジが検出された場合（Ｓ４０６においてＹＥＳ）、誘目領域特定部１２２は、検出された注視点近傍のエッジに沿う領域を誘目領域として特定し、表示制御部１２６は当該誘目領域に仮想オブジェクトを配置することを決定する（Ｓ４０８）。
　一方、注視点の近傍にエッジが検出されなかった場合（Ｓ４０６においてＮＯ）、表示制御部１２６は、当該注視点の近傍に仮想オブジェクトを配置することを決定する（Ｓ４１０）。
　注視点が検出なかった場合、または注視点が好適な境界面上に位置しなかった場合（Ｓ４０２においてＮＯ）、誘目領域特定部１２２は、注視点を用いない方法で誘目領域を特定する（Ｓ４１２）。ステップＳ４１２において、誘目領域特定部１２２は、例えば色情報やエッジに基づいて誘目領域を特定してもよい。
　ステップＳ４１２において誘目領域が特定された場合（Ｓ４１４においてＹＥＳ）、表示制御部１２６は当該誘目領域に仮想オブジェクトを配置することを決定する（Ｓ４１６）。一方、ステップＳ４１２において誘目領域が特定されなかった場合（Ｓ４１４においてＮＯ）、ユーザの目の前（例えば視界の中心近傍）に仮想オブジェクトを配置することを決定する（Ｓ４１８）。
　図３に戻って説明を続ける。表示制御部１２６は、ステップＳ４０で決定されたように、仮想オブジェクトを配置する表示制御を実行して、表示部１３に仮想オブジェクトを表示させる（Ｓ５０）。
　＜＜４．仮想オブジェクトが誘目領域に配置される具体例＞＞
　以上、本実施形態に係る情報処理装置１の動作について説明した。続いて、本実施形態において、仮想オブジェクトが誘目領域に配置される場合の例について、図５、図６を参照して具体的に説明する。図５、図６において、ユーザＵは図１に示したようなメガネ型のＨＭＤである情報処理装置１を装着している。また、ユーザＵの眼前に位置する情報処理装置１の表示部１３は透過型であり、表示部１３に表示される仮想オブジェクトＶ１１～Ｖ１３は、実空間に存在するかのようにユーザＵに視認される。
　　＜４－１．具体例１＞
　図５は、仮想オブジェクトが注視点近傍のエッジに沿う誘目領域に配置される例を説明するための説明図である。図５に示す例では、机３の境界面Ｂ１０上にユーザＵの注視点Ｇ１０が位置している。そして、誘目領域特定部１２２により、注視点Ｇ１０の近傍のエッジＥ１０に沿う誘目領域Ｒ１０が特定され、誘目領域Ｒ１０に仮想オブジェクトＶ１１～Ｖ１３が配置されている。
　ユーザＵの注視点Ｇ１０の近傍に存在するエッジＥ１０に沿って仮想オブジェクトＶ１１～Ｖ１３が配置されるため、ユーザＵは仮想オブジェクトＶ１１～Ｖ１３に気づきやすく、距離感がつかみやすいと共に、見失いにくい。
　　＜４－２．具体例２＞
　図６は、仮想オブジェクトが誘目領域に配置される他の例を説明するための説明図である。図６に示す例では、ユーザＵの視界内に机３Ａと机３Ｂが含まれる。ここで、認識部１２０が注視点を検出することができなかった、または検出された注視点が好適な境界面上に位置していなかった場合、誘目領域特定部１２２は注視点を用いずに誘目領域を特定する。
　図６に示す例では、誘目領域特定部１２２が境界面ごとに誘目スコアを特定した結果、机３Ａの境界面Ｂ２０が最も高い誘目スコアを有していたため、誘目領域特定部１２２により、境界面Ｂ２０において、誘目領域Ｒ２０が特定されている。そして、誘目領域Ｒ２０に仮想オブジェクトＶ１１～Ｖ１３が配置されている。
　境界面Ｂ２０において、ユーザＵの視覚的注意を誘引しやすい誘目領域Ｒ２０に仮想オブジェクトＶ１１～Ｖ１３が配置されるため、ユーザＵは仮想オブジェクトＶ１１～Ｖ１３に気づきやすく、距離感がつかみやすい。また、誘目領域Ｒ２０がエッジに基づいて特定される場合には、エッジの近傍に誘目領域Ｒ２０が特定されて、ユーザＵは仮想オブジェクトＶ１１～Ｖ１３を見失いにくい。
　＜＜５．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
　　＜５－１．変形例１＞
　表示制御部１２６が表示させる仮想オブジェクトは、静止した仮想オブジェクトに限定されず、アニメーションを含んでもよく、係る場合、表示制御部１２６は誘目領域に基づいてアニメーションを表示させてもよい。係る例について、変形例１として図７を参照して説明する。図７は、本変形例を説明するための説明図である。
　図７に示す例では、境界面である壁Ｗ３０と境界面である床Ｆ３０の間のエッジに沿う誘目領域Ｒ３０が特定されている。そして、表示制御部１２６は誘目領域Ｒ３０に仮想オブジェクトＶ１１～Ｖ１３を配置している。さらに表示制御部１２６は、誘目領域Ｒ３０に点滅するアニメーションである補助的な仮想オブジェクトＶ３０を表示させている。係る構成により、ユーザはより仮想オブジェクトＶ１１～Ｖ１３に気づきやすくなる。
　なお、誘目領域に基づくアニメーションの表示は係る例に限定されない。例えば、表示制御部１２６は誘目領域内のある位置を開始位置としたアニメーションを表示させてもよい。
　ユーザに仮想オブジェクトを気づかせるための補助的な仮想オブジェクトとして、注視点（例えば図７の例では注視点Ｇ３０）の近傍を開始位置として、気づかせたい仮想オブジェクトへ向かうアニメーションを表示させることも考えられる。しかし、気づかせたい仮想オブジェクトと注視点との距離が大きい場合にはユーザの視界のうち大きな領域をアニメーションが覆ってしまう恐れがある。一方、誘目領域内のある位置を開始位置としたアニメーションを表示させる場合には、ユーザの視界を覆わないような比較的小さいアニメーションであっても、ユーザに仮想オブジェクトを気付かせることが可能となる。
　　＜５－２．変形例２＞
　上記では、注視点が位置する境界面において特定された誘目領域に仮想オブジェクトが配置される例を説明したが、本技術は係る例に限定されない。例えば、表示制御部１２６は、ユーザの注視時間が所定の閾値より大きい場合に、注視点が位置する境界面以外に、仮想オブジェクトを配置してもよい。係る例について、変形例２として図８を参照して説明する。図８は、本変形例を説明するための説明図である。
　図８に示す例では、ディスプレイ４の境界面Ｂ４０上にユーザの注視点Ｇ４０が位置している。そのため、誘目領域特定部１２２は、注視点Ｇ４０の近傍に検出されたエッジＥ４０に沿う誘目領域Ｒ４０を特定することが可能である。
　しかし、ユーザの注視時間が大きい場合には、ユーザは当該ディスプレイ４を注視することに集中しており、ディスプレイ４の境界面Ｂ４０における誘目領域Ｒ４０に仮想オブジェクトを配置してしまうと、ユーザの妨げとなる恐れがある。そこで、ユーザの注視時間が大きい場合には、表示制御部１２６は、誘目領域Ｒ４０ではなく、境界面Ｂ４０以外の場所に仮想オブジェクトを表示することが有効であろう。例えば、表示制御部１２６はユーザの注視時間が大きい場合に、図８に示すように、境界面Ｂ４０とは反対側に、エッジＥ４０に沿うように仮想オブジェクトＶ１１～Ｖ１３を配置する。係る構成により、ユーザの妨げとなることを避けつつ、ユーザが気づきやすく見失いにくい位置に仮想オブジェクトＶ１１～Ｖ１３を配置することが可能である。
　　＜５－３．変形例３＞
　上記では、ユーザの視界が実空間であり、透過型の表示部に仮想オブジェクトが配置される例を説明したが、本技術は係る例に限定されない。
　例えば、表示部１３が非透過型である場合にも、外向きカメラ１１０の撮影により得られる実空間の画像に仮想オブジェクトを重畳させて表示させることで、上述した効果と同様の効果を得ることが可能である。また、表示部１３がプロジェクタである場合にも、実空間に仮想オブジェクトを投影することで上述した効果と同様の効果を実現することが可能である。
　また、ユーザの視界が仮想空間であってもよく、当該仮想空間は、非透過型の表示部１３に表示されてもよい。係る場合、表示制御部１２６は、当該仮想空間に係る表示制御を実行する。
　係る場合には、上述した実オブジェクトの代わりに、仮想空間に既に配置された仮想オブジェクトが用いられ得る。そして、例えば既に配置された仮想オブジェクトの境界面において誘目領域が特定され、当該誘目領域に新たな仮想オブジェクトが配置され得る。
　＜＜６．ハードウェア構成＞＞
　以上、本開示の実施形態を説明した。最後に、図９を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図９は、本実施形態に係る情報処理装置１のハードウェア構成の一例を示すブロック図である。本実施形態に係る情報処理装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図９に示すように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置１は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置１は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１２を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置１のユーザは、この入力装置９０６を操作することにより、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１３を形成し得る。
　ストレージ装置９０８は、情報処理装置１の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１７を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１５を形成し得る。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置１の姿勢、移動速度等、情報処理装置１自身の状態に関する情報や、情報処理装置１の周辺の明るさや騒音等、情報処理装置１の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１１を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置１の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜７．むすび＞＞
　以上説明したように、本開示の実施形態によれば、ユーザが気づきやすい配置で仮想オブジェクトを表示させることが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する誘目領域特定部と、
　前記誘目領域に仮想オブジェクトを配置する表示制御を実行する表示制御部と、
　を備える、情報処理装置。
（２）
　前記誘目領域特定部は、前記視界内から検出される境界面において前記誘目領域を特定する、前記（１）に記載の情報処理装置。
（３）
　前記誘目領域特定部は、前記視界内から検出される前記境界面のエッジに基づいて、前記誘目領域を特定する、前記（２）に記載の情報処理装置。
（４）
　前記誘目領域特定部は、前記ユーザの注視点にさらに基づいて、前記誘目領域を特定する、前記（３）に記載の情報処理装置。
（５）
　前記誘目領域特定部は、前記ユーザの注視点が位置する前記境界面において前記誘目領域を特定する、前記（４）に記載の情報処理装置。
（６）
　前記誘目領域特定部は、前記注視点の近傍に前記エッジが検出された場合に、検出された前記エッジに沿う領域を前記誘目領域として特定する、前記（５）に記載の情報処理装置。
（７）
　前記表示制御部は、前記ユーザの注視点の近傍に前記エッジが検出されなかった場合に、前記注視点の近傍に前記仮想オブジェクトを配置する、前記（６）に記載の情報処理装置。
（８）
　前記表示制御部は、前記ユーザの注視時間が所定の閾値より大きい場合に、前記注視点が位置する前記境界面以外に、前記仮想オブジェクトを配置する、前記（４）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記誘目領域特定部は、前記視界内の色情報に基づいて、前記誘目領域を特定する、前記（２）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記表示制御部は、前記境界面ごとに、前記ユーザの視覚的な注意の誘引しやすさを示す誘目スコアを特定し、最も高い前記誘目スコアを有する前記境界面において、前記誘目領域を特定する、前記（２）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記表示制御部は、前記誘目領域の形状に応じた配置方向で前記仮想オブジェクトを配置する、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記表示制御部は、前記誘目領域に基づいてアニメーションを表示させる、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記ユーザの視界は実空間であり、
　前記表示制御部は、透過型の表示部に係る前記表示制御を実行する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記ユーザの視界は仮想空間であり、
　前記表示制御部は、仮想空間に係る前記表示制御を実行する、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定することと、
　前記誘目領域に仮想オブジェクトを配置する表示制御をプロセッサが実行することと、
　を含む、情報処理方法。
（１６）
　コンピュータに、
　ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する機能と
　前記誘目領域に仮想オブジェクトを配置する表示制御を実行する機能と、
　を実現させるための、プログラム。
　１　情報処理装置
　１１　センサ部
　１２　制御部
　１３　表示部
　１４　スピーカー
　１５　通信部
　１６　操作入力部
　１７　記憶部
　１１０　外向きカメラ
　１１１　内向きカメラ
　１１２　マイク
　１１３　ジャイロセンサ
　１１４　加速度センサ
　１１５　方位センサ
　１１６　位置測位部
　１１７　生体センサ
　１２０　認識部
　１２２　誘目領域特定部
　１２４　配置設定取得部
　１２６　表示制御部

Claims (16)

  1. 　ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する誘目領域特定部と、
    　前記誘目領域に仮想オブジェクトを配置する表示制御を実行する表示制御部と、
    　を備える、情報処理装置。
  2. 　前記誘目領域特定部は、前記視界内から検出される境界面において前記誘目領域を特定する、請求項１に記載の情報処理装置。
  3. 　前記誘目領域特定部は、前記視界内から検出される前記境界面のエッジに基づいて、前記誘目領域を特定する、請求項２に記載の情報処理装置。
  4. 　前記誘目領域特定部は、前記ユーザの注視点にさらに基づいて、前記誘目領域を特定する、請求項３に記載の情報処理装置。
  5. 　前記誘目領域特定部は、前記ユーザの注視点が位置する前記境界面において前記誘目領域を特定する、請求項４に記載の情報処理装置。
  6. 　前記誘目領域特定部は、前記注視点の近傍に前記エッジが検出された場合に、検出された前記エッジに沿う領域を前記誘目領域として特定する、請求項５に記載の情報処理装置。
  7. 　前記表示制御部は、前記ユーザの注視点の近傍に前記エッジが検出されなかった場合に、前記注視点の近傍に前記仮想オブジェクトを配置する、請求項６に記載の情報処理装置。
  8. 　前記表示制御部は、前記ユーザの注視時間が所定の閾値より大きい場合に、前記注視点が位置する前記境界面以外に、前記仮想オブジェクトを配置する、請求項４に記載の情報処理装置。
  9. 　前記誘目領域特定部は、前記視界内の色情報に基づいて、前記誘目領域を特定する、請求項２に記載の情報処理装置。
  10. 　前記表示制御部は、前記境界面ごとに、前記ユーザの視覚的な注意の誘引しやすさを示す誘目スコアを特定し、最も高い前記誘目スコアを有する前記境界面において、前記誘目領域を特定する、請求項２に記載の情報処理装置。
  11. 　前記表示制御部は、前記誘目領域の形状に応じた配置方向で前記仮想オブジェクトを配置する、請求項１に記載の情報処理装置。
  12. 　前記表示制御部は、前記誘目領域に基づいてアニメーションを表示させる、請求項１に記載の情報処理装置。
  13. 　前記ユーザの視界は実空間であり、
    　前記表示制御部は、透過型の表示部に係る前記表示制御を実行する、請求項１に記載の情報処理装置。
  14. 　前記ユーザの視界は仮想空間であり、
    　前記表示制御部は、仮想空間に係る前記表示制御を実行する、請求項１に記載の情報処理装置。
  15. 　ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定することと、
    　前記誘目領域に仮想オブジェクトを配置する表示制御をプロセッサが実行することと、
    　を含む、情報処理方法。
  16. 　コンピュータに、
    　ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する機能と
    　前記誘目領域に仮想オブジェクトを配置する表示制御を実行する機能と、
    　を実現させるための、プログラム。
PCT/JP2018/018108 2017-07-27 2018-05-10 情報処理装置、情報処理方法、及びプログラム WO2019021573A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112018003820.3T DE112018003820T5 (de) 2017-07-27 2018-05-10 Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
US16/631,907 US20200159318A1 (en) 2017-07-27 2018-05-10 Information processing device, information processing method, and computer program
CN201880048572.3A CN110998673A (zh) 2017-07-27 2018-05-10 信息处理装置、信息处理方法和计算机程序
KR1020207001258A KR20200031098A (ko) 2017-07-27 2018-05-10 정보 처리 장치, 정보 처리 방법 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-145590 2017-07-27
JP2017145590A JP2019028603A (ja) 2017-07-27 2017-07-27 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2019021573A1 true WO2019021573A1 (ja) 2019-01-31

Family

ID=65040125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018108 WO2019021573A1 (ja) 2017-07-27 2018-05-10 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US20200159318A1 (ja)
JP (1) JP2019028603A (ja)
KR (1) KR20200031098A (ja)
CN (1) CN110998673A (ja)
DE (1) DE112018003820T5 (ja)
WO (1) WO2019021573A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508130B2 (en) 2020-06-13 2022-11-22 Snap Inc. Augmented reality environment enhancement
US11630511B2 (en) 2020-12-31 2023-04-18 Snap Inc. Determining gaze direction to generate augmented reality content

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016508257A (ja) * 2012-12-18 2016-03-17 クアルコム，インコーポレイテッド 拡張現実対応デバイスのためのユーザインターフェース

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2983137B1 (en) 2013-04-04 2019-05-22 Sony Corporation Information processing device, information processing method and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016508257A (ja) * 2012-12-18 2016-03-17 クアルコム，インコーポレイテッド 拡張現実対応デバイスのためのユーザインターフェース

Also Published As

Publication number Publication date
KR20200031098A (ko) 2020-03-23
CN110998673A (zh) 2020-04-10
JP2019028603A (ja) 2019-02-21
DE112018003820T5 (de) 2020-04-09
US20200159318A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
US10342428B2 (en) Monitoring pulse transmissions using radar
JP6813501B2 (ja) 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ
US11037532B2 (en) Information processing apparatus and information processing method
US20200202161A1 (en) Information processing apparatus, information processing method, and program
US20150378433A1 (en) Detecting a primary user of a device
CN110506249A (zh) 信息处理设备、信息处理方法和记录介质
US11487354B2 (en) Information processing apparatus, information processing method, and program
JP7176520B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3759576B1 (en) A high-speed staggered binocular eye tracking systems
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11288869B2 (en) Information processing device, and information processing method
WO2019021573A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200143774A1 (en) Information processing device, information processing method, and computer program
WO2020044916A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US11908055B2 (en) Information processing device, information processing method, and recording medium
US11240482B2 (en) Information processing device, information processing method, and computer program
US20200348749A1 (en) Information processing apparatus, information processing method, and program
US20230196765A1 (en) Software-based user interface element analogues for physical device elements
US20230281938A1 (en) Hardware-agnostic input framework for providing input capabilities at various fidelity levels, and systems and methods of use thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18837170

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18837170

Country of ref document: EP

Kind code of ref document: A1