WO2019176236A1 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2019176236A1
WO2019176236A1 PCT/JP2018/048394 JP2018048394W WO2019176236A1 WO 2019176236 A1 WO2019176236 A1 WO 2019176236A1 JP 2018048394 W JP2018048394 W JP 2018048394W WO 2019176236 A1 WO2019176236 A1 WO 2019176236A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
user
display
display object
control unit
Prior art date
Application number
PCT/JP2018/048394
Other languages
English (en)
French (fr)
Inventor
真里 斎藤
石川　毅
諒 横山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/978,267 priority Critical patent/US11417296B2/en
Priority to JP2020505604A priority patent/JP7259838B2/ja
Priority to CN201880090823.4A priority patent/CN111819518A/zh
Publication of WO2019176236A1 publication Critical patent/WO2019176236A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • AR augmented reality
  • Information presented to the user in AR technology can be visualized using various forms of virtual objects such as text, icons or animations.
  • information presented to the user in the AR technology is usually displayed at a position associated with any real object shown in the input image.
  • Patent Document 1 Regarding control of information presented to a user in such AR technology, for example, in Patent Document 1 below, among a large number of information provided through an AR application, the visibility of desired information for the user is selectively improved. Technology is disclosed.
  • a virtual object can appear naturally like a real object, but the real object is decorated or concealed with AR.
  • the decoration and concealment are emphasized by sudden changes such as high visibility of AR itself or sudden appearance of AR, and you want to intentionally conceal yourself or your real object in your space Not appropriate in case.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a recording medium that can change the display of the real space without being understood by the communication partner.
  • the first for the display object associated with the second real space different from the first real space which is displayed by the display device of the first user existing in the first real space.
  • An information processing apparatus comprising: a determination unit that determines a gaze state or a non-gaze state of one user; and a display control unit that changes an appearance of the display object when the gaze state is changed to the non-gaze state. suggest.
  • An information processing method comprising: determining a gaze state or a non-gaze state of the first user with respect to the image; and changing an appearance of the display object when the gaze state is changed to the non-gaze state. suggest.
  • a display object associated with a second real space different from the first real space which is displayed by a display device of a first user existing in the first real space.
  • a determination unit that determines a gaze state or a non-gaze state of the first user, and a display control unit that changes an appearance of the display object when the gaze state is changed to the non-gaze state.
  • a recording medium on which the program is recorded is proposed.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 1 realizes communication between the user A existing in the space A and the user B existing in the space B.
  • the information processing terminal 10A realized by an HMD (Head Mounted Display) having an input / output function that is worn on the head of the user A, and an HMD that is worn on the head of the user B existing in the space B.
  • Information processing terminal 10B may further include an external camera 12 that captures an image (such as a room state) in a space including the user.
  • the information processing system 1 according to the present embodiment may further include a server 20 connected to the information processing terminal 10A and the information processing terminal 10B via a network.
  • the information processing system 1 acquires information (for example, images and sounds) of the space A by the external camera 12A and various sensors provided in the information processing terminal 10A, and the user B existing in the space B Output from the information processing terminal 10B.
  • the information processing system 1 acquires information (for example, images and sounds) in the space B by using various sensors provided in the external camera 12B and the information processing terminal 10B, and for the user A existing in the space A. Output from the information processing terminal 10A. Thereby, two-way communication between the user A and the user B is realized in real time.
  • HMD broadly means a head-mounted display device, and includes, for example, a shape that covers the head with a mounting unit such as a headband and a spectacle shape that is supported by an ear.
  • a non-transmission type also referred to as an immersive HMD
  • a video that covers the entire field of view with a display unit, but captures the outside state with an outward-facing camera of the HMD and displays it on the display unit
  • Transmission type also referred to as video see-through type HMD
  • optical see-through type in which an image is superimposed and displayed in real space in a state where the outside can be visually recognized by a display unit having optical transparency
  • a projection unit held in front of the user's eyes There is a retinal projection type that projects an image toward the user's eye.
  • the HMD is not limited to presenting an image to both eyes, and may present an image to only one eye.
  • the immersive type further blocks the information of the outside world by covering the ears with headphones or the like, and can enhance the immersive feeling, and is preferably used in VR (Virtual Reality).
  • VR Virtual Reality
  • the see-through type and the retinal projection type are suitable for AR (Augmented Reality), such as when it is possible to live with the HMD worn on a daily basis and to present information about the real object that exists in front of the user's eyes. Used.
  • the HMD that can use the various display methods described above includes an outward camera that images the outside world, an inward camera that images the wearer's face and eyes, and a line-of-sight sensor (infrared sensor, electrooculogram sensor, etc.
  • An inward camera may be used as a line-of-sight sensor), and a gyro / acceleration sensor is provided.
  • the information processing system 1 displays an image of a room including the user A captured by the external camera 12A on the display unit of the information processing terminal 10B of the user B, the user A or the user A sits from the captured image.
  • a predetermined object real object
  • AR superimposed display
  • the object may be a 3D image, for example).
  • the user B can communicate with the user A in a state as if the user A exists in the space B.
  • the information processing system 1 displays the video of the room including the user A captured by the external camera 12A on the non-transparent HMD information processing terminal 10B that the user B wears and covers the user's field of view. It is possible to give an immersive feeling that the user B is in the space A with the user A.
  • FIG. 2 shows an example of another system configuration according to this embodiment.
  • information (image, sound) in the space B is output from the information processing terminal 10 a such as a notebook PC existing in the space A, and the information processing terminal 10 b such as a notebook PC existing in the space B is output.
  • the information (image, sound) of the space A is output.
  • Spatial information can be acquired by various sensors (camera, microphone) provided in the information processing apparatus 10 and the external camera 12a.
  • a camera 111 provided in the information processing terminal 10 can acquire an image of a space including the user.
  • the real objects 40a to 40f existing around the user A included in the image of the space A are displayed.
  • user B does not want to show.
  • the home and the company are connected by video through telework (also referred to as telecommuting, which shows the working mode at home etc. via the Internet, etc.)
  • the video of the home that is a private space shown in the user's background, etc.
  • the appearance of your own room is sent to the company, and there is a risk that things that you do not want to be seen by people at the company, such as messy laundry or children, may be seen.
  • AR technology has been proposed as a conventional technology for displaying a display object in a superimposed manner in the above-described real space, but it is generated for the purpose of drawing out the boundary surface of the AR object or drawing the user's attention. Therefore, it was not suitable for applications such as hiding a part of real space.
  • the AR object suddenly appears in the part to be hidden, it will be noticeable due to the change in display, which is not preferable. As a user, it is desirable that the other party does not realize that it is concealed or decorated.
  • the appearance (appearance) of the display object is (gradually) changed while the communication partner is not paying attention to the display object associated with the real space. It is possible to change the display of the real space (decorate for concealment) without realizing it.
  • the guidance object for guiding the line of sight of the communication partner is intentionally displayed to distract the partner's attention from the display object to be decorated, and then the appearance of the display object is changed. It is also possible to change the display of the real space more surely without being realized by the opponent.
  • the user's line of sight can be recognized based on data sensed by the line-of-sight sensor 113 provided in the HMD. Details of the line-of-sight recognition method will be described later.
  • the line-of-sight can be recognized from the movement of the eyeball using an infrared sensor or an electrooculogram sensor as an example of the line-of-sight sensor 113.
  • the line of sight can be recognized from the face direction, the head direction, and the like using a camera 111 (outward / inward camera), a gyro / acceleration sensor (not shown), or the like provided in the HMD.
  • the user's line of sight is recognized based on data sensed by the line-of-sight sensor 113 provided on the notebook PC, the external camera 12, or the like.
  • the position of the pupil point and the reflection point based on a captured image captured in a state where a reflection point (Purkinje image) is formed on the cornea of the eye by applying infrared rays to a user who is viewing a notebook PC screen
  • the line of sight may be recognized from the relationship.
  • the user's face may be photographed by the camera 111 or the external camera 12 provided in the notebook PC, and the line of sight may be recognized from the face direction.
  • the information processing terminals 10 used by each user who performs two-way communication may not all have the same display method.
  • user A uses a notebook PC
  • user B may use a see-through HMD.
  • an information processing system 1 includes an information processing terminal 10A that controls input / output of information in space A, an information processing terminal 10B that controls input / output of information in space B, and information output in each space. And a server 20 that performs decoration control.
  • the information processing terminal 10 ⁇ / b> A, the information processing terminal 10 ⁇ / b> B, and the server 20 are connected via the network 30.
  • a system configuration that realizes communication between two users, user A and user B is described as an example.
  • the present disclosure is not limited thereto, and a system that realizes communication between three or more parties. It may be a configuration.
  • the information processing terminal 10 includes an input unit 110 and an output unit 130, transmits the spatial information acquired from the input unit 110 to the connection destination, and outputs the spatial information of the connection destination received from the connection destination from the output unit 130. Take control. Spatial information may be transmitted / received via the server 20, may be directly transmitted / received to / from the connection destination, or may be transmitted / received to / from both the server 20 and the connection destination.
  • the information processing terminal 10 may be configured by a plurality of devices.
  • the input unit 110 or the output unit 130 may be realized by a device different from the information processing terminal 10 and connected to the information processing terminal 10 by wire or wireless.
  • the input unit 110 may be realized by a camera device
  • the output unit 130 may be an HMD
  • the information processing terminal 10 may be realized by a stationary dedicated terminal
  • the information processing terminal 10 may be connected to the camera device and the HMD by wire or wirelessly.
  • the server 20 is a server on the cloud, for example, and appropriately controls the decoration of the display object when outputting the information of the partner space to each space.
  • a “display object” is a real object captured in real space, and includes users and objects that exist in real space.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the information processing terminal 10 according to the present embodiment.
  • the information processing terminal 10 includes a control unit 100, an input unit 110, an operation I / F (interface) 120, an output unit 130, a communication unit 140, and a storage unit 150.
  • the control unit 100 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing terminal 10 according to various programs.
  • the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 100 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 100 also functions as the line-of-sight recognition unit 101, the voice control unit 102, and the display control unit 103.
  • the line-of-sight recognition unit 101 recognizes at least one of the user's line-of-sight direction and gaze point in the space, and outputs the recognition result to the server 20.
  • the line-of-sight recognition unit 101 tracks the line of sight of the user looking at the display 131.
  • the line-of-sight recognition technique is not particularly limited, but for example, a technique as described below can be used.
  • the line-of-sight recognition unit 101 can detect the line of sight of the user who is the wearer by a sensor provided in the information processing terminal 10.
  • the line-of-sight recognition unit 101 may recognize the direction of the front camera (camera 111) for recognizing the environment provided in the information processing terminal 10 as the direction of the line of sight of the user.
  • the line-of-sight recognition unit 101 analyzes a captured image of the user's eye captured by an infrared sensor (infrared light source and infrared camera (optical sensor)), which is an example of the line-of-sight sensor 113, and recognizes the line of sight from the movement of the eyeball. May be.
  • the line-of-sight recognition unit 101 can recognize the line of sight of the user by acquiring the position and movement of the pupil and iris, and the positional relationship between the pupil position and the Purkinje image.
  • the line-of-sight recognition unit 101 can also analyze an electro-oculogram value sensed by an electro-oculogram sensor, which is an example of the line-of-sight sensor 113, and can recognize the movement of the eyeball and recognize the line-of-sight direction.
  • the line-of-sight recognition unit 101 uses the line-of-sight sensor 113 or the camera 111 provided in the information processing terminal 10 to It is possible to recognize the line of sight of the user who is looking at the display 131 (the line-of-sight direction, the gazing point on the display 131, and the like). For example, the line-of-sight recognition unit 101 analyzes a captured image captured by the camera 111 and recognizes the line-of-sight direction from the orientation of the user's face / head.
  • the line-of-sight recognition unit 101 analyzes an image captured by the user's eye using an infrared sensor, which is an example of the line-of-sight sensor 113, and determines the positional relationship between the pupil position and the Purkinje image (reflection point on the cornea due to infrared light irradiation).
  • the line of sight may be recognized.
  • the audio control unit 102 performs control to output audio from the speaker 132 of the output unit 130.
  • the display control unit 103 performs control to display an image on the display 131 of the output unit 130.
  • the voice control unit 102 and the display control unit 103 perform control to output the voice and video of the partner space received from the server 20 from the speaker 132 and the display 131.
  • control unit 100 performs control to transmit the captured image and audio information acquired from the input unit 110 to the server 20 or the information processing terminal 10 of the connection destination from the communication unit 140 via the network 30.
  • the input unit 110 has a function of inputting spatial information.
  • the input unit 110 includes a camera 111, a microphone (hereinafter referred to as a microphone) 112, and a line-of-sight sensor 113.
  • the camera 111 is an outward camera provided in the HMD, for example, and picks up surrounding images. A plurality of cameras 111 may be provided.
  • the microphone 112 acquires ambient sound.
  • the microphone 112 may be a plurality of microphone arrays.
  • the line-of-sight sensor 113 is a sensor that senses data used for user's line-of-sight recognition, and is realized by, for example, an infrared sensor (infrared LED and infrared camera), an electrooculogram sensor, or the like.
  • the operation I / F 120 receives an operation input from the user and outputs it to the control unit 100.
  • the operation I / F 120 can be realized by a keyboard, a mouse, a touch panel, a button, a switch, or the like.
  • the output unit 130 has a function of presenting various types of information output from the control unit 100 to the user.
  • the output unit 130 includes a display 131 and a speaker 132.
  • the display 131 displays an image of a partner user (a user existing in a remote space).
  • the speaker 132 reproduces the other user's voice.
  • the communication unit 140 is connected to another information processing terminal 10 or the server 20 via the network 30 and transmits / receives data. For example, the communication unit 140 transmits the captured image captured by the camera 111 and the audio data collected by the microphone 112 to the information processing terminal 10 or the server 20 that is the communication destination. The communication unit 140 receives video, audio data, and the like from the information processing terminal 10 and the server 20 that are communication destinations.
  • the storage unit 150 is implemented by a ROM (Read Only Memory) that stores programs and parameters for the control unit 100 to execute each function, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate. Further, the storage unit 150 according to the present embodiment may store data transmitted / received via the communication unit 140.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration of the information processing terminal 10 according to the present embodiment has been specifically described above.
  • the configuration illustrated in FIG. 3 is an example, and the configuration of the information processing terminal 10 according to the present embodiment is not limited to this.
  • the information processing terminal 10 may be configured by a plurality of devices. Specifically, at least one of the input unit 110 and the output unit 130 may be realized by another device.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the server 20 according to the present embodiment.
  • the server 20 (information processing apparatus) includes a control unit 200, a communication unit 210, a user DB (database) 220, and a decoration rule DB 230.
  • Control unit 200 The control unit 200 functions as an arithmetic processing device and a control device, and controls the overall operation in the server 20 according to various programs.
  • the control unit 200 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 200 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • control unit 200 also functions as the decoration control unit 201 and the gaze state determination unit 202.
  • the decoration control unit 201 performs control to change the appearance of the display object associated with the real space presented to the communication partner. Since the captured image obtained by capturing the real space is presented to the communication partner in real time, when the user moves or switches the camera angle, there is a possibility that an image that the user does not want to see is reflected. Also, I don't want to see a face that doesn't have makeup, but it can be cumbersome to do makeup for a short communication.
  • the decoration control unit 201 can perform decoration on an image in the real space such as hiding a portion that the communication partner does not want to see or applying virtual makeup to the user's face.
  • the decoration control unit 201 avoids being noticed by the other party by gradually changing according to the other party's gaze area, etc. It is characterized by performing decoration.
  • the decoration control unit 201 displays the first display object associated with the second real space different from the first real space, which is displayed by the display device of the first user existing in the first real space. Based on the determination result of one user's gaze state or non-gaze state, control can be performed to change the appearance of the display object when the gaze state is changed to the non-gaze state. What decoration is applied under what conditions is performed based on, for example, a decoration rule set in advance in the decoration rule DB 230.
  • the decoration control unit 201 includes a display device (for example, the display 131) in the partner space (for example, the space B illustrated in FIG. 1) where the communication partner (for example, the user B illustrated in FIG. 1) exists. ) Displayed on the display object associated with the user space (for example, the space A shown in FIG. 1) (for example, a captured image of the real object existing in the space A) is changed to the non-gaze state. In addition, control is performed to change the appearance of the display object. By making changes while the opponent is not watching, it is possible to decorate without being realized by the opponent. Note that the gaze state and the non-gaze state of the other party are determined by a gaze state determination unit 202 described later.
  • the decoration control unit 201 each time the decoration control unit 201 shifts from the gaze state to the non-gaze state, the appearance of the display object is changed step by step so that the decoration is gradually added so that the communication partner can be surely not realized. It is also possible to do. Further, the decoration control unit 201 may gradually increase the amount of change in the appearance of the display object over time. By starting with small changes, you can avoid being noticed by the opponent as much as possible. Further, the decoration control unit 201 may make the change inconspicuous by gradually changing from the boundary surface of the display object. In addition, the decoration control unit 201 can change the area other than the display object in the vicinity of the boundary surface of the display object (that is, the periphery of the display object) so that the change of the boundary surface is not noticeable.
  • the color of the boundary surface of the display object is brought closer to the color of the boundary surface of the display object, and the color of the boundary surface of the display object is also brought closer to the color of the peripheral region, thereby reducing the change in the color of the boundary surface.
  • the decoration control unit 201 displays the guidance object that guides the line of sight of the communication partner at a position away from the display object, directs the attention (attention) of the communication partner to the guidance object, and then displays the display object. You may make it decorate. As a result, the gaze state of the communication partner with respect to the display object can be shifted to the non-gaze state, and the appearance of the display object can be changed without being noticed by the communication partner.
  • the guidance object may be, for example, a predetermined character image or agent image, a virtual object such as an interior or decoration that shines or moves, messaging with a higher degree of decoration, notification to the other party, etc. Also good.
  • the method of guiding the line of sight of the communication partner is not limited to the presentation of such a guidance object, but the luminance and saturation of the area where attention is desired (that is, the guidance area, which is preferably a separate area from the display object).
  • the brightness and the like may be temporarily increased (enhancement is enhanced).
  • FIG. 6 is a diagram for describing an example in which the appearance of a display object to be decorated is changed after the other party's line of sight is diverted using a guidance object in the decoration control according to the embodiment of the present disclosure.
  • the images 40-1 to 40-3 shown in FIG. 6 are videos that are acquired from the space A by the external camera 12a, for example, and output from the display device (information processing terminal 10B) that exists in the space B.
  • the external camera 12a is used as an example, but the present embodiment is not limited to this and may be acquired by the camera 111a of the information processing terminal 10a. Audio can also be acquired by the microphone 112a or the like.
  • display objects 41a and 41b As shown in the image 40-1 in FIG. 6, when a cluttered desk or drawer is reflected in the background of the user A (display objects 41a and 41b), the user A naturally conceals them. Is desirable. These display objects 41a and 41b that are desired to be hidden are hidden behind the body of the user A at the start of communication, for example, but are not visible, but may be visible when the user moves.
  • the first partner for example, a colleague
  • the guiding object 43 is displayed at a position separated from the display objects 41a to 41c, and the line of sight of the opponent (for example, the user B) is guided.
  • the information processing terminal 10B recognizes the other party's line of sight based on data sensed by the line-of-sight sensor 113b or the camera 111b of the user B's line of sight with respect to the image 40-1 displayed on the display 131b of the information processing terminal 10B.
  • the guiding object 43 may be a character image or an agent image, and it is preferable to draw the attention of the other party by moving or making a sound. Further, the guidance object 43 may be a character image or an agent image that the other party is likely to be interested in according to the other party's hobby preference information.
  • the decoration control unit 201 of the server 20 starts decoration (change in appearance) of the display objects 41a to 41c.
  • the contents of the decoration control include, for example, trash scattered on the desk, messy pens, sticky notes, prints, etc., image processing to correct the keyboard position, It is assumed that the image of the desk in a beautiful state) and the image of the desk in normal communication (cleaned at the time of communication) are superimposed and displayed.
  • the decoration control unit 201 adds a foundation, a teak, an eyebrow, an eye makeup, and a lipstick so as to reproduce a normal makeup face based on a face image of a user who has previously applied makeup, Can remove stains and wrinkles, whitening, etc.
  • Such decoration may be performed gradually over time.
  • the decoration control unit 201 does not execute all changes at the timing when the other party's line of sight deviates once, but may change it step by step every time the line of sight deviates.
  • the decoration control unit 201 may start decoration control simultaneously when there are a plurality of display objects, or may be a place where the other party's attention is difficult (for example, an area at the edge of the screen or an area away from the other party's gaze point).
  • the display object may be changed in order from a display object in a region far in the depth direction, an object that the other party is familiar with, an attractiveness is lower than the others, and the like.
  • the decoration control unit 201 may detect (estimate) an area where the communication partner is not paying attention, and change the area from the area (when it is determined that decoration is necessary).
  • the following method can be considered for “detection of an area where the communication partner is not attentive”.
  • the decoration control unit 201 estimates the order in which the other party's attention can be easily detected, and changes from the lower order of the order. You may make it make it. For example, “Jeremy Wolfe and Todd S. Horowitz (2008), Scholarpedia, 3 (7): 3325.)” Can be used to determine the object / region that easily captures the opponent's attention. An algorithm based on the above may be used.
  • the decoration control unit 201 also detects an area having a long spatial distance from the other party's gaze point or an area having a long distance in the depth direction as an “area where the communication partner is not attentive” and changes sequentially from the area. You may let them. Further, the decoration control unit 201 may estimate the attractiveness according to the color, size, shape, display position, etc. of the object, and change the order from the low attractiveness. For example, it is estimated that parts other than the “face” in the case of humans, small objects in the case of objects, inconspicuous colors, and objects displayed at the edge of the angle of view are low in attractiveness. .
  • the decoration control unit 201 controls the amount of change in appearance change according to the elapsed time since the communication partner previously viewed the display object (or real object). May be. For example, if the elapsed time is longer than a predetermined value, the display object is unfamiliar to the other party, and there is a possibility that it has a strong impression seen before, so it is easy to notice changes and differences from the previous one. It is done. For this reason, the decoration control part 201 changes the external appearance of a display object slowly over time.
  • display objects familiar to the communication partner low-attraction display objects, general-purpose display objects, and the like are considered to be difficult for the other party to pay attention, and the decoration control unit 201 changes such display objects. May be performed in a short time.
  • Information on display objects that the communication partner is familiar with can be acquired from the user DB 220.
  • the decoration control unit 201 may adjust the degree of change (change amount) of the display object in accordance with individual characteristics. Information such as each user's hobby preferences and sensitivity to changes can be acquired from the user DB 220.
  • the control unit 200 may estimate the user's interests and feelings based on the user's usual remarks, line-of-sight movement during communication, and the like, and may store them in the user DB 220. For example, when a change in hairstyle or clothes is frequently referred to, it can be estimated that “a person who is sensitive to changes in hairstyle or clothes” or “a person who is interested in hairstyle or clothes”.
  • the user may set the features of the other party. For example, from a normal conversation, the user may determine that this person is highly sensitive to the interior, that person is sensitive to clothes, and the like.
  • the decoration control unit 201 adjusts the change of the display object so that the communication partner is interested and sticking and is easily aware of the change so as to be noticed as little as possible.
  • the decoration control unit 201 predicts in advance a place where a conspicuous change is likely to occur depending on the color or shape of a display object to be decorated, and dynamically changes the camera angle and background. It is possible to make the change inconspicuous, or to prevent the display object from being included in the angle of view.
  • the decoration control unit 201 changes the display object periphery (background) to a color that does not make the change in the color or shape of the display object inconspicuous, and then changes the display object (for example, change in face color, face injury). To make the display object change as inconspicuous as possible.
  • the decoration control unit 201 may select an angle in which an inconvenient area is not noticeable or deviates from the angle of view when attracted. For example, when the user is moving and the user is moving and presenting the user to the communication partner in real time by following the user with a plurality of cameras arranged in the vicinity, the messy part of the room or the dirty kitchen The possibility that a part that the other party does not want to see is reflected, such as a part (the user's movement route may be predicted and determined).
  • the decoration control unit 201 does not make the inconvenient area inconspicuous, or the angle of view. Switch to a different camera angle.
  • the decoration control unit 201 controls the presentation of the zoomed-out video to the communication partner, and it is convenient to be tempted. Make the bad areas inconspicuous.
  • the decoration control unit 201 gradually changes the display object so that the change of the boundary surface is not noticeable and the communication partner does not recognize the change. Further, the decoration control unit 201 may avoid a noticeable change in the display object by gradually changing from the boundary surface of the display object toward the center.
  • the decoration control unit 201 may perform display control in which the boundary surface of the display object is blurred and mixed in the vicinity (in the background).
  • the decoration control unit 201 further increases the attractiveness.
  • the line of sight of the communication partner may be displaced from the display object.
  • the guiding object may be a conspicuous interior or decoration, a poster, a wallpaper, or the like.
  • the decoration control unit 201 performs control to change the appearance of the display object while displaying such a highly attractive guiding object.
  • the decoration control unit 201 is in a situation different from usual with respect to the person with whom the user communicates through the network on a daily basis (for example, the room is cluttered) Decorating, etc.), physical condition, bad complexion, no makeup, not well-dressed.
  • the decoration control unit 201 analyzes a user-side video presented to a communication partner and determines whether or not a certain tendency (a user's usual tendency) deviates from a certain degree. However, if it is off, it may be decorated.
  • the decoration control unit 201 determines that the situation is present, and decorates the display object to match the usual tendency.
  • the decoration control unit 201 may record the appearance and face image of the user when he / she goes out, determine whether or not the user is out of the normal tendency during network communication, and determine whether decoration is necessary.
  • the decoration control unit 201 determines whether or not the decoration is necessary based on whether or not the user's body condition satisfies a predetermined predetermined body condition standard (for example, presence / absence of makeup, registration of room wear / outing / going out, etc.). You may judge.
  • a predetermined predetermined body condition standard for example, presence / absence of makeup, registration of room wear / outing / going out, etc.
  • the decoration control unit 201 may perform decoration when the purpose of network communication (business or private) does not match the state of the user or the space where the user exists. .
  • Information about the state that matches the purpose can be set in advance as a decoration rule.For example, in the case of network communication for business purposes, hoodies, sweatshirts, jerseys, etc. are not suitable. Rules regarding clothes such as changing are assumed.
  • change triggers As described above, specific examples of change triggers have been described. However, the present embodiment is not limited to these, and for example, the user may specify a display object in advance or in real time.
  • the gaze state determination unit 202 determines a gaze state and a non-gaze state with respect to the display object of the communication partner. For example, the gaze state determination unit 202 determines the user's gaze state or non-gaze state with respect to the display object based on the gaze recognition result acquired from the information processing terminal 10.
  • the communication unit 210 is connected to the network 30 by wire or wireless, and transmits / receives data to / from each information processing terminal 10 via the network 30.
  • the communication unit 210 is connected to the network 30 through, for example, a wired / wireless LAN (Local Area Network) or Wi-Fi (Wireless Fidelity, registered trademark).
  • the user DB 220 stores information related to the user. For example, user's communication history (speech voice, video, communication partner, communication purpose, etc.), user's clothes and makeup during communication, trends in surroundings, user's hobbies, preferences, characteristics (sensitivity to changes, etc.) ) Is accumulated.
  • user's communication history speech voice, video, communication partner, communication purpose, etc.
  • user's clothes and makeup during communication trends in surroundings, user's hobbies, preferences, characteristics (sensitivity to changes, etc.) ) Is accumulated.
  • the decoration rule DB 230 stores rules that define under what conditions the decoration according to the present embodiment is performed.
  • the user DB 220 and the decoration rule DB 230 are stored in a storage unit (not shown) provided in the server 20.
  • the storage unit is realized by a ROM that stores programs and calculation parameters used for the processing of the control unit 200, and a RAM that temporarily stores parameters that change as appropriate.
  • the configuration of the server 20 according to the present embodiment has been specifically described above.
  • the configuration of the server 20 illustrated in FIG. 5 is an example, and the present embodiment is not limited to this.
  • at least a part of the configuration of the server 20 may be in an external device, or at least a part of each function of the control unit 200 is an information processing terminal 10 or an information processing device whose communication distance is relatively close to the information processing terminal 10
  • it may be realized by a so-called edge server.
  • edge server As described above, by appropriately distributing the components of the server 20, it is possible to improve real-time performance, reduce processing load, and ensure security.
  • the information processing system according to the present embodiment may be executed by the application of the information processing terminal 10. That is, a system configuration in which information processing terminals 10 of communication parties communicate with each other may be employed. In this case, the decoration control of the display object to be hidden from the communication partner is appropriately performed by one or both information processing terminals 10.
  • FIG. 7 is a flowchart showing an example of the flow of decoration control in the operation processing according to the present embodiment.
  • the server 20 starts communication between users via a network (step S103).
  • the server 20 recognizes the situation in the space (step S106). For example, the server 20 performs user position, face recognition, object recognition, and the like existing in each space based on information (captured images, depth sensor data, and the like) acquired from each space. It should be noted that the space situation recognition may be performed by each information processing terminal 10.
  • the server 20 determines whether or not decoration is necessary (step S109). For example, the server 20 has a decoration when there is a gap with the situation in the usual network communication, when there is a gap with meeting with a communication partner in real, or when it does not match the purpose of communication. Judge that it is necessary. Alternatively, when a decoration execution instruction is input by the user, it is determined that decoration is necessary.
  • the decoration control unit 201 specifies a decoration control method (step S112).
  • the decoration control method is based on the decoration control according to the gaze state of the communication partner (in addition, the presentation of the guidance object, etc.), the decoration control based on the order estimated according to the attractiveness, and the affinity Examples include decoration control and decoration control according to the characteristics of the communication partner, such as sensitivity to changes and attention to the interior.
  • the decoration control unit 201 may specify a predetermined decoration control method, may specify an appropriate decoration control method according to the situation, or may specify a combination of a plurality of decoration controls as appropriate. May be.
  • the decoration control is performed according to the gaze state of the communication partner, and when the communication partner's attention is in the vicinity of the display object, a guidance object is presented, or when there are a plurality of decoration objects, the guidance object
  • the decoration may be started in ascending order of the attractiveness, or the amount of change may be adjusted in consideration of familiarity and sensitivity.
  • the server 20 detects the partner's line-of-sight (step S115). Specifically, the gaze state determination unit 202 determines the gaze state / non-gaze state of the display object on the other side.
  • the decoration control unit 201 of the server 20 performs decoration control of the display object (change in the appearance of the display object) (step S118).
  • step S109 / No the server 20 does not decorate the display object and outputs the user space video as it is to the display device of the communication partner space (step S121).
  • steps S106 to S121 are repeated until the communication is completed (step S124).
  • step S115 and the process of step S112 may be processed in parallel, or may be processed in the reverse order.
  • step S103 to step S106 and step S118 may be performed by the information processing terminal 10
  • step S109 to step S115 may be performed by the server 20.
  • steps S109 to S118 may be performed in parallel.
  • the decoration control unit 201 is not limited to the decoration of the user's face or object, and can also erase the features and wrinkles of the user's operation.
  • the decoration control unit 201 may change the hand down state by erasing operations such as messing with hair, messing with nails, arm folding, and poor shaking. It is preferable that the change to the state where the hand is lowered is controlled so as to be naturally connected to the movement of the user before and after. Moreover, you may make it conceal tongue, a mustache, etc. with a living sound, a noise, etc.
  • the decoration control unit 201 can also decorate the user's voice.
  • the usual user's voice is recorded in advance, and the output of the user voice is adjusted according to the situation and the other party.
  • a bad condition such as a cold
  • the decoration control unit 201 may process and output the user's voice into a voice suitable for the atmosphere of the place. For example, even when the user's mood is depressed, when the conversation with a depressed tone is not suitable (for example, for business purposes), the user's voice may be output at a higher pitch or the voice speed may be increased. It can also appear to be growing. Further, the decoration control unit 201 may convert the voice of the user into a calm tone when communicating with a business partner.
  • the decoration control unit 201 may mask the change in the user's voice by presenting another sound to attract the attention of the communication partner.
  • the present embodiment is not limited to this.
  • sound information that is localized at a position separated from the object may be output.
  • the information processing terminal used by the communication partner is a wearable device such as an HMD, attention can be taken in a direction different from that of the display object by a sound localized in space.
  • the decoration control unit 201 may control dimming when changing the display object so that the change is difficult to see. For example, when the display object is changed, the entire screen may be changed from light of a fluorescent lamp to light of shade of indirect illumination so that the change is not noticeable. Further, the decoration control unit 201 may dimm the display object area so that it is difficult to see instead of decorating the display object.
  • the decoration control unit 201 may determine whether to change gradually or immediately according to the importance of the display object. For example, since confidential documents are highly important, it is preferable to immediately conceal (change quickly) even if they appear somewhat unnatural to the other party.
  • the decoration control unit 201 may determine a display object to be dynamically decorated according to a person who participated in communication or a relationship with the person. For example, when a boss joins a two-person communication with a colleague, the decoration control unit 201 decorates the user in a clothing suitable for communication with the boss so that the colleague and the boss do not understand.
  • the information processing system changes the display of the real space (virtually to a person or object existing in the real space) without being recognized by the communication partner (without feeling uncomfortable). It is possible to hide inconvenient parts by applying a simple decoration.
  • this technique can also take the following structures.
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the display control unit changes the appearance of the display object in stages each time the gaze state is changed to the non-gaze state. (3) The information processing apparatus according to (1), wherein the display control unit gradually increases the amount of change in the appearance of the display object over time.
  • the display control unit After performing control to output a guidance area for guiding the line of sight of the first user to a position separated from the display object, The information processing apparatus according to (1) or (2), wherein an appearance of the display object is changed when the first user is in the non-gaze state with respect to the display object.
  • the induction region is generated by The information processing apparatus according to (4), wherein the guidance object is displayed at a position separated from the display object, or control for enhancing the attractiveness of a region separated from the display object.
  • the information processing apparatus includes: An audio control unit that outputs audio information localized at a position separated from the display object; The display control unit Any one of (1) to (3), wherein after the audio information is output, the first user changes the appearance of the display object when the first user is in the non-gaze state.
  • the information processing apparatus according to item.
  • the determination unit Any one of (1) to (6), wherein the gaze state or the non-gaze state of the first user with respect to the display object is determined based on the line of sight, face, or head direction of the first user.
  • the information processing apparatus according to claim 1.
  • the display control unit The information processing apparatus according to any one of (1) to (7), wherein the first user is changed from a portion estimated to be difficult to recognize the change.
  • the display control unit The information processing apparatus according to (8), wherein the display object is changed in order from a display object having a low attractiveness among the plurality of display objects.
  • the display control unit The information processing apparatus according to (8), wherein the display object is changed from a region having a long spatial distance from the first user's gaze point among the plurality of display objects.
  • the display control unit The information processing apparatus according to (8), wherein when the display object is a person, the display object is changed from a portion other than the face.
  • the display control unit The information processing apparatus according to (8), wherein when the display object is other than a person, the display object is changed from an end portion of an angle of view displayed by the display apparatus.
  • the display control unit The information processing apparatus according to any one of (1) to (12), wherein the amount of change is controlled according to whether the display object is familiar to the first user.
  • the display control unit The information processing apparatus according to any one of (1) to (14), wherein a change amount of the display object is adjusted according to a high sensitivity to the change of the first user.
  • the display control unit The information processing apparatus according to (14), wherein when the appearance of the real object is out of a certain tendency, the display object is controlled to change the appearance so as to satisfy the certain tendency.
  • Processor The first user's gaze state with respect to the display object associated with the second real space different from the first real space, which is displayed by the display device of the first user existing in the first real space. Or determining a non-gaze state, Changing the appearance of the display object when moving from the gaze state to the non-gaze state; Including an information processing method.
  • Computer The first user's gaze state with respect to the display object associated with the second real space different from the first real space, which is displayed by the display device of the first user existing in the first real space. Or a determination unit for determining a non-gaze state; A display control unit that changes the appearance of the display object when the gaze state shifts to the non-gaze state; A recording medium on which a program for functioning as a recording medium is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】コミュニケーション相手に悟られずに実空間の表示を変化させることが可能な情報処理装置、情報処理方法、および記録媒体を提供する。 【解決手段】第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、および記録媒体
　本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
　近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented　Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。また、ＡＲ技術においてユーザに呈示される情報は、通常、入力画像に映るいずれかの実物体と関連付けられる位置に表示される。
　このようなＡＲ技術におけるユーザへの呈示情報の制御に関し、例えば下記特許文献１では、ＡＲアプリケーションを通じて提供される多数の情報の中で、ユーザにとっての所望の情報の視認性を選択的に向上させる技術が開示されている。
特開２０１３－２１８５９７号公報
　しかしながら、ＡＲ技術におけるユーザへの呈示情報の制御に関する従来の技術では、仮想的なオブジェクト（ＡＲ仮想物体）を実物体のように自然に見せることはできるが、実物体をＡＲで装飾したり隠蔽する際には、ＡＲ自体の視認性が高かったり、ＡＲが突然現れたりといった急激な変化により装飾や隠蔽が強調され、コミュニケーション相手に対して自分や自分の空間における実物体を意図的に隠蔽したい場合には適切ではない。
　そこで、本開示では、コミュニケーション相手に悟られずに実空間の表示を変化させることが可能な情報処理装置、情報処理方法、および記録媒体を提案する。
　本開示によれば、第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定することと、前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させることと、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、として機能させるためのプログラムが記録された、記録媒体を提案する。
　以上説明したように本開示によれば、コミュニケーション相手に悟られずに実空間の表示を変化させることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示の一実施形態による情報処理システムの他のシステム構成例について説明する図である。 本開示の一実施形態による情報処理システムの構成の一例を示す図である。 本開示の一実施形態による情報処理端末の構成の一例を示すブロック図である。 本開示の一実施形態によるサーバの構成の一例を示すブロック図である。 本開示の一実施形態による装飾制御において誘導オブジェクトを用いて相手の視線を逸らした上で装飾対象の表示オブジェクトの外観を変化させる例について説明する図である。 本開示の一実施形態に係る動作処理における装飾制御の流れの一例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成
　　２－１．情報処理端末１０の構成
　　２－２．サーバ２０の構成
　３．動作処理
　４．補足
　５．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システム１は、空間Ａに存在するユーザＡと、空間Ｂに存在するユーザＢとのコミュニケーションを実現するものであって、例えば図１に示すように、空間Ａに存在するユーザＡの頭部に装着される入出力機能を有するＨＭＤ（Head　Mounted　Display）等により実現される情報処理端末１０Ａと、空間Ｂに存在するユーザＢの頭部に装着されるＨＭＤ等により実現される情報処理端末１０Ｂとを含む。情報処理システム１は、さらに、ユーザを含む空間内の映像（部屋の様子など）を撮像する外部カメラ１２を含んでいてもよい。また、本実施形態による情報処理システム１は、情報処理端末１０Ａおよび情報処理端末１０Ｂと、ネットワークを介して接続するサーバ２０をさらに含み得る。
　本実施形態による情報処理システム１は、空間Ａの情報（例えば、画像、音声）を、外部カメラ１２Ａや、情報処理端末１０Ａに設けられた各種センサにより取得して、空間Ｂに存在するユーザＢに対して情報処理端末１０Ｂから出力する。また、情報処理システム１は、空間Ｂの情報（例えば、画像、音声）を、外部カメラ１２Ｂや、情報処理端末１０Ｂに設けられた各種センサにより取得して空間Ａに存在するユーザＡに対して情報処理端末１０Ａから出力する。これにより、リアルタイムでユーザＡとユーザＢの双方向コミュニケーションが実現される。
　本実施形態による双方向コミュニケーションにおける互いの様子の見せ方は、様々想定される。まず、図１に示すように、本実施形態による情報処理端末１０の一例として、頭部装着型のＨＭＤを用いる場合を想定する。ＨＭＤは、頭部装着型の表示装置を広く意味し、例えば、ヘッドバンド等の装着ユニットにより頭部に被せる形状や、耳で支える眼鏡形状がある。ディスプレイ方式としては、視界を全て表示部で覆う非透過型（没入型ＨＭＤとも称す）、視界を全て表示部で覆うが外の様子をＨＭＤの外向きカメラにより撮像して表示部に表示するビデオ透過型（ビデオシースルー型ＨＭＤとも称す）、光学透過性を有する表示部により外界を視認できる状態において実空間に画像が重畳表示される所謂光学シースルー型、また、ユーザの眼前に保持された投影部（プロジェクタ相当）により、ユーザの眼に向けて画像を投影する網膜投射型がある。また、ＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。
　没入型は、さらにヘッドフォン等で耳を覆うことで外界の情報を遮断し、没入感を高めることができ、ＶＲ（Virtual　Reality）で好ましく用いられる。また、シースルー型や網膜投射型は、日常的にＨＭＤを装着した状態で生活することができ、ユーザの眼の前に存在する実物体に関する情報を提示する場合など、ＡＲ（Augmented　Reality）で好ましく用いられる。
　以上説明した様々なディスプレイ方式を用い得るＨＭＤには、外界を撮像する外向きカメラや、装着者の顔や眼を撮像する内向きカメラ、視線センサ（赤外線センサ、眼電位センサなど。外向き／内向きカメラを視線センサとして用いてもよい）、また、ジャイロ・加速度センサなどが設けられている。
　また、本実施形態による情報処理システム１における双方向コミュニケーションでの互いの様子の見せ方は様々想定される。例えば、情報処理システム１は、外部カメラ１２Ａにより撮像したユーザＡを含む部屋の映像を、ユーザＢの情報処理端末１０Ｂの表示部に表示する際、撮像した映像からユーザＡやユーザＡが座っている椅子など所定のオブジェクト（実物体）を抽出し、ユーザＢが装着している情報処理端末１０Ｂの光学シースルー型の表示部において、空間Ｂに重畳表示してもよい（所謂ＡＲ。重畳表示するオブジェクトは例えば３Ｄ画像であってもよい）。これによりユーザＢは、ユーザＡがあたかも空間Ｂに存在しているかのような状態で、ユーザＡとコミュニケーションを取ることができる。若しくは、情報処理システム１は、外部カメラ１２Ａにより撮像したユーザＡを含む部屋の映像を、ユーザＢが装着する、ユーザの視界を覆う非透過型のＨＭＤの情報処理端末１０Ｂに表示することで、ユーザＢがあたかも空間ＡでユーザＡと一緒にいるような没入感を与えることができる。
　また、情報処理端末１０は、上述したようなＨＭＤに限定されず、例えば、ＰＣ、ノートＰＣ、テレビ装置、スマートフォン、タブレット端末、携帯電話端末、プロジェクター等、様々な表示装置が想定される。図２に、本実施形態による他のシステム構成の一例を示す。図２に示すように、例えば、空間Ａに存在するノートＰＣ等による情報処理端末１０ａにおいて空間Ｂの情報（画像、音声）を出力し、空間Ｂに存在するノートＰＣ等による情報処理端末１０ｂにおいて空間Ａの情報（画像、音声）を出力する。空間の情報は、情報処理装置１０に設けられた各種センサ（カメラ、マイク）や、外部カメラ１２ａにより取得され得る。具体的には、例えば情報処理端末１０に設けられたカメラ１１１により、ユーザを含む空間の映像を取得し得る。
　ここで、例えばユーザＡが存在する空間Ａの映像を、空間Ｂに存在する情報処理端末１０Ｂで提示する場合に、空間Ａの映像に含まれるユーザＡの周辺に存在する実オブジェクト４０ａ～４０ｆをユーザＢには見せたくないといったことがある。例えば、テレワーク（テレコミューティングとも称する。インターネット等を介して自宅等で働く勤労形態を示す）により自宅と会社を映像で繋いだ際に、プライベート空間である自宅の映像（ユーザの背景等に映り込む自室の様子など）が会社に送られるため、例えば散らかった洗濯物や子供の様子など、会社の人には見られたくないものが見られてしまう恐れがある。また、テレワークで１時間程度の会議のためだけに化粧をするのは面倒といった事情もある。
　上述した実空間に表示オブジェクトを重畳表示する従来技術としては、例えばＡＲ技術が提案されているが、ＡＲオブジェクトの境界面が目立ったり、ＡＲオブジェクト自体がユーザの注意を引くことを目的として生成されたりするため、実空間の一部分を隠したいといった用途には適していなかった。
　また、隠したい部分にＡＲオブジェクトが急に現れると、表示の変化により却って目立ってしまい、好ましくない。ユーザとしては、隠蔽や装飾していること自体も相手には悟られないことが望ましい。
　そこで、本開示による情報処理システム１では、実空間に対応付けられる表示オブジェクトに対してコミュニケーション相手が注視していない間にその表示オブジェクトの外観（appearance）を（徐々に）変化させることで、相手に悟られずに実空間の表示を変化させる（隠蔽のために装飾する）ことを可能とする。
　また、本開示による情報処理システム１では、コミュニケーション相手の視線を誘導する誘導オブジェクトを敢えて表示して装飾対象の表示オブジェクトから相手の注意を逸らした上で、当該表示オブジェクトの外観を変化させることで、より確実に、相手に悟られずに実空間の表示を変化させることも可能である。
　ユーザの視線は、情報処理端末１０のディスプレイ方式が例えば図１に示すようなＨＭＤの場合、ＨＭＤに設けられた視線センサ１１３等によりセンシングしたデータに基づいて認識することが可能である。視線認識手法の詳細については後述するが、例えば、視線センサ１１３の一例として赤外線センサや眼電位センサを用いて、眼球の動き等から視線を認識することができる。若しくは、ＨＭＤに設けられたカメラ１１１（外向き／内向きカメラ）やジャイロ・加速度センサ（不図示）等を用いて、顔向きや頭部方向等から視線を認識することもできる。
　一方、情報処理端末１０のディスプレイ方式が例えば図２に示すようなノートＰＣの場合、ユーザの視線を、ノートＰＣに設けられた視線センサ１１３や、外部カメラ１２等によりセンシングしたデータに基づいて認識することが可能である。例えば、ノートＰＣの画面を見ているユーザに対して赤外線を当てて眼の角膜上に反射点（プルキニエ像）を作った状態で撮像した撮像画像に基づいて、瞳孔点と反射点との位置関係から視線を認識してもよい。また、ノートＰＣに設けられたカメラ１１１や外部カメラ１２によりユーザの顔を撮影し、顔向きから視線認識を行ってもよい。
　以上、本実施形態による情報処理システム１の概要について説明した。なお、本実施形態において、双方向コミュニケーションを行う各ユーザが利用する情報処理端末１０は、全て同じディスプレイ方式でなくともよい。例えば、ユーザＡがノートＰＣを用いる一方で、ユーザＢがシースルー型ＨＭＤを用いていてもよい。
　次いで、本実施形態による情報処理システム１のシステム構成の一例を図３に示す。図３を参照すると、情報処理システム１は、空間Ａの情報の入出力を制御する情報処理端末１０Ａと、空間Ｂの情報の入出力を制御する情報処理端末１０Ｂと、各空間における情報出力の際に装飾制御を行うサーバ２０とを含む。情報処理端末１０Ａ、情報処理端末１０Ｂ、およびサーバ２０は、ネットワーク３０を介して接続される。なお本実施形態では、一例としてユーザＡとユーザＢの二者間のコミュニケーションを実現するシステム構成について説明しているが、本開示はこれに限定されず、３者間以上のコミュニケーションを実現するシステム構成であってもよい。
　情報処理端末１０は、入力部１１０および出力部１３０を含み、入力部１１０から取得した空間情報を、接続先に送信すると共に、接続先から受信した接続先の空間情報を出力部１３０から出力する制御を行う。空間情報の送受信は、サーバ２０を介して行われてもよいし、接続先と直接送受信してもよいし、サーバ２０および接続先の両方と送受信してもよい。また、情報処理端末１０は、複数の装置により構成されていてもよい。例えば、入力部１１０又は出力部１３０が情報処理端末１０と別の装置により実現され、有線又は無線により情報処理端末１０と接続される構成であってもよい。例えば、入力部１１０がカメラデバイス、出力部１３０がＨＭＤ、情報処理端末１０が据え置きの専用端末により実現され、情報処理端末１０が有線又は無線によりカメラデバイスおよびＨＭＤと接続する構成であってもよい。
　サーバ２０は、例えばクラウド上のサーバであって、各空間に相手空間の情報を出力する際に、適宜、表示オブジェクトの装飾制御を行う。本明細書において、「表示オブジェクト」とは、実空間で撮像した実オブジェクトであって、実空間に存在するユーザや物体が含まれる。
　以下、本実施形態による情報処理システム１に含まれる各装置の具体的な構成について図面を参照して説明する。
　＜＜２．構成＞＞
　　＜２－１．情報処理端末１０の構成＞
　図４は、本実施形態による情報処理端末１０の構成の一例を示すブロック図である。図４に示すように、情報処理端末１０は、制御部１００、入力部１１０、操作Ｉ／Ｆ（インタフェース）１２０、出力部１３０、通信部１４０、および記憶部１５０を有する。
　（制御部１００）
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理端末１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　本実施形態による制御部１００は、視線認識部１０１、音声制御部１０２、および表示制御部１０３としても機能する。
　視線認識部１０１は、空間内におけるユーザの視線方向および注視点の少なくとも一方を認識し、認識結果をサーバ２０に出力する。例えば視線認識部１０１は、ディスプレイ１３１を見るユーザの視線を追跡する。視線認識手法については特に限定しないが、例えば次に説明するような手法を用いることが可能である。
　まず、情報処理端末１０が図１に示すようにＨＭＤにより実現されている場合、視線認識部１０１は、情報処理端末１０に設けられたセンサにより装着者であるユーザの視線を検出し得る。例えば、視線認識部１０１は、情報処理端末１０に設けられる環境を認識するためのフロントカメラ（カメラ１１１）の向きをユーザの視線の向きとして認識してもよい。また、視線認識部１０１は、例えば視線センサ１１３の一例である赤外線センサ（赤外線光源および赤外線カメラ（光学センサ））により撮像されたユーザの眼の撮像画像を解析し、眼球の動きから視線を認識してもよい。より具体的には、例えば視線認識部１０１は、瞳孔や虹彩の位置、動き、また、瞳孔位置とプルキニエ像の位置関係を取得することで、ユーザの視線を認識し得る。また、視線認識部１０１は、例えば視線センサ１１３の一例である眼電位センサによりセンシングした眼電位値を解析し、眼球の運動を把握して視線方向を認識することも可能である。
　また、情報処理端末１０が図２に示すようなノートＰＣ等により実現されている場合、視線認識部１０１は、情報処理端末１０に設けられた視線センサ１１３やカメラ１１１により、情報処理端末１０のディスプレイ１３１を見ているユーザの視線（視線方向や、ディスプレイ１３１上の注視点など）を認識し得る。例えば、視線認識部１０１は、カメラ１１１により撮像された撮像画像を解析し、ユーザの顔／頭部の向きから、視線方向を認識する。また、視線認識部１０１は、視線センサ１１３の一例である赤外線センサにより、ユーザの眼の撮像画像を解析し、瞳孔位置とプルキニエ像（赤外光照射による角膜上の反射点）の位置関係から視線を認識してもよい。
　音声制御部１０２は、出力部１３０のスピーカ１３２から音声を出力する制御を行う。表示制御部１０３は、出力部１３０のディスプレイ１３１に画像を表示する制御を行う。例えば音声制御部１０２および表示制御部１０３は、サーバ２０から受信した相手空間の音声および映像をスピーカ１３２およびディスプレイ１３１から出力する制御を行う。
　また、本実施形態による制御部１００は、入力部１１０から取得した撮像画像および音声情報を、通信部１４０からネットワーク３０を介してサーバ２０又は接続先の情報処理端末１０に送信する制御を行う。
　（入力部１１０）
　入力部１１０は、空間情報を入力する機能を有する。例えば入力部１１０は、カメラ１１１、マイクロフォン（以下、マイクと称する）１１２、および視線センサ１１３を含む。カメラ１１１は、例えばＨＭＤに設けられる外向きカメラであって、周辺の映像を撮像する。カメラ１１１は複数設けられていてもよい。マイク１１２は、周囲の音声を取得する。マイク１１２は、複数から成るマイクアレイであってもよい。
　視線センサ１１３は、ユーザの視線認識に用いられるデータをセンシングするセンサであって、例えば、赤外線センサ（赤外線ＬＥＤと赤外線カメラ）、または、眼電位センサ等により実現される。
　（操作Ｉ／Ｆ１２０）
　操作Ｉ／Ｆ１２０は、ユーザからの操作入力を受け付け、制御部１００へ出力する。操作Ｉ／Ｆ１２０は、キーボード、マウス、タッチパネル、ボタン、スイッチ等により実現され得る。
　（出力部１３０）
　出力部１３０は、制御部１００から出力される各種情報をユーザに提示する機能を有する。例えば出力部１３０は、ディスプレイ１３１およびスピーカ１３２を有する。ディスプレイ１３１は、相手ユーザ（遠隔地空間に存在するユーザ）の映像を表示する。スピーカ１３２は、相手ユーザの音声を再生する。
　（通信部１４０）
　通信部１４０は、ネットワーク３０を介して他の情報処理端末１０やサーバ２０と接続し、データの送受信を行う。例えば通信部１４０は、カメラ１１１により撮像された撮像画像、およびマイク１１２により収音された音声データを、通信先の情報処理端末１０やサーバ２０へ送信する。また、通信部１４０は、通信先の情報処理端末１０やサーバ２０から、映像や音声データ等を受信する。
　（記憶部１５０）
　記憶部１５０は、制御部１００が各機能を実行するためのプログラムやパラメータを格納するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。また、本実施形態による記憶部１５０は、通信部１４０を介して送受信されるデータを記憶してもよい。
　以上、本実施形態による情報処理端末１０の構成について具体的に説明した。なお、図３に示す構成は一例であって、本実施形態による情報処理端末１０の構成はこれに限定されない。例えば、情報処理端末１０は複数の装置により構成されていてもよい。具体的には、入力部１１０および出力部１３０の少なくともいずれかが別の装置により実現されていてもよい。
　　＜２－２．サーバ２０の構成＞
　図５は、本実施形態によるサーバ２０の構成の一例を示すブロック図である。図５に示すように、サーバ２０（情報処理装置）は、制御部２００、通信部２１０、ユーザＤＢ（データベース）２２０、および装飾ルールＤＢ２３０を有する。
　（制御部２００）
　制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２０内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部２００は、装飾制御部２０１および注視状態判定部２０２としても機能する。
　装飾制御部２０１は、コミュニケーション相手に提示する実空間に対応付けられた表示オブジェクトの外観を変化させる制御を行う。実空間を撮像した撮像画像は、リアルタイムでコミュニケーション相手に提示されるため、ユーザが動いたりカメラアングルを切り替えたりした際に、見られたくないものが映り込んでしまう可能性がある。また、化粧をしていない顔を見られたくはないが、短時間のコミュニケーションのために化粧をするのは面倒といったことがある。本実施形態による装飾制御部２０１は、このようなコミュニケーション相手に見られたくない部分を隠蔽したり、ユーザの顔に仮想的な化粧を施したりといった、実空間の映像への装飾を行い得る。また、装飾制御部２０１は、装飾を行う際には、急激な変化により相手に悟られることを回避するため、相手の注視領域等に応じて、徐々に変化させることで、相手に気付かれずに装飾を行うことを特徴とする。すなわち、装飾制御部２０１は、第１の実空間に存在する第１のユーザの表示装置によって表示される、第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する第１のユーザの注視状態又は非注視状態の判定結果に基づいて、注視状態から非注視状態に移った際に、表示オブジェクトの外観を変化させる制御を行い得る。どのような条件でどのような装飾を施すのかについては、例えば装飾ルールＤＢ２３０に予め設定された装飾ルールに基づいて行われる。
　ここで、装飾ルールに基づいて行われる装飾制御の具体例についていくつか説明する。
　（１）注視領域に応じた装飾制御
　例えば、装飾制御部２０１は、コミュニケーション相手（例えば図１に示すユーザＢ）が存在する相手空間（例えば図１に示す空間Ｂ）における表示装置（例えばディスプレイ１３１）に表示される、ユーザ空間（例えば図１に示す空間Ａ）に対応付けられた表示オブジェクト（例えば空間Ａに存在する実オブジェクトの撮像画像）に対する相手の注視状態が非注視状態に移った際に、表示オブジェクトの外観を変化させる制御を行う。相手が見ていない間に変化させることで、相手に悟られずに装飾することが可能となる。なお、相手の注視状態および非注視状態は、後述する注視状態判定部２０２により判定される。
　また、装飾制御部２０１は、注視状態から非注視状態に移る毎に、表示オブジェクトの外観を段階的に変化させて少しずつ装飾を施すことで、より確実に、コミュニケーション相手に悟られないようにすることも可能である。また、装飾制御部２０１は、表示オブジェクトの外観の変化量を時間経過に応じて徐々に大きくしてもよい。小さな変化から開始することで、相手に気付かれることを極力避けることができる。また、装飾制御部２０１は、表示オブジェクトの境界面から徐々に変化させることで、変化を目立たないようにしてもよい。また、装飾制御部２０１は、表示オブジェクトの境界面近傍の表示オブジェクト以外の領域（すなわち表示オブジェクトの周辺）も変化させることで、境界面の変化を目立たないようにすることも可能である。例えば表示オブジェクトの周辺の領域の色を、表示オブジェクトの境界面の色に近付けると共に、表示オブジェクトの境界面の色も周辺の領域の色に近付けることで、境界面の色の変化を小さくする。
　また、装飾制御部２０１は、コミュニケーション相手の視線を誘導する誘導オブジェクトを、表示オブジェクトと離れた位置に表示して、コミュニケーション相手の注意（アテンション）を誘導オブジェクトに向かせた上で、表示オブジェクトの装飾を行うようにしてもよい。これにより、より確実に、表示オブジェクトに対するコミュニケーション相手の注視状態を非注視状態に移し、コミュニケーション相手に気付かれずに表示オブジェクトの外観を変化させることが可能となる。誘導オブジェクトは、例えば所定のキャラクター画像やエージェント画像、光ったり動いたりするインテリアや装飾品等の仮想的なオブジェクトであってもよいし、装飾度合いを高めたメッセージングや相手への通知等であってもよい。また、コミュニケーション相手の視線を誘導する手法としては、かかる誘導オブジェクトの提示に限定されず、アテンションを取りたい領域（すなわち誘導領域であって、表示オブジェクトから離隔した領域が好ましい）の輝度や彩度、明度等を一時的に上げる（誘目性を高める）ようにしてもよい。
　ここで、図６を参照して本実施形態の装飾制御について具体的に説明する。図６は、本開示の一実施形態による装飾制御において誘導オブジェクトを用いて相手の視線を逸らした上で装飾対象の表示オブジェクトの外観を変化させる例について説明する図である。図６に示す例では、空間Ａに存在するユーザＡと空間Ｂに存在するユーザＢとのコミュニケーションを想定する。また、図６に示す画像４０－１～４０－３は、例えば外部カメラ１２ａにより空間Ａから取得し、空間Ｂに存在する表示装置（情報処理端末１０Ｂ）で出力される映像である。ここでは一例として外部カメラ１２ａを用いているが、本実施形態はこれに限定されず、情報処理端末１０ａのカメラ１１１ａにより取得してもよい。また、音声もマイク１１２ａ等により取得され得る。
　図６の画像４０－１に示すように、ユーザＡの背景に、散らかった机や引き出しが映り込んでしまっている場合（表示オブジェクト４１ａ、４１ｂ）、ユーザＡとしてはこれらを自然に隠蔽することが望ましい。これらの隠蔽したい表示オブジェクト４１ａ、４１ｂは、例えばコミュニケーション開始時にはユーザＡの身体に隠れていて見えていなかったが、ユーザが移動することによって見えてしまうといったことも想定される。また、最初の相手（例えば同僚）は身だしなみや部屋の状況を気にしない相手だったため隠す必要は無かったが、途中から参加したもう一人の相手（例えば上司）は、身だしなみや部屋の状況を気にする相手であった場合、見えると都合の悪いものが出てくるが、最初から繋がっていた相手には既に見えている部分であり、仮想画像で急に隠すと却って違和感が生じるといった状況が想定される。また、ユーザＡが寝癖や身なり、化粧をしていない姿を相手に見られたくない場合、ユーザＡの顔部分の表示オブジェクト４１ｃを装飾する（仮想的な化粧を施す）ことが望ましいが、急激な変化を伴う装飾を行うと相手に仮想的な化粧であると知られてしまう可能性がある。
　そこで本実施形態では、図６の画像４０－２に示すように、表示オブジェクト４１ａ～４１ｃと離隔した位置に誘導オブジェクト４３を表示し、相手（例えば、ユーザＢ）の視線を誘導する。相手側の視線は、例えば情報処理端末１０Ｂにより、情報処理端末１０Ｂのディスプレイ１３１ｂに表示している画像４０－１に対するユーザＢの視線を、視線センサ１１３ｂやカメラ１１１ｂによりセンシングしたデータに基づいて認識する。誘導オブジェクト４３は、キャラクター画像やエージェント画像であってもよく、動いたり音を出したりすることで、相手の注意を引くことが好ましい。また、誘導オブジェクト４３は、相手の趣味嗜好情報に応じて、相手が興味を示しそうなキャラクター画像やエージェント画像にしてもよい。
　このように相手の視線を誘導して装飾領域から外した上で、サーバ２０の装飾制御部２０１は、表示オブジェクト４１ａ～４１ｃの装飾（外観の変化）を開始する。装飾制御の内容としては、例えば机の上に散らかっているゴミ、乱雑な状態のペンや付箋、プリント等を消したり、キーボードの位置を正す画像加工を行ったり、事前に取得した普段の机（綺麗な状態の机）の画像や、普段のコミュニケーション時における机の画像（コミュニケーション時には綺麗にしている）を重畳表示したりすることが想定される。また、装飾制御部２０１は、事前に取得した化粧を施しているユーザの顔画像に基づいて、普段の化粧顔を再現するよう、ファンデーション、チーク、眉、アイメイク、および口紅を付加したり、シミやしわの除去、美白加工等を行い得る。
　このような装飾（外観の変化）は、時間を掛けて徐々に行うようにしてもよい。例えば装飾制御部２０１は、相手の視線が１回外れたタイミングで全ての変化を実行するのではなく、視線が外れる毎に段階的に変化させるようにしてもよい。また、装飾制御部２０１は、複数の表示オブジェクトがある場合、同時に装飾制御を開始してもよいし、相手の注意が向き難い場所（例えば画面端の領域や、相手の注視点から離れた領域、奥行き方向に遠い領域、相手が見慣れている物、誘目性が他よりも低いなど）にある表示オブジェクトから順に変化させるようにしてもよい。
　そして、最終的には、図６の画像４０－３に示すように、机や引き出しが綺麗な状態に変化した表示オブジェクト４１ａ、４２ｂ、及びユーザＡの顔に化粧が施された表示オブジェクト４１ｃが表示される。
　以上、図６を参照して装飾制御の具体的な内容について説明した。
　また、装飾制御部２０１は、コミュニケーション相手の注意が向いていない領域を検出（推定）し、その領域から（装飾が必要であると判断した場合は）変化させるようにしてもよい。「コミュニケーション相手の注意が向いていない領域の検出」は、上述した実際のコミュニケーション相手の視線認識に基づく注視状態および非注視状態の判定結果の他にも、以下のような手法が考えられる。
　例えば、空間内に存在する物体がコミュニケーション相手にとって既知かつ変化しない場合、コミュニケーション相手が注目せず、変化に気付き難いと推定される。したがって、空間内に存在する物体が既知かつ変化しない場合（例えばユーザがいつも同じ部屋に居る場合）、装飾制御部２０１は、相手のアテンションを捉えやすい順番を推定し、当該順番の低順位から変化させるようにしてもよい。相手のアテンションを捉えやすい物体／領域の判断は、例えば「視覚探索課題における妨害刺激とターゲット刺激との関係（Jeremy　Wolfe　and　Todd　S.　Horowitz　(2008),　Scholarpedia,　3(7):3325.）」などに基づくアルゴリズムにより行ってもよい。
　また、装飾制御部２０１は、相手の注視点から空間上距離の長い領域や、奥行き方向の距離が長い領域も、「コミュニケーション相手の注意が向いていない領域」として検出し、当該領域から順に変化させてもよい。また、装飾制御部２０１は、物体の色や大きさ、形、表示位置等に応じて、誘目性を推定し、誘目性の低い順から変化させるようにしてもよい。例えば、人間の場合は「顔」以外の部分、物体の場合は小さい物や、目立たない色の物、また、画角の端に表示されている物などが、誘目性の低いと推定される。
　（２）親近性に応じた装飾制御
　また、装飾制御部２０１は、コミュニケーション相手が以前に表示オブジェクト（または実オブジェクト）を見たときからの経過時間に応じて、外観変化の変化量を制御してもよい。例えば経過時間が所定値より長い場合、相手にとって表示オブジェクトは見慣れない物であり、また、以前に見た印象を強く持っている可能性もあるため、変化や以前との差に気付き易いと考えられる。このため、装飾制御部２０１は、より時間をかけてゆっくりと表示オブジェクトの外観を変化させる。
　一方、コミュニケーション相手が見慣れている表示オブジェクトや、誘目性の低い表示オブジェクト、汎用的な表示オブジェクトなどは、相手が注意を向け難いと考えられ、装飾制御部２０１は、このような表示オブジェクトの変化は短い時間で行うようにしてもよい。
　コミュニケーション相手が見慣れている表示オブジェクトに関する情報等は、ユーザＤＢ２２０から取得され得る。
　（３）変化の度合いの個人化
　人によっては、変化に敏感な人もいれば、特定の特性についてこだわりや興味があるため変化に気付き易い人がいることも考えられる。このような想定を鑑み、装飾制御部２０１は、個人の特徴に合わせて表示オブジェクトの変化の度合い（変化量）を調整するようにしてもよい。各ユーザの趣味嗜好や変化への敏感さ等の情報は、ユーザＤＢ２２０から取得され得る。制御部２００は、ユーザの普段の発言やコミュニケーション時における視線移動等からユーザの興味やこだわりを推定し、ユーザＤＢ２２０に格納してもよい。例えば、頻繁に髪形や服装の変化に言及している場合、「髪形や服装の変化に敏感な人」、「髪形や服装に興味のある人」と推定できる。また、インテリアなど空間内の物体に頻繁に言及している場合、「インテリアなどの変化に敏感な人」と推定できる。また、コミュニケーション開始時や対話時に服装や周囲を注視する頻度が一定以上である場合、服装や周囲の変化に敏感な人と推定できる。また、何に興味があるか、趣味嗜好等についてユーザ情報として予め各ユーザに入力させるようにしてもよい。
　また、ユーザが相手の特徴について設定してもよい。例えば、普段の会話から、この人はインテリアに感度が高い、あの人は服装に感度が高いなどとユーザ自ら判断し、設定しておいてもよい。装飾制御部２０１は、コミュニケーション相手が興味やこだわりを持ち、変化に敏感に気付き易い表示オブジェクトについては、変化をより緩やかにするよう調整し、出来るだけ気付かれないようにする。
　（４）色味や形の変化に伴う制御
　装飾制御部２０１は、装飾を行う表示オブジェクトの色や形などによって目立ちやすい変化が起こりやすい箇所を予め予測し、カメラアングルや背景を動的に変化させることで変化を目立たなくしたり、表示オブジェクトを画角に含まないようにしたりすることも可能である。
　例えば、顔色が悪い、顔に怪我をして傷がある、部屋が散らかっているなどの場合、これらは相手の注意を引いてしまう可能性が高く、変化も目立ちやすい。この場合、装飾制御部２０１は、表示オブジェクト周辺（背景）を表示オブジェクトの色や形の変化が目立たないような色に変更した上で、表示オブジェクトを変化させる（例えば顔色の変化、顔の怪我を消すなど）ことで、表示オブジェクトの変化を出来るだけ目立たないようにする。
　また、いくつかのカメラアングルが選択できる場合、装飾制御部２０１は、誘目されると都合が悪い領域が目立たない、若しくは画角から外れるアングルを選択するようにしてもよい。例えば装飾制御部２０１は、ユーザが移動しており、周辺に配置された複数のカメラでユーザの姿を追ってコミュニケーション相手にリアルタイムで提示している際に、部屋の散らかっている部分やキッチンの汚い部分など、相手に見られたくない部分が映り込んでしまう可能性を予測する（ユーザの移動経路を予測して判断してもよい）。そして、ユーザの移動経路から、相手に見られたくない部分が映り込んでしまう可能性が高いと判断した場合、装飾制御部２０１は、誘目されると都合が悪い領域が目立たない、若しくは画角から外れる別のカメラアングルに切り換える。また、普段化粧をしているユーザが化粧をせずにコミュニケーションを開始している場合には、装飾制御部２０１は、ズームアウトした映像をコミュニケーション相手に提示するよう制御し、誘目されると都合が悪い領域が目立たないようにする。
　（５）変化の方法
　装飾制御部２０１は、上述したように、表示オブジェクトを徐々に変化させることで、境界面の変化が目立つことを避け、コミュニケーション相手に変化を悟られないようにする。また、装飾制御部２０１は、表示オブジェクトの境界面から中央に向けて徐々に変化させることで表示オブジェクトの変化が目立つことを避けるようにしてもよい。
　また、装飾制御部２０１は、表示オブジェクトの境界面をぼかして周辺に（背景に）混ぜる表示制御を行ってもよい。
　また、装飾制御部２０１は、どうしても目立ってしまいそうな誘目性の高い（色、形、大きさ等に基づいて所定値より誘目性が高いと判断される）表示オブジェクトの場合、さらに誘目性の高い誘導オブジェクトを表示することで、コミュニケーション相手の視線を表示オブジェクトから逸らすようにしてもよい。誘導オブジェクトは、上述したようなキャラクター画像やエージェント画像の他、目立つインテリアや装飾品、ポスター、壁紙等であってもよい。装飾制御部２０１は、このような誘目性の高い誘導オブジェクトを表示している間に、表示オブジェクトの外観を変化させる制御を行う。
　（６）変化のトリガー
　続いて、装飾制御部２０１による装飾制御の条件（どのような場合に装飾制御を行うか）の一例について説明する。
　・通常時とギャップがある場合
　例えば、装飾制御部２０１は、ユーザが日常的にネットワークを介したコミュニケーションを行っている相手に対して普段と異なる状況になっていた場合（例えば、部屋が散らかっている、体調が悪く顔色が悪い、化粧をしていない、身支度が整っていない等）、装飾を行う。装飾制御部２０１は、ネットワークを介したコミュニケーションを行う際に、コミュニケーション相手に提示されるユーザ側の映像を分析し、一定の傾向（ユーザの普段の傾向）から一定以上外れているか否かを判断し、外れている場合は装飾を行うようにしてもよい。すなわち、普段は綺麗な状態でコミュニケーションを行っているが、その時だけは部屋が散らかっている状態になっていた場合、一定の傾向（物体が整頓されている状況）から外れるため、装飾が必要な状況であると判断し、装飾制御部２０１は、普段の傾向に合わせるよう表示オブジェクトの装飾を行う。
　・リアルとのギャップがある場合
　装飾制御部２０１は、ユーザが現実空間で実際にコミュニケーション相手と会っている場合と異なる状況になっていた場合（例えば会社ではきちんとした身なりで、化粧を行っているのに対し、テレワークにより自宅から会社に繋げた際には、髪の毛に寝癖がついていたり、化粧をしていなかったりした場合など）、装飾を行う。装飾制御部２０１は、例えばユーザの外出時の身なりや顔画像を記録し、ネットワークコミュニケーション時にユーザの姿が普段の傾向から外れているか否かを判断し、装飾要否を判断してもよい。また、装飾制御部２０１は、ユーザの身支度が、設定された所定の身支度基準（例えば、化粧の有無や、部屋着と外出着の登録など）を満たすか否かに基づいて、装飾要否を判断してもよい。
　・コミュニケーションの目的と一致しない場合
　装飾制御部２０１は、ネットワークコミュニケーションの目的（業務またはプライベートなど）と、ユーザ又はユーザが存在する空間の状態が一致していない場合、装飾を行うようにしてもよい。目的に一致する状態に関する情報は、装飾ルールとして予め設定され得るが、例えば業務目的のネットワークコミュニケーションの場合は、パーカーやスウェット、ジャージ等は相応しくないため、襟付きのシャツやニットなど他の服装に変化させるといった服装に関するルールなどが想定される。
　以上、変化のトリガーについて具体例を説明したが、本実施形態はこれらに限定されず、例えばユーザが予め又はリアルタイムで表示オブジェクトを指定してもよい。
　注視状態判定部２０２は、コミュニケーション相手の表示オブジェクトに対する注視状態および非注視状態を判定する。例えば、注視状態判定部２０２は、情報処理端末１０から取得した視線認識結果に基づいて、表示オブジェクトに対するユーザの注視状態又は非注視状態を判定する。
　（通信部２１０）
　通信部２１０は、有線又は無線によりネットワーク３０と接続し、ネットワーク３０を介して各情報処理端末１０とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、又はＷｉ－Ｆｉ（Wireless　Fidelity、登録商標）等によりネットワーク３０と通信接続する。
　（ユーザＤＢ２２０）
　ユーザＤＢ２２０は、ユーザに関連する情報を蓄積する。例えばユーザのコミュニケーション履歴（発話音声、映像、コミュニケーション相手、コミュニケーション目的等）、コミュ二ケーション時におけるユーザの服装や化粧、周辺の様子の傾向、ユーザの趣味嗜好、こだわり、特性（変化に対する敏感さなど）が蓄積される。
　（装飾ルールＤＢ２３０）
　装飾ルールＤＢ２３０は、本実施形態による装飾をどのような条件で行うかを規定するルールが蓄積されている。
　上記ユーザＤＢ２２０および装飾ルールＤＢ２３０は、サーバ２０に設けられた記憶部（不図示）に記憶される。記憶部は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭにより実現される。
　以上、本実施形態によるサーバ２０の構成について具体的に説明した。なお図５に示すサーバ２０の構成は一例であって、本実施形態はこれに限定されない。例えばサーバ２０の少なくとも一部の構成が外部装置にあってもよいし、制御部２００の各機能の少なくとも一部が情報処理端末１０又は通信距離が比較的情報処理端末１０に近い情報処理装置（例えば、いわゆるエッジサーバなど）により実現されてもよい。このように、サーバ２０の各構成を適宜分散することで、リアルタイム性の向上や処理負担の軽減、さらにはセキュリティを担保することが可能となる。
　また、図５に示す制御部２００の各構成および各ＤＢを全て情報処理端末１０に設け、本実施形態による情報処理システムを情報処理端末１０のアプリケーションにより実行するようにしてもよい。すなわち、コミュニケーションを行う者の情報処理端末１０同士で通信接続するシステム構成であってもよい。この場合、一方または両方の情報処理端末１０により、コミュニケーション相手に隠蔽したい表示オブジェクトの装飾制御が適宜行われる。
　＜＜３．動作処理＞＞
　続いて、本実施形態による動作処理について図７を参照して説明する。図７は、本実施形態に係る動作処理における装飾制御の流れの一例を示すフローチャートである。
　図７に示すように、まず、サーバ２０は、ユーザ間のネットワークを介したコミュニケーションを開始する（ステップＳ１０３）。
　次に、サーバ２０は、空間内の状況認識を行う（ステップＳ１０６）。例えばサーバ２０は、各空間から取得した情報（撮像画像や深度センサデータ等）に基づいて、各空間に存在するユーザの位置や、顔認識、および物体の認識等を行う。なお、空間の状況認識は、各情報処理端末１０により行われてもよい。
　次いで、サーバ２０は、装飾要否の判断を行う（ステップＳ１０９）。例えばサーバ２０は、普段のネットワークコミュニケーションにおける状況とのギャップがある場合や、リアルでコミュニケーション相手に会っている場合とのギャップがある場合、また、コミュニケーション目的に一致していない場合等に、装飾が必要であると判断する。若しくは、ユーザにより装飾実行指示が入力された場合には、装飾が必要であると判断する。
　次に、装飾が必要であると判断した場合(ステップＳ１０９／Ｙｅｓ)、装飾制御部２０１は、装飾制御の方法を特定する（ステップＳ１１２）。装飾制御の方法は、上述したように、コミュニケーション相手の注視状態に応じた装飾制御（併せて、誘導オブジェクトの提示など）、誘目性に応じて推定した順番に基づく装飾制御、親近性に応じた装飾制御、および変化への敏感さやインテリア等へのこだわりなどコミュニケーション相手の特性に応じた装飾制御等が挙げられる。装飾制御部２０１は、予め設定された装飾制御の方法に特定してもよいし、状況に応じて適切な装飾制御の方法を特定してもよいし、複数の装飾制御を適宜組み合わせて特定してもよい。例えば、コミュニケーション相手の注視状態に応じた装飾制御を行うと特定し、コミュニケーション相手の注目が表示オブジェクト周辺にある場合は誘導オブジェクトを提示したり、装飾要の表示オブジェクトが複数ある場合には誘導オブジェクトを提示した上で誘目性の低い順に装飾を開始したり、さらに親近性や敏感さを考慮して変化量を調整したりするようにしてもよい。
　次いで、特定した装飾制御の方法がコミュニケーション相手の視線情報を用いる方法である場合、サーバ２０は、相手側の視線を検出する（ステップＳ１１５）。具体的には、注視状態判定部２０２により、相手側の表示オブジェクトに対する注視状態／非注視状態を判定する。
　次に、サーバ２０の装飾制御部２０１は、表示オブジェクトの装飾制御（表示オブジェクトの外観の変化）を行う（ステップＳ１１８）。
　一方、装飾が必要ではないと判断した場合（ステップＳ１０９／Ｎｏ）、サーバ２０は表示オブジェクトの装飾は行わず、ユーザ空間の映像をそのままコミュニケーション相手の空間の表示装置に出力する（ステップＳ１２１）。
　上記ステップＳ１０６～Ｓ１２１に示す処理は、コミュニケーションが終了するまで繰り返される（ステップＳ１２４）。
　以上、本実施形態による動作処理の一例を説明した。なお図７に示す動作処理は一例であって、本開示は図７に示す例に限定されない。例えば、本開示は、図７に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップＳ１１５の処理とステップＳ１１２の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。
　また、図７に示す全ての処理が必ずしも実行されてなくともよい。
　また、図７に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、ステップＳ１０３～ステップＳ１０６とステップＳ１１８の処理が情報処理端末１０で行われ、ステップＳ１０９～ステップＳ１１５の処理がサーバ２０で行われる等、複数の装置で行われてもよい。
　また、図７に示す各処理が必ずしも時間的に順次行われなくともよい。例えば、ステップＳ１０６に示す状況認識処理が継続的に行われ、並行してステップＳ１０９～Ｓ１１８に示す処理が行われてもよい。
　＜＜４．補足＞＞
　続いて、本実施形態についていくつか補足を行う。
　（装飾対象についての補足）
　装飾制御部２０１は、ユーザの顔や物体の装飾に限定されず、ユーザの動作の特徴や癖を消すことも可能である。例えば、装飾制御部２０１は、髪をいじる、爪をいじる、腕組み、貧乏揺すり等の動作を消して、手を下ろした状態に変化させてもよい。手を下ろした状態への変化は、ユーザの前後の動作と自然に繋がるよう制御することが好ましい。また、舌打ち、口癖などを、生活音やノイズなどで隠すようにしてもよい。
　装飾制御部２０１は、ユーザの声を装飾することも可能である。例えば予め普段のユーザの音声を記録しておき、状況や相手によってユーザ音声の出力を調整する。これにより、例えば風邪などでのどの調子が悪い場合も、相手側には普段の音声に加工した状態でユーザの音声を提示することが可能である。
　また、装飾制御部２０１は、ユーザの声を、その場の雰囲気に適した声に加工して出力してもよい。例えばユーザの気分が落ち込んでいる場合でも、落ち込んだトーンの会話が適さないコミュニケーション時には（例えば業務目的など）、ユーザの声のピッチを高めに出力したり、話速を速くしたりして気分が高まっているように見せることも可能である。また、装飾制御部２０１は、ビジネス相手とのコミュニケーション場合、ユーザの声を落ち着いた口調に変換するようにしてもよい。
　また、装飾制御部２０１は、ユーザの声が目立つ場合は、別の音を提示してコミュニケーション相手の注意を引き付けて、ユーザの声の変化をマスキングしてもよい。
　（音声による視線誘導）
　コミュニケーション相手の注意を逸らす手法として誘導オブジェクトを提示する場合について上述したが、本実施形態はこれに限定されず、例えば対象物と離隔した位置に音像定位した音声情報を出力するようにしてもよい。例えば、コミュニケーション相手が使用している情報処理端末がＨＭＤ等のウェアラブルデバイスの場合、空間定位させた音により表示オブジェクトと異なる方向にアテンションを取ることも可能である。
　（調光制御）
　装飾制御部２０１は、表示オブジェクトを変化する際に調光を制御し、変化が見え難いようにしてもよい。例えば表示オブジェクトの変化時は蛍光灯の光から間接照明の色合いの光に画面全体を変化させて変化が目立たないようにしてもよい。また、装飾制御部２０１は、表示オブジェクトを装飾する代わりに表示オブジェクトの領域を調光して見え難くしてもよい。
　（隠蔽対象および隠蔽レベルの判断）
　装飾制御部２０１は、表示オブジェクトの重要度に応じて、徐々に変化させるかすぐに変化させるかを判断してもよい。例えば機密書類は重要度が高いため、相手に多少不自然に思われてもすぐに隠蔽する（すぐに変化させる）ことが好ましい。
　また、装飾制御部２０１は、コミュニケーションに参加した人物や当該人物との関係性に応じて動的に装飾する表示オブジェクトを判断してもよい。例えば同僚と二人でコミュニケーションを行っていたところに上司が加わった場合、装飾制御部２０１は、同僚および上司に悟られないよう、上司とのコミュニケーションに適した装いにユーザを装飾する。
　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、コミュニケーション相手に悟られずに（違和感を持たれずに）、実空間の表示を変化させる（実空間に存在する人物や物体に仮想的な装飾を施して都合の悪い部分を隠す）ことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理端末１０又はサーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理端末１０又はサーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
　前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
を備える、情報処理装置。
（２）
　前記表示制御部は、前記注視状態から前記非注視状態に移る毎に、前記表示オブジェクトの外観を段階的に変化させる、前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記表示オブジェクトの外観の変化量を、時間経過に応じて徐々に大きくする、前記（１）に記載の情報処理装置。
（４）
　前記表示制御部は、
　　前記第１のユーザの視線を誘導する誘導領域を前記表示オブジェクトと離隔した位置に出力する制御を行った後、
　　前記表示オブジェクトに対して前記第１のユーザが前記非注視状態の際に、前記表示オブジェクトの外観を変化させる、前記（１）又は（２）に記載の情報処理装置。
（５）
　前記誘導領域の生成は、
　　前記表示オブジェクトと離隔した位置における誘導オブジェクトの表示、または、前記表示オブジェクトと離隔した領域の誘目性を高める制御である、前記（４）に記載の情報処理装置。
（６）
　前記情報処理装置は、
　　前記表示オブジェクトと離隔した位置に音像定位した音声情報を出力する音声制御部をさらに備え、
　前記表示制御部は、
　　前記音声情報が出力された後、前記表示オブジェクトに対して前記第１のユーザが前記非注視状態の際に、前記表示オブジェクトの外観を変化させる、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（７）
　前記判定部は、
　　前記第１のユーザの視線、顔、又は頭部の向きに基づいて、前記表示オブジェクトに対する前記第１のユーザの前記注視状態又は非注視状態を判定する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記表示制御部は、
　　前記第１のユーザが変化を認識し難いと推定される部分から変化させる、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記表示制御部は、
　　複数の前記表示オブジェクトのうち、誘目性の低い表示オブジェクトから順に変化させる、前記（８）に記載の情報処理装置。
（１０）
　前記表示制御部は、
　　複数の前記表示オブジェクトのうち、前記第１のユーザの注視点から空間上の距離が長い領域から変化させる、前記（８）に記載の情報処理装置。
（１１）
　前記表示制御部は、
　　前記表示オブジェクトが人物の場合、顔以外の部分から変化させる、前記（８）に記載の情報処理装置。
（１２）
　前記表示制御部は、
　　前記表示オブジェクトが人物以外の場合、前記表示装置によって表示する画角の端の部分から変化させる、前記（８）に記載の情報処理装置。
（１３）
　前記表示制御部は、
　　前記表示オブジェクトが、前記第１のユーザにより見慣れたものであるか否かに応じて、変化量を制御する、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記表示オブジェクトは、前記第２の実空間で撮像された実オブジェクトである、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　前記表示制御部は、
　　前記第１のユーザの変化に対する感度の高さに応じて、前記表示オブジェクトの変化量を調整する、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記表示制御部は、
　　前記実オブジェクトの外観が一定の傾向から外れる状態にある場合、前記表示オブジェクトを前記一定の傾向を満たすよう外観を変化させる制御を行う、前記（１４）に記載の情報処理装置。
（１７）
　プロセッサが、
　第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定することと、
　前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させることと、
を含む、情報処理方法。
（１８）
　コンピュータを、
　第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
　前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
として機能させるためのプログラムが記録された、記録媒体。
　１　　情報処理システム
　１０　　情報処理端末
　２０　　サーバ
　３０　　ネットワーク
　１００　制御部
　１０１　視線認識部
　１０２　音声制御部
　１０３　表示制御部
　１１０　入力部
　１１１　カメラ
　１１２　マイクロフォン
　１１３　視線センサ
　１２０　操作Ｉ／Ｆ（インタフェース）
　１３０　出力部
　１３１　ディスプレイ
　１３２　スピーカ
　１４０　通信部
　１５０　記憶部
　２００　制御部
　２０１　装飾制御部
　２０２　注視状態判定部
　２１０　通信部
　２２０　ユーザＤＢ
　２３０　装飾ルールＤＢ

Claims (18)

  1. 　第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    　前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    を備える、情報処理装置。
  2. 　前記表示制御部は、前記注視状態から前記非注視状態に移る毎に、前記表示オブジェクトの外観を段階的に変化させる、請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記表示オブジェクトの外観の変化量を、時間経過に応じて徐々に大きくする、請求項１に記載の情報処理装置。
  4. 　前記表示制御部は、
    　　前記第１のユーザの視線を誘導する誘導領域を前記表示オブジェクトと離隔した位置に出力する制御を行った後、
    　　前記表示オブジェクトに対して前記第１のユーザが前記非注視状態の際に、前記表示オブジェクトの外観を変化させる、請求項１に記載の情報処理装置。
  5. 　前記誘導領域の生成は、
    　　前記表示オブジェクトと離隔した位置における誘導オブジェクトの表示、または、前記表示オブジェクトと離隔した領域の誘目性を高める制御である、請求項４に記載の情報処理装置。
  6. 　前記情報処理装置は、
    　　前記表示オブジェクトと離隔した位置に音像定位した音声情報を出力する音声制御部をさらに備え、
    　前記表示制御部は、
    　　前記音声情報が出力された後、前記表示オブジェクトに対して前記第１のユーザが前記非注視状態の際に、前記表示オブジェクトの外観を変化させる、請求項１に記載の情報処理装置。
  7. 　前記判定部は、
    　　前記第１のユーザの視線、顔、又は頭部の向きに基づいて、前記表示オブジェクトに対する前記第１のユーザの前記注視状態又は非注視状態を判定する、請求項１に記載の情報処理装置。
  8. 　前記表示制御部は、
    　　前記第１のユーザが変化を認識し難いと推定される部分から変化させる、請求項１に記載の情報処理装置。
  9. 　前記表示制御部は、
    　　複数の前記表示オブジェクトのうち、誘目性の低い表示オブジェクトから順に変化させる、請求項８に記載の情報処理装置。
  10. 　前記表示制御部は、
    　　複数の前記表示オブジェクトのうち、前記第１のユーザの注視点から空間上の距離が長い領域から変化させる、請求項８に記載の情報処理装置。
  11. 　前記表示制御部は、
    　　前記表示オブジェクトが人物の場合、顔以外の部分から変化させる、請求項８に記載の情報処理装置。
  12. 　前記表示制御部は、
    　　前記表示オブジェクトが人物以外の場合、前記表示装置によって表示する画角の端の部分から変化させる、請求項８に記載の情報処理装置。
  13. 　前記表示制御部は、
    　　前記表示オブジェクトが、前記第１のユーザにより見慣れたものであるか否かに応じて、変化量を制御する、請求項１に記載の情報処理装置。
  14. 　前記表示オブジェクトは、前記第２の実空間で撮像された実オブジェクトである、請求項１に記載の情報処理装置。
  15. 　前記表示制御部は、
    　　前記第１のユーザの変化に対する感度の高さに応じて、前記表示オブジェクトの変化量を調整する、請求項１に記載の情報処理装置。
  16. 　前記表示制御部は、
    　　前記実オブジェクトの外観が一定の傾向から外れる状態にある場合、前記表示オブジェクトを前記一定の傾向を満たすよう外観を変化させる制御を行う、請求項１４に記載の情報処理装置。
  17. 　プロセッサが、
    　第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定することと、
    　前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させることと、
    を含む、情報処理方法。
  18. 　コンピュータを、
    　第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    　前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    として機能させるためのプログラムが記録された、記録媒体。
PCT/JP2018/048394 2018-03-13 2018-12-28 情報処理装置、情報処理方法、および記録媒体 WO2019176236A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/978,267 US11417296B2 (en) 2018-03-13 2018-12-28 Information processing device, information processing method, and recording medium
JP2020505604A JP7259838B2 (ja) 2018-03-13 2018-12-28 情報処理装置、情報処理方法、および記録媒体
CN201880090823.4A CN111819518A (zh) 2018-03-13 2018-12-28 信息处理设备、信息处理方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018045141 2018-03-13
JP2018-045141 2018-03-13

Publications (1)

Publication Number Publication Date
WO2019176236A1 true WO2019176236A1 (ja) 2019-09-19

Family

ID=67907167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/048394 WO2019176236A1 (ja) 2018-03-13 2018-12-28 情報処理装置、情報処理方法、および記録媒体

Country Status (4)

Country Link
US (1) US11417296B2 (ja)
JP (1) JP7259838B2 (ja)
CN (1) CN111819518A (ja)
WO (1) WO2019176236A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182126A1 (ja) * 2020-03-09 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
WO2021200152A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
WO2022107582A1 (ja) * 2020-11-18 2022-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及びモデルの生成方法
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020129115A1 (ja) * 2018-12-17 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
JP2021192157A (ja) * 2020-06-05 2021-12-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN112415783B (zh) * 2021-01-19 2021-04-06 北京佳珥医学科技有限公司 一种美瞳式ar眼镜

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268101A1 (en) * 2005-05-25 2006-11-30 Microsoft Corporation System and method for applying digital make-up in video conferencing
US7227567B1 (en) * 2004-09-14 2007-06-05 Avaya Technology Corp. Customizable background for video communications
JP2010529738A (ja) * 2007-05-31 2010-08-26 イーストマン コダック カンパニー 居宅用動画通信システム
JP2012175136A (ja) * 2011-02-17 2012-09-10 Nec Corp カメラシステムおよびその制御方法
JP2012213013A (ja) * 2011-03-31 2012-11-01 Nippon Telegr & Teleph Corp <Ntt> Ｔｖ会議システム
JP2014532206A (ja) * 2011-09-08 2014-12-04 インテル・コーポレーション インタラクティブな画面閲覧
JP2016506669A (ja) * 2012-12-20 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー プライバシー・モードのあるカメラ
JP2017509943A (ja) * 2014-01-31 2017-04-06 エンパイア テクノロジー ディベロップメント エルエルシー 対象者選択式拡張現実スキン

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US8917238B2 (en) * 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
WO2014171200A1 (ja) * 2013-04-16 2014-10-23 ソニー株式会社 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム
CN103927778B (zh) * 2013-05-31 2017-04-19 深圳信息职业技术学院 一种虚拟人环境感知的仿真方法及系统
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9227736B2 (en) * 2014-03-07 2016-01-05 Honeywell International Inc. Methods and apparatus for determining pilot awareness of a system-initiated change based on scanning behavior
KR20150145616A (ko) * 2014-06-20 2015-12-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US10832479B2 (en) * 2015-06-15 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
KR102610120B1 (ko) * 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227567B1 (en) * 2004-09-14 2007-06-05 Avaya Technology Corp. Customizable background for video communications
US20060268101A1 (en) * 2005-05-25 2006-11-30 Microsoft Corporation System and method for applying digital make-up in video conferencing
JP2010529738A (ja) * 2007-05-31 2010-08-26 イーストマン コダック カンパニー 居宅用動画通信システム
JP2012175136A (ja) * 2011-02-17 2012-09-10 Nec Corp カメラシステムおよびその制御方法
JP2012213013A (ja) * 2011-03-31 2012-11-01 Nippon Telegr & Teleph Corp <Ntt> Ｔｖ会議システム
JP2014532206A (ja) * 2011-09-08 2014-12-04 インテル・コーポレーション インタラクティブな画面閲覧
JP2016506669A (ja) * 2012-12-20 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー プライバシー・モードのあるカメラ
JP2017509943A (ja) * 2014-01-31 2017-04-06 エンパイア テクノロジー ディベロップメント エルエルシー 対象者選択式拡張現実スキン

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182126A1 (ja) * 2020-03-09 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
WO2021200152A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
WO2022107582A1 (ja) * 2020-11-18 2022-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及びモデルの生成方法
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
US20200410960A1 (en) 2020-12-31
CN111819518A (zh) 2020-10-23
US11417296B2 (en) 2022-08-16
JPWO2019176236A1 (ja) 2021-03-25
JP7259838B2 (ja) 2023-04-18

Similar Documents

Publication Publication Date Title
WO2019176236A1 (ja) 情報処理装置、情報処理方法、および記録媒体
AU2021239971B2 (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
US11615596B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11320655B2 (en) Graphic interface for real-time vision enhancement
CN117724630A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
JP2014203377A (ja) 画像処理装置および記憶媒体
US20240012601A1 (en) Wearable device for facilitating enhanced interaction
JP2013077013A (ja) 表示装置、表示方法
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
JP7459375B2 (ja) ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース
CN109068126A (zh) 视频播放方法、装置、存储介质及穿戴式设备
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20170270969A1 (en) Real time computer display modification
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US11947733B2 (en) Muting mode for a virtual object representing one or more physical elements
US20240005612A1 (en) Content transformations based on reflective object recognition
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240103608A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240153205A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240104836A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
US20240005623A1 (en) Positioning content within 3d environments
US20230306695A1 (en) Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
US20230350539A1 (en) Representations of messages in a three-dimensional environment
CN117333788A (zh) 基于反射对象识别的内容转换
CN117331434A (zh) 在3d环境内定位内容

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909592

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020505604

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18909592

Country of ref document: EP

Kind code of ref document: A1