WO2021157367A1 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2021157367A1
WO2021157367A1 PCT/JP2021/001948 JP2021001948W WO2021157367A1 WO 2021157367 A1 WO2021157367 A1 WO 2021157367A1 JP 2021001948 W JP2021001948 W JP 2021001948W WO 2021157367 A1 WO2021157367 A1 WO 2021157367A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
information processing
processing device
state
user
Prior art date
Application number
PCT/JP2021/001948
Other languages
English (en)
French (fr)
Inventor
祐介 阪井
昌宣 瀬戸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/759,618 priority Critical patent/US20230046746A1/en
Priority to JP2021575708A priority patent/JPWO2021157367A1/ja
Publication of WO2021157367A1 publication Critical patent/WO2021157367A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present technology relates to an information processing device and an information processing method, and particularly to an information processing device and an information processing method that enable users in remote locations to grasp the situation of the other party's space more deeply.
  • Patent Document 1 As a technology related to a video communication system, for example, the technology disclosed in Patent Document 1 is known.
  • a user in one space can communicate with a user in the other space by enabling him / her to point to an arbitrary position.
  • This technology was made in view of such a situation, and enables users in remote areas to grasp the situation of the other party's space more deeply.
  • the information processing device on one aspect of the present technology includes a first space in which a first photographing device and a first display device are installed, and a second space in which a second photographing device and a second display device are installed.
  • a photographed image captured by a photographing device in one space is displayed in real time by a display device in the other space, the second photographing device in the display area of the first display device.
  • the information processing device is installed in the first space where the first photographing device and the first display device are installed, and the second photographing device and the second display device are installed.
  • the photographed image taken by the photographing device in one space is displayed in real time by the display device in the other space.
  • the first space in which the first photographing device and the first display device are installed, and the second photographing device and the second display device are provided.
  • the display area of the first display device when the captured image taken by the photographing device in one space is displayed in real time by the display device in the other space between the installed second space and the second space.
  • the state of the second space is presented in the ineffective area excluding the effective area in which the photographed image photographed by the second photographing apparatus is displayed.
  • the information processing device on one aspect of the present technology may be an independent device or an internal block constituting one device.
  • FIG. 1 shows an example of the configuration of an embodiment of an information processing system to which the present technology is applied.
  • the information processing system 1 is configured by connecting two information processing devices 10A and information processing devices 10B as telepresence devices to a network 50 such as the Internet.
  • the information processing device 10A and the information processing device 10B are provided in different spaces such as different buildings and different rooms. That is, in FIG. 1, a user in the vicinity of the information processing device 10A and a user in the vicinity of the information processing device 10B are users who are remote from each other.
  • the information processing device 10A and the information processing device 10B basically have the same configuration. The details will be described later, but the information processing device 10A and the information processing device 10B each have a large-sized display, a camera that captures the surrounding state, a microphone that collects ambient sounds such as environmental sounds, and sounds. A speaker or the like that outputs information is provided.
  • data such as a video corresponding to a captured image taken by each camera and a sound collected by a microphone can be transmitted and received, for example, the connection between both devices can be performed. It is always done in real time while it is established.
  • the information processing device 10A displays an image corresponding to the captured image taken by the information processing device 10B, and outputs the sound collected by the information processing device 10B.
  • the image corresponding to the captured image taken by the information processing device 10B shows the state of the space where the information processing device 10B is installed, including the figure of the user in the vicinity of the information processing device 10B. Further, the sound collected by the information processing device 10B includes environmental sounds in the space where the information processing device 10B is installed, including the voice of a user in the vicinity of the information processing device 10B.
  • a user in the vicinity of the information processing device 10A can feel that there is a user in the vicinity of the information processing device 10B relative to the other side of the information processing device 10A near him / her.
  • the information processing device 10B displays an image corresponding to the captured image taken by the information processing device 10A, and outputs the sound collected by the information processing device 10A.
  • the image corresponding to the captured image taken by the information processing device 10A shows the state of the space where the information processing device 10A is installed, including the figure of the user in the vicinity of the information processing device 10A. Further, the sound collected by the information processing device 10A includes environmental sounds in the space where the information processing device 10A is installed, including the voice of a user in the vicinity of the information processing device 10A.
  • the user of the information processing device 10B can feel that the user of the information processing device 10A is facing the other side of the information processing device 10B near him / her.
  • the user of the information processing device 10A can naturally communicate with the user of the information processing device 10B as if the user of the information processing device 10B is in an adjacent space.
  • the user of the information processing device 10B can naturally communicate with the user of the information processing device 10A as if the user of the information processing device 10A is in an adjacent space.
  • the users of the information processing device 10A and the information processing device 10B can communicate more smoothly while feeling close to each other without being actively conscious of trying to communicate with each other.
  • the information processing device 10A when it is not necessary to distinguish between the information processing device 10A and the information processing device 10B as appropriate, they are collectively referred to as the information processing device 10.
  • Other configurations provided in pairs will be described in the same manner.
  • the user who is using one of the information processing devices 10 of interest is simply referred to as a user, while the other information is remote.
  • a user using the processing device 10 is referred to as a partner user to distinguish them.
  • the space in which the information processing device 10A is installed is also referred to as a space at point A
  • the space in which the information processing device 10B is installed is also referred to as a space at point B.
  • FIG. 2 shows an example of the configuration of the information processing device 10 of FIG.
  • the information processing device 10 is, for example, a device such as a display device that can be connected to a network 50 such as the Internet, and is configured as a telepresence device.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • the CPU 101 controls the operation of each part of the information processing device 10 by executing the program recorded in the ROM 102 or the storage unit 108. Various data are appropriately stored in the RAM 103.
  • the input / output I / F 105 is also connected to the bus 104.
  • An input unit 106, an output unit 107, a storage unit 108, and a communication unit 109 are connected to the input / output I / F 105.
  • the input unit 106 supplies various input data to each unit including the CPU 101 via the input / output I / F 105.
  • the input unit 106 includes an operation unit 111, a camera unit 112, a sound collecting unit 113, and a sensor unit 114.
  • the operation unit 111 is operated by the user and supplies the operation data corresponding to the operation to the CPU 101.
  • the operation unit 111 is composed of physical buttons, a touch panel, and the like.
  • the camera unit 112 generates and outputs captured image data by photoelectrically converting the light from the subject incident therein and performing signal processing on the electric signal obtained as a result.
  • the camera unit 112 is composed of an image sensor, a signal processing unit, and the like.
  • the sound collecting unit 113 receives sound as vibration of air and outputs sound information data as its electric signal.
  • the sound collecting unit 113 is configured as a microphone or the like.
  • the sensor unit 114 senses spatial information, time information, etc., and outputs sensor data obtained as a result of the sensing.
  • the sensor unit 114 includes an acceleration sensor, a gyro sensor, and the like.
  • the accelerometer measures acceleration in three directions on the XYZ axes.
  • the gyro sensor measures the angular velocities of the three axes of the XYZ axes.
  • An inertial measurement unit may be provided to measure three-dimensional acceleration and angular velocity with a three-way accelerometer and a three-axis gyroscope.
  • the sensor unit 114 includes a biological sensor that measures information such as the heart rate, body temperature, or posture of a living body, a proximity sensor that measures a proximity object, a magnetic sensor that measures the magnitude and direction of a magnetic field (magnetic field), and the like. Various sensors can be included.
  • the output unit 107 outputs various information according to the control from the CPU 101 via the input / output I / F 105.
  • the output unit 107 includes a display unit 121, a sound output unit 122, and a vibration unit 123.
  • the display unit 121 displays an image or the like according to the captured image data according to the control from the CPU 101. It is composed of a display unit 121, a panel unit such as a liquid crystal panel or an OLED (Organic Light Emitting Diode) panel, and a signal processing unit. Further, the display unit 121 may be a projector. With the projector, it is possible to project and display an image corresponding to the captured image data on an arbitrary screen.
  • the display area (display surface) of the panel unit of the display unit 121 the area in which the captured image (video) of the space where the other user is located at a remote location (the space of the other party to be connected) is displayed is referred to as an effective area.
  • the area excluding the effective area will be referred to as a non-effective area. It can be said that the non-effective area is a masked mask area.
  • the vibrating unit 123 vibrates the ineffective area (display surface) in the display area of the display unit 121 according to the control from the CPU 101.
  • the vibrating unit 123 is composed of, for example, a vibrating mechanism having a motor, a piezoelectric element, or the like.
  • the display unit 121 and the vibrating unit 123 may be integrally configured. Further, when a stereoscopic display in which a large number of pins having a predetermined shape are arranged on the display surface is used as the display unit 121, vibration may be expressed by controlling the movement of the pins.
  • the sound output unit 122 outputs a sound according to the sound information data according to the control from the CPU 101.
  • the sound output unit 122 is composed of a speaker, headphones connected to an output terminal, and the like.
  • the storage unit 108 records various data and programs according to the control from the CPU 101.
  • the CPU 101 reads various data from the storage unit 108, processes the data, and executes a program.
  • the storage unit 108 is configured as an auxiliary storage device such as a semiconductor memory.
  • the storage unit 108 may be configured as an internal storage or may be an external storage such as a memory card.
  • the communication unit 109 communicates with other devices via the network 50 according to the control from the CPU 101.
  • the communication unit 109 is configured as a communication module that supports cellular communication (for example, LTE-Advanced, 5G, etc.), wireless communication such as wireless LAN (Local Area Network), or wired communication.
  • cellular communication for example, LTE-Advanced, 5G, etc.
  • wireless communication such as wireless LAN (Local Area Network), or wired communication.
  • the configuration of the information processing device 10 shown in FIG. 2 is an example, for example, an image processing circuit such as a GPU (Graphics Processing Unit) or a short distance such as Bluetooth (registered trademark) or NFC (Near Field Communication).
  • a short-range wireless communication circuit, a power supply circuit, etc. that perform wireless communication according to the wireless communication standard can be provided.
  • FIG. 3 shows an example of the functional configuration of the control unit 100 in the information processing device 10.
  • the function of the control unit 100 is realized by executing a predetermined program by the CPU 101.
  • control unit 100 includes a data acquisition unit 131, an analysis processing unit 132, and a presentation control unit 133.
  • the data acquisition unit 131 acquires the analysis target data input therein and supplies it to the analysis processing unit 132.
  • the analysis target data includes captured image data captured by the camera unit 112 and sensor data detected by the sensor unit 114.
  • the analysis target data may be any data used in the subsequent analysis process, and for example, sound information data collected by the sound collecting unit 113 may be used as the analysis target data.
  • the analysis processing unit 132 performs an analysis process using the analysis target data supplied from the data acquisition unit 131, and supplies the analysis result to the presentation control unit 133.
  • the analysis processing unit 132 analyzes the user's state using analysis target data such as captured image data and sensor data based on human visual characteristics.
  • the user's state includes a state such as a user's cognitive state and position.
  • the analysis processing unit 132 determines the shape of the effective area in the display area of the display unit 121 based on the analysis result of the user's state, and supplies the analysis result to the presentation control unit 133.
  • the analysis processing unit 132 analyzes the state of the other party's space using captured image data, sensor data, and the like.
  • the state of the other party's space includes the state of the other user, the state of the environment of the other party's space (weather, occurrence of an earthquake, etc.), the state of an object in the other party's space (sign, sound, etc.).
  • the analysis processing unit 132 determines information regarding the presentation of the ineffective area in the display area of the display unit 121 based on the analysis result of the state of the space of the other party, and supplies the analysis result to the presentation control unit 133.
  • the presentation control unit 133 controls the display of the effective area or the ineffective area in the display area of the display unit 121 based on the analysis result supplied from the analysis processing unit 132. Further, the presentation control unit 133 responds to the sound output by the sound output unit 122 and the ineffective area (corresponding to) in the display area of the display unit 121 by the vibration unit 123 based on the analysis result supplied from the analysis processing unit 132. Control the vibration of the surface).
  • the presentation control unit 133 controls the shape of the effective area in the display area of the display unit 121 so that the shape corresponds to the analysis result of the user's state. Further, the presentation control unit 133 controls the presentation of the ineffective area in the display area of the display unit 121 so that the presentation is made according to the analysis result of the state of the space of the other party. At this time, the presentation control unit 133 controls to present the state of the other party's space to all or a part of the ineffective area corresponding to the state.
  • the information processing system 1 is configured as described above.
  • the shape of the effective area in the display area of the display unit 121 that displays the image of the other party's space has an aspect ratio of the aspect ratio.
  • the shape is variable, such as changing from a rectangular shape to a circular shape.
  • the shape of the effective area in the display area is changed to change the spatial cognition of the user and the cognitive sense of the sign of the person, thereby giving the user the atmosphere of the space of the other party to be connected and the other party. It is possible to optimally change the way users feel their feelings, provide a more appropriate connection between both spaces, and enable users in remote locations to communicate more naturally.
  • the image displayed in the display area having a rectangular shape has an effect of reminding the user of a clear sense of purpose and an objective viewpoint, and is effective for video conferencing and materials (particularly). It is suitable for situations such as sharing (materials centered on languages and symbols).
  • the shape of the effective region in the display region can be changed to a circular shape.
  • the information processing device 10 by displaying the image including the other user in the effective area having a circular shape, the user can consciously peripherally consciously without paying attention to the detailed information at the corners. Utilizing the effect of making it easier to capture spatial information on the other user's side, it enables more natural and comfortable remote communication.
  • the shape of the effective area in the display area is not limited to a rectangle or a circle, and may be changed to another shape such as a vertically long ellipse or a semicircle.
  • information processing apparatus 10 information such as the position of the user, the height and orientation of the viewpoint, and human visual characteristics (for example, visual field characteristics such as human visual field characteristic map information) are combined. Therefore, it is possible to determine the optimum shape of the effective area according to an arbitrary visual information priority parameter (for example, atmosphere, character, sign, person, etc.) and control the shape of the effective area in the display area.
  • a visual information priority parameter for example, atmosphere, character, sign, person, etc.
  • FIG. 4 shows an example of a change in the shape of the effective region 161 in the display region 151 of the display unit 121 in the information processing apparatus 10.
  • the image of the whole body of the other user is displayed in the display area 151. That is, in A of FIG. 4, the display area 151 coincides with the effective area 161.
  • the information processing device 10 analyzes the user's state using analysis target data such as sensor data based on human visual characteristics.
  • human visual characteristics include visual field characteristics such as discriminative visual field, effective visual field, stable gaze, guided visual field, and auxiliary visual field.
  • the user's state includes a state such as a user's cognitive state.
  • the information processing device 10 changes the shape of the effective area 161 in the display area 151 of the display unit 121 based on the analysis result of the user's state.
  • the shape of the effective region 161 in the display region 151 is changed from the rectangular shape shown in A of FIG. 4 to the circular shape shown in B of FIG.
  • an image of the upper body of the other user is displayed in the effective area 161 having a circular shape.
  • the area excluding the effective area 161 in the display area 151 is the ineffective area 162.
  • the information processing apparatus 10 changes the shape of the effective region 161 in the display region 151 from the circular shape shown in B of FIG. 4 to the rectangular shape shown in A of FIG. 4 based on the analysis result of the user's state. It can also be changed to.
  • the information processing device 10 can give a natural and comfortable feeling of constant connection by changing the shape of the effective area in the display area according to the state of the user.
  • the details will be described later, in the analysis using the analysis target data, in addition to the user's state, for example, the context and the relative relationship with the other user are analyzed, and the shape of the effective area in the display area is based on the analysis result. You may control.
  • a telepresence system to improve the quality of relationships with remote locations by changing the shape of the effective area in the display area to a circle or ellipse, it eliminates the sense of invasion of privacy and excessive purpose orientation. , You can create appropriate co-creation activities while feeling the space and the other user more naturally.
  • the non-effective area as the mask area can be utilized to present the state of the space of the other party.
  • the state of the partner's space is presented in the non-effective area 162 excluding the portion of the circular effective area 161 in the rectangular display area 151 shown in FIG. 4B.
  • the state of the other party's space includes the state of the other user, the state of the environment of the other party's space (weather, occurrence of an earthquake, etc.), the state of an object in the other party's space (sign, sound, etc.).
  • the presentation of the ineffective area 162 in the display area 151 is controlled based on the analysis result of the state of the space of the other party.
  • FIG. 4 illustrates a case where the shape of the effective region 161 in the display region 151 is changed to a rectangular shape and a circular shape, but the shape of the effective region 161 is the display unit 121 (panel portion).
  • Various shapes that can be expressed by 5 to 7 show examples of the shapes of the effective region 161 and the ineffective region 162 in the display region 151.
  • FIG. 5 shows a first example of the shapes of the effective region 161 and the non-effective region 162 in the display region 151.
  • FIG. 5 shows a case where the shape of the effective region 161 in the display region 151 of the display unit 121 having the panel portion having a vertically long rectangular shape is changed to another shape.
  • the original shape of the effective region 161 is a vertically long rectangular shape corresponding to the shape of the display region 151 of the panel portion of the display unit 121. It can be changed to a shape as shown in any of B to D of.
  • the shape of the effective region 161 changes from a vertically long rectangle to a circle.
  • the shape of the non-effective region 162 is a predetermined upper and lower region excluding the portion of the circular effective region 161 in the display region 151.
  • the shape of the effective region 161 changes from a vertically long rectangle to a vertically long ellipse.
  • the shape of the non-effective region 162 is a predetermined region at the four corners excluding the portion of the elliptical effective region 161 in the display region 151.
  • the shape of the effective region 161 has changed from a vertically long rectangle to a substantially cross shape excluding the rectangular regions at the four corners.
  • the shape of the non-effective region 162 is a rectangular region at four corners excluding the portion of the effective region 161 in the display region 151.
  • FIG. 6 shows a second example of the shapes of the effective region 161 and the non-effective region 162 in the display region 151.
  • FIG. 6 shows a case where the shape of the effective region 161 in the display region 151 of the display unit 121 having the panel portion having a horizontally long rectangular shape is changed to another shape.
  • the original shape of the effective region 161 is a horizontally long rectangular shape corresponding to the shape of the display region 151 of the display unit 121. It can be changed to a shape as shown in any of D.
  • the shape of the effective region 161 changes from a horizontally long rectangle to a circle.
  • the non-effective area 162 is a predetermined area on the left and right excluding the portion of the circular effective area 161 in the display area 151.
  • the shape of the effective region 161 is changed from a horizontally long rectangle to a horizontally long ellipse.
  • the non-effective region 162 is a predetermined region at the four corners excluding the portion of the elliptical effective region 161 in the display region 151.
  • the shape of the effective region 161 is changed from a horizontally long rectangle to a shape of a predetermined symbol such as a heart shape.
  • the non-effective area 162 is three areas excluding the portion of the symbol-shaped effective area 161 in the display area 151.
  • FIG. 7 shows a third example of the shapes of the effective region 161 and the non-effective region 162 in the display region 151.
  • FIG. 7 shows a case where the shape of the effective region 161 in the display region 151 of the display unit 121 having the panel portion having a circular shape is changed to another shape.
  • the original shape of the effective region 161 is a circular shape corresponding to the shape of the display region 151 of the display unit 121. It can be changed to a shape as shown in either.
  • the shape of the effective region 161 changes from a circle to a rectangle (square).
  • the non-effective region 162 is four bow-shaped regions excluding the rectangular (square) effective region 161 in the display region 151.
  • the shape of the effective region 161 changes from a circle to a polygon (hexagon).
  • the non-effective region 162 is a six bow-shaped region excluding the portion of the rectangular (hexagonal) effective region 161 in the display region 151.
  • the shape of the effective region 161 changes from a circular shape to a semi-circular shape.
  • the non-effective region 162 is a semicircular region on the opposite side excluding the semicircular effective region 161 in the display region 151.
  • the shapes of the effective area 161 and the non-effective area 162 in the display area 151 of the display unit 121 can be changed into various shapes by controlling the graphical display or the like.
  • the shapes of the effective region 161 and the non-effective region 162 in the display region 151 described above are examples, and may be changed to other shapes.
  • a human visual characteristic used when analyzing a user's state for example, a human visual field characteristic can be used.
  • FIG. 8 shows an example of human visual field characteristics.
  • the information receiving characteristics in the human visual field are represented by five characteristics of a discriminative visual field, an effective visual field, a gaze stable visual field, a guided visual field, and an auxiliary visual field. There is.
  • the discriminant visual field is indicated by "a" in FIG. 8, and is considered to have excellent visual acuity, color discrimination, and other visual functions, and is within a range in which highly accurate information can be received. For example, the discriminative field of view is within a few degrees.
  • the effective visual field is indicated by "b" in FIG. 8, and the information is gazed only by the eye movement, and the specific information is instantly set in the range that can be accepted from within the noise.
  • the effective field of view is within a range of about 15 degrees to the left and right, about 8 degrees above, and about 12 degrees below.
  • the gaze stable visual field is indicated by "c" in FIG. 8, and occurs in a state where the head movement assists the eye movement, and is within the range in which the gaze can be comfortably performed.
  • the gaze stable visual field is within the range of 30 to 45 degrees to the left and right, 20 to 30 degrees above, and 25 to 40 degrees below.
  • the guided visual field is indicated by "d" in FIG. 8, and although it has only enough discriminating power to discriminate the existence of the presented information, it is considered to be a range that affects the human sense of spatial coordinates.
  • the guided field of view ranges from 30 to 100 degrees horizontally and 20 to 85 degrees vertically.
  • the auxiliary visual field is indicated by "e” in FIG. 8, and the reception of information is extremely reduced, and it is considered to be a range that performs an auxiliary function to the extent that a strong stimulus or the like induces a gaze movement.
  • the auxiliary field of view ranges from 100 to 200 degrees horizontally and 85 to 135 degrees vertically.
  • FIG. 11 shows the relationship between the discriminative visual field, the effective visual field, and the gaze stable visual field.
  • the relationship between the discriminative visual field, the effective visual field, and the gaze stable visual field is represented by the relationship between the visual field projected on a certain surface and the vertical visual field and the horizontal visual field with respect to that surface.
  • the discriminant visual field is a region of the innermost ellipse of the horizontally long ellipses shown in FIG. 11A, and is represented by a visual field FV 0 including a high-density dot pattern, and has a vertical visual field height of H 0 . It is expressed by the following equation (1) in relation to the width W 0 of the horizontal field of view.
  • the effective field of view is the region of the ellipse between the innermost and outermost of the horizontally long ellipses shown in FIG. 11A, and is represented by the field of view FV 1 including a medium-density dot pattern, and is a vertical field of view. From the relationship between the height H 1 and the width W 1 of the horizontal field of view, it is expressed by the following equation (2).
  • the gaze stable visual field is the region of the outermost ellipse of the horizontally long ellipses shown in FIG. 11A, and is represented by the visual field FV 2 including a low-density dot pattern, and the height H 2 of the vertical visual field. From the relationship between and the width W 2 of the horizontal field of view, it is expressed by the following equation (3).
  • Gaze stable field of view FV 2 W 2 x H 2 ... (3)
  • the human visual field characteristic When the human visual field characteristic is used as the human visual characteristic , the relationship between the visual field FV including the discriminative visual field FV 0 , the effective visual field FV 1 , and the gaze stable visual field FV 2 with the effective region 161 having a rectangular shape is shown in FIG. The relationship with the effective region 161 from the circular shape is shown in B of FIG.
  • the ineffective region 162 in the display region 151 is a region corresponding to the gaze stable visual field FV 2. Therefore, the state of the space of the other party presented in the ineffective area 162 is presented in a range where the user can comfortably gaze, so that the space of the other party can be displayed while keeping looking at the effective area 161 without diverting the line of sight. The state can be recognized.
  • FIGS. 13 to 20 in the information processing device 10A, the space in which the information processing device 10B is installed (the space of the other party to be connected) by utilizing the ineffective area 162 in the display area 151 of the display unit 121.
  • An example of presenting the state of is shown.
  • the information processing device 10B is installed in the effective area 161 having a circular shape in the display area 151 of the display unit 121.
  • the state in the space is displayed.
  • the effective area 161 shows the state of the other user near the information processing device 10B, and the user in the space at point A communicates with the other user in the space at point B. ing.
  • the information processing apparatus 10A recognizes the state of communication between the user and the other user, and when it is detected that the communication is actively performed, the non-effective area 162 is determined according to the level of excitement. Vibrates. In the example of FIG. 13, as represented by the vibrations V11 to V16, the non-effective region 162, the region around the effective region 161 is slightly vibrated in response to the excitement of conversation or the like. It can be said that the level of excitement is the degree of activity.
  • the effective region 161 shows the state of the other user moving in the space at the point B, and the user is not communicating with the other user. At this time, since the information processing device 10A has not detected communication between users, the ineffective region 162 does not vibrate.
  • the non-effective area 162 around the effective area 161 displayed by the other user vibrates (slightly vibrates), so that the user can connect to the connection destination.
  • how to obtain the level of excitement is based on, for example, information obtained from the sound input of the sound collecting unit 113 and the sound output of the sound output unit 122 in both the information processing devices 10A and 10B. Whether both users have a well-balanced speech sequence (for example, not a one-sided conversation), or whether both users can communicate as if they were in the same space. By discriminating, it can be obtained according to the discrimination result.
  • the information processing device 10A installed in the space at point A has been described, but the information processing device 10B installed in the space at point B also communicates between users in the same manner as the information processing device 10A.
  • the ineffective region 162 can be vibrated according to the level of swelling of.
  • (Second example) 15 and 16 show a second example of presenting the state of the mating space using the ineffective region 162.
  • the information processing device 10B is installed in the effective area 161 having a circular shape in the display area 151 of the display unit 121.
  • the state in the space is displayed.
  • the effective area 161 shows the state of the room in which the information processing device 10B is installed, and rain is sprayed on the windows.
  • the information processing device 10A acquires the environmental information of the space at the connection destination point B, and when it is detected that it is raining due to heavy rain or a typhoon, it is not effective depending on the rain condition.
  • Region 162 vibrates.
  • the non-effective region 162 the region above the effective region 161 (close to the ceiling), vibrates slightly in conjunction with the sound of rain or the like.
  • the entire area of the ineffective region 162 may be shaken according to the situation.
  • FIG. 16 in the information processing device 10A, the state of the room in which the information processing device 10B is installed is shown in the effective area 161 having a circular shape, and the area of the space at point B, which is a distant area. Home appliances and furniture are shaking due to the impact of the earthquake that occurred in.
  • the information processing device 10A acquires the environmental information of the space at the connection destination B point, and when the shaking due to the earthquake is detected, the non-effective area 162 is determined according to the situation of the earthquake (seismic intensity, shaking, etc.). Vibrates. In the example of FIG. 16, as represented by the vibrations V31 to V33, the non-effective region 162, the region below the effective region 161 (close to the floor), vibrates slightly in conjunction with the shaking of the earthquake or the like. .. In addition, in the case of a situation where the shaking of the earthquake is large, the entire area of the ineffective region 162 may be shaken according to the situation.
  • heavy rain, typhoon, and earthquake are taken as examples, but as environmental information, information on weather such as weather, weather, sunshine, atmospheric pressure, temperature, humidity, precipitation, snow cover, wind speed, and wind direction
  • information on various environments such as information on other natural disasters can be included, and based on this environmental information, the information processing apparatus 10 vibrates a predetermined region in the ineffective region 162.
  • (Third example) 17 and 18 show a third example of presenting the state of the mating space using the ineffective region 162.
  • the information processing device 10B is installed in the effective area 161 having a circular shape in the display area 151 of the display unit 121.
  • the state in the space is displayed.
  • the state of the room in which the information processing device 10B is installed is shown in the effective area 161 without any particular change, and the state is in a steady state.
  • FIG. 18 shows a plan view of the room in the space at the point B, and the angle of view of the camera unit 112 provided in the information processing device 10B does not include the position of the door of the room. That is, since the door of the room is outside the angle of view of the camera unit 112, the state of the other user when the door is opened cannot be displayed in the effective area 161 in the display area 151 of the information processing device 10A.
  • the sign / sound information of the space at the connection destination B point is acquired as the information outside the angle of view, and when the sign / sound of an object from a certain direction is detected, the sign / sound is detected.
  • the non-effective region 162 vibrates according to the direction of arrival such as. In the example of FIG. 17, as represented by vibrations V41 and V42, the non-effective region 162, the left portion (door side) of the effective region 161 is finely linked to the door opened by the other user. It is vibrating.
  • the sign or movement generation sound is generated. Since a predetermined area in the non-effective area 162 corresponding to the arrival direction vibrates (micro-vibrates), the user can intuitively grasp the position of an object such as the other user even in a place not visible in the effective area 161. can do.
  • FIG. 19 shows a fourth example of presenting the state of the mating space using the ineffective region 162.
  • the other user who is outside the angle of view of the camera unit 112 provided in the information processing device 10B speaks in the space at point B.
  • the ineffective area 162 is visually displayed according to the position and direction of the sound source. Change.
  • the non-effective area 162 As represented by the visual change C11, the non-effective area 162, the area on the left side (other user side) of the effective area 161 is visually linked to the utterance by the other user. It's changing. As a method of realizing this visual change, for example, it can be realized by changing (variating) the texture, color, brightness, etc. in a predetermined area in the non-effective area 162.
  • the user can feel the sign of the other user in the space of the other party to be connected and the direction of arrival of the utterance.
  • FIG. 20 shows a fifth example of presenting the state of the mating space using the ineffective region 162.
  • FIG. 20 in the information processing device 10A installed in the space at the point A, the state of the room in which the information processing device 10B is installed in the effective area 161 having a circular shape in the display area 151 of the display unit 121. Is displayed, but there are multiple other users, and a specific other user is having a conversation. In the example of FIG. 20, among the other users shown in the image displayed in the effective area 161, two other users in the area on the right side are actively talking.
  • the sign / sound information of the space at the connection destination B point is acquired, and the corresponding portion of the non-effective area 162 responds to the conversation and noise of the two other users having a conversation. Is visually changed.
  • the non-effective area 162 and the area on the right side of the effective area 161 become the conversation between the two other users.
  • the texture, color, brightness, etc. change visually.
  • any presentation method may be used as long as it is a possible presentation method.
  • a presentation method it is possible to use a method of presenting the state of the space at the point B so as to be perceived by the user in the space at the point A by at least one sensory function of sight, hearing, and touch. can.
  • steps S11 to S14 are executed by the information processing device 10A installed in the space at the point A.
  • the captured image data is generated by the camera unit 112
  • the sound information data is generated by the sound collecting unit 113 (S11)
  • the generated captured image and sound information data are informationed via the network 50. It is transmitted to the processing device 10B (S12).
  • the information processing device 10A receives the captured image and sound information data transmitted from the information processing device 10B via the network 50 (S13), and based on the received captured image and sound information data, B The image and sound of the space at the point are output (S14).
  • steps S31 to S34 are executed by the information processing device 10B installed in the space at point B.
  • the captured image data is generated by the camera unit 112
  • the sound information data is generated by the sound collecting unit 113 (S31)
  • the generated captured image and sound information data are informationed via the network 50. It is transmitted to the processing device 10A (S33).
  • the captured image and sound information data transmitted from the information processing apparatus 10A via the network 50 are received (S32), and based on the received captured image and sound information data, A The image and sound of the space at the point are output (S34).
  • data such as captured images taken by the respective camera units 112 and sounds collected by the sound collecting unit 113 can be transmitted and received, for example. It is always done in real time while the connection between both devices is established. Although the description is omitted here, various data such as sensor data are transmitted and received between the information processing device 10A and the information processing device 10B in addition to captured image and sound data.
  • the information processing device 10A displays the image captured by the information processing device 10B and outputs the collected sound, while the information processing device 10B displays and collects the image captured by the information processing device 10A. Output the sound that was sounded.
  • the users of the information processing devices 10A and 10B can feel that there is a partner user of the information processing devices 10B and 10A relative to the other side of the information processing devices 10A and 10B that are close to each other. ..
  • step S51 the data acquisition unit 131 acquires captured image data captured by the camera unit 112, sensor data detected by the sensor unit 114, and the like as analysis target data.
  • the data to be analyzed is not limited to the data acquired by the information processing device 10 (10A or 10B) installed in the own space (point A or B), but the space of the other party (point B or A).
  • the data transmitted from the information processing device 10 (10B or 10A) installed in the above is also included.
  • step S52 the analysis processing unit 132 performs a process of analyzing the user's state using the acquired analysis target data based on the human visual characteristics.
  • the human visual characteristic the human visual field characteristic described with reference to FIGS. 8 to 12 can be used.
  • the user's state includes the user's cognitive state and the like. That is, in the analysis process of the user's state, the visual field characteristics including the discriminative visual field, the effective visual field, the gaze stable visual field, etc. are set as the standard visual ability, and the individual characteristics and conditions of each user are added to this standard visual ability. Is used as so-called visual cognitive characteristic information.
  • step S53 the analysis processing unit 132 determines the shape of the effective area 161 in the display area 151 of the display unit 121 based on the analysis result of the user's state.
  • step S54 the analysis processing unit 132 determines whether or not the shape of the determined effective region 161 is different from the shape of the current effective region 161.
  • step S54 If it is determined in the determination process of step S54 that the shape of the determined effective region 161 is different from the shape of the effective region 161 at the present time, the process proceeds to step S55.
  • step S55 the presentation control unit 133 controls the display of the display unit 121 (panel unit) to change the shape of the effective area 161 in the current display area 151 to the shape of the determined effective area 161.
  • the shape of the effective region 161 in the display region 151 at the present time is rectangular, and the shape of the determined effective region 161 is circular, those shapes are changed. Because of the difference, the shape of the effective region 161 changes from a rectangle to a circle (examples A and B in FIG. 4).
  • the presentation control unit 133 sets the portion corresponding to the circular shape on the panel portion of the display unit 121 as the effective region 161 and the portion excluding the portion corresponding to the circular shape as the ineffective region 162 (
  • the shape of the effective region 161 in the display region 151 can be changed to a circle by setting it as a black region or the like).
  • the shape may be continuously changed from a rectangle to a circle, or the shape may be changed discontinuously (the shape may be instantaneously switched from a rectangle to a circle).
  • the shape of the projection surface of the image projected by the projector may be changed from a rectangle to a circle.
  • step S54 determines that the shape of the determined effective region 161 is the same as the shape of the effective region 161 at the present time. If it is determined in the determination process of step S54 that the shape of the determined effective region 161 is the same as the shape of the effective region 161 at the present time, the process of step S55 is skipped and the process ends.
  • the shape of the effective area 161 in the display area 151 of the display unit 121 that displays the image of the other user at a remote location is rectangular or the like in each of the information processing device 10A and the information processing device 10B.
  • the shape of the display area 151 changes from a rectangle to a circle or the like according to the analysis result of the user's state. Therefore, it is possible to optimally change the atmosphere of the space of the other party to be connected to the user, the way of making the other user feel the sign, and the like. Therefore, users in remote areas can communicate with each other more naturally.
  • the analysis processing unit 132 analyzes the context based on the analysis target data such as sensor data, and the presentation control unit 133 analyzes the effective area 161 in the display area 151 based on the analysis result of at least one of the user's state and the context.
  • the shape of is controlled.
  • the analysis processing unit 132 analyzes the influence on the user due to the context when analyzing the context based on the analysis target data such as the sensor data, and based on the analysis result of the influence on the user, the said The cognitive state of the user may be analyzed. In this way, by analyzing the cognitive state of the user using the context, it is possible to reduce the cost as compared with the case of analyzing the cognitive state by sensing brain waves, living organisms, behaviors, and the like.
  • the information processing device 10 includes information on the space in which the information processing device 10 is installed, information on the weather around the space, and information on the building in which the space exists or the equipment of the building. Can contain information about the situation in which is used.
  • the analysis processing unit 132 analyzes the relative relationship with the other user based on the analysis target data such as sensor data, and the presentation control unit 133 displays based on the analysis result of at least one of the user's state and the relative relationship.
  • the shape of the effective region 161 in the region 151 is controlled.
  • the shape of the region 161 can be a shape with a high degree of disclosure or a shape with a high privacy protection effect. Further, for example, the shape of the effective area 161 in the display area 151 is set to be the optimum shape depending on the conditions such as the case where the main user exists in either space or the case where almost no person exists. May be good.
  • the initial shape of the effective area 161 in the display area 151 may be a shape corresponding to the user's position (presumed user position) with respect to the information processing device 10.
  • the information processing device 10 senses the movement of the user's gaze point (line of sight) (for example, includes detection of brain waves and biological information, as well as utterance analysis and behavior analysis) to control the user's cognition and intracerebral mode.
  • the shape of the effective region 161 in the display region 151 may be brought closer to the shape that is estimated and suitable for the state.
  • the shape of the effective region 161 in the display region 151 may be changed in the direction of changing to the cognitive mode to be guided. In executing these processes, the cognitive ability (visual acuity, knowledge, experience, taste, etc.) of each user may be optimized.
  • the shape of the effective area 161 in the display area 151 is changed from a rectangle to a circular shape by the above-mentioned display area shape control process, and the ineffective area 162 exists. It is said to be the process to be executed.
  • step S71 the analysis processing unit 132 performs a process of analyzing the state of the partner's space using the acquired analysis target data.
  • step S72 the analysis processing unit 132 determines whether or not a predetermined event has occurred in the partner's space based on the analysis result of the state of the partner's space.
  • step S72 If it is determined in the determination process of step S72 that a predetermined event has occurred, the process proceeds to step S73.
  • step S73 the presentation control unit 133 controls the output unit 107 to present the state of the other party's space to the ineffective area 162 in the display area 151.
  • the degree of activity of communication between users may be presented, or the degree of weather or earthquake in the space of the other party may be presented.
  • step S73 if it is determined in the determination process of step S72 that a predetermined event has not occurred, the process of step S73 is skipped and the process ends.
  • the flow of the partner space state presentation control process has been explained above.
  • this partner space state presentation control process when the shape of the effective area 161 in the display area 151 is changed by the display area shape control process described above to form the ineffective area 162, the ineffective area 162 is utilized.
  • the state of the other party's space is presented to the user. Therefore, the user can recognize not only the image displayed in the effective area 161 but also the state of the space of the other party presented in the ineffective area 162, so that the situation of the space of the other party in a remote place can be deepened. Can be grasped.
  • control unit 100 is provided in the information processing device 10, but all or part of the functions of the control unit 100 are realized in the server connected to the network 50. It may be.
  • FIG. 24 shows another example of the configuration of one embodiment of the information processing system to which the present technology is applied.
  • the information processing system shown in FIG. 24 is configured by connecting each of the information processing device 10A, the information processing device 10B, and the server 20 via a network 50 such as the Internet.
  • the server 20 is provided with a configuration of all or a part of the control unit 100 described with reference to FIG.
  • control unit 100 may be provided outside the information processing device 10.
  • various data such as captured images, sound information, and environmental information are transmitted from the information processing device 10 to the server 20.
  • various data such as captured images, sound information, and environmental information of the connection destination are transmitted from the server 20 to the information processing device 10.
  • a home server that controls the information processing device 10 may be provided for the information processing device 10.
  • FIG. 25 is a diagram showing still another example of the configuration of one embodiment of the information processing system to which the present technology is applied.
  • the information processing system shown in FIG. 25 is configured by connecting the information processing device 10A and the information processing device 10B via the network 50.
  • the information processing device 10A is composed of an input / output unit 11A and a home server 12A.
  • the input / output unit 11A is provided with at least a configuration of an input unit 106 (FIG. 2) and an output unit 107 (FIG. 2).
  • the home server 12A is provided with at least a configuration of a control unit 100 (FIG. 3) and a communication unit 109 (FIG. 2).
  • the home server 12A is connected to the home server 12B of the information processing device 10B via the network 50.
  • the information processing device 10B is composed of an input / output unit 11B and a home server 12B.
  • the input / output unit 11B is provided with at least a configuration of an input unit 106 (FIG. 2) and an output unit 107 (FIG. 2).
  • the home server 12B is provided with at least a configuration of a control unit 100 (FIG. 3) and a communication unit 109 (FIG. 2).
  • the home server 12B is connected to the home server 12A of the information processing device 10A via the network 50.
  • control unit 100 and the like may be provided outside the input / output unit 11 having the display unit 121 and the like.
  • home servers 12A and 12B may be provided with a part of the control unit 100, and the remaining part of the control unit 100 may be provided in the input / output units 11A and 11B.
  • the state and context of the user, the relative relationship with the other user, etc. are analyzed using the analysis target data such as sensor data based on the human visual characteristics, and the display is based on the analysis result.
  • the shape of the display area (effective area) of the device is controlled.
  • the user since the state of the space of the other party can be presented in the ineffective area as the mask area, the user can present not only the image displayed in the effective area but also the space of the other party presented in the ineffective area. Since the state can be recognized, the situation of the space of the other party in a remote place can be grasped more deeply.
  • the series of processes of the information processing apparatus 10 described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer of each device.
  • a program executed by a computer can be recorded and provided on a removable recording medium (for example, a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, etc.) as a package medium or the like.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a program can be installed in a recording unit via an input / output interface by mounting a removable recording medium in a drive. Further, the program can be received by the communication unit and installed in the recording unit via a wired or wireless transmission medium. In addition, the program can be installed in advance in the ROM or recording section.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers.
  • the program may be transferred to a distant computer for execution.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the present technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • each step of the above flowchart can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • Control to present the state of the second space in the non-effective area excluding the effective area in which the captured image captured by the second photographing device is displayed in the display area of the first display device.
  • the control unit presents the state of the second space so as to be perceived by a first user in the first space by at least one sensory function of sight, hearing, and touch.
  • control unit presents the state of the second space to all or a part of the ineffective region corresponding to the state.
  • control unit presents complementary information of a captured image displayed in the effective region as a state of the second space.
  • control unit presents information that is not directly related to the captured image displayed in the effective area as the state of the second space. .. (6)
  • the control unit Based on the human visual field characteristics, the state of the first user in the first space is analyzed using the analysis target data.
  • the information processing apparatus according to any one of (1) to (3), which presents the state of the second space in the ineffective region based on the analysis result of the state of the first user.
  • the visual field characteristics include a discriminative visual field, an effective visual field, and a gaze stable visual field.
  • the information processing device according to (6), wherein the control unit presents the state of the second space in a region corresponding to the gaze stable visual field in the ineffective region.
  • the control unit is described in any one of (6) to (8) above, which controls the shape of the effective area in the display area of the first display device based on the analysis result of the state of the first user.
  • Information processing device (10) The control unit determines the state of the second user according to the degree of activity of communication between the first user in the first space and the second user in the second space.
  • the information processing apparatus according to any one of (1) to (9) above.
  • (11) The information processing device according to (10), wherein the control unit vibrates the ineffective region according to the degree of activity of the communication.
  • (12) The information processing device according to any one of (1) to (9), wherein the control unit presents a state of the second space based on environmental information regarding the second space.
  • the environmental information includes information about weather or earthquakes.
  • the information processing device wherein the control unit vibrates the ineffective region according to the weather or the degree of an earthquake.
  • the information processing according to any one of (1) to (9) above, wherein the control unit presents the state of the second space based on the out-of-view information regarding the outside of the angle of view of the second photographing device.
  • the out-of-angle information includes information on the sign or sound of an object.
  • the information processing device according to (14), wherein the control unit vibrates the ineffective region according to the sign of an object or the degree of sound.
  • the out-of-angle information includes information about the sound of an object.
  • the information processing device according to (14), wherein the control unit visually changes the ineffective region according to the degree of sound of an object.
  • the information processing device according to any one of (1) to (18) above, which is interconnected with another information processing device configured integrally with the display device via a network.
  • Information processing system 10, 10A, 10B information processing device, 11A, 11B input / output unit, 12A, 12B home server, 20 server, 50 network, 100 control unit, 101 CPU, 102 ROM, 103 RAM, 104 bus, 105 Input / output I / F, 106 input unit, 107 output unit, 108 storage unit, 109 communication unit, 111 operation unit, 112 camera unit, 113 sound collection unit, 114 sensor unit, 121 display unit, 122 sound output unit, 131 data Acquisition unit, 132 analysis processing unit, 133 presentation control unit, 151 display area, 161 effective area, 162 non-effective area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、遠隔地にいるユーザ同士が相手の空間の状況をより深く把握することができるようにする情報処理装置、及び情報処理方法に関する。 第１の撮影装置と第１の表示装置が設置された第１の空間と、第２の撮影装置と第２の表示装置が設置された第２の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、第１の表示装置の表示領域における、第２の撮影装置により撮影された撮影画像を表示した有効領域を除いた非有効領域に、第２の空間の状態を提示する制御を行う制御部を備える情報処理装置が提供される。本技術は、例えば、ビデオコミュニケーションシステムに適用することができる。

Description

情報処理装置、及び情報処理方法
　本技術は、情報処理装置、及び情報処理方法に関し、特に、遠隔地にいるユーザ同士が相手の空間の状況をより深く把握することができるようにした情報処理装置、及び情報処理方法に関する。
　従来、ビデオコミュニケーションシステムを使用して、遠隔地にいるユーザ同士がお互いに顔を見ながら会話し、より親密なコミュニケーションを図ることが可能となっている。
　ビデオコミュニケーションシステムに関する技術としては、例えば、特許文献１に開示されている技術が知られている。特許文献１では、一方の空間にいるユーザが、他方の空間にいるユーザに対し、任意の位置を指し示すことを可能にしてコミュニケーションをとるようにしている。
特開2012-79167号公報
　ところで、遠隔地にいるユーザ同士がビデオコミュニケーションシステムを使用するに際しては、ユーザ同士が相手の空間の状況をより深く把握することが求められる。
　本技術はこのような状況に鑑みてなされたものであり、遠隔地にいるユーザ同士が相手の空間の状況をより深く把握することができるようにするものである。
　本技術の一側面の情報処理装置は、第１の撮影装置と第１の表示装置が設置された第１の空間と、第２の撮影装置と第２の表示装置が設置された第２の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、前記第１の表示装置の表示領域における、前記第２の撮影装置により撮影された撮影画像を表示した有効領域を除いた非有効領域に、前記第２の空間の状態を提示する制御を行う制御部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、情報処理装置が、第１の撮影装置と第１の表示装置が設置された第１の空間と、第２の撮影装置と第２の表示装置が設置された第２の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、前記第１の表示装置の表示領域における、前記第２の撮影装置により撮影された撮影画像を表示した有効領域を除いた非有効領域に、前記第２の空間の状態を提示する制御を行う情報処理方法である。
　本技術の一側面の情報処理装置、及び情報処理方法においては、第１の撮影装置と第１の表示装置が設置された第１の空間と、第２の撮影装置と第２の表示装置が設置された第２の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、前記第１の表示装置の表示領域における、前記第２の撮影装置により撮影された撮影画像を表示した有効領域を除いた非有効領域に、前記第２の空間の状態が提示される。
　本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本技術を適用した情報処理システムの一実施の形態の構成の例を示す図である。 図１の情報処理装置の構成の例を示す図である。 図１の情報処理装置における制御部の機能的構成の例を示す図である。 図１の情報処理装置の表示領域における有効領域の形状の変化の概要を示す図である。 表示領域における有効領域と非有効領域の形状の第１の例を示す図である。 表示領域における有効領域と非有効領域の形状の第２の例を示す図である。 表示領域における有効領域と非有効領域の形状の第３の例を示す図である。 人間の視野特性の例を示す図である。 ユーザ同士が向かい合う関係の場合の対話の例を示す図である。 ユーザ同士が並んでいる関係の場合の対話の例を示す図である。 弁別視野と、有効視野と、注視安定視野との関係を示す図である。 弁別視野、有効視野、及び注視安定視野を含む視野特性に応じた領域と、矩形又は円形の形状の表示領域との関係を示す図である。 非有効領域を利用した相手空間の状態提示の第１の例を示す図である。 非有効領域を利用した相手空間の状態提示の第１の例を示す図である。 非有効領域を利用した相手空間の状態提示の第２の例を示す図である。 非有効領域を利用した相手空間の状態提示の第２の例を示す図である。 非有効領域を利用した相手空間の状態提示の第３の例を示す図である。 非有効領域を利用した相手空間の状態提示の第３の例を示す図である。 非有効領域を利用した相手空間の状態提示の第４の例を示す図である。 非有効領域を利用した相手空間の状態提示の第５の例を示す図である。 各装置の間で行われる処理の流れを説明するフローチャートである。 表示領域形状制御処理の流れを説明するフローチャートである。 相手空間状態提示制御処理の流れを説明するフローチャートである。 本技術を適用した情報処理システムの一実施の形態の構成の他の例を示す図である。 本技術を適用した情報処理システムの一実施の形態の構成のさらに他の例を示す図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。説明は以下の順序で行うものとする。
１．本技術の実施の形態
２．変形例
３．コンピュータの構成
＜１．本技術の実施の形態＞
（システムの構成）
　図１は、本技術を適用した情報処理システムの一実施の形態の構成の例を示している。
　図１において、情報処理システム１は、テレプレゼンス装置としての２台の情報処理装置１０Ａと情報処理装置１０Ｂとが、インターネット等のネットワーク５０に接続されることによって構成される。
　情報処理装置１０Ａと情報処理装置１０Ｂとは、異なる建物や、異なる部屋といったように、それぞれ異なる空間に設けられる。すなわち、図１において、情報処理装置１０Ａの近傍にいるユーザと、情報処理装置１０Ｂの近傍にいるユーザとは、お互いに遠隔地にいるユーザとなる。
　情報処理装置１０Ａと情報処理装置１０Ｂとは、基本的に同じ構成を有している。詳細は後述するが、情報処理装置１０Ａと情報処理装置１０Ｂには、それぞれ大型のサイズのディスプレイのほかに、周辺の様子を撮影するカメラ、環境音などの周辺の音を集音するマイクロフォン、音を出力するスピーカなどが設けられる。
　情報処理装置１０Ａと情報処理装置１０Ｂとの間では、それぞれのカメラにより撮影された撮影画像に応じた映像、マイクロフォンにより集音された音などのデータの送受信が、例えば、双方の装置の接続が確立されている間、常時、リアルタイムで行われる。
　情報処理装置１０Ａは、情報処理装置１０Ｂにより撮影された撮影画像に応じた映像を表示するとともに、情報処理装置１０Ｂにより集音された音を出力する。
　情報処理装置１０Ｂにより撮影された撮影画像に応じた映像には、情報処理装置１０Ｂの近傍のユーザの姿を含む、情報処理装置１０Ｂが設置されている空間の様子が映っている。また、情報処理装置１０Ｂにより集音された音には、情報処理装置１０Ｂの近傍のユーザの声を含む、情報処理装置１０Ｂが設置されている空間の環境音が含まれている。
　これにより、例えば、情報処理装置１０Ａの近傍のユーザは、自分の近くにある情報処理装置１０Ａの向こう側に相対して情報処理装置１０Ｂの近傍のユーザがいるように感じることができる。
　同様に、情報処理装置１０Ｂは、情報処理装置１０Ａにより撮影された撮影画像に応じた映像を表示するとともに、情報処理装置１０Ａにより集音された音を出力する。
　情報処理装置１０Ａにより撮影された撮影画像に応じた映像には、情報処理装置１０Ａの近傍にいるユーザの姿を含む、情報処理装置１０Ａが設置されている空間の様子が映っている。また、情報処理装置１０Ａにより集音された音には、情報処理装置１０Ａの近傍にいるユーザの音声を含む、情報処理装置１０Ａが設置されている空間の環境音が含まれている。
　これにより、例えば、情報処理装置１０Ｂのユーザは、自分の近くにある情報処理装置１０Ｂの向こう側に相対して情報処理装置１０Ａのユーザがいるように感じることができる。
　情報処理装置１０Ａのユーザは、あたかも隣接した空間に情報処理装置１０Ｂのユーザがいるかのように、情報処理装置１０Ｂのユーザと、自然体でコミュニケーションを図ることができる。
　同様に、情報処理装置１０Ｂのユーザは、あたかも隣接した空間に情報処理装置１０Ａのユーザがいるかのように、情報処理装置１０Ａのユーザと、自然体でコミュニケーションを図ることができる。
　すなわち、情報処理装置１０Ａと情報処理装置１０Ｂのユーザは、それぞれ、コミュニケーションを図ろうと積極的に意識することなく、お互いの存在を近く感じながら、より円滑にコミュニケーションを図ることができる。
　以下、適宜、情報処理装置１０Ａと情報処理装置１０Ｂを区別する必要がない場合、まとめて情報処理装置１０という。対になって設けられる他の構成についても同様にまとめて説明する。
　また、以下の説明では、情報処理装置１０Ａと情報処理装置１０Ｂのうち、注目している一方の情報処理装置１０を使用しているユーザを、単にユーザと称する一方で、遠隔にある他方の情報処理装置１０を使用しているユーザを、相手ユーザと称して区別する。さらに、情報処理装置１０Ａを設置した空間を、Ａ地点の空間とも称し、情報処理装置１０Ｂを設置した空間を、Ｂ地点の空間とも称する。
（装置の構成）
　図２は、図１の情報処理装置１０の構成の例を示している。
　情報処理装置１０は、例えば、インターネット等のネットワーク５０に接続可能なディスプレイ装置などの装置であって、テレプレゼンス装置として構成される。
　図２に示すように、情報処理装置１０において、CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、及びRAM(Random Access Memory)１０３は、バス１０４により相互に接続される。
　CPU１０１は、ROM１０２や記憶部１０８に記録されたプログラムを実行することで、情報処理装置１０の各部の動作を制御する。RAM１０３には、各種のデータが適宜記憶される。
　バス１０４にはまた、入出力I/F１０５が接続される。入出力I/F１０５には、入力部１０６、出力部１０７、記憶部１０８、及び通信部１０９が接続される。
　入力部１０６は、各種の入力データを、入出力I/F１０５を介してCPU１０１を含む各部に供給する。例えば、入力部１０６は、操作部１１１、カメラ部１１２、集音部１１３、及びセンサ部１１４を有する。
　操作部１１１は、ユーザによって操作され、その操作に対応する操作データをCPU１０１に供給する。操作部１１１は、物理的なボタンやタッチパネル等から構成される。
　カメラ部１１２は、そこに入射される被写体からの光を光電変換して、その結果得られる電気信号に対する信号処理を行うことで撮影画像データを生成し、出力する。カメラ部１１２は、イメージセンサや信号処理部等から構成される。
　集音部１１３は、空気の振動としての音を受け付け、その電気信号としての音情報のデータを出力する。集音部１１３は、マイクロフォンなどとして構成される。
　センサ部１１４は、空間情報や時間情報等のセンシングを行い、そのセンシングの結果得られるセンサデータを出力する。
　センサ部１１４は、加速度センサやジャイロセンサなどを含む。加速度センサは、XYZ軸の３方向の加速度を測定する。ジャイロセンサは、XYZ軸の３軸の角速度を測定する。なお、慣性計測装置（IMU：Inertial Measurement Unit）を設けて、３方向の加速度計と３軸のジャイロスコープにより、３次元の加速度と角速度を測定してもよい。
　また、センサ部１１４には、生物の持つ心拍数、体温、又は姿勢といった情報を測定する生体センサ、近接するものを測定する近接センサ、磁場（磁界）の大きさや方向を測定する磁気センサなどの各種のセンサを含めることができる。
　出力部１０７は、入出力I/F１０５を介してCPU１０１からの制御に従い、各種の情報を出力する。例えば、出力部１０７は、表示部１２１、音出力部１２２、及び振動部１２３を有する。
　表示部１２１は、CPU１０１からの制御に従い、撮影画像データに応じた映像等を表示する。表示部１２１、液晶パネルやOLED(Organic Light Emitting Diode)パネル等のパネル部と信号処理部などから構成される。また、表示部１２１は、プロジェクタであっても構わない。プロジェクタにより、任意のスクリーンに、撮影画像データに応じた映像を投影して表示させることができる。
　以下、表示部１２１のパネル部の表示領域（表示面）において、遠隔地にいる相手ユーザのいる空間（接続先の相手の空間）の撮影画像（映像）を表示した領域を有効領域と称し、当該有効領域を除いた領域を非有効領域と称して説明する。なお、非有効領域は、マスクされたマスク領域であるとも言える。
　振動部１２３は、CPU１０１からの制御に従い、表示部１２１の表示領域における非有効領域（表示面）を振動させる。振動部１２３は、例えば、モータを有する振動機構や、圧電素子などから構成される。
　なお、表示部１２１と振動部１２３とが一体になって構成されても構わない。また、表示部１２１として、所定の形状を有するピンが表示面に多数配置された立体ディスプレイを用いる場合に、ピンの動きを制御することにより振動が表現されるようにしてもよい。
　音出力部１２２は、CPU１０１からの制御に従い、音情報のデータに応じた音を出力する。音出力部１２２は、スピーカや出力端子に接続されるヘッドホンなどから構成される。
　記憶部１０８は、CPU１０１からの制御に従い、各種のデータやプログラムを記録する。CPU１０１は、記憶部１０８から各種のデータを読み出して処理したり、プログラムを実行したりする。
　記憶部１０８は、半導体メモリ等の補助記憶装置として構成される。記憶部１０８は、内部ストレージとして構成されてもよいし、メモリカード等の外部ストレージであってもよい。
　通信部１０９は、CPU１０１からの制御に従い、ネットワーク５０を介して他の機器と通信を行う。通信部１０９は、セルラー方式の通信（例えばLTE-Advancedや5G等）や、無線LAN(Local Area Network)などの無線通信、又は有線通信に対応した通信モジュールとして構成される。
　なお、図２に示した情報処理装置１０の構成は一例であって、例えば、GPU(Graphics Processing Unit)等の画像処理回路や、Bluetooth（登録商標）やNFC(Near Field Communication)等の近距離無線通信規格による無線通信を行う近距離無線通信回路、電源回路などを設けることができる。
　図３は、情報処理装置１０における制御部１００の機能的構成の例を示している。制御部１００の機能は、CPU１０１によって、所定のプログラムが実行されることで実現される。
　図３において、制御部１００は、データ取得部１３１、分析処理部１３２、及び提示制御部１３３を有する。
　データ取得部１３１は、そこに入力される分析対象データを取得し、分析処理部１３２に供給する。
　この分析対象データには、カメラ部１１２により撮影された撮影画像データや、センサ部１１４により検出されたセンサデータが含まれる。分析対象データは、後段の分析処理で用いられるデータであればよく、例えば、集音部１１３により集音された音情報のデータなどを、分析対象データとしてもよい。
　分析処理部１３２は、データ取得部１３１から供給される分析対象データを用いた分析処理を行い、その分析結果を、提示制御部１３３に供給する。
　例えば、分析処理部１３２は、人間の視覚特性に基づいて、撮影画像データやセンサデータ等の分析対象データを用いてユーザの状態を分析する。このユーザの状態には、ユーザの認知状態や位置などの状態が含まれる。分析処理部１３２は、ユーザの状態の分析結果に基づいて、表示部１２１の表示領域における有効領域の形状を決定し、分析結果として提示制御部１３３に供給する。
　また、例えば、分析処理部１３２は、撮影画像データやセンサデータなどを用いて、相手の空間の状態を分析する。この相手の空間の状態には、相手ユーザの状態や、相手の空間の環境の状態（天候や地震の発生等）、相手の空間にある物体の状態（気配や音等）などが含まれる。分析処理部１３２は、相手の空間の状態の分析結果に基づいて、表示部１２１の表示領域における非有効領域の提示に関する情報を決定し、分析結果として提示制御部１３３に供給する。
　提示制御部１３３は、分析処理部１３２から供給される分析結果に基づいて、表示部１２１の表示領域における有効領域又は非有効領域の表示を制御する。また、提示制御部１３３は、分析処理部１３２から供給される分析結果に基づいて、音出力部１２２による音の出力や、振動部１２３による表示部１２１の表示領域における非有効領域（に応じた面）の振動を制御する。
　すなわち、提示制御部１３３は、ユーザの状態の分析結果に応じた形状となるように、表示部１２１の表示領域における有効領域の形状を制御する。また、提示制御部１３３は、相手の空間の状態の分析結果に応じた提示がなされるように、表示部１２１の表示領域における非有効領域の提示を制御する。このとき、提示制御部１３３は、相手の空間の状態を、その状態に対応した非有効領域の全部又は一部の領域に提示するように制御する。
　情報処理システム１は、以上のように構成される。
（表示領域の形状の変化）
　情報処理システム１において、ネットワーク５０を介して接続される情報処理装置１０Ａと情報処理装置１０Ｂでは、相手の空間の映像を表示する表示部１２１の表示領域における有効領域の形状が、縦横の比が4:3や16:9等の矩形の形状に固定されるのではなく、その形状が矩形から円形に変化するなど、可変とされる。
　情報処理装置１０では、表示領域における有効領域の形状を変化させて、ユーザの空間認知や、人物の気配の認知感覚を変化させることで、ユーザに与える接続先の相手の空間の雰囲気や、相手ユーザの気配の感じさせ方などを最適に変化させることができ、より適切な双方の空間同士のつながり具合を提供して、遠隔地にいるユーザ同士がより自然なコミュニケーションをとることができる。
　より具体的には、情報処理装置１０において、矩形の形状からなる表示領域に表示される映像は、ユーザにより明確な目的意識や客観的な視点を想起させる効果があり、ビデオ会議や資料（特に言語や記号が中心となる資料）の共有などの状況に適している。
　一方で、遠隔地にいるユーザ同士が、あたかも同じ空間にいるような自然なつながり感を提供したり、特段の目的意識を持たずに偶発的なコミュニケーションを発生させたりしたい状況においては、情報処理装置１０では、表示領域における有効領域の形状を、円形に変化させることができる。
　このように、情報処理装置１０において、円形の形状からなる有効領域に、相手ユーザを含む映像を表示させることで、ユーザは、角々の細かな情報に注意をとられることなく、周辺意識的に相手ユーザ側の空間の情報を捉えやすくなる効果を利用して、より自然で快適な遠隔でのコミュニケーションを可能にする。
　また、表示領域における有効領域の形状としては、矩形や円形に限らず、例えば、縦長の楕円や半円などの他の形状に変化させても構わない。
　より具体的には、情報処理装置１０においては、ユーザの位置や、視点の高さ、向きなどの情報と、人間の視覚特性（例えば、人間の視野特性マップ情報等の視野特性）とを組み合わせることで、任意の視覚的情報優先パラメータ（例えば、雰囲気、文字、サイン、人物等）に応じて、最適な有効領域の形状を決定し、表示領域における有効領域の形状を制御することができる。
　図４は、情報処理装置１０における表示部１２１の表示領域１５１における有効領域１６１の形状の変化の例を示している。
　図４のＡに示した矩形の形状の表示領域１５１を有する情報処理装置１０では、表示領域１５１に、相手ユーザの全身の映像が表示されている。すなわち、図４のＡでは、表示領域１５１が、有効領域１６１と一致している。
　このとき、情報処理装置１０は、人間の視覚特性に基づき、センサデータ等の分析対象データを用いてユーザの状態を分析する。例えば、人間の視覚特性は、弁別視野、有効視野、安定注視野、誘導視野、補助視野などの視野特性を含む。ユーザの状態は、ユーザの認知状態などの状態を含む。
　情報処理装置１０は、ユーザの状態の分析結果に基づき、表示部１２１の表示領域１５１における有効領域１６１の形状を変化させる。この例では、図４のＡに示した矩形の形状から、図４のＢに示した円形の形状に、表示領域１５１における有効領域１６１の形状が変化している。
　図４のＢに示した情報処理装置１０では、円形の形状となる有効領域１６１に、相手ユーザの上半身の映像が表示されている。図４のＢに示した情報処理装置１０では、表示領域１５１における有効領域１６１を除いた領域が、非有効領域１６２となる。
　また、情報処理装置１０は、ユーザの状態の分析結果に基づき、表示領域１５１における有効領域１６１の形状を、図４のＢに示した円形の形状から、図４のＡに示した矩形の形状に変化させることもできる。
　このように、情報処理装置１０では、ユーザの状態に応じて表示領域における有効領域の形状を変化させることで、自然で心地良い常時接続のつながり感を与えることができる。なお、詳細は後述するが、分析対象データを用いた分析では、ユーザの状態のほか、例えば、コンテキストや相手ユーザとの相対関係を分析し、その分析結果に基づき、表示領域における有効領域の形状を制御しても構わない。
　例えば、表示領域における有効領域の形状を円形や楕円形に変化させることで、遠隔地との関係性の質を向上させるためのテレプレゼンスシステムにおいて、プライバシの侵害感や過度の目的志向をなくして、より自然に、空間や相手ユーザを感じながら、適度な共創活動を生み出すことができる。
　また、情報処理装置１０では、表示領域における有効領域の形状を、円形や楕円形等に変化させるに際して、マスク領域としての非有効領域を活用して相手の空間の状態を提示することができる。この例では、図４のＢに示した矩形の表示領域１５１における円形の有効領域１６１の部分を除いた非有効領域１６２に、相手の空間の状態が提示される。
　この相手の空間の状態としては、相手ユーザの状態や、相手の空間の環境の状態（天候や地震の発生等）、相手の空間にある物体の状態（気配や音等）などが含まれ、相手の空間の状態の分析結果に基づき、表示領域１５１における非有効領域１６２の提示が制御される。
　なお、図４では、表示領域１５１における有効領域１６１の形状を、矩形の形状と円形の形状で相互に変化させる場合を例示したが、有効領域１６１の形状は、表示部１２１（のパネル部）により表現可能な様々な形状を用いることができる。図５乃至図７は、表示領域１５１における有効領域１６１と非有効領域１６２の形状の例を示している。
（第１の例）
　図５は、表示領域１５１における有効領域１６１と非有効領域１６２の形状の第１の例を示している。
　図５においては、縦長の矩形の形状からなるパネル部を有する表示部１２１の表示領域１５１における有効領域１６１の形状を、他の形状に変化させた場合を示している。
　図５のＡに示すように、有効領域１６１の元の形状は、表示部１２１のパネル部の表示領域１５１の形状に対応した縦長の矩形の形状となるが、その形状を、例えば、図５のＢ乃至Ｄのいずれかに示すような形状に変化させることができる。
　図５のＢでは、有効領域１６１の形状が、縦長の矩形から円形に変化している。また、図５のＢでは、非有効領域１６２の形状は、表示領域１５１における円形の有効領域１６１の部分を除いた上下の所定の領域となる。
　図５のＣでは、有効領域１６１の形状が、縦長の矩形から縦長の楕円に変化している。また、図５のＣでは、非有効領域１６２の形状は、表示領域１５１における楕円の有効領域１６１の部分を除いた四隅の所定の領域となる。
　図５のＤでは、有効領域１６１の形状が、縦長の矩形から、四隅の矩形の領域が除かれた略十字型の形状に変化している。また、図５のＤでは、非有効領域１６２の形状は、表示領域１５１における有効領域１６１の部分を除いた四隅の矩形の領域となる。
（第２の例）
　図６は、表示領域１５１における有効領域１６１と非有効領域１６２の形状の第２の例を示している。
　図６においては、横長の矩形の形状からなるパネル部を有する表示部１２１の表示領域１５１における有効領域１６１の形状を、他の形状に変化させた場合を示している。
　図６のＡに示すように、有効領域１６１の元の形状は、表示部１２１の表示領域１５１の形状に対応した横長の矩形の形状となるが、その形状を、例えば、図６のＢ乃至Ｄのいずれかに示すような形状に変化させることができる。
　図６のＢでは、有効領域１６１の形状が、横長の矩形から円形に変化している。また、図６のＢでは、非有効領域１６２は、表示領域１５１における円形の有効領域１６１の部分を除いた左右の所定の領域となる。
　図６のＣでは、有効領域１６１の形状が、横長の矩形から横長の楕円形に変化している。また、図６のＣでは、非有効領域１６２は、表示領域１５１における楕円の有効領域１６１の部分を除いた四隅の所定の領域となる。
　図６のＤでは、有効領域１６１の形状が、横長の矩形から、ハート型等の所定のシンボルの形状に変化している。また、図６のＤでは、非有効領域１６２は、表示領域１５１におけるシンボル形状の有効領域１６１の部分を除いた３つの領域となる。
（第３の例）
　図７は、表示領域１５１における有効領域１６１と非有効領域１６２の形状の第３の例を示している。
　図７においては、円形の形状からなるパネル部を有する表示部１２１の表示領域１５１における有効領域１６１の形状を、他の形状に変化させた場合を示している。
　図７のＡに示すように、有効領域１６１の元の形状は、表示部１２１の表示領域１５１の形状に対応した円形の形状となるが、その形状を、例えば、図７のＢ乃至Ｄのいずれかに示すような形状に変化させることができる。
　図７のＢでは、有効領域１６１の形状が、円形から矩形（正方形）に変化している。また、図７のＢでは、非有効領域１６２は、表示領域１５１における矩形（正方形）の有効領域１６１の部分を除いた４つの弓形の領域となる。
　図７のＣでは、有効領域１６１の形状が、円形から多角形（六角形）に変化している。また、図７のＣでは、非有効領域１６２は、表示領域１５１における矩形（六角形）の有効領域１６１の部分を除いた６つの弓形の領域となる。
　図７のＤでは、有効領域１６１の形状が、円形から半円形に変化している。図７のＤでは、非有効領域１６２は、表示領域１５１における半円形の有効領域１６１の部分を除いた逆側の半円の領域となる。
　このように、情報処理装置１０において、表示部１２１の表示領域１５１における有効領域１６１と非有効領域１６２の形状は、グラフィカルな表示を制御するなどして、様々な形状に変化させることができる。なお、上述した表示領域１５１における有効領域１６１と非有効領域１６２の形状は一例であり、他の形状に変化させるようにしても構わない。
（ユーザ視覚特性）
　ユーザの状態を分析するときに用いられる人間の視覚特性としては、例えば、人間の視野特性を利用することができる。
　図８は、人間の視野特性の例を示している。
　図８では、人間の眼を模式的に表した場合において、当該人間の視野内の情報受容特性を、弁別視野、有効視野、注視安定視野、誘導視野、及び補助視野の５つの特性により表している。
　弁別視野は、図８の「ａ」により示しており、視力や色弁別などの視機能が優れ、高精度な情報の受容が可能な範囲とされる。例えば、弁別視野は、数度以内の範囲となる。
　有効視野は、図８の「ｂ」により示しており、眼球運動だけで情報を注視し、瞬時に特定の情報を雑音内より受容可能な範囲とされる。例えば、有効視野は、左右約15度、上約8度、下約12度以内の範囲となる。
　注視安定視野は、図８の「ｃ」により示しており、頭部運動が眼球運動を助ける状態で発生し、無理なく注視が可能な範囲とされる。例えば、注視安定視野は、左右30～45度、上20～30度、下25～40度以内の範囲となる。
　誘導視野は、図８の「ｄ」により示しており、提示された情報の存在が判別できる程度の識別力しかないが、人間の空間座標感覚に影響を与える範囲とされる。例えば、誘導視野は、水平30～100度、垂直20～85度の範囲となる。
　補助視野は、図８の「ｅ」により示しており、情報の受容は極度に低下し、強い刺激などに注視動作を誘発させる程度の補助的な働きをする範囲とされる。例えば、補助視野は、水平100～200度、垂直85～135度の範囲となる。
　また、情報処理システム１において、ネットワーク５０を介して接続される情報処理装置１０Ａと情報処理装置１０Ｂにより、遠隔地にいるユーザ同士がコミュニケーションをとる際に、ユーザ同士の位置関係として、例えば、図９と図１０に示すような関係が想定される。
　図９に示すように、遠隔地となる各空間に設置された情報処理装置１０の表示領域１５１における有効領域１６１を介してユーザ同士が向かい合う関係となる場合、視覚、聴覚、対人の意識が対峙する密度の高い対話を行うことが可能となる。
　一方で、図１０に示すように、遠隔地となる各空間に設置された情報処理装置１０の表示領域１５１における有効領域１６１を介してユーザ同士が並んでいる関係の場合、視覚を中心に各意識の方位をあえてずらしていくことで、緩やかで対話を強制しない創造的な場を目指すことが可能となる。
　図１１は、弁別視野と、有効視野と、注視安定視野との関係を表している。
　図１１においては、弁別視野と、有効視野と、注視安定視野との関係を、ある面に投影された視野と、その面に対する鉛直視野と水平視野との関係により表している。
　弁別視野は、図１１のＡに示した横長の楕円のうち最も内側の楕円の領域であって、高密度のドットパターンを含む視野ＦＶ０で表されており、鉛直視野の高さＨ０と水平視野の幅Ｗ０との関係から、下記の式（１）により表される。
　弁別視野ＦＶ０：Ｗ０×Ｈ０ 　　　・・・（１）
　有効視野は、図１１のＡに示した横長の楕円のうち最も内側と最も外側との間の楕円の領域であって、中密度のドットパターンを含む視野ＦＶ１で表されており、鉛直視野の高さＨ１と水平視野の幅Ｗ１との関係から、下記の式（２）により表される。
　有効視野ＦＶ１：Ｗ１×Ｈ１ 　　　・・・（２）
　注視安定視野は、図１１のＡに示した横長の楕円のうち最も外側の楕円の領域であって、低密度のドットパターンを含む視野ＦＶ２で表されており、鉛直視野の高さＨ２と水平視野の幅Ｗ２との関係から、下記の式（３）により表される。
　注視安定視野ＦＶ２：Ｗ２×Ｈ２ 　　　・・・（３）
　人間の視覚特性として人間の視野特性を用いる場合に、弁別視野ＦＶ０、有効視野ＦＶ１、及び注視安定視野ＦＶ２を含む視野ＦＶについて、矩形の形状からなる有効領域１６１との関係を図１２のＡに示し、円形の形状からな有効領域１６１との関係を図１２のＢに示している。
　図１２のＡと図１２のＢに示すように、表示領域１５１における有効領域１６１の形状が矩形と円形とで異なると、有効領域１６１内の弁別視野ＦＶ０、有効視野ＦＶ１、及び注視安定視野ＦＶ２の関係、すなわち、人間の視野特性も異なる。
　また、表示領域１５１における非有効領域１６２は、注視安定視野ＦＶ２に対応した領域となる。そのため、非有効領域１６２に提示される相手の空間の状態は、ユーザが無理なく注視が可能な範囲に提示されるため、有効領域１６１を見続けながら、視線をそらすことなく、相手の空間の状態を認識することができる。
　換言すれば、情報処理装置１０において、相手の空間の状態は、非有効領域１６２に提示されるため、有効領域１６１に表示される映像の補完的な情報や、有効領域１６１に表示される映像と直接的に関係のない情報などの情報を提示することができる。
　以下、図１３乃至図２０には、情報処理装置１０Ａにおいて、表示部１２１の表示領域１５１における非有効領域１６２を活用して、情報処理装置１０Ｂが設置された空間（接続先の相手の空間）の状態を提示する例を示している。
（第１の例）
　図１３，図１４は、非有効領域１６２を利用した相手空間の状態提示の第１の例を示している。
　図１３において、Ａ地点の空間に設置された情報処理装置１０Ａでは、表示部１２１の表示領域１５１のうち、円形の形状からなる有効領域１６１に、情報処理装置１０Ｂが設置されているＢ地点の空間内の様子が表示されている。情報処理装置１０Ａにおいて、有効領域１６１には、情報処理装置１０Ｂの近くにいる相手ユーザの様子が写っており、Ａ地点の空間にいるユーザは、Ｂ地点の空間にいる相手ユーザとコミュニケーションをとっている。
　このとき、情報処理装置１０Ａでは、ユーザと相手ユーザ間のコミュニケーションの状態が認識され、当該コミュニケーションが活発に行われていることが検知された場合、その盛り上がりのレベルに応じて、非有効領域１６２が振動する。図１３の例では、振動Ｖ１１乃至Ｖ１６で表したように、非有効領域１６２であって、有効領域１６１の周辺の領域が、会話等の盛り上がりに応じて微振動している。なお、盛り上がりのレベルは、活発さの度合いであるとも言える。
　一方で、図１４において、情報処理装置１０Ａにおいて、有効領域１６１には、Ｂ地点の空間内を移動中の相手ユーザの様子が写っており、ユーザは、相手ユーザとコミュニケーションをとっていない。このとき、情報処理装置１０Ａでは、ユーザ間のコミュニケーションが検知されていないため、非有効領域１６２は振動していない。
　このように、ユーザ間のコミュニケーションが活発に行われている場合には、相手ユーザが表示された有効領域１６１の周辺の非有効領域１６２が振動（微振動）するため、ユーザは、接続先の相手の空間における会話等の盛り上がりを、その盛り上がりのレベルに応じた振動により体感することができる。
　ここで、盛り上がりのレベルの求め方であるが、例えば、情報処理装置１０Ａ，１０Ｂの両方の装置における集音部１１３の音声入力や、音出力部１２２の音出力などから得られる情報に基づき、双方のユーザが相互にバランスの良い発話シーケンス（例えば、一方的な会話ではないなど）となっているか、あるいは、双方のユーザがあたかも同一の空間にいるかのような感覚でコミュニケーションができているかなどを判別することで、その判別結果に応じて求めることができる。
　なお、この例では、Ａ地点の空間に設置された情報処理装置１０Ａについて説明したが、Ｂ地点の空間に設置された情報処理装置１０Ｂについても、情報処理装置１０Ａと同様に、ユーザ間のコミュニケーションの盛り上がりのレベルに応じて、非有効領域１６２を振動させることができる。
（第２の例）
　図１５，図１６は、非有効領域１６２を利用した相手空間の状態提示の第２の例を示している。
　図１５において、Ａ地点の空間に設置された情報処理装置１０Ａでは、表示部１２１の表示領域１５１のうち、円形の形状からなる有効領域１６１に、情報処理装置１０Ｂが設置されているＢ地点の空間内の様子が表示されている。情報処理装置１０Ａにおいて、有効領域１６１には、情報処理装置１０Ｂが設置された部屋の様子が写っており、窓には雨が吹き付けている。
　このとき、情報処理装置１０Ａでは、接続先のＢ地点の空間の環境情報が取得され、大雨や台風などにより雨が降っていることが検知された場合、その雨の状況に応じて、非有効領域１６２が振動する。図１５の例では、振動Ｖ２１乃至Ｖ２３で表したように、非有効領域１６２であって、有効領域１６１の上部（天井寄り）の領域が、雨音等に連動して微振動している。なお、台風や風の音が強い状況の場合には、その状況に応じて非有効領域１６２の全域が揺れるようにしてもよい。
　また、図１６において、情報処理装置１０Ａでは、円形の形状からなる有効領域１６１には、情報処理装置１０Ｂが設置された部屋の様子が写っており、遠方の地域であるＢ地点の空間の地域で発生した地震の影響で家電や家具等が揺れている。
　このとき、情報処理装置１０Ａでは、接続先のＢ地点の空間の環境情報が取得され、地震による揺れが検知された場合、その地震の状況（震度や揺れなど）に応じて、非有効領域１６２が振動する。図１６の例では、振動Ｖ３１乃至Ｖ３３で表したように、非有効領域１６２であって、有効領域１６１の下部（床寄り）の領域が、地震の揺れ等に連動して微振動している。なお、地震の揺れが大きい状況の場合には、その状況に応じて非有効領域１６２の全域が揺れるようにしてもよい。
　このように、接続先の相手の空間が非定常状態（大雨、台風、地震など）となる場合には、相手の空間が表示された有効領域１６１の上部や下部等の非有効領域１６２における所定の領域が振動（微振動）する。そのため、ユーザは、相手の空間で大雨や地震などが発生していることを、その非定常状態に応じた振動により体感することができる。
　なお、上述した説明では、大雨や台風、地震を例に挙げたが、環境情報としては、天候、天気、日照、気圧、気温、湿度、降水量、積雪量、風速、風向きなどの気象に関する情報のほか、その他の自然災害に関する情報など、各種の環境に関する情報を含めることができ、この環境情報に基づき、情報処理装置１０では、非有効領域１６２における所定の領域が振動することになる。
（第３の例）
　図１７，図１８は、非有効領域１６２を利用した相手空間の状態提示の第３の例を示している。
　図１７において、Ａ地点の空間に設置された情報処理装置１０Ａでは、表示部１２１の表示領域１５１のうち、円形の形状からなる有効領域１６１に、情報処理装置１０Ｂが設置されているＢ地点の空間内の様子が表示されている。情報処理装置１０Ａにおいて、有効領域１６１には、情報処理装置１０Ｂが設置された部屋の様子が写っており、特に変わった様子はなく、定常状態とされる。
　このとき、Ｂ地点の空間において、部屋のドアを開けて相手ユーザが入ってくる場合を想定する。図１８は、Ｂ地点の空間における部屋の平面図を示しており、情報処理装置１０Ｂに設けられたカメラ部１１２の画角に、部屋のドアの位置は含まれてない。つまり、部屋のドアは、カメラ部１１２の画角外となるため、情報処理装置１０Ａの表示領域１５１における有効領域１６１には、ドアを開けたときの相手ユーザの様子を表示することはできない。
　情報処理装置１０Ａでは、画角外情報として、接続先のＢ地点の空間の気配・音情報が取得され、ある方向からの物体の気配や動き発生音などが検知された場合、その気配や音などの到来方向に応じて、非有効領域１６２が振動する。図１７の例では、振動Ｖ４１，Ｖ４２で表したように、非有効領域１６２であって、有効領域１６１の左部（ドア側）の領域が、相手ユーザにより開けられたドアに連動して微振動している。
　このように、有効領域１６１には表示されていないが、接続先の相手の空間で、相手ユーザや物などの物体から、気配や動き発生音が発生した場合に、その気配や動き発生音の到来方向に対応した非有効領域１６２における所定の領域が振動（微振動）するため、ユーザは、有効領域１６１で見えていない場所であっても、相手ユーザ等の物体の位置を直感的に把握することができる。
（第４の例）
　図１９は、非有効領域１６２を利用した相手空間の状態提示の第４の例を示している。
　図１９において、Ａ地点の空間に設置された情報処理装置１０Ａでは、表示部１２１の表示領域１５１のうち、円形の形状からなる有効領域１６１に、情報処理装置１０Ｂが設置されている部屋の様子が表示されているが、特に変わった様子はなく、定常状態とされる。
　このとき、Ｂ地点の空間において、情報処理装置１０Ｂに設けられたカメラ部１１２の画角外にいる相手ユーザが発話を行った場合を想定する。情報処理装置１０Ａでは、接続先のＢ地点の空間の気配・音情報が取得され、相手ユーザの発話が検知された場合、その音源の位置と方向に応じて、非有効領域１６２を視覚的に変化させる。
　図１９の例では、視覚的変化Ｃ１１で表したように、非有効領域１６２であって、有効領域１６１の左部（相手ユーザ側）の領域が、相手ユーザによる発話に連動して視覚的に変化している。この視覚的な変化の実現方法としては、例えば、非有効領域１６２における所定の領域で、テクスチャや色、明るさなどを変化（変動）させることで実現することができる。
　このように、非有効領域１６２を振動させるだけでなく、視覚的に変化させることでも、ユーザに、接続先の相手の空間にいる相手ユーザの気配や発話の到来方向を感じさせることができる。
（第５の例）
　図２０は、非有効領域１６２を利用した相手空間の状態提示の第５の例を示している。
　図２０において、Ａ地点の空間に設置された情報処理装置１０Ａでは、表示部１２１の表示領域１５１のうち、円形の形状からなる有効領域１６１に、情報処理装置１０Ｂが設置されている部屋の様子が表示されているが、複数の相手ユーザが存在し、特定の相手ユーザが会話を行っている。図２０の例では、有効領域１６１に表示された映像に映っている相手ユーザのうち、右側のエリアの２人の相手ユーザが活発に会話を行っている。
　このとき、情報処理装置１０Ａでは、接続先のＢ地点の空間の気配・音情報が取得され、非有効領域１６２の対応部分が、会話を行っている２人の相手ユーザの会話や物音に応じて視覚的に変化される。
　図２０の例では、視覚的変化Ｃ２１で表したように、非有効領域１６２であって、有効領域１６１の右部（会話中の相手ユーザ側）の領域が、２人の相手ユーザの会話に連動して、テクスチャや色、明るさ等が変化することで視覚的に変化している。
　このように、非有効領域１６２を、相手ユーザの会話や物音に応じて視覚的に変化させることで、ユーザに対し、接続先のＢ地点の空間内の誰が話しているかや、何から音が出ているかを感じさせることができる。また、Ａ地点の空間側の騒音レベルが高いときや、情報処理装置１０Ａの音量を下げている状態であっても、ユーザは、接続先のＢ地点の空間の音響状況を直感的に把握することができる。
　なお、図１３乃至図２０を参照して説明した例では、相手の空間の状態を提示する際に、振動や、視覚的な変化を用いた場合を示したが、相手の空間の状態を提示可能な提示方法であれば、いずれの提示方法を用いても構わない。例えば、提示方法として、Ｂ地点の空間の状態を、視覚、聴覚、及び触覚のうち、少なくとも１つの感覚機能により、Ａ地点の空間にいるユーザに感知されるように提示する方法を用いることができる。
（各装置の処理の流れ）
　次に、図２１のフローチャートを参照して、Ａ地点の空間に設置された情報処理装置１０Ａと、Ｂ地点の空間に設置された情報処理装置１０Ｂとの間で行われる処理の流れを説明する。
　図２１において、ステップＳ１１乃至Ｓ１４の処理は、Ａ地点の空間に設置された情報処理装置１０Ａにより実行される。
　情報処理装置１０Ａでは、カメラ部１１２により撮影画像データが生成され、集音部１１３により音情報データが生成され（Ｓ１１）、生成された撮影画像と音情報のデータが、ネットワーク５０を介して情報処理装置１０Ｂに送信される（Ｓ１２）。
　また、情報処理装置１０Ａでは、ネットワーク５０を介して情報処理装置１０Ｂから送信されてくる撮影画像と音情報のデータが受信され（Ｓ１３）、受信された撮影画像と音情報のデータに基づき、Ｂ地点の空間の映像と音が出力される（Ｓ１４）。
　一方で、ステップＳ３１乃至Ｓ３４の処理は、Ｂ地点の空間に設置された情報処理装置１０Ｂにより実行される。
　情報処理装置１０Ｂでは、カメラ部１１２により撮影画像データが生成され、集音部１１３により音情報データが生成され（Ｓ３１）、生成された撮影画像と音情報のデータが、ネットワーク５０を介して情報処理装置１０Ａに送信される（Ｓ３３）。
　また、情報処理装置１０Ｂでは、ネットワーク５０を介して情報処理装置１０Ａから送信されてくる撮影画像と音情報のデータが受信され（Ｓ３２）、受信された撮影画像と音情報のデータに基づき、Ａ地点の空間の映像と音が出力される（Ｓ３４）。
　以上のように、情報処理装置１０Ａと情報処理装置１０Ｂとの間では、それぞれのカメラ部１１２により撮影された撮影画像、集音部１１３により集音された音などのデータの送受信が、例えば、双方の装置の接続が確立している間、常時、リアルタイムで行われる。なお、ここでは説明を省略したが、情報処理装置１０Ａと情報処理装置１０Ｂとの間では、撮影画像や音のデータのほか、センサデータ等の各種のデータについても送受信される。
　情報処理装置１０Ａでは、情報処理装置１０Ｂにより撮影された映像を表示するとともに集音された音を出力する一方で、情報処理装置１０Ｂでは、情報処理装置１０Ａにより撮影された映像を表示するとともに集音された音を出力する。これにより、情報処理装置１０Ａ，１０Ｂのユーザは、お互いに自分の近くにある情報処理装置１０Ａ，１０Ｂの向こう側に相対して情報処理装置１０Ｂ，１０Ａの相手ユーザがいるように感じることができる。
　次に、図２２のフローチャートを参照して、Ａ地点の情報処理装置１０ＡとＢ地点の情報処理装置１０Ｂのぞれぞれで実行される表示領域形状制御処理を説明する。
　ステップＳ５１において、データ取得部１３１は、カメラ部１１２により撮影された撮影画像データやセンサ部１１４により検出されたセンサデータなどを、分析対象データとして取得する。
　なお、分析対象データには、自己の空間（Ａ地点又はＢ地点）に設置された情報処理装置１０（１０Ａ又は１０Ｂ）で取得されたデータに限らず、相手の空間（Ｂ地点又はＡ地点）に設置された情報処理装置１０（１０Ｂ又は１０Ａ）から送信されてくるデータも含まれる。
　ステップＳ５２において、分析処理部１３２は、人間の視覚特性に基づき、取得した分析対象データを用いてユーザの状態を分析する処理を行う。
　例えば、人間の視覚特性としては、図８乃至図１２を参照して説明した人間の視野特性を用いることができる。また、例えば、ユーザの状態としては、ユーザの認知状態などが含まれる。すなわち、このユーザの状態の分析処理では、弁別視野、有効視野、注視安定視野等を含む視野特性を標準的視覚能力として、この標準的視覚能力に各ユーザ個人の個別の特性や条件などを加味したものを、いわば視覚的認知特性情報として用いている。
　ステップＳ５３において、分析処理部１３２は、ユーザの状態の分析結果に基づいて、表示部１２１の表示領域１５１における有効領域１６１の形状を決定する。
　ステップＳ５４において、分析処理部１３２は、決定した有効領域１６１の形状が、現時点での有効領域１６１の形状と異なるかどうかを判定する。
　ステップＳ５４の判定処理で、決定した有効領域１６１の形状が、現時点での有効領域１６１の形状と異なると判定された場合、処理は、ステップＳ５５に進められる。
　ステップＳ５５において、提示制御部１３３は、表示部１２１（のパネル部）の表示を制御して、現時点での表示領域１５１における有効領域１６１の形状を、決定した有効領域１６１の形状に変更する。
　より具体的には、情報処理装置１０において、現時点での表示領域１５１における有効領域１６１の形状が矩形である場合に、決定された有効領域１６１の形状が円形であったとき、それらの形状は異なるため、有効領域１６１の形状が、矩形から円形に変化する（図４のＡ，Ｂの例）。
　このとき、例えば、提示制御部１３３は、表示部１２１のパネル部上の円形の形状に対応する部分を有効領域１６１とし、当該円形の形状に対応する部分を除いた部分を非有効領域１６２（例えば黒領域等）とすることで、表示領域１５１における有効領域１６１の形状を円形に変更することができる。また、有効領域１６１の形状を変更するに際しては、矩形から円形に形状を連続的に変化させてもよいし、形状を非連続に変化させてもよい（矩形から円形に瞬時に切り替えてもよい）。
　なお、表示部１２１として、プロジェクタを用いている場合には、当該プロジェクタにより投影される映像の投影面の形状が、矩形から円形に変更されるようにすればよい。
　一方で、ステップＳ５４の判定処理で、決定した有効領域１６１の形状が、現時点での有効領域１６１の形状と同一であると判定された場合、ステップＳ５５の処理はスキップされ、処理を終了する。
　以上、表示領域形状制御処理の流れを説明した。この表示領域形状制御処理では、情報処理装置１０Ａと情報処理装置１０Ｂのそれぞれで、遠隔地にいる相手ユーザの映像を表示する表示部１２１の表示領域１５１における有効領域１６１の形状が矩形等の形状に固定されるのではなく、ユーザの状態の分析結果に応じて、表示領域１５１の形状が、矩形から円形などに変化する。そのため、ユーザに与える接続先の相手の空間の雰囲気や、相手ユーザの気配の感じさせ方などを最適に変化させることができる。そのため、遠隔地にいるユーザ同士がより自然なコミュニケーションをとることができる。
　なお、上述した分析処理では、ユーザの状態を分析する場合を例示したが、ユーザの状態に限らず、例えば、コンテキストや相手ユーザとの相対関係などを分析して、分析結果に加味しても構わない。
　すなわち、分析処理部１３２では、センサデータ等の分析対象データに基づき、コンテキストが分析され、提示制御部１３３では、ユーザの状態及びコンテキストの少なくとも一方の分析結果に基づき、表示領域１５１における有効領域１６１の形状が制御される。
　また、分析処理部１３２は、センサデータ等の分析対象データに基づき、コンテキストを分析する際に、当該コンテキストに起因するユーザへの影響を分析し、当該ユーザへの影響の分析結果に基づき、当該ユーザの認知状態を分析してもよい。このように、コンテキストを用いてユーザの認知状態を分析することで、脳波や生体、挙動等をセンシングして認知状態を分析する場合と比べて、コストを低減することができる。
　例えば、コンテキストとしては、情報処理装置１０が設置されている空間に関する情報、当該空間の周辺の天候に関する情報、及び当該空間が存在する建造物又はその建造物の設備に関する情報など、情報処理装置１０が使用されている状況に関する情報を含めることができる。
　また、分析処理部１３２では、センサデータ等の分析対象データに基づき、相手ユーザとの相対関係が分析され、提示制御部１３３では、ユーザの状態及び相対関係の少なくとも一方の分析結果に基づき、表示領域１５１における有効領域１６１の形状が制御される。
　例えば、相手ユーザとの相対関係を分析することで、情報処理装置１０Ａと情報処理装置１０Ｂが設置されたそれぞれの空間にいるユーザ同士の親密度や信頼度等に応じて、表示領域１５１における有効領域１６１の形状を、開示度の高い形状としたり、あるいは、プライバシ保護効果の高い形状としたりすることができる。また、例えば、どちらかの空間に主たるユーザが存在する場合や、ほぼ人が存在しない場合などの条件によっても同様に、表示領域１５１における有効領域１６１の形状が、最適な形状となるようにしてもよい。
　なお、情報処理装置１０において、表示領域１５１における有効領域１６１の形状を変更する際には、表示領域の形状に関する学習データを用いた機械学習により学習した判定モデルを用い、センサデータ等の分析対象データから推定される形状に変更しても構わない。機械学習の手法としては、例えば、ニューラルネットワークや、ディープラーニングを用いることができる。また、情報処理装置１０において、表示領域１５１における有効領域１６１の初期の形状を、当該情報処理装置１０に対するユーザの位置（あらかじめ想定されるユーザ位置）に応じた形状としても構わない。
　また、情報処理装置１０では、ユーザの注視点（視線）の動きをセンシング（例えば、脳波や生体情報の検出のほか、発話解析や行動解析を含む）して、ユーザの認知や脳内モードを推定し、その状態に適した形状に、表示領域１５１における有効領域１６１の形状を近づけるようにしてもよい。また、その逆に、誘導したい認知モードに変化させていく方向に、表示領域１５１における有効領域１６１の形状を変化させるようにしてもよい。なお、これらの処理を実行するに際して、ユーザ個々の認知能力（視力や知識、経験、趣向など）を最適化しても構わない。
　次に、図２３のフローチャートを参照して、Ａ地点の情報処理装置１０ＡとＢ地点の情報処理装置１０Ｂのぞれぞれで実行される相手空間状態提示制御処理を説明する。
　なお、この相手空間状態提示制御処理は、上述した表示領域形状制御処理により、表示領域１５１における有効領域１６１の形状が、矩形から円形などの形状に変化して、非有効領域１６２が存在する場合に実行される処理とされる。
　ステップＳ７１において、分析処理部１３２は、取得した分析対象データを用いて、相手の空間の状態を分析する処理を行う。
　ステップＳ７２において、分析処理部１３２は、相手の空間の状態の分析結果に基づいて、相手の空間における所定のイベントが発生したかどうかを判定する。
　ステップＳ７２の判定処理で、所定のイベントが発生したと判定された場合、処理は、ステップＳ７３に進められる。
　ステップＳ７３において、提示制御部１３３は、出力部１０７を制御して、表示領域１５１における非有効領域１６２に、相手の空間の状態を提示する。
　例えば、図１３乃至図２０を参照して説明したように、相手の空間の状態として、ユーザ間のコミュニケーションの活発さの度合いを提示したり、相手の空間における天候又は地震の程度を提示したり、画角外の気配や音を提示したりすることができる。また、この相手の空間の状態の提示に際しては、視覚、聴覚、及び触覚のうち、少なくとも１つの感覚機能により、ユーザに感知されるように提示される。
　一方で、ステップＳ７２の判定処理で、所定のイベントが発生していないと判定された場合、ステップＳ７３の処理はスキップされ、処理を終了する。
　以上、相手空間状態提示制御処理の流れを説明した。この相手空間状態提示制御処理では、上述した表示領域形状制御処理によって表示領域１５１における有効領域１６１の形状が変化して非有効領域１６２が形成されたとき、この非有効領域１６２を活用して、ユーザに対し、相手の空間の状態を提示している。そのため、ユーザは、有効領域１６１に表示された映像だけでなく、非有効領域１６２に提示される相手の空間の状態を認識することができるため、遠隔地にある相手の空間の状況をより深く把握することができる。
＜２．変形例＞
（システムの他の構成）
　図２，図３の説明において、制御部１００が情報処理装置１０に設けられるものとしたが、制御部１００の全部又は一部の機能については、ネットワーク５０に接続されたサーバにおいて実現されるようにしてもよい。
　図２４は、本技術を適用した情報処理システムの一実施の形態の構成の他の例を示している。
　図２４に示した情報処理システムは、情報処理装置１０Ａ、情報処理装置１０Ｂ、及びサーバ２０のそれぞれが、インターネット等のネットワーク５０を介して接続されることによって構成される。サーバ２０には、図３を参照して説明した制御部１００の全部又は一部の構成が設けられる。
　このように、制御部１００が情報処理装置１０の外部に設けられるようにしてもよい。
　例えば、情報処理装置１０からサーバ２０に対しては、撮影画像、音情報、及び環境情報などの各種のデータが送信される。また、例えば、サーバ２０から情報処理装置１０に対しては、接続先の撮影画像、音情報、及び環境情報などの各種のデータが送信される。
　情報処理装置１０を制御するホームサーバが、情報処理装置１０に対して設けられるようにしてもよい。
　図２５は、本技術を適用した情報処理システムの一実施の形態の構成のさらに他の例を示す図である。
　図２５に示した情報処理システムは、情報処理装置１０Ａと情報処理装置１０Ｂがネットワーク５０を介して接続されることによって構成される。
　情報処理装置１０Ａは、入出力部１１Ａとホームサーバ１２Ａにより構成される。入出力部１１Ａには、入力部１０６（図２）と出力部１０７（図２）の構成が少なくとも設けられる。また、ホームサーバ１２Ａには、制御部１００（図３）と通信部１０９（図２）の構成が少なくとも設けられる。ホームサーバ１２Ａは、情報処理装置１０Ｂのホームサーバ１２Ｂとネットワーク５０を介して接続される。
　同様に、情報処理装置１０Ｂは、入出力部１１Ｂとホームサーバ１２Ｂにより構成される。入出力部１１Ｂには、入力部１０６（図２）と出力部１０７（図２）の構成が少なくとも設けられる。また、ホームサーバ１２Ｂには、制御部１００（図３）と通信部１０９（図２）の構成が少なくとも設けられる。ホームサーバ１２Ｂは、情報処理装置１０Ａのホームサーバ１２Ａとネットワーク５０を介して接続される。
　このように、制御部１００などの構成が、表示部１２１などを有する入出力部１１の外部に設けられるようにしてもよい。
　なお、ホームサーバ１２Ａ，１２Ｂには、制御部１００の一部の構成を設けて、制御部１００の残りの一部が、入出力部１１Ａ，１１Ｂに設けられるようにしてもよい。
　以上のように、本技術では、人間の視覚特性に基づき、センサデータ等の分析対象データを用いてユーザの状態やコンテキスト、相手ユーザとの相対関係などが分析され、その分析結果に基づき、表示装置の表示領域（有効領域）の形状が制御される。
　これにより、ビデオコミュニケーションシステム（テレプレゼンスシステム）を使用して遠隔地にいるユーザ同士がコミュニケーションを図るに際して、より自然なコミュニケーションをとることができる。
　また、遠隔地との関係性の質を向上させるためのテレプレゼンスシステムにおいて、プライバシの侵害感や過度の目的志向をなくして、より自然に空間や相手ユーザを感じながら、適度な共創活動を生み出すことができる。さらに、ユーザの状態に応じて表示領域の形状が変化されるため、自然で心地良い常時接続のつながり感が得られる。
　さらに、システムの環境側から、ユーザの意識やコミュニケーションの在り方などを変容させることが可能となる。また、ティスプレイを有するテレプレゼンス装置を用いてユーザ同士がコミュニケーションを図るため、ヘッドマウントディスプレイ等の特殊な機器を頭部に装着する必要があるVR(Virtual Reality)などの環境と比べて、ユーザ同士がより自然なコミュニケーションをとることができる。
　また、本技術では、マスク領域としての非有効領域に、相手の空間の状態を提示できることから、ユーザは、有効領域に表示された映像だけでなく、非有効領域に提示される相手の空間の状態を認識することができるため、遠隔地にある相手の空間の状況をより深く把握することができる。
＜３．コンピュータの構成＞
　上述した情報処理装置１０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　コンピュータ（CPU）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体（例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなど）に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体をドライブに装着することにより、入出力インターフェースを介して、記録部にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部で受信し、記録部にインストールすることができる。その他、プログラムは、ROMや記録部に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートの各ステップは、１つの装置で実行するほか、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行するほか、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下のような構成をとることができる。
（１）
　第１の撮影装置と第１の表示装置が設置された第１の空間と、第２の撮影装置と第２の表示装置が設置された第２の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
　前記第１の表示装置の表示領域における、前記第２の撮影装置により撮影された撮影画像を表示した有効領域を除いた非有効領域に、前記第２の空間の状態を提示する制御を行う
　制御部を備える
　情報処理装置。
（２）
　前記制御部は、前記第２の空間の状態を、視覚、聴覚、及び触覚のうち、少なくとも１つの感覚機能により、前記第１の空間にいる第１のユーザに感知されるように提示する
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記第２の空間の状態を、その状態に対応した前記非有効領域の全部又は一部の領域に提示する
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記制御部は、前記第２の空間の状態として、前記有効領域に表示した撮影画像の補完的な情報を提示する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記制御部は、前記第２の空間の状態として、前記有効領域に表示した撮影画像と直接的に関係のない情報を提示する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（６）
　前記制御部は、
　　人間の視野特性に基づいて、分析対象データを用いて前記第１の空間にいる第１のユーザの状態を分析し、
　　前記第１のユーザの状態の分析結果に基づいて、前記非有効領域に、前記第２の空間の状態を提示する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（７）
　前記視野特性は、弁別視野、有効視野、及び注視安定視野を含み、
　前記制御部は、前記非有効領域のうち、前記注視安定視野に対応した領域に、前記第２の空間の状態を提示する
　前記（６）に記載の情報処理装置。
（８）
　前記制御部は、前記分析対象データとして、前記第１の空間及び前記第２の空間の少なくとも一方に設置されたデバイスから得られるデータを取得する
　前記（６）又は（７）に記載の情報処理装置。
（９）
　前記制御部は、前記第１のユーザの状態の分析結果に基づいて、前記第１の表示装置の表示領域における前記有効領域の形状を制御する
　前記（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記制御部は、前記第１の空間にいる第１のユーザと、前記第２の空間にいる第２のユーザとの間のコミュニケーションの活発さの度合いに応じて、前記第２のユーザの状態を提示する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記制御部は、前記コミュニケーションの活発さの度合いに応じて、前記非有効領域を振動させる
　前記（１０）に記載の情報処理装置。
（１２）
　前記制御部は、前記第２の空間に関する環境情報に基づいて、前記第２の空間の状態を提示する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１３）
　前記環境情報は、天候又は地震に関する情報を含み、
　前記制御部は、天候又は地震の程度に応じて、前記非有効領域を振動させる
　前記（１２）に記載の情報処理装置。
（１４）
　前記制御部は、前記第２の撮影装置の画角外に関する画角外情報に基づいて、前記第２の空間の状態を提示する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１５）
　前記画角外情報は、物体の気配又は音に関する情報を含み、
　前記制御部は、物体の気配又は音の程度に応じて、前記非有効領域を振動させる
　前記（１４）に記載の情報処理装置。
（１６）
　前記画角外情報は、物体の音に関する情報を含み、
　前記制御部は、物体の音の程度に応じて、前記非有効領域を視覚的に変化させる
　前記（１４）に記載の情報処理装置。
（１７）
　前記制御部は、前記第２の空間にいる複数の第２のユーザによるコミュニケーションの状況に応じて、前記非有効領域を視覚的に変化させる
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１８）
　前記表示領域における前記有効領域の形状は、矩形、円形、楕円形、多角形、及び所定のシンボルの形状のいずれかの形状を含む
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　前記第１の空間に設置された前記第１の撮影装置と前記第１の表示装置と一体となって構成され、前記第２の空間に設置された前記第２の撮影装置と前記第２の表示装置と一体となって構成された他の情報処理装置とネットワークを介して相互に接続される
　前記（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
　情報処理装置が、
　第１の撮影装置と第１の表示装置が設置された第１の空間と、第２の撮影装置と第２の表示装置が設置された第２の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
　前記第１の表示装置の表示領域における、前記第２の撮影装置により撮影された撮影画像を表示した有効領域を除いた非有効領域に、前記第２の空間の状態を提示する制御を行う
　情報処理方法。
　１　情報処理システム，　１０，１０Ａ，１０Ｂ　情報処理装置，　１１Ａ，１１Ｂ　入出力部，　１２Ａ，１２Ｂ　ホームサーバ，　２０　サーバ，　５０　ネットワーク，　１００　制御部，　１０１　CPU，　１０２　ROM，　１０３　RAM，　１０４　バス，　１０５　入出力I/F，　１０６　入力部，　１０７　出力部，　１０８　記憶部，　１０９　通信部，　１１１　操作部，　１１２　カメラ部，　１１３　集音部，　１１４　センサ部，　１２１　表示部，　１２２　音出力部，　１３１　データ取得部，　１３２　分析処理部，　１３３　提示制御部，　１５１　表示領域，　１６１　有効領域，　１６２　非有効領域

Claims (20)

  1. 　第１の撮影装置と第１の表示装置が設置された第１の空間と、第２の撮影装置と第２の表示装置が設置された第２の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
    　前記第１の表示装置の表示領域における、前記第２の撮影装置により撮影された撮影画像を表示した有効領域を除いた非有効領域に、前記第２の空間の状態を提示する制御を行う
    　制御部を備える
    　情報処理装置。
  2. 　前記制御部は、前記第２の空間の状態を、視覚、聴覚、及び触覚のうち、少なくとも１つの感覚機能により、前記第１の空間にいる第１のユーザに感知されるように提示する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記第２の空間の状態を、その状態に対応した前記非有効領域の全部又は一部の領域に提示する
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記第２の空間の状態として、前記有効領域に表示した撮影画像の補完的な情報を提示する
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記第２の空間の状態として、前記有効領域に表示した撮影画像と直接的に関係のない情報を提示する
    　請求項３に記載の情報処理装置。
  6. 　前記制御部は、
    　　人間の視野特性に基づいて、分析対象データを用いて前記第１の空間にいる第１のユーザの状態を分析し、
    　　前記第１のユーザの状態の分析結果に基づいて、前記非有効領域に、前記第２の空間の状態を提示する
    　請求項３に記載の情報処理装置。
  7. 　前記視野特性は、弁別視野、有効視野、及び注視安定視野を含み、
    　前記制御部は、前記非有効領域のうち、前記注視安定視野に対応した領域に、前記第２の空間の状態を提示する
    　請求項６に記載の情報処理装置。
  8. 　前記制御部は、前記分析対象データとして、前記第１の空間及び前記第２の空間の少なくとも一方に設置されたデバイスから得られるデータを取得する
    　請求項６に記載の情報処理装置。
  9. 　前記制御部は、前記第１のユーザの状態の分析結果に基づいて、前記第１の表示装置の表示領域における前記有効領域の形状を制御する
    　請求項６に記載の情報処理装置。
  10. 　前記制御部は、前記第１の空間にいる第１のユーザと、前記第２の空間にいる第２のユーザとの間のコミュニケーションの活発さの度合いに応じて、前記第２のユーザの状態を提示する
    　請求項３に記載の情報処理装置。
  11. 　前記制御部は、前記コミュニケーションの活発さの度合いに応じて、前記非有効領域を振動させる
    　請求項１０に記載の情報処理装置。
  12. 　前記制御部は、前記第２の空間に関する環境情報に基づいて、前記第２の空間の状態を提示する
    　請求項３に記載の情報処理装置。
  13. 　前記環境情報は、天候又は地震に関する情報を含み、
    　前記制御部は、天候又は地震の程度に応じて、前記非有効領域を振動させる
    　請求項１２に記載の情報処理装置。
  14. 　前記制御部は、前記第２の撮影装置の画角外に関する画角外情報に基づいて、前記第２の空間の状態を提示する
    　請求項３に記載の情報処理装置。
  15. 　前記画角外情報は、物体の気配又は音に関する情報を含み、
    　前記制御部は、物体の気配又は音の程度に応じて、前記非有効領域を振動させる
    　請求項１４に記載の情報処理装置。
  16. 　前記画角外情報は、物体の音に関する情報を含み、
    　前記制御部は、物体の音の程度に応じて、前記非有効領域を視覚的に変化させる
    　請求項１４に記載の情報処理装置。
  17. 　前記制御部は、前記第２の空間にいる複数の第２のユーザによるコミュニケーションの状況に応じて、前記非有効領域を視覚的に変化させる
    　請求項３に記載の情報処理装置。
  18. 　前記表示領域における前記有効領域の形状は、矩形、円形、楕円形、多角形、及び所定のシンボルの形状のいずれかの形状を含む
    　請求項１に記載の情報処理装置。
  19. 　前記第１の空間に設置された前記第１の撮影装置と前記第１の表示装置と一体となって構成され、前記第２の空間に設置された前記第２の撮影装置と前記第２の表示装置と一体となって構成された他の情報処理装置とネットワークを介して相互に接続される
    　請求項１に記載の情報処理装置。
  20. 　情報処理装置が、
    　第１の撮影装置と第１の表示装置が設置された第１の空間と、第２の撮影装置と第２の表示装置が設置された第２の空間との間で、一方の空間で撮影装置により撮影された撮影画像を、他方の空間で表示装置によりリアルタイムで表示するに際して、
    　前記第１の表示装置の表示領域における、前記第２の撮影装置により撮影された撮影画像を表示した有効領域を除いた非有効領域に、前記第２の空間の状態を提示する制御を行う
    　情報処理方法。
PCT/JP2021/001948 2020-02-04 2021-01-21 情報処理装置、及び情報処理方法 WO2021157367A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/759,618 US20230046746A1 (en) 2020-02-04 2021-01-21 Information processing device and information processing method
JP2021575708A JPWO2021157367A1 (ja) 2020-02-04 2021-01-21

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-016808 2020-02-04
JP2020016808 2020-02-04

Publications (1)

Publication Number Publication Date
WO2021157367A1 true WO2021157367A1 (ja) 2021-08-12

Family

ID=77199998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001948 WO2021157367A1 (ja) 2020-02-04 2021-01-21 情報処理装置、及び情報処理方法

Country Status (3)

Country Link
US (1) US20230046746A1 (ja)
JP (1) JPWO2021157367A1 (ja)
WO (1) WO2021157367A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012007A (ja) * 2014-06-27 2016-01-21 富士フイルム株式会社 画像表示装置及び画像表示方法
JP2017041688A (ja) * 2015-08-18 2017-02-23 富士ゼロックス株式会社 サーバー装置、情報処理システム及び端末装置
WO2017098780A1 (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019208167A (ja) * 2018-05-30 2019-12-05 公立大学法人首都大学東京 テレプレゼンスシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012007A (ja) * 2014-06-27 2016-01-21 富士フイルム株式会社 画像表示装置及び画像表示方法
JP2017041688A (ja) * 2015-08-18 2017-02-23 富士ゼロックス株式会社 サーバー装置、情報処理システム及び端末装置
WO2017098780A1 (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019208167A (ja) * 2018-05-30 2019-12-05 公立大学法人首都大学東京 テレプレゼンスシステム

Also Published As

Publication number Publication date
JPWO2021157367A1 (ja) 2021-08-12
US20230046746A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
JP6316387B2 (ja) 広範囲同時遠隔ディジタル提示世界
US6889120B2 (en) Mutually-immersive mobile telepresence with gaze and eye contact preservation
JP4907483B2 (ja) 映像表示装置
CN107211226A (zh) 具有远程扬声器的空间音频
Tsui et al. Design challenges and guidelines for social interaction using mobile telepresence robots
JP7020474B2 (ja) 情報処理装置、情報処理方法及び記録媒体
CN105378801A (zh) 全息图快照网格
CN105264460A (zh) 全息图对象反馈
WO2022005717A1 (en) Generating ground truth datasets for virtual reality experiences
WO2018216355A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021241431A1 (ja) 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
EP3528024B1 (en) Information processing device, information processing method, and program
KR20230029885A (ko) 말 풍선들 및 번역을 갖는 증강 현실 안경류
US20150156481A1 (en) Heads up display (hud) sensor system
WO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN115735174A (zh) 使用保持社交距离的增强现实体验
CN112037090B (zh) 基于vr技术和6dof姿态跟踪的知识教育系统
WO2021157367A1 (ja) 情報処理装置、及び情報処理方法
WO2021106610A1 (ja) 情報処理装置、及び情報処理方法
WO2021153303A1 (ja) 情報処理装置、及び情報処理方法
US20210333862A1 (en) Information processing apparatus, information processing method, and program
JP6779715B2 (ja) 情報処理システム
US20240077983A1 (en) Interaction recording tools for creating interactive ar stories
US20240050831A1 (en) Instructor avatars for augmented reality experiences

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21751471

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021575708

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21751471

Country of ref document: EP

Kind code of ref document: A1