WO2019044100A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2019044100A1
WO2019044100A1 PCT/JP2018/021832 JP2018021832W WO2019044100A1 WO 2019044100 A1 WO2019044100 A1 WO 2019044100A1 JP 2018021832 W JP2018021832 W JP 2018021832W WO 2019044100 A1 WO2019044100 A1 WO 2019044100A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
space
information
display area
display
Prior art date
Application number
PCT/JP2018/021832
Other languages
English (en)
French (fr)
Inventor
健太郎 井田
陽方 川名
誠司 鈴木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019044100A1 publication Critical patent/WO2019044100A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses a technique for executing an operation of an information processing apparatus in accordance with the movement of a user with respect to a projected display object. Furthermore, Patent Document 1 discloses that the display object is changed according to the user's operation on the projected display object, and the display object is projected to a location according to the position or posture of the user in the physical space. (Eg, FIG. 41).
  • Patent Document 1 Although there is correspondence between the user and the projection location of the display object, no consideration is given to communication between the users.
  • the present disclosure provides a mechanism for enhancing communication between users through display objects displayed in the physical space.
  • a management unit that manages a display area in a physical space capable of displaying a display object in association with a user in the physical space and position information in the physical space of the user, and a first user
  • An output control for displaying the display object displayed on one of the display area associated with the first user and the display area associated with the second user according to the input by the user.
  • a control unit An information processing apparatus is provided.
  • managing a display area in a physical space capable of displaying a display object in association with a user in the physical space and position information in the physical space of the user;
  • An output control is performed to display the display object displayed on one of the display area associated with the first user and the display area associated with the second user on the other according to an input by the user.
  • a processor-implemented information processing method is provided.
  • a management unit that manages a computer in association with a display area in a physical space capable of displaying a display object, with a user in the physical space and position information in the physical space of the user And displaying the display object displayed in one of the display area associated with the first user and the display area associated with the second user in response to an input by the first user.
  • a program is provided to function as an output control unit that performs output control.
  • a mechanism is provided to further enhance communication between users via display objects displayed in the physical space.
  • the above-mentioned effects are not necessarily limited, and, along with or in place of the above-mentioned effects, any of the effects shown in the present specification, or other effects that can be grasped from the present specification May be played.
  • FIG. 7 is a diagram for describing an example of a UI at the time of mirroring according to the embodiment; It is a flowchart which shows an example of the flow of the display control processing performed by the information processing system which concerns on the embodiment. It is a flow chart which shows an example of a flow of space generation processing performed by an information processing system concerning the embodiment. It is a flow chart which shows an example of a flow of space combination processing performed by an information processing system concerning the embodiment. It is a flowchart which shows an example of the flow of the information transfer process performed by the information processing system which concerns on the embodiment. It is a block diagram showing an example of the hardware constitutions of the information processor concerning this embodiment.
  • FIG. 1 and FIG. 2 are diagrams showing an example of the configuration of an information processing system according to an embodiment of the present disclosure.
  • an information processing system 100 includes input units 110 (110A to 110C) and output units 160 (160A to 160C).
  • the input unit 110 and the output unit 160 are installed in the physical space 30.
  • the physical space 30 is a real space in which users (AAA, BBB, CCC) can operate internally.
  • the physical space 30 may be a closed space such as indoor or an open space such as outdoor.
  • the physical space is a living space such as a room in a house, an entrance, a corridor or a kitchen.
  • one space for example, one room
  • a plurality of spaces for example, an internal space of a house having a plurality of rooms etc.
  • Coordinates in the physical space 30 are defined as coordinates on the respective coordinate axes of the Y axis whose axial direction is the vertical direction and the X axis and the Z axis whose horizontal plane is the XZ plane.
  • the origin of the coordinate system in the physical space 30 is, for example, a vertex on the ceiling side of the physical space 30.
  • the output unit 160 is a device that visually notifies the user of the information by mapping and displaying various types of information on an arbitrary surface of the physical space 30.
  • a projector is used as the output unit 160.
  • the output unit 160 is disposed above the physical space 30, for example, suspended from a ceiling, and projects the display object 20 (20A to 20C).
  • the output unit 160A projects the display object 20A on the table 31A
  • the output unit 160B projects the display objects 20B and 20C on the table 31B.
  • the output unit 160A projects the display object 20A on the table 31A
  • the output unit 160B projects the display object 20D on the table 31B
  • the output unit 160C projects the display object 20E on the wall 32.
  • the input unit 110 is a device for inputting information of the physical space 30 and information of the user.
  • the input unit 110 is provided above the physical space 30, for example, in a state of being suspended from a ceiling.
  • the input unit 110 may be an imaging device in which the physical space 30 is an imaging target.
  • a camera imaging with one lens, or a stereo camera capable of acquiring information in the depth direction by imaging with two lenses may be used.
  • the information processing system 100 can acquire information in the physical space 30 by analyzing a captured image captured by an imaging device.
  • the information in the physical space 30 includes the shape and arrangement of real objects such as walls, floors, and furniture in the physical space 30, and information about the user.
  • the information processing system 100 can acquire a map of the distance from the input unit 110 (that is, depth information) by analyzing the captured image. Then, based on the depth information, the information processing system 100 compares the depth information of the real object with the depth information of the user's hand, for example, to contact or approach the user's hand with the real object, and the real object. It is possible to detect the detachment of the hand from
  • the position of the operating tool (for example, the user's hand) on the display object 20 is detected based on the image captured by the input unit 110, and various information is input based on the detected operating tool position. Be done. That is, the user can perform various operation inputs by moving the operating body on the display object 20. For example, when a touch or the like of the user's hand on the display object 20 is detected, an operation input on the display object 20 is performed.
  • various operating members such as a stylus are used as the operating tool. May be
  • the present embodiment is not limited to such an example, and the user's operation input may be performed by another method.
  • a touch panel may be provided on an arbitrary surface of a real object such as the tables 31A and 31B and the wall 32 as the input unit 110, and the user's operation input may be detected by the touch of the user's finger on the touch panel. Good.
  • voice input or the like may be used.
  • the information processing system 100 can output information by using an arbitrary place in the physical space 30 as an output place.
  • the information processing system 100 can project the display object 20 on the floor 33 or the like.
  • the information processing system 100 implements control of the output location by changing the projection direction of the moving projector.
  • the information processing system 100 controls the output location by selecting a projector capable of projecting to a desired location among a plurality of projectors. May be realized.
  • the information processing system 100 can input information at an arbitrary place.
  • the information processing system 100 can output information to any place in the physical space 30, and can also detect user input on a screen output to any place.
  • the display object is all information displayed by the information processing system 100.
  • the display object may include content such as an image (still image / moving image), an operation interface such as an on-screen keyboard, an application screen, and the like.
  • the information processing system 100 displays the display object 20 in a display area defined in the physical space 30.
  • a display area is defined on the surface of any real object in the physical space 30, and is mapped to the display area to display the display object.
  • the display area is also referred to as a space.
  • the space may be a physically continuous area or may include a plurality of physically separated areas.
  • a user in the physical space 30 can view and manipulate the display object 20 displayed in the space associated with the user.
  • the display object 20 for personal use is displayed in the space individually associated with each user. Then, each user browses and manipulates the display object 20 including his or her personal content.
  • the user AAA can view and operate the display object 20A
  • the user BBB can view and operate the display object 20B
  • the user CCC can view and operate the display object 20C.
  • display objects for the plurality of users are displayed in a space commonly associated with the plurality of users.
  • a plurality of users commonly associated with one space can view and manipulate display objects displayed in the space.
  • the users BBB and CCC can view and manipulate the display object 20D
  • the users AAA, BBB and CCC can view and manipulate the display object 20E.
  • the information processing system 100 can display the display object for individual in the space for individual, and can display the display object for multiple persons in the space for multiple persons. This makes it possible to protect the privacy of each user. Also, information to be shared can be shared by multiple users who should share it. For example, selection of items to be co-purchased and TV channel selection can be discussed and selected while browsing the same display object by multiple users.
  • the user AAA can transfer the content displayed on the display object 20A to the display object 20B, and can cause the display objects 20A and 20B to display the same content.
  • the user AAA can transfer the content displayed on the display object 20A to the display object 20E, and can cause the display objects 20A and 20E to display the same content.
  • the transfer is performed, for example, by an operation (also referred to as a flick operation) of pressing the content to be transferred among the display objects 20 with a finger and then moving the finger in a direction in which the user wants to transfer.
  • the user When there are a plurality of users in the same direction, the user is transferred to the user at a distance corresponding to the length of movement of the finger. In this manner, the user can intuitively and easily share information desired to be shared with another user by an operation according to the positional relationship (direction and distance) with the other user in the physical space.
  • the information processing system 100 realizes free transfer of information between spaces. Therefore, the user transfers information to the user's personal space, for example, the information that he or she likes among the information displayed in the space shared by a plurality of people, and browses and operates individually. be able to. Similarly, the user can view and operate by a plurality of persons, for example, by transferring information to be shared by a plurality of persons among information displayed in his / her personal space to a space for a plurality of persons.
  • the information processing system 100 it is possible to seamlessly share / transfer (transfer) information in the same physical space.
  • sharing of information between users is performed seamlessly in the same physical space.
  • a user shares information with another user by performing an operation according to the positional relationship (direction and distance) with the other user in the physical space. That is, the user operates information according to the positional relationship (direction and distance) with the other user in the physical space, similar to handing a newspaper or magazine to the other user and sharing information, to inform the other user Can be transferred. Therefore, the user can share information with other users without physically moving, and there is no restriction of physical screen.
  • the user and the sharing partner are in the same physical space, the user and the sharing partner can communicate while seeing the same information and performing the same recognition.
  • a plurality of users may be distinguished as a first user and a second user.
  • the first user and the second user are two of a plurality of users sharing information.
  • FIG. 3 is a block diagram showing an example of the configuration of the information processing system 100 according to the present embodiment.
  • the information processing system 100 includes an input unit 110, an acquisition unit 120, a management unit 130, a storage unit 140, an output control unit 150, and an output unit 160.
  • the information processing system 100 may be realized as one device or may be realized as a plurality of devices.
  • the input unit 110 has a function of inputting information of a user or physical space.
  • the input unit 110 may be realized by various devices.
  • the input unit 110 may include an imaging device.
  • the imaging device has a lens system, a drive system, and an imaging element, and captures an image (still image or moving image).
  • the input unit 110 may include a depth sensor.
  • the depth sensor is a device that acquires depth information of an infrared distance measuring device, an ultrasonic distance measuring device, a distance measuring device of ToF method (Time of Flight), LiDAR (Laser Imaging Detection and Ranging), or a stereo camera.
  • the input unit 110 may include a sound collection device (microphone).
  • the sound collection device is a device that collects surrounding sound and outputs audio data converted into a digital signal through an amplifier and an ADC (Analog Digital Converter).
  • ADC Analog Digital Converter
  • input 110 may include an inertial sensor.
  • the inertial sensor is a device that detects inertial information such as acceleration or angular velocity.
  • the inertial sensor is attached to the user, for example.
  • the input unit 110 may be implemented as a biometric sensor.
  • the biological sensor is a device that detects biological information such as the user's heartbeat or body temperature.
  • the biological sensor is attached to, for example, a user.
  • the input unit 110 may include an environmental sensor.
  • the environmental sensor is a device that detects environmental information such as lightness, temperature, humidity, or atmospheric pressure of physical space.
  • the input unit 110 may include an apparatus for inputting information based on contact with a physical user.
  • Such devices include mice, keyboards, touch panels, buttons, switches and levers. These devices may be mounted on a terminal device such as a smartphone, a tablet terminal, or a PC (Personal Computer).
  • input unit 110 may be implemented as a wireless communication device.
  • the wireless communication device conforms to a wireless communication standard such as wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), Zigbee (registered trademark), or NFC (Near Field Communication), etc. It can communicate with the device of For example, the wireless communication apparatus reads an identification tag of a wireless system such as an RFID (Radio Frequency Identifier) tag.
  • RFID Radio Frequency Identifier
  • the input unit 110 inputs information based on control by the acquisition unit 120.
  • the acquisition unit 120 can control the zoom ratio and the imaging direction of the imaging device.
  • the input unit 110 may include a combination of one or more of these input devices, or may include a plurality of input devices of the same type.
  • the input device may be a terminal device such as a smartphone, a tablet terminal, a wearable terminal, a PC (Personal Computer), or a TV (Television).
  • a terminal device such as a smartphone, a tablet terminal, a wearable terminal, a PC (Personal Computer), or a TV (Television).
  • the acquisition unit 120 has a function of acquiring information in the physical space from the input information input by the input unit 110. As shown in FIG. 2, the acquisition unit 120 includes a space information acquisition unit 121 and a user information acquisition unit 122.
  • the space information acquisition unit 121 has a function of acquiring information of the physical space (hereinafter also referred to as space information).
  • the user information acquisition unit 122 has a function of acquiring user information (hereinafter also referred to as user information).
  • the acquisition unit 120 outputs the acquired space information and user information to each of the management unit 130, the storage unit 140, and the output control unit 150.
  • the space information acquisition unit 121 acquires space information based on the information input by the input unit 110.
  • spatial information will be described.
  • Spatial information may include information indicating the type and arrangement of real objects in physical space.
  • spatial information may include identification information of a real object.
  • the space information acquisition unit 121 acquires these pieces of information by image recognition of the captured image. Besides, the space information acquisition unit 121 may acquire such information based on the reading result of the RFID tag attached to the real object in the physical space. Also, the space information acquisition unit 121 may acquire these pieces of information based on user input.
  • a wall, a floor, furniture, etc. are mentioned as a real object in physical space.
  • Spatial information may include three-dimensional information that indicates the shape of the space.
  • the three-dimensional information indicating the shape of the space is information indicating the shape of the space defined by the real object in the physical space.
  • the space information acquisition unit 121 acquires three-dimensional information indicating the shape of the space based on the depth information.
  • the space information acquiring unit 121 takes into consideration such information and indicates the three-dimensional shape of the space. Information may be acquired.
  • Spatial information may include information such as the material, color, or texture of a surface forming a space (e.g., the surface of a real object such as a wall, a floor, and furniture).
  • the space information acquisition unit 121 acquires these pieces of information by image recognition of the captured image.
  • the space information acquiring unit 121 acquires the information in consideration of the information. It is also good.
  • Spatial information may also include information about the conditions in the physical space, such as brightness, temperature and humidity of the physical space.
  • the space information acquisition unit 121 acquires these pieces of information based on the environment information.
  • the spatial information includes at least one of the information described above.
  • the user information acquisition unit 122 acquires user information based on the information input by the input unit 110.
  • the user information will be described below.
  • the user information may include whether or not the user exists in the physical space, the number of users present in the physical space, and identification information of the individual users.
  • the user information acquisition unit 122 acquires these pieces of information by performing image recognition on the face portion of the user included in the captured image.
  • the user information may include user attribute information.
  • Attribute information is information indicating an attribute of a user such as age, gender, work, family structure, or friend relationship.
  • the user information acquisition unit 122 acquires user attribute information by making an inquiry based on a captured image or a database storing attribute information using the user identification information.
  • the user information may include information indicating the position of the user.
  • the user information acquisition unit 122 acquires information indicating the position of the user based on the captured image and the depth information.
  • the user information may include information indicating the posture of the user.
  • the user information acquisition unit 122 acquires information indicating the posture of the user based on the captured image, the depth information, and the inertia information.
  • the posture of the user may refer to the posture of the entire body, such as standing, standing, sitting or lying down, or a partial body such as the face, torso, hands, feet or fingers. It may point to a good attitude.
  • the user information may include information indicating the user's operation.
  • the user information acquisition unit 122 operates the user in any method such as an imaging device or an optical method using an imaging device and a marker, an inertial sensor method using an inertial sensor attached to the user, or a method using depth information
  • the action of the user may refer to an action that uses the entire body, such as movement, or may refer to an action that partially uses the body, such as a hand gesture.
  • a user input to a screen displayed by mapping on an arbitrary surface of the physical space as described above with reference to FIG. 1 is also acquired as information indicating the operation of the user.
  • the user information may include information voiced by the user.
  • the user information acquisition unit 122 can acquire such information by speech recognition of the user's speech.
  • the user information includes at least one of the information described above.
  • Management unit 130 manages a display area (i.e., space) in the physical space in which display objects can be displayed.
  • the management unit 130 defines a space on any surface in the physical space. Then, the management unit 130 generates and updates various information related to the space (hereinafter also referred to as space information). Details of space management by the management unit 130 will be described later.
  • the management unit 130 outputs the space information to the storage unit 140.
  • Storage unit 140 has a function of temporarily or permanently storing information for the operation of the information processing system 100.
  • the storage unit 140 stores the space information generated by the management unit 130.
  • the storage unit 140 stores the user information and the space information acquired by the acquisition unit 120.
  • the storage unit 140 constructs a DB (Data Base) for storing these pieces of information.
  • Output control unit 150 The output control unit 150 has a function of controlling the output unit 160 to output information based on the space information and the user information acquired by the acquisition unit 120 and the space information managed by the management unit 130.
  • the output control unit 150 displays a display object in the display area. Specifically, the output control unit 150 controls the output unit 160 to display a display object by mapping to a display area defined on an arbitrary surface in the physical space. For example, when the output unit 160 is a projection device (projector), the output control unit 150 controls the projector to project a display object on a space in physical space. Besides, when the output unit 160 is a transmissive display, the output control unit 150 controls the transmissive display to superimpose and display an AR (Augmented Reality) object in a space in the physical space.
  • an AR Augmented Reality
  • the output control unit 150 may control the output unit 160 so as to output any information such as auditory information, tactile information, or olfactory information in a space, in addition to the output of visual information. Good.
  • Control of the output location can be realized, for example, by selecting an output device that outputs information among a plurality of output devices with different installation locations or output directions.
  • control of a display location is realized by selecting a projector on which a display object is to be projected among a plurality of fixed projectors in different projection directions.
  • Control of the output location may be realized by controlling the output device to change the output location.
  • control of the output location for visual information can be realized, for example, by driving a moving projector to change the projection direction.
  • Control of the output location for auditory information can be realized, for example, by altering the directivity of the directional loudspeakers, using ultrasound loudspeakers, or using wavefront synthesis techniques.
  • the output unit 160 is a device that outputs information to the user.
  • the output unit 160 may be implemented by various devices.
  • the output unit 160 may include a display that outputs visual information.
  • the output unit 160 maps and outputs visual information on the surface of a real object.
  • Such an output unit 160 may include a projection device (ie, a projector).
  • the projector may be, for example, a fixed wide-angle projector, or may be a so-called moving projector provided with a movable portion capable of changing the projection direction such as Pan / Tilt drive type.
  • a device such as an HMD (Head Mounted Display) having a transmissive display may be mentioned.
  • an augmented reality (AR) object is superimposed and displayed on the surface of a real object.
  • the output unit 160 that outputs visual information is described as a projector.
  • the output unit 160 may include an audio output device that outputs auditory information.
  • an output unit 160 a speaker, a directional speaker, an earphone, a headphone and the like can be mentioned.
  • the output unit 160 may include a haptic output device that outputs haptic information.
  • the tactile information is, for example, vibration, force sense, temperature or electrical stimulation.
  • Examples of the output unit 160 that outputs tactile information include a motor, an actuator, and a heat source.
  • the output unit 160 may include a device that outputs olfactory information.
  • Olfactory information is, for example, a scent.
  • an output part 160 which outputs olfactory information an aroma diffuser etc. are mentioned, for example.
  • the output unit 160 outputs information under the control of the output control unit 150.
  • the output unit 160 can change the projection direction of the moving projector or change the directivity of the directional speaker based on the control by the output control unit 150.
  • the output unit 160 may include a combination of one or more of these output devices, or may include a plurality of output devices of the same type.
  • a plurality of output devices of the same type be installed in the physical space with different installation locations or output directions. This is because it is possible to output information by using an arbitrary place in the physical space as an output place.
  • the output device may be a terminal device such as a smartphone, a tablet terminal, a wearable terminal, a PC (Personal Computer), or a TV (Television).
  • a terminal device such as a smartphone, a tablet terminal, a wearable terminal, a PC (Personal Computer), or a TV (Television).
  • the space has one of the first to third attributes.
  • a space having the first attribute is a space associated with one user.
  • the space having the first attribute is a space dedicated to one user.
  • One particular user may view and manipulate the space having the first attribute.
  • the space having the first attribute is typically defined within the reach of one associated user.
  • the first attribute is also referred to as personal, and the space having the first attribute is also referred to as personal space.
  • the space having the second attribute is a space associated with some of the plurality of users in the physical space. A plurality of specific users can commonly browse and manipulate the space having the second attribute.
  • the second attribute is also referred to as semi-public
  • the space having the second attribute is also referred to as semi-public space.
  • the space having the third attribute is a space associated with all of the plurality of users in the physical space. An unspecified number of users in the physical space can commonly browse and manipulate the space having the third attribute.
  • the third attribute is also referred to as public, and the space having the third attribute is also referred to as public space.
  • the area and shape of the personal space, semi public space and public space are arbitrary. Typically, of these, personal space is the narrowest and public space is the widest.
  • information output to each space may include information other than visual information.
  • voice may be output to each space.
  • the information processing system 100 outputs voice with a single directivity and a small volume toward the personal space. This allows only the user who is the owner of the personal space to hear the audio.
  • the information processing system 100 outputs nondirectional and loud sound toward the public space. This allows all users in the physical space to hear the audio.
  • the management unit 130 manages a space in the physical space in which display objects can be displayed.
  • a space in the physical space in which display objects can be displayed For example, an example of the data structure of the space information will be described with reference to FIG.
  • FIG. 4 is a diagram for explaining an example of space management according to the present embodiment.
  • the personal space 40 is defined in association with the user AAA
  • the semi-public space 41 is defined in association with the users BBB and CCC
  • the public space 42 is defined in association with all the users.
  • the output control unit 150 may display information indicating a space.
  • the output control unit 150 may display the personal space 40, the semi-public space 41, and the public space 42 as display objects. In this case, each space is displayed, and further, a content or an application screen or the like is displayed in the space.
  • the output control unit 150 may not display the information indicating the space. In that case, the personal space 40, the semi-public space 41, and the public space 42 are not displayed, but are implicitly managed as an area where content and the like can be displayed.
  • the management unit 130 manages the space in association with an attribute of the space, a user associated with the space, and position information in the physical space of the space. That is, the space information includes the attribute of the space, the user associated with the space, and the position information in the physical space of the space.
  • the management unit 130 manages a space by constructing a DB storing space information shown in Table 1 below in the storage unit 140.
  • the ID of the public space 42 is S1
  • the ID of the semi-public space 41 is S2
  • the ID of the personal space 40 is S3.
  • the management unit 130 manages the space in association with the user and the position information of the user in the physical space. That is, the space information includes the user associated with the space and position information of the user in the physical space. In the case of the example shown in FIG. 5, for example, the management unit 130 manages a space by constructing a DB having space information shown in Table 2 below in the storage unit 140.
  • the management unit 130 manages the space in association with the display object displayed in the space. That is, the space information includes information indicating a display object displayed in the space. In the case of the example shown in FIG. 5, for example, the management unit 130 manages a space by constructing a DB having space information shown in Table 3 below in the storage unit 140.
  • the management unit 130 defines a space based on user input. Defining a new space is also referred to as creating.
  • the management unit 130 When there is a predetermined user input (hereinafter also referred to as a generation instruction), the management unit 130 newly generates a space. The management unit 130 recognizes the generation instruction based on the space information and the user information.
  • the generation instruction may be tapping an arbitrary surface in the physical space, double tapping, drawing a circle with a finger, wiping with a palm, or facing an arbitrary surface in the physical space.
  • the generation instruction may be uttering a specific word (for example, “generation” or the like).
  • the generation instruction may be to arrange a predetermined real object on an arbitrary surface in the physical space.
  • the generation instruction may include designation of a place.
  • the management unit 130 generates a space at a place designated by the user (first user). For example, when the generation instruction is tapping an arbitrary surface in the physical space, double tapping, drawing a circle with a finger, wiping with a palm, or the like, the management unit 130 displays the surface on which the tapping or the like is performed, Generate space In addition, when the generation instruction is to directly face an arbitrary surface in the physical space, the management unit 130 generates a space on the surface that the user directly faces. In addition, when the generation instruction is to utter a specific word (for example, “here, etc.”), the management unit 130 generates a space at a place designated by voice. Also, when the generation instruction is to arrange a predetermined real object on an arbitrary surface in the physical space, the management unit 130 generates a space at a position where the predetermined real object is arranged.
  • the generation instruction may include user designation.
  • the management unit 130 generates a space associated with another user (second user) specified by the user (first user). For example, the management unit 130 may select a space associated with another user in the direction in which the user points the finger, another user in the direction flick to flick operation, or another user having a voiced name.
  • the generation instruction may include specification of a space attribute.
  • the management unit 130 generates a space having an attribute specified by the user (first user). For example, the management unit 130 generates a personal space if the generation instruction is a tap, and generates a public space if the generation instruction is to draw a circle with a finger.
  • the user can input the generation instruction by a gesture or speech according to a location in the physical space or a positional relationship with another user.
  • the generation instruction includes designation of a place, a user, and / or an attribute. Therefore, the user can intuitively and easily generate a space having a desired attribute in association with a desired user at a desired place.
  • the generation instruction may include specification of content.
  • the management unit 130 displays the content designated by the user (first user) in the space.
  • the generation instruction may be to select a region to be transferred from a screen of a terminal device such as a smartphone or a real object such as a magazine.
  • the physical space 30 generates a space in the vicinity of a real object to be transferred, such as a terminal device or a magazine.
  • the management unit 130 acquires the content selected as the area to be transferred from the terminal device via wireless communication, and displays the content in the generated space.
  • the management unit 130 displays, in the generated space, a captured image of a portion of the magazine selected as a region to be transferred.
  • the management unit 130 changes the location information of the space, following the user associated with the space. For example, the management unit 130 sets the change amount of the position information of the user as the change amount of the position information of the personal space. As a result, the user's personal space always exists around the user, and the convenience of the user is improved. Also, the management unit 130 changes the position information of the personal space according to the direction of the user's face or body. As a result, the user's personal space is always positioned in the direction in which the user's face or body is facing, etc., and user convenience is improved. The same is true for semi-public spaces and public spaces.
  • the management unit 130 When the user associated with the first space (first user) and the user associated with the second space (second user) approach within the first distance
  • the management unit 130 generates a third space associated with the first user and the second user, which combines the first space and the second space. For example, when the first user associated with the first personal space and the second user associated with the second personal space approach within a first distance, the management unit 130 determines that the first user Create a semi-public space associated with the second user. Space coupling is not necessarily performed between two users, but may be performed between three or more users. When the generation of the semi-public space is repeated and the spaces of all users existing in the physical space are combined, the public space is eventually generated.
  • Coupling of spaces may be triggered by the distance between spaces instead of or together with the distance between users. Specifically, when the first space and the second space approach within the third distance, the management unit 130 generates a third space combining the first space and the second space. It is also good.
  • the management unit 130 may generate a third space when there is a predetermined user input (hereinafter also referred to as a combination instruction) in addition to the plurality of users approaching within the first distance from each other. .
  • the management unit 130 recognizes the combining instruction based on the space information and the user information.
  • the combination instruction is performed by all members performing predetermined user input, such as tapping, double tapping, drawing a circle, wiping with a palm, or uttering a predetermined word, by all the users who approach within the first distance. It may be.
  • a combination instruction is performed by tapping, double tapping, drawing a circle, or wiping with a palm while part of a plurality of users approaching within a first distance utters a predetermined wording such as “shared space” Etc. may be performed.
  • the generation of the third space may be realized by generating a new space, or may be generated by changing the space information of the first space or the second space. In the latter case, for example, the space attribute and owner information are changed.
  • the output control unit 150 displays the display object displayed in each of the first space and the second space in the third space.
  • the output control unit 150 may display all of the display objects displayed in each of the first space and the second space in the third space, or may delete a portion where there is an overlap. , Layout may be changed. Thereby, the user can share information with a specific other user by approaching the other user.
  • the management unit 130 divides the fourth space into a fifth space and Generate a sixth space.
  • the fifth space is a space associated with the first user and not associated with the second user.
  • the sixth space is a space associated with the second user and not associated with the first user. For example, when the first user and the second user associated with the semi-public space are separated by the second distance or more, the management unit 130 determines the personal space of the first user and the personal space of the second user. And generate.
  • the division of space is not necessarily performed between two users, but may be performed between three or more users.
  • the management unit 130 determines the fifth space and the sixth space. It may be generated. The management unit 130 recognizes the division instruction based on the space information and the user information.
  • the division instruction may be similar to, for example, the above-mentioned combination instruction.
  • the generation of the fifth and sixth spaces may be realized by generating a new space, or may be generated by changing the space information of the fourth space. In the latter case, for example, the space attribute and owner information are changed.
  • the output control unit 150 displays the display object displayed in the fourth space in at least one of the fifth space and the sixth space.
  • the output control unit 150 may display all of the display objects displayed in the fourth space before division in the fifth space and the sixth space, or some of the display objects in the fifth space.
  • the other may be displayed in the sixth space. In this way, the user can stop sharing information with other users by leaving the other users.
  • the deletion management unit 130 deletes a space when there is a predetermined user input (hereinafter also referred to as a deletion instruction).
  • the management unit 130 recognizes the deletion instruction based on the space information and the user information.
  • the deletion instruction may be such that an existing space is kept touching for a predetermined time, a predetermined symbol is input with a finger on the space, or the like. Further, the deletion instruction may be uttering a specific word (for example, “deletion” or the like).
  • FIG. 5 is a view for explaining an example of a UI related to the personal space according to the present embodiment.
  • the management unit 130 generates personal spaces 40A to 40C within reach of the front of each of the users AAA to CCC.
  • Personal space 40A is associated with user AAA
  • personal space 40B is associated with user BBB
  • personal space 40C is associated with user CCC.
  • the management unit 130 moves the personal space 40C of the user CCC following the user CCC.
  • 6 and 7 are views for explaining an example of the UI related to the personal space according to the present embodiment. 6 and 7 show one example of a personal space generation instruction.
  • the management unit 130 when the user designates two points with a finger in any plane in the physical space, the management unit 130 generates a personal space 40 having the two points as diagonals.
  • the management unit 130 when the user wipes with a palm on an arbitrary surface in the physical space, the management unit 130 generates a personal space 40 in the area wiped with the palm.
  • the management unit 130 may generate a personal space in the exposed portion by moving the object.
  • the management unit 130 determines, based on the space information and the user information, that the user has moved the object associated with the user, then identifies the exposed portion, and generates the personal space of the user. After the management unit 130 generates a personal space based on such a user operation, if the object associated with the user is returned to the original position and the exposed portion is hidden again, the generated personal space You may delete
  • the management unit 130 may statically associate the user with the object, for example, based on the information such as the user's belongings input in advance. Further, the management unit 130 may dynamically associate the user with the object in accordance with the position or posture of the user.
  • a pillow is an object usually used by one user
  • a user whose head is located closest to the pillow is associated with the pillow.
  • the object may be associated with a plurality of users.
  • the management unit 130 may generate a personal space of the user who moved the object, in a portion exposed by moving the object.
  • a semi-public space or public space may be generated that is associated with all users associated with the object.
  • FIGS. 8 to 10 are diagrams for explaining an example of the UI related to the personal space according to the present embodiment.
  • FIG. 8 shows an example of a personal space generation instruction.
  • the management unit 130 when the user lying on the bed 36 moves the pillow 37, the management unit 130 generates the personal space 40 in the exposed portion 36a by moving the pillow 37.
  • the user can, for example, draw a pillow 37 to display a display object for personal use in the personal space for confidential viewing and manipulation.
  • FIGS. 9 and 10 show an example of a hardware configuration for recognizing the operation of moving the pillow 37 described above.
  • the pillow 37 may incorporate a sensor device 110a such as a magnetic sensor, a gyro sensor, or a pressure sensor.
  • a distance measurement sensor 110b may be provided in the vicinity of the pillow 37.
  • the information processing system 100 can recognize the operation of moving the pillow 37 by the user based on the detection results of these sensors.
  • FIG. 11 is a view for explaining an example of the UI related to the public space according to the present embodiment.
  • the management unit 130 generates the public space 42 on the wall 32 that is in the view of all of the users AAA, BBB, and CCC in the physical space 30.
  • the management unit 130 generates the public space 42 on the wall 32 having an area equal to or more than a predetermined area among the faces that enter the field of vision of all the users in the physical space 30.
  • FIG. 12 is a view for explaining an example of the UI related to the public space according to the present embodiment.
  • the management unit 130 generates the public space 42 when the generation instruction is input to the wall 32 that is in the view of all of the users AAA, BBB, and CCC in the physical space 30.
  • the generation instruction is an operation in which the user designates two points with a finger, and the management unit 130 generates a public space 42 in which the two points are diagonal.
  • FIG. 13 is a view for explaining an example of the UI related to the public space according to the present embodiment.
  • the management unit 130 generates the public space 42A in the area corresponding to the pin 35A disposed on the cork board 34, and generates the public space 42B in the area corresponding to the pin 35B.
  • FIG. 14 is a view for explaining an example of a UI related to the semi-public space according to the present embodiment.
  • the management unit 130 generates personal spaces 40A to 40C in association with each of the users AAA to CCC.
  • the management unit 130 combines the personal spaces 40B and 40C to generate the semi-public space 41A to which the users BBB and CCC are associated.
  • the management unit 130 divides the semi-public space 41 to generate the personal space (not shown) of the user BBB and the personal space 40C of the user CCC.
  • the management unit 130 combines the generated personal space of the user BBB and the existing personal space 40A to generate the semi-public space 41B to which the users AAA and BBB are associated. Thereafter, as shown in step S4, when the user CCC approaches the users AAA and BBB, the management unit 130 combines the semi-public space 41B and the personal space 40C to generate the public space 42.
  • FIG. 15 is a diagram for explaining information transfer between spaces according to the present embodiment.
  • personal spaces 40A to 40C of the users AAA to CCC are defined.
  • the information displayed on the personal space 40A is transferred to the personal space 40C and displayed.
  • information transfer from an individual to a specific individual is realized from the user AAA to the user CCC.
  • FIG. 16 is a diagram for explaining information transfer between spaces according to the present embodiment.
  • personal spaces 40A to 40C and public spaces 42 of each of the users AAA to CCC are defined.
  • the information displayed on the personal space 40A is transferred to the public space 42 and displayed.
  • information transfer from an individual to all users from the user AAA to the users AAA to CCC is realized.
  • FIG. 17 is a view for explaining information transfer between spaces according to the present embodiment.
  • personal spaces 40A to 40D of each of the users AAA to DDD are defined.
  • the information displayed on the personal space 40A is transferred to the personal spaces 40B and 40C and displayed.
  • the information transfer from the individual to the specific number of users from the user AAA to the users BBB and CCC is realized.
  • FIG. 18 is a diagram for explaining information transfer between spaces according to the present embodiment.
  • semi-public spaces 41 of users AAA and BBB, and personal spaces 40C and 40D of users CCC and DDD are defined.
  • the information displayed on the personal space 40C is transferred to the semi-public space 41 and displayed.
  • information transfer from individuals to a large number of specific users is realized from user CCC to users AAA and BBB.
  • FIG. 19 is a diagram for explaining information transfer between spaces according to the present embodiment.
  • personal spaces 40A to 40C and public spaces 42 of each of the users AAA to CCC are defined.
  • the information displayed in the public space 42 is transferred to the personal space 40A and displayed.
  • information transfer from all users to individuals from user AAA to user CCC to user AAA is realized.
  • FIG. 20 is a diagram for describing information transfer between spaces according to the present embodiment.
  • personal spaces 40A to 40C and public spaces 42 of each of the users AAA to CCC are defined.
  • the information displayed in the public space 42 is transferred to the personal spaces 40A and 40C and displayed.
  • information transfer from all users to a large number of users from user AAA to user CCC to user AAA and user CCC is realized.
  • FIG. 21 is a diagram for explaining information transfer between spaces according to the present embodiment.
  • the semi-public space 41 of the users AAA and BBB and the personal space 40 of the user CCC are defined. Then, the information displayed in the public space 42 is transferred to the semi-public space 41 and displayed. Thereby, information transfer from all users to a specific number of users from user AAA to user CCC to user AAA and user BBB is realized.
  • the information processing system 100 generates, based on a predetermined user input (hereinafter also referred to as transfer instruction), other information (ie, display objects) displayed in the space. Transfer to space and display. Specifically, the output control unit 150 is displayed in either the space associated with the first user or the space associated with the second user in response to the input of the transfer instruction by the first user. Perform output control to display the display object on the other side. That is, in response to the input of the transfer instruction by the first user, the information processing system 100 transfers the display object displayed in the space associated with the first user to the space associated with the second user. , May be displayed. Further, in response to the input of the transfer instruction by the first user, the information processing system 100 transfers the display object displayed in the space associated with the second user to the space associated with the first user. , May be displayed.
  • transfer may indicate movement of a display object or may indicate copying. In the former case, no display object remains in the transfer source space. In the latter case, display objects remain in the space of the transfer source. However, in order to avoid a conflict, it is desirable that the display object that can receive an operation input be moved. That is, movement or copying is distributed according to the content of the display object.
  • the management unit 130 recognizes the transfer instruction based on the space information and the user information.
  • the transfer instruction includes designation of a transfer target.
  • the instruction to specify the transfer target may be an operation of tapping or double tapping the display object to be transferred.
  • the transfer instruction includes the designation of another user of the transfer destination.
  • the instruction to specify another user at the transfer destination may be a flick operation, a pointing operation, or an operation to specify a transfer direction such as a tap while aiming at the other user at the transfer destination.
  • an instruction to specify another user of the transfer destination is to input the name of the other user of the transfer destination into the operation interface, or drag and drop to another user of the transfer destination displayed as an icon It may be
  • the instruction to specify another user of the transfer destination is a specific word (for example, proper noun such as a name) indicating the other user of the transfer destination and a specific word (for example, “transfer” or the like) indicating a transfer instruction May be uttered.
  • the information processing system 100 displays the display object designated as the transfer target in the space associated with the user designated as the transfer destination based on the transfer instruction.
  • the management unit 130 associates the display object displayed in the transfer source space with the transfer destination space.
  • the output control unit 150 reflects the change of the space information by the management unit 130 in the display control. For example, with respect to the examples shown in FIG. 4 and Tables 1 to 3, it is assumed that a transfer instruction specifying transfer of the content C1 displayed in the space S1 to the space S2 is input.
  • the management unit 130 associates the content C1 with the transfer source space S1 with the transfer destination space S2.
  • the output control unit 150 displays the content C1 along with the space S1 in the space S2.
  • the output control unit 150 displays the same display object displayed in a plurality of spaces of the transfer source and the transfer destination with reference to the same memory. That is, the output control unit 150 displays the same content C1 stored in the storage unit 140 in the transfer source space S1 and the transfer destination space S2. This ensures that the same contents are displayed in the transfer source space S1 and the transfer destination space S2.
  • these series of processes will be referred to as transfer, transfer and display, and the like.
  • the information processing system 100 newly creates a space and displays the display object.
  • the first user is the transfer source user and the second user is the user specified as the transfer destination.
  • the management unit 130 generates a space associated with the second user in response to the input of the first user.
  • the management unit 130 sets the display object specified as the transfer target to the newly generated space associated with the second user.
  • the output control unit 150 displays the display object displayed in the space associated with the first user in the space associated with the second user generated in response to the input of the first user.
  • the display object to be transferred designated by the first user is displayed in the newly generated space of the second user, and information transfer is realized.
  • the information processing system 100 displays the display object in the existing space.
  • the first user is the transfer source user and the second user is the user specified as the transfer destination.
  • the management unit 130 associates the display object designated as the transfer target among the display objects displayed in the space associated with the first user with the existing space associated with the second user.
  • the output control unit 150 displays the display object displayed in the space associated with the first user in the existing display area associated with the second user indicated by the input of the first user. Thereby, the display object to be transferred designated by the first user is displayed in the space of the second user, and information transfer is realized.
  • the transfer instruction may include, together with or in place of the designation of another user of the transfer destination, the designation of the space of the transfer destination, and / or the designation of the location of the transfer destination.
  • the specific content of the transfer instruction in this case and the processing of the information processing system 100 based on the transfer instruction are the same as in the case where the transfer instruction includes the designation of another user of the transfer destination.
  • the instruction to specify the transfer destination space or place may be a flick operation, a pointing operation, or an operation to specify a transfer direction such as a tap while aiming at the transfer destination.
  • the instruction to specify the transfer destination space or place is to input the identification information of the transfer destination space or the name of the transfer destination place (e.g. kitchen) into the operation interface, or the iconized transfer is displayed It may be dragging and dropping to the previous space or place.
  • the instruction to specify the transfer destination space or place is a specific word (for example, "largest space” or "kitchen”) indicating the transfer destination space or place and the specific word (denoting transfer instruction) For example, it may be uttering "transfer” or the like.
  • the information processing system 100 transfers the operation including the specification of the other user of the transfer destination. Recognize as instructions. Then, based on the recognized transfer instruction, the information processing system 100 transfers the display object displayed in the personal space of the first user to the personal space of the second user, and displays the display object.
  • the information processing system 100 recognizes such an operation as a transfer instruction including specification of a transfer destination space. Then, based on the recognized transfer instruction, the information processing system 100 transfers the display object displayed in the personal space of the first user to the public space and displays it.
  • the information processing system 100 when the first user performs a flick operation on a surface that is within the view of all members in the same physical space, the information processing system 100 performs such an operation on the location and space (specifically, the attribute) of the transfer destination. Recognize as transfer instruction including specification. Then, based on the recognized transfer instruction, the information processing system 100 generates a new public space at the designated location, and transfers the display object displayed in the personal space of the first user to the new public space. To display.
  • the information processing system 100 designates such operation as a display object to which a hand is extended as a display object to be transferred, and designates the first user of the handed-in destination as a user of a transfer destination. , As a transfer instruction. Then, based on the recognized transfer instruction, the information processing system 100 transfers and displays the display object at the destination after reaching for the first user's personal space.
  • the transfer instruction from the public space to the personal space is not limited to the above gesture.
  • the transfer instruction from the public space to the personal space may be that the user taps his personal space while viewing the public space.
  • the transfer instruction from the public space to the personal space is to point out the display object to be transferred with a finger and utter a specific word (for example, "it is heard” etc.) indicating the transfer instruction to the personal space. It is also good.
  • the transfer instruction from the public space to the personal space may be a specific word (for example, "living” etc.) indicating the location of the transfer destination, and a specific word (for example "for personal space") for indicating the transfer instruction. It may be to speak.
  • Displayed objects may be transferred (i.e. broadcast) from the personal space to multiple other personal spaces.
  • the user registers a plurality of users as a group in advance. Group registration may be performed in cooperation with SNS (Social Network), or may be performed by inputting on the setting screen
  • SNS Social Network
  • Display objects are transferred to all users included in the group and displayed in each personal space.
  • the transfer instruction for specifying a broadcast may be, for example, that the user flicks the display object to be broadcast in the direction of the user (in front of the user as viewed from the user) or that the display object is hit with a palm.
  • the transfer instruction for specifying the broadcast may be, for example, uttering a specific word (for example, “send to all”) indicating the broadcast, and tapping a display object to be broadcasted.
  • the transfer instruction is a first operation specifying a display object to be transferred among display objects displayed in the space, and a second user specifying a transfer destination, a space or a place It may be a two-step input with two operations.
  • the two-step input includes, for example, a flick operation.
  • the output control unit 150 displays information suggesting a transferable space. This allows the user to easily select the transfer destination space.
  • the UI in this case will be described with reference to FIGS. 22 to 24.
  • FIG. 22 is a diagram for explaining the display of the transferable space according to the present embodiment.
  • the user AAA is sitting on the back side of the table, and the personal space 40 is displayed on the top surface of the table.
  • the user AAA tries to perform a second operation of touching the display object displayed in the personal space (corresponding to a first operation) and designating the public space 42A or 42B as a transfer destination space.
  • the output control unit 150 may display, on the public spaces 42A and 42B, information indicating that the space is a transferable space. This allows the user to easily view the transferable space. Information indicating that the space is a transferable space will be specifically described with reference to FIG.
  • FIG. 23 is a diagram showing an example of information indicating that the space can be transferred, which can be displayed in the public space 42 (42A and 42B) shown in FIG.
  • the information 44A indicating that the space is a transferable space is a visual representation that illuminates the frame of the public space 42.
  • the information 44 B indicating that the space is a transferable space is a visual representation that illuminates the entire public space 42.
  • the information 44 C indicating that the space is a transferable space is a visual representation that illuminates the center of the public space 42.
  • the information 44D indicating that the space is a transferable space is a visual representation that superimposes an intuitive image such as a cork board on the public space 42.
  • the information 44E indicating that the space is a transferable space is a visual expression representing a state in which a vortex is superimposed on the center of the public space 42 and information is sucked.
  • the information 44F indicating that the space is a transferable space is a visual expression that superimposes a grid on which information can be stored in the public space 42.
  • the output control unit 150 may display, on the personal space 40, information indicating the direction of the transferable space. This allows the user to easily recognize that there is space available for transfer and its direction. Also, if flicking or the like in the direction of the transferable space, information is transferred to the space. That is, the display of the information indicating the direction of the transferable space enables the user to easily recognize the transfer instruction method.
  • the information indicating the direction of the transferable space will be specifically described with reference to FIG.
  • FIG. 24 is a view showing an example of information indicating the direction of the transferable space, which can be displayed in the personal space 40 shown in FIG.
  • an example of information indicating the direction of the transferable space that can be displayed when the user AAA touches the display object 50 displayed in the personal space 40 is shown.
  • the information 45A indicating the direction of the transferable space is a visual representation indicating the direction from the display object 50 to the public space 42A or 42B by a broken line.
  • the information 45B indicating the direction of the transferable space is a visual representation showing the direction from the display object 50 to the public space 42A or 42B by a broken arrow.
  • the information 45C indicating the direction of the transferable space is a visual expression indicating the direction from the display object 50 to the public space 42A or 42B as a mountain direction of the angle brackets.
  • the information 45D indicating the direction of the transferable space is a visual representation showing the direction from the display object 50 to the public space 42A or 42B as a group of particles converging in the direction.
  • the information 45E indicating the direction of the transferable space is a visual representation showing how the display object 50 itself flies in the direction from the display object 50 to the public space 42A or 42B.
  • the information 45F indicating the direction of the transferable space is a visual expression indicating that a ripple is spreading from the direction of the public space 42A or 42B.
  • the information 45G indicating the direction of the transferable space is a visual expression indicating that a hole is opened in the direction of the public space 42A or 42B.
  • the output control unit 150 controls the display of the display object in the space according to the attribute of the space.
  • the output control unit 150 may hide and display a part of the display object based on the attribute of the space and the content or restriction setting of the display object.
  • the information processing system 100 hides part or all or imposes an operation restriction when the display object is displayed in the public space or semi-public space.
  • the information processing system 100 may hide personal information such as a password.
  • the information processing system 100 may display the application only in the personal space, or may separately display an on-screen keyboard for password input in the personal space.
  • a parent object control setting may be set to the display object, which prohibits display to users of a certain age or less.
  • the information processing system 100 hides part or all of the display object or applies an operation restriction when the display object is displayed. Specifically, when the information processing system 100 recognizes that the user is less than or equal to a particular age, the information processing system 100 may not display the display object regardless of the attribute of the space. In addition, when the information processing system 100 recognizes that the user is less than or equal to a specific age, the display object may be displayed in the public space or may not be displayed in the personal space of the user. .
  • the information processing system 100 may mirror the display in the personal space to the public space based on a predetermined user input (hereinafter also referred to as a mirroring instruction).
  • the management unit 130 recognizes the mirroring instruction based on the space information and the user information.
  • the mirroring instruction includes specification of the public space of the mirroring destination.
  • the mirroring instruction may be an input to the setting screen or an utterance of a specific word (for example, “mirroring” or the like) indicating the mirroring instruction.
  • the mirroring instruction may be flicking toward the public space with another finger while holding the personal space with one finger.
  • the information processing system 100 When recognizing the mirroring instruction, the information processing system 100 simultaneously displays the display object displayed in the user's personal space in the public space. This allows the user to share information and operations at hand with everyone. In addition, the information processing system 100 may capture an aspect of the user's operation performed in the personal space, and superimpose the aspect of the operation included in the captured image on the public space. This UI will be described with reference to FIG.
  • FIG. 25 is a diagram for explaining an example of a UI at the time of mirroring according to the present embodiment.
  • the display object 50 is displayed in the personal space 40 of the user AAA, and the display object 50 is mirrored in the public space 42.
  • the state of the hand when the user AAA operates the display object 50 in the personal space 40 is also displayed superimposed on the public space 42.
  • the user AAA can share not only the information at hand but also the operation state with everyone including the user BBB and the user CCC.
  • the present technology is not limited to such an example.
  • it may be mirrored from public space to personal space.
  • mirroring may be performed on the semi-public space.
  • the information processing system 100 may convert and display the content of the display object according to the space attribute.
  • the information processing system 100 may display only characters in the personal space even in the same content, and may display video in the public space. Further, the information processing system 100 may make the font size larger in the case where the same content is displayed in the public space as compared to the case where the content is displayed in the personal space. Further, the information processing system 100 may display a UI for selection from the content list in the personal space, and may display the content selected in the personal space in the public space.
  • the information processing system 100 may convert the transferred display object in accordance with the attribute information of the user associated with the space of the transfer destination. For example, when the user associated with the space of the transfer destination is a child, the information processing system 100 simplifies and displays the content of the transferred display object. For example, if the user associated with the space of the transfer destination is a foreigner, the information processing system 100 translates and displays the text of the transferred display object.
  • the information processing system 100 may cancel or restore the effect of the output control executed based on various user inputs based on a predetermined user input (hereinafter also referred to as a cancellation instruction).
  • the management unit 130 deletes the space generated based on the generation instruction, divides the combined space based on the combination instruction, combines the divided spaces based on the division instruction, and transfers based on the transfer instruction. Return the display object to the transfer source space. This improves the convenience of the user.
  • FIG. 26 is a flowchart showing an example of the flow of display control processing executed by the information processing system 100 according to the present embodiment.
  • the acquisition unit 120 acquires space information and user information (step S102). Specifically, the space information acquisition unit 121 acquires space information based on the input information input by the input unit 110. The user information acquisition unit 122 also acquires user information of all users in the physical space based on the input information input by the input unit 110. These pieces of information are stored in the storage unit 140.
  • the management unit 130 manages the space in association with various information (step S104). Specifically, the management unit 130 generates the space information shown in the above Tables 1 to 3 of each space based on various user inputs such as a generation instruction, a user's movement, a combination instruction, a division instruction, or a transfer instruction. Update / Delete
  • the output control unit 150 displays the display object in each space (step S160). Specifically, the output control unit 150 refers to the space information managed by the management unit 130, and displays the display object associated with the space on the space.
  • FIG. 27 is a flowchart showing an example of the flow of the space generation process executed by the information processing system 100 according to the present embodiment.
  • the management unit 130 determines whether or not a generation instruction has been input (step S202). Specifically, the management unit 130 determines, based on the space information and the space information acquired by the acquisition unit 120, whether or not the user has input a generation instruction. When it is determined that the generation instruction is not input (step S202 / NO), the process returns to step S202 again.
  • the management unit 130 determines whether a place is specified in the generation instruction (step S204). When it is determined that the place is specified (Step S204 / YES), the management unit 130 sets the specified place as the space generation position (Step S206). On the other hand, when it is determined that the place is not specified (step S204 / NO), the management unit 130 sets the front of the position where the user is at as the space generation position (step S208).
  • the management unit 130 determines the attribute of the space designated by the generation instruction (step S210). When personal is designated as the attribute (step S210 / personal), the management unit 130 generates a personal space (step S212). If semi-public is designated as the attribute (step S210 / semi-public), the management unit 130 generates a semi-public space (step S214). When public is designated as the attribute (step S210 / public), the management unit 130 generates a public space (step S216).
  • FIG. 28 is a flowchart showing an example of the flow of the space coupling process performed by the information processing system 100 according to the present embodiment.
  • the management unit 130 determines whether a plurality of personal spaces approach within a predetermined distance (step S302). If it is determined that the distance does not approach within the predetermined distance (step S302 / NO), the process returns to step S302 again.
  • step S302 If it is determined that the user has approached within the predetermined distance (step S302 / YES), it is determined whether or not the user of each of the plurality of personal spaces approaching within the predetermined distance has input a joining instruction (step S304). If it is determined that the combination instruction has not been input (step S304 / NO), the process returns to step S302 again.
  • the management unit 130 When it is determined that the combining instruction has been input (step S304 / YES), the management unit 130 combines a plurality of personal spaces which approach within a predetermined distance and in which the combining instruction has been input by each user (step S306). .
  • the management unit 130 determines whether there is another user who owns another personal space in the physical space (step S308).
  • the management unit 130 changes the combined space to a semi-public space (step S310).
  • the management unit 130 changes the combined space to a public space (step S312).
  • FIG. 29 is a flow chart showing an example of the flow of information transfer processing executed by the information processing system 100 according to the present embodiment.
  • the management unit 130 determines whether the user has input a transfer instruction (step S402). If it is determined that the transfer instruction has not been input (step S402 / NO), the process returns to step S402 again.
  • the management unit 130 determines whether there is a space in the transfer destination (step 404).
  • step S404 If it is determined that there is a space at the transfer destination (step S404 / YES), the output control unit 150 displays the display object to be transferred in the existing space at the transfer destination (step S406).
  • the management unit 130 when it is determined that there is no space at the transfer destination (step S404 / NO), the management unit 130 newly generates a space (step S408).
  • the management unit 130 generates a public space if the transfer destination is visible to everyone, and generates a personal space if it is the user's hand.
  • the output control unit 150 displays the display object to be transferred in the newly generated space (step S410).
  • the user BBB is interested in the information of the restaurant displayed in the public space, and extends the hand to the information of the restaurant displayed in the public space, and performs a gesture of holding and dragging. Then, the information processing system 100 transfers restaurant information to the personal space of the user BBB and displays it.
  • the user BBB opens the map in the personal space and confirms the location of the restaurant.
  • the user BBB designates the map information of the restaurant as the transfer target, and inputs a transfer instruction to designate the public space as the transfer destination. Then, the information processing system 100 transfers the map information of the restaurant to the public space and displays it.
  • the user BBB issues a mirroring instruction and points a restaurant location on the map in the personal space.
  • the information processing system 100 superimposes that the user BBB points at the restaurant location on the map in the personal space on the map displayed in the public space.
  • Second Scenario the user AAA selects a desired movie from a list of movie content displayed in the personal space, and flicks the icon of the selected movie content to the public space. Then, the information processing system 100 transfers movie content to the public space and starts playback.
  • the user AAA can view movie content on the wide screen of the public space.
  • the user AAA comes back from a trip.
  • the user AAA designates a photograph taken with a smartphone at a travel destination as information to be transferred, and inputs a transfer instruction to designate its own personal space as a transfer destination.
  • the information processing system 100 acquires a photo from the smartphone and displays it on the personal space of the user AAA.
  • the user AAA selects a photograph to be shared as a transfer target from the photos displayed in the personal space, and inputs a transfer instruction to designate the public space as a transfer destination. Then, the information processing system 100 transfers the photo selected by the user AAA to the public space and displays it. This allows the family of the user AAA to browse the photos displayed in the public space.
  • the user BBB who has browsed the photo displayed in the public space stretches his hand to a photo that he likes, and performs a gesture of grabbing and dragging. Then, the information processing system 100 transfers the photo to the personal space of the user BBB and displays it. In addition, the user BBB can also transmit and save the picture displayed in the personal space to his or her smartphone or the like.
  • the user AAA can intuitively and easily search, forward and browse recipes.
  • the user AAA who has been cooking specifies a message indicating that cooking has been done as a transfer target, and inputs a transfer instruction to specify a broadcast as a transfer destination. Then, the information processing system 100 transfers and displays a message indicating that cooking has been completed, to the personal space of the entire family of the user AAA.
  • FIG. 30 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 shown in FIG. 30 can realize, for example, the information processing system 100 shown in FIG.
  • Information processing by the information processing system 100 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903 and a host bus 904a.
  • the information processing apparatus 900 further includes a bridge 904, an external bus 904 b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may have a processing circuit such as an electric circuit, a DSP, or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, an acquisition unit 120, a management unit 130, and an output control unit 150 shown in FIG.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 900. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 900 can input various data to the information processing apparatus 900 or instruct processing operations by operating the input device 906.
  • the input device 906 may be formed by a device that detects information about the user.
  • the input device 906 includes various sensors such as an image sensor (for example, camera), a depth sensor (for example, stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance sensor, and a force sensor. May be included.
  • the input device 906 includes information on the state of the information processing apparatus 900 itself, such as the attitude and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900 such as brightness and noise around the information processing apparatus 900.
  • the input device 906 receives GNSS signals (for example, GPS signals from GPS (Global Positioning System) satellites) from Global Navigation Satellite System (GNSS) satellites, and provides position information including latitude, longitude, and altitude of the device. It may include a GNSS module to measure. Further, regarding the position information, the input device 906 may detect the position by transmission / reception with Wi-Fi (registered trademark), a mobile phone, a PHS, a smart phone, or the like, or near field communication, or the like. The input device 906 may form, for example, the input unit 110 shown in FIG.
  • GNSS Global Navigation Satellite System
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, laser projectors, display devices such as LED projectors and lamps, audio output devices such as speakers and headphones, printer devices, etc. .
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing apparatus 900.
  • the display device visually displays the results obtained by the various processes performed by the information processing apparatus 900 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the output device 907 may form, for example, the output unit 160 shown in FIG.
  • the storage device 908 is a device for data storage formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 may form, for example, the storage unit 140 shown in FIG.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication device 913 may form, for example, the input unit 110 shown in FIG. In the present embodiment, the communication device 913 reads a wireless identification tag such as an RFID tag attached to an actual object in the physical space.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each component described above may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level of the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be created and implemented on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the information processing system 100 manages the space in the physical space where the display object can be displayed in association with the user in the physical space and the position information of the user in the physical space. Then, in response to the input by the first user, the information processing system 100 displays the display object displayed in one of the space associated with the first user and the space associated with the second user with the other. Perform output control to be displayed on. The user can share the information displayed in the space with other users while displaying the display object in the space defined for each user. In this way, richer communication via display objects displayed in the physical space is realized.
  • each device described herein may be implemented as a single device, or some or all may be implemented as separate devices.
  • the information processing system 100 illustrated in FIG. 3 may be realized as a single device or may be realized as a plurality of device groups.
  • the acquisition unit 120, the management unit 130, the storage unit 140, and the output control unit 150 may be included in a server apparatus connected to the input unit 110 and the output unit 160 installed in the physical space via a network or the like. .
  • a management unit that manages a display area in a physical space capable of displaying a display object in association with a user in the physical space and position information in the physical space of the user;
  • An output control unit that performs control;
  • An information processing apparatus comprising: (2) The management unit generates the display area associated with the second user according to an input of the first user, The output control unit causes the display object displayed in the display area associated with the first user to be displayed in association with the second user generated in response to the input of the first user.
  • the information processing apparatus wherein the information is displayed in an area.
  • the output control unit is an existing display area associated with the second user indicated by the input of the first user, the display object displayed in the display area associated with the first user.
  • the information processing apparatus wherein (4) If the first user associated with the first display area and the second user associated with the second display area approach within a first distance: The management unit generates a third display area associated with the first user and the second user, in which the first display area and the second display area are combined.
  • the information processing apparatus according to any one of (1) to (3).
  • (5) The information processing according to (4), wherein the output control unit displays the display object displayed in each of the first display area and the second display area in the third display area. apparatus.
  • the management unit divides the fourth display area, and a fifth display area associated with the first user and not associated with the second user, and the first display associated with the second user.
  • the information processing apparatus according to any one of (1) to (5), which generates a sixth display area that is not associated with the user.
  • Information processing device (8) The information processing apparatus according to any one of (1) to (7), wherein the management unit generates the display area at a place designated by the first user.
  • the information processing apparatus according to any one of (1) to (7), wherein the management unit generates the display area associated with the second user specified by the first user.
  • the management unit manages the display area by further associating positional information of the display area in the physical space.
  • the management unit changes position information of the display area following the user associated with the display area.
  • the display area has one of the first to third attributes, The display area having the first attribute is associated with one user, The display area having the second attribute is associated with some of a plurality of users in the physical space;
  • the information processing apparatus according to any one of (1) to (11), wherein the display area having a third attribute is associated with all of a plurality of users in the physical space.
  • the output control unit hides and displays a part of the display object based on the attribute of the display area and the content or restriction setting of the display object.
  • the management unit When the user moves an object associated with the user, the management unit generates the display area having the first attribute in a portion exposed by moving the object.
  • the information processing apparatus according to 13).
  • the information processing apparatus displays information indicating the display area.
  • the output control unit is configured to, when the first operation for designating the display object to be transferred among the display objects displayed in the display area is recognized, information suggesting another display area that can be transferred.
  • the information processing apparatus which displays (17)
  • the information processing apparatus according to any one of (1) to (16), wherein the output control unit displays the same display object displayed in the plurality of display areas with reference to the same memory. .
  • An information processing method performed by a processor including: (20) Computer, A management unit that manages a display area in a physical space capable of displaying a display object in association with a user in the physical space and position information in the physical space of the user; An output for displaying the display object displayed in one of the display area associated with the first user and the display area associated with the second user in response to an input by the first user
  • An output control unit that performs control; Program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

物理空間に表示される表示オブジェクトを介してユーザ間のコミュニケーションをより豊かにする仕組みを提供する。表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理する管理部と、第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行う出力制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法及びプログラム
 本開示は、情報処理装置、情報処理方法及びプログラムに関する。
 近年、情報通信技術の発展に伴い、装置を制御するための様々なインタフェースが研究開発されている。そのようなインタフェースのうちの1つとして、表示される表示オブジェクトを介したインタフェースがある。
 例えば、特許文献1では、投影された表示オブジェクトに対するユーザの動きに応じて情報処理装置の操作を実行する技術が開示されている。さらに、当該特許文献1では、投影された表示オブジェクトに対するユーザの操作に応じて表示オブジェクトを変化させること、及び物理空間におけるユーザの位置又は姿勢に応じた場所に表示オブジェクトが投影されることが開示されている(図41など)。
特開2011-188023号公報
 しかし、特許文献1では、ユーザと表示オブジェクトの投影場所とを対応付けることはあっても、ユーザ間のコミュニケーションに関しては何ら考慮されていなかった。
 そこで、本開示では、物理空間に表示される表示オブジェクトを介してユーザ間のコミュニケーションをより豊かにする仕組みを提供する。
 本開示によれば、表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理する管理部と、第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行う出力制御部と、
を備える情報処理装置が提供される。
 また、本開示によれば、表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理することと、第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行うことと、を含む、プロセッサにより実行される情報処理方法が提供される。
 また、本開示によれば、コンピュータを、表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理する管理部と、第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行う出力制御部と、として機能させるためのプログラムが提供される。
 以上説明したように本開示によれば、物理空間に表示される表示オブジェクトを介してユーザ間のコミュニケーションをより豊かにする仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成の一例を示す図である。 同実施形態に係る情報処理システムの構成の一例を示す図である。 同実施形態に係る情報処理システムの構成の一例を示すブロック図である。 同実施形態に係るスペースの管理の一例を説明するための図である。 本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。 本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。 本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。 本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。 本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。 本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。 本実施形態に係るパブリックスペースに関するUI例を説明するための図である。 本実施形態に係るパブリックスペースに関するUI例を説明するための図である。 本実施形態に係るパブリックスペースに関するUI例を説明するための図である。 本実施形態に係るセミパブリックスペースに関するUI例を説明するための図である。 同実施形態に係るスペース間の情報転送について説明するための図である。 同実施形態に係るスペース間の情報転送について説明するための図である。 同実施形態に係るスペース間の情報転送について説明するための図である。 同実施形態に係るスペース間の情報転送について説明するための図である。 同実施形態に係るスペース間の情報転送について説明するための図である。 同実施形態に係るスペース間の情報転送について説明するための図である。 同実施形態に係るスペース間の情報転送について説明するための図である。 同実施形態に係る転送可能なスペースの表示について説明するための図である。 図22に示したパブリックスペースに表示され得る、転送可能なスペースであることを示す情報の一例を示す図である。 図22に示したパーソナルスペースに表示され得る、転送可能なスペースの方向を示す情報の一例を示す図である。 同実施形態に係るミラーリング時におけるUIの一例を説明するための図である。 同実施形態に係る情報処理システムにより実行される表示制御処理の流れの一例を示すフローチャートである。 同実施形態に係る情報処理システムにより実行されるスペース生成処理の流れの一例を示すフローチャートである。 同実施形態に係る情報処理システムにより実行されるスペース結合処理の流れの一例を示すフローチャートである。 同実施形態に係る情報処理システムにより実行される情報転送処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
  1.概要
  2.構成例
  3.詳細な技術的特徴
  4.処理の流れ
  5.適用例
  6.ハードウェア構成例
  7.まとめ
 <<1.概要>>
 まず、図1及び図2を参照して、本開示の一実施形態に係る情報処理システムの概要を説明する。図1及び図2は、本開示の一実施形態に係る情報処理システムの構成の一例を示す図である。
 図1及び図2を参照すると、本開示の一実施形態に係る情報処理システム100は、入力部110(110A~110C)と、出力部160(160A~160C)を含む。入力部110及び出力部160は、物理空間30に設置される。
 物理空間30は、ユーザ(AAA、BBB、CCC)が内部で動作することが可能な実空間である。物理空間30は、屋内等の閉鎖された空間であってもよいし、屋外等の開放された空間であってもよい。本明細書では、物理空間とは、住宅内の部屋、玄関、廊下又はキッチン等の生活空間であるものとする。なお、ひとつの空間(例えば、ひとつの部屋)がひとつの物理空間として捉えられてもよいし、複数の空間(例えば、複数の部屋等を有する住宅の内部空間)がまとめてひとつの物理空間として捉えられてもよい。物理空間30における座標は、鉛直方向を軸方向とするY軸、並びに水平面をXZ平面とするX軸及びZ軸の、各座標軸上の座標として定義される。物理空間30における座標系の原点は、一例として物理空間30の天井側の頂点であるものとする。
 出力部160は、各種の情報を物理空間30の任意の面にマッピングして表示することにより、当該情報をユーザに対して視覚的に通知する装置である。出力部160としては、例えばプロジェクタが用いられる。図1及び図2に示す例では、出力部160は、物理空間30の上方に、例えば天井から吊り下げられた状態で配置され、表示オブジェクト20(20A~20C)を投影する。図1に示す例では、出力部160Aはテーブル31Aに表示オブジェクト20Aを投影し、出力部160Bはテーブル31Bに表示オブジェクト20B及び20Cを投影する。図2に示す例では、出力部160Aはテーブル31Aに表示オブジェクト20Aを投影し、出力部160Bはテーブル31Bに表示オブジェクト20Dを投影し、出力部160Cは壁32に表示オブジェクト20Eを投影する。
 入力部110は、物理空間30の情報及びユーザの情報を入力する装置である。図1及び図2に示す例では、入力部110は、物理空間30の上方に、例えば天井から吊り下げられた状態で設けられる。入力部110は、物理空間30を撮像対象とする撮像装置であってもよい。また、入力部110としては、例えば1つのレンズで撮像するカメラ、又は2つのレンズで撮像して奥行き方向の情報を取得することが可能なステレオカメラ等が用いられ得る。
 情報処理システム100は、撮像装置により撮像された撮像画像を解析することで、物理空間30の内部の情報を取得することができる。物理空間30の内部の情報とは、物理空間30内の壁、床及び家具等の実物体の形状及び配置、並びにユーザに関する情報等である。とりわけ、入力部110としてステレオカメラが用いられる場合、情報処理システム100は、撮像画像を解析することで、入力部110からの距離のマップ(即ち、深度情報)を取得することができる。そして、情報処理システム100は、当該深度情報に基づいて、例えば実物体の深度情報とユーザの手の深度情報とを比較することにより、実物体へのユーザの手の接触若しくは近接、及び実物体からの手の離脱を検出することが可能となる。
 本実施形態では、入力部110による撮像画像に基づいて、表示オブジェクト20への操作体(例えば、ユーザの手)の位置が検出され、検出された操作体の位置に基づいて各種の情報が入力される。つまり、ユーザは、表示オブジェクト20上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、表示オブジェクト20に対するユーザの手の接触等が検出されることにより、表示オブジェクト20に対する操作入力が行われることになる。なお、以下の説明では、一例として、操作体としてユーザの手が用いられる場合について説明するが、本実施形態はかかる例に限定されず、操作体としてはスタイラス等の各種の操作部材が用いられてもよい。
 ここで、本実施形態はかかる例に限定されず、他の方法によりユーザの操作入力が実行されてもよい。例えば、入力部110としてテーブル31A、31B及び壁32等の実物体の任意の面にタッチパネルが設けられてもよく、ユーザの操作入力は、当該タッチパネルに対するユーザの指等の接触によって検出されてもよい。また、表示オブジェクトへの操作だけでなく、音声入力等が用いられてもよい。
 情報処理システム100は、物理空間30の任意の場所を出力場所として情報を出力することができる。例えば、情報処理システム100は、床33等に表示オブジェクト20を投影することができる。例えば、出力部160としていわゆるムービングプロジェクタが用いられる場合、情報処理システム100は、ムービングプロジェクタの投影方向を変更することで、かかる出力場所の制御を実現する。他にも、出力部160として固定型のプロジェクタが用いられる場合、情報処理システム100は、複数のプロジェクタのうち、所望する場所への投影が可能なプロジェクタを選択することで、かかる出力場所の制御を実現してもよい。入力部110に関しても同様にすることで、情報処理システム100は、任意の場所の情報を入力することができる。これにより、情報処理システム100は、物理空間30の任意の場所に情報を出力することが可能であるし、任意の場所に出力された画面に対するユーザ入力を検出することも可能である。
 以上、本実施形態に係る情報処理システム100の構成について説明した。
 表示オブジェクトとは、情報処理システム100により表示される情報全般である。表示オブジェクトは、画像(静止画像/動画像)等のコンテンツ、オンスクリーンキーボード等の操作用インタフェース、及びアプリケーション画面等を含み得る。
 情報処理システム100は、物理空間30内に定義された表示領域に表示オブジェクト20を表示する。例えば、物理空間30内の任意の実物体の表面に表示領域が定義され、表示領域にマッピングして表示オブジェクトが表示される。以下では、表示領域をスペースとも称する。なお、スペースは、物理的に一続きの領域であってもよいし、物理的に分離した複数の領域を含んでいてもよい。
 物理空間30内にいるユーザは、自身に関連付けられたスペースに表示された表示オブジェクト20を閲覧及び操作することができる。
 図1に示した例では、各々のユーザに対して個別に関連付けられたスペースに、個人向けの表示オブジェクト20が表示される。そして、各々のユーザは、自身の個人向けのコンテンツを含む表示オブジェクト20を閲覧し、操作する。例えば、ユーザAAAは表示オブジェクト20Aを閲覧及び操作することができ、ユーザBBBは表示オブジェクト20Bを閲覧及び操作することができ、ユーザCCCは表示オブジェクト20Cを閲覧及び操作することができる。
 図2に示した例では、複数のユーザに対して共通的に関連付けられたスペースに、当該複数のユーザ向けの表示オブジェクトが表示される。その場合、ひとつのスペースに共通して関連付けられた複数のユーザが、当該スペースに表示された表示オブジェクトを閲覧及び操作することができる。例えば、ユーザBBB及びCCCは、表示オブジェクト20Dを閲覧及び操作することができ、ユーザAAA、BBB及びCCCは、表示オブジェクト20Eを閲覧及び操作することができる。
 このように、情報処理システム100は、個人向けのスペースにおいて個人向けの表示オブジェクトを表示し、複数人向けのスペースにおいて複数人向けの表示オブジェクトを表示することができる。これにより、各ユーザのプライバシーを守ることも可能である。また、共有すべき情報を共有すべき複数のユーザで共有することができる。例えば、共同購入する品物の選択及びTVチャンネル選びを、複数のユーザで同じ表示オブジェクトを閲覧しながら相談し選択することができる。
 スペース間では、ユーザの指示に基づく情報の転送も可能である。例えば、図1に示した例では、ユーザAAAは、表示オブジェクト20Aに表示されたコンテンツを表示オブジェクト20Bに転送して、表示オブジェクト20Aと20Bとで同一のコンテンツを表示させることができる。図2に示した例では、例えば、ユーザAAAは、表示オブジェクト20Aに表示されたコンテンツを表示オブジェクト20Eに転送して、表示オブジェクト20Aと20Eとで同一のコンテンツを表示させることができる。転送は、例えば表示オブジェクト20のうち転送したいコンテンツを指で押し、続いて転送したいユーザがいる方向に向けて指をはじくように動かす操作(フリック操作とも称される)により実行される。同一方向に複数のユーザがいる場合には、指をはじくように動かした長さに応じた距離にいるユーザに転送される。このように、ユーザは、物理空間における他のユーザとの位置関係(方向及び距離)に応じた操作により、他のユーザと共有したい情報を直観的に且つ手軽に共有することができる。
 このように、情報処理システム100は、スペース間での自由な情報の転送を実現する。よって、ユーザは、例えば複数人で共有しているスペースに表示された情報のうち気になった情報又は自分で操作したい情報を、自分の個人向けスペースに転送して、個別に閲覧及び操作することができる。同様に、ユーザは、例えば自分の個人向けスペースに表示されていた情報のうち複数人で共有したい情報を複数人向けのスペースに転送することで、複数人で閲覧及び操作することができる。
 このように、情報処理システム100によれば、情報の専有/共有(転送)を、同一の物理空間においてシームレスに行うことが可能である。
 既存のユーザ間の情報共有技術としては、例えば、スマートフォン等のディスプレイに表示された画面を、ユーザが他のユーザに近づいて見せる技術、並びにネットワーク経由で画面及びポインタ位置をミラーリングする技術があった。しかし、前者の技術では、物理的な移動を要する上に物理的な画面の制約があった。また、後者の技術では、ネットワーク経由で共有相手と接続し、端末名又はアカウント名等の固有情報を参照して所望の共有相手を特定する等の操作が煩雑であった。さらに後者の技術では、そもそもユーザと共有相手とが別の場所にいるという空間的な差異がある上に、ネットワーク遅延等の影響もあり、ユーザと共有相手とが同じ画面に表示された同じ情報を見て同じ認識をしている、という保証がなかった。
 これに対し、本実施形態に係る情報処理システム100によれば、ユーザ間の情報の共有は、同一の物理空間においてシームレスに行われる。具体的には、ユーザは、物理空間における他のユーザとの位置関係(方向及び距離)に応じた操作を行うことで、他のユーザと情報を共有する。即ち、ユーザは、新聞又は雑誌を他のユーザに手渡して情報を共有することと同様の、物理空間における他のユーザとの位置関係(方向及び距離)に応じた動作により、他のユーザに情報を転送することができる。よって、ユーザは物理的に移動せずとも他のユーザと情報共有可能であるし、物理的な画面の制約もない。さらに、ユーザと共有相手とが同一の物理空間にいるので、ユーザと共有相手とは、同じ情報を見て同じ認識をしながらコミュニケーションをとることができる。
 以上、情報処理システム100の概要を説明した。以下では、情報処理システム100の詳細を説明する。なお、以下の説明では、複数のユーザを、第1のユーザ及び第2のユーザのように区別する場合がある。典型的には、第1のユーザと第2のユーザとは、情報を共有する複数のユーザのうち2人である。
 <<2.構成例>>
 図3は、本実施形態に係る情報処理システム100の構成の一例を示すブロック図である。図3に示すように、情報処理システム100は、入力部110、取得部120、管理部130、記憶部140、出力制御部150及び出力部160を含む。なお、情報処理システム100は、1つの装置として実現されてもよいし、複数の装置として実現されてもよい。
 (1)入力部110
 入力部110は、ユーザ又は物理空間の情報を入力する機能を有する。入力部110は、多様な装置により実現され得る。
 例えば、入力部110は、撮像装置を含み得る。撮像装置は、レンズ系、駆動系、及び撮像素子を有し、画像(静止画像又は動画像)を撮像する。
 例えば、入力部110は、深度センサを含み得る。深度センサは、赤外線測距装置、超音波測距装置、ToF方式(Time of Flight)の測距装置、LiDAR(Laser Imaging Detection and Ranging)又はステレオカメラ等の深度情報を取得する装置である。
 例えば、入力部110は、収音装置(マイクロフォン)を含み得る。収音装置は、周囲の音を収音し、アンプおよびADC(Analog Digital Converter)を介してデジタル信号に変換した音声データを出力する装置である。
 例えば、入力部110は、慣性センサを含み得る。慣性センサは、加速度又は角速度等の慣性情報を検出する装置である。慣性センサは、例えばユーザに装着される。
 例えば、入力部110は、生体センサとして実現され得る。生体センサは、ユーザの心拍又は体温等の生体情報を検出する装置である。生体センサは、例えばユーザに装着される。
 例えば、入力部110は、環境センサを含み得る。環境センサは、物理空間の明度、気温、湿度、又は気圧等の環境情報を検出する装置である。
 例えば、入力部110は、物理的なユーザとの接触に基づいて情報を入力する装置を含み得る。そのような装置としては、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等が挙げられる。これらの装置は、スマートフォン、タブレット端末又はPC(Personal Computer)等の端末装置に搭載され得る。
 例えば、入力部110は、無線通信装置として実現され得る。無線通信装置は、無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、Zigbee(登録商標)、又はNFC(Near Field Communication)等の無線通信規格に準拠し、他の装置と通信可能である。例えば、無線通信装置は、RFID(Radio Frequency Identifier)タグ等の無線方式の識別タグを読み取る。
 入力部110は、取得部120による制御に基づいて情報を入力する。例えば、取得部120は、撮像装置のズーム率及び撮像方向を制御することができる。
 なお、入力部110は、これらのうち一つ又は複数の入力装置を組み合わせ含んでも良いし、同一種類の入力装置を複数含んでも良い。
 また、入力装置は、スマートフォン、タブレット端末、ウェアラブル端末、PC(Personal Computer)、又はTV(Television)等の端末装置であってもよい。
 (2)取得部120
 取得部120は、入力部110により入力された入力情報から、物理空間内の情報を取得する機能を有する。図2に示すように、取得部120は、空間情報取得部121及びユーザ情報取得部122を含む。空間情報取得部121は、物理空間の情報(以下、空間情報とも称する)を取得する機能を有する。ユーザ情報取得部122は、ユーザの情報(以下、ユーザ情報とも称する)を取得する機能を有する。取得部120は、取得した空間情報及びユーザ情報を、管理部130、記憶部140及び出力制御部150の各々に出力する。
 ・空間情報
 空間情報取得部121は、入力部110により入力された情報に基づいて、空間情報を取得する。以下、空間情報について説明する。
 空間情報は、物理空間内の実物体の種類及び配置を示す情報を含み得る。また、空間情報は、実物体の識別情報を含み得る。例えば、空間情報取得部121は、撮像画像を画像認識することにより、これらの情報を取得する。他にも、空間情報取得部121は、物理空間内の実物体に付されたRFIDタグの読み取り結果に基づいて、これらの情報を取得してもよい。また、空間情報取得部121は、ユーザ入力に基づいて、これらの情報を取得してもよい。なお、物理空間内の実物体としては、壁、床及び家具等が挙げられる。
 空間情報は、空間の形状を示す三次元情報を含み得る。空間の形状を示す三次元情報は、物理空間内の実物体により規定される空間の形状を示す情報である。例えば、空間情報取得部121は、深度情報に基づいて、空間の形状を示す三次元情報を取得する。物理空間内の実物体の種類及び配置を示す情報、並びに実物体の識別情報が取得可能である場合には、空間情報取得部121は、かかる情報を加味して、空間の形状を示す三次元情報を取得してもよい。
 空間情報は、空間を形成する面(例えば、壁、床、及び家具等の実物体の表面)の材質、色、又はテクスチャ等の情報を含み得る。例えば、空間情報取得部121は、撮像画像を画像認識することにより、これらの情報を取得する。物理空間内の実物体の種類及び配置を示す情報、並びに実物体の識別情報が取得可能である場合には、空間情報取得部121は、かかる情報を加味して、これらの情報を取得してもよい。
 空間情報は、物理空間の明るさ、温度及び湿度等の、物理空間内の状態に関する情報も含み得る。例えば、空間情報取得部121は、環境情報に基づいて、これらの情報を取得する。
 空間情報は、上記説明した情報の少なくともいずれかを含む。
 ・ユーザ情報
 ユーザ情報取得部122は、入力部110により入力された情報に基づいて、ユーザ情報を取得する。以下、ユーザ情報について説明する。
 ユーザ情報は、物理空間内にユーザが存在するか否か、物理空間内に存在するユーザの人数、及び個々のユーザの識別情報を含み得る。例えば、ユーザ情報取得部122は、撮像画像に含まれるユーザの顔部分を画像認識することで、これらの情報を取得する。
 ユーザ情報は、ユーザの属性情報を含み得る。属性情報とは、年齢、性別、仕事、家族構成、又は友人関係等の、ユーザの属性を示す情報である。例えば、ユーザ情報取得部122は、撮像画像に基づいて、又は属性情報を記憶したデータベースにユーザの識別情報を用いて問い合わせることで、ユーザの属性情報を取得する。
 ユーザ情報は、ユーザの位置を示す情報を含み得る。例えば、ユーザ情報取得部122は、撮像画像及び深度情報に基づいて、ユーザの位置を示す情報を取得する。
 ユーザ情報は、ユーザの姿勢を示す情報を含み得る。例えば、ユーザ情報取得部122は、撮像画像、深度情報及び慣性情報に基づいて、ユーザの姿勢を示す情報を取得する。ユーザの姿勢とは、立ち止まっている、立っている、座っている又は寝転がっている等の身体全体の姿勢を指していてもよいし、顔、胴体、手、足又は指等の身体の部分的な姿勢を指していてもよい。
 ユーザ情報は、ユーザの動作を示す情報を含み得る。例えば、ユーザ情報取得部122は、撮像装置又は撮像装置とマーカーとを用いる光学式、ユーザに装着された慣性センサを用いる慣性センサ式、又は深度情報を用いる方式等の任意の方式でユーザの動作を認識することにより、ユーザの動作を示す情報を取得する。ユーザの動作とは、移動等の身体全体を用いる動作を指していてもよいし、手によるジェスチャ等の身体を部分的に用いる動作を指していてもよい。また、ユーザ情報として、図1を参照して上記説明したような、物理空間の任意の面にマッピングして表示された画面へのユーザ入力も、ユーザの動作を示す情報として取得される。
 ユーザ情報は、ユーザが音声入力した情報を含み得る。例えば、ユーザ情報取得部122は、ユーザの話声を音声認識することにより、かかる情報を取得し得る。
 ユーザ情報は、上記説明した情報の少なくともいずれかを含む。
 (3)管理部130
 管理部130は、表示オブジェクトを表示可能な物理空間内の表示領域(即ち、スペース)を管理する。管理部130は、物理空間における任意の面にスペースを定義する。そして、管理部130は、スペースに関する各種情報(以下、スペース情報とも称する)を生成及び更新する。管理部130によるスペースの管理の詳細については後述する。管理部130は、スペース情報を記憶部140に出力する。
 (4)記憶部140
 記憶部140は、情報処理システム100の動作のための情報を一時的に又は恒久的に記憶する機能を有する。記憶部140は、管理部130により生成されたスペース情報を記憶する。記憶部140は、取得部120により取得されたユーザ情報及び空間情報を記憶する。記憶部140は、これらの情報を記憶するためのDB(Data Base)を構築する。
 (5)出力制御部150
 出力制御部150は、取得部120により取得された空間情報及びユーザ情報、並びに管理部130に管理されたスペース情報に基づいて、出力部160を制御して情報を出力させる機能を有する。
 例えば、出力制御部150は、表示領域に表示オブジェクトを表示させる。詳しくは、出力制御部150は、物理空間内の任意の面に定義された表示領域にマッピングして表示オブジェクトを表示するよう出力部160を制御する。例えば、出力部160が投影装置(プロジェクタ)である場合、出力制御部150は、プロジェクタを制御して、物理空間内のスペースに表示オブジェクトを投影させる。他にも、出力部160が透過型ディスプレイである場合、出力制御部150は、透過型ディスプレイを制御して、物理空間内のスペースにAR(Augmented Reality)オブジェクトを重畳して表示させる。
 出力制御部150は、視覚的な情報の出力の他にも、聴覚的な情報、触覚的な情報又は嗅覚的な情報等の任意の情報をスペースにおいて出力するよう出力部160を制御してもよい。
 出力場所の制御は、例えば設置場所又は出力方向の異なる複数の出力装置のうち、情報を出力させる出力装置を選択することにより、実現され得る。例えば、表示場所の制御は、投影方向の異なる複数の固定型のプロジェクタのうち、表示オブジェクトを投影させるプロジェクタを選択することにより、実現される。
 出力場所の制御は、出力場所を変更するよう出力装置を制御することにより、実現され得る。例えば、視覚的な情報に関する出力場所の制御は、例えばムービングプロジェクタを駆動させて投影方向を変更させることにより実現され得る。聴覚的な情報に関する出力場所の制御は、例えば指向性スピーカの指向性を変更する、超音波スピーカを用いる、又は波面合成の技術を用いることにより実現され得る。
 (6)出力部160
 出力部160は、ユーザに対して情報を出力する装置である。出力部160は、多様な装置により実現され得る。
 出力部160は、視覚的な情報を出力する、表示装置を含み得る。出力部160は、視覚的な情報を、実物体の表面にマッピングして出力する。そのような出力部160としては、投影装置(即ち、プロジェクタ)が挙げられる。プロジェクタは、例えば固定型の広角プロジェクタであってもよいし、Pan/Tilt駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。他にも、視覚的な情報を実物体の表面にマッピングして出力可能な出力部160としては、透過型ディスプレイを有するHMD(Head Mounted Display)等の装置も挙げられる。透過型ディスプレイを有する装置では、実物体の表面にAR(Augmented Reality)オブジェクトが重畳して表示される。本実施形態では、視覚的な情報を出力する出力部160は、プロジェクタであるものとして説明する。
 出力部160は、聴覚的な情報を出力する、音声出力装置を含み得る。そのような出力部160としては、スピーカ、指向性スピーカ、イヤホン、及びヘッドホン等が挙げられる。
 出力部160は、触覚的な情報を出力する、触覚出力装置を含み得る。触覚的な情報とは、例えば、振動、力覚、温度又は電気刺激等である。触覚的な情報を出力する出力部160としては、モータ、アクチュエータ、及び熱源等が挙げられる。
 出力部160は、嗅覚的な情報を出力する装置を含み得る。嗅覚的な情報とは、例えば香りである。嗅覚的な情報を出力する出力部160としては、例えばアロマディフューザ等が挙げられる。
 出力部160は、出力制御部150による制御に基づいて情報を出力する。例えば、出力部160は、出力制御部150による制御に基づいて、ムービングプロジェクタの投影方向を変更したり、指向性スピーカの指向性を変更したりすることができる。
 なお、出力部160は、これらのうち一つ又は複数の出力装置を組み合わせ含んでも良いし、同一種類の出力装置を複数含んでも良い。
 とりわけ、本実施形態では、同一種類の複数の出力装置が、設置場所又は出力方向を互いに異ならせて、物理空間内に設置されることが望ましい。これにより、物理空間内の任意の場所を出力場所として情報を出力することが可能となるためである。
 また、出力装置は、スマートフォン、タブレット端末、ウェアラブル端末、PC(Personal Computer)、又はTV(Television)等の端末装置であってもよい。
 <<3.詳細な技術的特徴>>
 以下では、本実施形態に係る情報処理システム100の詳細な技術的特徴を説明する。
 (1)スペースの属性
 スペースは、第1~第3の属性のいずれかの属性を有する。
 第1の属性を有するスペースは、1人のユーザに関連付けられるスペースである。第1の属性を有するスペースは、1人のユーザの専用のスペースである。特定の1人のユーザが、第1の属性を有するスペースを閲覧し操作することができる。第1の属性を有するスペースは、典型的には、関連付けられた1人のユーザの手の届く範囲に定義される。以下では、第1の属性をパーソナルとも称し、第1の属性を有するスペースを、パーソナルスペースとも称する。
 第2の属性を有するスペースは、物理空間内の複数のユーザのうち一部の複数のユーザに関連付けられるスペースである。特定の複数のユーザが、第2の属性を有するスペースを共通的に閲覧し操作することができる。以下では、第2の属性をセミパブリックとも称し、第2の属性を有するスペースを、セミパブリックスペースとも称する。
 第3の属性を有するスペースは、物理空間内の複数のユーザの全員に関連付けられるスペースである。物理空間内の不特定多数のユーザが、第3の属性を有するスペースを共通的に閲覧し操作することができる。以下では、第3の属性をパブリックとも称し、第3の属性を有するスペースを、パブリックスペースとも称する。
 パーソナルスペース、セミパブリックスペース及びパブリックスペースの面積及び形状は任意である。典型的には、これらの中でパーソナルスペースが最も狭く、パブリックスペースが最も広い。
 また、各スペースに出力される情報としては、視覚的な情報以外の情報が含まれてもよい。例えば、各スペースに音声が出力されてもよい。例えば、情報処理システム100は、パーソナルスペースに向けて音声を単一指向性且つ小さい音量で出力する。これにより、パーソナルスペースの所有者であるユーザのみが音声を聞くことが可能となる。また、情報処理システム100は、パブリックスペースに向けて無指向性且つ大きい音量で出力する。これにより、物理空間にいるユーザ全員が音声を聞くことが可能である。
 (2)スペース情報のデータ構造
 管理部130は、表示オブジェクトを表示可能な物理空間内のスペースを管理する。以下では、図4を参照しながら、スペース情報のデータ構造の一例を説明する。
 図4は、本実施形態に係るスペースの管理の一例を説明するための図である。図4に示すように、物理空間30にユーザAAA、BBB、及びCCCがいる。そして、ユーザAAAに関連付けてパーソナルスペース40が定義され、ユーザBBB及びCCCに関連付けてセミパブリックスペース41が定義され、全ユーザに関連付けてパブリックスペース42が定義されている。
 なお、出力制御部150は、スペースを示す情報を表示してもよい。図4に示した例では、出力制御部150は、パーソナルスペース40、セミパブリックスペース41及びパブリックスペース42を、表示オブジェクトとして表示してもよい。この場合、各スペースが表示され、さらにそのスペースの中でコンテンツ又はアプリケーション画面等が表示される。もちろん、出力制御部150は、スペースを示す情報を表示しなくてもよい。その場合、パーソナルスペース40、セミパブリックスペース41及びパブリックスペース42は、表示されず、コンテンツ等が表示可能な領域として暗黙的に管理される。
 例えば、管理部130は、スペースの属性、スペースに関連付けられるユーザ、及びスペースの物理空間内の位置情報に関連付けてスペースを管理する。つまり、スペース情報は、スペースの属性、スペースに関連付けられるユーザ、及びスペースの物理空間内の位置情報を含む。図4に示した例の場合、例えば、管理部130は、下記の表1に示すスペース情報を格納するDBを記憶部140に構築して、スペースを管理する。なお、パブリックスペース42のIDはS1であり、セミパブリックスペース41のIDはS2であり、パーソナルスペース40のIDはS3である。
Figure JPOXMLDOC01-appb-T000001
 また、管理部130は、ユーザ及びユーザの物理空間内の位置情報に関連付けてスペースを管理する。つまり、スペース情報は、スペースに関連付けられるユーザ及び当該ユーザの物理空間内の位置情報を含む。図5に示した例の場合、例えば、管理部130は、下記の表2に示すスペース情報を有するDBを記憶部140に構築して、スペースを管理する。
Figure JPOXMLDOC01-appb-T000002
 また、管理部130は、スペースを、スペースにおいて表示される表示オブジェクトに関連付けて管理する。つまり、スペース情報は、スペースにおいて表示される表示オブジェクトを示す情報を含む。図5に示した例の場合、例えば、管理部130は、下記の表3に示すスペース情報を有するDBを記憶部140に構築して、スペースを管理する。
Figure JPOXMLDOC01-appb-T000003
 (3)スペースの定義
 管理部130は、ユーザ入力に基づいて、スペースを定義する。新たなスペースを定義することを、生成するとも称する。
 ・スペースの生成
 管理部130は、所定のユーザ入力(以下、生成指示とも称する)があった場合、新たにスペースを生成する。管理部130は、空間情報とユーザ情報とに基づいて生成指示を認識する。
 例えば、生成指示は、物理空間内の任意の面をタップする、ダブルタップする、指で円を描く、若しくは手のひらで拭う、又は物理空間内の任意の面に正対することであってもよい。また、生成指示は、特定の文言(例えば、「生成」等)を発話することであってもよい。また、生成指示は、所定の実物体を物理空間内の任意の面に配置することであってもよい。
 生成指示は、場所の指定を含み得る。管理部130は、ユーザ(第1のユーザ)により指定された場所に、スペースを生成する。例えば、生成指示が、物理空間内の任意の面をタップする、ダブルタップする、指で円を描く、又は手のひらで拭う等であった場合、管理部130は、タップ等がされた面に、スペースを生成する。また、生成指示が物理空間内の任意の面に正対することであった場合、管理部130は、ユーザが正対した面にスペースを生成する。また、生成指示が特定の文言(例えば「ここに生成」等)を発話することであった場合、管理部130は、音声で指定された場所にスペースを生成する。また、生成指示が所定の実物体を物理空間内の任意の面に配置することであった場合、管理部130は、所定の実物体が配置された場所にスペースを生成する。
 生成指示は、ユーザの指定を含み得る。管理部130は、ユーザ(第1のユーザ)により指定された他のユーザ(第2のユーザ)に関連付けられたスペースを生成する。例えば、管理部130は、ユーザが指を指した方向にいる他のユーザ、フリック操作のフリック先の方向にいる他のユーザ、又は声で呼んだ名前を有する他のユーザに関連付けられたスペースを生成する。
 生成指示は、スペースの属性の指定を含み得る。管理部130は、ユーザ(第1のユーザ)により指定された属性を有するスペースを生成する。例えば、管理部130は、生成指示がタップであればパーソナルスペースを生成し、生成指示が指で円を描くことであればパブリックスペースを生成する。
 このように、ユーザは、物理空間における場所又は他のユーザとの位置関係に応じたジェスチャ又は発話等により、生成指示を入力することができる。また、生成指示は、場所、ユーザ又は属性の少なくともいずれかの指定を含む。したがって、ユーザは、所望する場所に、所望するユーザに関連付けて、及び所望する属性を有するスペースを、直観的に且つ手軽に生成することができる。
 なお、生成指示は、コンテンツの指定を含み得る。管理部130は、ユーザ(第1のユーザ)により指定されたコンテンツを、スペースに表示する。例えば、生成指示は、スマートフォン等の端末装置の画面又は雑誌などの実物体から転写したい領域を選択することであってもよい。この場合、物理空間30は、端末装置又は雑誌等の転写対象の実物体の付近にスペースを生成する。そして、管理部130は、転写したい領域として選択されたコンテンツを端末装置から無線通信を介して取得して、生成したスペースに当該コンテンツを表示する。または、管理部130は、生成したスペースに、雑誌のうち転写したい領域として選択された部分の撮像画像を表示する。
 ・スペースの移動
 管理部130は、スペースの位置情報を、当該スペースが関連付けられたユーザに追随して変更する。例えば、管理部130は、ユーザの位置情報の変化量を、パーソナルスペースの位置情報の変化量とする。これにより、ユーザのパーソナルスペースが、常にユーザの周囲に存在するようになり、ユーザの利便性が向上する。また、管理部130は、ユーザの顔又は身体の向きに応じて、パーソナルスペースの位置情報を変更する。これにより、ユーザのパーソナルスペースが、常にユーザの顔又は身体が向く方向等に位置するようになり、ユーザの利便性が向上する。セミパブリックスペース及びパブリックスペースに関しても同様である。
 ・スペースの属性の変更
  -結合
 第1のスペースが関連付けられたユーザ(第1のユーザ)と第2のスペースが関連付けられたユーザ(第2のユーザ)とが第1の距離以内に近づいた場合、管理部130は、第1のスペース及び第2のスペースを結合した、第1のユーザ及び第2のユーザに関連付けられた第3のスペースを生成する。例えば、第1のパーソナルスペースが関連付けられた第1のユーザと第2のパーソナルスペースが関連付けられた第2ユーザとが第1の距離以内に近づいた場合、管理部130は、第1のユーザ及び第2のユーザに関連付けられたセミパブリックスペースを生成する。スペースの結合は、必ずしも2人のユーザの間でのみ行われるものではなく、3人以上のユーザの間で行われてもよい。上記セミパブリックスペースの生成を繰り返して、物理空間内に存在するすべてのユーザのスペースが結合された場合、最終的にはパブリックスペースが生成される。
 スペースの結合は、ユーザ間の距離に代えて又は共に、スペース間の距離をトリガとして行われてもよい。詳しくは、第1のスペースと第2のスペースとが第3の距離以内に近づいた場合、管理部130は、第1のスペース及び第2のスペースを結合した、第3のスペースを生成してもよい。
 管理部130は、複数のユーザが互いに第1の距離以内に近づいたことに加え、所定のユーザ入力(以下、結合指示とも称する)があった場合に、第3のスペースを生成してもよい。管理部130は、空間情報とユーザ情報とに基づいて結合指示を認識する。
 結合指示は、第1の距離以内に近づいた複数のユーザ全員が、タップ、ダブルタップ、円を描く、手のひらで拭う、又は所定の文言を発話する等の所定のユーザ入力を全員で行うことであってもよい。また、結合指示は、第1の距離以内に近づいた複数のユーザのうち一部が、「共有スペース」等の所定の文言を発話しながら、タップ、ダブルタップ、円を描く、又は手のひらで拭う等を行うことであってもよい。
 第3のスペースの生成は、新たなスペースを生成することにより実現されてもよいし、第1のスペース又は第2のスペースのスペース情報を変更することで、生成されてもよい。後者の場合、例えばスペースの属性及び所有者情報等が変更される。
 出力制御部150は、第1のスペース及び第2のスペースの各々に表示されていた表示オブジェクトを、第3のスペースに表示する。出力制御部150は、第1のスペース及び第2のスペースの各々に表示されていた表示オブジェクトの全てを第3のスペースにおいて表示してもよいし、重複がある部分を削除してもよいし、レイアウトを変更する等してもよい。これにより、ユーザは、他のユーザに近づくことで、特定の他のユーザと情報共有することが可能である。
  -分割
 第4のスペースに関連付付けられた第1のユーザと第2のユーザとが第2の距離以上に離れた場合、管理部130は、第4のスペースを分割した第5のスペース及び第6のスペースを生成する。第5のスペースは、第1のユーザに関連付けられ第2のユーザに関連付けられないスペースである。第6のスペースは、第2のユーザに関連付けられ第1のユーザに関連付けられないスペースである。例えば、セミパブリックスペースが関連付けられた第1のユーザと第2のユーザとが第2の距離以上に離れた場合、管理部130は、第1のユーザのパーソナルスペースと第2のユーザのパーソナルスペースとを生成する。スペースの分割は、必ずしも2人のユーザの間でのみ行われるものではなく、3人以上のユーザの間で行われてもよい。
 管理部130は、複数のユーザが互いに第2の距離以上に離れたことに加え、所定のユーザ入力(以下、分割指示とも称する)があった場合に、第5のスペース及び第6のスペースを生成してもよい。管理部130は、空間情報とユーザ情報とに基づいて分割指示を認識する。分割指示は、例えば上記結合指示と同様であってもよい。
 第5及び第6のスペースの生成は、新たなスペースを生成することにより実現されてもよいし、第4のスペースのスペース情報を変更することで、生成されてもよい。後者の場合、例えばスペースの属性及び所有者情報等が変更される。
 出力制御部150は、第4のスペースに表示されていた表示オブジェクトを、第5のスペース又は第6のスペースの少なくともいずれかに表示する。例えば、出力制御部150は、分割前の第4のスペースに表示されていた表示オブジェクトの全てを第5のスペース及び第6のスペースに表示してもよいし、一部を第5のスペースに表示し他を第6のスペースに表示してもよい。このように、ユーザは、他のユーザから離れることで、他のユーザとの情報共有をやめることができる。
 ・削除
 管理部130は、所定のユーザ入力(以下、削除指示とも称する)があった場合、スペースを削除する。管理部130は、空間情報とユーザ情報とに基づいて削除指示を認識する。
 削除指示は、既存のスペースを所定時間タッチし続ける、スペース上に指で所定の記号を入力する等であってもよい。また、削除指示は、特定の文言(例えば、「削除」等)を発話することであってもよい。
 (4)スペースの属性ごとの具体的なUI例
 以下、図5~図14を参照して、スペースの属性ごとの具体的なUI例を説明する。
 ・パーソナルスペース
 図5は、本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。図5の左図に示すように、管理部130は、ユーザAAA~CCCの各々の前方の手の届く範囲内に、パーソナルスペース40A~40Cを生成する。パーソナルスペース40AはユーザAAAに関連付けられ、パーソナルスペース40BはユーザBBBに関連付けられ、パーソナルスペース40CはユーザCCCに関連付けられる。図5の右図に示すように、ユーザCCCが移動すると、管理部130は、ユーザCCCのパーソナルスペース40CをユーザCCCに追随させて移動させる。
 図6及び図7は、本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。図6及び図7は、パーソナルスペースの生成指示の一例を示している。図6に示す例では、物理空間における任意の面において、ユーザが2点を指で指定すると、管理部130は、当該2点を対角とするパーソナルスペース40を生成する。図7に示す例では、物理空間における任意の面において、ユーザが手のひらで拭う動作をすると、管理部130は、手のひらで拭われた領域にパーソナルスペース40を生成する。
 管理部130は、ユーザが当該ユーザに関連付けられた物体を動かした場合、当該物体を動かすことで露出した部分にパーソナルスペースを生成してもよい。管理部130は、空間情報及びユーザ情報に基づいて、ユーザが当該ユーザに関連付けられた物体を動かしたことを判定し、次いで露出した部分を特定し、当該ユーザのパーソナルスペースを生成する。管理部130は、このようなユーザ動作に基づきパーソナルスペースを生成後、ユーザに関連付けられた物体が元の位置に戻されて、露出していた部分が再び隠れた場合には、生成したパーソナルスペースを削除してもよい。管理部130は、ユーザと物体との関連付けを、例えば事前に入力されたユーザの所持品等の情報に基づいて、静的に行ってもよい。また、管理部130は、ユーザと物体との関連付けを、ユーザの位置又は姿勢等に応じて動的に行ってもよい。例えば、枕は通常一人のユーザが使用する物体であるため、枕に一番近い位置に頭部が位置するユーザが、枕と関連付けられる。なお、物体は複数のユーザと関連付けられてもよい。管理部130は、複数のユーザと関連付けられた物体が動かされた場合には、当該物体を動かすことで露出した部分に、当該物体を動かしたユーザのパーソナルスペースを生成してもよいし、当該物体に関連付けられたユーザ全員に関連付けられるセミパブリックスペース又はパブリックスペースを生成してもよい。以下、図8~図10を参照して、一人のユーザに関連付けられた枕が動かされる場合の具体例を説明する。
 図8~図10は、本実施形態に係るパーソナルスペースに関するUI例を説明するための図である。図8は、パーソナルスペースの生成指示の一例を示している。図8に示す例では、ベッド36に横になったユーザが枕37を動かした場合、管理部130は、枕37を動かすことで露出した部分36aにパーソナルスペース40を生成する。この場合、ユーザは、例えば枕37を引き寄せることで、パーソナルスペースに個人向けの表示オブジェクトを表示させて、内密に閲覧及び操作することが可能である。図9及び図10には、上記の枕37を動かす動作を認識するためのハードウェア構成の一例が示されている。例えば、図9に示すように、枕37に、磁気センサ、ジャイロセンサ又は圧力センサ等のセンサ装置110aが内蔵されていてもよい。また、図10に示すように、枕37の付近に、測距センサ110bが設けられていてもよい。いずれにしろ、情報処理システム100は、これらのセンサによる検出結果に基づいて、ユーザによる枕37を動かす動作を認識可能である。
 ・パブリックスペース
 図11は、本実施形態に係るパブリックスペースに関するUI例を説明するための図である。図11に示す例では、管理部130は、物理空間30にいるユーザAAA、BBB、及びCCCの全員の視界に入る壁32に、パブリックスペース42を生成する。このとき、管理部130は、物理空間30にいるユーザの全員の視界に入る面のうち、所定の面積以上の面積を有する壁32に、パブリックスペース42を生成している。
 図12は、本実施形態に係るパブリックスペースに関するUI例を説明するための図である。図12に示す例では、管理部130は、物理空間30にいるユーザAAA、BBB、及びCCCの全員の視界に入る壁32に生成指示が入力された場合に、パブリックスペース42を生成する。図12に示した例では、生成指示は、ユーザが2点を指で指定する動作であり、管理部130は、当該2点を対角とするパブリックスペース42を生成する。
 図13は、本実施形態に係るパブリックスペースに関するUI例を説明するための図である。図13に示した例では、管理部130は、コルクボード34上に配置されたピン35Aに対応する領域にパブリックスペース42Aを生成し、ピン35Bに対応する領域にパブリックスペース42Bを生成する。
 ・セミパブリックスペース
 図14は、本実施形態に係るセミパブリックスペースに関するUI例を説明するための図である。まず、ステップS1に示すように、管理部130は、ユーザAAA~CCCの各々に関連付けて、パーソナルスペース40A~40Cを生成する。次いで、ステップS2に示すように、ユーザBBBとCCCとが近づくと、管理部130は、パーソナルスペース40B及び40Cを結合して、ユーザBBB及びCCCが関連付けられるセミパブリックスペース41Aを生成する。次に、ステップS3に示すように、ユーザBBBがユーザCCCから離れてユーザAAAに近づいたものとする。この場合、管理部130は、セミパブリックスペース41を分割してユーザBBBのパーソナルスペース(図示せず)及びユーザCCCのパーソナルスペース40Cを生成する。さらに、管理部130は、生成したユーザBBBのパーソナルスペースと既存のパーソナルスペース40Aを結合して、ユーザAAA及びBBBが関連付けられるセミパブリックスペース41Bを生成する。その後、ステップS4に示すように、ユーザCCCがユーザAAA及びBBBに近づくと、管理部130は、セミパブリックスペース41Bとパーソナルスペース40Cを結合して、パブリックスペース42を生成する。
 (5)スペース間の情報転送
 続いて、図15~図21を参照して、スペース間の情報転送について説明する。
 ・個人から特定の個人への情報転送
 図15は、本実施形態に係るスペース間の情報転送について説明するための図である。図15に示す例では、ユーザAAA~CCCの各々のパーソナルスペース40A~40Cが定義されている。そして、パーソナルスペース40Aに表示された情報が、パーソナルスペース40Cに転送され、表示される。これにより、ユーザAAAからユーザCCCへの、個人から特定の個人への情報転送が実現される。
 ・個人から全員への情報転送
 図16は、本実施形態に係るスペース間の情報転送について説明するための図である。図16に示す例では、ユーザAAA~CCCの各々のパーソナルスペース40A~40C、及びパブリックスペース42が定義されている。そして、パーソナルスペース40Aに表示された情報が、パブリックスペース42に転送され、表示される。これにより、ユーザAAAからユーザAAA~CCCへの、個人から全員への情報転送が実現される。
 ・個人から特定多数への情報転送
 図17は、本実施形態に係るスペース間の情報転送について説明するための図である。図17に示す例では、ユーザAAA~DDDの各々のパーソナルスペース40A~40Dが定義されている。そして、パーソナルスペース40Aに表示された情報が、パーソナルスペース40B及び40Cに転送され、表示される。これにより、ユーザAAAからユーザBBB及びCCCへの、個人から特定多数への情報転送が実現される。
 図18は、本実施形態に係るスペース間の情報転送について説明するための図である。図18に示す例では、ユーザAAA及びBBBのセミパブリックスペース41、並びにユーザCCC及びDDDの各々のパーソナルスペース40C及び40Dが定義されている。そして、パーソナルスペース40Cに表示された情報が、セミパブリックスペース41に転送され、表示される。これにより、ユーザCCCからユーザAAA及びBBBへの、個人から特定多数への情報転送が実現される。
 ・全員から個人への情報転送
 図19は、本実施形態に係るスペース間の情報転送について説明するための図である。図19に示す例では、ユーザAAA~CCCの各々のパーソナルスペース40A~40C、及びパブリックスペース42が定義されている。そして、パブリックスペース42に表示された情報が、パーソナルスペース40Aに転送され、表示される。これにより、ユーザAAA~ユーザCCCからユーザAAAへの、全員から個人への情報転送が実現される。
 ・全員から特定多数への情報転送
 図20は、本実施形態に係るスペース間の情報転送について説明するための図である。図20に示す例では、ユーザAAA~CCCの各々のパーソナルスペース40A~40C、及びパブリックスペース42が定義されている。そして、パブリックスペース42に表示された情報が、パーソナルスペース40A及び40Cに転送され、表示される。これにより、ユーザAAA~ユーザCCCからユーザAAA及びユーザCCCへの、全員から特定多数への情報転送が実現される。
 図21は、本実施形態に係るスペース間の情報転送について説明するための図である。図21に示す例では、ユーザAAA及びBBBのセミパブリックスペース41、並びにユーザCCCのパーソナルスペース40が定義されている。そして、パブリックスペース42に表示された情報が、セミパブリックスペース41に転送され、表示される。これにより、ユーザAAA~ユーザCCCからユーザAAA及びユーザBBBへの、全員から特定多数への情報転送が実現される。
 (6)スペース間の情報転送のためのユーザ入力
 情報処理システム100は、所定のユーザ入力(以下、転送指示とも称する)に基づいて、スペースにおいて表示される情報(即ち、表示オブジェクト)を他のスペースに転送し、表示する。詳しくは、出力制御部150は、第1のユーザによる転送指示の入力に応じて、第1のユーザに関連付けられたスペース又は第2のユーザに関連付けられたスペースの、いずれか一方に表示された表示オブジェクトを他方に表示する出力制御を行う。つまり、情報処理システム100は、第1のユーザによる転送指示の入力に応じて、第1のユーザに関連付けられたスペースに表示された表示オブジェクトを、第2のユーザに関連付けらえたスペースに転送し、表示してもよい。また、情報処理システム100は、第1のユーザによる転送指示の入力に応じて、第2のユーザに関連付けられたスペースに表示された表示オブジェクトを、第1のユーザに関連付けらえたスペースに転送し、表示してもよい。
 なお、転送するとは、表示オブジェクトの移動を示していてもよいし、コピーを示していてもよい。前者の場合、転送元のスペースには表示オブジェクトが残らない。後者の場合、転送元のスペースにも表示オブジェクトが残る。ただし、競合を避けるため、操作入力を受け付け可能な表示オブジェクトに関しては、移動されることが望ましい。即ち、表示オブジェクトの内容に応じて、移動又はコピーが振り分けられる。
 管理部130は、空間情報とユーザ情報とに基づいて転送指示を認識する。
 転送指示は、転送対象の指定を含む。例えば、転送対象を指定する指示は、転送対象とする表示オブジェクトをタップ又はダブルタップ等する操作であってもよい。
 転送指示は、転送先の他のユーザの指定含む。例えば、転送先の他のユーザを指定する指示は、フリック操作、指さし動作、転送先の他のユーザに視線を向けながらタップ等の転送方向を指定する操作であってもよい。また、転送先の他のユーザを指定する指示は、転送先の他のユーザの名前を操作用インタフェースに入力すること、又はアイコン化されて表示された転送先の他のユーザへドラッグ&ドロップすることであってもよい。また、転送先の他のユーザを指定する指示は、転送先の他のユーザを示す特定の文言(例えば、名前等の固有名詞)及び転送指示を示す特定の文言(例えば、「転送」等)を発話することであってもよい。
 情報処理システム100は、転送指示に基づき、転送対象として指定された表示オブジェクトを、転送先として指定されたユーザに関連付けられたスペースにおいて表示する。詳しくは、管理部130は、転送元のスペースに表示された表示オブジェクトを、転送先のスペースに関連付ける。そして、出力制御部150は、管理部130によるスペース情報の変更を表示制御にも反映する。例えば図4及び上記表1~表3に示した例に関し、スペースS1に表示されていたコンテンツC1を、スペースS2に転送するよう指定する転送指示が入力されたものとする。この場合、管理部130は、コンテンツC1を、転送元のスペースS1と共に転送先のスペースS2に関連付ける。すると、出力制御部150は、コンテンツC1を、スペースS1と共にスペースS2において表示する。ここで注意すべきは、出力制御部150は、転送元と転送先の複数のスペースに表示する同一の表示オブジェクトを、同一のメモリを参照して表示することである。即ち、出力制御部150は、記憶部140に記憶された同一のコンテンツC1を、転送元のスペースS1と転送先のスペースS2とに表示する。これにより、転送元のスペースS1と転送先のスペースS2とで、同一の内容が表示されることが保証される。以下では、これらの一連の処理を、転送する、又は転送して表示する、等と表現する。
 転送先にスペースが存在しない場合、情報処理システム100は、新たにスペースを作成して、表示オブジェクトを表示する。ここでは、第1のユーザが転送元のユーザであり、第2のユーザが転送先として指定されたユーザであるものとして説明する。詳しくは、管理部130は、第1のユーザの入力に応じて、第2のユーザに関連付けられるスペースを生成する。そして、管理部130は、第1のユーザに関連付けられたスペースに表示された表示オブジェクトのうち、転送対象として指定された表示オブジェクトを、第2のユーザに関連付けられる、新たに生成されたスペースに関連付ける。その結果、出力制御部150は、第1のユーザに関連付けられたスペースに表示された表示オブジェクトを、第1のユーザの入力に応じて生成された第2のユーザに関連付けられるスペースに表示する。これにより、第1のユーザにより指定された転送対象の表示オブジェクトが、第2のユーザの新たに生成されたスペースに表示されて、情報転送が実現される。
 転送先として指定されたユーザに関連付けられたスペースが存在する場合、情報処理システム100は、既存のスペースに表示オブジェクトを表示する。ここでは、第1のユーザが転送元のユーザであり、第2のユーザが転送先として指定されたユーザであるものとして説明する。詳しくは、管理部130は、第1のユーザに関連付けられたスペースに表示された表示オブジェクトのうち、転送対象として指定された表示オブジェクトを、第2のユーザに関連付けられた既存のスペースに関連付ける。その結果、出力制御部150は、第1のユーザに関連付けられたスペースに表示された表示オブジェクトを、第1のユーザの入力が示す第2のユーザに関連付けられた既存の表示領域に表示する。これにより、第1のユーザにより指定された転送対象の表示オブジェクトが、第2のユーザのスペースに表示されて、情報転送が実現される。
 転送指示は、転送先の他のユーザの指定と共に、又は代えて、転送先のスペースの指定、又は転送先の場所の指定の少なくともいずれかを含んでいてもよい。この場合の転送指示の具体的な内容、及び転送指示に基づく情報処理システム100の処理に関しては、転送指示が転送先の他のユーザの指定を含む場合と同様である。
 例えば、転送先のスペース又は場所を指定する指示は、フリック操作、指さし動作、転送先の方向に視線を向けながらタップ等の転送方向を指定する操作であってもよい。また、転送先のスペース又は場所を指定する指示は、転送先のスペースの識別情報又は転送先の場所の名前(キッチン等)を操作用インタフェースに入力すること、又はアイコン化されて表示された転送先のスペース又は場所へドラッグ&ドロップすることであってもよい。また、転送先のスペース又は場所を指定する指示は、転送先のスペース又は場所を示す特定の文言(例えば、「1番大きいスペース」、又は「キッチン」等)及び転送指示を示す特定の文言(例えば、「転送」等)を発話することであってもよい。
 以下、スペースの属性ごとの具体的な情報転送の例を説明する。
 ・パーソナルスペースからパーソナルスペースへ
 例えば、第1のユーザが第2のユーザの方向に向けてフリック操作を行うと、情報処理システム100は、かかる操作を、転送先の他のユーザの指定を含む転送指示として認識する。そして、情報処理システム100は、認識した転送指示に基づき、第1のユーザのパーソナルスペースに表示された表示オブジェクトを、第2のユーザのパーソナルスペースに転送し、表示する。
 ・パーソナルスペースからパブリックスペースへ
 例えば、第1のユーザがパブリックスペースに向けてフリック操作を行うと、情報処理システム100は、かかる操作を、転送先のスペースの指定を含む転送指示として認識する。そして、情報処理システム100は、認識した転送指示に基づき、第1のユーザのパーソナルスペースに表示された表示オブジェクトを、パブリックスペースに転送し、表示する。
 例えば、第1のユーザが、同一の物理空間にいる全員の視界に入る面にフリック操作を行うと、情報処理システム100は、かかる操作を、転送先の場所及びスペース(詳しくは、属性)の指定を含む転送指示として認識する。そして、情報処理システム100は、認識した転送指示に基づき、指定された場所に新たなパブリックスペースを生成し、第1のユーザのパーソナルスペースに表示された表示オブジェクトを、当該新たなパブリックスペースに転送し、表示する。
 ・パブリックスペースからパーソナルスペースへ
 例えば、第1のユーザが、パブリックスペースに表示された表示オブジェクトに向けて手を伸ばし、掴んで手繰り寄せるジェスチャを行ったものとする。この場合、情報処理システム100は、かかる操作を、手を伸ばした先にある表示オブジェクトを転送対象の表示オブジェクトとして指定し、手繰り寄せた先の第1のユーザ自身を転送先のユーザとして指定する、転送指示として認識する。そして、情報処理システム100は、認識した転送指示に基づき、手を伸ばした先にある表示オブジェクトを、第1のユーザのパーソナルスペースに転送し、表示する。
 なお、パブリックスペースからパーソナルスペースへの転送指示は、上記のジェスチャに限定されない。例えば、パブリックスペースからパーソナルスペースへの転送指示は、ユーザがパブリックスペースを見ながら自分のパーソナルスペースをタップすることであってもよい。また、パブリックスペースからパーソナルスペースへの転送指示は、転送対象の表示オブジェクトを指で指し、パーソナルスペースへの転送指示を示す特定の文言(例えば、「それ頂戴」等)を発話することであってもよい。また、パブリックスペースからパーソナルスペースへの転送指示は、転送先の場所を示す特定の文言(例えば、「リビング」等)、及び転送指示を示す特定の文言(例えば、「パーソナルスペースへ」等)を発話することであってもよい。
 ・パーソナルスペースから他の複数のパーソナルスペースへ
 表示オブジェクトは、パーソナルスペースから他の複数のパーソナルスペースに転送(即ち、ブロードキャスト)されてもよい。例えば、ユーザは、事前に複数のユーザをグループとして登録しておく。グループ登録は、SNS(SNS(Social Network)と連携して行われてもよいし、設定画面への入力により行われてもよい。ユーザが、グループを転送先として指定する転送指示を入力すると、当該グループに含まれる全ユーザへ表示オブジェクトが転送され、各々のパーソナルスペースに表示される。
 なお、ブロードキャストを指定する転送指示は、例えば、ブロードキャスト対象の表示オブジェクトに対し、ユーザが自身の方向(ユーザから見て手前)にフリック操作すること、又は手のひらで叩くことであってもよい。また、ブロードキャストを指定する転送指示は、例えば、ブロードキャストを示す特定の文言(例えば、「皆に送信」)を発話し、ブロードキャスト対象の表示オブジェクトをタップすること等であってもよい。
 (7)転送可能なスペースの示唆
 転送指示は、スペースに表示された表示オブジェクトのうち転送対象の表示オブジェクトを指定する第1の操作と、転送先の他のユーザ、スペース又は場所を指定する第2の操作との2段階の入力であり得る。2段階の入力としては、例えばフリック操作が挙げられる。この場合、出力制御部150は、第1の操作が認識された段階で、転送可能なスペースを示唆する情報を表示する。これにより、ユーザは、転送先のスペースを容易に選択することが可能となる。この場合のUIについて、図22~図24を参照して説明する。
 図22は、本実施形態に係る転送可能なスペースの表示について説明するための図である。図22に示す例では、ユーザAAAがテーブルの奥側に座っており、テーブルの天面にパーソナルスペース40が表示されている。ユーザAAAは、パーソナルスペースに表示された表示オブジェクトをタッチ(第1の操作に相当)し、パブリックスペース42A又は42Bを転送先のスペースとして指定する第2の操作を行おうとしている。
 第1の操作が行われた時点で、出力制御部150は、パブリックスペース42A及び42Bに、転送可能なスペースであることを示す情報を表示してもよい。これにより、ユーザは、転送可能なスペースを容易に視認することができる。転送可能なスペースであることを示す情報について、図23を参照して具体的に説明する。
 図23は、図22に示したパブリックスペース42(42A及び42B)に表示され得る、転送可能なスペースであることを示す情報の一例を示す図である。転送可能なスペースであることを示す情報44Aは、パブリックスペース42の枠を光らせる視覚表現である。転送可能なスペースであることを示す情報44Bは、パブリックスペース42の全体を光らせる視覚表現である。転送可能なスペースであることを示す情報44Cは、パブリックスペース42の中心を光らせる視覚表現である。転送可能なスペースであることを示す情報44Dは、パブリックスペース42にコルクボード等の直観的な画像を重畳する視覚表現である。転送可能なスペースであることを示す情報44Eは、パブリックスペース42の中心に渦を重畳し、情報を吸い込む様子を表現する視覚表現である。転送可能なスペースであることを示す情報44Fは、パブリックスペース42に情報が格納可能なマス目を重畳する視覚表現である。
 第1の操作が行われた時点で、出力制御部150は、パーソナルスペース40に、転送可能なスペースの方向を示す情報を表示してもよい。これにより、ユーザは、転送可能なスペースがあること、及びその方向を容易に認識することができる。また、転送可能なスペースの方向にフリック等すれば、当該スペースに情報が転送される。即ち、転送可能なスペースの方向を示す情報の表示により、ユーザは、転送指示の方法を容易に認識することができる。転送可能なスペースの方向を示す情報について、図24を参照して具体的に説明する。
 図24は、図22に示したパーソナルスペース40に表示され得る、転送可能なスペースの方向を示す情報の一例を示す図である。図24に示した例では、ユーザAAAがパーソナルスペース40に表示された表示オブジェクト50をタッチした場合に表示され得る、転送可能なスペースの方向を示す情報の一例が示されている。転送可能なスペースの方向を示す情報45Aは、表示オブジェクト50からパブリックスペース42A又は42Bへの方向を破線で示す視覚表現である。転送可能なスペースの方向を示す情報45Bは、表示オブジェクト50からパブリックスペース42A又は42Bへの方向を破線付きの矢印で示す視覚表現である。転送可能なスペースの方向を示す情報45Cは、表示オブジェクト50からパブリックスペース42A又は42Bへの方向を山括弧の山方向として示す視覚表現である。転送可能なスペースの方向を示す情報45Dは、表示オブジェクト50からパブリックスペース42A又は42Bへの方向を、当該方向に収束するパーティクルの群として示す視覚表現である。転送可能なスペースの方向を示す情報45Eは、表示オブジェクト50からパブリックスペース42A又は42Bへの方向へ表示オブジェクト50自身が飛んでいく様子を示す視覚表現である。転送可能なスペースの方向を示す情報45Fは、パブリックスペース42A又は42Bの方向から波紋が広がっている様子を示す視覚表現である。転送可能なスペースの方向を示す情報45Gは、パブリックスペース42A又は42Bの方向に穴が空いている様子を示す視覚表現である。
 (8)スペースの属性に応じた表示制御
 出力制御部150は、スペースの属性に応じて、スペースにおける表示オブジェクトの表示を制御する。
 ・表示制限
 出力制御部150は、スペースの属性、及び表示オブジェクトの内容又は制限設定に基づいて、表示オブジェクトの一部を隠蔽して表示してもよい。
 例えば、表示オブジェクトに、特定のユーザ以外には表示を禁止する、セキュリティ設定が設定されている場合がある。この場合、情報処理システム100は、かかるセキュリティ設定に応じて、表示オブジェクトがパブリックスペース又はセミパブリックスペースに表示される際に一部又は全部を隠蔽したり、操作制限を掛けたりする。具体的には、情報処理システム100は、パブリックスペースにおいては、パスワード等の個人情報を伏せ字にしてもよい。また、パブリックスペースにおいて表示しているアプリケーションにおいてパスワード入力が必要になった場合が想定される。その場合、情報処理システム100は、当該アプリケーションをパーソナルスペースのみに表示してもよいし、パスワード入力用のオンスクリーンキーボードを別途パーソナルスペースに表示してもよい。
 例えば、表示オブジェクトに、特定の年齢以下のユーザには表示を禁止する、ペアレントコントロール設定が設定されている場合がある。この場合、情報処理システム100は、かかるペアレントコントロール設定に応じて、表示オブジェクトが表示される際に一部又は全部を隠蔽したり、操作制限を掛けたりする。具体的には、情報処理システム100は、ユーザが特定の年齢以下であることを認識した場合、スペースの属性に関わらず、表示オブジェクトを表示しなくてもよい。また、情報処理システム100は、ユーザが特定の年齢以下であることを認識した場合、パブリックスペースには表示オブジェクトを表示しても、当該ユーザのパーソナルスペースには表示オブジェクトを表示しなくてもよい。
 ・パブリックスペースを利用したコミュニケーション
 情報処理システム100は、所定のユーザ入力(以下、ミラーリング指示とも称する)に基づいて、パーソナルスペースにおける表示をパブリックスペースにミラーリングしてもよい。管理部130は、空間情報とユーザ情報とに基づいてミラーリング指示を認識する。
 ミラーリング指示は、ミラーリング先のパブリックスペースの指定を含む。例えば、ミラーリング指示は、設定画面への入力、又はミラーリング指示を示す特定の文言(例えば、「ミラーリング」など)の発話であってもよい。また、ミラーリング指示は、1本の指でパーソナルスペースを押さえながらもう1本の指でパブリックスペースの方向に向けてフリック操作することであってもよい。
 情報処理システム100は、ミラーリング指示を認識すると、ユーザのパーソナルスペースにおいて表示されている表示オブジェクトを、パブリックスペースに同時に表示させる。これにより、ユーザは、手元の情報及び操作を、全員と共有することができる。また、情報処理システム100は、パーソナルスペースでおこなっているユーザの操作の様子を撮像して、撮像画像に含まれる操作の様子をパブリックスペースに重畳して表示してもよい。このUIについて、図25を参照して説明する。
 図25は、本実施形態に係るミラーリング時におけるUIの一例を説明するための図である。図25に示す例では、ユーザAAAのパーソナルスペース40に表示オブジェクト50が表示されており、かかる表示オブジェクト50がパブリックスペース42にミラーリングされている。そして、ユーザAAAがパーソナルスペース40において表示オブジェクト50を操作する際の手の様子が、パブリックスペース42にも重畳して表示されている。このような操作の様子も含むミラーリングにより、ユーザAAAは、手元の情報だけでなく操作の様子も、ユーザBBB及びユーザCCCを含む全員と共有することができる。
 なお、上記ではパーソナルスペースからパブリックスペースへのミラーリングに関して説明したが、本技術はかかる例に限定されない。例えば、パブリックスペースからパーソナルスペースにミラーリングされてもよい。また、セミパブリックスペースに関してミラーリングが行われてもよい。
 ・スペースの属性に応じた表示オブジェクトの変換
 情報処理システム100は、スペースの属性に応じて、表示オブジェクトの内容を変換して表示してもよい。
 情報処理システム100は、同一のコンテンツでも、パーソナルスペースでは文字のみを表示し、パブリックスペースでは映像を表示してもよい。また、情報処理システム100は、同一のコンテンツでも、パーソナルスペースに表示される場合よりもパブリックスペースに表示される場合の方がフォントサイズを大きくしてもよい。また、情報処理システム100は、パーソナルスペースではコンテンツリストからの選択用のUIを表示し、パーソナルスペースにおいて選択されたコンテンツをパブリックスペースにおいて表示してもよい。
 また、情報処理システム100は、転送された表示オブジェクトを、転送先のスペースに関連付けられたユーザの属性情報に応じて変換してもよい。例えば、転送先のスペースに関連付けられたユーザが子供である場合、情報処理システム100は、転送された表示オブジェクトの内容を簡易にして表示する。例えば、転送先のスペースに関連付けられたユーザが外国人である場合、情報処理システム100は、転送された表示オブジェクトのテキストを翻訳して表示する。
 (8)取り消し指示
 情報処理システム100は、所定のユーザ入力(以下、取り消し指示とも称する)に基づいて、各種ユーザ入力に基づき実行された出力制御の効果の取り消し、元に戻してもよい。例えば、管理部130は、生成指示に基づいて生成したスペースを削除し、結合指示に基づいて結合したスペースを分割し、分割指示に基づいて分割したスペースを結合し、転送指示に基づいて転送した表示オブジェクトを転送元のスペースに戻す。これにより、ユーザの利便性が向上する。
 <<4.処理の流れ>>
 続いて、図26~図29を参照して、情報処理システム100の処理の流れを説明する。
 (1)全体的な処理の流れ
 まず、図26を参照して全体的な処理の流れの一例を説明する。図26は、本実施形態に係る情報処理システム100により実行される表示制御処理の流れの一例を示すフローチャートである。
 図26に示すように、まず、取得部120は、空間情報及びユーザ情報を取得する(ステップS102)。詳しくは、空間情報取得部121は、入力部110により入力された入力情報に基づいて、空間情報を取得する。また、ユーザ情報取得部122は、入力部110により入力された入力情報に基づいて、物理空間内の全ユーザのユーザ情報を取得する。これらの情報は、記憶部140に記憶される。
 次いで、管理部130は、スペースを各種情報に関連付けて管理する(ステップS104)。詳しくは、管理部130は、生成指示、ユーザの移動、結合指示、分割指示、又は転送指示等の各種ユーザ入力に基づいて、各スペースの上記表1~表3に示したスペース情報を生成/更新/削除する。
 そして、出力制御部150は、各スペースに表示オブジェクトを表示する(ステップS160)。詳しくは、出力制御部150は、管理部130により管理されたスペース情報を参照して、スペースに関連付けられた表示オブジェクトを当該スペースに表示する。
 (2)スペース生成処理
 続いて、図27を参照して、スペース生成処理の流れの一例を説明する。図27は、本実施形態に係る情報処理システム100により実行されるスペース生成処理の流れの一例を示すフローチャートである。
 図27に示すように、まず、管理部130は、生成指示が入力されたか否かを判定する(ステップS202)。詳しくは、管理部130は、取得部120により取得された空間情報及びスペース情報に基づいて、ユーザにより生成指示が入力されたか否かを判定する。生成指示が入力されていないと判定された場合(ステップS202/NO)、処理は再度ステップS202に戻る。
 生成指示が入力されたと判定された場合(ステップS202/YES)、管理部130は、生成指示において場所の指定があるか否かを判定する(ステップS204)。場所の指定があると判定された場合(ステップS204/YES)、管理部130は、指定された場所をスペースの生成位置として設定する(ステップS206)。一方で、場所の指定がないと判定された場合(ステップS204/NO)、管理部130は、ユーザのいる位置の前面をスペースの生成位置として設定する(ステップS208)。
 次に、管理部130は、生成指示により指定されたスペースの属性を判定する(ステップS210)。属性としてパーソナルが指定された場合(ステップS210/パーソナル)、管理部130は、パーソナルスペースを生成する(ステップS212)。属性としてセミパブリックが指定された場合(ステップS210/セミパブリック)、管理部130は、セミパブリックスペースを生成する(ステップS214)。属性としてパブリックが指定された場合(ステップS210/パブリック)、管理部130は、パブリックスペースを生成する(ステップS216)。
 (3)スペース結合処理
 続いて図28を参照して、スペース結合処理の流れの一例を説明する。図28は、本実施形態に係る情報処理システム100により実行されるスペース結合処理の流れの一例を示すフローチャートである。
 図28に示すように、まず、管理部130は、複数のパーソナルスペースが所定距離以内に近づいたか否かを判定する(ステップS302)。所定距離以内に近づいていないと判定された場合(ステップS302/NO)、処理は再度ステップS302に戻る。
 所定距離以内に近づいたと判定された場合(ステップS302/YES)、所定距離以内に近づいた複数のパーソナルスペースの各々のユーザにより結合指示が入力されたか否かを判定する(ステップS304)。結合指示が入力されていないと判定された場合(ステップS304/NO)、処理は再度ステップS302に戻る。
 結合指示が入力されたと判定された場合(ステップS304/YES)、管理部130は、所定距離以内に近づき、且つ各々のユーザにより結合指示が入力された複数のパーソナルスペースを結合する(ステップS306)。
 次いで、管理部130は、物理空間に他のパーソナルスペースを所有する他のユーザがいるか否かを判定する(ステップS308)。
 物理空間に他のパーソナルスペースを所有する他のユーザがいると判定された場合(ステップS308/YES)、管理部130は、結合したスペースをセミパブリックスペースに変更する(ステップS310)。
 物理空間に他のパーソナルスペースを所有する他のユーザがいないと判定された場合(ステップS308/NO)、管理部130は、結合したスペースをパブリックスペースに変更する(ステップS312)。
 (4)情報転送処理
 続いて図29を参照して、情報転送処理の流れの一例を説明する。図29は、本実施形態に係る情報処理システム100により実行される情報転送処理の流れの一例を示すフローチャートである。
 図29に示すように、まず、管理部130は、ユーザにより転送指示が入力されたか否かを判定する(ステップS402)。転送指示が入力されていないと判定された場合(ステップS402/NO)、処理は再度ステップS402に戻る。
 転送指示が入力されたと判定された場合(ステップS402/YES)、管理部130は、転送先にスペースがあるか否かを判定する(ステップ404)。
 転送先にスペースがあると判定された場合(ステップS404/YES)、出力制御部150は、転送先の既存のスペースに転送対象の表示オブジェクトを表示する(ステップS406)。
 一方で、転送先にスペースがないと判定された場合(ステップS404/NO)、管理部130は、新たにスペースを生成する(ステップS408)。ここで、管理部130は、転送先が皆に見える場所であればパブリックスペースを生成し、ユーザの手元であればパーソナルスペースを生成する。そして、出力制御部150は、新たに生成したスペースに転送対象の表示オブジェクトを表示する(ステップS410)。
 <<5.適用例>>
 (1)第1のシナリオ
 まず、ユーザAAAは、雑誌で見つけたレストランの情報を転写したい領域として指定し、パブリックスペースを生成することを指示する生成指示を入力する。すると、情報処理システム100は、パブリックスペースを生成し、当該雑誌のレストランの情報が掲載された部分の撮像画像をパブリックスペースに表示する。
 次いで、ユーザBBBは、パブリックスペースに表示されたレストランの情報に興味を持ち、パブリックスペースに表示されたレストランの情報に向けて手を伸ばし、掴んで手繰り寄せるジェスチャを行う。すると、情報処理システム100は、ユーザBBBのパーソナルスペースにレストランの情報を転送し、表示する。
 次に、ユーザBBBは、パーソナルスペースで地図を開き、レストランの場所を確認する。
 その後、ユーザBBBは、レストランの地図情報を転送対象として指定し、パブリックスペースを転送先として指定する転送指示を入力する。すると、情報処理システム100は、レストランの地図情報をパブリックスペースに転送し、表示する。
 そして、ユーザBBBは、ミラーリング指示を出してパーソナルスペースにおいて地図上のレストランの場所に指をさす。すると、情報処理システム100は、ユーザBBBがパーソナルスペースにおいて地図上のレストランの場所に指をさしている様子を、パブリックスペースに表示された地図に重畳する。
 このようにして、ユーザAAA及びBBBは、レストランの情報及びレストランの場所を、直観的に且つ手軽に共有することができる。
 (2)第2のシナリオ
 まず、ユーザAAAは、パーソナルスペースに表示された映画コンテンツの一覧表の中から見たい映画を選択し、選択した映画コンテンツのアイコンをパブリックスペースにフリック操作する。すると、情報処理システム100は、映画コンテンツをパブリックスペースに転送し、再生開始する。
 このようにして、ユーザAAAは、映画コンテンツをパブリックスペースの広い画面で視聴することができる。
 (3)第3のシナリオ
 ユーザAAAが旅行から帰ってきたものとする。ユーザAAAは、旅行先でスマートフォンにより撮影した写真を転写したい情報として指定し、自身のパーソナルスペースを転送先として指定する、転送指示を入力する。すると、情報処理システム100は、スマートフォンから写真を取得して、ユーザAAAのパーソナルスペースに表示する。
 ユーザAAAは、パーソナルスペースに表示された写真から、共有したい写真を転送対象として選択し、パブリックスペースを転送先として指定する、転送指示を入力する。すると、情報処理システム100は、ユーザAAAにより選択された写真をパブリックスペースに転送し、表示する。これにより、ユーザAAAの家族は、パブリックスペースに表示された写真を閲覧することができる。
 パブリックスペースに表示された写真を閲覧していたユーザBBBは、気に入った写真に向けて手を伸ばし、掴んで手繰り寄せるジェスチャを行う。すると、情報処理システム100は、ユーザBBBのパーソナルスペースに、当該写真を転送し、表示する。また、ユーザBBBは、パーソナルスペースに表示された写真を、自身のスマートフォン等に送信して保存することもできる。
 このようにして、ユーザ間の情報交換が、直観的に且つ手軽な手法で実現される。
 (4)第4のシナリオ
 ユーザAAAは、パーソナルスペースにおいてレシピを検索しながら、その日の献立を考えているものとする。ユーザAAAは、その日作るレシピのリストを転送対象として指定し、キッチンのパブリックスペースを転送先として指定する転送指示を入力する。すると、情報処理システム100は、レシピのリストをキッチンのパブリックスペースに転送し、表示する。その後、ユーザAAAは、キッチンに移動し、レシピのリストを閲覧しながら料理を作る。
 このようにして、ユーザAAAは、レシピの検索、転送及び閲覧を、直観的且つ気軽に行うことができる。
 (5)第5のシナリオ
 料理を作っていたユーザAAAが、料理をできたことを示すメッセージを転送対象として指定し、転送先としてブロードキャストを指定する転送指示を入力する。すると、情報処理システム100は、ユーザAAAの家族全員のパーソナルスペースに、料理ができたことを示すメッセージを転送し、表示する。
 このようにして、ユーザAAAの家族は、料理ができたことを瞬時に知ることができる
 <<6.ハードウェア構成例>>
 最後に、図30を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図30は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図30に示す情報処理装置900は、例えば、図3に示した情報処理システム100を実現し得る。本実施形態に係る情報処理システム100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図30に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、電気回路、DSP若しくはASIC等の処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図3に示す取得部120、管理部130及び出力制御部150を形成し得る。
 CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
 他にも、入力装置906は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置906は、画像センサ(例えば、カメラ)、深度センサ(例えば、ステレオカメラ)、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置906は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得してもよい。また、入力装置906は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して装置の緯度、経度及び高度を含む位置情報を測定するGNSSモジュールを含んでもよい。また、位置情報に関しては、入力装置906は、Wi-Fi(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置906は、例えば、図3に示す入力部110を形成し得る。
 出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば、図3に示す出力部160を形成し得る。
 ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図3に示す記憶部140を形成し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
 通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図3に示す入力部110を形成し得る。本実施形態では、通信装置913は、物理空間内の実物体に付された、RFIDタグ等の無線方式の識別タグを読み取る。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 <<7.まとめ>>
 以上、図1~図30を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理システム100は、表示オブジェクトを表示可能な物理空間内のスペースを、物理空間内のユーザ及びユーザの物理空間内の位置情報に関連付けて管理する。そして、情報処理システム100は、第1のユーザによる入力に応じて、第1のユーザに関連付けられたスペース又は第2のユーザに関連付けられたスペースの、いずれか一方に表示された表示オブジェクトを他方に表示する出力制御を行う。ユーザは、ユーザごとに定義されたスペースに表示オブジェクトを表示させつつ、他のユーザとの間でスペースに表示された情報を共有することが可能である。このようにして、物理空間に表示される表示オブジェクトを介したより豊かなコミュニケーションが実現される。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図3に示した情報処理システム100は、単独の装置として実現されてもよし、複数の装置群として実現されてもよい。例えば、物理空間に設置された入力部110及び出力部160とネットワーク等を介して接続されるサーバ装置に、取得部120、管理部130、記憶部140及び出力制御部150が含まれてもよい。
 また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理する管理部と、
 第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行う出力制御部と、
を備える情報処理装置。
(2)
 前記管理部は、前記第1のユーザの入力に応じて前記第2のユーザに関連付けられる前記表示領域を生成し、
 前記出力制御部は、前記第1のユーザに関連付けられた前記表示領域に表示された前記表示オブジェクトを、前記第1のユーザの入力に応じて生成された前記第2のユーザに関連付けられる前記表示領域に表示する、前記(1)に記載の情報処理装置。
(3)
 前記出力制御部は、前記第1のユーザに関連付けられた前記表示領域に表示された前記表示オブジェクトを、前記第1のユーザの入力が示す前記第2のユーザに関連付けられた既存の前記表示領域に表示する、前記(1)に記載の情報処理装置。
(4)
 第1の表示領域が関連付けられた前記第1のユーザと第2の表示領域が関連付けられた前記第2のユーザとが第1の距離以内に近づいた場合、
 前記管理部は、前記第1の表示領域及び前記第2の表示領域を結合した、前記第1のユーザ及び前記第2のユーザに関連付けられた第3の表示領域を生成する、前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
 前記出力制御部は、前記第1の表示領域及び前記第2の表示領域の各々に表示されていた前記表示オブジェクトを、前記第3の表示領域に表示する、前記(4)に記載の情報処理装置。
(6)
 第4の表示領域に関連付付けられた前記第1のユーザと前記第2のユーザとが第2の距離以上に離れた場合、
 前記管理部は、前記第4の表示領域を分割した、前記第1のユーザに関連付けられ前記第2のユーザに関連付けられない第5の表示領域、及び前記第2のユーザに関連付けられ前記第1のユーザに関連付けられない第6の表示領域を生成する、前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
 前記出力制御部は、前記第4の表示領域に表示されていた前記表示オブジェクトを、前記第5の表示領域又は前記第6の表示領域の少なくともいずれかに表示する、前記(6)に記載の情報処理装置。
(8)
 前記管理部は、前記第1のユーザにより指定された場所に、前記表示領域を生成する、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記管理部は、前記第1のユーザにより指定された前記第2のユーザに関連付けられた前記表示領域を生成する、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(10)
 前記管理部は、前記表示領域の前記物理空間内の位置情報をさらに関連付けて前記表示領域を管理する、前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
 前記管理部は、前記表示領域の位置情報を、前記表示領域が関連付けられた前記ユーザに追随して変更する、前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
 前記表示領域は、第1~第3の属性のいずれかの属性を有し、
 第1の属性を有する前記表示領域は、1人のユーザに関連付けられ、
 第2の属性を有する前記表示領域は、前記物理空間内の複数のユーザのうち一部の複数のユーザに関連付けられ、
 第3の属性を有する前記表示領域は、前記物理空間内の複数のユーザの全員に関連付けられる、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
 前記出力制御部は、前記表示領域の属性、及び前記表示オブジェクトの内容又は制限設定に基づいて、前記表示オブジェクトの一部を隠蔽して表示する、前記(12)に記載の情報処理装置。
(14)
 前記管理部は、前記ユーザが前記ユーザに関連付けられた物体を動かした場合、前記物体を動かすことで露出した部分に前記第1の属性を有する前記表示領域を生成する、前記(12)又は(13)に記載の情報処理装置。
(15)
 前記出力制御部は、前記表示領域を示す情報を表示する、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
 前記出力制御部は、前記表示領域に表示された前記表示オブジェクトのうち転送対象の前記表示オブジェクトを指定する第1の操作が認識された段階で、転送可能な他の前記表示領域を示唆する情報を表示する、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
 前記出力制御部は、複数の前記表示領域に表示する同一の前記表示オブジェクトを、同一のメモリを参照して表示する、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
 前記出力制御部は、投影装置を制御して、前記物理空間内の表示領域に前記表示オブジェクトを投影させる、前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
 表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理することと、
 第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行うことと、
を含む、プロセッサにより実行される情報処理方法。
(20)
 コンピュータを、
 表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理する管理部と、
 第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行う出力制御部と、
として機能させるためのプログラム。
 40   パーソナルスペース
 41   セミパブリックスペース
 42   パブリックスペース
 100  情報処理システム
 110  入力部
 120  取得部
 121  空間情報取得部
 122  ユーザ情報取得部
 130  管理部
 140  記憶部
 150  出力制御部
 160  出力部

Claims (20)

  1.  表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理する管理部と、
     第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行う出力制御部と、
    を備える情報処理装置。
  2.  前記管理部は、前記第1のユーザの入力に応じて前記第2のユーザに関連付けられる前記表示領域を生成し、
     前記出力制御部は、前記第1のユーザに関連付けられた前記表示領域に表示された前記表示オブジェクトを、前記第1のユーザの入力に応じて生成された前記第2のユーザに関連付けられる前記表示領域に表示する、請求項1に記載の情報処理装置。
  3.  前記出力制御部は、前記第1のユーザに関連付けられた前記表示領域に表示された前記表示オブジェクトを、前記第1のユーザの入力が示す前記第2のユーザに関連付けられた既存の前記表示領域に表示する、請求項1に記載の情報処理装置。
  4.  第1の表示領域が関連付けられた前記第1のユーザと第2の表示領域が関連付けられた前記第2のユーザとが第1の距離以内に近づいた場合、
     前記管理部は、前記第1の表示領域及び前記第2の表示領域を結合した、前記第1のユーザ及び前記第2のユーザに関連付けられた第3の表示領域を生成する、請求項1に記載の情報処理装置。
  5.  前記出力制御部は、前記第1の表示領域及び前記第2の表示領域の各々に表示されていた前記表示オブジェクトを、前記第3の表示領域に表示する、請求項4に記載の情報処理装置。
  6.  第4の表示領域に関連付付けられた前記第1のユーザと前記第2のユーザとが第2の距離以上に離れた場合、
     前記管理部は、前記第4の表示領域を分割した、前記第1のユーザに関連付けられ前記第2のユーザに関連付けられない第5の表示領域、及び前記第2のユーザに関連付けられ前記第1のユーザに関連付けられない第6の表示領域を生成する、請求項1に記載の情報処理装置。
  7.  前記出力制御部は、前記第4の表示領域に表示されていた前記表示オブジェクトを、前記第5の表示領域又は前記第6の表示領域の少なくともいずれかに表示する、請求項6に記載の情報処理装置。
  8.  前記管理部は、前記第1のユーザにより指定された場所に、前記表示領域を生成する、請求項1に記載の情報処理装置。
  9.  前記管理部は、前記第1のユーザにより指定された前記第2のユーザに関連付けられた前記表示領域を生成する、請求項1に記載の情報処理装置。
  10.  前記管理部は、前記表示領域の前記物理空間内の位置情報をさらに関連付けて前記表示領域を管理する、請求項1に記載の情報処理装置。
  11.  前記管理部は、前記表示領域の位置情報を、前記表示領域が関連付けられた前記ユーザに追随して変更する、請求項1に記載の情報処理装置。
  12.  前記表示領域は、第1~第3の属性のいずれかの属性を有し、
     第1の属性を有する前記表示領域は、1人のユーザに関連付けられ、
     第2の属性を有する前記表示領域は、前記物理空間内の複数のユーザのうち一部の複数のユーザに関連付けられ、
     第3の属性を有する前記表示領域は、前記物理空間内の複数のユーザの全員に関連付けられる、請求項1に記載の情報処理装置。
  13.  前記出力制御部は、前記表示領域の属性、及び前記表示オブジェクトの内容又は制限設定に基づいて、前記表示オブジェクトの一部を隠蔽して表示する、請求項12に記載の情報処理装置。
  14.  前記管理部は、前記ユーザが前記ユーザに関連付けられた物体を動かした場合、前記物体を動かすことで露出した部分に前記第1の属性を有する前記表示領域を生成する、請求項12に記載の情報処理装置。
  15.  前記出力制御部は、前記表示領域を示す情報を表示する、請求項1に記載の情報処理装置。
  16.  前記出力制御部は、前記表示領域に表示された前記表示オブジェクトのうち転送対象の前記表示オブジェクトを指定する第1の操作が認識された段階で、転送可能な他の前記表示領域を示唆する情報を表示する、請求項1に記載の情報処理装置。
  17.  前記出力制御部は、複数の前記表示領域に表示する同一の前記表示オブジェクトを、同一のメモリを参照して表示する、請求項1に記載の情報処理装置。
  18.  前記出力制御部は、投影装置を制御して、前記物理空間内の表示領域に前記表示オブジェクトを投影させる、請求項1に記載の情報処理装置。
  19.  表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理することと、
     第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行うことと、
    を含む、プロセッサにより実行される情報処理方法。
  20.  コンピュータを、
     表示オブジェクトを表示可能な物理空間内の表示領域を、前記物理空間内のユーザ及び前記ユーザの前記物理空間内の位置情報に関連付けて管理する管理部と、
     第1のユーザによる入力に応じて、前記第1のユーザに関連付けられた表示領域又は第2のユーザに関連付けられた表示領域の、いずれか一方に表示された前記表示オブジェクトを他方に表示する出力制御を行う出力制御部と、
    として機能させるためのプログラム。
PCT/JP2018/021832 2017-08-31 2018-06-07 情報処理装置、情報処理方法及びプログラム WO2019044100A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017167137 2017-08-31
JP2017-167137 2017-08-31

Publications (1)

Publication Number Publication Date
WO2019044100A1 true WO2019044100A1 (ja) 2019-03-07

Family

ID=65525311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021832 WO2019044100A1 (ja) 2017-08-31 2018-06-07 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2019044100A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021179972A (ja) * 2020-05-29 2021-11-18 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ミラーリングするための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090106667A1 (en) * 2007-10-19 2009-04-23 International Business Machines Corporation Dividing a surface of a surface-based computing device into private, user-specific areas
JP2009545050A (ja) * 2006-07-28 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ショップウィンドーに沿って自動的に分布するプライベート用スクリーン
JP2013115644A (ja) * 2011-11-29 2013-06-10 Canon Inc 表示装置及び表示方法
JP2013122553A (ja) * 2011-12-12 2013-06-20 Nikon Corp 表示システム、表示プログラムおよび表示方法
JP2013145451A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2013148656A (ja) * 2012-01-18 2013-08-01 Nikon Corp 表示システム、表示プログラムおよび表示方法
WO2015079778A1 (ja) * 2013-11-28 2015-06-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2015194341A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017021809A (ja) * 2016-08-02 2017-01-26 京セラドキュメントソリューションズ株式会社 タッチパネル装置及び画像形成装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545050A (ja) * 2006-07-28 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ショップウィンドーに沿って自動的に分布するプライベート用スクリーン
US20090106667A1 (en) * 2007-10-19 2009-04-23 International Business Machines Corporation Dividing a surface of a surface-based computing device into private, user-specific areas
JP2013115644A (ja) * 2011-11-29 2013-06-10 Canon Inc 表示装置及び表示方法
JP2013122553A (ja) * 2011-12-12 2013-06-20 Nikon Corp 表示システム、表示プログラムおよび表示方法
JP2013145451A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2013148656A (ja) * 2012-01-18 2013-08-01 Nikon Corp 表示システム、表示プログラムおよび表示方法
WO2015079778A1 (ja) * 2013-11-28 2015-06-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2015194341A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017021809A (ja) * 2016-08-02 2017-01-26 京セラドキュメントソリューションズ株式会社 タッチパネル装置及び画像形成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021179972A (ja) * 2020-05-29 2021-11-18 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ミラーリングするための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
JP7352589B2 (ja) 2020-05-29 2023-09-28 阿波▲羅▼智▲聯▼(北京)科技有限公司 ミラーリングするための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
KR101591579B1 (ko) 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US11107287B2 (en) Information processing apparatus and information processing method
US11373650B2 (en) Information processing device and information processing method
KR20160087268A (ko) 이동 단말기 및 이의 제어방법
KR102639605B1 (ko) 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
US20240094970A1 (en) Electronic system for producing a coordinated output using wireless localization of multiple portable electronic devices
EP3633497A1 (en) Information processing apparatus, information processing method, and program
US11768576B2 (en) Displaying representations of environments
KR20190035373A (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
WO2019044100A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020135272A1 (zh) 信息显示方法及终端设备
WO2019044104A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10545716B2 (en) Information processing device, information processing method, and program
WO2021078182A1 (zh) 一种播放方法以及播放系统
US11740773B2 (en) Information processing device and method
US20230297710A1 (en) Applications in a Multi-User Environment
US20230162450A1 (en) Connecting Spatially Distinct Settings
JP7400810B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2024057650A1 (ja) 電子機器
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023134045A (ja) 通信装置、通信システム、表示方法、及びプログラム
JP2024029642A (ja) 情報処理装置、表示方法、プログラム
JP2024008632A (ja) 情報処理システム、表示方法、プログラム、記録情報作成システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18851506

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18851506

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP