WO2018092545A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018092545A1
WO2018092545A1 PCT/JP2017/038859 JP2017038859W WO2018092545A1 WO 2018092545 A1 WO2018092545 A1 WO 2018092545A1 JP 2017038859 W JP2017038859 W JP 2017038859W WO 2018092545 A1 WO2018092545 A1 WO 2018092545A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
content
information processing
user
viewing
Prior art date
Application number
PCT/JP2017/038859
Other languages
English (en)
French (fr)
Inventor
佐藤　直之
浩丈 市川
誠司 鈴木
真人 島川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/343,547 priority Critical patent/US11212515B2/en
Publication of WO2018092545A1 publication Critical patent/WO2018092545A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 describes a technique for generating an omnidirectional image based on images taken by a plurality of cameras arranged so that their fields of view partially overlap each other.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of appropriately limiting content viewing based on real space sensing results.
  • viewing of a part of content corresponding to a part of the real space among contents of a free viewpoint generated based on a sensing result of the real space is restricted based on a predetermined condition.
  • An information processing apparatus including a viewing restriction unit is provided.
  • An information processing method includes a processor restriction.
  • the computer is allowed to view a part of content corresponding to a part of the real space among the content of the free viewpoint generated based on the sensing result of the real space under a predetermined condition.
  • a program for functioning as a viewing restriction unit that restricts based on the program is provided.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of configurations having substantially the same functional configuration are distinguished as the server 10a and the server 10b as necessary.
  • the same reference numerals are given.
  • the server 10a and the server 10b they are simply referred to as the server 10.
  • FIG. 1 is an explanatory diagram showing a configuration example of an information processing system according to the first embodiment.
  • the information processing system according to the first embodiment includes a server 10, a plurality of sensor units 20, a first display unit 22, a second display unit 24, and a communication network 26.
  • a plurality of sensor units 20 are arranged in a predetermined real space, and substantially the entire three-dimensional of the predetermined real space is formed by the plurality of sensor units 20.
  • the predetermined real space may be, for example, a room 2, a hallway, or the like in a predetermined building such as a house, a store, an office building, or a leisure facility.
  • the predetermined real space is the room 2 in the predetermined building.
  • a plurality of objects 30 such as a bed 30a, a sofa 30b, or a table 30c are arranged in the room 2.
  • a user 6 who has management authority for the room 2 such as a resident of the room 2 (hereinafter may be referred to as the authority 6) may be located.
  • the sensor unit 20 measures the distance to an object located in front of the sensor unit 20.
  • the sensor unit 20 may include a depth sensor, a stereo camera, or a range finder.
  • the sensor unit 20 further includes, for example, an image sensor (RGB camera), and can capture an image in front of the sensor unit 20.
  • an image sensor RGB camera
  • the sensing data acquired by the plurality of sensor units 20 arranged in the room 2 can be accurately synthesized by calibration, frame synchronization processing, or the like.
  • the server 10 is an example of an information processing device according to the present disclosure.
  • the server 10 acquires sensing data from the plurality of sensor units 20 via a communication network 26 described later, and generates free viewpoint content related to the room 2 based on the acquired sensing data.
  • the server 10 transmits the generated free viewpoint content to the first display unit 22, which will be described later, located outside the room 2 (such as a remote place) via the communication network 26, and the first Can be displayed on the display unit 22.
  • the content of the free viewpoint is an image from a free viewpoint position obtained from data obtained by sensing real space from a plurality of viewpoints (sensor units 20) (arranged at a plurality of points) (for example, the relevant viewpoint). It may be data for presenting an image of a real space.
  • a three-dimensional virtual space can be constructed by integrating data obtained by simultaneously sensing real space from a plurality of viewpoints.
  • the free viewpoint content may be data presenting a video from a free viewpoint in the three-dimensional virtual space.
  • the content of the free viewpoint can be data presenting an image of the virtual space from the viewpoint when the viewpoint is virtually moved freely in the three-dimensional virtual space.
  • a free viewpoint content is displayed on an HMD (Head Mounted Display) worn by the user, and an operation for moving the viewpoint (for example, an operation on a predetermined input device or a voice command) is performed by the user. Is performed, the video from the viewpoint after movement based on the operation can be displayed on the HMD. As described above, the user may be able to view the content by freely moving the viewpoint.
  • HMD Head Mounted Display
  • an operation for moving the viewpoint for example, an operation on a predetermined input device or a voice command
  • the video from the viewpoint after movement based on the operation can be displayed on the HMD.
  • the user may be able to view the content by freely moving the viewpoint.
  • the free viewpoint content may include three-dimensional information and color information indicating each object in the real space to be sensed.
  • the content of the free viewpoint includes three-dimensional information indicating the position of each point of the virtual object corresponding to each object in the three-dimensional virtual space and color information of each point.
  • the free viewpoint content may further include sound information such as sound collected by the plurality of sensor units 20.
  • the first display unit 22 displays video such as free viewpoint content transmitted from the server 10, for example.
  • the first display unit 22 may be, for example, a non-transmissive HMD.
  • the user 4 located outside the room 2 can view the content of the free viewpoint transmitted from the server 10 via the first display unit 22 by wearing the first display unit 22. it can. Thereby, the user 4 can experience as if actually located inside the room 2.
  • the 1st display part 22 is not limited to the example which is non-transmissive HMD.
  • the first display unit 22 may be, for example, a transmission type eyeglass device such as a transmission type HMD or AR (Augmented Reality) glass, a television receiver, or a 3D television receiver.
  • the first display unit 22 is a 3D projector, and an image may be projected onto, for example, a wall or a screen by the 3D projector. In the following, description will be made centering on an example in which the first display unit 22 is a non-transmissive HMD.
  • the second display unit 24 may be a display device located in the room 2.
  • the second display unit 24 can be a projector or a 3D projector.
  • the second display unit 24 can project an image in the room 2 (for example, a wall or a screen) as shown in FIG.
  • the 2nd display part 24 is spectacles type devices, such as HMD and AR glass, for example, and can be equipped with the authorized person 6.
  • the communication network 26 is a wired or wireless transmission path for information transmitted from a device connected to the communication network 26.
  • the communication network 26 may include a public line network such as a telephone line network, the Internet, a satellite communication network, various local area networks (LANs) including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • LANs local area networks
  • WAN wide area network
  • the communication network 26 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the server 10 has been created by focusing on the above circumstances.
  • the server 10 performs predetermined viewing of a part of content corresponding to a part of the space of the room 2 among the contents of the free viewpoint generated based on the sensing result of the room 2. It is possible to limit based on conditions. Accordingly, it is possible to appropriately protect the privacy of the authorized person 6 while enabling the user 4 to view the content.
  • FIG. 2 is a functional block diagram illustrating a configuration example of the server 10 according to the first embodiment.
  • the server 10 includes a control unit 100, a communication unit 120, and a storage unit 122.
  • Control unit 100 The control unit 100 comprehensively controls the operation of the server 10 using hardware such as a CPU (Central Processing Unit) 150 and a RAM (Random Access Memory) 154 which are built in the server 10 to be described later. 2, the control unit 100 includes a detection result acquisition unit 102, a content generation unit 104, a restriction target setting unit 106, a viewing restriction unit 108, a display control unit 110, and a monitoring state determination unit 112. .
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • the detection result acquisition unit 102 acquires the sensing results sensed by the plurality of sensor units 20. For example, the detection result acquisition unit 102 uses distance information to an object located in front of the sensor unit 20 detected by the individual sensor unit 20 (depth sensor or the like) or an individual sensor unit 20 (image sensor or the like). A captured image is acquired by performing reception processing or reading processing as sensor data.
  • the content generation unit 104 generates free viewpoint content based on the sensing data acquired by the plurality of sensor units 20 acquired by the detection result acquisition unit 102. For example, the content generation unit 104 first acquires substantially the entire three-dimensional space information of the room 2 based on the distance information to each object located in front of the individual sensor units 20 acquired by the detection result acquisition unit 102. As a point cloud. Then, the content generation unit 104 generates free viewpoint content related to the room 2 based on the generated point cloud.
  • each object in the room 2 can be specified based on the result of image recognition of one or more two-dimensional images photographed by the plurality of sensor units 20. Then, the content generation unit 104 can generate the content of the free viewpoint by specifying the three-dimensional information of each object based on the one or more two-dimensional images and the generated point cloud data. .
  • Restriction target setting unit 106 sets a restriction target object from among a plurality of objects located in the room 2, and sets a restriction target space inside the room 2.
  • the viewing restriction unit 108 restricts the viewing of the user 4 by the viewing restriction unit 108 in the portion corresponding to the set restriction target object and the restriction target space. Can be done. Note that the viewing of the user 4 can also be restricted for the portion of the content corresponding to each object located in the restricted space.
  • the restriction target setting unit 106 sets an object to be restricted and / or a space to be restricted based on an instruction from the authority 6 for the virtual object.
  • the restriction target setting unit 106 sets a restriction target object or a restriction target space based on a user input to a predetermined operation screen indicating the layout of the room 2.
  • the operation screen can display each of a plurality of objects located in the room 2 so that the user can select them. For example, when an object is selected by the user on the operation screen and whether or not the corresponding object is a restriction target is input, the restriction target setting unit 106 sets the corresponding object as a restriction target object, Or it sets to the object which is not a restriction object.
  • the operation screen can display the range inside the room 2 so that the user can specify it. For example, when a range is specified by the user on the operation screen and whether or not the corresponding range is a restriction target is input, the restriction target setting unit 106 restricts the space corresponding to the corresponding range. Set the target space or a space that is not restricted.
  • a display included in a predetermined terminal for example, a general-purpose PC (Personal Computer) or a tablet terminal
  • a display device for example, a liquid crystal display (LCD)
  • a display device for example, a liquid crystal display (LCD)
  • OLED Organic Light Emitting Diode
  • the operation screen may be displayed by the second display unit 24.
  • FIG. 3 is an explanatory diagram showing an example of the operation screen (operation screen 40).
  • the layout 400 of the room 2 is displayed on the operation screen 40.
  • FIG. 3 shows an example in which the layout 400 is a 3D video (such as a point cloud) configured from three-dimensional information of each object located in the room 2, but the present invention is not limited to such an example.
  • the layout 400 may be a floor plan of the room 2 or a 2D captured image showing the positional relationship between the individual objects in the room 2.
  • the operation screen 40 includes a restriction range setting button 410a, a non-restriction range setting button 410b, a restriction object setting button 410c, and a non-restriction object setting button 410d.
  • the restriction range setting button 410 a is a button for setting a restriction target space in the room 2.
  • the non-restricted range setting button 410b is a button for setting a non-restricted space in the room 2.
  • the restricted object setting button 410c is a button for setting an object to be restricted from among a plurality of objects arranged in the room 2, for example.
  • the non-restricted object setting button 410d is a button for setting an object that is not to be restricted from among a plurality of objects arranged in the room 2, for example.
  • FIG. 3 shows a state in which the limit range setting button 410a is selected. In this state and as shown in FIG. 3, when a range is designated in the layout 400 of the room 2 by, for example, a drag operation, the restriction target setting unit 106 displays a space (see FIG. 3) corresponding to the designated range 402. In the example shown in FIG. 3, the bed area) is newly set as a restriction target space.
  • the restriction target setting unit 106 restricts the selected object.
  • a new target object is set.
  • the display mode is changed, for example, the corresponding object or the corresponding space is grayed out on the operation screen (such as the layout 400). Also good. As a result, it is possible to specify the set restriction target object and the restriction target space.
  • a restricted object list may be arranged on the operation screen, and an object to be restricted may be newly set by an operation on the restricted object list. For example, when any of a plurality of objects displayed in the layout 400 is moved to the restriction object list by drag and drop, the restriction target setting unit 106 newly sets the corresponding object as a restriction target object. May be.
  • the restriction target setting unit 106 performs the restriction target object or restriction based on the user's operation using a predetermined UI (for example, a string UI) on the operation screen and voice recognition. It is also possible to set the target space. For example, when the range is specified by operating the string UI on the operation screen and a predetermined voice command (for example, “NG!” Or “OK!”) Is recognized, the restriction target setting unit 106 May newly set a space corresponding to the designated range as a restriction target space (or a non-restriction target space). In this case, the restriction target setting unit 106 may newly set an object located in a space corresponding to the designated range as a restriction target object (or an object other than the restriction target).
  • a predetermined UI for example, a string UI
  • voice recognition for example, “NG!” Or “OK!”
  • the authorized person 6 may be able to specify the object to be restricted and the space to be restricted for each user 4 (viewing content).
  • the restriction target setting unit 106 can set a restriction target object and / or a restriction target space based on a user's instruction for an actual object. For example, the restriction target setting unit 106 sets a restriction target object and / or a restriction target space based on detection of a user's gesture (for example, line of sight, pointing, or touch) with respect to an actual object.
  • a user's gesture for example, line of sight, pointing, or touch
  • the restriction target setting unit 106 may newly set the corresponding object as a restriction target object (or an object other than the restriction target).
  • a gesture that draws a circle with a hand (or a finger) is detected, and a voice command for designating a range based on the gesture (for example, “This range cannot be displayed!” Or “This range is displayed.
  • the restriction target setting unit 106 defines the space in the room 2 corresponding to the range specified by the gesture as a restriction target space (or a non-restriction space). ) May be newly set.
  • the restriction target setting unit 106 may newly set an object positioned in the line-of-sight direction detected at the time of recognition in the room 2 as a restriction target object (or an object other than the restriction target).
  • the restriction target setting unit 106 may set a restriction target object and / or a restriction target space based on detection of user movement in the room 2 and voice recognition. Is possible. For example, when a voice command for specifying a range based on movement (for example, “the walking range cannot be displayed!” Or “the walking range can be displayed!”) Is recognized, the restriction target setting unit 106 After the recognition, a space corresponding to an area in which it is recognized that the user has moved in the room 2 may be newly set as a restriction target space (or a non-restriction target space).
  • the restriction target setting unit 106 sets one or more objects located in a space corresponding to an area where the user is recognized to have moved in the room 2 as a restriction target object (or restriction object). It may be newly set as a non-target object.
  • the restriction target setting unit 106 sets a space 42 corresponding to a range in which the user is recognized to have moved in the room 2 as a restriction target space. Furthermore, the restriction target setting unit 106 may set the table 30c located in the space 42 as a restriction target object.
  • the restriction target setting unit 106 based on the recognition result of the positions of a plurality of predetermined objects arranged in the room 2, the restriction target object and / or the restriction target space. Can be set. For example, the restriction target setting unit 106 newly sets a space corresponding to a range surrounded by three or more predetermined objects arranged in the room 2 as a restriction target space (or a non-restriction target space). It may be set. Further, in this case, the restriction target setting unit 106 selects one or more objects located in the space corresponding to the range surrounded by the three or more predetermined objects as the restriction target object (or the restriction target non-restriction object). A new object may be set.
  • the restriction target setting unit 106 can automatically set the restriction target object and / or the restriction target space based on the detection result acquired by the detection result acquisition unit 102. For example, when it is detected that an object that matches a predetermined attribute exists in the room 2, the restriction target setting unit 106 sets the object as a restriction target object. As an example, the restriction target setting unit 106 may set an object with a relatively high degree of privateness, such as a letter or clothes, as the restriction target object. In addition, the restriction target setting unit 106 restricts an object recognized as dirty (located in the room 2) based on, for example, the analysis result of the captured image acquired by the detection result acquisition unit 102. It may be set as an object.
  • the restriction target setting unit 106 can set the space as a restriction target space.
  • the restriction target setting unit 106 may set a space with a relatively high degree of privateness as a restriction target space, such as a kitchen, a bedroom, and a toilet.
  • the restriction target setting unit 106 may set a space (for example, a toilet) whose average stay time of the user is smaller than a predetermined threshold as a restriction target space.
  • the restriction target setting unit 106 may set a space (for example, a bedroom) in which the user's visit frequency is smaller than a predetermined threshold as the restriction target space.
  • the viewing restriction unit 108 restricts viewing of a part of the content generated by the content generation unit 104 corresponding to a part of the room 2 based on a predetermined condition. For example, when a predetermined condition is satisfied, the viewing restriction unit 108 restricts viewing of the partial content. If the predetermined condition is not satisfied, the viewing restriction unit 108 does not restrict viewing of the content.
  • a part of the space in the room 2 may be a space that satisfies a predetermined condition in the room 2.
  • the space that satisfies the predetermined condition may include a space including a restriction target object set by the restriction target setting unit 106 and a restriction target space.
  • the viewing restriction unit 108 restricts the movement of the viewpoint in the content portion corresponding to the restriction target object and the restriction target space.
  • the viewing restriction unit 108 does not permit the movement of the viewpoint to the portion of the content corresponding to the inside of the restriction target space.
  • the viewing restriction unit 108 permits the movement of the viewpoint in the content portion corresponding to the outside of the restriction target space.
  • the viewing restriction unit 108 can control the display of the content so as to reduce the visibility of the part of the content corresponding to the object to be restricted and the space to be restricted.
  • the viewing restriction unit 108 performs image processing that makes it impossible to view details regarding the content portion corresponding to the restriction target object and the restriction target space.
  • the viewing restriction unit 108 may perform a process of filling a portion of the content corresponding to the restriction target object and the restriction target space with a predetermined color such as black.
  • a predetermined color such as black.
  • the viewing restriction unit 108 displays the portion of the content 50 corresponding to the bed 30a in the room 2 as shown in FIG. Fill with a predetermined color.
  • the viewing restriction unit 108 may perform a mosaic process on the part of the content, or may perform a process of blurring the part.
  • the viewing restriction unit 108 may display each object to be restricted (and each object located in the restriction target space) in a wire frame, or each object may be displayed in a different shape such as a rectangular parallelepiped, for example. It may be replaced with an object.
  • the presence of the restriction target object and the restriction target space in the room 2 can be confirmed by the user 4 (viewing the content), but the details cannot be browsed. Can be limited.
  • the viewing restriction unit 108 may perform processing for increasing the transparency of the content portion.
  • the viewing restriction unit 108 may set the transparency of the content portion to 100% (that is, it may be completely transparent).
  • the viewing restriction unit 108 may perform a process of hollowing out the part of the content corresponding to the object to be restricted and the space to be restricted (that is, the part of the content may be hidden). Note that, as a modification, the viewing restriction unit 108 may perform image processing for removing dirt on an object recognized as dirty.
  • the viewing restriction unit 108 can dynamically change a portion of the content where viewing is restricted based on a predetermined condition.
  • the predetermined condition may include a condition regarding data indicating the relationship (intimacy, etc.) between the user 4 who views the content and the authority 6.
  • the data indicating the relationship is, for example, data obtained from registration information of the user 4 or the authorized person 6 in a predetermined SNS (Social Networking Service) or a contract between the user 4 and the authorized person 6. Data indicating the situation.
  • the viewing restriction unit 108 may not restrict the content viewing (that is, the restriction target object and the restriction target space). Even if it is a corresponding part, content viewing is not restricted.)
  • the viewing restriction unit 108 includes a part of the restriction target objects set by the restriction target setting unit 106, and The viewing of the part of the content corresponding to a part of the restriction target space may not be restricted.
  • the viewing restriction unit 108 can dynamically change a portion where viewing is restricted based on a change in data indicating the relationship between the user 4 and the authorized person 6. For example, when it is specified that the closeness between the user 4 and the authorized person 6 has increased (for example, it has been identified that a new friend has been registered between the user 4 and the authorized person 6 in a predetermined SNS) In other cases, the viewing restriction unit 108 reduces the number of objects whose viewing is restricted, reduces the range of the space where viewing is restricted, or the range in which the viewpoint can be moved in the room 2 May be enlarged.
  • the viewing restriction unit 108 Depending on the contents of the contract, the number of objects whose viewing is restricted is reduced, the range of the space where viewing is restricted is reduced, or the range in which the viewpoint can be moved in the room 2 is enlarged. May be.
  • the predetermined contract is, for example, a contract for a worker (user 4) to browse or remotely operate a device (user 4) when a device in the room 2 breaks down. Also good.
  • the predetermined contract is, for example, a contract for a store clerk (user 4) to confirm remotely whether or not furniture or equipment to be purchased by the authority 6 can be placed in the room 2. Good.
  • the predetermined condition relates to data indicating the billing status of the user 4 who views the content or the registration status of the paying member of the user 4 (for example, whether or not he / she is a paying member and the grade of the member). Conditions can be included.
  • the data indicating the charging status of the user 4 or the data indicating the registration status of the paying member of the user 4 may be managed by the server 10 such as stored in the storage unit 122, or externally. May be managed by a device (not shown).
  • the viewing restriction unit 108 may reduce the restrictions on the viewpoint and view when viewing the content as the amount of money paid by the user 4 is specified to be larger.
  • the viewing restriction unit 108 views only the video in which the front of the stage is reduced and displayed.
  • the viewing of the content is restricted as much as possible (that is, the user 4 is located at a distant seat on the stage).
  • the viewing restriction unit 108 displays the stage in an enlarged manner so that the video can be viewed only from the front of the stage (that is, And the viewing of the content is restricted (so that the user 4 is located in the audience seat near the stage).
  • the viewing restriction unit 108 may not restrict the viewpoint in principle. Thereby, the user 4 can freely move the viewpoint on the stage, for example, the viewpoint can be moved to the side or back of the person on the stage.
  • the viewing restriction unit 108 selects a part of the plurality of persons. You may restrict
  • the predetermined condition may include detecting that a person is present in the room 2. For example, when there are one or more persons (such as the authorized person 6) in the room 2, the person may be able to confirm the behavior (viewpoint movement status) of the user 4 who views the content. Therefore, when it is detected that there are one or more persons in the room 2, the viewing restriction unit 108 may expand the range in which the viewpoint can be moved in the room 2. When it is detected that no person is present in the room 2, the viewing restriction unit 108 may reduce the range in which the viewpoint can be moved in the room 2.
  • the predetermined condition may include detecting an operation by the authorized person 6 to change a restricted object or a restricted space while the content is being viewed. For example, every time an operation for changing a restriction target object or a restriction target space is detected, the viewing restriction unit 108 may sequentially change the object or space for which viewing is restricted according to the detected operation. Good.
  • the viewing restriction unit 108 may perform a process of blurring all parts of the content corresponding to the space behind the designated point in the room 2, or the viewpoint of the user 4 to the part of the content May be prohibited (restricted).
  • the viewing restriction unit 108 controls the display of the content so as to hide all objects other than a specific object (for example, a person) located in the back space from the designated point. (That is, only a specific object may be displayed).
  • the predetermined condition may include determining that the room 2 is monitored by the monitoring state determination unit 112 described later. For example, when the monitoring state determination unit 112 determines that the room 2 is being monitored, the viewing restriction unit 108 may reduce the range of the space where viewing is restricted. When the monitoring state determination unit 112 determines that the room 2 is not being monitored, the viewing restriction unit 108 may expand or maintain the range of the space where viewing is restricted.
  • the predetermined condition may include detecting that a specific object (for example, a pet or a child) exists in the room 2.
  • a specific object for example, a pet or a child
  • the viewing restriction unit 108 may restrict the viewing of the content so that the entire room 2 cannot be viewed.
  • the specific object may be designated by the authority 6 or may be set in advance by the system administrator.
  • Display control unit 110 causes the first display unit 22 to display the free viewpoint content processed by the viewing restriction unit 108. Further, the display control unit 110 controls display on the second display unit 24 (located in the room 2).
  • the display control unit 110 displays information indicating a part of the content that is currently restricted for viewing on the second display unit 24 (located in the room 2).
  • the display control unit 110 causes the second display unit 24 to display, for example, a line of a predetermined color around the object in the room 2 and the space corresponding to the portion where viewing is restricted in the content.
  • a predetermined icon may be displayed on the second display unit 24 at the position (or vicinity) of the object and space.
  • FIG. 6 is an explanatory diagram showing a display example by the second display unit 24 when the bed 30a arranged in the room 2 is set as an object to be restricted.
  • the display control unit 110 causes the second display unit 24 to display a line 520 of a predetermined color at a display position corresponding to the periphery of the bed 30 a.
  • the authorized person 6 in the room 2 can know in real time the portion of the user 4 who views the content that is currently viewed. Therefore, since the authorized person 6 can determine not to talk about the object, communication failure between the authorized person 6 and the user 4 can be prevented.
  • the display control unit 110 displays a portion of the plurality of users for which viewing is restricted. It is also possible to display the information to be displayed on the second display unit 24 in association with the user. For example, the display control unit 110 sets, for each user, a color line previously associated with the user around the object and the space in the room 2 corresponding to the portion where viewing is restricted for the user. You may display on 2 display parts 24. Alternatively, the display control unit 110 may, for each user, select the type of object associated with the user at the position (or vicinity) of the object and the space in the room 2 corresponding to the portion where viewing is restricted for the user. An icon may be displayed, or the identification information of the user may be displayed.
  • the user 4a in a scene where the user 4a and the user 4b are viewing the same content, the user 4a can view an object in the room 2, but the user 4b is restricted from viewing. Can be notified to the authorized person 6.
  • the display control unit 110 displays the video 32 of the user who is viewing the content on the second display unit 24 (located in the room 2). It is also possible. At this time, the display control unit 110 changes the orientation of the user's video 32 according to the direction in which the user 4 is viewing the content detected by the first display unit 22 worn by the user 4, for example. You may adjust.
  • the viewing restriction unit 108 restricts viewing of content (by the corresponding user 4) based on detection of an operation in which the authority 6 hides the eye portion of the user's video 32 by hand. May be. For example, when the operation is detected, the viewing restriction unit 108 may prohibit viewing of the content itself (e.g., hide all) or an object positioned in the direction of the user's line of sight The portion of the content corresponding to the space may be hidden.
  • the monitoring state determination unit 112 determines whether or not the room 2 is being monitored by the authorized person 6 based on a predetermined determination criterion. For example, when it is detected that the authorized person 6 is located in the room 2 or in the vicinity of the room 2, the monitoring state determination unit 112 determines that the room 2 is being monitored. Note that the monitoring state determination unit 112 is configured so that the authority 6 receives the measurement result of a GPS (Global Positioning System) receiver in the terminal carried by the authority 6 and the server 10 receives a photographed image by the sensor unit 20. It is possible to determine whether or not it is located in the room 2 (or in the vicinity of the room 2).
  • GPS Global Positioning System
  • the monitoring state determination unit 112 determines whether or not the room 2 is being monitored based on whether or not the predetermined terminal is located in or near the view of the authority 6. For example, when the predetermined terminal is located in or near the field of view of the authority 6, the monitoring state determination unit 112 determines that the room 2 is being monitored. When the predetermined terminal is located outside the field of view of the authorized person 6, the monitoring state determination unit 112 determines that the room 2 is not monitored. Note that when the server 10 receives the video captured by the in-camera installed in the predetermined terminal, the monitoring state determination unit 112 causes the predetermined terminal to be in or near the view of the authority 6. It is possible to determine whether or not it is located.
  • the monitoring state determination unit 112 determines whether the room 2 is monitored based on the access status of the predetermined terminal with respect to one or more sensor units 20 or other cameras arranged in the room 2. Can also be determined. For example, when it is detected that the predetermined terminal is accessing at least one of these cameras, the monitoring state determination unit 112 determines that the room 2 is being monitored.
  • the communication unit 120 transmits and receives information to and from other devices. For example, the communication unit 120 transmits the free viewpoint content processed by the viewing restriction unit 108 to the first display unit 22 according to the control of the display control unit 110. Further, the communication unit 120 receives sensing data sensed by each of the plurality of sensor units 20 from the plurality of sensor units 20.
  • Storage unit 122 stores various data and various software.
  • the storage unit 122 stores information on the restriction target object and the restriction target space set by the restriction target setting unit 106.
  • the terminal transmits information on the space designated in S103 to the server 10.
  • the restriction target setting unit 106 of the server 10 sets the space indicated by the received information as the restriction target space.
  • the restriction target setting unit 106 additionally registers the set information in the storage unit 122 (S105). Thereafter, the process of S113 is executed.
  • the terminal transmits information on the object designated in S109 to the server 10.
  • the restriction target setting unit 106 of the server 10 sets the object indicated by the received information as the restriction target object.
  • the restriction target setting unit 106 additionally registers the set information in the storage unit 122 (S111).
  • the server 10 receives the sensing data of the room 2 sensed by each of the plurality of sensor units 20 from the plurality of sensor units 20 (S201).
  • the content generation unit 104 generates free viewpoint content related to the room 2 based on the received sensing data (S203).
  • the viewing restriction unit 108 checks whether or not a restriction target space is set (S205). If no restriction target space is set (S205: No), the viewing restriction unit 108 performs the process of S209 described later.
  • the viewing restriction unit 108 selects the content portion generated in S203 corresponding to each of all the restriction target spaces that have been set. For example, it is painted with a predetermined color such as black (S207).
  • the viewing restriction unit 108 checks whether or not an object to be restricted is set (S209). When no restriction target object is set (S209: No), the viewing restriction unit 108 performs the process of S213 described later.
  • the viewing restriction unit 108 corresponds to each of all the restriction target objects that have been set, and the content processed in S207 or in S203.
  • the generated content portion is painted with a predetermined color such as black (S211).
  • the communication unit 120 transmits the corresponding content to the first display unit 22 according to the control of the display control unit 110. Then, the first display unit 22 displays the received content (S213).
  • the server 10 generates free viewpoint content based on the sensing result of the room 2, and a part of the room 2 is included in the free viewpoint content.
  • the viewing of a part of the content corresponding to this space is restricted based on a predetermined condition. Thereby, viewing of the content can be appropriately restricted.
  • the server 10 limits the movement of the viewpoint in a part of the content corresponding to the set restriction target object and the restriction target space among the contents of the free viewpoint, or the part of the content
  • the display of the content is controlled so as to reduce the visibility.
  • the authority 6 specifies in advance the objects and spaces that are not desired to be viewed by the external user 4 as the restricted objects and the restricted spaces. By doing so, viewing of the corresponding part in the content can be restricted. Therefore, it is possible to appropriately protect the privacy of the authorized person 6 while partially allowing the external user 4 to view the content of the free viewpoint.
  • FIG. 10 is an explanatory diagram showing a configuration example of an information processing system according to the second embodiment.
  • a plurality of sensor units 20 are arranged in a plurality of rooms 2, and a user 6 is located in each of the plurality of rooms 2.
  • the user 6a in the room 2a may be, for example, a user who has management authority for the room 2a
  • the user 6b in the room 2b may be a user who has management authority for the room 2b.
  • the server 10 includes three-dimensional information 62a about the entire room 2a acquired by the plurality of sensor units 20 arranged in the room 2a, and the room 2b. It is possible to generate a virtual shared space 60 by synthesizing substantially the entire three-dimensional information 62b of the room 2b acquired by the plurality of sensor units 20 arranged in the area. Furthermore, the server 10 generates free viewpoint content related to the shared space 60 based on the generated shared space 60, and the first display unit for the user 6a to browse the content as shown in FIG. It is possible to transmit to 22a and the 1st display part 22b which the user 6b browses, respectively. Thereby, the user 6 located in each of the plurality of rooms 2 can experience as if the user 6 is located inside the shared space 60 by viewing the transmitted content.
  • the server 10 for each user 6 viewing the content, views the content of the free viewpoint related to the generated shared space according to the room 2 in which the user 6 is located. It is possible to limit. For example, the server 10 restricts viewing by the user 6a in the room 2a with respect to some objects in the room 2b arranged in the shared space 60, and in the room 2a arranged in the shared space 60. For some objects, viewing by the user 6b in the room 2b can be restricted.
  • the content generation unit 104 includes the three-dimensional information of the substantially entire room 2a acquired by the plurality of sensor units 20 arranged in the room 2a and the plurality of sensors arranged in the room 2b.
  • a virtual shared space is generated by combining the three-dimensional information of substantially the entire room 2b acquired by the unit 20.
  • the content generation unit 104 generates free viewpoint content related to the shared space based on the generated shared space. For each user 6, the content generation unit 104 is a free viewpoint content related to the shared space based on whether or not the first display unit 22 browsed by the user 6 is a non-transparent glasses-type device. May be generated. For example, when the first display unit 22a viewed by the user 6a in the room 2a is not a non-transparent spectacle-type device (for example, a 3D projector or a transmissive spectacle-type device), the content generation unit 104 may generate free viewpoint content for the user 6a including only the video 52b of the object located in the other room 2b based on the generated shared space.
  • a non-transparent spectacle-type device for example, a 3D projector or a transmissive spectacle-type device
  • the viewing restriction unit 108 restricts the viewing of the content generated by the content generation unit 104 according to the room 2 where the user 6 who views the content is located. For example, regarding the part of the content corresponding to the object set as the restriction target object among the objects in the room 2b, the viewing restriction unit 108 restricts the viewing by the user 6a located in the room 2a. Note that specific restrictions are the same as those in the first embodiment. Further, the method for setting the restriction target object (and the restriction target space) in each room 2 is also substantially the same as in the first embodiment.
  • the display control unit 110 For each user 6, the display control unit 110 according to the second embodiment causes the first display unit 22 viewed by the user 6 to display the content of the free viewpoint that is restricted for the user 6.
  • the server 10 generates a shared space based on the sensing result of the room 2a and the sensing result of the room 2b, and the free viewpoint regarding the shared space is generated.
  • the viewing of content is restricted for each user 6 viewing the content according to the room 2 in which the user 6 is located.
  • the user 6a located in the room 2a preliminarily designates an object that is not desired to be viewed by the user 6b located in the other room 2b as an object to be restricted among objects located in the room 2a. By doing so, viewing by the user 6b of the portion of the free viewpoint content corresponding to the object can be restricted.
  • each user is located in the same room (shared space) as other users while being in different rooms.
  • individual users can perform activities together with users in other rooms 2 in a shared space while enjoying their own privacy appropriately.
  • each user can communicate with a user in another room 2 using an object that actually exists in the user's room.
  • the server 10 includes a CPU 150, a ROM (Read Only Memory) 152, a RAM 154, a bus 156, an interface 158, a storage device 160, and a communication device 162.
  • the CPU 150 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the server 10 according to various programs. Further, the CPU 150 realizes the function of the control unit 100 in the server 10.
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores a program executed by the CPU 150, for example.
  • the bus 156 includes a CPU bus and the like.
  • the bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the storage device 160 and the communication device 162 to the bus 156.
  • the storage device 160 is a data storage device that functions as the storage unit 122.
  • the storage device 160 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 162 is a communication interface composed of a communication device for connecting to the communication network 26, for example. Further, the communication device 162 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication. This communication device 162 functions as the communication unit 120.
  • LTE Long Term Evolution
  • the configuration of the information processing system according to each embodiment described above is not limited to the example shown in FIG. 1 or FIG.
  • FIG. 1 and FIG. 10 only one server 10 is illustrated.
  • the present invention is not limited to this example, and the functions of the server 10 according to each embodiment can be achieved by the cooperation of a plurality of computers. It may be realized.
  • the information processing apparatus may be a general-purpose PC, a tablet terminal, a game machine, a mobile phone such as a smartphone, a portable music player, a robot, a projector, or a wearable device such as an HMD or AR glass.
  • each step in the processing flow of each embodiment described above does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series. Further, some of the described steps may be omitted, or another step may be further added.
  • a viewing restriction unit that restricts viewing of a part of content corresponding to a part of the real space based on a predetermined condition among the contents of the free viewpoint generated based on the sensing result of the real space
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the viewing restriction unit restricts movement of a viewpoint in the partial content. (3) The information processing apparatus according to (1), wherein the viewing restriction unit controls display of the partial content so as to reduce visibility of the partial content. (4) The viewing restriction unit performs a process of changing a display color of the partial content to a predetermined color, a process of increasing the transparency of the partial content, or a process of blurring the partial content.
  • the information processing apparatus according to 3).
  • a part of the real space is a space that satisfies the predetermined condition in the real space.
  • the space satisfying the predetermined condition is a space including a restriction target object and / or a restriction target space.
  • the viewing restriction unit does not permit movement of the viewpoint into the part of the content.
  • the restriction target object and / or the restriction target space is set based on a user input to an operation screen indicating a layout of the real space.
  • the information processing apparatus is a space that includes an object that matches a predetermined attribute and / or a space that matches the predetermined attribute.
  • the space that matches the predetermined attribute includes a space in which a user's average stay time is smaller than a predetermined threshold and / or a space in which a user's visit frequency is smaller than a predetermined threshold.
  • the information processing apparatus includes a condition related to a relationship between a first user related to the real space and a second user who views the content.
  • the predetermined condition includes a condition related to a charging state of a user who views the content or a registration status of a paying member.
  • the content is viewed by a user located outside the real space,
  • the information processing apparatus further includes a display control unit that displays an object in a part of the real space and / or information indicating the part of the real space on a display unit located in the real space.
  • the information processing apparatus comprising: (18) The information processing apparatus includes an acquisition unit that acquires the sensing result; The information processing apparatus according to any one of (1) to (17), further comprising: a content generation unit that generates the content of the free viewpoint based on the sensing result. (19) Of the free viewpoint content generated based on the sensing result of the real space, the processor limits the viewing of a part of the content corresponding to the part of the real space based on a predetermined condition, Including an information processing method. (20) Computer A viewing restriction unit that restricts viewing of a part of content corresponding to a part of the real space based on a predetermined condition among the contents of the free viewpoint generated based on the sensing result of the real space, Program to function as
  • server 20 sensor unit 22 first display unit 24 second display unit 26 communication network 100 control unit 102 detection result acquisition unit 104 content generation unit 106 restriction target setting unit 108 viewing restriction unit 110 display control unit 112 monitoring state determination unit 120 communication unit 122 storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】実空間のセンシング結果に基づいたコンテンツの視聴を適切に制限することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、例えば臨場感の高いコンテンツを生成することを目的として、実空間をセンシングした結果に基いてコンテンツを生成する技術が各種提案されている。
　例えば、下記特許文献１には、視野が互いに一部重なり合うように配置された複数のカメラにより撮影された画像に基いて全方位画像を生成する技術が記載されている。
特開２００５－４４８７号公報
　ところで、実空間によっては、当該実空間の全体が例えば外部のユーザに閲覧されることが望ましくない場合もある。
　しかしながら、特許文献１に記載の技術では、生成された全方位画像内の全ての領域をユーザが詳細に閲覧可能となってしまう。
　そこで、本開示では、実空間のセンシング結果に基づいたコンテンツの視聴を適切に制限することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、を備える、情報処理装置が提供される。
　また、本開示によれば、実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いてプロセッサが制限すること、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、として機能させるための、プログラムが提供される。
　以上説明したように本開示によれば、実空間のセンシング結果に基づいたコンテンツの視聴を適切に制限することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１の実施形態による情報処理システムの構成例を示した説明図である。 第１の実施形態によるサーバ１０の構成例を示した機能ブロック図である。 第１の実施形態による操作画面の一例を示した説明図である。 部屋２の中でのユーザの移動と発話とに基づいて制限対象の空間が設定される例を示した説明図である。 ベッド３０ａが制限対象の物体に設定された際における自由視点のコンテンツの表示例を示した説明図である。 ベッド３０ａが制限対象の物体に設定されている際における、第２の表示部２４による表示例を示した説明図である。 コンテンツを視聴しているユーザの映像３２の、第２の表示部２４による表示例を示した説明図である。 第１の実施形態による「制限対象の物体・制限対象の空間の設定時の処理の流れ」を示したフローチャートである。 第１の実施形態による「コンテンツの表示時の処理の流れ」を示したフローチャートである。 第２の実施形態による情報処理システムの構成例を示した説明図である。 第２の実施形態による仮想的な共有空間６０の生成例を示した説明図である。 共有空間６０に基づいて生成されたコンテンツが各部屋２内の第１の表示部２２に提供される例を示した図である。 各実施形態に共通するサーバ１０のハードウェア構成例を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてサーバ１０ａおよびサーバ１０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、サーバ１０ａおよびサーバ１０ｂを特に区別する必要が無い場合には、単にサーバ１０と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．第１の実施形態
　２．第２の実施形態
　３．ハードウェア構成
　４．変形例
＜＜１．第１の実施形態＞＞
　＜１－１．情報処理システムの構成＞
　まず、第１の実施形態について説明する。図１は、第１の実施形態による情報処理システムの構成例を示した説明図である。図１に示すように、第１の実施形態による情報処理システムは、サーバ１０、複数のセンサ部２０、第１の表示部２２、第２の表示部２４、および、通信網２６を含む。
　図１に示すように、第１の実施形態では、所定の実空間の中にセンサ部２０が複数配置されており、かつ、当該複数のセンサ部２０により所定の実空間の略全体の三次元情報が取得される場面を想定する。ここで、所定の実空間は、例えば家、店舗、オフィスビルや、レジャー施設などの所定の建物内の部屋２や廊下などであり得る。なお、以下では、所定の実空間が所定の建物内の部屋２である例を中心として説明を行う。
　また、図１に示すように、部屋２の中には、例えばベッド３０ａ、ソファ３０ｂ、または、テーブル３０ｃなどの複数の物体３０が配置されていることを想定する。また、図１に示すように、部屋２の中には、例えば部屋２の居住者などの部屋２の管理権限を有するユーザ６（以下、権限者６と称する場合がある）が位置し得る。
　{１－１－１．センサ部２０}
　センサ部２０は、センサ部２０の前方に位置する物体までの距離を測定する。例えば、センサ部２０は、デプスセンサ、ステレオカメラ、または、レンジファインダを含み得る。
　また、センサ部２０は、例えばイメージセンサ（ＲＧＢカメラ）をさらに含み、そして、センサ部２０の前方の画像を撮影することが可能である。なお、部屋２の中に配置されている複数のセンサ部２０により取得されるセンシングデータは、キャリブレーションやフレーム同期処理などにより精度良く合成され得る。
　{１－１－２．サーバ１０}
　サーバ１０は、本開示における情報処理装置の一例である。サーバ１０は、複数のセンサ部２０によるセンシングデータを、後述する通信網２６を介して取得し、そして、取得したセンシングデータに基づいて、部屋２に関する自由視点のコンテンツを生成する。
　また、サーバ１０は、生成した自由視点のコンテンツを通信網２６を介して、例えば部屋２の外部（遠隔地など）に位置する、後述する第１の表示部２２へ伝送し、そして、第１の表示部２２に表示させることが可能である。
　（自由視点のコンテンツ）
　ここで、自由視点のコンテンツは、（複数の地点に配置された）複数の視点（センサ部２０）から実空間がセンシングされたデータに基いて得られる、自由な視点位置からの映像（例えば当該実空間の映像など）を提示するためのデータであり得る。例えば、複数の視点から実空間が例えば同時にセンシングされたデータが統合されることにより三次元の仮想空間が構築され得る。この場合、自由視点のコンテンツは、当該三次元の仮想空間における、自由な視点からの映像を提示するデータであり得る。例えば、自由視点のコンテンツは、当該三次元の仮想空間において、視点を仮想的に自由に動かした際の当該視点からの当該仮想空間の映像を提示するデータであり得る。
　例えば、ユーザが装着しているＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）に自由視点のコンテンツが表示されており、かつ、視点を移動させるための操作（例えば、所定の入力デバイスに対する操作や音声コマンドなど）をユーザが行った場合には、当該操作に基づく移動後の視点からの映像が当該ＨＭＤに表示され得る。このように、ユーザは、視点を自由に移動させて当該コンテンツを視聴することが可能であり得る。
　また、自由視点のコンテンツは、センシング対象の実空間内の各物体を示す三次元情報および色情報を含み得る。例えば、自由視点のコンテンツは、上記の三次元の仮想空間における、当該各物体に対応する仮想オブジェクトが有する各点の位置を示す三次元情報および各点の色情報を含む。また、自由視点のコンテンツは、複数のセンサ部２０により集音された音声などの音情報をさらに含んでもよい。
　{１－１－３．第１の表示部２２}
　第１の表示部２２は、例えばサーバ１０から伝送される自由視点のコンテンツなどの映像を表示する。第１の表示部２２は、図１に示すように、例えば非透過型のＨＭＤであり得る。この場合、部屋２の外部に位置するユーザ４は、第１の表示部２２を装着することにより、サーバ１０から伝送される自由視点のコンテンツを第１の表示部２２を介して視聴することができる。これにより、ユーザ４は、あたかも部屋２の内部に実際に位置するような体験をすることができる。
　なお、第１の表示部２２は、非透過型のＨＭＤである例に限定されない。例えば、第１の表示部２２は、例えば透過型のＨＭＤやＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）グラスなどの透過型の眼鏡型デバイス、テレビジョン受信機、または、３Ｄテレビジョン受信機などであってもよい。または、第１の表示部２２は、３Ｄプロジェクタであり、そして、当該３Ｄプロジェクタにより例えば壁やスクリーンなどに対して映像が投影されてもよい。なお、以下では、第１の表示部２２が非透過型のＨＭＤである例を中心として説明を行う。
　{１－１－４．第２の表示部２４}
　第２の表示部２４は、部屋２の中に位置する表示装置であり得る。例えば、第２の表示部２４は、プロジェクタ、または、３Ｄプロジェクタであり得る。この場合、第２の表示部２４は、図１に示すように、部屋２の中（例えば壁やスクリーン）において映像を投影し得る。または、第２の表示部２４は、例えばＨＭＤやＡＲグラスなどの眼鏡型デバイスであり、かつ、権限者６に装着され得る。
　{１－１－５．通信網２６}
　通信網２６は、通信網２６に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２６は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２６は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　{１－１－６．課題の整理}
　以上、第１の実施形態による情報処理システムの構成について説明した。ところで、権限者６が、部屋２の中の特定の物体や特定の空間を（部屋２の外部の）ユーザ４に見られることを望まない場面も想定される。しかしながら、自由視点のコンテンツでは、特に制限が施されない場合には視点の位置や方向が自由に変更可能であるので、当該コンテンツを閲覧するユーザは、部屋２の内部を自由に、かつ、詳細に閲覧することが可能になってしまう。このため、権限者６のプライバシーが保護されないという問題がある。
　そこで、上記事情を一着眼点にして、第１の実施形態によるサーバ１０を創作するに至った。第１の実施形態によれば、サーバ１０は、部屋２のセンシング結果に基いて生成される自由視点のコンテンツのうち、部屋２の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限することが可能である。これにより、ユーザ４による当該コンテンツの視聴を可能としながら、権限者６のプライバシーを適切に保護することが可能である。
　＜１－２．構成＞
　次に、第１の実施形態によるサーバ１０の構成について詳細に説明する。図２は、第１の実施形態によるサーバ１０の構成例を示した機能ブロック図である。図２に示すように、サーバ１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。
　｛１－２－１．制御部１００｝
　制御部１００は、サーバ１０に内蔵される、後述するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１５０や、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、サーバ１０の動作を統括的に制御する。また、図２に示すように、制御部１００は、検出結果取得部１０２、コンテンツ生成部１０４、制限対象設定部１０６、視聴制限部１０８、表示制御部１１０、および、監視状態判定部１１２を有する。
　｛１－２－２．検出結果取得部１０２｝
　検出結果取得部１０２は、複数のセンサ部２０によりセンシングされたセンシング結果を取得する。例えば、検出結果取得部１０２は、個々のセンサ部２０（デプスセンサなど）により検出された、当該センサ部２０の前方に位置する物体までの距離情報や、個々のセンサ部２０（イメージセンサなど）により撮影された撮影画像を、センサデータとして受信または読出し処理などを行うことにより取得する。
　｛１－２－３．コンテンツ生成部１０４｝
　コンテンツ生成部１０４は、検出結果取得部１０２により取得された、複数のセンサ部２０により取得されたセンシングデータに基づいて、自由視点のコンテンツを生成する。例えば、コンテンツ生成部１０４は、まず、検出結果取得部１０２により取得された、個々のセンサ部２０の前方に位置する各物体までの距離情報に基づいて、部屋２の略全体の三次元空間情報としてポイントクラウドを生成する。そして、コンテンツ生成部１０４は、生成したポイントクラウドに基づいて、部屋２に関する自由視点のコンテンツを生成する。
　例えば、複数のセンサ部２０により撮影された一以上の二次元画像の画像認識の結果に基いて、部屋２内の各物体が特定され得る。そして、コンテンツ生成部１０４は、当該一以上の二次元画像と、生成されたポイントクラウドデータとに基いて、当該各物体の三次元情報を特定することにより、当該自由視点のコンテンツを生成し得る。
　｛１－２－４．制限対象設定部１０６｝
　制限対象設定部１０６は、部屋２の中に位置する複数の物体の中から制限対象の物体を設定したり、また、部屋２の内部において制限対象の空間を設定する。詳細については後述するが、コンテンツ生成部１０４により生成された自由視点のコンテンツに関して、設定された制限対象の物体および制限対象の空間に対応する部分は、視聴制限部１０８によりユーザ４の視聴が制限され得る。なお、制限対象の空間内に位置する各物体に対応する、当該コンテンツの部分に関してもユーザ４の視聴が制限され得る。
　（１－２－４－１．仮想物に対するポインティング）
　例えば、制限対象設定部１０６は、仮想物に対する権限者６の指示に基づいて、制限対象の物体、および／または、制限対象の空間を設定する。一例として、制限対象設定部１０６は、部屋２のレイアウトを示す所定の操作画面に対するユーザの入力に基づいて、制限対象の物体または制限対象の空間を設定する。ここで、当該操作画面は、部屋２の中に位置する複数の物体の各々をユーザが選択可能に表示し得る。例えば、当該操作画面においてユーザにより物体が選択され、かつ、該当の物体が制限対象であるか否かが入力された場合には、制限対象設定部１０６は、該当の物体を制限対象の物体、もしくは、制限対象外の物体に設定する。また、当該操作画面は、部屋２の内部の範囲をユーザが指定可能に表示し得る。例えば、当該操作画面においてユーザにより範囲が指定され、かつ、該当の範囲が制限対象であるか否かが入力された場合には、制限対象設定部１０６は、該当の範囲に対応する空間を制限対象の空間、もしくは、制限対象外の空間に設定する。なお、権限者６が使用する所定の端末（例えば、汎用ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やタブレット端末など）が有するディスプレイまたは当該所定の端末に接続された表示装置（例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）やＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）など）により、当該操作画面は表示され得る。または、当該操作画面は、第２の表示部２４により表示されてもよい。
　図３は、操作画面の一例（操作画面４０）を示した説明図である。図３に示したように、操作画面４０には、部屋２のレイアウト４００が表示される。なお、図３では、レイアウト４００が、部屋２の中に位置する各物体の三次元情報から構成された３Ｄ映像（ポイントクラウドなど）である例を示しているが、かかる例に限定されない。例えばレイアウト４００は、部屋２内の個々の物体の位置関係を示す、部屋２の間取り図や、２Ｄの撮影画像であってもよい。
　また、図３に示したように、操作画面４０は、制限範囲の設定ボタン４１０ａ、非制限範囲の設定ボタン４１０ｂ、制限物の設定ボタン４１０ｃ、および、非制限物の設定ボタン４１０ｄを含む。ここで、制限範囲の設定ボタン４１０ａは、部屋２における制限対象の空間を設定するためのボタンである。また、非制限範囲の設定ボタン４１０ｂは、部屋２における制限対象外の空間を設定するためのボタンである。また、制限物の設定ボタン４１０ｃは、例えば部屋２に配置されている複数の物体の中から、制限対象の物体を設定するためのボタンである。また、非制限物の設定ボタン４１０ｄは、例えば部屋２に配置されている複数の物体の中から、制限対象外の物体を設定するためのボタンである。なお、図３では、制限範囲の設定ボタン４１０ａが選択された状態を示している。この状態で、かつ、図３に示したように、部屋２のレイアウト４００において例えばドラッグ操作などにより範囲が指定されると、制限対象設定部１０６は、指定された範囲４０２に対応する空間（図３に示した例ではベッドエリア）を制限対象の空間として新たに設定する。
　また、制限物の設定ボタン４１０ｃが選択された状態で、部屋２のレイアウト４００に表示されているいずれかの物体がユーザにより選択されると、制限対象設定部１０６は、選択された物体を制限対象の物体として新たに設定する。なお、制限対象の物体および制限対象の空間が新たに設定された際には、当該操作画面（レイアウト４００など）において該当の物体または該当の空間が例えばグレーアウトされるなど、表示態様が変更されてもよい。これにより、設定済みの制限対象の物体および制限対象の空間を明示することができる。
　‐変形例
　なお、変形例として、当該操作画面において制限物リストが配置され、かつ、当該制限物リストに対する操作により、制限対象の物体が新たに設定されてもよい。例えば、レイアウト４００に表示されている複数の物体のうちいずれかがドラッグ＆ドロップにより当該制限物リストへ移動されると、制限対象設定部１０６は、該当の物体を制限対象の物体として新たに設定してもよい。
　また、別の変形例として、制限対象設定部１０６は、ユーザによる当該操作画面における所定のＵＩ（例えばひも型のＵＩなど）を用いた操作と音声認識とに基づいて、制限対象の物体または制限対象の空間を設定することも可能である。例えば、当該操作画面において、ひものＵＩの操作により範囲が指定され、かつ、所定の音声コマンド（例えば「ＮＧ！」や「ＯＫ！」など）が認識された場合には、制限対象設定部１０６は、指定された範囲に対応する空間を制限対象の空間（あるいは、制限対象外の空間）として新たに設定してもよい。または、この場合、制限対象設定部１０６は、指定された範囲に対応する空間内に位置する物体を制限対象の物体（あるいは、制限対象外の物体）として新たに設定してもよい。
　また、別の変形例として、権限者６は、（コンテンツを視聴する）ユーザ４ごとに、制限対象の物体および制限対象の空間をそれぞれ指定可能であってもよい。
　（１－２－４－２．実物体に対するポインティング）
　‐ジェスチャによる設定
　また、制限対象設定部１０６は、実物体に対するユーザの指示に基づいて、制限対象の物体、および／または、制限対象の空間を設定することが可能である。例えば、制限対象設定部１０６は、実物体に対するユーザのジェスチャ（例えば視線、指差し、またはタッチなど）の検出に基づいて、制限対象の物体、および／または、制限対象の空間を設定する。一例として、部屋２において、ある物体をユーザが触っていたり、または指差ししていることが検出され、かつ、ジェスチャに基づく物体指定のための音声コマンド（例えば「これは表示不可！」や「これは表示可！」など）が認識された場合には、制限対象設定部１０６は、該当の物体を制限対象の物体（あるいは、制限対象外の物体）として新たに設定してもよい。また、部屋２において、手（または指）で円を描くようなジェスチャが検出され、かつ、ジェスチャに基づく範囲指定のための音声コマンド（例えば「この範囲は表示不可！」や「この範囲は表示可！」など）が認識された場合には、制限対象設定部１０６は、当該ジェスチャで指定された範囲に対応する、部屋２の中の空間を制限対象の空間（あるいは、制限対象外の空間）として新たに設定してもよい。
　また、ユーザの視線方向が検出されている間において、視線に基づく物体指定のための音声コマンド（例えば「これは表示不可！」や「これは表示可！」など）が認識された場合には、制限対象設定部１０６は、部屋２において、当該認識時に検出された視線方向に位置する物体を制限対象の物体（あるいは、制限対象外の物体）として新たに設定してもよい。
　‐移動による設定
　また、制限対象設定部１０６は、部屋２の中でのユーザの移動の検出と音声認識とに基づいて、制限対象の物体、および／または、制限対象の空間を設定することが可能である。例えば、移動に基づく範囲指定のための音声コマンド（例えば「これから歩く範囲は表示不可！」や「これから歩く範囲は表示可！」など）が認識された場合には、制限対象設定部１０６は、当該認識後に、部屋２においてユーザが移動したと認識される領域に対応する空間を制限対象の空間（あるいは、制限対象外の空間）として新たに設定してもよい。また、この場合、制限対象設定部１０６は、当該認識後に、部屋２においてユーザが移動したと認識される領域に対応する空間内に位置する一以上の物体をそれぞれ制限対象の物体（あるいは、制限対象外の物体）として新たに設定してもよい。
　ここで、図４を参照して、上記の設定例についてさらに詳細に説明する。図４のＡに示したように、まず、移動に基づく範囲指定を開始するための音声コマンド（例えば「これから歩く範囲は表示不可！」など）をユーザ４が発話し、そして、部屋２の中を移動したとする。その後、図４のＢに示したように、移動に基づく範囲指定を終了するための音声コマンド（例えば「設定終了！」など）をユーザ４が発話したとする。この場合、図４のＣに示したように、制限対象設定部１０６は、部屋２の中でユーザが移動したと認識される範囲に対応する空間４２を制限対象の空間として設定する。さらに、制限対象設定部１０６は、空間４２内に位置するテーブル３０ｃを制限対象の物体として設定してもよい。
　‐物体の配置による設定
　また、制限対象設定部１０６は、部屋２の中に配置される複数の所定の物体の位置の認識結果に基づいて、制限対象の物体、および／または、制限対象の空間を設定することが可能である。例えば、制限対象設定部１０６は、部屋２の中に配置された三個以上の所定の物体で囲まれた範囲に対応する空間を制限対象の空間（あるいは、制限対象外の空間）として新たに設定してもよい。また、この場合、制限対象設定部１０６は、当該三個以上の所定の物体で囲まれた範囲に対応する空間内に位置する一以上の物体をそれぞれ制限対象の物体（あるいは、制限対象外の物体）として新たに設定してもよい。
　（１－２－４－３．自動設定）
　また、制限対象設定部１０６は、検出結果取得部１０２により取得された検出結果に基いて、制限対象の物体、および／または、制限対象の空間を自動的に設定することも可能である。例えば、所定の属性に合致する物体が部屋２の中に存在することが検出された場合には、制限対象設定部１０６は、当該物体を制限対象の物体として設定する。一例として、制限対象設定部１０６は、手紙や衣服など、プライベートの程度が相対的に高い物体を制限対象の物体として設定してもよい。また、制限対象設定部１０６は、例えば、検出結果取得部１０２により取得された撮影画像の解析結果などに基いて、（部屋２の中に位置する）汚れていると認識された物体を制限対象の物体として設定してもよい。
　また、所定の属性に合致する空間が部屋２の中に存在することが検出された場合には、制限対象設定部１０６は、当該空間を制限対象の空間として設定することが可能である。一例として、制限対象設定部１０６は、例えば台所、寝室、トイレなど、プライベートの程度が相対的に高い空間を制限対象の空間として設定してもよい。また、制限対象設定部１０６は、ユーザの平均滞在時間が所定の閾値よりも小さい空間（例えばトイレなど）を制限対象の空間として設定してもよい。また、制限対象設定部１０６は、ユーザの訪問頻度が所定の閾値よりも小さい空間（例えば寝室など）を制限対象の空間として設定してもよい。
　｛１－２－５．視聴制限部１０８｝
　視聴制限部１０８は、コンテンツ生成部１０４により生成されたコンテンツのうち、部屋２の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する。例えば、所定の条件が成立する場合には、視聴制限部１０８は、当該一部のコンテンツの視聴を制限する。また、所定の条件が成立しない場合には、視聴制限部１０８は、当該コンテンツの視聴を制限しない。
　ここで、部屋２の一部の空間は、部屋２のうち所定の条件を満たす空間であり得る。また、当該所定の条件を満たす空間は、制限対象設定部１０６により設定された制限対象の物体を含む空間、および、制限対象の空間を含み得る。
　（１－２－５－１．視点の移動の制限）
　以下では、視聴制限部１０８による当該コンテンツの視聴の制限例についてより詳細に説明する。例えば、視聴制限部１０８は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分における視点の移動を制限する。一例として、視聴制限部１０８は、制限対象の空間の内部に対応する、当該コンテンツの部分への視点の移動を許可しない。また、視聴制限部１０８は、制限対象の空間の外部に対応する、当該コンテンツの部分における視点の移動を許可する。
　（１－２－５－２．表示の制限）
　また、視聴制限部１０８は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分の視認性を低下させるように、当該コンテンツの表示を制御することが可能である。例えば、視聴制限部１０８は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分に関して、詳細を閲覧不能にするような画像処理を行う。一例として、視聴制限部１０８は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分を例えば黒色などの所定の色で塗りつぶす処理を行ってもよい。例えば、ベッド３０ａが制限対象の物体に設定されている場合には、図５に示したように、視聴制限部１０８は、部屋２の中のベッド３０ａに対応する、当該コンテンツ５０の部分を黒色などの所定の色で塗りつぶす。
　または、視聴制限部１０８は、当該コンテンツの部分に対してモザイク処理を行ってもよいし、または、当該部分に対してぼかす処理を行ってもよい。または、視聴制限部１０８は、制限対象の物体（および、制限対象の空間内に位置する各物体）をそれぞれワイヤフレームで表示させてもよいし、または、各物体をそれぞれ、例えば直方体など別のオブジェクトに置き換えてもよい。これらの制限例によれば、部屋２の中の制限対象の物体および制限対象の空間に関して存在することは、（当該コンテンツを視聴する）ユーザ４が確認可能であるが、詳細を閲覧できないように制限することができる。
　または、視聴制限部１０８は、当該コンテンツの部分に対して透過度を上げる処理を行ってもよい。例えば、視聴制限部１０８は、当該コンテンツの部分の透過度を１００％にしてもよい（つまり完全に透明にしてもよい）。
　また、視聴制限部１０８は、制限対象の物体および制限対象の空間に対応する、当該コンテンツの部分をくりぬく処理を行ってもよい（つまり、当該コンテンツの部分を非表示にしてもよい）。なお、変形例として、視聴制限部１０８は、汚れていると認識された物体に関しては、当該汚れを除去する画像処理を行ってもよい。
　（１－２－５－３．動的な制限）
　‐関係性
　また、視聴制限部１０８は、当該コンテンツにおいて視聴が制限される部分を所定の条件に基いて動的に変更することも可能である。ここで、所定の条件は、コンテンツを視聴するユーザ４と権限者６との関係性（親密度など）を示すデータに関する条件を含み得る。ここで、当該関係性を示すデータは、例えば、所定のＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）におけるユーザ４または権限者６の登録情報から得られるデータや、ユーザ４と権限者６との間での契約の状況を示すデータなどである。
　例えば、ユーザ４が権限者６の家族であることが特定される場合には、視聴制限部１０８は、コンテンツの視聴を制限しなくてもよい（つまり、制限対象の物体および制限対象の空間に対応する部分であっても、コンテンツの視聴が制限されない）。また、ユーザ４が権限者６の友人であることが特定される場合には、視聴制限部１０８は、制限対象設定部１０６により設定された制限対象の物体のうちの一部の物体、および、制限対象の空間のうちの一部の空間に対応する、当該コンテンツの部分の視聴を制限しなくてもよい。
　また、視聴制限部１０８は、ユーザ４と権限者６との関係性を示すデータの変化に基づいて、視聴が制限される部分を動的に変更することも可能である。例えば、ユーザ４と権限者６との間の親密度が上がったことが特定された場合（例えば所定のＳＮＳにおいてユーザ４と権限者６との間で新たに友人登録されたことが特定された場合など）には、視聴制限部１０８は、視聴が制限される物体の数を減らしたり、視聴が制限される空間の範囲を縮小したり、または、部屋２の中で視点を移動可能な範囲を拡大してもよい。また、ユーザ４と権限者６との間でコンテンツの視聴に関する所定の契約が交わされ、かつ、契約済みであることが例えば記憶部１２２などに登録されている場合には、視聴制限部１０８は、当該契約の内容に応じて、視聴が制限される物体の数を減らしたり、視聴が制限される空間の範囲を縮小したり、または、部屋２の中で視点を移動可能な範囲を拡大してもよい。
　ここで、所定の契約は、例えば、部屋２の中に存在する機器が故障した際などに作業員（ユーザ４）が遠隔地から当該機器を閲覧したり、遠隔操作するための契約であってもよい。または、所定の契約は、例えば権限者６が購入予定の家具や機器などが部屋２内に配置可能であるか否かを店員（ユーザ４）が遠隔地から確認するための契約であってもよい。
　‐課金状態
　また、所定の条件は、コンテンツを視聴するユーザ４の課金状態、または、ユーザ４の有料会員の登録状況（例えば有料会員であるか否かや、会員のグレードなど）を示すデータに関する条件を含み得る。ここで、ユーザ４の課金状態を示すデータ、または、ユーザ４の有料会員の登録状況を示すデータは、例えば記憶部１２２に記憶されるなど、サーバ１０により管理されてもよいし、または、外部の装置（図示省略）により管理されてもよい。
　例えば、視聴制限部１０８は、ユーザ４が支払っている金額がより大きいことが特定されるほど、コンテンツの視聴時の視点および視界に関する制限を少なくしてもよい。一例として、部屋２が音楽などのイベント会場であり、かつ、ユーザ４が無料会員であることが特定される場合には、視聴制限部１０８は、舞台の正面が縮小表示された映像のみを視聴可能なように（つまり、舞台の遠方の客席にユーザ４が位置するように）当該コンテンツの視聴を制限する。また、ユーザ４が低額の料金を支払っていることが特定される場合には、視聴制限部１０８は、舞台が拡大表示されるが、当該舞台の正面のみから映像を視聴可能なように（つまり、舞台の近くの客席にユーザ４が位置するように）当該コンテンツの視聴を制限する。また、ユーザ４が高額の料金を支払っていることが特定される場合には、視聴制限部１０８は、視点の移動に関して原則制限しなくてもよい。これにより、ユーザ４は、例えば舞台上の人物の側方や背面に視点を移動可能など、舞台上で視点を自由に移動可能となる。
　また、舞台上に複数の人物が位置しており、かつ、ユーザ４が低額の料金を支払っていることが特定される場合には、視聴制限部１０８は、当該複数の人物のうちの一部の人物だけを表示させるように、当該コンテンツの視聴を制限してもよい。また、ユーザ４が高額の料金を支払っていることが特定される場合には、視聴制限部１０８は、当該複数の人物全員を表示させてもよい。
　‐人物の在否
　また、所定の条件は、部屋２の中に人物がいることが検出されることを含み得る。例えば、部屋２の中に人物（権限者６など）が一人以上いる場合には、当該人物は、コンテンツを視聴するユーザ４の行動（視点の移動状況）を確認可能であり得る。そこで、部屋２の中に人物が一人以上いることが検出される場合には、視聴制限部１０８は、部屋２の中で視点を移動可能な範囲を拡大してもよい。また、部屋２の中に人物が一人も存在しないことが検出される場合には、視聴制限部１０８は、部屋２の中で視点を移動可能な範囲を縮小してもよい。
　‐権限者６の指定
　また、所定の条件は、当該コンテンツが視聴されている間において、権限者６による、制限対象の物体や制限対象の空間を変更する操作が検出されることを含み得る。例えば、制限対象の物体や制限対象の空間を変更する操作が検出される度に、視聴制限部１０８は、視聴が制限される物体や空間を、検出された操作に応じて逐次変更してもよい。
　一例として、部屋２の中のある地点が権限者６により指定され、かつ、制限範囲の指定のための音声コマンド（例えば「ここから先は表示不可！」など）が認識された場合には、視聴制限部１０８は、部屋２における、指定された地点から奥の空間に対応する、コンテンツの部分全てに対してぼかす処理を行ってもよいし、または、当該コンテンツの部分へのユーザ４の視点の移動を禁止（制限）してもよい。または、この場合、視聴制限部１０８は、指定された地点から奥の空間内に位置する、特定の物体（例えば人など）以外の全ての物体を非表示にするようにコンテンツの表示を制御してもよい（つまり、特定の物体のみを表示させてもよい）。
　‐監視
　また、所定の条件は、後述する監視状態判定部１１２により部屋２が監視されていると判定されることを含み得る。例えば、部屋２が監視されていると監視状態判定部１１２により判定された場合には、視聴制限部１０８は、視聴が制限される空間の範囲を縮小してもよい。また、部屋２が監視されていないと監視状態判定部１１２により判定された場合には、視聴制限部１０８は、視聴が制限される空間の範囲を拡大または維持してもよい。
　‐特定の物体
　また、所定の条件は、特定の物体（例えば、ペットや子どもなど）が部屋２の中に存在すると検出されることを含み得る。例えば、特定の物体が部屋２の中に存在すると検出された場合には、視聴制限部１０８は、部屋２全体が視聴不可能なように、当該コンテンツの視聴を制限してもよい。なお、特定の物体は、権限者６が指定可能であってもよいし、または、システム管理者が予め設定してもよい。
　｛１－２－６．表示制御部１１０｝
　表示制御部１１０は、視聴制限部１０８による処理後の自由視点のコンテンツを第１の表示部２２に表示させる。また、表示制御部１１０は、（部屋２の中に位置する）第２の表示部２４に対する表示を制御する。
　（１－２－６－１．制限対象の物体・制限対象の空間の表示）
　なお、例えば、コンテンツ生成部１０４により生成されたコンテンツを視聴中のユーザ４と権限者６とが例えば電話などを用いてリアルタイムにコミュニケーションを行っている場面において、仮に、視聴が制限されている物体を権限者６が話題にすると、ユーザ４と権限者６との間で話が噛合わなくなってしまうことが想定される。そこで、表示制御部１１０は、現在視聴が制限されている、コンテンツの部分を示す情報を（部屋２の中に位置する）第２の表示部２４に表示させることが望ましい。例えば、表示制御部１１０は、当該コンテンツにおいて視聴が制限されている部分に対応する、部屋２の中の物体および空間の周囲に例えば所定の色の線を第２の表示部２４に表示させてもよいし、または、当該物体および空間の位置（または近傍）に所定のアイコンを第２の表示部２４に表示させてもよい。
　図６は、部屋２の中に配置されているベッド３０ａが制限対象の物体として設定されている際における、第２の表示部２４による表示例を示した説明図である。図６に示したように、例えば、表示制御部１１０は、ベッド３０ａの周囲に対応する表示位置に所定の色の線５２０を第２の表示部２４に表示させる。
　これらの表示例によれば、当該コンテンツを視聴するユーザ４に関して現在視聴が制限されている部分を、部屋２の中にいる権限者６はリアルタイムに知ることができる。従って、権限者６は、当該物体を話題にしないように判断することができるので、権限者６とユーザ４との間でのコミュニケーションの不全を防止することができる。
　‐変形例
　なお、部屋２の外部に位置する複数のユーザが当該コンテンツを同時に視聴している場合には、表示制御部１１０は、当該複数のユーザの各々に関して、視聴が制限されている部分を示す情報を当該ユーザと関連付けて第２の表示部２４に表示させることも可能である。例えば、表示制御部１１０は、ユーザごとに、当該ユーザに関して視聴が制限されている部分に対応する部屋２の中の物体および空間の周囲に、当該ユーザに予め関連付けられている色の線を第２の表示部２４に表示させてもよい。または、表示制御部１１０は、ユーザごとに、当該ユーザに関して視聴が制限されている部分に対応する部屋２の中の物体および空間の位置（または近傍）に、当該ユーザに関連付けられている種類のアイコンを表示させてもよいし、または、当該ユーザの識別情報を表示させてもよい。
　この表示例によれば、ユーザ４ａおよびユーザ４ｂが同じコンテンツを視聴している場面において、部屋２の中のある物体をユーザ４ａは視聴可能であるが、ユーザ４ｂは視聴が制限されていることを権限者６に知らせることができる。
　（１－２－６－２．視聴するユーザの表示）
　また、表示制御部１１０は、例えば図７のＢに示したように、当該コンテンツを視聴しているユーザの映像３２を、（部屋２の中に位置する）第２の表示部２４に表示させることも可能である。なお、この際、表示制御部１１０は、例えばユーザ４が装着する第１の表示部２２などにより検出される、当該コンテンツにおいてユーザ４が見ている方向に応じて、ユーザの映像３２の向きを調整してもよい。
　なお、変形例として、視聴制限部１０８は、ユーザの映像３２のうちの目の部分を権限者６が手で隠す動作の検出に基づいて、（該当のユーザ４による）コンテンツの視聴を制限してもよい。例えば、当該動作が検出された場合には、視聴制限部１０８は、コンテンツの視聴自体を禁止（全て非表示にするなど）してもよいし、または、該当のユーザの視線方向に位置する物体および空間に対応する、当該コンテンツの部分を非表示にしてもよい。
　｛１－２－７．監視状態判定部１１２｝
　監視状態判定部１１２は、権限者６により部屋２が監視されている否かを所定の判定基準に基いて判定する。例えば、部屋２の中または部屋２の近傍に権限者６が位置することが検出される場合には、監視状態判定部１１２は、部屋２が監視されていると判定する。なお、権限者６が携帯する端末内のＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機の測定結果やセンサ部２０による撮影画像などをサーバ１０が受信することにより、監視状態判定部１１２は、権限者６が部屋２の中（または部屋２の近傍）に位置するか否かを判定することが可能である。
　また、一以上のセンサ部２０、または、部屋２の中に配置された他のカメラ（図示せず）により撮影された映像を、権限者６が使用する所定の端末が表示している場合には、監視状態判定部１１２は、当該所定の端末が権限者６の視界内または視界の近傍に位置するか否かに基づいて、部屋２が監視されているか否かを判定する。例えば、当該所定の端末が権限者６の視界内または視界の近傍に位置する場合には、監視状態判定部１１２は、部屋２が監視されていると判定する。また、当該所定の端末が権限者６の視界外に位置する場合には、監視状態判定部１１２は、部屋２が監視されていないと判定する。なお、当該所定の端末に設置されているインカメラにより撮影された映像をサーバ１０が受信することにより、監視状態判定部１１２は、当該所定の端末が権限者６の視界内または視界の近傍に位置するか否かを判定することが可能である。
　また、監視状態判定部１１２は、一以上のセンサ部２０、または、部屋２の中に配置された他のカメラに対する当該所定の端末のアクセス状況に基づいて、部屋２が監視されている否かを判定することも可能である。例えば、これらのカメラのうちの少なくともいずれかに対して当該所定の端末がアクセスしていることが検出された場合には、監視状態判定部１１２は、部屋２が監視されていると判定する。
　｛１－２－８．通信部１２０｝
　通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、表示制御部１１０の制御に従って、視聴制限部１０８による処理後の自由視点のコンテンツを第１の表示部２２へ送信する。また、通信部１２０は、複数のセンサ部２０の各々によりセンシングされたセンシングデータを当該複数のセンサ部２０から受信する。
　｛１－２－９．記憶部１２２｝
　記憶部１２２は、各種のデータや各種のソフトウェアを記憶する。例えば、記憶部１２２は、制限対象設定部１０６により設定された、制限対象の物体および制限対象の空間の情報を記憶する。
　＜１－３．処理の流れ＞
　以上、第１の実施形態による構成について説明した。次に、第１の実施形態による処理の流れの一例について、「１－３－１．制限対象の物体・制限対象の空間の設定時の処理の流れ」～「１－３－２．コンテンツの表示時の処理の流れ」において説明する。なお、「制限対象の物体・制限対象の空間の設定時の処理の流れ」と「コンテンツの表示時の処理の流れ」とは並行して実行され得る。
　｛１－３－１．制限対象の物体・制限対象の空間の設定時の処理の流れ｝
　まず、「制限対象の物体・制限対象の空間の設定時の処理の流れ」について、図８を参照して説明する。図８に示したように、まず、権限者６は、汎用ＰＣなどの端末を操作して、設定ツールを起動する。そして、権限者６が、設定ツールにおいて、制限対象の空間の設定を選択した場合には（Ｓ１０１：Ｙｅｓ）、次に、権限者６は、制限対象に設定することを希望する、部屋２の中の空間を指定する（Ｓ１０３）。
　その後、当該端末は、Ｓ１０３で指定された空間の情報をサーバ１０へ送信する。次に、サーバ１０の制限対象設定部１０６は、受信された情報が示す空間を制限対象の空間に設定する。そして、制限対象設定部１０６は、設定した情報を記憶部１２２に追加登録する（Ｓ１０５）。その後、Ｓ１１３の処理が実行される。
　一方、Ｓ１０１において、権限者６が、制限対象の物体の設定を選択した場合には（Ｓ１０１：Ｎｏ、Ｓ１０７：Ｙｅｓ）、次に、権限者６は、制限対象に設定することを希望する物体を指定する（Ｓ１０９）。
　そして、当該端末は、Ｓ１０９で指定された物体の情報をサーバ１０へ送信する。次に、サーバ１０の制限対象設定部１０６は、受信された情報が示す物体を制限対象の物体に設定する。そして、制限対象設定部１０６は、設定した情報を記憶部１２２に追加登録する（Ｓ１１１）。
　その後、設定ツールの終了が入力された場合には（Ｓ１１３：Ｙｅｓ）、本処理は終了する。一方、設定ツールの終了が入力されていない場合には（Ｓ１１３：Ｎｏ）、再びＳ１０１以降の処理が実行される。
　また、Ｓ１０７において、権限者６が、制限対象の物体の設定を選択しなかった場合には（Ｓ１０７：Ｎｏ）、再びＳ１０１の処理が実行される。
　｛１－３－２．コンテンツの表示時の処理の流れ｝
　次に、「コンテンツの表示時の処理の流れ」について、図９を参照して説明する。図９に示したように、まず、サーバ１０は、複数のセンサ部２０の各々によりセンシングされた部屋２のセンシングデータを複数のセンサ部２０から受信する（Ｓ２０１）。
　続いて、コンテンツ生成部１０４は、受信されたセンシングデータに基づいて、部屋２に関する自由視点のコンテンツを生成する（Ｓ２０３）。
　その後、視聴制限部１０８は、制限対象の空間が設定されているか否かを確認する（Ｓ２０５）。制限対象の空間が全く設定されていない場合には（Ｓ２０５：Ｎｏ）、視聴制限部１０８は、後述するＳ２０９の処理を行う。
　一方、制限対象の空間が設定されている場合には（Ｓ２０５：Ｙｅｓ）、視聴制限部１０８は、設定済みの全ての制限対象の空間の各々に対応する、Ｓ２０３で生成されたコンテンツの部分を例えば黒色などの所定の色で塗りつぶす（Ｓ２０７）。
　その後、視聴制限部１０８は、制限対象の物体が設定されているか否かを確認する（Ｓ２０９）。制限対象の物体が全く設定されていない場合には（Ｓ２０９：Ｎｏ）、視聴制限部１０８は、後述するＳ２１３の処理を行う。
　一方、制限対象の物体が設定されている場合には（Ｓ２０９：Ｙｅｓ）、視聴制限部１０８は、設定済みの全ての制限対象の物体の各々に対応する、Ｓ２０７で処理後のコンテンツもしくはＳ２０３で生成されたコンテンツの部分を例えば黒色などの所定の色で塗りつぶす（Ｓ２１１）。
　その後、通信部１２０は、表示制御部１１０の制御に従って、該当のコンテンツを第１の表示部２２へ送信する。そして、第１の表示部２２は、受信したコンテンツを表示する（Ｓ２１３）。
　＜１－４．効果＞
　以上説明したように、第１の実施形態によれば、サーバ１０は、部屋２のセンシング結果に基づいて自由視点のコンテンツを生成し、そして、当該自由視点のコンテンツのうち、部屋２の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する。これにより、当該コンテンツの視聴を適切に制限することができる。
　例えば、サーバ１０は、当該自由視点のコンテンツのうち、設定された制限対象の物体および制限対象の空間に対応する、一部のコンテンツにおける視点の移動を制限したり、または、当該一部のコンテンツの視認性を低下させるように当該コンテンツの表示を制御する。このため、例えば、部屋２の中に位置する物体や空間のうち、外部のユーザ４に閲覧されることを望まない物体や空間を制限対象の物体および制限対象の空間として権限者６は予め指定しておくことにより、当該コンテンツにおける該当の部分の視聴を制限することができる。従って、外部のユーザ４による当該自由視点のコンテンツの視聴を一部可能としつつ、権限者６のプライバシーを適切に保護することができる。
＜＜２．第２の実施形態＞＞
　＜２－１．情報処理システムの構成＞
　以上、第１の実施形態について説明した。次に、第２の実施形態について説明する。図１０は、第２の実施形態による情報処理システムの構成例を示した説明図である。図１０に示すように、第２の実施形態では、複数の部屋２の中にそれぞれ複数のセンサ部２０が配置されており、かつ、当該複数の部屋２の各々の中にそれぞれユーザ６が位置する場面を想定する。ここで、部屋２ａ内のユーザ６ａは、例えば部屋２ａの管理権限を有するユーザであり、また、部屋２ｂ内のユーザ６ｂは、部屋２ｂの管理権限を有するユーザであり得る。
　第２の実施形態によるサーバ１０は、図１１に示したように、部屋２ａ内に配置されている複数のセンサ部２０により取得された部屋２ａの略全体の三次元情報６２ａと、部屋２ｂ内に配置されている複数のセンサ部２０により取得された部屋２ｂの略全体の三次元情報６２ｂとを合成することにより、仮想的な共有空間６０を生成することが可能である。さらに、サーバ１０は、生成した共有空間６０に基いて、共有空間６０に関する自由視点のコンテンツを生成し、そして、図１２に示したように、当該コンテンツをユーザ６ａが閲覧する第１の表示部２２ａ、および、ユーザ６ｂが閲覧する第１の表示部２２ｂへそれぞれ伝送することが可能である。これにより、複数の部屋２の各々に位置するユーザ６は、伝送されたコンテンツを視聴することにより、あたかも共有空間６０の内部に位置するような体験をすることができる。
　後述するように、第２の実施形態によるサーバ１０は、生成された共有空間に関する自由視点のコンテンツの視聴を、当該コンテンツを視聴するユーザ６ごとに、当該ユーザ６が位置する部屋２に応じて制限することが可能である。例えば、サーバ１０は、共有空間６０内に配置された部屋２ｂ内の一部の物体に関して、部屋２ａ内のユーザ６ａによる視聴を制限し、かつ、共有空間６０内に配置された部屋２ａ内の一部の物体に関して、部屋２ｂ内のユーザ６ｂによる視聴を制限することができる。
　＜２－２．構成＞
　次に、第２の実施形態による構成について詳細に説明する。第２の実施形態によるサーバ１０に含まれる構成要素は、第１の実施形態と同様である。以下では、第１の実施形態とは異なる機能を有する構成要素についてのみ説明を行う。
　{２－２－１．コンテンツ生成部１０４｝
　第２の実施形態によるコンテンツ生成部１０４は、部屋２ａ内に配置されている複数のセンサ部２０により取得された部屋２ａの略全体の三次元情報と、部屋２ｂに配置されている複数のセンサ部２０により取得された部屋２ｂの略全体の三次元情報とを合成することにより、仮想的な共有空間を生成する。
　また、コンテンツ生成部１０４は、生成した共有空間に基いて、当該共有空間に関する自由視点のコンテンツを生成する。なお、コンテンツ生成部１０４は、ユーザ６ごとに、当該ユーザ６が閲覧する第１の表示部２２が非透過型の眼鏡型デバイスであるか否かに基いて、当該共有空間に関する自由視点のコンテンツを生成してもよい。例えば、部屋２ａ内のユーザ６ａが閲覧する第１の表示部２２ａが非透過型の眼鏡型デバイスではない場合（例えば３Ｄプロジェクタや透過型の眼鏡型デバイスなどである場合）には、コンテンツ生成部１０４は、生成した共有空間に基づいて、他の部屋２ｂ内に位置する物体の映像５２ｂのみを含む、自由視点のコンテンツを当該ユーザ６ａのために生成してもよい。
　{２－２－２．視聴制限部１０８｝
　第２の実施形態による視聴制限部１０８は、コンテンツ生成部１０４により生成されたコンテンツの視聴を、当該コンテンツを視聴するユーザ６が位置する部屋２に応じて制限する。例えば、部屋２ｂ内の物体のうち制限対象の物体として設定されている物体に対応する、当該コンテンツの部分に関しては、視聴制限部１０８は、部屋２ａに位置するユーザ６ａによる視聴を制限する。なお、具体的な制限内容に関しては、第１の実施形態と概略同様である。また、個々の部屋２における制限対象の物体（および制限対象の空間）の設定方法に関しても第１の実施形態と概略同様である。
　{２－２－３．表示制御部１１０｝
　第２の実施形態による表示制御部１１０は、ユーザ６ごとに、当該ユーザ６に対して視聴が制限された自由視点のコンテンツを、当該ユーザ６が閲覧する第１の表示部２２に表示させる。
　＜２－３．効果＞
　以上説明したように、第２の実施形態によれば、サーバ１０は、部屋２ａのセンシング結果と、部屋２ｂのセンシング結果とに基づいて共有空間を生成し、そして、当該共有空間に関する自由視点のコンテンツの視聴を、当該コンテンツを視聴するユーザ６ごとに、当該ユーザ６が位置する部屋２に応じて制限する。例えば、部屋２ａ内に位置するユーザ６ａは、部屋２ａ内に位置する物体のうち、他の部屋２ｂ内に位置するユーザ６ｂに閲覧されることを望まない物体を制限対象の物体として予め指定しておくことにより、当該物体に対応する、当該自由視点のコンテンツの部分の、ユーザ６ｂによる視聴を制限することができる。
　また、第２の実施形態によれば、個々のユーザは別々の部屋にいながら、あたかも他のユーザと同じ部屋（共有空間）の中に位置するような体験をすることができる。例えば、個々のユーザは、自己のプライバシーが適切に保護されながら、他の部屋２内のユーザと共有空間上で一緒に活動を行うことができ、楽しむことができる。一例として、個々のユーザは、当該ユーザの部屋の中に実際に存在する物体を用いて、他の部屋２内のユーザとコミュニケーションを行うことができる。
＜＜３．ハードウェア構成＞＞
　次に、各実施形態に共通するサーバ１０のハードウェア構成について、図１３を参照して説明する。図１３に示すように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。
　ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
　ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
　ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
　インターフェース１５８は、ストレージ装置１６０、および通信装置１６２を、バス１５６と接続する。
　ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
　通信装置１６２は、例えば通信網２６などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
＜＜４．変形例＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した各実施形態による情報処理システムの構成は、図１または図１０に示した例に限定されない。例えば、図１および図１０では、サーバ１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、各実施形態によるサーバ１０の機能が実現されてもよい。
　また、上述した各実施形態では、本開示における情報処理装置がサーバ１０である例について説明したが、かかる例に限定されない。例えば、当該情報処理装置は、汎用ＰＣ、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、ロボット、プロジェクタ、または、例えばＨＭＤやＡＲグラスなどのウェアラブルデバイスであってもよい。
　また、上述した各実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
　また、上述した各実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した各実施形態によるサーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、
を備える、情報処理装置。
（２）
　前記視聴制限部は、前記一部のコンテンツにおける視点の移動を制限する、前記（１）に記載の情報処理装置。
（３）
　前記視聴制限部は、前記一部のコンテンツの視認性を低下させるように前記一部のコンテンツの表示を制御する、前記（１）に記載の情報処理装置。
（４）
　前記視聴制限部は、前記一部のコンテンツの表示色を所定の色に変更する処理、前記一部のコンテンツの透過度を上げる処理、または、前記一部のコンテンツをぼかす処理を行う、前記（３）に記載の情報処理装置。
（５）
　前記実空間の一部の空間は、前記実空間のうち前記所定の条件を満たす空間である、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記所定の条件を満たす空間は、制限対象の物体を含む空間、および／または、制限対象の空間である、前記（５）に記載の情報処理装置。
（７）
　前記視聴制限部は、前記一部のコンテンツの内部への視点の移動を許可しない、前記（６）に記載の情報処理装置。
（８）
　前記制限対象の物体および／または前記制限対象の空間は、前記実空間のレイアウトを示す操作画面に対するユーザの入力に基づいて設定される、前記（６）または（７）に記載の情報処理装置。
（９）
　前記制限対象の物体および／または前記制限対象の空間は、前記実空間におけるユーザのポインティング動作の検出に基づいて設定される、前記（６）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記制限対象の空間は、前記実空間においてユーザが移動した領域の検出結果に基づいて設定される、前記（６）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記制限対象の空間は、前記実空間内に配置された複数の所定の物体の位置の検出結果に基づいて設定される、前記（６）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記所定の条件を満たす空間は、所定の属性に合致する物体を含む空間、および／または、所定の属性に合致する空間である、前記（５）に記載の情報処理装置。
（１３）
　前記所定の属性に合致する空間は、ユーザの平均滞在時間が所定の閾値よりも小さい空間、および／または、ユーザの訪問頻度が所定の閾値よりも小さい空間を含む、前記（１２）に記載の情報処理装置。
（１４）
　前記所定の条件が成立する場合には、前記視聴制限部は、前記一部のコンテンツの視聴を制限する、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（１５）
　前記所定の条件は、前記実空間に関連する第１のユーザと、前記コンテンツを視聴する第２のユーザとの関係性に関する条件を含む、前記（１４）に記載の情報処理装置。
（１６）
　前記所定の条件は、前記コンテンツを視聴するユーザの課金状態または有料会員の登録状況に関する条件を含む、前記（１４）または（１５）に記載の情報処理装置。
（１７）
　前記コンテンツは、前記実空間の外部に位置するユーザにより視聴され、
　前記情報処理装置は、前記実空間の一部の空間内の物体および／または前記実空間の一部の空間を示す情報を、前記実空間内に位置する表示部に表示させる表示制御部をさらに備える、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記情報処理装置は、前記センシング結果を取得する取得部と、
　前記センシング結果に基いて、前記自由視点のコンテンツを生成するコンテンツ生成部と、をさらに備える、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いてプロセッサが制限すること、
を含む、情報処理方法。
（２０）
　コンピュータを、
　実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、
として機能させるための、プログラム。
１０　サーバ
２０　センサ部
２２　第１の表示部
２４　第２の表示部
２６　通信網
１００　制御部
１０２　検出結果取得部
１０４　コンテンツ生成部
１０６　制限対象設定部
１０８　視聴制限部
１１０　表示制御部
１１２　監視状態判定部
１２０　通信部
１２２　記憶部

Claims (20)

  1. 　実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、
    を備える、情報処理装置。
  2. 　前記視聴制限部は、前記一部のコンテンツにおける視点の移動を制限する、請求項１に記載の情報処理装置。
  3. 　前記視聴制限部は、前記一部のコンテンツの視認性を低下させるように前記一部のコンテンツの表示を制御する、請求項１に記載の情報処理装置。
  4. 　前記視聴制限部は、前記一部のコンテンツの表示色を所定の色に変更する処理、前記一部のコンテンツの透過度を上げる処理、または、前記一部のコンテンツをぼかす処理を行う、請求項３に記載の情報処理装置。
  5. 　前記実空間の一部の空間は、前記実空間のうち前記所定の条件を満たす空間である、請求項１に記載の情報処理装置。
  6. 　前記所定の条件を満たす空間は、制限対象の物体を含む空間、および／または、制限対象の空間である、請求項５に記載の情報処理装置。
  7. 　前記視聴制限部は、前記一部のコンテンツの内部への視点の移動を許可しない、請求項６に記載の情報処理装置。
  8. 　前記制限対象の物体および／または前記制限対象の空間は、前記実空間のレイアウトを示す操作画面に対するユーザの入力に基づいて設定される、請求項６に記載の情報処理装置。
  9. 　前記制限対象の物体および／または前記制限対象の空間は、前記実空間におけるユーザのポインティング動作の検出に基づいて設定される、請求項６に記載の情報処理装置。
  10. 　前記制限対象の空間は、前記実空間においてユーザが移動した領域の検出結果に基づいて設定される、請求項６に記載の情報処理装置。
  11. 　前記制限対象の空間は、前記実空間内に配置された複数の所定の物体の位置の検出結果に基づいて設定される、請求項６に記載の情報処理装置。
  12. 　前記所定の条件を満たす空間は、所定の属性に合致する物体を含む空間、および／または、所定の属性に合致する空間である、請求項５に記載の情報処理装置。
  13. 　前記所定の属性に合致する空間は、ユーザの平均滞在時間が所定の閾値よりも小さい空間、および／または、ユーザの訪問頻度が所定の閾値よりも小さい空間を含む、請求項１２に記載の情報処理装置。
  14. 　前記所定の条件が成立する場合には、前記視聴制限部は、前記一部のコンテンツの視聴を制限する、請求項１に記載の情報処理装置。
  15. 　前記所定の条件は、前記実空間に関連する第１のユーザと、前記コンテンツを視聴する第２のユーザとの関係性に関する条件を含む、請求項１４に記載の情報処理装置。
  16. 　前記所定の条件は、前記コンテンツを視聴するユーザの課金状態または有料会員の登録状況に関する条件を含む、請求項１４に記載の情報処理装置。
  17. 　前記コンテンツは、前記実空間の外部に位置するユーザにより視聴され、
    　前記情報処理装置は、前記実空間の一部の空間内の物体および／または前記実空間の一部の空間を示す情報を、前記実空間内に位置する表示部に表示させる表示制御部をさらに備える、請求項１に記載の情報処理装置。
  18. 　前記情報処理装置は、前記センシング結果を取得する取得部と、
    　前記センシング結果に基いて、前記自由視点のコンテンツを生成するコンテンツ生成部と、をさらに備える、請求項１に記載の情報処理装置。
  19. 　実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いてプロセッサが制限すること、
    を含む、情報処理方法。
  20. 　コンピュータを、
    　実空間のセンシング結果に基いて生成される自由視点のコンテンツのうち、前記実空間の一部の空間に対応する一部のコンテンツの視聴を所定の条件に基いて制限する視聴制限部、
    として機能させるための、プログラム。
PCT/JP2017/038859 2016-11-21 2017-10-27 情報処理装置、情報処理方法、およびプログラム WO2018092545A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/343,547 US11212515B2 (en) 2016-11-21 2017-10-27 Information processing device and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-226210 2016-11-21
JP2016226210A JP2018085571A (ja) 2016-11-21 2016-11-21 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2018092545A1 true WO2018092545A1 (ja) 2018-05-24

Family

ID=62146381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038859 WO2018092545A1 (ja) 2016-11-21 2017-10-27 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11212515B2 (ja)
JP (1) JP2018085571A (ja)
WO (1) WO2018092545A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6878177B2 (ja) * 2017-07-04 2021-05-26 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7045218B2 (ja) * 2018-02-28 2022-03-31 キヤノン株式会社 情報処理装置および情報処理方法、プログラム
CN109064545B (zh) * 2018-06-06 2020-07-07 贝壳找房(北京)科技有限公司 一种对房屋进行数据采集和模型生成的方法及装置
CN109064542B (zh) * 2018-06-06 2019-11-19 贝壳找房(北京)科技有限公司 三维模型表面空洞填补方法和装置
JP7254464B2 (ja) * 2018-08-28 2023-04-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP7093418B2 (ja) 2018-09-20 2022-06-29 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP6700539B2 (ja) * 2018-10-15 2020-05-27 株式会社アルファコード 映像処理装置、映像処理方法、及び映像処理プログラム
JP7458735B2 (ja) 2019-10-01 2024-04-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022032483A (ja) 2020-08-12 2022-02-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7158781B1 (ja) * 2021-11-29 2022-10-24 クラスター株式会社 端末装置、サーバ、仮想現実空間提供システム、プログラムおよび仮想現実空間提供方法
JP2023111640A (ja) * 2022-01-31 2023-08-10 キヤノン株式会社 情報処理装置、情報処理方法、データ構造及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252849A (ja) * 2004-03-05 2005-09-15 Matsushita Electric Ind Co Ltd 監視カメラシステム
JP2009225398A (ja) * 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
JP2013106324A (ja) * 2011-11-16 2013-05-30 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2015204512A (ja) * 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
WO2016017245A1 (ja) * 2014-07-31 2016-02-04 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
JP2016122892A (ja) * 2014-12-24 2016-07-07 株式会社日立国際電気 映像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004487A (ja) 2003-06-12 2005-01-06 Sony Corp 捕捉パス上で撮影されたサラウンド画像を処理する装置及び方法
EP3133819A4 (en) 2014-04-14 2017-02-22 Panasonic Intellectual Property Management Co., Ltd. Image delivery method, image reception method, server, terminal apparatus, and image delivery system
US20160189280A1 (en) * 2014-12-31 2016-06-30 Venuenext, Inc. Modifying associations between vendors and regions of a venue
US9691361B2 (en) * 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
US9788200B2 (en) * 2016-02-29 2017-10-10 Motorola Solutions, Inc. Mobile communications device with a private zone and a non-private zone and methods of displaying communications in the same
US10306315B2 (en) * 2016-03-29 2019-05-28 International Business Machines Corporation Video streaming augmenting
US20170337352A1 (en) * 2016-05-23 2017-11-23 Daqri, Llc Confidential information occlusion using augmented reality
EP3264801B1 (en) * 2016-06-30 2019-10-02 Nokia Technologies Oy Providing audio signals in a virtual environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252849A (ja) * 2004-03-05 2005-09-15 Matsushita Electric Ind Co Ltd 監視カメラシステム
JP2009225398A (ja) * 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
JP2013106324A (ja) * 2011-11-16 2013-05-30 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2015204512A (ja) * 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
WO2016017245A1 (ja) * 2014-07-31 2016-02-04 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
JP2016122892A (ja) * 2014-12-24 2016-07-07 株式会社日立国際電気 映像装置

Also Published As

Publication number Publication date
JP2018085571A (ja) 2018-05-31
US11212515B2 (en) 2021-12-28
US20190268587A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
WO2018092545A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10606609B2 (en) Context-based discovery of applications
US9978174B2 (en) Remote sensor access and queuing
US10516870B2 (en) Information processing device, information processing method, and program
US20190019011A1 (en) Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
CN108234918B (zh) 具有隐私意识的室内无人机的勘探和通讯架构方法和系统
US20180321798A1 (en) Information processing apparatus and operation reception method
US11768956B2 (en) Privacy screen
WO2018125742A2 (en) Dynamic depth-based content creation in virtual reality environments
US10600253B2 (en) Information processing apparatus, information processing method, and program
US20180060333A1 (en) System and method for placement of virtual characters in an augmented/virtual reality environment
WO2015102854A1 (en) Assigning virtual user interface to physical object
US20230316681A1 (en) Extracting video conference participants to extended reality environment
US10620807B2 (en) Association of objects in a three-dimensional model with time-related metadata
US20160227868A1 (en) Removable face shield for augmented reality device
KR20220125353A (ko) 인공 현실에서 물리적 환경의 실시간 시각화를 자동으로 트리거하기 위한 시스템, 방법 및 매체
CN118103799A (zh) 与远程设备的用户交互
US10409464B2 (en) Providing a context related view with a wearable apparatus
US20240233274A9 (en) Electronic device and method for displaying modification of virtual object and method thereof
US20240135650A1 (en) Electronic device and method for displaying modification of virtual object and method thereof
CA3237995A1 (en) Systems, methods, and media for controlling shared extended reality presentations
WO2023146837A9 (en) Extended reality for collaboration
KR20210085929A (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17870759

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17870759

Country of ref document: EP

Kind code of ref document: A1