WO2019211936A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2019211936A1
WO2019211936A1 PCT/JP2019/005108 JP2019005108W WO2019211936A1 WO 2019211936 A1 WO2019211936 A1 WO 2019211936A1 JP 2019005108 W JP2019005108 W JP 2019005108W WO 2019211936 A1 WO2019211936 A1 WO 2019211936A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
content
area
control unit
information processing
Prior art date
Application number
PCT/JP2019/005108
Other languages
English (en)
French (fr)
Inventor
青木 悠
文彦 飯田
拓也 池田
健太郎 井田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19796140.2A priority Critical patent/EP3790270A4/en
Priority to US17/050,086 priority patent/US20210258548A1/en
Publication of WO2019211936A1 publication Critical patent/WO2019211936A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/147Optical correction of image distortions, e.g. keystone
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • Patent Document 1 discloses a technique related to controlling video display processing by a drive type projector.
  • display processing when a driving projector displays an image superimposed on an image displayed by a fixed projector is controlled.
  • the driving process when moving the image displayed by the driving projector is controlled.
  • the display effect of the overlapping part of the images displayed by both projectors and the display effect by moving the images are enhanced.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and recording medium that can further improve the visibility of content while moving in a projection area.
  • the projection device determines a projection region based on spatial information of a space in which the content can be projected, according to whether or not the projection device is in an operation mode for moving a projection region on which the content is projected.
  • An information processing apparatus includes a projection control unit that controls projection processing of the content onto the determined projection area.
  • the projection area is determined based on the spatial information of the space in which the projection apparatus can project the content, depending on whether the projection apparatus is in an operation mode for moving the projection area on which the content is projected.
  • an information processing method executed by a processor including determining and controlling the projection processing of the content onto the determined projection area.
  • the computer is based on spatial information of a space in which the projection device can project the content, depending on whether or not the projection device is in an operation mode for moving a projection region in which the content is projected.
  • a recording medium that records a program for determining a projection area and functioning as a projection control unit that controls a projection process of the content onto the determined projection area.
  • Embodiment of the present disclosure >> ⁇ 1.1. Overview>
  • miniaturization and high brightness of projectors are progressing.
  • the convenience of projectors has been improved for both general consumers and businesses.
  • the downsizing of the projector allows the user to easily move the projector and use it in various places.
  • content or the like is projected more brightly than a conventional projector.
  • a projector capable of changing the projection direction by driving is being studied.
  • a drive-type projector can project content and the like in an arbitrary direction within the installed space.
  • the drive type projector considers the visibility of the image before and after moving the image, but does not consider the visibility of the image while moving.
  • the drive type projector considers the visibility of the image before and after moving the image, but does not consider the visibility of the image while moving.
  • the content projected by the driving projector there may be a case where it is desired to show the user the content being projected while moving the projection direction.
  • the embodiment of the present disclosure was conceived by focusing on the above points, and further improving the visibility of content while moving the projection area with a projector that can dynamically change the projection direction.
  • the projection state of the content changes intermittently. For example, there are cases where the projection area extends over a plurality of surfaces by changing the projection direction. While the projection area extends over a plurality of surfaces, the content is also projected over the plurality of surfaces, greatly affecting the visibility of the content. Therefore, in the embodiment of the present disclosure, the information processing apparatus controls the content projection processing based on the spatial information of the projection direction.
  • FIG. 1 is an explanatory diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the embodiment of the present disclosure includes a sensor device 10, an information processing server 20, a projection device 30, and a display device 40 as illustrated in FIG.
  • an area where the content 51 is projected by the projection device 30 is referred to as a projection area 50.
  • the projection area may extend over a plurality of surfaces. When the projection area spans a plurality of surfaces, the projection area is divided by the number of the surfaces.
  • Each of the plurality of areas generated by dividing the projection area is referred to as a partial area.
  • the normal direction at an arbitrary position in the partial region is within a predetermined range. For example, in a plurality of areas generated by dividing the projection area, even if the angles formed by the normal direction at a plurality of positions in each area and the projection direction of the projection device 30 are different, each angle is predetermined. An area having an angle within the range is treated as a partial area.
  • the projection direction may be the optical axis direction of the projector. Changing the projection direction is the same as moving the projection area.
  • An area where the display device 40 displays the content 51 is referred to as a display area 42.
  • the sensor device 10 is a device that acquires sensing data.
  • the sensor device 10 is installed in the same space as the projection device 30, and acquires distance information regarding the space as sensing data.
  • the distance information is, for example, a distance to a wall surface in the space, a distance to an object, and the like.
  • the information processing server 20 is an information processing apparatus that controls processing of each element constituting the information processing system.
  • the information processing server 20 controls sensing data acquisition processing by the sensor device 10. Further, the information processing server 20 controls the content projection processing by the projection device 30. Further, the information processing server 20 controls content display processing by the display device 40.
  • Projection device 30 is a device that projects content.
  • the projection device 30 may be a drive type projector.
  • the display device 40 is a device that displays content.
  • the display device 40 includes a display.
  • the information processing server 20 is connected to the sensor device 10, the projection device 30, and the display device 40 by an arbitrary communication method.
  • the information processing server 20 is connected to the sensor device 10, the projection device 30, and the display device 40 by wired communication or wireless communication, and performs communication via the network 60.
  • the information processing server 20 may be configured to directly communicate with the sensor device 10, the projection device 30, and the display device 40.
  • the information processing server 20 may be installed in the same space as the sensor device 10, the projection device 30, and the display device 40.
  • the functions of the sensor device 10 and the projection device 30 may be realized by one device.
  • the functions of the sensor device 10, the information processing server 20, and the projection device 30 may be realized by a single device.
  • the functions of the sensor device 10 and the display device 40 may be realized by a single device.
  • the functions of the sensor device 10, the information processing server 20, and the display device 40 may be realized by one device.
  • the function of the information processing server 20 may be provided in at least one of the sensor device 10, the projection device 30, and the display device 40, or may be provided in each device.
  • FIG. 2 is a block diagram illustrating a configuration example of the information processing system according to the embodiment of the present disclosure.
  • the sensor device 10 has a function of acquiring sensing data.
  • the sensor device 10 is installed in the same space as the projection device 30, and acquires the distance to the wall surface in the space and the distance to the furniture installed in the space as sensing data. After acquiring the sensing data, the sensor device 10 transmits the sensing data to the information processing server 20.
  • the sensor device 10 includes, for example, a depth sensor 110 and a camera 120.
  • the apparatus with which the sensor apparatus 10 is provided for acquiring sensing data is not limited to the depth sensor 110 and the camera 120, and may include any apparatus.
  • the installation location and the number of installed sensor devices 10 in a certain space are not particularly limited, and an arbitrary number of sensor devices 10 may be installed at an arbitrary location.
  • the depth sensor 110 is a device that acquires depth information.
  • the depth sensor 110 is a distance measuring device using, for example, an infrared method or an ultrasonic method.
  • the depth sensor 110 may be a distance measuring device such as a laser range finder (LRF), a rider (LIDAR), or a stereo camera. Note that the type of distance measuring device used as the depth sensor 110 is not limited to the above-described example, and any type of distance measuring device may be used.
  • the depth sensor 110 After acquiring the depth information, the depth sensor 110 transmits the depth information to the information processing server 20 as sensing data.
  • the camera 120 is a device that captures images (still images / moving images).
  • the camera 120 is an imaging device such as an RGB camera or a thermo camera, and includes a lens system, a drive system, and an imaging device. After image capturing, the camera 120 transmits the image as sensing data to the information processing server 20.
  • the type of the imaging device used by the camera 120 is not limited to the above example, and any type of imaging device may be used.
  • the information processing server 20 is an information processing apparatus having a function of controlling processing of each element constituting the information processing system.
  • the information processing server 20 includes an I / F (Interface) unit 230, a map generation unit 240, a control unit 250, and a storage unit 260 as illustrated in FIG. Have.
  • the I / F unit 230 is a connection device for connecting the information processing server 20 and other devices.
  • the I / F unit 230 is realized by a communication device, for example.
  • the I / F unit 230 can transmit and receive information between the components of the sensor device 10, the projection device 30, and the display device 40 connected by a communication device.
  • a communication method of the I / F unit 230 any wired or wireless communication method may be used.
  • the I / F unit 230 may change the communication method according to the communication target.
  • the I / F unit 230 may be configured to directly communicate with each communication target, or may be configured to communicate via a network or the like.
  • the I / F unit 230 may be realized by a connector such as a USB (Universal Serial Bus) connector.
  • the I / F unit 230 can input and output information between the constituent elements of the sensor device 10, the projection device 30, and the display device 40 connected by a USB connector.
  • the I / F unit 230 outputs, for example, sensing data input from the sensor device 10 to the map generation unit 240 or the control unit 250. Further, the I / F unit 230 outputs an instruction regarding the content projection processing input from the control unit 250 to the projection device 30. Further, the I / F unit 230 outputs an instruction related to content display processing input from the control unit 250 to the display device 40.
  • the map generation unit 240 has a function of performing so-called space recognition such as map generation in space and object recognition based on sensing data detected by the sensor device 10. Specifically, the map generation unit 240 is configured based on sensing data acquired by the sensor device 10, such as a shape of a space, such as a wall surface, a ceiling, a floor, a door, furniture, and a household item, and a shape of an object that forms the space. And spatial information indicating the position of the object is generated. Then, the map generation unit 240 outputs the generated spatial information to the control unit 250. The map generation unit 240 may output the generated spatial information to the storage unit 260 and store the generated spatial information in the storage unit 260.
  • space recognition such as map generation in space and object recognition based on sensing data detected by the sensor device 10.
  • the map generation unit 240 is configured based on sensing data acquired by the sensor device 10, such as a shape of a space, such as a wall surface, a ceiling, a floor, a door, furniture, and
  • the map generation unit 240 can recognize the living space based on, for example, sensing data detected by the sensor device 10 installed in a place where the living space is reached. For example, the map generation unit 240 can recognize an entrance, a hallway, a kitchen, a living room, a dining room, a study, a bedroom, a bathroom, a bathroom, a veranda, and the like based on the sensing data. The map generation unit 240 can also generate spatial information that maps the arrangement of objects in each room based on the sensing data.
  • the control unit 250 has a function for controlling the overall operation of the information processing server 20.
  • the control unit 250 has a function related to the information processing server 20 controlling the sensing process of the sensor device 10.
  • the control unit 250 has a function related to the information processing server 20 controlling the projection processing of the projection device 30.
  • the control unit 250 has a function related to the information processing server 20 controlling display processing of the display device 40.
  • control unit 250 includes a setting unit 252 and a projection control unit 254 as illustrated in FIG.
  • the setting unit 252 has a function of setting the operation mode of the projection device 30.
  • the operation mode includes two modes: a drive mode in which the projection device 30 is driven, and a non-drive mode in which the projection device is not driven.
  • the operation mode is the drive mode
  • the projection device 30 can move the projection region 50 by driving and changing the projection direction.
  • the operation mode is the non-driving mode
  • the projection device 30 does not drive, so the projection direction is not changed, the projection area 50 is not moved, and the content is projected in a certain direction.
  • the setting unit 252 sets the operation mode based on an instruction from the user, for example.
  • the setting unit 252 may set the operation mode based on an instruction from the application.
  • the setting unit 252 may set the operation mode based on the spatial information.
  • the projection control unit 254 has a function of controlling the sensing process of the sensor device 10. For example, the projection control unit 254 causes the sensor device 10 to sense the space and acquire sensing data at a timing when the sensor device 10 is installed in a space. In addition, the projection control unit 254 may cause the sensor device 10 to sense the space every time a predetermined time elapses. Further, the projection control unit 254 may cause the sensor device 10 to sequentially sense the space while the projection device 30 is moving in the projection region 50.
  • the projection control unit 254 may cause the sensor device 10 to sense the entire space, or may sense a part of the space (for example, only the space in the projection direction).
  • the projection control unit 254 has a function of controlling the projection processing of the projection device 30.
  • the projection control unit 254 controls a process of changing the content projection direction by the projection device 30 based on the input instruction and the spatial information.
  • the input instruction is an instruction input to the user by a pointing device or the like, or an instruction input by an application or the like.
  • the projection control unit 254 detects a candidate for the projection region 50 and a candidate for the display device 40 based on the spatial information.
  • the projection control unit 254 sets an evaluation value (hereinafter also referred to as a fitness level) for each of the detected projection area 50 candidates and the display device 40 candidates.
  • the projection control unit 254 selects one candidate from the projection area 50 candidate and the display device 40 candidate based on the evaluation value, and determines the selected candidate as the projection region 50 or the display device 40.
  • the setting of the evaluation value will be specifically described.
  • two evaluation values are set from the viewpoint of the projection direction and the viewpoint of visibility.
  • one evaluation value is set from the viewpoint of the size of the display area 42.
  • the projection control unit 254 sets an evaluation value based on the normal direction of the projection area 50. For example, the projection control unit 254 determines the relative relationship between the projection device 30 and the projection area 50 based on the projection direction and the normal direction of the projection area 50. Specifically, the projection control unit 254 calculates the degree of coincidence between the projection direction and the normal direction vector. Since the projection area 50 having a higher matching degree is more suitable as the projection area 50 for projecting content, a higher evaluation value is set. A candidate having a partial area among the candidates for the projection area 50 calculates the degree of coincidence between the normal direction of each partial area and the projection direction, and an evaluation value is set for each partial area.
  • the projection control unit 254 sets an evaluation value based on the visibility of the content when the content is projected so as to be within the projection area 50. For example, when a content is projected so as to be contained in the projection area 50, a projection area 50 having higher visibility of the content is more suitable as the projection area 50 for projecting the content, and thus a higher evaluation value is set.
  • the candidates having partial areas among the candidates for the projection area 50 are set with evaluation values for each partial area based on the visibility of the content when the content is projected so as to fit in each partial area.
  • the projection control unit 254 is based on the visibility of the content when the content is displayed so as to fit in the display area 42, as in the viewpoint of the visibility of the projection area 50.
  • Set the evaluation value For example, when content is displayed so as to fit in the display area 42, a display device 40 with higher content visibility is more suitable as the display device 40 for displaying content, and thus a higher evaluation value is set.
  • the projection control unit 254 selects a projection area 50 that is more suitable for content projection based on the two evaluation values set for each of the candidates for the projection area 50.
  • the projection control unit 254 selects the display device 40 that is more suitable for content display based on the evaluation value set for each of the candidates for the display device 40.
  • the projection control unit 254 typically controls the projection processing so as to project content onto the projection area 50 selected from the projection area 50 candidates.
  • the projection control unit 254 controls the display process so that the display device 40 displays the content.
  • the projection control unit 254 may control the display process so that the display device 40 displays the content without moving the projection area 50.
  • the projection control unit 254 does not necessarily display content on the selected display device 40. For example, when there is the selected display device 40 near the projection area 50, the projection control unit 254 projects the projection area 50 so as to avoid the display device 40 without displaying the content on the display device 40. Processing may be controlled.
  • the projection control unit 254 has a function of determining the projection effect of the projection area 50 while moving the projection area 50 and controlling the projection process.
  • the projection effect is a change given to the state when the projection area 50 moves.
  • the projection control unit 254 detects another projection area 50 different from the destination projection area 50 based on the spatial information. Then, the projection control unit 254 may determine the optimum projection area 50 from the other projection areas 50 and set the determined projection area 50 as a new movement destination projection area 50. Further, the projection control unit 254 may change the size of the projection area 50 based on the spatial information. Further, the projection control unit 254 may move the projection region 50 by adding animation expression based on the spatial information.
  • the projection control unit 254 may determine a display effect when the display device 40 displays content, and may control display processing.
  • the display effect is a change given to the state of content displayed by the display device 40.
  • the projection control unit 254 may change the display size of the content according to the size of the display area 42.
  • the projection control unit 254 may move the content within the display region 42 in accordance with the driving of the projection device 30 when the content is displayed on the display device 40 existing on the movement path of the projection region 50. .
  • the projection control unit 254 has a function of controlling the display process of the display device 40.
  • the projection control unit 254 may display content on the display device 40 when the display device 40 exists in the same space.
  • the projection control unit 254 controls the projection processing of the projection device 30 according to the state of the display device 40 and causes the display device 40 to display the content. May be.
  • FIG. 3 is an explanatory diagram illustrating content display processing by the display device 40 according to the embodiment of the present disclosure.
  • FIG. 4 is an explanatory diagram illustrating a content projection process that avoids the display device 40 according to the embodiment of the present disclosure.
  • the projection control unit 254 controls the content projection processing according to the state of the display device 40 when the display device 40 that displays the content exists on the movement path of the projection area. For example, when the display device 40 is capable of displaying content, the projection control unit 254 stops the projection of the content by the projection device 30 and causes the display device 40 to display the content.
  • the displayable state is a state where the display device 40 is not used, for example.
  • the projection control unit 254 may consider the displayable state even when the content displayed on the display device 40 may be switched even when the display device 40 is being used. Further, the projection control unit 254 may be regarded as a displayable state even when the users using the projection device 30 and the display device 40 are the same. As described above, the projection control unit 254 determines the displayable state based on the usage state of the display device 40, the content displayed on the display device 40, and the user of the display device 40.
  • the projection control unit 254 displays content on the display device 40. Is displayed. Specifically, the projection control unit 254 stops the projection by the projection device 30 at a timing when the projection region 50 overlaps the display device 40 while the projection device 30 is moving in the projection region 50, and the display device 40 receives the content. Is displayed. At this time, the projection control unit 254 may display the content while moving the content in the display area 42 in accordance with the driving of the projection device 30 or may display the content without moving. The projection control unit 254 resumes the projection of the content by the projection device 30 and displays the content by the display device 40 at the timing when the region where the projection region 50 does not overlap the display region 42 is generated again by driving the projection device 30. Stop.
  • the projection control unit 254 moves the projection region 50 so that the display region 42 of the display device 40 and the projection region 50 do not overlap. That is, the projection control unit 254 moves the projection area 50 so as to avoid the display device 40.
  • the state that cannot be displayed is, for example, a state in which the display device 40 is being used, and a state in which content already displayed on the display device 40 should not be switched.
  • the projection control unit 254 may be regarded as a state in which the display device 40 is being used and cannot be displayed.
  • the projection control unit 254 may be regarded as a state where display is not possible even when the users who use the projection device 30 and the display device 40 are different.
  • the projection control unit 254 determines a state that cannot be displayed based on the usage state of the display device 40, the content displayed on the display device 40, and the user of the display device 40.
  • the projection control unit 254 avoids the display device 40.
  • the projection area 50 is moved.
  • the projection control unit 254 displays the content on the display device 40, so that the projection region 50 moves up and down. Does not move in the direction. Therefore, the user can continue viewing the content only by moving the line of sight in a certain direction while the projection area 50 is being moved.
  • the projection apparatus 30 can move the projection area
  • the storage unit 260 has a function of storing data acquired by processing in the information processing system.
  • the storage unit 260 stores sensing data acquired by the sensor device 10.
  • the storage unit 260 receives depth information detected by the depth sensor 110 from the control unit 250 and stores the depth information.
  • the storage unit 260 receives an image captured by the camera 120 from the control unit 250 and stores the image.
  • the storage unit 260 stores the spatial information generated by the map generation unit 240.
  • the information stored in the storage unit 260 is not limited to the sensing data acquired by the sensor device 10 described above.
  • the storage unit 260 may store data output in the processing of the control unit 250, programs such as various applications, data, and the like.
  • the projection device 30 has a function of projecting content.
  • the projection device 30 projects the content in an arbitrary direction based on an instruction related to the content projection processing received from the information processing server 20.
  • a projector can be mentioned.
  • the type of the projector is not particularly limited, and any type of projector may be used.
  • a fixed projector or an all-sky projector may be used.
  • the number of projection devices 30 is not particularly limited, and an arbitrary number of projection devices 30 may be installed.
  • one projection device 30 may be installed in the same space, or a plurality of projection devices 30 may be installed.
  • the display device 40 has a function of displaying content. Examples of the display device 40 include a TV and a display.
  • the number of display devices 40 is not particularly limited, and an arbitrary number of display devices 40 may be installed. For example, one display device 40 may be installed in the same space, or a plurality of display devices 40 may be installed.
  • FIG. 5 is a flowchart illustrating an operation example of the information processing system according to the embodiment of the present disclosure.
  • the projection control unit 254 confirms whether or not to change the projection direction of the content (step S1000).
  • the projection direction is not changed (step S1000 / NO)
  • the projection control unit 254 does not perform the process related to the change of the projection direction, and proceeds to the process of step S1020 described later.
  • the projection control unit 254 proceeds to the process of step S1002 in order to perform a process related to the change of the projection direction.
  • the projection control unit 254 confirms whether or not the spatial information is acquired (step S1002).
  • the projection control unit 254 performs a spatial information acquisition process (step S1004).
  • the projection control unit 254 confirms again whether or not the spatial information has been acquired (step S1002). Note that step S1002 and step S1004 are repeated until spatial information is acquired.
  • the projection control unit 254 When the spatial information is acquired (step S1002 / YES), the projection control unit 254 performs a process of detecting a candidate for the projection area 50 suitable for content projection based on the spatial information (step S1006). In addition, the projection control unit 254 performs a process of detecting candidates for the display device 40 that displays content based on the spatial information in parallel with the process of step S1006 (step S1008).
  • the projection control unit 254 determines a projection region 50 suitable for content projection or a display device 40 suitable for content display from the detected projection region 50 candidates and display device 40 candidates (step S1010).
  • the projection control unit 254 executes the process of changing the projection direction of the projection device 30 after determining the change-target projection area 50 or the display device 40 in step S1010 (step S1012).
  • the projection control unit 254 confirms whether or not switching from content projection by the projection device 30 to content display by the display device 40 (step S1014). When switching to the display device 40 (step S1014 / YES), the projection control unit 254 switches to the display device 40 (step S1016). If the projection control unit 254 does not switch to the display device 40 (step S1014 / NO), the projection control unit 254 proceeds to the process of step S1018 without switching to the display device 40.
  • the projection control unit 254 determines the content projection effect or display effect (step S1018). Then, the projection control unit 254 controls the content projection processing or display processing according to the determined projection effect or display effect.
  • the projection control unit 254 After setting the projection effect or the display effect, the projection control unit 254 confirms whether or not the projection device 30 is displaying content (step S1020). When the projection apparatus 30 is projecting content (step S1020 / YES), the projection control unit 254 causes the projection apparatus 30 to perform geometric correction (step S1022). Then, the projection control unit 254 causes the projection device 30 to project the content after performing geometric correction (step S1024).
  • step S1020 / NO When the projection device 30 is not projecting the content and the display device 40 is displaying the content (step S1020 / NO), the projection control unit 254 does not perform the process of step S1022, and displays the content on the display device 40. It is displayed (step S1024).
  • the projection control unit 254 confirms whether or not to finish projecting or displaying the content (step S1026).
  • the projection control unit 254 ends the projection or display of the content and ends the processing.
  • the projection control unit 254 repeats the process from step S1000 without terminating the content projection or display.
  • FIG. 6 is an explanatory diagram illustrating control of content movement according to the embodiment of the present disclosure.
  • 6 is a view of the space in the left view of FIG. 6 as viewed from the direction of the projection area 50A.
  • FIG. 7 is an explanatory diagram illustrating content size control according to the embodiment of the present disclosure.
  • the figure on the right side of FIG. 7 is the figure which looked at the space of the figure on the left side of FIG. 7 from the direction of the projection area 50A.
  • the projection control unit 254 may select any one of a plurality of partial areas included in the projection area 50, and may control at least one of the projection size and the projection position of the content so as to fit in the selected partial area.
  • the projection position is a position where the content is projected in the projection area 50. For example, as shown on the left side of FIG. 6, when the projection control unit 254 moves the projection area 50A to the projection area 50B, a plurality of partial areas are generated in the projection area 50B.
  • the plurality of partial areas are, for example, a partial area 70A, a partial area 70B, and a partial area 70C as shown in the left and right views of FIG.
  • the projection control unit 254 may select a partial area onto which the content is projected from the plurality of partial areas 70 based on at least one of the normal direction and the size. For example, when selecting a partial region on which content is projected based on the normal direction, the projection control unit 254 selects a partial region in the normal direction having a higher degree of coincidence with the projection direction. Further, when selecting a partial region on which content is projected based on the size of the partial region, the projection control unit 254 selects a partial region having a larger area. In the diagram shown on the left side of FIG.
  • the partial region 70 ⁇ / b> C that is a normal direction having a higher degree of coincidence with the projection direction and has a larger area is selected as the partial region onto which the content is projected. Then, the projection control unit 254 projects the content 53a so as to fit in the selected partial area. Then, when there is no partial area like the projection area 50C, the projection control unit 254 returns the content projection position to the original and projects the content 53b. Note that the projection position of the content 53a and the position of the content 53b are different as shown on the right side of FIG.
  • the projection control unit 254 may project the content after reducing the projection size, as in the content 53a shown on the left side of FIG. Then, when there is no partial area like the projection area 50C, the projection control unit 254 may project the content 53b after enlarging the projection size.
  • the projection size of the content 53a and the projection size of the content 53b are different as shown on the right side of FIG.
  • the projection control unit 254 can ensure the visibility of the content by appropriately selecting the partial area and controlling the projection size or the projection position of the content.
  • FIG. 8 is an explanatory diagram illustrating control of movement of the projection region 50 according to the embodiment of the present disclosure. 8 is a diagram of the space in the left diagram of FIG. 8 as viewed from the direction of the projection area 50A.
  • the projection control unit 254 determines a projection area 50 different from the instruction area or controls the content according to the content. At least one of the above may be performed.
  • the designated area is a projection area 50 designated by a user or an application. If the projection area 50B shown on the left side of FIG. 6 referred to in the first modification example is an instruction area, the instruction area includes a plurality of partial areas. At this time, the projection control unit 254 may determine an area where the normal direction of the partial area is within a predetermined range as the projection area 50.
  • the projection control unit 254 determines, as the projection region 50, a partial region having a normal direction within a range set so that the degree of coincidence between the projection direction and the normal direction is a certain level or more. Specifically, it is assumed that the projection control unit 254 determines the partial area 70 ⁇ / b> C shown on the left side of FIG. 6 as the projection area 50 different from the instruction area and projects the content onto the projection area 50. That is, it can be said that this is the same as the state in which the content 53a is projected onto the projection area 50B shown on the left side of FIG.
  • region may overlap with the partial area
  • the projection control unit 254 can project the content while avoiding the object 80 by projecting the content 53a onto the projection area 50B shown in FIG. And the projection control part 254 may move the projection area
  • the projection control unit 254 may determine an area where the deviation from the instruction area is small as the projection area 50. For example, the projection control unit 254 evaluates the deviation between the projection area 50 candidate and the instruction area based on the distance. Specifically, the projection control unit 254 detects a candidate for the projection area 50 based on the spatial information, and compares the distance between each candidate and the instruction area. After the comparison, the projection control unit 254 preferentially selects a candidate having a smaller distance as the projection area 50. As the distance, for example, the distance between the position of the center of gravity of the candidate of the projection area 50 and the position of the center of gravity of the indication area is calculated.
  • a distance of a portion where the distance between the candidate outer peripheral frame of the projection area 50 and the outer peripheral frame of the instruction area becomes smaller may be calculated.
  • the calculation method of the said distance is not limited to the above-mentioned example, You may calculate by arbitrary methods.
  • the projection control unit 254 preferentially selects a candidate having a smaller distance from the indication area as the projection area 50, thereby determining an area having a smaller deviation from the indication area as the projection area 50. Can do.
  • the projection control part 254 can suppress the movement distance of the projection area
  • the projection control unit 254 may perform weighting based on the relationship between the instruction region and the projection region 50 candidate, and may select the projection region 50 based on the weighting result.
  • the projection control unit 254 may control the content as in the first modified example described above when the projection area 50 different from the instruction area is not determined.
  • the projection control unit 254 improves the visibility of the content by moving the projection region 50 so that the partial regions are not included. Can do.
  • FIG. 9 is an explanatory diagram illustrating control of content movement between partial areas according to the embodiment of the present disclosure. 9 shows the partial area 52A and the partial area 52B before the movement, and the right figure in FIG. 9 shows the partial area 52A and the partial area 52B after the movement. .
  • the projection control unit 254 may control the content to be projected onto a partial area having a larger area. For example, as shown on the left side of FIG. 9, when the partial area 52A and the partial area 52B are compared, the area of the partial area 52A is larger, and thus the projection control unit 254 projects the content on the partial area 52A. Further, as shown on the right side of FIG. 9, when the partial area 52A after the movement of the projection area 50 is compared with the partial area 52B, the area of the partial area 52B is larger, so the projection control unit 254 includes the partial area 52B. Project content. In this manner, the projection control unit 254 can make the user easily view the content by projecting the content onto the partial area 52 having a larger area.
  • the projection control unit 254 can improve the visibility of the content while moving the projection region 50 by projecting the content according to the size of the area of the partial region.
  • FIG. 10 is an explanatory diagram illustrating the size of the projection area 50 before and after movement according to the embodiment of the present disclosure.
  • FIG. 11 is an explanatory diagram illustrating movement of the projection region 50 with the same size according to the embodiment of the present disclosure.
  • the projection control unit 254 moves the projection area 50 based on the spatial information so that the size of the projection area 50 before the movement is the same as the size of the projection area 50 after the movement. You may let them. For example, as illustrated in FIG. 10, it is assumed that the projection control unit 254 moves the projection area 50 projected on a certain wall surface to another wall surface.
  • the size of the projection area 50 increases as the distance from the projection device 30 to the projection area 50 increases. Further, the distance from the projection device 30 to the projection area 50 during the movement of the projection area 50 is not necessarily constant. Accordingly, the size of the moving projection area 50 repeatedly changes according to the distance from the projection device 30. This greatly affects the visibility of the content. Therefore, as shown in FIG.
  • the projection control unit 254 moves the projection area 50 so that the projection area 50A before movement, the projection area 50B being moved, and the projection area 50C after movement are the same. To do. At this time, the projection control unit 254 keeps the size of the moving projection area 50 the same by scaling the projection area 50 according to the distance between the projection device 30 and the projection area 50. Note that the projection control unit 254 may perform control so that only the size of the projection area 50A before movement and the size of the projection area 50C after movement are the same. At this time, the projection control unit 254 does not have to control the size of the moving projection area 50B.
  • the projection control unit 254 can improve the visibility of the content by controlling the size of the projection region 50.
  • FIG. 12 is an explanatory diagram illustrating an object representing movement of the projection area 50 according to the embodiment of the present disclosure.
  • the projection control unit 254 may project an object 54 indicating that the projection area 50 is being moved instead of the content.
  • the projection control unit 254 projects the object 54 instead of the projection region 50A and moves the object 54 when the user does not want the user to visually recognize the state where the content is not stabilized by the movement (for example, the state where the content is blurred).
  • the projection control unit 254 can indicate that the projection area 50 is being moved by moving the object 54.
  • the projection control unit 254 switches the object 54 to the projection area 50B and projects the projection area 50B. Thereby, the projection control unit 254 can prevent the user from visually recognizing the blurring of the content caused by the driving of the projection device 30.
  • the projection control unit 254 can indicate the movement path by projecting the object 54, and can prevent the user from losing sight of the projection position.
  • the shape of the object 54 to be projected instead of the projection region 50 is not limited to the shape shown in FIG. 12, and an object 54 having an arbitrary shape may be projected.
  • the projection control unit 254 projects the object 54 instead of the projection area 50, thereby improving the visibility of the content while moving the projection area 50.
  • the projection control unit 254 may change the speed at which the projection area 50 is moved according to the content. For example, the projection control unit 254 increases the movement speed of the projection area 50 in the case of content whose information display is not important while moving the projection area 50.
  • Content whose information display is not important is, for example, static content in which displayed information does not change during movement of the projection region 50.
  • the static content is, for example, a still image such as a photo, text, or content that is not set so that the content changes according to movement.
  • the projection control unit 254 reduces the moving speed of the projection area 50 in the case of content for which information display is important while moving the projection area 50.
  • the content whose information display is important is, for example, dynamic content in which displayed information changes according to the movement of the projection region 50.
  • the dynamic content is, for example, content that is a video such as an animation or content that indicates that the user is moving.
  • content such as UI (User Interface: user interface) that is in a state in which information display and operation operate in combination is an important content that the projection content can always be visually recognized.
  • Specific UIs include system settings such as screen settings, agent applications, and applications that track the line of sight and present information. Thereby, since the movement speed of the projection area
  • the projection control unit 254 can improve the visibility of the content while moving the projection region 50 by changing the moving speed of the projection region 50 according to the content.
  • FIG. 13 is an explanatory diagram illustrating a projection in which the resolution of content according to the embodiment of the present disclosure decreases.
  • FIG. 14 is an explanatory diagram illustrating takeover of content projection according to the embodiment of the present disclosure.
  • FIG. 15 is an explanatory diagram illustrating the size of the projection area 50 before and after movement according to the embodiment of the present disclosure.
  • the projection control unit 254 may switch the projection device 30 that projects content based on the spatial information when there are a plurality of projection devices 30.
  • the projection control unit 254 may perform control to take over the content projection process from the projection device 30 to another projection device 30 in accordance with the visibility of the content. For example, when the projection device 30 moves in the projection area 50 and the visibility of the content is reduced, the projection control unit 254 performs the projection process on another projection device 30 that can project the content without reducing the visibility. Let me take over.
  • the resolution of the content may be reduced, and the visibility of the content may be reduced.
  • the resolution of the content is lowered and the visibility of the content is deteriorated.
  • the shape of the projection area 50 is also distorted, and the visibility of the content is further deteriorated.
  • the projection control unit 254 moves the projection area 50 from the projection area 50A to the projection area 50C, the content is projected to the projection apparatus 30A in the section 56A and to the projection apparatus 30B in the section 56B.
  • the projection control unit 254 is the same so that the content projected by the projection device 30A moves to the vicinity of the projection area 50B so that the projection device 30B overlaps the content projected by the projection device 30A. Project content.
  • the projection control unit 254 causes the projection device 30 ⁇ / b> A to take over the projection process more naturally by adjusting the luminance of the content projected on the projection device 30 ⁇ / b> A and fading it out.
  • the projection control part 254 can move the projection area
  • the projection control unit 254 allows the projection device 30 that has a larger angle between the projection direction and the projection area 50 to take over the projection process.
  • the projection control unit 254 moves the projection region 50 from one wall surface to another wall surface.
  • the distance between the projection device 30 and the projection area 50 increases, and thus the size of the projection area increases.
  • the projection control unit 254 can prevent a reduction in resolution and improve visibility by allowing the projection device 30 closer to the projection region 50 after movement to take over the projection process. .
  • the projection control unit 254 allows the content projection processing to be taken over between the plurality of projection devices 30 in a situation where the visibility of the content is reduced when there are a plurality of projection devices 30. , Content visibility can be improved.
  • FIG. 16 is an explanatory diagram illustrating changes in luminance and color of content according to the embodiment of the present disclosure.
  • the projection control unit 254 may project the content by changing at least one of the setting of the luminance of the content or the setting of the color according to the moving speed of the projection area 50.
  • the color setting is, for example, a setting of content saturation.
  • the color of the projection area 50 is not always the same, and may be different as in the projection area 50A and the projection area 50B shown in FIG. At this time, if the brightness and saturation settings in the projection area 50A and the projection area 50B are the same, the visibility of content in both the projection areas 50 cannot be kept constant. Therefore, the projection control unit 254 may change the settings of luminance and saturation according to the moving speed of the projection area 50. For example, the projection control unit 254 sets the setting value of at least one of luminance and saturation higher as the moving speed of the projection area increases.
  • the projection control unit 254 calculates the luminance value and the saturation value during movement of the projection area 50 according to the speed ratio of the projection area 50 to the current movement speed with respect to a predetermined movement speed.
  • the luminance value during movement in the projection area 50 can be obtained by, for example, calculating (speed ratio ⁇ constant ⁇ (input luminance value ⁇ intermediate luminance value) + intermediate luminance value).
  • the constant may be set to an arbitrary value by the user.
  • the input luminance value is a luminance value of the content to be projected.
  • the intermediate luminance value is an intermediate value of the entire luminance value of the projected content.
  • the saturation value during movement in the projection area 50 can be obtained by calculating (speed ratio ⁇ constant ⁇ input saturation value).
  • the input saturation value is a saturation value of the content to be projected. Then, the projection control unit 254 changes at least one of the calculated luminance value and saturation value during movement to a higher value.
  • the projection control unit 254 can improve the visibility of the content that is moving in the projection area by changing the setting of the luminance value or the saturation value of the content to be high according to the moving speed.
  • FIG. 17 is an explanatory diagram illustrating a partial display of the projection area 50 according to the embodiment of the present disclosure.
  • the projection control unit 254 may partially project content onto the projection area 50, for example. For example, as shown in FIG. 17, when the projection area 50A is moved to the projection area 50B having a smaller area than the projection area 50A, the projection control unit 254 keeps the content in the projection area 50B while maintaining the projection size of the content. You may project partially. Thereby, even if the size of the projection area 50 changes before and after the movement of the projection area 50, the projection size of the content does not change. Therefore, the projection control unit 254 can make it easier for the user to visually recognize the content as compared with the case where the projection size of the content changes in accordance with the change in the size of the projection region 50.
  • the projection control unit 254 can improve the visibility of the content while moving the projection region 50 by partially projecting the content onto the projection region 50.
  • FIG. 18 is an explanatory diagram illustrating information on the projection region 50 when the projection direction is changed by the pointing device according to the embodiment of the present disclosure.
  • FIG. 19 is an explanatory diagram illustrating information on the projection region 50 when the projection direction is manually changed according to the embodiment of the present disclosure.
  • the projection control unit 254 may project the fitness to the projection area 50. For example, a case where the user inputs an instruction to change the projection direction using the pointing device 32 will be described. As illustrated in FIG. 18, the projection control unit 254 first causes the projection device 30 to project the fitness in the current projection area 50A. When the user inputs an instruction with the pointing device 32, the projection control unit 254 moves the projection region 50 to the projection device 30 along the movement path 34 of the pointing device. After the movement of the projection area 50, the projection control unit 254 causes the projection device 30 to project the fitness in the projection area 50B after the movement.
  • the projection control unit 254 first causes the projection device 30 to project the fitness in the current projection area 50A.
  • the projection control unit 254 moves the projection region 50 to the projection device 30 along the movement path 34.
  • the projection control unit 254 causes the projection device 30 to project the fitness in the projection area 50B after the movement.
  • the projection control unit 254 may project the evaluation value, the area of the projection area 50, the inclination of the projection area 50, and the like as the fitness.
  • the projection control unit 254 may cause the projection device 30 to sequentially project the fitness according to the projection area 50 in the movement path 34.
  • the means for the user to input an instruction to change the projection direction is not limited to the above example, and any means may be used.
  • the user may input an instruction to change the projection direction by changing a remote controller (D-pad), a gesture, a line of sight, or the like.
  • an instruction to change the projection direction may be automatically input by the system.
  • the projection control unit 254 causes the projection device 30 to project the fitness level in the projection area 50, so that the user can search for the projection area 50 that is optimal for viewing the content based on the fitness level. Therefore, the projection control unit 254 can improve convenience when the user searches the projection area 50.
  • FIG. 20 is a block diagram illustrating a hardware configuration example of the information processing server 20 according to the embodiment of the present disclosure.
  • the information processing server 20 includes, for example, a CPU 101, a ROM 103, a RAM 105, a host bus 107, a bridge 109, an external bus 111, and an interface 113.
  • the information processing server 20 includes an input device 115, an output device 117, a storage device 119, a drive 121, a removable recording medium 123, a connection port 125, an external connection device 127, and a communication device 129.
  • the hardware configuration shown here is an example, and some of the components may be omitted.
  • the hardware configuration may further include components other than the components shown here.
  • the CPU 101 functions as, for example, an arithmetic processing device or a control device, and controls the overall operation of each component or a part thereof based on various programs recorded in the ROM 103, the RAM 105, the storage device 119, or the removable recording medium 123.
  • the ROM 103 is a means for storing a program read by the CPU 101, data used for calculation, and the like.
  • a program read by the CPU 101 various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • CPU101, ROM103, and RAM105 can implement
  • the CPU 101, the ROM 103, and the RAM 105 are connected to each other via, for example, a host bus 107 capable of high-speed data transmission.
  • the host bus 107 is connected to the external bus 111 having a relatively low data transmission speed via the bridge 109, for example.
  • the external bus 111 is connected to various components via the interface 113.
  • the input device 115 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 115, a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 115 includes a voice input device such as a microphone.
  • the input device 115 may realize the function of the sensor device 10 described with reference to FIG.
  • the output device 117 includes a display device such as a CRT (Cathode Ray Tube) display device or a liquid crystal display (LCD) device. Further, the output device 117 includes a display device such as a projector device, an OLED (Organic Light Emitting Diode) device, and a lamp. The output device 117 includes a sound output device such as a speaker and headphones. The output device 117 can realize the functions of the projection device 30 and the display device 40 described with reference to FIG.
  • a display device such as a CRT (Cathode Ray Tube) display device or a liquid crystal display (LCD) device. Further, the output device 117 includes a display device such as a projector device, an OLED (Organic Light Emitting Diode) device, and a lamp.
  • the output device 117 includes a sound output device such as a speaker and headphones. The output device 117 can realize the functions of the projection device 30 and the display device 40 described with reference to FIG.
  • the storage device 119 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device is used.
  • the storage device 119 can realize the function of the storage unit 260 described with reference to FIG.
  • the drive 121 is a device that reads information recorded on a removable recording medium 123 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 123.
  • a removable recording medium 123 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 123 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, various semiconductor storage media, and the like.
  • the removable recording medium 123 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 125 is a port for connecting an external connection device 127 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 127 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 127 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 129 is a communication device for connecting to a network.
  • the projection control unit 254 of the information processing apparatus determines the content depending on whether or not the projection device 30 is in the drive mode for moving the projection area 50 on which the content is projected.
  • the projection area 50 is determined based on the spatial information of the space that can be projected. Then, the projection control unit 254 controls the content projection processing to the projection area 50.
  • the information processing apparatus controls the projection processing of the content onto the projection area 50 to add an effect that the user can easily see even while moving the projection direction of the content to the content. Can be provided.
  • the information processing apparatus provides a new and improved information processing apparatus, information processing method, and recording medium capable of further improving the visibility of content while moving in the projection area. Is possible.
  • the projection device determines a projection region based on spatial information of a space in which the content can be projected, and the determined projection region
  • a projection control unit for controlling the projection processing of the content to An information processing apparatus comprising: (2) In the operation mode, the projection control unit determines the projection area that is different from the instruction area according to the content when a plurality of partial areas are included in the instruction area specified as the projection area to be moved.
  • the information processing apparatus according to (1) wherein at least one of the contents is controlled.
  • the information processing apparatus determines an area in which a normal direction of the partial area is within a predetermined range as the projection area.
  • the projection control unit determines an area having a small deviation from the instruction area as the projection area.
  • the projection control unit selects any one of the plurality of partial areas included in the projection area, and controls at least one of a projection size or a projection position of the content so as to fit in the selected partial area.
  • the information processing apparatus selects the partial area onto which the content is projected based on at least one of a normal direction or a size of each of the partial areas included in the projection area, (5) The information processing apparatus described in 1.
  • each of the plurality of partial regions included in the projection region is a region whose normal direction is within a predetermined range.
  • the projection control unit when moving the projection area, makes the size of the projection area before movement equal to the size of the projection area after movement based on the spatial information.
  • the information processing apparatus according to any one of (7).
  • the projection control unit when moving the projection area, projects an object indicating that the projection area is moving instead of the content, according to any one of (1) to (8).
  • the information processing apparatus according to any one of (1) to (9), wherein the projection control unit changes a speed of moving the projection area according to the content.
  • the projection control unit controls the content projection processing according to the state of the display device when there is a display device that displays the content on the movement path of the projection area.
  • the information processing apparatus according to any one of 10).
  • the projection control unit when the display device is in a state where the content can be displayed, stops the projection of the content by the projection device and causes the display device to display the content. Information processing device.
  • the projection control unit moves the projection area so that the display area of the display device and the projection area do not overlap when the display device cannot display the content, (11) or (12 ).
  • the information according to any one of (1) to (13), wherein when there are a plurality of the projection devices, the projection control unit switches the projection device that projects the content based on the spatial information. Processing equipment.
  • the said projection control part performs control which takes over the projection process of the said content from the said projection apparatus to another said projection apparatus according to the visibility of the said content, while moving the said projection area
  • the projection control unit changes the setting of at least one of the luminance setting and the color setting of the content according to the movement speed of the projection area, and projects the content (1) to (15) The information processing apparatus according to any one of the above.
  • the projection device determines a projection region based on spatial information of a space in which the content can be projected, and the determined projection region Controlling the content projection process to Information processing method executed by a processor including: (18) Computer Depending on whether or not the projection device is in an operation mode for moving a projection region for projecting content, the projection device determines a projection region based on spatial information of a space in which the content can be projected, and the determined projection region A projection control unit for controlling the projection processing of the content to A recording medium on which a program for functioning as a recording medium is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】投射領域を移動している間のコンテンツの視認性をより向上することが可能な情報処理装置の提供。 【解決手段】投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御する投射制御部、を備える情報処理装置。

Description

情報処理装置、情報処理方法、及び記録媒体
 本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。
 近年、プロジェクタの小型化、及び高輝度化が進んでいる。これに伴うプロジェクタの利用ケースの多様化により、駆動することで投射方向を変更することが可能なプロジェクタの検討が進められている。
 これに関連し、下記の特許文献1には、駆動型のプロジェクタによる映像の表示処理を制御することに関する技術が開示されている。当該技術では、例えば、固定型のプロジェクタが表示している映像に対して、駆動型のプロジェクタが映像を重ねて表示する際の表示処理が制御される。また、当該技術では、駆動型のプロジェクタが表示している映像を移動する際の駆動処理が制御される。これにより、両プロジェクタが表示している映像の重なっている部分の表示効果、及び映像の移動による表示効果が高められる。
国際公開第2017/154609号
 しかしながら、上記の技術では、映像を表示するプロジェクタの切り替え前後、及び映像の移動前後における映像の視認性は考慮されているが、移動している間の映像の視認性までは考慮されていない。
 そこで、本開示では投射領域を移動している間のコンテンツの視認性をより向上することが可能な、新規かつ改良された情報処理装置、情報処理方法、及び記録媒体を提案する。
 本開示によれば、投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御する投射制御部、を備える情報処理装置が提供される。
 また、本開示によれば、投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御すること、を含むプロセッサにより実行される情報処理方法が提供される。
 また、本開示によれば、コンピュータを、投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御する投射制御部、として機能させるためのプログラムを記録した記録媒体が提供される。
 以上説明したように本開示によれば、投射領域を移動している間のコンテンツの視認性をより向上することが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの概要を示す説明図である。 同実施形態に係る情報処理システムの構成例を示すブロック図である。 同実施形態に係る表示装置によるコンテンツの表示処理を示す説明図である。 同実施形態に係る表示装置を避けるコンテンツの投射処理を示す説明図である。 同実施形態に係る情報処理システムの動作例を示すフローチャートである。 同実施形態に係るコンテンツの移動の制御を示す説明図である。 同実施形態に係るコンテンツのサイズの制御を示す説明図である。 同実施形態に係る投射領域の移動の制御を示す説明図である。 同実施形態に係る部分領域間のコンテンツの移動の制御を示す説明図である。 同実施形態に係る移動前後の投射領域の大きさを示す説明図である。 同実施形態に係る同一の大きさでの投射領域の移動を示す説明図である。 同実施形態に係る投射領域の移動を表現するオブジェクトを示す説明図である。 同実施形態に係るコンテンツの解像度が低下する投射を示す説明図である。 同実施形態に係るコンテンツの投射の引き継ぎを示す説明図である。 同実施形態に係る移動前後の投射領域の大きさを示す説明図である。 同実施形態に係るコンテンツの輝度及び色の変化を示す説明図である。 同実施形態に係る投射領域の部分表示を示す説明図である。 同実施形態に係るポインティングデバイスで投射方向を変更した際の投射領域50の情報を示す説明図である。 同実施形態に係る手動で投射方向を変更した際の投射領域の情報を示す説明図である。 同実施形態に係る情報処理サーバのハードウェア構成例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.本開示の実施形態
  1.1.概要
  1.2.機能構成例
  1.3.動作例
 2.変形例
 3.ハードウェア構成例
 4.まとめ
 <<1.本開示の実施形態>>
 <1.1.概要>
 近年、プロジェクタの小型化、及び高輝度化が進んでいる。これに伴い、一般のコンシューマ向け、またはビジネス向けを問わず、プロジェクタの利便性が向上してきている。例えば、プロジェクタの小型化により、ユーザは、プロジェクタを容易に移動することができ、様々な場所で利用できる。また、プロジェクタの高輝度化により、従来のプロジェクタと比較し、より明るくコンテンツ等が投射される。
 上述の小型化、及び高輝度化に加え、駆動することで投射方向を変更することが可能なプロジェクタが検討されている。駆動型のプロジェクタは、設置された空間内の任意の方向にコンテンツ等を投射することが可能となる。
 しかしながら、当該駆動型のプロジェクタは、映像の移動前後における映像の視認性は考慮されているが、移動している間の映像の視認性までは考慮されていない。駆動型のプロジェクタが投射するコンテンツによって、投射方向を移動している間に投射されているコンテンツをユーザに示したい場合もあり得る。
 本開示の実施形態では、上記の点に着目して発想されたものであり、投射方向を動的に変更可能なプロジェクタで投射領域を移動している間のコンテンツの視認性をより向上することが可能な技術を提案する。
 投射方向を動的に変更可能なプロジェクタが投射方向を変更している間、コンテンツの投射状態は断続的に変化する。例えば、投射方向を変更することで、投射領域が複数の面にまたがる場合がある。投射領域が複数の面にまたがっている間は、コンテンツも複数の面にまたがって投射されてしまい、コンテンツの視認性に大きく影響する。そこで、本開示の実施形態では、投射方向の空間情報に基づき、情報処理装置がコンテンツの投射処理を制御する。
 以下では、図1を参照しながら、本開示の実施形態に係る情報処理システムの概要について説明する。図1は、本開示の実施形態に係る情報処理システムの概要を示す説明図である。上述の技術を実現するために、本開示の実施形態に係る情報処理システムは、図1に示すように、センサ装置10、情報処理サーバ20、投射装置30、及び表示装置40を備える。
 なお、本開示の実施形態において、投射装置30によりコンテンツ51が投射される領域は、投射領域50と称される。投射領域は、複数の面にまたがっていてもよい。投射領域が複数の面にまたがる場合、投射領域は、当該面の数だけ領域が分割される。投射領域が分割されて生じる複数の領域の各々は、部分領域と称される。部分領域内の任意の位置における法線方向は、所定の範囲内である。例えば、投射領域が分割されて生じる複数の領域において、各領域内の複数の位置における法線方向と、投射装置30の投射方向とが成す各々の角度が異なっていても、各々の角度が所定の範囲内の角度である領域は、部分領域として扱われる。
 また、コンテンツ51が投射される方向は、投射方向と称される。なお、投射方向は、プロジェクタの光軸方向であってもよい。投射方向が変更されることは、即ち、投射領域が移動されることと同一である。また、表示装置40がコンテンツ51を表示する領域は、表示領域42と称される。
 センサ装置10は、センシングデータを取得する装置である。センサ装置10は、投射装置30と同一の空間に設置され、当該空間に関する距離情報をセンシングデータとして取得する。距離情報とは、例えば、空間内の壁面までの距離、物体までの距離等である。
 情報処理サーバ20は、情報処理システムを構成する各要素の処理を制御する情報処理装置である。例えば、情報処理サーバ20は、センサ装置10によるセンシングデータの取得処理を制御する。また、情報処理サーバ20は、投射装置30によるコンテンツの投射処理を制御する。また、情報処理サーバ20は、表示装置40によるコンテンツの表示処理を制御する。
 投射装置30は、コンテンツを投射する装置である。例えば、投射装置30として、駆動型のプロジェクタが挙げられる。表示装置40は、コンテンツを表示する装置である。例えば、表示装置40として、ディスプレイが挙げられる。
 なお、情報処理サーバ20は、センサ装置10、投射装置30、及び表示装置40と任意の通信方式で接続されている。例えば、情報処理サーバ20は、センサ装置10、投射装置30、及び表示装置40と有線通信または無線通信によって接続され、ネットワーク60を介して通信を行う。また、情報処理サーバ20は、センサ装置10、投射装置30、及び表示装置40と直接的に通信を行う構成であってもよい。
 なお、情報処理サーバ20は、センサ装置10、投射装置30、及び表示装置40と同一の空間に設置されてもよい。
 また、センサ装置10と投射装置30の各々の機能は、1つの装置によって実現されてもよい。また、センサ装置10、情報処理サーバ20、及び投射装置30の各々の機能は、1つの装置によって実現されてもよい。また、センサ装置10と表示装置40の各々の機能は、1つの装置によって実現されてもよい。また、センサ装置10、情報処理サーバ20、及び表示装置40の各々の機能は、1つの装置によって実現されてもよい。また、情報処理サーバ20の機能は、センサ装置10、投射装置30、表示装置40の少なくともいずれかに備えられてもよいし、各々の装置に備えられてもよい。
 以上、図1を参照しながら、本開示の実施形態に係る情報処理システムの概要について説明した。続いて、本開示の実施形態に係る情報処理システムの構成例について説明する。
 <1.2.機能構成例>
 以下では、図2~図4を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。図2は、本開示の実施形態に係る情報処理システムの構成例を示すブロック図である。
 (1)センサ装置10
 センサ装置10は、センシングデータを取得する機能を有する。例えば、センサ装置10は、投射装置30と同一の空間に設置され、当該空間における壁面までの距離、当該空間に設置されている家具までの距離をセンシングデータとして取得する。センシングデータ取得後、センサ装置10は、当該センシングデータを情報処理サーバ20に送信する。
 上述の機能を実現するために、本開示の実施形態に係るセンサ装置10は、例えば、デプスセンサ110、及びカメラ120を備える。なお、センサ装置10がセンシングデータを取得するために備える装置は、デプスセンサ110、及びカメラ120に限定されず、任意の装置を備えてもよい。また、ある空間内におけるセンサ装置10の設置場所、設置台数は特に限定されず、任意の場所に任意の台数のセンサ装置10が設置されてもよい。
 ・デプスセンサ110
 デプスセンサ110は、深度情報を取得する装置である。デプスセンサ110は、例えば、赤外線方式、または超音波方式による測距装置である。また、デプスセンサ110は、レーザレンジファインダ(LRF:Laser Range Finder)、ライダー(LIDAR:Laser Imaging Detection and Ranging)、またはステレオカメラ等の測距装置であってもよい。なお、デプスセンサ110として用いられる測距装置の種類は、上述の例に限定されず、任意の種類の測距装置が用いられてよい。深度情報取得後、デプスセンサ110は、当該深度情報をセンシングデータとして情報処理サーバ20に送信する。
 ・カメラ120
 カメラ120は、画像(静止画像/動画像)を撮像する装置である。カメラ120は、例えば、RGBカメラ、またはサーモカメラ等の撮像装置であり、レンズ系、駆動系、及び撮像素子を有する。画像撮像後、カメラ120は、当該画像をセンシングデータとして情報処理サーバ20に送信する。なお、カメラ120が用いる撮像装置の種類は、上述の例に限定されず、任意の種類の撮像装置が用いられてよい。
 (2)情報処理サーバ20
 情報処理サーバ20は、情報処理システムを構成する各要素の処理を制御する機能を有する情報処理装置である。当該機能を実現するために、本開示の実施形態に係る情報処理サーバ20は、図2に示すように、I/F(Interface)部230、マップ生成部240、制御部250、記憶部260を有する。
 (I/F部230)
 I/F部230は、情報処理サーバ20と他の機器とを接続するための接続装置である。I/F部230は、例えば、通信デバイスにより実現される。I/F部230は、通信デバイスにより接続されたセンサ装置10、投射装置30、及び表示装置40の各構成要素間で情報の送受信を行うことができる。なお、I/F部230の通信方式には、有線、または無線の任意の通信方式が用いられてよい。また、I/F部230は、通信方式を通信対象に応じて変更してもよい。また、I/F部230は、各通信対象と直接通信を行う構成であってもよいし、ネットワーク等を介して通信を行う構成であってもよい。
 また、I/F部230は、USB(Universal Serial Bus)コネクタ等のコネクタにより実現されてもよい。I/F部230は、USBコネクタにより接続されたセンサ装置10、投射装置30、及び表示装置40の各構成要素間で情報の入出力を行うことができる。
 I/F部230は、例えば、センサ装置10から入力されたセンシングデータをマップ生成部240、または制御部250へ出力する。また、I/F部230は、制御部250から入力されたコンテンツの投射処理に関する指示を投射装置30へ出力する。また、I/F部230は、制御部250から入力されたコンテンツの表示処理に関する指示を表示装置40へ出力する。
 (マップ生成部240)
 マップ生成部240は、センサ装置10により検出されたセンシングデータに基づいて、空間内のマップ生成、及び物体の認識等のいわゆる空間認識を行う機能を有する。具体的には、マップ生成部240は、センサ装置10が取得するセンシングデータに基づいて、壁面、天井、床、ドア、家具、及び生活用品等の、空間の形状、空間を形成する物体の形状、及び当該物体の位置などを示す空間情報を生成する。そして、マップ生成部240は、生成した空間情報を制御部250へ出力する。また、マップ生成部240は、生成した空間情報を記憶部260に出力し、記憶部260に記憶させてもよい。
 マップ生成部240は、例えば、居住空間の至る場所に設置されたセンサ装置10により検出されたセンシングデータに基づき、居住空間を認識することができる。例えば、マップ生成部240は、当該センシングデータに基づき、玄関、廊下、キッチン、リビング、ダイニング、書斎、寝室、風呂場、洗面所、ベランダ等を認識することができる。また、マップ生成部240は、当該センシングデータに基づき、各部屋における物体の配置をマップ化した空間情報を生成することもできる。
 (制御部250)
 制御部250は、情報処理サーバ20の動作全般を制御するための機能を有する。例えば、制御部250は、情報処理サーバ20がセンサ装置10のセンシング処理を制御することに関する機能を有する。また、制御部250は、情報処理サーバ20が投射装置30の投射処理を制御することに関する機能を有する。また、制御部250は、情報処理サーバ20が表示装置40の表示処理を制御することに関する機能を有する。
 上述の機能を実現するために、本開示の実施形態に係る制御部250は、図2に示すように、設定部252、投射制御部254を備える。
 ・設定部252
 設定部252は、投射装置30の動作モードを設定する機能を有する。当該動作モードには、投射装置30が駆動するモードである駆動モードと、投射装置が駆動しないモードである非駆動モードの2つのモードがある。動作モードが駆動モードである場合、投射装置30は、駆動して投射方向を変更することで、投射領域50を移動することができる。また、動作モードが非駆動モードである場合、投射装置30は、駆動しないため投射方向を変更せず、投射領域50も移動せず、一定の方向にコンテンツを投射する。
 設定部252は、例えば、ユーザからの指示に基づき、動作モードを設定する。また、設定部252は、アプリケーションからの指示に基づき、動作モードを設定してもよい。また、設定部252は、空間情報に基づき、動作モードを設定してもよい。
 ・投射制御部254
 投射制御部254は、センサ装置10のセンシング処理を制御する機能を有する。例えば、投射制御部254は、センサ装置10がある空間に設置されたタイミングで、センサ装置10に当該空間をセンシングさせてセンシングデータを取得させる。また、投射制御部254は、所定の時間が経過するごとに、センサ装置10に当該空間をセンシングさせてもよい。また、投射制御部254は、投射装置30が投射領域50を移動している間に、センサ装置10に逐次的に当該空間をセンシングさせてもよい。
 また、投射制御部254は、センサ装置10に空間全体をセンシングさせてもよいし、空間の一部分(例えば、投射方向の空間のみ)をセンシングさせてもよい。
 また、投射制御部254は、投射装置30の投射処理を制御する機能を有する。例えば、投射制御部254は、入力される指示、及び空間情報に基づき、投射装置30によるコンテンツの投射方向を変更する処理を制御する。ここで、入力される指示とは、ポインティング装置等でユーザに入力される指示、またはアプリケーション等により入力される指示などである。
 投射方向を変更する旨の指示が入力されると、投射制御部254は、空間情報に基づき、投射領域50の候補と表示装置40の候補を検出する。投射制御部254は、検出した投射領域50の候補と表示装置40の候補の各々に対して評価値(以下では、適合度とも称される)を設定する。投射制御部254は、当該評価値に基づき、投射領域50の候補と表示装置40の候補の中から1つの候補を選択し、選択した候補を投射領域50、または表示装置40として決定する。
 ここで、評価値の設定について具体的に説明する。投射領域50は、投射方向の観点と視認性の観点から2つの評価値が設定される。表示装置40は、表示領域42のサイズの観点から1つの評価値が設定される。
 投射領域50の投射方向の観点では、投射制御部254は、投射領域50の法線方向に基づき、評価値を設定する。例えば、投射制御部254は、投射方向と投射領域50の法線方向に基づき、投射装置30と投射領域50の相対関係を求める。具体的には、投射制御部254は、投射方向と法線方向のベクトルの一致度を算出する。当該一致度が高い投射領域50ほど、コンテンツを投射する投射領域50として適しているため、高い評価値が設定される。なお、投射領域50の候補の中で部分領域を有する候補は、部分領域の各々の法線方向と投射方向との一致度を算出し、部分領域の各々に対して評価値が設定される。
 投射領域50の視認性の観点では、投射制御部254は、投射領域50に収まるようにコンテンツを投射した際のコンテンツの視認性に基づき、評価値を設定する。例えば、投射領域50に収まるようにコンテンツを投射した際に、コンテンツの視認性が高い投射領域50ほど、コンテンツを投射する投射領域50として適しているため、高い評価値が設定される。なお、投射領域50の候補の中で部分領域を有する候補は、部分領域の各々に収まるようにコンテンツを投射した際のコンテンツの視認性に基づき、部分領域の各々に対して評価値が設定される。
 表示装置40の表示領域42のサイズの観点では、投射制御部254は、投射領域50の視認性の観点と同様に、表示領域42に収まるようにコンテンツを表示した際のコンテンツの視認性に基づき、評価値を設定する。例えば、表示領域42に収まるようにコンテンツを表示した際に、コンテンツの視認性が高い表示装置40ほど、コンテンツを表示する表示装置40として適しているため、高い評価値が設定される。
 そして、投射制御部254は、投射領域50の候補の各々に設定された2つの評価値に基づき、コンテンツの投射により適した投射領域50を選択する。また、投射制御部254は、表示装置40の候補の各々に設定された評価値に基づき、コンテンツの表示により適した表示装置40を選択する。なお、投射制御部254は、典型的には、投射領域50の候補から選択された投射領域50にコンテンツを投射するように投射処理を制御する。投射領域50の近くに選択された表示装置40が存在する場合、投射制御部254は、表示装置40にコンテンツを表示させるように表示処理を制御する。また、投射制御部254は、投射領域50を移動させずに、表示装置40にコンテンツを表示させるように表示処理を制御してもよい。なお、投射制御部254は、選択された表示装置40に必ずしもコンテンツを表示させる必要はない。例えば、投射領域50の近くに選択された表示装置40がある場合、投射制御部254は、表示装置40にコンテンツを表示させず、表示装置40を避けるように投射領域50を移動させるように投射処理を制御してもよい。
 また、投射制御部254は、投射領域50を移動している間の投射領域50の投射効果を決定し、投射処理を制御する機能を有する。ここで、投射効果とは、投射領域50が移動する際の様子に与える変化のことである。例えば、投射制御部254は、空間情報に基づき、移動先の投射領域50とは異なる他の投射領域50を検出する。そして、投射制御部254は、他の投射領域50から最適な投射領域50を決定し、決定した投射領域50を新しい移動先の投射領域50としてもよい。また、投射制御部254は、空間情報に基づき、投射領域50のサイズを変更してもよい。また、投射制御部254は、空間情報に基づき、アニメーション表現を付加して投射領域50を移動させてもよい。
 また、投射制御部254は、表示装置40がコンテンツを表示する際の表示効果を決定し、表示処理を制御してもよい。ここで、表示効果とは、表示装置40が表示するコンテンツの様子に与える変化のことである。例えば、投射制御部254は、表示領域42のサイズに応じて、コンテンツの表示サイズを変更してもよい。また、投射制御部254は、投射領域50の移動経路に存在する表示装置40にコンテンツを表示させている場合、投射装置30の駆動に合わせて、表示領域42内でコンテンツを移動させてもよい。
 また、投射制御部254は、表示装置40の表示処理を制御する機能を有する。例えば、投射制御部254は、表示装置40が同一空間内に存在する場合、表示装置40にコンテンツを表示させてもよい。例えば、投射制御部254は、投射領域50の移動経路に表示装置40が存在する場合、表示装置40の状態に応じて、投射装置30の投射処理を制御し、コンテンツを表示装置40に表示させてもよい。
 以下では、図3、及び図4を参照しながら、投射制御部254による制御の一例として、投射領域50の移動経路に表示装置40が存在する場合の投射処理の制御について具体的に説明する。図3は、本開示の実施形態に係る表示装置40によるコンテンツの表示処理を示す説明図である。図4は、本開示の実施形態に係る表示装置40を避けるコンテンツの投射処理を示す説明図である。
 投射制御部254は、投射領域の移動経路に、コンテンツを表示する表示装置40が存在する場合、表示装置40の状態に応じて、コンテンツの投射処理を制御する。投射制御部254は、例えば、表示装置40がコンテンツを表示可能な状態である場合、投射装置30によるコンテンツの投射を停止し、コンテンツを表示装置40に表示させる。
 ここで、表示可能な状態とは、例えば、表示装置40が使用されていない状態である。また、投射制御部254は、表示装置40が使用されている状態でも表示装置40に表示されているコンテンツが切り替えられてもよい場合も表示可能な状態とみなしてもよい。また、投射制御部254は、投射装置30と表示装置40を使用しているユーザが同一である場合も表示可能な状態とみなしてもよい。上述のように、投射制御部254は、表示装置40の使用状態、表示装置40に表示されているコンテンツ、及び表示装置40のユーザに基づき、表示可能な状態を判定する。
 図3に示すように、投射領域50Aから投射領域50Bまでの移動経路に表示装置40が存在し、かつ表示装置40が使用可能な状態である場合、投射制御部254は、表示装置40にコンテンツを表示させる。具体的に、投射制御部254は、投射装置30が投射領域50を移動している際に、投射領域50が表示装置40に重なるタイミングで投射装置30による投射を停止し、表示装置40にコンテンツを表示させる。この時、投射制御部254は、投射装置30の駆動に合わせて、コンテンツを表示領域42内で移動させながら表示させてもよいし、コンテンツを移動させずに表示してもよい。そして、投射装置30の駆動により投射領域50が表示領域42と重ならない領域が再度生じるタイミングで、投射制御部254は、投射装置30によるコンテンツの投射を再開させ、表示装置40によるコンテンツの表示を停止させる。
 また、投射制御部254は、表示装置40がコンテンツを表示できない状態である場合、表示装置40の表示領域42と投射領域50が重ならないように、投射領域50を移動させる。すなわち、投射制御部254は、表示装置40を避けるように投射領域50を移動させる。
 ここで、表示できない状態とは、例えば、表示装置40が使用されている状態であり、かつ表示装置40に既に表示されているコンテンツが切り替えられてはいけない状態である。また、投射制御部254は、表示装置40が使用されている状態であるだけで表示できない状態とみなしてもよい。また、投射制御部254は、投射装置30と表示装置40を使用しているユーザが異なる場合も表示できない状態とみなしてもよい。上述のように、投射制御部254は、表示装置40の使用状態、表示装置40に表示されているコンテンツ、及び表示装置40のユーザに基づき、表示できない状態を判定する。
 図4に示すように、投射領域50Aから投射領域50Bまでの移動経路に表示装置40が存在し、かつ表示装置40が使用できない状態である場合、投射制御部254は、表示装置40を避けるように投射領域50を移動させる。
 上述のように、投射領域50の移動経路にコンテンツを表示可能な状態である表示装置40が存在する場合、投射制御部254がコンテンツを表示装置40に表示させることで、投射領域50は、上下方向に移動しない。よって、ユーザは、投射領域50が移動されている間、視線を一定方向のみに移動するだけでコンテンツの視聴を継続することができる。また、投射領域50が表示装置40を避ける場合、投射装置30は、他のユーザによる表示装置40の利用を妨害することなく、投射領域50を移動することができる。
 以上、図3、及び図4を参照しながら、投射制御部254による制御の一例について説明した。
 (記憶部260)
 記憶部260は、情報処理システムにおける処理にて取得されるデータを記憶する機能を有する。例えば、記憶部260は、センサ装置10が取得したセンシングデータを記憶する。具体的に、記憶部260は、デプスセンサ110が検出した深度情報を制御部250により入力され、当該深度情報を記憶する。また、記憶部260は、カメラ120が撮像した画像を制御部250により入力され、当該画像を記憶する。
 また、記憶部260は、マップ生成部240が生成した空間情報を記憶する。
 なお、記憶部260が記憶する情報は、上述のセンサ装置10が取得したセンシングデータに限定されない。例えば、記憶部260は、制御部250の処理において出力されるデータ、各種アプリケーション等のプログラム、及びデータ等を記憶してもよい。
 (3)投射装置30
 投射装置30は、コンテンツを投射する機能を有する。投射装置30は、情報処理サーバ20から受信するコンテンツの投射処理に関する指示に基づき、当該コンテンツを任意の方向に投射する。
 投射装置30として、例えば、プロジェクタが挙げられる。本開示の実施形態では、駆動型のプロジェクタを用いられる例について説明するが、プロジェクタの種類は特に限定されず、任意の種類のプロジェクタが用いられてもよい。例えば、固定型のプロジェクタ、または全天周型のプロジェクタが用いられてもよい。なお、投射装置30の台数は特に限定されず、任意の台数の投射装置30が設置されてもよい。例えば、同一空間内に、1台の投射装置30が設置されてもよいし、複数台の投射装置30が設置されてもよい。
 (4)表示装置40
 表示装置40は、コンテンツを表示する機能を有する。表示装置40として、例えば、TV、ディスプレイ等が挙げられる。なお、表示装置40の台数は特に限定されず、任意の台数の表示装置40が設置されてもよい。例えば、同一空間内に、1台の表示装置40が設置されてもよいし、複数台の表示装置40が設置されてもよい。
 以上、図2~図4を参照しながら、本開示の実施形態に係る情報処理システムの機能構成例について説明した。続いて、本開示の情報処理システムの動作例について説明する。
 <1.3.動作例>
 以下では、図5を参照しながら、本開示の実施形態に係る情報処理システムの動作例について説明する。図5は、本開示の実施形態に係る情報処理システムの動作例を示すフローチャートである。
 図5に示すように、まず、投射制御部254は、コンテンツの投射方向を変更するか否かを確認する(ステップS1000)。投射制御部254は、投射方向を変更しない場合(ステップS1000/NO)、投射方向の変更に関する処理を行わず、後述するステップS1020の処理に進む。投射制御部254は、投射方向を変更する場合(ステップS1000/YES)、投射方向の変更に関する処理を行うため、ステップS1002の処理に進む。
 投射方向の変更に関する処理では、まず、投射制御部254は、空間情報が取得されているか否かを確認する(ステップS1002)。空間情報が取得されていない場合(ステップS1002/NO)、投射制御部254は、空間情報の取得処理を行う(ステップS1004)。当該取得処理後、投射制御部254は、空間情報が取得されているか否かを再度確認する(ステップS1002)。なお、ステップS1002、及びステップS1004は、空間情報が取得されるまで繰り返される。
 空間情報が取得されている場合(ステップS1002/YES)、投射制御部254は、空間情報に基づき、コンテンツの投射に適した投射領域50の候補を検出する処理を行う(ステップS1006)。また、投射制御部254は、ステップS1006の処理と並行して、空間情報に基づき、コンテンツを表示する表示装置40の候補を検出する処理を行う(ステップS1008)。
 投射制御部254は、検出した投射領域50の候補と表示装置40の候補から、コンテンツの投射により適した投射領域50、またはコンテンツの表示により適した表示装置40を決定する(ステップS1010)。
 投射制御部254は、ステップS1010にて、変更先の投射領域50、または表示装置40を決定後、投射装置30の投射方向の変更処理を実行する(ステップS1012)
 投射制御部254は、投射装置30によるコンテンツの投射から、表示装置40によるコンテンツの表示に切り替えるか否かを確認する(ステップS1014)。投射制御部254は、表示装置40に切り替える場合(ステップS1014/YES)、表示装置40に切り替える(ステップS1016)。投射制御部254は、表示装置40に切り替えない場合(ステップS1014/NO)、表示装置40に切り替えず、ステップS1018の処理に進む。
 投射制御部254は、コンテンツの投射効果、または表示効果を決定する(ステップS1018)。そして、投射制御部254は、決定した投射効果、または表示効果に従って、コンテンツの投射処理、または表示処理を制御する。
 投射効果、または表示効果の設定後、投射制御部254は、投射装置30がコンテンツを表示しているか否かを確認する(ステップS1020)。投射制御部254は、投射装置30がコンテンツを投射している場合(ステップS1020/YES)、投射装置30に幾何補正を行わせる(ステップS1022)。そして、投射制御部254は、幾何補正をした上で、投射装置30にコンテンツを投射させる(ステップS1024)。
 投射制御部254は、投射装置30がコンテンツを投射しておらず、表示装置40がコンテンツを表示している場合(ステップS1020/NO)、ステップS1022の処理を行わず、表示装置40にコンテンツを表示させる(ステップS1024)。
 投射制御部254は、コンテンツの投射、または表示を終了するか否かを確認する(ステップS1026)。コンテンツの投射、または表示を終了する場合(ステップS1026/YES)、投射制御部254は、コンテンツの投射、または表示を終了し、処理を終了する。また、コンテンツの投射、または表示を終了しない場合(ステップS1026/NO)、投射制御部254は、コンテンツの投射、または表示を終了せずに、ステップS1000から処理を繰り返す。
 以上、図5を参照しながら、本開示の実施形態に係る情報処理システムの動作例について説明した。
 以上、図1~図5を参照しながら、本開示の実施形態について説明した。続いて、本開示の実施形態に係る変形例について説明する。
 <<2.変形例>>
 以下では、本開示の実施形態の変形例を説明する。なお、以下に説明する変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
 (1)第1の変形例
 以下では、図6、及び図7を参照しながら、本開示の実施形態に係る第1の変形例について説明する。図6は、本開示の実施形態に係るコンテンツの移動の制御を示す説明図である。なお、図6の右側の図は、図6の左側の図の空間を投射領域50Aの方向から見た図である。図7は、本開示の実施形態に係るコンテンツのサイズの制御を示す説明図である。なお、図7の右側の図は、図7の左側の図の空間を投射領域50Aの方向から見た図である。
 投射制御部254は、投射領域50に含まれる複数の部分領域のいずれか1つを選択し、選択した部分領域に収まるようにコンテンツの投射サイズまたは投射位置の少なくともいずれかを制御してもよい。ここで、投射位置とは、投射領域50内においてコンテンツが投射される位置である。例えば、投射制御部254は、図6の左側に示すように、投射領域50Aを投射領域50Bに移動させると、投射領域50Bには複数の部分領域が生じる。
 複数の部分領域とは、例えば、図6の左右の図に示すように、部分領域70A、部分領域70B、及び部分領域70Cである。投射制御部254は、これらの複数の部分領域70の中から、各々の法線方向またはサイズの少なくともいずれかに基づいて、コンテンツが投射される部分領域を選択してもよい。例えば、法線方向に基づいてコンテンツが投射される部分領域を選択する場合、投射制御部254は、投射方向との一致度がより高い法線方向の部分領域を選択する。また、部分領域のサイズに基づいてコンテンツが投射される部分領域を選択する場合、投射制御部254は、より面積が大きい部分領域を選択する。図6の左側に示す図では、投射方向との一致度がより高い法線方向であり、かつより面積が大きい部分領域70Cがコンテンツを投射される部分領域として選択されている。そして、投射制御部254は、選択した部分領域に収まるように、コンテンツ53aを投射させる。そして、投射制御部254は、投射領域50Cのように部分領域がなくなったら、コンテンツの投射位置を元に戻してコンテンツ53bを投射させる。なお、コンテンツ53aの投射位置とコンテンツ53bの位置は、図6の右側に示すように異なっている。
 また、上述のようにしてコンテンツを投射させる部分領域を選択後、投射制御部254は、図7の左側に示すコンテンツ53aのように、投射サイズを縮小した上でコンテンツを投射させてもよい。そして、投射制御部254は、投射領域50Cのように部分領域がなくなったら、投射サイズを拡大した上でコンテンツ53bを投射させてもよい。なお、コンテンツ53aの投射サイズとコンテンツ53bの投射サイズは、図7の右側に示すように異なっている。
 上述のように、投射制御部254は、適切に部分領域を選択した上で、コンテンツの投射サイズまたは投射位置を制御することで、コンテンツの視認性を確保することができる。
 (2)第2の変形例
 以下では、図8を参照しながら、本開示の実施形態に係る第2の変形例について説明する。図8は、本開示の実施形態に係る投射領域50の移動の制御を示す説明図である。なお、図8の右側の図は、図8の左側の図の空間を投射領域50Aの方向から見た図である。
 投射制御部254は、駆動モードにおいて、移動先の投射領域50として指示された指示領域に複数の部分領域が含まれる場合、コンテンツに応じて、指示領域と異なる投射領域50の決定又はコンテンツの制御の少なくともいずれかを行ってもよい。指示領域とは、ユーザ、またはアプリケーションなどにより指示された投射領域50である。上記第1の変形例で参照した図6の左側に示した投射領域50Bが指示領域とすると、当該指示領域には複数の部分領域が含まれている。この時、投射制御部254は、部分領域の法線方向が所定の範囲内である領域を、投射領域50として決定してもよい。例えば、投射制御部254は、投射方向と法線方向の一致度が一定以上になるように設定された範囲内の法線方向を有する部分領域を投射領域50として決定する。具体的に、投射制御部254は、図6の左側に示した部分領域70Cを指示領域と異なる投射領域50として決定し、当該投射領域50にコンテンツを投射させたとする。これは、即ち、図8の左側に示す投射領域50Bにコンテンツ53aを投射させた状態と同じといえる。なお、指示領域と異なる投射領域50は、指示領域に含まれる部分領域と部分的に重なっていてもよいし、重なっていなくてもよい。
 このようにして、投射制御部254は、図8に示す投射領域50Bにコンテンツ53aを投射させることで、物体80を避けてコンテンツを投射させることができる。そして、投射制御部254は、投射領域50Aに投射したコンテンツと同じ高さにコンテンツを投射できるように、投射領域50Bを投射領域50Cまで移動させてもよい。なお、コンテンツ53aの投射位置とコンテンツ53bの投射位置は、図8の右側に示すように異なっている。
 なお、投射制御部254は、指示領域とのずれが小さい領域を投射領域50として決定してもよい。例えば、投射制御部254は、投射領域50の候補と指示領域とのずれを距離に基づき評価する。具体的に、投射制御部254は、空間情報に基づき、投射領域50の候補を検出し、各候補と指示領域との距離を比較する。比較後、投射制御部254は、当該距離がより小さい候補を投射領域50として優先的に選択する。当該距離として、例えば、投射領域50の候補の重心の位置と指示領域の重心の位置との間の距離が算出される。また、当該距離として、投射領域50の候補の外周枠と指示領域の外周枠との間の距離がより小さくなる部分の距離が算出されてもよい。なお、当該距離の算出方法は、上述の例に限定されず、任意の方法により算出されてもよい。
 上述のように、投射制御部254は、指示領域からの距離がより小さい候補を優先的に投射領域50として選択することで、指示領域とのずれがより小さい領域を投射領域50として決定することができる。これにより、投射制御部254は、投射領域50の移動距離を抑えることができ、ユーザの視線の移動量も抑えることができる。なお、投射制御部254は、指示領域と投射領域50の候補との関係に基づく重みづけを行い、当該重みづけの結果に基づき、投射領域50を選択してもよい。
 なお、投射制御部254は、指示領域と異なる投射領域50を決定しない場合、上述した第1の変形例のようにして、コンテンツの制御を行ってもよい。
 上述のように、投射制御部254は、投射領域50に複数の部分領域が含まれる場合に、部分領域が含まれなくなるように投射領域50を移動することで、コンテンツの視認性を向上することができる。
 (3)第3の変形例
 以下では、図9を参照しながら、本開示の実施形態にかかる第3の変形例について説明する。図9は、本開示の実施形態に係る部分領域間のコンテンツの移動の制御を示す説明図である。なお、図9の左側の図は、移動前の部分領域52A、及び部分領域52Bを示し、図9の右側の図は、移動後の部分領域52A、及び部分領域52Bを示している図である。
 投射制御部254は、投射領域50が複数の部分領域を有する場合、より面積が大きい部分領域にコンテンツを投射するように制御してもよい。例えば、図9の左側に示すように、部分領域52Aと部分領域52Bを比較すると、部分領域52Aの面積の方が大きいため、投射制御部254は、部分領域52Aにコンテンツを投射させる。また、図9の右側に示すように、投射領域50の移動後の部分領域52Aと部分領域52Bを比較すると、部分領域52Bの面積の方が大きいため、投射制御部254は、部分領域52Bにコンテンツを投射させる。このように、投射制御部254は、より面積が大きい部分領域52にコンテンツを投射させることで、ユーザがコンテンツを視認しやすくすることができる。
 上述のように、投射制御部254は、部分領域の面積の大きさに応じてコンテンツを投射させることで、投射領域50を移動している間のコンテンツの視認性を向上することができる。
 (4)第4の変形例
 以下では、図10、及び図11を参照しながら、本開示の実施形態に係る第4の変形例について説明する。図10は、本開示の実施形態に係る移動前後の投射領域50の大きさを示す説明図である。図11は、本開示の実施形態に係る同一の大きさでの投射領域50の移動を示す説明図である。
 投射制御部254は、投射領域50を移動させる際に、空間情報に基づき、移動前の投射領域50の大きさと、移動後の投射領域50の大きさが同一となるように投射領域50を移動させてもよい。例えば、図10に示すように、投射制御部254は、ある壁面に投射された投射領域50を他の壁面に移動させたとする。投射領域50の大きさは、投射装置30から投射領域50までの距離が遠いほど大きくなる。また、投射領域50の移動中における投射装置30から投射領域50までの距離は必ずしも一定ではない。よって、移動中の投射領域50の大きさは、投射装置30との距離に応じて変化を繰り返している。これは、コンテンツの視認性に大きく影響する。そこで、図11に示すように、投射制御部254は、移動前の投射領域50A、移動中の投射領域50B、及び移動後の投射領域50Cの大きさが同一となるように投射領域50を移動する。この時、投射制御部254は、投射装置30と投射領域50との距離に応じて投射領域50を拡縮することで、移動中の投射領域50の大きさを同一に保つ。なお、投射制御部254は、移動前の投射領域50Aと移動後の投射領域50Cの大きさのみが同一となるように制御してもよい。この時、投射制御部254は、移動中の投射領域50Bの大きさを制御しなくてもよい。
 上述のように、投射制御部254は、投射領域50の大きさを制御することで、コンテンツの視認性を向上することができる。
 (5)第5の変形例
 以下では、図12を参照しながら、本開示の実施形態に係る第5の変形例について説明する。図12は、本開示の実施形態に係る投射領域50の移動を表現するオブジェクトを示す説明図である。
 投射制御部254は、投射領域50を移動させる際に、コンテンツに代えて投射領域50を移動中であることを示すオブジェクト54を投射させてもよい。例えば、投射制御部254は、移動によりコンテンツが安定しない状態(例えば、コンテンツがぶれた状態)をユーザに視認させたくない場合、投射領域50Aの代わりにオブジェクト54を投射し、オブジェクト54を移動させる。投射制御部254は、オブジェクト54を移動させることで、投射領域50を移動中であることを示すことできる。投射制御部254は、オブジェクト54の移動を終了する際には、オブジェクト54を投射領域50Bに切り替えて、投射領域50Bを投射する。これにより、投射制御部254は、投射装置30の駆動により生じるコンテンツのぶれなどをユーザに視認させなくすることができる。また、投射制御部254は、オブジェクト54を投射することで移動経路を示すことができ、ユーザが投射位置を見失わないようにすることができる。
 なお、投射領域50の代わりに投射するオブジェクト54の形状は、図12に示す形状に限定されず、任意の形状のオブジェクト54が投射されてもよい。
 上述のように、投射制御部254は、投射領域50に代えてオブジェクト54を投射することにより、投射領域50を移動している間のコンテンツの視認性を向上することができる。
 (6)第6の変形例
 以下では、本開示の実施形態に係る第6の変形例について説明する。
 投射制御部254は、コンテンツに応じて、投射領域50を移動させる速度を変化させてもよい。例えば、投射制御部254は、投射領域50を移動させている間における情報表示が重要でないコンテンツの場合、投射領域50の移動速度を上げる。情報表示が重要でないコンテンツとは、例えば、表示されている情報が投射領域50の移動中に変化しない静的なコンテンツである。静的なコンテンツとは、例えば、写真など静止画、テキスト、または移動に応じて内容が変化するような設定がされていないようなコンテンツなどである。これにより、投射領域50の移動速度が速くなるため、投射制御部254は、ユーザに余計な情報を視認させないことができる。
 また、投射制御部254は、投射領域50を移動させている間における情報表示が重要であるコンテンツの場合、投射領域50の移動速度を下げる。情報表示が重要であるコンテンツとは、例えば、表示されている情報が投射領域50の移動に応じて変化する動的なコンテンツである。動的なコンテンツとは、例えば、アニメーションなどの映像であるコンテンツ、移動中であることを示すコンテンツである。また、UI(User Interface:ユーザインタフェース)のように、情報表示と操作が組み合わさって動作する状態にあるようなコンテンツも、常に投射内容が視認できることが重要なコンテンツである。具体的なUIとしては、画面設定などのシステム設定、エージェントアプリ、視線を追跡して情報を提示するアプリなどが挙げられる。これにより、投射領域50の移動速度が遅くなるため、投射制御部254は、ユーザにコンテンツを視認させやすくすることができる。
 上述のように、投射制御部254は、コンテンツに応じて投射領域50の移動速度を変更することで、投射領域50を移動している間のコンテンツの視認性を向上することができる。
 (7)第7の変形例
 以下では、図13~図15を参照しながら、本開示の実施形態に係る第7の変形例について説明する。図13は、本開示の実施形態に係るコンテンツの解像度が低下する投射を示す説明図である。図14は、本開示の実施形態に係るコンテンツの投射の引き継ぎを示す説明図である。図15は、本開示の実施形態に係る移動前後の投射領域50の大きさを示す説明図である。
 投射制御部254は、複数の投射装置30が存在する場合、空間情報に基づき、コンテンツを投射する投射装置30を切り替えてもよい。投射制御部254は、投射領域50を移動させている際に、コンテンツの視認性に応じて、コンテンツの投射処理を投射装置30から他の投射装置30に引き継ぐ制御を行ってもよい。例えば、投射制御部254は、投射装置30が投射領域50を移動することでコンテンツの視認性が低下する場合、視認性を低下させずにコンテンツを投射可能な他の投射装置30に投射処理を引き継がせる。
 例えば、投射装置30の設置位置、投射方向と投射領域50のなす角度、または投射装置30から投射領域50までの距離などによって、コンテンツの解像度が低下し、コンテンツの視認性が低下する場合がある。具体的に、図13に示すように、投射方向と投射領域50のなす角度が小さい場合、コンテンツの解像度が低下し、コンテンツの視認性が悪くなる。また、投射領域50の形状も歪んでしまい、さらにコンテンツの視認性が悪くなる。
 そこで、図14に示すように、投射制御部254は、投射領域50を投射領域50Aから投射領域50Cまで移動させる際に、区間56Aでは投射装置30Aに、区間56Bでは投射装置30Bにコンテンツを投射させる。投射処理を引き継ぐにあたり、投射制御部254は、投射装置30Aが投射しているコンテンツが投射領域50B付近まで移動してきたら、投射装置30Bに、投射装置30Aが投射しているコンテンツに重なるように同一のコンテンツを投射させる。そして、投射制御部254は、投射装置30Aに投射されているコンテンツの輝度などを調整してフェードアウトさせることで、投射装置30Aから投射装置30Bに投射処理をより自然に引き継がせる。これにより、投射制御部254は、コンテンツの視認性を低下させることなく、投射領域50を移動させることができる。なお、投射制御部254は、投射方向と投射領域50のなす角度がより大きくなる投射装置30に投射処理を引き継がせる。
 また、図15に示すように、投射制御部254は、投射領域50をある壁面から他の壁面に移動させたとする。図15に示す例では、投射領域50を移動させることで、投射装置30と投射領域50との距離が遠くなるため、投射領域のサイズが大きくなる。また、コンテンツの投射サイズを移動前後で同一にすると、移動後の投射領域50におけるコンテンツの投射サイズは小さくなるため、コンテンツの解像度が低下し、視認性も悪くなる。そこで、投射制御部254は、上述のように、移動後の投射領域50により近い投射装置30に投射処理を引き継がせることで、解像度の低下を防ぐことができ、視認性も改善することができる。
 上述のように、投射制御部254は、複数の投射装置30が存在する場合に、コンテンツの視認性が低下するような状況において、コンテンツの投射処理を複数の投射装置30間で引き継がせることにより、コンテンツの視認性を改善することができる。
 (8)第8の変形例
 以下では、図16を参照しながら、本開示の実施形態に係る第8の変形例について説明する。図16は、本開示の実施形態に係るコンテンツの輝度及び色の変化を示す説明図である。
 投射制御部254は、投射領域50の移動速度に応じて、コンテンツの輝度の設定または色に関する設定の少なくともいずれかの設定を変更してコンテンツを投射させてもよい。色に関する設定とは、例えば、コンテンツの彩度の設定である。投射領域50の色は、常に同一であるとは限らず、図16に示す投射領域50A、及び投射領域50Bのように異なる場合がある。この時、投射領域50Aと投射領域50Bにおける輝度、及び彩度の設定が同一であると、両方の投射領域50におけるコンテンツの視認性を一定に保つことはできない。そこで、投射制御部254は、投射領域50の移動速度に応じて輝度、及び彩度の設定を変更してもよい。例えば、投射制御部254は、投射領域の移動速度が速いほど、輝度、彩度の少なくともいずれか一方の設定値を高く設定する。
 具体的に、投射制御部254は、投射領域50の所定の移動速度に対する現在の移動速度との速度比に応じて、投射領域50を移動中の輝度値と彩度値を算出する。投射領域50を移動中の輝度値は、例えば、(速度比×定数×(入力輝度値-中間輝度値)+中間輝度値)を計算することで求めることができる。定数は、ユーザにより任意の値が設定されてよい。入力輝度値は、投射されるコンテンツの輝度値である。中間輝度値とは、投射されるコンテンツの全体の輝度値の中間値である。また、投射領域50を移動中の彩度値は、(速度比×定数×入力彩度値)を計算することで求めることができる。入力彩度値は、投射されるコンテンツの彩度値である。そして、投射制御部254は、算出した移動中の輝度値と彩度値の少なくともいずれか一方の値をより高い値に変更する。
 上述のように、投射制御部254は、移動速度に応じてコンテンツの輝度値または彩度値の設定を高く変更することで、投射領域を移動中のコンテンツの視認性を向上することができる。
 (9)第9の変形例
 以下では、図17を参照しながら、本開示の実施形態に係る第9の変形例について説明する。図17は、本開示の実施形態に係る投射領域50の部分表示を示す説明図である。
 投射制御部254は、例えば、投射領域50にコンテンツを部分的に投射してもよい。例えば、図17に示すように、投射領域50Aより面積が小さい投射領域50Bまで投射領域50Aが移動される場合、投射制御部254は、コンテンツの投射サイズを保ったまま、投射領域50Bにコンテンツを部分的に投射してもよい。これにより、投射領域50の移動前後で投射領域50のサイズが変化しても、コンテンツの投射サイズは変化しない。よって、投射制御部254は、投射領域50のサイズの変化に応じてコンテンツの投射サイズも変化する場合と比較し、ユーザにコンテンツを視認させやすくすることができる。
 上述のように、投射制御部254は、投射領域50にコンテンツを部分的に投射することで、投射領域50を移動している間のコンテンツの視認性を向上することができる。
 (10)第10の変形例
 以下では、図18、及び図19を参照しながら、本開示の実施形態に係る第10の変形例について説明する。図18は、本開示の実施形態に係るポインティングデバイスで投射方向を変更した際の投射領域50の情報を示す説明図である。図19は、本開示の実施形態に係る手動で投射方向を変更した際の投射領域50の情報を示す説明図である。
 投射制御部254は、投射領域50に適合度を投射してもよい。例えば、ユーザがポインティングデバイス32により投射方向を変更する旨の指示を入力する場合について説明する。図18に示すように、投射制御部254は、まず、現在の投射領域50Aにおける、適合度を投射装置30に投射させる。ユーザがポインティングデバイス32により指示を入力すると、投射制御部254は、ポインティングデバイスの移動経路34に沿って、投射領域50を投射装置30に移動させる。投射領域50の移動後、投射制御部254は、移動後の投射領域50Bにおける、適合度を投射装置30に投射させる。
 また、ユーザが投射装置30を手動で動かすことにより、投射方向を変更する旨の指示を入力する場合について説明する。図19に示すように、投射制御部254は、まず、現在の投射領域50Aにおける、適合度を投射装置30に投射させる。ユーザが手動で投射装置30の投射方向を変更すると、投射制御部254は、移動経路34に沿って、投射領域50を投射装置30に移動させる。投射領域50の移動後、投射制御部254は、移動後の投射領域50Bにおける、適合度を投射装置30に投射させる。
 なお、投射制御部254は、適合度として、評価値、投射領域50の面積、投射領域50の傾き具合などを投射してよい。
 また、投射制御部254は、移動経路34中の投射領域50に応じて、逐次的に投射装置30に適合度を投射させてもよい。
 また、投射方向を変更する旨の指示をユーザが入力する手段は、上述の例に限定されず、任意の手段が用いられてもよい。例えば、ユーザは、リモートコントローラ(D-pad)、ジェスチャ、視線の変更などにより、投射方向を変更する旨の指示を入力してもよい。また、投射方向を変更する旨の指示は、システムにより自動で入力されてもよい。
 上述のように、投射制御部254が投射領域50における適合度を投射装置30に投射させることで、ユーザは、当該適合度に基づきコンテンツの視聴に最適な投射領域50を探索することができる。したがって、投射制御部254は、ユーザが投射領域50を探索する際の利便性を向上することができる。
 以上、図6~図19を参照しながら、本開示の実施形態に係る変形例について説明した。続いて、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。
 <<3.ハードウェア構成例>>
 以下では、図20を参照しながら、本開示の実施形態に係る情報処理装置のハードウェア構成例について説明する。図20は、本開示の実施形態に係る情報処理サーバ20のハードウェア構成例を示すブロック図である。図20に示すように、情報処理サーバ20は、例えば、CPU101、ROM103、RAM105、ホストバス107、ブリッジ109、外部バス111、及びインターフェース113を有する。また、情報処理サーバ20は、入力装置115、出力装置117、ストレージ装置119、ドライブ121、リムーバブル記録媒体123、接続ポート125、外部接続機器127、及び通信装置129を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ハードウェア構成は、ここで示される構成要素以外の構成要素をさらに含んでもよい。
 (CPU101、ROM103、RAM105)
 CPU101は、例えば、演算処理装置又は制御装置として機能し、ROM103、RAM105、ストレージ装置119、又はリムーバブル記録媒体123に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM103は、CPU101に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM105には、例えば、CPU101に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。これらはCPUバスなどから構成されるホストバス107により相互に接続されている。CPU101、ROM103およびRAM105は、例えば、ソフトウェアとの協働により、図2を参照して説明した制御部250の機能を実現し得る。
 (ホストバス107、ブリッジ109、外部バス111、インターフェース113)
 CPU101、ROM103、RAM105は、例えば、高速なデータ伝送が可能なホストバス107を介して相互に接続される。一方、ホストバス107は、例えば、ブリッジ109を介して比較的データ伝送速度が低速な外部バス111に接続される。また、外部バス111は、インターフェース113を介して種々の構成要素と接続される。
 (入力装置115)
 入力装置115には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置115としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。また、入力装置115には、マイクロフォンなどの音声入力装置が含まれる。入力装置115は、例えば、図2を参照して説明したセンサ装置10の機能を実現し得る。
 (出力装置117)
 出力装置117は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置などの表示装置を含む。また、出力装置117は、プロジェクタ装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。また、出力装置117は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置117は、例えば、図2を参照して説明した投射装置30、及び表示装置40の機能を実現し得る。
 (ストレージ装置119)
 ストレージ装置119は、各種のデータを格納するための装置である。ストレージ装置119としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。ストレージ装置119は、例えば、図2を参照して説明した記憶部260の機能を実現し得る。
 (ドライブ121)
 ドライブ121は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体123に記録された情報を読み出し、又はリムーバブル記録媒体123に情報を書き込む装置である。
 (リムーバブル記録媒体123)
リムーバブル記録媒体123は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体123は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
 (接続ポート125)
 接続ポート125は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器127を接続するためのポートである。
 (外部接続機器127)
 外部接続機器127は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
 (通信装置129)
 通信装置129は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
 以上、図20を参照しながら、本開示の実施形態に係る情報処理装置のハードウェア構成例について説明した。
 <<4.まとめ>>
 以上説明したように、本開示の実施形態に係る情報処理装置の投射制御部254は、投射装置30がコンテンツを投射する投射領域50を移動させる駆動モードであるか否かに応じて、コンテンツを投射可能な空間の空間情報に基づき、投射領域50を決定する。そして、投射制御部254は、当該投射領域50へのコンテンツの投射処理を制御する。
 情報処理装置は、投射領域50へのコンテンツの投射処理を制御することで、コンテンツの投射方向を移動している間でも、ユーザがより視認しやすい効果をコンテンツに付加した上で、ユーザにコンテンツを提供することができる。
 その結果、情報処理装置は、投射領域を移動している間のコンテンツの視認性をより向上することが可能な、新規かつ改良された情報処理装置、情報処理方法、及び記録媒体を提供することが可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御する投射制御部、
を備える情報処理装置。
(2)
 前記投射制御部は、前記動作モードにおいて、移動先の前記投射領域として指示された指示領域に複数の部分領域が含まれる場合、前記コンテンツに応じて、前記指示領域と異なる前記投射領域の決定又は前記コンテンツの制御の少なくともいずれかを行う、前記(1)に記載の情報処理装置。
(3)
 前記投射制御部は、前記部分領域の法線方向が所定の範囲内である領域を、前記投射領域として決定する、前記(2)に記載の情報処理装置。
(4)
 前記投射制御部は、前記指示領域とのずれが小さい領域を前記投射領域として決定する、前記(3)に記載の情報処理装置。
(5)
 前記投射制御部は、前記投射領域に含まれる複数の前記部分領域のいずれか1つを選択し、選択した前記部分領域に収まるように前記コンテンツの投射サイズまたは投射位置の少なくともいずれかを制御する、前記(2)に記載の情報処理装置。
(6)
 前記投射制御部は、前記投射領域に含まれる複数の前記部分領域の各々の法線方向またはサイズの少なくともいずれかに基づいて、前記コンテンツが投射される前記部分領域を選択する、前記(5)に記載の情報処理装置。
(7)
 前記投射領域に含まれる複数の前記部分領域の各々は、法線方向が所定の範囲内の領域である、前記(6)に記載の情報処理装置。
(8)
 前記投射制御部は、前記投射領域を移動させる際に、前記空間情報に基づき、移動前の前記投射領域の大きさと、移動後の前記投射領域の大きさを同一とする、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記投射制御部は、前記投射領域を移動させる際に、前記コンテンツに代えて前記投射領域を移動中であることを示すオブジェクトを投射させる、前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
 前記投射制御部は、前記コンテンツに応じて、前記投射領域を移動させる速度を変化させる、前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
 前記投射制御部は、前記投射領域の移動経路に、前記コンテンツを表示する表示装置が存在する場合、前記表示装置の状態に応じて、前記コンテンツの投射処理を制御する、前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
 前記投射制御部は、前記表示装置が前記コンテンツを表示可能な状態である場合、前記投射装置による前記コンテンツの投射を停止し、前記コンテンツを前記表示装置に表示させる、前記(11)に記載の情報処理装置。
(13)
 前記投射制御部は、前記表示装置が前記コンテンツを表示できない状態である場合、前記表示装置の表示領域と前記投射領域が重ならないように、前記投射領域を移動させる、前記(11)または(12)に記載の情報処理装置。
(14)
 前記投射制御部は、複数の前記投射装置が存在する場合、前記空間情報に基づき、前記コンテンツを投射する前記投射装置を切り替える、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
 前記投射制御部は、前記投射領域を移動させている際に、前記コンテンツの視認性に応じて、前記コンテンツの投射処理を前記投射装置から他の前記投射装置に引き継ぐ制御を行う、前記(14)に記載の情報処理装置。
(16)
 前記投射制御部は、前記投射領域の移動速度に応じて、前記コンテンツの輝度の設定又は色に関する設定の少なくともいずれかの設定を変更して前記コンテンツを投射させる、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
 投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御すること、
を含むプロセッサにより実行される情報処理方法。
(18)
 コンピュータを、
 投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御する投射制御部、
として機能させるためのプログラムを記録した記録媒体。
 10  センサ装置
 20  情報処理サーバ
 30  投射装置
 40  表示装置
 110 デプスセンサ
 120 カメラ
 230 I/F部
 240 マップ生成部
 250 制御部
 252 設定部
 254 投射制御部
 260 記憶部

Claims (18)

  1.  投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御する投射制御部、
    を備える情報処理装置。
  2.  前記投射制御部は、前記動作モードにおいて、移動先の前記投射領域として指示された指示領域に複数の部分領域が含まれる場合、前記コンテンツに応じて、前記指示領域と異なる前記投射領域の決定又は前記コンテンツの制御の少なくともいずれかを行う、請求項1に記載の情報処理装置。
  3.  前記投射制御部は、前記部分領域の法線方向が所定の範囲内である領域を、前記投射領域として決定する、請求項2に記載の情報処理装置。
  4.  前記投射制御部は、前記指示領域とのずれが小さい領域を前記投射領域として決定する、請求項3に記載の情報処理装置。
  5.  前記投射制御部は、前記投射領域に含まれる複数の前記部分領域のいずれか1つを選択し、選択した前記部分領域に収まるように前記コンテンツの投射サイズまたは投射位置の少なくともいずれかを制御する、請求項2に記載の情報処理装置。
  6.  前記投射制御部は、前記投射領域に含まれる複数の前記部分領域の各々の法線方向またはサイズの少なくともいずれかに基づいて、前記コンテンツが投射される前記部分領域を選択する、請求項5に記載の情報処理装置。
  7.  前記投射領域に含まれる複数の前記部分領域の各々は、法線方向が所定の範囲内の領域である、請求項6に記載の情報処理装置。
  8.  前記投射制御部は、前記投射領域を移動させる際に、前記空間情報に基づき、移動前の前記投射領域の大きさと、移動後の前記投射領域の大きさを同一とする、請求項1に記載の情報処理装置。
  9.  前記投射制御部は、前記投射領域を移動させる際に、前記コンテンツに代えて前記投射領域を移動中であることを示すオブジェクトを投射させる、請求項1に記載の情報処理装置。
  10.  前記投射制御部は、前記コンテンツに応じて、前記投射領域を移動させる速度を変化させる、請求項1に記載の情報処理装置。
  11.  前記投射制御部は、前記投射領域の移動経路に、前記コンテンツを表示する表示装置が存在する場合、前記表示装置の状態に応じて、前記コンテンツの投射処理を制御する、請求項1に記載の情報処理装置。
  12.  前記投射制御部は、前記表示装置が前記コンテンツを表示可能な状態である場合、前記投射装置による前記コンテンツの投射を停止し、前記コンテンツを前記表示装置に表示させる、請求項11に記載の情報処理装置。
  13.  前記投射制御部は、前記表示装置が前記コンテンツを表示できない状態である場合、前記表示装置の表示領域と前記投射領域が重ならないように、前記投射領域を移動させる、請求項11に記載の情報処理装置。
  14.  前記投射制御部は、複数の前記投射装置が存在する場合、前記空間情報に基づき、前記コンテンツを投射する前記投射装置を切り替える、請求項1に記載の情報処理装置。
  15.  前記投射制御部は、前記投射領域を移動させている際に、前記コンテンツの視認性に応じて、前記コンテンツの投射処理を前記投射装置から他の前記投射装置に引き継ぐ制御を行う、請求項14に記載の情報処理装置。
  16.  前記投射制御部は、前記投射領域の移動速度に応じて、前記コンテンツの輝度の設定又は色に関する設定の少なくともいずれかの設定を変更して前記コンテンツを投射させる、請求項1に記載の情報処理装置。
  17.  投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御すること、
    を含むプロセッサにより実行される情報処理方法。
  18.  コンピュータを、
     投射装置がコンテンツを投射する投射領域を移動させる動作モードであるか否かに応じて、前記投射装置が前記コンテンツを投射可能な空間の空間情報に基づき投射領域を決定し、決定した前記投射領域への前記コンテンツの投射処理を制御する投射制御部、
    として機能させるためのプログラムを記録した記録媒体。
PCT/JP2019/005108 2018-05-01 2019-02-13 情報処理装置、情報処理方法、及び記録媒体 WO2019211936A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19796140.2A EP3790270A4 (en) 2018-05-01 2019-02-13 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
US17/050,086 US20210258548A1 (en) 2018-05-01 2019-02-13 Information processing device, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-088134 2018-05-01
JP2018088134A JP2021122078A (ja) 2018-05-01 2018-05-01 情報処理装置、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2019211936A1 true WO2019211936A1 (ja) 2019-11-07

Family

ID=68386515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005108 WO2019211936A1 (ja) 2018-05-01 2019-02-13 情報処理装置、情報処理方法、及び記録媒体

Country Status (4)

Country Link
US (1) US20210258548A1 (ja)
EP (1) EP3790270A4 (ja)
JP (1) JP2021122078A (ja)
WO (1) WO2019211936A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632593B (zh) * 2018-05-31 2020-05-19 歌尔股份有限公司 彩色汇聚误差的修正方法、装置及设备
JP2021144064A (ja) * 2018-06-06 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014163954A (ja) * 2013-02-21 2014-09-08 Seiko Epson Corp プロジェクター、およびプロジェクターの制御方法
JP2014192808A (ja) * 2013-03-28 2014-10-06 Ricoh Co Ltd 投影装置、プログラム
JP2015047894A (ja) * 2013-08-30 2015-03-16 富士通テン株式会社 表示システム
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP2016123074A (ja) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 投影装置
WO2016125359A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016157996A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び画像表示システム
WO2017154609A1 (ja) 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6431711B1 (en) * 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
US9723293B1 (en) * 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
US8840250B1 (en) * 2012-01-11 2014-09-23 Rawles Llc Projection screen qualification and selection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014163954A (ja) * 2013-02-21 2014-09-08 Seiko Epson Corp プロジェクター、およびプロジェクターの制御方法
JP2014192808A (ja) * 2013-03-28 2014-10-06 Ricoh Co Ltd 投影装置、プログラム
JP2015047894A (ja) * 2013-08-30 2015-03-16 富士通テン株式会社 表示システム
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP2016123074A (ja) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 投影装置
WO2016125359A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016157996A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び画像表示システム
WO2017154609A1 (ja) 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3790270A4 *

Also Published As

Publication number Publication date
US20210258548A1 (en) 2021-08-19
JP2021122078A (ja) 2021-08-26
EP3790270A1 (en) 2021-03-10
EP3790270A4 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
US10733807B2 (en) Display control device, display control method, and recording medium
US11081137B2 (en) Method and device for processing multimedia information
KR102032398B1 (ko) 가상 환경에서 객체의 선택을 위한 방법
JP6040564B2 (ja) 画像処理装置、投影制御方法及びプログラム
KR20200028481A (ko) 촬상 장치, 화상 표시 시스템 및 조작 방법
JP6486377B2 (ja) ビデオ送信
US10893217B2 (en) Electronic apparatus and method for clipping a range out of a wide field view image
JP5111627B2 (ja) 映像処理装置及び映像処理方法
JP2016201714A (ja) 表示制御装置および表示制御方法
US11917329B2 (en) Display device and video communication data processing method
JP6149862B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
JPWO2017030193A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019211936A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6575518B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP6058257B2 (ja) 画像出力装置、画像出力方法、およびプログラム
EP3813378A1 (en) Electronic apparatus and control method thereof
WO2018168222A1 (ja) 情報処理装置、撮像装置および電子機器
JP2016109726A (ja) 情報処理装置、情報処理方法およびプログラム
JP6680294B2 (ja) 情報処理装置、情報処理方法、プログラム及び画像表示システム
JP2017147697A (ja) 情報処理装置、情報処理方法およびプログラム
JP2021180426A (ja) 遠隔作業装置とそのプログラム
US8054332B2 (en) Advanced input controller for multimedia processing
JP4595322B2 (ja) 画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラム
US20230344956A1 (en) Systems and Methods for Multi-user Video Communication with Engagement Detection and Adjustable Fidelity
US11386870B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19796140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019796140

Country of ref document: EP

Effective date: 20201201

NENP Non-entry into the national phase

Ref country code: JP