WO2018155235A1 - 制御装置、制御方法、プログラム、および投影システム - Google Patents

制御装置、制御方法、プログラム、および投影システム Download PDF

Info

Publication number
WO2018155235A1
WO2018155235A1 PCT/JP2018/004569 JP2018004569W WO2018155235A1 WO 2018155235 A1 WO2018155235 A1 WO 2018155235A1 JP 2018004569 W JP2018004569 W JP 2018004569W WO 2018155235 A1 WO2018155235 A1 WO 2018155235A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
external environment
data
space
control device
Prior art date
Application number
PCT/JP2018/004569
Other languages
English (en)
French (fr)
Inventor
真生 近藤
誠司 鈴木
裕介 辻田
宏崇 田幸
嘉人 大木
洋平 中島
中山　寛
芳恭 久保田
太一 野久尾
大輔 塩野
実穂 山田
正憲 松島
賢一 山浦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/486,064 priority Critical patent/US20200059631A1/en
Publication of WO2018155235A1 publication Critical patent/WO2018155235A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present technology relates to a control device, a control method, a program, and a projection system, and more particularly, to a control device, a control method, a program, and a projection system that can transmit information more intuitively in a space.
  • information can also be conveyed by a projector, but if the information is projected with simple text or images, it may be far from the actual atmosphere of the room, which may cause a sense of incongruity.
  • This technology has been made in view of such a situation, and makes it possible to convey information more intuitively in a space.
  • a control device includes a spatial sensing data acquisition unit that acquires spatial sensing data about an object in the space obtained by sensing space, and an external obtained by sensing an external environment.
  • An external environment data acquisition unit that acquires environment data
  • a processing unit that determines an image corresponding to the object based on the spatial sensing data and projects an effect corresponding to the external environment data to the space in addition to the image With.
  • the processing unit can change the image following the external environment data.
  • the spatial sensing data is imaging data obtained based on photographing by a camera, and the processing unit identifies the shape of the object by analyzing the imaging data, and displays the image corresponding to the shape of the object. It can be projected onto the space.
  • the processing unit can identify the position of the object by analyzing the imaging data, and project the image representing a virtual shadow of the object in the vicinity of the object.
  • the external environment data acquisition unit acquires the external environment data including physical quantity sensing data by a physical quantity sensor that measures a physical quantity in the external environment, and the processing unit acquires a motion simulation image of the image based on the physical quantity sensing data Can be projected as the image.
  • the physical quantity sensing data includes information on wind speed or wind direction in an external environment, the image is an image showing a virtual shadow of the object, and the virtual shadow is sent to the processing unit by the wind speed or wind direction. It is possible to project a video that shakes according to the information on the wind direction.
  • the physical quantity sensing data includes vibration or sound information in an external environment, the image is an image showing a virtual vibration surface of the object, and the virtual vibration surface is included in the processing unit. An image that shakes in accordance with vibration or sound information can be projected.
  • the physical quantity sensing data may include at least one of wind speed, wind direction, force intensity, temperature, precipitation, temperature, humidity, acceleration, light, sound, pressure, magnetism, and atmospheric information. .
  • the processing unit can project additional information related to the external environment data in the vicinity of the image.
  • a sound effect control unit that outputs sound effects synchronized with the image based on the external environment data can be further provided.
  • the external environment data acquisition unit can receive the external environment data transmitted from a sensor provided in a space different from the space.
  • the processing unit identifies a plurality of objects existing in the space based on the spatial sensing data, determines a plurality of images corresponding to the plurality of objects, and determines the plurality of images based on the external environment data. An image to which an effect corresponding to the external environment data is added can be selected.
  • spatial sensing data about the object in the space obtained by sensing the space is obtained, and external environment data obtained by sensing the external environment is obtained.
  • An image corresponding to the object is determined based on the space sensing data, and an effect corresponding to the external environment data is added to the image and projected onto the space.
  • This technology can convey information more intuitively in space.
  • FIG. 1 It is a figure which shows the image of a change of a ripple image. It is a flowchart explaining the control processing of a control apparatus. It is a figure which shows the usage example of the projection system of FIG. It is a figure which shows the function structural example of a projection system. It is a figure which shows the function structural example of a projection system. It is a block diagram which shows the structural example of a computer.
  • FIG. 1 is a diagram illustrating an example of a usage state of a projection system according to an embodiment of the present technology.
  • the projection system shown in FIG. 1 is used, for example, in a public institution building, a store, or a room of a private house, and projects information on a wall surface to present information to the people around.
  • FIG. 1 shows the state of a room in a private house.
  • the projector 11 is installed above the wall surface W with the light irradiation direction directed toward the wall surface W.
  • a camera 12 having an angle of view adjusted so that a range including the projection plane of the projector 11 is set as a shooting range is installed at a predetermined position in the same room as the room where the projector 11 is installed.
  • the camera 12 may include various sensors such as an RGB image sensor and a depth sensor.
  • the projection system of FIG. 1 may be used outdoors. Further, as the projection surface of the projector 11, various planes such as a floor surface and a table top plate may be used instead of the wall surface W. Instead of a flat surface, various surfaces such as the surface of an automobile and the surface of a chair may be used as the projection surface.
  • the installation positions of the projector 11 and the camera 12 are appropriately changed according to the position of the projection plane.
  • a foliage plant 21 with a leaf attached to the tip of a long stem is placed near the wall surface W. Further, a shadow image V1 that is an image representing the shadow of the foliage plant 21 is projected at a position in the vicinity of the foliage plant 21 on the wall surface W (for example, a region of the wall surface W within a predetermined distance from the position of the foliage plant 21). ing.
  • the shadow 21 ⁇ / b> S of the foliage plant 21 included in the shadow video V ⁇ b> 1 is not an actual shadow of the foliage plant 21 but a pseudo (virtual) shadow projected by the projector 11.
  • the shadow video V1 is generated by a control device provided at a predetermined position based on an image photographed by the camera 12, and is projected by the projector 11 according to control by the control device.
  • the projection system 1 that is the projection system of FIG. 1 includes a projector 11, a camera 12, a control device 13, and a speaker 14.
  • a speaker 14 that outputs a sound effect synchronized with the shadow image V1 projected by the projector 11 is also provided at a predetermined position in the room.
  • Transmission / reception of information between each of the projector 11, the camera 12, and the speaker 14 and the control device 13 is performed by wired communication or wirelessly according to a predetermined standard such as a wireless LAN (Local Area Network) or Bluetooth (registered trademark). This is done via communication.
  • a predetermined standard such as a wireless LAN (Local Area Network) or Bluetooth (registered trademark). This is done via communication.
  • Such sensors for detecting various external environments are provided in a space different from the space where the projector 11 and the camera 12 are installed, for example.
  • the sensor transmits sensing result data, for example, sensor data representing a predetermined physical quantity obtained by sensing the physical quantity, by wireless communication or the like.
  • Sensor data includes at least one of wind speed, wind direction, force intensity, temperature, precipitation, temperature, humidity, acceleration, light, sound, pressure, magnetism, and atmospheric information.
  • the sensor data transmitted by the wind speed sensor represents the wind speed and the direction of the wind where the wind speed sensor is provided.
  • FIG. 3 is a diagram illustrating an example of generation of the shadow video V1.
  • FIG 3 is an image taken by the camera 12.
  • the image taken by the camera 12 shows the foliage plant 21 placed near the wall surface W.
  • the control device 13 analyzes such an image to recognize the foliage plant 21 in the image, and extracts a region of the foliage plant 21 as indicated by the tip of arrow # 1.
  • the control device 13 has recognition data for recognizing various objects placed in the real space. Using the recognition data, for example, a pot part, a stem part, and a leaf part are recognized separately.
  • the control device 13 specifies the shape of the foliage plant 21 and the position where the foliage plant 21 is placed, and generates a shadow image V1 as indicated by the tip of arrow # 2.
  • the shadow video V ⁇ b> 1 is a video in which a shadow 21 ⁇ / b> S, which is a pseudo shadow image of the foliage plant 21, is arranged inside a horizontally long oval.
  • the size of the shadow 21S in the shadow video V1 is obtained based on the range of the foliage plant 21 with respect to the image taken by the camera 12.
  • the size of the shadow 21S which is a pseudo shadow, is determined to be the same size as the actual shadow size of the foliage plant 21, for example.
  • the arrangement position of the shadow 21S is obtained based on the relationship between the position of the foliage plant 21 and the virtual light source position, for example.
  • the light source position is virtually set based on the relationship between the position of the foliage plant 21 that is a real object and the position of the wall surface W that is the projection plane.
  • the control device 13 simulates the movement of the shadow 21S whose shape and the like are specified in this way based on the wind speed and the direction of the wind detected by the wind speed sensor, and the shadow image V1 is shaken (changed) by the wind. Is generated.
  • the shaking of the shadow 21S in the shadow video V1 is updated in real time so as to follow the detection result by the wind speed sensor.
  • the fact that the shadow 21S is tilted indicates that it is swaying according to the latest detection result by the wind speed sensor.
  • FIG. 4 is a diagram showing a display example of the shadow 21S.
  • a shadow image V1 including a shadow 21S with almost no shaking is projected as shown at the left end of FIG.
  • the shadow 21S is slightly moved and displayed so as to express the shaking of the plant in nature.
  • the pot part, the stem part, and the leaf part are recognized separately, the pot part does not move, and only the part above it moves and is projected.
  • a pseudo shadow that looks like an actual shadow of the real object is projected as a visual effect at a position corresponding to the real object (for example, in the vicinity of the real object).
  • the movement of the shadows presents the outdoor wind conditions.
  • the pseudo shadow appropriately moves differently from the actual shadow movement of the real object in the room.
  • the pseudo shadow is projected at a size corresponding to the actual size of the object, it is possible to intuitively convey the strength of the wind by its movement.
  • a sound effect that expresses wind sound may be output from the speaker 14 in synchronization with the projection of the shadow video V1.
  • FIG. 5 is a diagram showing an example of additional information.
  • information such as a number representing wind speed as additional information in the vicinity of the shadow 21S (for example, the region of the wall surface W within a predetermined distance from the position of the shadow 21S).
  • the additional information “0 m / s” is arranged on the shadow S21.
  • the additional information of “5 m / s” is arranged at a position shifted to the left side when the wind speed is 0 m / s according to the movement of the shadow S21.
  • the additional information of “8 m / s” is arranged with the position shifted further to the left side when the wind speed is 5 m / s according to the movement of the shadow S21. .
  • the information presented as the additional information is not limited to the wind speed, but may be the direction of the wind or the location information indicating the strength of the wind.
  • the information presented as the additional information may be any information as long as the information is related to the detection result by the sensor.
  • control device 13 that presents information by a pseudo shadow of an object actually present in the room will be described later with reference to a flowchart.
  • FIG. 6 is a block diagram illustrating a hardware configuration example of the control device 13.
  • control device 13 is configured by connecting a CPU 51, a ROM 52, a RAM 53, an input unit 55, an output unit 56, a storage unit 57, and a communication unit 58 via a bus 54.
  • the CPU (Central Processing Unit) 51 executes, for example, a program stored in a ROM (Read Only Memory) 52 on a RAM (Random Access Memory) 53, and controls the overall operation of the control device 13.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input unit 55 includes a keyboard, a mouse, and the like, and accepts an operation by an administrator of the projection system 1.
  • the output unit 56 includes a display, a speaker, etc. (not shown).
  • the shadow video V1 signal and the sound effect signal may be output from the output unit 56 instead of the communication unit 58.
  • the output unit 56 functions as an interface for outputting the video signal of the shadow video V1 and the audio signal of the sound effect.
  • the storage unit 57 includes a hard disk, a flash memory, or the like.
  • the storage unit 57 stores various information such as a program executed by the CPU 51, data used for generating the shadow video V1, and sound effect data.
  • the communication unit 58 performs wired or wireless communication among the projector 11, the camera 12, and the speaker 14. For example, the communication unit 58 receives image data transmitted from the camera 12. Further, the communication unit 58 transmits the data of the shadow video V ⁇ b> 1 to the projector 11 and transmits sound effect data to the speaker 14. The communication unit 58 appropriately communicates with an external device via the Internet.
  • FIG. 7 is a block diagram illustrating a functional configuration example of the control device 13.
  • FIG. 7 is realized by a predetermined program being executed by the CPU 51 in FIG. 6. In FIG. 7, some configurations of the projector 11, the camera 12, and the speaker 14 are also shown.
  • the imaging unit 101 of the camera 12 captures a still image and transmits image data obtained by the imaging to the control device 13.
  • the photographing by the camera 12 may be repeatedly performed.
  • the image data may include not only RGB image data but also depth data (such as a point cloud) representing a three-dimensional shape of space and other sensing data.
  • the image data transmitted by the imaging unit 101 is spatial sensing data obtained by sensing the space where the camera 12 is installed.
  • an image acquisition unit 111 an image analysis unit 112, an analysis result storage unit 113, an input data acquisition unit 114, a drawing processing unit 115, a video control unit 116, and a sound effect control unit 117 are realized.
  • the image acquisition unit 111 controls the communication unit 58 to acquire an image transmitted from the camera 12.
  • the image acquisition unit 111 functions as a spatial sensing data acquisition unit that acquires spatial sensing data transmitted by the imaging unit 101.
  • the image acquisition unit 111 outputs the acquired image to the image analysis unit 112.
  • the image analysis unit 112 analyzes the image supplied from the image acquisition unit 111 and recognizes an object such as the foliage plant 21 shown in the image. Further, the image analysis unit 112 performs image processing to specify the shape and position of the object, and outputs shape information representing the shape of the object and position information representing the position of the object to the drawing processing unit 115. The shape information and position information are also supplied to and stored in the analysis result storage unit 113.
  • the input data acquisition unit 114 controls the communication unit 58 to acquire sensor data transmitted from an external sensor.
  • the input data acquisition unit 114 functions as an external environment data acquisition unit that acquires external environment data obtained by sensing the external environment.
  • the input data acquisition unit 114 outputs the acquired sensor data as input data to the drawing processing unit 115.
  • Information representing the content of operations performed on the mobile terminal by a user such as the administrator of the projection system 1 may be input to the control device 13.
  • the input data acquisition unit 114 communicates with the mobile terminal by controlling the communication unit 58, and acquires information transmitted from the mobile terminal.
  • the input data acquisition unit 114 outputs information transmitted from the mobile terminal to the drawing processing unit 115 as input data.
  • Video projection may be performed in response to an operation on the mobile terminal.
  • the drawing processing unit 115 calculates and determines the shape and size of a pseudo shadow to be drawn based on the shape information supplied from the image analysis unit 112. In addition, the drawing processing unit 115 calculates and determines a pseudo shadow drawing position based on the position information supplied from the image analysis unit 112.
  • the drawing processing unit 115 performs simulation processing of a pseudo shadow by performing arithmetic processing based on the sensor data supplied from the input data acquisition unit 114. For example, when the drawing processing unit 115 projects the image of the pseudo shadow 21S of the foliage plant 21, the wind and the wind represented by the sensor data are applied to the leaves and branches represented by the shape information. Simulation of shaking in case. An effect based on the sensor data is added to the pseudo shadow to generate a shadow image.
  • the drawing processing unit 115 generates a shadow image by appropriately adding additional information to the pseudo shadow generated by performing the simulation.
  • the drawing processing unit 115 outputs the generated shadow video (motion simulation image) to the video control unit 116 and the sound effect control unit 117.
  • the video control unit 116 controls the communication unit 58 to transmit the shadow video to the projector 11 and cause the shadow video to be projected.
  • the processing unit 110 is configured by the image analysis unit 112, the drawing processing unit 115, and the video control unit 116.
  • the processing unit 110 determines the size and position of the pseudo shadow image corresponding to the object based on the imaging data as the spatial sensing data, and adds an effect corresponding to the sensor data as the external environment data. It has a function to project.
  • the sound effect control unit 117 generates a sound effect that is output in synchronization with the shadow image based on the sensor data. For example, when sensor data representing wind speed is input, the sound effect control unit 117 generates a sound effect of wind sound, and when sensor data indicating rainfall is input, the sound effect control unit 117 generates a sound effect of rain sound. Thus, the sound effect control unit 117 manages various sound effect data according to the type of sensor data. The sound effect control unit 117 controls the communication unit 58 to transmit the sound effect to the speaker 14 to output the sound effect.
  • the video output unit 121 of the projector 11 determines whether or not the shadow video data is updated, and receives the shadow video data transmitted from the control device 13.
  • the video output unit 121 projects a shadow video based on the received data.
  • the sound effect output unit 131 of the speaker 14 determines whether or not the sound effect data is updated, and receives the sound effect data transmitted from the control device 13.
  • the sound effect output unit 131 outputs sound effects from the speaker 14 based on the received data.
  • step S1 the image acquisition unit 111 acquires an image captured by the camera 12.
  • step S2 the image analysis unit 112 analyzes the image supplied from the image acquisition unit 111 and identifies the shape and position of the houseplant 21 in the image. Shape information and position information are output from the image analysis unit 112 to the drawing processing unit 115.
  • step S3 the input data acquisition unit 114 acquires sensor data transmitted from an outdoor wind speed sensor.
  • step S4 the drawing processing unit 115 specifies a pseudo shadow drawing position based on the shape information and the position information, and generates a shadow image V1 by performing a simulation according to the wind speed and the wind direction.
  • step S5 the video control unit 116 transmits the shadow video V1 generated by the drawing processing unit 115 to the projector 11 to project the shadow video V1.
  • step S6 the drawing processing unit 115 determines whether or not to end the projection of the shadow video V1. When it is determined in step S6 that the projection of the shadow video V1 is not finished, the process returns to step S1 and the above processing is repeated. Based on the newly transmitted sensor data, a shadow image V1 in which the shake of the shadow 21S is updated is generated and projected.
  • step S6 when it is determined in step S6 that the projection of the shadow video V1 is finished, the processing is finished.
  • control device 13 can intuitively transmit the wind intensity detected by the wind speed sensor to a person near the projection surface.
  • a pseudo shadow image of the clothes may be projected on the wall.
  • a pseudo shadow image of the book may be projected on the surface of the table.
  • Various objects such as furniture, posters affixed to walls, animals kept in the room, and people in the room can be used.
  • a real object not only an object in the space where the projector 11 is installed, such as the foliage plant 21, but also an object in a space different from the space where the projector 11 is installed may be used. For example, based on an image taken by a camera 12 installed in a remote forest, a tree of the forest is recognized, and information is presented by projecting a pseudo shadow image of the recognized tree. You may be made to be.
  • the real object is the foliage plant 21.
  • a pseudo shadow expressing that the plant will grow is projected if the temperature is appropriate, and if it is too hot or too cold, the plant A pseudo shadow is projected that expresses the fact that the
  • a pseudo shadow image is projected in which the amount of drops falling from the leaves changes according to the rainfall.
  • an earthquake sensor is used, an image in which a pseudo shadow is shaken is projected according to the seismic intensity.
  • various sensor data can be used as information used to obtain a pseudo shadow motion.
  • An image representing a shadow of a real object is projected, but a video image showing a colored real object may be projected.
  • a video image showing a colored real object may be projected.
  • an image in which the color of the houseplant 21 is changed according to the sensor data, or an image in which the shape and size of the houseplant 21 is changed according to the sensor data is projected.
  • FIG. 9 is a diagram illustrating an example of a usage state of the projection system according to another embodiment of the present technology.
  • FIG. 9 shows a state where the projection system 1 is installed in a restaurant such as a restaurant.
  • symbol is attached
  • the projector 11 and the camera 12 are installed near the ceiling of the restaurant.
  • the projector 11 is adjusted in angle, focal length, etc. so that its projection surface becomes the top plate surface of the table T. Further, the angle of view of the camera 12 is adjusted so that the top surface of the table T is included in the imaging range.
  • a glass 22 containing a liquid such as wine or water is placed on the table T.
  • the target object to be projected by the control device 13 and used for presenting information is the glass 22.
  • the control device 13 is also provided with recognition data for recognizing glasses.
  • a ripple image V ⁇ b> 2 which is an image representing the appearance of pseudo ripples spreading from the position of the glass 22, is projected on the top surface of the table T by the projector 11. That is, the control device 13 specifies the shape and position of the glass 22 based on the image photographed by the camera 12, and applies light to a position corresponding to the glass 22 (for example, a predetermined range area centered on the position of the glass 22). By drawing the ripple expressed by the sparkling of the image, the ripple image V2 in which the ripple spreads around the glass 22 is projected from the projector 11.
  • a speaker 14 is attached to the back side of the table T.
  • a sound effect glass sound such as “Chen”
  • V ⁇ b> 2 where the ripples spread.
  • a visual effect is realized in which the liquid poured into the glass 22 spreads in a pseudo manner over the entire top plate of the table T in response to the edge of the glass 22 being hit with a stick or the like.
  • a person sitting around the table T, such as a customer sitting in front of the table T, will feel the illusion that the water surface is shaking.
  • the speaker 14 is provided directly below the glass 22.
  • the position where the speaker 14 is provided is arbitrary as long as it is on the back side of the table T.
  • the projection of the ripple image V2 and the output of the sound effects can be performed at a predetermined timing such as when a customer sitting in front of the table T hits the surface of the table T with a stick.
  • the fact that the customer has struck the surface of the table T with a stick is specified based on a detection result by a sensor such as a microphone or a vibration sensor.
  • a sensor such as a microphone or a vibration sensor is used as a sensor for detecting the external environment.
  • the ripple image V2 is an image projected according to the detection result by the sensor.
  • the ripple image V2 projected when the surface of the table T is hit with a stick is used, for example, when a customer calls a restaurant clerk.
  • the ripple image V2 is an image that presents information that the customer is calling to the store clerk.
  • the projection of the ripple image V2 and the output of the sound effect may be performed in response to the store clerk operating the mobile terminal.
  • Information representing the content of the operation by the store clerk is transmitted from the portable terminal to the control device 13.
  • the ripple image V2 projected in response to the operation by the store clerk is a video that presents information to the customer that the store clerk is sending a signal.
  • FIG. 11 is a diagram showing an image of a change in the ripple image V2.
  • the ripple image V2 has a surface of the liquid poured into the glass 22 or the top surface of the table T as a virtual vibration surface, and the vibration surface is detected by a vibration sensor or a microphone. This is a video that shakes according to the sound information detected by.
  • control processing of the control device 13 that controls the projection of the ripple image V2 will be described with reference to the flowchart of FIG.
  • the process of FIG. 12 is started when an image is taken by the camera 12 and an image is transmitted from the camera 12.
  • step S31 the image acquisition unit 111 acquires an image captured by the camera 12.
  • step S32 the image analysis unit 112 analyzes the image supplied from the image acquisition unit 111, and specifies the shape and position of the glass 22 shown in the image. Shape information and position information are output from the image analysis unit 112 to the drawing processing unit 115.
  • step S33 the input data acquisition unit 114 acquires sensor data transmitted from a sensor such as a microphone or a vibration sensor as input data.
  • the input data acquisition unit 114 acquires data transmitted from a mobile terminal operated by a store clerk as input data.
  • step S34 the drawing processing unit 115 determines whether or not to project the ripple image V2 based on the input data. If it is determined in step S34 that the ripple image V2 is not projected, the process returns to step S31 and the above processing is repeated.
  • step S35 the rendering processing unit 115 specifies a pseudo ripple rendering position based on the shape information and the position information, and generates the ripple image V2. .
  • step S36 the video control unit 116 transmits the ripple image V2 generated by the drawing processing unit 115 to the projector 11 to project the ripple image V2.
  • step S37 the sound effect control unit 117 transmits the sound effect synchronized with the ripple image V2 to the speaker 14 to output the sound effect.
  • step S38 the drawing processing unit 115 determines whether or not to finish projecting the ripple image V2. If it is determined that the projection of the ripple image V2 is not finished because the predetermined time has not elapsed since the start of projection, the process returns to step S36 and the projection of the ripple image V2 is continued.
  • step S38 when it is determined in step S38 that the projection of the ripple image V2 is finished, the processing is finished.
  • control device 13 can convey information to the people around by the image of spreading ripples.
  • FIG. 13 is a diagram showing a usage example of the ripple image V2 as described above.
  • the store clerk tells a customer using the glass 22-3 among the four customers, the customer is designated by operating the mobile terminal.
  • the control device 13 that has received the information transmitted from the mobile terminal projects a ripple image V2 in which ripples spread from the position of the glass 22-3, and thereby the glass 22-3 is called by the store clerk. It can be communicated visually to customers who use it.
  • the size of the ripples constituting the ripple image V2 may be changed by the vibration so as to express the magnitude of the vibration detected by the vibration sensor. Further, the ripple of the ripple image V2 may be changed depending on the illuminance so as to express the brightness of the restaurant or the outside detected by the illuminance sensor.
  • FIG. 14 is a diagram showing another functional configuration example of the projection system 1.
  • an image capturing function is provided in the control device 13. That is, in the control device 13, the photographing unit 101, the image acquisition unit 111, the image analysis unit 112, the analysis result storage unit 113, the input data acquisition unit 114, the drawing processing unit 115, the video control unit 116, and the sound effect control unit 117. Is realized.
  • the function of the camera 12 can be mounted on the control device 13.
  • a smartphone or a tablet terminal with a camera can be used as the control device 13.
  • FIG. 15 is a diagram showing still another functional configuration example of the projection system 1.
  • an image acquisition unit 111 an image analysis unit 112, an analysis result storage unit 113, an input data acquisition unit 114, a drawing processing unit 115, a video control unit 116, and a sound effect control unit 117 are included in the projector 11. Realized.
  • the function of the control device 13 can be mounted on the projector 11.
  • control device 13 shown in FIG. 7 may be realized on a plurality of devices.
  • a plurality of devices that share and realize the configuration of the control device 13 shown in FIG. 7 are connected via a network.
  • the control device 13 may be provided on the Internet, and communication between each of the projector 11, the camera 12, and the speaker 14 and the control device 13 may be performed via the Internet.
  • the image analysis unit 112 analyzes the image and detects each object.
  • the drawing processing unit 115 determines a pseudo image related to each detected object based on the detection result by the image analysis unit 112.
  • the drawing processing unit 115 determines a pseudo shadow image for the foliage plant 21, and determines a ripple image representing a pseudo vibration surface (water surface) for the glass 22.
  • the drawing processing unit 115 uses the shadow of the foliage plant 21 to express the sensor data more easily.
  • 21 pseudo shadow images are selected and projected onto a position corresponding to the foliage plant 21 (for example, in the vicinity of the foliage plant 21).
  • the drawing processing unit 115 can express the sensor data more easily by using the pseudo vibration surface of the glass 22. Then, an image (a ripple image) of a pseudo vibration surface of the glass 22 is selected and projected onto a position corresponding to the glass 22 (for example, a region within a predetermined range centered on the position of the glass 22).
  • the drawing processing unit 115 is a table in which three types of information (for example, vibration, glass, and ripple image) are associated with the type of sensor data, an object suitable for expressing the content, and an effect reflected on the object. Information is managed in advance. The drawing processing unit 115 selects an object and an effect corresponding to the type of sensor data based on the table information, and projects an image.
  • three types of information for example, vibration, glass, and ripple image
  • the type of sensor data and the effect corresponding to the object may correspond one-to-one, or a plurality of effects may correspond to one type of sensor data.
  • One type of object such as reflecting effects according to wind speed and rainfall on soft objects such as plants, and reflecting effects (evaporation etc.) according to vibration and heat on liquids such as cups
  • a plurality of effects may be associated with each other.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes using a program.
  • CPU 1001, ROM 1002, and RAM 1003 are connected to each other by a bus 1004.
  • an input / output interface 1005 is connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard and a mouse, and an output unit 1007 including a display and a speaker.
  • the input / output interface 1005 is connected to a storage unit 1008 made up of a hard disk, a non-volatile memory, etc., a communication unit 1009 made up of a network interface, etc., and a drive 1010 that drives a removable medium 1011.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes it, thereby executing the above-described series of processing. Is done.
  • the program executed by the CPU 1001 is recorded in the removable medium 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a spatial sensing data acquisition unit that acquires spatial sensing data about an object in the space obtained by sensing the space;
  • An external environment data acquisition unit for acquiring external environment data obtained by sensing the external environment;
  • a control device comprising: a processing unit that determines an image corresponding to the object based on the spatial sensing data and projects an effect corresponding to the external environment data to the space in addition to the image.
  • the control unit according to (1) wherein the processing unit changes the image following the external environment data.
  • the spatial sensing data is imaging data obtained based on shooting by a camera, The control unit according to (1) or (2), wherein the processing unit identifies the shape of the object by analyzing the imaging data, and projects the image corresponding to the shape of the object onto the space.
  • the control unit according to (3) wherein the processing unit identifies the position of the object by analyzing the imaging data, and projects the image representing a virtual shadow of the object in the vicinity of the object. apparatus.
  • the external environment data acquisition unit acquires the external environment data including physical quantity sensing data by a physical quantity sensor that measures a physical quantity in the external environment,
  • the physical quantity sensing data includes information on wind speed or direction in the external environment,
  • the image is an image showing a virtual shadow of the object,
  • the physical quantity sensing data includes vibration or sound information in the external environment,
  • the image is an image showing a virtual vibration surface of the object
  • the physical quantity sensing data includes at least one of wind speed, wind direction, force intensity, temperature, precipitation, temperature, humidity, acceleration, light, sound, pressure, magnetism, and atmospheric information.
  • the control device according to any one of (9)
  • the control device according to any one of (1) to (9), further including a sound effect control unit that outputs a sound effect synchronized with the image based on the external environment data.
  • the external environment data acquisition unit receives the external environment data transmitted from a sensor provided in a space different from the space.
  • the processing unit identifies a plurality of objects existing in the space based on the space sensing data, determines a plurality of images corresponding to the plurality of objects, and determines the plurality of images based on the external environment data.
  • the control device according to any one of (1) to (11), wherein an image to which an effect corresponding to the external environment data is added is selected from the images.
  • a spatial sensing data acquisition unit that acquires spatial sensing data about an object in the space obtained by sensing the space;
  • An external environment data acquisition unit for acquiring external environment data obtained by sensing the external environment;
  • a control unit comprising: a processing unit that determines an image corresponding to the object based on the spatial sensing data, and projects an effect corresponding to the external environment data to the space in addition to the image;
  • a projection system comprising: a projection device that projects the image supplied from the control device.
  • 1 projection system 11 projector, 12 camera, 13 control device, 14 speaker, 101 shooting unit, 111 image acquisition unit, 112 image analysis unit, 113 analysis result storage unit, 114 input data acquisition unit, 115 drawing processing unit, 116 video Control unit, 117 sound effect control unit, 121 video output unit, 131 sound effect output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本技術は、空間において情報をより直感的に伝えることができるようにする制御装置、制御方法、プログラム、および投影システムに関する。 本技術の一側面の制御装置は、空間をセンシングすることにより得られた空間内の物体についての空間センシングデータを取得し、外部環境をセンシングすることにより得られた外部環境データを取得し、空間センシングデータに基づいて物体に対応した画像を決定し、外部環境データに対応した効果を画像に加えて空間に投影させる装置である。本技術は、プロジェクタから映像を投影させて情報を提示するシステムに適用することができる。

Description

制御装置、制御方法、プログラム、および投影システム
　本技術は、制御装置、制御方法、プログラム、および投影システムに関し、特に、空間において情報をより直感的に伝えることができるようにした制御装置、制御方法、プログラム、および投影システムに関する。
　近年、プロジェクタを用いた空間演出が多く行われている。建物だけでなく、家具、日用品などのあらゆる物を投影面としてCG映像を映し出すことにより、非日常的な演出を行うことが可能になる。
特開２０１６－１６２１４２号公報
　上述したようにプロジェクタによっても情報を伝えることができるが、情報を単純なテキストや画像などで投影すると、実際の部屋の雰囲気とかけ離れてしまう場合があり、違和感があることがある。
　本技術はこのような状況に鑑みてなされたものであり、空間において情報をより直感的に伝えることができるようにするものである。
　本技術の一側面の制御装置は、空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得する空間センシングデータ取得部と、外部環境をセンシングすることにより得られた外部環境データを取得する外部環境データ取得部と、前記空間センシングデータに基づいて前記物体に対応した画像を決定し、前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる処理部とを備える。
　前記処理部には、前記外部環境データに追従して、前記画像を変化させることができる。
　前記空間センシングデータは、カメラによる撮影に基づき得られる撮像データであり、前記処理部には、前記撮像データを解析することで前記物体の形状を特定し、前記物体の形状に対応した前記画像を前記空間に投影させることができる。
　前記処理部には、前記撮像データの解析を行うことによって前記物体の位置を特定させ、前記物体の仮想的な影を表す前記画像を、前記物体の近傍に投影させることができる。
　前記外部環境データ取得部には、外部環境における物理量を測定する物理量センサによる物理量センシングデータを含む前記外部環境データを取得させ、前記処理部には、前記物理量センシングデータに基づく前記画像のモーションシミュレーション画像を前記画像として投影させることができる。
　前記物理量センシングデータは、外部環境における風速又風向きの情報を含み、前記画像は、前記物体の仮想的な影を示す画像であり、前記処理部には、前記仮想的な影が、前記風速又風向きの情報に応じて揺れる映像を投影させることができる。
　前記物理量センシングデータは、外部環境における振動又は音の情報を含み、前記画像は、前記物体の仮想的な振動面を示す画像であり、前記処理部には、前記仮想的な振動面が、前記振動又は音の情報に応じて揺れる映像を投影させることができる。
　前記物理量センシングデータが、少なくとも風速、風向き、力の強度、温度、降水量、気温、湿度、加速度、光、音、圧力、磁気、大気の情報のうちのいずれかを含むようにすることができる。
　前記処理部には、前記画像の近傍に、前記外部環境データに関連する付加情報を投影させることができる。
　前記外部環境データに基づいて、前記画像に同期した効果音を出力させる効果音制御部をさらに設けることができる。
　前記外部環境データ取得部には、前記空間とは異なる空間に設けられたセンサから送信されてきた前記外部環境データを受信させることができる。
　前記処理部には、前記空間センシングデータに基づいて前記空間内に存在する複数の物体を特定し、前記複数の物体それぞれに対応する複数の画像を決定し、前記外部環境データに基づいて前記複数の画像のうち前記外部環境データに対応した効果を加える画像を選択させることができる。
　本技術においては、空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータが取得され、外部環境をセンシングすることにより得られた外部環境データが取得される。また、前記空間センシングデータに基づいて前記物体に対応した画像が決定され、前記外部環境データに対応した効果が前記画像に加えられて前記空間に投影される。
　本技術によれば、空間において情報をより直感的に伝えることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
投影システムの使用状態の例を示す図である。 投影システムの構成例を示すブロック図である。 影映像の生成の例を示す図である。 擬似的な影の表示例を示す図である。 付加情報の例を示す図である。 制御装置のハードウェア構成例を示すブロック図である。 制御装置の機能構成例を示すブロック図である。 制御装置の制御処理について説明するフローチャートである。 投影システムの他の使用状態の例を示す図である。 スピーカの配置の例を示す図である。 波紋映像の変化のイメージを示す図である。 制御装置の制御処理について説明するフローチャートである。 図９の投影システムの使用例を示す図である。 投影システムの機能構成例を示す図である。 投影システムの機能構成例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（物体の影の映像によって情報を提示する例）
　　１－１．投影システムの構成例
　　１－２．影映像について
　２．制御装置の構成例と動作
　　２－１．制御装置の構成
　　２－２．制御装置の動作
　３．変形例
　４．第２の実施の形態（波紋の映像によって情報を提示する例）
　　４－１．投影システムの構成例
　　４－２．制御装置の動作
　５．変形例
＜＜第１の実施の形態（物体の影の映像によって情報を提示する例）＞＞
＜投影システムの構成例＞
　図１は、本技術の一実施形態に係る投影システムの使用状態の例を示す図である。
　図１の投影システムは、例えば公共機関の建物、店舗、民家の部屋の中で用いられるものであって、壁面に映像を投影して、周囲にいる人に情報を提示するものである。図１は民家の部屋の様子を示している。
　壁面Ｗの上方には、光の照射方向を壁面Ｗに向けたプロジェクタ１１が設置される。また、プロジェクタ１１が設置された部屋と同じ部屋の所定の位置には、プロジェクタ１１の投影面を含む範囲を撮影範囲とするように画角が調整されたカメラ１２が設置される。カメラ１２には、RGBイメージセンサ、デプスセンサなどの、様々なセンサが含まれるようにしてもよい。
　図１の投影システムが屋外で用いられるようにしてもよい。また、プロジェクタ１１の投影面として、壁面Ｗではなく、床面、テーブルの天板などの各種の平面が用いられるようにしてもよい。平面ではなく、自動車の表面、椅子の表面などの各種の面を投影面とするようにしてもよい。投影面の位置に応じて、プロジェクタ１１とカメラ１２の設置位置は適宜変更される。
　図１の投影システムにおいては、壁面Ｗに近い位置に、長い茎の先に葉が付いた観葉植物２１が置かれている。また、壁面Ｗの観葉植物２１の近傍（例えば観葉植物２１の位置から所定距離以内となる壁面Ｗの領域）の位置には、観葉植物２１の影を表現した映像である影映像Ｖ１が投影されている。図１において、影映像Ｖ１に含まれる観葉植物２１の影２１Ｓは、観葉植物２１の実際の影ではなく、プロジェクタ１１により投影された擬似的（仮想的）な影である。
　影映像Ｖ１は、カメラ１２により撮影された画像に基づいて、所定の位置に設けられた制御装置により生成され、その制御装置による制御に従って、プロジェクタ１１によって投影される。
　すなわち、図２に示すように、図１の投影システムである投影システム１は、プロジェクタ１１、カメラ１２、制御装置１３、およびスピーカ１４から構成される。プロジェクタ１１が投影する影映像Ｖ１に同期した効果音を出力するスピーカ１４も、部屋の所定の位置に設けられる。
　プロジェクタ１１、カメラ１２、およびスピーカ１４のそれぞれと制御装置１３間の情報の送受信は、有線の通信により、または、無線LAN(Local Area Network)、Bluetooth（登録商標）などの所定の規格の無線による通信を介して行われる。
　制御装置１３に対しては、気温センサ、湿度センサ、風速センサ、加速度センサ、動体センサ、光センサ（可視光や非可視光に対応したイメージセンサを含んでもよい）、音センサ（マイク）、圧力センサ、磁気センサ、大気センサなどの各種のセンサの検出結果が所定の周期で入力される。雨量センサ、振動センサ、人体に取り付けられた生体センサなどの他のセンサの検出結果が外部環境のセンシング結果として制御装置１３に入力されるようにしてもよい。
　このような各種の外部環境を検出するセンサは、例えば、プロジェクタ１１やカメラ１２が設置された空間とは異なる空間に設けられる。例えばセンサからは、無線通信などにより、センシング結果のデータ、例えば物理量をセンシングすることにより得られた所定の物理量を表すセンサデータが送信される。センサデータ（物理量のセンシングデータ）は、少なくとも、風速、風向き、力の強度、温度、降水量、気温、湿度、加速度、光、音、圧力、磁気、大気の情報のうちのいずれかを含む。
　以下、主に、プロジェクタ１１等が設けられた部屋の外の屋外に設置された風速センサによる検出結果が入力される場合について説明する。風速センサが送信するセンサデータは、風速センサが設けられている場所の風速と風の向きを表す。
＜影映像について＞
　図３は、影映像Ｖ１の生成の例を示す図である。
　図３の左端に示す画像は、カメラ１２により撮影された画像である。カメラ１２により撮影された画像には、壁面Ｗの近くに置かれた観葉植物２１が写っている。
　制御装置１３は、このような画像を解析することによって、画像に写る観葉植物２１を認識し、矢印＃１の先に示すように観葉植物２１の領域を抽出する。制御装置１３は、実空間に置かれた各種の物体を認識するための認識用のデータを有している。認識用のデータを用いて、例えば、鉢の部分、茎の部分、および葉の部分がそれぞれ区別して認識される。
　制御装置１３は、観葉植物２１の形状と、観葉植物２１が置かれた位置を特定し、矢印＃２の先に示すような影映像Ｖ１を生成する。図３の例においては、影映像Ｖ１は、観葉植物２１の擬似的な影の画像である影２１Ｓを、輝度の高い横長楕円形の内側に配置した映像になっている。
　影映像Ｖ１における影２１Ｓの大きさは、カメラ１２により撮影された画像に対する、観葉植物２１の範囲に基づいて求められる。擬似的な影である影２１Ｓの大きさは、例えば、観葉植物２１の実際の影の大きさと同じ大きさになるように求められる。
　また、影２１Ｓの配置位置は、例えば、観葉植物２１の位置と仮想的な光源位置との関係に基づいて求められる。光源位置は、実物体である観葉植物２１の位置と、投影面となる壁面Ｗの位置の関係に基づいて仮想的に設定される。
　制御装置１３は、このようにして形状などを特定した影２１Ｓの動きを、風速センサによって検出された風速と風の向きに基づいてシミュレーションし、影２１Ｓが風によって揺れる（変化する）影映像Ｖ１を生成する。
　影映像Ｖ１における影２１Ｓの揺れは、風速センサによる検出結果に追従するようにリアルタイムで更新される。図１の影映像Ｖ１において影２１Ｓが斜めに傾いていることは、風速センサによる最新の検出結果に応じて揺れていることを表す。
　図４は、影２１Ｓの表示例を示す図である。
　あるタイミングで風速が０m/sとして検出された場合、図４の左端に示すように、揺れがほとんどない影２１Ｓを含む影映像Ｖ１が投影される。自然の中にある植物の揺れを表現するように、例えば影２１Ｓは僅かに動いて表示される。
　また、風速が５m/sとして検出された場合、矢印＃１１の先に示すように、５m/sの風速と風の向きを表現するように所定の大きさで揺れる影２１Ｓを含む影映像Ｖ１が投影される。上述したように鉢の部分、茎の部分、および葉の部分がそれぞれ区別して認識されている場合、鉢の部分は動かずに、それより上の部分だけが動いて投影される。
　風速が８m/sとして検出された場合、矢印＃１２の先に示すように、８m/sの風速と風の向きを表現するように、風速が５m/sとして検出された場合より大きく揺れる影２１Ｓを含む影映像Ｖ１が投影される。
　このように、投影システム１においては、実物体に対応する位置（例えば実物体の近傍）に、視覚的な効果としてその実物体の実際の影のように見える擬似的な影が投影され、擬似的な影の動きにより、屋外の風の状況が提示される。擬似的な影は、適宜、部屋にある実物体の実際の影の動きと違う動きをとることになる。
　部屋に実際に存在する物体の影を表現した擬似的な影の映像によって情報が提示されることになるため、自然な形で情報を提示することが可能になる。例えば、単に風速を表す数字を投影するとした場合、部屋に置いてある物と調和しないことがあるが、空間に溶け込んだ状態で風速を提示し続けることが可能になる。部屋に実際にある物であることから、その影が壁面に映っていたとしても空間に調和しないということはない。
　また、擬似的な影は、物体の実際のサイズに応じたサイズで投影されるため、その動きによって風の強さを直感的に伝えることが可能になる。
　影映像Ｖ１の投影に同期して、風の音を表現する効果音がスピーカ１４から出力されるようにしてもよい。風の強さによって効果音を変化させることにより、風の強さをより直感的に伝えることが可能になる。
　図５は、付加情報の例を示す図である。
　図５に示すように、影２１Ｓの近傍（例えば影２１Ｓの位置から所定距離以内である壁面Ｗの領域）に、風速を表す数字などの情報を付加情報として配置することも可能である。
　図５の左端の影映像Ｖ１においては、「０m/s」の付加情報が影Ｓ２１の上に配置されている。また、矢印＃２１の先に示す影映像Ｖ１においては、「５m/s」の付加情報が、影Ｓ２１の動きに応じて、風速が０m/sのときより左側に位置をずらして配置されている。矢印＃２２の先に示す影映像Ｖ１においては、「８m/s」の付加情報が、影Ｓ２１の動きに応じて、風速が５m/sのときよりさらに左側に位置をずらして配置されている。
　このように、付加情報の表示位置を動かすことによって、付加情報の表示位置と付加情報の近くにある葉の影の位置との関係を保つような影映像Ｖ１が投影される。これにより、影２１Ｓと同じ様に付加情報が揺れて見えるため、影２１Ｓと付加情報の揺れの関連性（影２１Ｓの揺れの意味）を直感的に伝えることが可能になる。
　付加情報として提示される情報は、風速に限られるものではなく、風の向きであってもよいし、どこの風の強さであるのかを表す場所の情報であってもよい。付加情報として提示される情報は、センサによる検出結果に関連のある情報であれば、どのような情報であってもよい。
　このように部屋に実際にある物体の擬似的な影によって情報を提示する制御装置１３の処理についてはフローチャートを参照して後述する。
＜＜制御装置の構成例と動作＞＞
＜制御装置の構成＞
　図６は、制御装置１３のハードウェア構成例を示すブロック図である。
　図６に示すように、制御装置１３は、CPU５１、ROM５２、RAM５３、入力部５５、出力部５６、記憶部５７、および通信部５８が、バス５４を介して接続されることによって構成される。
　CPU(Central Processing Unit)５１は、例えばROM(Read Only Memory)５２に格納されているプログラムをRAM(Random Access Memory)５３上で実行し、制御装置１３の全体の動作を制御する。
　入力部５５は、キーボード、マウスなどよりなり、投影システム１の管理者による操作を受け付ける。
　出力部５６は、図示せぬディスプレイやスピーカなどより構成される。影映像Ｖ１の信号や効果音の信号が通信部５８からではなく出力部５６から出力されるようにしてもよい。この場合、出力部５６は、影映像Ｖ１のビデオ信号や効果音のオーディオ信号を出力するインタフェースとして機能する。
　記憶部５７は、ハードディスクやフラッシュメモリなどにより構成される。記憶部５７は、CPU５１により実行されるプログラム、影映像Ｖ１の生成に用いるデータ、効果音のデータなどの各種の情報を記憶する。
　通信部５８は、有線または無線による通信を、プロジェクタ１１、カメラ１２、およびスピーカ１４との間で行う。例えば、通信部５８は、カメラ１２から送信されてきた画像データを受信する。また、通信部５８は、プロジェクタ１１に対して影映像Ｖ１のデータを送信し、スピーカ１４に対して効果音のデータを送信する。通信部５８は、適宜、インターネットを介して外部の機器と通信を行う。
　図７は、制御装置１３の機能構成例を示すブロック図である。
　図７に示す制御装置１３の機能部のうちの少なくとも一部は、図６のCPU５１により所定のプログラムが実行されることによって実現される。図７においては、プロジェクタ１１、カメラ１２、およびスピーカ１４の一部の構成も示されている。
　カメラ１２の撮影部１０１は、静止画像の撮影を行い、撮影によって得られた画像データを制御装置１３に送信する。カメラ１２による撮影が繰り返し行われるようにしてもよい。
　画像データには、RGBの画像データだけでなく、空間の３次元形状を表すデプスデータ（ポイントクラウドなど）や、その他のセンシングデータが含まれるようにしてもよい。撮影部１０１が送信する画像データは、カメラ１２が設置された空間をセンシングすることによって得られた空間センシングデータである。
　制御装置１３においては、画像取得部１１１、画像解析部１１２、解析結果記憶部１１３、入力データ取得部１１４、描画処理部１１５、映像制御部１１６、および効果音制御部１１７が実現される。
　画像取得部１１１は、通信部５８を制御し、カメラ１２から送信されてきた画像を取得する。画像取得部１１１は、撮影部１０１が送信する空間センシングデータを取得する空間センシングデータ取得部として機能する。画像取得部１１１は、取得した画像を画像解析部１１２に出力する。
　画像解析部１１２は、画像取得部１１１から供給された画像を解析し、画像に写っている観葉植物２１などの物体を認識する。また、画像解析部１１２は、画像処理を行うことによって、物体の形状と位置を特定し、物体の形状を表す形状情報と物体の位置を表す位置情報を描画処理部１１５に出力する。形状情報と位置情報は解析結果記憶部１１３にも供給され、記憶される。
　入力データ取得部１１４は、通信部５８を制御し、外部のセンサから送信されてきたセンサデータを取得する。入力データ取得部１１４は、外部環境をセンシングすることにより得られた外部環境データを取得する外部環境データ取得部として機能する。入力データ取得部１１４は、取得したセンサデータを入力データとして描画処理部１１５に出力する。
　投影システム１の管理者などのユーザにより携帯端末上で行われた操作の内容を表す情報が制御装置１３に入力されるようにしてもよい。この場合、入力データ取得部１１４は、通信部５８を制御することによって携帯端末と通信を行い、携帯端末から送信されてきた情報を取得する。入力データ取得部１１４は、携帯端末から送信されてきた情報を入力データとして描画処理部１１５に出力する。映像の投影が、携帯端末に対する操作に応じて行われるようにしてもよい。
　描画処理部１１５は、画像解析部１１２から供給された形状情報に基づいて、描画する擬似的な影の形状と大きさを算出し、決定する。また、描画処理部１１５は、画像解析部１１２から供給された位置情報に基づいて、擬似的な影の描画位置を算出し、決定する。
　描画処理部１１５は、入力データ取得部１１４から供給されたセンサデータに基づいて演算処理を行うことによって、擬似的な影の動きのシミュレーションを行う。例えば、描画処理部１１５は、観葉植物２１の擬似的な影２１Ｓの映像を投影する場合、形状情報により表される葉や枝に、センサデータにより表される風速、および方向の風があたった場合の揺れのシミュレーションを行う。擬似的な影に、センサデータに基づく効果が加えられて影映像が生成されることになる。
　描画処理部１１５は、シミュレーションを行うことによって生成した擬似的な影に、適宜、付加情報を付加することによって影映像を生成する。描画処理部１１５は、生成した影映像（モーションシミュレーション画像）を映像制御部１１６と効果音制御部１１７に出力する。
　映像制御部１１６は、通信部５８を制御して影映像をプロジェクタ１１に送信し、影映像の投影を行わせる。
　このように、画像解析部１１２、描画処理部１１５、および映像制御部１１６により、処理部１１０が構成される。処理部１１０は、空間センシングデータとしての撮像データに基づいて、物体に対応した擬似的な影の画像の大きさや位置を決定し、それに、外部環境データとしてのセンサデータに対応した効果を加えて投影させる機能を有する。
　効果音制御部１１７は、センサデータに基づいて、影映像に同期して出力する効果音を生成する。効果音制御部１１７は、例えば、風速を表すセンサデータが入力された場合、風の音の効果音を生成し、降雨量を表すセンサデータが入力された場合、雨の音の効果音を生成する。このように、効果音制御部１１７は、センサデータの種別に応じて各種の効果音のデータを管理している。効果音制御部１１７は、通信部５８を制御して効果音をスピーカ１４に送信し、効果音の出力を行わせる。
　プロジェクタ１１の映像出力部１２１は、影映像のデータの更新の有無を判別し、制御装置１３から送信されてきた影映像のデータを受信する。映像出力部１２１は、受信したデータに基づいて、影映像を投影する。
　スピーカ１４の効果音出力部１３１は、効果音のデータの更新の有無を判別し、制御装置１３から送信されてきた効果音のデータを受信する。効果音出力部１３１は、受信したデータに基づいて、効果音をスピーカ１４から出力させる。
＜制御装置の動作＞
　ここで、図８のフローチャートを参照して、影映像Ｖ１の投影を制御する制御装置１３の制御処理について説明する。図８の処理は、カメラ１２により撮影が行われ、カメラ１２から画像が送信されてきたときに開始される。
　ステップＳ１において、画像取得部１１１は、カメラ１２により撮影された画像を取得する。
　ステップＳ２において、画像解析部１１２は、画像取得部１１１から供給された画像を解析し、画像に写っている観葉植物２１の形状と位置を特定する。画像解析部１１２から描画処理部１１５に対しては形状情報と位置情報が出力される。
　ステップＳ３において、入力データ取得部１１４は、屋外にある風速センサから送信されてきたセンサデータを取得する。
　ステップＳ４において、描画処理部１１５は、形状情報と位置情報に基づいて擬似的な影の描画位置を特定し、風速と風向きに応じてシミュレーションを行うことによって影映像Ｖ１を生成する。
　ステップＳ５において、映像制御部１１６は、描画処理部１１５により生成された影映像Ｖ１をプロジェクタ１１に送信し、影映像Ｖ１を投影させる。
　ステップＳ６において、描画処理部１１５は、影映像Ｖ１の投影を終了するか否かを判定する。影映像Ｖ１の投影を終了しないとステップＳ６において判定された場合、ステップＳ１に戻り、以上の処理が繰り返される。新たに送信されてきたセンサデータに基づいて、影２１Ｓの揺れを更新した影映像Ｖ１が生成され、投影される。
　一方、影映像Ｖ１の投影を終了するとステップＳ６において判定された場合、処理は終了される。
　以上の処理により、制御装置１３は、風速センサにより検出された風の強さを投影面の近くにいる人に直感的に伝えることができる。
＜＜変形例＞＞
・実物体の例
　観葉植物の擬似的な影の映像を投影する場合について説明したが、擬似的な影の映像を投影する実物体として、各種の実物体を用いることが可能である。
　例えば、部屋の壁に洋服が掛けられている場合、洋服の擬似的な影の映像が壁に投影されるようにしてもよい。また、部屋のテーブルの上に本が置かれている場合、本の擬似的な影の映像がテーブルの表面に投影されるようにしてもよい。家具、壁に貼られているポスター、部屋の中で飼われている動物、部屋にいる人などの各種の物体が用いられるようにすることが可能である。
　また、実物体として、観葉植物２１のようにプロジェクタ１１が設置された空間にある物体だけでなく、プロジェクタ１１が設置された空間と異なる空間にある物体が用いられるようにしてもよい。例えば、遠隔の森林に設置されたカメラ１２によって撮影された画像に基づいて、その森林の木が認識され、認識された木の擬似的な影の映像が投影されることによって情報の提示が行われるようにしてもよい。
　このように、遠隔にある物体の擬似的な影を用いて、風速などの各種の情報を提示するようにすることも可能である。
・センサデータの例
　風速と風向きに基づいて擬似的な影に動きを付けるものとしたが、センサデータの種別に応じて各種の動きを付けることも可能である。
　ここでは、実物体が観葉植物２１であるものとする。例えば、気温センサにより検出された気温に応じて、気温が適温である場合には植物が成長することを表現するような擬似的な影が投影され、暑すぎたり寒すぎたりする場合には植物が枯れることを表現するような擬似的な影が投影される。
　また、雨量センサが用いられる場合、雨量に応じて、葉から落ちる滴の量が変化する擬似的な影の映像が投影される。地震センサが用いられる場合、震度に応じて、擬似的な影が揺れる映像が投影される。
　このように、擬似的な影の動きを求めるのに用いる情報として様々なセンサデータを用いることが可能である。
・擬似的な映像の例
　実物体の影を表現した映像が投影されるものとしたが、色つきの実物体が映る映像が投影されるようにしてもよい。この場合、例えば、観葉植物２１の色をセンサデータに応じて変えた映像や、観葉植物２１の形状や大きさをセンサデータに応じて変えた映像が投影される。
＜＜第２の実施の形態（波紋の映像によって情報を提示する例）＞＞
＜投影システムの構成例＞
　図９は、本技術の他の実施形態に係る投影システムの使用状態の例を示す図である。
　図９は、投影システム１をレストランなどの飲食店に設置した場合の様子を示している。上述した構成と同じ構成には同じ符号を付してある。
　図９の例においては、飲食店の天井付近にプロジェクタ１１とカメラ１２が設置されている。プロジェクタ１１は、その投影面がテーブルＴの天板表面となるように角度や焦点距離などが調整される。また、カメラ１２は、テーブルＴの天板表面を撮影範囲に含むように画角が調整される。
　テーブルＴの上には、ワインや水などの液体が入ったグラス２２が置かれている。制御装置１３が認識し、情報の提示に用いる映像を投影する対象の物体はグラス２２となる。制御装置１３には、グラスを認識するための認識用のデータも用意されている。
　図９に示すように、テーブルＴの天板表面には、擬似的な波紋がグラス２２の位置から広がる様子を表現した映像である波紋映像Ｖ２がプロジェクタ１１によって投影される。すなわち、制御装置１３は、カメラ１２により撮影された画像に基づいてグラス２２の形状と位置を特定し、グラス２２に対応する位置（例えばグラス２２の位置を中心とした所定範囲の領域）に光の煌めきなどで表現した波紋を描画することによって、グラス２２の周りに波紋が広がる波紋映像Ｖ２をプロジェクタ１１から投影させることになる。
　図１０のＡ，Ｂに示すように、テーブルＴの天板裏側にはスピーカ１４が取り付けられている。スピーカ１４からは、例えば、波紋が広がる波紋映像Ｖ２に同期して効果音（「チーン」などのグラス音）が出力される。グラス２２の縁を棒などで叩いたことに応じてグラス２２に注がれている液体がテーブルＴの天板全体に擬似的に広がるような視覚的効果が実現される。テーブルＴを前にして座っている客などの、テーブルＴの周囲にいる人は、水面が揺れている錯覚を覚えることになる。
　なお、図１０のＡ，Ｂの例においては、グラス２２の真下にスピーカ１４が設けられているが、スピーカ１４が設けられる位置はテーブルＴの天板裏側であれば任意である。
　波紋映像Ｖ２の投影と効果音の出力は、テーブルＴを前にして座っている客がテーブルＴの表面を棒で叩いたときなどの所定のタイミングで行われるようにすることが可能である。客がテーブルＴの表面を棒で叩いたことは、マイクや振動センサなどのセンサによる検出結果に基づいて特定される。ここでは、マイクや振動センサなどのセンサが、外部環境を検出するセンサとして用いられることになる。
　すなわち、この場合、波紋映像Ｖ２は、センサによる検出結果に応じて投影される映像になる。テーブルＴの表面を棒で叩くことに応じて投影される波紋映像Ｖ２は、例えば、客が飲食店の店員を呼ぶことなどに用いられる。この場合、波紋映像Ｖ２は、客が呼んでいるといった情報を店員に対して提示する映像となる。
　波紋映像Ｖ２の投影と効果音の出力が、飲食店の店員が携帯端末を操作することに応じて行われるようにしてもよい。携帯端末から制御装置１３に対しては、店員による操作の内容を表す情報が送信される。この場合、店員による操作に応じて投影される波紋映像Ｖ２は、店員が合図を送っているといった情報を客に提示する映像となる。
　図１１は、波紋映像Ｖ２の変化のイメージを示す図である。
　図１１の左端に示すように波紋映像Ｖ２が投影されていない状態でトリガとなる入力が検出された場合、効果音が出力されるとともに、矢印＃３１の先に示すように、波紋が広がる波紋映像Ｖ２の投影が開始される。波紋映像Ｖ２は、矢印＃３２，＃３３の先に示すように順に変化する。波紋映像Ｖ２の投影は、投影開始から所定時間だけ行われ、所定時間経過後、矢印＃３４の先に示すように終了される。
　このように、波紋映像Ｖ２は、グラス２２に注がれた液体の表面やテーブルＴの天板表面をいわば仮想的な振動面として、その振動面が、振動センサにより検出された振動や、マイクにより検出された音の情報に応じて揺れる映像である。
＜制御装置の動作＞
　ここで、図１２のフローチャートを参照して、波紋映像Ｖ２の投影を制御する制御装置１３の制御処理について説明する。図１２の処理は、カメラ１２により撮影が行われ、カメラ１２から画像が送信されてきたときに開始される。
　ステップＳ３１において、画像取得部１１１は、カメラ１２により撮影された画像を取得する。
　ステップＳ３２において、画像解析部１１２は、画像取得部１１１から供給された画像を解析し、画像に写っているグラス２２の形状と位置を特定する。画像解析部１１２から描画処理部１１５に対しては形状情報と位置情報が出力される。
　ステップＳ３３において、入力データ取得部１１４は、マイクや振動センサなどのセンサから送信されてきたセンサデータを入力データとして取得する。また、入力データ取得部１１４は、店員が操作する携帯端末から送信されてきたデータを入力データとして取得する。
　ステップＳ３４において、描画処理部１１５は、波紋映像Ｖ２を投影するか否かを入力データに基づいて判定する。波紋映像Ｖ２を投影しないとステップＳ３４において判定された場合、ステップＳ３１に戻り、以上の処理が繰り返し行われる。
　一方、波紋映像Ｖ２を投影するとステップＳ３４において判定した場合、ステップＳ３５において、描画処理部１１５は、形状情報と位置情報に基づいて擬似的な波紋の描画位置を特定し、波紋映像Ｖ２を生成する。
　ステップＳ３６において、映像制御部１１６は、描画処理部１１５により生成された波紋映像Ｖ２をプロジェクタ１１に送信し、波紋映像Ｖ２を投影させる。
　ステップＳ３７において、効果音制御部１１７は、波紋映像Ｖ２に同期した効果音をスピーカ１４に送信し、効果音を出力させる。
　ステップＳ３８において、描画処理部１１５は、波紋映像Ｖ２の投影を終了するか否かを判定する。投影開始から所定の時間が経過していないことから波紋映像Ｖ２の投影を終了しないと判定された場合、ステップＳ３６に戻り、波紋映像Ｖ２の投影が続けられる。
　一方、波紋映像Ｖ２の投影を終了するとステップＳ３８において判定された場合、処理は終了される。
　以上の処理により、制御装置１３は、波紋が広がる映像によって、周囲にいる人に情報を伝えることができる。
　図１３は、以上のような波紋映像Ｖ２の使用例を示す図である。
　図１３の例においては、テーブルＴに、液体が注がれた４つのグラス２２－１乃至２２－４が置かれている。各グラスを前にして、客が席に座っているものとする。
　例えば、店員が、４人の客のうち、グラス２２－３を使っている客に伝えることがある場合、携帯端末を操作してその客を指定する。携帯端末から送信された情報を受信した制御装置１３は、グラス２２－３の位置から波紋が広がるような波紋映像Ｖ２を投影し、これにより、店員が呼んでいることを、グラス２２－３を使っている客に視覚的に伝えることができる。
　振動センサにより検出された振動の大きさを表現するように、波紋映像Ｖ２を構成する波紋の大きさが振動によって変わるようにしてもよい。また、照度センサにより検出された飲食店内や屋外の明るさを表現するように、波紋映像Ｖ２の波紋の煌めきが照度によって変わるようにしてもよい。
＜＜変形例＞＞
＜投影システムの構成の変形例＞
　図７の各構成がどの装置において実現されるようにするのかは適宜変更可能である。
　図１４は、投影システム１の他の機能構成例を示す図である。
　図１４の例においては、画像の撮影機能が制御装置１３に設けられる。すなわち、制御装置１３においては、撮影部１０１、画像取得部１１１、画像解析部１１２、解析結果記憶部１１３、入力データ取得部１１４、描画処理部１１５、映像制御部１１６、および効果音制御部１１７が実現される。
　このように、カメラ１２の機能が制御装置１３に搭載されるようにすることが可能である。これにより、例えば、カメラ付きのスマートフォンやタブレット端末を制御装置１３として用いることが可能になる。
　図１５は、投影システム１のさらに他の機能構成例を示す図である。
　図１５の例においては、画像取得部１１１、画像解析部１１２、解析結果記憶部１１３、入力データ取得部１１４、描画処理部１１５、映像制御部１１６、および効果音制御部１１７が、プロジェクタ１１において実現される。このように、制御装置１３の機能がプロジェクタ１１に搭載されるようにすることが可能である。
　なお、図７に示す制御装置１３の構成が複数の装置上で実現されるようにしてもよい。この場合、図７に示す制御装置１３の構成を分担して実現する複数の装置はネットワークを介して接続される。
　制御装置１３がインターネット上に設けられ、プロジェクタ１１、カメラ１２、およびスピーカ１４のそれぞれと制御装置１３との間の通信がインターネットを介して行われるようにしてもよい。
＜他の変形例＞
　以上においては、観葉植物２１またはグラス２２といったように、対象となる物体が１つであるものとしたが、センサデータに応じた効果を加えた映像を投影する対象となる物体は２つ以上であってもよい。
　この場合、効果を加える対象となる物体がセンサデータの種別に応じて選択されるようにすることが可能である。例えば、部屋に観葉植物２１とグラス２２があり、カメラ１２によって撮影された画像にそれぞれの物体が写っている場合、画像解析部１１２は、画像を解析し、それぞれの物体を検出する。
　描画処理部１１５は、画像解析部１１２による検出結果に基づいて、検出されたそれぞれの物体に関する擬似的な画像を決定する。描画処理部１１５は、観葉植物２１については、擬似的な影の画像を決定し、グラス２２については、擬似的な振動面（水面）を表現した波紋の画像を決定する。
　描画処理部１１５は、入力データ取得部１１４により取得されたセンサデータが風速や風向きであった場合には、観葉植物２１の影を用いた方が、そのセンサデータを表現しやすいため、観葉植物２１の擬似的な影の映像（影映像）を選択し、観葉植物２１に対応した位置（例えば観葉植物２１の近傍）に投影させる。
　一方、描画処理部１１５は、入力データ取得部１１４により取得されたセンサデータが振動であった場合には、グラス２２の擬似的な振動面を用いた方が、そのセンサデータを表現しやすいため、グラス２２の擬似的な振動面の映像（波紋映像）を選択し、グラス２２に対応した位置（例えばグラス２２の位置を中心とした所定範囲の領域）に投影させる。
　描画処理部１１５は、センサデータの種別と、その内容を表現するのに適した物体と、物体に反映させる効果との３種類の情報（例えば、振動とグラスと波紋映像）を対応付けたテーブル情報を予め管理している。描画処理部１１５は、センサデータの種別に対応する物体と効果をテーブル情報に基づいて選択し、映像を投影させることになる。
　センサデータの種別と、物体に対応した効果が１対１で対応していてもよいし、１種類のセンサデータに対して、複数の効果が対応しているようにしてもよい。植物などの柔らかい物体には、風速や降雨に応じた効果を反映させ、コップなどの液体には、振動や熱に応じた効果（蒸発等の表示）を反映させるといったように、１種類の物体に対して、複数の効果が対応付けられるようにしてもよい。
＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU１００１、ROM１００２、RAM１００３は、バス１００４により相互に接続される。
　バス１００４には、さらに、入出力インタフェース１００５が接続される。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得する空間センシングデータ取得部と、
　外部環境をセンシングすることにより得られた外部環境データを取得する外部環境データ取得部と、
　前記空間センシングデータに基づいて前記物体に対応した画像を決定し、前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる処理部と
　を備える制御装置。
（２）
　前記処理部は、前記外部環境データに追従して、前記画像を変化させる
　前記（１）に記載の制御装置。
（３）
　前記空間センシングデータは、カメラによる撮影に基づき得られる撮像データであり、
　前記処理部は、前記撮像データを解析することで前記物体の形状を特定し、前記物体の形状に対応した前記画像を前記空間に投影させる
　前記（１）または（２）に記載の制御装置。
（４）
　前記処理部は、前記撮像データの解析を行うことによって前記物体の位置を特定し、前記物体の仮想的な影を表す前記画像を、前記物体の近傍に投影させる
　前記（３）に記載の制御装置。
（５）
　前記外部環境データ取得部は、外部環境における物理量を測定する物理量センサによる物理量センシングデータを含む前記外部環境データを取得し、
　前記処理部は、前記物理量センシングデータに基づく前記画像のモーションシミュレーション画像を前記画像として投影させる
　前記（３）に記載の制御装置。
（６）
　前記物理量センシングデータは、外部環境における風速又風向きの情報を含み、
　前記画像は、前記物体の仮想的な影を示す画像であり、
　前記処理部は、前記仮想的な影が、前記風速又風向きの情報に応じて揺れる映像を投影させる
　前記（５）に記載の制御装置。
（７）
　前記物理量センシングデータは、外部環境における振動又は音の情報を含み、
　前記画像は、前記物体の仮想的な振動面を示す画像であり、
　前記処理部は、前記仮想的な振動面が、前記振動又は音の情報に応じて揺れる映像を投影させる
　前記（５）に記載の制御装置。
（８）
　前記物理量センシングデータは、少なくとも風速、風向き、力の強度、温度、降水量、気温、湿度、加速度、光、音、圧力、磁気、大気の情報のうちのいずれかを含む
　前記（５）乃至（７）のいずれかに記載の制御装置。
（９）
　前記処理部は、前記画像の近傍に、前記外部環境データに関連する付加情報を投影させる
　前記（１）乃至（８）のいずれかに記載の制御装置。
（１０）
　前記外部環境データに基づいて、前記画像に同期した効果音を出力させる効果音制御部をさらに備える
　前記（１）乃至（９）のいずれかに記載の制御装置。
（１１）
　前記外部環境データ取得部は、前記空間とは異なる空間に設けられたセンサから送信されてきた前記外部環境データを受信する
　前記（１）乃至（１０）のいずれかに記載の制御装置。
（１２）
　前記処理部は、前記空間センシングデータに基づいて前記空間内に存在する複数の物体を特定し、前記複数の物体それぞれに対応する複数の画像を決定し、前記外部環境データに基づいて前記複数の画像のうち前記外部環境データに対応した効果を加える画像を選択する
　前記（１）乃至（１１）のいずれかに記載の制御装置。
（１３）
　空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得し、
　外部環境をセンシングすることにより得られた外部環境データを取得し、
　前記空間センシングデータに基づいて前記物体に対応した画像を決定し、
　前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる
　ステップを含む制御方法。
（１４）
　コンピュータに、
　空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得し、
　外部環境をセンシングすることにより得られた外部環境データを取得し、
　前記空間センシングデータに基づいて前記物体に対応した画像を決定し、
　前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる
　ステップを含む処理を実行させるためのプログラム。
（１５）
　　空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得する空間センシングデータ取得部と、
　　外部環境をセンシングすることにより得られた外部環境データを取得する外部環境データ取得部と、
　　前記空間センシングデータに基づいて前記物体に対応した画像を決定し、前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる処理部と
　を備える制御装置と、
　前記制御装置から供給された前記画像を投影する投影装置と
　を含む投影システム。
　１　投影システム，　１１　プロジェクタ，　１２　カメラ，　１３　制御装置，　１４　スピーカ，　１０１　撮影部，　１１１　画像取得部，　１１２　画像解析部，　１１３　解析結果記憶部，　１１４　入力データ取得部，　１１５　描画処理部，　１１６　映像制御部，　１１７　効果音制御部，　１２１　映像出力部，　１３１　効果音出力部

Claims (15)

  1. 　空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得する空間センシングデータ取得部と、
    　外部環境をセンシングすることにより得られた外部環境データを取得する外部環境データ取得部と、
    　前記空間センシングデータに基づいて前記物体に対応した画像を決定し、前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる処理部と
    　を備える制御装置。
  2. 　前記処理部は、前記外部環境データに追従して、前記画像を変化させる
    　請求項１に記載の制御装置。
  3. 　前記空間センシングデータは、カメラによる撮影に基づき得られる撮像データであり、
    　前記処理部は、前記撮像データを解析することで前記物体の形状を特定し、前記物体の形状に対応した前記画像を前記空間に投影させる
    　請求項１に記載の制御装置。
  4. 　前記処理部は、前記撮像データの解析を行うことによって前記物体の位置を特定し、前記物体の仮想的な影を表す前記画像を、前記物体の近傍に投影させる
    　請求項３に記載の制御装置。
  5. 　前記外部環境データ取得部は、外部環境における物理量を測定する物理量センサによる物理量センシングデータを含む前記外部環境データを取得し、
    　前記処理部は、前記物理量センシングデータに基づく前記画像のモーションシミュレーション画像を前記画像として投影させる
    　請求項３に記載の制御装置。
  6. 　前記物理量センシングデータは、外部環境における風速又は風向きの情報を含み、
    　前記画像は、前記物体の仮想的な影を示す画像であり、
    　前記処理部は、前記仮想的な影が、前記風速又は風向きの情報に応じて揺れる映像を投影させる
    　請求項５に記載の制御装置。
  7. 　前記物理量センシングデータは、外部環境における振動又は音の情報を含み、
    　前記画像は、前記物体の仮想的な振動面を示す画像であり、
    　前記処理部は、前記仮想的な振動面が、前記振動又は音の情報に応じて揺れる映像を投影させる
    　請求項５に記載の制御装置。
  8. 　前記物理量センシングデータは、少なくとも風速、風向き、力の強度、温度、降水量、気温、湿度、加速度、光、音、圧力、磁気、大気の情報のうちのいずれかを含む
    　請求項５に記載の制御装置。
  9. 　前記処理部は、前記画像の近傍に、前記外部環境データに関連する付加情報を投影させる
    　請求項１に記載の制御装置。
  10. 　前記外部環境データに基づいて、前記画像に同期した効果音を出力させる効果音制御部をさらに備える
    　請求項１に記載の制御装置。
  11. 　前記外部環境データ取得部は、前記空間とは異なる空間に設けられたセンサから送信されてきた前記外部環境データを受信する
    　請求項１に記載の制御装置。
  12. 　前記処理部は、前記空間センシングデータに基づいて前記空間内に存在する複数の物体を特定し、前記複数の物体それぞれに対応する複数の画像を決定し、前記外部環境データに基づいて前記複数の画像のうち前記外部環境データに対応した効果を加える画像を選択する
    　請求項１に記載の制御装置。
  13. 　空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得し、
    　外部環境をセンシングすることにより得られた外部環境データを取得し、
    　前記空間センシングデータに基づいて前記物体に対応した画像を決定し、
    　前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる
    　ステップを含む制御方法。
  14. 　コンピュータに、
    　空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得し、
    　外部環境をセンシングすることにより得られた外部環境データを取得し、
    　前記空間センシングデータに基づいて前記物体に対応した画像を決定し、
    　前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる
    　ステップを含む処理を実行させるためのプログラム。
  15. 　　空間をセンシングすることにより得られた前記空間内の物体についての空間センシングデータを取得する空間センシングデータ取得部と、
    　　外部環境をセンシングすることにより得られた外部環境データを取得する外部環境データ取得部と、
    　　前記空間センシングデータに基づいて前記物体に対応した画像を決定し、前記外部環境データに対応した効果を前記画像に加えて前記空間に投影させる処理部と
    　を備える制御装置と、
    　前記制御装置から供給された前記画像を投影する投影装置と
    　を含む投影システム。
PCT/JP2018/004569 2017-02-24 2018-02-09 制御装置、制御方法、プログラム、および投影システム WO2018155235A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/486,064 US20200059631A1 (en) 2017-02-24 2018-02-09 Control apparatus, control method, program, and projection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017033510 2017-02-24
JP2017-033510 2017-02-24

Publications (1)

Publication Number Publication Date
WO2018155235A1 true WO2018155235A1 (ja) 2018-08-30

Family

ID=63253700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004569 WO2018155235A1 (ja) 2017-02-24 2018-02-09 制御装置、制御方法、プログラム、および投影システム

Country Status (2)

Country Link
US (1) US20200059631A1 (ja)
WO (1) WO2018155235A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021047274A (ja) * 2019-09-18 2021-03-25 スカパーＪｓａｔ株式会社 表示制御装置、表示装置、表示制御方法、プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
JP7163947B2 (ja) * 2020-10-22 2022-11-01 セイコーエプソン株式会社 投写領域の設定支援方法、設定支援システム、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05119161A (ja) * 1991-10-24 1993-05-18 Sharp Corp ホームバスシステム
JP2000231644A (ja) * 1999-02-08 2000-08-22 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体
WO2005107903A1 (ja) * 2004-05-10 2005-11-17 Sega Corporation 電子遊戯装置、電子遊戯装置におけるデータ処理方法及びこのためのプログラム並びに記憶媒体
JP2007072859A (ja) * 2005-09-08 2007-03-22 Nippon Hoso Kyokai <Nhk> Ｃｇ画像生成装置およびｃｇ画像生成プログラム
JP2008058606A (ja) * 2006-08-31 2008-03-13 Univ Of Tokyo 投影装置および演出装置
JP2009053748A (ja) * 2007-08-23 2009-03-12 Nikon Corp 画像処理装置、画像処理プログラムおよびカメラ
JP2009211602A (ja) * 2008-03-06 2009-09-17 Yamaha Motor Co Ltd 自動販売機
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05119161A (ja) * 1991-10-24 1993-05-18 Sharp Corp ホームバスシステム
JP2000231644A (ja) * 1999-02-08 2000-08-22 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体
WO2005107903A1 (ja) * 2004-05-10 2005-11-17 Sega Corporation 電子遊戯装置、電子遊戯装置におけるデータ処理方法及びこのためのプログラム並びに記憶媒体
JP2007072859A (ja) * 2005-09-08 2007-03-22 Nippon Hoso Kyokai <Nhk> Ｃｇ画像生成装置およびｃｇ画像生成プログラム
JP2008058606A (ja) * 2006-08-31 2008-03-13 Univ Of Tokyo 投影装置および演出装置
JP2009053748A (ja) * 2007-08-23 2009-03-12 Nikon Corp 画像処理装置、画像処理プログラムおよびカメラ
JP2009211602A (ja) * 2008-03-06 2009-09-17 Yamaha Motor Co Ltd 自動販売機
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021047274A (ja) * 2019-09-18 2021-03-25 スカパーＪｓａｔ株式会社 表示制御装置、表示装置、表示制御方法、プログラム

Also Published As

Publication number Publication date
US20200059631A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
US10785447B2 (en) Information processing apparatus, information processing method, and program
US20120192088A1 (en) Method and system for physical mapping in a virtual world
WO2018155235A1 (ja) 制御装置、制御方法、プログラム、および投影システム
WO2014071333A2 (en) Constructing augmented reality environment with pre-computed lighting
WO2018163637A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN207212211U (zh) 一种互动智能窗户
US20200273240A1 (en) Directional occlusion methods and systems for shading a virtual object rendered in a three-dimensional scene
US20160323534A1 (en) Functional module system
CN114387445A (zh) 对象关键点识别方法及装置、电子设备和存储介质
WO2023116396A1 (zh) 一种渲染显示方法、装置、计算机设备及存储介质
JP2018124515A (ja) コンピュータプログラム、端末および方法
CN107479701B (zh) 虚拟现实交互方法、装置及系统
EP3336601A1 (en) A photo terminal stand system
US11508072B2 (en) Smart phones for motion capture
CN103977577A (zh) 移动个性化卡拉ok虚拟舞台特效系统
US20230186552A1 (en) System and method for virtualized environment
KR20200143293A (ko) 실시간 다원 ar 방송을 위한 증강 현실 영상 생성 방법 및 장치
KR102197504B1 (ko) 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
CN115049803A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
TW201426403A (zh) 顯示裝置、可攜式裝置及虛擬情境控制方法
US20180203661A1 (en) Information processing device, information processing method, and program
JP2019160332A (ja) コンピュータプログラム、端末および方法
JP2020043578A (ja) アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
KR20200101912A (ko) 정보 처리 장치, 정보 처리 방법, 및 기록 매체
JP7510723B1 (ja) キャラクター表示制御システム、キャラクター表示制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18756893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18756893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP