WO2017154609A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2017154609A1
WO2017154609A1 PCT/JP2017/006991 JP2017006991W WO2017154609A1 WO 2017154609 A1 WO2017154609 A1 WO 2017154609A1 JP 2017006991 W JP2017006991 W JP 2017006991W WO 2017154609 A1 WO2017154609 A1 WO 2017154609A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
display device
projector
information processing
control unit
Prior art date
Application number
PCT/JP2017/006991
Other languages
English (en)
French (fr)
Inventor
健太郎 井田
拓也 池田
山本　一幸
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/068,984 priority Critical patent/US11269250B2/en
Priority to CN201780014918.3A priority patent/CN108701440B/zh
Priority to JP2018504367A priority patent/JPWO2017154609A1/ja
Publication of WO2017154609A1 publication Critical patent/WO2017154609A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and in particular, an information processing device and an information processing suitable for use when displaying a video by overlapping display ranges of a plurality of display devices within a user's visual field
  • the present invention relates to a method and a program.
  • an image projected by a drive projector is projected into an image projected by a fixed projector whose projection direction is fixed, and the image of the drive projector is moved within the image of the fixed projector, or the image of the fixed projector By moving it outside, it is possible to realize rich video expression.
  • the present technology is intended to enhance the effect of displaying video by overlapping the display ranges of a plurality of display devices within the user's field of view.
  • An information processing device includes: a first image displayed in a first field of view from a first display device; and a second display device that is different from the first display device; When the relationship between the first visual field and the second video image displayed in the second visual field at least partially overlaps a predetermined condition, the second video image is displayed from the second display device.
  • a video control unit to be started is provided.
  • the first display device and the second display device are projectors, and the image control unit includes at least a part of an image projected from the first display device to a first area.
  • the image control unit includes at least a part of an image projected from the first display device to a first area.
  • the predetermined condition may be that a difference between the characteristics of the first video and the characteristics of the second video is within a predetermined range.
  • the characteristics of the first video and the characteristics of the second video include at least one of a projection position, a localization position in the depth direction, luminance, resolution, geometric correction value, frame rate, color, and display size. be able to.
  • the video control unit may include the first control unit so that a difference between the characteristics of the first video and the second video is within the predetermined range before the projection of the second video is started.
  • One video or the second video can be controlled.
  • One of the first video and the second video can be a three-dimensional video.
  • the video control unit sends the video of the one video before starting the projection of the second video.
  • the localization position in the depth direction can be matched with the surface on which the image is projected.
  • the video control unit can match the characteristics of the first video with the characteristics of the second video.
  • the video control unit can acquire the set value of the characteristic of the first video from the control unit that controls the display of the second video.
  • the video control unit can match the characteristics of the second video with the characteristics of the first video.
  • the video control unit can acquire a set value of the characteristic of the second video from a control unit that controls display of the first video.
  • the video control unit can start moving the projection position of the second video after starting the projection of the second video.
  • the image control unit may include at least a part of the image characteristics of the second display device. , A value different from the image of the first display device can be set.
  • the video control unit can make at least one of the resolution and the luminance of the video of the second display device higher than the video of the first display device.
  • the video control unit can cause the second display device to project a video related to the video of the first display device displayed in or near the projection area of the second display device. .
  • the first display device or the second display device can be further provided.
  • At least one of the first display device and the second display device can be a drive projector.
  • An information processing method includes: a first image displayed in a first field of view from a first display device; and a second display device different from the first display device, When the relationship between the first visual field and the second video image displayed in the second visual field at least partially overlaps a predetermined condition, the second video image is displayed from the second display device. It includes a video control step to be started.
  • a program includes: a first image displayed in a first field of view from a first display device; and a second display device different from the first display device; Display of the second video from the second display device is started when a relationship between the second video displayed in the second visual field at least partially overlapping the visual field satisfies a predetermined condition
  • a computer system is caused to execute processing including a video control step.
  • Display of the second video from the second display device is started when a relationship between the second video and the second video displayed in the second field of view at least partially overlaps a predetermined condition .
  • FIG. 1 is a block diagram illustrating an embodiment of an AV system to which the present technology is applied. It is a block diagram which shows the structural example of a drive type projector system. It is a schematic diagram showing an example of an external configuration of a drive type projector. It is a block diagram which shows the structural example of a fixed type projector system. It is a flowchart for demonstrating the space map production
  • Embodiment> ⁇ Example of configuration of AV system 10 ⁇ First, a configuration example of an AV (Audio Visual) system 10 to which the present technology is applied will be described with reference to FIG.
  • the AV system 10 is a system that projects an image in a predetermined space (hereinafter referred to as a display space) by the drive projector system 11 and the fixed projector system 12 and outputs sound accompanying the image.
  • the AV system 10 includes a drive projector system 11, a fixed projector system 12, and an operation unit 13.
  • the drive projector system 11 includes a drive projector 31, a sensor unit 32, and an information processing device 33.
  • the drive type projector 31 is a projector whose image projection direction is variable.
  • the output direction of the output sound may be variable in conjunction with the projection direction of the video.
  • the sensor unit 32 detects data related to the display space and supplies the detection result to the information processing device 33.
  • the information processing apparatus 33 is configured by, for example, a computer or a processor such as a CPU and a memory.
  • the information processing device 33 controls the drive projector 31.
  • the information processing device 33 controls the cooperation of the video of the drive projector 31 and the video of the fixed projector 51 in cooperation with the information processing device 52 of the fixed projector system 12.
  • the fixed projector system 12 includes a fixed projector 51 and an information processing device 52.
  • the fixed projector 51 is a projector whose image projection direction is fixed. That is, the fixed projector 51 projects an image on a predetermined projection area in the display space by projecting the image in the installed direction.
  • the information processing apparatus 52 is configured by, for example, a computer or a processor such as a CPU and a memory.
  • the information processing device 52 controls the fixed projector 51. Further, the information processing device 52 controls the cooperation of the video of the fixed projector 51 and the video of the drive projector 31 in cooperation with the information processing device 33 of the drive projector system 11.
  • the operation unit 13 includes a pointing device 71.
  • the pointing device 71 is an operation device for the user to point to a desired position.
  • the pointing device 71 irradiates infrared light, and points to a position (pointing position) according to the user's operation with the infrared light.
  • the pointing device 71 may be configured by a dedicated device, or may be configured by a general-purpose device that can be used for other purposes such as a smartphone or a remote controller.
  • FIG. 2 shows a specific configuration example of the drive projector system 11.
  • the drive type projector 31 includes a reflection type speaker 101, a projector 102, a depth sensor 103, and a drive unit 104. As shown in FIG. 3, in the drive projector 31, the depth sensor 103 is installed on the drive unit 104, the projector 102 is installed on the depth sensor 103, and the reflective speaker 101 is installed on the projector 102. ing.
  • the reflective speaker 101 is a speaker that generates a virtual sound source at a reflection position by applying an output sound to a desired position in the display space and reflecting it under the control of the information processing device 33. The user feels that sound is being output from the position of the virtual sound source.
  • the reflection type speaker 101 is not particularly limited as long as it is a speaker capable of generating a virtual sound source at a reflection position.
  • the reflective speaker 101 is composed of a super-directional speaker having a sharp directivity.
  • an ultrasonic speaker (parametric speaker) that outputs a signal obtained by modulating a carrier wave composed of ultrasonic waves by a predetermined method.
  • the reflective speaker 101 outputs an output sound toward the virtual sound source and reflects the output sound at the virtual sound source may be simply expressed as a sound output from the virtual sound source.
  • the projector 102 projects an image based on the image data supplied from the information processing device 33 onto a wall or an object in the display space under the control of the information processing device 33. Note that the method of the projector 102 is not limited to a specific method, and any method can be adopted.
  • the depth sensor 103 uses, for example, infrared light under the control of the information processing apparatus 33, and is a distance image that indicates the distance from the drive projector 31 (more precisely, the depth sensor 103) at each position in the display space. And the captured distance image is supplied to the information processing device 33.
  • a method of the depth sensor 103 any method such as a TOF (Time-of-Flight) method, a pattern irradiation method, a stereo camera method, or the like can be adopted.
  • the driving unit 104 controls the output direction of the reflective speaker 101, the projection direction of the projector 102, and the shooting direction of the depth sensor 103 under the control of the information processing device 33.
  • the drive unit 104 includes a pan motor 111, a tilt motor 112, and a motor control unit 113.
  • the pan motor 111 is a motor that rotates the reflective speaker 101, the projector 102, and the depth sensor 103 in the pan direction (horizontal direction).
  • the pan motor 111 includes an encoder, and supplies the detection result of the rotational speed and rotational position of the pan motor 111 to the motor control unit 113, for example.
  • the tilt motor 112 is a motor that rotates the reflective speaker 101, the projector 102, and the depth sensor 103 in the tilt direction (vertical direction).
  • the tilt motor 112 includes an encoder, and supplies the motor control unit 113 with detection results of the rotation speed and rotation position of the tilt motor 112, for example.
  • the motor control unit 113 controls the rotation of the pan motor 111 and the tilt motor 112 under the control of the information processing device 33.
  • the motor control unit 113 supplies control information of the driving unit 104 to the information processing apparatus 33.
  • the control information of the drive unit 104 includes, for example, the rotation speed and rotation position of the pan motor 111 and the tilt motor 112.
  • the drive unit 104 may be configured to be rotatable in the yaw direction (around the main axis in the image projection direction), for example. Moreover, the drive part 104 may further be provided with moving mechanisms, such as a motor and a wheel.
  • the sensor unit 32 includes a camera 131, a fisheye camera 132, and a microphone 133.
  • the camera 131 captures an image of the display space and supplies an image obtained as a result of the capturing (hereinafter referred to as a display space image) to the information processing device 33.
  • the display space image is used, for example, for detection of the position, line-of-sight direction, gesture, etc. of the user in the display space.
  • the fisheye camera 132 is composed of a camera equipped with a fisheye lens, and captures an ultra-wide angle image.
  • the fisheye camera 132 supplies an image (hereinafter referred to as a fisheye image) obtained as a result of shooting to the information processing apparatus 33.
  • the fisheye image is used, for example, for detection of an irradiation position (pointing position) of infrared light emitted from the pointing device 71.
  • the microphone 133 is used, for example, for detecting a reflected sound with respect to an output sound from the reflective speaker 101.
  • the microphone 133 supplies an audio signal indicating the detected sound to the information processing device 33.
  • the information processing device 33 includes an interface (I / F) unit 151, a pointing position detection unit 152, a user detection unit 153, a map generation unit 154, a storage unit 155, a movement amount calculation unit 156, an input unit 157, and a control unit 158. Is provided.
  • the I / F unit 151 includes, for example, a communication device, a connector, and the like.
  • the I / F unit 151 transmits and receives data and the like to and from the information processing device 52, the reflective speaker 101, the projector 102, the depth sensor 103, the motor control unit 113, the camera 131, the fisheye camera 132, and the microphone 133.
  • the I / F unit 151 supplies received data or the like to each unit of the information processing device 33, or acquires data to be transmitted or the like from each unit of the information processing device 33.
  • any wired or wireless method can be adopted as the communication method of the I / F unit 151. Further, the communication method of the I / F unit 151 may be changed for each communication target. Further, for example, the I / F unit 151 may directly communicate with each communication target or may perform communication via a network or the like.
  • the pointing position detection unit 152 detects the pointing position by the pointing device 71 based on the fisheye image photographed by the fisheye camera 132.
  • the pointing position detection unit 152 supplies the detection result to the control unit 158.
  • any method can be adopted as the detection method of the pointing position detection unit 152.
  • the user detection unit 153 detects, for example, the position, line-of-sight direction, gesture, and the like of the user in the display space based on the display space image captured by the camera 131.
  • the user detection unit 153 supplies the detection result to the control unit 158.
  • any method can be adopted as the detection method of the user detection unit 153.
  • the map generation unit 154 controls the depth sensor 103 and the motor control unit 113 via the I / F unit 151, and controls the photographing of the distance image in the display space by the depth sensor 103. Then, the map generation unit 154 performs space recognition in the display space using the distance image, and generates a first space map indicating a three-dimensional shape such as an object or a wall in the display space.
  • the first space map is made up of, for example, a three-dimensional point cloud map, and includes depth information indicating the distance from the drive projector 31 at each position in the display space.
  • the map generation unit 154 controls the reflection type speaker 101 and the motor control unit 113 via the I / F unit 151 to control scanning in the display space of the output sound from the reflection type speaker 101. Then, the map generation unit 154 performs space recognition in the display space based on the detection result of the reflected sound detected by the microphone 133 when the output sound is scanned in the display space, and an object or wall in the display space. A second spatial map showing a three-dimensional shape such as is generated.
  • the second space map is composed of, for example, a three-dimensional point cloud map, and depth information indicating the distance from the drive projector 31 at each position in the display space, and reflection characteristics (for example, reflectance, reflection) at each position. Reflection characteristic information indicating a corner or the like).
  • the map generation unit 154 generates an integrated space map obtained by integrating the first space map and the second space map.
  • the integrated space map includes, for example, depth information indicating the distance from the driving projector 31 at each position in the display space, reflection characteristic information indicating the reflection characteristic at each position, and display of an image at each position in the display space. It includes display characteristic information indicating whether or not video projection is possible.
  • the integrated space map includes, for example, video position information indicating a video display position that is set in advance with respect to the display space.
  • the map generation unit 154 stores the generated integrated space map in the storage unit 155 or supplies it to the information processing apparatus 52 via the I / F unit 151.
  • the map generation unit 154 detects the position of the microphone 133 or the like based on the first space map, for example.
  • the map generation unit 154 supplies the detection result to the control unit 158.
  • the position of the microphone 133 or the like may be detected based on a display space image photographed by the camera 131.
  • the movement amount calculation unit 156 calculates or predicts the movement direction and movement amount of the projection area of the projector 102 based on the control information of the driving unit 104.
  • the movement amount calculation unit 156 supplies the calculation direction or the prediction result of the movement direction and movement amount of the projection area to the control unit 158.
  • the input unit 157 includes, for example, an operation device and is used to input commands and data (for example, video data and audio data) to the control unit 158.
  • the control unit 158 includes a video control unit 161 and an acoustic control unit 162.
  • the video control unit 161 controls display of video by the drive projector 31.
  • the video control unit 161 controls the projector 102 via the I / F unit 151 to control the content and display timing of the video to be displayed.
  • the video control unit 161 controls the display video range based on, for example, a calculation result or a prediction result of the movement direction and movement amount of the projection area of the projector 102.
  • the display video range is a range of video to be displayed in the projection area among videos set to be displayed in the display space.
  • the video control unit 161 controls the cooperation between the video of the drive projector 31 and the video of the fixed projector 51 in cooperation with the information processing device 52 via the I / F unit 151.
  • the video control unit 161 controls the motor control unit 113 via the I / F unit 151 to control the projection direction of the video of the projector 102 and the output direction of the reflective speaker 101.
  • the display position of the image and the reflection position of the output sound (that is, the position of the virtual sound source) are controlled.
  • the acoustic control unit 162 controls the output sound output from the reflective speaker 101.
  • the acoustic control unit 162 controls the reflective speaker 101 via the I / F unit 151 to control the content, volume, and output timing of the output sound.
  • the description of the I / F unit 151 is omitted as appropriate for the sake of clarity.
  • the video control unit 161 supplies video data to the projector 102 via the I / F unit 151, it is simply described that the video control unit 161 supplies video data to the projector 102.
  • FIG. 4 shows a specific configuration example of the fixed projector system 12.
  • the fixed projector 51 includes a reflective speaker 201 and a projector 202.
  • the reflective speaker 201 applies an output sound to a predetermined position in the display space and reflects it under the control of the information processing device 52, thereby returning the reflective speaker 201 to the reflective position. It is a speaker that generates a virtual sound source.
  • the reflective speaker 101 is set to generate a virtual sound source by applying an output sound within the projection area of the projector 202, for example.
  • the projector 202 projects an image based on the image data supplied from the information processing device 52 onto a wall or the like in the display space under the control of the information processing device 52. Note that the method of the projector 202 is not limited to a specific method, and any method can be adopted.
  • the information processing apparatus 52 includes an interface (I / F) unit 221, a storage unit 222, an input unit 223, and a control unit 224.
  • the I / F unit 221 includes, for example, a communication device and a connector.
  • the I / F unit 221 transmits and receives data and the like with the information processing apparatus 33, the reflective speaker 201, and the projector 202. Further, the I / F unit 221 supplies received data or the like to each unit of the information processing device 52, or acquires data to be transmitted or the like from each unit of the information processing device 52.
  • any wired or wireless method can be adopted as the communication method of the I / F unit 221. Further, the communication method of the I / F unit 221 may be changed for each target to be communicated. Further, for example, the I / F unit 221 may perform direct communication with each communication target, or may perform communication via a network or the like.
  • the storage unit 222 stores, for example, an integrated space map supplied from the information processing apparatus 33.
  • the input unit 223 includes, for example, an operation device and is used to input commands and data (for example, video data and audio data) to the control unit 224.
  • the control unit 224 includes a video control unit 231 and an audio control unit 232.
  • the video control unit 231 controls display of video by the projector 202.
  • the video control unit 231 controls the projector 202 via the I / F unit 221 to control the content of the video to be displayed, the display timing, and the like.
  • the video control unit 231 communicates with the information processing device 33 via the I / F unit 221 to control cooperation between the video of the fixed projector 51 and the video of the drive projector 31.
  • the acoustic control unit 232 controls the output sound output from the reflective speaker 201.
  • the acoustic control unit 232 controls the reflective speaker 201 via the I / F unit 221 to control the content, volume, and output timing of the output sound.
  • the description of the I / F unit 221 is omitted as appropriate for the sake of clarity.
  • the video control unit 231 supplies video data to the projector 202 via the I / F unit 221, it is simply described that the video control unit 231 supplies video data to the projector 202.
  • This process is started, for example, when the drive projector 31 is installed or when the installation position of the drive projector 31 is moved.
  • the movement of the installation position of the drive projector 31 can be detected based on, for example, a display space image photographed by the camera 131 or can be detected by providing the drive projector 31 with an acceleration sensor, a gyro sensor, or the like. it can.
  • the space map generation process may be started when the state of the display space changes based on the display space image captured by the camera 131.
  • the change in the state of the display space for example, movement of a movable part in the display space (for example, opening / closing of a door, window, curtain, etc.), entry / exit of a person into the display space, and the like are assumed.
  • step S1 the AV system 10 performs measurement in the display space.
  • the map generation unit 154 controls the motor control unit 113 to rotate the driving unit 104 in the pan direction and the tilt direction, and causes the depth sensor 103 to scan all the areas in the display space, and also reflects the reflection type.
  • the output sound (ultrasonic signal) output from the speaker 101 is scanned over all areas in the display space.
  • the depth sensor 103 supplies the captured distance image to the map generation unit 154.
  • the reflected sound with respect to the output sound from all areas in the display space is detected by the microphone 133.
  • the microphone 133 supplies an audio signal indicating the detection result to the map generation unit 154.
  • step S2 the map generation unit 154 generates a space map. Specifically, the map generation unit 154 generates a first spatial map based on the distance image captured by the depth sensor 103.
  • the first space map includes depth information indicating the distance from the drive projector 31 at each position in the display space.
  • the depth sensor 103 uses the reflection of infrared light, the depth information of a region where the reflection of infrared light such as a black wall, concrete, and glass cannot be used is missing in the first spatial map.
  • the map generation unit 154 detects the position of the microphone 133 or the like in the display space based on the first space map. The map generation unit 154 supplies the detection result to the control unit 158.
  • the map generation unit 154 generates a second spatial map based on the audio signal from the microphone 133. Specifically, the map generation unit 154 is based on the output direction of the output sound, the positions of the reflective speaker 101 and the microphone 133, and the time from when the output sound is output until when the reflected sound is received. The distance from the speaker 101 and the microphone 133 to each position in the display space is calculated.
  • the map generation unit 154 calculates the reflectance at each position in the display space based on the volume of the reflected sound. For example, as shown in FIG. 6, a case where the output sound output from the reflective speaker 101 is reflected at the reflection position P and the reflected sound is detected by the microphone 133 will be described.
  • the distance between the reflection type speaker 101 and the reflection position P is L1
  • the distance between the reflection position P and the microphone 133 is L2.
  • the attenuation in this case is referred to as a reference attenuation.
  • the map generation unit 154 estimates the reflectance at the reflection position P based on the ratio of the attenuation amount of the reflected sound actually detected by the microphone 133 to the output sound and the reference attenuation amount.
  • the map generation unit 154 generates a second space map including depth information indicating the distance from the drive projector 31 at each position in the display space and reflection characteristic information indicating the reflectance at each position in the display space. Generate.
  • Depth information can be obtained even if the reflection of the output sound (ultrasound signal) can be used even if the reflection of infrared light is not available and the depth information is missing in the first spatial map. Depth information can be obtained.
  • step S3 the map generation unit 154 integrates the spatial maps. Specifically, the map generation unit 154 supplements the depth information of the area where the depth information is missing in the first spatial map with the depth information of the second spatial map.
  • the map generation unit 154 generates display characteristic information indicating whether video can be displayed at each position in the display space. For example, the map generation unit 154 determines that the position where the depth information is obtained in the first spatial map is a position where video can be displayed. On the other hand, the map generation unit 154 estimates the hardness and surface material of the position where the depth information is missing in the first spatial map based on the reflection characteristic information of the second spatial map. Based on the estimated hardness and surface material, the map generation unit 154 determines whether video can be displayed at a position where depth information is missing in the first spatial map. Thereby, for example, a position where it is difficult to project an image such as a black wall, concrete, or glass is determined as a position where it is difficult to display the image.
  • map generation unit 154 may determine that all positions where depth information is missing in the first spatial map are positions where video display is difficult.
  • the map generation unit 154 uses the reflection characteristic information at each position in the display space of the second spatial map as it is as the reflection characteristic information of the integrated spatial map.
  • the map generation unit 154 generates an integrated space map including depth information, display characteristic information, and reflection characteristic information at each position in the display space.
  • the map generation unit 154 adds video position information indicating the display position of the video set in advance with respect to the display space to the integrated space map as necessary.
  • the video position information indicates, for example, the content of the video set to be displayed at each position in the display space.
  • the video position information indicates the content of the video set to be displayed at each position in time series.
  • the map generation unit 154 stores the generated integrated space map in the storage unit 155. In addition, the map generation unit 154 supplies the integrated space map to the information processing device 52. The storage unit 222 of the information processing device 52 stores the supplied integrated space map.
  • information indicating that the space map is being generated may be output from the driven projector 31 by an image, sound, or the like.
  • Display control processing Next, display control processing executed by the AV system 10 will be described with reference to FIGS. In the following, processing in the case where the video of the drive projector 31 and the video of the fixed projector 51 are linked will be mainly described.
  • the video and projection area of the fixed projector 51 will be referred to as a fixed video and a fixed projection area
  • the video and projection area of the drive type projector 31 will be referred to as a drive video and a drive projection area as necessary.
  • the AV system 10 can freely fix the projection area (drive projection area) of the drive projector 31 in the display space while fixing the projection area (fixed projection area) of the fixed projector 51 at a predetermined position in the display space. Can be moved to.
  • the AV system 10 fixes the fixed projection area Pa to a predetermined plane in the display space, and the drive projection area Pb is a plane other than the plane on which the fixed projection area Pa is set. You can also move it freely.
  • the AV system 10 can give a user a video experience in a specific direction with high resolution and high brightness using a fixed video of the fixed projector 51, for example, and can freely restrict the angle of view with the driving video of the drive projector 31. Video expression can be realized.
  • the fixed projector 51 (the projector 202) is constituted by an omnidirectional projector, and the fixed projector 51 is fixed at a low resolution and low brightness in a wide range in the display space.
  • the image Va is projected.
  • the drive projector 31 projects a high-resolution and high-luminance drive video Vb in a low-resolution and low-luminance fixed video Va under the control of the video controller 161.
  • the AV system 10 draws a sense of siege with the fixed video Va, and uses the drive video Vb to attract the user's attention to a predetermined position in the fixed video Va, or information on the content in the fixed video Va. You can make up for it.
  • the fixed projector 51 displays the fixed image Va of the entire starry sky all around the sky with low resolution and low brightness in the display space.
  • the drive projector 31 moves the high-resolution and high-luminance drive video Vb in the fixed video Va under the control of the video control unit 161.
  • the drive-type projector 31 displays the drive video Vb indicating the constellation to be explained at a position corresponding to the constellation in the fixed video Va with high resolution and high brightness. Thereby, a user can be made to pay attention to the said constellation.
  • the projector 202 which is an omnidirectional projector, needs to have high resolution and high brightness. Therefore, the cost for the apparatus and installation work increases.
  • the resolution and brightness specifications of the projector 202 which is an omnidirectional projector, can be reduced. As a result, costs for equipment, installation work, etc. can be reduced.
  • an image related to an image displayed as a fixed image in or near the drive projection area of the drive projector 31 may be displayed as a drive image.
  • the fixed projector 51 displays a fixed image of the world map with a low resolution and a low luminance in the display space under the control of the image control unit 231.
  • the drive projector 31 displays a video related to a country displayed in or near the drive projection area in the fixed image of the world map by using the drive video with high brightness and high resolution. Is displayed. Thereby, while making a user pay attention to the said country in a world map, the detailed information regarding the said country can be provided to a user.
  • the drive video is set to a higher resolution and higher brightness than the fixed video
  • characteristics other than resolution and luminance for example, a position in the depth direction, a geometric correction value, a frame rate, a color, a display size, etc.
  • characteristics other than resolution and luminance for example, a position in the depth direction, a geometric correction value, a frame rate, a color, a display size, etc.
  • characteristics other than resolution and luminance for example, a position in the depth direction, a geometric correction value, a frame rate, a color, a display size, etc.
  • the types of characteristics set to different values between the fixed video and the driving video can be arbitrarily set according to the video effect to be realized.
  • the AV system 10 moves the drive projection area Pb from the fixed projection area Pa to the outside, for example, so that a specific image in the fixed projection area Pa pops out. It can be easily realized.
  • the drive projector 31 moves the drive projection area Pb to the area where the video V1 in the fixed projection area Pa is displayed under the control of the video control unit 161. . At this time, the drive projector 31 does not project an image and displays nothing in the drive projection area Pb. Therefore, the video V1 is displayed by a fixed video.
  • the drive projector 31 does not project an image and displays nothing in the drive projection area Pb. Accordingly, the video V1 is displayed by the fixed video, and the position of the video V1 is moved by the fixed video in the fixed projection area Pa.
  • the fixed projector 51 controls the video V1 under the control of the video control unit 231.
  • the image in the fixed projection area Pa is displayed as a fixed image.
  • the drive projector 31 displays a video outside the fixed projection area Pa in the video V1 as a drive video.
  • the AV system 10 can move the video V1 in the fixed projection area Pa to the outside of the fixed projection area Pa.
  • FIG. 11 an example in which a video to be moved in the fixed projection area is displayed as a fixed video is shown. You may make it switch. In other words, the display of the video to be moved may be taken over from the fixed projector 51 to the drive projector 31 in the fixed projection area.
  • a projector system that projects an image before switching is referred to as a parent projector
  • a projector system that projects an image after switching is referred to as a child projector.
  • the fixed projector system 12 is a parent projector and the drive projector system 11 is a child projector will be described.
  • step S101 the child projector moves the projection area.
  • the drive projector 31 moves the drive projection area Pb to the area Pc where the image V2 in the fixed projection area Pa is displayed under the control of the image control unit 161.
  • the video control unit 161 controls the projector 102 not to project the video.
  • the state in which the video V2 is displayed with the fixed video in the region Pc continues.
  • step S102 the child projector transmits a video takeover request command.
  • the video control unit 161 of the drive projector system 11 generates a video takeover request command and transmits it to the video control unit 231 of the fixed projector system 12.
  • the video takeover request command includes, for example, a setting value of the characteristic of the video V2 at the time of takeover.
  • the characteristics of the video V2 include, for example, the projection position (spatial coordinates, display position) of the video, the localization position in the depth direction, luminance, resolution, geometric correction value, frame rate, color, display size, and the like.
  • the localization position in the depth direction indicates a localization position in the depth direction with respect to a plane (projection plane) on which the 3D video is projected when the video V2 is a 3D video.
  • the value of the localization position in the depth direction is set to 0 when the localization position of the 3D image is set on the projection plane, and is set to a positive value when the localization position is set before the projection plane. If it is set and the localization position is set behind the projection plane, it is set to a negative value.
  • the setting value of the localization position in the depth direction of the video V2 is 0 (that is, the projection plane).
  • the video control unit 161 sets the drive type projector 31 so that the display of the video V2 can be started with the characteristics shown in the video takeover request command.
  • step S121 the parent projector receives the video takeover request command.
  • the video control unit 231 of the fixed projector system 12 receives the video takeover request command transmitted from the video control unit 161 of the drive projector system 11. Thereby, the video control unit 231 acquires the setting value of the characteristic of the video V2.
  • the parent projector matches the video characteristics.
  • the video control unit 231 of the fixed projector system 12 matches the characteristics of the video V2 projected from the projector 202 with the setting value indicated in the video takeover request command. That is, the video control unit 231 determines the projection position of the video V2, the localization position in the depth direction, the brightness, the resolution, the geometric correction value, the frame rate, the color, the display size, and the like in the fixed projection area Pa in FIG. Set to the setting value indicated in the takeover request command. Thereby, the characteristics of the video V2 by the fixed projector 51 are matched with the characteristics of the video V2 by the drive projector 31.
  • a case where the target set in the characteristics indicated in the video takeover request command is limited to only the video V2
  • a case where other areas are included for example, the entire fixed video
  • Which one is selected is determined by, for example, the content of the video or the video effect desired to be given to the user.
  • step S123 the parent projector transmits a preparation completion notification command.
  • the video control unit 231 of the fixed projector system 12 generates a preparation completion notification command and transmits the generated preparation completion notification command to the video control unit 161 of the drive projector system 11.
  • step S103 the child projector receives a preparation completion notification command.
  • the video control unit 161 of the drive projector system 11 receives the preparation completion notification command transmitted from the video control unit 231 of the fixed projector system 12.
  • step S124 the parent projector deletes the video in synchronization with the child projector.
  • step S104 the child projector displays an image in synchronization with the parent projector.
  • the fixed projector 51 gradually turns off the video V2 in the fixed projection area Pa under the control of the video control unit 231.
  • the drive projector 31 starts projecting the image V2 into the drive projection region Pb in synchronization with the erasure of the image V2 within the fixed projection region Pa.
  • the display of the video V2 is switched from the fixed video to the drive video.
  • step S105 the child projector moves the video. Specifically, the drive projector 31 starts moving the position of the drive projection region Pb under the control of the video control unit 161. Thereby, for example, as shown in FIG. 13D, the video V2 moves outside the fixed video area Pa.
  • the video display when switching the video display from the parent projector to the child projector, if the characteristics of the two images do not match, the video may change rapidly when the display is switched, which may cause discomfort or discomfort to the user. There is.
  • a three-dimensional image (stereoscopic image) V3 displayed by a fixed projector 51 (parent projector) in a fixed image area Pa is converted into a drive projector 31 ( A case will be described in which the sub-projector is switched to the two-dimensional video V3 and then moves out of the fixed video area Pa.
  • the localization position in the depth direction of the video V3 may change abruptly from the front or back of the projection surface to the projection surface.
  • the convergence angle with respect to the video V3 changes abruptly, and the user feels that the video V3 suddenly retracts backward from the near side or jumps forward suddenly from the back.
  • the load given to the user's vision becomes large, and there is a possibility of giving an unpleasant feeling or causing video sickness, for example.
  • the user when switching the display of images from the parent projector to the child projector, by combining the characteristics of the images of both, the user can be made smoothly without feeling uncomfortable or uncomfortable.
  • the video display can be switched. As a result, it is possible to enhance the effect of displaying the video by overlapping the projection areas of the parent projector and the child projector.
  • the drive projector 31 starts displaying the two-dimensional video V3.
  • the three-dimensional video V3 can be switched to the two-dimensional video V3 without giving the user a sense of incongruity or discomfort and without being noticed by the user.
  • the localization position of the video V3 in the depth direction to the projection plane is, for example, to eliminate binocular parallax of the video V3 on the projection plane.
  • the binocular parallax is, for example, a difference in appearance or a display position difference between the left-eye video and the right-eye video corresponding to the video V3.
  • the AV system 10 matches the localization position in the depth direction of the three-dimensional video after switching to the projection plane before projection.
  • the localization position in the depth direction of the video V3 at the time of switching does not necessarily need to be aligned with the projection plane. It is possible to adjust the position.
  • the child projector takes the initiative in switching the video display.
  • the parent projector may take the initiative in switching the video display.
  • step S201 the parent projector transmits a video takeover request command.
  • the video control unit 231 of the fixed projector system 12 generates a video takeover request command and transmits it to the video control unit 161 of the drive projector system 11.
  • the video takeover request command includes a set value of the characteristics of the video V2 at the time of takeover, as in the case where the sub projector takes the initiative in switching the video display.
  • the video control unit 231 sets, for example, the current setting value of the video V2 characteristic of the fixed projector 51 as it is in the video takeover request command.
  • the video control unit 231 sets a part or all of the characteristic setting value of the video V2 of the video handover request command to a value different from the current characteristic setting value of the video V2 of the fixed projector 51. In the latter case, the video control unit 231 sets the characteristic of the video V2 displayed by the fixed projector 51 to the set value set in the video takeover request command.
  • step S221 the child projector receives the video takeover request command.
  • the video control unit 161 of the drive projector system 11 receives the video takeover request command transmitted from the video control unit 231 of the fixed projector system 12. Thereby, the video control unit 161 acquires the setting value of the characteristic of the video V2.
  • step S222 the child projector moves the projection area in the same manner as in step S101 of FIG.
  • step S223 the child projector matches the video characteristics. Specifically, the video control unit 161 of the drive projector system 11 sets the drive projector 31 so that the display of the video V2 can be started with the characteristics indicated in the video takeover request command. Thereby, the characteristics of the video V2 from the drive projector 31 are matched with the characteristics of the video V2 from the fixed projector 51.
  • step S224 the child projector transmits a preparation completion notification command.
  • the video control unit 161 of the drive projector system 11 generates a preparation completion notification command and transmits the generated preparation completion notification command to the video control unit 231 of the fixed projector system 12.
  • step S202 the parent projector receives a preparation completion notification command.
  • the video control unit 231 of the fixed projector system 12 receives the preparation completion notification command transmitted from the video control unit 161 of the drive projector system 11.
  • step S203 the parent projector deletes the video in synchronization with the child projector, similarly to the process in step S124 of FIG.
  • step S225 the child projector displays an image in synchronization with the parent projector, similarly to the process in step S104 of FIG.
  • step S226 the child projector moves the video in the same manner as in step S105 of FIG.
  • step S122 in FIG. 12 and step S223 in FIG. 15 it is not always necessary to accurately match the characteristics of the image of the parent projector and the characteristics of the image of the child projector, for example, in a range that does not give the user a sense of discomfort or discomfort. You may make it accept
  • the difference between the characteristics of the video of the parent projector and the video of the child projector at the time of switching may be set within a predetermined range centered at 0 within a range in which the user does not feel uncomfortable or uncomfortable. Good.
  • a difference may be made in the characteristics of the video of the parent projector and the video of the child projector. That is, the difference between the characteristics of the parent projector and the characteristics of the child projector at the time of switching may be set within a predetermined range centered on a predetermined value that is not zero.
  • the configuration example of the AV system 10 in FIG. 1 is an example, and can be changed as necessary.
  • the reflective speaker 101 may be provided separately from the drive projector 31 so that it can be driven separately from the projector 102. Thereby, the position of the virtual sound source can be set more flexibly.
  • the reflective speaker 201 may be provided separately from the fixed projector 51 so that it can be driven separately from the projector 202.
  • a part or all of the information processing apparatus 33 can be provided in the drive type projector 31, or a part or all of the drive type projector 31 can be provided in the information processing apparatus 33.
  • part or all of the information processing apparatus 52 can be provided in the fixed projector 51, or part or all of the fixed projector 51 can be provided in the information processing apparatus 52.
  • the integrated information processing device 33 and the information processing device 52 can be provided in the drive projector 31 or the fixed projector 51.
  • part or all of the sensor unit 32 can be provided in the drive projector 31 or the information processing device 33.
  • another drive projector system 11 may be provided instead of the fixed projector system 12.
  • the present technology can also be applied to a case where the number of projectors is three or more, and in that case, the number of driving projectors and fixed projectors can be arbitrarily set.
  • the video switching process described above with reference to FIGS. 12 to 15 can also be applied to the case where the video of the drive projector 31 is switched to the video of the fixed projector 51.
  • the video switching process described above can also be applied to the case where the video of the drive projector is switched to the video of another drive projector, or the video of the fixed projector is switched to the video of another fixed projector.
  • the video switching process described above can also be applied to the case where all the videos of the parent projector are switched to the video of the child projector.
  • the video switching process described above can also be applied when three or more projectors are used. That is, even when three or more projectors are used, since the video is switched between the two projectors, the above-described technique can be applied.
  • a projector is used as a display device.
  • the present technology can also be applied to a case where a display device other than a projector is used.
  • the present technology is also applied when a normal display (for example, liquid crystal display, organic EL display, etc.), a display device for AR (Augmented Reality) (for example, a head mounted display (HMD), etc.) is used.
  • a normal display for example, liquid crystal display, organic EL display, etc.
  • AR Augmented Reality
  • HMD head mounted display
  • the combination of display devices is not necessarily limited to the same type.
  • it may be a combination of display devices capable of displaying an image with both display ranges overlapped within the user's field of view.
  • any combination of display devices that can superimpose at least a part of each field of view on the video displayed by both of them may be used.
  • the combination of the images to be superimposed may be real world images by a projector or a normal display, virtual images by an AR display device, or a combination of real world images and virtual images.
  • a projector and HMD can be combined.
  • a case where a projector and an HMD are combined a case where a user wearing the HMD views an image projected by the projector is assumed.
  • the HMD video can be moved within the projector video, or the HMD video can be moved inside and outside the projector video.
  • an image is projected by a projector within the field of view of the user wearing the HMD.
  • the projector image can be moved within the HMD image, or the projector image can be moved in and out of the HMD image.
  • an image outside the angle of view of the image projected by the projector is supplemented by the HMD.
  • the projector image is displayed in the HMD image.
  • a normal display and HMD can be combined.
  • a case where a normal display and an HMD are combined a case where a user wearing the HMD views an image displayed on the normal display is assumed.
  • the HMD video can be moved within the normal display video, or the HMD video can be moved within and outside the normal display video.
  • the video outside the angle of view of the video displayed on the normal display is supplemented by the HMD.
  • a normal display image is displayed in the HMD image.
  • a normal display and a projector can be combined.
  • a case where a normal display and a projector are combined a case where an image is projected by a projector on a screen of a normal display is assumed.
  • the projector image can be moved within the normal display image, or the projector image can be moved in and out of the normal display image.
  • the display control process described above with reference to FIGS. 7 to 15 can be realized by the same method as described above, regardless of the combination of the display devices. Thereby, the effect by displaying the video by overlapping the display ranges of the plurality of display devices within the visual field of the user can be enhanced.
  • the video and child display by the parent display device when the display device that displays the video before switching is the parent display device and the display device that displays the video after switching is the child display device, the video and child display by the parent display device When the relationship with the video by the device satisfies a predetermined condition, the display of the video by the parent display device may be stopped and the display of the video by the child display device may be started. More specifically, the characteristics of the image displayed in the first field of view from the parent display device, and the characteristics of the image displayed in the second field of view at least partially overlapping with the first field of view from the child display device When the difference is within a predetermined range, the display of the video by the parent display device may be stopped and the display of the video by the child display device may be started.
  • sound switching may be performed.
  • sound may be switched between the reflective speaker 101 of the drive projector 31 and the reflective speaker 201 of the fixed projector 51. For example, when the difference between the two sound characteristics falls within a predetermined range, the output of the sound from the reflective speaker being output is stopped, and the output of the sound from the other reflective speaker is started. That's fine.
  • the characteristics of the sound used as the switching condition include, for example, the reflection position, the localization position in the depth direction, the volume, the timing of the sound, the frequency band, the pitch, and the pitch. Also, the type and combination of sound characteristics used as the switching condition can be arbitrarily set.
  • sound switching may be performed in synchronization with video switching, if necessary, or may be performed independently without being synchronized with video switching.
  • the projection area is moved by changing the orientation of the projector 102
  • an image projected from the projector 102 is reflected by a reflector such as a mirror, and the orientation of the reflector
  • the projection area may be moved by changing.
  • the position of the virtual sound source is moved by changing the direction of the reflective speaker 101 .
  • the output sound output from the reflective speaker 101 is reflected by a reflector such as a mirror.
  • the position of the virtual sound source may be moved by changing the direction of the reflector.
  • the depth information in the display space may be acquired using a sensor other than the depth sensor 103.
  • the information included in the space map is not limited to the example described above, and can be changed as necessary. For example, based on information acquired by the camera 131 or the like, color information or texture information at each position in the display space may be included in the space map.
  • the space map does not necessarily include information on all areas in the display space, and it is sufficient that the space map includes information on at least a projection target area to be projected.
  • part or all of the information of the space map may be given to the information processing device 33 from the outside.
  • the type of video to which the present technology is applied is not particularly limited, and includes, for example, moving images, still images, 2D images, 3D images, and the like.
  • the series of processes of the information processing apparatus 33 and the information processing apparatus 52 described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in, for example, a removable medium 511 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • a plurality of computers may perform the above-described processing in cooperation.
  • a computer system is configured by one or a plurality of computers that perform the above-described processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can take the following configurations.
  • An information processing apparatus comprising: a video control unit that starts display of the second video from the second display device when a relationship with a second video displayed in the field of view satisfies a predetermined condition.
  • the first display device and the second display device are projectors,
  • the video control unit includes at least one of the first video that is at least a part of the video projected from the first display device to the first region, and the first region from the second display device.
  • the information processing apparatus When the relationship with the second image projected onto the second region where the parts overlap each other satisfies the predetermined condition, the projection of the second image from the second display device is started.
  • the information processing apparatus according to (1).
  • the characteristics of the first image and the characteristics of the second image include at least one of a projection position, a localization position in the depth direction, luminance, resolution, geometric correction value, frame rate, color, and display size.
  • the information processing apparatus according to 3).
  • the video control unit before starting projecting the second video, makes the difference between the characteristics of the first video and the characteristics of the second video within the predetermined range.
  • the information processing apparatus according to (3) or (4), wherein the image or the second image is controlled.
  • (6) The information processing apparatus according to (5), wherein one of the first video and the second video is a three-dimensional video.
  • the video control unit determines the depth of the one video before starting to project the second video.
  • the information processing apparatus according to (6), wherein the orientation position of the direction is matched with a surface on which an image is projected.
  • (8) The information processing apparatus according to any one of (5) to (7), wherein the video control unit matches characteristics of the first video with characteristics of the second video.
  • the information processing apparatus (9) The information processing apparatus according to (8), wherein the video control unit acquires a setting value of a characteristic of the first video from a control unit that controls display of the second video. (10) The information processing apparatus according to any one of (5) to (7), wherein the video control unit matches characteristics of the second video with characteristics of the first video. (11) The information processing apparatus according to (10), wherein the video control unit acquires a setting value of a characteristic of the second video from a control unit that controls display of the first video. (12) The information processing apparatus according to any one of (1) to (11), wherein the video control unit starts moving the projection position of the second video after starting the projection of the second video.
  • the video control unit when projecting the video of the second display device within the projection area of the video of the first display device, at least a part of the video characteristics of the second display device, The information processing apparatus according to any one of (1) to (12), wherein the information is set to a value different from an image of the first display device.
  • the video control unit causes the second display device to project a video related to the video of the first display device displayed in or near the projection area of the second display device. Thru
  • the information processing apparatus according to any one of (1) to (15), further including the first display device or the second display device.
  • the information processing apparatus according to any one of (1) to (16), wherein at least one of the first display device and the second display device is a drive projector.
  • An information processing method comprising: a video control step of starting display of the second video from the second display device when a relationship with a second video displayed in the field of view satisfies a predetermined condition.
  • a computer system comprising: a video control step of starting display of the second video from the second display device when a relationship with a second video displayed in the field of view satisfies a predetermined condition A program to make it run.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本技術は、ユーザの視野内において複数の表示装置の表示範囲を重ねて映像を表示することによる効果を高めることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御部を備える。本技術は、例えば、駆動型プロジェクタを用いたシステムに適用できる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、ユーザの視野内において複数の表示装置の表示範囲を重ねて映像を表示する場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
　従来、パン方向（水平方向）及びチルト方向（垂直方向）に回転可能な駆動部によりプロジェクタの向きを変えることにより投影方向が変えられる駆動型プロジェクタが提案されている（例えば、特許文献１参照）。
　例えば、投影方向が固定されている固定型プロジェクタにより投影された映像内に、駆動型プロジェクタにより映像を投影し、駆動型プロジェクタの映像を固定型プロジェクタの映像内で動かしたり、固定型プロジェクタの映像の外に移動させたりすることにより、豊かな映像表現を実現することができる。
特開２０１０－８６９２８号公報
　しかしながら、例えば、固定型プロジェクタと駆動型プロジェクタの投影領域が重なる部分において、一方のプロジェクタから他方のプロジェクタへ映像の表示を切り替える場合、切り替え前と後の映像の差が大きいと、ユーザに違和感や不快感を与えてしまう。その結果、２つのプロジェクタの投影領域を重ねて映像を表示することによる効果が低減してしまう。
　そこで、本技術は、ユーザの視野内において複数の表示装置の表示範囲を重ねて映像を表示することによる効果を高めるようにするものである。
　本技術の一側面の情報処理装置は、第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御部を備える。
　前記第１の表示装置及び前記第２の表示装置を、プロジェクタとし、前記映像制御部には、前記第１の表示装置から第１の領域に投影される映像の少なくとも一部である前記第１の映像と、前記第２の表示装置から前記第１の領域と少なくとも一部が重複する第２の領域に投影される前記第２の映像と、の関係が前記所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の投影を開始させる。
　前記所定の条件を、前記第１の映像の特性と前記第２の映像の特性の差が所定の範囲内であることにすることができる。
　前記第１の映像の特性及び前記第２の映像の特性には、投影位置、奥行き方向の定位位置、輝度、解像度、幾何補正値、フレームレート、色彩、表示サイズのうち少なくとも１つを含ませることができる。
　前記映像制御部には、前記第２の映像の投影を開始する前に、前記第１の映像の特性と前記第２の映像の特性との差が前記所定の範囲になるように、前記第１の映像又は前記第２の映像を制御させることができる。
　前記第１の映像と前記第２の映像のうち一方の映像を３次元の映像とすることができる。
　前記第１の映像と前記第２の映像のうち他方の映像が２次元の映像である場合、前記映像制御部には、前記第２の映像の投影を開始する前に、前記一方の映像の奥行き方向の定位位置を映像が投影される面に合わさせることができる。
　前記映像制御部には、前記第１の映像の特性を前記第２の映像の特性に合わさせることができる。
　前記映像制御部には、前記第１の映像の特性の設定値を前記第２の映像の表示を制御する制御部から取得させることができる。
　前記映像制御部には、前記第２の映像の特性を前記第１の映像の特性に合わさせることができる。
　前記映像制御部には、前記第２の映像の特性の設定値を前記第１の映像の表示を制御する制御部から取得させることができる。
　前記映像制御部には、前記第２の映像の投影を開始した後、前記第２の映像の投影位置の移動を開始させることができる。
　前記映像制御部には、前記第１の表示装置の映像の投影領域内に前記第２の表示装置の映像を投影する場合、前記第２の表示装置の映像の特性のうちの少なくとも一部を、前記第１の表示装置の映像と異なる値に設定させることができる。
　前記映像制御部には、前記第２の表示装置の映像の解像度と輝度のうち少なくとも一方を前記第１の表示装置の映像より高くさせることができる。
　前記映像制御部には、前記第２の表示装置の投影領域内又はその近傍に表示されている前記第１の表示装置の映像に関連する映像を前記第２の表示装置に投影させることができる。
　前記第１の表示装置又は前記第２の表示装置をさらに設けることができる。
　前記第１の表示装置又は前記第２の表示装置の少なくとも一方を駆動型プロジェクタとすることができる。
　本技術の一側面の情報処理方法は、第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御ステップを含む。
　本技術の一側面のプログラムは、第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御ステップを含む処理をコンピュータシステムに実行させる。
　本技術の一側面においては、第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示が開始される。
　本技術の一側面によれば、ユーザの視野内において複数の表示装置の表示範囲を重ねて映像を表示することによる効果を高めることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したＡＶシステムの一実施の形態を示すブロック図である。 駆動型プロジェクタシステムの構成例を示すブロック図である。 駆動型プロジェクタの外観の構成例を示す模式図である。 固定型プロジェクタシステムの構成例を示すブロック図である。 ＡＶシステムにより実行される空間マップ生成処理を説明するためのフローチャートである。 反射率の算出方法を説明するための図である。 固定投影領域と駆動投影領域の関係の例を示す図である。 固定映像と駆動映像の関係の第１の例を示す図である。 ＡＶシステムによりプラネタリウムを実現する場合の例を示す図である。 固定映像と駆動映像の関係の第２の例を示す図である。 固定投影領域内の映像を固定投影領域の外に移動させる方法を説明するための図である。 固定投影領域内で映像を切り替える場合の処理の第１の実施の形態を説明するためのフローチャートである。 映像の表示の切り替え方法を説明するための図である。 ３次元映像から２次元映像に切り替える方法を説明するための図である。 固定投影領域内で映像を切り替える場合の処理の第２の実施の形態を説明するためのフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
＜１．実施の形態＞
｛ＡＶシステム１０の構成例｝
　まず、図１を参照して、本技術を適用したＡＶ（Audio Visual）システム１０の構成例について説明する。
　ＡＶシステム１０は、駆動型プロジェクタシステム１１と固定型プロジェクタシステム１２により所定の空間（以下、表示空間と称する）に映像を投影するとともに、映像に伴う音を出力するシステムである。
　ＡＶシステム１０は、駆動型プロジェクタシステム１１、固定型プロジェクタシステム１２、及び、操作部１３を備える。
　駆動型プロジェクタシステム１１は、駆動型プロジェクタ３１、センサ部３２、及び、情報処理装置３３を備える。
　駆動型プロジェクタ３１は、映像の投影方向が可変であるプロジェクタである。映像の投影方向と連動させて出力音の出力方向も可変としてもよい。
　センサ部３２は、表示空間に関するデータを検出し、検出結果を情報処理装置３３に供給する。
　情報処理装置３３は、例えば、コンピュータ、或いは、ＣＰＵ等のプロセッサ及びメモリ等により構成される。情報処理装置３３は、駆動型プロジェクタ３１の制御を行う。また、情報処理装置３３は、固定型プロジェクタシステム１２の情報処理装置５２と連携して、駆動型プロジェクタ３１の映像と固定型プロジェクタ５１の映像の連携の制御を行う。
　固定型プロジェクタシステム１２は、固定型プロジェクタ５１及び情報処理装置５２を備える。
　固定型プロジェクタ５１は、映像の投影方向が固定されているプロジェクタである。すなわち、固定型プロジェクタ５１は、設置された方向に映像を投影することにより、表示空間内の所定の投影領域に映像を投影する。
　情報処理装置５２は、例えば、コンピュータ、或いは、ＣＰＵ等のプロセッサ及びメモリ等により構成される。情報処理装置５２は、固定型プロジェクタ５１の制御を行う。また、情報処理装置５２は、駆動型プロジェクタシステム１１の情報処理装置３３と連携して、固定型プロジェクタ５１の映像と駆動型プロジェクタ３１の映像の連携の制御を行う。
　操作部１３は、ポインティングデバイス７１を備える。
　ポインティングデバイス７１は、ユーザが所望の位置を指し示すための操作デバイスである。例えば、ポインティングデバイス７１は、赤外光を照射し、赤外光によりユーザの操作に応じた位置（ポインティング位置）を指し示す。
　なお、ポインティングデバイス７１を、専用のデバイスにより構成してもよいし、スマートフォンやリモートコントローラ等の他の用途にも利用可能な汎用のデバイスにより構成してもよい。
｛駆動型プロジェクタシステム１１の構成例｝
　図２は、駆動型プロジェクタシステム１１の具体的な構成例を示している。
　駆動型プロジェクタ３１は、反射型スピーカ１０１、プロジェクタ１０２、デプスセンサ１０３、及び、駆動部１０４を備えている。図３に示されるように、駆動型プロジェクタ３１においては、駆動部１０４の上にデプスセンサ１０３が設置され、デプスセンサ１０３の上にプロジェクタ１０２が設置され、プロジェクタ１０２の上に反射型スピーカ１０１が設置されている。
　反射型スピーカ１０１は、情報処理装置３３の制御の下に、表示空間内の所望の位置に出力音を当てて反射させることにより、反射位置に仮想音源を生成するスピーカである。ユーザは、仮想音源の位置から音が出力されているように感じる。反射型スピーカ１０１は、反射位置に仮想音源を生成することが可能なスピーカであれば、特に方式は問わない。例えば、反射型スピーカ１０１は、鋭い指向性を持つ超指向性スピーカにより構成される。
　なお、後述するように、反射型スピーカ１０１の出力音に対する反射音に基づいて、表示空間の空間マップを作成する場合、反射型スピーカ１０１から超音波の出力音を出力できるようにすることが望ましい。そのようなスピーカの例として、超音波からなる搬送波を所定の方式で変調した信号を出力する超音波スピーカ（パラメトリックスピーカ）等が挙げられる。
　なお、以下、反射型スピーカ１０１が、仮想音源に向けて出力音を出力し、仮想音源において出力音を反射させることを、単に仮想音源から音を出力させると表現する場合がある。
　プロジェクタ１０２は、情報処理装置３３の制御の下に、情報処理装置３３から供給される映像データに基づく映像を表示空間内の壁や物体等に投影する。なお、プロジェクタ１０２の方式は、特定の方式に限定されるものではなく、任意の方式を採用することが可能である。
　デプスセンサ１０３は、情報処理装置３３の制御の下に、例えば、赤外光を用いて、表示空間内の各位置の駆動型プロジェクタ３１（より正確には、デプスセンサ１０３）からの距離を示す距離画像を撮影し、撮影した距離画像を情報処理装置３３に供給する。なお、デプスセンサ１０３の方式には、ＴＯＦ（Time of Flight）方式、パターン照射方式、ステレオカメラ方式等の任意の方式を採用することができる。
　駆動部１０４は、情報処理装置３３の制御の下に、反射型スピーカ１０１の出力方向、プロジェクタ１０２の投影方向、及び、デプスセンサ１０３の撮影方向を制御する。駆動部１０４は、パンモータ１１１、チルトモータ１１２、及び、モータ制御部１１３を備えている。
　パンモータ１１１は、反射型スピーカ１０１、プロジェクタ１０２、及び、デプスセンサ１０３をパン方向（水平方向）に回転させるモータである。パンモータ１１１は、エンコーダを備えており、例えば、パンモータ１１１の回転速度及び回転位置の検出結果をモータ制御部１１３に供給する。
　チルトモータ１１２は、反射型スピーカ１０１、プロジェクタ１０２、及び、デプスセンサ１０３をチルト方向（垂直方向）に回転させるモータである。チルトモータ１１２は、エンコーダを備えており、例えば、チルトモータ１１２の回転速度及び回転位置の検出結果をモータ制御部１１３に供給する。
　モータ制御部１１３は、情報処理装置３３の制御の下に、パンモータ１１１及びチルトモータ１１２の回転を制御する。また、モータ制御部１１３は、駆動部１０４の制御情報を情報処理装置３３に供給する。駆動部１０４の制御情報は、例えば、パンモータ１１１及びチルトモータ１１２の回転速度及び回転位置を含む。
　なお、駆動部１０４を、例えば、ヨー方向（映像の投影方向の主軸周り）にも回転可能な構成としてもよい。また、駆動部１０４は、モータや車輪等の移動機構をさらに備えていてもよい。
　センサ部３２は、カメラ１３１、魚眼カメラ１３２、及び、マイクロフォン１３３を備える。
　カメラ１３１は、表示空間内を撮影し、撮影の結果得られた画像（以下、表示空間画像と称する）を情報処理装置３３に供給する。表示空間画像は、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等の検出に用いられる。
　魚眼カメラ１３２は、魚眼レンズを備えるカメラにより構成され、超広角の画像を撮影する。魚眼カメラ１３２は、撮影の結果得られた画像（以下、魚眼画像と称する）を情報処理装置３３に供給する。魚眼画像は、例えば、ポインティングデバイス７１から出射された赤外光の照射位置（ポインティング位置）の検出に用いられる。
　マイクロフォン１３３は、例えば、反射型スピーカ１０１からの出力音に対する反射音の検出に用いられる。マイクロフォン１３３は、検出した音を示す音声信号を情報処理装置３３に供給する。
　情報処理装置３３は、インタフェース（Ｉ／Ｆ）部１５１、ポインティング位置検出部１５２、ユーザ検出部１５３、マップ生成部１５４、記憶部１５５、移動量算出部１５６、入力部１５７、及び、制御部１５８を備える。
　Ｉ／Ｆ部１５１は、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部１５１は、情報処理装置５２、反射型スピーカ１０１、プロジェクタ１０２、デプスセンサ１０３、モータ制御部１１３、カメラ１３１、魚眼カメラ１３２、及び、マイクロフォン１３３との間でデータ等の送受信を行う。また、Ｉ／Ｆ部１５１は、受信したデータ等を情報処理装置３３の各部に供給したり、送信するデータ等を情報処理装置３３の各部から取得したりする。
　なお、Ｉ／Ｆ部１５１の通信方式には、有線又は無線の任意の方式を採用することができる。また、Ｉ／Ｆ部１５１の通信方式を、通信を行う対象毎に変えてもよい。さらに、Ｉ／Ｆ部１５１は、例えば、各通信対象と直接通信を行うようにしてもよいし、ネットワーク等を介して通信を行うようにしてもよい。
　ポインティング位置検出部１５２は、魚眼カメラ１３２により撮影された魚眼画像に基づいて、ポインティングデバイス７１によるポインティング位置の検出を行う。ポインティング位置検出部１５２は、検出結果を制御部１５８に供給する。
　なお、ポインティング位置検出部１５２の検出方法には、任意の方法を採用することができる。
　ユーザ検出部１５３は、カメラ１３１により撮影された表示空間画像に基づいて、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等を検出する。ユーザ検出部１５３は、検出結果を制御部１５８に供給する。
　なお、ユーザ検出部１５３の検出方法には、任意の方法を採用することができる。
　マップ生成部１５４は、Ｉ／Ｆ部１５１を介して、デプスセンサ１０３及びモータ制御部１１３を制御して、デプスセンサ１０３による表示空間内の距離画像の撮影を制御する。そして、マップ生成部１５４は、距離画像を用いて、表示空間内の空間認識を行い、表示空間内の物体や壁等の３次元形状を示す第１空間マップを生成する。第１空間マップは、例えば、３次元の点群マップからなり、表示空間内の各位置の駆動型プロジェクタ３１からの距離を示すデプス情報を含む。
　また、マップ生成部１５４は、Ｉ／Ｆ部１５１を介して、反射型スピーカ１０１及びモータ制御部１１３を制御して、反射型スピーカ１０１からの出力音の表示空間内の走査を制御する。そして、マップ生成部１５４は、表示空間内に出力音を走査したときにマイクロフォン１３３により検出された反射音の検出結果に基づいて、表示空間内の空間認識を行い、表示空間内の物体や壁等の３次元形状を示す第２空間マップを生成する。第２空間マップは、例えば、３次元の点群マップからなり、表示空間内の各位置の駆動型プロジェクタ３１からの距離を示すデプス情報、及び、各位置の反射特性（例えば、反射率、反射角等）を示す反射特性情報を含む。
　さらに、マップ生成部１５４は、第１空間マップと第２空間マップを統合した統合空間マップを生成する。統合空間マップは、例えば、表示空間内の各位置の駆動型プロジェクタ３１からの距離を示すデプス情報、各位置の反射特性を示す反射特性情報、及び、表示空間内の各位置の映像の表示の可否（映像の投影の可否）を示す表示特性情報を含む。また、統合空間マップは、例えば、表示空間に対して予め設定されている映像の表示位置を示す映像位置情報を含む。マップ生成部１５４は、生成した統合空間マップを記憶部１５５に記憶させたり、Ｉ／Ｆ部１５１を介して情報処理装置５２に供給したりする。
　さらに、マップ生成部１５４は、例えば、第１空間マップに基づいて、マイクロフォン１３３等の位置を検出する。マップ生成部１５４は、検出結果を制御部１５８に供給する。
　なお、例えば、カメラ１３１により撮影された表示空間画像に基づいて、マイクロフォン１３３等の位置を検出するようにしてもよい。
　移動量算出部１５６は、駆動部１０４の制御情報に基づいて、プロジェクタ１０２の投影領域の移動方向及び移動量を算出又は予測する。移動量算出部１５６は、投影領域の移動方向及び移動量の算出結果又は予測結果を制御部１５８に供給する。
　入力部１５７は、例えば、操作デバイス等により構成され、制御部１５８への指令やデータ（例えば、映像データ、音声データ）等の入力に用いられる。
　制御部１５８は、映像制御部１６１及び音響制御部１６２を備える。
　映像制御部１６１は、駆動型プロジェクタ３１による映像の表示を制御する。例えば、映像制御部１６１は、Ｉ／Ｆ部１５１を介してプロジェクタ１０２を制御して、表示する映像の内容及び表示タイミング等を制御する。また、映像制御部１６１は、例えば、プロジェクタ１０２の投影領域の移動方向及び移動量の算出結果又は予測結果に基づいて、表示映像範囲を制御する。ここで、表示映像範囲とは、表示空間内に表示するように設定されている映像のうち、投影領域内に表示する映像の範囲のことである。さらに、例えば、映像制御部１６１は、Ｉ／Ｆ部１５１を介して、情報処理装置５２と連携して、駆動型プロジェクタ３１の映像と固定型プロジェクタ５１の映像の連携の制御を行う。
　また、例えば、映像制御部１６１は、Ｉ／Ｆ部１５１を介してモータ制御部１１３を制御して、プロジェクタ１０２の映像の投影方向、及び、反射型スピーカ１０１の出力方向を制御することにより、映像の表示位置、及び、出力音の反射位置（すなわち、仮想音源の位置）を制御する。
　音響制御部１６２は、反射型スピーカ１０１による出力音の出力を制御する。例えば、音響制御部１６２は、Ｉ／Ｆ部１５１を介して反射型スピーカ１０１を制御して、出力音の内容、音量、及び、出力タイミング等を制御する。
　なお、以下、説明を分かりやすくするために、Ｉ／Ｆ部１５１の記載を適宜省略する。例えば、映像制御部１６１が、Ｉ／Ｆ部１５１を介してプロジェクタ１０２に映像データを供給する場合、単に、映像制御部１６１が、プロジェクタ１０２に映像データを供給すると記載する。
｛固定型プロジェクタシステム１２の構成例｝
　図４は、固定型プロジェクタシステム１２の具体的な構成例を示している。
　固定型プロジェクタ５１は、反射型スピーカ２０１及びプロジェクタ２０２を備える。
　反射型スピーカ２０１は、駆動型プロジェクタ３１の反射型スピーカ１０１と同様に、情報処理装置５２の制御の下に、表示空間内の所定の位置に出力音を当てて反射させることにより、反射位置に仮想音源を生成するスピーカである。反射型スピーカ１０１は、例えば、プロジェクタ２０２の投影領域内に出力音を当てて仮想音源を生成するように設定されている。
　プロジェクタ２０２は、情報処理装置５２の制御の下に、情報処理装置５２から供給される映像データに基づく映像を表示空間内の壁等に投影する。なお、プロジェクタ２０２の方式は、特定の方式に限定されるものではなく、任意の方式を採用することが可能である。
　情報処理装置５２は、インタフェース（Ｉ／Ｆ）部２２１、記憶部２２２、入力部２２３、及び、制御部２２４を備える。
　Ｉ／Ｆ部２２１は、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部２２１は、情報処理装置３３、反射型スピーカ２０１、及び、プロジェクタ２０２との間でデータ等の送受信を行う。また、Ｉ／Ｆ部２２１は、受信したデータ等を情報処理装置５２の各部に供給したり、送信するデータ等を情報処理装置５２の各部から取得したりする。
　なお、Ｉ／Ｆ部２２１の通信方式には、有線又は無線の任意の方式を採用することができる。また、Ｉ／Ｆ部２２１の通信方式を、通信を行う対象毎に変えてもよい。さらに、Ｉ／Ｆ部２２１は、例えば、各通信対象と直接通信を行うようにしてもよいし、ネットワーク等を介して通信を行うようにしてもよい。
　記憶部２２２は、例えば、情報処理装置３３から供給される統合空間マップ等を記憶する。
　入力部２２３は、例えば、操作デバイス等により構成され、制御部２２４への指令やデータ（例えば、映像データ、音声データ）等の入力に用いられる。
　制御部２２４は、映像制御部２３１及び音響制御部２３２を備える。
　映像制御部２３１は、プロジェクタ２０２による映像の表示を制御する。例えば、映像制御部２３１は、Ｉ／Ｆ部２２１を介してプロジェクタ２０２を制御して、表示する映像の内容及び表示タイミング等を制御する。また、例えば、映像制御部２３１は、Ｉ／Ｆ部２２１を介して、情報処理装置３３と通信を行い、固定型プロジェクタ５１の映像と駆動型プロジェクタ３１の映像の連携の制御を行う。
　音響制御部２３２は、反射型スピーカ２０１による出力音の出力を制御する。例えば、音響制御部２３２は、Ｉ／Ｆ部２２１を介して反射型スピーカ２０１を制御して、出力音の内容、音量、及び、出力タイミング等を制御する。
　なお、以下、説明を分かりやすくするために、Ｉ／Ｆ部２２１の記載を適宜省略する。例えば、映像制御部２３１が、Ｉ／Ｆ部２２１を介してプロジェクタ２０２に映像データを供給する場合、単に、映像制御部２３１が、プロジェクタ２０２に映像データを供給すると記載する。
｛ＡＶシステム１０の処理｝
　次に、図５乃至図１５を参照して、ＡＶシステム１０の処理について説明する。
（空間マップ生成処理）
　まず、図５のフローチャートを参照して、ＡＶシステム１０により実行される空間マップ生成処理について説明する。
　なお、この処理は、例えば、駆動型プロジェクタ３１が設置されたとき、又は、駆動型プロジェクタ３１の設置位置が移動したとき開始される。駆動型プロジェクタ３１の設置位置の移動は、例えば、カメラ１３１により撮影された表示空間画像に基づいて検出したり、或いは、駆動型プロジェクタ３１に加速度センサ、ジャイロセンサ等を設けることにより検出することができる。
　また、例えば、カメラ１３１により撮影された表示空間画像に基づいて、表示空間の状態が変化したときに、空間マップ生成処理を開始するようにしてもよい。表示空間の状態の変化としては、例えば、表示空間内の可動部の移動（例えば、ドア、窓、カーテン等の開閉）、表示空間内への人の出入り等が想定される。
　ステップＳ１において、ＡＶシステム１０は、表示空間内の測定を行う。具体的には、マップ生成部１５４は、モータ制御部１１３を制御して、駆動部１０４をパン方向及びチルト方向に回転させ、デプスセンサ１０３に表示空間内の全ての領域を走査させるとともに、反射型スピーカ１０１から出力される出力音（超音波信号）を表示空間内の全ての領域を走査させる。
　これにより、デプスセンサ１０３により表示空間内の全ての領域が撮影され、各領域のデプスセンサ１０３からの距離を示す距離画像が得られる。デプスセンサ１０３は、撮影した距離画像をマップ生成部１５４に供給する。また、表示空間内の全ての領域からの出力音に対する反射音がマイクロフォン１３３により検出される。マイクロフォン１３３は、検出結果を示す音声信号をマップ生成部１５４に供給する。
　ステップＳ２において、マップ生成部１５４は、空間マップを生成する。具体的には、マップ生成部１５４は、デプスセンサ１０３により撮影された距離画像に基づいて、第１空間マップを生成する。第１空間マップは、表示空間内の各位置の駆動型プロジェクタ３１からの距離を示すデプス情報を含む。
　なお、デプスセンサ１０３は、赤外光の反射を利用しているため、黒壁、コンクリート、ガラス等の赤外光の反射を利用できない領域のデプス情報が、第１空間マップにおいて欠落する。
　また、マップ生成部１５４は、第１空間マップに基づいて、表示空間内におけるマイクロフォン１３３等の位置を検出する。マップ生成部１５４は、検出結果を制御部１５８に供給する。
　さらに、マップ生成部１５４は、マイクロフォン１３３からの音声信号に基づいて、第２空間マップを生成する。具体的には、マップ生成部１５４は、出力音の出力方向、反射型スピーカ１０１及びマイクロフォン１３３の位置、並びに、出力音を出力してから反射音を受信するまでの時間に基づいて、反射型スピーカ１０１及びマイクロフォン１３３からの表示空間内の各位置までの距離を算出する。
　また、マップ生成部１５４は、反射音の音量に基づいて、表示空間内の各位置の反射率を算出する。例えば、図６に示されるように、反射型スピーカ１０１から出力された出力音が反射位置Ｐで反射され、その反射音をマイクロフォン１３３により検出した場合について説明する。なお、以下、反射型スピーカ１０１と反射位置Ｐの間の距離をＬ１とし、反射位置Ｐとマイクロフォン１３３の間の距離をＬ２とする。
　ここで、反射位置Ｐにおいて、出力音が減衰することなく全てマイクロフォン１３３の方向に反射されると仮定した場合（反射率１００％であると仮定した場合）、マイクロフォン１３３により検出される反射音の出力音に対する減衰量は、距離Ｌ１＋距離Ｌ２に基づいて推定することができる。以下、この場合の減衰量を基準減衰量と称する。
　一方、実際には、出力音は反射位置Ｐにおいて拡散又は吸収されるため、マイクロフォン１３３の方向に反射される反射音の音量は小さくなる。そこで、マップ生成部１５４は、マイクロフォン１３３により実際に検出される反射音の出力音に対する減衰量と、基準減衰量との比率により、反射位置Ｐの反射率を推定する。
　そして、マップ生成部１５４は、表示空間内の各位置の駆動型プロジェクタ３１からの距離を示すデプス情報、及び、表示空間内の各位置の反射率を示す反射特性情報を含む第２空間マップを生成する。
　なお、赤外光の反射が利用できず、第１空間マップにおいてデプス情報が欠落している領域であっても、出力音（超音波信号）の反射が利用できる領域であれば、その領域のデプス情報を得ることができる。
　ステップＳ３において、マップ生成部１５４は、空間マップを統合する。具体的には、マップ生成部１５４は、第１空間マップにおいてデプス情報が欠落している領域のデプス情報を、第２空間マップのデプス情報で補う。
　また、マップ生成部１５４は、表示空間内の各位置において映像の表示が可能であるか否かを示す表示特性情報を生成する。例えば、マップ生成部１５４は、第１空間マップにおいてデプス情報が得られている位置を、映像の表示が可能な位置であると判定する。一方、マップ生成部１５４は、第１空間マップにおいてデプス情報が欠落している位置の硬度や表面材質を、第２空間マップの反射特性情報に基づいて推定する。そして、マップ生成部１５４は、推定した硬度及び表面材質に基づいて、第１空間マップにおいてデプス情報が欠落している位置において映像の表示が可能であるか否かを判定する。これにより、例えば、黒壁、コンクリート、ガラス等の映像の投影が困難な位置が、映像の表示が困難な位置であると判定される。
　なお、マップ生成部１５４は、第１空間マップにおいてデプス情報が欠落している全ての位置を、映像の表示が困難な位置であると判定するようにしてもよい。
　さらに、マップ生成部１５４は、第２空間マップの表示空間内の各位置の反射特性情報を、そのまま統合空間マップの反射特性情報として用いる。
　このようにして、マップ生成部１５４は、表示空間内の各位置のデプス情報、表示特性情報、及び、反射特性情報を含む統合空間マップを生成する。
　また、マップ生成部１５４は、必要に応じて、表示空間に対して予め設定されている映像の表示位置を示す映像位置情報を統合空間マップに追加する。映像位置情報には、例えば、表示空間の各位置において表示するように設定されている映像の内容が示されている。なお、表示空間において表示される映像が動画である場合、例えば、映像位置情報には、各位置において表示するように設定されている映像の内容が時系列により示される。
　マップ生成部１５４は、生成した統合空間マップを記憶部１５５に記憶させる。また、マップ生成部１５４は、統合空間マップを情報処理装置５２に供給する。情報処理装置５２の記憶部２２２は、供給された統合空間マップを記憶する。
　その後、空間マップ生成処理は終了する。
　なお、例えば、空間マップの生成中に、空間マップを生成中である旨の情報を、画像や音声等により駆動型プロジェクタ３１から出力するようにしてもよい。
（表示制御処理）
　次に、図７乃至図１５を参照して、ＡＶシステム１０により実行される表示制御処理について説明する。なお、以下では、主に駆動型プロジェクタ３１の映像と固定型プロジェクタ５１の映像を連携させる場合の処理について説明する。
　また、以下、必要に応じて、固定型プロジェクタ５１の映像及び投影領域を固定映像及び固定投影領域と称し、駆動型プロジェクタ３１の映像及び投影領域を駆動映像及び駆動投影領域と称する。
　例えば、ＡＶシステム１０は、固定型プロジェクタ５１の投影領域（固定投影領域）を表示空間内の所定の位置に固定しつつ、駆動型プロジェクタ３１の投影領域（駆動投影領域）を表示空間内において自由に動かすことができる。
　例えば、図７に示されるように、ＡＶシステム１０は、固定投影領域Ｐａを表示空間内の所定の面に固定しておき、駆動投影領域Ｐｂを、固定投影領域Ｐａが設定されている面以外の面にも自由に動かすことができる。これにより、ＡＶシステム１０は、例えば、固定型プロジェクタ５１の固定映像によりユーザに特定方向の映像体験を高解像度及び高輝度で与えつつ、駆動型プロジェクタ３１の駆動映像により画角制限のない自由な映像表現を実現することができる。
　また、例えば、図８に示されるように、固定型プロジェクタ５１（のプロジェクタ２０２）を全方位型プロジェクタにより構成し、固定型プロジェクタ５１が、表示空間内の広い範囲に低解像度及び低輝度の固定映像Ｖａを投影する。一方、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、低解像度及び低輝度の固定映像Ｖａ内に、高解像度及び高輝度の駆動映像Ｖｂを投影する。これにより、ＡＶシステム１０は、例えば、固定映像Ｖａにより包囲感を出しつつ、駆動映像Ｖｂにより、固定映像Ｖａ内の所定の位置にユーザの注目を集めたり、固定映像Ｖａ内のコンテンツに関する情報を補ったりすることができる。
　例えば、図９に示されるように、ＡＶシステム１０によりプラネタリウムを実現する場合の例について説明する。例えば、固定型プロジェクタ５１は、映像制御部２３１の制御の下に、星空全体の固定映像Ｖａを表示空間内に低解像度及び低輝度で全天周表示する。一方、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、固定映像Ｖａ内において高解像度及び高輝度の駆動映像Ｖｂを移動する。例えば、駆動型プロジェクタ３１は、説明の対象となる星座を示す駆動映像Ｖｂを、固定映像Ｖａ内の当該星座に対応する位置に高解像度及び高輝度で表示する。これにより、ユーザを当該星座に注目させることができる。
　なお、この映像効果を固定型プロジェクタ５１のみにより実現しようとすると、全方位型プロジェクタであるプロジェクタ２０２を高解像度及び高輝度にする必要がある。従って、装置や設置工事等にかかるコストが上昇する。
　一方、駆動型プロジェクタ３１を用いることにより、全方位型プロジェクタであるプロジェクタ２０２の解像度及び輝度のスペックを落とすことができる。その結果、装置や設置工事等にかかるコストを削減することができる。
　なお、必ずしも駆動映像により、駆動映像が表示される領域内の固定映像の映像と同じ映像を高解像度及び高輝度で表示する必要はない。例えば、駆動型プロジェクタ３１の駆動投影領域内又はその近傍において固定映像により表示されている映像に関連する映像を駆動映像により表示するようにしてもよい。
　例えば、固定型プロジェクタ５１は、映像制御部２３１の制御の下に、世界地図の固定映像を表示空間内に低解像度及び低輝度で全天周表示する。一方、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、世界地図の固定映像において駆動投影領域内又はその近傍に表示されている国に関連する映像を駆動映像により高輝度及び高解像度で表示する。これにより、ユーザを世界地図内の当該国に注目させるとともに、当該国に関する詳細な情報をユーザに提供することができる。
　なお、以上の説明では、駆動映像を固定映像より高解像度及び高輝度に設定する例を示したが、駆動映像の解像度又は輝度の一方のみを固定映像より高く設定するようにしてもよい。また、例えば、固定映像と駆動映像の間で解像度及び輝度以外の特性（例えば、奥行き方向の定位位置、幾何補正値、フレームレート、色彩、表示サイズ等）を異なる値に設定するようにしてもよい。なお、固定映像と駆動映像の間で異なる値に設定する特性の種類は、実現したい映像効果等に応じて任意に設定することができる。
　また、ＡＶシステム１０は、図１０に示されるように、駆動投影領域Ｐｂを固定投影領域Ｐａ内から外に移動することにより、例えば、固定投影領域Ｐａ内の特定の映像が外に飛び出す効果を容易に実現することができる。
　ここで、図１１乃至図１５を参照して、駆動映像により固定投影領域内の特定の映像を固定投影領域の外に移動させる場合の実現方法の例について説明する。
　例えば、図１１を参照して、固定投影領域Ｐａ内の移動対象となる映像Ｖ１を駆動映像により固定投影領域Ｐａの外に移動する場合について説明する。
　まず、図１１のＡに示されるように、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、固定投影領域Ｐａ内の映像Ｖ１が表示されている領域に駆動投影領域Ｐｂを移動する。このとき、駆動型プロジェクタ３１は、映像を投影せず、駆動投影領域Ｐｂ内には何も表示しない。従って、固定映像により映像Ｖ１が表示される。
　その後、駆動投影領域Ｐｂが固定投影領域Ｐａ内に全て含まれている間、駆動型プロジェクタ３１は、映像を投影せず、駆動投影領域Ｐｂ内には何も表示しない。従って、固定映像により映像Ｖ１が表示され、固定投影領域Ｐａ内において、固定映像により映像Ｖ１の位置が移動する。
　次に、図１１のＢに示されるように、駆動投影領域Ｐｂの一部が固定投影領域Ｐａから出た場合、例えば、固定型プロジェクタ５１は、映像制御部２３１の制御の下に、映像Ｖ１のうち固定投影領域Ｐａ内の映像を、固定映像により表示する。一方、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、映像Ｖ１のうち固定投影領域Ｐａ外の映像を、駆動映像により表示する。
　次に、図１１のＣに示されるように、駆動投影領域Ｐｂが固定投影領域Ｐａの外に出た場合、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、駆動投影領域Ｐｂ内の映像Ｖ１を、駆動映像により表示する。
　このようにして、ＡＶシステム１０は、固定投影領域Ｐａ内の映像Ｖ１を固定投影領域Ｐａの外に移動させることができる。
　なお、図１１の例では、固定投影領域内において移動対象となる映像を固定映像により表示する例を示したが、固定投影領域内において、移動対象となる映像の表示を固定映像から駆動映像に切り替えるようにしてもよい。換言すれば、固定投影領域内において、移動対象となる映像の表示を固定型プロジェクタ５１から駆動型プロジェクタ３１に引き継ぐようにしてもよい。
　ここで、図１２のフローチャートを参照して、固定投影領域内で映像を切り替える場合の処理について説明する。なお、以下、切り替え前の映像を投影しているプロジェクタシステムを親プロジェクタと称し、切り替え後の映像を投影するプロジェクタシステムを子プロジェクタと称する。また、以下、固定型プロジェクタシステム１２が親プロジェクタであり、駆動型プロジェクタシステム１１が子プロジェクタである場合について説明する。
　なお、以下、図１３に示されるように、固定投影領域Ｐａ内の映像Ｖ２の表示を切り替えた後、映像Ｖ２を固定投影領域Ｐａの外に移動させる場合について説明する。
　ステップＳ１０１において、子プロジェクタは、投影領域を移動する。例えば、図１３のＡに示されるように、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、固定投影領域Ｐａ内の映像Ｖ２が表示されている領域Ｐｃに駆動投影領域Ｐｂを移動する。このとき、映像制御部１６１は、プロジェクタ１０２から映像を投影しないように制御する。これにより、領域Ｐｃ内において固定映像により映像Ｖ２が表示された状態が継続する。
　ステップＳ１０２において、子プロジェクタは、映像引継ぎ依頼コマンドを送信する。具体的には、駆動型プロジェクタシステム１１の映像制御部１６１は、映像引継ぎ依頼コマンドを生成し、固定型プロジェクタシステム１２の映像制御部２３１に送信する。
　映像引継ぎ依頼コマンドは、例えば、引継ぎ時の映像Ｖ２の特性の設定値を含む。この映像Ｖ２の特性には、例えば、映像の投影位置（空間座標、表示位置）、奥行き方向の定位位置、輝度、解像度、幾何補正値、フレームレート、色彩、表示サイズ等を含む。なお、奥行き方向の定位位置とは、映像Ｖ２が３次元映像である場合、３次元映像を投影する面（投影面）に対する奥行き方向の定位位置を示す。例えば、奥行き方向の定位位置の値は、３次元映像の定位位置が投影面に設定されている場合、０に設定され、定位位置が投影面より手前に設定されている場合、正の値に設定され、定位位置が投影面より後ろに設定されている場合、負の値に設定される。
　なお、駆動型プロジェクタ３１及び固定型プロジェクタ５１のうち少なくとも一方が３次元映像の表示に対応していない場合、例えば、映像Ｖ２の奥行き方向の定位位置の設定値は、０（すなわち、投影面）に設定される。
　また、映像制御部１６１は、映像引継ぎ依頼コマンドに示した特性で映像Ｖ２の表示を開始できるように、駆動型プロジェクタ３１の設定を行う。
　ステップＳ１２１において、親プロジェクタは、映像引継ぎ依頼コマンドを受信する。具体的には、固定型プロジェクタシステム１２の映像制御部２３１は、駆動型プロジェクタシステム１１の映像制御部１６１から送信された映像引継ぎ依頼コマンドを受信する。これにより、映像制御部２３１は、映像Ｖ２の特性の設定値を取得する。
　ステップＳ１２２において、親プロジェクタは、映像の特性を合わせる。具体的には、固定型プロジェクタシステム１２の映像制御部２３１は、プロジェクタ２０２から投影される映像Ｖ２の特性を、映像引継ぎ依頼コマンドに示される設定値に合わせる。すなわち、映像制御部２３１は、図１３のＢの固定投影領域Ｐａ内の映像Ｖ２の投影位置、奥行き方向の定位位置、輝度、解像度、幾何補正値、フレームレート、色彩、表示サイズ等を、映像引継ぎ依頼コマンドに示される設定値に設定する。これにより、固定型プロジェクタ５１による映像Ｖ２の特性が、駆動型プロジェクタ３１による映像Ｖ２の特性に合わせられる。
　このとき、例えば、映像引継ぎ依頼コマンドに示される特性に設定する対象を、映像Ｖ２のみに限定する場合と、その他の領域も含める場合（例えば、固定映像全体）とが考えられる。どちらにするかは、例えば、映像の内容や、ユーザに与えたい映像効果等により決定される。
　ステップＳ１２３において、親プロジェクタは、準備完了通知コマンドを送信する。具体的には、固定型プロジェクタシステム１２の映像制御部２３１は、準備完了通知コマンドを生成し、生成した準備完了通知コマンドを駆動型プロジェクタシステム１１の映像制御部１６１に送信する。
　ステップＳ１０３において、子プロジェクタは、準備完了通知コマンドを受信する。具体的には、駆動型プロジェクタシステム１１の映像制御部１６１は、固定型プロジェクタシステム１２の映像制御部２３１から送信された準備完了通知コマンドを受信する。
　ステップＳ１２４において、親プロジェクタは、子プロジェクタと同期して、映像を消す。一方、ステップＳ１０４において、子プロジェクタは、親プロジェクタと同期して、映像を表示する。
　具体的には、固定型プロジェクタ５１は、映像制御部２３１の制御の下に、固定投影領域Ｐａ内の映像Ｖ２を徐々に消す。一方、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、固定投影領域Ｐａ内の映像Ｖ２の消去に同期して、駆動投影領域Ｐｂ内への映像Ｖ２の投影を開始する。これにより、図１３のＣに示されるように、映像Ｖ２の表示が固定映像から駆動映像に切り替わる。
　このように、固定型プロジェクタ５１による映像Ｖ２と駆動型プロジェクタ３１による映像Ｖ２との関係が所定の条件を満たしたとき、固定型プロジェクタ５１による映像Ｖ２の投影が停止し、駆動型プロジェクタ３１による映像Ｖ２の投影が開始する。より具体的には、固定型プロジェクタ５１による映像Ｖ２の特性と駆動型プロジェクタ３１による映像Ｖ２の特性が合ったとき、固定型プロジェクタ５１による映像Ｖ２の投影が停止し、駆動型プロジェクタ３１による映像Ｖ２の投影が開始する。
　その後、親プロジェクタの映像切り替え時の処理は終了する。
　ステップＳ１０５において、子プロジェクタは、映像を移動する。具体的には、駆動型プロジェクタ３１は、映像制御部１６１の制御の下に、駆動投影領域Ｐｂの位置の移動を開始する。これにより、例えば、図１３のＤに示されるように、映像Ｖ２が固定映像領域Ｐａの外に移動する。
　その後、子プロジェクタの映像切り替え時の処理は終了する。
　例えば、親プロジェクタから子プロジェクタに映像の表示を切り替えるとき、両者の映像の特性が合っていないと、表示が切り替わったときに映像が急激に変化し、ユーザに違和感や不快感を与えてしまうおそれがある。
　例えば、図１４に模式的に示されるように、固定映像領域Ｐａ内で固定型プロジェクタ５１（親プロジェクタ）により表示されている３次元の映像（立体映像、Stereoscopy）Ｖ３を、駆動型プロジェクタ３１（子プロジェクタ）により２次元の映像Ｖ３に切り変えてから、固定映像領域Ｐａの外に移動する場合について説明する。
　この場合、映像Ｖ３の表示を固定映像から駆動映像に切り替えるときに、映像Ｖ３の奥行き方向の定位位置が、投影面の手前又は奥から投影面に急激に変化する場合がある。その結果、映像Ｖ３に対する輻輳角が急激に変化し、ユーザは、映像Ｖ３が手前から急に後ろに引っ込んだり、奥から急に前に飛び出したりするように感じる。これにより、ユーザの視覚に与える負荷が大きくなり、例えば、不快感を与えたり、映像酔いを引き起こしたりするおそれがある。
　一方、上述したように、親プロジェクタから子プロジェクタに映像の表示を切り替えるとき、両者の映像の特性を合わせることにより、ユーザに違和感や不快感を与えずに、ユーザに気付かれることなく、スムーズに映像の表示を切り替えることができる。その結果、親プロジェクタと子プロジェクタの投影領域を重ねて映像を表示することによる効果を高めることができる。
　例えば、固定型プロジェクタ５１が、３次元の映像Ｖ３の奥行き方向の定位位置を投影面に合わせてから、駆動型プロジェクタ３１が、２次元の映像Ｖ３の表示を開始する。その結果、ユーザに違和感や不快感を与えずに、ユーザに気付かれることなく、３次元の映像Ｖ３を２次元の映像Ｖ３に切り替えることができる。
　ここで、映像Ｖ３の奥行き方向の定位位置を投影面に合わせるとは、例えば、投影面において映像Ｖ３の両眼視差をなくすことである。また、両眼視差とは、例えば、映像Ｖ３に対応する左目用映像と右目用映像の見た目の差、又は、表示位置の差のことである。
　なお、これは、２次元の映像から３次元の映像に表示を切り替える場合も同様である。すなわち、ＡＶシステム１０は、切り替え後の３次元の映像の奥行き方向の定位位置を、投影前に投影面に合わせる。
　また、固定型プロジェクタ５１及び駆動型プロジェクタ３１の両方が映像Ｖ３を３次元表示する場合、切り替え時の映像Ｖ３の奥行き方向の定位位置は、必ずしも投影面に合わせる必要はなく、任意の奥行き方向の位置に合わせることが可能である。
　なお、以上の説明では、子プロジェクタが主導して映像の表示の切り替えを行う例を示したが、親プロジェクタが主導して映像の表示の切り替えを行うようにしてもよい。
　ここで、図１５のフローチャートを参照して、親プロジェクタが主導して映像の表示の切り替えを行う場合の処理について説明する。
　なお、以下、上述した図１３に示されるように、固定投影領域Ｐａ内の映像Ｖ２の表示を切り替えて、映像Ｖ２を固定投影領域Ｐａの外に移動させる場合について説明する。
　ステップＳ２０１において、親プロジェクタは、映像引継ぎ依頼コマンドを送信する。具体的には、固定型プロジェクタシステム１２の映像制御部２３１は、映像引継ぎ依頼コマンドを生成し、駆動型プロジェクタシステム１１の映像制御部１６１に送信する。映像引継ぎ依頼コマンドは、子プロジェクタが主導して映像の表示の切り替えを行う場合と同様に、引継ぎ時の映像Ｖ２の特性の設定値を含む。
　なお、映像制御部２３１は、例えば、現在の固定型プロジェクタ５１の映像Ｖ２の特性の設定値を、そのまま映像引継ぎ依頼コマンドに設定する。或いは、映像制御部２３１は、映像引継ぎ依頼コマンドの映像Ｖ２の特性の設定値の一部又は全部を、現在の固定型プロジェクタ５１の映像Ｖ２の特性の設定値と異なる値に設定する。後者の場合、映像制御部２３１は、固定型プロジェクタ５１により表示される映像Ｖ２の特性を、映像引継ぎ依頼コマンドに設定した設定値に設定する。
　ステップＳ２２１において、子プロジェクタは、映像引継ぎ依頼コマンドを受信する。具体的には、駆動型プロジェクタシステム１１の映像制御部１６１は、固定型プロジェクタシステム１２の映像制御部２３１から送信された映像引継ぎ依頼コマンドを受信する。これにより、映像制御部１６１は、映像Ｖ２の特性の設定値を取得する。
　ステップＳ２２２において、子プロジェクタは、図１２のステップＳ１０１の処理と同様に、投影領域を移動する。
　ステップＳ２２３において、子プロジェクタは、映像の特性を合わせる。具体的には、駆動型プロジェクタシステム１１の映像制御部１６１は、映像引継ぎ依頼コマンドに示される特性で映像Ｖ２の表示を開始できるように、駆動型プロジェクタ３１の設定を行う。これにより、駆動型プロジェクタ３１による映像Ｖ２の特性が、固定型プロジェクタ５１による映像Ｖ２の特性に合わせられる。
　ステップＳ２２４において、子プロジェクタは、準備完了通知コマンドを送信する。具体的には、駆動型プロジェクタシステム１１の映像制御部１６１は、準備完了通知コマンドを生成し、生成した準備完了通知コマンドを固定型プロジェクタシステム１２の映像制御部２３１に送信する。
　ステップＳ２０２において、親プロジェクタは、準備完了通知コマンドを受信する。具体的には、固定型プロジェクタシステム１２の映像制御部２３１は、駆動型プロジェクタシステム１１の映像制御部１６１から送信された準備完了通知コマンドを受信する。
　ステップＳ２０３において、親プロジェクタは、図１３のステップＳ１２４の処理と同様に、子プロジェクタと同期して、映像を消す。一方、ステップＳ２２５において、子プロジェクタは、図１３のステップＳ１０４の処理と同様に、親プロジェクタと同期して、映像を表示する。
　その後、親プロジェクタの映像切り替え時の処理は終了する。
　ステップＳ２２６において、子プロジェクタは、図１３のステップＳ１０５の処理と同様に、映像を移動する。
　その後、子プロジェクタの映像切り替え時の処理は終了する。
　なお、映像の表示の切り替え時に合わせる特性の数や種類は、上述した例に限定されるものではなく、必要に応じて変更することが可能である。例えば、上述した以外の特性を用いることも可能である。
　また、図１２のステップＳ１２２及び図１５のステップＳ２２３において、必ずしも親プロジェクタの映像の特性と子プロジェクタの映像の特性を正確に合わせる必要なく、例えば、ユーザに違和感や不快感を与えない範囲で、ある程度の差を容認するようにしてもよい。すなわち、ユーザに違和感や不快感を与えない範囲で、切り替え時の親プロジェクタの映像の特性と子プロジェクタの映像の特性の差を、０を中心とする所定の範囲内に設定するようにしてもよい。
　さらに、例えば、映像の切り替え時に特殊な効果を実現するために、親プロジェクタの映像と子プロジェクタの映像の特性にあえて差をつけるようにしてもよい。すなわち、切り替え時の親プロジェクタの特性と子プロジェクタの特性の差を、０でない所定の値を中心とする所定の範囲内に設定するようにしてもよい。
＜２．変形例＞
　以下、上述した本技術の実施の形態の変形例について説明する。
｛システムの構成例に関する変形例｝
　図１のＡＶシステム１０の構成例は、その一例であり、必要に応じて変更することが可能である。
　例えば、反射型スピーカ１０１を駆動型プロジェクタ３１と別に設け、プロジェクタ１０２と別に駆動できるようにしてもよい。これにより、仮想音源の位置をより柔軟に設定することが可能になる。同様に、例えば、反射型スピーカ２０１を固定型プロジェクタ５１と別に設け、プロジェクタ２０２と別に駆動できるようにしてもよい。
　また、例えば、情報処理装置３３の一部又は全部を駆動型プロジェクタ３１に設けたり、駆動型プロジェクタ３１の一部又は全部を情報処理装置３３に設けたりすることが可能である。同様に、例えば、情報処理装置５２の一部又は全部を固定型プロジェクタ５１に設けたり、固定型プロジェクタ５１の一部又は全部を情報処理装置５２に設けたりすることが可能である。
　また、例えば、情報処理装置３３と情報処理装置５２の機能の分担を変えたり、情報処理装置３３と情報処理装置５２を統合したりすることが可能である。また、例えば、情報処理装置３３と情報処理装置５２を統合したものの一部又は全部を、駆動型プロジェクタ３１又は固定型プロジェクタ５１に設けることも可能である。
　さらに、例えば、センサ部３２の一部又は全部を、駆動型プロジェクタ３１又は情報処理装置３３に設けることも可能である。
　また、例えば、固定型プロジェクタシステム１２の代わりに、もう１つ駆動型プロジェクタシステム１１を設けるようにしてもよい。
　さらに、本技術は、プロジェクタの数が３台以上の場合にも適用することができ、その場合、駆動型プロジェクタ及び固定型プロジェクタの数は、任意に設定することができる。
　また、図１２乃至図１５を参照して上述した映像の切り替え処理は、駆動型プロジェクタ３１の映像を固定型プロジェクタ５１の映像に切り替える場合にも適用することができる。
　さらに、上述した映像の切り替え処理は、駆動型プロジェクタの映像を他の駆動型プロジェクタの映像に切り替えたり、固定型プロジェクタの映像を他の固定型プロジェクタの映像に切り替えたりする場合にも適用できる。
　また、上述した映像の切り替え処理は、親プロジェクタの映像を全て子プロジェクタの映像に切り替える場合にも適用することができる。
　さらに、上述した映像の切り替え処理は、３台以上のプロジェクタを用いる場合にも適用することができる。すなわち、３台以上のプロジェクタを用いる場合も、映像の切り替えは２台のプロジェクタ間で行われるため、上述した技術を適用することができる。
　また、以上の説明では、表示装置としてプロジェクタを用いる例を示したが、本技術は、プロジェクタ以外の表示装置を用いる場合にも適用することができる。例えば、通常のディスプレイ（例えば、液晶ディスプレイ、有機ＥＬディスプレイ等）、ＡＲ（Augmented Reality）用の表示装置（例えば、ヘッドマウントディスプレイ（ＨＭＤ）等）等を用いる場合にも、本技術を適用することができる。
　また、表示装置の組み合わせは、必ずしも同じ種類に限定されるものではない。例えば、ユーザの視野内において両者の表示範囲を重ねて映像を表示することが可能な表示装置の組み合わせであればよい。換言すれば、両者が表示する映像に対する各視野の少なくとも一部を重ねることが可能な表示装置の組み合わせであればよい。また、重ね合わせる映像の組み合わせは、プロジェクタや通常のディスプレイ等による実世界の映像同士でもよいし、ＡＲ用の表示装置による仮想映像同士でもよいし、実世界の映像と仮想映像の組み合わせでもよい。
　例えば、プロジェクタとＨＭＤを組み合わせることができる。例えば、プロジェクタとＨＭＤを組み合わせるケースとして、プロジェクタが投影した映像内を、ＨＭＤを装着したユーザが見る場合が想定される。この場合、例えば、プロジェクタの映像内でＨＭＤの映像を動かしたり、プロジェクタの映像の内外にＨＭＤの映像を動かしたりすることができる。また、例えば、ＨＭＤを装着したユーザの視野内においてプロジェクタにより映像を投影する場合が想定される。この場合、例えば、ＨＭＤの映像内でプロジェクタの映像を動かしたり、ＨＭＤの映像の内外にプロジェクタの映像を動かしたりすることができる。さらに、例えば、プロジェクタが投影した映像の画角の外の映像を、ＨＭＤで補う場合が想定される。この場合、ＨＭＤの映像内にプロジェクタの映像が表示される。
　また、例えば、通常のディスプレイとＨＭＤを組み合わせることができる。例えば、通常のディスプレイとＨＭＤを組み合わせるケースとして、通常のディスプレイが表示する映像内を、ＨＭＤを装着したユーザが見る場合が想定される。この場合、例えば、通常のディスプレイの映像内でＨＭＤの映像を動かしたり、通常のディスプレイの映像の内外にＨＭＤの映像を動かしたりすることができる。また、通常のディスプレイにより表示される映像の画角の外の映像を、ＨＭＤで補う場合が想定される。この場合、ＨＭＤの映像内に通常のディスプレイの映像が表示される。
　さらに、例えば、通常のディスプレイとプロジェクタを組み合わせることができる。例えば、通常のディスプレイとプロジェクタを組み合わせるケースとして、通常のディスプレイの画面内にプロジェクタにより映像を投影する場合が想定される。この場合、例えば、通常のディスプレイの映像内でプロジェクタの映像を動かしたり、通常のディスプレイの映像の内外にプロジェクタの映像を動かしたりすることができる。また、例えば、通常のディスプレイが埋め込まれた投影面にプロジェクタにより映像を投影する場合が想定される。この場合、プロジェクタの映像内に通常のディスプレイの映像が表示される。
　なお、図７乃至図１５を参照して上述した表示制御処理は、表示装置の組み合わせに関わらず、上述した方法と同様の方法により実現することができる。これにより、ユーザの視野内において複数の表示装置の表示範囲を重ねて映像を表示することによる効果を高めることができる。
　例えば、映像の切り替え処理について、切り替え前の映像を表示している表示装置を親表示装置とし、切り替え後の映像を表示する表示装置を子表示装置とした場合、親表示装置による映像と子表示装置による映像との関係が所定の条件を満たしたとき、親表示装置による映像の表示を停止し、子表示装置による映像の表示を開始するようにすればよい。より具体的には、親表示装置から第１の視野に表示される映像の特性と、子表示装置から第１の視野と少なくとも一部が重複する第２の視野に表示される映像の特性との差が所定の範囲内になったとき、親表示装置による映像の表示を停止し、子表示装置による映像の表示を開始するようにすればよい。
　さらに、映像だけでなく、音の切り替えを行うようにしてもよい。例えば、駆動型プロジェクタ３１の反射型スピーカ１０１と、固定型プロジェクタ５１の反射型スピーカ２０１との間で音の切り替えを行うようにしてもよい。例えば、両者の音の特性の差が所定の範囲内になったとき、出力中の反射型スピーカからの音の出力を停止し、他方の反射型スピーカからの音の出力を開始するようにすればよい。
　切り替え条件として使用する音の特性としては、例えば、反射位置、奥行き方向の定位位置、音量、音のタイミング、周波数帯域、音程、ピッチ等が挙げられる。また、切り替え条件として使用する音の特性の種類や組み合わせは、任意に設定することができる。
　なお、反射型スピーカ同士の音の切り替えだけでなく、反射型スピーカと通常のスピーカの間で音の切り替えを行ったり、通常のスピーカ同士で音の切り替えを行ったりすることも可能である。
　また、音の切り替えは、必要に応じて、映像の切り替えと同期して行うようにしてもよいし、映像の切り替えと同期せずに独立して行うようにしてもよい。
　また、以上の説明では、プロジェクタ１０２の向きを変えることにより、投影領域を移動させる例を示したが、例えば、プロジェクタ１０２から投影される映像をミラー等の反射体で反射し、反射体の向きを変えることにより、投影領域を移動させるようにしてもよい。
　同様に、以上の説明では、反射型スピーカ１０１の向きを変えることにより、仮想音源の位置を移動させる例を示したが、例えば、反射型スピーカ１０１から出力される出力音をミラー等の反射体で反射し、反射体の向きを変えることにより、仮想音源の位置を移動させるようにしてもよい。
　さらに、例えば、デプスセンサ１０３以外のセンサを用いて、表示空間内のデプス情報を取得するようにしてもよい。
｛空間マップに関する変形例｝
　空間マップに含まれる情報は、上述した例に限定されるものではなく、必要に応じて変更することが可能である。例えば、カメラ１３１等により取得した情報に基づいて、表示空間の各位置の色情報やテクスチャ情報等を空間マップに含めるようにしてもよい。
　また、空間マップは、必ずしも表示空間内全ての領域の情報を含む必要はなく、少なくとも映像を投影する対象となる投影対象領域の情報を含んでいればよい。
　さらに、以上の説明では、第１空間マップと第２空間マップを統合した統合空間マップを生成し、用いる例を示したが、いずれか一方のみを生成し、用いることも可能である。
　また、空間マップの一部又は全部の情報を外部から情報処理装置３３に与えるようにしてもよい。
｛その他の変形例｝
　本技術を適用する映像の種類は特に限定されるものではなく、例えば、動画、静止画、２次元映像、３次元映像等が対象となる。
｛コンピュータの構成例｝
　上述した情報処理装置３３及び情報処理装置５２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、複数のコンピュータが連携して上述した処理を行うようにしてもよい。そして、上述した処理を行う単数又は複数のコンピュータにより、コンピュータシステムが構成される。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、例えば、本技術は以下のような構成も取ることができる。
（１）
　第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御部を
　備える情報処理装置。
（２）
　前記第１の表示装置及び前記第２の表示装置は、プロジェクタであり、
　前記映像制御部は、前記第１の表示装置から第１の領域に投影される映像の少なくとも一部である前記第１の映像と、前記第２の表示装置から前記第１の領域と少なくとも一部が重複する第２の領域に投影される前記第２の映像と、の関係が前記所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の投影を開始させる
　前記（１）に記載の情報処理装置。
（３）
　前記所定の条件は、前記第１の映像の特性と前記第２の映像の特性の差が所定の範囲内であることである
　前記（２）に記載の情報処理装置。
（４）
　前記第１の映像の特性及び前記第２の映像の特性は、投影位置、奥行き方向の定位位置、輝度、解像度、幾何補正値、フレームレート、色彩、表示サイズのうち少なくとも１つを含む
　前記（３）に記載の情報処理装置。
（５）
　前記映像制御部は、前記第２の映像の投影を開始する前に、前記第１の映像の特性と前記第２の映像の特性との差が前記所定の範囲になるように、前記第１の映像又は前記第２の映像を制御する
　前記（３）又は（４）に記載の情報処理装置。
（６）
　前記第１の映像と前記第２の映像のうち一方の映像が３次元の映像である
　前記（５）に記載の情報処理装置。
（７）
　前記第１の映像と前記第２の映像のうち他方の映像が２次元の映像である場合、前記映像制御部は、前記第２の映像の投影を開始する前に、前記一方の映像の奥行き方向の定位位置を映像が投影される面に合わせる
　前記（６）に記載の情報処理装置。
（８）
　前記映像制御部は、前記第１の映像の特性を前記第２の映像の特性に合わせる
　前記（５）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記映像制御部は、前記第１の映像の特性の設定値を前記第２の映像の表示を制御する制御部から取得する
　前記（８）に記載の情報処理装置。
（１０）
　前記映像制御部は、前記第２の映像の特性を前記第１の映像の特性に合わせる
　前記（５）乃至（７）のいずれかに記載の情報処理装置。
（１１）
　前記映像制御部は、前記第２の映像の特性の設定値を前記第１の映像の表示を制御する制御部から取得する
　前記（１０）に記載の情報処理装置。
（１２）
　前記映像制御部は、前記第２の映像の投影を開始した後、前記第２の映像の投影位置の移動を開始する
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記映像制御部は、前記第１の表示装置の映像の投影領域内に前記第２の表示装置の映像を投影する場合、前記第２の表示装置の映像の特性のうちの少なくとも一部を、前記第１の表示装置の映像と異なる値に設定する
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記映像制御部は、前記第２の表示装置の映像の解像度と輝度のうち少なくとも一方を前記第１の表示装置の映像より高くする
　前記（１３）に記載の情報処理装置。
（１５）
　前記映像制御部は、前記第２の表示装置の投影領域内又はその近傍に表示されている前記第１の表示装置の映像に関連する映像を前記第２の表示装置に投影させる
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記第１の表示装置又は前記第２の表示装置を
　さらに備える前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記第１の表示装置又は前記第２の表示装置の少なくとも一方が駆動型プロジェクタである
　前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御ステップを
　含む情報処理方法。
（１９）
　第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御ステップを
　含む処理をコンピュータシステムに実行させるためのプログラム。
　１０　ＡＶシステム，　１１　駆動型プロジェクタシステム，　１２　固定型プロジェクタシステム，　３１　駆動型プロジェクタ，　３２　センサ部，　３３　情報処理装置，　５１　固定型プロジェクタ，　５２　情報処理装置，　７１　ポインティングデバイス，　１０１　反射型スピーカ，　１０２　プロジェクタ，　１０３　デプスセンサ，　１０４　駆動部，　１１１　パンモータ，　１１２　チルトモータ，　１１３　モータ制御部，　１３１　カメラ，　１３２　魚眼カメラ，　１３３　マイクロフォン，　１５２　ポインティング位置検出部，　１５３　ユーザ検出部，　１５４　マップ生成部，　１５６　移動量算出部，　１５８　制御部，　１６１　映像制御部，　１６２　音響制御部，　２０１　反射型スピーカ，　２０２　プロジェクタ，　２２４　制御部，　２３１　映像制御部，　２３２　音響制御部

Claims (19)

  1. 　第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御部を
    　備える情報処理装置。
  2. 　前記第１の表示装置及び前記第２の表示装置は、プロジェクタであり、
    　前記映像制御部は、前記第１の表示装置から第１の領域に投影される映像の少なくとも一部である前記第１の映像と、前記第２の表示装置から前記第１の領域と少なくとも一部が重複する第２の領域に投影される前記第２の映像と、の関係が前記所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の投影を開始させる
    　請求項１に記載の情報処理装置。
  3. 　前記所定の条件は、前記第１の映像の特性と前記第２の映像の特性の差が所定の範囲内であることである
    　請求項２に記載の情報処理装置。
  4. 　前記第１の映像の特性及び前記第２の映像の特性は、投影位置、奥行き方向の定位位置、輝度、解像度、幾何補正値、フレームレート、色彩、表示サイズのうち少なくとも１つを含む
    　請求項３に記載の情報処理装置。
  5. 　前記映像制御部は、前記第２の映像の投影を開始する前に、前記第１の映像の特性と前記第２の映像の特性との差が前記所定の範囲になるように、前記第１の映像又は前記第２の映像を制御する
    　請求項３に記載の情報処理装置。
  6. 　前記第１の映像と前記第２の映像のうち一方の映像が３次元の映像である
    　請求項５に記載の情報処理装置。
  7. 　前記第１の映像と前記第２の映像のうち他方の映像が２次元の映像である場合、前記映像制御部は、前記第２の映像の投影を開始する前に、前記一方の映像の奥行き方向の定位位置を映像が投影される面に合わせる
    　請求項６に記載の情報処理装置。
  8. 　前記映像制御部は、前記第１の映像の特性を前記第２の映像の特性に合わせる
    　請求項５に記載の情報処理装置。
  9. 　前記映像制御部は、前記第１の映像の特性の設定値を前記第２の映像の表示を制御する制御部から取得する
    　請求項８に記載の情報処理装置。
  10. 　前記映像制御部は、前記第２の映像の特性を前記第１の映像の特性に合わせる
    　請求項５に記載の情報処理装置。
  11. 　前記映像制御部は、前記第２の映像の特性の設定値を前記第１の映像の表示を制御する制御部から取得する
    　請求項１０に記載の情報処理装置。
  12. 　前記映像制御部は、前記第２の映像の投影を開始した後、前記第２の映像の投影位置の移動を開始する
    　請求項１に記載の情報処理装置。
  13. 　前記映像制御部は、前記第１の表示装置の映像の投影領域内に前記第２の表示装置の映像を投影する場合、前記第２の表示装置の映像の特性のうちの少なくとも一部を、前記第１の表示装置の映像と異なる値に設定する
    　請求項１に記載の情報処理装置。
  14. 　前記映像制御部は、前記第２の表示装置の映像の解像度と輝度のうち少なくとも一方を前記第１の表示装置の映像より高くする
    　請求項１３に記載の情報処理装置。
  15. 　前記映像制御部は、前記第２の表示装置の投影領域内又はその近傍に表示されている前記第１の表示装置の映像に関連する映像を前記第２の表示装置に投影させる
    　請求項１に記載の情報処理装置。
  16. 　前記第１の表示装置又は前記第２の表示装置を
    　さらに備える請求項１に記載の情報処理装置。
  17. 　前記第１の表示装置又は前記第２の表示装置の少なくとも一方が駆動型プロジェクタである
    　請求項１に記載の情報処理装置。
  18. 　第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御ステップを
    　含む情報処理方法。
  19. 　第１の表示装置から第１の視野に表示される第１の映像と、前記第１の表示装置とは別の第２の表示装置から、前記第１の視野と少なくとも一部重複する第２の視野に表示される第２の映像と、の関係が所定の条件を満たしたとき、前記第２の表示装置からの前記第２の映像の表示を開始させる映像制御ステップを
    　含む処理をコンピュータシステムに実行させるためのプログラム。
PCT/JP2017/006991 2016-03-10 2017-02-24 情報処理装置、情報処理方法、及び、プログラム WO2017154609A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/068,984 US11269250B2 (en) 2016-03-10 2017-02-24 Information processing apparatus, information processing method, and program
CN201780014918.3A CN108701440B (zh) 2016-03-10 2017-02-24 信息处理设备、信息处理方法和程序
JP2018504367A JPWO2017154609A1 (ja) 2016-03-10 2017-02-24 情報処理装置、情報処理方法、及び、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016047656 2016-03-10
JP2016-047656 2016-03-10

Publications (1)

Publication Number Publication Date
WO2017154609A1 true WO2017154609A1 (ja) 2017-09-14

Family

ID=59789465

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006991 WO2017154609A1 (ja) 2016-03-10 2017-02-24 情報処理装置、情報処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US11269250B2 (ja)
JP (1) JPWO2017154609A1 (ja)
CN (1) CN108701440B (ja)
WO (1) WO2017154609A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019211936A1 (ja) 2018-05-01 2019-11-07 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2021235106A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
WO2021256423A1 (ja) * 2020-06-18 2021-12-23 パナソニックＩｐマネジメント株式会社 映像投射方法および映像投射システム
US11698578B2 (en) 2018-03-16 2023-07-11 Sony Corporation Information processing apparatus, information processing method, and recording medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06303626A (ja) * 1993-04-14 1994-10-28 Sony Corp ビデオプロジェクター装置
JPH09138368A (ja) * 1995-11-14 1997-05-27 Chiyoda Corp 合成映像表示システム
JPH10301202A (ja) * 1997-02-28 1998-11-13 R D S Kk マルチプロジェクションシステム
JP2008009299A (ja) * 2006-06-30 2008-01-17 Olympus Corp 画像処理装置及びマルチプロジェクションシステム
JP2015119339A (ja) * 2013-12-18 2015-06-25 キヤノン株式会社 情報処理装置、情報処理装置の制御装置、情報処理システム、情報処理方法及びプログラム
JP2016025396A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 投影装置及びその制御方法、情報処理装置及びその制御方法、コンピュータプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1127608A (ja) 1997-07-01 1999-01-29 Canon Inc ディスプレイシステム
CN1392434A (zh) * 2001-08-31 2003-01-22 陈定万 平面动态图象投影的立体转换装置
JP5308765B2 (ja) 2008-10-03 2013-10-09 パナソニック株式会社 照明装置
JP5444963B2 (ja) * 2008-11-26 2014-03-19 セイコーエプソン株式会社 プロジェクタ
US8045006B2 (en) * 2009-07-10 2011-10-25 Seiko Epson Corporation Method and apparatus for determining the best blending of overlapped portions of projected images
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2011070086A (ja) * 2009-09-28 2011-04-07 Seiko Epson Corp プロジェクター、プロジェクションシステム、プロジェクションシステムの制御方法
JP5440250B2 (ja) 2010-02-26 2014-03-12 セイコーエプソン株式会社 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP2011203286A (ja) 2010-03-24 2011-10-13 Seiko Epson Corp プロジェクター
JP2011217307A (ja) 2010-04-02 2011-10-27 Seiko Epson Corp 監視画像表示制御装置及び監視システム
GB2499635B (en) * 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
JP6149394B2 (ja) 2012-03-21 2017-06-21 セイコーエプソン株式会社 プロジェクター、及びプロジェクターシステム
US9035969B2 (en) 2012-11-29 2015-05-19 Seiko Epson Corporation Method for multiple projector display using a GPU frame buffer
KR101515368B1 (ko) * 2013-08-26 2015-04-27 씨제이씨지브이 주식회사 투사 장치 클러스터링 방법, 이를 이용한 관리 장치 및 관리 시스템
CN103533276B (zh) 2013-10-21 2017-01-18 北京理工大学 一种平面多投影快速拼接方法
JP2015103880A (ja) 2013-11-21 2015-06-04 株式会社リコー マルチプロジェクションシステム、およびマルチプロジェクションシステムの制御方法
KR101583289B1 (ko) 2013-12-09 2016-01-07 씨제이씨지브이 주식회사 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치
JP2017198742A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 投影装置及びその制御方法、投影システム
US9930307B1 (en) * 2016-09-28 2018-03-27 Intel Corporation Projector image alignment
US10298893B2 (en) * 2016-11-11 2019-05-21 Christie Digital Systems Usa, Inc. System and method for digital black level blending
US20180139423A1 (en) * 2016-11-11 2018-05-17 Christie Digital Systems Usa, Inc. System and method for digital black level blending

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06303626A (ja) * 1993-04-14 1994-10-28 Sony Corp ビデオプロジェクター装置
JPH09138368A (ja) * 1995-11-14 1997-05-27 Chiyoda Corp 合成映像表示システム
JPH10301202A (ja) * 1997-02-28 1998-11-13 R D S Kk マルチプロジェクションシステム
JP2008009299A (ja) * 2006-06-30 2008-01-17 Olympus Corp 画像処理装置及びマルチプロジェクションシステム
JP2015119339A (ja) * 2013-12-18 2015-06-25 キヤノン株式会社 情報処理装置、情報処理装置の制御装置、情報処理システム、情報処理方法及びプログラム
JP2016025396A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 投影装置及びその制御方法、情報処理装置及びその制御方法、コンピュータプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11698578B2 (en) 2018-03-16 2023-07-11 Sony Corporation Information processing apparatus, information processing method, and recording medium
WO2019211936A1 (ja) 2018-05-01 2019-11-07 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2021235106A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
WO2021256423A1 (ja) * 2020-06-18 2021-12-23 パナソニックＩｐマネジメント株式会社 映像投射方法および映像投射システム

Also Published As

Publication number Publication date
US11269250B2 (en) 2022-03-08
US20200393750A1 (en) 2020-12-17
CN108701440B (zh) 2021-10-15
CN108701440A (zh) 2018-10-23
JPWO2017154609A1 (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
WO2017154610A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US8199186B2 (en) Three-dimensional (3D) imaging based on motionparallax
EP3350653B1 (en) General spherical capture methods
EP3360029B1 (en) Methods and systems of automatic calibration for dynamic display configurations
KR101057617B1 (ko) 3차원 디스플레이 시스템
CN103576160B (zh) 距离检测设备和包括其的图像处理装置
US20130207962A1 (en) User interactive kiosk with three-dimensional display
WO2017154609A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2016116162A (ja) 映像表示装置、映像表示システム、及び映像表示方法
EP3422149A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
JP6101944B2 (ja) 投影装置
JP2010153983A (ja) 投影型映像表示装置および該方法
JP7052719B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN112673276A (zh) 超声波传感器
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
JP5478357B2 (ja) 表示装置および表示方法
JP6167308B2 (ja) 投影装置
US11054656B2 (en) Auto-stereo imaging for viewing in a vehicle
JP2015088942A (ja) 画像表示システム、画像表示方法及びプログラム
KR101860680B1 (ko) 3d 증강 프리젠테이션 구현 방법 및 장치
JP6601392B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP2020020986A (ja) プロジェクター、投射システム、及び、投射方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018504367

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17762949

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17762949

Country of ref document: EP

Kind code of ref document: A1