WO2017154610A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2017154610A1
WO2017154610A1 PCT/JP2017/006992 JP2017006992W WO2017154610A1 WO 2017154610 A1 WO2017154610 A1 WO 2017154610A1 JP 2017006992 W JP2017006992 W JP 2017006992W WO 2017154610 A1 WO2017154610 A1 WO 2017154610A1
Authority
WO
WIPO (PCT)
Prior art keywords
control unit
information processing
video
output
output sound
Prior art date
Application number
PCT/JP2017/006992
Other languages
English (en)
French (fr)
Inventor
健太郎 井田
拓也 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17762950.8A priority Critical patent/EP3429226A4/en
Priority to CN201780014902.2A priority patent/CN108781327B/zh
Priority to DE112017001190.6T priority patent/DE112017001190T5/de
Priority to US16/069,366 priority patent/US10656899B2/en
Publication of WO2017154610A1 publication Critical patent/WO2017154610A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/34—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H7/00—Measuring reverberation time ; room acoustic measurements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/28—Sound-focusing or directing, e.g. scanning using reflection, e.g. parabolic reflectors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/35—Sound-focusing or directing, e.g. scanning using mechanical steering of transducers or their beams
    • G10K11/352—Sound-focusing or directing, e.g. scanning using mechanical steering of transducers or their beams by moving the transducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/026—Supports for loudspeaker casings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2217/00—Details of magnetostrictive, piezoelectric, or electrostrictive transducers covered by H04R15/00 or H04R17/00 but not provided for in any of their subgroups
    • H04R2217/03—Parametric transducers where sound is generated or captured by the acoustic demodulation of amplitude modulated ultrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly, to an information processing device, an information processing method, and a program that are suitable for output control of a reflective speaker.
  • a reflection type speaker in which a virtual sound source is generated at a reflection position by reflecting an output sound from a speaker against a wall or the like so that the sound is output from the virtual sound source (for example, , See Patent Document 1).
  • a super-directional speaker having a sharp directivity such as an ultrasonic speaker (parametric speaker) is used.
  • the reflective speaker can freely set the position of the virtual sound source (reflection position), but the volume becomes too low due to, for example, the distance to the virtual sound source or the material of the reflection position, or the position of the virtual sound source is displayed on the video. There is a risk that a sense of incongruity may occur due to being too far from the position.
  • the present technology is to improve the satisfaction with the sound of the reflective speaker.
  • An information processing apparatus includes an acoustic control unit that controls output of the output sound based on a reflection position of the output sound from the reflective speaker.
  • the acoustic control unit can control the output of the output sound based on at least one of a distance from the reflection type speaker to the reflection position and a distance from the reflection position to the user.
  • the acoustic control unit can control the output of the output sound based on the reflection characteristics of the reflection position.
  • the reflection type speaker outputs the output sound of the ultrasonic wave, makes the output direction of the output sound variable, scans the output sound in a space where the reflection type speaker reflects the output sound, and reflects it.
  • a map generation unit that generates a spatial map including the reflection characteristics in the space based on the sound detection result may be further provided.
  • the map generation unit can generate the space map including the three-dimensional shape of the space based on the detection result of the reflected sound.
  • the output direction of the output sound can be varied by the reflection type speaker, and the reflection position can be controlled by the acoustic control unit according to the output direction of the output sound from the reflection type speaker.
  • the acoustic control unit can control the reflection position based on a display position of an image corresponding to the output sound.
  • the acoustic control unit can control the reflection position based on a reflection characteristic in a space where the reflection type speaker reflects the output sound.
  • the acoustic control unit can control the reflection position based on at least one of a pointing position that is a position designated by the user and a direction of the user's line of sight.
  • the sound control unit can output the output sound corresponding to the video from the reflective speaker toward the reflective position.
  • a video control unit that controls video display based on the pointing position is further provided, and when the video to be displayed at the pointing position is present in the video control unit, the video is displayed at the pointing position. it can.
  • the acoustic control unit can output the output sound corresponding to the image from the reflective speaker toward the reflection position.
  • a video control unit that controls display of video based on the direction of the user's line of sight is further provided, and when the video to be displayed in the direction of the user's line of sight exists in the video control unit, the video is Can be displayed in the direction of the line of sight.
  • the acoustic control unit can control the reflection position based on the content of the video corresponding to the output sound.
  • the acoustic control unit can control the reflection position based on the movement of the moving body in the video.
  • the acoustic control unit can control the characteristics of the output sound.
  • the reflection type speaker can be further provided.
  • a projector having a variable image projection direction can be further provided, and the output direction of the output sound can be made variable by the reflective speaker.
  • the information processing method includes an acoustic control step of controlling the output of the output sound based on the reflection position of the output sound from the reflective speaker.
  • the program according to one aspect of the present technology causes a computer to execute processing including an acoustic control step for controlling output of the output sound based on a reflection position of the output sound from the reflective speaker.
  • the output sound is controlled based on the reflection position of the output sound from the reflective speaker.
  • FIG. 1 is a block diagram showing a first embodiment of an AV system to which the present technology is applied.
  • FIG. 2 is a schematic diagram illustrating an external configuration example of a driving projector and a driving speaker of the AV system of FIG. 1. It is a flowchart for demonstrating the space map production
  • FIG. 1 is a block diagram illustrating a configuration example of functions of the AV system 10.
  • FIG. 2 is a schematic diagram showing a configuration example of the external appearance of the drive projector 11 and the drive speaker 12 constituting the AV system 10.
  • the AV system 10 is a system that projects a video in a predetermined space (hereinafter referred to as a display space) and outputs a sound accompanying the video.
  • the AV system 10 can freely change the display position of the video and the position of the virtual sound source in the display space, and is used for, for example, projection mapping.
  • the AV system 10 includes a drive projector 11, a drive speaker 12, a sensor unit 13, an operation unit 14, an information processing device 15, and an information processing device 16.
  • the drive projector 11 is a projector whose image projection direction is variable.
  • the drive projector 11 includes a projector 31, a depth sensor 32, and a drive unit 33. As shown in FIG. 2, in the drive projector 11, the depth sensor 32 is installed on the drive unit 33, and the projector 31 is installed on the depth sensor 32.
  • the projector 31 projects an image based on the image data supplied from the information processing device 15 onto a wall or the like in the display space under the control of the information processing device 15. Note that the method of the projector 31 is not limited to a specific method, and any method can be adopted.
  • the depth sensor 32 shoots a distance image indicating the distance from the depth sensor 32 at each position in the display space using, for example, infrared light, and processes the captured distance image as information processing.
  • any method such as a TOF (Time-of-Flight) method, a pattern irradiation method, a stereo camera method, or the like can be adopted.
  • the drive unit 33 controls the projection direction of the projector 31 and the shooting direction of the depth sensor 32 under the control of the information processing device 15.
  • the drive unit 33 includes a pan motor 41, a tilt motor 42, and a motor control unit 43.
  • the pan motor 41 is a motor that rotates the projector 31 and the depth sensor 32 in the pan direction (horizontal direction).
  • the tilt motor 42 is a motor that rotates the projector 31 and the depth sensor 32 in the tilt direction (vertical direction).
  • the motor control unit 43 controls the rotation of the pan motor 41 and the tilt motor 42 under the control of the information processing device 15.
  • the drive unit 33 may be configured to be rotatable in the yaw direction (around the main axis in the image projection direction), for example. Moreover, the drive part 33 may further be provided with moving mechanisms, such as a motor and a wheel.
  • the drive type speaker 12 is a unit that outputs a sound in accordance with an image projected in the display space by the drive type projector 11. As shown in FIG. 2, in the drive type speaker 12, a reflection type speaker 51 is installed on the drive unit 52.
  • the reflective speaker 51 is a speaker that generates a virtual sound source at a reflection position by applying an output sound to a desired position in the display space and reflecting it under the control of the information processing device 16. The user feels that sound is being output from the position of the virtual sound source.
  • the reflection type speaker 51 is not particularly limited as long as it is a speaker capable of generating a virtual sound source at a reflection position.
  • the reflective speaker 51 is configured by a super-directional speaker having a sharp directivity.
  • the reflective speaker 51 when creating a spatial map of the display space based on the reflected sound with respect to the output sound of the reflective speaker 51, it is desirable to be able to output an ultrasonic output sound from the reflective speaker 51. .
  • the case where the reflective speaker 51 outputs an output sound toward the virtual sound source and the output sound is reflected by the virtual sound source may be expressed as a sound output from the virtual sound source.
  • the driving unit 52 controls the output direction of the reflective speaker 51 under the control of the information processing device 15.
  • the drive unit 52 includes a pan motor 61, a tilt motor 62, and a motor control unit 63.
  • the pan motor 61 is a motor that rotates the reflective speaker 51 in the pan direction (horizontal direction).
  • the tilt motor 62 is a motor that rotates the reflective speaker 51 in the tilt direction (vertical direction).
  • the motor control unit 63 controls the rotation of the pan motor 61 and the tilt motor 62 under the control of the information processing apparatus 15.
  • the drive unit 52 may be configured to be rotatable in the yaw direction (around the main axis in the output direction of the output sound), for example. Moreover, the drive part 52 may further be provided with moving mechanisms, such as a motor and a wheel.
  • the sensor unit 13 includes a camera 71, a fisheye camera 72, and a microphone 73.
  • the camera 71 images the display space, and supplies an image obtained as a result of the imaging (hereinafter referred to as a display space image) to the information processing device 15.
  • the display space image is used, for example, for detection of the position, line-of-sight direction, gesture, etc. of the user in the display space.
  • the fisheye camera 72 is composed of a camera equipped with a fisheye lens, and takes a super wide-angle image.
  • the fisheye camera 72 supplies an image (hereinafter referred to as a fisheye image) obtained as a result of shooting to the information processing apparatus 15.
  • the fisheye image is used, for example, for detecting the irradiation position (pointing position) of infrared light emitted from the pointing device 81.
  • the microphone 73 is used, for example, for detecting a reflected sound with respect to an output sound from the reflective speaker 51.
  • the microphone 73 supplies an audio signal indicating the detected sound to the information processing device 16.
  • the operation unit 14 includes a pointing device 81.
  • the pointing device 81 is an operation device for the user to point to a desired position.
  • the pointing device 81 irradiates infrared light and points to a position (pointing position) according to the user's operation with the infrared light.
  • the pointing device 81 may be configured by a dedicated device, or may be configured by a general-purpose device that can be used for other purposes such as a smartphone or a remote controller.
  • the information processing apparatus 15 is configured by, for example, a computer or a processor such as a CPU and a memory.
  • the information processing apparatus 15 is mainly used for controlling the drive projector 11.
  • the information processing apparatus 15 includes an interface (I / F) unit 101, a pointing position detection unit 102, a user detection unit 103, a map generation unit 104, a storage unit 105, an input unit 106, and a video control unit 107.
  • I / F interface
  • the I / F unit 101 includes, for example, a communication device, a connector, and the like.
  • the I / F unit 101 transmits and receives data and the like to and from the information processing device 16, the projector 31, the depth sensor 32, the motor control unit 43, the camera 71, and the fisheye camera 72. Further, the I / F unit 101 supplies received data or the like to each unit of the information processing device 15, or acquires data to be transmitted or the like from each unit of the information processing device 15.
  • any wired or wireless method can be adopted as the communication method of the I / F unit 101.
  • the communication method of the I / F unit 101 may be changed for each communication target. Further, for example, the I / F unit 101 may perform direct communication with each communication target, or may perform communication via a network or the like.
  • the pointing position detection unit 102 detects the pointing position by the pointing device 81 based on the fisheye image photographed by the fisheye camera 72.
  • the pointing position detection unit 102 supplies the detection result to the video control unit 107 or supplies it to the information processing apparatus 15 via the I / F unit 101.
  • any method can be adopted as a detection method of the pointing position detection unit 102.
  • the user detection unit 103 detects, for example, the position, line-of-sight direction, gesture, and the like of the user in the display space based on the display space image captured by the camera 71.
  • the user detection unit 103 supplies the detection result to the video control unit 107 or supplies it to the information processing apparatus 16 via the I / F unit 101.
  • any method can be adopted as a detection method of the user detection unit 103.
  • the map generation unit 104 controls the depth sensor 32 and the motor control unit 43 via the I / F unit 101, and controls the photographing of the distance image in the display space by the depth sensor 32. Then, the map generation unit 104 performs space recognition in the display space using the distance image, and generates a first space map indicating a three-dimensional shape such as an object or a wall in the display space.
  • the first space map is made up of, for example, a three-dimensional point cloud map, and includes depth information indicating the distance from the drive projector 11 (depth sensor 32) at each position in the display space.
  • the map generation unit 104 acquires the second space map from the information processing apparatus 16 via the I / F unit 101, and generates an integrated space map in which the first space map and the second space map are integrated.
  • the integrated space map is, for example, depth information indicating the distance from the driving projector 11 (depth sensor 32) at each position in the display space, and reflection characteristic information indicating the reflection characteristics (for example, reflectance, reflection angle, etc.) at each position. , And display characteristic information indicating whether or not to display a video at each position in the display space (whether or not video can be projected).
  • the map generation unit 104 stores the generated integrated space map in the storage unit 105 and supplies it to the information processing apparatus 16 via the I / F unit 101.
  • the map generation unit 104 detects the positions of the drive speaker 12 and the microphone 73 in the display space based on the first space map, for example.
  • the map generation unit 104 supplies the detection result to the video control unit 107 or the information processing apparatus 16 via the I / F unit 101.
  • the positions of the drive speaker 12 and the microphone 73 may be detected based on the display space image captured by the camera 71.
  • the input unit 106 includes, for example, an operation device, and is used for inputting commands and data (for example, video data) to the video control unit 107.
  • the video control unit 107 controls display of video by the drive projector 11.
  • the video control unit 107 controls the projector 31 via the I / F unit 101 to control the content and display timing of the video to be displayed.
  • the video control unit 107 controls the display position of the video by controlling the motor control unit 43 via the I / F unit 101 and controlling the projection direction of the video of the projector 31.
  • the video control unit 107 supplies information indicating the display position of the video to the information processing apparatus 16 via the I / F unit 101.
  • the information processing apparatus 16 is configured by, for example, a computer or a processor such as a CPU and a memory.
  • the information processing device 16 is mainly used for controlling the drive speaker 12.
  • the information processing apparatus 16 includes an interface (I / F) unit 121, a map generation unit 122, a storage unit 123, an input unit 124, and an acoustic control unit 125.
  • the I / F unit 121 includes, for example, a communication device, a connector, and the like.
  • the I / F unit 121 transmits and receives data and the like to and from the information processing device 15, the reflective speaker 51, the motor control unit 63, and the microphone 73. Further, the I / F unit 121 supplies received data and the like to each unit of the information processing device 16 and acquires data to be transmitted and the like from each unit of the information processing device 16.
  • any wired or wireless method can be adopted as the communication method of the I / F unit 121. Further, the communication method of the I / F unit 121 may be changed for each communication target. Further, for example, the I / F unit 121 may directly communicate with each communication target or may perform communication via a network or the like.
  • the map generation unit 122 controls the reflection type speaker 51 and the motor control unit 63 via the I / F unit 121 to control scanning of the output sound from the reflection type speaker 51 in the display space. Then, the map generation unit 122 recognizes the space in the display space based on the detection result of the reflected sound detected by the microphone 73 when the output sound is scanned in the display space, and the object or wall in the display space. A second spatial map showing a three-dimensional shape such as is generated.
  • the second spatial map is, for example, a three-dimensional point cloud map, and includes depth information indicating the distance from the driving speaker 12 (reflection speaker 51) at each position in the display space, and reflection characteristics at each position.
  • the reflection characteristic information shown is included.
  • the map generation unit 104 supplies the generated second spatial map to the information processing apparatus 15 via the I / F unit 121.
  • the map generation unit 122 acquires an integrated space map from the information processing apparatus 15 via the I / F unit 121 and stores it in the storage unit 123.
  • the input unit 124 includes, for example, an operation device and is used to input commands and data (for example, voice data) to the acoustic control unit 125.
  • the acoustic control unit 125 controls the output sound output from the drive speaker 12.
  • the acoustic control unit 125 controls the reflective speaker 51 via the I / F unit 121 to control the content, volume, output timing, and the like of the output sound.
  • the acoustic control unit 125 controls the motor control unit 63 via the I / F unit 121 to control the output direction of the reflective speaker 51, thereby reflecting the output sound reflection position (that is, the virtual sound source). Control).
  • the description of the I / F unit 101 of the information processing device 15 and the I / F unit 121 of the information processing device 16 is omitted as appropriate for the sake of easy understanding.
  • the map generation unit 104 supplies the integrated space map to the information processing device 16 via the I / F unit 101, it is simply described that the map generation unit 104 supplies the integrated space map to the information processing device 16. .
  • step S1 the AV system 10 performs measurement in the display space.
  • the map generation unit 104 controls the motor control unit 43 to rotate the drive unit 33 in the pan direction and the tilt direction, and causes the depth sensor 32 to transmit all of the display space. Scan the area. Thereby, all the regions in the display space are photographed by the depth sensor 32, and a distance image indicating the distance from each of the depth sensors 32 is obtained. The depth sensor 32 supplies the captured distance image to the map generation unit 104.
  • the map generation unit 122 controls the motor control unit 63 to rotate the driving unit 52 in the pan direction and the tilt direction, and outputs the output sound (super signal) output from the reflective speaker 51.
  • the sound wave signal) is scanned over all areas in the display space. Thereby, the reflected sound with respect to the output sound from all the areas in the display space is detected by the microphone 73.
  • the microphone 73 supplies an audio signal indicating the detection result to the map generation unit 122.
  • step S2 the map generation unit 104 and the map generation unit 122 generate a spatial map.
  • the map generation unit 104 generates a first spatial map based on the distance image captured by the depth sensor 32.
  • the first space map includes depth information indicating the distance from the depth sensor 32 at each position in the display space.
  • the depth sensor 32 uses the reflection of infrared light, the depth information of a region where the reflection of infrared light such as a black wall, concrete, or glass cannot be used is missing in the first spatial map.
  • the map generation unit 104 detects the positions of the drive speaker 12 and the microphone 73 in the display space based on the first space map.
  • the map generation unit 104 supplies the detection result to the map generation unit 122 of the information processing device 16.
  • the map generation unit 122 generates a second spatial map based on the audio signal from the microphone 73. Specifically, the map generation unit 122 is based on the output direction of the output sound, the positions of the reflective speaker 51 and the microphone 73, and the time from when the output sound is output until when the reflected sound is received. The distance from the speaker 51 and the microphone 73 to each position in the display space is calculated.
  • the map generation unit 122 calculates the reflectance at each position in the display space based on the volume of the reflected sound. For example, as shown in FIG. 5, a case where the output sound output from the reflective speaker 51 is reflected at the reflection position P1 and the reflected sound is detected by the microphone 73 will be described.
  • the distance between the reflective speaker 51 and the reflection position P1 is L1
  • the distance between the reflection position P1 and the microphone 73 is L2.
  • the attenuation in this case is referred to as a reference attenuation.
  • the map generation unit 122 estimates the reflectance at the reflection position P1 based on the ratio of the attenuation amount of the reflected sound actually detected by the microphone 73 to the output sound and the reference attenuation amount.
  • the map generation unit 122 generates a second spatial map including depth information indicating the distance from the reflective speaker 51 at each position in the display space and reflection characteristic information indicating the reflectance at each position in the display space. Generate.
  • Depth information can be obtained even if the reflection of the output sound (ultrasound signal) can be used even if the reflection of infrared light is not available and the depth information is missing in the first spatial map. Depth information can be obtained.
  • the map generation unit 122 supplies the generated second spatial map to the map generation unit 104 of the information processing device 15.
  • step S3 the map generation unit 104 integrates the spatial maps. Specifically, the map generation unit 104 supplements the depth information of the area where the depth information is missing in the first spatial map with the depth information of the second spatial map. However, since the depth information of the second spatial map is based on the position of the reflective speaker 51, the map generation unit 104 converts the depth information into depth information based on the position of the depth sensor 32.
  • the map generation unit 104 generates display characteristic information indicating whether or not each position in the display space can display a video. For example, the map generation unit 104 determines that the position where the depth information is obtained in the first spatial map is a position where video can be displayed. On the other hand, the map generation unit 104 estimates the hardness and surface material of the position where the depth information is missing in the first spatial map based on the reflection characteristic information of the second spatial map. Based on the estimated hardness and surface material, the map generation unit 104 determines whether a position where depth information is missing in the first spatial map can be displayed.
  • the map generation unit 104 may determine that all positions where depth information is missing in the first spatial map are positions where video display is difficult. For example, the map generation unit 122 of the information processing apparatus 16 may generate display characteristic information.
  • the map generation unit 104 uses the reflection characteristic information at each position in the display space of the second spatial map as it is as the reflection characteristic information of the integrated spatial map.
  • the map generation unit 104 generates an integrated space map including depth information, display characteristic information, and reflection characteristic information at each position in the display space.
  • the map generation unit 104 stores the generated integrated space map in the storage unit 105. In addition, the map generation unit 104 supplies the integrated space map to the map generation unit 122 of the information processing device 16.
  • the map generation unit 122 converts the depth information of the integrated space map from information based on the position of the depth sensor 32 to information based on the position of the reflective speaker 51.
  • the map generation unit 122 stores the converted integrated space map in the storage unit 123.
  • step S51 the information processing apparatus 15 sets a display position.
  • a display position setting method will be described.
  • the pointing position detection unit 102 detects the pointing position P2 designated by the pointing device 81 based on the fisheye image photographed by the fisheye camera 72.
  • the pointing position detection unit 102 supplies the detection result of the pointing position P2 to the video control unit 107.
  • the video control unit 107 sets the display position with reference to the pointing position P2. For example, the video control unit 107 calculates the size of the projection area onto which the video is projected based on the distance from the projector 31 to the pointing position P2. Then, the video control unit 107 sets the position of the projection area so that the center of the projection area coincides with the pointing position P2.
  • the video control unit 107 checks whether or not an area where it is difficult to display an image is included in the set projection area, based on the display characteristic information of the integrated space map. Then, when the projection region includes a region where video display is difficult, the video control unit 107 corrects the position of the projection region so that the region is not included. At this time, for example, the position of the projection area is corrected so that the movement amount of the projection area is minimized.
  • the depth sensor 32 is not shown for easy understanding of the drawing.
  • the user detection unit 103 detects the line-of-sight direction S1 of the user U2 based on the display space image captured by the camera 71.
  • the user detection unit 103 supplies the detection result of the line-of-sight direction S1 to the video control unit 107.
  • the video control unit 107 detects the intersection point P3 between the line-of-sight direction S1 and the plane in the display space based on the depth information of the integrated space map. Then, the video control unit 107 sets the position of the projection area with reference to the intersection point P3 by the same method as that with reference to the pointing position P2.
  • the display position setting method is not limited to this example.
  • the video control unit 107 can detect a position designated by a user (for example, a position pointed by) as a pointing position, and can set a display position based on the detected pointing position.
  • the video control unit 107 supplies information indicating the set display position (projection region position) to the acoustic control unit 125 of the information processing device 16.
  • step S52 the acoustic control unit 125 sets the position of the virtual sound source based on the display position. For example, the sound control unit 125 sets the center of the projection area set by the video control unit 107 as the position of the virtual sound source.
  • the acoustic control unit 125 determines whether or not the set position of the virtual sound source is appropriate based on the reflection characteristic information of the integrated space map. For example, the acoustic control unit 125 determines that the position of the virtual sound source is appropriate when the reflectance of the position of the virtual sound source is equal to or greater than a predetermined threshold. On the other hand, the acoustic control unit 125 determines that the position of the virtual sound source is inappropriate when the reflectance of the position of the virtual sound source is less than a predetermined threshold.
  • the sound control unit 125 determines that the position of the virtual sound source is inappropriate, the sound control unit 125 corrects the position of the virtual sound source. For example, the acoustic control unit 125 corrects the position of the virtual sound source to a position closest to the current position of the virtual sound source among positions where the reflectance in the projection area is equal to or greater than a predetermined threshold. For example, when there is no position where the reflectance is equal to or higher than the predetermined threshold in the projection area, the acoustic control unit 125 selects the current virtual sound source out of the positions where the reflectance is equal to or higher than the predetermined threshold. The position of the virtual sound source is corrected to the position closest to the position.
  • step S53 the acoustic control unit 125 sets the volume based on the position of the virtual sound source. For example, a case where the virtual sound source is set at the position P4 as shown in FIG. 9 will be described.
  • the acoustic control unit 125 acquires the detection result of the position of the user U3 from the user detection unit 103 of the information processing device 15. Also, the acoustic control unit 125, based on the integrated space map, the distance L3 between the reflective speaker 51 and the virtual sound source P4, the distance L4 between the virtual sound source P4 and the user U3, and the reflection of the virtual sound source P4. Find the rate. Based on the distance L3, the distance L4, and the reflectance of the virtual sound source P4, the acoustic control unit 125 calculates the volume of the output sound at which the volume of the reflected sound from the virtual sound source P4 becomes a predetermined level at the position of the user U3. To do. The acoustic control unit 125 sets the calculated volume to the volume of the output sound.
  • the volume may be calculated using only one of the distance L3 and the distance L4.
  • the volume level at the position of the user U3 may be set to be constant regardless of the distance to the virtual sound source P4, for example, or may be changed according to the distance to the virtual sound source P4. Good.
  • the volume level at the position of the user U3 is decreased as the sum of the distance L3 and the distance L4 is increased, and the volume level at the position of the user U3 is increased as the sum of the distance L3 and the distance L4 is decreased.
  • the volume level at the position of the user U3 may be decreased as the distance L3 is increased, and the volume level at the position of the user U3 may be increased as the distance L3 is decreased.
  • the volume level at the position of the user U3 may be decreased as the distance L4 is increased, and the volume level at the position of the user U3 may be increased as the distance L4 is decreased.
  • step S54 the AV system 10 starts outputting video and sound according to the setting.
  • the video control unit 107 controls the motor control unit 43 to adjust the orientation of the projector 31 so that the video from the projector 31 is projected onto the set projection area.
  • the acoustic control unit 125 controls the motor control unit 63 to adjust the orientation of the reflective speaker 51 so that the output sound from the reflective speaker 51 hits the set position of the virtual sound source.
  • the video control unit 107 and the sound control unit 125 start projecting the video from the projector 31 and outputting the output sound from the reflective speaker 51 in synchronization.
  • the video control unit 107 performs, for example, geometric correction so that the projected video is not distorted.
  • the sound control unit 125 sets the volume of the output sound to the volume set in the process of step S53.
  • step S55 the video control unit 107 determines whether or not to change the display position. If it is determined not to change the display position, the process proceeds to step S56.
  • step S56 the sound control unit 125 determines whether or not to change the volume. If it is determined not to change the volume, the process proceeds to step S57.
  • step S57 the video control unit 107 determines whether to stop the video and sound. If it is determined not to stop the video and sound, the process returns to step S55.
  • steps S55 to S57 are repeated until it is determined in step S55 that the display position is to be changed, in step S56 it is determined that the volume is to be changed, or in step S57 it is determined that the video and sound are to be stopped. Executed.
  • step S55 for example, when detecting a trigger for changing the display position, the video control unit 107 determines to change the display position, and the process returns to step S51.
  • the trigger for changing the display position is, for example, movement of the driving projector 11, movement of the pointing position designated by the pointing device 81 or the gesture, movement of the user's line of sight, and the like.
  • the processing after step S51 is executed the display position is changed, and the position and volume of the virtual sound source are changed with the change of the display position.
  • step S56 for example, if the sound control unit 125 detects a trigger for changing the sound volume, the sound control unit 125 determines to change the sound volume, and the process returns to step S53.
  • the trigger for changing the sound volume is, for example, movement of the driving speaker 12, movement of the user, or the like. Thereafter, the processing after step S53 is executed, and the sound volume is changed while the display position remains unchanged.
  • step S57 the video control unit 107 determines that video and sound are to be stopped when, for example, a video and sound stop command is input via the input unit 106, and the process proceeds to step S58.
  • step S58 the AV system 10 stops the video and sound. Specifically, the video control unit 107 instructs the sound control unit 125 to stop the output sound. Then, the video control unit 107 stops the projection of the video from the projector 31. Further, the acoustic control unit 125 stops the output sound output from the reflective speaker 51.
  • the video and the virtual sound source can be automatically moved to a position desired by the user in accordance with the pointing position and the movement of the line of sight.
  • the image is projected while avoiding the position where display is difficult, the image quality is kept good.
  • the position of the virtual sound source is set in accordance with the display position of the video, the user feels that sound is coming from the video, and the presence is increased, and the satisfaction with the sound is improved.
  • the volume of the output sound is appropriately adjusted based on the position of the virtual sound source and the reflectance, or the position of the virtual sound source is corrected based on the reflectance, it is possible to prevent the sound from being uncomfortable. Can do.
  • the display position and display content of the video in the display space are determined in advance, and the information is registered in advance in the integrated space map.
  • the video control unit 107 and the sound control unit 125 display the video and Control not to output the output sound.
  • the video control unit 107 is set for the display position. Display the video of the displayed content.
  • the sound control unit 125 sets the position of the virtual sound source based on the display position, and outputs an output sound corresponding to the video to be displayed.
  • the video control unit 107 and the sound control unit 125 controls to not display video and output sound.
  • the video control unit 107 displays the display. The image of the display content set for the position is displayed.
  • the sound control unit 125 sets the position of the virtual sound source based on the display position, and outputs an output sound corresponding to the video to be displayed.
  • This technology can be applied to games, for example.
  • the position of the enemy is set in advance in the display space.
  • the user moves the pointing position or line of sight to search for enemies in the display space.
  • the video control unit 107 projects an enemy image on the position, and the sound control unit 125 determines whether the virtual sound source is based on the displayed enemy position. Set the position of and start outputting the enemy's voice. Thereby, the realistic sensation of the game is improved.
  • the video display position can be set not only at one location but also at multiple locations.
  • the display position of the video is not necessarily fixed, and may be moved with time. Thereby, for example, in the above-described game example, the enemy can be moved, and by outputting the pointing position or the line of sight to the position of the moving enemy, the output of the enemy's video and audio can be started.
  • the pointing device 81 is a gun type and the gun is directed at the pointing device 81 and the enemy is present at that position, an image of the enemy falling is displayed. It is also possible to output the sound of the enemy falling.
  • the acoustic control unit 125 may notify the user of the display position by setting a virtual sound source at the display position set in the display space and outputting sound from the virtual sound source. Then, when the user moves the pointing position or the line of sight in the direction in which the sound is output, that is, in the direction of the virtual sound source, an image may be displayed at that position. Thereby, for example, in the above-described game example, the position of the enemy can be notified by sound without displaying the video. In addition, by moving the position of the virtual sound source in accordance with the movement of the enemy, the user can recognize how the enemy is approaching or moving away.
  • the acoustic control unit 125 sets the position of the virtual sound source in the direction of the user's line of sight and outputs sound from the virtual sound source. Then, the acoustic control unit 125 can notify the presence of the video by directing the user's attention in the direction of the video by gradually moving the position of the virtual sound source toward the video display position.
  • the position of the virtual sound source may be moved according to the content of the video. For example, when a moving body exists in the video, the acoustic control unit 125 causes the user to feel that sound is emitted from the moving body by moving the position of the virtual sound source in accordance with the movement of the moving body. Can do. For example, by moving the virtual sound source in accordance with the character in the video, the user can experience that the character is speaking to him / her.
  • the position of the virtual sound source may be moved from the inside of the angle of view to the outside of the angle of view.
  • the position of the virtual sound source may be moved from outside the angle of view to within the angle of view.
  • the presence of the virtual sound source can be increased from the inside of the angle of view to the outside of the angle of view in accordance with the movement of the car.
  • a plurality of virtual sound sources may be installed by providing a plurality of driving speakers 12.
  • different virtual sound sources can be installed for a plurality of moving bodies in the video, and the positions of the virtual sound sources can be moved individually in accordance with the movement of each moving body, thereby enhancing the sense of reality. be able to.
  • a surround system can be realized by arranging virtual sound sources in the same manner as speakers in a surround system.
  • the installation position of the drive type speaker 12 has a higher degree of freedom than the installation position of a normal speaker, a surround system can be realized more easily.
  • the projection area of one video into a plurality of areas, arranging virtual sound sources for each area, and sharing the sound output of each area around the corresponding virtual sound source, it is more realistic A feeling can be heightened.
  • the position of the virtual sound source may be within the region or outside the region.
  • the projection area is divided into four 2 ⁇ 2 areas, and virtual sound sources are arranged in the four corners of the projection area or outside the projection area and in the vicinity of the four corners of the projection area.
  • Realistic feeling can be further enhanced by mainly outputting sound corresponding to the video from a virtual sound source close to each region.
  • the present technology can also be applied to the case where the projector 31 is not of a drive type and the position and orientation are changed by hand.
  • the acoustic control unit 125 controls the position of the virtual sound source based on the display position or the reflection based on the position of the virtual sound source by the method described above.
  • the volume of the output sound of the type speaker 51 may be controlled.
  • the position and orientation of the projector 31 can be detected by providing the projector 31 with an acceleration sensor, a gyro sensor, or the like, for example.
  • the present technology can also be applied to the case where the position of the projector 31 is fixed and the display position of the image is fixed. That is, the acoustic control unit 125 controls the position of the virtual sound source and the volume of the output sound of the reflective speaker 51 by the above-described method based on the fixed video display position and video content. It is possible to
  • the present technology can be applied to a case where a display device having a screen is used instead of the projection type projector 31.
  • the acoustic control unit 125 controls the position of the virtual sound source or the volume of the output sound of the reflective speaker 51 by the method described above based on the position of the screen on which the video is displayed and the content of the video. It is possible to In addition, for example, by dividing the screen into a plurality of areas, placing virtual sound sources within the screen or outside the screen for each area, and sharing the sound output of each area around the corresponding virtual sound source, A sense of reality can be enhanced.
  • the present technology can also be applied to the case where the reflective speaker 51 is not a drive type and the position and orientation are changed by hand.
  • the position of the virtual sound source is uniquely determined by installing the reflective speaker 51.
  • the acoustic control unit 125 can control the volume of the output sound from the reflective speaker 51 by the above-described method based on the set distance to the virtual sound source and the reflectance of the position of the virtual sound source. Is possible.
  • the acoustic control unit 125 may set the position of the virtual sound source using reflection characteristics other than the reflectance. For example, the acoustic control unit 125 recognizes the shape of the display space based on the depth information of the integrated space map, and calculates the angle of the reflection position with respect to the output sound, thereby reflecting the reflection direction of the reflected sound that is a kind of reflection characteristics. (Reflection angle) can be estimated. Therefore, for example, the acoustic control unit 125 may set a position where the output sound is largely reflected in the direction in which the user exists as a virtual sound source. Thereby, a user can hear a sound reliably now.
  • Reflect angle reflection angle
  • the acoustic control unit 125 sets a position where the output sound is substantially regularly reflected as a virtual sound source based on the surface material of the display space, so that only the user at a specific position can hear the sound. It is also possible.
  • the configuration example of the AV system 10 in FIG. 1 is an example, and can be changed as necessary.
  • the division of functions between the information processing device 15 and the information processing device 16 can be changed.
  • the information processing device 15 and the information processing device 16 can be combined into one.
  • a part or all of the functions of the information processing apparatus 15 are provided in the drive type projector 11, or a part or all of the functions of the information processing apparatus 15 and the information processing apparatus 16 are provided in the drive type projector 11.
  • the drive projector 11 can be provided in the information processing apparatus 15 or the information processing apparatus 16.
  • the driving speaker 12 can be provided in the information processing apparatus 15 or the information processing apparatus 16.
  • FIG. 10 is a block diagram illustrating a functional configuration example of the AV system 200 in which the projector 31 and the reflective speaker 51 are integrated.
  • FIG. 11 is a schematic diagram showing a configuration example of the appearance of the drive projector 201 that constitutes the AV system 200.
  • FIGS. 10 and 11 parts corresponding to those in FIGS. 1 and 2 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the AV system 200 is provided with a drive projector 11 instead of the drive projector 11 and the drive speaker 12, and information is provided instead of the information processing device 15 and the information processing device 16.
  • a processing device 202 is provided.
  • the drive projector 201 has a configuration in which a reflective speaker 51 is installed on the projector 31 of the drive projector 11 of FIG. Accordingly, the projector 31 and the reflective speaker 51 are rotated in the pan direction and the tilt direction by the drive unit 33 and are always directed in the same direction. Accordingly, the display position of the projector 31 and the position of the virtual sound source of the reflective speaker 51 always coincide.
  • the information processing apparatus 202 includes an interface (I / F) unit 221, a pointing position detection unit 222, a user detection unit 223, a map generation unit 224, a storage unit 225, an input unit 226, and a control unit 227.
  • I / F interface
  • a pointing position detection unit 222 a user detection unit 223, a map generation unit 224, a storage unit 225, an input unit 226, and a control unit 227.
  • the I / F unit 221 includes, for example, a communication device, a connector, and the like, like the I / F unit 101 and the I / F unit 121 in FIG.
  • the I / F unit 221 transmits and receives data and the like to and from the projector 31, the depth sensor 32, the motor control unit 43, the reflective speaker 51, the camera 71, the fisheye camera 72, and the microphone 73. Further, the I / F unit 221 supplies received data and the like to each unit of the information processing apparatus 202, and acquires data to be transmitted from each unit of the information processing apparatus 202.
  • the pointing position detection unit 222 detects the pointing position by the pointing device 81 based on the fisheye image photographed by the fisheye camera 72, similarly to the pointing position detection unit 102 in FIG.
  • the pointing position detection unit 222 supplies the detection result to the control unit 227.
  • the user detection unit 223 detects, for example, the position, line-of-sight direction, gesture, and the like of the user in the display space based on the display space image photographed by the camera 71, as with the user detection unit 103 in FIG.
  • the user detection unit 103 supplies the detection result to the control unit 227.
  • the map generation unit 224 has the functions of the map generation unit 104 and the map generation unit 122 of FIG.
  • the map generation unit 224 controls the depth sensor 32 and the motor control unit 43 via the I / F unit 221 to control the photographing of the distance image in the display space by the depth sensor 32.
  • generation part 224 produces
  • the map generation unit 224 controls the reflection type speaker 51 and the motor control unit 43 via the I / F unit 221 to control scanning in the display space of the output sound from the reflection type speaker 51. Similar to the map generation unit 122 of FIG. 1, the map generation unit 224 generates the second spatial map based on the detection result of the reflected sound detected by the microphone 73 when the output sound is scanned in the display space. Generate.
  • the map generation unit 224 generates an integrated space map obtained by integrating the first space map and the second space map, similarly to the map generation unit 104 of FIG.
  • the map generation unit 224 stores the generated integrated space map in the storage unit 225.
  • the map generation unit 224 detects the position of the microphone 73 or the like in the display space based on the first space map, for example, similarly to the map generation unit 104 of FIG.
  • the map generation unit 104 supplies the detection result to the control unit 227.
  • the input unit 226 includes, for example, an operation device and is used to input commands and data (for example, video data and audio data) to the control unit 227.
  • commands and data for example, video data and audio data
  • the control unit 227 has the functions of the video control unit 107 and the audio control unit 125 of FIG. 1 and includes a video control unit 231 and an audio control unit 232.
  • the video control unit 231 controls the display of video by the drive projector 201 and the position of the virtual sound source by the reflective speaker 51.
  • the video control unit 231 controls the projector 31 via the I / F unit 221 to control the content of the video to be displayed, the display timing, and the like.
  • the video control unit 231 controls the motor control unit 43 via the I / F unit 221 to control the projection direction of the video of the projector 31 and the output direction of the reflective speaker 51.
  • the display position of the image and the reflection position of the output sound (that is, the position of the virtual sound source) are controlled.
  • the acoustic control unit 232 controls the output sound output from the reflective speaker 51.
  • the acoustic control unit 232 controls the reflective speaker 51 via the I / F unit 121 to control the content, volume, output timing, and the like of the output sound.
  • the orientations of the projector 31 and the reflective speaker 51 can be controlled coaxially, thereby simplifying the control process.
  • the display position of the video and the position of the virtual sound source can be easily matched.
  • the position control flexibility of the virtual sound source is reduced as compared with the AV system 10. For example, it becomes difficult to set the position of the virtual sound source at a position different from the display position of the video.
  • the depth information in the display space may be acquired using a sensor other than the depth sensor 32.
  • a virtual sound source is set on the surface of the object.
  • a virtual sound source is set on the surface of the object.
  • the volume control may be performed based only on the distance to the virtual sound source without performing the volume control based on the reflectance of the position of the virtual sound source.
  • the reflection characteristics at each position in the display space may be analyzed in more detail to control the characteristics of the output sound other than the volume, or to control the volume and other characteristics.
  • the reflection characteristic for each frequency at each position may be analyzed, and the frequency characteristic of the output sound may be controlled according to the reflection characteristic at the virtual position. For example, when a virtual sound source is set at a position where the reflectance of a high sound is worse than that of a low sound, the high frequency component of the output sound may be emphasized from the low frequency component.
  • the output sound is time-divided to output the left sound and the right sound alternately, and the direction of the reflective speaker 51 is shifted left and right in synchronization with the switching of the left and right sounds.
  • Stereo reproduction can be realized by the reflective speaker 51 of the stand.
  • the series of processes of the information processing apparatus 15, the information processing apparatus 16, and the information processing apparatus 202 described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in, for example, a removable medium 511 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can take the following configurations.
  • An information processing apparatus comprising: an acoustic control unit that controls output of the output sound based on a reflection position of output sound from a reflective speaker.
  • the acoustic control unit controls the output of the output sound based on at least one of a distance from the reflective speaker to the reflection position and a distance from the reflection position to the user.
  • Information processing device (3) The information processing apparatus according to (1) or (2), wherein the acoustic control unit controls output of the output sound based on a reflection characteristic of the reflection position.
  • the reflective speaker outputs the output sound of ultrasonic waves, and the output direction of the output sound is variable
  • the reflection type speaker further scans the output sound in a space in which the output sound is reflected, and further includes a map generation unit that generates a spatial map including reflection characteristics in the space based on a detection result of the reflected sound.
  • the information processing apparatus according to (3).
  • the information processing apparatus wherein the map generation unit generates the spatial map including a three-dimensional shape of the space based on the detection result of the reflected sound.
  • the reflective speaker has a variable output direction of the output sound
  • the information processing apparatus according to any one of (1) to (3), wherein the acoustic control unit controls the reflection position according to an output direction of the output sound from the reflective speaker.
  • the information processing apparatus wherein the acoustic control unit controls the reflection position based on a display position of an image corresponding to the output sound.
  • the information processing apparatus according to (6) or (7), wherein the acoustic control unit controls the reflection position based on reflection characteristics in a space in which the reflection type speaker reflects the output sound.
  • the acoustic control unit controls the reflection position based on at least one of a pointing position that is a position designated by a user and a direction of a user's line of sight.
  • Information processing device (10) The information processing apparatus according to (9), wherein when there is an image to be displayed at the pointing position, the acoustic control unit outputs the output sound corresponding to the image from the reflective speaker toward the reflective position. .
  • (11) A video control unit that controls video display based on the pointing position; The information processing apparatus according to (10), wherein when there is an image to be displayed at the pointing position, the image control unit displays the image at the pointing position.
  • the sound control unit when there is an image to be displayed in the direction of the user's line of sight, causes the output sound corresponding to the image to be output from the reflective speaker toward the reflection position.
  • Information processing device (13) A video control unit that controls video display based on the direction of the user's line of sight; The information processing apparatus according to (12), wherein when there is a video to be displayed in the direction of the user's line of sight, the video control unit displays the video in the direction of the user's line of sight.
  • the information processing apparatus according to any one of (6) to (13), wherein the acoustic control unit controls the reflection position based on a content of a video corresponding to the output sound.
  • the information processing apparatus controls the reflection position based on a movement of a moving body in the video.
  • the acoustic control unit controls characteristics of the output sound.
  • the information processing apparatus according to any one of (1) to (16), further including the reflective speaker.
  • the projector further includes a variable projection direction of the image, The information processing apparatus according to (17), wherein the reflective speaker has a variable output direction of the output sound.
  • An information processing method including an acoustic control step of controlling output of the output sound based on a reflection position of the output sound from the reflective speaker.
  • a program for causing a computer to execute processing including an acoustic control step of controlling output of the output sound based on a reflection position of the output sound from the reflective speaker.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereophonic System (AREA)
  • Projection Apparatus (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本技術は、反射型スピーカの音に対する満足度を向上させることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 ＡＶ（Audio Visual）システムは、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御部を備える。本技術は、例えば、駆動型プロジェクタ及び駆動型スピーカを用いたＡＶシステムに適用することができる。また、本技術は、例えば、反射型スピーカを備える駆動型プロジェクタを用いたＡＶシステムに適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、反射型スピーカの出力制御を行う場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
　従来、スピーカからの出力音を壁等に当てて反射させることにより、反射位置に仮想音源を生成し、仮想音源から音が出力されているように感じさせる反射型スピーカが知られている（例えば、特許文献１参照）。
　反射型スピーカには、例えば、超音波スピーカ（パラメトリックスピーカ）等の鋭い指向性を持つ超指向性スピーカが用いられる。
特開２０１０－５６７１０号公報
　しかしながら、反射型スピーカは、仮想音源の位置（反射位置）を自由に設定できる反面、例えば、仮想音源までの距離や反射位置の材質により音量が小さくなりすぎたり、仮想音源の位置が映像の表示位置から離れすぎて、違和感が生じたりするおそれがある。
　そこで、本技術は、反射型スピーカの音に対する満足度を向上させるようにするものである。
　本技術の一側面の情報処理装置は、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御部を備える。
　前記音響制御部には、前記反射型スピーカから前記反射位置までの距離、及び、前記反射位置からユーザまでの距離のうち少なくとも一方に基づいて、前記出力音の出力を制御させることができる。
　前記音響制御部には、前記反射位置の反射特性に基づいて、前記出力音の出力を制御させることができる。
　前記反射型スピーカには、超音波の前記出力音を出力させ、前記出力音の出力方向を可変にさせ、前記反射型スピーカが前記出力音を反射させる空間内において前記出力音を走査させ、反射音の検出結果に基づいて、前記空間内の反射特性を含む空間マップを生成するマップ生成部をさらに設けることができる。
　前記マップ生成部には、前記反射音の検出結果に基づいて、前記空間の３次元形状を含む前記空間マップを生成させることができる。
　前記反射型スピーカには、前記出力音の出力方向を可変にさせ、前記音響制御部には、前記反射型スピーカからの前記出力音の出力方向により前記反射位置を制御させることができる。
　前記音響制御部には、前記出力音が対応する映像の表示位置に基づいて、前記反射位置を制御させることができる。
　前記音響制御部には、前記反射型スピーカが前記出力音を反射させる空間内の反射特性に基づいて、前記反射位置を制御させることができる。
　前記音響制御部には、ユーザにより指定された位置であるポインティング位置及びユーザの視線の方向のうち少なくとも一方に基づいて、前記反射位置を制御させることができる。
　前記音響制御部には、前記ポインティング位置において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させることができる。
　前記ポインティング位置に基づいて、映像の表示を制御する映像制御部をさらに設け、前記映像制御部には、前記ポインティング位置において表示する映像が存在する場合、当該映像を前記ポインティング位置に表示させることができる。
　前記音響制御部には、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させることができる。
　前記ユーザの視線の方向に基づいて、映像の表示を制御する映像制御部をさらに設け、前記映像制御部には、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像を前記ユーザの視線の方向に表示させることができる。
　前記音響制御部には、前記出力音が対応する映像の内容に基づいて、前記反射位置を制御させることができる。
　前記音響制御部には、前記映像内の移動体の動きに基づいて、前記反射位置を制御させることができる。
　前記音響制御部には、前記出力音の特性を制御させることができる。
　前記反射型スピーカをさらに設けることができる。
　映像の投影方向が可変のプロジェクタをさらに設け、前記反射型スピーカには、前記出力音の出力方向が可変にさせることができる。
　本技術の一側面の情報処理方法は、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを含む。
　本技術の一側面のプログラムは、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを含む処理をコンピュータに実行させる。
　本技術の一側面においては、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力が制御される。
　本技術の一側面によれば、反射型スピーカの音に対する満足度が向上する。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したＡＶシステムの第１の実施の形態を示すブロック図である。 図１のＡＶシステムの駆動型プロジェクタ及び駆動型スピーカの外観の構成例を示す模式図である。 図１のＡＶシステムにより実行される空間マップ生成処理を説明するためのフローチャートである。 空間マップの生成方法を説明するための図である。 反射率の算出方法を説明するための図である。 図１のＡＶシステムにより実行される映像音響制御処理を説明するためのフローチャートである。 ポインティングデバイスにより表示位置を設定する例を説明するための図である。 ユーザの視線方向により表示位置を設定する例を説明するための図である。 反射型スピーカの音量制御について説明するための図である。 本技術を適用したＡＶシステムの第２の実施の形態を示すブロック図である。 図１０のＡＶシステムの駆動型プロジェクタの外観の構成例を示す模式図である。 コンピュータの構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
＜１．実施の形態＞
｛ＡＶシステム１０の構成例｝
　まず、図１及び図２を参照して、本技術を適用したＡＶ（Audio Visual）システム１０の構成例について説明する。図１は、ＡＶシステム１０の機能の構成例を示すブロック図である。図２は、ＡＶシステム１０を構成する駆動型プロジェクタ１１及び駆動型スピーカ１２の外観の構成例を示す模式図である。
　ＡＶシステム１０は、所定の空間（以下、表示空間と称する）に映像を投影するとともに、映像に伴う音を出力するシステムである。また、ＡＶシステム１０は、表示空間内において映像の表示位置及び仮想音源の位置を自由に変更することができ、例えば、プロジェクションマッピング等に用いられる。
　ＡＶシステム１０は、駆動型プロジェクタ１１、駆動型スピーカ１２、センサ部１３、操作部１４、情報処理装置１５、及び、情報処理装置１６を備える。
　駆動型プロジェクタ１１は、映像の投影方向が可変であるプロジェクタである。駆動型プロジェクタ１１は、プロジェクタ３１、デプスセンサ３２、及び、駆動部３３を備える。図２に示されるように、駆動型プロジェクタ１１においては、駆動部３３の上にデプスセンサ３２が設置され、デプスセンサ３２の上にプロジェクタ３１が設置されている。
　プロジェクタ３１は、情報処理装置１５の制御の下に、情報処理装置１５から供給される映像データに基づく映像を表示空間内の壁等に投影する。なお、プロジェクタ３１の方式は、特定の方式に限定されるものではなく、任意の方式を採用することが可能である。
　デプスセンサ３２は、情報処理装置１５の制御の下に、例えば、赤外光を用いて、表示空間内の各位置のデプスセンサ３２からの距離を示す距離画像を撮影し、撮影した距離画像を情報処理装置１５に供給する。なお、デプスセンサ３２の方式には、ＴＯＦ（Time of Flight）方式、パターン照射方式、ステレオカメラ方式等の任意の方式を採用することが可能である。
　駆動部３３は、情報処理装置１５の制御の下に、プロジェクタ３１の投影方向、及び、デプスセンサ３２の撮影方向を制御する。駆動部３３は、パンモータ４１、チルトモータ４２、及び、モータ制御部４３を備える。
　パンモータ４１は、プロジェクタ３１及びデプスセンサ３２をパン方向（水平方向）に回転させるモータである。
　チルトモータ４２は、プロジェクタ３１及びデプスセンサ３２をチルト方向（垂直方向）に回転させるモータである。
　モータ制御部４３は、情報処理装置１５の制御の下に、パンモータ４１及びチルトモータ４２の回転を制御する。
　なお、駆動部３３を、例えば、ヨー方向（映像の投影方向の主軸周り）にも回転可能な構成としてもよい。また、駆動部３３は、モータや車輪等の移動機構をさらに備えていてもよい。
　駆動型スピーカ１２は、駆動型プロジェクタ１１により表示空間内に投影される映像に合わせた音を出力するユニットである。図２に示されるように、駆動型スピーカ１２においては、駆動部５２の上に反射型スピーカ５１が設置されている。
　反射型スピーカ５１は、情報処理装置１６の制御の下に、表示空間内の所望の位置に出力音を当てて反射させることにより、反射位置に仮想音源を生成するスピーカである。ユーザは、仮想音源の位置から音が出力されているように感じる。反射型スピーカ５１は、反射位置に仮想音源を生成することが可能なスピーカであれば、特に方式は問わない。例えば、反射型スピーカ５１は、鋭い指向性を持つ超指向性スピーカにより構成される。
　なお、後述するように、反射型スピーカ５１の出力音に対する反射音に基づいて、表示空間の空間マップを作成する場合、反射型スピーカ５１から超音波の出力音を出力できるようにすることが望ましい。例えば、反射型スピーカ５１を、超音波からなる搬送波を所定の方式で変調した信号を出力する超音波スピーカ（パラメトリックスピーカ）により構成することが望ましい。
　なお、以下、反射型スピーカ５１が、仮想音源に向けて出力音を出力し、仮想音源において出力音を反射させることを、仮想音源から音を出力させると表現する場合がある。
　駆動部５２は、情報処理装置１５の制御の下に、反射型スピーカ５１の出力方向を制御する。駆動部５２は、パンモータ６１、チルトモータ６２、及び、モータ制御部６３を備える。
　パンモータ６１は、反射型スピーカ５１をパン方向（水平方向）に回転させるモータである。
　チルトモータ６２は、反射型スピーカ５１をチルト方向（垂直方向）に回転させるモータである。
　モータ制御部６３は、情報処理装置１５の制御の下に、パンモータ６１及びチルトモータ６２の回転を制御する。
　なお、駆動部５２を、例えば、ヨー方向（出力音の出力方向の主軸周り）にも回転可能な構成としてもよい。また、駆動部５２は、モータや車輪等の移動機構をさらに備えていてもよい。
　センサ部１３は、カメラ７１、魚眼カメラ７２、及び、マイクロフォン７３を備える。
　カメラ７１は、表示空間内を撮影し、撮影の結果得られた画像（以下、表示空間画像と称する）を情報処理装置１５に供給する。表示空間画像は、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等の検出に用いられる。
　魚眼カメラ７２は、魚眼レンズを備えるカメラにより構成され、超広角の画像を撮影する。魚眼カメラ７２は、撮影の結果得られた画像（以下、魚眼画像と称する）を情報処理装置１５に供給する。魚眼画像は、例えば、ポインティングデバイス８１から出射された赤外光の照射位置（ポインティング位置）の検出に用いられる。
　マイクロフォン７３は、例えば、反射型スピーカ５１からの出力音に対する反射音の検出に用いられる。マイクロフォン７３は、検出した音を示す音声信号を情報処理装置１６に供給する。
　操作部１４は、ポインティングデバイス８１を備える。
　ポインティングデバイス８１は、ユーザが所望の位置を指し示すための操作デバイスである。例えば、ポインティングデバイス８１は、赤外光を照射し、赤外光によりユーザの操作に応じた位置（ポインティング位置）を指し示す。
　なお、ポインティングデバイス８１を、専用のデバイスにより構成してもよいし、スマートフォンやリモートコントローラ等の他の用途にも利用可能な汎用のデバイスにより構成してもよい。
　情報処理装置１５は、例えば、コンピュータ、又は、ＣＰＵ等のプロセッサ及びメモリ等により構成される。情報処理装置１５は、主に駆動型プロジェクタ１１の制御に用いられる。
　情報処理装置１５は、インタフェース（Ｉ／Ｆ）部１０１、ポインティング位置検出部１０２、ユーザ検出部１０３、マップ生成部１０４、記憶部１０５、入力部１０６、及び、映像制御部１０７を備える。
　Ｉ／Ｆ部１０１は、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部１０１は、情報処理装置１６、プロジェクタ３１、デプスセンサ３２、モータ制御部４３、カメラ７１、及び、魚眼カメラ７２との間でデータ等の送受信を行う。また、Ｉ／Ｆ部１０１は、受信したデータ等を情報処理装置１５の各部に供給したり、送信するデータ等を情報処理装置１５の各部から取得したりする。
　なお、Ｉ／Ｆ部１０１の通信方式には、有線又は無線の任意の方式を採用することができる。また、Ｉ／Ｆ部１０１の通信方式を、通信を行う対象毎に変えてもよい。さらに、Ｉ／Ｆ部１０１は、例えば、各通信対象と直接通信を行うようにしてもよいし、ネットワーク等を介して通信を行うようにしてもよい。
　ポインティング位置検出部１０２は、魚眼カメラ７２により撮影された魚眼画像に基づいて、ポインティングデバイス８１によるポインティング位置の検出を行う。ポインティング位置検出部１０２は、検出結果を映像制御部１０７に供給したり、Ｉ／Ｆ部１０１を介して情報処理装置１５に供給したりする。
　なお、ポインティング位置検出部１０２の検出方法には、任意の方法を採用することができる。
　ユーザ検出部１０３は、カメラ７１により撮影された表示空間画像に基づいて、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等を検出する。ユーザ検出部１０３は、検出結果を映像制御部１０７に供給したり、Ｉ／Ｆ部１０１を介して情報処理装置１６に供給したりする。
　なお、ユーザ検出部１０３の検出方法には、任意の方法を採用することができる。
　マップ生成部１０４は、Ｉ／Ｆ部１０１を介して、デプスセンサ３２及びモータ制御部４３を制御して、デプスセンサ３２による表示空間内の距離画像の撮影を制御する。そして、マップ生成部１０４は、距離画像を用いて、表示空間内の空間認識を行い、表示空間内の物体や壁等の３次元形状を示す第１空間マップを生成する。第１空間マップは、例えば、３次元の点群マップからなり、表示空間内の各位置の駆動型プロジェクタ１１（デプスセンサ３２）からの距離を示すデプス情報を含む。
　また、マップ生成部１０４は、Ｉ／Ｆ部１０１を介して、情報処理装置１６から第２空間マップを取得し、第１空間マップと第２空間マップを統合した統合空間マップを生成する。統合空間マップは、例えば、表示空間内の各位置の駆動型プロジェクタ１１（デプスセンサ３２）からの距離を示すデプス情報、各位置の反射特性（例えば、反射率、反射角等）を示す反射特性情報、及び、表示空間内の各位置の映像の表示の可否（映像の投影の可否）を示す表示特性情報を含む。マップ生成部１０４は、生成した統合空間マップを記憶部１０５に記憶させるとともに、Ｉ／Ｆ部１０１を介して、情報処理装置１６に供給する。
　さらに、マップ生成部１０４は、例えば、第１空間マップに基づいて、表示空間内における駆動型スピーカ１２及びマイクロフォン７３等の位置を検出する。マップ生成部１０４は、検出結果を、映像制御部１０７に供給したり、Ｉ／Ｆ部１０１を介して、情報処理装置１６に供給したりする。
　なお、例えば、カメラ７１により撮影された表示空間画像に基づいて、駆動型スピーカ１２及びマイクロフォン７３等の位置を検出するようにしてもよい。
　入力部１０６は、例えば、操作デバイス等により構成され、映像制御部１０７への指令やデータ（例えば、映像データ）等の入力に用いられる。
　映像制御部１０７は、駆動型プロジェクタ１１による映像の表示を制御する。例えば、映像制御部１０７は、Ｉ／Ｆ部１０１を介してプロジェクタ３１を制御して、表示する映像の内容及び表示タイミング等を制御する。また、例えば、映像制御部１０７は、Ｉ／Ｆ部１０１を介してモータ制御部４３を制御して、プロジェクタ３１の映像の投影方向を制御することにより、映像の表示位置を制御する。さらに、映像制御部１０７は、映像の表示位置を示す情報を、Ｉ／Ｆ部１０１を介して情報処理装置１６に供給する。
　情報処理装置１６は、例えば、コンピュータ、或いは、ＣＰＵ等のプロセッサ及びメモリ等により構成される。情報処理装置１６は、主に駆動型スピーカ１２の制御に用いられる。
　情報処理装置１６は、インタフェース（Ｉ／Ｆ）部１２１、マップ生成部１２２、記憶部１２３、入力部１２４、及び、音響制御部１２５を備える。
　Ｉ／Ｆ部１２１は、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部１２１は、情報処理装置１５、反射型スピーカ５１、モータ制御部６３、及び、マイクロフォン７３との間でデータ等の送受信を行う。また、Ｉ／Ｆ部１２１は、受信したデータ等を情報処理装置１６の各部に供給したり、送信するデータ等を情報処理装置１６の各部から取得したりする。
　なお、Ｉ／Ｆ部１２１の通信方式には、有線又は無線の任意の方式を採用することができる。また、Ｉ／Ｆ部１２１の通信方式を、通信を行う対象毎に変えてもよい。さらに、Ｉ／Ｆ部１２１は、例えば、各通信対象と直接通信を行うようにしてもよいし、ネットワーク等を介して通信を行うようにしてもよい。
　マップ生成部１２２は、Ｉ／Ｆ部１２１を介して、反射型スピーカ５１及びモータ制御部６３を制御して、反射型スピーカ５１からの出力音の表示空間内の走査を制御する。そして、マップ生成部１２２は、表示空間内に出力音を走査したときにマイクロフォン７３により検出された反射音の検出結果に基づいて、表示空間内の空間認識を行い、表示空間内の物体や壁等の３次元形状を示す第２空間マップを生成する。第２空間マップは、例えば、３次元の点群マップからなり、表示空間内の各位置の駆動型スピーカ１２（反射型スピーカ５１）からの距離を示すデプス情報、及び、各位置の反射特性を示す反射特性情報を含む。マップ生成部１０４は、生成した第２空間マップを、Ｉ／Ｆ部１２１を介して、情報処理装置１５に供給する。
　また、マップ生成部１２２は、Ｉ／Ｆ部１２１を介して、情報処理装置１５から統合空間マップを取得し、記憶部１２３に記憶させる。
　入力部１２４は、例えば、操作デバイス等により構成され、音響制御部１２５への指令やデータ（例えば、音声データ）等の入力に用いられる。
　音響制御部１２５は、駆動型スピーカ１２による出力音の出力を制御する。例えば、音響制御部１２５は、Ｉ／Ｆ部１２１を介して反射型スピーカ５１を制御して、出力音の内容、音量、及び、出力タイミング等を制御する。また、例えば、音響制御部１２５は、Ｉ／Ｆ部１２１を介してモータ制御部６３を制御して、反射型スピーカ５１の出力方向を制御することにより、出力音の反射位置（すなわち、仮想音源の位置）を制御する。
　なお、以下、説明を分かりやすくするために、情報処理装置１５のＩ／Ｆ部１０１、及び、情報処理装置１６のＩ／Ｆ部１２１の記載を適宜省略する。例えば、マップ生成部１０４が、Ｉ／Ｆ部１０１を介して情報処理装置１６に統合空間マップを供給する場合、単に、マップ生成部１０４が、情報処理装置１６に統合空間マップを供給すると記載する。
｛ＡＶシステム１０の処理｝
　次に、図３乃至図９を参照して、ＡＶシステム１０の処理について説明する。
（空間マップ生成処理）
　まず、図３のフローチャートを参照して、ＡＶシステム１０により実行される空間マップ生成処理について説明する。なお、この処理は、例えば、駆動型プロジェクタ１１及び駆動型スピーカ１２が設置されたとき、又は、駆動型プロジェクタ１１及び駆動型スピーカ１２の少なくとも一方の設置位置が移動したとき開始される。
　ステップＳ１において、ＡＶシステム１０は、表示空間内の測定を行う。具体的には、マップ生成部１０４は、図４に示されるように、モータ制御部４３を制御して、駆動部３３をパン方向及びチルト方向に回転させ、デプスセンサ３２に表示空間内の全ての領域を走査させる。これにより、デプスセンサ３２により表示空間内の全ての領域が撮影され、各領域のデプスセンサ３２からの距離を示す距離画像が得られる。デプスセンサ３２は、撮影した距離画像をマップ生成部１０４に供給する。
　また、マップ生成部１２２は、図４に示されるように、モータ制御部６３を制御して、駆動部５２をパン方向及びチルト方向に回転させ、反射型スピーカ５１から出力される出力音（超音波信号）を表示空間内の全ての領域を走査させる。これにより、表示空間内の全ての領域からの出力音に対する反射音がマイクロフォン７３により検出される。マイクロフォン７３は、検出結果を示す音声信号をマップ生成部１２２に供給する。
　なお、図４では、図を分かりやすくするために、プロジェクタ３１の図示を省略している。
　ステップＳ２において、マップ生成部１０４及びマップ生成部１２２は、空間マップを生成する。具体的には、マップ生成部１０４は、デプスセンサ３２により撮影された距離画像に基づいて、第１空間マップを生成する。第１空間マップは、表示空間内の各位置のデプスセンサ３２からの距離を示すデプス情報を含む。
　なお、デプスセンサ３２は、赤外光の反射を利用しているため、黒壁、コンクリート、ガラス等の赤外光の反射を利用できない領域のデプス情報が、第１空間マップにおいて欠落する。
　また、マップ生成部１０４は、第１空間マップに基づいて、表示空間内における駆動型スピーカ１２及びマイクロフォン７３等の位置を検出する。マップ生成部１０４は、検出結果を情報処理装置１６のマップ生成部１２２に供給する。
　マップ生成部１２２は、マイクロフォン７３からの音声信号に基づいて、第２空間マップを生成する。具体的には、マップ生成部１２２は、出力音の出力方向、反射型スピーカ５１及びマイクロフォン７３の位置、並びに、出力音を出力してから反射音を受信するまでの時間に基づいて、反射型スピーカ５１及びマイクロフォン７３からの表示空間内の各位置までの距離を算出する。
　また、マップ生成部１２２は、反射音の音量に基づいて、表示空間内の各位置の反射率を算出する。例えば、図５に示されるように、反射型スピーカ５１から出力された出力音が反射位置Ｐ１で反射され、その反射音をマイクロフォン７３により検出した場合について説明する。なお、以下、反射型スピーカ５１と反射位置Ｐ１の間の距離をＬ１とし、反射位置Ｐ１とマイクロフォン７３の間の距離をＬ２とする。
　ここで、反射位置Ｐ１において、出力音が減衰することなく全てマイクロフォン７３の方向に反射されると仮定した場合（反射率１００％であると仮定した場合）、マイクロフォン７３により検出される反射音の出力音に対する減衰量は、距離Ｌ１＋距離Ｌ２により推定することができる。以下、この場合の減衰量を基準減衰量と称する。
　一方、実際には、出力音は反射位置Ｐ１において拡散又は吸収されるため、マイクロフォン７３の方向に反射される反射音の音量は小さくなる。そこで、マップ生成部１２２は、マイクロフォン７３により実際に検出される反射音の出力音に対する減衰量と基準減衰量との比率により、反射位置Ｐ１の反射率を推定する。
　そして、マップ生成部１２２は、表示空間内の各位置の反射型スピーカ５１からの距離を示すデプス情報、及び、表示空間内の各位置の反射率を示す反射特性情報を含む第２空間マップを生成する。
　なお、赤外光の反射が利用できず、第１空間マップにおいてデプス情報が欠落している領域であっても、出力音（超音波信号）の反射が利用できる領域であれば、その領域のデプス情報を得ることができる。
　マップ生成部１２２は、生成した第２空間マップを情報処理装置１５のマップ生成部１０４に供給する。
　ステップＳ３において、マップ生成部１０４は、空間マップを統合する。具体的には、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している領域のデプス情報を、第２空間マップのデプス情報で補う。ただし、第２空間マップのデプス情報は、反射型スピーカ５１の位置が基準になっているため、マップ生成部１０４は、デプスセンサ３２の位置を基準とするデプス情報に変換する。
　また、マップ生成部１０４は、表示空間内の各位置が映像の表示が可能であるか否かを示す表示特性情報を生成する。例えば、マップ生成部１０４は、第１空間マップにおいてデプス情報が得られている位置を、映像の表示が可能な位置であると判定する。一方、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している位置の硬度や表面材質を、第２空間マップの反射特性情報に基づいて推定する。そして、マップ生成部１０４は、推定した硬度及び表面材質に基づいて、第１空間マップにおいてデプス情報が欠落している位置が映像の表示が可能であるか否かを判定する。
　なお、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している全ての位置を、映像の表示が困難な位置であると判定するようにしてもよい。また、例えば、情報処理装置１６のマップ生成部１２２が、表示特性情報を生成するようにしてもよい。
　さらに、マップ生成部１０４は、第２空間マップの表示空間内の各位置の反射特性情報を、そのまま統合空間マップの反射特性情報として用いる。
　このようにして、マップ生成部１０４は、表示空間内の各位置のデプス情報、表示特性情報、及び、反射特性情報を含む統合空間マップを生成する。
　マップ生成部１０４は、生成した統合空間マップを記憶部１０５に記憶させる。また、マップ生成部１０４は、統合空間マップを情報処理装置１６のマップ生成部１２２に供給する。
　マップ生成部１２２は、統合空間マップのデプス情報を、デプスセンサ３２の位置を基準にした情報から反射型スピーカ５１の位置を基準とした情報に変換する。マップ生成部１２２は、変換後の統合空間マップを記憶部１２３に記憶させる。
　その後、空間マップ生成処理は終了する。
（表示音響制御処理）
　次に、図６のフローチャートを参照して、ＡＶシステム１０により実行される映像音響制御処理について説明する。
　ステップＳ５１において、情報処理装置１５は、表示位置を設定する。ここで、表示位置の設定方法の例について説明する。
　まず、図７を参照して、眼鏡型のポインティングデバイス８１を用いて表示位置を設定する場合の例について説明する。なお、図７では、図を分かりやすくするために、デプスセンサ３２の図示を省略している。
　例えば、ポインティングデバイス８１を装着したユーザＵ１が、映像を表示させたい方向に顔を向けると、ユーザＵ１が顔を向けた方向にポインティングデバイス８１から赤外光が出射される。そして、ポインティング位置検出部１０２は、魚眼カメラ７２により撮影された魚眼画像に基づいて、ポインティングデバイス８１により指定されたポインティング位置Ｐ２を検出する。ポインティング位置検出部１０２は、ポインティング位置Ｐ２の検出結果を映像制御部１０７に供給する。
　映像制御部１０７は、ポインティング位置Ｐ２を基準にして表示位置を設定する。例えば、映像制御部１０７は、プロジェクタ３１からポインティング位置Ｐ２までの距離に基づいて、映像が投影される投影領域の大きさを算出する。そして、映像制御部１０７は、投影領域の中心がポインティング位置Ｐ２と一致するように投影領域の位置を設定する。
　次に、映像制御部１０７は、統合空間マップの表示特性情報に基づいて、設定した投影領域内に映像の表示が困難な領域が含まれるか否かを確認する。そして、映像制御部１０７は、投影領域内に映像の表示が困難な領域が含まれる場合、その領域を含まないように、投影領域の位置を補正する。このとき、例えば、投影領域の移動量が最小になるように、投影領域の位置が補正される。
　次に、図８を参照して、ユーザの視線の方向に基づいて表示位置を設定する場合の例について説明する。なお、図８では、図を分かりやすくするために、デプスセンサ３２の図示を省略している。
　例えば、ユーザ検出部１０３は、カメラ７１により撮影された表示空間画像に基づいて、ユーザＵ２の視線方向Ｓ１を検出する。ユーザ検出部１０３は、視線方向Ｓ１の検出結果を映像制御部１０７に供給する。映像制御部１０７は、統合空間マップのデプス情報に基づいて、視線方向Ｓ１と表示空間内の面の交点Ｐ３を検出する。そして、映像制御部１０７は、ポインティング位置Ｐ２を基準にした場合と同様の方法により、交点Ｐ３を基準にして投影領域の位置を設定する。
　なお、表示位置の設定方法は、この例に限定されるものではない。例えば、映像制御部１０７は、ユーザがジェスチャにより指定した位置（例えば、指さした位置）をポインティング位置として検出し、検出したポインティング位置を基準にして表示位置を設定することが可能である。
　映像制御部１０７は、設定した表示位置（投影領域の位置）を示す情報を、情報処理装置１６の音響制御部１２５に供給する。
　ステップＳ５２において、音響制御部１２５は、表示位置に基づいて、仮想音源の位置を設定する。例えば、音響制御部１２５は、映像制御部１０７により設定された投影領域の中心を仮想音源の位置に設定する。
　次に、音響制御部１２５は、統合空間マップの反射特性情報に基づいて、設定した仮想音源の位置が適切であるか否かを判定する。例えば、音響制御部１２５は、仮想音源の位置の反射率が所定の閾値以上である場合、仮想音源の位置が適切であると判定する。一方、音響制御部１２５は、仮想音源の位置の反射率が所定の閾値未満である場合、仮想音源の位置が不適切であると判定する。
　そして、音響制御部１２５は、仮想音源の位置が不適切であると判定した場合、仮想音源の位置を補正する。例えば、音響制御部１２５は、投影領域内の反射率が所定の閾値以上の位置のうち、現在の仮想音源の位置から最も近い位置に仮想音源の位置を補正する。なお、音響制御部１２５は、例えば、投影領域内に反射率が所定の閾値以上の位置が存在しない場合、投影領域の外で反射率が所定の閾値以上の位置のうち、現在の仮想音源の位置から最も近い位置に仮想音源の位置を補正する。
　ステップＳ５３において、音響制御部１２５は、仮想音源の位置に基づいて、音量を設定する。例えば、図９に示されるように、仮想音源が位置Ｐ４に設定されている場合について説明する。
　音響制御部１２５は、情報処理装置１５のユーザ検出部１０３から、ユーザＵ３の位置の検出結果を取得する。また、音響制御部１２５は、統合空間マップに基づいて、反射型スピーカ５１と仮想音源Ｐ４との間の距離Ｌ３、仮想音源Ｐ４とユーザＵ３との間の距離Ｌ４、並びに、仮想音源Ｐ４の反射率を求める。音響制御部１２５は、距離Ｌ３、距離Ｌ４、及び、仮想音源Ｐ４の反射率に基づいて、ユーザＵ３の位置において仮想音源Ｐ４からの反射音の音量が所定のレベルになる出力音の音量を算出する。音響制御部１２５は、算出した音量を出力音の音量に設定する。
　なお、例えば、距離Ｌ３又は距離Ｌ４のいずれか一方のみを用いて、音量を算出するようにしてもよい。
　また、ユーザＵ３の位置における音量のレベルは、例えば、仮想音源Ｐ４までの距離に関わらず一定になるように設定してもよいし、仮想音源Ｐ４までの距離に応じて変化させるようにしてもよい。
　後者の場合、例えば、距離Ｌ３と距離Ｌ４の合計が長くなるほど、ユーザＵ３の位置における音量のレベルを小さくし、距離Ｌ３と距離Ｌ４の合計が短くなるほど、ユーザＵ３の位置における音量のレベルを大きくするようにしてもよい。或いは、例えば、距離Ｌ３が長くなるほど、ユーザＵ３の位置における音量のレベルを小さくし、距離Ｌ３が短くなるほど、ユーザＵ３の位置における音量のレベルを大きくするようにしてもよい。或いは、例えば、距離Ｌ４が長くなるほど、ユーザＵ３の位置における音量のレベルを小さくし、距離Ｌ４が短くなるほど、ユーザＵ３の位置における音量のレベルを大きくするようにしてもよい。
　ステップＳ５４において、ＡＶシステム１０は、設定に従って、映像及び音の出力を開始する。具体的には、映像制御部１０７は、モータ制御部４３を制御して、プロジェクタ３１からの映像が、設定した投影領域に投影されるようにプロジェクタ３１の向きを調整する。音響制御部１２５は、モータ制御部６３を制御して、反射型スピーカ５１からの出力音が、設定した仮想音源の位置に当たるように反射型スピーカ５１の向きを調整する。
　そして、映像制御部１０７と音響制御部１２５は、同期して、プロジェクタ３１からの映像の投影、及び、反射型スピーカ５１からの出力音の出力を開始する。このとき、映像制御部１０７は、例えば、投影される映像が歪まないように幾何補正等を行う。また、音響制御部１２５は、出力音の音量をステップＳ５３の処理で設定した音量に設定する。
　ステップＳ５５において、映像制御部１０７は、表示位置を変更するか否かを判定する。表示位置を変更しないと判定された場合、処理はステップＳ５６に進む。
　ステップＳ５６において、音響制御部１２５は、音量を変更するか否かを判定する。音量を変更しないと判定された場合、処理はステップＳ５７に進む。
　ステップＳ５７において、映像制御部１０７は、映像及び音を停止するか否かを判定する。映像及び音を停止しないと判定された場合、処理はステップＳ５５に戻る。
　その後、ステップＳ５５において、表示位置を変更すると判定されるか、ステップＳ５６において音量を変更すると判定されるか、ステップＳ５７において映像及び音を停止すると判定されるまで、ステップＳ５５乃至Ｓ５７の処理が繰り返し実行される。
　一方、ステップＳ５５において、映像制御部１０７は、例えば、表示位置を変更するトリガを検出した場合、表示位置を変更すると判定し、処理はステップＳ５１に戻る。ここで、表示位置を変更するトリガとは、例えば、駆動型プロジェクタ１１の移動、ポインティングデバイス８１若しくはジェスチャにより指定されるポインティング位置の移動、ユーザの視線の移動等である。その後、ステップＳ５１以降の処理が実行され、表示位置が変更されるとともに、表示位置の変更に伴い、仮想音源の位置及び音量が変更される。
　また、ステップＳ５６において、音響制御部１２５は、例えば、音量を変更するトリガを検出した場合、音量を変更すると判定し、処理はステップＳ５３に戻る。ここで、音量を変更するトリガとは、例えば、駆動型スピーカ１２の移動、ユーザの移動等である。その後、ステップＳ５３以降の処理が実行され、表示位置はそのままで、音量が変更される。
　さらに、ステップＳ５７において、映像制御部１０７は、例えば、入力部１０６を介して、映像及び音の停止の指令が入力された場合、映像及び音を停止すると判定し、処理はステップＳ５８に進む。
　ステップＳ５８において、ＡＶシステム１０は、映像及び音を停止する。具体的には、映像制御部１０７は、音響制御部１２５に出力音の停止を指令する。そして、映像制御部１０７は、プロジェクタ３１から映像の投影を停止させる。また、音響制御部１２５は、反射型スピーカ５１からの出力音の出力を停止させる。
　その後、映像音響制御処理は終了する。
　以上のようにして、ポインティング位置や視線の動きに合わせて、ユーザが所望する位置に映像及び仮想音源を自動的に移動させることができる。また、表示が困難な位置を避けて映像が投影されるため、画質が良好に保たれる。
　さらに、映像の表示位置に合わせて仮想音源の位置が設定されるので、ユーザは、映像から音が出ているように感じ、臨場感が増し、音に対する満足度が向上する。
　さらに、仮想音源の位置や反射率に基づいて、出力音の音量が適切に調整されたり、反射率に基づいて仮想音源の位置が補正されたりするので、音に対する違和感が生じるのを防止することができる。
＜２．変形例＞
　以下、上述した本技術の実施の形態の変形例について説明する。
｛映像及び仮想音源の制御に関する変形例｝
　以上の説明では、ポインティング位置又はユーザの視線の動きに合わせて、映像の表示位置及び仮想音源の位置を移動させる例を示したが、ポインティング位置又はユーザの視線が所定の条件を満たした場合に映像を表示したり、音を出力したりするようにしてもよい。
　例えば、表示空間内における映像の表示位置及び表示内容を予め決めておき、統合空間マップにその情報を予め登録しておく。そして、例えば、ポインティング位置が統合空間マップに設定されている表示位置と一致しない場合、すなわち、ポインティング位置において表示する映像が存在しない場合、映像制御部１０７及び音響制御部１２５は、映像の表示及び出力音の出力を行わないように制御する。一方、例えば、ポインティング位置が統合空間マップに設定されている表示位置と一致した場合、すなわち、ポインティング位置において表示する映像が存在する場合、映像制御部１０７は、その表示位置に対して設定されている表示内容の映像を表示させる。また、音響制御部１２５は、その表示位置に基づいて仮想音源の位置を設定し、表示する映像に対応する出力音を出力させる。
　或いは、例えば、ユーザの視線の位置が、統合空間マップに設定されている表示位置と一致しない場合、すなわち、ユーザの視線の方向において表示する映像が存在しない場合、映像制御部１０７及び音響制御部１２５は、映像の表示及び出力音の出力を行わないように制御する。一方、例えば、ユーザの視線の位置が、統合空間マップに設定されている表示位置と一致した場合、すなわち、ユーザの視線の方向において表示する映像が存在する場合、映像制御部１０７は、その表示位置に対して設定されている表示内容の映像を表示させる。また、音響制御部１２５は、その表示位置に基づいて仮想音源の位置を設定し、表示する映像に対応する出力音を出力させる。
　この技術は、例えば、ゲームに応用することができる。例えば、表示空間内において敵の位置を予め設定しておく。ユーザは、ポインティング位置又は視線を動かして、表示空間内の敵を探す。そして、ポインティング位置又は視線が、敵が存在する位置と一致した場合、映像制御部１０７は、その位置に敵の映像を投影し、音響制御部１２５は、表示する敵の位置に基づいて仮想音源の位置を設定し、敵の音声の出力を開始する。これにより、ゲームの臨場感が向上する。
　なお、映像の表示位置は、１カ所だけでなく、複数個所に設定することが可能である。また、映像の表示位置は、必ずしも固定しておく必要はなく、時間とともに動かすようにしてもよい。これにより、例えば、上述のゲームの例では、敵を動かすことができ、動いている敵の位置にポインティング位置又は視線を合わせることにより、敵の映像及び音声の出力を開始させることができる。
　また、上述のゲームの例では、例えば、ポインティングデバイス８１を銃型とし、ポインティングデバイス８１を向けて銃を撃つ動作をした場合に、その位置に敵が存在するとき、敵が倒れる映像を表示したり、敵が倒れる音を出力したりすることも可能である。
　また、音響制御部１２５は、表示空間内に設定されている表示位置に仮想音源を設定し、その仮想音源から音を出力させることにより、ユーザに表示位置を知らせるようにしてもよい。そして、ユーザが音の出力される方向、すなわち仮想音源の方向にポインティング位置又は視線を動かしたときに、その位置に映像を表示するようにしてもよい。これにより、例えば、上述のゲームの例において、映像を表示せずに、敵の位置を音で知らせることができる。また、敵の動きに合わせて、仮想音源の位置を動かすことにより、敵が近づいたり、遠ざかったりする様子をユーザに認識させることができる。
　また、ＡＶシステム１０では、仮想音源の位置を動かして、ユーザに映像の表示位置を知らせることも可能である。例えば、ユーザが映像とは別の方向に視線を向けている場合、音響制御部１２５は、仮想音源の位置をユーザの視線の方向に設定し、仮想音源から音を出力させる。そして、音響制御部１２５は、仮想音源の位置を映像の表示位置に向けて徐々に動かすことにより、ユーザの注意を映像の方向に向け、映像の存在を知らせることが可能である。
　また、映像の内容に合わせて仮想音源の位置を動かすようにしてもよい。例えば、映像内に移動体が存在する場合、音響制御部１２５は、移動体の動きに合わせて仮想音源の位置を動かすことにより、その移動体から音が出ているようにユーザに感じさせることができる。例えば、映像内のキャラクタに合わせて仮想音源を移動させることにより、ユーザは、そのキャラクタが自分に対して話しかけているような体験をすることができる。
　なお、移動体が画角内から画角外に移動した場合、仮想音源の位置を画角内から画角外に動かすようにしてもよい。逆に、移動体が画角外から画角内に移動した場合、仮想音源の位置を画角外から画角内に動かすようにしてもよい。例えば、車が走り去る場合、車の動きに合わせて仮想音源の位置を画角内から画角外に移動させることにより、より臨場感を増すことができる。また、例えば、野球のバッターが打ったボールが、ユーザをかすめて後ろに飛んでいくような臨場感のある体験を実現することができる。
　また、駆動型スピーカ１２を複数台設けることにより、複数の仮想音源を設置するようにしてもよい。これにより、例えば、映像内の複数の移動体に対して、それぞれ異なる仮想音源を設置して、各移動体の動きに合わせて仮想音源の位置を個別に動かすことができ、より臨場感を高めることができる。
　さらに、例えば、サラウンドシステムにおけるスピーカの配置と同様に仮想音源を配置することにより、サラウンドシステムを実現することができる。この場合、駆動型スピーカ１２の設置位置は、通常のスピーカの設置位置より自由度が高いため、より簡単にサラウンドシステムを実現することができる。
　また、例えば、１つの映像の投影領域を複数の領域に分け、各領域に対して仮想音源を配置し、各領域の音の出力をそれぞれ対応する仮想音源を中心に分担することにより、より臨場感を高めることができる。なお、仮想音源の位置は、領域内であっても、領域外であってもよい。例えば、投影領域を２×２の４つの領域に分け、投影領域内の４隅、又は、投影領域の外であって、投影領域の４隅の近傍に仮想音源を配置し、各領域内の映像に対応する音を各領域に近い仮想音源から主に出力させることにより、より臨場感を高めることができる。
　さらに、本技術は、プロジェクタ３１が駆動型でなく、手で位置や向きを変える場合にも適用することができる。例えば、音響制御部１２５は、プロジェクタ３１の位置や向きが手で変えられた場合に、上述した方法により、表示位置に基づいて仮想音源の位置を制御したり、仮想音源の位置に基づいて反射型スピーカ５１の出力音の音量を制御したりするようにすればよい。
　なお、プロジェクタ３１の位置や向きは、例えば、プロジェクタ３１に加速度センサやジャイロセンサ等を設けることにより検出することができる。
　また、本技術は、プロジェクタ３１の位置が固定され、映像の表示位置が固定されている場合にも適用することができる。すなわち、音響制御部１２５は、固定されている映像の表示位置や映像の内容に基づいて、上述した方法により、仮想音源の位置を制御したり、反射型スピーカ５１の出力音の音量を制御したりすることが可能である。
　さらに、本技術は、投影型のプロジェクタ３１ではなく、スクリーンを有する表示装置を用いる場合にも適用することができる。例えば、音響制御部１２５は、映像が表示されるスクリーンの位置や映像の内容に基づいて、上述した方法により、仮想音源の位置を制御したり、反射型スピーカ５１の出力音の音量を制御したりすることが可能である。また、例えば、スクリーンを複数の領域に分け、各領域に対して仮想音源をスクリーン内又はスクリーンの外に配置し、各領域の音の出力をそれぞれ対応する仮想音源を中心に分担することにより、より臨場感を高めることができる。
　また、本技術は、反射型スピーカ５１が駆動型でなく、手で位置や向きを変える場合にも適用することができる。具体的には、反射型スピーカ５１が駆動型でない場合、反射型スピーカ５１を設置することにより、仮想音源の位置が一意に定まる。そして、例えば、音響制御部１２５は、設定された仮想音源までの距離や仮想音源の位置の反射率に基づいて、上述した方法により、反射型スピーカ５１からの出力音の音量を制御することが可能である。
　さらに、音響制御部１２５は、反射率以外の反射特性を用いて、仮想音源の位置を設定するようにしてもよい。例えば、音響制御部１２５は、統合空間マップのデプス情報に基づいて、表示空間の形状を認識し、出力音に対する反射位置の角度を算出することにより、反射特性の一種である反射音の反射方向（反射角）を推定することができる。そこで、例えば、音響制御部１２５は、出力音がユーザの存在する方向に多く反射される位置を仮想音源に設定するようにしてもよい。これにより、ユーザに確実に音を聞かせることができるようになる。さらに、例えば、音響制御部１２５は、表示空間の表面材質に基づいて、出力音をほぼ正反射する位置を仮想音源に設定することにより、特定の位置のユーザにのみ音を聞かせるようにすることも可能である。
｛システムの構成例に関する変形例｝
　図１のＡＶシステム１０の構成例は、その一例であり、必要に応じて変更することが可能である。
　例えば、情報処理装置１５と情報処理装置１６の機能の分担を変更することが可能である。また、例えば、情報処理装置１５と情報処理装置１６を１つにまとめることが可能である。
　さらに、例えば、情報処理装置１５の一部又は全部の機能を駆動型プロジェクタ１１に設けたり、情報処理装置１５及び情報処理装置１６の一部又は全部の機能を駆動型プロジェクタ１１に設けたりすることが可能である。また、例えば、情報処理装置１５又は情報処理装置１６に駆動型プロジェクタ１１を設けたりすることが可能である。
　さらに、例えば、情報処理装置１６の一部又は全部の機能を駆動型スピーカ１２に設けたり、情報処理装置１５及び情報処理装置１６の一部又は全部の機能を駆動型スピーカ１２に設けたりすることが可能である。また、例えば、情報処理装置１５又は情報処理装置１６に駆動型スピーカ１２を設けたりすることが可能である。
　また、例えば、図１０及び図１１に示されるように、プロジェクタ３１と反射型スピーカ５１を一体化させてもよい。図１０は、プロジェクタ３１と反射型スピーカ５１を一体化させたＡＶシステム２００の機能の構成例を示すブロック図である。図１１は、ＡＶシステム２００を構成する駆動型プロジェクタ２０１の外観の構成例を示す模式図である。
　なお、図１０及び図１１において、図１及び図２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　ＡＶシステム２００は、図１のＡＶシステム１０と比較して、駆動型プロジェクタ１１及び駆動型スピーカ１２の代わりに、駆動型プロジェクタ１１が設けられ、情報処理装置１５及び情報処理装置１６の代わりに情報処理装置２０２が設けられている点が異なる。
　図１１に示されるように、駆動型プロジェクタ２０１は、図２の駆動型プロジェクタ１１のプロジェクタ３１の上に反射型スピーカ５１を設置した構成を有している。従って、プロジェクタ３１と反射型スピーカ５１は、駆動部３３によりパン方向及びチルト方向に回転するとともに、常に同じ方向に向けられる。従って、プロジェクタ３１の表示位置と反射型スピーカ５１の仮想音源の位置とが、常に一致する。
　情報処理装置２０２は、インタフェース（Ｉ／Ｆ）部２２１、ポインティング位置検出部２２２、ユーザ検出部２２３、マップ生成部２２４、記憶部２２５、入力部２２６、及び、制御部２２７を備える。
　Ｉ／Ｆ部２２１は、図１のＩ／Ｆ部１０１やＩ／Ｆ部１２１と同様に、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部２２１は、プロジェクタ３１、デプスセンサ３２、モータ制御部４３、反射型スピーカ５１、カメラ７１、魚眼カメラ７２、及び、マイクロフォン７３との間でデータ等の送受信を行う。また、Ｉ／Ｆ部２２１は、受信したデータ等を情報処理装置２０２の各部に供給したり、送信するデータ等を情報処理装置２０２の各部から取得したりする。
　ポインティング位置検出部２２２は、図１のポインティング位置検出部１０２と同様に、魚眼カメラ７２により撮影された魚眼画像に基づいて、ポインティングデバイス８１によるポインティング位置の検出を行う。ポインティング位置検出部２２２は、検出結果を制御部２２７に供給する。
　ユーザ検出部２２３は、図１のユーザ検出部１０３と同様に、カメラ７１により撮影された表示空間画像に基づいて、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等を検出する。ユーザ検出部１０３は、検出結果を制御部２２７に供給する。
　マップ生成部２２４は、図１のマップ生成部１０４とマップ生成部１２２の機能を併せ持つ。例えば、マップ生成部２２４は、Ｉ／Ｆ部２２１を介して、デプスセンサ３２及びモータ制御部４３を制御して、デプスセンサ３２による表示空間内の距離画像の撮影を制御する。そして、マップ生成部２２４は、図１のマップ生成部１０４と同様に、距離画像を用いて、第１空間マップを生成する。
　また、マップ生成部２２４は、Ｉ／Ｆ部２２１を介して、反射型スピーカ５１及びモータ制御部４３を制御して、反射型スピーカ５１からの出力音の表示空間内の走査を制御する。そして、マップ生成部２２４は、図１のマップ生成部１２２と同様に、表示空間内に出力音を走査したときにマイクロフォン７３により検出される反射音の検出結果に基づいて、第２空間マップを生成する。
　さらに、マップ生成部２２４は、図１のマップ生成部１０４と同様に、第１空間マップと第２空間マップを統合した統合空間マップを生成する。マップ生成部２２４は、生成した統合空間マップを記憶部２２５に記憶させる。
　また、マップ生成部２２４は、図１のマップ生成部１０４と同様に、例えば、第１空間マップに基づいて、表示空間内におけるマイクロフォン７３等の位置を検出する。マップ生成部１０４は、検出結果を制御部２２７に供給する。
　入力部２２６は、例えば、操作デバイス等により構成され、制御部２２７への指令やデータ（例えば、映像データ、音声データ）等の入力に用いられる。
　制御部２２７は、図１の映像制御部１０７と音響制御部１２５の機能を併せ持ち、映像制御部２３１及び音響制御部２３２を備える。
　映像制御部２３１は、駆動型プロジェクタ２０１による映像の表示、及び、反射型スピーカ５１による仮想音源の位置を制御する。例えば、映像制御部２３１は、Ｉ／Ｆ部２２１を介してプロジェクタ３１を制御して、表示する映像の内容及び表示タイミング等を制御する。また、例えば、映像制御部２３１は、Ｉ／Ｆ部２２１を介してモータ制御部４３を制御して、プロジェクタ３１の映像の投影方向、及び、反射型スピーカ５１の出力方向を制御することにより、映像の表示位置、及び、出力音の反射位置（すなわち、仮想音源の位置）を制御する。
　音響制御部２３２は、反射型スピーカ５１による出力音の出力を制御する。例えば、音響制御部２３２は、Ｉ／Ｆ部１２１を介して反射型スピーカ５１を制御して、出力音の内容、音量、及び、出力タイミング等を制御する。
　ＡＶシステム２００では、駆動部３３のみを制御することにより、プロジェクタ３１と反射型スピーカ５１の向きを同軸制御できるので、制御処理がシンプルになる。また、映像の表示位置と仮想音源の位置を容易に合わせることができる。ただし、ＡＶシステム２００では、ＡＶシステム１０と比較して、仮想音源の位置制御の柔軟性が低下する。例えば、映像の表示位置と異なる位置に仮想音源の位置を設定することが困難になる。
　さらに、以上の説明では、プロジェクタ３１の向きを変えることにより、表示位置を移動させる例を示したが、例えば、プロジェクタ３１から投影される映像を鏡等の反射体で反射させるとともに、反射体の向きを変えることにより、表示位置を移動させるようにしてもよい。同様に、以上の説明では、反射型スピーカ５１の向きを変えることにより、仮想音源の位置を移動させる例を示したが、例えば、反射型スピーカ５１から出力される出力音を鏡等の反射体で反射させるとともに、反射体の向きを変えることにより、仮想音源の位置を移動させるようにしてもよい。
　また、例えば、デプスセンサ３２以外のセンサを用いて、表示空間内のデプス情報を取得するようにしてもよい。
｛その他の変形例｝
　なお、壁、天井、床、スクリーン、カーテン等の平面状の物体だけでなく、例えば、本、ペットボトル等の立体的な物体に映像を投影するとともに、物体の表面に仮想音源を設定することにより、当該物体から音が聞こえてくるような体験を実現することができる。
　また、以上の説明では、第１空間マップと第２空間マップを統合した統合空間マップを生成し、用いる例を示したが、いずれか一方のみを生成し、用いることも可能である。例えば、第１空間マップのみを用いる場合、仮想音源の位置の反射率に基づく音量制御を行わずに、仮想音源までの距離のみに基づいて音量制御を行うようにすればよい。
　さらに、例えば、表示空間内の各位置の反射特性をより詳細に分析して、音量以外の出力音の特性を制御したり、音量と他の特性を制御したりするようにしてもよい。例えば、各位置の周波数毎の反射特性を分析し、仮想位置の反射特性に応じて、出力音の周波数特性を制御するようにしてもよい。例えば、低音に比べて高音の反射率が悪い位置に仮想音源が設定された場合、出力音の高周波成分を低周波成分より強調するようにしてもよい。
　また、例えば、出力音を時分割して、左側の音、右側の音を交互に出力するとともに、左右の音の切り替えに同期して、反射型スピーカ５１の向きを左右に振ることにより、１台の反射型スピーカ５１でステレオ再生を実現することができる。
｛コンピュータの構成例｝
　上述した情報処理装置１５、情報処理装置１６、及び、情報処理装置２０２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、例えば、本技術は以下のような構成も取ることができる。
（１）
　反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御部を
　備える情報処理装置。
（２）
　前記音響制御部は、前記反射型スピーカから前記反射位置までの距離、及び、前記反射位置からユーザまでの距離のうち少なくとも一方に基づいて、前記出力音の出力を制御する
　前記（１）に記載の情報処理装置。
（３）
　前記音響制御部は、前記反射位置の反射特性に基づいて、前記出力音の出力を制御する
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記反射型スピーカは、超音波の前記出力音を出力し、前記出力音の出力方向が可変であり、
　前記反射型スピーカが前記出力音を反射させる空間内において前記出力音を走査させ、反射音の検出結果に基づいて、前記空間内の反射特性を含む空間マップを生成するマップ生成部を
　さらに備える前記（３）に記載の情報処理装置。
（５）
　前記マップ生成部は、前記反射音の検出結果に基づいて、前記空間の３次元形状を含む前記空間マップを生成する
　前記（４）に記載の情報処理装置。
（６）
　前記反射型スピーカは、前記出力音の出力方向が可変であり、
　前記音響制御部は、前記反射型スピーカからの前記出力音の出力方向により前記反射位置を制御する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（７）
　前記音響制御部は、前記出力音が対応する映像の表示位置に基づいて、前記反射位置を制御する
　前記（６）に記載の情報処理装置。
（８）
　前記音響制御部は、前記反射型スピーカが前記出力音を反射させる空間内の反射特性に基づいて、前記反射位置を制御する
　前記（６）又は（７）に記載の情報処理装置。
（９）
　前記音響制御部は、ユーザにより指定された位置であるポインティング位置及びユーザの視線の方向のうち少なくとも一方に基づいて、前記反射位置を制御する
　前記（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記音響制御部は、前記ポインティング位置において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させる
　前記（９）に記載の情報処理装置。
（１１）
　前記ポインティング位置に基づいて、映像の表示を制御する映像制御部を
　さらに備え、
　前記映像制御部は、前記ポインティング位置において表示する映像が存在する場合、当該映像を前記ポインティング位置に表示させる
　前記（１０）に記載の情報処理装置。
（１２）
　前記音響制御部は、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させる
　前記（９）に記載の情報処理装置。
（１３）
　前記ユーザの視線の方向に基づいて、映像の表示を制御する映像制御部を
　さらに備え、
　前記映像制御部は、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像を前記ユーザの視線の方向に表示させる
　前記（１２）に記載の情報処理装置。
（１４）
　前記音響制御部は、前記出力音が対応する映像の内容に基づいて、前記反射位置を制御する
　前記（６）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記音響制御部は、前記映像内の移動体の動きに基づいて、前記反射位置を制御する
　前記（１４）に記載の情報処理装置。
（１６）
　前記音響制御部は、前記出力音の特性を制御する
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記反射型スピーカを
　さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　映像の投影方向が可変のプロジェクタを
　さらに備え、
　前記反射型スピーカは、前記出力音の出力方向が可変である
　前記（１７）に記載の情報処理装置。
（１９）
　反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを
　含む情報処理方法。
（２０）
　反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを
　含む処理をコンピュータに実行させるためのプログラム。
　１０　ＡＶシステム，　１１　駆動型プロジェクタ，　１２　駆動型スピーカ，　１３　センサ部，　１４　操作部，　１５，１６　情報処理装置，　３１　プロジェクタ，　３２　デプスセンサ，　３３　駆動部，　４１　パンモータ，　４２　チルトモータ，　４３　モータ制御部，　５１　反射型スピーカ，　５２　駆動部，　６１　パンモータ，　６２　チルトモータ，　６３　モータ制御部，　７１　カメラ，　７２　魚眼カメラ，　７３　マイクロフォン，　８１　ポインティングデバイス，　１０２　ポインティング位置検出部，　１０３　ユーザ検出部，　１０４　マップ生成部，　１０７　映像制御部，　１２２　マップ生成部，　１２５　音響制御部，　２００　ＡＶシステム，　２０１　駆動型プロジェクタ，　２０２　情報処理装置，　２２２　ポインティング位置検出部，　２２３　ユーザ検出部，　２２４　マップ生成部，　２２７　制御部，　２３１　映像制御部，　２３２　音響制御部

Claims (20)

  1. 　反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御部を
    　備える情報処理装置。
  2. 　前記音響制御部は、前記反射型スピーカから前記反射位置までの距離、及び、前記反射位置からユーザまでの距離のうち少なくとも一方に基づいて、前記出力音の出力を制御する
    　請求項１に記載の情報処理装置。
  3. 　前記音響制御部は、前記反射位置の反射特性に基づいて、前記出力音の出力を制御する
    　請求項１に記載の情報処理装置。
  4. 　前記反射型スピーカは、超音波の前記出力音を出力し、前記出力音の出力方向が可変であり、
    　前記反射型スピーカが前記出力音を反射させる空間内において前記出力音を走査させ、反射音の検出結果に基づいて、前記空間内の反射特性を含む空間マップを生成するマップ生成部を
    　さらに備える請求項３に記載の情報処理装置。
  5. 　前記マップ生成部は、前記反射音の検出結果に基づいて、前記空間の３次元形状を含む前記空間マップを生成する
    　請求項４に記載の情報処理装置。
  6. 　前記反射型スピーカは、前記出力音の出力方向が可変であり、
    　前記音響制御部は、前記反射型スピーカからの前記出力音の出力方向により前記反射位置を制御する
    　請求項１に記載の情報処理装置。
  7. 　前記音響制御部は、前記出力音が対応する映像の表示位置に基づいて、前記反射位置を制御する
    　請求項６に記載の情報処理装置。
  8. 　前記音響制御部は、前記反射型スピーカが前記出力音を反射させる空間内の反射特性に基づいて、前記反射位置を制御する
    　請求項６に記載の情報処理装置。
  9. 　前記音響制御部は、ユーザにより指定された位置であるポインティング位置及びユーザの視線の方向のうち少なくとも一方に基づいて、前記反射位置を制御する
    　請求項６に記載の情報処理装置。
  10. 　前記音響制御部は、前記ポインティング位置において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させる
    　請求項９に記載の情報処理装置。
  11. 　前記ポインティング位置に基づいて、映像の表示を制御する映像制御部を
    　さらに備え、
    　前記映像制御部は、前記ポインティング位置において表示する映像が存在する場合、当該映像を前記ポインティング位置に表示させる
    　請求項１０に記載の情報処理装置。
  12. 　前記音響制御部は、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させる
    　請求項９に記載の情報処理装置。
  13. 　前記ユーザの視線の方向に基づいて、映像の表示を制御する映像制御部を
    　さらに備え、
    　前記映像制御部は、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像を前記ユーザの視線の方向に表示させる
    　請求項１２に記載の情報処理装置。
  14. 　前記音響制御部は、前記出力音が対応する映像の内容に基づいて、前記反射位置を制御する
    　請求項６に記載の情報処理装置。
  15. 　前記音響制御部は、前記映像内の移動体の動きに基づいて、前記反射位置を制御する
    　請求項１４に記載の情報処理装置。
  16. 　前記音響制御部は、前記出力音の特性を制御する
    　請求項１に記載の情報処理装置。
  17. 　前記反射型スピーカを
    　さらに備える請求項１に記載の情報処理装置。
  18. 　映像の投影方向が可変のプロジェクタを
    　さらに備え、
    　前記反射型スピーカは、前記出力音の出力方向が可変である
    　請求項１７に記載の情報処理装置。
  19. 　反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを
    　含む情報処理方法。
  20. 　反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを
    　含む処理をコンピュータに実行させるためのプログラム。
PCT/JP2017/006992 2016-03-10 2017-02-24 情報処理装置、情報処理方法、及び、プログラム WO2017154610A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17762950.8A EP3429226A4 (en) 2016-03-10 2017-02-24 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
CN201780014902.2A CN108781327B (zh) 2016-03-10 2017-02-24 信息处理装置、信息处理方法以及介质
DE112017001190.6T DE112017001190T5 (de) 2016-03-10 2017-02-24 Datenverarbeitungseinrichtung, Datenverarbeitungsverfahren und Programm
US16/069,366 US10656899B2 (en) 2016-03-10 2017-02-24 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-047657 2016-03-10
JP2016047657A JP2017163432A (ja) 2016-03-10 2016-03-10 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
WO2017154610A1 true WO2017154610A1 (ja) 2017-09-14

Family

ID=59790433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006992 WO2017154610A1 (ja) 2016-03-10 2017-02-24 情報処理装置、情報処理方法、及び、プログラム

Country Status (6)

Country Link
US (1) US10656899B2 (ja)
EP (1) EP3429226A4 (ja)
JP (1) JP2017163432A (ja)
CN (1) CN108781327B (ja)
DE (1) DE112017001190T5 (ja)
WO (1) WO2017154610A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002162A1 (ja) * 2019-07-01 2021-01-07 ピクシーダストテクノロジーズ株式会社 オーディオコントローラ、プログラム、指向性スピーカ、及び、指向性スピーカの制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206193A1 (zh) * 2016-06-03 2017-12-07 华为技术有限公司 一种基于超声波的语音信号传输系统及方法
US10140721B2 (en) * 2016-07-01 2018-11-27 Intel Corporation Mechanical system on computer with rotational projector and Realsense™ camera
US10747301B2 (en) * 2017-03-28 2020-08-18 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
CA3059064C (en) 2018-03-07 2022-01-04 Magic Leap, Inc. Visual tracking of peripheral devices
US11337024B2 (en) 2018-06-21 2022-05-17 Sony Interactive Entertainment Inc. Output control device, output control system, and output control method
JP7057309B2 (ja) * 2019-03-22 2022-04-19 アルパイン株式会社 音響特性測定システムおよび音響特性測定方法
CN110441737B (zh) * 2019-08-26 2023-02-24 上海声茵科技有限公司 一种采用鱼眼镜头的声源定位方法及其设备
CN111586553B (zh) * 2020-05-27 2022-06-03 京东方科技集团股份有限公司 显示装置及其工作方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019864A (ja) * 2004-06-30 2006-01-19 Seiko Epson Corp プロジェクタシステム及びスクリーン構造
JP2007043585A (ja) * 2005-08-05 2007-02-15 Sanyo Electric Co Ltd プロジェクタ装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2924710B2 (ja) * 1995-04-28 1999-07-26 ヤマハ株式会社 ステレオ音場拡大装置
US6577738B2 (en) * 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
JP2003037888A (ja) * 2001-07-23 2003-02-07 Mechanical Research:Kk スピーカシステム
JP3821228B2 (ja) * 2002-11-15 2006-09-13 ソニー株式会社 オーディオ信号の処理方法および処理装置
JP4007254B2 (ja) * 2003-06-02 2007-11-14 ヤマハ株式会社 アレースピーカーシステム
JP4114583B2 (ja) * 2003-09-25 2008-07-09 ヤマハ株式会社 特性補正システム
JP4214961B2 (ja) * 2004-06-28 2009-01-28 セイコーエプソン株式会社 超指向性音響システム及びプロジェクタ
JP2007199322A (ja) * 2006-01-26 2007-08-09 Matsushita Electric Ind Co Ltd 投写型画像表示装置および投写型画像表示システム
JP4609502B2 (ja) * 2008-02-27 2011-01-12 ヤマハ株式会社 サラウンド出力装置およびプログラム
WO2009113319A1 (ja) * 2008-03-13 2009-09-17 タカノ株式会社 スピーカ組み込み椅子
JP5316189B2 (ja) * 2008-05-23 2013-10-16 ヤマハ株式会社 Ａｖシステム
CN101626533A (zh) * 2008-07-11 2010-01-13 宏碁股份有限公司 扬声器系统、装置以及方法
JP2010056710A (ja) 2008-08-27 2010-03-11 Sharp Corp 指向性スピーカ反射方向制御機能付プロジェクタ
CN102893175B (zh) * 2010-05-20 2014-10-29 皇家飞利浦电子股份有限公司 使用声音信号的距离估计
KR102395351B1 (ko) * 2013-07-31 2022-05-10 돌비 레버러토리즈 라이쎈싱 코오포레이션 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
EP3092819A1 (en) * 2014-01-10 2016-11-16 Dolby Laboratories Licensing Corporation Reflected sound rendering using downward firing drivers
CN106605415B (zh) * 2014-06-03 2019-10-29 杜比实验室特许公司 用于向上发射驱动器的有源和无源虚拟高度滤波器系统
US10679407B2 (en) * 2014-06-27 2020-06-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for modeling interactive diffuse reflections and higher-order diffraction in virtual environment scenes
CN111556426B (zh) * 2015-02-06 2022-03-25 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
EP3318070B1 (en) * 2015-07-02 2024-05-22 Dolby Laboratories Licensing Corporation Determining azimuth and elevation angles from stereo recordings
US10212519B2 (en) * 2015-11-19 2019-02-19 The Lovesac Company Electronic furniture systems with integrated internal speakers
US10249276B2 (en) * 2016-09-02 2019-04-02 Murray R. Clark Rotating speaker array

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019864A (ja) * 2004-06-30 2006-01-19 Seiko Epson Corp プロジェクタシステム及びスクリーン構造
JP2007043585A (ja) * 2005-08-05 2007-02-15 Sanyo Electric Co Ltd プロジェクタ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3429226A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002162A1 (ja) * 2019-07-01 2021-01-07 ピクシーダストテクノロジーズ株式会社 オーディオコントローラ、プログラム、指向性スピーカ、及び、指向性スピーカの制御方法

Also Published As

Publication number Publication date
DE112017001190T5 (de) 2018-11-15
EP3429226A1 (en) 2019-01-16
EP3429226A4 (en) 2019-03-06
JP2017163432A (ja) 2017-09-14
US20190034155A1 (en) 2019-01-31
CN108781327B (zh) 2021-02-12
CN108781327A (zh) 2018-11-09
US10656899B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
WO2017154610A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US10514256B1 (en) Single source multi camera vision system
US8743187B2 (en) Three-dimensional (3D) imaging based on MotionParallax
JP6448196B2 (ja) 画像生成システム及びプログラム
US9430187B2 (en) Remote control of projection and camera system
US9465484B1 (en) Forward and backward looking vision system
WO2020031740A1 (ja) 制御装置および制御方法、並びにプログラム
US11269250B2 (en) Information processing apparatus, information processing method, and program
US9693168B1 (en) Ultrasonic speaker assembly for audio spatial effect
WO2018221209A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP7052719B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20200081120A1 (en) Ultrasonic Sensor
JP2010056710A (ja) 指向性スピーカ反射方向制御機能付プロジェクタ
US9261759B1 (en) Aspect corrected laser video projection
WO2017163649A1 (ja) 画像処理装置
US10401791B2 (en) Holographic display screen
JP6600186B2 (ja) 情報処理装置、制御方法およびプログラム
US20230388690A1 (en) Dual mode ported speaker
WO2023248832A1 (ja) 遠隔視認システム、現地撮像システム
JP2018006822A (ja) 音声出力システム及び音声出力方法
JP2020020986A (ja) プロジェクター、投射システム、及び、投射方法
CN116405846A (zh) 用于封闭环境的便携式电子设备的音频集成

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017762950

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017762950

Country of ref document: EP

Effective date: 20181010

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17762950

Country of ref document: EP

Kind code of ref document: A1