WO2017033574A1 - プロジェクションシステム、および機器ユニット - Google Patents

プロジェクションシステム、および機器ユニット Download PDF

Info

Publication number
WO2017033574A1
WO2017033574A1 PCT/JP2016/069624 JP2016069624W WO2017033574A1 WO 2017033574 A1 WO2017033574 A1 WO 2017033574A1 JP 2016069624 W JP2016069624 W JP 2016069624W WO 2017033574 A1 WO2017033574 A1 WO 2017033574A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
speaker
projector
device units
units
Prior art date
Application number
PCT/JP2016/069624
Other languages
English (en)
French (fr)
Inventor
高橋　巨成
山崎　達也
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/747,483 priority Critical patent/US10523891B2/en
Priority to CN201680048297.6A priority patent/CN107925820B/zh
Priority to JP2017536659A priority patent/JP6733675B2/ja
Priority to EP16838921.1A priority patent/EP3340649B1/en
Publication of WO2017033574A1 publication Critical patent/WO2017033574A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B31/00—Associated working of cameras or projectors with sound-recording or sound-reproducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Definitions

  • the present disclosure relates to a projection system including a projector and an equipment unit.
  • a projector As an application for a projector, there is an application for correcting a distortion of a projection screen and luminance unevenness.
  • a multi-projection system that combines projection screens from a plurality of projectors into a single projection screen.
  • correction processing such as edge blending processing that makes a joint between a plurality of projection screens inconspicuous is performed.
  • performing the projection screen correction process there is a technique in which a projection screen is captured by an imaging device, image correction data is created based on the captured image, and an input image is corrected using the correction data.
  • Patent Document 1 As an example of performing such a projection screen correction process, there is a technique described in Patent Document 1, for example.
  • the technique related to the combination is mainly a technique related to video.
  • a projection system includes a speaker unit including at least one speaker, a projector unit, an apparatus unit including an imaging unit that images a projection screen by the projector unit, and an image captured by the imaging unit. And a control unit that controls the sound output state of the speaker based on the information on the installation state of the device unit estimated based on the information.
  • An apparatus unit includes a unit body including a speaker unit including at least one speaker, a projector unit, an imaging unit that images a projection screen by the projector unit, and an image captured by the imaging unit. And a control unit that controls the sound output state of the speaker based on the information on the installation state of the unit body estimated based on the information.
  • the device includes a speaker unit, a projector unit, and an imaging unit in one device unit, and is estimated based on an image captured by the imaging unit.
  • the sound output state of the speaker is controlled based on the information on the unit installation state.
  • the estimation unit includes a speaker unit, a projector unit, and an imaging unit in one device unit, and is estimated based on an image captured by the imaging unit. Since the sound output state of the speaker is controlled based on the information on the installation state of the equipment unit, a new usage mode of the projector can be realized. Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • It is explanatory drawing which shows typically an example of the projection screen by the projector part of the apparatus unit shown in FIG.
  • It is explanatory drawing which shows typically an example of the projection screen at the time of combining a total of two apparatus units shown in FIG. 1 in the left-right direction.
  • It is explanatory drawing which shows typically an example of the projection screen at the time of combining a total of four apparatus units shown in FIG.
  • FIG. 17 is an explanatory diagram schematically illustrating an example of a data table corresponding to the configuration example illustrated in FIG. 16. It is a block diagram which shows the 1st structural example of the control system of the equipment unit shown in FIG. It is a block diagram which shows the 1st example of the connection form in the case of combining two or more apparatus units shown in FIG. It is a flowchart which shows an example of the control operation in the case of combining several apparatus units shown in FIG. It is a flowchart which shows an example of the control operation
  • FIG. 28 shows an example of the sound bar 101 of the comparative example.
  • FIG. 29 shows an example of a usage pattern of the sound bar 101 of the comparative example.
  • a product called a sound bar 101 equipped with a plurality of speakers may be used in combination with the display device 102 as a separate body from the display device 102.
  • FIG. 30 shows an example of how the projector 103 of the comparative example is used.
  • an ultra-short focus projector 103 that can be installed near a projection surface such as a screen and can perform projection from a very short distance has been developed. Examples of usage forms of such an ultra-short focus projector 103 include desktop installation, ceiling installation, floor installation (floor projection), and desk installation (desk projection).
  • FIG. 31 shows an example of image correction when a plurality of projectors 103 of comparative examples are combined.
  • FIG. 32 shows an example of a projection screen before image correction and a projection screen after image correction when a plurality of projectors 103 according to comparative examples are combined.
  • a sensing camera 104 is used to perform the correction process.
  • the camera 104 captures a geometric pattern projected from a plurality of projectors 103 and performs an appropriate calculation, thereby estimating the position and orientation of the projector 103 and estimating the surface shape of the screen 105 as a projection plane. It is generally known that Such a correction processing technique can be used in the projection system described below.
  • FIG. 1 shows a configuration example of a device unit 1 that constitutes a projection system according to an embodiment of the present disclosure.
  • the device unit 1 is provided with a speaker unit 2, a projector unit 3, and an imaging unit 4 in one housing 5.
  • the housing 5 is provided with a control system circuit shown in FIG.
  • the sound bar 101 of the comparative example described above has only a function as a speaker, but the device unit 1 according to the present embodiment has a function as a projector in addition to the function as a speaker. .
  • the projector unit 3 and the imaging unit 4 are provided, for example, at a substantially central portion of the back surface or top surface of the housing 5 as shown in FIG.
  • the positions where the projector unit 3 and the imaging unit 4 are provided are not limited to the example shown in FIG.
  • the speaker unit 2 includes at least one speaker 20.
  • a plurality of speakers 20 may be provided in the left-right direction on the front surface (front surface) of the housing 5.
  • the positions and the number of the speakers 20 are not limited to the example shown in FIG.
  • the imaging unit 4 is used to generate correction data for image correction processing such as geometric calibration processing and luminance / color calibration processing for the projection screen of the projector unit 3.
  • the imaging unit 4 is used to determine the installation state such as the position and posture of the device unit 1.
  • the sound output state of the speaker 20 is controlled according to the position, posture, and the like of the device unit 1 based on the information on the installation state of the device unit 1.
  • the projector unit 3 may have a configuration of an ultra-short focus projector in which the projection distance may be extremely short using a special lens system as shown in FIG.
  • FIG. 2 schematically shows an example of the projection screen 10 by the projector unit 3 of one device unit 1.
  • the projection screen 10 is projected onto the projection surface 6 such as a screen.
  • the projection surface 6 is not limited to a screen, and may be, for example, a wall surface or a floor surface.
  • FIG. 3 schematically shows an example of the projection screen 10 corresponding to the video content by the projector unit 3 of the device unit 1.
  • the screen size may be small, but it is considered that there is a high demand for displaying a visually bright image.
  • the screen may be dark, but it is considered that there is a high demand for displaying a large screen size.
  • the projector unit 3 is configured to meet such a demand. As a result, it is possible to realize a use case that cannot be realized with a television having a general fixed size. This can be realized, for example, by configuring the projector unit 3 with an ultra-short focus type projector 103 as shown in FIG. 30 and mounting a zoom lens as a projection optical system.
  • an electric zoom or the like may be mounted on the projection optical system in the projector unit 3, and category information of video content such as movies and news may be determined based on program information such as EPG, and the projection magnification may be changed.
  • a plurality of device units 1 can be combined to form a projection system.
  • One composite screen can be formed by connecting the projection screens 10 of the projector units 3 in the plurality of device units 1 together.
  • a specific example of a screen configuration example in which a plurality of device units 1 are combined will be described.
  • FIG. 4 schematically shows an example of a projection screen when a total of two device units 1 are combined in the left-right direction.
  • the projection screens 10-1 and 10-2 by the two device units 1-1 and 1-2 are combined in the left-right direction to display a horizontally long projection screen.
  • the display example of FIG. 4 is suitable for displaying content such as a panorama size or cinemascope size movie.
  • FIG. 5 schematically shows an example of a projection screen when a total of three device units 1 are combined in the left-right direction.
  • the projection screens 10-1, 10-2, and 10-3 by the three device units 1-1, 1-2, and 1-3 are combined in the left-right direction to create a horizontally long projection screen. it's shown.
  • the display example of FIG. 5 is suitable for displaying panorama size content, for example.
  • FIG. 6 schematically shows an example of a projection screen when a total of four device units 1 are combined in the horizontal direction and the vertical direction.
  • the projection screens 10-1, 10-2, 10-3, and 10-4 by the four device units 1-1, 1-2, 1-3, and 1-4 are displayed in the horizontal direction and the vertical direction.
  • the projection screen is displayed with the display size enlarged in the left-right direction and the up-down direction.
  • the display example of FIG. 6 is suitable for displaying high-resolution content, for example.
  • each of the device units 1-1, 1-2, 1-3, and 1-4 projects an image of 2K resolution of (1920 ⁇ 1080) pixels, as a whole, (3840 ⁇ 2160)
  • the pixel resolution can be 4K, and the resolution can be quadrupled.
  • FIG. 7 schematically shows an example of a projection screen when a total of two device units 1 are combined in the vertical direction.
  • the projection screens 10-1 and 10-2 by the two device units 1-1 and 1-2 arranged in the vertical direction are projected at substantially the same position.
  • the screen size is the same as in the case of one unit, but the luminance can be improved approximately twice. Thereby, it is possible to realize video display called stacking.
  • an image processing technique generally called geometric correction or edge blending can be applied as video signal processing in each of the projector units 3 of the plurality of device units 1. Further, the technique shown in FIGS. 31 and 32 can be used.
  • the imaging unit 4 as a camera for sensing and imaging a geometric pattern projected from the projector unit 3 of the plurality of device units 1 and performing an appropriate calculation based on the corresponding points, the projector unit 3 It is generally known that the position and orientation can be estimated and the surface shape of the projection plane can be estimated.
  • correction data for geometric correction, edge blending, luminance / color correction can be obtained for the output video signal, and the device unit 1 can be installed in various installation states as shown in FIGS. Even so, it is possible to display on the projection screen so as to be one screen.
  • FIG. 8 schematically shows an example in which the function and role of the speaker 20 in the device unit 1 are classified into three.
  • the device unit 1 includes three or more speakers 20, when only one device unit 1 is considered, at least one speaker 20 located at the center is generally set as the center speaker group 20C and at least one located at the left.
  • One speaker 20 can be classified as a left speaker group 20L, and at least one speaker 20 positioned on the right can be classified as a right speaker group 20R.
  • the configuration of the speaker group in each device unit 1 is different from the configuration when only one device unit 1 as shown in FIG. 8 is considered.
  • FIG. 9 schematically shows an example of the function and role assignment of the speaker 20 in each of the device units 1-1 and 1-2 when a total of two device units 1 are combined in the left-right direction. 9 corresponds to the screen configuration example of FIG.
  • At least one speaker 20 located in the center as a whole in the two device units 1-1 and 1-2 is defined as a center speaker group 20C.
  • at least one speaker 20 located on the left as a whole in the two device units 1-1 and 1-2 is a left speaker group 20L.
  • at least one speaker 20 positioned on the right as a whole in the two device units 1-1 and 1-2 is defined as a right speaker group 20R.
  • the right speaker group 20R when only the device unit 1-1 is considered is changed to a center speaker group 20C.
  • the left speaker group 20L and the center speaker group 20C are changed to the left speaker group 20L as a whole.
  • One of the effects of such a speaker configuration is an increase in the sound pressure of the speaker 20.
  • the following effects are known by combining a plurality of speakers 20.
  • the sound pressure is doubled and the distortion is halved. That is, since the sound pressure is doubled at 3 dB, if a single speaker 20 can use two speakers 20 that can output up to a maximum sound pressure of 100 dB, it can output up to 103 dB. On the other hand, increasing the 3 dB sound pressure is equivalent to bringing the speaker 20 itself closer to the viewer to 1 m.
  • FIG. 10 schematically shows an example of assignment of functions and roles of the speaker 20 in each device unit 1-1, 1-2, 1-3 when a total of three device units 1 are combined in the left-right direction. Yes. 10 corresponds to the screen configuration example of FIG.
  • all the speakers 20 of the device unit 1-2 located in the center as a whole are set as the center speaker group 20C. Further, all the speakers 20 of the device unit 1-1 located on the left as a whole are set as a left speaker group 20L. Further, all the speakers 20 of the device unit 1-3 located on the right as a whole are set as a right speaker group 20R.
  • FIG. 11 shows the assignment of functions and roles of the speaker 20 in each device unit 1-1, 1-2, 1-3, 1-4 when a total of four device units 1 are combined in the left-right direction and the up-down direction.
  • An example is schematically shown. 11 corresponds to the screen configuration example of FIG.
  • At least one speaker 20 located at the center as a whole in the four device units 1-1, 1-2, 1-3, and 1-4 is a center speaker in the configuration example of FIG. It is set as group 20C.
  • at least one speaker 20 located on the left as a whole in the four device units 1-1, 1-2, 1-3, and 1-4 is a left speaker group 20L.
  • at least one speaker 20 positioned on the right as a whole in the four device units 1-1, 1-2, 1-3, and 1-4 is defined as a right speaker group 20R.
  • the right speaker group 20R when only the device unit 1-1 is considered is changed to a center speaker group 20C.
  • the left speaker group 20L and the center speaker group 20C are changed to the left speaker group 20L as a whole.
  • the speaker arrangement is divided in the vertical direction, so the speakers 20 in the four device units 1-1, 1-2, 1-3, and 1-4 are combined to be regarded as left and right and the center. Then, simply, the sound pressure is increased by 9 dB and a sound pressure of 8 times is obtained. It is possible to obtain a volume corresponding to a large screen and high-definition video by the four projector units 3.
  • FIG. 12 is an external view schematically showing an example of a surround system in which a plurality of speakers are combined.
  • the surround system shown in FIG. 12 is called Dolby Atoms.
  • FIG. 13 shows the function and role of the speaker 20 in each device unit 1-1, 1-2, 1-3, 1-4 when a total of four device units 1 are combined in the left-right direction and the up-down direction.
  • 12 schematically shows an example of assignment as a part of speakers of the surround system shown in FIG.
  • the configuration shown in FIG. 13 is a system premised on the arrangement of multi-speakers in a surround system, such as Dolby Atoms as shown in FIG.
  • at least one speaker 20 located at the center as a whole in the four device units 1-1, 1-2, 1-3, and 1-4 is compared with the configuration example of FIG. It is set as group 20C.
  • At least one speaker 20 located on the upper left side as a whole in the four device units 1-1, 1-2, 1-3, and 1-4 is a presence L speaker group 20PL.
  • at least one speaker 20 located on the upper right side as a whole in the four device units 1-1, 1-2, 1-3, and 1-4 is a presence R speaker group 20PR.
  • at least one speaker 20 located on the lower left side as a whole in the four device units 1-1, 1-2, 1-3, and 1-4 is a Main L speaker group 20ML.
  • at least one speaker 20 located on the lower right side as a whole in the four device units 1-1, 1-2, 1-3, and 1-4 is a Main R speaker group 20MR.
  • FIG. 14 shows the function and role of the speaker 20 in each device unit 1-1, 1-2, 1-3, 1-4 when a total of four device units 1 are combined in the left-right direction and the up-down direction.
  • the example allocated as array speaker group 20A, 20B is shown typically.
  • the speakers 20 of the upper two device units 1-1 and 1-2 are collectively handled as one line array speaker group 20A. Further, the speakers 20 of the lower two device units 1-3 and 1-4 are configured as a single line array speaker group 20B as a whole.
  • FIG. 15 schematically shows an example of the effect when the line array speaker groups 20A and 20B are configured as shown in FIG.
  • the configuration of the line array speaker groups 20A and 20B there is an effect obtained by spreading the points of the sound source.
  • FIG. 16 schematically shows a configuration example in which a total of six device units 1 are combined in the horizontal direction and the vertical direction.
  • FIG. 17 schematically illustrates an example of a data table corresponding to the configuration example illustrated in FIG. 16.
  • the six device units 1 are referred to as Bar-1, Bar-2, Bar-3, Bar-4, Bar-5, and Bar-6.
  • the parameter group shown in FIG. 17 can be used as the data indicating the installation state information of each device unit as shown in FIG. 16, for example.
  • the parameter group shown in FIG. 17 includes parameters obtained by specifically quantifying the installation state of each device unit shown in FIG. Parameters indicating the relative positional relationship of each device unit, the number of speakers 20 mounted, and a parameter indicating the rotation state of each device unit are prepared as parameters. Thereby, it can be expressed whether or not the arrangement of each device unit is in a transposed state.
  • the viewer is in the middle by estimating the middle of the projection plane.
  • the angle of the acoustic axis of a viewer and the speaker 20 can be estimated.
  • directional characteristic compensation such as wide area compensation can be performed.
  • the speaker 20 of the device unit 1 is a woofer, the relative position between the device unit 1 and the wall surface can be known, so that it is possible to perform delay compensation (time alignment compensation) of sound transmission time.
  • FIG. 18 shows a first configuration example of the control system of one device unit 1.
  • the device unit 1 includes a speaker unit 2, a projector unit 3, an imaging unit 4, a data input unit 50, and a control unit 60.
  • the device unit 1 further includes an internal memory 61 and an operation / display unit 62 connected to the control unit 60.
  • the speaker unit 2 includes a speaker 20, an audio DSP (Digital Signal Processor) 21, and an amplifier 22.
  • DSP Digital Signal Processor
  • the projector unit 3 includes a video processor 31, a display drive circuit 32, a display element 33, a light source drive circuit 34, and a light source 35.
  • the display element 33 is driven and controlled by the display drive circuit 32.
  • the display element 33 is composed of, for example, a liquid crystal display element or an element using MEMS (Micro Electro Mechanical Systems).
  • the display element 33 is illuminated with illumination light from the light source 35 and displays an image.
  • the light source 35 is driven and controlled by a light source driving circuit 34.
  • the light source 35 is composed of, for example, a laser light source.
  • the AV data including the image data Dv and the audio data Da is input to the data input unit 50 as the input data Dav. Further, the input data Dav may be input via the external memory 54.
  • the data input unit 50 includes a wired I / F (interface) unit 51, a LAN I / F unit 52, and a memory I / F unit 53.
  • the wired I / F unit 51 is, for example, an I / F of HDMI (High Definition Multimedia Interface) (registered trademark) standard.
  • a LAN (Local Area Network) I / F unit 52 is a wireless or wired network I / F.
  • a WAN (Wide AreaINetwork) I / F unit may be provided.
  • the form for connecting to the network is not particularly limited.
  • the memory I / F unit 53 is an I / F that connects the external memory 54.
  • the external memory 54 is, for example, a semiconductor memory that can be attached to and detached from the memory I / F unit 53.
  • the control unit 60 is composed of, for example, a CPU (Central Processing Unit). Input data Dav is input to the control unit 60 via the data input unit 50. In addition, image data Di from the image capturing unit 4 is input to the control unit 60.
  • CPU Central Processing Unit
  • the control unit 60 generates correction data Dc for correcting the projection screen by the projector unit 3 based on the captured image by the imaging unit 4. For example, the control unit 60 generates correction data Dc for image correction processing such as geometric calibration processing and luminance / color calibration processing based on the imaging data Di from the imaging unit 4. Further, the control unit 60 performs a screen division process on the image data Dv as necessary. The control unit 60 generates correction data Dc related to the image and outputs the correction data Dc to the projector unit 3 together with the image data Dv.
  • the control unit 60 and the projector unit 3 are connected by, for example, an I2C (Inter Integrated Integrated Circuit) interface.
  • control unit 60 controls the sound output state of the speaker 20 based on the information on the installation state of the device unit 1 estimated based on the image captured by the image capturing unit 4.
  • the control unit 60 generates correction data Dc related to sound and outputs the correction data Dc to the speaker unit 2 together with the sound data Da.
  • the control unit 60 and the speaker unit 2 are connected by, for example, an I2S (Inter IC IC Sound) interface.
  • the control unit 60 estimates at least the position and orientation information of the device unit 1 as the installation state information. When there are a plurality of device units 1, the control unit 60 estimates at least information on relative positions between the plurality of device units 1 as information on the installation state.
  • control unit 60 allows at least two speakers 20 between at least two adjacent device units 1 to be in the same audio output state. You may control so that it may become one speaker group.
  • control unit 60 sets the speakers 20 of the plurality of device units 1 to a plurality of speakers having different audio output states. You may control so that it may belong to one of a group.
  • the plurality of speaker groups may include a center speaker group 20C, a left speaker group 20L, and a right speaker group 20R as in the configuration examples shown in FIGS.
  • control unit 60 for example, as in the configuration example illustrated in FIG. 14, sets all the speakers 20 of at least two device units 1 adjacent in the left-right direction to one line array speaker that is in the same audio output state. You may control so that it may become a group.
  • FIG. 19 shows a first example of a connection form when a plurality of device units 1 are combined.
  • the projection screens 10-1, 10-2, 10-3 and 10-4 by the four device units 1-1, 1-2, 1-3 and 1-4 are synthesized, for example,
  • An example of displaying one projection screen of 4K / 60P (4K @ 60P) is shown.
  • a distributor 80 connected to each device unit 1-1, 1-2, 1-3 and 1-4 is provided.
  • 4K / 60P (4K @ 60P) input data Dav is input to each of the device units 1-1, 1-2, 1-3, and 1-4 via the distributor 80.
  • the device units 1-1, 1-2, 1-3, and 1-4 are connected to each other by, for example, a wired I / F unit 51 or a LAN I / F unit 52.
  • the device units 1-1, 1-2, 1-3 and 1-4 and the distributor 80 are connected to each other by, for example, a wired I / F unit 51 or a LAN I / F unit 52.
  • Image correction processing such as geometric calibration processing, luminance / color calibration processing, screen division processing, and the like are performed in each device unit 1-1, 1-2, 1-3, and 1-4.
  • the correction data Dc for performing image correction processing and the like is shared between the device units 1-1, 1-2, 1-3, and 1-4.
  • Each of the device units 1-1, 1-2, 1-3, and 1-4 projects, for example, a 1080 / 60P (1080 @ 60P) image obtained by dividing a 4K / 60P (4K @ 60P) image.
  • FIG. 20 shows an example of a control operation when a plurality of device units 1 are combined.
  • the connection form shown in FIG. 19 is taken as an example to explain the operation performed by at least one control unit 60 in the plurality of device units 1.
  • the connection form shown in FIG. 81 may be performed.
  • an operation performed by the control unit 60 in the master device unit 1-3 may be performed.
  • the control unit 60 determines whether or not the estimation of the positions and orientations of all the device units 1 has been completed (step S101). When the estimation of the positions and orientations of all the device units 1 has been completed (step S101; Y), the control unit 60 determines whether input data has been input (step S102). The controller 60 waits for processing until input data is input (step S102; N). When the input data is input (step S102; Y), the control unit 60 divides the input data for each device unit 1 from the position and orientation information (step S103). Next, the control unit 60 performs projection by the projector unit 3 for each device unit 1 (step S104). Moreover, the control part 60 performs the audio
  • control unit 60 determines whether or not there is a change in the installation state of the device unit 1 such as addition of the device unit 1 or disturbance (step S106). When there is no change in the installation state (step S106; N), the control unit 60 returns to the process of step S104. If there is a change in the installation state (step S106; Y), the process returns to step S101.
  • step S101 when the estimation of the positions and orientations of all the device units 1 is not completed in step S101 (step S101; N), the control unit 60 specifies the device unit 1 that performs the estimation of the positions and orientations. (Step S107). Next, the control unit 60 projects a predetermined image pattern for estimating the position and orientation from the projector unit 3 of the specified device unit 1 (step S108). Next, the control unit 60 captures a predetermined image pattern by the imaging unit 4 and performs sensing (step S109). Next, the control unit 60 acquires information on the position and orientation of the identified device unit 1 based on the image captured by the imaging unit 4 (step S110).
  • control unit 60 generates correction data Dc related to the image from the position and orientation information (step S111).
  • control unit 60 outputs the correction data Dc related to the image to the projector unit 3 of the specified device unit 1 (step S112).
  • the control unit 60 generates the correction data Dc related to the sound from the position and orientation information and the meta information (step S113).
  • the control unit 60 outputs the correction data Dc related to the sound to the audio DSP 21 of the specified device unit (step S114). Thereafter, the control unit 60 returns to the process of step S101.
  • FIG. 21 shows an example of an image correction control operation in the device unit 1.
  • the connection form shown in FIG. 19 is taken as an example to explain the operation performed by at least one control unit 60 in the plurality of device units 1.
  • the connection form shown in FIG. 81 may be performed.
  • an operation performed by the control unit 60 in the master device unit 1-3 may be performed.
  • the control unit 60 starts the geometric calibration process (step S200).
  • the control unit 60 acquires internal variables and external variables of the imaging unit 4 and the projector unit 3 as pre-processing (step S201).
  • the internal variable and the external variable include, for example, information such as focus and lens distortion of the imaging lens constituting the imaging unit 4. Further, there is information on the relative positional relationship between the imaging unit 4 and the projector unit 3.
  • the control unit 60 estimates the attitude of the projector unit 3 based on the image captured by the imaging unit 4 (step S202), and acquires information on the attitude of the projector unit 3 (step S203).
  • the control unit 60 performs a geometric correction information generation process based on the posture information (step S204), and acquires geometric correction information data (step S205).
  • the control unit 60 outputs the geometric correction information data to the projector unit 3.
  • the projector unit 3 performs a geometric correction process on the input image Dv1 based on the geometric correction information data (step S206).
  • control unit 60 starts a luminance / color calibration process (step S300).
  • the control unit 60 acquires information on the luminance and color characteristics of the projector unit 3 as pre-processing (step S301).
  • the control unit 60 performs luminance / color correction information generation processing based on the luminance / color characteristic information and the attitude information of the projector unit 3 (step S302), and obtains the luminance / color correction information data.
  • Obtain step S303).
  • the control unit 60 outputs brightness / color correction information data to the projector unit 3.
  • the projector unit 3 performs luminance / color correction processing on the geometrically corrected image Dv2 after the geometric correction processing (step S304). Thereby, the brightness / color correction image Dv3 is obtained.
  • FIG. 22 shows a second configuration example of the control system of the device unit 1.
  • the second configuration example illustrated in FIG. 22 further includes a video processor 70, an input switching unit 71, an internal memory 72, and an internal I / F unit 73, as compared with the first configuration example illustrated in FIG. I have.
  • Input data Dav is input to the control unit 60 via the LAN I / F unit 52 and the memory I / F unit 53.
  • the input switching unit 71 selectively switches between input data Dav from the wired I / F unit 51 and input data Dav from the control unit 60.
  • the input data Dav is input to the video processor 70 via the input switching unit 71.
  • data necessary for generating various correction data Dc is input to the video processor 70 via the internal I / F unit 73.
  • the video processor 70 generates correction data Dc related to the image and outputs the correction data Dc to the projector unit 3 together with the image data Dv.
  • the video processor 70 generates correction data Dc related to audio and outputs it to the speaker unit 2 together with the audio data Da.
  • FIG. 23 shows a second example of the connection configuration when a plurality of device units 1 are combined.
  • the projection screens 10-1, 10-2, 10-3, and 10-4 by the four device units 1-1, 1-2, 1-3, and 1-4 are synthesized, for example, An example of displaying one projection screen of 4K / 60P (4K @ 60P) is shown.
  • FIG. 23 is an example in which four device units 1-1, 1-2, 1-3, and 1-4 are connected in a daisy chain by, for example, a wired I / F unit 51.
  • a wired I / F unit 51 for example, an HDMI CEC line, a DP (Display Port) external channel line, or the like can be used.
  • 4K / 60P (4K @ 60P) input data Dav is input to one device unit 1-1.
  • Input data Dav of 4K / 60P (4K @ 60P) is also input to the other device units 1-2, 1-3, and 1-4 by the daisy chain method.
  • Image correction processing such as geometric calibration processing, luminance / color calibration processing, screen division processing, and the like are performed in each device unit 1-1, 1-2, 1-3, and 1-4. Between the device units 1-1, 1-2, 1-3, and 1-4, correction data Dc for performing image correction processing and the like is shared by a daisy chain method.
  • Each of the device units 1-1, 1-2, 1-3, and 1-4 projects, for example, a 1080 / 60P (1080 @ 60P) image obtained by dividing a 4K / 60P (4K @ 60P) image.
  • FIG. 24 shows a third example of a connection configuration when a plurality of device units 1 are combined.
  • the projection screens 10-1, 10-2, 10-3 and 10-4 by the four device units 1-1, 1-2, 1-3 and 1-4 are synthesized, for example, An example of displaying one projection screen of 4K / 60P (4K @ 60P) is shown.
  • the 24 includes a data converter 81 connected to each of the device units 1-1, 1-2, 1-3, and 1-4.
  • a data converter 81 connected to each of the device units 1-1, 1-2, 1-3, and 1-4.
  • 4K / 60P (4K @ 60P) data is input to the data conversion unit 81 as the original input data Dav.
  • the data conversion unit 81 is input with imaging data Di obtained by the imaging unit 4 in each of the device units 1-1, 1-2, 1-3, and 1-4.
  • Image correction processing such as geometric calibration processing and luminance / color calibration processing, screen division processing, and the like are performed by the data conversion unit 81.
  • 1080 / 60P (1080 @ 60P) data divided by the data conversion unit 81 is input to each of the device units 1-1, 1-2, 1-3, and 1-4 as the input data Dav. .
  • Each of the device units 1-1, 1-2, 1-3, and 1-4 projects, for example, an image of 1080 / 60P (1080 @ 60P).
  • FIG. 25 shows a fourth example of the connection configuration when a plurality of device units 1 are combined.
  • An example is shown in which one projection screen with a resolution of, for example, 4K / 60P (4K @ 60P) ⁇ 2 is displayed by combining ⁇ 8.
  • connection form 25 includes a data conversion unit 81 connected to four device units 1-1, 1-2, 1-3, and 1-4 in substantially the same manner as the connection form of FIG. Further, this connection form includes another data conversion unit 81A connected to the other four device units 1-5, 1-6, 1-7, and 1-8. The data converter 81 and the other data converter 81A are interconnected.
  • 4K / 60P (4K @ 60P) data is input to the data conversion unit 81 as the original input data Dav.
  • the image data Di obtained by the imaging unit 4 in the four device units 1-1, 1-2, 1-3, and 1-4 is input to the data conversion unit 81.
  • the data of the original input data Dav is input to the other data conversion unit 81A via the data conversion unit 81.
  • the imaging data Di obtained by the imaging units 4 in the other four device units 1-5, 1-6, 1-7, and 1-8 are input to the other data conversion unit 81A.
  • Image correction processing such as geometric calibration processing and luminance / color calibration processing, screen division processing, and the like are performed by the data conversion unit 81 and the other data conversion unit 81A.
  • 1080 / 60P (1080 @ 60P) data divided by the data conversion unit 81 is input to the four device units 1-1, 1-2, 1-3, and 1-4 as the input data Dav. Is done.
  • Each of the four device units 1-1, 1-2, 1-3, and 1-4 projects, for example, an image of 1080 / 60P (1080 @ 60P).
  • the other four device units 1-5, 1-6, 1-7, and 1-8 are divided by the other data conversion unit 81A as input data Dav, for example, 1080 / 60P (1080 @ 60P) is input.
  • the other four device units 1-5, 1-6, 1-7, and 1-8 each project an image of, for example, 1080 / 60P (1080 @ 60P).
  • FIG. 26 shows a fifth example of a connection configuration when a plurality of device units 1 are combined.
  • the projection screens 10-1, 10-2, 10-3, and 10-4 by the four device units 1-1, 1-2, 1-3, and 1-4 are synthesized, for example, An example of displaying one projection screen of 4K / 60P (4K @ 60P) is shown.
  • a data server 82 connected to each device unit 1-1, 1-2, 1-3, and 1-4 is provided.
  • 4K / 60P (4K @ 60P) input data Dav is input to the device units 1-1, 1-2, 1-3, and 1-4 via the data server 82.
  • the device units 1-1, 1-2, 1-3, and 1-4 are interconnected by a wireless LAN I / F unit 52, for example.
  • the device units 1-1, 1-2, 1-3, and 1-4 and the data server 82 are connected to each other by, for example, a wireless LAN I / F unit 52.
  • Image correction processing such as geometric calibration processing, luminance / color calibration processing, screen division processing, and the like are performed in each device unit 1-1, 1-2, 1-3, and 1-4.
  • the correction data Dc for performing image correction processing and the like is shared between the device units 1-1, 1-2, 1-3, and 1-4.
  • Each of the device units 1-1, 1-2, 1-3, and 1-4 projects, for example, a 1080 / 60P (1080 @ 60P) image obtained by dividing a 4K / 60P (4K @ 60P) image.
  • FIG. 27 shows a sixth example of the connection configuration when a plurality of device units 1 are combined.
  • the projection screens 10-1, 10-2, 10-3, and 10-4 by the four device units 1-1, 1-2, 1-3, and 1-4 are synthesized, for example, An example of displaying one projection screen of 4K / 60P (4K @ 60P) is shown.
  • FIG. 27 shows a connection form in which the device units 1-1, 1-2, and 1-4 are slaves and the device unit 1-3 is a master.
  • Image correction processing such as geometric calibration processing and luminance / color calibration processing, screen division processing, and the like are performed in the device unit 1-3 as a master.
  • the device units 1-1, 1-2, 1-3 and 1-4 share correction data Dc for performing image correction processing and the like, and each device unit 1-1, 1-2, Image correction processing may be performed for each of 1-3 and 1-4.
  • a data server 82 connected to the device unit 1-3 as a master is provided.
  • the device units 1-1, 1-2, 1-3, and 1-4 are interconnected by a wireless LAN I / F unit 52, for example.
  • the device unit 1-3 as a master and the data server 82 are connected to each other by a wireless LAN I / F unit 52, for example.
  • 4K / 60P (4K @ 60P) input data Dav is input to the device unit 1-3 as a master via the data server 82.
  • the device units 1-1, 1-2, and 1-4 as slaves include 1080 / 60P (1080 @ 60P) obtained by dividing, for example, a 4K / 60P (4K @ 60P) image from the device unit 1-3 as a master. ) Input data Dav.
  • Each of the device units 1-1, 1-2, 1-3, and 1-4 projects, for example, a 1080 / 60P (1080 @ 60P) image obtained by dividing a 4K / 60P (4K @ 60P) image.
  • one apparatus unit 1 includes the speaker unit 2, the projector unit 3, and the imaging unit 4, and is estimated based on the image captured by the imaging unit 4. Since the sound output state of the speaker 20 is controlled based on the information on the installation state of the device unit 1, a new usage form of the projector can be realized.
  • effects such as an increase in resolution, an increase in the angle of view and aspect ratio, and an increase in display brightness can be obtained as an added value centered on the image.
  • the sound effect can be obtained by appropriately combining the plurality of speakers 20 in the plurality of device units 1.
  • the sound pressure level can be increased by the number of speakers 20 combined.
  • the line array speaker group as shown in FIG. 14 is configured, it is expected that the sound is hardly attenuated, the sound level difference is small outside the area, and the howling is difficult.
  • a system configuration based on the arrangement of multi-speakers in the surround system as shown in FIG. As a result, it is possible to construct a configuration that allows a system configuration reflecting a viewpoint that is important when the user audition.
  • the present technology can take the following configurations.
  • a device unit including a speaker unit including at least one speaker, a projector unit, and an imaging unit that captures an image projected by the projector unit;
  • a projection system comprising: a control unit that controls an audio output state of the speaker based on information on an installation state of the device unit estimated based on an image captured by the imaging unit.
  • the controller is The projection system according to (1), wherein at least information on a position and an attitude of the device unit is estimated as the installation state information.
  • a plurality of the device units The projection system according to (1) or (2), wherein the projection screens of the projector units in the plurality of device units are connected to form one composite screen.
  • the controller is The projection system according to (3), wherein at least information on a relative position between the plurality of device units is estimated as the installation state information.
  • the controller is The projection system according to (3) or (4), wherein at least two of the speakers between at least two adjacent device units are controlled to be one speaker group in the same audio output state.
  • the controller is The speaker according to any one of (3) to (5), wherein the speakers of the plurality of device units are controlled to belong to any of a plurality of speaker groups having different sound output states. Projection system.
  • the projection system according to (6), wherein the plurality of speaker groups include a center speaker group, a left speaker group, and a right speaker group.
  • the controller is Control all the speakers of at least two of the equipment units adjacent in the left-right direction to be one line array speaker group in the same audio output state. Any one of the above (3) to (5) The projection system described. (9) The said control part produces

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

　本開示のプロジェクションシステムは、少なくとも１つのスピーカを含むスピーカ部と、プロジェクタ部と、プロジェクタ部による投影画面を撮像する撮像部とを含む機器ユニットと、撮像部による撮像画像に基づいて推定された機器ユニットの設置状態の情報に基づいて、スピーカの音声出力状態を制御する制御部とを備える。

Description

プロジェクションシステム、および機器ユニット
　本開示は、プロジェクタを含むプロジェクションシステム、および機器ユニットに関する。
　プロジェクタ向けアプリケーションとして、投影画面の歪みや輝度むらの補正処理を行うものがある。また、複数のプロジェクタによる投影画面を繋ぎ合わせて１つの投影画面に合成するマルチプロジェクションシステムがある。マルチプロジェクションシステムの場合、上記した投影画面の歪みや輝度むらの補正処理のほかに、複数の投影画面間の繋ぎ目を目立たないようにするエッジブレンディング処理等の補正処理を行うものがある。投影画面の補正処理を行う例として、撮像装置で投影画面を撮像し、その撮像画像に基づいて、画像の補正データを作成し、その補正データで入力画像を補正する技術がある。このような投影画面の補正処理を行う例として、例えば特許文献１に記載の技術がある。
特開２０１１－１８２０７７号公報
　以上のように、複数のプロジェクタを組み合わせる技術が知られているが、その組み合わせに関する技術は、主に、映像に関する技術となっている。
　プロジェクタの新規な使用形態を実現できるようにしたプロジェクションシステム、および機器ユニットを提供することが望ましい。
　本開示の一実施の形態に係るプロジェクションシステムは、少なくとも１つのスピーカを含むスピーカ部と、プロジェクタ部と、プロジェクタ部による投影画面を撮像する撮像部とを含む機器ユニットと、撮像部による撮像画像に基づいて推定された機器ユニットの設置状態の情報に基づいて、スピーカの音声出力状態を制御する制御部とを備えたものである。
　本開示の一実施の形態に係る機器ユニットは、少なくとも１つのスピーカを含むスピーカ部と、プロジェクタ部と、プロジェクタ部による投影画面を撮像する撮像部とを含むユニット本体と、撮像部による撮像画像に基づいて推定されたユニット本体の設置状態の情報に基づいて、スピーカの音声出力状態を制御する制御部とを備えたものである。
　本開示の一実施の形態に係るプロジェクションシステム、または機器ユニットでは、１つの機器ユニット内に、スピーカ部と、プロジェクタ部と、撮像部とを含み、撮像部による撮像画像に基づいて推定された機器ユニットの設置状態の情報に基づいて、スピーカの音声出力状態が制御される。
　本開示の一実施の形態に係るプロジェクションシステム、または機器ユニットによれば、１つの機器ユニット内に、スピーカ部と、プロジェクタ部と、撮像部とを含め、撮像部による撮像画像に基づいて推定された機器ユニットの設置状態の情報に基づいて、スピーカの音声出力状態を制御するようにしたので、プロジェクタの新規な使用形態を実現できる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の一実施の形態に係るプロジェクションシステムを構成する機器ユニットの一構成例を示す外観図である。 図１に示した機器ユニットのプロジェクタ部による投影画面の一例を模式的に示す説明図である。 コンテンツに応じた投影画面の一例を模式的に示す説明図である。 図１に示した機器ユニットを左右方向に合計２台組み合わせた場合の投影画面の一例を模式的に示す説明図である。 図１に示した機器ユニットを左右方向に合計３台組み合わせた場合の投影画面の一例を模式的に示す説明図である。 図１に示した機器ユニットを左右方向および上下方向に合計４台組み合わせた場合の投影画面の一例を模式的に示す説明図である。 図１に示した機器ユニットを上下方向に合計２台組み合わせた場合の投影画面の一例を模式的に示す説明図である。 図１に示した機器ユニットにおけるスピーカの機能および役割を３つに分類した例を模式的に示す説明図である。 図１に示した機器ユニットを左右方向に合計２台組み合わせた場合の、各機器ユニットにおけるスピーカの機能および役割の割り当ての一例を模式的に示す説明図である。 図１に示した機器ユニットを左右方向に合計３台組み合わせた場合の、各機器ユニットにおけるスピーカの機能および役割の割り当ての一例を模式的に示す説明図である。 図１に示した機器ユニットを左右方向および上下方向に合計４台組み合わせた場合の、各機器ユニットにおけるスピーカの機能および役割の割り当ての一例を模式的に示す説明図である。 複数のスピーカを組み合わせたサラウンドシステムの一例を模式的に示す外観図である。 図１に示した各機器ユニットにおけるスピーカの機能および役割を、図１２に示したサラウンドシステムの一部のスピーカとして割り当てた例を模式的に示す説明図である。 図１に示した各機器ユニットにおけるスピーカの機能および役割を、ラインアレイスピーカとして割り当てた例を模式的に示す説明図である。 ラインアレイスピーカの効果の一例を模式的に示す説明図である。 図１に示した機器ユニットを左右方向および上下方向に合計６台組み合わせた構成例を模式的に示す説明図である。 図１６に示した構成例に対応するデータテーブルの一例を模式的に示す説明図である。 図１に示した機器ユニットの制御系の第１の構成例を示すブロック図である。 図１に示した機器ユニットを複数、組み合わせる場合の接続形態の第１の例を示すブロック図である。 図１に示した機器ユニットを複数、組み合わせる場合の制御動作の一例を示す流れ図である。 図１に示した機器ユニットにおける画像補正の制御動作の一例を示す流れ図である。 図１に示した機器ユニットの制御系の第２の構成例を示すブロック図である。 図１に示した機器ユニットを複数、組み合わせる場合の接続形態の第２の例を示すブロック図である。 図１に示した機器ユニットを複数、組み合わせる場合の接続形態の第３の例を示すブロック図である。 図１に示した機器ユニットを複数、組み合わせる場合の接続形態の第４の例を示すブロック図である。 図１に示した機器ユニットを複数、組み合わせる場合の接続形態の第５の例を示すブロック図である。 図１に示した機器ユニットを複数、組み合わせる場合の接続形態の第６の例を示すブロック図である。 比較例のサウンドバーの一例を示す外観図である。 比較例のサウンドバーの使用形態の一例を示す外観図である。 比較例のプロジェクタの使用形態の一例を示す説明図である。 比較例のプロジェクタを複数組み合わせた場合の画像補正の一例を示す説明図である。 比較例のプロジェクタを複数組み合わせた場合の画像補正前の投影画面と画像補正後の投影画面との一例を示す説明図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　０．比較例（サウンドバー、プロジェクタの構成例）（図２８～図３２）
　１．プロジェクションシステムの一実施形態
　　１．１　構成
　　　１．１．１　機器ユニットの基本構成例（図１～図３）
　　　１．１．２　複数の機器ユニットを組み合わせた画面構成例（図４～図７）
　　　１．１．３　複数の機器ユニットを組み合わせたスピーカの構成例（図８～図１７）
　　　１．１．４　機器ユニットの制御系の第１の構成例（図１８）
　　　１．１．５　複数の機器ユニットの接続形態の第１の例（図１９）
　　１．２　動作
　　　１．２．１　複数の機器ユニットを組み合わせる場合の制御動作の例（図２０）
　　　１．２．２　補正データの作成例（図２１）
　　１．３　他の構成例
　　　１．３．１　機器ユニットの制御系の第２の構成例（図２２）
　　　１．３．２　複数の機器ユニットの接続形態の第２ないし第６の例（図２３～図２７）
　　１．４　効果
　２．その他の実施の形態
＜０．比較例（サウンドバー、プロジェクタの構成例）＞
　図２８は、比較例のサウンドバー１０１の一例を示している。図２９は、比較例のサウンドバー１０１の使用形態の一例を示している。テレビ等の表示装置１０２における音響性能を向上させるために、表示装置１０２とは別体として、複数のスピーカを搭載したサウンドバー１０１と呼ばれる製品が表示装置１０２と組み合わせて用いられることがある。
　図３０は、比較例のプロジェクタ１０３の使用形態の一例を示している。近年、垂直投影式プロジェクタとは異なり、スクリーン等の投影面の近傍に設置でき、至近距離から投影を行うことのできる超短焦点型のプロジェクタ１０３が開発されている。このような超短焦点型のプロジェクタ１０３の使用形態として、机上設置、天つり設置、床面設置（床面投写）、および机下設置（机上投写）などがある。
　図３１は、比較例のプロジェクタ１０３を複数組み合わせた場合の画像補正の一例を示している。図３２は、比較例のプロジェクタ１０３を複数組み合わせた場合の画像補正前の投影画面と画像補正後の投影画面との一例を示している。
　図３２に示したように、プロジェクタ１０３を複数組み合わせて、例えば４つの投影画面１０－１，１０－２，１０－３，１０－４を１つの投影画面として合成する技術がある。このような画面構成を実現するために、複数のプロジェクタ１０３のそれぞれにおける投影画面の歪みや輝度むらの補正処理が行われる。この場合、幾何的キャリブレーションやエッジブレンディング、カラーマッチングと一般的に呼ばれる画像処理技術を適用することができる。エッジブレンディングでは、複数の投影画面間のオーバラップ領域１１を推定し、オーバラップ領域１１の色補正等が行われる。
　上記補正処理を行うために、例えば、センシング用のカメラ１０４が用いられる。カメラ１０４によって、複数のプロジェクタ１０３から投影される幾何的なパターンを撮像して、適切な計算を行うことによって、プロジェクタ１０３の位置および姿勢の推定や、投影面であるスクリーン１０５の面形状の推定を行えることが一般的に知られている。以下で説明するプロジェクションシステムでは、このような補正処理の技術を用いることができる。
＜１．プロジェクションシステムの一実施形態＞
［１．１　構成］
（１．１．１　機器ユニットの基本構成例）
　図１は、本開示の一実施の形態に係るプロジェクションシステムを構成する機器ユニット１の一構成例を示している。
　機器ユニット１は、１つの筐体５に、スピーカ部２と、プロジェクタ部３と、撮像部４とが設けられている。そのほか、筐体５内には、後述する図１８に示す制御系の回路が設けられている。上記した比較例のサウンドバー１０１は、単なるスピーカとしての機能しか有していないが、本実施の形態に係る機器ユニット１は、スピーカとしての機能以外にも、プロジェクタとしての機能を有している。
　プロジェクタ部３と撮像部４とは、例えば、図１に示したように、筐体５の背面部または上面部の略中央部分に設けられている。ただし、プロジェクタ部３と撮像部４を設ける位置は、図１に示した例に限定されない。
　スピーカ部２は、少なくとも１つのスピーカ２０を含んでいる。スピーカ２０は、例えば、図１に示したように、筐体５の前面部（正面部）において、左右方向に複数設けられていてもよい。ただし、スピーカ２０を設ける位置および数は、図１に示した例に限定されない。
　撮像部４は、プロジェクタ部３の投影画面に対する幾何的キャリブレーション処理や輝度・色のキャリブレーション処理等の画像補正処理用の補正データを生成するために利用される。
　また、撮像部４は、機器ユニット１の位置や姿勢等の設置状態を判断するために利用される。後述するように、本実施の形態では、機器ユニット１の設置状態の情報に基づいて、機器ユニット１の位置や姿勢等に応じて、スピーカ２０の音声出力状態が制御される。
　プロジェクタ部３は、例えば図３０で示したような特殊なレンズ系を用いて投影距離が極端に短くて済むような、超短焦点型プロジェクタの構成であってもよい。
　図２は、１つの機器ユニット１のプロジェクタ部３による投影画面１０の一例を模式的に示している。例えば、スクリーン等の投影面６に投影画面１０を投影する。ただし、投影面６は、スクリーンに限定されず、例えば、壁面や床面等であってもよい。
　図３は、機器ユニット１のプロジェクタ部３による映像のコンテンツに応じた投影画面１０の一例を模式的に示している。
　図３に示すように、一般に、例えば、ニュースやバラエティーなどのコンテンツに対しては、画面のサイズは小さくてもよいが、見た目に明るい映像で表示したい要求が高いと考えられる。また、一般に、映画やドラマなどのコンテンツに対しては、画面は暗くてもよいが大きな画面サイズで表示したい要求が高いと考えられる。プロジェクタ部３では、このような要求に応えることができるように構成されていることが望ましい。これにより、一般的な固定サイズであるテレビでは実現不可能なユースケースを実現できる。これは、例えばプロジェクタ部３を図３０に示したような超短焦点型のプロジェクタ１０３で構成し、投影光学系としてズームレンズを搭載することで実現できる。また、物理的に機器ユニット１全体を投影面に対して前後に移動させることなどによっても実現できる。また、例えば、プロジェクタ部３における投影光学系に電動ズームなどを搭載し、ＥＰＧなどの番組情報を元に、映画やニュースといった映像コンテンツのカテゴリー情報を判別し、投影倍率を変えるようにしてもよい。
　参考までに、このようなユースケースの裏付けとなるモデル式を以下に示す。これは、同じ光量に対して、スクリーン面積とスクリーン上の輝度の関係を表したもので、基本、同じ光量を持つプロジェクタでは、スクリーンサイズが大きい程、スクリーン輝度は暗くなり、スクリーンサイズが小さいほど、スクリーン輝度が大きくなることがこの式から分かる。
Figure JPOXMLDOC01-appb-M000001
　実際には、スクリーン・ゲイン係数Ｋｓｇと、アスペクト比係数Ｋａｓｐとを加味した以下の式で表せ得る。
Figure JPOXMLDOC01-appb-M000002
（１．１．２　複数の機器ユニットを組み合わせた画面構成例）
　機器ユニット１は、複数組み合わせてプロジェクションシステムを構成することができる。複数の機器ユニット１におけるそれぞれのプロジェクタ部３による投影画面１０を繋ぎ合わせて１つの合成画面を形成することができる。以下、機器ユニット１を複数組み合わせた画面構成例の具体例を説明する。
　図４は、機器ユニット１を左右方向に合計２台組み合わせた場合の投影画面の一例を模式的に示している。この表示例では、２台の機器ユニット１－１，１－２によるそれぞれの投影画面１０－１，１０－２を左右方向に合成して、横長の投影画面を表示している。図４の表示例は、例えば、パノラマサイズやシネマスコープサイズの映画等のコンテンツの表示を行うのに適している。
　図５は、機器ユニット１を左右方向に合計３台組み合わせた場合の投影画面の一例を模式的に示している。この表示例では、３台の機器ユニット１－１，１－２，１－３によるそれぞれの投影画面１０－１，１０－２，１０－３を左右方向に合成して、横長の投影画面を表示している。図５の表示例は、例えば、パノラマサイズのコンテンツの表示を行うのに適している。
　図６は、機器ユニット１を左右方向および上下方向に合計４台組み合わせた場合の投影画面の一例を模式的に示している。この表示例では、４台の機器ユニット１－１，１－２，１－３，１－４によるそれぞれの投影画面１０－１，１０－２，１０－３，１０－４を左右方向および上下方向に合成して、左右方向および上下方向に表示サイズを拡大した投影画面を表示している。図６の表示例は、例えば、解像度の高いコンテンツの表示を行うのに適している。例えば、各機器ユニット１－１，１－２，１－３，１－４がそれぞれ、（１９２０×１０８０）画素の２Ｋの解像度の画像を投影したとすると、全体としては、（３８４０×２１６０）画素の４Ｋの解像度とすることができ、解像度を４倍にすることができる
　図７は、機器ユニット１を上下方向に合計２台組み合わせた場合の投影画面の一例を模式的に示している。この表示例では、上下方向に配置された２台の機器ユニット１－１，１－２によるそれぞれの投影画面１０－１，１０－２を、略同一の位置に投影している。図７の表示例では、画面サイズは１台の場合と変わらないが、輝度を略２倍に向上させることができる。これにより、スタッキングと呼ばれる映像表示等の実現が可能である。
　以上のような画面構成を実現するために、複数の機器ユニット１のプロジェクタ部３のそれぞれにおける映像信号処理として、幾何的補正やエッジブレンディングと一般的に呼ばれる画像処理技術を適用することができる。また、図３１および図３２に示したような技術を用いることができる。撮像部４をセンシング用のカメラとして用いて、複数の機器ユニット１のプロジェクタ部３から投影される幾何的なパターンを撮像して対応点を元に適切な計算を行うことによって、プロジェクタ部３の位置および姿勢の推定や投影面の面形状の推定を行えることが一般的に知られている。
　このセンシング結果により、出力する映像信号に対して幾何的補正やエッジブレンディング、輝度・色補正の補正データを得ることができ、機器ユニット１を図４ないし図７に示したような様々な設置状態にしても投影画面上は１つの画面になるように表示することが可能となる。
（１．１．３　複数の機器ユニットを組み合わせたスピーカの構成例）
　上記したように、複数の機器ユニット１を組み合わせて画面を構成する場合、機器ユニット１の位置や姿勢等の設置状態は、種々の状態に変化する。そこで、本実施の形態では、機器ユニット１の設置状態の情報に基づいて、機器ユニット１の位置や姿勢等に応じて、スピーカ２０の音声出力状態を変化させる。
　図８は、機器ユニット１におけるスピーカ２０の機能および役割を３つに分類した例を模式的に示している。機器ユニット１が３つ以上のスピーカ２０を含む場合において、１台の機器ユニット１だけを考えた場合、概ね、中央に位置する少なくとも１つのスピーカ２０をセンタスピーカ群２０Ｃ、左に位置する少なくとも１つのスピーカ２０を左スピーカ群２０Ｌ、右に位置する少なくとも１つのスピーカ２０を右スピーカ群２０Ｒとして分類することができる。
　本実施の形態では、複数の機器ユニット１を組み合わせた場合に、各機器ユニット１におけるスピーカ群の構成を、図８のような１台の機器ユニット１だけを考えた場合の構成とは異なる状態に変更する。
　図９は、機器ユニット１を左右方向に合計２台組み合わせた場合の、各機器ユニット１－１，１－２におけるスピーカ２０の機能および役割の割り当ての一例を模式的に示している。なお、図９は、図４の画面構成例に対応している。
　図９の例では、図８の構成例に対して、２台の機器ユニット１－１，１－２における全体として中央に位置する少なくとも１つのスピーカ２０をセンタスピーカ群２０Ｃとしている。また、２台の機器ユニット１－１，１－２における全体として左に位置する少なくとも１つのスピーカ２０を左スピーカ群２０Ｌとしている。また、２台の機器ユニット１－１，１－２における全体として右に位置する少なくとも１つのスピーカ２０を右スピーカ群２０Ｒとしている。図８の構成例と比べると、例えば機器ユニット１－１だけを考えた場合の右スピーカ群２０Ｒが、センタスピーカ群２０Ｃに変更されている。また、例えば機器ユニット１－１だけを考えた場合の左スピーカ群２０Ｌとセンタスピーカ群２０Ｃとが、全体としての左スピーカ群２０Ｌに変更されている。
　このようなスピーカ構成の効果の１つとして、スピーカ２０の音圧アップがある。一般的にスピーカ２０を複数組み合わせることにより、下記のような効果が知られている。
　スピーカ２０が２台になれば音圧が倍に増し、また、歪みは半分になるとされる。すなわち、音圧が３ｄＢで倍のエネルギーとなるので、仮に単体のスピーカ２０が、最大音圧１００ｄＢまで出せるスピーカ２０を２台使うことができれば、１０３ｄＢまで出せることになる。一方で、この３ｄＢ音圧が上がるとは、スピーカ２０自体を視聴者に、１ｍに近づけることと同等となる。
　以上のことから、図９の構成例については、左右、および、センタのスピーカのユニットの個数が倍になるので、音圧も倍の３ｄＢ上がることとなる。
　図１０は、機器ユニット１を左右方向に合計３台組み合わせた場合の、各機器ユニット１－１，１－２，１－３におけるスピーカ２０の機能および役割の割り当ての一例を模式的に示している。なお、図１０は、図５の画面構成例に対応している。
　図１０の例では、全体として中央に位置する機器ユニット１－２の全てのスピーカ２０をセンタスピーカ群２０Ｃとしている。また、全体として左に位置する機器ユニット１－１の全てのスピーカ２０を左スピーカ群２０Ｌとしている。また、全体として右に位置する機器ユニット１－３の全てのスピーカ２０を右スピーカ群２０Ｒとしている。
　図１１は、機器ユニット１を左右方向および上下方向に合計４台組み合わせた場合の、各機器ユニット１－１，１－２，１－３，１－４におけるスピーカ２０の機能および役割の割り当ての一例を模式的に示している。なお、図１１は、図６の画面構成例に対応している。
　図１１の例では、図８の構成例に対して、４台の機器ユニット１－１，１－２，１－３，１－４における全体として中央に位置する少なくとも１つのスピーカ２０をセンタスピーカ群２０Ｃとしている。また、４台の機器ユニット１－１，１－２，１－３，１－４における全体として左に位置する少なくとも１つのスピーカ２０を左スピーカ群２０Ｌとしている。また、４台の機器ユニット１－１，１－２，１－３，１－４における全体として右に位置する少なくとも１つのスピーカ２０を右スピーカ群２０Ｒとしている。図８の構成例と比べると、例えば機器ユニット１－１だけを考えた場合の右スピーカ群２０Ｒが、センタスピーカ群２０Ｃに変更されている。また、例えば機器ユニット１－１だけを考えた場合の左スピーカ群２０Ｌとセンタスピーカ群２０Ｃとが、全体としての左スピーカ群２０Ｌに変更されている。
　図１１の構成例では、上下方向に分かれたスピーカ配置になるので、４台の機器ユニット１－１，１－２，１－３，１－４におけるスピーカ２０を組み合わせて、左右、センタと見立てるとすると、単純には、９ｄＢアップとなり８倍の音圧が得られる。４つのプロジェクタ部３による大画面、高精細な映像に見合った音量を得ることが可能になる。
　図１２は、複数のスピーカを組み合わせたサラウンドシステムの一例を模式的に示す外観図である。図１２に示したサラウンドシステムは、Ｄｏｌｂｙ　Ａｔｏｍｓと呼ばれる。
　図１３は、機器ユニット１を左右方向および上下方向に合計４台組み合わせた場合の、各機器ユニット１－１，１－２，１－３，１－４におけるスピーカ２０の機能および役割を、図１２に示したサラウンドシステムの一部のスピーカとして割り当てた例を模式的に示している。図１３の構成では、図１２に示すようなＤｏｌｂｙ　Ａｔｏｍｓという、サラウンドシステムにおけるマルチスピーカの配置を前提としたシステムとなっている。図１３の例では、図８の構成例に対して、４台の機器ユニット１－１，１－２，１－３，１－４における全体として中央に位置する少なくとも１つのスピーカ２０をセンタスピーカ群２０Ｃとしている。
　また、４台の機器ユニット１－１，１－２，１－３，１－４における全体として左上側に位置する少なくとも１つのスピーカ２０を、Ｐｒｅｓｅｎｃｅ　Ｌスピーカ群２０ＰＬとしている。また、４台の機器ユニット１－１，１－２，１－３，１－４における全体として右上側に位置する少なくとも１つのスピーカ２０を、Ｐｒｅｓｅｎｃｅ　Ｒスピーカ群２０ＰＲとしている。また、４台の機器ユニット１－１，１－２，１－３，１－４における全体として左下側に位置する少なくとも１つのスピーカ２０を、Ｍａｉｎ　Ｌスピーカ群２０ＭＬとしている。また、４台の機器ユニット１－１，１－２，１－３，１－４における全体として右下側に位置する少なくとも１つのスピーカ２０を、Ｍａｉｎ　Ｒスピーカ群２０ＭＲとしている。
　図１４は、機器ユニット１を左右方向および上下方向に合計４台組み合わせた場合の、各機器ユニット１－１，１－２，１－３，１－４におけるスピーカ２０の機能および役割を、ラインアレイスピーカ群２０Ａ，２０Ｂとして割り当てた例を模式的に示している。
　図１４の例では、上側の２台の機器ユニット１－１，１－２のスピーカ２０を全体手して１つのラインアレイスピーカ群２０Ａとして構成している。また、下側の２台の機器ユニット１－３，１－４のスピーカ２０を全体として１つのラインアレイスピーカ群２０Ｂとして構成している。
　図１５は、図１４に示したようにラインアレイスピーカ群２０Ａ，２０Ｂとして構成した場合の効果の一例を模式的に示している。ラインアレイスピーカ群２０Ａ，２０Ｂの構成にした場合、より音源のポイントが広がることにより得られる効果がある。例えば、「音が減衰しにくい」、「エリア内外で音のレベル差が少ない」、「ハウリングが起こりにくい」の３点の効果が挙げられる。
　図１６は、機器ユニット１を左右方向および上下方向に合計６台組み合わせた構成例を模式的に示している。図１７は、図１６に示した構成例に対応するデータテーブルの一例を模式的に示している。ここでは、６台の機器ユニット１を、Ｂａｒ－１，Ｂａｒ－２，Ｂａｒ－３，Ｂａｒ－４，Ｂａｒ－５，Ｂａｒ－６と呼称する。
　図１６に示したような、各機器ユニットの設置状態の情報を示すデータとして、例えば図１７に示したパラメータ群を用いることができる。図１７に示したパラメータ群は、図１６に示した各機器ユニットの設置状態を具体的に数値化したパラメータが含まれている。各機器ユニットの相対的な位置関係を示すパラメータや、スピーカ２０の搭載個数、そして、各機器ユニットの回転状態を示すものをパラメータとして用意する。これにより、各機器ユニットの配置が転置状態になっているか否か等を表現できる。
（機器ユニット１が１台だけの場合）
　以上の説明では、複数の機器ユニット１を組み合わせたスピーカ２０の構成例を説明したが、機器ユニット１が１台だけであっても、機器ユニット１の位置や姿勢の情報に応じて、機器ユニット１内の複数のスピーカ２０の音声出力状態を変化させることが可能である。
　例えば、投影面の真ん中を推定して、視聴者は真ん中に居ると仮定する。これにより、視聴者とスピーカ２０の音響軸の角度が推定できる。それにより、広域補償等の指向特性補償を行うことができる。また、機器ユニット１のスピーカ２０がウーファだった場合には、機器ユニット１と壁面等との相対位置が分かるので、音の伝達時間の遅延補償（タイムアライメント補償）等が可能となる。
（１．１．４　機器ユニットの制御系の第１の構成例）
　図１８は、１つの機器ユニット１の制御系の第１の構成例を示している。
　機器ユニット１は、スピーカ部２と、プロジェクタ部３と、撮像部４と、データ入力部５０と、制御部６０とを備えている。機器ユニット１はさらに、制御部６０に接続された、内部メモリ６１と、操作・表示部６２とを備えている。
　スピーカ部２は、スピーカ２０と、オーディオＤＳＰ（Digital Signal Processor）２１と、アンプ２２とを有している。
　プロジェクタ部３は、ビデオプロセッサ３１と、表示駆動回路３２と、表示素子３３と、光源駆動回路３４と、光源３５とを有している。
　表示素子３３は、表示駆動回路３２によって駆動制御される。表示素子３３は、例えば液晶表示素子やＭＥＭＳ（Micro Electro Mechanical Systems）を用いた素子等で構成されている。表示素子３３は、光源３５からの照明光によって照明されて画像を表示する。
　光源３５は、光源駆動回路３４によって駆動制御される。光源３５は、例えばレーザ光源等で構成されている。
　データ入力部５０には、入力データＤａｖとして、画像データＤｖおよび音声データＤａを含むＡＶデータが入力される。また、入力データＤａｖは外部メモリ５４を介して入力されてもよい。データ入力部５０は、有線Ｉ／Ｆ（インタフェース）部５１と、ＬＡＮ　Ｉ／Ｆ部５２と、メモリＩ／Ｆ部５３とを有している。
　有線Ｉ／Ｆ部５１は、例えばＨＤＭＩ（High Definition Multimedia Interface）（登録商標）規格のＩ／Ｆである。ＬＡＮ（Local Area Network）　Ｉ／Ｆ部５２は、無線または有線によるネットワークＩ／Ｆである。ＬＡＮのほかに、ＷＡＮ（Wide Area Network）　Ｉ／Ｆ部を備えてもよい。本実施の形態において、ネットワーク接続するための形態は特に限定されない。メモリＩ／Ｆ部５３は、外部メモリ５４を接続するＩ／Ｆである。外部メモリ５４は、メモリＩ／Ｆ部５３に対して着脱可能な、例えば半導体メモリである。
　制御部６０は、例えばＣＰＵ（Central Processing Unit）等で構成されている。制御部６０には、データ入力部５０を介して入力データＤａｖが入力される。また、制御部６０には、撮像部４による撮像データＤｉが入力される。
　制御部６０は、撮像部４による撮像画像に基づいて、プロジェクタ部３による投影画面を補正する補正データＤｃを生成する。例えば、制御部６０は、撮像部４による撮像データＤｉに基づいて、幾何的キャリブレーション処理や輝度・色のキャリブレーション処理等の画像補正処理用の補正データＤｃを生成する。また、制御部６０は、必要に応じて、画像データＤｖに対して画面の分割処理等を行う。制御部６０は、画像に関する補正データＤｃを生成し、画像データＤｖと共に、プロジェクタ部３に出力する。なお、制御部６０とプロジェクタ部３は、例えばＩ２Ｃ（Inter Integrated Circuit）インタフェースによって接続されている。
　また、制御部６０は、撮像部４による撮像画像に基づいて推定された機器ユニット１の設置状態の情報に基づいて、スピーカ２０の音声出力状態を制御する。制御部６０は、音声に関する補正データＤｃを生成し、音声データＤａと共に、スピーカ部２に出力する。なお、制御部６０とスピーカ部２は、例えばＩ２Ｓ（Inter IC Sound）インタフェースによって接続されている。
　制御部６０は、設置状態の情報として、少なくとも、機器ユニット１の位置および姿勢の情報を推定する。制御部６０は、機器ユニット１が複数ある場合、設置状態の情報として、少なくとも、複数の機器ユニット１間の相対的な位置の情報を推定する。
　制御部６０は、例えば、図９、図１１、図１３、および図１４に示した構成例のように、隣接する少なくとも２つの機器ユニット１間における少なくとも２つのスピーカ２０を、同一の音声出力状態となる１つのスピーカ群となるように制御してもよい。
　また、制御部６０は、例えば、図９～図１１、図１３および図１４に示した構成例のように、複数の機器ユニット１のそれぞれのスピーカ２０を、互いに音声出力状態の異なる複数のスピーカ群のいずれかに属することとなるように制御してもよい。この場合、複数のスピーカ群として、例えば、図９～図１１に示した構成例のように、センタスピーカ群２０Ｃ、左スピーカ群２０Ｌ、および右スピーカ群２０Ｒを含んでもよい。
　また、制御部６０は、例えば、図１４に示した構成例のように、左右方向に隣接する少なくとも２つの機器ユニット１の全てのスピーカ２０を、同一の音声出力状態となる１つのラインアレイスピーカ群となるように制御してもよい。
（１．１．５　複数の機器ユニットの接続形態の第１の例）
　図１９は、機器ユニット１を複数、組み合わせる場合の接続形態の第１の例を示している。図１９では、４台の機器ユニット１－１，１－２，１－３および１－４によるそれぞれの投影画面１０－１，１０－２，１０－３および１０－４を合成して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の１つの投影画面を表示する例を示す。
　この接続形態では、各機器ユニット１－１，１－２，１－３および１－４に接続された分配器８０を備えている。各機器ユニット１－１，１－２，１－３および１－４には、分配器８０を介して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の入力データＤａｖが入力される。各機器ユニット１－１，１－２，１－３および１－４同士は、例えば、有線Ｉ／Ｆ部５１またはＬＡＮ　Ｉ／Ｆ部５２により相互接続される。また、各機器ユニット１－１，１－２，１－３および１－４と分配器８０は、例えば、有線Ｉ／Ｆ部５１またはＬＡＮ　Ｉ／Ｆ部５２により相互接続される。
　幾何的キャリブレーション処理や輝度・色のキャリブレーション処理等の画像補正処理、および画面の分割処理等は、各機器ユニット１－１，１－２，１－３および１－４内で行われる。各機器ユニット１－１，１－２，１－３および１－４の間では、画像補正処理等を行うための補正データＤｃの共有が行われる。
　各機器ユニット１－１，１－２，１－３および１－４はそれぞれ、例えば、４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の画像を分割した１０８０／６０Ｐ（１０８０＠６０Ｐ）の画像を投影する。
［１．２　動作］
（１．２．１　複数の機器ユニットを組み合わせる場合の制御動作の例）
　図２０は、機器ユニット１を複数、組み合わせる場合の制御動作の一例を示している。
　なお、以下では、図１９の接続形態を例に、複数の機器ユニット１内の少なくとも１つの制御部６０が行う動作として説明するが、後述する図２４の接続形態の場合には、データ変換部８１が行う動作であってもよい。また、後述する図２７の接続形態の場合には、マスタとなる機器ユニット１－３における制御部６０が行う動作であってもよい。
　制御部６０は、全ての機器ユニット１の位置および姿勢の推定が完了したか否かを判断する（ステップＳ１０１）。全ての機器ユニット１の位置および姿勢の推定が完了している場合（ステップＳ１０１；Ｙ）には、制御部６０は、入力データが入力されたか否かを判断する（ステップＳ１０２）。制御部６０は、入力データが入力されるまで処理待ちとなる（ステップＳ１０２；Ｎ）。入力データが入力された場合（ステップＳ１０２；Ｙ）には、制御部６０は、位置および姿勢の情報から入力データを機器ユニット１ごとに分割する（ステップＳ１０３）。次に、制御部６０は、機器ユニット１ごとにプロジェクタ部３による投影を行う（ステップＳ１０４）。また、制御部６０は、機器ユニット１ごとにスピーカ２０による音声出力を行う（ステップＳ１０５）。次に、制御部６０は、機器ユニット１の追加や外乱など、機器ユニット１の設置状態に変化があったか否かを判断する（ステップＳ１０６）。設置状態に変化がない場合（ステップＳ１０６；Ｎ）には、制御部６０は、ステップＳ１０４の処理に戻る。設置状態に変化があった場合（ステップＳ１０６；Ｙ）には、ステップＳ１０１の処理に戻る。
　一方、ステップＳ１０１において、全ての機器ユニット１の位置および姿勢の推定が完了していない場合（ステップＳ１０１；Ｎ）には、制御部６０は、位置および姿勢の推定を行う機器ユニット１を特定する（ステップＳ１０７）。次に、制御部６０は、特定された機器ユニット１のプロジェクタ.部３より、位置および姿勢の推定を行うための所定の画像パターンを投影する（ステップＳ１０８）。次に、制御部６０は、撮像部４によって所定の画像パターンを撮像してセンシングを実行する（ステップＳ１０９）。次に、制御部６０は、撮像部４による撮像画像に基づいて、特定された機器ユニット１の位置および姿勢の情報を取得する（ステップＳ１１０）。
　次に、制御部６０は、位置および姿勢の情報から画像に関する補正データＤｃを生成する（ステップＳ１１１）。次に、制御部６０は、画像に関する補正データＤｃを、特定された機器ユニット１のプロジェクタ部３に出力する（ステップＳ１１２）。また、制御部６０は、位置および姿勢の情報とメタ情報とから音声に関する補正データＤｃを生成する（ステップＳ１１３）。次に、制御部６０は、音声に関する補正データＤｃを、特定された機器ユニットのオーディオＤＳＰ２１に出力する（ステップＳ１１４）。その後、制御部６０は、ステップＳ１０１の処理に戻る。
（１．２．２　補正データの作成例（図２１）
　図２１は、機器ユニット１における画像補正の制御動作の一例を示している。
　なお、以下では、図１９の接続形態を例に、複数の機器ユニット１内の少なくとも１つの制御部６０が行う動作として説明するが、後述する図２４の接続形態の場合には、データ変換部８１が行う動作であってもよい。また、後述する図２７の接続形態の場合には、マスタとなる機器ユニット１－３における制御部６０が行う動作であってもよい。
　制御部６０は、幾何的キャリブレーション処理を開始する（ステップＳ２００）。制御部６０は、事前処理として、撮像部４とプロジェクタ部３との内部変数および外部変数を取得しておく（ステップＳ２０１）。ここで、内部変数および外部変数としては、例えば撮像部４を構成する撮像レンズのフォーカスやレンズ歪みなどの情報がある。また、撮像部４とプロジェクタ部３との相対的な位置関係の情報がある。次に、制御部６０は、撮像部４による撮像画像に基づいて、プロジェクタ部３の姿勢を推定（ステップＳ２０２）し、プロジェクタ部３の姿勢の情報を取得する（ステップＳ２０３）。次に、制御部６０は、姿勢の情報に基づいて、幾何的補正情報生成処理を行い（ステップＳ２０４）、幾何的補正情報のデータを取得する（ステップＳ２０５）。制御部６０は、幾何的補正情報のデータをプロジェクタ部３に出力する。プロジェクタ部３では、幾何的補正情報のデータに基づいて、入力画像Ｄｖ１に対して幾何的補正処理を行う（ステップＳ２０６）。
　また、制御部６０は、輝度・色のキャリブレーション処理を開始する（ステップＳ３００）。制御部６０は、事前処理として、プロジェクタ部３の輝度・色特性の情報を取得しておく（ステップＳ３０１）。次に、制御部６０は、輝度・色特性の情報と、プロジェクタ部３の姿勢の情報とに基づいて、輝度・色補正情報生成処理を行い（ステップＳ３０２）、輝度・色補正情報のデータを取得する（ステップＳ３０３）。制御部６０は、輝度・色補正情報のデータをプロジェクタ部３に出力する。プロジェクタ部３では、幾何的補正処理後の幾何的補正画像Ｄｖ２に対して輝度・色補正処理を行う（ステップＳ３０４）。これにより、輝度・色補正画像Ｄｖ３が得られる。
［１．３　他の構成例］
（１．３．１　機器ユニットの制御系の第２の構成例）
　図２２は、機器ユニット１の制御系の第２の構成例を示している。
　図２２に示した第２の構成例は、図１８の第１の構成例に対して、ビデオプロセッサ７０と、入力切替部７１と、内部メモリ７２と、内部Ｉ／Ｆ部７３とを、さらに備えている。
　制御部６０には、ＬＡＮ　Ｉ／Ｆ部５２およびメモリＩ／Ｆ部５３を介して入力データＤａｖが入力される。入力切替部７１は、有線Ｉ／Ｆ部５１からの入力データＤａｖと、制御部６０からの入力データＤａｖとの選択的な切り替えを行う。
　ビデオプロセッサ７０には、入力切替部７１を介して入力データＤａｖが入力される。また、ビデオプロセッサ７０には、内部Ｉ／Ｆ部７３を介して、各種の補正データＤｃの生成に必要なデータが入力される。
　ビデオプロセッサ７０は、画像に関する補正データＤｃを生成し、画像データＤｖと共に、プロジェクタ部３に出力する。
　また、ビデオプロセッサ７０は、音声に関する補正データＤｃを生成し、音声データＤａと共に、スピーカ部２に出力する。
　その他の構成は、図１８の第１の構成例と略同様であってもよい。
（１．３．２　複数の機器ユニットの接続形態の第２ないし第６の例）
（接続形態の第２の例）
　図２３は、機器ユニット１を複数、組み合わせる場合の接続形態の第２の例を示している。図２３では、４台の機器ユニット１－１，１－２，１－３および１－４によるそれぞれの投影画面１０－１，１０－２，１０－３および１０－４を合成して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の１つの投影画面を表示する例を示す。
　図２３の接続形態は、４台の機器ユニット１－１，１－２，１－３および１－４同士を、例えば、有線Ｉ／Ｆ部５１によりデイジーチェーン接続した例である。有線Ｉ／Ｆ部５１としては、例えばＨＤＭＩのＣＥＣラインやＤＰ（Display Port）の外部チャネルラインなどを使用することができる。この接続形態では、１つの機器ユニット１－１に、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の入力データＤａｖが入力される。他の機器ユニット１－２，１－３および１－４にも、デイジーチェーン方式で４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の入力データＤａｖが入力される。
　幾何的キャリブレーション処理や輝度・色のキャリブレーション処理等の画像補正処理、および画面の分割処理等は、各機器ユニット１－１，１－２，１－３および１－４内で行われる。各機器ユニット１－１，１－２，１－３および１－４の間では、デイジーチェーン方式で、画像補正処理等を行うための補正データＤｃの共有が行われる。
　各機器ユニット１－１，１－２，１－３および１－４はそれぞれ、例えば、４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の画像を分割した１０８０／６０Ｐ（１０８０＠６０Ｐ）の画像を投影する。
（接続形態の第３の例）
　図２４は、機器ユニット１を複数、組み合わせる場合の接続形態の第３の例を示している。図２４では、４台の機器ユニット１－１，１－２，１－３および１－４によるそれぞれの投影画面１０－１，１０－２，１０－３および１０－４を合成して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の１つの投影画面を表示する例を示す。
　図２４の接続形態では、各機器ユニット１－１，１－２，１－３および１－４に接続されたデータ変換部８１を備えている。データ変換部８１には、元となる入力データＤａｖとして、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）のデータが入力される。また、データ変換部８１には、各機器ユニット１－１，１－２，１－３および１－４における撮像部４によって得られた撮像データＤｉが入力される。
　幾何的キャリブレーション処理や輝度・色のキャリブレーション処理等の画像補正処理、および画面の分割処理等は、データ変換部８１で行われる。
　各機器ユニット１－１，１－２，１－３および１－４には、入力データＤａｖとして、データ変換部８１によって分割された、例えば１０８０／６０Ｐ（１０８０＠６０Ｐ）のデータが入力される。各機器ユニット１－１，１－２，１－３および１－４はそれぞれ、例えば１０８０／６０Ｐ（１０８０＠６０Ｐ）の画像を投影する。
（接続形態の第４の例）
　図２５は、機器ユニット１を複数、組み合わせる場合の接続形態の第４の例を示している。図２５では、８台（４×２台）の機器ユニット１－１～１－４、および１－５～１－８によるそれぞれの投影画面１０－１～１０－４、および１０－５～１０－８を合成して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）×２の解像度の１つの投影画面を表示する例を示す。
　図２５の接続形態では、図２４の接続形態と略同様に、４台の機器ユニット１－１，１－２，１－３および１－４に接続されたデータ変換部８１を備えている。さらに、この接続形態では、他の４台の機器ユニット１－５，１－６，１－７および１－８に接続された他のデータ変換部８１Ａを備えている。データ変換部８１と他のデータ変換部８１Ａは、相互接続されている。
　データ変換部８１には、元となる入力データＤａｖとして、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）のデータが入力される。また、データ変換部８１には、４台の機器ユニット１－１，１－２，１－３および１－４における撮像部４によって得られた撮像データＤｉが入力される。
　他のデータ変換部８１Ａには、データ変換部８１を介して、元となる入力データＤａｖのデータが入力される。また、他のデータ変換部８１Ａには、他の４台の機器ユニット１－５，１－６，１－７および１－８における撮像部４によって得られた撮像データＤｉが入力される。
　幾何的キャリブレーション処理や輝度・色のキャリブレーション処理等の画像補正処理、および画面の分割処理等は、データ変換部８１と他のデータ変換部８１Ａとで行われる。
　４台の機器ユニット１－１，１－２，１－３および１－４には、入力データＤａｖとして、データ変換部８１によって分割された、例えば１０８０／６０Ｐ（１０８０＠６０Ｐ）のデータが入力される。４台の機器ユニット１－１，１－２，１－３および１－４はそれぞれ、例えば１０８０／６０Ｐ（１０８０＠６０Ｐ）の画像を投影する。
　同様に、他の４台の機器ユニット１－５，１－６，１－７および１－８には、入力データＤａｖとして、他のデータ変換部８１Ａによって分割された、例えば１０８０／６０Ｐ（１０８０＠６０Ｐ）のデータが入力される。他の４台の機器ユニット１－５，１－６，１－７および１－８はそれぞれ、例えば１０８０／６０Ｐ（１０８０＠６０Ｐ）の画像を投影する。
（接続形態の第５の例）
　図２６は、機器ユニット１を複数、組み合わせる場合の接続形態の第５の例を示している。図２６では、４台の機器ユニット１－１，１－２，１－３および１－４によるそれぞれの投影画面１０－１，１０－２，１０－３および１０－４を合成して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の１つの投影画面を表示する例を示す。
　この接続形態では、各機器ユニット１－１，１－２，１－３および１－４に接続されたデータサーバ８２を備えている。各機器ユニット１－１，１－２，１－３および１－４には、データサーバ８２を介して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の入力データＤａｖが入力される。各機器ユニット１－１，１－２，１－３および１－４同士は、例えば、無線によるＬＡＮ　Ｉ／Ｆ部５２により相互接続される。また、各機器ユニット１－１，１－２，１－３および１－４とデータサーバ８２は、例えば、無線によるＬＡＮ　Ｉ／Ｆ部５２により相互接続される。
　幾何的キャリブレーション処理や輝度・色のキャリブレーション処理等の画像補正処理、および画面の分割処理等は、各機器ユニット１－１，１－２，１－３および１－４内で行われる。各機器ユニット１－１，１－２，１－３および１－４の間では、画像補正処理等を行うための補正データＤｃの共有が行われる。
　各機器ユニット１－１，１－２，１－３および１－４はそれぞれ、例えば、４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の画像を分割した１０８０／６０Ｐ（１０８０＠６０Ｐ）の画像を投影する。
（接続形態の第６の例）
　図２７は、機器ユニット１を複数、組み合わせる場合の接続形態の第６の例を示している。図２７では、４台の機器ユニット１－１，１－２，１－３および１－４によるそれぞれの投影画面１０－１，１０－２，１０－３および１０－４を合成して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の１つの投影画面を表示する例を示す。
　図２７は、機器ユニット１－１，１－２および１－４をスレーブ、機器ユニット１－３をマスタとした接続形態である。幾何的キャリブレーション処理や輝度・色のキャリブレーション処理等の画像補正処理、および画面の分割処理等は、マスタとしての機器ユニット１－３内で行われる。また、各機器ユニット１－１，１－２，１－３および１－４の間で、画像補正処理等を行うための補正データＤｃを共有し、各機器ユニット１－１，１－２，１－３および１－４ごとに画像補正処理を行ってもよい。
　この接続形態では、マスタとしての機器ユニット１－３に接続されたデータサーバ８２を備えている。各機器ユニット１－１，１－２，１－３および１－４同士は、例えば、無線によるＬＡＮ　Ｉ／Ｆ部５２により相互接続される。また、マスタとしての機器ユニット１－３とデータサーバ８２は、例えば、無線によるＬＡＮ　Ｉ／Ｆ部５２により相互接続される。
　マスタとしての機器ユニット１－３には、データサーバ８２を介して、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の入力データＤａｖが入力される。スレーブとしての機器ユニット１－１，１－２および１－４には、マスタとしての機器ユニット１－３から、例えば４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の画像を分割した１０８０／６０Ｐ（１０８０＠６０Ｐ）の入力データＤａｖが入力される。
　各機器ユニット１－１，１－２，１－３および１－４はそれぞれ、例えば、４Ｋ／６０Ｐ（４Ｋ＠６０Ｐ）の画像を分割した１０８０／６０Ｐ（１０８０＠６０Ｐ）の画像を投影する。
［１．４　効果］
　以上のように、本実施の形態によれば、１つの機器ユニット１内に、スピーカ部２と、プロジェクタ部３と、撮像部４とを含め、撮像部４による撮像画像に基づいて推定された機器ユニット１の設置状態の情報に基づいて、スピーカ２０の音声出力状態を制御するようにしたので、プロジェクタの新規な使用形態を実現できる。
　本実施の形態によれば、複数の機器ユニット１を用いることにより、映像中心の付加価値として、解像度が上がる、画角やアスペクト比が広がる、表示の輝度が上がる、などといった効果が得られる。さらに、複数の機器ユニット１における複数のスピーカ２０を適切に組み合わせることにより、音声面での効果が得られる。例えば、スピーカ２０を組み合わせた個数分、音圧レベルを上けることができる。また、図１４に示したようなラインアレイスピーカ群を構成する場合には、音が減衰しにくい、エリア以外で音のレベル差が少ない、ハウリングしにくいなどといった効果が期待される。一方で、映画などのコンテンツを鑑賞する際には、図１２に示したようなサラウンドシステムにおけるマルチスピーカの配置を前提としたシステム構成にすることができる。これにより、ユーザが試聴する際に重要視する視点を反映したシステム構成が可能な構成を構築することが可能となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜２．その他の実施の形態＞
　本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることができる。
（１）
　少なくとも１つのスピーカを含むスピーカ部と、プロジェクタ部と、前記プロジェクタ部による投影画面を撮像する撮像部とを含む機器ユニットと、
　前記撮像部による撮像画像に基づいて推定された前記機器ユニットの設置状態の情報に基づいて、前記スピーカの音声出力状態を制御する制御部と
　を備えるプロジェクションシステム。
（２）
　前記制御部は、
　前記設置状態の情報として、少なくとも、前記機器ユニットの位置および姿勢の情報を推定する
　上記（１）に記載のプロジェクションシステム。
（３）
　前記機器ユニットを複数備え、
　前記複数の機器ユニットにおけるそれぞれの前記プロジェクタ部による前記投影画面を繋ぎ合わせて１つの合成画面を形成する
　上記（１）または（２）に記載のプロジェクションシステム。
（４）
　前記制御部は、
　前記設置状態の情報として、少なくとも、前記複数の機器ユニット間の相対的な位置の情報を推定する
　上記（３）に記載のプロジェクションシステム。
（５）
　前記制御部は、
　隣接する少なくとも２つの前記機器ユニット間における少なくとも２つの前記スピーカを、同一の音声出力状態となる１つのスピーカ群となるように制御する
　上記（３）または（４）に記載のプロジェクションシステム。
（６）
　前記制御部は、
　前記複数の機器ユニットのそれぞれの前記スピーカを、互いに音声出力状態の異なる複数のスピーカ群のいずれかに属することとなるように制御する
　上記（３）ないし（５）のいずれか１つに記載のプロジェクションシステム。
（７）
　前記複数のスピーカ群として、センタスピーカ群、左スピーカ群、および右スピーカ群を含む
　上記（６）に記載のプロジェクションシステム。
（８）
　前記制御部は、
　左右方向に隣接する少なくとも２つの前記機器ユニットの全てのスピーカを、同一の音声出力状態となる１つのラインアレイスピーカ群となるように制御する
　上記（３）ないし（５）のいずれか１つに記載のプロジェクションシステム。
（９）
　前記制御部は、さらに、前記撮像部による撮像画像に基づいて、前記プロジェクタ部による投影画面を補正する補正データを生成する
　上記（１）ないし（８）のいずれか１つに記載のプロジェクションシステム。
（１０）
　少なくとも１つのスピーカを含むスピーカ部と、プロジェクタ部と、前記プロジェクタ部による投影画面を撮像する撮像部とを含むユニット本体と、
　前記撮像部による撮像画像に基づいて推定された前記ユニット本体の設置状態の情報に基づいて、前記スピーカの音声出力状態を制御する制御部と
　を備えた機器ユニット。
　本出願は、日本国特許庁において２０１５年８月２１日に出願された日本特許出願番号第２０１５－１６３７４４号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (10)

  1. 　少なくとも１つのスピーカを含むスピーカ部と、プロジェクタ部と、前記プロジェクタ部による投影画面を撮像する撮像部とを含む機器ユニットと、
    　前記撮像部による撮像画像に基づいて推定された前記機器ユニットの設置状態の情報に基づいて、前記スピーカの音声出力状態を制御する制御部と
    　を備えるプロジェクションシステム。
  2. 　前記制御部は、
    　前記設置状態の情報として、少なくとも、前記機器ユニットの位置および姿勢の情報を推定する
    　請求項１に記載のプロジェクションシステム。
  3. 　前記機器ユニットを複数備え、
    　前記複数の機器ユニットにおけるそれぞれの前記プロジェクタ部による前記投影画面を繋ぎ合わせて１つの合成画面を形成する
    　請求項１に記載のプロジェクションシステム。
  4. 　前記制御部は、
    　前記設置状態の情報として、少なくとも、前記複数の機器ユニット間の相対的な位置の情報を推定する
    　請求項３に記載のプロジェクションシステム。
  5. 　前記制御部は、
    　隣接する少なくとも２つの前記機器ユニット間における少なくとも２つの前記スピーカを、同一の音声出力状態となる１つのスピーカ群となるように制御する
    　請求項３に記載のプロジェクションシステム。
  6. 　前記制御部は、
    　前記複数の機器ユニットのそれぞれの前記スピーカを、互いに音声出力状態の異なる複数のスピーカ群のいずれかに属することとなるように制御する
    　請求項３に記載のプロジェクションシステム。
  7. 　前記複数のスピーカ群として、センタスピーカ群、左スピーカ群、および右スピーカ群を含む
    　請求項６に記載のプロジェクションシステム。
  8. 　前記制御部は、
    　左右方向に隣接する少なくとも２つの前記機器ユニットの全てのスピーカを、同一の音声出力状態となる１つのラインアレイスピーカ群となるように制御する
    　請求項３に記載のプロジェクションシステム。
  9. 　前記制御部は、さらに、前記撮像部による撮像画像に基づいて、前記プロジェクタ部による投影画面を補正する補正データを生成する
    　請求項１に記載のプロジェクションシステム。
  10. 　少なくとも１つのスピーカを含むスピーカ部と、プロジェクタ部と、前記プロジェクタ部による投影画面を撮像する撮像部とを含むユニット本体と、
    　前記撮像部による撮像画像に基づいて推定された前記ユニット本体の設置状態の情報に基づいて、前記スピーカの音声出力状態を制御する制御部と
    　を備えた機器ユニット。
PCT/JP2016/069624 2015-08-21 2016-07-01 プロジェクションシステム、および機器ユニット WO2017033574A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/747,483 US10523891B2 (en) 2015-08-21 2016-07-01 Projection system and apparatus unit to implement new use form of projector
CN201680048297.6A CN107925820B (zh) 2015-08-21 2016-07-01 投影系统和设备单元
JP2017536659A JP6733675B2 (ja) 2015-08-21 2016-07-01 プロジェクションシステム、および機器ユニット、ならびに機器制御方法
EP16838921.1A EP3340649B1 (en) 2015-08-21 2016-07-01 Projection system and apparatus unit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-163744 2015-08-21
JP2015163744 2015-08-21

Publications (1)

Publication Number Publication Date
WO2017033574A1 true WO2017033574A1 (ja) 2017-03-02

Family

ID=58099865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069624 WO2017033574A1 (ja) 2015-08-21 2016-07-01 プロジェクションシステム、および機器ユニット

Country Status (5)

Country Link
US (1) US10523891B2 (ja)
EP (1) EP3340649B1 (ja)
JP (1) JP6733675B2 (ja)
CN (1) CN107925820B (ja)
WO (1) WO2017033574A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2556177A (en) * 2016-09-21 2018-05-23 Tymphany Hk Ltd Audio and video projection system
CN111801952A (zh) * 2018-03-08 2020-10-20 索尼公司 信息处理装置、信息处理方法、信息处理系统和程序
US11048468B2 (en) 2019-04-24 2021-06-29 Seiko Epson Corporation Sound output control method and display system
EP3616413B1 (en) * 2017-04-28 2023-03-29 Bose Corporation Speaker array systems

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154628A1 (ja) * 2016-03-11 2017-09-14 ソニー株式会社 画像処理装置および方法
JP2019004401A (ja) * 2017-06-19 2019-01-10 セイコーエプソン株式会社 プロジェクションシステム、プロジェクター及びプロジェクションシステムの制御方法
CN108668215B (zh) * 2018-07-18 2024-05-14 广州市锐丰音响科技股份有限公司 全景音域系统
CN112162460B (zh) * 2020-09-27 2021-09-03 深圳市火乐科技发展有限公司 音频播放方法及相关装置
TWI818282B (zh) * 2021-07-12 2023-10-11 明基電通股份有限公司 投影裝置、投影系統及投影影像校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193811A (ja) * 2002-12-10 2004-07-08 Sony Corp 投影スクリーン付きアレースピーカ装置
JP2006094186A (ja) * 2004-09-24 2006-04-06 Nikon Corp プロジェクタシステム、携帯電話、カメラ
JP2009229939A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp プロジェクタ
JP2014160133A (ja) * 2013-02-19 2014-09-04 Ricoh Co Ltd 投影装置、投影装置の音量設定方法、及び投影システム
JP2015154370A (ja) * 2014-02-18 2015-08-24 株式会社リコー マルチプロジェクションシステム及び音声出力方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4203640B2 (ja) * 2002-11-08 2009-01-07 カシオ計算機株式会社 プロジェクタ
JPWO2004106857A1 (ja) * 2003-05-29 2006-07-20 オリンパス株式会社 ステレオ光学モジュール及びステレオカメラ
JPWO2004106858A1 (ja) * 2003-05-29 2006-07-20 オリンパス株式会社 ステレオカメラシステム及びステレオ光学モジュール
US8880205B2 (en) * 2004-12-30 2014-11-04 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
US7653447B2 (en) * 2004-12-30 2010-01-26 Mondo Systems, Inc. Integrated audio video signal processing system using centralized processing of signals
US7794094B2 (en) * 2006-05-26 2010-09-14 Sony Corporation System and method for multi-directional positioning of projected images
JP4656232B2 (ja) * 2008-11-28 2011-03-23 セイコーエプソン株式会社 プロジェクタ
JP5495572B2 (ja) * 2009-01-07 2014-05-21 キヤノン株式会社 プロジェクタ・システム及びこれを含むビデオ会議システム
CN102084650B (zh) * 2009-05-12 2013-10-09 华为终端有限公司 远程呈现系统、方法及视频采集设备
US8269902B2 (en) * 2009-06-03 2012-09-18 Transpacific Image, Llc Multimedia projection management
JP5338718B2 (ja) 2010-02-26 2013-11-13 セイコーエプソン株式会社 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP2011250113A (ja) * 2010-05-26 2011-12-08 Sharp Corp 表示システム、表示制御方法及びコンピュータプログラム
JP2012054829A (ja) * 2010-09-02 2012-03-15 Sharp Corp 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
CN103236231B (zh) * 2013-05-10 2016-05-25 张志增 一种地铁投影系统及方法
JP6369810B2 (ja) * 2013-11-21 2018-08-08 パナソニックＩｐマネジメント株式会社 投写画像表示システム、投写画像表示方法及び投写型表示装置
WO2016015624A1 (en) * 2014-07-28 2016-02-04 Mediatek Inc. Portable device capable of generating panoramic file

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193811A (ja) * 2002-12-10 2004-07-08 Sony Corp 投影スクリーン付きアレースピーカ装置
JP2006094186A (ja) * 2004-09-24 2006-04-06 Nikon Corp プロジェクタシステム、携帯電話、カメラ
JP2009229939A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp プロジェクタ
JP2014160133A (ja) * 2013-02-19 2014-09-04 Ricoh Co Ltd 投影装置、投影装置の音量設定方法、及び投影システム
JP2015154370A (ja) * 2014-02-18 2015-08-24 株式会社リコー マルチプロジェクションシステム及び音声出力方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3340649A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2556177A (en) * 2016-09-21 2018-05-23 Tymphany Hk Ltd Audio and video projection system
EP3616413B1 (en) * 2017-04-28 2023-03-29 Bose Corporation Speaker array systems
CN111801952A (zh) * 2018-03-08 2020-10-20 索尼公司 信息处理装置、信息处理方法、信息处理系统和程序
US11048468B2 (en) 2019-04-24 2021-06-29 Seiko Epson Corporation Sound output control method and display system

Also Published As

Publication number Publication date
EP3340649B1 (en) 2020-04-29
CN107925820A (zh) 2018-04-17
CN107925820B (zh) 2020-08-04
EP3340649A4 (en) 2019-01-23
US20180227536A1 (en) 2018-08-09
EP3340649A1 (en) 2018-06-27
JPWO2017033574A1 (ja) 2018-06-07
JP6733675B2 (ja) 2020-08-05
US10523891B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
JP6733675B2 (ja) プロジェクションシステム、および機器ユニット、ならびに機器制御方法
KR20140010883A (ko) 상영관 구조물 및 이를 이용한 다면 상영 시스템
US20030016236A1 (en) Immersive augmentation for display systems
WO2014142631A1 (en) Creating details in an image with adaptive frequency strength controlled transform
CN104424538A (zh) 剧院参数管理设备和方法
WO2014142630A1 (en) Creating details in an image with frequency lifting
JP2017156581A (ja) 投影装置及びその制御方法
WO2020144937A1 (ja) サウンドバー、オーディオ信号処理方法及びプログラム
KR20150026434A (ko) 다면 상영 시스템의 시뮬레이션 영상을 제공하기 위한 시뮬레이션 영상 관리 시스템 및 방법
CN109196853B (zh) 信息处理装置、信息处理方法以及计算机可读存储介质
JP2007206356A (ja) 映像表示システム
JP2002014611A (ja) プラネタリウムのまたは球面スクリーンへのビデオ投映方法と装置
JP2003348500A (ja) 投射画像の調整方法、画像投射方法および投射装置
US20060066819A1 (en) Single reflective light valve projection device
US20210067732A1 (en) Image processing device, image processing method, program, and projection system
WO2022062604A1 (zh) 投影画面调节方法、装置、投影仪和存储介质
CN111630848B (zh) 图像处理装置、图像处理方法、程序和投影系统
WO2022105584A1 (zh) 基于大屏创建全景图片的方法、装置、智能终端及介质
JP2013105000A (ja) 映像表示装置及び映像表示方法
JP2017152784A (ja) 表示装置
JP2008311898A (ja) マルチプロジェクションシステム
JP6015082B2 (ja) プロジェクションシステム
CN111385504A (zh) 一种拼接电视及控制方法
CN211905973U (zh) 全景投影装置和全景投影系统
JP2011082935A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16838921

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017536659

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15747483

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016838921

Country of ref document: EP