WO2015151766A1 - 投影撮影システム、カラオケ装置及びシミュレーション装置 - Google Patents

投影撮影システム、カラオケ装置及びシミュレーション装置 Download PDF

Info

Publication number
WO2015151766A1
WO2015151766A1 PCT/JP2015/057479 JP2015057479W WO2015151766A1 WO 2015151766 A1 WO2015151766 A1 WO 2015151766A1 JP 2015057479 W JP2015057479 W JP 2015057479W WO 2015151766 A1 WO2015151766 A1 WO 2015151766A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
unit
photographing
data
video content
Prior art date
Application number
PCT/JP2015/057479
Other languages
English (en)
French (fr)
Inventor
柴谷　一弘
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2015151766A1 publication Critical patent/WO2015151766A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/10—Projectors with built-in or built-on screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Definitions

  • the present invention relates to a projection imaging system that projects an image around an object and produces expressions such as performance and performance, and relates to a karaoke apparatus and a simulation apparatus using the projection imaging system.
  • entertainment devices have been proposed that enhance the sense of presence and excitement by providing an effect of projecting an image on a screen or the like.
  • a karaoke device that projects video data determined for each song on the screen or the wall of a karaoke box in accordance with the performance of the song (see Japanese Patent Laid-Open No. 8-76779).
  • this karaoke apparatus it has been proposed to provide video data separately from the musical tone information of the music to be played and project the video data according to the genre of the music.
  • Japanese Patent Laid-Open No. 2006-325161 discloses a video image that attaches a light source to an object, detects the position of the light source, projects an image corresponding to the position of the light source, and visually expresses a range including the object. A system has been proposed.
  • the visual feeling of the performer, the performer and / or the observer can be enhanced, and the performance, performance, etc.
  • the range of expression can be expanded.
  • the karaoke apparatus described in Japanese Patent Application Laid-Open No. 8-76779 projects an image on the screen or wall surface inside the karaoke box, it is an expression only in the karaoke box and provides a visual effect. The number of people who can appreciate the performance is limited.
  • the video system described in Japanese Patent Application Laid-Open No. 2006-325161 projects a video on the range of an object to be produced, so that the number of people who can appreciate the production due to visual effects is limited.
  • an object of the present invention is to provide a projection photographing system capable of performing various effects and acquiring a photographed image with the various effects.
  • the present invention provides a projection unit that projects video content on a predetermined location, a state detection unit that detects a state of an object, and content that sets video content based on the state of the object
  • a projection photographing system including a setting unit and a photographing unit that generates photographing data obtained by photographing the video content projected on the predetermined place and the target object integrally or separately.
  • the video content corresponding to the state of the object is projected to a predetermined place, it is possible to produce an effect that enhances the sense of presence and excitement. Since the projected video content, the object, or both are simultaneously shot, it is possible to acquire a shot video that is produced by the projection of the video content.
  • the video content refers to a video to be projected, and here includes video data.
  • the projection unit may further project video content onto the object. By comprising in this way, the external appearance of the said target object can be produced.
  • the state detection unit may detect at least one of the operation of the object or the sound around the object as the state of the object.
  • a content storage unit in which a plurality of video data is stored is provided, and the content setting unit includes video data corresponding to the state of the object among the video data stored in the content storage unit. May be selected and set as video content.
  • a characteristic state associated with video data is stored, and when the state of the object detected by the state detection unit is the same as or similar to the characteristic state, the content setting The unit may set the video content.
  • the state detection unit may detect the state of the object based on the photographing data.
  • the number of elements such as an imaging element and a recording microphone can be reduced, so that the configuration can be simplified.
  • the photographing unit may operate corresponding to the state of the object. With such a configuration, it is possible to enhance the effect of the shooting data. Examples of the operation of the photographing unit include horizontal rotation (pan), vertical rotation (tilt), zoom, and focus of an imaging unit (camera) that performs imaging.
  • a shooting data storage unit that stores shooting data generated by the shooting unit may be provided. With such a configuration, it is possible to reproduce the shooting data at any time.
  • an edit processing unit for editing the photographing data may be provided.
  • the editing processing unit may edit the shooting data stored in the shooting data storage unit, or may edit the shooting data before storing it in the shooting data storage unit.
  • the configuration may be such that editing is performed in the process of generating shooting data.
  • the content setting unit may set the shooting data shot in the shooting data storage unit to the video content.
  • a display unit for displaying the shooting data stored in the shooting data storage unit may be provided. By adopting such a configuration, it is possible to confirm and appreciate the captured image data.
  • a communication unit may be provided that is connected to an external network and transmits the shooting data to an external device connected to the network via the network.
  • a plurality of projection imaging systems are connected to the network, and the communication unit converts imaging data captured by an imaging unit provided in another projection imaging system connected to the network into video data.
  • the content setting unit may set the acquired video data as video content.
  • Examples of apparatuses that use the projection photographing system according to the present invention include karaoke apparatuses and simulation apparatuses.
  • Examples of the simulation apparatus include a simulator such as a motorcycle traveling simulator and a train simulator. It can also be used as a simulator for training such as running, swimming, and cycling.
  • a projection photographing system that can perform various effects and can acquire a photographed image with the various effects.
  • a karaoke apparatus that can perform a variety of effects and can acquire shot images of performances, performances, and the like that have been subjected to the various effects.
  • FIG. 1 is a block diagram of an example of a projection photographing system according to the present invention.
  • the projection imaging system A includes a projection system Pj, an imaging system Tp, a processing unit Pr, and a storage unit Mr.
  • the processing unit Pr is a processing circuit that performs arithmetic processing of various data used in the projection imaging system A and controls the projection imaging system A.
  • the processing unit Pr is a circuit including an arithmetic processing unit such as an MPU or a CPU, and has a configuration capable of performing a plurality of processes. Moreover, you may have the structure which performs a process by operating a processing program as needed.
  • the storage unit Mr is connected to the processing unit Pr.
  • the storage unit Mr stores data used for arithmetic processing in the processing unit Pr and imaging data captured by the imaging system Tp (imaging unit).
  • the storage unit Mr includes a semiconductor memory such as a ROM, a RAM, and a flash memory, and a physical storage device such as a hard disk and an optical disk.
  • the storage unit Mr stores data sent from the processing unit Pr and passes data to the processing unit Pr in response to a request from the processing unit Pr.
  • Projection system Pj is a system for projecting video content corresponding to the motion of an object (for example, a person) and surrounding sounds onto the periphery of the object including or not including the object.
  • the projection system Pj includes a projector 1 (projection unit), a state detection unit 2, a content setting unit 3, and a content storage unit 4.
  • the projector 1 is an example of a projection unit, and is a device that projects an image.
  • Examples of the projection object projected by the projector 1 include planes such as walls and screens, but are not limited thereto.
  • the image may be projected onto (part of) a user's body using furniture such as a chair or a desk or the projection photographing system A. Further, it may be possible to perform so-called projection mapping, in which a projected video is projected according to a projection object (projected to be pasted).
  • the state detection unit 2 includes a sensor that detects the state of the object.
  • the state of the object includes the position and motion of the object.
  • the state of the object includes output from the object such as sound, light, heat, etc. emitted from the object.
  • voice of object, light, heat, etc. may be included.
  • the state detection unit 2 of the present embodiment includes a distance measuring sensor and a voice microphone, and can detect the position, shape, and voice of an object. And it is also possible to detect an operation
  • the state detection unit 2 is not limited to this, and may include an image sensor and an image processing unit that processes an image captured by the image sensor.
  • voice microphone, etc. may be sufficient, and the above sensors (detection part) may be provided with two or more.
  • an existing sensor such as Kinect (registered trademark) can be adopted as the state detection unit 2.
  • the state detection unit 2 is independent of the processing unit Pr. However, when it is necessary to perform some arithmetic processing, the arithmetic processing unit performs arithmetic processing using the processing unit Pr using a program or the like. A configuration may be employed, or a configuration in which the arithmetic processing unit is included in a part of the circuit of the processing unit Pr may be employed. In the projection imaging system A according to the present invention, the state detection unit 2 transmits at least one piece of information on the position, shape, sound, and motion of the object (information on the state of the object) to the content setting unit 3.
  • the content setting unit 3 sets video content to be projected by the projector 1.
  • the content setting unit 3 is included in a part of the processing unit Pr.
  • the content setting unit 3 may include a dedicated circuit inside the processing unit Pr, or may be provided as a program driven by the processing unit Pr. Here, it is assumed that a dedicated circuit is provided.
  • the content setting unit 3 acquires information on the state of the object sent from the state detection unit 2.
  • the content setting unit 3 may be provided in a processing device that is independent of the processing unit Pr.
  • the content storage unit 4 is a database formed in the storage unit Mr, and records a plurality of video data.
  • the content setting unit 3 selects desired video data from a plurality of video data included in the content storage unit 4, and sets the video data as video content.
  • the content storage unit 4 is not limited to the storage unit Mr, but may be formed in a storage device independent of the storage unit Mr.
  • the content setting unit 3 edits part or all of the acquired video content so as to correspond to the target object.
  • the content setting unit 3 may be configured to only acquire video data from the content storage unit 4, or may be configured to perform acquisition and editing.
  • the content storage unit 4 may be formed integrally with the content setting unit 3, and in this case, the operation of acquiring video data is omitted.
  • the imaging system Tp (imaging unit) is for imaging the object and the video content projected by the projection system Pj.
  • the photographing system Tp includes a camera 5 (imaging unit), a recording microphone 6 (recording unit), a photographing data storage unit 7, a connection interface unit 8, and a communication unit 9.
  • the present invention is not limited to this, and when recording is not necessary, the recording microphone 6 may not be included.
  • the camera 5 includes an image sensor such as a CCD or CMOS, and generates image data.
  • the camera 5 is connected to the processing unit Pr, and imaging data is sent to the processing unit Pr.
  • the camera 5 has a configuration capable of capturing a moving image.
  • the camera 5 may be capable of capturing a still image.
  • the camera 5 shoots only the target object, any one of the target object and the projected video content, or only the projected video content.
  • the recording microphone 6 records voice and generates recording data. Similarly to the camera 5, the recording microphone 6 is connected to the processing unit Pr, and the recording data is also sent to the processing unit Pr.
  • the camera 5 and the recording microphone 6 are operating in synchronism, and the imaging data and the recording data can also be synchronized.
  • the processing unit Pr generates shooting data including an image and sound using the imaging data and the recording data.
  • the generated shooting data is stored in the shooting data storage unit 7.
  • the camera 5 and the recording microphone 6 may be combined to generate shooting data. In the case of such a configuration, the camera 5 and the recording microphone 6 constitute an imaging unit.
  • the state (position, shape, sound, operation) of the object is detected by performing image processing and sound processing on the photographing data generated by the processing unit Pr. Is possible.
  • the state detection unit 2 including such an image processing unit the sensor provided in the state detection unit 2 can be omitted.
  • FIG. 2 is a perspective view of an example of a camera used in the projection photographing system according to the present invention.
  • the camera 5 is attached to a pan / tilt head 50.
  • the pan / tilt head 50 is a head that can rotate around two orthogonal axes (in FIG. 2, an axis C1 extending in the vertical direction and an axis C2 extending in the horizontal direction).
  • the pan / tilt operation of the camera 5 is performed by rotating the pan / tilt head 50 around the axis C1 extending in the vertical direction.
  • pan / tilt head 50 performs a tilting operation (an operation for shaking in the vertical direction) by rotating around the axis C ⁇ b> 2 extending in the horizontal direction.
  • the angle of view (imaging angle) of the camera 5 can be moved in a three-dimensional manner by combining the pan operation and tilt operation (hereinafter sometimes referred to as pan / tilt).
  • the processing unit Pr can change the shooting range of the camera 5 by controlling the operation of the pan / tilt head 50.
  • the zoom, focus, pan / tilt of the camera 5 may be operated at a predetermined timing, or may be operated in accordance with the state (mainly operation) of the object. Further, it may be configured to be operated by an operation device (not shown) provided separately.
  • the camera 5 may have a fixed imaging angle. In that case, the pan / tilt head 50 can be omitted.
  • the shooting data storage unit 7 is a database formed in the storage unit Mr, and stores shooting data sent from the processing unit Pr. Note that the imaging data storage unit 7 is not limited to the storage unit Mr, and may be formed in a storage device independent of the storage unit Mr.
  • connection interface unit 8 is connected to the processing unit Pr.
  • the connection interface unit 8 is an interface for connecting to an external device.
  • the connection interface unit 8 may use either wired communication or wireless communication, or may be formed so that both can be used.
  • devices such as the projector 1, the state detection unit 2, the camera 5, and the recording microphone 6 described above may be connected via the connection interface unit 8.
  • the connection interface unit 8 those using a conventionally known protocol can be widely adopted.
  • the connection interface unit 8 is an interface for wireless communication. Therefore, the connection interface unit 8 includes a transmission / reception unit (not shown) for transmitting / receiving a radio signal (radio wave).
  • the communication unit 9 is for connecting to a network.
  • the Internet can be exemplified as the network, but the network is not limited thereto, and may be a network LAN or the like effective only in a limited area.
  • the network to which the communication unit 9 is connected will be described as the Internet.
  • the communication unit 9 is connected to the Internet and transmits / receives data.
  • imaging data stored in the imaging data storage unit 7 can be distributed via the Internet using the communication unit 9.
  • the photographing data generated by the processing unit Pr may be stored in the photographing data storage unit 7 and distributed via the Internet.
  • video content may be acquired via the Internet and stored in the content storage unit 4.
  • the communication unit 9 may have a common part with the connection interface unit 8 or may include the connection interface unit 8.
  • the projection imaging system A includes a display unit 15 connected to the processing unit Pr.
  • the display unit 15 can check and appreciate the shooting data.
  • the display unit 15 may be configured to display the shooting data stored in the shooting data storage unit 7, or the shooting data generated by the camera 5 directly or processed by the processing unit Pr. May be displayed without going through the photographing data storage unit 7. Further, the display unit 15 is directly connected to the processing unit Pr, but may be connected to the processing unit Pr via the connection interface unit 8.
  • the operation part for operating the projection imaging system A may be provided.
  • the operation unit of the projection photographing system A include a remote controller and a PC.
  • it may be configured to be operable using an operation unit of a device (for example, a karaoke apparatus described later) linked with the projection photographing system A.
  • FIG. 3 is a block diagram of a karaoke apparatus provided with the projection photographing system according to the present invention
  • FIG. 4 is a schematic perspective view of a karaoke box provided with the karaoke apparatus shown in FIG.
  • the karaoke apparatus is an apparatus for performing only accompaniment and allowing the performer to perform (mostly singing) along with the accompaniment.
  • the karaoke apparatus Ks includes a main body 100, a speaker 201, a microphone 202, and a display 300.
  • the main unit 100 includes a main processing unit 101, a connection interface unit 102, a main storage unit 103, a network connection unit 104, a mixer unit 105, an operation unit 106, and a remote control receiving unit 107.
  • a remote control 1071 that transmits an instruction signal to the remote control receiving unit 107.
  • the main processing unit 101 is a processing circuit that performs arithmetic processing of various data used in the karaoke apparatus Ks and controls the karaoke apparatus Ks.
  • the main processing unit 101 has the same configuration as the processing unit Pr of the projection imaging system A, although the processing and processing capability to be processed are different.
  • the main storage unit 103 is connected to the main processing unit 101.
  • the main storage unit 103 stores data used for arithmetic processing in the main processing unit 101 and performance data of accompaniment performed by the karaoke apparatus Ks.
  • the main storage unit 103 has the same configuration as the storage unit Mr of the projection imaging system A, although the storage capacity is different.
  • the connection interface unit 102 is a connection interface for communicating with the connection interface unit 8 of the projection imaging system A.
  • the connection interface unit 102 uses the same communication protocol as the connection interface unit 8.
  • the connection interface unit 102 has the same configuration as the connection interface unit 8, although the number of connectable devices is different. Further, the connection interface unit 8 and the connection interface unit 102 are connected to enable communication between the processing unit Pr and the main processing unit 101.
  • the network connection unit 104 is a connection unit for connecting to the Internet.
  • the karaoke apparatus Ks can download musical tone data of newly playable music via the Internet connection and store it in the main storage unit 103.
  • the main storage unit 103 may store all the musical sound data distributed via the Internet, but the storage capacity is enormous. Therefore, only musical tone data that matches a certain condition (for example, the number of playbacks) is stored, and when there is a request for a song that is not stored in the main storage unit 103, the musical tone data of that song is transmitted via the Internet.
  • the structure which downloads may be sufficient.
  • examples of the network connection unit 104 include those using wired, wireless, or both.
  • the mixer unit 105 synthesizes the musical sound data sent from the main processing unit 101 and the singing voice of the performer En collected by the microphone 202 to generate a reproduction signal.
  • the reproduction signal is sent to the speaker 201 and output as sound from the speaker 201.
  • the speaker 201 and the microphone 202 may be connected to the mixer unit 105 by wire or may be connected wirelessly.
  • the recording microphone 6 used for recording by the projection photographing system A may be omitted, and the microphone 202 may be used.
  • the audio signal collected by the microphone 202 may be sent to the processing unit Pr, or the reproduction signal generated by the mixer unit 105 may be sent to the processing unit Pr.
  • the operation unit 106 is operated by a user (actor En), and is provided with a push button, a volume knob, and the like.
  • a touch panel type input device including a display device such as a liquid crystal panel and a touch sensor may be used.
  • the remote control receiving unit 107 is a receiving unit that receives signals (infrared signals, radio waves, etc.) emitted from the remote control 1071.
  • the remote controller 1071 is operated by a user (actor En), and can perform, for example, music selection, volume adjustment, key adjustment, and the like. When receiving the signal, the remote control receiving unit 107 converts the signal into an electric signal and transmits it to the main processing unit 101.
  • the remote controller 1071 may include a switch such as a push button as in the operation unit 106, or may include a touch panel type input device. Note that, when it is possible to perform all operations of the karaoke apparatus Ks with the remote controller 1071, the operation unit 106 may be omitted.
  • the remote controller 1071 can instruct the projection photographing system A. That is, the remote controller 1071 can transmit a signal including an instruction to operate the projection imaging system A. Then, the main processing unit 101 that has received the operation instruction of the projection imaging system A transmits it to the processing unit Pr of the projection imaging system A using communication between the connection interface unit 102 and the connection interface unit 8.
  • the display 300 displays information on the karaoke apparatus Ks (information on the selected song name, number of songs, volume, key, etc.). When the selected music starts playing, the lyrics of that song are displayed.
  • a display device such as a liquid crystal monitor is used.
  • Karaoke device Ks is often used in a room called a karaoke box.
  • 4 is a schematic perspective view of a karaoke box including the karaoke apparatus shown in FIG.
  • the karaoke box Kb is surrounded by four side walls Sw, a ceiling Rf, and a floor Fl.
  • the main-body part 100 of the karaoke apparatus Ks, the speaker 201, the microphone 202, the display 300, and the projection imaging system A are arrange
  • the main body 100 of the karaoke apparatus Ks is usually arranged on the floor Fl so as to be in close contact with the side wall Sw.
  • the display 300 is often disposed near the main body 100, and is attached to the side wall Sw in the case of a configuration using a thin display device.
  • FIG. 5 is a schematic plan view of the karaoke box shown in FIG. 4, and FIG. 6 is a schematic side view of the karaoke box shown in FIG.
  • the karaoke box Kb has a square shape in plan view, and in plan view, the projector 1 is arranged at the center of one side, and at the center of the side facing the side where the projector 1 is arranged.
  • a state detection unit 2 is arranged.
  • the karaoke box Kb has a square shape in plan view.
  • the karaoke box Kb is not limited to this, and may have a rectangular shape, or may have a polygonal shape, a circular shape, an elliptical shape, or the like.
  • the speaker is not shown, but is at the same position or substantially the same position as the karaoke box of FIGS.
  • the projection system Pj of the projection imaging system A mainly projects video content on the side wall Sw and the performer En, and the imaging system Tp captures the projected video content and / or the performer En.
  • the projector 1 and the state detection unit 2 of the projection system Pj, and at least the camera 5 of the imaging system Tp are attached close to the ceiling Rf (see FIG. 6).
  • the projector 1 and the state detection part 2 may be attached to the side wall Sw, and may be attached to the ceiling Rf. Here, they are attached to the ceiling Rf and are arranged close to different side walls Sw.
  • the side wall Sw where the projector 1 is disposed in proximity is referred to as a side wall Sw1
  • the side wall Sw where the state detection unit 2 is disposed in proximity is referred to as a side wall Sw2.
  • the remaining sidewalls Sw are referred to as a sidewall Sw3 and a sidewall Sw4, respectively.
  • the projection range of the projector 1 is a part of the side wall Sw2 facing the projector 1 and the side walls Sw3 and Sw4 adjacent to the side wall Sw2.
  • Shape correction is applied to video content that is simultaneously projected onto three different surfaces of the side walls Sw2, Sw3, and Sw4.
  • the shape correction may be performed by the content setting unit 3, or the video content corrected in advance may be stored in the content storage unit 4.
  • a camera 5 and a recording microphone 6 are attached at positions close to the side wall Sw3 of the ceiling Rf.
  • the camera 5 is mounted upward, but actually, the pan / tilt head 50 is mounted on the ceiling Rf, and the photographing unit of the camera 5 faces downward.
  • the camera 5 attached to the pan / tilt head 50 is preferably arranged so that no shadow is formed by the projected image of the projector 1.
  • the camera 5 is arranged with the photographing unit facing the side wall Sw2. As shown in FIGS. 4 and 5, the main body 100, the speaker 201, and the display 300 are disposed on the side wall Sw1.
  • FIG. 7 is a diagram showing the projected video and the performer when the video content is projected on the side wall
  • FIG. 8 is a diagram showing the projected video and the performer when the video content is reset by the performer's action.
  • FIG. 7 shows a state in which video content that enhances the sense of presence during performance is projected using the projection photographing system A.
  • the projector 1 of the projection photographing system A projects video content Cv1 in which a large number of spectators Ad are shown on the three sides of the side walls Sw2, Sw3 and Sw4 of the karaoke box Kb.
  • the performer En can perform a performance (singing) while viewing the video content of the audience Ad projected on the side walls Sw2, Sw3, and Sw4, thereby providing a sense of presence as if performing at a concert venue. .
  • Projection imaging system A detects the state of the performer En (at least one of position, shape, sound and action) by the state detection unit 2.
  • the content setting unit 3 sets (switches) video content based on the action of the performer En.
  • a specific example of video content setting will be described. For example, it is assumed that the operation of directing the microphone 202 toward the audience Ad projected on the side wall Sw4 is performed in a state where the video content Cv1 of the audience Ad as shown in FIG. 7 is projected.
  • the state detection unit 2 detects an operation of pointing the microphone 202 toward the side wall Sw4 of the performer En. Then, the performer En notifies the content setting unit 3 that the microphone 202 is directed toward the side wall Sw4. The content setting unit 3 selects, from the content storage unit 4, the video content Cv 2 in which the audience Ad projected on the side wall Sw 4 is more excited than before according to the action of the performer En, and the video data is sent to the projector 1. send.
  • the video content Cv2 including the video of the excited audience Ad2 is projected on the side wall Sw4.
  • the content setting unit 3 may perform processing such that only the portion projected on the side wall Sw4 of the video content Cv is replaced with the video content Cv2, or a video in which only the audience Ad on the side wall Sw4 is excited.
  • the content Cv2 may be prepared in advance. In the present embodiment, it is assumed that the content setting unit 3 performs a process of replacing only the portion projected on the side wall Sw4 with the video content Cv2.
  • the video content to be projected is reset according to the state of the performer En (object) (at least one of position, shape, sound, and action). This enhances the sense of presence and excitement of those who are watching the performance (singing) of the performer En at the performer En and the karaoke box Kb.
  • the state detection unit 2 may set the video content according to all the states of the performer En (object). However, when the video content is set in all the states of the performer En, The content setting operation becomes complicated, and the capability required of the apparatus becomes too high.
  • the state detection part 2 memorize
  • the state detection unit 2 detects that the performer En is in a state that matches or resembles the stored characteristic state
  • the content setting unit 3 is notified of the characteristic state information.
  • the content setting unit 3 selects video data associated with a characteristic state from the content storage unit 4 and resets (switches) the video data to the video content.
  • the content setting unit 3 sets the content video. By doing so, the frequency of operation of the content setting unit 3 can be suppressed. Thereby, it is possible to reduce resources required for operation. In addition, since it is possible to suppress frequent switching of video content, it is also possible to project video content with sharpness (inflection).
  • FIG. 9 is a diagram showing imaging data obtained by imaging the video content and the performer shown in FIG. 7
  • FIG. 10 is a diagram showing imaging data obtained by imaging the video content and the performer shown in FIG.
  • the imaging data captured by the camera 5 and the recording data recorded by the recording microphone 6 are synchronized by the processing unit Pr, generated as shooting data, and stored in the shooting data storage unit 7.
  • photographing data (or photographing data) can be displayed on the display unit 15.
  • By reproducing the photographic data on the display unit 15 it is possible to confirm whether or not the performance and the image have been recorded as intended by the performer and / or the observer. Then, it is possible to repeat the projection and photographing until the performer En and / or the observer who confirms the photographing data on the display unit 15 likes it.
  • the state of the audience Ad projected on the side wall is substantially uniform. Therefore, the pan / tilt head 50 is operated, the position of the camera 5 is adjusted so that the video content and the performer En can be taken in a bird's-eye view, and the side walls Sw2, Sw3, and Sw4 are also reflected on the back of the performer En. adjust.
  • imaging data as shown in FIG. 9 can be obtained. That is, it is possible to acquire imaging data in which a large number of spectators Ad are shown on the back of the performer En.
  • the state detection unit 2 also notifies the processing unit Pr that the performer En has turned the microphone 202 toward the side wall Sw4.
  • the processing unit Pr acquires information that the performer En is in the state where the microphone 202 is directed to the side wall Sw4
  • the processing unit Pr performs panning and panning by the pan / tilt head 50 so that the video content projected on the side wall Sw4 and the performer En are mainly reflected. Adjust tilt, camera zoom, and focus. As a result, as shown in FIG. 10, it is possible to acquire imaging data whose main subjects are the excited audience Ad2 and the performer En.
  • the pan / tilt operation by the pan / tilt head 50 and the zoom and focus of the camera 5 are adjusted so as to capture both the video content and the performer En (the imaging angle is changed). ) Is not limited to this. For example, when there is no change in the state of the performer En, only the performer En may be imaged, or after the first projected video content is imaged, the image may be captured to include the performer En and the video content. Good.
  • the setting of the video content and the adjustment of the camera 5 are performed based on the position, shape and operation of the performer En (target object), but are not limited thereto. Based on the sound produced by the performer En, the setting of the video content and the adjustment of the camera 5 (the pan / tilt head 50) may be performed.
  • the video content may be set or the camera 5 (pan / tilt head 50) may be adjusted based on the pitch, volume, rhythm, and the like.
  • it may be determined in advance by the performer En, or the shooting angle may be changed by another user.
  • the above-described operation is merely an example, and the present invention is not limited to these.
  • the shooting data stored in the shooting data storage unit 7 of the storage unit Mr is sent to the karaoke apparatus Ks and reproduced on the display 300, thereby displaying an image that is actually being played in front of a large audience. can do.
  • the image data may be recorded on an optical disk using an optical disk device (not shown), or may be recorded on a memory card using a memory card reader / writer. Moreover, you may enable it to transmit to arbitrary apparatuses (a server, a client machine, a cloud, a smart phone, etc.) on a network via the network connection part 104 of karaoke apparatus Ks. Further, when the network connection unit 104 has a wireless LAN or wired LAN function, it may be transmitted to a mobile device (smart phone, tablet PC, etc.) using the wireless LAN or wired LAN. When the network connection unit 104 is configured to transmit the shooting data, the communication unit 9 of the projection shooting system A may be omitted.
  • the present invention is not limited to this, and it is used in a space having a plane on which video content can be projected.
  • the surface on which the video content can be projected is not limited to a flat surface, and may be a curved surface or a surface with irregularities on the surface.
  • the state detection unit 2 detects the state of the performer En (target object), but the state detection unit 2 is used to project a projection part (sidewall or the like) for projecting video content. ) May be automatically detected. In this way, the versatility of the projection imaging system A can be improved.
  • the display 300 has a high luminance, and it may be difficult to accurately project an image on the display unit of the display 300.
  • the display 300 displays video and lyrics related to the music being played. Many of such videos are not related to the projected video, and when the image is taken by the camera 5, only that portion becomes a video that is not related to the video content. Therefore, the display 300 is arranged at a position outside the range in which the image from the projector 1 is projected and / or a position outside the shooting range of the camera 5 (in this embodiment, the side wall Sw1). . By disposing the display 300 on the side wall Sw1 where projection is not performed, the display 300 may not be turned off or hidden.
  • the display 300 may be turned off when the projection photographing system A is operating, and the video content may be projected onto the display 300 that is turned off. Further, when the projection photographing system A is operating, the video displayed on the display 300 may be displayed so as to overlap the video projected on the display 300, and the display 300 may be hidden.
  • the video data stored in the content storage unit 4 includes video corresponding to the selected music data (for example, corresponding to music genre, language, etc.) and the characteristic state of the performer En (target object). It may be configured to include video data in accordance with A plurality of video contents may be combined. For example, in the case of the above-described example, different video data may be used for each of the side wall Sw2, the side wall Sw3, and the side wall Sw4 and edited (combined) by the content setting unit 3.
  • FIG. 11 is a block diagram of another example of the projection photographing system according to the present invention.
  • the projection system Pj of the projection imaging system B includes three projectors: a first projector 11, a second projector 12, and a third projector 13.
  • the first projector 11, the second projector 12, and the third projector 13 are each connected to the content setting unit 3.
  • the content setting unit 3 transmits video content corresponding to each of the first projector 11, the second projector 12, and the third projector 13.
  • the photographing system Tp includes two cameras, a first camera 51 and a second camera 52.
  • the first camera 51 and the second camera 52 are both attached to the pan / tilt head 50, and are attached so as to be rotatable (pan / tilt is possible) around two orthogonal axes.
  • the processing unit Pr of the projection photographing system B is provided with an editing processing unit 10.
  • the editing processing unit 10 can edit shooting data stored in the shooting data storage unit 7.
  • the edit processing unit 10 may be configured to perform an operation based on a user operation input. Further, the edit processing unit 10 automatically selects and edits images captured by a plurality of cameras based on the state of the object (position, sound, shape, operation, etc.) and the projected video content. May be.
  • first camera 51 and the second camera 52 are connected to the editing processing unit 10, and editing is performed so that the processing data Pr adopts image data captured by one camera in accordance with the adjustment of pan / tilt, zoom, and focus. May be.
  • imaging data can be selected (edited) in real time. Note that the editing process can be performed while viewing the shooting data displayed on the display unit 15.
  • the projection unit Pj includes a plurality of projectors, an image can be projected at a wide angle with respect to the object or at a wide angle when viewed from the object. Therefore, it is possible to enhance the effect of producing a sense of presence and a feeling of lifting. Note that in a configuration using a plurality of projectors, at least one projector may be used to perform projection mapping that superimposes a projected image on an object.
  • the photographing system Tp includes a plurality of cameras, it is possible to photograph the object from a plurality of angles. For this reason, it is possible to improve the expressiveness of the shooting data. Further, by performing editing for selecting any one of the imaging data captured by each of the plurality of cameras, it is possible to obtain shooting data with an effect that enhances the presence and the excitement.
  • the first camera 51 and the second camera 52 are attached to a pan / tilt pan head 50 capable of pan / tilt operation.
  • the present invention is not limited to this. It may be.
  • the camera angle may be fixed, or the pan / tilt head 50 may be moved.
  • the projector is described as being fixed, the projector is not limited to this, and may be arranged so as to move according to the position, shape, and operation of the object.
  • FIG. 12 is a plan view of a karaoke box having a karaoke apparatus equipped with the projection photographing system shown in FIG.
  • the karaoke box Kb1 shown in FIG. 12 has the same size and shape as the karaoke box Kb shown in FIG.
  • the karaoke box Kb1 shown in FIG. 12 has the same reference numerals as the karaoke box Kb except for the projector and the camera.
  • the karaoke box Kb1 has a first projector 11 at a position near the side wall Sw1 of the ceiling Rf, a second projector 12 at a position near the side wall Sw3, and a third projector 13 at a position near the side wall Sw4. Is attached. Moreover, the state detection part 2 is attached to the position close to the side wall Sw2. Further, the first camera 51 is attached at a position close to the side wall Sw3 of the ceiling Rf, and the second camera 52 is attached at a position close to the side wall Sw4.
  • the first projector 11 is arranged so as to project the video content on the opposite side wall Sw2.
  • the second projector 12 is arranged on the side wall Sw4 and the third projector 13 is arranged on the side wall Sw3 so as to project the video content.
  • the karaoke box Kb1 includes a projector that projects video content on each of the side walls Sw2, Sw3, and Sw4.
  • the karaoke box Kb1 is configured to project video content on the side walls other than the side wall Sw1. Therefore, the first camera 51 and the second camera 52 are attached to be inclined toward the side wall Sw2. By attaching in this way, it is possible to acquire shooting data having a high effect in which the performer En (object) and the video content are shown.
  • video content setting, camera adjustment, imaging data or shooting data editing may be performed based on the state (position, shape, voice, operation) of the performer En. You may perform based on the music currently performed.
  • the present invention is not limited to this.
  • the number of projectors is not limited to three, and the number of cameras is not limited to two.
  • the other may be one.
  • one of the cameras may be a camera with a fixed imaging angle, that is, a camera that is not attached to the pan / tilt head.
  • FIG. 13 is a diagram showing a projected video and a performer when video content is projected on the side wall.
  • FIG. 13 uses the karaoke box Kb1 shown in FIG.
  • FIG. 13 shows a state in which the projection image capturing system B is used to project video content that enhances the sense of presence during performance.
  • the first projector 11, the second projector 12, and the third projector 13 of the projection photographing system B receive video content including band members on the three sides of the side walls Sw2, Sw3, and Sw4 of the karaoke box Kb1. Projecting. Specifically, the guitar player Gr is projected onto the side wall Sw3, the bass player Bs is projected onto the side wall Sw4, and the drum player Dr is projected onto the side wall Sw2.
  • the projection magnification of the video content is adjusted to determine the projection size of the band member according to the size of the performer En. Yes.
  • the first camera 51 and the second camera 52 shoot the band member's video content and the performer at the same time, so that the performer En who is actually singing alone is performing with the band member. Data can be generated.
  • the photographed data is reproduced on the display 300 while the performance is being performed.
  • the performer En sings alone, but it is possible to sing while watching the shooting video as if standing on the stage with the band members. Thereby, it is possible to produce a highly realistic presentation.
  • the projection imaging system B detects the state of the performer (at least one of position, shape, voice and action) by the state detection unit 2.
  • the content setting unit 3 sets (switches) video content based on the performer's action.
  • a specific example of video content setting will be described. For example, if an operation is performed in which the microphone 202 is directed toward the guitar player Gr while video content as shown in FIG. 13 is projected, the content setting unit 3 causes the guitar player Gr to play a chorus toward the microphone 202. Select and project video content to be performed. Then, the second camera 52 images the video content of the guitar player Gr and the performer En.
  • the band member's video content may be selected by the performer, or the video data of the band member who is actually performing the song to be played is acquired and edited on the Internet.
  • the video content may be projected.
  • FIG. 14 is a diagram showing a projected video and a performer when video content is projected on the side wall. As shown in FIG. 14, the video content of the artist Dc performing the dance is projected onto the side walls Sw2, Sw3, and Sw4.
  • the state detection unit 2 detects the operation of the performer En.
  • the content setting unit 3 The video content is set so that the indicated artist Dc dances violently, and the video content is projected. In this way, by capturing the performer En and video content together and generating shooting data, it is possible to obtain shooting data that is performing a dance competition (dance battle).
  • a projection mapping may be applied to the performer En to produce an effect in which the same clothes as the artist Dc are worn.
  • the performer En can obtain shooting data that has been collaborated with a longed-for artist. Further, by using the projection photographing system B for a photographing studio, photographing data in which a band (group) existing in the past and a current band (group) collaborate can be produced.
  • FIG. 15 is a diagram showing another example of the projection photographing system according to the present invention.
  • two projection photographing systems B (herein referred to as B1 and B2) located at remote locations are connected via the Internet.
  • the projection photographing systems B1 and B2 are respectively disposed in a studio St similar to the karaoke box Kb1.
  • the guitar player Gt performs the guitar.
  • the singer Sg sings a song in the studio St2 equipped with the projection photographing system B2.
  • the video content of many spectators Ad is projected on the side wall of the studio St2, and the video content and the singer Sg are imaged together. And the imaging
  • the shooting data Sd generated in the studio St2 is sent to the studio St1 via the Internet.
  • the shooting data Sd sent from the studio St2 is projected on the side wall as content data.
  • the singer Sg and the audience Ad who are not present are projected on the side wall.
  • the video content and the performance of guitar player Gt will be filmed together.
  • two projection imaging systems are connected via the Internet
  • the present invention is not limited to this.
  • Two or more projection imaging systems may be connected and imaging data may be overlapped in order to create new imaging data.
  • the transmission of the photographing data may be transmitted in real time so that the photographing data collaborated on the display 300 during the performance can be viewed.
  • the connection of a plurality of projection imaging systems is not limited to the Internet, and a connection method capable of transmitting and receiving data can be widely adopted.
  • the shooting data stored in the shooting data storage unit 7 may be projected as video content.
  • FIG. 16 is a schematic diagram of a simulation apparatus using the projection photographing system according to the present invention.
  • a simulation device Su shown in FIG. 16 is a motorcycle simulation device.
  • a motorcycle full-scale model Bk is arranged inside a box similar to the karaoke box Kb1.
  • the full-scale motorcycle Bk of the motorcycle has a configuration that can be tilted left and right.
  • the video content Cv3 of the circuit is projected onto the inner wall of the box, so that it is possible to obtain a realistic feeling of traveling.
  • the user Rd of the simulation device Su straddles the full-size model Bk, and tilts the full-size model Bk according to the curve, similarly to the operation of the actual motorcycle.
  • the state detection unit 2 detects the full-scale model Bk and the state (position, shape, operation) of the user, and the content setting unit 3 selects the video content Cv3 according to the state.
  • the content setting unit 3 sends the video content Cv3 to the projector and projects it onto the side wall of the box with the projectors 11, 12, and 13. For example, when the state detection unit 2 detects that the full-scale model Bk is tilted to the right, the video content Cv3 is set so that the position in the circuit moves to the right.
  • projection mapping may be applied to the full-scale model Bk and / or the wearing object (clothing or helmet) of the user Rd. In this way, by performing projection mapping, it is possible to obtain imaging data of a long-awaited coloring motorcycle wearing a long-awaited coloring helmet and clothes (rider suit) on the circuit. is there. In addition, it is possible to produce an effect that the tire is rotating by using projection mapping.
  • the video content to be projected may be created by CG or may be taken during actual running.
  • video content shot during actual running it is possible to obtain shooting data that is competing with a longed-for rider by using a video shot of where the rider is actually running.
  • shooting data stored in the shooting data storage unit 7 it is possible to compete with the past person.
  • the simulation device Su is exemplified by a motorcycle running on a circuit, but is not limited thereto.
  • training such as running, swimming, and cycling.
  • the simulation apparatus Su even when competing with a large number of people, there is no contact with other people, so it is possible to suppress injuries and troubles.

Abstract

　所定の場所に映像コンテンツを投影する投影部１と、対象物の状態を検出する状態検出部２と、対象物の状態に基づいて映像コンテンツを設定するコンテンツ設定部３と、映像コンテンツと対象物とを一体又は別々に撮影した撮影データを生成する撮影部５とを備えた投影撮影システムＡ。

Description

投影撮影システム、カラオケ装置及びシミュレーション装置
　本発明は、対象物の周囲に映像を投影し、演奏、演技等の表現を演出する投影撮影システムに関し、この投影撮影システムを利用したカラオケ装置及びシミュレーション装置に関する。
　近年、スクリーン等に映像を投影する演出を施すことで、臨場感、昂揚感を高めるエンタテイメント装置が提案されている。前記エンタテイメント装置として、曲ごとに決められた映像データを、曲の演奏に合わせてスクリーンやカラオケボックスの壁面に投影するカラオケ装置が提案されている（特開平８－７６７７９号公報参照）。また、このカラオケ装置では、演奏する曲の楽音情報とは別に映像データを備えておき、曲のジャンルに応じた映像データを投影することも提案されている。
　また、特開２００６－３２５１６１号公報には、対象物に光源を取り付け、その光源の位置を検出するとともに、光源の位置に対応した映像を投影し、対象物を含む範囲の視覚表現を行う映像システムが提案されている。
　このような、カラオケ装置や映像システムを利用することで、視覚的な演出によって、演奏者、演技者及び（又は）観察者（観客）の臨場感や昂揚感等を高め、演奏、演技等の表現の幅を広げることが可能となる。
特開平８－７６７７９号公報 特開２００６－３２５１６１号公報
　しかしながら、特開平８－７６７７９号公報に記載のカラオケ装置では、カラオケボックスの内部のスクリーンや壁面に映像を投影するものであるため、カラオケボックス内だけでの表現であり、視覚的な演出が行われた演奏を鑑賞できる人数が限定されてしまう。また、特開２００６－３２５１６１号公報に記載の映像システムであっても、演出を行う対象物の範囲に映像を投影するものであるため、視覚効果による演出を鑑賞できる人数が限定されてしまう。
　また、上述の構成の場合、対象物（カラオケ装置の場合演奏者）の周囲に映像を投影するものであるため、対象物と投影画像との重ね合せ以外の視覚効果を得ることは難しく、使用者が所望する表現が困難な場合もある。
　そこで本発明は、多彩な演出を行うことができるとともに、前記多彩な演出が施された撮影映像を取得できる投影撮影システムを提供することを目的とする。
　また本発明は、多彩な演出を行うことができるとともに、前記多彩な演出が施された演奏、演技等の撮影映像を取得できるカラオケ装置を提供することを目的とする。
　また本発明は、多彩な演出で視覚的な演出を加えた状態でシミュレーションを行うことができるシミュレーション装置を提供することを目的とする。
　上記目的を達成するために本発明は、所定の場所に映像コンテンツを投影する投影部と、対象物の状態を検出する状態検出部と、前記対象物の状態に基づいて映像コンテンツを設定するコンテンツ設定部と、前記所定の場所に投影された映像コンテンツと前記対象物とを一体に又は別々に撮影した撮影データを生成する撮影部とを備えた投影撮影システムを提供する。
　この構成によると、対象物の状態に対応した映像コンテンツを所定の場所に投影するので、臨場感、昂揚感を高める演出が可能である。そして、投影された映像コンテンツ、対象物或いはその両方を同時に撮影するため、映像コンテンツの投影による演出がなされた撮影映像を取得することが可能である。
　これにより、投影撮影システムを利用している人が臨場感、昂揚感の高い演出を体験することができるとともに、多彩な演出が施された撮影映像を取得することが可能である。
　なお、所定の場所としては、壁面、スクリーン等の平面部分を挙げることができるが、立体的な形状を有する部分や対象物自体を含んでもよい。また、映像コンテンツとは、投影する映像のことを指しており、ここでは映像データを含むものである。
　上記構成において、前記投影部が、さらに前記対象物に映像コンテンツを投影するようにしてもよい。このように構成することで、前記対象物の外観を演出することができる。
　上記構成において、前記状態検出部が、前記対象物の動作又は前記対象物の周囲の音声の少なくとも一方を対象物の状態として検出するようにしてもよい。このような構成とすることで、映像コンテンツの選択を行う前記対象物の状態の種類が多くなり、演出の効果を高めることが可能である。
　上記構成において、複数の映像データが記憶されたコンテンツ記憶部を備えており、前記コンテンツ設定部は、前記コンテンツ記憶部に記憶されている映像データの中から前記対象物の状態に対応する映像データを選択するとともに、映像コンテンツとして設定するようにしてもよい。このような構成とすることで、コンテンツ設定部の容量を押えることが可能である。
　上記構成において、映像データと関連付けられるような特徴的な状態を記憶しておき、前記状態検出部で検出した対象物の状態が前記特徴的な状態と同一又は類似の状態のとき、前記コンテンツ設定部が映像コンテンツの設定を行うようにしてもよい。このような構成とすることで、コンテンツ設定部によるコンテンツ設定の頻度を減らすことができるので、要求される機器の能力を抑えることが可能である。
　上記構成において、前記状態検出部が、前記撮影データに基づいて前記対象物の状態を検出するようにしてもよい。このような構成とすることで、撮像素子や録音マイク等の素子の数を減らすことができるため、構成を簡略化することが可能である。
　上記構成において、前記撮影部が前記対象物の状態に対応して動作するようにしてもよい。このような構成とすることで、前記撮影データの演出効果を高めることが可能である。前記撮影部の動作として、撮像を行う撮像部（カメラ）の水平方向の回動（パン）、鉛直方向の回動（チルト）、ズーム、フォーカスを挙げることができる。
　上記構成において、前記撮影部で生成した撮影データを記憶する撮影データ記憶部を備えていてもよい。このような構成とすることで、前記撮影データをいつでも再生することが可能となる。
　上記構成において、前記撮影データを編集する編集処理部を備えていてもよい。このような構成とすることで、前記撮影データの演出の効果をより高いものとすることが可能である。なお、前記編集処理部は、前記撮影データ記憶部に記憶された撮影データを編集するものであってもよいし、撮影データを前記撮影データ記憶部に記憶する前に編集してもよい。さらには、撮影データを生成する過程で編集を行う構成であってもよい。
　上記構成において、前記コンテンツ設定部が前記撮影データ記憶部に撮影された撮影データを映像コンテンツに設定するようにしてもよい。このような構成とすることで、作製された映像の演出効果を高めることが可能である。また、同じ対象物で同じ動作を行う映像を撮影することで、同じ対象物の異なる時間での状態の変化を観察することも可能である。
　上記構成において、前記撮影データ記憶部に記憶した撮影データを表示する表示部を備えていてもよい。このような構成とすることで、撮影した撮影データを確認したり鑑賞したりすることができる。
　上記構成において、外部ネットワークと接続し、前記撮影データをネットワークを介して前記ネットワークに接続された外部機器に送信する通信部を備えていてもよい。このような構成とすることで、広く多くの人に、多彩な演出を施した撮影映像を披露することが可能である。
　上記構成において、前記ネットワークに複数の投影撮影システムが接続されており、前記通信部が、前記ネットワークに接続されている他の投影撮影システムに備えられた撮影部で撮影された撮影データを映像データとして取得するとともに、前記コンテンツ設定部が前記取得した映像データを映像コンテンツとして設定してもよい。このような構成とすることで、離れている場所にいる対象物の共演（コラボレーション）の演出を行うことが可能である。
　本発明にかかる投影撮影システムを利用する装置として、カラオケ装置、シミュレーション装置を挙げることができる。また、シミュレーション装置としては、例えば、自動二輪車の走行シミュレータ、トレインシミュレータ等のシミュレータを挙げることができる。また、ランニング、スイミング、サイクリング等のトレーニング用のシミュレータとして利用することも可能である。
　本発明によると、多彩な演出を行うことができるとともに、前記多彩な演出が施された撮影映像を取得できる投影撮影システムを提供することができる。
　また、本発明によると、多彩な演出を行うことができるとともに、前記多彩な演出が施された演奏、演技等の撮影映像を取得できるカラオケ装置を提供することができる。
　さらに、本発明によると、多彩な演出で視覚的な演出を加えた状態でシミュレーションを行うことができるシミュレーション装置を提供することができる。
本発明にかかる投影撮影システムの一例のブロック図である。 本発明にかかる投影撮影システムに用いられるカメラの一例の斜視図である。 本発明にかかる投影撮影システムを備えたカラオケ装置のブロック図である。 図３に示すカラオケ装置を備えたカラオケボックスの概略斜視図である。 図４に示すカラオケボックスの概略平面図である。 図５に示すカラオケボックスの概略側面図である。 側壁に映像コンテンツを投影したときの投影映像と演者を示す図である。 演者の動作によって映像コンテンツを設定しなおしたときの投影映像と演者とを示す図である。 図７に示す映像コンテンツと演者とを撮像した撮像データを示す図である。 図８に示す映像コンテンツと演者とを撮像した撮像データを示す図である。 本発明にかかる投影撮影システムの他の例のブロック図である。 図１１に示す投影撮影システムを備えたカラオケ装置を有するカラオケボックスの平面図である。 側壁に映像コンテンツを投影したときの投影映像と演者を示す図である。 側壁に映像コンテンツを投影したときの投影映像と演者を示す図である。 本発明にかかる投影撮影システムの他の例を示す図である。 本発明にかかる投影撮影システムを利用したシミュレーション装置の概略図である。
　本発明にかかる投影撮影システムについて図面を参照して説明する。
（第１実施形態）
　図１は本発明にかかる投影撮影システムの一例のブロック図である。図１に示すように投影撮影システムＡは、投影システムＰｊと、撮影システムＴｐと、処理部Ｐｒと、記憶部Ｍｒとを備えている。
　処理部Ｐｒは、投影撮影システムＡで用いる各種データの演算処理や投影撮影システムＡの制御を行う処理回路である。処理部Ｐｒは、ＭＰＵやＣＰＵ等の演算処理部を備えた回路であり、複数の処理を行うことが可能な構成となっている。また、必要に応じ、処理プログラムを動作させて処理を行う構成を有していてもよい。
　記憶部Ｍｒは、処理部Ｐｒと接続されている。記憶部Ｍｒは処理部Ｐｒでの演算処理に用いられるデータや、撮影システムＴｐ（撮影部）で撮影した撮影データを記憶する。記憶部Ｍｒは、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリや、ハードディスク、光ディスク等の物理記憶装置を含む構成となっている。記憶部Ｍｒは処理部Ｐｒから送られてくるデータを記憶するとともに、処理部Ｐｒからの要求に応じデータを処理部Ｐｒに渡すようになっている。
　投影システムＰｊは、対象物（例えば、人）の動作や周囲の音声に対応した映像コンテンツを、対象物を含む又は含まない対象物の周囲に投影するためのシステムである。投影システムＰｊは、プロジェクタ１（投影部）と、状態検出部２と、コンテンツ設定部３と、コンテンツ記憶部４とを備えている。
　プロジェクタ１は投影部の一例であり、映像を投影する装置である。なお、プロジェクタ１が投影する被投影体としては、壁、スクリーン等の平面のものを挙げることができるが、これに限定されない。例えば、椅子や机等の家具や投影撮影システムＡを使用する使用者の体（の一部）に映像を投影するものであってもよい。また、投影映像を被投影体に合わせて投影する（貼り付けるように投影する）、いわゆる、プロジェクションマッピングを行うこともできるようになっていてもよい。
　状態検出部２は、対象物の状態を検出するセンサを備えている。ここで、対象物の状態とは、対象物の位置、動作を含む。さらに、対象物の状態として、対象物から発せられる音声、光、熱等、対象物からの出力も含んでいる。また、対象物の音声、光、熱等を含んでいてもよい。
　本実施形態の状態検出部２は、測距センサと、音声マイクとを含んでおり、対象物の位置、形状及び音声を検出することができるようになっている。そして、対象物の位置及び形状の時間変化を検出することで、動作を検出することも可能である。なお、状態検出部２は、これに限定されるものではなく、撮像素子と、撮像素子で撮像した画像を処理する画像処理部を備えていてもよい。また、赤外線センサ、測距センサ、光検出センサ、音声マイク等を含む構成であってもよいし、以上のセンサ（検出部）を複数個備えていてもよい。さらに、状態検出部２として、Ｋｉｎｅｃｔ（登録商標）のような、既存のセンサを採用することも可能である。
　なお、状態検出部２は、処理部Ｐｒと独立しているが、何らかの演算処理を行う必要がある場合、その演算処理部をプログラム等を利用して処理部Ｐｒを利用して演算処理を行う構成としてもよいし、演算処理部を処理部Ｐｒの回路の一部に含まれる構成であってもよい。本発明にかかる投影撮影システムＡでは、状態検出部２で対象物の位置、形状、音声及び動作の少なくとも一つの情報（対象物の状態の情報）をコンテンツ設定部３に送信する構成としている。
　コンテンツ設定部３は、プロジェクタ１で投影する映像コンテンツを設定する。コンテンツ設定部３は、処理部Ｐｒの一部に含まれる構成となっている。なお、コンテンツ設定部３は、処理部Ｐｒの内部に専用の回路を備えていてもよいし、処理部Ｐｒで駆動するプログラムとして備えられていてもよい。ここでは、専用の回路を備えているものとする。コンテンツ設定部３は、状態検出部２から送られてくる対象物の状態の情報を取得している。また、コンテンツ設定部３は、処理部Ｐｒとは独立した処理装置に設けられる構成であってもよい。
　コンテンツ記憶部４は、記憶部Ｍｒに形成されたデータベースであり、複数の映像データが記録されている。コンテンツ設定部３はコンテンツ記憶部４内に含まれる複数の映像データの中から所望の映像データを選択し、その映像データを映像コンテンツに設定する。なお、コンテンツ記憶部４は記憶部Ｍｒ内に限られるものではなく、記憶部Ｍｒとは独立した記憶装置に形成されるものであってもよい。
　コンテンツ設定部３は、取得した映像コンテンツの一部又は全部を、対象物に対応するように編集する。なお、投影撮影システムＡの構成によっては、１個の映像コンテンツだけを用いるようになっている場合もある。この場合、コンテンツ設定部３は、コンテンツ記憶部４から映像データの取得だけを行う構成であってもよいし、取得、編集を行う構成であってもよい。また、コンテンツ記憶部４がコンテンツ設定部３と一体に形成されていてもよく、この場合、映像データを取得する動作は省略される。
　以上示した、投影システムＰｊ（処理部Ｐｒ及び記憶部Ｍｒを含む）だけで利用することも可能となっている。
　撮影システムＴｐ（撮影部）は、対象物と投影システムＰｊが投影した映像コンテンツとを撮影するためのものである。撮影システムＴｐは、カメラ５（撮像部）と、録音マイク６（録音部）と、撮影データ記憶部７と、接続インタフェース部８と、通信部９とを備えている。しかしながら、これに限定されるものではなく、録音が不要な場合、録音マイク６を含まない構成としてもよい。
　カメラ５は、ＣＣＤ、ＣＭＯＳ等の撮像素子を備えており、撮像データを生成する。カメラ５は処理部Ｐｒと接続されており、撮像データは処理部Ｐｒに送られる。カメラ５は動画の撮像が可能な構成を有している。なお、カメラ５が静止画を撮像できるものであってもよい。カメラ５は、対象物のみ、対象物と投影された映像コンテンツ、投影された映像コンテンツのみのいずれかを撮影する。録音マイク６は、音声を録音し録音データを生成する。録音マイク６もカメラ５と同様、処理部Ｐｒと接続されており、録音データも処理部Ｐｒに送られる。
　カメラ５と録音マイク６とは、同期して動作しているものであり、撮像データ及び録音データのそれぞれも同期することが可能となっている。処理部Ｐｒは、撮像データ及び録音データを利用して、画像と音声を含む撮影データを生成する。生成された撮影データは撮影データ記憶部７に記憶される。なお、カメラ５と録音マイク６とを組み合わせて、撮影データを生成できる構成としてもよい。このような構成の場合、カメラ５と録音マイク６とで撮影部を構成する。
　また、撮影システムＴｐを備えた構成である場合、処理部Ｐｒで生成される撮影データに画像処理や音声処理を施すことで、対象物の状態（位置、形状、音声、動作）を検出することが可能である。このような画像処理部を備えた状態検出部２を用いることで、状態検出部２の備えられるセンサを省略することも可能である。
　カメラ５についてさらに詳しく説明する。図２は本発明にかかる投影撮影システムに用いられるカメラの一例の斜視図である。図２に示すように、カメラ５はパンチルト雲台５０に取り付けられている。パンチルト雲台５０は、直交する２軸（図２中、鉛直方向に伸びる軸Ｃ１と水平方向に伸びる軸Ｃ２）周りに回転可能な雲台である。パンチルト雲台５０が水平な面に取り付けられている場合、鉛直方向に伸びる軸Ｃ１周りに回転させてカメラ５のパン動作（横方向に振る動作）を行う。また、パンチルト雲台５０は、水平方向に伸びる軸Ｃ２周りに回転することでチルト動作（縦方向に振る動作）を行う。パン動作及びチルト動作を組み合わせ（以下、パン・チルトと表示する場合がある）、カメラ５の画角（撮像アングル）を立体的に移動させることができる。
　これにより、カメラ５は、対象物及び（又は）投影された映像コンテンツを正確に撮像することができる。処理部Ｐｒはパンチルト雲台５０の動作を制御することで、カメラ５の撮影範囲を変更することが可能となっている。なお、カメラ５のズーム、フォーカス、パン・チルトは、予め決められたタイミングで動作するようになっていてもよいし、対象物の状態（主に動作）に合わせて動作してもよい。また、別途備えられる操作装置（不図示）によって操作できるようになっていてもよい。なお、カメラ５は撮像アングルを固定したものであってもよく、その場合、パンチルト雲台５０を省略することができる。
　撮影データ記憶部７は記憶部Ｍｒに形成されたデータベースであり、処理部Ｐｒから送られる撮影データが記憶されている。なお、撮像データ記憶部７は記憶部Ｍｒ内に限られるものではなく、記憶部Ｍｒとは独立した記憶装置に形成されるものであってもよい。
　接続インタフェース部８は、処理部Ｐｒに接続されている。接続インタフェース部８は、外部に配置されている機器との接続を行うためのインタフェースである。接続インタフェース部８は有線通信、無線通信のいずれかを利用するものであってもよいし、両方を利用可能なように形成されていてもよい。また、上述した、プロジェクタ１、状態検出部２、カメラ５、録音マイク６等の機器も接続インタフェース部８を介して接続するようにしてもよい。接続インタフェース部８としては、従来公知のプロトコルを利用したものを広く採用することができる。ここでは、接続インタフェース部８は無線通信用のインタフェースとしている。そのため、接続インタフェース部８は無線信号（電波）を送受信するための送受信部（不図示）を備えている。
　通信部９はネットワークに接続するためのものである。ここで、ネットワークとしてインターネットを挙げることができるが、これに限定されず、限定されたエリアだけで有効なネットワークＬＡＮ等であってもよい。以下の説明では、通信部９が接続するネットワークはインターネットとして説明する。通信部９はインターネットに接続し、データの送受信を行うものである。投影撮影システムＡでは、撮影データ記憶部７に記憶している撮影データを、通信部９を利用し、インターネットを介して配信することが可能である。また、処理部Ｐｒで生成された撮影データを撮影データ記憶部７に記憶するとともに、インターネットを介して配信できるようになっていてもよい。
　また、投影撮影システムＡに通信部９を備えていることで、インターネットを介して映像コンテンツを取得し、コンテンツ記憶部４に記憶するようにしてもよい。このように、インターネットで映像コンテンツを取得する構成とすることで、新しい映像コンテンツを取得することが可能である。なお、通信部９は、接続インタフェース部８と共通の部分を有する又は接続インタフェース部８を包含する構成であってもよい。
　また、投影撮影システムＡは処理部Ｐｒと接続された表示部１５を備えている。表示部１５は、撮影データを確認したり鑑賞したりできるようになっている。なお、表示部１５は、撮影データ記憶部７に記憶された撮影データを表示するようになっていてもよいし、カメラ５で生成された撮像データを直接又は処理部Ｐｒで処理された撮影データを撮影データ記憶部７を介さずに表示するようになっていてもよい。また、表示部１５は処理部Ｐｒに直接接続されているが、接続インターフェース部８を介して処理部Ｐｒに接続されてもよい。
　なお、図示を省略しているが、投影撮影システムＡの操作を行うための操作部が備えられていてもよい。この投影撮影システムＡの操作部としては、例えば、リモコンやＰＣ等を挙げることが可能である。また、投影撮影システムＡと連動する機器（例えば、後述するカラオケ装置等）の操作部を利用して、操作可能な構成となっていてもよい。
（第２実施形態）
　次に本発明にかかる投影撮影システムを備えたカラオケ装置について図面を参照して説明する。図３は本発明にかかる投影撮影システムを備えたカラオケ装置のブロック図であり、図４は図３に示すカラオケ装置を備えたカラオケボックスの概略斜視図である。なお、カラオケ装置とは伴奏のみを演奏し、伴奏に合わせて演者が演奏（多くは、歌唱）を行うための装置である。
　図３に示すように、カラオケ装置Ｋｓは、本体部１００と、スピーカ２０１と、マイク２０２と、ディスプレイ３００とを備えている。図３に示すように、本体部１００は、主処理部１０１と、接続インタフェース部１０２と、主記憶部１０３と、ネットワーク接続部１０４と、ミキサ部１０５と、操作部１０６と、リモコン受信部１０７とを備えている。また、リモコン受信部１０７に指示信号を送信するリモコン１０７１も備えている。
　主処理部１０１は、カラオケ装置Ｋｓで用いる各種データの演算処理やカラオケ装置Ｋｓの制御を行う処理回路である。主処理部１０１は、処理する演算や処理能力が異なるが、投影撮影システムＡの処理部Ｐｒと同様の構成を有している。
　主記憶部１０３は、主処理部１０１と接続されている。主記憶部１０３は主処理部１０１での演算処理に用いられるデータや、カラオケ装置Ｋｓで演奏する伴奏の演奏データを記憶する。主記憶部１０３は、記憶容量が異なるが、投影撮影システムＡの記憶部Ｍｒと同様の構成を有している。
　接続インタフェース部１０２は、投影撮影システムＡの接続インタフェース部８と通信を行うための接続インタフェースである。接続インタフェース部１０２は接続インタフェース部８とは同じ通信プロトコルを用いている。接続インタフェース部８と接続インタフェース部１０２との接続によって、カラオケ装置Ｋｓの本体部１００と投影撮影システムＡとが通信可能に接続される。接続インタフェース部１０２は、接続可能な機器の個数が異なるが、接続インタフェース部８と同様の構成を有している。また、接続インタフェース部８と接続インタフェース部１０２とが接続されることで、処理部Ｐｒと主処理部１０１との間で通信が可能となる。
　ネットワーク接続部１０４は、インターネットに接続するための接続部である。カラオケ装置Ｋｓは、インターネット接続を介して、新たに演奏可能な曲の楽音データをダウンロードし、主記憶部１０３に記憶することが可能となっている。なお、主記憶部１０３には、インターネットを介して配信されている楽音データをすべて記憶していてもよいが、記憶容量が膨大になる。そこで、ある条件（例えば、再生回数）に合致する楽音データのみを記憶しておき、主記憶部１０３に記憶されていない曲のリクエストがあったときに、その曲の楽音データをインターネットを介してダウンロードする構成であってもよい。また、ネットワーク接続部１０４としては、有線又は無線或いは両方を利用したものを挙げることができる。
　ミキサ部１０５は、主処理部１０１から送られてくる楽音データと、マイク２０２で集音した演者Ｅｎの歌声とを合成し、再生信号を生成する。再生信号はスピーカ２０１に送られ、スピーカ２０１で音声として出力される。なお、スピーカ２０１、マイク２０２は有線でミキサ部１０５と接続されていてもよいし、無線で接続されていてもよい。また、投影撮影システムＡの録音に用いる録音マイク６を省略し、マイク２０２を利用するようにしてもよい。この場合、マイク２０２で集音した音声信号を処理部Ｐｒに送るようにしてもよいし、ミキサ部１０５で生成された再生信号を処理部Ｐｒに送るようにしてもよい。
　操作部１０６は、使用者（演者Ｅｎ）によって操作されるものであり、押しボタン、ボリュームつまみ等が設けられる。また、操作部１０６として、液晶パネル等の表示装置とタッチセンサを備えたタッチパネル式の入力装置を利用してもよい。
　リモコン受信部１０７は、リモコン１０７１から発せられる信号（赤外信号、電波等）を受信する受信部である。リモコン１０７１は、使用者（演者Ｅｎ）によって操作されるものであり、例えば、選曲、音量の調整、キー調整等を行うことが可能となっている。リモコン受信部１０７は、信号を受信すると、その信号を電気信号に変換し、主処理部１０１に送信する。リモコン１０７１は、操作部１０６と同様、押しボタン等のスイッチを備えていてもよいし、タッチパネル式の入力装置を備えていてもよい。なお、リモコン１０７１でカラオケ装置Ｋｓの全ての操作を行うことが可能な場合、操作部１０６を省略してもよい。
　また、リモコン１０７１は、投影撮影システムＡに対して指示が可能となっている。つまり、リモコン１０７１は投影撮影システムＡを操作する指示を含む信号を送信できる。そして、投影撮影システムＡの操作指示を受け取った主処理部１０１は、接続インタフェース部１０２と接続インタフェース部８との通信を利用し、投影撮影システムＡの処理部Ｐｒに送信する。
　ディスプレイ３００は、カラオケ装置Ｋｓの情報（選曲されている曲名、曲数、音量、キー等の情報）を表示するものである。また、選曲されている音楽の演奏が開始されると、その曲の歌詞が表示される。ディスプレイ３００として、例えば、液晶モニタ等の表示装置が用いられる。
　カラオケ装置Ｋｓは、カラオケボックスと呼ばれる居室内で用いられる場合が多い。図４は図３に示すカラオケ装置を備えたカラオケボックスの概略斜視図である。図４に示すようにカラオケボックスＫｂは、４面の側壁Ｓｗと天井Ｒｆ、床Ｆｌで囲まれている。そして、このカラオケボックスＫｂの内部にカラオケ装置Ｋｓの本体部１００、スピーカ２０１、マイク２０２、ディスプレイ３００及び投影撮影システムＡが配置されている。カラオケ装置Ｋｓの本体部１００は通常、床Ｆｌ上に、側壁Ｓｗに密着させて配置される。また、ディスプレイ３００は、本体部１００の近くに配置される場合が多く、薄型の表示装置を用いた構成の場合、側壁Ｓｗに取り付けられている。
　カラオケボックスＫｂの詳細について図面を参照して説明する。図５は図４に示すカラオケボックスの概略平面図であり、図６は図５に示すカラオケボックスの概略側面図である。図５に示すように、カラオケボックスＫｂは平面視正方形状であり、平面視において、一辺の中央部にプロジェクタ１が配置されており、プロジェクタ１が配置された辺と対向する辺の中央部に状態検出部２が配置されている。なお、カラオケボックスＫｂは平面視正方形状としているが、これに限定されるものではなく、長方形状であってもよいし、その他多角形状、円形、楕円等であってもよい。また、図６以降のカラオケボックスの表示では、スピーカの図示を省略しているが、図４、図５のカラオケボックスと同位置又は略同位置である。
　投影撮影システムＡの投影システムＰｊは主に側壁Ｓｗや演者Ｅｎに映像コンテンツを投影し、撮影システムＴｐは投影された映像コンテンツ及び（又は）演者Ｅｎを撮影する。そして、カラオケボックスＫｂでは、床Ｆｌにソファーやテーブル等の家具が配置されており、映像を投影したり撮影したりするときに家具が邪魔になりやすい。そのため、投影システムＰｊのプロジェクタ１及び状態検出部２、撮影システムＴｐの少なくともカメラ５は、天井Ｒｆに近接して取り付けられている（図６参照）。なお、プロジェクタ１及び状態検出部２は、側壁Ｓｗに取り付けられていてもよいし、天井Ｒｆに取り付けられていてもよい。ここでは、天井Ｒｆに取り付けられ、それぞれ異なる側壁Ｓｗに近接配置される。
　以下の説明において、便宜上、プロジェクタ１が近接配置される側壁Ｓｗを側壁Ｓｗ１とし、状態検出部２が近接配置される側壁Ｓｗを側壁Ｓｗ２とする。また、のこりの側壁Ｓｗをそれぞれ、側壁Ｓｗ３、側壁Ｓｗ４とする。
　プロジェクタ１の投影範囲は、プロジェクタ１と対向する側壁Ｓｗ２とその側壁Ｓｗ２と隣り合う側壁Ｓｗ３、Ｓｗ４の一部である。側壁Ｓｗ２、Ｓｗ３及びＳｗ４の異なる３面に同時に投影する映像コンテンツには、形状補正が施されている。なお、この形状補正は、コンテンツ設定部３で補正するようにしてもよいし、予め補正された映像コンテンツがコンテンツ記憶部４に記憶されていてもよい。そして、天井Ｒｆの側壁Ｓｗ３と近接する位置に、カメラ５及び録音マイク６が取り付けられている。
　なお、図２では、カメラ５が上向きに取り付けられているが、実際には、天井Ｒｆにパンチルト雲台５０が取り付けられており、カメラ５の撮影部が下方に向いている。なお、パンチルト雲台５０に取り付けられたカメラ５は、プロジェクタ１の投影映像によって影が形成されないように配置されていることが好ましい。本実施形態において、カメラ５は、撮影部を側壁Ｓｗ２側に向けて配置されている。また、図４、図５に示すように、本体部１００、スピーカ２０１及びディスプレイ３００が側壁Ｓｗ１に配置されている。
　このような、投影撮影システムＡを備えたカラオケ装置Ｋｓの動作について説明する。図７は側壁に映像コンテンツを投影したときの投影映像と演者を示す図であり、図８は演者の動作によって映像コンテンツを設定しなおしたときの投影映像と演者とを示す図である。
　カラオケ装置Ｋｓの投影撮影システムＡは、演者Ｅｎの演奏時の臨場感、演奏による昂揚感を高める演出を行うものである。図７は投影撮影システムＡを用いて、演奏時の臨場感を高める映像コンテンツを投影している状態を示している。図７に示すように、投影撮影システムＡのプロジェクタ１は、カラオケボックスＫｂの側壁Ｓｗ２、Ｓｗ３及びＳｗ４の３面に多数の観客Ａｄが映っている映像コンテンツＣｖ１を投影している。演者Ｅｎは、側壁Ｓｗ２、Ｓｗ３及びＳｗ４に投影された観客Ａｄの映像コンテンツを見ながら演奏（歌唱）を行うことで、コンサート会場でコンサートを行っているような臨場感を得ることが可能である。
　投影撮影システムＡは状態検出部２で演者Ｅｎの状態（位置、形状、音声及び動作の少なくとも一つ）を検出する。コンテンツ設定部３は、演者Ｅｎの動作に基づいて、映像コンテンツを設定（切り替える）。映像コンテンツの設定の具体的な例について説明する。例えば、図７に示すような観客Ａｄの映像コンテンツＣｖ１が投影されている状態で、側壁Ｓｗ４に投影された観客Ａｄにマイク２０２を向けた動作を行ったとする。
　一般的なコンサート等では、マイクを向けられると観客の興奮状態が上昇し、演者と観客との一体感が増す。このような状態を再現するため、投影撮影システムＡでは、状態検出部２が演者Ｅｎの側壁Ｓｗ４にマイク２０２を向ける動作を検出する。そして、演者Ｅｎがマイク２０２を側壁Ｓｗ４に向ける動作を行ったことをコンテンツ設定部３に通知する。コンテンツ設定部３は、演者Ｅｎの動作に応じ、側壁Ｓｗ４に投影されている観客Ａｄがこれまでよりも興奮している映像コンテンツＣｖ２をコンテンツ記憶部４から選択し、その映像データをプロジェクタ１に送る。
　これにより、図８に示すように、側壁Ｓｗ４には、興奮している観客Ａｄ２の映像を含む映像コンテンツＣｖ２が投影される。このとき、コンテンツ設定部３は映像コンテンツＣｖの側壁Ｓｗ４に投影される部分のみを映像コンテンツＣｖ２に置き換えるような処理を行ってもよいし、側壁Ｓｗ４の観客Ａｄだけが興奮しているような映像コンテンツＣｖ２をあらかじめ用意していてもよい。本実施形態において、コンテンツ設定部３は、側壁Ｓｗ４に投影する部分だけを映像コンテンツＣｖ２に置き換える処理を行っているものとしている。
　以上のように、投影撮影システムＡでは、演者Ｅｎ（対象物）の状態（位置、形状、音声及び動作の少なくとも一つ）に応じて、投影する映像コンテンツを設定しなおす。これにより、演者Ｅｎ及びカラオケボックスＫｂで演者Ｅｎの演奏（歌唱）を鑑賞している人の臨場感や昂揚感が高まる。
　なお、状態検出部２は、演者Ｅｎ（対象物）の全ての状態に応じて、映像コンテンツを設定するものであってもよいが、演者Ｅｎの全ての状態で映像コンテンツの設定を行うと、コンテンツ設定の動作が煩雑になり、装置に要求される能力が高くなりすぎる。
　そこで、複数の映像データをコンテンツ記憶部４に記憶させておく。そして、状態検出部２が、複数の映像データのそれぞれに関連付けられた特徴的な状態を記憶しておく。そして、演者Ｅｎが、記憶している特徴的な状態と一致する又は類似する状態になったことを状態検出部２が検出すると、その特徴的な状態の情報をコンテンツ設定部３に通知する。コンテンツ設定部３はコンテンツ記憶部４から特徴的な状態に関連付けられた映像データを選択し、映像コンテンツに設定しなおす（切り替える）ようにする。
　このように、演者Ｅｎ（対象物）の特徴的な状態を複数個記憶しておき、演者Ｅｎ（対象物）がその状態になったときに、コンテンツ設定部３でコンテンツ映像の設定を行うようにすることで、コンテンツ設定部３の動作の頻度を抑えることができる。これにより、動作に要するリソースを低減することが可能である。また、映像コンテンツが頻繁に切り替わるのを抑制できるので、メリハリのある（抑揚がある）映像コンテンツを投影することも可能となる。
　また、投影撮影システムＡでは、演者Ｅｎ（対象物）及び（又は）映像コンテンツをカメラ５で撮影している。図９は図７に示す映像コンテンツと演者とを撮像した撮像データを示す図であり、図１０は図８に示す映像コンテンツと演者とを撮像した撮像データを示す図である。なお、カメラ５で撮像した撮像データと録音マイク６で録音した録音データとは、処理部Ｐｒで、同期され、撮影データとして生成され、撮影データ記憶部７に記憶する。また、投影撮影システムＡでは、表示部１５で撮影データ（或いは撮像データ）を表示できる。撮影データを表示部１５で再生することで、演者及び（又は）観察者が意図したとおりの演出・画像の録画ができたかを確認できる。そして、表示部１５で撮影データを確認した演者Ｅｎ及び（又は）観察者が気に入るまで、投影及び撮影を繰り返すことも可能である。
　図７に示すような映像コンテンツでは、側壁に投影されている観客Ａｄの状態が略均一な状態となっている。そのため、パンチルト雲台５０を動作させ、映像コンテンツと演者Ｅｎとを俯瞰で撮影できるようにカメラ５の位置を調整し、ズーム及びフォーカスも演者Ｅｎの背面に側壁Ｓｗ２、Ｓｗ３及びＳｗ４が映るように調整する。この状態で撮像を行うことで、図９に示すような撮像データを得ることができる。すなわち、演者Ｅｎの背面に多数の観客Ａｄが写っている撮像データを取得できる。
　一方、図８に示すように、演者Ｅｎが側壁Ｓｗ４にマイク２０２を向けると、側壁Ｓｗ４に興奮した観客Ａｄ２の映像コンテンツが投影される。このとき、状態検出部２は、演者Ｅｎがマイク２０２を側壁Ｓｗ４にマイクを向けた状態になったことを処理部Ｐｒにも通知している。処理部Ｐｒは演者Ｅｎが側壁Ｓｗ４にマイク２０２を向けた状態になった情報を取得すると、側壁Ｓｗ４に投影される映像コンテンツと演者Ｅｎとが主に映るように、パンチルト雲台５０によるパン・チルト及びカメラのズーム、フォーカスを調整する。これにより、図１０に示すように、興奮する観客Ａｄ２と演者Ｅｎとを主な被写体とした撮像データを取得することができる。
　以上示した構成では、映像コンテンツと演者Ｅｎとの両方を撮像するようにパンチルト雲台５０によるパン・チルト動作と、カメラ５のズーム及びフォーカスを調整している（撮像アングルの変更をしている）がこれに限定されない。例えば、演者Ｅｎの状態の変化がないときは演者Ｅｎのみを撮像するようにしてもよいし、最初に投影された映像コンテンツを撮像した後、演者Ｅｎと映像コンテンツを含むように撮像してもよい。
　映像コンテンツの設定、カメラ５（パンチルト雲台５０）の調整は、演者Ｅｎ（対象物）の位置、形状及び動作に基づいて行っているがこれに限定されない。演者Ｅｎが発する音声に基づいて、映像コンテンツの設定、カメラ５（パンチルト雲台５０）の調整を行うようにしてもよい。例えば、音程、音量、リズム等に基づいて、映像コンテンツの設定やカメラ５（パンチルト雲台５０）の調整を行うようにしてもよい。さらには、予め演者Ｅｎによって決められていてもよいし、別の利用者によって撮影アングルの変更を行うようにしてもよい。また、上述の動作はあくまで一例であり、これらに限定されるものではない。
　本発明にかかる投影撮影システムＡを備えたカラオケ装置Ｋｓを利用することで、演者Ｅｎに対して、臨場感、昂揚感が高い空間を演出することが可能である。また、記憶部Ｍｒの撮影データ記憶部７に記憶した撮影データを、カラオケ装置Ｋｓに送り、ディスプレイ３００で再生することで、実際に大勢の観客の前で演奏を行っているような映像を表示することができる。
　この撮影データについては、図示を省略した光ディスク装置を利用して光ディスクに記録するようにしてもよいし、メモリカードリーダライターを利用してメモリカードに記録するようにしてもよい。また、カラオケ装置Ｋｓのネットワーク接続部１０４を介して、ネットワーク上の任意の機器（サーバー、クライアントマシーン、クラウド、スマートフォン等）に送信することができるようにしてもよい。また、ネットワーク接続部１０４が無線ＬＡＮ、有線ＬＡＮの機能を有している場合、無線ＬＡＮ又は有線ＬＡＮを利用して、携帯機器（スマートフォン、タブレットＰＣ等）に送信するようにしてもよい。ネットワーク接続部１０４で撮影データを送信できる構成である場合、投影撮影システムＡの通信部９を省略してもよい。
　なお、本実施形態では、カラオケボックスＫｂのような、側壁で囲まれた空間内で用いるものとしているが、これに限定されるものではなく、映像コンテンツを投影できるような面を有する空間で利用することが可能である。ここで、映像コンテンツを投影できる面としては、平面に限定されるものではなく、曲面や表面に凹凸がある面であってもよい。また、本発明にかかる投影撮影システムＡでは、状態検出部２で演者Ｅｎ（対象物）の状態を検出しているが、状態検出部２を用いて、映像コンテンツを投影する投影部分（側壁等）を自動的に検出するようにしてもよい。このようにすることで、投影撮影システムＡの汎用性を高めることが可能である。
　また、カラオケ装置Ｋｓにおいて、ディスプレイ３００は輝度が高く、ディスプレイ３００の表示部上に正確に映像を投影することは困難な場合がある。また、ディスプレイ３００には、演奏中の楽曲に関連する映像や歌詞が表示される。このような映像は、投影される映像と関連しないものが多く、カメラ５で撮影するとその部分だけ映像コンテンツと関連性のない映像となってしまう。そのため、ディスプレイ３００は、プロジェクタ１からの映像が投影される範囲から外れた位置及び（又は）カメラ５の撮影範囲から外れた位置（本実施形態では、側壁Ｓｗ１）に配置されるようにしている。投影を行わない側壁Ｓｗ１にディスプレイ３００を配置することで、ディスプレイ３００をオフにしたり、隠したりすることを行わなくてもよい。
　なお、投影撮影システムＡが動作しているときにディスプレイ３００を消灯するようにし、映像コンテンツを消灯したディスプレイ３００に投影するようにしてもよい。また、投影撮影システムＡが動作しているとき、ディスプレイ３００で表示する映像を、ディスプレイ３００に投影される映像と重なるような映像を表示し、ディスプレイ３００を隠すようにしてもよい。
　なお、コンテンツ記憶部４に記憶している映像データは、選曲された楽曲データに対応した（例えば、楽曲のジャンル、言語等に対応した）映像と、演者Ｅｎ（対象物）の特徴的な状態に応じた映像データとを含む構成であってもよい。また、複数の映像コンテンツを組み合わせるものであってもよい。例えば、上述のような例の場合、側壁Ｓｗ２、側壁Ｓｗ３及び側壁Ｓｗ４のそれぞれに異なる映像データを使用し、コンテンツ設定部３で編集（合成）するようにしてもよい。
（第３実施形態）
　本発明にかかる投影撮影システムの他の例について図面を参照して説明する。図１１は本発明にかかる投影撮影システムの他の例のブロック図である。図１１に示すように、投影撮影システムＢの投影システムＰｊは、第１プロジェクタ１１、第２プロジェクタ１２及び第３プロジェクタ１３の３台のプロジェクタを備えている。第１プロジェクタ１１、第２プロジェクタ１２及び第３プロジェクタ１３はそれぞれ、コンテンツ設定部３に接続されている。コンテンツ設定部３は、第１プロジェクタ１１、第２プロジェクタ１２及び第３プロジェクタ１３のそれぞれに対応した映像コンテンツを送信している。
　また、撮影システムＴｐは、第１カメラ５１及び第２カメラ５２の２台のカメラを備えている。第１カメラ５１及び第２カメラ５２はいずれもパンチルト雲台５０に取り付けられており、直交する２軸周りに回転可能（パン・チルト可能）に取り付けられている。
　また、投影撮影システムＢの処理部Ｐｒには、編集処理部１０が備えられている。編集処理部１０は、撮影データ記憶部７に記憶された撮影データの編集を行うことが可能となっている。編集処理部１０は、使用者の操作入力に基づいて操作を行う構成であってもよい。また、編集処理部１０は、対象物の状態（位置、音声、形状、動作等）や、投影された映像コンテンツに基づいて自動的に複数のカメラが撮像した画像を選択して編集するようにしてもよい。
　さらに、編集処理部１０に第１カメラ５１及び第２カメラ５２を接続し、処理部Ｐｒによってパン・チルト、ズーム及びフォーカスの調整に合わせ、一方のカメラで撮像した撮像データを採用するように編集してもよい。この構成の場合、リアルタイムで撮像データの選択（編集）を行うことが可能である。なお、編集処理は表示部１５に表示される撮影データを見ながら行うことが可能である。
　投影ユニットＰｊが複数のプロジェクタを備えていることで、対象物に対して広い角度で或いは対象物から見て広い角度で映像を投影することができる。そのため、臨場感や昂揚感の演出の効果を高めることが可能である。なお、複数のプロジェクタを用いる構成において、少なくとも１台のプロジェクタを利用して、対象物に投影映像を重ね合せるプロジェクションマッピングを行うようにしてもよい。
　また、撮影システムＴｐが複数台のカメラを備えていることで、対象物を複数の角度から撮影することが可能となっている。そのため、撮影データの表現力を高めることが可能となっている。また、複数のカメラのそれぞれで撮像した撮像データのいずれかを選択する編集を行うことで、臨場感、昂揚感を高めた演出の撮影データを得ることが可能である。
　なお、第１カメラ５１、第２カメラ５２はパン・チルト動作が可能なパンチルト雲台５０に取り付けられているものとしているがこれに限定されるものではなく、直線又は曲線状に移動可能な構成となっていてもよい。この移動はカメラアングルを固定したままでもよいし、パンチルト雲台５０を移動させる構成としてもよい。
　また、プロジェクタは固定のものとして説明しているが、これに限定されるものではなく、対象物の位置、形状、動作に応じて移動するように配置されていてもよい。
　このような投影撮影システムＢを備えたカラオケ装置を含むカラオケボックスＫｂについて図面を参照して説明する。図１２は図１１に示す投影撮影システムを備えたカラオケ装置を有するカラオケボックスの平面図である。図１２に示すカラオケボックスＫｂ１は、図４に示すカラオケボックスＫｂと同様の大きさ及び形状を有している。図１２に示すカラオケボックスＫｂ１は、プロジェクタとカメラ以外はカラオケボックスＫｂと同じ符号を付している。
　図１２に示すように、カラオケボックスＫｂ１は、天井Ｒｆの側壁Ｓｗ１に近接した位置に第１プロジェクタ１１、側壁Ｓｗ３に近接した位置に第２プロジェクタ１２、側壁Ｓｗ４に近接した位置に第３プロジェクタ１３が取り付けられている。また、側壁Ｓｗ２に近接した位置に状態検出部２が取り付けられている。また、天井Ｒｆの側壁Ｓｗ３に近接した位置に第１カメラ５１が取り付けられており、側壁Ｓｗ４に近接した位置に第２カメラ５２が取り付けられている。
　図１２に示すように、第１プロジェクタ１１は対向する側壁Ｓｗ２に映像コンテンツを投影できるように配置されている。同様に、第２プロジェクタ１２は側壁Ｓｗ４に、第３プロジェクタ１３は側壁Ｓｗ３に、それぞれ、映像コンテンツを投影できるように配置されている。つまり、カラオケボックスＫｂ１は、側壁Ｓｗ２、Ｓｗ３、Ｓｗ４のぞれぞれに映像コンテンツを投影するプロジェクタを備えている。このように複数台のプロジェクタを備えていることで、映像コンテンツを投影する投影範囲を広げることが可能である。
　カラオケボックスＫｂ１では、側壁Ｓｗ１以外の側壁に映像コンテンツを投影する構成となっている。そのため、第１カメラ５１及び第２カメラ５２は、側壁Ｓｗ２に向けて傾けて取り付けられている。このように取り付けることで、演者Ｅｎ（対象物）と映像コンテンツとが写っている演出効果の高い撮影データを取得することができる。
　また、このようなカラオケボックスＫｂ１において、映像コンテンツの設定やカメラの調整、撮像データ又は撮影データの編集は、演者Ｅｎの状態（位置、形状、音声、動作）に基づいて行ってもよいし、演奏されている楽曲に基づいて行ってもよい。
　なお、本実施形態では、演出効果を高めるため３台のプロジェクタと２台のカメラを用いているが、これに限定されるものではない。プロジェクタの台数は３台に限定されず、カメラの台数も２台に限定されない。例えば、プロジェクタ又はカメラの一方が複数台備えられている場合、他方は１台であってもよい。また、複数台のカメラを備えている場合、そのカメラのうち１台は撮像アングルを固定した、すなわち、パンチルト雲台に取り付けられていないカメラとしてもよい。
（第４実施形態）
　本発明にかかる投影撮影システムを用いたカラオケ装置のさらに他の例について図面を参照して説明する。図１３は側壁に映像コンテンツを投影したときの投影映像と演者を示す図である。図１３は、図１２に示すカラオケボックスＫｂ１を用いている。
　図１３は投影撮影システムＢを用いて、演奏時の臨場感を高める映像コンテンツを投影している状態を示している。図１３に示すように、投影撮影システムＢの第１プロジェクタ１１、第２プロジェクタ１２及び第３プロジェクタ１３は、カラオケボックスＫｂ１の側壁Ｓｗ２、Ｓｗ３及びＳｗ４の３面にバンドのメンバを含む映像コンテンツを投影している。具体的には、ギター奏者Ｇｒが側壁Ｓｗ３に投影され、ベース奏者Ｂｓが側壁Ｓｗ４に投影され、ドラム奏者Ｄｒが側壁Ｓｗ２に投影されている。
　なお、状態検出部２で検出した演者Ｅｎの状態（位置、形状等）に基づいて、映像コンテンツの投影倍率を調整し演者Ｅｎの大きさに合わせたバンドメンバーの投影する大きさを決定している。そして、第１カメラ５１及び第２カメラ５２でバンドメンバーの映像コンテンツと演者とを同時に撮影することで、実際には１人で歌っている演者Ｅｎが、バンドメンバーと演奏しているような撮影データを生成することができる。
　そして、カラオケボックスＫｂ１では、演奏が行われている間、ディスプレイ３００で撮影データを再生する。このように、撮影データを再生することで、演者Ｅｎは１人で歌っているが、バンドメンバーと一緒にステージに立っているような撮影映像を見ながら歌うことが可能である。これにより、臨場感の高い演出を行うことが可能である。
　また、投影撮影システムＢは状態検出部２で演者の状態（位置、形状、音声及び動作の少なくとも一つ）を検出する。コンテンツ設定部３は、演者の動作に基づいて、映像コンテンツを設定（切り替える）。映像コンテンツの設定の具体的な例について説明する。例えば、図１３に示すような映像コンテンツが投影されている状態で、ギター奏者Ｇｒにマイク２０２を向けた動作をしたとすると、コンテンツ設定部３は、ギター奏者Ｇｒがマイク２０２に向かってコーラスを行うような映像コンテンツを選択、投影を行う。そして、第２カメラ５２がギター奏者Ｇｒの映像コンテンツと演者Ｅｎとを撮像する。
　このように、バンドメンバーを含む映像コンテンツを投影し、その映像とともに演者Ｅｎを撮影することで、あこがれのバンドメンバーとコラボレーションをする撮影データを生成することが可能である。なお、バンドメンバーの映像コンテンツは、演者によって選択されたものであってもよいし、演奏される曲を実際に演奏しているバンドメンバーの映像データをインターネットで取得、編集した映像コンテンツを設定し、その映像コンテンツの投影を行うようにしてもよい。
　また、カラオケボックスＫｂ１を利用して、歌以外（例えば、ダンス）のコラボレーションを行う撮影データを生成してもよい。図１４は側壁に映像コンテンツを投影したときの投影映像と演者を示す図である。図１４に示すように、ダンスを行うアーティストＤｃの映像コンテンツを側壁Ｓｗ２、Ｓｗ３、Ｓｗ４に投影する。
　そして、演者Ｅｎが側壁Ｓｗ２、Ｓｗ３又はＳｗ４のいずれかに投影されたアーティストＤｃを指さすような動作を行った場合、状態検出部２が演者Ｅｎの動作を検出し、例えば、コンテンツ設定部３は指さされたアーティストＤｃが激しく踊るような映像コンテンツを設定し、映像コンテンツを投影する。このように、演者Ｅｎと映像コンテンツとを一緒に撮像し、撮影データを生成することで、ダンスの競演（ダンスバトル）を行っているような撮影データを得ることができる。また、演者Ｅｎにプロジェクションマッピングを施し、アーティストＤｃと同じ服を着ているような演出を行ってもよい。
　このような、コラボレーションが可能な装置を利用することで、演者Ｅｎはあこがれのアーティストとコラボレーションを行った撮影データを得ることが可能である。また、投影撮影システムＢを撮影スタジオに利用することで、過去に存在したバンド（グループ）と現在のバンド（グループ）とがコラボレーションを行う撮影データを作製することもできる。
（第５実施形態）
　本発明にかかる投影撮影システムの他の例について図面を参照して説明する。図１５は本発明にかかる投影撮影システムの他の例を示す図である。図１５に示すように、離れた場所にある２台の投影撮影システムＢ（ここではＢ１、Ｂ２とする）がインターネットを介して接続されている。そして、投影撮影システムＢ１、Ｂ２は、それぞれ、カラオケボックスＫｂ１に類似のスタジオＳｔ内に配置されている。
　そして、投影撮影システムＢ１が備えられたスタジオＳｔ１には、ギター奏者のＧｔさんがギター演奏を行っている。また、投影撮影システムＢ２が備えられたスタジオＳｔ２では歌手のＳｇさんが歌を歌っている。
　そして、スタジオＳｔ２では、スタジオＳｔ２の側壁に多数の観客Ａｄの映像コンテンツが投影されており、映像コンテンツと歌手のＳｇさんとを一緒に撮像している。そして、歌手のＳｇさんが歌っている音声データと撮像データを含む撮影データＳｄを生成している。
　そして、スタジオＳｔ２で生成された撮影データＳｄは、インターネットを介してスタジオＳｔ１に送られる。スタジオＳｔ１では、スタジオＳｔ２から送られた撮影データＳｄをコンテンツデータとして側壁に投影される。スタジオＳｔ２の撮影データＳｄを映像コンテンツとして投影することで、その場にいない歌手のＳｇさんや観客Ａｄを側壁に投影される。このような映像コンテンツとギター奏者のＧｔさんの演奏を一緒に撮影する。
　このように、投影撮影システムを繋ぎ、一方の撮影データを他方の映像コンテンツと指定利用することで、離れた位置にいる２人の演者がコラボレーションする撮影データを得ることができる。
　本実施形態では、２台の投影撮影システムをインターネットで接続しているものを例に説明しているが、これに限定されない。２台以上の投影撮影システムを接続し、順に撮影データを重ねて新たな撮影データを作製するようにしてもよい。また、この撮影データの送信をリアルタイムで送れるようにし、演奏中にディスプレイ３００でコラボレーションされた撮影データを鑑賞できるようになっていてもよい。また、複数台の投影撮影システムの接続はインターネットに限定されるものではなく、データの送受信が可能な接続方法を広く採用することができる。
　また、このように一度作成された撮影データを利用するものとしては、撮影データ記憶部７に記憶されている撮影データを映像コンテンツとして、投影するようにしてもよい。
（第６実施形態）
　本発明にかかる投影撮影システムを備えた装置のさらに他の例について図面を参照して説明する。図１６は本発明にかかる投影撮影システムを利用したシミュレーション装置の概略図である。図１６に示すシミュレーション装置Ｓｕは、自動二輪車のシミュレーション装置である。シミュレーション装置Ｓｕは、カラオケボックスＫｂ１に類似する箱体の内部に、自動二輪車の実物大模型Ｂｋが配置されている。自動二輪車の実物大模型Ｂｋは、左右に倒すことが可能な構成となっている。
　シミュレーション装置Ｓｕでは、箱体の内壁に、例えば、サーキットの映像コンテンツＣｖ３を投影し、実際に走行している臨場感を得ることができるようになっている。
　そして、シミュレーション装置Ｓｕの使用者Ｒｄは、実物大模型Ｂｋにまたがり、実際の自動二輪車の操作と同様に、湾曲に合わせて実物大模型Ｂｋを傾ける。このとき、状態検出部２で、実物大模型Ｂｋと使用者の状態（位置、形状、動作）を検出し、その状態に応じ、コンテンツ設定部３は映像コンテンツＣｖ３を選択する。そして、コンテンツ設定部３は映像コンテンツＣｖ３をプロジェクタに送り、プロジェクタ１１、１２、１３で箱体の側壁に投影する。例えば、状態検出部２が実物大模型Ｂｋを右に倒したことを検出すると、サーキット内での位置が右に移動するように、映像コンテンツＣｖ３を設定する。
　そして、このようにサーキットの映像コンテンツＣｖ３と実物大模型Ｂｋ及び使用者Ｒｄを撮影することで、サーキットを実物の自動二輪車で走っているような臨場感のある撮影データを得ることができる。なお、実物大模型Ｂｋ及び（又は）使用者Ｒｄの装着物（服やヘルメット）にプロジェクションマッピングを施してもよい。このように、プロジェクションマッピングを行うことで、あこがれのカラーリングの自動二輪車に、あこがれのカラーリングのヘルメット、服（ライダースーツ）を着た自分がサーキットを走っている撮像データを得ることが可能である。また、プロジェクションマッピングを利用して、タイヤが回転しているような演出も可能である。
　なお、投影する映像コンテンツは、ＣＧで作製されたものであってもよいし、実走時に撮影されたものであってもよい。また、実走時に撮影された映像コンテンツを用いる場合、実際にライダーが走っているところを撮影した映像を用いることで、あこがれのライダーとの競争をしている撮影データを得ることが可能である。さらには、複数のシミュレータをネットワークで接続し、一方の撮影データを他方の映像コンテンツとして用いることで、仮想のレースを楽しむことができるし、そのレースの様子を撮影した撮影データを得ることが可能である。さらに、撮影データ記憶部７に記憶されている撮影データを映像コンテンツとして利用することで、過去の自分と競争を行うことも可能である。
　シミュレーション装置Ｓｕとして、自動二輪車がサーキットを走るものを例に挙げているが、これに限定されない。例えば、ランニング、スイミングやサイクリング等のトレーニングを行うものに適用してもよい。このようなトレーニング機器に用いる場合、使用者のトレーニングと同じ負荷がかかるような構成とすることで、飽きることなく室内トレーニングを行うことが可能である。また、シミュレーション装置Ｓｕを用いることで、多数の人と競争を行う場合でも、他人との接触がないため、怪我やトラブルを抑制することが可能である。さらに、過去の自分や他人と競争を行うとともに、撮影を行うことで自分と他人との違い、過去の自分との相違点等を客観的に観察することができるため、高いトレーニング効果を得ることも可能になる。
　以上、本発明の実施形態について説明したが、本発明はこの内容に限定されるものではない。また本発明の実施形態は、発明の趣旨を逸脱しない限り、種々の改変を加えることが可能である。
Ａ、Ｂ　投影撮影システム
Ｋｓ　カラオケ装置
Ｋｂ　カラオケボックス
Ｐｒ　処理部
Ｍｒ　記憶部
Ｐｊ　投影システム
Ｔｐ　撮影システム
１　プロジェクタ
１１　第１プロジェクタ
１２　第２プロジェクタ
１３　第３プロジェクタ
２　状態検出部
３　コンテンツ設定部
４　コンテンツ記憶部
５　カメラ
５０　パンチルト雲台
５１　第１カメラ
５２　第２カメラ
６　マイク
７　撮影データ記憶部
８　接続インタフェース部
９　通信部
１０　編集処理部
１００　本体部
１０１　主処理部
１０２　接続インタフェース部
１０３　主記憶部
１０４　ネットワーク接続部
１０５　ミキサ部
１０６　操作部
１０７　リモコン受信部
１０７１　リモコン
２０１　スピーカ
２０２　マイク
３００　ディスプレイ

Claims (15)

  1. 　所定の場所に映像コンテンツを投影する投影部と、
    　対象物の状態を検出する状態検出部と、
    　前記対象物の状態に基づいて映像コンテンツを設定するコンテンツ設定部と、
    　前記所定の場所に投影された映像コンテンツと前記対象物とを撮影した撮影データを生成する撮影部とを備えたことを特徴とする投影撮影システム。
  2. 　前記投影部が、さらに前記対象物に前記映像コンテンツを投影する請求項１に記載の投影撮影システム。
  3. 　前記状態検出部が、前記対象物の動作又は前記対象物の周囲の音声の少なくとも一方を対象物の状態として検出する請求項１又は請求項２に記載の投影撮影システム。
  4. 　複数の映像データが記憶されたコンテンツ記憶部を備えており、
    　前記コンテンツ設定部が、前記コンテンツ記憶部に記憶されている映像データの中から前記対象物の状態に対応する映像データを選択するとともに、映像コンテンツとして設定する請求項１から請求項３のいずれかに記載の投影撮影システム。
  5. 　前記状態検出部は前記複数の映像データのそれぞれと関連付けられる特徴的な状態を備えており、前記状態検出部で検出した対象物の状態が前記特徴的な状態と同一又は類似の状態のとき、前記コンテンツ設定部に映像コンテンツの設定を行う請求項４に記載の投影撮影システム。
  6. 　前記状態検出部が、前記撮影データに基づいて前記対象物の状態を検出する請求項１から請求項５のいずれかに記載の投影撮影システム。
  7. 　前記撮影部が前記対象物の状態に対応して動作する請求項１から請求項６のいずれかに記載の投影撮影システム。
  8. 　前記撮影部で生成した撮影データを記憶する撮影データ記憶部を備えている請求項１から請求項７のいずれかに記載の投影撮影システム。
  9. 　前記撮影データを編集する編集処理部を備えている請求項８に記載の投影撮影システム。
  10. 　前記コンテンツ設定部が前記撮影データ記憶部に撮影された撮影データを映像コンテンツに設定する請求項８又は請求項９に記載の投影撮影システム。
  11. 　前記撮影データ記憶部に記憶した撮影データを表示する表示部を備えている請求項８から請求項１０のいずれかに記載の投影撮影システム。
  12. 　外部ネットワークと接続し、前記撮影データをネットワークを介して前記ネットワークに接続された外部機器に送信する通信部を備えている請求項１から請求項１１のいずれかに記載の投影撮影システム。
  13. 　前記ネットワークに複数の投影撮影システムが接続されている状態において、
    　前記通信部は、前記ネットワークに接続されている他の投影撮影システムに備えられた撮影部で撮影された撮影データを映像データとして取得するとともに、前記コンテンツ設定部が前記取得した映像データを映像コンテンツとして設定する請求項１２に記載の投影撮影システム。
  14. 　請求項１から請求項１３のいずれかに記載の投影撮影システムを備えたことを特徴とするカラオケ装置。
  15. 　請求項１から請求項１４のいずれかに記載の投影撮影システムを備えたことを特徴とするシミュレーション装置。
PCT/JP2015/057479 2014-03-31 2015-03-13 投影撮影システム、カラオケ装置及びシミュレーション装置 WO2015151766A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-071783 2014-03-31
JP2014071783 2014-03-31

Publications (1)

Publication Number Publication Date
WO2015151766A1 true WO2015151766A1 (ja) 2015-10-08

Family

ID=54240098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/057479 WO2015151766A1 (ja) 2014-03-31 2015-03-13 投影撮影システム、カラオケ装置及びシミュレーション装置

Country Status (1)

Country Link
WO (1) WO2015151766A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111254A (ja) * 2015-12-15 2017-06-22 日本航空株式会社 情報提供システム、情報提供方法及び情報提供プログラム
FR3062930A1 (fr) * 2017-02-13 2018-08-17 Image & Process Salle de realite virtuelle.
JP2019020582A (ja) * 2017-07-16 2019-02-07 ドクエン株式会社 カラオケシステム、及びそれを備えた建築物
FR3082863A1 (fr) * 2018-06-22 2019-12-27 Jean Paul Bibes Salle de realite virtuelle circulaire modulaire
JP2020071245A (ja) * 2018-10-29 2020-05-07 積水ハウス株式会社 展示用住宅
JP2020181123A (ja) * 2019-04-26 2020-11-05 塁 佐藤 カラオケ演出システム
JP7309148B2 (ja) 2018-08-09 2023-07-18 株式会社ユークス ホール用表示システム及びこれを用いて行うイベントの実施方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293999A (ja) * 2005-03-15 2006-10-26 Kyushu Institute Of Technology 画像表示方法およびその装置
JP2006325161A (ja) * 2005-05-20 2006-11-30 Shohei Kajiwara 映像システム
JP2011254411A (ja) * 2010-06-04 2011-12-15 Hokkaido Univ 映像投影システムおよび映像投影プログラム
JP2013038614A (ja) * 2011-08-08 2013-02-21 Kunio Goto 映像装置
JP2013125181A (ja) * 2011-12-15 2013-06-24 Nikon Corp 投影装置
WO2014003099A1 (ja) * 2012-06-29 2014-01-03 株式会社セガ 映像演出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293999A (ja) * 2005-03-15 2006-10-26 Kyushu Institute Of Technology 画像表示方法およびその装置
JP2006325161A (ja) * 2005-05-20 2006-11-30 Shohei Kajiwara 映像システム
JP2011254411A (ja) * 2010-06-04 2011-12-15 Hokkaido Univ 映像投影システムおよび映像投影プログラム
JP2013038614A (ja) * 2011-08-08 2013-02-21 Kunio Goto 映像装置
JP2013125181A (ja) * 2011-12-15 2013-06-24 Nikon Corp 投影装置
WO2014003099A1 (ja) * 2012-06-29 2014-01-03 株式会社セガ 映像演出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111254A (ja) * 2015-12-15 2017-06-22 日本航空株式会社 情報提供システム、情報提供方法及び情報提供プログラム
FR3062930A1 (fr) * 2017-02-13 2018-08-17 Image & Process Salle de realite virtuelle.
JP2019020582A (ja) * 2017-07-16 2019-02-07 ドクエン株式会社 カラオケシステム、及びそれを備えた建築物
FR3082863A1 (fr) * 2018-06-22 2019-12-27 Jean Paul Bibes Salle de realite virtuelle circulaire modulaire
JP7309148B2 (ja) 2018-08-09 2023-07-18 株式会社ユークス ホール用表示システム及びこれを用いて行うイベントの実施方法
JP2020071245A (ja) * 2018-10-29 2020-05-07 積水ハウス株式会社 展示用住宅
JP7187977B2 (ja) 2018-10-29 2022-12-13 積水ハウス株式会社 展示用住宅
JP2020181123A (ja) * 2019-04-26 2020-11-05 塁 佐藤 カラオケ演出システム
JP7161200B2 (ja) 2019-04-26 2022-10-26 株式会社バーチャルウインドウ カラオケ演出システム

Similar Documents

Publication Publication Date Title
WO2015151766A1 (ja) 投影撮影システム、カラオケ装置及びシミュレーション装置
US10277813B1 (en) Remote immersive user experience from panoramic video
JP6431233B1 (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
CN210021183U (zh) 沉浸式互动全景全息剧院及演出系统
CN110013678A (zh) 沉浸式互动全景全息剧院演出系统、方法及应用
JP2013250838A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2017064161A (ja) ゲームシステム、撮影装置、ゲーム装置およびプログラム
US20110304735A1 (en) Method for Producing a Live Interactive Visual Immersion Entertainment Show
JP2012198305A (ja) 表示制御装置
JP2005094713A (ja) データ表示システム、データ表示方法、プログラムおよび記録媒体
US20090153550A1 (en) Virtual object rendering system and method
WO2021246183A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2019146425A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム
JP2022176206A (ja) 情報処理装置、動画合成方法及び動画合成プログラム
JP5201540B2 (ja) カラオケ装置及びカラオケ歌唱者の静止画出力方法
JP7442979B2 (ja) カラオケシステム
US20220314112A1 (en) Adjustable robot for providing scale of virtual assets and identifying objects in an interactive scene
JPH07146687A (ja) カラオケ演出装置
JP6498832B1 (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
JP5299374B2 (ja) カラオケ装置
JP2016166928A (ja) 演出装置、演出方法、プログラム、ならびにアミューズメントシステム
JP7167388B1 (ja) 動画作成システム、動画作成装置、及び動画作成用プログラム
KR102165026B1 (ko) 360도 ar 입체영상 체험 시스템
WO2022190917A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JP2013038614A (ja) 映像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15772219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15772219

Country of ref document: EP

Kind code of ref document: A1