WO2019092790A1 - 撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム - Google Patents

撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム Download PDF

Info

Publication number
WO2019092790A1
WO2019092790A1 PCT/JP2017/040127 JP2017040127W WO2019092790A1 WO 2019092790 A1 WO2019092790 A1 WO 2019092790A1 JP 2017040127 W JP2017040127 W JP 2017040127W WO 2019092790 A1 WO2019092790 A1 WO 2019092790A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
imaging device
event
adjustment
Prior art date
Application number
PCT/JP2017/040127
Other languages
English (en)
French (fr)
Inventor
多田　幸生
吉就 中村
貴裕 浅野
陽 前澤
健一 山内
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to PCT/JP2017/040127 priority Critical patent/WO2019092790A1/ja
Publication of WO2019092790A1 publication Critical patent/WO2019092790A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters

Definitions

  • the present invention relates to an imaging system, a control device, an imaging device, a control method of an imaging device, and a program.
  • Patent documents 1 and 2 disclose a system in which a flightable drone called drone captures an image. Specifically, Patent Document 1 discloses starting imaging when the drone is stabilized in a predetermined trajectory. Patent Document 2 discloses continuous arrangement of images obtained by imaging a land which has been flying above by a drone.
  • events such as concerts may proceed according to a predetermined schedule. Therefore, it is possible to grasp in advance the area to be imaged at each time during the holding of the event. Therefore, it is convenient to be able to automatically control the position of the imaging device at each time according to this schedule. However, it is necessary to create in advance data specifying the position of the imaging device at each time, and the burden on the person is large.
  • one of the objects of the present invention is to control the position of an imaging device so as to capture a specific imaging target in an event even if data for specifying the position of the imaging device is not created in advance.
  • a movable imaging device including an imaging unit, a database storing an event progression schedule in association with a time axis, and a database on which the progression schedule is stored, on the time axis
  • the position of the imaging device is determined based on a specifying unit that specifies an imaging position at each time point, an adjusting unit that adjusts the specified imaging position according to an imaging target in the event, and the imaging position after adjustment.
  • a movement control unit to control the imaging system.
  • the identification unit identifies the imaging direction at each point in time based on the traveling schedule, the adjustment unit adjusts the imaging direction according to the imaging target, and the imaging control unit
  • the position of the imaging device and the direction of the imaging unit may be controlled based on the imaging position and the imaging direction after adjustment.
  • the adjustment unit may control the position of the imaging device and the direction of the imaging unit based on the captured image generated by the imaging unit.
  • an acquisition unit for acquiring a sound signal and the specification unit specify a position of a sound indicated by the sound signal in music, and the imaging is performed based on the progress schedule according to the specified position.
  • the position and the imaging direction may be specified.
  • the adjustment unit may adjust the position of the first imaging device or the second imaging device such that the first imaging device and the second imaging device do not approach within a predetermined distance.
  • the adjustment unit may cause the second imaging device to perform imaging instead of the first imaging device.
  • the adjustment unit changes the position of the first imaging device or the second imaging device or the direction of the imaging unit so that the second imaging device is not included in the imaging range of the first imaging device. May be
  • the adjustment unit specifies the positional relationship between the imaging device and a specific device, and adjusts the position of the imaging device so that the imaging device and the device do not approach within a predetermined distance. It is also good.
  • the adjustment unit may specify a positional relationship between the imaging device and a specific area, and adjust the position of the imaging device so that the imaging device does not enter the area.
  • the imaging device may be flyable.
  • the imaging device may include the adjustment unit.
  • a database storing an event's progress schedule in association with a time axis, and a specifying unit for specifying an imaging position at each time on the time axis based on the progress schedule;
  • An apparatus control unit that controls the position of a movable imaging apparatus including an imaging unit based on an adjustment unit that adjusts the identified imaging position according to an imaging target in the event, and the imaging position after adjustment And a control device is provided.
  • the imaging unit operable to move the own apparatus, and the progressing schedule stored in the database stored in association with the timetable of the proceedings of the event.
  • An imaging device including: a movement control unit for moving the device to an imaging position at each time point on the time axis; and an adjusting unit for adjusting the imaging position according to an imaging target in the event .
  • the imaging apparatus may include a communication unit that receives a command for controlling the imaging position, and the adjustment unit may adjust the position instructed by the command.
  • a driving unit operating to move the apparatus itself, a database storing an event progression schedule in association with a time axis, and the progression schedule.
  • the identification unit that identifies the imaging position at each time point on the time axis, the adjustment unit that adjusts the identified imaging position according to the imaging target in the event, and the imaging position after adjustment
  • a movement control unit configured to control the position of the imaging device.
  • the imaging position at each time point on the time axis is specified and specified based on the movement plan stored in a database that stores an event's progress schedule in association with the time axis.
  • a control method of an imaging apparatus including: an imaging unit that adjusts a captured image position according to an image capturing target in the event, and includes an imaging unit based on the adjusted image capturing position. Be done.
  • the computer identifies an imaging position at each time point on the time axis based on the progressing schedule stored in a database that stores an event's progressing schedule in association with the time axis. Adjust the specified imaging position according to the imaging target in the event, and execute the process of controlling the position of the movable imaging device including the imaging unit based on the adjusted imaging position
  • the present invention even if data for specifying the position of the imaging device is not created in advance, it is possible to control the position of the imaging device so as to capture a specific imaging target in an event.
  • FIG. 1 is a diagram showing an entire configuration of an imaging system 1 according to an embodiment of the present invention.
  • the imaging system 1 is a system for imaging the space S.
  • the space S is a space where a concert is held, which is an example of an event.
  • the players P1 and P2 are events that perform and sing an instrument on the stage 80.
  • Space S may be either outdoor or indoor.
  • the imaging system 1 includes a control device 10 and a plurality of imaging devices 20 (20A, 20B, 20C).
  • the control device 10 is a device that controls the entire imaging system 1.
  • the control device 10 may be a device integrated with a PA (Public Address) device.
  • PA Public Address
  • the control device 10 controls imaging and movement of each of the plurality of imaging devices 20.
  • the imaging device 20 is a device (so-called drone) movable by flying. That is, the imaging device 20 moves in the horizontal direction, the vertical direction, or a crossing direction thereof by flying by the power of the own device.
  • the imaging device 20 can also change its posture, such as rotating in a predetermined direction. When the attitude of the imaging device 20 changes, the imaging direction may also change.
  • three imaging devices 20A, 20B, and 20C are shown as the plurality of imaging devices 20 in FIG. However, the number of imaging devices 20 included in the imaging system 1 may be two or less, or four or more. In the example of FIG. 1, the imaging devices 20A and 20B image a specific area on the stage 80 in flight. On the other hand, the imaging device 20C is not flying or imaging.
  • FIG. 2 is a view showing an appearance configuration of the imaging device 20.
  • the image pickup device 20 is provided as a substantially cross-shaped base 210 and drive means provided at four ends of the base 210 in four directions.
  • the rotary vanes 23A, 23B, 23C, and 23D are flight means for causing the imaging device 20 to fly, and can be driven to rotate independently.
  • the base 210 is provided with a pair of legs 24A and 24B.
  • the imaging unit 27 is physically connected to the bottom surface of the base 210 via the support member 25.
  • the imaging unit 27 sets the direction in front of the imaging device 20 as the imaging direction.
  • the external appearance structure of the imaging device 20 shown in FIG. 2 is only an example.
  • the position or direction of the imaging unit 27 may be different from the position or direction shown in FIG.
  • the illumination device 30 is disposed in the space S and illuminates a specific area on the stage 80.
  • the illumination device 30 illuminates the players P1 and P2 with light, for example.
  • the sound emitting device 40 is disposed in the space S, and emits, for example, the performance sound or the singing voice of the performance performed by the players P1 and P2.
  • the position and direction in which the illuminating device 30 and the sound emitting device 40 are disposed are not limited.
  • the audience seat 90 is provided in front of the stage 80, and is an area where the audience for the event is present.
  • FIG. 3 is a block diagram showing the configuration of the control device 10.
  • the control device 10 includes a control unit 11, a communication unit 12, and a database 13 as a physical configuration.
  • the control unit 11 controls each unit of the control device 10.
  • the control unit 11 is a signal processing exemplified by, for example, a central processing unit (CPU) as an arithmetic processing unit, a read only memory (ROM), a processor including a random access memory (RAM), and a digital signal processor (DSP). It has a circuit.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • DSP digital signal processor
  • the communication unit 12 communicates with each of the plurality of imaging devices 20.
  • Communication unit 12 includes a communication circuit and an antenna for performing wireless communication.
  • the communication method of the communication unit 12 is, for example, near field communication such as Bluetooth (registered trademark) or a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark), but may be other communication methods. .
  • the database 13 is a database that stores event data 131 in which an event progression schedule is associated with a time axis.
  • the event data 131 includes data on an event scheduled at each time.
  • FIG. 4 is a diagram showing an example of the configuration of the event data 131.
  • the event data 131 includes, for example, data of “set list”, “position of person”, “illumination”, and “solo part”.
  • the "set list” indicates songs played at each time.
  • “Position of person” indicates the position of the person participating in the event, in this case, the player P1 and P2 at each time.
  • “Lighting” indicates the method of lighting of the lighting device 30 at each time (for example, the area to be lighted, the brightness, and the color).
  • Solo part indicates that the performers P1 and P2 perform or sing alone.
  • FIG. 1 the performers P1 and P2 perform or sing alone.
  • a solo part "S1" indicates a section which is a solo part of the player P1
  • a solo part "S2" indicates a section which is a solo part of the player P2.
  • the database 13 is realized using, for example, a magnetic recording medium such as a hard disk drive. However, the database 13 may be realized by a computer readable recording medium such as a semiconductor recording medium or an optical recording medium.
  • the event data 131 is data created to manage the progress of the event before the event is held.
  • the control unit 11 has a specification unit 111, an acquisition unit 112, an adjustment unit 113, and a device control unit 114 as a functional configuration.
  • the identifying unit 111 identifies the imaging position and the imaging direction based on the event data 131 stored in the database 13.
  • the acquisition unit 112 acquires information from the imaging device 20 using the communication unit 12.
  • the information acquired by the acquisition unit 112 is, for example, a captured image of the imaging device 20 and data measured by the imaging device 20.
  • the adjustment unit 113 adjusts the imaging position and the imaging direction identified by the identifying unit 111.
  • the adjustment unit 113 performs this adjustment to cause the imaging device 20 to image a specific imaging target.
  • the adjustment unit 113 performs this adjustment, for example, based on the information acquired by the acquisition unit 112 from the imaging device 20. If the adjustment of the imaging position and the imaging direction specified by the identification unit 111 is unnecessary, the adjustment unit 113 may not perform this adjustment.
  • the device control unit 114 controls the position of the imaging device 20 and the direction of the imaging unit 27 based on the imaging position and the imaging direction adjusted by the adjustment unit 113.
  • the device control unit 114 transmits a command for controlling the position of the imaging device 20 and the direction of the imaging unit 27 to the imaging device 20 using the communication unit 12.
  • FIG. 5 is a block diagram showing the configuration of the imaging device 20.
  • the imaging device 20 has a physical configuration that includes a control unit 21, drivers 22A, 22B, 22C, and 22D, rotary blades 23A, 23B, 23C, and 23D, a communication unit 26, an imaging unit 27, and a measurement unit 28. And a battery 29.
  • the control unit 21 controls each unit of the imaging device 20.
  • the communication unit 26 communicates with the control device 10.
  • the control unit 21 and the communication unit 26 may have the same physical configuration as the control unit 11 and the communication unit 12, respectively.
  • the drive unit 22A rotates the rotary vanes 23A according to the control of the control unit 21.
  • the driving unit 22B rotates the rotary vanes 23B according to the control of the control unit 21.
  • the drive unit 22C rotates the rotary vanes 23C in accordance with the control of the control unit 21.
  • the driving unit 22D rotates the rotary vanes 23D in accordance with the control of the control unit 21.
  • the imaging unit 27 performs imaging and generates a captured image.
  • the imaging unit 27 includes, for example, an imaging element and a lens.
  • the imaging device is, for example, a complementary metal oxide semiconductor (CMOS), but may be another imaging device.
  • CMOS complementary metal oxide semiconductor
  • the measurement unit 28 measures the position of the imaging device 20 and the direction of the imaging unit 27.
  • the measuring unit 28 includes, for example, a positioning unit 281, a direction sensor 282, and an air pressure sensor 283.
  • the positioning unit 281 measures the position of the imaging device 20, in particular, the position in the horizontal direction (for example, latitude and longitude).
  • the positioning unit 281 includes, for example, a GPS (Global Positioning System) receiving circuit and an antenna.
  • the direction sensor 282 measures the direction in which the imaging device 20 faces, and in the present embodiment, the direction of the imaging unit 27.
  • the direction sensor 282 includes, for example, a geomagnetic sensor.
  • the air pressure sensor 283 measures the air pressure acting on the imaging device 20.
  • the battery 29 is a battery serving as a power supply of the imaging device 20.
  • the battery 29 is, for example, a secondary battery.
  • the control unit 21 has a data processing unit 211, a movement control unit 212, and an imaging control unit 213 as a functional configuration.
  • the data processing unit 211 transmits and receives data to and from the control device 10 using the communication unit 26.
  • the movement control unit 212 controls the position of the imaging device 20 and the direction of the imaging unit 27 by driving the driving units 22A, 22B, 22C, and 22D.
  • the movement control unit 212 moves the imaging device 20 by driving the drive units 22A, 22B, 22C, and 22D based on the command acquired using the communication unit 26.
  • the imaging control unit 213 causes the imaging unit 27 to perform imaging.
  • the imaging control unit 213 transmits the captured image to a predetermined device (for example, a display device at an event holding place or a display device at a remote place) using the communication unit 26, or an internal storage device (not shown)
  • a predetermined device for example, a display device at an event holding place or a display device at a remote place
  • FIG. 6 is a sequence diagram showing processing performed by the imaging system 1.
  • the process shown in FIG. 6 is performed for each imaging device 20.
  • each data of the database 13 is input, for example, before the event is held.
  • an event is started.
  • the specifying unit 111 specifies an imaging position and an imaging direction in the imaging device 20 based on the event data 131 of the database 13 (step S11).
  • the identifying unit 111 identifies, for example, the imaging position and the imaging direction according to the music being played, based on the data of the “set list” and the “person's position”.
  • the specifying unit 111 picks up a position specified by the positions “P12” and “P22” of the person while playing the music “# 2”, Identify the imaging position and imaging direction.
  • the identifying unit 111 may identify the imaging position and the imaging direction so as to image the illumination area designated by “illumination”.
  • the current time is “t” illustrated in FIG.
  • the identifying unit 111 identifies the imaging position and the imaging direction so as to image the area identified by the illumination “L22”. Alternatively, the identifying unit 111 may identify the imaging position and the imaging direction so as to image the player designated by “solo part”.
  • the specifying unit 111 specifies the imaging position and the imaging direction so as to image the player P1 identified in “S1”.
  • the imaging position may be specified by data of “person's position”, but the identification unit 111 recognizes the player's face from the imaged image, and picks up the imaging position and imaging direction so as to image the position of the player. May be identified.
  • a transmitter is provided with a predetermined signal in the possession of the player such as a musical instrument, and the identification unit 111 picks up an imaging position and an image of the position of the player based on the result of detection of the signal.
  • the imaging direction may be specified.
  • the specification unit 111 may specify the progress of the current event using the technique of score alignment.
  • the specifying unit 111 specifies the music position in the musical score of the musical performance sound indicated by the sound signal detected in the space S, and based on the event data 131 at the time corresponding to the specified music position, the imaging position and imaging Identify the direction.
  • the score alignment is based on each pronunciation information (for example, note-on data and note-off data) constituting musical score data representing musical score, and which portion of the musical score is currently based on the sound signal of the performance sound. It is a technique to estimate whether you are playing.
  • the music score data is, for example, data in a standard MIDI (registered trademark) file format.
  • the specific algorithm of the score alignment technique may be, for example, a known algorithm as disclosed in Japanese Patent No. 6187132 or Japanese Patent Laid-Open No. 2017-181724. Thereby, even if the progression of the event is different from the progress schedule indicated by the event data 131, the specification unit 111 can specify the imaging position and the imaging direction according to the playing position.
  • the imaging control unit 213 performs imaging using the imaging unit 27 (step S12).
  • the data processing unit 211 measures the position of the imaging device 20 and the direction of the imaging unit 27 using the measuring unit 28 (step S13).
  • the data processing unit 211 transmits the captured image captured by the imaging unit 27, position information indicating the position of the imaging device 20, and direction information indicating the direction of the imaging unit 27 to the control device 10 using the communication unit 26.
  • the position information includes, for example, information indicating the position in the horizontal direction measured using the positioning unit 281, and information indicating the height specified based on the air pressure measured using the air pressure sensor 283.
  • the acquisition unit 112 acquires a captured image, position information, and direction information transmitted by the imaging device 20 (step S15).
  • the adjustment unit 113 adjusts the imaging position and the imaging direction specified by the specifying unit 111 (step S16).
  • the adjustment unit 113 performs this adjustment so that the player P1 or P2 is an imaging target. If, for example, at least one of the position of the imaging device 20 and the direction of the imaging unit 27 specified from the information transmitted in step S14 is different from the imaging position and the imaging direction specified in step S11, the adjustment unit 113 It adjusts so that it may closely approach to the said imaging position and the said imaging direction.
  • the device control unit 114 transmits a command according to the imaging position and imaging direction after adjustment by the adjustment unit 113 to the imaging device 20 using the communication unit 12 (step S17).
  • the movement control unit 212 controls the position of the imaging device 20 and the direction of the imaging unit 27 based on this command (step S18). For example, in the solo part of the performer P1 at time "t", as shown in FIG. 7, the imaging devices 20A and 20B capture the performer P1 as an imaging target and surround the performer P1 for imaging. In this example, the imaging devices 20A and 20B image the player P1 from different directions.
  • the imaging device 20 may not be present at a desired position or may not be imaged in a desired imaging direction under the influence of disturbance such as wind.
  • the adjustment unit 113 adjusts the position of the imaging device 20 and the direction of the imaging unit 27 based on the position information and the direction information. As shown in the upper part of FIG. 8, for example, it is assumed that a captured image IM1 obtained by capturing the upper body of the player P1 is to be obtained. In this case, as shown in the lower part of FIG. 8, a captured image IM2 in which the imaging range is shifted may be obtained. Therefore, the adjustment unit 113 adjusts at least one of the position of the imaging device 20 and the direction of the imaging unit 27 so as to reduce the deviation of the imaging range.
  • the adjustment unit 113 may determine the adjustment method using the measurement result of the measurement unit 28, or determines the adjustment method by recognizing the face or the musical instrument of the performer from the captured image of the imaging device 20. May be Additional information may be used as information for determining the adjustment method.
  • the adjustment unit 113 adjusts the position of the imaging device 20A or the imaging device 20B so that the imaging device 20A and the imaging device 20B do not approach within a predetermined distance (for example, do not contact). It is also good.
  • the measuring unit 28 may include a sensor such as an infrared sensor or an ultrasonic sensor in order to determine whether the imaging devices 20A and 20B are close to each other.
  • the adjustment unit 113 may adjust the position or the direction of the imaging device 20A or the imaging device 20B so that the imaging device 20B is not included in the imaging range of the imaging device 20A.
  • the adjustment unit 113 may control the position of the imaging device 20A or the imaging device 20B or the direction of the imaging unit 27 based on the position information acquired from the imaging devices 20A and 20B.
  • the adjustment unit 113 may control the imaging device 20A or the imaging device 20B when the other imaging device is recognized from one captured image of the imaging device 20A and the imaging device 20B.
  • the adjustment unit 113 may specify the positional relationship between the imaging device 20 and a specific device, and adjust the position so that the imaging device 20 and the device do not approach within a predetermined distance.
  • the adjustment unit 113 controls the position of the imaging device 20 so that the imaging device 20 and the sound emitting device 40 do not contact.
  • the adjustment unit 113 identifies the positional relationship between the imaging device 20 and the sound emitting device 40 by recognizing an image (for example, a mark) attached to the sound emitting device 40 from the captured image of the imaging device 20, for example. Good.
  • the sound emitting device 40 transmits a predetermined signal to a range within a predetermined distance, and the adjusting unit 113 specifies the positional relationship with the sound emitting device 40 based on whether or not this signal is received by the communication unit 12 You may
  • the adjustment unit 113 may specify the positional relationship between the imaging device 20 and the specific area, and adjust the position of the imaging device 20 so that the imaging device 20 does not enter this area.
  • the specific area is a space area where the imaging device 20 should not enter, for example, an area where the audience seat 90 exists.
  • the specific area may be designated in advance using position information.
  • the adjustment unit 113 may analyze the captured image of the imaging device 20 and recognize a specific image (for example, a floor) to prevent the imaging device 20 from entering the specific area.
  • each imaging device 20 can be appropriately moved based on the actual progress of the event and the positional relationship with other imaging devices 20 and devices.
  • the present invention can be implemented in a form different from the embodiment described above.
  • the present invention can also be implemented, for example, in the following modes.
  • the modifications shown below may combine each suitably.
  • the adjustment unit 113 may determine an imaging target according to the performer's performance method. For example, the adjustment unit 113 may set, as an imaging target, a player who performs in a specific rendition style. The adjustment unit 113 may capture the timing at which the drummer player P2 strikes the drum stick. Here, the adjustment unit 113 may analyze the captured image to specify what playing method is being performed. The adjustment unit 113 may analyze the pattern included in the waveform of the sound signal detected in the space S, and specify the playing method based on the pattern included in the waveform of the sound signal.
  • FIG. 9 is a sequence diagram showing processing performed by the imaging system 1.
  • the acquisition unit 112 acquires the remaining battery level from the imaging devices 20A and 20B (steps S21 and S22).
  • the adjustment unit 113 determines whether there is an imaging device 20 in which the remaining amount of the battery 29 is equal to or less than the threshold (step S23). When it is judged as "NO" by Step S23, processing of control device 10 is returned to Step S21.
  • the adjustment unit 113 determines “NO” in step S23, and notifies the imaging device 20A that imaging is finished (step S24).
  • the movement control unit 212 receives this notification and returns to the predetermined place (step S25).
  • the imaging control unit 213 also transmits a command instructing movement to the unused imaging device 20C (step S26).
  • the imaging control unit 213 transmits a command to move the imaging device 20C to the position where the imaging device 20A existed before returning.
  • the movement control unit 212 moves according to this command (step S27). Then, the imaging control unit 213 of the imaging device 20C starts imaging.
  • the imaging device 20A and the imaging device 20C may approach, the proximity of the imaging device 20A and the imaging device 20C is avoided by the method described above.
  • the imaging device of the present invention may not be a flightable imaging device.
  • a traveling-type imaging device 50 is shown in FIG.
  • FIG. 10 is a diagram showing an appearance configuration of the imaging device 50.
  • the imaging device 50 is provided on the front of the housing 510 and the housing 510, and includes an imaging unit 55.
  • the imaging unit 55 is provided such that the horizontal direction is the imaging direction.
  • the imaging device 50 includes wheels 53A, 53B, 53C, and 53D provided at four corners of the bottom surface of the housing 510.
  • the wheels 53A to 53D are traveling means for causing the imaging device 50 to travel by a motor or the like, and independently rotate around a wheel axis and rotate around a vertical axis.
  • the configuration of the appearance of the imaging device 50 illustrated in FIG. 10 is an example.
  • FIG. 11 is a block diagram showing the configuration of the imaging device 50.
  • the control unit 51 controls each unit of the imaging device 50.
  • the communication unit 54 performs wireless communication with the control device 10.
  • the control unit 51 and the communication unit 54 may have the same physical configuration as the control unit 11 and the communication unit 12, respectively.
  • the imaging unit 55 captures an image and generates a captured image indicating the captured image.
  • the measurement unit 56 measures the position of the imaging device 50 and the direction of the imaging unit 27.
  • Measurement unit 56 includes a positioning unit 561 and a direction sensor 562.
  • the positioning unit 561 measures the position of the imaging device 50 in the horizontal direction.
  • the direction sensor 562 includes, for example, a geomagnetic sensor.
  • the battery 57 is a secondary battery here, and serves as a power supply of the imaging device 50.
  • the control unit 51 has a data processing unit 511, a movement control unit 512, and an imaging control unit 513 as a functional configuration.
  • the data processing unit 511 transmits and receives data to and from the control device 10 using the communication unit 54.
  • the movement control unit 512 controls the position of the imaging device 20 and the direction of the imaging unit 27 by driving the driving units 52A, 52B, 52C, and 52D.
  • the movement control unit 512 drives the drive units 52A, 52B, 52C, and 52D based on the command acquired using the communication unit 54, for example, to move the imaging device 20 forward, backward, and diagonally.
  • the same function as the imaging device 20 can be executed.
  • the imaging control unit 53 causes the imaging unit 55 to perform imaging.
  • the imaging control unit 513 transmits the captured image to the communication unit 54 and transmits the image to a predetermined device, or stores the image in an internal storage device (not shown).
  • the data processing unit 511 and the imaging control unit 513 may have the same functions as the data processing unit 211 and the imaging control unit 213, respectively.
  • control unit 11 of the control device 10 may be realized by the control unit of the imaging device.
  • the control unit 11 of the control device 10A includes a specifying unit 111 and a device control unit 114A.
  • the device control unit 114A transmits a command instructing the imaging position and the imaging direction identified based on the event data 131 stored in the database 13 by the identifying unit 111 to the imaging device 20D using the communication unit 12.
  • the control unit 21 of the imaging device 20D includes, as a functional configuration, an adjustment unit 214, a movement control unit 215, and an imaging control unit 216.
  • the adjustment unit 214 adjusts the imaging position and the imaging direction specified by the command acquired using the communication unit 26.
  • the adjustment unit 214 may have the same function as the adjustment unit 113.
  • the adjustment unit 214 performs this adjustment to cause the imaging device 20 to image a specific imaging target.
  • the movement control unit 215 moves the imaging device 20D by driving the drive units 22A, 22B, 22C, and 22D based on the imaging position and the imaging direction adjusted by the adjustment unit 214.
  • the imaging control unit 216 causes the imaging unit 27 to perform imaging.
  • FIG. 13 is a sequence diagram showing processing performed by the imaging system.
  • the identification unit 111 identifies the imaging position and the imaging direction in the imaging device 20D based on the event data 131 of the database 13 (step S31).
  • the device control unit 114A transmits a command corresponding to the imaging position and imaging direction identified by the identification unit 111 to the imaging device 20 using the communication unit 12 (step S32).
  • the movement control unit 215 moves the imaging device 20D by driving the drivers 22A, 22B, 22C, and 22D based on the imaging position and the imaging direction instructed by the command (step S33). .
  • the imaging control unit 213 performs imaging using the imaging unit 27 (step S34).
  • the adjustment unit 214 uses the measurement unit 28 to measure the position of the imaging device 20D and the direction of the imaging unit 27 (step S35).
  • the adjustment unit 214 adjusts the imaging position and the imaging direction identified by the identification unit 111 (step S36).
  • the movement control unit 215 controls the position of the imaging device 20D and the direction of the imaging unit 27 by driving the driving units 22A, 22B, 22C, and 22D based on the imaging position and the imaging direction adjusted by the adjustment unit 214. (Step S37). As described above, the imaging device 20D autonomously adjusts the position of the own device and the direction of the imaging unit 27.
  • the imaging device 20E has a database 60.
  • the database 60 may have the same configuration as the database 13 of the first embodiment, and stores event data 131.
  • the control unit 21 has a specifying unit 217, an adjusting unit 218, a movement control unit 219, and an imaging control unit 220 as a functional configuration.
  • the identifying unit 217 has the same function as the identifying unit 111 of the first embodiment.
  • the adjustment unit 218 adjusts the imaging position and the imaging direction identified by the identifying unit 217.
  • the adjustment unit 218 may have the same function as the adjustment unit 113.
  • the adjustment unit 218 performs this adjustment in order to cause the imaging device 20 to image a specific imaging target.
  • the movement control unit 219 moves the imaging device 20E by driving the drive units 22A, 22B, 22C, and 22D based on the imaging position and the imaging direction adjusted by the adjustment unit 218.
  • the imaging control unit 220 causes the imaging unit 27 to perform imaging.
  • FIG. 15 is a flowchart showing processing performed by the imaging device 20E.
  • the imaging control unit 220 performs imaging using the imaging unit 27 (step S41).
  • the identifying unit 217 uses the measuring unit 28 to measure the position of the imaging device 20D and the direction of the imaging unit 27 based on the event data 131 of the database 60 (step S43).
  • the adjustment unit 218 adjusts the imaging position and the imaging direction specified by the specifying unit 217 (step S44).
  • the movement control unit 219 controls the position of the imaging device 20E and the direction of the imaging unit 27 by driving the driving units 22A, 22B, 22C, and 22D based on the imaging position and the imaging direction adjusted by the adjustment unit 218. (Step S45).
  • the imaging device 20E can autonomously control the position of the own device and the direction of the imaging unit 27 without communicating with the external control device 10.
  • the movement control unit 212 of the imaging device 20 may change the position and the direction of the imaging unit 27 in synchronization with the performance.
  • the imaging device 20 may display a lyric for a player to show on the display device, may turn over a score, or may perform a specific motion of directing in accordance with a performance.
  • the event does not have to be a concert if it is scheduled to proceed.
  • the event may be, for example, an imaging of a music video.
  • the control device 10 may divide the music to be played into a plurality of sections and cause the imaging device 20 to image each section.
  • the device control unit 114 controls the position and orientation of the imaging device 20 according to the classification of the music to be played.
  • There is no particular limitation on the method of segmenting music but there are methods of segmenting according to phrases (sections) such as A-melo, B-melo, and Sabi, or methods of segmenting according to playing parts such as vocals and guitars.
  • the imaging control unit 213 manages (for example, records or transmits) a captured image in association with the section.
  • management for example, editing
  • events may be progressed along a predetermined schedule, such as events at various commercial facilities, meetings and the like.
  • the sound signal may not be a sound signal indicating a playing sound.
  • the imaging system described above adjusts the position of the imaging device and the direction of the imaging unit, at least the position of the imaging device may be controlled.
  • the imaging system according to the present invention can be specified as the imaging system 2 configured as shown in FIG. That is, the imaging system 2 includes an imaging unit, and the movable imaging device 201, the database 202 storing the advance schedule of the event in association with the time axis, and each on the time axis based on the progress schedule.
  • the position of the imaging device based on the identifying unit 203 that identifies the imaging position at the time point, the adjusting unit 204 that adjusts the identified imaging position according to the imaging target in the event, and the imaging position after adjustment And a movement control unit 205 that controls the
  • this program may be a computer read such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium, a magneto-optical recording medium, a semiconductor memory, etc. It may be provided as stored in a possible recording medium, or may be distributed via a network.
  • the present invention can also be grasped as an invention of a method.
  • this invention is not limited to said embodiment, It is possible to change suitably in the range which does not deviate from the meaning.
  • Imaging system 2 Imaging system 10: Control device 10A: Control device 11: Control unit 12: Communication unit 13: Database 20: Imaging device 20A: Imaging device 20B: Imaging device 20C : Imaging device, 20D: Imaging device, 20E: Imaging device, 21: Control unit, 22A: Drive unit, 22B: Drive unit, 22C: Drive unit, 22D: Drive unit, 23A: Rotary blade, 23B: Rotary blade, 23C : Rotary blade, 23D: Rotary blade, 24A: Leg, 24B: Leg, 25: Support member, 26: Communication unit, 27: Imaging unit, 28: Measurement unit, 29: Battery, 30: Lighting device, 40: Sound emission device 50: imaging device 51: control unit 52A: drive unit 52B: drive unit 52C: drive unit 52D: drive unit 53: imaging control unit 53A: wheel 53B: wheel 53C: Wheels 53D: Wheel, 54: Communication unit, 55: Imaging unit, 56: Measurement unit, 57: Battery, 60: Database, 80: Stage, 90: Audience seat, 111: Identification unit, 112: Identification unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

撮像システムは、撮像部を含み、移動可能な撮像装置と、イベントの進行予定を時間軸と対応付けて記憶したデータベースと、前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定する特定部と、特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、調整後の前記撮像位置に基づいて、前記撮像装置の位置を制御する移動制御部と、を備える。前記特定部は、前記進行予定に基づいて、前記各時点における撮像方向を特定し、前記調整部は、前記撮像対象に応じて、前記撮像方向を調整し、前記移動制御部は、調整後の前記撮像位置及び前記撮像方向に基づいて、前記撮像装置の位置および前記撮像部の方向を制御する。

Description

撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム
　本発明は、撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラムに関する。
　カメラを搭載した無人機を遠隔操作して、例えばコンサートの開催場所を撮像するシステムが用いられることがある。このシステムでは、高所に設置されたワイヤに沿って移動する無人機が用いられることがある。また、特許文献１，２は、ドローンと呼ばれる飛行可能な無人機が撮像するシステムを開示している。具体的には、特許文献１は、無人機が所定の軌道において安定したときに撮像を開始することを開示している。特許文献２は、ドローンにより上空を飛行された土地を撮像した画像を連続配置することを開示している。
特開２０１３－１３９２５６号公報 特開２０１７－１５７０４公報
　例えば、コンサートなどのイベントは、あらかじめ決められたスケジュールに従って進行することがある。よって、イベントの開催中の各時刻において撮像すべき領域を事前に把握することは可能である。このため、各時刻における撮像装置の位置を、このスケジュールに従って自動で制御できると便利である。しかしながら、各時刻における撮像装置の位置を指定するデータを事前に作成する必要があり、そのための人的な負担は大きい。
　そこで、本発明の目的の一つは、撮像装置の位置を指定するデータが予め作成されていなくとも、イベントにおける特定の撮像対象の撮像するように撮像装置の位置を制御することである。
　本発明の一実施形態によれば、撮像部を含み、移動可能な撮像装置と、イベントの進行予定を時間軸と対応付けて記憶したデータベースと、前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定する特定部と、特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、調整後の前記撮像位置に基づいて、前記撮像装置の位置を制御する移動制御部と、を備える撮像システムが提供される。
　撮像システムにおいて、前記特定部は、前記進行予定に基づいて、前記各時点における撮像方向を特定し、前記調整部は、前記撮像対象に応じて、前記撮像方向を調整し、前記撮像制御部は、調整後の前記撮像位置および前記撮像方向に基づいて、前記撮像装置の位置および前記撮像部の方向を制御してもよい。
　撮像システムにおいて、前記調整部は、前記撮像部により生成された撮像画像に基づいて、前記撮像装置の位置および前記撮像部の方向を制御してもよい。
　撮像システムにおいて、音信号を取得する取得部と、前記特定部は、前記音信号が示す音の楽曲における位置を特定し、特定した当該位置に応じた時点の前記進行予定に基づいて、前記撮像位置および前記撮像方向を特定してもよい。
　撮像システムにおいて、前記調整部は、第１撮像装置と第２撮像装置とが所定距離以内に近接しないように、前記第１撮像装置または前記第２撮像装置の位置を調整してもよい。
　撮像システムにおいて、前記調整部は、撮像中の第１撮像装置の電池残量が閾値以下になった場合、第１撮像装置に代えて第２撮像装置に撮像させてもよい。
　撮像システムにおいて、前記調整部は、第１撮像装置の撮像範囲に第２撮像装置が含まれないように、前記第１撮像装置または前記第２撮像装置の位置または前記撮像部の方向を変更してもよい。
　撮像システムにおいて、前記調整部は、前記撮像装置と特定の機器との位置関係を特定し、前記撮像装置と前記機器とが所定距離以内に近接しないように、前記撮像装置の位置を調整してもよい。
　撮像システムにおいて、前記調整部は、前記撮像装置と特定の領域との位置関係を特定し、前記撮像装置が前記領域に進入しないしように、前記撮像装置の位置を調整してもよい。
　撮像システムにおいて、前記撮像装置は飛行可能であってもよい。
　撮像システムにおいて、前記撮像装置が前記調整部を備えてもよい。
　本発明の一実施形態によれば、イベントの進行予定を時間軸と対応付けて記憶したデータベースと、前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定する特定部と、特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、調整後の前記撮像位置に基づいて、撮像部を含み、移動可能な撮像装置の位置を制御する装置制御部と、を備える制御装置が提供される。
　本発明の一実施形態によれば、撮像部と、自装置を移動させるように動作する駆動部と、イベントの進行予定を時間軸と対応付けて記憶したデータベースに記憶された前記進行予定に基づいて、前記時間軸上の各時点の撮像位置に自装置を移動させる移動制御部と、前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、を備える撮像装置が提供される。
　撮像装置において、前記撮像位置を制御するためのコマンドを受信する通信部を備え、前記調整部は、前記コマンドにより指示された位置を調整してもよい。
　本発明の一実施形態によれば、撮像部と、自装置を移動させるように動作する駆動部と、イベントの進行予定を時間軸と対応付けて記憶したデータベースと、前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定する特定部と、特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、調整後の前記撮像位置に基づいて、前記撮像装置の位置を制御する移動制御部と、を備える撮像装置が提供される。
　本発明の一実施形態によれば、イベントの進行予定を時間軸と対応付けて記憶したデータベースに記憶された前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定し、特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整し、調整後の前記撮像位置に基づいて、撮像部を含み、移動可能な撮像装置の位置を制御する撮像装置の制御方法が提供される。
　本発明の一実施形態によれば、コンピュータに、イベントの進行予定を時間軸と対応付けて記憶したデータベースに記憶された前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定し、特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整し、調整後の前記撮像位置に基づいて、撮像部を含み、移動可能な撮像装置の位置を制御する処理を実行させるためのプログラムが提供される。
　本発明によれば、撮像装置の位置を指定するデータが予め作成されていなくとも、イベントにおける特定の撮像対象の撮像するように撮像装置の位置を制御することができる。
本発明の一実施形態における撮像システムの全体構成を示す図である。 本発明の一実施形態における、撮像装置の外観構成を示す図である。 本発明の一実施形態における制御装置の構成を示すブロック図である。 本発明の一実施形態におけるイベントデータの構成を示すブロック図である。 本発明の一実施形態における撮像装置の構成を示すブロック図である。 本発明の一実施形態における撮像システムで行われる撮像装置の制御を示すシーケンス図である。 本発明の一実施形態における撮像システムの撮像の様子を示す図である。 本発明の一実施形態における撮像位置および撮像対象の調整の様子を示す図である。 本発明の変形例２における撮像システムで行われる処理を示すシーケンス図である。 本発明の変形例２における、撮像装置の外観構成を示す図である。 本発明の一変形例２おける撮像装置の構成を示すブロック図である。 本発明の変形例３における制御装置および撮像装置の構成を示すブロック図である。 本発明の変形例３における撮像システムで行われる撮像装置の制御を示すシーケンス図である。 本発明の変形例３における撮像装置の構成を示すブロック図である。 本発明の変形例３における撮像装置で行われる処理を示すフローチャートである。 本発明における撮像システムを示す機能ブロック図である。
　以下、本発明の一実施形態における撮像システムついて、図面を参照しながら詳細に説明する。以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。
［実施形態］
　図１は、本発明の一実施形態に係る撮像システム１の全体構成を示す図である。撮像システム１は、空間Ｓを撮像するシステムである。空間Ｓは、イベントの一例であるコンサートの開催場所の空間である。このコンサートでは、演奏者Ｐ１およびＰ２が、ステージ８０上で楽器の演奏および歌唱を行うイベントである。なお、空間Ｓは、屋外および屋内のどちらであってもよい。
　撮像システム１は、制御装置１０と、複数の撮像装置２０（２０Ａ，２０Ｂ，２０Ｃ）とを備える。制御装置１０は、撮像システム１の全体を制御する装置である。制御装置１０は、ＰＡ（Ｐｕｂｌｉｃ　Ａｄｄｒｅｓｓ）機器と一体の装置であってもよい。制御装置１０は、複数の撮像装置２０の各々の撮像および移動を制御する。
　撮像装置２０は、飛行することにより移動可能な装置（いわゆるドローン）である。すなわち、撮像装置２０は、自装置の動力によって飛行することにより、水平方向、鉛直方向、又はこれらの交差方向に移動する。また、撮像装置２０は、所定の方向に回転するなど、その姿勢を変化させることもできる。撮像装置２０の姿勢が変化すると、その撮像方向も変化することがある。なお、図１には、複数の撮像装置２０として、撮像装置２０Ａ，２０Ｂ，２０Ｃの３台が示されている。ただし、撮像システム１に含まれる撮像装置２０は、２台以下または４台以上であってもよい。図１の例では、撮像装置２０Ａ，２０Ｂは、飛行中でステージ８０上の特定の領域を撮像している。一方、撮像装置２０Ｃは、飛行しておらず、撮像もしていない。
　図２は、撮像装置２０の外観構成を示す図である。図２は、撮像装置２０をその正面の斜め上から見た図を示す撮像装置２０は、ここでは、ほぼ十字型の基体２１０と、基体２１０の四方向における端部に設けられた駆動手段としての駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄと、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄの回転軸にそれぞれ接続された回転羽根２３Ａ，２３Ｂ，２３Ｃ，２３Ｄとを備える。回転羽根２３Ａ，２３Ｂ，２３Ｃ，２３Ｄは、撮像装置２０を飛行させるための飛行手段で、各々独立して回転駆動することが可能である。基体２１０には、一対の脚部２４Ａ，２４Ｂが設けられている。基体２１０の底面には、支持部材２５を介して撮像部２７が物理的に接続されている。撮像部２７は、例えば、撮像装置２０の正面の方向を撮像方向とする。なお、図２に示す撮像装置２０の外観構成は一例に過ぎない。例えば、撮像部２７の位置または方向が、図２に示す位置または方向と異なっていてもよい。
　図１に戻って説明する。照明装置３０は、空間Ｓに配置され、ステージ８０上の特定の領域を照明する。照明装置３０は、例えば、演奏者Ｐ１およびＰ２に光を照射する。放音装置４０は、空間Ｓに配置され、例えば演奏者Ｐ１およびＰ２が行った演奏の演奏音または歌唱音声を放音する。なお、照明装置３０および放音装置４０の配置される位置や方向は、問わない。観客席９０は、ステージ８０の前方に設けられ、イベントの観客が存在する領域である。
　図３は、制御装置１０の構成を示すブロック図である。制御装置１０は、物理的構成として、制御部１１と、通信部１２と、データベース１３とを備える。制御部１１は、制御装置１０の各部を制御する。制御部１１は、例えば、演算処理装置としてのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含むプロセッサ、およびＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）で例示される信号処理回路を備える。
　通信部１２は、複数の撮像装置２０の各々と通信を行う。通信部１２は、無線通信を行うための通信回路およびアンテナを含む。通信部１２の通信方式は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信またはＷｉ－Ｆｉ（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）であるが、その他の通信方式であってもよい。
　データベース１３は、イベントの進行予定を時間軸と対応付けたイベントデータ１３１を記憶するデータベースである。イベントデータ１３１は、各時刻に予定されているイベントに関するデータを含む。
　図４は、イベントデータ１３１の構成の一例を示す図である。イベントデータ１３１は、例えば、「セットリスト」、「人の位置」、「照明」、および「ソロパート」の各データを含む。「セットリスト」は、各時刻において演奏される楽曲を示す。「人の位置」は、イベントに参加する人、ここでは演奏者Ｐ１およびＰ２の各時刻における位置を示す。「照明」は、各時刻における照明装置３０の照明の方法（例えば、照明する領域や、明るさ、色）を示す。「ソロパート」は、演奏者Ｐ１，Ｐ２が単独で演奏または歌唱を行うことを示す。図３では、ソロパート「Ｓ１」は、演奏者Ｐ１のソロパートである区間を示し、ソロパート「Ｓ２」は、演奏者Ｐ２のソロパートである区間を示す。なお、データベース１３は、例えばハードディスク装置などの磁気記録媒体を用いて実現される。ただし、データベース１３は、半導体記録媒体や光学式記録媒体などの、コンピュータが読み取り可能な記録媒体で実現されればよい。なお、イベントデータ１３１は、イベントの開催前に、そのイベントの進行を管理するために作成されるデータである。
　制御部１１は、機能的構成として、特定部１１１と、取得部１１２と、調整部１１３と、装置制御部１１４とを有する。特定部１１１は、データベース１３に記憶されたイベントデータ１３１に基づいて、撮像位置および撮像方向を特定する。取得部１１２は、通信部１２を用いて、撮像装置２０から情報を取得する。取得部１１２が取得する情報は、例えば、撮像装置２０の撮像画像、および撮像装置２０で測定されたデータである。
　調整部１１３は、特定部１１１により特定された撮像位置および撮像方向を調整する。調整部１１３は、撮像装置２０に特定の撮像対象を撮像させるために、この調整を行う。調整部１１３は、例えば、取得部１１２が撮像装置２０から取得した情報に基づいて、この調整を行う。調整部１１３は、特定部１１１が特定した撮像位置および撮像方向の調整が不要である場合には、この調整をしなくてよい。
　装置制御部１１４は、調整部１１３により調整された後の撮像位置および撮像方向に基づいて、撮像装置２０の位置および撮像部２７の方向を制御する。装置制御部１１４は、撮像装置２０の位置および撮像部２７の方向を制御するためのコマンドを、通信部１２を用いて撮像装置２０へ送信する。
　図５は、撮像装置２０の構成を示すブロック図である。撮像装置２０は、物理的構成として、制御部２１と、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄと、回転羽根２３Ａ，２３Ｂ，２３Ｃ，２３Ｄと、通信部２６と、撮像部２７と、測定部２８と、電池２９とを備える。制御部２１は、撮像装置２０の各部を制御する。通信部２６は、制御装置１０と通信を行う。制御部２１および通信部２６は、それぞれ制御部１１および通信部１２と同じ物理的構成でよい。
　駆動部２２Ａは、制御部２１の制御に応じて、回転羽根２３Ａを回転させる。駆動部２２Ｂは、制御部２１の制御に応じて、回転羽根２３Ｂを回転させる。駆動部２２Ｃは、制御部２１の制御に応じて、回転羽根２３Ｃを回転させる。駆動部２２Ｄは、制御部２１の制御に応じて、回転羽根２３Ｄを回転させる。
　撮像部２７は、撮像を行い、撮像画像を生成する。撮像部２７は、例えば撮像素子およびレンズを含む。撮像素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であるが、他の撮像素子であってもよい。
　測定部２８は、撮像装置２０の位置および撮像部２７の方向を測定する。測定部２８は、例えば、測位部２８１、方向センサ２８２、および気圧センサ２８３を含む。測位部２８１は、撮像装置２０の位置、特に水平方向における位置（例えば、緯度および経度）を測定する。測位部２８１は、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信回路およびアンテナを含む。方向センサ２８２は、撮像装置２０が向く方向、本実施形態では撮像部２７の方向を測定する。方向センサ２８２は、例えば地磁気センサを含む。気圧センサ２８３は、撮像装置２０に作用する気圧を測定する。電池２９は、撮像装置２０の電源となる電池である。電池２９は、例えば二次電池である。
　制御部２１は、機能的構成として、データ処理部２１１と、移動制御部２１２と、撮像制御部２１３とを有する。データ処理部２１１は、通信部２６を用いて制御装置１０とデータの送受信を行う。移動制御部２１２は、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを駆動することにより、撮像装置２０の位置および撮像部２７の方向を制御する。移動制御部２１２は、通信部２６を用いて取得したコマンドに基づいて、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを駆動することにより、撮像装置２０を移動させる。撮像制御部２１３は、撮像部２７に撮像させる。撮像制御部２１３は、撮像した画像を、通信部２６を用いて所定の装置（例えば、イベント開催場所のディスプレイ装置や、遠隔地のディスプレイ装置）に送信したり、又は図示せぬ内部の記憶装置に記憶させたりする。
　次に、本実施形態の動作を説明する。図６は、撮像システム１で行われ処理を示すシーケンス図である。撮像システム１では、撮像装置２０毎に、図６に示す処理が行われる。また、データベース１３の各データは、例えばイベントの開催前に入力されている。撮像装置２０の電源を投入し、所定の場所に設置された後、イベントは開始される。
　まず、制御装置１０において特定部１１１は、データベース１３のイベントデータ１３１に基づいて、撮像装置２０における撮像位置および撮像方向を特定する（ステップＳ１１）。特定部１１１は、例えば、「セットリスト」および「人の位置」のデータに基づいて、演奏中の楽曲に応じた撮像位置および撮像方向を特定する。現在時刻が図４に示す「ｔ」である場合、特定部１１１は、楽曲「＃２」の演奏中は、人の位置「Ｐ１２」および「Ｐ２２」によって特定される位置を撮像するように、撮像位置および撮像方向を特定する。特定部１１１は、「照明」で指定された照明領域を撮像するように、撮像位置および撮像方向を特定してもよい。現在時刻が図４に示す「ｔ」である場合、特定部１１１は、照明「Ｌ２２」によって特定される領域を撮像するように、撮像位置および撮像方向を特定する。または、特定部１１１は、「ソロパート」で指定された演奏者を撮像するように、撮像位置および撮像方向を特定してもよい。現在時刻が図３に示す「ｔ」である場合、特定部１１１は、「Ｓ１」で識別される演奏者Ｐ１を撮像するように、撮像位置および撮像方向を特定する。撮像位置は「人の位置」のデータにより特定されてもよいが、特定部１１１は、撮像画像から演奏者の顔を認識し、当該演奏者の位置を撮像するように、撮像位置および撮像方向を特定してもよい。または、楽器などの演奏者の所持物に所定の信号を発信機が設けられ、特定部１１１は、当該信号を検出した結果に基づいて、当該演奏者の位置を撮像するように、撮像位置および撮像方向を特定してもよい。
　ステップＳ１１において、特定部１１１は、スコアアライメントの技術を用いて、現在のイベントの進行状況を特定してもよい。この場合、特定部１１１は、空間Ｓで検出された音信号が示す演奏音の楽譜における楽曲位置を特定し、その特定した楽曲位置に対応する時点のイベントデータ１３１に基づいて、撮像位置および撮像方向を特定する。スコアアライメントは、楽曲の楽譜を表す楽譜データを構成する各発音情報（例えば、ノートオンデータおよびノートオフデータ）と、演奏音の音信号とに基づいて、楽曲の楽譜のうちのどの部分が現在演奏されているのかを推定するための技術である。楽譜データとして、例えば、標準ＭＩＤＩ（登録商標）ファイル形式のデータである。スコアアライメント技術の具体的なアルゴリズムは、例えば、特許第６１８７１３２号または特開２０１７－１８１７２４公報に開示されているような公知のアルゴリズムでよい。これにより、イベントの進行がイベントデータ１３１が示す進行予定と異なっていても、特定部１１１は、演奏位置に応じた撮像位置および撮像方向を特定することができる。
　撮像装置２０において撮像制御部２１３は、撮像部２７を用いて撮像を行う（ステップＳ１２）。データ処理部２１１は、測定部２８を用いて、撮像装置２０の位置および撮像部２７の方向を測定する（ステップＳ１３）。データ処理部２１１は、通信部２６を用いて、撮像部２７により撮像された撮像画像、撮像装置２０の位置を示す位置情報、および撮像部２７の方向を示す方向情報を、制御装置１０へ送信する（ステップＳ１４）。位置情報は、例えば、測位部２８１を用いて測定された水平方向における位置を示す情報と、気圧センサ２８３を用いて測定された気圧に基づいて特定された高さを示す情報とを含む。
　制御装置１０において取得部１１２は、撮像装置２０により送信された撮像画像、位置情報および方向情報を取得する（ステップＳ１５）。
　次に、調整部１１３は、特定部１１１により特定された撮像位置および撮像方向を調整する（ステップＳ１６）。調整部１１３は、演奏者Ｐ１またはＰ２を撮像対象とするように、この調整を行う。調整部１１３は、例えば、ステップＳ１４で送信された情報から特定される撮像装置２０の位置および撮像部２７の方向の少なくともいずれかが、ステップＳ１１で特定した撮像位置および撮像方向と異なる場合は、当該撮像位置および当該撮像方向に近づけるように調整する。そして、装置制御部１１４は、調整部１１３による調整後の撮像位置および撮像方向に応じたコマンドを、通信部１２を用いて撮像装置２０へ送信する（ステップＳ１７）。
　撮像装置２０において移動制御部２１２は、このコマンドに基づいて撮像装置２０の位置および撮像部２７の方向を制御する（ステップＳ１８）。例えば、例えば時刻「ｔ」における演奏者Ｐ１のソロパートでは、図７に示すように、撮像装置２０Ａ，２０Ｂが演奏者Ｐ１を撮像対象とし、演奏者Ｐ１を取り囲んで撮像する。この例では、撮像装置２０Ａ，２０Ｂは互いに異なる方向から演奏者Ｐ１を撮像する。
　ところで、撮像装置２０は、風などの外乱の影響を受けて、所望する位置に存在しない場合、または、所望する撮像方向で撮像していない場合がある。ステップＳ１６では、調整部１１３は、位置情報および方向情報に基づいて、撮像装置２０の位置および撮像部２７の方向を調整する。図８の上段に示すように、例えば演奏者Ｐ１の上半身を撮像した撮像画像ＩＭ１を得たいとする。この場合に、図８の下段に示すように、撮像範囲がずれた撮像画像ＩＭ２が得られてしまうことがある。そこで、調整部１１３は、撮像範囲のずれを小さくするように、撮像装置２０の位置および撮像部２７の方向の少なくともいずれかを調整する。この際、調整部１１３は、測定部２８の測定結果を用いて調整方法を決定してもよいし、撮像装置２０の撮像画像から演奏者の顔や楽器を認識することにより調整方法を決定してもよい。調整方法を決定するための情報については、更に別の情報が用いられてもよい。
　ステップＳ１６の調整において、調整部１１３は、撮像装置２０Ａと撮像装置２０Ｂとが所定距離以内に接近しないように（例えば、接触しないように）、撮像装置２０Ａまたは撮像装置２０Ｂの位置を調整してもよい。なお、撮像装置２０Ａ，２０Ｂが近接しているかどうかを判断するために、測定部２８は赤外線センサや超音波センサなどのセンサを含んでもよい。
　ステップＳ１６の調整において、調整部１１３は、撮像装置２０Ａの撮像範囲に撮像装置２０Ｂが含まれないように、撮像装置２０Ａまたは撮像装置２０Ｂの位置または方向を調整してもよい。例えば、調整部１１３は、撮像装置２０Ａ，２０Ｂから取得された位置情報に基づいて、撮像装置２０Ａまたは撮像装置２０Ｂの位置または撮像部２７の方向を制御してもよい。また、調整部１１３は、撮像装置２０Ａおよび撮像装置２０Ｂのうちの一方の撮像画像から他方の撮像装置を認識した場合に、撮像装置２０Ａまたは撮像装置２０Ｂを制御してもよい。
　ステップＳ１６の調整において、調整部１１３は、撮像装置２０と特定の機器との位置関係を特定し、撮像装置２０と機器とが所定距離以内に近接しないように位置を調整してもよい。例えば、調整部１１３は、撮像装置２０と放音装置４０とが接触しないように、撮像装置２０の位置を制御する。調整部１１３は、例えば、撮像装置２０の撮像画像から放音装置４０に付された画像（例えばマーク）を認識することにより、撮像装置２０と放音装置４０との位置関係を特定してもよい。また、放音装置４０が所定の信号を所定距離内の範囲に送信し、調整部１１３はこの信号が通信部１２により受信されるか否かに基づいて放音装置４０との位置関係を特定してもよい。
　ステップＳ１６の調整において、調整部１１３は、撮像装置２０と特定の領域との位置関係を特定し、撮像装置２０がこの領域に進入しないしように撮像装置２０の位置を調整してもよい。特定の領域は、撮像装置２０が進入すべきでない空間領域で、例えば観客席９０の存在する領域である。特定の領域は、予め位置情報を用いて指定されていてもよい。また、調整部１１３は、撮像装置２０の撮像画像を解析して、特定の画像（例えば、床）を認識することにより、特定の領域に撮像装置２０が進入しないようにしてもよい。
　以上説明した実施形態の撮像システム１によれば、各時刻に撮像装置にどの位置で撮像させるかを指定するためのデータを作成しておかなくとも、イベントの進行に応じて撮像装置２０の移動を制御できる。また、調整部１１３の機能により、イベントの実際の進行状況や、他の撮像装置２０や機器との位置関係に基づいて、適切に各撮像装置２０を移動させることができる。
［変形例］
　本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
　調整部１１３は、演奏者の演奏方法に応じて撮像対象を決定してもよい。例えば、調整部１１３は、特定の奏法で演奏を行う演奏者を撮像対象にしてもよい。調整部１１３は、ドラマーである演奏者Ｐ２がドラムスティックを叩くタイミングを撮像させてもよい。ここにおいて、調整部１１３は、撮像画像を解析してどのような演奏方法で演奏が行われているかを特定してもよい。調整部１１３は、空間Ｓで検出された音信号の波形に含まれるパターンを解析し、音信号の波形に含まれるパターンに基づいて、演奏方法を特定してもよい。
（変形例２）
　調整部１１３は、撮像中の撮像装置２０の電池２９の残量が閾値以下になった場合、この撮像装置２０に代えて他の撮像装置２０に撮像させてもよい。図９は、撮像システム１で行われる処理を示すシーケンス図である。
　取得部１１２は、電池残量を撮像装置２０Ａ，２０Ｂから取得する（ステップＳ２１，Ｓ２２）。次に、調整部１１３は、電池２９の残量が閾値以下の撮像装置２０が存在するかどうかを判断する（ステップＳ２３）。ステップＳ２３で「ＮＯ」と判断された場合、制御装置１０の処理はステップＳ２１に戻される。
　ここで、撮像装置２０Ａの電池２９の残量が閾値未満であった場合を説明する。この場合、調整部１１３は、ステップＳ２３で「ＮＯ」と判断し、撮像を終了する旨を、撮像装置２０Ａへ通知する（ステップＳ２４）。撮像装置２０Ａにおいて移動制御部２１２は、この通知を受けて所定の場所に帰還する（ステップＳ２５）。また、撮像制御部２１３は、未使用の撮像装置２０Ｃへ移動を指示するコマンドを送信する（ステップＳ２６）。撮像制御部２１３は、撮像装置２０Ａが帰還前に存在していた位置に撮像装置２０Ｃを移動させるように、コマンドを送信する。撮像装置２０Ｃにおいて移動制御部２１２は、このコマンドに応じて移動する（ステップＳ２７）。そして、撮像装置２０Ｃの撮像制御部２１３は、撮像を開始する。なお、撮像装置２０Ａと撮像装置２０Ｃとが近接する可能性はあるが、前述の方法により、撮像装置２０Ａと撮像装置２０Ｃとの近接は回避される。
　本発明の撮像装置は飛行可能な撮像装置でなくてもよい。図１０に、走行式の撮像装置５０を示す。図１０は、撮像装置５０の外観構成を示す図である。図１０には撮像装置５０の正面図と、右側面図と、底面図とが示されている。撮像装置５０は、筐体５１０と、筐体５１０の正面に設けられ、撮像部５５とを備える。撮像部５５は、ここでは、ほぼ水平方向を撮像方向とするように設けられている。撮像装置５０は、筐体５１０の底面の四隅に設けられた車輪５３Ａ，５３Ｂ，５３Ｃ，５３Ｄを備える。車輪５３Ａ～５３Ｄは、モータなどにより撮像装置５０を走行させるための走行手段で、各々独立して車輪軸を中心に回転し、また鉛直軸を中心に回転する。なお、図１０に示す撮像装置５０の外観の構成は一例である。
　図１１は、撮像装置５０の構成を示すブロック図である。制御部５１は、撮像装置５０の各部を制御する。通信部５４は、制御装置１０と無線通信を行う。制御部５１および通信部５４は、それぞれ制御部１１および通信部１２と同じ物理的構成でよい。
　撮像部５５は、撮像を行い、撮像した画像を示す撮像画像を生成する。測定部５６は、撮像装置５０の位置および撮像部２７の方向を測定する。測定部５６は、測位部５６１と、方向センサ５６２とを含む。測位部５６１は、撮像装置５０の水平方向における位置を測定する。方向センサ５６２は、例えば地磁気センサを含む。電池５７は、ここでは二次電池で、撮像装置５０の電源となる。
　制御部５１は、機能的構成として、データ処理部５１１と、移動制御部５１２と、撮像制御部５１３とを有する。データ処理部５１１は、通信部５４を用いて制御装置１０とデータの送受信を行う。移動制御部５１２は、駆動部５２Ａ，５２Ｂ，５２Ｃ，５２Ｄを駆動することにより、撮像装置２０の位置および撮像部２７の方向を制御する。移動制御部５１２は、通信部５４を用いて取得したコマンドに基づいて、駆動部５２Ａ，５２Ｂ，５２Ｃ，５２Ｄを駆動することにより、例えば、撮像装置２０を前進、後進、斜め走行させる。このように、高さ方向の移動がない点を除いて撮像装置２０と異なるが、撮像装置２０と同様の機能を実行し得る。撮像制御部５３は、撮像部５５に撮像させる。撮像制御部５１３は、撮像した画像を通信部５４に送信して所定の装置に送信する、又は図示せぬ内部の記憶装置に記憶させる。データ処理部５１１と撮像制御部５１３とは、それぞれデータ処理部２１１と撮像制御部２１３と同じ機能でよい。
（変形例３）
　制御装置１０の制御部１１の機能の一部または全部が、撮像装置の制御部で実現されてもよい。図１２に示す例では、制御装置１０Ａの制御部１１は、特定部１１１と、装置制御部１１４Ａとを備える。装置制御部１１４Ａは、特定部１１１によりデータベース１３に記憶されたイベントデータ１３１に基づいて特定された撮像位置および撮像方向を指示するコマンドを、通信部１２を用いて撮像装置２０Ｄへ送信する。
　撮像装置２０Ｄの制御部２１は、機能的構成として、調整部２１４と、移動制御部２１５と、撮像制御部２１６とを有する。調整部２１４は、通信部２６を用いて取得したコマンドにより特定された撮像位置および撮像方向を、調整する。調整部２１４は、調整部１１３と同様の機能を有していればよい。調整部２１４は、撮像装置２０に特定の撮像対象を撮像させるために、この調整を行う。移動制御部２１５は、調整部２１４による調整後の撮像位置および撮像方向に基づいて、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを駆動することにより、撮像装置２０Ｄを移動させる。撮像制御部２１６は、撮像部２７に撮像させる。
　図１３は、撮像システムで行われる処理を示すシーケンス図である。
制御装置１０Ａにおいて特定部１１１は、データベース１３のイベントデータ１３１に基づいて、撮像装置２０Ｄにおける撮像位置および撮像方向を特定する（ステップＳ３１）。装置制御部１１４Ａは、特定部１１１により特定された撮像位置および撮像方向に応じたコマンドを、通信部１２を用いて撮像装置２０へ送信する（ステップＳ３２）。
　撮像装置２０Ｄにおいて、移動制御部２１５は、コマンドで指示された撮像位置および撮像方向に基づいて、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを駆動することにより、撮像装置２０Ｄを移動させる（ステップＳ３３）。撮像制御部２１３は、撮像部２７を用いて撮像を行う（ステップＳ３４）。そして、調整部２１４は、測定部２８を用いて、撮像装置２０Ｄの位置、および撮像部２７の方向を測定する（ステップＳ３５）。そして、調整部２１４は、特定部１１１により特定された撮像位置および撮像方向を調整する（ステップＳ３６）。移動制御部２１５は、調整部２１４による調整後の撮像位置および撮像方向に基づいて、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを駆動することにより、撮像装置２０Ｄの位置および撮像部２７の方向を制御する（ステップＳ３７）。このように、撮像装置２０Ｄが自律的に自装置の位置および撮像部２７の方向の調整を行う。
　図１４に示す例では、撮像装置２０Ｅは、データベース６０を有する。データベース６０は、実施形態１のデータベース１３と同様の構成でよく、イベントデータ１３１を記憶する。制御部２１は、機能的構成として、特定部２１７と、調整部２１８と、移動制御部２１９と、撮像制御部２２０とを有する。特定部２１７は、実施形態１の特定部１１１と同様の機能を有する。調整部２１８は、特定部２１７により特定された撮像位置および撮像方向を調整する。調整部２１８は、調整部１１３と同様の機能を有していればよい。調整部２１８は、撮像装置２０に特定の撮像対象を撮像させるために、この調整を行う。移動制御部２１９は、調整部２１８による調整後の撮像位置および撮像方向に基づいて、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを駆動することにより、撮像装置２０Ｅを移動させる。撮像制御部２２０は、撮像部２７に撮像させる。
　図１５は、撮像装置２０Ｅで行われる処理を示すフローチャートである。撮像制御部２２０は、撮像部２７を用いて撮像を行う（ステップＳ４１）。特定部２１７は、データベース６０のイベントデータ１３１に基づいて、調整部２１８は、測定部２８を用いて、撮像装置２０Ｄの位置および撮像部２７の方向を測定する（ステップＳ４３）。そして調整部２１８は、特定部２１７により特定された撮像位置および撮像方向を調整する（ステップＳ４４）。移動制御部２１９は、調整部２１８による調整後の撮像位置および撮像方向に基づいて、駆動部２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを駆動することにより、撮像装置２０Ｅの位置および撮像部２７の方向を制御する（ステップＳ４５）。撮像装置２０Ｅは、外部の制御装置１０と通信しなくとも、自律的に自装置の位置および撮像部２７の方向を制御することができる。
（変形例４）
　撮像装置２０の移動制御部２１２は、演奏と同期して位置および撮像部２７の方向を変化させてもよい。また、撮像装置２０は演奏者に見せるための歌詞を表示装置に表示したり、楽譜をめくったり、演奏に合わせて指揮をする特定の動きをしてもよい。
（変形例５）
　イベントは、進行予定が決められているのであれば、コンサートでなくてもよい。イベントは、例えばミュージックビデオの撮像であってもよい。この場合、制御装置１０は、演奏される楽曲を複数の区分に分けて、その区分ごとに撮像装置２０に撮像させてもよい。この変形例において、装置制御部１１４は、演奏される楽曲の区分に応じて撮像装置２０の位置及び姿勢を制御する。楽曲の区分の方法は特に問わないが、例えばＡメロ、Ｂメロ、サビのようなフレーズ（区間）に応じて区分する方法、またはボーカル、ギターなどの演奏パートに応じて区分する方法がある。撮像制御部２１３は、撮像を行うと、当該区分と対応付けて撮像画像を管理（例えば、記録または送信）する。この変形例の撮像システムによれば、楽曲が演奏されている様子を撮像する場合に、同一の区分について複数回撮像をしたときでも、区分ごとの撮像画像の管理（例えば、編集）が容易になる。ミュージックビデオの撮像以外にも、イベントは、予め決められた進行予定に沿って進行されればよく、各種商業施設での催し物、会議などがある。また、音信号は、演奏音を示す音信号でなくてよい。
　上述した実施形態の構成および動作の一部が省略されてもよい。上述した撮像システムは、撮像装置の位置および撮像部の方向を調整していたが、少なくとも撮像装置の位置を制御すればよい。本発明に係る撮像システムは、図１６に示す構成の撮像システム２として特定することができる。すなわち、撮像システム２は、撮像部を含み、移動可能な撮像装置２０１と、イベントの進行予定を時間軸と対応付けて記憶したデータベース２０２と、前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定する特定部２０３と、特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部２０４と、調整後の前記撮像位置に基づいて、前記撮像装置の位置を制御する移動制御部２０５と、を有する。
　また、以上説明した各装置の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク等）、光記録媒体、光磁気記録媒体、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、方法の発明として把握することも可能である。
　また、本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
１：撮像システム、２：撮像システム、１０：制御装置、１０Ａ：制御装置、１１：制御部、１２：通信部、１３：データベース、２０：撮像装置、２０Ａ：撮像装置、２０Ｂ：撮像装置、２０Ｃ：撮像装置、２０Ｄ：撮像装置、２０Ｅ：撮像装置、２１：制御部、２２Ａ：駆動部、２２Ｂ：駆動部、２２Ｃ：駆動部、２２Ｄ：駆動部、２３Ａ：回転羽根、２３Ｂ：回転羽根、２３Ｃ：回転羽根、２３Ｄ：回転羽根、２４Ａ：脚部、２４Ｂ：脚部、２５：支持部材、２６：通信部、２７：撮像部、２８：測定部、２９：電池、３０：照明装置、４０：放音装置、５０：撮像装置、５１：制御部、５２Ａ：駆動部、５２Ｂ：駆動部、５２Ｃ：駆動部、５２Ｄ：駆動部、５３：撮像制御部、５３Ａ：車輪、５３Ｂ：車輪、５３Ｃ：車輪、５３Ｄ：車輪、５４：通信部、５５：撮像部、５６：測定部、５７：電池、６０：データベース、８０：ステージ、９０：観客席、１１１：特定部、１１２：取得部、１１３：調整部、１１４：装置制御部、１１４Ａ：装置制御部、１３１：イベントデータ、２０１：撮像装置、２０２：データベース、２０３：特定部、２０４：調整部、２０５：移動制御部、２１０：基体、２１１：データ処理部、２１２：移動制御部、２１３：撮像制御部、２１４：調整部、２１５：移動制御部、２１６：撮像制御部、２１７：特定部、２１８：調整部、２１９：移動制御部、２２０：撮像制御部、２８１：測位部、２８２：方向センサ、２８３：気圧センサ、５１０：筐体、５１１：データ処理部、５１２：移動制御部、５１３：撮像制御部、５６１：測位部、５６２：方向センサ
 

Claims (17)

  1. 　撮像部を含み、移動可能な撮像装置と、
    　イベントの進行予定を時間軸と対応付けて記憶したデータベースと、
    　前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定する特定部と、
    　特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、
    　調整後の前記撮像位置に基づいて、前記撮像装置の位置を制御する移動制御部と、
    　を備える撮像システム。
  2. 　前記特定部は、前記進行予定に基づいて、前記各時点における撮像方向を特定し、
    　前記調整部は、前記撮像対象に応じて、前記撮像方向を調整し、
    　前記移動制御部は、調整後の前記撮像位置及び前記撮像方向に基づいて、前記撮像装置の位置および前記撮像部の方向を制御する
    　請求項１に記載の撮像システム。
  3. 　前記調整部は、前記撮像部により生成された撮像画像に基づいて、前記撮像装置の位置および前記撮像部の方向を制御する
    　請求項２に記載の撮像システム。
  4. 　音信号を取得する取得部と、
    　前記特定部は、前記音信号が示す音の楽曲における位置を特定し、特定した当該位置に応じた時点の前記進行予定に基づいて、前記撮像位置及び前記撮像方向を特定する
    　請求項１から請求項３のいずれか１項に記載の撮像システム。
  5. 　前記調整部は、第１撮像装置と第２撮像装置とが所定距離以内に近接しないように、前記第１撮像装置または前記第２撮像装置の位置を調整する
    　請求項１から請求項４のいずれか１項に記載の撮像システム。
  6. 　前記調整部は、撮像中の第１撮像装置の電池残量が閾値以下になった場合、第１撮像装置に代えて第２撮像装置に撮像させる
    　請求項１から請求項５のいずれか１項に記載の撮像システム。
  7. 　前記調整部は、第１撮像装置の撮像範囲に第２撮像装置が含まれないように、前記第１撮像装置または前記第２撮像装置の位置または前記撮像部の方向を変更する
    　請求項１から請求項６のいずれか１項に記載の撮像システム。
  8. 　前記調整部は、前記撮像装置と特定の機器との位置関係を特定し、前記撮像装置と前記機器とが所定距離以内に近接しないように、前記撮像装置の位置を調整する
    　請求項１から請求項７のいずれか１項に記載の撮像システム。
  9. 　前記調整部は、前記撮像装置と特定の領域との位置関係を特定し、前記撮像装置が前記領域に進入しないしように、前記撮像装置の位置を調整する
    　請求項１から請求項８のいずれか１項に記載の撮像システム。
  10. 　前記撮像装置は飛行可能である
    　請求項１から請求項９のいずれか１項に記載の撮像システム。
  11. 　前記撮像装置が前記調整部を備える
    　請求項１から請求項１０のいずれか１項に記載の撮像システム。
  12. 　イベントの進行予定を時間軸と対応付けて記憶したデータベースと、
    　前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定する特定部と、
    　特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、
    　調整後の前記撮像位置に基づいて、撮像部を含み、移動可能な撮像装置の位置を制御する装置制御部と、
    　を備える制御装置。
  13. 　撮像部と、
    　自装置を移動させるように動作する駆動部と、
    　イベントの進行予定を時間軸と対応付けて記憶したデータベースに記憶された前記進行予定に基づいて、前記時間軸上の各時点の撮像位置に自装置を移動させる移動制御部と、
    　前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、
    　を備える撮像装置。
  14. 　前記撮像位置を制御するためのコマンドを受信する通信部を備え、
    　前記調整部は、前記コマンドにより指示された前記撮像位置を調整する
    　請求項１３に記載の撮像装置。
  15. 　撮像部と、
    　自装置を移動させるように動作する駆動部と、
    　イベントの進行予定を時間軸と対応付けて記憶したデータベースと、
    　前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定する特定部と、
    　特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整する調整部と、
    　調整後の前記撮像位置に基づいて、前記撮像装置の位置を制御する移動制御部と、
    　を備える撮像装置。
  16. 　イベントの進行予定を時間軸と対応付けて記憶したデータベースに記憶された前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定し、
    　特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整し、
    　調整後の前記撮像位置に基づいて、撮像部を含み、移動可能な撮像装置の位置を制御する
    　撮像装置の制御方法。
  17. 　コンピュータに、
    　イベントの進行予定を時間軸と対応付けて記憶したデータベースに記憶された前記進行予定に基づいて、前記時間軸上の各時点における撮像位置を特定し、
    　特定された前記撮像位置を、前記イベントにおける撮像対象に応じて調整し、
    　調整後の前記撮像位置に基づいて、撮像部を含み、移動可能な撮像装置の位置を制御する
    　処理を実行させるためのプログラム。
PCT/JP2017/040127 2017-11-07 2017-11-07 撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム WO2019092790A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/040127 WO2019092790A1 (ja) 2017-11-07 2017-11-07 撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/040127 WO2019092790A1 (ja) 2017-11-07 2017-11-07 撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019092790A1 true WO2019092790A1 (ja) 2019-05-16

Family

ID=66439136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040127 WO2019092790A1 (ja) 2017-11-07 2017-11-07 撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2019092790A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0393364A (ja) * 1989-09-06 1991-04-18 Toshiba Corp カメラ制御装置
JP2000228741A (ja) * 1999-02-05 2000-08-15 Fuji Photo Optical Co Ltd 雲台制御システム
JP2011530692A (ja) * 2008-05-21 2011-12-22 ザ・ボーイング・カンパニー 遠隔無人輸送手段群による構造物および物体の検査用システムおよび方法
JP2015002522A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 監視カメラ及び監視カメラの制御方法
US20160031559A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd Systems and methods for target tracking
WO2016088437A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0393364A (ja) * 1989-09-06 1991-04-18 Toshiba Corp カメラ制御装置
JP2000228741A (ja) * 1999-02-05 2000-08-15 Fuji Photo Optical Co Ltd 雲台制御システム
JP2011530692A (ja) * 2008-05-21 2011-12-22 ザ・ボーイング・カンパニー 遠隔無人輸送手段群による構造物および物体の検査用システムおよび方法
JP2015002522A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 監視カメラ及び監視カメラの制御方法
US20160031559A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd Systems and methods for target tracking
WO2016088437A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
INOUE, AKIFUMI ET AL.: "Scenario Based Camera work Planning for Orchestral Performances", TRANSACTIONS OF THE INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 46, no. 1, pages 38 - 50 *

Similar Documents

Publication Publication Date Title
JP4247626B2 (ja) 再生装置および再生方法
US8586853B2 (en) Performance apparatus and electronic musical instrument
JP4595555B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
CN115762451A (zh) 用于单元作曲的装置和方法
JP6699677B2 (ja) 情報処理方法、情報処理装置およびプログラム
US20230319965A1 (en) Systems and methods for a music feature file and coordinated light show
CN106465008A (zh) 终端混音系统和播放方法
ES2923639T3 (es) Método y conjunto para mejorar la presentación de sonidos de señal de audio durante una grabación de vídeo
JP2004086189A (ja) 楽曲検索システム
WO2015151766A1 (ja) 投影撮影システム、カラオケ装置及びシミュレーション装置
US20200365123A1 (en) Information processing method
WO2012053371A1 (ja) アミューズメントシステム
TW201742431A (zh) 影像製作系統及方法
WO2019092790A1 (ja) 撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム
WO2015008756A1 (ja) 投影装置、制御装置、制御プログラム、および投影制御方法
JP2009192619A (ja) 楽曲修正プログラムおよび楽曲修正装置
JP6065225B2 (ja) カラオケ装置
JP2020129272A (ja) プログラムおよび電子機器
JP5178402B2 (ja) 移動式自動カラオケ演奏装置
JP2005295181A (ja) 音声情報生成装置
JP2006081128A (ja) 撮影システム、カラオケシステム、撮影方法
JP7141955B2 (ja) カラオケシステム
JP2006222694A (ja) ユーザに立ち位置を通知するためのデータ処理装置およびプログラム
JP4380521B2 (ja) 楽曲演奏および歌詞表示に伴うガイダンス表示を行うためのデータ処理装置およびプログラム
US11853076B1 (en) Virtual reality concert system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17931789

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17931789

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP