WO2023286367A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2023286367A1
WO2023286367A1 PCT/JP2022/012408 JP2022012408W WO2023286367A1 WO 2023286367 A1 WO2023286367 A1 WO 2023286367A1 JP 2022012408 W JP2022012408 W JP 2022012408W WO 2023286367 A1 WO2023286367 A1 WO 2023286367A1
Authority
WO
WIPO (PCT)
Prior art keywords
composition
camera
weight
information processing
image
Prior art date
Application number
PCT/JP2022/012408
Other languages
English (en)
French (fr)
Inventor
佑輝 中居
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/576,221 priority Critical patent/US20240314454A1/en
Priority to JP2023535126A priority patent/JPWO2023286367A1/ja
Priority to EP22841717.6A priority patent/EP4373070A4/en
Publication of WO2023286367A1 publication Critical patent/WO2023286367A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable
    • H04N7/102—Circuits therefor, e.g. noise reducers, equalisers, amplifiers
    • H04N7/104—Switchers or splitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present technology relates to an information processing device, its method, and program, and particularly relates to imaging control technology.
  • control related to imaging for example, it is conceivable to control the orientation of the camera to track the detected subject (that is, subject tracking control), or to perform zoom control of the camera to match the preset angle of view.
  • Japanese Unexamined Patent Application Publication No. 2002-200003 discloses a technique for controlling the orientation of a camera so that an image of an object is captured. Specifically, in Patent Document 1, the position of a subject is detected based on a captured image, the position of the subject is detected using a wireless tag possessed by the subject, and the orientation of the camera is determined based on these two detection results. Techniques for controlling are disclosed. Further, Japanese Patent Application Laid-Open No. 2002-200001 discloses a technique for controlling the imaging direction and imaging operation of a camera based on position information and audio information transmitted from an individual information transmitter attached to a subject.
  • This technology has been developed in view of the above circumstances, and aims to achieve both quality improvement of content and reduction of work costs related to content creation for captured image content that involves composition switching.
  • An information processing apparatus includes a composition selection unit that selects a composition of the camera based on a composition selection table in which weight information is associated with each combination of an imaging target of the camera and a composition type of the camera; and a composition switching control unit that performs control for switching the composition of the camera to the composition selected by the composition selection unit.
  • the camera referred to in this specification is a concept that includes both a real camera and a virtual camera that virtually changes the composition by cutting out a part of an image obtained by the light receiving operation of the real camera.
  • imaging means an operation of obtaining an image by the camera when both the real camera and the virtual camera are defined as "cameras”. According to the above configuration, the composition switching of the camera is automatically performed based on the composition selection table, and the setting of the weight information in the composition selection table makes it possible to appropriately set the composition switching mode of the camera.
  • the information processing device selects the composition of the camera based on a composition selection table in which weight information is associated with each combination of the imaging target of the camera and the composition type of the camera. and performing control for switching the composition of the camera to the selected composition.
  • a program according to the present technology is a program readable by a computer device, and is based on a composition selection table in which weight information is associated with each combination of an object to be imaged by the camera and a composition type of the camera. and a function of performing control for switching the composition of the camera to the selected composition.
  • the information processing apparatus according to the present technology described above is realized by these information processing methods and programs.
  • FIG. 1 is a diagram showing a configuration example of an image processing system including an information processing device as a first embodiment according to the present technology
  • FIG. 1 is an image diagram of a live venue assumed in the first embodiment
  • FIG. FIG. 4 is a diagram showing an image of an image captured by a virtual camera
  • FIG. 4 is an explanatory diagram of an example of composition types in the first embodiment
  • 1 is a block diagram showing a hardware configuration example of an information processing apparatus as an embodiment
  • FIG. 1 is an explanatory diagram of functions possessed by an information processing apparatus as an embodiment
  • FIG. FIG. 4 is an explanatory diagram of a composition selection table in the first embodiment
  • FIG. 7 is a diagram for explaining an example of composition selection based on prohibited transition composition information
  • 10 is a flowchart showing an example of a processing procedure for realizing composition selection based on a composition selection table and composition control for switching to the selected composition
  • 9 is a flowchart of processing related to updating weight information in the first embodiment.
  • FIG. 10 is a diagram showing a configuration example of an image processing system as a second embodiment
  • FIG. 11 is an explanatory diagram of an example of the arrangement of robot cameras in the second embodiment
  • FIG. 10 is a diagram showing an example of a composition selection table before updating weight information
  • FIG. 10 is a diagram showing an example of a composition selection table after updating weight information
  • FIG. 10 is a diagram showing an example of a composition selection table for a robot camera
  • FIG. 10 is an explanatory diagram of an example of updating weight information in the composition selection table of the robot camera
  • FIG. 11 is a flow chart showing a specific processing procedure example for realizing weight update as the second embodiment
  • First Embodiment> (1-1. Image processing system as first embodiment) (1-2. Hardware configuration of information processing equipment) (1-3. Composition control as an embodiment) (1-4. Processing procedure) ⁇ 2.
  • Second Embodiment> ⁇ 3.
  • Variation> ⁇ 4.
  • Program> ⁇ 5. Summary of Embodiments> ⁇ 6. This technology>
  • FIG. 1 shows a configuration example of an image processing system 100 including an information processing device 1 as a first embodiment according to the present technology. As illustrated, the image processing system 100 includes an information processing device 1 , a parent camera 2 , a child camera 3 , a camera platform 4 , a switcher 5 and a position detection device 6 .
  • the parent camera 2 and the child camera 3 are configured as imaging devices that have imaging elements such as CCD (Charge Coupled Device) image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors and perform imaging.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the pan head 4 is configured as an electronic pan head, supports the child camera 3, and is configured to be able to change the direction of the child camera 3 in each of the pan direction and the tilt direction based on a control signal from the outside. ing.
  • the camera platform 4 is provided for each child camera 3.
  • a numerical value such as "- (hyphen)" is added to the end of the symbol as shown in the figure. They are denoted by "4-1", “4-2”, “4-3”, and "4-4", respectively.
  • a plurality of cameras serving as the parent camera 2 and the child camera 3 capture images of an object from a plurality of viewpoints, and a plurality of systems of images obtained based on the imaging are input to the switcher 5 .
  • the switcher 5 selects and outputs one system of images based on an operation from the input multiple systems of images.
  • the image selected and output by the switcher 5 is used to generate captured image content for the target event.
  • Captured image content generated based on the output image of the switcher 5 can be distributed via a network such as the Internet, or transmitted by broadcast waves. Alternatively, the captured image content can be recorded (recorded) on a predetermined recording medium.
  • the event to be imaged by the camera is a music live event
  • the parent camera 2 and child camera 3 are installed at the live venue.
  • FIG. 2 is an image diagram of a live venue assumed in the embodiment.
  • a live venue is provided with a stage, an audience section, and a FOH (Front of House). Performers such as musicians and singers perform on the stage.
  • the audience seating area is located behind the stage and is a space that can accommodate the audience.
  • the FOH is located behind the audience seating area, and is a space in which elements such as lighting and other equipment related to live production and various devices for controlling the sound of the venue are arranged. Persons on the side of the live organizer, such as directors and staff, are permitted to enter the FOH.
  • the parent camera 2 is a camera for capturing the entire stage within the angle of view, and is arranged at the FOH.
  • the resolution of the image captured by the parent camera 2 is 4K (3840 ⁇ 2160) while the resolution of the image output by the switcher 5 is FHD (Full High Definition: 1920 ⁇ 1080).
  • FHD Full Definition: 1920 ⁇ 1080
  • a camera without an optical zoom is used as the parent camera 2 .
  • three of the sub-cameras 3 are arranged in the space between the stage and the audience seats (so-called space in front of the front fence), and capture the performer on the stage within the angle of view at a position closer than the FOH. is possible.
  • these three sub-cameras 3 are arranged one at each of the central portion and both left and right ends in the left-right direction (direction perpendicular to the front-rear direction).
  • the remaining one of the child cameras 3 is located at FOH.
  • This child camera 3 is used as a camera for capturing the performer on the stage with telephoto.
  • each child camera 3 is a camera with an optical zoom.
  • each child camera 3 is configured to be able to change the output resolution of the captured image. Specifically, it is possible to switch between at least 4K and FHD as the output resolution.
  • the direction of the child camera 3 is controlled so as to track a subject such as a performer on stage.
  • the image processing system 100 is provided with the position detection device 6 shown in FIG.
  • the position detection device 6 is configured as a device for detecting the positions of the wireless tags, and includes a plurality of receivers 6a for receiving radio waves emitted by the wireless tags.
  • the position detection device 6 performs position detection by a UWB (Ultra Wide Band) system.
  • UWB Ultra Wide Band
  • the position detection device 6 performs position detection by a UWB (Ultra Wide Band) system.
  • the subject to be tracked is the performer on the stage.
  • the plurality of receivers 6a are arranged in the performer's activity area (center of the stage) in the outer periphery of the stage as shown in FIG. area).
  • the method of detecting the position of the subject is not limited to the UWB (Ultra Wide Band) method, and various methods are conceivable.
  • UWB Ultra Wide Band
  • a method using a wireless LAN Lical Area Network
  • ToF Time of Flight
  • the images captured by the four sub-cameras 3 are input to the switcher 5 .
  • the images of CAM1 to CAM3 are images generated by the information processing apparatus 1 as a computer apparatus based on images captured by the parent camera 2 .
  • FIG. 3 shows an image of each image of CAM1 to CAM3.
  • the image captured by the parent camera 2 is basically output as it is. That is, an image having the angle of view of the image captured by the parent camera 2 as the basic angle of view is output.
  • the image captured by the parent camera 2 is subjected to electronic zoom processing (that is, image clipping processing), and an image with an angle of view narrower than that of the image captured by the parent camera 2 is output. It is possible.
  • Each image of CAM2 and CAM3 is an image cut out from the image captured by the parent camera 2.
  • the images of CAM2 and CAM3 it is possible to adjust not only the image cutout size but also the cutout position.
  • changing the clipping position for the captured image corresponds to virtually changing the positional relationship between the camera and the subject
  • changing the clipping size for the captured image is equivalent to virtually changing the optical zoom.
  • magnification of is equivalent to changing the magnification of
  • the term “camera” is used as a concept that includes both such a virtual camera and real cameras such as the parent camera 2 and the child camera 3.
  • the term “camera” in this specification includes both a real camera and a virtual camera that virtually changes the composition by cutting out a part of the image obtained by the light receiving operation of the real camera. shall refer to
  • imaging means that when both a real camera and a virtual camera are defined as “cameras” as described above, images are captured by the cameras. shall mean the action of obtaining
  • image clipping may also be referred to as "cutout”.
  • the composition that includes all the subjects is adaptively changed according to the number and positions of the subjects detected in the image captured by the parent camera 2 (4K resolution image in this example). That is, when a new subject is detected in the captured image by the parent camera 2, the composition is determined including the subject, and when the number of detected subjects is reduced, the composition is determined based on the positions of the remaining subjects. For the image of the CAM 2, when no subject is detected on the stage, an FHD size image area having the same center as the image captured by the parent camera 2 is cut out.
  • the image of the CAM 3 for example, an image having a basic angle of view narrower than the angle of view of the image captured by the parent camera 2 is generated by clipping and output.
  • the image of CAM 3 is cut out as an image whose center coincides with the center of the image captured by parent camera 2 .
  • composition control is performed for an image captured by the child camera 3 as a real camera.
  • composition types that can be used in composition control of each child camera 3 will be described as the composition types.
  • the composition types here include "UP (up shot)”, “BS (bust shot)", “WS (waist shot”), and "FF (full figure") illustrated in FIGS. 4A to 4D.
  • UP is a composition in which the face of the person as the imaging target (subject) fills the frame. It is a composition that can be accommodated.
  • WS is a composition in which only the portion from the waist to the tip of the head of the person to be imaged is included in the image frame
  • FF is the composition in which the entirety of the person to be imaged from the head to the feet is included in the image frame. It is a composition that fits inside.
  • the information processing apparatus 1 shown in FIG. 1 performs composition selection for each child camera 3 according to a composition selection table described later, with respect to preset fixed point positions and compositions of tracking targets, thereby allowing the director and staff to perform composition selection.
  • Composition adjustment is automatically performed without receiving a composition designation operation from a user such as. That is, the information processing apparatus 1 of the present embodiment selects the composition to be set for each child camera 3 according to the composition selection table in response to the establishment of a predetermined condition, and sets the selected composition (fixed point). , panning and tilting of the corresponding camera platform 4, zoom control of the child camera 3, image clipping, and the like. Details of composition control as an embodiment will be described later.
  • FIG. 5 is a block diagram showing a hardware configuration example of the information processing apparatus 1.
  • the CPU 11 of the information processing apparatus 1 is configured to read programs stored in a non-volatile memory unit 14 such as a ROM (Read Only Memory) 12 or an EEP-ROM (Electrically Erasable Programmable Read-Only Memory), or a storage unit 19
  • ROM Read Only Memory
  • EEP-ROM Electrically Erasable Programmable Read-Only Memory
  • Various processes are executed in accordance with a program loaded from the RAM (random access memory) 13 .
  • the RAM 13 also stores data necessary for the CPU 11 to execute various processes.
  • the CPU 11 , ROM 12 , RAM 13 and nonvolatile memory section 14 are interconnected via a bus 23 .
  • the input/output interface 15 is also connected to this bus 23 .
  • the input/output interface 15 is connected to an input section 16 including operators and operating devices.
  • an input section 16 including operators and operating devices.
  • various operators and operating devices such as a keyboard, mouse, key, dial, touch panel, touch pad, remote controller, etc. are assumed.
  • a user's operation is detected by the input unit 16 , and a signal corresponding to the input operation is interpreted by the CPU 11 .
  • the input/output interface 15 is also connected integrally or separately with a display unit 17 such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) panel, and an audio output unit 18 such as a speaker.
  • the display unit 17 is a display unit that performs various displays, and is configured by, for example, a display device provided in the housing of the information processing apparatus 1, a separate display device connected to the information processing apparatus 1, or the like.
  • the display unit 17 displays images for various types of image processing, moving images to be processed, etc. on the display screen based on instructions from the CPU 11 . Further, the display unit 17 displays various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) based on instructions from the CPU 11 .
  • GUI Graphic User Interface
  • the input/output interface 15 may be connected to a storage unit 19 made up of a hard disk, a solid-state memory, etc., and a communication unit 20 made up of a modem or the like.
  • the communication unit 20 performs communication processing via a transmission line such as the Internet, and communication by wired/wireless communication with various devices, bus communication, and the like.
  • a drive 21 is also connected to the input/output interface 15 as required, and a removable recording medium 22 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately loaded.
  • a removable recording medium 22 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately loaded.
  • Data files such as image files and various computer programs can be read from the removable recording medium 22 by the drive 21 .
  • the read data file is stored in the storage unit 19 , and the image and sound contained in the data file are output by the display unit 17 and the sound output unit 18 .
  • Computer programs and the like read from the removable recording medium 22 are installed in the storage unit 19 as required.
  • software can be installed via network communication by the communication unit 20 or via the removable recording medium 22.
  • the software may be stored in advance in the ROM 12, the storage unit 19, or the like.
  • FIG. 6 is an explanatory diagram of functions possessed by the CPU 11 of the information processing apparatus 1. Along with functional blocks of various functions possessed by the CPU 11, the main camera 2, the child camera 3, the platform 4, the switcher 5, and the main camera 2 shown in FIG. A position detection device 6 is also shown.
  • the CPU 11 includes a calibration unit F1, a composition selection unit F2, a composition switching control unit F3, a weight update unit F4, an image recognition processing unit F5, an image frame calculation unit F6, a coordinate calculation unit F7, pan head/camera control. It has functions as a section F8 and a cutout image generation section F9.
  • the calibration unit F1 performs calibration processing for obtaining a coordinate transformation matrix for performing coordinate transformation between the coordinate system of the image captured by the parent camera 2 and the coordinate system of the imaging range of each child camera 3 .
  • the imaging range of the secondary camera 3 means the range in which imaging can be performed using panning and tilting of the camera platform 4 .
  • the target composition for composition control is determined based on the image captured by the parent camera 2 .
  • the image frame according to the composition type such as “BS” or “WS” is determined based on the result of performing image recognition processing on the image captured by the parent camera 2 .
  • the coordinate system of the image captured by the parent camera 2 is used as the master coordinate system, and the range of the image frame in the coordinate system of the child camera 3 is adjusted so as to realize the composition with the image frame determined in the master coordinate system.
  • Information is obtained by performing coordinate transformation, and control of pan head 4 and zooming of child camera 3 is performed based on information on the range of the image frame in the coordinate system of child camera 3 .
  • the calibration unit F1 performs calibration processing for obtaining a coordinate transformation matrix for performing this coordinate transformation.
  • an image captured by the target child camera 3 and an image captured by the parent camera 2 are displayed on the display unit 17, and the same position in the real space is shown to the user in each image.
  • the coordinate transformation matrix is obtained for each child camera 3 .
  • an image captured by the target child camera 3 is input to the information processing apparatus 1 at the time of calibration.
  • the composition selection unit F2 selects the camera composition based on the composition selection table.
  • FIG. 7 is an explanatory diagram of the composition selection table.
  • the composition selection table is information in which weight information is associated with each combination of an object to be imaged by the camera and the composition type of the camera.
  • an example of the composition selection table corresponding to the case where the event to be imaged is a live music event and the selectable object to be imaged is any of the vocalist, guitar player, and bass player of a music band is shown.
  • the weight information associated with each combination of the imaging target and composition type in other words, the weight information associated with each composition specified by the combination of the imaging target and composition type, determines the selection rate of the composition. It can be rephrased as the information shown.
  • a composition selection table is prepared at least for each child camera 3, and the composition selection unit F2 selects a composition for each child camera 3 using the corresponding composition selection table.
  • the composition selection table is stored in a predetermined memory device such as the storage unit 19, and the composition selection unit F2 selects the composition of each child camera 3 based on the composition selection table thus stored. .
  • composition selection table it is conceivable to prepare a plurality of types of tables in which at least combinations of composition types and weight information are set differently for each camera to be subjected to composition control. For example, for each of music producers A, B, and C, a composition selection table is prepared in which combinations of composition types and weight information are set so that compositions frequently used by these music producers are easily selected, The user can select a table to be used for composition selection by the composition selection unit F2 from among these composition selection tables. This makes it possible for the user to select which music producer-like content to finish the captured image content.
  • the composition selection unit F2 performs composition selection for each camera based on the prohibited transition composition information so as not to cause a composition transition that is a predetermined prohibited transition.
  • the prohibited transition here means a prohibited composition transition between images sequentially selected by the switcher 5 .
  • the composition selection unit F2 prohibits composition transitions between images sequentially selected by the switcher 5 based on the prohibited transition composition information and the camera selection history information (corresponding to composition history information) by the switcher 5. Composition selection is performed based on the composition selection table so as not to cause the prohibited transition defined in the transition composition information. Specifically, the composition selection unit F2 selects the next composition selected by the switcher 5 from among the compositions in the composition selection table of each child camera 3 based on the prohibited transition composition information and the composition of the camera being selected by the switcher 5. A composition that becomes a prohibited transition in some cases is identified as a “prohibited transition composition”, and only compositions excluding this prohibited transition composition are subjected to composition selection based on the weight information of the composition selection table.
  • composition selection based on such prohibited transition composition information will be described with reference to FIG. Specifically, in FIG. 8 , in a state where the composition of the child camera 3 currently selected by the switcher 5 is “Base WS”, transition from the composition of “Base WS” to the composition of “Base UP” and imaging An example of composition selection for a certain child camera 3 in the case where the transition to the composition with the target as the “base” is defined as the prohibited transition will be described. In the composition selection table in this case, the composition of “base/up” and the composition in which the object to be imaged is “base” are prohibited transition compositions.
  • composition selection is performed for a composition in which a vocal is to be imaged, a composition of "bass/WS", and a composition of "bass/FF").
  • the composition selection unit F2 performs composition selection based on the composition selection table for each child camera 3 described above on the condition that the image selection by the switcher 5 is performed. That is, when one of the captured images from each camera is newly selected by the switcher 5, the composition of each child camera 3 is selected based on the composition selection table. The composition is controlled to the selected composition.
  • the composition selection unit F2 performs composition selection based on the composition selection table while excluding the camera whose image is being selected by the switcher 5 .
  • composition selection is performed based on the composition selection table on the condition that the switcher 5 has selected an image.
  • composition selection based on the composition selection table.
  • the composition of the camera selected by the switcher 5 is switched even though the captured image is being selected. It is possible to prevent it from being put away.
  • the composition selection unit F2 in this example performs composition selection based on the composition selection table only for the musical accompaniment section specified from the audio analysis result of the imaging target event.
  • each child camera 3 is provided with a microphone, and the image data captured by each child camera 3 is accompanied by audio data picked up by the microphone. Then, the composition selection unit F2 performs voice analysis on the voice data attached in this way, and determines whether or not it is a musical accompaniment section. Based on this determination result, the composition selection unit F2 performs composition selection based on the composition selection table, targeting only the musical accompaniment section.
  • the method of acquiring audio data is not limited to the method using the microphone of the camera as described above.
  • voice data picked up by a microphone provided in a device other than a camera such as a PA (Public Address) device
  • the audio data is not attached to the image captured by the camera, but handled as data of a system independent of the image captured. It should be noted that the determination as to whether or not it is the voice accompaniment section can also be made based on an operation input from the user.
  • composition switching in a portion between songs such as an MC (Master of Ceremonies) portion, compared to a portion in the middle of a song. If the composition is selected only for the musical accompaniment section as described above, it is possible to prevent the composition from being changed unnecessarily even for the part between songs, and the processing load related to the composition change can be prevented. can be reduced.
  • the composition switching control unit F3 performs control for switching the composition of the camera to the composition selected by the composition selection unit F2. Specifically, the composition switching control unit F3 in this example performs processing for instructing the image frame calculation unit F6, which will be described later, on the composition selected for each child camera 3 by the composition selection unit F2.
  • a weight update unit F4 updates the weight information in the composition selection table.
  • the weight update unit F4 updates weight information based on camera selection history information by the switcher 5 .
  • the weight updating unit F4 stores information on the captured image and composition as selection history information in a predetermined storage such as the storage unit 19 each time the switcher 5 selects a camera, in other words, selects a captured image.
  • the weighting information in the composition selection table is updated based on the selection history information.
  • the weight update unit F4 increases the weight of the weight information of the composition frequently selected by the switcher 5 (the selection frequency is equal to or higher than a certain frequency) among the weight information for each composition in each composition selection table. process to make it so. As a result, the weights are updated so that the composition that is preferred and often used in the switcher 5 can be easily selected. Therefore, it is possible to control the composition of the captured image content so as to approach the taste of the user of the switcher 5 as much as possible, thereby improving the quality of the captured image content.
  • the weight update unit F4 updates the weight based on the content of the imaging target event. Specifically, when a solo part of a musical instrument such as a guitar solo is detected as the content of the event to be captured, the weight updating unit F4 in this example increases the weight of the composition in which the player of the musical instrument is captured.
  • the weight information is updated as follows.
  • the detection of the solo part of the musical instrument is performed, for example, based on the audio analysis result of the imaging target event. Specifically, for example, it is performed based on the results of voice analysis of the voice data attached to the captured image of each child camera 3 or the voice data obtained by the PA equipment or the like as described above. Note that the detection of the solo part of the musical instrument can also be performed based on the user's operation input.
  • the weight of the composition in which the player of the instrument is captured is increased, so that an appropriate composition according to the content of the event can be easily selected. This makes it possible to improve the quality of captured image content.
  • a first example is an example in which the weight information is updated on the condition that the switcher 5 selects an image.
  • the switcher 5 selects an image.
  • a second example is an example in which the weight information is updated on condition that a predetermined sound change is detected from the sound analysis result of the imaging target event.
  • a predetermined melody change such as a change from a vocal part to a solo part of an instrument is detected.
  • weighting is updated so that a composition in which the guitar player is the object of imaging is more likely to be selected.
  • the weight can be updated so that an appropriate composition corresponding to the specific content can be easily selected. Therefore, it is possible to improve the quality of captured image content.
  • the image recognition processing unit F5 performs image recognition processing on the image captured by the parent camera 2.
  • the image recognition processing here includes the recognition processing of the face, position, and range of the subject as a person, and the bone estimation of the subject recognized as a person (for example, the main parts of the human body such as the face, body, arms, and legs). at least the generation of a simplified model of the human body representing the composition).
  • the information on the position of the subject as the imaging target is obtained comprehensively using not only the detection result by the position detection device 6 but also the subject recognition result based on the captured image of the parent camera 2 . That is, in calculating an image frame for tracking a certain subject, the image frame calculation section F6, which will be described below, combines the position information of the subject with the position detection result of the position detection device 6 and the subject recognition result of the image recognition processing section F5. and based on.
  • the image frame calculation unit F6 calculates an image frame for realizing the composition instructed by the composition switching control unit F3.
  • the image frame referred to here is the image frame in the coordinate system of the image captured by the parent camera 2 .
  • the subject of composition control is each child camera 3, and the composition switching control unit F3 instructs the composition for each child camera 3.
  • Image frame calculation for each child camera 3 is performed.
  • the image frame calculation unit F6 calculates the position information of the subject as "vocal”. is acquired based on the position detection result by the position detection device 6 and the object recognition result by the image recognition processing unit F5. Along with this, since bone estimation information of the subject of "vocal” is necessary to realize the composition by "UP”, the bone estimation information is obtained from the image recognition processing unit F5. Then, based on the acquired information, an image frame for catching "vocal” in the size of "UP” is calculated.
  • the image frame calculation unit F6 also calculates image frames for the virtual cameras (CAM1 to CAM3 in this example) as necessary based on, for example, an operation input from the user.
  • the coordinate calculation unit F7 converts the image frame information (coordinate information in the coordinate system of the parent camera 2) of the child cameras 3 (CAM4 to CAM7 in this example) calculated by the image frame calculation unit F6 into the coordinates of the child camera 3. Convert to coordinate information in the system.
  • a coordinate transformation matrix obtained by the calibration unit F1 is used for this coordinate transformation.
  • the camera platform/camera control unit F8 controls each child camera 3 based on the information of the image frame subjected to the coordinate conversion by the coordinate calculation unit F7 so as to obtain a composition for imaging the range indicated by the information of the image frame. , panning and tilting of the camera platform 4 and zooming of the child camera 3 as required. Thereby, the composition of each child camera 3 can be switched to the composition selected by the composition selection unit F2.
  • the cutout image generation unit F9 generates an image captured by the parent camera 2 according to the image frame information (coordinate information in the coordinate system of the parent camera 2) for the virtual camera calculated by the image frame calculation unit F6.
  • Image clipping is performed to generate captured images of CAM1, CAM2, and CAM3.
  • FIGS. 9 and 10 Next, a specific processing procedure example for realizing the composition control as the first embodiment described above will be described with reference to the flowcharts of FIGS. 9 and 10 .
  • the processes shown in FIGS. 9 and 10 are executed by the CPU 11 of the information processing apparatus 1.
  • FIG. 9 is a specific processing procedure example for realizing the composition control as the first embodiment described above.
  • FIG. 9 shows a processing procedure example for implementing composition selection based on the composition selection table and composition control for switching to the selected composition.
  • the CPU 11 waits until a composition switching trigger is generated.
  • the condition for generating the composition switching trigger is that the switcher 5 has selected an image and that it is a musical accompaniment section. Perform processing to wait for establishment of
  • step S102 When a composition switching trigger is generated, the CPU 11 proceeds to step S102, and performs processing for identifying a composition for which transition is prohibited for each target camera. That is, based on the prohibited transition composition information described above and the composition information of the camera being selected by the switcher 5 (based on the selection history information of the camera described above), the following composition is selected from among the compositions in the composition selection table of each child camera 3 .
  • processing is performed to identify a composition that becomes a prohibited transition when selected by the switcher 5 as a “prohibited transition composition”. For the sake of confirmation, in the identification process of step S102, there may be cases where the identification result indicates that there is no composition corresponding to the prohibited transition composition in at least one of the composition selection tables.
  • step S103 the CPU 11 performs a process of selecting a composition based on the composition selection table, targeting compositions excluding compositions that are prohibited transitions. That is, with respect to the composition selection table having the composition corresponding to the prohibited transition composition, the composition selection is performed based on the weight information for the composition excluding the prohibited transition composition. For a composition selection table that does not have a composition corresponding to a prohibited transition composition, composition selection is performed based on weight information for each composition in the table. When all the compositions are prohibited transition compositions, the composition is determined in anticipation of the next composition selection with respect to the selection of other cameras.
  • step S103 when excluding a camera whose image is being selected by the switcher 5 and performing composition selection based on the composition selection table, in step S103, composition selection based on the composition selection table is not performed for the camera in question. As a result, it is possible to prevent the composition from being changed for the camera whose image is being selected by the switcher 5 .
  • step S104 following step S103 the CPU 11 controls the composition of the target camera so as to achieve the selected composition. That is, with the child camera 3 for which composition selection has been performed based on the composition selection table in step S103 as the target camera, the composition of the target camera is changed by the above-described composition switching control unit F3, image recognition processing unit F5, and image frame calculation unit F6. , the coordinate calculation unit F7, and the camera platform/camera control unit F8, thereby switching to the selected composition.
  • step S105 the CPU 11 determines whether or not the processing end condition is satisfied.
  • the processing termination condition here is a predetermined condition that is determined in advance as a condition that the series of processing shown in FIG. 9 should be terminated, such as a state in which generation of captured image content should be terminated.
  • the CPU 11 If it is determined that the processing end condition is not satisfied, the CPU 11 returns to step S101. Accordingly, in response to the generation of the composition switching trigger again, composition selection based on the composition selection table and switching processing to the selected composition are executed again for the corresponding child camera 3 .
  • FIG. 10 is a flowchart of processing related to updating weight information.
  • step S201 the CPU 11 waits for generation of a weight update trigger.
  • image selection by the switcher 5 is awaited in step S201.
  • step S201 detection of a predetermined sound change from the sound analysis result of the event to be imaged (for example, detection of a change from a singing part to a solo part of an instrument) is waited.
  • the CPU 11 proceeds to step S202 and performs processing for determining the weight for each composition in the composition selection table of each camera. For example, as described above, when weighting is updated so that compositions that are frequently selected by the switcher 5 are more likely to be selected, the weight information of compositions whose frequency of selection by the switcher 5 is equal to or higher than a certain frequency is set to be higher. Decide on a number. In addition, when updating the weight based on the content of the imaging target event, for example, in response to the detection of the solo part of the musical instrument, the weight information of the composition in which the player of the musical instrument is the imaging target is set to a higher numerical value. to decide.
  • step S203 following step S202 the CPU 11 performs processing for updating to the determined weight. That is, among the weight information in the composition selection table for each camera, the numerical value of the corresponding weight information is updated to the numerical value determined in step S202.
  • step S204 the CPU 11 determines whether or not the processing end condition is satisfied.
  • the processing end condition here is a predetermined condition that is determined in advance to end the series of processing shown in FIG. 10, such as a state in which generation of captured image content should be ended.
  • the CPU 11 If it is determined that the processing end condition is not satisfied, the CPU 11 returns to step S201. As a result, the corresponding weight information is updated in response to the occurrence of the weight update trigger again.
  • composition selection based on the composition selection table is performed on the condition that the switcher 5 selects an image.
  • composition selection based on the composition selection table on the condition that a predetermined melody change (event content change), such as a change from a singing part to a solo part of an instrument, is detected based on the audio analysis results of the event to be imaged. can be considered.
  • composition selection based on the composition selection table is performed according to the elapsed time from the composition switching based on the previous composition selection. For example, it is performed on the condition that a certain period of time has passed since composition switching based on the previous composition selection.
  • composition selection based on the composition selection table is performed according to a predetermined operation input by the user.
  • the switcher 5 performs composition selection and switching to the selected composition based on the composition selection table for cameras other than the camera currently selecting images.
  • the weight information it is also possible to reduce the weight of the composition that has been selected by the switcher 5 based on the selection history information of the camera by the switcher 5 . As a result, the weight is updated so that the composition that has been selected by the switcher 5 is less likely to be selected, and it is possible to prevent the same composition from occurring frequently in the captured image content, thereby deteriorating the quality of the content. can be prevented.
  • Second Embodiment> Next, a second embodiment will be described.
  • weight information is updated based on input information about an imaging target from an external device.
  • the same reference numerals will be given to the same parts as those already explained, and the explanation will be omitted.
  • FIG. 11 is a diagram showing a configuration example of an image processing system 100A as the second embodiment. The difference from the image processing system 100 shown in FIG. and the point that the robot camera 8 is added. Note that the network NT is the Internet in this example.
  • the server device 7 comprehensively represents a server device as a distribution server for imaged image content generated based on an output image selected by the switcher 5 and a server device as an SNS (Social Networking Service) server.
  • the SNS server referred to here is a function that allows an information processing terminal such as a smartphone, tablet terminal, or personal computer connected to the network NT to acquire WEB page data of an SNS site, post information from the information processing terminal, etc. It means a server device having at least a function of receiving information input of and reflecting it on the SNS site.
  • the function as a distribution server for imaged image content includes a function of accepting a tip from an information processing terminal.
  • the hardware configuration of the computer device that constitutes the server device 7 is the same as that shown in FIG.
  • the robot camera 8 has a camera section that obtains an image captured by an imaging device such as a CCD image sensor or a CMOS image sensor, and a support section that supports the camera section. .
  • an imaging device such as a CCD image sensor or a CMOS image sensor
  • the robot camera 8 of this example is configured so that the position of the camera unit in the height direction and the imaging direction can be freely adjusted by panning and tilting.
  • a captured image obtained by the camera section of the robot camera 8 is input to the switcher 5 (CAM 8 in the figure). Further, adjustment of the height position and imaging direction of the camera section of the robot camera 8 and control of running are performed based on the control of the information processing device 1A.
  • FIG. 12 is an explanatory diagram of an arrangement example of the robot camera 8.
  • the robot camera 8 is placed on a stage at an event venue (live venue in this example).
  • the travel control of the robot camera 8 is performed based on the information of the travel line La predetermined on the stage.
  • the running line La is determined for each performer (for example, each member of an idol group) arranged on the stage, and the information processing device 1A has a composition in which a certain performer is an imaging target.
  • the travel control of the robot camera 8 is performed so that the robot camera 8 travels on the travel line La determined for the performer.
  • the CPU 11 in the information processing apparatus 1A also functions as functions related to composition control for the child camera 3, including the calibration unit F1, the composition selection unit F2, and the composition selection unit F2 shown in FIG. It has functions as a switching control unit F3, a weight update unit F4, an image recognition processing unit F5, an image frame calculation unit F6, a coordinate calculation unit F7, and a platform/camera control unit F8.
  • the second embodiment differs from the first embodiment in that the weight updating unit F4 has a function to be described below.
  • the weight update unit F4 in this case has a function of updating the weight information based on the input information regarding the imaging target from the external device. Specifically, the weight update unit F4 in this case updates the weight information in the composition selection table based on tip information sent from the information processing terminal to the server device 7 or post information sent from the information processing terminal to the SNS site. conduct. More specifically, the weight information in the composition selection table is updated so as to facilitate selection of a composition in which the member with the largest tipping amount or the member with the largest number of posted comments is the imaging target.
  • the posted information such as tipping and supportive comments for the performers in the event can be rephrased as information (viewer evaluation information) regarding the viewer evaluation of the performers of the imaging target event.
  • the viewer evaluation referred to here means the evaluation of the performer by the viewer of the imaged image content obtained by imaging the event to be imaged.
  • the above-described weighting update according to the tip of the performer and the posted information can be rephrased as weighting update based on the viewer evaluation information.
  • FIG. 13 shows an example of the composition selection table before updating the weight information
  • FIG. 14 shows an example of the composition selection table after updating the weight information.
  • the robot camera 8 shown in FIG. 11 also performs composition selection and switching control to the selected composition based on the composition selection table.
  • a table as illustrated in 15 can be considered.
  • the composition selection table for the robot camera 8 may be a table that includes information on the travel line La in the composition type. As shown in the figure, for a composition in which member A is the object of imaging, information on travel line A, which is the travel line La corresponding to member A, is stored as information on the composition type. , the information of the traveling line B, which is the traveling line La corresponding to the member B, is stored as information of the composition type. Information indicating line La is stored.
  • the composition selection table for the robot camera 8 includes angle information in the composition type information.
  • angle information as a low angle (angle of looking up the imaging target from below) is stored together with information on the running line La as composition type information.
  • the angle information is not limited to a low angle.
  • the angle at which the person as the imaging target is viewed from the height of the eye level (for the viewer of the content, it is an angle where the person as the imaging target is looking at each other). ), etc., can be considered in various ways.
  • the weight of the robot camera 8 is also updated according to the amount of tips and the number of posted comments.
  • the weight updating unit F4 in this case also determines that the weight information in the composition selection table of the robot camera 8 is such that the member with the largest tipping amount or the member with the largest number of posted comments is the image target. Update to make it easier to select.
  • FIG. 16 is an explanatory diagram of an example of updating the weight information in the composition selection table of the robot camera 8.
  • an update example is shown in which the amount of tipping or the number of posted comments for member A among member A and member B is the largest.
  • all the weights of the compositions for member B are set to 0, and among the compositions for member A, the composition by the combination of “running line A and UP” and “running line A and The weight of the composition due to the combination of "low angle" is updated to a numerical value greater than 0.
  • the weight of the composition due to the combination of "running line A and UP” is set to 20
  • the weight of the composition due to the combination of "running line A and low angle” is set to 80, including low angles. The weight of the composition is maximized.
  • the original weight for the low-angle composition is set to 0, and when the weight is updated according to the amount of tipping and the number of posted comments, the low-angle composition The weight of the composition is set to be the highest. As a result, it is possible to realize a low-angle composition only when the composition is switched according to the amount of tipping money or the number of posted comments.
  • FIG. 17 is a flowchart showing a specific processing procedure example for realizing weight update as the second embodiment described above. Note that the processing shown in FIG. 17 is executed by the CPU 11 in the information processing apparatus 1A.
  • the CPU 11 waits until the weight update condition based on the external information is established in step S301. Specifically, in this example, it waits for the end timing of the acceptance period for tips or the acceptance period for posting comments to members. Note that it is also assumed that the acceptance of posted comments is performed in advance before distribution of captured image content. In this case, the processing in step S301 is to wait for an arbitrary timing between the end of acceptance of posted comments and the start of a song whose composition is to be switched according to the number of posted comments. etc. can be considered.
  • the CPU 11 proceeds to step S302 to determine the weight based on the external information. Specifically, as described above with reference to FIGS. 13 to 16, the composition selection table of each child camera 3 and the composition selection table of the robot camera 8 are targeted, and the amount of tips or the number of posted comments is calculated. The numerical value of the weight information is determined so that the composition in which the member with the largest number of . At this time, the weighting in the composition selection table of the robot camera 8 is determined so that the low-angle composition is most likely to be selected as described above.
  • step S303 the CPU 11 performs processing for updating to the determined weight. That is, for the composition selection table of each child camera 3 and the composition selection table of the robot camera 8, the numerical value of the weight information for each composition is updated to the numerical value determined in step S302.
  • the CPU 11 determines in step S204 whether or not the process termination condition is satisfied in response to the execution of the process in step S303. Returning, if it is determined that the processing end condition is satisfied, the series of processing shown in FIG. 17 is ended.
  • the weight is updated so that it is easier to select the composition for the performer with the largest amount of tipping money and the largest number of posted comments. It is also conceivable to set the composition selection table and update the weights so that a composition as a group shot capturing a plurality of top performers is likely to be selected.
  • the weight update according to the amount of tipping money and the number of posted comments is performed so that the difference in the amount of tipping tip and the difference in the number of posted comments for each performer are reflected as the difference in weight information for each performer in the composition selection table. It is also possible.
  • composition selection and composition switching using the composition selection table are performed for the composition of the real camera, but composition selection and composition switching are performed using the composition selection table for the composition of the virtual camera. You can also make
  • the camera being selected by the switcher 5 is excluded from composition selection based on the composition selection table. It is also conceivable to exclude it from the object of composition selection based on.
  • the weight update is automatically performed for the composition that has not been selected by the switcher 5 even after a certain period of time has elapsed since the timing when the weight update start condition was established or the previous weight update timing. It is also conceivable to do so. For example, it is conceivable to reduce the weight of the corresponding composition so that it is less likely to be selected. Alternatively, conversely, it is conceivable to increase the weight of the corresponding composition so as to make it more likely to be selected.
  • a device for selecting a composition based on a composition selection table and a device for controlling composition changing means such as the camera platform 4 so as to switch to the selected composition are integrated.
  • these devices can also be constructed separately.
  • the latter device may be arranged at the event venue, and the former device may be arranged as a cloud server or the like in a location separate from the event venue so as to be able to communicate with the latter device via a network.
  • the switcher 5 may be realized by a software program by an information processing device.
  • composition switching control when a composition other than the prohibited transition composition has already been set as the composition of the target camera and the composition has not yet been PGM-output, Regardless of the weight information in the composition selection table, the composition of the target camera may be maintained without switching.
  • the event to be imaged is a live music event.
  • other events such as program recording in a studio, sports competition events such as baseball, soccer, basketball, and volleyball are to be imaged.
  • the information processing apparatus (same 1 or 1A) as the embodiment has been described above, but the program of the embodiment is a program that causes a computer device such as a CPU to execute the processing as the information processing apparatus 1 or the information processing apparatus 1A. be.
  • a program according to an embodiment is a program readable by a computer device, and selects a camera composition based on a composition selection table in which weight information is associated with each combination of an object to be imaged by the camera and a composition type of the camera. , and a function of performing control for switching the composition of the camera to the selected composition, in a computer device. That is, this program corresponds to, for example, a program that causes a computer device to execute the processing described with reference to FIG. 9 and the like.
  • Such a program can be stored in advance in a computer-readable recording medium such as a ROM, HDD (Hard Disk Drive), SSD (Solid State Drive), or the like. Alternatively, it can be temporarily or permanently stored (stored) in a removable recording medium such as a semiconductor memory, memory card, optical disk, magneto-optical disk, or magnetic disk. Also, such a removable recording medium can be provided as so-called package software. In addition to installing such a program from a removable recording medium to a personal computer or the like, it can also be downloaded from a download site to a required information processing device such as a smart phone via a network such as LAN or the Internet.
  • the information processing apparatus selects the composition of the camera based on the composition selection table in which the weight information is associated with each combination of the object to be imaged by the camera and the composition type of the camera. It comprises a composition selection unit (F2) for selection, and a composition switching control unit (F3) that performs control for switching the composition of the camera to the composition selected by the composition selection unit.
  • the composition switching of the camera is automatically performed based on the composition selection table, and the setting of the weight information in the composition selection table makes it possible to appropriately set the composition switching mode of the camera. Therefore, it is possible to achieve both quality improvement of the content and reduction of the work cost related to content creation for captured image content involving composition switching.
  • the switcher (5) selects an image from the images captured by the plurality of cameras.
  • camera composition selection is executed based on the composition selection table.
  • the composition selection unit selects the composition of the camera based on the composition selection table in accordance with changes in the content of the event to be imaged by the camera.
  • the composition selection unit selects the composition of the camera according to changes in the content of the target event, such as changes in the melody of a musical piece performed when the event to be imaged is a live music event, for example. Therefore, it is possible to appropriately switch the composition in accordance with the change in the content of the imaging target event.
  • the composition type includes the angle of view type.
  • a composition having a different angle of view such as BS (bust shot) or WS (waist shot), as composition switching of the camera.
  • the composition type includes the angle type (see FIGS. 7, 15, etc.).
  • the composition of the camera by changing the line-of-sight direction with respect to the object to be imaged, such as an angle to look up the object from below (low angle) or an angle to be seen from the eye level.
  • the information processing apparatus includes a weight updating unit (F4 in the same) for updating the weight in the composition selection table.
  • a weight updating unit F4 in the same for updating the weight in the composition selection table.
  • the switcher selects an image from among the images captured by the plurality of cameras
  • the weight updating unit is based on the selection history information of the cameras by the switcher. Updating weights. As a result, for example, by updating the weights so that compositions that have been frequently selected by the switcher in the past are more likely to be selected, compositions that are preferred and often used by the switcher are more likely to be selected, or vice versa.
  • by updating the weight so that it is difficult to select the composition that has been selected by the switcher it is possible to prevent the same composition from occurring frequently in the captured image content, that is, to prevent the quality of the content from deteriorating. etc. is possible. Therefore, as the composition switching based on the composition selection table, appropriate composition switching based on the past camera selection history (composition selection history) by the switcher can be performed, and the quality of the content can be improved.
  • the weight updating unit increases the weight of the composition that has been selected by the switcher.
  • the weights are updated so that a composition that is preferred and often used in the switcher can be easily selected. Therefore, it is possible to control the composition of the captured image content so as to be as close as possible to the preferences of the user of the switcher, thereby improving the quality of the captured image content.
  • the weight update unit updates the weight based on the content of the event to be imaged by the camera. This makes it easier to select an appropriate composition according to the content of the event to be imaged, for example, when the event to be imaged is a guitar solo part at a live music performance, the composition in which the guitar is to be imaged is likely to be selected. It becomes possible to Therefore, it is possible to improve the quality of captured image content.
  • the weight updating unit updates the weight based on the sound analysis result of the imaging target event.
  • weighting can be updated so that an appropriate composition can be easily selected according to the content of the event estimated from the sound aspect, such as a guitar solo part when the event to be imaged is a live music event. It becomes possible. Therefore, it is possible to improve the quality of captured image content.
  • the weight update unit updates the weight based on the input information regarding the imaging target from the external device (see the second embodiment).
  • the weight is updated so that the composition that captures the imaging target with the most tipping coins and supportive comments is likely to be selected. Therefore, captured image content can be generated with a composition that appropriately reflects the intention of a person who has input information about an imaging target, such as a person to whom the content is distributed.
  • the weight update unit updates the weight based on the viewer evaluation information regarding the viewer evaluation of the performer of the event to be imaged by the camera.
  • the viewer evaluation referred to here means the evaluation of the performer by the viewer of the imaged image content obtained by imaging the event to be imaged.
  • Examples of the viewer evaluation information include information such as tips and supportive comments for performers.
  • the image selection is performed by the switcher from among the images captured by the plurality of cameras, and the weight updating unit performs the image selection on the condition that the image selection is performed by the switcher.
  • the weights are updated as As a result, when a certain camera (certain composition) is selected by the switcher, it is possible to adjust which composition is made easier (or harder to be selected) for other cameras that have not been selected. can be done. Therefore, it is possible to facilitate the selection of a composition suitable for image selection by the next switcher for the cameras that have not been selected, and it is possible for the captured images to be selected by the switcher to include captured images with an appropriate composition. Therefore, it is possible to improve the quality of captured image content.
  • the weight update unit updates the weight on the condition that a predetermined sound change is detected from the sound analysis result of the event to be imaged by the camera.
  • the weighting is updated so that the composition with the guitar as the imaging target is likely to be selected.
  • the content of the sound of the event to be captured changes to the specific content, it is possible to update the weight so that an appropriate composition corresponding to the specific content can be easily selected. Become. Therefore, it is possible to improve the quality of captured image content.
  • the switcher selects an image from among the captured images of the plurality of cameras, and the composition selection unit excludes the camera whose image is being selected by the switcher.
  • the composition is selected based on the composition selection table. As a result, it is possible to prevent the composition from being changed while the captured image is being selected for the camera selected by the switcher.
  • the composition selection unit performs composition selection based on the composition selection table only for the musical accompaniment section specified from the audio analysis result of the event to be imaged by the camera.
  • the need for composition switching is lower in the part between songs such as the MC part than in the part in the middle of the song. According to the above configuration, it is possible to prevent composition switching from being performed unnecessarily even in the portion between songs, and it is possible to reduce the processing load related to composition switching.
  • the switcher selects an image from images captured by the plurality of cameras.
  • the composition selection is performed based on the table.
  • a composition transition between specific compositions is defined as a prohibited transition, such as switching from a composition in which a guitar is to be imaged to a composition in which a bass is to be imaged, for example, the prohibited transition is performed. It is possible to prevent the switching to the composition from being performed.
  • the information processing device selects a camera composition based on a composition selection table in which weight information is associated with each combination of an object to be imaged by the camera and a composition type of the camera, This is an information processing method for performing control for switching the composition of a camera to a selected composition. With such an information processing method, it is possible to obtain the same actions and effects as those of the information processing apparatus as the embodiment described above.
  • composition selection unit that selects a composition of the camera based on a composition selection table in which weight information is associated with each combination of an object to be imaged by the camera and a composition type of the camera;
  • An information processing apparatus comprising: a composition switching control unit that performs control for switching the composition of the camera to the composition selected by the composition selection unit.
  • a switcher selects an image from images captured by said plurality of cameras;
  • composition selection unit performs composition selection for the camera based on the composition selection table in accordance with a change in content of an event to be captured by the camera.
  • composition type includes a field angle type.
  • composition type includes an angle type.
  • (6) The information processing apparatus according to any one of (1) to (5), further comprising a weight updating unit that updates the weight in the composition selection table.
  • a switcher selects an image from images captured by said plurality of cameras;
  • the weight update unit updates the weight based on a sound analysis result of the imaging target event.
  • a program readable by a computer device Control for selecting a composition of the camera and switching the composition of the camera to the selected composition based on a composition selection table in which weight information is associated with each combination of an object to be imaged by the camera and a composition type of the camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)

Abstract

本技術に係る情報処理装置は、カメラによる撮像対象とカメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、カメラの構図を選択する構図選択部と、カメラの構図を構図選択部が選択した構図に切り替えるための制御を行う構図切替制御部と、を備えるものである。

Description

情報処理装置、情報処理方法、プログラム
　本技術は、情報処理装置とその方法、及びプログラムに関するものであり、特には、撮像の制御技術に関する。
　撮像に関する制御として、例えば検出した被写体を追尾するようにカメラの向きを制御（つまり被写体追尾制御）したり、プリセットされた画角に合わせるようにカメラのズーム制御を行ったりすることが考えられる。
　下記特許文献１には、対象物が撮像されるようにカメラの向きを制御する技術が開示されている。具体的に、特許文献１には、撮像画像に基づく被写体位置の検出を行うと共に、被写体が保有する無線タグを利用した被写体位置の検出を行い、これら二つの検出結果に基づいてカメラの向きを制御する技術が開示されている。
　また、下記特許文献２には、被写体に取り付けた個別情報発信機から発信される位置情報や音声情報に基づいて、カメラの撮像方向や撮像動作を制御する技術が開示されている。
特開２００８－２８８７４５号公報 特開２００５－２７７８４５号公報
　ここで、例えば音楽ライブ等のイベントを対象とした撮像画像コンテンツとしては、カメラの構図を適宜切り替える等して、飽きのこない高品質なコンテンツを作成することが望まれる。
　しかしながら、適切な構図を選択することは不慣れなユーザにとっては難しいものとなり、熟練者による作業を要してしまう虞がある。また、そもそも構図選択を人手により行うことは撮像画像コンテンツを作成する上でのコストアップを助長する。
　本技術は上記事情に鑑み為されたものであり、構図切り替えを伴う撮像画像コンテンツについて、コンテンツの質向上とコンテンツ作成に係る作業コスト低減との両立を図ることを目的とする。
　本技術に係る情報処理装置は、カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択する構図選択部と、前記カメラの構図を前記構図選択部が選択した構図に切り替えるための制御を行う構図切替制御部と、を備えるものである。
　本明細書で言うカメラとは、実カメラ、及び実カメラの受光動作により得られた画像の一部を切り出すことで仮想的に構図変更が行われる仮想カメラの双方を含む概念である。また「撮像」とは、このように実カメラと仮想カメラの双方を「カメラ」として定義したときに、該カメラにより画像を得る動作を意味する。
　上記構成によれば、カメラの構図切り替えは構図選択テーブルに基づき自動的に行われるものとなり、また、構図選択テーブルにおける重み情報の設定により、カメラの構図切り替え態様を適切に設定可能となる。
　また、本技術に係る情報処理方法は、情報処理装置が、カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択し、前記カメラの構図を前記選択した構図に切り替えるための制御を行う情報処理方法である。
　また、本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択し、前記カメラの構図を前記選択した構図に切り替えるための制御を行う機能、を前記コンピュータ装置に実現させるプログラムである。
　これらの情報処理方法やプログラムにより、上記した本技術に係る情報処理装置が実現される。
本技術に係る第一実施形態としての情報処理装置を含んで構成される画像処理システムの構成例を示した図である。 第一実施形態で想定するライブ会場のイメージ図である。 仮想カメラによる撮像画像のイメージを示した図である。 第一実施形態における構図種別の例の説明図である。 実施形態としての情報処理装置のハードウエア構成例を示したブロック図である。 実施形態としての情報処理装置が有する機能の説明図である。 第一実施形態における構図選択テーブルの説明図である。 禁止遷移構図情報に基づいた構図選択の例を説明するための図である。 構図選択テーブルに基づく構図選択及び選択した構図に切り替える構図制御を実現するための処理手順例を示したフローチャートである。 第一実施形態における重み情報の更新に係る処理のフローチャートである。 第二実施形態としての画像処理システムの構成例を示した図である。 第二実施形態におけるロボットカメラの配置例についての説明図である。 重み情報を更新する前の構図選択テーブルの例を示した図である。 重み情報更新後の構図選択テーブルの例を示した図である。 ロボットカメラについての構図選択テーブルの例を示した図である。 ロボットカメラの構図選択テーブルにおける重み情報の更新例の説明図である。 第二実施形態としての重み更新を実現するための具体的な処理手順例を示したフローチャートである。
　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．第一実施形態＞
（1-1．第一実施形態としての画像処理システム）
（1-2．情報処理装置のハードウエア構成）
（1-3．実施形態としての構図制御）
（1-4．処理手順）
＜２．第二実施形態＞
＜３．変形例＞
＜４．プログラム＞
＜５．実施形態のまとめ＞
＜６．本技術＞
＜１．第一実施形態＞
（1-1．第一実施形態としての画像処理システム）
　図１は、本技術に係る第一実施形態としての情報処理装置１を含んで構成される画像処理システム１００の構成例を示している。
　図示のように画像処理システム１００は、情報処理装置１と、親カメラ２と、子カメラ３と、雲台４と、スイッチャー５と、位置検出装置６とを備えている。
　本例において、親カメラ２は単数、子カメラ３は複数とされており、具体的に子カメラ３については四つが用いられている。これら四つの子カメラ３の個々を区別する場合、図示のように符号末尾に「－（ハイフン）」と数値を付してそれぞれ「３－１」「３－２」「３－３」「３－４」と符号を表記する。
　親カメラ２及び子カメラ３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を有して撮像を行う撮像装置として構成されている。
　雲台４は、電子雲台として構成され、子カメラ３を支持すると共に、外部からの制御信号に基づいて子カメラ３の向きをパン方向、及びチルト方向それぞれに変化させることが可能に構成されている。
　本例において、雲台４は、子カメラ３ごとに設けられ、以下では四つの雲台４の個々を区別する場合、図示のように符号末尾に「－（ハイフン）」と数値を付してそれぞれ「４－１」「４－２」「４－３」「４－４」と符号を表記する。
　画像処理システム１００では、親カメラ２や子カメラ３としての複数のカメラにより複数の視点から対象が撮像され、撮像に基づき得られた複数系統の画像がスイッチャー５に入力される。
　スイッチャー５は、入力された複数系統の画像から操作に基づき一系統の画像を選択・出力する。本例では、このスイッチャー５により選択・出力された画像により、対象イベントについての撮像画像コンテンツが生成される。
　スイッチャー５の出力画像に基づき生成される撮像画像コンテンツは、例えばインターネット等のネットワークを介して配信したり、放送波により送出したりすることができる。或いは、撮像画像コンテンツは、所定の記録媒体に収録（記録）することもできる。
　本例において、カメラによる撮像対象イベントは音楽ライブイベントとされ、親カメラ２や子カメラ３はライブ会場に設置される。
　図２は、実施形態で想定するライブ会場のイメージ図である。
　図示のようにライブ会場には、ステージと客席部とＦＯＨ（Front of House）とが設けられる。ステージでは、奏者や歌手等の演者がパフォーマンスを行う。
　客席部は、ステージの後方に位置され、観客を収容可能な空間とされている。
　ＦＯＨは、客席部の後方に位置され、照明等のライブの演出に係る要素や会場の音をコントロールするための各種機器が配置される空間とされる。ＦＯＨには、ディレクタやスタッフ等のライブ主催者側の人物の立ち入りが可能とされている。
　本例において、親カメラ２は、ステージ全体を画角内に捉えるためのカメラとされ、ＦＯＨに配置される。本例では、親カメラ２による撮像画像の解像度は、スイッチャー５による出力画像の解像度がＦＨＤ（Full High Definition：１９２０×１０８０）であるのに対し４Ｋ（３８４０×２１６０）とされる。また本例において、親カメラ２としては、光学ズームを備えないカメラが用いられる。
　また、子カメラ３のうち三つはステージと客席部との間のスペース（いわゆる、前柵前と呼ばれるスペース）に配置され、ＦＯＨよりも近接した位置でステージ上の演者を画角内に捉えることが可能とされている。図示のようにこれら三つの子カメラ３は、左右方向（前後方向に直交する方向）における中央部、左右の両端部に各１台が配置されている。
　子カメラ３のうち残りの一つは、ＦＯＨに配置されている。この子カメラ３は、ステージ上の演者を望遠で捉えるためのカメラとして用いられる。
　本例において、各子カメラ３には光学ズームを備えるカメラが用いられる。また、本例において各子カメラ３は、撮像画像の出力解像度を変更可能に構成されている。具体的には、出力解像度として少なくとも４Ｋ、ＦＨＤの切り替えが可能とされている。
　後述するように本例の画像処理システム１００では、ステージ上の演者等の被写体を追尾するように子カメラ３の向きを制御するということが行われる。このために、画像処理システム１００には、図１に示す位置検出装置６が設けられている。
　位置検出装置６は、無線タグの位置を検出するための装置として構成され、無線タグが発信する電波を受信する複数の受信機６ａを備えている。本例において位置検出装置６は、ＵＷＢ（Ultra Wide Band）方式による位置検出を行う。追尾対象となり得る被写体に無線タグを装着させておくことで、該被写体の位置を検出することが可能とされる。
　本例では、追尾の対象とする被写体はステージ上における演者とされており、この場合、複数の受信機６ａは、図２に例示するようにステージの外周部において演者の活動領域（ステージの中央部を含む領域）を取り囲むように配置される。
　なお、被写体の位置の検出方式についてはＵＷＢ（Ultra Wide Band）方式に限定されるものではなく、多様な方式が考えられる。例えば、無線ＬＡＮ（Local Area Network）を利用した方式、具体的には、複数の無線ＬＡＮアクセスポイントを設け各アクセスポイントとの間の電波の到達時間差に基づき位置を検出する方式や、ＴｏＦ（Time of Flight）センサによる三次元計測結果を利用して位置を検出する方式等を挙げることができる。
　ここで、図１に例示するように本例の画像処理システム１００では、スイッチャー５に対してＣＡＭ１からＣＡＭ７の計７系統の画像を入力するものとしている。
　ＣＡＭ４からＣＡＭ７の画像については、四つの子カメラ３による撮像画像をスイッチャー５に入力している。ＣＡＭ１からＣＡＭ３の画像は、コンピュータ装置としての情報処理装置１が親カメラ２による撮像画像に基づき生成する画像とされる。
　図３に、ＣＡＭ１からＣＡＭ３の各画像のイメージを示す。
　ＣＡＭ１の画像は、基本的には、親カメラ２による撮像画像をそのまま出力する。すなわち、親カメラ２による撮像画像の画角を基本画角とした画像を出力する。ＣＡＭ１の画像については、親カメラ２による撮像画像に対して電子ズーム処理（つまり画像の切り出し処理）が施されて、親カメラ２による撮像画像の画角よりも狭い画角による画像が出力される場合もあり得る。
　ＣＡＭ２、ＣＡＭ３の各画像は、親カメラ２による撮像画像から切り出された画像とされる。これらＣＡＭ２、ＣＡＭ３の画像については、画像の切り出しサイズのみでなく、切り出し位置の調整も可能とされている。
　ここで、撮像画像に対する切り出し位置を変化させることは、仮想的にカメラと被写体との位置関係を変化させることに相当し、また、撮像画像に対する切り出しサイズを変化させることは、仮想的に光学ズームの倍率を変化させることに相当する。すなわち、撮像画像に対する切り出し位置や切り出しサイズを変化させて画像を得ることは、仮想的なカメラ（仮想カメラ）を動かしたり操作したりして構図を変化させていることに相当すると言うことができる。
　本明細書では、このような仮想カメラと、親カメラ２や子カメラ３のような実カメラの双方を含む概念として「カメラ」という語を用いる。換言すれば、本明細書において「カメラ」といったときは、実カメラ、及び実カメラの受光動作により得られた画像の一部を切り出すことで仮想的に構図変更を行う仮想カメラの双方を含む概念を指すものとする。
　また、本明細書においては「撮像」という語を用いているが、この「撮像」とは、上記のように実カメラ及び仮想カメラの双方を「カメラ」として定義したときに、該カメラにより画像を得る動作を意味するものとする。
　なお以下の説明において、画像切り出しについては「カットアウト」と称する場合もある。
　本例において、ＣＡＭ２の画像としては、例えば親カメラ２による撮像画像内に検出される演者としての被写体全員を含む画像を生成する。本例では、被写体全員を収める構図は、親カメラ２の撮像画像（本例では４Ｋ解像度の画像）内で検出される被写体の数や位置に応じて適応的に変化させる。つまり、親カメラ２による撮像画像内に新たな被写体が検出されたときはその被写体も含めて構図決定を行うし、検出被写体が減った場合は残りの被写体の位置に基づいて構図決定を行う。なお、ＣＡＭ２の画像について、ステージ上に被写体が一人も検出されないときは、親カメラ２による撮像画像と中心を同じとするＦＨＤサイズの画像領域を切り出す。
　また、本例において、ＣＡＭ３の画像としては、例えば親カメラ２による撮像画像の画角よりも狭い画角を基本画角とした画像を切り出しにより生成して出力する。例えば、ＣＡＭ３の画像は、その中心が親カメラ２による撮像画像の中心と一致する画像として切り出す。
　ここで、図１に示す情報処理装置１は、例えばＣＰＵ（Central Processing Unit）を有したコンピュータ装置を備えて構成され、親カメラ２による撮像画像に基づき、上記のようなＣＡＭ１からＣＡＭ３の画像生成を行うと共に、実カメラとしての子カメラ３による撮像画像についての構図制御を行う。
　図４を参照し、本実施形態で採用される構図種別について説明する。
　ここでは、構図種別として、各子カメラ３の構図制御で採り得る構図種別の例を説明する。
　ここでの構図種別としては、図４Ａから図４Ｄに例示する「ＵＰ（アップショット）」「ＢＳ（バストショット」「ＷＳ（ウエストショット」「ＦＦ（フルフィギュア」を挙げることができる。
　「ＵＰ」は、撮像対象（被写体）としての人物の顔を画枠内いっぱいに収める構図であり、「ＢＳ」は撮像対象としての人物の胸から頭の先までの部分のみを画枠内に収める構図である。また、「ＷＳ」は撮像対象としての人物の腰から頭の先までの部分のみを画枠内に収める構図であり、「ＦＦ」は撮像対象としての人物の頭から足下までの全体を画枠内に収める構図である。
　本実施形態における構図制御について、「構図」とは、図４に例示したような「構図種別」と、撮像対象の別（本例では演者の別）とで特定されるものとなる。例えば、ギター奏者としての撮像対象を構図種別＝「ＷＳ」により捉える構図や、ボーカルとしての撮像対象を構図種別＝「ＵＰ」により捉える構図等として特定されるものである。
　本実施形態において、図１に示す情報処理装置１は、予め設定した定点位置や追尾対象の構図について、後述する構図選択テーブルに従って各子カメラ３の構図選択を行うことで、前述したディレクタやスタッフ等のユーザからの構図指定操作を受け付けることなく、構図調整を自動的に行う。すなわち、本実施形態の情報処理装置１は、所定条件の成立に応じて、構図選択テーブルに従って各子カメラ３に設定すべき構図の選択を行い、選択した構図（定点）が設定されるように、対応する雲台４のパン、チルトや子カメラ３のズーム制御、画像切り出し等を行う。
　なお、実施形態としての構図制御の詳細については後に改めて説明する。
（1-2．情報処理装置のハードウエア構成）
　図５は、情報処理装置１のハードウエア構成例を示したブロック図である。
　情報処理装置１の装置形態としては、例えばパーソナルコンピュータ等とすることが考えられる。
　図５において、情報処理装置１のＣＰＵ１１は、ＲＯＭ（Read Only Memory）１２やＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部１４に記憶されているプログラム、又は記憶部１９からＲＡＭ（Random Access Memory）１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及び不揮発性メモリ部１４は、バス２３を介して相互に接続されている。このバス２３にはまた、入出力インタフェース１５も接続されている。
　入出力インタフェース１５には、操作子や操作デバイスよりなる入力部１６が接続される。
　例えば入力部１６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部１６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ１１によって解釈される。
　また入出力インタフェース１５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなる表示部１７や、スピーカなどよりなる音声出力部１８が一体又は別体として接続される。
　表示部１７は各種表示を行う表示部であり、例えば情報処理装置１の筐体に設けられるディスプレイデバイスや、情報処理装置１に接続される別体のディスプレイデバイス等により構成される。
　表示部１７は、ＣＰＵ１１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部１７はＣＰＵ１１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
　入出力インタフェース１５には、ハードディスクや固体メモリなどより構成される記憶部１９や、モデムなどより構成される通信部２０が接続される場合もある。
　通信部２０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
　入出力インタフェース１５にはまた、必要に応じてドライブ２１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２２が適宜装着される。
　ドライブ２１により、リムーバブル記録媒体２２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部１９に記憶されたり、データファイルに含まれる画像や音声が表示部１７や音声出力部１８で出力されたりする。またリムーバブル記録媒体２２から読み出されたコンピュータプログラム等は必要に応じて記憶部１９にインストールされる。
　この情報処理装置１では、ソフトウエアを、通信部２０によるネットワーク通信やリムーバブル記録媒体２２を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ１２や記憶部１９等に記憶されていてもよい。
（1-3．実施形態としての構図制御）
　図６は、情報処理装置１のＣＰＵ１１が有する機能の説明図であり、ＣＰＵ１１が有する各種機能の機能ブロックと共に、図１に示した親カメラ２、子カメラ３、雲台４、スイッチャー５、及び位置検出装置６を併せて示している。
　図示のようにＣＰＵ１１は、キャリブレーション部Ｆ１、構図選択部Ｆ２、構図切替制御部Ｆ３、重み更新部Ｆ４、画像認識処理部Ｆ５、画枠算出部Ｆ６、座標計算部Ｆ７、雲台・カメラ制御部Ｆ８、及びカットアウト画像生成部Ｆ９としての機能を有する。
　キャリブレーション部Ｆ１は、親カメラ２による撮像画像の座標系と各子カメラ３の撮像可能範囲の座標系との間で座標変換を行うための座標変換行列を求めるためのキャリブレーション処理を行う。子カメラ３の撮像可能範囲とは、雲台４によるパン、チルトを用いて撮像を行うことが可能とされる範囲を意味する。
　本例では、構図制御を行う際の目標とする構図は、親カメラ２による撮像画像に基づき定める。例えば、「ＢＳ」や「ＷＳ」等の構図種別に従った画枠は、親カメラ２による撮像画像について画像認識処理を行った結果に基づき定められる。このため、親カメラ２による撮像画像の座標系をマスタ座標系として、該マスタ座標系において定めた画枠による構図が実現されるように、子カメラ３の座標系での該画枠の範囲の情報を座標変換を行って得、該子カメラ３の座標系での画枠の範囲の情報に基づいて子カメラ３の雲台４やズームの制御が行われる。
　キャリブレーション部Ｆ１は、この座標変換を行うための座標変換行列を求めるためのキャリブレーション処理を行う。
　具体的に、キャリブレーション処理では、表示部１７に対象とする子カメラ３の撮像画像と親カメラ２の撮像画像とを表示させ、ユーザに、それぞれの画像内で実空間上の同じ位置を映し出している位置を指定させる操作を行わせる。これら指定された位置の情報に基づいて、親カメラ２の座標系による座標情報を子カメラ３の座標系の座標情報に変換するための座標変換行列を求めることができる。ここで、座標変換行列は、子カメラ３ごとに求める。
　なお、図示は省略したが、キャリブレーション時には、情報処理装置１に対して対象とする子カメラ３の撮像画像を入力する。
　構図選択部Ｆ２は、構図選択テーブルに基づき、カメラの構図を選択する。
　図７は、構図選択テーブルの説明図である。
　構図選択テーブルは、カメラによる撮像対象と、カメラの構図種別との組み合わせごとに重み情報が対応づけられた情報である。
　ここでは、撮像対象イベントが音楽ライブイベントとされ、選択可能な撮像対象が音楽バンドのボーカル、ギター奏者、ベース奏者の何れかとされる場合に対応した構図選択テーブルの例を示している。
　撮像対象と構図種別との組み合わせごとに対応づけられた重み情報、換言すれば、撮像対象と構図種別との組み合わせで特定される構図ごとに対応づけられた重み情報は、その構図の選択率を示す情報と換言できる。
　本実施形態において、構図選択テーブルは少なくとも子カメラ３ごとに用意されており、構図選択部Ｆ２は、子カメラ３ごとに、対応する構図選択テーブルを用いて構図の選択を行う。
　本例において、構図選択テーブルは例えば記憶部１９等の所定のメモリ装置に記憶されており、構図選択部Ｆ２はこのように記憶された構図選択テーブルに基づいて各子カメラ３の構図選択を行う。
　構図選択テーブルについては、構図制御の対象とするカメラごとに、少なくとも構図種別と重み情報との組み合わせ設定を異ならせた複数種のテーブルを用意しておくことが考えられる。例えば、音楽プロデューサＡ、Ｂ、Ｃごとに、それらの音楽プロデューサが多用する構図が選択され易くなるようにそれぞれ構図種別と重み情報との組み合わせ設定が為された構図選択テーブルを用意しておき、それら構図選択テーブルのうちから構図選択部Ｆ２の構図選択に用いるテーブルをユーザにより選択可能となるようにしておく。これにより、撮像画像コンテンツを何れの音楽プロデューサ風のコンテンツとして仕上げるかをユーザに選択させることが可能となる。
　ここで、本例において構図選択部Ｆ２は、カメラごとの構図選択を、予め定められた禁止遷移となる構図遷移が生じないように、禁止遷移構図情報に基づいて行う。
　ここで言う禁止遷移とは、スイッチャー５により順次選択される画像間での構図遷移について、禁止される構図遷移を表すものである。
　構図選択部Ｆ２は、上記の禁止遷移構図情報と、スイッチャー５によるカメラの選択履歴情報（構図の履歴情報に相当）とに基づき、スイッチャー５により順次選択される画像間での構図遷移が、禁止遷移構図情報に定められた禁止遷移とならないように、構図選択テーブルに基づく構図選択を行う。
　具体的に構図選択部Ｆ２は、禁止遷移構図情報と、スイッチャー５が選択中のカメラの構図とに基づき、各子カメラ３の構図選択テーブルにおける構図のうちから、次にスイッチャー５により選択された場合に禁止遷移となってしまう構図を「禁止遷移構図」として特定し、この禁止遷移構図を除く構図のみを対象として、構図選択テーブルの重み情報に基づく構図選択を行う。
　図８を参照してこのような禁止遷移構図情報に基づいた構図選択の例を説明する。
　具体的に図８では、スイッチャー５が選択中の子カメラ３の構図が「ベース・ＷＳ」である状態において、「ベース・ＷＳ」の構図から「ベース・ＵＰ」の構図への遷移、及び撮像対象を「ベース」とする構図への遷移が禁止遷移として定められている場合における或る子カメラ３についての構図選択例を説明する。
　この場合の構図選択テーブルでは、「ベース・ＵＰ」の構図、及び撮像対象を「ベース」とする構図が禁止遷移構図となるため、構図選択部Ｆ２は、これらの構図を除外した構図（図示の例ではボーカルを撮像対象とする構図、及び「ベース・ＷＳ」の構図、及び「ベース・ＦＦ」の構図）を対象として構図選択を行う。
　これにより、対象とする子カメラ３が選択構図に切り替えられ、該子カメラ３の撮像画像がスイッチャー５により選択されたとしても、該スイッチャー５による出力画像の構図遷移が禁止遷移となってしまうことの防止を図ることができる。
　また、本例において構図選択部Ｆ２は、上記により説明した子カメラ３ごとの構図選択テーブルに基づく構図選択を、スイッチャー５による画像選択が行われたことを条件として実行する。
　つまり、スイッチャー５により各カメラからの撮像画像のうち何れかが新たに選択されると、それに応じて、各子カメラ３について、構図選択テーブルに基づく構図の選択が行われ、各子カメラ３の構図がそれぞれ選択された構図に制御される。
　また、本例において構図選択部Ｆ２は、スイッチャー５により画像選択中であるカメラを除外して構図選択テーブルに基づく構図選択を行う。上記のように本例では、スイッチャー５による画像選択が行われたことを条件として構図選択テーブルに基づく構図選択を行うが、この場合、該画像選択により画像選択中となったカメラを除外して、構図選択テーブルに基づく構図選択を行う。
　上記のようにスイッチャー５により画像選択中であるカメラを構図選択の対象から除外することで、スイッチャー５により選択されたカメラについて、撮像画像が選択中であるにも拘わらず構図切替が行われてしまうことの防止を図ることができる。
　また、本例における構図選択部Ｆ２は、撮像対象イベントの音声解析結果から特定される音楽伴奏区間のみを対象として構図選択テーブルに基づく構図選択を行う。
　一例として、各子カメラ３にマイクロフォンを備えさせ、各子カメラ３の撮像画像データに該マイクロフォンにより収音された音声のデータが付帯されるようにしておく。そして、構図選択部Ｆ２は、このように付帯された音声データについて音声解析を行って、音楽伴奏区間か否かの判定を行うようにする。この判定結果に基づき、構図選択部Ｆ２が、音楽伴奏区間のみを対象として、構図選択テーブルに基づく構図選択を行うようにする。
　なお、音声データの取得手法としては、上記のようなカメラのマイクロフォンを用いる手法に限定されない。例えば、ＰＡ（Public Address）機器等のカメラ以外の機器が備えるマイクロフォンにより収音された音声データを音声解析に用いることも考えられる。この場合、音声データは、カメラの撮像画像に付帯されるのではなく、撮像画像とは独立した系統のデータとして扱われる。
　なお、音声伴奏区間か否かの判定は、ユーザからの操作入力に基づき行うことも可能である。
　音楽イベントの撮像画像コンテンツについて、例えばＭＣ（Master of Ceremonies）部分等の曲間の部分は、曲中部分と比較して構図切替のニーズは低いものとなる。
　上記のように音楽伴奏区間のみを対象として構図選択を行うようにすれば、曲間の部分についてまで不要に構図切替が行われてしまうことの防止を図ることができ、構図切替に係る処理負担の軽減を図ることができる。
　図６において、構図切替制御部Ｆ３は、カメラの構図を構図選択部Ｆ２が選択した構図に切り替えるための制御を行う。具体的に、本例における構図切替制御部Ｆ３は、構図選択部Ｆ２が子カメラ３ごとに選択した構図を後述する画枠算出部Ｆ６に指示する処理を行う。
　重み更新部Ｆ４は、構図選択テーブルにおける重み情報を更新する。
　一例として、重み更新部Ｆ４は、スイッチャー５によるカメラの選択履歴情報に基づいて重み情報を更新する。この場合の重み更新部Ｆ４は、スイッチャー５によるカメラの選択、換言すれば撮像画像の選択が行われるごとに、その撮像画像と構図の情報を選択履歴情報として例えば記憶部１９等の所定の記憶装置に記憶する処理を行っており、該選択履歴情報に基づき、構図選択テーブルにおける重み情報の更新を行う。
　本例において重み更新部Ｆ４は、各構図選択テーブルにおける構図ごとの重み情報のうち、スイッチャー５により頻繁に選択されている（選択頻度が一定頻度以上の）構図の重み情報について、重みが上昇されるようにする処理を行う。
　これにより、スイッチャー５において好まれて良く使用される構図が選択され易くなるように重み更新が行われる。
　従って、スイッチャー５のユーザの好みにできるだけ近づけるように撮像画像コンテンツの構図制御を行うことが可能となり、撮像画像コンテンツの質向上を図ることができる。
また、重み更新部Ｆ４は、撮像対象イベントの内容に基づき重みを更新する。具体的に、本例における重み更新部Ｆ４は、撮像対象イベントの内容として、例えばギターソロ等の楽器のソロパート部分が検出された場合に、該楽器の奏者を撮像対象とする構図の重みを上昇させるように重み情報の更新を行う。
　本例において、楽器のソロパート部分の検出は、例えば撮像対象イベントの音声解析結果に基づき行う。具体的には、例えば前述のように各子カメラ３の撮像画像に付帯されている音声データ、或いはＰＡ機器等で得られる音声データについての音声解析を行った結果に基づき行う。
　なお、楽器のソロパート部分の検出は、ユーザの操作入力に基づき行うことも可能である。
　上記のように楽器のソロパート部分が検出されたことに応じて該楽器の奏者を撮像対象とする構図の重みを大きくすることで、イベントの内容に応じた適切な構図が選択され易くなるようにすることが可能となり、撮像画像コンテンツの質向上を図ることができる。
　ここで、重み更新部Ｆ４について、重み情報の更新を行うタイミングについては、少なくとも下記の二例が考えられる。
　第一例は、スイッチャー５による画像選択が行われたことを条件として重み情報を更新する例である。
　これにより、或るカメラ（或る構図）がスイッチャー５により選択されたことに応じて、選択されなかった他カメラについて、どの構図を選択され易くするか（或いは選択され難くするか）についての調整を行うことが可能となる。
　従って、選択されなかったカメラについて、次のスイッチャー５による画像選択に適した構図が選択され易くなるように図ることができ、スイッチャー５が選択対象とする撮像画像に適切な構図による撮像画像が含まれる可能性を高めることが可能となり、撮像画像コンテンツの質向上に繋がる。
第二例は、撮像対象イベントの音声解析結果から所定の音変化が検出されたことを条件に重み情報を更新する例である。例えば、歌唱部分から楽器のソロパート部分への変化等、所定の曲調変化が検出されたことを条件に、重み情報を更新することが考えられる。
　これにより、例えばギターソロのパートに遷移したと推定される音変化が検出されたことに応じて、ギター奏者を撮像対象とする構図が選択され易くなるように重み更新を行う等といったように、撮像対象イベントの音の面での内容が特定内容に遷移したことに応じて、該特定内容に応じた適切な構図が選択され易くなるように重み更新を行うことが可能となる。
　従って、撮像画像コンテンツの質向上を図ることができる。
　画像認識処理部Ｆ５は、親カメラ２による撮像画像について画像認識処理を行う。ここでの画像認識処理は、人物としての被写体の顔や位置、範囲の認識処理、人物として認識された被写体についてのボーン推定（例えば顔、胴体、腕、足のような主要な部位で人体の構成を表した人体の簡易モデルの生成）が少なくとも含まれる。
　本例において、撮像対象としての被写体の位置の情報は、位置検出装置６による検出結果のみでなく、親カメラ２の撮像画像に基づく被写体認識結果も用いて総合的に求めるものとしている。すなわち、以下で説明する画枠算出部Ｆ６は、或る被写体を追尾する画枠の算出にあたり、該被写体の位置の情報を位置検出装置６による位置検出結果と画像認識処理部Ｆ５による被写体認識結果とに基づき求める。
　画枠算出部Ｆ６は、構図切替制御部Ｆ３によって指示された構図が実現されるようにするための画枠の算出を行う。先の説明から理解されるように、ここで言う画枠とは、親カメラ２による撮像画像の座標系での画枠である。本例において、構図制御の対象は各子カメラ３とされ、構図切替制御部Ｆ３からは子カメラ３ごとに構図が指示されるため、画枠算出部Ｆ６は、それら指示された構図に対し、子カメラ３ごとの画枠算出を行う。
　具体例として、例えば或る子カメラ３について、撮像対象が「ボーカル」、構図種別が「ＵＰ」である構図が指示された場合、画枠算出部Ｆ６は、「ボーカル」としての被写体の位置情報を、位置検出装置６による位置検出結果と画像認識処理部Ｆ５による被写体の認識結果とに基づき取得する。またこれと共に、「ＵＰ」による構図を実現する上では「ボーカル」の被写体のボーン推定情報が必要となるため、該ボーン推定情報を画像認識処理部Ｆ５より取得する。そして、これらの取得情報に基づいて、「ボーカル」を「ＵＰ」としての大きさで捉えるための画枠を算出する。
　また、画枠算出部Ｆ６は、例えばユーザからの操作入力等に基づき、必要に応じて、仮想カメラ（本例ではＣＡＭ１からＣＡＭ３）についての画枠の算出も行う。
　座標計算部Ｆ７は、画枠算出部Ｆ６が算出した子カメラ３（本例ではＣＡＭ４からＣＡＭ７）についての画枠の情報（親カメラ２の座標系での座標情報）を、子カメラ３の座標系での座標情報に変換する。この座標変換には、キャリブレーション部Ｆ１により求められた座標変換行列が用いられる。
　雲台・カメラ制御部Ｆ８は、座標計算部Ｆ７による座標変換が行われた画枠の情報に基づき、該画枠の情報が示す範囲を撮像する構図が得られるように、子カメラ３ごとに、必要に応じて雲台４のパン、チルトの制御、及び子カメラ３のズーム制御を行う。
　これにより、各子カメラ３の構図を、構図選択部Ｆ２が選択した構図に切り替えることが可能となる。
　カットアウト画像生成部Ｆ９は、画枠算出部Ｆ６が算出した仮想カメラについての画枠の情報（親カメラ２の座標系での座標情報）に従って、親カメラ２による撮像画像に対し必要に応じて画像切り出しを行って、ＣＡＭ１、ＣＡＭ２、ＣＡＭ３の撮像画像を生成する。
（1-4．処理手順）
　続いて、図９及び図１０のフローチャートを参照し、上記により説明した第一実施形態としての構図制御を実現するための具体的な処理手順例について説明する。
　これら図９及び図１０に示す処理は、情報処理装置１のＣＰＵ１１が実行する。
　図９は、構図選択テーブルに基づく構図選択及び選択した構図に切り替える構図制御を実現するための処理手順例を示している。
　先ず、ステップＳ１０１でＣＰＵ１１は、構図切替トリガが発生するまで待機する。先の説明から理解されるように、本例では、構図切替トリガの発生条件はスイッチャー５による画像選択が行われ、且つ音楽伴奏区間であるとの条件であり、ステップＳ１０１でＣＰＵ１１は、該条件の成立を待機する処理を行う。
　構図切替トリガが発生した場合、ＣＰＵ１１はステップＳ１０２に進み、対象カメラごとに禁止遷移となる構図を特定する処理を行う。すなわち、前述した禁止遷移構図情報と、スイッチャー５が選択中のカメラの構図の情報（前述したカメラの選択履歴情報に基づく）とに基づき、各子カメラ３の構図選択テーブルにおける構図のうちから次にスイッチャー５により選択された場合に禁止遷移となってしまう構図を「禁止遷移構図」として特定する処理を行う。
　なお確認のため述べておくと、ステップＳ１０２の特定処理では、少なくとも何れかの構図選択テーブルにおいて、禁止遷移構図に該当する構図がないとの特定結果が得られる場合もある。
　ステップＳ１０２に続くステップＳ１０３でＣＰＵ１１は、禁止遷移となる構図を除く構図を対象として、構図選択テーブルに基づき構図を選択する処理を行う。すなわち、禁止遷移構図に該当する構図のある構図選択テーブルについては、禁止遷移構図を除く構図を対象として重み情報に基づく構図選択を行う。禁止遷移構図に該当する構図のない構図選択テーブルについては、テーブルにおける各構図を対象として、重み情報に基づく構図選択を行う。
　なお、全ての構図が禁止遷移構図である場合には、他のカメラの選択に対して次の構図選択を見越して構図の決定を行う。
　ここで、前述のようにスイッチャー５により画像選択中であるカメラを除外して構図選択テーブルに基づく構図選択を行う場合、ステップＳ１０３では、該当するカメラについて構図選択テーブルに基づく構図選択を実行しない。これにより、スイッチャー５により画像選択中であるカメラについて、構図切替が行われてしまうことの防止を図ることができる。
　ステップＳ１０３に続くステップＳ１０４でＣＰＵ１１は、選択した構図となるように対象カメラの構図を制御する。すなわち、ステップＳ１０３で構図選択テーブルに基づき構図選択が行われた子カメラ３を対象カメラとして、該対象カメラの構図を、前述した構図切替制御部Ｆ３、画像認識処理部Ｆ５、画枠算出部Ｆ６、座標計算部Ｆ７、及び雲台・カメラ制御部Ｆ８としての処理を行うことで、選択された構図に切り替える。
　ステップＳ１０４に続くステップＳ１０５でＣＰＵ１１は、処理終了条件が成立したか否かを判定する。ここでの処理終了条件は、例えば撮像画像コンテンツの生成を終了すべき状態になったこと等、予め図９に示す一連の処理を終了すべきものとして定められた所定条件である。
　処理終了条件が成立していないと判定した場合、ＣＰＵ１１はステップＳ１０１に戻る。これにより、再度の構図切替トリガの発生に応じて、該当する子カメラ３について、構図選択テーブルに基づく構図選択や選択構図への切替処理が再度実行される。
　一方、処理終了条件が成立したと判定した場合、ＣＰＵ１１は図９に示す一連の処理を終える。
　図１０は、重み情報の更新に係る処理のフローチャートである。
　ＣＰＵ１１はステップＳ２０１で、重み更新トリガの発生を待機する。先の説明から理解されるように、重み更新トリガとしては、前述した第一例と第二例とが考えられる。第一例の場合、ステップＳ２０１では、スイッチャー５による画像選択を待機する。第二例の場合、ステップＳ２０１では、撮像対象イベントの音声解析結果から所定の音変化が検出されること（例えば、歌唱部分から楽器のソロパート部分への変化が検出されること）を待機する。
　重み更新トリガが発生した場合、ＣＰＵ１１はステップＳ２０２に進み、各カメラの構図選択テーブルにおける構図ごとの重みを決定する処理を行う。
　例えば、先に説明したようにスイッチャー５により頻繁に選択される構図が選択され易くなるように重み更新を行う場合には、スイッチャー５による選択頻度が一定頻度以上の構図の重み情報について、より高い数値を決定する。
　また、撮像対象イベントの内容に基づき重みを更新する場合には、例えば楽器のソロパート部分が検出された場合に対応して、該楽器の奏者を撮像対象とする構図の重み情報について、より高い数値を決定する。
　ステップＳ２０２に続くステップＳ２０３でＣＰＵ１１は、決定した重みに更新する処理を行う。すなわち、カメラごとの構図選択テーブルにおける重み情報のうち、該当する重み情報の数値を、ステップＳ２０２で決定した数値に更新する処理を行う。
　ステップＳ２０３に続くステップＳ２０４でＣＰＵ１１は、処理終了条件が成立したか否かを判定する。ここでの処理終了条件は、例えば撮像画像コンテンツの生成を終了すべき状態になったこと等、予め図１０に示す一連の処理を終了すべきものとして定められた所定条件である。
　処理終了条件が成立していないと判定した場合、ＣＰＵ１１はステップＳ２０１に戻る。これにより、再度の重み更新トリガの発生に応じて、該当する重み情報についての更新が実行される。
　一方、処理終了条件が成立したと判定した場合、ＣＰＵ１１は図１０に示す一連の処理を終える。
　なお、上記では、構図選択テーブルに基づく構図選択を、スイッチャー５による画像選択が行われたことを条件として実行する例を挙げたが、構図選択テーブルに基づく構図選択は、撮像対象イベントの内容変化に応じて行うこともできる。
　例えば、撮像対象イベントの音声解析結果等に基づき、歌唱部分から楽器のソロパート部分への変化等、所定の曲調変化（イベント内容変化）が検出されたことを条件に、構図選択テーブルに基づく構図選択を行うことが考えられる。
　このように撮像対象イベントの内容変化に応じて構図選択テーブルに基づく構図選択を行うことで、撮像対象イベントの内容変化に応じた適切な構図切替が行われるように図ることができる。
　また、構図選択テーブルに基づく構図選択は、前回の構図選択に基づく構図切替からの経過時間に応じて行うことも考えられる。例えば、前回の構図選択に基づく構図切替から一定時間が経過したことを条件に行う等である。
　また、構図選択テーブルに基づく構図選択は、ユーザによる所定の操作入力に応じて行うことも考えられる。この場合、例えば所定ボタンが操作されることで、スイッチャー５により画像選択中のカメラを除くカメラについて、構図選択テーブルに基づく構図選択、及び選択構図への切り替えが行われるようになる。
　また、重み情報の更新については、スイッチャー５によるカメラの選択履歴情報に基づき、スイッチャー５により選択されたことのある構図の重みを低下させているようにすることもできる。
　これにより、スイッチャー５により選択されたことのある構図が選択され難くなるように重み更新が行われ、撮像画像コンテンツにおいて同一構図が頻発してしまうことの防止を図ることができ、コンテンツの質低下防止を図ることができる。
＜２．第二実施形態＞
　続いて、第二実施形態について説明する。
　第二実施形態は、外部装置による撮像対象に関する入力情報に基づいて重み情報を更新するものである。
　なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
　図１１は、第二実施形態としての画像処理システム１００Ａの構成例を示した図である。
　図１に示した画像処理システム１００との相違点は、情報処理装置１に代えて情報処理装置１Ａが設けられた点、情報処理装置１ＡとネットワークＮＴを介して通信可能とされたサーバ装置７が設けられた点、及び、ロボットカメラ８が追加された点である。
　なお、ネットワークＮＴは、本例ではインターネットとされる。
　サーバ装置７は、スイッチャー５による選択出力画像に基づき生成される撮像画像コンテンツの配信サーバとしてのサーバ装置と、ＳＮＳ（Social Networking Service）サーバとしてのサーバ装置とを包括的に示したものである。ここで言うＳＮＳサーバとは、ネットワークＮＴに接続されたスマートフォンやタブレット端末、パーソナルコンピュータ等の情報処理端末に対し、ＳＮＳサイトのＷＥＢページデータを取得させる機能や、該情報処理端末からの投稿情報等の情報入力を受け付けてＳＮＳサイトに反映させる機能を少なくとも有するサーバ装置を意味する。
　本例において、撮像画像コンテンツの配信サーバとしての機能には、情報処理端末からの投げ銭を受け付ける機能が含まれている。
　なお、サーバ装置７を構成するコンピュータ装置のハードウエア構成については図５に示したものと同様となることから図示による説明は省略する。
　ここで、サーバ装置７としての機能を複数のコンピュータ装置による協業により実現する構成を採ることも可能である。
　ロボットカメラ８は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子により撮像画像を得るカメラ部と、カメラ部を支持する支持部とを有し、該支持部が自走可能に構成されている。詳細な図示は省略するが、本例のロボットカメラ８は、カメラ部の高さ方向における位置の調整やパン及びチルトとしての撮像方向の調整が自在に構成されている。
ロボットカメラ８におけるカメラ部により得られた撮像画像は、スイッチャー５に入力される（図中、ＣＡＭ８）。
　また、ロボットカメラ８におけるカメラ部の高さ位置や撮像方向の調整、及び走行の制御は、情報処理装置１Ａの制御に基づき行われる。
　図１２は、ロボットカメラ８の配置例についての説明図である。
　図示のように本例においてロボットカメラ８は、イベント会場（本例ではライブ会場）におけるステージ上に配置される。
　この場合、ロボットカメラ８の走行制御は、ステージ上に予め定められた走行ラインＬａの情報に基づき行われる。本例において、走行ラインＬａとしては、ステージ上に複数配置される各演者（例えば、アイドルグループの各メンバー）ごとに定められており、情報処理装置１Ａは、或る演者を撮像対象とする構図に切り替える際には、該演者に対応して定められた走行ラインＬａ上をロボットカメラ８が走行するように、ロボットカメラ８の走行制御を行う。
　ここで、図示は省略したが、情報処理装置１ＡにおけるＣＰＵ１１としても、子カメラ３を対象とした構図制御に係る機能として、先の図６に示したキャリブレーション部Ｆ１、構図選択部Ｆ２、構図切替制御部Ｆ３、重み更新部Ｆ４、画像認識処理部Ｆ５、画枠算出部Ｆ６、座標計算部Ｆ７、及び雲台・カメラ制御部Ｆ８としての機能を有する。
　但し、第二実施形態では、重み更新部Ｆ４が下記で説明する機能を有する点が、第一実施形態の場合と異なる。
　この場合における重み更新部Ｆ４は、外部装置による撮像対象に関する入力情報に基づいて重み情報を更新する機能を有する。具体的に、この場合における重み更新部Ｆ４は、前述した情報処理端末からサーバ装置７に対する投げ銭の情報、又はＳＮＳサイトに対する情報処理端末からの投稿情報に基づき、構図選択テーブルにおける重み情報の更新を行う。
　より具体的には、投げ銭の額が最も多かったメンバー、又は投稿コメント数が最も多かったメンバーを撮像対象とする構図が選択され易くなるように、構図選択テーブルの重み情報を更新する。
　ここで、イベントにおける演者に対する投げ銭や応援コメント等の投稿情報は、撮像対象イベントの演者に対する視聴者評価に関する情報（視聴者評価情報）と換言できる。ここで言う視聴者評価とは、撮像対象イベントを撮像して得られる撮像画像コンテンツの視聴者が演者について行う評価を意味する。
　上記したような演者に対する投げ銭や投稿情報に応じた重み更新は、視聴者評価情報に基づいた重み更新と換言することができる。
　図１３及び図１４を参照して、この場合における具体的な重み情報の更新例について説明する。
　図１３は、重み情報を更新する前の構図選択テーブルの例を、図１４は、重み情報更新後の構図選択テーブルの例を示している。
　ここでは、メンバーＡからメンバーＣの三人で成るグループのうちメンバーＡに対する投げ銭の額や投稿コメント数が最も多かった場合を例示しており、図１３から図１４への遷移として示すように、メンバーＡ以外のメンバーを撮像対象とする構図に対する重みを全て０とし、メンバーＡを撮像対象とする構図に対してのみ０よりも大きな重みを与えるようにする。
　これにより、構図選択テーブルに基づく構図選択が行われた場合に、必ず、投げ銭の額や投稿コメントが最も多かったメンバーを撮像対象とする構図への切り替えが行われるようにすることができる。
　また、第二実施形態では、図１１に示したロボットカメラ８についても、構図選択テーブルに基づく構図選択や選択構図への切替制御を行うが、ロボットカメラ８についての構図選択テーブルについては、例えば図１５に例示するようなテーブルとすることが考えられる。
　具体的に、ロボットカメラ８についての構図選択テーブルとしては、構図種別に走行ラインＬａの情報を含むテーブルとすることが考えられる。図示のようにメンバーＡを撮像対象とする構図については、構図種別の情報として、メンバーＡに対応した走行ラインＬａである走行ラインＡの情報を格納し、メンバーＢを撮像対象とする構図については、構図種別の情報として、メンバーＢに対応した走行ラインＬａである走行ラインＢの情報を格納する等、この場合の構図種別の情報としては、撮像対象とするメンバーに対応して定められた走行ラインＬａを示す情報を格納する。
　また、本例では、ロボットカメラ８についての構図選択テーブルには、構図種別の情報にアングルの情報を含ませる。図１５の例では、各メンバーの一部の構図について、構図種別の情報として走行ラインＬａの情報と共にローアングル（撮像対象を下方から見上げるアングル）としてのアングル情報を格納するものとしている。
　なお、アングル情報としてはローアングルに限定されるものではく、例えば撮像対象としての人物を目線の高さから見るアングル（コンテンツを見る者にとっては撮像対象としての人物と見つめ合うようなアングルとなる）等、多様に考えられるものである。
　第二実施形態では、ロボットカメラ８についても、投げ銭の額や投稿コメント数に応じた重み更新を行う。
　具体的に、この場合の重み更新部Ｆ４は、ロボットカメラ８の構図選択テーブルにおける重み情報についても、投げ銭の額が最も多かったメンバー、又は投稿コメントが最も多かったメンバーを撮像対象とする構図が選択され易くなるように更新を行う。
　図１６は、ロボットカメラ８の構図選択テーブルにおける重み情報の更新例の説明図である。
　ここでは、メンバーＡとメンバーＢのうちメンバーＡに対する投げ銭の額、又は投稿コメント数が最も多かった場合の更新例を示している。
　図１５と対比して分かるように、この場合、メンバーＢについての構図の重みは全て０とし、メンバーＡについての構図のうち「走行ラインＡとＵＰ」の組み合わせによる構図、及び「走行ラインＡとローアングル」の組み合わせによる構図の重みをそれぞれ０よりも大きい数値に更新している。具体的にこの場合、図示のように「走行ラインＡとＵＰ」の組み合わせによる構図の重みを２０、「走行ラインＡとローアングル」の組み合わせによる構図の重みを８０とする等、ローアングルを含む構図の重みが最も大きくなるようにしている。
　上記のような重み更新を行うことで、ロボットカメラ８についても、投げ銭の額や投稿コメントが最も多かったメンバーを撮像対象とする構図に必ず切り替えが行われるように図ることができる。
　また、上記のような重み更新によれば、該当するメンバーをローアングルで捉える構図が最も選択され易くなるようにすることができる。
　なお、図１５に例示したように、本例では、ローアングルによる構図についての元の重みを０としておき、投げ銭の額や投稿コメント数に応じた重み更新が行われた場合に、ローアングルによる構図の重みが最も高くなるようにしている。
これにより、ローアングルによる構図が、投げ銭の額や投稿コメント数に応じた構図切替が行われる場合にのみ発現されるように図ることができる。
　図１７は、上記により説明した第二実施形態としての重み更新を実現するための具体的な処理手順例を示したフローチャートである。
　なお、図１７に示す処理は、情報処理装置１ＡにおけるＣＰＵ１１が実行する。
　この場合のＣＰＵ１１はステップＳ３０１で外部情報による重み更新条件が成立するまで待機する。具体的に本例では、投げ銭の受付期間、又はメンバーに対する投稿コメントの受付期間の終了タイミングを待機する。
　なお、投稿コメントの受け付けについては、撮像画像コンテンツの配信前に予め行われることも想定される。その場合、ステップＳ３０１の処理としては、投稿コメントの受け付け終了タイミングから、投稿コメント数に応じた構図切替の対象とされる楽曲の開始タイミングまでの間の任意タイミングの到来を待機する処理とすること等が考えられる。
　外部情報による重み更新条件が成立した場合、ＣＰＵ１１はステップＳ３０２に進み、外部情報に基づく重み決定を行う。
　具体的には、先の図１３から図１６を参照して説明したように、各子カメラ３の構図選択テーブル、及びロボットカメラ８の構図選択テーブルを対象として、投げ銭の額、又は投稿コメント数が最も多かったメンバーを撮像対象とする構図が選択され易くなるように重み情報の数値決定を行う。
　このとき、ロボットカメラ８の構図選択テーブルにおける重み決定については、前述のようにローアングルによる構図が最も選択され易くなるようにして行う。
　ステップＳ３０２に続くステップＳ３０３でＣＰＵ１１は、決定した重みに更新する処理を行う。すなわち、各子カメラ３の構図選択テーブル、及びロボットカメラ８の構図選択テーブルについて、構図ごとの重み情報の数値を、ステップＳ３０２で決定した数値に更新する処理を行う。
　この場合のＣＰＵ１１は、ステップＳ３０３の処理を実行したことに応じて、ステップＳ２０４で処理終了条件が成立したか否かを判定し、処理終了条件が成立していないと判定した場合はステップＳ３０１に戻り、処理終了条件が成立したと判定した場合は図１７に示す一連の処理を終える。
なお、上記では、投げ銭の額や投稿コメント数の最も多かった演者を撮像対象とする構図が選択され易くなるように重み更新を行う例を挙げたが、投げ銭の額や投稿コメント数が多かった上位複数人の演者を捉えるグループショットとしての構図が選択され易くなるように構図選択テーブルの設定、及び重み更新を行うようにすることも考えられる。
　また、投げ銭の額や投稿コメント数に応じた重み更新としては、演者ごとの投げ銭の額の差や投稿コメント数の差が構図選択テーブルにおける演者ごとの重み情報の差として反映されるように行うことも考えられる。
　＜３．変形例＞
　ここで、実施形態としてはこれまでに説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
　例えば、上記では、構図選択テーブルを用いた構図選択や構図切替が実カメラの構図について行われる例を挙げたが、仮想カメラの構図について、構図選択テーブルを用いた構図選択や構図切替が行われるようにすることもできる。
　また、上記では、スイッチャー５により選択中のカメラを構図選択テーブルに基づく構図選択の対象外とする例を挙げたが、前回の構図切替からの経過時間が一定時間未満のカメラを、構図選択テーブルに基づく構図選択の対象から除外するということも考えられる。
　また、構図選択テーブルにおける重み更新については、重みの更新開始条件の成立タイミング、又は前回の重み更新タイミングから一定時間以上経過してもスイッチャー５で選択されなかった構図について、自動的に重み更新を行うことも考えられる。例えば、該当する構図について、選択され難くなるように重み小さくすることが考えられる。或いは逆に、該当する構図について、選択され易くするように重みを大きくすることも考えられる。
　また、上記では、構図選択テーブルに基づく構図選択を情報処理装置１（又は１Ａ）が行う例を挙げたが、構図選択テーブルをカメラに持たせておき、カメラが構図選択テーブルに基づく構図選択を行う構成とすることも考えられる。
　また、上記では、構図選択テーブルに基づく構図選択を行う装置と、選択構図への切り替えが行われるように雲台４等の構図変化手段に対する制御を行う装置とが一体に構成される例を挙げたが、これらの装置は別体に構成することもできる。この場合、後者の装置はイベント会場に配置し、前者の装置は例えばクラウドサーバ等としてイベント会場とは別の場所において後者の装置とネットワーク通信可能に配置すること等が考えられる。
　また、上記では、スイッチャー５により選択中のカメラ（いわゆるＰＧＭ出力中のカメラ）を除外して構図選択テーブルに基づく構図選択を行う例を挙げたが、スイッチャー５による選択としていわゆるNEXT（Preview）カメラ（ＰＧＭ出力中のカメラの次にＰＧＭ出力されるカメラ：ＰＧＭ出力の候補カメラ）の選択が可能とされる場合には、これらＰＧＭ出力中のカメラとNEXT（Preview）カメラのうちの双方、又はNEXT（Preview）カメラのみを除外して構図選択テーブルに基づく構図選択を行うことも可能である。
　また、これまでの説明では、スイッチャー５がハードウエア装置として構成される例を挙げたが、スイッチャー５は、情報処理装置によるソフトウエアプログラムにより実現されるものであってもよい。
　また、構図の切替制御に関して、禁止遷移構図以外の構図が既に対象のカメラの構図として設定されている状態で、且つ該構図が未だＰＧＭ出力されてないものである場合には、対象のカメラの構図選択テーブルにおける重み情報に拘わらず、対象のカメラの構図を切り替えずに維持させてもよい。
　また、これまでの説明では、撮像対象イベントが音楽ライブイベントである場合を例示したが、本技術は、例えばミュージカル等、ステージ上（屋内外を問わない）で演目が行われるイベントを始めとして、例えばスタジオ内での番組収録、野球、サッカー、バスケットボール、バレーボール等のスポーツ競技イベント等、他のイベントが撮像対象とされる場合にも好適に適用することができる。
＜４．プログラム＞
　以上、実施形態としての情報処理装置（同１又は１Ａ）を説明してきたが、実施形態のプログラムは、情報処理装置１や情報処理装置１Ａとしての処理をＣＰＵ等のコンピュータ装置に実行させるプログラムである。
　実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、カメラによる撮像対象とカメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、カメラの構図を選択し、カメラの構図を選択した構図に切り替えるための制御を行う機能、をコンピュータ装置に実現させるプログラムである。
　すなわち、このプログラムは、例えばコンピュータ装置に図９等で説明した処理を実行させるプログラムに相当する。
　このようなプログラムは、コンピュータ装置が読み取り可能な記録媒体、例えばＲＯＭやＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリーカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記録媒体に、一時的又は永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。
＜５．実施形態のまとめ＞
　上記のように実施形態としての情報処理装置（同１又は１Ａ）は、カメラによる撮像対象とカメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、カメラの構図を選択する構図選択部（同Ｆ２）と、カメラの構図を構図選択部が選択した構図に切り替えるための制御を行う構図切替制御部（同Ｆ３）と、を備えるものである。
　上記構成によれば、カメラの構図切り替えは構図選択テーブルに基づき自動的に行われるものとなり、また、構図選択テーブルにおける重み情報の設定により、カメラの構図切り替え態様を適切に設定可能となる。
　従って、構図切り替えを伴う撮像画像コンテンツについて、コンテンツの質向上とコンテンツ作成に係る作業コスト低減との両立を図ることができる。
　また、実施形態としての情報処理装置においては、カメラが複数あり、複数のカメラの撮像画像のうちからスイッチャー（同５）により画像選択が行われ、構図選択部は、スイッチャーによる画像選択が行われたことを条件として構図選択テーブルに基づくカメラの構図選択を実行している。
　これにより、複数カメラの撮像画像をスイッチャーにより選択して撮像画像コンテンツを生成する場合において、或るカメラ（或る構図）がスイッチャーにより選択されたことに応じて、選択されなかった他カメラの構図切替を行うことが可能となる。
　従って、選択されなかったカメラの構図が次のスイッチャーによる選択に適した構図に切り替えられるように図ることが可能となり、構図選択自動化による作業コスト低減を図りながら、コンテンツの質向上を図ることができる。
　さらに、実施形態としての情報処理装置においては、構図選択部は、カメラによる撮像対象イベントの内容変化に応じて構図選択テーブルに基づくカメラの構図選択を行っている。
　これにより、例えば撮像対象イベントが音楽ライブイベントである場合における演奏曲の曲調変化等、対象イベントの内容変化に応じてカメラの構図切替が行われるようにすることが可能となる。
　従って、撮像対象イベントの内容変化に応じた適切な構図切替が行われるように図ることができる。
　さらにまた、実施形態としての情報処理装置においては、構図種別は画角の種別を含んでいる。
　これにより、カメラの構図切替として、例えばＢＳ（バストショット）やＷＳ（ウエストショット）等の画角の異なる構図への切り替えを行うことができる。
　また、実施形態としての情報処理装置においては、構図種別はアングルの種別を含んでいる（図７、図１５等参照）。
　これにより、カメラの構図切替として、例えば撮像対象を下方から見上げるアングル（ローアングル）や目線の高さから見るアングル等、撮像対象に対する視線方向を変える構図切替を実現することができる。
　さらに、実施形態としての情報処理装置においては、構図選択テーブルにおける重みを更新する重み更新部（同Ｆ４）を備えている。
　構図選択テーブルにおける重みの更新により、各構図の選択され易さを切り替えることが可能となる。
　従って、例えばギターソロのパートではギターを撮像対象とする構図が選択され易くなるように重み更新を行う等、状況に応じた適切な構図切替が行われるように図ることができる。
　さらにまた、実施形態としての情報処理装置においては、カメラが複数あり、複数のカメラの撮像画像のうちからスイッチャーにより画像選択が行われ、重み更新部は、スイッチャーによるカメラの選択履歴情報に基づいて重みを更新している。
　これにより、例えば過去にスイッチャーで頻繁に選択されたことのある構図が選択され易くなるように重みを更新することでスイッチャーにおいて好まれてよく使用される構図が選択され易くなるようにしたり、逆に、スイッチャーで選択されたことのある構図が選択され難くなるように重みを更新することで撮像画像コンテンツにおいて同一構図が頻発してしまうことの防止、すなわちコンテンツの質低下の防止を図ったりする等といったことが可能となる。
　従って、構図選択テーブルに基づく構図切替として、スイッチャーによる過去のカメラ選択履歴（構図選択履歴）に基づいた適切な構図切替が行われるように図ることができ、コンテンツの質向上を図ることができる。
　また、実施形態としての情報処理装置においては、重み更新部は、スイッチャーにより選択されたことのある構図の重みを上昇させている。
　これにより、スイッチャーにおいて好まれて良く使用される構図が選択され易くなるように重み更新が行われる。
　従って、スイッチャーのユーザの好みにできるだけ近づけるように撮像画像コンテンツの構図制御を行うことが可能となり、撮像画像コンテンツの質向上を図ることができる。
　さらに、実施形態としての情報処理装置においては、重み更新部は、カメラによる撮像対象イベントの内容に基づき重みを更新している。
　これにより、例えば撮像対象イベントが音楽ライブでギターソロのパートとなった場合にギターを撮像対象とする構図が選択され易くする等、撮像対象イベントの内容に応じた適切な構図が選択され易くなるようにすることが可能となる。
　従って、撮像画像コンテンツの質向上を図ることができる。
　さらにまた、実施形態としての情報処理装置においては、重み更新部は、撮像対象イベントの音声解析結果に基づき重みを更新している。
　これにより、例えば撮像対象イベントが音楽ライブである場合のギターソロのパート部分等、音の面から推定されるイベントの内容に応じて、適切な構図が選択され易くなるように重み更新を行うことが可能となる。
　従って、撮像画像コンテンツの質向上を図ることができる。
　また、実施形態としての情報処理装置においては、重み更新部は、外部装置による撮像対象に関する入力情報に基づいて重みを更新している（第二実施形態を参照）。
　これにより、例えばアイドルグループにおける特定メンバーとしての撮像対象に対する投げ銭や応援コメント等、外部装置による撮像対象に関する入力情報に基づいて、重み更新を行うことが可能となる。例えば、投げ銭や応援コメントが最も多かった撮像対象を捉える構図が選択され易くなるように重み更新を行う等である。
　従って、コンテンツの被配信者等、撮像対象に関する情報入力を行った人の意思を適切に反映した構図による撮像画像コンテンツの生成を行うことができる。
　また、実施形態としての情報処理装置においては、重み更新部は、カメラによる撮像対象イベントの演者に対する視聴者評価に関する視聴者評価情報に基づいて重みを更新している。
　ここで言う視聴者評価とは、撮像対象イベントを撮像して得られる撮像画像コンテンツの視聴者が演者について行う評価を意味する。視聴者評価情報の例としては、例えば演者に対する投げ銭や応援コメント等の情報を挙げることができる。
　上記構成によれば、例えばアイドルグループにおける特定メンバーに対する投げ銭や応援コメント等、演者に対する視聴者評価情報に基づいて、重み更新を行うことが可能となる。例えば、投げ銭や応援コメントが最も多かった演者を捉える構図が選択され易くなるように重み更新を行う等である。
　従って、コンテンツ視聴者の意思を適切に反映した構図による撮像画像コンテンツの生成を行うことができる。
　さらに、実施形態としての情報処理装置においては、カメラが複数あり、複数のカメラの撮像画像のうちからスイッチャーにより画像選択が行われ、重み更新部は、スイッチャーによる画像選択が行われたことを条件として重みを更新している。
　これにより、或るカメラ（或る構図）がスイッチャーにより選択されたことに応じて、選択されなかった他カメラについて、どの構図を選択され易くするか（或いは選択され難くするか）についての調整を行うことが可能となる。
　従って、選択されなかったカメラについて、次のスイッチャーによる画像選択に適した構図が選択され易くなるように図ることができ、スイッチャーが選択対象とする撮像画像に適切な構図による撮像画像が含まれる可能性を高めることが可能となり、撮像画像コンテンツの質向上を図ることができる。
　さらにまた、実施形態としての情報処理装置においては、重み更新部は、カメラによる撮像対象イベントの音声解析結果から所定の音変化が検出されたことを条件に重みを更新している。
　これにより、例えば撮像対象イベントが音楽ライブでギターソロのパートに遷移したと推定される音変化が検出されたことに応じて、ギターを撮像対象とする構図が選択され易くなるように重み更新を行う等といったように、撮像対象イベントの音の面での内容が特定内容に遷移したことに応じて、該特定内容に応じた適切な構図が選択され易くなるように重み更新を行うことが可能となる。
　従って、撮像画像コンテンツの質向上を図ることができる。
　また、実施形態としての情報処理装置においては、カメラが複数あり、複数のカメラの撮像画像のうちからスイッチャーにより画像選択が行われ、構図選択部は、スイッチャーにより画像選択中であるカメラを除外して構図選択テーブルに基づく構図選択を行っている。
　これにより、スイッチャーにより選択されたカメラについて、撮像画像が選択中であるにも拘わらず構図切替が行われてしまうことの防止を図ることができる。
　さらに、実施形態としての情報処理装置においては、構図選択部は、カメラによる撮像対象イベントの音声解析結果から特定される音楽伴奏区間のみを対象として構図選択テーブルに基づく構図選択を行っている。
　音楽イベントの撮像画像コンテンツについて、例えばＭＣ部分等の曲間の部分は、曲中部分と比較して構図切替のニーズは低いものとなる。
　上記構成によれば、曲間の部分についてまで不要に構図切替が行われてしまうことの防止を図ることができ、構図切替に係る処理負担の軽減を図ることができる。
　さらにまた、実施形態としての情報処理装置においては、カメラが複数あり、複数のカメラの撮像画像のうちからスイッチャーにより画像選択が行われ、構図選択部は、スイッチャーによるカメラの選択履歴情報と構図選択テーブルとに基づいて構図選択を行っている。
　これにより、例えばギターを撮像対象とする構図からベースを撮像対象とする構図への切り替え等、特定の構図間の構図遷移が禁止遷移として定められている場合に対応して、該禁止遷移となる構図への切り替えが行われてしまうことの防止を図ることができる。
　また、実施形態としての情報処理方法は、情報処理装置が、カメラによる撮像対象とカメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、カメラの構図を選択し、カメラの構図を選択した構図に切り替えるための制御を行う情報処理方法である。
　このような情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜６．本技術＞
　なお本技術は以下のような構成も採ることができる。
（１）
　カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択する構図選択部と、
　前記カメラの構図を前記構図選択部が選択した構図に切り替えるための制御を行う構図切替制御部と、を備える
　情報処理装置。
（２）
　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
　前記構図選択部は、前記スイッチャーによる画像選択が行われたことを条件として前記構図選択テーブルに基づく前記カメラの構図選択を実行する
　前記（１）に記載の情報処理装置。
（３）
　前記構図選択部は、前記カメラによる撮像対象イベントの内容変化に応じて前記構図選択テーブルに基づく前記カメラの構図選択を行う
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記構図種別は画角の種別を含む
　前記（１）から（３）の何れかに記載の情報処理装置。
（５）
　前記構図種別はアングルの種別を含む
　前記（１）から（３）の何れかに記載の情報処理装置。
（６）
　前記構図選択テーブルにおける前記重みを更新する重み更新部を備えた
　前記（１）から（５）の何れかに記載の情報処理装置。
（７）
　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
　前記重み更新部は、前記スイッチャーによるカメラの選択履歴情報に基づいて前記重みを更新する
　前記（６）に記載の情報処理装置。
（８）
　前記重み更新部は、前記スイッチャーにより選択されたことのある構図の前記重みを上昇させる
　前記（７）に記載の情報処理装置。
（９）
　前記重み更新部は、前記カメラによる撮像対象イベントの内容に基づき前記重みを更新する
　前記（６）から（８）の何れかに記載の情報処理装置。
（１０）
　前記重み更新部は、前記撮像対象イベントの音声解析結果に基づき前記重みを更新する
　前記（９）に記載の情報処理装置。
（１１）
　前記重み更新部は、外部装置による前記撮像対象に関する入力情報に基づいて前記重みを更新する
　前記（６）から（１０）の何れかに記載の情報処理装置。
（１２）
　前記重み更新部は、前記カメラによる撮像対象イベントの演者に対する視聴者評価に関する視聴者評価情報に基づいて前記重みを更新する
　前記（６）から（１１）の何れかに記載の情報処理装置。
（１３）
　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
　前記重み更新部は、前記スイッチャーによる画像選択が行われたことを条件として前記重みを更新する
　前記（６）から（１２）の何れかに記載の情報処理装置。
（１４）
　前記重み更新部は、前記カメラによる撮像対象イベントの音声解析結果から所定の音変化が検出されたことを条件に前記重みを更新する
　前記（６）から（１３）の何れかに記載の情報処理装置。
（１５）
　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
　前記構図選択部は、前記スイッチャーにより画像選択中である前記カメラを除外して前記構図選択テーブルに基づく構図選択を行う
　前記（１）から（１４）の何れかに記載の情報処理装置。
（１６）
　前記構図選択部は、前記カメラによる撮像対象イベントの音声解析結果から特定される音楽伴奏区間のみを対象として前記構図選択テーブルに基づく構図選択を行う
　前記（１）から（１５）の何れかに記載の情報処理装置。
（１７）
　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
　前記構図選択部は、前記スイッチャーによるカメラの選択履歴情報と前記構図選択テーブルとに基づいて構図選択を行う
　前記（１）から（１６）の何れかに記載の情報処理装置。
（１８）
　情報処理装置が、
　カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択し、前記カメラの構図を前記選択した構図に切り替えるための制御を行う
　情報処理方法。
（１９）
　コンピュータ装置が読み取り可能なプログラムであって、
　カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択し、前記カメラの構図を前記選択した構図に切り替えるための制御を行う機能、を前記コンピュータ装置に実現させる
　プログラム。
１００，１００Ａ　画像処理システム
１，１Ａ　情報処理装置
２　親カメラ
３，３－１，３－２，３－３，３－４　子カメラ
４，４－１，４－２，４－３，４－４　雲台
５　スイッチャー
６　位置検出装置
６ａ　受信機
７　サーバ装置
８　ロボットカメラ
１１　ＣＰＵ
１２　ＲＯＭ
１３　ＲＡＭ
１４　不揮発性メモリ部
２０　通信部
２３　バス
Ｆ１　キャリブレーション部
Ｆ２　構図選択部
Ｆ３　構図切替制御部
Ｆ４　重み更新部
Ｆ５　画像認識処理部
Ｆ６　画枠算出部
Ｆ７　座標計算部
Ｆ８　雲台・カメラ制御部
Ｆ９　カットアウト画像生成部
ＮＴ　ネットワーク
Ｌａ　走行ライン

Claims (19)

  1. 　カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択する構図選択部と、
    　前記カメラの構図を前記構図選択部が選択した構図に切り替えるための制御を行う構図切替制御部と、を備える
    　情報処理装置。
  2. 　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
    　前記構図選択部は、前記スイッチャーによる画像選択が行われたことを条件として前記構図選択テーブルに基づく前記カメラの構図選択を実行する
    　請求項１に記載の情報処理装置。
  3. 　前記構図選択部は、前記カメラによる撮像対象イベントの内容変化に応じて前記構図選択テーブルに基づく前記カメラの構図選択を行う
    　請求項１に記載の情報処理装置。
  4. 　前記構図種別は画角の種別を含む
    　請求項１に記載の情報処理装置。
  5. 　前記構図種別はアングルの種別を含む
    　請求項１に記載の情報処理装置。
  6. 　前記構図選択テーブルにおける前記重みを更新する重み更新部を備えた
    　請求項１に記載の情報処理装置。
  7. 　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
    　前記重み更新部は、前記スイッチャーによるカメラの選択履歴情報に基づいて前記重みを更新する
    　請求項６に記載の情報処理装置。
  8. 　前記重み更新部は、前記スイッチャーにより選択されたことのある構図の前記重みを上昇させる
    　請求項７に記載の情報処理装置。
  9. 　前記重み更新部は、前記カメラによる撮像対象イベントの内容に基づき前記重みを更新する
    　請求項６に記載の情報処理装置。
  10. 　前記重み更新部は、前記撮像対象イベントの音声解析結果に基づき前記重みを更新する
    　請求項９に記載の情報処理装置。
  11. 　前記重み更新部は、外部装置による前記撮像対象に関する入力情報に基づいて前記重みを更新する
    　請求項６に記載の情報処理装置。
  12. 　前記重み更新部は、前記カメラによる撮像対象イベントの演者に対する視聴者評価に関する視聴者評価情報に基づいて前記重みを更新する
    　請求項６に記載の情報処理装置。
  13. 　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
    　前記重み更新部は、前記スイッチャーによる画像選択が行われたことを条件として前記重みを更新する
    　請求項６に記載の情報処理装置。
  14. 　前記重み更新部は、前記カメラによる撮像対象イベントの音声解析結果から所定の音変化が検出されたことを条件に前記重みを更新する
    　請求項６に記載の情報処理装置。
  15. 　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
    　前記構図選択部は、前記スイッチャーにより画像選択中である前記カメラを除外して前記構図選択テーブルに基づく構図選択を行う
    　請求項１に記載の情報処理装置。
  16. 　前記構図選択部は、前記カメラによる撮像対象イベントの音声解析結果から特定される音楽伴奏区間のみを対象として前記構図選択テーブルに基づく構図選択を行う
    　請求項１に記載の情報処理装置。
  17. 　前記カメラが複数あり、複数の前記カメラの撮像画像のうちからスイッチャーにより画像選択が行われ、
    　前記構図選択部は、前記スイッチャーによるカメラの選択履歴情報と前記構図選択テーブルとに基づいて構図選択を行う
    　請求項１に記載の情報処理装置。
  18. 　情報処理装置が、
    　カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択し、前記カメラの構図を前記選択した構図に切り替えるための制御を行う
    　情報処理方法。
  19. 　コンピュータ装置が読み取り可能なプログラムであって、
    　カメラによる撮像対象と前記カメラの構図種別との組み合わせごとに重み情報が対応づけられた構図選択テーブルに基づき、前記カメラの構図を選択し、前記カメラの構図を前記選択した構図に切り替えるための制御を行う機能、を前記コンピュータ装置に実現させる
    　プログラム。
PCT/JP2022/012408 2021-07-15 2022-03-17 情報処理装置、情報処理方法、プログラム WO2023286367A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/576,221 US20240314454A1 (en) 2021-07-15 2022-03-17 Information processing apparatus, information processing method, and program
JP2023535126A JPWO2023286367A1 (ja) 2021-07-15 2022-03-17
EP22841717.6A EP4373070A4 (en) 2021-07-15 2022-03-17 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021117214 2021-07-15
JP2021-117214 2021-07-15

Publications (1)

Publication Number Publication Date
WO2023286367A1 true WO2023286367A1 (ja) 2023-01-19

Family

ID=84919964

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012408 WO2023286367A1 (ja) 2021-07-15 2022-03-17 情報処理装置、情報処理方法、プログラム

Country Status (4)

Country Link
US (1) US20240314454A1 (ja)
EP (1) EP4373070A4 (ja)
JP (1) JPWO2023286367A1 (ja)
WO (1) WO2023286367A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277845A (ja) 2004-03-25 2005-10-06 Sony Corp 撮影制御装置
JP2008288745A (ja) 2007-05-16 2008-11-27 Hitachi Ltd 映像情報処理装置
WO2010027080A1 (ja) * 2008-09-08 2010-03-11 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム
JP2014192743A (ja) * 2013-03-27 2014-10-06 Olympus Corp 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2402011B (en) * 2003-05-20 2006-11-29 British Broadcasting Corp Automated video production
EP3285477B1 (en) * 2015-04-14 2023-06-28 Sony Group Corporation Image processing device, image processing method, and image processing system
JP7404067B2 (ja) * 2016-07-22 2023-12-25 ドルビー ラボラトリーズ ライセンシング コーポレイション ライブ音楽実演のマルチメディア・コンテンツのネットワーク・ベースの処理および配送
US11800047B2 (en) * 2019-03-20 2023-10-24 Sony Group Corporation Image processing device, image processing method, and program
CN112995509B (zh) * 2021-02-24 2022-11-11 深圳市沃特沃德信息有限公司 基于移动终端的摄像头切换方法、装置和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277845A (ja) 2004-03-25 2005-10-06 Sony Corp 撮影制御装置
JP2008288745A (ja) 2007-05-16 2008-11-27 Hitachi Ltd 映像情報処理装置
WO2010027080A1 (ja) * 2008-09-08 2010-03-11 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム
JP2014192743A (ja) * 2013-03-27 2014-10-06 Olympus Corp 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4373070A4

Also Published As

Publication number Publication date
EP4373070A4 (en) 2024-10-09
JPWO2023286367A1 (ja) 2023-01-19
EP4373070A1 (en) 2024-05-22
US20240314454A1 (en) 2024-09-19

Similar Documents

Publication Publication Date Title
KR102148006B1 (ko) 동영상에 특수 이펙트를 제공하는 방법 및 장치
JP6561241B2 (ja) サーバ装置、動画配信システム、それに用いられる制御方法及びコンピュータプログラム
JP2018505584A (ja) インタラクティブ双眼鏡ビデオ表示
JP6241802B1 (ja) 映像配信システム、ユーザ端末装置および映像配信方法
KR20190027323A (ko) 정보 처리장치, 정보 처리방법, 및 프로그램
US20230328355A1 (en) Information processing apparatus, information processing method, and program
WO2023286367A1 (ja) 情報処理装置、情報処理方法、プログラム
KR20200022640A (ko) 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법
US20230396873A1 (en) Information processing device, information processing method, and program
KR101943554B1 (ko) 스포츠 경기 정보 제공 방법 및 시스템
JP2005123750A (ja) 映像・地図連動システム及びその連動方法
JP7531714B2 (ja) 制御装置、撮影システムおよび追尾制御方法
WO2023037956A1 (ja) 演奏収録方法、演奏収録システムおよびプログラム
US20180167755A1 (en) Distributed Audio Mixing
WO2022137606A1 (ja) 管理サーバ
JP2014235301A (ja) ジェスチャーによるコマンド入力識別システム
WO2021244123A1 (en) A system and method of creating real-time intelligent media
WO2024116733A1 (ja) 情報処理装置、情報処理方法、記録媒体
US12132940B2 (en) Management server
EP4366321A1 (en) Image processing device, image processing method, and program
WO2024127565A1 (ja) 表示映像選択装置、表示映像選択方法及び表示映像選択プログラム
WO2022209648A1 (ja) 情報処理装置、情報処理方法および非一時的なコンピュータ可読記憶媒体
WO2023171120A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023189079A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20240179266A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023535126

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022841717

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022841717

Country of ref document: EP

Effective date: 20240215