WO2021200184A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021200184A1
WO2021200184A1 PCT/JP2021/010976 JP2021010976W WO2021200184A1 WO 2021200184 A1 WO2021200184 A1 WO 2021200184A1 JP 2021010976 W JP2021010976 W JP 2021010976W WO 2021200184 A1 WO2021200184 A1 WO 2021200184A1
Authority
WO
WIPO (PCT)
Prior art keywords
angle
view
shooting
information processing
image
Prior art date
Application number
PCT/JP2021/010976
Other languages
English (en)
French (fr)
Inventor
広志 池田
伊東　隆史
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/914,136 priority Critical patent/US20230328355A1/en
Priority to CN202180023935.XA priority patent/CN115315939A/zh
Priority to JP2022511862A priority patent/JPWO2021200184A1/ja
Publication of WO2021200184A1 publication Critical patent/WO2021200184A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and particularly to an information processing device, an information processing method, and a program that enable an image having an appropriate angle of view to be easily obtained with a small number of photographing devices.
  • This technology was made in view of such a situation, and makes it possible to easily obtain an image with an appropriate angle of view with a small number of photographing devices.
  • the information processing device on one aspect of the present technology includes an angle of view candidate setting unit that sets a plurality of angle of view candidates from a captured image range that can be captured by the first imaging device for a predetermined imaging space, and the plurality of images.
  • a shooting angle of view setting unit for setting a shooting angle of view of the first shooting device based on the angle candidate is provided.
  • the information processing apparatus sets a plurality of angle-of-view candidates from a captured image range that can be captured by the imaging device for a predetermined imaging space, and is based on the plurality of angle-of-view candidates. Then, the shooting angle of view of the shooting device is set.
  • the program of one aspect of the present technology sets a plurality of angle-of-view candidates from a shooting image range that can be shot by the shooting device for a predetermined shooting space, and shoots the shooting device based on the plurality of angle-of-view candidates. Set the angle of view.
  • a plurality of angle-of-view candidates are set from a shooting image range that can be shot by a shooting device for a predetermined shooting space, and based on the plurality of angle-of-view candidates, a shot image of the shooting device is set. The angle is set.
  • a in FIG. 1 shows an example of a scene of a news program.
  • newscaster 1, commentator 2, and commentator 3 are arranged in order from the right.
  • a monitor 4 is arranged between the newscaster 1 and the commentator 2.
  • a photographed image in which the newscaster 1, the commentator 2, and the commentator 3 are individually photographed by a bust shot a photographed image (group shot) in which the adjacent commentator 2 and the commentator 3 are collectively photographed, and the entire scene. It is assumed that the captured image of the image is at least captured.
  • FIG. 1 shows an example of a talk show scene.
  • the moderator 11, the guest 12, and the guest 13 are arranged in order from the right.
  • a photographed image in which the moderator 11, guest 12, and guest 13 are individually photographed by a bust shot a photographed image (group shot) in which adjacent guest 12 and guest 13 are collectively photographed, and the entire scene. It is assumed that the captured image of the image is at least captured.
  • C in FIG. 1 shows an example of a variety show scene.
  • the moderator 21 stands on the far left.
  • guests 22 to 24 are sitting in the first row of the hinamatsuri
  • guests 25 and 26 are sitting in the second row of the hinamatsuri.
  • a photographed image in which the moderator 21 and the guest 22 to the guest 26 are individually photographed by a bust shot a photographed image (group shot) in which the adjacent guest 22 to the guest 26 are collectively photographed, and the entire scene are photographed. It is assumed that the captured image is at least captured.
  • a method of obtaining images with a plurality of angles of view with one photographing device has been used.
  • a cutting method and a PTZ control method are known as methods for obtaining images having a plurality of angles of view with one photographing device.
  • the cropping method is a method in which a wide range is photographed with the PTZ (pan, tilt, and zoom) of the photographing device fixed, and an image having a required angle of view is extracted from the photographed image. For example, in the example of A in FIG. 1, a photographed image overlooking the entire scene is photographed, and an image of a bust shot of each person is individually cut out from the obtained photographed image.
  • PTZ pan, tilt, and zoom
  • the PTZ control method is a method in which the PTZ of the photographing device is driven to physically move the angle of view of the photographing device to take a picture.
  • the PTZ control method it is necessary to physically move the photographing device in order to change the angle of view (subject and composition), and it takes time to obtain an image with the required angle of view. Therefore, for example, the subject may move before the angle of view is adjusted, and an image having a desired angle of view may not be obtained.
  • this technology improves the disadvantages of both types and makes it possible to easily obtain an image with an appropriate angle of view with a small number of photographing devices.
  • FIG. 2 shows a configuration example of the information processing system 101 which is the first embodiment of the present technology.
  • the information processing system 101 includes a wide-angle camera 111, a microphone 112, a PTZ camera 113, an information processing device 114, and a switcher 115.
  • the wide-angle camera 111, the microphone 112, the PTZ camera 113, the information processing device 114, and the switcher 115 are connected to each other via a network configured by wire or / and wireless, and exchange various data.
  • the wide-angle camera 111 is composed of, for example, a shooting device capable of wide-angle shooting.
  • the wide-angle camera 111 is installed in, for example, a place where the shooting space can be widely seen (overlooked), and wide-angle shooting is performed so that the shooting space is widely included.
  • the wide-angle camera 111 transmits image data (hereinafter, referred to as wide-angle image data) corresponding to the captured image (hereinafter, referred to as wide-angle image) obtained by wide-angle photography to the information processing device 114.
  • the shooting space is a three-dimensional space in which the information processing system 101 is shot (targeted for shooting), and for example, an event (for example, program production, sports game, etc.) to be shot is performed. It is a space to be called.
  • the PTZ and position of the wide-angle camera 111 are usually fixed.
  • the microphone 112 collects the voice in the shooting space and transmits the voice data corresponding to the collected voice to the information processing device 114.
  • the PTZ camera 113 is composed of, for example, a photographing device capable of remotely controlling the PTZ.
  • the angle of view of the PTZ camera 113 is controlled by driving the PTZ under the control of the information processing device 114.
  • the PTZ camera 113 photographs the photographing space and transmits the image data corresponding to the acquired photographed image to the information processing device 114.
  • the position of the PTZ camera 113 is usually fixed.
  • the information processing device 114 is composed of, for example, a computer or the like.
  • the information processing device 114 calibrates the wide-angle camera 111 and the PTZ camera 113. Further, the information processing device 114 recognizes the situation of the photographing space based on the wide-angle image data and the audio data. For example, the state of the subject in the shooting space, the content of the scene in the shooting space (hereinafter referred to as the shooting scene), the content of the sound in the shooting space and the position of the sound source, the state of the event taking place in the shooting space, etc. However, it is recognized as the situation of the shooting space.
  • the information processing device 114 controls the angle of view of the PTZ camera 113 by driving the PTZ of the PTZ camera 113 according to the situation of the shooting space. Further, the information processing apparatus 114 cuts out an image having a required angle of view from the captured image taken by the PTZ camera 113, and image data corresponding to the cut out image (hereinafter referred to as a cutout image) (hereinafter referred to as cutout image data). Is referred to) is transmitted to the switcher 115. Further, the information processing device 114 transmits the wide-angle image data to the switcher 115.
  • the switcher 115 selects a necessary image from the wide-angle image and the cut-out image, and transmits the image data corresponding to the selected image to the subsequent stage. Further, the switcher 115 cuts out an image having a required angle of view from the wide-angle image as necessary, and transmits image data corresponding to the cut-out image to the subsequent stage.
  • FIG. 3 shows a configuration example of the hardware of the information processing device 114.
  • the CPU 201 the ROM (Read Only Memory) 202, and the RAM (Random Access Memory) 203 are connected to each other by the bus 204.
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes, for example, a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes, for example, a display, a speaker, and the like.
  • the storage unit 208 includes, for example, a non-volatile memory such as a hard disk.
  • the communication unit 209 communicates with the wide-angle camera 111, the microphone 112, the PTZ camera 113, and the switcher 115 by a predetermined communication method.
  • the drive 210 drives a removable recording medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the program executed by the information processing device 114 can be recorded and provided on the removable recording medium 211 as a package media or the like, for example.
  • the program recorded on the removable recording medium 211 is installed in the storage unit 208 via the input / output interface 205, for example, by mounting the removable recording medium 211 on the drive 210.
  • the program is received by the communication unit 209 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting, and is installed in the storage unit 208.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting
  • the program can be pre-installed in, for example, the ROM 202 or the storage unit 208.
  • the CPU 201 loads the program stored in the ROM 202 or the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the series of processing. Is done.
  • the description of the bus 204 and the input / output interface 205 when each part exchanges data via the bus 204 and the input / output interface 205 will be omitted.
  • the description of the bus 204 and the input / output interface 205 is omitted, and it is described that the CPU 201 and the communication unit 209 simply communicate with each other. ..
  • FIG. 4 shows a configuration example of the information processing unit 251 which is the first embodiment of the function realized by the CPU 201 of the information processing device 114 executing the program.
  • the information processing unit 251 includes a calibration unit 261, an imaging control unit 262, and a cutting unit 263.
  • the calibration unit 261 calibrates the wide-angle camera 111 and the PTZ camera 113.
  • the calibration unit 261 obtains the positions and orientations of the wide-angle camera 111 and the PTZ camera 113 in the world coordinate system common to the wide-angle camera 111 and the PTZ camera 113.
  • the calibration unit 261 obtains a transformation matrix for converting the world coordinate system into a camera coordinate system unique to each of the wide-angle camera 111 and the PTZ camera 113.
  • the camera coordinate system is a coordinate system based on the optical axes of the wide-angle camera 111 and the PTZ camera 113, respectively.
  • the calibration unit 261 supplies information regarding the conversion matrix of the wide-angle camera 111 and the PTZ camera 113 to the photographing control unit 262.
  • the shooting control unit 262 controls the angle of view of the PTZ camera 113 by controlling the PTZ of the PTZ camera 113.
  • the photographing control unit 262 includes a recognition unit 271, an angle of view setting unit 272, and an angle of view control unit 273.
  • the recognition unit 271 recognizes the situation in the shooting space based on the wide-angle image data from the wide-angle camera 111 and the audio data from the microphone 112. The recognition unit 271 supplies information regarding the recognized shooting space status to the angle of view setting unit 272.
  • the angle of view setting unit 272 sets the angle of view (hereinafter, referred to as a shooting angle of view) at which the PTZ camera 113 shoots the shooting space based on the situation of the shooting space.
  • the angle of view setting unit 272 includes an angle of view candidate setting unit 281 and a shooting angle of view setting unit 282.
  • the angle of view candidate setting unit 281 sets a plurality of angle of view candidates from the shooting image range that can be shot by the PTZ camera 113 based on the situation of the shooting space.
  • the angle of view candidate is, for example, an angle of view that is predicted to be used in broadcasting or the like.
  • the angle of view candidate setting unit 281 supplies information regarding the set angle of view candidate to the shooting angle of view setting unit 282.
  • the shooting angle of view setting unit 282 sets the shooting angle of view based on the angle of view candidates.
  • the shooting angle of view setting unit 282 supplies information on the shooting angle of view to the angle of view control unit 273. Further, the shooting angle of view setting unit 282 supplies information on the shooting angle of view and the angle of view candidates included in the shooting angle of view to the cutting unit 263.
  • the angle of view control unit 273 controls the angle of view of the PTZ camera 113 by driving the PTZ of the PTZ camera 113. Further, the angle of view control unit 273 supplies information indicating the state of the angle of view of the PTZ camera 113 to the cutout unit 263.
  • the cutout unit 263 cuts out an image having a required angle of view from the shot image taken by the PTZ camera 113, and transmits the cutout image data corresponding to the cutout image (cutout image) to the switcher 115 via the communication unit 209. do.
  • This process starts, for example, when shooting in the shooting space starts, and ends when shooting in the shooting space ends.
  • the calibration unit 261 calibrates the wide-angle camera 111 and the PTZ camera 113, and it is assumed that the conversion matrix of the wide-angle camera 111 and the PTZ camera 113 is known. That is, it is assumed that the positions and orientations of the wide-angle camera 111 and the PTZ camera 113 in the world coordinate system are known.
  • step S1 the recognition unit 271 recognizes the situation of the shooting space.
  • the recognition unit 271 acquires wide-angle image data from the wide-angle camera 111 and audio data from the microphone 112 via the communication unit 209.
  • the recognition unit 271 recognizes the situation in the shooting space by performing image recognition on the wide-angle image data and voice recognition on the voice data.
  • the recognition unit 271 recognizes the state of the subject in the wide-angle image. More specifically, the recognition unit 271 recognizes a subject existing in the wide-angle image by using a technique such as face detection, face recognition, posture recognition, action recognition, and object detection, and types of each subject. , Position, posture, movement, feature points, etc. are recognized.
  • FIG. 6 shows an example of feature points to be detected when the subject is a person.
  • the feature point Pf1L corresponds to the left eye, and the feature point Pf1R corresponds to the right eye.
  • the feature point Pf2L corresponds to the left ear and the feature point Pf2R corresponds to the right ear.
  • Feature point Pf3 corresponds to the nose.
  • Feature point Pf4 corresponds to the neck joint.
  • the feature point Pf5L corresponds to the left shoulder joint, and the feature point Pf5R corresponds to the right shoulder joint.
  • the feature point Pf6L corresponds to the left elbow joint, and the feature point Pf6R corresponds to the right elbow joint.
  • the feature point Pf7L corresponds to the left wrist joint, and the feature point Pf7R corresponds to the right wrist joint.
  • the feature point Pf8L corresponds to the left hip joint, and the feature point Pf8R corresponds to the right hip joint.
  • the feature point Pf9L corresponds to the left knee joint, and the feature point Pf9R corresponds to the right knee joint.
  • the feature point Pf10L corresponds to the left ankle joint, and the feature point Pf10R corresponds to the right ankle joint.
  • the recognition unit 271 recognizes the content of the shooting scene by using a technique such as scene recognition. Further, the recognition unit 271 determines a main subject (hereinafter referred to as a main subject) and a subject related to the main subject (hereinafter referred to as a related subject) based on the state of the subject and the content of the shooting scene. recognize.
  • a main subject hereinafter referred to as a main subject
  • a related subject a subject related to the main subject
  • the main person of the talk for example, the speaker, the guest, the central person of the topic, etc.
  • the monitor, the flip, etc. may be recognized as the main subject.
  • a person listening to the story of the main person, a companion of the main person, a flip, or the like may be recognized as a related subject.
  • the main characters of the live for example, a vocalist, a guitarist playing a guitar solo, etc.
  • the main subject for example, a member other than the main character, a co-star, a musical instrument, or the like may be recognized as a related subject.
  • the main person in the sport for example, the player holding the ball, the top player, etc.
  • the main subject for example, a player other than the main character, a ball, or the like may be recognized as a related subject.
  • the recognition unit 271 recognizes, for example, the content of the sound in the shooting space, the position of the sound source, and the like.
  • the recognition unit 271 recognizes the state of the event being performed in the shooting space based on, for example, the state of the subject, the content of the shooting scene, the content of the sound in the shooting space, the position of the sound source, and the like. ..
  • the recognition unit 271 supplies information regarding the status of the recognized shooting space to the angle of view setting unit 272.
  • step S2 the angle of view candidate setting unit 281 sets the angle of view candidate based on the situation of the shooting space.
  • the angle of view candidate setting unit 281 sets the angle of view candidate based on the main subject, the related subject, and the contents of the shooting scene.
  • the angle of view including the part above the chest of the main subject, which is the main subject, and the angle of view including the combination of the main subject and each related subject, etc. Is set as an angle of view candidate.
  • the angle of view including the part above the waist of the main subject (waist shot), the angle of view including the whole body (full figure), and the main subject
  • An angle of view or the like including a combination of each related subject is set as an angle of view candidate.
  • the angle of view including the whole body of the main person who is the main subject (full figure) and the angle of view including the combination of the main subject and each related subject are the angles of view. Set as a candidate.
  • FIG. 7 shows an example of setting the angle of view candidate.
  • an example of a wide-angle image of a talk show is schematically shown. People 301 to 304 are shown in this wide-angle image.
  • the auxiliary lines superimposed on the person 301 to the person 304 show the results of face recognition and skeleton recognition.
  • the person 301 stands near the right end in the wide-angle image, and the people 302 to 304 sit side by side in the range from the center of the wide-angle image to the left end.
  • the person 302 is speaking and the person 303 is listening to the person 302.
  • the person 302 is recognized as the main subject and the person 303 is recognized as the related subject.
  • the angle of view candidate Ac1 including the portion above the chest of the person 302 and the angle of view candidate Ac2 including the portion above the waist of the person 302 and the person 303 are set.
  • the angle of view candidate setting unit 281 supplies information on the set angle of view candidate to the shooting angle of view setting unit 282.
  • step S3 the shooting angle of view setting unit 282 calculates an image frame including all the angle of view candidates.
  • the shooting angle of view setting unit 282 calculates the minimum rectangular frame including all the angle of view candidates as the image frame.
  • step S4 the shooting angle of view setting unit 282 adds a margin to the calculated image frame.
  • the shooting angle of view setting unit 282 expands the image frame by adding a margin in at least one direction around the calculated image frame based on the movements of the main subject and the related subject.
  • the margin in the direction in which the movement of the main subject and the related subject is large is large, and the margin in the direction in which the movement of the main subject and the related subject is small is small.
  • step S5 the shooting angle of view setting unit 282 determines whether or not the cutout size of the main angle of view candidate is equal to or larger than the threshold value.
  • the shooting angle of view setting unit 282 sets the angle of view candidates based on the size, position, posture, movement, etc. of the main subject and related subjects, the content of the shooting scene, the purpose of the image, and the like.
  • the most important angle-of-view candidate (hereinafter referred to as the main angle-of-view candidate) is selected from among them.
  • the main angle-of-view candidate for example, television broadcasting, web distribution, production of video software, and the like are assumed.
  • the shooting angle of view setting unit 282 calculates the resolution (number of pixels) of the main angle of view candidates when the image of the shooting angle of view corresponding to the calculated image frame is taken by the PTZ camera 113.
  • the shooting angle of view setting unit 282 compares the calculated resolution with a predetermined threshold value.
  • This threshold varies, for example, depending on the intended use of the image.
  • the threshold is set to 1920 pixels ⁇ 1080 pixels (FHD) when the use of the image is television broadcasting, and is set to 1280 pixels ⁇ 720 pixels (HD) when the image is used for web distribution.
  • the shooting angle of view setting unit 282 determines that the cutout size of the main angle of view candidate is less than the threshold value, and the process proceeds to step S6.
  • step S6 the shooting angle of view setting unit 282 excludes the angle of view candidate closest to the edge of the image frame among the angle of view candidates other than the main angle of view candidate.
  • step S5 the processes of steps S3 to S6 are repeatedly executed until it is determined that the cutout size of the main angle of view candidate is equal to or larger than the threshold value.
  • the angle of view candidates other than the main angle of view candidates are deleted in order from the edge of the image frame until the cutout size (resolution) of the main angle of view candidates exceeds the threshold value, and the image frame becomes smaller.
  • the angle of view candidates included in the shooting angle of view are selected.
  • step S5 when the resolution of the main angle of view candidate is equal to or greater than the threshold value, the shooting angle of view setting unit 282 determines that the cutout size of the main angle of view candidate is equal to or greater than the threshold value, and the process proceeds to step S7.
  • step S7 the shooting angle of view setting unit 282 sets the calculated image frame as the shooting angle of view.
  • an area having a margin around the rectangular area including the selected angle of view candidate is set as the shooting angle of view.
  • the shooting angle of view setting unit 282 supplies information regarding the set shooting angle of view to the angle of view control unit 273. Further, the shooting angle of view setting unit 282 supplies the set shooting angle of view and information on the angle of view candidates included in the shooting angle of view to the angle of view control unit 273.
  • the shooting angle of view As including the angle of view candidate Ac1 and the angle of view candidate Ac2 and having a margin around them is set.
  • step S8 the angle of view control unit 273 determines whether or not the captured image of the PTZ camera 113 is used.
  • the angle of view control unit 273 is given a predetermined role to the captured image captured by the PTZ camera 113, for example, the image cut out from the captured image is an image for broadcasting or preview.
  • the image is output from the switcher 115, it is determined that the captured image of the PTZ camera 113 is used, and the process proceeds to step S9.
  • step S9 the angle of view control unit 273 controls the PTZ camera 113 at a low speed so that the shooting angle of view is set. Specifically, the angle of view control unit 273 drives the PTZ of the PTZ camera 113 at a gentle speed, and adjusts the angle of view of the PTZ camera 113 to the set shooting angle of view.
  • the PTZ drive speed of the PTZ camera 113 in this process is set based on, for example, the shutter speed of the PTZ camera 113, the allowable amount of motion blur, and the like.
  • the permissible amount of motion blur is based on, for example, the content of the shooting scene (for example, sports broadcasting, studio shooting, etc.), the purpose of the image (for example, television broadcasting, web distribution, production of video software, etc.). Set. For example, when the content of the shooting scene is a scene in which the subject moves a lot, such as sports, the allowable amount of motion blur is set to a large value. On the other hand, in the case of a scene in which the movement of the subject is small, such as in studio photography, the allowable amount of motion blur is set to a small value.
  • the angle of view of the PTZ camera 113 is set to the angle of view including all the selected angle of view candidates (hereinafter referred to as the total angle of view).
  • the full angle of view image including the person 302 and the person 303 is taken.
  • step S8 when the angle of view control unit 273 does not give a predetermined role to the image cut out from the captured image taken by the PTZ camera 113, for example, the image cut out from the captured image is If the image is not output from the switcher 115 as an image for broadcasting or preview, it is determined that the captured image of the PTZ camera 113 is not used, and the process proceeds to step S10.
  • step S10 the angle of view control unit 273 controls the PTZ camera 113 at high speed so that the shooting angle of view is set. Specifically, the angle of view control unit 273 drives the PTZ of the PTZ camera 113 at high speed so that the angle of view of the PTZ camera 113 becomes the set shooting angle of view at the shortest. For example, the PTZ is driven at the maximum speed allowed by the mechanical constraints of the PTZ camera 113.
  • the angle of view of the PTZ camera 113 is quickly set to the full angle of view.
  • step S11 the cutting unit 263 cuts out the captured image. Specifically, the cutting unit 263 acquires photographed image data (hereinafter, referred to as full angle of view image data) photographed at all angles of view from the PTZ camera 113. Then, the cutout unit 263 cuts out an image having an angle of view corresponding to each angle of view candidate from the total angle of view image corresponding to the total angle of view image data.
  • photographed image data hereinafter, referred to as full angle of view image data
  • an image of an angle of view including a bust shot of a person 302 corresponding to the angle of view candidate Ac1 of FIG. 7 is cut out.
  • the cutout unit 263 cuts out an image having an angle of view corresponding to all the angle of view candidates.
  • the angle of view of the cropped image and the corresponding angle of view candidate do not necessarily have to be exactly the same.
  • the angle of view of the cropped image may be adjusted so that the subject is appropriately included.
  • the cutout unit 263 transmits the cutout image data corresponding to the cutout image to the switcher 115 via the communication unit 209.
  • step S1 After that, the process returns to step S1, and the processes after step S1 are executed.
  • the PTZ method by effectively combining the PTZ method and the cutting method, it is possible to obtain an image having an appropriate angle of view and image quality with a small number of photographing devices. That is, since the angle of view candidates that may be used in advance are predicted and the shooting is performed at the shooting angle of view including all the predicted angle of view candidates, the image of the required angle of view is acquired at an appropriate timing. can do. Further, since the resolution of the main angle of view candidate is set to be equal to or higher than a predetermined threshold value, an image having good image quality can be obtained.
  • FIG. 10 shows a configuration example of the information processing system 401 which is the second embodiment of the present technology.
  • the parts corresponding to the information processing system 101 of FIG. 2 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the information processing system 401 of FIG. 10 is different from the information processing system 101 of FIG. 2 in that the wide-angle camera 111 is deleted.
  • the PTZ camera 113 captures both a wide-angle image and a full-angle image. Then, the information processing device 114 recognizes the situation of the shooting space based on the wide-angle image or the full angle-of-view image taken by the PTZ camera 113, and the audio data, and controls the shooting angle of view of the PTZ camera 113. ..
  • the wide-angle image is an image taken by setting the PTZ camera 113 to a wide-field angle of view.
  • the wide field of view angle of view is an angle of view that allows a wide view of the shooting space, and is, for example, an angle of view that maximizes the field of view of the PTZ camera 113.
  • the wide-field angle of view is an angle of view that allows a wide view of an event taking place in the shooting space, and is an angle of view that includes as many subjects (people and objects) related to the event as possible. be.
  • the angle of view that maximizes the field of view is the angle of view that maximizes the field of view within a predetermined set range of the PTZ camera 113, and is not necessarily the angle of view that mechanically maximizes the field of view of the PTZ camera 113. Not exclusively. For example, when the setting range of the field of view of the PTZ camera 113 is set to a range smaller than the maximum value of the mechanical field of view of the PTZ camera 113, the angle of view at which the field of view is maximized in the set range is the wide viewing angle of view. Is set to.
  • FIG. 11 shows a configuration example of the information processing unit 451 which is the second embodiment of the function realized by the CPU 201 of the information processing device 114 executing the program.
  • the parts corresponding to the information processing unit 251 in FIG. 3 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the information processing unit 451 is similar in that the calibration unit 261 and the cutting unit 263 are provided as compared with the information processing unit 251. Instead of the imaging control unit 262, the imaging control unit 461 is provided. The difference is that they are.
  • the shooting control unit 461 is similar to the shooting control unit 262 in that it includes an angle of view control unit 273, and instead of the recognition unit 271 and the angle of view setting unit 272, the recognition unit 471 and the angle of view setting unit 472.
  • the difference is that The angle of view setting unit 472 is similarly provided with the angle of view candidate setting unit 281 as compared with the angle of view setting unit 272, and is provided with the shooting angle of view setting unit 481 instead of the shooting angle of view setting unit 282. different.
  • the calibration unit 261 only calibrates the PTZ camera 113.
  • the recognition unit 471 recognizes the situation of the shooting space based on the wide-angle image or the full angle-of-view image taken by the PTZ camera 113 and the sound collected by the microphone 112.
  • the recognition unit 471 supplies information regarding the recognized shooting space status to the angle of view setting unit 472.
  • the shooting angle of view setting unit 481 sets the shooting angle of view based on the angle of view candidates. Further, the shooting angle of view setting unit 481 sets the shooting angle of view to the wide field of view angle of view at a predetermined timing.
  • the shooting angle of view setting unit 481 supplies information on the shooting angle of view to the angle of view control unit 273. Further, the shooting angle of view setting unit 481 supplies information on the shooting angle of view and the angle of view candidates included in the shooting angle of view to the cutting unit 263.
  • This process starts, for example, when shooting in the shooting space starts, and ends when shooting in the shooting space ends.
  • step S101 the information processing unit 451 performs high-speed control of the PTZ camera 113 so as to have a wide viewing angle of view.
  • the shooting angle of view setting unit 481 sets the shooting angle of view to the wide field of view angle of view, and supplies information regarding the set shooting angle of view to the angle of view control unit 273.
  • the angle of view control unit 273 drives the PTZ of the PTZ camera 113 at high speed so that the angle of view of the PTZ camera 113 is the shortest and has a wide viewing angle.
  • the angle of view of the PTZ camera 113 is set to the wide-field angle of view, and the PTZ camera 113 performs wide-angle shooting in the shooting space.
  • step S102 the recognition unit 471 recognizes the situation in the shooting space. Specifically, the recognition unit 471 acquires wide-angle image data or full-angle image data from the PTZ camera 113 and audio data from the microphone 112 via the communication unit 209. Then, the recognition unit 471 recognizes the situation of the shooting space based on the wide-angle image data, the full-angle image data, and the audio data by the same processing as in step S1 of FIG. The recognition unit 471 supplies information regarding the recognized shooting space status to the angle of view setting unit 472.
  • step S103 the shooting angle of view setting unit 481 determines whether or not the main subject is captured.
  • the shooting angle of view setting unit 481 determines that the main subject appears in the full angle of view image shot by the PTZ camera 113 based on the recognition result of the situation in the shooting space, that is, the main subject is in the full angle of view image. If it is determined that the subject exists, the process proceeds to step S104.
  • steps S104 to S109 the same processing as in steps S2 to S7 of FIG. 5 is executed.
  • the shooting angle of view (total angle of view) is set.
  • step S110 the low speed control of the PTZ camera 113 is performed so as to obtain the set shooting angle of view, as in the process of step S8 of FIG. That is, since the information processing system 401 is provided with only the PTZ camera 113 and the captured image of the PTZ camera 113 is always used, the angle of view of the PTZ camera 113 is changed at a low speed.
  • step S111 the captured image is cut out in the same manner as in the process of step S11 of FIG.
  • step S112 the shooting angle of view setting unit 481 determines whether or not a certain time has passed since the previous wide-angle shooting. If it is determined that a certain time has not passed since the previous wide-angle shooting, the process returns to step S102. After that, the processes after step S102 are executed.
  • step S112 determines whether a certain amount of time has passed since the previous wide-field photography. If it is determined in step S112 that a certain amount of time has passed since the previous wide-field photography, the process proceeds to step S113.
  • step S103 when it is determined that the main subject does not appear in the full angle of view image taken by the PTZ camera 113, that is, when it is determined that the main subject does not exist in the full angle of view image, step S104 The process of step S112 is skipped, and the process proceeds to step S113.
  • step S113 the information processing unit 451 performs low-speed control of the PTZ camera 113 so as to have a wide viewing angle of view.
  • the shooting angle of view setting unit 481 sets the shooting angle of view to the wide field of view angle of view, and supplies information regarding the set shooting angle of view to the angle of view control unit 273.
  • the angle-of-view control unit 273 drives the PTZ of the PTZ camera 113 at a gentle speed in the same manner as in the process of step S9 of FIG. ).
  • step S102 After that, the process returns to step S102, and the processes after step S102 are executed.
  • ⁇ Modification example of information processing system configuration> For example, in the information processing system 101 of FIG. 2, it is possible to provide two or more wide-angle cameras 111. It is also possible to provide two or more PTZ cameras 113. This increases the number of imaging devices, but makes it possible to obtain captured images of more types of angles of view at one time.
  • the information processing system 401 of FIG. 10 it is possible to provide two or more PTZ cameras 113. This increases the number of imaging devices, but makes it possible to obtain images with more types of angles of view at one time.
  • the information processing system 101 and the information processing system 401 it is possible to provide two or more microphones 112.
  • a part or all of the functions of the information processing device 114 are transferred to the wide-angle camera 111, the PTZ camera 113, or the switcher 115. It is possible to provide.
  • the wide-angle camera 111 may perform the process of recognizing the situation of the shooting space.
  • the PTZ camera 113 may set the angle of view candidate and the shooting angle of view, and control the angle of view. Further, for example, the PTZ camera 113 may also perform a process of recognizing the situation of the shooting space. Further, for example, the switcher 115 may have all the functions of the information processing device 114.
  • a part or all of the functions of the information processing device 114 can be provided in the PTZ camera 113 or the switcher 115.
  • the PTZ camera 113 may perform the process of recognizing the situation of the shooting space. Further, for example, the PTZ camera 113 may set the angle of view candidate and the shooting angle of view, and also control the angle of view. Further, for example, the switcher 115 may have all the functions of the information processing device 114.
  • the information processing device 114 may be applied to a server in cloud computing or the like so that the server provides a service for controlling the angle of view of the PTZ camera 113.
  • ⁇ Modification example of how to set the main subject> For example, it is possible to recognize two or more subjects as the main subject.
  • the recognition result of the subject may be displayed on the display provided in the output unit 207 of the information processing apparatus 114, and the user may select the main subject by using the input unit 206.
  • the subject not shown in the full angle of view image may be recognized based on the information other than the voice (for example, sensor data other than the full angle of view image).
  • ⁇ Modification example of setting angle of view candidates> For example, when the photographed image taken by the wide-angle camera 111 or the image cut out from the photographed image is in good condition, the angle-of-view candidate having the same angle of view as the image may be excluded.
  • the user may set the angle of view candidate in advance.
  • a wide-angle image is displayed on the display provided in the output unit 207 of the information processing apparatus 114, the user inputs an angle of view candidate using the input unit 206, and the angle of view candidate setting unit 281 is based on the user input.
  • the angle of view candidate may be set.
  • the set angle-of-view candidate may be displayed on the display provided in the output unit 207 of the information processing apparatus 114, and the user may select the required angle-of-view candidate using the input unit 206. Then, the shooting angle of view setting unit 282 or the shooting angle of view setting unit 481 may set the shooting angle of view including the angle of view candidate selected by the user. Further, the user may select the main angle of view candidate by the same method.
  • the shooting angle of view setting unit 282, the shooting angle of view setting unit 481, or the user selects a plurality of main angle of view candidates so that the cutout size of all the main angle of view candidates becomes equal to or larger than the threshold value.
  • the shooting angle of view may be set.
  • the cutout unit 263 estimates the angle of view candidate most likely to be used from the angle of view candidates included in the shooting angle of view, and cuts out an image of the angle of view corresponding to the estimated angle of view candidate. You may.
  • the cutout unit 263 may estimate the angle of view that is likely to be used in the full angle of view image regardless of the angle of view candidate, and cut out the image of the estimated angle of view.
  • the display provided in the output unit 207 of the information processing apparatus 114 displays the captured image with the full angle of view and the angle of view corresponding to each angle of view candidate, and the user uses the input unit 206 to display a required image.
  • a corner may be selected so that an image with the selected angle of view is cut out.
  • the PTZ value (pan angle, tilt angle, and zoom magnification) of the PTZ camera 113 is calculated using the three-dimensional information including the position in the depth direction of the subject. Is desirable.
  • Three-dimensional information can be obtained, for example, by providing two or more wide-angle cameras 111 and using a triangulation method in the first embodiment.
  • three-dimensional information can be obtained by using, for example, a camera equipped with a depth sensor and a camera having a phase difference image for the wide-angle camera 111.
  • the depth sensor method is not particularly limited, and a method such as a ToF (Time of Flight) method or a Structured Light method can be used.
  • the PTZ camera is based on the two-dimensional wide-angle image taken by the wide-angle camera 111. It is possible to directly estimate the PTZ value of 113.
  • a sensor for example, a UWB (Ultra Wide Band) sensor, an infrared sensor, etc.
  • a sensor is attached to a person who can be a subject, and the position in the depth direction of each subject is recognized based on the data from the sensor. It may be.
  • the timing for setting the wide field of view angle of view does not necessarily have to be at regular time intervals, and may be, for example, when a predetermined condition is satisfied.
  • This technology can also be applied to, for example, when shooting a shooting space where no special event is held.
  • the present technology can be applied to the case of photographing an outdoor landscape or the case of photographing a predetermined monitoring area.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • An angle-of-view candidate setting unit that sets a plurality of angle-of-view candidates from a shooting image range that can be shot by the first shooting device for a predetermined shooting space, and an angle-of-view candidate setting unit.
  • An information processing device including a shooting angle of view setting unit that sets a shooting angle of view of the first shooting device based on the plurality of angle of view candidates.
  • a recognition unit that recognizes the situation of the shooting space is further provided based on the shot image of the shooting space.
  • the information processing device according to (1), wherein the angle of view candidate setting unit sets the angle of view candidate based on the situation of the shooting space.
  • the recognition unit recognizes a main subject which is a main subject in the shooting space and a related subject related to the main subject as the situation of the shooting space.
  • the recognition unit recognizes the content of the scene in the shooting space as the situation of the shooting space.
  • the information processing device according to (3), wherein the angle of view candidate setting unit further sets the angle of view candidate based on the content of the scene.
  • the recognition unit recognizes the situation of the shooting space based on the shot image taken by the first shooting device.
  • the information processing device according to any one of (2) to (4) above, wherein the shooting angle of view setting unit sets the shooting angle of view to a wide field of view with the widest field of view at a predetermined timing. (6) The shooting angle of view setting unit sets the shooting angle of view to the wide field of view when the main subject, which is the main subject in the shooting space, does not exist in the shot image shot by the first shooting device. The information processing device according to (5) above. (7) The information processing device according to any one of (2) to (4) above, wherein the recognition unit recognizes the situation of the shooting space based on a shot image taken by the second shooting device.
  • the information processing device sets the shooting angle of view so as to include the plurality of angle of view candidates.
  • the shooting angle of view setting unit sets the angle of view candidates to be included in the shooting angle of view so that the resolution of the main angle of view candidate, which is presumed to be important among the plurality of angle of view candidates, is equal to or higher than a predetermined threshold.
  • the information processing apparatus according to (8) above.
  • a recognition unit that recognizes the situation of the shooting space is further provided based on the shot image of the shooting space.
  • the angle-of-view candidate setting unit determines the main image among the plurality of angle-of-view candidates based on the situation of the shooting space and at least one of the uses of the shot image shot by the first shooting device.
  • the information processing apparatus according to (9) above, which selects an angle candidate.
  • the shooting angle of view setting unit sets a region provided with a margin in at least one direction with respect to the rectangular area including the plurality of angle of view candidates as the shooting angle of view, any of the above (8) to (10).
  • the information processing device wherein the cutting unit cuts out an image having a plurality of angles of view corresponding to each of the angle of view candidates from the captured image captured by the first photographing device.
  • the angle of view control unit pans, tilts, and zooms the first photographing device based on whether or not a predetermined role is given to the captured image photographed by the first photographing device.
  • the information processing apparatus according to (14) above, which controls the driving speed of the device.
  • the information processing device according to any one of (1) to (15) provided in the first photographing device.
  • Information processing device Multiple angle-of-view candidates are set from the shooting image range that can be shot by the shooting device for a predetermined shooting space.
  • Multiple angle-of-view candidates are set from the shooting image range that can be shot by the shooting device for a predetermined shooting space.
  • 101 information processing system 111 wide-angle camera, 112 microphone, 113 PTZ camera, 114 information processing device, 115 switcher, 201 CPU, 251 information processing unit, 261 calibration unit, 262 shooting control unit, 263 cutout unit, 271 recognition unit , 272 angle of view setting unit, 273 angle of view control unit, 281 angle of view candidate setting unit, 282 shooting angle of view setting unit, 401 information processing system, 451 information processing unit, 461 shooting control unit, 471 recognition unit, 472 angle of view control Department, 481 Shooting angle of view setting unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、少ない撮影装置で適切な画角の撮影画像を容易に得られるようにすることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、所定の撮影空間に対して第１の撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定する画角候補設定部と、前記複数の画角候補に基づいて、前記第１の撮影装置の撮影画角を設定する撮影画角設定部とを備える。本技術は、例えば、テレビジョン放送の番組等の撮影を行うシステムに適用できる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、少ない撮影装置で適切な画角の画像を容易に得られるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
　従来、テレビジョン放送等の番組制作の現場においては、適切な画角の画像を視聴者に提供できるように、多くの撮影装置を用いて様々な画角の画像の撮影が行われている（例えば、特許文献１参照）。
特開２０１１－１０１１６５号公報
　一方、近年、映像配信のプラットフォームが多様化し、少人数で又は専門知識のない人が映像制作及び映像配信を行うケースが増えている。これに伴い、少ない撮影装置で適切な画角の画像を容易に得ることができる技術に対する需要が高まっている。
　本技術は、このような状況に鑑みてなされたものであり、少ない撮影装置で適切な画角の画像を容易に得られるようにするものである。
　本技術の一側面の情報処理装置は、所定の撮影空間に対して第１の撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定する画角候補設定部と、前記複数の画角候補に基づいて、前記第１の撮影装置の撮影画角を設定する撮影画角設定部とを備える。
　本技術の一側面の情報処理方法は、情報処理装置が、所定の撮影空間に対して撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定し、前記複数の画角候補に基づいて、前記撮影装置の撮影画角を設定する。
　本技術の一側面のプログラムは、所定の撮影空間に対して撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定し、前記複数の画角候補に基づいて、前記撮影装置の撮影画角を設定する。
　本技術の一側面においては、所定の撮影空間に対して撮影装置により撮影可能な撮影画像範囲から複数の画角候補が設定され、前記複数の画角候補に基づいて、前記撮影装置の撮影画角が設定される。
撮影シーンの例を示す図である。 本技術を適用した情報処理システムの第１の実施の形態を示すブロック図である。 撮影装置の構成例を示すブロック図である。 情報処理装置の情報処理部の第１の実施の形態を示すブロック図である。 画角制御処理の第１の実施の形態を説明するためのフローチャートである。 人の特徴点の例を示す図である。 画角候補及び撮影画角の設定方法を説明するための図である。 全画角画像の例を示す図である。 切り出し画像の例を示す図である。 本技術を適用した情報処理システムの第２の実施の形態を示すブロック図である。 情報処理装置の情報処理部の第２の実施の形態を示すブロック図である。 画角制御処理の第２の実施の形態を説明するためのフローチャートである。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序で行う。
　１．背景
　２．第１の実施の形態
　３．第２の実施の形態
　４．変形例
　５．その他
　＜＜１．背景＞＞
　上述したように、従来、テレビジョン放送等の番組制作の現場においては、多くの撮影装置を用いて様々な画角の画像の撮影が行われている。そして、様々な画角の画像の中から、放送等に使用される画像が適宜切り替えられる。
　例えば、図１のＡは、報道番組のシーンの例を示している。この例では、ニュースキャスタ１、コメンテータ２、及び、コメンテータ３の３人が、右から順に並んでいる。また、ニュースキャスタ１とコメンテータ２との間に、モニタ４が配置されている。
　この場合、例えば、ニュースキャスタ１、コメンテータ２、及び、コメンテータ３を個別にバストショットで撮影した撮影画像、隣接するコメンテータ２及びコメンテータ３をまとめて撮影した撮影画像（グループショット）、及び、シーン全体を撮影した撮影画像が、少なくとも撮影されると想定される。
　図１のＢは、トーク番組のシーンの例を示している。この例では、司会者１１、ゲスト１２、及び、ゲスト１３の３人が、右から順に並んでいる。
　この場合、例えば、司会者１１、ゲスト１２、及び、ゲスト１３を個別にバストショットで撮影した撮影画像、隣接するゲスト１２及びゲスト１３をまとめて撮影した撮影画像（グループショット）、及び、シーン全体を撮影した撮影画像が、少なくとも撮影されると想定される。
　図１のＣは、バラエティ番組のシーンの例を示している。この例では、司会者２１が左端に立っている。また、司会者２１の右側において、ゲスト２２乃至ゲスト２４がひな壇の１列目に座り、ゲスト２５及びゲスト２６がひな壇の２列目に座っている。
　この場合、例えば、司会者２１及びゲスト２２乃至ゲスト２６を個別にバストショットで撮影した撮影画像、隣接するゲスト２２乃至ゲスト２６まとめて撮影した撮影画像（グループショット）、及び、シーン全体を撮影した撮影画像が、少なくとも撮影されると想定される。
　ここで、各画角の撮影画像をそれぞれ異なる撮影装置により撮影すると、必要なコスト及びカメラマンの人数が増大する。また、撮影装置等の制御が複雑化する。
　これに対して、従来、１台の撮影装置で複数の画角の画像を得る方法が用いられている。１台の撮影装置で複数の画角の画像を得る方法として、例えば、切り出し方式とＰＴＺ制御方式が知られている。
　切り出し方式とは、撮影装置のＰＴＺ（パン、チルト、及び、ズーム）を固定した状態で広範囲を撮影し、撮影された撮影画像から必要な画角の画像を切り出す方式である。例えば、図１のＡの例では、シーン全体を見渡す撮影画像が撮影され、得られた撮影画像から、各人物のバストショットの画像等が個別に切り出される。
　切り出し方式では、様々な画角の画像を同時に得ることができる。また、物理的な制約がないため、画角を即座に切り替えることができる。
　一方、切り出し方式では、小さな被写体をアップしようとした場合、画質（解像度）が低下するおそれがある。また、被写体の動きが速い場合、動きボケが生じるおそれがある。
　ＰＴＺ制御方式とは、撮影装置のＰＴＺを駆動して、撮影装置の画角を物理的に動かして撮影する方式である。
　ＰＴＺ制御方式では、ＰＴＺを駆動するため、画角のバリエーションを増やすことができる。
　一方、ＰＴＺ制御方式では、画角（被写体や構図）を変更するのに、物理的に撮影装置を動かす必要があり、必要な画角の画像を得るまでに時間を要する。そのため、例えば、画角を合わせるまでに被写体が動いてしまい、所望の画角の画像を得られない場合がある。
　このように、いずれの方式も一長一短があり、長所と短所がトレードオフの関係にある。
　これに対して、本技術は、両方式の短所を改善し、少ない撮影装置で適切な画角の画像を容易に得ることができるようにするものである。
　＜＜２．第１の実施の形態＞＞
　まず、図２乃至図９を参照して、本技術の第１の実施の形態について説明する。
　　＜情報処理システム１０１の構成＞
　図２は、本技術の第１の実施の形態である情報処理システム１０１の構成例を示している。
　情報処理システム１０１は、広角用カメラ１１１、マイクロフォン１１２、ＰＴＺカメラ１１３、情報処理装置１１４、及び、スイッチャ１１５を備える。広角用カメラ１１１、マイクロフォン１１２、ＰＴＺカメラ１１３、情報処理装置１１４、及び、スイッチャ１１５は、有線又は／及び無線で構成されたネットワークを介して、互いに接続され、各種のデータの授受を行う。
　広角用カメラ１１１は、例えば、広角撮影が可能な撮影装置により構成される。広角用カメラ１１１は、例えば、撮影空間を広く見渡せる（俯瞰できる）場所に設置され、撮影空間が広く含まれるように広角撮影を行う。広角用カメラ１１１は、広角撮影により得られた撮影画像（以下、広角画像と称する）に対応する画像データ（以下、広角画像データと称する）を情報処理装置１１４に送信する。
　ここで、撮影空間とは、情報処理システム１０１の撮影が行われる（撮影対象となる）３次元の空間であり、例えば、撮影対象となるイベント（例えば、番組制作、スポーツの試合等）が行われる空間である。
　なお、広角用カメラ１１１のＰＴＺ及び位置は、通常は固定されている。
　マイクロフォン１１２は、撮影空間内の音声を収集し、収集した音声に対応する音声データを情報処理装置１１４に送信する。
　ＰＴＺカメラ１１３は、例えば、ＰＴＺを遠隔で制御可能な撮影装置により構成される。ＰＴＺカメラ１１３は、情報処理装置１１４の制御の下に、ＰＴＺが駆動されることにより、画角が制御される。ＰＴＺカメラ１１３は、撮影空間を撮影し、得られた撮影画像に対応する画像データを情報処理装置１１４に送信する。
　なお、ＰＴＺカメラ１１３の位置は、通常は固定されている。
　情報処理装置１１４は、例えば、コンピュータ等により構成される。情報処理装置１１４は、広角用カメラ１１１及びＰＴＺカメラ１１３のキャリブレーションを行う。また、情報処理装置１１４は、広角画像データ及び音声データに基づいて、撮影空間の状況を認識する。例えば、撮影空間内の被写体の状態、撮影空間内のシーン（以下、撮影シーンと称する）の内容、撮影空間内の音声の内容及び音源の位置、撮影空間内で行われているイベントの状態等が、撮影空間の状況として認識される。
　情報処理装置１１４は、撮影空間の状況に応じて、ＰＴＺカメラ１１３のＰＴＺを駆動することにより、ＰＴＺカメラ１１３の画角を制御する。また、情報処理装置１１４は、ＰＴＺカメラ１１３により撮影された撮影画像から必要な画角の画像を切り出し、切り出した画像（以下、切り出し画像と称する）に対応する画像データ（以下、切り出し画像データと称する）をスイッチャ１１５に送信する。さらに、情報処理装置１１４は、広角画像データをスイッチャ１１５に送信する。
　スイッチャ１１５は、広角画像及び切り出し画像の中から必要な画像を選択し、選択した画像に対応する画像データを後段に送信する。また、スイッチャ１１５は、必要に応じて、広角画像から必要な画角の画像を切り出し、切り出した画像に対応する画像データを後段に送信する。
　　＜情報処理装置１１４の構成例＞
　図３は、情報処理装置１１４のハードウエアの構成例を示している。
　情報処理装置１１４においては、ＣＰＵ２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３が、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及び、ドライブ２１０が接続されている。
　入力部２０６は、例えば、キーボード、マウス、マイクロフォン等を備える。
　出力部２０７は、例えば、ディスプレイ、スピーカ等を備える。
　記憶部２０８は、例えば、ハードディスク等の不揮発性のメモリを備える。
　通信部２０９は、広角用カメラ１１１、マイクロフォン１１２、ＰＴＺカメラ１１３、及び、スイッチャ１１５と所定の通信方式で通信を行う。
　ドライブ２１０は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２１１を駆動する。
　なお、情報処理装置１１４（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２１１に記録して提供することができる。リムーバブル記録媒体２１１に記録されているプログラムは、例えば、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールされる。
　また、プログラムは、例えば、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して、通信部２０９で受信され、記憶部２０８にインストールされる。
　さらに、プログラムは、例えば、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　そして、情報処理装置１１４では、例えば、ＣＰＵ２０１が、ＲＯＭ２０２又は記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、一連の処理が行われる。
　なお、以下、情報処理装置１１４において、各部がバス２０４及び入出力インタフェース２０５を介してデータの授受等を行う場合のバス２０４及び入出力インタフェース２０５の記載を省略する。例えば、ＣＰＵ２０１と通信部２０９がバス２０４及び入出力インタフェース２０５を介して通信を行う場合、バス２０４及び入出力インタフェース２０５の記載を省略して、単にＣＰＵ２０１と通信部２０９が通信を行うと記載する。
　　＜情報処理部２５１の構成例＞
　図４は、情報処理装置１１４のＣＰＵ２０１がプログラムを実行することにより実現される機能の第１の実施の形態である情報処理部２５１の構成例を示している。
　情報処理部２５１は、キャリブレーション部２６１、撮影制御部２６２、及び、切り出し部２６３を備える。
　キャリブレーション部２６１は、広角用カメラ１１１及びＰＴＺカメラ１１３のキャリブレーションを行う。例えば、キャリブレーション部２６１は、広角用カメラ１１１及びＰＴＺカメラ１１３に共通のワールド座標系における広角用カメラ１１１及びＰＴＺカメラ１１３の位置及び向きを求める。具体的には、キャリブレーション部２６１は、ワールド座標系を、広角用カメラ１１１及びＰＴＺカメラ１１３にそれぞれ固有のカメラ座標系に変換する変換行列を求める。カメラ座標系は、広角用カメラ１１１及びＰＴＺカメラ１１３の光軸をそれぞれ基準とする座標系である。キャリブレーション部２６１は、広角用カメラ１１１及びＰＴＺカメラ１１３の変換行列に関する情報を撮影制御部２６２に供給する。
　撮影制御部２６２は、ＰＴＺカメラ１１３のＰＴＺを制御することにより、ＰＴＺカメラ１１３の画角を制御する。撮影制御部２６２は、認識部２７１、画角設定部２７２、及び、画角制御部２７３を備える。
　認識部２７１は、広角用カメラ１１１からの広角画像データ、及び、マイクロフォン１１２からの音声データに基づいて、撮影空間の状況を認識する。認識部２７１は、認識した撮影空間の状況に関する情報を、画角設定部２７２に供給する。
　画角設定部２７２は、撮影空間の状況に基づいて、ＰＴＺカメラ１１３が撮影空間を撮影する画角（以下、撮影画角と称する）を設定する。画角設定部２７２は、画角候補設定部２８１及び撮影画角設定部２８２を備える。
　画角候補設定部２８１は、撮影空間の状況に基づいて、ＰＴＺカメラ１１３により撮影可能な撮影画像範囲から複数の画角候補を設定する。画角候補とは、例えば、放送等において使用する可能性があると予測される画角である。画角候補設定部２８１は、設定した画角候補に関する情報を撮影画角設定部２８２に供給する。
　撮影画角設定部２８２は、画角候補に基づいて、撮影画角を設定する。撮影画角設定部２８２は、撮影画角に関する情報を画角制御部２７３に供給する。また、撮影画角設定部２８２は、撮影画角、及び、撮影画角に含まれる画角候補に関する情報を切り出し部２６３に供給する。
　画角制御部２７３は、ＰＴＺカメラ１１３のＰＴＺを駆動することにより、ＰＴＺカメラ１１３の画角を制御する。また、画角制御部２７３は、ＰＴＺカメラ１１３の画角の状態を示す情報を切り出し部２６３に供給する。
　切り出し部２６３は、ＰＴＺカメラ１１３により撮影された撮影画像から必要な画角の画像を切り出し、切り出した画像（切り出し画像）に対応する切り出し画像データを、通信部２０９を介して、スイッチャ１１５に送信する。
　　＜画角制御処理の第１の実施の形態＞
　次に、図５のフローチャートを参照して、情報処理装置１１４により実行される画角制御処理の第１の実施の形態について説明する。
　この処理は、例えば、撮影空間の撮影が開始されたとき開始され、撮影空間の撮影が終了したとき終了する。
　また、この処理の前に、キャリブレーション部２６１により広角用カメラ１１１及びＰＴＺカメラ１１３のキャリブレーションが行われ、広角用カメラ１１１及びＰＴＺカメラ１１３の変換行列が既知であるものとする。すなわち、広角用カメラ１１１及びＰＴＺカメラ１１３のワールド座標系における位置及び向きが既知であるものとする。
　ステップＳ１において、認識部２７１は、撮影空間の状況を認識する。
　具体的には、認識部２７１は、通信部２０９を介して、広角用カメラ１１１から広角画像データを取得し、マイクロフォン１１２から音声データを取得する。認識部２７１は、広角画像データに対して画像認識を行い、音声データに対して音声認識を行うことにより、撮影空間の状況を認識する。
　例えば、認識部２７１は、広角画像内の被写体の状態を認識する。より具体的には、認識部２７１は、例えば、顔検出、顔認識、姿勢認識、行動認識、物体検出等の手法を用いて、広角画像内に存在する被写体を認識するとともに、各被写体の種類、位置、姿勢、動き、特徴点等を認識する。
　図６は、被写体が人である場合に検出対象となる特徴点の例を示している。
　特徴点Ｐｆ１Ｌは左目に対応し、特徴点Ｐｆ１Ｒは右目に対応する。特徴点Ｐｆ２Ｌは左耳に対応し、特徴点Ｐｆ２Ｒは右耳に対応する。特徴点Ｐｆ３は鼻に対応する。特徴点Ｐｆ４は首の関節に対応する。特徴点Ｐｆ５Ｌは左肩の関節に対応し、特徴点Ｐｆ５Ｒは右肩の関節に対応する。特徴点Ｐｆ６Ｌは左肘の関節に対応し、特徴点Ｐｆ６Ｒは右肘の関節に対応する。特徴点Ｐｆ７Ｌは左手首の関節に対応し、特徴点Ｐｆ７Ｒは右手首の関節に対応する。特徴点Ｐｆ８Ｌは左尻の関節に対応し、特徴点Ｐｆ８Ｒは右尻の関節に対応する。特徴点Ｐｆ９Ｌは左膝の関節に対応し、特徴点Ｐｆ９Ｒは右膝の関節に対応する。特徴点Ｐｆ１０Ｌは左足首の関節に対応し、特徴点Ｐｆ１０Ｒは右足首の関節に対応する。
　例えば、このように人の関節を含む特徴点を検出し、追尾することにより、人の骨格、姿勢、動き等が認識される。
　また、認識部２７１は、シーン認識等の手法を用いて、撮影シーンの内容を認識する。さらに、認識部２７１は、被写体の状態、及び、撮影シーンの内容に基づいて、主要な被写体（以下、主要被写体と称する）、及び、主要被写体に関連する被写体（以下、関連被写体と称する）を認識する。
　例えば、撮影シーンの内容がトーク番組である場合、トークの主要人物（例えば、話者、ゲスト、話題の中心人物等）、モニタ、フリップ等が主要被写体として認識される可能性がある。また、例えば、主要人物の話を聞いている人、主要人物の相方、フリップ等が、関連被写体として認識される可能性がある。
　例えば、撮影シーンの内容が音楽のライブである場合、ライブの主要人物（例えば、ボーカリスト、ギターソロを弾いているギタリスト等）が、主要被写体として認識される可能性がある。また、例えば、主要人物以外のメンバーや共演者、楽器等が関連被写体として認識される可能性がある。
　例えば、撮影シーンの内容がスポーツ中継である場合、スポーツの主要人物（例えば、ボールを保持している選手、首位の選手等）が、主要被写体として認識される可能性がある。また、例えば、主要人物以外の選手、ボール等が、関連被写体として認識される可能性がある。
　さらに、認識部２７１は、例えば、撮影空間内の音声の内容、及び、音源の位置等を認識する。
　また、認識部２７１は、例えば、被写体の状態、撮影シーンの内容、撮影空間内の音声の内容、及び、音源の位置等に基づいて、撮影空間内で行われているイベントの状態を認識する。
　認識部２７１は、認識した撮影空間の状況に関する情報を画角設定部２７２に供給する。
　ステップＳ２において、画角候補設定部２８１は、撮影空間の状況に基づいて、画角候補を設定する。例えば、画角候補設定部２８１は、主要被写体、関連被写体、及び、撮影シーンの内容に基づいて、画角候補を設定する。
　例えば、撮影シーンの内容がトーク番組である場合、主要被写体である主要人物の胸より上の部分を含む画角（バストショット）、及び、主要被写体と各関連被写体との組み合わせを含む画角等が、画角候補に設定される。
　例えば、撮影シーンの内容が音楽のライブである場合、主要被写体である主要人物のウエストより上の部分を含む画角（ウエストショット）及び全身を含む画角（フルフィギュア）、並びに、主要被写体と各関連被写体の組み合わせを含む画角等が、画角候補に設定される。
　例えば、撮影シーンの内容がスポーツの試合である場合、主要被写体である主要人物の全身を含む画角（フルフィギュア）、並びに、主要被写体と各関連被写体の組み合わせを含む画角等が、画角候補に設定される。
　図７は、画角候補の設定例を示している。この例では、トーク番組の広角画像の例が模式的に示されている。この広角画像には、人３０１乃至人３０４が写っている。なお、この図で人３０１乃至人３０４に重畳されている補助線は、顔認識と骨格認識の結果を示している。
　人３０１は、広角画像内の右端付近に立ち、人３０２乃至人３０４は、広角画像の中央付近から左端の範囲において、左右に並んで座っている。
　ここで、例えば、人３０２が話しており、人３０３が人３０２の話を聞いているとする。この場合、例えば、人３０２が主要被写体として認識され、人３０３が関連被写体として認識される。そして、例えば、人３０２の胸より上の部分を含む画角候補Ａｃ１、並びに、人３０２及び人３０３のウエストより上の部分を含む画角候補Ａｃ２が設定される。
　画角候補設定部２８１は、設定した画角候補に関する情報を撮影画角設定部２８２に供給する。
　ステップＳ３において、撮影画角設定部２８２は、画角候補を全て含む画枠を算出する。例えば、撮影画角設定部２８２は、画角候補を全て含む最小限の矩形の枠を画枠として算出する。
　ステップＳ４において、撮影画角設定部２８２は、算出した画枠にマージンを付加する。例えば、撮影画角設定部２８２は、主要被写体及び関連被写体のそれぞれの動きに基づいて、算出した画枠の周囲のうち少なくとも１方向にマージンを付加することにより、画枠を広げる。このとき、主要被写体及び関連被写体の動きが大きい方向に対するマージンは大きくなり、主要被写体及び関連被写体の動きが小さい方向に対するマージンは小さくなる。
　ステップＳ５において、撮影画角設定部２８２は、主要画角候補の切り出しサイズが閾値以上であるか否かを判定する。
　具体的には、撮影画角設定部２８２は、主要被写体及び関連被写体の大きさ、位置、姿勢、及び、動き等、撮影シーンの内容、並びに、画像の用途等に基づいて、画角候補の中から最も重要であると推定される画角候補（以下、主要画角候補と称する）を選択する。ここで、画像の用途としては、例えば、テレビジョン放送、ウエブ配信、映像ソフトウエアの制作等が想定される。
　次に、撮影画角設定部２８２は、算出した画枠に対応する撮影画角の画像をＰＴＺカメラ１１３により撮影したときの主要画角候補の解像度（画素数）を算出する。
　次に、撮影画角設定部２８２は、算出した解像度を所定の閾値と比較する。この閾値は、例えば、画像の用途により異なる。例えば、閾値は、画像の用途がテレビジョン放送の場合、１９２０画素×１０８０画素（ＦＨＤ）に設定され、ウエブ配信の場合は、１２８０画素×７２０画素（ＨＤ）に設定される。
　そして、撮影画角設定部２８２は、主要画角候補の解像度が閾値未満である場合、主要画角候補の切り出しサイズが閾値未満であると判定し、処理はステップＳ６に進む。
　ステップＳ６において、撮影画角設定部２８２は、主要画角候補以外の画角候補のうち最も画枠の端に近い画角候補を除外する。
　その後、処理はステップＳ３に戻り、ステップＳ５において、主要画角候補の切り出しサイズが閾値以上であると判定されるまで、ステップＳ３乃至ステップＳ６の処理が繰り返し実行される。
　これにより、主要画角候補の切り出しサイズ（解像度）が閾値以上になるまで、画枠の端から順に主要画角候補以外の画角候補が削除され、画枠が小さくなる。その結果、撮影画角に含まれる画角候補が取捨選択される。
　一方、ステップＳ５において、撮影画角設定部２８２は、主要画角候補の解像度が閾値以上である場合、主要画角候補の切り出しサイズが閾値以上であると判定し、処理はステップＳ７に進む。
　ステップＳ７において、撮影画角設定部２８２は、算出した画枠を撮影画角に設定する。これにより、選択された画角候補を含む矩形の領域の周囲にマージンを設けた領域が、撮影画角に設定される。撮影画角設定部２８２は、設定した撮影画角に関する情報を画角制御部２７３に供給する。また、撮影画角設定部２８２は、設定した撮影画角、及び、撮影画角に含まれる画角候補に関する情報を画角制御部２７３に供給する。
　例えば、図７の例では、画角候補Ａｃ１及び画角候補Ａｃ２を含み、周囲にマージンを設けた撮影画角Ａｓが設定される。
　ステップＳ８において、画角制御部２７３は、ＰＴＺカメラ１１３の撮影画像が使用されているか否かを判定する。画角制御部２７３は、例えば、ＰＴＺカメラ１１３により撮影された撮影画像に対して所定の役割が付与されている場合、例えば、撮影画像から切り出された画像が、放送用又はプレビュー用等の画像としてスイッチャ１１５から出力されている場合、ＰＴＺカメラ１１３の撮影画像が使用されていると判定し、処理はステップＳ９に進む。
　ステップＳ９において、画角制御部２７３は、設定された撮影画角になるようにＰＴＺカメラ１１３の低速制御を行う。具体的には、画角制御部２７３は、ＰＴＺカメラ１１３のＰＴＺを緩やかな速度で駆動し、ＰＴＺカメラ１１３の画角を、設定された撮影画角に合わせる。
　なお、この処理におけるＰＴＺカメラ１１３のＰＴＺの駆動速度は、例えば、ＰＴＺカメラ１１３のシャッタスピード、動きボケの許容量等に基づいて設定される。また、動きボケの許容量は、例えば、撮影シーンの内容（例えば、スポーツ中継、スタジオ撮影等）、画像の用途等（例えば、テレビジョン放送、ウエブ配信、映像ソフトウエアの制作等）に基づいて設定される。例えば、撮影シーンの内容がスポーツのように被写体の動きが大きいシーンの場合は、動きボケの許容量は大きい値に設定される。一方、例えば、スタジオ撮影のように被写体の動きが小さいシーンの場合は、動きボケの許容量は小さい値に設定される。
　これにより、ＰＴＺカメラ１１３の画角が、選択された全ての画角候補を含む画角（以下、全画角と称する）に設定される。
　例えば、上述したように、図７の例において、撮影画角Ａｓが設定されることにより、図８に示されるように、人３０２及び人３０３を含む全画角画像が撮影される。
　また、ＰＴＺカメラ１１３の画角を変更しても、使用中の撮影画像に発生する動きボケが抑制される。
　その後、処理はステップＳ１１に進む。
　一方、ステップＳ８において、画角制御部２７３は、ＰＴＺカメラ１１３により撮影された撮影画像から切り出された画像に対して所定の役割が付与されていない場合、例えば、撮影画像から切り出された画像が、放送用又はプレビュー用等の画像としてスイッチャ１１５から出力されていない場合、ＰＴＺカメラ１１３の撮影画像が使用されていないと判定し、処理はステップＳ１０に進む。
　ステップＳ１０において、画角制御部２７３は、設定された撮影画角になるようにＰＴＺカメラ１１３の高速制御を行う。具体的には、画角制御部２７３は、ＰＴＺカメラ１１３の画角が最短で設定された撮影画角になるように、ＰＴＺカメラ１１３のＰＴＺを高速駆動する。例えば、ＰＴＺカメラ１１３の機械的な制約が許す最大の速度でＰＴＺが駆動される。
　これにより、ＰＴＺカメラ１１３の画角が迅速に全画角に設定される。
　その後、処理はステップＳ１１に進む。
　ステップＳ１１において、切り出し部２６３は、撮影画像の切り出しを行う。具体的には、切り出し部２６３は、ＰＴＺカメラ１１３から全画角で撮影された撮影画像データ（以下、全画角画像データと称する）を取得する。そして、切り出し部２６３は、全画角画像データに対応する全画角画像から、各画角候補に対応する画角の画像を切り出す。
　例えば、図９に示されるように、図８の全画角画像から、図７の画角候補Ａｃ１に対応し、人３０２のバストショットを含む画角の画像が切り出される。
　このとき、切り出し部２６３は、複数の画角候補が設定されている場合、全ての画角候補に対応する画角の画像を切り出す。
　また、切り出し画像の画角と、対応する画角候補とは、必ずしも完全に一致する必要はない。例えば、適切に被写体が含まれるように、切り出し画像の画角が調整されてもよい。
　切り出し部２６３は、通信部２０９を介して、切り出した画像に対応する切り出し画像データをスイッチャ１１５に送信する。
　その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　以上のようにして、ＰＴＺ方式と切り出し方式が効果的に組み合わされることにより、少ない撮影装置で、適切な画角及び画質の画像を得ることができる。すなわち、予め使用される可能性のある画角候補が予測され、予測された画角候補を全て含む撮影画角で撮影が行われるため、必要とされる画角の画像を適切なタイミングで取得することができる。また、主要画角候補の解像度が所定の閾値以上に設定されるため、良好な画質の画像を得ることができる。
　＜＜３．第２の実施の形態＞＞
　次に、図１０乃至図１２を参照して、本技術の第２の実施の形態について説明する。
　　＜情報処理システム４０１の構成＞
　図１０は、本技術の第２の実施の形態である情報処理システム４０１の構成例を示している。なお、図中、図２の情報処理システム１０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　図１０の情報処理システム４０１は、図２の情報処理システム１０１と比較して、広角用カメラ１１１が削除されている点が異なる。
　情報処理システム４０１では、ＰＴＺカメラ１１３が、広角画像と全画角画像の両方の撮影を行う。そして、情報処理装置１１４は、ＰＴＺカメラ１１３により撮影された広角画像又は全画角画像、並びに、音声データに基づいて、撮影空間の状況を認識し、ＰＴＺカメラ１１３の撮影画角の制御を行う。
　ここで、広角画像とは、ＰＴＺカメラ１１３を広視野画角に設定して撮影される画像である。広視野画角とは、撮影空間を広く見渡すことが可能な画角であり、例えば、ＰＴＺカメラ１１３の視野が最大となる画角である。例えば、広視野画角とは、撮影空間内で行われているイベントを広く見渡すことが可能な画角であり、イベントに関連する被写体（人やオブジェクト）を可能な範囲で多く含む画角である。
　なお、視野が最大となる画角とは、ＰＴＺカメラ１１３の所定の設定範囲内において視野が最大となる画角であり、必ずしも、ＰＴＺカメラ１１３の視野が機械的に最大となる画角とは限らない。例えば、ＰＴＺカメラ１１３の視野の設定範囲が、ＰＴＺカメラ１１３の機械的な視野の最大値より小さい範囲に設定されている場合、その設定範囲において視野が最大となる画角が、広視野画角に設定される。
　　＜情報処理部４５１の構成例＞
　図１１は、情報処理装置１１４のＣＰＵ２０１がプログラムを実行することにより実現される機能の第２の実施の形態である情報処理部４５１の構成例を示している。なお、図中、図３の情報処理部２５１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　情報処理部４５１は、情報処理部２５１と比較して、キャリブレーション部２６１及び切り出し部２６３が設けられている点が同様であり、撮影制御部２６２の代わりに、撮影制御部４６１が設けられている点が異なる。撮影制御部４６１は、撮影制御部２６２と比較して、画角制御部２７３を備える点が同様であり、認識部２７１及び画角設定部２７２の代わりに、認識部４７１及び画角設定部４７２を備える点が異なる。画角設定部４７２は、画角設定部２７２と比較して、画角候補設定部２８１を備える点が同様であり、撮影画角設定部２８２の代わりに撮影画角設定部４８１を備える点が異なる。
　情報処理システム４０１には広角用カメラ１１１が設けられていないため、キャリブレーション部２６１は、ＰＴＺカメラ１１３のキャリブレーションのみを行う。
　認識部４７１は、ＰＴＺカメラ１１３により撮影された広角画像又は全画角画像、並びに、マイクロフォン１１２により収集された音声に基づいて、撮影空間の状況を認識する。認識部４７１は、認識した撮影空間の状況に関する情報を、画角設定部４７２に供給する。
　撮影画角設定部４８１は、画角候補に基づいて、撮影画角を設定する。また、撮影画角設定部４８１は、所定のタイミングで、広視野画角に撮影画角を設定する。撮影画角設定部４８１は、撮影画角に関する情報を画角制御部２７３に供給する。また、撮影画角設定部４８１は、撮影画角、及び、撮影画角に含まれる画角候補に関する情報を切り出し部２６３に供給する。
　　＜画角制御処理の第２の実施の形態＞
　次に、図１２のフローチャートを参照して、情報処理装置１１４により実行される画角制御処理の第２の実施の形態について説明する。
　この処理は、例えば、撮影空間の撮影が開始されたとき開始され、撮影空間の撮影が終了したとき終了する。
　ステップＳ１０１において、情報処理部４５１は、広視野画角になるようにＰＴＺカメラ１１３の高速制御を行う。具体的には、撮影画角設定部４８１は、広視野画角に撮影画角を設定し、設定した撮影画角に関する情報を画角制御部２７３に供給する。画角制御部２７３は、ＰＴＺカメラ１１３の画角が最短で広視野画角になるように、ＰＴＺカメラ１１３のＰＴＺを高速駆動する。
　これにより、ＰＴＺカメラ１１３の画角が広視野画角に設定され、ＰＴＺカメラ１１３は、撮影空間の広角撮影を行う。
　ステップＳ１０２において、認識部４７１は、撮影空間の状況を認識する。具体的には、認識部４７１は、通信部２０９を介して、ＰＴＺカメラ１１３から広角画像データ又は全画角画像データを取得し、マイクロフォン１１２から音声データを取得する。そして、認識部４７１は、図５のステップＳ１と同様の処理により、広角画像データ又は全画角画像データ、及び、音声データに基づいて、撮影空間の状況を認識する。認識部４７１は、認識した撮影空間の状況に関する情報を画角設定部４７２に供給する。
　ステップＳ１０３において、撮影画角設定部４８１は、主要被写体が写っているか否かを判定する。撮影画角設定部４８１が、撮影空間の状況の認識結果に基づいて、ＰＴＺカメラ１１３により撮影された全画角画像に主要被写体が写っていると判定した場合、すなわち、全画角画像に主要被写体が存在すると判定した場合、処理はステップＳ１０４に進む。
　その後、ステップＳ１０４乃至ステップＳ１０９において、図５のステップＳ２乃至ステップＳ７と同様の処理が実行される。これにより、撮影画角（全画角）が設定される。
　ステップＳ１１０において、図５のステップＳ８の処理と同様に、設定された撮影画角になるようにＰＴＺカメラ１１３の低速制御が行われる。すなわち、情報処理システム４０１には、ＰＴＺカメラ１１３しか撮影装置が設けられておらず、ＰＴＺカメラ１１３の撮影画像が常に使用されるため、ＰＴＺカメラ１１３の画角が低速で変更される。
　ステップＳ１１１において、図５のステップＳ１１の処理と同様に、撮影画像の切り出しが行われる。
　ステップＳ１１２において、撮影画角設定部４８１は、前回の広角撮影から一定時間が経過したか否かを判定する。前回の広角撮影からまだ一定時間が経過していないと判定された場合、処理はステップＳ１０２に戻る。その後、ステップＳ１０２以降の処理が実行される。
　一方、ステップＳ１１２において、前回の広視野撮影から一定時間が経過したと判定された場合、処理はステップＳ１１３に進む。
　また、ステップＳ１０３において、ＰＴＺカメラ１１３により撮影された全画角画像に主要被写体が写っていないと判定された場合、すなわち、全画角画像に主要被写体が存在しないと判定された場合、ステップＳ１０４乃至ステップＳ１１２の処理はスキップされ、処理はステップＳ１１３に進む。
　ステップＳ１１３において、情報処理部４５１は、広視野画角になるようにＰＴＺカメラ１１３の低速制御を行う。具体的には、撮影画角設定部４８１は、広視野画角に撮影画角を設定し、設定した撮影画角に関する情報を画角制御部２７３に供給する。画角制御部２７３は、図５のステップＳ９の処理と同様に、ＰＴＺカメラ１１３のＰＴＺを緩やかな速度で駆動し、ＰＴＺカメラ１１３の画角を、設定された撮影画角（広視野画角）に合わせる。
　その後、処理はステップＳ１０２に戻り、ステップＳ１０２以降の処理が実行される。
　以上のようにして、１台のＰＴＺカメラ１１３のみで、ＰＴＺ方式と切り出し方式が効果的に組み合わされることにより、適切な画角及び画質の撮影画像を得ることができる。
　＜＜４．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　　＜情報処理システムの構成に関する変形例＞
　例えば、図２の情報処理システム１０１において、２台以上の広角用カメラ１１１を設けることも可能である。また、２台以上のＰＴＺカメラ１１３を設けることも可能である。これにより、撮影装置の台数が増えるが、より多くの種類の画角の撮影画像を一度に得ることが可能になる。
　また、例えば、図１０の情報処理システム４０１において、２台以上のＰＴＺカメラ１１３を設けることも可能である。これにより、撮影装置の台数が増えるが、より多くの種類の画角の画像を一度に得ることが可能になる。
　さらに、例えば、情報処理システム１０１及び情報処理システム４０１において、２台以上のマイクロフォン１１２を設けることも可能である。
　また、例えば、情報処理システム１０１において、情報処理装置１１４の機能（特に、図４の情報処理部２５１の機能）の一部又は全部を、広角用カメラ１１１、ＰＴＺカメラ１１３、又は、スイッチャ１１５に設けることが可能である。
　例えば、広角用カメラ１１１が、撮影空間の状況の認識処理を行うようにしてもよい。例えば、ＰＴＺカメラ１１３が、画角候補及び撮影画角の設定、並びに、画角の制御を行うようにしてもよい。さらに、例えば、ＰＴＺカメラ１１３が、撮影空間の状況の認識処理も行うようにしてもよい。また、例えば、スイッチャ１１５が、情報処理装置１１４の機能を全て備えるようにしてもよい。
　さらに、例えば、情報処理システム４０１において、情報処理装置１１４の機能（特に、図１１の情報処理部４５１の機能）の一部又は全部をＰＴＺカメラ１１３又はスイッチャ１１５に設けることが可能である。
　例えば、ＰＴＺカメラ１１３が、撮影空間の状況の認識処理を行うようにしてもよい。また、例えば、ＰＴＺカメラ１１３が、画角候補及び撮影画角の設定、並びに、画角の制御も行うようにしてもよい。さらに、例えば、スイッチャ１１５が、情報処理装置１１４の機能を全て備えるようにしてもよい。
　また、例えば、クラウドコンピューティング等におけるサーバに情報処理装置１１４を適用し、サーバがＰＴＺカメラ１１３の画角を制御するサービスを提供するようにしてもよい。
　　＜主要被写体の設定方法に関する変形例＞
　例えば、２つ以上の被写体を主要被写体として認識するようにすることも可能である。
　また、例えば、情報処理装置１１４の出力部２０７が備えるディスプレイに、被写体の認識結果を表示し、ユーザが、入力部２０６を用いて、主要被写体を選択するようにしてもよい。
　さらに、図１２のステップＳ１０３の処理において、音声以外の情報（例えば、全画角画像以外のセンサデータ等）に基づいて、全画角画像に写っていない被写体を認識するようにしてもよい。
　　＜画角候補の設定に関する変形例＞
　例えば、広角用カメラ１１１により撮影された撮影画像、又は、その撮影画像から切り出された画像が良い条件である場合、その画像の画角と同様の画角候補を除外するようにしてもよい。
　また、例えば、スタジオ撮影等において、被写体の位置がほぼ固定されている場合、事前にユーザが画角候補を設定するようにしてもよい。
　さらに、例えば、情報処理装置１１４の出力部２０７が備えるディスプレイに広角画像を表示し、ユーザが、入力部２０６を用いて画角候補を入力し、画角候補設定部２８１が、ユーザ入力に基づいて、画角候補を設定するようにしてもよい。
　　＜撮影画角の設定に関する変形例＞
　例えば、情報処理装置１１４の出力部２０７が備えるディスプレイに、設定した画角候補を表示し、ユーザが、入力部２０６を用いて、必要な画角候補を選択するようにしてもよい。そして、撮影画角設定部２８２又は撮影画角設定部４８１が、ユーザが選択した画角候補を含む撮影画角を設定するようにしてもよい。また、同様の方法により、ユーザが主要画角候補を選択するようにしてもよい。
　さらに、例えば、撮影画角設定部２８２、撮影画角設定部４８１、又は、ユーザが、主要画角候補を複数選択して、全ての主要画角候補の切り出しサイズが閾値以上になるように、撮影画角を設定するようにしてもよい。
　　＜撮影画像の切り出しに関する変形例＞
　例えば、切り出し部２６３が、撮影画角に含まれる画角候補の中から最も使用される可能性が高い画角候補を推定し、推定した画角候補に対応する画角の画像を切り出すようにしてもよい。
　また、例えば、切り出し部２６３が、画角候補とは関係なく、全画角画像内において使用される可能性が高い画角を推定し、推定した画角の画像を切り出すようにしてもよい。
　さらに、例えば、情報処理装置１１４の出力部２０７が備えるディスプレイに、全画角得撮影画像と各画角候補に対応する画角を表示し、ユーザが、入力部２０６を用いて、必要な画角を選択し、選択した画角の画像が切り出されるようにしてもよい。
　　＜ＰＴＺカメラ１１３のＰＴＺ制御に関する変形例＞
　ＰＴＺカメラ１１３のＰＴＺを高精度に制御するには、被写体の奥行き方向の位置を含む３次元情報を用いて、ＰＴＺカメラ１１３のＰＴＺ値（パン角、チルト角、及び、ズーム倍率）を計算することが望ましい。
　３次元情報は、例えば、第１の実施の形態において、広角用カメラ１１１を２台以上設けて、三角測量の手法を用いて得ることが可能である。
　また、広角用カメラ１１１が１台の場合、例えば、デプスセンサを備えるカメラ、位相差画像を備えるカメラを広角用カメラ１１１に用いることにより、３次元情報を得ることができる。なお、デプスセンサの方式は、特に限定されず、ＴｏＦ（Time of Flight）方式、Structured Light方式等の方式を用いることができる。
　さらに、広角用カメラ１１１が１台の場合、例えば、ディープラーニング等の手法を用いて、広角画像に基づいて、各被写体の奥行き方向の位置を推定する方法を採用することができる。
　また、例えば、第１の実施の形態において、広角用カメラ１１１とＰＴＺカメラ１１３が略同じ位置に設置されている場合、広角用カメラ１１１により撮影された２次元の広角画像に基づいて、ＰＴＺカメラ１１３のＰＴＺ値を直接推定することが可能である。
　さらに、例えば、被写体となり得る人等にセンサ（例えば、ＵＷＢ（Ultra Wide Band）センサ、赤外線センサ等）を装着し、そのセンサからのデータに基づいて、各被写体の奥行き方向の位置を認識するようにしてもよい。
　なお、各被写体の奥行き方向の位置を認識しなくても、例えば、エピポーラ線を用いた幾何制約を利用することにより、ＰＴＺカメラ１１３のＰＴＺの制御を高速化することが可能である。
　　＜その他の変形例＞
　第２の実施の形態において、広視野画角に設定するタイミングは、必ずしも一定時間毎でなくてもよく、例えば、所定の条件を満たしたとき等でもよい。
　また、本技術は、例えば、特別なイベントが行われていない撮影空間を撮影する場合にも適用することができる。例えば、本技術は、屋外の風景を撮影する場合や、所定の監視領域を撮影する場合にも適用することができる。
　＜＜５．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　所定の撮影空間に対して第１の撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定する画角候補設定部と、
　前記複数の画角候補に基づいて、前記第１の撮影装置の撮影画角を設定する撮影画角設定部と
　を備える情報処理装置。
（２）
　前記撮影空間を撮影した撮影画像に基づいて、前記撮影空間の状況を認識する認識部を
　さらに備え、
　前記画角候補設定部は、前記撮影空間の状況に基づいて、前記画角候補を設定する
　前記（１）に記載の情報処理装置。
（３）
　前記認識部は、前記撮影空間の状況として、前記撮影空間内で主要な被写体である主要被写体、及び、前記主要被写体に関連する関連被写体を認識し、
　前記画角候補設定部は、認識された前記主要被写体及び前記関連被写体に基づいて、前記画角候補を設定する
　前記（２）に記載の情報処理装置。
（４）
　前記認識部は、前記撮影空間の状況として、前記撮影空間内のシーンの内容を認識し、
　前記画角候補設定部は、さらに前記シーンの内容に基づいて、前記画角候補を設定する
　前記（３）に記載の情報処理装置。
（５）
　前記認識部は、前記第１の撮影装置により撮影された撮影画像に基づいて、前記撮影空間の状況を認識し、
　前記撮影画角設定部は、所定のタイミングで、視野が最も広い広視野画角に前記撮影画角を設定する
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記撮影画角設定部は、前記第１の撮影装置により撮影された撮影画像に、前記撮影空間内で主要な被写体である主要被写体が存在しない場合、前記広視野画角に前記撮影画角を設定する
　前記（５）に記載の情報処理装置。
（７）
　前記認識部は、第２の撮影装置により撮影された撮影画像に基づいて、前記撮影空間の状況を認識する
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（８）
　前記撮影画角設定部は、前記複数の画角候補を含むように前記撮影画角を設定する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記撮影画角設定部は、前記複数の画角候補のうち重要であると推定される主要画角候補の解像度が所定の閾値以上になるように、前記撮影画角に含める前記画角候補を選択する
　前記（８）に記載の情報処理装置。
（１０）
　前記撮影空間を撮影した撮影画像に基づいて、前記撮影空間の状況を認識する認識部を
　さらに備え、
　前記画角候補設定部は、前記撮影空間の状況、及び、前記第１の撮影装置により撮影された撮影画像の用途のうち少なくとも１つに基づいて、前記複数の画角候補のうち前記主要画角候補を選択する
　前記（９）に記載の情報処理装置。
（１１）
　前記撮影画角設定部は、前記複数の画角候補を含む矩形の領域に対して少なくとも１方向にマージンを設けた領域を前記撮影画角に設定する
　前記（８）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記第１の撮影装置により撮影された撮影画像から、少なくとも前記画角候補のうちの１つに対応する画角の画像を切り出す切り出し部を
　さらに備える前記（８）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記切り出し部は、前記第１の撮影装置により撮影された撮影画像から、各前記画角候補にそれぞれ対応する複数の画角の画像を切り出す
　前記（１２）に記載の情報処理装置。
（１４）
　設定された前記撮影画角になるように前記第１の撮影装置のパン、チルト、及び、ズームを制御する画角制御部を
　さらに備える前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記画角制御部は、前記第１の撮影装置により撮影された撮影画像に対して所定の役割が付与されているか否かに基づいて、前記第１の撮影装置のパン、チルト、及び、ズームの駆動速度を制御する
　前記（１４）に記載の情報処理装置。
（１６）
　前記第１の撮影装置に設けられる
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　情報処理装置が、
　所定の撮影空間に対して撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定し、
　前記複数の画角候補に基づいて、前記撮影装置の撮影画角を設定する
　情報処理方法。
（１８）
　所定の撮影空間に対して撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定し、
　前記複数の画角候補に基づいて、前記撮影装置の撮影画角を設定する
　処理をコンピュータに実行させるためのプログラム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　情報処理システム，　１１１　広角用カメラ，　１１２　マイクロフォン，　１１３　ＰＴＺカメラ，　１１４　情報処理装置、　１１５　スイッチャ，　２０１　ＣＰＵ，　２５１　情報処理部，　２６１　キャリブレーション部，　２６２　撮影制御部，　２６３　切り出し部，　２７１　認識部，　２７２　画角設定部，　２７３　画角制御部，　２８１　画角候補設定部，　２８２　撮影画角設定部，　４０１　情報処理システム，　４５１　情報処理部，　４６１　撮影制御部，　４７１　認識部，　４７２　画角制御部，　４８１　撮影画角設定部

Claims (18)

  1. 　所定の撮影空間に対して第１の撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定する画角候補設定部と、
    　前記複数の画角候補に基づいて、前記第１の撮影装置の撮影画角を設定する撮影画角設定部と
    　を備える情報処理装置。
  2. 　前記撮影空間を撮影した撮影画像に基づいて、前記撮影空間の状況を認識する認識部を
    　さらに備え、
    　前記画角候補設定部は、前記撮影空間の状況に基づいて、前記画角候補を設定する
    　請求項１に記載の情報処理装置。
  3. 　前記認識部は、前記撮影空間の状況として、前記撮影空間内で主要な被写体である主要被写体、及び、前記主要被写体に関連する関連被写体を認識し、
    　前記画角候補設定部は、認識された前記主要被写体及び前記関連被写体に基づいて、前記画角候補を設定する
    　請求項２に記載の情報処理装置。
  4. 　前記認識部は、前記撮影空間の状況として、前記撮影空間内のシーンの内容を認識し、
    　前記画角候補設定部は、さらに前記シーンの内容に基づいて、前記画角候補を設定する
    　請求項３に記載の情報処理装置。
  5. 　前記認識部は、前記第１の撮影装置により撮影された撮影画像に基づいて、前記撮影空間の状況を認識し、
    　前記撮影画角設定部は、所定のタイミングで、視野が最も広い広視野画角に前記撮影画角を設定する
    　請求項２に記載の情報処理装置。
  6. 　前記撮影画角設定部は、前記第１の撮影装置により撮影された撮影画像に、前記撮影空間内で主要な被写体である主要被写体が存在しない場合、前記広視野画角に前記撮影画角を設定する
    　請求項５に記載の情報処理装置。
  7. 　前記認識部は、第２の撮影装置により撮影された撮影画像に基づいて、前記撮影空間の状況を認識する
    　請求項２に記載の情報処理装置。
  8. 　前記撮影画角設定部は、前記複数の画角候補を含むように前記撮影画角を設定する
    　請求項１に記載の情報処理装置。
  9. 　前記撮影画角設定部は、前記複数の画角候補のうち重要であると推定される主要画角候補の解像度が所定の閾値以上になるように、前記撮影画角に含める前記画角候補を選択する
    　請求項８に記載の情報処理装置。
  10. 　前記撮影空間を撮影した撮影画像に基づいて、前記撮影空間の状況を認識する認識部を
    　さらに備え、
    　前記画角候補設定部は、前記撮影空間の状況、及び、前記第１の撮影装置により撮影された撮影画像の用途のうち少なくとも１つに基づいて、前記複数の画角候補のうち前記主要画角候補を選択する
    　請求項９に記載の情報処理装置。
  11. 　前記撮影画角設定部は、前記複数の画角候補を含む矩形の領域に対して少なくとも１方向にマージンを設けた領域を前記撮影画角に設定する
    　請求項８に記載の情報処理装置。
  12. 　前記第１の撮影装置により撮影された撮影画像から、少なくとも前記画角候補のうちの１つに対応する画角の画像を切り出す切り出し部を
    　さらに備える請求項８に記載の情報処理装置。
  13. 　前記切り出し部は、前記第１の撮影装置により撮影された撮影画像から、各前記画角候補にそれぞれ対応する複数の画角の画像を切り出す
    　請求項１２に記載の情報処理装置。
  14. 　設定された前記撮影画角になるように前記第１の撮影装置のパン、チルト、及び、ズームを制御する画角制御部を
    　さらに備える請求項１に記載の情報処理装置。
  15. 　前記画角制御部は、前記第１の撮影装置により撮影された撮影画像に対して所定の役割が付与されているか否かに基づいて、前記第１の撮影装置のパン、チルト、及び、ズームの駆動速度を制御する
    　請求項１４に記載の情報処理装置。
  16. 　前記第１の撮影装置に設けられる
    　請求項１に記載の情報処理装置。
  17. 　情報処理装置が、
    　所定の撮影空間に対して撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定し、
    　前記複数の画角候補に基づいて、前記撮影装置の撮影画角を設定する
    　情報処理方法。
  18. 　所定の撮影空間に対して撮影装置により撮影可能な撮影画像範囲から複数の画角候補を設定し、
    　前記複数の画角候補に基づいて、前記撮影装置の撮影画角を設定する
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2021/010976 2020-03-31 2021-03-18 情報処理装置、情報処理方法、及び、プログラム WO2021200184A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/914,136 US20230328355A1 (en) 2020-03-31 2021-03-18 Information processing apparatus, information processing method, and program
CN202180023935.XA CN115315939A (zh) 2020-03-31 2021-03-18 信息处理装置、信息处理方法和程序
JP2022511862A JPWO2021200184A1 (ja) 2020-03-31 2021-03-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-062196 2020-03-31
JP2020062196 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200184A1 true WO2021200184A1 (ja) 2021-10-07

Family

ID=77927962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010976 WO2021200184A1 (ja) 2020-03-31 2021-03-18 情報処理装置、情報処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US20230328355A1 (ja)
JP (1) JPWO2021200184A1 (ja)
CN (1) CN115315939A (ja)
WO (1) WO2021200184A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157695A1 (ja) * 2022-02-17 2023-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
WO2024116733A1 (ja) * 2022-12-02 2024-06-06 ソニーグループ株式会社 情報処理装置、情報処理方法、記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134845A (ja) * 2005-11-09 2007-05-31 Nippon Hoso Kyokai <Nhk> カメラ制御装置およびカメラ制御プログラム
JP2008072261A (ja) * 2006-09-13 2008-03-27 Casio Comput Co Ltd カメラ装置、及び画像表示方法、画像表示装置
JP2012060510A (ja) * 2010-09-10 2012-03-22 Canon Inc 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134845A (ja) * 2005-11-09 2007-05-31 Nippon Hoso Kyokai <Nhk> カメラ制御装置およびカメラ制御プログラム
JP2008072261A (ja) * 2006-09-13 2008-03-27 Casio Comput Co Ltd カメラ装置、及び画像表示方法、画像表示装置
JP2012060510A (ja) * 2010-09-10 2012-03-22 Canon Inc 撮像装置及びその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157695A1 (ja) * 2022-02-17 2023-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
WO2024116733A1 (ja) * 2022-12-02 2024-06-06 ソニーグループ株式会社 情報処理装置、情報処理方法、記録媒体

Also Published As

Publication number Publication date
US20230328355A1 (en) 2023-10-12
CN115315939A (zh) 2022-11-08
JPWO2021200184A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US11860511B2 (en) Image pickup device and method of tracking subject thereof
US11688034B2 (en) Virtual lens simulation for video and photo cropping
TWI311286B (ja)
RU2565855C1 (ru) Устройство захвата изображений, способ управления этим устройством и программа
JP2001094857A (ja) バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法
WO2021200184A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2007081682A (ja) 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
KR20100104591A (ko) 파노라마의 생성 방법
JP2010034652A (ja) 多方位カメラ搭載型携帯端末装置
JP2010166218A (ja) カメラシステム及びその制御方法
WO2020095648A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
WO2014097465A1 (ja) 映像処理装置および映像処理方法
WO2021200185A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7233886B2 (ja) 画像処理装置
WO2023189079A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2005110160A (ja) 撮像装置
CN116600147B (zh) 一种异地多人实时云合影的方法和系统
JP2019096926A (ja) 画像処理装置、画像処理方法およびプログラム
JP2002262138A (ja) 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器
JP2004193661A (ja) 双方向コミュニケーションシステム，映像通信装置，および映像通信装置の撮影処理制御方法
CN115941922A (zh) 基于云计算的vr网络摄像头实时联动成像方法及装置
JP2023091490A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN115941988A (zh) 一种应用于球场的全景视频生成方法及全景视频系统
JPH10229566A (ja) デジタルカメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781481

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511862

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21781481

Country of ref document: EP

Kind code of ref document: A1