WO2021200185A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021200185A1
WO2021200185A1 PCT/JP2021/010977 JP2021010977W WO2021200185A1 WO 2021200185 A1 WO2021200185 A1 WO 2021200185A1 JP 2021010977 W JP2021010977 W JP 2021010977W WO 2021200185 A1 WO2021200185 A1 WO 2021200185A1
Authority
WO
WIPO (PCT)
Prior art keywords
shooting
angle
view
information processing
target
Prior art date
Application number
PCT/JP2021/010977
Other languages
English (en)
French (fr)
Inventor
伊東　隆史
広志 池田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021200185A1 publication Critical patent/WO2021200185A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program that enable an image to be easily photographed at an appropriate angle of view.
  • the PTZ (pan, tilt, and zoom) of the secondary camera is controlled so that a subject different from the subject selected by the cameraman in the captured image captured by the main camera is located near the center of the captured image.
  • Patent Document 1 has been proposed (see, for example, Patent Document 1).
  • This technology was made in view of such a situation, and makes it possible to easily shoot a shooting target with an appropriate angle of view.
  • the information processing device on one aspect of the present technology sets a shooting angle of view in which the first shooting device sets a shooting angle of view for shooting the shooting target based on the position of a feature point of the shooting target in a three-dimensional shooting space. It has a part.
  • the information processing device sets the shooting angle at which the shooting device shoots the shooting target based on the position of the feature point of the shooting target in the three-dimensional shooting space.
  • the program of one aspect of the present technology sets the shooting angle of view at which the shooting device shoots the shooting target based on the position of the feature point of the shooting target in the three-dimensional shooting space.
  • the shooting angle of view at which the shooting device shoots the shooting target is set based on the position of the feature point of the shooting target in the three-dimensional shooting space.
  • FIG. 1 shows a configuration example of an embodiment of the information processing system 101 to which the present technology is applied.
  • the information processing system 101 includes a camera 111-1, a camera 111-2, a microphone 112, a PTZ camera 113, an information processing device 114, and a switcher 115.
  • the camera 111-1, the camera 111-2, the microphone 112, the PTZ camera 113, the information processing device 114, and the switcher 115 are connected to each other via a network configured by wire or / and wireless, and are connected to each other to obtain various data. Give and receive.
  • the camera 111 when it is not necessary to distinguish the camera 111-1 and the camera 111-2 individually, they are simply referred to as the camera 111.
  • Each camera 111 is composed of, for example, a shooting device capable of wide-angle shooting. Each camera 111 shoots a predetermined three-dimensional shooting space at a wide angle from different angles (directions). Each camera 111 transmits the photographed image data (hereinafter referred to as the photographed space image data) corresponding to the photographed image (hereinafter referred to as the photographed space image) obtained by the photographing to the information processing device 114.
  • the photographed space image data the photographed image data corresponding to the photographed image obtained by the photographing to the information processing device 114.
  • the shooting space is a three-dimensional space in which the information processing system 101 is shot (targeted for shooting), and for example, an event (for example, program production, sports game, etc.) to be shot is performed. It is a space to be called.
  • the PTZ and position of each camera 111 are usually fixed.
  • FIG. 1 shows an example in which two cameras 111 are provided, the present technology can also be applied to a case where three or more cameras 111 are provided.
  • each camera 111 does not necessarily have to be of the same type, but may be of a different type.
  • the microphone 112 collects the voice in the shooting space and transmits the voice data corresponding to the collected voice to the information processing device 114.
  • FIG. 1 shows an example in which one microphone 112 is provided, the present technology can also be applied to the case where two or more microphones 112 are provided.
  • the PTZ camera 113 is composed of, for example, a photographing device capable of remotely controlling PTZ (pan, tilt, and zoom). Under the control of the information processing device 114, the PTZ camera 113 mainly shoots a specific subject (hereinafter, referred to as a shooting target) in the shooting space. The PTZ camera 113 transmits the photographed image data (hereinafter referred to as the photographed image data) corresponding to the photographed image (hereinafter referred to as the photographed image) obtained by the photographing to the information processing apparatus 114.
  • the photographed image data hereinafter referred to as the photographed image data
  • the position of the PTZ camera 113 is usually fixed.
  • FIG. 1 shows an example in which one PTZ camera 113 is provided, the present technology can be applied to the case where two or more PTZ cameras 113 are provided.
  • the information processing device 114 is composed of, for example, a computer or the like.
  • the information processing device 114 calibrates each camera 111 and the PTZ camera 113. Further, the information processing device 114 recognizes the situation of the shooting space based on the shooting space image data from each camera 111, the audio data from the microphone 112, and the shooting target image data from the PTZ camera 113.
  • the situation of the shooting space for example, the state of the subject in the shooting space, the content of the scene in the shooting space (hereinafter referred to as the shooting scene), the content of the sound in the shooting space and the position of the sound source, in the shooting space.
  • the status of the event being held is recognized.
  • the state of the subject in the shooting space for example, the type, size, shape, position, posture, movement, feature point, etc. of the subject are recognized.
  • the information processing device 114 controls the angle of view of the PTZ camera 113 by driving the PTZ of the PTZ camera 113 according to the situation of the shooting space. Further, the information processing device 114 transmits the shooting space image data and the shooting target image data to the switcher 115.
  • the switcher 115 selects a necessary shot image from each shooting space image and a shot target image, and transmits the shot image data corresponding to the selected shot image to the subsequent stage.
  • FIG. 2 shows a configuration example of the hardware of the information processing device 114.
  • the CPU 201 the ROM (Read Only Memory) 202, and the RAM (Random Access Memory) 203 are connected to each other by the bus 204.
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes, for example, a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes, for example, a display, a speaker, and the like.
  • the storage unit 208 includes, for example, a non-volatile memory such as a hard disk.
  • the communication unit 209 communicates with each camera 111, the microphone 112, the PTZ camera 113, and the switcher 115 by a predetermined communication method.
  • the drive 210 drives a removable recording medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the program executed by the information processing device 114 can be recorded and provided on the removable recording medium 211 as a package media or the like, for example.
  • the program recorded on the removable recording medium 211 is installed in the storage unit 208 via the input / output interface 205, for example, by mounting the removable recording medium 211 on the drive 210.
  • the program is received by the communication unit 209 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting, and is installed in the storage unit 208.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting
  • the program can be pre-installed in, for example, the ROM 202 or the storage unit 208.
  • the CPU 201 loads the program stored in the ROM 202 or the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the series of processing. Is done.
  • the description of the bus 204 and the input / output interface 205 when each part exchanges data via the bus 204 and the input / output interface 205 will be omitted.
  • the description of the bus 204 and the input / output interface 205 is omitted, and it is described that the CPU 201 and the communication unit 209 simply communicate with each other. ..
  • FIG. 3 shows a configuration example of the information processing unit 251 which is a function realized by the CPU 201 executing a program.
  • the information processing unit 251 includes a calibration unit 261 and an imaging control unit 262.
  • the calibration unit 261 calibrates each camera 111 and PTZ camera 113.
  • the calibration unit 261 obtains the position and orientation of each camera 111 and PTZ camera 113 in the world coordinate system common to each camera 111 and PTZ camera 113.
  • the calibration unit 261 obtains a transformation matrix that converts the world coordinate system into a camera coordinate system unique to each camera 111 and PTZ camera 113.
  • the camera coordinate system is a coordinate system based on the optical axis of each camera 111 and PTZ camera 113, respectively.
  • the calibration unit 261 supplies information regarding the transformation matrix of each camera 111 and the PTZ camera 113 to the photographing control unit 262.
  • the shooting control unit 262 controls the angle of view of the PTZ camera 113 by controlling the PTZ of the PTZ camera 113.
  • the shooting control unit 262 includes a recognition unit 271, a shooting target setting unit 272, a shooting angle of view setting unit 273, and an angle of view control unit 274.
  • the recognition unit 271 recognizes the situation of the shooting space based on the shooting space image data from each camera 111, the audio data from the microphone 112, and the shooting target image data from the PTZ camera 113.
  • the recognition unit 271 supplies information regarding the recognized status of the shooting space to the shooting target setting unit 272.
  • the shooting target setting unit 272 sets a shooting target from the subjects in the shooting space based on the user's instruction or the situation of the shooting space.
  • the shooting target setting unit 272 supplies information on the shooting target to the shooting angle of view setting unit 273.
  • the shooting angle of view setting unit 273 sets the angle of view (hereinafter referred to as the shooting angle of view) at which the PTZ camera 113 shoots the shooting space based on the user's instruction or the posture and movement of the shooting target.
  • the shooting angle of view setting unit 273 supplies information on the shooting angle of view to the angle of view control unit 274.
  • the angle of view control unit 274 controls the angle of view of the PTZ camera 113 by driving the PTZ of the PTZ camera 113.
  • This process starts, for example, when shooting in the shooting space starts, and ends when shooting in the shooting space ends.
  • the calibration unit 261 calibrates each camera 111 and PTZ camera 113, and it is assumed that the conversion matrix of each camera 111 and PTZ camera 113 is known. That is, it is assumed that the positions and orientations of the cameras 111 and the PTZ camera 113 in the world coordinate system are known.
  • step S1 the recognition unit 271 recognizes the situation of the shooting space.
  • the recognition unit 271 acquires the shooting space image data from each camera 111, the voice data from the microphone 112, and the shooting target image data from the PTZ camera 113 via the communication unit 209.
  • the recognition unit 271 recognizes the situation of the shooting space by performing image recognition on each shot image data and voice recognition on the voice data.
  • the recognition unit 271 performs recognition processing of a person in each captured image.
  • the recognition unit 271 detects the feature points of the recognized person.
  • the type of feature point to be detected and the detection method are arbitrary.
  • a characteristic part such as a human joint is set as a feature point detection target.
  • FIG. 6 shows an example of feature points to be detected.
  • the feature point Pf1L corresponds to the left eye, and the feature point Pf1R corresponds to the right eye.
  • the feature point Pf2L corresponds to the left ear and the feature point Pf2R corresponds to the right ear.
  • Feature point Pf3 corresponds to the nose.
  • Feature point Pf4 corresponds to the neck joint.
  • the feature point Pf5L corresponds to the left shoulder joint, and the feature point Pf5R corresponds to the right shoulder joint.
  • the feature point Pf6L corresponds to the left elbow joint, and the feature point Pf6R corresponds to the right elbow joint.
  • the feature point Pf7L corresponds to the left wrist joint, and the feature point Pf7R corresponds to the right wrist joint.
  • the feature point Pf8L corresponds to the left hip joint, and the feature point Pf8R corresponds to the right hip joint.
  • the feature point Pf9L corresponds to the left knee joint, and the feature point Pf9R corresponds to the right knee joint.
  • the feature point Pf10L corresponds to the left ankle joint, and the feature point Pf10R corresponds to the right ankle joint.
  • the recognition unit 271 is based on the recognition result of each person's feature points in each shooting space image, and the position in the three-dimensional shooting space represented by the world coordinate system of each person's feature points (hereinafter, three-dimensional). Detects the position). In addition, the recognition unit 271 estimates the posture and movement of each person based on the three-dimensional position of each person's feature point and its change. Further, the recognition unit 271 recognizes each person's facial expression.
  • the recognition unit 271 performs recognition processing for objects other than humans in each captured image, if necessary. For example, the recognition unit 271 recognizes the type, size, shape, position, posture, movement, and the like of each object.
  • the recognition unit 271 recognizes the content of the voice in the shooting space, the position of the sound source, and the like based on the voice data.
  • the recognition unit 271 recognizes the content of the shooting scene by using a technique such as scene recognition.
  • the recognition unit 271 recognizes the state of the event taking place in the shooting space based on, for example, the state of the subject, the content of the shooting scene, the content of the sound in the shooting space, the position of the sound source, and the like. ..
  • the recognition unit 271 supplies information regarding the status of the recognized shooting space to the shooting target setting unit 272.
  • step S2 the shooting target setting unit 272 sets the shooting target.
  • the shooting target setting unit 272 sets a subject selected by the user as a shooting target.
  • the user specifies a desired subject from the subjects in the shooting space image displayed on the display included in the output unit 207 via the input unit 206.
  • the shooting target setting unit 272 sets the subject specified by the user as the shooting target.
  • the shooting target setting unit 272 automatically sets the shooting target regardless of the user's selection.
  • the shooting target setting unit 272 sets a main subject (for example, a main person) presumed to be the most main subject as a shooting target based on the characteristics of a person recognized in the shooting space.
  • the shooting target setting unit 272 estimates that a person having a characteristic posture or movement is the main person, and sets the shooting target. For example, the shooting target setting unit 272 sets a person raising his / her hand, a person standing up, or the like as a shooting target.
  • the shooting target setting unit 272 estimates a main person based on features other than posture and movement, and sets it as a shooting target.
  • the shooting target setting unit 272 is a person who is speaking, a person who is talking about a conversation, a person whose emotions are exposed (for example, a person who is laughing, a person who is crying, a person who is angry). ) Etc. are set as shooting targets.
  • the shooting target setting unit 272 sets a person who is presumed to be the main person in the recognized shooting scene as the shooting target.
  • the shooting target setting unit 272 sets a person who is presumed to be the main person in the sport as the shooting target.
  • the shooting target in the case of ball games, the person holding the ball is set as the shooting target.
  • the shooting target in the case of a time trial such as a marathon or swimming, the top athlete is set as the shooting target.
  • the shooting target setting unit 272 targets a vocalist, a person playing a solo musical instrument (for example, a guitarist playing a guitar solo), or the like as a shooting target. Set.
  • the shooting target setting unit 272 supplies information regarding the set shooting target to the shooting angle of view setting unit 273.
  • step S3 the shooting angle of view setting unit 273 sets the shooting angle of view.
  • the shooting angle of view setting unit 273 sets the shooting angle of view based on the user input. For example, the user inputs a desired shooting angle of view via the input unit 206 while looking at the shooting space image or the shooting target image displayed on the display included in the output unit 207. On the other hand, the shooting angle of view setting unit 273 sets the shooting angle of view of the PTZ camera 113 based on the user input.
  • the shooting angle of view setting unit 273 automatically sets the shooting angle of view regardless of the user setting.
  • the shooting angle of view setting unit 273 selects a composition for shooting the shooting target based on the state of the shooting target.
  • FIG. 8 shows an example of the types of composition. Here, five types of composition examples of composition C1 to composition C5 are shown.
  • Composition C1 is a composition called up shot (US), in which the human face is fully up.
  • Composition C2 is a composition called a bust shot (BS), which includes a part above the vicinity of a person's chest.
  • BS bust shot
  • Composition C3 is a composition called a waist shot (WS), which includes a portion above the vicinity of a person's waist.
  • WS waist shot
  • Composition C4 is a composition called knee shot (KS), which includes a portion above the vicinity of a person's knee.
  • KS knee shot
  • Composition C5 is a composition called a full figure (FF), which includes the whole body of a person.
  • the shooting angle of view setting unit 273 selects a composition for shooting a shooting target from the compositions shown in FIG. 8 according to the conditions shown in FIG. That is, the shooting angle of view setting unit 273 selects the composition based on the range in which the shooting target is visible (shootable range), the posture, and the movement. By selecting the composition, the range of the shooting target included in the shooting angle of view is set.
  • the range in which the shooting target is visible is, for example, the range of the shooting target that can be seen from the PTZ camera 113 and can be shot by the PTZ camera 113 based on the shooting space image.
  • the knee shot is selected.
  • the person 311 does not move much while standing, it is not necessary to look at the feet of the person 311 so much that the composition C11 including the part above the knee of the person 311 Be selected.
  • the full figure is selected.
  • the composition C12 including the whole body of the person 312 is selected so that the movement of the whole body of the person 312 can be clearly seen.
  • the bust shot is selected.
  • the case where the shooting target is sitting is also included.
  • the composition C13 including the part above the chest of the person 313 is selected so that the facial expression of the person 313 can be seen as well as possible. Will be done.
  • the waist shot is selected.
  • the waist shot is selected.
  • the movement of the upper body of the person 314 can be clearly seen above the waist of the person 314.
  • Composition C14 including the portion is selected.
  • the shooting angle of view setting unit 273 selects an up shot so that the facial expression of the shooting target can be clearly seen regardless of the above-mentioned conditions, for example, when the facial expression of the shooting target is rich.
  • the composition C21 with the face of the person 321 up is selected.
  • the composition C22 with the face of the person 322 up is selected.
  • the composition C23 with the face of the person 323 up is selected.
  • the shooting angle of view setting unit 273 sets the shooting angle of view based on the selected composition.
  • a in FIG. 12 shows an example of a shooting angle of view A1 when a waist shot is selected for composition.
  • the shooting angle of view setting unit 273 sets, for example, the center Ca1 of the shooting angle of view A1 at the position of the feature point Pf4 (neck) of the shooting target. Further, the shooting angle of view setting unit 273 sets the height Ha1 of the shooting angle of view A1 to twice the height between the feature point Pf4 (neck) and the feature point Pf7L or the feature point Pf7R (left or right butt). Set to.
  • the shooting angle of view setting unit 273 sets, for example, the center Ca2 of the shooting angle of view A2 at a position between the feature point Pf3 (nose) and the feature point Pf4 (neck) of the shooting target. Further, the shooting angle of view setting unit 273 sets the height Ha2 of the shooting angle of view A2 to the same height as the height between the feature point Pf4 (neck) and the feature point Pf7L or the feature point Pf7R (left or right butt). Set to.
  • the shooting angle of view setting unit 273 corrects the shooting angle of view as necessary.
  • the shooting angle of view setting unit 273 corrects the shooting angle of view based on the object related to the shooting target.
  • the object related to the object to be photographed is, for example, an object possessed by the object to be photographed, an object attached to the object to be photographed, an object to be noticed by the object to be photographed, or the like.
  • the shooting angle of view A11 is widened so that the entire flip 332 can be inserted.
  • the tip of the bat 342 has come out of the shooting angle of view A12.
  • the shooting angle of view A12 is widened so that the entire bat 342 can be inserted.
  • the tip of the guitar 352 has come out of the shooting angle of view A13.
  • the shooting angle of view A13 is widened so that the entire guitar 352 can be accommodated.
  • the cooking utensil 362 and the cooking utensil 363 went out of the shooting angle of view A14. ing.
  • the photographing angle of view A14 is widened so that the cooking utensil 362 and the cooking utensil 363 can be inserted.
  • the shooting angle of view setting unit 273 corrects the shooting angle of view by adjusting the position of the shooting target within the shooting angle of view based on the orientation of the shooting target, for example, according to the conditions shown in FIG.
  • the shooting angle of view setting unit 273 performs spacing so as to widen the direction in which the shooting target is facing within the shooting angle of view. That is, the shooting angle of view setting unit 273 arranges the shooting target at a position shifted from the center of the shooting angle of view in the direction opposite to the direction in which the shooting target is facing.
  • the person 381 is facing the right direction within the shooting angle of view A21.
  • the person 381 is arranged at a position shifted to the left from the center of the shooting angle of view A21 so as to widen the right side of the shooting angle of view A21.
  • the person 382 is facing the right direction within the shooting angle of view A22.
  • the person 382 is arranged at a position shifted to the left from the center of the shooting angle of view A22 so as to widen the right side of the shooting angle of view A22.
  • the shooting target is facing the front or not facing a specific direction, the position of the shooting target within the shooting angle of view is not corrected and remains placed in the center of the shooting angle of view.
  • the person 383 to be photographed faces the front, the person 383 remains arranged at the center of the shooting angle of view A23.
  • the method of determining whether or not the shooting target is facing a specific direction is arbitrary. For example, when at least one of the line of sight, face, or body of the photographing target is continuously facing in one direction for a predetermined time or longer, it is determined that the photographing target is facing a specific direction. On the other hand, in other cases, it is determined that the shooting target is not facing a specific direction.
  • the shooting angle of view setting unit 273 supplies information regarding the set shooting angle of view to the angle of view control unit 274.
  • step S4 the angle of view control unit 274 calculates the PTZ value. Specifically, the angle of view control unit 274 calculates the PTZ value, which is the control amount of the PTZ camera 113, based on the height and center position of the shooting angle of view set by the shooting angle of view setting unit 273. That is, the angle of view control unit 274 calculates the zoom magnification of the PTZ camera 113, the rotation angle in the pan direction (hereinafter referred to as pan angle), and the rotation angle in the tilt direction (hereinafter referred to as tilt angle).
  • pan angle the rotation angle in the pan direction
  • tilt angle the rotation angle in the tilt direction
  • the height of the image sensor 401 of the PTZ camera 113 will be Hs, and the focal length of the PTZ camera 113 will be Fc.
  • the height of the shooting angle of view A31 is defined as Ha
  • the distance between the PTZ camera 113 and the shooting target 301 is defined as Da.
  • the angle of view control unit 274 calculates the distance Da based on the position of the PTZ camera 113 and the position of the shooting target 301 in the world coordinate system.
  • the position of the shooting target 301 is, for example, one of the feature points of the shooting target 301 or a point on the shooting target corresponding to the center of the shooting angle of view (this point is also one of the feature points). Represented by the position in the world coordinate system of.
  • the angle of view control unit 274 calculates the focal length Fc by the following equation (1).
  • the height Ha of the shooting angle of view A31 has already been set by the above-mentioned processing, and the distance Da has already been calculated by the above-mentioned processing. Further, the height Hs of the image sensor 401 is determined by the specifications.
  • the angle of view control unit 274 calculates the zoom magnification Zc of the PTZ camera 113 by the following equation (2).
  • Fw is the focal length at the wide end of the PTZ camera 113.
  • positions Pt in FIGS. 21 to 23 indicate the positions (hereinafter, referred to as target positions) of the points in the real world corresponding to the center of the shooting angle of view A31 in the three-dimensional shooting space.
  • the target position Pt is normally set on the shooting target, but is set on the shooting target, for example, when the shooting target is arranged at a position shifted from the center of the shooting angle of view A31 by spacing. It may not be done.
  • the angle of view control unit 274 converts the coordinates of the target position Pt from the world coordinate system to the camera coordinate system of the PTZ camera 113 by using the transformation matrix calculated at the time of calibration of the PTZ camera 113.
  • the angle of view control unit 274 calculates the coordinates of the target position in the camera coordinate system (hereinafter referred to as the home coordinate system) in the home position of the PTZ camera 113. Specifically, the image angle control unit 274 rotates the coordinates of the target position using a rotation matrix in the order of tilt angle and pan angle obtained by rotating the PTZ camera 113 from a predetermined home position at the time of calibration. , The coordinates of the target position in the home coordinate system of the PTZ camera 113 are calculated.
  • each axis representing the home coordinate system is referred to as an Xc axis, a Yc axis, and a Zc axis.
  • the Xc axis coincides with the horizontal direction of the image sensor 401 of the PTZ camera 113 in the home position
  • the Yc axis coincides with the vertical direction of the image sensor 401 of the PTZ camera 113 in the home position
  • the Zc axis coincides with the PTZ in the home position. It coincides with the optical axis of the camera 113.
  • the coordinates of the target position Pt in the home coordinate system will be referred to as (Xt, Yt, Zt).
  • the angle of view control unit 274 calculates the pan angle ⁇ p of the PTZ camera 113 by the following equation (3).
  • FIG. 22 shows an example of the pan angle ⁇ p when the target position Pt is viewed from the Yc axis direction. That is, FIG. 22 shows the position where the target position Pt is projected onto the Xc-Zc plane and the pan angle ⁇ p.
  • the angle of view control unit 274 calculates the tilt angle ⁇ t of the PTZ camera 113 by the following equation (4).
  • FIG. 23 shows an example of a tilt angle ⁇ t.
  • step S5 the angle of view control unit 274 determines whether or not it is within the PTZ driveable range.
  • the angle of view control unit 274 determines that the calculated pan angle ⁇ p, tilt angle ⁇ t, and zoom magnification Zc are all within the settable range of the PTZ camera 113, and processes the PTZ driveable range. Proceeds to step S6.
  • step S6 the angle of view control unit 274 controls the PTZ camera 113 so that the shooting angle of view is set. Specifically, the angle of view control unit 274 rotates the PTZ camera 113 from the home position in the pan direction and the tilt direction by the pan angle ⁇ p and the tilt angle ⁇ t. Further, the angle of view control unit 274 drives the zoom of the PTZ camera 113 so as to have a zoom magnification of Zc. As a result, the angle of view of the PTZ camera 113 is adjusted to the shooting angle of view set by the shooting angle of view setting unit 273.
  • the angle of view control unit 274 controls the driving speed of the PTZ camera 113 depending on whether or not the image to be photographed taken by the PTZ camera 113 is in use.
  • the angle of view control unit 274 takes a picture when a predetermined role is given to the image to be taken, for example, when the image to be taken is output from the switcher 115 as an image for broadcasting or preview. It is determined that the target image is in use. In this case, the angle of view control unit 274 drives the PTZ of the PTZ camera 113 so that the quality of the image to be photographed is maintained.
  • the angle of view control unit 274 reduces the driving speed of the PTZ so that the movement blur is within the permissible amount. Further, for example, the angle of view control unit 274 drives the PTZ camera 113 so as to pan and tilt while taking a picture of a person other than the object to be photographed. Further, for example, the angle of view control unit 274 drives the zoom of the PTZ camera 113 after the object to be photographed enters the image frame of the PTZ camera 113.
  • the angle of view control unit 274 drives the PTZ of the PTZ camera 113 at high speed so that the angle of view of the PTZ camera 113 becomes the set shooting angle of view at the shortest.
  • the PTZ is driven at the maximum speed allowed by the mechanical constraints of the PTZ camera 113.
  • step S1 After that, the process returns to step S1, and the processes after step S1 are executed.
  • step S5 the angle of view control unit 274 can drive the PTZ when at least one of the calculated pan angle ⁇ p, tilt angle ⁇ t, and zoom magnification Zc is outside the settable range of the PTZ camera 113. It is determined that the range is out of range, and the process returns to step S1. That is, the angle of view of the PTZ camera 113 is not changed. After that, the processes after step S1 are executed.
  • the shooting target can be set appropriately, and the shooting target can be easily shot with an appropriate angle of view (composition) and focus.
  • the accuracy of the PTZ value is compared with the case where the PTZ value is calculated based on the two-dimensional shot image of the conventional wide-angle camera. Is improved.
  • the user does not need to operate the PTZ camera 113 with a remote controller or the like while viewing the captured image of the PTZ camera 113, and the appropriate angle of view is automatically set quickly and easily.
  • ⁇ Modification example of the configuration of the information processing system 101> a part or all of the functions of the information processing device 114 (particularly, the functions of the information processing unit 251 of FIG. 3) may be provided in each camera 111, PTZ camera 113, or switcher 115. It is possible.
  • each camera 111 and PTZ camera 113 may also perform a process of recognizing the situation of the shooting space. Further, for example, each camera 111 and PTZ camera 113 may be equipped with a device or the like for recognizing the situation of the shooting space.
  • the PTZ camera 113 may set the shooting target and the shooting angle of view, and control the angle of view.
  • the switcher 115 may have all the functions of the information processing device 114.
  • the information processing device 114 may be applied to a server in cloud computing or the like so that the server provides a service for controlling the angle of view of the PTZ camera 113.
  • the camera 111 may be configured by one depth camera, and the three-dimensional position of the subject in the shooting space may be detected based on the captured image taken by one depth camera.
  • ⁇ Modification example of setting method of shooting target> For example, in the shooting target setting unit 272, when the subject presumed to be the main subject is set as the shooting target of another third shooting device (for example, a camera other than the camera 111 and the PTZ camera 113), or the first shooting target setting unit 272.
  • another subject related to the main subject may be set as the photographing target.
  • a person who is talking with a main subject for example, a main person
  • a person who has taken a reaction to the main subject, and the like are set as shooting targets.
  • the presumed main subject which is the most important subject, is set as the shooting target is shown.
  • a plurality of main subjects presumed to be the main subject are set as shooting targets. It is also possible to set.
  • the object to be photographed is not necessarily limited to humans, but may be an animal body other than humans (for example, animals, vehicles, robots, etc.) or a stationary object (for example, a building, etc.).
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • An information processing device including a shooting angle of view setting unit in which a first shooting device sets a shooting angle of view for shooting the shooting target based on the position of a feature point of the shooting target in a three-dimensional shooting space.
  • the shooting angle of view setting unit further sets the shooting angle of view based on the state of the shooting target.
  • the state of the shooting target includes at least one of a range in which the shooting target can be shot, a posture of the shooting target, a movement of the shooting target, and a facial expression of the shooting target. Processing equipment.
  • the shooting angle of view setting unit is within the shooting angle of view based on at least one of a range in which the shooting target can be shot, a posture of the shooting target, a movement of the shooting target, and a facial expression of the shooting target.
  • the information processing apparatus according to (3) above which sets the range of the object to be photographed included in the above.
  • the shooting angle of view setting unit arranges the shooting target at a position shifted from the center of the shooting angle of view in the direction opposite to the specific direction (3).
  • the information processing apparatus according to (4) (6) The information processing device according to any one of (2) to (5) above, wherein the shooting angle of view setting unit further sets the shooting angle of view based on an object related to the shooting target.
  • the information processing device further including a recognition unit that recognizes the state of the image shooting target based on the image captured in the image capture space photographed by the second image pickup device. .. (8) The recognition unit recognizes the state of the subject in the shooting space based on the shot image, and recognizes the state of the subject in the shooting space.
  • the information processing device further comprising a shooting target setting unit for setting the shooting target from the subject based on the state of the subject in the shooting space.
  • the shooting target setting unit estimates a main subject, which is a main subject, based on the state of the subject, and sets the main subject as the shooting target.
  • the recognition unit recognizes the contents of the scene in the shooting space based on the shot image.
  • (11) The information processing device according to (9) above, wherein when the main subject is set as a shooting target of the third shooting device, the recognition unit sets another subject related to the main subject as the shooting target. .. (12) Any of the above (1) to (6) including a recognition unit that recognizes the position of the feature point of the shooting target in the shooting space based on the shot images taken from different angles by the plurality of second shooting devices.
  • (1) to (12) further include an angle of view control unit that calculates the pan, tilt, and zoom control amounts of the first imaging device based on the positions of the feature points of the imaging target in the imaging space. ) Is described in any of the information processing devices.
  • the information processing device according to (13) or (14), wherein the angle of view control unit controls pan, tilt, and zoom of the first photographing device based on the controlled amount.
  • the angle of view control unit pans, tilts, and zooms the first photographing device based on whether or not a predetermined role is given to the captured image photographed by the first photographing device.
  • the information processing apparatus according to any one of (13) to (15) above, which controls the driving speed of the device.
  • Information processing device An information processing method in which a photographing device sets a shooting angle of view for shooting the shooting target based on the position of a feature point of the shooting target in a three-dimensional shooting space.
  • 101 Information processing system 111-1, 111-2 camera, 112 microphone, 113 PTZ camera, 114 information processing device, 115 switcher, 201 CPU, 251 information processing unit, 261 calibration unit, 262 shooting control unit, 271 recognition unit , 272 shooting target setting unit, 273 shooting angle of view setting unit, 274 angle of view control unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、撮影対象を容易に適切な画角で撮影することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、３次元の撮影空間における撮影対象の特徴点の位置に基づいて、第１の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を備える。本技術は、例えば、テレビジョン放送の番組等の撮影を行うシステムに適用できる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、撮影対象を容易に適切な画角で撮影できるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
　従来、主カメラにより撮影された撮影画像内においてカメラマンにより選択された被写体と異なる被写体が撮影画像の中央付近に位置するように、従カメラのＰＴＺ（パン、チルト、及び、ズーム）を制御することが提案されている（例えば、特許文献１参照）。
特開２０１１－１０１１６５号公報
　しかしながら、特許文献１に記載の発明では、主カメラの撮影対象である主となる被写体に対する画角はカメラマンが調整する必要がある。
　本技術は、このような状況に鑑みてなされたものであり、撮影対象を容易に適切な画角で撮影できるようにするものである。
　本技術の一側面の情報処理装置は、３次元の撮影空間における撮影対象の特徴点の位置に基づいて、第１の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を備える。
　本技術の一側面の情報処理方法は、情報処理装置が、３次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する。
　本技術の一側面のプログラムは、３次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する。
　本技術の一側面においては、３次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角が設定される。
本技術を適用した情報処理システムの構成例を示すブロック図である。 情報処理装置の構成例を示すブロック図である。 情報処理装置の情報処理部の構成例を示すブロック図である。 画角制御処理を説明するためのフローチャートである。 撮影空間の例を模式的に示す図である。 人の特徴点の例を示す図である。 撮影対象の例を示す図である。 構図の種類の例を示す図である。 構図の選択方法を示す表である。 構図の選択方法を説明するための図である。 構図の選択方法を説明するための図である。 撮影画角の設定方法を説明するための図である。 撮影画角の補正方法の例を示す図である。 撮影画角の補正方法の例を示す図である。 撮影画角の補正方法の例を示す図である。 撮影画角の補正方法の例を示す図である。 撮影画角の補正方法の例を示す表である。 撮影画角の補正方法の例を示す図である。 撮影画角の補正方法の例を示す図である。 ズーム倍率の計算方法を説明するための図である。 ターゲット位置の例を示す図である。 パン角の計算方法を説明するための図である。 チルト角の計算方法を説明するための図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　　＜情報処理システム１０１の構成＞
　図１は、本技術を適用した情報処理システム１０１の一実施の形態の構成例を示している。
　情報処理システム１０１は、カメラ１１１－１、カメラ１１１－２、マイクロフォン１１２、ＰＴＺカメラ１１３、情報処理装置１１４、及び、スイッチャ１１５を備える。カメラ１１１－１、カメラ１１１－２、マイクロフォン１１２、ＰＴＺカメラ１１３、情報処理装置１１４、及び、スイッチャ１１５は、有線又は／及び無線で構成されたネットワークを介して、互いに接続され、各種のデータの授受を行う。
　なお、以下、カメラ１１１－１及びカメラ１１１－２を個々に区別する必要がない場合、単にカメラ１１１と称する。
　各カメラ１１１は、例えば、広角撮影が可能な撮影装置により構成される。各カメラ１１１は、所定の３次元の撮影空間を、それぞれ異なるアングル（方向）から広角で撮影する。各カメラ１１１は、撮影により得られた撮影画像（以下、撮影空間画像と称する）に対応する撮影画像データ（以下、撮影空間画像データと称する）を情報処理装置１１４に送信する。
　ここで、撮影空間とは、情報処理システム１０１の撮影が行われる（撮影対象となる）３次元の空間であり、例えば、撮影対象となるイベント（例えば、番組制作、スポーツの試合等）が行われる空間である。
　なお、各カメラ１１１のＰＴＺ及び位置は、通常は固定されている。
　また、図１では、２台のカメラ１１１を備える例が示されているが、本技術は、３台以上のカメラ１１１を備える場合にも適用できる。
　さらに、各カメラ１１１は、必ずしも同じ種類である必要はなく、異なる種類であってもよい。
　マイクロフォン１１２は、撮影空間内の音声を収集し、収集した音声に対応する音声データを情報処理装置１１４に送信する。
　なお、図１では、１台のマイクロフォン１１２を備える例が示されているが、本技術は、２台以上のマイクロフォン１１２を備える場合にも適用できる。
　ＰＴＺカメラ１１３は、例えば、ＰＴＺ（パン、チルト、及び、ズーム）を遠隔で制御可能な撮影装置により構成される。ＰＴＺカメラ１１３は、情報処理装置１１４の制御の下に、撮影空間内の特定の被写体（以下、撮影対象と称する）を中心に撮影を行う。ＰＴＺカメラ１１３は、撮影により得られた撮影画像（以下、撮影対象画像と称する）に対応する撮影画像データ（以下、撮影対象画像データと称する）を情報処理装置１１４に送信する。
　なお、ＰＴＺカメラ１１３の位置は、通常は固定されている。
　また、図１では、１台のＰＴＺカメラ１１３を備える例が示されているが、本技術は、２台以上のＰＴＺカメラ１１３を備える場合にも適用できる。
　情報処理装置１１４は、例えば、コンピュータ等により構成される。情報処理装置１１４は、各カメラ１１１及びＰＴＺカメラ１１３のキャリブレーションを行う。また、情報処理装置１１４は、各カメラ１１１からの撮影空間画像データ、マイクロフォン１１２からの音声データ、及び、ＰＴＺカメラ１１３からの撮影対象画像データに基づいて、撮影空間の状況を認識する。例えば、撮影空間の状況として、例えば、撮影空間内の被写体の状態、撮影空間内のシーン（以下、撮影シーンと称する）の内容、撮影空間内の音声の内容及び音源の位置、撮影空間内で行われているイベントの状態等が認識される。また、例えば、撮影空間内の被写体の状態として、例えば、被写体の種類、大きさ、形、位置、姿勢、動き、特徴点等が認識される。
　情報処理装置１１４は、撮影空間の状況に応じて、ＰＴＺカメラ１１３のＰＴＺを駆動することにより、ＰＴＺカメラ１１３の画角を制御する。また、情報処理装置１１４は、撮影空間画像データ及び撮影対象画像データをスイッチャ１１５に送信する。
　スイッチャ１１５は、各撮影空間画像及び撮影対象画像の中から必要な撮影画像を選択し、選択した撮影画像に対応する撮影画像データを後段に送信する。
　　＜情報処理装置１１４の構成例＞
　図２は、情報処理装置１１４のハードウエアの構成例を示している。
　情報処理装置１１４においては、ＣＰＵ２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３が、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及び、ドライブ２１０が接続されている。
　入力部２０６は、例えば、キーボード、マウス、マイクロフォン等を備える。
　出力部２０７は、例えば、ディスプレイ、スピーカ等を備える。
　記憶部２０８は、例えば、ハードディスク等の不揮発性のメモリを備える。
　通信部２０９は、各カメラ１１１、マイクロフォン１１２、ＰＴＺカメラ１１３、及び、スイッチャ１１５と所定の通信方式で通信を行う。
　ドライブ２１０は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２１１を駆動する。
　なお、情報処理装置１１４（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２１１に記録して提供することができる。リムーバブル記録媒体２１１に記録されているプログラムは、例えば、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールされる。
　また、プログラムは、例えば、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して、通信部２０９で受信され、記憶部２０８にインストールされる。
　さらに、プログラムは、例えば、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　そして、情報処理装置１１４では、例えば、ＣＰＵ２０１が、ＲＯＭ２０２又は記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、一連の処理が行われる。
　なお、以下、情報処理装置１１４において、各部がバス２０４及び入出力インタフェース２０５を介してデータの授受等を行う場合のバス２０４及び入出力インタフェース２０５の記載を省略する。例えば、ＣＰＵ２０１と通信部２０９がバス２０４及び入出力インタフェース２０５を介して通信を行う場合、バス２０４及び入出力インタフェース２０５の記載を省略して、単にＣＰＵ２０１と通信部２０９が通信を行うと記載する。
　　＜情報処理部２５１の構成例＞
　図３は、ＣＰＵ２０１がプログラムを実行することにより実現される機能である情報処理部２５１の構成例を示している。
　情報処理部２５１は、キャリブレーション部２６１、及び、撮影制御部２６２を備える。
　キャリブレーション部２６１は、各カメラ１１１及びＰＴＺカメラ１１３のキャリブレーションを行う。例えば、キャリブレーション部２６１は、各カメラ１１１及びＰＴＺカメラ１１３に共通のワールド座標系における各カメラ１１１及びＰＴＺカメラ１１３の位置及び向きを求める。具体的には、キャリブレーション部２６１は、ワールド座標系を、各カメラ１１１及びＰＴＺカメラ１１３にそれぞれ固有のカメラ座標系に変換する変換行列を求める。カメラ座標系は、各カメラ１１１及びＰＴＺカメラ１１３の光軸をそれぞれ基準とする座標系である。キャリブレーション部２６１は、各カメラ１１１及びＰＴＺカメラ１１３の変換行列に関する情報を撮影制御部２６２に供給する。
　撮影制御部２６２は、ＰＴＺカメラ１１３のＰＴＺを制御することにより、ＰＴＺカメラ１１３の画角を制御する。撮影制御部２６２は、認識部２７１、撮影対象設定部２７２、撮影画角設定部２７３、及び、画角制御部２７４を備える。
　認識部２７１は、各カメラ１１１からの撮影空間画像データ、マイクロフォン１１２からの音声データ、及び、ＰＴＺカメラ１１３からの撮影対象画像データに基づいて、撮影空間の状況を認識する。認識部２７１は、認識した撮影空間の状況に関する情報を撮影対象設定部２７２に供給する。
　撮影対象設定部２７２は、ユーザの指示、又は、撮影空間の状況に基づいて、撮影空間内の被写体の中から撮影対象を設定する。撮影対象設定部２７２は、撮影対象に関する情報を撮影画角設定部２７３に供給する。
　撮影画角設定部２７３は、ユーザの指示、又は、撮影対象の姿勢や動き等に基づいて、ＰＴＺカメラ１１３が撮影空間を撮影する画角（以下、撮影画角と称する）を設定する。撮影画角設定部２７３は、撮影画角に関する情報を画角制御部２７４に供給する。
　画角制御部２７４は、ＰＴＺカメラ１１３のＰＴＺを駆動することにより、ＰＴＺカメラ１１３の画角を制御する。
　　＜画角制御処理＞
　次に、図４のフローチャートを参照して、情報処理装置１１４により実行される画角制御処理について説明する。
　この処理は、例えば、撮影空間の撮影が開始されたとき開始され、撮影空間の撮影が終了したとき終了する。
　また、この処理の前に、キャリブレーション部２６１により、各カメラ１１１及びＰＴＺカメラ１１３のキャリブレーションが行われ、各カメラ１１１及びＰＴＺカメラ１１３の変換行列が既知であるものとする。すなわち、各カメラ１１１及びＰＴＺカメラ１１３のワールド座標系における位置及び向きが既知であるものとする。
　なお、以下、図５に示されるように、撮影空間内に人３０１乃至人３０３が存在する場合を、適宜例に挙げながら説明する。
　ステップＳ１において、認識部２７１は、撮影空間の状況を認識する。
　具体的には、認識部２７１は、通信部２０９を介して、各カメラ１１１から撮影空間画像データを取得し、マイクロフォン１１２から音声データを取得し、ＰＴＺカメラ１１３から撮影対象画像データを取得する。認識部２７１は、各撮影画像データに対して画像認識を行い、音声データに対して音声認識を行うことにより、撮影空間の状況を認識する。
　例えば、認識部２７１は、各撮影画像内の人の認識処理を行う。また、認識部２７１は、認識した人の特徴点を検出する。検出対象となる特徴点の種類、及び、検出方法は、任意である。例えば、人の関節等の特徴的な部位が、特徴点の検出対象に設定される。
　図６は、検出対象となる特徴点の例を示している。
　特徴点Ｐｆ１Ｌは左目に対応し、特徴点Ｐｆ１Ｒは右目に対応する。特徴点Ｐｆ２Ｌは左耳に対応し、特徴点Ｐｆ２Ｒは右耳に対応する。特徴点Ｐｆ３は鼻に対応する。特徴点Ｐｆ４は首の関節に対応する。特徴点Ｐｆ５Ｌは左肩の関節に対応し、特徴点Ｐｆ５Ｒは右肩の関節に対応する。特徴点Ｐｆ６Ｌは左肘の関節に対応し、特徴点Ｐｆ６Ｒは右肘の関節に対応する。特徴点Ｐｆ７Ｌは左手首の関節に対応し、特徴点Ｐｆ７Ｒは右手首の関節に対応する。特徴点Ｐｆ８Ｌは左尻の関節に対応し、特徴点Ｐｆ８Ｒは右尻の関節に対応する。特徴点Ｐｆ９Ｌは左膝の関節に対応し、特徴点Ｐｆ９Ｒは右膝の関節に対応する。特徴点Ｐｆ１０Ｌは左足首の関節に対応し、特徴点Ｐｆ１０Ｒは右足首の関節に対応する。
　さらに、認識部２７１は、各撮影空間画像における各人の特徴点の認識結果に基づいて、各人の特徴点のワールド座標系により表される３次元の撮影空間内の位置（以下、３次元位置と称する）を検出する。また、認識部２７１は、各人の特徴点の３次元位置、及び、その変化に基づいて、各人の姿勢及び動きを推定する。さらに、認識部２７１は、各人の表情を認識する。
　また、認識部２７１は、必要に応じて、各撮影画像内の人以外の物体の認識処理を行う。例えば、認識部２７１は、各物体の種類、大きさ、形、位置、姿勢、動き等を認識する。
　さらに、認識部２７１は、音声データに基づいて、撮影空間内の音声の内容、及び、音源の位置等を認識する。
　また、認識部２７１は、シーン認識等の手法を用いて、撮影シーンの内容を認識する。
　さらに、認識部２７１は、例えば、被写体の状態、撮影シーンの内容、撮影空間内の音声の内容、及び、音源の位置等に基づいて、撮影空間内で行われているイベントの状態を認識する。
　認識部２７１は、認識した撮影空間の状況に関する情報を撮影対象設定部２７２に供給する。
　ステップＳ２において、撮影対象設定部２７２は、撮影対象を設定する。
　例えば、撮影対象設定部２７２は、ユーザにより選択された被写体を撮影対象に設定する。例えば、ユーザは、入力部２０６を介して、出力部２０７が備えるディスプレイに表示されている撮影空間画像内の被写体の中から所望の被写体を指定する。これに対して、撮影対象設定部２７２は、ユーザにより指定された被写体を撮影対象に設定する。
　又は、例えば、撮影対象設定部２７２は、ユーザの選択によらずに自動的に撮影対象を設定する。例えば、撮影対象設定部２７２は、撮影空間において認識された人の特徴等に基づいて、最も主要な被写体であると推定される主要被写体（例えば、主要人物）を撮影対象に設定する。
　例えば、撮影対象設定部２７２は、特徴的な姿勢や動きをしている人を主要人物であると推定し、撮影対象に設定する。例えば、撮影対象設定部２７２は、手を挙げている人、起立している人等を撮影対象に設定する。
　例えば、撮影対象設定部２７２は、姿勢や動き以外の特徴に基づいて、主要人物を推定し、撮影対象に設定する。例えば、撮影対象設定部２７２は、発言している人、会話の話題に上っている人、感情が表に出ている人（例えば、笑っている人、泣いている人、怒っている人）等を撮影対象に設定する。
　例えば、撮影対象設定部２７２は、認識された撮影シーンにおいて主要人物であると推定される人を撮影対象に設定する。例えば、撮影対象設定部２７２は、撮影シーンがスポーツ中継である場合、当該スポーツにおいて主要人物であると推定される人を撮影対象に設定する。例えば、球技の場合、ボールを持っている人が撮影対象に設定される。例えば、マラソン、水泳等のタイムトライアルの場合、首位の選手が撮影対象に設定される。また、例えば、撮影対象設定部２７２は、撮影シーンが音楽の演奏シーンである場合、ボーカリスト、楽器のソロ演奏をしている人（例えば、ギターソロを演奏しているギタリスト）等を、撮影対象に設定する。
　撮影対象設定部２７２は、設定した撮影対象に関する情報を撮影画角設定部２７３に供給する。
　なお、以下、図７に示されるように、撮影空間内の人３０１乃至人３０３の中から、人３０１が撮影対象に設定されたものとする。
　ステップＳ３において、撮影画角設定部２７３は、撮影画角を設定する。
　例えば、撮影画角設定部２７３は、ユーザ入力に基づいて、撮影画角を設定する。例えば、ユーザは、出力部２０７が備えるディスプレイに表示されている撮影空間画像又は撮影対象画像を見ながら、入力部２０６を介して、所望の撮影画角を入力する。これに対して、撮影画角設定部２７３は、ユーザ入力に基づいて、ＰＴＺカメラ１１３の撮影画角を設定する。
　又は、例えば、撮影画角設定部２７３は、ユーザ設定によらずに自動的に撮影画角を設定する。
　例えば、撮影画角設定部２７３は、撮影対象の状態に基づいて、撮影対象を撮影する構図を選択する。
　ここで、図８乃至図１１を参照して、構図の選択方法について説明する。
　図８は、構図の種類の例を示している。ここでは、構図Ｃ１乃至構図Ｃ５の５種類の構図の例が示されている。
　構図Ｃ１は、アップショット（ＵＳ）と呼ばれる構図で、人の顔を全面にアップした構図である。
　構図Ｃ２は、バストショット（ＢＳ）と呼ばれる構図で、人の胸付近より上の部分を含む構図である。
　構図Ｃ３は、ウエストショット（ＷＳ）と呼ばれる構図であり、人のウエスト付近より上の部分を含む構図である。
　構図Ｃ４は、ニーショット（ＫＳ）と呼ばれる構図であり、人の膝付近より上の部分を含む構図である。
　構図Ｃ５は、フルフィギュア（ＦＦ）と呼ばれる構図であり、人の全身を含む構図である。
　例えば、撮影画角設定部２７３は、図９に示される条件に従って、図８に示される構図の中から、撮影対象を撮影する構図を選択する。すなわち、撮影画角設定部２７３は、撮影対象が見えている範囲（撮影可能な範囲）、姿勢、及び、動きに基づいて、構図を選択する。構図が選択されることにより、撮影画角内に含まれる撮影対象の範囲が設定される。
　ここで、撮影対象が見えている範囲とは、例えば、撮影空間画像に基づいて、ＰＴＺカメラ１１３から見え、ＰＴＺカメラ１１３により撮影可能であると推定される撮影対象の範囲である。
　例えば、撮影対象の全身が見えている場合、撮影対象の動きが小さいとき、ニーショットが選択される。例えば、図１０のＡに示されるように、人３１１が立った状態であまり動かない場合、人３１１の足元を見る必要があまりないため、人３１１の膝付近より上の部分を含む構図Ｃ１１が選択される。
　例えば、撮影対象の全身が見えている場合、撮影対象の動きが大きいとき、フルフィギュアが選択される。例えば、図１０のＢに示されるように、人３１２がダンスしている場合、人３１２の全身の動きがよく見えるように、人３１２の全身を含む構図Ｃ１２が選択される。
　例えば、撮影対象の下半身が見えていない場合、撮影対象の動きが小さいとき、バストショットが選択される。なお、撮影対象の下半身が見えていない場合には、撮影対象が座っている場合も含む。例えば、図１０のＣに示されるように、人３１３が座った状態であまり動かない場合、人３１３の表情ができるだけよく見えるように、人３１３の胸付近より上の部分を含む構図Ｃ１３が選択される。
　例えば、撮影対象の下半身が見えていない場合、撮影対象の動きが大きいとき、ウエストショットが選択される。例えば、図１０のＤに示されるように、人３１４の下半身が隠れている状態で上半身がよく動いている場合、人３１４の上半身の動きがよく見えるように、人３１４のウエスト付近より上の部分を含む構図Ｃ１４が選択される。
　また、撮影画角設定部２７３は、例えば、撮影対象の表情が豊かである場合、上述した条件に関わらず、撮影対象の表情がよく見えるように、アップショットを選択する。例えば、図１１のＡに示されるように、人３２１が笑っている場合、人３２１の顔をアップにした構図Ｃ２１が選択される。例えば、図１１のＢに示されるように、人３２２が怒っている場合、人３２２の顔をアップにした構図Ｃ２２が選択される。例えば、図１１のＣに示されるように、人３２３が泣いている場合、人３２３の顔をアップにした構図Ｃ２３が選択される。
　次に、撮影画角設定部２７３は、選択した構図に基づいて、撮影画角を設定する。
　ここで、図１２を参照して、撮影画角の設定方法の例について説明する。
　図１２のＡは、ウエストショットが構図に選択された場合の撮影画角Ａ１の例を示している。この場合、撮影画角設定部２７３は、例えば、撮影画角Ａ１の中心Ｃａ１を、撮影対象の特徴点Ｐｆ４（首）の位置に設定する。また、撮影画角設定部２７３は、撮影画角Ａ１の高さＨａ１を、特徴点Ｐｆ４（首）と特徴点Ｐｆ７Ｌ又は特徴点Ｐｆ７Ｒ（左尻又は右尻）との間の高さの２倍に設定する。
　図１２のＢは、バストショットが構図に選択された場合の撮影画角Ａ２の例を示している。この場合、撮影画角設定部２７３は、例えば、撮影画角Ａ２の中心Ｃａ２を、撮影対象の特徴点Ｐｆ３（鼻）と特徴点Ｐｆ４（首）との間の位置に設定する。また、撮影画角設定部２７３は、撮影画角Ａ２の高さＨａ２を、特徴点Ｐｆ４（首）と特徴点Ｐｆ７Ｌ又は特徴点Ｐｆ７Ｒ（左尻又は右尻）との間の高さと同じ高さに設定する。
　さらに、撮影画角設定部２７３は、必要に応じて撮影画角を補正する。
　例えば、撮影画角設定部２７３は、撮影対象と関連する物体に基づいて、撮影画角を補正する。撮影対象と関連する物体とは、例えば、撮影対象が持っている物体、撮影対象に付随している物体、撮影対象が注目している物体等である。
　例えば、図１３のＡの例では、フリップ３３２を持つ人３３１に対してバストショットが選択された結果、フリップ３３２の下部が撮影画角Ａ１１の外に出てしまっている。これに対して、図１３のＢに示されるように、フリップ３３２全体が入るように撮影画角Ａ１１が広げられる。
　例えば、図１４のＡの例では、バット３４２を持つ人３４１に対してフルフィギュアが選択された結果、バット３４２の先端部が撮影画角Ａ１２の外に出てしまっている。この場合、図１４のＢに示されるように、バット３４２全体が入るように撮影画角Ａ１２が広げられる。
　例えば、図１５のＡの例では、ギター３５２を持つ人３５１に対してウエストショットが選択された結果、ギター３５２の先端部が撮影画角Ａ１３の外に出てしまっている。この場合、図１５のＢに示されるように、ギター３５２全体が入るように撮影画角Ａ１３が広げられる。
　例えば、図１６のＡの例では、調理器具３６２及び調理器具３６３を持つ人３６１に対してアップショットが選択された結果、調理器具３６２及び調理器具３６３が撮影画角Ａ１４の外に出てしまっている。この場合、図１６のＢに示されるように、調理器具３６２及び調理器具３６３が入るように撮影画角Ａ１４が広げられる。
　また、撮影画角設定部２７３は、例えば、図１７に示される条件に従って、撮影対象の向きに基づいて、撮影画角内の撮影対象の位置を調整することにより、撮影画角を補正する。
　例えば、撮影画角設定部２７３は、撮影対象が正面以外の特定の方向を向いている場合、撮影画角内で撮影対象が向いている方向を広く空けるスペーシングを行う。すなわち、撮影画角設定部２７３は、撮影画角の中央から撮影対象が向いている方向と逆方向にシフトした位置に撮影対象を配置する。
　例えば、図１８のＡの例では、人３８１が撮影画角Ａ２１内の右方向を向いている。この場合、撮影画角Ａ２１の右側を広く空けるように、撮影画角Ａ２１の中央から左方向にシフトした位置に人３８１が配置される。
　例えば、図１８のＢの例では、人３８２が撮影画角Ａ２２内の右方向を向いている。この場合、撮影画角Ａ２２の右側を広く空けるように、撮影画角Ａ２２の中央から左方向にシフトした位置に人３８２が配置される。
　これにより、撮影対象である人３８１や人３８２が注目している方向の情報が、より多く撮影画角に含まれるようになる。
　一方、撮影対象が正面を向いている場合、又は、特定の方向を向いていない場合、撮影画角内の撮影対象の位置は補正されず、撮影画角の中央に配置されたままとなる。
　例えば、図１９の例では、撮影対象である人３８３が正面を向いているため、人３８３は、撮影画角Ａ２３の中央に配置されたままとなる。
　なお、撮影対象が特定の方向を向いているか否かの判定方法は、任意である。例えば、撮影対象の視線、顔、又は、体のうち少なくとも１つが、所定の時間以上連続して一方向を向いていた場合、撮影対象が特定の方向を向いていると判定される。一方、それ以外の場合は、撮影対象が特定の方向を向いていないと判定される。
　撮影画角設定部２７３は、設定した撮影画角に関する情報を画角制御部２７４に供給する。
　ステップＳ４において、画角制御部２７４は、ＰＴＺ値を計算する。具体的には、画角制御部２７４は、撮影画角設定部２７３により設定された撮影画角の高さ及び中心位置に基づいて、ＰＴＺカメラ１１３の制御量であるＰＴＺ値を計算する。すなわち、画角制御部２７４は、ＰＴＺカメラ１１３のズーム倍率、パン方向の回転角（以下、パン角と称する）、及び、チルト方向の回転角（以下、チルト角と称する）を計算する。
　ここで、図２０及び図２３を参照して、ＰＴＺ値の計算方法の例について説明する。
　まず、図２０を参照して、ＰＴＺカメラ１１３のズーム倍率Ｚｃの計算方法の例について説明する。
　以下、ＰＴＺカメラ１１３のイメージセンサ４０１の高さをＨｓとし、ＰＴＺカメラ１１３の焦点距離をＦｃとする。また、以下、撮影画角Ａ３１の高さをＨａとし、ＰＴＺカメラ１１３と撮影対象３０１の間の距離をＤａとする。
　画角制御部２７４は、ワールド座標系におけるＰＴＺカメラ１１３の位置、及び、撮影対象３０１の位置に基づいて、距離Ｄａを計算する。なお、撮影対象３０１の位置は、例えば、撮影対象３０１の特徴点のうちの１つ、又は、撮影画角の中心に対応する撮影対象上の点（この点も特徴点の１つである）のワールド座標系における位置により表される。
　次に、画角制御部２７４は、次式（１）により、焦点距離Ｆｃを計算する。
　Ｆｃ＝Ｄａ×Ｈｓ／Ｈａ　・・・（１）
　なお、撮影画角Ａ３１の高さＨａは、上述した処理により設定済みであり、距離Ｄａは、上述した処理により計算済みである。また、イメージセンサ４０１の高さＨｓは、仕様で決まっている。
　そして、画角制御部２７４は、次式（２）により、ＰＴＺカメラ１１３のズーム倍率Ｚｃを計算する。
　Ｚｃ＝Ｆｃ／Ｆｗ　・・・（２）
　なお、Ｆｗは、ＰＴＺカメラ１１３のワイド端での焦点距離である。
　次に、図２１乃至図２３を参照して、ＰＴＺカメラ１１３のパン角θｐ及びチルト角θｔの計算方法の例について説明する。
　なお、図２１乃至図２３の位置Ｐｔは、撮影画角Ａ３１の中心に対応する現実世界の点の、３次元の撮影空間における位置（以下、ターゲット位置と称する）を示している。
　なお、ターゲット位置Ｐｔは、通常は撮影対象上に設定されるが、例えば、スペーシングにより撮影対象が撮影画角Ａ３１の中央からシフトした位置に配置されている場合等において、撮影対象上に設定されない場合もある。
　例えば、画角制御部２７４は、ＰＴＺカメラ１１３のキャリブレーション時に算出された変換行列を用いて、ターゲット位置Ｐｔの座標をワールド座標系からＰＴＺカメラ１１３のカメラ座標系に変換する。
　次に、画角制御部２７４は、ＰＴＺカメラ１１３のホームポジションにおけるカメラ座標系（以下、ホーム座標系と称する）におけるターゲット位置の座標を算出する。具体的には、画角制御部２７４は、ターゲット位置の座標を、キャリブレーション時にＰＴＺカメラ１１３を所定のホームポジションから回転したチルト角、パン角の順で、回転行列を用いて回転させることにより、ＰＴＺカメラ１１３のホーム座標系におけるターゲット位置の座標を算出する。
　なお、以下、図２１に示されるように、ホーム座標系を表す各軸をＸｃ軸、Ｙｃ軸、及び、Ｚｃ軸とする。Ｘｃ軸は、ホームポジションにおけるＰＴＺカメラ１１３のイメージセンサ４０１の水平方向と一致し、Ｙｃ軸は、ホームポジションにおけるＰＴＺカメラ１１３のイメージセンサ４０１の垂直方向と一致し、Ｚｃ軸は、ホームポジションにおけるＰＴＺカメラ１１３の光軸と一致する。また、以下、ターゲット位置Ｐｔのホーム座標系における座標を（Ｘｔ，Ｙｔ，Ｚｔ）とする。
　画角制御部２７４は、次式（３）により、ＰＴＺカメラ１１３のパン角θｐを算出する。
θｐ＝ａｒｃｔａｎ（Ｘｔ／Ｚｔ）　・・・（３）
　図２２は、ターゲット位置ＰｔをＹｃ軸方向から見た場合のパン角θｐの例を示している。すなわち、図２２は、ターゲット位置ＰｔをＸｃ-Ｚｃ平面に射影した位置、及び、パン角θｐを示している。
　次に、画角制御部２７４は、次式（４）により、ＰＴＺカメラ１１３のチルト角θｔを算出する。
θｔ＝ａｒｃｔａｎ（Ｙｔ／ｓｑｒｔ（Ｘｔ２＋Ｚｔ２））　・・・（４）
　図２３は、チルト角θｔの例を示している。
　ステップＳ５において、画角制御部２７４は、ＰＴＺ駆動可能範囲内であるか否かを判定する。画角制御部２７４は、計算したパン角θｐ、チルト角θｔ、及び、ズーム倍率Ｚｃが、全てＰＴＺカメラ１１３の設定可能な範囲内である場合、ＰＴＺ駆動可能範囲内であると判定し、処理はステップＳ６に進む。
　ステップＳ６において、画角制御部２７４は、設定した撮影画角になるようにＰＴＺカメラ１１３を制御する。具体的には、画角制御部２７４は、ＰＴＺカメラ１１３をホームポジションからパン方向及びチルト方向にパン角θｐ及びチルト角θｔだけ回転させる。また、画角制御部２７４は、ズーム倍率ＺｃになるようにＰＴＺカメラ１１３のズームを駆動する。これにより、ＰＴＺカメラ１１３の画角が、撮影画角設定部２７３により設定された撮影画角に調整される。
　このとき、画角制御部２７４は、ＰＴＺカメラ１１３により撮影された撮影対象画像を使用中であるか否かにより、ＰＴＺカメラ１１３の駆動速度を制御する。
　例えば、画角制御部２７４は、撮影対象画像に対して所定の役割が付与されている場合、例えば、撮影対象画像が放送用又はプレビュー用等の画像としてスイッチャ１１５から出力されている場合、撮影対象画像を使用中であると判定する。この場合、画角制御部２７４は、撮影対象画像の品質が保たれるように、ＰＴＺカメラ１１３のＰＴＺを駆動する。
　例えば、画角制御部２７４は、動きボケが許容量以内になるように、ＰＴＺの駆動速度を落とす。また、例えば、画角制御部２７４は、撮影対象以外の人も写しながらパン及びチルトするように、ＰＴＺカメラ１１３を駆動する。さらに、例えば、画角制御部２７４は、撮影対象がＰＴＺカメラ１１３の画枠に入ってから、ＰＴＺカメラ１１３のズームを駆動する。
　一方、例えば、画角制御部２７４は、撮影対象画像に対して所定の役割が付与されていない場合、例えば、撮影対象画像が放送用又はプレビュー用等の画像としてスイッチャ１１５から出力されていない場合、撮影対象画像を使用中でないと判定する。この場合、画角制御部２７４は、ＰＴＺカメラ１１３の画角が最短で設定された撮影画角になるように、ＰＴＺカメラ１１３のＰＴＺを高速駆動する。例えば、ＰＴＺカメラ１１３の機械的な制約が許す最大の速度でＰＴＺが駆動される。
　その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　一方、ステップＳ５において、画角制御部２７４は、計算したパン角θｐ、チルト角θｔ、及び、ズーム倍率Ｚｃのうち少なくとも１つが、ＰＴＺカメラ１１３の設定可能な範囲外である場合、ＰＴＺ駆動可能範囲外であると判定し、処理はステップＳ１に戻る。すなわち、ＰＴＺカメラ１１３の画角は変更されない。その後、ステップＳ１以降の処理が実行される。
　以上のようにして、撮影対象を適切に設定し、容易に適切な画角（構図）及びフォーカスで撮影対象を撮影することができる。
　例えば、撮影対象の３次元の撮影空間における位置に基づいてＰＴＺ値を計算するので、従来の広角カメラの２次元の撮影画像に基づいてＰＴＺ値を計算する場合と比較して、ＰＴＺ値の精度が向上する。
　また、ユーザがＰＴＺカメラ１１３の撮影画像を見ながらリモコン等によりＰＴＺカメラ１１３を操作する必要がなく、自動的に迅速かつ容易に適切な画角に設定される。
　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　　＜情報処理システム１０１の構成に関する変形例＞
　例えば、情報処理システム１０１において、情報処理装置１１４の機能（特に、図３の情報処理部２５１の機能）の一部又は全部を、各カメラ１１１、ＰＴＺカメラ１１３、又は、スイッチャ１１５に設けることが可能である。
　例えば、各カメラ１１１及びＰＴＺカメラ１１３が、撮影空間の状況の認識処理も行うようにしてもよい。また、例えば、各カメラ１１１及びＰＴＺカメラ１１３に、撮影空間の状況の認識処理を行う装置等を装着するようにしてもよい。
　例えば、ＰＴＺカメラ１１３が、撮影対象及び撮影画角の設定、並びに、画角の制御を行うようにしてもよい。また、例えば、スイッチャ１１５が、情報処理装置１１４の機能を全て備えるようにしてもよい。
　例えば、クラウドコンピューティング等におけるサーバに情報処理装置１１４を適用し、サーバがＰＴＺカメラ１１３の画角を制御するサービスを提供するようにしてもよい。
　例えば、カメラ１１１を１台のデプスカメラにより構成し、１台のデプスカメラにより撮影された撮影画像に基づいて、撮影空間内の被写体の３次元位置等を検出するようにしてもよい。
　　＜撮影対象の設定方法に関する変形例＞
　例えば、撮影対象設定部２７２は、主要被写体と推定される被写体が他の第３の撮影装置（例えば、カメラ１１１およびＰＴＺカメラ１１３以外のカメラ）の撮影対象に設定されている場合、又は、第３の撮影装置により適切な画角で撮影されている場合、主要被写体と関連する他の被写体を撮影対象に設定するようにしてもよい。この場合、例えば、主要被写体（例えば、主要人物）と会話している相手、主要被写体に対してリアクションをとった人等が、撮影対象に設定される。
　また、以上の説明では、最も主要な被写体である推定される主要被写体を撮影対象に設定する例を示したが、例えば、主要な被写体であると推定される複数の主要被写体をそれぞれ撮影対象に設定することも可能である。
　さらに、撮影対象は、必ずしも人に限定されるものではなく、人以外の動物体（例えば、動物、車両、ロボット等）又は静止物体（例えば、建築物等）でもよい。
　＜＜３．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　３次元の撮影空間における撮影対象の特徴点の位置に基づいて、第１の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を
　備える情報処理装置。
（２）
　前記撮影画角設定部は、さらに前記撮影対象の状態に基づいて、前記撮影画角を設定する
　前記（１）に記載の情報処理装置。
（３）
　前記撮影対象の状態は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも１つを含む
　前記（２）に記載の情報処理装置。
（４）
　前記撮影画角設定部は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも１つに基づいて、前記撮影画角内に含まれる前記撮影対象の範囲を設定する
　前記（３）に記載の情報処理装置。
（５）
　前記撮影画角設定部は、前記撮影対象が特定の方向を向いている場合、前記撮影対象を前記撮影画角の中央から前記特定の方向と逆方向にシフトした位置に配置する
　前記（３）又は（４）に記載の情報処理装置。
（６）
　前記撮影画角設定部は、さらに前記撮影対象と関連する物体に基づいて、前記撮影画角を設定する
　前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
　第２の撮影装置により撮影された前記撮影空間内の撮影画像に基づいて、前記撮影対象の状態を認識する認識部を
　さらに備える前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記認識部は、前記撮影画像に基づいて、前記撮影空間内の被写体の状態を認識し、
　前記撮影空間内の前記被写体の状態に基づいて、前記被写体の中から前記撮影対象を設定する撮影対象設定部を
　をさらに備える前記（７）に記載の情報処理装置。
（９）
　前記撮影対象設定部は、前記被写体の状態に基づいて、主要な被写体である主要被写体を推定し、前記主要被写体を前記撮影対象に設定する
　前記（８）に記載の情報処理装置。
（１０）
　前記認識部は、前記撮影画像に基づいて、前記撮影空間内のシーンの内容を認識し、
　前記撮影対象設定部は、さらに前記シーンの内容に基づいて、前記主要被写体を推定する
　前記（９）に記載の情報処理装置。
（１１）
　前記認識部は、前記主要被写体が第３の撮影装置の撮影対象に設定されている場合、前記主要被写体と関連する他の被写体を前記撮影対象に設定する
　前記（９）に記載の情報処理装置。
（１２）
　複数の第２の撮影装置により異なるアングルから撮影された撮影画像に基づいて、前記撮影空間における前記撮影対象の特徴点の位置を認識する認識部を
　備える前記（１）乃至（６）のいずれかに記載の情報処理装置。
（１３）
　前記撮影空間における前記撮影対象の特徴点の位置に基づいて、前記第１の撮影装置のパン、チルト、及び、ズームの制御量を計算する画角制御部を
　さらに備える前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記画角制御部は、さらに前記撮影画角の中心に対応する点の前記撮影空間における位置に基づいて、前記制御量を計算する
　前記（１３）に記載の情報処理装置。
（１５）
　前記画角制御部は、前記制御量に基づいて、前記第１の撮影装置のパン、チルト、及び、ズームを制御する
　前記（１３）又は（１４）に記載の情報処理装置。
（１６）
　前記画角制御部は、前記第１の撮影装置により撮影された撮影画像に対して所定の役割が付与されているか否かに基づいて、前記第１の撮影装置のパン、チルト、及び、ズームの駆動速度を制御する
　前記（１３）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記第１の撮影装置に設けられる
　前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　情報処理装置が、
　３次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
　情報処理方法。
（１９）
　３次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
　処理をコンピュータに実行させるためのプログラム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　情報処理システム，　１１１－１，１１１－２　カメラ，　１１２　マイクロフォン，　１１３　ＰＴＺカメラ，　１１４　情報処理装置，　１１５　スイッチャ，　２０１　ＣＰＵ，　２５１　情報処理部，　２６１　キャリブレーション部，　２６２　撮影制御部，　２７１　認識部，　２７２　撮影対象設定部，　２７３　撮影画角設定部，　２７４　画角制御部

Claims (19)

  1. 　３次元の撮影空間における撮影対象の特徴点の位置に基づいて、第１の撮影装置が前記撮影対象を撮影する撮影画角を設定する撮影画角設定部を
    　備える情報処理装置。
  2. 　前記撮影画角設定部は、さらに前記撮影対象の状態に基づいて、前記撮影画角を設定する
    　請求項１に記載の情報処理装置。
  3. 　前記撮影対象の状態は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも１つを含む
    　請求項２に記載の情報処理装置。
  4. 　前記撮影画角設定部は、前記撮影対象を撮影可能な範囲、前記撮影対象の姿勢、前記撮影対象の動き、及び、前記撮影対象の表情のうち少なくとも１つに基づいて、前記撮影画角内に含まれる前記撮影対象の範囲を設定する
    　請求項３に記載の情報処理装置。
  5. 　前記撮影画角設定部は、前記撮影対象が特定の方向を向いている場合、前記撮影対象を前記撮影画角の中央から前記特定の方向と逆方向にシフトした位置に配置する
    　請求項３に記載の情報処理装置。
  6. 　前記撮影画角設定部は、さらに前記撮影対象と関連する物体に基づいて、前記撮影画角を設定する
    　請求項２に記載の情報処理装置。
  7. 　第２の撮影装置により撮影された前記撮影空間内の撮影画像に基づいて、前記撮影対象の状態を認識する認識部を
    　さらに備える請求項２に記載の情報処理装置。
  8. 　前記認識部は、前記撮影画像に基づいて、前記撮影空間内の被写体の状態を認識し、
    　前記撮影空間内の前記被写体の状態に基づいて、前記被写体の中から前記撮影対象を設定する撮影対象設定部を
    　をさらに備える請求項７に記載の情報処理装置。
  9. 　前記撮影対象設定部は、前記被写体の状態に基づいて、主要な被写体である主要被写体を推定し、前記主要被写体を前記撮影対象に設定する
    　請求項８に記載の情報処理装置。
  10. 　前記認識部は、前記撮影画像に基づいて、前記撮影空間内のシーンの内容を認識し、
    　前記撮影対象設定部は、さらに前記シーンの内容に基づいて、前記主要被写体を推定する
    　請求項９に記載の情報処理装置。
  11. 　前記認識部は、前記主要被写体が第３の撮影装置の撮影対象に設定されている場合、前記主要被写体と関連する他の被写体を前記撮影対象に設定する
    　請求項９に記載の情報処理装置。
  12. 　複数の第２の撮影装置により異なるアングルから撮影された撮影画像に基づいて、前記撮影空間における前記撮影対象の特徴点の位置を認識する認識部を
    　備える請求項１に記載の情報処理装置。
  13. 　前記撮影空間における前記撮影対象の特徴点の位置に基づいて、前記第１の撮影装置のパン、チルト、及び、ズームの制御量を計算する画角制御部を
    　さらに備える請求項１に記載の情報処理装置。
  14. 　前記画角制御部は、さらに前記撮影画角の中心に対応する点の前記撮影空間における位置に基づいて、前記制御量を計算する
    　請求項１３に記載の情報処理装置。
  15. 　前記画角制御部は、前記制御量に基づいて、前記第１の撮影装置のパン、チルト、及び、ズームを制御する
    　請求項１３に記載の情報処理装置。
  16. 　前記画角制御部は、前記第１の撮影装置により撮影された撮影画像に対して所定の役割が付与されているか否かに基づいて、前記第１の撮影装置のパン、チルト、及び、ズームの駆動速度を制御する
    　請求項１３に記載の情報処理装置。
  17. 　前記第１の撮影装置に設けられる
    　請求項１に記載の情報処理装置。
  18. 　情報処理装置が、
    　３次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
    　情報処理方法。
  19. 　３次元の撮影空間における撮影対象の特徴点の位置に基づいて、撮影装置が前記撮影対象を撮影する撮影画角を設定する
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2021/010977 2020-03-31 2021-03-18 情報処理装置、情報処理方法、及び、プログラム WO2021200185A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-062197 2020-03-31
JP2020062197 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200185A1 true WO2021200185A1 (ja) 2021-10-07

Family

ID=77929327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010977 WO2021200185A1 (ja) 2020-03-31 2021-03-18 情報処理装置、情報処理方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2021200185A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322052A (ja) * 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステム
JP2006229322A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2011101165A (ja) * 2009-11-05 2011-05-19 Canon Inc 連動撮影システム
JP2012103859A (ja) * 2010-11-09 2012-05-31 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2019125946A (ja) * 2018-01-17 2019-07-25 キヤノン株式会社 制御装置、撮像装置、制御方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322052A (ja) * 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステム
JP2006229322A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2011101165A (ja) * 2009-11-05 2011-05-19 Canon Inc 連動撮影システム
JP2012103859A (ja) * 2010-11-09 2012-05-31 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2019125946A (ja) * 2018-01-17 2019-07-25 キヤノン株式会社 制御装置、撮像装置、制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
WO2018051815A1 (ja) 情報処理装置および方法、並びにプログラム
TWI311286B (ja)
JP6192940B2 (ja) 撮影機器及び連携撮影方法
WO2014103094A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP2001094857A (ja) バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法
WO2003036565A2 (en) System and method for obtaining video of multiple moving fixation points within a dynamic scene
US10063773B2 (en) Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
KR20220128585A (ko) 웨어러블 촬상장치, 촬상장치와 통신하는 휴대 기기 및 캘리브레이터, 이들의 제어방법과 이들의 제어 프로그램을 기억한 기억매체
JP2011217202A (ja) 画像取得装置
JP2010034652A (ja) 多方位カメラ搭載型携帯端末装置
CN113112407B (zh) 基于电视的照镜视野生成方法、系统、设备及介质
JP2024061729A (ja) 複合入出射装置
Fiala et al. A panoramic video and acoustic beamforming sensor for videoconferencing
KR20140116014A (ko) 화상 취득 장치, 화상 취득 방법 및 기록매체
WO2021200185A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7487464B2 (ja) 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
WO2021200184A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
TWI488503B (zh) 會議攝錄裝置及其方法
WO2020095648A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
CN114625468B (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
KR101843336B1 (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
JP7235098B2 (ja) 情報配信装置、情報配信方法、情報配信プログラム
WO2020095647A1 (ja) 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体
JP2020031332A (ja) 電子機器、電子機器の制御装置、制御プログラムおよび制御方法
WO2022226745A1 (zh) 拍摄方法、控制装置、拍摄设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21780212

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21780212

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP