WO2021111700A1 - 制御装置、制御方法、情報処理システム - Google Patents

制御装置、制御方法、情報処理システム Download PDF

Info

Publication number
WO2021111700A1
WO2021111700A1 PCT/JP2020/034908 JP2020034908W WO2021111700A1 WO 2021111700 A1 WO2021111700 A1 WO 2021111700A1 JP 2020034908 W JP2020034908 W JP 2020034908W WO 2021111700 A1 WO2021111700 A1 WO 2021111700A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
camera
imaging
image pickup
usage mode
Prior art date
Application number
PCT/JP2020/034908
Other languages
English (en)
French (fr)
Inventor
直秀 山田
浩二 神谷
聡史 椿
慧 柿谷
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP20896469.2A priority Critical patent/EP4057617A4/en
Priority to JP2021562460A priority patent/JP7513035B2/ja
Priority to US17/756,477 priority patent/US11805314B2/en
Publication of WO2021111700A1 publication Critical patent/WO2021111700A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • This technology relates to a control device, a control method, and an information processing system, and particularly to a technical field related to output control of imaging-related information, which is information related to imaging.
  • a broadcasting system such as a broadcasting system used for sports broadcasting that transmits or records an image selected by an operator from images captured by a plurality of cameras (imaging devices) for broadcasting.
  • this type of broadcasting system it is conceivable to display information indicating the state of the cameras, such as the arrangement position of each camera and the direction in which the cameras are oriented, to the operator. By performing such a display, it is possible for the operator to easily grasp the state of each camera, and it is possible to intuitively understand which camera's captured image should be selected.
  • Patent Document 1 can be mentioned as a related prior art.
  • the information indicating the position and direction is output from the camera side as, for example, metadata of the captured image. It is conceivable to have a configuration. That is, the configuration is such that imaging-related information as information regarding imaging is output from the camera side.
  • the output mode such as the frequency and what kind of information should be output should be optimized.
  • the control device includes a determination unit that determines the usage mode of the imaging device, and a control unit that controls the output of imaging-related information about the imaging device based on the usage mode determined by the determination unit.
  • Imaging-related information means information related to imaging. For example, information indicating the position of the imaging device (corresponding to the position of the imaging viewpoint), information on the focal length, information indicating the imaging direction (for example, indicating the pan direction or tilt direction when used on a tripod). Information, directional information by the azimuth sensor, etc.), information indicating the movement of the imaging device such as acceleration and angular velocity acting on the imaging device, information on the moving speed of the imaging device, and the like can be mentioned.
  • a usage mode of a fixed camera, a handy camera, a camera mounted on a mobile device, or the like can be mentioned.
  • the imaging-related information as the position information of the camera is not output.
  • a handy camera that is expected to move it is possible to control so that unnecessary information is not output depending on the usage mode of the camera, such as outputting imaging-related information as camera position information.
  • the determination unit may be configured to determine at least one of the usage mode as a fixed camera and the usage mode as a handy camera as the determination of the usage mode.
  • the determination unit may be configured to determine at least one of the usage mode as a fixed camera and the usage mode as a handy camera as the determination of the usage mode.
  • the position information of the imaging device since the position of the fixed camera is fixed, it is basically unnecessary to output the position information, whereas in the handy camera, the cameraman There is a high possibility that the camera is moving with it, and its position should be confirmed frequently, and it is required to increase the frequency of output of position information.
  • the fixed camera and the handy camera may need to change the output mode of specific imaging-related information.
  • the determination unit can be configured to determine which of the fixed camera, the handy camera, and the camera mounted on the mobile device is used. As a result, it is determined whether the camera is used as a handy camera or a camera mounted on a mobile device as a usage mode of the camera whose position is not fixed.
  • the control unit when the determination unit determines that the camera is a fixed camera, the control unit lowers the output frequency of the imaging-related information when it is determined to be the handy camera. It can be configured. For example, in the case of a fixed camera, it is possible to eliminate the need to output position information. For a fixed camera, even if the output frequency of imaging-related information is reduced, the application-side function that uses imaging-related information is still available. It may not be impaired.
  • the control unit determines that the output frequency of the imaging-related information is the fixed camera. It is possible to make the configuration higher than in the case of the above-mentioned case and lower than in the case of being determined to be the handy camera. For example, in the case of a camera mounted on a moving device such as a vehicle or a platform for moving on rails, the moving direction can be predicted to some extent as compared with the case of a handy camera, so that the camera is like a handy camera. Even if the imaging-related information is not output frequently, the function on the application side that uses the imaging-related information may not be impaired.
  • the determination unit can be configured to determine the usage mode based on the detection information of the sensor.
  • the usage mode of the camera is determined based on the detection information of the motion sensor that detects the movement of the image pickup device such as the acceleration sensor and the angular velocity sensor, and the position sensor that detects the position of the image pickup device.
  • the determination unit can be configured to determine the usage mode based on the detection information of the motion sensor that detects the motion of the imaging device.
  • the usage mode is determined based on the detection information of the motion sensor that detects the motion of the imaging device such as the acceleration sensor and the angular velocity sensor. This makes it possible to detect movement characteristics peculiar to a handy camera, such as camera movement due to camera shake.
  • the determination unit can be configured to determine the usage mode based on the detection information of the position sensor that detects the position of the image pickup device. This makes it possible to determine the usage mode based on the change mode of the camera position.
  • the image pickup-related information can be configured to include the position information of the image pickup device.
  • position information as imaging-related information
  • an application using imaging-related information it is possible to realize an application that indicates a camera position to a user such as an operator on a map or the like.
  • control unit can be configured to change the type of image pickup-related information to be output based on the determination result by the determination unit. This makes it possible to output an appropriate type of imaging-related information according to the usage mode of the camera.
  • the determination unit determines at least whether or not the camera is used as a camera mounted on a mobile device as a determination of the usage mode, and the control unit determines the usage mode.
  • the control unit determines the usage mode.
  • it is determined by the unit that the camera is mounted on the mobile device it is possible to perform a process of outputting the speed information of the image pickup device as the image pickup related information.
  • the moving direction can be predicted to some extent as compared with the case of a handy camera, so that the position is based on speed information. Can be predicted.
  • the control unit when the control unit can acquire pan information of the image pickup device from a fixing device for fixing the image pickup device so as to be rotatable in at least the pan direction, it is used as the image pickup-related information.
  • the processing for outputting the pan information is performed, and when the pan information cannot be acquired from the fixing device, the processing for outputting the orientation information detected by the orientation sensor that detects the orientation of the imaging device is performed as the imaging-related information.
  • the pan information means the angle information in the pan direction of the image pickup apparatus. According to the above configuration, when the pan information cannot be acquired, the directional information is output as alternative information of the pan information.
  • the determination unit determines whether or not the camera is used as the fixed camera by determining the connection of the image pickup device to the fixed device for fixing the image pickup device. It is possible to This eliminates the need to acquire motion information of the imaging device or perform analysis processing such as waveform analysis of motion information in determining whether or not the camera is a fixed camera.
  • the determination unit can be configured to determine the usage mode based on the planning information of the usage mode set for each image pickup device. This eliminates the need to acquire motion information and position information of the imaging device and to perform analysis processing on the motion information and position information in determining the usage mode.
  • the control method according to the present technology is a control method that determines the usage mode of the imaging device and controls the output of imaging-related information related to the imaging device based on the determined usage mode. Even with such a control method, the same operation as that of the control device according to the present technology can be obtained.
  • the information processing system includes a determination unit that determines the usage mode of the imaging device, a control unit that controls output of imaging-related information related to the imaging device based on the usage mode determined by the determination unit. It is provided with a control device having the above, and an information processing device having a display processing unit that performs display processing of information based on the imaging-related information output by the output control of the control unit. Even with such an information processing system, the same operation as that of the control device according to the present technology can be obtained.
  • the information processing system includes a stop determination unit that determines whether or not the image pickup apparatus has stopped after the movement, and the display processing unit has stopped after the movement by the stop determination unit. It is possible to configure the display process to notify the determined image pickup apparatus. It can be presumed that the imaging device stopped after the movement is an imaging device that has completed the movement near the subject to be imaged and is preparing for an interview or the like or is ready.
  • FIG. 1 is a block diagram showing a configuration example of an information processing system 100 as an embodiment.
  • the information processing system 100 of the embodiment is configured as a broadcasting system having a function of transmitting an image selected by an operator from images captured by a plurality of cameras (imaging devices) for broadcasting.
  • the information processing system 100 includes a plurality of image pickup devices 1, a recorder 2, a switcher 3, a transmitter 4, an information processing device 5, an operation console 6, and a multi-monitor 7.
  • the image pickup device 1 is an embodiment of the control device according to the present technology
  • the information processing device 5 is an embodiment of the information processing device according to the present technology.
  • the imaging device 1 obtains an captured image of a subject and outputs the captured image and imaging-related information to the recorder 2.
  • the imaging-related information means information related to imaging. For example, information indicating the position of the imaging device 1 (corresponding to the position of the imaging viewpoint), information on the focal length, information indicating the imaging direction (for example, the direction of the pan direction or the tilt direction when used on a tripod). Information indicating, orientation information by the orientation sensor, etc.), information indicating the movement of the imaging apparatus 1 such as acceleration and angular velocity acting on the imaging apparatus 1, information on the moving speed of the imaging apparatus 1, and the like can be mentioned.
  • the information indicating the position of the image pickup apparatus 1 is not limited to, for example, horizontal position information based on latitude and longitude, and may include vertical position information based on altitude.
  • the imaging-related information is information related to imaging as described above, and the captured image itself obtained by imaging is not included in the imaging-related information.
  • the image pickup device 1 outputs the captured image in the form of moving image data. Further, the imaging device 1 in this example adds and outputs imaging-related information as metadata of the captured image.
  • the recorder 2 is configured to include a storage device such as an HDD (Hard Disk Drive) or a flash memory device, and an image captured image as moving image data output from each image pickup device 1 (in this example, image capture-related information is added). Is recorded) and output to the switcher 3. Further, the recorder 2 can add a video effect such as a replay to the captured image as the recorded moving image data based on the operation input and output it to the switcher 3.
  • a storage device such as an HDD (Hard Disk Drive) or a flash memory device
  • the switcher 3 Based on the instruction from the information processing device 5, the switcher 3 selects an image to be output to the transmitter 4 from the images captured from each image pickup device 1 input via the recorder 2.
  • the transmitter 4 transmits the captured image selected by the switcher 3 as a broadcast.
  • the captured image output from the recorder 2 is input to the information processing device 5 via the switcher 3.
  • the information processing device 5 is connected to an operation console 6 provided with various controls used by the user as an operator for operation, and a display device as a multi-monitor 7, and the information processing device 5 is connected to the switcher 3.
  • Each of the input captured images is displayed on the multi-monitor 7, and the switcher 3 is instructed to output the captured image to be output to the transmitter 4 based on the user's operation input via the operation console 6.
  • the multi-monitor 7 may be a single display device, or may be composed of a plurality of display devices that individually display captured images.
  • FIG. 2 is a block diagram showing an example of the internal configuration of the image pickup apparatus 1.
  • the image pickup device 1 includes an image pickup unit 11, an image processing unit 12, a control unit 13, a motion detection unit 14, a position detection unit 15, an orientation detection unit 16, a communication unit 17, and a bus 18.
  • the imaging unit 11 receives light from an optical system having a lens such as a cover lens, a zoom lens, a focus lens, a shutter, an aperture mechanism, etc., and a subject incident through the optical system, for example, CMOS (Complementary Metal Oxide Semiconductor). ) Type and CCD (Charge Coupled Device) type image pickup elements.
  • the image pickup unit 11 executes, for example, CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, and the like on the electric signal obtained by photoelectric conversion of the light received by the image sensor, and further performs A / D (Analog /). Digital) Perform conversion processing. Then, the captured image signal as digital data (hereinafter, also referred to as “captured image data”) is output to the image processing unit 12 in the subsequent stage.
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control
  • Digital Digital
  • the image processing unit 12 is configured as an image processing processor by, for example, a DSP (Digital Signal Processor) or the like, and performs various signal processing on the digital signal (captured image signal) from the imaging unit 11. For example, signal processing such as white balance adjustment processing, color correction processing, gamma correction processing, Y / C conversion processing, and AE (Auto Exposure) processing is performed.
  • DSP Digital Signal Processor
  • AE Automatic Exposure
  • the control unit 13 is configured to include a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and executes processing according to a program stored in the ROM, for example. By doing so, the entire image pickup apparatus 1 is controlled.
  • the control unit 13 is connected to the image pickup unit 11, the image processing unit 12, and the communication unit 17 via the bus 18, and it is possible to perform mutual data communication with each of these units via the bus 18. There is.
  • a motion detection unit 14, a position detection unit 15, and a direction detection unit 16 are connected to the control unit 13.
  • the motion detection unit 14 detects information indicating the motion of the image pickup device 1, such as acceleration and angular velocity acting on the image pickup device 1.
  • the motion detection unit 14 in this example includes an acceleration sensor and a gyro sensor as sensors for detecting the motion of the image pickup apparatus 1.
  • the position detection unit 15 detects the current position of the image pickup apparatus 1 and includes a GNSS (Global Navigation Satellite System) sensor in this example. The method for detecting the current position is not limited to the method using satellites.
  • the direction detection unit 16 detects the direction in which the image pickup apparatus 1 is facing, and includes a direction sensor (geomagnetic sensor) in this example.
  • the communication unit 17 performs data communication with an external device.
  • the communication unit 17 of this example is configured to perform data communication with the recording device 2 connected by wire, but the communication unit 17 is configured to be capable of performing wireless communication with an external device. May be done.
  • the control unit 13 acquires the detection information by the motion detection unit 14, the position detection unit 15, and the direction detection unit 16 as imaging-related information. Further, the control unit 13 of this example acquires information on the focal length of the optical system from the image pickup unit 11 as imaging-related information. The control unit 13 adds the acquired imaging-related information as metadata of the captured image data (moving image data) obtained through the processing of the image processing unit 12, and records the acquired image data together with the captured image data via the communication unit 17. Performs the process of outputting to the machine 2.
  • the image pickup device 1 may be used by being attached (connected) to the tripod device 10 as shown in FIG.
  • the tripod device 10 is configured to be capable of adjusting angles (rotational angle adjustment) in the pan direction and the tilt direction.
  • Some tripod devices 10 are provided with a pan / tilt sensor that detects an angle in the pan direction and an angle in the tilt direction, respectively.
  • This pan / tilt sensor can be rephrased as a sensor that detects the pan direction and the tilt direction of the attached image pickup apparatus 1.
  • the tripod device 10 is an example of a "fixing device” in the present technology.
  • the "fixing device” means a device for fixing an imaging device in a broad sense, and a device for fixing an imaging device so as to be rotatable at least in the pan direction in a narrow sense.
  • As the configuration of the fixing device there may be a configuration having less than three legs or four or more legs, or a configuration in which a pan head device is attached to the legs and an imaging device is attached on the pan head device.
  • the control unit 13 detects the detection information by the pan / tilt sensor, that is, the pan information indicating the pan direction direction of the image pickup device 1 and the tilt direction. Tilt information indicating the orientation (hereinafter collectively referred to as "pan / tilt information”) is acquired as imaging-related information.
  • the control unit 13 also performs a process of outputting the image pickup-related information as the pan / tilt information acquired from the tripod device 10 to the recorder 2 via the communication unit 17 as the metadata of the captured image data.
  • FIG. 4 is a block diagram for explaining an example of the internal configuration of the information processing device 5. Note that FIG. 4 also shows an operation console 6 and a multi-monitor 7 shown in FIG. 1 together with an example of the internal configuration of the information processing apparatus 5.
  • the information processing device 5 includes a CPU 21, a ROM 22, a RAM 23, a bus 24, an input / output interface 25, a display control unit 26, a storage unit 27, and a communication unit 28.
  • the CPU 21, ROM 22, and RAM 23 are connected to each other via the bus 24.
  • the input / output interface 25 is also connected to the bus 24.
  • the CPU 21 executes various processes according to the program stored in the ROM 22 or the program loaded from the storage unit 27 into the RAM 23.
  • the RAM 23 also appropriately stores data and the like necessary for the CPU 21 to execute various processes.
  • the operation console 6 shown in FIG. 1, the display control unit 26, the storage unit 27, and the communication unit 28 are connected to the input / output interface 25.
  • the operation input information from the operation console 6 is supplied to the CPU 21 via the input / output interface 25.
  • the display control unit 26 controls the display of the multi-monitor 7 based on the instruction from the CPU 21.
  • the storage unit 27 is a storage device composed of an HDD, a flash memory device, or the like.
  • the communication unit 28 is a communication device for performing data communication with the switcher 3.
  • the CPU 21 gives an instruction to the display control unit 26 to display each captured image input from the switcher 3 via the communication unit 28 on the multi-monitor 7. Further, the CPU 21 can cause the multi-monitor 7 to display information other than the captured image by instructing the display control unit 26.
  • the CPU 21 of this example causes the multi-monitor 7 to display an imaging state map showing an imaging state by each imaging device 1 on the map.
  • the imaging state map shown in FIG. 5 exemplifies an imaging state map used for relaying sports, specifically, relaying a race race of a car, and is on a map showing a driving course of a car (for example, a circuit course).
  • the icon of the object Ob to be imaged, the camera icon C indicating the position and orientation of each imaging device 1, and the icon indicating the imaging range Ri of each imaging device 1 are displayed.
  • the icon of the imaging range Ri is designed to indicate the length of the focal length according to its length.
  • the CPU 21 generates and gives an instruction to display such an imaging state map based on the imaging-related information added as metadata to the captured image data. Specifically, the CPU 21 positions the camera icon C on the map based on the position information of the image pickup device 1 included in the image pickup-related information and the information indicating the direction of the image pickup device 1 (direction information or pan / tilt information). And the direction are determined, and the length of the icon of each imaging range Ri is determined based on the information of the focal length of the imaging apparatus 1 included in the imaging-related information, and the image as an imaging state map as illustrated in FIG. Is generated, and the generated image is displayed on the multi-monitor 7 (display instruction to the display control unit 26).
  • the user By displaying an image showing the imaging state such as the position and orientation of the camera and the focal length as shown in the imaging state map shown in FIG. 5, the user as an operator can intuitively select which camera's captured image should be selected. It can be understood and the work load related to the selection of the captured image can be reduced.
  • the icon of the object Ob together with the camera icon C and the icon of the imaging range Ri, it is possible to easily distinguish between the camera capturing the subject to be imaged and the camera not capturing the subject to be imaged, and the subject to be imaged from now on. It is possible to facilitate the prediction of the camera that will capture the image, and to make it easier to determine which camera's captured image should be selected.
  • the usage mode of the image pickup apparatus 1 is determined, and the output control of the imaging-related information is performed based on the determined usage mode.
  • the handy camera means an image pickup device 1 in a state of being supported by the cameraman, such as being supported only by the cameraman's shoulder and hand, or only by the hand.
  • the fixed camera means an image pickup device 1 in a state in which the position is fixed by being attached to a fixture such as a tripod, for example.
  • the mobile device means a device on which the image pickup device 1 is mounted and can be moved. For example, a vehicle, a platform that moves on rails, a flying device such as a drone, and the like can be mentioned.
  • the position is not changed during broadcasting, so it can be said that it is sufficient to output the position information only once at the first time.
  • the placement position is known, it is not necessary to output the position information for the fixed camera.
  • the output frequency of the position information is lower than when it is determined that the camera is a handy camera.
  • the amount of communication data and the memory capacity can be reduced while preventing the function on the application side that uses the imaging-related information, specifically, in this example, the function of displaying the camera position by the imaging status map from being impaired. Can be planned.
  • the output frequency of the position information is higher than when it is determined to be a fixed camera and lower than when it is determined to be a handy camera.
  • the moving direction can be predicted to some extent as compared with the case of a handy camera, so that the camera is like a handy camera. Even if the location information is not output frequently, the functions on the application side may not be impaired. Therefore, by controlling the output frequency as described above, it is possible to reduce the amount of communication data and the memory capacity while preventing the function on the application side from being impaired.
  • the speed information of the image pickup device 1 is output as the image pickup related information.
  • the velocity information of the image pickup apparatus 1 can be obtained by the time derivative of the position detected by the position detection unit 15 or the time integration of the acceleration detected by the motion detection unit 14.
  • the moving direction can be predicted to some extent as compared with the case of a handy camera, so that the position is based on speed information. Can be predicted.
  • the camera mounted on the mobile device it is possible to suppress the deterioration of the estimation accuracy of the camera position on the application side when the output frequency of the position information is lowered, and it is possible to prevent the function of the application from being impaired. Can be planned.
  • FIG. 6 is a diagram for explaining an example of the output frequency of imaging-related information.
  • the imaging-related information is output as metadata that can be added for each frame of the captured image data.
  • the position information (“Position” in the figure)
  • P0 the position information
  • the position information is output once every multiple frames (once every three frames in the figure), and in the case of a handy camera.
  • the position information is output every frame.
  • the pan / tilt information (“PTx” in the figure) in the case of a fixed camera is output every frame.
  • some tripod devices 10 do not have a pan / tilt sensor.
  • the orientation information detected by the orientation detection unit 16 is output instead of the pan / tilt information (this point will be described later).
  • the speed information is output at the same frequency as the position information. Note that this is just an example, and it is not essential to output speed information at the same frequency as position information.
  • the direction information (“Cx” in the figure) is output at the same frequency as the position information. Note that this point is not essential, and the position information and the direction information can be output at different frequencies.
  • pan / tilt information For position information, pan / tilt information, speed information, and direction information, the latest acquired values are output.
  • focal length information is also output as imaging-related information.
  • the focal length information is output every frame regardless of the usage mode of the image pickup apparatus 1, the illustration is omitted in FIG.
  • the value detected by the gyro sensor is illustrated (“Gx” in the figure), but as will be described later, in this example, the value detected by the gyro sensor is used to determine whether or not the camera is a handy camera. ..
  • the imaging-related information is output as the metadata of the captured image, but it is necessary to perform time synchronization between the captured image and the metadata in the subsequent processing. It becomes possible to prompt the operator to make a decision in real time.
  • FIG. 7 is a flowchart illustrating a specific processing procedure for realizing output control of imaging-related information as the embodiment described above.
  • the process shown in FIG. 7 is repeatedly executed by the control unit 13 in the image pickup apparatus 1 at the frame cycle of the captured image.
  • the arrangement position of the fixed camera is known, and if the information processing apparatus 5 is set with the position information indicating the known arrangement position as the position information of the fixed camera, it is first described as described above. There is no need to add position information to the frame of.
  • FIG. 7 (including FIG. 8 described later) illustrates a process in which no position information is output in the case of a fixed camera.
  • the focal length information may be output every frame regardless of the usage mode of the imaging device 1 as described above. Therefore, in FIG. 7 (and FIG. 8), the processing related to the focal length output is described. The illustration is omitted.
  • control unit 13 performs a process of acquiring the position information detected by the position detection unit 15 as the position information acquisition process of step S101, and the acceleration sensor and the gyro in the motion detection unit 14 as the motion information acquisition process of the subsequent step S102.
  • the process of acquiring the acceleration and angular velocity detected by the sensor is performed.
  • the control unit 13 analyzes the motion information. Specifically, the swing width and swing cycle are analyzed by performing waveform analysis on acceleration and angular velocity using a Fourier transform or the like.
  • step S104 the control unit 13 determines whether or not the camera is a handy camera based on the analysis result in step S103. In determining whether or not the camera is a handy camera, at least one of the acceleration and the angular velocity waveform analysis may be performed.
  • step S104 If it is determined in step S104 that the camera is a handy camera, the control unit 13 proceeds to step S105 to acquire directional information, that is, a process of acquiring directional information detected by the directional detection unit 16, and then step S106. Performs the process of outputting the position information and the directional information in, and completes the series of processes shown in FIG. 7. By such processing, in the case of a handy camera, position information and direction information are output every frame.
  • step S104 determines whether or not the camera is not a handy camera
  • the control unit 13 proceeds to step S107 to determine whether or not the movement amount is equal to or greater than a predetermined amount. That is, as the position information acquired by the position detection unit 15, the movement amount obtained from the latest acquired position information and the position information acquired before that (for example, the latest previous position information) is equal to or more than a predetermined amount. It is determined whether or not it is. If the amount of movement is less than a predetermined amount, it can be determined to be a fixed camera, and if the amount of movement is more than a predetermined amount, it can be determined to be a camera mounted on a moving device.
  • step S108 the control unit 13 determines whether or not pan / tilt information can be acquired. For example, it is determined whether or not there is a signal input indicating pan / tilt information from the tripod device 10. Alternatively, in a system where it is guaranteed that all tripod devices 10 are equipped with pan / tilt sensors, if there is a switch for detecting whether or not the tripod device 10 is attached to the tripod device 10. It is also possible to determine whether or not pan / tilt information can be acquired based on the on / off state of the switch.
  • step S108 If it is determined in step S108 that the pan / tilt information can be acquired, the control unit 13 proceeds to step S109 to acquire the pan / tilt information from the tripod device 10, and then outputs the pan / tilt information in step S110. Is performed, and the series of processes shown in FIG. 7 is completed.
  • step S111 when it is determined that the pan / tilt information cannot be acquired, the control unit 13 proceeds to step S111 to acquire the directional information from the directional detection unit 16, and then performs a process of outputting the directional information in step S112.
  • the series of processes shown in 7 is completed.
  • the pan / tilt information is output every frame if the pan / tilt information can be acquired, and the orientation information is output every frame if the pan / tilt information cannot be acquired. The frame is output.
  • step S107 If it is determined in the previous step S107 that the movement amount is equal to or greater than the predetermined amount, the control unit 13 proceeds to step S113 and determines whether or not a certain time or more has passed since the previous information output. For example, when information is output every three frames for a camera mounted on a mobile device as illustrated in FIG. 6, it is determined whether or not a time of two frames or more has elapsed from the previous information output.
  • control unit 13 ends the series of processes shown in FIG. 7. On the other hand, if a certain time or more has passed since the previous information output, the control unit 13 proceeds to step S114 to acquire speed information, and then performs a process of outputting position information and speed information in step S115, and FIG. The series of processing shown in is completed. With respect to the camera mounted on the mobile device in this way, position information and speed information are output at a frequency of once in a plurality of frames.
  • the control unit 13 determines whether the image pickup device 1 corresponds to the handy camera, the fixed camera, or the camera mounted on the mobile device.
  • Information indicating the determination result (for example, flag information) ) Can be output together with the captured image data as imaging-related information.
  • information indicating whether each image pickup device 1 corresponds to a handy camera, a fixed camera, or a camera mounted on a mobile device can be displayed on the multi-monitor 7.
  • the determination as to whether or not the camera is a fixed camera can also be performed by determining the connection to the tripod device 10.
  • the flowchart of FIG. 8 shows a processing example in that case.
  • parts that are similar to the parts that have already been explained will be given the same reference numerals and the same step numbers, and the description thereof will be omitted.
  • the control unit 13 in this case first determines in step S201 whether or not it is connected to a tripod. This determination is as a determination of whether or not there is a signal input indicating pan / tilt information from the tripod device 10 if all the tripod devices 10 are guaranteed to have a pan / tilt sensor. It can be carried out. Alternatively, if there is a switch for detecting whether or not it is attached to the tripod device 10, it can be performed as a process for determining the on / off state of the switch.
  • step S108 If it is determined that the tripod is connected, the control unit 13 proceeds to step S108. Since the processes from step S108 to step S112 are the same as those described for the fixed camera in FIG. 7, duplicate explanations are avoided.
  • step S101 the control unit 13 proceeds to step S101. Since the processes of steps S101 to S106 have already been described in FIG. 7, duplicate explanations will be avoided. In this case, if it is determined in step S104 that the camera is not a handy camera, it can be determined that the camera is mounted on the mobile device, so the process proceeds to step S113 as shown in the figure. That is, the process corresponding to the camera mounted on the mobile device described with reference to FIG. 7 is executed.
  • the motion information of the imaging device 1 can be acquired and the waveform analysis of the motion information can be performed when determining whether or not the camera is a fixed camera. There is no need to perform analysis processing. Therefore, it is possible to reduce the processing load when determining the usage mode.
  • the handheld camera that has stopped after moving is a camera that has moved near the subject to be imaged and is preparing for an interview or the like or is ready. Therefore, in the present embodiment, it is determined whether or not the imaging device 1 as a handy camera has stopped after moving, and based on the result of the determination, a display process for notifying the imaging device 1 determined to have stopped after moving is performed. .. Specifically, for example, in the imaging state map shown in FIG. 5, the camera icon C and / or the imaging range Ri icon for the corresponding imaging device 1 is blinked or displayed in a specific color such as red. , Perform display processing to make the corresponding image pickup apparatus 1 stand out (emphasize).
  • FIG. 9 is a flowchart illustrating a specific processing procedure to be executed by the control unit 13 of the image pickup apparatus 1 in order to realize such a notification display. It is assumed that the control unit 13 is executing the process for output control of the imaging-related information shown in FIG. 7 in parallel with the process shown in FIG.
  • step S301 the control unit 13 determines whether or not it is being determined to be handy, that is, whether or not it is in a state of being determined to be a handy camera in the process shown in FIG. 7 (see step S104). ..
  • the control unit 13 ends a series of processes shown in FIG. That is, if the camera is not determined to be a handy camera, the process for determining the stop after movement, which will be described below, is not executed.
  • the control unit 13 proceeds to step S302 and determines whether or not the moving flag is ON.
  • the moving flag is a flag generated by the control unit 13 based on the position information detected by the position detection unit 15, and indicates whether or not the image pickup apparatus 1 is moving. Specifically, ON indicates that it is moving, and OFF indicates that it is not moving. If the moving flag is not ON, the control unit 13 ends a series of processes shown in FIG.
  • step S303 determines whether or not the vehicle has stopped. That is, it is determined whether or not the image pickup apparatus 1 has stopped based on the position information detected by the position detection unit 15. When it is determined that the image pickup apparatus 1 is not stopped, the control unit 13 ends a series of processes shown in FIG.
  • step S304 When it is determined that the image pickup apparatus 1 has stopped, the control unit 13 proceeds to step S304 and outputs the emphasis flag information. That is, the flag information instructing the highlighting of the image pickup device 1 as the own device is added as the metadata of the captured image data, and is output to the communication unit 17. As a result, when it is determined that the image pickup device 1 which is being determined to be a handy camera has stopped after moving, the information processing device 5 can be instructed to highlight the image pickup device 1.
  • step S305 following step S304 the control unit 13 turns off the moving flag, and then ends a series of processes shown in FIG.
  • the information processing device 5 executes a display process for highlighting the imaging device 1 from which the highlight flag information is output on the multi-monitor 7. Specifically, display processing is performed to realize highlighting on the imaging state map as described above. As a result, it is possible to notify the user as an operator of the image pickup device 1 as a handy camera that has stopped after moving.
  • the image pickup device 1 side determines whether or not the handy camera has stopped after moving, but the determination is based on the image pickup related information output by the image pickup device 1 on the information processing device 5 side. You can also do it with.
  • FIG. 10 is a flowchart illustrating a specific processing procedure to be executed by the CPU 21 of the information processing apparatus 5 in that case.
  • the CPU 21 determines whether or not the camera is a handy camera. As described above, this determination process is performed when the imaging device 1 outputs information indicating a determination result of whether the camera is a handy camera, a fixed camera, or a camera mounted on a mobile device as imaging-related information. It can be done based on the information that shows the result. Alternatively, when the information indicating the determination result is not output as the imaging-related information, the imaging device 1 outputs the motion information detected by the motion detection unit 14 as the imaging-related information, and is based on the analysis result of the motion information. It may be performed as a judgment process. If it is determined that the camera is not a handy camera, the CPU 21 ends a series of processes shown in FIG.
  • step S402 determines whether or not the camera has stopped moving. This determination process can be performed, for example, by the same method as the method described in steps S302 and S303 above, based on the position information output from the image pickup apparatus 1 as the image pickup-related information. If it is determined that the camera has not stopped moving, the CPU 21 ends a series of processes shown in FIG.
  • step S403 display processing is performed to highlight the corresponding image pickup device 1 on the multi-monitor 7.
  • the CPU 21 completes a series of processes shown in FIG. 10 in response to executing the process of step S403.
  • an example of notifying the handy camera by highlighting the handy camera that has stopped after moving on the image showing the position and orientation of the image pickup device 1 as an image pickup state map has been given.
  • the images captured by each imaging device 1 are displayed simultaneously on the multi-monitor 7, the images captured by the corresponding handy camera may be highlighted (for example, a frame is displayed at the edge of the image). it can. Even in this case, the operator can grasp the corresponding handy camera. That is, there is no change in the display notifying the handy camera that has stopped after moving.
  • FIG. 11 shows an example.
  • the information processing device 5 that performs information display processing based on imaging-related information inputs the captured image from each imaging device 1 via the switcher 3, but FIG. 11 shows an example.
  • the information processing system 100A illustrated it is also possible to adopt a configuration in which images captured from each imaging device 1 are directly input to the information processing device 5.
  • the determination of the usage mode of the imaging device 1 is determined based on the planning information of the usage mode.
  • planning information of the usage mode may be set for each image pickup device 1.
  • the usage mode can be determined based on the usage mode information (in this example, a fixed camera, a handy camera, or a camera mounted on the mobile device) shown in the plan information. .. It is also possible to determine the usage mode based on both the planning information and the sensor information. For example, it is conceivable that the determination is made on the condition that the results of both the determination based on the plan information and the determination based on the sensor information match.
  • the camera mounted on the mobile device has an example of outputting the position information together with the speed information, but it is also possible not to output the position information.
  • the position information is output for the handy camera, but the speed information is output without outputting the position information for the camera mounted on the mobile device.
  • the direction information may be output, or the pan / tilt information may be output if it can be acquired.
  • the case where the selection operation (camera selection operation) of the captured image output from the switcher 3 to the transmitter 4 is accepted as the operation for the console 6 is illustrated, but the touch panel in which the multi-monitor 7 detects the touch operation on the screen is illustrated.
  • the touch operation on the screen may be accepted as the camera selection operation.
  • the captured image can also be output from the image pickup device 1 to the recorder 2 via the CCU (Camera Control Unit). ..
  • the imaging-related information can also be output from the CCU to the recorder 2, but in this case, the CCU controls the output of the imaging-related information. You can also do it. That is, the subject that executes the output control of the image pickup-related information is not limited to the image pickup apparatus 1.
  • control device 1 as the embodiment is the use determined by the determination unit (control unit 13: see steps S104, S107, S201, etc.) for determining the usage mode of the imaging device, and the determination unit. It includes a control unit (control unit 13: see steps S104 and later in FIG. 7, steps S108 and later and S104 and later in FIG. 8) that controls output of imaging-related information related to the imaging device based on the embodiment.
  • the imaging-related information means information related to imaging.
  • information indicating the position of the imaging device (corresponding to the position of the imaging viewpoint), focal length information, information indicating the imaging direction, information indicating the movement of the imaging device such as acceleration and angular velocity acting on the imaging device, and the imaging device.
  • Information on the moving speed of, etc. can be mentioned.
  • a usage mode of the imaging device a usage mode of a fixed camera, a handy camera, a camera mounted on a mobile device, or the like can be mentioned.
  • imaging-related information In the case of a handy camera that is expected to move, it is possible to control so that unnecessary information is not output depending on the usage mode of the camera, such as outputting imaging-related information as camera position information. Become. Alternatively, it is possible to change the type of image pickup-related information to be output according to the usage mode of the camera. Therefore, regarding imaging-related information, output is performed so as to reduce the amount of communication data and the memory capacity used for information storage, or output of an appropriate type of information according to the usage mode of the imaging device. Etc., the imaging-related information can be output in an appropriate manner.
  • the determination unit determines at least one of the usage mode as a fixed camera and the usage mode as a handy camera as the determination of the usage mode. For example, when outputting the position information of the imaging device as imaging-related information, since the position of the fixed camera is fixed, it is basically unnecessary to output the position information, whereas in the handy camera, the cameraman There is a high possibility that the camera is moving with it, and its position should be confirmed frequently, and it is required to increase the frequency of output of position information. As described above, the fixed camera and the handy camera may need to change the output mode of specific imaging-related information. Therefore, by determining whether the camera is a fixed camera or a handy camera as described above, it is possible to perform appropriate output control according to the usage mode of the image pickup apparatus as the output control of the image pickup related information.
  • the determination unit determines which of the fixed camera, the handy camera, and the camera mounted on the mobile device is used. As a result, it is determined whether the camera is used as a handy camera or a camera mounted on a mobile device as a usage mode of the camera whose position is not fixed. Therefore, it is possible to appropriately classify the camera usage mode in response to the case where the output mode of the imaging-related information should be changed between the handy camera and the camera mounted on the mobile device.
  • the control unit when the determination unit determines that the camera is a fixed camera, the control unit lowers the output frequency of imaging-related information when it is determined to be a handy camera. For example, in the case of a fixed camera, it is possible to eliminate the need to output position information. For a fixed camera, even if the output frequency of imaging-related information is reduced, the application-side function that uses imaging-related information is still available. It may not be impaired. Therefore, as described above, in the case of a fixed camera, the output frequency of imaging-related information is lower than that in the case of a handy camera, thereby preventing the application-side functions that use imaging-related information from being impaired, and communication data. It is possible to reduce the amount and the memory capacity.
  • the control unit when the determination unit determines that the camera is mounted on the mobile device, the control unit outputs the imaging-related information higher than when it is determined to be a fixed camera. It is lower than when it is judged to be a handy camera.
  • the moving direction can be predicted to some extent as compared with the case of a handy camera, so that the camera is like a handy camera.
  • the function on the application side that uses the imaging-related information may not be impaired. Therefore, by controlling the output frequency as described above, it is possible to reduce the amount of communication data and the memory capacity while preventing the function on the application side that uses the imaging-related information from being impaired. ..
  • the determination unit determines the usage mode based on the detection information of the sensor.
  • the usage mode of the camera is determined based on the detection information of the motion sensor that detects the movement of the image pickup device such as the acceleration sensor and the angular velocity sensor, and the position sensor that detects the position of the image pickup device. Since the state of the image pickup device such as the movement and position of the image pickup device can be actually detected by the sensor to determine the usage mode, the determination accuracy can be improved.
  • the determination unit determines the usage mode based on the detection information of the motion sensor that detects the motion of the image pickup device.
  • the usage mode is determined based on the detection information of the motion sensor that detects the motion of the imaging device such as the acceleration sensor and the angular velocity sensor. This makes it possible to detect movement characteristics peculiar to a handy camera, such as camera movement due to camera shake. Therefore, it is suitable for determining whether or not the camera is used as a handy camera.
  • the determination unit determines the usage mode based on the detection information of the position sensor that detects the position of the image pickup device. This makes it possible to determine the usage mode based on the change mode of the camera position. Therefore, it is suitable for determining whether or not the camera is used as a fixed camera and whether or not the camera is mounted on a mobile device.
  • the image pickup-related information includes the position information of the image pickup device.
  • position information As a result, it is possible to output position information as imaging-related information, and as an application using imaging-related information, it is possible to realize an application that indicates a camera position to a user such as an operator on a map or the like. Therefore, it is possible to realize a highly convenient application that allows the user to intuitively understand which camera's captured image should be selected.
  • control unit changes the type of image pickup-related information to be output based on the determination result by the determination unit. This makes it possible to output an appropriate type of imaging-related information according to the usage mode of the camera. Therefore, as an application that uses imaging-related information, it is possible to realize a highly convenient application that presents appropriate information to the user according to the usage mode of the camera.
  • the determination unit determines at least whether or not the camera is used as a camera mounted on the mobile device as a determination of the usage mode, and the control unit is determined by the determination unit.
  • the speed information of the image pickup device is output as the image pickup related information.
  • the moving direction can be predicted to some extent as compared with the case of a handy camera, so that the position is based on speed information. Can be predicted.
  • the camera mounted on the mobile device it is possible to suppress the deterioration of the estimation accuracy of the camera position on the application side when the output frequency of the position information is lowered, and it is possible to prevent the function of the application from being impaired. Can be planned.
  • the control unit outputs the pan information as the image pickup related information when the pan information of the image pickup device can be acquired from the fixing device that rotatably fixes the image pickup device at least in the pan direction.
  • the processing is performed to output the orientation information detected by the orientation sensor that detects the orientation of the imaging apparatus as imaging-related information.
  • the directional information is output as alternative information for the pan information. Therefore, as an application that uses imaging-related information, it is possible to realize an application that indicates the camera orientation to the user, for example, on a map, even when pan information cannot be acquired, and it is possible to improve convenience.
  • the determination unit determines whether or not the camera is used as a fixed camera by determining the connection of the image pickup device to the fixed device for fixing the image pickup device. This eliminates the need to acquire motion information of the imaging device or perform analysis processing such as waveform analysis of motion information in determining whether or not the camera is a fixed camera. Therefore, it is possible to reduce the processing load when determining the usage mode.
  • the determination unit determines the usage mode based on the planning information of the usage mode set for each imaging device. This eliminates the need to acquire motion information and position information of the imaging device and to perform analysis processing on the motion information and position information in determining the usage mode. Therefore, it is possible to reduce the processing load when determining the usage mode.
  • the control method as an embodiment is a control method that determines the usage mode of the imaging device and controls the output of imaging-related information about the imaging device based on the determined usage mode. Even with such a control method as an embodiment, the same operation and effect as the control device as the above-described embodiment can be obtained.
  • the information processing system of the embodiment is a control having a determination unit that determines the usage mode of the imaging device, and a control unit that controls the output of imaging-related information about the imaging device based on the usage mode determined by the determination unit.
  • the information processing system as such an embodiment can also obtain the same operations and effects as the control device as the above-described embodiment.
  • a stop determination unit (control unit 13 or CPU 21: see FIGS. 9 and 10) for determining whether or not the image pickup apparatus has stopped after moving is provided, and the display processing unit is provided.
  • the stop determination unit performs display processing to notify the imaging device determined to have stopped after moving. It can be presumed that the imaging device stopped after the movement is an imaging device that has completed the movement near the subject to be imaged and is preparing for an interview or the like or is ready. Therefore, by performing the display process for notifying the image pickup device that has stopped after moving as described above, a highly convenient application that allows the user to intuitively understand which camera's captured image should be selected is realized. be able to.
  • the present technology can also adopt the following configurations.
  • the determination unit The control device according to (1) above, wherein at least one of the usage mode as a fixed camera and the usage mode as a handy camera is determined as the determination of the usage mode.
  • the determination unit The control device according to (2) above, which determines whether the camera is used as a fixed camera, a handy camera, or a camera mounted on a mobile device.
  • the control unit The control device according to (2) or (3), wherein when the determination unit determines that the camera is a fixed camera, the output frequency of the imaging-related information is lower than when the camera is determined to be the handy camera. (5) The control unit When the determination unit determines that the camera is mounted on the mobile device, the output frequency of the imaging-related information is higher than when it is determined to be the fixed camera and lower than when it is determined to be the handy camera. The control device according to (3) above. (6) The determination unit The control device according to any one of (1) to (5) above, which determines the usage mode based on the detection information of the sensor. (7) The determination unit The control device according to (6) above, which determines the usage mode based on the detection information of the motion sensor that detects the motion of the imaging device.
  • the determination unit The control device according to (6) or (7) above, which determines the usage mode based on the detection information of the position sensor that detects the position of the image pickup device.
  • the control unit The control device according to any one of (1) to (9) above, which changes the type of image pickup-related information to be output based on the determination result by the determination unit.
  • the determination unit As the determination of the usage mode, at least the usage mode as a camera mounted on the mobile device is determined.
  • the control unit The control device according to (10), wherein when the determination unit determines that the camera is mounted on the mobile device, the control device performs a process of outputting speed information of the image pickup device as the image pickup related information. (12)
  • the control unit When the pan information of the imaging device can be acquired from a fixing device that rotatably fixes the imaging device in at least the pan direction, a process of outputting the pan information as the imaging-related information is performed, and the pan is output from the fixing device.
  • the control device according to any one of (1) to (11) above, which performs a process of outputting the direction information detected by the direction sensor that detects the direction of the image pickup device as the image pickup-related information when the information cannot be acquired. ..
  • the determination unit The control device according to any one of (2) to (5) above, wherein it is determined whether or not the camera is used as a fixed camera by determining the connection of the image pickup device to the fixed device for fixing the image pickup device.
  • the determination unit The control device according to any one of (1) to (13), wherein the usage mode is determined based on the planning information of the usage mode set for each image pickup device.
  • a determination unit that determines the usage mode of the image pickup device and A control device having a control unit that controls output of imaging-related information about the imaging device based on the usage mode determined by the determination unit.
  • Imaging device 2 Recorder 3
  • Switcher 4 Transmitter 5
  • Information processing device 6 Operation console 7
  • Multi-monitor 10 Tripod device 11 Imaging unit 12 Image processing unit 13
  • Control unit 14 Motion detection unit 15
  • Position detection unit 16 Orientation detection unit 17
  • Communication unit 18 Bus 21
  • CPU 22 ROM 23
  • RAM 24 Bus 25
  • Input / output interface 26 Display control unit 27
  • Storage unit 28 Communication unit C Camera icon Ri Imaging range Ob object

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

カメラの位置や向きの情報等といった撮像関連情報の出力を適切な態様で行う。　本技術に係る制御装置は、撮像装置の使用態様を判定する判定部と、判定部により判定された使用態様に基づいて撮像装置に関する撮像関連情報の出力制御を行う制御部とを備える。撮像装置の使用態様に基づいて撮像関連情報の出力制御を行うことで、例えば、移動が行われない固定カメラの場合には、カメラの位置情報としての撮像関連情報を出力せず、移動が想定されるハンディカメラの場合にはカメラの位置情報としての撮像関連情報を出力する等、カメラの使用態様に応じて不要とされる情報を出力しないように制御すること等が可能となる。

Description

制御装置、制御方法、情報処理システム
　本技術は制御装置、制御方法、及び情報処理システムに関し、特には、撮像に関連する情報である撮像関連情報の出力制御に係る技術分野に関する。
　例えば、スポーツ中継に用いられる放送システム等、複数のカメラ（撮像装置）による撮像画像のうちからオペレータによって選択された画像を放送用に送出したり、記録したりする放送システムがある。
　この種の放送システムでは、各カメラの配置位置やどの方向を向いているか等、カメラの状態を示す情報をオペレータに表示するということが考えられる。このような表示を行うことで、オペレータによる各カメラの状態把握を容易化でき、どのカメラの撮像画像を選択すべきかを直感的に理解させることが可能となる。
　なお、関連する従来技術については下記特許文献１を挙げることができる。
特開平９－２８９６０６号公報
　ここで、上記のように各カメラの位置やどの方向を向いているか等のカメラの状態情報を表示するにあたっては、カメラ側から位置や向きを示す情報を例えば撮像画像のメタデータ等として出力させる構成とすることが考えられる。すなわち、撮像に関する情報としての撮像関連情報をカメラ側から出力させる構成である。
　このとき、撮像関連情報の出力については、その頻度やどのような種類の情報を出力するか等といった出力態様の最適化が図られるべきである。
　本技術に係る制御装置は、撮像装置の使用態様を判定する判定部と、前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を備えるものである。
　撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置の位置（撮像視点の位置に相当する）を示す情報、焦点距離の情報、撮像方向を示す情報（例えば、三脚上で使用されている場合のパン方向又はチルト方向の向きを示す情報や、方位センサによる方位情報等）、撮像装置に作用する加速度や角速度等の撮像装置の動きを示す情報、撮像装置の移動速度の情報、等を挙げることができる。また、撮像装置の使用態様の例としては、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラ等の使用態様を挙げることができる。上記のように撮像装置の使用態様に基づいて撮像関連情報の出力制御を行うことで、例えば、移動が行われない固定カメラの場合には、カメラの位置情報としての撮像関連情報を出力せず、移動が想定されるハンディカメラの場合にはカメラの位置情報としての撮像関連情報を出力する等、カメラの使用態様に応じて、不要とされる情報を出力しないように制御することが可能となる。或いは、カメラの使用態様に応じて、出力する撮像関連情報の種類を変化させるといったことも可能となる。
　上記した本技術に係る制御装置においては、前記判定部は、前記使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行う構成とすることが可能である。
　例えば、撮像関連情報として撮像装置の位置情報を出力する場合において、固定カメラは、位置が固定であるため、基本的には位置情報の出力は不要であるのに対し、ハンディカメラは、カメラマンが持って移動している可能性が高くその位置の確認は高頻度で行われるべきであって位置情報の出力頻度を高めることが要請される。このように固定カメラとハンディカメラとでは、特定の撮像関連情報について、その出力態様を変化させるべき場合がある。
　上記した本技術に係る制御装置においては、前記判定部は、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定する構成とすることが可能である。
　これにより、位置が非固定のカメラの使用態様として、ハンディカメラ、移動装置に搭載されたカメラの何れであるかが判定される。
　上記した本技術に係る制御装置においては、前記制御部は、前記判定部により前記固定カメラと判定された場合は、前記ハンディカメラと判定された場合よりも前記撮像関連情報の出力頻度を低下させる構成とすることが可能である。
　例えば、固定カメラの場合には位置情報の出力を不要とすることが可能である等、固定カメラについては、撮像関連情報の出力頻度を低下させても、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
　上記した本技術に係る制御装置においては、前記制御部は、前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報の出力頻度を、前記固定カメラと判定された場合よりも高く前記ハンディカメラと判定された場合よりも低くする構成とすることが可能である。
　例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように撮像関連情報を頻繁に出力せずとも、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
　上記した本技術に係る制御装置においては、前記判定部は、センサの検出情報に基づいて前記使用態様を判定する構成とすることが可能である。
　例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサや撮像装置の位置を検出する位置センサ等の検出情報に基づいてカメラの使用態様を判定する。
　上記した本技術に係る制御装置においては、前記判定部は、前記撮像装置の動きを検出する動きセンサの検出情報に基づいて前記使用態様を判定する構成とすることが可能である。
　例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサの検出情報に基づいて使用態様を判定する。これにより、例えば手ブレによるカメラの動き等、ハンディカメラに特有の動きの特徴を検出可能となる。
　上記した本技術に係る制御装置においては、前記判定部は、前記撮像装置の位置を検出する位置センサの検出情報に基づいて前記使用態様を判定する構成とすることが可能である。
　これにより、カメラ位置の変化態様に基づいた使用態様の判定を行うことが可能となる。
　上記した本技術に係る制御装置においては、前記撮像関連情報は前記撮像装置の位置情報を含む構成とすることが可能である。
　これにより、撮像関連情報として位置情報を出力することが可能とされ、撮像関連情報を用いるアプリケーションとして、オペレータ等のユーザにカメラ位置を例えばマップ上等で示すアプリケーションを実現可能となる。
　上記した本技術に係る制御装置においては、前記制御部は、前記判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させる構成とすることが可能である。
　これにより、カメラの使用態様に応じた適切な種類の撮像関連情報を出力することが可能となる。
　上記した本技術に係る制御装置においては、前記判定部は、前記使用態様の判定として、少なくとも移動装置に搭載されたカメラとしての使用態様か否かの判定を行い、前記制御部は、前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報として前記撮像装置の速度情報を出力する処理を行う構成とすることが可能である。
　例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
　上記した本技術に係る制御装置においては、前記制御部は、前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う構成とすることが可能である。
　パン情報とは、撮像装置のパン方向の角度情報を意味する。上記構成によれば、パン情報を取得不能な場合には、パン情報の代替情報としての方位情報が出力される。
　上記した本技術に係る制御装置においては、前記判定部は、前記固定カメラとしての使用態様であるか否かの判定を、前記撮像装置を固定する固定装置に対する前記撮像装置の接続判定により行う構成とすることが可能である。
　これにより、固定カメラであるか否かの判定にあたって撮像装置の動き情報を取得したり動き情報の波形解析等の解析処理を行う必要がなくなる。
　上記した本技術に係る制御装置においては、前記判定部は、前記撮像装置ごとに設定された前記使用態様の計画情報に基づいて前記使用態様を判定する構成とすることが可能である。
　これにより、使用態様の判定にあたって撮像装置の動き情報や位置情報を取得したり、動き情報や位置情報についての解析処理を行う必要がなくなる。
　本技術に係る制御方法は、撮像装置の使用態様を判定し、判定した前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御方法である。
　このような制御方法によっても、上記した本技術に係る制御装置と同様の作用が得られる。
　本技術に係る情報処理システムは、撮像装置の使用態様を判定する判定部と、前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置と、前記制御部の出力制御により出力された前記撮像関連情報に基づく情報の表示処理を行う表示処理部を有した情報処理装置と、を備えるものである。
　このような情報処理システムによっても、上記した本技術に係る制御装置と同様の作用が得られる。
　また、上記した本技術に係る情報処理システムにおいては、前記撮像装置が移動後に停止したか否かを判定する停止判定部を備え、前記表示処理部は、前記停止判定部により移動後に停止したと判定された前記撮像装置を通知する表示処理を行う構成とすることが可能である。
　移動後に停止した撮像装置は、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了した撮像装置であると推定できる。
本技術に係る実施形態としての情報処理システムの構成例を示したブロック図である。 実施形態における撮像装置の内部構成例を示したブロック図である。 実施形態における固定装置の説明図である。 実施形態における情報処理装置の内部構成例を示したブロックである。 実施形態における撮像状態マップの説明図である。 撮像関連情報の出力頻度の例を説明するための図である。 実施形態としての撮像関連情報の出力制御を実現するための具体的な処理手順を例示したフローチャートである。 固定カメラか否かの判定を固定装置に対する接続判定により行う場合の処理手順を例示したフローチャートである。 移動後に停止したハンディカメラの通知表示を実現するために撮像装置側で実行すべき具体的な処理手順を例示したフローチャートである。 ハンディカメラが移動後に停止したか否かの判定を情報処理装置側で行う場合の具体的な処理手順を例示したフローチャートである。 実施形態としての情報処理システムの変形例としての構成を例示したブロック図である。
　以下、本技術に係る実施形態を次の順序で説明する。
＜１．情報処理システムの構成＞
［1-1．システム全体構成］
［1-2．撮像装置の構成］
［1-3．情報処理装置の構成］
＜２．実施形態としての処理＞
［2-1．撮像関連情報の出力制御］
［2-2．通知表示］
＜３．変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞
＜１．情報処理システムの構成＞
［1-1．システム全体構成］

　図１は、実施形態としての情報処理システム１００の構成例を示したブロック図である。
　実施形態の情報処理システム１００は、複数のカメラ（撮像装置）による撮像画像のうちからオペレータによって選択された画像を放送用に送出する機能を有した、放送システムとして構成されている。
　図示のように情報処理システム１００は、複数の撮像装置１と、収録機２、スイッチャ３、送出機４、情報処理装置５、操作卓６、及びマルチモニタ７を備えている。これら構成要素のうち、撮像装置１は、本技術に係る制御装置の一実施形態であり、情報処理装置５は、本技術に係る情報処理装置の一実施形態である。
　撮像装置１は、被写体を撮像した撮像画像を得ると共に、撮像画像と撮像関連情報とを収録機２に出力する。
　ここで、撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置１の位置（撮像視点の位置に相当する）を示す情報、焦点距離の情報、撮像方向を示す情報（例えば、三脚上で使用されている場合のパン方向又はチルト方向の向きを示す情報や、方位センサによる方位情報等）、撮像装置１に作用する加速度や角速度等の撮像装置１の動きを示す情報、撮像装置１の移動速度の情報、等を挙げることができる。なお、撮像装置１の位置を示す情報としては、例えば緯度及び経度による水平方向の位置情報に限らず、高度による垂直方向の位置情報を含む場合がある。
　撮像関連情報は、上記のように撮像に関連する情報であって、撮像によって得られる撮像画像自体は撮像関連情報に含まれない。
　本例において、撮像装置１は、撮像画像を動画像データの形式で出力する。また、本例における撮像装置１は、撮像関連情報を撮像画像のメタデータとして付加して出力する。
　収録機２は、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリ装置等の記憶デバイスを備えて構成され、各撮像装置１から出力された動画像データとしての撮像画像（本例では撮像関連情報が付加されている）を収録すると共に、スイッチャ３に出力する。また、収録機２は、操作入力に基づき、収録した動画像データとしての撮像画像に対しリプレイなどの映像効果を付加してスイッチャ３に出力することが可能とされる。
　スイッチャ３は、情報処理装置５からの指示に基づき、収録機２を介して入力される各撮像装置１からの撮像画像のうちから送出機４に出力すべき撮像画像を選択する。
　送出機４は、スイッチャ３により選択された撮像画像を放送として送出する。
　情報処理装置５には、収録機２から出力された撮像画像がスイッチャ３を介して入力される。
　情報処理装置５には、オペレータとしてのユーザが操作に用いる各種操作子が設けられた操作卓６と、マルチモニタ７としての表示装置とが接続されており、情報処理装置５は、スイッチャ３に入力されている各撮像画像をマルチモニタ７に表示させると共に、操作卓６を介したユーザの操作入力に基づいて、スイッチャ３に対し、送出機４に出力すべき撮像画像の指示を行う。
　なお、マルチモニタ７は単一の表示装置とされもよいし、撮像画像を個別に表示する複数の表示装置で構成されてもよい。
［1-2．撮像装置の構成］

　図２は、撮像装置１の内部構成例を示したブロック図である。
　図示のように撮像装置１は、撮像部１１、画像処理部１２、制御部１３、動き検出部１４、位置検出部１５、方位検出部１６、通信部１７、及びバス１８を備えている。
　撮像部１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズやシャッタ、絞り機構等を有する光学系と、該光学系を介して入射する被写体からの光を受光する例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型等の撮像素子とを備えている。
　撮像部１１では、撮像素子で受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号（以下「撮像画像データ」とも表記する）を、後段の画像処理部１２に出力する。
　画像処理部１２は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成され、撮像部１１からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えば、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理等の信号処理を施す。
　制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ(Random Access Memory)を有するマイクロコンピュータを備えて構成され、例えば上記ＲＯＭに格納されたプログラムに従った処理を実行することで撮像装置１の全体制御を行う。
　制御部１３は、撮像部１１、画像処理部１２、及び通信部１７とバス１８を介して接続されており、これらの各部とバス１８を介して相互のデータ通信を行うことが可能とされている。
　制御部１３には、動き検出部１４、位置検出部１５、方位検出部１６が接続されている。　動き検出部１４は、撮像装置１に作用する加速度や角速度等の撮像装置１の動きを示す情報を検出する。本例における動き検出部１４は、撮像装置１の動きを検出するためのセンサとして加速度センサ、及びジャイロセンサを備えている。
　位置検出部１５は、撮像装置１の現在位置を検出し、本例ではＧＮＳＳ（Global Navigation Satellite System）センサを備えている。なお、現在位置の検出手法は衛星を用いた手法に限定されるものではない。
　方位検出部１６は、撮像装置１が向く方位を検出するものであり、本例では方位センサ（地磁気センサ）を備える。
　通信部１７は、外部装置との間でデータ通信を行う。本例の通信部１７は、有線接続された収録機２との間でデータ通信を行うように構成されるが、通信部１７は、外部装置との間で無線通信を行うことが可能に構成されてもよい。
　制御部１３は、上記した動き検出部１４、位置検出部１５、及び方位検出部１６による検出情報を撮像関連情報として取得する。
　また、本例の制御部１３は、撮像部１１より光学系の焦点距離の情報を撮像関連情報として取得する。
　制御部１３は、取得した撮像関連情報を、画像処理部１２の処理を介して得られた撮像画像データ（動画像データ）のメタデータとして付加し、撮像画像データと共に通信部１７を介して収録機２に出力する処理を行う。
　ここで、撮像装置１は、図３に示すように三脚装置１０に取り付けられて（接続されて）使用される場合がある。三脚装置１０は、パン方向、及びチルト方向の角度調整（回転角度調整）が可能に構成されている。
　三脚装置１０には、パン方向の角度、チルト方向の角度をそれぞれ検出するパン・チルトセンサが備えられたものがある。このパン・チルトセンサは、取り付けられた撮像装置１のパン方向、及びチルト方向の向きを検出するセンサと換言できる。
　なお、三脚装置１０は、本技術における「固定装置」の一例である。「固定装置」は、広義では撮像装置を固定する装置を意味し、狭義では、撮像装置を少なくともパン方向に回転可能に固定する装置を意味する。固定装置の構成としては、三脚未満又は四脚以上の脚を有する構成や、脚部に雲台装置が取り付けられ、該雲台装置上に撮像装置が取り付けられる構成も有り得る。
　撮像装置１がパン・チルトセンサを備える三脚装置１０に取り付けられた場合、制御部１３は、パン・チルトセンサによる検出情報、すなわち撮像装置１のパン方向の向きを示すパン情報、及びチルト方向の向きを示すチルト情報（以下、これらを纏めて「パン・チルト情報」と表記する）を撮像関連情報として取得する。
　制御部１３は、このように三脚装置１０から取得したパン・チルト情報としての撮像関連情報についても、撮像画像データのメタデータとして、通信部１７を介して収録機２に出力する処理を行う。
［1-3．情報処理装置の構成］

　図４は、情報処理装置５の内部構成例を説明するためのブロック図である。なお、図４では情報処理装置５の内部構成例と共に図１に示した操作卓６、及びマルチモニタ７も併せて示している。
　図示のように情報処理装置５は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、入出力インタフェース２５、表示制御部２６、記憶部２７、通信部２８を備えている。
　ＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３は、バス２４を介して相互に接続されている。バス２４には、入出力インタフェース２５も接続されている。ＣＰＵ２１は、ＲＯＭ２２に記憶されているプログラム、又は記憶部２７からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ２３にはまた、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
　入出力インタフェース２５には、図１に示した操作卓６や、表示制御部２６、記憶部２７、及び通信部２８が接続されている。
　操作卓６からの操作入力情報は、入出力インタフェース２５を介してＣＰＵ２１に供給される。
　表示制御部２６は、ＣＰＵ２１からの指示に基づきマルチモニタ７の表示制御を行う。
　記憶部２７は、ＨＤＤやフラッシュメモリ装置等により構成された記憶デバイスである。
　通信部２８は、スイッチャ３との間でデータ通信を行うための通信デバイスである。
　ＣＰＵ２１は、表示制御部２６に対する指示を行って、スイッチャ３から通信部２８を介して入力される各撮像画像をマルチモニタ７に表示させる。
　また、ＣＰＵ２１は、表示制御部２６に対する指示により、マルチモニタ７に撮像画像以外の情報表示を実行させることもできる。
　本例のＣＰＵ２１は、図５に示すように各撮像装置１による撮像状態をマップ上に示した撮像状態マップをマルチモニタ７に表示させる。
　図５に示す撮像状態マップは、スポーツ中継、具体的には自動車のレース競技の中継に用いられる撮像状態マップを例示しており、自動車の走行コース（例えば、サーキットのコース）を表すマップ上に、撮像対象とするオブジェクトＯｂのアイコンと、各撮像装置１の位置及び向きを示すカメラアイコンＣと、各撮像装置１の撮像範囲Ｒｉを示すアイコンとが表示されている。撮像範囲Ｒｉのアイコンは、その長さによって焦点距離の長さを表すようにされている。
　ＣＰＵ２１は、撮像画像データにメタデータとして付加された撮像関連情報に基づいて、このような撮像状態マップの生成及び表示指示を行う。具体的に、ＣＰＵ２１は、撮像関連情報に含まれる撮像装置１の位置情報、及び撮像装置１の向きを示す情報（方位情報又はパン・チルト情報）に基づいて各カメラアイコンＣのマップ上の位置や向きを決定し、撮像関連情報に含まれる撮像装置１の焦点距離の情報に基づいて各撮像範囲Ｒｉのアイコンの長さを決定して、図５に例示したような撮像状態マップとしての画像の生成処理を行い、生成した画像をマルチモニタ７に表示させる処理（表示制御部２６に対する表示指示）を行う。
　図５に示す撮像状態マップのようなカメラの位置や向き、焦点距離等の撮像状態を表す画像の表示を行うことで、どのカメラの撮像画像を選択すべきかをオペレータとしてのユーザに直感的に理解させることができ、撮像画像の選択に係る作業負担の軽減を図ることができる。
　また、カメラアイコンＣや撮像範囲Ｒｉのアイコンと共にオブジェクトＯｂのアイコンを表示することで、撮像対象とする被写体を捉えているカメラとそうでないカメラの識別を容易化できると共に、これから撮像対象とする被写体を捉えるであろうカメラの予測を容易化することができ、どのカメラの撮像画像を選択すべきかの判断がより容易となるようにすることができる。
＜２．実施形態としての処理＞
［2-1．撮像関連情報の出力制御］

　ここで、上記のような撮像状態マップの表示を行う上では、撮像関連情報を撮像装置１側から常時送信することも考えられるが、その場合には、通信データ量が膨大となり、また撮像関連情報を記憶するためのメモリ容量の増大化を招くことになる。
　このため、本実施形態では、撮像装置１の使用態様を判定し、判定した使用態様に基づいて撮像関連情報の出力制御を行う。
　具体的に、本例では、撮像装置１の使用態様の判定として、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかの判定を行う。ここで、ハンディカメラとは、カメラマンの肩と手、或いは手のみにより支持される等、カメラマンによって支持された状態の撮像装置１を意味する。また、固定カメラとは、例えば三脚等の固定具に取り付けられる等して位置が固定とされた状態の撮像装置１を意味する。特に本例では、三脚装置１０に取り付けられた撮像装置１を意味する。
　また、移動装置とは、撮像装置１を搭載して移動可能な装置を意味する。例えば、車両、レール上を移動する台、ドローン等の飛行可能な装置等を挙げることができる。
　ここで、固定カメラであれば、放送中に位置を変化させることは無いので、位置情報については、初回に一度だけ出力すれば十分であると言える。或いは、配置位置が既知であれば、固定カメラについて位置情報を出力することは不要となる。これに対し、ハンディカメラについては、カメラマンが持って歩き回ることが通常であるため、位置情報を頻繁に出力することが望ましい。
　このため、本例では、固定カメラと判定された場合は、ハンディカメラと判定された場合よりも位置情報の出力頻度を低下させる。これにより、撮像関連情報を用いるアプリケーション側の機能、具体的に本例では撮像状態マップによるカメラ位置の表示機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
　また、本例では、移動装置に搭載されたカメラと判定された場合は、位置情報の出力頻度を、固定カメラと判定された場合よりも高くハンディカメラと判定された場合よりも低くする。
　例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように位置情報を頻繁に出力せずとも、アプリケーション側の機能が損なわれない場合がある。
　従って、上記のような出力頻度の制御を行うことで、アプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
　本例では、移動装置に搭載されたカメラと判定された場合は、撮像関連情報として撮像装置１の速度情報を出力する。なお、撮像装置１の速度情報は、位置検出部１５で検出される位置の時間微分、又は動き検出部１４で検出される加速度の時間積分により求めることができる。
　例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
　従って、移動装置に搭載されたカメラについて、位置情報の出力頻度を低くした場合にアプリケーション側でカメラ位置の推定精度が低下することの抑制を図ることができ、アプリケーションの機能が損なわれることの防止を図ることができる。
　図６は、撮像関連情報の出力頻度の例を説明するための図である。
　本例では、撮像関連情報は、撮像画像データのフレームごとに付加可能なメタデータとして出力される。
　位置情報（図中「Position」）について、固定カメラの場合には、最初のフレーム（図中「Ｆｒ０」）で出力（「Ｐ０」）した以降は、出力しない。移動装置に搭載されたカメラの場合（図中「移動」）には、位置情報は、複数フレームに１度の頻度（図中では３フレームに１度の頻度）で出力し、ハンディカメラの場合には、位置情報は毎フレーム出力する。
　本例では、固定カメラの場合におけるパン・チルト情報（図中「ＰＴｘ」）は、毎フレーム出力する。
　ここで、三脚装置１０としては、パン・チルトセンサを備えないものもある。本例では、三脚装置１０からパン・チルト情報を取得可能でない場合には、パン・チルト情報に代えて、方位検出部１６が検出する方位情報を出力する（この点は後述する）。
　また、移動装置に搭載されたカメラについて、本例では、速度情報は、位置情報と同じ頻度で出力する。なお、これはあくまで一例であり、速度情報を位置情報と同じ頻度で出力することは必須ではない。
　ハンディカメラの場合、方位情報（図中「Ｃｘ」）は、位置情報と同じ頻度で出力する。なお、この点も必須ではなく、位置情報と方位情報を異なる頻度で出力することもできる。
　位置情報、パン・チルト情報、速度情報、方位情報については、それぞれ最新に取得された値を出力する。
　なお、前述のように本例では、撮像関連情報として焦点距離の情報も出力する。本例では、焦点距離の情報については撮像装置１の使用態様に拘わらず毎フレーム出力することから、図６では図示を省略した。
　図中では、ジャイロセンサによる検出値を例示している（図中「Ｇｘ」）が、後述するように本例では、ハンディカメラであるか否かの判定に、ジャイロセンサによる検出値が用いられる。
　ここで、図６に例示されるように、本例では撮像関連情報を撮像画像のメタデータとして出力するものとしているが、これにより、後段処理において撮像画像とメタデータとの時間同期を行う必要がなくなり、よりリアルタイムにオペレータに判断を促すことが可能となる。
　図７は、上記により説明した実施形態としての撮像関連情報の出力制御を実現するための具体的な処理手順を例示したフローチャートである。この図７に示す処理は、撮像装置１における制御部１３が、撮像画像のフレーム周期で繰り返し実行する。
　なお、固定カメラについては、配置位置が既知であることが殆どであり、情報処理装置５には該既知の配置位置を示す位置情報を固定カメラの位置情報として設定すれば、上述のように最初のフレームに位置情報を付加する必要はない。このため、図７（及び後述する図８も含む）では、固定カメラの場合に位置情報を一切出力しない場合の処理を例示する。
　また、本例では、焦点距離の情報は前述のように撮像装置１の使用態様に拘わらず毎フレーム出力すればよいため、図７（及び図８）では、焦点距離の出力に係る処理については図示を省略している。
　先ず、制御部１３はステップＳ１０１の位置情報取得処理として、位置検出部１５が検出した位置情報を取得する処理を行い、続くステップＳ１０２の動き情報取得処理として、動き検出部１４における加速度センサ、ジャイロセンサが検出する加速度、角速度を取得する処理を行う。
　そして、制御部１３は続くステップＳ１０３で、動き情報の解析処理を行う。具体的には、フーリエ変換等を用いて加速度、角速度についての波形分析を行うことにより、揺れ幅や揺れの周期を解析する。
　ステップＳ１０３に続くステップＳ１０４で制御部１３は、ステップＳ１０３での解析結果に基づき、ハンディカメラか否かの判定を行う。なお、ハンディカメラか否の判定にあたっては、少なくとも加速度、角速度の何れか一方の波形分析を行えばよい。
　ステップＳ１０４において、ハンディカメラであると判定した場合、制御部１３はステップＳ１０５に進んで方位情報を取得する処理、すなわち、方位検出部１６が検出した方位情報を取得する処理を行い、続くステップＳ１０６で位置情報及び方位情報を出力する処理を行って、図７に示す一連の処理を終える。
　このような処理により、ハンディカメラの場合には、位置情報と方位情報が毎フレーム出力される。
　一方、ステップＳ１０４においてハンディカメラではないと判定した場合、制御部１３はステップＳ１０７に進んで、移動量が所定量以上か否かを判定する。すなわち、位置検出部１５により取得した位置情報として、最新に取得した位置情報とそれよりも前に取得した位置情報（例えば最新の一つ前の位置情報）とから求めた移動量が所定量以上であるか否かを判定する。移動量が所定量未満であれば固定カメラと判定でき、移動量が所定量以上あれば移動装置に搭載されたカメラと判定できる。
　移動量が所定量以上でないと判定した場合、制御部１３はステップＳ１０８に処理を進めて固定カメラの場合に対応した処理を実行する。
　先ず、ステップＳ１０８で制御部１３は、パン・チルト情報を取得可能か否かを判定する。例えば、三脚装置１０からのパン・チルト情報を示す信号入力があるか否かを判定する。或いは、全ての三脚装置１０がパン・チルトセンサを備えていることが保証されているシステムにおいて、三脚装置１０に取り付けられた状態であるか否かを検知するためのスイッチがある場合には、該スイッチのオン／オフ状態に基づいてパン・チルト情報を取得可能か否かを判定することもできる。
　ステップＳ１０８において、パン・チルト情報を取得可能と判定した場合、制御部１３はステップＳ１０９に進んで三脚装置１０よりパン・チルト情報を取得した上で、ステップＳ１１０でパン・チルト情報を出力する処理を行い、図７に示す一連の処理を終える。
　一方、パン・チルト情報を取得可能でないと判定した場合、制御部１３はステップＳ１１１に進んで方位検出部１６より方位情報を取得した上で、ステップＳ１１２で方位情報を出力する処理を行い、図７に示す一連の処理を終える。
　このように固定カメラであると判定された場合には、パン・チルト情報を取得可能であればパン・チルト情報が毎フレーム出力され、パン・チルト情報を取得不能であれば、方位情報が毎フレーム出力される。
　また、先のステップＳ１０７で移動量が所定量以上であると判定した場合、制御部１３はステップＳ１１３に進み、前回の情報出力から一定時間以上経過しているか否かを判定する。例えば、図６で例示したように移動装置に搭載されたカメラについて３フレームごとの情報出力を行う場合には、前回の情報出力から２フレーム分以上の時間が経過したか否かを判定する。
　前回の情報出力から一定時間以上経過していなければ、制御部１３は図７に示す一連の処理を終える。
　一方、前回の情報出力から一定時間以上経過していれば、制御部１３はステップＳ１１４に進んで速度情報を取得した上で、ステップＳ１１５で位置情報及び速度情報を出力する処理を行い、図７に示す一連の処理を終える。
　このように移動装置に搭載されたカメラについては、複数フレームに１度の頻度で位置情報及び速度情報が出力される。
　なお、搭載しているジャイロ等のセンサによって、個々にばらつきがあることが考えられるが、そのようなばらつきを示す値をカメラ内で予め保持しておくことで、現場でのキャリブレーション等の煩雑な操作を省くことができる。内臓センサでなくても、個々のセンサのキャリブレーションデータを予め保持しておけば、カメラ内でセンサ値を正確に扱うことも可能である。
　上記のように制御部１３は、撮像装置１がハンディカメラ、固定カメラ、移動装置に搭載されたカメラの何れに該当するかを判定しているが、この判定結果を示す情報（例えば、フラグ情報）を、撮像関連情報として撮像画像データと共に出力することも可能である。
　これにより情報処理装置５側では、マルチモニタ７上にそれぞれの撮像装置１がハンディカメラ、固定カメラ、移動装置に搭載されたカメラの何れに該当するかを示す情報を表示させることができる。
　なお、固定カメラか否かの判定は、三脚装置１０に対する接続判定により行うこともできる。
　図８のフローチャートは、その場合の処理例を示している。なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号、同一ステップ番号を付して説明を省略する。
　図８において、この場合の制御部１３は、先ずステップＳ２０１で、三脚に接続されているか否かを判定する。この判定は、全ての三脚装置１０がパン・チルトセンサを備えていることが保証されているシステムであれば、三脚装置１０からのパン・チルト情報を示す信号入力があるか否かの判定として行うことができる。或いは、三脚装置１０に取り付けられた状態であるか否かを検知するためのスイッチがある場合には、該スイッチのオン／オフ状態を判定する処理として行うこともできる。
　三脚に接続されていると判定した場合、制御部１３はステップＳ１０８に処理を進める。なお、ステップＳ１０８以降、ステップＳ１１２までの処理は、図７で固定カメラについての処理として説明したものと同様となるため、重複説明は避ける。
　一方、三脚に接続されていないと判定した場合、制御部１３はステップＳ１０１に処理を進める。ステップＳ１０１からＳ１０６の処理については、図７で説明済みであるため重複説明は避ける。
　この場合は、ステップＳ１０４でハンディカメラでないと判定された場合は、移動装置に搭載されたカメラであると判定可能なため、図示のようにステップＳ１１３に処理を進める。すなわち図７で説明した、移動装置に搭載されたカメラに対応する処理を実行する。
　上記のように固定カメラか否かの判定を三脚装置１０に対する接続判定により行うことで、固定カメラであるか否かの判定にあたって撮像装置１の動き情報を取得したり動き情報の波形解析等の解析処理を行う必要がなくなる。
　従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
［2-2．通知表示］

　ハンディカメラについて、移動後に停止したものは、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了したカメラであると推定できる。
　そこで本実施形態では、ハンディカメラとしての撮像装置１が移動後に停止したか否かを判定し、該判定の結果に基づき、移動後に停止したと判定された撮像装置１を通知する表示処理を行う。具体的には、例えば図５に示した撮像状態マップにおいて、該当する撮像装置１についてのカメラアイコンＣ及び／又は撮像範囲Ｒｉのアイコンを点滅表示させたり赤色等の特定色で表示させたりする等、該当する撮像装置１を目立たせる（強調させる）ための表示処理を行う。
　図９は、このような通知表示を実現するために撮像装置１の制御部１３が実行すべき具体的な処理手順を例示したフローチャートである。
　なお、制御部１３は、図９に示す処理と並行して、図７に示した撮像関連情報の出力制御のための処理を実行しているとする。
　先ず、制御部１３はステップＳ３０１で、ハンディと判定中か否か、すなわち、図７に示した処理（ステップＳ１０４参照）においてハンディカメラであると判定されている状態であるか否かを判定する。ハンディと判定中でないと判定した場合、制御部１３は図９に示す一連の処理を終える。すなわち、ハンディカメラと判定中でない場合には、以下で説明する移動後の停止判定のための処理は実行されない。
　一方、ハンディと判定中であると判定した場合、制御部１３はステップＳ３０２に進み、移動中フラグがＯＮであるか否かを判定する。移動中フラグは、制御部１３が位置検出部１５により検出される位置情報に基づき生成するフラグであり、撮像装置１が移動中であるか否かを示す。具体的には、ＯＮが移動中を、ＯＦＦが移動中でないことを示す。
　移動中フラグがＯＮでなければ、制御部１３は図９に示す一連の処理を終える。
　移動中フラグがＯＮであれば、制御部１３はステップＳ３０３に進んで停止したか否かを判定する。すなわち、位置検出部１５により検出される位置情報に基づき、撮像装置１が停止したか否かを判定する。
　撮像装置１が停止していないと判定した場合、制御部１３は図９に示す一連の処理を終える。
　撮像装置１が停止したと判定した場合、制御部１３はステップＳ３０４に進んで強調フラグ情報を出力する。すなわち、自装置としての撮像装置１の強調表示を指示するフラグ情報を撮像画像データのメタデータとして付加し、通信部１７に出力させる。
　これにより、ハンディカメラと判定中の撮像装置１について、移動後に停止したことが判定された場合には、当該撮像装置１の強調表示を情報処理装置５に対し指示することができる。
　ステップＳ３０４に続くステップＳ３０５で制御部１３は、移動中フラグをＯＦＦとし、その後、図９に示す一連の処理を終える。
　図示は省略するが、情報処理装置５は、強調フラグ情報を受信した場合は、該強調フラグ情報の出力元の撮像装置１をマルチモニタ７上で強調表示させるための表示処理を実行する。具体的には、前述したような撮像状態マップ上での強調表示を実現するための表示処理を行う。
　これにより、移動後に停止したハンディカメラとしての撮像装置１をオペレータとしてのユーザに通知することができる。
　上記では、ハンディカメラが移動後に停止したか否かの判定を撮像装置１側で行う例を挙げたが、該判定は、撮像装置１が出力する撮像関連情報に基づいて、情報処理装置５側で行うこともできる。
　図１０は、その場合に情報処理装置５のＣＰＵ２１が実行すべき具体的な処理手順を例示したフローチャートである。
　先ず、ＣＰＵ２１はステップＳ４０１で、ハンディカメラか否かを判定する。この判定処理は、前述したようにハンディカメラ、固定カメラ、移動装置に搭載されたカメラの何れであるかの判定結果を示す情報を撮像装置１が撮像関連情報として出力する場合には、該判定結果を示す情報に基づいて行うことができる。或いは、該判定結果を示す情報が撮像関連情報として出力されない場合には、撮像装置１が撮像関連情報として動き検出部１４により検出された動き情報を出力するようにし、動き情報の解析結果に基づく判定処理として行えばよい。
　ハンディカメラでないと判定した場合、ＣＰＵ２１は図１０に示す一連の処理を終える。
　ハンディカメラであると判定した場合、ＣＰＵ２１はステップＳ４０２に進み、移動が停止したカメラか否かを判定する。この判定処理は、撮像装置１から撮像関連情報として出力される位置情報に基づいて、例えば先のステップＳ３０２及びＳ３０３で説明した手法と同様の手法により行うことができる。
　移動が停止したカメラでないと判定した場合、ＣＰＵ２１は図１０に示す一連の処理を終える。
　一方、移動が停止したカメラであると判定した場合、ＣＰＵ２１はステップＳ４０３に進み、当該カメラの強調表示を行う。すなわち、該当する撮像装置１をマルチモニタ７上で強調表示させるための表示処理を行う。
　ＣＰＵ２１は、ステップＳ４０３の処理を実行したことに応じ、図１０に示す一連の処理を終える。
　なお、上記では、撮像状態マップとしての、撮像装置１の位置や向きを示す画像上で移動後に停止したハンディカメラを強調表示することで、該ハンディカメラを通知する例を挙げたが、例えば、マルチモニタ７上に各撮像装置１からの撮像画像を同時に表示している場合には、該当するハンディカメラからの撮像画像を強調表示する（例えば、画像の縁に枠表示を行う等）こともできる。このようにした場合も、オペレータが該当するハンディカメラを把握可能である。すなわち、移動後に停止したハンディカメラを通知する表示が行われることに変わりはない。
　ここで、これまでの説明では、撮像関連情報に基づく情報の表示処理を行う情報処理装置５が、各撮像装置１からの撮像画像をスイッチャ３経由で入力する例を挙げたが、図１１に例示する情報処理システム１００Ａのように、情報処理装置５に対し各撮像装置１からの撮像画像を直接入力する構成を採ることも可能である。
＜３．変形例＞

　ここで、上記では、撮像装置１の使用態様の判定をセンサの検出情報に基づき判定する例を挙げたが、撮像装置１の使用態様の判定は、使用態様の計画情報に基づいて判定することもできる。放送システムにおいては、撮像装置１ごとにその使用態様の計画情報が設定されることがある。そのような場合には、該計画情報に示される使用態様の情報（本例では固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの別を表す）に基づき、使用態様を判定することもできる。
　なお、使用態様の判定は、計画情報とセンサ情報の双方に基づいて行うことも可能である。例えば、計画情報に基づく判定とセンサ情報に基づく判定の双方の結果が一致することを条件とした判定とすることが考えられる。
　また、上記では、移動装置に搭載されたカメラについて、速度情報と共に位置情報を出力する例を挙げたが、位置情報を出力しないようにすることもできる。この場合には、ハンディカメラについては位置情報を出力するが、移動装置に搭載されたカメラについては位置情報を出力せず速度情報を出力することになる。
　また、移動装置に搭載されたカメラについては、方位情報を出力してもよいし、取得可能であればパン・チルト情報を出力してもよい。
　また、上記では、スイッチャ３から送出機４に出力する撮像画像の選択操作（カメラ選択操作）を操作卓６に対する操作として受け付ける場合を例示したが、マルチモニタ７が画面に対するタッチ操作を検出するタッチパネルを有するものである場合には、画面に対するタッチ操作をカメラ選択操作として受け付けるようにしてもよい。例えば、図５に示したような撮像状態マップにおけるカメラアイコンＣのタッチ操作をカメラ選択操作として受け付けることが考えられる。
　また、上記では、撮像装置１が撮像画像を収録機２に出力する例を挙げたが、撮像画像は、撮像装置１からＣＣＵ（Camera Control Unit）を介して収録機２に出力することもできる。そのような構成を採った場合は、撮像関連情報についても、ＣＣＵから収録機２に出力されるようにすることができるが、この場合には、ＣＣＵが撮像関連情報の出力制御を行う構成とすることもできる。すなわち、撮像関連情報の出力制御を実行する主体は、撮像装置１に限定されるものではない。
＜４．実施形態のまとめ＞

　上記のように実施形態としての制御装置（撮像装置１）は、撮像装置の使用態様を判定する判定部（制御部１３：ステップＳ１０４、Ｓ１０７、Ｓ２０１等参照）と、判定部により判定された使用態様に基づいて撮像装置に関する撮像関連情報の出力制御を行う制御部（制御部１３：図７のステップＳ１０４以降、図８のステップＳ１０８以降及びＳ１０４以降の処理を参照）と、を備えている。
　前述のように撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置の位置（撮像視点の位置に相当する）を示す情報、焦点距離の情報、撮像方向を示す情報、撮像装置に作用する加速度や角速度等の撮像装置の動きを示す情報、撮像装置の移動速度の情報、等を挙げることができる。また、撮像装置の使用態様の例としては、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラ等の使用態様を挙げることができる。上記のように撮像装置の使用態様に基づいて撮像関連情報の出力制御を行うことで、例えば、移動が行われない固定カメラの場合には、カメラの位置情報としての撮像関連情報を出力せず、移動が想定されるハンディカメラの場合にはカメラの位置情報としての撮像関連情報を出力する等、カメラの使用態様に応じて、不要とされる情報を出力しないように制御することが可能となる。或いは、カメラの使用態様に応じて、出力する撮像関連情報の種類を変化させるといったことも可能となる。
　従って、撮像関連情報に関して、通信データ量の削減、及び情報記憶に用いられるメモリ容量の削減を図るような出力を行ったり、撮像装置の使用態様に応じた適切な種類の情報を出力したりする等、撮像関連情報の出力を適切な態様で行うことができる。
　また、実施形態としての制御装置においては、判定部は、使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行っている。
　例えば、撮像関連情報として撮像装置の位置情報を出力する場合において、固定カメラは、位置が固定であるため、基本的には位置情報の出力は不要であるのに対し、ハンディカメラは、カメラマンが持って移動している可能性が高くその位置の確認は高頻度で行われるべきであって位置情報の出力頻度を高めることが要請される。このように固定カメラとハンディカメラとでは、特定の撮像関連情報について、その出力態様を変化させるべき場合がある。
　従って、上記のように固定カメラとハンディカメラの何れであるかの判定を行うことで、撮像関連情報の出力制御として、撮像装置の使用態様に応じた適切な出力制御を行うことができる。
　さらに、実施形態としての制御装置においては、判定部は、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定している。
　これにより、位置が非固定のカメラの使用態様として、ハンディカメラ、移動装置に搭載されたカメラの何れであるかが判定される。
　従って、ハンディカメラと移動装置に搭載されるカメラとで撮像関連情報の出力態様を変化させるべき場合に対応して、カメラ使用態様の適切な場合分けを行うことができる。
　さらにまた、実施形態としての制御装置においては、制御部は、判定部により固定カメラと判定された場合は、ハンディカメラと判定された場合よりも撮像関連情報の出力頻度を低下させている。
　例えば、固定カメラの場合には位置情報の出力を不要とすることが可能である等、固定カメラについては、撮像関連情報の出力頻度を低下させても、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
　従って、上記のように固定カメラの場合はハンディカメラの場合よりも撮像関連情報の出力頻度を低下させることで、撮像関連情報を用いるアプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
　また、実施形態としての制御装置においては、制御部は、判定部により移動装置に搭載されたカメラと判定された場合は、撮像関連情報の出力頻度を、固定カメラと判定された場合よりも高くハンディカメラと判定された場合よりも低くしている。
　例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように撮像関連情報を頻繁に出力せずとも、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
　従って、上記のような出力頻度の制御を行うことで、撮像関連情報を用いるアプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
　さらに、実施形態としての制御装置においては、判定部は、センサの検出情報に基づいて前記使用態様を判定している。
　例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサや撮像装置の位置を検出する位置センサ等の検出情報に基づいてカメラの使用態様を判定する。
　撮像装置の動きや位置等、撮像装置の状態をセンサにより実際に検出して使用態様を判定できるため、判定精度を高めることができる。
　さらにまた、実施形態としての制御装置においては、判定部は、撮像装置の動きを検出する動きセンサの検出情報に基づいて使用態様を判定している。
　例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサの検出情報に基づいて使用態様を判定する。これにより、例えば手ブレによるカメラの動き等、ハンディカメラに特有の動きの特徴を検出可能となる。
　従って、ハンディカメラとしての使用態様か否かの判定に好適である。
　また、実施形態としての制御装置においては、判定部は、撮像装置の位置を検出する位置センサの検出情報に基づいて使用態様を判定している。
　これにより、カメラ位置の変化態様に基づいた使用態様の判定を行うことが可能となる。
　従って、固定カメラとしての使用態様であるか否かや、移動装置に搭載されたカメラであるか否かの判定に好適である。
　さらに、実施形態としての制御装置においては、撮像関連情報は撮像装置の位置情報を含んでいる。
　これにより、撮像関連情報として位置情報を出力することが可能とされ、撮像関連情報を用いるアプリケーションとして、オペレータ等のユーザにカメラ位置を例えばマップ上等で示すアプリケーションを実現可能となる。
　従って、どのカメラの撮像画像を選択すべきかをユーザに直感的に理解させることができる利便性の高いアプリケーションを実現することができる。
　さらにまた、実施形態としての制御装置においては、制御部は、判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させている。
　これにより、カメラの使用態様に応じた適切な種類の撮像関連情報を出力することが可能となる。
　従って、撮像関連情報を用いるアプリケーションとして、カメラの使用態様に応じた適切な情報をユーザに提示する利便性の高いアプリケーションを実現することができる。
　また、実施形態としての制御装置においては、判定部は、使用態様の判定として、少なくとも移動装置に搭載されたカメラとしての使用態様か否かの判定を行い、制御部は、判定部により移動装置に搭載されたカメラと判定された場合は、撮像関連情報として撮像装置の速度情報を出力する処理を行っている。
　例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
　従って、移動装置に搭載されたカメラについて、位置情報の出力頻度を低くした場合にアプリケーション側でカメラ位置の推定精度が低下することの抑制を図ることができ、アプリケーションの機能が損なわれることの防止を図ることができる。
　さらに、実施形態としての制御装置においては、制御部は、撮像装置を少なくともパン方向に回転可能に固定する固定装置から撮像装置のパン情報を取得可能な場合は、撮像関連情報としてパン情報を出力する処理を行い、固定装置からパン情報を取得不能な場合は、撮像関連情報として撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行っている。
　これにより、パン情報を取得不能な場合には、パン情報の代替情報としての方位情報が出力される。
　従って、撮像関連情報を用いるアプリケーションとして、パン情報が取得不能な場合であってもユーザにカメラ向きを例えばマップ上等で示すアプリケーションを実現可能となり、利便性を高めることができる。
　さらにまた、実施形態としての制御装置においては、判定部は、固定カメラとしての使用態様であるか否かの判定を、撮像装置を固定する固定装置に対する撮像装置の接続判定により行っている。
　これにより、固定カメラであるか否かの判定にあたって撮像装置の動き情報を取得したり動き情報の波形解析等の解析処理を行う必要がなくなる。
　従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
　また、実施形態としての制御装置においては、判定部は、撮像装置ごとに設定された使用態様の計画情報に基づいて使用態様を判定している。
　これにより、使用態様の判定にあたって撮像装置の動き情報や位置情報を取得したり、動き情報や位置情報についての解析処理を行う必要がなくなる。
　従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
　実施形態としての制御方法は、撮像装置の使用態様を判定し、判定した使用態様に基づいて撮像装置に関する撮像関連情報の出力制御を行う制御方法である。
　このような実施形態としての制御方法によっても、上記した実施形態としての制御装置と同様の作用及び効果を得ることができる。
　実施形態の情報処理システムは、撮像装置の使用態様を判定する判定部と、判定部により判定された使用態様に基づいて撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置（撮像装置１）と、制御部の出力制御により出力された撮像関連情報に基づく情報の表示処理を行う表示処理部（ＣＰＵ２１）を有した情報処理装置（同５）と、を備えたものである。
　このような実施形態としての情報処理システムによっても、上記した実施形態としての制御装置と同様の作用及び効果を得ることができる。
　また、実施形態の情報処理システムにおいては、撮像装置が移動後に停止したか否かを判定する停止判定部（制御部１３、又はＣＰＵ２１：図９、図１０を参照）を備え、表示処理部は、停止判定部により移動後に停止したと判定された撮像装置を通知する表示処理を行っている。
　移動後に停止した撮像装置は、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了した撮像装置であると推定できる。
　従って、上記のように移動後に停止した撮像装置を通知する表示処理を行うことで、どのカメラの撮像画像を選択すべきかをユーザ直感的に理解させることができる、利便性の高いアプリケーションを実現することができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜５．本技術＞

　なお本技術は以下のような構成も採ることができる。
（１）
　撮像装置の使用態様を判定する判定部と、
　前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を備える
　制御装置。
（２）
　前記判定部は、
　前記使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行う
　前記（１）に記載の制御装置。
（３）
　前記判定部は、
　固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定する
　前記（２）に記載の制御装置。
（４）
　前記制御部は、
　前記判定部により前記固定カメラと判定された場合は、前記ハンディカメラと判定された場合よりも前記撮像関連情報の出力頻度を低下させる
　前記（２）又は（３）に記載の制御装置。
（５）
　前記制御部は、
　前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報の出力頻度を、前記固定カメラと判定された場合よりも高く前記ハンディカメラと判定された場合よりも低くする
　前記（３）に記載の制御装置。
（６）
　前記判定部は、
　センサの検出情報に基づいて前記使用態様を判定する
　前記（１）から（５）の何れかに記載の制御装置。
（７）
　前記判定部は、
　前記撮像装置の動きを検出する動きセンサの検出情報に基づいて前記使用態様を判定する
　前記（６）に記載の制御装置。
（８）
　前記判定部は、
　前記撮像装置の位置を検出する位置センサの検出情報に基づいて前記使用態様を判定する
　前記（６）又は（７）に記載の制御装置。
（９）
　前記撮像関連情報は前記撮像装置の位置情報を含む
　前記（１）から（８）の何れかに記載の制御装置。
（１０）
　前記制御部は、
　前記判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させる
　前記（１）から（９）の何れかに記載の制御装置。
（１１）
　前記判定部は、
　前記使用態様の判定として、少なくとも移動装置に搭載されたカメラとしての使用態様か否かの判定を行い、
　前記制御部は、
　前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報として前記撮像装置の速度情報を出力する処理を行う
　前記（１０）に記載の制御装置。
（１２）
　前記制御部は、
　前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う
　前記（１）から（１１）の何れかに記載の制御装置。
（１３）
　前記判定部は、
　前記固定カメラとしての使用態様であるか否かの判定を、前記撮像装置を固定する固定装置に対する前記撮像装置の接続判定により行う
　前記（２）から（５）の何れかに記載の制御装置。
（１４）
　前記判定部は、
　前記撮像装置ごとに設定された前記使用態様の計画情報に基づいて前記使用態様を判定する
　前記（１）から（１３）の何れかに記載の制御装置。
（１５）
　撮像装置の使用態様を判定し、
　判定した前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う
　制御方法。
（１６）
　撮像装置の使用態様を判定する判定部と、
　前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置と、
　前記制御部の出力制御により出力された前記撮像関連情報に基づく情報の表示処理を行う表示処理部を有した情報処理装置と、を備える
　情報処理システム。
（１７）
　前記撮像装置が移動後に停止したか否かを判定する停止判定部を備え、
　前記表示処理部は、
　前記停止判定部により移動後に停止したと判定された前記撮像装置を通知する表示処理を行う
　前記（１６）に記載の情報処理システム。
　１　撮像装置
　２　収録機
　３　スイッチャ
　４　送出機
　５　情報処理装置
　６　操作卓
　７　マルチモニタ
　１０　三脚装置
　１１　撮像部
　１２　画像処理部
　１３　制御部
　１４　動き検出部
　１５　位置検出部
　１６　方位検出部
　１７　通信部
　１８　バス
　２１　ＣＰＵ
　２２　ＲＯＭ
　２３　ＲＡＭ
　２４　バス
　２５　入出力インタフェース
　２６　表示制御部
　２７　記憶部
　２８　通信部
　Ｃ　カメラアイコン
　Ｒｉ　撮像範囲
　Ｏｂ　オブジェクト

Claims (17)

  1. 　撮像装置の使用態様を判定する判定部と、
    　前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を備える
    　制御装置。
  2. 　前記判定部は、
    　前記使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行う
    　請求項１に記載の制御装置。
  3. 　前記判定部は、
    　固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定する
    　請求項２に記載の制御装置。
  4. 　前記制御部は、
    　前記判定部により前記固定カメラと判定された場合は、前記ハンディカメラと判定された場合よりも前記撮像関連情報の出力頻度を低下させる
    　請求項２に記載の制御装置。
  5. 　前記制御部は、
    　前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報の出力頻度を、前記固定カメラと判定された場合よりも高く前記ハンディカメラと判定された場合よりも低くする
    　請求項３に記載の制御装置。
  6. 　前記判定部は、
    　センサの検出情報に基づいて前記使用態様を判定する
    　請求項１に記載の制御装置。
  7. 　前記判定部は、
    　前記撮像装置の動きを検出する動きセンサの検出情報に基づいて前記使用態様を判定する
    　請求項６に記載の制御装置。
  8. 　前記判定部は、
    　前記撮像装置の位置を検出する位置センサの検出情報に基づいて前記使用態様を判定する
    　請求項６に記載の制御装置。
  9. 　前記撮像関連情報は前記撮像装置の位置情報を含む
    　請求項１に記載の制御装置。
  10. 　前記制御部は、
    　前記判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させる
    　請求項１に記載の制御装置。
  11. 　前記判定部は、
    　前記使用態様の判定として、少なくとも移動装置に搭載されたカメラとしての使用態様か否かの判定を行い、
    　前記制御部は、
    　前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報として前記撮像装置の速度情報を出力する処理を行う
    　請求項１０に記載の制御装置。
  12. 　前記制御部は、
    　前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う
    　請求項１に記載の制御装置。
  13. 　前記判定部は、
    　前記固定カメラとしての使用態様であるか否かの判定を、前記撮像装置を固定する固定装置に対する前記撮像装置の接続判定により行う
    　請求項２に記載の制御装置。
  14. 　前記判定部は、
    　前記撮像装置ごとに設定された前記使用態様の計画情報に基づいて前記使用態様を判定する
    　請求項１に記載の制御装置。
  15. 　撮像装置の使用態様を判定し、
    　判定した前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う
    　制御方法。
  16. 　撮像装置の使用態様を判定する判定部と、
    　前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置と、
    　前記制御部の出力制御により出力された前記撮像関連情報に基づく情報の表示処理を行う表示処理部を有した情報処理装置と、を備える
    　情報処理システム。
  17. 　前記撮像装置が移動後に停止したか否かを判定する停止判定部を備え、
    　前記表示処理部は、
    　前記停止判定部により移動後に停止したと判定された前記撮像装置を通知する表示処理を行う
    　請求項１６に記載の情報処理システム。
PCT/JP2020/034908 2019-12-03 2020-09-15 制御装置、制御方法、情報処理システム WO2021111700A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20896469.2A EP4057617A4 (en) 2019-12-03 2020-09-15 CONTROL DEVICE, CONTROL METHOD AND INFORMATION PROCESSING SYSTEM
JP2021562460A JP7513035B2 (ja) 2019-12-03 2020-09-15 制御装置、制御方法、情報処理システム
US17/756,477 US11805314B2 (en) 2019-12-03 2020-09-15 Control device, control method, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-218960 2019-12-03
JP2019218960 2019-12-03

Publications (1)

Publication Number Publication Date
WO2021111700A1 true WO2021111700A1 (ja) 2021-06-10

Family

ID=76221022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/034908 WO2021111700A1 (ja) 2019-12-03 2020-09-15 制御装置、制御方法、情報処理システム

Country Status (4)

Country Link
US (1) US11805314B2 (ja)
EP (1) EP4057617A4 (ja)
JP (1) JP7513035B2 (ja)
WO (1) WO2021111700A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11743589B2 (en) * 2021-02-10 2023-08-29 AuTurn Device for autonomous tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09289606A (ja) 1996-04-23 1997-11-04 Canon Inc 画像表示装置およびカメラ制御装置
JP2008054155A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd 画像合成装置
WO2008032739A1 (fr) * 2006-09-12 2008-03-20 Panasonic Corporation Dispositif de formation d'image de contenu
JP2012165350A (ja) * 2011-01-21 2012-08-30 Panasonic Corp 撮像装置
WO2018051731A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法
JP2018097870A (ja) * 2016-12-08 2018-06-21 株式会社モルフォ 画像処理装置、電子機器、画像処理方法及びプログラム
JP2019140460A (ja) * 2018-02-07 2019-08-22 京セラ株式会社 電子機器、制御方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5251942B2 (ja) 2010-09-09 2013-07-31 株式会社ニコン 交換レンズ
JP5896181B2 (ja) * 2014-01-23 2016-03-30 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09289606A (ja) 1996-04-23 1997-11-04 Canon Inc 画像表示装置およびカメラ制御装置
JP2008054155A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd 画像合成装置
WO2008032739A1 (fr) * 2006-09-12 2008-03-20 Panasonic Corporation Dispositif de formation d'image de contenu
JP2012165350A (ja) * 2011-01-21 2012-08-30 Panasonic Corp 撮像装置
WO2018051731A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法
JP2018097870A (ja) * 2016-12-08 2018-06-21 株式会社モルフォ 画像処理装置、電子機器、画像処理方法及びプログラム
JP2019140460A (ja) * 2018-02-07 2019-08-22 京セラ株式会社 電子機器、制御方法およびプログラム

Also Published As

Publication number Publication date
EP4057617A4 (en) 2023-04-12
JP7513035B2 (ja) 2024-07-09
JPWO2021111700A1 (ja) 2021-06-10
US20220417431A1 (en) 2022-12-29
EP4057617A1 (en) 2022-09-14
US11805314B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
EP2461567A1 (en) Control device, control method, program, and control system
US8756009B2 (en) Portable apparatus
US9667826B2 (en) Image pickup apparatus, method for controlling the same, and program for obtaining position information and direction information
CN108141533B (zh) 摄像系统、视角调整方法及非暂时有形存储介质
US8265475B2 (en) Focus-point selection system, autofocus system, and camera
US20120268621A1 (en) Imaging apparatus, azimuth recording method, and program
KR101606279B1 (ko) 촬상 장치, 촬상 방법, 및 기록 매체
WO2016002355A1 (ja) 撮影装置及び撮影方法
JP2015233250A (ja) 画像処理装置及びその制御方法
WO2021111700A1 (ja) 制御装置、制御方法、情報処理システム
US20150381886A1 (en) Camera Controlling Apparatus For Controlling Camera Operation
WO2014034023A1 (en) Image processing apparatus, image processing method, and computer program
US11431905B2 (en) Image capturing device, image capturing method, and program
JP2012090216A (ja) 撮像装置及び撮像装置の制御方法
US20220191399A1 (en) Blur detection device, imaging device, lens device, imaging device main body, blur detection method, and blur detection program
CN110058272B (zh) 电子设备、定位控制方法以及记录介质
JP5865047B2 (ja) 撮像装置、およびその制御方法、プログラム
JP2009224900A (ja) 撮影装置、撮影方法
US9800790B2 (en) Image capturing apparatus capable of detecting geomagnetism, control method, and storage medium
JP6237201B2 (ja) 撮像装置、撮像システム、撮像方法及びプログラム
US11810386B2 (en) Image capture apparatus and control method
JP6605081B2 (ja) 撮像装置、およびその制御方法、プログラム
EP3930305A1 (en) Control apparatus, control method, and program
JP2013242406A (ja) 撮像装置およびその制御方法
JP5562208B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20896469

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562460

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020896469

Country of ref document: EP

Effective date: 20220609

NENP Non-entry into the national phase

Ref country code: DE