WO2020026901A1 - 情報処理装置及びその制御方法 - Google Patents

情報処理装置及びその制御方法 Download PDF

Info

Publication number
WO2020026901A1
WO2020026901A1 PCT/JP2019/028929 JP2019028929W WO2020026901A1 WO 2020026901 A1 WO2020026901 A1 WO 2020026901A1 JP 2019028929 W JP2019028929 W JP 2019028929W WO 2020026901 A1 WO2020026901 A1 WO 2020026901A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
area
imaging device
shooting
unit
Prior art date
Application number
PCT/JP2019/028929
Other languages
English (en)
French (fr)
Inventor
伸茂 若松
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2020026901A1 publication Critical patent/WO2020026901A1/ja
Priority to US17/158,622 priority Critical patent/US20210152750A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to an information processing device and a control method thereof.
  • Patent Document 1 discloses a method in which each imaging device has gazing point position information, position information of the imaging device, direction information, and the like, and selects an image of the imaging device based on attribute information of the user.
  • an imaging apparatus technology having a pan or tilt function and having a function of automatically tracking as a specific subject has been disclosed.
  • Patent Literature 2 a control method of obtaining a difference between monitor center coordinates and subject position coordinates so that the subject is output at the center of the monitor screen, and driving a pan / tilt angle to move the subject to the center of the screen. Is disclosed.
  • an information processing apparatus capable of easily confirming a shooting area when a plurality of imaging apparatuses are linked, and a control method thereof.
  • FIG. 1 is a diagram illustrating a configuration of an imaging device according to an embodiment.
  • FIG. 2 is a diagram illustrating a system configuration of a plurality of imaging devices and an external device according to the embodiment.
  • FIG. 2 is a diagram illustrating a configuration of an external device according to the embodiment.
  • FIG. 3 is a diagram illustrating a remote control setting mode of the application according to the embodiment.
  • FIG. 3 is a diagram illustrating a remote control setting mode of the application according to the embodiment.
  • FIG. 3 is a diagram illustrating a remote control setting mode of the application according to the embodiment.
  • FIG. 3 is a diagram illustrating a remote control setting mode of the application according to the embodiment.
  • FIG. 3 is a diagram illustrating a remote control setting mode of the application according to the embodiment.
  • FIG. 1 is a diagram illustrating a system configuration of a plurality of imaging devices and a smart device according to an embodiment.
  • FIG. 4 is a diagram illustrating a setting method of the imaging device according to the embodiment.
  • FIG. 3 is a diagram illustrating an application according to the embodiment.
  • FIG. 4 is a diagram illustrating a shooting area setting of an application according to the embodiment.
  • FIG. 4 is a diagram illustrating a shooting area setting of an application according to the embodiment.
  • FIG. 4 is a diagram illustrating a shooting area setting of an application according to the embodiment.
  • FIG. 4 is a diagram illustrating a shooting area setting of an application according to the embodiment.
  • FIG. 4 is a diagram illustrating a shooting area setting of an application according to the embodiment.
  • FIG. 4 is a diagram illustrating a shooting area setting of an application according to the embodiment.
  • FIG. 4 is a diagram illustrating a shooting area setting of an application according to the embodiment.
  • 6 is a flowchart illustrating setting of a shooting area of an application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of a shooting area confirmation mode of an application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of a shooting area confirmation mode of an application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of a shooting area confirmation mode of an application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an entire shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an entire shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an entire shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an entire shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an entire shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an entire shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an entire shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an individual shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an individual shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an individual shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an individual shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an individual shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an individual shooting area setting mode of the application according to the embodiment.
  • FIG. 7 is a diagram illustrating a display example of an individual shooting area setting mode of the application according to the embodiment.
  • 5 is a flowchart illustrating a photographing process according to the embodiment.
  • FIG. 4 is a diagram for describing area division in a captured image according to the embodiment.
  • FIG. 4 is a diagram for describing area division in a captured image according to the embodiment.
  • FIG. 4 is a diagram for describing area division in a captured image according to the embodiment.
  • FIG. 4 is a diagram for describing area division in a captured image according to the embodiment.
  • FIG. 1 is a diagram schematically illustrating an imaging apparatus used in a control system of a multiple-unit coordinated imaging apparatus according to the first embodiment.
  • a lens barrel 102 which is a housing including an imaging lens group and an image sensor that performs imaging, is attached to the imaging device 101, and has a rotation mechanism that can rotate the lens barrel 102 with respect to the fixed unit 103.
  • the tilt rotation unit 104 is a motor drive mechanism that can rotate the lens barrel 102 in the pitch direction shown in FIG. 1B
  • the pan rotation unit 105 is a motor drive mechanism that can rotate the lens barrel 102 in the yaw direction. Therefore, the lens barrel 102 can rotate in one or more axes.
  • FIG. 1B shows an axis definition at the position of the fixed unit 103.
  • Both the gyro 106 and the accelerometer 107 are mounted on the fixed portion 103 of the imaging device 101. Then, the vibration of the imaging device 101 is detected based on the gyro 106 and the accelerometer 107, and the tilt rotation unit and the pan rotation unit are driven to rotate based on the detected swing angle. With this configuration, the shake of the lens barrel 102, which is the movable portion, is corrected, and the tilt is corrected.
  • FIG. 2 is a block diagram illustrating a configuration of the imaging device of the present embodiment.
  • the first control unit 223 includes a processor (for example, CPU, GPU, microprocessor, MPU, etc.) and a memory (for example, DRAM, SRAM, etc.). These control various blocks of the imaging apparatus 101 by executing various processes, and control data transfer between the blocks.
  • the nonvolatile memory (EEPROM) 216 is a memory that can be electrically erased and recorded, and stores an operation constant of the first control unit 223, a program, and the like.
  • the zoom unit 201 includes a zoom lens that performs zooming.
  • the zoom drive control unit 202 controls the drive of the zoom unit 201.
  • the focus unit 203 includes a lens for performing focus adjustment.
  • the focus drive control unit 204 controls the drive of the focus unit 203.
  • the imaging element receives light incident through each lens group, and outputs charge information corresponding to the amount of light to the image processing unit 207 as analog image data.
  • the image processing unit 207 applies image processing such as distortion correction, white balance adjustment, and color interpolation processing to the digital image data output by the A / D conversion, and outputs digital image data after the application.
  • the digital image data output from the image processing unit 207 is converted into a recording format such as the JPEG format by the image recording unit 208 and transmitted to the memory 215 and a video output unit 217 described later.
  • the barrel rotation drive unit 205 drives the tilt rotation unit 104 and the pan rotation unit 105 to drive the barrel 102 in the tilt direction and the pan direction.
  • the device shake detection unit 209 includes, for example, an gyro sensor (gyro sensor) 106 that detects the angular velocities of the imaging device 101 in three axial directions and an accelerometer (acceleration sensor) 107 that detects the acceleration of the device in three axial directions. .
  • the device shake detection unit 209 calculates a rotation angle of the device, a shift amount of the device, and the like based on the detected signal.
  • the audio input unit 213 acquires an audio signal around the imaging device 101 from a microphone provided in the imaging device 101, performs analog-to-digital conversion, and transmits the analog signal to the audio processing unit 214.
  • the audio processing unit 214 performs a process related to audio such as a process of optimizing the input digital audio signal. Then, the audio signal processed by the audio processing unit 214 is transmitted to the memory 215 by the first control unit 223.
  • the memory 215 temporarily stores the image signal and the audio signal obtained by the image processing unit 207 and the audio processing unit 214.
  • the image processing unit 207 and the audio processing unit 214 read the image signal and the audio signal temporarily stored in the memory 215 and perform encoding of the image signal, encoding of the audio signal, and the like. Generate The first control unit 223 transmits the compressed image signal and the compressed audio signal to the recording / reproducing unit 220.
  • the recording / reproducing unit 220 records the compressed image signal and the compressed audio signal generated by the image processing unit 207 and the audio processing unit 214 on the recording medium 221 and other control data related to shooting. If the audio signal is not compressed and encoded, the first control unit 223 sends the audio signal generated by the audio processing unit 214 and the compressed image signal generated by the image processing unit 207 to the recording / reproducing unit 220. The data is transmitted and recorded on the recording medium 221.
  • the recording medium 221 may be a recording medium built in the imaging device 101 or a removable recording medium.
  • the recording medium 221 can record various data such as a compressed image signal, a compressed audio signal, and an audio signal generated by the imaging device 101, and a medium having a larger capacity than the nonvolatile memory 216 is generally used.
  • the recording medium 221 includes any type of recording medium such as a hard disk, an optical disk, a magneto-optical disk, a CD-R, a DVD-R, a magnetic tape, a nonvolatile semiconductor memory, and a flash memory.
  • the recording / reproducing unit 220 reads (reproduces) the compressed image signal, the compressed audio signal, the audio signal, various data, and the program recorded on the recording medium 221. Then, the first control unit 223 transmits the read compressed image signal and compressed audio signal to the image processing unit 207 and the audio processing unit 214.
  • the image processing unit 207 and the audio processing unit 214 temporarily store the compressed image signal and the compressed audio signal in the memory 215, decode the signals in a predetermined procedure, and transmit the decoded signals to the video output unit 217 and the audio output unit 218. I do.
  • the voice input unit 213 has a plurality of microphones mounted on the imaging device 101, and the voice processing unit 214 can detect the direction of sound on a plane on which the plurality of microphones are installed. Used. Further, the voice processing unit 214 detects a specific voice command.
  • the voice command may be configured so that the user can register a specific voice in the imaging device in addition to some commands registered in advance. It also performs sound scene recognition. In sound scene recognition, sound scene determination is performed by a network previously learned by machine learning based on a large amount of voice data. For example, a network for detecting a specific scene such as “cheering”, “applauding”, “speaking” and the like is set in the voice processing unit 214. When a specific sound scene or a specific voice command is detected, a detection trigger signal is output to the first control unit 223.
  • the power supply unit 210 supplies power for operating the first control unit 223.
  • the audio output unit 218 outputs a preset audio pattern from a speaker built in the imaging device 101, for example, during shooting.
  • the LED control unit 224 controls a preset lighting / flashing pattern of an LED provided in the imaging apparatus 101, for example, during shooting.
  • the video output unit 217 includes, for example, a video output terminal, and transmits an image signal to display a video on a connected external display or the like.
  • the audio output unit 218 and the video output unit 217 may be a combined terminal, for example, a terminal such as an HDMI (registered trademark) (High-Definition ⁇ Multimedia ⁇ Interface) terminal.
  • the learning processing unit 219 performs learning according to the user's preference using a neural network and a machine learning algorithm.
  • the communication unit 222 performs communication between the imaging device 101 and an external device, and transmits and receives data such as an audio signal, an image signal, a compressed audio signal, and a compressed image signal.
  • the imaging device 101 receives control commands related to imaging, such as imaging start and end commands, pan / tilt, and zoom driving, and drives the imaging device 101 based on an instruction from an external device that can communicate with the imaging device 101.
  • information such as various parameters related to learning processed by the learning processing unit 219 is transmitted or received between the imaging apparatus 101 and the external apparatus.
  • the communication unit 222 is, for example, a wireless communication module such as an infrared communication module, a Bluetooth (registered trademark) communication module, a wireless LAN communication module, a wireless USB, a GPS receiver, and the like.
  • FIG. 3 is an example of a control system of the multiple-unit cooperative imaging device.
  • the imaging devices (101 a, 101 b, 101 c, 101 d) can be wirelessly connected to a controller unit (smart device) 301 having a communication function to acquire operation instructions to the imaging device and control information from the imaging device.
  • a controller unit (smart device) 301 having a communication function to acquire operation instructions to the imaging device and control information from the imaging device.
  • the imaging devices (101a, 101b, 101c, 101d) and the smart device 301 are connected to the access point 302, communicate via the access point, and transfer information.
  • the configuration of the smart device 301 including the wireless LAN communication module will be described with reference to FIG.
  • the smart device 301 is, for example, an information processing apparatus having a public wireless control unit 406 for public wireless communication in addition to a wireless LAN control unit 401 for wireless LAN and a BLE control unit 402 for BLE.
  • the smart device 301 further includes a packet transmitting / receiving unit 403.
  • the wireless LAN control unit 401 performs a driver for performing RF control and communication processing of the wireless LAN, various kinds of control of the wireless LAN communication conforming to the IEEE 802.11 standard series, and protocol processing related to the wireless LAN communication.
  • the BLE control unit 402 performs a BLE RF control, a communication process, a driver that performs various types of control of the BLE communication, and a protocol process related to the BLE communication.
  • the public wireless control unit 406 performs RF control of public wireless communication, communication processing, a driver for performing various controls of public wireless communication, and protocol processing related to public wireless communication.
  • the public wireless communication conforms to, for example, the IMT (International Multimedia Telecommunications) standard or the LTE (Long Term Evolution) standard.
  • the packet transmission / reception unit 403 performs processing for executing at least one of transmission and reception of a packet related to wireless LAN and BLE communication and public wireless communication.
  • the smart device 301 is described as performing at least one of transmission and reception of a packet in communication.
  • other communication formats such as circuit switching may be used in addition to packet switching. Good.
  • the smart device 301 further includes, for example, a control unit 411, a storage unit 404, a GPS reception unit 405, a display unit 407, an operation unit 408, a motion data acquisition unit 409, and a power supply unit 410.
  • the control unit 411 controls the entire smart device 301, for example, by executing a control program stored in the storage unit 404.
  • the storage unit 404 stores, for example, a control program executed by the control unit 411 and various information such as parameters necessary for communication. Various operations described below are realized by the control unit 411 executing a control program stored in the storage unit 404.
  • the power supply unit 410 supplies power to the smart device 301.
  • the display unit 407 has a function of outputting visually recognizable information such as an LCD or an LED or a sound output of a speaker or the like, and displays various kinds of information.
  • the operation unit 408 is, for example, a button for receiving an operation of the smart device 301 by a user.
  • the display unit 407 and the operation unit 408 may be configured by a common member such as a touch panel.
  • the motion data acquisition unit 409 is equipped with, for example, an gyro sensor (gyro sensor) that detects the angular velocities of the smart device 301 in three axial directions.
  • an accelerometer acceleration sensor
  • a compass geomagnetic sensor
  • the control unit 411 calculates the rotation angle and the displacement (XYZ-axis movement) of the smart device 301 from the output values of the gyro sensor, the acceleration sensor, and the geomagnetic sensor.
  • an altitude sensor based on a change in the atmospheric pressure may be obtained by providing an atmospheric pressure sensor, and the acquired altitude may be used for detecting a moving amount.
  • a GPS (Global positioning system) 405 receives a GPS signal notified from a satellite, analyzes the GPS signal, and estimates the current position (longitude / latitude information) of the smart device 301.
  • the position may be estimated by using WPS (Wi-Fi Positioning System) or the like, and the current position of the smart device 301 may be estimated based on information on wireless networks existing in the vicinity.
  • WPS Wi-Fi Positioning System
  • the device 101 and the smart device 301 exchange data with the device 101 by communication using the wireless LAN control unit 401. For example, transmitting and receiving data such as an audio signal, an image signal, a compressed audio signal, and a compressed image signal, receiving shooting start information and subject detection information from the imaging device 101, and shooting the device 101 from a smart device. Or an operation instruction.
  • the smart device 301 in order to use the smart device 301 as a controller of the imaging device, information is transmitted to and received from the imaging devices (101a, 101b, 101c, 101d) via the access point 302 using the smart device as a server.
  • the configuration was adopted. However, a configuration for controlling a plurality of imaging devices by another method may be adopted.
  • Fig. 6 is an example of a diagram of transfer via a server.
  • the imaging devices (101 a, 101 b, 101 c, 101 d) wirelessly connect to the server 602 via the access point 302 to transfer information.
  • the PC 603 connects to the server via the access point 601, and acquires information transferred by the imaging devices (101a, 101b, 101c, 101d) to the server.
  • the imaging device and the PC are connected to the server via different access points, but may be connected via the same access point.
  • the connection between the PC and the server is not limited to wireless, but may be wired.
  • connection of the imaging device is not limited to wireless, but may be wired, and the imaging device may be operated while supplying power using Power over Ethernet (PoE).
  • PoE Power over Ethernet
  • Imaging device arrangement setting method> A case is considered in which a plurality of image pickup apparatuses are fixedly installed, and the image pickup apparatuses perform automatic framing shooting in conjunction with the tilt rotation unit 104, the pan rotation unit 105, and the zoom unit 201 while driving and controlling them. In this case, it is necessary to grasp the arrangement information of each imaging device and the angle information of the imaging device in the optical axis direction.
  • a dedicated application for controlling a plurality of imaging devices is prepared in the smart device 301. By simply registering the installation position of the imaging device using an application, the user can perform framing control in conjunction with a plurality of imaging devices during shooting.
  • the imaging devices 101a, 101b, 101c, 101d, and 101e are installed at appropriate places.
  • the user 700 starts an application in the smart device 301.
  • FIG. 8 shows an example of a screen when the application is activated. Tap the imaging device arrangement setting tab 801 to transit to the imaging device arrangement setting screen.
  • FIG. 9 shows an imaging device arrangement setting screen. The user 700 moves to the place where the imaging device 101a is installed, brings the imaging device 101a and the smart device 301 as close as possible, and taps the imaging device registration set button 901 (FIG. 7).
  • the user moves to a place where each of the imaging devices 101b, 101c, 101d, and 101e is installed, brings the imaging device and the smart device 301 as close as possible, taps the imaging device registration set button 901, and Acquire the arrangement information of the imaging device.
  • the registered position of the imaging device is such that the installation position of the imaging device can be confirmed on the display unit 903, and the arrangement position of the imaging device viewed from above in the direction of gravity is displayed by default.
  • the registration is performed by moving from 101d to the position of 101e.
  • the number of registered imaging devices is 101a, 101b, 101c, and 101d, so the number of registered imaging devices 902 is displayed as "4".
  • the registered imaging device number display 902 changes from “4” to “5”. Further, as the installation position of the imaging device, a new imaging device position 904 of 101e is additionally displayed on the display unit 903.
  • the imaging device registration set 801 is tapped at a position as close as possible to the first imaging device 101a, the XYZ coordinates at that position are registered first as (0, 0, 0). Then, it moves to the set position of the next imaging device and registers the next imaging device.
  • the gyro sensor, the acceleration sensor, and the azimuth sensor in the smart device 301 indicate the moving distance from the position based on the first registered coordinates (0, 0, 0) to the next tap on the imaging device registration set button 901.
  • the arrangement position is registered by calculating from the above.
  • GPS information in the smart device may be used, or GPS may be provided in the imaging device.
  • a method of detecting a moving position using a method of estimating a current position by three-point positioning from a difference in radio wave intensity received from a plurality of wireless communications may be adopted. The moving position may be calculated by using these methods together.
  • the angle of the imaging device can be calculated from the results of the acceleration sensor and the direction sensor inside the imaging device 101.
  • the angle of the imaging device 101 is determined based on the results of the acceleration sensor and the direction sensor in the smart device. May be calculated. It is assumed that the XYZ axes of the imaging apparatus 101 are defined as shown in FIG. 10A and the X′Y′Z ‘axes of the smart device 301 are defined as shown in FIG. 10B. As shown in FIGS. 10C and 10D, the imaging device registration set 801 is set after the pan / tilt angle of the imaging device 101 is set so that the orientation angle in the optical axis direction (Z direction) at the default position and the Y ′ direction of the smart device match. Tap to set the position and angle of the imaging device. Thus, it is possible to acquire the azimuth angle of the imaging device by utilizing the sensor information in the smart device without mounting the azimuth sensor in the imaging device.
  • 3Three-axis angles of the imaging device 101 can be calculated by the above method.
  • FIG. 11 shows a processing flow of the control unit 411 of the smart device 301 after the imaging device registration set button 901 is tapped.
  • step S1101 it is determined whether the number of registered imaging devices (N) is greater than 0. If N is equal to or less than 0 (that is, the number of registrations is 0), the process advances to step S1102 to change the imaging device position of the imaging device [N] (imaging device 101a). First, it is registered as an initial position (0, 0, 0). If N is greater than 0 in S1101, the relative position from the position set for the imaging device [N-1] to the current position is calculated to set the imaging device coordinates of the imaging device [N-th] in S1103. , The installation position of the imaging device [N] is registered.
  • step S1106 the coordinate position of the imaging device [N] is additionally displayed on the display unit 903 that displays the installation position of the imaging device, and the process ends.
  • FIG. 12 shows a shooting area setting screen.
  • Reference numeral 1201 denotes a display unit of the installation position of the imaging device, on which the imaging device arrangement set on the above-described imaging device arrangement setting screen is displayed. As shown in FIG. 12, the user may attach an illustration on the display screen (the illustration shows an example of a basketball court), or attach a separately prepared image taken from above.
  • Reference numeral 1202 denotes an area for displaying an actual live image of the imaging device. By tapping the installation position of the imaging device on 1201, live display of the specified imaging device can be performed. Buttons 1203, 1204, and 1205 are provided for changing modes.
  • Reference numeral 1203 denotes a mode switch for switching to a screen of a “photographing area confirmation mode”; 1204, a mode of setting the entire photographing area;
  • the arrangement of the imaging devices is displayed in 1201.
  • the imaging apparatus drives the tilt rotation unit 104, the pan rotation unit 105, and the zoom unit 201.
  • the entire area that can be photographed is displayed.
  • the color is displayed darker.
  • the distance from the imaging device as the origin to the shooting area is determined according to the maximum focal length of each imaging device. Specifically, a condition where the shooting image magnification at the maximum zoom position is equal to or more than a predetermined value is determined.
  • the radius from the imaging device arrangement position is determined.
  • the display unit 1201 at the installation position of the imaging device can be enlarged / reduced and rotated.
  • the touch screen on the 1201 is operated (pinch-in) with two fingers, the screen is reduced to a large area. You can check in.
  • an operation (pinch-out) of the touch screen on the screen 1201 is performed with two fingers (pinch-out), the screen is enlarged, and the photographing area can be confirmed (FIG. 12A ⁇ FIG. 12B shows an example of a pinch-in operation).
  • the operation of sliding the touch screen on the screen 1201 with two fingers in the same direction can change the screen display angle.
  • the screen can be rotated with the horizontal axis of the screen as a rotation axis
  • the screen can be rotated with the vertical axis of the rotation as a rotation axis (an example is shown in FIG. 12C).
  • FIG. 13A shows an example 1301 of an example in which the user specifies a shooting area in the display screen of the display unit 1201 of the installation position of the imaging device.
  • the photographing region is displayed so that the designated region is visually different from the designated region 1302 and the designated region 1303.
  • the area is displayed in an area 1302, and if it is determined that the area cannot be covered by the imaging, the area is displayed as 1303.
  • the distance from each of the arranged imaging devices is long or the regions that can be photographed by two or more imaging devices do not overlap, it is determined that the photographing cannot be covered. become.
  • the display unit 1201 of the installation position of the imaging device can be enlarged / reduced and rotated, and the touch screen on the 1201 is operated so as to be pinched with two fingers ( Pinch in) the screen is reduced, and it can be checked in a wide area.
  • the touch screen on the screen 1201 is operated (pinch out) so as to be spread with two fingers, the screen is enlarged, and the photographing area can be confirmed.
  • an operation of sliding the touch screen on the screen 1201 with two fingers in the same direction can change the screen display angle.
  • the screen by performing a sliding operation in the vertical direction, the screen can be rotated about the horizontal axis of the screen as a rotation axis, and by performing a sliding operation in the horizontal direction, the screen can be rotated about the vertical axis of the screen as a rotation axis (an example is shown in FIG. 13C).
  • the gravity direction is set as the Z axis
  • the photographing area in the XY axis range can be designated as shown in FIGS. 13A and 13B, and whether the photographing area is covered can be checked.
  • a shooting range in the Z-axis direction can also be specified.
  • FIG. 13C When the gravity direction is set as the Z axis, when the image is displayed from the Z axis direction, the photographing area in the XY axis range can be designated as shown in FIGS. 13A and 13B, and whether the photographing area is covered can be checked.
  • a shooting range in the Z-axis direction can also be specified. FIG.
  • FIG. 13D shows an example in which the user designates a shooting area in the Z-axis direction in a state where the screen is rotated to a screen angle at which the Z-axis direction can be designated as shown in FIG. 13D.
  • the area is displayed in an area 1304. If it is determined that the area cannot be covered by the imaging, the area is displayed as 1305.
  • # 1202 is an area for displaying the live video of the designated imaging device.
  • the live video of the designated imaging device is displayed on 1202.
  • a display example is shown in FIG. 13F.
  • 1201 the color or shape of the designated imaging device changes, and it is possible to confirm which imaging device is designated.
  • the display 1304 of the angle-of-view range in which the current display angle of view of the designated imaging device is known is also displayed. Even in the live video of 1202.
  • the user can specify a photographing area by a simple operation, and can visualize a region that can be covered and a region that cannot be covered.
  • a detailed shooting area can be designated for each imaging device.
  • FIG. 14A on the screen displayed on the display unit 1201 of the installation position of the imaging device, when the user taps the display position of the imaging device whose imaging area is desired to be set, a live image of the specified imaging device is displayed on 1202. You.
  • FIG. 14B shows a display example. The color or shape size of the imaging device designated in 1201 changes, and it is possible to visually confirm which imaging device is designated.
  • a display 1401 of an angle-of-view range that allows the current display angle of view of the designated imaging device to be understood is also displayed.
  • a shooting area is specified on the display screen.
  • the area range can be designated by sliding the screen horizontally as shown in FIG. 14B ⁇ FIG. 14C by the touch slide operation.
  • panning of the designated imaging device is performed in the horizontal (pan) direction, and the imaging area can be designated while changing the optical axis of the imaging device.
  • a slide operation in the vertical (tilt) direction can be performed in the same manner, and an area range can be designated by sliding the screen vertically in a touch slide operation as shown in FIGS. 14C to 14D.
  • the designated imaging device When the slide reaches the vicinity of the screen edge, the designated imaging device is tilt-driven in the vertical (tilt) direction, and the optical axis is changed so that the imaging area can be easily designated. If you want to change the optical axis of the imaging device by driving the pan / tilt without specifying the shooting area, for example, by touch-sliding with two fingers, you can move the screen vertically and horizontally (tilt pan) without specifying the shooting area. Make sure it can be moved. Further, when the touch screen on the screen 1202 is operated (pinch-in) so as to be pinched with two fingers, zoom driving is performed so that the angle of view is increased, the screen is reduced, and a wide area can be confirmed. Further, when the touch screen on the screen 1202 is operated so as to be spread with two fingers (pinch-out), the screen is enlarged by zoom driving so as to reduce the angle of view, and the photographing area can be confirmed.
  • the user may specify a region for automatic zoom drive.
  • a message “whether to release” is displayed on the screen. Then, a method of releasing the designated area by designating release OK may be used. Alternatively, touch buttons of “designation” and “release” may be prepared on the touch screen, and after “release” is designated, 1202 Alternatively, the area that has been touch-slid may be released.
  • the photographing area can be designated for each image pickup device.
  • tapping the area 1203 causes a transition to a shooting area confirmation mode screen (described with reference to FIG. 12).
  • FIG. 14E shows a photographing area display example after the photographing regions are individually specified by the method described with reference to FIGS. 14A to 14D. Based on the imaging area designated by each imaging device, it is possible to visually confirm whether or not the region covers the imaging by the color density. The color is displayed darkly, and the color is displayed lightly when the areas that can be photographed by the plurality of imaging devices do not overlap.)
  • FIG. 14E ⁇ FIG. 14F shows an example at the time of pinch-in operation.
  • the screen is reduced by the pinch-in operation, and the photographing area can be confirmed on a screen on which a wide area can be confirmed.
  • the user can specify an imaging area for each imaging device by a simple operation, and can visualize areas that can be covered and areas that cannot be covered.
  • FIG. 5 shows a remote control screen.
  • Reference numeral 1701 denotes a display unit of the installation position of the imaging device, which is displayed so that the imaging device arrangement set on the above-described imaging device arrangement setting screen and the imaging region set on the imaging region setting mode screen can be understood. Further, it is possible to visualize which direction each image pickup device is currently facing and what the angle of view range is. When the angle of view of the imaging device or the direction of the optical axis changes automatically or manually, the direction display also changes at the same time.
  • Reference numeral 1702 denotes an area for displaying a live video of an actual imaging device.
  • Reference numeral 1704 denotes a shooting button, which can be used to instruct start of moving image shooting / still image shooting / automatic shooting start.
  • Reference numeral 1705 denotes an imaging device setting button for changing the imaging device settings. When the user taps 1705, an imaging device setting menu is displayed, and settings such as resolution / frame rate / white balance can be manually operated.
  • # 1703 is a “remote control operation button”, which is tapped to transition to a remote operation screen when the user remotely operates the imaging apparatus. After transitioning to the remote operation screen, the screen transitions to the screen in FIG. 5B.
  • an operation unit 1707 that can perform a pan / tilt operation and an operation unit 1708 that can perform a zoom operation are displayed. Touching the upper and lower icons of the pan / tilt operation unit 1707 causes tilt driving of the designated imaging device, and touching the left and right icons causes pan driving to change the optical axis of the imaging device.
  • zoom driving is performed in a direction to narrow the angle of view (Tele side), and when the switch icon is slid downward, a direction in which the angle of view is widened (Wide side). Zoom drive.
  • the angle of view can be changed.
  • operation icons such as 1707 and 1708 are displayed.
  • zoom operation is performed by pinching out and pinching in the screen of the touch screen 1702 without displaying operation icons, and panning / tilting is driven by sliding operation.
  • the subject when it is desired to automatically drive pan / tilt and zoom so that the designated subject keeps a predetermined position on the screen (for example, near the center of the screen), the subject may be designated by a touch operation as shown in FIG. 5C.
  • control for automatically tracking the subject is performed, and a subject frame 1709 is displayed so that the currently tracked subject can be visually recognized as shown in FIG. 5D.
  • the release may be released by, for example, displaying a release button and touching the button, or manually changing the optical axis or the angle of view of the imaging apparatus by using 1707 or 1708. Then, tracking may be canceled.
  • a warning is displayed when an obstacle becomes a blind spot during the automatic framing shooting operation (for example, when a person moves in front of the imaging device and stays there), and the specified shooting area cannot be shot. Will be described.
  • the photographing region is specified as described with reference to FIGS. 9 to 14, a subject located closer to the imaging device than the range set in the photographing region is detected, and the subject is placed in the photographing range. If the area to be captured is larger than a predetermined value, it is determined that a blind spot has occurred. Then, a warning is displayed in the smart device application. For example, the imaging device in which the blind spot has occurred is notified to the smart device, and a warning is given to the user by blinking the icon of the imaging device in the display area 1701 of the application or displaying an error. The distance may be measured by using a focus or by using an outside sensor.
  • image information object detection information and characteristic information such as hue and saturation in the image
  • a warning may be displayed when they do not match.
  • step S1501 the image processing unit 207 generates an image obtained by subjecting the signal captured by the imaging unit 206 to image processing for subject detection.
  • Subject detection such as detection of a person or an object is performed from the generated image.
  • ⁇ When detecting a person, detect the face or human body of the subject.
  • a pattern for determining the face of a person is determined in advance, and a portion that matches the pattern included in a captured image can be detected as a face image of the person.
  • the reliability indicating the likelihood of the subject as a face is calculated at the same time, and the reliability is calculated from, for example, the size of the face region in the image, the degree of coincidence with the face pattern, and the like.
  • object recognition an object that matches a pattern registered in advance can be recognized.
  • a histogram of a plurality of color components is created for a captured image, the histogram is divided by its mountain-shaped distribution range, images captured in regions belonging to the same combination of sections are classified, and the image region of the subject is Be recognized.
  • the evaluation value for each recognized image area of the subject the image area of the subject having the highest evaluation value can be determined as the main subject area.
  • a subject to be detected may be learned in advance using Convolutional ⁇ Neural ⁇ Networks (hereinafter abbreviated as CNN) or the like, and the CNN may be applied to face recognition or object recognition.
  • CNN Convolutional ⁇ Neural ⁇ Networks
  • step S1502 a subject search process is performed.
  • the subject search is configured by the following processing. (1) Area division (2) Calculation of importance level for each area (3) Determination of search target area
  • FIG. 16A area division is performed around the entire periphery of the image pickup device (the origin O is the position of the image pickup device).
  • the image is divided into 22.5 degrees in each of the tilt direction and the pan direction.
  • the angle in the tilt direction of the image pickup device becomes larger than 0 degrees, the circumference in the horizontal direction becomes smaller, and the area becomes smaller.
  • the horizontal area range is set to be larger than 22.5 degrees.
  • FIGS. 16C and 16D show examples of area division within the shooting angle of view.
  • the axis 1601 is the direction of the imaging apparatus 101 at the time of initialization, and area division is performed using this direction angle as a reference position.
  • Reference numeral 1602 denotes an angle of view area of a captured image, and an image example at that time is shown in FIG. 16D. In the image displayed at the angle of view, the image is divided based on the area division as shown by 1603 to 1618 in FIG. 16D.
  • an importance level indicating a search priority is calculated according to a subject existing in the area and a scene situation of the area.
  • the importance level based on the situation of the subject is based on, for example, the number of persons present in the area, the size of the face of the person, the face orientation, the certainty of face detection, the facial expression of the person, the personal authentication result of the person calculate.
  • the importance level according to the situation of the scene includes, for example, a general object recognition result, a scene determination result (blue sky, backlight, sunset scene, etc.), a sound level and a voice recognition result from the direction of the area, and a motion detection in the area. Information.
  • an unspecified area is set so that each imaging device performs a search and a framing operation in the specified shooting area.
  • the importance level of the located area is fixed to the minimum value.
  • the search in the area direction is set not to be performed.
  • the importance level is changed according to the past photographing information. More specifically, the importance level is reduced for an area that is continuously designated as a search area for a predetermined time, or the importance level is reduced for a predetermined time in an area photographed in S910 described below. Is also good. However, the minimum value is held without changing the area where the user does not specify the shooting area.
  • step S1503 pan / tilt drive is performed.
  • the pan / tilt drive amount is calculated by adding the drive angles in the control sampling based on the pan / tilt search target angle, and the tilt rotation unit 104 and the pan rotation unit 105 are respectively driven by the lens barrel rotation drive unit 205. Control.
  • step S1504 the zoom unit 201 is controlled to perform zoom driving. Specifically, the zoom is driven according to the state of the search target subject determined in S1502. For example, when the subject to be searched is a human face, if the face on the image is too small, it cannot be detected because the size is smaller than the minimum detectable size, and there is a possibility that the face is lost. In such a case, control is performed so that the size of the face on the image is increased by zooming to the telephoto side. On the other hand, if the face on the image is too large, the subject is likely to deviate from the angle of view due to the movement of the subject or the imaging device itself. In such a case, zooming to the wide-angle side is performed so that the size of the face on the screen is reduced. By performing the zoom control in this manner, a state suitable for tracking the subject can be maintained.
  • the method of searching for a subject by panning, tilting, or zoom driving has been described.
  • the searching for a subject may be performed by an imaging system that uses a plurality of wide-angle lenses to capture images in all directions at once.
  • an imaging system that uses a plurality of wide-angle lenses to capture images in all directions at once.
  • an enormous amount of processing is required if image processing such as subject detection is performed using all signals obtained by imaging as input images. Therefore, a configuration is employed in which a part of an image is cut out and a subject search process is performed in the cut-out image range. Similar to the above-described method, the important level for each area is calculated, the cutout position is changed based on the important level, and the automatic shooting described later is determined. This makes it possible to reduce power consumption by image processing and to search for a subject at high speed.
  • step S1505 it is determined whether a manual shooting instruction has been issued. If a shooting instruction has been issued, the process advances to step S1506.
  • the shooting instruction by the tap operation is a shooting instruction method in which, when the user taps the imaging apparatus housing, the apparatus shake detection unit 209 detects a short-term continuous high-frequency acceleration and sets a shooting trigger.
  • the voice command input is a shooting instruction method in which when the user utters a password (for example, “take a picture”) instructing predetermined shooting, the voice is recognized by the voice processing unit 214 and the shooting is triggered.
  • the instruction from the external device is a shooting instruction method triggered by a shutter instruction signal transmitted via a dedicated application from, for example, a smartphone or the like connected to the imaging device by wireless communication.
  • step S1506 automatic shooting determination is performed. In the automatic shooting determination, it is determined whether or not to perform shooting.
  • the determination as to whether or not to perform automatic shooting is made based on the following two determinations. One is that, based on the importance level for each area obtained in S1502, if the importance level exceeds a predetermined value, it is determined that automatic shooting is to be performed. The second is a determination based on a neural network. A neural network is used to predict an output value from an input value.By learning an input value and an output value that is a model for the input in advance, a new input value is obtained. On the other hand, an output value following the learned example can be estimated. The learning method will be described later.
  • an input layer of neurons is given a feature amount based on a subject in the current angle of view and a state of a scene or an imaging device as an input, and an operation based on a forward propagation rule of a multilayer perceptron is provided.
  • an operation based on a forward propagation rule of a multilayer perceptron is provided.
  • the value output from the output layer If the output value is equal to or larger than the threshold value, it is determined that automatic shooting is to be performed.
  • the characteristics of the subject include the current zoom magnification, the general object recognition result at the current angle of view, the face detection result, the number of faces in the current angle of view, the degree of smile / closeness of the face, the face angle, and the face authentication ID.
  • the number, the line-of-sight angle of the subject person, and the like are used.
  • scene discrimination results elapsed time since the previous photographing, current time, GPS position information and the amount of change from the previous photographing position, current voice level, voice utterance, applause, and whether or not cheers are rising , Etc.
  • vibration information acceleration information, the state of the imaging device
  • environmental information temperature, atmospheric pressure, illuminance, humidity, amount of ultraviolet rays
  • This feature is converted into a numerical value within a predetermined range, and given to each neuron in the input layer as a feature amount. Therefore, each neuron in the input layer requires the number of the feature amounts used.
  • the output value changes by changing the connection weight between each neuron by a learning process described later, and the result of the determination can be adapted to the learning result.
  • ⁇ Determination of shooting method> it is determined whether to execute still image shooting or moving image shooting based on the state of the surrounding subject detected in S1501. For example, when the subject (person) is stationary, still image shooting is performed, and when the subject is moving, moving image shooting or continuous shooting is performed. The determination using a neural network may be performed. Also, using a dedicated application, the settings of the imaging device can be manually changed, it is possible to specify that only a still image is to be captured, it is possible to specify only a moving image, or both are to be captured. It is also possible to set as follows.
  • shooting is started.
  • photographing by the photographing method determined in S1506 is started.
  • auto focus control by the focus drive control unit 204 is performed.
  • exposure control is performed using an aperture control unit, a sensor gain control unit, and a shutter control unit (not shown) so that the subject has appropriate brightness.
  • the image processing unit 207 performs various known image processing such as an auto white balance process, a noise reduction process, and a gamma correction process to generate an image.
  • shooting is performed while performing framing operation by pan / tilt and zoom driving based on object detection as described in S1501 to S1504 even during shooting and recording.
  • the search may be performed based on the importance level obtained by dividing the area as in the above method, or a large search operation may be prohibited during the moving image.
  • a specific subject may be registered, and a moving image may be shot while tracking by panning, tilting, and zooming within a designated shooting area so as to keep the registered subject near the center of the screen.
  • editing processing such as processing the image generated in S1508 or adding it to a moving image is performed.
  • the image processing includes a trimming process based on a person's face and an in-focus position, an image rotation process, an HDR (high dynamic range) effect, a blur effect, a color conversion filter effect, and the like.
  • a plurality of images may be generated based on the image generated in S1508 by a combination of the above processes, and may be stored separately from the image generated in S1508.
  • a process may be performed in which a captured moving image or a still image is added to a generated edited moving image while adding special effects such as slide, zoom, and fade.
  • the past shooting information is updated. More specifically, the number of shots for each area, the number of shots for each person registered for personal authentication, the number of shots for each subject recognized by general object recognition, and the number of shots for each scene in scene discrimination described in the description of S1506 For, the count of the number of images corresponding to the currently shot image is increased by one.
  • the photographing area can be designated by a simple operation. Then, a plurality of imaging devices perform framing adjustment in conjunction with each other in the designated shooting region, or perform automatic shooting around the designated shooting region with the plurality of imaging devices, thereby facilitating shooting of a video desired by the user. Automatic shooting can be performed.
  • an example has been described in which a plurality of imaging devices having a pan, tilt, and zoom having the configuration shown in FIG. 1 are used.
  • an imaging device having a pan / tilt and zoom configuration shown in FIG. 1 may be used.
  • an imaging device having a zoom without pan / tilt may be used.
  • an imaging device having a pan / tilt without zoom may be used.
  • an imaging device having a fixed focal length without zoom and without panning / tilting may be used as a partial imaging device.
  • an omnidirectional imaging device that has a plurality of imaging elements and a wide-angle optical system and captures images in all directions at once may be used.
  • the present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program.
  • This processing can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.
  • the present invention is not limited to photographing by a digital camera or digital video camera, but can be mounted on an information processing device that communicates with a photographing device such as a surveillance camera, a Web camera, and a mobile phone.
  • the information processing device is not limited to a mobile phone such as a smartphone, but may be a tablet computer or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Lens Barrels (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

複数の撮像装置の位置情報と、複数の撮像装置の方位および角度情報と、複数の撮像装置の撮影エリア情報とに基づいて、複数の撮像装置の撮影可能範囲を算出し、当該撮影可能範囲に基づいて、撮影網羅できるエリアと撮影網羅できないエリアを通知する。

Description

情報処理装置及びその制御方法
　本発明は、情報処理装置及びその制御方法に関する。
　近年、いろいろな視点からの映像を撮影するために、様々な位置や角度に向けた多数の撮像装置を設置する場合がある。複数の撮像装置の映像からユーザの欲する視点の撮像装置映像を取得する必要があるが、多数の撮像装置から適切にユーザの欲する映像を残すことは困難である。
　特許文献１では、撮像装置毎に注視点位置情報、撮像装置の位置情報、方向情報などを持ち、ユーザの属性情報を基に撮像装置の映像を選択する方法が開示されている。
　また、パンまたはチルトの機能を有し、特定の被写体として自動追尾する機能を有する撮像装置技術も開示されている。例えば、特許文献２では、被写体がモニタ画面中心に出力されるように、モニタ中心座標と被写体の位置座標の差分を求め、被写体を画面中心に移動させるようにパン・チルト角度を駆動する制御方法が開示されている。
特開２０１４－２１５８２８号公報 特開平５－２８９２３号公報
　しかしながら、複数の撮像装置を用いて複数視点撮影を行うシステムにおいては、正確な撮像装置の設置位置、撮像装置の光軸向きや画角を設定の上で用いられるのが一般的である。撮像装置配置位置や撮像装置向きを基として、連動してパン・チルト、ズームなどを駆動してフレーミングすることもできるが、複数の撮像装置を簡単に設置し校正することは難しい。また、ユーザが適当に撮像装置を設置した場合、複数視点での撮影が可能な範囲、或いは複数視点での撮影が難しい範囲をユーザが簡単に確認することができなかった。
　従って、本発明は、複数台の撮像装置を連動させる際、撮影エリアの確認を簡単に行える情報処理装置およびその制御方法を提供することを目的とする。
　本発明の技術的特徴として、複数の撮像装置の位置情報を記憶する記憶工程と、前記複数の撮像装置の方位および角度を取得する取得工程と、前記複数の撮像装置の撮影エリアを設定する設定工程と、前記記憶工程に記憶された情報と、前記取得工程により取得された情報と、前記設定工程により設定された撮影エリアの情報とに基づいて、撮影網羅できるエリアと撮影網羅できないエリアを通知する通知工程とを有することを特徴とする。
　本発明によれば、複数台の撮像装置を連動させる際、撮影エリアの確認を簡単に行える情報処理装置およびその制御方法を提供することができる。
本実施形態に係る撮像装置を模式的に示す図である。 本実施形態に係る撮像装置を模式的に示す図である。 本実施形態に係る撮像装置の構成を示す図である。 本実施形態に係る複数の撮像装置と外部機器とのシステム構成を示す図である。 本実施形態に係る外部機器の構成を示す図である。 本実施形態に係るアプリケーションのリモートコントロール設定モードを説明する図である。 本実施形態に係るアプリケーションのリモートコントロール設定モードを説明する図である。 本実施形態に係るアプリケーションのリモートコントロール設定モードを説明する図である。 本実施形態に係るアプリケーションのリモートコントロール設定モードを説明する図である。 本実施形態に係る複数の撮像装置とスマートデバイスのシステム構成を示す図である。 本実施形態に係る撮像装置のセッティング方法を説明する図である。 本実施形態に係るアプリケーションを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明する図である。 本実施形態に係るアプリケーションの撮影エリアセッティングを説明するフローチャートである。 本実施形態に係るアプリケーションの撮影エリア確認モードの表示例を説明する図である。 本実施形態に係るアプリケーションの撮影エリア確認モードの表示例を説明する図である。 本実施形態に係るアプリケーションの撮影エリア確認モードの表示例を説明する図である。 本実施形態に係るアプリケーションの全体撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの全体撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの全体撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの全体撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの全体撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの全体撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの個別撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの個別撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの個別撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの個別撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの個別撮影領域設定モードの表示例を説明する図である。 本実施形態に係るアプリケーションの個別撮影領域設定モードの表示例を説明する図である。 本実施形態に撮影処理を説明するフローチャートである。 本実施形態に係る撮影画像内のエリア分割を説明するための図である。 本実施形態に係る撮影画像内のエリア分割を説明するための図である。 本実施形態に係る撮影画像内のエリア分割を説明するための図である。 本実施形態に係る撮影画像内のエリア分割を説明するための図である。
　以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
　＜撮像装置の構成＞
　図１は、第１の実施形態の複数台連携撮像装置の制御システムに用いる撮像装置を模式的に示す図である。
　図１Ａに示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構を設けている。チルト回転ユニット１０４は、鏡筒１０２を図１Ｂに示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１Ｂは、固定部１０３位置での軸定義である。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりする構成となっている。
　図２は、本実施形態の撮像装置の構成を示すブロック図である。
　図２において、第１制御部２２３は、プロセッサー（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１６は、電気的に消去・記録可能なメモリであり、第１制御部２２３の動作用の定数、プログラム等が記憶される。
　図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。
　撮像部２０６では、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部２０７に出力する。画像処理部２０７はＡ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０７から出力されたデジタル画像データは、画像記録部２０８でＪＰＥＧ形式等の記録用フォーマットに変換し、メモリ２１５や後述する映像出力部２１７に送信される。
　鏡筒回転駆動部２０５は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２をチルト方向とパン方向に駆動させる。
　装置揺れ検出部２０９は、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出部２０９は、検出された信号に基づいて、装置の回転角度や装置のシフト量などが演算される。
　音声入力部２１３は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得し、アナログデジタル変換をして音声処理部２１４に送信する。音声処理部２１４は、入力されたデジタル音声信号の適正化処理等の音声に関する処理を行う。そして、音声処理部２１４で処理された音声信号は、第１制御部２２３によりメモリ２１５に送信される。メモリ２１５は、画像処理部２０７、音声処理部２１４により得られた画像信号及び音声信号を一時的に記憶する。
　画像処理部２０７及び音声処理部２１４は、メモリ２１５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号を生成する。第１制御部２２３は、これらの圧縮画像信号、圧縮音声信号を、記録再生部２２０に送信する。
　記録再生部２２０は、記録媒体２２１に対して画像処理部２０７及び音声処理部２１４で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、第１制御部２２３は、音声処理部２１４により生成された音声信号と画像処理部２０７により生成された圧縮画像信号とを、記録再生部２２０に送信し記録媒体２２１に記録させる。
　記録媒体２２１は、撮像装置１０１に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体２２１は、撮像装置１０１で生成した圧縮画像信号、圧縮音声信号、音声信号などの各種データを記録することができ、不揮発性メモリ２１６よりも大容量な媒体が一般的に使用される。例えば、記録媒体２２１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、ＤＶＤ－Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。
　記録再生部２２０は、記録媒体２２１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして読み出した圧縮画像信号、圧縮音声信号を、第１制御部２２３は画像処理部２０７及び音声処理部２１４に送信する。画像処理部２０７及び音声処理部２１４は、圧縮画像信号、圧縮音声信号を一時的にメモリ２１５に記憶させ、所定の手順で復号し、復号した信号を映像出力部２１７、音声出力部２１８に送信する。
　音声入力部２１３は複数のマイクが撮像装置１０１に搭載されており、音声処理部２１４は複数のマイクが設置された平面上の音の方向を検出することができ、後述する探索や自動撮影に用いられる。さらに、音声処理部２１４では、特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる構成にしてもよい。また、音シーン認識も行う。音シーン認識では、予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出するためのネットワークが音声処理部２１４に設定されている。そして、特定音シーンや特定音声コマンドを検出すると、第１制御部２２３に、検出トリガー信号を出力する構成になっている。
　電源部２１０は、第１制御部２２３を動作させるための、電源を供給する。音声出力部２１８は、例えば撮影時などに撮像装置１０１に内蔵されたスピーカーから予め設定された音声パターンを出力する。
　ＬＥＤ制御部２２４は、例えば撮影時などに撮像装置１０１に設けられたＬＥＤを予め設定された点灯点滅パターンを制御する。
　映像出力部２１７は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部２１８、映像出力部２１７は、結合された１つの端子、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）端子のような端子であってもよい。
　学習処理部２１９は、ニューラルネットワークを用い、機械学習アルゴリズムを使用して、ユーザの好みに合わせた学習を行う。
　通信部２２２は、撮像装置１０１と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド、パン・チルトやズーム駆動等の、撮影にかかわる制御信号を受信して、撮像装置１０１と相互通信可能な外部機器の指示から撮像装置１０１を駆動する。また、撮像装置１０１と外部装置との間で、学習処理部２１９で処理される学習にかかわる各種パラメータなどの情報を送信したり受信したりする。通信部２２２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。
　＜複数台連携の制御システム構成＞
　図３は、複数台連携撮像装置の制御システムの一例である。
　撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）は、通信機能を有するコントローラユニット（スマートデバイス）３０１と無線で接続し、撮像装置へ操作指示や、撮像装置からの制御情報を取得することができる。図３においては、撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）とスマートデバイス３０１はそれぞれアクセスポイント３０２に接続し、アクセスポイントを経由して通信を行い、情報の転送を行う。
　無線ＬＡＮ通信モジュールを含むスマートデバイス３０１の構成を図４を用いて説明する。
　スマートデバイス３０１は、例えば、無線ＬＡＮ用の無線ＬＡＮ制御部４０１、及び、ＢＬＥ用のＢＬＥ制御部４０２に加え、公衆無線通信用の公衆無線制御部４０６を有する情報処理装置である。また、スマートデバイス３０１は、パケット送受信部４０３をさらに有する。無線ＬＡＮ制御部４０１は、無線ＬＡＮのＲＦ制御、通信処理、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮによる通信の各種制御を行うドライバや無線ＬＡＮによる通信に関するプロトコル処理を行う。ＢＬＥ制御部４０２は、ＢＬＥのＲＦ制御、通信処理、ＢＬＥによる通信の各種制御を行うドライバやＢＬＥによる通信に関するプロトコル処理を行う。公衆無線制御部４０６は、公衆無線通信のＲＦ制御、通信処理、公衆無線通信の各種制御を行うドライバや公衆無線通信関連のプロトコル処理を行う。公衆無線通信は例えばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｍｕｌｔｉｍｅｄｉａ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）規格やＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）規格などに準拠したものである。パケット送受信部４０３は、無線ＬＡＮ並びにＢＬＥによる通信及び公衆無線通信に関するパケットの送信と受信との少なくともいずれかを実行するための処理を行う。なお、本例では、スマートデバイス３０１は、通信においてパケットの送信と受信との少なくともいずれかを行うものとして説明するが、パケット交換以外に、例えば回線交換など、他の通信形式が用いられてもよい。
　スマートデバイス３０１は、例えば、制御部４１１、記憶部４０４、ＧＰＳ受信部４０５、表示部４０７、操作部４０８、モーションデータ取得部４０９、電源部４１０をさらに有する。制御部４１１は、例えば、記憶部４０４に記憶される制御プログラムを実行することにより、スマートデバイス３０１全体を制御する。記憶部４０４は、例えば制御部４１１が実行する制御プログラムと、通信に必要なパラメータ等の各種情報とを記憶する。後述する各種動作は、記憶部４０４に記憶された制御プログラムを制御部４１１が実行することにより、実現される。
　電源部４１０はスマートデバイス３０１に電源を供給する。表示部４０７は、例えば、ＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、又はスピーカー等の音出力が可能な機能を有し、各種情報の表示を行う。操作部４０８は、例えばユーザによるスマートデバイス３０１の操作を受け付けるボタン等である。なお、表示部４０７及び操作部４０８は、例えばタッチパネルなどの共通する部材によって構成されてもよい。
　モーションデータ取得部４０９には、例えばスマートデバイス３０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）が搭載される。また、スマートデバイス３０１の３軸方向の加速度を検出する加速度計（加速度センサ）や地磁気を検知する方位計（地磁気センサ）なども搭載される。ジャイロセンサと加速度センサと地磁気センサの出力値からスマートデバイス３０１の回転角度や変位量（ＸＹＺ軸移動量）を制御部４１１で演算する。また、気圧センサも設けて気圧の変化に基づく高度を取得し、移動量検出に用いることもできる。
　ＧＰＳ（Ｇｌｏｂａｌ　ｐｏｓｉｔｉｏｎｉｎｇ　ｓｙｓｔｅｍ）４０５は、衛星から通知されるＧＰＳ信号を受信し、ＧＰＳ信号を解析し、スマートデバイス３０１の現在位置（経度・緯度情報）を推定する。もしくは、位置推定は、ＷＰＳ（Ｗｉ－Ｆｉ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等を利用して、周囲に存在する無線ネットワークの情報に基づいて、スマートデバイス３０１の現在位置を推定するようにしてもよい。
　上記のように装置１０１とスマートデバイス３０１は、無線ＬＡＮ制御部４０１を用いた通信により、装置１０１とデータのやりとりを行う。例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したり、撮像装置１０１から撮影開始情報や被写体検出情報を受信したり、スマートデバイスから装置１０１の撮影などの操作指示であったりを行う。
　図３で説明した構成においては、スマートデバイス３０１を撮像装置のコントローラとして使うために、スマートデバイスをサーバとして、アクセスポイント３０２経由で撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）との情報送受信を行う構成とした。しかしながら、別の方法により、複数撮像装置をコントロールする構成をとってもよい。
　図６はサーバ経由転送の図の例である。撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）がアクセスポイント３０２を経由してサーバ６０２と無線で接続して情報転送を行う。また、ＰＣ６０３がアクセスポイント６０１を経由してサーバに接続し、撮像装置（１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ）がサーバに転送した情報を取得する。なお、この例では違うアクセスポイントを経由して撮像装置とＰＣはそれぞれサーバに接続しているが、同じアクセスポイントを経由してもよい。またＰＣとサーバの接続は無線に限ら有線でもよい。
　また、撮像装置の接続も無線に限らず有線でもよく、Ｐｏｗｅｒ　ｏｖｅｒ　Ｅｔｈｅｒｎｅｔ（ＰｏＥ）を用いて、電力供給を行いながら動かす構成にしてもよい。
　＜撮像装置配置セッティング方法＞
　複数の撮像装置を固定設置して、撮像装置がチルト回転ユニット１０４、パン回転ユニット１０５、ズームユニット２０１を駆動制御しながら連動して自動フレーミング撮影する場合を考える。この場合、各撮像装置の配置情報や、撮像装置の光軸向きの角度情報を把握しておく必要がある。
　設置された各撮像装置の配置や角度を簡単な方法で取得する方法を説明する。
　スマートデバイス３０１内に、複数台撮像装置をコントロールする専用のアプリケーションを用意しておく。ユーザは、アプリケーションを使って、簡単に撮像装置の設置位置を登録しておくことで、撮影時に複数の撮像装置間で連動してフレーミング制御できるような構成になっている。
　まず、撮像装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅを適当な場所に設置する。ユーザ７００は、スマートデバイス３０１内のアプリケーションを起動する。アプリケーション起動時の画面例を図８に示す。撮像装置配置セッティングタブ８０１をタップして、撮像装置配置セッティング画面へ遷移する。図９に撮像装置配置セッティング画面を示す。ユーザ７００は、撮像装置１０１ａが設置されている場所に移動し、撮像装置１０１ａとスマートデバイス３０１をできる限り近づけて、撮像装置登録セットボタン９０１をタップする（図７）。同じように、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅの各撮像装置が設置されている場所に移動して、撮像装置とスマートデバイス３０１をできる限り近づけて、撮像装置登録セットボタン９０１をタップして、各撮像装置の配置情報を取得する。登録された撮像装置の位置は、撮像装置の設置位置を表示部９０３で確認できるようになっており、重力方向で上から見た撮像装置の配置位置がデフォルトでは表示されている。
　ここで、１０１ｄから、１０１ｅの位置に移動して登録する場合を例に説明する。１０１ｄを登録した時点で登録撮像装置数は１０１ａ、１０１ｂ、１０１ｃ、１０１ｄの４台なので、登録撮像装置数９０２は「４」と表示されている。１０１ｅの場所に移動し、撮像装置登録セット９０１をタップすると、登録撮像装置数表示９０２は「４」から「５」に変化する。また、撮像装置の設置位置として、表示部９０３に、１０１ｅの撮像装置位置９０４が新規で追加表示される。
　撮像装置の設置位置を表示部９０３に表示する際の撮像装置の位置表示方法の詳細について説明する。
　まず、最初の撮像装置１０１ａにできるだけ近い位置で撮像装置登録セット８０１がタップされると、その位置のＸＹＺ座標を（０、０、０）として最初に登録する。そして、次の撮像装置の設定位置に移動し、次の撮像装置を登録する。このとき、最初に登録した座標（０、０、０）を基準した箇所から、次に撮像装置登録セットボタン９０１をタップするまでの移動距離をスマートデバイス３０１内のジャイロセンサ、加速度センサ、方位センサなどから算出することで、配置位置を登録する。或いは、スマートデバイス内のＧＰＳの情報を使ってもよいし、撮像装置内にＧＰＳを設ける構成にしてよい。或いは、複数の無線通信から受信した電波強度の違いから三点測位によって現在位置を推定する方法を使って移動位置を検出する方法をとってもよい。また、これらの方法を併用して移動位置を算出してもよい。
　撮像装置の角度については、撮像装置１０１内部の加速度センサや方位センサの結果から算出することが可能である。
　或いは、撮像装置の撮像装置１０１とスマートデバイス３０１との相対角度を決まった角度位置してユーザが登録設定することを前提として、スマートデバイス内の加速度センサや方位センサの結果から撮像装置１０１の角度を算出する構成にしてもよい。図１０Ａのように、撮像装置１０１のＸＹＺ軸を定義し、図１０Ｂのように、スマートデバイス３０１のＸ’Ｙ’Ｚ‘軸を定義したとする。図１０Ｃ、図１０Ｄのように、撮像装置１０１のパン・チルト角度がデフォルト位置における光軸方向（Ｚ方向）とスマートデバイスのＹ’方向の向き角度があうようにしてから、撮像装置登録セット８０１がタップし撮像装置位置および角度を設定する構成にする。これにより、撮像装置内に方位センサを搭載しなくても、スマートデバイス内のセンサ情報を活用することで、撮像装置の方位角度を取得することが可能になる。
　上記方法により、撮像装置１０１の３軸角度を算出することができる。
　図１１に撮像装置登録セットボタン９０１がタップされた後のスマートデバイス３０１の制御部４１１の処理のフローを示す。
　Ｓ１１０１で登録撮像装置数（Ｎ）が０より大きいかを判定し、Ｎが０以下（すなわち登録数０）である場合、Ｓ１１０２に進み撮像装置［Ｎ］（撮像装置１０１ａ）の撮像装置位置を初期位置（０、０、０）として最初に登録する。Ｓ１１０１でＮが０より大きい場合、Ｓ１１０３で撮像装置［Ｎ番目］の撮像装置座標を設定するため、撮像装置［Ｎ－１番目］に設定された位置からの現在位置までの相対位置を算出し、撮像装置［Ｎ］の設置位置を登録する。
　Ｓ１１０２、Ｓ１１０３の処理後、Ｓ１１０４に進み撮像装置［Ｎ］の設置角度を取得し、Ｓ１１０５に進む。Ｓ１１０５では登録撮像装置数をインクリメントし、表示部９０２の撮像装置数の表示を更新し、Ｓ１１０６に進む。Ｓ１１０６では、撮像装置の設置位置を表示する表示部９０３に撮像装置［Ｎ］の座標位置を追加表示し、処理を終了する。
　撮像装置登録セットボタン９０１がタップされる毎に本フローを繰り返すが、別途用意されたリセット設定などにより、登録がリセットされた場合は、撮像装置数Ｎを０にリセットし、撮像装置の設置位置を表示する表示部の情報もリセットする。
　＜撮影エリアセッティング方法＞
　図８の画面に戻り、ユーザ７００が、撮影エリアセッティングタブ８０２をタップした場合、撮影エリアセッティング画面へ遷移する。図１２に撮影エリアセッティング画面を示す。１２０１は撮像装置の設置位置の表示部であり、前述した撮像装置配置セッティング画面にて設定された撮像装置配置が表示されている。図１２に示すように、表示画面上に（図ではバスケットボールのコートのイラスト例を示している。）ユーザがイラストを張り付けたり、別途用意した上から撮影した撮影画像を張り付けたりしてもよい。１２０２は実際の撮像装置のライブ映像を表示するエリアであり、１２０１上の撮像装置の設置位置をタップすると、指定した撮像装置のライブ表示ができるようになっている。１２０３、１２０４、１２０５はそれぞれモードを変更するために用意されたボタンである。１２０３は「撮影エリア確認モード」、１２０４は「全体撮影領域設定モード」、１２０５は「個別撮影領域設定モード」の画面に遷移するためのモードスイッチとして用意されている。
　まず、「撮影エリア確認モード」について説明する。
　＜撮影エリア確認モード＞
　１２０３の領域をタップすると、「撮影エリア確認モード」画面（図１２）に遷移する。
　上記説明したように１２０１に撮像装置配置が表示されている。ここで、後述する「全体撮影領域設定モード」、「個別撮影領域設定モード」で撮影領域がユーザにより設定されていない場合、撮像装置がチルト回転ユニット１０４、パン回転ユニット１０５、ズームユニット２０１を駆動して撮影できる全領域が表示される。複数撮像装置が撮影できる領域が重なっているほど色が濃く表示され、複数撮像装置で撮影できる領域が重なっていないと薄く表示される。また、各撮像装置のもつ最大焦点距離に応じて撮像装置を原点としてどの距離までを撮影領域とするかが決められており、具体的には最大ズーム位置における撮影像倍率が所定値以上の条件で決められ、撮像装置配置位置からの半径が決められている。このような表示を行うことで、どの領域が複数撮像装置による多視点映像を取得できるのか、また複数の撮像装置での撮影が難しい領域なども確認することができる。
　撮像装置の設置位置の表示部１２０１は、拡大／縮小、回転できるようになっており、１２０１上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画面が縮小され、広い領域での確認することができる。１２０１上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画面が拡大され、撮影領域を確認することができる（図１２Ａ→図１２Ｂにピンチイン操作時の例を示す。）。また、１２０１上でのタッチスクリーンを２本の指で同じ方向にスライドする操作により、画面表示の角度を変更することができる。例えば上下方向にスライド操作することで画面横軸を回転軸として回転し、左右方向にスライド操作することで画面縦軸を回転軸として回転させたりすることができる（図１２Ｃに例を示す。）。
　また、指一本のスライドで画面の中心位置を移動させたり、撮像装置配置箇所をタップすることで指定した撮像装置のライブ映像を１２０２に表示することもできる。
　＜全体撮影領域設定モード＞
　１２０４の領域をタップすると、「全体撮影領域設定モード」画面（図１３）に遷移する。
　「全体撮影領域設定モード」においては、撮像装置の設置位置の表示部１２０１に表示された画面で、ユーザが撮影したい領域を手動で操作することで、複数の撮像装置が自動でフレーミング撮影をする際にユーザの意図する映像が撮れやすくする。ここで撮影領域に指定されない領域については、各撮像装置はそのエリアの撮影をほとんど行わないように自動制御されることになる。撮像装置の設置位置の表示部１２０１に表示画面内でユーザが撮影領域を指定した例を図１３Ａの１３０１に示す。
　ユーザが撮影領域を指定すると指定した領域の中で１３０２の領域と１３０３の領域とそれぞれ視覚的に異なるエリア領域だとわかるように表示する。ここで、配置された撮像装置によって撮影網羅できるエリアである場合は１３０２の領域に表示され、撮影網羅できないエリアと判定された場合は１３０３のように表示される。図１２に示されたように、配置された各撮像装置からの距離が遠い領域や、２台以上の撮像装置で撮影可能な領域が重なっていない場合は、撮影網羅できないエリアと判定されることになる。
　図１２で説明した方法と同様に、撮像装置の設置位置の表示部１２０１は、拡大／縮小、回転できるようになっており、１２０１上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画面が縮小され、広い領域での確認することができる。１２０１上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画面が拡大され、撮影領域を確認することができる。また、１２０１上でのタッチスクリーンを２本の指で同じ方向にスライドする操作により、画面表示の角度を変更することができる。例えば上下方向にスライド操作することで画面横軸を回転軸として回転し、左右方向にスライド操作することで画面縦軸を回転軸として回転させたりすることができる（図１３Ｃに例を示す。）。重力方向をＺ軸と置いたとき、Ｚ軸方向から表示させた場合において、図１３Ａ、図１３ＢのようにＸＹ軸範囲での撮影領域を指定、撮影領域網羅かを確認することができるが、Ｚ軸方向の撮影範囲も指定することができる。図１３Ｄのように画面を回転させＺ軸方向を指定できる画面角度になった状態で、ユーザがＺ軸方向の撮影領域を指定した例を図１３Ｄに示す。ここで、配置された撮像装置によって撮影網羅できるエリアである場合は１３０４の領域に表示され、撮影網羅できないエリアと判定された場合は１３０５のように表示される。
　１２０２は指定した撮像装置のライブ映像を表示するエリアであり、図１３Ｅのように１２０１上の撮像装置の設置位置をタップすると、指定した撮像装置のライブ映像が１２０２上に表示される。表示例を図１３Ｆに示す。１２０１内で指定された撮像装置の色或いは形大きさが変わり、どの撮像装置が指定されているかが確認できる。また、指定した撮像装置の現在の表示画角が分かるような画角範囲の表示１３０４も同時にされる。１２０２のライブ映像の中でも。ユーザが手動で操作し指定した撮影領域１３０１の範囲なのか否かわかるようになっており、ユーザは視覚的に確認することができる（例えば１３０５が撮影領域に指定している領域で、１３０６が撮影領域に指定していない領域でグレーに表示される。）。
　このように、ユーザが簡単な操作で撮影エリアを指定でき、且つ撮影網羅できる領域と網羅できていない領域を可視化することができる。また、実際の撮像装置のライブ映像をモニタしながら指定した領域の範囲内外を確認できる。
　＜個別撮影領域設定モード＞
　１２０５の領域をタップすると、「個別撮影領域設定モード」画面（図１４）に遷移する。
　「個別撮影領域設定モード」においては、撮像装置毎に詳細な撮影領域を指定させることができる。図１４Ａのように、撮像装置の設置位置の表示部１２０１に表示された画面で、ユーザが撮影領域設定したい撮像装置の表示位置をタップすると、指定した撮像装置のライブ映像が１２０２上に表示される。表示例を図１４Ｂに示す。１２０１内で指定された撮像装置の色或いは形大きさが変わり、どの撮像装置が指定されているかが視覚的に確認できる。また、指定した撮像装置の現在の表示画角が分かるような画角範囲の表示１４０１も同時にされる。１２０２のライブ映像表示されている画面上で、タッチスクリーンを１本の指でスライド操作することで表示画面内での撮影領域指定を行う。タッチスライド操作で図１４Ｂ→図１４Ｃのように画面横方向にスライドさせることでエリア範囲を指定できる。また、スライドで画面端付近に到達すると、横（パン）方向に指定撮像装置のパン駆動を行い、撮像装置光軸を変化させながらの撮影エリア指定もできる。縦（チルト）方向にスライド操作も同様に行うことができ、タッチスライド操作で図１４Ｃ→図１４Ｄのように画面縦方向にスライドさせることでエリア範囲を指定できる。スライドで画面端付近に到達すると、縦（チルト）方向に指定撮像装置のチルト駆動を行い、光軸を変化させることで撮影エリア指定しやすくする。撮影エリア指定することなくパン・チルトを駆動して撮像装置光軸を変化させたい場合は、例えば２本の指でタッチスライド操作すれば、撮影エリア指定することなく画面を縦横（チルトパン）方向に移動させることが可能なようにしておく。また、１２０２上でのタッチスクリーンを２本の指でつまむように操作（ピンチイン）すると画角が大きくなるようにズーム駆動し画面が縮小され、広い領域での確認することができる。また、１２０２上でのタッチスクリーンを２本の指で広げるように操作（ピンチアウト）すると画角が小さくなるようにズーム駆動し画面が拡大され、撮影領域を確認することができる。
　また、自動でズーム駆動する領域をユーザ指定させてもよい。
　指定された撮影エリアを解除したい場合は、例えば指定済みのエリアを２回タップすることで「解除するか否か」のメッセージを画面に表示する。そして、解除ＯＫを指定することで、指定エリアを解除する方法にしてもよいし、タッチスクリーン上に「指定」「解除」のそれぞれのタッチボタンを用意し、「解除」を指定後、１２０２上でタッチスライドした領域を解除するようにしてもよい。
　上記のような方法で、各撮像装置別に撮影領域を指定することができる。「個別撮影領域設定モード」画面で撮像装置別の撮影領域をした後、１２０３の領域をタップすると、撮影エリア確認モード」画面（図１２を用いて説明）に遷移する。図１４Ａ～図１４Ｄで説明した方法で個別に撮影領域を指定後の撮影エリア表示例を、図１４Ｅに示す。各撮像装置が指定した撮影エリアに基づいて、撮影網羅している領域か否かが色の濃さにより視覚的に確認できるようになっている（複数撮像装置が撮影できる領域が重なっているほど色が濃く表示され、複数撮像装置で撮影できる領域が重なっていないと薄く表示される）。
　図１４Ｅ→図１４Ｆにピンチイン操作時の例を示す。ピンチイン操作により画面が縮小され、広い領域を確認できる画面で撮影領域を確認することができる。
　このように、ユーザが簡単な操作で撮像装置個別毎に撮影エリアを指定でき、且つ撮影網羅できる領域と網羅できていない領域を可視化することができる。
　以上の方法で複数撮像装置を用いた撮影領域指定を簡単に行うことができ、指定した撮影領域において複数の撮像装置が連動してフレーミング調整を行ったり、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことをサポートする。
　＜リモートコントロール設定モード＞
　図８の画面に戻り、ユーザが、リモートコントロールタブ８０３をタップした場合、リモートコントロール画面へ遷移する。図５にリモートコントロール画面を示す。１７０１は撮像装置の設置位置の表示部であり、前述した撮像装置配置セッティング画面にて設定された撮像装置配置、撮影領域設定モード画面で設定された撮影領域が分かるように表示される。また、各撮像装置が現在どの方向を向き画角範囲がどうなっているかが視覚化できるようになっている。自動或いは手動で撮像装置画角や光軸向きが変化した場合、この方向表示も同時に変化することになる。１７０２は実際の撮像装置のライブ映像を表示するエリアであり、１７０１上の撮像装置設定位置をタップすると、指定した撮像装置のライブ表示ができるようになっている。また、１７０１上で現在ライブ表示されているどの撮像装置かが分かるようになっており、１７０６のように撮像装置の設置位置の色或いは形大きさなどが変わる。１７０４は撮影ボタンであり、動画撮影開始／静止画撮影／自動撮影開始などが指示できるようになっている。１７０５は撮像装置設定を変更できる撮像装置セッティングボタンであり、１７０５をタップすると、撮像装置セッティングメニューが表示され、例えば解像度／フレームレート／ホワイトバランスなどの設定をマニュアルで操作できるようになっている。
　１７０３は「リモートコントロール操作ボタン」であり、ユーザがリモートで撮像装置を操作する場合にタップしてリモート操作画面に遷移する。リモート操作画面に遷移すると、図５Ｂの画面に遷移する。リモート操作画面では、パン・チルトを操作することのできる操作部１７０７と、ズーム操作をすることのできる操作部１７０８が表示される。パン・チルト操作部１７０７の上下アイコンをタッチすると指定している撮像装置のチルト駆動し、左右アイコンをタッチするとパン駆動し、撮像装置光軸を変更できる。また、操作部１７０８アイコンの操作で上方向にスイッチアイコンをスライド操作すると画角を狭める方向（Ｔｅｌｅ側）にズーム駆動し、下方向にスイッチアイコンをスライド操作すると画角を広げる方向（Ｗｉｄｅ側）にズーム駆動する。これにより画角を変更できるようする。
　ここでは１７０７や１７０８のような操作アイコンを表示する例を示した。しかしながら、操作アイコンを表示せず、タッチスクリーンの１７０２の画面内でピンチアウト、ピンチインすることでズーム駆動したり、スライド操作でパン・チルトを駆動するような構成にしてもよい。
　また、指定した被写体が画面の所定位置（例えば画面中央付近）を保持するように自動でパン・チルト、ズームを駆動したい場合、図５Ｃのようにタッチ操作で被写体を指定してもよい。タッチで被写体を指定すると、自動で被写体追尾する制御を行い、図５Ｄのように現在追尾している被写体が視覚的にわかるように、被写体枠１７０９を表示させるようにしている。追尾解除するまでは被写体追尾を継続し、解除は例えば解除ボタンを表示させてそのボタンをタッチすれば解除するようにしてもよいし、１７０７や１７０８などで撮像装置光軸や画角を手動変更したら追尾解除するようにしてもよい。
　また、自動フレーミング撮影動作中に、障害物が死角となり（例えば撮像装置の前に人が移動してその場に留まってしまった場合など）、指定した撮影領域が撮影できないような場合の警告表示について説明する。
　図９乃至１４を用いて説明したように撮影領域が指定されているので、撮影領域に設定された範囲よりも撮像装置側に近い前方の被写体を検出し、且つ撮影範囲に置いてその被写体の写る領域が所定値よりも大きい場合、死角が発生していると判定する。そして、スマートデバイスアプリケーション内に警告表示を行う。例えば、死角が発生している撮像装置はスマートデバイスに通知され、アプリケーションの１７０１の表示領域において撮像装置のアイコンを点滅させたり、エラー表示を行うなどして警告をユーザに知らせる。距離計測はフォーカスを利用したものでも外側センサを用いても何れの方法でもよい。若しくは、同時に同じ被写体を追尾撮影したり、同じ撮影領域を複数撮像装置で撮影している場合、他の撮像装置の画像情報（被写体検出情報や画像内の色相や彩度などの特徴情報）と一致しない場合などに警告表示させるなどしてもよい。
　＜自動フレーミング／撮影処理＞
　次に自動撮影処理の詳細を説明する。１７０４で撮影制御開始を指示すると撮影動作が開始される。図１５を用いて、撮影モード処理を説明する。
　Ｓ１５０１にて、撮像部２０６で取り込まれた信号を画像処理部２０７で被写体検出用に画像処理された画像を生成する。生成された画像からは、人物や物体検出などの被写体検出が行われる。
　人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出し、信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することができる。また、撮像された画像内の色相や彩度等のヒストグラムを使用する方法で特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。
　例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。また、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ（以下ＣＮＮと略記する）などを用いて予め検出したい被写体を学習しておき、顔認識や物体認識に対してＣＮＮを適用してもよい。以上の方法で、撮像情報から各被写体情報を得ることができる。
　Ｓ１５０２では被写体探索処理を行う。被写体探索は、以下の処理によって構成される。
（１）エリア分割
（２）エリア毎の重要度レベルの算出
（３）探索対象エリアの決定
　以下、順次説明する。
　（１）エリア分割
　図１６を用いて、エリア分割を説明する。
　図１６Ａのように撮像装置（原点Ｏが撮像装置位置とする。）位置を中心として、全周囲でエリア分割を行う。図１６Ａの例においては、チルト方向、パン方向それぞれ２２．５度で分割している。図１６Ａのように分割すると、撮像装置チルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。
　よって、図１６Ｂのように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。
　図１６Ｃ、図１６Ｄに撮影画角内でのエリア分割された例を示す。軸１６０１は初期化時の撮像装置１０１の方向であり、この方向角度を基準位置としてエリア分割が行われる。１６０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図１６Ｄに示す。画角に写し出されている画像内ではエリア分割に基づいて、図１６Ｄの１６０３～１６１８のように画像分割される。
　（２）エリア毎の重要度レベルの算出
　前記のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果（青空、逆光、夕景など）、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。
　また、図１２乃至１４で説明した方法でユーザによる撮影領域の指定が行われている場合、指定された撮影領域内で各撮像装置が探索、フレーミング動作を行うように、指定されていない領域に位置するエリアの重要度レベルを最小値に固定する。これにより、そのエリア方向の探索は行わないように設定する。
　なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するＳ９１０にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。但し、ユーザによる撮影領域の指定が行われていないエリアは可変させず最小値を保持させる。
　（３）探索対象エリアの決定
　前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
　Ｓ１５０３では、パン・チルト駆動を行う。パン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出し、鏡筒回転駆動部２０５によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。
　Ｓ１５０４ではズームユニット２０１を制御しズーム駆動を行う。具体的には、Ｓ１５０２で決定した探索対象被写体の状態に応じてズームを駆動させる。例えば、探索対象被写体が人物の顔であるとき、画像上の顔が小さすぎると検出可能な最小サイズを下回ることで検出が出来ず、見失ってしまう恐れがある。そのような場合は、望遠側にズームすることで画像上の顔のサイズが大きくなるように制御する。一方で、画像上の顔が大きすぎる場合、被写体や撮像装置自体の動きによって被写体が画角から外れやすくなってしまう。そのような場合は、広角側にズームすることで、画面上の顔のサイズが小さくなるように制御する。このようにズーム制御を行うことで、被写体を追跡するのに適した状態を保つことが出来る。
　Ｓ１５０２乃至Ｓ１５０４では、パン・チルトやズーム駆動により被写体探索を行う方法を説明したが、広角なレンズを複数使用して全方位を一度に撮影する撮像システムで被写体探索を行ってもよい。全方位撮像装置の場合、撮像によって得られる信号すべてを入力画像として、被写体検出などの画像処理を行うと膨大な処理が必要となる。そこで、画像の一部を切り出して、切り出した画像範囲の中で被写体の探索処理を行う構成にする。上述した方法と同様にエリア毎の重要レベルを算出し、重要レベルに基づいて切り出し位置を変更し、後述する自動撮影の判定を行う。これにより画像処理による消費電力の低減や高速な被写体探索が可能となる。
　Ｓ１５０５では、手動による撮影指示があったがどうかを判定し、撮影指示があった場合、Ｓ１５０６に進む。この時、手動による撮影指示は、シャッターボタン押下によるものや、撮像装置筺体を指等で軽く叩く（タップ）、音声コマンド入力、外部機器からの指示などによってもよい。タップ操作による撮影指示は、ユーザが撮像装置筺体をタップした際、装置揺れ検出部２０９によって短期間に連続した高周波の加速度を検知し、撮影トリガーとする撮影指示方法である。音声コマンド入力は、ユーザが所定の撮影を指示する合言葉（例えば「写真とって」等）を発声した場合、音声処理部２１４で音声を認識し、撮影のトリガーとする撮影指示方法である。外部機器からの指示は、例えば撮像装置と無線通信で接続したスマートフォン等から、専用のアプリケーションを介して送信されたシャッター指示信号をトリガーとする撮影指示方法である。
　Ｓ１５０６では、自動撮影判定を行う。自動撮影判定では、撮影を行うかどうかの判定を行う。
　＜自動撮影を行うかどうかの判定＞
　自動撮影を行うかどうかの判定は以下の２つの判定に基づいて行う。１つは、Ｓ１５０２にて得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施する判定を下す。２つめは、ニューラルネットワークに基づく判定である。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ＩＤ番号、被写体人物の視線角度、等を使用する。その他、シーン判別結果、前回撮影時からの経過時間、現在時刻、ＧＰＳ位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か、等を使用してもよい。また、振動情報（加速度情報、前記撮像装置状態）、環境情報（温度、気圧、照度、湿度、紫外線量）等を使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。
　なお、このニューラルネットワークに基づく判断は、後述する学習処理によって、各ニューロン間の結合重みを変化させることによって、出力値が変化し、判断の結果を学習結果に適応させることが出来る。
　＜撮影方法の判定＞
　撮影方法の判定では、Ｓ１５０１において検出した、周辺の被写体の状態に基づいて、静止画撮影、動画撮影の何れかを実行するかの判定を行う。例えば、被写体（人物）が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写を実行する。ニューラルネットワークによる判定を行ってもよい。また、専用のアプリケーションを用いて、撮像装置の設定を手動で変更することもでき、静止画のみを撮影するように指定もできるし、動画のみを指定することもできるし、両方を撮影として残すように設定することも可能である。
　Ｓ１５０７では、Ｓ１５０６の自動撮影判定により撮影する判定が下された場合、Ｓ１５０８に進み、下されなかった場合、撮影モード処理終了へと進む。
　Ｓ１５０８では、撮影を開始する。この時、Ｓ１５０６にて判定された撮影方法による撮影を開始する。その際、フォーカス駆動制御部２０４によるオートフォーカス制御を行う。また、不図示の絞り制御部およびセンサゲイン制御部、シャッター制御部を用いて、被写体が適切な明るさになるような露出制御を行う。さらに、撮影後には画像処理部２０７において、オートホワイトバランス処理、ノイズリダクション処理、ガンマ補正処理等、種々の公知の画像処理を行い、画像を生成する。
　また、動画撮影の場合、撮影記録中においてもＳ１５０１乃至Ｓ１５０４で説明したように被写体検出に基づいたパン・チルトとズーム駆動によるフレーミング動作を行いながら撮影する。上記方法のようにエリア分割した重要度レベルに基づいて探索を行ってもよいし、動画中は大きな探索動作を禁止するようにしてもよい。また、特定の被写体を登録し、登録した被写体を画面中心付近に保持するように、指定された撮影領域内でパン・チルト、ズームで追尾しながら動画撮影してもよい。
　Ｓ１５０９では、Ｓ１５０８にて生成した画像を加工したり、動画に追加したりといった編集処理を行う。画像加工については、具体的には、人物の顔や合焦位置に基づいたトリミング処理、画像の回転処理、ＨＤＲ（ハイダイナミックレンジ）効果、ボケ効果、色変換フィルタ効果などである。画像加工は、Ｓ１５０８にて生成した画像を元に、上記の処理の組み合わせによって複数生成し、前記Ｓ１５０８にて生成した画像とは別に保存するとしてもよい。また、動画処理については、撮影した動画または静止画を、生成済みの編集動画にスライド、ズーム、フェードの特殊効果処理をつけながら追加するといった処理をしてもよい。
　Ｓ１５１０では過去撮影情報の更新を行う。具体的には、Ｓ１５０６の説明で述べたエリア毎の撮影枚数や、個人認証登録された人物毎の撮影枚数、一般物体認識で認識された被写体毎の撮影枚数、シーン判別のシーン毎の撮影枚数について、今回撮影された画像が該当する枚数のカウントを１つ増やす。
　上記説明した方法により、複数撮像装置を用いた撮影領域指定を簡単に行うことができ、指定した撮影領域において複数の撮像装置が連動してフレーミング調整や、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことをサポートする。
　上記説明した方法により、撮影領域指定を簡単な操作で行うことができる。そして、指定した撮影領域の中で、複数の撮像装置が連動してフレーミング調整や、複数の撮像装置が指定された撮影領域を中心に自動撮影を行うことで、ユーザが望む映像を撮影し易くなる自動撮影を行うことができる。
　本実施形態においては、図１に示す構成のパン・チルト、ズームを有する撮像装置を複数台使用する例で説明した。しかしながら、複数台使用する撮像装置の中で、図１に示すパン・チルト、ズームの構成の撮像装置を用いてもよい。また、パン・チルトがないズームを有する撮像装置を用いてもよい。また、ズームのないパン・チルトを有する撮像装置を用いてもよい。また、一部撮像装置には、ズームもパン・チルトもない固定焦点距離の撮像装置を用いてもよい。また、複数の撮像素子及び広角な光学系を有して、全方位を一度に撮影する全方位撮像装置を用いてもよい。
　［その他の実施例］
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は、デジタルカメラやデジタルビデオカメラの撮影に限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮影装置と通信する情報処理装置にも搭載できる。情報処理装置は、スマートフォンのような携帯電話に限定されず、タブレット型コンピュータなどでもよい。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１８年７月３１日提出の日本国特許出願特願２０１８－１４３９３８を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (13)

  1. 　複数の撮像装置の位置情報を記憶する記憶手段と、
    　前記複数の撮像装置の方位および角度を取得する取得手段と、
    　前記複数の撮像装置の撮影エリアを設定する設定手段と、
    　前記記憶手段に記憶された情報と、前記取得手段により取得された情報と、前記設定手段により設定された撮影エリアの情報とに基づいて、撮影網羅できるエリアと撮影網羅できないエリアを通知する通知手段とを有することを特徴とする情報処理装置。
  2. 　前記設定手段は、前記複数の撮像装置の共通の撮影エリアを設定することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記設定手段は、撮像装置毎の個別の撮影エリアを設定することを特徴とする請求項１に記載の情報処理装置。
  4. 　前記撮像装置は、撮影レンズと撮像素子を有し、
    　前記設定手段により設定された撮影エリアに基づいて、自動撮影処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
  5. 　前記撮像装置は、前記撮影レンズと前記撮像素子を含む筐体を、少なくとも１軸以上の方向で回転駆動できる回転機構を備え、前記回転機構を回転して特定の被写体の探索処理を行うことを特徴とする請求項４に記載の情報処理装置。
  6. 　前記自動撮影処理には、撮影トリガーの検出処理が含まれることを特徴とする請求項４または５に記載の情報処理装置。
  7. 　前記撮像装置は、前記撮影レンズに含まれるズームレンズのズーム駆動を制御することで前記特定の被写体の探索処理を行うことを特徴とする請求項５に記載の情報処理装置。
  8. 　前記撮像装置は、撮影画像の一部を切り出して、前記特定の被写体の探索処理を行うことを特徴とする請求項５に記載の情報処理装置。
  9. 　前記設定手段により設定された撮影エリアの死角を検出する検出手段を有し、前記通知手段は、前記検出手段の検出結果をさらに通知することを特徴とする請求項１に記載の情報処理装置。
  10. 　複数の撮像装置を備えた制御システムであって、
    　前記複数の撮像装置の位置情報を記憶する記憶手段と、
    　前記複数の撮像装置の方位および角度を取得する取得手段と、
    　前記複数の撮像装置の撮影エリアを設定する設定手段と、
    　前記記憶手段に記憶された情報と、前記取得手段により取得された情報と、前記設定手段により設定された撮影エリアの情報とに基づいて、撮影網羅できるエリアと撮影網羅できないエリアを通知する通知手段とを有し、
    　前記設定手段により設定された撮影エリアに基づいて、前記複数の撮像装置が自動撮影処理を行うことを特徴とする制御システム。
  11. 　複数の撮像装置の位置情報を記憶する記憶工程と、
    　前記複数の撮像装置の方位および角度を取得する取得工程と、
    　前記複数の撮像装置の撮影エリアを設定する設定工程と、
    　前記記憶工程に記憶された情報と、前記取得工程により取得された情報と、前記設定工程により設定された撮影エリアの情報とに基づいて、撮影網羅できるエリアと撮影網羅できないエリアを通知する通知工程とを有することを特徴とする情報処理装置の制御方法。
  12. 　コンピュータにより請求項１１に記載の制御方法を実行させるためのプログラム。
  13. 　請求項１２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
PCT/JP2019/028929 2018-07-31 2019-07-24 情報処理装置及びその制御方法 WO2020026901A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/158,622 US20210152750A1 (en) 2018-07-31 2021-01-26 Information processing apparatus and method for controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018143938A JP7146507B2 (ja) 2018-07-31 2018-07-31 情報処理装置及びその制御方法
JP2018-143938 2018-07-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/158,622 Continuation US20210152750A1 (en) 2018-07-31 2021-01-26 Information processing apparatus and method for controlling the same

Publications (1)

Publication Number Publication Date
WO2020026901A1 true WO2020026901A1 (ja) 2020-02-06

Family

ID=69231075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028929 WO2020026901A1 (ja) 2018-07-31 2019-07-24 情報処理装置及びその制御方法

Country Status (3)

Country Link
US (1) US20210152750A1 (ja)
JP (1) JP7146507B2 (ja)
WO (1) WO2020026901A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD939325S1 (en) * 2019-10-11 2021-12-28 John F. Bently Mounting holder
JP7490391B2 (ja) 2020-02-26 2024-05-27 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
JP7377928B1 (ja) 2022-08-26 2023-11-10 ソフトバンク株式会社 トラッキング装置、プログラム、及びトラッキング方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239821A (ja) * 2008-03-28 2009-10-15 Toa Corp カメラ設置シミュレータプログラム
JP2012109733A (ja) * 2010-11-16 2012-06-07 Sumitomo Electric Ind Ltd 監視システム及び監視装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5866499B2 (ja) * 2014-02-24 2016-02-17 パナソニックＩｐマネジメント株式会社 監視カメラシステム及び監視カメラシステムの制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239821A (ja) * 2008-03-28 2009-10-15 Toa Corp カメラ設置シミュレータプログラム
JP2012109733A (ja) * 2010-11-16 2012-06-07 Sumitomo Electric Ind Ltd 監視システム及び監視装置

Also Published As

Publication number Publication date
US20210152750A1 (en) 2021-05-20
JP2020022052A (ja) 2020-02-06
JP7146507B2 (ja) 2022-10-04

Similar Documents

Publication Publication Date Title
US20110216159A1 (en) Imaging control device and imaging control method
CN111294488B (zh) 摄像设备及其控制方法和存储介质
JP7348754B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
WO2020026901A1 (ja) 情報処理装置及びその制御方法
JP2020061761A (ja) 画像処理装置、画像処理方法、プログラム
EP3352453B1 (en) Photographing method for intelligent flight device and intelligent flight device
US20220368825A1 (en) Image capturing apparatus, method for controlling the same, and storage medium
US11463617B2 (en) Information processing apparatus, information processing system, image capturing apparatus, information processing method, and memory
CN111246056B (zh) 信息处理设备及其控制方法、摄像设备和存储介质
US11843846B2 (en) Information processing apparatus and control method therefor
US11245830B2 (en) Image capture apparatus and control method for same, and storage medium
US20220337740A1 (en) Image capturing apparatus, control method of image capturing apparatus, and storage medium
CN110881096B (zh) 摄像设备及其控制方法和存储介质
US20210099642A1 (en) Image capturing apparatus, control method therefor, and storage medium
US20240098358A1 (en) Information processing apparatus and control method therefor
JP2022053355A (ja) 撮像装置
JP2021111960A (ja) 撮像装置、撮像装置の制御方法、プログラム
JP2020071873A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7393133B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体
US20230254571A1 (en) Image capturing apparatus, method for controlling the same, and storage medium
JP2019121855A (ja) 撮像装置およびその制御方法
JP2017216599A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19844976

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19844976

Country of ref document: EP

Kind code of ref document: A1