WO2019093016A1 - 撮影システム、撮影方法、及びプログラム - Google Patents

撮影システム、撮影方法、及びプログラム Download PDF

Info

Publication number
WO2019093016A1
WO2019093016A1 PCT/JP2018/036627 JP2018036627W WO2019093016A1 WO 2019093016 A1 WO2019093016 A1 WO 2019093016A1 JP 2018036627 W JP2018036627 W JP 2018036627W WO 2019093016 A1 WO2019093016 A1 WO 2019093016A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
photographing
magnification
camera
control device
Prior art date
Application number
PCT/JP2018/036627
Other languages
English (en)
French (fr)
Inventor
悠介 鴨谷
宜史 河口
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2019552656A priority Critical patent/JP7203305B2/ja
Publication of WO2019093016A1 publication Critical patent/WO2019093016A1/ja
Priority to US16/865,474 priority patent/US10965876B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/04—Position of source determined by a plurality of spaced direction-finders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location

Definitions

  • the present disclosure relates to an imaging system, an imaging method, and a program for imaging at least one movable object.
  • an imaging system that controls an azimuth angle (pan), an elevation angle (tilt), and a magnification (zoom) of a camera and automatically tracks an object to be an object while shooting.
  • an image captured by a camera is analyzed to detect an object from the image, and the camera is controlled based on the detection result.
  • the imaging system takes a picture taken by the camera in the case of imaging only one speaker who moves little or only slowly under constant illumination, for example, during lectures and lessons. That is, the image can be taken in line with the center of the entire field of view of the camera.
  • Imaging systems that track objects using image analysis are useful when imaging only a single object, which moves little or only slowly under constant illumination, as described above.
  • a photographing system when photographing a demonstration (a concert, a dance, a play, etc.) accompanied by intense movement, a sport, a race, etc., tracking of the object fails in the following cases, for example: There is. (1) In the case where there are multiple objects (singer, actor, player, etc.) in the shooting range of the camera, and two or more objects overlap when viewed from the camera. (2) When image analysis fails due to high-speed movement of an object or the like. (3) When the object goes out of the imaging range of the camera due to high-speed movement of the object or when the object disappears from the camera due to being hidden by an obstacle. (4) When the luminance and / or the color of the illumination changes drastically for the purpose of rendering.
  • An object of the present disclosure is to provide an imaging system, an imaging method, and a program capable of tracking and imaging an object more reliably than in the prior art.
  • an imaging system for imaging a movable object includes a transmitter, a positioning device, an imaging device, and a control device.
  • the transmitter is attached to the object and wirelessly transmits the positioning signal.
  • the positioning device receives the positioning signal and determines the position of the object based on the positioning signal.
  • the imaging device captures an object with variable directions and variable magnifications.
  • the control device controls the direction and magnification of the imaging device.
  • the control device calculates the direction and distance from the imaging device to the object based on the position of the object determined by the positioning device.
  • the control device sets the first direction and the first magnification in the imaging device based on the calculated direction and distance.
  • the control device sets the second direction and the second magnification in the imaging device based on the imaging data generated by imaging the object with the imaging device in which the first direction and the first magnification are set. Do.
  • the object is tracked and imaged more reliably than in the related art by referring to the position of the object determined by the positioning device and the content of the imaging data. be able to.
  • FIG. 1 is a schematic view showing a concert hall 1 provided with a photographing system according to the embodiment.
  • FIG. 2 is a block diagram showing the configuration of the imaging system according to the embodiment.
  • FIG. 3 is a perspective view showing the camera 25 of FIG.
  • FIG. 4 is a flowchart showing camera control processing executed by the control device 24 of FIG.
  • FIG. 5 is a view showing a shooting range 30 and a scan range 31 of the camera 25 of FIG.
  • FIG. 6 is a diagram showing a state in which the subject 11-1 is captured by the camera 25 of FIG.
  • FIG. 7 is a view showing the imaging range 30 and the enlarged scan range 31A of the camera 25 of FIG.
  • FIG. 8 is a view showing a state in which a plurality of subjects 11-1 to 11-2 are captured by the camera 25 of FIG.
  • FIG. 9 is a diagram showing a state in which the face of the object person 11-1 is captured by the camera 25 of FIG.
  • FIG. 1 is a schematic view showing a concert hall 1 provided with a photographing system according to the embodiment.
  • the concert hall 1 includes a stage 2, a stage sleeve 3 and a wall 4.
  • the wall and the ceiling other than the back of the stage 2 are omitted for convenience of illustration.
  • each object 11 is a performer such as a concert or a play, and is hereinafter referred to as a “target person 11”.
  • the concert hall 1 further includes a console 5, beacon devices 21-1 to 21-3, receivers 22-1 to 22-3, cameras 25-1 to 25-5, and display devices 27-1 to 27-3.
  • An imaging system is provided. Each subject 11 moving on the stage 2 is tracked and photographed by this photographing system.
  • FIG. 2 is a block diagram showing the configuration of the imaging system according to the embodiment.
  • the console 5 includes a position management device 23, control devices 24-1 to 24-5, an SDI (Serial Digital Interface) switch 26, and a network hub 28.
  • the beacon devices 21-1 to 21-3 are wirelessly connected to the receivers 22-1 to 22-3.
  • the receivers 22-1 to 22-3, the position management device 23, the control devices 24-1 to 24-5, and the cameras 25-1 to 25-5 are connected via a LAN (Local Area Network) including the network hub 28. Connected to each other.
  • the output terminals of the cameras 25-1 to 25-5 are connected to the SDI switch 26 via an SDI cable.
  • the input terminals of the display devices 27-1 to 27-3 are also connected to the SDI switch 26 via an SDI cable.
  • the beacon devices 21-1 to 21-3 are attached to the target persons 11-1 to 11-3, respectively, as shown in FIG. These beacon devices 21-1 to 21-3 are also generically called “beacon devices 21". Each beacon device 21 wirelessly transmits a positioning signal for determining the position of the corresponding target person 11. Each beacon device 21 wirelessly transmits an omnidirectional beacon signal as a positioning signal to the receivers 22-1 to 22-3 according to, for example, the BLE (Bluetooth (registered trademark) Low Energy) standard. Each beacon device 21 is assigned an identifier associated with the corresponding target person 11. Each positioning signal includes an identifier of the beacon device 21 of the transmission source. Each beacon device 21 can be made, for example, with a maximum dimension of 2 to 3 cm. However, in FIG. 1 and others, for convenience of illustration, each beacon device 21 is shown in a size larger than the actual size based on the size of the body of each target person 11.
  • the receivers 22-1 to 22-3 are respectively attached to different positions on the wall or ceiling of the concert hall 1, for example. These receivers 22-1 to 22-3 are also collectively referred to as "receiver 22". Each receiver 22 receives the positioning signal transmitted from each beacon device 21. Here, the positioning signal transmitted by one beacon device 21 is received by a plurality of receivers 22. Each receiver 22 measures, for example, the radio wave intensity or the arrival direction of the positioning signal. Each receiver 22 sends the measurement result of the positioning signal to the position management device 23 via the LAN.
  • the position management device 23 determines the position of each target person 11 (that is, the corresponding beacon device 21) based on the measurement result of the positioning signal obtained by each receiver 22. When each receiver 22 measures the radio wave strength of the positioning signal, the position management device 23 performs 3 based on the radio wave strength of the positioning signal transmitted from one beacon device 21 and received by at least three receivers 22. The position of the beacon device 21 in the dimensional space is determined. In addition, when each receiver 22 measures the arrival direction of the positioning signal, the position management device 23 is based on the arrival direction of the positioning signal transmitted from one beacon device 21 and received by at least two receivers 22. , Determine the position of the beacon device 21 in a three-dimensional space. The position management device 23 sends the identifier and the position of each beacon device 21 to the control devices 24-1 to 24-5 via the LAN.
  • the position management device 23 may be, for example, a general-purpose personal computer, or a dedicated device for determining the position of each target person 11.
  • the control devices 24-1 to 24-5 execute camera control processing to be described later with reference to FIG. 4, and via the LAN, the azimuth angle, elevation angle, and the azimuth angle of one corresponding camera 25-1 to 25-5. Control the magnification respectively.
  • These control devices 24-1 to 24-5 are also collectively referred to as "control device 24".
  • the user inputs an identifier of a certain beacon device 21 to a certain control device 24 to designate a target person 11 to be traced and photographed using a camera 25 corresponding to the control device 24.
  • Each control device 24 acquires the position of the corresponding beacon device 21 from the position management device 23 based on the identifier.
  • each control device 24 receives imaging data generated by one corresponding camera 25-1 to 25-5 via the LAN.
  • Each control device 24 executes camera control processing described later based on the position of the beacon device 21 and the imaging data.
  • each control device 24 performs image analysis on the shooting data to recognize the user's body or face. For this reason, each control device 24 learns a human body or face in advance by, for example, deep learning. Each control device 24 may individually learn both the human body and the face. Each control device 24 may learn its body or face only to performers (singer, dancer, actor, etc.) such as a concert or a play to improve the accuracy of image analysis.
  • Each control device 24 may be, for example, a general-purpose personal computer, or a dedicated device for controlling the camera 25. Each control device 24 executes a camera control processing program. Each control device 24 includes an input device for the user to input the identifier of the beacon device 21 and a display device for displaying the progress of the photographing data and the camera control process.
  • FIG. 3 is a perspective view showing the camera 25 of FIG.
  • the azimuth, elevation and magnification of each camera 25 are controlled by the corresponding controller 24.
  • Photographed data generated by each camera 25 is sent to an SDI switch 26 via an SDI cable.
  • the imaging data is also sent to the corresponding control device 24 via the LAN.
  • each control device 24 recognizes the position of each point included in the imaging range of each camera 25 when an arbitrary azimuth angle, an arbitrary elevation angle, and an arbitrary magnification are set for the corresponding camera 25.
  • the position of the beacon device 21 is represented by three-dimensional coordinates
  • the position of each point included in the imaging range of each camera 25 is represented by two-dimensional coordinates.
  • Each control device 24 mutually converts these coordinates based on the position of the camera 25, the lens information (viewing angle etc.) of the camera 25, the current azimuth angle, the elevation angle, and the magnification.
  • each control device 24 sets the azimuth angle and elevation angle of the camera 25 so that the target person 11 who is trying to track and shoot with the corresponding camera 25 is included in the shooting range of the camera 25. And control the magnification.
  • the SDI switch 26 has five input terminals and three output terminals, and connects any three of the five input terminals to the output terminal under the control of the user.
  • the display devices 27-1 to 27-3 are attached to, for example, the back wall 4 of the concert hall 1, as shown in FIG. These display devices 27-1 to 27-3 are also generically called "display device 27". Each display device 27 displays, for example, a magnified image of a corresponding one target person 11 in real time.
  • the user operates the SDI switch 26 to specify on which display device 27 the photographing data of which camera 25 is to be displayed.
  • FIG. 4 is a flowchart showing camera control processing executed by the control device 24 of FIG. This flowchart shows the process executed by one control device 24 corresponding to the camera 25 when one subject person 11 is tracked and photographed by one camera 25.
  • step S1 of FIG. 4 the control device 24 acquires, from the user, an identifier (ID) of the beacon device 21 of the target person 11 who is to be tracked and photographed by the camera 25.
  • ID an identifier
  • step S ⁇ b> 2 the control device 24 acquires the position of the beacon device 21 of the target person 11 from the position management device 23 based on the identifier of the beacon device 21.
  • step S3 the control device 24 calculates the azimuth, elevation angle, and distance from the camera 25 to the subject 11 based on the position of the beacon device 21 of the subject 11.
  • step S4 the control device 24 determines whether the subject 11 is included in a predetermined scan range of the imaging range of the camera 25. If YES, the process proceeds to step S6, and if NO The process proceeds to step S5.
  • the scan range indicates the range of pixels to be subjected to image analysis when image analysis is performed in later step S6.
  • step S5 the control device 24 controls the azimuth angle, elevation angle, and magnification of the camera 25 so that the subject 11 is included in the scan range.
  • FIG. 5 is a view showing a shooting range 30 and a scan range 31 of the camera 25 of FIG.
  • FIG. 6 is a diagram showing a state in which the subject 11-1 is captured by the camera 25 of FIG. 5 to 9 are displayed on the display device of the control device 24.
  • the control device 24 controls the azimuth angle and elevation angle of the camera 25 such that the beacon device 21-1 (ie, the subject 11-1) is included in the scan range 31. And control the magnification.
  • step S5 the control device 24 returns to step S2, and reacquires the position of the beacon device 21 of the object person 11 from the position management device 23.
  • Steps S2 to S5 in FIG. 4 are rough control of the camera 25 based on the position of the beacon device 21, and are executed before image analysis is performed.
  • the controller 24 controls the camera 25 to execute the first azimuth angle, the first elevation angle, and the first magnification (the first photographing condition) based on the azimuth angle, the elevation angle, and the distance calculated in step S3. Set).
  • the control device 24 determines the first imaging condition so that the subject 11 is located in the scan range and the subject 11 is imaged in a predetermined first size.
  • the control device 24 shoots the target person 11 with the camera 25 in which the first shooting condition is set, and generates shooting data.
  • the user may input information on the size of the target person 11 into the control device 24 in advance.
  • the control device 24 controls the subject 24 so that the subject 11 is photographed in a predetermined first size based on the information on the size of the subject 11 and the distance from the camera 25 to the subject 11.
  • a scaling factor of 1 can be determined.
  • step S6 the control device 24 performs image analysis on the imaging data to recognize the body or face of the subject person 11.
  • the controller 24 analyzes a part of the imaging data corresponding to a predetermined scan range of the imaging range of the camera 25 when performing image analysis on the imaging data.
  • step S7 the control device 24 determines whether or not the recognition of the body or face has succeeded, and proceeds to step S9 when YES, and proceeds to step S8 when NO.
  • step S8 the control device 24 enlarges the scan range and returns to step S2. Then, in step S6, the control device 24 analyzes a portion of the imaging data corresponding to the enlarged scan range.
  • FIG. 7 is a view showing the imaging range 30 and the enlarged scan range 31A of the camera 25 of FIG. Possibility that the body or face of the subject person 11 is included in the scan range 31 by controlling the azimuth angle, elevation angle, and magnification of the camera 25 based on the position of the beacon device 21 in steps S2 to S5 of FIG. 4 Is considered high. However, if the body or face of the subject 11 is not recognized, the calculation load of the control device 24 is increased by expanding the scan range 31, but the body or face of the subject 11 can be recognized more reliably. Conceivable.
  • step S8 the control device 24 returns to step S2, and reacquires the position of the beacon device 21 of the object person 11 from the position management device 23.
  • step S9 the control device 24 determines whether a plurality of bodies or a plurality of faces have been recognized. If YES, the process proceeds to step S10, and if NO, the process proceeds to step S11. In step S10, the control device 24 selects a body or a face closest to the position of the beacon device 21 of the target person 11 based on the position of the target person 11 determined by the position management device 23.
  • FIG. 8 is a view showing a state in which a plurality of subjects 11-1 to 11-2 are captured by the camera 25 of FIG.
  • the control device 24 analyzes the shooting data and detects a plurality of bodies or a plurality of faces, the control device 24 is based on the position of the beacon device 21-1 determined by the position management device 23 (that is, the position of the object person 11-1). And select the body or face of the subject 11-1.
  • step S11 the control device 24 controls the azimuth angle, elevation angle, and magnification of the camera 25 such that the center of the body or face of the subject 11 is located at the center of the imaging range of the camera 25.
  • FIG. 9 is a diagram showing a state in which the face of the object person 11-1 is captured by the camera 25 of FIG.
  • the control device 24 displays a bounding block 32 on the display device of the control device 24 so as to surround the recognized face.
  • the control device 24 reduces the scan range 31 to a size including at least the recognized body or face in step S12.
  • FIG. 9 shows a scan range 31 B which is further reduced than the original size of the scan range 31.
  • Steps S6 to S12 in FIG. 4 are fine control of the camera 25 based on image analysis.
  • the controller 24 controls the camera 25 to generate a second azimuth angle, a second elevation angle, and a second angle, based on the imaging data, in detail, based on the position and size of the body or face recognized in step S6.
  • the magnification also referred to as “second shooting condition” is set.
  • the control device 24 is configured such that the center of the body or face of the subject 11 is located at the center of the imaging range of the camera 25 and the body or face of the subject 11 is imaged in a second predetermined size. As such, the second imaging condition is determined.
  • the control device 24 shoots the target person 11 with the camera 25 in which the second shooting condition is set, and generates shooting data.
  • step S12 of FIG. 4 the process returns to step S2. While the beacon device 21-1 is included in the scan range 31 and the body or face of the target person 11 is included in the scan range 31, the control device 24 continues imaging as it is. On the other hand, when the beacon device 21-1 moves outside the scan range 31, or when the body or face of the object person 11 moves outside the scan range 31, the control device 24 controls the azimuth angle and elevation angle of the camera 25. And the magnification of the subject 11 is tracked and photographed.
  • the camera control process of FIG. 4 can be executed individually by the control devices 24-1 to 24-5 of FIG.
  • the imaging system for imaging at least one movable object 11 includes the beacon device 21, the position management device 23, the camera 25, and the control device 24.
  • the beacon device 21 is attached to the object 11 and wirelessly transmits a positioning signal.
  • the receiver 22 receives the positioning signal.
  • the position management device 23 determines the position of the object 11 based on the positioning signal.
  • the camera 25 captures an image of the object 11 with variable direction and variable magnification.
  • the controller 24 controls the direction and magnification of the camera 25.
  • the control device 24 calculates the direction and distance from the camera 25 to the object 11 based on the position of the object 11 determined by the position management device 23.
  • the controller 24 sets the first direction and the first magnification for the camera 25 based on the calculated direction and distance.
  • the control device 24 causes the camera 25 to obtain the second direction and the second magnification based on the imaging data generated by imaging the object 11 with the camera 25 in which the first direction and the first magnification are set.
  • control device 24 captures an image of the object 11 in the first size such that the object 11 is positioned in a predetermined scan range of the imaging range of the camera 25. As such, the first direction and the first magnification are determined.
  • the object 11 is a human.
  • the controller 24 analyzes the shooting data to recognize the body or face of the object 11.
  • the controller 24 is configured such that the center of the body or face of the object 11 is located at the center of the imaging range of the camera 25 and that the body or face of the object 11 is imaged in the second size. Determine the direction of 2 and the second magnification.
  • an appropriate direction and an appropriate magnification can be set in the camera 25.
  • control object 24 determines the target object 11 based on the position of the target object 11 determined by the position management device 23. Choose your body or face.
  • an appropriate direction and an appropriate magnification can be set to camera 25.
  • the control device 24 when analyzing the imaging data and recognizing the body or the face of the object 11, the control device 24 analyzes a part of the imaging data corresponding to the scan range. When the body or face of the object 11 is not recognized, the control device 24 enlarges the scan range and analyzes a part of the imaging data corresponding to the enlarged scan range.
  • the calculation load increases when the body or face of the object 11 is not recognized, but the increase of the calculation load can be suppressed in other cases.
  • the positioning signal includes an identifier associated with the object 11.
  • an imaging method for imaging at least one movable object 11 includes the step of wirelessly transmitting a positioning signal by the beacon device 21 attached to the object 11.
  • the present imaging method includes the steps of receiving positioning signals by a plurality of receivers 22 provided at predetermined positions, and determining the position of the object 11 based on the positioning signals.
  • the present imaging method includes the step of calculating the direction and distance from the camera 25 to the object 11 based on the determined position of the object 11.
  • the present photographing method includes the step of setting the first direction and the first magnification in the camera 25 based on the calculated direction and distance.
  • the present photographing method includes the step of photographing the object 11 with the camera 25 in which the first direction and the first magnification are set, and generating photographing data.
  • the present photographing method includes the step of setting the second direction and the second magnification in the camera 25 based on the photographing data.
  • a program for controlling an imaging system for imaging at least one movable object 11 is provided.
  • the imaging system is attached to the object 11 and wirelessly transmits a positioning signal, a receiver 22 that receives the positioning signal, and a position management device 23 that determines the position of the object 11 based on the positioning signal.
  • a camera 25 for photographing the object 11 in variable directions and variable magnifications.
  • the program calculates the direction and distance from the camera 25 to the object 11 on the basis of the position of the object 11 determined by the position management device 23 and on the camera 25 on the basis of the calculated direction and distance.
  • each control device 24 calculates the distance from the camera 25 to the beacon device 21 based on the position of the beacon device 21 before performing image analysis, and the magnification of the camera 25 based on this distance. Control. Therefore, the magnification suitable for image analysis can be set in the camera 25 before image analysis is performed. Further, even when the body or face of the object is not recognized by the image analysis, the magnification considered to be appropriate is set in the camera 25.
  • the position of the beacon device 21 when the object 11 goes out of the imaging range of the camera 25 or when the object 11 is hidden by an obstacle (for example, the object Even if the object 11 is located on the stage sleeve 3 of FIG. 1 or the like, the object 11 can be tracked continuously. Therefore, when the object 11 returns to the imaging range of the camera 25 or when the object 11 is not hidden by the obstacle, the object 11 can be recaptured by the camera 25 immediately.
  • the distance from the object 11 to the camera 25 can be known by referring to the position of the beacon device 21, it is possible to estimate an appropriate magnification and automate the zoom operation of the camera 25.
  • the position of the beacon device 21 when a plurality of body or face candidates are detected in the imaging data, the body or face closest to the position of the object person 11 can be selected.
  • each control device 24 may use, as an image analysis engine, an engine in which the body or face of the target person 11 has been learned in advance by deep learning. As a result, the detection rate of the body or face in the imaging data is improved, so that the camera 25 can be controlled to keep the object 11 aligned with the center of the imaging range of the camera 25.
  • the object 11 is tracked and photographed more reliably than in the prior art. be able to.
  • the point of this embodiment is not to use both of these two types of positions, but how to combine and use these two types of positions, as described below.
  • each control device 24 controls the camera 25 based on only the position of the beacon device 21.
  • each control device 24 roughly controls the camera 25 based on the position of the beacon device 21 and then moves to the position of the body or face of the object 11 recognized by the image analysis.
  • the camera 25 is finely controlled based on it.
  • the position of the beacon device 21 can always be obtained, but its accuracy is relatively low.
  • the body or face of the object 11 may not be recognized, but if it can be recognized, its accuracy is high. Therefore, by combining these two types of positions, it is possible to track and capture the object 11 more reliably than in the prior art.
  • each control device 24 may be of the subject 11 based on the position of the beacon device 21. The body or face with the highest sex can be selected.
  • the distance from the camera 25 to the object 11 can be known based on the position of the beacon device 21, it can be inferred in what size the object 11 appears in the photographed data. Image analysis can be performed more accurately and efficiently based on the size of the object 11.
  • beacon device 21 which transmits a beacon signal was explained as an example of a transmitter which transmits a positioning signal.
  • the transmitter is not limited to the beacon device 21 that transmits the beacon signal.
  • the transmitter may be a wireless transmitter that transmits any wireless signal other than the beacon signal as long as the position of the corresponding target person 11 can be determined.
  • the receivers 22-1 to 22-3 and the position management device 23 have been described as an example of the positioning device.
  • the positioning device may be any other device, for example, including a different number of receivers, as long as it can determine the position of the corresponding target person 11.
  • the position management device 23 may be integrated into one of the control devices 24.
  • the position management device 23 determines the position of the three-dimensional coordinate of the beacon device 21. However, if the movement of the object 11 is restricted, the position management device 23 may determine the position in the two-dimensional space or the position in the one-dimensional space.
  • control devices 24-1 to 24-5 are described as an example of the control device.
  • the control device may be any other device as long as it can control the cameras 25-1 to 25-5.
  • one control device 24 is provided for one camera 25 in the example of FIG. 2, a plurality of cameras 25 may be controlled by one control device 24.
  • the cameras 25-1 to 25-5 having variable azimuth angles, variable elevation angles, and variable magnifications have been described as an example of the imaging device.
  • the imaging apparatus has at least one of a variable azimuth angle and a variable elevation angle (variable direction) and can photograph the object 11 with a variable magnification
  • the other is It may be any device.
  • the imaging device may be further configured to move the imaging device itself in order to image the object 11 from different positions.
  • the imaging data generated by the camera 25 is displayed on the display device 27 in real time.
  • the imaging data may be recorded on the controller 24 or another recording device.
  • the body or face closest to the position of the beacon device 21 of the subject 11 is selected, and the subject 11 is selected in the center of the imaging range of the camera 25.
  • the case where the camera 25 is controlled so that the center of the body or face of the subject is positioned steps S9 to S11).
  • the body or face of the subject 11 can not be properly selected from a plurality of bodies or faces.
  • the control device 24 when detecting a plurality of bodies or a plurality of faces, the control device 24 generates a bounding block which is the smallest rectangle including all of the bodies or faces, and sets the bounding block at the center of the imaging range of the camera 25.
  • the camera 25 may be controlled so that the center is located.
  • the imaging system may be installed at a sports or race stadium or the like.
  • an object 11 such as a human, a vehicle, or an animal is tracked and photographed.
  • a combination of three-dimensional position management with a power-saving beacon device and high-accuracy image recognition technology achieves human-like camera work and saves imaging. It can be humanized. This can create a new video market for live entertainment.
  • the imaging system according to the aspect of the present disclosure can be used, for example, as an imaging system for a broadcast studio.
  • a photographing system according to an aspect of the present disclosure can be used as a real-time video transmission system for live entertainment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Accessories Of Cameras (AREA)

Abstract

撮影システムは、対象物に取り付けられ、測位信号を無線送信する送信機と、測位信号を受信し、測位信号に基づいて対象物の位置を決定する測位装置と、可変な方向及び可変な倍率で対象物を撮影する撮影装置と、撮影装置の方向及び倍率を制御する制御装置とを備える。制御装置は、測位装置によって決定された対象物の位置に基づいて、撮影装置から対象物への方向及び距離を計算し、計算された方向及び距離に基づいて、撮影装置に第１の方向及び第１の倍率を設定する。そして、制御装置は、第１の方向及び第１の倍率が設定された撮影装置により対象物を撮影することにより生成された撮影データに基づいて、撮影装置に第２の方向及び第２の倍率を設定する。

Description

撮影システム、撮影方法、及びプログラム
　本開示は、少なくとも１つの移動可能な対象物を撮影する撮影システム、撮影方法、及びプログラムに関する。
　カメラの方位角（パン）、仰角（チルト）、及び倍率（ズーム）を制御し、被写体となる対象物を自動的に追跡しながら撮影する撮影システムがある。例えば、特許文献１の発明は、カメラによって撮影された画像を解析して画像から対象物を検出し、この検出結果に基づいてカメラを制御する。従来技術に係る撮影システムは、例えば、講演及び授業など、一定の照明の下で、ほとんど又はゆっくりとしか動かない、１人の話者のみを撮影する場合、この話者をカメラの撮影範囲（すなわち、カメラの視野全体）の中央に合わせて撮影することができる。
国際公開第２００７／０８８８５６号
　画像解析を用いて対象物を追跡する撮影システムは、前述のように、一定の照明の下で、ほとんど又はゆっくりとしか動かない、単一の対象物のみを撮影する場合には有効である。しかしながら、このような撮影システムでは、激しい動きなどを伴う実演（コンサート、ダンス、演劇など）、スポーツ、及びレースなどを撮影するとき、例えば以下のような場合に、対象物の追跡に失敗することがある。
（１）カメラの撮影範囲に複数の対象物（歌手、俳優、選手など）が存在し、カメラから見て２つ以上の対象物が重なり合う場合。
（２）対象物の高速移動などにより画像解析に失敗する場合。
（３）対象物の高速移動などにより対象物がカメラの撮影範囲の外に出る場合、又は、対象物が障害物に隠れることによりカメラから見えなくなる場合。
（４）演出などの目的で、照明の輝度及び／又は色彩などが激しく変化する場合。
　従って、複数の対象物がある場合、対象物が急速に移動する場合、及び／又は照明が激しく変化する場合、などであっても、対象物を確実に追跡して撮影することが求められる。
　本開示の目的は、従来技術よりも確実に対象物を追跡して撮影することができる撮影システム、撮影方法、及びプログラムを提供することにある。
　本開示の一態様に係る撮影システムによれば、移動可能な対象物を撮影する撮影システムは、送信機と、測位装置と、撮影装置と、制御装置とを備える。送信機は、対象物に取り付けられ、測位信号を無線送信する。測位装置は、測位信号を受信し、測位信号に基づいて対象物の位置を決定する。撮影装置は、可変な方向及び可変な倍率で対象物を撮影する。制御装置は、撮影装置の方向及び倍率を制御する。制御装置は、測位装置によって決定された対象物の位置に基づいて、撮影装置から対象物への方向及び距離を計算する。制御装置は、計算された方向及び距離に基づいて、撮影装置に第１の方向及び第１の倍率を設定する。制御装置は、第１の方向及び第１の倍率が設定された撮影装置により対象物を撮影することにより生成された撮影データに基づいて、撮影装置に第２の方向及び第２の倍率を設定する。
　本開示の一態様に係る撮影システムによれば、測位装置によって決定された対象物の位置と、撮影データの内容とを参照することにより、従来技術よりも確実に対象物を追跡して撮影することができる。
図１は、実施形態に係る撮影システムを備えたコンサートホール１を示す概略図である。 図２は、実施形態に係る撮影システムの構成を示すブロック図である。 図３は、図１のカメラ２５を示す斜視図である。 図４は、図２の制御装置２４によって実行されるカメラ制御処理を示すフローチャートである。 図５は、図１のカメラ２５の撮影範囲３０及びスキャン範囲３１を示す図である。 図６は、図１のカメラ２５によって対象者１１－１が捕捉された状態を示す図である。 図７は、図１のカメラ２５の撮影範囲３０及び拡大されたスキャン範囲３１Ａを示す図である。 図８は、図１のカメラ２５によって複数の対象者１１－１～１１－２が捕捉された状態を示す図である。 図９は、図１のカメラ２５によって対象者１１－１の顔が捕捉された状態を示す図である。
　以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施形態）
　以下、図１～図９を参照して、実施形態に係る撮影システムを説明する。
　［１－１．構成］
　図１は、実施形態に係る撮影システムを備えたコンサートホール１を示す概略図である。コンサートホール１は、舞台２、舞台袖３、及び壁４を含む。図１では、図示の都合により、舞台２の奥以外の壁と、天井とを省略している。
　舞台２の上には、移動可能な複数の対象物１１－１～１１－３が存在する。これらの対象物１１－１～１１－３を総称して「対象物１１」とも呼ぶ。図１の例では、各対象物１１は、コンサート又は演劇などの実演家であり、以下、「対象者１１」という。
　コンサートホール１には、さらに、コンソール５、ビーコン装置２１－１～２１－３、受信機２２－１～２２－３、カメラ２５－１～２５－５、及びディスプレイ装置２７－１～２７－３を含む撮影システムが設けられている。この撮影システムにより、舞台２の上で移動する各対象者１１を追跡して撮影する。
　図２は、実施形態に係る撮影システムの構成を示すブロック図である。コンソール５は、位置管理装置２３、制御装置２４－１～２４－５、ＳＤＩ（Serial Digital Interface）スイッチ２６、及びネットワークハブ２８を含む。ビーコン装置２１－１～２１－３は、受信機２２－１～２２－３に無線接続されている。受信機２２－１～２２－３、位置管理装置２３、制御装置２４－１～２４－５、及びカメラ２５－１～２５－５は、ネットワークハブ２８を含むＬＡＮ（Local Area Network）を介して互いに接続されている。カメラ２５－１～２５－５の出力端子は、ＳＤＩケーブルを介してＳＤＩスイッチ２６に接続されている。ディスプレイ装置２７－１～２７－３の入力端子もまた、ＳＤＩケーブルを介してＳＤＩスイッチ２６に接続されている。
　ビーコン装置２１－１～２１－３は、図１に示すように、対象者１１－１～１１－３にそれぞれ取り付けられる。これらのビーコン装置２１－１～２１－３を総称して「ビーコン装置２１」とも呼ぶ。各ビーコン装置２１は、対応する対象者１１の位置を決定するための測位信号を無線送信する。各ビーコン装置２１は、例えばＢＬＥ（Bluetooth（登録商標） Low Energy）規格により、無指向性のビーコン信号を測位信号として受信機２２－１～２２－３に無線送信する。各ビーコン装置２１には、対応する対象者１１に関連付けられた識別子が割り当てられる。各測位信号は、送信元のビーコン装置２１の識別子を含む。各ビーコン装置２１は、例えば２～３ｃｍの最大寸法で作成可能である。ただし、図１他では、図示の都合により、各対象者１１の身体のサイズを基準として、各ビーコン装置２１を実際よりも大きなサイズで示す。
　受信機２２－１～２２－３は、例えばコンサートホール１の壁又は天井において、互いに異なる位置にそれぞれ取り付けられる。これらの受信機２２－１～２２－３を総称して「受信機２２」とも呼ぶ。各受信機２２は、各ビーコン装置２１から送信された測位信号を受信する。ここで、１つのビーコン装置２１が送信した測位信号は、複数の受信機２２によって受信される。各受信機２２は、例えば測位信号の電波強度又は到来方向を測定する。各受信機２２は、測位信号の測定結果を、ＬＡＮを介して位置管理装置２３に送る。
　位置管理装置２３は、各受信機２２で得られた測位信号の測定結果に基づいて、各対象者１１（すなわち、対応するビーコン装置２１）の位置を決定する。各受信機２２が測位信号の電波強度を測定する場合、位置管理装置２３は、１つのビーコン装置２１から送信されて少なくとも３つの受信機２２で受信された測位信号の電波強度に基づいて、３次元空間における当該ビーコン装置２１の位置を決定する。また、各受信機２２が測位信号の到来方向を測定する場合、位置管理装置２３は、１つのビーコン装置２１から送信されて少なくとも２つの受信機２２で受信された測位信号の到来方向に基づいて、３次元空間における当該ビーコン装置２１の位置を決定する。位置管理装置２３は、各ビーコン装置２１の識別子及び位置を、ＬＡＮを介して制御装置２４－１～２４－５に送る。
　位置管理装置２３は、例えば、汎用のパーソナルコンピュータであってもよく、各対象者１１の位置を決定するための専用装置であってもよい。
　制御装置２４－１～２４－５は、図４を参照して後述するカメラ制御処理を実行し、ＬＡＮを介して、対応する１つのカメラ２５－１～２５－５の方位角、仰角、及び倍率をそれぞれ制御する。これらの制御装置２４－１～２４－５を総称して「制御装置２４」とも呼ぶ。ユーザは、あるビーコン装置２１の識別子をある制御装置２４に入力することにより、当該制御装置２４に対応するカメラ２５を用いて追跡して撮影する対象者１１を指定する。各制御装置２４は、識別子に基づいて、対応するビーコン装置２１の位置を位置管理装置２３から取得する。また、各制御装置２４は、ＬＡＮを介して、対応する１つのカメラ２５－１～２５－５で生成された撮影データを受信する。各制御装置２４は、ビーコン装置２１の位置と、撮影データとに基づいて、後述するカメラ制御処理を実行する。
　各制御装置２４は、カメラ制御処理において、撮影データに対して画像解析を行ってユーザの身体又は顔を認識する。このため、各制御装置２４は、例えばディープラーニングにより、人間の身体又は顔を予め学習している。各制御装置２４は、人間の身体及び顔の両方を個別に学習していてもよい。各制御装置２４は、画像解析の精度を向上するために、コンサート又は演劇などの実演家（歌手、ダンサー、俳優など）に限って、その身体又は顔を学習してもよい。
　各制御装置２４は、例えば、汎用のパーソナルコンピュータであってもよく、カメラ２５を制御するための専用装置であってもよい。各制御装置２４は、カメラ制御処理のプログラムを実行する。各制御装置２４は、ユーザがビーコン装置２１の識別子を入力するための入力装置と、撮影データ及びカメラ制御処理の途中経過を表示するための表示装置とを含む。
　カメラ２５－１～２５－５は、可変な方位角、可変な仰角、及び可変な倍率で対象者１１を撮影する。これらのカメラ２５－１～２５－５を総称して「カメラ２５」とも呼ぶ。図３は、図１のカメラ２５を示す斜視図である。各カメラ２５の方位角、仰角、及び倍率は、対応する制御装置２４によって制御される。各カメラ２５によって生成された撮影データは、ＳＤＩケーブルを介してＳＤＩスイッチ２６に送られる。さらに、撮影データは、前述のように、ＬＡＮを介して対応する制御装置２４にも送られる。
　各カメラ２５の撮影範囲に含まれる各点の位置は、コンサートホール１の内部の座標に対して較正されている。各制御装置２４は、対応するカメラ２５に任意の方位角、任意の仰角、及び任意の倍率を設定したとき、各カメラ２５の撮影範囲に含まれる各点の位置を認識している。ここで、ビーコン装置２１の位置は３次元座標で表され、各カメラ２５の撮影範囲に含まれる各点の位置は２次元座標で表される。各制御装置２４は、カメラ２５の位置、カメラ２５のレンズ情報（視野角など）、現在の方位角、仰角、及び倍率に基づいて、これらの座標を互いに変換する。各制御装置２４は、対応するカメラ２５により追跡して撮影しようとしている対象者１１がカメラ２５の撮影範囲に含まれるように、ビーコン装置２１の位置に基づいて、カメラ２５の方位角、仰角、及び倍率を制御する。
　ＳＤＩスイッチ２６は、５つの入力端子及び３つの出力端子を備え、ユーザの制御下で、５つの入力端子のうちのいずれか３つを出力端子に接続する。
　ディスプレイ装置２７－１～２７－３は、図１に示すように、例えば、コンサートホール１の奥の壁４に取り付けられる。これらのディスプレイ装置２７－１～２７－３を総称して「ディスプレイ装置２７」とも呼ぶ。各ディスプレイ装置２７は、例えば、対応する１人の対象者１１の拡大映像をリアルタイムで表示する。
　ユーザは、ＳＤＩスイッチ２６を操作することにより、どのカメラ２５の撮影データをどのディスプレイ装置２７に表示するかを指定する。
　［１－２．動作］
　図４は、図２の制御装置２４によって実行されるカメラ制御処理を示すフローチャートである。このフローチャートは、１人の対象者１１を１つのカメラ２５により追跡して撮影するとき、当該カメラ２５に対応する１つの制御装置２４によって実行される処理を示す。
　図４のステップＳ１において、制御装置２４は、ユーザから、カメラ２５により追跡して撮影しようとしている対象者１１のビーコン装置２１の識別子（ＩＤ）を取得する。
　ステップＳ２において、制御装置２４は、ビーコン装置２１の識別子に基づいて、位置管理装置２３から、対象者１１のビーコン装置２１の位置を取得する。ステップＳ３において、制御装置２４は、対象者１１のビーコン装置２１の位置に基づいて、カメラ２５から対象者１１への方位角、仰角、及び距離を計算する。
　ステップＳ４において、制御装置２４は、対象者１１がカメラ２５の撮影範囲のうちの予め決められたスキャン範囲に含まれているか否かを判断し、ＹＥＳのときはステップＳ６に進み、ＮＯのときはステップＳ５に進む。スキャン範囲は、後のステップＳ６において画像解析を行うとき、画像解析の対象となる画素の範囲を示す。ステップＳ５において、制御装置２４は、対象者１１がスキャン範囲に含まれるように、カメラ２５の方位角、仰角、及び倍率を制御する。
　図５は、図１のカメラ２５の撮影範囲３０及びスキャン範囲３１を示す図である。図６は、図１のカメラ２５によって対象者１１－１が捕捉された状態を示す図である。図５～図９は、制御装置２４の表示装置に表示される。図４のステップＳ５において、制御装置２４は、図６に示すように、ビーコン装置２１－１（すなわち対象者１１－１）がスキャン範囲３１に含まれるように、カメラ２５の方位角、仰角、及び倍率を制御する。
　ステップＳ３～Ｓ５を実行中に、対象者１１が移動している可能性がある。従って、ステップＳ５の実行後、制御装置２４は、ステップＳ２に戻り、位置管理装置２３から対象者１１のビーコン装置２１の位置を再取得する。
　図４のステップＳ２～Ｓ５は、ビーコン装置２１の位置に基づくカメラ２５の粗い制御であり、画像解析を行う前に実行される。制御装置２４は、ステップＳ３で計算された方位角、仰角、及び距離に基づいて、カメラ２５に第１の方位角、第１の仰角、及び第１の倍率（「第１の撮影条件」ともいう）を設定する。制御装置２４は、スキャン範囲に対象者１１が位置するように、かつ、対象者１１が予め決められた第１のサイズで撮影されるように、第１の撮影条件を決定する。制御装置２４は、第１の撮影条件が設定されたカメラ２５により対象者１１を撮影して撮影データを生成させる。ここで、ユーザは、予め対象者１１の大きさの情報を制御装置２４に入力しておいてもよい。これにより、制御装置２４は、対象者１１の大きさの情報とカメラ２５から対象者１１への距離に基づいて、対象者１１が予め決められた第１のサイズで撮影されるように、第１の倍率を決定することができる。
　ステップＳ６において、制御装置２４は、撮影データに対して画像解析を行って、対象者１１の身体又は顔を認識する。制御装置２４は、撮影データに対して画像解析を行うとき、カメラ２５の撮影範囲のうちの予め決められたスキャン範囲に対応する撮影データの部分を解析する。ステップＳ７において、制御装置２４は、身体又は顔の認識に成功したか否かを判断し、ＹＥＳのときはステップＳ９に進み、ＮＯのときはステップＳ８に進む。ステップＳ８において、制御装置２４は、スキャン範囲を拡大してステップＳ２に戻る。そして、制御装置２４は、ステップＳ６において、拡大されたスキャン範囲に対応する撮影データの部分を解析する。
　図７は、図１のカメラ２５の撮影範囲３０及び拡大されたスキャン範囲３１Ａを示す図である。図４のステップＳ２～Ｓ５においてビーコン装置２１の位置に基づいてカメラ２５の方位角、仰角、及び倍率を制御したことにより、対象者１１の身体又は顔がスキャン範囲３１に含まれている可能性が高いと考えられる。しかしながら、対象者１１の身体又は顔が認識されなかった場合、スキャン範囲３１を拡大することにより、制御装置２４の計算負荷は増大するものの、対象者１１の身体又は顔をより確実に認識できると考えられる。
　ステップＳ３、Ｓ４、Ｓ６～Ｓ８を実行中に、対象者１１が移動している可能性がある。従って、ステップＳ８の実行後、制御装置２４は、ステップＳ２に戻り、位置管理装置２３から対象者１１のビーコン装置２１の位置を再取得する。
　ステップＳ９において、制御装置２４は、複数の身体又は複数の顔を認識したか否かを判断し、ＹＥＳのときはステップＳ１０に進み、ＮＯのときはステップＳ１１に進む。ステップＳ１０において、制御装置２４は、位置管理装置２３によって決定された対象者１１の位置に基づいて、対象者１１のビーコン装置２１の位置に最も近い身体又は顔を選択する。
　図８は、図１のカメラ２５によって複数の対象者１１－１～１１－２が捕捉された状態を示す図である。制御装置２４は、撮影データを解析して複数の身体又は複数の顔を検出したとき、位置管理装置２３によって決定されたビーコン装置２１－１の位置（すなわち対象者１１－１の位置）に基づいて、対象者１１－１の身体又は顔を選択する。
　ステップＳ１１において、制御装置２４は、カメラ２５の撮影範囲の中央に対象者１１の身体又は顔の中心が位置するように、カメラ２５の方位角、仰角、及び倍率を制御する。
　図９は、図１のカメラ２５によって対象者１１－１の顔が捕捉された状態を示す図である。対象者１１－１の顔が認識されたとき、制御装置２４は、制御装置２４の表示装置に、認識された顔を包囲するようにバウンディングブロック３２を表示する。
　ステップＳ７において身体又は顔の認識に成功したとき、ステップＳ１２において、制御装置２４は、スキャン範囲３１を、少なくとも認識された身体又は顔を含む大きさに縮小する。図９では、スキャン範囲３１の元の大きさよりもさらに縮小されたスキャン範囲３１Ｂを示す。
　図４のステップＳ６～Ｓ１２は、画像解析に基づくカメラ２５の細かい制御である。制御装置２４は、撮影データに基づいて、詳しくは、ステップＳ６で認識された身体又は顔の位置及び大きさに基づいて、カメラ２５に第２の方位角、第２の仰角、及び第２の倍率（「第２の撮影条件」ともいう）を設定する。制御装置２４は、カメラ２５の撮影範囲の中央に対象者１１の身体又は顔の中心が位置するように、かつ、対象者１１の身体又は顔が予め決められた第２のサイズで撮影されるように、第２の撮影条件を決定する。制御装置２４は、第２の撮影条件が設定されたカメラ２５により対象者１１を撮影して撮影データを生成させる。
　図４のステップＳ１２を実行した後、処理はステップＳ２に戻る。ビーコン装置２１－１がスキャン範囲３１に含まれ、かつ、対象者１１の身体又は顔がスキャン範囲３１に含まれている間は、制御装置２４はそのまま撮影を継続する。一方、ビーコン装置２１－１がスキャン範囲３１の外部に移動したとき、又は、対象者１１の身体又は顔がスキャン範囲３１の外部に移動したとき、制御装置２４は、カメラ２５の方位角、仰角、及び倍率を制御することにより、対象者１１を追跡して撮影する。
　図４のカメラ制御処理は、図２の制御装置２４－１～２４－５によって個別に実行可能である。
　［１－３．効果等］
　本実施形態によれば、少なくとも１つの移動可能な対象物１１を撮影する撮影システムは、ビーコン装置２１と、位置管理装置２３と、カメラ２５と、制御装置２４とを備える。ビーコン装置２１は、対象物１１に取り付けられ、測位信号を無線送信する。受信機２２は、測位信号を受信する。位置管理装置２３は、測位信号に基づいて対象物１１の位置を決定する。カメラ２５は、可変な方向及び可変な倍率で対象物１１を撮影する。制御装置２４は、カメラ２５の方向及び倍率を制御する。制御装置２４は、位置管理装置２３によって決定された対象物１１の位置に基づいて、カメラ２５から対象物１１への方向及び距離を計算する。制御装置２４は、計算された方向及び距離に基づいて、カメラ２５に第１の方向及び第１の倍率を設定する。制御装置２４は、第１の方向及び第１の倍率が設定されたカメラ２５により対象物１１を撮影することにより生成された撮影データに基づいて、カメラ２５に第２の方向及び第２の倍率を設定する。
　これにより、ビーコン装置２１の位置と、撮影データの内容とを参照することにより、従来技術よりも確実に対象物１１を追跡して撮影することができる。
　本実施形態によれば、制御装置２４は、カメラ２５の撮影範囲のうちの予め決められたスキャン範囲に対象物１１が位置するように、かつ、対象物１１が第１のサイズで撮影されるように、第１の方向及び第１の倍率を決定する。
　これにより、撮影データの画像解析を行う前であっても、適切な方向及び適切な倍率をカメラ２５に設定することができる。
　本実施形態によれば、対象物１１は人間である。制御装置２４は、撮影データを解析して対象物１１の身体又は顔を認識する。制御装置２４は、カメラ２５の撮影範囲の中央に対象物１１の身体又は顔の中心が位置するように、かつ、対象物１１の身体又は顔が第２のサイズで撮影されるように、第２の方向及び第２の倍率を決定する。
　これにより、画像解析の結果に基づいて、適切な方向及び適切な倍率をカメラ２５に設定することができる。
　本実施形態によれば、制御装置２４は、撮影データを解析して複数の身体又は複数の顔を検出したとき、位置管理装置２３によって決定された対象物１１の位置に基づいて、対象物１１の身体又は顔を選択する。
　これにより、ビーコン装置２１の位置に基づいて、適切な方向及び適切な倍率をカメラ２５に設定することができる。
　本実施形態によれば、制御装置２４は、撮影データを解析して対象物１１の身体又は顔を認識するとき、スキャン範囲に対応する撮影データの部分を解析する。制御装置２４は、対象物１１の身体又は顔が認識されなかった場合、スキャン範囲を拡大し、拡大されたスキャン範囲に対応する撮影データの部分を解析する。
　これにより、対象物１１の身体又は顔が認識されなかった場合には計算負荷が増大するが、その他の場合には計算負荷の増大を抑えることができる。
　本実施形態によれば、測位信号は、対象物１１に関連付けられた識別子を含む。
　これにより、カメラ２５の撮影範囲に複数の対象物１１が存在し、カメラ２５から見て２つ以上の対象物１１が重なり合う場合であっても、目的の対象物１１を追跡して撮影し続けることができる。
　本実施形態によれば、少なくとも１つの移動可能な対象物１１を撮影する撮影方法が提供される。本撮影方法は、対象物１１に取り付けられたビーコン装置２１により測位信号を無線送信するステップを含む。本撮影方法は、所定の位置に設けられた複数の受信機２２により測位信号を受信し、測位信号に基づいて対象物１１の位置を決定するステップを含む。本撮影方法は、決定された対象物１１の位置に基づいて、カメラ２５から対象物１１への方向及び距離を計算するステップを含む。本撮影方法は、計算された方向及び距離に基づいて、カメラ２５に第１の方向及び第１の倍率を設定するステップを含む。本撮影方法は、第１の方向及び第１の倍率が設定されたカメラ２５により対象物１１を撮影して撮影データを生成するステップを含む。本撮影方法は、撮影データに基づいて、カメラ２５に第２の方向及び第２の倍率を設定するステップを含む。
　これにより、ビーコン装置２１の位置と、撮影データの内容とを参照することにより、従来技術よりも確実に対象物１１を追跡して撮影することができる。
　本実施形態によれば、少なくとも１つの移動可能な対象物１１を撮影する撮影システムを制御するためのプログラムが提供される。撮影システムは、対象物１１に取り付けられ、測位信号を無線送信するビーコン装置２１と、測位信号を受信する受信機２２と、測位信号に基づいて対象物１１の位置を決定する位置管理装置２３と、可変な方向及び可変な倍率で対象物１１を撮影するカメラ２５とを備える。プログラムは、位置管理装置２３によって決定された対象物１１の位置に基づいて、カメラ２５から対象物１１への方向及び距離を計算するステップと、計算された方向及び距離に基づいて、カメラ２５に第１の方向及び第１の倍率を設定するステップと、第１の方向及び第１の倍率が設定されたカメラ２５により対象物１１を撮影することにより生成された撮影データに基づいて、カメラ２５に第２の方向及び第２の倍率を設定するステップとを含む。
　これにより、ビーコン装置２１の位置と、撮影データの内容とを参照することにより、従来技術よりも確実に対象物１１を追跡して撮影することができる。
　本実施形態によれば、各制御装置２４は、画像解析を行う前に、ビーコン装置２１の位置に基づいてカメラ２５からビーコン装置２１までの距離を計算し、この距離に基づいてカメラ２５の倍率を制御する。従って、画像解析を行う前に、画像解析に適した倍率をカメラ２５に設定することができる。また、画像解析により対象物の身体又は顔が認識されない場合であっても、適切であると考えられる倍率がカメラ２５に設定されている。
　本実施形態によれば、ビーコン装置２１の位置を参照することにより、対象物１１がカメラ２５の撮影範囲の外に出た場合、又は、対象物１１が障害物に隠れた場合（例えば、対象物１１が図１の舞台袖３などに位置している場合）であっても、対象物１１を継続的に追跡することができる。従って、対象物１１がカメラ２５の撮影範囲に戻ったとき、又は、対象物１１が障害物に隠されなくなったとき、すぐに、対象物１１をカメラ２５で再捕捉することができる。また、ビーコン装置２１の位置を参照することにより、対象物１１からカメラ２５への距離が分かるので、適切な倍率を推定し、カメラ２５のズーム動作を自動化することができる。また、ビーコン装置２１の位置を参照することにより、撮影データにおいて複数の身体又は複数の顔の候補が検出された場合に、対象者１１の位置に最も近い身体又は顔を選択することができる。
　本実施形態によれば、各制御装置２４は、画像解析エンジンとして、ディープラーニングにより対象者１１の身体又は顔を予め学習したエンジンを用いてもよい。これにより、撮影データにおける身体又は顔の検出率が向上するので、対象物１１をカメラ２５の撮影範囲の中央に合わせ続けるようにカメラ２５を制御することができる。
　本実施形態によれば、ビーコン装置２１の位置と、画像解析により認識された対象物１１の身体又は顔の位置とを組み合わせることで、従来技術よりも確実に対象物１１を追跡して撮影することができる。本実施形態のポイントは、単にこれら２種類の位置の両方を用いるのではなく、以下に説明するように、これら２種類の位置をどのように組み合わせて使用するか、ということにある。
　まず、画像解析により対象物１１の身体又は顔が認識されなかった場合、各制御装置２４は、ビーコン装置２１の位置のみに基づいてカメラ２５を制御する。一方、両方の位置が取得された場合、各制御装置２４は、ビーコン装置２１の位置に基づいてカメラ２５を粗く制御し、次いで、画像解析により認識された対象物１１の身体又は顔の位置に基づいてカメラ２５を細かく制御する。ビーコン装置２１の位置は常に取得可能であるが、その精度は比較的低い。一方、画像解析では対象物１１の身体又は顔が認識されないことがあるが、認識できればその精度は高い。従って、これら２種類の位置を組み合わせることにより、従来技術よりも確実に対象物１１を追跡して撮影することができる。
　また、両方の位置が取得され、かつ、画像解析により複数の身体又は複数の顔が検出された場合、各制御装置２４は、ビーコン装置２１の位置に基づいて、対象者１１のものである可能性が最も高い身体又は顔を選択することができる。
　また、ビーコン装置２１の位置に基づいてカメラ２５から対象物１１への距離が分かるので、撮影データにおいて対象物１１がどの程度の大きさで映っているかを推測することができる。この対象物１１の大きさに基づいて、画像解析をより正確かつ効率的に行うことができる。
　（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　そこで、以下、他の実施形態を例示する。
　上述の実施形態では、測位信号を送信する送信機の一例として、ビーコン信号を送信するビーコン装置２１を説明した。しかしながら、送信機は、ビーコン信号を送信するビーコン装置２１に限定されない。送信機は、対応する対象者１１の位置を決定できるのであれば、ビーコン信号以外の他の任意の無線信号を送信する無線送信機であってもよい。
　上述の実施形態では、測位装置の一例として、受信機２２－１～２２－３及び位置管理装置２３を説明した。しかしながら、測位装置は、対応する対象者１１の位置を決定できるのであれば、例えば異なる個数の受信機を含む、他の任意の装置であってもよい。また、位置管理装置２３は、制御装置２４のうちの１つに一体化されていてもよい。また、上述の実施形態では、位置管理装置２３は、ビーコン装置２１の３次元座標の位置を決定した。しかし、対象物１１の動きが制限されている場合、位置管理装置２３は、２次元空間における位置又は１次元空間における位置を決定してもよい。
　上述の実施形態では、制御装置の一例として、制御装置２４－１～２４－５を説明した。しかしながら、制御装置は、カメラ２５－１～２５－５を制御できるのであれば、他の任意の装置であってもよい。図２の例では、１つのカメラ２５に対して１つの制御装置２４が設けられているが、１つの制御装置２４により複数のカメラ２５を制御してもよい。
　上述の実施形態では、撮像装置の一例として、可変な方位角、可変な仰角、及び可変な倍率を有するカメラ２５－１～２５－５を説明した。しかしながら、撮影装置は、可変な方位角及び可変な仰角の少なくとも一方（可変な方向）を有し、かつ、可変な倍率を有して対象物１１を撮影することができるのであれば、他の任意の装置であってもよい。撮影装置は、対象物１１をさまざまな位置から撮影するために、撮影装置自体が移動するようにさらに構成されてもよい。
　上述の実施形態では、カメラ２５によって生成された撮影データがリアルタイムでディスプレイ装置２７に表示される場合について説明した。しかしながら、代替又は追加として、撮影データは、制御装置２４又は他の録画装置に録画されてもよい。
　上述の実施形態によれば、複数の身体又は複数の顔を検出したとき、対象者１１のビーコン装置２１の位置に最も近い身体又は顔を選択し、カメラ２５の撮影範囲の中央に対象者１１の身体又は顔の中心が位置するようにカメラ２５を制御する場合について説明した（ステップＳ９～Ｓ１１）。しかしながら、ビーコン装置２１の位置を決定する分解能によっては、複数の身体又は複数の顔から対象者１１の身体又は顔を正しく選択できない可能性がある。従って、制御装置２４は、複数の身体又は複数の顔を検出したとき、これらの身体又は顔のすべてを含む最小の矩形であるバウンディングブロックを生成し、カメラ２５の撮影範囲の中央にバウンディングブロックの中心が位置するようにカメラ２５を制御してもよい。
　上述の実施形態では、コンサートホール１に撮影システムを設置する場合について説明した。しかしながら、撮影システムは、スポーツ又はレースの競技場などに設置されてもよい。この場合、人間、乗物、又は動物などである対象物１１が追跡して撮影される。
　以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示の態様によれば、省電力なビーコン装置による３次元の位置管理と、高精度な画像認識技術（例えばディープラーニング）とを組み合わせることにより、人間並みのカメラワークを達成し、撮影を省人化することができる。これにより、ライブエンターテインメント用の新たな映像市場を創造することができる。
　本開示の態様に係る撮影システムは、例えば、放送スタジオのための撮影システムとして利用可能である。また、本開示の態様に係る撮影システムは、ライブエンターテインメントのためのリアルタイム映像伝送システムとして利用可能である。
１…コンサートホール、
２…舞台、
３…舞台袖、
４…壁、
５…コンソール、
１１－１～１１－３…対象者（対象物）、
２１－１～２１－３…ビーコン装置、
２２－１～２２－３…受信機、
２３…位置管理装置、
２４－１～２４－５…制御装置、
２５－１～２５－５…カメラ、
２６…ＳＤＩ（Serial Digital Interface）スイッチ、
２７－１～２７－３…ディスプレイ装置、
２８…ネットワークハブ、
３０…撮影範囲、
３１，３１Ａ，３１Ｂ…スキャン範囲、
３２…バウンディングブロック。

Claims (8)

  1. 　移動可能な対象物を撮影する撮影システムであって、
    　前記対象物に取り付けられ、測位信号を無線送信する送信機と、
    　前記測位信号を受信し、前記測位信号に基づいて前記対象物の位置を決定する測位装置と、
    　可変な方向及び可変な倍率で前記対象物を撮影する撮影装置と、
    　前記撮影装置の方向及び倍率を制御する制御装置とを備え、
    　前記制御装置は、
    　前記測位装置によって決定された前記対象物の位置に基づいて、前記撮影装置から前記対象物への方向及び距離を計算し、
    　前記計算された方向及び距離に基づいて、前記撮影装置に第１の方向及び第１の倍率を設定し、
    　前記第１の方向及び前記第１の倍率が設定された前記撮影装置により前記対象物を撮影することにより生成された撮影データに基づいて、前記撮影装置に第２の方向及び第２の倍率を設定する、
    撮影システム。
  2. 　前記制御装置は、前記撮影装置の撮影範囲のうちの予め決められたスキャン範囲に前記対象物が位置するように、かつ、前記対象物が第１のサイズで撮影されるように、前記第１の方向及び前記第１の倍率を設定する、
    請求項１記載の撮影システム。
  3. 　前記対象物は人であり、
    　前記制御装置は、
    　前記撮影データを解析して前記対象物の身体又は顔を認識し、
    　前記撮影装置の撮影範囲の中央に前記対象物の身体又は顔の中心が位置するように、かつ、前記対象物の身体又は顔が第２のサイズで撮影されるように、前記第２の方向及び前記第２の倍率を設定する、
    請求項２記載の撮影システム。
  4. 　前記制御装置は、前記撮影データを解析して複数の身体又は複数の顔を検出したとき、前記測位装置によって決定された前記対象物の位置に基づいて、前記対象物の身体又は顔を選択する、
    請求項３記載の撮影システム。
  5. 　前記スキャン範囲に対応する前記撮影データの部分を解析して前記対象物の身体又は顔を認識できなかった場合、前記制御装置は、前記スキャン範囲を拡大し、前記拡大されたスキャン範囲に対応する前記撮影データの部分を解析して前記対象物の身体又は顔を認識する、
    請求項３又は４記載の撮影システム。
  6. 　前記測位信号は、前記対象物に関連付けられた識別子を含む、
    請求項１～５のうちの１つに記載の撮影システム。
  7. 　移動可能な対象物を撮影する撮影方法であって、
    　前記対象物に取り付けられた送信機により測位信号を無線送信するステップと、
    　所定の位置に設けられた複数の受信機により前記測位信号を受信し、前記測位信号に基づいて前記対象物の位置を決定するステップと、
    　前記決定された前記対象物の位置に基づいて、撮影装置から前記対象物への方向及び距離を計算するステップと、
    　前記計算された方向及び距離に基づいて、前記撮影装置に第１の方向及び第１の倍率を設定するステップと、
    　前記第１の方向及び前記第１の倍率が設定された前記撮影装置により前記対象物を撮影して撮影データを生成するステップと、
    　前記撮影データに基づいて、前記撮影装置に第２の方向及び第２の倍率を設定するステップとを含む、
    撮影方法。
  8. 　移動可能な対象物を撮影する撮影システムを制御するためのプログラムであって、前記撮影システムは、
    　前記対象物に取り付けられ、測位信号を無線送信する送信機と、
    　前記測位信号を受信し、前記測位信号に基づいて前記対象物の位置を決定する測位装置と、
    　可変な方向及び可変な倍率で前記対象物を撮影する撮影装置とを備え、
    　前記プログラムは、
    　前記測位装置によって決定された前記対象物の位置に基づいて、前記撮影装置から前記対象物への方向及び距離を計算するステップと、
    　前記計算された方向及び距離に基づいて、前記撮影装置に第１の方向及び第１の倍率を設定するステップと、
    　前記第１の方向及び前記第１の倍率が設定された前記撮影装置により前記対象物を撮影することにより生成された撮影データに基づいて、前記撮影装置に第２の方向及び第２の倍率を設定するステップとを含む、
    プログラム。
PCT/JP2018/036627 2017-11-08 2018-10-01 撮影システム、撮影方法、及びプログラム WO2019093016A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019552656A JP7203305B2 (ja) 2017-11-08 2018-10-01 撮影システム、撮影方法、及びプログラム
US16/865,474 US10965876B2 (en) 2017-11-08 2020-05-04 Imaging system, imaging method, and not-transitory recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-215863 2017-11-08
JP2017215863 2017-11-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/865,474 Continuation US10965876B2 (en) 2017-11-08 2020-05-04 Imaging system, imaging method, and not-transitory recording medium

Publications (1)

Publication Number Publication Date
WO2019093016A1 true WO2019093016A1 (ja) 2019-05-16

Family

ID=66437629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036627 WO2019093016A1 (ja) 2017-11-08 2018-10-01 撮影システム、撮影方法、及びプログラム

Country Status (3)

Country Link
US (1) US10965876B2 (ja)
JP (1) JP7203305B2 (ja)
WO (1) WO2019093016A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274257A (ja) * 2002-03-13 2003-09-26 Matsushita Electric Ind Co Ltd 自動動画撮影システム、自動動画撮影方法および自動動画撮像装置
JP2004112615A (ja) * 2002-09-20 2004-04-08 Victor Co Of Japan Ltd 自動追尾ビデオカメラシステム
JP2005020205A (ja) * 2003-06-24 2005-01-20 Casio Comput Co Ltd 画像撮影装置
JP2005130230A (ja) * 2003-10-24 2005-05-19 Hitachi Industrial Equipment Systems Co Ltd 移動体追従システム及びカメラ制御装置並びにコンピュータ・ソフトウエア
JP2006270274A (ja) * 2005-03-22 2006-10-05 Olympus Corp 被写体認識装置、および被写体認識方法
JP2008227877A (ja) * 2007-03-13 2008-09-25 Hitachi Ltd 映像情報処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2866183B2 (ja) 1990-10-12 1999-03-08 コニカ株式会社 追尾型カメラ
JP4498104B2 (ja) * 2004-11-16 2010-07-07 キヤノン株式会社 監視装置、その制御方法、およびプログラム
JP4603391B2 (ja) 2005-03-09 2010-12-22 株式会社リコー 位置情報管理装置、位置情報管理方法、位置情報管理プログラム、コンピュータに読み取り可能な記録媒体及び位置情報管理システム
US7991774B2 (en) 2005-03-09 2011-08-02 Ricoh Company, Ltd. Notification processor that notifies information and position information manager
JP4241742B2 (ja) 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP5155145B2 (ja) * 2006-02-23 2013-02-27 パナソニック株式会社 画像補正装置、方法、プログラム、集積回路、システム
JP2010130590A (ja) 2008-11-28 2010-06-10 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法
US8625107B2 (en) * 2010-05-19 2014-01-07 Uwm Research Foundation, Inc. Target for motion tracking system
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120169899A1 (en) * 2010-12-30 2012-07-05 Samsung Electronics Co., Ltd. Electronic device and method for searching for object
JP5858741B2 (ja) * 2011-11-15 2016-02-10 キヤノン株式会社 自動追尾カメラシステム
JP6181373B2 (ja) * 2013-01-18 2017-08-16 東芝メディカルシステムズ株式会社 医用情報処理装置及びプログラム
US9495759B2 (en) * 2014-02-26 2016-11-15 Apeiros, Llc Mobile, wearable, automated target tracking system
JP6696118B2 (ja) 2015-04-28 2020-05-20 株式会社ニコン 電子機器
JP6783541B2 (ja) * 2016-03-30 2020-11-11 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
JP6768557B2 (ja) * 2017-02-27 2020-10-14 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視カメラシステム及び監視方法
US11563888B2 (en) * 2017-09-25 2023-01-24 Hanwha Techwin Co., Ltd. Image obtaining and processing apparatus including beacon sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274257A (ja) * 2002-03-13 2003-09-26 Matsushita Electric Ind Co Ltd 自動動画撮影システム、自動動画撮影方法および自動動画撮像装置
JP2004112615A (ja) * 2002-09-20 2004-04-08 Victor Co Of Japan Ltd 自動追尾ビデオカメラシステム
JP2005020205A (ja) * 2003-06-24 2005-01-20 Casio Comput Co Ltd 画像撮影装置
JP2005130230A (ja) * 2003-10-24 2005-05-19 Hitachi Industrial Equipment Systems Co Ltd 移動体追従システム及びカメラ制御装置並びにコンピュータ・ソフトウエア
JP2006270274A (ja) * 2005-03-22 2006-10-05 Olympus Corp 被写体認識装置、および被写体認識方法
JP2008227877A (ja) * 2007-03-13 2008-09-25 Hitachi Ltd 映像情報処理装置

Also Published As

Publication number Publication date
US10965876B2 (en) 2021-03-30
JPWO2019093016A1 (ja) 2020-12-24
JP7203305B2 (ja) 2023-01-13
US20200322539A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
JP4770178B2 (ja) カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
US20150116502A1 (en) Apparatus and method for dynamically selecting multiple cameras to track target object
US9648229B2 (en) Image processing device and associated methodology for determining a main subject in an image
JP5740884B2 (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
JP2001094857A (ja) バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法
WO2017077708A1 (en) Pilotless flying object detection system and pilotless flying object detection method
CN103688292A (zh) 图像显示装置和图像显示方法
WO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
CN106713740B (zh) 定位跟踪摄像方法与系统
EP2984448B1 (en) Distance estimation using multi-camera device
WO2017056757A1 (ja) 撮像装置および撮像方法
US6563528B2 (en) Video conference system
JP2007158680A (ja) 追尾撮像装置およびこれを利用した追尾撮像システム
US20230328355A1 (en) Information processing apparatus, information processing method, and program
KR101103923B1 (ko) 동영상을 촬영하는 카메라 로봇 및 카메라 로봇을 이용한 동영상 촬영 방법
JP6269014B2 (ja) フォーカス制御装置およびフォーカス制御方法
CN110225247B (zh) 一种图像处理方法及电子设备
WO2019093016A1 (ja) 撮影システム、撮影方法、及びプログラム
JP2006319526A (ja) ネットワークカメラシステム及びその制御方法
KR101992437B1 (ko) 이동 로봇의 학습 보조 방법 및 이에 이용되는 이동 로봇 장치
JP2001285849A (ja) 撮影システム
JP2008154188A (ja) 画像伝送システム及び画像伝送方法
JP2005184266A (ja) 撮像装置
WO2023189079A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7059829B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18877075

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019552656

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18877075

Country of ref document: EP

Kind code of ref document: A1