WO2017056943A1 - 撮像システム、画角調整方法、及び画角調整プログラム - Google Patents

撮像システム、画角調整方法、及び画角調整プログラム Download PDF

Info

Publication number
WO2017056943A1
WO2017056943A1 PCT/JP2016/076807 JP2016076807W WO2017056943A1 WO 2017056943 A1 WO2017056943 A1 WO 2017056943A1 JP 2016076807 W JP2016076807 W JP 2016076807W WO 2017056943 A1 WO2017056943 A1 WO 2017056943A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
pan
angle
period
Prior art date
Application number
PCT/JP2016/076807
Other languages
English (en)
French (fr)
Inventor
宗之 大島
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201680058148.8A priority Critical patent/CN108141533B/zh
Priority to JP2017543085A priority patent/JP6340147B2/ja
Publication of WO2017056943A1 publication Critical patent/WO2017056943A1/ja
Priority to US15/936,836 priority patent/US10356301B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the present invention relates to an imaging system, an angle-of-view adjustment method, and an angle-of-view adjustment program, and more particularly, to an angle-of-view adjustment technique for a remotely operated pan / tilt camera.
  • a simple view angle adjustment using a remote operation terminal has been proposed in an imaging system connected by communication with a remote operation terminal with a display function.
  • the pan / tilt represents a panning operation of the camera and a tilting operation of the camera.
  • the panning operation is sometimes called a panning operation.
  • the tilting operation may be referred to as a tilt operation.
  • Patent Document 1 describes an imaging system that controls the imaging direction of a camera mounted on a remotely operated mobile body.
  • the imaging direction is moved using an instruction vector expressed using a cursor displayed on a display unit.
  • the term “imaging system” in this specification corresponds to the camera control system in Patent Document 1.
  • Patent Document 2 describes a movable imaging apparatus that images an object while moving. When the entire imaging apparatus is moved along the object, the imaging apparatus described in Patent Document 2 increases the angle between the traveling direction of the imaging apparatus and the optical axis of the camera in accordance with the movement of the imaging apparatus. The optical axis of the camera is passed through the same point.
  • Patent Document 3 describes a surveillance camera that is remotely operated.
  • the surveillance camera described in Patent Document 3 performs imaging by stopping at a preset position.
  • Patent Document 4 an image picked up by a pan / tilt camera is displayed on the operation area of the screen, and an arbitrary position on the operation area is designated to control the pan / tilt camera so that the designated subject is positioned at the center position of the operation area.
  • An image pickup apparatus that is directed to is described.
  • Patent Document 5 describes an imaging system in which an object to be brought to the center position of the field of view on the tablet terminal is indicated by two fingers, and the pan is tilted to move the object to the center position of the field of view. Note that the term “imaging system” in this specification corresponds to the camera system in Patent Document 5.
  • pan / tilt operation of the pan / tilt camera is controlled independently of movement control of the moving body while the moving body is moving.
  • the mobile imaging device described in Patent Document 2 requires means for acquiring the moving speed of the moving body.
  • the mobile imaging device described in Patent Document 2 has a problem of generating motion blur caused by relative movement between a camera and a subject within the exposure time of the camera, and a long-term moving body that exceeds the exposure time of the camera. It is difficult to cope with the movement of
  • the pan / tilt camera described in Patent Document 4 and the camera described in Patent Document 5 do not move relative to the subject, and the pan / tilt operation is not performed during the relative movement with the subject.
  • the problem of the angle of view shift due to the delay due to the communication when performing is not generated.
  • the present invention has been made in view of such circumstances, and it is an object of the present invention to provide an imaging system, an angle-of-view adjustment method, and an angle-of-view adjustment program that enable correction of an angle-of-view shift caused by communication delay.
  • the imaging system according to the first aspect is transmitted from a moving body, an imaging unit mounted on the moving body, an imaging data transmission unit that transmits imaging data obtained by imaging of the imaging unit, and an imaging data transmission unit
  • An imaging data receiving unit that receives imaging data
  • a pan / tilt operation unit that causes the imaging unit to perform at least one of a pan operation and a tilt operation
  • an imaging operation unit that is connected in communication with the imaging unit.
  • an imaging operation unit that transmits an imaging control signal to be operated to the imaging unit
  • a display unit that displays a captured image represented by the imaging data received by the imaging data receiving unit
  • a display screen In the image displayed on the display screen of the display unit, the designated coordinates that are the coordinates of the movement target, the coordinate designation unit that designates the movement destination coordinates that are the coordinates of the movement target of the movement target, the designated coordinates,
  • an angle of view adjustment calculation unit that calculates a pan / tilt operation parameter applied to the pan / tilt operation unit using the movement destination coordinates, and an angle of view that is a period from the designation of the designated coordinate to the adjustment of the angle of view of the imaging unit.
  • An angle-of-view adjustment period calculation unit that calculates an adjustment period, and a moving direction and a moving distance when the imaging unit moves due to the movement of the moving object during the angle-of-view adjustment period from the imaging data obtained by imaging of the imaging unit
  • a pan / tilt operation parameter correction unit for correcting the pan / tilt operation parameter calculated by the view angle adjustment calculation unit, and a signal corresponding to the pan / tilt operation parameter to the pan / tilt operation unit.
  • a pan-tilt operation command section for transmitting the signal which is an imaging system that includes a pan and tilt operation command section for transmitting a signal corresponding to the pan and tilt operating parameters corrected by the pan and tilt operating parameter correcting portion to the pan and tilt operation section.
  • the movement parameter indicating the moving direction and moving distance when the imaging unit moves is calculated from the imaging data obtained by imaging of the imaging unit, and the angle of view of the imaging unit is adjusted by the pan / tilt operation unit. Because the operation parameters of the pan / tilt operation unit are corrected, various movement states of the imaging unit can be accommodated, and when an operation command is transmitted to the pan / tilt operation unit during movement of the imaging unit, it is caused by a delay due to communication. A pan / tilt operation in which a shift in the angle of view adjustment is corrected is possible.
  • the angle-of-view adjustment calculation unit calculates a first movement vector as a pan / tilt operation parameter from the designated coordinates and the movement destination coordinates, and the movement state calculation unit A correction vector is calculated as the movement parameter of the imaging unit in the adjustment period, and the pan / tilt operation parameter correction unit can correct the pan / tilt operation parameter represented by the first movement vector using the correction vector.
  • the second aspect it is possible to grasp the moving state of the imaging unit using the coordinates of the display screen of the display unit.
  • the movement state calculation unit includes, as a correction vector, a velocity vector that represents the speed of the imaging unit when the imaging unit moves due to the movement of the moving body during the angle of view adjustment period, and It can be configured to calculate an acceleration vector representing the acceleration of the imaging unit when the imaging unit moves due to the movement of the moving body during the angle of view adjustment period.
  • the third aspect it is possible to grasp the moving state of the imaging unit by vector calculation using coordinates on the display screen of the display unit.
  • the velocity vector and the acceleration vector can be calculated as components of each axis on the display screen.
  • the velocity vector and the acceleration vector can calculate the respective X component and Z component.
  • the movement state calculation unit includes first imaging data acquired by imaging of the imaging unit at the first timing, and the imaging unit at the second timing before the first timing. From the second imaging data acquired by imaging, a first movement vector representing a movement distance and a movement direction of the imaging unit in the first period between the second timing and the first timing is acquired, and the first movement vector The first velocity vector, which is a velocity vector having a magnitude obtained by dividing the magnitude by the first period and having a direction parallel to the direction represented by the first movement vector, can be obtained.
  • the fourth aspect it is possible to calculate the velocity vector of the imaging unit from the two imaging data acquired in chronological order.
  • the fifth aspect may be configured such that in the imaging system of the fourth aspect, the movement state calculation unit uses feature point detection when acquiring the first movement vector.
  • the fifth aspect it is possible to calculate the velocity vector of the imaging unit from the two imaging data acquired in chronological order using feature point detection.
  • An example of feature point detection in the fifth aspect is template matching.
  • the movement state calculation unit is configured to acquire the second imaging data and the third imaging acquired by imaging of the imaging unit at the third timing before the second timing. From the data, the second movement vector representing the movement distance and the movement direction of the imaging unit in the second period between the third timing and the second timing is acquired, and the magnitude of the second movement vector is set to the second period. Is calculated by subtracting the second speed vector from the first speed vector and calculating the second speed vector, which is the speed vector having a direction parallel to the direction represented by the second movement vector. The acceleration vector having a magnitude obtained by dividing the magnitude of the difference vector by the first period and having a direction parallel to the difference vector can be calculated.
  • the moving state calculation unit uses the latest imaging data acquired by imaging of the imaging unit as the first imaging data. be able to.
  • the seventh aspect it is possible to calculate the movement vector, velocity vector, and acceleration vector of the imaging unit using the latest imaging data.
  • the eighth aspect is a period from the start of the pan / tilt operation to the completion of the pan / tilt operation as a pan / tilt operation parameter.
  • the operation speed of the pan / tilt operation unit can be calculated from the pan / tilt operation period, the designated coordinates, and the movement destination coordinates.
  • the operation speed of the pan / tilt operation unit can be calculated from the pan / tilt operation period, the designated coordinates, and the movement destination coordinates.
  • a ninth aspect includes, in the imaging system according to the eighth aspect, an angle-of-view information acquisition unit that acquires angle-of-view information of a lens included in the imaging unit, and the angle-of-view adjustment calculation unit includes a maximum operating speed of the pan / tilt operation unit, The pan / tilt operation period can be calculated using the angle of view of the lens provided in the imaging unit.
  • the ninth aspect it is possible to calculate the pan / tilt operation period from the angle of view of the lens and the maximum speed of the pan / tilt operation unit.
  • the tenth aspect is polar coordinates with respect to the designated coordinates represented by two-dimensional coordinates and the destination coordinates using the field angle information of the imaging unit acquired by the field angle information acquisition unit.
  • a coordinate conversion processing unit that performs conversion processing to convert to a three-dimensional coordinate is provided, and the movement state calculation unit pans and tilts the displacement angle between the designated coordinate and the destination coordinate in the three-dimensional coordinate converted by the coordinate conversion processing unit. It can be configured to calculate as the operation parameter.
  • the movement vector, the velocity vector, and the acceleration vector on the display screen represented by the two-dimensional coordinate system are converted into the three-dimensional coordinate system. Conversion to a pan / tilt operation represented by a system is possible.
  • an eleventh aspect is an imaging data communication period acquisition unit that acquires an imaging data communication period that is a communication period of imaging data acquired by imaging of the imaging unit.
  • An operation command communication period acquisition unit that acquires an operation command communication period that is a communication period of the operation command sent from the pan / tilt operation command unit, and a pan / tilt operation from the operation command acquisition of the pan / tilt operation unit to the completion of the operation of the pan / tilt operation unit
  • a pan / tilt operation period acquisition unit that acquires a period
  • an angle-of-view adjustment period calculation unit that captures the imaging data communication period acquired by the imaging data communication period acquisition unit and the operation command communication acquired by the operation command communication period acquisition unit.
  • the angle of view adjustment period is calculated by adding the period and the pan / tilt operation period acquired by the pan / tilt operation period acquisition unit. It can be configured.
  • the eleventh aspect it is possible to calculate the angle-of-view adjustment period obtained by adding the communication period of the imaging data, the communication period of the operation command, and the pan / tilt operation period.
  • a twelfth aspect is a communication period measurement for measuring a period from a timing at which an imaging data transmission request is transmitted to an imaging unit to a timing at which imaging data transmitted from the imaging unit is received in the imaging system according to the eleventh aspect.
  • the imaging data communication period acquisition unit may acquire the period measured by the communication period measurement unit as the imaging data communication period.
  • the imaging data communication period can be acquired by measurement.
  • the thirteenth aspect may be configured such that in the imaging system of the twelfth aspect, the imaging data communication period acquisition unit acquires an average of a plurality of measurement results obtained by the communication period measurement unit as the imaging data communication period.
  • the thirteenth aspect even if there is a measurement variation in the measurement of the imaging data communication period, it is possible to acquire a reliable imaging data communication period in which the influence of the measurement variation is reduced.
  • a fourteenth aspect is a moving body remote control unit that remotely controls a moving body in the imaging system according to any one of the first to thirteenth aspects, and includes a moving body remote control unit that is independent of the imaging operation unit. It can be configured.
  • the moving state of the imaging unit can be grasped from the imaging data without using the control parameter of the moving object, the detection result used for the control of the moving object, and the measurement result.
  • the fifteenth aspect may be configured such that the angle-of-view adjustment calculation unit uses the movement destination coordinates as the coordinates of the center position of the display screen.
  • the fifteenth aspect it is possible to display the designated subject at the center position of the display screen in the imaging of the imaging unit that moves as the moving body moves.
  • An angle-of-view adjustment method is an imaging unit mounted on a moving body, and is an angle-of-view adjustment method for an imaging unit capable of at least one of a pan operation and a tilt operation.
  • An imaging data transmitting step for transmitting imaging data obtained by imaging of the imaging unit, an imaging data receiving step for receiving imaging data transmitted by the imaging data transmitting step, and an imaging control signal for operating the imaging unit to be communicated to the imaging unit Is displayed on the display screen when adjusting the angle of view of the imaging unit, and the display step of displaying the captured image represented by the imaging data received by the imaging data receiving step on the display screen.
  • a view angle adjustment calculating step for calculating a tilt angle operation parameter, a view angle adjustment period calculating step for calculating a view angle adjustment period from a designated coordinate to a view angle adjustment of the image pickup unit, and an image pickup unit
  • a moving state calculation step for calculating a moving parameter indicating a moving direction and a moving distance when the image pickup unit moves due to movement of the moving body during the view angle adjustment period from the image pickup data obtained by the image pickup, and an image of the image pickup unit.
  • the pan / tilt operation parameter calculated by the angle adjustment calculation step is corrected from the movement parameter calculated by the movement state calculation step and the angle adjustment period calculated by the angle adjustment period calculation step.
  • the pan / tilt operation parameter correction step and the pan / tilt operation parameter corrected by the pan / tilt operation parameter correction step Work, and a view angle control process to which the pan and tilt operation command step of at least one of the operation, the tilt operation.
  • the same matters as those specified in the second to fifteenth aspects can be combined as appropriate.
  • the means responsible for the process and function specified in the imaging system can be grasped as a component of the angle-of-view adjustment method responsible for the process and function corresponding thereto.
  • An angle-of-view adjustment program includes: an imaging unit mounted on a moving body; an imaging data transmission unit that transmits imaging data obtained by imaging by the imaging unit; and an imaging that is transmitted from an imaging data transmission unit
  • An imaging data receiving unit that receives data, a pan / tilt operation unit that causes the imaging unit to perform at least one of a pan operation and a tilt operation, and an imaging operation unit that is connected in communication with the imaging unit and that operates the imaging unit
  • An imaging operation means for transmitting a control signal to the imaging means, a display means for displaying a captured image represented by the imaging data received by the imaging data receiving means on the display screen, and a display on the display means when adjusting the angle of view of the imaging means In the image displayed on the screen, the specified coordinates that are the coordinates of the movement target and the movement destination coordinates that are the coordinates of the movement destination of the movement target Using the designated coordinate designating means, designated coordinates, and destination coordinates, the angle of view adjustment operation means for calculating the pan / tilt operation parameter applied
  • View angle adjustment period calculating means for calculating an angle of view adjustment period, a movement when the imaging means moves due to movement of the moving body during the view angle adjustment period from the imaging data obtained by imaging by the imaging means
  • a movement state calculation unit that calculates a movement parameter that represents a direction and a movement distance, a movement parameter that is calculated by the movement state calculation unit, and a field angle adjustment period calculation unit that are calculated when the angle of view of the imaging unit is adjusted.
  • Pan / tilt operation parameter correction means for correcting the pan / tilt operation parameter calculated by the view angle adjustment calculation means from the view angle adjustment period
  • panning Pan / tilt operation command means for sending a signal corresponding to the pan / tilt operation parameter to the tilt operation means by communication
  • pan / tilt operation command means for sending a signal corresponding to the pan / tilt operation parameter corrected by the pan / tilt operation parameter correction means to the pan / tilt operation means
  • the same matters as those specified in the second to fifteenth aspects can be combined as appropriate.
  • the means responsible for the processing and function specified in the imaging system can be grasped as a component of the angle-of-view adjustment program responsible for the processing and function corresponding thereto.
  • the moving parameter indicating the moving direction and moving distance when the imaging unit moves is calculated from the imaging data obtained by imaging of the imaging unit, and the angle of view of the imaging unit is adjusted by the pan / tilt operation unit. Since the operation parameters of the pan / tilt operation unit at the time are corrected, it is possible to cope with various movement states of the imaging unit, and when an operation command is transmitted to the pan / tilt operation unit during movement of the imaging unit, it is caused by a delay due to communication A pan / tilt operation in which the deviation of the angle of view adjustment is corrected is possible.
  • FIG. 1 is an overall configuration diagram of an imaging system.
  • FIG. 2 is a block diagram of the imaging system.
  • FIG. 3 is a block diagram of the pan / tilt camera.
  • FIG. 4 is a block diagram of the imaging unit.
  • FIG. 5 is a block diagram of the moving body.
  • FIG. 6 is a block diagram of the mobile operation terminal.
  • FIG. 7 is an explanatory diagram of a view angle adjusting method according to the prior art.
  • FIG. 7A is a schematic diagram showing a display state before coordinate input.
  • FIG. 7B is a schematic diagram showing a display state after coordinate input.
  • FIG. 8 is an explanatory diagram of a view angle adjusting method according to the present embodiment.
  • FIG. 8A is a schematic diagram showing a display state before coordinate designation.
  • FIG. 8A is a schematic diagram showing a display state before coordinate designation.
  • FIG. 8B is a schematic diagram showing a display state after designating coordinates.
  • FIG. 9 is an explanatory diagram of the delay period.
  • FIG. 10 is an explanatory diagram of communication period measurement.
  • FIG. 11 is an explanatory diagram of movement state calculation.
  • FIG. 12 is a flowchart showing the flow of control of the angle of view adjustment method.
  • FIG. 13 is a flowchart showing the flow of the procedure of the pan / tilt operation parameter calculation step shown in FIG.
  • FIG. 1 is an overall configuration diagram of an imaging system.
  • An imaging system 10 shown in FIG. 1 includes a moving body 12, a pan / tilt camera 14, an imaging operation unit 16, and a moving body operation unit 18.
  • the pan / tilt camera 14 is mounted on the moving body 12.
  • the pan / tilt camera 14 moves together with the moving body 12 as the moving body 12 moves.
  • the movement of the moving body 12 and the movement of the pan / tilt camera 14 are interchangeable.
  • the moving body 12 and the pan / tilt camera 14 shown in FIG. 1 are controlled by different operation means.
  • the mobile body 12 receives a control signal from the mobile body operation unit 18 and moves based on the control signal.
  • the mobile body 12 transmits the status information of the mobile body to the mobile body operation unit 18.
  • the moving body operation unit 18 is a moving body remote operation unit that remotely operates the moving body, and is an aspect of the moving body remote operation unit that is independent of the imaging operation unit.
  • the imaging of the pan / tilt camera 14 is controlled by an imaging control signal transmitted from the imaging operation unit 16.
  • imaging data acquired by imaging of the pan / tilt camera 14 is transmitted to the imaging operation unit 16.
  • a live view image captured by the pan / tilt camera 14 is displayed on the display unit 20 of the imaging operation unit 16.
  • the live view image displayed on the display unit 20 may be simply referred to as an image.
  • the imaging operation unit 16 connected to the pan / tilt camera 14 by communication corresponds to an imaging operation unit.
  • the display unit 20 corresponds to display means.
  • the pan / tilt camera 14 includes an imaging unit 22 and a pan / tilt operation unit 24.
  • the imaging unit 22 is attached to the pan / tilt operation unit 24.
  • the pan / tilt operation unit 24 is operated according to the pan / tilt operation parameter transmitted from the imaging operation unit 16
  • the angle of view of the imaging unit 22 is adjusted according to the operation of the pan / tilt operation unit 24.
  • the movement of the pan / tilt camera 14 and the movement of the imaging unit 22 can be read interchangeably.
  • the imaging unit 22 corresponds to an imaging unit.
  • the pan / tilt operation unit 24 corresponds to pan / tilt operation means.
  • the display unit 20 is a touch panel. Although details will be described later, arbitrary coordinates on the display screen of the display unit 20 can be specified by the operator touching the display screen of the display unit 20.
  • the display screen of the display unit 20 is illustrated with reference numeral 200 in FIG.
  • the imaging system 10 is configured to enable wireless communication between the pan / tilt camera 14 and the imaging operation unit 16.
  • wireless communication is also possible between the mobile body 12 and the mobile body operation unit 18.
  • the communication form between the pan / tilt camera 14 and the imaging operation unit 16 is not limited to wireless. Wired communication may be applied.
  • the communication between the mobile body 12 and the mobile body operation unit 18 is the same.
  • a communication method based on a wireless LAN in accordance with the IEEE 802.11a / b / g / n standard defined by IEEE or a communication method based on short-range wireless in accordance with the Bluetooth standard or the like can be used.
  • IEEE is an abbreviation for The Institute of Electric and Electronics Electronics, Inc.
  • LAN is an abbreviation for Local Area Network.
  • Bluetooth is a registered trademark.
  • the traveling unit 26 is operated by a motor (not shown).
  • the start of travel, stop of travel, travel speed, or travel direction of the mobile body 12 is controlled by operation control of a motor (not shown) based on the travel control signal transmitted from the mobile body operation unit 18 to the mobile body 12.
  • the movable body operation unit 18 including the operation button 28, the lever 30, and the cross key 32 is exemplified as the operation member, but other types of operation members may be provided.
  • a smartphone type mobile terminal is exemplified as the imaging operation unit 16.
  • the imaging operation unit 16 of the smartphone type mobile terminal shown in FIG. 1 includes an operation button 34, a microphone 36, and a speaker 38.
  • a tablet terminal device may be applied, or a fixed terminal device such as a personal computer may be applied.
  • FIG. 2 is a block diagram of the imaging system. 2, the same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. Also in FIG. 3 and subsequent figures, the same components as those already described are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the imaging operation unit 16 illustrated in FIG. 2 includes an imaging terminal communication unit 40.
  • the imaging terminal communication unit 40 receives imaging data transmitted from the pan / tilt camera 14.
  • the imaging terminal communication unit 40 transmits an imaging control signal to the pan / tilt camera 14.
  • the imaging control signal includes a command related to imaging control in the pan / tilt camera 14 such as an imaging start command, an imaging stop command, or an adjustment command for the pan / tilt camera 14 such as zoom.
  • the imaging data here means image data obtained by imaging.
  • the imaging data may simply be called image data.
  • image data obtained by imaging is described as imaging data.
  • the imaging terminal communication unit 40 is a constituent element of an imaging data receiving unit and imaging data receiving means.
  • the imaging operation unit 16 includes an operation member 42.
  • the operation member 42 includes operation buttons displayed on the display screen of the display unit 20. Illustration of operation buttons displayed on the display screen of the display unit 20 is omitted.
  • the imaging operation unit 16 includes an audio signal conversion unit 44.
  • the audio signal conversion unit 44 converts the audio signal acquired from the microphone 36 into an electric signal.
  • an electrical signal corresponding to the sound output from the speaker 38 is converted into an audio signal.
  • the imaging operation unit 16 includes a coordinate designation unit 46.
  • the coordinate designating unit 46 designates arbitrary coordinates on the display screen of the display unit 20. For example, when an arbitrary position on the display screen of the display unit 20 is touched, the touched position is detected and converted to the coordinates of the display screen of the display unit 20.
  • the coordinate designating unit 46 corresponds to coordinate designating means.
  • the imaging operation unit 16 includes an angle-of-view information acquisition unit 47.
  • the angle-of-view information acquisition unit 47 acquires the angle-of-view information of the lens provided in the imaging unit 22 illustrated in FIG.
  • the view angle information acquisition unit 47 illustrated in FIG. 2 may be a view angle information storage unit that stores the view angle information of the imaging unit 22 illustrated in FIG.
  • the imaging operation unit 16 includes a field angle adjustment calculation unit 48.
  • the angle-of-view adjustment calculation unit 48 performs angle-of-view adjustment calculation for calculating the pan / tilt operation parameter using the first coordinate and the second coordinate specified by the coordinate specifying unit 46.
  • the pan / tilt operation parameter includes a pan operation parameter and a tilt operation parameter.
  • the angle of view adjustment calculation unit 48 corresponds to an angle of view adjustment calculation means.
  • the imaging operation unit 16 includes a coordinate conversion processing unit 49.
  • the coordinate conversion processing unit 49 executes a coordinate conversion process for converting the pan / tilt operation parameter of the two-dimensional orthogonal coordinate system into the three-dimensional coordinate system. Details of the coordinate conversion processing will be described later.
  • the imaging operation unit 16 includes an angle-of-view adjustment period calculation unit 50.
  • the view angle adjustment period calculation unit 50 calculates the view angle adjustment period.
  • the view angle adjustment period calculated by the view angle adjustment period calculation unit 50 is used to correct the pan / tilt operation parameter calculated by the view angle adjustment calculation unit 48. Details of the angle of view adjustment period will be described later.
  • the angle of view adjustment period calculation unit 50 corresponds to an angle of view adjustment period calculation unit.
  • the imaging operation unit 16 illustrated in FIG. 2 includes a movement state calculation unit 52.
  • the movement state calculation unit 52 represents a movement direction and a movement distance of the pan / tilt camera 14 when the pan / tilt camera 14 moves due to the movement of the moving body 12 during the angle of view adjustment period calculated by the angle of view adjustment period calculation unit 50.
  • the movement parameter is calculated.
  • the movement parameter of the pan / tilt camera 14 calculated by the movement state calculation unit 52 is used to correct the pan / tilt operation parameter calculated by the angle-of-view adjustment calculation unit 48. Details of the movement parameters of the pan / tilt camera 14 will be described later.
  • the movement state calculation unit 52 corresponds to movement state calculation means.
  • the pan / tilt operation parameter correction unit 54 corrects the pan / tilt operation parameter using the view angle adjustment period calculated by the view angle adjustment period calculation unit 50 and the movement parameter of the pan / tilt camera 14 calculated by the movement state calculation unit 52. . Details of the correction of the pan / tilt operation parameter will be described later.
  • the pan / tilt operation parameter correction unit 54 corresponds to pan / tilt operation parameter correction means.
  • the imaging operation unit 16 illustrated in FIG. 2 includes a pan / tilt operation command unit 56.
  • the pan / tilt operation command unit 56 sends the pan / tilt operation parameter calculated by the view angle adjustment calculation unit 48 and corrected by the pan / tilt operation parameter correction unit 54 to the pan / tilt operation unit 24.
  • the 2 includes a communication period measurement unit 58.
  • the communication period measurement unit 58 measures the communication period between the pan / tilt camera 14 and the imaging operation unit 16.
  • a configuration example of the communication period measurement unit 58 includes an aspect including a timer, a counter, and a memory.
  • the communication period measurement uses a timer to measure the period from the start of transmission to the end of transmission, or the period from the start of transmission to the stop of transmission due to transmission failure, and the counter is used to measure the number of retries due to transmission failure to start transmission.
  • the 2 includes a communication period storage unit 59.
  • the communication period storage unit 59 stores communication period measurement data measured by the communication period measurement unit 58.
  • the communication period measurement unit 58 is an aspect of the imaging data communication period acquisition unit.
  • the communication period measurement unit 58 is an aspect of the operation command communication period acquisition unit.
  • reading of the communication period measurement data from the communication period storage unit 59 can be cited.
  • reading of communication period measurement data from the communication period storage unit 59 can be cited.
  • the imaging terminal communication unit 40 illustrated in FIG. 2 performs a pan / tilt operation on a pan / tilt drive control signal obtained by converting the pan / tilt operation parameter calculated by the angle-of-view adjustment calculation unit 48 and the pan / tilt operation parameter correction unit 54 into a radio signal.
  • the pan / tilt operation unit 24 receives the pan / tilt drive control signal and executes the pan / tilt operation based on the pan / tilt drive control signal.
  • the pan / tilt operation command unit 56 corresponds to pan / tilt operation command means.
  • FIG. 3 is a block diagram of the pan / tilt camera.
  • the pan / tilt camera 14 includes an imaging unit 22. Imaging of the imaging unit 22 is controlled by the imaging control unit 60. The imaging control unit 60 sends a command represented by the imaging control signal to the imaging unit 22 based on the imaging control signal acquired via the camera communication unit 62.
  • the camera communication unit 62 is a constituent element of the imaging data transmission unit and imaging data transmission means.
  • the imaging data obtained by imaging by the imaging unit 22 is sent to the camera communication unit 62 via the imaging control unit 60.
  • the camera communication unit 62 converts the imaging data into a wireless communication signal and transmits it to the imaging operation unit 16 shown in FIG.
  • the pan / tilt camera 14 includes a pan driving unit 64.
  • the pan driving unit 64 includes a motor as a driving source and a pan driving mechanism connected to the motor.
  • the driving of the pan driving unit 64 is controlled by the pan driving control unit 66.
  • the pan drive control unit 66 includes a motor driver that controls the operation of a motor that is a drive source of the pan drive unit 64.
  • the pan / tilt camera 14 includes a tilt driving unit 68.
  • the tilt drive unit 68 includes a motor as a drive source and a tilt drive mechanism coupled to the motor.
  • the drive of the tilt drive unit 68 is controlled by the tilt drive control unit 70.
  • the tilt drive control unit 70 includes a motor driver that controls the operation of a motor that is a drive source of the tilt drive unit 68.
  • the pan / tilt operation unit 24 shown in FIG. 1 includes a pan driving unit 64 and a tilt driving unit 68.
  • the pan / tilt operation in the present embodiment includes at least one of a pan operation and a tilt operation.
  • the pan / tilt operation parameters described above include at least one of pan operation parameters and tilt operation parameters.
  • the imaging control unit 60 sends a command based on the pan operation parameter to the pan drive control unit 66.
  • the pan drive control unit 66 operates the pan drive unit 64 based on the command.
  • the imaging control unit 60 sends a command based on the tilt operation parameter to the tilt drive control unit 70.
  • the tilt drive control unit 70 operates the tilt drive unit 68 based on the command.
  • FIG. 4 is a block diagram of the imaging unit.
  • the imaging unit 22 includes an optical system 71.
  • the optical system 71 includes a lens and a diaphragm.
  • a lens group including a plurality of types of lenses may be provided.
  • the imaging unit 22 includes an image sensor 72.
  • the image sensor 72 converts an optical image of a subject incident through the optical system into an electric signal.
  • a solid-state image sensor is applied to the image sensor 72.
  • a CCD image sensor or a CMOS image sensor can be given.
  • CCD Charge-Coupled Device
  • CMOS is an abbreviation for Complementary Metal-Oxide Semiconductor.
  • the imaging unit 22 includes an analog signal processing unit 74.
  • the analog signal processing unit 74 performs analog signal processing such as automatic gain adjustment on the image pickup signal that is an electric signal of the analog format converted by the image pickup device 72.
  • the imaging signal here corresponds to imaging data.
  • the imaging unit 22 includes an AD conversion unit 76.
  • the AD conversion unit 76 converts the analog imaging signal subjected to the signal processing by the analog signal processing unit 74 into a digital imaging signal.
  • a in AD represents analog.
  • D of AD represents digital.
  • the imaging unit 22 includes a digital signal processing unit 80.
  • the digital signal processing unit 80 is converted into a digital image pickup signal by the AD conversion unit 76.
  • the imaging unit 22 includes a memory 82.
  • the memory 82 stores imaging data corresponding to the digital imaging signal converted by the digital signal processing unit 80.
  • the imaging data stored in the memory 82 is transmitted to the imaging operation unit 16 illustrated in FIG. 1 via the data bus 84, the imaging control unit 60, and the camera communication unit 62 illustrated in FIG.
  • the imaging unit 22 includes an optical system driving unit 86.
  • the optical system drive unit 86 controls the operation of the optical system 71 based on a command sent from the imaging control unit 60.
  • An example of the operation of the optical system 71 is zoom adjustment or aperture adjustment.
  • the imaging unit 22 includes an imaging element driving unit 88.
  • the image sensor driving unit 88 controls the operation of the image sensor 72 such as the exposure period of the image sensor 72 and the charge readout timing based on a command sent from the image capture controller 60.
  • the configuration of the imaging unit 22 illustrated in FIG. 4 is an example, and an imaging apparatus capable of capturing a live view image, moving image shooting, or continuous shooting of a still image can be applied to the imaging unit 22.
  • the imaging control unit 60 illustrated in FIG. 4 only needs to include at least a part having a function of controlling the operation of the imaging unit 22 in the imaging control unit 60 illustrated in FIG. 3.
  • FIG. 5 is a block diagram of the moving body.
  • the moving body 12 shown in FIG. 5 includes a moving body driving unit 90.
  • the moving body drive unit 90 includes a motor as a drive source and a drive mechanism connected to the motor.
  • the moving body 12 includes a moving body drive control unit 92.
  • the driving of the moving body drive unit 90 is controlled by the moving body drive control unit 92.
  • the moving body drive control unit 92 includes a motor driver that controls the operation of a motor that is a drive source of the moving body drive unit 90.
  • the moving body 12 includes a sensor 94.
  • the sensor 94 includes various sensors such as a position detection sensor that detects the position of the moving body 12 and an obstacle detection sensor that detects the presence or absence of an obstacle in the traveling direction of the moving body 12.
  • the detection signal obtained from the sensor 94 is sent to the moving body drive control unit 92.
  • the moving body drive control unit 92 acquires information represented by the detection signal and feeds it back to the operation control of the moving body drive unit 90.
  • the mobile body 12 includes a mobile communication unit 96.
  • the mobile communication unit 96 receives a mobile control signal transmitted from the mobile operation unit 18 shown in FIG.
  • the mobile communication unit 96 shown in FIG. 5 sends the received mobile control signal to the mobile drive control unit 92.
  • the mobile body drive control unit 92 sends an operation command for the mobile body 12 to the mobile body drive unit 90 based on the mobile body control signal.
  • the mobile communication unit 96 transmits information represented by the detection signal obtained from the sensor 94 to the mobile operation unit 18 shown in FIG.
  • FIG. 6 is a block diagram of the mobile operation terminal.
  • the moving body operation unit 18 shown in FIG. 6 includes a moving body operation control unit 100.
  • the moving body operation unit 18 includes an operation unit 102.
  • the operation unit 102 is an operation member operated by an operator, and includes the operation button 28, the lever 30, the cross key 32, and the like illustrated in FIG. Information input by the operation of the operation unit 102 is sent to the moving object operation control unit 100.
  • the moving body operation unit 18 includes a display member 104.
  • the display member 104 includes a power lamp indicating power on, a communication status display lamp indicating a communication state, and the like. In FIG. 1, the display member 104 is not shown.
  • the mobile object operation communication unit 106 transmits a control signal of the mobile object 12 to the mobile object 12 and receives status information of the mobile object 12.
  • the moving body 12, the pan / tilt camera 14, the imaging operation unit 16, and the moving body operation unit 18 described with reference to FIGS. 2 to 6 are examples, and components can be added, changed, or deleted.
  • the units shown in FIGS. 2 to 6 can be integrated or separated as appropriate.
  • stored are possible.
  • the angle of view of the pan / tilt camera 14 is automatically adjusted, and the display unit 20 On the display screen, the specified area moves to the specified destination.
  • the coordinate of the display screen of the display unit 20 corresponding to the arbitrary position of the display screen of the display unit 20 is specified by the coordinate specifying unit 46. Is done.
  • the pan / tilt operation unit 24 shown in FIG. 1 is based on the information of the designated coordinates and the movement destination coordinates. , That is, the optical axis of the pan / tilt camera 14 is moved, and the angle of view of the pan / tilt camera 14 is adjusted.
  • Specified coordinates here correspond to the first coordinates described above. Further, the movement destination coordinates correspond to the second coordinates described above. That is, when any two regions on the display screen of the display unit 20 are designated in a state where the captured image of the pan / tilt camera 14 is displayed on the display screen of the display unit 20, the region designated earlier is changed to the region designated later. The angle of view of the pan / tilt camera 14 is moved to the position.
  • FIG. 7 is an explanatory diagram of a view angle adjusting method according to the prior art.
  • FIG. 7A is a schematic diagram showing a display state before coordinate input.
  • FIG. 7B is a schematic diagram showing a display state after coordinate input.
  • the horizontal axis is taken as the X axis.
  • the vertical axis is the Z axis.
  • the coordinates of the center position 201 of the display screen 200 are (0, 0).
  • the coordinates of the upper right corner of the display screen 200 are assumed to be (X MAX , Z MAX ).
  • Let the coordinates of the upper left corner of the display screen 200 be ( ⁇ X MAX , Z MAX ).
  • the coordinates of the lower left corner of the display screen 200 are assumed to be ( ⁇ X MAX , ⁇ Z MAX ).
  • Let the coordinates of the lower right corner of the display screen 200 be (X MAX , -Z MAX ).
  • Arbitrary coordinates on the display screen 200 are assumed to be (X, Z).
  • the coordinates (X 1 , Z 1 ) of the center position 204 of the subject 202 are designated as designated coordinates.
  • the coordinates (0, 0) of the center position 201 of the display screen 200 are designated as the movement destination coordinates.
  • the center position 204 of the subject 202 starts from the center position 204 of the subject 202 on the display screen 200.
  • a first movement vector 206 having 201 as an end point is determined.
  • the first movement vector is an aspect of the pan / tilt operation parameter calculated by the angle-of-view adjustment calculation unit 48 of FIG.
  • the angle of view of the pan / tilt camera 14 is adjusted using the pan / tilt operation parameter calculated from the first movement vector 206 shown in FIG. Good.
  • a second movement vector 208 shown in FIG. 7A is a movement vector representing movement of the pan / tilt camera 14 accompanying movement of the moving body 12.
  • an image displayed on the display screen 200 after the angle of view adjustment is executed is displayed on the display screen 200 as a desired destination as shown in FIG. It is displayed at a position shifted from the central position 201.
  • the center position 204A of the subject 202A after the angle of view adjustment on the display screen 200 is the end point of the third movement vector 210 obtained by the vector addition operation of the first movement vector 206 and the second movement vector 208. It moves to the position of the coordinates (X 2 , Z 2 ).
  • FIG. 8 is an explanatory diagram of a view angle adjusting method according to the present embodiment.
  • FIG. 8A is a schematic diagram showing a display state before coordinate designation.
  • FIG. 8B is a schematic diagram showing a display state after designating coordinates.
  • a correction vector 220 for canceling the second movement vector 208 that is a movement vector of the pan / tilt camera 14 accompanying the movement of the moving body 12 is obtained.
  • a fourth movement vector 222 that is a movement vector of the optical axis of the image pickup unit after correction is calculated. Note that the imaging unit is not shown in FIG. The imaging unit is illustrated in FIG. The same applies to FIG. 8B.
  • the second movement vector 208 shown in FIG. 8A corresponds to the movement parameter of the pan / tilt camera 14 calculated by the movement state calculation unit 52 shown in FIG.
  • the correction vector 220 shown in FIG. 8A is used for correcting the operation parameter of the pan / tilt unit in the pan / tilt operation parameter correction unit 54 shown in FIG.
  • the correction vector 220 is a vector having the same size and the opposite direction as the second movement vector 208. In other words, the correction vector 220 is a vector obtained by rotating the second movement vector 208 by 180 degrees.
  • the pan / tilt operation command shown in FIG. 2 is based on the fourth movement vector 222.
  • an operation command corresponding to the pan / tilt operation parameter is generated.
  • the pan / tilt operation command unit 56 illustrated in FIG. 2 transmits the pan / tilt operation parameter corresponding to the fourth movement vector 222 illustrated in FIG. 8B via the imaging terminal communication unit 40 to the pan / tilt operation unit 24 illustrated in FIG. Send to.
  • the angle-of-view adjustment period calculation unit 50 illustrated in FIG. 2 calculates the operation speed of the pan / tilt operation unit 24 illustrated in FIG. 1 as a pan / tilt operation parameter.
  • the operation speed of the pan / tilt operation unit 24 is determined from the pan / tilt operation period t 4 shown in FIG. 9, the designated coordinates, and the movement destination coordinates.
  • the pan / tilt operation period t 4 FOV / V ⁇ .
  • the unit of the maximum operation speed V ⁇ of the pan / tilt operation unit 24 is degrees per second.
  • the unit of the angle of view FOV of the lens is degrees.
  • the angle-of-view adjustment period calculation unit 50 is an aspect of a pan / tilt operation period acquisition unit. As an example of acquiring the pan / tilt operation period, calculation of the pan / tilt operation period t 4 can be given.
  • FIG. 9 is an explanatory diagram of the delay period. As illustrated in FIG. 9, when an imaging control signal is transmitted from the imaging operation unit 16 to the pan / tilt camera 14, imaging of the pan / tilt camera 14 is started. It is assumed that the moving body 12 shown in FIG. 1 is moving during the period when the pan / tilt camera 14 is picked up.
  • the pan / tilt camera 14 transmits imaging data representing a captured image to the imaging operation unit 16 at a predetermined timing. Transmission period of the imaging data from the pan-tilt camera 14 to the image pickup operation unit 16 is t 1.
  • the angle of view adjustment calculation for calculating the pan / tilt operation parameter is executed by the angle of view adjustment calculation unit 48 shown in FIG. 2, the angle of view adjustment period is calculated by the angle of view adjustment period calculation unit 50, and the movement state calculation unit 52 The movement parameter of the pan / tilt camera 14 is calculated, and the pan / tilt operation parameter correction unit 54 corrects the pan / tilt operation parameter.
  • the period from the specified designated coordinates, and the destination coordinates to the end of the view angle calculation is t 2.
  • the completion of the angle-of-view adjustment calculation here means that the pan / tilt operation parameter correction unit 54 calculates a corrected pan / tilt operation parameter.
  • the pan / tilt operation parameter is converted into a communication format signal and transmitted to the pan / tilt camera 14. As shown in FIG. 9, the pan / tilt operation parameter transmission period is t 3 .
  • the pan / tilt operation unit 24 shown in FIG. 1 is operated to cause the pan / tilt camera 14 to perform a pan / tilt operation.
  • the pan and tilt operating period from the pan and tilt operation command acquired until pan-tilt operation is completed is t 4.
  • the units of the imaging data transmission period t 1 , the view angle adjustment calculation period t 2 , the pan / tilt operation parameter transmission period t 3 , the pan / tilt operation period t 4 , and the delay period T are seconds.
  • the imaging data transmission period t 1 and the pan / tilt operation parameter transmission period t 3 vary relatively depending on the communication environment. Therefore, the imaging data transmission period t 1 and the pan / tilt operation parameter transmission period t 3 are measured every time communication is performed between the pan / tilt camera 14 and the imaging operation unit 16.
  • pan and tilt operating period t 4 is a fixed value.
  • view angle computation period t 2 is very short time as compared with other periods, the variation is negligible.
  • the delay period T calculated in this way is applied to the pan / tilt operation parameter correction processing in the pan / tilt operation parameter correction unit 54 shown in FIG.
  • Imaging data transmission period t 1 and the pan / tilt operation parameter transmission period t 3 shown in FIG. 9 will be described in detail.
  • the imaging data transmission period t 1 and the pan / tilt operation parameter transmission period t 3 are collectively referred to as a communication period.
  • Imaging data transmission period t 1 corresponds to the imaging data communication period.
  • FIG. 10 is an explanatory diagram of communication period measurement.
  • Figure 10 is a procedure of the communication period measurement, the measurement procedure of the image pickup data transmission period t 1 shown in FIG. Measurement of imaging data transmission period t 1 is performed by the communication period measuring unit 58 shown in FIG. Measurement data of the imaging data transmission period t 1 is stored in the communication period storage section 59 shown in FIG.
  • a data transmission request is transmitted from the imaging operation unit 16 to the pan / tilt camera 14.
  • the pan / tilt camera 14 receives the imaging data transmission request, the pan / tilt camera 14 transmits imaging data.
  • the transmission of imaging data is not completed within a predetermined period, it is timed out and the transmission of imaging data is interrupted.
  • a transmission retry that is retransmission of imaging data is executed. The number of transmission retries is set in advance.
  • the imaging operation unit 16 receives the imaging data.
  • the imaging data transmission period t 1 is longer. That is, the number of transmission retries varies depending on the transmission state of the pan / tilt camera 14, the reception state of the imaging operation unit 16, and the like.
  • Pan and tilt operating parameter transmission period t 3 when shown in Fig. 9, it can be measured by the same procedure as the image pickup data transmission time t 1. Measurement of pan and tilt operating parameter transmission period t 3 is executed by the communication time measurement unit 58 shown in FIG. Measurement data of the pan-tilt operation parameter transmission period t 3 is stored in the communication period storage section 59 shown in FIG.
  • the communication period measured and stored in this manner is applied to the movement parameter of the pan / tilt camera 14 in the movement state calculation unit 52 shown in FIG.
  • FIG. 11 is an explanatory diagram of movement state calculation.
  • the moving state of the moving body 12 is grasped from the imaging data of the pan / tilt camera 14.
  • the second movement vector 208 representing the movement state of the subject 202 is calculated on the display screen 200 shown in FIG. Then, the correction vector 220 shown in FIG. 8B is calculated from the second movement vector 208 on the display screen 200.
  • the first movement vector 206 representing the movement of the desired subject 202 is corrected on the display screen 200 to calculate the fourth movement vector 222 that realizes the movement of the desired subject 202 on the display screen 200. is doing.
  • the X component of the fourth movement vector 222 is converted into the angle of the pan operation.
  • the Z component of the movement vector 222 is converted into a tilt operation angle.
  • the movement of the moving body 12 is assumed to be a uniform acceleration linear motion.
  • v 0 is the initial speed.
  • a is the acceleration.
  • t is a period. That is, if the speed and acceleration of the subject 202 at the timing when the view angle adjustment instruction is given are obtained on the display screen 200, the position after the period t can be grasped.
  • n captured images received by the imaging operation unit 16 are buffered by FIFO.
  • n is an integer of 2 or more.
  • FIFO is an abbreviation for First / In / First / Out that represents a first-in first-out method.
  • a template of m pixels ⁇ m pixels around the designated coordinates is cut out from the latest image at the timing when the destination coordinates are designated.
  • n may be an integer of 1 or more, m is preferably an integer of 2 or more.
  • the latest image at the timing when the destination coordinate is designated here is an image displayed on the display screen 200 at the timing when the destination coordinate is designated.
  • the display screen 200 shown at the right end of FIG. 11 displays the latest image, which is the nth image buffered by the FIFO.
  • the display image on the display screen 200 illustrated at the right end of FIG. 11 corresponds to the first imaging data acquired at the first timing.
  • a template 230 of m pixels ⁇ m pixels is cut out from the image displayed on the display screen 200.
  • the coordinates of the center position 204 of the subject 202 are assumed to be (X n , Z n ).
  • the movement amount is calculated by template matching. Further, an image acquisition period interval is separately acquired, and a velocity vector and an acceleration vector are obtained.
  • Template matching is an aspect of feature point detection.
  • the display screen 200 shown in the center of FIG. 11 displays the (n ⁇ 1) th image buffered by the FIFO.
  • the display image on the display screen 200 illustrated in the center of FIG. 11 corresponds to the second imaging data acquired at the second timing.
  • image acquisition period interval between n-th image and n-1-th image is a T n.
  • image acquisition period interval T n between n-th image and n-1 th image corresponds to the first period.
  • the display screen 200 shown at the left end of FIG. 11 displays the (n-2) th image buffered by the FIFO.
  • the display image on the display screen 200 illustrated at the left end of FIG. 11 corresponds to the third imaging data acquired at the third timing.
  • (X n ⁇ 2 , Z n ⁇ 2 ) be the coordinates of the center position 204 of the subject 202 on the display screen 200 shown at the left end of FIG.
  • the image acquisition period interval between the ( n-1) th image and the (n-2) th image is Tn-1 .
  • An image acquisition period interval T n ⁇ 1 between the ( n ⁇ 1) th image and the (n ⁇ 2) th image corresponds to the second period.
  • D nX X n ⁇ X n ⁇ 1 .
  • D nZ Z n -Z n- 1.
  • the movement vector D n of the display image on the display screen 200 in the image acquisition period interval T n corresponds to the first movement vector 206 shown in FIG.
  • V nX
  • / T n tables and ⁇ (X n -X n-1 ) 2 ⁇ 1/2 / T n Is done.
  • V Zn
  • / T n ⁇ (Z n ⁇ Z n ⁇ 1 ) 2 ⁇ 1/2 / T n .
  • the velocity vector V n has a magnitude obtained by dividing the magnitude of the first movement vector by the first period, and corresponds to a first velocity vector having a direction parallel to the direction represented by the first movement vector.
  • a nX ⁇ (V nX ⁇ V n ⁇ 1X ) 2 ⁇ 1/2 / T n ⁇ 1 .
  • / T n ⁇ 1 ⁇ (X n ⁇ 1 ⁇ X n-2) 2 ⁇ is expressed as 1/2 / T n.
  • a nZ ⁇ (V nZ ⁇ V n ⁇ 1Z ) 2 ⁇ 1/2 / T n ⁇ 1 .
  • / T n ⁇ 1 ⁇ (Z n ⁇ 1 ⁇ Z n ⁇ 2 ) 2 ⁇ 1/2 / T n
  • a vector having an X component X n-1 -X n-2 and having a Z component Z n-1 -Z n-2 corresponds to a second movement vector.
  • V n-1X and V n-1Z have a magnitude obtained by dividing the magnitude of the second movement vector by the second period, and the second velocity vector has a direction parallel to the direction represented by the second movement vector.
  • Equivalent to. ⁇ (V nX ⁇ V n ⁇ 1X ) 2 ⁇ 1/2 and ⁇ (V nZ ⁇ V n ⁇ 1Z ) 2 ⁇ 1/2 are differences obtained by subtracting the second velocity vector from the first velocity vector. Corresponds to a vector.
  • the acceleration vector An has a magnitude obtained by dividing the magnitude of the difference vector by the first period, and corresponds to an acceleration vector having a direction parallel to the difference vector.
  • the correction vector representing the movement amount of the display image of the display screen 200 Calculated.
  • the X component of the correction vector is expressed as X n + A nX ⁇ T 1/2 / 2.
  • the Z component of the correction vector is expressed as Z n + A nZ ⁇ T 1/2 / 2.
  • the correction vector here is the correction vector 220 shown in FIG.
  • a movement vector, a velocity vector, and an acceleration vector may be calculated for a plurality of images, and an average of each of the movement vector, the velocity vector, and the acceleration vector may be applied.
  • the moving state of the subject corresponding to the moving state of the moving body 12 and the imaging unit 22 is grasped on the display screen 200 of the display unit 20 by vector calculation using the imaging data of the pan / tilt camera 14. Therefore, the moving state of the moving body 12 can be grasped without providing the moving body 12 with detection means such as a speed sensor, an acceleration sensor, and a distance measuring sensor.
  • vector computation is executed in a two-dimensional orthogonal coordinate system, it contributes to reducing the processing load and reducing the storage capacity of the memory used for computation.
  • the conversion process from the two-dimensional orthogonal coordinate system to the polar coordinate corresponds to the polar coordinate conversion process.
  • the conversion process from the two-dimensional orthogonal coordinate system to the spherical coordinate corresponds to the spherical coordinate conversion process.
  • the polar coordinate conversion process is an aspect of the three-dimensional coordinate conversion process.
  • the coordinate conversion process is another aspect of the three-dimensional coordinate conversion process.
  • FIG. 12 is a flowchart showing the flow of control of the angle of view adjustment method.
  • an imaging control signal is transmitted from the imaging operation unit 16 to the pan / tilt camera 14.
  • the imaging control signal transmission step S100 corresponds to an imaging operation step.
  • the imaging control signal receiving step S101 when the pan / tilt camera 14 receives an imaging control signal, imaging is executed using the imaging unit 22 shown in FIG. 1 in the imaging step S102.
  • the imaging data acquired in the imaging step S102 of FIG. 12 is transmitted from the pan / tilt camera 14 to the imaging operation unit 16 in the imaging data transmission step S104.
  • Imaging in the imaging step S102 and transmission of imaging data in the imaging data transmission step S104 are repeatedly executed until an instruction to stop imaging is given.
  • the imaging data reception step S106 when the imaging operation unit 16 receives the imaging data, in the display step S108, an image represented by the received imaging data is displayed on the display screen of the display unit 20 illustrated in FIG.
  • the pan tilt operation parameter is calculated in the pan tilt operation parameter calculation step S112.
  • the view angle adjustment instruction in the view angle adjustment instruction step S110 is the designation of the designated coordinates and the designation of the movement destination coordinates shown in FIG.
  • the view angle adjustment instruction step S110 is an aspect of the coordinate designation step.
  • the pan / tilt operation parameter calculated in the pan / tilt operation parameter calculation step S112 is transmitted from the imaging operation unit 16 to the pan / tilt camera 14 in the pan / tilt operation parameter transmission step S114. Details of the pan / tilt operation parameter calculation step S112 in the imaging operation unit 16 will be described later.
  • the pan / tilt operation unit illustrated in FIG. 1 is performed based on the received pan / tilt operation parameter in the pan / tilt operation step S118. 24 is operated to adjust the angle of view of the imaging unit 22.
  • the pan / tilt operation parameter transmission step S114, the pan / tilt operation parameter reception step S116, and the pan / tilt operation step S118 are components of the pan / tilt operation command step.
  • FIG. 13 is a flowchart showing the flow of the procedure of the pan / tilt operation parameter calculation step shown in FIG. 12
  • the designated coordinates are designated in the view angle adjustment instruction step S110 in FIG. 12
  • the designated coordinates are obtained in the designated coordinate acquisition step S200 in FIG.
  • the destination coordinate is specified in the view angle adjustment instruction step S110 in FIG. 12
  • the specified destination coordinate is acquired in the destination coordinate acquisition step S202 in FIG.
  • the first movement vector 206 shown in FIG. 8A is calculated. That is, a first movement vector that is a movement vector representing a relative movement between the designated coordinates and the movement destination coordinates is calculated.
  • the first movement vector calculation step S204 is an aspect of the view angle adjustment calculation step.
  • the delay period T shown in FIG. 9, that is, the period from the view angle adjustment instruction to the completion of the view angle adjustment is calculated. Specifically, the imaging data transmission period t 1 , the view angle adjustment calculation period t 2 , the pan / tilt operation parameter transmission period t 3 , and the pan / tilt operation period t 4 shown in FIG. 9 are read out and added together to obtain a delay period. An angle of view adjustment period T is calculated.
  • the movement state calculation step S208 in FIG. 13 is a movement vector representing the movement of the mobile body 12 shown in FIG. 1 during the angle of view adjustment period calculated in the angle of view adjustment period calculation step S206.
  • the indicated second movement vector 208 is calculated.
  • the second movement vector 208 shown in FIG. 8A obtained in the movement state calculation step S208 and the first movement vector calculation step S204 in FIG. 13 are calculated.
  • the fourth movement vector 222 is calculated using the first movement vector 206 or the correction vector 220 shown in FIG.
  • the operation parameters of the pan / tilt operation on the display screen 200 shown in FIG. 8A are subjected to a coordinate system conversion process from the two-dimensional orthogonal coordinate system to the three-dimensional polar coordinate system.
  • the coordinate system conversion process the movement in the X direction on the display screen 200 is converted into a displacement angle in the pan direction. Further, the movement in the Z direction on the display screen 200 is converted into the displacement angle in the tilt direction by the coordinate system conversion process.
  • the operation parameter of the pan / tilt operation calculated in this way is transmitted from the imaging operation unit 16 to the pan / tilt camera 14 in the pan / tilt operation parameter transmission step S114 of FIG.
  • the coordinate system conversion process from the two-dimensional orthogonal coordinate system to the three-dimensional polar coordinate system is exemplified in the pan / tilt operation parameter calculation step S112 performed by the imaging operation unit 16, but the pan / tilt camera 14 performs the two-dimensional operation.
  • a mode in which a coordinate system conversion process from an orthogonal coordinate system to a three-dimensional polar coordinate system is also possible.
  • the pan / tilt operation period t 4 from the start of the pan / tilt operation to the completion of the pan / tilt operation illustrated in FIG. 7 and the operation speed of the pan / tilt operation unit 24 illustrated in FIG.
  • the pan / tilt operation period t 4 is obtained from the angle of view of the lens included in the optical system 71 shown in FIG. 4 and the maximum speed of the pan / tilt operation.
  • the pan / tilt operation parameter may be any parameter as long as the rotational speed and the rotational speed of the motor provided in the pan / tilt operation unit 24 shown in FIG.
  • the number of rotations here is the number of rotations of the motor during the pan / tilt operation period.
  • a program for causing a computer to realize the functions of the imaging system 10 shown in FIG. 1 can be recorded on a CD-ROM, a magnetic disk, or other computer-readable medium, and the program can be provided through an information storage medium.
  • CD-ROM is an abbreviation for Compact Disc Read-only Memory.
  • the computer-readable medium represents a non-transitory information storage medium that is a tangible object.
  • the imaging system described in the above embodiment or all of them can be realized by an application server or cloud computing, and a service providing a processing function can be provided through a network.
  • the pan / tilt camera is moved by a vector calculation of a two-dimensional orthogonal coordinate system on the display screen, it is not necessary to execute complicated calculation processing, and the calculation load can be reduced.
  • the traveling type moving body is exemplified, but a flying type moving body, a ship type moving body, or a composite type moving body thereof can also be used.

Abstract

本発明は、通信による遅延に起因する画角のずれの補正を可能とする撮像システム、画角調整方法、及び画角調整プログラムを提供することを目的とする。本発明の実施態様では、移動体（１２）に搭載されるパンチルトカメラ（１４）の撮像部（２２）の撮像データを送信し、撮像画像を表示画面（２００）に表示させる撮像システム（１０）において、画角調整指示として指定座標、移動先座標を指定する座標指定部（４６）、指定座標、移動先座標を用いてパンチルト動作パラメータを算出する画角調整期間演算部（５０）、撮像データから撮像部の移動状態を算出する移動状態算出部（５２）、及び撮像部の移動状態に基づきパンチルト動作パラメータを補正するパンチルト動作パラメータ補正部（５４）を備えている。

Description

撮像システム、画角調整方法、及び画角調整プログラム
　本発明は、撮像システム、画角調整方法、及び画角調整プログラムに係り、特に遠隔操作されるパンチルトカメラの画角調整技術に関する。
　表示機能付き遠隔操作端末と通信により接続された撮像システムにおいて、遠隔操作端末を使った簡便な画角調整が提案されている。ここでいうパンチルトはカメラのパンニング動作、及びカメラのチルティング動作を表している。パンニング動作はパン動作と呼ばれることがある。また、チルティング動作はチルト動作と呼ばれることがある。
　特許文献１には遠隔操作される移動体に搭載されたカメラの撮像方向を制御する撮像システムが記載されている。特許文献１に記載の撮像システムは、表示部に表示されたカーソルを用いて表した指示ベクトルを用いて、撮像方向を移動させている。なお、本明細書における撮像システムの用語は、特許文献１におけるカメラ制御システムに相当する。
　特許文献２には移動しながら物体を撮像する移動型撮像装置が記載されている。特許文献２に記載の撮像装置は、撮像装置全体を物体に沿って移動させる際に、撮像装置の移動に従って、撮像装置の進行方向とカメラの光軸とのなす角度を増加させて、物体上の同一の点にカメラの光軸を通過させている。
　特許文献３には遠隔操作される監視用カメラが記載されている。特許文献３に記載の監視用カメラは、予めプリセットされた位置に停止させて撮像を行っている。
　特許文献４にはパンチルトカメラの撮像画像を画面の操作領域上に表示させ、操作領域上の任意の位置を指定することによって、パンチルトカメラを制御して、指定された被写体を操作領域の中央位置に向かわせる撮像装置が記載されている。
　特許文献５にはタブレット端末上で視野の中央位置に持ってくる対象を二本の指で指示し、パンチルトを行って対象を視野の中央位置に移動させる撮像システムが記載されている。なお、本明細書における撮像システムの用語は、特許文献５におけるカメラシステムに相当する。
特開２００９－１６９５６号公報 特開２００９－６５６０５号公報 特開２０００－２６１７９２号公報 特開平１０－２５７３７５号公報 特開２０１４－９９７１９号公報
　従来、表示機能付き遠隔操作端末と通信により接続された撮像システムの操作方法は、固定カメラの操作が基本であったが、近年、移動体にパンチルトカメラが搭載される事例が見られるようになった。
　移動体にパンチルトカメラが搭載された撮像システムは、移動体の移動中に移動体の移動制御とは独立して、パンチルトカメラのパンチルト動作が制御されることが想定される。
　しかしながら、通信によりパンチルト動作を制御すると、パンチルト動作の指令タイミングと、実際のパンチルト動作の動作タイミングとの間で、通信に依存する遅延が発生する。通信に依存する遅延がある状態で移動体の移動中に画角調整を実施した場合、操作したタイミングと、操作が反映されるタイミングが異なるので、その間の移動体の移動によって所望の画角に調整することが困難になる。
　特許文献１に記載の撮像システムは、移動体の移動中に指示ベクトルが入力されると、指示ベクトルの始点座標がずれてしまい、結果として移動後の撮像方向を正確に調整することが困難である。
　特許文献２に記載の移動型撮像装置は、移動体の移動速度を取得する手段が必要である。また、特許文献２に記載の移動型撮像装置は、カメラの露光時間内のカメラと被写体との相対移動によって発生するモーションブラーの発生を課題としており、カメラの露光時間を超える長期間の移動体の移動に対応することは困難である。
　特許文献３に記載の監視カメラは、パンチルト動作機能を有していないので、異なるプリセット位置間の移動中にパンチルト操作が行われることがなく、移動中にパンチルト操作を行った際の通信による遅延に起因する画角調整のずれという課題が発生しない。
　特許文献４に記載のパンチルトカメラ、及び特許文献５に記載のカメラは、被写体と相対移動するものではなく、被写体との相対移動中にパンチルト操作が行われることがないので、移動中にパンチルト操作を行った際の通信による遅延に起因する画角のずれという課題が発生しない。
　本発明はこのような事情に鑑みてなされたもので、通信による遅延に起因する画角のずれの補正を可能とする撮像システム、画角調整方法、及び画角調整プログラムを提供することを目的とする。
　上記目的を達成するために、次の発明態様を提供する。
　第１態様に係る撮像システムは、移動体と、移動体に搭載される撮像部と、撮像部の撮像により得られた撮像データを送信する撮像データ送信部と、撮像データ送信部から送信された撮像データを受信する撮像データ受信部と、撮像部をパン動作、及びチルト動作の少なくともいずれか一方の動作をさせるパンチルト動作部と、撮像部と通信接続される撮像操作部であり、撮像部を操作する撮像制御信号を撮像部へ送信する撮像操作部と、撮像データ受信部によって受信された撮像データが表す撮像画像を表示画面に表示させる表示部と、撮像部の画角を調整する際に、表示部の表示画面に表示されている画像における、移動対象の座標である指定座標、及び移動対象の移動先の座標である移動先座標を指定する座標指定部と、指定座標、及び移動先座標を用いて、パンチルト動作部に適用されるパンチルト動作パラメータを算出する画角調整演算部と、指定座標の指定から、撮像部の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出部と、撮像部の撮像により得られた撮像データから、画角調整期間に移動体の移動によって撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出部と、撮像部の画角を調整する際に、移動状態算出部によって算出された移動パラメータ、及び画角調整期間算出部によって算出された画角調整期間から、画角調整演算部によって算出されたパンチルト動作パラメータを補正するパンチルト動作パラメータ補正部と、パンチルト動作部へパンチルト動作パラメータに対応する信号を通信により送出するパンチルト動作指令部であり、パンチルト動作パラメータ補正部によって補正されたパンチルト動作パラメータに対応する信号をパンチルト動作部へ送出するパンチルト動作指令部と、を備えた撮像システムである。
　第１態様によれば、撮像部の撮像により得られた撮像データから撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出し、パンチルト動作部によって撮像部の画角を調整する際のパンチルト動作部の動作パラメータが補正されるので、様々な撮像部の移動状態に対応でき、撮像部の移動中にパンチルト動作部へ動作指令が送信された場合に、通信による遅延に起因する画角調整のずれの補正がされたパンチルト動作が可能である。
　第２態様は、第１態様の撮像システムにおいて、画角調整演算部は、指定座標、及び移動先座標から、パンチルト動作パラメータとして、第一移動ベクトルを算出し、移動状態算出部は、画角調整期間における撮像部の移動パラメータとして補正ベクトルを算出し、パンチルト動作パラメータ補正部は、補正ベクトルを用いて、第一移動ベクトルが表すパンチルト動作パラメータを補正する構成とすることができる。
　第２態様によれば、表示部の表示画面の座標を用いて撮像部の移動状態を把握することが可能となる。
　第３態様は、第２態様の撮像システムにおいて、移動状態算出部は、補正ベクトルとして、画角調整期間の移動体の移動によって撮像部が移動する際の撮像部の速度を表す速度ベクトル、及び画角調整期間の移動体の移動によって撮像部が移動する際の撮像部の加速度を表す加速度ベクトルを算出する構成とすることができる。
　第３態様によれば、表示部の表示画面における座標を用いたベクトル演算によって、撮像部の移動状態を把握することが可能である。
　第３態様において、速度ベクトル、及び加速度ベクトルは、表示画面における各軸の成分として算出することができる。表示画面にＸ軸、及びＺ軸からなる直交座標系が設定される場合、速度ベクトル、及び加速度ベクトルは、それぞれのＸ成分、及びＺ成分を算出しうる。
　第４態様は、第３態様の撮像システムにおいて、移動状態算出部は、第一タイミングにおいて撮像部の撮像により取得された第一撮像データ、及び第一タイミングの前の第二タイミングにおいて撮像部の撮像により取得された第二撮像データから、第二タイミングと第一タイミングとの間の第一期間における撮像部の移動距離、及び移動方向を表す第一移動ベクトルを取得し、第一移動ベクトルの大きさを第一期間で除算した大きさを有し、第一移動ベクトルが表す方向と平行の方向を有する速度ベクトルである第一速度ベクトルを算出する構成とすることができる。
　第４態様によれば、時系列順に取得された二つの撮像データから、撮像部の速度ベクトルを算出することが可能である。
　第５態様は、第４態様の撮像システムにおいて、移動状態算出部は、第一移動ベクトルを取得する際に特徴点検出を用いる構成とすることができる。
　第５態様によれば、特徴点検出を用いて、時系列順に取得された二つの撮像データから、撮像部の速度ベクトルを算出することが可能である。
　第５態様における特徴点検出の一例として、テンプレートマッチングが挙げられる。
　第６態様は、第４態様又は第５態様の撮像システムにおいて、移動状態算出部は、第二撮像データ、及び第二タイミングの前の第三タイミングにおいて撮像部の撮像により取得された第三撮像データから、第三タイミングと第二タイミングとの間の期間の第二期間における撮像部の移動距離、及び移動方向を表す第二移動ベクトルを取得し、第二移動ベクトルの大きさを第二期間で除算した大きさを有し、第二移動ベクトルが表す方向と平行方向の方向を有する速度ベクトルである第二速度ベクトルを算出し、第一速度ベクトルから第二速度ベクトルを減算して求められた差分ベクトルの大きさを第一期間で除算した大きさを有し、差分ベクトルと平行の方向を有する加速度ベクトルを算出する構成とすることができる。
　第６態様によれば、時系列順に取得された三つの撮像データから、加速度ベクトルを算出することが可能となる。
　第７態様は、第４態様から第６態様のいずれか一態様の撮像システムにおいて、移動状態算出部は、撮像部の撮像により取得された最新の撮像データを第一撮像データとする構成とすることができる。
　第７態様によれば、最新の撮像データを用いて、撮像部の移動ベクトル、速度ベクトル、及び加速度ベクトルを算出することが可能となる。
　第３態様から第７態様において、先入れ先出し処理を適用して、時系列順の撮像データを取得し、記憶する態様を適用することができる。
　第８態様は、第１態様から第７態様のいずれか一態様の撮像システムにおいて、画角調整演算部は、パンチルト動作パラメータとして、予め設定されたパンチルト動作開始からパンチルト動作完了までの期間であるパンチルト動作期間、指定座標、及び移動先座標から、パンチルト動作部の動作速度を算出する構成とすることができる。
　第８態様によれば、パンチルト動作期間、指定座標、及び移動先座標から、パンチルト動作部の動作速度を算出することが可能となる。
　第９態様は、第８態様の撮像システムにおいて、撮像部に具備されるレンズの画角情報を取得する画角情報取得部を備え、画角調整演算部は、パンチルト動作部の最大動作速度、及び撮像部に具備されるレンズの画角を用いてパンチルト動作期間を算出する構成とすることができる。
　第９態様によれば、レンズの画角、及びパンチルト動作部の最大速度からパンチルト動作期間を算出することが可能となる。
　第１０態様は、第９態様の撮像システムにおいて、画角情報取得部によって取得された撮像部の画角情報を用いて、二次元座標により表された指定座標、及び移動先座標に対して極座標変換処理を施して三次元座標に変換する座標変換処理部を備え、移動状態算出部は、座標変換処理部によって変換された三次元座標における指定座標と移動先座標との変位角度をパンチルト動作部の動作パラメータとして算出する構成とすることができる。
　第１０態様によれば、二次元座標系から三次元座標系への変換を行うことで、二次元座標系で表された表示画面上の移動ベクトル、速度ベクトル、及び加速度ベクトルを、三次元座標系で表されるパンチルト動作への変換が可能となる。
　第１１態様は、第１態様から第１０態様のいずれか一態様の撮像システムにおいて、撮像部の撮像により取得された撮像データの通信期間である撮像データ通信期間を取得する撮像データ通信期間取得部と、パンチルト動作指令部から送出された動作指令の通信期間である動作指令通信期間を取得する動作指令通信期間取得部と、パンチルト動作部の動作指令取得からパンチルト動作部の動作完了までのパンチルト動作期間を取得するパンチルト動作期間取得部と、を備え、画角調整期間算出部は、撮像データ通信期間取得部によって取得された撮像データ通信期間、動作指令通信期間取得部によって取得された動作指令通信期間、及びパンチルト動作期間取得部によって取得されたパンチルト動作期間を合算して、画角調整期間を算出する構成とすることができる。
　第１１態様によれば、撮像データの通信期間、動作指令の通信期間、パンチルト動作期間を合算された画角調整期間の算出が可能となる。
　第１２態様は、第１１態様の撮像システムにおいて、撮像部へ撮像データの送信リクエストが送信されたタイミングから、撮像部から送信された撮像データが受信されたタイミングまでの期間を測定する通信期間測定部を備え、撮像データ通信期間取得部は、通信期間測定部によって測定された期間を撮像データ通信期間として取得する構成とすることができる。
　第１２態様によれば、撮像データ通信期間を測定により取得することができる。
　第１３態様は、第１２態様の撮像システムにおいて、撮像データ通信期間取得部は、通信期間測定部による複数回の測定結果の平均を撮像データ通信期間として取得する構成とすることができる。
　第１３態様によれば、撮像データ通信期間の測定において測定ばらつきが存在しても、測定ばらつきの影響が低減化された信頼性の高い撮像データ通信期間を取得することが可能となる。
　第１４態様は、第１態様から第１３態様のいずれか一態様の撮像システムにおいて、移動体を遠隔操作する移動体遠隔操作部であり、撮像操作部とは独立の移動体遠隔操作部を備える構成とすることができる。
　第１４態様によれば、移動体の制御パラメータ、移動体の制御に用いられる検出結果、測定結果を用いずに、撮像データから撮像部の移動状態を把握することができる。
　第１５態様は、第１態様から第１４態様のいずれか一態様の撮像システムにおいて、画角調整演算部は、移動先座標を表示画面の中央位置の座標とする構成とすることができる。
　第１５態様によれば、移動体の移動に伴い移動する撮像部の撮像において、指定された被写体を表示画面の中央位置に表示させることが可能となる。
　第１６態様に係る画角調整方法は、移動体に搭載される撮像部であり、パン動作、及びチルト動作の少なくともいずれか一方の動作が可能な撮像部の画角調整方法であって、撮像部の撮像により得られた撮像データを送信する撮像データ送信工程と、撮像データ送信工程により送信された撮像データを受信する撮像データ受信工程と、撮像部を操作する撮像制御信号を撮像部へ通信により送信する撮像操作工程と、撮像データ受信工程によって受信された撮像データが表す撮像画像を表示画面に表示させる表示工程と、撮像部の画角を調整する際に、表示画面に表示されている画像における、移動対象の座標である指定座標、及び移動対象の移動先の座標である移動先座標を指定する座標指定工程と、指定座標、及び移動先座標を用いて、パンチルト動作パラメータを算出する画角調整演算工程と、指定座標の指定から、撮像部の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出工程と、撮像部の撮像により得られた撮像データから、画角調整期間に移動体の移動によって撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出工程と、撮像部の画角を調整する際に、移動状態算出工程によって算出された移動パラメータ、及び画角調整期間算出工程によって算出された画角調整期間から、画角調整演算工程によって算出されたパンチルト動作パラメータを補正するパンチルト動作パラメータ補正工程と、パンチルト動作パラメータ補正工程によって補正されたパンチルト動作パラメータによって、撮像部をパン動作、及びチルト動作の少なくともいずれか一方の動作させるパンチルト動作指令工程と、を含む画角調整方法である。
　第１６態様によれば、第１態様と同様の効果を得ることができる。
　第１６態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、撮像システムにおいて特定される処理や機能を担う手段は、これに対応する処理や機能を担う画角調整方法の構成要素として把握することができる。
　第１７態様に係る画角調整プログラムは、コンピュータを、移動体に搭載される撮像手段、撮像手段の撮像により得られた撮像データを送信する撮像データ送信手段、撮像データ送信手段から送信された撮像データを受信する撮像データ受信手段、撮像手段をパン動作、及びチルト動作の少なくともいずれか一方の動作をさせるパンチルト動作手段、撮像手段と通信接続される撮像操作手段であり、撮像手段を操作する撮像制御信号を撮像手段へ送信する撮像操作手段、撮像データ受信手段によって受信された撮像データが表す撮像画像を表示画面に表示させる表示手段、撮像手段の画角を調整する際に、表示手段の表示画面に表示されている画像における、移動対象の座標である指定座標、及び移動対象の移動先の座標である移動先座標を指定する座標指定手段、指定座標、及び移動先座標を用いて、パンチルト動作手段に適用されるパンチルト動作パラメータを算出する画角調整演算手段、指定座標の指定から、撮像手段の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出手段、撮像手段の撮像により得られた撮像データから、画角調整期間に移動体の移動によって撮像手段が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出手段、撮像手段の画角を調整する際に、移動状態算出手段によって算出された移動パラメータ、及び画角調整期間算出手段によって算出された画角調整期間から、画角調整演算手段によって算出されたパンチルト動作パラメータを補正するパンチルト動作パラメータ補正手段、及びパンチルト動作手段へパンチルト動作パラメータに対応する信号を通信により送出するパンチルト動作指令手段であり、パンチルト動作パラメータ補正手段によって補正されたパンチルト動作パラメータに対応する信号をパンチルト動作手段へ送出するパンチルト動作指令手段として機能させる表示制御プログラムである。なお上記プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体も本発明の態様に含まれる。
　第１７態様によれば、第１態様と同様の効果を得ることができる。
　第１７態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、撮像システムにおいて特定される処理や機能を担う手段は、これに対応する処理や機能を担う画角調整プログラムの構成要素として把握することができる。
　本発明によれば、撮像部の撮像により得られた撮像データから撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出し、パンチルト動作部によって撮像部の画角を調整する際のパンチルト動作部の動作パラメータが補正されるので、様々な撮像部の移動状態に対応でき、撮像部の移動中にパンチルト動作部へ動作指令が送信された場合に、通信による遅延に起因する画角調整のずれの補正がされたパンチルト動作が可能である。
図１は撮像システムの全体構成図である。 図２は撮像システムのブロック図である。 図３はパンチルトカメラのブロック図である。 図４は撮像部のブロック図である。 図５は移動体のブロック図である。 図６は移動体操作端末のブロック図である。 図７は従来技術に係る画角調整方法の説明図である。図７（Ａ）は座標入力前の表示状態を示す模式図である。図７（Ｂ）は座標入力後の表示状態を示す模式図である。 図８は本実施形態に係る画角調整方法の説明図である。図８（Ａ）は座標指定前の表示状態を示す模式図である。図８（Ｂ）は座標指定後の表示状態を示す模式図である。 図９は遅延期間の説明図である。 図１０は通信期間測定の説明図である。 図１１は移動状態算出の説明図である。 図１２は画角調整方法の制御の流れを示したフローチャートである。 図１３は図１２に示したパンチルト動作パラメータ算出工程の手順の流れを示すフローチャートである。
　以下、添付図面に従って本発明の好ましい実施の形態について説明する。
　［撮像システムの説明］
　＜全体構成＞
　図１は撮像システムの全体構成図である。同図に示す撮像システム１０は、移動体１２、パンチルトカメラ１４、撮像操作部１６、及び移動体操作部１８を備えている。パンチルトカメラ１４は移動体１２に搭載されている。
　パンチルトカメラ１４は移動体１２の移動に伴い、移動体１２と一緒に移動する。以下の説明において、パンチルトカメラ１４に関する説明の中で、移動体１２の移動と、パンチルトカメラ１４の移動と、は相互に読み替えが可能である。
　図１に示した移動体１２とパンチルトカメラ１４とは、異なる操作手段によって制御される。移動体１２は移動体操作部１８からの制御信号を受信し、制御信号に基づいて移動する。また、移動体１２は移動体のステータス情報を移動体操作部１８へ送信する。
　移動体操作部１８は移動体を遠隔操作する移動体遠隔操作部であり、撮像操作部とは独立の移動体遠隔操作部の一態様である。
　パンチルトカメラ１４は撮像操作部１６から送信された撮像制御信号によって撮像が制御される。また、パンチルトカメラ１４の撮像により取得された撮像データは撮像操作部１６へ送信される。撮像操作部１６の表示部２０には、パンチルトカメラ１４の撮像によるライブビュー画像が表示される。以下、表示部２０に表示されるライブビュー画像を単に画像と記載することがある。
　パンチルトカメラ１４と通信接続される撮像操作部１６は撮像操作手段に相当する。表示部２０は表示手段に相当する。
　パンチルトカメラ１４は撮像部２２、及びパンチルト動作部２４を備えている。撮像部２２はパンチルト動作部２４に取り付けられる。撮像操作部１６から送信されたパンチルト動作パラメータによってパンチルト動作部２４を動作させると、パンチルト動作部２４の動作に応じて撮像部２２の画角が調整される。以下の説明において、パンチルトカメラ１４に関する説明の中で、パンチルトカメラ１４の移動と、撮像部２２の移動と、は相互に読み替えが可能である。
　撮像部２２は撮像手段に相当する。パンチルト動作部２４はパンチルト動作手段に相当する。
　表示部２０はタッチパネルが適用される。詳細は後述するが、操作者が表示部２０の表示画面をタッチすることで、表示部２０の表示画面における任意の座標の指定が可能である。なお、表示部２０の表示画面は図８（Ａ）等に符号２００を付して図示する。
　撮像システム１０は、パンチルトカメラ１４と撮像操作部１６との間で、無線通信が可能に構成されている。また、移動体１２と移動体操作部１８との間でも無線通信が可能に構成されている。なお、パンチルトカメラ１４と撮像操作部１６との間の通信形態は無線に限定されない。有線通信を適用してもよい。移動体１２と移動体操作部１８との間の通信も同様である。
　例えば、ＩＥＥＥが定めるＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格等に従った無線ＬＡＮに基づく通信方式や、Ｂｌｕｅｔｏｏｔｈ規格等に従った近距離無線に基づく通信方式を用いることができる。
　ＩＥＥＥは、The Institute of Electrical and Electronics Engineers, Inc.の省略語である。ＬＡＮは、Local Area Networkの省略語である。Ｂｌｕｅｔｏｏｔｈは登録商標である。
　図１に示した移動体１２は走行部２６を備えている。走行部２６は図示しないモータによって動作する。移動体操作部１８から移動体１２へ送信される走行制御信号に基づく図示しないモータの動作制御によって、移動体１２の走行開始、走行停止、走行速度、又は走行方向が制御される。
　本実施形態では、操作部材として、操作ボタン２８、レバー３０、及びクロスキー３２を備えた移動体操作部１８を例示したが、他の種類の操作部材を備えてもよい。
　本実施形態では、撮像操作部１６としてスマートフォン型携帯端末を例示した。図１に示したスマートフォン型携帯端末の撮像操作部１６は、操作ボタン３４、マイクロホン３６、及びスピーカー３８を備えている。撮像操作部１６として、タブレット型端末機器を適用してもよいし、パーソナルコンピュータなどの固定型端末機器を適用してもよい。
　＜撮像操作部の説明＞
　図２は撮像システムのブロック図である。図２中、図１と同一の構成には同一の符号を付し、説明を適宜省略する。図３以降についても、既出の構成と同一の構成には同一の符号を付し、説明を適宜省略する。
　図２に示した撮像操作部１６は、撮像端末通信部４０を備えている。撮像端末通信部４０は、パンチルトカメラ１４から送信される撮像データを受信する。また、撮像端末通信部４０は、パンチルトカメラ１４へ撮像制御信号を送信する。撮像制御信号は、撮像開始指令、撮像停止指令、又はズーム等のパンチルトカメラ１４の調整指令等のパンチルトカメラ１４における撮像制御に関する指令が含まれる。
　ここでいう撮像データは、撮像によって得られた画像データを意味する。撮像データは単に画像データ呼ばれることがある。本明細書では撮像により得られた画像データを撮像データと記載することにする。
　撮像端末通信部４０は撮像データ受信部、及び撮像データ受信手段の構成要素である。
　撮像操作部１６は、操作部材４２を備えている。操作部材４２は、表示部２０の表示画面に表示される操作ボタンが含まれる。なお、表示部２０の表示画面に表示される操作ボタンの図示を省略する。
　撮像操作部１６は、音声信号変換部４４を備えている。音声信号変換部４４はマイクロホン３６から取得された音声信号を電気信号に変換する。また、スピーカー３８から出力される音声に対応する電気信号を音声信号に変換する。
　撮像操作部１６は、座標指定部４６を備えている。座標指定部４６は表示部２０の表示画面の任意の座標を指定する。例えば、表示部２０の表示画面の任意の位置がタッチされると、タッチされた位置が検出され、表示部２０の表示画面の座標に変換される。
　座標指定部４６は座標指定手段に相当する。
　撮像操作部１６は、画角情報取得部４７を備えている。画角情報取得部４７は、図１に示した撮像部２２に具備されるレンズの画角情報を取得する。図２に示した画角情報取得部４７は、図１に示した撮像部２２の画角情報が記憶される画角情報記憶部でもよい。
　撮像操作部１６は、画角調整演算部４８を備えている。画角調整演算部４８は、座標指定部４６によって指定された第一座標、及び第二座標を用いて、パンチルト動作パラメータを算出する画角調整演算が実行される。パンチルト動作パラメータは、パン動作パラメータ、及びチルト動作パラメータが含まれる。
　画角調整演算部４８は画角調整演算手段に相当する。
　撮像操作部１６は、座標変換処理部４９を備えている。座標変換処理部４９は二次元直交座標系のパンチルト動作パラメータを三次元座標系に変換する座標変換処理を実行する。座標変換処理の詳細は後述する。
　撮像操作部１６は、画角調整期間算出部５０を備えている。画角調整期間算出部５０は画角調整期間を算出する。画角調整期間算出部５０によって算出された画角調整期間は、画角調整演算部４８によって算出されたパンチルト動作パラメータの補正に用いられる。画角調整期間の詳細は後述する。
　画角調整期間算出部５０は画角調整期間算出手段に相当する。
　図２に示した撮像操作部１６は、移動状態算出部５２を備えている。移動状態算出部５２は画角調整期間算出部５０によって算出された画角調整期間中に、移動体１２の移動によってパンチルトカメラ１４が移動する際のパンチルトカメラ１４の移動方向、及び移動距離を表す移動パラメータを算出する。
　移動状態算出部５２によって算出されたパンチルトカメラ１４の移動パラメータは、画角調整演算部４８によって算出されたパンチルト動作パラメータの補正に用いられる。パンチルトカメラ１４の移動パラメータの詳細は後述する。
　移動状態算出部５２は移動状態算出手段に相当する。
　図２に示した撮像操作部１６は、パンチルト動作パラメータ補正部５４を備えている。パンチルト動作パラメータ補正部５４は、画角調整期間算出部５０によって算出された画角調整期間、及び移動状態算出部５２によって算出されたパンチルトカメラ１４の移動パラメータを用いて、パンチルト動作パラメータを補正する。パンチルト動作パラメータの補正の詳細は後述する。
　パンチルト動作パラメータ補正部５４はパンチルト動作パラメータ補正手段に相当する。
　図２に示した撮像操作部１６は、パンチルト動作指令部５６を備えている。パンチルト動作指令部５６は、画角調整演算部４８によって算出され、かつ、パンチルト動作パラメータ補正部５４によって補正されたパンチルト動作パラメータをパンチルト動作部２４へ送出する。
　図２に示した撮像操作部１６は、通信期間測定部５８を備えている。通信期間測定部５８はパンチルトカメラ１４と撮像操作部１６との間の通信期間を測定する。通信期間測定部５８の構成例として、タイマー、カウンター、及びメモリを備える態様が挙げられる。
　通信期間測定は、タイマーを用いて送信開始から送信終了までの期間、又は送信開始から送信失敗による送信中止までの期間を測定し、カウンターを用いて送信失敗によるリトライ回数を測定して、送信開始から送信終了までの期間と、リトライ回数にタイムアウト期間を乗算した期間を加算した値を一回の通信期間測定の測定データとされる。通信期間測定の詳細は後述する。
　図２に示した撮像操作部１６は、通信期間記憶部５９を備えている。通信期間記憶部５９は通信期間測定部５８によって測定された通信期間測定データが記憶される。
　通信期間測定部５８は撮像データ通信期間取得部の一態様である。通信期間測定部５８は動作指令通信期間取得部の一態様である。撮像データの通信期間取得の一態様として、通信期間記憶部５９からの通信期間測定データの読み出しが挙げられる。動作指令通信期間取得の一例として、通信期間記憶部５９からの通信期間測定データの読み出しが挙げられる。
　図２に示した撮像端末通信部４０は、画角調整演算部４８によって算出され、かつ、パンチルト動作パラメータ補正部５４によって補正されたパンチルト動作パラメータを無線信号に変換したパンチルト駆動制御信号をパンチルト動作部２４へ送信する。パンチルト動作部２４はパンチルト駆動制御信号を受信して、パンチルト駆動制御信号に基づいてパンチルト動作を実行する。
　パンチルト動作指令部５６はパンチルト動作指令手段に相当する。
　＜パンチルトカメラの説明＞
　図３はパンチルトカメラのブロック図である。図３に示すように、パンチルトカメラ１４は、撮像部２２を備えている。撮像部２２は撮像制御部６０によって撮像が制御される。撮像制御部６０はカメラ通信部６２を介して取得した撮像制御信号に基づいて、撮像制御信号が表す指令を撮像部２２へ送出する。
　カメラ通信部６２は撮像データ送信部、及び撮像データ送信手段の構成要素である。
　また、撮像部２２の撮像によって得られた撮像データは、撮像制御部６０介してカメラ通信部６２へ送出される。カメラ通信部６２は撮像データを無線通信信号に変換して、図２に示した撮像操作部１６へ送信する。
　パンチルトカメラ１４は、パン駆動部６４を備えている。パン駆動部６４は駆動源であるモータ、モータに連結されるパン駆動機構が含まれる。パン駆動部６４はパン駆動制御部６６によって駆動が制御される。パン駆動制御部６６は、パン駆動部６４の駆動源であるモータの動作を制御するモータドライバーが含まれる。
　パンチルトカメラ１４は、チルト駆動部６８を備えている。チルト駆動部６８は駆動源であるモータ、モータに連結されるチルト駆動機構が含まれる。チルト駆動部６８はチルト駆動制御部７０によって駆動が制御される。チルト駆動制御部７０は、チルト駆動部６８の駆動源であるモータの動作を制御するモータドライバーが含まれる。
　図１に示したパンチルト動作部２４は、パン駆動部６４、及びチルト駆動部６８を備えている。本実施形態におけるパンチルト動作は、パン動作、及びチルト動作の少なくともいずれか一方が含まれる。
　また、先に説明したパンチルト動作パラメータは、パン動作の動作パラメータ、及びチルト動作の動作パラメータの少なくともいずれか一方が含まれる。
　カメラ通信部６２を介してパン動作パラメータが取得されると、撮像制御部６０は、パン動作パラメータに基づく指令をパン駆動制御部６６へ送出する。パン駆動制御部６６は指令に基づきパン駆動部６４を動作させる。
　同様に、カメラ通信部６２を介してチルト動作パラメータが取得されると、撮像制御部６０は、チルト動作パラメータに基づく指令をチルト駆動制御部７０へ送出する。チルト駆動制御部７０は指令に基づきチルト駆動部６８を動作させる。
　＜撮像部の説明＞
　図４は撮像部のブロック図である。図４に示すように、撮像部２２は光学系７１を備えている。光学系７１は、レンズ、及び絞りを備えている。複数の種類のレンズを具備するレンズ群を備えてもよい。
　撮像部２２は撮像素子７２を備えている。撮像素子７２は光学系を介して入射された被写体の光学像を電気信号に変換する。撮像素子７２は固体撮像素子が適用される。固体撮像素子の一例としてＣＣＤイメージセンサ、ＣＭＯＳイメージセンサが挙げられる。
　ＣＣＤはCharge Coupled Deviceの省略語である。ＣＭＯＳはComplementary Metal- Oxide Semiconductorの省略語である。
　撮像部２２はアナログ信号処理部７４を備えている。アナログ信号処理部７４は、撮像素子７２によって変換されたアナログ形式の電気信号である撮像信号に対して自動利得調整等のアナログ信号処理を施す。ここでいう撮像信号は撮像データに相当する。
　撮像部２２はＡＤ変換部７６を備えている。ＡＤ変換部７６はアナログ信号処理部７４による信号処理が施されたアナログ形式の撮像信号を、デジタル形式の撮像信号に変換する。ＡＤのＡはanalogを表す。ＡＤのＤはdigitalを表す。
　撮像部２２はデジタル信号処理部８０を備えている。デジタル信号処理部８０は、ＡＤ変換部７６によってデジタル形式の撮像信号に変換される。
　撮像部２２はメモリ８２を備えている。メモリ８２は、デジタル信号処理部８０によって変換されたデジタル形式の撮像信号に対応する撮像データが記憶される。メモリ８２に記憶された撮像データは、データバス８４、撮像制御部６０、及び図３に示したカメラ通信部６２を介して、図１に示した撮像操作部１６へ送信される。
　撮像部２２は光学系駆動部８６を備えている。光学系駆動部８６は撮像制御部６０から送出される指令に基づき光学系７１の動作を制御する。光学系７１の動作の一例として、ズーム調整、又は絞り調整が挙げられる。
　撮像部２２は撮像素子駆動部８８を備えている。撮像素子駆動部８８は撮像制御部６０から送出される指令に基づき、撮像素子７２の露光期間、電荷の読み出しタイミング等の撮像素子７２の動作を制御する。
　なお、図４に示した撮像部２２の構成は一例であり、ライブビュー画像の撮像、動画撮影、又は静止画の連続撮影が可能な撮像装置を撮像部２２に適用することができる。図４に示した撮像制御部６０は、図３に示した撮像制御部６０のうち、少なくとも撮像部２２の動作を制御する機能を有する部分が含まれていればよい。
　＜移動体、及び移動体操作部の説明＞
　図５は移動体のブロック図である。図５に示す移動体１２は移動体駆動部９０を備えている。移動体駆動部９０は、駆動源であるモータ、及びモータに連結される駆動機構が含まれる。
　移動体１２は移動体駆動制御部９２を備えている。移動体駆動部９０は移動体駆動制御部９２によって駆動が制御される。移動体駆動制御部９２は移動体駆動部９０の駆動源であるモータの動作を制御するモータドライバーが含まれる。
　移動体１２はセンサ９４を備えている。センサ９４は移動体１２の位置を検出する位置検出センサや、移動体１２の進行方向における障害物の有無を検出する障害物検出センサなどの各種センサが含まれる。
　センサ９４から得られた検出信号は移動体駆動制御部９２へ送られる。移動体駆動制御部９２は検出信号が表す情報を取得し、移動体駆動部９０の動作制御へフィードバックする。
　移動体１２は移動体通信部９６を備えている。移動体通信部９６は図１に示した移動体操作部１８から送信された移動体制御信号を受信する。図５に示した移動体通信部９６は受信した移動体制御信号を移動体駆動制御部９２へ送出する。移動体駆動制御部９２は移動体制御信号に基づいて移動体１２の動作指令を移動体駆動部９０へ送出する。
　また、移動体通信部９６はセンサ９４から得られた検出信号が表す情報を図１に示した移動体操作部１８へ送信する。
　図６は移動体操作端末のブロック図である。図６に示した移動体操作部１８は移動体操作制御部１００を備えている。移動体操作部１８は操作部１０２を備えている。操作部１０２は操作者が操作する操作部材であり、図１に示した操作ボタン２８、レバー３０、及びクロスキー３２等が含まれる。操作部１０２の操作によって入力された情報は、移動体操作制御部１００へ送出される。
　移動体操作部１８は表示部材１０４を備えている。表示部材１０４は電源オンを表す電源ランプや、通信の状態を表す通信状態表示ランプなどが含まれる。なお、図１では表示部材１０４の図示を省略した。
　図６に示した移動体操作部１８は移動体操作通信部１０６を備えている。移動体操作通信部１０６は、移動体１２の制御信号を移動体１２へ送信し、かつ、移動体１２のステータス情報を受信する。
　なお、図２から図６を用いて説明した移動体１２、パンチルトカメラ１４、撮像操作部１６、及び移動体操作部１８は一例であり、構成要素の追加、変更、又は削除が可能である。
　図２から図６に示した各部は、適宜、統合、又は分離が可能である。例えば、各種演算を実行する演算部を統合する態様、各種情報、又は各種データが記憶される記憶部を統合する態様が可能である。
　また、図２から図６に一つの演算部として図示された演算部を二以上のプロセッサーを用いて実現する態様や、一つの記憶部として図示された記憶部を二以上のメモリを用いて実現する態様も可能である。
　［画角調整の説明］
　＜概要＞
　次に、図１等に示したパンチルトカメラ１４の画角調整について説明する。図２に示した撮像操作部１６の撮像端末通信部４０によって受信されたパンチルトカメラ１４の撮像画像は、表示部２０の表示画面に表示される。表示部２０の表示画面は図８（Ａ）等に符号２００を付して図示する。
　表示部２０の表示画面に表示された撮像画像の任意の領域を指定し、かつ、指定した任意の領域の移動先を指定すると、パンチルトカメラ１４の画角が自動的に調整され、表示部２０の表示画面の上で、指定した任意の領域が指定された移動先に移動する。
　本実施形態では、表示部２０の表示画面の任意の位置をタッチすることで、表示部２０の表示画面の任意の位置に対応する、表示部２０の表示画面の座標が座標指定部４６によって指定される。
　移動対象の座標である指定座標と、移動対象の移動先の座標である移動先座標が指定されると、指定座標、及び移動先座標の情報に基づいて、図１に示したパンチルト動作部２４を動作させ、すなわち、パンチルトカメラ１４の光軸を移動させ、パンチルトカメラ１４の画角が調整される。
　ここでいう指定座標は先に説明した第一座標に相当する。また、移動先座標は先に説明した第二座標に相当する。すなわち、表示部２０の表示画面にパンチルトカメラ１４の撮像画像が表示されている状態で、表示部２０の表示画面における任意の二つの領域を指定すると、先に指定した領域を後に指定した領域の位置へ移動させる、パンチルトカメラ１４の画角調整が実行される。
　＜画角調整の課題の説明＞
　図７は従来技術に係る画角調整方法の説明図である。図７（Ａ）は座標入力前の表示状態を示す模式図である。図７（Ｂ）は座標入力後の表示状態を示す模式図である。
　図７（Ａ）、及び図７（Ｂ）に示した表示画面２００において、横軸をＸ軸とする。縦軸をＺ軸とする。表示画面２００の中央位置２０１の座標を（０，０）とする。表示画面２００の右上隅の座標を（ＸＭＡＸ，ＺＭＡＸ）とする。表示画面２００の左上隅の座標を（－ＸＭＡＸ，ＺＭＡＸ）とする。表示画面２００の左下隅の座標を（－ＸＭＡＸ，－ＺＭＡＸ）とする。表示画面２００の右下隅の座標を（ＸＭＡＸ，－ＺＭＡＸ）とする。表示画面２００の任意の座標を（Ｘ，Ｚ）とする。
　図７（Ａ）の表示画面２００に表示された撮像画像において、被写体２０２の中央位置２０４を表示画面２００の中央位置２０１に移動させる際の画角調整が行われる場合を考える。指定座標として被写体２０２の中央位置２０４の座標（Ｘ１，Ｚ１）を指定する。移動先座標に表示画面２００の中央位置２０１の座標（０，０）を指定する。
　指定座標が（Ｘ１，Ｚ１）に指定され、移動先座標が（０，０）に指定されると、表示画面２００において、被写体２０２の中央位置２０４を始点とし、表示画面２００の中央位置２０１を終点とする第一移動ベクトル２０６が決められる。第一移動ベクトルは、図２の画角調整演算部４８において算出されるパンチルト動作パラメータの一態様である。
　図１に示した移動体１２が停止している場合は、図７（Ａ）に示した第一移動ベクトル２０６から算出されたパンチルト動作パラメータを用いて、パンチルトカメラ１４の画角調整を行えばよい。
　一方、先に説明したように、パンチルトカメラ１４は移動体１２の移動により移動する。図７（Ａ）に示した第二移動ベクトル２０８は、移動体１２の移動に伴うパンチルトカメラ１４の移動を表す移動ベクトルである。
　移動体１２の移動中に画角調整が実行されると、画角調整実行後に表示画面２００に表示される画像は図７（Ｂ）に示すように、所望の移動先である表示画面２００の中央位置２０１からずれた位置に表示される。
　すなわち、表示画面２００において、画角調整がされた後の被写体２０２Ａの中央位置２０４Ａは、第一移動ベクトル２０６と第二移動ベクトル２０８とのベクトル加算演算により求められた第三移動ベクトル２１０の終点である、座標（Ｘ２，Ｚ２）の位置へ移動してしまう。
　したがって、移動体１２の移動中に画角調整を実行する際は、以下に説明する遅延期間を考慮する必要がある。以下の、本実施形態に係る画角調整方法について、詳細に説明する。
　＜画角調整方法の詳細な説明＞
　図８は本実施形態に係る画角調整方法の説明図である。図８（Ａ）は座標指定前の表示状態を示す模式図である。図８（Ｂ）は座標指定後の表示状態を示す模式図である。
　本実施形態に係る画角調整方法は、まず、図８（Ａ）に示すように、移動体１２の移動に伴うパンチルトカメラ１４の移動ベクトルである第二移動ベクトル２０８をキャンセルする補正ベクトル２２０が算出される。次に、補正ベクトル２２０と、第一移動ベクトル２０６から、補正後の撮像部の光軸の移動ベクトルである第四移動ベクトル２２２が算出される。なお、図８（Ａ）では撮像部の図示を省略する。撮像部は、図１等に符号２２を付して図示されている。図８（Ｂ）についても同様である。
　図８（Ａ）に示した第二移動ベクトル２０８は、図２に示した移動状態算出部５２によって算出されたパンチルトカメラ１４の移動パラメータに相当する。図８（Ａ）に示した補正ベクトル２２０は、図２に示したパンチルト動作パラメータ補正部５４におけるパンチルト部の動作パラメータの補正に用いられる。
　補正ベクトル２２０は、第二移動ベクトル２０８と大きさが同一であり、方向が反対方向のベクトルである。換言すると、補正ベクトル２２０は、第二移動ベクトル２０８を１８０度回転させたベクトルである。
　図８（Ａ）において、第二移動ベクトル２０８の終点の座標を（Ｘ２２，Ｚ２２）とすると、補正ベクトルの終点のＸ座標はＸ２２＋２×（Ｘ１－Ｘ２２）と表される。また、補正ベクトルの終点Ｚ座標はＺ２２＋２×（Ｚ１－Ｚ２２）と表される。
　図８（Ａ）に示した補正後の撮像部２２の光軸の移動ベクトルである第四移動ベクトル２２２が算出されると、第四移動ベクトル２２２に基づいて、図２に示したパンチルト動作指令部５６において、パンチルト動作パラメータに対応する動作指令が生成される。
　第四移動ベクトル２２２に対応するパンチルト動作パラメータを用いて、パンチルトカメラ１４の画角調整がされると、図８（Ｂ）に符号２０２Ｂを付して示した被写体は、表示画面２００の中央位置２０１に移動する。
　図２に示したパンチルト動作指令部５６は、図８（Ｂ）に示した第四移動ベクトル２２２に対応するパンチルト動作パラメータを、撮像端末通信部４０を介して図１に示したパンチルト動作部２４へ送信する。
　図２に示した画角調整期間算出部５０は、パンチルト動作パラメータとして、図１に示したパンチルト動作部２４の動作速度を算出する。パンチルト動作部２４の動作速度は、図９に示したパンチルト動作期間ｔ４、及び指定座標、移動先座標から決められる。
　また、図２に示した画角調整期間算出部５０は、画角情報取得部４７によって取得された撮像部２２に具備されるレンズの画角情報、及びパンチルト動作部２４の最大動作速度を用いて図９に示したパンチルト動作期間ｔ４を算出する。パンチルト動作部２４の最大動作速度をＶφ、レンズの画角をＦＯＶとすると、パンチルト動作期間ｔ４は、ｔ４＝ＦＯＶ／Ｖφと表される。
　パンチルト動作部２４の最大動作速度Ｖφの単位は度毎秒である。レンズの画角ＦＯＶの単位は度である。
　これらの情報は、画角調整期間算出部５０によって算出されるパンチルト動作パラメータに含まれる。
　画角調整期間算出部５０はパンチルト動作期間取得部の一態様である。パンチルト動作期間取得の一例として、パンチルト動作期間ｔ４の算出が挙げられる。
　＜遅延期間の説明＞
　次に、遅延期間について詳細に説明する。図９は遅延期間の説明図である。図９に示すように、撮像操作部１６からパンチルトカメラ１４へ撮像制御信号が送信されると、パンチルトカメラ１４の撮像が開始される。パンチルトカメラ１４の撮像が行われている期間は、図１に示した移動体１２は移動しているものとする。
　パンチルトカメラ１４は撮像画像を表す撮像データを、予め決められたタイミングにおいて撮像操作部１６へ送信する。パンチルトカメラ１４から撮像操作部１６への撮像データの送信期間はｔ１である。
　次に、撮像操作部１６において、指定座標、及び移動先座標が指定される。また、図２に示した画角調整演算部４８によりパンチルト動作パラメータを算出する画角調整演算が実行され、画角調整期間算出部５０により画角調整期間が算出され、移動状態算出部５２によりパンチルトカメラ１４の移動パラメータが算出され、パンチルト動作パラメータ補正部５４によりパンチルト動作パラメータが補正される。図９に示すように、指定座標、及び移動先座標の指定から画角調整演算の終了までの期間はｔ２である。ここでいう画角調整演算の終了とは、パンチルト動作パラメータ補正部５４により、補正後のパンチルト動作パラメータが算出されることを意味する。
　パンチルト動作パラメータが算出されると、パンチルト動作パラメータが通信形式の信号に変換され、パンチルトカメラ１４へ送信される。図９に示すように、パンチルト動作パラメータ送信期間はｔ３である。
　パンチルトカメラ１４がパンチルト動作パラメータを受信すると、図１に示したパンチルト動作部２４を動作させて、パンチルトカメラ１４をパンチルト動作させる。図９に示すように、パンチルト動作指令取得からパンチルト動作が完了するまでのパンチルト動作期間はｔ４である。
　図１に示した移動体１２の移動中に画角調整を行う際の遅延期間をＴとすると、遅延期間ＴはＴ＝ｔ１＋ｔ２＋ｔ３＋ｔ４と表される。なお、撮像データ送信期間ｔ１、画角調整演算期間ｔ２、パンチルト動作パラメータ送信期間ｔ３、パンチルト動作期間ｔ４、及び遅延期間Ｔの単位は秒である。
　撮像データ送信期間ｔ１、及びパンチルト動作パラメータ送信期間ｔ３は、通信環境によって、比較的大きなばらつきが発生する。したがって、撮像データ送信期間ｔ１、及びパンチルト動作パラメータ送信期間ｔ３は、パンチルトカメラ１４と撮像操作部１６との間で通信が実行されるごとに測定される。
　また、パンチルト動作期間ｔ４は固定値である。一方、画角調整演算期間ｔ２は他の期間と比較して非常に短期間であり、ばらつきは無視できる。
　このようにして算出された遅延期間Ｔは、図２に示したパンチルト動作パラメータ補正部５４において、パンチルト動作パラメータの補正処理に適用される。
　＜通信期間測定の説明＞
　次に、図９に示した撮像データ送信期間ｔ１、及びパンチルト動作パラメータ送信期間ｔ３について詳細に説明する。以下の説明では、撮像データ送信期間ｔ１、及びパンチルト動作パラメータ送信期間ｔ３を総称して通信期間と呼ぶこととする。撮像データ送信期間ｔ１は撮像データ通信期間に相当する。
　図１０は通信期間測定の説明図である。図１０には、通信期間測定の手順として、図９に示した撮像データ送信期間ｔ１の測定手順を示す。撮像データ送信期間ｔ１の測定は、図２に示した通信期間測定部５８により実行される。撮像データ送信期間ｔ１の測定データは、図２に示した通信期間記憶部５９に記憶される。
　図１０に示すように、まず、データ送信リクエストが撮像操作部１６からパンチルトカメラ１４へ送信される。次に、パンチルトカメラ１４は撮像データ送信リクエストを受信すると、撮像データを送信する。
　予め決められた期間内に撮像データの送信が終了されない場合はタイムアウトとされ、撮像データの送信は中断される。撮像データの送信が中断され、撮像データの送信に失敗すると、撮像データの再送信である送信リトライが実行される。送信リトライは予め回数が設定されている。
　一方、予め決められた期間内に撮像データの送信が終了すると、撮像操作部１６により撮像データが受信される。
　送信リトライ回数が多くなると、撮像データ送信期間ｔ１は長くなる。つまり、パンチルトカメラ１４の送信状態、撮像操作部１６の受信状態等によって送信リトライ回数が変動する。
　したがって、各回の通信期間測定の測定データはばらつきが生じるため、複数回の測定結果である、数十回の測定データを平均するなどの統計的処理を行い、信頼性の高い優位な通信期間測定の測定データを取得することが好ましい。
　図９に示したパンチルト動作パラメータ送信期間ｔ３は、撮像データ送信期間ｔ１と同様の手順によって測定が可能である。パンチルト動作パラメータ送信期間ｔ３の測定は、図２に示した通信期間測定部５８により実行される。パンチルト動作パラメータ送信期間ｔ３の測定データは、図２に示した通信期間記憶部５９に記憶される。
　このようにして測定され、記憶された通信期間は、図２に示した移動状態算出部５２におけるパンチルトカメラ１４の移動パラメータに適用される。
　＜移動状態算出の説明＞
　次に、図２に示した移動状態算出部５２における移動状態算出について詳細に説明する。図１１は移動状態算出の説明図である。
　図１等に示した移動体１２の移動中の画角調整では、移動体１２の移動状態を把握する必要がある。本実施形態に係る撮像システム、及び画角調整方法では、パンチルトカメラ１４の撮像データから移動体１２の移動状態を把握している。
　移動体に、速度センサ、加速度センサを備える態様も考えられるが、図８（Ａ）等に示した表示画面２００における速度、及び加速度の算出には、パンチルトカメラ１４と被写体との距離を別途取得する必要があるため、煩雑である。
　本実施形態では、図８（Ａ）に示した表示画面２００の上で被写体２０２の移動状態を表す第二移動ベクトル２０８を算出する。そして、表示画面２００の上で第二移動ベクトル２０８から図８（Ｂ）に示した補正ベクトル２２０を算出する。
　さらに、表示画面２００の上で、所望の被写体２０２の移動を表す第一移動ベクトル２０６を補正して、表示画面２００の上で、所望の被写体２０２の移動を実現する第四移動ベクトル２２２を算出している。
　そして、表示画面２００の上の第四移動ベクトル２２２を、二次元直交座標系から三次元座標系へ変換することで、第四移動ベクトル２２２のＸ成分がパン動作の角度に変換され、第四移動ベクトル２２２のＺ成分がチルト動作の角度に変換される。
　以下に、表示画面２００の上の二次元直交座標系における演算について詳細に説明する。
　移動体１２の移動を等加速度直線運動と仮定する。等加速度運動をする物体の移動距離ｓを表す式は、ｓ＝ｖ０＋ａｔ／２である。ここで、ｖ０は初速である。ａは加速度である。ｔは期間である。つまり、表示画面２００の上において、画角調整指示がされたタイミングの被写体２０２の速度、加速度が求められれば、期間ｔ後の位置が把握できる。
　本実施形態に係る撮像システム１０では、撮像操作部１６が受信した撮像画像を、ＦＩＦＯでｎ枚バッファしておく。ｎは２以上の整数である。なお、ＦＩＦＯは先入れ先出し法を表すFirst In First Outの省略語である。
　画角調整指示として、指定座標、及び移動先座標が指定されると、移動先座標が指定されたタイミングにおける最新の画像から、指定座標を中心としたｍ画素×ｍ画素のテンプレートを切り出す。
　なお、ｍは１以上の整数でよいが、ｍは二以上の整数が好ましい。ここでいう、移動先座標が指定されたタイミングにおける最新の画像とは、移動先座標が指定されたタイミングに表示画面２００に表示されている画像である。
　図１１の右端に図示した表示画面２００は、ＦＩＦＯでバッファされたｎ枚目の画像である、最新の画像が表示されている。図１１の右端に図示した表示画面２００の表示画像は、第一タイミングにおいて取得された第一撮像データに相当する。
　表示画面２００に表示された画像からｍ画素×ｍ画素のテンプレート２３０が切り出されている。被写体２０２の中央位置２０４の座標を（Ｘｎ，Ｚｎ）とする。テンプレート２３０を用いて、テンプレートマッチングによる移動量算出を行う。また、画像取得期間間隔が別途取得され、速度ベクトル、加速度ベクトルが求められる。テンプレートマッチングは特徴点検出の一態様である。
　図１１の中央に図示された表示画面２００は、ＦＩＦＯでバッファされたｎ－１枚目の画像が表示されている。図１１の中央に図示された表示画面２００の表示画像は、第二タイミングにおいて取得された第二撮像データに相当する。
　図１１の中央に図示された表示画面２００における被写体２０２の中央位置２０４の座標を（Ｘｎ－１，Ｚｎ－１）とする。ｎ枚目の画像とｎ－１枚目の画像との画像取得期間間隔はＴｎである。ｎ枚目の画像とｎ－１枚目の画像との画像取得期間間隔Ｔｎは第一期間に相当する。
　図１１の左端に図示された表示画面２００は、ＦＩＦＯでバッファされたｎ－２枚目の画像が表示されている。図１１の左端に図示された表示画面２００の表示画像は、第三タイミングにおいて取得された第三撮像データに相当する。
　図１１の左端に図示された表示画面２００における被写体２０２の中央位置２０４の座標を（Ｘｎ－２，Ｚｎ－２）とする。ｎ－１枚目の画像とｎ－２枚目の画像との画像取得期間間隔はＴｎ－１である。ｎ－１枚目の画像とｎ－２枚目の画像との画像取得期間間隔Ｔｎ－１は第二期間に相当する。
　画像取得期間間隔Ｔｎにおける、表示画面２００の表示画像の移動ベクトルＤｎのＸ成分をＤｎＸすると、ＤｎＸ＝Ｘｎ－Ｘｎ－１と表される。同様に、画像取得期間間隔Ｔｎにおける、表示画面２００の表示画像の移動ベクトルＤｎのＺ方向成分をＤｎＺとすると、ＤｎＺ＝Ｚｎ－Ｚｎ－１と表される。
　画像取得期間間隔Ｔｎにおける表示画面２００の表示画像の移動ベクトルＤｎは、図８（Ａ）等に示した第一移動ベクトル２０６に相当する。
　ｎ枚目の画像における速度ベクトルＶｎのＸ成分をＶｎＸとすると、ＶｎＸ＝｜ＤｎＸ｜／Ｔｎ＝｛（Ｘｎ－Ｘｎ－１）２｝１／２／Ｔｎと表される。同様に、ｎ枚目の画像における速度ベクトルＶｎのＺ成分をＶｎＺとすると、ＶＺｎ＝｜ＤｎＺ｜／Ｔｎ＝｛（Ｚｎ－Ｚｎ－１）２｝１／２／Ｔｎと表される。
　速度ベクトルＶｎは第一移動ベクトルの大きさを第一期間で除算した大きさを有し、第一移動ベクトルが表す方向と平行の方向を有する第一速度ベクトルに相当する。
　ｎ枚目の画像における加速度ベクトルＡｎのＸ成分をＡｎＸとするとＡｎＸ＝｛（ＶｎＸ－Ｖｎ－１Ｘ）２｝１／２／Ｔｎ－１と表される。Ｖｎ－１Ｘは、ｎ－１枚目の画像における速度ベクトルＶｎ－１のＸ成分であり、Ｖｎ－１Ｘ＝｜Ｄｎ－１Ｘ｜／Ｔｎ－１＝｛（Ｘｎ－１－Ｘｎ－２）２｝１／２／Ｔｎと表される。
　ｎ枚目の画像における加速度ベクトルのＺ成分をＡｎＺとするとＡｎＺ＝｛（ＶｎＺ－Ｖｎ－１Ｚ）２｝１／２／Ｔｎ－１と表される。Ｖｎ－１Ｚは、ｎ－１枚目の画像における速度ベクトルＶｎ－１のＺ成分であり、Ｖｎ－１Ｚ＝｜Ｄｎ－１Ｚ｜／Ｔｎ－１＝｛（Ｚｎ－１－Ｚｎ－２）２｝１／２／Ｔｎと表される。
　Ｘ成分Ｘｎ－１－Ｘｎ－２を有し、Ｚ成分Ｚｎ－１－Ｚｎ－２を有するベクトルは第二移動ベクトルに相当する。
　Ｖｎ－１Ｘ、及びＶｎ－１Ｚは、第二移動ベクトルの大きさを第二期間で除算した大きさを有し、第二移動ベクトルが表す方向と平行の方向を有する第二速度ベクトルに相当する。｛（ＶｎＸ－Ｖｎ－１Ｘ）２｝１／２、及び｛（ＶｎＺ－Ｖｎ－１Ｚ）２｝１／２は第一速度ベクトルから第二速度ベクトルを減算して求められた差分ベクトルに相当する。
　加速度ベクトルＡｎは、差分ベクトルの大きさを第一期間で除算した大きさを有し、差分ベクトルと平行の方向を有する加速度ベクトルに相当する。
　このようにして、ｎ枚目の画像における速度ベクトルＶｎ、及び加速度ベクトルＡｎが求められると、図９に示した遅延期間Ｔにおける、表示画面２００の表示画像の移動量を表す補正ベクトルが算出される。補正ベクトルのＸ成分は、Ｘｎ＋ＡｎＸ×Ｔ１／２／２と表される。同様に、補正ベクトルのＺ成分は、Ｚｎ＋ＡｎＺ×Ｔ１／２／２と表される。ここでいう補正ベクトルは図８（Ａ）等に示した補正ベクトル２２０である。
　本実施形態では、時系列の進行順に取得された三枚の画像を用いて、最後に取得された最新の画像の移動ベクトル、速度ベクトル、及び加速度ベクトルを算出する態様を例示した。複数枚の画像について移動ベクトル、速度ベクトル、及び加速度ベクトルを算出し、移動ベクトル、速度ベクトル、及び加速度ベクトルのそれぞれの平均を適用してもよい。
　このようにして、移動体１２、及び撮像部２２の移動状態に相当する被写体の移動状態を、表示部２０の表示画面２００の上で、パンチルトカメラ１４の撮像データを用いたベクトル演算により把握することができるので、移動体１２に速度センサ、加速度センサ、測距センサ等の検出手段を備えることなく、移動体１２の移動状態を把握することができる。
　また、ベクトル演算は、二次元直交座標系において実行されるので、演算処理の負荷の軽減化、演算に用いられるメモリの記憶容量の削減に寄与する。
　＜二次元座標系から三次元座標系への変換の説明＞
　先に説明したように、画角調整演算により求められた二次元直交座標系のパンチルト動作パラメータは、三次元座標系に変換することで、実際のパンチルト動作におけるパン角度、及びチルト角度が求められる。三次元座標は、極座標、特に球座標を適用するとよい。パン角度、及びチルト角度は変位角度に相当する。
　二次元直交座標系から三次元座標系への変換は、公知の手法を適用することができるので、ここでの詳細な説明は省略する。二次元直交座標系から極座標への変換処理は極座標変換処理に相当する。二次元直交座標系から球座標への変換処理は球座標変換処理に相当する。極座標変換処理は三次元座標変換処理の一態様である。座標変換処理は三次元座標変換処理の他の一態様である。
　［画角調整方法のフローチャートの説明］
　図１２は画角調整方法の制御の流れを示したフローチャートである。撮像制御信号送信工程Ｓ１００において、撮像操作部１６からパンチルトカメラ１４へ撮像制御信号が送信される。撮像制御信号送信工程Ｓ１００は撮像操作工程に相当する。
　撮像制御信号受信工程Ｓ１０１において、パンチルトカメラ１４が撮像制御信号を受信すると、撮像工程Ｓ１０２において、図１に示した撮像部２２を用いて撮像が実行される。図１２の撮像工程Ｓ１０２において取得された撮像データは、撮像データ送信工程Ｓ１０４において、パンチルトカメラ１４から撮像操作部１６へ送信される。
　撮像工程Ｓ１０２による撮像、及び撮像データ送信工程Ｓ１０４による撮像データの送信は、撮像停止の指示がされるまで繰り返し実行される。
　撮像データ受信工程Ｓ１０６において、撮像操作部１６が撮像データを受信すると、表示工程Ｓ１０８において、受信した撮像データが表す画像を図１に示した表示部２０の表示画面に表示させる。
　図１２の画角調整指示工程Ｓ１１０において、画角調整指示がされると、パンチルト動作パラメータ算出工程Ｓ１１２において、パンチルト動作パラメータが算出される。画角調整指示工程Ｓ１１０における画角調整指示は、図８（Ａ）に示した指定座標の指定、及び移動先座標の指定である。
　画角調整指示工程Ｓ１１０は座標指定工程の一態様である。
　パンチルト動作パラメータ算出工程Ｓ１１２において算出されたパンチルト動作パラメータは、パンチルト動作パラメータ送信工程Ｓ１１４において、撮像操作部１６からパンチルトカメラ１４へ送信される。撮像操作部１６におけるパンチルト動作パラメータ算出工程Ｓ１１２の詳細は後述する。
　パンチルト動作パラメータ受信工程Ｓ１１６において、撮像操作部１６から送信されたパンチルト動作パラメータをパンチルトカメラ１４が受信すると、パンチルト動作工程Ｓ１１８において、受信されたパンチルト動作パラメータに基づき、図１に示したパンチルト動作部２４を動作させて、撮像部２２の画角調整がされる。
　パンチルト動作パラメータ送信工程Ｓ１１４、パンチルト動作パラメータ受信工程Ｓ１１６、及びパンチルト動作工程Ｓ１１８はパンチルト動作指令工程の構成要素である。
　以降、図１に示した表示部２０に画像が表示されている際に、画角調整指示工程Ｓ１１０において、画角調整指示がされると、パンチルト動作パラメータ算出工程Ｓ１１２からパンチルト動作工程Ｓ１１８までの各工程が実行される。
　次に、図１２に示したパンチルト動作パラメータ算出工程について詳細に説明する。図１３は図１２に示したパンチルト動作パラメータ算出工程の手順の流れを示すフローチャートである。
　図１２の画角調整指示工程Ｓ１１０において指定座標が指定されると、図１３の指定座標取得工程Ｓ２００において、指定された指定座標が取得される。また、図１２の画角調整指示工程Ｓ１１０において移動先座標が指定されると、図１３の移動先座標取得工程Ｓ２０２において、指定された移動先座標が取得される。
　第一移動ベクトル算出工程Ｓ２０４では、図８（Ａ）に示した第一移動ベクトル２０６が算出される。すなわち、指定座標と移動先座標との相対移動を表す移動ベクトルである第一移動ベクトルが算出される。
　第一移動ベクトル算出工程Ｓ２０４は画角調整演算工程の一態様である。
　画角調整期間算出工程Ｓ２０６では、図９に示した遅延期間Ｔ、すなわち、画角調整指示から画角調整完了までの期間が算出される。具体的には、図９に示した撮像データ送信期間ｔ１、画角調整演算期間ｔ２、パンチルト動作パラメータ送信期間ｔ３、及びパンチルト動作期間ｔ４が読み出され、これらが合算され遅延期間Ｔである画角調整期間が算出される。
　図１３の移動状態算出工程Ｓ２０８は、画角調整期間算出工程Ｓ２０６において算出された画角調整期間の、図１に示した移動体１２の移動を表す移動ベクトルである、図８（Ａ）に示した第二移動ベクトル２０８が算出される。
　図１３のパンチルト動作パラメータ補正工程Ｓ２１０では、移動状態算出工程Ｓ２０８において求められた、図８（Ａ）に示した第二移動ベクトル２０８と、図１３の第一移動ベクトル算出工程Ｓ２０４において算出された、図８（Ａ）に示した第一移動ベクトル２０６、又は補正ベクトル２２０と、を用いて、第四移動ベクトル２２２が算出される。
　さらに、図８（Ａ）に示した表示画面２００におけるパンチルト動作の動作パラメータが算出される。
　図８（Ａ）に示した表示画面２００におけるパンチルト動作の動作パラメータは、二次元直交座標系を三次元極座標系への座標系変換処理が施される。座標系変換処理によって、表示画面２００におけるＸ方向の移動がパン方向の変位角度に変換される。また、座標系変換処理によって、表示画面２００におけるＺ方向の移動がチルト方向の変位角度に変換される。
　このようにして算出されたパンチルト動作の動作パラメータは、図１２のパンチルト動作パラメータ送信工程Ｓ１１４において、撮像操作部１６からパンチルトカメラ１４へ送信される。
　本実施形態では、二次元直交座標系から三次元極座標系への座標系変換処理が、撮像操作部１６によるパンチルト動作パラメータ算出工程Ｓ１１２において実行される態様を例示したが、パンチルトカメラ１４において二次元直交座標系から三次元極座標系への座標系変換処理を行う態様も可能である。
　パンチルト動作パラメータとして、図７に図示した、パンチルト動作開始からパンチルト動作完了までのパンチルト動作期間ｔ４、図１に示したパンチルト動作部２４の動作速度が求められる。
　図４に示した光学系７１に含まれるレンズの画角、及びパンチルト動作の最大速度から、パンチルト動作期間ｔ４が求められる。
　パンチルト動作パラメータは、図１に示したパンチルト動作部２４に具備されるモータの回転速度、及び回転数が求められるものであればよい。なお、ここでいう回転数はパンチルト動作期間にモータが回転する数である。
　＜画角調整プログラムの説明＞
　図１に示した撮像システム１０の機能をコンピュータに実現させるためのプログラムをＣＤ－ＲＯＭや磁気ディスクその他のコンピュータ可読媒体に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。
　ＣＤ－ＲＯＭはCompact Disc Read-only Memoryの省略語である。コンピュータ可読媒体とは有体物たる非一時的な情報記憶媒体を表している。
　このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの通信ネットワークを利用してプログラム信号をダウンロードサービスとして提供することも可能である。
　また、上述の実施形態で説明した撮像システム、又は全部をアプリケーションサーバやクラウドコンピューティングによって実現し、ネットワークを通じて処理機能を提供するサービスを行うことも可能である。
　［作用効果の説明］
　上記の如く構成された撮像システム、画角調整方法、及び画角調整プログラムによれば、パンチルトカメラの移動中に画角調整が実行された場合に、パンチルトカメラの移動状態が把握され、画角調整に適用されるパンチルト動作パラメータが補正され、画角調整による表示画像の位置ずれは発生しない。パンチルトカメラの移動状態は、パンチルトカメラの撮像によって取得された撮像データから把握されるので、パンチルトカメラの移動状態を検出する手段を別途備える必要がない。
　また、パンチルトカメラの移動状態は、表示画面の上における二次元直交座標系のベクトル演算が適用されるので、複雑な演算処理を実行する必要はなく、演算負荷の軽減化が見込まれる。
　本実施形態では、走行型の移動体を例示したが、飛行型の移動体、船舶型の移動体、又はこれらの複合型の移動体を用いることも可能である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
　１０…撮像システム、１２…移動体、１４…パンチルトカメラ、１６…撮像操作部、２０…表示部、２２…撮像部、２４…パンチルト部、４０…通信端末通信部、４２…撮像操作部、４６…座標指定部、４８…画角調整演算部、５０…画角調整期間演算部、５２…移動状態算出部、５４…パンチルト動作パラメータ補正部、５６…パンチルト動作指令部、５８…通信期間測定部、６０…撮像制御部、６２…カメラ通信部、６４…パン駆動部、６６…パン駆動制御部、６８…チルト駆動部、７０…チルト駆動制御部、２００…表示画面、２０２…被写体、２０６…第一移動ベクトル、２０８…第二移動ベクトル、２１０…第三移動ベクトル、２２０…補正ベクトル、２２２…第四移動ベクトル、２３０…テンプレート

Claims (18)

  1. 　移動体と、
    　前記移動体に搭載される撮像部と、
    　前記撮像部の撮像により得られた撮像データを送信する撮像データ送信部と、
    　前記撮像データ送信部から送信された撮像データを受信する撮像データ受信部と、
    　前記撮像部をパン動作、及びチルト動作の少なくともいずれか一方の動作をさせるパンチルト動作部と、
    　前記撮像部と通信接続される撮像操作部であり、前記撮像部を操作する撮像制御信号を前記撮像部へ送信する撮像操作部と、
    　前記撮像データ受信部によって受信された撮像データが表す撮像画像を表示画面に表示させる表示部と、
    　前記撮像部の画角を調整する際に、前記表示部の表示画面に表示されている画像における、移動対象の座標である指定座標、及び前記移動対象の移動先の座標である移動先座標を指定する座標指定部と、
    　前記指定座標、及び前記移動先座標を用いて、前記パンチルト動作部に適用されるパンチルト動作パラメータを算出する画角調整演算部と、
    　前記指定座標の指定から、前記撮像部の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出部と、
    　前記撮像部の撮像により得られた撮像データから、前記画角調整期間に前記移動体の移動によって前記撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出部と、
    　前記撮像部の画角を調整する際に、前記移動状態算出部によって算出された前記移動パラメータ、及び前記画角調整期間算出部によって算出された前記画角調整期間から、前記画角調整演算部によって算出された前記パンチルト動作パラメータを補正するパンチルト動作パラメータ補正部と、
    　前記パンチルト動作部へ前記パンチルト動作パラメータに対応する信号を通信により送出するパンチルト動作指令部であり、前記パンチルト動作パラメータ補正部によって補正された前記パンチルト動作パラメータに対応する信号を前記パンチルト動作部へ送出するパンチルト動作指令部と、
    　を備えた撮像システム。
  2. 　前記画角調整演算部は、前記指定座標、及び前記移動先座標から、前記パンチルト動作パラメータとして、第一移動ベクトルを算出し、
    　前記移動状態算出部は、前記画角調整期間における前記撮像部の移動パラメータとして補正ベクトルを算出し、
    　前記パンチルト動作パラメータ補正部は、前記補正ベクトルを用いて、前記第一移動ベクトルが表すパンチルト動作パラメータを補正する請求項１に記載の撮像システム。
  3. 　前記移動状態算出部は、前記補正ベクトルとして、前記画角調整期間の前記移動体の移動によって前記撮像部が移動する際の前記撮像部の速度を表す速度ベクトル、及び前記画角調整期間の前記移動体の移動によって前記撮像部が移動する際の前記撮像部の加速度を表す加速度ベクトルを算出する請求項２に記載の撮像システム。
  4. 　前記移動状態算出部は、第一タイミングにおいて前記撮像部の撮像により取得された第一撮像データ、及び前記第一タイミングの前の第二タイミングにおいて前記撮像部の撮像により取得された第二撮像データから、前記第二タイミングと第一タイミングとの間の第一期間における前記撮像部の移動距離、及び移動方向を表す前記第一移動ベクトルを取得し、
    　前記第一移動ベクトルの大きさを前記第一期間で除算した大きさを有し、前記第一移動ベクトルが表す方向と平行の方向を有する速度ベクトルである第一速度ベクトルを算出する請求項３に記載の撮像システム。
  5. 　前記移動状態算出部は、前記第一移動ベクトルを取得する際に特徴点検出を用いる請求項４に記載の撮像システム。
  6. 　前記移動状態算出部は、前記第二撮像データ、及び前記第二タイミングの前の第三タイミングにおいて前記撮像部の撮像により取得された第三撮像データから、前記第三タイミングと前記第二タイミングとの間の期間の第二期間における前記撮像部の移動距離、及び移動方向を表す第二移動ベクトルを取得し、
    　前記第二移動ベクトルの大きさを前記第二期間で除算した大きさを有し、前記第二移動ベクトルが表す方向と平行方向の方向を有する速度ベクトルである第二速度ベクトルを算出し、
    　前記第一速度ベクトルから前記第二速度ベクトルを減算して求められた差分ベクトルの大きさを前記第一期間で除算した大きさを有し、前記差分ベクトルと平行の方向を有する加速度ベクトルを算出する請求項４又は５に記載の撮像システム。
  7. 　前記移動状態算出部は、前記撮像部の撮像により取得された最新の撮像データを前記第一撮像データとする請求項４から６のいずれか一項に記載の撮像システム。
  8. 　前記画角調整演算部は、前記パンチルト動作パラメータとして、予め設定されたパンチルト動作開始からパンチルト動作完了までの期間であるパンチルト動作期間、前記指定座標、及び前記移動先座標から、前記パンチルト動作部の動作速度を算出する請求項１から７のいずれか一項に記載の撮像システム。
  9. 　前記撮像部に具備されるレンズの画角情報を取得する画角情報取得部を備え、
    　前記画角調整演算部は、前記パンチルト動作部の最大動作速度、及び前記撮像部に具備されるレンズの画角を用いて前記パンチルト動作期間を算出する請求項８に記載の撮像システム。
  10. 　前記画角情報取得部によって取得された前記撮像部の画角情報を用いて、二次元座標により表された前記指定座標、及び前記移動先座標に対して極座標変換処理を施して三次元座標に変換する座標変換処理部を備え、
    　前記移動状態算出部は、前記座標変換処理部によって変換された三次元座標における前記指定座標と前記移動先座標との変位角度を前記パンチルト動作部の動作パラメータとして算出する請求項９に記載の撮像システム。
  11. 　前記撮像部の撮像により取得された撮像データの通信期間である撮像データ通信期間を取得する撮像データ通信期間取得部と、
    　前記パンチルト動作指令部から送出された動作指令の通信期間である動作指令通信期間を取得する動作指令通信期間取得部と、
    　前記パンチルト動作部の動作指令取得から前記パンチルト動作部の動作完了までのパンチルト動作期間を取得するパンチルト動作期間取得部と、
    　を備え、
    　前記画角調整期間算出部は、撮像データ通信期間取得部によって取得された撮像データ通信期間、前記動作指令通信期間取得部によって取得された動作指令通信期間、及び前記パンチルト動作期間取得部によって取得されたパンチルト動作期間を合算して、前記画角調整期間を算出する請求項１から１０のいずれか一項に記載の撮像システム。
  12. 　前記撮像部へ撮像データの送信リクエストが送信されたタイミングから、前記撮像部から送信された撮像データが受信されたタイミングまでの期間を測定する通信期間測定部を備え、
    　前記撮像データ通信期間取得部は、前記通信期間測定部によって測定された期間を前記撮像データ通信期間として取得する請求項１１に記載の撮像システム。
  13. 　前記撮像データ通信期間取得部は、通信期間測定部による複数回の測定結果の平均を前記撮像データ通信期間として取得する請求項１２に記載の撮像システム。
  14. 　前記移動体を遠隔操作する移動体遠隔操作部であり、前記撮像操作部とは独立の移動体遠隔操作部を備える請求項１から１３のいずれか一項に記載の撮像システム。
  15. 　前記画角調整演算部は、前記移動先座標を前記表示画面の中央位置の座標とする請求項１から１４のいずれか一項に記載の撮像システム。
  16. 　移動体に搭載される撮像部であり、パン動作、及びチルト動作の少なくともいずれか一方の動作が可能な撮像部の画角調整方法であって、
    　前記撮像部の撮像により得られた撮像データを送信する撮像データ送信工程と、
    　前記撮像データ送信工程により送信された撮像データを受信する撮像データ受信工程と、
    　前記撮像部を操作する撮像制御信号を前記撮像部へ通信により送信する撮像操作工程と、
    　前記撮像データ受信工程によって受信された撮像データが表す撮像画像を表示画面に表示させる表示工程と、
    　前記撮像部の画角を調整する際に、前記表示画面に表示されている画像における、移動対象の座標である指定座標、及び前記移動対象の移動先の座標である移動先座標を指定する座標指定工程と、
    　前記指定座標、及び前記移動先座標を用いて、パンチルト動作パラメータを算出する画角調整演算工程と、
    　前記指定座標の指定から、前記撮像部の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出工程と、
    　前記撮像部の撮像により得られた撮像データから、前記画角調整期間に前記移動体の移動によって前記撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出工程と、
    　前記撮像部の画角を調整する際に、前記移動状態算出工程によって算出された前記移動パラメータ、及び前記画角調整期間算出工程によって算出された前記画角調整期間から、前記画角調整演算工程によって算出された前記パンチルト動作パラメータを補正するパンチルト動作パラメータ補正工程と、
    　前記パンチルト動作パラメータ補正工程によって補正された前記パンチルト動作パラメータによって、前記撮像部をパン動作、及びチルト動作の少なくともいずれか一方の動作させるパンチルト動作指令工程と、
    　を含む画角調整方法。
  17. 　コンピュータを、
    　移動体に搭載される撮像手段、
    　前記撮像手段の撮像により得られた撮像データを送信する撮像データ送信手段、
    　前記撮像データ送信手段から送信された撮像データを受信する撮像データ受信手段、
    　前記撮像手段をパン動作、及びチルト動作の少なくともいずれか一方の動作をさせるパンチルト動作手段、
    　前記撮像手段と通信接続される撮像操作手段であり、前記撮像手段を操作する撮像制御信号を前記撮像手段へ送信する撮像操作手段、
    　前記撮像データ受信手段によって受信された撮像データが表す撮像画像を表示画面に表示させる表示手段、
    　前記撮像手段の画角を調整する際に、前記表示手段の表示画面に表示されている画像における、移動対象の座標である指定座標、及び前記移動対象の移動先の座標である移動先座標を指定する座標指定手段、
    　前記指定座標、及び前記移動先座標を用いて、前記パンチルト動作手段に適用されるパンチルト動作パラメータを算出する画角調整演算手段、
    　前記指定座標の指定から、前記撮像手段の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出手段、
    　前記撮像手段の撮像により得られた撮像データから、前記画角調整期間に前記移動体の移動によって前記撮像手段が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出手段、
    　前記撮像手段の画角を調整する際に、前記移動状態算出手段によって算出された前記移動パラメータ、及び前記画角調整期間算出手段によって算出された前記画角調整期間から、前記画角調整演算手段によって算出された前記パンチルト動作パラメータを補正するパンチルト動作パラメータ補正手段、及び
    　前記パンチルト動作手段へ前記パンチルト動作パラメータに対応する信号を通信により送出するパンチルト動作指令手段であり、前記パンチルト動作パラメータ補正手段によって補正された前記パンチルト動作パラメータに対応する信号を前記パンチルト動作手段へ送出するパンチルト動作指令手段として機能させる画角調整プログラム。
  18. 　請求項１７に記載の画角調整プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。
PCT/JP2016/076807 2015-09-30 2016-09-12 撮像システム、画角調整方法、及び画角調整プログラム WO2017056943A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680058148.8A CN108141533B (zh) 2015-09-30 2016-09-12 摄像系统、视角调整方法及非暂时有形存储介质
JP2017543085A JP6340147B2 (ja) 2015-09-30 2016-09-12 撮像システム、画角調整方法、及び画角調整プログラム
US15/936,836 US10356301B2 (en) 2015-09-30 2018-03-27 Imaging system, angle-of-view adjustment method, and angle-of-view adjustment program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015193484 2015-09-30
JP2015-193484 2015-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/936,836 Continuation US10356301B2 (en) 2015-09-30 2018-03-27 Imaging system, angle-of-view adjustment method, and angle-of-view adjustment program

Publications (1)

Publication Number Publication Date
WO2017056943A1 true WO2017056943A1 (ja) 2017-04-06

Family

ID=58427498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076807 WO2017056943A1 (ja) 2015-09-30 2016-09-12 撮像システム、画角調整方法、及び画角調整プログラム

Country Status (4)

Country Link
US (1) US10356301B2 (ja)
JP (1) JP6340147B2 (ja)
CN (1) CN108141533B (ja)
WO (1) WO2017056943A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020162218A1 (ja) * 2019-02-08 2020-08-13 ソニー株式会社 再生装置、および再生方法、並びにプログラム
WO2023243656A1 (ja) * 2022-06-16 2023-12-21 パナソニックＩｐマネジメント株式会社 撮像システム、及び、それを備えた移動体
JP7484729B2 (ja) 2019-02-08 2024-05-16 ソニーグループ株式会社 再生装置、および再生方法、並びにプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611467B (zh) * 2015-10-22 2020-09-15 中兴通讯股份有限公司 一种实现报警的方法、装置和系统
CN110248148B (zh) 2018-09-25 2022-04-15 浙江大华技术股份有限公司 一种确定定位参数的方法及装置
CN109379540A (zh) * 2018-12-24 2019-02-22 西安天茂数码科技有限公司 一种参数可调的倾斜相机
JP7222113B2 (ja) 2019-10-29 2023-02-14 富士フイルム株式会社 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム
JP7277887B2 (ja) * 2019-11-19 2023-05-19 ３アイ インコーポレイテッド 端末スタンドの制御方法
US11265469B1 (en) * 2020-04-10 2022-03-01 Amazon Technologies, Inc. System to mitigate image jitter by an actuator driven camera
JP2022188990A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20220408019A1 (en) * 2021-06-17 2022-12-22 Fyusion, Inc. Viewpoint path modeling
JP2023037333A (ja) * 2021-09-03 2023-03-15 株式会社東芝 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060224280A1 (en) * 2005-04-01 2006-10-05 Flanigan Thomas C Remote vehicle control systems
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車
JP2009016956A (ja) * 2007-06-29 2009-01-22 Sanyo Electric Co Ltd カメラ制御システム、カメラ制御装置、及びカメラ制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257375A (ja) 1997-03-14 1998-09-25 Sony Corp 撮像装置および撮像方法
JPH11149315A (ja) * 1997-11-19 1999-06-02 Mitsubishi Heavy Ind Ltd ロボット制御システム
JP3980205B2 (ja) * 1998-12-17 2007-09-26 コニカミノルタホールディングス株式会社 作業ロボット
JP2000261792A (ja) 1999-03-08 2000-09-22 Fujitsu Denso Ltd 監視用テレビカメラ装置
CN101035267A (zh) * 2006-03-10 2007-09-12 上海乐金广电电子有限公司 隐私遮掩显示控制方法
US9160783B2 (en) * 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
JP2009065605A (ja) 2007-09-10 2009-03-26 Hitachi Ltd 移動型撮像装置および撮像方法
JP5871779B2 (ja) 2012-11-13 2016-03-01 株式会社 日立産業制御ソリューションズ カメラシステム
CN104469292B (zh) * 2014-11-27 2017-09-19 国网上海市电力公司 一种姿态自校正云台摄像机控制装置及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060224280A1 (en) * 2005-04-01 2006-10-05 Flanigan Thomas C Remote vehicle control systems
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車
JP2009016956A (ja) * 2007-06-29 2009-01-22 Sanyo Electric Co Ltd カメラ制御システム、カメラ制御装置、及びカメラ制御プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020162218A1 (ja) * 2019-02-08 2020-08-13 ソニー株式会社 再生装置、および再生方法、並びにプログラム
JPWO2020162218A1 (ja) * 2019-02-08 2021-12-09 ソニーグループ株式会社 再生装置、および再生方法、並びにプログラム
US11477396B2 (en) 2019-02-08 2022-10-18 Sony Group Corporation Reproducing device, reproducing method, and program
JP7484729B2 (ja) 2019-02-08 2024-05-16 ソニーグループ株式会社 再生装置、および再生方法、並びにプログラム
WO2023243656A1 (ja) * 2022-06-16 2023-12-21 パナソニックＩｐマネジメント株式会社 撮像システム、及び、それを備えた移動体

Also Published As

Publication number Publication date
US10356301B2 (en) 2019-07-16
US20180295270A1 (en) 2018-10-11
CN108141533A (zh) 2018-06-08
JP6340147B2 (ja) 2018-06-06
JPWO2017056943A1 (ja) 2018-06-14
CN108141533B (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
JP6340147B2 (ja) 撮像システム、画角調整方法、及び画角調整プログラム
US10451705B2 (en) Tracking control device, tracking control method, tracking control program, and automatic tracking imaging system
US10572143B2 (en) Imaging system and imaging control method with pan/tilt control
CN107135338B (zh) 摄像系统及其控制方法、摄像设备和镜头装置
WO2018072353A1 (zh) 获取图像的方法和终端设备
WO2018191963A1 (zh) 遥控器、云台及云台控制方法、装置、系统
US11310424B2 (en) Image capturing device, image capturing method, and program
US11516399B2 (en) Imaging apparatus and image stabilization sharing between interchangeable lens and camera body
JP7009107B2 (ja) 撮像装置およびその制御方法
JP2017219635A (ja) 画像処理装置及び方法、撮像装置、及び撮像システム
CN108260360B (zh) 场景深度计算方法、装置及终端
JP2019083488A (ja) 撮像装置、支持装置、及びそれらの制御方法、プログラム
JP5506656B2 (ja) 画像処理装置
KR101600699B1 (ko) 비행 촬영 시스템 및 그 운용 방법
US9981387B2 (en) Robot control system
US8619119B2 (en) Digital photographing apparatus
US11805314B2 (en) Control device, control method, and information processing system
JP2018201077A (ja) 撮像装置およびその制御方法、画像処理装置およびその制御方法、作業支援システム、プログラム
WO2020188957A1 (ja) リモートコントロール装置と撮像制御装置およびその方法
JP2019191515A5 (ja)
JP6003613B2 (ja) 補助撮像装置
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP6700868B2 (ja) 撮影制御装置及びその制御方法
JP6249813B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2017085208A (ja) 映像伝送システムにおける映像遅延量検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851117

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543085

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851117

Country of ref document: EP

Kind code of ref document: A1