WO2024042944A1 - 制御装置、撮像システム、制御方法、及び制御プログラム - Google Patents

制御装置、撮像システム、制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2024042944A1
WO2024042944A1 PCT/JP2023/026845 JP2023026845W WO2024042944A1 WO 2024042944 A1 WO2024042944 A1 WO 2024042944A1 JP 2023026845 W JP2023026845 W JP 2023026845W WO 2024042944 A1 WO2024042944 A1 WO 2024042944A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
subject
control device
power transmission
information
Prior art date
Application number
PCT/JP2023/026845
Other languages
English (en)
French (fr)
Inventor
哲也 藤川
智大 島田
雅彦 杉本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024042944A1 publication Critical patent/WO2024042944A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02GINSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a control device, an imaging system, a control method, and a control program.
  • Patent Document 1 includes a telescope, a video camera device, and a pan head mechanism, the telescope and the video camera device are rotatably supported by the pan head mechanism in a yaw (horizontal) direction and a tilt (vertical) direction, and the pan head mechanism is rotatably supported by the pan head mechanism.
  • An overhead wire imaging device is described in which the mechanism includes a yaw direction drive section and a tilt direction drive section.
  • Patent Document 2 discloses that an image capturing camera divides an elevated electric wire into images, and if frame-out or defocus occurs on the elevated electric wire, it is determined that the image capturing has failed, and the portion where the image capturing has failed is re-imaged.
  • An unmanned aircraft configured in
  • Patent Document 3 discloses that after an imaging unit captures an image of the surrounding scenery, a catenary curve of an electric wire suspended between two steel towers is calculated based on the scenery image, and a flight path is determined along the catenary curve.
  • an unmanned aerial vehicle configured to detect the degree of corona discharge due to damage or deterioration of electric wires, etc. is described.
  • Patent Document 4 discloses that point cloud data regarding a power transmission line installed between a pair of adjacent steel towers is acquired using a drone or the like, a least squares plane is calculated, and the point cloud is parallel projected onto the least squares plane. , a method for reproducing the shape of an electric wire is described in which the parallel projected point cloud is rotated to an orthogonal coordinate system, and finally, the catenary curve of an overhead power transmission line that fits the rotated point cloud is calculated. has been done.
  • One embodiment of the technology of the present disclosure provides a control device, an imaging system, a control method, and a control program that can efficiently perform divided imaging of a subject.
  • a control device comprising a processor that controls an imaging device and an imaging direction changing device capable of changing the imaging direction of the imaging device,
  • the above processor is setting a first imaging path that is an imaging path of the first subject based on imaging information at discrete positions of the first subject and subject information regarding the first subject; controlling imaging of the first subject based on the first imaging path; Control device.
  • the subject information is the shape of the first subject on a two-dimensional plane; Control device.
  • the imaging information is a control value based on the angle of view of the imaging device for imaging the discrete positions; Control device.
  • the imaging information includes a control value of the imaging direction changing device for imaging the discrete positions. Control device.
  • the imaging information includes a distance between the first subject and the imaging device for imaging the discrete positions; Control device.
  • the control device according to any one of (3) to (5),
  • the imaging information includes a focus position of the imaging device for imaging the discrete positions, Control device.
  • the imaging device includes a zoom lens
  • the processor acquires a focus position of the imaging device by causing the imaging device to perform distance measurement with the zoom lens in a telephoto range. Control device.
  • the control device according to any one of (1) to (7),
  • the first imaging path includes a control value for dividing and imaging the first subject. Control device.
  • the discrete positions include at least one of three adjacent points among the plurality of points on the first subject, two points at the ends of the plurality of points, and one point different from the two points, Control device.
  • control device according to any one of (1) to (10), The discrete positions are calculated based on an analysis result of an image obtained by imaging the first subject. Control device.
  • the control device is obtaining difference information between a first position of the first subject and a second position of the second subject; setting a second imaging path that is an imaging path of the second subject based on the first imaging path and the difference information; controlling imaging of the second subject based on the second imaging path; Control device.
  • the control device according to (12), The first position is a position of an area of the first subject close to the imaging device, The second position is a position of an area of the second subject close to the imaging device; Control device.
  • control device (13)
  • the first subject is a subject closer to the imaging device than the second subject; Control device.
  • the control device according to any one of (12) to (14), The above processor is If it is determined that imaging on the second imaging path is not possible within the movable range of the imaging direction changing device, imaging on the second imaging path is possible within the movable range of the imaging direction changing device. Calculate the installation position of the imaging direction changing device, Output the above installation position, Control device.
  • the control device is A plurality of captured images of the first subject obtained by capturing images on the first imaging path by the imaging device, and a plurality of captured images of the second subject obtained by capturing images on the second imaging path using the imaging device. Generating a composite image by combining the captured image and outputting the composite image to a display device, Based on the distance information between the first subject and the imaging device and the distance information between the second subject and the imaging device, the one of the first subject and the second subject that is closer to the imaging device is determined. generating the composite image in which the subject appears to be in front of the subject that is farther from the imaging device among the first subject and the second subject; Control device.
  • the control device according to any one of (1) to (16),
  • the imaging device includes a zoom lens,
  • the first imaging path includes information on an imaging distance,
  • the processor changes the zoom amount of the zoom lens according to the imaging distance in controlling imaging of the first subject based on the first imaging path. Control device.
  • the control device according to any one of (1) to (18),
  • the processor causes a storage device to store information regarding an imaging angle of the first subject based on the first imaging path in association with the first subject; Control device.
  • the control device according to any one of (1) to (19),
  • the above processor is Generating a composite image by combining each captured image obtained by imaging on the first imaging path by the imaging device, and outputting the composite image to a display device; Accept the specification of the position in the above composite image, Outputting the captured image corresponding to the position for which the designation has been accepted among the above-mentioned captured images to a display device; Control device.
  • the control device according to any one of (1) to (20),
  • the above processor is storing information regarding a plurality of times of imaging of the first subject controlled by the imaging device installed at different locations in a storage device in association with the first subject; Control device.
  • the control device according to any one of (1) to (21),
  • the first subject is a linear structure that does not fit entirely within the set angle of view. Control device.
  • the processor included in the control device includes: setting a first imaging path that is an imaging path of the first subject based on imaging information at discrete positions of the first subject and subject information regarding the first subject; controlling imaging of the first subject based on the first imaging path; Imaging system.
  • a control method using a control device that controls an imaging device and an imaging direction changing device that can change the imaging direction of the imaging device comprising: The processor of the control device setting a first imaging path that is an imaging path of the first subject based on imaging information at discrete positions of the first subject and subject information regarding the first subject; controlling imaging of the first subject based on the first imaging path; Control method.
  • a control program for a control device that controls an imaging device and an imaging direction changing device that can change the imaging direction of the imaging device In the processor of the above control device, setting a first imaging path that is an imaging path of the first subject based on imaging information at discrete positions of the first subject and subject information regarding the first subject; controlling imaging of the first subject based on the first imaging path; A control program for executing processing.
  • control device an imaging system, a control method, and a control program that can efficiently perform divided imaging of a subject.
  • FIG. 1 is a diagram showing an example of an imaging system 1 equipped with a control device 60 according to the present embodiment.
  • 6 is a diagram showing an example of turning the camera 10 in the pitch direction by the turning mechanism 16.
  • FIG. 5 is a diagram showing an example of turning the camera 10 in the yaw direction by the turning mechanism 16.
  • FIG. 1 is a block diagram showing an example of the configuration of an optical system and an electrical system of a camera 10.
  • FIG. 2 is a diagram showing an example of the configuration of an electrical system of a turning mechanism 16 and a management device 11.
  • FIG. It is a figure which shows the case where the power transmission line 102 connected between the steel towers 101a and 101b is inspected with the camera 10. It is a flowchart which shows an example of imaging processing by CPU60A.
  • FIG. 1 is a diagram showing the end of the power transmission line specified when automatically imaging the second and subsequent power transmission lines. It is a diagram seen from above of power transmission lines 132a and 132b connected between steel towers 101a and 101b, and a camera 10 that images them. 15 is a diagram of the steel towers 101a, 101b and power transmission lines 132a, 132b shown in FIG. 14 viewed from the camera 10 side.
  • FIG. FIG. 2 is a diagram of the camera 10 that captures images of the steel tower 101a and the power transmission lines 102a, 102b, 103a, 103b, 104a, and 104b, viewed from the side of the camera 10.
  • FIG. 1 is a diagram seen from above of power transmission lines 132a and 132b connected between steel towers 101a and 101b, and a camera 10 that images them.
  • 15 is a diagram of the steel towers 101a, 101b and power transmission lines 132a, 132b shown in FIG. 14 viewed from the camera 10 side.
  • FIG. 3 is a diagram showing an example of an image obtained by zoom-capturing a plurality of positions at different imaging distances.
  • FIG. 3 is a diagram showing how a subject is being imaged with a camera.
  • FIG. 2 is an image of two power transmission lines arranged overlapping in the front-rear direction. It is a diagram showing a composite image 194 of two power transmission lines arranged overlapping in the front-back direction.
  • FIG. 2 is a diagram showing how a power transmission line is imaged by cameras 10a and 10b installed at two locations.
  • 5 is a diagram illustrating an example of a mode in which an information processing program for management control is installed in a control device 60 of the management device 11 from a storage medium in which an information processing program for management control is stored.
  • FIG. 5 is a diagram illustrating an example of a mode in which an information processing program for management control is installed in a control device 60 of the management device 11 from a storage medium in which an information processing program for management control is stored.
  • FIG. 1 is a diagram showing an example of an imaging system 1 equipped with a control device of this embodiment.
  • the imaging system 1 includes a camera 10 and a management device 11.
  • the camera 10 is an example of an imaging device in the present invention.
  • the camera 10 is a camera for inspecting facilities (infrastructure) that are the basis of daily life and industrial activities.
  • the camera 10 inspects linear structures such as power transmission lines.
  • the camera 10 may also inspect, for example, artificially planted trees (trees arranged at regular intervals and whose shapes can be predicted).
  • a camera capable of telephoto imaging, a super high resolution camera, or the like is used.
  • a wide-angle camera may be used as the camera 10.
  • the camera 10 is installed via a rotation mechanism 16, which will be described later, and images an object to be photographed.
  • the camera 10 transmits a captured image obtained by imaging and imaging information related to the imaging to the management device 11 via the communication line 12.
  • the management device 11 includes a display 13a, a keyboard 13b, a mouse 13c, and a secondary storage device 14.
  • Examples of the display 13a include a liquid crystal display, a plasma display, an organic EL (Electro-Luminescence) display, a CRT (Cathode Ray Tube) display, and the like.
  • the display 13a is an example of a display device of the present invention.
  • the secondary storage device 14 is an HDD (Hard Disk Drive).
  • the secondary storage device 14 is not limited to an HDD, and may be any nonvolatile memory such as a flash memory, an SSD (Solid State Drive), or an EEPROM (Electrically Erasable and Programmable Read Only Memory).
  • the management device 11 receives captured images and captured information transmitted from the camera 10, and displays the received captured images and captured information on the display 13a or stores them in the secondary storage device 14.
  • the management device 11 performs imaging control that controls imaging by the camera 10. For example, the management device 11 performs imaging control by communicating with the camera 10 via the communication line 12.
  • the imaging control is a control in which imaging parameters for the camera 10 to perform imaging are set in the camera 10, and the camera 10 is caused to perform imaging.
  • the imaging parameters include exposure-related parameters, zoom position parameters, and the like.
  • the management device 11 also controls the rotation mechanism 16 to control the imaging direction of the camera 10 (panning and tilting). For example, the management device 11 sets the rotation direction, amount of rotation, rotation speed, etc. of the camera 10 in response to operations on the keyboard 13b, mouse 13c, or touch operations on the screen of the display 13a.
  • FIG. 2 is a diagram showing an example of turning the camera 10 in the pitch direction by the turning mechanism 16.
  • FIG. 3 is a diagram showing an example of turning the camera 10 in the yaw direction by the turning mechanism 16.
  • a camera 10 is attached to the turning mechanism 16.
  • the turning mechanism 16 can change the imaging direction of the camera 10 by turning the camera 10.
  • the turning mechanism 16 is an example of an imaging direction changing device in the present invention.
  • the turning mechanism 16 rotates in a turning direction (pitch direction) that intersects with the yaw direction and has the pitch axis PA as the central axis, and as an example shown in FIG. It is a two-axis rotation mechanism that can rotate the camera 10 in the rotation direction (yaw direction) and the rotation direction with axis YA as the central axis.
  • the turning mechanism 16 according to the present embodiment is an example of a two-axis turning mechanism, the technology of the present disclosure is not limited to this, and may be a three-axis turning mechanism, or a one-axis turning mechanism. It may be.
  • FIG. 4 is a block diagram showing an example of the configuration of the optical system and electrical system of the camera 10.
  • the camera 10 includes an optical system 15 and an image sensor 25.
  • the image sensor 25 is located after the optical system 15.
  • the optical system 15 includes an objective lens 15A and a lens group 15B.
  • the objective lens 15A and the lens group 15B are arranged along the optical axis OA of the optical system 15 from the target subject side (object side) to the light receiving surface 25A side (image side) of the image sensor 25. They are arranged in order.
  • the lens group 15B includes an anti-vibration lens 15B1, a focus lens (not shown), a zoom lens 15B2, and the like.
  • the zoom lens 15B2 is supported movably along the optical axis OA by a lens actuator 21, which will be described later.
  • the anti-vibration lens 15B1 is supported movably in a direction orthogonal to the optical axis OA by a lens actuator 17, which will be described later.
  • the camera 10 By increasing the focal length using the zoom lens 15B2, the camera 10 becomes telephoto, so the angle of view becomes smaller (the imaging range becomes narrower). By shortening the focal length with the zoom lens 15B2, it becomes a wide-angle side, so the angle of view becomes larger (the imaging range becomes wider).
  • the optical system 15 may include various lenses (not shown) in addition to the objective lens 15A and the lens group 15B. Furthermore, the optical system 15 may include an aperture.
  • the positions of the lens, lens group, and diaphragm included in the optical system 15 are not limited, and the technology of the present disclosure can be applied even if the positions are different from the positions shown in FIG. 4, for example.
  • the anti-vibration lens 15B1 is movable in a direction perpendicular to the optical axis OA, and the zoom lens 15B2 is movable along the optical axis OA.
  • the optical system 15 includes lens actuators 17 and 21.
  • the lens actuator 17 applies a force to the anti-vibration lens 15B1 that varies in a direction perpendicular to the optical axis of the anti-vibration lens 15B1.
  • the lens actuator 17 is controlled by an OIS (Optical Image Stabilizer) driver 23.
  • OIS Optical Image Stabilizer
  • the lens actuator 21 applies a force to the zoom lens 15B2 to move it along the optical axis OA of the optical system 15.
  • Lens actuator 21 is controlled by lens driver 28 .
  • the focal length of the camera 10 changes by moving the position of the zoom lens 15B2 along the optical axis OA.
  • the angle of view in the direction of the pitch axis PA will be in the direction of the yaw axis YA.
  • the angle of view is narrower than the angle of view at , and narrower than the angle of view diagonally.
  • the optical system 15 configured in this way, the light indicating the imaging target area is imaged on the light receiving surface 25A of the imaging element 25, and the imaging element 25 images the imaging target area.
  • the vibrations given to the camera 10 include vibrations caused by passing cars, wind, and road construction when outdoors, and vibrations given to the camera 10 when indoors include vibrations caused by the operation of an air conditioner and vibrations caused by people. There is vibration etc. due to coming and going. Therefore, in the camera 10, shake occurs due to vibrations applied to the camera 10 (hereinafter also simply referred to as "vibrations").
  • shake refers to a phenomenon in which the target subject image on the light-receiving surface 25A of the image sensor 25 in the camera 10 fluctuates due to a change in the positional relationship between the optical axis OA and the light-receiving surface 25A. refers to In other words, “shake” can be said to be a phenomenon in which the optical axis OA is tilted due to vibrations applied to the camera 10, and the optical image formed on the light receiving surface 25A fluctuates.
  • a variation in the optical axis OA means, for example, that the optical axis OA is tilted with respect to a reference axis (for example, the optical axis OA before shake occurs).
  • the runout caused by vibration will also be simply referred to as "runout.”
  • Shake is included in the captured image as a noise component and affects the image quality of the captured image. Therefore, in order to remove noise components contained in the captured image due to shake, the camera 10 includes a lens side shake correction mechanism 29, an image sensor side shake correction mechanism 45, and an electronic shake correction unit 33. , used for shake correction.
  • the lens side shake correction mechanism 29 and the image sensor side shake correction mechanism 45 are mechanical shake correction mechanisms.
  • the mechanical shake correction mechanism applies power generated by a drive source such as a motor (for example, a voice coil motor) to the shake correction element (for example, the anti-shake lens 15B1 and/or the image sensor 25). This mechanism moves the camera in a direction perpendicular to the optical axis of the imaging optical system, thereby correcting shake.
  • the lens side shake correction mechanism 29 applies power generated by a drive source such as a motor (for example, a voice coil motor) to the anti-vibration lens 15B1, thereby controlling the anti-vibration lens 15B1 to the light of the imaging optical system.
  • a drive source such as a motor (for example, a voice coil motor)
  • the image sensor side shake correction mechanism 45 applies power generated by a drive source such as a motor (for example, a voice coil motor) to the image sensor 25 to move the image sensor 25 perpendicularly to the optical axis of the imaging optical system. This is a mechanism that corrects shake by moving the camera in this direction.
  • the electronic shake correction unit 33 corrects shake by performing image processing on the captured image based on the amount of shake. That is, the shake correction unit (shake correction component) mechanically or electronically corrects shake using a hardware configuration and/or a software configuration.
  • mechanical shake correction refers to mechanical shake correction elements such as the anti-shake lens 15B1 and/or the image sensor 25 using power generated by a drive source such as a motor (for example, a voice coil motor).
  • Electronic shake correction refers to shake correction realized by image processing performed by a processor, for example.
  • the lens side shake correction mechanism 29 includes an anti-shake lens 15B1, a lens actuator 17, an OIS driver 23, and a position sensor 39.
  • a method for correcting the shake by the lens side shake correction mechanism 29 various known methods can be adopted.
  • a method for correcting shake a method is adopted in which the shake is corrected by moving the anti-shake lens 15B1 based on the amount of shake detected by the shake amount detection sensor 40 (described later). Specifically, the shake is corrected by moving the anti-shake lens 15B1 by an amount that cancels out the shake in a direction that cancels out the shake.
  • a lens actuator 17 is attached to the anti-vibration lens 15B1.
  • the lens actuator 17 is a shift mechanism equipped with a voice coil motor, and by driving the voice coil motor, it moves the anti-vibration lens 15B1 in a direction perpendicular to the optical axis of the anti-vibration lens 15B1.
  • a shift mechanism equipped with a voice coil motor is employed here as the lens actuator 17, the technology of the present disclosure is not limited to this, and instead of the voice coil motor, a stepping motor or a piezo element may be used. Other power sources may also be applied.
  • the lens actuator 17 is controlled by the OIS driver 23.
  • the position of the anti-vibration lens 15B1 is mechanically varied within a two-dimensional plane perpendicular to the optical axis OA.
  • the position sensor 39 detects the current position of the anti-vibration lens 15B1 and outputs a position signal indicating the detected current position.
  • a device including a Hall element is employed as an example of the position sensor 39.
  • the current position of the anti-vibration lens 15B1 refers to the current position within the two-dimensional plane of the anti-vibration lens.
  • the two-dimensional plane of the anti-vibration lens refers to a two-dimensional plane perpendicular to the optical axis of the anti-vibration lens 15B1.
  • a device including a Hall element is used as an example of the position sensor 39, but the technology of the present disclosure is not limited to this, and instead of the Hall element, a magnetic sensor, a photo sensor, or the like may be used. May be adopted.
  • the lens side shake correction mechanism 29 corrects shake by moving the shake proof lens 15B1 along at least one of the pitch axis PA direction and the yaw axis YA direction in the range that is actually imaged. In other words, the lens side shake correction mechanism 29 corrects shake by moving the shake proof lens 15B1 within the two-dimensional plane of the shake proof lens by an amount of movement corresponding to the shake amount.
  • the image sensor side shake correction mechanism 45 includes an image sensor 25, a BIS (Body Image Stabilizer) driver 22, an image sensor actuator 27, and a position sensor 47.
  • BIS Body Image Stabilizer
  • a shake correction method a method is adopted in which shake is corrected by moving the image sensor 25 based on the shake amount detected by the shake amount detection sensor 40. Specifically, the shake is corrected by moving the image sensor 25 by an amount that cancels out the shake in a direction that cancels out the shake.
  • An image sensor actuator 27 is attached to the image sensor 25.
  • the image sensor actuator 27 is a shift mechanism equipped with a voice coil motor, and by driving the voice coil motor, the image sensor 25 is moved in a direction perpendicular to the optical axis of the anti-vibration lens 15B1.
  • a shift mechanism equipped with a voice coil motor is employed here as the image sensor actuator 27, the technology of the present disclosure is not limited to this, and a stepping motor or a piezoelectric motor may be used instead of the voice coil motor.
  • Other power sources such as elements may also be applied.
  • the image sensor actuator 27 is controlled by the BIS driver 22. By driving the image sensor actuator 27 under the control of the BIS driver 22, the position of the image sensor 25 is mechanically varied in a direction perpendicular to the optical axis OA.
  • the position sensor 47 detects the current position of the image sensor 25 and outputs a position signal indicating the detected current position.
  • a device including a Hall element is employed as an example of the position sensor 47.
  • the current position of the image sensor 25 refers to the current position of the image sensor within a two-dimensional plane.
  • the two-dimensional plane of the image sensor refers to a two-dimensional plane perpendicular to the optical axis of the anti-vibration lens 15B1.
  • a device including a Hall element is used as an example of the position sensor 47, but the technology of the present disclosure is not limited to this, and instead of the Hall element, a magnetic sensor, a photo sensor, or the like may be used. May be adopted.
  • the camera 10 includes a computer 19, a DSP (Digital Signal Processor) 31, an image memory 32, an electronic shake correction unit 33, a communication I/F 34, a shake amount detection sensor 40, and a UI (User Interface) device 43.
  • the computer 19 includes a memory 35, a storage 36, and a CPU (Central Processing Unit) 37.
  • the image sensor 25, DSP 31, image memory 32, electronic shake correction unit 33, communication I/F 34, memory 35, storage 36, CPU 37, shake amount detection sensor 40, and UI device 43 are connected to the bus 38. .
  • the OIS driver 23 is also connected to the bus 38. Note that in the example shown in FIG. 4, one bus is shown as the bus 38 for convenience of illustration, but a plurality of buses may be used.
  • the bus 38 may be a serial bus or a parallel bus such as a data bus, address bus, and control bus.
  • the memory 35 temporarily stores various information and is used as a work memory.
  • An example of the memory 35 is a RAM (Random Access Memory), but the present invention is not limited to this, and other types of storage devices may be used.
  • the storage 36 stores various programs for the camera 10.
  • the CPU 37 controls the entire camera 10 by reading various programs from the storage 36 and executing the various read programs on the memory 35. Examples of the storage 36 include flash memory, SSD, EEPROM, and HDD. Further, for example, various types of nonvolatile memory such as magnetoresistive memory and ferroelectric memory may be used instead of flash memory or in combination with flash memory.
  • the image sensor 25 is a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 25 images the target subject at a predetermined frame rate under instructions from the CPU 37.
  • the "default frame rate" here refers to, for example, several tens of frames/second to several hundred frames/second.
  • the image sensor 25 itself may also have a built-in control device (image sensor control device), and in that case, the image sensor control device performs detailed control inside the image sensor 25 in accordance with the imaging instruction output by the CPU 37. conduct.
  • the image sensor 25 may image the target subject at a predetermined frame rate under instructions from the DSP 31. In this case, detailed control inside the image sensor 25 may be imaged according to the image capture instruction output by the DSP 31.
  • the element control device performs this.
  • the DSP 31 is sometimes called an ISP (Image Signal Processor).
  • the light receiving surface 25A of the image sensor 25 is formed by a plurality of photosensitive pixels (not shown) arranged in a matrix.
  • each photosensitive pixel is exposed, and photoelectric conversion is performed for each photosensitive pixel.
  • the electric charge obtained by photoelectric conversion for each photosensitive pixel is an analog imaging signal indicating the target subject.
  • a plurality of photoelectric conversion elements having sensitivity to visible light for example, a photoelectric conversion element on which a color filter is arranged
  • the plurality of photoelectric conversion elements include a photoelectric conversion element sensitive to R (red) light (for example, a photoelectric conversion element in which an R filter corresponding to R is disposed), and a G (green) light.
  • a photoelectric conversion element sensitive to B for example, a photoelectric conversion element in which a G filter corresponding to G is arranged
  • a photoelectric conversion element sensitive to B (blue) light for example, a B filter corresponding to B is arranged.
  • photoelectric conversion elements have been adopted.
  • the camera 10 uses these photosensitive pixels to perform imaging based on visible light (for example, light with a short wavelength of about 700 nanometers or less).
  • this embodiment is not limited to this, and imaging based on infrared light (for example, light with a wavelength longer than about 700 nanometers) may be performed.
  • a plurality of photoelectric conversion elements sensitive to infrared light may be used as the plurality of photosensitive pixels.
  • SWIR short-wavelength infrared
  • an InGaAs sensor and/or a type-II quantum well (T2SL) sensor may be used.
  • the image sensor 25 performs signal processing such as A/D (Analog/Digital) conversion on the analog image signal to generate a digital image, which is a digital image signal.
  • the image sensor 25 is connected to the DSP 31 via a bus 38, and outputs the generated digital image to the DSP 31 frame by frame via the bus 38.
  • CMOS image sensor is described here as an example of the image sensor 25, the technology of the present disclosure is not limited to this, and a CCD (Charge Coupled Device) image sensor may be applied as the image sensor 25.
  • the image sensor 25 is connected to the bus 38 via an AFE (Analog Front End) (not shown) with a built-in CCD driver, and the AFE performs A/D conversion on the analog image signal obtained by the image sensor 25.
  • a digital image is generated by performing signal processing such as the following, and the generated digital image is output to the DSP 31.
  • the CCD image sensor is driven by a CCD driver built into the AFE.
  • the CCD driver may be provided independently.
  • the DSP 31 performs various digital signal processing on the digital image.
  • Various types of digital signal processing refer to, for example, demosaic processing, noise removal processing, gradation correction processing, color correction processing, and the like.
  • the DSP 31 outputs a digital image after digital signal processing to the image memory 32 for each frame.
  • Image memory 32 stores digital images from DSP 31.
  • the shake amount detection sensor 40 is a device including, for example, a gyro sensor, and detects the shake amount of the camera 10. In other words, the shake amount detection sensor 40 detects the shake amount in each of the pair of axial directions.
  • the gyro sensor detects the amount of rotational shake around each axis (see FIG. 1): pitch axis PA, yaw axis YA, and roll axis RA (axis parallel to optical axis OA).
  • the shake amount detection sensor 40 detects the amount of rotational shake around the pitch axis PA and the amount of rotational shake around the yaw axis YA detected by the gyro sensor in a two-dimensional plane parallel to the pitch axis PA and the yaw axis YA.
  • the amount of shake of the camera 10 is detected by converting it into the amount of shake.
  • a gyro sensor is cited as an example of the shake amount detection sensor 40, but this is just an example, and the shake amount detection sensor 40 may be an acceleration sensor.
  • the acceleration sensor detects the amount of shake in a two-dimensional plane parallel to the pitch axis PA and the yaw axis YA.
  • the shake amount detection sensor 40 outputs the detected shake amount to the CPU 37.
  • the amount of shake is detected by a physical sensor called the shake amount detection sensor 40, but the technology of the present disclosure is not limited to this.
  • a motion vector obtained by comparing chronologically sequential captured images stored in the image memory 32 may be used as the shake amount.
  • the amount of shake to be finally used may be derived based on the amount of shake detected by a physical sensor and the motion vector obtained by image processing.
  • the CPU 37 acquires the shake amount detected by the shake amount detection sensor 40, and controls the lens side shake correction mechanism 29, the image sensor side shake correction mechanism 45, and the electronic shake correction unit 33 based on the acquired shake amount.
  • the amount of shake detected by the shake amount detection sensor 40 is used for shake correction by each of the lens side shake correction mechanism 29 and the electronic shake correction section 33.
  • the electronic shake correction unit 33 is a device including an ASIC (Application Specific Integrated Circuit).
  • the electronic shake correction unit 33 corrects shake by performing image processing on the captured image in the image memory 32 based on the shake amount detected by the shake amount detection sensor 40.
  • the electronic shake correction unit 33 may be a device including a plurality of ASIC, FPGA, and PLD.
  • a computer including a CPU, storage, and memory may be employed. There may be a single CPU or a plurality of CPUs.
  • the electronic shake correction unit 33 may be realized by a combination of a hardware configuration and a software configuration.
  • the communication I/F 34 is, for example, a network interface, and controls transmission of various information to and from the management device 11 via the network.
  • This network is, for example, a WAN (Wide Area Network) such as the Internet, a LAN (Local Area Network), or the like.
  • the communication I/F 34 performs communication between the camera 10 and the management device 11.
  • the UI device 43 includes a reception device 43A and a display 43B.
  • the receiving device 43A is, for example, a hard key, a touch panel, etc., and receives various instructions from the user.
  • the CPU 37 acquires various instructions accepted by the receiving device 43A, and operates according to the acquired instructions.
  • the display 43B displays various information under the control of the CPU 37. Examples of the various information displayed on the display 43B include the contents of various instructions accepted by the reception device 43A, captured images, and the like.
  • FIG. 5 is a diagram showing an example of the configuration of the electrical system of the turning mechanism 16 and the management device 11.
  • the turning mechanism 16 includes a yaw axis turning mechanism 71, a pitch axis turning mechanism 72, motors 73, 74, drivers 75, 76, and communication I/Fs 79, 80.
  • the yaw axis turning mechanism 71 turns the camera 10 in the yaw direction.
  • the motor 73 generates power by being driven under the control of the driver 75.
  • the yaw axis turning mechanism 71 receives the power generated by the motor 73 to turn the camera 10 in the yaw direction.
  • the pitch axis turning mechanism 72 turns the camera 10 in the pitch direction.
  • the motor 74 generates power by being driven under the control of a driver 76 .
  • the pitch axis turning mechanism 72 receives the power generated by the motor 74 to turn the camera 10 in the pitch direction.
  • the communication I/Fs 79 and 80 are, for example, network interfaces, and control the transmission of various information to and from the management device 11 via the network.
  • This network is, for example, a WAN or LAN such as the Internet.
  • the communication I/Fs 79 and 80 perform communication between the turning mechanism 16 and the management device 11.
  • the management device 11 includes a display 13a, a secondary storage device 14, a control device 60, a reception device 62, and communication I/Fs 66, 67, and 68.
  • the control device 60 includes a CPU 60A, a storage 60B, and a memory 60C.
  • the CPU 60A is an example of a processor in the present invention.
  • the memory 60C is an example of a storage device in the present invention.
  • Each of the reception device 62, display 13a, secondary storage device 14, CPU 60A, storage 60B, memory 60C, and communication I/F 66 is connected to the bus 70.
  • the bus 70 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the memory 60C temporarily stores various information and is used as a work memory.
  • An example of the memory 60C is a RAM, but the present invention is not limited to this, and other types of storage devices may be used.
  • the storage 60B stores various programs for the management device 11 (hereinafter simply referred to as "management device programs").
  • the CPU 60A controls the entire management device 11 by reading the management device program from the storage 60B and executing the read management device program on the memory 60C.
  • the management device program includes an information processing program according to the present invention.
  • the communication I/F 66 is, for example, a network interface.
  • the communication I/F 66 is communicably connected to the communication I/F 34 of the camera 10 via the network, and controls transmission of various information to and from the camera 10.
  • the communication I/Fs 67 and 68 are, for example, network interfaces.
  • the communication I/F 67 is communicably connected to the communication I/F 79 of the swing mechanism 16 via the network, and controls transmission of various information with the yaw axis swing mechanism 71.
  • the communication I/F 68 is communicably connected to the communication I/F 80 of the swing mechanism 16 via the network, and controls transmission of various information with the pitch axis swing mechanism 72.
  • the CPU 60A receives captured images, captured information, etc. from the camera 10 via the communication I/F 66 and the communication I/F 34.
  • the CPU 60A controls the imaging operation of the imaging target by the camera 10 via the communication I/F 66 and the communication I/F 34.
  • the CPU 60A controls the turning operation of the yaw axis turning mechanism 71 by controlling the driver 75 and motor 73 of the turning mechanism 16 via the communication I/F 67 and the communication I/F 79. Further, the CPU 60A controls the turning operation of the pitch axis turning mechanism 72 by controlling the driver 76 and motor 74 of the turning mechanism 16 via the communication I/F 68 and the communication I/F 80.
  • the CPU 60A acquires imaging information at discrete positions of the first subject, which is the imaging target of the camera 10, and subject information regarding the first subject.
  • the first object is, for example, a linear structure whose entire object does not fit within the set angle of view.
  • the first subject includes, for example, a power transmission line, a suspension cable of a suspension bridge, a ropeway cable, a ski resort lift cable, and the like.
  • the discrete positions of the first subject are, for example, a plurality of positions on the power transmission line that are selected from among the power transmission lines connected between the steel towers, and are a plurality of positions that are spaced from each other.
  • the discrete positions are at least three adjacent points among a plurality of points automatically extracted based on image analysis of the first subject.
  • the discrete positions are three points, including two points located in the edge area of the first subject and one point different from the two points at the edge, among the multiple points extracted by image analysis of the first subject. It may be.
  • the discrete positions are calculated based on, for example, an analysis result of a wide-angle image obtained by imaging the first subject. Note that the discrete positions may be multiple points specified by the user.
  • the imaging information includes, for example, a control value based on the angle of view of the camera 10 for imaging discrete positions. Further, the imaging information includes, for example, a control value for the rotation mechanism 16 for imaging discrete positions. The control value of the rotation mechanism 16 is, for example, a pan/tilt value for controlling the imaging direction of the camera 10. Further, the imaging information includes, for example, a control value based on the distance between the first subject and the camera 10 for imaging discrete positions. Further, the imaging information includes, for example, control values for the camera 10 for imaging discrete positions. The control value of the camera 10 is, for example, the focus position of the camera 10.
  • the focus position is acquired based on, for example, the number of pixels of the subject in the image at a plurality of automatically extracted positions (points). Further, when the user specifies a plurality of positions (points), the focus position is obtained by the user pointing the camera at the specified position and pressing the autofocus button.
  • the focus position of the camera 10 is obtained by performing distance measurement with the zoom lens 15B2 in the telephoto range.
  • the zoom adjustment of the zoom lens 15B2 is automatically adjusted to the telephoto range.
  • the user presses the autofocus button to obtain the focus position the user is notified to adjust the zoom lens 15B2 to the telephoto range before pressing the autofocus button.
  • the subject information regarding the first subject is the catenary shape of the power transmission line connected between the steel towers.
  • the subject information is the shape in a two-dimensional plane of the angle of view at which the first subject is imaged.
  • the subject information may be information given in advance, information determined by image analysis, or information set by the user.
  • the CPU 60A sets a first imaging route that is an imaging route for the first subject.
  • the CPU 60A controls the imaging operation of the first subject by the camera 10 based on the set first imaging path.
  • the first imaging path includes, for example, control values for dividing and imaging the first subject.
  • the control value for dividing images is a control value that includes a plurality of sets of pan/tilt values for controlling the imaging direction of the camera 10 by the rotation mechanism 16 and the focus position of the camera 10.
  • the CPU 60A controls the imaging operation of the second subject, which is the imaging target of the camera 10, based on the information on the first subject.
  • the second subject is, for example, a power transmission line different from the first subject.
  • the second subject is a second power transmission line different from the first power transmission line among the plurality of power transmission lines connected between the steel towers.
  • the CPU 60A acquires imaging information at a first position on the first subject (pan/tilt values, focus position, etc.) and imaging information at a second position on the second subject (pan/tilt values, focus position, etc.).
  • the first position is a position of the first subject in an area close to the camera 10.
  • the second position is a position of the second subject in an area close to the camera 10.
  • the first subject is a subject located closer to the camera 10 than the second subject.
  • the CPU 60A acquires difference information between the imaging information at the first position of the first subject and the imaging information at the second position of the second subject.
  • the CPU 60A determines the second imaging path, which is the imaging path of the second subject, based on the first imaging path of the first subject and the difference information between the first position of the first subject and the second position of the second subject. Set.
  • the CPU 60A controls the imaging operation of the second subject by the camera 10 based on the set second imaging path.
  • the CPU 60A determines that the entire second subject cannot be imaged within the movable range of the rotation mechanism 16 when capturing an image of the second subject on the second image capturing path of the second subject, the CPU 60A The installation position of the turning mechanism 16 with respect to the second subject that can image the entire second subject is calculated.
  • the CPU 60A outputs the calculated installation position of the swing mechanism 16 to, for example, the display 13a of the management device 11 as notification information.
  • the CPU 60A stores a plurality of captured images of the first subject obtained by capturing the image with the camera 10 on the first imaging path, and a plurality of captured images of the second subject obtained by capturing the image with the camera 10 on the second imaging path. , and outputs the generated composite image to the display 13a. Based on the distance information between the first subject and the camera 10 and the distance information between the second subject and the camera 10, the CPU 60A determines whether the subject closer to the camera 10 among the first subject and the second subject is the first subject. A composite image is generated that appears closer to the subject than the subject that is farther from the camera 10 among the subject and the second subject.
  • the CPU 60A changes the zoom amount of the zoom lens 15B2 according to information on the imaging distance from the camera 10 to the first subject on the first imaging path.
  • the information on the imaging distance includes information on the distance measurement result between the camera 10 and the first subject, information on the focus position of the camera 10 based on the distance measurement result, and the like.
  • the zoom amount is an amount depending on the set resolution.
  • the CPU 60A stores information regarding the imaging angle of the first subject based on the first imaging path in the memory 60C or the secondary storage device 14 in association with the first subject.
  • the CPU 60A stores a plurality of captured images of the first subject obtained by capturing the image with the camera 10 on the first imaging path, and a plurality of captured images of the second subject obtained by capturing the image with the camera 10 on the second imaging path. , and outputs the generated composite image to the display 13a.
  • the CPU 60A receives the designation of a position in the composite image, and outputs the captured image corresponding to the designated position to the display 13a. Note that the display on which the composite image is displayed and the display on which the designated captured image is displayed may be different displays.
  • the CPU 60A causes the memory 60C or the secondary storage device 14 to store information regarding the plurality of images of the first subject controlled by the camera 10 installed at different locations in association with the first subject.
  • the receiving device 62 is, for example, a keyboard 13b, a mouse 13c, a touch panel of the display 13a, etc., and receives various instructions from the user.
  • the CPU 60A acquires various instructions accepted by the receiving device 62, and operates according to the acquired instructions. For example, when the reception device 62 receives processing details for the camera 10 and/or the rotation mechanism 16, the CPU 60A operates the camera 10 and/or the rotation mechanism 16 according to the instruction contents received by the reception device 62.
  • the display 13a displays various information under the control of the CPU 60A. Examples of the various information displayed on the display 13a include the contents of various instructions received by the reception device 62, and captured images and captured information received by the communication I/F 66.
  • the CPU 60A causes the display 13a to display the contents of various instructions received by the receiving device 62, and the captured image, captured information, etc. received by the communication I/F 66.
  • the secondary storage device 14 is, for example, a nonvolatile memory, and stores various information under the control of the CPU 60A. Examples of the various information stored in the secondary storage device 14 include captured images and captured information received by the communication I/F 66.
  • the CPU 60A causes the secondary storage device 14 to store the captured image and the captured information received by the communication I/F 66.
  • FIG. 6 is a diagram showing an example of inspecting the power transmission line 102 connected between the steel towers 101a and 101b using the camera 10.
  • power transmission lines 102a, 102b, 103a, 103b, 104a, and 104b in two rows and three stages (six lines in total) are connected between adjacent steel towers 101a and 101b.
  • the imaging information of the second and subsequent power transmission lines is calculated by utilizing the acquired imaging information regarding the first imaging target.
  • the power transmission line 102a is selected as the first imaging target, the imaging information of the power transmission line 102a is acquired, and the other transmission lines after the second one are selected based on the positional relationship with the power transmission line 102a.
  • Image information of power transmission lines 102b, 103a, 103b, 104a, and 104b is calculated.
  • FIG. 7 is a flowchart illustrating an example of imaging processing of an imaging target by the CPU 60A of the control device 60.
  • FIG. 7 a case will be described in which images of the power transmission lines 102a, 102b, 103a, 103b, 104a, and 104b between the steel towers 101a and 101b shown in FIG. 6 are imaged and inspected using the camera 10.
  • the camera 10 is installed facing the object to be imaged, and the zoom position of the zoom lens is set to the wide-angle end. Data of the wide-angle image captured by the camera 10 is transmitted to the management device 11 via the communication line 12.
  • a worker (user) is present in front of the management device 11 and is looking at the captured image of the camera 10 displayed on the display 13a.
  • the operator performs inspection work while operating the camera 10 via the communication line 12 by operating the keyboard 13b and mouse 13c of the management device 11 or by touching the display 13a.
  • the CPU 60A of the management device 11 starts the process shown in FIG. 7 in response to the operator's operation to specify the imaging target while the wide-angle image is being displayed on the display 13a.
  • the CPU 60A sets auxiliary information that is auxiliary information for imaging the first power transmission line that is the first imaging target (step S11).
  • the auxiliary information includes the pan/tilt values of the rotation mechanism 16 at a plurality of positions (points) on the power transmission line, the focus position of the camera 10, and the like.
  • the auxiliary information is set, for example, by an operator specifying multiple positions (points) on the power transmission line.
  • the lower front power transmission line 102a of the two rows and three tiers of power transmission lines is selected as the first power transmission line.
  • the operator selects, for example, a plurality of positions 111a to 111d that are spaced apart from each other.
  • auxiliary information at the plurality of selected positions 111a to 111d is set.
  • the first power transmission line to be imaged the power transmission line closest to the camera 10 is selected.
  • the power transmission line 102a is an example of the first subject in the present invention.
  • the setting of the auxiliary information may not be a setting based on the operator's selection, but may be a setting based on extraction of a plurality of points by image analysis.
  • the CPU 60A performs automatic imaging for automatically imaging the entire first power transmission line 102a based on the auxiliary information set in step S11 and the known information that the shape of the power transmission line is a catenary line.
  • Information is calculated (step S12).
  • the automatic imaging information is, for example, curve information of the power transmission line 102a.
  • the automatic imaging information may be continuous position information (pan/tilt values, focus position), etc. on the curve of the power transmission line 102a.
  • the calculated automatic imaging information becomes the first imaging path of the power transmission line 102a, which is the first subject.
  • the CPU 60A obtains information on the end points of the second and subsequent power transmission lines (step S13).
  • the information on the end points is inputted, for example, by a specifying operation by the operator.
  • the operator specifies the end points of the second and subsequent power transmission lines using a touch operation or the like in the wide-angle image displayed on the display 13a.
  • the information on the end points includes the pan/tilt values of the rotation mechanism 16, the focus position of the camera 10, and the like. Note that the information on the end points may be detected by image analysis.
  • information on the end point 112a of the power transmission line 102b that is the second and subsequent power transmission lines information on the end point 113a of the power transmission line 103a, information on the end point 114a of the power transmission line 103b, and information on the end point 114a of the power transmission line 103a.
  • Information on the end point 115a of the power transmission line 104b and information on the end point 116a of the power transmission line 104b are acquired.
  • the CPU 60A provides automatic imaging information for automatically imaging each of the second and subsequent power transmission lines 102b to 104b from one end to the other end based on the information acquired in steps S11 to S13. is calculated (step S14). For example, the CPU 60A uses the information regarding the first power transmission line 102a acquired in steps S11 and S12, and the end points 112a, 113a, and 114a, 115a, and 116a to calculate respective difference information. The CPU 60A calculates automatic imaging information for the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b based on the calculated difference information.
  • the automatic imaging information is, for example, curve information of the power transmission lines 102b, 103a, 103b, 104a, and 104b, and becomes a second imaging path of the power transmission lines 102b, 103a, 103b, 104a, and 104b, which are the second objects.
  • the CPU 60A automatically images the power transmission lines 102a, 102b, 103a, 103b, 104a, and 104b based on the automatic imaging information calculated in steps S12 and S14.
  • Automatic imaging of the power transmission lines 102a, 102b, 103a, 103b, 104a, and 104b may be performed each time the automatic imaging information of each power transmission line is calculated, or automatic imaging of the power transmission line may be performed every time the automatic imaging information of each power transmission line is calculated. Automatic imaging may be performed after automatic imaging information is calculated.
  • FIG. 8 is a flowchart illustrating an example of automatic imaging of the first power transmission line, which is the first imaging target.
  • the automatic imaging in this example is automatic imaging performed based on auxiliary information of the power transmission line set by the operator.
  • the CPU 60A of the management device 11 while displaying a wide-angle image of the power transmission line to be imaged on the display 13a, selects an arbitrary position on the power transmission line by an operator's click operation or touch operation on the first power transmission line.
  • (point) When (point) is selected, the process shown in FIG. 8 is started. Specifically, when positions 111a to 111d on the power transmission line 102a in FIG. 6 are selected, the CPU 60A starts processing.
  • the CPU 60A receives the designation of the position on the first power transmission line 102a selected by the operator (step S21).
  • the CPU 60A obtains information on the pan/tilt values at the position on the power transmission line 102a specified in step S21 (step S22). For example, the CPU 60A calculates the relationship between each coordinate on the power transmission line 102a in the wide-angle image displayed on the display 13a and its pan/tilt value based on the size and positional relationship between the wide-angle image and the power transmission line 102a. You can leave it there.
  • the calculated pan/tilt values are stored in the memory 60C or the secondary storage device 14 as correspondence information in association with each coordinate of the power transmission line 102a.
  • the CPU 60A obtains pan/tilt values corresponding to the specified position on the power transmission line 102a based on the correspondence information calculated in advance.
  • the CPU 60A determines whether information on pan/tilt values at three or more positions on the power transmission line 102a has been acquired (step S23).
  • step S23 if information on pan/tilt values at three or more positions has not been acquired (step S23: No), the CPU 60A returns to step S21 and repeats each process.
  • step S23 if information on pan/tilt values at three or more positions has been acquired (step S23: Yes), the CPU 60A determines whether acquisition of information on pan/tilt values at positions on the power transmission line 102a has been completed. It is determined whether or not (step S24). For example, the CPU 60A determines the end of information acquisition based on whether or not an end operation indicating that the selection of position designation has ended is received from the operator.
  • the CPU 60A calculates a curve passing through three of the positions where information on pan/tilt values was acquired (step S25).
  • the three positions are the three points if three positions are specified, and if four or more points are acquired, the three adjacent points, or the points at both ends and any other one. It refers to a point.
  • the curve refers to a catenary line that is the shape of the power transmission line 102a. However, the curve may be a quadratic curve or the like.
  • the CPU 60A obtains distance information about multiple points on the power transmission line 102a (step S26).
  • the distance from the camera 10 to a point on the power transmission line 102a can be estimated from information on the focus position of the point on the power transmission line 102a. Therefore, for example, by having a worker perform focusing at a plurality of points on the power transmission line 102a, distance information of the plurality of points is acquired from information on the focus position.
  • the plurality of points on the power transmission line 102a may be arbitrarily selected by the operator. Note that the focusing is performed with the zoom lens 15B2 set at the telephoto end.
  • the CPU 60A calculates the curve of the power transmission line 102a in real space based on the curve calculated in step S25 and the distance information acquired in step S26 (step S27).
  • the CPU 60A calculates pan, tilt, zoom, and focus information for dividing and imaging the power transmission line 102a (step S28). Specifically, the CPU 60A calculates pan, tilt, zoom, and focus information at predetermined intervals on the curve of the power transmission line 102a calculated in step S27. Information that combines the calculated pan, tilt, zoom, and focus information on the curve of the power transmission line 102a becomes the first imaging path of the power transmission line 102a, which is the first subject.
  • the CPU 60A divides and images the power transmission line 102a based on the first imaging path calculated in step S28 (step S29).
  • FIG. 9 is a flowchart showing another example of automatic imaging performed based on power transmission line auxiliary information set by the operator. This process is similar to the process in FIG. 8 in that this process is started by the operator selecting positions 111a to 111d on the power transmission line 102a in FIG.
  • the CPU 60A receives the designation of the position on the selected first power transmission line 102a and the focus position (step S31). By accepting the designation of the focus position, distance information is acquired based on autofocus.
  • the process of this example is different from the process of FIG. 8 in that the distance information of the point on the power transmission line 102a is acquired in step S31, and the distance information is acquired after the pan/tilt value information has been acquired. do.
  • step S32 to step S34 is the same as each process from step S22 to step S24 in FIG. 8, so a description thereof will be omitted.
  • the CPU 60A calculates a curve of the power transmission line 102a in real space based on the distance information acquired in step S31 and the pan/tilt value information acquired in step S32 (step S35).
  • step S36 to step S37 is the same as the processing from step S28 to step S29 in FIG. 8, so a description thereof will be omitted.
  • FIG. 10 is a flowchart illustrating an example of automatic imaging performed based on power transmission line auxiliary information set by image analysis. This process is started, for example, when an image analysis imaging button (not shown) is touched while a wide-angle image of a power transmission line to be imaged is displayed on the display 13a.
  • the CPU 60A acquires three or more positions on the power transmission line 102a and the focus position by image analysis (step S41). In the case of image analysis, three or more positions are automatically extracted. Further, the focus positions of the three or more extracted positions are automatically acquired.
  • the CPU 60A acquires information on the pan/tilt values at the position on the power transmission line 102a acquired in step S41 (step S42). Acquisition of information on pan/tilt values is similar to the process in step S22 in FIG. 8.
  • the CPU 60A calculates the curve of the power transmission line 102a in real space based on the distance information based on the focus position acquired in step S41 and the information on the pan/tilt values acquired in step S42 (step S43).
  • step S44 to step S45 is the same as the processing from step S28 to step S29 in FIG. 8, so a description thereof will be omitted.
  • FIG. 11 is a flowchart illustrating an example of automatic imaging of the second and subsequent power transmission lines that are the next imaging target of the power transmission line 102a.
  • the automatic imaging in this example is automatic imaging performed based on auxiliary information of the power transmission line set by the operator.
  • the CPU 60A of the management device 11 while displaying the wide-angle image of the power transmission line to be imaged on the display 13a, determines whether the end point of the power transmission line is changed by, for example, a click operation or a touch operation by the operator on the second and subsequent power transmission lines.
  • the process shown in FIG. 11 is started. Specifically, in FIG.
  • an end point 112a of the power transmission line 102b, an end point 113a of the power transmission line 103a, an end point 114a of the power transmission line 103b, an end point 115a of the power transmission line 104a, and an end point 116a of the power transmission line 104b (hereinafter referred to as the power transmission line 102b) , 103a, 103b, 104a, 104b (also referred to as end points 112a, 113a, 114a, 115a, 116a), the CPU 60A starts processing.
  • the CPU 60A acquires pan, tilt, and focus information of the end points 112a, 113a, 114a, 115a, and 116a of the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b designated by the operator (step S51). ).
  • the end point of the power transmission line referred to here is the end point of each power transmission line on the side closer to the camera 10.
  • the CPU 60A uses the pan, tilt, and focus information of the end points 112a, 113a, 114a, 115a, and 116a of the power transmission lines 102b, 103a, 103b, 104a, and 104b acquired in step S51 and the information on the first power transmission line 102a.
  • the pan, tilt, and focus information of the end points on the same side are compared, and the shift amount from the first power transmission line 102a, which is the difference information, is calculated (step S52).
  • the CPU 60A determines the curve of the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b in the real space based on the curve in the real space of the first power transmission line 102a and the shift amount calculated in step S52.
  • a curve is calculated (step S53). Note that instead of calculating the curves in real space of the power transmission lines 102b, 103a, 103b, 104a, and 104b, for example, shift amounts are calculated in the pan, tilt, and focus information for divided imaging of the first power transmission line 102a. By applying this method, pan, tilt, and focus information for divided imaging of the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b may be calculated. That is, the imaging path may be shifted.
  • the CPU 60A calculates pan, tilt, zoom, and focus information for dividing and imaging the power transmission lines 102b, 103a, 103b, 104a, and 104b (step S54). Specifically, the CPU 60A calculates pan, tilt, zoom, and focus information at predetermined intervals on the curves of the power transmission lines 102b, 103a, 103b, 104a, and 104b calculated in step S53.
  • the information combining the pan, tilt, zoom, and focus information on the calculated curves of the power transmission lines 102b, 103a, 103b, 104a, and 104b is the information of the power transmission lines 102b, 103a, 103b, 104a, and 104b, which are the second objects. This becomes the second imaging path.
  • the CPU 60A divides images of the power transmission lines 102b, 103a, 103b, 104a, and 104b based on the second imaging path calculated in step S54 (step S55).
  • FIG. 12 is a flowchart illustrating an example of automatic imaging performed based on auxiliary information on power transmission lines set by image analysis. This process is started, for example, when an image analysis imaging button (not shown) is touched while a wide-angle image of a power transmission line to be imaged is displayed on the display 13a.
  • the CPU 60A When the image analysis imaging button is touched, the CPU 60A performs image analysis to determine the pan, tilt, and focus of the end points 112a, 113a, 114a, 115a, and 116a of the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b.
  • Information is acquired (step S61).
  • the positions of end points are automatically extracted. Additionally, focus information of the extracted endpoints is automatically acquired.
  • the end points of the power transmission lines are the end points of each power transmission line on the side closer to the camera 10.
  • step S62 to step S65 is the same as each process from step S52 to step S55 in FIG. 11, so a description thereof will be omitted.
  • the CPU 60A included in the control device 60 controls the power transmission line 102a based on imaging information at discrete positions 111a to 111d on the power transmission line 102a and subject information regarding the catenary shape of the power transmission line 102a.
  • An imaging route is set, and imaging of the power transmission line 102a is controlled based on the set imaging route.
  • an imaging path for imaging the power transmission line 102a can be set using the catenary line shape information, which is known information about the power transmission line 102a. Is possible. Therefore, the power transmission line 102a can be efficiently divided and imaged based on the set imaging path.
  • the CPU 60A also calculates the difference between the imaging information of the end point (position 111a) of the power transmission line 102a and the imaging information of the end points 112a, 113a, 114a, 115a, 116a of the second and subsequent power transmission lines 102b, 103a, 103b, 104a, 104b.
  • the information is acquired, and imaging routes for the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b are set based on the imaging route of the power transmission line 102a and the above-mentioned difference information, and the second imaging route is set based on the set imaging route. Subsequent imaging of power transmission lines 102b, 103a, 103b, 104a, and 104b is controlled.
  • the imaging path of the first power transmission line 102a is It is possible to set imaging paths for the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b. Therefore, the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b can be efficiently divided and imaged based on the set imaging path.
  • the CPU 60A is capable of automatically extracting a plurality of positions on the power transmission line 102a and automatically acquiring a focus position by image analysis. Further, the CPU 60A can extract the end points of the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b and automatically obtain the focus position of the end points by image analysis. Therefore, it is possible to easily set the imaging path of the power transmission line 102a and the imaging paths of the second and subsequent power transmission lines 102b, 103a, 103b, 104a, and 104b. , 103a, 103b, 104a, and 104b can be efficiently divided and imaged.
  • the CPU 60A acquires the focus position of the camera 10 by causing the camera 10 to perform distance measurement with the zoom lens 15B2 in the telephoto range. In this way, by setting the zoom lens 15B2 to the telephoto range during distance measurement, the distance measurement accuracy of the camera 10 can be improved.
  • FIG. 13 is a diagram showing the end of the power transmission line that is specified when automatically imaging the second and subsequent power transmission lines.
  • the camera 10 is set so that the second and subsequent power transmission lines 102n to be imaged are included within the range of the viewing angle ⁇ that can be imaged by the camera 10.
  • the power transmission line 102n is connected between the steel towers 101a and 101b.
  • the distance from the camera 10 to the steel tower 101b is shorter than the distance from the camera 10 to the steel tower 101a.
  • the end 121 of the power transmission line 102n on the side of the steel tower 101b near the camera 10 is specified.
  • Distance information about a subject can be converted from focus information, but the accuracy of the distance information is higher when the distance from the camera to the subject is shorter.
  • the amount of shift of the second and subsequent power transmission lines 102n with respect to the first power transmission line can be adjusted. can be calculated with high accuracy. Thereby, it is possible to improve the focusing accuracy during automatic imaging of the second and subsequent power transmission lines 102n.
  • FIG. 14 is a diagram of the power transmission lines 132a and 132b connected between the steel towers 101a and 101b, and the camera 10 that images them, viewed from above.
  • FIG. 15 is a diagram of the steel towers 101a, 101b and power transmission lines 132a, 132b shown in FIG. 14 viewed from the camera 10 side. As shown in FIGS. 14 and 15, it is assumed that power transmission lines 132a and 132b are connected in parallel to positions at approximately the same height on steel towers 101a and 101b. At this time, as shown in FIG. 15, when viewed from the camera 10 side, the power transmission lines 132a and 132b may appear to intersect at a position halfway between the steel towers 101a and 101b.
  • the power transmission line closest to the camera 10 in the case of FIGS. 14 and 15, the power transmission line 132a is selected. Thereby, when acquiring focus information at a plurality of positions on the first power transmission line, it is possible to accurately acquire focus information of the power transmission line closest to the camera 10.
  • FIG. 16 is a diagram of the camera 10 that captures images of the steel tower 101a and the power transmission lines 102a, 102b, 103a, 103b, 104a, and 104b, viewed from the lateral direction of the camera 10.
  • FIG. 17 is a diagram of the camera 10 that captures images of the steel towers 101a and 101b and the power transmission lines 142a, 142b, 143a, and 143b, viewed from the rear of the camera 10.
  • the tilt angle is limited depending on the type of rotation mechanism 16 to which the camera 10 is attached, so if the distance between the camera 10 and the steel towers 101a and 101b is short, the tilt angle required for imaging near the end point of the power transmission line is the rotation mechanism. 16, and a part of the power transmission line may not be able to be imaged.
  • the camera 10 shown in FIGS. 16 and 17 is in an imaging state when the tilt angle of the rotation mechanism 16 is adjusted to the upper limit angle.
  • the upper range that can be imaged by the camera 10 is an imaging range Y1
  • the imaging position of the camera 10 is at a distance X2 which is farther than the distance X1
  • the upper range that can be captured by the camera 10 is an imaging range Y2.
  • the imaging position of the camera 10 is at a distance X3
  • the upper range that can be imaged by the camera 10 is an imaging range Y3
  • the imaging position of the camera 10 is at a distance X4 which is farther than the distance X3.
  • the upper range that can be captured by the camera 10 is an imaging range Y4.
  • the camera 10 and its rotation mechanism 16 are rotated in order to be able to image the end point 114a of the power transmission line 103b, the end point 115a of the power transmission line 104a, and the end point 116a of the power transmission line 104b.
  • the installation position is moved to a distance X2, which is farther than the distance X1, as shown by arrow A.
  • the installation positions of the camera 10 and its rotation mechanism 16 are set as shown by arrow B. Move to distance X4, which is farther than distance X3.
  • FIG. 18 is a flowchart for calculating the imaging distance of the camera 10 for imaging the power transmission line.
  • the CPU 60A of the management device 11 starts the process shown in FIG. 18 when, for example, an imaging distance calculation button (not shown) for detecting the imaging position of the camera 10 is pressed.
  • the CPU 60A determines whether or not the end point of any of the power transmission lines can be imaged within the tilt angle of the camera 10 (Ste S71). For example, when imaging power transmission lines 142a, 142b, 143a, and 143b as shown in FIG. 17, it is difficult to image the entire power transmission line from one end to the other end. Determine whether a possible power transmission line exists.
  • step S71 if any end point of the power transmission line can be imaged within the tilt angle of the camera 10 (step S71: Yes), the CPU 60A selects a power transmission line whose end point can be imaged and a power transmission line whose end point cannot be imaged.
  • a shift amount between both power transmission lines is calculated (step S72). For example, in FIG. 17, when the imaging position of the camera 10 is at a distance X3, the end point 151b of the power transmission line 142a can be imaged within the tilt angle of the camera 10, but the end point 153b of the power transmission line 143a cannot be imaged. In that case, a point on the power transmission line 143a that can be imaged by the camera 10 whose imaging position is distance The amount of shift between the end points 151a corresponding to the end points 153a of the power transmission line 143a is calculated.
  • the CPU 60A calculates the height and distance of the end point that cannot be imaged by adding the shift amount calculated in step S72 to the end point of the power transmission line that can be imaged (step S73). For example, in FIG. 17, by adding the shift amount of the end point 153a of the power transmission line 143a with respect to the end point 151a of the power transmission line 142a to the end point 151b of the power transmission line 142a, the height of the end point 153b of the power transmission line 143a, which cannot be imaged, from the camera 10 is increased. and the distance from the camera 10.
  • step S73 the height and distance of the end point that cannot be imaged
  • step S74 it is calculated how far the camera 10 must be installed from the subject (the steel tower to which the power transmission line is connected) (step S74). For example, in FIG. 17, in order to enable the camera 10 to capture an image of the end point 153b of the power transmission line 143a, it is calculated how far the camera 10 should be installed from the steel tower 101b.
  • the CPU 60A calculates how far from the tower the current position where the camera 10 is installed is based on the end point of the power transmission line whose end point can be imaged in step S72 (step S75). For example, in FIG. 17, distance X3, which is the current imaging position of camera 10, is calculated based on end point 151b of power transmission line 142a that can be imaged.
  • the CPU 60A calculates the distance that the camera 10 should leave from the steel tower based on the distance calculated in step S74 and the distance calculated in step S75 (step S76). For example, in FIG. 17, the moving distance for moving the imaging position of the camera 10 from distance X3 to distance X4 is calculated.
  • the CPU 60A displays the distance that the camera 10 should move away from the steel tower calculated in step S76 on, for example, the display 13a to notify the operator (step S77).
  • step S71 if the end point of any power transmission line cannot be imaged within the tilt angle of the camera 10 (step S71: No), the CPU 60A moves the position directly below the end point of the power transmission line that cannot be imaged. from the user, and sets the pan angle of the end point (step S78).
  • step S78 it is impossible to image end points 151b, 152b, 153b, and 154b, which are one end point of power transmission lines 142a, 142b, 143a, and 143b, and the upper range that can be imaged by camera 10 is Assume that the imaging range is Y5.
  • the operator is asked to specify, for example, any position directly below the end point 153b of the power transmission line 143a within the range that can be captured by the camera 10.
  • this position is designated as a designated position 161 directly below.
  • the panning angle at the designated position 161 directly below is measured.
  • the CPU 60A calculates a curve passing through three points on the power transmission line other than the end points that can be imaged by the camera 10 on the power transmission line whose end points cannot be imaged, and combines the calculated curve with the transmission line set in step S78.
  • the height of the end point of the power transmission line is calculated based on the pan angle of the end point of the power line (step S79). For example, in FIG. 17, a curve is calculated in which the end point 153b is a point on the power transmission line 143a that cannot be imaged and passes through points 162, 163, and 164 on the line that can be imaged by the camera 10.
  • the height of the end point 153b of the power transmission line 143a is calculated based on the calculated curve and the pan angle of the end point 153b of the power transmission line 143a set by the pan angle of the specified position 161 directly below.
  • the CPU 60A changes the end point, which cannot currently be imaged, to the end point that can be imaged, based on the result calculated in step S79 (height of the endpoint that cannot be imaged) and the maximum tilt angle of the camera 10.
  • it is calculated how far the camera 10 must be installed from the subject (the steel tower to which the power transmission line is connected) (step S80). For example, in FIG. 17, in order to enable the camera 10 to capture an image of the end point 153b of the power transmission line 143a, it is calculated how far the camera 10 should be installed from the steel tower 101b.
  • the CPU 60A detects a point on the steel tower that is directly below the end point of the power transmission line that cannot be imaged and that can be imaged by the camera 10, and images the detected point on the steel tower and that point. Based on the tilt angle of the camera 10 for this purpose, it is calculated how far the current position where the camera 10 is installed is from the steel tower (step S81). For example, in FIG. 17, for example, a point 165 on the steel tower, which is a point located directly below the end point 153b of the power transmission line 143a and a point on the steel tower 101b that can be imaged by the camera 10, is detected. Based on the detected point 165 on the steel tower and the tilt angle of the camera 10 for imaging the point 165 on the steel tower, it is calculated how far the current imaging position of the camera 10 is from the steel tower.
  • the CPU 60A calculates the distance that the camera 10 should leave from the steel tower based on the distance calculated in step S80 and the distance calculated in step S81 (step S76). Then, the CPU 60A displays, for example, on the display 13a, the distance that the camera 10 should leave from the steel tower calculated in step S76, and notifies the operator (step S77). Thereby, the installation position of the camera 10 relative to the subject can be easily specified.
  • FIG. 19 is a diagram illustrating an example of an image obtained by zoom-capturing a plurality of positions at different imaging distances.
  • a power transmission line 170 is connected between the steel tower 101a and the steel tower 101b.
  • the camera 10 that images the power transmission line 170 is installed at a position closer to the steel tower 101b than the steel tower 101a. That is, the distance from the camera 10 to the steel tower 101b is shorter than the distance from the camera 10 to the steel tower 101a.
  • a plurality of different power transmission line positions 171, 172, 173 are selected as positions on the power transmission line 170, and images taken at the power transmission line positions 171, 172, 173 with the camera 10 adjusted to the telephoto end are telephoto images 171a, 172a. , 173a.
  • the power transmission line position 171 is a position close to the steel tower 101a
  • the power transmission line position 173 is a position close to the steel tower 101b. Therefore, the distance from the camera 10 is the shortest at the power transmission line position 173 and the longest at the power transmission line position 171.
  • the power transmission line positions 171, 172, and 173 are imaged with the camera 10 adjusted to the telephoto end, the power transmission line position 173 is close to the camera 10, so the telephoto image 173a may be enlarged more than necessary.
  • the image may be captured by changing the zoom amount of the zoom lens 15B2 (zooming out) to an angle of view that provides at least the resolution necessary for inspecting the power transmission line.
  • the image is taken by zooming out the zoom lens 15B2 (increasing the angle of view) until the changed angle of view 174 is reached that allows obtaining a telephoto image 174a with the same resolution as the telephoto image 172a of the power transmission line position 172. You may also do so.
  • the amount of zoom-out change may be, for example, up to the same level as the resolution of the position of the farthest power transmission line, or up to a preset resolution. As a result, it is possible to suppress an increase in the number of imaging points on the imaging path of the power transmission line 170, and it is possible to shorten the imaging time.
  • FIG. 20 is a diagram showing how a subject is being imaged with a camera. As shown in FIG. 20, when the camera 10 that images the power transmission line 180 is installed on one side of the power transmission line 180, the opposing outer periphery of the power transmission line 180 on the side facing the camera 10 181 is imaged by the camera 10, but the opposite outer peripheral portion 182 of the power transmission line 180 on the side not facing the camera 10 is not imaged.
  • the captured image of the opposing outer peripheral portion 181 is stored in the memory 60C or the secondary storage device 14 in association with information on the pan/tilt values of the camera 10.
  • FIG. 21 is an image of two power transmission lines arranged overlapping in the front-rear direction.
  • a plurality of captured images 191a to 191l of the power transmission line 191 obtained by dividing the image on the imaging path of the power transmission line 191 arranged on the side (front side) closer to the camera 10 with respect to the camera 10
  • a plurality of captured images 192a to 192l of the power transmission line 192 obtained by dividing the image on the imaging path of the power transmission line 192 located on the far side (rear side) from the camera 10 are displayed. ing.
  • a plurality of captured images 191a to 191l of the power transmission line 191 are displayed on the front layer (first layer), and a plurality of captured images 192a to 192l of the power transmission line 192 are displayed on the back layer (second layer). Further, the background portions (for example, the hatched portion 193a of the captured image 191a) of the plurality of captured images 191a to 191l of the power transmission line 191 displayed in the front layer are displayed transparently. In this way, when the two power transmission lines 191 and 192 are arranged so as to overlap when viewed from the camera 10, the power transmission line 191 that is closer to the camera 10 appears to be in front of the power transmission line 192 that is farther from the camera 10.
  • a composite image 194 is generated by combining the images as shown in FIG.
  • a composite image 194 can be generated such that the power transmission line 192 of the rear layer can be seen through the transparent background portion of the power transmission line 191. Further, it is possible to generate a composite image 194 in which the power transmission line 191 closer to the camera 10 and the power transmission line 192 farther from the camera 10 are respectively focused.
  • FIG. 22 is a diagram showing a composite image 194 of two power transmission lines arranged overlapping in the front-back direction.
  • the composite image 194 is the same as the composite image 194 shown in FIG. This is an image that is a composite of a plurality of captured images 192a to 192l obtained in this manner.
  • the captured images 191a to 191l of the power transmission line 191 and the captured images 192a to 192l of the power transmission line 192 are stored in the memory 60C or the secondary storage device 14 in association with position information on the composite image 194.
  • the power transmission line that is closer to the clicked position out of the power transmission lines 191 and 192 is selected. Then, in the selected power transmission line, a captured image including the clicked position is specified.
  • the power transmission line 191 is selected and, for example, a captured image 191g among the captured images 191a to 191l of the power transmission line 191 including the clicked position of the cursor 201 is specified.
  • the identified captured image 191g is read out from the memory 60C and enlarged and displayed on the display 13a.
  • the composite image 194 in which multiple objects (power transmission lines 191, 192, etc.) are displayed it is possible to easily display a predetermined captured image of an arbitrary power transmission line, and usability can be improved. .
  • FIG. 23 is a diagram showing how a power transmission line is imaged by cameras 10a and 10b installed at two locations.
  • a power transmission line 211 straddles an elevated structure such as an expressway 210, one side becomes a blind spot and the camera 10a installed on one side cannot image the entire power transmission line 211.
  • the range that can be captured by the camera 10a is the angle of view ⁇ a.
  • the imaging range of the camera 10b is the angle of view ⁇ b.
  • the image information captured by the camera 10b is stored in the memory 60C or the secondary storage device 14 as information of the camera 10b regarding the power transmission line 211.
  • the imaging information includes, for example, information on the installation locations of the cameras 10a and 10b, the equation of the curve of the power transmission line 211, pan/tilt values, zoom values, focus positions, and the like. In this way, by storing the image information of the power transmission line 211 imaged by each camera in association with the power transmission line 211, it is possible to efficiently manage mutual image information without duplication.
  • FIG. 24 is a diagram showing an example of a mode in which an information processing program for management control is installed in the control device 60 of the management device 11 from a storage medium in which the information processing program is stored.
  • an information processing program 221 may be stored in a storage medium 220 that is a non-temporary storage medium.
  • the information processing program 221 stored in the storage medium 220 is installed in the control device 60, and the CPU 60A executes each of the above-described processes according to the information processing program 221.
  • Imaging system 10 10a, 10b Camera 11 Management device 12 Communication line 13a, 43B Display 13b Keyboard 13c Mouse 14 Secondary storage device 15 Optical system 15B Lens group 15B1 Anti-vibration lens 15B2 Zoom lens 16 Swivel mechanism 17, 21 Lens actuator 19 Computer 22 BIS driver 23 OIS driver 25 Image sensor 25A Light receiving surface 27 Image sensor actuator 28 Lens driver 29, 45 Correction mechanism 31 DSP 32 Image memory 33 Correction section 34, 66 to 68, 79, 80 Communication I/F 35,60C Memory 36,60B Storage 37,60A CPU 38, 70 Bus 39, 47 Position sensor 40 Shake amount detection sensor 43 UI device 43A, 62 Reception device 60 Control device 71 Yaw axis rotation mechanism 72 Pitch axis rotation mechanism 73, 74 Motor 75, 76 Driver 101a, 101b Steel tower 102, 102a, 102b, 102n, 103a, 103b, 104a, 104b, 132a, 132b, 142a, 142b, 143a, 143b, 1

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

被写体の分割撮像を効率よく行うことが可能な制御装置、撮像システム、制御方法、及び制御プログラムを提供する。 制御装置(60)は、カメラ(10)と、カメラ(10)の撮像方向を変更可能な旋回機構(16)と、を制御するCPU6(0A)を備える。CPU6(0A)は、第1被写体である送電線(1(0)2a)の離散的な位置(1(1)1a)~(1(1)1d)における撮像情報と、送電線(1(0)2a)に関する被写体情報と、に基づいて送電線(1(0)2a)の撮像経路である第1撮像経路を設定し、第1撮像経路に基づいて送電線(1(0)2a)の撮像を制御する。

Description

制御装置、撮像システム、制御方法、及び制御プログラム
 本発明は、制御装置、撮像システム、制御方法、及び制御プログラムに関する。
 特許文献1には、望遠鏡及びビデオカメラ装置と雲台機構とを備え、望遠鏡及びビデオカメラ装置が雲台機構にヨー(水平)方向及びチルト(上下)方向に回動可能に支承され、雲台機構がヨー方向駆動部及びチルト方向駆動部を有する構成の架空線撮像装置が記載されている。
 特許文献2には、高架電線を撮像カメラで分割撮像するとともに、高架電線のフレームアウトや焦点ズレが生じた場合には撮像が失敗したと判定し、撮像が失敗した箇所の再撮像を行うように構成された無人飛行機が記載されている。
 特許文献3には、撮像部によって周辺の風景画像を撮像した後、風景画像に基づいて2本の鉄塔の間に懸垂された電線のカテナリー曲線を算出し、カテナリー曲線に沿って飛行経路を決定し、電線の破損や劣化等によるコロナ放電の程度を検出する構成の無人飛行体が記載されている。
 特許文献4には、ドローン等によって、隣り合う一対の鉄塔間に架設された送電線に関する点群のデータを取得し、最小二乗平面を算出し、最小二乗平面への点群の平行投影を行い、平行投影された点群の直交座標系への回転が行われ、最後に、回転後の点群に適合する架空送電線の懸垂曲線(カテナリー曲線)の算定を行う電線形状の再現方法が記載されている。
日本国実用新案登録第3220181号公報 日本国特開2020-191523号公報 日本国特開2017-077080号公報 日本国特開2019-144153号公報
 本開示の技術に係る1つの実施形態は、被写体の分割撮像を効率よく行うことが可能な制御装置、撮像システム、制御方法、及び制御プログラムを提供する。
(1)
 撮像装置と、上記撮像装置の撮像方向を変更可能な撮像方向変更装置と、を制御するプロセッサを備える制御装置であって、
 上記プロセッサは、
 第1被写体の離散的な位置における撮像情報と、上記第1被写体に関する被写体情報と、に基づいて上記第1被写体の撮像経路である第1撮像経路を設定し、
 上記第1撮像経路に基づいて上記第1被写体の撮像を制御する、
 制御装置。
(2)
 (1)に記載の制御装置であって、
 上記被写体情報は、上記第1被写体の2次元平面における形状である、
 制御装置。
(3)
 (1)に記載の制御装置であって、
 上記撮像情報は、上記離散的な位置を撮像するための上記撮像装置の画角に基づく制御値である、
 制御装置。
(4)
 (3)に記載の制御装置であって、
 上記撮像情報は、上記離散的な位置を撮像するための上記撮像方向変更装置の制御値を含む、
 制御装置。
(5)
 (3)に記載の制御装置であって、
 上記撮像情報は、上記離散的な位置を撮像するための上記第1被写体と上記撮像装置との距離を含む、
 制御装置。
(6)
 (3)から(5)のいずれか1項に記載の制御装置であって、
 上記撮像情報は、上記離散的な位置を撮像するための上記撮像装置のフォーカス位置を含む、
 制御装置。
(7)
 (6)に記載の制御装置であって、
 上記撮像装置は、ズームレンズを備え、
 上記プロセッサは、上記ズームレンズを望遠領域とした状態で上記撮像装置に測距を実行させることにより上記撮像装置のフォーカス位置を取得する、
 制御装置。
(8)
 (1)から(7)のいずれか1項に記載の制御装置であって、
 上記第1撮像経路は、上記第1被写体を分割して撮像するための制御値を含む、
 制御装置。
(9)
 (1)から(8)のいずれか1項に記載の制御装置であって、
 上記離散的な位置は、上記第1被写体における複数の点のうち隣合う3点と、上記複数の点のうち端の2点及び上記2点と異なる1点と、の少なくともいずれかを含む、
 制御装置。
(10)
 (9)に記載の制御装置であって、
 上記端の2点は、上記第1被写体の端領域に位置する、
 制御装置。
(11)
 (1)から(10)のいずれか1項に記載の制御装置であって、
 上記離散的な位置は、上記第1被写体を撮像して得られた画像の解析結果に基づいて算出される、
 制御装置。
(12)
 (1)から(11)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、
 上記第1被写体の第1位置と第2被写体の第2位置との差分情報を取得し、
 上記第1撮像経路と上記差分情報に基づいて上記第2被写体の撮像経路である第2撮像経路を設定し、
 上記第2撮像経路に基づいて上記第2被写体の撮像を制御する、
 制御装置。
(13)
 (12)に記載の制御装置であって、
 上記第1位置は、上記第1被写体における上記撮像装置に近い領域の位置であり、
 上記第2位置は、上記第2被写体における上記撮像装置に近い領域の位置である、
 制御装置。
(14)
 (12)又は(13)に記載の制御装置であって、
 上記第1被写体は、上記第2被写体よりも上記撮像装置に近い被写体である、
 制御装置。
(15)
 (12)から(14)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、
 上記第2撮像経路での撮像が上記撮像方向変更装置の可動範囲内で不可であると判定した場合、上記第2撮像経路での撮像が上記撮像方向変更装置の可動範囲内で可能となる上記撮像方向変更装置の設置位置を計算し、
 上記設置位置を出力する、
 制御装置。
(16)
 (12)から(15)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、
 上記撮像装置により上記第1撮像経路で撮像して得られた上記第1被写体の複数の撮像画像と、上記撮像装置により上記第2撮像経路で撮像して得られた上記第2被写体の複数の撮像画像と、を合成した合成画像を生成して上記合成画像を表示装置に出力し、
 上記第1被写体と上記撮像装置との距離情報と、上記第2被写体と上記撮像装置との距離情報と、に基づいて、上記第1被写体及び上記第2被写体のうち上記撮像装置に近い方の被写体が、上記第1被写体及び上記第2被写体のうち上記撮像装置から遠い方の被写体より手前に見える上記合成画像を生成する、
 制御装置。
(17)
 (1)から(16)のいずれか1項に記載の制御装置であって、
 上記撮像装置は、ズームレンズを備え、
 上記第1撮像経路は、撮像距離の情報を含み、
 上記プロセッサは、上記第1撮像経路に基づく上記第1被写体の撮像の制御において、上記撮像距離に応じて上記ズームレンズのズーム量を変更する、
 制御装置。
(18)
 (17)に記載の制御装置であって、
 上記ズーム量は、設定された解像度に応じた量である、
 制御装置。
(19)
 (1)から(18)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、上記第1撮像経路に基づく上記第1被写体の撮像角度に関する情報を上記第1被写体と対応付けて記憶装置に記憶させる、
 制御装置。
(20)
 (1)から(19)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、
 上記撮像装置により上記第1撮像経路で撮像して得られた各撮像画像を合成した合成画像を生成して上記合成画像を表示装置に出力し、
 上記合成画像における位置の指定を受け付け、
 上記各撮像画像のうち、指定を受け付けた位置に対応する撮像画像を表示装置に出力する、
 制御装置。
(21)
 (1)から(20)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、
 上記撮像装置が異なる地点に設置された状態で制御した上記第1被写体の複数回の撮像に関する情報を上記第1被写体と対応付けて記憶装置に記憶させる、
 制御装置。
(22)
 (1)から(21)のいずれか1項に記載の制御装置であって、
 上記第1被写体は、設定された画角内に全体が収まらない線状の構造物である、
 制御装置。
(23)
 撮像装置と、
 上記撮像装置の撮像方向を変更可能な撮像方向変更装置と、
 上記撮像装置及び上記撮像方向変更装置を制御する制御装置と、を含み、
 上記制御装置が備えるプロセッサは、
 第1被写体の離散的な位置における撮像情報と、上記第1被写体に関する被写体情報と、に基づいて上記第1被写体の撮像経路である第1撮像経路を設定し、
 上記第1撮像経路に基づいて上記第1被写体の撮像を制御する、
 撮像システム。
(24)
 撮像装置と、上記撮像装置の撮像方向を変更可能な撮像方向変更装置と、を制御する制御装置による制御方法であって、
 上記制御装置のプロセッサが、
 第1被写体の離散的な位置における撮像情報と、上記第1被写体に関する被写体情報と、に基づいて上記第1被写体の撮像経路である第1撮像経路を設定し、
 上記第1撮像経路に基づいて上記第1被写体の撮像を制御する、
 制御方法。
(25)
 撮像装置と、上記撮像装置の撮像方向を変更可能な撮像方向変更装置と、を制御する制御装置の制御プログラムであって、
 上記制御装置のプロセッサに、
 第1被写体の離散的な位置における撮像情報と、上記第1被写体に関する被写体情報と、に基づいて上記第1被写体の撮像経路である第1撮像経路を設定し、
 上記第1撮像経路に基づいて上記第1被写体の撮像を制御する、
 処理を実行させるための制御プログラム。
 本発明によれば、被写体の分割撮像を効率よく行うことが可能な制御装置、撮像システム、制御方法、及び制御プログラムを提供することができる。
本実施形態の制御装置60を搭載した撮像システム1の一例を示す図である。 旋回機構16によるカメラ10のピッチ方向における旋回の一例を示す図である。 旋回機構16によるカメラ10のヨー方向における旋回の一例を示す図である。 カメラ10の光学系及び電気系の構成の一例を示すブロック図である。 旋回機構16及び管理装置11の電気系の構成の一例を示す図である。 鉄塔101a,101b間に接続されている送電線102をカメラ10で点検する場合を示す図である。 CPU60Aによる撮像処理の一例を示すフローチャートである。 作業者によって設定された補助情報に基づいて実行される1本目の送電線の自動撮像の一例を示すフローチャートである。 作業者によって設定された補助情報に基づいて実行される1本目の送電線の自動撮像の別の一例を示すフローチャートである。 画像解析によって設定された補助情報に基づいて実行される1本目の送電線の自動撮像の一例を示すフローチャートである。 作業者によって設定された補助情報に基づいて実行される2本目以降の送電線の自動撮像の一例を示すフローチャートである。 画像解析によって設定された補助情報に基づいて実行される2本目以降の送電線の自動撮像の一例を示すフローチャートである。 2本目以降の送電線を自動撮像する際に指定される送電線の端部を示す図である。 鉄塔101aと101bの間に接続されている送電線132a,132bと、それらを撮像するカメラ10とを上方から見た図である。 図14に示す鉄塔101a,101b及び送電線132a,132bをカメラ10側から見た図である。 鉄塔101a及び送電線102a,102b,103a,103b,104a,104bを撮像するカメラ10をカメラ10の横方向から見た図である。 鉄塔101a,101b及び送電線142a,142b,143a,143bを撮像するカメラ10をカメラ10の後方から見た図である。 送電線を撮像するためのカメラ10の撮像距離を算出するフローチャートである。 撮像距離が相違する複数の位置をズーム撮像した画像の一例を示す図である。 カメラで被写体を撮像している様子を示す図である。 前後方向に重なって配置されている2本の送電線を撮像した図である。 前後方向に重なって配置されている2本の送電線の合成画像194を示す図である。 2箇所に設置されたカメラ10a,10bによって送電線を撮像している様子を示す図である。 管理制御用の情報処理プログラムが記憶された記憶媒体から、情報処理プログラムが管理装置11の制御装置60にインストールされる態様の一例を示す図である。
 以下、本発明の実施形態の一例について、図面を参照して説明する。
<実施形態の撮像システム>
 図1は、本実施形態の制御装置を搭載した撮像システム1の一例を示す図である。一例として図1に示すように、撮像システム1は、カメラ10と、管理装置11と、を含む。カメラ10は、本発明における撮像装置の一例である。
 カメラ10は、生活や産業活動の基盤となっている施設(インフラストラクチャー)の点検を行うためのカメラである。カメラ10は、線状の構造物、例えば送電線などの点検を行う。また、カメラ10は、例えば、人工造林の木(一定の間隔で配列され形状の予測が可能な木)などの点検を行ってもよい。カメラ10には、望遠撮像が可能なカメラ、超高解像度のカメラ等が使用される。また、カメラ10には広角カメラが使用されてもよい。カメラ10は、後述する旋回機構16を介して設置され、被写体である撮像対象を撮像する。カメラ10は、撮像により得られた撮像画像と、その撮像に関する撮像情報を、通信ライン12を介して管理装置11に送信する。
 管理装置11は、ディスプレイ13a、キーボード13b、マウス13c、及び二次記憶装置14を備えている。ディスプレイ13aとしては、例えば、液晶ディスプレイ、プラズマディスプレイ、有機EL(Electro-Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等が挙げられる。ディスプレイ13aは、本発明の表示装置の一例である。
 二次記憶装置14の一例としては、HDD(Hard Disk Drive)が挙げられる。二次記憶装置14は、HDDに限らず、フラッシュメモリ、SSD(Solid State Drive)、又はEEPROM(Electrically Erasable and Programmable Read Only Memory)などの不揮発性のメモリであればよい。
 管理装置11は、カメラ10から送信される撮像画像や撮像情報を受信し、受信した撮像画像や撮像情報を、ディスプレイ13aに表示したり、二次記憶装置14に記憶したりする。
 管理装置11は、カメラ10による撮像を制御する撮像制御を行う。例えば、管理装置11は、通信ライン12を介してカメラ10と通信を行うことにより撮像制御を行う。撮像制御は、カメラ10が撮像を行うための撮像パラメータをカメラ10に設定し、カメラ10に撮像を実行させる制御である。撮像パラメータには、露出に関するパラメータやズーム位置のパラメータなどが含まれる。
 また、管理装置11は、旋回機構16を制御して、カメラ10の撮像方向の制御(パンやチルト)を行う。例えば、管理装置11は、キーボード13bやマウス13cの操作、あるいはディスプレイ13aの画面上をタッチ操作に応じて、カメラ10の旋回方向、旋回量、旋回速度等を設定する。
<旋回機構16によるカメラ10の旋回>
 図2は、旋回機構16によるカメラ10のピッチ方向の旋回の一例を示す図である。図3は、旋回機構16によるカメラ10のヨー方向の旋回の一例を示す図である。旋回機構16には、カメラ10が取り付けられる。旋回機構16は、カメラ10を旋回させることでカメラ10の撮像方向を変更可能である。旋回機構16は、本発明における撮像方向変更装置の一例である。
 具体的には、一例として図2に示すように、旋回機構16は、ヨー方向と交差しピッチ軸PAを中心軸とした旋回方向(ピッチ方向)と、一例として図3に示すように、ヨー軸YAを中心軸とした旋回方向(ヨー方向)と、にカメラ10を旋回可能な2軸旋回機構である。なお、本実施形態に係る旋回機構16では、2軸旋回機構である例を示したが、本開示の技術はこれに限定されず、3軸旋回機構であってもよいし、1軸旋回機構であってもよい。
<カメラ10の光学系及び電気系の構成>
 図4は、カメラ10の光学系及び電気系の構成の一例を示すブロック図である。一例として図4に示すように、カメラ10は、光学系15及び撮像素子25を備えている。撮像素子25は、光学系15の後段に位置している。光学系15は、対物レンズ15A及びレンズ群15Bを備えている。対物レンズ15A及びレンズ群15Bは、対象被写体側(物体側)から撮像素子25の受光面25A側(像側)にかけて、光学系15の光軸OAに沿って、対物レンズ15A及びレンズ群15Bの順に配置されている。レンズ群15Bには、防振レンズ15B1、フォーカスレンズ(不図示)及びズームレンズ15B2等が含まれている。ズームレンズ15B2は後述するレンズアクチュエータ21によって、光軸OAに沿って移動可能に支持されている。防振レンズ15B1は、後述するレンズアクチュエータ17によって、光軸OAと直交する方向に移動可能に支持されている。
 ズームレンズ15B2により焦点距離を長くすることで、カメラ10は望遠側となるので、画角は小さくなる(撮像範囲は狭くなる)。ズームレンズ15B2により焦点距離を短くすることで広角側となるので、画角は大きくなる(撮像範囲は広くなる)。
 なお、光学系15としては、対物レンズ15A及びレンズ群15B以外にも不図示の各種レンズを備えていてもよい。さらに、光学系15は、絞りを備えていてもよい。光学系15に含まれるレンズ、レンズ群及び絞りの位置は限定されず、例えば、図4に示す位置と異なる位置であっても、本開示の技術は成立する。
 防振レンズ15B1は、光軸OAに対して垂直な方向に移動可能であり、ズームレンズ15B2は、光軸OAに沿って移動可能である。
 光学系15は、レンズアクチュエータ17,21を備えている。レンズアクチュエータ17は、防振レンズ15B1に対し、防振レンズ15B1の光軸に対して垂直方向に変動する力を作用させる。レンズアクチュエータ17は、OIS(Optical Image Stabilizer)ドライバ23により制御される。レンズアクチュエータ17がOISドライバ23の制御下で駆動することで、防振レンズ15B1の位置が光軸OAに対して垂直な方向に変動する。
 レンズアクチュエータ21は、ズームレンズ15B2に、光学系15の光軸OAに沿って移動するための力を作用させる。レンズアクチュエータ21は、レンズドライバ28により制御される。レンズアクチュエータ21がレンズドライバ28の制御下で駆動することで、ズームレンズ15B2の位置が光軸OAに沿って移動する。ズームレンズ15B2の位置が光軸OAに沿って移動することでカメラ10の焦点距離が変化する。
 なお、撮像画像の輪郭が、例えばピッチ軸PA方向に短辺を有し、かつ、ヨー軸YA方向に長辺を有する長方形の場合は、ピッチ軸PA方向での画角が、ヨー軸YA方向での画角よりも狭く、かつ、対角線の画角よりも狭い。
 このように構成された光学系15によって、撮像対象領域を示す光は、撮像素子25の受光面25Aに結像され、撮像素子25によって撮像対象領域が撮像される。
 ところで、カメラ10に与えられる振動には、屋外であれば、自動車の通行による振動、風による振動、及び道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、及び人の出入りによる振動等がある。そのため、カメラ10では、カメラ10に与えられた振動(以下、単に「振動」とも称する)に起因して振れが生じる。
 なお、本実施形態において、「振れ」とは、カメラ10において、撮像素子25の受光面25Aでの対象被写体画像が、光軸OAと受光面25Aとの位置関係が変化することで変動する現象を指す。換言すると、「振れ」とは、カメラ10に与えられた振動に起因して光軸OAが傾くことによって、受光面25Aに結像されることで得られた光学像が変動する現象とも言える。光軸OAの変動とは、例えば、基準軸(例えば、振れが発生する前の光軸OA)に対して光軸OAが傾くことを意味する。以下では、振動に起因して生じる振れを、単に「振れ」とも称する。
 振れは、撮像画像にノイズ成分として含まれ、撮像画像の画質に影響を与える。そこで、振れに起因して撮像画像内に含まれるノイズ成分を除去するために、カメラ10は、レンズ側振れ補正機構29、撮像素子側振れ補正機構45及び電子式振れ補正部33を備えており、振れの補正に供される。
 レンズ側振れ補正機構29及び撮像素子側振れ補正機構45は、機械式振れ補正機構である。機械式振れ補正機構は、モータ(例えば、ボイスコイルモータ)等の駆動源によって生成された動力を振れ補正素子(例えば、防振レンズ15B1及び/又は撮像素子25)に付与することで振れ補正素子を撮像光学系の光軸に対して垂直な方向に移動させ、これによって振れを補正する機構である。
 具体的には、レンズ側振れ補正機構29は、モータ(例えば、ボイスコイルモータ)等の駆動源によって生成された動力を防振レンズ15B1に付与することで防振レンズ15B1を撮像光学系の光軸に対して垂直な方向に移動させ、これによって振れを補正する機構である。撮像素子側振れ補正機構45は、モータ(例えば、ボイスコイルモータ)等の駆動源によって生成された動力を撮像素子25に付与することで撮像素子25を撮像光学系の光軸に対して垂直な方向に移動させ、これによって振れを補正する機構である。電子式振れ補正部33は、振れ量に基づいて撮像画像に対して画像処理を施すことで振れを補正する。つまり、振れ補正部(振れ補正コンポーネント)は、ハードウェア構成及び/又はソフトウェア構成で機械的又は電子的に振れの補正を行う。ここで、機械的な振れの補正とは、モータ(例えば、ボイスコイルモータ)等の駆動源によって生成された動力を用いて防振レンズ15B1及び/又は撮像素子25等の振れ補正素子を機械的に動かすことにより実現される振れの補正を指し、電子的な振れの補正とは、例えば、プロセッサによって画像処理が行われることで実現される振れの補正を指す。
 一例として図4に示すように、レンズ側振れ補正機構29は、防振レンズ15B1、レンズアクチュエータ17、OISドライバ23、及び位置センサ39を備えている。
 レンズ側振れ補正機構29による振れの補正方法としては、周知の種々の方法を採用することができる。本実施形態では、振れの補正方法として、振れ量検出センサ40(後述)によって検出された振れ量に基づいて防振レンズ15B1を移動させることで振れを補正する方法が採用されている。具体的には、振れを打ち消す方向に、振れを打ち消す量だけ防振レンズ15B1を移動させることで振れの補正が行われるようにしている。
 防振レンズ15B1にはレンズアクチュエータ17が取り付けられている。レンズアクチュエータ17は、ボイスコイルモータが搭載されたシフト機構であり、ボイスコイルモータを駆動させることで防振レンズ15B1を、防振レンズ15B1の光軸に対して垂直な方向に変動させる。なお、ここでは、レンズアクチュエータ17としては、ボイスコイルモータが搭載されたシフト機構が採用されているが、本開示の技術はこれに限定されず、ボイスコイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。
 レンズアクチュエータ17は、OISドライバ23により制御される。レンズアクチュエータ17がOISドライバ23の制御下で駆動することで、防振レンズ15B1の位置が光軸OAに対して垂直な二次元平面内で機械的に変動する。
 位置センサ39は、防振レンズ15B1の現在位置を検出し、検出した現在位置を示す位置信号を出力する。ここでは、位置センサ39の一例として、ホール素子を含むデバイスが採用されている。ここで、防振レンズ15B1の現在位置とは、防振レンズ二次元平面内の現在位置を指す。防振レンズ二次元平面とは、防振レンズ15B1の光軸に対して垂直な二次元平面を指す。なお、本実施形態では、位置センサ39の一例として、ホール素子を含むデバイスが採用されているが、本開示の技術はこれに限定されず、ホール素子に代えて、磁気センサ又はフォトセンサなどを採用してもよい。
 レンズ側振れ補正機構29は、実際に撮像される範囲を、ピッチ軸PA方向及びヨー軸YA方向のうちの少なくとも一方に沿って防振レンズ15B1を移動させることで振れを補正する。つまり、レンズ側振れ補正機構29は、防振レンズ二次元平面内において防振レンズ15B1を振れ量に応じた移動量で移動させることで振れを補正する。
 撮像素子側振れ補正機構45は、撮像素子25、BIS(Body Image Stabilizer)ドライバ22、撮像素子アクチュエータ27、及び位置センサ47を備えている。
 レンズ側振れ補正機構29による振れの補正方法と同様に、撮像素子側振れ補正機構45による振れの補正方法も、周知の種々の方法を採用することができる。本実施形態では、振れの補正方法として、振れ量検出センサ40によって検出された振れ量に基づいて撮像素子25を移動させることで振れを補正する方法が採用されている。具体的には、振れを打ち消す方向に、振れを打ち消す量だけ撮像素子25を移動させることで振れの補正が行われるようにしている。
 撮像素子25には撮像素子アクチュエータ27が取り付けられている。撮像素子アクチュエータ27は、ボイスコイルモータが搭載されたシフト機構であり、ボイスコイルモータを駆動させることで撮像素子25を、防振レンズ15B1の光軸に対して垂直方向に変動させる。なお、ここでは、撮像素子アクチュエータ27としては、ボイスコイルモータが搭載されたシフト機構が採用されているが、本開示の技術はこれに限定されず、ボイスコイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。
 撮像素子アクチュエータ27は、BISドライバ22により制御される。撮像素子アクチュエータ27がBISドライバ22の制御下で駆動することで、撮像素子25の位置が光軸OAに対して垂直な方向に機械的に変動する。
 位置センサ47は、撮像素子25の現在位置を検出し、検出した現在位置を示す位置信号を出力する。ここでは、位置センサ47の一例として、ホール素子を含むデバイスが採用されている。ここで、撮像素子25の現在位置とは、撮像素子二次元平面内の現在位置を指す。撮像素子二次元平面とは、防振レンズ15B1の光軸に対して垂直な二次元平面を指す。なお、本実施形態では、位置センサ47の一例として、ホール素子を含むデバイスが採用されているが、本開示の技術はこれに限定されず、ホール素子に代えて、磁気センサ又はフォトセンサなどを採用してもよい。
 カメラ10は、コンピュータ19、DSP(Digital Signal Processor)31、画像メモリ32、電子式振れ補正部33、通信I/F34、振れ量検出センサ40、及びUI(User Interface)系デバイス43を備えている。コンピュータ19は、メモリ35、ストレージ36、及びCPU(Central Processing Unit)37を備えている。
 撮像素子25、DSP31、画像メモリ32、電子式振れ補正部33、通信I/F34、メモリ35、ストレージ36、CPU37、振れ量検出センサ40、及びUI系デバイス43は、バス38に接続されている。また、OISドライバ23もバス38に接続されている。なお、図4に示す例では、図示の都合上、バス38として1本のバスが図示されているが、複数本のバスであってもよい。バス38は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等のパラレルバスであってもよい。
 メモリ35は、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ35の一例としては、RAM(Random Access Memory)が挙げられるが、これに限らず、他の種類の記憶装置であってもよい。ストレージ36には、カメラ10用の各種プログラムが記憶されている。CPU37は、ストレージ36から各種プログラムを読み出し、読み出した各種プログラムをメモリ35上で実行することで、カメラ10の全体を制御する。ストレージ36としては、例えば、フラッシュメモリ、SSD、EEPROM、又はHDD等が挙げられる。また、例えば、フラッシュメモリに代えて、あるいはフラッシュメモリと併用して、磁気抵抗メモリ、強誘電体メモリ等の各種の不揮発性メモリを用いてもよい。
 撮像素子25は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子25は、CPU37の指示の下、既定のフレームレートで対象被写体を撮像する。ここで言う「既定のフレームレート」とは、例えば、数十フレーム/秒から数百フレーム/秒を指す。なお、撮像素子25そのものにも制御装置(撮像素子制御装置)が内蔵されていてもよく、その場合はCPU37が出力する撮像指示に応じて撮像素子25内部の詳細な制御を撮像素子制御装置が行う。また、撮像素子25が、DSP31の指示の下に既定のフレームレートで対象被写体を撮像してもよく、この場合は、DSP31が出力する撮像指示に応じて撮像素子25内部の詳細な制御を撮像素子制御装置が行う。なお、DSP31はISP(Image Signal Processor)と呼ばれることもある。
 撮像素子25の受光面25Aは、マトリクス状に配置された複数の感光画素(図示省略)によって形成されている。撮像素子25では、各感光画素が露光され、感光画素毎に光電変換が行われる。感光画素毎に光電変換が行われることで得られた電荷は、対象被写体を示すアナログの撮像信号である。ここでは、複数の感光画素として、可視光に感度を有する複数の光電変換素子(一例として、カラーフィルタが配置された光電変換素子)が採用されている。撮像素子25において、複数の光電変換素子としては、R(赤)の光に感度を有する光電変換素子(例えば、Rに対応するRフィルタが配置された光電変換素子)、G(緑)の光に感度を有する光電変換素子(例えば、Gに対応するGフィルタが配置された光電変換素子)、及びB(青)の光に感度を有する光電変換素子(例えば、Bに対応するBフィルタが配置された光電変換素子)が採用されている。カメラ10では、これらの感光画素を用いることによって、可視光(例えば、約700ナノメートル以下の短波長側の光)に基づく撮像が行われている。但し、本実施形態はこれに限定されず、赤外光(例えば、約700ナノメートルよりも長波長側の光)に基づく撮像が行われるようにしてもよい。この場合、複数の感光画素として、赤外光に感度を有する複数の光電変換素子を用いればよい。特に、SWIR(Short-wavelength infrared)についての撮像に対しては、例えば、InGaAsセンサ及び/又はタイプ2型量子井戸(T2SL;Simulation of Type-II Quantum Well)センサ等を用いればよい。
 撮像素子25は、アナログの撮像信号に対してA/D(Analog/Digital)変換等の信号処理を行い、デジタルの撮像信号であるデジタル画像を生成する。撮像素子25は、バス38を介してDSP31に接続されており、生成したデジタル画像を、バス38を介してフレーム単位でDSP31に出力する。
 なお、ここでは、撮像素子25の一例としてCMOSイメージセンサを挙げて説明しているが、本開示の技術はこれに限定されず、撮像素子25としてCCD(Charge Coupled Device)イメージセンサを適用してもよい。この場合、撮像素子25はCCDドライバ内蔵の不図示のAFE(Analog Front End)を介してバス38に接続され、AFEは、撮像素子25によって得られたアナログの撮像信号に対してA/D変換等の信号処理を施すことでデジタル画像を生成し、生成したデジタル画像をDSP31に出力する。CCDイメージセンサはAFEに内蔵されたCCDドライバによって駆動される。もちろんCCDドライバは単独に設けられてもよい。
 DSP31は、デジタル画像に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、及び色補正処理等を指す。DSP31は、1フレーム毎に、デジタル信号処理後のデジタル画像を画像メモリ32に出力する。画像メモリ32は、DSP31からのデジタル画像を記憶する。
 振れ量検出センサ40は、例えば、ジャイロセンサを含むデバイスであり、カメラ10の振れ量を検出する。換言すると、振れ量検出センサ40は、一対の軸方向の各々について振れ量を検出する。ジャイロセンサは、ピッチ軸PA、ヨー軸YA、及びロール軸RA(光軸OAに平行な軸)の各軸(図1参照)周りの回転振れの量を検出する。振れ量検出センサ40は、ジャイロセンサによって検出されたピッチ軸PA周りの回転振れの量及びヨー軸YA周りの回転振れの量をピッチ軸PA及びヨー軸YAに平行な2次元状の面内での振れ量に変換することで、カメラ10の振れ量を検出する。
 ここでは、振れ量検出センサ40の一例としてジャイロセンサを挙げているが、これはあくまでも一例であり、振れ量検出センサ40は、加速度センサであってもよい。加速度センサは、ピッチ軸PAとヨー軸YAに平行な2次元状の面内での振れ量を検出する。振れ量検出センサ40は、検出した振れ量をCPU37に出力する。
 また、ここでは、振れ量検出センサ40という物理的なセンサによって振れ量が検出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、画像メモリ32に記憶された時系列的に前後する撮像画像を比較することで得た動きベクトルを振れ量として用いてもよい。また、物理的なセンサによって検出された振れ量と、画像処理によって得られた動きベクトルとに基づいて最終的に使用される振れ量が導出されるようにしてもよい。
 CPU37は、振れ量検出センサ40によって検出された振れ量を取得し、取得した振れ量に基づいてレンズ側振れ補正機構29、撮像素子側振れ補正機構45及び電子式振れ補正部33を制御する。振れ量検出センサ40によって検出された振れ量は、レンズ側振れ補正機構29及び電子式振れ補正部33の各々による振れの補正に用いられる。
 電子式振れ補正部33は、ASIC(Application Specific Integrated Circuit)を含むデバイスである。電子式振れ補正部33は、振れ量検出センサ40によって検出された振れ量に基づいて、画像メモリ32内の撮像画像に対して画像処理を施すことで振れを補正する。
 なお、ここでは、電子式振れ補正部33として、ASICを含むデバイスを例示しているが、本開示の技術はこれに限定されるものではなく、例えば、FPGA(Field Programmable Gate Array)又はPLD(Programmable Logic Device)を含むデバイスであってもよい。また、例えば、電子式振れ補正部33は、ASIC、FPGA、及びPLDのうちの複数を含むデバイスであってもよい。また、電子式振れ補正部33として、CPU、ストレージ、及びメモリを含むコンピュータが採用されてもよい。CPUは、単数であってもよいし、複数であってもよい。また、電子式振れ補正部33は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
 通信I/F34は、例えば、ネットワークインタフェースであり、ネットワークを介して、管理装置11との間で各種情報の伝送制御を行う。このネットワークは、例えばインターネット等のWAN(Wide Area Network)や、LAN(Local Area Network)などである。通信I/F34は、カメラ10と管理装置11との間の通信を行う。
 UI系デバイス43は、受付デバイス43A及びディスプレイ43Bを備えている。受付デバイス43Aは、例えば、ハードキー及びタッチパネル等であり、ユーザからの各種指示を受け付ける。CPU37は、受付デバイス43Aによって受け付けられた各種指示を取得し、取得した指示に従って動作する。
 ディスプレイ43Bは、CPU37の制御下で、各種情報を表示する。ディスプレイ43Bに表示される各種情報としては、例えば、受付デバイス43Aによって受け付けられた各種指示の内容、及び撮像画像等が挙げられる。
<旋回機構16及び管理装置11の電気系の構成>
 図5は、旋回機構16及び管理装置11の電気系の構成の一例を示す図である。一例として図5に示すように、旋回機構16は、ヨー軸旋回機構71、ピッチ軸旋回機構72、モータ73,74、ドライバ75,76、及び通信I/F79,80を備えている。
 ヨー軸旋回機構71は、カメラ10をヨー方向に旋回させる。モータ73は、ドライバ75の制御下で駆動することで動力を生成する。ヨー軸旋回機構71は、モータ73によって生成された動力を受けることでカメラ10をヨー方向に旋回させる。ピッチ軸旋回機構72は、カメラ10をピッチ方向に旋回させる。モータ74は、ドライバ76の制御下で駆動することで動力を生成する。ピッチ軸旋回機構72は、モータ74によって生成された動力を受けることでカメラ10をピッチ方向に旋回させる。
 通信I/F79,80は、例えば、ネットワークインタフェースであり、ネットワークを介して、管理装置11との間で各種情報の伝送制御を行う。このネットワークは、例えばインターネット等のWANやLANなどである。通信I/F79,80は、旋回機構16と管理装置11との間の通信を行う。
 一例として図5に示すように、管理装置11は、ディスプレイ13a、二次記憶装置14、制御装置60、受付デバイス62、及び通信I/F66,67,68を備えている。制御装置60は、CPU60A、ストレージ60B、及びメモリ60Cを備えている。CPU60Aは、本発明におけるプロセッサの一例である。メモリ60Cは、本発明における記憶装置の一例である。
 受付デバイス62、ディスプレイ13a、二次記憶装置14、CPU60A、ストレージ60B、メモリ60C、及び通信I/F66の各々は、バス70に接続されている。なお、図5に示す例では、図示の都合上、バス70として1本のバスが図示されているが、複数本のバスであってもよい。バス70は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
 メモリ60Cは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ60Cの一例としては、RAMが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。ストレージ60Bには、管理装置11用の各種プログラム(以下、単に「管理装置用プログラム」と称する)が記憶されている。
 CPU60Aは、ストレージ60Bから管理装置用プログラムを読み出し、読み出した管理装置用プログラムをメモリ60C上で実行することで、管理装置11の全体を制御する。管理装置用プログラムには、本発明における情報処理プログラムが含まれる。
 通信I/F66は、例えば、ネットワークインタフェースである。通信I/F66は、ネットワークを介して、カメラ10の通信I/F34に対して通信可能に接続されており、カメラ10との間で各種情報の伝送制御を行う。通信I/F67,68は、例えば、ネットワークインタフェースである。通信I/F67は、ネットワークを介して、旋回機構16の通信I/F79に対して通信可能に接続されており、ヨー軸旋回機構71との間で各種情報の伝送制御を行う。通信I/F68は、ネットワークを介して、旋回機構16の通信I/F80に対して通信可能に接続されており、ピッチ軸旋回機構72との間で各種情報の伝送制御を行う。
 CPU60Aは、通信I/F66及び通信I/F34を介して、カメラ10から撮像画像と撮像情報等を受信する。CPU60Aは、通信I/F66及び通信I/F34を介して、カメラ10による撮像対象の撮像動作を制御する。
 CPU60Aは、通信I/F67及び通信I/F79を介して、旋回機構16のドライバ75とモータ73を制御することで、ヨー軸旋回機構71の旋回動作を制御する。また、CPU60Aは、通信I/F68及び通信I/F80を介して、旋回機構16のドライバ76とモータ74を制御することで、ピッチ軸旋回機構72の旋回動作を制御する。
 CPU60Aは、カメラ10の撮像対象である第1被写体の離散的な位置における撮像情報と、第1被写体に関する被写体情報と、を取得する。第1被写体は、設定された画角内に被写体の全体が収まらない例えば線状の構造物である。第1被写体には、例えば、送電線、吊り橋の懸垂ケーブル、ロープウェイのケーブル、スキー場リフトのケーブル等が含まれる。
 第1被写体の離散的な位置とは、例えば、鉄塔間に接続されている送電線において選択された送電線上の複数の位置であり、互いに間隔を有する複数の位置のことである。具体的には、離散的な位置は、第1被写体の画像解析に基づいて自動的に抽出される複数の点のうち少なくとも隣合う3点のことである。離散的な位置は、第1被写体の画像解析で抽出された複数の点のうち、第1被写体の端領域に位置する2点及びその端の2点と異なる1点を合わせた3点のことであってもよい。離散的な位置は、第1被写体を撮像して得られた例えば広角画像の解析結果に基づいて算出される。なお、離散的な位置は、ユーザが指定した複数の点であってもよい。
 撮像情報には、離散的な位置を撮像するための、例えば、カメラ10の画角に基づく制御値が含まれる。また、撮像情報には、離散的な位置を撮像するための、例えば、旋回機構16の制御値が含まれる。旋回機構16の制御値とは、例えば、カメラ10の撮像方向を制御するためのパン・チルト値である。また、撮像情報には、離散的な位置を撮像するための、例えば、第1被写体とカメラ10との距離に基づく制御値が含まれる。また、撮像情報には、離散的な位置を撮像するための、例えば、カメラ10の制御値が含まれる。カメラ10の制御値とは、例えば、カメラ10のフォーカス位置である。フォーカス位置は、画像解析で取得する場合には、自動的に抽出される複数の位置(点)の画像における例えば被写体のピクセル数などに基づいて取得される。また、フォーカス位置は、ユーザが複数の位置(点)を指定する場合には、指定した位置にユーザがカメラの向きを合わせてオートフォーカスボタンを押すことで取得される。
 カメラ10のフォーカス位置は、ズームレンズ15B2を望遠領域とした状態で測距を行うことにより取得される。画像解析でフォーカス位置を取得する場合には、ズームレンズ15B2のズーム調整が自動的に望遠領域に調整される。ユーザがオートフォーカスボタンを押してフォーカス位置を取得する場合には、オートフォーカスボタンを押す前にズームレンズ15B2を望遠領域に調整するようにユーザに報知される。
 第1被写体に関する被写体情報とは、鉄塔間に接続されている送電線の懸垂線形状のことである。被写体情報は、第1被写体を撮像する画角の2次元平面における形状である。被写体情報は、予め与えられている情報であってもよいし、画像解析で判定した情報であってもよいし、ユーザによって設定される情報であってもよい。
 CPU60Aは、撮像情報と被写体情報に基づいて、第1被写体の撮像経路である第1撮像経路を設定する。CPU60Aは、設定した第1撮像経路に基づいて、カメラ10による第1被写体の撮像動作を制御する。第1撮像経路は、例えば、第1被写体を分割して撮像するための制御値を含む。分割して撮像するための制御値とは、旋回機構16によるカメラ10の撮像方向を制御するためのパン・チルト値と、カメラ10のフォーカス位置と、を複数セットにした制御値である。
 CPU60Aは、第1被写体の情報に基づいて、カメラ10の撮像対象である第2被写体の撮像動作を制御する。第2被写体は、例えば、第1被写体とは別の送電線である。具体的には、第2被写体は、鉄塔間に接続されている複数の送電線における、第1の送電線とは別の第2の送電線である。
 CPU60Aは、第1被写体における第1位置の撮像情報(パン・チルト値、フォーカス位置等)と、第2被写体における第2位置の撮像情報(パン・チルト値、フォーカス位置等)を取得する。第1位置は、第1被写体のカメラ10に近い領域における位置のことである。第2位置は、第2被写体のカメラ10に近い領域における位置のことである。第1被写体は、第2被写体よりもカメラ10に近い位置に存在する被写体である。CPU60Aは、第1被写体における第1位置の撮像情報と第2被写体における第2位置の撮像情報との差分情報を取得する。CPU60Aは、第1被写体の第1撮像経路と、第1被写体の第1位置と第2被写体の第2位置との差分情報と、に基づいて第2被写体の撮像経路である第2撮像経路を設定する。CPU60Aは、設定した第2撮像経路に基づいて、カメラ10による第2被写体の撮像動作を制御する。
 CPU60Aは、第2被写体の第2撮像経路において第2被写体を撮像する際に、旋回機構16の可動範囲内で第2被写体の全体を撮像することができないと判定した場合、第2撮像経路において第2被写体の全体を撮像することが可能な第2被写体に対する旋回機構16の設置位置を算出する。CPU60Aは、算出した旋回機構16の設置位置を、例えば管理装置11のディスプレイ13aに報知情報として出力する。
 CPU60Aは、カメラ10により第1撮像経路で撮像して得られた第1被写体の複数の撮像画像と、カメラ10により第2撮像経路で撮像して得られた第2被写体の複数の撮像画像と、を合成した合成画像を生成し、生成した合成画像をディスプレイ13aに出力する。CPU60Aは、第1被写体とカメラ10との距離情報と、第2被写体とカメラ10との距離情報とに基づいて、第1被写体及び第2被写体のうちカメラ10に近い方の被写体が、第1被写体及び第2被写体のうちカメラ10から遠い方の被写体より手前に見える合成画像を生成する。
 CPU60Aは、第1撮像経路に基づく第1被写体の撮像の制御において、第1撮像経路におけるカメラ10から第1被写体までの撮像距離の情報に応じてズームレンズ15B2のズーム量を変更する。撮像距離の情報には、カメラ10と第1被写体との測距結果の情報、測距結果に基づくカメラ10のフォーカス位置の情報等が含まれる。ズーム量は、設定されている解像度に応じた量である。
 CPU60Aは、第1撮像経路に基づく第1被写体の撮像角度に関する情報を第1被写体と対応付けてメモリ60C又は二次記憶装置14に記憶させる。
 CPU60Aは、カメラ10により第1撮像経路で撮像して得られた第1被写体の複数の撮像画像と、カメラ10により第2撮像経路で撮像して得られた第2被写体の複数の撮像画像と、を合成した合成画像を生成し、生成した合成画像をディスプレイ13aに出力する。CPU60Aは、合成画像における位置の指定を受け付け、指定を受け付けた位置に対応する撮像画像をディスプレイ13aに出力する。なお、合成画像が表示されるディスプレイと、指定された撮像画像が表示されるディスプレイとは別のディスプレイであってもよい。
 CPU60Aは、カメラ10が異なる地点に設置された状態で制御した第1被写体の複数回の撮像に関する情報を第1被写体と対応付けてメモリ60C又は二次記憶装置14に記憶させる。
 受付デバイス62は、例えば、キーボード13b、マウス13c、及びディスプレイ13aのタッチパネル等であり、ユーザからの各種指示を受け付ける。CPU60Aは、受付デバイス62によって受け付けられた各種指示を取得し、取得した指示に従って動作する。例えば、カメラ10及び/又は旋回機構16に対する処理内容を受付デバイス62で受け付けた場合、CPU60Aは、受付デバイス62で受け付けた指示内容に従って、カメラ10及び/又は旋回機構16を作動させる。
 ディスプレイ13aは、CPU60Aの制御下で、各種情報を表示する。ディスプレイ13aに表示される各種情報としては、例えば、受付デバイス62によって受け付けられた各種指示の内容、及び通信I/F66によって受信された撮像画像や撮像情報等が挙げられる。CPU60Aは、受付デバイス62によって受け付けられた各種指示の内容、及び通信I/F66によって受信された撮像画像や撮像情報等をディスプレイ13aに表示させる。
 二次記憶装置14は、例えば不揮発性のメモリであり、CPU60Aの制御下で、各種情報を記憶する。二次記憶装置14に記憶される各種情報としては、例えば、通信I/F66によって受信された撮像画像や撮像情報等が挙げられる。CPU60Aは、通信I/F66によって受信された撮像画像や撮像情報を二次記憶装置14に対して記憶させる。
<制御装置60のCPU60Aによる撮像処理>
 図6は、鉄塔101a,101b間に接続されている送電線102を、カメラ10を用いて点検する一例を示す図である。図に示す例では、隣り合う鉄塔101aと101bとの間に2列3段(計6本)の送電線102a,102b,103a,103b,104a,104bが接続されている。
 このように複数の撮像対象が存在し、それらの撮像対象が類似した構成で存在しているような場合には、最初に選択した所定の撮像対象(本例では、送電線)を撮像するための撮像情報を取得し、取得した最初の撮像対象に関する撮像情報を活用して2本目以降の送電線の撮像情報を算出する。
 例えば、図6に示す複数の送電線において、最初の撮像対象として送電線102aを選択して送電線102aの撮像情報を取得し、送電線102aとの位置関係に基づいて2本目以降の他の送電線102b,103a,103b,104a,104bの撮像情報を算出する。
 図7は、制御装置60のCPU60Aによる撮像対象の撮像処理の一例を示すフローチャートである。本例では、図6に示した鉄塔101a,101b間の送電線102a,102b,103a,103b,104a,104bを、カメラ10を用いて撮像点検する場合について説明する。
 カメラ10は撮像対象に向けて設置され、ズームレンズのズーム位置が広角端に設定される。カメラ10によって撮像された広角画像のデータは、通信ライン12を介して管理装置11に送信される。
 管理装置11の前には作業者(ユーザ)が居て、ディスプレイ13aに表示されるカメラ10の撮像画像を見ている。作業者は管理装置11のキーボード13bやマウス13cの操作、あるいはディスプレイ13aのタッチ操作を行い通信ライン12を介してカメラ10を操作しながら点検作業を行う。
 管理装置11のCPU60Aは、ディスプレイ13aに広角画像を表示している状態において、作業者からの撮像対象の指定操作に応じて図7に示す処理を開始する。
 CPU60Aは、最初の撮像対象である1本目の送電線を撮像するための補助的な情報である補助情報を設定する(ステップS11)。補助情報は、送電線上における複数の位置(点)の旋回機構16のパン・チルト値、及びカメラ10のフォーカス位置等である。補助情報は、例えば、送電線上における複数の位置(点)を作業者が指定することにより設定される。
 具体的には、図6に示すように、1本目の送電線として2列3段の送電線のうち下段手前側の送電線102aが選択される。選択された送電線102aにおいて、互いに間隔を有する例えば複数の位置111a~111dが作業者によって選択される。これにより、選択された複数の位置111a~111dにおける補助情報が設定される。最初の撮像対象である1本目の送電線は、カメラ10に最も近い送電線が選択される。送電線102aは、本発明における第1被写体の一例である。なお、上記補助情報の設定は、作業者の選択による設定ではなく、画像解析による複数の点の抽出に基づいた設定であってもよい。
 次に、CPU60Aは、ステップS11で設定された補助情報と、送電線の形状が懸垂線であるという既知情報と、に基づいて、1本目の送電線102aの全体を自動撮像するための自動撮像情報を計算する(ステップS12)。自動撮像情報は、例えば、送電線102aの曲線情報である。自動撮像情報は、送電線102aの曲線上における連続的な複数の位置情報(パン・チルト値、フォーカス位置)等であってもよい。計算された自動撮像情報が第1被写体である送電線102aの第1撮像経路となる。
 次に、CPU60Aは、2本目以降の送電線における端点の情報を取得する(ステップS13)。端点の情報は、例えば、作業者からの指定操作により入力される。作業者は、ディスプレイ13aに表示される広角画像において、2本目以降の送電線の端点をタッチ操作等で指定する。端点の情報は、旋回機構16のパン・チルト値、及びカメラ10のフォーカス位置等である。なお、端点の情報は、画像解析により検出されてもよい。
 具体的には、図6に示すように、2本目以降の送電線である送電線102bの端点112aの情報、送電線103aの端点113aの情報、送電線103bの端点114aの情報、送電線104aの端点115aの情報、及び送電線104bの端点116aの情報が取得される。
 次に、CPU60Aは、ステップS11からステップS13で取得された情報に基づいて、2本目以降の送電線102bから送電線104bのそれぞれを一方の端から他方の端まで自動撮像するための自動撮像情報を計算する(ステップS14)。例えば、CPU60Aは、ステップS11,S12で取得された1本目の送電線102aに関する情報と、ステップS13で取得された2本目以降の送電線102b,103a,103b,104a,104bにおける端点112a,113a,114a,115a,116aの情報とを比較してそれぞれの差分情報を算出する。CPU60Aは、算出した差分情報に基づいて、2本目以降の送電線102b,103a,103b,104a,104bの自動撮像情報を計算する。自動撮像情報は、例えば、送電線102b,103a,103b,104a,104bの曲線情報であり、第2被写体である送電線102b,103a,103b,104a,104bの第2撮像経路となる。
 CPU60Aは、ステップS12,S14で計算された自動撮像情報に基づいて、送電線102a,102b,103a,103b,104a,104bを自動撮像する。送電線102a,102b,103a,103b,104a,104bの自動撮像は、各送電線の自動撮像情報が算出される毎にその送電線の自動撮像を行うようにしてもよいし、全ての送電線の自動撮像情報が算出された後に自動撮像を行ってもよい。
<1本目の送電線の自動撮像例>
 図8は、最初の撮像対象である1本目の送電線に対する自動撮像の一例を示すフローチャートである。本例における自動撮像は、作業者によって設定された送電線の補助情報に基づいて実行される自動撮像である。
 管理装置11のCPU60Aは、ディスプレイ13aに撮像対象である送電線の広角画像を表示している状態において、1本目の送電線に対する作業者からの例えばクリック操作又はタッチ操作により送電線上の任意の位置(点)が選択されると図8に示す処理を開始する。具体的には、図6における、送電線102a上の位置111a~111d等が選択されるとCPU60Aは処理を開始する。
 CPU60Aは、作業者によって選択された1本目の送電線102a上における位置の指定を受け付ける(ステップS21)。
 次に、CPU60Aは、ステップS21において指定された送電線102a上の位置のパン・チルト値の情報を取得する(ステップS22)。例えば、CPU60Aは、ディスプレイ13aに表示された広角画像における送電線102a上の各座標と、そのパン・チルト値との関係を広角画像と送電線102aの大きさ及び位置関係に基づいて算出しておくことができる。算出したパン・チルト値は、送電線102aの各座標と対応付けてメモリ60C又は二次記憶装置14に対応情報として記憶しておく。CPU60Aは、予め算出しておいた対応情報に基づいて、指定された送電線102a上の位置に対応するパン・チルト値を取得する。
 次に、CPU60Aは、送電線102a上における3つ以上の位置のパン・チルト値の情報を取得したか否か判定する(ステップS23)。
 ステップS23において、3つ以上の位置のパン・チルト値の情報を取得していない場合(ステップS23:No)には、CPU60Aは、ステップS21に戻り各処理を繰り返す。ステップS23において、3つ以上の位置のパン・チルト値の情報を取得した場合(ステップS23:Yes)には、CPU60Aは、送電線102a上の位置におけるパン・チルト値の情報取得が終了したか否か判定する(ステップS24)。例えば、CPU60Aは、作業者から位置指定の選択が終了した旨の終了操作を受け付けたか否かにより情報取得の終了を判定する。
 次に、CPU60Aは、パン・チルト値の情報が取得された位置のうちの3つの位置を通る曲線を算出する(ステップS25)。3つの位置とは、3つの位置が指定されていればその3点のことであり、4つ以上の点が取得された場合には隣接する3点、又は両端の点とその他の任意の1点のことである。曲線とは、送電線102aの形状である懸垂線のことである。ただし、曲線は2次曲線等の曲線であってもよい。
 次に、CPU60Aは、送電線102a上の複数の点についての距離情報を取得する(ステップS26)。カメラ10から送電線102a上の点までの距離は、送電線102a上の点のフォーカス位置の情報から推定することができる。そこで、例えば、送電線102a上の複数の点におけるフォーカス合わせを作業者に行ってもらうことにより、そのフォーカス位置の情報から複数の点の距離情報を取得する。送電線102a上の複数の点は、作業者が任意に選択する点であってよい。なお、フォーカス合わせは、ズームレンズ15B2を望遠端とした状態で行う。
 次に、CPU60Aは、ステップS25で算出された曲線と、ステップS26で取得された距離情報とに基づいて、実空間における送電線102aの曲線を算出する(ステップS27)。
 次に、CPU60Aは、送電線102aを分割して撮像するためのパン、チルト、ズーム、及びフォーカスの情報を算出する(ステップS28)。具体的には、CPU60Aは、ステップS27で算出された送電線102aの曲線上における所定間隔毎の位置のパン、チルト、ズーム、及びフォーカスの情報を算出する。算出された送電線102aの曲線上におけるパン、チルト、ズーム、及びフォーカスの情報を組み合わせた情報が第1被写体である送電線102aの第1撮像経路となる。
 CPU60Aは、ステップS28で算出された第1撮像経路に基づいて、送電線102aを分割撮像する(ステップS29)。
 図9は、作業者によって設定された送電線の補助情報に基づいて実行される自動撮像の別の一例を示すフローチャートである。図6における送電線102a上の位置111a~111d等が作業者により選択されることで本処理が開始される点は、図8の処理と同様である。
 CPU60Aは、選択された1本目の送電線102a上の位置、フォーカス位置の指定を受け付ける(ステップS31)。フォーカス位置の指定が受け付けられることで、オートフォーカスに基づいて距離情報が取得される。本例の処理は、送電線102a上の点の距離情報をステップS31で取得している点で、パン・チルト値の情報を取得終了した後に距離情報を取得している図8の処理と相違する。
 ステップS32からステップS34までの各処理は、図8におけるステップS22からステップS24までの各処理と同様であるため、説明を省略する。
 次に、CPU60Aは、ステップS31で取得された距離情報と、ステップS32で取得されたパン・チルト値の情報とに基づいて、実空間における送電線102aの曲線を算出する(ステップS35)。
 ステップS36からステップS37の処理は、図8におけるステップS28からステップS29の処理と同様であるため、説明を省略する。
 図10は、画像解析によって設定された送電線の補助情報に基づいて実行される自動撮像の一例を示すフローチャートである。本処理は、ディスプレイ13aに撮像対象である送電線の広角画像が表示されている状態において、例えば、画像解析撮像ボタン(図示省略)がタッチ操作されると開始される。
 画像解析撮像ボタンがタッチされると、CPU60Aは、送電線102a上の3つ以上の位置と、フォーカス位置を画像解析により取得する(ステップS41)。画像解析による場合には、自動的に3つ以上の位置が抽出される。また、抽出された3つ以上の位置のフォーカス位置が自動的に取得される。
 次に、CPU60Aは、ステップS41において取得された送電線102a上の位置のパン・チルト値の情報を取得する(ステップS42)。パン・チルト値の情報の取得は、図8におけるステップS22の処理と同様である。
 次に、CPU60Aは、ステップS41で取得されたフォーカス位置に基づく距離情報と、ステップS42で取得されたパン・チルト値の情報とに基づいて、実空間における送電線102aの曲線を算出する(ステップS43)。
 ステップS44からステップS45の処理は、図8におけるステップS28からステップS29の処理と同様であるため、説明を省略する。
<2本目以降の送電線の自動撮像例>
 図11は、送電線102aの次の撮像対象である2本目以降の送電線に対する自動撮像の一例を示すフローチャートである。本例における自動撮像は、作業者によって設定された送電線の補助情報に基づいて実行される自動撮像である。
 管理装置11のCPU60Aは、ディスプレイ13aに撮像対象である送電線の広角画像を表示している状態において、2本目以降の送電線に対する作業者からの例えばクリック操作又はタッチ操作により送電線の端点が指定されると図11に示す処理を開始する。具体的には、図6における、送電線102bの端点112a、送電線103aの端点113a、送電線103bの端点114a、送電線104aの端点115a、及び送電線104bの端点116a(以下、送電線102b,103a,103b,104a,104bの端点112a,113a,114a,115a,116aともいう。)が指定されるとCPU60Aは処理を開始する。
 CPU60Aは、作業者により指定された2本目以降の送電線102b,103a,103b,104a,104bの端点112a,113a,114a,115a,116aのパン、チルト、及びフォーカスの情報を取得する(ステップS51)。ここでいう送電線の端点は、各送電線におけるカメラ10に近い側の端点である。
 次に、CPU60Aは、ステップS51で取得した送電線102b,103a,103b,104a,104bの端点112a,113a,114a,115a,116aのパン、チルト、及びフォーカスの情報と1本目の送電線102aにおける同じ側の端点のパン、チルト、及びフォーカスの情報とを比較し、その差分情報である1本目の送電線102aからのシフト量をそれぞれ算出する(ステップS52)。
 次に、CPU60Aは、1本目の送電線102aの実空間における曲線と、ステップS52で算出したシフト量とに基づいて、2本目以降の送電線102b,103a,103b,104a,104bの実空間における曲線を算出する(ステップS53)。なお、送電線102b,103a,103b,104a,104bの実空間における曲線を算出するのではなく、例えば、1本目の送電線102aの分割撮像用のパン、チルト、及びフォーカスの情報にシフト量を適用して2本目以降の送電線102b,103a,103b,104a,104bの分割撮像用のパン、チルト、及びフォーカスの情報を算出してもよい。すなわち、撮像経路をシフトするようにしてもよい。
 次に、CPU60Aは、送電線102b,103a,103b,104a,104bを分割して撮像するためのパン、チルト、ズーム、及びフォーカスの情報を算出する(ステップS54)。具体的には、CPU60Aは、ステップS53で算出された送電線102b,103a,103b,104a,104bの曲線上における所定間隔毎の位置のパン、チルト、ズーム、及びフォーカスの情報を算出する。算出された送電線102b,103a,103b,104a,104bの曲線上におけるパン、チルト、ズーム、及びフォーカスの情報を組み合わせた情報が第2被写体である送電線102b,103a,103b,104a,104bの第2撮像経路となる。
 CPU60Aは、ステップS54で算出された第2撮像経路に基づいて、送電線102b,103a,103b,104a,104bを分割撮像する(ステップS55)。
 図12は、画像解析によって設定された送電線の補助情報に基づいて実行される自動撮像の一例を示すフローチャートである。本処理は、ディスプレイ13aに撮像対象である送電線の広角画像が表示されている状態において、例えば、画像解析撮像ボタン(図示省略)がタッチ操作されると開始される。
 画像解析撮像ボタンがタッチされると、CPU60Aは、画像解析により2本目以降の送電線102b,103a,103b,104a,104bの端点112a,113a,114a,115a,116aのパン、チルト、及びフォーカスの情報を取得する(ステップS61)。画像解析による場合には、自動的に端点の位置が抽出される。また、抽出された端点のフォーカス情報が自動的に取得される。送電線の端点は、各送電線におけるカメラ10に近い側の端点である。
 ステップS62からステップS65までの各処理は、図11におけるステップS52からステップS55までの各処理と同様であるため、説明を省略する。
 以上説明したように、制御装置60が備えるCPU60Aは、送電線102a上の離散的な位置111a~111dにおける撮像情報と、送電線102aの懸垂線形状に関する被写体情報と、に基づいて送電線102aの撮像経路を設定し、設定した撮像経路に基づいて送電線102aの撮像を制御する。
 この構成によれば、送電線102a上の複数の点を指定するだけで、送電線102aの既知情報である懸垂線形状の情報を用いて、送電線102aを撮像するための撮像経路を設定することが可能である。このため、設定された撮像経路に基づいて送電線102aを効率よく分割撮像することができる。
 また、CPU60Aは、送電線102aの端点(位置111a)の撮像情報と2本目以降の送電線102b,103a,103b,104a,104bにおける端点112a,113a,114a,115a,116aの撮像情報との差分情報を取得し、送電線102aの撮像経路と上記差分情報とに基づいて2本目以降の送電線102b,103a,103b,104a,104bの撮像経路を設定し、設定した撮像経路に基づいて2本目以降の送電線102b,103a,103b,104a,104bの撮像を制御する。
 この構成によれば、2本目以降の送電線102b,103a,103b,104a,104bの端点112a,113a,114a,115a,116aを指定するだけで、1本目の送電線102aの撮像経路に基づいて2本目以降の送電線102b,103a,103b,104a,104bの撮像経路を設定することが可能である。このため、設定された撮像経路に基づいて2本目以降の送電線102b,103a,103b,104a,104bを効率よく分割撮像することができる。
 また、CPU60Aは、画像解析により送電線102a上における複数の位置の自動抽出及びフォーカス位置の自動取得が可能である。また、CPU60Aは、画像解析により2本目以降の送電線102b,103a,103b,104a,104bの端点の抽出及び端点のフォーカス位置の自動取得が可能である。このため、送電線102aの撮像経路及び2本目以降の送電線102b,103a,103b,104a,104bの撮像経路を容易に設定することが可能であり、送電線102a及び2本目以降の送電線102b,103a,103b,104a,104bを効率よく分割撮像できる。
 また、CPU60Aは、ズームレンズ15B2を望遠領域とした状態でカメラ10に測距を実行させることによりカメラ10のフォーカス位置を取得する。このように測距のときにズームレンズ15B2を望遠領域とすることでカメラ10の測距精度を高めることができる。
 図13は、2本目以降の送電線を自動撮像する際に指定される送電線の端部を示す図である。図13に示すように、撮像対象である2本目以降の送電線102nがカメラ10の撮像可能な画角θの範囲内に含まれるようにカメラ10がセットされているとする。送電線102nは、鉄塔101aと101bの間に接続されている。本例におけるカメラ10と鉄塔101a,101bの位置関係の場合、カメラ10から鉄塔101bまでの距離の方がカメラ10から鉄塔101aまでの距離よりも近い。
 このような場合、送電線102nを自動撮像する際には、カメラ10に近い鉄塔101b側における送電線102nの例えば端部121が指定される。フォーカス情報から被写体の距離情報を換算することができるが、その距離情報の精度はカメラから被写体までの距離が近い方が高い。
 このため、2本目以降の送電線102nを自動撮像する際に、カメラ10に近い鉄塔101b側の端部121を指定することにより、1本目の送電線に対する2本目以降の送電線102nのシフト量を精度よく算出することができる。これにより、2本目以降の送電線102nの自動撮像時におけるピント精度を向上させることができる。
<1本目の送電線の選択>
 図14は、鉄塔101aと101bの間に接続されている送電線132a,132bと、それらを撮像するカメラ10とを上方から見た図である。図15は、図14に示す鉄塔101a,101b及び送電線132a,132bをカメラ10側から見た図である。図14及び図15に示すように、送電線132a,132bが鉄塔101a,101bにおける略同程度の高さの位置に平行して接続されているとする。このとき、図15に示すように、カメラ10側から見ると送電線132aと132bとが鉄塔101a,101b間の途中の位置で交差して見える場合がある。
 上記実施形態で説明したように、自動撮像を行うために1本目の送電線(第1被写体)では複数の位置でパン、チルト、及びフォーカスの情報を取得することが必要である。したがって、図14及び図15に示す送電線132a,132bの場合において、例えば、カメラ10側から見て奥側の送電線132bを第1被写体として選択すると、送電線132aと132bとの交差部で第1被写体のフォーカス情報を取得しようとする際に、誤って手前側の送電線132aのフォーカス情報を取得してしまう場合がある。
 誤ってフォーカス情報を取得した場合、送電線132bの曲線が適切に算出できなくなる可能性が高い。そこで、1本目の送電線は、カメラ10から最も近い距離にある送電線、図14及び図15の場合には送電線132aを選択する。これにより、1本目の送電線における複数の位置でフォーカス情報を取得する際に、カメラ10に最も近い送電線のフォーカス情報を正確に取得することができる。
<カメラのチルト角の上限とカメラ位置の制御>
 図16は、鉄塔101a及び送電線102a,102b,103a,103b,104a,104bを撮像するカメラ10をカメラ10の横方向から見た図である。図17は、鉄塔101a,101b及び送電線142a,142b,143a,143bを撮像するカメラ10をカメラ10の後方から見た図である。
 カメラ10が取り付けられる旋回機構16の種類によってはチルト角度に制限があるために、カメラ10と鉄塔101a,101bの距離が近い場合には送電線の端点付近の撮像に必要なチルト角が旋回機構16のチルト上限角度を上回り、送電線の一部を撮像できない場合がある。
 図16及び図17に示すカメラ10は、旋回機構16のチルト角度が上限角度に調整されたときの撮像状態である。図16において、カメラ10の撮像位置が距離X1の場合には、カメラ10の撮像可能な上方の範囲は撮像範囲Y1であり、カメラ10の撮像位置が距離X1よりも遠い距離X2の場合には、カメラ10の撮像可能な上方の範囲は撮像範囲Y2である。また、図17において、カメラ10の撮像位置が距離X3の場合には、カメラ10の撮像可能な上方の範囲は撮像範囲Y3であり、カメラ10の撮像位置が距離X3よりも遠い距離X4の場合には、カメラ10の撮像可能な上方の範囲は撮像範囲Y4である。
 図16に示すように、カメラ10と鉄塔101aの距離が近い場合(例えば、距離X1の場合)には送電線103bの端点114a、送電線104aの端点115a、及び送電線104bの端点116aが撮像できない。また、図17に示すように、カメラ10と鉄塔101bの距離が近い場合(例えば、距離X3の場合)には送電線143aの端点153b、及び送電線143bの端点154bが撮像できない。
 このため、例えば、図16の場合には、送電線103bの端点114a、送電線104aの端点115a、及び送電線104bの端点116aを撮像できるようにするために、カメラ10及びその旋回機構16の設置位置を矢印Aで示すように距離X1よりも遠い距離X2へ移動させる。同様に、図17の場合には、送電線143aの端点153b、及び送電線143bの端点154bを撮像できるようにするために、カメラ10及びその旋回機構16の設置位置を矢印Bで示すように距離X3よりも遠い距離X4へ移動させる。
 図18は、送電線を撮像するためのカメラ10の撮像距離を算出するフローチャートである。管理装置11のCPU60Aは、カメラ10の撮像位置を検出するための例えば撮像距離算出ボタン(図示省略)が押されると図18に示す処理を開始する。
 CPU60Aは、現在のカメラ10の設置位置から撮像対象である複数の送電線を撮像したときに、いずれかの送電線の端点がカメラ10のチルト角内で撮像可能であるか否か判定する(ステップS71)。例えば、図17に示すような送電線142a,142b,143a,143bを撮像したときに、それらの送電線の中に一方の端部から他方の端部までの送電線の全体を撮像することが可能な送電線が存在するか否か判定する。
 ステップS71において、いずれかの送電線の端点がカメラ10のチルト角内で撮像可能である場合(ステップS71:Yes)には、CPU60Aは、端点を撮像可能な送電線と端点を撮像不可な送電線とを比較し、両送電線間のシフト量を算出する(ステップS72)。例えば、図17において、カメラ10の撮像位置が距離X3の場合、カメラ10のチルト角内で送電線142aの端点151bは撮像可能であるが、送電線143aの端点153bは撮像不可である。その場合、撮像位置が距離X3のカメラ10で撮像することが可能な送電線143a上の点を選択し、その選択した点(例えば、端点153bとは反対側の端点153a)と送電線142aにおける送電線143aの端点153aに対応する端点151a間のシフト量を算出する。
 次に、CPU60Aは、ステップS72で算出したシフト量を撮像可能な送電線の端点に加算することで、撮像不可な端点の高さ、距離を算出する(ステップS73)。例えば、図17において、送電線142aの端点151aに対する送電線143aの端点153aのシフト量を送電線142aの端点151bに加算することで、撮像不可な送電線143aの端点153bのカメラ10からの高さ、及びカメラ10からの距離を算出する。
 次に、CPU60Aは、ステップS73で算出された結果(撮像不可な端点の高さ及び距離)と、カメラ10の最大チルト角とに基づいて、現状においては撮像不可である端点を撮像可能な端点にするためにはカメラ10が被写体(送電線が接続されている鉄塔)からどのくらいの距離に設置されていなければならないか算出する(ステップS74)。例えば、図17において、送電線143aの端点153bをカメラ10により撮像可能にするためには、カメラ10を鉄塔101bからどのくらいの距離に設置しなければならないか算出する。
 次に、CPU60Aは、ステップS72で端点を撮像可能な送電線のその端点に基づいて、カメラ10が設置されている現在の位置が鉄塔からどのくらいの距離であるかを算出する(ステップS75)。例えば、図17において、送電線142aの撮像可能な端点151bに基づいて、現在のカメラ10の撮像位置である距離X3を算出する。
 次に、CPU60Aは、ステップS74で算出された距離とステップS75で算出された距離とに基づいて、カメラ10が鉄塔から離れるべき距離を算出する(ステップS76)。例えば、図17において、カメラ10の撮像位置を距離X3から距離X4へ移動させるその移動距離を算出する。
 次に、CPU60Aは、ステップS76で算出したカメラ10が鉄塔から離れるべき距離を例えばディスプレイ13aに表示して作業者に通知する(ステップS77)。
 一方、ステップS71において、いずれの送電線の端点もカメラ10のチルト角内で撮像可能ではない場合(ステップS71:No)には、CPU60Aは、撮像不可な送電線の端点の真下の位置を作業者から受け付け、その端点のパン角を設定する(ステップS78)。例えば、図17において、送電線142a,142b,143a,143bのいずれも一方の端点である端点151b,152b,153b,154bを撮像することが不可であり、カメラ10の撮像可能な上方の範囲が撮像範囲Y5であるとする。この場合には、例えば、送電線143aの端点153bの真下の位置であって、カメラ10が撮像可能な範囲の任意の位置を作業者に指定してもらう。その位置を例えば真下指定位置161とする。指定された真下指定位置161のパン角を測定する。真下指定位置161のパン角を測定することにより、真下指定位置161の上方に位置する撮像不可な送電線143aの端点153bのパン角を設定することができる。
 次に、CPU60Aは、端点を撮像不可な送電線において、端点以外の送電線上の点であってカメラ10が撮像可能な3点を通る曲線を算出し、算出した曲線とステップS78で設定した送電線の端点のパン角とに基づいて、送電線の端点の高さを算出する(ステップS79)。例えば、図17において、端点153bを撮像不可な送電線143a上の点であって、カメラ10が撮像可能な線上点162,163,164を通る曲線を算出する。算出された曲線と、真下指定位置161のパン角により設定される送電線143aの端点153bのパン角と、に基づいて送電線143aの端点153bの高さを算出する。
 次に、CPU60Aは、ステップS79で算出された結果(撮像不可な端点の高さ)と、カメラ10の最大チルト角とに基づいて、現状においては撮像不可である端点を撮像可能な端点にするためにはカメラ10が被写体(送電線が接続されている鉄塔)からどのくらいの距離に設置されていなければならないか算出する(ステップS80)。例えば、図17において、送電線143aの端点153bをカメラ10により撮像可能にするためには、カメラ10を鉄塔101bからどのくらいの距離に設置しなければならないか算出する。
 次に、CPU60Aは、撮像不可な送電線の端点の真下の位置にある点であって、かつカメラ10が撮像可能な鉄塔上の点を検出し、検出した鉄塔上の点とその点を撮像するためのカメラ10のチルト角とに基づいて、カメラ10が設置されている現在の位置が鉄塔からどのくらいの距離であるかを算出する(ステップS81)。例えば、図17において、送電線143aの端点153bの真下の位置にある点であって、かつカメラ10で撮像可能な鉄塔101b上の点である例えば鉄塔上点165を検出する。検出した鉄塔上点165とその鉄塔上点165を撮像するためのカメラ10のチルト角とに基づいて、現在のカメラ10の撮像位置が鉄塔からどのくらいの距離であるかを算出する。
 次に、CPU60Aは、ステップS80で算出された距離とステップS81で算出された距離とに基づいて、カメラ10が鉄塔から離れるべき距離を算出する(ステップS76)。そして、CPU60Aは、ステップS76で算出したカメラ10が鉄塔から離れるべき距離を例えばディスプレイ13aに表示して作業者に通知する(ステップS77)。これにより、被写体に対するカメラ10の設置位置を容易に特定することができる。
<撮像距離に応じたズームレンズのズーム量>
 図19は、撮像距離が相違する複数の位置をズーム撮像した画像の一例を示す図である。図19に示すように、鉄塔101aと鉄塔101b間に送電線170が接続されている。送電線170を撮像するカメラ10は、鉄塔101aよりも鉄塔101bに近い位置に設置されている。すなわち、カメラ10から鉄塔101bまでの距離は、カメラ10から鉄塔101aまでの距離よりも短い。
 送電線170上の位置として複数の異なる送電線位置171,172,173を選択し、カメラ10を望遠端に調整した状態で送電線位置171,172,173を撮像した画像が望遠画像171a,172a,173aである。送電線位置171は鉄塔101aに近い位置であり、送電線位置173は鉄塔101bに近い位置である。このため、カメラ10からの距離は、送電線位置173が一番短く、送電線位置171が最も長い。
 カメラ10を望遠端に調整した状態で送電線位置171,172,173を撮像した場合、送電線位置173はカメラ10に近いためにその望遠画像173aが必要以上に拡大しすぎる場合がある。その場合には、少なくとも送電線を検査するために必要な解像度が得られる画角までズームレンズ15B2のズーム量を変更(ズームアウト)して撮像するようにしてもよい。
 例えば、送電線位置172の望遠画像172aと同程度の解像度である望遠画像174aを得ることが可能な変更画角174になるまでズームレンズ15B2をズームアウトさせて(画角を大きくして)撮像するようにしてもよい。
 なお、ズームアウトの変更量は、例えば、最も遠い側の送電線の位置の解像度と同程度になるまでとしてもよいし、予め設定された解像度を満たすようになるまでとしてもよい。これにより、送電線170の撮像経路における撮像箇所が増加するのを抑制することができ、撮像時間の短縮を図ることが可能である。
<撮像情報の管理>
 図20は、カメラで被写体を撮像している様子を示す図である。図20に示すように、送電線180を撮像するカメラ10が、送電線180に対して送電線180の一側面側に設置される場合、カメラ10と対向する側の送電線180の対向外周部181はカメラ10によって撮像されるが、カメラ10と対向しない側の送電線180の反対外周部182は撮像されない。
 この場合、撮像された対向外周部181の撮像画像は、カメラ10のパン・チルト値の情報と対応付けてメモリ60C又は二次記憶装置14に記憶される。これにより、送電線180を再度撮像する際に、以前撮像されている画像が送電線180のどの外周部を撮像したものであるか認識可能である。また、ドローンを用いて送電線180を撮像する際に、撮像されている外周部以外の画像を容易に特定して撮像することが可能である。
<重なって配置されている被写体の表示>
 図21は、前後方向に重なって配置されている2本の送電線を撮像した図である。図21に示すように、カメラ10に対してカメラ10に近い側(前側)に配置されている送電線191の撮像経路で分割撮像して得られた送電線191の複数の撮像画像191a~191lと、カメラ10に対してカメラ10から遠い側(後側)に配置されている送電線192の撮像経路で分割撮像して得られた送電線192の複数の撮像画像192a~192lとが表示されている。
 送電線191の複数の撮像画像191a~191lが手前の層(第1層)に表示され、送電線192の複数の撮像画像192a~192lが後側の層(第2層)に表示される。また、手前の層に表示されている送電線191の複数の撮像画像191a~191lにおける背景部分(例えば、撮像画像191aの斜線部193a)が透明にして表示されている。このように、カメラ10から見て2本の送電線191,192が重なるように配置されている場合、カメラ10に近い方の送電線191がカメラ10から遠い方の送電線192より手前に見えるように合成して合成画像194が生成される。
 これにより、送電線191の透明な背景部分を通して後側の層の送電線192が見えるように合成画像194を生成することができる。また、カメラ10の近い方の送電線191及びカメラ10から遠い方の送電線192にそれぞれ焦点が合った合成画像194を生成することができる。
<指定された被写体の表示>
 図22は、前後方向に重なって配置されている2本の送電線の合成画像194を示す図である。合成画像194は、上述した図21の合成画像194と同一であり、送電線191の撮像経路で分割撮像して得られた複数の撮像画像191a~191lと、送電線192の撮像経路で分割撮像して得られた複数の撮像画像192a~192lとが合成された画像である。送電線191の撮像画像191a~191l及び送電線192の撮像画像192a~192lは、合成画像194上の位置情報と対応付けてメモリ60C又は二次記憶装置14に記憶される。
 図22に示すように、合成画像194上において、カーソル201により作業者が任意の位置をクリックした場合、送電線191,192のうちのクリックされた位置に近い方の送電線が選択される。そして、選択された送電線において、クリックされた位置を含む撮像画像が特定される。
 例えば、合成画像194においてカーソル201でクリックされた位置が送電線191に近いとする。この場合、送電線191が選択されるとともに、カーソル201のクリックされた位置を含む送電線191の撮像画像191a~191lのなかの例えば撮像画像191gが特定される。
 そして、特定された撮像画像191gがメモリ60Cから読み出されてディスプレイ13aに拡大表示される。これにより、複数の被写体(送電線191,192等)が表示されている合成画像194において、任意の送電線における所定の撮像画像を容易に表示させることが可能でありユーザビリティを向上させることができる。
<2箇所から撮像された撮像情報の管理>
 図23は、2箇所に設置されたカメラ10a,10bによって送電線を撮像している様子を示す図である。図23に示すように、例えば、高速道路210などの高架を跨いでいる送電線211は、片側が死角となって一方側に設置されているカメラ10aのみでは送電線211の全体を撮像できない場合がある。図においてカメラ10aの撮像可能な範囲は画角θaである。カメラ10bの撮像可能な範囲は画角θbである。
 このような場合、高速道路210の他方側にもう一台のカメラ10bを設置して、カメラ10aの撮像画像とカメラ10bの撮像画像とを合わせることで送電線211の全体を撮像することが可能になる。カメラ10aによって撮像された撮像情報は、送電線211に関するカメラ10aの情報としてメモリ60C又は二次記憶装置14に記憶される。
 カメラ10bによって撮像された撮像情報は、送電線211に関するカメラ10bの情報としてメモリ60C又は二次記憶装置14に記憶される。撮像情報には、例えば、カメラ10a,10bの設置場所、送電線211の曲線の式、パン・チルト値、ズーム値、フォーカス位置の情報等が含まれる。このように、各カメラによって撮像された送電線211の撮像情報をそれぞれ送電線211に対応付けて記憶することにより、相互の撮像情報を重複することなく効率的に管理することができる。
<情報処理プログラムの記憶媒体>
 上記の各管理制御では、管理装置11のストレージ60Bに各実施形態の情報処理プログラムが記憶され、管理装置11のCPU60Aがメモリ60Cで情報処理プログラムを実行する例を挙げて説明したが、本開示の技術はこれに限定されない。
 図24は、管理制御用の情報処理プログラムが記憶された記憶媒体から、情報処理プログラムが管理装置11の制御装置60にインストールされる態様の一例を示す図である。一例として図24に示すように、情報処理プログラム221を、非一時的記憶媒体である記憶媒体220に記憶させておいてもよい。図24に示す例の場合、記憶媒体220に記憶されている情報処理プログラム221は、制御装置60にインストールされ、CPU60Aは、情報処理プログラム221に従って、上述した各処理を実行する。
 以上、各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
 なお、本出願は、2022年8月24日出願の日本特許出願(特願2022-133011)に基づくものであり、その内容は本出願の中に参照として援用される。
 1 撮像システム
 10,10a,10b カメラ
 11 管理装置
 12 通信ライン
 13a,43B ディスプレイ
 13b キーボード
 13c マウス
 14 二次記憶装置
 15 光学系
 15B レンズ群
 15B1 防振レンズ
 15B2 ズームレンズ
 16 旋回機構
 17,21 レンズアクチュエータ
 19 コンピュータ
 22 BISドライバ
 23 OISドライバ
 25 撮像素子
 25A 受光面
 27 撮像素子アクチュエータ
 28 レンズドライバ
 29,45 補正機構
 31 DSP
 32 画像メモリ
 33 補正部
 34,66~68,79,80 通信I/F
 35,60C メモリ
 36,60B ストレージ
 37,60A CPU
 38,70 バス
 39,47 位置センサ
 40 振れ量検出センサ
 43 UI系デバイス
 43A,62 受付デバイス
 60 制御装置
 71 ヨー軸旋回機構
 72 ピッチ軸旋回機構
 73,74 モータ
 75,76 ドライバ
 101a,101b 鉄塔
 102,102a,102b,102n,103a,103b,104a,104b,132a,132b,142a,142b,143a,143b,170,180,191,192,211 送電線
 111a~111d 位置
 112a,113a,114a,115a,116a,151a,151b,152b,153a,153b,154b 端点
 121 端部
 161 真下指定位置
 162~164 線上点
 165 鉄塔上点
 171~173 送電線位置
 171a,172a,173a,174a 望遠画像
 174 変更画角
 181 対向外周部
 182 反対外周部
 191a~191l,192a~192l 撮像画像
 193a 斜線部
 194 合成画像
 201 カーソル
 210 高速道路
 220 記憶媒体
 221 情報処理プログラム
 Y1~Y5 撮像範囲

Claims (25)

  1.  撮像装置と、前記撮像装置の撮像方向を変更可能な撮像方向変更装置と、を制御するプロセッサを備える制御装置であって、
     前記プロセッサは、
     第1被写体の離散的な位置における撮像情報と、前記第1被写体に関する被写体情報と、に基づいて前記第1被写体の撮像経路である第1撮像経路を設定し、
     前記第1撮像経路に基づいて前記第1被写体の撮像を制御する、
     制御装置。
  2.  請求項1に記載の制御装置であって、
     前記被写体情報は、前記第1被写体の2次元平面における形状である、
     制御装置。
  3.  請求項1に記載の制御装置であって、
     前記撮像情報は、前記離散的な位置を撮像するための前記撮像装置の画角に基づく制御値である、
     制御装置。
  4.  請求項3に記載の制御装置であって、
     前記撮像情報は、前記離散的な位置を撮像するための前記撮像方向変更装置の制御値を含む、
     制御装置。
  5.  請求項3に記載の制御装置であって、
     前記撮像情報は、前記離散的な位置を撮像するための前記第1被写体と前記撮像装置との距離を含む、
     制御装置。
  6.  請求項3に記載の制御装置であって、
     前記撮像情報は、前記離散的な位置を撮像するための前記撮像装置のフォーカス位置を含む、
     制御装置。
  7.  請求項6に記載の制御装置であって、
     前記撮像装置は、ズームレンズを備え、
     前記プロセッサは、前記ズームレンズを望遠領域とした状態で前記撮像装置に測距を実行させることにより前記撮像装置のフォーカス位置を取得する、
     制御装置。
  8.  請求項1に記載の制御装置であって、
     前記第1撮像経路は、前記第1被写体を分割して撮像するための制御値を含む、
     制御装置。
  9.  請求項1に記載の制御装置であって、
     前記離散的な位置は、前記第1被写体における複数の点のうち隣合う3点と、前記複数の点のうち端の2点及び前記2点と異なる1点と、の少なくともいずれかを含む、
     制御装置。
  10.  請求項9に記載の制御装置であって、
     前記端の2点は、前記第1被写体の端領域に位置する、
     制御装置。
  11.  請求項1に記載の制御装置であって、
     前記離散的な位置は、前記第1被写体を撮像して得られた画像の解析結果に基づいて算出される、
     制御装置。
  12.  請求項1に記載の制御装置であって、
     前記プロセッサは、
     前記第1被写体の第1位置と第2被写体の第2位置との差分情報を取得し、
     前記第1撮像経路と前記差分情報に基づいて前記第2被写体の撮像経路である第2撮像経路を設定し、
     前記第2撮像経路に基づいて前記第2被写体の撮像を制御する、
     制御装置。
  13.  請求項12に記載の制御装置であって、
     前記第1位置は、前記第1被写体における前記撮像装置に近い領域の位置であり、
     前記第2位置は、前記第2被写体における前記撮像装置に近い領域の位置である、
     制御装置。
  14.  請求項12に記載の制御装置であって、
     前記第1被写体は、前記第2被写体よりも前記撮像装置に近い被写体である、
     制御装置。
  15.  請求項12に記載の制御装置であって、
     前記プロセッサは、
     前記第2撮像経路での撮像が前記撮像方向変更装置の可動範囲内で不可であると判定した場合、前記第2撮像経路での撮像が前記撮像方向変更装置の可動範囲内で可能となる前記撮像方向変更装置の設置位置を計算し、
     前記設置位置を出力する、
     制御装置。
  16.  請求項12に記載の制御装置であって、
     前記プロセッサは、
     前記撮像装置により前記第1撮像経路で撮像して得られた前記第1被写体の複数の撮像画像と、前記撮像装置により前記第2撮像経路で撮像して得られた前記第2被写体の複数の撮像画像と、を合成した合成画像を生成して前記合成画像を表示装置に出力し、
     前記第1被写体と前記撮像装置との距離情報と、前記第2被写体と前記撮像装置との距離情報と、に基づいて、前記第1被写体及び前記第2被写体のうち前記撮像装置に近い方の被写体が、前記第1被写体及び前記第2被写体のうち前記撮像装置から遠い方の被写体より手前に見える前記合成画像を生成する、
     制御装置。
  17.  請求項1に記載の制御装置であって、
     前記撮像装置は、ズームレンズを備え、
     前記第1撮像経路は、撮像距離の情報を含み、
     前記プロセッサは、前記第1撮像経路に基づく前記第1被写体の撮像の制御において、前記撮像距離に応じて前記ズームレンズのズーム量を変更する、
     制御装置。
  18.  請求項17に記載の制御装置であって、
     前記ズーム量は、設定された解像度に応じた量である、
     制御装置。
  19.  請求項1に記載の制御装置であって、
     前記プロセッサは、前記第1撮像経路に基づく前記第1被写体の撮像角度に関する情報を前記第1被写体と対応付けて記憶装置に記憶させる、
     制御装置。
  20.  請求項1に記載の制御装置であって、
     前記プロセッサは、
     前記撮像装置により前記第1撮像経路で撮像して得られた各撮像画像を合成した合成画像を生成して前記合成画像を表示装置に出力し、
     前記合成画像における位置の指定を受け付け、
     前記各撮像画像のうち、指定を受け付けた位置に対応する撮像画像を表示装置に出力する、
     制御装置。
  21.  請求項1に記載の制御装置であって、
     前記プロセッサは、
     前記撮像装置が異なる地点に設置された状態で制御した前記第1被写体の複数回の撮像に関する情報を前記第1被写体と対応付けて記憶装置に記憶させる、
     制御装置。
  22.  請求項1から21のいずれか1項に記載の制御装置であって、
     前記第1被写体は、設定された画角内に全体が収まらない線状の構造物である、
     制御装置。
  23.  撮像装置と、
     前記撮像装置の撮像方向を変更可能な撮像方向変更装置と、
     前記撮像装置及び前記撮像方向変更装置を制御する制御装置と、を含み、
     前記制御装置が備えるプロセッサは、
     第1被写体の離散的な位置における撮像情報と、前記第1被写体に関する被写体情報と、に基づいて前記第1被写体の撮像経路である第1撮像経路を設定し、
     前記第1撮像経路に基づいて前記第1被写体の撮像を制御する、
     撮像システム。
  24.  撮像装置と、前記撮像装置の撮像方向を変更可能な撮像方向変更装置と、を制御する制御装置による制御方法であって、
     前記制御装置のプロセッサが、
     第1被写体の離散的な位置における撮像情報と、前記第1被写体に関する被写体情報と、に基づいて前記第1被写体の撮像経路である第1撮像経路を設定し、
     前記第1撮像経路に基づいて前記第1被写体の撮像を制御する、
     制御方法。
  25.  撮像装置と、前記撮像装置の撮像方向を変更可能な撮像方向変更装置と、を制御する制御装置の制御プログラムであって、
     前記制御装置のプロセッサに、
     第1被写体の離散的な位置における撮像情報と、前記第1被写体に関する被写体情報と、に基づいて前記第1被写体の撮像経路である第1撮像経路を設定し、
     前記第1撮像経路に基づいて前記第1被写体の撮像を制御する、
     処理を実行させるための制御プログラム。
PCT/JP2023/026845 2022-08-24 2023-07-21 制御装置、撮像システム、制御方法、及び制御プログラム WO2024042944A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022133011 2022-08-24
JP2022-133011 2022-08-24

Publications (1)

Publication Number Publication Date
WO2024042944A1 true WO2024042944A1 (ja) 2024-02-29

Family

ID=90013225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026845 WO2024042944A1 (ja) 2022-08-24 2023-07-21 制御装置、撮像システム、制御方法、及び制御プログラム

Country Status (1)

Country Link
WO (1) WO2024042944A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156491A (ja) * 2017-03-17 2018-10-04 東京電力ホールディングス株式会社 設備点検システム
CN113702763A (zh) * 2021-08-27 2021-11-26 国网四川省电力公司成都供电公司 一种导地线故障诊断方法、装置、电子设备及介质
JP2022115759A (ja) * 2021-01-28 2022-08-09 株式会社日立製作所 計測システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156491A (ja) * 2017-03-17 2018-10-04 東京電力ホールディングス株式会社 設備点検システム
JP2022115759A (ja) * 2021-01-28 2022-08-09 株式会社日立製作所 計測システム
CN113702763A (zh) * 2021-08-27 2021-11-26 国网四川省电力公司成都供电公司 一种导地线故障诊断方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
KR101339193B1 (ko) 카메라 플랫폼 시스템
US20150009345A1 (en) Image pickup apparatus and control method for same
KR102085520B1 (ko) 개선된 모니터링 카메라 방향 제어
US11678055B2 (en) Imaging support device, imaging support system, imaging system, imaging support method, and program
JP7456043B2 (ja) 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム
JP2023052772A (ja) 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム
US20170150035A1 (en) Imaging apparatus, control method of imaging apparatus, and non-transitory recording medium
WO2024042944A1 (ja) 制御装置、撮像システム、制御方法、及び制御プログラム
JP4228391B2 (ja) 監視システム
JP2018134712A (ja) ロボットシステム及びロボットシステムの制御方法
JP5277600B2 (ja) 架空線撮影システム及び方法
WO2024004534A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP5231119B2 (ja) 表示装置
JP2009092409A (ja) 3次元形状測定装置
CN114641985B (zh) 摄像支援装置、摄像支援系统、摄像系统、摄像支援方法及存储介质
WO2024057788A1 (ja) 制御装置、撮像システム、制御方法、及び制御プログラム
CN114616820B (zh) 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及存储介质
US11637958B2 (en) Control apparatus, control method, and storage medium
JP7289929B2 (ja) 撮像支援装置、撮像システム、撮像支援方法、及びプログラム
WO2023234360A1 (ja) 撮像システム、及び、それを備えた移動体
US11019264B2 (en) Imaging device, control method, and recording medium
JP2012154862A (ja) 3次元寸法測定装置
JP2008275542A (ja) 3次元形状復元処理装置及び方法並びにそのプログラム
JP2010233043A (ja) 撮像装置及び撮像方法
JP2023183036A (ja) 撮像制御装置、撮像制御装置の制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857060

Country of ref document: EP

Kind code of ref document: A1