WO2018179829A1 - 移動体撮像装置及び移動体撮像方法 - Google Patents

移動体撮像装置及び移動体撮像方法 Download PDF

Info

Publication number
WO2018179829A1
WO2018179829A1 PCT/JP2018/003580 JP2018003580W WO2018179829A1 WO 2018179829 A1 WO2018179829 A1 WO 2018179829A1 JP 2018003580 W JP2018003580 W JP 2018003580W WO 2018179829 A1 WO2018179829 A1 WO 2018179829A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
image
imaging
moving
deflection angle
Prior art date
Application number
PCT/JP2018/003580
Other languages
English (en)
French (fr)
Inventor
大介 松家
日野　一彦
三村　昌弘
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to EP18762444.0A priority Critical patent/EP3606034A4/en
Priority to CN201880001457.0A priority patent/CN108990428B/zh
Priority to US16/088,214 priority patent/US11330162B2/en
Priority to JP2018538796A priority patent/JP6452913B1/ja
Publication of WO2018179829A1 publication Critical patent/WO2018179829A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the present invention relates to a moving body imaging apparatus and a moving body imaging method, and more particularly, to a moving body imaging apparatus and a moving body imaging method suitable for imaging a plurality of objects that freely move in space.
  • an apparatus for imaging a moving body such as a flying body moving in a target area
  • a moving body such as a flying body moving in a target area
  • the camera was moved by driving the pan / tilt mechanism by attaching the camera to a pan / tilt mechanism rotatable by two different axes. .
  • the deflecting mirror is driven by the galvano scanner to track the moving body, the response time for driving the galvano scanner is short, and the moving body having a high moving speed can be imaged.
  • the deflection angle of the deflecting mirror is continuously changed, and the moving body is imaged at a high-speed imaging cycle in order to cope with the continuous deflection.
  • a high-capacity camera suitable for shooting is indispensable.
  • the present invention has been made in order to solve the above-described problems, and it is an object of the present invention to provide a moving body imaging apparatus and a moving body imaging method that have a degree of time freedom in imaging.
  • the present invention includes an image pickup device, a position information acquisition unit that obtains information on the position of the moving body, and a deflector that changes a relative deflection angle between the moving body and the image pickup device.
  • An image of the moving body is picked up by the camera via the deflector, and the deflector is placed at a predetermined deflection angle so that the moving body enters the field of view of the imager based on the position information.
  • the moving body is imaged in a state in which the moving angle is maintained and the deflection angle is maintained.
  • a camera, a deflecting unit, a control unit that controls the camera and the deflecting unit, an image processing unit, and an image display unit are provided, and the imaging of the moving body is sequentially repeated and based on the image acquired by the image processing unit. Movie data is created and displayed on the image display section.
  • the moving object can be imaged with a degree of freedom in time.
  • FIG. 1 is a block diagram of a moving body imaging apparatus and a moving body according to Embodiment 1.
  • FIG. FIG. 3 is a control block diagram according to the first embodiment. It is a figure showing the positional relationship of the mobile body imaging device of Example 1, and a mobile body. It is a figure showing the relationship in the time axis of the imaging of Example 1, and a deflection
  • FIG. It is a block diagram of the moving body imaging device and flying object of Example 2. It is a figure which shows the relationship in the time-axis of the imaging operation of Example 2, and the change operation
  • FIG. 10 is a diagram illustrating an image cutout operation in an image processing unit according to a sixth embodiment. It is a block diagram of the mobile body imaging device and flying body of Example 7.
  • FIG. 1 is a block diagram including a moving body imaging apparatus 1 according to the present embodiment and a flying body 2 that is a moving body.
  • the moving body imaging apparatus 1 includes a camera 11 (also referred to as an imager), a two-dimensional galvano unit 12 (also referred to as a deflection unit and a deflector), a control unit 13 that controls the camera 11 and the deflection unit 12.
  • the image processing unit 15 and the image display unit 14 are provided.
  • the imaging of the moving object (flying object 2) is sequentially repeated, and moving image data is created based on the image acquired by the image processing unit 15. It is characterized by displaying. Further, the camera 11 starts changing the deflection angle after completing the imaging, and performs the next imaging after the predetermined deflection angle is reached.
  • the moving body imaging apparatus 1 includes a camera 11, a two-dimensional galvano unit 12 that deflects the field of view of the camera 11, and a control unit that controls the camera 11 and the two-dimensional galvano unit 12. 13, an image processing unit 15 that processes a still image acquired by the camera 11 as a moving image, and an image display unit 14.
  • An external device (not shown) for measuring the position of another moving body such as a radio wave detection and ranging device (radar) is installed around the moving body imaging device 1 of the present embodiment.
  • radar radio wave detection and ranging device
  • the three-dimensional relative position information (hereinafter, the position information of the flying object 2) between the moving body imaging apparatus 1 and the flying object 2 that is the imaging target is externally ( Provided by an external device).
  • the imaging cycle of the camera in this embodiment is slower than the positioning speed of the galvano scanner.
  • the two-dimensional galvano unit 12 that is a deflection means includes a galvano scanner 12a that swings a deflection mirror provided at the tip in a first direction, and a galvano scanner that swings the deflection mirror provided at the tip in a second direction.
  • the first direction in which the deflection mirror is swung by the galvano scanner 12a is orthogonal to the second direction in which the deflection mirror is swung by the galvano scanner 12b.
  • There is no general pan / tilt system as a deflecting means, and a galvano scanner that changes the deflection angle by driving a pair of reflecting mirrors by a swing motor as described above enables high-speed and high-precision deflection. .
  • Each of the control unit 13 and the image processing unit 15 may be configured by hardware such as an ASIC or FPGA, or software that executes a program loaded in a memory by an arithmetic device such as a CPU. It may be realized by a combination of hardware and software.
  • the control unit 13 and the image processing unit 15 of this embodiment will be described as software control by an arithmetic device such as a CPU.
  • the control unit 13 calculates the target deflection angle of the galvano scanner from the position information of the flying object 2 given from the outside by means described later, and the drive currents 101a and 101b corresponding to the target deflection angle are the respective galvano scanners 12a and 12b.
  • the applied voltage is adjusted so as to flow through the output.
  • the optical axis 3 of the camera 11 of the moving object imaging apparatus 1 faces the flying object 2.
  • the control unit 13 outputs an imaging trigger signal 103 to the camera 11, and the camera 11 takes an image.
  • the image 102 acquired by the camera 11 is sent to the image processing unit 15, performs image processing to be described later, creates moving image data 104, and sends it to the image display unit 14.
  • a moving image including the flying object 2 is always displayed.
  • FIG. 2 shows a functional block diagram of the control unit 13. Control of the deflection angle of the galvano scanners 12a and 12b based on the measurement by the moving body position measuring means (hereinafter referred to as an external command mode) will be described. In this case, the changeover switch 42 is on the lower side (automatically switched by mode determination).
  • the target deflection angle r c [k] ( ⁇ [k], ⁇ [k]) of the target deflection angle calculation unit 41 in the control unit 13 will be described.
  • the subscript k represents a numerical value at a certain time
  • k-1 represents a numerical value before one control cycle.
  • the adder 45 causes the target deflection angle r c [k] ( ⁇ [k], ⁇ [k]) and the deflection angles of the current galvano scanners 12a and 12b.
  • the deviation of the actual deflection angle r d [k] ( ⁇ d, ⁇ d) is calculated.
  • the current controller 46 applies a drive current i [k] (101a for the galvano scanner 12a, 101b for the galvano scanner 12b) to the galvano scanners 12a and 12b so that the deviation becomes zero.
  • the image processing unit 47 processes the image of the camera 1 and calculates the optical axis deviation amount deflection angle q [k] (q ⁇ [k], q ⁇ [k]) of the camera 1. Since the change-over switch 42 is on the upper side, the adder 43 and the delay operator circuit 44 obtain the value obtained by inverting the positive and negative values with respect to the optical axis deviation amount deflection angle q [k]. Addition is performed at the target deflection angle r c [k ⁇ 1] ( ⁇ [k ⁇ 1], ⁇ [k ⁇ 1]).
  • the deviation from the actual deflection angle rd [k] ( ⁇ d [k], ⁇ d [k]) is calculated for this value.
  • the current controller 46 applies the drive current i [k] (101a, 101b) to the galvano scanners 12a, 12b so that the deviation is zero.
  • the operation may normally be performed in the follow-up mode, and automatically switched to the external command mode when the flying object 2 is out of the field of view of the camera 1 and cannot be supplemented.
  • control unit 12 adjusts the applied voltage so that the deflection angles of the galvano scanners 12a and 12b become ⁇ and ⁇ , so that the drive currents 101a and 101b flow in the galvano scanners 12a and 12b.
  • the optical axis 3 of the camera 11 faces the flying object 2.
  • FIG. 4 is an explanatory diagram schematically and time-sequentially showing the image 102 acquired by the camera 11 and the movement of the two-dimensional galvano unit serving as a deflecting unit.
  • FIG. 5 is an explanatory diagram schematically and chronologically showing the movement of the two-dimensional galvano unit that is the deflecting means.
  • the control unit 12 calculates a target deflection angle and determines a two-dimensional galvano unit that is a deflecting unit. To drive.
  • the two-dimensional galvano unit having the deflection angles ⁇ 1 and ⁇ 1 at time t1 is driven.
  • the deflection angles ⁇ 2 and ⁇ 2 are obtained at time t2.
  • the control unit 12 issues an imaging trigger signal 103 to the camera 11 and acquires an image with the camera 11 from time t2 to time t3 (image 102a).
  • the positioning operation to the target deflection angle calculated based on the position information of the flying object 2 is started again at time t3, and the two-dimensional galvano unit is driven so that the deflection angles ⁇ 3 and ⁇ 3 are obtained.
  • the image is taken by the camera 11 (image 102b).
  • the information update cycle of the moving body position measuring means and the imaging cycle of the camera may be synchronized or may be asynchronous.
  • Reference numeral 102 denotes a plurality of still images, that is, moving images.
  • the image processing unit 15 performs color tone correction processing so that the flying object can be seen clearly in the image 102a. If the imaging cycle of the camera 11 and the image update cycle of the image display unit 14 are the same, the image processing unit 15 performs only the tone correction processing and creates moving image data 14 by joining the acquired images.
  • the tone correction method includes level correction using a histogram that shows how pixels in the image are distributed in each gradation, tone curve correction that can adjust the tone and color of the entire image, etc. is there.
  • the imaging cycle of the camera 11 is later than the image update cycle of the image display unit 14
  • the image 102a is continuously displayed on the image display unit 14 from the time when the image 102a is obtained until the time when the image 102b is obtained. Then, the moving image data 104 is created.
  • the moving image data 14 is created by connecting the image data at the time of updating the image.
  • the moving image including the flying object 2 can always be displayed on the image display unit 14.
  • FIG. 6 is a block diagram of the moving body imaging apparatus 1 and the flying bodies 2a, 2b, and 2c according to the present embodiment.
  • the moving body imaging apparatus 1 according to the present embodiment sequentially changes the optical axis 3 of the camera 11 to image a plurality of flying objects 2a, 2b, and 2c, and creates a plurality of moving image data 104 by the image processing unit 15, A plurality of flying objects are simultaneously displayed on the image display unit 14.
  • the moving body imaging apparatus 1 according to the present embodiment includes three-dimensional relative position information (hereinafter, the flying body 2a) between the moving body imaging apparatus 1 and the flying bodies 2a, 2b, and 2c from other moving body position measuring means (not shown). 2b and 2c) are given to the control unit 13 at the same update cycle.
  • the control unit 13 sequentially calculates the target deflection angle rc [k] ( ⁇ , ⁇ ) by the control unit 13 in accordance with the position information of the flying objects 2a, 2b, and 2c, and drives the two-dimensional galvano unit 2. Change the deflection angle. Note that the method for calculating the target deflection angle is the same as that in the first embodiment, and thus the description thereof is omitted.
  • the control unit 13 outputs an imaging trigger signal 103 to the camera 11 and images the camera 11.
  • the image 102 acquired by the camera 11 is sent to the image processing unit 15, performs image processing to be described later, creates moving image data 104 a, 104 b, 104 c for each flying object, and sends it to the image display unit 14.
  • the image display unit 14 a moving image including the flying objects 2a, 2b, and 2c is always displayed.
  • FIG. 7 is an explanatory diagram schematically showing the movement of the image 102 acquired by the camera 11 and the two-dimensional galvano unit 12 which is a deflecting unit in a time series system.
  • the control unit 12 when position information of the flying bodies 2a, 2b, and 2c is given from other moving body position measuring means, the control unit 12 first calculates a target deflection angle with respect to the flying body 2a, A two-dimensional galvano unit which is a deflection means is driven.
  • the control unit 12 issues an imaging trigger signal 103 to the camera 11 and acquires an image 102a including the flying object 2a.
  • the target deflection angle is calculated based on the position information of the flying object 2b, and the two-dimensional galvano unit 12 is driven.
  • the image is captured by the camera 11 and an image 102b is obtained.
  • the target deflection angle is calculated based on the position information of the flying object 2c, and the two-dimensional galvano unit 12 is driven.
  • the image is captured by the camera 11 and an image 102c is obtained.
  • the imaging target is sequentially changed in order of flying objects 2a ⁇ 2b ⁇ 2c ⁇ 2a ⁇ 2b ⁇ 2c.
  • the imaging cycle of the camera 11 and the position information update cycle of the flying object obtained from the moving body position measuring means may be synchronized or may be asynchronous.
  • the imaging cycle is treated as the operation cycle of the two-dimensional galvano unit 12 (deflection means), and position information at the time of starting to change the deflection angle is used.
  • FIG. 8 shows moving image data 104a, 104b, and 104c of each flying object processed by the image processing unit 15 of the present embodiment.
  • image data 102a, 102b,... Obtained by the image processing unit 15 images of the flying bodies 2a, 2b, 2c are arranged in time series.
  • these images are converted into a plurality of moving image data divided for each flying object.
  • image group captured by the camera 11 of the present embodiment three flying objects are mixed, and images 102a, 102d, and 102g are images that show the flying object 2a.
  • the image processing unit 15 only the image including the flying object 2a is connected in time series with respect to the image after performing the color tone correction processing so that the flying object 2a looks clear, and the moving image data 104a related to the flying object 2a is created. To do. The same processing is performed for the flying bodies 2b and 2c to obtain moving image data 104b and 104c. At this time, the update cycle of each moving image data obtained is one times the number of flying objects in the imaging cycle.
  • FIG. 9 is a diagram showing an example of display on the image display unit 14 in the present embodiment.
  • the image display unit 14 divides the screen area according to the number of flying objects and displays each moving image.
  • a moving image including the flying objects 2a, 2b, and 2c can be always displayed on the image display unit 14 at the same time.
  • three moving image data are sent to the image display unit.
  • the image processing unit 15 reconstructs a still image including each flying object as a single still image by dividing the screen. You may create it as a video by connecting them together. In that case, one moving image data is created.
  • FIG. 10 is a block diagram of the moving object imaging apparatus 1 and the flying object 2 according to the present embodiment.
  • the moving body imaging apparatus 1 includes an optical magnification adjustment mechanism 16, a camera 11, a two-dimensional galvano unit 12, and a control unit 13 that controls the optical magnification adjustment mechanism 16.
  • the optical magnification adjustment mechanism of this embodiment is composed of four lenses and one linear stage 16a, and the focal length of the lens system is changed by moving one lens position in the optical axis direction of the camera 11 with the linear stage 16a. It is realized by letting.
  • the basic operation related to imaging and display is the same as that of the first embodiment, but the control unit 13 of the present embodiment uses the focal length of the optical magnification adjusting mechanism 16 based on the position information of the flying object 2 given from another moving body measuring device. Is different in that the position command 105 is sent to the linear stage 16a.
  • the focal length f (mm) of the optical magnification adjusting mechanism 16 is It can be calculated by
  • 1 is the distance to the flying object (m)
  • a is the horizontal size (mm) of the image sensor
  • w is the lateral width (m) of the flying object.
  • the control unit 13 can display a moving image including the flying object 2 about 1/8 of the screen on the image display unit 14 by driving the linear stage so that the focal length of the lens system becomes the calculated f.
  • FIG. 11 is a block diagram of the moving body imaging apparatus 1 and the flying bodies 2a, 2b, and 2c according to the present embodiment.
  • the moving body imaging apparatus 1 according to the present embodiment has a plurality of magnification optical systems.
  • the optical system of the present embodiment has two lens systems 17a (telephoto) and 17b (wide angle) having different optical magnifications, two galvano scanners 18a and 18b as optical path switching means, and a plurality of deflection mirrors 19. This is different from the second embodiment.
  • the basic operation related to imaging and display is the same as that of the second embodiment, but the control unit 13 of the present embodiment is based on the position information of the flying bodies 2a, 2b, and 2c obtained from other moving body measuring devices (not shown).
  • a suitable optical system is selected and the optical path switching galvano scanners 18a and 18b are driven.
  • the deflection angle of the galvano scanners 18a and 18b is set to i so that the optical axis of the camera 11 becomes the optical axis 3a passing through the lens system 17a on the telephoto side.
  • the drive currents 106a and 106b are supplied to drive to the side.
  • the deflection angle of the galvano scanners 18a and 18b is set to the ii side so that the optical axis of the camera 11 is the optical axis 3b passing through the wide-angle lens system 17b.
  • the configuration of this embodiment can be expected to have higher responsiveness.
  • two lens systems having different optical magnifications are used.
  • it is possible to select a lens having a more suitable focal length by providing an optical system having more magnifications.
  • the image of the flying object displayed on the image display unit 14 can be made clear.
  • two galvano scanners are used for switching the optical path.
  • one galvano scanner and two lens systems each have one camera.
  • Other deflecting means such as a configuration with a mirror attached may be used.
  • FIG. 12 is a block diagram of the moving object imaging apparatus 1 and the flying object 2 according to the present embodiment.
  • the moving body imaging apparatus 1 according to the present embodiment has an illumination system coaxial with the camera 11. 1 is different from FIG. 1 in that a light source 20, a splitter 21, and a damper 22 are provided.
  • Basic operations related to imaging and display are the same as those in the first embodiment.
  • the optical axis 4 of the light source 20 and the optical axis 3 of the camera 11 the same, the surroundings of the mobile imaging device 1 can be visually recognized darkly. Even if it is difficult, the light emitted from the light source 20 always reaches the area imaged by the camera 11 without using a new deflecting means for the light source, and a clear image can be obtained. Note that, by using the camera 11 as an infrared camera and the wavelength of the light source 20 is also infrared, monitoring with higher concealment is possible than using a visible light source.
  • FIG. 13 is a block diagram of the moving object imaging apparatus 1 and the flying object 2 according to the present embodiment.
  • the moving body imaging apparatus 1 calculates the position and size of the flying object in the image 102 acquired by the camera 11, cuts out from the image 102, and creates the moving image data 104, whereby the image display unit 14.
  • the flying object 2 is always displayed at the same size in the center of. 1 differs from FIG. 1 in having an image analysis unit 23.
  • the image analysis unit 23 has a storage unit (not shown), and the storage unit stores the previous image 102 in the imaging cycle. Then, the stored image and the current image are converted into luminance information of 0 to 255 (gray scale), and the difference between the pixel values of the two images is obtained. Pixels whose difference value exceeds a predetermined value are regarded as moving parts and are set to 1 (white), and when the difference value is less than 0 (black) (binarization processing).
  • FIG. 14 shows the result of binarizing the image 102, where the vertical direction is the x direction and the horizontal direction is the y direction.
  • This method is called a frame difference method which is a kind of background difference method.
  • the pixel group is determined as a flying object.
  • the center of gravity position A of the pixel group is defined as the center position 107 of the flying object in the image 102
  • the average of the distance between the outline of the pixel group and the center of the flying object is defined as the size 108 of the flying object.
  • a circle B displayed by a one-dot chain line in FIG. 14 indicates a circle having a radius corresponding to the calculated size of the flying object.
  • Information on the calculated center position 107 and size 108 of the flying object is sent to the image processing unit 15.
  • the image processing unit 15 cuts out a range to be the moving image data 104 from the image 102 and performs an enlargement process. Specifically, an enlarged image is created so that a point A in FIG. 14 is the center and a circle B is displayed in the image with a preset size.
  • FIG. 15 shows the created image data, which is enlarged so that the circle B occupies 1/2 in the vertical direction of the screen with the point A as the center.
  • the images to be created are stitched together, sent to the image display unit 14 as moving image data 104, and displayed.
  • the flying object 2 can be displayed on the image display unit 14 with the same size in the center.
  • the frame difference method was used for detection of the moving object.
  • a background model is obtained from the previous image using a method with high detection accuracy such as an average background method or a codebook method, or a mixed normal distribution. Techniques for reducing the effects of environmental disturbances have been proposed and may be used.
  • the moving body imaging apparatus 1 calculates the position of the flying object in the image 102 acquired by the camera 11, and corrects the deflection angle based on the magnitude of the deviation of the flying object position from the center of the image. It is characterized by that.
  • movement of the control part 13 in FIG. 1 is shown. Different in terms of image analysis.
  • the present embodiment is effective in a situation where the update period of the position information obtained from other moving body position measuring means is significantly longer than the imaging period.
  • the control unit 13 sets the target based on the obtained position information.
  • the deflection angle is calculated, the two-dimensional galvano unit 12 is driven, and the optical axis 3 of the camera 11 is directed toward the flying object 2 to perform imaging.
  • the acquired image 102 is sent to the image processing unit 15 and the control unit 13, and the image processing unit 15 performs color tone correction processing and the like, and creates moving image data 104 to be passed to the image display unit 14.
  • the control unit 13 includes the same functions as those of the image analysis unit 23 described in the sixth embodiment, and calculates the moving body center position in the image in the same procedure as in the sixth embodiment.
  • the control unit 13 of the present embodiment Based on the center position information 107, the next target deflection angle is created. Specifically, when the previous target deflection angle is ( ⁇ [k ⁇ 1], ⁇ [k ⁇ 1]) and the center position of the moving body in the image is (x, y), The target deflection angle ( ⁇ [k], ⁇ [k]) is calculated by the following equation.
  • k x and k y are both adjustment parameters.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • the moving body is a flying body in the present embodiment, a traveling body or a floating body is assumed.
  • SYMBOLS 1 Moving body imaging device, 2 ... Flying object, 11 ... Camera, 12 ... Two-dimensional galvano unit, 13 ... Control part, 14 ... Image display part, 15 ... Image processing part, 101a, 101b ... Drive current, 102 ... Image 104 data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stroboscope Apparatuses (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Accessories Of Cameras (AREA)

Abstract

異なった場所に位置する、カメラの台数以上の移動体を、表示装置に表示する技術を提供する。このため、本発明の移動体撮像装置は、カメラと、偏向手段と、カメラと偏向手段を制御する制御部と、画像処理部と、画像表示部を備え、移動体の撮像を順次繰り返すとともに、画像処理部で取得した画像を基に動画データを作成し、画像表示部に表示することで、上述の課題を解決する。

Description

移動体撮像装置及び移動体撮像方法
　本発明は、移動体撮像装置及び移動体撮像方法に係り、特に、空間上を自由に動く複数の対象物を撮像するのに好適な移動体撮像装置及び移動体撮像方法に関する。
　従来、対象領域で移動する飛行体等の移動体を撮像する装置が知られている。移動体を撮影するためには、移動体をカメラの撮像範囲に捕捉するように、カメラの光軸を移動体に向ける必要がある。カメラの光軸を移動体に向けるために、例えば、異なる二つの軸で回転可能なパン・チルト機構にカメラを取り付けて、パン・チルト機構を駆動することでカメラを移動することが考えられた。
　この場合、カメラ自体をパン・チルト機構に取り付けて動かしており、移動体の追跡に係る移動速度はカメラ自体の重量で制限されるので、カメラの移動について俊敏な応答速度は期待できない。そこで、ガルバノスキャナで駆動される偏向ミラーを用い、移動体を追跡しながら撮影する技術が開示されている。具体的には、偏向ミラーの偏向角度を変えながら、高速な撮像周期で移動体を撮像する。このような技術は例えば特開２０１５－８２７２０号公報に記載されている。
特開２０１５－８２７２０号公報
　上記従来技術において、偏向ミラーをガルバノスキャナで駆動して移動体を追跡するものであり、ガルバノスキャナ駆動の応答時間として短い特性が可能であり、移動速度の速い移動体の撮像が可能になる。しかしながら、その移動体の追跡にあたっては、偏向ミラーの偏向角度を連続的に変えており、連続的な偏向に対応するために高速な撮像周期で移動体を撮像するものであり、結果として、高速撮影に適した高能力のカメラが必要不可欠とならざるを得ない。
　本発明は、上述のような課題を解決するためになされたもので、撮像に時間的な自由度が持てる移動体撮像装置及び移動体撮像方法を提供することにある。
　上記目的を達成するために、本発明では、撮像器と、移動体の位置の情報を得る位置情報入手部と、前記移動体と前記撮像器の相対的な偏向角度を変える偏向器を有し、前記移動体の像を前記偏向器を介して前記カメラで撮像するものであって、前記位置情報に基づいて前記移動体が前記撮像器の視野に入るように前記偏向器を所定の偏向角度に移動させ前記偏向角度を保った状態で前記移動体を撮像するように構成した。
　あるいは、カメラと、偏向手段と、カメラと偏向手段を制御する制御部と、画像処理部と、画像表示部を備え、移動体の撮像を順次繰り返すとともに、画像処理部で取得した画像を基に動画データを作成し、画像表示部に表示する。
　本発明によれば、時間的な自由度を持って移動体が撮像可能となる。
実施例１の移動体撮像装置と移動体のブロック図である。 実施例１の制御ブロック図である。 実施例１の移動体撮像装置と移動体の位置関係を表す図である。 実施例１の撮像と偏向動作の時間軸における関係を表す図である。 実施例１のガルバノスキャナーの偏向動作の時間軸における関係を表す図である。 実施例２の移動体撮像装置と飛行体のブロック図である。 実施例２の撮像動作と偏向角の変更動作の時間軸における関係を示す図である。 実施例２の画像処理部で処理された、各飛行体の動画データである。 実施例２の画像表示部で表示される画像の一例である。 実施例３の移動体撮像装置と飛行体のブロック図である。 実施例４の移動体撮像装置と飛行体のブロック図である。 実施例５の移動体撮像装置と飛行体のブロック図である。 実施例６の移動体撮像装置と飛行体のブロック図である。 実施例６の画像処理部での画像切り出し動作を説明する図である。 実施例７の移動体撮像装置と飛行体のブロック図である。
　以下、本発明の各実施例を説明する。以下の実施の形態において、便宜上その必要があるときは、複数の実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態を説明するための全図において、同一機能を有するものは原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の実施の形態を図面に基づいて詳細に説明する。
　図１に、本実施例の移動体撮像装置１および移動体である飛行体２を含むブロック図を示す。図１では、飛行体２を側面側から見た図で示している。本実施例の移動体撮像装置１は、カメラ１１（撮像器とも称する）と、二次元ガルバノユニット１２（偏向手段、偏向器とも称する）と、カメラ１１と偏向手段１２を制御する制御部１３と、画像処理部１５と、画像表示部１４を備え、移動体（飛行体２）の撮像を順次繰り返すとともに、画像処理部１５で取得した画像を基に動画データを作成し、画像表示部１４に表示することを特徴とする。また、カメラ１１が撮像を終了した後に偏向角度を変え始め、所定の偏向角度となった後に次の撮像を行うことを特徴とする。
　図１に示すように、本実施例に係る移動体撮像装置１は、カメラ１１と、カメラ１１の視野を偏向する二次元ガルバノユニット１２と、カメラ１１と二次元ガルバノユニット１２を制御する制御部１３と、カメラ１１で取得した静止画像を動画として処理する画像処理部１５と、画像表示部１４と、を備える。本実施例の移動体撮像装置１周辺には、電波探知測距機（レーダー）などの他の移動体の位置を計測する外部装置（図示せず）が設置されており、制御部１３は、制御部１３内の位置情報入手部（図示せず）を介して、移動体撮像装置１と撮像対象である飛行体２の三次元相対位置情報（以下、飛行体２の位置情報）が外部（外部装置）より与えられる。また本実施例でのカメラの撮像周期は、ガルバノスキャナの位置決め速度と比較して遅い。偏向手段である二次元ガルバノユニット１２は、先端に設けられている偏向ミラーを第１方向に揺動するガルバノスキャナ１２ａと、先端に設けられている偏向ミラーを第２方向に揺動するガルバノスキャナ１２ｂと、ガルバノスキャナ１２ａを駆動するガルバノ駆動部（図示せず）と、ガルバノスキャナ１２ｂを駆動するガルバノ駆動部（図示せず）と、を有する。ここで、本実施例ではガルバノスキャナ１２ａによって偏向ミラーを揺動する第１方向と、ガルバノスキャナ１２ｂによって偏向ミラーを揺動する第２方向は直交している。偏向手段として一般的なパン・チルト方式はなく、上述のように一対の反射ミラーを揺動モータによって駆動して偏向角度を変えるガルバノスキャナとすることで、高速かつ高精度な偏向が可能になる。
　なお、制御部１３及び画像処理部１５はそれぞれ、ＡＳＩＣやＦＰＧＡのようなハードウェアで構成されたものであっても良いし、メモリにロードされたプログラムをＣＰＵなどの演算装置で実行するソフトウェアであっても良いし、ハードウェアとソフトウェアを組み合わせて実現されるものであっても良い。本実施例の制御部１３及び画像処理部１５は、ＣＰＵなどの演算装置によるソフトウェア制御として説明する。
　次に、本実施例に係る移動体撮像装置１の撮像動作について説明する。制御部１３では、外部より与えられる飛行体２の位置情報から、後述する手段によってガルバノスキャナの目標偏向角度を算出し、目標偏向角度に応じた駆動電流１０１ａ、１０１ｂがそれぞれのガルバノスキャナ１２ａ、１２ｂに流れるように印加電圧を調整して出力する。その結果、移動体撮像装置１のカメラ１１の光軸３は、飛行体２を向く。上記位置決め動作を完了すると、制御部１３はカメラ１１に撮像トリガ信号１０３を出力し、カメラ１１は撮像する。カメラ１１で取得された画像１０２は画像処理部１５に送られ、後述する画像処理を行って動画データ１０４を作成し、画像表示部１４に送る。画像表示部１４では、飛行体２を含む動画が常に表示される。
　次に、図２に、制御部１３の機能ブロック図を示す。移動体位置計測手段の計測に基づくガルバノスキャナ１２ａ、１２ｂの偏向角度の制御（以下、外部指令モードと称する）を説明する。この場合、切替スイッチ４２は下側となっている（モード判定で自動的に切り替わる）。
　制御部１３における目標偏向角度算出部４１の目標偏向角度ｒｃ [ｋ]（θ[ｋ]、φ[ｋ]）の算出を説明する。ここで、添え字のｋは、ある時刻における数値であることを表し、ｋ‐1は一制御周期前の数値であることを示す。図３に示す移動体撮像装置１と他の移動体位置計測手段が同位置とみなせる場合の、移動体撮像装置１と飛行体２の位置関係において、飛行体２の移動体撮像装置１に対する相対位置である位置情報（ｘ、ｙ、ｚ）から、カメラ１１の光軸３が飛行体２を向く場合の各ガルバノスキャナ１２ａ、１２ｂの目標偏向角度θ（ｚ軸に対する角度）、φ（ｘ軸に対する角度）は、次式で求められる。
Figure JPOXMLDOC01-appb-M000001
　いま、切替スイッチ４２は下側となっているので、加算器４５で、目標偏向角度ｒｃ　[k]（θ［ｋ］，φ［ｋ］）と、現在のガルバノスキャナ１２ａ、１２ｂの偏向角度である実績偏向角度ｒｄ [ｋ]（θd、φd）の偏差を演算する。この偏差をゼロとするように電流制御器４６がガルバノスキャナ１２ａ、１２ｂに駆動電流ｉ [ｋ](ガルバノスキャナ１２ａに対する１０１ａ,ガルバノスキャナ１２ｂに対する１０１ｂ)を印加する。
　次に、カメラ１１のイメージデータに基づくガルバノスキャナ１２ａ、１２ｂの偏向角度の制御（以下、追従モードと称する）を説明する。イメージ処理部４７で、カメラ１の画像を処理して、カメラ１の光軸ずれ量偏向角度ｑ [ｋ]（ｑθ[ｋ]、ｑφ[ｋ]）を演算する。切替スイッチ４２は上側となっているので、この光軸ずれ量偏向角度ｑ [ｋ]について正負を反転した値に対して、加算器４３で、遅れ演算子回路４４で得られる一制御周期前の目標偏向角度ｒｃ [ｋ‐1]（θ［ｋ‐1］，φ［ｋ‐1］）で加算演算を行う。この値に対して、実績偏向角度ｒｄ [k]（θｄ[ｋ]、φｄ[ｋ]）との偏差を演算する。この偏差をゼロとするように電流制御器４６がガルバノスキャナ１２ａ、１２ｂに駆動電流ｉ [ｋ]（１０１ａ、１０１ｂ）を印加する。
　なお、通常は追従モードで動作し、飛行体２がカメラ１の視野から外れて補足できなくなった場合に自動的に外部指令モードに切り替わるようにしても良い。
　このように、制御部１２で、各ガルバノスキャナ１２ａ、１２ｂの偏向角度がθ、φとなるよう印加電圧を調整することで、各ガルバノスキャナ１２ａ、１２ｂに駆動電流１０１ａ、１０１ｂが流れ、その結果カメラ１１の光軸３が飛行体２を向く。
　次に、カメラ１１の撮像動作について、図４及び図５を用いて説明する。図４はカメラ１１で取得する画像１０２と、偏向手段である二次元ガルバノユニットの動きを時系列的かつ模式的に示した説明図である。図５は、偏向手段である二次元ガルバノユニットの動きを時系列的かつ模式的に示した説明図である。
　本実施例の移動体撮像装置１は、他の移動体位置計測手段から飛行体２の位置情報が与えられると、制御部１２は目標偏向角度を算出して偏向手段である二次元ガルバノユニットを駆動する。
　図５で時間ｔ１において偏向角度θ１、φ１であった二次元ガルバノユニットを駆動する。その結果、時間ｔ２において偏向角度θ２、φ２となる。時間ｔ２において位置決め動作が完了すると、カメラ１１の光軸３は飛行体２を向いている。その状態で、制御部１２はカメラ１１に撮像トリガ信号１０３を出し、時間ｔ２から時間ｔ３でカメラ１１で画像を取得する（画像１０２ａ）。
　画像を取得すると、時間ｔ３において再び飛行体２の位置情報を基に算出した目標偏向角度への位置決め動作を始め、偏向角度θ３、φ３となるように二次元ガルバノユニットを駆動する。偏向角度θ３、φ３となったら、カメラ１１で撮像する（画像１０２ｂ）。このように、撮像と位置決め動作を交互に実施することで、撮像範囲に飛行体２が含まれる連続した画像１０２ａ～１０２ｉが得られる。このとき、移動体位置計測手段の情報更新周期とカメラの撮像周期を同期してもよいし、非同期としてもよい。非同期の場合で、飛行体２の位置情報の更新周期がカメラ１１の撮像周期よりも遅い場合は、次の情報更新までガルバノスキャナを動かさず、同じ光軸でカメラ１１は撮像を続けるため、画像１０２は複数の静止画、つまり動画となる。
　画像処理部１５では、画像１０２ａで飛行体が鮮明に見えるように、色調補正処理を行う。カメラ１１の撮像周期と画像表示装部１４の画像更新周期が同一であれば、画像処理部１５は色調補正処理のみ実施し、取得した画像をつなぎ合わせた動画データ１４を作成する。なお、色調補正法としては画像内の画素が各階調にどのように分布しているかを示すヒストグラムを用いたレベル補正や、画像全体の色調やカラーを調整することが可能なトーンカーブ補正などがある。一方、カメラ１１の撮像周期が画像表示部１４の画像更新周期よりも遅い場合、画像１０２ａが得られた時刻から画像１０２ｂが得られる時刻の間、画像表示部１４で画像１０２ａが表示され続けるように、動画データ１０４を作成する。逆に、カメラ１１の撮像周期が画像表示部１４の画像更新周期よりも早い場合、画像を更新する時点での画像データをつなぎ合わせて動画データ１４を作成する。
　以上の手順により、画像表示部１４には飛行体２を含む動画が常に表示できる。
　図６は、本実施例に係る移動体撮像装置１と飛行体２ａ、２ｂ、２ｃのブロック図である。本実施例に係る移動体撮像装置１は、カメラ１１の光軸３を順次変更して複数の飛行体２ａ、２ｂ、２ｃを撮像し、画像処理部１５で複数の動画データ１０４を作成し、画像表示部１４に複数の飛行体を同時に表示することを特徴とする。本実施例の移動体撮像装置１には、他の移動体位置計測手段（図示せず）から移動体撮像装置１と飛行体２ａ、２ｂ、２ｃの三次元相対位置情報（以下、飛行体２ａ、２ｂ、２ｃの位置情報）が同一の更新周期で制御部１３に与えられるものとする。本実施例の制御部１３は、飛行体２ａ、２ｂ、２ｃの各位置情報に従って制御部１３で順次目標偏向角度ｒｃ [ｋ]（θ、φ）を算出し、二次元ガルバノユニット２を駆動し、偏向角度を変更する。なお、目標偏向角度の算出方法は実施例１と同様であるため、説明を割愛する。二次元ガルバノユニット１２の位置決めが完了すると、制御部１３はカメラ１１に撮像トリガ信号１０３を出力し、カメラ１１により撮像する。カメラ１１で取得された画像１０２は画像処理部１５に送られ、後述する画像処理を行って各飛行体の動画データ１０４ａ、１０４ｂ、１０４ｃを作成し、画像表示部１４に送る。画像表示部１４では、飛行体２ａ、２ｂ、２ｃを含む動画が常
に表示される。
　次に、カメラの撮像動作について、図７を用いて説明する。図７はカメラ１１で取得される画像１０２と偏向手段である二次元ガルバノユニット１２の動きを時系列系かつ模式的に示した説明図である。本実施例の移動体撮像装置１は、他の移動体位置計測手段から飛行体２ａ、２ｂ、２ｃの位置情報が与えられると、制御部１２はまず飛行体２ａに対する目標偏向角度を算出し、偏向手段である二次元ガルバノユニットを駆動する。位置決め動作が完了し、カメラ１１の光軸３が飛行体２ａを向くと、制御部１２はカメラ１１に撮像トリガ信号１０３を出し、飛行体２ａを含む画像１０２ａを取得する。飛行体２ａを含む画像を取得すると、次は飛行体２ｂの位置情報を基に目標偏向角度を算出し、二次元ガルバノユニット１２を駆動する。位置決め動作を完了すると、カメラ１１で撮像して画像１０２ｂを得る。飛行体２ｂを含む画像を取得すると、次は飛行体２ｃの位置情報を基に目標偏向角度を算出し、二次元ガルバノユニット１２を駆動する。位置決め動作が完了すると、カメラ１１で撮像して画像１０２ｃを得る。本実施例のように、三つの飛行体を撮像する場合は、撮像対象を飛行体２ａ→２ｂ→２ｃ→２ａ→２ｂ→２ｃ…と順次変更して連続して取得する。このように、複数の飛行体に対して撮像と位置決め動作を順次実施することで、撮像範囲に対象とした飛行体が含まれる連続した画像１０２ａ～１０２ｉが得られる。このとき、カメラ１１の撮像周期と移動体位置計測手段から得られる飛行体の位置情報更新周期は同期させてもよいし、非同期でもよい。非同期の場合、撮像周期を二次元ガルバノユニット１２（偏向手段）の動作周期として扱い、偏向角度を変え始める時点の位置情報を用いる。
　次に、画像処理部１５での処理について、図８を用いて説明する。図８は本実施例の画像処理部１５で処理された、各飛行体の動画データ１０４ａ、１０４ｂ、１０４ｃである。画像処理部１５が得る画像データ１０２ａ、１０２ｂ…には、飛行体２ａ、２ｂ、２ｃの画像が時系列順に並んでいる。本実施例の画像処理部１５では、これらの画像を飛行体毎に分けた複数の動画データにする。本実施例のカメラ１１で撮像した画像群には三つの飛行体が混在するが、そのうち飛行体２ａが写る画像は画像１０２ａ、１０２ｄ、１０２ｇである。画像処理部１５では、飛行体２ａが鮮明に見えるように色調補正処理を行った後の画像について、飛行体２ａを含む画像のみを時系列順につなぎ合わせ、飛行体２ａに係る動画データ１０４ａを作成する。飛行体２ｂ、２ｃについても同様の処理を行い、動画データ１０４ｂ、１０４ｃを得る。このとき、得られる各動画データの更新周期は撮像周期の飛行体数分の一になる。
　図９は、本実施例における画像表示部１４における表示の一例を示す図である。画像表示部１４は飛行体の数に合わせて画面の領域を分割し、それぞれの動画を表示する。
　以上の手順により、画像表示部１４には飛行体２ａ、２ｂ、２ｃを含む動画を常に同時に表示することができる。なお、本実施例では三つの動画データを画像表示部に送付したが、画像処理部１５で各飛行体をそれぞれ含む静止画を、画面を分割して一つの静止画として再構成し、時系列につなぎ合わせて動画として作成してもよい。その場合、作成される動画データは一つとなる。
　図１０は、本実施例に係る移動体撮像装置１と飛行体２のブロック図である。本実施例に係る移動体撮像装置１は、光学倍率調整機構１６と、カメラ１１と二次元ガルバノユニット１２と光学倍率調整機構１６を制御する制御部１３を備えることを特徴とする。なお、本実施例の光学倍率調整機構は四枚のレンズと一つのリニアステージ１６ａにより構成され、レンズ系の焦点距離の変更はリニアステージ１６ａで一つのレンズ位置をカメラ１１の光軸方向に移動させることで実現する。
　撮像や表示に係る基本動作は実施例１と同様であるが、本実施例の制御部１３は他の移動体計測装置より与えられる飛行体２の位置情報から、光学倍率調整機構１６の焦点距離が適切となるように、リニアステージ１６ａに位置指令１０５を送る点が異なる。今、飛行体２はカメラ１１の水平方向に長く、また画面の１／８程度の大きさで画面に表示するものとした場合、光学倍率調整機構１６の焦点距離ｆ（ｍｍ）は、下式で算出できる。
Figure JPOXMLDOC01-appb-M000002
ここで、ｌ：飛行体までの距離（ｍ）、ａ：イメージセンサの水平方向の大きさ（ｍｍ）、ｗ：飛行体の横幅（ｍ）である。例えば、カメラ１１のイメージセンサが１／２型（水平６．４ｍｍ、垂直４．８ｍｍ）で、飛行体までの距離が１００ｍ、飛行体の横幅が０．５ｍである場合、焦点距離は１６０ｍｍとなるように設定すればよい。制御部１３は、レンズ系の焦点距離が算出したｆとなるようにリニアステージを駆動することで、画像表示部１４に飛行体２を画面の１／８程度含む動画を表示することができる。
　図１１は、本実施例に係る移動体撮像装置１と飛行体２ａ、２ｂ、２ｃのブロック図である。本実施例に係る移動体撮像装置１は、複数の倍率の光学系を持つことを特徴とする。本実施例の光学系は、光学倍率の異なる二つのレンズ系１７ａ（望遠）、１７ｂ（広角）と、光路切り替え手段である二つのガルバノスキャナ１８ａ、１８ｂと、複数の偏向ミラー１９を持つ点が、実施例２と異なる。
　撮像や表示に係る基本動作は実施例２と同様であるが、本実施例の制御部１３は他の移動体計測装置（図示せず）より得られる飛行体２ａ、２ｂ、２ｃの位置情報から、適した光学系を選択し、光路切り替え用ガルバノスキャナ１８ａ、１８ｂを駆動する点が異なる。具体的には、飛行体２ａが移動体撮像装置１より遠い場合、カメラ１１の光軸が望遠側のレンズ系１７ａを通る光軸３ａとなるように、ガルバノスキャナ１８ａ、１８ｂの偏向角度をｉ側となるよう駆動電流１０６ａ、１０６ｂを流して駆動する。一方、近い場合は、カメラ１１の光軸が広角側のレンズ系１７ｂを通る光軸３ｂとなるように、ガルバノスキャナ１８ａ、１８ｂの偏向角度をｉｉ側とする。実施例３よりも光路が複雑になるが、本実施例の構成はより高い応答性が見込める。
　本実施例では光学倍率の異なるレンズ系を二つとしたが、より多くの倍率の光学系を持たせることで、より適した焦点距離のレンズを選択することが可能となる。その結果、画像表示部１４で表示される飛行体の画像を鮮明にできる。また、本実施例では光路切り替えに二つのガルバノスキャナを用いたが、一つのガルバノスキャナと、二つのレンズ系それぞれにカメラを一つずつ持たせる構成や、光路系の切り替えにソレノイドやピエゾモータに反射ミラーを取りつけた構成にするなど、他の偏向手段を用いてもよい。
　図１２は、本実施例に係る移動体撮像装置１と飛行体２のブロック図である。本実施例に係る移動体撮像装置１は、カメラ１１と同軸に照明系を持つことを特徴とする。図１とは、光源２０と、スプリッタ２１と、ダンパ２２を備えることが異なる。
　撮像や表示に係る基本動作は実施例１と同様であるが、光源２０の光軸４とカメラ１１の光軸３を同一とすることで、移動体撮像装置１の周囲が暗く視認することが困難な場合でも、光源用の新たな偏向手段を用いずともカメラ１１で撮像する領域は常に光源２０が発する光が届くことになり、鮮明な画像が得られる。なお、カメラ１１を赤外線カメラとし、光源２０の波長も赤外線とすることで、可視光の光源を用いるよりも隠密性の高い監視が可能となる。
　図１３は、本実施例に係る移動体撮像装置１と飛行体２のブロック図である。本実施例に係る移動体撮像装置１は、カメラ１１で取得した画像１０２内の飛行体の位置と大きさを算出し、画像１０２から切り出して動画データ１０４を作成することで、画像表示部１４の中央に常に飛行体２を同じ大きさで表示することを特徴とする。図１とは、画像解析部２３を持つ点が異なる。
　撮像に係る基本動作は実施例１と同様であるため、ここでは画像解析部２３と画像処理部１５の動作について説明する。画像解析部２３は記憶部（図示せず）を持ち、記憶部には撮像周期的に一つ前の画像１０２を記憶している。そして、記憶した画像と現画像を０～２５５の輝度情報に変換（グレースケール化）し、二つの画像の各画素値の差分を求める。差分値があらかじめ定めた値を超える画素は動きのある部分とみなして１（白）とし、下回る場合は０（黒）とする（二値化処理）。図１４は画像１０２に対して二値化処理した結果を示し、上下方向がｘ方向、左右方向がｙ方向とする。この方法は、背景差分法の一種であるフレーム差分法と呼ばれる。画像内で動きのある画素群の面積があらかじめ定める大きさや形であるとき、その画素群を飛行体と判定する。このとき、画素群の重心位置Ａを画像１０２における飛行体の中心位置１０７とし、画素群の輪郭線と飛行体中心までの距離の平均を飛行体の大きさ１０８と定義する。図１４の一点鎖線で表示された円Ｂは、算出された飛行体の大きさを半径とする円を示す。算出した飛行体の中心位置１０７と大きさ１０８の情報は画像処理部１５に送付される。
　次に、画像処理部１５では、画像１０２から動画データ１０４にする範囲を切り出し、拡大処理を行う。具体的には、図１４の点Ａが中心となり、かつ円Ｂがあらかじめ設定された大きさで画像内に表示されるように拡大した画像を作成する。図１５は作成された画像データであり、点Ａを中心とし、円Ｂが画面の垂直方向に１／２を占めるように拡大されている。作成される画像をつなぎ合わせ、動画データ１０４として画像表示部１４に送り、表示する。
　以上の手順により、画像表示部１４に飛行体２を中央に同じ大きさで表示することができる。なお、本実施例では移動体の検出にフレーム差分法を用いたが、平均背景法やコードブック法など検出精度の高い手法や、また混合正規分布を用いてひとつ前の画像から背景モデルを求めて環境外乱による影響低減をする手法が提案されており、それらを用いてもよい。
　本実施例に係る移動体撮像装置１は、カメラ１１で取得した画像１０２内の飛行体の位置を算出し、画像中心からの飛行体位置のずれ量の大きさに基づいて偏向角度を修正することを特徴とする。図１における制御部１３の動作の詳細を示す。画像解析の点で異なる。本実施例は、他の移動体位置計測手段より得られる位置情報の更新周期が撮像周期より大幅に長い状況に有効である。
　移動体撮像装置１で一つ前の撮像が終了した時点で、移動体位置計測手段より得られる飛行体の位置情報が更新されている場合、制御部１３は得られた位置情報を基に目標偏向角度を算出し、二次元ガルバノユニット１２を駆動させてカメラ１１の光軸３を飛行体２に向け、撮像を行う。取得した画像１０２は画像処理部１５及び制御部１３に送付され、画像処理部１５では色調補正処理などを実施し、画像表示部１４に渡す動画データ１０４を作成する。制御部１３では、実施例６記載の画像解析部２３と同様な機能を含んで構成されており、実施例６と同じ手順で画像内の移動体中心位置を算出する。撮像が終了し、画像内での中心位置情報１０７が求められた段階で、移動体位置計測手段より得られる飛行体の位置情報が更新されない場合、本実施例の制御部１３は画像内での中心位置情報１０７を基に、次の目標偏向角度を作成する。具体的には、一つ前の目標偏向角度を（θ［ｋ－１］，φ［ｋ－１］）とし、画像内での移動体の中心位置を（ｘ，ｙ）とすると、次の目標偏向角度（θ［ｋ］，φ［ｋ］）を下式で算出する。
Figure JPOXMLDOC01-appb-M000003
ここで、ｋｘ、ｋｙはともに調整パラメータである。取得した画像中心からの飛行体中心位置のずれ量の大きさに基づいて目標偏向角度を修正することで、飛行体２の飛行速度が激変した場合にも飛行体２を含む画像を得られるようになる。
　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、本実施例では移動体を飛行体としたが、他には走行体または浮体が想定される。
１…移動体撮像装置，２…飛行体，１１…カメラ，１２…二次元ガルバノユニット，１３…制御部，１４…画像表示部，１５…画像処理部，１０１ａ、１０１ｂ…駆動電流，１０２…画像，１０４…動画データ

Claims (12)

  1. 　撮像器と、移動体と前記撮像器の相対的な偏向角度を変える偏向器を有し、前記移動体の像を前記偏向器を介して前記撮像器で撮像する移動体撮像装置であって、外部から得た前記移動体の位置情報に基づいて前記移動体が前記撮像器の視野に入るように前記偏向器を所定の偏向角度に移動させ前記偏向角度を保った状態で前記移動体を撮像することを特徴とする、移動体撮像装置。
  2. 　請求項１において、撮像器が撮像を終了した後に偏向角度を変え始め、所定の偏向角度となった後に次の撮像を行うことを特徴とする、移動体撮像装置。
  3. 　請求項１において、複数の移動体を撮像可能に構成されることを特徴とする移動体撮像装置。
  4. 　請求項３において、前記撮像器で撮像した画像を複数の動画に画像処理する画像処理部を有することを特徴とする移動体撮像装置。
  5. 　請求項４において、画像表示部を有し、前記画像表示部に複数の移動体を同時に表示することを特徴とする移動体撮像装置。
  6. 　請求項１乃至５記載のいずれかにおいて、前記偏向器は、ガルバノスキャナであることを特徴とする移動体撮像装置。
  7. 　請求項１乃至５記載のいずれかにおいて、前記撮像器の光学倍率調整機構を備えることを特徴とする移動体撮像装置。
  8. 　請求項１乃至５記載のいずれかにおいて、前記撮像器と前記移動体の間に複数の光路を持つことを特徴とする移動体撮像装置。
  9. 　請求項１乃至５記載のいずれかにおいて、前記撮像器と同軸に照明系を持つことを特徴とする移動体撮像装置。
  10. 　請求項１乃至５記載のいずれかにおいて、取得した画像内での移動体位置と大きさを特定する画像解析部を持ち、前記画像解析部は、算出した画像内の移動体位置と大きさの情報を基に、取得した画像での表示範囲を決定することを特徴とする移動体撮像装置。
  11. 　請求項１乃至５記載のいずれかにおいて、取得した画像内での移動体位置を特定する画像解析部を持ち、画像内の移動体位置を基に偏向手段の偏向角度を修正することを特徴とする移動体撮像装置。
  12. 　移動体の位置の情報を入手し、前記情報に基づいて前記移動体が撮像器の視野に入るように偏向器を所定の偏向角度に移動させ、前記偏向角度を保った状態で、前記偏向器を介して前記移動体の像を前記撮像器で撮像する移動体撮像方法。
PCT/JP2018/003580 2017-03-31 2018-02-02 移動体撮像装置及び移動体撮像方法 WO2018179829A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18762444.0A EP3606034A4 (en) 2017-03-31 2018-02-02 APPARATUS FOR IMAGING MOVING OBJECTS AND METHOD FOR IMAGING MOVING OBJECTS
CN201880001457.0A CN108990428B (zh) 2017-03-31 2018-02-02 移动体摄像装置以及移动体摄像方法
US16/088,214 US11330162B2 (en) 2017-03-31 2018-02-02 Moving object imaging device and moving object imaging method
JP2018538796A JP6452913B1 (ja) 2017-03-31 2018-02-02 移動体撮像装置及び移動体撮像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017069571 2017-03-31
JP2017-069571 2017-03-31

Publications (1)

Publication Number Publication Date
WO2018179829A1 true WO2018179829A1 (ja) 2018-10-04

Family

ID=63674939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003580 WO2018179829A1 (ja) 2017-03-31 2018-02-02 移動体撮像装置及び移動体撮像方法

Country Status (5)

Country Link
US (1) US11330162B2 (ja)
EP (1) EP3606034A4 (ja)
JP (1) JP6452913B1 (ja)
CN (1) CN108990428B (ja)
WO (1) WO2018179829A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077091A (ja) * 2019-11-08 2021-05-20 株式会社デンソーテン 画像処理装置および画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032021A1 (en) * 2011-04-14 2014-01-30 Hexagon Technology Center Gmbh System and method for controlling an unmanned air vehicle
JP2015082720A (ja) 2013-10-22 2015-04-27 株式会社デンソー 発振器および信号処理回路
JP2015222913A (ja) * 2014-05-23 2015-12-10 国立大学法人広島大学 間歇的トラッキング撮影装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100437080B1 (ko) * 2002-01-17 2004-06-23 박희재 광커넥터용 페룰 검사기 및 그 방법
JP4239954B2 (ja) * 2004-11-17 2009-03-18 カシオ計算機株式会社 カメラ装置及び合焦領域制御プログラム
JP4566166B2 (ja) * 2006-02-28 2010-10-20 三洋電機株式会社 撮影装置
DE102007058943A1 (de) 2007-12-07 2009-06-10 Emt Ingenieurgesellschaft Dipl.-Ing. Hartmut Euer Mbh Multispektrale Videovorrichtung für die luftgestützte Beobachtung
JP4715909B2 (ja) 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
JP4748250B2 (ja) * 2009-02-27 2011-08-17 ソニー株式会社 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム
JP5800494B2 (ja) * 2010-11-19 2015-10-28 キヤノン株式会社 特定領域選択装置、特定領域選択方法及びプログラム
EP2511781A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH System und Verfahren zur Steuerung eines unbemannten Fluggeräts
CN102148965B (zh) 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控系统
EP2523017A1 (de) * 2011-05-13 2012-11-14 Hexagon Technology Center GmbH Kalibrierverfahren für ein Gerät mit Scanfunktionalität
US9137433B2 (en) * 2011-09-19 2015-09-15 Michael Mojaver Super resolution binary imaging and tracking system
KR101287738B1 (ko) 2012-01-06 2013-07-19 고려대학교 산학협력단 무주사 방식의 단일 광섬유 내시경 장치 및 이를 이용한 이미지 획득방법
JP5912062B2 (ja) 2012-05-24 2016-04-27 オリンパス株式会社 撮影機器及び動画像データの記録方法
CN104125379B (zh) 2013-04-23 2018-05-04 奥林巴斯株式会社 摄像装置
JP5729622B2 (ja) 2013-10-22 2015-06-03 国立大学法人 東京大学 ブラーレス画像撮像システム
JP6367563B2 (ja) * 2014-01-28 2018-08-01 株式会社トプコン 眼科装置
CN104154997B (zh) * 2014-07-16 2016-02-10 北京空间机电研究所 一种无人机载轻小型自稳定航空多光谱成像系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032021A1 (en) * 2011-04-14 2014-01-30 Hexagon Technology Center Gmbh System and method for controlling an unmanned air vehicle
JP2015082720A (ja) 2013-10-22 2015-04-27 株式会社デンソー 発振器および信号処理回路
JP2015222913A (ja) * 2014-05-23 2015-12-10 国立大学法人広島大学 間歇的トラッキング撮影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3606034A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077091A (ja) * 2019-11-08 2021-05-20 株式会社デンソーテン 画像処理装置および画像処理方法
JP7360303B2 (ja) 2019-11-08 2023-10-12 株式会社デンソーテン 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JPWO2018179829A1 (ja) 2019-04-04
EP3606034A1 (en) 2020-02-05
EP3606034A4 (en) 2020-12-16
JP6452913B1 (ja) 2019-01-16
US11330162B2 (en) 2022-05-10
CN108990428B (zh) 2021-09-07
US20200314310A1 (en) 2020-10-01
CN108990428A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
US10904430B2 (en) Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle
JP4032603B2 (ja) ３次元計測装置
CN108700408B (zh) 三维形状数据及纹理信息生成系统、方法及拍摄控制方法
US10948719B2 (en) Inspection device and inspection method
JPS59115677A (ja) 画像処理装置
WO2015060181A1 (ja) ブラーレス画像撮像システム
JP2015012559A (ja) 投射型表示装置
US20120147196A1 (en) Calibration method and apparatus for optical imaging lens system with double optical paths
JP6452913B1 (ja) 移動体撮像装置及び移動体撮像方法
CN111699412B (zh) 利用激光跟踪测距仪的驱动测量、来计算三维数值驱动控制仪器的三维驱动数值的方法
US9787891B2 (en) Focus control apparatus and focus control method
JP2017183804A (ja) 間歇的トラッキング撮影装置
KR100340012B1 (ko) 가동거울을 이용한 제품 검사방법 및 컴퓨터 비젼시스템
JP7228294B2 (ja) プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム
JP2007314023A (ja) 運転支援システム
JP2022068641A (ja) 粒子測定装置、粒子測定方法およびプログラム
JP2013047760A (ja) 指示位置表示装置および指示位置表示システム
JP3733625B2 (ja) ３次元計測のための撮像装置
JP2021182698A (ja) 撮像装置及びその制御方法
JP2004294569A (ja) カメラシステム
US20150207972A1 (en) Image acquisition apparatus
Hirano et al. Falcon: A Wide-and-Deep Onboard Active Vision System
JP2012154862A (ja) ３次元寸法測定装置
JP7418760B2 (ja) 情報処理システム
US11463674B1 (en) Imaging system and display apparatus incorporating super resolution using fixed focus cameras

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018538796

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18762444

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018762444

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018762444

Country of ref document: EP

Effective date: 20191031