WO2018055861A1 - 移動体制御装置および移動体制御システム - Google Patents

移動体制御装置および移動体制御システム Download PDF

Info

Publication number
WO2018055861A1
WO2018055861A1 PCT/JP2017/023521 JP2017023521W WO2018055861A1 WO 2018055861 A1 WO2018055861 A1 WO 2018055861A1 JP 2017023521 W JP2017023521 W JP 2017023521W WO 2018055861 A1 WO2018055861 A1 WO 2018055861A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
camera
body control
control device
control system
Prior art date
Application number
PCT/JP2017/023521
Other languages
English (en)
French (fr)
Inventor
大介 松家
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2018055861A1 publication Critical patent/WO2018055861A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Definitions

  • the present invention relates to control of a mobile object, and more particularly to a control device and a control system for a mobile object using light.
  • a method using radio waves is generally used. Then, in order to acquire the position and orientation information of the moving body on the control device side, the information obtained by the inertial device or GPS (Global Positioning System) device on the moving body side is transmitted to the control device side by radio waves. Can control the moving body. However, if communication with the moving body is interrupted due to the surrounding radio wave environment or third party interference, the moving body may become uncontrollable.
  • GPS Global Positioning System
  • Patent Documents 1 and 2 can be cited as technologies related to optical communication.
  • a communication control device is provided on each of a cart that travels on a fixed track and the ground side so that the beam directions of the two communication control devices always face each other based on a pre-input travel pattern.
  • Techniques for controlling are disclosed.
  • Patent Document 2 in an optical space communication device provided for communication between mobile bodies such as artificial satellites and aircraft, or communication between a ground station and a mobile body, the laser beam from the other station is finely coordinated and controlled.
  • a technique for capturing in a system and starting communication is disclosed.
  • Patent Documents 3 and 4 disclose techniques for controlling a moving body without using optical communication.
  • Patent Document 3 discloses a moving body control apparatus that measures the position of a moving body that is wirelessly controlled via an antenna using a lightwave distance meter and a camera provided on the moving body control apparatus side.
  • Patent Document 4 discloses a tracking laser device in which a retroreflector is provided on a moving body connected by wired communication or wireless communication.
  • Patent Document 1 The technology disclosed in Patent Document 1 is based on the premise that the vehicle travels on the track on which the carriage is fixed, and is an effective technology when the travel pattern is known in advance. However, the technique disclosed in Patent Document 1 cannot cope with an arbitrary traveling pattern such as a deviation from a track or a previously input traveling pattern.
  • a laser beam is captured from a partner station by a coarse-coordinated cooperative control system in each of a moving object and a moving object, or a ground station and a moving object.
  • the mobile body is a large mobile body such as an artificial satellite or an aircraft, it is possible to provide the mobile body with an optical space communication device having a fine-coordinated cooperative control system as disclosed in Patent Document 2.
  • Devices to be mounted are desired to be smaller and lighter.
  • an orbit can be predicted with an artificial satellite or an aircraft, it is difficult to capture a laser beam from the partner station without a prediction of the orbit.
  • Patent Document 3 the means for transmitting the control signal to the moving body is based on wireless communication via an antenna, and Patent Document 3 does not disclose problems related to wireless communication such as interference with wireless communication.
  • Patent Document 4 also discloses only the advantage that wireless communication has no limitation on the moving range of the moving body compared to wired communication, and does not disclose issues related to wireless communication such as interference with wireless communication.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a technique that enables optical communication between a moving body and a control device even when the moving body freely moves in space.
  • the moving body control device and the moving body control system of the present invention have a camera and a light source, and solve the above-described problems by irradiating the moving body with a signal beam within the field of view of the camera.
  • optical communication between the moving body and the control device is possible even when the moving body freely moves in space.
  • the mobile body can be controlled.
  • FIG. 3 is a diagram illustrating a configuration of a controller according to the first embodiment. It is a figure which shows the structure of the galvano angle command value production
  • FIG. It is a figure which shows the image data 13 obtained with the camera 110 of Example 1.
  • FIG. It is a figure which shows the structure of the moving body of Example 2.
  • FIG. 6 is a diagram illustrating a configuration of a controller 270 according to a second embodiment. It is a block diagram of the mobile body and mobile body control apparatus of Example 3.
  • FIG. 10 is a diagram illustrating a configuration of a controller 370 according to a third embodiment.
  • FIG. It is a figure which shows the moving body control apparatus and moving body control system of Example 1.
  • FIG. It is a figure which shows the relationship between the image imaged with the camera in a three-dimensional space, and a camera. It is a figure which shows the camera, the screen, and the moving body seen from yz plane. It is a figure which shows the evaluation result of a tracking error.
  • FIG. 9 shows a moving body control system further including a moving body control apparatus 901 that is an embodiment of the present invention and a flying body 902 that is a moving body.
  • FIG. 1 shows a block diagram of this embodiment.
  • the flying object 902 is shown as viewed from the lower surface side.
  • FIG. 9 shows the flying object 902 as seen from the side.
  • the moving body control device 901 includes a camera 110 and a laser light source 120 that is a light source, and is a camera that is an area between a broken line 906a and a broken line 906b.
  • the light beam 904 is irradiated to the flying object 902 which is a moving object.
  • the signal beam 904 is generated by intensity modulation of the laser light source 120.
  • the moving body control device 901 includes a camera 110, a laser light source 120, a laser light amount adjuster 130 that adjusts the amount of laser light from the laser light source 120, a splitter 140, a signal beam 904, and a camera.
  • a two-dimensional galvano scanner 190 that deflects the field of view 110 and a controller 202 are provided.
  • a two-dimensional galvano scanner 190 which is a deflector, oscillates a galvanometer scanner 150a that swings a deflection mirror 151a provided at the tip in a first direction and a deflection mirror 151b provided at the tip in a second direction.
  • the mobile control device 901 further includes a storage 180 connected to the controller 202.
  • the laser light source 120 for example, a semiconductor laser having a wavelength of 635 nm or a He—Ne laser can be used.
  • markers 200a, 200b, 200c, and 200d for calculating position information and attitude information of the flying object 902 by image processing performed by the controller 202 are drawn on the lower surface of the flying object 902.
  • a photodiode 210 for detecting the signal beam 904 is provided at the center of the four markers 200a to 200d.
  • the size of the light receiving surface of the photodiode 210 is, for example, 11 mm ⁇ 11 mm.
  • the distance between the marker 200a and the marker 200c is made equal to the distance between the marker 200b and the marker 200d.
  • the markers 200a to 200d are arranged so that the line segment connecting the marker 200a and the marker 200c and the line segment connecting the marker 200b and the marker 200d are orthogonal to each other at the center.
  • a propeller 903a is provided above the marker 200a
  • a propeller 903b is provided above the marker 200b on the upper surface of the flying object 902, respectively.
  • a propeller 903 c is further provided above the marker 200 c
  • a propeller 903 d is provided above the marker 200 d on the upper surface of the flying object 902.
  • the flying body 902 flies by driving the propellers 903a to 903d based on the control signal included in the signal beam 904. Information on the positional relationship between each of the markers 200a to 200d and the photodiode 210 is stored in the storage 180.
  • the splitter 110 is used to match the optical axes of the camera 110 and the laser light source 120. Therefore, the signal light beam 904 is irradiated to the center position of the image photographed by the camera 110. In this way, by adopting a configuration in which the signal light beam 904 is irradiated along the optical axis of the camera 110, the interpolation calculation required when the optical axes are different from each other becomes unnecessary, and a galvano scanner in the controller 202 described later. It is possible to simplify the calculation of the angle command value generation.
  • the deflection angle is changed by driving the pair of reflecting mirrors by the swing motor as described above, instead of the general pan / tilt method (the camera pedestal rotates in the horizontal direction and the elevation angle direction) as the deflection means.
  • the general pan / tilt method the camera pedestal rotates in the horizontal direction and the elevation angle direction
  • the deflection means By using a galvano scanner, high-speed and high-precision deflection becomes possible.
  • Image data 13 including an image of the flying object 902 obtained by the camera 110 is input to the controller 202.
  • the controller 202 generates angle commands 16a and 16b to each galvano scanner by means described later, and transmits the angle command 16a to the galvano drive unit 160a and the angle command 16b to the galvano drive unit 160b.
  • the galvano drive unit 160a adjusts and outputs the applied voltage so that the current 17a corresponding to the angle command 16a flows to the galvano scanner 150a.
  • the galvano drive unit 160b adjusts and outputs the applied voltage so that the current 17b corresponding to the angle command 16b flows to the galvano scanner 150b.
  • the moving body control device 901 directs the optical axis of the camera 110 to the photodiode 210 arranged at the center of the flying body 902 that is the moving body.
  • the signal light beam 904 is irradiated along the optical axis of the camera 110, the signal light beam 904 is irradiated to a position corresponding to the center of the image in the image data 13 obtained from the camera 110. . Therefore, the signal light beam 904 is irradiated to the photodiode 210.
  • the controller 202 determines that the flying object 902 is being tracked, the controller 202 generates the communication pulse 14 based on the transmission data 10 transmitted from the host controller 181 to the flying object 902.
  • the laser light amount adjuster 130 adjusts the voltage applied to the laser light source 120 so that the current 15 corresponding to the communication pulse 14 flows to the laser light source 120.
  • the signal light beam 904 that is a pulsed laser beam is emitted from the laser light source 120 toward the photodiode 210 of the flying object 902.
  • the photodiode 210 outputs a voltage 40 corresponding to the received signal beam 904 to the moving object drive controller 220.
  • the transmission data 10 includes, for example, identification information of the flying object 902, identification information of the moving object control device 901, information on a movement command to the flying object 902, and a specific function (such as an installed camera) that the flying object 902 has. Contains directive information.
  • the controller 202 also includes a movement including information on the relative position of the flying object 902 with respect to the moving object control device 901 and information on the attitude of the flying object 902 based on a command value to the two-dimensional galvano scanner 190 and an acquired image of the camera 110.
  • the body position / posture information 30 is output to the host controller 181.
  • FIG. 2 is a diagram illustrating the configuration of the controller 202.
  • the controller 202 includes a galvano angle command value generation unit 170a, a tracking state determination unit 170b, a moving body position / attitude calculation unit 170c, and a communication pulse train generation unit 170d.
  • FIG. 3 shows a configuration diagram of the galvano angle command value generation unit 170a.
  • the galvano angle command value generation unit 170a stores an optical axis shift amount calculation unit 171 for deriving the shift amount of the optical axis from the image data 13, and an angle command value immediately before each axis deflected by the two-dimensional galvano scanner 190. And a servo compensator 173a and a servo compensator 173b for improving disturbance compression characteristics and stability of the servo system of each axis.
  • the scanning direction of the galvano scanner 150a is a direction in which the right side is positive on the left and right sides of the paper (hereinafter referred to as the x-axis direction), and the scanning direction of the galvano scanner 150b is a direction in which the top and bottom are positive on the paper surface.
  • the image data 13 includes an image of the flying object 902, and the image data 13 is captured under the condition that the markers 200a to 200d are included in the image.
  • the tracking determination circle 401 provided on the image data 13 indicates a range in which the photodiode 210 can receive the signal beam 904 at a predetermined level or higher.
  • the center of the tracking determination circle 401 is the origin S (0, 0) of the two-dimensional coordinate system (hereinafter, screen coordinate system) of the image data.
  • the optical axis deviation amount calculation unit 171 extracts the markers 200a to 200d from the image data 13, calculates Q (q x , q y ) that is the moving body center coordinates 21, and outputs it to the tracking state determination unit 170b. From the moving body center coordinates 21, an optical axis deviation amount 31a on the x axis and an optical axis deviation amount 31b on the y axis are calculated. The calculated optical axis deviation 31a is added to the previous angle command value 32a stored in the memory 172a, and becomes the angle command value 16a via the servo compensator 173a.
  • the calculated optical axis deviation 31b is added to the previous angle command value 32b stored in the memory 172b, and becomes the angle command value 16b via the servo compensator 173b.
  • the servo compensators 173a and 173b output angle command values 16a and 16b by PID control. As described above, the angle command values 16a and 16b are calculated from the image data 13.
  • the tracking state determination unit 170b receives the tracking state signal 22 when the moving body center coordinate 21 transmitted from the galvano angle command value generation unit 170a is within the tracking determination circle 401 shown in FIG.
  • the data is sent to the attitude calculation unit 170c and the communication pulse train generation unit 170d.
  • the moving body position / posture calculation unit 170c will be described. While the tracking state signal 22 is received, the moving object position / orientation calculation unit 170c includes information on the position and attitude of the flying object 902, which is a moving object, from the image data 13 and the angle command values 16a and 16b. The moving body position / posture information 30 is calculated and output. A method for calculating the moving body position / posture information 30 will be described below.
  • the relationship between a camera in a three-dimensional space and an image captured by the camera can be expressed using a camera coordinate system expressed in three dimensions and a screen coordinate system expressed in two dimensions as shown in FIG.
  • the x and y axes of the camera coordinate system and the screen coordinate system and their directions are the same, and are defined as shown in FIG.
  • the direction from the origin O of the camera coordinate system to the point S at the center of the screen coordinate system is taken as the positive direction of the z axis.
  • the difference between the z coordinates of point O and point S is assumed to be f. Note that image distortion caused by camera and lens characteristics is ignored for the sake of simplicity.
  • the moving body coordinate system is given in three dimensions.
  • the coordinates of the markers 200a to 200d in the moving body coordinate system are Ma, Mb, Mc, and Md and projected onto the screen coordinate system.
  • the respective coordinates are Ma ′, Mb ′, Mc ′, and Md ′.
  • the four markers 200a to 200d are separated by the same distance from the photodiode 210, which is the center of the moving body, and the distance between the marker 200a and the marker 200b, and between the marker 200b and the marker 200c.
  • the lengths of the line segment MaMb, the line segment MbMc, the line segment McMd, and the line segment MdMa are equal, the line segment MaMb and the line segment McMd are parallel, and the line segment MbMc and the line segment MdMa are also parallel.
  • the z coordinate of each point in the screen coordinate system is given as f which is a parameter given in advance, and is expanded to three-dimensional coordinates.
  • f is a parameter given in advance
  • a plane Ma′Mb′O passing through the point Ma ′, the point Mb ′, and the origin O of the camera coordinate system is obtained.
  • the line segment MaMb also exists in the plane Ma′Mb′O.
  • the normal vector l of the plane Ma′Mb′O is obtained.
  • the plane Mc′Md′O and the normal vector m of the plane Mc′Md′O are obtained.
  • the direction vectors thereof are the same. That is, the vector calculated as the outer product of the normal vector l and the normal vector m is a direction vector in the camera coordinate system of the line segment MaMb and the line segment McMd, and a unit vector of the direction vector is expressed as eu (eu x , eu y , Eu z ).
  • the same calculation is performed for another set of line segment MbMc and line segment MdMa to obtain a unit vector ev (ev x , ev y , ev z ) of the direction vector in the camera coordinate system of the line segment MbMc and the line segment MdMa.
  • the unit vector eu and the unit vector ev are orthogonal to each other, and by obtaining the outer product ew of the unit vector eu and the unit vector ev, three unit vectors eu (eu) that represent the posture of the moving body viewed from the camera coordinate system.
  • FIG. 11 is a diagram illustrating the camera, the screen, and the moving body as seen from the yz plane. Note that there is no difference in the way of thinking about rotation around the y axis, rotation around the z axis, or rotation around a plurality of axes.
  • the x and y coordinates of the center Mo of the moving body viewed from the camera coordinate system are both 0, and the z coordinate is the distance do from the origin O of the camera coordinates to the center Mo of the moving body.
  • the x coordinate of each marker coordinate in the camera coordinates can be obtained by substituting each marker coordinate represented in the moving body coordinate system into the previously obtained rotation matrix R CM-MO.
  • y coordinates are obtained.
  • the obtained z coordinate indicates the difference in the z direction from the position of the center Mo of the moving object in the camera coordinate system.
  • a point Ma in FIG. 11 represents the marker 200a in the camera coordinate system, and similarly, the point Mb represents the marker 200b in the camera coordinate system.
  • a point Ma ′′ in FIG. 11 is a point obtained by projecting the point Ma onto a plane parallel to the screen coordinate system, and both the x coordinate and the y coordinate are the same. Similarly, the x and y coordinates of the point Mb ′′ and the point Mb are the same.
  • the distance do from the origin O of the camera coordinate system to the center Mo of the moving body the coordinates of the point Ma (a x, a y, a z), ' coordinates (a x' points Ma, a y ', a z ′), the coordinates of the point Mb (b x , b y , b z ), and the coordinates of the point Mb ′ (b x ′, b y ′, b z ′) can be calculated by the following equations.
  • the roll / pitch / yaw component of the moving object can be calculated from the rotation matrix R CM-MO obtained as described above, and the distance from the camera to the moving object, that is, from the moving object control device to the moving object. The distance can be calculated.
  • the optical axis of the camera 110 is deflected by the two-dimensional galvano scanner 190, and the camera coordinate system changes according to the deflection angle. Therefore, in order to obtain position information and attitude information of the flying object 902 viewed from the world coordinate system of the moving object control device 901, the angle command value is converted after the coordinate conversion from the moving object coordinate system to the camera coordinate system as described above.
  • a transformation matrix from the camera coordinate system to the world coordinate system is calculated based on 16a and the angle command value 16b, and coordinate transformation is performed once more using the calculated transformation matrix.
  • the coordinate transformation matrix from the coordinate system of the moving object to the camera coordinate system is as follows.
  • the coordinate transformation matrix S CM-MO has a rotation matrix component (1st to 3rd columns, 1st to 3rd rows) and origin information (4th column, 1st to 3rd rows).
  • the optical axis of the camera 110 is deflected by the two-dimensional galvano scanner 190, and the camera coordinate system changes according to the deflection angle. Therefore, if the angle command value 16a is rotated by ⁇ in the x-axis direction and the angle command value 16b is rotated by ⁇ in the y-axis direction, the rotation matrix R CM-GL from the global coordinate system to the camera coordinate system can be expressed by the following equation.
  • the coordinate transformation matrix S CM-GL from the global coordinate system to the camera coordinate system can be expressed by the following equation.
  • the matrix S GL-MO for converting the coordinate system of the moving object to the global coordinate system can be expressed by the following equation.
  • the center position Mo of the moving object viewed in the global coordinate system corresponds to the origin information of SGL-MO , and the attitude of the moving object can be expressed as a rotation matrix of SGL-MO .
  • the moving object position / orientation calculation unit 170c calculates the moving object position / orientation information 30 including the position information and the attitude information of the flying object 902 that is the moving object.
  • the communication pulse train generator 170d will be described. While receiving the tracking state signal 22, the communication pulse train generation unit 170 d generates and outputs the communication pulse 14 based on the transmission data 10. In this embodiment, the transmission data is converted into a binary format and replaced with binary notation, and then the laser beam is periodically turned on and off to realize a signal beam 904 obtained by encoding the data.
  • the character string “A12” when the character string “A12” is transmitted, first, “0x41”, “0x31”, “0x32” are converted in accordance with the ASCII character code, and the respective binary expressions “01000001” “00110001” “00110010” And Then, by performing on / off intensity modulation of the laser beam according to the code at a period of 0.1 ms, a signal beam 904 on which transmission data is superimposed is obtained.
  • the voltage value obtained from the photodiode 210 that is a laser light detection element is transmitted by performing the reverse procedure on the signal that is binarized by the set voltage and made into a pulse shape. The same received data as the data can be obtained.
  • the flying object 902 that is a moving object freely moves in the space, optical communication between the moving object and the control device becomes possible.
  • the mobile body can be controlled.
  • the flying object 902 that is a moving object can be controlled.
  • the procedure is to calculate the position information and the posture information of the moving body after the tracking state is entered, but the calculation may be started before the tracking.
  • the optical axes of the camera and the laser light source are made the same by the splitter. Therefore, in the case of a splitter having a reflection: transmission ratio of 50:50, the splitter itself shines at the wavelength of the laser beam by the laser beam, resulting in noise in the acquired image, which adversely affects the marker extraction accuracy. In order to avoid this phenomenon, it is effective to set the wavelength of the laser light source 120 outside the main sensitivity wavelength range of the camera 110.
  • a filter that prevents transmission of light having the oscillation wavelength of the laser light source 120 is inserted between the splitter 140 and an image pickup device such as a CCD of the camera 110.
  • the laser light source 120 having an oscillation wavelength different from the sensitivity wavelength range of an image sensor such as a CCD of the camera 110 can be obtained.
  • a filter that prevents transmission of light having the oscillation wavelength of the laser light source 120 for example, a long-pass filter that absorbs light having the oscillation wavelength of the laser light source 120 can be used.
  • a mobile control device and a mobile that simulates the flying vehicle 902 were prepared and tested.
  • four light emitting diodes LED, Light Emitting Diode
  • the distance between the LEDs corresponding to the marker 200a and the marker 200c was about 30 cm.
  • the moving body control device uses a light source with a wavelength of 635 nm as a laser light source, modulates the intensity of the laser light into a signal light beam, and transmits 89 bytes of character data while deflecting the signal light beam and the optical axis of the camera with a galvano unit. did.
  • the simulated moving body was provided with a photodiode having a light receiving surface of 11 mm ⁇ 11 mm, and received a signal beam from the moving body control device.
  • the distance between the simulated moving body and the moving body control device is 2.5 m, and the simulated moving body is moved back and forth, left and right, and up and down at a maximum speed of 75 mm / second with a stroke of 80 mm.
  • the tracking error with respect to the movement of the simulated moving body of the moving body control apparatus was evaluated by using the amount of laser spot displacement caused by the light beam as the following error.
  • the evaluation results of the tracking error are shown in FIG.
  • the vertical axis of the evaluation result in FIG. 12 is a tracking error, and the horizontal axis is time.
  • the solid line plot is the horizontal tracking error, and the dotted line plot is the vertical tracking error.
  • the tracking error was 1.21 mm at the maximum, and excellent tracking characteristics were obtained.
  • the communication rate between the mobile control device and the simulated mobile can achieve 1 kbps.
  • the mobile body according to the present embodiment is characterized by including a light emitter, and communication from the mobile body to the mobile body control device is possible by capturing the light emission state of the mobile body with the camera of the mobile body control device. It is characterized by.
  • an example will be described in which the data reception state of the mobile body is notified to the mobile body control device using one light emitter.
  • FIG. 5 is a block diagram of a flying object 501 which is a moving object according to the present embodiment.
  • the flying object 501 is different from the flying object 902 which is a moving object shown in FIG. 1 in that the flying object 501 further includes a light emitter 240 and a light emitter controller 230.
  • a light emitting diode LED, Light Emitting Diode
  • LED Light Emitting Diode
  • FIG. 5 is a block diagram of a flying object 501 which is a moving object according to the present embodiment.
  • the flying object 501 is different from the flying object 902 which is a moving object shown in FIG. 1 in that the flying object 501 further includes a light emitter 240 and a light emitter controller 230.
  • a light emitting diode LED, Light Emitting Diode
  • the markers 200a to 200d are LEDs is shown.
  • a separate LED is provided on the lower surface of the flying object 501 at a position different from the markers 200a to 200d
  • the moving body drive controller 220 decodes the received pulse voltage as received data.
  • a parity bit (a bit for detecting an error in data that is 1 if the number of “1” included in the unit data is an even number and 0 if it is an odd number) is added every 2 bytes in the transmission data to be transmitted. And parity check is performed.
  • the received data is assumed to be true and used by the mobile unit, and the communication status signal 41 is sent to the light emitter control unit 230.
  • the light emitter control unit 230 applies the voltage 42 to the light emitter 240 and causes the light emitter to emit light.
  • the light emitter controller 230 turns off the light emitter 240.
  • FIG. 6 shows a controller 270 provided in the moving body control apparatus according to the present embodiment.
  • an LED state detection unit that confirms the LED state from the image data 13. The difference is that it has 170e. Since the moving body tracking operation is the same as that of the first embodiment, the description is omitted, and the communication operation of the controller 270 will be described below.
  • the communication operation according to the present embodiment is characterized in that the reception state of the mobile body is confirmed every 2 bytes with transmission data, and the same data is transmitted again in the case of reception NG.
  • the LED state detection unit 170e detects the lighting state of the LED from the image data 13, and transmits the normal reception signal 23 to the communication pulse train generation unit 170d if the LED is on.
  • the communication pulse train generation unit 270d When receiving the tracking state signal 22 and the normal reception signal 23, the communication pulse train generation unit 270d generates the communication pulse 14 every two bytes based on the transmission data 10, but receives only the tracking state signal 22. In this case, the same 2-byte communication pulse 14 is continuously sent.
  • the method of encoding the transmission data 10 is the same as that of the communication pulse generator 170d.
  • the mobile body control device since the next data can be transmitted after confirming the data reception by the mobile body, high-quality communication is possible.
  • the mobile body control device is notified of the data reception state of the mobile body using a single light emitter, but data is transferred from the mobile body to the mobile body control device using a plurality of light emitters.
  • FIG. 7 shows a block diagram of a moving body and a moving body control apparatus according to this embodiment.
  • the moving body control device 701 of the present embodiment is different from the moving body control device 901 of the first embodiment in that it has an electric zoom lens 180 and the structure of the controller 370.
  • An optical magnification command 18 is output from the controller 370 to the electric zoom lens 180.
  • a zoom lens is placed between the camera 110 and the beam splitter, and the optical magnification of the electric zoom lens is changed in accordance with the size of the moving object appearing in the captured image, so that the moving object appearing in the captured image is displayed. Make the size above a certain level. Information regarding the relationship between the optical magnification and the camera parameters necessary for tracking the moving body is stored in the storage 180 in advance.
  • FIG. 8 shows a configuration of the controller 370 according to the present embodiment.
  • the controller 202 of the first embodiment is different from the controller 202 in that a galvano angle / optical magnification command generator 370a is used instead of the galvano angle command value generator 170a.
  • the galvano angle / optical magnification command generator 370a generates a galvano angle command 16a, a galvano angle command 16b, and an optical magnification command 18 from the image data 13.
  • a method of generating the optical magnification command 18 will be described.
  • the distance range between the reference markers on the image plane is set in advance (in this example, 250 ⁇ 50 pixels).
  • the optical magnification command 18 is 2.5 according to the reference marker distance setting value.
  • the reason why the reference distance range is wide is that the command followability of the zoom lens is poor with respect to the movement of the galvano scanner, and the tracking accuracy may be lowered by frequent movement.
  • the moving body position / posture calculation unit 370c receives the optical magnification command 18 from the galvano angle command value generation unit 170c, and calculates the position / posture information 30 of the moving body using camera parameters corresponding to the optical magnification command 18. The point is different.
  • the zoom lens is disposed between the splitter and the camera.
  • the zoom lens may be disposed between the deflecting unit (galvano scanner) and the splitter.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • the moving body is a flying body in the present embodiment, a traveling body or a floating body is assumed.
  • DESCRIPTION OF SYMBOLS 110 ... Camera, 120 ... Laser light source, 140 ... Splitter, 190 ... Two-dimensional galvano scanner, 901 ... Moving body control apparatus, 902 ... Flight body, 904 ... Signal beam.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optical Communication System (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

移動体が空間を自由に動く場合でも、移動体と制御装置間の光通信を可能とする技術を提供する。 本発明の移動体制御装置および移動体制御システムは、カメラと、光源と、を有し、前記カメラの視野内で移動体に信号光線を照射することで、上述の課題を解決する。

Description

移動体制御装置および移動体制御システム
 本発明は、移動体の制御に関し、特に光を用いた移動体の制御装置および制御システムに関する。
 移動体と、その移動体を制御する制御装置間の通信手段として、電波を用いる方法が一般的である。そして、制御装置側で移動体の位置や姿勢情報を取得するために、移動体側で持つ慣性装置やGPS(Global Positioning System)装置により得られた情報を、制御装置側に電波で送信することで、移動体を制御できる。しかしながら、周囲の電波環境や第三者の妨害行為により、移動体との通信が途絶した場合、移動体は制御不能となる恐れがある。
 移動体と、その移動体を制御する制御装置間の通信手段として、光を用いる方法(以下、光通信)がある。光通信に関する技術として、特許文献1、2が挙げられる。特許文献1には、固定された軌道上を走行する台車と地上側のそれぞれに通信制御装置を設け、予め入力された走行パターンに基づいて、二つの通信制御装置のビーム方向を常に対向するように制御する技術が開示されている。特許文献2には、人工衛星や航空機等の移動体相互間の通信または地上局と移動体間の通信のために設けられた光空間通信装置において、相手局からのレーザビームを精粗協調制御系で捕捉し、通信を開始する技術が開示されている。
 一方、光通信を用いないで移動体を制御する技術が、特許文献3、4に開示されている。特許文献3には、移動体制御装置側に設けられた光波距離計とカメラにより、アンテナを介して無線により制御される移動体の位置を測定する移動体制御装置が開示されている。特許文献4には、有線通信または無線通信で接続された移動体に再帰反射体を設けた追尾式レーザ装置が開示されている。
特開2002-258945号公報 特開平07-307703号公報 特開平07-140225号公報 特開2014-224790号公報
 特許文献1に開示の技術は、台車が固定された軌道上を入力された走行パターンで走行することが前提であり、走行パターンが予め判っている際には有効な技術である。しかしながら、特許文献1に開示の技術では、軌道や予め入力された走行パターンを外れる等の任意の走行パターンには対応できない。
 特許文献2に開示の技術では、移動体と移動体、または地上局と移動体のそれぞれで精粗協調制御系による相手局からのレーザビームの捕捉を行う。人工衛星や航空機等の大型の移動体であれば、特許文献2に開示されるような精粗協調制御系を有する光空間通信装置を移動体に持たせることも可能であるが、移動体に搭載する機器はより小型で軽量なものが望まれる。また、人工衛星や航空機では軌道の予測も可能であるが、軌道の予測が無い状態では、相手局からのレーザビームの捕捉は困難になる。
 特許文献3に開示の技術では、移動体への制御信号を送信する手段はアンテナを介した無線通信によるものであり、特許文献3には無線通信の妨害等の無線通信に関する課題の開示は無い。特許文献4においても、無線通信は有線通信よりも移動体の移動範囲の制限が無いという利点のみが開示されており、無線通信の妨害等の無線通信に関する課題の開示は無い。
 本発明は、上述のような課題を解決するためになされたもので、移動体が空間を自由に動く場合でも、移動体と制御装置間の光通信を可能とする技術を提供することを目的とする。
 本発明の移動体制御装置および移動体制御システムは、カメラと、光源と、を有し、前記カメラの視野内で移動体に信号光線を照射することで、上述の課題を解決する。
 本発明によれば、移動体が空間を自由に動く場合でも、移動体と制御装置間の光通信が可能になる。ひいては、電波環境が悪い状態においても、移動体の制御が可能になる。
実施例1の移動体制御装置と移動体のブロック図である。 実施例1のコントローラの構成を示す図である。 実施例1のガルバノ角度指令値生成部の構成を示す図である。 実施例1のカメラ110で得られる画像データ13を示す図である。 実施例2の移動体の構成を示す図である。 実施例2のコントローラ270の構成を示す図である。 実施例3の移動体と移動体制御装置のブロック図である。 実施例3のコントローラ370の構成を示す図である。 実施例1の移動体制御装置および移動体制御システムを示す図である。 三次元空間でのカメラとカメラで撮像される画像の関係を示す図である。 yz平面から見た、カメラ、スクリーン、および移動体を示す図である。 追従誤差の評価結果を示す図である。
 以下、本発明の各実施例を説明する。以下の実施の形態において、便宜上その必要があるときは、複数の実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態を説明するための全図において、同一機能を有するものは原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の実施の形態を図面に基づいて詳細に説明する。
 図9に、本発明の実施例である移動体制御装置901および移動体である飛行体902をさらに含む移動体制御システムを示す。また、図1に、本実施例のブロック図を示す。図1では、飛行体902を下面側から見た図で示している。一方、図9では、飛行体902を側面側から見た図で示している。
 図1および図9に示すように、本実施例に係る移動体制御装置901は、カメラ110と、光源であるレーザ光源120と、を有し、破線906aと破線906bの間の領域であるカメラ110の視野内で、移動体である飛行体902に信号光線904を照射することを特徴とする。本実施例では、信号光線904はレーザ光源120を強度変調して生成される。
 図1に示すように、移動体制御装置901は、カメラ110と、レーザ光源120と、レーザ光源120からのレーザの光量を調節するレーザ光量調節器130と、スプリッタ140と、信号光線904およびカメラ110の視野を偏向する二次元ガルバノスキャナ190と、コントローラ202と、を備える。偏向器である二次元ガルバノスキャナ190は、先端に設けられている偏向ミラー151aを第1方向に揺動するガルバノメータスキャナ150aと、先端に設けられている偏向ミラー151bを第2方向に揺動するガルバノメータスキャナ150bと、ガルバノメータスキャナ150aを駆動するガルバノ駆動部160aと、ガルバノメータスキャナ150bを駆動するガルバノ駆動部160bと、を有する。ここで、本実施例では偏向ミラー151aを揺動する第1方向と偏向ミラー151bを揺動する第2方向は直交している。移動体制御装置901は、さらにコントローラ202に接続されているストレージ180を有する。レーザ光源120には、例えば、波長635nmの半導体レーザ、またはHe-Neレーザを用いることができる。
 図1に示すように、飛行体902の下面には、コントローラ202で行う画像処理による飛行体902の位置情報および姿勢情報の算出用の4つのマーカ200a、200b、200c、200dが表面に描かれており、4つのマーカ200a~200dの中心に信号光線904を検出するためのフォトダイオード210が設けられている。フォトダイオード210の受光面の大きさは、例えば11mm×11mmである。本実施例では、マーカ200aとマーカ200cとの間の距離と、マーカ200bとマーカ200dとの間の距離を等しくする。また、マーカ200aとマーカ200cを結ぶ線分と、マーカ200bとマーカ200dを結ぶ線分が互いの中央で直交するよう、マーカ200a~200dを配置する。図9に示すように、飛行体902の上面には、マーカ200aの上方にプロペラ903aが、マーカ200bの上方にプロペラ903bが、それぞれ設けられている。図9では省略しているが、飛行体902の上面には、さらに、マーカ200cの上方にプロペラ903cが、マーカ200dの上方にプロペラ903dが、それぞれ設けられている。飛行体902は、信号光線904に含まれる制御信号に基づいて、プロペラ903a~903dを駆動して飛行する。各マーカ200a~200dとフォトダイオード210の位置関係の情報は、ストレージ180に保存しておく。
 移動体制御装置901では、図1に示すように、スプリッタ140を用いてカメラ110とレーザ光源120の光軸を一致させている。したがって、カメラ110で撮影した画像の中心の位置に信号光線904が照射される。このように、カメラ110の光軸に沿って信号光線904を照射する構成とすることで、それぞれの光軸が互いに異なる場合に必要な補間計算が不要になり、後述するコントローラ202でのガルバノスキャナへの角度指令値生成の計算を簡易にできる。また、偏向手段として一般的なパン・チルト方式(カメラの台座が水平方向と仰角方向に回転するもの)ではなく、上述のように一対の反射ミラーを揺動モータによって駆動して偏向角度を変えるガルバノスキャナとすることで、高速かつ高精度な偏向が可能になる。
 次に、本実施例に係る移動体制御装置901の移動体追尾動作について説明する。コントローラ202には、カメラ110により得られる飛行体902の像を含む画像データ13が入力される。コントローラ202は、後述する手段によって各ガルバノスキャナへの角度指令16a、16bを生成し、角度指令16aをガルバノ駆動部160aに、角度指令16bをガルバノ駆動部160bに、それぞれ送信する。ガルバノ駆動部160aは、角度指令16aに応じた電流17aがガルバノスキャナ150aに流れるように印加電圧を調整して出力する。また、ガルバノ駆動部160bは、角度指令16bに応じた電流17bがガルバノスキャナ150bに流れるように印加電圧を調整して出力する。これにより、移動体制御装置901は、カメラ110の光軸を、移動体である飛行体902の中心に配置されているフォトダイオード210に向ける。この際、カメラ110の光軸に沿って信号光線904が照射される構成になっているので、カメラ110から得られる画像データ13での像の中心に対応する位置に信号光線904が照射される。したがって、フォトダイオード210に信号光線904が照射される。
 次に、本実施例に係る移動体制御装置901の通信動作について説明する。コントローラ202で飛行体902を追尾中と判定された場合、コントローラ202は、上位制御装置181から飛行体902へ送信される送信データ10に基づき、通信パルス14を生成する。レーザ光量調整器130は、通信パルス14に対応する電流15がレーザ光源120に流れるよう、レーザ光源120への印加電圧を調整する。その結果、レーザ光源120からパルス状のレーザ光である信号光線904が、飛行体902のフォトダイオード210に向けて照射される。飛行体902側では、フォトダイオード210が、受光した信号光線904に応じた電圧40を移動体駆動コントローラ220へ出力する。移動体駆動コントローラ220で、受信したパルス状の電圧40から送信データ10を復号することで、移動体制御装置901と飛行体902との間の通信が成立する。送信データ10には、例えば、飛行体902の識別情報、移動体制御装置901の識別情報、飛行体902への移動指令の情報、および飛行体902が有する特定の機能(搭載カメラなど)への指令の情報が含まれる。また、コントローラ202は、二次元ガルバノスキャナ190への指令値およびカメラ110の取得画像に基づいて、飛行体902の移動体制御装置901に対する相対位置の情報および飛行体902の姿勢の情報を含む移動体位置・姿勢情報30を、上位制御装置181へ出力する。
 続いて、移動体制御装置901の各部の詳細な構成と動作について説明する。図2は、コントローラ202の構成を示す図である。コントローラ202は、ガルバノ角度指令値生成部170a、追尾状態判定部170b、移動体位置・姿勢算出部170c、および通信用パルス列生成部170dを有する。
 図3に、ガルバノ角度指令値生成部170aの構成図を示す。ガルバノ角度指令値生成部170aは、画像データ13から光軸のずれ量を導出する光軸ずれ量算出部171と、二次元ガルバノスキャナ190で偏向する各軸の一つ前の角度指令値を記憶するメモリ172aおよびメモリ172bと、各軸のサーボ系の外乱圧縮特性や安定性を向上させるサーボ補償器173aおよびサーボ補償器173bと、を有する。
 カメラ110で取得される画像データ13の一例を、図4に示す。ガルバノスキャナ150aの走査方向は紙面左右で右側を正とする方向(以下、x軸方向)で、ガルバノスキャナ150bの走査方向は紙面上下で上を正とする方向(以下、y方向)とする。画像データ13には飛行体902の像が含まれており、画像データ13はマーカ200a~200dが像に含まれる条件で撮像される。ここで、画像データ13上に設けられた追尾判定円401は、フォトダイオード210が信号光線904を所定のレベル以上で受信できる範囲を示す。追尾判定円401の中心は、画像データの二次元座標系(以下、スクリーン座標系)の原点S(0,0)である。飛行体902の中心であるフォトダイオード210が追尾判定円401内にあるように追尾をすることで、移動体制御装置901と飛行体902の間で通信が可能となる。また、画像データ13のマーカ200a~200dの像から、移動体である飛行体902の位置の情報および姿勢の情報が得られる。
 ここで、光軸ずれ量の算出方法を説明する。図4に示すように、取得した画像で、一点鎖線で示したマーカ200aとマーカ200cを結ぶ線分201aと、二点鎖線で示したマーカ200bとマーカ200dを結ぶ線分201bの交点である移動体中心座標21をQ(q,q)とすると、カメラ座標系での原点Oから移動体を結ぶ軸と光軸の、画像上のずれ量はx軸方向にq、y軸方向にqとなる。光軸ずれ量算出部171では、画像データ13から各マーカ200a~200dを抽出し、移動体中心座標21であるQ(q,q)を算出して追尾状態判定部170bに出力し、移動体中心座標21からx軸での光軸ずれ量31aおよびy軸での光軸ずれ量31bを算出する。算出された光軸ずれ量31aは、メモリ172aに貯えられたひとつ前の角度指令値32aと合算され、サーボ補償器173aを経て角度指令値16aとなる。同様に、算出された光軸ずれ量31bは、メモリ172bに貯えられたひとつ前の角度指令値32bと合算され、サーボ補償器173bを経て角度指令値16bとなる。サーボ補償器173a、173bは、PID制御で角度指令値16a、16bを出力する。以上により、画像データ13から角度指令値16a、16bが算出される。
 次に、追尾状態判定部170bについて説明する。追尾状態判定部170bは、ガルバノ角度指令値生成部170aから送信される移動体中心座標21が、図4に示す追尾判定円401内に入っている場合に、追尾状態信号22を移動体位置・姿勢算出部170cおよび通信用パルス列生成部170dに送る。
 移動体位置・姿勢算出部170cについて説明する。移動体位置・姿勢算出部170cでは、追尾状態信号22を受け取っている間は、画像データ13および角度指令値16a、16bから、移動体である飛行体902の位置の情報および姿勢の情報を含む移動体位置・姿勢情報30を算出し、出力する。移動体位置・姿勢情報30の算出方法について、以下に説明する。
 三次元空間でのカメラとカメラで撮像される画像の関係は、図10に示すとおり三次元で表現されるカメラ座標系と、二次元で表現されるスクリーン座標系を用いて表現できる。カメラ座標系とスクリーン座標系のx、y軸とその向きは同一であり、ここでは図10のように定義する。カメラ座標系の原点Oからスクリーン座標系中心の点Sに向かう方向をz軸の正方向とする。ここで、カメラ座標系での点Oと点Sのx、y座標は同一であり、カメラ座標系での点Oと点Sのz座標の差(=距離)は使用されるカメラおよびレンズの特性により一意に決定される事前に与えられる変数である。ここでは、点Oと点Sのz座標の差をfとする。なお、カメラおよびレンズの特性により生じる像の歪みについては、説明を簡単にするために無視する。
 図10に示すように、移動体座標系は三次元で与えられ、ここでは各マーカ200a~200dの移動体座標系での座標をMa、Mb、Mc、Mdとし、スクリーン座標系に投影されたそれぞれの座標をMa’、Mb’、Mc’、Md’とする。前述のとおり、本実施例では移動体の中心であるフォトダイオード210から、4つのマーカ200a~200dを同じ距離だけ離し、かつマーカ200aとマーカ200bの間の距離、マーカ200bとマーカ200cの間の距離、マーカ200cとマーカ200dの間の距離、およびマーカ200dとマーカ200aの間の距離が等しくなるようにしているため、線分MaMb、線分MbMc、線分McMd、および線分MdMaの長さは等しく、線分MaMbと線分McMdは平行であり、また線分MbMcと線分MdMaも平行である。
 ここで、カメラ座標系から移動体座標系への回転行列RCM-MOの算出方法について説明する。なお、本説明ではスクリーン座標系の各点のz座標を事前に与えられるパラメータであるfと与え、三次元座標へ拡張する。まず、点Ma’、点Mb’、およびカメラ座標系の原点Oを通る平面Ma’Mb’Oを求める。このとき、線分MaMbも平面Ma’Mb’O内に存在する。次に、平面Ma’Mb’Oの法線ベクトルlを求める。線分MaMbに平行な線分McMdに関しても同様にして、平面Mc’Md’Oと、平面Mc’Md’Oの法線ベクトルmと、を求める。ここで、線分MaMbと線分McMdは平行であるため、その方向ベクトルは同一である。つまり、法線ベクトルlと法線ベクトルmの外積として計算されるベクトルは、線分MaMbおよび線分McMdのカメラ座標系における方向ベクトルとなり、この方向ベクトルの単位ベクトルをeu(eu、eu、eu)と定義する。もう一組の線分MbMc、線分MdMaに関しても同様の計算を行い、線分MbMcおよび線分MdMaのカメラ座標系における方向ベクトルの単位ベクトルev(ev、ev、ev)を得る。理想的には、単位ベクトルeuと単位ベクトルevは直交し、単位ベクトルeuと単位ベクトルevの外積ewを求めることで、カメラ座標系から見た移動体の姿勢を表す3つの単位ベクトルeu(eu、eu、eu)、ev(ev、ev、ev)、ew(ew、ew、ew)が得られる。これらの単位ベクトルを用いて、回転行列RCM-MOは次式で表わされる。
Figure JPOXMLDOC01-appb-M000001
 回転行列RCM-MOに移動体の座標系で表された点の座標を右からかけると、カメラ座標系で見た座標へと変換できる。
 次に、カメラ座標系における移動体の中心Moの算出方法について説明する。ここでは、移動体がカメラ座標系に対してx軸周りに回転した場合について、図11を用いて説明する。図11はyz平面から見た、カメラ、スクリーン、および移動体を示す図である。なお、y軸周りに回転した場合、z軸周りに回転した場合、または複数の軸周りに回転した場合の考え方も相違ない。
 追尾状態にある移動体において、カメラ座標系から見た移動体の中心Moのx座標およびy座標はともに0であり、z座標がカメラ座標の原点Oから移動体の中心Moまでの距離doとなる。移動体座標系における各マーカ位置は既知であるため、先の求めた回転行列RCM-MOに移動体座標系であらわされる各マーカ座標を代入することで、カメラ座標における各マーカ座標のx座標およびy座標が得られる。なお、得られるz座標は、カメラ座標系における移動体の中心Moの位置からのz方向の差分を示す。
 図11の点Maはマーカ200aをカメラ座標系で表し、同様に点Mbはマーカ200bをカメラ座標系で表したものである。図11の点Ma’’は点Maをスクリーン座標系に平行な平面に投影した点であるが、両者のx座標およびy座標は同一である。同様に、点Mb’’と点Mbのx座標およびy座標は同一である。そのため、カメラ座標系の原点Oから移動体の中心Moまでの距離doは、点Maの座標(ax、a、a)、点Ma’の座標(ax’、a’、a’)、点Mbの座標(bx、b、b)、および点Mb’の座標(bx’、b’、b’)を用いて次式で算出可能である。
Figure JPOXMLDOC01-appb-M000002
 以上のように求められる回転行列RCM-MOから、移動体のロール・ピッチ・ヨー成分を算出可能であり、距離doからカメラから移動体までの距離、すなわち移動体制御装置から移動体までの距離を算出することができる。
 本実施例ではカメラ110の光軸を二次元ガルバノスキャナ190で偏向しており、カメラ座標系は偏向角度に応じて変化する。そのため、移動体制御装置901のワールド座標系から見た飛行体902の位置情報および姿勢情報を得るために、上述のように移動体座標系からカメラ座標系へと座標変換した後に、角度指令値16aおよび角度指令値16bに基づいてカメラ座標系からワールド座標系への変換行列を算出し、算出した変換行列を用いてさらにもう一回座標変換する。
 ここで、回転行列RCM-MOおよび距離から、移動体の座標系からカメラ座標系への座標変換行列は、次式となる。
Figure JPOXMLDOC01-appb-M000003
 座標変換行列SCM-MOは、回転行列成分(1~3列目、1~3行目)と原点情報(4列目、1~3行目)を有する。
 本実施例では、カメラ110の光軸を二次元ガルバノスキャナ190で偏向しており、カメラ座標系は偏向角度に応じて変化する。そのため、角度指令値16aとしてx軸方向にθ、角度指令値16bとしてy軸方向にφだけ回転移動すると、グローバル座標系からカメラ座標系への回転行列RCM-GLは次式で表わせる。
Figure JPOXMLDOC01-appb-M000004
 ここで、グローバル座標系とカメラ座標系の原点は同一とみなせるので、グローバル座標系からカメラ座標系への座標変換行列SCM-GLは、次式で表わせる。
Figure JPOXMLDOC01-appb-M000005
 以上をまとめると、移動体の座標系をグローバル座標系に変換する行列SGL-MOは、次式で表わせる。
Figure JPOXMLDOC01-appb-M000006
 グローバル座標系で見た移動体の中心位置Moは、SGL-MOの原点情報に対応し、移動体の姿勢はSGL-MOの回転行列として表現できる。以上により、移動体位置・姿勢算出部170cは、移動体である飛行体902の位置の情報および姿勢の情報を含む移動体位置・姿勢情報30を算出する。
 通信用パルス列生成部170dについて説明する。通信用パルス列生成部170dは、追尾状態信号22を受信している間、送信データ10に基づき通信パルス14を生成し、出力する。本実施例では、送信データをバイナリ形式に変換し、二進数表記に置き換えた上で、レーザ光を周期的にオンオフすることで、データを符号化した信号光線904が実現される。
 具体的には、「A12」という文字列を送信する場合に、まずASCII文字コードに従い、「0x41」「0x31」「0x32」と変換し、それぞれの二進数表現「01000001」「00110001」「00110010」とする。そして、0.1ms周期で符号に従ってレーザ光のオンオフの強度変調を行うことで、送信データが重畳した信号光線904となる。飛行体902での復号では、レーザ光検出素子であるフォトダイオード210より得られる電圧値を、設定電圧で二値化してパルス状とした信号に対して逆の手順で行うことで、送信されたデータと同じ受信データを得ることができる。
 本実施例によれば、移動体である飛行体902が空間を自由に動いた場合でも、移動体と制御装置間の光通信が可能となる。ひいては、電波環境が悪い状態においても、移動体の制御が可能になる。例えば、飛行体902が他の飛行体を捕える目的で追跡する場合のように、軌道の予測が難しく、かつ妨害電波が想定される場合であっても、移動体である飛行体902を制御できる。
 本実施例では、追尾状態となった後に移動体の位置の情報および姿勢の情報を算出する手順としたが、追尾前から算出を開始してもよい。また、本実施例ではスプリッタにより、カメラとレーザ光源の光軸を同一としている。そのため、反射:透過の割合が50:50であるスプリッタの場合、レーザ光によってスプリッタ自体がレーザ光の波長で光り、取得画像におけるノイズとなり、マーカの抽出精度に悪影響を及ぼす。本現象を回避するためには、カメラ110の主要な感度波長域外にレーザ光源120の波長を設定することが有効である。カメラ110の主要な感度波長域外にレーザ光源120の波長を設定するには、スプリッタ140とカメラ110のCCDなどの撮像素子の間に、レーザ光源120の発振波長の光の透過を防ぐフィルタを挿入するか、または、カメラ110のCCDなどの撮像素子の感度波長域とは異なる発振波長を有するレーザ光源120とすることができる。レーザ光源120の発振波長の光の透過を防ぐフィルタとしては、例えば、レーザ光源120の発振波長の光を吸収するロングパスフィルタを使うことができる。
 本実施例の移動体制御装置および移動体制御システムによる光通信を実証するために、移動体制御装置と、飛行体902を模擬した移動体と、を準備して試験した。模擬移動体には、マーカ200a~200dに対応させて4つの発光ダイオード(LED、Light Emitting Diode)を配置した。マーカ200aとマーカ200cに対応するLED間の距離は約30cmとした。移動体制御装置のレーザ光源には波長635nmの光源を用い、レーザ光の強度を変調して信号光線とし、ガルバノユニットで信号光線とカメラの光軸を偏向させつつ、89バイトの文字データを送信した。模擬移動体には、11mm×11mmの受光面を有するフォトダイオードを設け、移動体制御装置からの信号光線を受光した。模擬移動体と移動体制御装置との間を2.5m離し、模擬移動体を前後、左右、および上下方向に最高速度75mm/秒で、ストローク80mmで往復運動させ、模擬移動体上での信号光線によるレーザスポットの位置ずれ量を追従誤差として、移動体制御装置の模擬移動体の動きに対する追従誤差を評価した。
 追従誤差の評価結果を図12に示す。図12の評価結果の縦軸は追従誤差で、横軸は時間である。実線のプロットは水平方向の追従誤差で、点線のプロットは、垂直方向の追従誤差である。追従誤差は最大でも1.21mmであり、優れた追従特性が得られた。また、移動体制御装置と模擬移動体の通信レートは、1kbpsを達成できた。
 本実施例に係る移動体は、発光体を備えることを特徴とし、移動体制御装置のカメラで移動体の発光状態を捉えることで、移動体から移動体制御装置への通信が可能であることを特徴とする。ここでは、移動体でのデータ受信状態を一つの発光体を用いて移動体制御装置に知らせる例を説明する。
 図5は、本実施例に係る移動体である飛行体501のブロック図である。飛行体501は、図1に示す移動体である飛行体902とは、発光体240と、発光体制御部230と、をさらに有する点が異なる。本実施例では、飛行体501が備える発光体として発光ダイオード(LED、Light Emitting Diode)を用いている。実施例1の試験では、マーカ200a~200dをLEDとする例を示したが、本実施例の飛行体501では、飛行体501の下面に、マーカ200a~200dとは異なる位置に別途LEDを設けて、別途設けたLEDを明滅させることで、飛行体501のデータ受信状態を移動体制御装置に送信する。
 本実施例の移動体501では、移動体制御装置より照射されるパルス状のレーザ光である信号光線904をフォトダイオード210で受光すると、照射された信号光線904に応じて電圧40を出力し、移動体駆動コントローラ220に信号として送信する。移動体駆動コントローラ220では、受信したパルス状の電圧を受信データとして復号化する。このとき、送信する送信データで2バイト毎にパリティビット(単位データ内に含まれる「1」の個数が偶数であれば1、奇数であれば0とするデータの誤りを検出するビット)を付加し、パリティチェックを行う。パリティチェック結果がOKの場合、受信データは真であるとして移動体で使用し、通信状態信号41を発光体制御部230に送る。発光体制御部230は、通信状態信号41を受信できた場合には発光体240に電圧42を印加し、発光体を発光させる。一方、通信状態信号41が受信できない場合、すなわちパリティチェック結果がNGの場合には、発光体制御部230は、発光体240を消灯する。
 次に、本実施例での移動体制御装置の動作について、図6を用いて説明する。図6は、本実施例での移動体制御装置に備わるコントローラ270を示しており、実施例1の図2のコントローラ202と比較して、画像データ13からLEDの状態を確認するLED状態検出部170eを持つ点が異なる。なお、移動体追尾動作は実施例1と同様のため、説明を省略し、以下、コントローラ270の通信動作を説明する。
 本実施例に係る通信動作では、送信データで2バイト毎に移動体の受信状態を確認し、受信NGの場合は同じデータを再度送信することを特徴とする。LED状態検出部170eは、画像データ13からLEDの点灯状態を検出し、LEDが点灯していれば正常受信信号23を通信用パルス列生成部170dに送信する。通信用パルス列生成部270dは、追尾状態信号22と正常受信信号23を受けている場合には、送信データ10に基づき通信パルス14を2バイト毎に生成するが、追尾状態信号22のみ受けている場合は同じ2バイトの通信パルス14を送り続ける。なお、送信データ10を符号化する方法は、通信用パルス生成部170dと同様である。
 本実施例によれば、移動体でのデータ受信を確認した後に次のデータを送信できるため、高品質な通信が可能となる。ここでは、移動体でのデータ受信状態を、単一の発光体を用いて移動体制御装置に知らせる例を説明したが、複数の発光体を用いて移動体から移動体制御装置へデータ転送することもできる。移動体から移動体制御装置に送信可能なデータ量は、カメラのフレームレートに依存するので、データ転送速度を向上させるには、発光体の明滅の速度を上げるのではなく、複数の発光体を用いる方法が有効である。
 本実施例に係る移動体制御装置は、ズームレンズにより移動体の像をより鮮明に取得可能であることを特徴とする。図7に、本実施例に係る移動体および移動体制御装置のブロック図を示す。
 本実施例の移動体制御装置701は、実施例1の移動体制御装置901とは、電動ズームレンズ180を持つ点、およびコントローラ370の構造が異なる。コントローラ370から電動ズームレンズ180へは光学倍率指令18が出力される。
 固定倍率カメラでは、移動体が非常に遠くに存在する場合、移動体は撮像画像に小さく写るだけとなり、そのため移動体の位置・姿勢情報の算出精度が劣化し、移動体の追尾性能も低下する。そこで本実施例では、カメラ110とビームスプリッタの間にズームレンズを置き、撮像画像に写る移動体の大きさに合わせて電動ズームレンズの光学倍率を変更することで、撮像画像に写る移動体の大きさを一定以上とする。なお、移動体追尾に必要な、光学倍率とカメラパラメータの関係の情報は、ストレージ180に予め保存しておく。
 次に、本実施例に係る移動体制御装置701の移動体追尾動作について説明する。図8は、本実施例に係るコントローラ370の構成を示す。実施例1のコントローラ202とは、ガルバノ角度指令値生成部170aに代わりガルバノ角度・光学倍率指令生成部370aとなる点が異なる。ガルバノ角度・光学倍率指令生成部370aでは、画像データ13からガルバノ角度指令16a、ガルバノ角度指令16b、および光学倍率指令18を生成する。ここで、光学倍率指令18の生成方法を説明する。画像平面での基準マーカ間距離範囲を予め設定(本例では250±50画素)しておく。取得した画像が図4に示す像である場合、まず対向するマーカ間距離(200a-200c間および200b-200d間)の平均値を算出する。ここで現在の光学倍率指令が1.0倍、算出結果が100であったとすると、光学倍率指令18は基準マーカ間距離設定値に従って2.5倍となる。基準距離範囲に幅を持たせている理由として、ガルバノスキャナの動きに対してズームレンズの指令追従性は悪く、頻繁に動かすことで追尾精度を低下する恐れがあるからである。以上の過程を経て、光学倍率指令18は作成される。
 移動体位置・姿勢算出部370cは、ガルバノ角度指令値生成部170cとは、光学倍率指令18を受け取り、光学倍率指令18に応じたカメラパラメータを用いて移動体の位置・姿勢情報30を算出する点が異なる。
 本実施例によれば、移動体制御装置からの距離が遠くなっても移動体により確実にデータを送信することが可能となる。なお、本実施例ではズームレンズをスプリッタとカメラ間に配置したが、偏向手段(ガルバノスキャナ)とスプリッタ間に配置してもよい。
 本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、本実施例では移動体を飛行体としたが、他には走行体または浮体が想定される。
110…カメラ、120…レーザ光源、140…スプリッタ、190…二次元ガルバノスキャナ、901…移動体制御装置、902…飛行体、904…信号光線。

Claims (12)

  1.  カメラと、
     光源と、を有し、
     前記カメラの視野内で移動体に信号光線を照射することを特徴とする移動体制御装置。
  2.  請求項1に記載の移動体制御装置において、
     前記カメラの光軸に沿って、前記信号光線を照射することを特徴とする移動体制御装置。
  3.  請求項2に記載の移動体制御装置において、
     光偏向器を有し、
     前記カメラの視野内での前記移動体の位置に応じて、前記視野および前記信号光線を前記光偏向器で振ることを特徴とする移動体制御装置。
  4.  請求項3に記載の移動体制御装置において、
     前記光偏向器はガルバノミラーであることを特徴とする移動体制御装置。
  5.  請求項1に記載の移動体制御装置において、
     前記光源の発光波長は、前記カメラの主感度波長域外であることを特徴とする移動体制御装置。
  6.  請求項1に記載の移動体制御装置において、
     前記光源はレーザ光源であり、前記信号光線は前記レーザ光源の強度変調によって生成されることを特徴とする移動体制御装置。
  7.  カメラと、
     光源と、
     移動体と、を有し、
     前記カメラの視野内で前記移動体に信号光線を照射することを特徴とする移動体制御システム。
  8.  請求項7に記載の移動体制御システムにおいて、
     前記移動体は、発光素子を有し、前記信号光線の受信状態に応じて前記発光素子を光らせることを特徴とする移動体制御システム。
  9.  請求項7に記載の移動体制御システムにおいて、
     前記移動体は、複数のマーカを有し、
     前記カメラの視野内での前記複数のマーカの位置情報に基づいて、前記移動体の姿勢情報を算出することを特徴とする移動体制御システム。
  10.  請求項9に記載の移動体制御システムにおいて、
     ズームレンズを備え、
     前記カメラの視野内での前記複数のマーカの位置情報に基づいて、光学倍率を変更することを特徴とする移動体制御システム。
  11.  請求項9に記載の移動体制御システムにおいて、
     前記カメラの光軸に沿って、前記信号光線を照射することを特徴とする移動体制御システム。
  12.  請求項11に記載の移動体制御システムにおいて、
     前記カメラの光軸および前記信号光線の向きを変える光偏向器を有し、
     前記カメラの視野内での前記複数のマーカの位置情報に基づいて、前記光偏向器を制御することを特徴とする移動体制御システム。
PCT/JP2017/023521 2016-09-26 2017-06-27 移動体制御装置および移動体制御システム WO2018055861A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016186444A JP2020003830A (ja) 2016-09-26 2016-09-26 移動体制御装置および移動体制御システム
JP2016-186444 2016-09-26

Publications (1)

Publication Number Publication Date
WO2018055861A1 true WO2018055861A1 (ja) 2018-03-29

Family

ID=61690271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023521 WO2018055861A1 (ja) 2016-09-26 2017-06-27 移動体制御装置および移動体制御システム

Country Status (2)

Country Link
JP (1) JP2020003830A (ja)
WO (1) WO2018055861A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091580A (ja) * 2018-12-04 2020-06-11 株式会社Soken 飛行装置制御システム
WO2021147546A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 多传感器融合slam系统、多传感器融合方法及机器人、介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7116451B1 (ja) * 2021-05-27 2022-08-10 ユーピーアール株式会社 飛行体制御システムおよび荷物管理システム
JP7096614B1 (ja) * 2021-05-27 2022-07-06 ユーピーアール株式会社 飛行体制御システムおよび荷物管理システム
WO2023073834A1 (ja) * 2021-10-27 2023-05-04 日本電信電話株式会社 移動体、通信システム、および制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006051893A (ja) * 2004-08-12 2006-02-23 Seiko Epson Corp 位置・姿勢検出システム
JP2007049604A (ja) * 2005-08-12 2007-02-22 Rb Controls Co リモコン装置
JP2011103621A (ja) * 2009-11-12 2011-05-26 Panasonic Corp 遠隔制御システムおよび受光装置
JP2014104797A (ja) * 2012-11-26 2014-06-09 Hitachi-Ge Nuclear Energy Ltd 建屋内調査システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006051893A (ja) * 2004-08-12 2006-02-23 Seiko Epson Corp 位置・姿勢検出システム
JP2007049604A (ja) * 2005-08-12 2007-02-22 Rb Controls Co リモコン装置
JP2011103621A (ja) * 2009-11-12 2011-05-26 Panasonic Corp 遠隔制御システムおよび受光装置
JP2014104797A (ja) * 2012-11-26 2014-06-09 Hitachi-Ge Nuclear Energy Ltd 建屋内調査システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091580A (ja) * 2018-12-04 2020-06-11 株式会社Soken 飛行装置制御システム
JP7123774B2 (ja) 2018-12-04 2022-08-23 株式会社Soken 飛行装置制御システム
WO2021147546A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 多传感器融合slam系统、多传感器融合方法及机器人、介质

Also Published As

Publication number Publication date
JP2020003830A (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
WO2018055861A1 (ja) 移動体制御装置および移動体制御システム
US11283986B2 (en) Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
CN106970377B (zh) 用于扫描目标区的装置和方法
WO2019128070A1 (zh) 目标跟踪方法及装置、移动设备及存储介质
US20210254308A1 (en) Construction machine with measuring system and construction site measuring system
CN108603936B (zh) 激光扫描系统、激光扫描方法、非暂时性计算机可读存储介质
KR100901311B1 (ko) 자율이동 플랫폼
CN110249235A (zh) 用于移动机器视觉应用的可变视场和方向传感器
CN107076838A (zh) 用于光雷达发射的方法和系统
KR20210015914A (ko) 신경망을 사용하는 데이터 인코딩 및/또는 디코딩 시스템 및 방법
EP3674830B1 (en) Server and method for controlling laser irradiation of movement path of robot, and robot that moves based thereon
KR20180052045A (ko) 레이저 스캐너를 이용한 대상 물체의 실시간 동적 위치 추적이 가능한 3d 레이저 스캐너 시스템
JP2010152834A (ja) 無人移動体システム
KR102177333B1 (ko) 전후방 측정이 가능한 라이다 스캐닝 장치
CN106255864A (zh) 3d粗略激光扫描仪
JP2017224123A (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
US20150268346A1 (en) Optical axis directing apparatus
KR102438071B1 (ko) 전후방 측정이 가능한 라이다 스캐닝 장치
US20190325650A1 (en) Method and Vehicle Control System for Producing Images of a Surroundings Model, and Corresponding Vehicle
JP4678007B2 (ja) 環境地図生成方法、及び移動ロボット
KR102549355B1 (ko) 수중 모니터링 시스템 및 이를 이용한 수중 터널 시공 방법
JP5044420B2 (ja) レーザービーム照射システム、レーザービーム照射方法およびレーザービーム中継機
JP5439948B2 (ja) 誘導装置及び目標判定装置
JP6868544B2 (ja) 自律移動方法及び自律移動装置
KR102349044B1 (ko) 로봇의 이동 경로의 레이저 조사를 제어하는 서버와 방법 및 이에 기반하여 이동하는 로봇

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17852642

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17852642

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP