WO2021015201A1 - 遠隔操縦システムおよびその操縦装置 - Google Patents

遠隔操縦システムおよびその操縦装置 Download PDF

Info

Publication number
WO2021015201A1
WO2021015201A1 PCT/JP2020/028270 JP2020028270W WO2021015201A1 WO 2021015201 A1 WO2021015201 A1 WO 2021015201A1 JP 2020028270 W JP2020028270 W JP 2020028270W WO 2021015201 A1 WO2021015201 A1 WO 2021015201A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
information
control device
multicopter
image
Prior art date
Application number
PCT/JP2020/028270
Other languages
English (en)
French (fr)
Inventor
和雄 市原
紀代一 菅木
河野 雅一
佐藤 陽一
Original Assignee
株式会社プロドローン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020091993A external-priority patent/JP6873515B1/ja
Application filed by 株式会社プロドローン filed Critical 株式会社プロドローン
Publication of WO2021015201A1 publication Critical patent/WO2021015201A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C19/00Aircraft control not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/04Sound-producing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Definitions

  • the present invention relates to a remote control technique for a moving body.
  • Patent Document 1 discloses a landing operation device for an unmanned aerial vehicle.
  • the problem to be solved by the present invention is to manage a distant moving body with higher accuracy.
  • the remote control system of the present invention includes a moving body and a control device for remotely operating the moving body, the moving body has a photographing means, and the control device is the moving body.
  • the mobile body information includes an information acquisition unit for acquiring mobile body information which is information about the inner world and / or the outer world of the body, and a display unit, and the mobile body information includes an image taken by the mobile body and the moving body.
  • the current position information is included, the image and the map image are displayed on the display unit, and the figure showing the current position of the moving body and the moving body photograph the image on the map image. It is characterized in that a figure indicating a position and is displayed.
  • a figure indicating the direction in which the moving body has taken the image is further displayed on the map image.
  • the delay time of the image displayed on the display unit is further displayed on the display unit or the map image.
  • the remote control system of the present invention includes a moving body and a control device for remotely operating the moving body, the moving body has a photographing means, and the control device includes a moving body.
  • the mobile body information includes an information acquisition unit and a display unit for acquiring mobile body information which is information about the inner world and / or the outer world of the mobile body, and the mobile body information includes the traveling direction photographed by the mobile body. It is characterized in that an image and current position information of the moving body are included, the image is displayed on the display unit, and a figure representing the current position of the moving body is superimposed on the image. ..
  • the moving body is an unmanned aerial vehicle and the current position information includes the flight altitude of the moving body.
  • the remote control system of the present invention includes a moving body and a control device for remotely operating the moving body, and the control device includes the inner world and / or the outer world of the moving body.
  • the mobile body information includes an information acquisition unit for acquiring mobile body information, a display unit, and three-dimensional map data, and the mobile body information includes the current position information of the mobile body, and the display unit.
  • the map data is displayed on the map data, and a figure indicating the current position of the moving body is superimposed on the map data.
  • the remote control system of the present invention includes a moving body and a control device for remotely operating the moving body, and the control device includes an inner world and / or an outer world of the moving body.
  • the mobile body information includes an information acquisition unit for acquiring mobile body information, a display unit, and three-dimensional map data, and the mobile body information includes the current position information of the mobile body, and the display unit. Is characterized in that the state of the feature when viewed in a specific direction from the current position of the moving body is displayed on the map data.
  • the remote control system of the present invention includes a moving body and a control device for remotely operating the moving body, and the control device includes the inner world and / or the outer world of the moving body. It has an information acquisition unit for acquiring mobile body information, which is information about a mobile body, a display unit, and three-dimensional map data.
  • the mobile body information includes the current position information of the mobile body, and the control device.
  • the moving body is an unmanned aerial vehicle and the current position information includes the flight altitude of the moving body.
  • the remote control system of the present invention includes a moving body and a control device for remotely controlling the moving body, the moving body has a photographing means, and the control device includes a moving body. It has a display unit that displays moving body information that is information about the inner world and / or the outer world of the moving body, and the moving body performs edge detection on a captured image or video, and edge information of the image or video, It is characterized in that contour information or segment information can be transmitted to the control device.
  • the remote control system of the present invention includes a moving body and a control device for remotely controlling the moving body, the moving body has a photographing means, and the control device includes a moving body. It has a display unit that displays moving body information that is information about the inner world and / or the outer world of the moving body, and a line-of-sight sensor that detects the line-of-sight direction of the operator. The moving body is detected by the line-of-sight sensor.
  • the moving body may be in a place invisible from the position of the control device.
  • the embodiment described below is an example of a remote control system S that monitors and controls a moving body, a multicopter 10, from a distance by a control device 50.
  • the multicopter 10 of this embodiment is a small UAV (Unmanned aerial vehicle) that flies with a plurality of horizontal rotors.
  • the multicopter 10 transmits the information acquired by the device mounted on the multicopter 10 to the control device 50, and the control device 50 remotely controls the operation of the multicopter 10 itself and the device mounted on the multicopter 10.
  • the combination of the multicopter 10 and the control device 50 is not limited to one-to-one.
  • One control device 50 manages a plurality of multicopters 10, and conversely, a plurality of control devices 50 manage one multicopter. It is also possible to manage 10.
  • FIG. 1 is a schematic view showing an example of the control device 50.
  • FIG. 2 is a block diagram showing a functional configuration of the control device 50.
  • FIG. 3 is a block diagram showing a functional configuration of the multicopter 10.
  • the cockpit 59 of the control device 50 is surrounded by a plurality of monitors 70 (display units).
  • the monitor 70 of this embodiment includes a front monitor 71 which is a monitor arranged in front of the driver's seat 59, side monitors 72 arranged on the left and right of the driver's seat 59, and a lower monitor 73 arranged on the floor surface of the control device 50. It is composed of an upper monitor 74 arranged on the ceiling surface of the control device 50 and a rear monitor 75 arranged behind the driver's seat 59.
  • the multicopter 10 of this embodiment is equipped with a plurality of cameras 41 (shooting means).
  • the multicopter 10 captures front-back, left-right, and top-bottom images of the aircraft by these cameras 41.
  • the image display program 61 of the control device 50 displays these images received from the multicopter 10 on the monitor 70 corresponding to the photographing direction.
  • the front monitor 71 displays the image in front of the multicopter 10 in a wide range
  • the side monitor 72 displays the left and right images of the multicopter 10
  • the lower monitor 73 displays the image directly below or in front of the multicopter 10.
  • the image diagonally below is displayed on the upper monitor 74, the image directly above the multicopter 10 or diagonally above the front, and the image behind the multicopter 10 is displayed on the rear monitor 75.
  • the operator can grasp the surrounding environment of the multicopter 10 as if he / she is on the multicopter 10.
  • the lower monitor 73 of this embodiment is installed on the floor surface of the control device 50, the position of the lower monitor 73 is not limited to the floor surface, and is near the operator's feet (the operator drops his / her line of sight downward). It suffices if it is placed at the viewing position).
  • the lower monitor 73 may be arranged with the screen facing diagonally upward under the front monitor 71 so that the screen is not hidden by the operator's feet when viewing the lower monitor 73, for example.
  • the upper monitor 74 of this embodiment is installed on the ceiling surface of the control device 50, but the position of the upper monitor 74 is not limited to the ceiling surface, and is arranged above the operator's head (the position where the operator looks up). You just have to.
  • the upper monitor 74 may be arranged on the front monitor 71 with the screen facing diagonally downward so that, for example, the operator can check without turning his / her line of sight directly upward.
  • the image display program 61 of the present embodiment not only displays the images taken by each camera 41 on different monitors 70, but also displays these images side by side or superimposed on one monitor 70, or vice versa.
  • An image having one wide angle of view can be divided and displayed on a plurality of monitors 70.
  • the images of the top, bottom, left, right, and rear of the multicopter 10 are superimposed on the edges of the front image and displayed simultaneously on the front monitor 71, or the images of the spherical camera and the hemispherical camera are flattened and divided, respectively. It can be displayed on the monitor 70 corresponding to the shooting direction of.
  • the number of cameras 41 mounted on the multicopter 10 and the shooting direction are arbitrary, and may be appropriately changed according to the application and purpose.
  • the multicopter 10 may, for example, photograph only the front of the multicopter 10 or diagonally below the multicopter 10 with one camera 41, or may operate the camera 41 with the camera gimbal 49 to photograph a desired direction. Good. Further, the camera 41 may not be mounted on the multicopter 10, and only the output value of another sensor device or the processed value thereof may be transmitted to the control device 50.
  • the camera 41 mounted on the multicopter 10 is not limited to the FPV (First Person View) method.
  • the camera 41 is mounted on the tip of the camera arm 42 extending from the body of the multicopter 10.
  • the camera arm 42 can freely change the shooting position of the camera 41 and the shooting direction thereof like a movable fiberscope.
  • the camera arm 42 can be extended from the body portion 11 of the multicopter 10 or retracted into the body portion 10 by a drive mechanism (not shown).
  • the shooting of the multicopter 10 taken by a fixed camera installed on the ground or the image of the multicopter 10 taken by another UAV may be transmitted to the control device 50. It is extremely useful to photograph the state of the actual machine from the outside (make it visible) in the non-visual control of the moving body. By displaying such an image on the monitor 70, the operator can more objectively grasp the state / situation of the multicopter 10.
  • the control device 50 has a communication device 52 (information acquisition unit) that receives the aircraft information of the multicopter 10 or the mobile information i that is information about the environment in which the multicopter 10 is placed.
  • the aircraft information of the multicopter 10 referred to here is information on the inner world of the multicopter 10 (the attitude of the aircraft, the orientation of the heading, the remaining battery level, etc.), and the information on the environment in which the multicopter 10 is placed is.
  • the definitions of "inner world” and "outer world” here are for convenience, and individual sensor values and acquired information may be classified into either. Any information about the state or situation of the multicopter 10 is a candidate for the mobile information i.
  • the moving body information i of this embodiment includes an image or video image taken by the multicopter 10, an output value of the sensor device of the multicopter 10 or a processed value thereof, information indicating a positional relationship between the multicopter 10 and its peripheral objects, and information indicating the positional relationship between the multicopter 10 and its peripheral objects. , Information on the wind direction and speed at the current location of the multicopter 10.
  • the multicopter 10 of this embodiment is acquired by the image taken by the camera 41, the point group data of the peripheral objects acquired by LiDAR37 (Light Detection And Ringing), its processing value, the flight control sensor group S, and the like.
  • Data indicating the direction and attitude of the aircraft, the flight position (latitude and pressure altitude), the remaining battery level, the wind direction and the wind speed at the current location acquired by the wind direction and wind speed sensor 36 are transmitted to the control device 50.
  • the moving object information i includes, for example, information on the positional relationship between the multicopter 10 and its surrounding objects possessed by the UTM (UAV Traffic Management) system, weather information observed by other systems, and images taken by other UAVs. A photographed image of the multicopter 10 from a third-party perspective may be included.
  • UTM UAV Traffic Management
  • the video display program 61 of the present embodiment displays a numerical value indicating the distance to the peripheral object closest to the multicopter 10 among the peripheral objects of the multicopter 10 on the image (see, for example, the example of FIG. 6). ..
  • the video display program 61 calls the operator's attention by displaying the vicinity of the peripheral object in red or blinking the numerical value.
  • FIG. 5 is a schematic view showing a display example of the map image M displayed on the monitor 70 of the control device 50.
  • FIG. 6 is an example in which an icon (graphic) indicating the current position of the multicopter 10 is superimposed and displayed on the three-dimensional map data N acquired in advance.
  • FIG. 7 is an example of displaying the state of the feature when the multicopter 10 is viewed in a specific direction from the current position on the three-dimensional map data N.
  • FIG. 8 is an example in which a stereoscopic image showing the current position of the multicopter 10 is superimposed and displayed on the image captured by the multicopter 10.
  • the shooting control device 40 of the multicopter 10 operates the camera gimbal 49, starts / stops shooting by the camera 41, or starts / stops shooting by the camera 41 according to an instruction from the control device 50 or another system or according to pre-programmed conditions.
  • the video data taken in 41 is processed.
  • the amount of video data captured by the multicopter 10 by the camera 41 is significantly larger than that of telemetry data indicating the current location of the multicopter 10, for example, and the delay during transfer tends to be large. That is, there is a discrepancy between the surrounding environment of the multicopter 10 grasped from the image displayed on the monitor 70 and the actual surrounding environment of the multicopter 10 at the time of confirming the image. Therefore, when the operator manually operates the multicopter 10 while watching the image, helicopter needs to be aware of how much the image he is viewing is displayed with a delay.
  • the photographing control device 40 of the present embodiment performs edge detection on the image captured by the camera 41 by, for example, a high-pass filter, transmits only the extracted edge information to the control device 50, and further performs object detection and segmentation to perform object detection. Only the contour information and the segment information can be transmitted to the control device 50. As a result, the amount of data transmitted from the multicopter 10 to the control device 50 is suppressed, and the time lag until the information from the camera 41 is displayed on the monitor 70 is reduced. Further, when the shooting control device 40 of the present embodiment has a distance to the multicopter 10 closer than a predetermined threshold value among the peripheral objects detected from the image, only the image information related to the peripheral object is obtained. Can be sent in preference to. As a result, the peripheral objects to be watched are promptly displayed on the monitor 70, and the operator can have a longer grace period to deal with them.
  • An icon 10b indicating whether the image was taken toward the subject is displayed.
  • a delay time 300 msec in the example of this embodiment
  • the shooting point and delay time of the icon 10b can be specified, for example, by combining the time stamp and the longitude / latitude information of the NMEA sentence (GPS data) received earlier and the time stamp of the RTP header (video data). Information on the shooting direction may be included in the video data or the telemetry data.
  • the video display program 61 of the present embodiment can display the icon 10a indicating the current position of the multicopter 10 on the three-dimensional map data N.
  • the operator can check the flight status of the multicopter 10 from all directions from a third-party viewpoint.
  • the topography, features, and altitude of the air route are acquired together with the latitude and longitude information, and the features are also acquired. It is possible to prepare the three-dimensional map data N of the flight route in advance by superimposing the external photographs of the above. If the accuracy is sufficient, commercially available three-dimensional map data may be used.
  • the image display program 61 of this embodiment shows the state of the feature when a specific direction is viewed from the current position (latitude and pressure altitude) of the multicopter 10 in the map data N, as shown in FIG. It can also be reproduced virtually.
  • the "specific direction" referred to here may be arbitrarily set and changed by the operator. As a result, the operator can check the surrounding environment of the multicopter 10 from the first-person viewpoint as if he / she is on the multicopter 10.
  • the map data N may be lightweight data showing only the outline of the feature as in the examples of FIGS. 6 and 7, and a more realistic view may be reproduced by using a photographic image. Alternatively, these may be switchable.
  • the operator can arbitrarily switch between the display of the third-person viewpoint and the display of the first-person viewpoint by the video display program 61, and can also display these displays on the monitor 70 at the same time.
  • the image display program 61 of the present embodiment displays an image in the traveling direction taken by the multicopter 10 on the monitor 70, and the multicopter specified from the telemetry data of the multicopter 10 there. It is also possible to superimpose and display a three-dimensional image showing the current position of 10.
  • the image showing the current position of the multicopter 10 as seen from the shooting position of the image is three-dimensionally superimposed and displayed for maneuvering. The person can grasp the current position of the multicopter 10 without misunderstanding even from the delayed image.
  • the above-mentioned AR (Augmented Reality) method the current position of the multicopter 10 in the image in the traveling direction with a time lag.
  • the above-mentioned VR (Virtual Reality) method using map data acquired in advance is used to deal with the delay by superimposing stereoscopic images showing You may switch to the method of virtually reproducing the flight environment of the multicopter 10).
  • the type of information displayed on the monitor 70 by these AR-like method or VR-like method is not particularly limited, and various sensor information of the multicopter 10 and various sensor information prepared in advance according to the use of the multicopter 10 and the information to be watched at each time. You can additionally display the saved information.
  • the control device 50 has a handle 53, which is a control stick, and an elevating lever 54.
  • the control device 50 of the present embodiment controls the pitch and roll of the multicopter 10 by tilting the handle 53, and controls the yaw of the multicopter 10 by twisting the handle 53.
  • the operation of the handle 53 and the elevating lever 54 by the operator is transmitted to the multicopter 10 by the control signal transmission program 63.
  • the interface between the control device 50 and the operator is not limited to the handle 53 and the elevating lever 54 of this embodiment, and if the throttle, aileron, rudder, and elevator can be steered to the multicopter 10, for example, for a radio control.
  • the control device 50 is also provided with a touch panel, a keyboard, a mouse, and the like, which are general input devices, and commands can be sent to the multicopter 10 from these. ..
  • control device 50 of this embodiment has a resistance control program 62 that controls the amount of resistance when the operator operates the handle 53 and the elevating lever 54.
  • the resistance control program 62 changes the amount of resistance when operating the handle 53 and the elevating lever 54 in each direction according to the weight of the multicopter 10 and the wind direction and speed at the current location of the multicopter 10. For example, when a strong wind is blowing from the front right of the multicopter 10 toward the multicopter 10, the operation of moving the operator to the front right is heavy, and the operation of moving the operator to the rear left is light. As a result, the operator P can intuitively grasp the properties of the multicopter 10 and the flight environment from the resistance amount of the handle 53 and the elevating lever 54.
  • FIG. 9 is a graph showing the relationship between the operating amount (steering amount) of the steering wheel 53 and the actual steering angle of the multicopter 10.
  • the control signal transmission program 63 of the control device 50 desensitizes the vicinity of the rudder neutral from the original relationship between the steering amount and the actual rudder angle (P in FIG. 9) as the delay of the video data increases (EXP in FIG. 9). ), And narrow the range of the actual steering angle (DR in FIG. 9). This reduces excessive steering due to video delay.
  • control signal transmission program 63 may narrow only the range of the actual steering angle according to the delay amount of the video data while maintaining the direct proportional relationship between the steering amount and the actual steering angle. That is, only the upper limit of the flight speed may be changed according to the amount of delay of the video data.
  • the steering amount and actual steering angle adjustment function by the control signal transmission program 63 is only a function at the time of manual steering, and may be automatically disabled at the time of autopilot.
  • FIG. 10 is a schematic view showing a state of the operation center C in which a large number of control devices 50 are gathered at one base.
  • FIG. 11 is a schematic view of a control device 50 in which a pair of two operators cooperate to manage the multicopter 10.
  • the control device 50 has a control switching program 66 which is a means (control switching means) for switching the control subject of the multicopter 10 and the equipment mounted on the multicopter 10 to another control device 50.
  • the control switching program 66 is a function that entrusts the control of the multicopter 10 to an operator who can deal with an abnormality in the operation of the multicopter 10 or when a difficult maneuvering operation is required. .. Alternatively, this can be used to give the user control (control right) of the multicopter 10 and the equipment mounted on the multicopter 10, or simply to take over the work to another pilot.
  • control body here means, for example, the control device 50 or other control device 50 to which the authority to operate the multicopter 10, the authority to operate the equipment mounted on the multicopter 10, the authority to acquire and display the moving body information i, etc. belong. It means a device.
  • the control switching program 66 can switch these authorities collectively or partially to another control device 50 or other device.
  • the control switching program 66 can be manually executed, but can also be automatically executed as described below.
  • the monitors 70 of both pilots 50 are used.
  • the moving body information i of the multicopter 10 is displayed in the above, and when some control operation is performed by the senior pilot, the control subject is forcibly switched to the control device 50 of the senior pilot by the control switching program 66. Can be considered.
  • the control switching program 66 used at this time may be that of the control device 50 of the senior operator, that of the control device 50 of the lower level operator, or that the control switching program 66 of both of these control devices 50 is performed in cooperation with each other. You may.
  • control switching program 66 included in the management device 80 which is a higher-level device of the control device 50, may be used.
  • the control switching program 66 included in the management device 80 which is a higher-level device of the control device 50, may be used.
  • the control switching program 66 included in the management device 80 may be used.
  • the control switching means is not limited to software (program), and may be configured by hardware.
  • control switching program 66 when the control switching program 66 is automatically executed, if there are a plurality of candidates for the control device 50 of the switching destination, the control switching program 66 automatically selects the switching destination according to the content of the mobile information i. More specifically, the control switching program 66 classifies the proficiency level and the ex officio of the pilot in advance, and the type of abnormality determined from the moving body information i, the required judgment and the difficulty level of the maneuvering operation, or It is automatically determined which control device 50, that is, which operator to switch the control subject to, according to the degree of urgency or the like.
  • the multicopter 10 may malfunction depending on the content of the abnormality.
  • the multicopter 10 can be steered even if the image from the multicopter 10 cannot be displayed, and other telemetry data is received. It is not so urgent if it is possible. However, if it is not a temporary communication failure due to the flight environment but a failure of the communication equipment, the urgency is high.
  • the control switching program 66 can automatically switch a part or all of the control main body of the multicopter 10 to the operator (control device 50) who can deal with such a situation / condition.
  • the control switching program 66 of the present embodiment not only switches the control subject such as the multicopter 10 to another control device 50 or other device, but also uses it for communication with the multicopter 10 according to the content of the mobile information i. You can also switch lines automatically. For example, it is conceivable to use a best effort type communication line during normal flight of the multicopter 10 and switch to a guarantee type communication line with guaranteed Quality of Service (QoS) in an emergency.
  • QoS Quality of Service
  • the communication line may be switched by a program different from the control switching program 66.
  • the target for switching the control subject by the control switching program 66 is not limited to the other control device 50, and the control subject can be switched to a device other than the control device 50.
  • a user of a service using the remote control system S that is, a general personal computer or tablet terminal used by the user, is given control of the camera 41 or the camera gimbal 49, and the user is made to take a desired image / video.
  • a camera 41 for the operator to operate the multicopter 10 and a camera for the user to capture a desired image / video are separately mounted, and the communication path of the camera for the user is set as the control device 50.
  • the user can control the control device 50. It is possible to easily access the camera 41 and the like even if the user is away from the camera 41.
  • the operator and the user can perform the shooting work in smooth cooperation. You can also.
  • the device that can give control to the user is not limited to the camera, and the user can be given control of any device according to the purpose.
  • control switching program 66 may be mounted on the management device 80, which is a higher-level device of the control device 50, and the control device 80 may centrally switch the control subject.
  • the user (other device 90) of the service using the remote control system S is given control of the camera 41, and the image captured by the camera 41 is displayed on the monitor 91 of the other device 90. Has been done. Even in this case, the essential functions and roles of the control switching program 66 remain unchanged. It is simply the difference between being mounted on the individual controls 50 and independent of the controls 50.
  • control switching programs 66 are mounted on the individual control devices 50, they may cooperate with each other, or the control switching program 66 of one control device 50 may be used as the master, and the control switching programs 66 of the other control devices 50 may be used as masters. By making the slave a master-slave relationship, it is possible to do the same thing as the management device 80 does.
  • the operation center C covers information on a plurality of or all multicopters 10 under the jurisdiction of the operation center C, and a part or the whole of the airspace under the jurisdiction of the operation center C by separating colors and layers. It has a central monitoring screen 79 for comprehensive display. In Operation Center C, in some cases, it is possible to take over the drone of another company that is flying dangerously and avoid the danger.
  • the captured video and telemetry data of the multicopter 10 in which a serious problem has occurred on the central monitoring screen 79, and to deal with the problem by a team of managers or a plurality of pilots. ..
  • information on a plurality of multicopters 10 for which the situation should be watched is displayed side by side on the central monitoring screen 79, or these information are switched and displayed at predetermined seconds, and the situation is changed by a plurality of people. It is also possible to monitor.
  • the multicopter 10 of the present embodiment has a camera gimbal 49 (posture stabilizing device) that absorbs a change in the posture of the multicopter 10 and maintains the posture of the camera 41.
  • the control device 50 has a camera fixing button 531 (camera fixing means) for stopping the posture stabilizing operation of the camera gimbal 49 and fixing the direction of the camera 41.
  • the multicopter 10 of this embodiment has a plurality of cameras 41 oriented in multiple directions.
  • the camera fixing button 531 presses the camera 41.
  • the orientation of the camera 41 may be fixed after automatically pointing forward or downward of the multicopter 10.
  • the multicopter 10 of this embodiment is stored in a so-called drone port, which is a dedicated takeoff and landing facility located all over the country, and automatically departs from the drone port according to an instruction from the control device 50 or another system.
  • a drone port is not indispensable. For example, personnel are assigned to the site to prepare for takeoff and landing of the multicopter 10, and personnel assigned to the site cooperate with the operator to provide support by manual operation. You may go.
  • the multicopter 10 of this embodiment mainly includes a flight controller FC which is a control unit, a rotor R which is a plurality of horizontal rotors, a communication device 25 which communicates with an operator (control device 50), and a plurality of cameras 41. It is composed of a camera gimbal 49 that supports all or a part of these, and a battery (not shown) that supplies power to them.
  • the flight controller FC has a control device 20 which is a microcontroller.
  • the control device 20 has a CPU 21 which is a central processing unit and a memory 22 including a storage device such as a RAM, a ROM, and a flash memory.
  • the control device 20 is not limited to a single microcontroller, and may be a combination with a so-called companion computer.
  • the control device 20 is composed of, for example, an FPGA (field-programmable gate array) or an ASIC (Application Specific Integrated Circuit).
  • the flight controller FC further has a flight control sensor group S including an IMU 31 (Inertial Measurement Unit), a GPS receiver 32, a pressure sensor 34, and an electronic compass 35, which are connected to the control device 20. Has been done.
  • IMU 31 Inertial Measurement Unit
  • GPS receiver 32 GPS receiver
  • pressure sensor 34 pressure sensor
  • electronic compass 35 an electronic compass 35
  • the IMU 31 is a sensor that detects the inclination of the multicopter 10, and is mainly composed of a 3-axis acceleration sensor and a 3-axis angular velocity sensor.
  • the barometric pressure sensor 34 is an altitude sensor that obtains the altitude above sea level (elevation) of the multicopter 10 from the detected barometric pressure value.
  • the electronic compass 35 is a sensor that detects the azimuth angle of the heading (nose) of the flight controller FC, and is mainly composed of a three-axis geomagnetic sensor.
  • the GPS receiver 32 is, to be exact, a receiver of a navigation satellite system (NSS: Navigation Satellite System). The GPS receiver 32 acquires the current latitude and longitude value from a global navigation satellite system (GNSS: Global Navigation Satellite System) or a regional navigation satellite system (RNSS: Regional Navigation Satellite System).
  • GNSS Global Navigation Satellite System
  • RNSS Regional Navigation Satellite System
  • the flight control sensor group S acquires the position information of the aircraft including the latitude and longitude, altitude, and azimuth of the nose in addition to the tilt and rotation of the aircraft by the flight control sensor group S.
  • the control device 20 has a flight control program FS, which is a program for controlling the attitude and basic flight movements of the multicopter 10 during flight.
  • the flight control program FS adjusts the rotation speed of each rotor R based on the information acquired from the flight control sensor group S, and flies the multicopter 10 while correcting the disturbance of the attitude and position of the aircraft.
  • the control device 20 further has an autonomous flight program AP, which is a program for autonomously flying the multicopter 10. Then, in the memory 22 of the control device 20, a flight plan FP, which is a parameter in which the latitude and longitude of the course on which the multicopter 10 is flown, the altitude during flight, the speed, and the like are specified, is registered.
  • the autonomous flight program AP autonomously flies the multicopter 10 according to the flight plan FP, with instructions from the control device 50 and other systems, a predetermined time, and the like as starting conditions.
  • the multicopter 10 of this embodiment includes a wind direction and wind speed sensor 36 that acquires the wind direction and speed at the current location, and a LiDAR 37 that acquires the positional relationship and distance between the multicopter 10 and its surrounding objects.
  • the point cloud data acquired by the LiDAR 37 is mainly used in the internal processing of the flight controller FC, and if necessary, the processed values such as the distance to the surrounding objects are sent to the control device 50 together with the video data. Will be sent.
  • the camera 41 mounted on the multicopter 10 is not limited to a general visible light camera, and may be, for example, a night-vision camera (high-sensitivity camera or infrared camera), a depth camera, or the like.
  • the devices and equipment mounted on the multicopter 10 are not particularly limited, and for example, a parachute, a flashlight, a warning light, an alarm buzzer, or the like may be mounted.
  • the communication device 25 and the control device 50 of the multicopter 10 can transmit and receive control signals and data, regardless of the specific communication method, protocol, and line used.
  • mobile communication networks such as 3G, LTE (Long Term Evolution), WiMAX (Worldwide Interoperability for Microwave Access), and 5G (hereinafter, mobile communication networks using such terrestrial base stations are referred to as "mobile phone communication networks”.
  • the operator (control device 50) can access the multicopter 10 from anywhere within the service area of the mobile telephone communication network. Will be.
  • the connection method between the access point and the multicopter 10 is not particularly limited, and for example, Wi-Fi (Wireless Fidelity) or frequency hopping type PCM (pulse code modulation) signal may be used, and mobile phone communication is performed from the access point. You may connect to the multicopter 10 using a net. Further, the communication path between the multicopter 10 and the control device 50 may be made redundant by using a plurality of communication methods in combination. In addition, for example, another UAV equipped with a repeater may be separately prepared, and the multicopter 10 may be connected to the control device 50 or an access point via the UAV.
  • Wi-Fi Wireless Fidelity
  • PCM pulse code modulation
  • the communication delay from the multicopter 10 to the control device 50 becomes a problem, for example, at least a part of the communication paths connecting them is switched between the analog system and the digital system. It is possible to make it possible. Analog communication is generally inferior in data reproducibility to digital communication, but analog communication has the advantage of less delay than digital communication.
  • the communication method may be switched manually or automatically on the control device 50 side, or automatically on the multicopter 10 side. As the conditions for automatically switching, for example, the amount of data to be transmitted / received, the amount of delay, the communication failure, and other arbitrary conditions can be considered.
  • the moving range of the multicopter 10 extends beyond the service area of the mobile phone communication network, such as offshore or mountainous areas, satellite communication modules such as Iridium (registered trademark) and Inmarsat (registered trademark) are multi-purposed.
  • satellite communication modules such as Iridium (registered trademark) and Inmarsat (registered trademark) are multi-purposed.
  • Iridium registered trademark
  • Inmarsat registered trademark
  • the communication path with the multicopter 10 can be made redundant, and the multicopter 10 and the multicopter 10 can be made redundant.
  • the movable range of the multicopter 10 can be expanded while maintaining the communication quality of the multicopter 10 as much as possible.
  • the multicopter 10 and the control device 50 are connected by a 5G line
  • all the information including the image captured by the camera 41 is transmitted to the control device 50, and after switching to the satellite communication line, the latitude and longitude and the pressure altitude
  • the communication line may be switched manually or automatically on the control device 50 side, or automatically on the multicopter 10 side.
  • the conditions for automatically switching for example, the current position (latitude and pressure altitude), the radio field strength of another communication line such as a mobile phone communication network, and other arbitrary conditions can be considered.
  • FIG. 13 is a schematic view showing a control device 50b which is a modification of the control device 50.
  • FIG. 14 is a block diagram showing a functional configuration of the control device 50b.
  • the control device 50b will be described with reference to FIGS. 13 and 14.
  • the operator enters the spherical monitor 76, which is a spherical monitor, and operates the multicopter 10.
  • the multicopter 10 is provided with a hemispherical camera and a spherical camera as its camera 41, and the image captured by the camera 41 is displayed as it is on the spherical monitor 76.
  • the spherical camera and the spherical monitor 76 in this modification, the gaps and overlaps of the images when shooting in all directions with a plurality of cameras, the load of converting the flat image and the spherical image are reduced, and the video data is made efficient. It is possible to acquire, transfer, and display.
  • the spherical monitor 76 is not limited to the global shape as in the present embodiment, and may be a hemispherical shape.
  • the control device 50b further has a line-of-sight sensor 55 capable of detecting the line-of-sight direction of the operator.
  • the image display program 61 enlarges and displays the image in the line-of-sight direction of the operator detected by the line-of-sight sensor 55. Further, the output value of the line-of-sight sensor 55 is also transferred to the multicopter 10.
  • the photographing control device 40 of the multicopter 10 receives this information, and transmits the image data in the line-of-sight direction of the operator with high resolution and the image data with low resolution in the other directions to the control device 50b. As a result, the amount of communication of the video data transmitted from the multicopter 10 is suppressed, and the delay of the video displayed on the monitor 76 is reduced.
  • the direction of the operator's line of sight is not limited to the direction of the eyeball, and may be the direction of the face.
  • control device 50b has a plurality of speakers 56 arranged around the operator.
  • the speaker 56 of this embodiment is arranged so as to surround the front, rear, left, and right of the operator in the circumferential direction.
  • the control device 50b has a speaker control program 64 (speaker control unit) that controls the operation of the speaker 56.
  • the speaker control program 64 notifies the operator of the positional relationship and distance between the multicopter 10 and its peripheral objects by emitting a sound from the speaker 56 to the operator based on the content of the moving body information i. For example, when there is an obstacle on the right front side of the multicopter 10, a sound is emitted from the speaker 56 on the right front side of the operator, and the volume is increased as the obstacle approaches. This allows the operator to visually recognize the position of the obstacle and its distance.
  • the arrangement of the speakers 56 is not limited to that of the present embodiment.
  • three or four speakers 56 including the left and right speakers 56 are arranged around the operator, and the sound source direction is simulated by phase control. Is also possible. Further, for example, it is conceivable to change the type of sound according to the type of peripheral objects (structures such as buildings, other UAVs, people).
  • the use of the speaker 56 is not limited to that of the present embodiment, and for example, it is possible to express the wind direction and the wind speed at the current location of the multicopter 10 by the sound emitted from the speaker 56.
  • the control device 50b includes a blower 57 that is arranged around the operator and blows wind to the operator, and a blower control program 65 (blower control unit) that controls the wind direction and volume by the blower 57. doing.
  • the blow control program 65 changes the wind direction and volume of the wind blown to the operator according to the wind direction and speed at the current location of the multicopter 10. For example, when the wind is blowing from the right front of the multicopter 10 toward the multicopter 10, the air volume of the wind corresponding to the wind speed is blown to the operator from the blower 57 on the right front of the operator. As a result, the operator can operate the multicopter 10 as if he were at the site while being far away.
  • the moving object of the present invention is not limited to an unmanned aerial vehicle, and may be a so-called passenger drone that transports passengers or a manned aircraft on which a pilot is on board.
  • the present invention is not limited to an aircraft, and may be, for example, a vehicle or a ship as long as it is a maneuverable mobile body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

遠方にある移動体をより高い精度で管理する。 移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記移動体は撮影手段を有し、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、表示部と、を有し、前記移動体情報には、前記移動体が撮影した映像と前記移動体の現在位置情報とが含まれ、前記表示部には前記映像と地図画像とが表示され、前記地図画像上には、前記移動体の現在位置を示す図形と、前記移動体が前記映像を撮影した位置を示す図形と、が表示されることを特徴とする遠隔操縦システム、およびその操縦装置により解決する。

Description

遠隔操縦システムおよびその操縦装置
 本発明は移動体の遠隔操縦技術に関する。
 下記特許文献1には、無人航空機の着陸操作装置が開示されている。
特開平3-5297号公報
 本発明が解決しようとする課題は、遠方にある移動体をより高い精度で管理することにある。
 上記課題を解決するため、本発明の遠隔操縦システムは、移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記移動体は撮影手段を有し、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、表示部と、を有し、前記移動体情報には、前記移動体が撮影した映像と前記移動体の現在位置情報とが含まれ、前記表示部には前記映像と地図画像とが表示され、前記地図画像上には、前記移動体の現在位置を示す図形と、前記移動体が前記映像を撮影した位置を示す図形と、が表示されることを特徴とする。
 また、前記地図画像上にはさらに、前記移動体が前記映像を撮影した方向を示す図形が表示されることが好ましい。
 また、前記表示部または前記地図画像上にはさらに、前記表示部に表示した前記映像の遅延時間が表示されることが好ましい。
 また、上記課題を解決するため、本発明の遠隔操縦システムは、移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記移動体は撮影手段を有し、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、表示部と、を有し、前記移動体情報には、前記移動体が撮影したその進行方向の映像と、前記移動体の現在位置情報とが含まれ、前記表示部には前記映像が表示され、前記映像には前記移動体の現在位置を表わす図形が重ねて表示されることを特徴とする。
 このとき、前記移動体は無人航空機であり、前記現在位置情報には該移動体の飛行高度が含まれることが好ましい。
 また、上記課題を解決するため、本発明の遠隔操縦システムは、移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、表示部と、三次元の地図データと、を有し、前記移動体情報には前記移動体の現在位置情報が含まれ、前記表示部には前記地図データが表示され、前記地図データ上には前記移動体の現在位置を示す図形が重ねて表示されることを特徴とする。
 また、上記課題を解決するため、本発明の遠隔操縦システムは、移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、表示部と、三次元の地図データと、を有し、前記移動体情報には前記移動体の現在位置情報が含まれ、前記表示部には、前記地図データ上で前記移動体の現在位置から特定の方向を見たときの地物の様子が表示されることを特徴とする。
 また、上記課題を解決するため、本発明の遠隔操縦システムは、移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、表示部と、三次元の地図データと、を有し、前記移動体情報には前記移動体の現在位置情報が含まれ、前記操縦装置は、前記地図データ上に前記移動体の現在位置を示す図形を重ねて表示する第三者視点表示と、前記地図データ上で前記移動体の現在位置から特定の方向を見たときの地物の様子を表示する一人称視点表示とを、相互に切り替えて又は同時に前記表示部に表示可能であることを特徴とする。
 このとき、前記移動体は無人航空機であり、前記現在位置情報には該移動体の飛行高度が含まれることが好ましい。
 また、上記課題を解決するため、本発明の遠隔操縦システムは、移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記移動体は撮影手段を有し、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を表示する表示部を有し、前記移動体は、撮影した画像または映像についてエッジ検出を行い、その画像または映像のエッジ情報、輪郭情報またはセグメント情報を前記操縦装置に送信可能であることを特徴とする。
 また、上記課題を解決するため、本発明の遠隔操縦システムは、移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記移動体は撮影手段を有し、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を表示する表示部と、操縦者の視線方向を検知する視線センサと、を有し、前記移動体は、前記視線センサが検知した視線方向を中心とする所定範囲の映像のみを前記操縦装置に送信可能であり、または、前記視線センサが検知した視線方向を中心とする所定範囲以外の映像の解像度を下げて前記操縦装置に送信可能であることを特徴とする。
 また、本発明の遠隔操縦システムは、前記移動体が前記操縦装置の位置からは目視不能な場所にあってもよい。
 以上のように、本発明の遠隔操縦システムおよびその操縦装置によれば、遠方にある移動体をより高い精度で管理することが可能となる。
実施形態にかかる操縦装置の一例を示す模式図である。 操縦装置の機能構成を示すブロック図である。 マルチコプターの機能構成を示すブロック図である。 マルチコプターを第三者視点で撮影するカメラの例を示す部分拡大図である。 操縦装置のモニターに表示される地図データの例を示す模式図である。 三次元の地図データ上にマルチコプターの現在位置を示すアイコンを表示する例である。 三次元の地図データ上でマルチコプターの現在位置から特定の方向を見たときの地物の様子を表示する例である。 マルチコプターが撮影した映像上にマルチコプターの現在位置を示す立体画像を重ねて表示する例である。 ハンドルの操作量とマルチコプターの実舵角との関係を示すグラフである。 オペレーションセンターの施設内の様子を示す模式図である。 操縦者のペアが連携してマルチコプターの管理を行う操縦装置の模式図である。 管理装置を用いた遠隔監視システムの例を示すブロック図である。 操縦装置の変形例を示す模式図である。 変形例にかかる操縦装置の機能構成を示すブロック図である。
 以下、本発明の実施形態について図面を用いて説明する。以下に説明する実施形態は、移動体であるマルチコプター10を操縦装置50により遠方から監視および操縦する遠隔操縦システムSの例である。本形態のマルチコプター10は、複数の水平回転翼で飛行する小型のUAV(Unmanned aerial vehicle:無人航空機)である。マルチコプター10はこれに搭載された機器で取得した情報を操縦装置50に送信し、操縦装置50はマルチコプター10自体やこれに搭載された機器の動作を遠隔制御する。マルチコプター10および操縦装置50の組み合わせは一対一とは限らず、一台の操縦装置50で複数機のマルチコプター10を管理することや、逆に複数台の操縦装置50で一機のマルチコプター10を管理することもあり得る。
[操縦装置]
 以下、操縦装置50の構成について説明する。図1は操縦装置50の一例を示す模式図である。図2は操縦装置50の機能構成を示すブロック図である。図3はマルチコプター10の機能構成を示すブロック図である。
(モニタシステム)
 操縦装置50の操縦席59は複数のモニター70(表示部)に取り囲まれている。本形態のモニター70は、操縦席59の前に配置されたモニターである前方モニター71、操縦席59の左右に配置された側方モニター72、操縦装置50の床面に配置された下方モニター73、操縦装置50の天井面に配置された上方モニター74、および、操縦席59の背後に配置された後方モニター75により構成されている。
 本形態のマルチコプター10には複数台のカメラ41(撮影手段)が搭載されている。マルチコプター10はこれらカメラ41により機体の前後、左右、および上下の映像を撮影する。操縦装置50の映像表示プログラム61は、マルチコプター10から受信したこれらの映像をその撮影方向に対応するモニター70にそれぞれ表示する。具体的には、前方モニター71にはマルチコプター10の前方の映像が広範囲に表示され、側方モニター72にはマルチコプター10の左右の映像が、下方モニター73にはマルチコプター10の真下または前方斜め下の映像が、上方モニター74にはマルチコプター10の真上または前方斜め上の映像が、後方モニター75にはマルチコプター10の後方の映像が表示される。これにより操縦者は、あたかもマルチコプター10に搭乗しているかのようにマルチコプター10の周辺環境を把握することができる。
 なお、本形態の下方モニター73は操縦装置50の床面に設置されているが、下方モニター73の位置は床面には限られず、操縦者の足元付近(操縦者が視線を下に落として見る位置)に配置されていればよい。下方モニター73は、例えばこれを見るときに操縦者の足で画面が隠れてしまわないよう、前方モニター71の下に画面を斜め上に向けて配置されてもよい。同様に、本形態の上方モニター74は操縦装置50の天井面に設置されているが、上方モニター74の位置は天井面には限られず、操縦者の頭上(操縦者が見上げる位置)に配置されていればよい。上方モニター74は、例えば操縦者が視線を真上に向けなくても確認できるよう、前方モニター71の上に、画面を斜め下に向けて配置されてもよい。
 本形態の映像表示プログラム61は、各カメラ41で撮影された映像をそれぞれ別のモニター70に表示するだけでなく、これらの映像を一つのモニター70上に並べて又は重ねて同時に表示したり、逆に一つの広画角の映像を複数のモニター70に分割して表示したりすることができる。例えば、マルチコプター10の上下、左右、および後方の映像を前方の映像の端に重ねて前方モニター71に同時に表示したり、全天球カメラや半天球カメラの映像を平面化および分割し、それぞれの撮影方向に対応するモニター70に表示したりすることができる。
 マルチコプター10に搭載されるカメラ41の台数や撮影方向は任意であり、その用途や目的に応じて適宜変更すればよい。マルチコプター10は、例えば一台のカメラ41でマルチコプター10の前方やその斜め下のみを撮影してもよく、一台のカメラ41をカメラジンバル49で操作して所望の方向を撮影してもよい。さらには、マルチコプター10にカメラ41を搭載せず、他のセンサ装置の出力値またはその加工値のみを操縦装置50に送信してもよい。
 また、マルチコプター10に搭載されるカメラ41はFPV(First Person View)方式には限られず、例えば図4に示すように、マルチコプター10の機体から延びるカメラ用アーム42の先端にカメラ41を搭載し、マルチコプター10自身を第三者視点で撮影することも考えられる。カメラ用アーム42は、可動式のファイバースコープのようにカメラ41の撮影位置とその撮影方向を自在に変更することができる。これによりマルチコプター10の胴部11の上面や下面、周囲の環境を広く確認することができる。また、カメラ用アーム42は図示しない駆動機構によりマルチコプター10の胴部11から伸ばしたり胴部10の中に引っ込めたりすることができる。カメラ用アーム42を使用しないときにはこれを胴部11の中に収納しておくことにより、例えばマルチコプター10の墜落時にカメラ用アーム42が折損することが防止され、非常時におけるカメラ用アーム42の信頼性が高められる。
 その他、例えば地上に設置された固定カメラで撮影したマルチコプター10の撮影や、他のUAVにより撮影されたマルチコプター10の映像を操縦装置50に送信してもよい。実機の様子を外部から撮影すること(視認可能とすること)は移動体の目視外操縦において極めて有益である。このような映像をモニター70に表示することで、操縦者は、マルチコプター10の状態・状況をより客観的に把握することが可能となる。
 操縦装置50は、マルチコプター10の機体情報またはマルチコプター10が置かれた環境に関する情報である移動体情報iを受信する通信装置52(情報取得部)を有している。なお、ここでいうマルチコプター10の機体情報とはマルチコプター10の内界(機体の姿勢やヘディングの方位、バッテリー残量など)に関する情報であり、マルチコプター10が置かれた環境に関する情報とはマルチコプター10の外界(経緯度や周辺物など)に関する情報である。なおここでいう「内界」および「外界」の定義は便宜上のものであり、個々のセンサ値や取得情報がどちらに分類されても構わない。マルチコプター10の状態や状況に関するあらゆる情報が移動体情報iの候補となる。本形態の移動体情報iは、マルチコプター10が撮影した画像または映像、マルチコプター10が有するセンサ装置の出力値またはその加工値、マルチコプター10とその周辺物との位置関係を示す情報、および、マルチコプター10の現在地における風向および風速に関する情報である。
 より具体的には、本形態のマルチコプター10は、カメラ41で撮影した映像、LiDAR37(Light Detection And Ranging)で取得した周辺物の点群データやその加工値、飛行制御センサ群S等で取得した機体の向きや姿勢、飛行位置(経緯度および気圧高度)、バッテリー残量、風向風速センサ36で取得した現在地における風向および風速を示すデータを操縦装置50に送信する。
 なお、移動体情報iは必ずしもマルチコプター10のみにより取得および送信される必要はない。移動体情報iには、例えばUTM(UAV Traffic Management)システムが有する、マルチコプター10とその周辺物との位置関係に関する情報や、他のシステムで観測された気象情報、他のUAVにより撮影された第三者視点でのマルチコプター10の撮影映像などが含まれてもよい。
 本形態の映像表示プログラム61は、マルチコプター10の周辺物のうち、最もマルチコプター10の近くに存在する周辺物との距離を示す数値を映像上に表示する(例えば図6の例を参照)。映像表示プログラム61は、周辺物との距離が危険域に近づいてきたときには、その周辺物近傍を赤く表示したり、数値を点滅させたりして操縦者の注意を促す。
(通信遅延対策)
 図5は、操縦装置50のモニター70に表示される地図画像Mの表示例を示す模式図である。図6は、予め取得された三次元の地図データN上にマルチコプター10の現在位置を示すアイコン(図形)を重ねて表示した例である。図7は、三次元の地図データN上でマルチコプター10の現在位置から特定の方向を見たときの地物の様子を表示した例である。図8は、マルチコプター10が撮影した映像上にマルチコプター10の現在位置を示す立体画像を重ねて表示した例である。
 マルチコプター10の撮影制御装置40は、操縦装置50や他のシステムからの指示により、または予めプログラムされた条件に従い、カメラジンバル49を操作したり、カメラ41による撮影を開始・停止したり、カメラ41で撮影された映像データを加工したりする。
 マルチコプター10がカメラ41により撮影した映像のデータは、例えばマルチコプター10の現在地などを示すテレメトリデータに比べてデータ量が著しく多く、転送時の遅延が大きくなりやすい。つまり、モニター70に表示された映像から把握されるマルチコプター10の周辺環境と、映像確認時点でのマルチコプター10の実際の周辺環境にはずれが生じている。そのため操縦者は、映像を見ながら手動でマルチコプター10を操縦するときには、自身の見ている映像がどの程度遅延して表示されているのか意識しながら操縦する必要がある。
 本形態の撮影制御装置40は、カメラ41で撮影した映像について例えばハイパスフィルタによりエッジ検出を行い、抽出したエッジ情報のみを操縦装置50に送信したり、さらに物体検出やセグメンテーションを行って、物体の輪郭情報やセグメント情報のみを操縦装置50に送信したりすることができる。これによりマルチコプター10から操縦装置50に送信されるデータ量が抑えられ、カメラ41のよる情報がモニター70に表示されるまでのタイムラグが軽減される。また、本形態の撮影制御装置40は、映像から検出された周辺物の中にマルチコプター10との距離が所定の閾値よりも近いものがあったときに、その周辺物に関する映像情報のみを他に優先して送信することができる。これにより警戒すべき周辺物が速やかにモニター70上に表示され、操縦者がこれに対処するための猶予時間をより長く確保することができる。
 図5に示されるように、地図画像Mには、マルチコプター10のテレメトリデータから特定されるマルチコプター10の現在位置のアイコン10aと、モニター70に表示されている映像がどの位置からどの方向に向かって撮影されたものかを示すアイコン10bとが表示されている。また、アイコン10bの近傍には遅延時間(本形態の例では300msec)も表示されている。アイコン10bの撮影ポイントや遅延時間は、例えば先に受信したNMEAセンテンス(GPSデータ)のタイムスタンプや経緯度情報と、RTPヘッダ(映像データ)のタイムスタンプとを組み合わせることで特定することができる。撮影方向に関する情報は映像データに含めてもよく、テレメトリデータに含めてもよい。
 また本形態の映像表示プログラム61は、図6に示すように、三次元の地図データN上にマルチコプター10の現在位置を示すアイコン10aを重ねて表示することもできる。図6の例では操縦者はマルチコプター10の飛行状況をあらゆる方向から第三者視点で確認することができる。例えば物流センター間の物品の輸送など、マルチコプター10に同じ空路を繰り返し飛行させるような用途においては、その空路の地形や地物、標高を経緯度情報とともに取得しておき、またこれに地物の外観写真を重ねるなどして、空路の三次元の地図データNを予め用意しておくことができる。なお、精度が十分であれば市販の三次元地図データを用いてもよい。マルチコプター10の現在位置情報(経緯度と気圧高度)に基づいて操縦装置50側でその飛行状況を仮想的に再現することにより、少ないデータ通信量でマルチコプター10の飛行状況を把握することができる。またこれにより、マルチコプター10に搭載される周辺監視用の機器を削減することもできる。
 本形態の映像表示プログラム61はこれに加え、図7に示すように、地図データNにおけるマルチコプター10の現在位置(経緯度と気圧高度)から特定の方向を見たときの地物の様子を仮想的に再現することもできる。ここでいう「特定の方向」は操縦者が任意に設定および変更してよい。これにより操縦者は、あたかもマルチコプター10に搭乗しているかのようにマルチコプター10の周辺環境を一人称視点で確認することができる。なお地図データNは、図6や図7の例のように地物の輪郭のみを示す軽量なデータとしてもよく、写真画像を使ってよりリアリティのある眺望を再現してもよい。またはこれらを切替可能としてもよい。
 本形態では、操縦者は映像表示プログラム61によりこれら第三者視点の表示と一人称視点の表示とを任意に切り替えることができ、また、これらの表示を同時にモニター70上に表示することもできる。
 さらに、本形態の映像表示プログラム61は、図8に示すように、マルチコプター10が撮影したその進行方向の映像をモニター70に表示し、そこに、マルチコプター10のテレメトリデータから特定したマルチコプター10の現在位置を示す立体画像を重ねて表示することもできる。マルチコプター10が撮影したその進行方向の映像をモニター70に表示するときに、その映像の撮影位置から見た現在のマルチコプター10の位置を表わす画像を立体的に重ねて表示することにより、操縦者は、遅延した映像からでもマルチコプター10の現在位置を誤解なく把握することができる。
 例えばマルチコプター10がその進行方向の映像を撮影しており、映像データの遅延がそれほど大きくないときには上述のAR(Augmented Reality)的な手法(タイムラグのある進行方向の映像にマルチコプター10の現在位置を示す立体画像を重ねる方法)により遅延に対処し、進行方向の映像がないときや遅延が大きいとき、または夜間には、上述のVR(Virtual Reality)的な手法(予め取得した地図データを使ってマルチコプター10の飛行環境を仮想的に再現する方法)に切り替えてもよい。これらAR的手法またはVR的手法によりモニター70に表示する情報の種類は特に制限されず、マルチコプター10の用途やその時々において注視すべき情報に応じてマルチコプター10の各種センサ情報や事前に用意しておいた情報を追加表示すればよい。
(操舵システム)
 操縦装置50は、操縦桿であるハンドル53および昇降レバー54を有している。本形態の操縦装置50は、ハンドル53を傾倒させることによりマルチコプター10のピッチおよびロールを制御し、ハンドル53をひねることでマルチコプター10のヨーを制御する。操縦者によるハンドル53および昇降レバー54の操作は制御信号送信プログラム63によりマルチコプター10に送信される。操縦装置50と操縦者とのインタフェースは本形態のハンドル53や昇降レバー54には限られず、マルチコプター10に対してスロットル、エルロン、ラダー、エレベータの各舵を打つことができれば、例えばラジコン用のプロポや家庭用ゲーム機のコントローラのようなものであってもよい。なお、操縦装置50には一般的な入力装置であるタッチパネルやキーボード、マウス等も備えられており、これらからマルチコプター10にコマンドを送ることもできる。。
 また、本形態の操縦装置50は、操縦者がハンドル53や昇降レバー54を操作する際の抵抗量を制御する抵抗制御プログラム62を有している。抵抗制御プログラム62は、マルチコプター10の重量やマルチコプター10の現在地における風向および風速に応じて、ハンドル53や昇降レバー54を各方向へ操作するときの抵抗量を変化させる。例えばマルチコプター10の右前方からマルチコプター10に向かって強い風が吹いている場合には、操縦者を右前方へ移動させる操作は重く、左後方へ移動させる操作は軽くする。これにより操縦者Pは、マルチコプター10の性質や飛行環境をハンドル53や昇降レバー54の抵抗量から直感的に把握することができる。
 図9は、ハンドル53の操作量(操舵量)とマルチコプター10の実舵角との関係を示すグラフである。マルチコプター10のカメラ41で撮影された映像が遅延してモニター70に表示されている場合、操縦者がハンドル53等を操作してもそのレスポンスが得られるまでにはタイムラグが生じる。特に経験の浅い操縦者の場合、レスポンスが遅れることで必要以上に深く舵を打つおそれがある。操縦装置50の制御信号送信プログラム63は、映像データの遅延が大きくなるに従って、操舵量と実舵角との本来の関係(図9のP)から舵のニュートラル付近を鈍感化し(図9のEXP)、また、実舵角の範囲を狭める(図9のDR)。これにより映像の遅延に伴う過剰な操舵を軽減している。
 その他、制御信号送信プログラム63は、操舵量と実舵角との正比例関係は維持しつつ、映像データの遅延量に応じて実舵角の範囲のみを狭めてもよい。つまり映像データの遅延量に応じて飛行速度の上限のみを変化させてもよい。なお、制御信号送信プログラム63による操舵量および実舵角の調節機能は、あくまで手動操縦時の機能であり、オートパイロット時には自動的に無効化されてもよい。
(制御共有機能)
 図10は、多数の操縦装置50が一拠点に集められたオペレーションセンターCの様子を示す模式図である。図11は、二人の操縦者のペアが協働してマルチコプター10を管理する操縦装置50の模式図である。
 操縦装置50は、マルチコプター10やこれに搭載された機器の制御主体を他の操縦装置50に切り替える手段(制御切替手段)である制御切替プログラム66を有している。制御切替プログラム66は、マルチコプター10の運航に異常が発生した際や難易度の高い操縦操作が必要となった場合に、その対処が可能な操縦者にマルチコプター10の制御を委ねる機能である。またはマルチコプター10やこれに搭載された機器のコントロール(制御権)をユーザに与えたり、単に他の操縦者に業務を引き継いだりするときにもこれを用いることができる。
 ここでいう「制御主体」とは、例えばマルチコプター10を操縦する権限やこれに搭載された機器を操縦する権限、移動体情報iを取得・表示する権限などが帰属する操縦装置50または他の装置を意味している。制御切替プログラム66はこれらの権限を一括で、または部分的に他の操縦装置50やその他の装置に切り替えることができる。制御切替プログラム66は手動でも実行可能であるが、以下に説明するように自動的に実行することもできる。
 例えば図11のような一組の操縦装置50を用いて訓練中の下級操縦者とその指導にあたる上級操縦者とがペアになってマルチコプター10の操縦にあたる場合、両方の操縦装置50のモニター70にマルチコプター10の移動体情報iを表示しておき、上級操縦者による何らかの操縦操作が行われたときには、制御切替プログラム66によりその制御主体を強制的に上級操縦者の操縦装置50に切り替えることがなど考えられる。このときに用いられる制御切替プログラム66は上級操縦者の操縦装置50のものでも下級操縦者の操縦装置50のものでもよく、またはこれら両方の操縦装置50の制御切替プログラム66が協働して行ってもよい。または後述するように、これら操縦装置50の上位装置である管理装置80が有する制御切替プログラム66により行ってもよい。同様に、例えば現地に人員を配置してマルチコプター10の操縦を支援する場合、現地の人員がプロポ等を使ってマルチコプター10を直接操縦している間は操縦装置50からの操作を無効にする(マルチコプター10の制御主体を操縦装置50から現地のプロポ等の装置に切り替える)ことも考えられる。なお、制御切替手段の実装形態はソフトウェア(プログラム)には限られず、ハードウェアで構成されてもよい。
 また、制御切替プログラム66が自動実行されるときにその切替先の操縦装置50の候補が複数ある場合、制御切替プログラム66は移動体情報iの内容に応じてその切替先を自動選択する。より具体的には、制御切替プログラム66は、操縦者の熟練度や職権を予めクラス分けし、移動体情報iから判定された異常の種類、必要とされる判断や操縦操作の難易度、または緊急度等に応じて、どの操縦装置50、すなわちどの操縦者に制御主体を切り替えるかを自動的に決定する。
 例えばマルチコプター10から機械的な異常が検知されたときには、墜落に備えてただちに安全を確保する必要があるため、高度な操縦技能と決定権とをもつ操縦者に制御主体を切り替える必要がある。また、例えば運搬・配送用の多数のマルチコプター10がその飛行コース上で渋滞しているときは、基本的にはこれらマルチコプター10の間隔や飛行速度に注意を払うだけなので経験の浅い操縦者でも対処することができる。しかしバッテリーの枯渇が懸念され始めた場合には、経路変更の判断や不時着陸の判断が可能な操縦者に切り替える必要がある。また、例えばプロペラが一部損傷した場合、揚力が十分であれば基本的には見守るだけだが、マルチコプター10の運行が困難になった場合には不時着陸の判断が可能な操縦者に切り替える必要がある。プロペラの一部が損傷して揚力が不足した場合、マルチコプター10の機体は徐々に降下するが、この際、残りのプロペラの回転域は限界に近い状態にあり、操縦には熟練した技能が要求される。また、例えばGPS受信機32の動作に異常が生じた場合、異常の内容によってはマルチコプター10が誤動作を起こすおそれがある。GPS受信機32が捕捉する衛星数の減少程度であれば経験の浅い操縦者でも対処可能であるが、測定精度の著しい低下により自律運航に支障がある場合には手動操縦が可能な操縦者に切り替える必要がある。また、例えば操縦装置50とマルチコプター10との通信に異常が生じた場合、マルチコプター10からの映像が表示不能であっても、マルチコプター10の操舵が可能であり、その他のテレメトリデータが受信可能な状態にあればさほど緊急性は高くない。しかしそれが飛行環境に起因する一時的な通信障害ではなく、通信機器の故障によるものである場合は緊急性が高くなる。その他、異常が生じた場所が人口集中地区であったり、故障時に低空を飛行中であった場合にはさらに高度な判断や高い操縦技能が求められる。制御切替プログラム66はこのような状況・条件に基づいてこれに対処可能な操縦者(操縦装置50)にマルチコプター10の制御主体の一部または全部を自動的に切り替えることができる。
 本形態の制御切替プログラム66は、マルチコプター10等の制御主体を他の操縦装置50やその他の装置に切り替えるだけでなく、移動体情報iの内容に応じてマルチコプター10との通信に使用する回線を自動的に切り替えることもできる。例えば、マルチコプター10の平常飛行時にはベストエフォート型の通信回線を使用し、緊急時にはQoS(Quality of Service)が保証されたギャランティー型の通信回線に切り替えることなどが考えられる。なお、通信回線の切替は制御切替プログラム66とは別のプログラムで行ってもよい。
なお、これまでにも述べたように、制御切替プログラム66が制御主体を切り替える対象は他の操縦装置50には限られず、操縦装置50以外の他の装置に制御主体を切り替えることもできる。例えば遠隔操縦システムSを用いたサービスのユーザ、すなわちそのユーザが使用する一般的なパソコンやタブレット端末等に、カメラ41やカメラジンバル49のコントロールを与え、ユーザに所望の画像・映像を撮影させることなどが考えられる。また例えば、操縦者がマルチコプター10を操縦するためのカメラ41と、ユーザが所望の画像・映像を撮影するためのカメラとを別々に搭載し、ユーザ用のカメラの通信経路を操縦装置50とマルチコプター10との通信経路とは別に設け、ユーザ用のカメラの通信経路やプロトコルをよりアクセスしやすいものとすることで(例えばウェブブラウザでのアクセスを可能にするなど)、ユーザが操縦装置50から離れたところにいても容易にカメラ41等にアクセスすることが可能となる。その他、ユーザ用のカメラで撮影した映像を操縦者と共有し、さらに、マルチコプター10の現在位置情報をユーザと共有することにより、操縦者とユーザとがスムーズに連携しながら撮影作業を行うこともできる。なお、ユーザにコントロールを与えることができる機器はカメラには限られず、目的に応じて任意の機器のコントロールをユーザに与えることができる。
 図10に示すように、オペレーションセンターCには多数の操縦装置50が設置されている。この場合、例えば図12に示すように、操縦装置50の上位装置である管理装置80に制御切替プログラム66を実装し、管理装置80で一元的に制御主体の切り替えを行ってもよい。なお図12の例では遠隔操縦システムSを用いたサービスのユーザ(他の装置90)にカメラ41のコントロールが与えられており、カメラ41で撮影された映像は他の装置90のモニター91に表示されている。この場合でも、制御切替プログラム66の本質的な機能や役割に変わりはない。単に個々の操縦装置50に実装されているか、操縦装置50から独立しているかの違いである。個々の操縦装置50に制御切替プログラム66が実装されている場合でも、これらを互い協働させたり、一の操縦装置50の制御切替プログラム66をマスターとし、他の操縦装置50の制御切替プログラム66をスレーブとすることで主従関係をもたせたりして、管理装置80が行うことと同じことを行うことができる。
 また、オペレーションセンターCは、オペレーションセンターCが管轄する複数の又は全てのマルチコプター10に関する情報や、オペレーションセンターCが管轄する空域の一部または全体を、色やレイヤーを分けるなどして網羅的・包括的に表示する中央監視スクリーン79を有している。オペレーションセンターCでは、場合によっては危険飛行している他社のドローンを乗っ取って危険を回避するようなことも考えられる。
 また、例えば深刻な問題が生じたマルチコプター10の撮影映像やテレメトリデータをこの中央監視スクリーン79に表示し、管理者や複数人の操縦者のチームでその問題に対処するようなことも考えられる。その他、例えば状況を注視すべき複数のマルチコプター10の情報を中央監視スクリーン79に並べて表示したり、またはこれらの情報を所定秒ごとに切り替えて表示したりして、複数人でその状況の推移を監視することも可能である。
(カメラ固定機能)
 本形態のマルチコプター10は、マルチコプター10の姿勢変化を吸収してカメラ41の姿勢を維持するカメラジンバル49(姿勢安定化装置)を有している。そして、操縦装置50は、カメラジンバル49の姿勢安定化動作を停止し、カメラ41の向きを固定するカメラ固定ボタン531(カメラ固定手段)を有している。カメラ41の向きを意図的に固定することにより、機体の実際の傾きや振動を実態的に把握することができ、例えばマルチコプター10の着陸をより安全に行うことが可能となる。
 本形態のマルチコプター10は多方向に向けられた複数のカメラ41を有しているが、例えばマルチコプター10が1台のカメラ41のみを備える場合には、カメラ固定ボタン531は、カメラ41をマルチコプター10の前方または下方に自動的に向けてからカメラ41の向きを固定してもよい。
[マルチコプター]
 以下、図3を参照してマルチコプター10の機能構成について説明する。本形態のマルチコプター10は、全国各地に配置された専用の離発着設備であるいわゆるドローンポートに格納されており、操縦装置50または他のシステムからの指示により自動的にドローンポートから出航する。なお、このようなドローンポートは必須ではなく、例えば現地に人員を配置してマルチコプター10の離発着の準備を行ったり、現地に配置された人員が操縦者と協働して手動操縦によるサポートを行ったりしてもよい。
 本形態のマルチコプター10は、主に、制御部であるフライトコントローラFC、複数の水平回転翼であるロータR、操縦者(操縦装置50)との通信を行う通信装置25、複数台のカメラ41およびこれらの全て又は一部を支持するカメラジンバル49、並びにこれらに電力を供給するバッテリー(不図示)により構成されている。
 フライトコントローラFCはマイクロコントローラである制御装置20を有している。制御装置20は、中央処理装置であるCPU21と、RAMやROM・フラッシュメモリなどの記憶装置からなるメモリ22とを有している。制御装置20は単体のマイクロコントローラには限られず、いわゆるコンパニオンコンピュータとの組み合わせであってもよい。その他、制御装置20を例えばFPGA(field-programmable gate array)やASIC(Application Specific Integrated Circuit)などで構成することも考えられる。
 フライトコントローラFCはさらに、IMU31(Inertial Measurement Unit:慣性計測装置)、GPS受信器32、気圧センサ34、および電子コンパス35を含む飛行制御センサ群Sを有しており、これらは制御装置20に接続されている。
 IMU31はマルチコプター10の傾きを検出するセンサであり、主に3軸加速度センサおよび3軸角速度センサにより構成されている。気圧センサ34は、検出した気圧値からマルチコプター10の海抜高度(標高)を得る高度センサである。電子コンパス35はフライトコントローラFCのヘディング(機首)の方位角を検出するセンサであり、主に3軸地磁気センサで構成されている。GPS受信器32は、正確には航法衛星システム(NSS:Navigation Satellite System)の受信器である。GPS受信器32は、全地球航法衛星システム(GNSS:Global Navigation Satellite System)または地域航法衛星システム(RNSS:Regional Navigational Satellite System)から現在の経緯度値を取得する。
 フライトコンローラFCは、これら飛行制御センサ群Sにより、機体の傾きや回転のほか、飛行中の経緯度、高度、および機首の方位角を含む自機の位置情報を取得する。
 制御装置20は、マルチコプター10の飛行時における姿勢や基本的な飛行動作を制御するプログラムである飛行制御プログラムFSを有している。飛行制御プログラムFSは、飛行制御センサ群Sから取得した情報を基に個々のロータRの回転数を調節し、機体の姿勢や位置の乱れを補正しながらマルチコプター10を飛行させる。
 制御装置20はさらに、マルチコプター10を自律飛行させるプログラムである自律飛行プログラムAPを有している。そして、制御装置20のメモリ22には、マルチコプター10を飛行させるコースの経緯度、飛行中の高度や速度などが指定されたパラメータである飛行計画FPが登録されている。自律飛行プログラムAPは、操縦装置50や他のシステムからの指示や所定の時刻などを開始条件として、飛行計画FPに従ってマルチコプター10を自律的に飛行させる。
 その他、本形態のマルチコプター10は、現在地における風向および風速を取得する風向風速センサ36と、マルチコプター10とその周辺物との位置関係や距離を取得するLiDAR37とを備えている。本形態のマルチコプター10では、LiDAR37により取得された点群データは主にフライトコントローラFCの内部処理で用いられ、必要に応じて周辺物との距離などの加工値が映像データとともに操縦装置50に送信される。その他、例えばLiDAR37で取得した点群データを適宜間引いて操縦装置50にリアルタイムで転送することも考えられる。これにより操縦者は、カメラ41で撮影された映像の転送を待つよりも速やかに周辺物の情報を得ることができる。
 その他、例えばマイクアレイなどの集音器を別途搭載し、マルチコプター10周辺の環境音を収集することもマルチコプター10の飛行状態や飛行環境を把握する上で有意である。これに加え、操縦装置50にマイクを備え、マルチコプター10にスピーカーを備えることにより、操縦者はマルチコプター10を介してその近傍の人間と会話することができる。また、マルチコプター10に搭載されるカメラ41は一般的な可視光カメラには限定されず、例えば暗視カメラ(高感度カメラや赤外線カメラ)、深度カメラなどであってもよい。その他、マルチコプター10に搭載される装置や機材には特に制限はなく、例えばパラシュートやフラッシュライト、警告灯、アラーム・ブザー等を搭載してもよい。
 マルチコプター10の通信装置25と操縦装置50とは、制御信号やデータの送受信が可能であれば、その具体的な通信方式やプロトコル、使用する回線は問わない。例えば3GやLTE(Long Term Evolution)、WiMAX(Worldwide Interoperability for Microwave Access)、5Gなどの移動体通信網(以下、このような地上の基地局を用いた移動体通信網を「携帯電話通信網」という。)で操縦装置50とマルチコプター10とを接続することにより、操縦者(操縦装置50)は、携帯電話通信網のサービスエリア内からであればどこからでもマルチコプター10にアクセスすることが可能となる。または、マルチコプター10の飛行経路上にアクセスポイントを適宜設置し、アクセスポイントと操縦装置50とを光回線で接続することも考えられる。アクセスポイントとマルチコプター10との接続方法は特に限定されず、例えば、Wi-Fi(Wireless Fidelity)や周波数ホッピング方式のPCM(pulse code modulation:パルス符号変調)信号でもよく、アクセスポイントから携帯電話通信網を使ってマルチコプター10に接続してもよい。また、複数の通信方法を併用することでマルチコプター10と操縦装置50との間の通信経路を冗長化してもよい。その他、例えば中継器が搭載された他のUAVを別途用意し、そのUAVを介してマルチコプター10と操縦装置50やアクセスポイントを接続することも考えられる。
 ここで、マルチコプター10から操縦装置50への通信遅延が問題となる場合には、例えばこれらを接続する通信経路のうち、その少なくとも一部の通信方式をアナログ方式とデジタル方式との間で切り替え可能とすることが考えられる。アナログ方式の通信は一般にデジタル方式の通信よりもデータの再現性に劣るが、アナログ方式の通信にはデジタル方式の通信よりも遅延が少ないという利点がある。通信方式の切り替えは操縦装置50側で手動または自動で行ってもよく、マルチコプター10側で自動的に行ってもよい。切替を自動的に行うときの条件としては、例えば送受信するデータ量や遅延量、通信障害、その他任意の条件が考えられる。
 また、マルチコプター10の移動範囲が、例えば沖合や山間部など、携帯電話通信網のサービス圏外にまで及ぶ場合には、例えばイリジウム(登録商標)やインマルサット(登録商標)などの衛星通信モジュールをマルチコプター10に搭載することで、携帯電話通信網のサービス圏外でもマルチコプター10との通信を保つことができる。ここで、マルチコプター10に接続する手段を衛星通信回線と他の通信回線との間で切り替え可能とすることにより、マルチコプター10との通信経路を冗長化することができるとともに、マルチコプター10との通信品質を極力保ちつつマルチコプター10の移動可能範囲を拡大することができる。例えば、マルチコプター10と操縦装置50とを5G回線で接続しているときには、カメラ41による撮影映像を含む全情報を操縦装置50に送信し、衛星通信回線に切り替えた後は経緯度や気圧高度のテレメトリデータのみを送信するようにしたり、衛星通信回線に切り替えた後は送信する映像データを物体のエッジ情報や輪郭情報、セグメント情報のみに絞って送信したりすることが考えられる。通信回線の切り替えは操縦装置50側で手動または自動で行ってもよく、マルチコプター10側で自動的に行ってもよい。切替を自動的に行うときの条件としては、例えば現在位置(経緯度や気圧高度)、携帯電話通信網などの他の通信回線の電波強度、その他任意の条件が考えられる。その他、衛星通信回線と他の通信回線の両方を常時併用して通信することも考えられる。
[操縦装置の変形例]
 図13は操縦装置50の変形例である操縦装置50bを示す模式図である。図14は操縦装置50bの機能構成を示すブロック図である。以下、図13および図14を参照して操縦装置50bについて説明する。
 操縦装置50bでは、操縦者は球形状のモニターである球形モニター76の中に入ってマルチコプター10を操縦する。本変形例ではマルチコプター10はそのカメラ41として半天球カメラや全天球カメラを備えており、カメラ41による撮影映像はそのまま球形モニター76に表示される。本変形例では天球カメラおよび球形モニター76を採用するにより、複数のカメラで全方向を撮影するときの映像の隙間や重なり、平面画像と球面画像とを変換する負荷が軽減され、映像データを効率的に取得・転送・表示することが可能とされている。なお球形モニター76は本形態のような全球形状に限られず、半球形状であってもよい。
 操縦装置50bはさらに、操縦者の視線方向を検知可能な視線センサ55を有している。映像表示プログラム61は、視線センサ55で検知された操縦者の視線方向の映像を拡大表示する。また、視線センサ55の出力値はマルチコプター10にも転送されている。マルチコプター10の撮影制御装置40はこの情報を受信し、操縦者の視線方向の映像は解像度を高く、その他の方向は解像度を低くした映像データを操縦装置50bに送信する。これによりマルチコプター10から送信される映像データの通信量が抑えられ、モニター76に表示される映像の遅延が軽減される。その他、操縦者の視線方向とその周辺の映像のみを送信し、その他の範囲の映像については送信を省略してもよい。なお、操縦者の視線方向は眼球の向きには限られず、顔の向きであってもよい。
(スピーカーシステム)
 また操縦装置50bは、操縦者の周囲に配置された複数のスピーカー56を有している。本形態のスピーカー56は、操縦者の前後左右を周方向に取り囲むように配置されている。
 操縦装置50bはスピーカー56の動作を制御するスピーカー制御プログラム64(スピーカー制御部)を有している。スピーカー制御プログラム64は、移動体情報iの内容に基いてスピーカー56から操縦者に対して音を発することで、マルチコプター10とのその周辺物との位置関係および距離を操縦者に通知する。例えばマルチコプター10の右前方に障害物がある場合には、操縦者の右前方のスピーカー56から音を発し、その障害物が近づくにつれ音量を大きくする。これにより操縦者は、障害物の位置やその距離を視覚によらず認識することができる。
 スピーカー56の配置は本形態のものには限られず、例えば操縦者の周囲に左右のスピーカー56を含む3基または4基のスピーカー56を配置し、位相制御により音源方向を擬似的に制御することも可能である。また、例えば周辺物の種類(建物等の構造物、他のUAV、人)に応じて音の種類を変化させることも考えられる。スピーカー56の用途は本形態のものには限られず、例えばスピーカー56から発する音によりマルチコプター10の現在地における風向および風速を表現することも可能である。
(送風システム)
 また操縦装置50bは、操縦者の周囲に配置され、操縦者に対して風を吹き付ける送風装置57と、送風装置57による風向および風量を制御する送風制御プログラム65(送風制御部)と、を有している。送風制御プログラム65は、マルチコプター10の現在地における風向および風速に応じて操縦者に吹き付ける風の風向および風量を変化させる。例えばマルチコプター10の右前方からマルチコプター10に向かって風が吹いている場合には、操縦者の右前方の送風装置57から風速に応じた風量の風を操縦者に吹き付ける。これにより操縦者は、遠方にいながらあたかも現場にいるかのようにマルチコプター10を操縦することができる。
 以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更を加えることができる。例えば、本発明の移動体は無人航空機には限られず、乗客を輸送するいわゆるパッセンジャードローンや、パイロットが搭乗する有人航空機であってもよい。また、本発明は航空機にも限られず、操縦可能な移動体であれば例えば車両や船舶であってもよい。
S:遠隔操縦システム,C:オペレーションセンター,10:マルチコプター(移動体,無人航空機),11:胴部,R:ロータ,FC:フライトコントローラ,FS:飛行制御プログラム,AP:自律飛行プログラム,FP:飛行計画,25:通信装置,S:飛行制御センサ群,31:IMU,32:GPS受信器,34:気圧センサ,35:電子コンパス,36:風向風速センサ,37:LiDAR,40:撮影制御装置,41:カメラ(撮影手段),42:カメラ用アーム,49:カメラジンバル(姿勢安定化装置),50:操縦装置,51:制御部,511:CPU,512:メモリ,52:通信装置(情報取得部),53:ハンドル,531:カメラ固定ボタン(カメラ固定手段),54:昇降レバー,55:視線センサ,56:スピーカー,57:送風装置,59:操縦席,61:映像表示プログラム,62:抵抗制御プログラム(抵抗制御部),63:制御信号送信プログラム,64:スピーカー制御プログラム(スピーカー制御部),65:送風制御プログラム,66:制御切替プログラム(制御切替手段),70:モニター(表示部),71:前方モニター,72:側方モニター,73:下方モニター,74:上方モニター,75:後方モニター,76:球形モニター,79:中央監視スクリーン,80:管理装置,90:他の装置,i:移動体情報,M:地図画像,N:地図データ

Claims (13)

  1.  移動体と、
     前記移動体を遠隔操作する操縦装置と、を備え、
     前記移動体は撮影手段を有し、
     前記操縦装置は、
      前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、
      表示部と、を有し、
     前記移動体情報には、前記移動体が撮影した映像と前記移動体の現在位置情報とが含まれ、
     前記表示部には前記映像と地図画像とが表示され、
     前記地図画像上には、前記移動体の現在位置を示す図形と、前記移動体が前記映像を撮影した位置を示す図形と、が表示されることを特徴とする遠隔操縦システム。
  2.  前記地図画像上にはさらに、前記移動体が前記映像を撮影した方向を示す図形が表示されることを特徴とする請求項1に記載の遠隔操縦システム。
  3.  前記表示部または前記地図画像上にはさらに、前記表示部に表示した前記映像の遅延時間が表示されることを特徴とする請求項1または請求項2に記載の遠隔操縦システム。
  4.  移動体と、
     前記移動体を遠隔操作する操縦装置と、を備え、
     前記移動体は撮影手段を有し、
     前記操縦装置は、
      前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、
      表示部と、を有し、
     前記移動体情報には、前記移動体が撮影したその進行方向の映像と、前記移動体の現在位置情報とが含まれ、
     前記表示部には前記映像が表示され、
     前記映像には前記移動体の現在位置を表わす図形が重ねて表示されることを特徴とする遠隔操縦システム。
  5.  前記移動体は無人航空機であり、前記現在位置情報には該移動体の飛行高度が含まれることを特徴とする請求項4に記載の遠隔操縦システム。
  6.  移動体と、
     前記移動体を遠隔操作する操縦装置と、を備え、
     前記操縦装置は、
      前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、
      表示部と、
      三次元の地図データと、を有し、
     前記移動体情報には前記移動体の現在位置情報が含まれ、
     前記表示部には前記地図データが表示され、
     前記地図データには前記移動体の現在位置を示す図形が重ねて表示されることを特徴とする遠隔操縦システム。
  7.  移動体と、
     前記移動体を遠隔操作する操縦装置と、を備え、
     前記操縦装置は、
      前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、
      表示部と、
      三次元の地図データと、を有し、
     前記移動体情報には前記移動体の現在位置情報が含まれ、
     前記表示部には、前記地図データ上で前記移動体の現在位置から特定の方向を見たときの地物の様子が表示されることを特徴とする遠隔操縦システム。
  8.  移動体と、
     前記移動体を遠隔操作する操縦装置と、を備え、
     前記操縦装置は、
      前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、
      表示部と、
      三次元の地図データと、を有し、
     前記移動体情報には前記移動体の現在位置情報が含まれ、
     前記操縦装置は、前記地図データ上に前記移動体の現在位置を示す図形を重ねて表示する第三者視点表示と、前記地図データ上で前記移動体の現在位置から特定の方向を見たときの地物の様子を表示する一人称視点表示とを、相互に切り替えて又は同時に前記表示部に表示可能であることを特徴とする遠隔操縦システム。
  9.  前記移動体は無人航空機であり、前記現在位置情報には該移動体の飛行高度が含まれることを特徴とする請求項6から請求項8のいずれか一項に記載の遠隔操縦システム。
  10.  移動体と、
     前記移動体を遠隔操作する操縦装置と、を備え、
     前記移動体は撮影手段を有し、
     前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を表示する表示部を有し、
     前記移動体は、撮影した画像または映像についてエッジ検出を行い、その画像または映像のエッジ情報、輪郭情報またはセグメント情報を前記操縦装置に送信可能であることを特徴とする遠隔操縦システム。
  11.  移動体と、
     前記移動体を遠隔操作する操縦装置と、を備え、
     前記移動体は撮影手段を有し、
     前記操縦装置は、
      前記移動体の内界および/または外界に関する情報である移動体情報を表示する表示部と、
      操縦者の視線方向を検知する視線センサと、を有し、
     前記移動体は、前記視線センサが検知した視線方向を中心とする所定範囲の映像のみを前記操縦装置に送信可能であり、または、前記視線センサが検知した視線方向を中心とする所定範囲以外の映像の解像度を下げて前記操縦装置に送信可能であることを特徴とする遠隔操縦システム。
  12.  前記移動体は前記操縦装置の位置からは目視不能な場所にあることを特徴とする請求項1から請求項11のいずれか一項に記載の遠隔操縦システム。
  13.  請求項1から請求項12のいずれか一項に記載の前記操縦装置。

     
PCT/JP2020/028270 2019-07-25 2020-07-21 遠隔操縦システムおよびその操縦装置 WO2021015201A1 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2019-136765 2019-07-25
JP2019136765 2019-07-25
JP2019-153253 2019-08-23
JP2019153253 2019-08-23
JP2020-082771 2020-05-08
JP2020082771 2020-05-08
JP2020091993A JP6873515B1 (ja) 2019-07-25 2020-05-27 遠隔操縦システムおよびその操縦装置
JP2020-091993 2020-05-27

Publications (1)

Publication Number Publication Date
WO2021015201A1 true WO2021015201A1 (ja) 2021-01-28

Family

ID=74194192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028270 WO2021015201A1 (ja) 2019-07-25 2020-07-21 遠隔操縦システムおよびその操縦装置

Country Status (2)

Country Link
JP (1) JP6986303B2 (ja)
WO (1) WO2021015201A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102679659B1 (ko) * 2021-12-30 2024-06-28 우석대학교 산학협력단 전자석 서스펜션이 구비된 드론

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007093045A (ja) * 2005-09-27 2007-04-12 Mitsubishi Electric Corp 指令装置及び指令方法
JP2014220604A (ja) * 2013-05-07 2014-11-20 三菱電機株式会社 撮影位置情報表示装置
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行情報を提供する方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6026088B2 (ja) * 2011-08-09 2016-11-16 株式会社トプコン 遠隔操作システム
DE112016007429T5 (de) * 2016-11-11 2019-08-01 Honda Motor Co., Ltd. Entferntes Betriebssystem, Transportsystem und entferntes Betriebsverfahren
JP2019016188A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 移動体遠隔操作システムおよび移動体遠隔操作方法
JP6408093B1 (ja) * 2017-08-31 2018-10-17 京商株式会社 体感型ラジオコントロール玩具およびその動作方法
JP6789905B2 (ja) * 2017-09-20 2020-11-25 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび通信システム
JP7024997B2 (ja) * 2017-11-03 2022-02-24 株式会社エアロネクスト 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007093045A (ja) * 2005-09-27 2007-04-12 Mitsubishi Electric Corp 指令装置及び指令方法
JP2014220604A (ja) * 2013-05-07 2014-11-20 三菱電機株式会社 撮影位置情報表示装置
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行情報を提供する方法

Also Published As

Publication number Publication date
JP6986303B2 (ja) 2021-12-22
JP2021179969A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
JP6785018B1 (ja) 遠隔操縦システムおよびその操縦装置
JP6925670B1 (ja) 遠隔操縦システムおよびその操縦装置
US10810894B2 (en) Deep stall aircraft landing
CN106200681B (zh) 可移动物体的起飞辅助的方法以及系统
US9511858B2 (en) Inverted-landing aircraft
JP2016203978A (ja) 無人機を没入状態で操縦するためのシステム
CN107430404B (zh) 基于路径的飞行操纵系统
JP4012749B2 (ja) 遠隔操縦システム
JP2787061B2 (ja) 操縦制御用ディスプレイ
KR101408077B1 (ko) 가상 영상을 이용한 무인기 조종 장치 및 방법
KR101682797B1 (ko) 체감형 무인항공기 제어 장치 및 그 제어 방법
CN112114593A (zh) 一种控制系统
JP6986303B2 (ja) 遠隔操縦システムおよびその操縦装置
JP3223500U (ja) 遠隔操縦システム
CN114641743A (zh) 无人机及其控制方法、系统、手持控制设备、头戴设备
WO2024009447A1 (ja) 飛行制御システム、及び飛行制御方法
KR20230115436A (ko) 5g 통신을 이용한 드론 착륙 보조시스템
JP7289152B2 (ja) 飛行制御システム
WO2022134301A1 (zh) 无人机及其控制方法、系统、手持控制设备、头戴设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844576

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20844576

Country of ref document: EP

Kind code of ref document: A1