WO2016017367A1 - 遠隔操作装置 - Google Patents

遠隔操作装置 Download PDF

Info

Publication number
WO2016017367A1
WO2016017367A1 PCT/JP2015/069119 JP2015069119W WO2016017367A1 WO 2016017367 A1 WO2016017367 A1 WO 2016017367A1 JP 2015069119 W JP2015069119 W JP 2015069119W WO 2016017367 A1 WO2016017367 A1 WO 2016017367A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
screen
control device
button
work vehicle
Prior art date
Application number
PCT/JP2015/069119
Other languages
English (en)
French (fr)
Inventor
康平 小倉
中川　渉
松本　圭司
晃史 黒田
Original Assignee
ヤンマー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンマー株式会社 filed Critical ヤンマー株式会社
Priority to US15/329,798 priority Critical patent/US10324461B2/en
Priority to CN202010309757.4A priority patent/CN111480407B/zh
Priority to CN201580041953.5A priority patent/CN106572630B/zh
Priority to JP2016510543A priority patent/JP6131385B2/ja
Priority to EP15827436.5A priority patent/EP3175693B1/en
Priority to KR1020207016112A priority patent/KR102257303B1/ko
Priority to KR1020177003945A priority patent/KR102121554B1/ko
Priority to KR1020217015430A priority patent/KR102394962B1/ko
Publication of WO2016017367A1 publication Critical patent/WO2016017367A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0295—Fleet control by at least one leading vehicle of the fleet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/02—Automatically-operated arrangements

Definitions

  • the present invention relates to a remote operation device for an unmanned autonomous traveling work vehicle that autonomously travels, and relates to a display technology of a display device provided in the remote operation device.
  • a work machine that is mounted on a tractor and performs a work and a mobile phone
  • the work machine has a receiving unit that receives a wireless operation signal from the mobile phone, and a control that controls an output device based on the received operation signal.
  • a technology is known in which a mobile phone is provided with an operation button and an operation screen and can be operated by the operation button (see, for example, Patent Document 1).
  • the present invention has been made in view of the above situation, and an object of the present invention is to provide a remote operation device capable of displaying peripheral images, work states, operation buttons, and the like on a display device provided in the remote operation device.
  • the present invention provides a control device for an autonomous traveling work vehicle that can automatically travel and work along a set traveling route using a satellite positioning system, and a communication connected to the control device wirelessly.
  • the remote operation device capable of communicating via the device
  • the remote operation device includes a communication device, a control device, and a display device
  • the display device includes at least a remote operation region for operating the autonomous traveling work vehicle, And a peripheral image area for displaying a video photographed by a camera attached to the autonomous traveling work vehicle.
  • the display device displays a farm map on which an autonomous traveling work vehicle performs work, a traveling route, a current position, and a working position.
  • the display area can be displayed.
  • the remote operation area, the peripheral image area, and the work state display area can be displayed simultaneously by being divided into left and right or up and down.
  • the display positions of the remote operation area, the peripheral image area, and the work state display area, and the selection of multiple display or full screen display can be arbitrarily changed.
  • the autonomous traveling work vehicle is attached with a camera for photographing the front and the rear, and the display device of the remote control device displays a front image of the autonomous traveling work vehicle photographed by the camera.
  • a screen and a rear screen that displays a rear image are provided, and the display device is configured to be switchable between two displays, a front screen and a rear screen, and a single display that displays only the traveling direction.
  • the display device when the display device is switched to one display and when the upper and lower two displays, the autonomous traveling work vehicle travels along the set travel route and the traveling direction changes before and after the set time.
  • the screen of the display device can be switched in accordance with the planned traveling direction.
  • one or more necessary screens can be displayed by one remote control device (operation terminal), and the autonomous traveling work vehicle can be easily operated by the remote control device.
  • the display device can select and arrange a screen at a position where it can be easily viewed.
  • Control block diagram The figure which shows the state at the time of the parallel work by an autonomous running work vehicle and an accompanying running work vehicle.
  • the autonomous traveling work vehicle 1 capable of unmanned and automatic traveling, and the accompanying traveling working vehicle 100 on which the operator rides and steers along with the autonomous traveling working vehicle 1 are used as a tractor.
  • the work vehicle is not limited to a tractor, and may be a combine.
  • the work machine is not limited to the rotary tiller 24, and a fertilizer seeding machine, a mowing machine, a chemical spreader, a disinfecting machine, and a harvesting machine. Etc.
  • the steering wheel 4 is rotated to rotate the front wheels 9 and 9 through the steering device.
  • the steering direction of the autonomous traveling work vehicle 1 is detected by the steering sensor 20.
  • the steering sensor 20 is composed of an angle sensor such as a rotary encoder, and is disposed at the rotation base of the front wheel 9.
  • the detection configuration of the steering sensor 20 is not limited as long as the steering direction is recognized, and the rotation of the steering handle 4 may be detected or the operation amount of the power steering may be detected.
  • the detection value obtained by the steering sensor 20 is input to the control device 30.
  • the control device 30 includes a CPU (central processing unit), a storage device 30m such as a RAM and a ROM, an interface, and the like, and the storage device 30m stores a program, data, and the like for operating the autonomous traveling work vehicle 1.
  • a driver's seat 5 is disposed behind the steering handle 4 and a mission case 6 is disposed below the driver's seat 5.
  • Rear axle cases 8 and 8 are connected to the left and right sides of the transmission case 6, and rear wheels 10 and 10 are supported on the rear axle cases 8 and 8 via axles.
  • the power from the engine 3 is shifted by a transmission (a main transmission or an auxiliary transmission) in the mission case 6 so that the rear wheels 10 and 10 can be driven.
  • the transmission is constituted by, for example, a hydraulic continuously variable transmission, and the movable swash plate of a variable displacement hydraulic pump is operated by a transmission means 44 such as a motor so that the transmission can be changed.
  • the speed change means 44 is connected to the control device 30.
  • the rotational speed of the rear wheel 10 is detected by the vehicle speed sensor 27 and is input to the control device 30 as the traveling speed.
  • the vehicle speed detection method and the arrangement position of the vehicle speed sensor 27 are not limited.
  • the transmission case 6 houses a PTO clutch and a PTO transmission.
  • the PTO clutch is turned on and off by a PTO on / off means 45.
  • the PTO on / off means 45 is connected to the control device 30 to connect and disconnect the power to the PTO shaft. It can be controlled.
  • a front axle case 7 is supported on a front frame 13 that supports the engine 3, front wheels 9 and 9 are supported on both sides of the front axle case 7, and power from the transmission case 6 can be transmitted to the front wheels 9 and 9. It is configured.
  • the front wheels 9 and 9 are steered wheels, which can be turned by turning the steering handle 4, and the front wheels 9 and 9 are steered left and right by a steering actuator 40 comprising a power steering cylinder as a driving means of the steering device. It can be turned.
  • the steering actuator 40 is connected to the control device 30 and is controlled and driven by automatic traveling means.
  • the controller 30 is connected to an engine controller 60 serving as an engine rotation control means, and the engine controller 60 is connected to an engine speed sensor 61, a water temperature sensor, a hydraulic pressure sensor, and the like so that the state of the engine can be detected.
  • the engine controller 60 detects the load from the set rotational speed and the actual rotational speed and controls it so as not to be overloaded, and transmits the state of the engine 3 to the remote operation device 112 described later so that the display device 113 can display it. ing.
  • the fuel tank 15 disposed below the step is provided with a level sensor 29 for detecting the fuel level and is connected to the control device 30.
  • the display means 49 provided on the dashboard of the autonomous traveling work vehicle 1 has a fuel supply.
  • a fuel gauge for displaying the remaining amount is provided and connected to the control device 30. Then, information regarding the remaining amount of fuel is transmitted from the control device 30 to the remote operation device 112, and the remaining fuel amount and workable time can be displayed on the display device 113 of the remote operation device 112.
  • display means 49 for displaying an engine tachometer, a fuel gauge, a hydraulic pressure, etc., a monitor indicating an abnormality, a set value, and the like are arranged.
  • a rotary tiller 24 is installed on the rear side of the tractor body as a work machine via a work machine mounting device 23 so as to be movable up and down.
  • An elevating cylinder 26 is provided on the transmission case 6, and the elevating arm 26 constituting the work implement mounting device 23 is rotated by moving the elevating cylinder 26 to extend and lower the rotary tiller 24.
  • the lift cylinder 26 is expanded and contracted by the operation of the lift actuator 25, and the lift actuator 25 is connected to the control device 30.
  • a mobile communication device 33 constituting a satellite positioning system is connected to the control device 30.
  • a mobile GPS antenna 34 and a data receiving antenna 38 are connected to the mobile communication device 33, and the mobile GPS antenna 34 and the data receiving antenna 38 are provided on the cabin 11.
  • the mobile communicator 33 is provided with a position calculating means for transmitting latitude and longitude to the control device 30 so that the current position can be grasped.
  • GPS United States
  • high-precision positioning can be performed by using a satellite positioning system (GNSS) such as a quasi-zenith satellite (Japan) or a Glonus satellite (Russia). In this embodiment, GPS is used. explain.
  • the autonomous traveling work vehicle 1 includes a gyro sensor 31 for obtaining attitude change information of the airframe, and an orientation sensor 32 for detecting a traveling direction, and is connected to the control device 30.
  • the traveling direction can be calculated from the GPS position measurement, the direction sensor 32 can be omitted.
  • the gyro sensor 31 detects an angular velocity of a tilt (pitch) in the longitudinal direction of the autonomous traveling work vehicle 1, an angular velocity of a tilt (roll) in the lateral direction of the aircraft, and an angular velocity of turning (yaw).
  • the gyro sensor 31 By integrating and calculating the three angular velocities, it is possible to obtain the tilt angle in the front-rear direction and the left-right direction and the turning angle of the body of the autonomous traveling work vehicle 1.
  • Specific examples of the gyro sensor 31 include a mechanical gyro sensor, an optical gyro sensor, a fluid gyro sensor, and a vibration gyro sensor.
  • the gyro sensor 31 is connected to the control device 30 and inputs information relating to the three angular velocities to the control device 30.
  • the direction sensor 32 detects the direction (traveling direction) of the autonomous traveling work vehicle 1.
  • a specific example of the direction sensor 32 includes a magnetic direction sensor.
  • the direction sensor 32 is connected to the control device 30 and inputs information related to the orientation of the aircraft to the control device 30.
  • control device 30 calculates the signals acquired from the gyro sensor 31 and the azimuth sensor 32 by the attitude / azimuth calculation means, and the attitude of the autonomous traveling work vehicle 1 (orientation, forward / backward direction of the body, left / right direction of the body, turning direction). )
  • GPS global positioning system
  • GPS was originally developed as a navigation support system for aircraft, ships, etc., and is composed of 24 GPS satellites (four on six orbital planes) orbiting about 20,000 kilometers above the sky. It consists of a control station that performs tracking and control, and a user communication device that performs positioning.
  • Various positioning methods using GPS include single positioning, relative positioning, DGPS (differential GPS) positioning, RTK-GPS (real-time kinematics-GPS) positioning, and any of these methods can be used.
  • DGPS differential GPS
  • RTK-GPS real-time kinematics-GPS
  • RTK-GPS real-time kinematics-GPS positioning is performed by simultaneously performing GPS observations on a reference station whose position is known and a mobile station whose position is to be obtained. Is transmitted in real time, and the position of the mobile station is obtained in real time based on the position result of the reference station.
  • a mobile communication device 33 serving as a mobile station, a mobile GPS antenna 34, and a data receiving antenna 38 are arranged in the autonomous traveling work vehicle 1, and a fixed communication device 35 serving as a reference station, a fixed GPS antenna 36, and a data transmission antenna. 39 is disposed at a predetermined position that does not interfere with the work in the field.
  • the phase is measured (relative positioning) at both the reference station and the mobile station, and the data measured by the fixed communication device 35 of the reference station is transmitted from the data transmission antenna 39. Transmit to the data receiving antenna 38.
  • the mobile GPS antenna 34 disposed in the autonomous traveling work vehicle 1 receives signals from GPS satellites 37, 37. This signal is transmitted to the mobile communication device 33 for positioning. At the same time, signals from GPS satellites 37, 37... Are received by a fixed GPS antenna 36 serving as a reference station, measured by a fixed communication device 35, transmitted to the mobile communication device 33, and the observed data is analyzed and moved. Determine the station location. The position information obtained in this way is transmitted to the control device 30.
  • the control device 30 in the autonomous traveling work vehicle 1 includes automatic traveling means for automatically traveling.
  • the automatic traveling means receives radio waves transmitted from the GPS satellites 37, 37.
  • the position information of the aircraft is obtained at time intervals, the displacement information and the orientation information of the aircraft are obtained from the gyro sensor 31 and the orientation sensor 32, and along the set route R preset by the aircraft based on the position information, the displacement information, and the orientation information.
  • the steering actuator 40, the speed change means 44, the lifting / lowering actuator 25, the PTO on / off means 45, the engine controller 60, etc. are controlled so as to automatically run and work automatically.
  • the positional information on the outer periphery of the field H which becomes a work range is also set in advance by a known method and stored in the storage device 30m.
  • the obstacle sensor 41 is arranged in the autonomous traveling work vehicle 1 and connected to the control device 30 so as not to come into contact with the obstacle.
  • the obstacle sensor 41 is composed of a laser sensor or an ultrasonic sensor, and is arranged at the front, side, or rear of the aircraft and connected to the control device 30, and there are obstacles at the front, side, or rear of the aircraft. Whether or not an obstacle approaches within a set distance is controlled to stop traveling.
  • the autonomous traveling work vehicle 1 is mounted with a camera 42F for photographing the front, a working machine behind the camera 42R, and a camera 42R for photographing the state after work, and is connected to the control device 30.
  • the cameras 42F and 42R are arranged on the front part and the rear part of the roof of the cabin 11.
  • the arrangement positions are not limited, and one camera is arranged on the front part and the rear part in the cabin 11.
  • the camera 42 may be arranged at the center of the aircraft and rotated around the vertical axis to photograph the surroundings, or the camera 42 may be arranged at the four corners of the aircraft to photograph the surroundings of the aircraft.
  • the images captured by the cameras 42F and 42R are displayed on the display device 113 of the remote control device 112 provided in the accompanying traveling work vehicle 100, and the screen will be described later.
  • the remote control device 112 sets the travel route R of the autonomous traveling work vehicle 1, remotely operates the autonomous traveling work vehicle 1, monitors the traveling state of the autonomous traveling work vehicle 1 and the operating state of the work implement, Work data is stored, and includes a control device (CPU and memory) 119, a communication device 111, a display device 113, and the like.
  • a control device CPU and memory
  • the accompanying traveling work vehicle 100 which is a manned traveling vehicle, is operated and operated by an operator, and the associated traveling working vehicle 100 is equipped with a remote control device 112 so that the autonomous traveling work vehicle 1 can be operated. Since the basic configuration of the accompanying traveling work vehicle 100 is substantially the same as that of the autonomous traveling work vehicle 1, detailed description thereof is omitted.
  • the accompanying traveling work vehicle 100 may include a GPS mobile communication device 33 and a mobile GPS antenna 34.
  • the remote operation device 112 can be attached to and detached from an operation unit such as a dashboard of the accompanying traveling work vehicle 100 and the autonomous traveling work vehicle 1.
  • the remote control device 112 can be operated while attached to the dashboard of the accompanying traveling work vehicle 100, or can be taken out of the accompanying traveling work vehicle 100 to be carried and operated, or attached to the dashboard of the autonomous traveling work vehicle 1.
  • the remote operation device 112 can be configured by, for example, a notebook or tablet personal computer. In this embodiment, a tablet computer is used.
  • the remote operation device 112 and the autonomous traveling work vehicle 1 are configured to be able to communicate with each other wirelessly, and the autonomous traveling work vehicle 1 and the remote operation device 112 are provided with communication devices 110 and 111 for communication, respectively. ing. Further, the remote control device 112 can communicate with the control device 130 of the accompanying traveling work vehicle 100 via the communication devices 133 and 111.
  • the communication device 111 is configured integrally with the remote operation device 112.
  • the communication means is configured to be able to communicate with each other via a wireless LAN such as WiFi.
  • the remote operation device 112 is provided with a display device 113 as a touch panel type operation screen that can be operated by touching the screen on the surface of the housing, and a communication device 111, a CPU, a storage device, a battery, and the like are housed in the housing.
  • the set travel route R is set in advance in the field H as shown in FIG. 3 and stored in the storage device 30m, so that the autonomous traveling work vehicle 1 can travel along the set travel route R.
  • map data information
  • map data is referred to in order to determine the position of the field H, to travel using a satellite positioning system, and to set a travel route R.
  • Public map data, map data distributed by map makers, etc., car navigation map data, and the like are used.
  • the work widths of the rotary tilling devices of the autonomous traveling work vehicle 1 and the accompanying traveling work vehicle 100 are partially overlapped so that the accompanying traveling work vehicle 100 travels obliquely behind the autonomous traveling work vehicle 1 and works in parallel.
  • the accompanying traveling work vehicle 100 can be configured to perform another work by traveling behind the autonomous traveling work vehicle 1, and the working form is not limited.
  • the display device 113 of the remote operation device 112 On the display device 113 of the remote operation device 112, the video taken by the cameras 42F and 42R, the state of the autonomous traveling work vehicle 1, the state of work, and information on GPS are transmitted to the control device 119 via the communication devices 110 and 111.
  • the video, information, operation screen, and the like can be displayed, and the operator can operate the remote operation device 112 while monitoring the autonomous traveling work vehicle 1.
  • the display device 113 is a touch operation type screen, and the display method, display position, output for the touch operation, and the like are controlled by the control device 119.
  • the display screen of the display device 113 can be divided into a plurality of areas in the vertical (up and down) direction or the horizontal (left and right) direction, and the area includes at least the autonomous traveling work vehicle 1.
  • the remote operation area 113A is a screen on which operation members (buttons) for operating the autonomous traveling work vehicle 1 and operating the steering and work implement are arranged.
  • the travel speed increase button 201U and the travel speed decrease button 201D, engine speed increase button 202U, engine speed decrease button 202D, automatic travel start button 203, automatic travel stop button 204, emergency stop button 205, Internet connection button 206, work implement up button 207U, work implement down button 207D, A PTO on / off button 208 is arranged.
  • the types of the operation buttons are not limited, and a brake button, a PTO shift button, a steering button, a horn button, a setting button, and the like can be provided.
  • buttons in the remote operation area 113A are not limited, and can be changed to an arbitrary shape, selected, or changed in position.
  • the travel speed increase button 201U is touched to operate the speed change means 44 to increase the speed by one step
  • the travel speed decrease button 201D is touched to operate the speed change means 44 to reduce the speed by one level. is there.
  • the speed name and number may be displayed in a pop-up, or the screen may be switched to a gear shift screen and other screens may be closed.
  • the engine speed increase button 202U is touched to operate the accelerator actuator to increase the fuel injection amount to increase the engine speed
  • the engine speed decrease button 202D is touched to operate the accelerator actuator.
  • the fuel injection amount is decreased to decrease the engine speed.
  • the engine speed may be displayed in a digital or analog manner in a pop-up, or the screen may be switched to the engine speed screen.
  • the travel speed increase button 201U, the travel speed decrease button 201D, the engine speed increase button 202U, and the engine speed decrease button 202D are continuously touched to increase or decrease the increase amount or decrease amount rapidly and continuously. be able to.
  • the automatic travel start button 203 When the automatic travel start button 203 is touched, the operation starts while automatically traveling on the travel route R set in advance, and when the automatic travel stop button 204 is touched, the automatic travel and work are stopped.
  • the emergency stop button 205 is touched to stop the engine and stop running and work to prevent a dangerous state.
  • the emergency stop button 205 is relatively large in the center of the screen and displayed in a conspicuous color so that it can be easily recognized and operated.
  • the internet connection button 206 is touched to connect to the internet and enter and display a preset site.
  • the lifting actuator 25 can be operated to raise the rotary tiller 24, and when the work implement lowering button 207D is touched, the lift actuator 25 is operated to lower the rotary tiller 24.
  • the height of the work implement may be displayed in a digital or analog manner with a pop-up, or the screen may be switched to lift the work implement.
  • Touching the PTO on / off button 208 activates the PTO on / off means 45 to switch to PTO on / off. In this way, the autonomous traveling work vehicle 1 can be easily operated at a distant position by simply touching with a finger while looking at the screen. The travel speed, engine speed, and work implement height are set on another screen (not shown).
  • a travel speed increase button 201U Of the plurality of buttons arranged in the remote operation area 113A, a travel speed increase button 201U, a travel speed decrease button 201D, an engine speed increase button 202U, an engine speed other than the emergency stop button 205 that are requested to respond immediately in an emergency.
  • the number reduction button 202D, the work machine up button 207U, the work machine down button 207D, the automatic travel start button 203, the automatic travel stop button 204, the Internet connection button 206, and the PTO on / off button 208 do not operate in one operation. If the operation is not performed a plurality of times, the operation screen can be switched to the next operation screen so that the operation cannot be performed, and an erroneous operation can be prevented.
  • the initial screen is a screen as shown in FIG.
  • the automatic travel start button 203 disposed substantially at the center of the remote operation area 113A is a button for starting to perform work while automatically traveling on a preset travel route R.
  • the automatic travel control mode is not changed unless the second operation is further performed. If 2nd operation is performed, it will transfer to automatic driving
  • the screen of the second operation when the first operation of pressing the automatic travel start button 203 is performed, the screen is switched to another confirmation screen, and the operation is performed again on the confirmation screen so as to shift to the next mode.
  • a START button 203A and a CANCEL button 203B appear as shown in FIG.
  • the mode is shifted to the automatic travel control mode.
  • the original screen of FIG. 8 is restored.
  • the CANCEL button 203B is pressed to return to the original screen of FIG.
  • the screen of the second operation is not limited to the display in FIG. 9, and may be any screen that can be confirmed by selecting whether to continue or cancel “Yes”, “No”, or the like.
  • the operation method of the second operation can be replaced with another operation. That is, as a second embodiment, when the automatic travel start button 201 is pressed and held, the mode is shifted to the automatic travel control mode. As a third example of the second operation, when the automatic travel start button 203 is pressed twice in succession, a transition to the automatic travel control mode may be made. As a fourth example of the second operation, when the automatic travel start button 203 is pressed (first operation), the color of the automatic travel start button 203 changes, and when pressed again (second operation), the automatic travel control mode is set. You may make it transition. As a fifth example of the second operation, when the automatic travel start button 203 is pushed (first operation) and slid (second operation), the automatic travel control mode may be changed.
  • a screen such as “Transitioned to the automatic travel control mode” may be displayed so that the operator can easily recognize. Moreover, you may control to switch to a full screen display, if 1st operation is performed.
  • the automatic traveling start button 203 by the autonomous traveling work vehicle 1 is displayed on the display device 113, and automatic traveling control is performed unless a second operation is further performed in addition to the first operation of the automatic traveling start button 203. Since the mode is not changed, the screen of the display device 113 is unintentionally touched or an operation error is made, so that the mode changes to the automatic travel control mode and the autonomous traveling work vehicle 1 starts traveling unexpectedly. It is possible to prevent accidents from occurring.
  • the automatic travel stop button 204 is switched to another confirmation screen when the first operation for touching the automatic travel stop button 204 is performed, and is automatically performed when the second operation is performed. And stop the work.
  • the internet connection button 206 is switched to another confirmation screen when the first operation of touching the internet connection button 206 is performed, and is connected to the internet and displayed on a preset site when the second operation is performed.
  • the PTO on / off button 208 is switched to another confirmation screen when the first operation for touching the PTO on / off button 208 is performed, and when the second operation is performed, the PTO on / off means 45 is operated to enter the PTO.
  • the screen is switched to another confirmation screen, and when the second operation is performed, the PTO is switched off.
  • the automatic travel stop button 204 is also displayed on different confirmation screens (yes, no two). Instead of switching to the selection screen), it is also possible to control so as not to transit to the next mode unless the second operation as in the second to fifth embodiments is further performed.
  • the travel speed increase button 201U and the travel speed decrease button 201D serve as one travel speed change button 201.
  • the speed change means 44 is operated to change the speed one step.
  • a change confirmation screen for operating increase or decrease shown in FIG. 10 is displayed, and a second vehicle speed change button for performing the second operation is displayed.
  • the travel speed increase button 201U and the travel speed decrease button 201D are displayed.
  • the transmission means 44 By touching the traveling speed increase button 201U, the transmission means 44 is operated to increase the speed by one step, and by touching the traveling speed decrease button 201D, the transmission means 44 is operated to decrease the speed by one step.
  • the first operation may be switched to a full screen display, and the speed stage name and number may be displayed in a pop-up during the second operation, or the screen may be switched to a shift screen.
  • the engine speed increase button 202U and the engine speed decrease button 202D serve as one engine speed change button 202, and are different when the first operation of touching the engine speed change button 202 is performed.
  • the accelerator actuator is activated to change the fuel injection amount.
  • the screen is switched to a change confirmation screen for operating the increase or decrease shown in FIG. 11 and the second engine speed for performing the second operation.
  • An engine speed increase button 202U and an engine speed decrease button 202D as change buttons are displayed.
  • the accelerator actuator By touching the engine speed increase button 202U, the accelerator actuator is operated to increase the fuel injection amount to increase the engine speed, and the engine speed decrease button 202D is touched to operate the accelerator actuator to inject fuel. Decrease the amount to reduce the engine speed.
  • the first operation may be switched to full screen display, and the engine speed may be displayed as a digital or analog pop-up during the second operation, or the screen may be switched to an engine speed screen.
  • the travel speed increase button 201U, the travel speed decrease button 201D, the engine speed increase button 202U, and the engine speed decrease button 202D the increase amount or the decrease amount can be increased.
  • the work implement up button 207U and the work implement down button 207D serve as a single work implement height change button 207, which is different when the first operation of touching the work implement height change button 207 is performed.
  • the lifting / lowering actuator 25 is actuated to move the rotary tiller 24 up and down.
  • the change confirmation screen for operating the increase or decrease shown in FIG. 12 is displayed, and the second work machine for performing the second operation.
  • a work machine up button 207U and a work machine down button 207D that are height change buttons are displayed.
  • the lift actuator 25 When the work implement raising button 207U is touched, the lift actuator 25 can be operated to raise the rotary tiller 24, and when the work implement lower button 207D is touched, the lift actuator 25 is actuated to lower the rotary tiller 24.
  • the first operation may be switched to full screen display, and the height of the work implement (rotary tillage device 24) may be displayed in a digital or analog manner in the second operation, or the screen may be switched to lift the work implement.
  • the peripheral image area 113B includes a front screen 210 that displays an image in front of the aircraft imaged by the camera 42F and a rear screen 211 that displays an image behind the aircraft imaged by the camera 42R.
  • Two displays are arranged in the vertical direction.
  • the image captured by the rear camera 42R may be an image of the rear portion of the work implement, regardless of whether it is an image of the mounting portion between the tractor and the work implement or an operation state of the work implement. The finish state may be photographed.
  • angle changing means may be provided on the support portions of the cameras 42F and 42R. Further, it can be configured so that it can be changed by the actuator and can be adjusted by the remote operation device 112. Further, the number of cameras 42 is not limited, and three or more cameras may be arranged and each video may be displayed in the peripheral image region 113B.
  • the image projected on the rear screen 211 is a mirror image (left and right reverse) so that an uncomfortable feeling does not occur when the operator is operating in the same direction as the traveling direction of the autonomous traveling work vehicle 1.
  • the switching means is provided so that the operator does not get on the accompanying traveling work vehicle 100 and monitors and operates in front of the autonomous traveling work vehicle 1
  • the front screen 210 is a mirror image
  • the rear screen 211 is a real image. It is also possible to do.
  • the forward and backward traveling directions are changed.
  • the upper and lower display arrangements of the front screen 210 and the rear screen 211 are switched. For example, when moving forward, as shown in FIG. 4, the front screen 210 is arranged on the upper side and the rear screen 211 is arranged on the lower side. When switching from forward to reverse, the rear screen 211 is arranged on the upper side and the front screen is arranged on the lower side. 210 is displayed.
  • This display switching is switched slightly before the direction of travel is actually changed. That is, the set travel route R is stored in the storage device 30m of the control device 30, and the timing and position at which the forward / reverse switching from the forward to the reverse or the reverse to the forward on the set travel route R is programmed. Therefore, the screen of the display device 113 is switched in accordance with the scheduled traveling direction before the set time when the traveling direction is switched back and forth. Specifically, the vertical display is switched before the set time for issuing the forward / reverse switching command (or before the set distance of the forward / backward switching position). The display switching of the screen is performed, for example, several seconds before the forward / reverse switching actuator of the autonomous traveling work vehicle 1 is operated (or when traveling is stopped).
  • the operator operating the remote control device 112 can recognize that the autonomous traveling work vehicle 1 changes the front-rear traveling direction by switching the screen, and the traveling direction If there is an obstacle on the opposite side, the autonomous traveling work vehicle 1 can be stopped before proceeding, and an accident can be prevented beforehand.
  • the display switching between the front screen 210 and the rear screen 211 is performed slightly before switching back and forth.
  • a switch button is provided so that the screen can be switched to the rear screen 211.
  • the screen may be switched by an operation such as a double tap.
  • a map of a farm field on which the autonomous traveling work vehicle 1 performs work a set traveling route R, a current position, a completed position, and the like are displayed.
  • the work status display area 113C to be displayed can be displayed.
  • a two-dimensional display in which a set travel route is superimposed on a map, a three-dimensional display, or an overhead view can be displayed. Further, a switching means may be provided so that these can be switched.
  • the screens displayed in the peripheral image area 113B and the work state display area 113C can be configured to be enlarged / reducible. For example, if you want to see the finished work more precisely on the rear screen 211 in the peripheral image area 113B, enlarge the screen with a pinch-out operation that increases the distance between two fingers, and check it. Good. Further, in the work state display area 113C, when it is desired to check an adjacent farm field or a surrounding fence, the screen may be reduced and confirmed by a pinch-in operation that reduces the interval between two fingers. It is also possible to move the display position (shooting position) by dragging the display screen.
  • the remote operation area 113A, the peripheral image area 113B, and the work state display area 113C can be displayed at the same time by being divided into left and right or top and bottom. That is, in the embodiment of FIG. 4, the peripheral image area 113B on the left side, the remote operation area 113A on the center, the work state display area 113C on the right side, and the screen on the right and left are divided into three screens and displayed simultaneously. It can be easily integrated into a single terminal without preparation, and can be easily mounted when the accompanying traveling work vehicle 100 is operated and operated, and operations such as confirmation of the position of the autonomous traveling work vehicle 1 and speed adjustment are displayed on the screen. It is easy to do while watching.
  • the remote operation device 112 can be used as a vertically long shape. That is, the display device 113 can be divided into upper and lower parts. Further, in this divided state, any one of the remote operation region 113A, the peripheral image region 113B, and the work state display region 113C and the boundary portion of the region are dragged and moved in parallel, thereby changing the display region. The screen can be enlarged or reduced so that the desired screen can be enlarged or an unnecessary screen can be reduced.
  • the display positions of the remote operation area 113A, the peripheral image area 113B, and the work state display area 113C can be arbitrarily changed (replaced), so that it can be adapted to the user's preference or easy to use. That is, the remote operation area 113A, the peripheral image area 113B, and the work state display area 113C can be freely arranged in consideration of the user's preference and ease of use. For example, by dragging a part on the screen, as shown in FIGS. 4 to 5, the remote operation area 113A can be moved from the center to the left side, and the peripheral image area 113B can be moved to the right side. Further, the peripheral image area 113B and the work state display area 113C can be displayed in two upper and lower levels on the left side, and the remote operation area 113A can be arranged and displayed on the right side.
  • selection of multiple display or full screen display can be arbitrarily changed to improve visibility and operability. That is, only the remote operation area 113A is displayed on the entire screen, and the buttons are enlarged to make it difficult to make an operation error, or the remote operation area 113A and the work status display area 113C are displayed, The autonomous traveling work vehicle 1 can be operated while confirming the position.
  • the present invention can be used for a display device provided in a remote operation device that can remotely operate a construction machine, an agricultural work vehicle, or the like that can autonomously travel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　自律走行作業車両１の制御装置３０と通信装置１１０を介して通信可能な遠隔操作装置１１２に、通信装置１１１と制御装置１１９と表示装置１１３と前方と後方を撮影するカメラ４２Ｆ・４２Ｒとを備え、該表示装置１１３には、少なくとも前記自律走行作業車両１を操作する遠隔操作領域１１３Ａと、前記カメラ４２Ｆ・４２Ｒにより撮影した映像を表示する周辺画像領域１１３Ｂと作業状態表示領域１１３Ｃが設けられ、前記周辺画像領域１１３Ｂには前方画面と後方画面とが設けられる。

Description

遠隔操作装置
　本発明は、自律走行する無人の自律走行作業車両の遠隔操作装置に関し、遠隔操作装置に備える表示装置の表示技術に関する。
　従来、トラクタに装着して作業を行う作業機と、携帯電話とを備え、作業機には携帯電話からの無線操作信号を受信する受信部と、受信した操作信号に基づき出力器を制御する制御部とを有し、携帯電話には操作ボタンと操作画面が設けられ、操作ボタンにより操作可能とした技術が公知となっている（例えば、特許文献１参照）。
特開２０１１－１２０５３９号公報
　前記技術においては、携帯電話で操作できるのは、トラクタに装着された作業機のみ遠隔操作可能であり、トラクタを遠隔操作できるものではなかった。近年、トラクタを無人で走行させ、遠隔操作できるようになってきている。しかし、遠隔操作装置の表示される画面はエンジンの回転数や作業時間等であり、前方や作業の状態の映像等は表示できず、操作しながら確認もできず、作業に必要な情報を表示できるものではなかった。
　本発明は以上の如き状況に鑑みてなされたものであり、遠隔操作装置に備える表示装置に、周辺の映像や作業状態や操作ボタン等を表示できる遠隔操作装置を提供しようとする。
　本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
　即ち、本発明は、衛星測位システムを利用して、設定した走行経路に沿って自動的に走行及び作業を可能とする自律走行作業車両の制御装置と、無線により前記制御装置に接続される通信装置を介して通信可能な遠隔操作装置において、該遠隔操作装置には通信装置と制御装置と表示装置を備え、該表示装置には、少なくとも前記自律走行作業車両を操作する遠隔操作領域と、前記自律走行作業車両に取り付けたカメラにより撮影した映像を表示する周辺画像領域とを備えるものである。
　本発明は、前記表示装置には、前記遠隔操作領域と前記周辺画像領域とに加えて、自律走行作業車両が作業を行う圃場マップや走行経路や現在の位置や作業済位置を表示する作業状態表示領域とを表示可能とするものである。
　本発明は、前記遠隔操作領域と前記周辺画像領域と前記作業状態表示領域とは左右または上下に分割して同時に表示可能とされるものである。
　本発明は、前記遠隔操作領域と前記周辺画像領域と前記作業状態表示領域の表示位置、及び、複数表示または全画面表示の選択は任意に変更可能とされるものである。
　本発明は、前記自律走行作業車両には、前方と後方を撮影するカメラが取り付けられ、前記遠隔操作装置の表示装置には、前記カメラで撮影した自律走行作業車両の前方の映像を表示する前方画面と、後方の映像を表示する後方画面が設けられ、前記表示装置は、前方画面と後方画面の二つ表示と、進行方向のみ表示する一つ表示とに切替可能に構成されるものである。
　本発明は、前記表示装置を一つ表示に切り替えた場合、および、前記上下の二つ表示の場合、自律走行作業車両が設定走行経路に沿って走行し、進行方向が前後切り換わる設定時間前に、表示装置の画面が予定進行方向に合わせて切り替えられるものである。
　以上のような手段を用いることにより、一つの遠隔操作装置（操作端末）により、必要な画面を一つまたは複数表示でき、遠隔操作装置により自律走行作業車両を容易に操作でき、遠隔操作装置の表示装置は見やすい位置に画面を選択して配置して表示することができる。
自律走行作業車両を遠隔操作装置で操作する概略側面図。 制御ブロック図。 自律走行作業車両と随伴走行作業車両とによる併走作業時の状態を示す図。 遠隔操作装置の表示装置を示す図。 表示装置の表示画面を入れ替えた状態を示す図。 周辺画像領域に一つの画面を表示した状態を示す図。 周辺画像領域の前方画面と後方画面を上下入れ替えた状態を示す図。 遠隔操作装置の他の表示装置を示す図。 自動走行開始ボタンを押した後の第二操作画面を示す図。 走行速度変更ボタンを押した後の第二操作画面を示す図。 エンジン回転数変更ボタンを押した後の第二操作画面を示す図。 作業機高さ変更ボタンを押した後の第二操作画面を示す図。
　無人で自動走行可能な自律走行作業車両１、及び、この自律走行作業車両１に随伴してオペレータが搭乗して操向操作する随伴走行作業車両１００をトラクタとし、自律走行作業車両１及び随伴走行作業車両１００に装着される作業機としてロータリ耕耘装置２４が装着された実施形態について説明する。但し、作業車両はトラクタに限定するものではなく、コンバイン等でもよく、また、作業機はロータリ耕耘装置２４に限定するものではなく、施肥播種機や草刈機や薬剤散布機や消毒機や収穫機等であってもよい。
　図１、図２において、自律走行作業車両１となるトラクタの全体構成について説明する。ボンネット２内にエンジン３が内設され、該ボンネット２の後部のキャビン１１内にダッシュボード１４が設けられ、ダッシュボード１４上に操向操作手段となるステアリングハンドル４が設けられている。該ステアリングハンドル４の回動により操舵装置を介して前輪９・９の向きが回動される。自律走行作業車両１の操舵方向は操向センサ２０により検知される。操向センサ２０はロータリエンコーダ等の角度センサからなり、前輪９の回動基部に配置される。但し、操向センサ２０の検知構成は限定するものではなく操舵方向が認識されるものであればよく、ステアリングハンドル４の回動を検知したり、パワーステアリングの作動量を検知してもよい。操向センサ２０により得られた検出値は制御装置３０に入力される。制御装置３０はＣＰＵ（中央演算処理装置）やＲＡＭやＲＯＭ等の記憶装置３０ｍやインターフェース等を備え、記憶装置３０ｍには自律走行作業車両１を動作させるためのプログラムやデータ等が記憶される。
　前記ステアリングハンドル４の後方に運転席５が配設され、運転席５下方にミッションケース６が配置される。ミッションケース６の左右両側にリアアクスルケース８・８が連設され、該リアアクスルケース８・８には車軸を介して後輪１０・１０が支承される。エンジン３からの動力はミッションケース６内の変速装置（主変速装置や副変速装置）により変速されて、後輪１０・１０を駆動可能としている。変速装置は例えば油圧式無段変速装置で構成して、可変容量型の油圧ポンプの可動斜板をモータ等の変速手段４４により作動させて変速可能としている。変速手段４４は制御装置３０と接続されている。後輪１０の回転数は車速センサ２７により検知され、走行速度として制御装置３０に入力される。但し、車速の検知方法や車速センサ２７の配置位置は限定するものではない。
　ミッションケース６内にはＰＴＯクラッチやＰＴＯ変速装置が収納され、ＰＴＯクラッチはＰＴＯ入切手段４５により入り切りされ、ＰＴＯ入切手段４５は制御装置３０と接続され、ＰＴＯ軸への動力の断接を制御可能としている。
　前記エンジン３を支持するフロントフレーム１３にはフロントアクスルケース７が支持され、該フロントアクスルケース７の両側に前輪９・９が支承され、前記ミッションケース６からの動力が前輪９・９に伝達可能に構成している。前記前輪９・９は操舵輪となっており、ステアリングハンドル４の回動操作により回動可能とするとともに、操舵装置の駆動手段となるパワステシリンダからなる操舵アクチュエータ４０により前輪９・９が左右操舵回動可能となっている。操舵アクチュエータ４０は制御装置３０と接続され、自動走行手段により制御されて駆動される。
　制御装置３０にはエンジン回転制御手段となるエンジンコントローラ６０が接続され、エンジンコントローラ６０にはエンジン回転数センサ６１や水温センサや油圧センサ等が接続され、エンジンの状態を検知できるようにしている。エンジンコントローラ６０では設定回転数と実回転数から負荷を検出し、過負荷とならないように制御するとともに、後述する遠隔操作装置１１２にエンジン３の状態を送信して表示装置１１３で表示できるようにしている。
　また、ステップ下方に配置した燃料タンク１５には燃料の液面を検知するレベルセンサ２９が配置されて制御装置３０と接続され、自律走行作業車両１のダッシュボードに設ける表示手段４９には燃料の残量を表示する燃料計が設けられ制御装置３０と接続されている。そして、制御装置３０から遠隔操作装置１１２に燃料残量に関する情報が送信されて、遠隔操作装置１１２の表示装置１１３に燃料残量と作業可能時間が表示可能とされる。
　前記ダッシュボード１４上にはエンジンの回転計や燃料計や油圧等や異常を示すモニタや設定値等を表示する表示手段４９が配置されている。
　また、トラクタ機体後方に作業機装着装置２３を介して作業機としてロータリ耕耘装置２４が昇降自在に装設させている。前記ミッションケース６上に昇降シリンダ２６が設けられ、該昇降シリンダ２６を伸縮させることにより、作業機装着装置２３を構成する昇降アームを回動させてロータリ耕耘装置２４を昇降できるようにしている。昇降シリンダ２６は昇降アクチュエータ２５の作動により伸縮され、昇降アクチュエータ２５は制御装置３０と接続されている。
　制御装置３０には衛星測位システムを構成する移動通信機３３が接続されている。移動通信機３３には移動ＧＰＳアンテナ３４とデータ受信アンテナ３８が接続され、移動ＧＰＳアンテナ３４とデータ受信アンテナ３８は前記キャビン１１上に設けられる。該移動通信機３３には、位置算出手段を備えて緯度と経度を制御装置３０に送信し、現在位置を把握できるようにしている。なお、ＧＰＳ（米国）に加えて準天頂衛星(日本)やグロナス衛星（ロシア）等の衛星測位システム（ＧＮＳＳ）を利用することで精度の高い測位ができるが、本実施形態ではＧＰＳを用いて説明する。
　自律走行作業車両１は、機体の姿勢変化情報を得るためにジャイロセンサ３１、および進行方向を検知するために方位センサ３２を具備し制御装置３０と接続されている。但し、ＧＰＳの位置計測から進行方向を算出できるので、方位センサ３２を省くことができる。
　ジャイロセンサ３１は自律走行作業車両１の機体前後方向の傾斜（ピッチ）の角速度、機体左右方向の傾斜（ロール）の角速度、および旋回（ヨー）の角速度、を検出するものである。該三つの角速度を積分計算することにより、自律走行作業車両１の機体の前後方向および左右方向への傾斜角度、および旋回角度を求めることが可能である。ジャイロセンサ３１の具体例としては、機械式ジャイロセンサ、光学式ジャイロセンサ、流体式ジャイロセンサ、振動式ジャイロセンサ等が挙げられる。ジャイロセンサ３１は制御装置３０に接続され、当該三つの角速度に係る情報を制御装置３０に入力する。
　方位センサ３２は自律走行作業車両１の向き（進行方向）を検出するものである。方位センサ３２の具体例としては磁気方位センサ等が挙げられる。方位センサ３２は制御装置３０に接続され、機体の向きに係る情報を制御装置３０に入力する。
　こうして制御装置３０は、上記ジャイロセンサ３１、方位センサ３２から取得した信号を姿勢・方位演算手段により演算し、自律走行作業車両１の姿勢（向き、機体前後方向及び機体左右方向の傾斜、旋回方向）を求める。
　次に、自律走行作業車両１の位置情報をＧＰＳ（グローバル・ポジショニング・システム）を用いて取得する方法について説明する。
　ＧＰＳは、元来航空機・船舶等の航法支援用として開発されたシステムであって、上空約二万キロメートルを周回する二十四個のＧＰＳ衛星（六軌道面に四個ずつ配置）、ＧＰＳ衛星の追跡と管制を行う管制局、測位を行うための利用者の通信機で構成される。
　ＧＰＳを用いた測位方法としては、単独測位、相対測位、ＤＧＰＳ（ディファレンシャルＧＰＳ）測位、ＲＴＫ－ＧＰＳ（リアルタイムキネマティック－ＧＰＳ）測位など種々の方法が挙げられ、これらいずれの方法を用いることも可能であるが、本実施形態では測定精度の高いＲＴＫ－ＧＰＳ測位方式を採用し、この方法について図１、図２より説明する。
　ＲＴＫ－ＧＰＳ（リアルタイムキネマティック－ＧＰＳ）測位は、位置が判っている基準局と、位置を求めようとする移動局とで同時にＧＰＳ観測を行い、基準局で観測したデータを無線等の方法で移動局にリアルタイムで送信し、基準局の位置成果に基づいて移動局の位置をリアルタイムに求める方法である。
　本実施形態においては、自律走行作業車両１に移動局となる移動通信機３３と移動ＧＰＳアンテナ３４とデータ受信アンテナ３８が配置され、基準局となる固定通信機３５と固定ＧＰＳアンテナ３６とデータ送信アンテナ３９が圃場の作業の邪魔にならない所定位置に配設される。本実施形態のＲＴＫ－ＧＰＳ（リアルタイムキネマティック－ＧＰＳ）測位は、基準局および移動局の両方で位相の測定（相対測位）を行い、基準局の固定通信機３５で測位したデータをデータ送信アンテナ３９からデータ受信アンテナ３８に送信する。
　自律走行作業車両１に配置された移動ＧＰＳアンテナ３４はＧＰＳ衛星３７・３７・・・からの信号を受信する。この信号は移動通信機３３に送信され測位される。そして、同時に基準局となる固定ＧＰＳアンテナ３６でＧＰＳ衛星３７・３７・・・からの信号を受信し、固定通信機３５で測位し移動通信機３３に送信し、観測されたデータを解析して移動局の位置を決定する。こうして得られた位置情報は制御装置３０に送信される。
　こうして、この自律走行作業車両１における制御装置３０は自動走行させる自動走行手段を備えて、自動走行手段はＧＰＳ衛星３７・３７・・・から送信される電波を受信して移動通信機３３において設定時間間隔で機体の位置情報を求め、ジャイロセンサ３１及び方位センサ３２から機体の変位情報および方位情報を求め、これら位置情報と変位情報と方位情報に基づいて機体が予め設定した設定経路Ｒに沿って走行するように、操舵アクチュエータ４０、変速手段４４、昇降アクチュエータ２５、ＰＴＯ入切手段４５、エンジンコントローラ６０等を制御して自動走行し自動で作業できるようにしている。なお、作業範囲となる圃場Ｈの外周の位置情報も周知の方法によって予め設定され、記憶装置３０ｍに記憶されている。
　また、自律走行作業車両１には障害物センサ４１が配置されて制御装置３０と接続され、障害物に当接しないようにしている。例えば、障害物センサ４１はレーザセンサや超音波センサで構成して機体の前部や側部や後部に配置して制御装置３０と接続し、機体の前方や側方や後方に障害物があるかどうかを検出し、障害物が設定距離以内に近づくと走行を停止させるように制御する。
　また、自律走行作業車両１には前方を撮影するカメラ４２Ｆや後方の作業機や作業後の状態を撮影するカメラ４２Ｒが搭載され制御装置３０と接続されている。カメラ４２Ｆ・４２Ｒは本実施形態ではキャビン１１のルーフの前部上と後部上に配置しているが、配置位置は限定するものではなく、キャビン１１内の前部上と後部上や一つのカメラ４２を機体中心に配置して鉛直軸を中心に回転させて周囲を撮影しても、複数のカメラ４２を機体の四隅に配置して機体周囲を撮影する構成であってもよい。カメラ４２Ｆ・４２Ｒで撮影された映像は随伴走行作業車両１００に備えられた遠隔操作装置１１２の表示装置１１３に表示され、その画面については後述する。
　遠隔操作装置１１２は前記自律走行作業車両１の走行経路Ｒを設定したり、自律走行作業車両１を遠隔操作したり、自律走行作業車両１の走行状態や作業機の作動状態を監視したり、作業データを記憶したりするものであり、制御装置（ＣＰＵやメモリ）１１９や通信装置１１１や表示装置１１３等を備える。
　有人走行車両となる随伴走行作業車両１００はオペレータが乗車して運転操作するとともに、随伴走行作業車両１００に遠隔操作装置１１２を搭載して自律走行作業車両１を操作可能としている。随伴走行作業車両１００の基本構成は自律走行作業車両１と略同じ構成であるので詳細な説明は省略する。なお、随伴走行作業車両１００にはＧＰＳ用の移動通信機３３や移動ＧＰＳアンテナ３４を備える構成とすることも可能である。
　遠隔操作装置１１２は、随伴走行作業車両１００及び自律走行作業車両１のダッシュボード等の操作部に着脱可能としている。遠隔操作装置１１２は随伴走行作業車両１００のダッシュボードに取り付けたまま操作することも、随伴走行作業車両１００の外に持ち出して携帯して操作することも、自律走行作業車両１のダッシュボードに取り付けて操作可能としている。遠隔操作装置１１２は例えばノート型やタブレット型のパーソナルコンピュータで構成することができる。本実施形態ではタブレット型のコンピュータで構成している。
　さらに、遠隔操作装置１１２と自律走行作業車両１は無線で相互に通信可能に構成しており、自律走行作業車両１と遠隔操作装置１１２には通信するための通信装置１１０・１１１がそれぞれ設けられている。更に、遠隔操作装置１１２は随伴走行作業車両１００の制御装置１３０と通信装置１３３・１１１を介して通信可能としている。通信装置１１１は遠隔操作装置１１２に一体的に構成されている。通信手段は例えばＷｉＦｉ等の無線ＬＡＮで相互に通信可能に構成されている。遠隔操作装置１１２は画面に触れることで操作可能なタッチパネル式の操作画面とした表示装置１１３を筐体表面に設け、筐体内に通信装置１１１やＣＰＵや記憶装置やバッテリ等を収納している。
　このような構成において、図３に示すような圃場Ｈに設定走行経路Ｒを予め設定して記憶装置３０ｍに記憶し、自律走行作業車両１が設定走行経路Ｒに沿って走行させることができる。なお、前記圃場Ｈの位置を定めたり、衛星測位システムを利用して走行したり、走行経路Ｒを設定したりするために地図データ（情報）が参照されるが、この地図データは、インターネットに公開されている地図データや地図メーカ等が配信している地図データやカーナビ地図データ等が用いられる。
　そして、自律走行作業車両１と随伴走行作業車両１００のロータリ耕耘装置の作業幅を一部重複させて、随伴走行作業車両１００が自律走行作業車両１の斜め後方を走行して併走しながら作業を行う。但し、随伴走行作業車両１００は自律走行作業車両１の後方を走行して別の作業を行う作業形態とすることもでき、作業形態は限定するものではない。
　前記遠隔操作装置１１２の表示装置１１３には、前記カメラ４２Ｆ・４２Ｒで撮影した映像や自律走行作業車両１の状態や作業の状態やＧＰＳに関する情報を通信装置１１０・１１１を介して制御装置１１９に送信し、その映像や情報や操作画面等を表示できるようにしており、オペレータは自律走行作業車両１を監視しながら遠隔操作装置１１２を操作できるようにしている。
　即ち、表示装置１１３は、タッチ操作式の画面としており、表示方法や表示位置やタッチ操作に対する出力等は制御装置１１９で制御される。表示装置１１３の表示画面は、図４に示すように、縦（上下）方向、または、横（左右）方向に複数の領域に分割可能としており、その領域には、少なくとも前記自律走行作業車両１を操作する遠隔操作領域１１３Ａと、前記自律走行作業車両１に取り付けたカメラ４２Ｆ・４２Ｒにより撮影した映像を表示する周辺画像領域１１３Ｂとが設けられている。
　遠隔操作領域１１３Ａは、自律走行作業車両１の走行や操舵や作業機を操作するための操作部材(ボタン)を配置する画面であり、本実施形態では、走行速度上げボタン２０１Ｕ、走行速度下げボタン２０１Ｄ、エンジン回転数上げボタン２０２Ｕ、エンジン回転数下げボタン２０２Ｄ、自動走行開始ボタン２０３、自動走行停止ボタン２０４、非常停止ボタン２０５、インターネット接続ボタン２０６、作業機上昇ボタン２０７Ｕ、作業機下降ボタン２０７Ｄ、ＰＴＯオン／オフボタン２０８が配置される。但し、前記操作ボタンの種類は限定するものではなく、ブレーキボタンやＰＴＯ変速ボタンや操舵ボタンやホーンボタンや設定ボタン等を設けることも可能である。また、操作しない（不要）ならばそのボタンを削除することも可能である。また、燃料残量やエンジンの回転数などを表示するメータを配置することもできる。そして、遠隔操作領域１１３Ａ内でのこれらのボタンの配置位置や形状も限定するものではなく、任意形状に変更したり、選択したり、位置変更したりすることもできる。
　前記走行速度上げボタン２０１Ｕはタッチすることで変速手段４４を作動させて１段階増速させるものであり、走行速度下げボタン２０１Ｄはタッチすることで変速手段４４を作動させて１段階減速させるものである。なお、この操作時に変速段の名前と数字をポップアップで表示したり、画面を変速用画面に切り換えて、他の画面は閉じるようにしてもよい。
　前記エンジン回転数上げボタン２０２Ｕはタッチすることでアクセルアクチュエータを作動させて燃料噴射量を増加させてエンジン回転数を増加させるものであり、エンジン回転数下げボタン２０２Ｄはタッチすることでアクセルアクチュエータを作動させて燃料噴射量を減少させてエンジン回転数を減少させるものである。なお、この操作でエンジン回転数をポップアップでデジタルまたはアナログで表示したり、画面をエンジン回転数用画面に切り換えてもよい。また、前記走行速度上げボタン２０１Ｕと前記走行速度下げボタン２０１Ｄと前記エンジン回転数上げボタン２０２Ｕと前記エンジン回転数下げボタン２０２Ｄはタッチし続けることで、上げ量または下げ量を連続的に速く増減することができる。
　自動走行開始ボタン２０３はタッチすることで予め設定しておいた走行経路Ｒを自動走行しながら作業を開始し、自動走行停止ボタン２０４をタッチすることで自動走行及び作業を停止する。非常停止ボタン２０５はタッチすることでエンジンを停止し走行や作業を停止して危険な状態に陥ることを防止する。非常停止ボタン２０５は認識しやすく容易に操作できるように画面中央で比較的大きく、目立つ色で表示される。インターネット接続ボタン２０６はタッチすることでインターネットに接続し予め設定したサイトに入り表示する。
　作業機上昇ボタン２０７Ｕはタッチすることで昇降アクチュエータ２５を作動させロータリ耕耘装置２４を上昇でき、作業機下降ボタン２０７Ｄはタッチすることで昇降アクチュエータ２５を作動させロータリ耕耘装置２４を下降する。なお、この操作で作業機（ロータリ耕耘装置２４）の高さをポップアップでデジタルまたはアナログで表示したり、画面を作業機昇降用に切り換えてもよい。ＰＴＯオン／オフボタン２０８はタッチすることでＰＴＯ入切手段４５を作動させて、ＰＴＯ入り、または、ＰＴＯ切りに切り換える。こうして、画面を見ながら指でタッチするだけで離れた位置で容易に自律走行作業車両１を操作することができる。なお、走行速度やエンジン回転数や作業機高さの設定は図示しない別の画面で設定される。
　前記遠隔操作領域１１３Ａに配置される複数のボタンのうち、緊急時に即座に応答してほしい非常停止ボタン２０５以外の走行速度上げボタン２０１Ｕ、走行速度下げボタン２０１Ｄ、エンジン回転数上げボタン２０２Ｕ、エンジン回転数下げボタン２０２Ｄ、作業機上昇ボタン２０７Ｕ、作業機下降ボタン２０７Ｄ、自動走行開始ボタン２０３、自動走行停止ボタン２０４、インターネット接続ボタン２０６、ＰＴＯオン／オフボタン２０８は一回の操作では作動せず、複数回操作しないと次の操作画面に遷移して作動できないようにして、誤操作が生じないように構成することもできる。この場合、初期画面は図８のような画面となる。
　つまり、前記遠隔操作領域１１３Ａの略中央に配置される自動走行開始ボタン２０３は、予め設定しておいた走行経路Ｒを自動走行しながら作業を行うために開始するためのボタンであり、自動走行開始ボタン２０３を押す第一操作（タッチする）に加えて、更に第二操作をしないと自動走行制御モードに遷移しないようにしている。第二操作が行われると、自動走行制御モードに移行し、制御装置３０によって、自律走行作業車両１の自動走行制御が行われる。
　第二操作としては、自動走行開始ボタン２０３を押す第一操作が行われると、別の確認画面に切り替わり、確認画面でもう一度操作するようにして次のモードに遷移するようにする。例えば、自動走行開始ボタン２０３を押すと図９に示すように、ＳＴＡＲＴボタン２０３ＡとＣＡＮＣＥＬボタン２０３Ｂが現れる。そして、ＳＴＡＲＴボタン２０３Ａをもう一度押すことにより、自動走行制御モードに遷移するようにするのである。自動走行制御モードに遷移すると元の図８の画面に戻る。押す位置を間違えた場合にはＣＡＮＣＥＬボタン２０３Ｂを押すことにより、元の図８の画面に戻る。但し、第二操作の画面は、図９の表示に限定するものではなく、「はい」、「いいえ」等の続行するか、取り消すかを選択して確認できるものであればよい。
　また、前記第二操作の操作方法は別の操作に置き換えることができる。つまり、第二実施例として、自動走行開始ボタン２０１を長押しすると、自動走行制御モードに遷移するようにするのである。第二操作の第三実施例として、自動走行開始ボタン２０３を二回連続して押すと自動走行制御モードに遷移するようにしてもよい。第二操作の第四実施例として、自動走行開始ボタン２０３を押すと（第一操作）、自動走行開始ボタン２０３の色が変化し、更にもう一度押すと（第二操作）、自動走行制御モードに遷移するようにしてもよい。第二操作の第五実施例として、自動走行開始ボタン２０３を押し（第一操作）ながらスライドさせる（第二操作）と自動走行制御モードに遷移するようにしてもよい。なお、この第二操作を行い自動走行制御モードに遷移すると、オペレータが認識しやすいように「自動走行制御モードに遷移しました」のような画面が表示されるようにしてもよい。また、第一操作が行われると、全画面表示に切り替わるように制御してもよい。
　上記のように、表示装置１１３には前記自律走行作業車両１による自動走行開始ボタン２０３が表示され、該自動走行開始ボタン２０３の第一操作に加えて、更に第二操作をしないと自動走行制御モードに遷移しないようにしたので、意図せず表示装置１１３の画面に触れたり、操作間違いをしたことで、自動走行制御モードに遷移して、自律走行作業車両１が不意に走行を開始することがなく、事故等が発生することを防止できる。
　また、前記自動走行が開始された後、前記自動走行停止ボタン２０４は、自動走行停止ボタン２０４をタッチする第一操作が行われると別の確認画面に切り替わり、第二操作が行われると自動走行及び作業を停止する。インターネット接続ボタン２０６はインターネット接続ボタン２０６をタッチする第一操作が行われると別の確認画面に切り替わり、第二操作が行われるとインターネットに接続し予め設定したサイトに入り表示する。ＰＴＯオン／オフボタン２０８は、ＰＴＯオン／オフボタン２０８をタッチする第一操作が行われると別の確認画面に切り替わり、第二操作が行われるとＰＴＯ入切手段４５を作動させて、ＰＴＯ入りとし、または、ＰＴＯ入りの状態で、ＰＴＯオン／オフボタン２０８をタッチする第一操作が行われると別の確認画面に切り替わり、第二操作が行われるとＰＴＯ切りに切り換える。
　前記自動走行停止ボタン２０４やインターネット接続ボタン２０６やＰＴＯオン／オフボタン２０８も、前記自動走行開始ボタン２０３の操作と同様に、第一操作が行われると別の確認画面（はい、いいえの二者選択画面）に切り替わる代わりに、更に第二実施例～第五実施例のような第二操作をしないと次のモードに遷移しないように制御することも可能である。
　前記自動走行が開始された後において、遠隔操作領域１１３Ａに配置される他のボタンの操作について説明する。
　前記走行速度上げボタン２０１Ｕ、走行速度下げボタン２０１Ｄは図８に示すように、一つの走行速度変更ボタン２０１とし、該走行速度変更ボタン２０１をタッチする第一操作が行われると別の確認画面に切り替わり、第二操作が行われると変速手段４４を作動させて１段階変速させるものである。走行速度変更ボタン２０１をタッチする第一操作が行われると、本実施形態では、図１０に示す、増加または減少を操作する変更確認画面に切り替わり、第二操作をするための第二車速変更ボタンとしての走行速度上げボタン２０１Ｕと走行速度下げボタン２０１Ｄが表示されるようにしている。走行速度上げボタン２０１Ｕをタッチすることで変速手段４４を作動させて１段階増速させ、走行速度下げボタン２０１Ｄをタッチすることで変速手段４４を作動させて１段階減速させる。なお、第一操作で全画面表示に切り替わり、第二操作時に変速段の名前と数字をポップアップで表示したり、画面を変速用画面に切り換えてもよい。
　前記エンジン回転数上げボタン２０２Ｕ、エンジン回転数下げボタン２０２Ｄは図８に示すように、一つのエンジン回転数変更ボタン２０２とし、該エンジン回転数変更ボタン２０２をタッチする第一操作が行われると別の確認画面に切り替わり、第二操作が行われるとアクセルアクチュエータを作動させて燃料噴射量を変更する。エンジン回転数変更ボタン２０２をタッチする第一操作が行われると、本実施形態では、図１１に示す増加または減少を操作する変更確認画面に切り替わり、第二操作をするための第二エンジン回転数変更ボタンとなるエンジン回転数上げボタン２０２Ｕとエンジン回転数下げボタン２０２Ｄが表示される。エンジン回転数上げボタン２０２Ｕをタッチすることでアクセルアクチュエータを作動させて燃料噴射量を増加させてエンジン回転数を増加させ、エンジン回転数下げボタン２０２Ｄはタッチすることでアクセルアクチュエータを作動させて燃料噴射量を減少させてエンジン回転数を減少させる。なお、第一操作で全画面表示に切り替わり、第二操作時にエンジン回転数をポップアップでデジタルまたはアナログで表示したり、画面をエンジン回転数用画面に切り換えてもよい。また、前記走行速度上げボタン２０１Ｕと前記走行速度下げボタン２０１Ｄと前記エンジン回転数上げボタン２０２Ｕと前記エンジン回転数下げボタン２０２Ｄはタッチし続けることで、上げ量または下げ量を速くすることができる。
　前記作業機上昇ボタン２０７Ｕ、作業機下降ボタン２０７Ｄは図８に示すように、一つの作業機高さ変更ボタン２０７とし、該作業機高さ変更ボタン２０７をタッチする第一操作が行われると別の確認画面に切り替わり、第二操作が行われると昇降アクチュエータ２５を作動させてロータリ耕耘装置２４を昇降する。作業機高さ変更ボタン２０７をタッチする第一操作が行われると、本実施形態では、図１２に示す増加または減少を操作する変更確認画面に切り替わり、第二操作をするための第二作業機高さ変更ボタンとなる作業機上昇ボタン２０７Ｕと作業機下降ボタン２０７Ｄが表示される。作業機上昇ボタン２０７Ｕはタッチすることで昇降アクチュエータ２５を作動させロータリ耕耘装置２４を上昇でき、作業機下降ボタン２０７Ｄはタッチすることで昇降アクチュエータ２５を作動させロータリ耕耘装置２４を下降する。なお、第一操作で全画面表示に切り替わり、第二操作時に作業機（ロータリ耕耘装置２４）の高さをポップアップでデジタルまたはアナログで表示したり、画面を作業機昇降用に切り換えてもよい。
　前記周辺画像領域１１３Ｂはカメラ４２Ｆで撮影した機体前方の映像を表示する前方画面２１０と、カメラ４２Ｒで撮影した機体後方の映像を表示する後方画面２１１とからなり、周辺画像領域１１３Ｂにおける上下方向（縦方向）に配置して二つ表示としている。前記後ろ側のカメラ４２Ｒで撮影する映像は、トラクタと作業機の間の装着部分を撮影するものであっても、作業機の作動状態を撮影するものであっても、作業機から後方の作業仕上がり状態を撮影するものであってもよい。この撮影方向を変更するために、カメラ４２Ｆ・４２Ｒの支持部には角度変更手段を設けてもよい。また、アクチュエータで変更できるようにし、遠隔操作装置１１２で調整できるように構成することもできる。また、カメラ４２の台数は限定するものではなく、３台以上配置して、それぞれの映像を周辺画像領域１１３Ｂで表示してもよい。
　前記後方画面２１１に写し出される映像は鏡像（左右逆）としており、オペレータが自律走行作業車両１の進行方向と同じ向きで操作しているときに違和感が生じないようにしている。なお、切替手段を設けて、オペレータが随伴走行作業車両１００に乗らず、自律走行作業車両１の前方で対向して監視・操作する場合には、前方画面２１０を鏡像、後方画面２１１を実像とすることも可能である。
　また、周辺画像領域１１３Ｂにおいて、前方画面２１０と後方画面２１１の二つを表示させており、自律走行作業車両１が自律走行（自動走行）しているときに、前後の進行方向を変更する場合、前方画面２１０と後方画面２１１の上下表示配置を入れ替えるようにしている。例えば、前進しているときは、図４に示すように、上側に前方画面２１０、下側に後方画面２１１を配置し、前進から後進に切り換えるときには、上側に後方画面２１１、下側に前方画面２１０を表示するのである。
　この表示切替は実際に進行方向を変更する少し前に表示が切り替えられる。つまり、制御装置３０の記憶装置３０ｍには、設定走行経路Ｒが記憶されており、その設定走行経路Ｒにおいて前進から後進、または、後進から前進に前後進切換を行うタイミングや位置はプログラムされているので、進行方向が前後切り換わる設定時間前に、表示装置１１３の画面が予定進行方向に合わせて切り替えられる。具体的には、前後進切換命令を発する設定時間前に（または前後進切換位置の設定距離手前で）上下の表示切替を行う。この画面の表示切替は、例えば、自律走行作業車両１の前後進切換アクチュエータを作動させる数秒前に（または走行を停止した時）行う。このように表示装置１１３を制御することによって、遠隔操作装置１１２を操作しているオペレータは、画面が切り替わることで自律走行作業車両１が前後進行方向を変更することを認識でき、もし、進行方向と反対側に障害物が存在するような場合には、進行する前に自律走行作業車両１を停止する操作ができ、事故を未然に防ぐことができるのである。
　また、周辺画像領域１１３Ｂにおいて、二つ表示することなく、図６に示すように、進行方向のみ表示する一つ画面とすることもできる。つまり、前進するときは前方画面２１０のみ表示し、後進するときは後方画面２１１のみ表示する。この場合においても、前記同様に、前後進を切り替える少し手前で、前方画面２１０と後方画面２１１の表示切替が行われる。但し、周辺画像領域１１３Ｂで１つの表示とする場合において、通常は進行方向のみ表示するが、作業後の仕上がり状態を確認したい場合があるので、後方画面２１１に切り換えられるように切替ボタンを設けてもよく、または、ダブルタップ等の操作で画面を切り替えるようにしてもよい。
　前記表示装置１１３には、前記遠隔操作領域１１３Ａと前記周辺画像領域１１３Ｂとに加えて、自律走行作業車両１が作業を行う圃場のマップや設定走行経路Ｒや現在の位置や作業済位置等を表示する作業状態表示領域１１３Ｃを表示可能としている。作業状態表示領域１１３Ｃでは、地図に設定走行経路を重ね合わせた二次元表示としたり、三次元表示したり、俯瞰図で表示したりすることができる。また、これらを切り替えられように切替手段を設けてもよい。
　また、周辺画像領域１１３Ｂと作業状態表示領域１１３Ｃに表示される画面は、拡大・縮小可能に構成することもできる。例えば、周辺画像領域１１３Ｂの後方画面２１１で作業後の仕上がりをもっと精密に見たい場合には、画面を指２本の間隔を広げるようなピンチアウトの操作で拡大し、確認するようにしてもよい。また、作業状態表示領域１１３Ｃでは、隣の圃場や周囲の畦を確認したい場合等では、画面を指２本の間隔を狭めるようなピンチインの操作で縮小し、確認するようにしてもよい。また、表示画面をドラッグ操作して表示位置（撮影位置）を移動できるようにすることも可能である。
　また、前記遠隔操作領域１１３Ａと前記周辺画像領域１１３Ｂと前記作業状態表示領域１１３Ｃとは、左右または上下に分割して同時に表示可能とされるものである。つまり、図４の実施形態では、左側に周辺画像領域１１３Ｂ、中央に遠隔操作領域１１３Ａ、右側に作業状態表示領域１１３Ｃと左右に画面を３つ分割して同時に表示して、複数の表示装置を用意することなく一つの端末に集約して、随伴走行作業車両１００に乗車して操作するときの取付等が容易にでき、自律走行作業車両１の位置の確認や速度調節等の操作が画面を見ながら容易にできるようにしている。
　また、中央に遠隔操作領域１１３Ａを配置し両側に周辺画像領域１１３Ｂと作業状態表示領域１１３Ｃを配置することにより、自律走行作業車両１の非常停止や車速調整等安全上重要な操作ボタンが中央に配置され、見やすく操作が迅速に行える。なお、遠隔操作装置１１２を縦長として使用できるようにしている。つまり、表示装置１１３を上下３つに分割できるようにしている。また、この分割された状態で、前記遠隔操作領域１１３Ａと前記周辺画像領域１１３Ｂと前記作業状態表示領域１１３Ｃの何れかの領域と領域の境界部分をドラッグして平行移動することで、表示領域を拡大または縮小して、見たい画面を拡大したり、必要でない画面を縮小したりできるようにすることもできるようにしている。
　また、前記遠隔操作領域１１３Ａと前記周辺画像領域１１３Ｂと前記作業状態表示領域１１３Ｃの表示位置は、任意に変更（入れ替え）可能として、使用者の好みに合わせたり使い易くしたりすることができる。つまり、遠隔操作領域１１３Ａと周辺画像領域１１３Ｂと作業状態表示領域１１３Ｃは、使用者の好みや使いやすさ等を考慮して、自由に配置することができる。例えば、画面上の一部をドラッグして、図４から図５に示すように、遠隔操作領域１１３Ａを中央から左側に移動し、周辺画像領域１１３Ｂを右側に移動できるようにするのである。また、周辺画像領域１１３Ｂと作業状態表示領域１１３Ｃを左側に上下２段に表示して、右側に遠隔操作領域１１３Ａを配置して表示するようにもできる。
　また、複数表示または全画面表示の選択も任意に変更可能として、視認性や操作性を向上することができる。つまり、遠隔操作領域１１３Ａのみ全画面で表示して、ボタンを大きく表示させて操作間違いが生じし難くなるようにしたり、遠隔操作領域１１３Ａと作業状態表示領域１１３Ｃの二つを表示して、作業位置を確認しながら自律走行作業車両１を操作できるようにしている。
　本発明は、自律走行可能とした建設機械や農用作業車等を遠隔操作可能とする遠隔操作装置に備えられる表示装置に利用可能である。
　１　　　自律走行作業車両
　３０　　制御装置
　４２Ｆ・４２Ｒ　カメラ
　１１０・１１１　通信装置
　１１２　遠隔操作装置
　１１３　表示装置
　１１３Ａ　遠隔操作領域
　１１３Ｂ　周辺画像領域
　１１３Ｃ　作業状態表示領域
　１１９　制御装置
　

Claims (6)

  1. 　衛星測位システムを利用して、設定した走行経路に沿って自動的に走行及び作業を可能とする自律走行作業車両の制御装置と、無線により前記制御装置に接続される通信装置を介して通信可能な遠隔操作装置において、該遠隔操作装置には通信装置と制御装置と表示装置を備え、該表示装置には、少なくとも前記自律走行作業車両を操作する遠隔操作領域と、前記自律走行作業車両に取り付けたカメラにより撮影した映像を表示する周辺画像領域とを備えることを特徴とする遠隔操作装置。
  2. 　前記表示装置には、前記遠隔操作領域と前記周辺画像領域とに加えて、自律走行作業車両が作業を行う圃場マップや走行経路や現在の位置や作業済位置を表示する作業状態表示領域とを表示可能とすることを特徴とする請求項１に記載の遠隔操作装置。
  3. 　前記遠隔操作領域と前記周辺画像領域と前記作業状態表示領域とは左右または上下に分割して同時に表示可能とされることを特徴とする請求項１または請求項２に記載の遠隔操作装置。
  4. 　前記遠隔操作領域と前記周辺画像領域と前記作業状態表示領域の表示位置、及び、複数表示または全画面表示の選択は任意に変更可能とされることを特徴とする請求項２または請求項３に記載の遠隔操作装置。
  5. 　前記自律走行作業車両には、前方と後方を撮影するカメラが取り付けられ、前記遠隔操作装置の表示装置には、前記カメラで撮影した自律走行作業車両の前方の映像を表示する前方画面と、後方の映像を表示する後方画面が設けられ、前記表示装置は、前方画面と後方画面の二つ表示と、進行方向のみ表示する一つ表示とに切替可能に構成されることを特徴とする請求項１に記載の遠隔操作装置。
  6. 　前記表示装置を一つ表示に切り替えた場合、および、前記上下の二つ表示の場合、自律走行作業車両が設定走行経路に沿って走行し、進行方向が前後切り換わる設定時間前に、表示装置の画面が予定進行方向に合わせて切り替えられることを特徴とする請求項５に記載の遠隔操作装置。
PCT/JP2015/069119 2014-07-30 2015-07-02 遠隔操作装置 WO2016017367A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US15/329,798 US10324461B2 (en) 2014-07-30 2015-07-02 Remote control apparatus
CN202010309757.4A CN111480407B (zh) 2014-07-30 2015-07-02 远程操作系统
CN201580041953.5A CN106572630B (zh) 2014-07-30 2015-07-02 远程操作装置
JP2016510543A JP6131385B2 (ja) 2014-07-30 2015-07-02 遠隔操作装置
EP15827436.5A EP3175693B1 (en) 2014-07-30 2015-07-02 Remote control apparatus
KR1020207016112A KR102257303B1 (ko) 2014-07-30 2015-07-02 원격 조작 장치
KR1020177003945A KR102121554B1 (ko) 2014-07-30 2015-07-02 원격 조작 장치
KR1020217015430A KR102394962B1 (ko) 2014-07-30 2015-07-02 원격 조작 장치

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2014-155100 2014-07-30
JP2014-155101 2014-07-30
JP2014155101 2014-07-30
JP2014155099 2014-07-30
JP2014-155099 2014-07-30
JP2014155100 2014-07-30

Publications (1)

Publication Number Publication Date
WO2016017367A1 true WO2016017367A1 (ja) 2016-02-04

Family

ID=55217272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069119 WO2016017367A1 (ja) 2014-07-30 2015-07-02 遠隔操作装置

Country Status (6)

Country Link
US (1) US10324461B2 (ja)
EP (1) EP3175693B1 (ja)
JP (1) JP6131385B2 (ja)
KR (3) KR102257303B1 (ja)
CN (2) CN106572630B (ja)
WO (1) WO2016017367A1 (ja)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612776A (zh) * 2016-12-29 2017-05-10 南京理工大学 一种播种与施肥车
JP2017176008A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 コンバイン
JP2017176007A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 コンバイン
WO2017170507A1 (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 コンバイン
WO2018055921A1 (ja) * 2016-09-26 2018-03-29 ヤンマー株式会社 経路生成システム
KR20180066924A (ko) * 2016-12-09 2018-06-20 한국생산기술연구원 원격조종을 통한 농약살포 주행장치
WO2018110707A1 (ja) * 2016-12-15 2018-06-21 株式会社タダノ 遠隔操作端末および遠隔操作端末を備える作業車両
JP2018095449A (ja) * 2016-12-15 2018-06-21 株式会社タダノ 遠隔操作端末
JP2018099071A (ja) * 2016-12-20 2018-06-28 株式会社クボタ 自動走行作業車
EP3352035A1 (en) * 2017-01-20 2018-07-25 Kubota Corporation Work vehicle and other-vehicle monitoring system
WO2018159261A1 (ja) * 2017-03-03 2018-09-07 ヤンマー株式会社 無線通信装置
JP2018201419A (ja) * 2017-06-05 2018-12-27 株式会社クボタ 作業車両の停止システム及びそれを具備する作業車両
JP2019068221A (ja) * 2017-09-29 2019-04-25 Toto株式会社 遠隔操作システム
KR20190061610A (ko) * 2017-11-28 2019-06-05 엘에스엠트론 주식회사 트랙터 원격 제어 시스템
JP2019088218A (ja) * 2017-11-14 2019-06-13 株式会社クボタ 圃場作業支援端末、圃場作業機、および、圃場作業支援プログラム
CN109922996A (zh) * 2017-01-20 2019-06-21 株式会社久保田 作业车
JP2019097532A (ja) * 2017-12-07 2019-06-24 株式会社クボタ 圃場作業支援端末、圃場作業機、および、圃場作業支援プログラム
JP2019108180A (ja) * 2017-12-15 2019-07-04 株式会社タダノ 遠隔操作端末および遠隔操作端末を備える作業車両
CN110673650A (zh) * 2019-11-21 2020-01-10 梅州市晟邦科技有限公司 无人机控制方法
JP2020028224A (ja) * 2018-08-20 2020-02-27 株式会社クボタ 圃場マップ作成システム
JP2020039268A (ja) * 2018-09-07 2020-03-19 松山株式会社 農作業機用作業支援システム
JP2020039267A (ja) * 2018-09-07 2020-03-19 松山株式会社 農作業機用作業支援システム
JP2020072740A (ja) * 2020-02-04 2020-05-14 ヤンマー株式会社 コンバイン
WO2020137809A1 (ja) * 2018-12-26 2020-07-02 株式会社クボタ 作業車両
JP2020103102A (ja) * 2018-12-27 2020-07-09 井関農機株式会社 作業車両
JP2021006009A (ja) * 2019-06-27 2021-01-21 株式会社クボタ 作業車協調システム
JP2021029147A (ja) * 2019-08-21 2021-03-01 株式会社テクノクラフト 芝生面情報表示システム
JP2021090178A (ja) * 2019-12-06 2021-06-10 株式会社Ｓｕｂａｒｕ 画像表示システム
JP2021097367A (ja) * 2019-12-18 2021-06-24 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
JP2021534646A (ja) * 2018-08-10 2021-12-09 コノート、エレクトロニクス、リミテッドConnaught Electronics Ltd. 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム
JP2022078760A (ja) * 2020-11-13 2022-05-25 本田技研工業株式会社 遠隔操作システム、移動ロボット、及び操作端末
WO2023127391A1 (ja) 2021-12-28 2023-07-06 株式会社クボタ 遠隔操作走行が可能な農業機械の走行制御システム
WO2023127353A1 (ja) 2021-12-28 2023-07-06 株式会社クボタ 農業機械、センシングシステム、センシング方法、遠隔操縦システム、および制御方法
WO2023127390A1 (ja) 2021-12-28 2023-07-06 株式会社クボタ 遠隔操作走行が可能な農業機械の走行制御システム
JP7470843B2 (ja) 2019-07-12 2024-04-18 ヤンマーパワーテクノロジー株式会社 自動走行システム及び自動走行方法
WO2024190235A1 (ja) * 2023-03-16 2024-09-19 パナソニックＩｐマネジメント株式会社 遠隔監視方法、遠隔監視装置及びプログラム
JP7568490B2 (ja) 2020-02-19 2024-10-16 ヤンマーパワーテクノロジー株式会社 自律走行システム

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6437640B2 (ja) * 2015-05-07 2018-12-12 ヤンマー株式会社 自律走行車の誘導制御システム
JP6300112B2 (ja) * 2015-06-05 2018-03-28 株式会社ダイフク 機械設備の手動操作用タッチパネル
US10719289B2 (en) * 2015-11-05 2020-07-21 Topcon Positioning Systems, Inc. Monitoring and control display system and method using multiple displays in a work environment
JP6749256B2 (ja) * 2017-01-20 2020-09-02 株式会社クボタ 作業車の位置計測装置
EP3396478B1 (en) * 2017-04-28 2023-06-14 Deere & Company Apparatus, method and computer programme for controlling a machine
DE102017110159A1 (de) * 2017-05-10 2018-11-15 Claas Tractor Sas Landwirtschaftliche Arbeitsmaschine
DE102017110106A1 (de) * 2017-05-10 2018-11-15 Claas Tractor Sas Landwirtschaftliche Arbeitsmaschine
DE102017110109A1 (de) * 2017-05-10 2018-11-15 Claas Tractor Sas Landwirtschaftliche Arbeitsmaschine
DE202017103346U1 (de) * 2017-06-02 2017-12-15 Pöttinger Landtechnik Gmbh Vorrichtung zum Aufzeichnen von Fahrwegdaten eines landwirtschaftlichen Arbeitsgeräts
WO2018227623A1 (zh) * 2017-06-16 2018-12-20 深圳市大疆创新科技有限公司 控制方法、飞行器系统和显示终端
CN107529041A (zh) * 2017-09-30 2017-12-29 江西洪都航空工业集团有限责任公司 一种用于无人农用车的远程监控方法
JP6933545B2 (ja) * 2017-10-04 2021-09-08 株式会社小松製作所 作業車両、制御装置、および作業車両の制御方法
KR102037324B1 (ko) * 2017-11-30 2019-10-28 엘지전자 주식회사 자율주행 차량 및 그 제어 방법
JP7004162B2 (ja) * 2018-03-23 2022-01-21 株式会社豊田自動織機 産業車両用遠隔操作システム、遠隔操作装置、産業車両、産業車両用遠隔操作プログラム、及び産業車両用遠隔操作方法
USD872109S1 (en) 2018-08-07 2020-01-07 Caterpillar Inc. Display screen or portion thereof with graphical user interface
US12048267B2 (en) 2018-08-08 2024-07-30 The Toro Company Handle assembly for autonomous vehicle
JP7064066B2 (ja) * 2018-08-28 2022-05-10 ヤンマーパワーテクノロジー株式会社 作業車両用の自動走行システム
JP7068969B2 (ja) * 2018-08-29 2022-05-17 ヤンマーパワーテクノロジー株式会社 自動走行システム
JP7175680B2 (ja) * 2018-08-31 2022-11-21 株式会社小松製作所 表示制御装置、表示制御システム、および表示制御方法
US11800827B2 (en) 2018-09-14 2023-10-31 Agjunction Llc Using non-real-time computers for agricultural guidance systems
CN108815831A (zh) * 2018-09-23 2018-11-16 姚前 一种习练装置及其使用、控制方法
CN109358625A (zh) * 2018-10-25 2019-02-19 丰疆智慧农业股份有限公司 自动驾驶农机及其动力系统
AU2019371691A1 (en) * 2018-10-31 2021-02-25 Komatsu Ltd. Display control system and display control method
JP7116799B2 (ja) * 2018-11-07 2022-08-10 本田技研工業株式会社 自律走行作業機の作業領域ゾーン境界画定装置
DE102019202025B4 (de) * 2019-02-15 2020-08-27 Zf Friedrichshafen Ag System und Verfahren zum sicheren Betreiben eines automatisierten Fahrzeugs
JP7256668B2 (ja) * 2019-03-29 2023-04-12 本田技研工業株式会社 制御装置、制御方法及びプログラム
JP7259595B2 (ja) * 2019-06-28 2023-04-18 トヨタ自動車株式会社 自動運転車両の操作装置
WO2021021675A1 (en) * 2019-07-26 2021-02-04 Agjunction Llc Using smart-phones and other hand-held mobile devices in precision agriculture
KR20220037409A (ko) * 2019-07-29 2022-03-24 스미토모 겐키 가부시키가이샤 쇼벨
DE102019125635A1 (de) * 2019-09-24 2021-03-25 Claas Tractor Sas Landwirtschaftliche Arbeitsmaschine und Verfahren zum Anfahren
JP7305274B2 (ja) * 2019-09-25 2023-07-10 日立建機株式会社 建設機械
KR102118293B1 (ko) * 2019-12-10 2020-06-02 주식회사 아진엑스텍 터치스크린을 포함하는 휴대용 단말을 이용한 로봇 장치 제어 방법
US20210191387A1 (en) * 2019-12-23 2021-06-24 Autonomous Solutions, Inc. System and method for assisted teleoperations of vehicles
JP7301737B2 (ja) * 2019-12-27 2023-07-03 株式会社クボタ 作業車両
US11567492B2 (en) * 2020-01-17 2023-01-31 Zimeno, Inc. Vehicle control by a remote operator
EP4221279A1 (en) 2020-01-27 2023-08-02 Apple Inc. Mobile key enrollment and use
US12024862B2 (en) 2020-02-07 2024-07-02 Caterpillar Inc. System and method of autonomously clearing a windrow
CN113393696B (zh) * 2020-03-12 2024-05-28 标致雪铁龙汽车股份有限公司 一种车辆定位系统及其使用方法
WO2021192219A1 (ja) * 2020-03-27 2021-09-30 住友重機械工業株式会社 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
US11206544B2 (en) 2020-04-13 2021-12-21 Apple Inc. Checkpoint identity verification on validation using mobile identification credential
US11775151B2 (en) 2020-05-29 2023-10-03 Apple Inc. Sharing and using passes or accounts
US20210394785A1 (en) * 2020-06-18 2021-12-23 Caterpillar Paving Products Inc. Remote manual and autonomous work machine control
US12010986B2 (en) * 2020-10-30 2024-06-18 Deere & Company Agricultural machine spraying mode field map visualization and control
JP7533196B2 (ja) * 2020-12-17 2024-08-14 井関農機株式会社 作業車両
US20220299991A1 (en) * 2021-03-22 2022-09-22 Deere & Company System and method for autonomous work machine approval
US11772562B2 (en) 2021-03-24 2023-10-03 Deere & Company Intuitive work vehicle vision system for enhanced operator visibility
US11981181B2 (en) * 2021-04-19 2024-05-14 Apple Inc. User interfaces for an electronic key
US12112546B2 (en) 2021-04-30 2024-10-08 Deere & Company Vision guidance system using dynamic edge detection
CN113382294B (zh) * 2021-06-04 2023-05-12 广州小鹏汽车科技有限公司 远程驾驶舱的画面显示处理方法、装置、驾驶舱及系统
US11663309B2 (en) 2021-06-06 2023-05-30 Apple Inc. Digital identification credential user interfaces
CN113359691B (zh) * 2021-07-08 2022-11-11 山东大学 一种非道路移动设备的远程图像显示装置和方法
USD1026934S1 (en) * 2021-08-05 2024-05-14 Caterpillar Inc. Display screen or portion thereof with graphical user interface
JP2023150413A (ja) * 2022-03-31 2023-10-16 ヤンマーホールディングス株式会社 操作支援方法、操作支援システム、及び操作支援プログラム
JP2023156733A (ja) * 2022-04-13 2023-10-25 ヤンマーホールディングス株式会社 作業方法、作業車両及び作業システム
WO2023224432A1 (ko) * 2022-05-20 2023-11-23 주식회사 엘지유플러스 원격 제어 주행 상태인 자율 주행 차량의 제어 신호 유효성 검증 방법 및 그를 위한 장치 및 시스템
CN116661447B (zh) * 2023-05-17 2024-08-23 深圳鳍源科技有限公司 水下机器人的控制方法、水下机器人及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09271016A (ja) * 1996-03-29 1997-10-14 Seibutsukei Tokutei Sangyo Gijutsu Kenkyu Suishin Kiko 作業車両の遠隔操作装置
JP2001344017A (ja) * 2001-03-28 2001-12-14 Hitachi Ltd 自動走行機械
JP2002182741A (ja) * 2000-12-19 2002-06-26 Yanmar Agricult Equip Co Ltd 農業用作業車
JP2005176741A (ja) * 2003-12-19 2005-07-07 Yanmar Co Ltd 農業用作業車
JP2006221339A (ja) * 2005-02-09 2006-08-24 Honda Motor Co Ltd 車両操縦システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044316A (en) * 1994-12-30 2000-03-28 Mullins; Donald B. Method and apparatus for navigating a remotely guided brush cutting, chipping and clearing apparatus
KR19980068399A (ko) * 1997-02-19 1998-10-15 김영환 차량 자율 주행 장치 및 제어 방법
CN1249307C (zh) * 2000-11-17 2006-04-05 日立建机株式会社 建筑机械的显示装置和显示控制装置
JP2002182746A (ja) * 2000-12-19 2002-06-26 Yanmar Agricult Equip Co Ltd 農業用作業車
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US20060224280A1 (en) * 2005-04-01 2006-10-05 Flanigan Thomas C Remote vehicle control systems
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007082523A (ja) * 2005-09-22 2007-04-05 Yasutoshi Iwase 農業管理ロボット
US7826969B2 (en) * 2006-12-21 2010-11-02 Deere & Company Determining position of a vehicle with reference to a landmark
JP4812613B2 (ja) * 2006-12-27 2011-11-09 日立建機株式会社 ホイール式作業機械
JP5145797B2 (ja) * 2007-07-04 2013-02-20 パナソニック株式会社 映像表示装置
JP4972610B2 (ja) * 2008-05-29 2012-07-11 株式会社クボタ 作業車のアクセル制御構造
US9188980B2 (en) * 2008-09-11 2015-11-17 Deere & Company Vehicle with high integrity perception system
US9235214B2 (en) * 2008-09-11 2016-01-12 Deere & Company Distributed knowledge base method for vehicular localization and work-site management
US8583313B2 (en) * 2008-09-19 2013-11-12 International Electronic Machines Corp. Robotic vehicle for performing rail-related actions
JP2011120539A (ja) 2009-12-11 2011-06-23 Matsuyama Plow Mfg Co Ltd 農作業機の無線操作システム
JP5610870B2 (ja) * 2010-06-21 2014-10-22 三菱重工業株式会社 無人走行車両の誘導装置及び無人走行車両の誘導方法
CN102529963A (zh) * 2010-12-14 2012-07-04 上海摩西海洋工程有限公司 计算机辅助驾驶系统
US20120185123A1 (en) * 2011-01-19 2012-07-19 Adil Ansari System and method for vehicle path determination
US9288938B2 (en) * 2012-06-01 2016-03-22 Rowbot Systems Llc Robotic platform and method for performing multiple functions in agricultural systems
JP6240384B2 (ja) * 2012-11-29 2017-11-29 ヤンマー株式会社 自律走行作業システム
JP5928402B2 (ja) * 2013-04-19 2016-06-01 株式会社ダイフク 走行車制御システム
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
KR20200039817A (ko) * 2014-03-28 2020-04-16 얀마 가부시키가이샤 자율 주행 작업 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09271016A (ja) * 1996-03-29 1997-10-14 Seibutsukei Tokutei Sangyo Gijutsu Kenkyu Suishin Kiko 作業車両の遠隔操作装置
JP2002182741A (ja) * 2000-12-19 2002-06-26 Yanmar Agricult Equip Co Ltd 農業用作業車
JP2001344017A (ja) * 2001-03-28 2001-12-14 Hitachi Ltd 自動走行機械
JP2005176741A (ja) * 2003-12-19 2005-07-07 Yanmar Co Ltd 農業用作業車
JP2006221339A (ja) * 2005-02-09 2006-08-24 Honda Motor Co Ltd 車両操縦システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3175693A4 *

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017176008A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 コンバイン
JP2017176007A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 コンバイン
WO2017170507A1 (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 コンバイン
WO2018055921A1 (ja) * 2016-09-26 2018-03-29 ヤンマー株式会社 経路生成システム
JP2018055179A (ja) * 2016-09-26 2018-04-05 ヤンマー株式会社 経路生成システム
KR101941187B1 (ko) 2016-12-09 2019-04-15 한국생산기술연구원 원격조종을 통한 농약살포 주행장치
KR20180066924A (ko) * 2016-12-09 2018-06-20 한국생산기술연구원 원격조종을 통한 농약살포 주행장치
JP2018095449A (ja) * 2016-12-15 2018-06-21 株式会社タダノ 遠隔操作端末
WO2018110707A1 (ja) * 2016-12-15 2018-06-21 株式会社タダノ 遠隔操作端末および遠隔操作端末を備える作業車両
JP2018099071A (ja) * 2016-12-20 2018-06-28 株式会社クボタ 自動走行作業車
CN106612776A (zh) * 2016-12-29 2017-05-10 南京理工大学 一种播种与施肥车
CN106612776B (zh) * 2016-12-29 2019-03-05 南京理工大学 一种播种与施肥车
CN109922996A (zh) * 2017-01-20 2019-06-21 株式会社久保田 作业车
EP3352035A1 (en) * 2017-01-20 2018-07-25 Kubota Corporation Work vehicle and other-vehicle monitoring system
JP2018113941A (ja) * 2017-01-20 2018-07-26 株式会社クボタ 作業車、及び、他車監視システム
CN108323259A (zh) * 2017-01-20 2018-07-27 株式会社久保田 作业车、及其他车监视系统
US11221630B2 (en) 2017-01-20 2022-01-11 Kubota Corporation Work vehicle
US10875404B2 (en) 2017-01-20 2020-12-29 Kubota Corporation Work vehicle, control method for work vehicle, and cooperative work vehicle monitoring system
EP3572286A4 (en) * 2017-01-20 2020-09-16 Kubota Corporation CONSTRUCTION VEHICLE
JP2020177697A (ja) * 2017-03-03 2020-10-29 ヤンマーパワーテクノロジー株式会社 表示システム
JP7119031B2 (ja) 2017-03-03 2022-08-16 ヤンマーパワーテクノロジー株式会社 表示システム
JP2018147161A (ja) * 2017-03-03 2018-09-20 ヤンマー株式会社 無線通信装置
WO2018159261A1 (ja) * 2017-03-03 2018-09-07 ヤンマー株式会社 無線通信装置
JP2018201419A (ja) * 2017-06-05 2018-12-27 株式会社クボタ 作業車両の停止システム及びそれを具備する作業車両
JP7064693B2 (ja) 2017-09-29 2022-05-11 Toto株式会社 遠隔操作システム
JP2019068221A (ja) * 2017-09-29 2019-04-25 Toto株式会社 遠隔操作システム
JP2019088218A (ja) * 2017-11-14 2019-06-13 株式会社クボタ 圃場作業支援端末、圃場作業機、および、圃場作業支援プログラム
KR20190061610A (ko) * 2017-11-28 2019-06-05 엘에스엠트론 주식회사 트랙터 원격 제어 시스템
KR102272510B1 (ko) 2017-11-28 2021-07-05 엘에스엠트론 주식회사 트랙터 원격 제어 시스템
JP2019097532A (ja) * 2017-12-07 2019-06-24 株式会社クボタ 圃場作業支援端末、圃場作業機、および、圃場作業支援プログラム
JP2019108180A (ja) * 2017-12-15 2019-07-04 株式会社タダノ 遠隔操作端末および遠隔操作端末を備える作業車両
JP2021534646A (ja) * 2018-08-10 2021-12-09 コノート、エレクトロニクス、リミテッドConnaught Electronics Ltd. 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム
JP7191201B2 (ja) 2018-08-10 2022-12-16 コノート、エレクトロニクス、リミテッド 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム
JP2020028224A (ja) * 2018-08-20 2020-02-27 株式会社クボタ 圃場マップ作成システム
JP2020039267A (ja) * 2018-09-07 2020-03-19 松山株式会社 農作業機用作業支援システム
JP2020039268A (ja) * 2018-09-07 2020-03-19 松山株式会社 農作業機用作業支援システム
JP7078259B2 (ja) 2018-09-07 2022-05-31 松山株式会社 農作業機用作業支援システム
JP7078260B2 (ja) 2018-09-07 2022-05-31 松山株式会社 農作業機用作業支援システム
JP2020103084A (ja) * 2018-12-26 2020-07-09 株式会社クボタ 作業車両
JP7150593B2 (ja) 2018-12-26 2022-10-11 株式会社クボタ 作業車両
WO2020137809A1 (ja) * 2018-12-26 2020-07-02 株式会社クボタ 作業車両
US11994870B2 (en) 2018-12-26 2024-05-28 Kubota Corporation Working vehicle
JP2020103102A (ja) * 2018-12-27 2020-07-09 井関農機株式会社 作業車両
JP7447927B2 (ja) 2018-12-27 2024-03-12 井関農機株式会社 作業車両
JP7054060B2 (ja) 2018-12-27 2022-04-13 井関農機株式会社 作業車両
JP2022089857A (ja) * 2018-12-27 2022-06-16 井関農機株式会社 作業車両
JP2021006009A (ja) * 2019-06-27 2021-01-21 株式会社クボタ 作業車協調システム
JP7470843B2 (ja) 2019-07-12 2024-04-18 ヤンマーパワーテクノロジー株式会社 自動走行システム及び自動走行方法
JP2021029147A (ja) * 2019-08-21 2021-03-01 株式会社テクノクラフト 芝生面情報表示システム
CN110673650A (zh) * 2019-11-21 2020-01-10 梅州市晟邦科技有限公司 无人机控制方法
CN110673650B (zh) * 2019-11-21 2022-09-23 梅州市晟邦科技有限公司 无人机控制方法
JP7406360B2 (ja) 2019-12-06 2023-12-27 株式会社Subaru 画像表示システム
JP2021090178A (ja) * 2019-12-06 2021-06-10 株式会社Ｓｕｂａｒｕ 画像表示システム
JP7287262B2 (ja) 2019-12-18 2023-06-06 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
JP2021097367A (ja) * 2019-12-18 2021-06-24 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
WO2021124654A1 (ja) * 2019-12-18 2021-06-24 コベルコ建機株式会社 作業支援サーバ、作業支援方法および作業支援システム
JP2020072740A (ja) * 2020-02-04 2020-05-14 ヤンマー株式会社 コンバイン
JP7568490B2 (ja) 2020-02-19 2024-10-16 ヤンマーパワーテクノロジー株式会社 自律走行システム
JP7402145B2 (ja) 2020-11-13 2023-12-20 本田技研工業株式会社 遠隔操作システム、移動ロボット、及び操作端末
JP2022078760A (ja) * 2020-11-13 2022-05-25 本田技研工業株式会社 遠隔操作システム、移動ロボット、及び操作端末
WO2023127391A1 (ja) 2021-12-28 2023-07-06 株式会社クボタ 遠隔操作走行が可能な農業機械の走行制御システム
WO2023127353A1 (ja) 2021-12-28 2023-07-06 株式会社クボタ 農業機械、センシングシステム、センシング方法、遠隔操縦システム、および制御方法
WO2023127390A1 (ja) 2021-12-28 2023-07-06 株式会社クボタ 遠隔操作走行が可能な農業機械の走行制御システム
WO2024190235A1 (ja) * 2023-03-16 2024-09-19 パナソニックＩｐマネジメント株式会社 遠隔監視方法、遠隔監視装置及びプログラム

Also Published As

Publication number Publication date
KR20170037985A (ko) 2017-04-05
KR102121554B1 (ko) 2020-06-10
KR102394962B1 (ko) 2022-05-04
JP6131385B2 (ja) 2017-05-17
EP3175693B1 (en) 2022-08-31
KR102257303B1 (ko) 2021-05-31
US20170248946A1 (en) 2017-08-31
CN111480407A (zh) 2020-08-04
EP3175693A1 (en) 2017-06-07
CN106572630A (zh) 2017-04-19
KR20200067947A (ko) 2020-06-12
CN111480407B (zh) 2022-07-12
KR20210063448A (ko) 2021-06-01
JPWO2016017367A1 (ja) 2017-04-27
CN106572630B (zh) 2020-05-15
US10324461B2 (en) 2019-06-18
EP3175693A4 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
JP6131385B2 (ja) 遠隔操作装置
JP6267626B2 (ja) 走行経路設定装置
JP6339427B2 (ja) 併走作業システム
JP6594805B2 (ja) 作業車両
JP6450948B2 (ja) 自律走行作業車両
JP6267627B2 (ja) 操作端末
JP6239441B2 (ja) 作業車両併走システム
WO2016076319A1 (ja) 操作端末
JP6253565B2 (ja) 操作端末
JP2017174229A (ja) 経路生成装置
JP6267586B2 (ja) ディスプレイ装置
JP6163460B2 (ja) 随伴作業システム
JP2015222499A (ja) 緊急停止装置
WO2015178448A1 (ja) 作業車両の走行システム
JP2015222503A (ja) 自律走行作業車両
JP7065170B2 (ja) 自律走行システム
JP2016017881A (ja) 併走作業システム
JP2015221614A (ja) モニタ装置
JP2015222500A (ja) 緊急停止装置
JP6258781B2 (ja) 緊急停止装置
JP2015222502A (ja) 緊急停止装置
JP2019201667A (ja) 走行経路設定装置
JP2018050632A (ja) 走行経路設定装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016510543

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15827436

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15329798

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177003945

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015827436

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015827436

Country of ref document: EP