WO2019180950A1 - 設置位置通知システム - Google Patents

設置位置通知システム Download PDF

Info

Publication number
WO2019180950A1
WO2019180950A1 PCT/JP2018/011849 JP2018011849W WO2019180950A1 WO 2019180950 A1 WO2019180950 A1 WO 2019180950A1 JP 2018011849 W JP2018011849 W JP 2018011849W WO 2019180950 A1 WO2019180950 A1 WO 2019180950A1
Authority
WO
WIPO (PCT)
Prior art keywords
installation
installation position
information
unit
target area
Prior art date
Application number
PCT/JP2018/011849
Other languages
English (en)
French (fr)
Inventor
秀明 島村
恵二 室
直紀 亀山
瑠南 金子
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to PCT/JP2018/011849 priority Critical patent/WO2019180950A1/ja
Priority to JP2020507273A priority patent/JP6924326B2/ja
Priority to EP18910642.0A priority patent/EP3769598B1/en
Priority to US16/982,166 priority patent/US20210027489A1/en
Publication of WO2019180950A1 publication Critical patent/WO2019180950A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D2101/00—Lawn-mowers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • This invention relates to the installation position notification system which notifies the installation position of the installation object which shows a work object area.
  • Some autonomous traveling work machines that autonomously travel in the work target area travel in the work target area by recognizing installation objects such as markers installed along the work target area (see, for example, Patent Document 1). ).
  • the installation work is performed by a specialist. For this reason, the installation work is expensive and there is an inconvenience such as schedule adjustment with a contractor. Then, it aims at enabling installation of installation objects, such as a marker, more easily.
  • the present invention provides an installation position notification system for notifying an installation position of an installation indicating a work target area of an autonomous traveling work machine, and information for acquiring image information including the work target area
  • An acquisition unit input information corresponding to the image information; an input unit that receives input information that specifies the work target area; and a position specification unit that specifies an installation position of the installation based on the input information;
  • a notification unit for notifying the specified installation position.
  • the position specifying unit sets an outline of the work target area based on the input information, and specifies an installation position of the installation object based on the outline.
  • the position specifying unit sets a principal point indicating a portion where the contour line bends, and a sub-point arranged with a space on the contour line connecting the principal points, and the principal point And the sub-point is the installation position of the installation object.
  • the position specifying unit is configured such that an adjacent installation object has a distance that allows the installation object to be recognized by the camera used by the autonomous traveling work machine for detection of the installation object at a distance of a predetermined value or more.
  • the sub-point is set at a position within the field of view range.
  • the position specifying unit compares the set contour line with a connection line that linearly connects the specified installation positions of the installation object, and the difference between the contour line and the connection line Is equal to or greater than a predetermined value, a correction process for correcting the installation position of the installation object is executed, and the notification unit notifies the corrected installation position.
  • the input unit receives other input information for specifying a work unnecessary area in the work target area
  • the position specifying unit is configured to outline the work unnecessary area based on the other input information.
  • the installation position of the installation object is specified based on the contour line.
  • the said structure WHEREIN The said position specific
  • the information processing apparatus includes a control unit that executes processing for notifying the notification unit of information related to the deviation amount.
  • the image information is map information
  • the notification unit displays an image indicating the specified installation position on a map image included in the map information.
  • the present invention provides an information acquisition unit that acquires image information including a work target area, input information corresponding to the image information, an input unit that receives input information for specifying the work target area, and the input information. Since it has a position specifying unit that specifies the installation position of the installation based on it and a notification unit that notifies the specified installation position, it is possible to easily know the installation position of the installation even if it is not a specialized supplier Therefore, it is possible to install the installation easily.
  • FIG. 1 is a diagram showing an installation position notification system together with a robot lawn mower.
  • FIG. 2 is a block diagram of the information processing apparatus.
  • FIG. 3 is a flowchart showing the installation position specifying process.
  • FIG. 4 is a diagram illustrating a display example of the map image acquired in step S11.
  • FIG. 5 is a diagram showing a display example of the contour line set in step S13.
  • 6A is a diagram for explaining the setting of the main point in step S14
  • FIG. 6B is a diagram for explaining the setting of the subpoint in step S14.
  • FIG. 7A is a diagram showing the contour line L1A before correction
  • FIG. 7B is a diagram showing the contour line L1A after correction.
  • FIG. 8 is a diagram for explaining the setting of the work unnecessary area.
  • FIG. 1 is a view showing an installation position notification system according to an embodiment of the present invention together with a robot lawn mower.
  • the installation position notification system 1 is a system for notifying the robot lawn mower 10 of the installation position of the marker 2 indicating the work area (hereinafter referred to as 41), which is a lawn mowing area.
  • the information processing apparatus 100 used by a person who performs (hereinafter referred to as a user) is provided.
  • the robot lawn mower 10 is an autonomous traveling work machine that mows the lawn in the work target area 41 by autonomously traveling in the work target area 41, and is hereinafter referred to as a lawn mower 10.
  • the lawn mower 10 includes a housing 11, left and right front wheels 12 provided at the front part of the housing 11, left and right rear wheels 13 provided at the rear part of the housing 11, and work provided at the center lower part of the housing 11.
  • Part 14 The working unit 14 is a cutting blade disc provided with a cutting blade, and can cut grass by rotating the cutting blade disc.
  • the lawn mower 10 includes a left and right traveling motor 15 for individually driving the left and right rear wheels 13, a working unit driving motor 16 for driving the working unit 14, and operating power for each part of the lawn mower 10.
  • Battery 17 for supplying the vehicle, a wheel speed sensor 18 for detecting the rotational speed of the left and right rear wheels 13 as drive wheels, and an electrical unit 30.
  • the lawn mower 10 includes a camera 21 as a sensor used for detecting an installed object.
  • One or a plurality of cameras 21 may be used.
  • a stereo camera including two cameras may be used.
  • the lawn mower 10 analyzes the captured image of the camera 21 under the control of the electrical unit 30, extracts the marker 2 in the captured image, specifies the position of the marker 2, and the position of the marker 2. It has a function for recognizing the work target area 41 and a function for running the recognized work target area 41 and performing work (mowing the lawn).
  • the marker 2 is an installation set up along the boundary of the work target area 41 by a user or the like before work.
  • FIG. 1 shows an example of the marker 2.
  • the lawn mower 10 of the present embodiment detects the marker 2 with the camera 21, sets a virtual wire that linearly connects the marker 2 and the marker 2, and travels and works so as not to protrude from the virtual wire. .
  • the above-described functions of the lawn mower 10 are broadly based on known position detection functions using GPS (Global Positioning System) or the like, and known techniques described in Japanese Patent Application Laid-Open No. 2017-158532 described in Background Art. Applicable.
  • the information processing apparatus 100 is an apparatus capable of displaying an image viewed by a user and inputting a user instruction, and includes a known information processing apparatus such as a portable information processing apparatus portable by the user and a personal computer. Widely applicable.
  • the information processing apparatus 100 of this embodiment is a smartphone that is one of portable information processing apparatuses.
  • FIG. 2 is a block diagram of the information processing apparatus 100.
  • the information processing apparatus 100 includes a communication unit 101, an operation unit 102, a display unit 103, a position detection unit 104, a storage unit 105, and a control unit 106.
  • a point different from a general smartphone is that a control program 105 ⁇ / b> A corresponding to the installation position notification system is stored in the storage unit 105.
  • This control program may be either a program installed by the user or a program installed in advance in the information processing apparatus 100.
  • the communication unit 101 has a communication function for performing data communication, short-range wireless communication, and telephone calls via the Internet.
  • the operation unit 102 is an input device (corresponding to an input unit) for inputting various types of input information from the user, and includes, for example, operation buttons and a touch panel.
  • the display unit 103 is a display device that displays various types of information under the control of the control unit 106, and is, for example, a liquid crystal display device.
  • the position detection unit 104 is a device that detects the current position of the information processing apparatus 100 using GPS (Global Positioning System) or the like.
  • the storage unit 105 stores a control program and various data.
  • the map information 105B is stored in the storage unit 105, but the map information 105B is data that is appropriately downloaded from the outside via the communication unit 101.
  • the storage capacity of the storage unit 105 is limited, only the map information 105B of the necessary area (for example, only the map information 105B including the work target area 41 together with the surrounding map) may be stored in the storage unit 105.
  • wide-area map information 105B such as a nationwide map may be stored in the storage unit 105.
  • the control unit 106 includes a microcomputer including a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. Then, when the CPU executes the control program stored in the storage unit 105, the control unit 106 functions as a position specifying unit that executes an installation position specifying process for specifying the installation position of the marker 2.
  • the information processing apparatus 100 has a configuration that a smartphone generally includes. For example, a microphone and a speaker that can input and output audio, and the surroundings can be imaged. It has a camera.
  • FIG. 3 is a flowchart showing the installation position specifying process.
  • the installation position specifying process acquires map information 105B including the work target area 41 in step S11, accepts input information for specifying the work target area 41 in step S12, and in step S13, The outline L1 of the work target area 41 is set, the installation position of the marker 2 is set based on the outline L1 in step S14, and the process of notifying the user of the installation position of the marker 2 is executed in step S15.
  • the steps S11 to S15 will be described more specifically.
  • step S ⁇ b> 11 the control unit 106 accepts input of a position corresponding to the work target area 41 to the user by display or audio output on the display unit 103, and detects the input position by the operation unit 102.
  • a map image including the determined position is displayed on the display unit 103.
  • an address is input as a position corresponding to the work target area 41
  • map information 105B corresponding to the address is downloaded via the communication unit 101, stored in the storage unit 105, and the map information 105B is used.
  • a map image of the address is displayed.
  • the communication unit 101 constitutes an information acquisition unit that acquires image information including the work target area 41.
  • FIG. 4 shows a display example of the map image acquired in step S11.
  • the outline of the work target area 41 is indicated by an imaginary line (two-dot chain line).
  • reference numeral 107 denotes a display screen of the information processing apparatus 100.
  • the display shown in FIG. 4 is a view of the work target area 41 as viewed from above including its periphery. Inside and outside of the work target area 41, trees (shown with reference numeral 42), buildings (reference numeral 43). And a pond (denoted by reference numeral 44). Moreover, the outline of the work target area 41 has an arc shape that curves along the pond near the pond.
  • the information on the tree 42, the building 43, and the pond 44 may include independent information for specifying the tree 42, the building 43, and the pond 44 in the map information 105B, or the map included in the map information 105B. You may detect from an image by image recognition.
  • the processing in step S11 is not limited to an address, and a known technique such as a method of inputting a position by latitude / longitude or a method of enlarging and displaying a target map from a wide area map by a user's manual operation. Widely applicable. Further, since the user usually knows in advance the area for mowing the grass, the location of the work target area 41 can be easily specified. In consideration of the possibility that the user is already in the work target area 41, the current position of the information processing apparatus 100 may be acquired by a known method, and map information around the acquired position may be acquired. Moreover, it is not necessary to limit to the structure which acquires the map information 105B via the communication part 101.
  • the information processing apparatus 100 may include a media reading unit (also referred to as a slot) that can read a recording medium, and obtain necessary map information 105B from the recording medium in the media reading unit.
  • the present invention uses the communication unit 101 to perform work.
  • a satellite photograph including the target area 41 may be acquired, and an image of the work target area 41 may be acquired from the satellite photograph and displayed.
  • an image drawn by the user using image software or the like may be input, and the input image may be displayed as an image including the work target area 41.
  • step S ⁇ b> 12 the control unit 106 accepts input of a plurality of positions located on the contour of the work target area 41 to the user by display on the display unit 103 or audio output.
  • step S ⁇ b> 13 the control unit 106 detects the plurality of input positions by the operation unit 102, calculates a line connecting the plurality of input positions, and uses the calculated line as the contour line L ⁇ b> 1 of the work target area 41.
  • the set contour line L1 is displayed on the display unit 103.
  • FIG. 5 shows a display example of the contour line L1 set in step S13.
  • the map information 105B including the work target area 41 is displayed with a plurality of positions input by the user (hereinafter denoted by reference symbol P1) and the contour line L1 being displayed in an overlapping manner. .
  • a method in which the user inputs by touching the touch panel can be applied.
  • other methods such as a method in which the user directly inputs the contour line L1 by tracing the touch panel may be applied.
  • the user may directly input the arc-shaped contour line L1A by tracing the touch panel or the like, or the position P1.
  • a deformation process for deforming the region corresponding to the portion X into the arc-shaped contour line L1A may be received. Further, by displaying the contour line L1 on the display screen 107 as shown in FIG. 5, it is possible to easily confirm whether or not the user can input the desired work target area 41.
  • step S ⁇ b> 14 the control unit 106 sets a main point PX and a subpoint PY that are the installation positions of the marker 2.
  • FIGS. 6A and 6B are diagrams for explaining the processing in step S14. As shown in FIG. 6 (A), the control unit 106 sets the principal point PX at a location where the contour line L1 bends, and as shown in FIG. 6 (B), the contour line L1 that connects the principal points PX. The sub-points PY arranged on the upper side are set. In FIG. 6 (A) and FIG. 6 (B), the pond 44 is displayed for convenience of explanation.
  • the principal point PX corresponds to a corner portion of the work target area 41 as shown in FIG. 6A by setting the bending angle of the contour line L1 to a position within a predetermined range (for example, an angle of 30 ° or more). Is set to the position where Further, as shown in FIG. 6B, the sub-point PY is set at a position where the interval between the adjacent markers 2 installed at the main point PX and the sub-point PY is within a predetermined interval.
  • the predetermined interval that defines the position of the sub-point PY is an interval in which the marker 2 can be recognized by the camera 21 at a distance that is greater than or equal to a predetermined value, and the adjacent marker 2 is within the visual field range of the camera 21. As a result, the adjacent markers 2 can be recognized from the captured image of the camera 21 with sufficient recognition accuracy.
  • the control unit 106 compares the set contour line L1 with the connecting line L2 that linearly connects the principal point PX and the subpoint PY, and the deviation between the contour line L1 and the connecting line L2 is equal to or greater than a predetermined value. In this case, a correction process for correcting the position of the sub-point PY is executed.
  • a line portion that does not overlap with the contour line L1 in the connecting line L2 is indicated by a one-dot chain line.
  • This connecting line L2 corresponds to an arc-shaped portion X that is curved along the pond 44 in the work target area 41, and as shown in FIG. 6B, the separation distance from the contour line L1 is a value LA, LB, LC, and LD.
  • FIGS. 7A and 7B are diagrams showing an example of the correction process.
  • FIG. 7B shows the same connecting line L2 as FIG. 6B, and FIG. A connecting line L2 is shown.
  • the distances LA, LB, and LC exceed a predetermined value that defines the deviation.
  • FIG. 7B a process for adding a new subpoint PY to a region whose separation distance corresponds to the values LA, LB, and LC, and the separation between the main point PX and the subpoint PY, and between the subpoints PY.
  • the separation distance values La, Lb, Lc, and Ld between the processed connecting line L2 and the contour line L1 are corrected to be less than a predetermined value.
  • the divergence between the connecting line L2 and the contour line L1 can be reduced, that is, the work target area 41 specified from the position of the marker 2 by the lawn mower 10 is more accurately represented by the work target area 41 set by the user. Can be defined.
  • the process for making the separation distances LA, LB, LC less than the predetermined value is not limited to both the process for adding the sub-point PY and the process for narrowing the separation distance between the points PX, PY. But you can.
  • FIG. 7B illustrates a case where the separation distances of the points PX and PY corresponding to the separation distances LA, LB, and LC are uniformly narrowed, it may not be evenly narrowed.
  • the determination of whether or not the deviation between the contour line L1 and the connection line L2 is equal to or greater than a predetermined value is not limited to the method of determining based on the above-described separation distance between the contour line L1 and the connection line L2.
  • the deviation between the contour line L1 and the connecting line L2 is predetermined. You may determine with a value or more.
  • the control unit 106 proceeds to the process of step S15 and displays an image for notifying the installation position on the display unit 103.
  • the user can easily specify the installation position by displaying an image showing the specified installation positions (positions of the main point PX and the subpoint PY) on the map image included in the map information.
  • the display of step S15 can apply arbitrary displays, if the installation position can be notified to the user who is not a specialized trader. Accordingly, the display unit 103 functions as a notification unit that notifies the installation position.
  • step S15 is not limited to notification using display, but may be notification using voice, or may be displayed or voiced on another device (for example, another information processing device such as a tablet carried by the user). This information may be transmitted, and the installation position may be displayed or voiced via another device.
  • another device for example, another information processing device such as a tablet carried by the user.
  • This information may be transmitted, and the installation position may be displayed or voiced via another device.
  • the above is the operation of the installation position specifying process.
  • the control unit 106 specifies the installation position of the marker 2 that is the installation object based on the input information specifying the work target area 41 from the user, and displays the display unit 103 or the like. Notify the installation position specified using. Thereby, even if it is not an expert, it becomes possible to know the installation position of the marker 2 easily, and it becomes possible to install the marker 2 easily. In this case, since the control unit 106 sets the contour line L1 of the work target area 41 and specifies the installation position of the marker 2 based on the contour line L1, the installation position of the marker 2 is matched to the contour of the work target area 41. Can be identified.
  • control unit 106 sets a principal point PX indicating a bending portion of the contour line L1 and a subpoint PY arranged at an interval on the contour line L1 connecting the principal points PX, and the principal point PX Since the marker 2 is set as the installation position of the marker 2, it is possible to avoid a situation where the actual work target area 41 is narrowed or expanded due to the marker 2 not being disposed at the position where the contour line L1 is bent. . Further, since the sub-point PY is set between the main points PX, the distance between the markers can be kept within a predetermined range.
  • the control unit 106 positions the adjacent markers 2 within the visual field range of the camera 21 at a distance that is greater than or equal to a predetermined value with respect to the accuracy with which the camera 21 used by the lawn mower 10 to detect the marker 2 can recognize the marker 2. Therefore, the distance between the markers 2 can be set appropriately according to the camera 21, and the lawn mower 10 can be prevented from moving outside the work target area 41 through the markers 2. Further, the control unit 106 compares the set contour line L1 with the connecting line L2 that linearly connects the principal point PX and the subpoint PY that are the installation positions of the identified marker 2, and the contour line L1 is compared with the contour line L1.
  • the display unit 103 displays an image showing the specified installation positions (positions of the main point PX and the sub-point PY) on the map image included in the map information 105B, so that the user can easily specify the installation position. It becomes easy to do.
  • the map information 105B is used, the current position using the position detection unit 104 provided in the information processing apparatus 100 can be easily displayed in the map image. In this case, for example, the installation position can be more easily displayed by displaying the installation position (positions of the main point PX and the subpoint PY) and the current position of the information processing apparatus 100 (corresponding to the user's position) on the map image. It becomes easy to specify.
  • a correction process for correcting the installation position of the marker 2 a process of making the deviation between the connecting line L2 and the contour line L1 connecting the specified installation positions of the marker 2 less than a predetermined value is performed.
  • the control unit 106 acquires information on at least one of the buildings 43 and the terrain inside and outside the work target area 41 from the map information 105B, and performs other correction processing for correcting the installation position of the marker 2 based on the acquired information. May be executed.
  • information that can specify the outline of the building 43 is acquired as the information of the building 43, and based on this information, the installation position of the marker 2 is set along the outline of the building 43 while avoiding the building 43.
  • At least one of the principal point PX and the subsidiary point PY may be automatically set.
  • the terrain information information that can specify at least one of the presence of the trees 42 and the pond 44 and at least one of the terrain such as a steep slope or a valley where the lawn mower 10 cannot travel is acquired, and based on this information While automatically avoiding at least one of the trees 42, the pond 44, the steep slope, and the valley, at least one of the main point PX and the sub-point PY that is the installation position of the marker 2 is automatically set along these circumferences. Also good. Also in this case, the tree 42 and the pond 44 may be specified by image recognition from the map image.
  • the threshold value used for judgment whether the outline L1 and the connection line L2 have deviated according to topographical information For example, when there is a divergence between the contour line L1 and the connecting line L2 in the vicinity of the pond 44, the threshold value is lowered and the installation position of the marker 2 is increased to suitably prevent the lawn mower 10 from falling on the pond 44. Also good.
  • FIG. 8 other input information for specifying the work unnecessary area 46 in the work target area 41 is received via the operation unit 102, and the control unit 106 does not need work based on the other input information.
  • An outline L3 of the area 46 may be set, and a process of specifying the main point PX and the subpoint PY that are the installation positions of the marker 2 based on the outline L3 may be performed. Thereby, it becomes easy to set the work unnecessary area 46.
  • the installation position notification system 1 may be configured to confirm whether or not the marker 2 is installed at the identified main point PX and subpoint PY.
  • the control unit 106 of the information processing apparatus 100 is based on the first process for causing the lawn mower 10 to confirm the position of the marker 2 based on the user's instruction and the confirmation result of the lawn mower 10. Then, the amount of deviation of the position of the marker 2 is specified, and a second process of displaying information about the specified amount of deviation by display or voice is executed.
  • the control unit 106 transmits a confirmation travel instruction to the lawn mower 10 by the communication unit 101.
  • the lawn mower 10 has a communication function for communicating with the lawn mower 10.
  • the communication method may be either wireless communication or wired communication, and the communication method is not limited.
  • the lawnmower 10 that has received the confirmation travel instruction drives the travel motor 15 based on the confirmation travel instruction under the control of the electrical unit 30 and starts traveling, and also identifies the position of the marker 2 by the camera 21. To start processing. In this case, the lawn mower 10 detects all the markers 2 arranged along the work target area 41 as much as possible by continuing traveling using the detected positions of the markers 2. During the confirmation running, it is preferable that the working unit driving motor 16 is not driven and no work (mowing the lawn) is performed.
  • the electrical unit 30 of the lawn mower 10 stops the lawn mower 10 and transmits information indicating the position of the specified marker 2 to the information processing apparatus 100 using the communication function.
  • the control unit 106 compares the position of the marker 2 specified by the lawn mower 10 with the main point PX and the subpoint PY specified by the installation position specifying process, and the position shift of the marker 2 is performed. The amount is calculated by calculation. And the control part 106 performs the process which notifies a user by a display or an audio
  • the present invention is not limited to the marker 2.
  • installations other than the marker 2 include a beacon and the like.
  • the marker 2 is not limited to one type, and a special marker that gives predetermined information to the lawn mower 10 may be installed.
  • the special marker include a station marker that indicates the position of the station that accommodates the lawn mower 10, a return direction marker that indicates the return direction, and a narrow path marker that indicates a narrow travel path. Which marker is to be arranged may be manually input by the user during the installation position specifying process, or the control unit 106 automatically installs any marker according to the work target area 41. May be set automatically.
  • the lawn mower 10 is provided with a configuration necessary for the installation position notification process, and the lawn mower 10 performs the installation position notification process. You may make it perform.
  • embodiment mentioned above demonstrated the case where the installation object which shows the work target area 41 was the marker 2, it is not limited to the marker 2.
  • FIG. Examples of installations other than the marker 2 include a beacon and the like. In the case of a beacon, a beacon receiver (corresponding to a sensor for detecting an installation) may be provided instead of the camera 21.
  • Installation position notification system 2 Marker (installed object) 10 Robotic lawn mower 21 Camera (sensor) 41 Work target area 42 Tree 43 Building 44 Pond 100 Information processing apparatus 101 Communication unit (information acquisition unit) 102 Operation part (input part) 103 Display section (notification section) 104 position detection unit 105 storage unit 105A control program 105B map information 106 control unit (position specifying unit) L1, L1A Contour line L2 Connection line PX Principal point PY Subpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Harvester Elements (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

より手軽にマーカ等の設置物を設置可能にする。　設置位置通知システム１は、ユーザからの作業対象エリア４１を特定する入力情報に基づいてマーカ２の設置位置となる主点ＰＸ及び副点ＰＹを特定し、特定された主点ＰＸ及び副点ＰＹをマーカ２の設置位置として通知する。

Description

設置位置通知システム
　本発明は、作業対象エリアを示す設置物の設置位置を通知する設置位置通知システムに関する。
　作業対象エリアを自律走行する自律走行作業機には、作業対象エリアに沿って設置されたマーカ等の設置物を認識することで、作業対象エリアを走行するものがある（例えば、特許文献１参照）。
特開２０１７－１５８５３２号公報
　しかし、マーカの設置位置には正確性が求められるので、設置作業は専門の業者等が行っている。そのため、設置作業に費用がかかるとともに、業者との日程調整等の不便がある。
　そこで、より手軽にマーカ等の設置物を設置可能にすることを目的とする。
　上記目的を達成するために、本発明は、自律走行作業機の作業対象エリアを示す設置物の設置位置を通知する設置位置通知システムであって、前記作業対象エリアを含む画像情報を取得する情報取得部と、前記画像情報に対応する入力情報であって、前記作業対象エリアを特定する入力情報を受け付ける入力部と、前記入力情報に基づいて前記設置物の設置位置を特定する位置特定部と、特定された設置位置を通知する通知部とを備えることを特徴とする。
　上記構成において、前記位置特定部は、前記入力情報に基づいて前記作業対象エリアの輪郭線を設定し、前記輪郭線に基づいて前記設置物の設置位置を特定することを特徴とする。
　上記構成において、前記位置特定部は、前記輪郭線の屈曲する箇所を示す主点と、前記主点間をつなぐ前記輪郭線上に間隔を空けて配置される副点とを設定し、前記主点及び副点を、前記設置物の設置位置とすることを特徴とする。
　上記構成において、前記位置特定部は、隣り合う設置物が、前記自律走行作業機が前記設置物の検出に使用するカメラで前記設置物を認識できる精度が所定値以上の距離で、前記カメラの視野範囲に収まる位置に、前記副点を設定することを特徴とする。
　上記構成において、前記位置特定部は、設定された前記輪郭線と、特定された前記設置物の設置位置を直線的に連結する連結線とを比較し、前記輪郭線と前記連結線との乖離が所定値以上の場合、前記設置物の設置位置を修正する修正処理を実行し、前記通知部は、修正された設置位置を通知することを特徴とする。
　上記構成において、前記入力部は、前記作業対象エリア内の作業不要エリアを特定する他の入力情報を受け付け、前記位置特定部は、前記他の入力情報に基づいて、前記作業不要エリアの輪郭線を設定し、その輪郭線に基づいて前記設置物の設置位置を特定することを特徴とする。
　上記構成において、前記位置特定部は、前記画像情報から建物及び地形の少なくともいずれかの情報を取得し、取得した前記情報に基づいて前記設置物の設置位置を修正する他の修正処理も実行することを特徴とする。
　上記構成において、前記自律走行作業機に、前記設置物の位置を確認させる確認走行を実行させる処理と、前記自律走行作業機の確認結果に基づいて前記設置物の位置のずれ量を特定し、前記ずれ量に関する情報を前記通知部に通知させる処理とを実行する制御部を備えることを特徴とする。
　上記構成において、前記画像情報は、地図情報であり、前記通知部は、前記地図情報に含まれる地図画像に、特定された前記設置位置を示した画像を表示することを特徴とする。
　本発明は、作業対象エリアを含む画像情報を取得する情報取得部と、前記画像情報に対応する入力情報であって、前記作業対象エリアを特定する入力情報を受け付ける入力部と、前記入力情報に基づいて前記設置物の設置位置を特定する位置特定部と、特定された設置位置を通知する通知部とを備えるので、専門の業者でなくても設置物の設置位置を容易に知ることが可能になり、手軽に設置物を設置することが可能になる。
図１は、設置位置通知システムをロボット芝刈機と共に示す図である。 図２は、情報処理装置のブロック図である。 図３は、設置位置特定処理を示すフローチャートである。 図４は、ステップＳ１１により取得した地図画像の表示例を示す図である。 図５は、ステップＳ１３により設定した輪郭線の表示例を示す図である。 図６（Ａ）は、ステップＳ１４の主点の設定を説明する図であり、図６（Ｂ）は、ステップＳ１４の副点の設定を説明する図である。 図７（Ａ）は、修正前の輪郭線Ｌ１Ａを示す図であり、図７（Ｂ）は、修正後の輪郭線Ｌ１Ａを示す図である。 図８は、作業不要エリアの設定の説明に供する図である。
　以下、図面を参照して本発明の実施の形態について説明する。
　図１は本発明の実施形態に係る設置位置通知システムをロボット芝刈機と共に示す図である。
　設置位置通知システム１は、ロボット芝刈機１０に芝刈りエリアである作業対象エリア（以下、符号４１を付して表記する）を示すマーカ２の設置位置を通知するシステムであり、マーカ２を設置する者（以下、ユーザと言う）が使用する情報処理装置１００を備えている。
　ロボット芝刈機１０は、作業対象エリア４１を自律走行することによって、作業対象エリア４１内の芝を刈る自律走行作業機であり、以下、芝刈機１０と表記する。
　芝刈機１０は、ハウジング１１と、ハウジング１１の前部に設けられた左右の前輪１２と、ハウジング１１の後部に設けられた左右の後輪１３と、ハウジング１１の中央の下部に設けられた作業部１４とを備えている。作業部１４は、刈刃が設けられた刈刃ディスクであり、刈刃ディスクが回転駆動されることによって芝を刈ることができる。
　芝刈機１０は、ハウジング１１内に、左右の後輪１３を個別に駆動する左右の走行用モータ１５と、作業部１４を駆動する作業部駆動用モータ１６と、芝刈機１０の各部に動作電力を供給するバッテリ１７と、駆動輪である左右の後輪１３の回転速度を検出する車輪速センサ１８と、電装ユニット３０とを備えている。
　さらに、芝刈機１０は、設置物の検出に使用するセンサとして、カメラ２１を備えている。カメラ２１は一台でも複数台でもよく、例えば、２台のカメラからなるステレオカメラでもよい。
　芝刈機１０は、電装ユニット３０の制御の下、カメラ２１の撮像画像を画像解析して撮像画像中のマーカ２を抽出し、マーカ２の位置を特定する機能と、マーカ２の位置に基づいて作業対象エリア４１を認識する機能と、認識した作業対象エリア４１を走行して作業（芝刈り）を行う機能とを有している。マーカ２は、作業前にユーザ等によって作業対象エリア４１の境界に沿って設置される設置物であり、図１にはマーカ２の一例を示している。
　本実施形態の芝刈機１０は、カメラ２１でマーカ２を検出し、マーカ２とマーカ２とを直線的に連結するバーチャルワイヤを設定し、このバーチャルワイヤからはみ出ないように走行して作業を行う。なお、芝刈機１０の上記各機能は、ＧＰＳ（Global Positioning System）等を利用した公知の位置検出機能、及び、背景技術に記述した特開２０１７－１５８５３２号公報等に記載の公知の技術を広く適用可能である。
　情報処理装置１００は、ユーザが見る画像を表示したり、ユーザ指示を入力したりすることが可能な装置であり、ユーザが携帯可能な携帯型情報処理装置、及びパーソナルコンピュータ等の公知の装置を広く適用可能である。本実施形態の情報処理装置１００は、携帯型情報処理装置の１つであるスマートフォンである。
　図２は情報処理装置１００のブロック図である。
　情報処理装置１００は、通信部１０１と、操作部１０２と、表示部１０３と、位置検出部１０４と、記憶部１０５と、制御部１０６とを備えている。これらのうち、一般的なスマートフォンと特に異なる点は、この設置位置通知システムに対応した制御プログラム１０５Ａが記憶部１０５に記憶される点である。この制御プログラムは、ユーザによってインストールされたプログラム、又は、情報処理装置１００に予めインストールされたプログラムのいずれでもよい。
　通信部１０１は、インターネットを介したデータ通信、近距離無線通信及び電話を行うための通信機能を備えている。操作部１０２は、ユーザから各種の入力情報を入力する入力デバイス（入力部に相当）であり、例えば、操作ボタンやタッチパネルを備えているで。表示部１０３は、制御部１０６の制御の下、各種の情報を表示する表示デバイスであり、例えば液晶表示装置である。
　位置検出部１０４は、ＧＰＳ（Global Positioning System）等を利用して情報処理装置１００の現在位置を検出するデバイスである。
　記憶部１０５は、制御プログラム及び各種のデータを記憶する。なお、図２には地図情報１０５Ｂを記憶部１０５に記憶しているが、この地図情報１０５Ｂは、通信部１０１を介して外部から適宜にダウンロードされるデータである。なお、記憶部１０５の記憶容量が制限される場合、必要なエリアの地図情報１０５Ｂだけ（例えば、作業対象エリア４１を周辺地図と共に含む地図情報１０５Ｂだけ）を記憶部１０５に記憶してもよい。一方、記憶部１０５の記憶容量に余裕がある場合、全国地図等の広域の地図情報１０５Ｂを記憶部１０５に記憶してもよい。
　制御部１０６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等からなるマイクロコンピュータで構成される。そして、ＣＰＵが記憶部１０５に記憶された制御プログラムを実行することによって、制御部１０６はマーカ２の設置位置を特定する設置位置特定処理を実行する位置特定部等として機能する。
　なお、情報処理装置１００は、図２に示した構成以外にも、スマートフォンが一般的に備える構成を備えており、例えば、音声の入出力を可能にするマイク及びスピーカ、及び周囲を撮像可能なカメラ等を備えている。
　図３は設置位置特定処理を示すフローチャートである。
　図３に示すように、設置位置特定処理は、ステップＳ１１において、作業対象エリア４１を含む地図情報１０５Ｂを取得し、ステップＳ１２において、作業対象エリア４１を特定する入力情報を受け付け、ステップＳ１３において、作業対象エリア４１の輪郭線Ｌ１を設定し、ステップＳ１４において、輪郭線Ｌ１に基づいてマーカ２の設置位置を設定し、ステップＳ１５において、マーカ２の設置位置をユーザに通知する処理とを実行する。以下、各ステップＳ１１～Ｓ１５についてより具体的に説明する。
　ステップＳ１１において、制御部１０６は、表示部１０３への表示又は音声出力により、ユーザに対し、作業対象エリア４１に対応する位置の入力を受け付け、入力された位置を操作部１０２によって検出し、入力された位置を含む地図画像を表示部１０３に表示する。例えば、作業対象エリア４１に対応する位置として、住所が入力され、その住所に対応する地図情報１０５Ｂが通信部１０１を介してダウンロードされて記憶部１０５に記憶され、その地図情報１０５Ｂを利用してその住所の地図画像が表示される。なお、入力された住所に対応する地図情報１０５Ｂが記憶部１０５に記憶されている場合、記憶されている地図情報１０５Ｂを利用してその住所の地図画像が表示される。
　このようにして、通信部１０１により、作業対象エリア４１を含む画像情報を取得する情報取得部が構成される。
　図４はステップＳ１１により取得した地図画像の表示例を示している。図４には、説明の便宜上、作業対象エリア４１の輪郭を想像線（二点鎖線）で示している。また、図４中、符号１０７は、情報処理装置１００の表示画面である。
　図４に示す表示は、作業対象エリア４１をその周辺を含めて上方から見た図であり、作業対象エリア４１の内外には、木（符号４２を付して示す）、建物（符号４３を付して示す）、池（符号４４を付して示す）が存在する場合を示している。また、作業対象エリア４１の輪郭は、池の傍では池に沿って湾曲する円弧状となっている。
　ここで、木４２、建物４３及び池４４の情報は、地図情報１０５Ｂに、木４２、建物４３及び池４４を特定する独立した情報が含まれていてもよいし、地図情報１０５Ｂに含まれる地図画像から画像認識により検出してもよい。
　なお、ステップＳ１１の処理は、住所に限定されず、緯度・経度等によって位置を入力する方法、又は、ユーザの手動操作によって広いエリアの地図から目的の地図を拡大表示させる方法といった公知の技術を広く適用可能である。また、ユーザは、芝を刈るエリアを事前に知っていることが通常であるので、作業対象エリア４１の場所を容易に指定可能である。また、ユーザは既に作業対象エリア４１に居る可能性があることを考慮し、情報処理装置１００の現在位置を公知の方法で取得し、取得した位置の周辺の地図情報を取得してもよい。
　また、通信部１０１を介して地図情報１０５Ｂを取得する構成に限定しなくてもよい。例えば、情報処理装置１００が記録メディアを読み取り自在なメディア読取部（スロットとも称する）を備え、そのメディア読取部内の記録メディアから必要な地図情報１０５Ｂを取得してもよい。
　また、本実施形態では、地図情報１０５Ｂを取得して作業対象エリア４１を含む画像を表示する場合を説明したが、これに限定されず、制御部１０６が、通信部１０１を利用して、作業対象エリア４１を含む衛星写真を取得し、衛星写真から作業対象エリア４１の画像を取得して表示してもよい。また、ユーザが画像ソフト等を利用して描いた画像を入力し、この入力した画像を、作業対象エリア４１を含む画像として表示するようにしてもよい。
　ステップＳ１２において、制御部１０６は、表示部１０３への表示又は音声出力により、ユーザに対し、作業対象エリア４１の輪郭上に位置する複数の位置の入力を受け付ける。ステップＳ１３において、制御部１０６は、入力された複数の位置を操作部１０２によって検出し、入力された複数の位置をつなぐ線を算出し、この算出した線を、作業対象エリア４１の輪郭線Ｌ１に設定し、設定した輪郭線Ｌ１を表示部１０３に表示する。
　図５はステップＳ１３により設定した輪郭線Ｌ１の表示例を示している。図５では、作業対象エリア４１を含む地図情報１０５Ｂに、ユーザによって入力された複数の位置（以下、符号Ｐ１を付して示す）と、輪郭線Ｌ１とを重ねて表示した場合を示している。
　複数の位置Ｐ１は、例えば、ユーザがタッチパネルをタッチ操作して入力する方法を適用可能である。また、複数の位置Ｐ１を入力する方法に代えて、或いは、その方法に加えて、ユーザがタッチパネルをなぞって輪郭線Ｌ１を直接入力する方法等の他の方法を適用してもよい。例えば、池４４に沿って湾曲する円弧状の部分Ｘ（図５参照）では、ユーザがタッチパネルをなぞる等して円弧状の輪郭線Ｌ１Ａを直接入力するようにしてもよいし、或いは、位置Ｐ１を直線でつないだ輪郭線Ｌ１を形成した後に、部分Ｘに対応する領域を円弧状の輪郭線Ｌ１Ａに変形させる変形処理を受け付けるようにしてもよい。
　また、図５に示すように表示画面１０７に輪郭線Ｌ１を表示することで、ユーザが所望の作業対象エリア４１を入力できたか否かを容易に確認可能である。
　ステップＳ１４において、制御部１０６は、マーカ２の設置位置となる主点ＰＸ及び副点ＰＹを設定する。図６（Ａ）及び図６（Ｂ）はステップＳ１４の処理の説明に供する図である。
　制御部１０６は、図６（Ａ）に示すように、輪郭線Ｌ１の屈曲する箇所に主点ＰＸを設定するとともに、図６（Ｂ）に示すように、主点ＰＸ間をつなぐ輪郭線Ｌ１上に間隔を空けて配置される副点ＰＹを設定する。図６（Ａ）及び図６（Ｂ）には、説明の便宜上、池４４を表示している。
　主点ＰＸは、輪郭線Ｌ１の屈曲角度が所定範囲（例えば３０°以上の角度）の位置に設定されることによって、図６（Ａ）に示すように、作業対象エリア４１の角部に相当する位置に設定される。また、副点ＰＹは、図６（Ｂ）に示すように、主点ＰＸ及び副点ＰＹに設置されて隣り合うマーカ２の間隔を所定の間隔内にする位置に設定される。副点ＰＹの位置を規定する所定の間隔は、カメラ２１でマーカ２を認識できる精度が所定値以上の距離で、カメラ２１の視野範囲内に隣り合うマーカ２が収まる間隔とされる。これによって、隣り合うマーカ２をカメラ２１の撮像画像から十分な認識精度で認識可能になる。
　次いで、制御部１０６は、設定された輪郭線Ｌ１と、主点ＰＸ及び副点ＰＹを直線的に連結する連結線Ｌ２とを比較し、輪郭線Ｌ１と連結線Ｌ２との乖離が所定値以上の場合、副点ＰＹの位置を修正する修正処理を実行する。
　ここで、図６（Ｂ）には、連結線Ｌ２のうち、輪郭線Ｌ１と重ならない線部分を一点鎖線で示している。この連結線Ｌ２は、作業対象エリア４１のうち池４４に沿って湾曲する円弧状の部分Ｘに相当し、同図６（Ｂ）に示すように、輪郭線Ｌ１との離間距離が値ＬＡ、ＬＢ、ＬＣ、ＬＤとなっている。
　図７（Ａ）及び図７（Ｂ）は修正処理の一例を示す図であり、図７（Ｂ）は図６（Ｂ）と同じ連結線Ｌ２を示し、図７（Ｂ）は修正後の連結線Ｌ２を示している。
　図７（Ａ）では、離間距離が値ＬＡ、ＬＢ、ＬＣ、ＬＤのうち、値ＬＡ、ＬＢ、ＬＣが、上記乖離を規定する所定値を超えている。図７（Ｂ）では、離間距離が値ＬＡ、ＬＢ、ＬＣに対応する領域に対し、新たな副点ＰＹを追加する処理と、主点ＰＸと副点ＰＹ間、及び副点ＰＹ間の離間距離を狭くする処理とを実行することによって、処理後の連結線Ｌ２と輪郭線Ｌ１との離間距離の値Ｌａ、Ｌｂ、Ｌｃ、Ｌｄを所定値未満に修正している。これによって、連結線Ｌ２と輪郭線Ｌ１との乖離を小さくすることができ、つまり、芝刈機１０によってマーカ２の位置から特定される作業対象エリア４１を、ユーザが設定した作業対象エリア４１により正確に定義することができる。
　なお、上記離間距離ＬＡ、ＬＢ、ＬＣを所定値未満にする処理は、副点ＰＹを追加する処理と、各点ＰＸ、ＰＹの離間距離を狭くする処理の両方に限定されず、いずれか一方でもよい。また、図７（Ｂ）では、離間距離ＬＡ、ＬＢ、ＬＣに対応する各点ＰＸ、ＰＹの離間距離を均等に狭くする場合を例示したが、均等に狭くしなくてもよい。
　輪郭線Ｌ１と連結線Ｌ２との乖離が所定値以上か否かの判定は、上述した輪郭線Ｌ１と連結線Ｌ２との離間距離に基づいて判定する方法に限定されない。例えば、例えば、輪郭線Ｌ１と連結線Ｌ２との間の面積を計算し、計算した面積が上記乖離を規定する所定値を超えている場合に、輪郭線Ｌ１と連結線Ｌ２との乖離が所定値以上と判定してもよい。
　ステップＳ１４の処理によって、マーカ２の設置位置となる主点ＰＸ及び副点ＰＹを設定すると、制御部１０６は、ステップＳ１５の処理に移行し、設置位置を通知する画像を表示部１０３に表示する。この場合、地図情報に含まれる地図画像に、特定された設置位置（主点ＰＸ及び副点ＰＹの位置）を示した画像を表示することによって、ユーザが設置位置を容易に特定できる。
　なお、ステップＳ１５の表示は、専門の業者でないユーザに設置位置を通知可能であれば、任意の表示を適用可能である。これによって、表示部１０３は、設置位置を通知する通知部として機能する。
　また、ステップＳ１５の処理は、表示を利用した通知に限定されず、音声を利用した通知でもよいし、他の装置（例えば、ユーザが携帯するタブレット等の他の情報処理装置）に表示又は音声の情報を送信し、他の装置を介して設置位置を表示又は音声で通知するようにしてもよい。以上が設置位置特定処理の動作である。
　以上説明したように、本実施の形態では、制御部１０６が、ユーザからの作業対象エリア４１を特定する入力情報に基づいて設置物であるマーカ２の設置位置を特定し、表示部１０３等を利用して特定された設置位置を通知する。これにより、専門の業者でなくてもマーカ２の設置位置を容易に知ることが可能になり、手軽にマーカ２を設置することが可能になる。この場合、制御部１０６は、作業対象エリア４１の輪郭線Ｌ１を設定し、輪郭線Ｌ１に基づいてマーカ２の設置位置を特定するので、作業対象エリア４１の輪郭に合わせてマーカ２の設置位置を特定できる。
　また、制御部１０６は、輪郭線Ｌ１の屈曲する箇所を示す主点ＰＸと、主点ＰＸ間をつなぐ輪郭線Ｌ１上に間隔を空けて配置される副点ＰＹとを設定し、主点ＰＸ及び副点ＰＹを、マーカ２の設置位置とするので、輪郭線Ｌ１の屈曲する箇所にマーカ２が配置されないことによって実際の作業対象エリア４１が狭まってしまったり拡がってしまったりする事態を回避できる。また、主点ＰＸ間に副点ＰＹを設定するので、マーカの離間距離を所定範囲内に収めることができる。
　この場合、制御部１０６は、隣り合うマーカ２が、芝刈機１０がマーカ２の検出に使用するカメラ２１でマーカ２を認識できる精度が所定値以上の距離で、カメラ２１の視野範囲に収まる位置に副点ＰＹを設定するので、カメラ２１に合わせてマーカ２の離間距離を適正に設定でき、芝刈機１０がマーカ２間を通って作業対象エリア４１外に移動することを防止できる。
　また、制御部１０６は、設定された輪郭線Ｌ１と、特定されたマーカ２の設置位置である主点ＰＸ及び副点ＰＹを直線的に連結する連結線Ｌ２とを比較し、輪郭線Ｌ１と連結線Ｌ２との乖離が所定値以上の場合、マーカ２の設置位置を修正する修正処理を実行し、表示部１０３等に、修正された設置位置を通知する。これにより、マーカ２によって作業対象エリア４１をより正確に定義できる。
　また、表示部１０３は、地図情報１０５Ｂに含まれる地図画像に、特定された設置位置（主点ＰＸ及び副点ＰＹの位置）を示した画像を表示するので、ユーザが設置位置を容易に特定し易くなる。また、地図情報１０５Ｂを利用するので、情報処理装置１００が備える位置検出部１０４を利用した現在位置を、地図画像中に容易に表示することも可能である。この場合、例えば、地図画像に、設置位置（主点ＰＸ及び副点ＰＹの位置）と、情報処理装置１００の現在位置（ユーザの位置に相当）とを表示することで、設置位置をより容易に特定し易くなる。
　なお、上述の実施形態では、マーカ２の設置位置を修正する修正処理として、特定されたマーカ２の設置位置を連結する連結線Ｌ２と輪郭線Ｌ１との乖離を所定値未満にする処理を行う場合を説明したが、これに限定されない。例えば、制御部１０６が、地図情報１０５Ｂから作業対象エリア４１内外の建物４３及び地形の少なくともいずれかの情報を取得し、取得した情報に基づいてマーカ２の設置位置を修正する他の修正処理を実行してもよい。
　具体的には、建物４３の情報として、建物４３の輪郭を特定可能な情報を取得し、この情報に基づいて、建物４３を避けつつ、建物４３の輪郭に沿ってマーカ２の設置位置となる主点ＰＸ及び副点ＰＹの少なくともいずれかを自動的に設定してもよい。なお、地図画像から画像認識によって建物を特定してもよい。
　また、地形の情報として、木４２や池４４の存在、及び、芝刈機１０が走行不能な急傾斜又は谷等の地形の少なくもいずれかを特定可能な情報を取得し、この情報に基づいて、木４２、池４４、急傾斜地及び谷地の少なくともいずれかを避けつつ、これらの周囲に沿ってマーカ２の設置位置となる主点ＰＸ及び副点ＰＹの少なくともいずれかを自動的に設定してもよい。この場合も、地図画像から画像認識によって、木４２及び池４４等を特定してもよい。
　他の修正処理によれば、作業対象エリア４１を建物や地形に合わせて自動的に設定することが可能となり、専門知識を持たないユーザであっても適切な作業対象エリア４１を設定し易くなる。また、輪郭線Ｌ１と連結線Ｌ２が乖離しているか否かの判断に用いる閾値を、地形情報に応じて変更してもよい。例えば、池４４近傍で輪郭線Ｌ１と連結線Ｌ２との乖離がある場合には、池４４に芝刈機１０が落ちることを好適に防止すべく、閾値を下げてマーカ２の設置位置を増やしてもよい。
　さらに、図８に示すように、作業対象エリア４１内の作業不要エリア４６を特定する他の入力情報を操作部１０２を介して受け付け、制御部１０６が、他の入力情報に基づいて、作業不要エリア４６の輪郭線Ｌ３を設定し、その輪郭線Ｌ３に基づいてマーカ２の設置位置となる主点ＰＸ及び副点ＰＹを特定する処理を行うようにしてもよい。これにより、作業不要エリア４６を設定し易くなる。
　ところで、設置位置特定処理によって主点ＰＸ及び副点ＰＹを特定しても、誤って主点ＰＸ及び副点ＰＹとは異なる位置にマーカ２が設置される可能性もある。そこで、この設置位置通知システム１が、特定された主点ＰＸ及び副点ＰＹにマーカ２が設置されたか否かを確認する構成を備えるようにしてもよい。
　この場合、情報処理装置１００の制御部１０６は、ユーザの指示に基づいて、芝刈機１０にマーカ２の位置を確認させる確認走行を実行させる第１の処理と、芝刈機１０の確認結果に基づいてマーカ２の位置のずれ量を特定し、特定したずれ量に関する情報を表示又は音声により通知させる第２の処理とを実行する。
　第１の処理は、例えば、制御部１０６が、通信部１０１により芝刈機１０に確認走行の指示を送信する。なお、第１及び第２の処理を行う場合、芝刈機１０は、芝刈機１０と通信する通信機能を有しているものとする。なお、通信方法は、無線通信又は有線通信のいずれでもよく、通信方式も限定されない。
　確認走行の指示を受信した芝刈機１０は、電装ユニット３０の制御の下、確認走行の指示に基づいて走行用モータ１５を駆動して走行を開始すると共に、カメラ２１によりマーカ２の位置を特定する処理とを開始する。この場合、芝刈機１０は、検出したマーカ２の位置を利用して走行を継続することによって、作業対象エリア４１に沿って配置された全てのマーカ２を可及的に検出する。なお、この確認走行の間、作業部駆動用モータ１６は駆動せず、作業（芝刈り）は行わないことが好ましい。
　マーカ２の位置の特定が終了すると、芝刈機１０の電装ユニット３０は、芝刈機１０を停止させると共に、通信機能を利用して、特定したマーカ２の位置を示す情報を情報処理装置１００に送信する。情報処理装置１００において、制御部１０６は、芝刈機１０にて特定されたマーカ２の位置と、設置位置特定処理によって特定した主点ＰＸ及び副点ＰＹとを比較し、マーカ２の位置のずれ量を演算により算出する。そして、制御部１０６は、マーカ２の位置のずれ量が予め定めた許容範囲を超えるものについて、表示又は音声によりユーザに通知する処理を行う。
　これによって、特定された主点ＰＸ及び副点ＰＹにマーカ２が設置されていない場合、マーカ２の移動や、マーカ２の追加等を促すことが可能になる。
　上述した実施形態では、作業対象エリア４１を示す設置物がマーカ２の場合を説明したが、マーカ２に限定されない。マーカ２以外の設置物としては、例えば、ビーコン等が挙げられる。また、マーカ２についても、一種類に限定されず、芝刈機１０に所定の情報を付与する特別なマーカを設置するようにしてもよい。特別なマーカは、例えば、芝刈機１０を収容するステーションの位置を示すステーションマーカ、帰還方向を示す帰還方向マーカ、又は狭い走行路であることを示す挟路マーカ等が挙げられる。いずれのマーカを配置するかは、設置位置特定処理中に、ユーザが手動で入力するようにしてもよいし、作業対象エリア４１に応じて制御部１０６が自動的にいずれかのマーカを設置するかを自動的に設定するようにしてもよい。
　また、上述の実施形態では、情報処理装置１００が設置位置通知処理を行う場合を説明したが、芝刈機１０に、設置位置通知処理に必要な構成を設け、芝刈機１０が設置位置通知処理を行うようにしてもよい。
　また、上述した実施形態では、作業対象エリア４１を示す設置物がマーカ２の場合を説明したが、マーカ２に限定されない。マーカ２以外の設置物としては、例えば、ビーコン等が挙げられる。なお、ビーコンの場合、カメラ２１に代えてビーコン受信機（設置物を検出するセンサに相当）を設けるようにしてもよい。
　また、芝刈機１０に関する設置位置通知システム１に本発明を適用する場合を説明したが、これに限定されず、芝刈機１０以外も含む自律走行作業機に関する設置位置通知システムに本発明を適用してもよい。また、上述の実施形態は、あくまでも本発明の一実施の態様であり、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
　１　設置位置通知システム
　２　マーカ（設置物）
　１０　ロボット芝刈機
　２１　カメラ（センサ）
　４１　作業対象エリア
　４２　木
　４３　建物
　４４　池
　１００　情報処理装置
　１０１　通信部（情報取得部）
　１０２　操作部（入力部）
　１０３　表示部（通知部）
　１０４　位置検出部
　１０５　記憶部
　１０５Ａ　制御プログラム
　１０５Ｂ　地図情報
　１０６　制御部（位置特定部）
　Ｌ１、Ｌ１Ａ　輪郭線
　Ｌ２　連結線
　ＰＸ　主点
　ＰＹ　副点

Claims (9)

  1. 　自律走行作業機の作業対象エリアを示す設置物の設置位置を通知する設置位置通知システムであって、
    　前記作業対象エリアを含む画像情報を取得する情報取得部と、
    　前記画像情報に対応する入力情報であって、前記作業対象エリアを特定する入力情報を受け付ける入力部と、
    　前記入力情報に基づいて前記設置物の設置位置を特定する位置特定部と、
    　特定された設置位置を通知する通知部と
    　を備えることを特徴とする設置位置通知システム。
  2. 　前記位置特定部は、前記入力情報に基づいて前記作業対象エリアの輪郭線を設定し、前記輪郭線に基づいて前記設置物の設置位置を特定することを特徴とする請求項１に記載の設置位置通知システム。
  3. 　前記位置特定部は、前記輪郭線の屈曲する箇所を示す主点と、前記主点間をつなぐ前記輪郭線上に間隔を空けて配置される副点とを設定し、前記主点及び副点を、前記設置物の設置位置とすることを特徴とする請求項２に記載の設置位置通知システム。
  4. 　前記位置特定部は、隣り合う設置物が、前記自律走行作業機が前記設置物の検出に使用するカメラで前記設置物を認識できる精度が所定値以上の距離で、前記カメラの視野範囲に収まる位置に、前記副点を設定することを特徴とする請求項３に記載の設置位置通知システム。
  5. 　前記位置特定部は、設定された前記輪郭線と、特定された前記設置物の設置位置を直線的に連結する連結線とを比較し、前記輪郭線と前記連結線との乖離が所定値以上の場合、前記設置物の設置位置を修正する修正処理を実行し、
    　前記通知部は、修正された設置位置を通知することを特徴とする請求項２から４のいずれか一項に記載の設置位置通知システム。
  6. 　前記入力部は、前記作業対象エリア内の作業不要エリアを特定する他の入力情報を受け付け、
    　前記位置特定部は、前記他の入力情報に基づいて、前記作業不要エリアの輪郭線を設定し、その輪郭線に基づいて前記設置物の設置位置を特定することを特徴とする請求項２から５のいずれか一項に記載の設置位置通知システム。
  7. 　前記位置特定部は、前記画像情報から建物及び地形の少なくともいずれかの情報を取得し、取得した前記情報に基づいて前記設置物の設置位置を修正する修正処理を実行することを特徴とする請求項１から６のいずれか一項に記載の設置位置通知システム。
  8. 　前記自律走行作業機に、前記設置物の位置を確認させる確認走行を実行させる処理と、前記自律走行作業機の確認結果に基づいて前記設置物の位置のずれ量を特定し、前記ずれ量に関する情報を前記通知部に通知させる処理とを実行する制御部を備えることを特徴とする請求項１から７のいずれか一項に記載の設置位置通知システム。
  9. 　前記画像情報は、地図情報であり、
    　前記通知部は、前記地図情報に含まれる地図画像に、特定された前記設置位置を示した画像を表示することを特徴とする請求項１から８のいずれか一項に記載の設置位置通知システム。
PCT/JP2018/011849 2018-03-23 2018-03-23 設置位置通知システム WO2019180950A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/011849 WO2019180950A1 (ja) 2018-03-23 2018-03-23 設置位置通知システム
JP2020507273A JP6924326B2 (ja) 2018-03-23 2018-03-23 設置位置通知システム
EP18910642.0A EP3769598B1 (en) 2018-03-23 2018-03-23 Placement position notification system
US16/982,166 US20210027489A1 (en) 2018-03-23 2018-03-23 Placement position notification system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011849 WO2019180950A1 (ja) 2018-03-23 2018-03-23 設置位置通知システム

Publications (1)

Publication Number Publication Date
WO2019180950A1 true WO2019180950A1 (ja) 2019-09-26

Family

ID=67988410

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011849 WO2019180950A1 (ja) 2018-03-23 2018-03-23 設置位置通知システム

Country Status (4)

Country Link
US (1) US20210027489A1 (ja)
EP (1) EP3769598B1 (ja)
JP (1) JP6924326B2 (ja)
WO (1) WO2019180950A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038852A1 (en) * 2022-08-16 2024-02-22 Kubota Corporation Autonomous operating zone setup for a working vehicle or other working machine

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4006681A4 (en) * 2019-07-23 2022-11-16 Honda Motor Co., Ltd. AUTONOMOUS WORK MACHINE, CONTROL DEVICE, METHOD FOR CONTROLLING AN AUTONOMOUS WORK MACHINE, METHOD FOR OPERATING A CONTROL DEVICE, AND PROGRAM

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021624A (ja) * 2012-07-13 2014-02-03 Sharp Corp 自律走行装置、及び自律走行システム
US20160113195A1 (en) * 2014-10-28 2016-04-28 Deere & Company Robotic mower navigation system
JP5944473B2 (ja) * 2014-11-25 2016-07-05 シャープ株式会社 移動型作業車およびその制御装置
JP2017158532A (ja) 2016-03-03 2017-09-14 株式会社リコー 農作業用装置および農作業用装置の制御方法
JP2017181408A (ja) * 2016-03-31 2017-10-05 本田技研工業株式会社 芝刈機用の標識装置
JP6289603B2 (ja) * 2014-07-04 2018-03-07 マミヤ・オーピー株式会社 作業機械、作業機械の走行経路生成、走行経路への進入可否判定、走行経路自動選択のためのシステム、方法、プログラム、プログラムを記録した記録媒体、作業機械の走行制御システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6240384B2 (ja) * 2012-11-29 2017-11-29 ヤンマー株式会社 自律走行作業システム
US9375842B2 (en) * 2014-05-15 2016-06-28 Irobot Corporation Autonomous mobile robot confinement system
WO2016103070A1 (en) * 2014-12-22 2016-06-30 Husqvarna Ab Area exclusion for operation of a robotic vehicle
DE102015222390A1 (de) * 2015-11-13 2017-05-18 Robert Bosch Gmbh Autonomes Arbeitsgerät
US10071856B2 (en) * 2016-07-28 2018-09-11 X Development Llc Inventory management

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021624A (ja) * 2012-07-13 2014-02-03 Sharp Corp 自律走行装置、及び自律走行システム
JP6289603B2 (ja) * 2014-07-04 2018-03-07 マミヤ・オーピー株式会社 作業機械、作業機械の走行経路生成、走行経路への進入可否判定、走行経路自動選択のためのシステム、方法、プログラム、プログラムを記録した記録媒体、作業機械の走行制御システム
US20160113195A1 (en) * 2014-10-28 2016-04-28 Deere & Company Robotic mower navigation system
JP5944473B2 (ja) * 2014-11-25 2016-07-05 シャープ株式会社 移動型作業車およびその制御装置
JP2017158532A (ja) 2016-03-03 2017-09-14 株式会社リコー 農作業用装置および農作業用装置の制御方法
JP2017181408A (ja) * 2016-03-31 2017-10-05 本田技研工業株式会社 芝刈機用の標識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3769598A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038852A1 (en) * 2022-08-16 2024-02-22 Kubota Corporation Autonomous operating zone setup for a working vehicle or other working machine

Also Published As

Publication number Publication date
EP3769598B1 (en) 2022-04-20
JPWO2019180950A1 (ja) 2021-01-14
EP3769598A1 (en) 2021-01-27
US20210027489A1 (en) 2021-01-28
EP3769598A4 (en) 2021-03-31
JP6924326B2 (ja) 2021-08-25

Similar Documents

Publication Publication Date Title
EP3444568A1 (en) Method and system for determining a drivable navigation path for an autonomous vehicle
EP3336794A1 (en) Apparatus and method for generating a travel route for an agricultural vehicle
US11511627B2 (en) Display device and computer program
JP7003224B2 (ja) 自律走行作業機
JPWO2006064544A1 (ja) 自動車庫入れ装置
JP2021071908A (ja) 異常判定装置、車両支援システム、サーバ
WO2019180950A1 (ja) 設置位置通知システム
WO2020248210A1 (en) Roadmodel manifold for 2d trajectory planner
CN110221330A (zh) 自移动设备及其方向确定方法、自动工作系统
EP3803524B1 (en) Robotic work tool system and method for defining a working area
JP2013018406A (ja) 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
US20210302999A1 (en) Autonomous work system, autonomous work setting method, and storage medium
JP2018072069A (ja) 地図データ構造、送信装置及び地図表示装置
US20230210050A1 (en) Autonomous mobile device and method for controlling same
CN116481541A (zh) 一种无需卫星导航的车辆自主返航控制方法、装置及介质
JP5448429B2 (ja) 移動体検知装置および移動体検知方法
JP2017117413A (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN115871660A (zh) 双模态特征融合的无人驾驶压路机避障方法及系统
WO2019155557A1 (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
JP2019139368A (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
CN113733043A (zh) 一种自动化递送机器人及其自动驱动方法
CN116324338A (zh) 求取车辆的起始位置以进行定位
CN112620925A (zh) 一种焊接控制方法与系统
EP3991086A1 (en) Method and system for identifying object
US20230320263A1 (en) Method for determining information, remote terminal, and mower

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18910642

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020507273

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018910642

Country of ref document: EP