WO2021230635A1 - 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법 - Google Patents

굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법 Download PDF

Info

Publication number
WO2021230635A1
WO2021230635A1 PCT/KR2021/005908 KR2021005908W WO2021230635A1 WO 2021230635 A1 WO2021230635 A1 WO 2021230635A1 KR 2021005908 W KR2021005908 W KR 2021005908W WO 2021230635 A1 WO2021230635 A1 WO 2021230635A1
Authority
WO
WIPO (PCT)
Prior art keywords
bucket
excavator
unit
working position
working
Prior art date
Application number
PCT/KR2021/005908
Other languages
English (en)
French (fr)
Inventor
신대영
함영국
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Publication of WO2021230635A1 publication Critical patent/WO2021230635A1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/437—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means

Definitions

  • the present invention relates to a driver assistance system for an excavator and a method for controlling an excavator using the same, and more particularly, to measure the position of a bucket of an excavator using a three-dimensional image, and use this to determine the working path or working path of the bucket to the system It relates to technology that allows it to be controlled by
  • an object of the present invention is to analyze data on the working environment of the excavator, and to perform automatic control of the excavator or auxiliary control for the operation using the data analysis.
  • the configuration of the present invention for achieving the above object is, in the operator assistance system of an excavator including a main body, a boom, an arm, and a bucket, a bucket point that is coupled to the main body and is an arbitrary point set on the bucket.
  • Bucket positioning unit for measuring the position and posture of the bucket; a wearing part worn on a part of the driver's body located inside the excavator; a working position indicating unit coupled to a portion of the wearable part and indicating a working position by irradiating a laser to the excavation target; a working position imaging unit that combines with other parts of the wearable part, obtains a terrain image that is a three-dimensional image of a working position and surrounding terrain, and acquires a laser irradiation position by the working position indicating unit; and an integrated control unit for determining the working path of the bucket by analyzing the indicated position of the working position indicating unit, the terrain image, the position of the bucket point, and the posture of the bucket, and generating a control signal for movement of the bucket; include
  • the wearing unit may be a Head Mounted Display (HMD) device or a helmet.
  • HMD Head Mounted Display
  • the operation command of the operator of the excavator is input, and the work items including the position of the bucket point and the posture of the bucket at the work position are described above. It may further include a manipulation unit for transmitting to the integrated control unit.
  • a plurality of the working positions may be formed, and work items for each working position may be formed differently.
  • the work items corresponding to each of the work positions may be input to the manipulation unit so that the plurality of work items may be performed in a series process.
  • the working path of the bucket may vary according to the working position and the working items.
  • the integrated control unit may store data on the work path of the bucket according to the work item.
  • the bucket positioning unit is coupled to the main body, recognizes the bucket and the image around the bucket in three dimensions, and the position of the bucket point that is an arbitrary point set on the bucket and the bucket It may include an imaging analysis unit that acquires the posture of the three-dimensional measurement value.
  • the bucket positioning unit may generate a three-dimensional GNSS coordinate value of the bucket point by using the bucket position.
  • the configuration of the present invention for achieving the above object is a first step in which the laser is irradiated to the work position indicating unit by the operation of the operator of the excavator to indicate the working position; a second step of obtaining a terrain image, which is a three-dimensional image of the bucket and surrounding terrain, by the working position imaging unit, and determining a working position by acquiring a laser irradiation position by the working position indicating unit; a third step in which the bucket positioning unit measures the position of the bucket point and the posture of the bucket using the three-dimensional image of the bucket to determine the three-dimensional coordinate values of the position of the bucket point and the posture of the bucket; The integrated control unit analyzes the indicated position of the working position indicating unit, the position of the bucket point, the posture of the bucket, and the topographic image, and optionally additionally inputs the required amount of soil to be contained in the bucket, the working path of the bucket a fourth step of determining and generating a control signal for movement of the bucket; and a fifth step in which
  • the three-dimensional coordinate value of the bucket point may be a three-dimensional GNSS coordinate value.
  • the effect of the present invention according to the above configuration is to measure the position of the bucket using a camera that recognizes a three-dimensional image, instead of measuring the position of the bucket by performing a complex mathematical operation using a tilt sensor, etc. , it is possible to improve the stability of the system with a simple configuration and improve the accuracy of the positioning of the bucket.
  • the effect of the present invention is that data on the work position, work content, bucket path, etc. are automatically generated using the position of the bucket, etc., and automatic control of the excavator or assisting the driver by using such data
  • the control for this purpose it is possible to work using the excavator even if the operation is somewhat inexperienced, and at the same time, it is possible to increase the efficiency of the work using the excavator.
  • FIG. 1 is a schematic diagram of an excavator in which a system according to an embodiment of the present invention is formed.
  • FIG. 2 is a schematic diagram of a wearing part according to an embodiment of the present invention.
  • FIG 3 is an image of a working position variable according to an embodiment of the present invention.
  • Figure 4 is an image of a change in the posture of the bucket at each working position according to an embodiment of the present invention.
  • FIG 5 is an image of a change in the posture of the bucket at each working position according to another embodiment of the present invention.
  • the most preferred embodiment of the driver assistance system for an excavator is a driver assistance system for an excavator including a main body, a boom, an arm, and a bucket, a bucket point that is coupled to the main body and is an arbitrary point set on the bucket Bucket positioning unit for measuring the position and posture of the bucket; a wearing part worn on a part of the driver's body located inside the excavator; a working position indicating unit coupled to a portion of the wearable part and indicating a working position by irradiating a laser to the excavation target; a working position imaging unit that combines with other parts of the wearable part, obtains a terrain image that is a three-dimensional image of a working position and surrounding terrain, and acquires a laser irradiation position by the working position indicating unit; and an integrated control unit for determining the working path of the bucket by analyzing the indicated position of the working position indicating unit, the terrain image, the position of the bucket point, and the posture of the bucket, and
  • the excavator 1 to which the driver assistance system of the present invention is applied includes a main body 40 having a cabin 41, a boom 31 coupled to the main body 40, and a boom cylinder for rotating the boom 31 ( 32), an arm 21 rotatably coupled to the boom 31, an arm cylinder 22 for rotating the arm 21, a bucket 11 coupled to an end of the arm 21, and a bucket 11 ) may include a bucket cylinder 12 for rotating.
  • the driver assistance system of the present invention is installed in the excavator 1 having the above configuration.
  • the configuration of the excavator 1 is not limited as described above, and the driver assistance system of the present invention is not limited thereto.
  • the system can be used in various excavators and construction machines.
  • FIG. 1 is a schematic diagram of an excavator 1 having a system formed thereon according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a wearing part 410 according to an embodiment of the present invention.
  • the driver assistance system of the present invention for driver assistance of the excavator 1 is coupled to the main body 40 and is an arbitrary point set on the bucket 11, the bucket point 11a.
  • a bucket positioning unit for measuring the position and posture of the bucket 11; a wearing part 410 worn on a part of the driver's body located inside the excavator (1); a working position indicating unit 420 coupled to a portion of the wearing unit 410 and indicating a working position by irradiating a laser to the excavation target; A working position imaging unit 430 that combines with other parts of the wearing unit 410, obtains a terrain image that is a three-dimensional image of the working position and surrounding terrain, and obtains the laser irradiation position by the working position indicating unit 420.
  • the bucket positioning unit is coupled with the main body 40, recognizes the image around the bucket 11 and the bucket 11 in three dimensions, and three-dimensional measurement for the bucket point 11a, which is an arbitrary point set on the bucket 11 It may be provided with an imaging analysis unit 100 to obtain a bucket position that is a value.
  • the bucket positioning unit may generate a three-dimensional GNSS coordinate value of the bucket point 11a by using the bucket position.
  • the bucket positioning unit is coupled with the main body 40 and receives a GNSS signal to further include a reference coordinate analysis unit 200 that analyzes a reference coordinate that is a three-dimensional GNSS coordinate value of the imaging analysis unit 100 .
  • the integrated control unit 300 coupled with the main body 40 analyzes the bucket position received from the imaging analysis unit 100 and the reference coordinates received from the reference coordinate analysis unit 200 of the bucket point 11a. 3D coordinate values can be generated.
  • the main body 40 of the excavator 1 is provided with a cabin 41 in which the driver is located, and the imaging analysis unit 100 is installed at the upper end of the cabin, so that it is easy to image the bucket 11 . can be installed on
  • the position of the imaging analysis unit 100 is not limited as described above, and the imaging analysis unit 100 is located in a portion of the body 40 that is easy to image the bucket 11 and the image of the environment around the bucket 11 . ) can be installed.
  • the imaging analysis unit 100 a three-dimensional camera 110 that generates a three-dimensional image by recognizing the image around the bucket 11 and the bucket 11 in three dimensions, and the three-dimensional camera 110 received from It may be provided with an imaging analyzer 120, which analyzes the dimensional image to analyze the bucket position.
  • a three-dimensional TOF (Time-of-Flight) camera may be used as the three-dimensional camera 110 .
  • the TOF camera emits near-infrared rays, measures the intensity and phase of the returned signal, and calculates the distance to the object to be photographed, thereby generating three-dimensional measurement values. It is not limited to measuring the distance of a specific height by shooting, and it is possible to shoot FULL 3D (Dimension).
  • the 3D camera 110 is formed as a TOF camera, but it is not necessarily limited thereto. It may be a camera that collects a three-dimensional image of an object.
  • the three-dimensional camera 110 formed as described above generates a three-dimensional image by photographing the bucket 11 and the image around the bucket 11 in three dimensions, and the three-dimensional image thus generated is analyzed by the imaging analyzer 120. can be passed to In addition, the imaging analyzer 120 may separate the image of the bucket 11 from the three-dimensional image, and simplify the image of the separated bucket 11 .
  • the imaging analyzer 120 receiving the three-dimensional image from the three-dimensional camera 110 searches for the image of the bucket 11 in the three-dimensional image using a deep learning-based object search technique and then the bucket 11 ) can be classified and separated.
  • a deep learning algorithm an R-CNN algorithm, a You Only Look Once (YOLO) algorithm, a Single Shot Detector (SSD) algorithm, or the like may be used.
  • the imaging analyzer 120 can simplify the image of the bucket 11 separated from the three-dimensional image, and for this purpose, the imaging analyzer 120 is the image resolution of the bucket 11 separated from the three-dimensional image
  • the image can be simplified by performing image processing that reduces (number of pixels).
  • the imaging analyzer 120 can set a plurality of points in the image of the bucket 11 simplified as described above, and a point located in the center of the end (lowest end) of the bucket 11 among the plurality of points is a bucket It is set to the point (11a), it is possible to derive the bucket position for such a bucket point (11a).
  • the bucket point 11a is set at the center of the end of the bucket 11, but it is not limited thereto, and the bucket point 11a is set at another part of the bucket 11. may be In order to facilitate the identification of the distance between the bucket 11 and other objects, it may be preferable that the plurality of points be formed along the outer contour of the bucket 11 .
  • the posture of the bucket 11 can also be determined. Specifically, even if the bucket point (11a) is fixed to one point, other points of the bucket (11) may be formed in different positions depending on the posture of the bucket (11), the integrated control unit 300 analyzes this The posture of the bucket 11 can be determined.
  • the distance between the bucket position, which is a three-dimensional measurement value of the bucket point 11a, and other points other than the bucket point 11a is kept constant, and accordingly, another object is positioned at the end of the bucket 11 by the operation of the excavator 1 Even when it is not easy to measure the bucket point 11a in the three-dimensional image by doing 120) can continuously measure the position of the bucket point (11a).
  • the image processing speed of the bucket 11 can be improved, and accordingly, the bucket ( 11), the speed of checking the position can be improved.
  • the bucket position may be a three-dimensional distance, a direction and an angle from the three-dimensional camera 110 to the bucket point 11a.
  • the bucket position is, as shown in FIG. 1, the distance from the center of the three-dimensional camera 110 to the bucket point 11a, the vector direction from the center of the three-dimensional camera 110 to the bucket point 11a, and It can be an angle.
  • a three-dimensional coordinate system may be formed based on the center of the three-dimensional camera 110 .
  • an arrow connected from the three-dimensional coordinate system to the bucket point 11a may indicate the vector distance L, the direction and the angle ( ⁇ x, ⁇ y, ⁇ z).
  • the reference coordinate analysis unit 200 is provided with a GNSS (Global Navigation Satellite System) receiver, and by receiving a GNSS signal, it is possible to obtain the three-dimensional GNSS coordinates of the reference coordinate analysis unit 200, as shown in FIG. 1 , Since each of the reference coordinate analysis unit 200 and the imaging analysis unit 100 is coupled to the main body 40 and exists in a fixed position with each other, the reference coordinate analysis unit 200 is simultaneously positioned at the center of the imaging analysis unit 100 . By calculating the three-dimensional GNSS coordinates for the reference coordinates can be obtained.
  • GNSS Global Navigation Satellite System
  • the integrated control unit 300 receives the reference coordinates as described above, and generates a three-dimensional GNSS coordinate value of the bucket point 11a in real time by using the three-dimensional distance, direction and angle with respect to the above-described bucket position. can do.
  • the three-dimensional GNSS coordinate value of the bucket point 11a also changes in real time, and using this, the position movement of the bucket 11, It is possible to acquire motion information about rotation and the like in real time.
  • the driver assistance system of the present invention may further include a display unit for displaying the real-time location of the bucket 11 .
  • the motion information of the bucket 11 as described above may be imaged and expressed on the display unit.
  • a scale model of the excavator 1 may be displayed on the display unit, and the scale model of the excavator 1 may perform the same operation according to the operation of the excavator 1 .
  • This can be implemented by not only checking the location of the bucket 11 as described above, but also checking the location of the body 40 by the reference coordinate analysis unit 200 .
  • the position of the main body 40 but also the rotation angle of the main body 40 may be analyzed.
  • the wearing unit 410 may be a head mounted display (HMD) device or a helmet.
  • the helmet may be a general working hat or a smart helmet equipped with various functions.
  • the driver assistance system of the present invention may further include a manipulation unit that receives the operator's operation command of the excavator 1 and transmits the work to the integrated control unit 300 after designating the position indicated by the work position indicating unit 420 .
  • the work item may include the position of the bucket point (11a) in the working position, the posture of the bucket (11), and the like.
  • the working position may be displayed as a two-dimensional area on the ground or a three-dimensional area in the air, and the position of the bucket point 11a and the posture of the bucket 11 may be set in each area.
  • the manipulation unit may be one or more devices selected from various devices such as a joystick, a manipulation pad, and a touch pad.
  • the plurality of work items corresponding to the respective work positions may be input to the manipulation unit so that the plurality of work items may be performed in a series process.
  • the HMD device may display information on the position of the bucket 11 while showing a screen for the operation of the excavator 1 to the driver wearing it. Specifically, on the screen of the HMD device, the image around the bucket 11 and the bucket 11 photographed by the work position imaging unit 430 is displayed, and the work position indicating unit 420 is the position at which the laser is irradiated. The position is displayed, and the three-dimensional GNSS coordinate value of the bucket point 11a may be displayed on the image of the bucket 11 displayed on the screen.
  • work items set at each work position in addition to the work position selected by the driver through the manipulation unit may be displayed.
  • a cursor that moves according to the manipulation of the manipulation unit may be displayed, and the driver may transmit a command to the integrated control unit 300 through the screen of the HMD device.
  • a driver using a helmet other than the HMD device can check each item displayed on the screen of the HMD device through the display unit.
  • the driver can check the real-time work situation of the excavator 1 and information related to the excavator 1 work and control it at the same time,
  • the operator may perform repetitive work of the excavator 1 only by simple manipulation.
  • the work position indicating unit 420 may be coupled to the wearing unit 410 to change the direction according to the movement of the driver's body part (head, etc.).
  • the HMD device may be coupled with the binder 411 to be fixed to a part of the driver's body (head, etc.), and the work position indicating unit 420 may be installed on one side of the HMD device.
  • the driver can change the laser irradiation position of the work position indicating unit 420 by moving a part of the body (head, etc.), and the change in the laser irradiation position can be confirmed with the HMD device.
  • the working position imaging unit 430 may also be combined with the wearing unit 410 to change the direction according to the movement of the driver's body part (head, etc.).
  • the working position imaging unit 430 may be installed on the other side of the HMD device.
  • the shooting range of the working position imaging unit 430 is also continuously changed, and the image captured by the working position imaging unit 430 is transmitted to the integrated control unit 300 in real time.
  • the integrated control unit 300 may analyze the image received from the working position imaging unit 430 to generate an entire image around the working environment.
  • the shooting range of the working position imaging unit 430 is so that the bucket 11 can be continuously positioned in the shooting range of the working position imaging unit 430. can be set. Accordingly, as described above, not only can the three-dimensional GNSS coordinate value of the bucket point 11a be measured in real time, but also the relationship between the surrounding environment image and the bucket 11 image will be continuously determined by the integrated control unit 300. can
  • the integrated control unit 300 analyzes the position of the bucket point 11a, the posture of the bucket 11, and the topographic image, and changes the position of the bucket 11 from one working position to another.
  • a plurality of bucket 11 working paths are set according to whether an obstacle is formed, and an optimal working path is determined among a plurality of bucket 11 working paths, and the boom cylinder 32, the arm cylinder 22, the bucket A control signal may be transmitted to the cylinder 12 and the body 40 .
  • the length (C bm ) of the boom cylinder ( 32 ) the length (C am ) of the arm cylinder ( 22 ) and the length of the bucket cylinder ( 12 ) so that the bucket ( 11 ) moves along the optimal bucket ( 11 ) working path.
  • Each of the lengths (C bk ) is variable, and linear motion or rotational motion of the body 40 may be performed.
  • the integrated control unit 300 can use a deep learning algorithm to determine the optimal bucket 11 work path, and after learning for each situation, derive the result value of the deep learning algorithm to determine the optimal bucket (11) The work route can be confirmed.
  • the deep learning algorithm any one of a deep neural network, a convolutional neural network, or a recurrent neural network may be used.
  • the present invention is not limited thereto.
  • FIG. 3 is an image of a working position variable according to an embodiment of the present invention.
  • the working path by each of the working positions 1 to 6 is divided into 1 to 5 unit paths (Path), and the speed (v T )-time (Time) graph at the bottom of FIG. 3 is sequential according to the passage of time. It can represent the time for each unit path connected to .
  • the speed (v T )-time (Time) number in the graph is the speed (unit mm/sec).
  • Figure 4 is an image of the change in the posture of the bucket in each working position according to an embodiment of the present invention
  • Figure 5 is an image of the change in the posture of the bucket in each working position according to another embodiment of the present invention am.
  • Figure 4 shows the work items in the work position corresponding to the number in each circle.
  • FIG. 5 work items at work positions corresponding to respective circle numbers are shown.
  • the hatched portion indicates the work target land.
  • the integrated control unit 300 may store data on the work path of the bucket 11 according to the work item. Specifically, the integrated control unit 300 has an operation for automatically controlling the operation of the boom cylinder 32 , the arm cylinder 22 , the bucket cylinder 12 and the main body 40 according to the work path according to the change of the work position. Path control data may be embedded, and after the bucket 11 moves to one working position, the integrated control unit 300 uses the working path control data to control the boom cylinder 32, the arm cylinder 22, and the bucket cylinder. By controlling the operations of the 12 and the main body 40, automatic control can be performed so that a predetermined operation is performed.
  • the working path of the bucket 11 may vary according to the working position and the working items.
  • the work path program may be modified by determining the terrain by the above-described deep learning or the like.
  • the speed of the bucket 11 can also be set. Accordingly, it is possible to perform flexible work position change in response to the surrounding environment.
  • a plurality of working positions may be formed, and work items for each working position may be formed differently.
  • work items corresponding to each work location may be input to the manipulation unit so that the plurality of work locations may be performed in a series process.
  • the driver may input at least one working position among the first to sixth working positions (1 to 6) as a plurality of working positions, and each working position You can also set different work items for each.
  • the integrated control unit 300 receiving the information on such matters may generate a control signal so that each work item is performed at each work position.
  • an unfolding operation may be performed after excavation.
  • first to sixth working positions may be set. And, in the first working position (1), the initial position of the bucket point (11a) and the initial posture of the bucket (11) can be set, and in the second working position (2), the bucket point (11a) is the main body (40) ) may be set so that the initial posture of the bucket 11 is maintained while the bucket point 11a is positioned at a predetermined position to be close to it. After that, in the third working position (3), the bucket point 11a is positioned at a predetermined position so that the bucket point 11a rises and approaches the main body 40, and the bucket 11 moves toward the main body 40. It can be changed to a rotated position. Accordingly, while the work of the bucket 11 is changed from the first working position (1) to the third working position (3), the closing operation of the bucket 11 can be performed.
  • the bucket point 11a is positioned at a predetermined position so that the bucket point 11a rises and is spaced apart from the body 40, and the main body while maintaining the posture of the bucket 11 (40) may be set to be in a rotated (swing) state. Accordingly, the bucket 11 may move out of the excavation work area to the excavation work start area.
  • the bucket point (11a) is lowered and placed the bucket point (11a) at a predetermined position so that it is further spaced from the main body (40), and the bucket (11) is spaced apart from the main body (40) It can be changed to a rotated posture in the direction of
  • the bucket point 11a is lowered and the bucket point 11a is positioned at a predetermined position so that it is further separated from the main body 40 while maintaining the posture of the bucket 11.
  • (40) may be set to be in a rotated (swing) state. Accordingly, as the work of the bucket 11 is changed from the fourth working position (4) to the sixth working position (6), the spreading operation of the bucket 11 is performed, and the bucket 11 is excavated. It can return to the first work position (1), which is the work start position.
  • an unfolding operation may be performed after sorting and destroying.
  • the driver may input first to seventh working positions to the manipulation unit. And, in the first working position (1), the initial position of the bucket point (11a) and the initial posture of the bucket (11) can be set, and in the second working position (2), the bucket point (11a) is the main body (40) ) may be set so that the initial posture of the bucket 11 is maintained while the bucket point 11a is positioned at a predetermined position to be close to it. Accordingly, a grading operation may be performed from the first working position (1) to the second working position (2).
  • the bucket point 11a is positioned at a predetermined position so that the bucket point 11a rises and approaches the main body 40, and the bucket 11 moves toward the main body 40. It can be changed to a rotated posture, and then, in the fourth working position (4), the bucket 11 can be changed to a rotated state in a direction adjacent to the main body 40 . Accordingly, while the work of the bucket 11 is changed from the third working position (3) to the fourth working position (4), the closing operation of the bucket 11 can be performed.
  • the bucket point (11a) is positioned at a predetermined position so that the bucket point (11a) rises and is spaced apart from the main body (40) and the body while maintaining the posture of the bucket (11) (40) can be input so that the rotated (swing) state. Accordingly, the bucket 11 may move out of the excavation work area to the excavation work start area.
  • the bucket point 11a is lowered and the bucket point 11a is positioned at a predetermined position so that it is further separated from the main body 40, and the bucket 11 is spaced apart from the main body 40 It can be changed to a rotated posture in the direction of Next, in the seventh working position (7), the bucket point (11a) is lowered and the bucket point (11a) is positioned at a predetermined position so that it is further spaced from the main body (40) and the main body while maintaining the posture of the bucket (11) (40) may be set to be in a rotated (swing) state. Accordingly, as the work of the bucket 11 is changed from the fourth working position (4) to the seventh working position (7), the spreading operation of the bucket 11 is performed, and the bucket 11 is excavated. It can return to the first work position (1), which is the work start position.
  • the position of the bucket 11 is automatically controlled, and the work using the excavator 1 is automatically performed while the work path is changed according to the work position and the work item confirmation.
  • the driver may manually change the working path by manually operating the control unit.
  • the three-dimensional camera 110 of the imaging analysis unit 100 may take an image of the bucket 11 and the surrounding bucket (11).
  • the imaging analyzer 120 of the imaging analysis unit 100 may separate the image of the bucket 11 from the three-dimensional image, and simplify the image of the separated bucket 11 .
  • the imaging analysis unit 100 may acquire the bucket position.
  • the reference coordinate analysis unit 200 may receive the GNSS signal to analyze and obtain the reference coordinates.
  • the integrated control unit 300 may generate a three-dimensional GNSS coordinate value of the bucket point (11a) by analyzing the bucket position and reference coordinates.
  • the integrated control unit 300 may analyze the position and rotation angle of the excavator 1 .
  • the position of the excavator 1 may be specified by the reference coordinates obtained from the reference coordinate analysis unit 200, and the rotation of the excavator 1 uses a three-dimensional GNSS coordinate value for the reference coordinates, or, It can be calculated using the change in the position of the bucket (11). The rest of the details are the same as those described above.
  • the laser of the work position indicating unit 420 may be irradiated by the operation of the operator of the excavator 1 to indicate the working position.
  • at least one or more work positions and work items corresponding to each work position may be transmitted to the integrated control unit 300 .
  • the transfer of such a work position and work items may be performed by a driver inputting it into the operation unit, or may be performed automatically.
  • the work position imaging unit 430 obtains a terrain image, which is a three-dimensional image of the bucket 11 and the surrounding terrain, and obtains the laser irradiation position by the work position indicating unit 420 to the work position can be confirmed.
  • the three-dimensional coordinate value of the bucket point 11a can be determined by measuring the position of the bucket point 11a by the bucket positioning unit.
  • the bucket positioning unit measures the position of the bucket point 11a and the posture of the bucket 11 using the three-dimensional image of the bucket 11 to determine the position of the bucket point 11a and the bucket 11 ) the three-dimensional coordinate value of the posture may be determined.
  • the three-dimensional coordinate value of the bucket point 11a may be a three-dimensional GNSS coordinate value.
  • the integrated control unit 300 analyzes the instruction position of the work position indicating unit 420 and the position of the bucket point 11a, the posture of the bucket 11, and the terrain image to work of the bucket 11 A path may be determined and a control signal for movement of the bucket 11 may be generated.
  • the driver may input the required amount of soil to the operation unit.
  • the integrated control unit 300 analyzes the working position of the bucket point 11a, the posture of the bucket 11, the topographic image, and the required soil capacity, and the working path of the bucket 11 to contain the required soil capacity in the bucket 11. It is confirmed, and it is possible to generate a control signal for the movement of the bucket (11).
  • the control signal of the integrated control unit 300 is transmitted to the main body 40, the boom cylinder 32, the arm cylinder 22 or the bucket cylinder 12 of the excavator 1, the excavator 1 ) can be automatically controlled.
  • the operation of the bucket 11 to dig up the soil by a predetermined depth so that only the required amount of soil is contained in the bucket 11 may be performed. That is, the path in which the bucket 11 digs and holds soil may also be automatically controlled by being included in the working path of the bucket 11 .
  • the rest of the details are the same as those described above.
  • imaging analysis unit 110 three-dimensional camera
  • imaging analyzer 200 reference coordinate analysis unit
  • binder 420 work position indicating unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

본 발명의 일 실시 예는 3차원 영상을 이용하여 굴삭기의 버켓 위치를 측정하고, 이를 이용하여 버켓의 작업 경로 또는 작업 경로가 시스템에 의해 제어될 수 있도록 하는 기술을 제공한다. 본 발명의 실시 예에 따른 굴삭기의 운전자 보조시스템은, 본체와 결합하고, 버켓 상 설정된 임의의 포인트인 버켓포인트의 위치와 버켓의 자세를 측정하는 버켓위치확인부; 굴삭기 내부에 위치한 운전자의 신체 일부에 착용되는 착용부; 착용부의 일 부위와 결합하고, 굴삭작업 목표물에 레이저를 조사하여 작업 위치를 지시하는 작업위치지시부; 착용부의 타 부위와 결합하고, 작업 위치와 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 작업위치지시부에 의한 레이저 조사 위치를 획득하는 작업위치촬상부; 및 작업위치지시부의 지시 위치, 지형이미지, 버켓포인트의 위치 및 버켓의 자세를 분석하여 버켓의 작업 경로를 확정하고, 버켓의 이동을 위한 제어 신호를 생성하는 통합제어부;를 포함한다.

Description

굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
본 발명은 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법에 관한 것으로, 더욱 상세하게는, 3차원 영상을 이용하여 굴삭기의 버켓 위치를 측정하고, 이를 이용하여 버켓의 작업 경로 또는 작업 경로가 시스템에 의해 제어될 수 있도록 하는 기술에 관한 것이다.
최근에 건설 또는 건축시공 기술은 정밀시공과 자동화를 통한 생산성 향상을 요구하고 있으며, 비숙련자 또는 교통약자가 건설기계를 조작하여 작업을 수행하고자 하는 필요성도 증가하고 있다. ICT기술의 발전에 따라 상기와 같은 필요성과 요구에 대응하기 위하여 국내외 건설기계 제조기업을 중심으로 자율화 기술을 개발하고 있으며, 현재는 ISO26262기준으로 Level3단계기술을 개발하고 있다.
대한민국 공개특허 제10-2010-0122389호(발명의 명칭: 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템)에서는, 굴삭 작업면에 대한 3차원 영상을 획득하기 위한 스테레오 비전(stereo vision)과, 최종 굴삭 깊이 및 형상에 대한 3차원 계획도면이 저장되는 계획도면 저장부와, 디스플레이 기능을 구비한 사용자 인터페이스 및 상기 스테레오 비전를 통해 촬상하여 획득한 상기 굴삭중인 작업면의 3차원 영상과 상기 계획도면 저장부에 저장된 상기 3차원 계획도면을 서로 매칭시켜 상기 사용자 인터페이스를 통해 디스플레이하는 마이콤을 포함하는 굴삭작업 지원 시스템이 개시되어 있다.
<선행특허문헌> 대한민국 공개특허 제10-2010-0122389호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 굴삭기에 복수 개의 기울기 센서를 설치하지 않고도 버켓의 위치를 확인할 수 있도록 하는 것이다.
그리고, 본 발명의 목적은, 굴삭기의 작업 환경에 대해 데이터 분석하고, 이를 이용하여 굴삭기의 자동 제어 또는 작업에 대한 보조 제어가 수행되도록 하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 본체, 붐, 암, 및 버켓을 포함하는 굴삭기의 운전자 보조시스템에 있어서, 상기 본체와 결합하고, 상기 버켓 상 설정된 임의의 포인트인 버켓포인트의 위치와 버켓의 자세를 측정하는 버켓위치확인부; 상기 굴삭기 내부에 위치한 운전자의 신체 일부에 착용되는 착용부; 상기 착용부의 일 부위와 결합하고, 굴삭작업 목표물에 레이저를 조사하여 작업 위치를 지시하는 작업위치지시부; 상기 착용부의 타 부위와 결합하고, 작업 위치와 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 상기 작업위치지시부에 의한 레이저 조사 위치를 획득하는 작업위치촬상부; 및 상기 작업위치지시부의 지시 위치, 상기 지형이미지, 상기 버켓포인트의 위치 및 상기 버켓의 자세를 분석하여 상기 버켓의 작업 경로를 확정하고, 상기 버켓의 이동을 위한 제어 신호를 생성하는 통합제어부;를 포함한다.
본 발명의 실시 예에 있어서, 상기 착용부는, HMD(Head Mounted Display)기기 또는 헬멧일 수 있다.
본 발명의 실시 예에 있어서, 상기 작업위치지시부의 지시 위치 지정 후, 상기 굴삭기의 운전자의 조작 명령을 입력 받아, 상기 작업 위치에서의 버켓포인트의 위치와 상기 버켓의 자세를 포함하는 작업 사항을 상기 통합제어부로 전달하는 조작부를 더 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 작업 위치는 복수 개 형성될 수 있으며, 각각의 작업 위치에 대한 작업 사항이 상이하게 형성될 수 있다.
본 발명의 실시 예에 있어서, 복수 개의 상기 작업 사항이 일련된 과정으로 진행될 수 있도록 각각의 상기 작업 위치에 대응되는 상기 작업 사항이 상기 조작부에 입력될 수 있다.
본 발명의 실시 예에 있어서, 상기 작업 위치와 상기 작업 사항에 따라 상기 버켓의 작업 경로가 가변할 수 있다.
본 발명의 실시 예에 있어서, 상기 통합제어부는, 상기 작업 사항에 따른 상기 버켓의 작업 경로에 대한 데이터를 저장할 수 있다.
본 발명의 실시 예에 있어서, 상기 버켓위치확인부는, 상기 본체와 결합하고, 상기 버켓과 상기 버켓 주위의 이미지를 3차원으로 인식하며, 상기 버켓 상 설정된 임의의 포인트인 버켓포인트의 위치와 상기 버켓의 자세를 3차원 측정 값으로 획득하는 촬상분석부를 구비할 수 있다.
본 발명의 실시 예에 있어서, 상기 버켓위치확인부는, 상기 버켓위치를 이용하여 상기 버켓포인트의 3차원 GNSS 좌표 값을 생성할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 상기 굴삭기의 운전자의 동작에 의해 상기 작업위치지시부의 레이저가 조사되어 작업 위치가 지시되는 제1단계; 상기 작업위치촬상부가 상기 버켓과 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 상기 작업위치지시부에 의한 레이저 조사 위치를 획득하여 작업 위치가 확정되는 제2단계; 상기 버켓위치확인부가 상기 버켓의 3차원 이미지를 이용하여 상기 버켓포인트의 위치와 상기 버켓의 자세를 측정하여 상기 버켓포인트 위치와 상기 버켓 자세의 3차원 좌표 값이 확정되는 제3단계; 상기 통합제어부가 상기 작업위치지시부의 지시 위치, 상기 버켓포인트의 위치, 상기 버켓의 자세 및 상기 지형이미지를 분석하고, 선택적으로 상기 버켓에 담기는 토사 요구 용량을 추가 입력하여, 상기 버켓의 작업 경로를 확정하고, 상기 버켓의 이동을 위한 제어 신호를 생성하는 제4단계; 및 상기 통합제어부의 제어 신호가 상기 굴삭기의 본체, 붐 실린더, 암 실린더 또는 버켓 실린더로 전달되어, 상기 굴삭기의 자동 제어가 수행되는 제5단계;를 포함한다.
본 발명의 실시 예에 있어서, 상기 제3단계에서, 상기 버켓포인트의 3차원 좌표 값은, 3차원 GNSS 좌표 값일 수 있다.
상기와 같은 구성에 따른 본 발명의 효과는, 기울기 센서 등을 이용하고 복잡한 수식 연산을 수행하여 버켓의 위치를 측정하는 대신에, 3차원 영상을 인식하는 카메라 등을 이용하여 버켓의 위치를 측정하므로, 단순한 구성으로 시스템의 안정성을 향상시키고, 버켓의 위치 측정 정확도를 향상시킬 수 있다는 것이다.
그리고, 본 발명의 효과는, 버켓의 위치 등을 이용하여 작업 위치, 작업 내용, 작업 시 버켓 경로 등에 대한 데이터가 자동으로 생성되고, 이와 같은 데이터를 이용하여 굴삭기에 대한 자동 제어 또는 운전자를 보조하기 위한 제어가 수행되게 함으로써, 다소 조작이 미숙하더라도 굴삭기를 이용한 작업이 가능하게 함과 동시에, 굴삭기를 이용한 작업의 효율을 증대시킬 수 있다는 것이다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 시스템이 형성된 굴삭기에 대한 모식도이다.
도 2는 본 발명의 일 실시 예에 따른 착용부에 대한 모식도이다.
도 3은 본 발명의 일 실시 예에 따른 작업 위치 가변에 대한 이미지이다.
도 4는 본 발명의 일 실시 예에 따른 각각의 작업 위치에서 버켓의 자세 가변에 대한 이미지이다.
도 5는 본 발명의 다른 실시 예에 따른 각각의 작업 위치에서 버켓의 자세 가변에 대한 이미지이다.
본 발명인 굴삭기의 운전자 보조시스템의 가장 바람직한 일실시예는, 본체, 붐, 암, 및 버켓을 포함하는 굴삭기의 운전자 보조시스템에 있어서, 상기 본체와 결합하고, 상기 버켓 상 설정된 임의의 포인트인 버켓포인트의 위치와 버켓의 자세를 측정하는 버켓위치확인부; 상기 굴삭기 내부에 위치한 운전자의 신체 일부에 착용되는 착용부; 상기 착용부의 일 부위와 결합하고, 굴삭작업 목표물에 레이저를 조사하여 작업 위치를 지시하는 작업위치지시부; 상기 착용부의 타 부위와 결합하고, 작업 위치와 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 상기 작업위치지시부에 의한 레이저 조사 위치를 획득하는 작업위치촬상부; 및 상기 작업위치지시부의 지시 위치, 상기 지형이미지, 상기 버켓포인트의 위치 및 상기 버켓의 자세를 분석하여 상기 버켓의 작업 경로를 확정하고, 상기 버켓의 이동을 위한 제어 신호를 생성하는 통합제어부;를 포함한다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명에 대하여 상세히 설명하기로 한다.
본 발명의 운전자 보조시스템이 적용되는 굴삭기(1)는, 캐빈(41)을 구비하는 본체(40), 본체(40)와 결합하는 붐(31), 붐(31)을 회동시키기 위한 붐 실린더(32), 붐(31)과 회동 가능하게 결합되는 암(21), 암(21)을 회동시키기 위한 암 실린더(22), 암(21)의 말단에 결합되는 버켓(11), 및 버켓(11)을 회동시키기 위한 버켓 실린더(12)를 포함할 수 있다. 본 발명의 실시 예에서는, 상기와 같은 구성의 굴삭기(1)에 본 발명의 운전자 보조시스템이 설치된다고 설명하고 있으나, 굴삭기(1)의 구성이 상기와 같이 한정되는 것은 아니고, 본 발명의 운전자 보조시스템은 다양한 굴삭기 및 건설기계에 이용될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 시스템이 형성된 굴삭기(1)에 대한 모식도이고, 도 2는 본 발명의 일 실시 예에 따른 착용부(410)에 대한 모식도이다. 도 1과 도 2에서 보는 바와 같이, 굴삭기(1)의 운전자 보조를 위한 본 발명의 운전자 보조시스템은, 본체(40)와 결합하고, 버켓(11) 상 설정된 임의의 포인트인 버켓포인트(11a)의 위치와 버켓(11)의 자세를 측정하는 버켓위치확인부; 굴삭기(1) 내부에 위치한 운전자의 신체 일부에 착용되는 착용부(410); 착용부(410)의 일 부위와 결합하고, 굴삭작업 목표물에 레이저를 조사하여 작업 위치를 지시하는 작업위치지시부(420); 착용부(410)의 타 부위와 결합하고, 작업 위치와 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 작업위치지시부(420)에 의한 레이저 조사 위치를 획득하는 작업위치촬상부(430); 및 작업위치지시부(420)의 지시 위치, 지형이미지, 버켓포인트(11a)의 위치 및 버켓(11)의 자세를 분석하여 버켓(11)의 작업 경로를 확정하고, 버켓(11)의 이동을 위한 제어 신호를 생성하는 통합제어부(300);를 포함한다.
버켓위치확인부는, 본체(40)와 결합하고 버켓(11)과 버켓(11) 주위의 이미지를 3차원으로 인식하며 버켓(11) 상 설정된 임의의 포인트인 버켓포인트(11a)에 대한 3차원 측정 값인 버켓위치를 획득하는 촬상분석부(100)를 구비할 수 있다. 여기서, 버켓위치확인부는, 버켓위치를 이용하여 버켓포인트(11a)의 3차원 GNSS 좌표 값을 생성할 수 있다. 그리고, 이를 위해, 버켓위치확인부는, 본체(40)와 결합하고 GNSS 신호를 수신하여 촬상분석부(100)의 3차원 GNSS 좌표 값인 기준좌표를 분석하는 기준좌표분석부(200)를 더 구비할 수 있고, 본체(40)와 결합하는 통합제어부(300)는, 촬상분석부(100)로부터 전달 받은 버켓위치와 기준좌표분석부(200)로부터 전달 받은 기준좌표를 분석하여 버켓포인트(11a)의 3차원 좌표 값을 생성할 수 있다.
굴삭기(1)의 본체(40)는 운전자가 위치하는 캐빈(cabin)(41)을 구비하고, 촬상분석부(100)는 케빈의 상단에 설치되어, 버켓(11)에 대한 촬상이 용이한 위치에 설치될 수 있다. 다만, 촬상분석부(100)의 위치가 상기와 같이 한정되는 것은 아니며, 버켓(11)과 버켓(11) 주위 환경의 이미지를 촬상하기 용이한 본체(40)의 일 부위에 촬상분석부(100)가 설치될 수 있다.
촬상분석부(100)는, 버켓(11)과 버켓(11) 주위의 이미지를 3차원으로 인식하여 3차원이미지를 생성하는 3차원카메라(110), 및 3차원카메라(110)로부터 전달 받은 3차원이미지를 분석하여 버켓위치를 분석하는 촬상분석기(120),를 구비할 수 있다.
3차원카메라(110)로 3차원 TOF(Time-of-Flight)카메라가 이용될 수 있다. TOF카메라는 근적외선을 쏘아 돌아오는 신호의 세기와 위상을 측정하여 촬영 대상과의 거리를 계산하는 방식으로 3차원 측정 값들을 생성하며, 2차원으로 배열된 여러 개의 LED가 동시에 촬영 대상을 향해 근적외선을 쏘아 특정 높이의 거리 측정에 한정되지 않고, FULL 3D(Dimension)를 촬영할 수 있다.
본 발명의 실시 예에서는, 3차원카메라(110)가 TOF카메라로 형성된다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 3차원카메라(110)는 Structured Light pattern 방식, Stereo vision방식 등을 이용하여 촬상 대상에 대한 3차원 이미지를 수집하는 카메라일 수 있다.
상기와 같이 형성되는 3차원카메라(110)는 버켓(11)과 버켓(11) 주위의 이미지를 3차원으로 촬영하여 3차원 이미지를 생성하고, 이와 같이 생성된 3차원이미지를 촬상분석기(120)로 전달할 수 있다. 그리고, 촬상분석기(120)는, 3차원이미지로부터 버켓(11)의 이미지를 분리시키고, 분리된 버켓(11)의 이미지를 단순화시킬 수 있다.
구체적으로, 3차원카메라(110)로부터 3차원이미지를 전달 받은 촬상분석기(120)는, 딥러닝 기반의 객체 탐색 기법을 이용하여 3차원이미지에서 버켓(11)의 이미지를 탐색한 후 버켓(11)의 이미지를 분류하여 분리할 수 있다. 여기서, 딥러닝 알고리즘으로는, R-CNN 알고리즘, YOLO(You only Look Once) 알고리즘, SSD (Single Shot Detector) 알고리즘 등이 이용될 수 있다.
다음으로, 촬상분석기(120)는, 3차원이미지로부터 분리된 버켓(11)의 이미지를 단순화시킬 수 있으며, 이를 위해, 촬상분석기(120)는 3차원이미지로부터 분리된 버켓(11)의 이미지 해상도(픽셀 수)를 감소시키는 이미지 처리를 수행함으로써 이미지를 단순화시킬 수 있다. 그리고, 촬상분석기(120)는, 상기와 같이 단순화된 버켓(11)의 이미지에 복수 개의 포인트를 설정할 수 있으며, 복수 개의 포인트 중 버켓(11)의 끝단(가장 하단)의 중심에 위치한 포인트를 버켓포인트(11a)로 설정하고, 이와 같은 버켓포인트(11a)에 대한 버켓위치를 도출할 수 있다.
본 발명의 실시 예에서는, 버켓(11)의 끝단의 중심에 버켓포인트(11a)가 설정된다고 설명하고 있으나, 이에 한정되는 것은 아니고, 버켓(11)의 다른 부위에 버켓포인트(11a)가 설정될 수도 있다. 버켓(11)과 다른 물체와의 거리 파악을 용이하게 하기 위해 복수 개의 포인트는 버켓(11)의 외측 윤곽선을 따라 형성되는 것이 바람직할 수 있다.
그리고, 동시에, 버켓(11)의 외측 윤곽선을 실시간으로 파악함으로써, 버켓(11)의 자세도 판단할 수 있다. 구체적으로, 버켓포인트(11a)가 하나의 점에 고정되더라도, 버켓(11)의 자세에 따라 버켓(11)의 다른 포인트는 위치가 상이하게 형성될 수 있고, 통합제어부(300)는 이를 분석하여 버켓(11)의 자세를 판단할 수 있다.
버켓포인트(11a)의 3차원 측정 값인 버켓위치와 버켓포인트(11a) 외 다른 포인트간 거리는 일정하게 유지되고, 이에 따라, 굴삭기(1)의 작업에 의해 버켓(11)의 끝단에 다른 물체가 위치함으로써 3차원이미지에서 버켓포인트(11a)를 측정하기 용이하지 않은 경우에도, 다른 포인트들의 3차원 측정 값(거리, 방향, 각도)을 이용하여 버켓포인트(11a)의 위치를 연산함으로써, 촬상분석기(120)는 버켓포인트(11a)의 위치를 지속적으로 측정할 수 있다.
상기와 같이, 버켓(11)의 이미지를 분리시키고 단순화시키는 과정을 수행하고, 단순화시킨 이미지에서 복수 개의 포인트를 설정함으로써, 버켓(11)의 이미지 처리 속도를 향상시킬 수 있으며, 이에 따라, 버켓(11)의 위치를 확인하는 속도가 향상될 수 있다.
버켓위치는, 3차원카메라(110)로부터 버켓포인트(11a)까지의 3차원 거리, 방향 및 각도일 수 있다. 구체적으로, 버켓위치는, 도 1에서 보는 바와 같이, 3차원카메라(110)의 중심으로부터 버켓포인트(11a)까지의 거리, 3차원카메라(110)의 중심으로부터 버켓포인트(11a)로의 벡터 방향 및 각도일 수 있다. 여기서, 3차원카메라(110)의 중심을 기준으로 3차원 좌표계가 형성될 수 있다. 도 1에서, 3차원 좌표계로부터 버켓포인트(11a)로 연결된 화살표가 벡터 거리(L), 방향 및 각도(θx, θy, θz)에 대한 사항을 나타낼 수 있다.
기준좌표분석부(200)는 GNSS(Global Navigation Satellite System)수신기를 구비하고, GNSS 신호를 수신하여 기준좌표분석부(200)의 3차원 GNSS좌표를 획득할 수 있고, 도 1에서 보는 바와 같이, 기준좌표분석부(200)와 촬상분석부(100) 각각이 본체(40)와 결합하여 서로 간 고정된 위치에 존재하므로, 기준좌표분석부(200)는 동시에 촬상분석부(100)의 중심에 대한 3차원 GNSS좌표를 연산함으로써, 기준좌표를 획득할 수 있다. 그리고, 통합제어부(300)는, 상기와 같이 기준좌표를 전달 받고, 상기된 버켓위치에 대한 3차원 거리, 방향 및 각도를 이용하여, 버켓포인트(11a)의 3차원 GNSS 좌표 값을 실시간으로 생성할 수 있다.
이에 따라, 굴삭기(1)가 작동하여 버켓(11)을 이용한 작업을 수행함에 따라 버켓포인트(11a)의 3차원 GNSS 좌표 값도 실시간으로 변화하며, 이를 이용하여, 버켓(11)의 위치 이동, 회전 등에 대한 운동 정보를 실시간으로 획득할 수 있다.
본 발명의 운전자 보조시스템은, 버켓(11)의 실시간 위치를 표시하는 디스플레이부를 더 포함할 수 있다. 상기와 같은 버켓(11)의 운동 정보는 이미지화되어 디스플레이부에 표현될 수 있다. 구체적으로, 디스플레이부에는 굴삭기(1)의 축소 모형이 표현되고, 굴삭기(1)의 작동에 따라 굴삭기(1)의 축소 모형이 동일한 작동을 수행할 수 있다. 이는, 상기와 같은 버켓(11)의 위치 확인 뿐만 아니라, 기준좌표분석부(200)에 의한 본체(40)의 위치 확인이 가능하여 구현될 수 있다. 여기서, 본체(40)의 위치뿐만 아니라 본체(40)의 회전 각도 등도 분석될 수 있다.
착용부(410)는, HMD(Head Mounted Display)기기 또는 헬멧일 수 있다. 여기서, 헬멧은 일반적인 작업모 또는 다양한 기능이 구비된 스마트 헬멧일 수 있다. 그리고, 본 발명의 운전자 보조시스템은, 작업위치지시부(420)의 지시 위치 지정 후, 굴삭기(1)의 운전자의 조작 명령을 입력 받아 작업 사항을 통합제어부(300)로 전달하는 조작부를 더 포함할 수 있다. 여기서, 작업 사항은, 작업 위치에서의 버켓포인트(11a)의 위치, 버켓(11)의 자세 등을 포함할 수 있다. 작업 위치는 지면 상 2차원 영역 또는 공기 중의 3차원 영역으로 표시될 수 있고, 각각의 영역에서 버켓포인트(11a)의 위치, 버켓(11)의 자세 등이 설정될 수 있다. 조작부는 조이스틱, 조작 패드, 터치패드 등 다양한 기기 중 선택되는 하나 이상의 기기일 수 있다. 또한, 복수 개의 상기 작업 사항이 일련된 과정으로 진행될 수 있도록 각각의 상기 작업 위치에 대응되는 상기 작업 사항이 상기 조작부에 입력될 수 있다.
도 2에서 보는 바와 같이, HMD기기는, 착용한 운전자에게 굴삭기(1) 작업에 대한 화면을 보여주면서, 버켓(11)의 위치에 대한 정보 등을 표시할 수 있다. 구체적으로, HMD기기의 화면에는, 작업위치촬상부(430)에 의해 촬영되는 버켓(11)과 버켓(11) 주위의 이미지가 표시되고, 작업위치지시부(420)가 레이저를 조사하는 위치인 작업 위치가 표시되며, 화면에 표시된 버켓(11)의 이미지 상에 버켓포인트(11a)의 3차원 GNSS 좌표 값을 표시될 수 있다.
또한, HMD기기의 화면에는, 운전자가 조작부를 통해 선택한 작업 위치 외에 각각의 작업 위치에 설정된 작업 사항 등이 표시될 수 있다. 이를 위해, HMD기기의 화면에는, 조작부의 조작에 따라 이동을 하는 커서가 표시될 수 있고, HMD기기의 화면을 통해 운전자는 통합제어부(300)에 명령을 전달할 수도 있다. HMD기기가 아닌 헬멧을 이용하는 운전자는 HMD기기의 화면에 표시된 각각의 사항을 상기된 디스플레이부를 통해 확인할 수 있다.
이와 같이, 착용부(410) 또는 착용부(410)와 디스플레이부의 조합에 의해 운전자는 굴삭기(1)의 실시간 작업 상황과 굴삭기(1) 작업과 관련된 정보를 확인할 수 있음과 동시에 조종이 가능하여, 운전자는 간단한 조작만으로도 굴삭기(1)의 반복적인 작업을 수행할 수 있다.
작업위치지시부(420)는 착용부(410)에 결합되어 운전자의 신체 일부(머리 등) 움직임에 따라 방향 변경이 가능할 수 있다. 구체적으로, 도 2에서 보는 바와 같이, HMD기기는 운전자의 신체 일부(머리 등)에 고정되도록 결착체(411)와 결합할 수 있고, 작업위치지시부(420)는 HMD기기의 일 측면에 설치될 수 있다. 그리고, 운전자가 신체 일부(머리 등)를 움직여서 작업위치지시부(420)의 레이저 조사 위치를 변경할 수 있으며, 이와 같은 레이저 조사 위치 변경을 HMD기기로 확인할 수 있다.
작업위치지시부(420)와 마찬가지로, 작업위치촬상부(430)도 착용부(410)와 결합되어 운전자의 신체 일부(머리 등) 움직임에 따라 방향 변경이 가능할 수 있다. 여기서, 작업위치촬상부(430)는 HMD기기의 타 측면에 설치될 수 있다. 운전자의 신체 일부(머리 등)가 움직이면 작업위치촬상부(430)의 촬영 범위도 지속적으로 변경되게 되고, 작업위치촬상부(430)에 의해 촬영된 이미지는 통합제어부(300)로 실시간으로 전송될 수 있다. 그리고, 통합제어부(300)는 작업위치촬상부(430)로부터 수신된 이미지를 분석하여 작업 환경 주위의 전체 이미지를 생성할 수 있다.
작업위치촬상부(430)의 광축이 운전자의 머리 움직임에 따라 변경되더라도 작업위치촬상부(430)의 촬영 범위에는 버켓(11)이 계속 위치될 수 있도록 작업위치촬상부(430)의 촬영 범위가 설정될 수 있다. 이에 따라, 상기와 같이 실시간으로 버켓포인트(11a)의 3차원 GNSS 좌표 값을 측정할 수 있을 뿐만 아니라, 주위 환경 이미지와 버켓(11) 이미지 간 관계에 대해서도 지속적으로 통합제어부(300)에서 판단될 수 있다.
즉, 통합제어부(300)는 버켓포인트(11a)의 위치, 버켓(11)의 자세 및 지형이미지에 대한 분석을 수행하며, 하나의 작업 위치에서 다른 작업 위치로 버켓(11)의 위치를 변경시키는 경우, 장애물의 형성 여부에 따라 복수 개의 버켓(11) 작업 경로를 설정하고, 복수 개의 버켓(11) 작업 경로 중 최적의 작업 경로를 확정하여, 붐 실린더(32), 암 실린더(22), 버켓 실린더(12) 및 본체(40)에 제어 신호를 전달할 수 있다. 이에 따라, 최적의 버켓(11) 작업 경로를 따라 버켓(11)이 이동하도록 붐 실린더(32)의 길이(C bm), 암 실린더(22)의 길이(C am) 및 버켓 실린더(12)의 길이(C bk) 각각이 가변하고, 본체(40)의 직선 운동 또는 회전 운동이 수행될 수 있다.
그리고, 이와 같이 통합제어부(300)가 최적의 버켓(11) 작업 경로를 확정하기 위하여 딥러닝 알고리즘을 이용할 수 있으며, 각각의 상황에 대한 학습 수행 후 딥러닝 알고리즘의 결과 값을 도출하여 최적의 버켓(11) 작업 경로를 확정할 수 있다. 여기서, 딥러닝 알고리즘으로는 심층 신경망, 합성곱 신경망 또는 순환 신경망 중 어느 하나의 알고리즘이 이용될 수 있다. 다만, 이에 한정되는 것은 아니다.
도 3은 본 발명의 일 실시 예에 따른 작업 위치 가변에 대한 이미지이다. 도 3에서, 작업 위치 1 내지 6 각각에 의한 작업 경로는 1 내지 5의 단위경로(Path)로 구분되고, 도 3 하단의 속도(v T)-시간(Time) 그래프는 시간의 흐름에 따라 순차적으로 연결되는 각각의 단위경로에 대한 시간을 나타낼 수 있다. 그리고, 속도(v T)-시간(Time) 그래프의 숫자는 속도(단위 mm/sec)이다.
그리고, 도 4는 본 발명의 일 실시 예에 따른 각각의 작업 위치에서 버켓의 자세 가변에 대한 이미지이고, 도 5는 본 발명의 다른 실시 예에 따른 각각의 작업 위치에서 버켓의 자세 가변에 대한 이미지이다. 도 4에서는, 각각의 원형 내 번호에 대응되는 작업 위치에서의 작업 사항을 나타낸다. 마찬가지로, 도 5에서도, 각각의 원형 내 번호에 대응되는 작업 위치에서의 작업 사항을 나타낸다. 그리고, 도 4와 도 5에서 해칭 표시 부분은 작업 대상인 토지를 나타낸다.
통합제어부(300)는, 작업 사항에 따른 버켓(11)의 작업 경로에 대한 데이터를 저장하고 있을 수 있다. 구체적으로, 통합제어부(300)에는 작업 위치의 변화에 따른 작업 경로에 따라 붐 실린더(32), 암 실린더(22), 버켓 실린더(12) 및 본체(40)의 작동을 자동으로 제어하기 위한 작업 경로 제어 데이터가 내장될 수 있고, 버켓(11)이 하나의 작업 위치로 이동한 후에는 통합제어부(300)는 작업 경로 제어 데이터를 이용하여 붐 실린더(32), 암 실린더(22), 버켓 실린더(12) 및 본체(40)의 작동을 제어함으로써, 소정의 작업이 수행되도록 자동 제어를 수행할 수 있다.
그리고, 작업 위치와 작업 사항에 따라 버켓(11)의 작업 경로가 가변할 수 있다. 상기된 바와 같이 작업위치촬상부(430)로 버켓(11) 주위에 대한 이미지가 지속적으로 촬영되고 이에 대한 이미지가 통합제어부(300)에 의해 분석되므로, 작업 위치 및 그 주위에 장애물 등의 상황이 발생하거나 지형의 굴곡이 형성된 경우에는, 상기된 딥러닝 등에 의한 지형 판단에 의해 작업 경로 프로그램이 수정될 수도 있다. 그리고, 도 3에서 보는 바와 같이, 각각의 작업 위치로 버켓(11)이 이동하는 동안, 버켓(11)의 속도도 설정될 수 있다. 이에 따라, 주위 환경에 대응하여 유연한 작업 위치 변경을 수행할 수 있다.
도 3 내지 도 5에서 보는 바와 같이, 작업 위치는 복수 개 형성될 수 있으며, 각각의 작업 위치에 대한 작업 사항이 상이하게 형성될 수 있다. 그리고, 복수 개의 작업 위치가 일련된 과정으로 진행될 수 있도록 각각의 작업 위치에 대응되는 작업 사항이 조작부에 입력될 수 있다.
구체적으로, 도 3 내지 도 5에서 보는 바와 같이, 운전자는, 복수 개의 작업 위치로써, 제1 내지 제6작업위치(①~⑥) 중 적어도 하나 이상의 작업 위치를 입력할 수 있고, 각각의 작업 위치에 따라 각각 다른 작업 사항을 설정할 수도 있다. 이와 같은 사항에 대한 정보를 전달 받은 통합제어부(300)는 각각의 작업 위치에서 각각의 작업 사항이 수행되도록 제어 신호를 생성할 수 있다.
구체적인 일 실시 예로써, 도 3과 도 4에서 보는 바와 같이, 굴토 후 펼치기 작업을 수행할 수 있다.
먼저, 제1 내지 제6작업 위치가 설정될 수 있다. 그리고, 제1작업위치(①)에서 버켓포인트(11a)의 초기 위치와 버켓(11)의 초기 자세를 설정될 수 있고, 제2작업위치(②)에서, 버켓포인트(11a)가 본체(40)에 근접되도록 소정의 위치에 버켓포인트(11a)가 위치하면서 버켓(11)의 초기 자세가 유지되도록 설정될 수 있다. 그 후, 제3작업위치(③)에서, 버켓포인트(11a)가 상승 및 본체(40)에 근접되도록 소정의 위치에 버켓포인트(11a)를 위치시키고 버켓(11)이 본체(40)를 향해 회전된 자세로 변경시킬 수 있다. 이에 따라, 제1작업위치(①)로부터 제3작업위치(③)로 버켓(11)의 작업 사항이 가변되면서, 버켓(11)의 오므리기(Crowding) 작업이 수행될 수 있다.
다음으로, 제4작업위치(④)에서, 버켓포인트(11a)가 상승 및 본체(40)에서 이격되도록 소정의 위치에 버켓포인트(11a)를 위치시키고 버켓(11)의 자세가 유지되도록 하면서 본체(40)가 회전(swing)된 상태가 되도록 설정될 수 있다. 이에 따라, 버켓(11)은 굴토 작업 지역에서 벗어나 배토 작업 시작 지역으로 이동할 수 있다. 그리고, 제5작업위치(⑤)에서, 버켓포인트(11a)가 하강 및 본체(40)에서 더 이격되도록 소정의 위치에 버켓포인트(11a)를 위치시키고 버켓(11)이 본체(40)로부터 이격되는 방향으로 회전된 자세로 변경시킬 수 있다. 다음으로, 제6작업위치(⑥)에서, 버켓포인트(11a)가 하강 및 본체(40)에서 더 이격되도록 소정의 위치에 버켓포인트(11a)를 위치시키고 버켓(11)의 자세를 유지하면서 본체(40)가 회전(swing)된 상태가 되도록 설정될 수 있다. 이에 따라, 제4작업위치(④)로부터 제6작업위치(⑥)로 버켓(11)의 작업 사항이 가변되면서, 버켓(11)의 펼치기(Spreading) 작업이 수행되고, 버켓(11)이 굴토 작업 시작 위치인 제1작업위치(①)로 회귀할 수 있다.
구체적인 다른 실시 예로써, 도 5에서 보는 바와 같이, 고르기 및 파기 후 펼치기 작업을 수행할 수 있다.
먼저, 운전자는, 조작부에 제1 내지 제7작업 위치를 입력할 수 있다. 그리고, 제1작업위치(①)에서 버켓포인트(11a)의 초기 위치와 버켓(11)의 초기 자세가 설정될 수 있고, 제2작업위치(②)에서, 버켓포인트(11a)가 본체(40)에 근접되도록 소정의 위치에 버켓포인트(11a)가 위치하면서 버켓(11)의 초기 자세가 유지되도록 설정될 수 있다. 이에 따라, 제1작업위치(①)로부터 제2작업위치(②)로 고르기(Grading) 작업이 수행될 수 있다.
그 후, 제3작업위치(③)에서, 버켓포인트(11a)가 상승 및 본체(40)에 근접되도록 소정의 위치에 버켓포인트(11a)를 위치시키고 버켓(11)이 본체(40)를 향해 회전된 자세로 변경시킬 수 있고, 다음으로, 제4작업위치(④)에서, 버켓(11)이 본체(40)로 근접된 방향으로 회전된 상태로 변경시킬 수 있다. 이에 따라, 제3작업위치(③)로부터 제4작업위치(④)로 버켓(11)의 작업 사항이 가변되면서, 버켓(11)의 오므리기(Crowding) 작업이 수행될 수 있다.
다음으로, 제5작업위치(⑤)에서, 버켓포인트(11a)가 상승 및 본체(40)에서 이격되도록 소정의 위치에 버켓포인트(11a)를 위치시키고 버켓(11)의 자세가 유지되도록 하면서 본체(40)가 회전(swing)된 상태가 되도록 입력할 수 있다. 이에 따라, 버켓(11)은 굴토 작업 지역에서 벗어나 배토 작업 시작 지역으로 이동할 수 있다.
그리고, 제6작업위치(⑥)에서, 버켓포인트(11a)가 하강 및 본체(40)에서 더 이격되도록 소정의 위치에 버켓포인트(11a)를 위치시키고 버켓(11)이 본체(40)로부터 이격되는 방향으로 회전된 자세로 변경시킬 수 있다. 다음으로, 제7작업위치(⑦)에서, 버켓포인트(11a)가 하강 및 본체(40)에서 더 이격되도록 소정의 위치에 버켓포인트(11a)를 위치시키고 버켓(11)의 자세를 유지하면서 본체(40)가 회전(swing)된 상태가 되도록 설정될 수 있다. 이에 따라, 제4작업위치(④)로부터 제7작업위치(⑦)로 버켓(11)의 작업 사항이 가변되면서, 버켓(11)의 펼치기(Spreading) 작업이 수행되고, 버켓(11)이 굴토 작업 시작 위치인 제1작업위치(①)로 회귀할 수 있다.
본 발명의 실시 예에서는, 상기와 같이 버켓(11)의 위치가 자동 제어되고, 작업 위치 및 작업 사항 확정에 따라 작업 경로가 가변하면서 굴삭기(1)를 이용한 작업이 자동으로 수행된다고 설명하고 있으나, 운전자가 지속적으로 굴삭기(1)의 작업 과정을 관찰하면서 버켓(11)이 작업 경로를 벗어나거나, 작업 경로 내에 돌발성 장애물이 발생하는 경우, 운전자가 조작부를 수동으로 조작하여 수동으로 작업 경로를 변경시킬 수 있다.
이하, 본 발명의 운전자 보조시스템을 이용한 버켓의 위치 확인 방법에 대해 설명하기로 한다.
제1단계에서, 촬상분석부(100)의 3차원카메라(110)가 버켓(11)과 버켓(11) 주위의 이미지를 촬상할 수 있다. 다음으로, 제2단계에서, 촬상분석부(100)의 촬상분석기(120)가 3차원이미지로부터 버켓(11)의 이미지를 분리시키고, 분리된 버켓(11)의 이미지를 단순화시킬 수 있다. 그리고, 제3단계에서, 촬상분석부(100)가 버켓위치를 획득할 수 있다. 그 후, 제4단계에서, 기준좌표분석부(200)가 GNSS 신호를 수신하여 기준좌표를 분석 획득할 수 있다. 다음으로, 제5단계에서, 통합제어부(300)가 버켓위치와 기준좌표를 분석하여 버켓포인트(11a)의 3차원 GNSS 좌표 값을 생성할 수 있다.
추가적으로, 제 6단계에서, 통합제어부(300)가 굴삭기(1)의 위치 및 회전 각도를 분석할 수 있다. 구체적으로, 굴삭기(1)의 위치는 기준좌표분석부(200)에서 획득한 기준좌표에 의해 특정될 수 있으며, 굴삭기(1)의 회전은 기준좌표에 대한 3차원 GNSS 좌표 값를 이용하거나, 또는, 버켓(11)의 위치 변화를 이용하여 연산될 수 있다. 나머지 상세한 사항은 상기된 사항과 동일하다.
이하, 본 발명의 운전자 보조시스템을 이용한 굴삭기 제어 방법에 대해 설명하기로 한다.
먼저, 제1단계에서, 굴삭기(1)의 운전자의 동작에 의해 작업위치지시부(420)의 레이저가 조사되어 작업 위치가 지시될 수 있다. 여기서, 작업 위치 지시 전, 적어도 하나 이상의 작업 위치와 각각의 작업 위치에 대응되는 작업 사항이 통합제어부(300)에 전달될 수 있다. 이와 같은 작업 위치와 작업 사항의 전달은, 운전자가 조작부에 입력하여 수행되거나, 또는, 자동으로 수행될 수 있다.
그리고, 제2단계에서, 작업위치촬상부(430)가 버켓(11)과 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 작업위치지시부(420)에 의한 레이저 조사 위치를 획득하여 작업 위치가 확정될 수 있다. 다음으로, 버켓위치확인부가 버켓포인트(11a)의 위치를 측정하여 버켓포인트(11a)의 3차원 좌표 값이 확정될 수 있다. 그 후, 제3단계에서, 버켓위치확인부가 버켓(11)의 3차원 이미지를 이용하여 버켓포인트(11a)의 위치와 버켓(11)의 자세를 측정하여 버켓포인트 위치(11a)와 버켓(11) 자세의 3차원 좌표 값이 확정될 수 있다. 여기서, 버켓포인트(11a)의 3차원 좌표 값은, 3차원 GNSS 좌표 값일 수 있다.
다음으로, 제4단계에서, 통합제어부(300)가 작업위치지시부(420)의 지시 위치와 버켓포인트(11a)의 위치, 버켓(11)의 자세 및 지형이미지를 분석하여 버켓(11)의 작업 경로를 확정하고, 버켓(11)의 이동을 위한 제어 신호를 생성할 수 있다. 여기서, 선택적으로 조작부에 버켓(11)에 담기는 토사 요구 용량을 추가 입력하여 버켓(11)의 작업 경로 확정에 이용할 수 있다.
구체적으로, 운전자가 조작부에 토사 요구 용량을 입력할 수 있다. 통합제어부(300)는 버켓포인트(11a)의 작업 위치와 버켓(11)의 자세와 지형이미지와 토사 요구 용량을 분석하여 버켓(11)에 토사 요구 용량을 담기도록 버켓(11)의 작업 경로를 확정하고, 버켓(11)의 이동을 위한 제어 신호를 생성할 수 있다.
그리고, 제5단계에서, 통합제어부(300)의 제어 신호가 굴삭기(1)의 본체(40), 붐 실린더(32), 암 실린더(22) 또는 버켓 실린더(12)로 전달되어, 굴삭기(1)의 자동 제어가 수행될 수 있다. 또한, 버켓(11)에 토사 요구 용량만큼만 토사가 담겨지도록 소정의 깊이 만큼 토사를 파내는 버켓(11)의 작동이 수행될 수 있다. 즉, 이와 같은 버켓(11)이 토사를 파내어 담는 경로도 버켓(11)의 작업 경로에 포함되어 자동 제어될 수 있다. 나머지 상세한 사항은 상기된 사항과 동일하다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
<부호의 설명>
1 : 굴삭기 11 : 버켓
11a : 버켓포인트 12 : 버켓 실린더
21 : 암 22 : 암 실린더
31 : 붐 32 : 붐 실린더
40 : 본체 41 : 캐빈
100 : 촬상분석부 110 : 3차원카메라
120 : 촬상분석기 200 : 기준좌표분석부
300 : 통합제어부 410 : 착용부
411 : 결착체 420 : 작업위치지시부
430 : 작업위치촬상부

Claims (11)

  1. 본체, 붐, 암, 및 버켓을 포함하는 굴삭기의 운전자 보조시스템에 있어서,
    상기 본체와 결합하고, 상기 버켓 상 설정된 임의의 포인트인 버켓포인트의 위치와 버켓의 자세를 측정하는 버켓위치확인부;
    상기 굴삭기 내부에 위치한 운전자의 신체 일부에 착용되는 착용부;
    상기 착용부의 일 부위와 결합하고, 굴삭작업 목표물에 레이저를 조사하여 작업 위치를 지시하는 작업위치지시부;
    상기 착용부의 타 부위와 결합하고, 작업 위치와 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 상기 작업위치지시부에 의한 레이저 조사 위치를 획득하는 작업위치촬상부; 및
    상기 작업위치지시부의 지시 위치, 상기 지형이미지, 상기 버켓포인트의 위치 및 상기 버켓의 자세를 분석하여 상기 버켓의 작업 경로를 확정하고, 상기 버켓의 이동을 위한 제어 신호를 생성하는 통합제어부;를 포함하는 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  2. 청구항 1에 있어서,
    상기 착용부는, HMD(Head Mounted Display)기기 또는 헬멧인 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  3. 청구항 1에 있어서,
    상기 작업위치지시부의 지시 위치 지정 후, 상기 굴삭기의 운전자의 조작 명령을 입력 받아, 상기 작업 위치에서의 버켓포인트의 위치와 상기 버켓의 자세를 포함하는 작업 사항을 상기 통합제어부로 전달하는 조작부를 더 포함하는 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  4. 청구항 3에 있어서,
    상기 작업 위치는 복수 개 형성될 수 있으며, 각각의 작업 위치에 대한 작업 사항이 상이하게 형성되는 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  5. 청구항 4에 있어서,
    복수 개의 상기 작업 사항이 일련된 과정으로 진행될 수 있도록 각각의 상기 작업 위치에 대응되는 상기 작업 사항이 상기 조작부에 입력되는 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  6. 청구항 5에 있어서,
    상기 작업 위치와 상기 작업 사항에 따라 상기 버켓의 작업 경로가 가변하는 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  7. 청구항 4에 있어서,
    상기 통합제어부는, 상기 작업 사항에 따른 상기 버켓의 작업 경로에 대한 데이터를 저장하는 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  8. 청구항 1에 있어서,
    상기 버켓위치확인부는,
    상기 본체와 결합하고, 상기 버켓과 상기 버켓 주위의 이미지를 3차원으로 인식하며, 상기 버켓 상 설정된 임의의 포인트인 버켓포인트의 위치와 상기 버켓의 자세를 3차원 측정 값으로 획득하는 촬상분석부를 구비하는 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  9. 청구항 8에 있어서,
    상기 버켓위치확인부는, 상기 버켓위치를 이용하여 상기 버켓포인트의 3차원 GNSS 좌표 값을 생성하는 것을 특징으로 하는 굴삭기의 운전자 보조시스템.
  10. 청구항 1의 굴삭기의 운전자 보조시스템을 이용한 굴삭기 제어 방법에 있어서,
    상기 굴삭기의 운전자의 동작에 의해 상기 작업위치지시부의 레이저가 조사되어 작업 위치가 지시되는 제1단계;
    상기 작업위치촬상부가 상기 버켓과 주위 지형에 대한 3차원 이미지인 지형이미지를 획득하고, 상기 작업위치지시부에 의한 레이저 조사 위치를 획득하여 작업 위치가 확정되는 제2단계;
    상기 버켓위치확인부가 상기 버켓의 3차원 이미지를 이용하여 상기 버켓포인트의 위치와 상기 버켓의 자세를 측정하여 상기 버켓포인트 위치와 상기 버켓 자세의 3차원 좌표 값이 확정되는 제3단계;
    상기 통합제어부가 상기 작업위치지시부의 지시 위치, 상기 버켓포인트의 위치, 상기 버켓의 자세 및 상기 지형이미지를 분석하고, 선택적으로 상기 버켓에 담기는 토사 요구 용량을 추가 입력하여, 상기 버켓의 작업 경로를 확정하고, 상기 버켓의 이동을 위한 제어 신호를 생성하는 제4단계; 및
    상기 통합제어부의 제어 신호가 상기 굴삭기의 본체, 붐 실린더, 암 실린더 또는 버켓 실린더로 전달되어, 상기 굴삭기의 자동 제어가 수행되는 제5단계;를 포함하는 것을 특징으로 하는 굴삭기 제어 방법.
  11. 청구항 10에 있어서,
    상기 제3단계에서, 상기 버켓포인트의 3차원 좌표 값은, 3차원 GNSS 좌표 값인 것을 특징으로 하는 굴삭기 제어 방법.
PCT/KR2021/005908 2020-05-11 2021-05-11 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법 WO2021230635A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0055725 2020-05-11
KR1020200055725A KR102417984B1 (ko) 2020-05-11 2020-05-11 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법

Publications (1)

Publication Number Publication Date
WO2021230635A1 true WO2021230635A1 (ko) 2021-11-18

Family

ID=78524628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/005908 WO2021230635A1 (ko) 2020-05-11 2021-05-11 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법

Country Status (2)

Country Link
KR (1) KR102417984B1 (ko)
WO (1) WO2021230635A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115110598A (zh) * 2022-08-10 2022-09-27 安徽建工集团股份有限公司总承包分公司 一种三维拟合现场挖掘破碎装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230174526A (ko) 2022-06-21 2023-12-28 한화오션 주식회사 딥러닝기반 굴삭기 이상감지 시스템 및 방법 그리고 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000291076A (ja) * 1999-04-01 2000-10-17 Tokai Rika Co Ltd パワーショベル
US20030226290A1 (en) * 2000-05-05 2003-12-11 Savard Hassel J Laser-guided construction equipment
JP2006148842A (ja) * 2004-10-20 2006-06-08 Daimei Kk ウェアラブル監視カメラシステム
JP2013012193A (ja) * 2011-06-28 2013-01-17 Vorwerk & Co Interholding Gmbh 自動走行装置及びそのナビゲーション方法
US20180178650A1 (en) * 2015-09-16 2018-06-28 Fujifilm Corporation Projection type display device and projection control method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000291048A (ja) * 1999-04-01 2000-10-17 Tokai Rika Co Ltd パワーショベル
JP4671317B2 (ja) * 2001-05-02 2011-04-13 株式会社小松製作所 地形形状計測装置およびガイダンス装置
JP2008143701A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd 産業車両の視界改善システム及び方法
KR101144727B1 (ko) 2009-05-12 2012-05-24 인하대학교 산학협력단 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템
JP2015226094A (ja) * 2014-05-26 2015-12-14 住友建機株式会社 作業機械用遠隔操作システム
EP3974586B1 (en) * 2017-03-07 2024-03-13 Sumitomo Heavy Industries, Ltd. Work support system for a construction machine
JP7021502B2 (ja) * 2017-10-27 2022-02-17 コベルコ建機株式会社 建設機械の視覚拡張システム
JP7087545B2 (ja) * 2018-03-28 2022-06-21 コベルコ建機株式会社 建設機械

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000291076A (ja) * 1999-04-01 2000-10-17 Tokai Rika Co Ltd パワーショベル
US20030226290A1 (en) * 2000-05-05 2003-12-11 Savard Hassel J Laser-guided construction equipment
JP2006148842A (ja) * 2004-10-20 2006-06-08 Daimei Kk ウェアラブル監視カメラシステム
JP2013012193A (ja) * 2011-06-28 2013-01-17 Vorwerk & Co Interholding Gmbh 自動走行装置及びそのナビゲーション方法
US20180178650A1 (en) * 2015-09-16 2018-06-28 Fujifilm Corporation Projection type display device and projection control method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115110598A (zh) * 2022-08-10 2022-09-27 安徽建工集团股份有限公司总承包分公司 一种三维拟合现场挖掘破碎装置
CN115110598B (zh) * 2022-08-10 2023-11-28 安徽建工集团股份有限公司总承包分公司 一种三维拟合现场挖掘破碎装置

Also Published As

Publication number Publication date
KR102417984B1 (ko) 2022-07-08
KR20210138185A (ko) 2021-11-19

Similar Documents

Publication Publication Date Title
WO2021230635A1 (ko) 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
WO2021112369A1 (en) Mapping method of lawn mower robot
WO2017222136A1 (ko) 토공공사 수행시 굴삭기의 형상정보를 실시간 제공하는 굴삭기 3d 토공 bim 시스템
KR101833795B1 (ko) 왜곡된 항공영상의 정사영상 처리 장치
CN113495561B (zh) 建设现场管理系统
CN112276951B (zh) 一种无人搜排爆机器人系统及其工作方法
KR101944816B1 (ko) 굴삭 작업 검측 자동화 시스템
Yang et al. Infrared LEDs-based pose estimation with underground camera model for boom-type roadheader in coal mining
US12054915B2 (en) Work assisting server and work assisting system
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
EP3960688A1 (en) Crane inspection system and crane
US20220412048A1 (en) Work assist server, work assist method, and work assist system
WO2020159277A2 (ko) 이동 로봇 및 이의 제어 방법
WO2021145575A1 (ko) 굴삭 레벨 검측 장치
JPH0823260B2 (ja) 削岩機の穿孔位置決め制御方法及びその装置
JP2001264059A (ja) 被計測対象の変位量計測方法
WO2022215898A1 (ko) 건설기계를 위한 센서 퓨전 시스템 및 센싱 방법
CN111827403A (zh) 一种水下智能清淤机器人控制系统
KR102415420B1 (ko) 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법
WO2020159246A2 (ko) 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템
WO2022145498A1 (en) Method and device for controlling excavator
WO2022005096A1 (ko) 자율 작업 건설 기계 및 그의 동작 방법
WO2024144026A1 (ko) 카메라 위치 추적 장치 및 그 방법
US12134545B2 (en) Crane inspection system and crane
US20220398512A1 (en) Work assist server, work assist method, and work assist system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21803026

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21803026

Country of ref document: EP

Kind code of ref document: A1