KR20200137975A

KR20200137975A - Operation support system for work machine, operation support method for work machine, maintenance support method for operation support system, construction machine

Info

Publication number: KR20200137975A
Application number: KR1020200046444A
Authority: KR
Inventors: 유헤이 니시다; 겐 오마에; 도미오 시가키
Original assignee: 나부테스코 가부시키가이샤
Priority date: 2019-05-29
Filing date: 2020-04-17
Publication date: 2020-12-09
Also published as: JP2020193503A; CN112012269A

Abstract

The present invention provides an operation support system for a work machine, which can reduce a burden of an operator in consideration of an operation without contact with an obstacle. The operation support system (1) for a work machine comprises an acquiring part (10), and a motion control part (20). The acquiring part (10) acquires image information about a moving range of a moving part (40) of the work machine (100). The motion control part (20) causes the moving part (40) to perform a motion avoiding contact with the obstacle based on the image information acquired from the image information.

Description

Operation support system for work machines, control support methods for work machines, maintenance support methods for control support systems, construction machinery {OPERATION SUPPORT SYSTEM FOR WORK MACHINE, OPERATION SUPPORT METHOD FOR WORK MACHINE, MAINTENANCE SUPPORT METHOD FOR OPERATION SUPPORT SYSTEM, CONSTRUCTION MACHINE}

본 발명은, 작업 기계의 조종 지원 시스템, 작업 기계의 조종 지원 방법, 조종 지원 시스템의 보수 지원 방법 및 건설 기계에 관한 것이다.The present invention relates to a control support system for a working machine, a control support method for a work machine, a maintenance support method for a control support system, and a construction machine.

주위의 작업자 등을 장해물로서 검지하는 센서를 구비하는 건설 기계가 알려져 있다. 예를 들어, 특허문헌 1에는, 하부 주행체와 상부 선회체와 감시 영역 설정 수단과 장해물 검지 센서와 산출 수단과 시각 정보 취득 수단과 기억 수단을 구비한 건설 기계가 기재되어 있다. 이 건설 기계는, 하부 주행체와 상부 선회체의 상대 각도에 기초하여 감시 영역을 설정하고, 그 영역에서의 장해물의 위치 좌표를 산출하고, 그 산출 결과와 시각 정보를 관련지어 기억한다.A construction machine is known that has a sensor that detects a nearby worker or the like as an obstacle. For example, Patent Document 1 discloses a construction machine including a lower traveling body and an upper turning body, a monitoring area setting means, an obstacle detecting sensor, a calculation means, a time information acquisition means, and a storage means. This construction machine sets a monitoring area based on the relative angle of the lower traveling body and the upper turning body, calculates the position coordinates of the obstacle in the area, and stores the calculation result and time information in association.

일본 특허 공개 제2017-201114호 공보Japanese Patent Publication No. 2017-201114

본 발명자들은, 유압 등의 동력으로 구동되는 붐·암과 어태치먼트 등을 구비하는 건설 기계에 대하여, 이하의 인식을 얻었다.The inventors of the present invention have obtained the following recognition about a construction machine including a boom arm and an attachment that is driven by power such as hydraulic pressure.

어느 건설 기계는, 동력을 이용하여 붐이나 암 등의 팔 기구를 구동하여, 팔 기구에 설치된 버킷 등의 어태치먼트를 움직이게 하여 소정의 작업을 행한다. 이 기계의 조종자는, 어태치먼트를 이동시킬 때, 어태치먼트나 팔 기구가 작업자 등의 장해물에 접촉하지 않도록 주의 깊게 조종할 필요가 있다. 이것은, 조종자에게 있어서 큰 부담이고, 작업 효율 저하의 요인으로 되어 있다.A certain construction machine uses power to drive an arm mechanism such as a boom or an arm to move an attachment such as a bucket provided in the arm mechanism to perform a predetermined operation. When moving the attachment, the operator of this machine needs to carefully manipulate the attachment or arm mechanism so that it does not come into contact with obstacles such as an operator. This is a great burden for the operator and is a factor of lowering work efficiency.

시인성을 보충하기 위해, 건설 기계에 설치된 카메라로 촬영된 영상을, 조종실의 디스플레이에 표시하는 것을 생각할 수 있다. 그러나, 이 경우, 디스플레이의 영상과 작업 내용을 동시에 확인하면서 조종하게 되어, 조종자의 부담은 오히려 증대되어, 조종성이 개선된다고는 할 수 없다.In order to supplement visibility, it is conceivable to display an image taken with a camera installed on a construction machine on a display in the cockpit. However, in this case, the control is performed while simultaneously checking the image of the display and the work content, and the burden on the operator is rather increased, and it cannot be said that the controllability is improved.

조종자의 부담을 경감시키는 관점에서는, 특허문헌 1에 기재된 건설 기계는 충분히 대처되어 있다고는 할 수 없다. 이와 같은 과제는, 건설 기계뿐만 아니라 다른 종류의 작업 기계에 대해서도 발생할 수 있다.From the viewpoint of reducing the burden on the operator, it cannot be said that the construction machine described in Patent Document 1 has been sufficiently coped with. Such a problem may occur not only for construction machinery but also for other types of working machinery.

본 발명은, 이러한 과제를 감안하여 이루어진 것이고, 조종자의 부담을 경감 가능한 작업 기계의 조종 지원 시스템을 제공하는 것을 목적의 하나로 하고 있다.The present invention has been made in view of such a problem, and an object thereof is to provide a control support system for a work machine capable of reducing the burden on the operator.

상기 과제를 해결하기 위해, 본 발명의 어느 양태의 작업 기계의 조종 지원 시스템은, 작업 기계의 이동부의 이동 범위에 관한 화상 정보를 취득하는 취득부와, 화상 정보에 기초하여 이동부에 장해물과의 접촉을 회피하는 동작을 하게 하는 동작 제어부를 구비한다.In order to solve the above problems, a control support system for a work machine according to an aspect of the present invention includes an acquisition unit that acquires image information about a moving range of a moving unit of the work machine, and an obstacle to the moving unit based on the image information. And an operation control unit for performing an operation to avoid contact.

또한, 이상의 임의의 조합이나, 본 발명의 구성 요소나 표현을 방법, 장치, 프로그램, 프로그램을 기록한 일시적인 또는 일시적이지 않은 기억 매체, 시스템 등의 사이에서 서로 치환한 것도 또한, 본 발명의 형태로서 유효하다.In addition, any combination of the above or the constituent elements or expressions of the present invention in which the method, device, program, temporary or non-temporary storage medium, and system in which the program is recorded, are substituted with each other is also effective as an aspect of the present invention. Do.

본 발명에 따르면, 조종자의 부담을 경감 가능한 작업 기계의 조종 지원 시스템을 제공할 수 있다.According to the present invention, it is possible to provide a control support system for a working machine capable of reducing the burden on the operator.

도 1은 제1 실시 형태에 관한 작업 기계의 조종 지원 시스템을 개략적으로 도시하는 측면도이다.
도 2는 도 1의 조종 지원 시스템을 개략적으로 도시하는 블록도이다.
도 3은 도 1의 조종 지원 시스템을 도시하는 평면도이다.
도 4는 도 1의 조종 지원 시스템의 조종자의 전방 시계를 모식적으로 도시하는 도면이다.
도 5는 도 1의 조종 지원 시스템의 사람 식별부를 설명하기 위한 도면이다.
도 6은 도 1의 조종 지원 시스템의 이동부 식별부를 설명하기 위한 도면이다.
도 7은 도 1의 조종 지원 시스템의 거리 특정부를 설명하기 위한 도면이다.
도 8은 도 1의 조종 지원 시스템의 회피 제어부를 설명하기 위한 도면이다.
도 9는 도 1의 조종 지원 시스템의 접촉 추정부를 설명하기 위한 도면이다.
도 10은 도 1의 조종 지원 시스템의 회피 처리를 도시하는 흐름도이다.1 is a side view schematically showing a steering support system for a working machine according to a first embodiment.
FIG. 2 is a block diagram schematically illustrating the steering assistance system of FIG. 1.
3 is a plan view showing the steering assistance system of FIG. 1.
Fig. 4 is a diagram schematically showing a front view of a manipulator in the control assistance system of Fig. 1;
5 is a diagram for explaining a person identification unit of the control assistance system of FIG. 1.
6 is a view for explaining a moving part identification unit of the control support system of FIG. 1.
7 is a diagram for describing a distance specifying unit of the control assistance system of FIG. 1.
8 is a diagram for explaining an avoidance control unit of the steering support system of FIG. 1.
9 is a diagram illustrating a contact estimation unit of the steering support system of FIG. 1.
10 is a flowchart showing an avoidance process of the steering assistance system of FIG. 1.

이하, 본 발명을 적합한 실시 형태를 바탕으로 각 도면을 참조하면서 설명한다. 실시 형태 및 변형예에서는, 동일 또는 동등한 구성 요소, 부재에는, 동일한 번호를 붙이는 것으로 하고, 적절히 중복된 설명은 생략한다. 또한, 각 도면에 있어서의 부재의 치수는, 이해를 용이하게 하기 위해 적절히 확대, 축소하여 나타난다. 또한, 각 도면에 있어서 실시 형태를 설명하는 데 있어서 중요하지 않은 부재의 일부는 생략하여 표시한다.Hereinafter, the present invention will be described with reference to each drawing based on preferred embodiments. In the embodiment and the modified example, the same or equivalent constituent elements and members are denoted by the same reference numerals, and appropriate overlapping descriptions are omitted. In addition, the dimensions of the members in each drawing are appropriately enlarged and reduced in order to facilitate understanding. In addition, in each drawing, some of the members that are not important in describing the embodiment are omitted and shown.

또한, 제1, 제2 등의 서수를 포함하는 용어는 다양한 구성 요소를 설명하기 위해 사용되지만, 이 용어는 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용되고, 이 용어에 의해 구성 요소가 한정되는 것은 아니다.In addition, terms including ordinal numbers such as first and second are used to describe various components, but this term is used only for the purpose of distinguishing one component from other components, and by this term Is not limited.

[제1 실시 형태][First embodiment]

도면을 참조하여, 본 발명의 제1 실시 형태에 관한 작업 기계의 조종 지원 시스템(1)의 구성에 대하여 설명한다. 도 1은, 제1 실시 형태에 관한 작업 기계의 조종 지원 시스템(1)을 개략적으로 도시하는 측면도이다. 도 2는, 조종 지원 시스템(1)을 개략적으로 도시하는 블록도이다. 도 3은, 조종 지원 시스템(1)을 개략적으로 도시하는 평면도이다.With reference to the drawings, a configuration of a control support system 1 for a working machine according to a first embodiment of the present invention will be described. 1 is a side view schematically showing a steering support system 1 of a working machine according to a first embodiment. 2 is a block diagram schematically showing the steering support system 1. 3 is a plan view schematically showing the steering support system 1.

도 1, 도 2에 도시한 바와 같이, 조종 지원 시스템(1)은, 작업 기계(100)와, 취득부(10)와, 동작 제어부(20)를 포함한다. 취득부(10)와, 동작 제어부(20)는 조종 지원 장치(30)를 구성한다. 본 실시 형태의 작업 기계(100)는, 버킷(46)을 이동시켜 건설 작업을 행하는 건설 기계(1000)이다. 작업 기계(100)는, 하부 주행부(36)와, 상부 차체부(34)와, 팔 기구(48)와, 버킷(46)을 갖는다. 하부 주행부(36)는 무한궤도 등에 의해 소정 방향으로 주행 가능하게 구성된다. 상부 차체부(34)는, 하부 주행부(36)에 탑재되어 있다. 상부 차체부(34)는, 선회 구동부(60)에 의해 하부 주행부(36)에 대하여 연직축 주위로 선회 가능하게 구성된다. 선회 구동부(60)는, 예를 들어 선회 모터(도시하지 않음)와 선회 기어(도시하지 않음)로 구성할 수 있다. 상부 차체부(34)에는, 조종실(38)이 마련된다.As shown in FIGS. 1 and 2, the steering support system 1 includes a work machine 100, an acquisition unit 10, and an operation control unit 20. The acquisition unit 10 and the operation control unit 20 constitute the steering support device 30. The work machine 100 of this embodiment is a construction machine 1000 which moves the bucket 46 and performs construction work. The working machine 100 has a lower traveling part 36, an upper body part 34, an arm mechanism 48, and a bucket 46. The lower traveling part 36 is configured to be able to run in a predetermined direction by a caterpillar or the like. The upper body part 34 is mounted on the lower traveling part 36. The upper body portion 34 is configured to be capable of turning about a vertical axis with respect to the lower traveling portion 36 by the turning drive portion 60. The turning drive unit 60 can be configured with, for example, a turning motor (not shown) and a turning gear (not shown). The cockpit 38 is provided in the upper body part 34.

설명의 편의상, 조종실(38)을 후방으로부터 보아 우측을 「우」라고 하고, 좌측을 「좌」라고 한다. 또한, 조종실(38)의 전방측을 「전방」이라고 하고, 그 반대 방향을 「후방」이라고 한다.For convenience of explanation, when the cockpit 38 is viewed from the rear, the right side is referred to as "right" and the left side is referred to as "left". In addition, the front side of the cockpit 38 is referred to as "front", and the opposite direction is referred to as "rear".

팔 기구(48)의 기단부는, 상부 차체부(34)에 있어서 조종실(38)의 우측에 마련된다. 팔 기구(48)는, 상부 차체부(34)로부터 전방으로 연장되는 붐(42)과 암(44)을 포함한다. 팔 기구(48)의 선단측에는 버킷(46)이 설치된다. 붐(42)은, 상부 차체부(34)측의 기단부를 중심으로 선단부가 상하로 회동 가능하게 구성된다. 암(44)은, 붐(42)측의 기단부를 중심으로 선단부가 전후로 회동 가능하게 구성된다.The base end of the arm mechanism 48 is provided on the right side of the cockpit 38 in the upper body part 34. The arm mechanism 48 includes a boom 42 and an arm 44 extending forward from the upper body portion 34. A bucket 46 is provided on the tip side of the arm mechanism 48. The boom 42 is configured such that the tip portion can be rotated vertically around the base end portion on the upper body portion 34 side. The arm 44 is configured such that the tip end portion can be rotated back and forth around the base end portion on the boom 42 side.

버킷(46)은, 암(44)측의 기단부를 중심으로 선단부가 전후 또는 상하로 회동 가능하게 구성된다. 붐(42), 암(44) 및 버킷(46)은 복수의 유압 실린더(56)에 의해 관절부의 굴곡 각도를 변화시켜 변형시킬 수 있다. 이것들이 변형됨으로써 버킷(46)을 이동시킬 수 있다. 이하, 붐(42)과, 암(44)과, 버킷(46)을 총칭할 때는 이동부(40)라고 한다. 또한, 붐(42), 암(44) 및 버킷(46)은 프론트부라고 칭해지는 경우가 있다.The bucket 46 is configured such that its tip can be rotated back and forth or vertically around the base end of the arm 44 side. The boom 42, the arm 44, and the bucket 46 may be deformed by changing the bending angle of the joint portion by a plurality of hydraulic cylinders 56. The bucket 46 can be moved by these deformations. Hereinafter, when collectively referring to the boom 42, the arm 44, and the bucket 46, it is called a moving part 40. In addition, the boom 42, the arm 44, and the bucket 46 may be called a front part.

조종실(38)의 내부에는, 조종석(32)이 마련된다. 조종실(38)의 측면에는, 조종석(32)을 둘러싸는 전창(38f)과, 우창(38g)과, 좌창(38h)과, 후창(38j)이 마련된다. 조종실(38)의 조종석(32)의 근방에는, 복수의 레버 등에 의해 이동부(40)를 조종하는 조작 입력부(54)가 마련된다. 조종자는 조종석(32)에 있어서, 각 창(38f 내지 38j)으로부터 주위를 눈으로 보면서 조작 입력부(54)를 조작하여 이동부(40)를 조종한다.Inside the cockpit 38, a cockpit 32 is provided. On the side surface of the cockpit 38, a front window 38f, a right window 38g, a left window 38h, and a rear window 38j surrounding the cockpit 32 are provided. In the vicinity of the cockpit 32 of the cockpit 38, an operation input unit 54 for manipulating the moving unit 40 by a plurality of levers or the like is provided. In the cockpit 32, the manipulator manipulates the operation input unit 54 while looking at the surroundings from the respective windows 38f to 38j to manipulate the moving unit 40.

조작 입력부(54)로부터 조작이 입력되면, 그 조작에 따라 복수의 유압 밸브(58)가 개폐된다. 유압 밸브(58)에 개폐에 따라, 유압 펌프(도시하지 않음)로부터 공급되는 작동유가 복수의 유압 실린더(56)로 송출된다. 복수의 유압 실린더(56)는, 작동유의 송출량에 따라 신축하고, 이동부(40)를 변형시켜 붐(42), 암(44) 및 버킷(46)을 이동시킨다. 또한, 조작 입력부(54)로부터 선회에 관한 조작이 입력되면, 그 조작에 따라 선회 구동부(60)가 상부 차체부(34) 및 이동부(40)를 일체적으로 선회시킨다. 이와 같이, 붐(42), 암(44) 및 버킷(46)은, 조종자의 조종에 따라 변형과 선회를 함으로써, 이동 범위를 3차원적으로 이동할 수 있다.When an operation is input from the operation input unit 54, the plurality of hydraulic valves 58 are opened and closed according to the operation. As the hydraulic valve 58 is opened and closed, hydraulic oil supplied from a hydraulic pump (not shown) is delivered to the plurality of hydraulic cylinders 56. The plurality of hydraulic cylinders 56 expand and contract according to the delivery amount of the hydraulic oil, and deform the moving part 40 to move the boom 42, the arm 44, and the bucket 46. In addition, when an operation relating to turning is input from the operation input unit 54, the turning drive unit 60 integrally pivots the upper body part 34 and the moving part 40 according to the operation. In this way, the boom 42, the arm 44, and the bucket 46 can be moved three-dimensionally by deforming and turning in accordance with the manipulator's control.

본 실시 형태에서는, 도 3에 도시한 바와 같이, 조작 입력부(54)를 조작했을 때의 이동부(40)의 이동 가능한 입체적인 범위를 이동 범위 Rm이라고 정의한다.In the present embodiment, as shown in FIG. 3, the three-dimensional range in which the movement unit 40 can move when the operation input unit 54 is operated is defined as the movement range Rm.

도 4는, 조종자의 전방 시계를 모식적으로 도시하는 도면이다. 이 도면에 도시한 바와 같이, 전방 시계의 우측은 팔 기구(48)로 차단된다. 버킷(46)의 선단부의 시계를 확보하도록, 조종실(38) 및 조종석(32)은 상부 차체부(34)의 좌측에 가깝게 하여 배치된다. 이 경우, 버킷(46)의 선단부 주변의 시계는 확보할 수 있지만, 버킷(46)의 우측의 시계는 불충분하다.4 is a diagram schematically showing the front view of the operator. As shown in this figure, the right side of the front field of view is blocked by the arm mechanism 48. The cockpit 38 and the cockpit 32 are arranged close to the left side of the upper body part 34 so as to ensure the visibility of the tip of the bucket 46. In this case, the field of view around the tip of the bucket 46 can be ensured, but the field of view on the right side of the bucket 46 is insufficient.

이와 같이, 조종자의 전방 시계는 팔 기구(48)에 의해 차단된다. 즉, 도 3에 도시한 바와 같이, 이동부(40)는 조종석(32)으로부터 본 이동 범위 Rm에 큰 사각 영역 Az를 형성하고 있다. 이 때문에, 사각 영역 Az 내에서 버킷(46)을 이동시킬 때는, 조종자는 조종석으로부터 몸을 내미는 등 크게 자세를 바꾸면서 조종할 필요가 있어, 조종자에게 큰 부담이 가해진다. 또한, 조종자가 장해물을 놓칠 가능성도 있다.In this way, the front view of the manipulator is blocked by the arm mechanism 48. That is, as shown in FIG. 3, the moving part 40 forms a large rectangular area Az in the moving range Rm seen from the cockpit 32. For this reason, when moving the bucket 46 in the blind area Az, the operator needs to manipulate while greatly changing his posture, such as pushing out from the cockpit, and a great burden is placed on the operator. In addition, there is a possibility that the operator will miss an obstacle.

전방 시계를 보충하기 위해, 조종석(32)의 근방에 배치한 디스플레이에 사각 영역 Az를 촬상한 영상을 표시하는 것을 생각할 수 있다. 그러나, 이 경우, 디스플레이의 영상과 작업 내용을 동시에 확인하면서 조종하게 되어, 조종자의 부담은 오히려 증대된다.In order to supplement the front field of view, it is conceivable to display an image of the blind area Az on a display arranged near the cockpit 32. However, in this case, the control is performed while simultaneously checking the image of the display and the work content, and the burden on the operator is rather increased.

그래서, 본 실시 형태의 조종 지원 시스템(1)은, 조종자의 부담을 가볍게 하기 위해, 취득부(10)와, 동작 제어부(20)를 구비한다. 취득부(10)는, 이동부(40)의 이동 범위 Rm에 관한 제1 화상 정보 Gp를 취득한다. 동작 제어부(20)는, 제1 화상 정보 Gp에 기초하여 이동부(40)에 장해물과의 접촉을 회피하는 회피 동작을 하게 한다. 이동부(40)가 자동적으로 회피 동작을 행하므로, 조종자의 부담을 가볍게 할 수 있다.Therefore, the steering support system 1 of this embodiment is provided with the acquisition part 10 and the operation control part 20 in order to lighten the burden on the operator. The acquisition unit 10 acquires the first image information Gp related to the movement range Rm of the moving unit 40. The operation control unit 20 causes the moving unit 40 to perform an avoidance operation to avoid contact with an obstacle based on the first image information Gp. Since the moving unit 40 automatically performs the avoidance operation, the burden on the operator can be lightened.

취득부(10)를 설명한다. 취득부(10)는, 제1 화상 정보 Gp를 취득하기 위해 화상을 촬상 가능한 화상 센서(12)를 포함한다. 화상 센서(12)는, 이미지 센서 등을 사용하여 이동 범위 Rm의 일부 또는 전부를 촬상한다. 화상 센서(12)를 1개만 마련하는 것도 가능하지만, 이 경우, 이동부(40)에 의한 사각을 해소하는 것이 어렵다. 이 때문에, 취득부(10)는 이동부(40)를 서로 다른 위치나 방향으로부터 촬상하는 복수의 화상 센서(12)를 구비해도 된다. 도 3의 예에서는, 이동부(40)를 사이에 두고 좌우로 이격하여 배치되는 2개의 화상 센서(12-A, 12-B)가 마련된다. 이 도면에 있어서, 부호 Ad-A, Ad-B는, 화상 센서(12-A, 12-B)의 촬상 범위를 나타낸다.The acquisition unit 10 will be described. The acquisition unit 10 includes an image sensor 12 capable of capturing an image in order to acquire the first image information Gp. The image sensor 12 uses an image sensor or the like to image part or all of the moving range Rm. Although it is possible to provide only one image sensor 12, in this case, it is difficult to eliminate the dead angle caused by the moving part 40. For this reason, the acquisition unit 10 may be provided with a plurality of image sensors 12 for imaging the moving unit 40 from different positions or directions. In the example of FIG. 3, two image sensors 12-A and 12-B are provided, which are arranged to be spaced apart from side to side with the moving part 40 interposed therebetween. In this figure, reference numerals Ad-A and Ad-B denote the imaging ranges of the image sensors 12-A and 12-B.

2개의 화상 센서(12)가 이동부(40)의 좌우 양측에 배치되므로, 촬상 범위 Ad를 서로 보충하여 사각을 대폭으로 줄일 수 있다. 즉, 2개의 화상 센서(12)는, 한쪽에 대하여 사각으로 되는 영역이 다른 쪽에 대해서는 사각으로 되지 않도록 배치할 수 있다. 도 3의 예에서는, 촬상 범위 Ad-A, Ad-B는, 이동부(40)의 근방에서 일부 중복되고, 그곳으로부터 우측과 좌측으로 넓어지는 부채상의 영역이다.Since the two image sensors 12 are disposed on both the left and right sides of the moving part 40, it is possible to significantly reduce the blind spot by supplementing the imaging range Ad with each other. That is, the two image sensors 12 can be arranged so that an area that becomes a square with respect to one side does not become a square with respect to the other. In the example of FIG. 3, the imaging ranges Ad-A and Ad-B partially overlap in the vicinity of the moving part 40 and are fan-shaped regions extending to the right and left from there.

2개의 화상 센서(12-A, 12-B)는, 이동부(40)를 사이에 두고 좌우 대칭으로 배치되어도 된다. 이 경우, 2개의 센서의 촬상 결과를 합성하여 일체화하기 쉽다. 또한, 2개의 화상 센서(12-A, 12-B)는, 비대칭으로 배치되어도 된다. 2개의 화상 센서(12-A, 12-B)의 촬상 범위 Ad의 중심에 따른 방향(이하, 「시야 방향」이라고 함)은, 평행이어도 되고, 비평행이어도 된다. 도 3의 예에서는, 화상 센서(12-A)의 시야 방향은, 전후 방향에 대하여 우측으로 기울어져 있고, 화상 센서(12-B)의 시야 방향은, 전후 방향에 대하여 좌측으로 기울어져 있다. 이 경우, 시야 방향이 평행인 경우와 비교하여, 촬상 가능 범위를 좌우로 넓게 할 수 있다.The two image sensors 12-A and 12-B may be arranged symmetrically with the moving part 40 interposed therebetween. In this case, it is easy to combine and integrate the imaging results of the two sensors. Further, the two image sensors 12-A and 12-B may be arranged asymmetrically. The direction along the center of the imaging range Ad of the two image sensors 12-A and 12-B (hereinafter referred to as "viewing direction") may be parallel or non-parallel. In the example of FIG. 3, the viewing direction of the image sensor 12-A is inclined to the right with respect to the front-rear direction, and the viewing direction of the image sensor 12-B is inclined to the left with respect to the front-rear direction. In this case, compared with the case where the viewing direction is parallel, the possible image pickup range can be widened left and right.

또한, 2개의 화상 센서(12-A, 12-B)를 구비함으로써, 2개의 센서의 촬상 결과의 차분을 계산하고, 그 결과로부터 고정밀도로 이동부(40)와 사람(8)의 위치나 거리를 특정할 수 있다. 또한, 화상 센서가 2대로 됨으로써 계측 시야가 확대되기 때문에, 고속 선회한 때에, 돌발적으로 선회 범위 내에 물체가 침입한 경우나, 이동부(40)의 이측에 사람이 침입한 경우라도 빠르게 회피 동작할 수 있다. 또한, 시차를 얻을 수 있으므로, 입체적인 화상 정보를 취득할 수 있다.In addition, by providing two image sensors (12-A, 12-B), the difference between the imaging results of the two sensors is calculated, and the position and distance of the moving part 40 and the person 8 with high accuracy are calculated from the results. Can be specified. In addition, since the measurement field of view is enlarged by using two image sensors, it can be quickly avoided even when an object suddenly invades within the turning range when turning at a high speed, or when a person enters the back side of the moving unit 40. I can. In addition, since parallax can be obtained, three-dimensional image information can be obtained.

취득부(10)의 배치 높이는 한정되지 않지만, 사각을 작게 할 수 있는 위치가 바람직하다. 도 1의 예에서는, 취득부(10)는, 조종실(38)의 지붕보다도 높은 위치에 배치되어 있다. 이 경우, 버킷(46)이 작업하는 지면을 촬상하기 쉽다. 복수의 화상 센서(12)의 배치 높이는, 서로 동일해도 되고 달라도 된다.Although the arrangement height of the acquisition part 10 is not limited, the position where the square can be made small is preferable. In the example of FIG. 1, the acquisition unit 10 is disposed at a position higher than the roof of the cockpit 38. In this case, it is easy to image the ground on which the bucket 46 works. The arrangement heights of the plurality of image sensors 12 may be the same or different.

제1 화상 정보 Gp에, 이동부(40)에 관한 화상 정보를 포함하지 않는 것도 가능하지만, 이 경우, 이동부(40)와 장해물 사이의 거리를 특정하는 것이 어렵다. 그래서, 본 실시 형태의 취득부(10)에서는, 제1 화상 정보 Gp가 이동부(40)에 관한 화상 정보를 포함하도록 구성되어 있다. 구체적으로는, 2개의 화상 센서(12)의 한쪽이 이동부(40)의 좌측면을 포함하는 영역을 촬상하고, 다른 쪽이 이동부(40)의 우측면을 포함하는 영역을 촬상하도록 배치되어 있다. 이로써, 이동부(40)의 좌우 어느 곳에 장해물이 존재하는 경우라도, 2개의 화상 센서(12) 중 한쪽의 촬상 결과로부터 이동부(40)와 장해물 사이의 거리를 특정할 수 있다.It is also possible not to include the image information about the moving part 40 in the first image information Gp, but in this case, it is difficult to specify the distance between the moving part 40 and the obstacle. Therefore, in the acquisition unit 10 of the present embodiment, the first image information Gp is configured to include the image information on the moving unit 40. Specifically, the two image sensors 12 are arranged so that one of the two image sensors 12 captures an area including the left side of the moving unit 40 and the other side of the moving unit 40 captures an area including the right side of the moving unit 40. . Thereby, even when an obstacle exists in either left or right of the moving part 40, the distance between the moving part 40 and the obstacle can be specified from the imaging result of one of the two image sensors 12.

도 2를 참조하여, 동작 제어부(20)를 설명한다. 도 2에 도시하는 각 기능 블록은, 하드웨어적으로는, 컴퓨터의 CPU를 비롯한 전자 소자나 기계 부품 등에 의해 실현할 수 있고, 소프트웨어적으로는 컴퓨터 프로그램 등에 의해 실현되지만, 여기서는, 그것들의 연계에 의해 실현되는 기능 블록을 그리고 있다. 따라서, 이들 기능 블록은 하드웨어, 소프트웨어의 조합에 의해 다양한 형태로 실현할 수 있는 것은, 당업자에게는 이해되는 바이다.With reference to FIG. 2, the operation control unit 20 will be described. Each of the functional blocks shown in Fig. 2 can be realized in hardware by electronic elements or mechanical parts, including the CPU of a computer, and in software, by a computer program, but in this case it is realized by linking them. I am drawing a function block that becomes Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by a combination of hardware and software.

동작 제어부(20)는, 도 2에 도시한 바와 같이 화상 정보 생성부(20a)와, 식별부(20b)와, 거리 특정부(20d)와, 기억부(20m)와, 회피 제어부(20f)와, 밸브 제어부(20g)와, 접촉 추정부(20p)와, 정보 출력부(20e)를 갖는다. 화상 정보 생성부(20a)는, 취득부(10)의 복수의 화상 센서(12)의 제1 화상 정보 Gp를 통합하여 제2 화상 정보 Gs를 생성한다. 밸브 제어부(20g)는, 회피 제어부(20f)의 제어에 기초하여 유압 밸브(58)의 개폐를 제어할 수 있다.As shown in Fig. 2, the operation control unit 20 includes an image information generation unit 20a, an identification unit 20b, a distance specifying unit 20d, a storage unit 20m, and an avoidance control unit 20f. Wow, it has a valve control part 20g, a contact estimation part 20p, and an information output part 20e. The image information generation unit 20a generates second image information Gs by integrating the first image information Gp of the plurality of image sensors 12 of the acquisition unit 10. The valve control unit 20g can control the opening and closing of the hydraulic valve 58 based on the control of the avoidance control unit 20f.

식별부(20b)는, 사람 등의 장해물과 이동부(40)와 작업 기계 본체를 축차 인식한다. 예를 들어, 과거에 생성된 제2 화상 정보 Gs와의 차분으로부터 변화된 영역과 변화되지 않은 영역을 구분하여, 변화되지 않은 영역으로부터 작업 기계 본체를 인식할 수 있다. 또한, 변화된 영역의 변화 패턴의 차이에 의해 장해물과 이동부(40)를 구분하여 인식할 수 있다. 이와 같은 인식 처리를 축차 행함으로써, 장해물과 이동부(40)와 작업 기계 본체의 변화 패턴을 학습하여, 인식 정밀도를 향상시킬 수 있다.The identification unit 20b sequentially recognizes an obstacle such as a person, the moving unit 40, and the work machine main body. For example, the changed area and the unchanged area can be distinguished from the difference between the second image information Gs generated in the past, and the working machine body can be recognized from the unchanged area. In addition, the obstacle and the moving part 40 can be distinguished and recognized by the difference in the change pattern of the changed area. By successively performing such a recognition process, it is possible to learn the change pattern of the obstacle, the moving part 40, and the work machine main body, thereby improving the recognition accuracy.

식별부(20b)는, 장해물 식별부(20c)와, 사람 식별부(20h)와, 이동부 식별부(20j)와, 특징 DB(20k)를 포함한다. 특징 DB(20k)는, 장해물에 관한 특징 정보 Fi를 미리 기억한 데이터베이스이다. 장해물 식별부(20c)는, 화상 정보 생성부(20a)에서 생성된 제2 화상 정보 Gs와, 특징 DB(20k)에 미리 기억된 특징 정보 Fi에 기초하여 장해물의 종류를 식별한다. 이하, 일례로서 장해물이 사람인 경우를 설명하지만, 이 설명은 사람 이외의 장해물에 대해서도 마찬가지로 적용 가능하다.The identification unit 20b includes an obstacle identification unit 20c, a person identification unit 20h, a moving unit identification unit 20j, and a feature DB 20k. The feature DB 20k is a database in which feature information Fi related to an obstacle is stored in advance. The obstacle identification unit 20c identifies the type of the obstacle based on the second image information Gs generated by the image information generation unit 20a and the feature information Fi stored in advance in the feature DB 20k. Hereinafter, as an example, the case where the obstacle is a person will be described, but this description is similarly applicable to obstacles other than people.

사람 식별부(20h)를 설명한다. 도 5는, 사람 식별부(20h)를 설명하기 위한 도면이다. 사람의 여러 군데를 미세하게 식별하면 연산 시간이 길어진다. 연산 시간을 단축하기 위해 고속의 연산 소자를 구비하면 비용적으로 불리하다. 그래서, 본 실시 형태에서는, 사람의 특징점을 추출하고, 그 특징점에 기초하는 소정의 범위를 사람의 범위로서 특정하고 있다.The person identification unit 20h will be described. 5 is a diagram for explaining the person identification unit 20h. If you identify several places in a person finely, the computation time increases. In order to shorten the operation time, it is disadvantageous in terms of cost to provide a high-speed operation element. Therefore, in the present embodiment, a person's characteristic point is extracted, and a predetermined range based on the characteristic point is specified as the person's range.

도 5의 예에서는, 사람(8)의 발밑(8b)을 특징점으로 하고 있다. 사람(8)의 발밑(8b)은 지면과의 콘트라스트나 형상의 특징으로부터 특정하기 쉽다. 특히, 본실시 형태의 사람 식별부(20h)는, 장해물이 사람(8)일 때 당해 사람(8)의 발밑(8b)을 특정하여 발밑(8b)으로부터 소정의 높이 Hh까지를 사람(8)의 범위로서 식별한다. 또한, 사람 식별부(20h)는, 발밑(8b)을 중심으로 하는 소정 직경 Dh의 원통상의 범위를 사람(8)의 범위로 해도 된다. 일례로서, 높이 Hh는 2m, 직경 Dh는 1m로 해도 된다. 이 경우, 저렴한 연산 소자를 사용하여 실용적인 연산 시간으로 사람의 범위를 특정할 수 있다.In the example of FIG. 5, the foot 8b of the person 8 is used as a feature point. The foot 8b of the person 8 is easily specified from the features of the shape and the contrast with the ground. Particularly, when the obstacle is a person 8, the person identification unit 20h of the present embodiment specifies the foot 8b of the person 8 and increases the height Hh from the foot 8b to the person 8 Identify as the scope of. In addition, the person identification unit 20h may have a cylindrical range of a predetermined diameter Dh centered on the foot 8b as the range of the person 8. As an example, the height Hh may be 2 m and the diameter Dh may be 1 m. In this case, the range of a person can be specified with practical calculation time using an inexpensive computing element.

또한, 사람(8)의 범위는, 발밑(8b)이 포함되는 화상 정보에 기초하여 산출되어도 되고, 사람(8)의 발밑(8b) 이외의 화상 정보에 기초하여 산출되어도 된다. 예를 들어, 사람(8)의 범위는, 사람(8)의 발밑(8b) 이외의 골격 정보(사람의 발밑을 제외한 정보 등)에 기초하여 산출되어도 된다.Further, the range of the person 8 may be calculated based on image information including the feet 8b or may be calculated based on image information other than the feet 8b of the person 8. For example, the range of the person 8 may be calculated based on skeletal information other than the feet 8b of the person 8 (information excluding the feet of the person, etc.).

이동부 식별부(20j)를 설명한다. 도 6은, 이동부 식별부(20j)를 설명하기 위한 도면이다. 이동부 식별부(20j)는, 이동부(40)와 작업 기계 본체를 식별한다. 특히, 이동부 식별부(20j)는, 미리 기억된 이동부(40)의 소정 부분에 관한 좌표 정보를 사용하여 이동부(40)의 범위를 식별한다.The moving part identification part 20j will be described. 6 is a diagram for explaining the moving part identification unit 20j. The moving part identification part 20j identifies the moving part 40 and the work machine main body. In particular, the moving unit identification unit 20j identifies the range of the moving unit 40 using coordinate information about a predetermined portion of the moving unit 40 stored in advance.

좌표 정보를 설명한다. 이동부(40)의 붐(42), 암(44) 및 버킷(46)에는, 각각 계측점(14a, 14b, 14c)이 미리 설정된다. 계측점(14a 내지 14c)은, 볼트나 구멍 등의 기존의 특정 형상을 갖는 부분에 설정해도 된다. 도 6의 예에서는, 계측점(14a 내지 14c)은, 붐(42), 암(44) 및 버킷(46)에 마련된 표시를 사용하고 있다.Explain the coordinate information. Measurement points 14a, 14b, 14c are set in advance in the boom 42, the arm 44, and the bucket 46 of the moving part 40, respectively. The measurement points 14a to 14c may be set at a portion having an existing specific shape such as a bolt or a hole. In the example of FIG. 6, the measurement points 14a to 14c use displays provided on the boom 42, the arm 44, and the bucket 46.

이동부 식별부(20j)는, 기준 좌표 정보 Zp와, 취득 좌표 정보 Zs에 기초하여 작업 기계(100)의 범위를 특정한다. 기준 좌표 정보 Zp는, 과거에 생성된 제2 화상 정보 Gs로부터 특정되는 좌표 정보이다. 취득 좌표 정보 Zs는, 수시 취득되는 현시점의 제2 화상 정보 Gs로부터 특정되는 좌표 정보이다. 예를 들어, 기준 좌표 정보 Zp는, 작업 기계(100)를 표준 자세로 한 상태에서 생성된 제2 화상 정보 Gs로부터 특정할 수 있다. 특정된 기준 좌표 정보 Zp는, 기억부(20m)에 기억된다.The moving part identification part 20j specifies the range of the work machine 100 based on the reference coordinate information Zp and the acquired coordinate information Zs. The reference coordinate information Zp is coordinate information specified from the second image information Gs generated in the past. Acquisition coordinate information Zs is coordinate information specified from the second image information Gs of the current point acquired at any time. For example, the reference coordinate information Zp can be specified from the second image information Gs generated with the working machine 100 in a standard posture. The specified reference coordinate information Zp is stored in the storage unit 20m.

또한, 작업 기계(100)의 범위를 특정하기 위해, 기억부(20m)에는, 작업 기계(100)의 설계 정보로부터 생성된 작업 기계(100)의 외형 좌표에 관한 외형 정보 Ei가 기억된다. 외형 정보 Ei와, 취득 좌표 정보 Zs로부터 작업 기계(100)의 취득 시(현재)의 범위를 특정할 수 있다. 또한, 이동부 식별부(20j)는, 취득 좌표 정보 Zs에 기초하여 계측점(14a 내지 14c)의 상대 위치 및 상대 각도로부터, 이동부(40)의 자세, 위치 및 범위를 수시 연산으로 특정할 수 있다. 예를 들어, 취득 좌표 정보 Zs의 기준 좌표 정보 Zp와의 차분을 사용함으로써, 이 연산을 행할 수 있다.In addition, in order to specify the range of the work machine 100, the storage unit 20m stores outline information Ei about the outline coordinates of the work machine 100 generated from design information of the work machine 100. From the appearance information Ei and the acquisition coordinate information Zs, the range at the time of acquisition (current) of the working machine 100 can be specified. In addition, the moving part identification part 20j can specify the posture, the position, and the range of the moving part 40 from the relative position and the relative angle of the measurement points 14a to 14c by an arbitrary operation based on the acquired coordinate information Zs. have. For example, this calculation can be performed by using the difference between the acquired coordinate information Zs and the reference coordinate information Zp.

거리 특정부(20d)를 설명한다. 도 7은, 거리 특정부(20d)를 설명하기 위한 도면이다. 거리 특정부(20d)는, 연산에 의해 장해물과 이동부(40)의 상대적인 최단 거리를 특정한다. 예를 들어, 거리 특정부(20d)는, 사람 식별부(20h)에서 특정된 사람(8)의 범위와, 이동부 식별부(20j)에서 특정된 이동부(40)의 범위에 의해, 사람(8)으로부터 이동부(40)까지의 최단의 상대 거리 Ds를 특정할 수 있다. 도 7의 예에서는, 계측점(14a 내지 14c) 및 사람(8)의 각각의 평면 좌표와 화상 센서(12)로부터의 각도에 의해, 사람(8)으로부터 이동부(40)까지의 상대 거리 Ds를 특정하고 있다.The distance specifying unit 20d will be described. 7 is a diagram for explaining the distance specifying unit 20d. The distance specifying unit 20d specifies the relative shortest distance between the obstacle and the moving unit 40 by calculation. For example, the distance specifying unit 20d is a person according to the range of the person 8 specified by the person identification unit 20h and the range of the moving unit 40 specified by the mobile unit identification unit 20j. The shortest relative distance Ds from (8) to the moving part 40 can be specified. In the example of FIG. 7, the relative distance Ds from the person 8 to the moving part 40 is determined by the plane coordinates of the measurement points 14a to 14c and the person 8 and the angle from the image sensor 12. It is specified.

회피 제어부(20f)를 설명한다. 도 8은, 회피 제어부(20f)를 설명하기 위한 도면이다. 상대 거리 Ds가 특정된 경우, 다양한 방법에 의해 사람(8)과 이동부(40)의 접촉을 회피할 수 있다. 일례로서, 본 실시 형태에서는, 회피 제어부(20f)는, 사람(8)과 이동부(40)의 상대 거리 Ds에 따라 복수의 회피 동작을 하도록, 이동부(40)의 이동 양태를 변화시킨다.The avoidance control unit 20f will be described. 8 is a diagram for explaining the avoidance control unit 20f. When the relative distance Ds is specified, contact between the person 8 and the moving unit 40 can be avoided by various methods. As an example, in the present embodiment, the avoidance control unit 20f changes the movement mode of the moving unit 40 so that a plurality of evasion operations are performed according to the relative distance Ds between the person 8 and the moving unit 40.

본 실시 형태에서는, 회피 제어부(20f)는, 이동부(40)가 사람(8)으로부터 소정의 제1 거리 D1 이내에 근접하면 이동부(40)의 이동 속도를 낮추도록 제어한다(회피 동작 1). 예를 들어, 상대 거리 Ds가 제1 거리 D1 이하인 경우에, 이동부(40)의 이동 속도를 소정의 속도 이하로 되도록 제동을 걸어도 된다. 회피 제어부(20f)는, 선회 구동부(60)를 제어하여 상부 차체부(34)의 선회 속도를 낮출 수 있다. 또한, 회피 제어부(20f)는, 밸브 제어부(20g)를 통해 유압 밸브(58)를 제어함으로써, 이동부(40)의 붐(42), 암(44) 및 버킷(46)의 회동 속도를 낮출 수 있다. 이동부(40)를 서행 속도로 감속함으로써, 위험한 상태로 되면 즉시 멈출 수 있다.In this embodiment, the avoidance control unit 20f controls to lower the moving speed of the moving unit 40 when the moving unit 40 approaches within a predetermined first distance D1 from the person 8 (avoidance operation 1) . For example, when the relative distance Ds is less than or equal to the first distance D1, braking may be applied so that the moving speed of the moving unit 40 becomes less than or equal to a predetermined speed. The avoidance control unit 20f may lower the turning speed of the upper body portion 34 by controlling the turning drive unit 60. In addition, the avoidance control unit 20f controls the hydraulic valve 58 through the valve control unit 20g, thereby lowering the rotational speed of the boom 42, the arm 44, and the bucket 46 of the moving unit 40. I can. By decelerating the moving part 40 at a slow speed, it can be stopped immediately if it becomes a dangerous state.

또한, 유압 밸브(58)는, 밸브 제어부(20g)의 제어와 조작 입력부(54)의 제어가 경합하는 경우, 밸브 제어부(20g)의 제어를 우선해도 된다. 이하의 제어에 대해서도 마찬가지이다.Further, the hydraulic valve 58 may give priority to the control of the valve control unit 20g when the control of the valve control unit 20g and the control of the operation input unit 54 compete. The same applies to the following control.

본 실시 형태에서는, 회피 제어부(20f)는, 이동부(40)가 사람(8)으로부터 소정의 제2 거리 D2 이내에 근접하면 이동부(40)의 이동을 멈추도록 제어한다(회피 동작 2). 예를 들어, 상대 거리 Ds가 제2 거리 D2 이하인 경우에, 이동부(40)의 이동을 정지해도 된다. 이 경우, 회피 제어부(20f)는, 상부 차체부(34)의 선회를 정지함과 함께, 이동부(40)의 붐(42), 암(44) 및 버킷(46)의 회동을 정지해도 된다.In the present embodiment, the avoidance control unit 20f controls to stop the movement of the moving unit 40 when the moving unit 40 approaches the person 8 within a predetermined second distance D2 (avoidance operation 2). For example, when the relative distance Ds is less than or equal to the second distance D2, the movement of the moving unit 40 may be stopped. In this case, the avoidance control unit 20f may stop the rotation of the upper body part 34 and also stop the rotation of the boom 42, the arm 44, and the bucket 46 of the moving part 40. .

선회나 회동에 제동력을 가해도, 상부 차체부(34)나 이동부(40)의 관성에 의해, 이것들은 즉시 멈추지는 않아, 사람(8)과의 접촉을 회피할 수 없는 경우가 있다. 그래서, 본 실시 형태에서는, 회피 제어부(20f)는, 이동부(40)가 사람(8)으로부터 소정의 제3 거리 D3 이내에 근접하면 이동부(40)의 이동 코스를 변화시키도록 제어한다(회피 동작 3). 예를 들어, 상대 거리 Ds가 제3 거리 D3 이하인 경우에, 이동부(40)의 특히 버킷(46)을 상승시켜 이동 코스를 변화시켜도 된다. 이 경우, 회피 제어부(20f)는, 상부 차체부(34)의 선회 구동부(60)에 브레이크를 거는 것과 함께, 밸브 제어부(20g)를 통해 유압 밸브(58)를 제어함으로써, 붐(42), 암(44) 및 버킷(46)을 상승시켜도 된다.Even if a braking force is applied to the turning or rotation, due to the inertia of the upper body portion 34 and the moving portion 40, these do not stop immediately, and contact with the person 8 may not be avoided in some cases. Therefore, in this embodiment, the avoidance control unit 20f controls to change the moving course of the moving unit 40 when the moving unit 40 approaches within a predetermined third distance D3 from the person 8 (avoidance Action 3). For example, when the relative distance Ds is equal to or less than the third distance D3, the movement course may be changed by raising the bucket 46 in particular of the moving part 40. In this case, the avoidance control unit 20f applies a brake to the turning drive unit 60 of the upper vehicle body unit 34 and controls the hydraulic valve 58 through the valve control unit 20g, so that the boom 42, The arm 44 and the bucket 46 may be raised.

또한, 제3 거리 D3은 제2 거리 D2보다 작아도 되고, 제2 거리 D2는 제1 거리 D1보다 작아도 된다. 즉, 이것들은 D3<D2<D1의 관계를 가져도 된다. 이것들의 거리는, 실험이나 시뮬레이션 등에 의해 설정할 수 있다.Further, the third distance D3 may be smaller than the second distance D2, and the second distance D2 may be smaller than the first distance D1. That is, these may have a relationship of D3<D2<D1. These distances can be set by experiment or simulation.

접촉 추정부(20p)를 설명한다. 도 9는, 접촉 추정부(20p)를 설명하기 위한 도면이다. 접촉 추정부(20p)는, 이동부(40) 및 사람(8)의 좌표, 이동 방향 및 이동 속도에 따라, 이것들의 이동 코스를 연산에 의해 시뮬레이션하여 추정 이동 코스를 구한다. 도 9의 (a)는, 이동부(40)와 사람(8)의 추정 이동 코스를 모식적으로 도시하고 있다. 이 도면은, 좌우 방향과 전후 방향의 좌표 상에 있어서의 각각의 추정 이동 코스를 나타내고 있다. 접촉 추정부(20p)는, 이동부(40)와 사람(8)의 추정 이동 코스에 기초하여, 시간별로 이동부(40)와 사람(8)의 추정 이격 거리 Dq를 구한다. 도 9의 (b)는, 시간에 대한 추정 이격 거리 Dq의 변화를 나타낸다.The contact estimation unit 20p will be described. 9 is a diagram for explaining the contact estimation unit 20p. The contact estimation unit 20p obtains an estimated movement course by simulating these movement courses by calculation in accordance with the coordinates, the movement direction, and the movement speed of the movement unit 40 and the person 8. 9(a) schematically shows the estimated movement course of the moving unit 40 and the person 8. This figure shows each estimated movement course on the coordinates of the left-right direction and the front-rear direction. The contact estimation unit 20p calculates the estimated separation distance Dq between the moving unit 40 and the person 8 for each time based on the estimated movement course of the moving unit 40 and the person 8. 9B shows the change in the estimated separation distance Dq with time.

회피 제어부(20f)는, 추정 이격 거리 Dq에 따라, 이동부(40)와 사람(8)의 접촉을 예방하는 접촉 예방 동작을 행한다. 예를 들어, 회피 제어부(20f)는, 추정 이격 거리 Dq가 소정의 역치 D4 이하로 된다고 예측된 때, 접촉 예방 동작을 실행한다. 이 접촉 예방 동작은, 이동부(40)를 감속하는 동작, 이동부(40)의 이동을 정지하는 동작, 이동부(40)의 이동 코스를 변경하는 동작이어도 된다. 또한, 역치 D4를 복수 설정하고, 추정 이격 거리 Dq와 복수의 역치 D4에 기초하여, 접촉 예방 동작의 내용을 변경해도 된다.The avoidance control unit 20f performs a contact prevention operation to prevent contact between the moving unit 40 and the person 8 according to the estimated separation distance Dq. For example, when it is predicted that the estimated separation distance Dq becomes less than or equal to a predetermined threshold value D4, the avoidance control unit 20f performs a contact prevention operation. This contact prevention operation may be an operation of decelerating the moving part 40, an operation of stopping the movement of the moving part 40, or an operation of changing the moving course of the moving part 40. Further, a plurality of threshold values D4 may be set, and the content of the contact prevention operation may be changed based on the estimated separation distance Dq and a plurality of threshold values D4.

정보 출력부(20e)는, 장해물과 이동부(40)의 거리에 관한 정보를 내부 또는 외부로 출력한다. 일례로서 정보 출력부(20e)는, 장해물의 유무, 이동부(40)와 사람(8)의 상대 거리 Ds, 추정 이격 거리 Dq 등의 정보나 회피 동작에 관한 정보를, 정보 단말기(50)에 출력해도 된다. 정보 단말기(50)는, 이들 정보를 문자나 그래픽에 의해 표시해도 된다. 정보 단말기(50)는, 조종실(38)에 마련되어도 된다. 또한, 정보 출력부(20e)는, 이들 정보에 기초하여 소정의 경보를 소리나 빛으로서 출력해도 된다.The information output unit 20e outputs information about the distance between the obstacle and the moving unit 40 to the inside or outside. As an example, the information output unit 20e provides information on the presence or absence of an obstacle, the relative distance Ds between the moving unit 40 and the person 8, and the estimated separation distance Dq, and information on the avoidance operation to the information terminal 50. You can print it out. The information terminal 50 may display these information in text or graphics. The information terminal 50 may be provided in the cockpit 38. Further, the information output unit 20e may output a predetermined alarm as sound or light based on these information.

이어서, 도 10의 흐름도를 참조하여, 취득부(10)와 동작 제어부(20)에 의한 회피 제어에 관한 처리 S70을 설명한다. 여기서는, 장해물이 사람인 예를 설명한다.Next, with reference to the flowchart of FIG. 10, the process S70 regarding the avoidance control by the acquisition unit 10 and the operation control unit 20 will be described. Here, an example in which the obstacle is a person will be described.

처리 S70이 개시되면, 취득부(10)는 이동부(40)의 이동 범위 Rm에 관한 화상 정보를 취득한다(스텝 S71).When the process S70 is started, the acquisition unit 10 acquires image information about the moving range Rm of the moving unit 40 (step S71).

이어서, 동작 제어부(20)는, 취득부(10)에서 취득된 화상 정보로부터 장해물을 식별한다(스텝 S72).Then, the operation control unit 20 identifies the obstacle from the image information acquired by the acquisition unit 10 (step S72).

장해물이 없는 경우(스텝 S72의 N), 동작 제어부(20)는, 처리를 스텝 S71로 복귀시켜, 스텝 S71부터의 처리를 반복한다. 장해물이 있는 경우(스텝 S72의 Y), 동작 제어부(20)는, 처리를 스텝 S73으로 진행시킨다.When there is no obstacle (N in step S72), the operation control unit 20 returns the process to step S71, and repeats the processing from step S71. When there is an obstacle (Y in step S72), the operation control unit 20 advances the process to step S73.

이어서, 동작 제어부(20)는, 장해물 식별부(20c)에 의해, 장해물의 종류를 식별한다(스텝 S73).Subsequently, the operation control unit 20 identifies the type of the obstacle by the obstacle identification unit 20c (step S73).

이어서, 동작 제어부(20)는, 사람 식별부(20h)에 의해, 장해물이 사람인 경우는 사람의 범위를 특정한다(스텝 S74).Subsequently, when the obstacle is a person, the operation control unit 20 specifies the range of the person by the person identification unit 20h (step S74).

이어서, 동작 제어부(20)는, 이동부 식별부(20j)에 의해, 이동부(40)의 범위를 식별한다(스텝 S75).Next, the operation control unit 20 identifies the range of the moving unit 40 by the moving unit identifying unit 20j (step S75).

이어서, 동작 제어부(20)는, 거리 특정부(20d)에 의해, 사람과 이동부(40)의 상대적인 최단 거리 Ds를 특정한다(스텝 S76).Next, the motion control unit 20 specifies the relative shortest distance Ds between the person and the moving unit 40 by the distance specifying unit 20d (step S76).

이어서, 동작 제어부(20)는, 회피 제어부(20f)에 의해, 거리 Ds의 크기에 따라 이동부(40)에 회피 동작을 하게 한다(스텝 S77).Subsequently, the operation control unit 20 causes the movement unit 40 to perform an avoidance operation according to the size of the distance Ds by the avoidance control unit 20f (step S77).

거리 Ds가 제1 거리 D1보다 큰 경우(스텝 S77의 A), 동작 제어부(20)는, 처리를 스텝 S71로 복귀시켜, 스텝 S71부터의 처리를 반복한다.When the distance Ds is larger than the first distance D1 (A in step S77), the operation control unit 20 returns the processing to step S71, and repeats the processing from step S71.

거리 Ds가 제1 거리 D1 이하인 경우(스텝 S77의 B), 동작 제어부(20)는, 이동부(40)의 이동 속도를 낮춘다(스텝 S78).When the distance Ds is less than or equal to the first distance D1 (step S77 B), the operation control unit 20 lowers the moving speed of the moving unit 40 (step S78).

거리 Ds가 제2 거리 D2 이하인 경우(스텝 S77의 C), 동작 제어부(20)는, 이동부(40)의 이동을 정지한다(스텝 S79).When the distance Ds is less than or equal to the second distance D2 (C in step S77), the operation control unit 20 stops the movement of the moving unit 40 (step S79).

거리 Ds가 제3 거리 D3 이하인 경우(스텝 S77의 D), 동작 제어부(20)는, 이동부(40)의 이동 코스를 변화시킨다(스텝 S80).When the distance Ds is equal to or less than the third distance D3 (step S77 D), the operation control unit 20 changes the moving course of the moving unit 40 (step S80).

스텝 S78, S79, S80이 종료되면, 동작 제어부(20)는, 처리를 스텝 S71로 복귀시켜, 스텝 S71부터의 처리를 반복한다. 처리 S70은 어디까지나 일례이고, 다른 스텝을 추가하거나, 일부의 스텝을 변경 또는 삭제하거나, 스텝의 순서를 교체해도 된다.When steps S78, S79, and S80 are finished, the operation control unit 20 returns the process to step S71, and repeats the processing from step S71. The process S70 is just an example, and another step may be added, some steps may be changed or deleted, or the order of the steps may be replaced.

이어서, 본 발명의 제1 실시 형태에 관한 작업 기계의 조종 지원 시스템(1)의 특징을 설명한다. 조종 지원 시스템(1)은, 작업 기계(100)의 이동부(40)의 이동 범위 Rm에 관한 화상 정보 Gp를 취득하는 취득부(10)와, 화상 정보 Gp에 기초하여 이동부(40)에 장해물과의 접촉을 회피하는 동작을 하게 하는 동작 제어부(20)를 구비한다.Next, features of the operation support system 1 for a working machine according to the first embodiment of the present invention will be described. The steering support system 1 is provided with an acquisition unit 10 that acquires image information Gp regarding a movement range Rm of the moving unit 40 of the working machine 100, and the moving unit 40 based on the image information Gp. It includes an operation control unit 20 for performing an operation to avoid contact with an obstacle.

이 구성에 의하면, 장해물과의 접촉을 회피하도록 이동부(40)가 자동적으로 회피 동작하므로, 조종이 용이해져, 조종자의 부담을 경감할 수 있다. 또한, 안전성이 확보되므로, 이동부(40)의 이동 속도를 높여 작업 효율의 향상이 도모된다.According to this configuration, since the moving unit 40 automatically avoids operation to avoid contact with an obstacle, maneuvering becomes easy, and the burden on the operator can be reduced. In addition, since safety is ensured, the moving speed of the moving unit 40 is increased, thereby improving work efficiency.

취득부(10)는 화상 정보 Gp에 이동부(40)에 관한 화상 정보를 포함하도록 구성되어도 된다. 이 경우, 화상 정보 Gp 중에 이동부(40)와 장해물을 일체적으로 파악할 수 있으므로, 이격 거리를 고정밀도로 파악하기 쉽다.The acquisition unit 10 may be configured to include image information regarding the moving unit 40 in the image information Gp. In this case, since the moving part 40 and the obstacle can be grasped integrally in the image information Gp, it is easy to grasp the separation distance with high precision.

취득부(10)는 이동부(40)를 서로 다른 위치로부터 촬상하는 복수의 화상 센서(12)를 포함해도 된다. 이 경우, 복수의 화상 센서(12)를 사용하므로, 화상 센서(12)의 사각을 줄일 수 있다. 또한, 이동부(40)나 장해물의 위치나 범위를 입체적으로 파악하는 것이 가능해져, 장해물의 검지 누설 방지가 도모된다. 또한, 화상 센서(12)가 복수로 됨으로써 계측 시야가 확대되기 때문에, 고속 선회한 때, 돌발적으로 선회 범위 내에 물체가 침입한 경우 또는 이동부(40)의 이측에 사람이 침입한 경우라도 빠르게 회피 동작할 수 있다.The acquisition unit 10 may include a plurality of image sensors 12 that capture images of the moving unit 40 from different positions. In this case, since a plurality of image sensors 12 are used, the blind spot of the image sensor 12 can be reduced. In addition, it becomes possible to grasp the position and range of the moving part 40 and the obstacle in three dimensions, and detection leakage of the obstacle can be prevented. In addition, since the measurement field of view is enlarged due to the plurality of image sensors 12, it is quickly avoided even when a high-speed turn is performed, an object suddenly enters into the turning range, or a person enters the back side of the moving part 40. It can work.

동작 제어부(20)는 이동부(40)가 장해물로부터 제1 거리 D1 이내에 근접하면 이동부(40)의 이동 속도를 낮추도록 제어해도 된다. 이 경우, 이동 속도가 낮아지므로, 장해물과의 접촉을 회피하기 쉽다.The operation control unit 20 may control the moving unit 40 to lower the moving speed of the moving unit 40 when the moving unit 40 approaches within the first distance D1 from the obstacle. In this case, since the moving speed is low, it is easy to avoid contact with an obstacle.

동작 제어부(20)는 이동부(40)가 장해물로부터 제2 거리 D2 이내에 근접하면 이동부(40)의 이동을 멈추도록 제어해도 된다. 이 경우, 이동부(40)의 이동을 멈추므로, 장해물과의 접촉을 한층 회피하기 쉽다.The operation control unit 20 may control the moving unit 40 to stop moving when the moving unit 40 approaches within the second distance D2 from the obstacle. In this case, since the movement of the moving part 40 is stopped, it is easier to avoid contact with an obstacle.

동작 제어부(20)는 이동부(40)가 장해물로부터 제3 거리 D3 이내에 근접하면 이동부(40)의 이동 코스를 변화시키도록 제어해도 된다. 이 경우, 관성에 의해 갑자기 멈춰지지 않는 경우라도, 이동부(40)의 이동 코스를 변화시켜 접촉의 회피가 도모된다.The operation control unit 20 may control to change the moving course of the moving unit 40 when the moving unit 40 approaches within the third distance D3 from the obstacle. In this case, even when it is not suddenly stopped due to inertia, the movement course of the moving unit 40 is changed to avoid contact.

동작 제어부(20)는 미리 기억된 장해물에 관한 특징 정보를 사용하여 장해물의 종류를 식별하는 장해물 식별부(20c)를 가져도 된다. 이 경우, 종류를 추정한 장해물의 종류에 따라 회피 방법이나 범위를 선택할 수 있다.The operation control unit 20 may have an obstacle identification unit 20c that identifies the type of the obstacle using feature information about the obstacle stored in advance. In this case, the avoidance method or range can be selected according to the type of the obstacle estimated.

장해물이 사람일 때 당해 사람(8)의 발밑(8b)을 특정하여 당해 발밑(8b)으로부터 소정의 높이까지를 사람(8)의 범위로서 식별하는 사람 식별부(20h)를 구비해도 된다. 이 경우, 발밑(8b)은 지면과의 콘트라스트나 형상의 특징으로부터 특정하기 쉬우므로, 발밑(8b)으로부터 신장 상당의 높이까지를 사람의 범위로 함으로써, 적절한 회피 방법이나 범위를 선택할 수 있다. 동작 제어부(20)는 사람 식별부(20h)를 포함해도 된다. 이 경우, 사람 식별부(20h)를 동작 제어부(20)와는 별도로 마련하는 경우에 비해 구성을 콤팩트하게 할 수 있다.When the obstacle is a person, a person identification unit 20h may be provided that identifies the foot 8b of the person 8 and identifies the range of the person 8 from the foot 8b to a predetermined height. In this case, since the foot 8b is easily specified from the characteristics of the shape and the contrast with the ground, an appropriate avoidance method or range can be selected by making the height equivalent to height from the foot 8b to the height of the person. The operation control unit 20 may include a person identification unit 20h. In this case, compared to the case where the person identification unit 20h is provided separately from the operation control unit 20, the configuration can be made more compact.

이동부(40)의 미리 기억된 소정 부분에 관한 좌표 정보를 사용하여 이동부(40)의 범위를 식별하는 이동부 식별부(20j)를 구비해도 된다. 이 경우, 특징점을 미리 설정한 부분으로 함으로써 식별이 용이해져, 이동부(40)의 범위를 고속 또는 고정밀도로 추정할 수 있다. 회피 동작의 지연을 적게 할 수 있다. 동작 제어부(20)는 이동부 식별부(20j)를 포함해도 된다. 이 경우, 이동부 식별부(20j)를 동작 제어부(20)와는 별도로 마련하는 경우에 비해 구성을 콤팩트하게 할 수 있다.A moving unit identification unit 20j for identifying a range of the moving unit 40 may be provided using coordinate information about a predetermined portion stored in advance of the moving unit 40. In this case, identification is facilitated by setting the feature point as a pre-set portion, and the range of the moving unit 40 can be estimated at high speed or high accuracy. It is possible to reduce the delay of the avoidance operation. The operation control unit 20 may include a moving unit identification unit 20j. In this case, compared to the case where the moving part identification part 20j is provided separately from the operation control part 20, the configuration can be made compact.

이동부(40)는 조종자의 조종에 따라 이동하도록 구성되고, 이동부(40)는 작업 기계(100)의 조종석(32)으로부터 본 이동 범위 Rm에 사각 영역을 형성하는 것이어도 된다. 이 경우, 작업 기계(100)가 자율적으로 장해물과의 접촉을 회피하므로, 이동 범위 Rm에 사각 영역이 있는 경우에도 조종자는 몸을 내밀지 않고 조종할 수 있다.The moving part 40 is configured to move according to the maneuvering of the manipulator, and the moving part 40 may form a rectangular area in the moving range Rm viewed from the cockpit 32 of the working machine 100. In this case, since the working machine 100 autonomously avoids contact with an obstacle, the manipulator can manipulate without protruding his body even when there is a blind area in the moving range Rm.

장해물과 이동부(40)의 거리에 관한 정보를 출력하는 정보 출력부(20e)를 구비해도 된다. 이 경우, 거리에 관한 정보를 내부 또는 외부에 통지할 수 있다.An information output unit 20e for outputting information about the distance between the obstacle and the moving unit 40 may be provided. In this case, information about the distance can be notified inside or outside.

이어서, 본 발명의 제2 내지 제4 실시 형태를 설명한다. 제2 내지 제4 실시 형태의 도면 및 설명에서는, 제1 실시 형태와 동일 또는 동등한 구성 요소, 부재에는, 동일한 번호를 붙인다. 제1 실시 형태와 중복되는 설명을 적절히 생략하고, 제1 실시 형태와 상위한 구성에 대하여 중점적으로 설명한다.Next, the second to fourth embodiments of the present invention will be described. In the drawings and description of the second to fourth embodiments, components and members that are the same or equivalent to those of the first embodiment are denoted by the same numbers. Descriptions overlapping with the first embodiment will be omitted as appropriate, and a configuration different from the first embodiment will be mainly described.

[제2 실시 형태][Second Embodiment]

본 발명의 제2 실시 형태는, 작업 기계의 조종 지원 방법이다. 이 조종 지원 방법은, 이동부(40)를 갖는 작업 기계(100)의 이동부(40)의 이동 범위 Rm에 관한 화상 정보 Gp를 취득하는 스텝 S71과, 화상 정보 Gp에 기초하여 이동부(40)에 장해물과의 접촉을 회피하는 동작을 하게 하는 스텝 S72 내지 S80을 포함한다.A second embodiment of the present invention is a method for supporting steering of a working machine. This steering support method includes step S71 of acquiring image information Gp about the moving range Rm of the moving unit 40 of the working machine 100 having the moving unit 40, and the moving unit 40 based on the image information Gp. ) And steps S72 to S80 for making an operation to avoid contact with the obstacle.

제2 실시 형태의 구성에 의하면, 제1 실시 형태와 동일한 작용 효과를 발휘한다.According to the configuration of the second embodiment, the same effects as those of the first embodiment are exhibited.

[제3 실시 형태][Third embodiment]

본 발명의 제3 실시 형태는, 작업 기계(100)의 조종 지원 시스템(1)의 보수 지원 방법이다. 이 보수 지원 방법 S90은, 취득된 화상 정보와 미리 기억된 기준 화상 정보의 비교 결과에 기초하여 조종 지원 시스템(1)의 보수의 필요 여부를 판정하는 스텝 S91을 포함한다.The third embodiment of the present invention is a maintenance support method of the operation support system 1 of the working machine 100. This maintenance support method S90 includes a step S91 of determining whether or not the maintenance of the steering support system 1 is necessary based on the comparison result of the acquired image information and the reference image information stored in advance.

기준 화상 정보는, 예를 들어 작업 기계(100) 도입 시 등의 과거에, 붐(42), 암(44) 및 버킷(46)이 원점 위치에 배치되어 있는 상태에서 취득된 제2 화상 정보 Gs(이하, 화상 정보 Gs-A라고 함)여도 된다. 취득된 화상 정보는, 현시점에서 붐(42), 암(44) 및 버킷(46)이 원점 위치에 배치되어 있는 상태에서 취득된 제2 화상 정보 Gs(이하, 화상 정보 Gs-B라고 함)여도 된다.The reference image information is, for example, second image information Gs acquired in the past, such as when the working machine 100 was introduced, with the boom 42, the arm 44, and the bucket 46 disposed at the origin position. (Hereinafter referred to as image information Gs-A) may be sufficient. The acquired image information may be second image information Gs (hereinafter referred to as image information Gs-B) acquired with the boom 42, arm 44, and bucket 46 disposed at the origin position at the present time. do.

스텝 S91에서는, 화상 정보 Gs-A, Gs-B로부터 계측점(14a 내지 14c)의 과거와 현재의 좌표를 특정하고, 그 차가 역치를 초과한 경우에, 조종 지원 시스템(1)은 보수가 필요하다고 판정하고, 역치를 초과하지 않은 경우에 보수는 불필요하다고 판정해도 된다.In step S91, the past and present coordinates of the measurement points 14a to 14c are specified from the image information Gs-A and Gs-B, and when the difference exceeds the threshold value, the steering support system 1 indicates that maintenance is required. It may be determined, and if the threshold value is not exceeded, it may be determined that remuneration is unnecessary.

보수가 필요하다고 판정된 경우, 동작 제어부(20)의 정보 출력부(20e)는, 판정 결과를 정보 단말기(50)에 출력해도 된다. 또한, 정보 출력부(20e)는, 판정 결과에 기초하여 소정의 경보를 소리나 빛으로서 출력해도 된다.When it is determined that maintenance is necessary, the information output unit 20e of the operation control unit 20 may output the determination result to the information terminal 50. Further, the information output unit 20e may output a predetermined alarm as sound or light based on the determination result.

제3 실시 형태에 따르면, 조종 지원 시스템(1)의 보수의 필요 여부를 정확하게 파악할 수 있다. 또한, 붐(42), 암(44) 및 버킷(46)의 원점 위치를 고정밀도로 캘리브레이션할 수 있다.According to the third embodiment, it is possible to accurately grasp whether maintenance of the steering support system 1 is required. In addition, the origin positions of the boom 42, the arm 44, and the bucket 46 can be calibrated with high precision.

[제4 실시 형태][Fourth embodiment]

본 발명의 제4 실시 형태는, 건설 기계(1000)이다. 이 건설 기계(1000)는, 이동부(40)와, 이동부(40)의 이동 범위 Rm에 관한 화상 정보 Gp를 취득하는 취득부(10)와, 화상 정보 Gp에 기초하여 이동부(40)에 장해물과의 접촉을 회피하는 동작을 하게 하는 동작 제어부(20)를 구비한다. 건설 기계(1000)는, 예를 들어 버킷(46)을 이동시켜 건설 작업을 행하는 기계여도 된다. 건설 기계(1000)의 이동부(40)는, 버킷 대신에 포크, 해머, 크러셔 등의 다양한 어태치먼트를 구비해도 된다. 제4 실시 형태의 구성에 의하면, 제1 실시 형태와 동일한 작용 효과를 발휘한다.The fourth embodiment of the present invention is a construction machine 1000. The construction machine 1000 includes a moving unit 40, an acquisition unit 10 that acquires image information Gp regarding a moving range Rm of the moving unit 40, and a moving unit 40 based on the image information Gp. And an operation control unit 20 that makes an operation to avoid contact with an obstacle. The construction machine 1000 may be, for example, a machine that moves the bucket 46 to perform construction work. The moving part 40 of the construction machine 1000 may be provided with various attachments, such as a fork, a hammer, a crusher, instead of a bucket. According to the configuration of the fourth embodiment, the same effects as those of the first embodiment are exhibited.

이상, 본 발명의 실시 형태의 예에 대하여 상세하게 설명했다. 상술한 실시 형태는, 모두 본 발명을 실시하는 데 있어서의 구체예를 나타낸 것에 지나지 않는다. 실시 형태의 내용은, 본 발명의 기술적 범위를 한정하는 것은 아니고, 청구범위에 규정된 발명의 사상을 일탈하지 않는 범위에 있어서, 구성 요소의 변경, 추가, 삭제 등의 많은 설계 변경이 가능하다. 상술한 실시 형태에서는, 이와 같은 설계 변경이 가능한 내용에 관하여, 「실시 형태의」「실시 형태에서는」 등의 표기를 붙여 설명하고 있지만, 그와 같은 표기가 없는 내용으로 설계 변경이 허용되지 않는 것은 아니다.In the above, examples of embodiments of the present invention have been described in detail. All of the above-described embodiments are only showing specific examples for carrying out the present invention. The contents of the embodiments do not limit the technical scope of the present invention, and many design changes such as changes, additions and deletions of constituent elements are possible within the scope not departing from the spirit of the invention specified in the claims. In the above-described embodiment, the contents in which such design changes can be made are described with notations such as "in the embodiment" and "in the embodiment", but the contents without such notation are not allowed to change the design. no.

[변형예][Modified example]

이하, 변형예에 대하여 설명한다. 변형예의 도면 및 설명에서는, 실시 형태와 동일 또는 동등한 구성 요소, 부재에는, 동일한 번호를 붙인다. 실시 형태와 중복되는 설명을 적절히 생략하고, 제1 실시 형태와 상위한 구성에 대하여 중점적으로 설명한다.Hereinafter, a modified example will be described. In the drawings and description of the modified example, the same reference numerals are attached to the same or equivalent components and members as in the embodiment. Descriptions overlapping with the first embodiment will be omitted as appropriate, and components different from the first embodiment will be mainly described.

제1 실시 형태의 설명에서는, 작업 기계가 버킷(46)을 이동시켜 건설 작업을 행하는 건설 기계인 예를 나타냈지만, 본 발명은 이것에 한정되지 않고, 건설 기계 이외의 작업 기계에도 적용할 수 있다.In the description of the first embodiment, an example was shown in which the working machine is a construction machine that performs construction work by moving the bucket 46, but the present invention is not limited to this and can be applied to work machines other than construction machines. .

제1 실시 형태의 설명에서는, 장해물이 사람인 예를 나타냈지만, 본 발명은 이것에 한정되지 않는다. 제1 실시 형태의 설명은, 사람 이외의 장해물에 대해서도 적용 가능하다.In the description of the first embodiment, an example in which the obstacle is a person has been shown, but the present invention is not limited thereto. The description of the first embodiment is applicable to obstacles other than people.

제1 실시 형태의 설명에서는, 화상 센서(12)가 2개의 화상 센서로 구성되는 예를 나타냈지만, 본 발명은 이것에 한정되지 않는다. 화상 센서(12)는, 단일의 화상 센서로 구성되어도 되고, 3개 이상의 화상 센서로 구성되어도 된다.In the description of the first embodiment, an example in which the image sensor 12 is composed of two image sensors has been shown, but the present invention is not limited thereto. The image sensor 12 may be composed of a single image sensor or may be composed of three or more image sensors.

제1 실시 형태의 설명에서는, 화상 센서(12)가 조종실(38)의 지붕에 마련되는 예를 나타냈지만, 본 발명은 이것에 한정되지 않는다. 예를 들어, 화상 센서(12)는, 작업 기계(100)로부터 이격된 위치로부터 촬상하는 외부 화상 센서를 포함해도 된다. 예를 들어, 외부 화상 센서는, 드론에 탑재되어도 되고, 상공에 뻗어진 와이어 등에 매달아도 된다. 이 경우, 작업 기계로부터 이격되어 마련된 화상 센서를 사용하므로, 장해물의 검지 누설 방지가 도모된다.In the description of the first embodiment, an example in which the image sensor 12 is provided on the roof of the cockpit 38 has been shown, but the present invention is not limited thereto. For example, the image sensor 12 may include an external image sensor that captures an image from a position spaced apart from the working machine 100. For example, the external image sensor may be mounted on a drone or may be hung on a wire extending in the sky or the like. In this case, since the image sensor provided spaced apart from the working machine is used, detection of an obstacle is prevented from leaking.

제1 실시 형태의 설명에서는, 제1 내지 제3 거리 D1 내지 D3이 장해물의 종류에 의하지 않고 일정한 예를 나타냈지만, 본 발명은 이것에 한정되지 않는다. 예를 들어, 제1 내지 제3 거리 D1 내지 D3은 장해물의 종류에 따라 변경되어도 된다. 장해물이 사람일 때는, 그 이외의 경우에 비해 제1 내지 제3 거리 D1 내지 D3을 크게 해도 된다.In the description of the first embodiment, a certain example has been shown where the first to third distances D1 to D3 are not dependent on the type of the obstacle, but the present invention is not limited thereto. For example, the first to third distances D1 to D3 may be changed according to the type of the obstacle. When the obstacle is a human, the first to third distances D1 to D3 may be increased compared to other cases.

제1 실시 형태의 설명에서는, 정보 단말기(50)가 조종실(38)에 마련되는 예를 나타냈지만, 본 발명은 이것에 한정되지 않는다. 예를 들어, 정보 단말기(50)는, 작업 기계(100)의 외부에 있는 작업원이 소지하는 태블릿 단말기 등의 휴대 단말기여도 된다.In the description of the first embodiment, an example in which the information terminal 50 is provided in the cockpit 38 has been shown, but the present invention is not limited to this. For example, the information terminal 50 may be a portable terminal such as a tablet terminal held by a worker outside the work machine 100.

제1 실시 형태의 설명에서는, 작업 기계(100)가 조종석(32)에 착좌한 조종자에 의해 조종되는 예를 나타냈지만, 본 발명은 이것에 한정되지 않는다. 예를 들어, 작업 기계는, 자동 조종이나 리모컨 조종되는 것이어도 된다.In the description of the first embodiment, an example in which the working machine 100 is manipulated by a manipulator seated in the cockpit 32 has been shown, but the present invention is not limited thereto. For example, the work machine may be controlled by automatic control or remote control.

상술한 변형예는, 제1 실시 형태와 동일한 작용·효과를 발휘한다.The above-described modified example exhibits the same actions and effects as those of the first embodiment.

상술한 실시 형태와 변형예의 임의의 조합도 또한 본 발명의 실시 형태로서 유용하다. 조합에 의해 발생하는 새로운 실시 형태는, 조합되는 실시 형태 및 변형예 각각의 효과를 아울러 갖는다.Any combination of the above-described embodiment and modification is also useful as an embodiment of the present invention. The new embodiment generated by the combination has the effects of each of the combined embodiment and modified example.

1: 조종 지원 시스템
8: 사람
8b: 발밑
10: 취득부
12: 화상 센서
20: 동작 제어부
20c: 장해물 식별부
20d: 거리 특정부
20e: 정보 출력부
20f: 회피 제어부
20g: 밸브 제어부
20h: 사람 식별부
20j: 이동부 식별부
30: 조종 지원 장치
32: 조종석
40: 이동부
100: 작업 기계1: steering assistance system
8: person
8b: foot
10: acquisition unit
12: image sensor
20: motion control unit
20c: obstacle identification unit
20d: distance specification
20e: information output section
20f: avoidance control
20g: valve control unit
20h: person identification
20j: moving part identification part
30: steering support device
32: cockpit
40: moving part
100: working machine

Claims

An acquisition unit that acquires image information on a moving range of the moving unit of the working machine;
An operation control unit for causing the moving unit to perform an operation to avoid contact with an obstacle based on the image information.
Equipped, the control support system of the working machine.

The steering support system according to claim 1, wherein the acquisition unit is configured to include image information on the moving unit in the image information.

The steering support system according to claim 1 or 2, wherein the acquisition unit includes a plurality of image sensors that take images of the moving unit from different positions.

The steering support system according to any one of claims 1 to 3, wherein the operation control unit controls to lower the moving speed of the moving unit when the moving unit approaches within a first distance from the obstacle.

The steering support system according to any one of claims 1 to 4, wherein the motion control unit controls the moving unit to stop moving when the moving unit approaches within a second distance from the obstacle.

The steering support system according to any one of claims 1 to 5, wherein the motion control unit controls the moving unit to change a moving course of the moving unit when the moving unit approaches within a third distance from the obstacle.

The steering support system according to any one of claims 1 to 6, wherein the operation control unit has an obstacle identification unit that identifies the type of the obstacle using feature information about the obstacle stored in advance.

The maneuvering support system according to claim 7, further comprising a person identification unit that identifies the foot of the person when the obstacle is a person and identifies a range of the person from the foot to a predetermined height.

The steering support system according to claim 8, wherein the motion control unit includes the person identification unit.

The maneuvering support system according to any one of claims 1 to 9, comprising a moving unit identification unit that identifies a range of the moving unit using coordinate information about a predetermined portion stored in advance of the moving unit.

The steering support system according to claim 10, wherein the motion control unit includes the moving unit identification unit.

The method according to any one of claims 1 to 10, wherein the moving unit is configured to move according to a manipulator's control,
The maneuvering support system, wherein the moving part forms a blind area in the moving range viewed from the cockpit of the working machine.

The steering support system according to any one of claims 1 to 12, comprising an information output unit that outputs information about a distance between the obstacle and the moving unit.

Acquiring image information about the moving range of the moving part of the working machine;
And causing the moving unit to perform an operation to avoid contact with an obstacle based on the image information.

A maintenance support method for a steering support system, comprising the step of determining whether maintenance of the steering assistance system according to claim 1 is required based on a comparison result of the acquired image information and the reference image information stored in advance.

With the moving part,
An acquisition unit that acquires image information on a moving range of the moving unit;
An operation control unit for causing the moving unit to perform an operation to avoid contact with an obstacle based on the image information.
Equipped with construction machinery.