KR20210089039A - 건설기계의 제어 시스템 및 방법 - Google Patents

건설기계의 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20210089039A
KR20210089039A KR1020200002258A KR20200002258A KR20210089039A KR 20210089039 A KR20210089039 A KR 20210089039A KR 1020200002258 A KR1020200002258 A KR 1020200002258A KR 20200002258 A KR20200002258 A KR 20200002258A KR 20210089039 A KR20210089039 A KR 20210089039A
Authority
KR
South Korea
Prior art keywords
image
transparent
images
area
boom
Prior art date
Application number
KR1020200002258A
Other languages
English (en)
Inventor
이상훈
박용진
박재홍
이정표
Original Assignee
두산인프라코어 주식회사
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산인프라코어 주식회사, 주식회사 와이즈오토모티브 filed Critical 두산인프라코어 주식회사
Priority to KR1020200002258A priority Critical patent/KR20210089039A/ko
Priority to US17/142,686 priority patent/US11541827B2/en
Priority to CN202110012503.0A priority patent/CN113152552B/zh
Priority to EP21150577.1A priority patent/EP3848516B1/en
Publication of KR20210089039A publication Critical patent/KR20210089039A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F1/00—General working methods with dredgers or soil-shifting machines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/425—Drive systems for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

건설기계의 제어 시스템은 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라, 차체 상에 설치되어 상기 차체 전방을 촬상하는 하부 카메라, 상기 차체에 회전 가능하도록 연결된 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부, 및 상기 상부 카메라 및 상기 하부 카메라로부터 촬상한 제1 및 제2 영상들을 하나의 영상으로 합성하되 상기 작업장치 자세 검출부에 의해 검출된 작업장치의 자세에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하는 영상 처리부, 및 상기 영상 처리부에서 영상 처리된 합성 영상을 표시하는 표시 장치를 포함한다.

Description

건설기계의 제어 시스템 및 방법{SYSTEM AND METHOD OF CONTROLLING CONSTRUCTION MACHINERY}
본 발명은 건설기계의 제어 시스템 및 방법에 관한 것이다. 보다 상세하게는, 휠 로더, 굴삭기 등과 같은 건설기계의 작업 또는 주행 시에 전방 장애물을 인지하기 위한 제어 시스템 및 이를 이용한 건설기계의 제어 방법에 관한 것이다.
굴삭기, 휠 로더 등과 같은 건설기계는 건설 현장에서, 흙, 모래 등과 같은 적재물을 굴삭하여 운반하고 덤프 트럭과 같은 화물 차량에 로딩하는 작업 등을 수행하는 데 널리 사용되고 있다. 이러한 작업들은 버켓 및 붐과 같이 건설기계에 설치된 작업장치의 구동에 의해 수행된다. 하지만, 상기 작업장치는 구동 중에 작업자의 전방 시야를 가리거나 제한시킬 수 있고, 상술한 바와 같은 작업장치에 의한 작업자의 전방 시야 방해는 안전사고를 발생시키는 원인이 될 수 있다.
본 발명의 일 과제는 작업장치에 의해 제한된 전방 시야를 개선할 수 있는 건설기계의 제어 시스템을 제공하는 데 있다.
본 발명의 다른 과제는 상술한 제어 시스템을 이용한 건설기계의 제어 방법을 제공하는 데 있다.
상기 본 발명의 일 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 시스템은 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라, 차체 상에 설치되어 상기 차체 전방을 촬상하는 하부 카메라, 상기 차체에 회전 가능하도록 연결된 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부, 및 상기 상부 카메라 및 상기 하부 카메라로부터 촬상한 제1 및 제2 영상들을 하나의 영상으로 합성하되 상기 작업장치 자세 검출부에 의해 검출된 상기 작업장치의 자세에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하는 영상 처리부, 및 상기 영상 처리부에서 영상 처리된 합성 영상을 표시하는 표시 장치를 포함한다.
예시적인 실시예들에 있어서, 상기 제어부는 상기 작업장치의 적어도 일부가 기 설정된 위치를 침범할 때 상기 합성된 영상에서 상기 제1 영상을 투명화하고, 상기 작업장치가 상기 기 설정된 위치를 침범하지 않을 때 상기 합성된 영상에서 상기 제2 영상을 투명화할 수 있다.
예시적인 실시예들에 있어서, 상기 표시 장치의 전체 표시 영역은 기 설정된 투명화 처리 영역 및 상기 투명화 처리 영역의 외부 영역을 포함하고, 상기 제어부는 상기 제1 및 제2 영상들이 상기 투명화 처리 영역에서 투명화되도록 영상 처리할 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계의 제어 시스템은 상기 영상 처리부에서의 영상 처리 조건을 설정하기 위한 입력부를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 투명화 처리 영역을 포함할 수 있다.
상기 본 발명의 다른 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 방법에 있어서, 운전실 상에 설치된 상부 카메라로부터 상기 운전실 전방의 제1 영상을 획득한다. 차체 상에 설치된 하부 카메라로부터 상기 차체 전방의 제2 영상을 획득한다. 상기 차체에 회전 가능하도록 연결된 작업장치의 자세를 검출한다. 상기 제1 및 제2 영상들을 하나의 영상으로 합성한다. 상기 검출된 작업장치의 자세에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리한다. 상기 투명화 처리된 영상을 표시 장치를 통해 표시한다.
예시적인 실시예들에 있어서, 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하는 것은, 상기 작업장치의 적어도 일부가 기 설정된 위치를 침범하는 자세일 때 상기 합성된 영상에서 상기 제1 영상을 투명화하고, 그리고 상기 작업장치가 상기 기 설정된 위치를 침범하지 않는 자세일 때 상기 합성된 영상에서 상기 제2 영상을 투명화하는 것을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 표시 장치의 전체 표시 영역은 기 설정된 투명화 처리 영역 및 상기 투명화 처리 영역의 외부 영역을 포함하고, 상기 제1 및 제2 영상들은 상기 투명화 처리 영역 내부에서 투명화되도록 영상 처리될 수 있다.
예시적인 실시예들에 있어서, 상기 건설기계의 제어 방법은 상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정하는 것을 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 투명화 처리 영역을 포함할 수 있다.
예시적인 실시예들에 따르면, 건설기계의 제어 시스템은 건설기계의 운전실 상에 설치된 상부 카메라 및 전방 차체 상에 설치된 하부 카메라로부터 촬상된 제1 영상 및 제2 영상을 하나의 영상으로 합성하고, 작업장치의 자세 변경에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하고, 상기 투명화 처리된 영상을 표시 장치를 통해 표시할 수 있다.
즉, 버켓의 위치, 붐의 자세와 같은 작업장치의 자세에 따라 상기 제1 영상 또는 상기 제2 영상을 상기 합성된 영상에서 투명화 처리함으로써 전방 작업장치에 의해 전방 시야가 가려지는 사각 지대를 제거할 수 있다. 이에 따라, 작업자의 인지력을 증가시켜 안정성을 확보하여 안전 사고를 미연에 방지할 수 있다.
또한, 작업자의 선택에 따라 투명화 처리 영역이 설정될 수 있어 투명화 처리된 영상의 활용에 자유도를 향상시키고, 효율적인 시스템 구성이 가능할 수 있다.
다만, 본 발명의 효과는 상기 언급한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 예시적인 실시예들에 따른 건설기계의 일부를 나타내는 측면도이다.
도 2는 도 1의 작업장치의 자세 변화를 나타내는 측면도이다.
도 3은 도 1의 건설기계의 제어 시스템을 나타내는 블록도이다.
도 4는 예시적인 실시예들에 따른 건설기계의 제어 방법을 나타내는 순서도이다.
도 5는 버켓 위치가 기 설정된 위치보다 낮을 때 운전실 내의 표시 장치에 표시되는 화면을 나타내는 도면이다.
도 6은 버켓 위치가 기 설정된 위치보다 높을 때 운전실 내의 표시 장치에 표시되는 화면을 나타내는 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하고자 한다.
본 발명의 각 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
본 발명에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다.
즉, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 예시적인 실시예들에 따른 건설기계의 일부를 나타내는 측면도이다. 도 2는 도 1의 붐의 회전 각도에 따른 버켓 상승 위치를 나타내는 측면도이다. 도 3은 도 1의 건설기계의 제어 시스템을 나타내는 블록도이다. 도 1에는 휠 로더(10)가 도시되어 있으나 이로 인하여 예시적인 실시예들에 따른 건설기계의 제어 장치가 휠 로더에서만 이용되는 것으로 한정되는 것은 아니며, 굴삭기, 지게차와 같은 산업용 차량 등에도 적용될 수 있다. 이하에서는 설명의 편의를 위해, 휠 로더(10)에 대해서만 기술하기로 한다.
도 1 내지 도 3을 참조하면, 건설기계(10)는 차체(12, 14), 운전실(40), 및 작업장치를 포함할 수 있다. 도 1의 휠 로더(10)를 예로 들면, 차체(12, 14)는 서로 회전 가능하게 연결된 전방 차체(12) 및 후방 차체(14)를 포함할 수 있다. 전방 차체(12)는 작업장치 및 전방 휠(70)을 포함할 수 있다. 후방 차체(14)는 운전실(40), 엔진룸(도시되지 않음) 및 후방 휠(도시되지 않음)을 포함할 수 있다.
상기 작업장치는 붐(20) 및 버켓(30)을 포함할 수 있다. 붐(20)은 전방 차체(12)에 회전 가능하도록 연결되고 버켓(30)은 붐(20)의 일단부에 회전 가능하도록 연결될 수 있다. 붐(20)은 전방 차체(12)에 한 쌍의 붐 실린더들(22)에 의해 연결되고, 붐(20)은 붐 실린더(22)의 구동에 의해 상하 방향으로 회전할 수 있다. 틸트 암(34)은 붐(20)의 거의 중심부 상에서 자유롭게 회전 가능하도록 연결되고, 틸트 암(34)의 일단부와 전방 차체(12)는 한 쌍의 버켓 실린더들(32)에 의해 연결되고, 틸트 암(34)의 타단부에 틸트 로드에 의해 연결된 버켓(30)은 버켓 실린더(32)의 구동에 의해 상하 방향으로 회전(덤프 또는 크라우드)할 수 있다.
또한, 전방 차체(12)와 후방 차체(14)는 센터 핀(16)에 의해 서로 회전 가능하게 연결되고, 스티어링 실린더(도시되지 않음)에 신축에 의해 전방 차체(12)가 후방 차체(14)에 대하여 좌우로 굴절될 수 있다.
후방 차체(14)에는 휠 로더(10)를 주행시키기 위한 주행 장치가 탑재될 수 있다. 엔진(도시되지 않음)은 상기 엔진룸 내에 배치되고 상기 주행 장치에 파워 출력을 공급할 수 있다. 상기 주행 장치는 토크 컨버터, 트랜스미션, 프로펠러 샤프트, 액슬 등을 포함할 수 있다. 상기 엔진의 파워 출력은 상기 토크 컨버터, 상기 트랜스미션, 상기 프로펠러 샤프트 및 상기 액슬 통해 전방 휠(70) 및 상기 후방 휠(72)로 전달되어 휠 로더(10)가 주행하게 된다.
후방 차체(14)에는 상기 작업장치의 붐 실린더(22) 및 버켓 실린더(32)에 압유를 공급하기 위한 유압 펌프(도시되지 않음)가 탑재될 수 있다. 상기 유압 펌프는 상기 엔진으로부터의 파워 출력의 일부를 사용하여 구동될 수 있다. 예를 들면, 상기 엔진의 출력은, 상기 엔진과 연결된 기어 트레인과 같은 동력전달장치를 통해서 상기 작업장치용 유압 펌프와 스티어링용의 유압 펌프를 구동시킬 수 있다.
상기 유압 펌프는 작동유를 공급하여 상기 작업장치를 구동시킬 수 있으며, 가변 용량형 및 정 용량형으로 구분될 수 있다. 상기 가변 용량형 유압 펌프에는 펌프 제어장치가 연결되고, 상기 펌프 제어장치에 의해 상기 가변 용량형 유압 펌프의 토출 유량이 제어될 수 있다. 상기 유압 펌프는 소정의 유압 회로를 통해 붐 제어 밸브와 버켓 제어 밸브를 포함하는 메인 제어 밸브(MCV)와 연결될 수 있다. 상기 유압 펌프의 토출유는 메인 제어 밸브(MCV)의 상기 붐 제어 밸브 및 상기 버켓 제어 밸브를 통해 붐 실린더(22) 및 버켓 실린더(32)에 공급될 수 있다. 메인 제어 밸브(MCV)는 상기 조작 레버의 조작에 따라 입력된 파일럿 압력 신호에 따라 상기 유압 펌프로부터 토출된 작동유를 붐 실린더(22) 및 버켓 실린더(32)로 공급할 수 있다. 이에 따라, 붐(20)과 버켓(30)은 상기 유압 펌프로부터 토출된 작동유의 유압에 의해 구동될 수 있다.
운전실(40)는 상기 건설기계의 차체에 설치되며, 휠 로더의 경우에는 후방 차체(14)의 상부에 설치될 수 있다. 운전실(40) 내에는 운전 조작 장치가 구비될 수 있다. 상기 운전 조작 장치는 주행 페달, 브레이크 페달, 및 FNR 주행 레버와 붐 실린더(22)와 버켓 실린더(32)와 같은 실린더들을 작동시키기 위한 조작 레버들을 포함할 수 있다.
상술한 바와 같이, 휠 로더(10)는 상기 엔진의 출력을 동력전달장치를 통해 상기 주행 장치를 구동시키기 위한 주행 시스템과 붐(20)과 버켓(30)과 같은 작업장치를 구동시키기 위한 유압 장치계를 포함할 수 있다.
이하에서는, 상기 건설기계의 제어 시스템에 대하여 휠 로더를 예로 들어 설명하기로 한다.
도 3에 도시된 바와 같이, 상기 휠 로더의 제어 시스템은 휠 로더(10)에 장착되어 휠 로더(10)의 전방을 촬상하기 위한 카메라부(100), 전방 차체(12)에 연결된 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부, 카메라부(100)로부터의 영상을 실시간으로 처리하기 위한 영상 처리부(200), 및 영상 처리부(200)에 처리된 영상을 표시하기 위한 표시 장치(300)를 포함할 수 있다. 또한, 상기 휠 로더의 제어 시스템은 영상 처리부(200)에서의 영상 처리 조건을 설정하기 위한 입력부(400)를 더 포함할 수 있다.
휠 로더(10)의 영상 처리부(200)는 엔진 제어 장치(ECU) 또는 차량 제어장치(VCU)의 일부 또는 별도의 컨트롤러로서 후방 차체(14)에 탑재될 수 있다. 영상 처리부(200)는 여기서 설명되는 기능들을 수행하기 위한 지정된 하드웨어, 소프트웨어 및 회로를 포함할 수 있다. 이러한 구성 요소들은 로직 회로, 마이크로프로세서, 메모리 장치들 등과 같은 전기적 회로들에 의해 물리적으로 수행될 수 있다.
예시적인 실시예들에 있어서, 카메라부(100)는 휠 로더(10)가 주행하거나 작업 시 휠 로더(10)의 전방을 감시하기 위한 것으로, 복수 개의 카메라들을 포함할 수 있다. 구체적으로, 카메라부(100)는 운전실(40) 상부에 설치되어 운전실(40) 전방을 촬상하여 제1 영상을 획득하기 위한 상부 카메라(110) 및 전방 차체(12) 상에 설치되어 전방 차체(12) 전방을 촬상하여 제2 영상을 획득하기 위한 하부 카메라(120)를 포함할 수 있다. 도 1 및 도 2에는 하나의 상부 카메라 및 하나의 하부 카메라가 도시되어 있으나, 이에 제한되지 않으며, 복수 개의 상부 카메라들 및 복수 개의 하부 카메라들이 구비될 수 있다.
상부 카메라(110)는 휠 로더 전방 방향을 기준으로 제1 수직 시야각(Field of View, FoV)(θv1) 및 제1 수평 시야각을 가질 수 있다. 예를 들면, 상기 제1 수직 시야각은 60도 내지 120도의 각도 범위를 가질 수 있다. 하부 카메라(120)는 제2 수직 시야각(θv2) 및 제2 수평 시야각을 가질 수 있다. 예를 들면, 상기 제2 수직 시야각은 60도 내지 120도의 각도 범위를 가질 수 있다.
상기 제1 영상은 상부 카메라(110)를 통해 전방 상부를 초점으로 촬상한 영상이고, 상기 제2 영상은 하부 카메라(120)를 통해 전방 하부를 초점으로 촬상한 영상일 수 있다.
상부 카메라(110)의 제1 수직 시야각(θv1) 및 하부 카메라(120)의 제2 수직 시야각(θv2)이 일부 중첩되도록 설정하여, 상기 제1 영상 및 제2 영상이 서로 부분적으로 중복될 수 있다.
예시적인 실시예들에 있어서, 상기 작업장치 자세 검출부는 상기 작업장치가 후술하는 표시 영역 내의 투명화 처리 영역을 침범하는 지 여부를 검출할 수 있다. 후술하는 바와 같이, 촬영된 영상의 투명화 처리는 기 설정된 위치, 즉, 표시 장치(300)의 전체 표시 영역 중 기 설정된 투명화 처리 영역에 해당되는 실제 위치를 상기 작업장치가 침범할 때 수행되어 작업자의 시야를 확보할 수 있다. 상기 작업장치의 자세는 버켓(30)의 위치(지면으로부터의 버켓의 높이) 또는 붐(20)의 자세(붐의 회전 각도)가 포함될 수 있다. 이를 위해 상기 작업장치 자세 검출부는 버켓(30)의 위치 또는 붐(20)의 자세를 검출하기 위한 붐 각도 센서(24)를 포함할 수 있다. 아울러, 붐(20)과 버켓(30)의 상대 회전각을 검출하기 위한 버켓 각도 센서(도시되지 않음)를 포함할 수 있다. 붐 각도 센서(24)를 대신하여 붐(20)을 구동시키는 실린더의 스트로크를 검출하는 변위 센서를 포함할 수 있다. 또한, 상기 작업장치 자세 검출부는 카메라를 통해 촬상된 상기 작업장치의 이미지를 분석하여 상기 작업장치의 자세를 판단하는 이미지 분석 장치를 포함할 수 있다.
붐 각도 센서(24)는 붐(20)의 회전 각도를 검출하고 이에 기초하여 버켓(30)의 위치에 대한 정보를 제공할 수 있다. 도 2에 도시된 바와 같이, 붐(20)의 회전 각도는 붐(20)(버켓(30))의 최저 위치(0%)에서의 연장선(L)과 붐(20)의 연장선(R) 사이의 각도(θ)일 수 있다. 붐(20)의 최고 위치(max boom height)에서 붐(20)의 회전 각도는 θmax.height이고, 이 때, 붐(버켓) 위치는 최대 높이(100%)일 수 있다.
예시적인 실시예들에 있어서, 영상 처리부(200)는 건설기계의 제어 장치 또는 디스플레이 장치에 내장된 제어 장치의 형태로 설치될 수 있다. 이러한 영상 처리부(200)는 상기 제1 영상 및 상기 제2 영상을 하나의 영상으로 합성하기 위한 영상 합성부(210) 및 상기 붐 위치 검출부에 의해 검출된 붐 위치에 따라 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하기 위한 투명화 처리부(220)를 포함할 수 있다. 영상 처리부(200)는 상기 영상 처리된 합성 영상을 3차원 이미지로 렌더링(rendering)하기 위한 이미지 렌더링부(230)를 더 포함할 수 있다. 상술한 영상 합성부(210), 투명화 처리부(220) 및 이미지 렌더링부(230)의 기능은 영상처리를 위한 GP, CPU와 같은 단일의 프로세서 또는 각각 별도의 프로세서의 전산 처리를 통해 구현될 수 있다.
영상 합성부(210)는 상부 카메라(110) 및 하부 카메라(120)를 통해 촬상한 상기 제1 영상 및 상기 제2 영상에서 중복되는 영상을 매칭하여 하나의 영상으로 합성할 수 있다. 투명화 처리부(220)는 상기 검출된 작업 장치의 자세에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리를 수행할 수 있다. 이미지 렌더링부(230)는 상기 합성 영상을 실사와 같이 표시되도록 영상 처리하여 표시 장치(300)로 출력할 수 있다.
투명화 처리부(220)는 상기 제1 및 제2 영상들을 표시 장치(300)의 전체 표시 영역 중에서 일부 영역에서만 투명화되도록 영상 처리할 수 있다. 상기 투명화 처리 영역은 승하강하는 붐(20) 및 버켓(30)을 포함한 전방 작업장치에 의해 전방 시야가 가려지는 영역을 포함하도록 정의될 수 있다.
상기 투명화 처리는 상기 합성된 영상의 상기 투명화 처리 영역 내에서 상기 제1 영상 또는 상기 제2 영상을 제거 또는 반투명하게 처리하여 배경 영상과 중첩되도록 하거나 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 형태만을 식별 가능하도록 할 수 있다. 예를 들면, 알파 블렌딩(Alpha Blending) 기법 등을 이용하여 상기 투명화 처리 영역 내의 상기 제1 영상 또는 상기 제2 영상을 합성된 영상에서 제거시킬 수 있다.
예시적인 실시예들에 있어서, 투명화 처리부(220)는 상기 작업장치의 적어도 일부가 상기 투명화 처리 영역에 대응되는 위치를 침범하는 것에 대응하여 투명화 처리를 할 수 있다. 예를 들면, 상기 작업장치의 적어도 일부가 상기 투명화 처리 영역을 침범하지 않은 것으로 판단될 수 있는 상기 버켓 또는 붐 위치가 기 설정된 위치(투명화 전환 위치)보다 낮을 때 상기 합성된 영상에서 상기 제2 영상을 투명화할 수 있다. 아울러, 상기 작업장치가 상기 투명화 처리 영역을 침범한 것으로 판정될 수 있는 상기 버켓 또는 상기 붐 위치가 기 설정된 위치(투명화 전환 위치)보다 높은 상태일 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 예를 들면, 상기 기 설정된 붐의 위치는 붐(20)의 회전 각도(θ)가 15도 내지 20도 범위 이내에 있도록 설정될 수 있다.
버켓(30)이 최저 위치(0%)에서부터 상기 기 설정된 버켓 위치, 즉, 상기 투명화 처리 영역의 경계인 투명화 전환 위치 사이에 있을 때 하부 카메라(120)로부터 촬상된 상기 제2 영상을 투명화 처리함으로써, 상부 카메라(110)로 구현되는 피사체가 중점이 되도록 표시될 수 있다. 버켓(30)이 상대적으로 낮은 위치에 있을 때 하부 카메라(120)로부터 촬상된 제2 영상에서는 붐(20) 및 버켓(30)을 포함한 전방 작업장치에 의해 전방 차체(12) 전방 시야가 가려질 수 있다. 투명화 처리부(220)는 상기 제2 영상을 투명화 처리하고 상기 제1 영상을 중점으로 하여 표시함으로써 상기 전방 작업장치에 의해 시야가 가려지는 것을 방지할 수 있다.
버켓(30)이 상기 기 설정된 버켓 위치에서부터 상기 투명화 처리 영역의 최고 위치(100%) 사이에 있을 때, 상기 투명화 처리 영역 내에 배치되는 상부 카메라(110)로부터 촬상된 상기 제1 영상을 투명화 처리함으로써, 하부 카메라(120)로 구현되는 피사체가 중점이 되도록 표시될 수 있다. 버켓(30)이 상대적으로 높은 위치에 있을 때 상부 카메라(110)로부터 촬상된 제1 영상에서는 붐(20) 및 버켓(30)을 포함한 전방 작업장치에 의해 운전실(40) 전방 시야가 가려질 수 있다. 투명화 처리부(220)는 상기 제1 영상을 투명화 처리하고 상기 제2 영상을 중점으로 하여 표시함으로써 상기 전방 작업장치에 의해 시야가 가려지는 것을 방지할 수 있다.
버켓(30)이 상승 또는 하강하여 상기 기 설정된 버켓 위치(투명화 전환 위치)를 지날 때, 투명화 처리부(220)에 의해 투명화 처리되는 상기 투명화 처리 영역 내에 위치하는 영상은 상기 제2 영상에서 상기 제1 영상으로 또는 상기 제1 영상에서 상기 제2 영상으로 전환될 수 있다.
이와 다르게, 투명화 처리부(220)는 상기 붐의 회전 각도(θ)가 제1 각도 범위에 있을 때 상기 합성된 영상에서 상기 제2 영상을 투명화하고, 상기 붐의 회전 각도(θ)가 제2 각도 범위에 있을 때 상기 합성된 영상의 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들을 투명화하고, 상기 붐의 회전 각도(θ)가 제3 각도 범위에 있을 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 예를 들면, 상기 제1 각도 범위는 0도 내지 15도의 범위 이내이고, 상기 제2 각도 범위는 15도 내지 25도의 범위 이내이고, 상기 제3 각도 범위는 25도 내지 45도 범위 이내에 있도록 설정될 수 있다.
예시적인 실시예들에 있어서, 입력부(400)를 통해 영상 처리부(200)에서의 영상 처리 조건을 설정할 수 있다. 예를 들면, 상기 영상 처리 조건은 상기 투명화 처리 영역의 위치, 크기에 대한 것일 수 있다. 상기 투명화 처리 영역이 결정됨에 따라 상기 제1 및 제2 영상들의 투명화 전환 위치, 표시 장치(300)의 전체 표시 영역 중에서의 투명화 처리 영역 등이 설정될 수 있다. 예를 들면, 상기 투명화 전환 위치는 상기 투명화 처리 영역의 경계 위치를 의미할 수 있고, 버켓(30)이 이동하여 상기 투명화 처리 영역의 경계에 위치할 때 투명화 전환을 위한 기 설정된 위치에 버켓(30)이 위치한 것으로 간주할 수 있다. 상기 투명화 처리 영역의 크기 및 위치, 상기 투명화 전화 시점 등은 장비의 기종에 따라 제조사에서 고정되게 설정할 수 있고, 작업자 또는 정비 인원이 자유롭게 변경 설정할 수 있다.
예를 들면, 입력부(400)는 계기판 옵션 형태로 구현될 수 있으며, 작업자는 입력부(400)를 통해 상기 투명화 전환 시점, 상기 투명화 처리 영역 등을 변경할 수 있다.
상술한 바와 같이, 상기 투명화 처리 영역 및 상기 투명화 전환 시점이 설정되면, 표시 장치(300)는 상기 카메라부의 촬영 영상이 투명화 처리 되어 표시되는 투명화 처리 영역(A) 및 투명화 처리 영역(A)의 외부 영역으로 구분하여 영상을 디스플레이 할 수 있다. 표시 장치(300)는 투명화 처리 영역(A)의 구분이 가능하도록 투명화 처리 영역(A)의 외곽선을 부가적으로 표시할 수도 있고, 상기 외곽선 없이 투명화 처리에 따른 영상을 투명화 처리 영역(A)의 외부 영역의 영상과 연결하여 표시할 수 있다.
또한, 표시 장치(300)는 투명화 처리 영역(A)의 외부 영역에서 제 1 영상을 디스플레이 할 수 있고, 투명화 처리 영역(A)의 내부 영역에서 투명화 처리 진행에 따라 상기 제1 영상, 상기 제2 영상 또는 상기 제1 및 제2 영상들 중 어느 하나가 중점으로 표시되는 투명화 영상을 디스플레이 할 수 있다.
예를 들면, 버켓(30)이 투명화 처리 영역(A)의 외부 영역에 위치할 때 표시장치(300)는 투명화 처리 영역(A)과 투명화 처리 영역(A)의 외부 영역을 상호 연결하는 제1 영상만을 디스플레이 할 수 있다. 이와 다르게, 투명화 처리 영역(A)의 내부는 제1 영상이 중점으로 표시되는 투명화 영상이 디스플레이 될 수도 있다. 이 경우 작업자는 제1 영상이 중점으로 표시되는 투명화 영상으로 인해 표시 장치(300)가 전체적으로 제1 영상을 디스플레이 하는 것으로 인지할 수도 있다. 또한, 버켓(30)의 적어도 일부가 투명화 처리 영역(A) 내부에 위치할 때 표시 장치(300)는 투명화 처리 영역(A) 내부는 제2 영상이 중점으로 표시되는 투명화 처리 영상 또는 제2 영상을 디스플레이하고, 투명화 처리 영역(A)의 외부 영역은 투명화 처리 영역(A) 내의 영상만이 제외된 제1 영상을 디스플레이 할 수 있다.
이하에서는, 도 2의 건설기계의 제어 시스템을 이용하여 건설기계를 제어하는 방법에 대하여 설명하기로 한다. 이하의 설명도 앞서 설명한 방법과 같이 휠 로더를 기준으로 설명하기로 한다.
도 4는 예시적인 실시예들에 따른 휠 로더의 제어 방법을 나타내는 순서도이다. 도 5는 버켓 위치가 기 설정된 위치보다 낮을 때 운전실 내의 표시 장치에 표시되는 화면을 나타내는 도면이다. 도 6은 버켓 위치가 기 설정된 위치보다 높을 때 운전실 내의 표시 장치에 표시되는 화면을 나타내는 도면이다.
도 1 내지 도 6을 참조하면, 먼저, 휠 로더(10)에 설치되는 상부 카메라(110) 및 하부 카메라(120)를 통해 각각 촬상된 제1 영상 및 제2 영상을 합성할 수 있다(S100).
예시적인 실시예들에 있어서, 운전실(40) 상에 설치된 제1 카메라(110)를 이용하여 운전실(40)의 전방에 대한 제1 영상을 획득할 수 있다. 전방 차체(12)의 상에 설치된 제2 카메라(120)를 이용하여 전방 차체(12)의 전방에 대한 제2 영상을 획득할 수 있다.
상기 제1 영상은 상부 카메라(110)를 통해 전방 상부를 초점으로 촬상한 영상이고, 상기 제2 영상은 하부 카메라(120)를 통해 전방 하부를 초점으로 촬상한 영상일 수 있다. 상부 카메라(110)의 제1 수직 시야각(θv1) 및 하부 카메라(120)의 제2 수직 시야각(θv2)이 일부 중첩되도록 설정하여, 상기 제1 영상 및 제2 영상이 서로 부분적으로 중복될 수 있다.
예시적인 실시예들에 있어서, 영상 처리부(200)의 영상 합성부(210)는 상부 카메라(110) 및 하부 카메라(120)를 통해 촬상한 상기 제1 영상 및 상기 제2 영상을 매칭하여 하나의 영상으로 합성할 수 있다.
이어서, 전방 차체(12)에 연결된 붐(20)의 회전 각도를 검출할 수 있다(S120).
예시적인 실시예들에 있어서, 붐 각도 센서(24)로부터 버켓(30)의 위치, 즉, 지면으로부터의 버켓(30)의 높이에 대한 정보를 검출할 수 있다. 붐 각도 센서(24)에 의해 측정된 붐(20)의 회전 각도로부터 버켓의 상승 높이를 결정할 수 있다.
도 2에 도시된 바와 같이, 붐(20)의 회전 각도는 붐(20)의 최저 위치(0%)에서의 연장선(L)과 붐(20)의 연장선(R) 사이의 각도(θ)일 수 있다. 붐(20)의 최고 위치(max boom height)에서 붐(20)의 회전 각도는 θmax.height이고, 이 때, 버켓 위치는 최대 높이(100%)일 수 있다.
이어서, 버켓 위치가 기 설정된 위치(투명화 전환 위치)보다 높거나 낮은 지 여부를 확인할 수 있다(S120). 상기 기 설정된 위치는 투명환 전환 위치, 즉, 투명화 처리 영역(A)의 경계일 수 있다. 즉, 버켓의 위치와 상기 기 설정된 위치의 비교는 버켓(30) 또는 붐(20)의 일부가 투명화 처리 영역(A)의 내부에 위치하는 지 여부를 확인하는 것을 포함할 수 있다. 상기 버켓 또는 붐 위치가 기 설정된 위치보다 낮을 때 상기 합성된 영상에서 상기 제2 영상을 투명화하고(S130), 상기 버켓 또는 붐 위치가 기 설정된 위치보다 높을 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다(S132). 여기서, 상기 기 설정된 위치는 표시 장치(300)를 통해 디스플레이 되는 영상을 기준으로 기 설정된 투명화 처리 영역(A)의 하단 경계일 수 있다. 이 후, 상기 투명화 처리된 합성 영상을 표시 장치(300)를 통해 표시할 수 있다(S140). 이 때, 표시 장치(300)는 투명화 처리 영역(A)의 외부 영역에서 상기 제1 영상을 디스플레이 할 수 있다.
예시적인 실시예들에 있어서, 영상 처리부(200)의 투명화 처리부(220)는 상기 검출된 붐 위치에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리를 수행할 수 있다.
투명화 처리부(220)는 상기 제1 및 제2 영상들을 표시 장치(300)의 전체 표시 영역 중에서 일부 영역에서만 투명화되도록 영상 처리할 수 있다. 상기 투명화 처리 영역은 승하강하는 붐(20) 및 버켓(30)을 포함한 전방 작업장치에 의해 전방 시야가 가려지는 영역을 포함하도록 정의될 수 있다.
상기 투명화 처리는 상기 합성된 영상의 상기 투명화 처리 영역 내에서 상기 제1 영상 또는 상기 제2 영상을 제거 또는 반투명하게 처리하여 배경 영상과 중첩되도록 하거나 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 형태만을 식별 가능하도록 할 수 있다. 예를 들면, 알파 블렌딩(Alpha Blending) 기법 등을 이용하여 상기 투명화 처리 영역 내의 상기 제1 영상 또는 상기 제2 영상을 합성된 영상에서 제거시킬 수 있다.
도 5에 도시된 바와 같이, 버켓(30) 또는 붐(20)이 최저 위치(0%)에서부터 상기 기 설정된 버켓 또는 붐 위치 사이에 있을 때 하부 카메라(120)로부터 촬상된 상기 제2 영상을 투명화 처리함으로써, 상부 카메라(110)로 구현되는 피사체가 중점이 되는 투명화 영상이 표시 장치(300)의 투명화 처리 영역(A) 내부에 표시될 수 있다. 버켓(30) 또는 붐(20)이 상대적으로 낮은 위치에 있을 때 상기 제2 영상에서 전방 시야를 가리는 상기 전방 작업장치 부분을 투명화함으로써 상기 합성된 영상에서 물체(O)를 확인할 수 있다.
도 6에 도시된 바와 같이, 버켓(30) 또는 붐(20)이 상기 기 설정된 위치에서부터 최고 위치(100%)에 있을 때 상부 카메라(110)로부터 촬상된 상기 제1 영상을 투명화 처리함으로써, 하부 카메라(120)로 구현되는 피사체가 중점이 되는 투명화 영상이 표시 장치(300)의 투명화 처리 영역(A) 내부에 표시될 수 있다. 버켓(30) 또는 붐(20)이 상대적으로 높은 위치에 있을 때 상기 제1 영상에서 전방 시야를 가리는 상기 전방 작업장치 부분을 투명화함으로써 상기 합성된 영상에서 물체(O)를 확인할 수 있다.
예를 들면, 상기 기 설정된 붐의 위치는 붐(20)의 회전 각도(θ)가 15도 내지 20도 범위 이내에 있도록 설정될 수 있다.
이와 다르게, 상기 붐의 회전 각도(θ)가 제1 각도 범위에 있을 때 상기 합성된 영상에서 상기 제2 영상을 투명화하고, 상기 붐의 회전 각도(θ)가 제2 각도 범위에 있을 때 상기 합성된 영상의 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들을 투명화하고, 상기 붐의 회전 각도(θ)가 제3 각도 범위에 있을 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 예를 들면, 상기 제1 각도 범위는 0도 내지 15도의 범위 이내이고, 상기 제2 각도 범위는 15도 내지 25도의 범위 이내이고, 상기 제3 각도 범위는 25도 내지 45도 범위 이내에 있도록 설정될 수 있다.
예시적인 실시예들에 있어서, 상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정할 수 있다. 입력부(400)를 통해 영상 처리부(200)에서의 영상 처리 조건을 설정할 수 있다. 예를 들면, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점, 표시 장치(300)의 전체 표시 영역 중에서의 투명화 처리 영역의 크기 및 위치 등을 포함할 수 있다. 상기 제1 및 제2 영상들의 투명화 전환 시점은 상기 버켓(30) 또는 붐(20)의 위치와 상기 기 설정된 버켓 또는 붐 위치에 의해 결정될 수 있다. 상기 투명화 처리 영역은 장비의 기종에 따라 선택될 수 있다.
예를 들면, 입력부(400)는 계기판 옵션 형태로 구현될 수 있으며, 작업자는 입력부(400)를 통해 상기 투명화 전환 시점, 상기 투명화 처리 영역 등을 변경할 수 있다. 입력부(400)는 운전실 내부에 마련된 별도의 조작장치, 상기 표시 장치에 일체로 마련된 조작장치 또는 상기 표시 장치의 디스플레이 화면을 구성하는 터치 스크린의 형태로 제공될 수 있다. 이에 따라, 작업자는 작업시 주의가 필요한 물체(O, 도 5 및 도 6 참조)의 주위를 투명화 처리 영역으로 설정하는 등 다양한 영상 처리 조건의 설정이 가능하다.
상술한 바와 같이, 휠 로더(10)의 운전실(40) 상에 설치된 상부 카메라(110) 및 전방 차체(12) 상에 설치된 하부 카메라(120)로부터 촬상된 상기 제1 영상 및 상기 제2 영상을 하나의 영상으로 합성하고, 전방 차체(12)에 연결된 버켓(30) 또는 붐(20)의 위치에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하고, 상기 투명화 처리된 영상을 표시 장치(300)를 통해 표시할 수 있다.
버켓(30) 또는 붐(20)이 최저 위치(0%)에서부터 상기 기 설정된 버켓 또는 붐 위치 사이의 상대적으로 낮은 위치에 있을 때 하부 카메라(120)로부터 촬상된 제2 영상에서는 붐(20) 및 버켓(30)을 포함한 전방 작업장치에 의해 전방 시야가 가려질 수 있다. 버켓(30) 또는 붐(20)이 상기 기 설정된 버켓 또는 붐 위치에서부터 투명화 표시 영역의 최고 위치(100%) 사이의 상대적으로 높은 위치에 있을 때, 상부 카메라(110)로부터 촬상된 제1 영상에서는 붐(20) 및 버켓(30)을 포함한 전방 작업장치에 의해 전방 시야가 가려질 수 있다.
버켓(30) 또는 붐(20)의 위치에 따라 상기 제1 영상 또는 상기 제2 영상을 상기 합성된 영상에서 투명화 처리함으로써 상기 전방 작업장치에 의해 전방 시야가 가려지는 사각 지대를 제거할 수 있다. 이에 따라, 작업자의 인지력을 증가시켜 안정성을 확보하여 안전 사고를 미연에 방지할 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 휠 로더 12: 전방 차체
14: 후방 차체 20: 붐
22: 붐 실린더 24: 붐 각도 센서
30: 버켓 32: 버켓 실린더
34: 틸트 암 40: 운전실
70: 전방 휠 100: 카메라부
110: 제1 카메라 120: 제2 카메라
120: 제2 센서 200: 영상 처리부
210: 영상 합성부 220: 투명화 처리부
230: 이미지 렌더링부 300: 표시 장치
400: 입력부

Claims (10)

  1. 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라;
    차체 상에 설치되어 상기 차체 전방을 촬상하는 하부 카메라;
    상기 차체에 회전 가능하도록 연결된 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부;
    상기 상부 카메라 및 상기 하부 카메라로부터 촬상한 제1 및 제2 영상들을 하나의 영상으로 합성하되, 상기 작업장치 자세 검출부에 의해 검출된 상기 작업장치의 자세에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하는 영상 처리부; 및
    상기 영상 처리부에서 영상 처리된 합성 영상을 표시하는 표시 장치를 포함하는 건설기계의 제어 시스템.
  2. 제 1 항에 있어서, 상기 제어부는 상기 작업장치의 적어도 일부가 기 설정된 위치를 침범할 때 상기 합성된 영상에서 상기 제1 영상을 투명화하고, 상기 작업장치가 상기 기 설정된 위치를 침범하지 않을 때 상기 합성된 영상에서 상기 제2 영상을 투명화하는 건설기계의 제어 시스템.
  3. 제 1 항에 있어서, 상기 표시 장치의 전체 표시 영역은 기 설정된 투명화 처리 영역 및 상기 투명화 처리 영역의 외부 영역을 포함하고,
    상기 제어부는 상기 제1 및 제2 영상들이 상기 투명화 처리 영역에서 투명화되도록 영상 처리하는 건설기계의 제어 시스템.
  4. 제 1 항에 있어서,
    상기 영상 처리부에서의 영상 처리 조건을 설정하기 위한 입력부를 더 포함하는 건설기계의 제어 시스템.
  5. 제 4 항에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 투명화 처리 영역을 포함하는 건설기계의 제어 시스템.
  6. 운전실 상에 설치된 상부 카메라로부터 상기 운전실 전방의 제1 영상을 획득하고;
    차체 상에 설치된 하부 카메라로부터 상기 차체 전방의 제2 영상을 획득하고;
    상기 차체에 연결된 작업장치의 자세를 검출하고;
    상기 제1 및 제2 영상들을 하나의 영상으로 합성하고;
    상기 검출된 작업장치의 자세에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하고; 그리고
    상기 투명화 처리된 영상을 표시 장치를 통해 표시하는 것을 포함하는 건설기계의 제어 방법.
  7. 제 6 항에 있어서, 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리하는 것은
    상기 작업장치의 적어도 일부가 기 설정된 위치를 침범하는 자세일 때 상기 합성된 영상에서 상기 제1 영상을 투명화하고; 그리고
    상기 작업장치가 상기 기 설정된 위치를 침범하지 않는 자세일 때 상기 합성된 영상에서 상기 제2 영상을 투명화하는 것을 포함하는 건설기계의 제어 방법.
  8. 제 6 항에 있어서, 상기 표시 장치의 전체 표시 영역은 기 설정된 투명화 처리 영역 및 상기 투명화 처리 영역의 외부 영역을 포함하고,
    상기 제1 및 제2 영상들은 상기 투명화 처리 영역 내부에서 투명화되도록 영상 처리되는 건설기계의 제어 방법.
  9. 제 6 항에 있어서,
    상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정하는 것을 더 포함하는 건설기계의 제어 방법.
  10. 제 9 항에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 투명화 처리 영역을 포함하는 건설기계의 제어 방법.
KR1020200002258A 2020-01-07 2020-01-07 건설기계의 제어 시스템 및 방법 KR20210089039A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200002258A KR20210089039A (ko) 2020-01-07 2020-01-07 건설기계의 제어 시스템 및 방법
US17/142,686 US11541827B2 (en) 2020-01-07 2021-01-06 System and method of controlling construction machinery
CN202110012503.0A CN113152552B (zh) 2020-01-07 2021-01-06 工程机械的控制系统及方法
EP21150577.1A EP3848516B1 (en) 2020-01-07 2021-01-07 System and method for controlling construction machinery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200002258A KR20210089039A (ko) 2020-01-07 2020-01-07 건설기계의 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20210089039A true KR20210089039A (ko) 2021-07-15

Family

ID=74141377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200002258A KR20210089039A (ko) 2020-01-07 2020-01-07 건설기계의 제어 시스템 및 방법

Country Status (4)

Country Link
US (1) US11541827B2 (ko)
EP (1) EP3848516B1 (ko)
KR (1) KR20210089039A (ko)
CN (1) CN113152552B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230035181A1 (en) * 2021-07-28 2023-02-02 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery
WO2024010301A1 (ko) * 2022-07-04 2024-01-11 에이치디현대인프라코어 주식회사 건설 현장의 경계 인지 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220102804A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법
CN114016567A (zh) * 2021-11-17 2022-02-08 山东常林机械集团股份有限公司 远程遥控挖掘机周边人员安全预警系统
US11680387B1 (en) 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest
US20230339402A1 (en) * 2022-04-21 2023-10-26 Deere & Company Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640602B1 (ko) 2009-12-15 2016-07-18 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
CN103649426B (zh) 2012-01-27 2016-05-11 斗山英维高株式会社 建筑机械的操作安全性提高装置
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP6734260B2 (ja) 2015-03-31 2020-08-05 株式会社小松製作所 作業機械
US9871968B2 (en) * 2015-05-22 2018-01-16 Caterpillar Inc. Imaging system for generating a surround-view image
EP3342942B1 (en) * 2015-08-24 2021-12-22 Komatsu Ltd. Control system for wheel loader, control method for said control system, and control method for wheel loader
WO2018043299A1 (ja) * 2016-08-31 2018-03-08 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
MX2020011120A (es) 2018-04-27 2020-11-11 Goldcorp Inc Metodo y sistema de realidad mixta para la mineria de precision.
AU2019371691A1 (en) * 2018-10-31 2021-02-25 Komatsu Ltd. Display control system and display control method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230035181A1 (en) * 2021-07-28 2023-02-02 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery
WO2024010301A1 (ko) * 2022-07-04 2024-01-11 에이치디현대인프라코어 주식회사 건설 현장의 경계 인지 방법 및 장치

Also Published As

Publication number Publication date
EP3848516B1 (en) 2023-03-08
US11541827B2 (en) 2023-01-03
EP3848516A1 (en) 2021-07-14
CN113152552A (zh) 2021-07-23
CN113152552B (zh) 2023-04-11
US20210206330A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
KR20210089039A (ko) 건설기계의 제어 시스템 및 방법
JP6901605B2 (ja) 油圧ショベル
JP6913630B2 (ja) ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
KR102102133B1 (ko) 쇼벨의 화상표시장치
JP4740890B2 (ja) 建設機械および建設機械の後進移動ガイダンス方法
EP4029998A1 (en) System and method for controlling a construction machine
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
EP3788205A1 (en) System and method for selectively displaying image data in a working machine
KR20240056262A (ko) 건설기계의 제어 시스템 및 방법
JP7349880B2 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
KR20220097482A (ko) 작업 기계 및 작업 기계의 제어 방법
EP4134492A1 (en) System and method of controlling construction machinery
KR20230009172A (ko) 건설기계의 제어 시스템 및 방법
KR20220127330A (ko) 작업 기계의 주변 감시 시스템, 작업 기계, 및 작업 기계의 주변 감시 방법
KR20240056273A (ko) 건설기계의 제어 시스템 및 방법
WO2024085703A1 (ko) 건설기계의 제어 시스템 및 방법
JP7428052B2 (ja) 作業機械の周囲検知装置
WO2024085732A1 (ko) 건설기계의 제어 시스템 및 방법
CN115362297A (zh) 工程机械的周边检测装置
JP7145137B2 (ja) 作業機械の制御装置
US20240052602A1 (en) Work machine surroundings monitoring system, work machine, and work machine surroundings monitoring method
JP2024030384A (ja) 作業機械の安全装置
JP2022126348A (ja) 作業機械
KR20220102765A (ko) 건설기계의 제어 시스템 및 방법