KR20150025008A - 굴삭기 비젼 시스템 - Google Patents

굴삭기 비젼 시스템 Download PDF

Info

Publication number
KR20150025008A
KR20150025008A KR20130102093A KR20130102093A KR20150025008A KR 20150025008 A KR20150025008 A KR 20150025008A KR 20130102093 A KR20130102093 A KR 20130102093A KR 20130102093 A KR20130102093 A KR 20130102093A KR 20150025008 A KR20150025008 A KR 20150025008A
Authority
KR
South Korea
Prior art keywords
image
excavator
cluster
rear camera
monitor screen
Prior art date
Application number
KR20130102093A
Other languages
English (en)
Inventor
이의동
김도영
서문현
Original Assignee
현대중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대중공업 주식회사 filed Critical 현대중공업 주식회사
Priority to KR20130102093A priority Critical patent/KR20150025008A/ko
Publication of KR20150025008A publication Critical patent/KR20150025008A/ko

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 굴삭기의 작업 시야 환경을 향상시키고 안전 사고를 예방할 수 있는 굴삭기 비젼 시스템에 관한 것으로, 굴삭기 비젼 시스템은, 굴삭기의 MCU(Machine Control Unit)와 통신하는 클러스터, 클러스터에 굴삭기의 좌측 후방 영상을 제공하는 좌측 후방 카메라, 및 클러스터에 굴삭기의 우측 후방 영상을 제공하는 우측 후방 카메라를 포함하며, 여기서 클러스터는 모니터 화면에 좌측 후방 카메라의 제1영상, 우측 후방 카메라의 제2영상 또는 이들의 조합 영상을 선택적으로 출력한다.

Description

굴삭기 비젼 시스템{VISION SYSTEM FOR EXCAVATOR}
본 발명은 굴삭기에 이용되는 비젼 시스템에 관한 것으로, 보다 상세하게는, 굴삭기의 작업 시야 환경을 향상시키고 안전 사고를 예방할 수 있는 굴삭기 비젼 시스템에 관한 것이다.
굴삭기는 땅이나 암석 따위를 파거나, 파낸 것을 처리하는 기계를 통칭하는 말이다. 일반적으로 굴삭기는 하부 주행체, 상부 선회체, 엔진, 붐(boom), 암(arm) 및 버킷(bucket)을 구비하고, 엔진 구동 하에서 하부 주행체를 움직여 작업 위치 를 변경하며 상부 선회체를 좌우로 회전하며 붐과 암의 상호 동작에 의해 버킷으로 땅이나 암석을 파내거나 파낸 것을 다른 곳으로 이송하도록 동작한다.
굴삭기의 작업 중 굴삭기 주변에서 다른 작업자나 보행자의 안전을 위해 안전 펜스가 설치되거나 별도의 안전 요원이 굴삭기의 작업 반경 내로 사람이나 물체가 진입하는 것을 차단한다.
그러나, 굴삭기의 작업 환경이 안전 펜스를 설치하거나 별도의 안전 요원을 이용할 수 있는 것은 아니다. 따라서, 안전 펜스나 안전 요원을 이용할 수 없는 작업 환경에서 굴삭기가 안전하게 작업할 수 있는 방안이 요구되고 있다.
또한, 굴삭기는 굴삭 작업 현장에서 주로 주변의 땅이나 암석을 파내는 작업을 하게 되는데, 이때 작업자는 굴삭 작업 현장 주변의 전체 상황을 파악하기가 쉽지 않다. 통상 작업자는 굴삭기를 회전시키면서 주변 상황을 확인하거나 굴삭기에서 내려서 굴삭 작업 현장을 둘러보아야 한다. 하지만, 이러한 주변 상황 확인 작업은 굴삭기의 작업 환경에 따라 용이하지 않은 경우(굴삭기의 상부 회전체의 회전이 원활하지 않은 공간이나 굴삭기 주변 바닥에 물이나 진흙이 많은 경우 등)가 종종 발생한다. 이와 같이, 현재 굴삭기에서는 주변 환경을 용이하게 파악할 수 있는 수단이 필요한 실정이다.
또한, 굴삭기는 작업 종료 후에 지정된 주차 장소나 임의 주차장의 주차 구역 한 곳에 주차해야 하는데, 그 경우 건설기계의 특성상 차폭이나 차량 길이에 대한 크기가 달라서 주변에 다른 차량이나 장비가 주차되어 있을 때 다른 차량이나 장비 옆에 주차하기가 쉽지 않다. 이와 같이, 현재 굴삭기에서는 사용자 편의를 위해 주변 환경을 용이하게 파악할 수 있는 적절한 수단이 필요하다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로 굴삭기 후방 전체나 굴삭기 주변 전체를 디스플레이할 수 있는 굴삭기 비젼 시스템을 제공하고자 한다.
또한, 본 발명은 굴삭기 주변의 물체(보행자 등)를 감지하여 안전 사고를 예방할 수 있는 굴삭기 비젼 시스템을 제공하고자 한다.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따른 굴삭기 비젼 시스템은, 굴삭기의 MCU(Machine Control Unit)와 통신하는 클러스터, 클러스터에 굴삭기의 좌측 후방 영상을 제공하는 좌측 후방 카메라, 및 클러스터에 굴삭기의 우측 후방 영상을 제공하는 우측 후방 카메라를 포함하며, 여기서 클러스터는 모니터 화면에 좌측 후방 카메라의 제1영상, 우측 후방 카메라의 제2영상 또는 이들의 조합 영상을 선택적으로 출력하는 것을 특징으로 한다.
일 실시예에서, 클러스터는 제1영상과 제2영상을 토대로 합성한 합성 영상을 모니터 화면에 출력하는 것을 특징으로 한다.
일 실시예에서, 굴삭기 비젼 시스템은, 굴삭기의 후방에 장착되는 복수의 적외선 센서를 더 포함하며, 여기서 클러스터는 복수의 적외선 센서 중 적어도 하나의 적외선 센서로부터의 입력 신호에 따라 모니터 화면에 표시되는 영상을 선택하여 출력하는 것을 특징으로 한다.
일 실시예에서, 클러스터는 입력 신호를 제공한 적외선 센서의 영상을 기반으로 이동 물체를 감지하고, 감지한 이동 물체가 강조된 영상을 모니터 화면에 출력하는 것을 특징으로 한다.
본 발명에 따르면, 굴삭기 후방 전체나 굴삭기 주변 전체를 디스플레이함으로써 굴삭기 작업자의 사각 지대를 효과적으로 모니터링하고 현재의 굴삭 작업 진행 정도를 용이하게 파악할 수 있도록 하는 굴삭기 비젼 시스템을 제공하는 효과가 있다.
또한, 본 발명에 따르면, 굴삭기 주변의 물체(보행자 등)를 감지하여 안전 사고를 예방할 수 있는 굴삭기 비젼 시스템을 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 비젼 시스템이 채용되는 굴삭기의 개략적인 블록도.
도 2는 도 1의 클러스터의 구성에 대한 블록도.
도 3은 도 1의 클러스터에 탑재될 수 있는 모니터에 대한 도면.
도 4는 도 2의 클러스터의 제1 동작 모드를 나타낸 도면.
도 5는 도 2의 클러스터의 제2 동작 모드를 나타낸 도면.
이하에서는 첨부한 도면을 참조하여 바람직한 실시 형태들에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 비젼 시스템이 탑재되는 굴삭기의 개략적인 블록도이다.
도 1을 참조하면, 본 실시예에 따른 비젼 시스템이 탑재되는 굴삭기는, 클러스터(Cluster, 10), 키 시스템(11), 유저 컨트롤러(17), 센서시스템(19), MCU(Machine Control Unit, 20), 제1 밸브 시스템(21), 제2 밸브 시스템(22), 엔진(23), 펌프(24), MCV(25), 액추에이터(26), 후방 카메라(30) 및 적외선 센서(32)를 포함한다. 또한, 굴삭기는 히터(40), RMCU(Remote Management Control System, 60) 및 HCE-DT(70)를 더 포함하여 구성될 수 있다. 여기서, 비젼 시스템은 클러스터(10) 및 후방 카메라(30)의 조합이나 클러스터(10), 후방 카메라(30) 및 적외선 센서(32)의 조합을 포함하여 구성될 수 있다.
클러스터(Cluster, 10)는 기본적으로 정보표시장치의 일종이다. 즉, 클러스터(10)는 굴삭기에서 전자 계기판, 디지털 계기 패널, 디지털 대시보드로 지칭되는 기구의 일종이다. 속도계(speedometer), 유압계 등의 게이지 표시 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함하여 구성될 수 있다.
특히, 본 실시예에서 클러스터(10)는 영상처리시스템(도 2의 12 참조)을 포함하여 구성되며, 후방 카메라(30)와 연결되어 비젼 시스템을 구성할 수 있다. 즉, 클러스터(10)는 적어도 좌측 후방과 우측 후방에 장착되는 복수의 후방 카메라로부터 획득한 영상 정보를 토대로 굴삭기 후방 전체에 대한 영상 정보를 모니터 화면에 디스플레이하거나, 굴삭기의 상부 회전체가 회전할 때 복수의 후방 카메라로부터 획득한 영상 정보를 합성하여 탑뷰(Top View), 버드뷰(Bird View) 등의 합성 영상을 모니터 화면에 디스플레이할 수 있다.
또한, 클러스터(10)는 구현에 따라서 적외선 센서(32)로부터의 감지 신호에 따라 좌측 후방 카메라, 우측 후방 카메라 또는 기타 후방 카메라에서 선택되는 특정 카메라의 영상을 모니터 화면에 표시하고, 해당 화면의 영상 처리를 통해 물체(보행자 등)을 감지할 수 있다.
전술한 클러스터(10)의 구성 및 작동 원리에 대하여는 도 2 내지 도 5를 참조하는 아래의 설명에서 상세히 설명될 것이다.
키 시스템(11)은 굴삭기의 제어를 통제하기 위한 장치이다. 키 시스템(11)은 소정의 키를 소지한 사용자(User)에게 굴삭기의 제어를 허용한다. 키(Key)는 하드웨어적인 키 방식이나 소트웨어적인 키 방식으로 구현될 수 있다. 또한, 키 시스템(11)은 원격 제어 방식 또는 스마트 키 방식으로 구현될 수 있으며, 특히 스마트 키 방식의 경우, 사용자가 굳이 키를 꺼낼 필요 없이 스마트키를 갖고만 있어도 시동이 걸리거나, 굴삭기 운전석 문을 스마트키로 열거나 잠글 필요없이 도어캐치에 달려 있는 버튼을 누르기만 해도 문이 열리거나 잠기도록 할 수 있다.
유저 컨트롤러(User Controller, 17)는 굴삭기를 제어하기 위한 사용자 조종간이다. 유저 컨트롤러(17)에 입력되는 사용자 조작 정보는 MCU(20)에 전달되고, MCU(20)는 사용자 조작에 따라 제1 밸브시스템(21)과 제2 밸브시스템(22)을 제어하여 펌프(24)와 MCV(25)를 구동하며, 펌프(24)와 MCV(25)의 구동은 붐이나 암에 결합된 액추에이터(26)를 작동시켜 굴삭기가 사용자 조작에 따라 움직이게 된다. 이러한 유저 컨트롤러(17)은 조작 레버(Control Lever), 트래블 페달-레버(Travel Pedal & Lever), 스위치(Switch), 다이얼(Dial) 등을 포함하여 구성될 수 있다.
센서시스템(Sensor System, 19)은 유저 컨트롤러(17), 펌프(24), MCV(25) 및 액추에이터(26)에 연결되어 이들의 압력, 온도 등을 감지하고, 감지된 계측정보를 MCU(20)로 전달한다. 센서시스템(19)은 복수의 압력 센서(예컨대, P1 Press., P2 Press., P3 Press., N1 Press., N2 Press., Work Press., Travel Press., Overload Press., Pilot Press. 등), 유압유 온도(Hyd. Temp.) 측정을 위한 온도 센서 등을 포함하여 구성될 수 있다.
MCU(20)는 굴삭기의 엔진(23)과 유압 계통을 제어하는 엔진 및 유압 제어 시스템을 통칭한다. MCU(20)는 마이크로컨트롤러를 포함하여 구성될 수 있다. MCU(20)는 제1통신방식(RS485 등)으로 클러스터(10)와 연결되고, 제2통신방식(RS232 등)으로 RMCU(60) 및 HCE-DT(70)와 연결되며, 제3통신방식(CAN, Controller Area Network 등)으로 ECU(50) 및 히터(40)와 연결되며, 상술한 방식의 통신 포트를 통해 이들과 정보를 교환할 수 있다.
제1 밸브 시스템(21)은 솔레노이드 밸브를 포함하여 구성될 수 있다. 본 실시예에서 제1 밸브 시스템(21)은 트래블 스피드(Travel Speed) 밸브, 파워 부스트(Power Boost) 밸브, 암 리젠(Arm Regen.) 밸브, 어테치먼트 압력(Attachment Press) 밸브, 어테치먼트 컨플렉스(Attachment Conflux) 밸브, 어테치먼트 세이프티(Attachment Safety) 밸브 등을 포함할 수 있다.
제2 밸브 시스템(22)은 EPPR(Electronic Proportional Pressure Reduce) 밸브를 포함하여 구성될 수 있다. 본 실시예에서 제2 밸브 시스템(22)은 붐 프라이어티(Boom Priority) 밸브, 어테치먼트 플로우(Attachment Flow) 밸브, 펌프 파워 시프트(Pump Power Shift) 밸브 등을 포함할 수 있다.
엔진(23)은 굴삭기에 동력을 제공하는 장치이다. 엔진(23)은 MCU(20)로부터의 제어신호에 따라 동작한다. 엔진(23)에는 MCU(20)와 통신하는 ECU(50)가 탑재되어 있다. ECU(Electronic Control Unit, 50)는 엔진(23)의 상태, 속도, 각종 센서로부터의 값을 체크한다. 예컨대, ECU(50)는 엔진에 투입되는 연료량을 조절하고, 점화 타이밍을 조절하며, 아이들 스피드를 조절하고, 가변 밸브의 타이밍을 조절하여 부하에 따라 엔진이 정상적으로 동작할 수 있도록 기능한다.
펌프(24)는 엔진(23)으로부터의 입력과 제2 밸브 시스템(22)으로부터의 입력에 따라 동작한다. 본 실시예에서 펌프(24)를 유압 펌프를 포함하여 구성될 수 있다. 펌프(24)는 액추에이터(26)의 제어를 위한 소정 물리량(유압 등)의 출력을 MCV(25)에 제공한다.
MCV(Main Control Valve, 25)는 굴삭기의 주행모터, 선회모터, 각 실린더와 같은 액추에이터(26)를 동작시키기 위한 것으로서, 유압 펌프(24)로부터 토출되는 작동유의 방향을 제어한다. MCV(25)는 폐루프 타입 MCV로 구현될 수 있다. 본 실시예에서, MCV(25)는 복수의 밸브, 예컨대, Arm 1, Option, Boom 2, Swing, Travel(RH)로 표시되는 제1 그룹의 밸브와 Arm 2, Bucket, Boom 1, Travel(LH)로 표시되는 제2 그룹의 밸브를 포함할 수 있다.
액추에이터(Actuator, 26)는 시스템을 움직이거나 제어하는 데 사용되는 기계 장치이다. 액추에이터(26)는 전기, 유압, 압축 공기 등의 에너지원을 이용하여 소정의 움직임을 발생시킨다. 본 실시예에서 액추에이터(26)는 유압을 이용하여 굴삭기의 실린더(Cylinder), 어테치먼트(Attachment), 스윙 모터(Swing Motor), 트래블 모터(Travel Motor) 등을 작동시킬 수 있다.
후방 카메라(Rear View Camera, 30)는 굴삭기의 후방을 촬영하고 촬영한 영상을 클러스터(10)로 전송한다. 후방 카메라(30)는 굴삭 작업 중 굴삭기의 후방 정보를 사용자에게 제공하기 위한 것으로, 후방 카메라(13)에서 촬영된 영상은 클러스터(10)를 통해 사용자에게 제공된다.
본 실시예의 후방 카메라(30)는 좌측 후방 카메라 및 우측 후방 카메라를 포함한다. 후방 카메라(30)는 좌측 후방 카메라 및 우측 후방 카메라 외에 중간 후방 카메라 등의 다른 후방 카메라를 추가로 더 구비할 수 있다. 이와 같이, 본 실시예의 굴삭기에서는 좌측 후방 카메라와 우측 후방 카메라를 이용하여 실질적으로 굴삭기 후방 전체에 대한 영상을 클러스터(10)의 모니터 화면에 디스플레이할 수 있다.
또한, 전술한 후방 카메라(30)를 이용하면, 클러스터(10)는 복수의 후방 카메라로부터 획득한 영상을 합성하여 원하는 합성 영상을 모니터 화면에 디스플레이할 수 있고, 그에 의해 굴삭 작업 환경에서 사용자 편의성을 높이고 안전 사고를 예방할 수 있다.
또한, 본 실시예의 비젼 시스템은 굴삭 작업 중에 유압 펌프 등의 유압 게이지를 표시하는 모니터 화면에 후방 카메라의 영상을 중첩하여 표시할 수 있다(도 3 참조). 이러한 구성에 의하면, 사용자는 굴삭 작업 중에 수시로 사각 지대에 대한 정보를 확인할 수 있고, 그에 의해 굴삭 작업을 위한 안전 펜스나 안전 요원이 없는 경우에도 사각 지대 등에서의 안전 사고 발생을 방지할 수 있는 이점이 있다.
적외선 센서(32)는 굴삭기 후면이나 측면에 복수 개가 장착되어 굴삭기에 일정 거리 이하로 근접한 물체를 감지하고, 감지된 신호를 클러스터(10) 또는 MCU(20)로 전달한다. 적외선 센서(32)를 이용하면, 클러스터(10)는 모니터 화면에 제1 영상을 디스플레이하던 중이라도 적외선 센서(32)로부터의 입력 신호에 따라 해당 후방 카메라의 영상(제1 영상과는 다른 제2 영상)을 표시하고, 또한 해당 후방 카메라의 영상을 기설정된 프로그램을 통해 영상 처리하여 움직이는 물체를 인식할 수 있다.
히터(40)는 APTC(Air-heated Positive Temperature Coefficient) 히터를 포함하여 구성될 수 있다. 히터(40)는 전기방석, 전열시트, 난방기기 등으로 이용될 수 있다.
RMCU(Remote Management Control System, 60)는 텔릿 표준 기반의 통신 모듈이다. RMCU(60)는 원격지에서 GPS을 통해 굴삭기의 위치를 파악하고 관련 데이터를 서버에 실시간으로 전송하도록 구현될 수 있다. RMCU(60)를 이용하면, 자산의 도난이나 분실을 방지하고, 원격 모니터링 기능을 통해 연료 소모를 관리하는 등 탄소 배출 절감 효과도 얻을 수 있다.
HCE-DT(70)는 MCU(20) 등의 상태를 진단하기 위한 구성부이다. HCE-DT(70)는 외부 장비나 노트북 등의 연결을 위한 포트를 구비하고, 외부 장비에서 구동되는 진단 프로그램에 따라 미리 설정된 정보를 MCU(20)로부터 받아 제공할 수 있다.
상술한 구성에 의하면, 굴삭기는 엔진의 힘에 의해 이동하고, 엔진이 유압펌프를 돌려서 발생하는 유압으로 붐과 암을 작동시켜 굴삭 작업을 수행하며, 굴삭기 비젼 시스템은 굴삭 작업의 사각지대나 굴삭 작업 주변 전체를 조망할 수 있는 영상을 제공하고 적외선 센서와의 연동을 통해 굴삭기에 접근하는 물체를 감지함으로써 굴삭기 자체나 굴삭 작업의 효율과 안정성 및 편의성을 향상시킬 수 있다.
아울러, 본 실시예에 의하면, 기존 단일 후방카메라의 단순 고정 화면 형태의 영상 정보를 넘어서 굴삭기 주변 전체를 조망하거나 주변 물체를 인식하는 지능형 비젼 시스템을 통해 굴삭기의 작업 효율과 안정성을 높일 수 있다.
도 2는 도 1의 클러스터의 구성에 대한 블록도이다.
도 2를 참조하면, 본 실시예에 따른 클러스터(10)는 좌측 영상 수신부(101), 우측 영상 수신부(102), 영상 처리부(103), 영상 합성부(104) 및 보행자 인식부(105)를 포함하여 구성된다.
좌측 영상 수신부(101)는 굴삭기의 좌측 후방에 설치된 좌측 후방 카메라에 연결되고 좌측 후방 카메라에서 촬영한 영상을 수신한다. 좌측 영상 수신부(101)는 제1 영상 신호에 대한 샘플 및 홀드 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함할 수 있다.
우측 영상 수신부(102)는 굴삭기의 우측 후방에 설치된 우측 후방 카메라에 연결되고 우측 후방 카메라에서 촬영한 영상을 수신한다. 우측 영상 수신부(102)는 제2 영상 신호에 대한 샘플 및 홀드 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함할 수 있다.
영상 처리부(103)는 제1 영상 신호와 제2 영상 신호를 처리한다. 영상 처리부(103)는 클러스터의 제어부(미도시)의 제어 신호에 따라 제1 영상, 제2 영상 또는 제1 영상과 제2 영상의 조합 영상을 출력한다. 여기서, 조합 영상은 합성 영상과 달리 복수의 영상을 함께 디스플레이하는 것을 지칭한다. 영상 처리부(103)는 클러스터의 저장부(미도시)에 저장된 영상 처리 프로그램에 의해 일련의 영상 처리 프로세스에 따라 동작할 수 있다.
영상 합성부(104)는 영상 처리부(103)로부터 입력되는 복수의 영상 신호를 합성하여 합성 영상을 생성한다. 영상 합성부(104)는 컷아웃(cutout), 워프(warp) 및 블렌딩(blending)의 3가지 기본 처리 과정을 통해 합성 영상을 생성할 수 있다. 영상 합성부(104)는 선형 편집 방식 또는 비선형 편집 방식으로 구현될 수 있다. 합성 영상은 클러스터의 모니터 화면에 출력될 수 있다.
보행자 인식부(105)는 영상 기반 보행자 검출 기술을 이용하여 구현될 수 있다. 영상 기반 보행자 검출 기술은 후방 카메라 환경에서 실시간 영상 인식을 통해 보행자 등의 물체를 검출하는 기술이다. 이러한 보행자 인식부(105)는 기존의 보행자 검출 소프트웨어 등에 의해 구현될 수 있다.
도 3은 도 1의 클러스터에 탑재될 수 있는 모니터에 대한 도면이다.
도 3에 도시한 바와 같이, 본 실시예에 따른 굴삭기 비젼 시스템의 클러스터는 모니터(12)를 포함하여 구성된다. 여기서, 모니터(12)는 모니터 화면(120), 화면조작키(123) 및 조작버튼(124)을 포함하여 구성될 수 있다.
모니터 화면(120)에는 게이트 정보를 표시하는 제1 화면(121)과 후방 카메라 영상 정보를 표시하는 제2 화면(122)이 서로 중첩되어 표시된다. 후방 카메라 영상은 좌측 후방 카메라 영상, 우측 후방 카메라 영상 또는 이들의 조합 영상이 적외선 센서 등의 물체 감지 센서로부터 입력 신호에 응답하여 자동으로 전환되도록 설정될 수 있다. 게다가, 전술한 화면 자동 전환의 경우, 보행자 인식부에서 자동으로 보행자를 검출하여 표시할 수 있다.
화면조작키(123)는 화면의 종류나 화면 표시 정보에 따라 화면상에 표시되는 조작키이다. 화면조작키(123)는 되돌아가기, 다른 영상으로 전환, 홈 등을 위한 터치버튼 영역을 구비할 수 있다.
조작버튼(124)은 모니터 화면(120)의 하부측에 위치하는 사용자 조작버튼이다. 조작버튼(124)은 제1 화면의 표시 중에 다른 제2 화면으로 이동하기 위한 화면 전환버튼, 복수의 화면보기를 위한 통합화면표시버튼, 특정 기능의 화면으로 진입하기 위한 모드선택버튼 등이 구비될 수 있다.
도면에 도시하지 않았지만, 모니터(12)에는 스피커나 마이크가 일체로 구비될 수 있다.
도 4는 도 2의 클러스터의 제1 동작 모드를 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 실시예에 따른 클러스터는 복수의 후방 카메라로부터의 영상 정보를 합성하여 모니터의 화면(120)에 합성 영상(126)을 디스플레이한다.
합성 영상(126)은 좌측 후방 카메라와 우측 후방 카메라로부터 각각 획득한 영상을 기설정된 영상 합성 프로그램을 통해 영상 처리하여 구성될 수 있다. 이러한 합성 영상 생성 기술은 영상 처리 분야에 이미 잘 알려져 있는 기술이므로 그에 대한 상세 설명은 생략한다.
도 5는 도 2의 클러스터의 제2 동작 모드를 나타낸 도면이다.
도 5를 참조하면, 본 실시예에 따른 클러스터는 적외선 센서로부터의 감지 신호에 따라 복수의 후방 카메라 중 적어도 어느 하나의 영상을 모니터 화면(120)에 디스플레이할 수 있다.
도 5(a)에 나타낸 바와 같이, 좌측 적외선 센서로부터 미리 설정된 감지 신호를 수신하면, 클러스터는 좌측 후방 카메라의 영상을 모니터에 표시하고, 해당 영상에서 이동하는 물체를 인식하고, 인식한 물체를 강조한(박스 표시 등) 합성 영상(131)을 모니터 화면(120)에 출력할 수 있다.
여기서, 이동하는 물체의 인식은 예를 들어 연속되는 복수의 영상에서 휘도 차이를 토대로 에지를 검출하여 적어도 하나의 물체를 추정한 후 추정된 물체의 위치가 기준값 이상으로 변화되었을 때 추정한 물체를 이동 물체로 판단하도록 구성될 수 있다.
또한, 도 5(b) 및 도 5(c)에 나타낸 바와 같이, 우측 적외선 센서 또는 후방 중앙 적외선 센서로부터 미리 설정된 감지 신호를 수신하면, 클러스터는 우측 후방 카메라 또는 후방 중앙 카메라의 영상을 모니터에 표시하고, 해당 영상에서 이동하는 물체를 인식하고, 인식한 물체를 강조(박스 표시 등)한 합성 영상(132 또는 133)을 모니터 화면(120)에 출력할 수 있다. 여기서, 후방 중앙 카메라의 영상은 별도의 카메라 영상으로 구현하지 않고, 좌측 후방 카메라와 우측 후방 카메라의 영상들을 나란히 함께 표시하는 조합 영상이거나 이 둘의 영상을 합성한 합성 영상으로 구현될 수 있다.
그리고, 도 5(d)에 나타낸 바와 같이, 복수의 적외선 센서로부터 미리 설정된 감지 신호를 수신하면, 클러스터는 해당 적외선 센서가 장착된 위치에 설치된 복수 카메라의 영상을 모니터 화면에 표시하고, 해당 영상들에서 이동하는 물체를 각각 인식한 후, 인식한 물체를 강조한 합성 영상(134)을 모니터 화면(120)에 출력할 수 있다.
본 실시예에 의하면, 굴삭기 주변 전체를 모니터 화면에 제공함으로써 굴삭기 작업에 대한 사용자 편의성을 증대시키는 효과를 얻을 수 있다. 또한, 센서에 의해 움직이는 물체를 감지하고 물체를 인식함으로써 물체가 감지된 방향에 대한 카메라 영상으로 모니터 화면을 자동 전환하거나 화면에 표시되는 영상에 움직이는 물체를 강조하여 나타냄으로써 굴삭기 작업 중 작업 반경 내에서 발생할 수 있는 안전사고를 효과적으로 예방하는 효과를 얻을 수 있다.
한편, 전술한 실시예에서는 클러스터가 영상처리시스템을 내장한 것으로 설명하였으나 본 발명은 그러한 구성으로 한정되지 않고, 클러스터와 연동하는 MCU에 영상처리시스템이 탑재되는 것을 포함할 수 있다. 그 경우, 굴삭기 비젼 시스템은 클러스터의 모니터 시스템과 영상처리시스템이 분리되는 것을 제외하고 전술한 실시예와 실질적으로 동일하므로 그에 대한 상세 설명은 생략한다.
이상에서와 같이 실시 예들을 중심으로 본 발명을 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 기술내용을 벗어나지 않는 범위에서 실시예에 예시되지 않은 여러 가지의 조합 또는 변형과 응용이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 실시 예들로부터 용이하게 도출가능한 변형과 응용에 관계된 기술내용들은 본 발명에 포함되는 것으로 해석되어야 할 것이다.
10: 클러스터
11: 키 시스템
17: 유저 컨트롤러
19: 센서 시스템
20: MCU(Machine Control Unit)
21: 제1 밸브 시스템
22: 제2 밸브 시스템
23: 엔진
24: 펌프
25: MCV(Main Control Valve)
26: 액추에이터
30: 후방 카메라
32: 적외선 센서

Claims (4)

  1. 굴삭기의 MCU(Machine Control Unit, 20)와 통신하는 클러스터(10);
    상기 클러스터(10)에 상기 굴삭기의 좌측 후방 영상을 제공하는 좌측 후방 카메라; 및
    상기 클러스터(10)에 상기 굴삭기의 우측 후방 영상을 제공하는 우측 후방 카메라;를 포함하며,
    상기 클러스터(10)는 모니터 화면(120)에 상기 좌측 후방 카메라의 제1영상, 상기 우측 후방 카메라의 제2영상 또는 이들의 조합 영상을 선택적으로 출력하는 것을 특징으로 하는 굴삭기 비젼 시스템.
  2. 청구항 1에 있어서,
    상기 클러스터(10)는 상기 제1영상과 상기 제2영상을 토대로 합성한 합성 영상을 상기 모니터 화면(120)에 출력하는 것을 특징으로 하는 굴삭기 비젼 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 굴삭기의 후방에 장착되는 복수의 적외선 센서를 더 포함하며,
    상기 클러스터는 상기 복수의 적외선 센서 중 적어도 하나의 적외선 센서로부터의 입력 신호에 따라 상기 모니터 화면에 표시되는 영상을 선택하여 출력하는 것을 특징으로 하는 굴삭기 비젼 시스템.
  4. 청구항 3에 있어서,
    상기 클러스터(10)는 상기 입력 신호를 제공한 적외선 센서의 영상을 기반으로 이동 물체를 감지하고, 감지한 이동 물체가 강조된 영상을 상기 모니터 화면(120)에 출력하는 것을 특징으로 하는 굴삭기 비젼 시스템.
KR20130102093A 2013-08-28 2013-08-28 굴삭기 비젼 시스템 KR20150025008A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130102093A KR20150025008A (ko) 2013-08-28 2013-08-28 굴삭기 비젼 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130102093A KR20150025008A (ko) 2013-08-28 2013-08-28 굴삭기 비젼 시스템

Publications (1)

Publication Number Publication Date
KR20150025008A true KR20150025008A (ko) 2015-03-10

Family

ID=53021330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130102093A KR20150025008A (ko) 2013-08-28 2013-08-28 굴삭기 비젼 시스템

Country Status (1)

Country Link
KR (1) KR20150025008A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060127A (ko) 2017-11-24 2019-06-03 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
WO2023141026A1 (en) * 2022-01-24 2023-07-27 Caterpillar Inc. Object detection vision system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060127A (ko) 2017-11-24 2019-06-03 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
WO2023141026A1 (en) * 2022-01-24 2023-07-27 Caterpillar Inc. Object detection vision system

Similar Documents

Publication Publication Date Title
KR102659077B1 (ko) 쇼벨
KR102638315B1 (ko) 쇼벨
EP3276089B1 (en) Shovel
JP6965160B2 (ja) ショベル
KR102333458B1 (ko) 쇼벨 및 쇼벨의 표시장치
KR102566896B1 (ko) 쇼벨 및 쇼벨용의 표시장치
KR102298318B1 (ko) 쇼벨 및 쇼벨의 표시장치
KR102493019B1 (ko) 쇼벨, 쇼벨의 표시장치 및 쇼벨의 표시방법
US20140293047A1 (en) System for generating overhead view of machine
KR20210139238A (ko) 쇼벨
KR20200051572A (ko) 쇼벨
JP6975223B2 (ja) ショベル、ショベルの制御方法及び携帯情報端末
KR20150025008A (ko) 굴삭기 비젼 시스템
KR20200100596A (ko) 쇼벨 및 쇼벨의 출력장치
KR20150025006A (ko) 굴삭기용 모니터 시스템
WO2021075580A1 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
KR20150025011A (ko) 굴삭기용 감성 시스템
WO2021054415A1 (ja) ショベル
KR20230173580A (ko) 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계
KR20230173581A (ko) 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계
JP2023151686A (ja) ショベル
JP2022149595A (ja) 施工管理システム、ショベル、支援装置

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination