KR101787897B1 - Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법 - Google Patents

Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법 Download PDF

Info

Publication number
KR101787897B1
KR101787897B1 KR1020160066926A KR20160066926A KR101787897B1 KR 101787897 B1 KR101787897 B1 KR 101787897B1 KR 1020160066926 A KR1020160066926 A KR 1020160066926A KR 20160066926 A KR20160066926 A KR 20160066926A KR 101787897 B1 KR101787897 B1 KR 101787897B1
Authority
KR
South Korea
Prior art keywords
excavator
bucket
image
boom
top view
Prior art date
Application number
KR1020160066926A
Other languages
English (en)
Inventor
김영석
염동준
염한승
서정훈
유현석
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020160066926A priority Critical patent/KR101787897B1/ko
Application granted granted Critical
Publication of KR101787897B1 publication Critical patent/KR101787897B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/17—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

본 발명은 AVM 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법에 대한 것이다.
본 발명에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치는 굴삭기의 전후좌우면에 각각 설치된 복수의 카메라로부터 수신한 촬영 영상들을 보정하여 복수의 보정 영상을 생성한 후, 합성 처리하여 탑 뷰 형태의 영상으로 변환하는 영상변환부; 상기 굴삭기의 붐, 암, 버킷에 각각 설치된 복수의 각도 센서로부터 센싱된 기울기 값을 이용하여 상기 붐에서 상기 버킷까지의 수평 거리, 상기 버킷이 지면으로부터 이격된 거리, 상기 버킷의 회전반경을 포함하는 작업 정보를 연산하는 연산부; 상기 연산된 작업 정보를 상기 변환된 탑 뷰 형태의 영상에 적용하여 상기 굴삭기의 최종 영상을 생성하는 영상생성부; 및 상기 생성된 굴삭기의 최종 영상을 표시하는 표시부를 포함한다.
이와 같이 본 발명에 따르면, 굴삭기 작업 시 장애물 등에 의해 발생되는 사각지대에 대해 AVM 기술 기반의 굴삭기 탑뷰 영상과, 작업 정보를 굴삭기 운전원에게 디스플레이 화면으로 제공함으로써 굴삭기 작업에 있어 보다 좋은 환경을 운전원에게 제공할 수 있어 안전성 및 작업 효율성 향상에 기여할 수 있는 효과가 있다.

Description

ＡＶＭ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법{MONITORING APPARATUS FOR WORK INFORMATION OF EXCAVATOR BASED ON AROUND VIEW MONITORING AND METHOD THEREOF}
본 발명은 AVM 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 AVM 기술을 기반으로 굴삭기의 탑뷰 영상 및 작업 현황에 관한 작업 정보를 굴삭기 운전원에게 제공하는 AVM 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법에 관한 것이다.
일반적으로 토공작업 환경에서는 도저, 로더, 굴삭기, 그레이더 등 건설 중장비가 주로 활용된다. 이 중 굴삭기는 장비의 규모에 비해 작업을 수행할 수 있는 반경이 넓은 반면, 이러한 굴삭기의 특성(붐, 암, 버킷)에 의해 장비 운전원에게 발생하는 사각지대가 여타 차량형 장비에 비해 넓다는 단점이 있다.
이에 따라 굴삭기는 사각지대로 인해 빈번한 안전사고를 발생시키거나, 주행 중 사각지대로 인한 추락 및 전도를 발생시키고, 사고에 대한 불안감으로 인해 장비 운용의 효율 또한 매우 저하되는 실정이다. 특히, 건설장비 운전원은 3D 직종으로 분류되어 신규 인력의 투입이 매우 저조한 실정이므로 숙련된 운전원의 부재는 이러한 문제를 더욱 심화시키고 있는 실정이다.
이러한 문제점을 해결하기 위하여 건설 중장비의 4면에 설치된 카메라를 통해 취득된 영상을 조합하고 보정하여 탑 뷰로 제공함으로써, 건설 중장비의 주변 영상을 디스플레이하는 AVM(Around View Monitoring) 기술이 개발되고 있다.
그러나 이러한 AVM 기술은 단순히 건설 중장비의 탑뷰 영상 정보만을 제공하고 있어, 굴삭기 운전원은 실제 작업을 수행하게 되는 지면으로부터 버킷이 이격된 이격거리, 붐, 암 및 버킷의 수직 거리, 붐, 암 및 버킷의 길이에 따른 작업 회전 반경 등 실질적인 작업상황에 대한 정보가 부족하다.
따라서 굴삭기를 운행하는데 있어 작업 상황에 대한 전달력과 이해도가 저하되는 현상이 발생하게 되는 문제점이 있다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제2014-0026690호(2014. 03. 06. 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 AVM 기술을 기반으로 굴삭기의 탑뷰 영상 및 작업 현황에 관한 작업 정보를 굴삭기 운전원에게 제공하는 AVM 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치는, 굴삭기의 전후좌우면에 각각 설치된 복수의 카메라로부터 수신한 촬영 영상들을 보정하여 복수의 보정 영상을 생성한 후, 합성 처리하여 탑 뷰 형태의 영상으로 변환하는 영상변환부; 상기 굴삭기의 붐, 암, 버킷에 각각 설치된 복수의 각도 센서로부터 센싱된 기울기 값을 이용하여 상기 붐에서 상기 버킷까지의 수평 거리, 상기 버킷이 지면으로부터 이격된 거리, 상기 버킷의 회전반경을 포함하는 작업 정보를 연산하는 연산부; 상기 연산된 작업 정보를 상기 변환된 탑 뷰 형태의 영상에 적용하여 상기 굴삭기의 최종 영상을 생성하는 영상생성부; 및 상기 생성된 굴삭기의 최종 영상을 표시하는 표시부를 포함한다.
상기 연산부는, 다음의 수학식에 의해 상기 붐에서 상기 버킷까지의 수평 거리(Z)를 연산하고, 상기 붐에서 상기 버킷까지의 수평 거리와 기 측정된 굴삭기 본체의 길이를 이용하여 상기 굴삭기 본체의 회전 반경을 더 연산할 수 있다.
Figure 112016052170174-pat00001
,
Figure 112016052170174-pat00002
,
Figure 112016052170174-pat00003
여기서, f는 붐의 수평 길이, A는 기 측정된 붐의 길이, α는 상기 붐에 설치된 각도 센서로부터 센싱된 기울기 값, g는 암의 수평길이, B는 기 측정된 암의 길이, β는 상기 암에 설치된 각도 센서로부터 센싱된 기울기 값이다.
상기 연산부는, 다음의 수학식에 의해 상기 버킷이 지면으로부터 이격된 거리(Y)를 연산할 수 있다.
Figure 112016052170174-pat00004
여기서, γ은 상기 버킷에 설치된 각도 센서로부터 센싱된 기울기 값, H는 지면에서 붐의 시작점까지의 높이이다.
상기 연산부는, 다음의 수학식에 의해 상기 버킷의 회전반경(X)을 연산할 수 있다.
Figure 112016052170174-pat00005
상기 영상생성부는, 상기 연산된 작업 정보를 이용하여 상기 붐, 암 및 버킷을 포함하는 굴삭기의 탑 뷰 이미지와 상기 버킷의 회전반경 및 상기 굴삭기 본체의 회전 반경을 상기 변환된 탑 뷰 형태의 영상에 반영하되, 상기 굴삭기 본체의 중심 지점과 상기 탑 뷰 형태 영상의 중심 지점이 매칭되도록 상기 굴삭기의 탑 뷰 이미지를 반영하여 상기 굴삭기의 최종 영상을 생성할 수 있다.
상기 표시부는, 상기 복수의 카메라로부터 각각 촬영된 상기 굴삭기의 전방, 후방, 좌측 및 우측 영상 및 상기 굴삭기의 롤(roll), 피치(pitch) 및 요(yaw) 정보를 포함하는 자세 정보를 더 표시할 수 있다.
또한, 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치를 이용한 작업 정보 모니터링 방법은, 상기 모니터링 장치는 상기 굴삭기의 전후좌우면에 각각 설치된 복수의 카메라로부터 수신한 촬영 영상들을 보정하여 복수의 보정 영상을 생성한 후, 합성 처리하여 탑 뷰 형태의 영상으로 변환하는 단계; 상기 굴삭기의 붐, 암, 버킷에 각각 설치된 복수의 각도 센서로부터 센싱된 기울기 값을 이용하여 상기 붐에서 상기 버킷까지의 수평 거리, 상기 버킷이 지면으로부터 이격된 거리, 상기 버킷의 회전반경을 포함하는 작업 정보를 연산하는 단계; 상기 연산된 작업 정보를 상기 변환된 탑 뷰 형태의 영상에 적용하여 상기 굴삭기의 최종 영상을 생성하는 단계; 및 상기 생성된 굴삭기의 최종 영상을 표시하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 굴삭기 작업 시 장애물 등에 의해 발생되는 사각지대에 대해 AVM 기술 기반의 굴삭기 탑뷰 영상과, 굴삭기의 붐, 암 및 버킷에 설치된 각도 센서를 통해 계산된 버킷의 지면으로부터의 이격거리 및 작업 회전 반경에 대한 작업 정보를 굴삭기 운전원에게 디스플레이 화면으로 제공함으로써 굴삭기 작업에 있어 보다 좋은 환경을 운전원에게 제공할 수 있어 안전성 및 작업 효율성 향상에 기여할 수 있는 효과가 있다.
또한 본 발명에 따르면, 굴삭기 운전원의 진입 장벽을 낮추고, 건설장비 산업의 활성화에 기여할 수 있다.
도 1은 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치로부터 연산된 붐에서 버킷까지의 수평 거리(Z)를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치로부터 연산된 버킷이 지면으로부터 이격된 거리(Y)를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치로부터 연산된 버킷의 회전반경(X)을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 방법의 동작 흐름을 도시한 순서도이다.
도 6은 굴삭기의 최종 영상의 화면 표시예이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 1 내지 도 4를 통해 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치(100)는, 영상변환부(110), 연산부(120), 영상생성부(130) 및 표시부(140)를 포함한다.
먼저, 영상변환부(110)는 굴삭기(200)의 전후좌우면에 각각 설치된 복수의 카메라(210)로부터 수신한 촬영 영상들을 보정하여 복수의 보정 영상을 생성한 후, 합성 처리하여 탑 뷰 형태의 영상으로 변환한다.
상세히 설명하면, 카메라(210)는 굴삭기(200)의 전후좌우면이 모두 촬영되도록 굴삭기(200)의 전방, 후방, 좌측 및 우측에 각각 구비되며, CCD 카메라가 적용될 수 있다.
즉, 4개의 카메라(210)는 굴삭기(200)의 전방, 후방, 좌측 및 우측의 사각지대 없이 영상을 취득할 수 있는 화각을 지녀야 하며, 굴삭기(200)의 특성상 장비중심으로부터 8m이상의 거리에 있는 장애물 및 작업자를 탑 뷰(TOP-view) 영상으로 변환할 수 있는 해상도의 카메라가 적용되는 것이 바람직하다.
그리고, 연산부(120)는 굴삭기(200)의 붐, 암, 버킷에 각각 설치된 복수의 각도 센서(220로부터 센싱된 기울기 값을 이용하여 붐에서 버킷까지의 수평 거리, 버킷이 지면으로부터 이격된 거리, 버킷의 회전반경을 포함하는 작업 정보를 연산한다.
이때, 붐에서 버킷까지의 수평 거리, 버킷이 지면으로부터 이격된 거리, 버킷의 회전반경은 각각 다음과 같이 연산된다.
도 2는 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치로부터 연산된 붐에서 버킷까지의 수평 거리(Z)를 나타낸 도면이다.
도 2를 참고하여 붐에서 버킷까지의 수평 거리(Z)를 연산하는 방법을 설명하자면, 연산부(120)는 수학식 1에 의해 붐(230)에서 버킷(250)까지의 수평 거리(Z)를 연산할 수 있다.
Figure 112016052170174-pat00006
Figure 112016052170174-pat00007
,
Figure 112016052170174-pat00008
여기서, f는 붐(230)의 수평 길이, A는 기 측정된 붐(230)의 길이, α는 붐(230)에 설치된 각도 센서(220)로부터 센싱된 기울기 값, g는 암(240)의 수평길이, B는 기 측정된 암(240)의 길이, β는 암(240)에 설치된 각도 센서(220)로부터 센싱된 기울기 값이다.
또한, 연산부120)는 앞서 연산된 붐(230)에서 버킷(250)까지의 수평 거리(Z)와 기 측정된 굴삭기(200) 본체의 길이를 이용하여 굴삭기(200) 본체의 회전 반경을 더 연산할 수도 있다.
도 3은 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치로부터 연산된 버킷이 지면으로부터 이격된 거리(Y)를 나타낸 도면이다.
도 3을 참고하여 버킷(250)이 지면으로부터 이격된 거리(Y)를 연산하는 방법을 설명하자면, 연산부(120)는 수학식 2에 의해 버킷(250)이 지면으로부터 이격된 거리(Y)를 연산할 수 있다.
Figure 112016052170174-pat00009
여기서, γ은 버킷(250)에 설치된 각도 센서(220)로부터 센싱된 기울기 값, H는 지면에서 붐(230)의 시작점까지의 높이이다.
도 4는 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치로부터 연산된 버킷의 회전반경(X)을 나타낸 도면이다.
도 4를 참고하여 버킷(250)의 회전반경(X)를 연산하는 방법을 설명하자면, 연산부(120)는 수학식 3에 의해 버킷(250)의 회전반경(X)을 연산할 수 있다.
Figure 112016052170174-pat00010
그리고, 영상생성부(130)는 연산부(120)를 통해 연산된 작업 정보를 영상변환부(110)로부터 변환된 탑 뷰 형태의 영상에 적용하여 굴삭기(200)의 최종 영상을 생성한다.
이때 영상생성부(130)는, 연산부(120)를 통해 연산된 작업 정보를 이용하여 붐(230), 암(240) 및 버킷(250)을 포함하는 굴삭기(200)의 탑 뷰 이미지와 버킷(250)의 회전반경(X) 및 굴삭기(200) 본체의 회전 반경을 영상변환부(110)로부터 변환된 탑 뷰 형태의 영상에 반영하되, 굴삭기(200) 본체의 중심 지점과 탑 뷰 형태 영상의 중심 지점이 매칭되도록 굴삭기(200)의 탑 뷰 이미지를 반영하여 굴삭기(200)의 최종 영상을 생성하는 것이 바람직하다.
마지막으로 표시부(140)는 영상생성부(130)에서 생성된 굴삭기(200)의 최종 영상을 표시한다.
이때 표시부(140)는, 복수의 카메라(210)로부터 각각 촬영된 굴삭기(200)의 전방, 후방, 좌측 및 우측 영상 및 굴삭기(200)의 롤(roll), 피치(pitch) 및 요(yaw) 정보를 포함하는 자세 정보를 더 표시할 수도 있다.
이때, 굴삭기(200)의 내측에 설치된 모니터(미도시)를 통하여 최종 생성된 탑 뷰 형태의 영상을 표시함으로써 굴삭기(200)를 운전하는 운전원이 실시간으로 탑 뷰 형태의 영상을 확인할 수 있도록 한다.
이하에서는 도 5 및 도 6을 통해 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 방법에 대하여 설명한다.
도 5는 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따르면, 먼저 모니터링 장치(100)의 영상변환부(110)는 굴삭기(200)의 전후좌우면에 각각 설치된 복수의 카메라(210)로부터 수신한 촬영 영상들을 보정하여 복수의 보정 영상을 생성한 후, 오버레이(overlay) 방식으로 합성 처리하여 탑 뷰 형태의 영상으로 변환한다(S510).
상세히는, 각 카메라(210)별 촬영 영역 정보와 각 촬영 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 기반으로 복수의 보정 영상을 오버레이 방식으로 합성 처리하여 굴삭기(200)를 포함하는 주변 영상을 탑 뷰 형태의 영상으로 변환한다.
이를 더욱 상세히 설명하자면, 영상변환부(110)는 복수의 카메라(210)로부터 촬영된 영상들을 룩업 테이블(Look up Table)을 통해 영상 처리할 수 있으며, 각각의 영상으로부터 보정 영상을 생성한다.
여기서, 룩업 테이블은 왜곡 보정 알고리즘, 어파인(Affine) 변환 알고리즘, 시점 변환 알고리즘을 적용하여 생성될 수 있다. 그리고, 겹치는 오버레이 방식으로 보정 영상들을 합성 처리한다. 자세히는, 마스크 영상을 이용하여 오버레이 합성 처리를 하는데, 마스크 영상은 각 카메라(210) 별 영역 정보와 보정 영상을 구성하는 픽셀들에 대한 가중치(weight) 정보를 가진다. 따라서 보정 영상들 사이에 중복되는 영역에 포함되는 픽셀들의 가중치를 조절하여 중복 영역이 자연스럽게 표시되도록 한다.
이와 같이 S510 단계는 4개의 보정 영상을 오버레이 방식으로 합성 처리하여 굴삭기(200)의 주변 360°를 한 눈에 볼 수 있는 탑 뷰 형태의 영상으로 변환시킨다.
그 다음, 연산부(120)는 굴삭기(200)의 붐(230), 암(240), 버킷(250)에 각각 설치된 복수의 각도 센서(220)로부터 센싱된 기울기 값을 이용하여 붐(230)에서 버킷(250)까지의 수평 거리(Z), 버킷(250)이 지면으로부터 이격된 거리(Y), 버킷(250)의 회전반경(X)을 포함하는 작업 정보를 연산한다(S520).
자세히는, S520 단계에서 붐(230)에서 버킷(250)까지의 수평 거리(Z)는 상술한 수학식 1에 의해 연산되고, 버킷(250)이 지면으로부터 이격된 거리(Y)는 상술한 수학식 2에 의해 연산되며, 버킷(250)의 회전반경(X)은 상술한 수학식 3에 의해 연산된다.
그리고, 영상생성부(130)는 S520 단계에서 연산된 작업 정보를 S510 단계에서 변환된 탑 뷰 형태의 영상에 적용하여 굴삭기(200)의 최종 영상을 생성한다(S530).
이때 S530 단계는 연산부(120)를 통해 연산된 작업 정보를 이용하여 붐(230), 암(240) 및 버킷(250)을 포함하는 굴삭기(200)의 탑 뷰 이미지와 버킷(250)의 회전반경(X) 및 굴삭기(200) 본체의 회전 반경을 영상변환부(110)로부터 변환된 탑 뷰 형태의 영상에 반영하되, 굴삭기(200) 본체의 중심 지점과 탑 뷰 형태 영상의 중심 지점이 매칭되도록 굴삭기(200)의 탑 뷰 이미지를 반영하여 굴삭기(200)의 최종 영상을 생성하는 것이 바람직하다.
마지막으로, 표시부(140)는 S530 단계에서 생성된 굴삭기(200)의 최종 영상을 표시한다(S540).
도 6은 굴삭기의 최종 영상의 화면 표시예이다.
도 6에서와 같이, 표시부(140)는 굴삭기(200)의 탑 뷰 이미지와 함께 복수의 카메라(210)로부터 각각 촬영된 굴삭기(200)의 전방, 후방, 좌측 및 우측 영상(I) 및 굴삭기(200)의 롤(roll), 피치(pitch) 및 요(yaw) 정보를 포함하는 자세 정보(P)가 더 포함된 최종 영상을 표시할 수도 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 AVM 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법은 굴삭기 작업 시 장애물 등에 의해 발생되는 사각지대에 대해 AVM 기술 기반의 굴삭기 탑뷰 영상과, 굴삭기의 붐, 암 및 버킷에 설치된 각도 센서를 통해 계산된 버킷의 지면으로부터의 이격거리 및 작업 회전 반경에 대한 작업 정보를 굴삭기 운전원에게 디스플레이 화면으로 제공함으로써 굴삭기 작업에 있어 보다 좋은 환경을 운전원에게 제공할 수 있어 안전성 및 작업 효율성 향상에 기여할 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 굴삭기 운전원의 진입 장벽을 낮추고, 건설장비 산업의 활성화에 기여할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 모니터링 장치 110 : 영상변환부
120 : 연산부 130 : 영상생성부
140 : 표시부 200 : 굴삭기
210 : 카메라 220 : 각도센서
230 : 붐 240 : 암
250 : 버킷

Claims (12)

  1. 굴삭기의 전후좌우면에 각각 설치된 복수의 카메라로부터 수신한 촬영 영상들을 룩업 테이블(Look up Table)을 통해 보정하여 복수의 보정 영상을 생성한 후, 오버레이(overlay) 방식으로 합성 처리하여 탑 뷰 형태의 영상으로 변환하는 영상변환부;
    상기 굴삭기의 붐, 암, 버킷에 각각 설치된 복수의 각도 센서로부터 센싱된 기울기 값을 이용하여 상기 붐에서 상기 버킷까지의 수평 거리, 상기 버킷이 지면으로부터 이격된 거리, 상기 버킷의 회전반경을 포함하는 작업 정보를 연산하는 연산부;
    상기 연산된 작업 정보를 상기 변환된 탑 뷰 형태의 영상에 적용하여 상기 굴삭기의 최종 영상을 생성하는 영상생성부; 및
    상기 생성된 굴삭기의 최종 영상을 표시하는 표시부를 포함하고,
    상기 연산부는,
    다음의 수학식에 의해 상기 붐에서 상기 버킷까지의 수평 거리(Z)를 연산하고,
    Figure 112017087435829-pat00027
    ,
    Figure 112017087435829-pat00028
    ,
    Figure 112017087435829-pat00029

    상기 붐에서 상기 버킷까지의 수평 거리와 기 측정된 굴삭기 본체의 길이를 이용하여 상기 굴삭기 본체의 회전 반경을 더 연산하며, f는 붐의 수평 길이, A는 기 측정된 붐의 길이, α는 상기 붐에 설치된 각도 센서로부터 센싱된 기울기 값, g는 암의 수평길이, B는 기 측정된 암의 길이, β는 상기 암에 설치된 각도 센서로부터 센싱된 기울기 값이고,
    상기 영상생성부는,
    상기 연산된 작업 정보를 이용하여 상기 붐, 암 및 버킷을 포함하는 굴삭기의 탑 뷰 이미지와 상기 버킷의 회전반경 및 상기 굴삭기 본체의 회전 반경을 상기 변환된 탑 뷰 형태의 영상에 반영하되, 상기 굴삭기 본체의 중심 지점과 상기 탑 뷰 형태 영상의 중심 지점이 매칭되도록 상기 굴삭기의 탑 뷰 이미지를 반영하여 상기 굴삭기의 최종 영상을 생성하는 AVM 기반의 굴삭기 작업 정보 모니터링 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 연산부는,
    다음의 수학식에 의해 상기 버킷이 지면으로부터 이격된 거리(Y)를 연산하는 AVM 기반의 굴삭기 작업 정보 모니터링 장치:
    Figure 112017087435829-pat00014

    여기서, γ은 상기 버킷에 설치된 각도 센서로부터 센싱된 기울기 값, H는 지면에서 붐의 시작점까지의 높이이다.
  4. 제3항에 있어서,
    상기 연산부는,
    다음의 수학식에 의해 상기 버킷의 회전반경(X)을 연산하는 AVM 기반의 굴삭기 작업 정보 모니터링 장치:
    Figure 112016052170174-pat00015
  5. 삭제
  6. 제1항에 있어서,
    상기 표시부는,
    상기 복수의 카메라로부터 각각 촬영된 상기 굴삭기의 전방, 후방, 좌측 및 우측 영상 및 상기 굴삭기의 롤(roll), 피치(pitch) 및 요(yaw) 정보를 포함하는 자세 정보를 더 표시하는 AVM 기반의 굴삭기 작업 정보 모니터링 장치.
  7. AVM 기반의 굴삭기 작업 정보 모니터링 장치를 이용한 작업 정보 모니터링 방법에 있어서,
    상기 모니터링 장치는 상기 굴삭기의 전후좌우면에 각각 설치된 복수의 카메라로부터 수신한 촬영 영상들을 룩업 테이블(Look up Table)을 통해 보정하여 복수의 보정 영상을 생성한 후, 오버레이(overlay) 방식으로 합성 처리하여 탑 뷰 형태의 영상으로 변환하는 단계;
    상기 굴삭기의 붐, 암, 버킷에 각각 설치된 복수의 각도 센서로부터 센싱된 기울기 값을 이용하여 상기 붐에서 상기 버킷까지의 수평 거리, 상기 버킷이 지면으로부터 이격된 거리, 상기 버킷의 회전반경을 포함하는 작업 정보를 연산하는 단계;
    상기 연산된 작업 정보를 상기 변환된 탑 뷰 형태의 영상에 적용하여 상기 굴삭기의 최종 영상을 생성하는 단계; 및
    상기 생성된 굴삭기의 최종 영상을 표시하는 단계를 포함하고,
    상기 연산하는 단계는,
    다음의 수학식에 의해 상기 붐에서 상기 버킷까지의 수평 거리(Z)를 연산하고,
    Figure 112017087435829-pat00016

    Figure 112017087435829-pat00017

    Figure 112017087435829-pat00018

    상기 붐에서 상기 버킷까지의 수평 거리와 기 측정된 굴삭기 본체의 길이를 이용하여 상기 굴삭기 본체의 회전 반경을 더 연산하며, f는 붐의 수평길이, A는 기 측정된 붐의 길이, α는 상기 붐에 설치된 각도 센서로부터 센싱된 기울기 값, g는 암의 수평길이, B는 기 측정된 암의 길이, β는 상기 암에 설치된 각도 센서로부터 센싱된 기울기 값이고,
    상기 최종 영상을 생성하는 단계는,
    상기 연산된 작업 정보를 이용하여 상기 붐, 암 및 버킷을 포함하는 굴삭기의 탑 뷰 이미지와 상기 버킷의 회전반경 및 상기 굴삭기 본체의 회전 반경을 상기 변환된 탑 뷰 형태의 영상에 반영하되, 상기 굴삭기 본체의 중심 지점과 상기 탑 뷰 형태 영상의 중심 지점이 매칭되도록 상기 굴삭기의 탑 뷰 이미지를 반영하여 상기 굴삭기의 최종 영상을 생성하는 작업 정보 모니터링 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 연산하는 단계는,
    다음의 수학식에 의해 상기 버킷이 지면으로부터 이격된 거리(Y)를 연산하는 작업 정보 모니터링 방법:
    Figure 112017087435829-pat00019

    여기서, γ은 상기 버킷에 설치된 각도 센서로부터 센싱된 기울기 값, H는 지면에서 붐의 시작점까지의 높이이다.
  10. 제9항에 있어서,
    상기 연산하는 단계는,
    다음의 수학식에 의해 상기 버킷의 회전반경(X)을 연산하는 작업 정보 모니터링 방법:
    Figure 112016052170174-pat00020
  11. 삭제
  12. 제7항에 있어서,
    상기 최종 영상을 표시하는 단계는,
    상기 복수의 카메라로부터 각각 촬영된 상기 굴삭기의 전방, 후방, 좌측 및 우측 영상 및 상기 굴삭기의 롤(roll), 피치(pitch) 및 요(yaw) 정보를 포함하는 자세 정보를 더 표시하는 작업 정보 모니터링 방법.
KR1020160066926A 2016-05-31 2016-05-31 Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법 KR101787897B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160066926A KR101787897B1 (ko) 2016-05-31 2016-05-31 Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160066926A KR101787897B1 (ko) 2016-05-31 2016-05-31 Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101787897B1 true KR101787897B1 (ko) 2017-10-19

Family

ID=60298322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160066926A KR101787897B1 (ko) 2016-05-31 2016-05-31 Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101787897B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060127A (ko) * 2017-11-24 2019-06-03 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
WO2019125668A1 (en) * 2017-12-22 2019-06-27 Caterpillar Inc. Method and system for monitoring a rotatable implement of a machine
KR102087132B1 (ko) * 2018-12-21 2020-04-20 엠텍비젼 주식회사 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법
KR20200105380A (ko) * 2019-02-28 2020-09-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 굴착기의 버킷의 포즈 결정 방법 및 장치
CN112884710A (zh) * 2021-01-19 2021-06-01 上海三一重机股份有限公司 作业机械的辅助影像生成方法、远程操控方法及其装置
CN113740859A (zh) * 2021-08-19 2021-12-03 北京踏歌智行科技有限公司 一种适用于矿区装载设备的位置计算方法
KR20210151297A (ko) * 2020-06-04 2021-12-14 (주)에이치브레인 Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템
KR20220043969A (ko) 2020-09-28 2022-04-06 김영훈 굴삭기 안전 시스템

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060127A (ko) * 2017-11-24 2019-06-03 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
KR102011386B1 (ko) * 2017-11-24 2019-08-16 인하대학교 산학협력단 굴삭기 작업반경 표시 방법
WO2019125668A1 (en) * 2017-12-22 2019-06-27 Caterpillar Inc. Method and system for monitoring a rotatable implement of a machine
US10544567B2 (en) 2017-12-22 2020-01-28 Caterpillar Inc. Method and system for monitoring a rotatable implement of a machine
KR102087132B1 (ko) * 2018-12-21 2020-04-20 엠텍비젼 주식회사 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법
WO2020130663A1 (ko) * 2018-12-21 2020-06-25 엠텍비젼 주식회사 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법
KR20200105380A (ko) * 2019-02-28 2020-09-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 굴착기의 버킷의 포즈 결정 방법 및 장치
KR102399630B1 (ko) 2019-02-28 2022-05-19 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 굴착기의 버킷의 포즈 결정 방법 및 장치
KR20210151297A (ko) * 2020-06-04 2021-12-14 (주)에이치브레인 Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템
KR102362953B1 (ko) 2020-06-04 2022-02-16 (주)에이치브레인 Fpga 기반 뉴로머신과 svm을 이용한 굴삭기 안전시스템
KR20220043969A (ko) 2020-09-28 2022-04-06 김영훈 굴삭기 안전 시스템
CN112884710A (zh) * 2021-01-19 2021-06-01 上海三一重机股份有限公司 作业机械的辅助影像生成方法、远程操控方法及其装置
CN113740859A (zh) * 2021-08-19 2021-12-03 北京踏歌智行科技有限公司 一种适用于矿区装载设备的位置计算方法

Similar Documents

Publication Publication Date Title
KR101787897B1 (ko) Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법
US8918246B2 (en) Augmented reality implement control
EP2799630B1 (en) Image display device for shovel
KR101752613B1 (ko) 작업 기계의 주변 감시 장치
US20150009329A1 (en) Device for monitoring surroundings of machinery
JP7285051B2 (ja) 表示制御装置、および表示制御方法
US10527413B2 (en) Outside recognition device
JP6541734B2 (ja) ショベル
JP6052881B2 (ja) 作業機械用周辺監視装置
JP4740890B2 (ja) 建設機械および建設機械の後進移動ガイダンス方法
JP6321977B2 (ja) 重機用周辺監視装置
JPH11211473A (ja) 地形形状計測装置
JP6848039B2 (ja) ショベル
US10721397B2 (en) Image processing system using predefined stitching configurations
JP2009243073A (ja) 作業車両
JP6689763B2 (ja) ショベル
KR20160110642A (ko) 건설장비의 작업 현황 모니터링 장치 및 그 방법
KR101864985B1 (ko) 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법
JP2017071914A (ja) 施工方法、作業機械の制御システム及び作業機械
AU2020320149B2 (en) Display system, remote operation system, and display method
JP6689945B2 (ja) ショベル及びショベルの表示装置
WO2024058017A1 (ja) 画像生成装置、操作支援システム
US11939744B2 (en) Display system, remote operation system, and display method
JP7178334B2 (ja) ショベル及びショベルの表示装置
WO2023157707A1 (ja) 表示制御装置、及び遠隔操作装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant