KR20190060127A

KR20190060127A - 굴삭기 작업반경 표시 방법

Info

Publication number: KR20190060127A
Application number: KR1020170157985A
Authority: KR
Inventors: 신도형; 이강혁; 박주환
Original assignee: 인하대학교 산학협력단
Priority date: 2017-11-24
Filing date: 2017-11-24
Publication date: 2019-06-03
Also published as: KR102011386B1

Abstract

본 발명은 굴삭기 작업반경 표시 방법에 관한 것으로서, 더욱 상세하게는 굴삭기 작업자가 굴삭기의 내부에서 굴삭기의 반경을 정확하게 확인할 수 있어 숙련도가 떨어지는 작업자라도 굴삭기의 작업 반경을 고려하여 굴삭기의 움직임을 최소화하여 작업을 진행함으로써, 작업효율을 높일 수 있는 굴삭기 작업반경 표시 방법에 관한 것이다.
상기한 목적을 달성하기 위한 본 발명은 머신가이던스로부터 굴삭기의 최대 작업반경과 중심위치의 좌표를 수신하는 위치 수신 단계와, 굴삭기의 최대 작업반경, 최대 작업반경의 2/3, 최대 작업반경의 1/3 지점을 나타내는 점의 위치 좌표를 계산하는 점의 위치 계산 단계와, 굴삭기에 설치된 카메라를 기준으로 상기 각 점의 위치 좌표를 변환하는 카메라 좌표 변환 단계와, 각 점들의 3차원 카메라 좌표를 상기 카메라에서 촬영한 2차원 영상의 픽셀 상의 좌표로 변환하는 픽셀 좌표 변환 단계로 이루어지는 것을 특징으로 한다.

Description

굴삭기 작업반경 표시 방법{an excavator working radius representation method}

본 발명은 굴삭기 작업반경 표시 방법에 관한 것으로서, 더욱 상세하게는 굴삭기 작업자가 굴삭기의 내부에서 굴삭기의 반경을 정확하게 확인할 수 있어 숙련도가 떨어지는 작업자라도 굴삭기의 작업 반경을 고려하여 굴삭기의 움직임을 최소화하여 작업을 진행함으로써, 작업효율을 높일 수 있는 굴삭기 작업반경 표시 방법에 관한 것이다.

일반적으로 굴삭기는 땅이나 암석 따위를 파거나, 파낸 것을 처리하는 기계를 통칭하는 것으로서, 굴삭기는 하부 주행체, 상부 선회체, 엔진, 붐(boom), 암(arm) 및 버킷(bucket)을 구비하고, 엔진 구동 하에서 하부 주행체를 움직여 작업 위치를 변경하며 상부 선회체를 좌우로 회전하며 붐과 암의 상호 동작에 의해 버킷으로 땅이나 암석을 파내거나 파낸 것을 다른 곳으로 이송하도록 동작한다.

이러한 굴삭기의 작업 중 굴삭기 주변에서 다른 작업자나 보행자의 안전을 위해 안전 펜스가 설치되거나 별도의 안전요원이 굴삭기의 작업 반경 내로 사람이나 물체가 진입하는 것을 차단한다.

그러나, 굴삭기의 작업 환경이 안전 펜스를 설치하거나 별도의 안전 요원을 이용할 수 있는 것은 아니다. 따라서, 안전 펜스나 안전 요원을 이용할 수 없는 작업 환경에서 굴삭기가 안전하게 작업할 수 있는 방안이 요구되고 있다.

또한, 굴삭기는 굴삭 작업 현장에서 주로 주변의 땅이나 암석을 파내는 작업을 하게 되는데, 이때 작업자는 굴삭 작업 현장 주변의 전체 상황을 파악하기가 쉽지 않다.

통상 작업자는 굴삭기를 회전시키면서 주변 상황을 확인하거나 굴삭기에서 내려서 굴삭 작업 현장을 둘러보아야 하지만, 이러한 주변 상황 확인 작업은 굴삭기의 작업 환경에 따라 용이하지 않은 경우(굴삭기의 상부 회전체의 회전이 원활하지 않은 공간이나 굴삭기 주변바닥에 물이나 진흙이 많은 경우 등)가 종종 발생한다.

이와 같이, 현재 굴삭기에서는 주변 환경을 용이하게 파악할 수 있는 수단이 필요한 실정이다.

그래서, 이러한 문제점을 해결하기 위하여 도 1 및 도 2에 도시된 바와 같은 한국공개특허 제10-2015-0025008호에 기재된 기술이 제안되었는데, 그 기술적 특징은 굴삭기의 MCU(Machine Control Unit)와 통신하는 클러스터(10); 상기 클러스터(10)에 상기 굴삭기의 좌측 후방 영상을 제공하는 좌측 후방 카메라; 및 상기 클러스터(10)에 상기 굴삭기의 우측 후방 영상을 제공하는 우측 후방 카메라;를 포함하며, 상기 클러스터(10)는 모니터 화면(12)에 상기 좌측 후방 카메라의 제1영상, 상기 우측 후방 카메라의 제2영상 또는 이들의 조합 영상을 선택적으로 출력하는 것을 특징으로 한다.

그런데, 한국공개특허 제10-2015-0025008호에 기재된 기술은 굴삭기 후방 전체나 굴삭기 주변의 영상을 디스플레이 함으로써, 안전사고를 예방할 수는 있으나, 모니터 화면(12)에는 영상과 개략적인 가이드선만 출력되기 때문에 다양한 규격으로 형성되는 굴삭기에 따른 정확한 작업반경을 알 수 없어 하부 주행체를 자주 이동시켜야 하므로 작업효율이 떨어지는 문제점이 있다.

한국공개특허 제10-2015-0025008호 한국공개특허 제10-2014-0081999호

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 굴삭기의 상부 선회체에 구비된 카메라에서 촬영한 영상에 굴삭기의 작업 반경을 정확하게 출력하도록 함으로써, 작업 숙련도가 떨어지는 작업자도 굴삭기의 작업 반경을 직관적으로 확인할 수 있어, 작업시에 작업반경을 고려하게 되어 하부 주행체의 최소 이동으로 작업을 진행할 수 있어 작업효율을 높일 수 있는 굴삭기 작업반경 표시 방법을 제공하는 것이다.

그리고, 본 발명의 다른 목적은 카메라 영상에 굴삭기의 작업반경을 출력하되, 머신가이던스로부터 굴삭기의 실시간 위치와 실시간 자세정보를 수신받아, 자세정보와 굴삭기에 설치된 카메라의 위치를 고려하여 카메라에서 촬영한 영상에 굴삭기의 작업 반경을 정확하게 표시하도록 하는 굴삭기 작업반경 표시 방법을 제공하는 것이다.

이러한 문제점을 해결하기 위한 본 발명은;

머신가이던스로부터 굴삭기의 최대 작업반경과 중심위치의 좌표를 수신하는 위치 수신 단계와, 굴삭기의 최대 작업반경, 최대 작업반경의 2/3, 최대 작업반경의 1/3 지점을 나타내는 점의 위치 좌표를 계산하는 점의 위치 계산 단계와, 굴삭기에 설치된 카메라를 기준으로 상기 각 점의 위치 좌표를 변환하는 카메라 좌표 변환 단계와, 각 점들의 3차원 카메라 좌표를 상기 카메라에서 촬영한 2차원 영상의 픽셀 상의 좌표로 변환하는 픽셀 좌표 변환 단계와 2차원 좌표로 변환된 각 점을 카메라에서 촬영한 영상에 매핑시키는 매핑단계로 이루어지는 것을 특징으로 한다.

여기서, 상기 점의 위치 계산 단계 이후에는 상기 머신가이던스로부터 수신한 굴삭기의 자세정보를 반영하여 점의 위치 좌표를 변환하는 자세 보정 단계가 더 포함되는 것을 특징으로 한다.

그리고, 상기 카메라 좌표 변환 단계는 굴삭기의 중심점을 기준으로 카메라의 설치위치까지의 offset을 통하여 카메라의 좌표를 계산하는 카메라 위치 계산 단계와, 카메라의 위치 좌표와 카메라의 기울어진 기울기를 고려하여 하기의 수식으로 각 점들의 위치를 카메라를 기준으로 한 좌표로 변환하는 카메라 기준 좌표 변환 단계로 이루어지는 것을 특징으로 한다.

수식 :

: 카메라의 월드좌표 상의 위치 좌표

t : tilt(카메라 상하 회전각, pitch), p : pan(카메라 좌우 회전각,roll)

여기서, 상기 픽셀 좌표 변환 단계는 상기 카메라 좌표 변환 단계에서 도출된 각 점의 3차원 좌표를 하기의 수식을 통하여 카메라로 촬영한 영상의 2차원 좌표인 픽셀좌표로 변환하는 것을 특징으로 한다.

수식 :

( fx : x축 픽셀좌표 초점거리, fy : y축 픽셀좌표 초점거리, Cx : x축 픽셀좌표 주점거리, Cy : y축 픽셀좌표 주점거리 )

(

: 비대칭 계수로서, 시중에 존재하는 카메라는 비대칭에 대한 오차가 없기 때문에 0으로 계상해도 무방함.)

이때, 상기 픽셀 좌표 변환 단계 이후에 하기의 수식을 사용하여 카메라의 특성인 내부 파라미터를 제거한 정규 이미지 평면상의 좌표로 변환하는 정규 좌표 변환 단계를 더 수행하는 것을 특징으로 한다.

수식 :

,

( p : 픽셀좌표, p' : 정규 이미지상의 픽셀좌표 )

상기한 구성의 본 발명에 따르면, 굴삭기의 상부 선회체에 구비된 카메라에서 촬영한 영상에 굴삭기의 작업 반경을 정확하게 출력하도록 함으로써, 작업 숙련도가 떨어지는 작업자도 굴삭기의 작업 반경을 직관적으로 확인할 수 있어, 작업시에 작업반경을 고려하게 되어 하부 주행체의 최소 이동으로 작업을 진행할 수 있어 작업효율을 높일 수 있는 효과가 있다.

그리고, 본 발명은 카메라 영상에 굴삭기의 작업반경을 출력하되, 머신가이던스로부터 굴삭기의 실시간 위치와 실시간 자세정보를 수신받아, 자세정보와 굴삭기에 설치된 카메라의 위치를 고려하여 카메라에서 촬영한 영상에 굴삭기의 작업 반경을 정확하게 표시하도록 하는 효과가 있다.

도 1은 종래의 비젼 시스템이 채용되는 굴삭기의 블록도이다.
도 2는 종래의 비젼 시스템이 채용되는 굴삭기의 모니터의 상태도이다.
도 3은 본 발명에 따른 굴삭기 작업반경 표시 방법이 적용된 굴삭기의 사시도이다.
도 4는 본 발명에 따른 굴삭기 작업반경 표시 방법의 진행과정을 보여주는 흐름도이다.
도 5는 본 발명에 따른 굴삭기 작업반경 표시 방법이 적용된 굴삭기의 모니터의 화면을 보여주는 상태도이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 보다 상세하게 설명한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 그리고, 본 발명은 다수의 상이한 형태로 구현될 수 있고, 기술된 실시 예에 한정되지 않음을 이해하여야 한다.

도 3은 본 발명에 따른 굴삭기 작업반경 표시 방법이 적용된 굴삭기의 사시도이고, 도 4는 본 발명에 따른 굴삭기 작업반경 표시 방법의 진행과정을 보여주는 흐름도이고, 도 5는 본 발명에 따른 굴삭기 작업반경 표시 방법이 적용된 굴삭기의 모니터의 화면을 보여주는 상태도이다.

본 발명은 굴삭기 작업반경 표시 방법에 관한 것으로 머신가이던스의 도움을 받아 작업을 진행하게 되는데, 머신가이던스는 다양한 센서 기술을 비롯하여 GPS, GIS, GNSS 등을 통하여 굴삭기(100)를 비롯해 다양한 건설장비의 위치 정보와 주요 부위의 위치정보를 획득하고 지형도 등을 연계하여 건설공사에 정보를 제공하게 된다.

여기서, 굴삭기(100)는 도 3에 도시된 바와 같이 무한궤도 바퀴(112)가 구비되어 굴삭기(100) 전체를 이동시키는 하부 주행체(110)와 상기 하부 주행체(110)의 상부에 회전가능하게 구비되는 상부 선회체(120)와 버킷과 같은 작업도구가 단부에 설치되는 암(130)과, 상기 상부 선회체(120)의 전부에 구비되는 카메라(200)를 포함하여 이루어지며, 본 발명은 머신가이던스의 도움을 받아 굴삭기(100)의 작업반경을 굴삭기(100)의 내부에 구비되어 상기 카메라(200)에서 촬영한 영상이 출력되는 모니터상에 출력하게 된다.

이때, 굴삭기(100)의 작업반경을 표시하는 과정은 도 4 내지 도 5에 도시된 바와 같이, 머신가이던스로부터 굴삭기(100)의 최대 작업반경과 중심위치의 좌표를 수신하는 위치 수신 단계(S100)와 굴삭기(100)의 최대 작업반경(P1,P2), 최대 작업반경의 2/3(P3,P4), 최대 작업반경의 1/3(P5,P6) 지점을 나타내는 점의 위치 좌표를 계산하는 점의 위치 계산 단계(S200)와 굴삭기(100)에 설치된 카메라(200)를 기준으로 상기 각 점의 위치 좌표를 변환하는 카메라 좌표 변환 단계(S400)와 각 점들의 3차원 카메라 좌표를 상기 카메라(200)에서 촬영한 2차원 영상의 픽셀 상의 좌표로 변환하는 픽셀 좌표 변환 단계(S500)와 2차원 좌표로 변환된 각 점(P1,P2,P3,P4,P5,P6)을 카메라(200)에서 촬영한 영상에 매핑시키는 매핑단계(S600)를 포함하여 이루어진다.

그래서, 본 발명에서는 상기 카메라(200)에서 촬영한 2차원 영상에 굴삭기(100)의 최대 작업반경(P1,P2), 최대 작업반경의 2/3(P3,P4), 최대 작업반경의 1/3(P5,P6)을 표시하는 3차원 상의 점을 변환하여 출력함으로써, 숙련되지 않은 작업자라도 모니터에 출력되는 영상을 통하여 굴삭기(100)의 작업 범위를 직관적으로 확인할 수 있어, 작업효율을 높일 수 있게 된다.

그리고, 상기 점의 위치 계산 단계(S200)는 머신가이던스에서 제공하는 굴삭기(100)의 위치좌표를 표현하는 3차원 좌표계인 월드좌표계 상에서 굴삭기(100)의 최대 작업반경을 반영하여 표시하게 되는데, 3쌍의 점(P1,P2,P3,P4,P5,P6)은 하부 주행체(110)의 양측에 구비되는 무한궤도 바퀴의 중심부에서 전부 방향으로 위치하게 된다.

여기서, 상기 점(P1,P2,P3,P4,P5,P6)들은 각각 3차원을 표현하도록 하기의 식과 같이 표현된다.

1/3 :

2/3 :

최대 작업반경:

( Dx : 굴삭기 중심으로부터 무한궤도 바퀴의 중앙까지의 거리, Dy : 굴삭기 최대 작업반경, H : 굴삭기 중심좌표 측정지점으로부터 지면까지의 거리 )

한편, 상기 점의 위치 계산 단계(S200) 이후에는 상기 머신가이던스로부터 수신한 굴삭기(100)의 자세정보를 반영하여 각 점(P1,P2,P3,P4,P5,P6)의 월드 좌표계상의 위치 좌표를 변환하는 자세 보정 단계(S300)가 더 포함된다.

즉, 상기 점의 위치 계산 단계(S200)에서 도출된 점의 좌표는 굴삭기(100)의 자세정보가 반영되지 않은 상태로서, 자세정보를 반영하기 위해서는 오일러 각의 개념을 이용하여 자세정보를 반영하게 되는데, 머신가이던스로부터 수신한 자세정보를 표현하는 X축, Y축, Z축 기준 회전각은 θ_Roll, θ_Pitch, θ_Yaw로 표현되며, 자세정보를 반영한 점(P1,P2,P3,P4,P5,P6)은 하기의 수식을 통하여 도출된다.

그래서, 본 발명에서는 굴삭기(100)의 작업반경을 표시하는 각 점들을 굴삭기(100)의 자세정보를 반영하여 표시함으로써, 실제 작업반경을 정확하게 보여줄 수 있어, 작업자가 보다 효율적으로 작업을 진행할 수 있게 한다.

그리고, 상기 카메라 좌표 변환 단계(S400)는 각 점들을 머신가이던스에서 제공하는 월드좌표에서 카메라(200)를 기준으로 한 좌표로 변환하는 단계로서, 카메라 위치 계산 단계(S410)와 카메라 기준 좌표 변환 단계(S420)로 이루어진다.

여기서, 상기 카메라 위치 계산 단계(S410)는 굴삭기(100)에 설치된 카메라(200)의 offset, 즉, 도 3에 도시된 바와 같이 굴삭기(100)의 중심점(Center point)을 기준으로 카메라(200)가 설치된 위치까지의 변위를 고려하여 카메라(200)의 위치좌표를 월드좌표계 상에서 계산하는 단계이고, 상기 카메라 기준 좌표 변환단계(S420)는 카메라(200)를 기준점으로 하여 각 점(P1,P2,P3,P4,P5,P6)들의 좌표를 표시하는 단계이다.

이때, 상기 카메라 기준 좌표 변환 단계(S420)에서는 추가적으로 카메라(200)가 기울어진 기울기를 고려하게 되며, 변환을 위한 수식은 하기의 수식을 따라 각 점들(P1,P2,P3,P4,P5,P6)을 변환하게 된다.

수식 :

(

: 카메라의 월드좌표 상의 위치 좌표)

(t : tilt(카메라 상하 회전각,pitch), p : pan(카메라 좌우 회전각,roll))

그리고, 상기 픽셀 좌표 변환 단계(S500)는 상기 카메라 좌표 변환 단계(S400)에서 도출된 각 점들(P1,P2,P3,P4,P5,P6)의 3차원 좌표를 상기 카메라(200)로 촬영한 영상의 2차원 좌표인 픽셀좌표로 변환하게 된다.

여기서, 3차원 좌표를 촬영한 영상인 2차원 좌표로 변환할 때, 카메라 행렬(Camera Matrix)을 사용하여 변환하게 되며, 그 수식은 하기와 같다.

수식 :

(

그래서, 본 발명에서는 3차원인 월드좌표계 상의 각 점들을 2차원인 카메라(200)에서 촬영한 영상의 픽셀 상의 좌표로 변환하게 되어, 상기 매핑 단계(S600)에서 2차원인 카메라(200)에서 촬영한 영상의 정확한 위치에 각 점을 투사할 수 있게 된다.

이때, 상기 매핑 단계(S600)에서는 카메라(200)에서 촬영한 영상에 각 점들을 매핑시킨 후, 최대 작업반경(P1,P2), 최대 작업반경의 2/3(P3,P4), 최대 작업반경의 1/3(P5,P6)을 나타내는 하나의 점들을 서로 연결하여 직선으로 표시하며, 각 점을 연결하는 선의 색을 구간별로 다르게 표시하여 작업자가 보다 용이하게 작업반경을 확인할 수 있게 한다.

한편, 전술한 바와 같이 카메라(200)는 다양한 종류가 있으며, 각 카메라(200)는 모두 내부 파라미터가 차이나게 되므로, 수개의 카메라(200)를 바꾸어가면서 본 발명을 적용시키거나, 기존 카메라(200)의 세팅을 변경시킬 경우에는 카메라의 초점거리와 주점거리와 같은 내부 파라미터가 변경된다.

따라서, 변경된 각 파라미터를 적용시키기 위해서는 내부 파라미터를 제거한 상태의 픽셀좌표계인 정규 이미지 좌표 상에서의 각 점들의 좌표가 필요하게 된다.

그래서, 상기 픽셀 좌표 변환 단계(S600) 이후에 하기의 수식을 사용하여 카메라(200)의 특성인 내부 파라미터를 제거한 정규 이미지 평면상의 좌표로 변환하는 정규 좌표 변환 단계(S700)를 더 수행하게 된다.

수식 :

,

( p : 픽셀좌표, p' : 정규 이미지상의 픽셀좌표 )

이렇게 상기 정규 좌표 변환 단계(S700)를 거치게 되면, 카메라(200)를 교체하거나, 내부 파라미터를 변경하더라도 이전단계를 다시 수행하지 않더라도 2차원 영상에 정확하게 굴삭기(100)의 작업반경을 표시할 수 있게 된다.

이상에서 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 않으며, 본 발명의 실시 예와 실질적으로 균등한 범위에 있는 것까지 본 발명의 권리 범위가 미치는 것으로 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것이다.

100 : 굴삭기 110 : 하부 주행체
112 : 무한 궤도 바퀴 120 : 상부 선회체
130 : 암 200 : 카메라

Claims

머신가이던스로부터 굴삭기의 최대 작업반경과 중심위치의 좌표를 수신하는 위치 수신 단계와,
굴삭기의 최대 작업반경, 최대 작업반경의 2/3, 최대 작업반경의 1/3 지점을 나타내는 점의 위치 좌표를 계산하는 점의 위치 계산 단계와,
굴삭기에 설치된 카메라를 기준으로 상기 각 점의 위치 좌표를 변환하는 카메라 좌표 변환 단계와,
각 점들의 3차원 카메라 좌표를 상기 카메라에서 촬영한 2차원 영상의 픽셀 상의 좌표로 변환하는 픽셀 좌표 변환 단계와,
2차원 좌표로 변환된 각 점을 카메라에서 촬영한 영상에 매핑시키는 매핑단계로 이루어지는 것을 특징으로 하는 굴삭기 작업반경 표시 방법.
제1항에 있어서,
상기 점의 위치 계산 단계 이후에는 상기 머신가이던스로부터 수신한 굴삭기의 자세정보를 반영하여 점의 위치 좌표를 변환하는 자세 보정 단계가 더 포함되는 것을 특징으로 하는 굴삭기 작업반경 표시 방법.
제1항에 있어서,
상기 카메라 좌표 변환 단계는 굴삭기의 중심점을 기준으로 카메라의 설치위치까지의 offset을 통하여 카메라의 좌표를 계산하는 카메라 위치 계산 단계와,
카메라의 위치 좌표와 카메라의 기울어진 기울기를 고려하여 하기의 수식으로 각 점들의 위치를 카메라를 기준으로 한 좌표로 변환하는 카메라 기준 좌표 변환 단계로 이루어지는 것을 특징으로 하는 굴삭기 작업반경 표시 방법.
수식 :

: 카메라의 월드좌표 상의 위치 좌표

t : tilt(카메라 상하 회전각, pitch), p : pan(카메라 좌우 회전각,roll)
제3항에 있어서,
상기 픽셀 좌표 변환 단계는 상기 카메라 좌표 변환 단계에서 도출된 각 점의 3차원 좌표를 하기의 수식을 통하여 카메라로 촬영한 영상의 2차원 좌표인 픽셀좌표로 변환하는 것을 특징으로 하는 굴삭기 작업반경 표시 방법.
수식 :

( fx : x축 픽셀좌표 초점거리, fy : y축 픽셀좌표 초점거리, Cx : x축 픽셀좌표 주점거리, Cy : y축 픽셀좌표 주점거리 )
(
: 비대칭 계수로서, 시중에 존재하는 카메라는 비대칭에 대한 오차가 없기 때문에 0으로 계상해도 무방함.)
제4항에 있어서,
상기 픽셀 좌표 변환 단계 이후에 하기의 수식을 사용하여 카메라의 특성인 내부 파라미터를 제거한 정규 이미지 평면상의 좌표로 변환하는 정규 좌표 변환 단계를 더 수행하는 것을 특징으로 하는 굴삭기 작업반경 표시 방법.
수식 :

,
( p : 픽셀좌표, p' : 정규 이미지상의 픽셀좌표 )