KR20230017724A - 건설기계의 제어 시스템 및 방법 - Google Patents

Abstract

건설기계의 제어 시스템은 후방 차체의 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라, 상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치되어 상기 전방 차체 전방을 촬상하는 하부 카메라, 상기 후방 차체에 대한 상기 전방 차체의 굴절 각도 정보를 검출하기 위한 각도 정보 검출부, 상기 상부 카메라 및 상기 하부 카메라로부터 촬상한 제1 및 제2 영상들을 하나의 영상으로 합성하되, 상기 각도 정보 검출부로부터 획득한 상기 굴절 각도 정보에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 설정하기 위한 영상 처리 장치, 및 상기 영상 처리 장치에서 합성된 합성 영상을 표시하기 위한 표시 장치를 포함한다.

Description

건설기계의 제어 시스템 및 방법{SYSTEM AND METHOD OF CONTROLLING CONSTRUCTION MACHINERY}

본 발명은 건설기계의 제어 시스템 및 방법에 관한 것이다. 보다 상세하게는, 휠 로더, 굴삭기 등과 같은 건설기계의 작업 또는 주행 시에 전방 장애물을 인지하기 위한 제어 시스템 및 이를 이용한 건설기계의 제어 방법에 관한 것이다.

굴삭기, 휠 로더 등과 같은 건설기계는 건설 현장에서, 흙, 모래 등과 같은 적재물을 굴삭하여 운반하고 덤프 트럭과 같은 화물 차량에 로딩하는 작업 등을 수행하는 데 널리 사용되고 있다. 이러한 작업들은 버켓 및 붐과 같이 건설기계에 설치된 작업장치의 구동에 의해 수행된다. 하지만, 상기 작업장치는 구동 또는 주행 중에 작업자의 전방 시야를 가리거나 제한시킬 수 있고, 상술한 바와 같은 작업장치에 의한 작업자의 전방 시야 방해는 안전사고를 발생시키는 원인이 될 수 있다.

본 발명의 일 과제는 작업장치에 의해 제한된 전방 시야를 개선할 수 있는 건설기계의 제어 시스템을 제공하는 데 있다.

본 발명의 다른 과제는 상술한 제어 시스템을 이용한 건설기계의 제어 방법을 제공하는 데 있다.

상기 본 발명의 일 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 시스템은 후방 차체의 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라, 상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치되어 상기 전방 차체 전방을 촬상하는 하부 카메라, 상기 후방 차체에 대한 상기 전방 차체의 굴절 각도 정보를 검출하기 위한 각도 정보 검출부, 상기 상부 카메라 및 상기 하부 카메라로부터 촬상한 제1 및 제2 영상들을 하나의 영상으로 합성하되, 상기 각도 정보 검출부로부터 획득한 상기 굴절 각도 정보에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 설정하기 위한 영상 처리 장치, 및 상기 영상 처리 장치에서 합성된 합성 영상을 표시하기 위한 표시 장치를 포함한다.

예시적인 실시예들에 있어서, 상기 영상 처리 장치는 상기 각도 정보 검출부로부터 획득한 상기 굴절 각도 정보로부터 상기 전방 차체의 조향 힌지 각도를 결정하는 조향 각도 산출부, 및 상기 결정된 조향 힌지 각도에 따라 상기 합성된 영상에서의 상기 투명화 처리 영역의 위치를 결정하는 투명화 처리부를 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 조향 각도 산출부는 상기 각도 정보 검출부로부터 획득한 검출값을 상기 전방 차체의 조향 힌지 각도값으로 환산할 수 있다.

예시적인 실시예들에 있어서, 상기 각도 정보 검출부는 센터 핀 각도 센서, 조향 실린더 변위 센서 또는 자이로 센서를 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 건설기계의 제어 시스템은 상기 전방 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부를 더 포함하고, 상기 영상 처리 장치는 상기 작업장치 자세 검출부에 의해 검출된 상기 전방 작업장치의 자세에 따라 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 장치는 상기 전방 작업장치의 적어도 일부가 기 설정된 위치를 침범할 때 상기 투명화 처리 영역에서 상기 제1 영상을 투명화하고, 상기 전방 작업장치가 상기 기 설정된 위치를 침범하지 않을 때 상기 투명화 처리 영역에서 상기 제2 영상을 투명화할 수 있다.

예시적인 실시예들에 있어서, 상기 건설기계의 제어 시스템은 상기 영상 처리 장치에서의 영상 처리 조건을 설정하기 위한 입력부를 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 장치는, 상기 투명화 처리 영역에서 상기 제1 영상 또는 상기 제2 영상에서 촬상되고 투명화된 붐이나 버켓 외관의 아웃라인을 선 또는 점선 등으로 표시되도록 처리할 수 있다.

예시적인 실시예들에 있어서, 상기 투명화된 붐이나 버켓의 아웃라인은 실제 제1 영상 또는 제2 영상에서 촬상된 붐이나 버켓 이미지를 투명화 처리하여 표시될 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 장치는, 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들 중에서 상기 전방 차체에 결합된 붐이나 버켓 영상을 선택적으로 투명화 처리할 수 있다.

예시적인 실시예들에 있어서, 상기 합성 영상은 상기 영상 처리 장치가 상기 제1 영상 및 상기 제2 영상 내에서 인식한 객체를 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 장치는 사전에 결정된 알고리즘을 통해 사람, 동물, 건물 또는 장비를 객체로 인식할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 장치는 상기 제1 및 제2 영상들 중 어느 하나로부터 크롭 영상을 추출하고 상기 제1 및 제2 영상들 중 다른 하나의 영상 내의 일부 영역을 투명화하고 상기 투명화된 영역에 상기 추출된 크롭 영상을 합성하여 상기 투명화 처리된 영상을 생성할 수 있다.

예시적인 실시예들에 있어서, 상기 투명화된 일부 영역은 상기 투명화 처리 영역일 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 장치는 상기 제1 영상의 일부를 제1 합성 영역으로 설정하고 상기 제2 영상의 일부를 제2 합성 영역으로 설정하고, 상기 제2 영상의 상기 제2 합성 영역을 반투명 처리하고, 상기 반투명 처리된 제2 합성 영역을 상기 제1 영상의 상기 제1 합성 영역에 합성하여 상기 합성된 합성 영상을 만들 수 있다.

상기 본 발명의 다른 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 방법에 있어서, 후방 차체의 운전실 상에 설치된 상부 카메라로부터 상기 운전실 전방의 제1 영상을 획득한다. 상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치된 하부 카메라로부터 상기 전방 차체 전방의 제2 영상을 획득한다. 상기 후방 차체에 대한 상기 전방 차체의 굴절 각도 정보를 획득한다. 상기 제1 및 제2 영상들을 하나의 영상으로 합성한다. 상기 획득한 전방 차체의 굴절 각도 정보에 따라 상기 합성된 영상에서 투명화 처리 영역의 위치를 설정한다. 상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리한다. 상기 투명화 처리된 영상을 표시 장치를 통해 표시한다.

예시적인 실시예들에 있어서, 상기 획득한 전방 차체의 굴절 각도 정보에 따라 상기 투명화 처리 영역의 위치를 설정하는 것은, 상기 굴절 각도 정보로부터 상기 전방 차체의 조향 힌지 각도를 결정하고, 그리고 상기 조향 힌지 각도에 따라 상기 합성된 영상에서 투명화 처리 영역의 위치를 결정하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 굴절 각도 정보로부터 상기 전방 차체의 조향 힌지 각도를 결정하는 것은 상기 굴절 각도 검출값을 상기 전방 차체의 조향 힌지 각도값으로 환산할 수 있다.

예시적인 실시예들에 있어서, 상기 후방 차체에 대한 상기 전방 차체의 굴절 각도를 정보를 획득하는 것은 굴절 각도 검출 센서를 이용하는 것을 포함하고, 상기 굴절 각도 검출 센서는 센터 핀 각도 센서, 조향 실린더 변위 센서 또는 자이로 센서를 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 건설기계의 제어 방법은 상기 전방 작업장치의 자세를 검출하는 것을 더 포함하고, 상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 것은 상기 검출된 전방 작업장치의 자세에 따라 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 건설기계의 제어 방법은 상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정하는 것을 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적을 포함할 수 있다.

상기 본 발명의 다른 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 방법에 있어서, 후방 차체의 운전실 상에 설치된 상부 카메라로부터 상기 운전실 전방의 제1 영상을 획득한다. 상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치된 하부 카메라로부터 상기 전방 차체 전방의 제2 영상을 획득한다. 상기 후방 차체에 대한 상기 전방 차체의 굴절 각도 정보를 획득한다. 상기 획득한 전방 차체의 굴절 각도 정보에 따라 상기 제1 영상에서 투명화 처리 영역의 위치를 설정한다. 상기 제2 영상에서 상기 투명화 처리 영역에 해당하는 일부 영역을 크롭 영역으로 설정하여 크롭 영상을 추출한다. 상기 제1 영상의 상기 투명화 처리 영역의 투명도를 조절한다. 상기 제2 영상에서 추출된 크롭 영상을 상기 제1 영상의 상기 투명 처리 영역에 합성한다. 상기 합성된 영상을 표시 장치를 통해 표시한다.

예시적인 실시예들에 있어서, 상기 추출된 크롭 영상을 상기 제1 영상의 상기 투명 처리 영역에 합성하는 것은, 상기 제2 영상에서 추출된 크롭 영상을 확대하고, 그리고 상기 확대된 크롭 영상을 상기 제1 영상의 상기 투명화 처리 영역에 합성하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 제1 영상의 상기 투명화 처리 영역의 투명도를 조절하는 것은 상기 제1 영상의 투명화 처리 영역 내에서 붐이나 버켓 외관의 아웃라인을 선 또는 점선으로 표시하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 건설기계의 제어 방법은, 상기 합성된 영상에서 사전에 결정된 알고리즘을 통해 사람, 동물, 건물 또는 장비를 객체로 인식하는 것을 더 포함할 수 있다.

예시적인 실시예들에 따르면, 건설기계의 제어 시스템은 운전실 상에 설치된 상부 카메라 및 전방 차체 상에 설치된 하부 카메라로부터 촬상된 제1 영상 및 제2 영상을 하나의 영상으로 합성하고, 상기 전방 차체의 조향 힌지 각도에 따라 상기 합성된 영상에서 투명화 처리 영역의 위치를 결정하고, 상기 전방 차체에 연결된 버켓 또는 붐의 위치에 따라 상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고, 상기 투명화 처리된 영상을 표시 장치를 통해 표시할 수 있다.

즉, 상기 전방 차체의 조향 힌지 각도에 정합되도록 상기 합성된 영상에서의 투명화 처리 영역의 위치를 결정하고, 상기 버켓의 위치와 같은 작업장치의 자세에 따라 상기 투명화 처리 영역에서 상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나의 영상을 투명화 처리함으로써 건설기계의 조향 시에도 전방 작업장치에 의해 전방 시야가 가려지는 사각 지대를 제거할 수 있다. 이에 따라, 작업자의 인지력을 증가시켜 안정성을 확보하여 안전 사고를 미연에 방지할 수 있다.

또한, 작업자의 선택에 따라 투명화 처리 영역이 설정될 수 있어 투명화 처리된 영상의 활용에 자유도를 향상시키고, 효율적인 시스템 구성이 가능할 수 있다.

다만, 본 발명의 효과는 상기 언급한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.

도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다.
도 2는 도 1의 붐의 회전 각도에 따른 버켓 상승 위치를 나타내는 측면도이다.
도 3은 도 1의 건설기계의 직진 주행 및 좌측 선회 시의 상부 카메라와 하부 카메라의 수평 시야각들을 나타내는 평면도이다.
도 4는 도 1의 건설기계의 제어 시스템을 나타내는 블록도이다.
도 5는 도 4의 영상 처리 장치를 나타내는 블록도이다.
도 6은 상부 카메라를 통해 촬상한 제1 영상을 나타내는 도면이다.
도 7은 하부 카메라를 통해 촬상된 제2 영상을 나타내는 도면이다.
도 8은 도 5의 영상 처리 장치에 의해 도 6의 제1 영상 및 도 7의 제2 영상이 합성된 영상을 나타내는 도면이다.
도 9은 예시적인 실시예들에 따른 휠 로더의 제어 방법을 나타내는 순서도이다.
도 10은 도 3에서 건설기계의 직진 주행 시(A 상태) 상부 카메라에 의해 촬상된 제1 영상이 운전실 내의 표시 장치에 표시되는 화면을 나타내는 도면이다.
도 11은 도 3에서 건설기계의 좌측 조향 시(B 상태) 상부 카메라에 의해 촬상된 제1 영상이 운전실 내의 표시 장치에 표시되는 화면을 나타내는 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하고자 한다.

본 발명의 각 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

본 발명에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다.

즉, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다. 도 1에는 휠 로더(10)가 도시되어 있으나 이로 인하여 예시적인 실시예들에 따른 건설기계의 제어 장치가 휠 로더에서만 이용되는 것으로 한정되는 것은 아니며, 다양한 산업용 차량 등에도 적용될 수 있다. 이하에서는 설명의 편의를 위해, 휠 로더(10)에 대해서만 기술하기로 한다.

도 1을 참조하면, 건설기계(10)는 차체(12, 14), 운전실(40), 및 전방 작업장치를 포함할 수 있다. 도 1의 휠 로더(10)를 예로 들면, 차체(12, 14)는 서로 회전 가능하게 연결된 전방 차체(12) 및 후방 차체(14)를 포함할 수 있다. 전방 차체(12)는 전방 작업장치 및 전방 휠(70)을 포함할 수 있다. 후방 차체(14)는 운전실(40), 엔진룸(50) 및 후방 휠(72)을 포함할 수 있다.

상기 전방 작업장치는 붐(20) 및 버켓(30)을 포함할 수 있다. 붐(20)은 전방 차체(12)에 회전 가능하도록 연결되고 버켓(30)은 붐(20)의 일단부에 회전 가능하도록 연결될 수 있다. 붐(20)은 전방 차체(12)에 한 쌍의 붐 실린더들(22)에 의해 연결되고, 붐(20)은 붐 실린더(22)의 구동에 의해 상하 방향으로 회전할 수 있다. 틸트 암(34)은 붐(20)의 거의 중심부 상에서 자유롭게 회전 가능하도록 연결되고, 틸트 암(34)의 일단부와 전방 차체(12)는 한 쌍의 버켓 실린더들(32)에 의해 연결되고, 틸트 암(34)의 타단부에 틸트 로드에 의해 연결된 버켓(30)은 버켓 실린더(32)의 구동에 의해 상하 방향으로 회전(덤프 또는 크라우드)할 수 있다.

또한, 전방 차체(12)와 후방 차체(14)는 센터 핀(16)에 의해 서로 회전 가능하게 연결되고, 조향 실린더(도시되지 않음)의 신축에 의해 전방 차체(12)가 후방 차체(14)에 대하여 좌우로 굴절될 수 있다.

후방 차체(14)에는 휠 로더(10)를 주행시키기 위한 주행 장치가 탑재될 수 있다. 엔진(도시되지 않음)은 상기 엔진룸 내에 배치되고 상기 주행 장치에 파워 출력을 공급할 수 있다. 상기 주행 장치는 토크 컨버터, 트랜스미션, 프로펠러 샤프트, 액슬 등을 포함할 수 있다. 상기 엔진의 파워 출력은 상기 토크 컨버터, 상기 트랜스미션, 상기 프로펠러 샤프트 및 상기 액슬 통해 전방 휠(70) 및 상기 후방 휠(72)로 전달되어 휠 로더(10)가 주행하게 된다.

후방 차체(14)에는 상기 작업장치의 붐 실린더(22) 및 버켓 실린더(32)에 압유를 공급하기 위한 유압 펌프(도시되지 않음)가 탑재될 수 있다. 상기 유압 펌프는 상기 엔진으로부터의 파워 출력의 일부를 사용하여 구동될 수 있다. 예를 들면, 상기 엔진의 출력은, 상기 엔진과 연결된 기어 트레인과 같은 동력전달장치를 통해서 상기 작업장치용 유압 펌프와 스티어링용의 유압 펌프를 구동시킬 수 있다.

상기 유압 펌프는 작동유를 공급하여 상기 작업장치를 구동시킬 수 있으며, 가변 용량형 및 정 용량형으로 구분될 수 있다. 상기 가변 용량형 유압 펌프에는 펌프 제어장치가 연결되고, 상기 펌프 제어장치에 의해 상기 가변 용량형 유압 펌프의 토출 유량이 제어될 수 있다. 상기 유압 펌프는 소정의 유압 회로를 통해 붐 제어 밸브와 버켓 제어 밸브를 포함하는 메인 제어 밸브(MCV)와 연결될 수 있다. 상기 유압 펌프의 토출유는 메인 제어 밸브(MCV)의 상기 붐 제어 밸브 및 상기 버켓 제어 밸브를 통해 붐 실린더(22) 및 버켓 실린더(32)에 공급될 수 있다. 메인 제어 밸브(MCV)는 상기 조작 레버의 조작에 따라 입력된 파일럿 압력 신호에 따라 상기 유압 펌프로부터 토출된 작동유를 붐 실린더(22) 및 버켓 실린더(32)로 공급할 수 있다. 이에 따라, 붐(20)과 버켓(30)은 상기 유압 펌프로부터 토출된 작동유의 유압에 의해 구동될 수 있다.

운전실(40)는 상기 건설기계의 차체에 설치되며, 휠 로더의 경우에는 후방 차체(14)의 상부에 설치될 수 있다. 운전실(40) 내에는 운전 조작 장치가 구비될 수 있다. 상기 운전 조작 장치는 주행 페달, 브레이크 페달, FNR 주행 레버, 붐 실린더(22)와 버켓 실린더(32)와 같은 작업 실린더들을 작동시키기 위한 조작 레버들, 및 상기 조향 실린더를 작동시키기 위한 스티어링 휠과 같은 조향 장치를 포함할 수 있다.

상술한 바와 같이, 휠 로더(10)는 상기 엔진의 출력을 동력전달장치를 통해 상기 주행 장치를 구동시키기 위한 주행 시스템과 붐(20)과 버켓(30)과 같은 전방 작업장치를 구동시키기 위한 유압 장치계를 포함할 수 있다.

이하에서는, 상기 건설기계의 제어 시스템에 대하여 휠 로더를 예로 들어 설명하기로 한다.

도 2는 도 1의 붐의 회전 각도에 따른 버켓 상승 위치를 나타내는 측면도이다. 도 3은 도 1의 건설기계의 직진 주행 및 좌측 선회 시의 상부 카메라와 하부 카메라의 수평 시야각들을 나타내는 평면도이다. 도 4는 도 1의 건설기계의 제어 시스템을 나타내는 블록도이다. 도 5는 도 4의 영상 처리 장치를 나타내는 블록도이다. 도 6은 상부 카메라를 통해 촬상한 제1 영상을 나타내는 도면이다. 도 7은 하부 카메라를 통해 촬상된 제2 영상을 나타내는 도면이다. 도 8은 도 5의 영상 처리 장치에 의해 도 6의 제1 영상 및 도 7의 제2 영상이 합성된 영상을 나타내는 도면이다.도 1 내지 도 8을를 참조하면, 상기 휠 로더의 제어 시스템은 휠 로더(10)에 장착되어 휠 로더(10)의 전방을 촬상하기 위한 카메라부(100), 후방 차체(14)에 대한 전방 차체(12)의 굴절 각도 정보를 획득하기 위한 각도 정보 검출부(150), 카메라부(100)로부터의 영상을 실시간으로 처리하기 위한 영상 처리 장치(200), 및 영상 처리 장치(200)에 처리된 영상을 표시하기 위한 표시 장치(300)를 포함할 수 있다. 또한, 상기 휠 로더의 제어 시스템은 전방 차체(12)에 연결된 전방 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부 및 영상 처리 장치(200)에서의 영상 처리 조건을 설정하기 위한 입력부(400)를 더 포함할 수 있다.

휠 로더(10)의 영상 처리 장치(200)는 엔진 제어 장치(ECU) 또는 차량 제어장치(VCU)의 일부 또는 별도의 컨트롤러로서 후방 차체(14)에 탑재될 수 있다. 영상 처리 장치(200)는 여기서 설명되는 기능들을 수행하기 위한 지정된 하드웨어, 소프트웨어 및 회로를 포함할 수 있다. 이러한 구성 요소들은 로직 회로, 마이크로프로세서, 메모리 장치들 등과 같은 전기적 회로들에 의해 물리적으로 수행될 수 있다.

예시적인 실시예들에 있어서, 카메라부(100)는 휠 로더(10)가 주행하거나 작업 시 휠 로더(10)의 전방을 감시하기 위한 것으로, 복수 개의 카메라들을 포함할 수 있다. 구체적으로, 카메라부(100)는 운전실(40) 상부에 설치되어 운전실(40) 전방을 촬상하여 제1 영상(IM1)을 획득하기 위한 상부 카메라(110) 및 전방 차체(12) 상에 설치되어 전방 차체(12) 전방을 촬상하여 제2 영상(IM2)을 획득하기 위한 하부 카메라(120)를 포함할 수 있다. 예를 들면, 상기 상부 카메라 및 상기 하부 카메라는 어안 렌즈(fisheye lens)를 구비하는 어안 카메라일 수 있다. 도 1 및 도 2에는 하나의 상부 카메라 및 하나의 하부 카메라가 도시되어 있으나, 이에 제한되지 않으며, 복수 개의 상부 카메라들 및 복수 개의 하부 카메라들이 구비될 수 있다.

상부 카메라(110)는 휠 로더 전방 방향을 기준으로 제1 수직 시야각(Field of View, FoV)(θv1) 및 제1 수평 시야각(θh1)을 가질 수 있다. 예를 들면, 상기 제1 수직 시야각 및 상기 제1 수평 시야각은 60도 내지 120도의 각도 범위를 가질 수 있다. 하부 카메라(120)는 제2 수직 시야각(θv2) 및 제2 수평 시야각(θh2)을 가질 수 있다. 예를 들면, 상기 제2 수직 시야각 및 상기 제2 수평 시야각은 60도 내지 120도의 각도 범위를 가질 수 있다.

상기 제1 영상은 상부 카메라(110)를 통해 전방 상부를 초점으로 촬상한 영상이고, 상기 제2 영상은 하부 카메라(120)를 통해 전방 하부를 초점으로 촬상한 영상일 수 있다.

상부 카메라(110)의 제1 수직 시야각(θv1) 및 하부 카메라(120)의 제2 수직 시야각(θv2)이 일부 중첩되고 상부 카메라(110)의 제1 수평 시야각(θh1) 및 하부 카메라(120)의 제2 수평 시야각(θh2)이 일부 중첩되도록 설정하여, 상기 제1 영상 및 제2 영상이 서로 부분적으로 중복될 수 있다.

예시적인 실시예들에 있어서, 상부 카메라(110)는 센터 핀(16)의 중심축(조향 중심축)과 일치되거나 후방에 설치되고, 하부 카메라(120)는 센터 핀(16)의 중심축으로부터 전방에 설치될 수 있다.

상부 카메라(110) 및 하부 카메라(120)는 상기 조향 중심축에 대하여 서로 다른 위치에 설치되므로, 도 3에 도시된 바와 같이, 전방 차체(12)의 좌측(또는 우측) 굴절 시에 상부 카메라(110)가 바라보는 방향과 하부 카메라(120)가 바라보는 방향이 서로 달라지게 된다. 후술하는 바와 같이, 영상 처리 장치(200)는 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성하되, 상기 합성된 영상에서 제1 영상(IM1) 및 제2 영상(IM2) 중에서 적어도 어느 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 휠 로더(10)의 조향 힌지 각도(steering hinge angle)(θs)에 정합되도록 영상을 처리할 수 있다.

예시적인 실시예들에 있어서, 상기 작업장치 자세 검출부는 상기 전방 작업장치가 표시 장치(300)의 표시 영역 내의 상기 투명화 처리 영역을 침범하는 지 여부를 검출할 수 있다. 후술하는 바와 같이, 촬영된 영상의 투명화 처리는 기 설정된 위치(조향 힌지 각도에 정합된 위치), 즉, 표시 장치(300)의 전체 표시 영역 중 기 설정된 투명화 처리 영역에 해당되는 실제 위치를 상기 전방 작업장치가 침범할 때 수행되어 작업자의 시야를 확보할 수 있다. 상기 전방 작업장치의 자세는 버켓(30)의 위치(지면으로부터의 버켓의 높이) 또는 붐(20)의 자세(붐의 회전 각도)가 포함될 수 있다. 이를 위해 상기 작업장치 자세 검출부는 버켓(30)의 위치 또는 붐(20)의 자세를 검출하기 위한 붐 각도 센서(24)를 포함할 수 있다. 아울러, 붐(20)과 버켓(30)의 상대 회전각을 검출하기 위한 버켓 각도 센서(도시되지 않음)를 포함할 수 있다. 붐 각도 센서(24)를 대신하여 붐(20)을 구동시키는 실린더의 스트로크를 검출하는 변위 센서를 포함할 수 있다.

또한, 상기 작업장치 자세 검출부는 카메라를 통해 촬상된 상기 전방 작업장치의 이미지를 분석하여 상기 전방 작업장치의 자세를 판단하는 이미지 분석 장치(예를 들면, 형상 인식부)를 포함할 수 있다.

붐 각도 센서(24)는 붐(20)의 회전 각도를 검출하고 이에 기초하여 버켓(30)의 위치에 대한 정보를 제공할 수 있다. 도 2에 도시된 바와 같이, 붐(20)의 회전 각도는 붐(20)(버켓(30))의 최저 위치(0%)에서의 연장선(L)과 붐(20)의 연장선(R) 사이의 각도(θ)일 수 있다. 붐(20)의 최고 위치(max boom height)에서 붐(20)의 회전 각도는 θmax.height이고, 이 때, 붐(버켓) 위치는 최대 높이(100%)일 수 있다.

예시적인 실시예들에 있어서, 각도 정보 검출부(150)는 조향 장치에 의한 후방 차체(14)에 대한 전방 차체(12)의 굴절 각도 정보를 검출하기 위한 센서를 포함할 수 있다. 상기 센서로부터의 검출값은 CAN 네트워크를 통해 영상 처리 장치(200)로 송신될 수 있다.

예를 들면, 각도 정보 검출부(150)는 센터 핀 각도 센서, 조향 실린더 변위 센서 또는 자이로 센서를 포함할 수 있다. 상기 센터 핀 각도 센서는 전방 차체(12)와 후방 차체(14)를 연결하는 센터 핀(16)에 설치되어 전방 차체(12)의 조향 힌지 각도를 검출할 수 있다. 상기 조향 실린더 변위 센서는 상기 조향 실린더 내부의 실린더의 스트로크(stroke)를 검출하기 위한 스트로크 센서를 포함할 수 있다. 상기 자이로 센서는 전방 차체(12) 및 후방 차체(14)에 각각 설치되며 6축 이상의 절대 각도를 인식할 수 있는 제1 센서 및 제2 센서를 포함하여 상기 제1 및 제2 센서들 사이의 상대 각도를 검출함으로써 상기 조향 힌지 각도를 인식할 수 있다.

예시적인 실시예들에 있어서, 영상 처리 장치(200)는 상부 카메라(110) 및 하부 카메라(120)로부터 촬상한 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성하되, 각도 정보 검출부(150)로부터 획득한 전방 차체(12)의 조향 힌지 각도(θs)를 결정하고 상기 조향 힌지 각도에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 설정할 수 있다. 영상 처리 장치(200)는 조향 각도 산출부(210), 영상 합성부(220), 투명화 처리부(230), 이미지 렌더링부(240) 및 저장부(250)를 포함할 수 있다. 영상 처리 장치(200)는 건설기계의 제어 장치 또는 디스플레이 장치에 내장된 제어 장치의 형태로 설치될 수 있다.

구체적으로, 조향 각도 산출부(210)는 각도 정보 검출부(150)로부터 검출한 상기 굴절 각도 정보로부터 전방 차체(12)의 조향 힌지 각도(θs)를 결정할 수 있다. 조향 각도 산출부(210)는 각도 정보 검출부(150)로부터의 검출값을 저장부(250)에 저장된 변환 테이블을 이용하여 상기 조향 힌지 각도로 환산할 수 있다.

영상 합성부(220)는 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성할 수 있다. 영상 합성부(220)는 상부 카메라(110) 및 하부 카메라(120)를 통해 촬상한 상기 제1 영상 및 상기 제2 영상에서 중복되는 영상을 매칭하여 하나의 영상으로 합성할 수 있다. 투명화 처리부(220)는 상기 투명화 처리 영역에서 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리할 수 있다. 이미지 렌더링부(230)는 상기 영상 처리된 합성 영상을 3차원 이미지로 렌더링(rendering)할 수 있다. 이미지 렌더링부(230)는 상기 합성 영상을 실사와 같이 표시되도록 영상 처리하여 표시 장치(300)로 출력할 수 있다. 영상 합성부(220), 투명화 처리부(230) 및 이미지 렌더링부(240)의 기능은 영상처리를 위한 GP, CPU와 같은 단일의 프로세서 또는 각각 별도의 프로세서의 전산 처리를 통해 구현될 수 있다.

예시적인 실시예들에 있어서, 투명화 처리부(230)는 상기 검출된 작업 장치의 자세에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 어느 하나의 영상을 투명화 처리를 수행할 수 있다. 투명화 처리부(220)는 상기 제1 및 제2 영상들 중 적어도 어느 하나를 표시 장치(300)의 전체 표시 영역 중에서 일부 영역인 상기 투명화 처리 영역에서만 투명화되도록 영상 처리할 수 있다. 상기 투명화 처리 영역은 승하강하는 붐(20) 및 버켓(30)을 포함한 상기 전방 작업장치에 의해 전방 시야가 가려지는 영역을 포함하도록 정의될 수 있다.

상기 투명화 처리는 상기 합성된 영상의 상기 투명화 처리 영역 내에서 상기 제1 영상 또는 상기 제2 영상을 제거 또는 반투명하게 처리하여 배경 영상과 중첩되도록 하거나 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 형태만을 식별 가능하도록 할 수 있다. 예를 들면, 알파 블렌딩(Alpha Blending) 기법 등을 이용하여 상기 투명화 처리 영역 내의 상기 제1 영상 또는 상기 제2 영상을 합성된 영상에서 제거시킬 수 있다.

예시적인 실시예들에 있어서, 투명화 처리부(220)는 상기 전방 작업장치의 적어도 일부가 상기 투명화 처리 영역에 대응되는 위치를 침범하는 것에 대응하여 투명화 처리를 할 수 있다. 예를 들면, 상기 전방 작업장치의 적어도 일부가 상기 투명화 처리 영역을 침범하지 않은 것으로 판단될 수 있는 상기 버켓 또는 붐 위치가 기 설정된 위치(투명화 전환 위치)보다 낮을 때 상기 합성된 영상에서 상기 제2 영상을 투명화할 수 있다. 아울러, 상기 전방 작업장치가 상기 투명화 처리 영역을 침범한 것으로 판정될 수 있는 상기 버켓 또는 상기 붐 위치가 기 설정된 위치(투명화 전환 위치)보다 높은 상태일 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 예를 들면, 상기 기 설정된 붐의 위치는 붐(20)의 회전 각도(θ)가 15도 내지 20도 범위 이내에 있도록 설정될 수 있다.

버켓(30)이 최저 위치(0%)에서부터 상기 기 설정된 버켓 위치, 즉, 상기 투명화 처리 영역의 경계인 투명화 전환 위치 사이에 있을 때 하부 카메라(120)로부터 촬상된 상기 제2 영상을 투명화 처리함으로써, 상부 카메라(110)로 구현되는 피사체가 중점이 되도록 표시될 수 있다. 버켓(30)이 상대적으로 낮은 위치에 있을 때 하부 카메라(120)로부터 촬상된 제2 영상에서는 붐(20) 및 버켓(30)을 포함한 상기 전방 작업장치에 의해 전방 차체(12) 전방 시야가 가려질 수 있다. 투명화 처리부(220)는 상기 제2 영상을 투명화 처리하고 상기 제1 영상을 중점으로 하여 표시함으로써 상기 전방 작업장치에 의해 시야가 가려지는 것을 방지할 수 있다.

버켓(30)이 상기 기 설정된 버켓 위치에서부터 상기 투명화 처리 영역의 최고 위치(100%) 사이에 있을 때, 상기 투명화 처리 영역 내에 배치되는 상부 카메라(110)로부터 촬상된 상기 제1 영상을 투명화 처리함으로써, 하부 카메라(120)로 구현되는 피사체가 중점이 되도록 표시될 수 있다. 버켓(30)이 상대적으로 높은 위치에 있을 때 상부 카메라(110)로부터 촬상된 제1 영상에서는 붐(20) 및 버켓(30)을 포함한 상기 전방 작업장치에 의해 운전실(40) 전방 시야가 가려질 수 있다. 투명화 처리부(220)는 상기 제1 영상을 투명화 처리하고 상기 제2 영상을 중점으로 하여 표시함으로써 상기 전방 작업장치에 의해 시야가 가려지는 것을 방지할 수 있다.

버켓(30)이 상승 또는 하강하여 상기 기 설정된 버켓 위치(투명화 전환 위치)를 지날 때, 투명화 처리부(220)에 의해 투명화 처리되는 상기 투명화 처리 영역 내에 위치하는 영상은 상기 제2 영상에서 상기 제1 영상으로 또는 상기 제1 영상에서 상기 제2 영상으로 전환될 수 있다.

이와 다르게, 투명화 처리부(220)는 상기 붐의 회전 각도(θ)가 제1 각도 범위에 있을 때 상기 합성된 영상에서 상기 제2 영상을 투명화하고, 상기 붐의 회전 각도(θ)가 제2 각도 범위에 있을 때 상기 합성된 영상의 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들을 투명화하고, 상기 붐의 회전 각도(θ)가 제3 각도 범위에 있을 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 예를 들면, 상기 제1 각도 범위는 0도 내지 15도의 범위 이내이고, 상기 제2 각도 범위는 15도 내지 25도의 범위 이내이고, 상기 제3 각도 범위는 25도 내지 45도 범위 이내에 있도록 설정될 수 있다.예시적인 실시예들에 있어서, 입력부(400)를 통해 영상 처리 장치(200)에서의 영상 처리 조건을 설정할 수 있다. 예를 들면, 상기 영상 처리 조건은 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적에 대한 것일 수 있다. 상기 투명화 처리 영역이 결정됨에 따라 상기 제1 및 제2 영상들의 투명화 전환 위치, 표시 장치(300)의 전체 표시 영역 중에서의 투명화 처리 영역 등이 설정될 수 있다. 예를 들면, 상기 투명화 전환 위치는 상기 투명화 처리 영역의 경계 위치를 의미할 수 있고, 버켓(30)이 이동하여 상기 투명화 처리 영역의 경계에 위치할 때 투명화 전환을 위한 기 설정된 위치에 버켓(30)이 위치한 것으로 간주할 수 있다. 상기 투명화 처리 영역의 면적 및 위치, 상기 투명화 전환 시점 등은 장비의 기종에 따라 제조사에서 고정되게 설정할 수 있고, 작업자 또는 정비 인원이 자유롭게 변경 설정할 수 있다.

예를 들면, 입력부(400)는 계기판 옵션 형태로 구현될 수 있으며, 작업자는 입력부(400)를 통해 상기 투명화 전환 시점, 상기 투명화 처리 영역 등을 변경할 수 있다.

상술한 바와 같이, 상기 투명화 처리 영역 및 상기 투명화 전환 시점이 설정되면, 표시 장치(300)는 상기 카메라부의 촬영 영상이 투명화 처리 되어 표시되는 투명화 처리 영역(R) 및 투명화 처리 영역(R)의 외부 영역으로 구분하여 영상을 디스플레이 할 수 있다. 표시 장치(300)는 투명화 처리 영역(R)의 구분이 가능하도록 투명화 처리 영역(R)의 외곽선을 부가적으로 표시할 수도 있고, 상기 외곽선 없이 투명화 처리에 따른 영상을 투명화 처리 영역(R)의 외부 영역의 영상과 연결하여 표시할 수 있다.

또한, 표시 장치(300)는 투명화 처리 영역(R)의 외부 영역에서 제 1 영상을 디스플레이 할 수 있고, 투명화 처리 영역(R)의 내부 영역에서 투명화 처리 진행에 따라 상기 제1 영상, 상기 제2 영상 또는 상기 제1 및 제2 영상들 중 적어도 어느 하나가 중점으로 표시되는 투명화 영상을 디스플레이 할 수 있다.

예를 들면, 버켓(30)이 투명화 처리 영역(R)의 외부 영역에 위치할 때 표시 장치(300)는 투명화 처리 영역(R)과 투명화 처리 영역(R)의 외부 영역을 상호 연결하는 제1 영상만을 디스플레이 할 수 있다. 이와 다르게, 투명화 처리 영역(R)의 내부는 제1 영상이 중점으로 표시되는 투명화 영상이 디스플레이 될 수도 있다. 이 경우 작업자는 제1 영상이 중점으로 표시되는 투명화 영상으로 인해 표시 장치(300)가 전체적으로 제1 영상을 디스플레이 하는 것으로 인지할 수도 있다. 또한, 버켓(30)의 적어도 일부가 투명화 처리 영역(R) 내부에 위치할 때 표시 장치(300)는 투명화 처리 영역(R) 내부는 제2 영상이 중점으로 표시되는 투명화 처리 영상 또는 제2 영상을 디스플레이하고, 투명화 처리 영역(R)의 외부 영역은 투명화 처리 영역(R) 내의 영상만이 제외된 제1 영상을 디스플레이 할 수 있다.

예시적인 실시예들에 있어서, 투명화 처리부(230)는 각도 정보 검출부(150)로부터 획득한 상기 전방 차체의 상기 굴절 각도 정보에 따라 상기 합성된 영상에서의 상기 투명화 처리 영역의 위치를 설정할 수 있다. 투명화 처리부(230)는 조향 각도 산출부(210)에 의해 산출된 상기 전방 차체의 조향 힌지 각도(steering hinge angle)(θs)에 따라 상기 투명화 처리 영역의 위치를 조정할 수 있다.

상기 투명화 처리 영역의 위치는 상기 산출된 조향 힌지 각도를 추종하도록 조정될 수 있다. 조향 장치에 의해 상기 조향 실린더의 스트로크가 변화함에 따라 전방 차체(12)는 좌측(또는 우측)으로 굴절하게 되고, 이 때, 붐(20) 및 버켓(30)을 포함한 전방 작업장치가 최초 설정된 투명화 처리 영역을 벗어나게 됨으로써 전방 시야가 가려질 수 있다. 조향 실린더 변위 센서의 경우, 조향 각도 산출부(210)는 상기 조향 실린더의 스트로크값을 조향 힌지 각도로 환산할 수 있다. 투명화 처리부(230)는 상기 환산된 조향 힌지 각도를 추종하도록 상기 투명화 처리 영역의 위치를 자동으로 변경시킬 수 있다.도 6 내지 도 8에 도시된 바와 같이, 제1 영상(M1)의 투명화 처리 영역(R) 내에 붐 또는 버켓의 일부가 있을 경우, 상기 제1 영상을 기준으로 상기 제2 영상의 일부를 크롭(crop)한 후 상기 제2 영상의 크롭된 영상을 상기 제1 영상에 합성할 수 있다.

먼저, 상기 검출된 작업 장치의 자세(상기 붐 또는 버켓의 위치) 및 상기 전방 차체의 상기 굴절 각도 정보에 따라 투명화 처리 영역(R)의 위치를 설정할 수 있다. 도 6 내지 도 8에서는 설명의 편의를 위하여, 도 3에서 건설기계가 직진 주행 상태(A 상태)에 있을 때 상부 카메라 및 하부 카메라에 의해 촬상된 제1 영상 및 제2 영상 그리고 합성된 영상을 나타내고 있다. 이 경우에 있어서, 투명화 처리 영역(R)은 최초 위치, 예를 들면, 표시 장치 화면(300)의 중앙에 위치할 수 있다.

이후, 도 7에 도시된 바와 같이, 상기 제2 영상에서 상기 투명화 처리 영역에 해당하는 일부 영역을 크롭 영역(CR)으로 결정하고, 결정된 크롭 영역(CR)을 기준으로 크롭 영상을 추출할 수 있다. 이어서, 도 6의 상기 제1 영상의 투명화 처리 영역(R)에 해당하는 영역의 투명도를 조절할 수 있다. 상기 제1 영상의 투명화 처리 영역(R)의 투명도를 예를 들면, 180/255 수준으로 조정할 수 있다. 이 때, 상기 제2 영상으로부터 추출된 크롭 영상의 투명도를 조정하지 않을 수 있다.

이어서, 도 8에 도시된 바와 같이, 상기 제2 영상에서 추출된 크롭 영상을 상기 제1 영상의 투명화 처리 영역(R)에 합성할 수 있다. 이 때, 크롭 영역(CR)의 면적이 상기 제1 영상에서의 투명화 처리 영역(R)의 면적보다 작을 경우, 상기 크롭 영상을 확대하고 확대된 크롭 영상을 상기 제1 영상에 합성할 수 있다.

휠 로더 전방에 사람(O)이 있을 경우, 도 6의 상기 제1 영상에서는 붐 또는 버켓에 의해 가려져 사람(O)을 정확히 확인할 수 없지만, 도 7의 상기 제2 영상에서는 사람(O)을 확인할 수 있다. 도 7의 상기 제2 영상으로부터 추출된 크롭 영상에서는 사람(O)의 영상이 포함될 수 있다. 상기 크롭 영상의 상기 제1 영상의 투명화 처리 영역에 해당하는 영역으로 합성되므로, 도 8의 합성된 영상의 투명화 처리 영역에서는 도 7로부터 추출된 사람(O)의 영상을 확인할 수 있다. 이에 따라, 작업장치에 의해 제한된 전방 시야를 개선할 수 있다.

도 3에서 건설기계가 좌측 또는 우측 조향 상태에 있을 경우, 투명화 처리 영역(R)은 상기 전방 차체의 굴절 각도 정보에 따라 투명화 처리 영역(R)은 표시 장치 화면(300)의 좌측 또는 우측으로 이동될 수 있다. 이 경우에 있어서, 투명화 처리 영역(R)의 위치는 상기 굴절 각도 정보에 따라 좌측 또는 우측으로 이동되고, 이동된 투명화 처리 영역(R)에서 상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나의 영상이 투명화 처리될 수 있다.

예시적인 실시예들에 있어서, 영상 처리 장치(200)는 상기 제1 영상, 상기 제2 영상 및 상기 합성 영상에서 사람 또는 기타 객체(장비, 자동차 등)를 인식하고 상기 인식된 객체에 바운딩 박스(도 8의 D)와 같은 표기로 표시하거나 상기 인식된 객체의 아웃라인(outline) 등을 점선 등으로 표시할 수 있다.

영상 처리 장치(200)는 상기 영상에서의 실제 이미지와 저장부(250)에 저장된 객체의 학습 이미지를 비교하고, 상기 실제 이미지와 상기 객체의 이미지가 동일하면 상기 객체로 인식할 수 있다. 여기서, 상기 객체의 학습 이미지는 카메라에서 촬영한 다양한 형상들을 기계 학습하여 저장된 이미지들을 포함할 수 있다. 기계 학습(Machine Learning)은 인공 지능의 한 분야로 컴퓨터와 같은 처리 장치가 학습할 수 있도록 하는 알고리즘을 의미할 수 있다.

이하에서는, 도 4의 건설기계의 제어 시스템을 이용하여 건설기계를 제어하는 방법에 대하여 설명하기로 한다. 이하의 설명도 앞서 설명한 방법과 같이 휠 로더를 기준으로 설명하기로 한다.

도 9는 예시적인 실시예들에 따른 휠 로더의 제어 방법을 나타내는 순서도이다. 도 10은 도 3에서 건설기계의 직진 주행 시(A 상태) 상부 카메라에 의해 촬상된 제1 영상이 운전실 내의 표시 장치에 표시되는 화면을 나타내는 도면이다. 도 11은 도 3에서 건설기계의 좌측 조향 시(B 상태) 상부 카메라에 의해 촬상된 제1 영상이 운전실 내의 표시 장치에 표시되는 화면을 나타내는 도면이다.

도 1 내지 도 11을 참조하면, 먼저, 휠 로더(10)에 설치되는 상부 카메라(110) 및 하부 카메라(120)를 통해 제1 영상(IM1) 및 제2 영상(IM2)을 획득하고(S100), 후방 차체(14)에 대한 전방 차체(12)의 굴절 각도 정보를 획득할 수 있다(S110). 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성하고(S120), 상기 굴절 각도 정보에 따라 투명화 처리 영역의 위치를 설정할 수 있다(S130).

예시적인 실시예들에 있어서, 운전실(40) 상에 설치된 상부 카메라(110)를 이용하여 운전실(40)의 전방에 대한 제1 영상(IM1)을 획득할 수 있다. 전방 차체(12)에 설치된 하부 카메라(120)를 이용하여 전방 차체(12)의 전방에 대한 제2 영상(IM2)을 획득할 수 있다.

상기 제1 영상은 상부 카메라(110)를 통해 전방 상부를 초점으로 촬상한 영상이고, 상기 제2 영상은 하부 카메라(120)를 통해 전방 하부를 초점으로 촬상한 영상일 수 있다. 상부 카메라(110)의 제1 수직 시야각(θv1) 및 하부 카메라(120)의 제2 수직 시야각(θv2)이 일부 중첩되고 상부 카메라(110)의 제1 수평 시야각(θh1) 및 하부 카메라(120)의 제2 수평 시야각(θh2)이 일부 중첩되도록 설정하여, 상기 제1 영상 및 상기 제2 영상이 서로 부분적으로 중복될 수 있다.

예를 들면, 상부 카메라(110)는 센터 핀(16)의 중심축(선회 중심축)과 일치되거나 후방에 설치되고, 하부 카메라(120)는 센터 핀(16)의 중심축으로부터 전방에 설치될 수 있다. 상부 카메라(110) 및 하부 카메라(120)는 상기 선회 중심축에 대하여 서로 다르게 설치되므로, 도 3에 도시된 바와 같이, 전방 작업장치가 연결된 전방 차체(12)가 좌측(또는 우측) 선회 시에 상부 카메라(110)가 바라보는 방향과 하부 카메라(120)가 바라보는 방향이 서로 달라지게 된다.

예시적인 실시예들에 있어서, 각도 정보 검출부(150)로부터 후방 차체(14)에 대한 전방 차체(12)의 굴절 각도 정보를 획득할 수 있다. 각도 정보 검출부(150)는 조향 장치에 의한 후방 차체(14)에 대한 전방 차체(12)의 굴절 각도 정보를 검출하기 위한 센서를 포함할 수 있다. 상기 센서로부터의 검출값은 CAN 네트워크를 통해 영상 처리 장치(200)로 송신될 수 있다. 예를 들면, 각도 정보 검출부(150)는 센터 핀 각도 센서, 조향 실린더 변위 센서 또는 자이로 센서를 포함할 수 있다.

예시적인 실시예들에 있어서, 영상 처리 장치(200)는 제1 영상(IM1) 및 제2 영상(IM2)을 매칭하여 하나의 영상으로 합성할 수 있다. 또한, 영상 처리 장치(200)는 각도 정보 검출부(150)로부터 획득한 전방 차체(12)의 조향 힌지 각도(θs)를 결정할 수 있다.

영상 처리 장치(200)의 조향 각도 산출부(210)는 각도 정보 검출부(150)로부터 검출한 상기 굴절 각도 정보로부터 전방 차체(12)의 조향 힌지 각도(θs)를 결정할 수 있다. 조향 각도 산출부(210)는 각도 정보 검출부(150)로부터의 검출값을 저장부(250)에 저장된 변환 테이블을 이용하여 상기 조향 힌지 각도로 환산할 수 있다.

영상 처리 장치(200)의 투명화 처리부(230)는 각도 정보 검출부(150)로부터 획득한 상기 전방 차체의 상기 굴절 각도 정보에 따라 상기 합성된 영상에서의 상기 투명화 처리 영역의 위치를 설정할 수 있다. 투명화 처리부(230)는 조향 각도 산출부(210)에 의해 산출된 상기 전방 차체의 조향 힌지 각도(θs)에 따라 상기 투명화 처리 영역의 위치를 조정할 수 있다.

영상 처리 장치(200)는 상부 카메라(110)로부터의 제1 영상(IM1)의 일부를 제1 합성 영역으로 설정하고 하부 카메라(120)로부터의 제2 영상(IM2)의 일부를 제2 합성 영역으로 설정하고, 제2 영상(IM2)의 상기 제2 합성 영역을 반투명 처리한 후, 상기 반투명 처리된 제2 합성 영역을 제1 영상(IM1)의 상기 제1 합성 영역에 합성시킬 수 있다.

도 10에 도시된 바와 같이, 휠 로더(10)가 직진 주행 시, 영상 처리 장치(200)의 투명화 처리부(230)는 상기 산출된 조향 힌지 각도를 추종하도록 투명화 처리 영역(R)의 위치를 최초 위치로 유지할 수 있다.

또한, 투명화 처리 영역(R)은 상부 카메라(110) 및 하부 카메라(120)를 통해 촬상한 상기 제1 영상 및 상기 제2 영상 중에서 어느 하나를 선택하거나 상기 제1 및 제2 영상들 중 일부 부분 영상을 선택적으로 투명화할 수 있다. 예를 들면, 상기 전방 작업장치 중에서 붐이나 버켓이 포함된 영상의 일부분을 선택적으로 투명화 할 수 있다.

도 11에 도시된 바와 같이, 조향 장치에 의해 전방 차체(12)가 좌측으로 굴절하게 되면, 붐(20) 및 버켓(30)을 포함한 전방 작업장치가 최초 설정된 투명화 처리 영역을 벗어나게 되어 전방 시야가 가려질 수 있다. 이 때, 영상 처리 장치(200)의 조향 각도 산출부(210)는 각도 정보 검출부(150)로부터의 검출값으로부터 조향 힌지 각도(θs)를 산출하고, 영상 처리 장치(200)의 투명화 처리부(230)는 상기 산출된 조향 힌지 각도를 추종하도록 투명화 처리 영역(R)의 위치를 자동으로 변경시킬 수 있다.

이어서, 투명화 처리 영역(R) 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고(S140), 상기 투명화 처리된 합성 영상을 표시 장치(300)를 통해 표시할 수 있다(S150).

예시적인 실시예들에 있어서, 상기 전방 작업장치의 자세를 검출할 수 있다. 전방 차체(12)에 연결된 붐(20)의 회전 각도를 검출할 수 있다. 붐 각도 센서(24)로부터 버켓(30)의 위치, 즉, 지면으로부터의 버켓(30)의 높이에 대한 정보를 검출할 수 있다. 붐 각도 센서(24)에 의해 측정된 붐(20)의 회전 각도로부터 버켓의 상승 높이를 결정할 수 있다.

예시적인 실시예들에 있어서, 투명화 처리 영역(R)에서 상기 제1 및 제2 영상들 중 전방 작업장치의 일부분인 붐이나 버켓의 영상 부분을 선택적으로 투명화 처리하고(S140), 상기 투명화 처리된 합성 영상을 표시 장치(300)를 통해 표시할 수 있다(S150).

투명화 처리 영역(R)에는 상기 제1 영상 또는 상기 제2 영상에서 촬상되고 투명화된 붐이나 버켓의 외관의 아웃라인을 선, 점선 또는 음영 등으로 표시하여 형태만을 식별 가능하도록 할 수 있다.

투명화 처리 영역(R)에 표시된 붐이나 버켓의 아웃라인은 실제 제1 영상 또는 제2 영상에서 촬상된 이미지에서 가져온 것으로 실제 운전자의 조작에 따른 붐이나 버켓의 움직임과 일치하도록 할 수 있다.

예시적인 실시예들에 있어서, 영상 처리 장치(200)는 투명화 되는 제1 전방 영상 또는 제2 전방 영상 내의 객체를 인식하고, 상기 인식된 객체의 아웃라인(outline) 등을 점선 등으로 표시하거나 상기 인식된 객체에 바운딩 박스와 같은 표기로 표시할 수 있다. 예를 들어, 컴퓨팅 장치는 사전 결정된 알고리즘 등을 기초로 영상 내의 객체를 식별하고, 해당 객체의 아웃라인을 표시하여 합성 영상을 생성할 수 있다. 이 경우, 운전자는 투명화 처리된 휠 로더(200)의 일부 형상 등을 외곽 점선 등으로 간단히 확인할 수 있다.

도 2에 도시된 바와 같이, 붐(20)의 회전 각도는 붐(20)의 최저 위치(0%)에서의 연장선(L)과 붐(20)의 연장선(R) 사이의 각도(θ)일 수 있다. 붐(20)의 최고 위치(max boom height)에서 붐(20)의 회전 각도는 θmax.height이고, 이 때, 버켓 위치는 최대 높이(100%)일 수 있다.

이어서, 상기 버켓 위치가 기 설정된 위치(투명화 전환 위치)보다 높거나 낮은 지 여부를 확인할 수 있다. 상기 기 설정된 위치는 투명환 전환 위치, 즉, 투명화 처리 영역(R)의 경계일 수 있다. 즉, 버켓의 위치와 상기 기 설정된 위치의 비교는 버켓(30) 또는 붐(20)의 일부가 투명화 처리 영역(R)의 내부에 위치하는 지 여부를 확인하는 것을 포함할 수 있다. 상기 버켓 또는 붐 위치가 기 설정된 위치보다 낮을 때 상기 합성된 영상에서 상기 제2 영상을 투명화하고, 상기 버켓 또는 붐 위치가 기 설정된 위치보다 높을 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 여기서, 상기 기 설정된 위치는 표시 장치(300)를 통해 디스플레이 되는 영상을 기준으로 기 설정된 투명화 처리 영역(R)의 하단 경계일 수 있다. 이후, 상기 투명화 처리된 합성 영상을 표시 장치(300)를 통해 표시할 수 있다. 이 때, 표시 장치(300)는 투명화 처리 영역(A)의 외부 영역에서 상기 제1 영상을 디스플레이 할 수 있다.

예시적인 실시예들에 있어서, 영상 처리 장치(200)는 상기 검출된 붐 위치에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리를 수행할 수 있다.

투명화 처리부(230)는 상기 제1 및 제2 영상들을 표시 장치(300)의 전체 표시 영역 중에서 일부 영역인 투명화 처리 영역(R)에서만 투명화되도록 영상 처리할 수 있다. 투명화 처리 영역(R)은 승하강하는 붐(20) 및 버켓(30)을 포함한 상기 전방 작업장치에 의해 전방 시야가 가려지는 영역을 포함하도록 정의될 수 있다.

상기 투명화 처리는 상기 합성된 영상의 투명화 처리 영역(R) 내에서 상기 제1 영상 또는 상기 제2 영상을 제거 또는 반투명하게 처리하여 배경 영상과 중첩되도록 하거나 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 형태만을 식별 가능하도록 할 수 있다. 예를 들면, 알파 블렌딩(Alpha Blending) 기법 등을 이용하여 상기 투명화 처리 영역 내의 상기 제1 영상 또는 상기 제2 영상을 합성된 영상에서 제거시킬 수 있다.

버켓(30) 또는 붐(20)이 최저 위치(0%)에서부터 상기 기 설정된 버켓 또는 붐 위치 사이에 있을 때 하부 카메라(120)로부터 촬상된 상기 제2 영상을 투명화 처리함으로써, 상부 카메라(110)로 구현되는 피사체가 중점이 되는 투명화 영상이 표시 장치(300)의 투명화 처리 영역(R) 내부에 표시될 수 있다. 버켓(30) 또는 붐(20)이 상대적으로 낮은 위치에 있을 때 상기 제2 영상에서 전방 시야를 가리는 상기 전방 작업장치 부분을 투명화함으로써 상기 합성된 영상에서 전방 물체를 확인할 수 있다.

버켓(30) 또는 붐(20)이 상기 기 설정된 위치에서부터 최고 위치(100%)에 있을 때 상부 카메라(110)로부터 촬상된 상기 제1 영상을 투명화 처리함으로써, 하부 카메라(120)로 구현되는 피사체가 중점이 되는 투명화 영상이 표시 장치(300)의 투명화 처리 영역(R) 내부에 표시될 수 있다. 버켓(30) 또는 붐(20)이 상대적으로 높은 위치에 있을 때 상기 제1 영상에서 전방 시야를 가리는 상기 전방 작업장치 부분을 투명화함으로써 상기 합성된 영상에서 전방 물체를 확인할 수 있다.

예를 들면, 상기 기 설정된 붐의 위치는 붐(20)의 회전 각도(θ)가 15도 내지 20도 범위 이내에 있도록 설정될 수 있다.

이와 다르게, 상기 붐의 회전 각도(θ)가 제1 각도 범위에 있을 때 상기 합성된 영상에서 상기 제2 영상을 투명화하고, 상기 붐의 회전 각도(θ)가 제2 각도 범위에 있을 때 상기 합성된 영상의 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들을 투명화하고, 상기 붐의 회전 각도(θ)가 제3 각도 범위에 있을 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 예를 들면, 상기 제1 각도 범위는 0도 내지 15도의 범위 이내이고, 상기 제2 각도 범위는 15도 내지 25도의 범위 이내이고, 상기 제3 각도 범위는 25도 내지 45도 범위 이내에 있도록 설정될 수 있다.

예시적인 실시예들에 있어서, 상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정할 수 있다. 입력부(400)를 통해 영상 처리 장치(200)에서의 영상 처리 조건을 설정할 수 있다. 예를 들면, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점, 표시 장치(300)의 전체 표시 영역 중에서의 상기 투명화 처리 영역이 차지하는 면적 등을 포함할 수 있다. 상기 제1 및 제2 영상들의 투명화 전환 시점은 상기 버켓(30) 또는 붐(20)의 위치와 상기 기 설정된 버켓 또는 붐 위치에 의해 결정될 수 있다. 상기 투명화 처리 영역은 장비의 기종에 따라 선택될 수 있다.

예를 들면, 입력부(400)는 계기판 옵션 형태로 구현될 수 있으며, 작업자는 입력부(400)를 통해 상기 투명화 전환 시점, 상기 투명화 처리 영역의 면적 등을 변경할 수 있다. 입력부(400)는 운전실 내부에 마련된 별도의 조작장치, 상기 표시 장치에 일체로 마련된 조작장치 또는 상기 표시 장치의 디스플레이 화면을 구성하는 터치 스크린의 형태로 제공될 수 있다. 이에 따라, 작업자는 작업시 주의가 필요한 물체의 주위를 투명화 처리 영역으로 설정하는 등 다양한 영상 처리 조건의 설정이 가능하다.

상술한 바와 같이, 휠 로더(10)의 운전실(40) 상에 설치된 상부 카메라(110) 및 전방 차체(12) 상에 설치된 하부 카메라(120)로부터 촬상된 상기 제1 영상 및 상기 제2 영상을 하나의 영상으로 합성하고, 전방 차체(12)의 조향 힌지 각도(θs)에 따라 상기 합성된 영상에서 투명화 처리 영역(R)의 위치를 결정하고, 전방 차체(12)에 연결된 버켓(30) 또는 붐(20)의 위치에 따라 투명화 처리 영역(R) 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고, 상기 투명화 처리된 영상을 표시 장치(300)를 통해 표시할 수 있다.

버켓(30) 또는 붐(20)이 최저 위치(0%)에서부터 상기 기 설정된 버켓 또는 붐 위치 사이의 상대적으로 낮은 위치에 있을 때 하부 카메라(120)로부터 촬상된 제2 영상에서는 붐(20) 및 버켓(30)을 포함한 전방 작업장치에 의해 전방 시야가 가려질 수 있다. 버켓(30) 또는 붐(20)이 상기 기 설정된 버켓 또는 붐 위치에서부터 투명화 표시 영역의 최고 위치(100%) 사이의 상대적으로 높은 위치에 있을 때, 상부 카메라(110)로부터 촬상된 제1 영상에서는 붐(20) 및 버켓(30)을 포함한 전방 작업장치에 의해 전방 시야가 가려질 수 있다.

버켓(30) 또는 붐(20)의 위치에 따라 상기 제1 영상 또는 상기 제2 영상을 상기 합성된 영상에서 투명화 처리함으로써 상기 전방 작업장치에 의해 전방 시야가 가려지는 사각 지대를 제거할 수 있다.

또한, 상부 카메라(110)와 하부 카메라(120)의 장착 위치들이 서로 상이하므로, 좌측 또는 우측 조향 시에 버켓(30)이 투명화 처리 영역(R)을 벗어나 일치하지 않을 수 있다. 휠 로더(10)의 조향 시에, 후방 차체(14)에 대한 전방 차체(12)의 굴절 각도 정보에 따라 전방 차체(12)의 조향 힌지 각도(θs)를 결정하고 제1 영상(IM1) 및 제2 영상(IM2)이 합성된 영상에서 투명화 처리 영역(R)의 위치를 조향 힌지 각도(θs)에 정합되도록 영상을 처리할 수 있다.

따라서, 휠 로더(10)의 조향 시에도 붐(20) 및 버켓(30)을 포함한 상기 전방 작업장치에 의해 전방 시야가 가려지는 것을 방지할 수 있다. 이에 따라, 작업자의 인지력을 증가시켜 안정성을 확보하여 안전 사고를 미연에 방지할 수 있다.

이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 휠 로더 12: 전방 차체
14: 후방 차체 20: 붐
22: 붐 실린더 24: 붐 각도 센서
30: 버켓 32: 버켓 실린더
34: 틸트 암 40: 운전실
70: 전방 휠 100: 카메라부
110: 제1 카메라 120: 제2 카메라
150: 각도 정보 검출부 200: 영상 처리 장치
210: 조향 각도 산출부 220: 영상 합성부
230: 투명화 처리부 240: 이미지 렌더링부
250: 저장부 300: 표시 장치
400: 입력부

Claims (27)

1. 후방 차체의 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라;
   상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치되어 상기 전방 차체 전방을 촬상하는 하부 카메라;
   상기 후방 차체에 대한 상기 전방 차체의 굴절 각도 정보를 검출하기 위한 각도 정보 검출부;
   상기 상부 카메라 및 상기 하부 카메라로부터 촬상한 제1 및 제2 영상들을 하나의 영상으로 합성하되, 상기 각도 정보 검출부로부터 획득한 상기 굴절 각도 정보에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 설정하기 위한 영상 처리 장치; 및
   상기 영상 처리 장치에서 합성된 합성 영상을 표시하기 위한 표시 장치를 포함하는 건설기계의 제어 시스템.
2. 제 1 항에 있어서, 상기 영상 처리 장치는
   상기 각도 정보 검출부로부터 획득한 상기 굴절 각도 정보로부터 상기 전방 차체의 조향 힌지 각도를 결정하는 조향 각도 산출부; 및
   상기 결정된 조향 힌지 각도에 따라 상기 합성된 영상에서의 상기 투명화 처리 영역의 위치를 결정하는 투명화 처리부를 포함하는 건설기계의 제어 시스템.
3. 제 2 항에 있어서, 상기 조향 각도 산출부는 상기 각도 정보 검출부로부터 획득한 검출값을 상기 전방 차체의 조향 힌지 각도값으로 환산하는 건설기계의 제어 시스템.
4. 제 1 항에 있어서, 상기 각도 정보 검출부는 센터 핀 각도 센서, 조향 실린더 변위 센서 또는 자이로 센서를 포함하는 건설기계의 제어 시스템.
5. 제 1 항에 있어서,
   상기 전방 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부를 더 포함하고,
   상기 영상 처리 장치는 상기 작업장치 자세 검출부에 의해 검출된 상기 전방 작업장치의 자세에 따라 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 건설기계의 제어 시스템.
6. 5 항에 있어서, 상기 영상 처리 장치는 상기 전방 작업장치의 적어도 일부가 기 설정된 위치를 침범할 때 상기 투명화 처리 영역에서 상기 제1 영상을 투명화하고, 상기 전방 작업장치가 상기 기 설정된 위치를 침범하지 않을 때 상기 투명화 처리 영역에서 상기 제2 영상을 투명화하는 건설기계의 제어 시스템.
7. 제 1 항에 있어서,
   상기 영상 처리 장치에서의 영상 처리 조건을 설정하기 위한 입력부를 더 포함하는 건설기계의 제어 시스템.
8. 제 7 항에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적을 포함하는 건설기계의 제어 시스템.
9. 제 1 항에 있어서, 상기 영상 처리 장치는, 상기 투명화 처리 영역에서 상기 제1 영상 또는 상기 제2 영상에서 촬상되고 투명화된 붐이나 버켓 외관의 아웃라인을 선 또는 점선 등으로 표시되도록 처리하는 건설 기계의 제어 시스템.
10. 제 9 항에 있어서, 상기 투명화된 붐이나 버켓의 아웃라인은 실제 제1 영상 또는 제2 영상에서 촬상된 붐이나 버켓 이미지를 투명화 처리하여 표시되는 건설 기계의 제어 시스템.
11. 제 1 항에 있어서, 상기 영상 처리 장치는, 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들 중에서 상기 전방 차체에 결합된 붐이나 버켓 영상을 선택적으로 투명화 처리하는 건설 기계의 제어 시스템.
12. 제 1 항에 있어서, 상기 합성 영상은 상기 영상 처리 장치가 상기 제1 영상 및 상기 제2 영상 내에서 인식한 객체를 포함하는 건설 기계의 제어 시스템.
13. 제 1 항에 있어서, 상기 영상 처리 장치는 사전에 결정된 알고리즘을 통해 사람, 동물, 건물 또는 장비를 객체로 인식하는 건설 기계의 제어 시스템.
14. 제 1 항에 있어서, 상기 영상 처리 장치는 상기 제1 및 제2 영상들 중 어느 하나로부터 크롭 영상을 추출하고 상기 제1 및 제2 영상들 중 다른 하나의 영상 내의 일부 영역을 투명화하고 상기 투명화된 영역에 상기 추출된 크롭 영상을 합성하여 상기 투명화 처리된 영상을 생성하는 건설 기계의 제어 시스템.
15. 제 14 항에 있어서, 상기 투명화된 일부 영역은 상기 투명화 처리 영역인 건설 기계의 제어 시스템.
16. 제 1 항에 있어서, 상기 영상 처리 장치는 상기 제1 영상의 일부를 제1 합성 영역으로 설정하고 상기 제2 영상의 일부를 제2 합성 영역으로 설정하고, 상기 제2 영상의 상기 제2 합성 영역을 반투명 처리하고, 상기 반투명 처리된 제2 합성 영역을 상기 제1 영상의 상기 제1 합성 영역에 합성하여 상기 합성된 합성 영상을 만드는 건설 기계의 제어 시스템.
17. 후방 차체의 운전실 상에 설치된 상부 카메라로부터 상기 운전실 전방의 제1 영상을 획득하고;
    상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치된 하부 카메라로부터 상기 전방 차체 전방의 제2 영상을 획득하고;
    상기 후방 차체에 대한 상기 전방 차체의 굴절 각도 정보를 획득하고;
    상기 제1 및 제2 영상들을 하나의 영상으로 합성하고;
    상기 획득한 전방 차체의 굴절 각도 정보에 따라 상기 합성된 영상에서 투명화 처리 영역의 위치를 설정하고;
    상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고; 그리고
    상기 투명화 처리된 영상을 표시 장치를 통해 표시하는 것을 포함하는 건설기계의 제어 방법.
18. 제 17 항에 있어서, 상기 획득한 전방 차체의 굴절 각도 정보에 따라 상기 투명화 처리 영역의 위치를 설정하는 것은,
    상기 굴절 각도 정보로부터 상기 전방 차체의 조향 힌지 각도를 결정하고; 그리고
    상기 조향 힌지 각도에 따라 상기 합성된 영상에서 투명화 처리 영역의 위치를 결정하는 것을 포함하는 건설기계의 제어 방법.
19. 제 18 항에 있어서, 상기 굴절 각도 정보로부터 상기 전방 차체의 조향 힌지 각도를 결정하는 것은 상기 굴절 각도 검출값을 상기 전방 차체의 조향 힌지 각도값으로 환산하는 건설기계의 제어 방법.
20. 제 17 항에 있어서, 상기 후방 차체에 대한 상기 전방 차체의 굴절 각도를 정보를 획득하는 것은 굴절 각도 검출 센서를 이용하는 것을 포함하고, 상기 굴절 각도 검출 센서는 센터 핀 각도 센서, 조향 실린더 변위 센서 또는 자이로 센서를 포함하는 건설기계의 제어 방법.
21. 제 17 항에 있어서,
    상기 전방 작업장치의 자세를 검출하는 것을 더 포함하고,
    상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 것은 상기 검출된 전방 작업장치의 자세에 따라 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 것을 포함하는 건설기계의 제어 방법.
22. 제 17 항에 있어서,
    상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정하는 것을 더 포함하는 건설기계의 제어 방법.
23. 제 22 항에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적을 포함하는 건설기계의 제어 방법.
24. 후방 차체의 운전실 상에 설치된 상부 카메라로부터 상기 운전실 전방의 제1 영상을 획득하고;
    상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치된 하부 카메라로부터 상기 전방 차체 전방의 제2 영상을 획득하고;
    상기 후방 차체에 대한 상기 전방 차체의 굴절 각도 정보를 획득하고;
    상기 획득한 전방 차체의 굴절 각도 정보에 따라 상기 제1 영상에서 투명화 처리 영역의 위치를 설정하고;
    상기 제2 영상에서 상기 투명화 처리 영역에 해당하는 일부 영역을 크롭 영역으로 설정하여 크롭 영상을 추출하고;
    상기 제1 영상의 상기 투명화 처리 영역의 투명도를 조절하고;
    상기 제2 영상에서 추출된 크롭 영상을 상기 제1 영상의 상기 투명 처리 영역에 합성하고; 그리고
    상기 합성된 영상을 표시 장치를 통해 표시하는 것을 포함하는 건설기계의 제어 방법.
25. 제 24 항에 있어서, 상기 추출된 크롭 영상을 상기 제1 영상의 상기 투명 처리 영역에 합성하는 것은
    상기 제2 영상에서 추출된 크롭 영상의 크기를 조절하고; 그리고
    상기 조절된 크롭 영상을 상기 제1 영상의 상기 투명화 처리 영역에 합성하는 것을 포함하는 건설기계의 제어 방법.
26. 제 24 항에 있어서, 상기 제1 영상의 상기 투명화 처리 영역의 투명도를 조절하는 것은
    상기 제1 영상의 투명화 처리 영역 내에서 붐이나 버켓 외관의 아웃라인을 선 또는 점선으로 표시하는 것을 포함하는 건설기계의 제어 방법.
27. 제 24 항에 있어서,
    상기 합성된 영상에서 사전에 결정된 알고리즘을 통해 사람, 동물, 건물 또는 장비를 객체로 인식하는 것을 더 포함하는 건설기계의 제어 방법.

Images