KR20240056273A

KR20240056273A - 건설기계의 제어 시스템 및 방법

Info

Publication number: KR20240056273A
Application number: KR1020220136703A
Authority: KR
Inventors: 이상훈; 정준용; 박재홍; 이정표
Original assignee: 에이치디현대인프라코어 주식회사; 주식회사 와이즈오토모티브
Priority date: 2022-10-21
Filing date: 2022-10-21
Publication date: 2024-04-30
Also published as: WO2024085732A1

Abstract

건설기계의 제어 시스템은 후방 차체의 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라, 상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치되어 상기 전방 차체 전방을 촬상하는 하부 카메라, 상기 상부 카메라로부터 촬상된 제1 영상에서 상기 전방 차체의 형상을 인식하여 상기 전방 차체의 굴절 각도를 결정하기 위한 조향 각도 결정부, 상기 상부 카메라 및 상기 하부 카메라로부터 각각 촬상된 제1 영상 및 제2 영상을 하나의 영상으로 합성하되, 상기 조향 각도 결정부에 의해 결정된 굴절 각도에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 설정하기 위한 영상 처리부, 및 상기 영상 처리부에서 합성된 합성 영상을 표시하기 위한 표시 장치를 포함한다.

Description

건설기계의 제어 시스템 및 방법{SYSTEM AND METHOD OF CONTROLLING CONSTRUCTION MACHINERY}

본 발명은 건설기계의 제어 시스템 및 방법에 관한 것이다. 보다 상세하게는, 휠 로더, 굴삭기 등과 같은 건설기계의 작업 또는 주행 시에 전방 장애물을 인지하기 위한 제어 시스템 및 이를 이용한 건설기계의 제어 방법에 관한 것이다.

굴삭기, 휠 로더 등과 같은 건설기계는 건설 현장에서, 흙, 모래 등과 같은 적재물을 굴삭하여 운반하고 덤프 트럭과 같은 화물 차량에 로딩하는 작업 등을 수행하는 데 널리 사용되고 있다. 이러한 작업들은 버켓 및 붐과 같이 건설기계에 설치된 작업장치의 구동에 의해 수행된다. 하지만, 상기 작업장치는 구동 또는 주행 중에 작업자의 전방 시야를 가리거나 제한시킬 수 있고, 상술한 바와 같은 작업장치에 의한 작업자의 전방 시야 방해는 안전사고를 발생시키는 원인이 될 수 있다.

본 발명의 일 과제는 작업장치에 의해 제한된 전방 시야를 개선할 수 있는 건설기계의 제어 시스템을 제공하는 데 있다.

본 발명의 다른 과제는 상술한 제어 시스템을 이용한 건설기계의 제어 방법을 제공하는 데 있다.

상기 본 발명의 일 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 시스템은 후방 차체의 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라, 상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치되어 상기 전방 차체 전방을 촬상하는 하부 카메라, 상기 상부 카메라로부터 촬상된 제1 영상에서 상기 전방 차체의 형상을 인식하여 상기 전방 차체의 굴절 각도를 결정하기 위한 조향 각도 결정부, 상기 상부 카메라 및 상기 하부 카메라로부터 각각 촬상된 제1 영상 및 제2 영상을 하나의 영상으로 합성하되, 상기 조향 각도 결정부에 의해 결정된 굴절 각도에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 설정하기 위한 영상 처리부, 및 상기 영상 처리부에서 합성된 합성 영상을 표시하기 위한 표시 장치를 포함한다.

예시적인 실시예들에 있어서, 상기 조향 각도 결정부는 사전에 결정된 알고리즘을 통해 상기 제1 영상에서 상기 전방 차체의 어태치먼트의 형상을 인식하고 상기 인식된 형상으로부터 상기 전방 차체의 조향 힌지 각도를 산출할 수 있다.

예시적인 실시예들에 있어서, 상기 조향 각도 결정부는 상기 제1 영상에서 상기 전방 차체의 붐의 형상을 에지 알고리즘을 통해 추출하고, 상기 추출된 붐의 형상에 허프 변환을 적용하여 상기 전방 차체의 조향 힌지 각도를 산출할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리부는 상기 제1 영상을 기준으로 상기 제2 영상의 일부를 크롭한 후 상기 제2 영상의 크롭된 영상을 상기 제1 영상에 합성하도록 할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리부는, 상기 제1 영상에서 상기 투명화 처리 영역에 해당하는 제1 영역을 제1 투명도를 갖도록 투명 처리하고, 상기 제2 영상에서 상기 투명화 처리 영역에 해당하는 제2 영역을 크롭 영역으로 결정하고 상기 결정된 제2 영역을 제2 투명도를 갖도록 투명 처리하고, 상기 제2 영상에서 추출된 크롭 영상을 상기 제1 영상에 합성할 수 있다.

예시적인 실시예들에 있어서, 상기 제1 투명도 및 상기 제2 투명도는 서로 동일하거나 다르게 설정될 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리부는 상기 제1 영상의 일부를 제1 합성 영역으로 설정하고 상기 제2 영상의 일부를 제2 합성 영역으로 설정하고, 상기 제2 영상의 상기 제2 합성 영역을 반투명 처리하고, 상기 반투명 처리된 제2 합성 영역을 상기 제1 영상의 상기 제1 합성 영역에 합성하여 상기 합성된 합성 영상을 만들 수 있다.

예시적인 실시예들에 있어서, 상기 건설 기계의 제어 시스템은 상기 전방 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부를 더 포함할 수 있고, 상기 영상 처리부는 상기 작업장치 자세 검출부에 의해 검출된 상기 전방 작업장치의 자세에 따라 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리부는 상기 전방 작업장치의 적어도 일부가 기 설정된 위치를 침범할 때 상기 투명화 처리 영역에서 상기 제1 영상을 투명화하고, 상기 전방 작업장치가 상기 기 설정된 위치를 침범하지 않을 때 상기 투명화 처리 영역에서 상기 제2 영상을 투명화할 수 있다.

예시적인 실시예들에 있어서, 상기 건설기계의 제어 시스템은 상기 영상 처리부에서의 영상 처리 조건을 설정하기 위한 입력부를 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 영상 처리부는, 상기 투명화 처리 영역에서 상기 제1 영상 또는 상기 제2 영상에서 촬상되고 투명화된 붐이나 버켓 외관의 아웃라인을 선 또는 점선 등으로 표시되도록 처리할 수 있다.

상기 본 발명의 다른 과제를 달성하기 위한 예시적인 실시예들에 따른 건설기계의 제어 방법에 있어서, 후방 차체의 운전실 상에 설치된 상부 카메라로부터 상기 운전실 전방의 제1 영상을 획득한다. 상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치된 하부 카메라로부터 상기 전방 차체 전방의 제2 영상을 획득한다. 상기 제1 영상에서 상기 전방 차체의 형상을 인식하여 상기 전방 차체의 굴절 각도를 결정한다. 상기 제1 및 제2 영상들을 하나의 영상으로 합성한다. 상기 결정된 전방 차체의 굴절 각도에 따라 상기 합성된 영상에서 투명화 처리 영역의 위치를 설정한다. 상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리한다. 상기 투명화 처리된 영상을 표시 장치를 통해 표시한다.

예시적인 실시예들에 있어서, 상기 제1 영상에서 상기 전방 차체의 형상을 인식하여 상기 전방 차체의 굴절 각도를 결정하는 것은, 사전에 결정된 알고리즘을 통해 상기 제1 영상에서 상기 전방 차체의 어태치먼트의 형상을 인식하고, 그리고 상기 인식된 형상으로부터 상기 전방 차체의 조향 힌지 각도를 산출하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 사전에 결정된 알고리즘을 통해 상기 전방 차체의 어태치먼트의 형상을 인식하는 것은, 상기 제1 영상에서 상기 전방 차체의 붐의 형상을 에지 알고리즘을 통해 추출하고, 그리고 상기 추출된 붐의 형상에 허프 변환을 적용하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 제1 및 제2 영상들 중 적어도 하나의 영상을 투명화 처리하는 것은 상기 제1 영상을 기준으로 상기 제2 영상의 일부를 크롭한 후 상기 제2 영상의 크롭된 영상을 상기 제1 영상에 합성하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 제1 및 제2 영상들 중 적어도 하나의 영상을 투명화 처리하는 것은, 상기 제1 영상에서 상기 투명화 처리 영역에 해당하는 제1 영역을 제1 투명도를 갖도록 투명 처리하고, 상기 제2 영상에서 상기 투명화 처리 영역에 해당하는 제2 영역을 크롭 영역으로 결정하고 상기 결정된 제2 영역을 제2 투명도를 갖도록 투명 처리하고, 그리고 상기 제2 영상에서 추출된 크롭 영상을 상기 제1 영상에 합성하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 건설기계의 제어 방법은 상기 전방 작업장치의 자세를 검출하는 것을 더 포함할 수 있고, 상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 것은 상기 검출된 전방 작업장치의 자세에 따라 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 건설기계의 제어 방법은 상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정하는 것을 더 포함할 수 있다.

예시적인 실시예들에 따르면, 휠 로더의 운전실 상에 설치된 상부 카메라 및 전방 차체 상에 설치된 하부 카메라로부터 촬상된 제1 영상 및 제2 영상을 하나의 영상으로 합성하고, 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고, 상기 투명화 처리된 영상을 표시 장치를 통해 표시할 수 있다.

또한, 상기 휠 로더의 조향 시에, 별도의 각도 센서나 조향 실린더 변위 센서 없이, 카메라 영상만으로 상기 전방 차체의 조향 힌지 각도를 결정하고 상기 제1 및 제2 영상들이 합성된 영상에서 상기 투명화 처리 영역의 위치를 상기 결정된 조향 힌지 각도에 정합되도록 영상을 처리할 수 있다.

따라서, 상기 휠 로더의 조향 시에도 붐 및 버켓을 포함한 전방 작업장치에 의해 전방 시야가 가려지는 것을 방지할 수 있다. 이에 따라, 작업자의 인지력을 증가시켜 안정성을 확보하여 안전 사고를 미연에 방지할 수 있다.

다만, 본 발명의 효과는 상기 언급한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.

도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다.
도 2는 도 1의 붐의 회전 각도에 따른 버켓 상승 위치를 나타내는 측면도이다.
도 3은 도 1의 건설기계의 직진 주행 및 좌측 선회 시의 상부 카메라와 하부 카메라의 수평 시야각들을 나타내는 평면도이다.
도 4는 도 1의 건설기계의 제어 시스템을 나타내는 블록도이다.
도 5는 도 4의 영상 처리 장치를 나타내는 블록도이다.
도 6은 도 5의 영상 처리 장치에 의해 상부 카메라를 통해 촬상한 제1 영상으로부터 인식된 객체의 경고 정보를 나타내는 도면이다.
도 7은 도 5의 영상 처리 장치에 의해 하부 카메라를 통해 촬상된 제2 영상으로부터 인식된 객체의 경고 정보를 나타내는 도면이다.
도 8은 도 5의 영상 처리 장치에 의해 도 6의 제1 영상 및 도 7의 제2 영상이 합성된 영상을 나타내는 도면이다.
도 9는 예시적인 실시예들에 따른 휠 로더의 제어 방법을 나타내는 순서도이다.
도 10은 도 3에서 건설기계의 좌측 조향 시(LT 상태) 상부 카메라에 의해 촬상된 제1 영상에서 붐의 형상을 인식하여 조향 힌지 각도를 결정하는 단계를 나타내는 도면이다.
도 11은 도 10에서 결정된 조향 힌지 각도에 따라 투명화 처리 영역의 위치를 조정하는 단계를 나타내는 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하고자 한다.

본 발명의 각 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

본 발명에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다.

즉, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 예시적인 실시예들에 따른 건설기계를 나타내는 측면도이다. 도 1에는 휠 로더(10)가 도시되어 있으나 이로 인하여 예시적인 실시예들에 따른 건설기계의 제어 장치가 휠 로더에서만 이용되는 것으로 한정되는 것은 아니며, 다양한 산업용 차량 등에도 적용될 수 있다. 이하에서는 설명의 편의를 위해, 휠 로더(10)에 대해서만 기술하기로 한다.

도 1을 참조하면, 건설기계(10)는 차체(12, 14), 운전실(40), 및 전방 작업장치를 포함할 수 있다. 도 1의 휠 로더(10)를 예로 들면, 차체(12, 14)는 서로 회전 가능하게 연결된 전방 차체(12) 및 후방 차체(14)를 포함할 수 있다. 전방 차체(12)는 전방 작업장치 및 전방 휠(70)을 포함할 수 있다. 후방 차체(14)는 운전실(40), 엔진룸(50) 및 후방 휠(72)을 포함할 수 있다.

상기 전방 작업장치는 붐(20) 및 버켓(30)을 포함할 수 있다. 붐(20)은 전방 차체(12)에 회전 가능하도록 연결되고 버켓(30)은 붐(20)의 일단부에 회전 가능하도록 연결될 수 있다. 붐(20)은 전방 차체(12)에 한 쌍의 붐 실린더들(22)에 의해 연결되고, 붐(20)은 붐 실린더(22)의 구동에 의해 상하 방향으로 회전할 수 있다. 틸트 암(34)은 붐(20)의 거의 중심부 상에서 자유롭게 회전 가능하도록 연결되고, 틸트 암(34)의 일단부와 전방 차체(12)는 한 쌍의 버켓 실린더들(32)에 의해 연결되고, 틸트 암(34)의 타단부에 틸트 로드에 의해 연결된 버켓(30)은 버켓 실린더(32)의 구동에 의해 상하 방향으로 회전(덤프 또는 크라우드)할 수 있다.

또한, 전방 차체(12)와 후방 차체(14)는 센터 핀(16)에 의해 서로 회전 가능하게 연결되고, 조향 실린더(도시되지 않음)의 신축에 의해 전방 차체(12)가 후방 차체(14)에 대하여 좌우로 굴절될 수 있다.

후방 차체(14)에는 휠 로더(10)를 주행시키기 위한 주행 장치가 탑재될 수 있다. 엔진(도시되지 않음)은 상기 엔진룸 내에 배치되고 상기 주행 장치에 파워 출력을 공급할 수 있다. 상기 주행 장치는 토크 컨버터, 트랜스미션, 프로펠러 샤프트, 액슬 등을 포함할 수 있다. 상기 엔진의 파워 출력은 상기 토크 컨버터, 상기 트랜스미션, 상기 프로펠러 샤프트 및 상기 액슬 통해 전방 휠(70) 및 상기 후방 휠(72)로 전달되어 휠 로더(10)가 주행하게 된다.

후방 차체(14)에는 상기 작업장치의 붐 실린더(22) 및 버켓 실린더(32)에 압유를 공급하기 위한 유압 펌프(도시되지 않음)가 탑재될 수 있다. 상기 유압 펌프는 상기 엔진으로부터의 파워 출력의 일부를 사용하여 구동될 수 있다. 예를 들면, 상기 엔진의 출력은, 상기 엔진과 연결된 기어 트레인과 같은 동력전달장치를 통해서 상기 작업장치용 유압 펌프와 스티어링용의 유압 펌프를 구동시킬 수 있다.

상기 유압 펌프는 작동유를 공급하여 상기 작업장치를 구동시킬 수 있으며, 가변 용량형 및 정 용량형으로 구분될 수 있다. 상기 가변 용량형 유압 펌프에는 펌프 제어장치가 연결되고, 상기 펌프 제어장치에 의해 상기 가변 용량형 유압 펌프의 토출 유량이 제어될 수 있다. 상기 유압 펌프는 소정의 유압 회로를 통해 붐 제어 밸브와 버켓 제어 밸브를 포함하는 메인 제어 밸브(MCV)와 연결될 수 있다. 상기 유압 펌프의 토출유는 메인 제어 밸브(MCV)의 상기 붐 제어 밸브 및 상기 버켓 제어 밸브를 통해 붐 실린더(22) 및 버켓 실린더(32)에 공급될 수 있다. 메인 제어 밸브(MCV)는 상기 조작 레버의 조작에 따라 입력된 파일럿 압력 신호에 따라 상기 유압 펌프로부터 토출된 작동유를 붐 실린더(22) 및 버켓 실린더(32)로 공급할 수 있다. 이에 따라, 붐(20)과 버켓(30)은 상기 유압 펌프로부터 토출된 작동유의 유압에 의해 구동될 수 있다.

운전실(40)는 상기 건설기계의 차체에 설치되며, 휠 로더의 경우에는 후방 차체(14)의 상부에 설치될 수 있다. 운전실(40) 내에는 운전 조작 장치가 구비될 수 있다. 상기 운전 조작 장치는 주행 페달, 브레이크 페달, FNR 주행 레버, 붐 실린더(22)와 버켓 실린더(32)와 같은 작업 실린더들을 작동시키기 위한 조작 레버들, 및 상기 조향 실린더를 작동시키기 위한 스티어링 휠과 같은 조향 장치를 포함할 수 있다.

상술한 바와 같이, 휠 로더(10)는 상기 엔진의 출력을 동력전달장치를 통해 상기 주행 장치를 구동시키기 위한 주행 시스템과 붐(20)과 버켓(30)과 같은 전방 작업장치를 구동시키기 위한 유압 장치계를 포함할 수 있다.

이하에서는, 상기 건설기계의 제어 시스템에 대하여 휠 로더를 예로 들어 설명하기로 한다.

도 2는 도 1의 붐의 회전 각도에 따른 버켓 상승 위치를 나타내는 측면도이다. 도 3은 도 1의 건설기계의 직진 주행 및 좌측 선회 시의 상부 카메라와 하부 카메라의 수평 시야각들을 나타내는 평면도이다. 도 4는 도 1의 건설기계의 제어 시스템을 나타내는 블록도이다. 도 5는 도 4의 영상 처리 장치를 나타내는 블록도이다. 도 6은 도 5의 영상 처리 장치에 의해 상부 카메라를 통해 촬상한 제1 영상으로부터 인식된 객체의 경고 정보를 나타내는 도면이다. 도 7은 도 5의 영상 처리 장치에 의해 하부 카메라를 통해 촬상된 제2 영상으로부터 인식된 객체의 경고 정보를 나타내는 도면이다. 도 8은 도 5의 영상 처리 장치에 의해 도 6의 제1 영상 및 도 7의 제2 영상이 합성된 영상을 나타내는 도면이다.

도 1 내지 도 8을 참조하면, 상기 휠 로더의 제어 시스템은 휠 로더(10)에 장착되어 휠 로더(10)의 전방을 촬상하기 위한 카메라부(100), 카메라부(100)로부터의 영상을 실시간으로 처리하기 위한 영상 처리 장치(200), 및 영상 처리 장치(200)에 처리된 영상을 표시하기 위한 표시 장치(300)를 포함할 수 있다. 또한, 상기 휠 로더의 제어 시스템은 전방 차체(12)에 연결된 전방 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부 및 영상 처리 장치(200)에서의 영상 처리 조건을 설정하기 위한 입력부(400)를 더 포함할 수 있다.

휠 로더(10)의 영상 처리 장치(200)는 엔진 제어 장치(ECU) 또는 차량 제어장치(VCU)의 일부 또는 별도의 컨트롤러로서 후방 차체(14)에 탑재될 수 있다. 영상 처리 장치(200)는 여기서 설명되는 기능들을 수행하기 위한 지정된 하드웨어, 소프트웨어 및 회로를 포함할 수 있다. 이러한 구성 요소들은 로직 회로, 마이크로프로세서, 메모리 장치들 등과 같은 전기적 회로들에 의해 물리적으로 수행될 수 있다.

예시적인 실시예들에 있어서, 카메라부(100)는 휠 로더(10)가 주행하거나 작업 시 휠 로더(10)의 전방을 감시하기 위한 것으로, 복수 개의 카메라들을 포함할 수 있다. 구체적으로, 카메라부(100)는 운전실(40) 상부에 설치되어 운전실(40) 전방을 촬상하여 제1 영상(IM1)을 획득하기 위한 상부 카메라(110) 및 전방 차체(12) 상에 설치되어 전방 차체(12) 전방을 촬상하여 제2 영상(IM2)을 획득하기 위한 하부 카메라(120)를 포함할 수 있다. 예를 들면, 상기 상부 카메라 및 상기 하부 카메라는 어안 렌즈(fisheye lens)를 구비하는 어안 카메라일 수 있다. 도 1 및 도 2에는 하나의 상부 카메라 및 하나의 하부 카메라가 도시되어 있으나, 이에 제한되지 않으며, 복수 개의 상부 카메라들 및 복수 개의 하부 카메라들이 구비될 수 있다.

상부 카메라(110)는 휠 로더 전방 방향을 기준으로 제1 수직 시야각(Field of View, FoV)(θv1) 및 제1 수평 시야각(θh1)을 가질 수 있다. 예를 들면, 상기 제1 수직 시야각 및 상기 제1 수평 시야각은 60도 내지 120도의 각도 범위를 가질 수 있다. 하부 카메라(120)는 제2 수직 시야각(θv2) 및 제2 수평 시야각(θh2)을 가질 수 있다. 예를 들면, 상기 제2 수직 시야각 및 상기 제2 수평 시야각은 60도 내지 120도의 각도 범위를 가질 수 있다.

상기 제1 영상은 상부 카메라(110)를 통해 전방 상부를 초점으로 촬상한 영상이고, 상기 제2 영상은 하부 카메라(120)를 통해 전방 하부를 초점으로 촬상한 영상일 수 있다.

상부 카메라(110)의 제1 수직 시야각(θv1) 및 하부 카메라(120)의 제2 수직 시야각(θv2)이 일부 중첩되고 상부 카메라(110)의 제1 수평 시야각(θh1) 및 하부 카메라(120)의 제2 수평 시야각(θh2)이 일부 중첩되도록 설정하여, 상기 제1 영상 및 제2 영상이 서로 부분적으로 중복될 수 있다.

예시적인 실시예들에 있어서, 상부 카메라(110)는 센터 핀(16)의 중심축(조향 중심축)과 일치되거나 후방에 설치되고, 하부 카메라(120)는 센터 핀(16)의 중심축으로부터 전방에 설치될 수 있다.

상부 카메라(110) 및 하부 카메라(120)는 상기 조향 중심축에 대하여 서로 다른 위치에 설치되므로, 도 3에 도시된 바와 같이, 전방 차체(12)의 좌측(또는 우측) 굴절 시에 상부 카메라(110)가 바라보는 방향과 하부 카메라(120)가 바라보는 방향이 서로 달라지게 된다. 후술하는 바와 같이, 영상 처리 장치(200)는 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성하되, 상기 합성된 영상에서 제1 영상(IM1) 및 제2 영상(IM2) 중에서 적어도 어느 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 휠 로더(10)의 조향 힌지 각도(steering hinge angle)(θs)에 정합되도록 영상을 처리할 수 있다.

예시적인 실시예들에 있어서, 영상 처리 장치(200)는 상부 카메라(110) 및 하부 카메라(120)로부터 촬상한 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성하되, 제1 영상(IM1) 및 제2 영상(IM2)에서 객체를 인식하고 상기 인식된 객체의 경고 정보를 결정하고 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고 상기 객체의 경고 정보를 라벨링 처리할 수 있다. 또한, 영상 처리 장치(200)는 상부 카메라(110)로부터 촬상한 제1 영상(IM1)에서 전방 차체(12)의 형상을 인식하고 상기 인식된 형상으로부터 전방 차체(12)의 조향 힌지 각도(θs)를 결정하고 상기 결정된 조향 힌지 각도에 따라 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상이 투명화 처리되는 투명화 처리 영역(R3)의 위치를 설정할 수 있다.

도 5에 도시된 바와 같이, 영상 처리 장치(200)는 영상 데이터 수신부(210), 객체 인식부(220), 조향 각도 결정부(230) 및 영상 처리부(240)를 포함할 수 있다. 영상 처리 장치(200)는 건설기계의 제어 장치 또는 디스플레이 장치에 내장된 제어 장치의 형태로 설치될 수 있다.

구체적으로, 영상 데이터 수신부(210)는 제1 데이터 수신부(212) 및 제2 데이터 수신부(214)를 포함할 수 있다. 제1 데이터 수신부(212)는 상부 카메라(110)를 통해 촬상한 제1 영상(IM1)의 영상 데이터를 수신할 수 있다. 제2 데이터 수신부(214)는 하부 카메라(120)를 통해 촬상한 제2 영상(IM2)의 영상 데이터를 수신할 수 있다.

객체 인식부(220)는 제1 형상 인식부(222), 제2 형상 인식부(224) 및 경고 정보 결정부(226)를 포함할 수 있다.

제1 형상 인식부(222)는 제1 데이터 수신부(212)로부터 입력받은 제1 영상 데이터에 기초하여 객체를 인식하여 상기 객체의 위치를 결정할 수 있다. 제1 형상 인식부(222)는 제1 영상(IM1)에서 사전에 결정된 제1 알고리즘을 통해 사람, 건설장비(굴삭기, 휠로더 등), 자동차 등을 객체로 인식하고, 상기 객체의 인식 데이터를 출력할 수 있다. 상기 인식 데이터는 제1 영상(IM1)의 이미지 좌표계에서의 상기 객체의 위치에 대한 데이터를 포함할 수 있다.

제2 형상 인식부(224)는 제2 데이터 수신부(214)로부터 입력받은 제2 영상 데이터에 기초하여 객체를 인식하여 상기 객체의 위치를 결정할 수 있다. 제2 형상 인식부(224)는 제2 영상(IM2)에서 사전에 결정된 제2 알고리즘을 통해 사람, 건설장비(굴삭기, 휠로더 등), 자동차 등을 객체로 인식하고, 제2 영상(IM2)의 이미지 좌표계에서의 상기 객체의 위치에 대한 인식 데이터를 출력할 수 있다. 상기 인식 데이터는 제2 영상(IM2)의 이미지 좌표계에서의 상기 객체의 위치에 대한 데이터를 포함할 수 있다.

제1 및 제2 형상 인식부들(222, 224)은 상기 제1 및 제2 영상들에서의 실제 이미지와 영상 처리 장치(200)의 저장부에 저장된 객체의 학습 이미지를 비교하고, 상기 실제 이미지와 상기 객체의 이미지가 동일하면 상기 객체로 인식할 수 있다. 여기서, 상기 객체의 학습 이미지는 카메라에서 촬영한 다양한 형상들을 기계 학습하여 저장된 이미지들을 포함할 수 있다. 기계 학습(Machine Learning)은 인공 지능의 한 분야로 컴퓨터와 같은 처리 장치가 학습할 수 있도록 하는 알고리즘을 의미할 수 있다.

제1 및 제2 형상 인식부들(222, 224)은 동일한 학습 모델을 사용할 수 있으나, 상기 제1 영상 및 상기 제2 영상에서의 학습을 위한 영상 데이터 세트를 서로 다를 수 있다. 제1 및 제2 형상 인식부들(222, 224)는 상기 객체가 위치하는 상기 제1 영상 및 상기 제2 영상에서의 픽셀들의 위치들을 파악하여 상기 객체의 위치를 결정하고 결정된 위치 데이터를 출력할 수 있다.

경고 정보 결정부(226)는 제1 및 제2 형상 인식부들(222, 224)로부터의 상기 객체의 인식 데이터에 기초하여 상기 인식된 객체의 경고 정보를 결정할 수 있다.

구체적으로, 경고 정보 결정부(226)는 제1 형상 인식부(222)로부터의 상기 제1 영상에서의 상기 객체의 위치 데이터를 기준으로 상기 객체에 대하여 표시할 경고 정보를 라벨링(labeling)할 수 있다. 예를 들면, 경고 정보 결정부(226)는 상기 인식된 객체가 제1 영상(IM1)에서 투명화 처리 영역에 대응하는 제1 영역(R1) 외부에 위치할 경우, 상기 경고 정보를 제1 라벨(OL1)로 결정할 수 있다.

경고 정보 결정부(226)는 제2 형상 인식부(224)로부터의 상기 제2 영상에서의 상기 객체의 위치 데이터를 기준으로 상기 객체에 대하여 표시할 경고 정보를 라벨링할 수 있다. 경고 정보 결정부(226)는 상기 인식된 객체의 위치가 제2 영상(IM2)에서 투명화 처리 영역에 대응하는 제2 영역(R2) 내부에 있을 경우, 경고 정보를 제2 라벨(OL2)로 결정할 수 있다.

조향 각도 결정부(230)는 제1 데이터 수신부(212)로부터 입력받은 제1 영상 데이터에 기초하여 전방 차체(12)을 객체로 인식하여 상기 전방 차체의 위치를 결정하고 상기 결정된 전방 차체의 위치로부터 전방 차체(12)의 조향 힌지 각도(θs)를 결정할 수 있다.

조향 각도 결정부(230)는 제1 영상(IM1)에서 사전에 결정된 알고리즘을 통해 전방 차체(12)의 어태치먼트(붐(20) 또는 버켓(30))의 형상을 인식하고 상기 인식된 형상으로부터 상기 전방 차체의 조향 힌지 각도를 산출할 수 있다.

예를 들면, 조향 각도 결정부(230)는 허프 변환(Hough Transform)을 활용할 수 있다. 제1 영상(IM1)에서 전방 차체(12)의 붐(20)의 형상을 에지 알고리즘(edge algorithm)을 통해 추출하고, 상기 추출된 붐의 형상에 허프 변환을 적용하여 붐(20)의 중심 부분, 좌측 가장자리 및 우측 가장자리로부터 연장하는 라인들의 교차 각도를 인식하고, 상기 인식된 교차 각도로부터 상기 전방 차체의 조향 힌지 각도를 산출할 수 있다.

영상 처리부(240)는 영상 데이터 수신부(210)로부터 입력받은 상기 제1 및 제2 영상 데이터로부터 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성할 수 있다. 영상 처리부(240)는 상부 카메라(110) 및 하부 카메라(120)를 통해 촬상한 상기 제1 영상 및 상기 제2 영상에서 중복되는 영상을 매칭하여 하나의 영상으로 합성할 수 있다. 영상 처리부(240)는 투명화 처리 영역(R3)에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리할 수 있다. 투명화 처리 영역(R3)은 표시 장치(300)의 전체 표시 영역 중에서 상기 전방 작업장치(붐 및 버켓의 적어도 일부분들)가 승하강하여 침범할 때 작업자의 시야가 가려지는 영역을 포함하도록 정의될 수 있다. 예를 들면, 상기 투명화 처리 영역은 휠 로더가 전방으로 주행할 때 상기 휠 로더의 차폭 또는 상기 버켓의 수평 방향으로 폭 정도의 크기를 갖도록 결정될 수 있다.

상기 투명화 처리는 상기 합성된 영상의 상기 투명화 처리 영역 내에서 상기 제1 영상 또는 상기 제2 영상을 제거 또는 반투명하게 처리하여 배경 영상과 중첩되도록 하거나 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 형태만을 식별 가능하도록 할 수 있다. 예를 들면, 알파 블렌딩(Alpha Blending) 기법 등을 이용하여 상기 투명화 처리 영역 내의 상기 제1 영상 또는 상기 제2 영상을 합성된 영상에서 제거시킬 수 있다.

영상 처리부(240)는 경고 정보 결정부(226)로부터 상기 인식된 객체의 경고 정보를 수신하고, 상기 투명화 처리된 합성 영상에서 상기 인식된 객체의 경고 정보를 라벨링 처리할 수 있다. 영상 처리부(240)는 상기 합성된 영상에서 상기 인식된 객체에 바운딩 박스, 박스 음영 또는 기타 표기를 통해 상기 경고 정보를 라벨링할 수 있다. 또한, 영상 처리부(240)는 상기 바운딩 박스를 블링킹(blinking) 처리하거나 상기 객체의 하단부에 타원형 형태의 바(bar)를 이용하여 상기 경고 정보를 라벨링할 수 있다.

예시적인 실시예들에 있어서, 상기 인식된 객체가 제1 영상(IM1)에서 제1 영역(R1) 외부에 위치할 경우, 영상 처리부(240)는 상기 제1 라벨(OL1)의 경고 정보를 반영하여 상기 합성된 영상에서 상기 인식된 객체에 제1 색깔(예를 들면, 파란색)의 바운딩 박스로 표시 처리할 수 있다. 상기 인식된 객체가 제2 영상(IM2)에서 제2 영역(R2) 내부에 위치할 경우, 영상 처리부(240)는 상기 제2 라벨(OL2)의 경고 정보를 반영하여 상기 합성된 영상에서 상기 인식된 객체에 제2 색깔(예를 들면, 빨간색)의 바운딩 박스로 표시 처리할 수 있다. 이 때, 상기 제2 색깔(빨간색)은 상기 제1 색깔(파란색)에 비해 더욱 위험한 상황이 발생될 가능성이 높음을 작업자에게 알려줄 수 있다. 또한, 영상 처리부(240)는 이러한 위험 발생 가능성이 높은 상황에서, 상기 합성된 영상에서 투명화 처리 영역(R3) 내부를 빨간색 이미지를 합성하거나 빨간색 이미지가 블링킹하도록 블링킹 처리할 수 있다.

도 6 내지 도 8에 도시된 바와 같이, 영상 처리부(240)는 제1 영상(M1)을 기준으로 제2 영상(M2)의 일부를 크롭(crop)한 후 제2 영상(M2)의 크롭된 영상을 제1 영상(M1)에 합성할 수 있다.

먼저, 제1 영상(M1)에서 투명화 처리 영역(R3)에 해당하는 제1 영역(R1)을 제1 투명도를 갖도록 투명 처리할 수 있다. 제2 영상(M2)에서 투명화 처리 영역(R3)에 해당하는 제2 영역(R2)을 크롭 영역으로 결정하고 상기 결정된 제2 영역을 제2 투명도를 갖도록 투명 처리할 수 있다. 상기 제1 투명도 및 상기 제2 투명도는 서로 동일하거나 다르게 설정될 수 있다. 상기 제1 및 제2 투명도들은, 예를 들면, 150/255 내지 230/255 수준으로 조정할 수 있다. 이 때, 상기 제2 영상으로부터 추출된 크롭 영상의 투명도를 조정하지 않을 수 있다. 이어서, 제2 영상(M2)에서 추출된 크롭 영상을 제1 영상(M1)의 투명화 처리 영역(R3)에 합성할 수 있다. 이 때, 상기 크롭 영역의 면적이 상기 제1 영상에서의 제1 영역(R1)의 면적보다 작을 경우, 상기 크롭 영상을 확대하고 확대된 크롭 영상을 상기 제1 영상의 제1 영역(R1)에 합성할 수 있다.

휠 로더 전방에 자동차가 있을 경우, 도 6의 상기 제1 영상에서는 붐 또는 버켓에 의해 가려져 상기 자동차를 정확히 확인할 수 없지만, 도 7의 상기 제2 영상에서는 상기 자동차를 확인할 수 있다. 도 7의 상기 제2 영상으로부터 추출된 크롭 영상에서는 상기 자동차의 영상이 포함될 수 있다. 상기 크롭 영상이 상기 제1 영상의 제1 영역(R1)으로 합성되므로, 도 8의 합성된 영상의 투명화 처리 영역(R3)에서는 도 7로부터 추출된 자동차의 영상을 확인할 수 있다. 이에 따라, 작업장치에 의해 제한된 전방 시야를 개선할 수 있다.

이와 함께, 객체 인식부(220)는 제1 영상(M1) 및 제2 영상(M2)에서 객체를 인식하고 상기 인식된 객체의 경고 정보를 결정할 수 있다. 영상 처리부(240)는 상기 투명화 처리된 합성 영상에서 상기 인식된 객체의 경고 정보를 라벨링 처리할 수 있다.

도 6에 도시된 바와 같이, 객체 인식부(220)는 제1 영상(M1)에서 굴삭기를 인식하고, 상기 인식된 굴삭기가 제1 영상(IM1)에서 제1 영역(R1) 외부에 위치할 경우, 상기 인식된 굴삭기에 대한 경고 정보를 제1 라벨(OL1)로 결정할 수 있다.

도 7에 도시된 바와 같이, 객체 인식부(220)는 제2 영상(M2)에서 자동차를 인식하고, 상기 인식된 자동차가 제2 영상(IM2)에서 제2 영역(R2) 외부에 위치할 경우, 상기 인식된 자동차에 대한 경고 정보를 제2 라벨(OL2)로 결정할 수 있다.

도 8에 도시된 바와 같이, 영상 처리부(240)는 상기 합성된 영상에서 상기 인식된 굴삭기에 파란색의 바운딩 박스(A)로 표시 처리하고 상기 인식된 자동차에 빨간색의 바운딩 박스(B)로 표시 처리를 할 수 있다. 또한, 영상 처리부(240)는 이러한 충돌 가능성이 높은 상황에서, 상기 합성된 영상에서 투명화 처리 영역(R3) 내부를 빨간색 이미지를 합성하거나 빨간색 이미지가 블링킹하도록 블링킹 처리할 수 있다.

이에 따라, 작업자는 빨간색의 바운딩 박스(B) 또는 투명화 처리 영역(R3) 내의 빨간색 이미지 블링킹을 통해 휠 로더 전방에 충돌 가능성이 높은 객체가 있음을 인식할 수 있다.

예시적인 실시예들에 있어서, 영상 처리부(240)는 조향 각도 결정부(230)로부터 획득한 상기 전방 차체의 상기 굴절 각도 정보에 따라 상기 합성된 영상에서의 투명화 처리 영역(R3)의 위치를 설정할 수 있다. 영상 처리부(240)는 조향 각도 결정부(230)에 의해 산출된 상기 전방 차체의 조향 힌지 각도(steering hinge angle)(θs)에 따라 투명화 처리 영역(R3)의 위치를 조정할 수 있다.

상기 투명화 처리 영역의 위치는 상기 결정된 조향 힌지 각도를 추종하도록 조정될 수 있다. 조향 장치에 의해 상기 조향 실린더의 스트로크가 변화함에 따라 전방 차체(12)는 좌측(또는 우측)으로 굴절하게 되고, 이 때, 붐(20) 및 버켓(30)을 포함한 전방 작업장치가 최초 설정된 투명화 처리 영역을 벗어나게 됨으로써 전방 시야가 가려질 수 있다. 조향 각도 결정부(230)는 좌측(또는 우측)으로 굴절된 전방 차체(12)의 형상을 인식하고 상기 인식된 형상으로부터 상기 전방 차체의 조향 힌지 각도를 산출할 수 있다. 영상 처리부(240)는 상기 결정된 조향 힌지 각도를 추종하도록 상기 투명화 처리 영역의 위치를 자동으로 변경시킬 수 있다.

도 3에서 건설기계가 좌측(또는 우측 조향) 상태에 있을 경우, 투명화 처리 영역(R3)은 조향 각도 결정부(230)에 의해 결정된 상기 전방 차체의 굴절 각도 정보에 따라 표시 장치 화면(300)의 좌측(또는 우측)으로 이동될 수 있다. 이 경우에 있어서, 투명화 처리 영역(R3)의 위치는 상기 굴절 각도 정보에 따라 좌측(또는 우측)으로 이동되고, 이동된 투명화 처리 영역(R3)에서 상기 제1 영상 및 상기 제2 영상 중 적어도 어느 하나의 영상이 투명화 처리될 수 있다.

예시적인 실시예들에 있어서, 상기 작업장치 자세 검출부는 상기 전방 작업장치가 표시 장치(300)의 표시 영역 내의 투명화 처리 영역(R3)을 침범하는 지 여부를 검출할 수 있다. 영상 처리부(240)는 상기 작업장치 자세 검출부에 의해 검출된 상기 전방 작업장치의 자세에 기초하여 상기 전방 작업장치의 적어도 일부가 상기 투명화 처리 영역에 대응되는 위치를 침범하는 것에 대응하여 투명화 처리를 할 수 있다.

상기 전방 작업장치의 자세는 버켓(30)의 위치(지면으로부터의 버켓의 높이) 또는 붐(20)의 자세(붐의 회전 각도)가 포함될 수 있다. 이를 위해 상기 작업장치 자세 검출부는 버켓(30)의 위치 또는 붐(20)의 자세를 검출하기 위한 붐 각도 센서(24)를 포함할 수 있다. 아울러, 붐(20)과 버켓(30)의 상대 회전각을 검출하기 위한 버켓 각도 센서(도시되지 않음)를 포함할 수 있다. 붐 각도 센서(24)를 대신하여 붐(20)을 구동시키는 실린더의 스트로크를 검출하는 변위 센서를 포함할 수 있다.

또한, 상기 작업장치 자세 검출부는 카메라를 통해 촬상된 상기 전방 작업장치의 이미지를 분석하여 상기 전방 작업장치의 자세를 판단하는 이미지 분석 장치(예를 들면, 형상 인식부)를 포함할 수 있다.

붐 각도 센서(24)는 붐(20)의 회전 각도를 검출하고 이에 기초하여 버켓(30)의 위치에 대한 정보를 제공할 수 있다. 도 2에 도시된 바와 같이, 붐(20)의 회전 각도는 붐(20)(버켓(30))의 최저 위치(0%)에서의 연장선(L)과 붐(20)의 연장선(R) 사이의 각도(θ)일 수 있다. 붐(20)의 최고 위치(max boom height)에서 붐(20)의 회전 각도는 θmax.height이고, 이 때, 붐(버켓) 위치는 최대 높이(100%)일 수 있다.

영상 처리부(240)는 상기 붐의 회전 각도 검출값을 수신하고, 이에 기초하여 제1 영상(M1)의 제1 영역(R1)에서의 제1 투명도 및 제2 영상(M2)의 제2 영역(R2)에서의 제2 투명도를 결정할 수 있다.

예를 들면, 영상 처리부(240)는 상기 전방 작업장치의 적어도 일부가 상기 투명화 처리 영역을 침범하지 않은 것으로 판단될 수 있는 상기 버켓 또는 붐 위치가 기 설정된 위치(투명화 전환 위치)보다 낮을 때 상기 합성된 영상에서 상기 제2 영상을 투명화할 수 있다. 아울러, 상기 전방 작업장치가 상기 투명화 처리 영역을 침범한 것으로 판정될 수 있는 상기 버켓 또는 상기 붐 위치가 기 설정된 위치(투명화 전환 위치)보다 높은 상태일 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 예를 들면, 상기 기 설정된 붐의 위치는 붐(20)의 회전 각도(θ)가 15도 내지 20도 범위 이내에 있도록 설정될 수 있다.

버켓(30)이 최저 위치(0%)에서부터 상기 기 설정된 버켓 위치, 즉, 상기 투명화 처리 영역의 경계인 투명화 전환 위치 사이에 있을 때 하부 카메라(120)로부터 촬상된 상기 제2 영상을 투명화 처리함으로써, 상부 카메라(110)로 구현되는 피사체가 중점이 되도록 표시될 수 있다. 버켓(30)이 상대적으로 낮은 위치에 있을 때 하부 카메라(120)로부터 촬상된 제2 영상에서는 붐(20) 및 버켓(30)을 포함한 상기 전방 작업장치에 의해 전방 차체(12) 전방 시야가 가려질 수 있다. 영상 처리부(220)는 상기 제2 영상을 투명화 처리하고 상기 제1 영상을 중점으로 하여 표시함으로써 상기 전방 작업장치에 의해 시야가 가려지는 것을 방지할 수 있다.

버켓(30)이 상승 또는 하강하여 상기 기 설정된 버켓 위치(투명화 전환 위치)를 지날 때, 영상 처리부(240)에 의해 투명화 처리되는 상기 투명화 처리 영역 내에 위치하는 영상은 상기 제2 영상에서 상기 제1 영상으로 또는 상기 제1 영상에서 상기 제2 영상으로 전환될 수 있다.

이와 다르게, 영상 처리부(240)는 상기 붐의 회전 각도(θ)가 제1 각도 범위에 있을 때 상기 합성된 영상에서 상기 제2 영상을 투명화하고, 상기 붐의 회전 각도(θ)가 제2 각도 범위에 있을 때 상기 합성된 영상의 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들을 투명화하고, 상기 붐의 회전 각도(θ)가 제3 각도 범위에 있을 때 상기 합성된 영상에서 상기 제1 영상을 투명화할 수 있다. 예를 들면, 상기 제1 각도 범위는 0도 내지 15도의 범위 이내이고, 상기 제2 각도 범위는 15도 내지 25도의 범위 이내이고, 상기 제3 각도 범위는 25도 내지 45도 범위 이내에 있도록 설정될 수 있다.

예시적인 실시예들에 있어서, 입력부(400)를 통해 영상 처리 장치(200)에서의 영상 처리 조건을 설정할 수 있다. 예를 들면, 상기 영상 처리 조건은 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적에 대한 것일 수 있다. 상기 투명화 처리 영역이 결정됨에 따라 상기 제1 및 제2 영상들의 투명화 전환 위치, 표시 장치(300)의 전체 표시 영역 중에서의 투명화 처리 영역 등이 설정될 수 있다. 예를 들면, 상기 투명화 전환 위치는 상기 투명화 처리 영역의 경계 위치를 의미할 수 있고, 버켓(30)이 이동하여 상기 투명화 처리 영역의 경계에 위치할 때 투명화 전환을 위한 기 설정된 위치에 버켓(30)이 위치한 것으로 간주할 수 있다. 상기 투명화 처리 영역의 면적 및 위치, 상기 투명화 전환 시점 등은 장비의 기종에 따라 제조사에서 고정되게 설정할 수 있고, 작업자 또는 정비 인원이 자유롭게 변경 설정할 수 있다.

예를 들면, 입력부(400)는 계기판 옵션 형태로 구현될 수 있으며, 작업자는 입력부(400)를 통해 상기 투명화 전환 시점, 상기 투명화 처리 영역 등을 변경할 수 있다.

상술한 바와 같이, 상기 투명화 처리 영역 및 상기 투명화 전환 시점이 설정되면, 표시 장치(300)는 상기 카메라부의 촬영 영상이 투명화 처리 되어 표시되는 투명화 처리 영역(R3) 및 투명화 처리 영역(R3)의 외부 영역으로 구분하여 영상을 디스플레이 할 수 있다. 표시 장치(300)는 투명화 처리 영역(R3)의 구분이 가능하도록 투명화 처리 영역(R3)의 외곽선을 부가적으로 표시할 수도 있고, 상기 외곽선 없이 투명화 처리에 따른 영상을 투명화 처리 영역(R)의 외부 영역의 영상과 연결하여 표시할 수 있다.

또한, 표시 장치(300)는 투명화 처리 영역(R3)의 외부 영역에서는 제 1 영상을 디스플레이 할 수 있고, 투명화 처리 영역(R3)의 내부 영역에서는 투명화 처리 진행에 따라 상기 제1 영상, 상기 제2 영상 또는 상기 제1 및 제2 영상들 중 적어도 어느 하나가 중점으로 표시되는 투명화 영상을 디스플레이 할 수 있다.

예를 들면, 버켓(30)이 투명화 처리 영역(R3)의 외부 영역에 위치할 때 표시 장치(300)는 투명화 처리 영역(R3)과 투명화 처리 영역(R3)의 외부 영역을 상호 연결하는 제1 영상만을 디스플레이 할 수 있다. 또한, 버켓(30)의 적어도 일부가 투명화 처리 영역(R3) 내부에 위치할 때 표시 장치(300)는 투명화 처리 영역(R3) 내부는 제2 영상이 중점으로 표시되는 투명화 처리 영상 또는 제2 영상을 디스플레이하고, 투명화 처리 영역(R3)의 외부 영역은 투명화 처리 영역(R3) 내의 영상만이 제외된 제1 영상을 디스플레이 할 수 있다.

이하에서는, 도 4의 건설기계의 제어 시스템을 이용하여 건설기계를 제어하는 방법에 대하여 설명하기로 한다. 이하의 설명도 앞서 설명한 방법과 같이 휠 로더를 기준으로 설명하기로 한다.

도 9는 예시적인 실시예들에 따른 휠 로더의 제어 방법을 나타내는 순서도이다. 도 10은 도 3에서 건설기계의 좌측 조향 시(LT 상태) 상부 카메라에 의해 촬상된 제1 영상에서 붐의 형상을 인식하여 조향 힌지 각도를 결정하는 단계를 나타내는 도면이다. 도 11은 도 10에서 결정된 조향 힌지 각도에 따라 투명화 처리 영역의 위치를 조정하는 단계를 나타내는 도면이다.

도 1 내지 도 11을 참조하면, 먼저, 휠 로더(10)에 설치되는 상부 카메라(110) 및 하부 카메라(120)를 통해 제1 영상(IM1) 및 제2 영상(IM2)을 획득하고(S10), 제1 영상(IM1)으로부터 전방 차체(12)에 대한 인식 데이터를 획득하고(S20), 상기 인식 데이터로부터 전방 차체(12)의 굴절 각도를 결정할 수 있다(S30). 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성하고(S40), 상기 굴절 각도 정보에 따라 투명화 처리 영역(R3)의 위치를 설정할 수 있다(S50).

예시적인 실시예들에 있어서, 운전실(40) 상에 설치된 상부 카메라(110)를 이용하여 운전실(40)의 전방에 대한 제1 영상(IM1)을 획득할 수 있다. 전방 차체(12)에 설치된 하부 카메라(120)를 이용하여 전방 차체(12)의 전방에 대한 제2 영상(IM2)을 획득할 수 있다.

상기 제1 영상은 상부 카메라(110)를 통해 전방 상부를 초점으로 촬상한 영상이고, 상기 제2 영상은 하부 카메라(120)를 통해 전방 하부를 초점으로 촬상한 영상일 수 있다. 상부 카메라(110)의 제1 수직 시야각(θv1) 및 하부 카메라(120)의 제2 수직 시야각(θv2)이 일부 중첩되고 상부 카메라(110)의 제1 수평 시야각(θh1) 및 하부 카메라(120)의 제2 수평 시야각(θh2)이 일부 중첩되도록 설정하여, 상기 제1 영상 및 상기 제2 영상이 서로 부분적으로 중복될 수 있다.

예를 들면, 상부 카메라(110)는 센터 핀(16)의 중심축(선회 중심축)과 일치되거나 후방에 설치되고, 하부 카메라(120)는 센터 핀(16)의 중심축으로부터 전방에 설치될 수 있다. 상부 카메라(110) 및 하부 카메라(120)는 상기 선회 중심축에 대하여 서로 다르게 설치되므로, 도 3에 도시된 바와 같이, 전방 작업장치가 연결된 전방 차체(12)가 좌측(또는 우측) 선회 시에 상부 카메라(110)가 바라보는 방향과 하부 카메라(120)가 바라보는 방향이 서로 달라지게 된다.

예시적인 실시예들에 있어서, 조향 각도 결정부(230)는 상부 카메라(110)를 통해 획득한 제1 영상(IM1)에서 전방 차체(12)을 객체로 인식하고 전방 차체(12)의 조향 힌지 각도(θs)를 결정할 수 있다. 영상 처리부(240)는 제1 영상(IM1) 및 제2 영상(IM2)을 매칭하여 하나의 영상으로 합성할 수 있다. 영상 처리부(240)는 조향 각도 결정부(230)로부터 획득한 상기 전방 차체의 상기 굴절 각도 정보에 따라 상기 합성된 영상에서의 상기 투명화 처리 영역의 위치를 설정할 수 있다.

조향 장치에 의해 전방 차체(12)가 좌측으로 굴절하게 되면, 붐(20) 및 버켓(30)을 포함한 전방 작업장치가 최초 설정된 투명화 처리 영역을 벗어나게 되어 전방 시야가 가려질 수 있다. 이 때, 조향 각도 결정부(230)는 제1 영상(IM1)에서 사전에 결정된 알고리즘을 통해 전방 차체(12)의 어태치먼트(붐(20) 또는 버켓(30))의 형상을 인식하고 상기 인식된 형상으로부터 상기 전방 차체의 조향 힌지 각도를 산출할 수 있다.

도 10에 도시된 바와 같이, 건설기계의 좌측 조향 시(LT 상태), 조향 각도 결정부(230)는 제1 영상(IM1)에서 전방 차체(12)의 붐(20)의 형상을 에지 알고리즘(edge algorithm)을 통해 추출하고, 상기 추출된 붐의 형상에 허프 변환(Hough Transform)을 적용하여 붐(20)의 중심 부분, 좌측 가장자리 및 우측 가장자리로부터 연장하는 라인들(L1, L2, L3)의 교차 각도를 인식하고, 상기 인식된 교차 각도로부터 상기 전방 차체의 조향 힌지 각도를 산출할 수 있다.

도 11에 도시된 바와 같이, 영상 처리부(230)는 조향 각도 결정부(230)에 의해 결정된 조향 힌지 각도를 추종하도록 투명화 처리 영역(R3)의 위치를 자동으로 변경시킬 수 있다.

이어서, 투명화 처리 영역(R3) 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고(S60), 상기 투명화 처리된 합성 영상을 표시 장치(300)를 통해 표시할 수 있다(S70).

예시적인 실시예들에 있어서, 영상 처리부(240)는 영상 데이터 수신부(210)로부터 입력받은 상기 제1 및 제2 영상 데이터로부터 제1 영상(IM1) 및 제2 영상(IM2)을 하나의 영상으로 합성할 수 있다. 영상 처리부(240)는 상부 카메라(110) 및 하부 카메라(120)를 통해 촬상한 상기 제1 영상 및 상기 제2 영상에서 중복되는 영상을 매칭하여 하나의 영상으로 합성할 수 있다. 영상 처리부(240)는 투명화 처리 영역(R3)에서 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리할 수 있다.

예시적인 실시예들에 있어서, 전방 작업장치의 자세에 기초하여 상기 전방 작업장치의 적어도 일부가 상기 투명화 처리 영역에 대응되는 위치를 침범하는 것에 대응하여 투명화 처리를 할 수 있다.

예시적인 실시예들에 있어서, 상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정할 수 있다. 입력부(400)를 통해 영상 처리 장치(200)에서의 영상 처리 조건을 설정할 수 있다. 예를 들면, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점, 표시 장치(300)의 전체 표시 영역 중에서의 상기 투명화 처리 영역이 차지하는 면적 등을 포함할 수 있다. 상기 제1 및 제2 영상들의 투명화 전환 시점은 상기 버켓(30) 또는 붐(20)의 위치와 상기 기 설정된 버켓 또는 붐 위치에 의해 결정될 수 있다. 상기 투명화 처리 영역은 장비의 기종에 따라 선택될 수 있다.

예를 들면, 입력부(400)는 계기판 옵션 형태로 구현될 수 있으며, 작업자는 입력부(400)를 통해 상기 투명화 전환 시점, 상기 투명화 처리 영역의 면적 등을 변경할 수 있다. 입력부(400)는 운전실 내부에 마련된 별도의 조작장치, 상기 표시 장치에 일체로 마련된 조작장치 또는 상기 표시 장치의 디스플레이 화면을 구성하는 터치 스크린의 형태로 제공될 수 있다. 이에 따라, 작업자는 작업시 주의가 필요한 물체의 주위를 투명화 처리 영역으로 설정하는 등 다양한 영상 처리 조건의 설정이 가능하다.

상술한 바와 같이, 휠 로더(10)의 운전실(40) 상에 설치된 상부 카메라(110) 및 전방 차체(12) 상에 설치된 하부 카메라(120)로부터 촬상된 상기 제1 영상 및 상기 제2 영상을 하나의 영상으로 합성하고, 투명화 처리 영역(R3) 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고, 상기 투명화 처리된 영상을 표시 장치(300)를 통해 표시할 수 있다.

또한, 상부 카메라(110)와 하부 카메라(120)의 장착 위치들이 서로 상이하므로, 좌측 또는 우측 조향 시에 버켓(30)이 투명화 처리 영역(R3)을 벗어나 일치하지 않을 수 있다. 휠 로더(10)의 조향 시에, 별도의 각도 센서나 조향 실린더 변위 센서 없이, 카메라 영상만으로 전방 차체(12)의 조향 힌지 각도를 결정하고 제1 영상(IM1) 및 제2 영상(IM2)이 합성된 영상에서 투명화 처리 영역(R3)의 위치를 상기 결정된 조향 힌지 각도에 정합되도록 영상을 처리할 수 있다.

따라서, 휠 로더(10)의 조향 시에도 붐(20) 및 버켓(30)을 포함한 상기 전방 작업장치에 의해 전방 시야가 가려지는 것을 방지할 수 있다. 이에 따라, 작업자의 인지력을 증가시켜 안정성을 확보하여 안전 사고를 미연에 방지할 수 있다.

이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 휠 로더 12: 전방 차체
14: 후방 차체 20: 붐
22: 붐 실린더 24: 붐 각도 센서
30: 버켓 32: 버켓 실린더
34: 틸트 암 40: 운전실
70: 전방 휠 100: 카메라부
110: 제1 카메라 120: 제2 카메라
150: 각도 정보 검출부 200: 영상 처리 장치
210: 영상 데이터 수신부 212: 제1 데이터 수신부
214: 제2 데이터 수신부 220: 객체 인식부
222: 제1 형상 인식부 224: 제2 형상 인식부
226: 경고 정보 결정부 230: 조향 각도 결정부
240: 영상 처리부 300: 표시 장치
400: 입력부

Claims

후방 차체의 운전실 상에 설치되어 상기 운전실 전방을 촬상하는 상부 카메라;
상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치되어 상기 전방 차체 전방을 촬상하는 하부 카메라;
상기 상부 카메라로부터 촬상된 제1 영상에서 상기 전방 차체의 형상을 인식하여 상기 전방 차체의 굴절 각도를 결정하기 위한 조향 각도 결정부;
상기 상부 카메라 및 상기 하부 카메라로부터 각각 촬상된 제1 영상 및 제2 영상을 하나의 영상으로 합성하되, 상기 조향 각도 결정부에 의해 결정된 굴절 각도에 따라 상기 합성된 영상에서 상기 제1 및 제2 영상들 중 적어도 하나의 영상이 투명화 처리되는 투명화 처리 영역의 위치를 설정하기 위한 영상 처리부; 및
상기 영상 처리부에서 합성된 합성 영상을 표시하기 위한 표시 장치를 포함하는 건설기계의 제어 시스템.
제 1 항에 있어서, 상기 조향 각도 결정부는 사전에 결정된 알고리즘을 통해 상기 제1 영상에서 상기 전방 차체의 어태치먼트의 형상을 인식하고 상기 인식된 형상으로부터 상기 전방 차체의 조향 힌지 각도를 산출하는 건설기계의 제어 시스템.
제 2 항에 있어서, 상기 조향 각도 결정부는 상기 제1 영상에서 상기 전방 차체의 붐의 형상을 에지 알고리즘을 통해 추출하고, 상기 추출된 붐의 형상에 허프 변환을 적용하여 상기 전방 차체의 조향 힌지 각도를 산출하는 건설기계의 제어 시스템.
제 1 항에 있어서, 상기 영상 처리부는 상기 제1 영상을 기준으로 상기 제2 영상의 일부를 크롭한 후 상기 제2 영상의 크롭된 영상을 상기 제1 영상에 합성하도록 하는 건설기계의 제어 시스템.
제 1 항에 있어서, 상기 영상 처리부는,
상기 제1 영상에서 상기 투명화 처리 영역에 해당하는 제1 영역을 제1 투명도를 갖도록 투명 처리하고,
상기 제2 영상에서 상기 투명화 처리 영역에 해당하는 제2 영역을 크롭 영역으로 결정하고 상기 결정된 제2 영역을 제2 투명도를 갖도록 투명 처리하고,
상기 제2 영상에서 추출된 크롭 영상을 상기 제1 영상에 합성하는 건설기계의 제어 시스템.
제 5 항에 있어서, 상기 제1 투명도 및 상기 제2 투명도는 서로 동일하거나 다르게 설정되는 건설기계의 제어 시스템.
제 1 항에 있어서, 상기 영상 처리부는 상기 제1 영상의 일부를 제1 합성 영역으로 설정하고 상기 제2 영상의 일부를 제2 합성 영역으로 설정하고, 상기 제2 영상의 상기 제2 합성 영역을 반투명 처리하고, 상기 반투명 처리된 제2 합성 영역을 상기 제1 영상의 상기 제1 합성 영역에 합성하여 상기 합성된 합성 영상을 만드는 건설 기계의 제어 시스템.
제 1 항에 있어서,
상기 전방 작업장치의 자세를 검출하기 위한 작업장치 자세 검출부를 더 포함하고,
상기 영상 처리부는 상기 작업장치 자세 검출부에 의해 검출된 상기 전방 작업장치의 자세에 따라 상기 투명화 처리 영역에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 건설기계의 제어 시스템.
제 8 항에 있어서, 상기 영상 처리부는 상기 전방 작업장치의 적어도 일부가 기 설정된 위치를 침범할 때 상기 투명화 처리 영역에서 상기 제1 영상을 투명화하고, 상기 전방 작업장치가 상기 기 설정된 위치를 침범하지 않을 때 상기 투명화 처리 영역에서 상기 제2 영상을 투명화하는 건설기계의 제어 시스템.
제 1 항에 있어서,
상기 영상 처리부에서의 영상 처리 조건을 설정하기 위한 입력부를 더 포함하는 건설기계의 제어 시스템.
제 10 항에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적을 포함하는 건설기계의 제어 시스템.
제 1 항에 있어서, 상기 영상 처리부는, 상기 투명화 처리 영역에서 상기 제1 영상 또는 상기 제2 영상에서 촬상되고 투명화된 붐이나 버켓 외관의 아웃라인을 선 또는 점선 등으로 표시되도록 처리하는 건설 기계의 제어 시스템.
후방 차체의 운전실 상에 설치된 상부 카메라로부터 상기 운전실 전방의 제1 영상을 획득하고;
상기 후방 차체에 회전 가능하게 연결된 전방 차체 상에 설치된 하부 카메라로부터 상기 전방 차체 전방의 제2 영상을 획득하고;
상기 제1 영상에서 상기 전방 차체의 형상을 인식하여 상기 전방 차체의 굴절 각도를 결정하고;
상기 제1 및 제2 영상들을 하나의 영상으로 합성하고;
상기 결정된 전방 차체의 굴절 각도에 따라 상기 합성된 영상에서 투명화 처리 영역의 위치를 설정하고;
상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하고; 그리고
상기 투명화 처리된 영상을 표시 장치를 통해 표시하는 것을 포함하는 건설기계의 제어 방법.
제 13 항에 있어서, 상기 제1 영상에서 상기 전방 차체의 형상을 인식하여 상기 전방 차체의 굴절 각도를 결정하는 것은,
사전에 결정된 알고리즘을 통해 상기 제1 영상에서 상기 전방 차체의 어태치먼트의 형상을 인식하고; 그리고
상기 인식된 형상으로부터 상기 전방 차체의 조향 힌지 각도를 산출하는 것을 포함하는 건설기계의 제어 방법.
제 14 항에 있어서, 상기 사전에 결정된 알고리즘을 통해 상기 전방 차체의 어태치먼트의 형상을 인식하는 것은,
상기 제1 영상에서 상기 전방 차체의 붐의 형상을 에지 알고리즘을 통해 추출하고; 그리고
상기 추출된 붐의 형상에 허프 변환을 적용하는 것을 포함하는 건설기계의 제어 방법.
제 13 항에 있어서, 상기 제1 및 제2 영상들 중 적어도 하나의 영상을 투명화 처리하는 것은 상기 제1 영상을 기준으로 상기 제2 영상의 일부를 크롭한 후 상기 제2 영상의 크롭된 영상을 상기 제1 영상에 합성하는 것을 포함하는 건설기계의 제어 방법.
제 13 항에 있어서, 상기 제1 및 제2 영상들 중 적어도 하나의 영상을 투명화 처리하는 것은,
상기 제1 영상에서 상기 투명화 처리 영역에 해당하는 제1 영역을 제1 투명도를 갖도록 투명 처리하고;
상기 제2 영상에서 상기 투명화 처리 영역에 해당하는 제2 영역을 크롭 영역으로 결정하고 상기 결정된 제2 영역을 제2 투명도를 갖도록 투명 처리하고; 그리고
상기 제2 영상에서 추출된 크롭 영상을 상기 제1 영상에 합성하는 것을 포함하는 건설기계의 제어 방법.
제 13 항에 있어서,
상기 전방 작업장치의 자세를 검출하는 것을 더 포함하고,
상기 투명화 처리 영역 내에서 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 것은 상기 검출된 전방 작업장치의 자세에 따라 상기 제1 및 제2 영상들 중 적어도 어느 하나의 영상을 투명화 처리하는 것을 포함하는 건설기계의 제어 방법.
제 13 항에 있어서,
상기 제1 및 제2 영상들을 투명화되도록 하는 영상 처리 조건을 설정하는 것을 더 포함하는 건설기계의 제어 방법.
제 19 항에 있어서, 상기 영상 처리 조건은 상기 제1 및 제2 영상들의 투명화 전환 시점 또는 상기 표시 장치의 전체 표시 영역 중에서 상기 투명화 처리 영역이 차지하는 면적을 포함하는 건설기계의 제어 방법.