KR102004000B1

KR102004000B1 - 헤드업 디스플레이를 이용한 건설기계의 작업 가이드 디스플레이 장치 및 방법

Info

Publication number: KR102004000B1
Application number: KR1020120152920A
Authority: KR
Inventors: 김지훈; 김동은
Original assignee: 두산인프라코어 주식회사
Priority date: 2012-12-26
Filing date: 2012-12-26
Publication date: 2019-07-25
Also published as: KR20140084409A

Abstract

본 발명은 헤드업 디스플레이(HUD: head up display)를 이용하여, 차량 또는 건설기계의 작업을 가이드하는 디스플레이 장치 및 방법에 관한 것이다.
본 발명은, 조도센서 및 작업자(사용자)의 눈동자를 추적하는 카메라를 구비하고; 건설기계의 캐빈 내에 일면 이상의 창에 HUD 디스플레이를 설치하고; AVM 시스템과 연계하여, 작업 환경 주변에 대한 정보를 작업자의 시선 상의 HUD에 표시하여 주고; 작업자가 현재 작업하고 있는 모드 RPM 정보 및 기타 정보를 HUD 디스플레이 상에 제공하고, 현재 작업에 적합한 모드를 가이드(guide)함으로써, 안전성을 확보하고, 작업 능률 및 차량의 연비 효율을 향상시키는 것이다.

Description

헤드업 디스플레이를 이용한 건설기계의 작업 가이드 디스플레이 장치 및 방법{APPARATUS FOR DISPLAYING WORK PROSEDURE GUIDE OF CONSTRUCTION EQUIPMENT USING HEAD UP DISPLAY AND METHOD THEREOF}

본 발명은 헤드업 디스플레이(HUD: head up display)를 이용하여, 차량 또는 건설기계의 작업을 가이드하는 디스플레이 장치 및 방법에 관한 것이다.

건설기계는 토목공사 또는 건축공사에 사용되며, 그 종류는 굴착기, 그레이더, 크레인, 운반기계 등이 있다. 일반적으로 건설기계는 핸들, 페달, 스틱 또는 조이스틱 등을 조작하여 작동시킨다. 또한, 최근 생산되는 건설기계는 디스플레이 장치를 구비하고 있으며, 건설기계의 디스플레이 장치를 통해 장비의 상태 및 중요 데이터를 사용자(즉, 작업자)에게 표시하여 준다. 따라서, 건설기계의 사용자는 디스플레이에 표시된 장비의 상태 및 정보를 이용하여 효율적으로 건설기계를 작동시킬 수 있다. 특히, 차량 운전자의 운전 중 주행안전을 확보하고자 차량 주행정보와 주변상황 정보를 효과적으로 운전자에게 전달해주는 매체로서, 헤드업 디스플레이(HUD: head up display)가 각광받고 있다.

차량의 헤드업 디스플레이는 차량 주행 중 운전자 정면 즉, 운전자의 주 시야선을 벗어나지 않는 범위에서 차량주행정보나 기타 정보를 제공하는 표시장치로서, 초창기에는 항공기 특히 전투기에 부착되어 개발하게 된 것이 최근에는 차량에도 설치되기 시작한 것이다.

차량의 헤드업 디스플레이는 차량의 전면유리에 운전자의 주시야 선에 계기판의 정보(작업모드, 속도, 주행거리, RPM, 네비정보, 경고 등)를 나타나게 하여 운전자가 운전 중에도 쉽게 작업 및 주행정보를 파악할 수 있도록 한다. 이로써 운전자는 전방 작업환경 및 도로에서 눈을 떼지 않고 중요한 주행정보를 인지함으로써 효율적이고 안전한 작업을 수행할 수 있다.

도 1은 종래의 건설기계의 캐빈 내부를 도시한 도면이다.

건설기계의 캐빈은 작업자(또는 사용자)가 건설기계를 작동하기 위한 조작 장치가 구비된 공간이다. 도 1에 도시된 바와 같이, 건설기계의 캐빈은 조작장치로써, 핸들(11)과, 한 쌍의 조이스틱(12 및 13)과, 디스플레이(또는 계기판)(14)가 도시되어 있다.

도 2는 종래의 건설기계의 캐빈에서 건설기계를 조작하는 작업자의 시야의 동선을 표시한 도면이다.

도 2에 도시된 바와 같이, 작업자(20)는 의자(21)에 착석한 상태에서 조이스틱(22)를 조작하여 건설기계를 작동시키며, 또한 디스플레이(23)에 표시된 장비의 상태 및 정보를 확인할 수 있다. 이때, 작업자(20)가 디스플레이(23)를 주시하는 시선 방향과 작업 목적물을 주시하는 방향이 서로 다르다. 따라서, 작업자가 디스플레이(23)를 확인하면서 작업하는 동안에, 작업자의 시선이 디스플레이와 작업 영역(또는 작업 목적물)으로 자주 이동하여야 한다. 이러한 작업자의 잦은 시선 이동은 작업자의 집중력을 떨어뜨리고, 나아가 안전 사고가 초래될 수 있으며, 또한 작업의 능률성이 떨어질 수 있다.

또한, 미숙련 작업자는 올바른 작업 방법을 습득하고 있지 못하기 때문에, 작업 능률이 현저히 떨어지는 경우가 많다. 예를 들어, 굴삭기의 미숙련 작업자는 작업별 최적의 작업 모드(파워 시프트 제어)로 설정하지 않고 작업하고, 휠로더 미숙련 작업자는 차량 slip 상태가 지속되는 작업을 수행할 경우, 건설기계 또는 차량의 연비 효율이 크게 떨어지게 된다.

도 3은 건설기계의 조작 중에 발생할 수 있는 안전사고의 유형을 도시한 것이다.

도 3에 도시된 바와 같이, 작업자의 시인성이 좋지 않은 상태와 미숙련 작업자의 건설기계의 조작 미숙으로 인해, 안전 사고를 초래하고 연비 효율을 떨어트릴 수 있다. 즉, 작업자가 작업 중 계기판(14)을 확인하면서, 작업의 집중력이 떨어질 수 있다. 나아가, 작업자의 시야가 작업 영역을 벗어남으로써, 안전사고가 발생할 수 있고, 또한 작업자의 건설기계 조작 미숙으로 인해 잦은 과부하 작업으로 연료를 과다 낭비할 수 있다.

본 발명의 해결하고자 하는 기술적 과제는, 헤드업 디스플레이를 이용하여 작업자의 시야 동선 상에 있는 차량 창에 작업 가이드 정도 및 현재 작업 상태 정보(작업상태 정보는 AVM(Around View Monitoring) 시스템과 연계하여 충돌감지 및 경고 정보를 포함)를 제공(또는 피드백)함으로써, 작업자의 작업 능률을 향상시키고, 차량의 연비 효율을 높이며 안전사고를 방지하는 것이다.

또한, 본 발명의 해결하고자 하는 기술적 과제는 조도 센서 및 사용자의 눈동자를 추적하여, 작업자의 작업 영역 내에 (즉, 건설기계 또는 차량 창의 일부 영역)에 작업 상태 정보 및 작업 가이드 정보를 디스플레이함으로써, 작업의 편의성 및 시인성을 향상시키는 것이다.

상기와 같은 발명의 기술적 과제를 해결하기 위하여, 본 발명에 따른 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법은, 작업 모드 정보, 작업 피드백 정보, 작업효율 정보 및 작업 가이드 정보 중에서 적어도 하나의 정보를 선택받는 단계; 및 상기 선택된 적어도 하나의 정보를 차량 HUD(Head up display)에 표시하는 단계를 포함한다.

바람직하게는, 상기 방법은 차량 내부의 조도를 측정하여 측정한 조도에 따라 디스플레이 RGB 계산을 하여 HUD 화면에 표시하는 단계; 및 작업자의 눈동자를 포커싱하여 추적하여 작업자의 눈동자 포커싱에 따라, HUD 화면을 흐리게 또는 선명하게 표시하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게는, 상기 HUD에 표시하는 단계는, 현재 작업 모드와 적합한 토출압력이 사용되는지를 확인하는 단계; 상기 확인 결과 현재 작업 모드와 토출압력이 적합하지 않는 경우, 작업 모드를 낮추거나 높이기 위해 토출압력을 계산하는 단계; 및 상기 계산된 토출압력에 따라 추천할 작업 모드 정보를 HUD에 표시하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 HUD에 표시하는 단계는, 차량이 전진 주행 1 단으로 셋팅되어 있는지 탐색하는 단계; 상기 차량이 전진 주행 1 단으로 셋팅된 경우, 현재 작업이 최대 토출압력인지 확인하는 단계; 상기 확인 결과, 현재 작업이 전진 주행 1단 및 최대 토출압력인 경우, 전진 토출압력을 붐업(boom up) 토출압력으로 자동 전환시키는 단계; 및 상기 자동 전환을 HUD에 표시하여 사용자에게 작업 가이드하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 HUD에 표시하는 단계는, AVM(around view monitoring) 시스템을 통하여 작업 주변의 상황에 대한 정보를 수집하는 단계; 및 상기 수집한 정보를 상기 HUD에 표시하는 단계를 더 포함하는 것을 특징으로 한다.

상기와 같은 발명의 기술적 과제를 해결하기 위하여, 본 발명에 따른 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 장치는, 차량의 적어도 일면의 창에 장착된 HUD(head up display)와; 차량 창에 장착되어 작업자의 눈동자를 포커싱하며 추적하는 추적 카메라와; 상기 HUD의 밝기를 조정하기 위해 차량 내부의 밝기를 측정하는 조도 센서와; 작업 환경 주변의 상황 물체를 감지하고 경고하는 AVM(Around View Monitoring) 시스템과; 상기 조도 센서로부터 밝기 정보를 제공받아 오토 RGB 기능을 수행하고, 상기 추적 카메라로부터 작업자의 이미지를 받아 이미지 처리하여 작업자의 눈동자를 판별하고, 상기 판별한 사용자의 눈동자의 초점에 따라 알파블렌딩(alphablending)하여 상기 HUD에 화면을 표시하도록 제어하고, 작업 중인 토출량과 토출압력을 측정하여 적합한 작업 모드를 가이드하고 작업의 피드백 정보를 제공하는 제어부;를 포함한다.

바람직하게는, 상기 제어부는 차량의 최대 부하로 슬립 현상이 발생되기 직전, 최대 토출압력을 탐지하고, 전진 토출압력을 붐업(boom up) 토출압력으로 자동전환하고, 상기 자동전환을 HUD에 표시하는 것을 특징으로 한다.

바람직하게는, 상기 제어부는 차량의 현재 작업 모드에서 토출압력이 최대로 사용되는지를 확인하고, 차량의 현재 작업 모드에서 토출압력이 최대가 아닐 때, 작업 모드를 낮추기 위해 토출압력을 계산하고, 상기 계산한 토출압력에 따라 추천할 작업 모드를 상기 HUD에 표시하는 것을 특징으로 한다.

본 발명은 차량 내부의 조도(밝기)를 측정하여 디스플레이 화면의 밝기를 조정하고, 또한 작업자의 눈동자 초점에 따라 화면을 알파블랜딩 처리함으로써, 작업자의 작업 시인성을 향상시킨다.

또한, 본 발명은 현재 작업 모드가 적합한지를 탐색 및 판단하여, 적합한 작업 모드를 추천하고, 작업 가이드 정보 및 피드백 정보를 제공함으로써, 작업 능률을 향상시키고, 불필요한 연비 소비를 방지할 수 있다.

도 1은 종래의 건설기계의 캐빈 배부를 도시한 도면이다.
도 2는 종래의 건설기계의 캐빈에서 건설기계를 조작하는 작업자의 시야의 동선을 표시한 도면이다.
도 3은 건설기계의 조작 중에 발생할 수 있는 안전사고의 유형을 도시한 것이다.
도 4는 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 차량의 디스플레이 장치의 블록도이다.
도 5 본 발명의 일 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 작업 정보를 디스플레이하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예로서, 건설기계(예를 들어, 굴삭기)의 파워모드의 종류 및 해당 아이콘을 도시한 것이다.
도 7은 본 발명의 일 실시 예로서, 굴삭기의 파워 쉬프트 제어를 통해 파워 모드를 낮추는 그래프이다.
도 8은 본 발명의 일 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 캐빈의 창에 화면을 표시하는 방법을 도시한 것이다.
도 9는 본 발명의 또 다른 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 작업 가이드 정보를 디스플레이하는 방법을 도시한 흐름도이다.
도 10은 본 발명의 일 실시 예로서, 휠로더의 마력 제어를 도시한 그래프이다.
도 11은 본 발명의 일 실시 예로서, 건설기계의 캐빈 창에 작업 정보를 표시한 일 예이다.

본 발명은 건설기계 및 차량의 디스플레이 장치에 적용된다. 그러나, 본 발명은 이에 한정하지 않고 본 발명의 기술적 사상이 적용될 수 있는 모든 기술 분야에 적용될 수도 있다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이하, 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

한편, 본 발명에서 설명하는 용어, " 및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항복들 중의 어느 항목을 포함한다.

본 발명에서 사용하는 기술용어, "디스플레이 장치"는 아날로그 또는 디지털 표시장치를 제공하는 장치를 통칭하는 포괄적인 의미이고, 약칭으로 "디스플레이" 또는, "모니터" 또는 "계기판"이라고 칭할 수 있다. 또한, 본 발명의 "디스플레이 장치"는 하나 이상의 모니터 또는 계기판으로 구성된 장치일 수 있다. 또한, 본 발명의 "디스플레이 장치"는 "디스플레이"를 동작시키는 제어부(또는 프로세서)와 통합 또는 독립 구성된 장치일 수 있다.

본 발명에서 사용하는 기술용어, "건설기계"는 문자 그대로 건설용도로 사용되는 기계만을 한정하는 것이 아니라, 본 발명에 따른 디스플레이 장치가 적용되는 모든 차량을 통칭하는 포괄적인 의미이다.

본 발명에서 사용하는 기술용어, "AVM(around view monitoring)"은 운전석에서 차량 밖의 사각지대(운전자의 시야각으로부터 사각지대)를 디스플레이 등을 통하여 볼 수 있는 시스템을 말한다. AVM은 차량에 적극적으로 적용되는 주지 기술인바, 그 상세한 설명은 생략한다.

본 발명에서 사용하는 기술용어, "파워 쉬프트 제어"는 건설기계의 일종인 굴삭기에서 사용되는 용어이다. 건설기계의 펌프의 마력이 순간적인 과부하에 의하여 엔진의 마력보다 커지면, 엔진은 속도가 저하되면서 정지하게 된다. "파워 쉬프트 제어"란, 이러한 현상을 방지하기 위하여, 차량 엔진의 속도가 감소하면 펌프의 마력을 감소시켜 엔진이 정지하는 것을 방지하는 것을 말한다. 또한, 상기 기술은 적합하지 않은 작업 모드로 선택된 경우, 사용자에게 적합한 작업모드를 계산하여 선택하도록 디스플레이 해준다.

본 발명에서 사용하는 기술용어, "마력제어"는 건설기계의 일종인 휠로더에서 사용되는 용어로서, 펌프 자신의 토출압력(P1)과 상태 펌프의 토출압력(P2)의 상승에 따라 펌프의 경전각(토출유량)을 감소시켜 토크(torque)를 일정 값 이하로 제어하는 것이다. 또한, 상기 기술은 휠로더 굴삭 작업 중 발생하는 바퀴 slip 시, Max 전진 토출압력을 판단하여 자동으로 토출압력을 붐업(Boom-up)으로 전환시키고, 사용자에게 붐업을 유도하는 기술이다.

본 발명에서 사용하는 기술용어, "CCO 기능"은 휠로더와 같은 건설기계에서, 차량 앞부분(front)에 파워를 집중시키기 위해, 작업자가 셋팅한 이상의 브레이크 압력 인가시, 트랜스미션 동력을 끊어 주행 동력을 차단하는 것을 말한다. 이와 "CCO 기능"은 본 발명의 기술 분야에서 당업자에게 주지 기술용어인 바, 그 상세한 설명을 생략한다.

본 발명에서 사용하는 기술용어, "VCU(vehicle control unit)"은 차량 제어기이고, "ECU(engine control unit)"는 엔진 제어기이고, "TCU(transmission control unit)"은 트랜스미션 제어기이다. 이러한 컨트롤러 유닛(제어기)은 본 발명의 기술분야의 주지 기술 및 용어인 바, 그 기능 및 동작에 대한 상세한 설명은 생략한다.

본 발명의 기본 개념은: 건설기계의 작업자(사용자)가 안전성 확보 및 작업의 능률을 향상시키기 위해, 작업자에게 작업 가이드(guide) 정보 및 피드백 정보를 제공하고, HUD(head up display)로 작업자의 시야를 작업영역 내에 유지하도록 하는 것이다. 이러한 본 발명의 기본 개념을 구현하기 위하여, 본 발명은: 1) 작업자가 현재 작업하고 있는 모드 RPM 정보 및 기타 정보를 HUD 상에 제공하고, 현재 적합한 동작을 사용자에게 가이드(guide); 2)조도센서 및 작업자(사용자)의 눈동자를 추적하는 카메라(일명, 추적 카메라)를 통해 최적의 HUD를 디스플레이; 3) 캐빈 내의 일면 이상의 창에 디스플레이(예를 들어, HUD를 이용한 투명 LCD)를 설치; 4) AVM 시스템과 연계하여, 작업 환경 주변에 대한 정보(예를 들어, 주변 물체와 충돌 감지 및 경고에 대한 통지)를 작업자의 시선 상의 HUD에 표시한다.

도 4는 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 차량의 디스플레이 장치의 블록도이다.

도 4에 도시된 바와 같이, 본 발명에 따른 디스플레이 장치(400)는, 차량의 일면 이상의 창에 장착된 HUD(head up display) 디스플레이(410)과; 적어도 2 대 이상의 소형 카메라로 구성되고, 차량 창에 장착되어 작업자(사용자)의 눈동자를 추적하는 추적 카메라(420)와; HUD 디스플레이의 밝기를 조정하기 위해 차량 내부(또는 캐빈 내부)의 밝기를 측정하는 조도 센서(430)와; 작업 환경 주변의 상황 물체를 감지하고 경고하는 AVM 시스템(440)과; 상기 조도 센서로부터 밝기 정보를 제공받아 오토 RGB 기능을 수행하고, 추적 카메라로부터 작업자의 이미지를 받아 이미지 처리하여 작업자의 눈동자를 판별하고, 그 판별한 사용자의 눈동자의 초점에 따라 알파블랜딩하여 상기 HUD 디스플레이에 화면을 표시하도록 제어하고, 작업 중인 토출량과 토출압력을 측정하여 적합한 작업 모드를 가이드하고 작업의 피드백 정보를 제공하는 제어부(440)를 포함한다.

또한, 상기 제어부(440)는 콘트롤러 유닛(예를 들어, VCU, ECU,또는 TCU)등으로부터 차량 정보 및 제어정보를 통신하여 HUD 디스플레이에 표시한다. 한편, 상기 제어부(440)는 상기 콘트롤러 유닛과 통합하여 구현하거나, 또는 별개로 구성될 수도 있다.

또한, 상기 제어부(440)는, 건설기계의 캐빈 문(차량 문)이 오픈(open)되어 있는지를 탐색하고, 오픈되어 있는 경우는 건설기계의 계기판(도 1의 14)을 통하여 차량 정보 및 작업 정보를 표시한다. 반면, 상기 제어부(440)는 건설기계의 캐빈 문이 클로즈(close)되어 있는 경우에 HUD 디스플레이에 작업 가이드 정보 및 차량 상태 정보 등을 표시한다.

도 5 본 발명의 일 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 작업 정보를 디스플레이하는 방법을 도시한 흐름도이다. 도 5의 실시 예는 건설기계가 굴삭기인 경우에 작업 가이드를 제공하는 디스플레이 방법이다.

도 6은 본 발명의 일 실시 예로서, 건설기계(예를 들어, 굴삭기)의 파워모드의 종류 및 해당 아이콘을 도시한 것이다.

도 7은 본 발명의 일 실시 예로서, 굴삭기의 파워 쉬프트 제어를 통해 파워 모드를 낮추는 그래프이다.

도 8은 본 발명의 일 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 캐빈의 창에 화면을 표시하는 방법을 도시한 것이다.

도 1 내지 8를 참조하면, 건설기계의 시동을 켜면, 기본적으로 계기판(14)이 표시된다(S510). 제어부(440)는 캐빈의 문이 오픈되어 있는지를 탐색한다(S520). 이때, 만일 차량 문이 열려 있는 경우 계기판(14)을 통하여 작업 정보 및 차량 상태 정보 등이 표시된다(S530).

상기 S520 단계에서, 캐빈 문이 클로즈되어 있는 경우, 제어부(440)는 콘트롤러 유닛(예를 들어, VCU)으로부터 차량 정보를 전송받아, HUD 디스플레이에 표시한다(S540). 또한, 제어부(440)는 조도 센서(430)으로부터 캐빈 내의 밝기 정보를 전송받아, 캐빈 내의 밝기에 따라 디스플레이 RGB 계산을 하고 최적 밝기로 HUD 디스플레이에 화면이 표시되도록 HUD 디스플레이를 제어한다(S550).

제어부(440)는 작업자에게 작업 가이드 정보 및/또는 피드백 정보를 제공한다(S560). 여기서, "작업 가이드 정보"란 현재 작업자가 진행하고 있는 작업에 대한 최적의 '작업 모드(예를 들어, 파워모드, 이코노미 모드 등등)', 또는 '작업 효율 평가(예를 들어, 도 8에서 "ECO 작업효율이 나쁩니다")', 최적의 작업모드를 위한 '추천 RPM'(도 8에서 HUD 디스플레이 표시 참조) 등이다. 또한, 여기서 "피드백 정보"란, 예를 들어 작업자가 현재 진행 중인 작업에 대한 평가일 수도 있고, 또는 변경한 작업 모드의 작업 평가일 수도 있다.

이하, 상기 S560 단계를 더욱 상세히 설명한다.

제어부(440)는 굴삭기의 현재 작업모드를 확인하여, 굴삭기의 현재 작업모드에서 최적 토출압력을 사용하고 있는지를 판단한다(S561). 만일, 굴삭기가 현재 작업모드의 최적 토출압력(즉, RPM으로 표시)을 사용하지 않은 경우, 토출량 및 토출압력과 같은 데이터를 근거로, 제어부(440)는 최적 토출압력을 계산한다(S562). 상기 S562 단계의 계산 결과, 제어부(440)는 계산한 토출압력에 따라 추천할 작업 가이드 정보(예를 들어, 도 8에 캐빈 창에 표시된 바와 같이, 추천 작업 모드, 굴삭기의 현재 RPM, 굴삭기의 추천 RPM, 또는 작업 효율 평가 등등)를 HUD 디스플레이(410)에 표시한다(S563). 예를 들면, 도 7에 도시된 결과와 같이, 상기 S560에서 특정 토출량에 대해 토출압력을 낮출 수 있기 때문에, 작업 부하를 설정된 작업 모드 보다 적은 작업 모드로 낮추도록 사용자에게 알려줌으로써, 동일 작업에 대해 굴삭기의 연비를 절감할 수 있다. 도 7과 같은 것을 파워 쉬프트 제어라고 한다.

이하, 작업자의 시야에 따라 HUD 디스플레이의 화면을 표시하는 과정(S570)을 설명한다.

한편, 제어부(440)는 작업자의 눈동자에 포커싱하여 추적하는 추적 카메라(420)로부터 이미지를 받아, 작업자가 캐빈 내를 응시하고 있는지 또는 캐빈 창 넘어 작업영역을 응시하고 있는지 판단한다(S571). 상기 S571 단계에서 작업자가 캐빈 내를 응시하는 것으로 판단되면, 이는 HUD 디스플레이의 화면을 확인하는 것일 수 있으므로, 화면을 뚜렷하게 표시하도록 상기 제어부(440)가 HUD 디스플레이를 제어한다(S572). 반면, 상기 S571 단계에서 작업자가 캐빈 밖의 작업 영역을 응시하는 것으로 판단되면, 이는 HUD 디스플레이의 화면을 확인하는 것이 아니라 작업영역을 응시하는 것이므로, 화면을 흐리게 표시하도록 상기 제어부(440)가 HUD 디스플레이를 제어한다(S573). 상기 S572 및 S573 단계는 알파블랜딩(alphablending)기술을 이용하여, HUD 디스플레이에 표시될 화면의 투명도를 조절하여 흐리게 또는 뚜렷하게 표시하는 것이다.

한편, 제어부(440)는 AVM 시스템(430)가 감지한 작업 영역의 정보를 받아 HUD 디스플레이 화면에 표시한다(S580). 이때, 도 8과 같이, 캐빈의 측면 창의 HUD 디스플레이에 AVM 관련 정보를 표시함으로써, 작업자가 안전하게 굴삭기 작업을 할 수 있다. 상기 AVM 관련 정보 표시는, 예를 들어 캐빈 좌측 창은 "물체없음 스윙가능", 캐빈 우측 창은 "물체감지 스윙주의"라고 표시할 수 있으나 표시 정보 및 표시 위치는 이에 한정되지 않으며 자유롭게 구현할 수 있다.

도 9는 본 발명의 또 다른 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 작업 가이드 정보를 디스플레이하는 방법을 도시한 흐름도이다. 도 9의 실시 예는 건설기계가 휠로더인 경우에 작업 가이드를 제공하는 디스플레이 방법이다.

도 10은 본 발명의 일 실시 예로서, 휠로더의 마력 제어를 도시한 그래프이다.

도 11은 본 발명의 일 실시 예로서, 건설기계의 캐빈 창에 작업 정보를 표시한 일 예이다.

이하, 도 4와, 도 9 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 건설기계의 디스플레이 장치가 작업 가이드 정보를 디스플레이하는 방법을 설명한다.

건설기계의 시동을 켜면, 기본적으로 계기판(14)이 표시된다(S910).

제어부(440)는 콘트롤러 유닛(예를 들어, VCU)으로부터 차량 정보를 전송받아, HUD 디스플레이에 표시한다(S920). 또한, 제어부(440)는 조도 센서(430)으로부터 캐빈 내의 밝기 정보를 전송받아, 캐빈 내의 밝기에 따라 디스플레이 RGB 계산을 하고 최적 밝기로 HUD 디스플레이에 화면이 표시되도록 HUD 디스플레이를 제어한다(S930).

제어부(440)는 건설기계 차량의 슬립(slip) 현상이 발생(토출압력이 최대가 될 때 발생한다)되기 전에 작업자에게 작업 가이드 정보 및/또는 피드백 정보를 제공한다(S940). 여기서, "작업 가이드 정보"란 현재 작업자가 진행하고 있는 작업에 대한 최적의 '작업 모드(예를 들어, 파워모드, 이코노미 모드 등)', 또는 '작업 효율 평가(예를 들어, 도 11에서 "ECO 작업효율이 나쁩니다")', 최적의 작업모드를 위한 '추천 RPM'(도 11에서 HUD 디스플레이 표시 참조) 등이다. 또한, 여기서 "피드백 정보"란, 예를 들어 작업자가 현재 진행 중인 작업에 대한 평가일 수도 있고, 또는 변경한 작업 모드의 작업 평가일 수도 있다.

이하, 상기 S940 단계를 더욱 상세히 설명한다.

휠로더는 디깅(digging) 작업 시, 주행 1단으로 트랜스 미션을 설정하고, 최대한 흙에 차량을 밀어붙인 후 리프트(lift) 작업을 실시한다. 그런데, 최대 부하를 넘어섰음에도 작업자가 페달을 밟게되는 경우, 차량 바퀴에 슬립(slip)이 생겨서 그 만큼의 연비손실을 초래한다. 상기 S940 단계는 차량의 최대 부하로 슬립 현상이 발생되기 직전(즉, 최대 토출압력이 발생되는 시점)에 작업자에게 작업 가이드 정보를 제공하는 과정이다. 즉, 상기 S940 단계는 휠로더의 토출압력이 최대가 도달했을 때 이를 탐지하여, "전진 토출압력"을 "붐업(boom up) 토출압력"으로 자동전환(일명, 'CCO 기능'이라 함)시켜서, 최대 토출압력을 다음 작업에 이용하고, 작업자에게 붐업을 유도하는 것이다.

즉, 제어부(440)는 휠로더가 주행 1단으로 셋팅되어 있는지 탐지(확인)한다(S941).

휠로더가 주행 1단으로 셋팅되어 있는 것을 제어부(440)가 탐지하면, 휠로더의 현재 토출압력이 최대인지를 확인하고(S942), 휠로더가 현재 토출압력이 최대가 아니면, "CCO 기능"를 작동한다(S943). 그리고, 제어부(440)는 "CCO 기능"이 작동되면, HUD 디스플레이(410)에 작업자에게 붐업 요청을 알리는 정보(또는 메시지)를 표시한다(S944).

이하, 작업자의 시야에 따라 HUD 디스플레이의 화면을 표시하는 과정(S950)을 설명한다.

한편, 제어부(440)는 작업자의 눈동자에 포커싱하여 추적하는 추적 카메라(420)로부터 이미지를 받아, 작업자가 캐빈 내를 응시하고 있는지 또는 캐빈 창 넘어 작업영역을 응시하고 있는지 판단한다(S951). 상기 S951 단계에서 작업자가 캐빈 내를 응시하는 것으로 판단되면, 이는 HUD 디스플레이의 화면을 확인하는 것일 수 있으므로, 화면을 뚜렷하게 표시하도록 상기 제어부(440)가 HUD 디스플레이를 제어한다(S952). 반면, 상기 S951 단계에서 작업자가 캐빈 밖의 작업 영역을 응시하는 것으로 판단되면, 이는 HUD 디스플레이의 화면을 확인하는 것이 아니라 작업영역을 응시하는 것이므로, 화면을 흐리게 표시하도록 상기 제어부(440)가 HUD 디스플레이를 제어한다(S953). 상기 S952 및 S953 단계는 알파블랜딩(alphablending)기술을 이용하여, HUD 디스플레이에 표시될 화면의 투명도를 조절하여 흐리게 또는 뚜렷하게 표시하는 것이다.

한편, 제어부(440)는 AVM 시스템(430)이 감지한 작업 영역의 정보를 받아 HUD 디스플레이 화면에 표시한다(S960).

한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라, 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

작업 모드 정보, 작업 피드백 정보, 작업효율 정보 및 작업 가이드 정보 중에서 적어도 하나의 정보를 선택받는 단계; 및
상기 선택된 적어도 하나의 정보를 차량 HUD(Head up display)에 표시하는 단계
를 포함하고,
상기 HUD에 표시하는 단계는,
현재 작업 모드와 적합한 토출압력이 사용되는지를 확인하는 단계;
상기 확인 결과 현재 작업 모드와 토출압력이 적합하지 않는 경우, 작업 모드를 낮추거나 높이기 위해 토출압력을 계산하는 단계; 및
계산한 토출압력에 따라 추천할 작업 모드 정보를 HUD에 표시하는 단계를 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.
작업 모드 정보, 작업 피드백 정보, 작업효율 정보 및 작업 가이드 정보 중에서 적어도 하나의 정보를 선택받는 단계; 및
상기 선택된 적어도 하나의 정보를 차량 HUD(Head up display)에 표시하는 단계
를 포함하고,
상기 HUD에 표시하는 단계는,
차량이 전진 주행 1 단으로 셋팅되어 있는지 탐색하는 단계;
상기 차량이 전진 주행 1 단으로 셋팅된 경우, 현재 작업이 최대 토출압력인지 확인하는 단계;
상기 확인 결과, 현재 작업이 전진 주행 1단 및 최대 토출압력인 경우, 전진 토출압력을 붐업(boom up) 토출압력으로 자동 전환시키는 단계; 및
상기 자동 전환을 HUD에 표시하여 사용자에게 작업 가이드하는 단계를 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.
작업 모드 정보, 작업 피드백 정보, 작업효율 정보 및 작업 가이드 정보 중에서 적어도 하나의 정보를 선택받는 단계; 및
상기 선택된 적어도 하나의 정보를 차량 HUD(Head up display)에 표시하는 단계
를 포함하고,
상기 HUD에 표시하는 단계는,
캐빈의 문이 오픈되어 있는지를 탐색하는 단계;
상기 캐빈 문이 오픈되어 있는 경우 상기 선택된 적어도 하나의 정보를 계기판을 통하여 표시하고, 상기 캐빈 문이 클로즈되어 있는 경우 선택된 적어도 하나의 정보를 차량 HUD(Head up display)에 표시하는 단계
를 더 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
차량 내부의 조도를 측정하여 측정한 조도에 따라 디스플레이 RGB 계산을 하여 HUD 화면에 표시하는 단계; 및
작업자의 눈동자를 포커싱하여 추적하여 작업자의 눈동자 포커싱에 따라, HUD 화면을 흐리게 또는 선명하게 표시하는 단계를 더 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 HUD에 표시하는 단계는,
AVM(around view monitoring) 시스템을 통하여 작업 주변의 상황에 대한 정보를 수집하는 단계; 및
수집한 정보를 상기 HUD에 표시하는 단계를 더 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.
차량의 적어도 일면의 창에 장착된 HUD(head up display)와;
차량 창에 장착되어 작업자의 눈동자를 포커싱하며 추적하는 추적 카메라와;
상기 HUD의 밝기를 조정하기 위해 차량 내부의 밝기를 측정하는 조도 센서와;
작업 환경 주변의 상황 물체를 감지하고 경고하는 AVM(Around View Monitoring) 시스템과;
작업 중인 토출량과 토출압력을 측정하여 적합한 작업 모드를 가이드하고 작업의 피드백 정보를 제공하는 제어부;를 포함하고,
상기 제어부는
차량의 최대 부하로 슬립 현상이 발생되기 직전, 최대 토출압력을 탐지하고, 전진 토출압력을 붐업(boom up) 토출압력으로 자동전환하고,
상기 자동전환을 HUD에 표시하는 것을 특징으로 하는 HUD를 이용한 건설기계의 디스플레이 장치.
차량의 적어도 일면의 창에 장착된 HUD(head up display)와;
차량 창에 장착되어 작업자의 눈동자를 포커싱하며 추적하는 추적 카메라와;
상기 HUD의 밝기를 조정하기 위해 차량 내부의 밝기를 측정하는 조도 센서와;
작업 환경 주변의 상황 물체를 감지하고 경고하는 AVM(Around View Monitoring) 시스템과;
작업 중인 토출량과 토출압력을 측정하여 적합한 작업 모드를 가이드하고 작업의 피드백 정보를 제공하는 제어부;를 포함하고,
상기 제어부는
차량의 현재 작업 모드에서 토출압력이 최대로 사용되는지를 확인하고,
차량의 현재 작업 모드에서 토출압력이 최대가 아닐 때, 작업 모드를 낮추기 위해 토출압력을 계산하고,
상기 계산한 토출압력에 따라 추천할 작업 모드를 상기 HUD에 표시하는 것을 특징으로 하는 HUD를 이용한 건설기계의 디스플레이 장치.
제6항 또는 제7항에 있어서,
상기 제어부는 상기 조도 센서로부터 밝기 정보를 제공받아 오토 RGB 기능을 수행하고, 상기 추적 카메라로부터 작업자의 이미지를 받아 이미지 처리하여 작업자의 눈동자를 판별하고, 상기 판별한 사용자의 눈동자의 초점에 따라 알파블렌딩(alphablending)하여 상기 HUD에 화면을 표시하도록 제어하는 것을 특징으로 하는 HUD를 이용한 건설기계의 디스플레이 장치.