KR102283264B1

KR102283264B1 - Voice controlling apparatus of construction machinery and method thereof

Info

Publication number: KR102283264B1
Application number: KR1020120151766A
Authority: KR
Inventors: 정희준
Original assignee: 두산인프라코어 주식회사
Priority date: 2012-12-24
Filing date: 2012-12-24
Publication date: 2021-08-24
Also published as: KR20140083104A

Abstract

본 발명은 건설 장비 모니터의 화면을 음성으로 제어하기 위한 장치 및 방법에 관한 것으로, 음성 제어 장치는, 건설 장비의 상태를 감지하여 장비 상태 정보를 수집하고, 수집된 장비 상태 정보를 복수의 모니터 중 적어도 하나의 모니터에 표시하며, 작업자가 모니터 화면 제어를 위해 음성 정보를 입력하는 경우, 입력된 음성 정보를 인식하고, 인식된 음성 정보를 분석하여 작업자가 지정한 적어도 하나의 모니터를 파악하며, 수집된 장비 상태 정보를 표시한 화면을 파악된 적어도 하나의 모니터로 이동 표시함으로써, 작업자 개개인에 알맞게 시인성이 좋은 모니터에 원하는 내용을 표시할 수 있고, 작업 효율을 높일 수 있는 효과가 있다.The present invention relates to an apparatus and method for controlling a screen of a construction equipment monitor by voice, wherein the voice control apparatus detects the state of construction equipment to collect equipment state information, and collects the equipment state information among a plurality of monitors. It is displayed on at least one monitor, and when the operator inputs voice information to control the monitor screen, the input voice information is recognized, the recognized voice information is analyzed to identify at least one monitor designated by the operator, and the collected By moving and displaying the screen displaying the equipment status information to at least one monitor identified, desired contents can be displayed on a monitor with good visibility suitable for individual workers, and there is an effect of increasing work efficiency.

Description

Construction equipment voice control device and method {VOICE CONTROLLING APPARATUS OF CONSTRUCTION MACHINERY AND METHOD THEREOF}

본 발명은 건설 장비의 제어에 관한 것으로서, 특히 건설 장비의 모니터들에 표시되는 건설 장비의 상태 정보의 화면을 음성 인식 신호에 따라 분할 및 이동 표시하도록 건설장비의 모니터를 음성 제어하기 위한 음성 제어 장치 및 방법에 관한 것이다.The present invention relates to the control of construction equipment, and in particular, a voice control device for voice control of a monitor of construction equipment so as to divide and move a screen of construction equipment status information displayed on the monitors of the construction equipment according to a voice recognition signal. and methods.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.

현재 사용되고 있는 굴삭기나 휠로더와 같은 건설장비의 경우 작업자가 장비 제어, 주행 및 소정 기능을 사용하고자 할 때 그에 해당하는 스위치, 레버 등을 직접 조작해야 한다.In the case of construction equipment such as an excavator or wheel loader currently used, when an operator wants to control the equipment, drive, and use a predetermined function, the corresponding switch, lever, etc. must be directly operated.

일반적으로 작업자는 작업 또는 주행 시 조이스틱에 양손 혹은 한 손을 올려놓고 조작하므로 만약 다른 기능을 선택하려면 조이스틱에 있던 손을 움직여 스위치를 동작시켜야 한다.In general, the operator puts both hands or one hand on the joystick when working or driving, so if you want to select another function, you have to operate the switch by moving your hand on the joystick.

또한, 작업자는 건설 장비의 조작에 따른 작업 상태를 모니터 화면을 통해 확인하는데, 종래의 건설 장비에서는 조작 및 장비 상태를 정해진 모니터에 표시하도록 설정되어 있으므로 작업자가 해당 작업 상태를 확인하기 위해서는 해당 모니터의 위치로 방향을 바꿔서 표시된 화면을 확인해야 한다.In addition, the operator checks the work state according to the operation of the construction equipment through the monitor screen. In the conventional construction equipment, the operation and equipment state are set to be displayed on a predetermined monitor. You will need to change direction to Location to see the displayed screen.

이 때문에 작업이 잠시 중단되거나 작업에 집중하지 못하게 되어 작업의 효율이 떨어지고 정상적인 제어를 하지 못하는 불편함이 있다.Because of this, the work is temporarily stopped or it is impossible to concentrate on the work, so the efficiency of the work is lowered, and there is the inconvenience of not being able to perform normal control.

아울러 작업자마다 작업을 위한 행동 및 습관이 다르므로 가장 시인성이 좋다고 느끼는 모니터 역시 다를 수 있기 때문에 작업자 개개인에 알맞게 시인성이 좋은 모니터에 원하는 내용을 표시하기 어려운 문제점이 있다.In addition, there is a problem in that it is difficult to display desired contents on a monitor with good visibility suitable for each worker because the actions and habits for each worker are different, so the monitor that has the best visibility may also be different.

이에 따라 작업자가 작업 시 또는 주행 시 좀 더 작업을 효율적으로 할 수 있도록 하기 위한 제어 방안이 요구되고 있다.Accordingly, there is a demand for a control method for allowing the operator to perform work more efficiently during work or driving.

본 발명은 종래의 불편함을 해소하기 위하여 제안된 것으로서, 건설 장비의 모니터들에 표시되는 화면을 음성 인식 신호에 따라 분할 및 이동 표시하도록 건설장비의 모니터를 음성 제어하기 위한 음성 제어 장치 및 방법을 제공하고자 한다.The present invention has been proposed to solve the inconvenience of the related art, and a voice control device and method for voice control of a monitor of construction equipment so as to divide and move a screen displayed on the monitors of construction equipment according to a voice recognition signal. would like to provide

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 건설 장비의 음성 제어 장치는, 복수의 모니터; 작업자의 음성 정보를 획득하는 음성 인식부; 및 건설 장비의 상태 정보를, 상기 음성 인식부를 통해 획득한 상기 음성 정보에 기초하여, 상기 복수의 모니터 중 적어도 하나의 모니터에서 적어도 다른 하나의 모니터로 이동하여 표시하는 제어부를 포함한다.A voice control device for construction equipment according to a preferred embodiment of the present invention for achieving the object as described above, a plurality of monitors; A voice recognition unit for acquiring the voice information of the operator; And based on the voice information obtained through the voice recognition unit, the state information of the construction equipment, includes a control unit for displaying by moving from at least one monitor among the plurality of monitors to at least another monitor.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 건설 장비의 음성 제어 장치에서의 음성 제어 방법은, 건설 장비의 상태를 감지하여 장비 상태 정보를 수집하는 단계; 상기 수집된 장비 상태 정보를 복수의 모니터 중 적어도 하나의 모니터에 표시하는 단계; 작업자가 모니터 화면 제어를 위해 음성 정보를 입력하는 경우, 입력된 음성 정보를 인식하는 단계; 인식된 음성 정보를 분석하고, 분석된 음성 정보를 이용하여 상기 작업자가 지정한 적어도 하나의 모니터를 파악하는 단계; 및 상기 수집된 장비 상태 정보가 표시된 화면을 상기 적어도 하나의 모니터에서 상기 파악된 적어도 하나의 모니터로 이동 표시하는 단계를 포함한다.A voice control method in a voice control device for construction equipment according to a preferred embodiment of the present invention for achieving the above object includes the steps of: detecting the state of the construction equipment and collecting equipment state information; displaying the collected equipment state information on at least one monitor among a plurality of monitors; Recognizing the input voice information when the operator inputs voice information to control the monitor screen; analyzing the recognized voice information and identifying at least one monitor designated by the operator using the analyzed voice information; and moving and displaying the screen on which the collected equipment state information is displayed from the at least one monitor to the identified at least one monitor.

본 발명은 건설 장비의 모니터들에 표시되는 건설 장비의 상태 정보의 화면을 초기 설정에 따라 분할 표시하고, 작업자가 모니터 화면을 제어하기 위한 음성 정보를 입력하면, 입력된 음성 정보에 따라 작업자가 원하는 화면을 작업자가 지정한 모니터로 이동 표시함으로써, 작업자 개개인에 알맞게 시인성이 좋은 모니터에 원하는 내용을 표시할 수 있다.The present invention divides and displays the screen of the state information of the construction equipment displayed on the monitors of the construction equipment according to the initial setting, and when the operator inputs voice information for controlling the monitor screen, the operator wants according to the input voice information By moving and displaying the screen on a monitor designated by the operator, desired content can be displayed on a monitor with good visibility suitable for each operator.

또한, 본 발명은 작업자가 입력한 음성 정보에 따라 음성으로 자동으로 모니터 화면을 제어할 수 있으므로 작업자가 직접 모니터의 화면을 조작하여 분할 및 이동시킬 필요가 없으며, 작업자가 작업을 중단하지 않고 계속해서 작업에 집중하여 작업을 수행할 수 있으므로 작업 효율을 높일 수 있는 효과가 있다.In addition, the present invention can automatically control the monitor screen by voice according to the voice information input by the operator, so there is no need for the operator to directly manipulate the screen of the monitor to divide and move, and the operator can continue to work without stopping It has the effect of increasing work efficiency because it allows you to concentrate on the work and perform the work.

도 1은 본 발명의 실시예에 따른 건설장비의 모니터를 음성 제어하기 위한 음성 제어 장치의 구성을 도시한 도면,
도 2는 본 발명의 실시예에 따른 음성 제어 장치의 제어부의 구체적인 구성을 도시한 도면,
도 3은 본 발명의 실시예에 따라 음성 제어 장치가 건설 장비의 모니터를 음성 제어하는 방법을 도시한 도면이다.1 is a view showing the configuration of a voice control device for voice control of a monitor of construction equipment according to an embodiment of the present invention;
2 is a view showing a specific configuration of a control unit of a voice control device according to an embodiment of the present invention;
3 is a diagram illustrating a method for voice control of a monitor of a construction equipment by a voice control device according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention in the following description and accompanying drawings will be omitted. Also, it should be noted that throughout the drawings, the same components are denoted by the same reference numerals as much as possible.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventor is appropriate as a concept of terms for describing his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined in Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention, and do not represent all of the technical spirit of the present invention. It should be understood that there may be equivalents and variations.

우선, 본 발명의 실시예에 따른 음성 제어 장치에 대해 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.First, a voice control apparatus according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 건설장비의 모니터를 음성 제어하기 위한 음성 제어 장치의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of a voice control device for voice control of a monitor of construction equipment according to an embodiment of the present invention.

도 1을 참조하면, 건설 장비의 모니터를 음성으로 제어하기 위한 음성 제어 장치(100)는 장비 상태 수집부(110), 음성 인식부(120), 제어부(130), 저장부(140), 전원부(150) 및 하나 이상의 모니터(161)를 포함하는 출력부(160)를 포함하여 구성될 수 있다.Referring to FIG. 1 , the voice control device 100 for controlling the monitor of construction equipment by voice includes an equipment state collection unit 110 , a voice recognition unit 120 , a control unit 130 , a storage unit 140 , and a power supply unit. It may be configured to include an output unit 160 including 150 and one or more monitors 161 .

장비 상태 수집부(110)는 건설 장비에 설치된 다양한 센서들을 포함하며, 이러한 다양한 센서들을 통해 건설 장비의 상태를 감지하여 감지된 신호에 따른 장비 상태 정보를 제어부(130)로 전송한다.The equipment state collection unit 110 includes various sensors installed in the construction equipment, detects the state of the construction equipment through these various sensors, and transmits equipment state information according to the sensed signal to the controller 130 .

음성 인식부(120)는 건설 장비에 설치된 하나 이상의 마이크(121) 및 음성 모드로 전환하기 위한 모드 전환 스위치(122)를 포함하여 구성될 수 있으며, 음성 모드에서 정밀 모드 및 간편 모드를 선택하기 위한 모드 선택 스위치(도시되지 않음)를 포함하여 구성될 수 있다. 이에 따라 음성 인식부(120)는 작업자가 모드 선택 스위치를 누른 상태에서 간편 음성 정보를 입력하면, 간편 음성 정보를 인식하여 인식된 신호를 제어부(130)로 전송하고, 작업자가 모드 선택 스위치를 누르지 않고 정밀 음성 정보를 입력하면, 정밀 음성 정보를 인식하여 인식된 신호를 제어부(130)로 전송할 수 있다. 여기서, 모드 선택은 모드 선택 스위치를 이용하지 않고, 모드 전환 스위치(122)를 이용하여 수행될 수도 있다.The voice recognition unit 120 may be configured to include one or more microphones 121 installed in construction equipment and a mode change switch 122 for switching to a voice mode, and for selecting a precision mode and a simple mode in the voice mode It may be configured to include a mode selection switch (not shown). Accordingly, when the operator inputs simple voice information while pressing the mode selection switch, the voice recognition unit 120 recognizes the simple voice information and transmits the recognized signal to the control unit 130, and the operator does not press the mode selection switch. If the precise voice information is input without the precise voice information, it is possible to recognize the precise voice information and transmit the recognized signal to the controller 130 . Here, the mode selection may be performed using the mode changeover switch 122 without using the mode selection switch.

또한, 음성 인식부(120)는 하나 이상의 마이크(121)를 통해 사용자로부터 음성 정보가 입력됨에 따라 음성 처리를 수행한 후, 처리된 음성 정보를 제어부(130)로 전송한다. 음성 인식부(120)는 작업자로부터 음성 모드로 전환하기 위한 미리 설정된 음성 정보가 입력되면, 음성 인식 전환 신호를 모드 전환 스위치(122)로 발생한다. 이에 따라 모드 전환 스위치(122)는 음성 인식 전환 신호를 수신함에 따라 자동으로 일반 모드에서 음성 인식 모드로 모드 변경을 수행할 수 있다. 한편, 사용자가 직접 음성 인식 전환 모드로 변경하는 명령을 입력하면, 모드 전환 스위치(122)는 입력된 명령 신호에 따라 음성 모드 전환 신호를 제어부(130)로 발생할 수도 있다.In addition, the voice recognition unit 120 performs voice processing as voice information is input from the user through one or more microphones 121 , and then transmits the processed voice information to the controller 130 . The voice recognition unit 120 generates a voice recognition switching signal to the mode switching switch 122 when preset voice information for switching to the voice mode is input from the operator. Accordingly, the mode change switch 122 may automatically change the mode from the normal mode to the voice recognition mode as the voice recognition change signal is received. Meanwhile, when the user directly inputs a command for changing to the voice recognition switching mode, the mode switching switch 122 may generate a voice mode switching signal to the controller 130 according to the input command signal.

제어부(130)는 건설 장비의 작업 조작 및 차량 정보의 표시 등 건설 장비의 전반적인 제어를 수행하며, 특히, 건설 장비에 장착된 하나 이상의 모니터에 표시되는 화면을 분할 및 이동 표시하도록 제어한다. 이를 위해, 첨부된 도 2에 도시된 바와 같이, 제어부(130)는 장비 상태 확인부(131), 모드 전환부(132), 음성 처리부(133), 모니터 관리부(134)를 포함하여 구성될 수 있다. 여기서, 제어부(130)는 건설 장비의 작업 조작 제어를 위한 작업 관리부(도시되지 않음)를 더 포함하여 구성될 수 있다.The control unit 130 performs overall control of construction equipment, such as operation operation of construction equipment and display of vehicle information, and in particular, controls to divide and move and display a screen displayed on one or more monitors mounted on construction equipment. To this end, as shown in FIG. 2 , the control unit 130 may be configured to include an equipment status check unit 131 , a mode conversion unit 132 , a voice processing unit 133 , and a monitor management unit 134 . have. Here, the control unit 130 may be configured to further include a work management unit (not shown) for controlling the operation of the construction equipment.

장비 상태 확인부(131)는 장비 상태 수집부(110)로부터 수신되는 장비 상태 정보를 수집하여 저장부(140)에 저장하고, 수집된 장비 상태 정보를 모니터 관리부(134)로 전달한다.The equipment state check unit 131 collects the equipment state information received from the equipment state collection unit 110 and stores it in the storage unit 140 , and transmits the collected equipment state information to the monitor management unit 134 .

모드 전환부(132)는 음성 인식부(120)로부터 수신된 음성 모드 전환 신호에 따라 음성 모드로 전환되고, 음성 모드 상태에서 모드 선택 신호가 입력되면, 음성 모드가 정밀 모드 또는 간편 모드로 전환될 수 있도록 제어할 수 있다. 예를 들어, 모드 전환부(132)는 모드 선택 스위치(도시되지 않음)를 통한 사용자의 입력 신호에 따라 음성 모드의 정밀 모드를 간편 모드로 변경할 수 있다. 이때, 모드 선택 신호가 수신되지 않으면 모드 전환부(132)는 정밀 모드를 유지하며, 간편 모드 상태에서 일정 시간이 지나면 정밀 모드로 전환할 수 있다. The mode switching unit 132 is switched to the voice mode according to the voice mode switching signal received from the voice recognition unit 120, and when a mode selection signal is input in the voice mode state, the voice mode is switched to the precise mode or the simple mode. can be controlled so that For example, the mode conversion unit 132 may change the precision mode of the voice mode to the simple mode according to a user input signal through a mode selection switch (not shown). At this time, if the mode selection signal is not received, the mode switching unit 132 maintains the precision mode, and may be switched to the precision mode after a predetermined period of time in the simple mode state.

음성 처리부(133)는 음성 인식부(130)로부터 전달된 음성 정보를 처리 즉, 음성 정보를 분석한 후 분석된 음성 정보에서 작업자가 지정한 모니터를 파악하고, 파악된 모니터에 대한 정보를 모니터 관리부(134)로 전달한다. 구체적으로, 음성 처리부(133)는 음성 정보를 수신하면, 미리 설정된 매핑 테이블에서 입력된 음성 정보에 대응되는 음성 인식 단어가 있는지를 검색하고, 검색 결과, 대응되는 음성 인식 단어가 있으면, 해당 음성 인식 단어에 대한 음성 정보를 파악한 후 파악된 음성 정보를 모니터 관리부(134)로 전달한다. 반면, 음성 처리부(133)는 음성 정보에 대응되는 음성 인식 단어가 매핑 테이블에 존재하지 않는 경우, 음성이 잘못 입력되었음을 알리는 음성 입력 실패 신호를 안내하는 음성(또는 경고음)을 발생하거나 팝업 메시지를 화면에 표시하도록 제어할 수 있다.The voice processing unit 133 processes the voice information transmitted from the voice recognition unit 130, that is, analyzes the voice information, and then identifies the monitor designated by the operator from the analyzed voice information, and transfers the information on the identified monitor to the monitor management unit ( 134). Specifically, upon receiving the voice information, the voice processing unit 133 searches for a voice recognition word corresponding to the input voice information from a preset mapping table, and if there is a corresponding voice recognition word as a result of the search, the voice recognition After grasping the voice information for the word, the identified voice information is transmitted to the monitor management unit 134 . On the other hand, when the voice recognition word corresponding to the voice information does not exist in the mapping table, the voice processing unit 133 generates a voice (or a warning sound) guiding a voice input failure signal indicating that the voice is incorrectly input or displays a pop-up message on the screen. It can be controlled to display in .

모니터 관리부(134)는 건설 장비에 장착된 출력부(160)의 하나 이상의 모니터의 관리, 화면 분할 및 이동 기능을 수행하고, 장비 상태 확인부(131)에서 전달된 장비 상태 정보를 초기 설정된 화면 분할 정보에 따라 해당 모니터에 표시한다. 여기서, 초기 설정된 분할 화면 정보는 예를 들어, 작업을 제1 모니터(161a)에 표시하고, 주행을 제2 모니터(161b)에 표시하고, 카메라를 제3 모니터(161c)에 표시하도록 미리 설정될 수 있다. 이에 따라 장비 상태 정보는 하나의 모니터에 모두 표시하는 것이 아닌 다수의 모니터(161)에 분할되어 표시될 수 있다.The monitor management unit 134 performs management, screen division and movement functions of one or more monitors of the output unit 160 mounted on the construction equipment, and divides the initially set equipment condition information transmitted from the equipment condition check unit 131 into a screen division. The information is displayed on the corresponding monitor. Here, the initially set split screen information is, for example, to be preset to display a job on the first monitor 161a, display driving on the second monitor 161b, and display the camera on the third monitor 161c. can Accordingly, the equipment state information may be divided and displayed on a plurality of monitors 161 instead of being displayed all on one monitor.

또한, 모니터 관리부(134)는 음성 처리부(133)에서 처리된 음성 정보를 수신하면, 수신된 음성 정보에서 파악된 모니터 번호에 해당하는 모니터(161)로 장비 상태 정보를 전송하여 표시하도록 제어한다. 이때, 모니터 관리부(134)는 장비 상태 정보가 미리 설정된 화면 분할 정보에 따라 다른 모니터(161)에 표시되면, 다른 모니터(161)에 표시된 장비 상태 정보에 대한 화면을 해당 모니터(161)로 이동시켜 표시하도록 제어할 수 있다.In addition, when receiving the voice information processed by the voice processing unit 133, the monitor management unit 134 controls to transmit and display the equipment status information to the monitor 161 corresponding to the monitor number identified from the received voice information. At this time, when the equipment state information is displayed on the other monitor 161 according to the preset screen division information, the monitor management unit 134 moves the screen for the equipment state information displayed on the other monitor 161 to the corresponding monitor 161. You can control the display.

또한, 모니터 관리부(134)는 첨부된 도 2에 도시된 바와 같이, 장비 상태 정보에 따른 분할된 화면의 화면 이름 및 각 모니터(161)에 대한 모니터 번호를 설정하고, 설정된 화면 이름 및 모니터 번호를 매핑하여 음성 인식 단어를 구성하며, 구성된 음성 인식 단어들을 이용하여 매핑 테이블을 미리 설정할 수 있다. 모니터 관리부(134)는 이렇게 설정된 매핑 테이블을 저장부(140)에 저장한다.In addition, the monitor management unit 134 sets the screen name of the divided screen according to the equipment state information and the monitor number for each monitor 161 as shown in the attached FIG. 2, and sets the screen name and monitor number. A speech recognition word may be configured by mapping, and a mapping table may be preset using the configured speech recognition words. The monitor management unit 134 stores the mapping table set in this way in the storage unit 140 .

한편, 제어부(130)는 작업자가 원하는 모니터 즉, 분할 화면을 이동할 모니터에 에러가 발생한 경우, 해당 모니터의 에러를 알리는 팝업 메시지를 나머지 하나 이상의 모니터(장비 상태 정보가 현재 표시된 모니터 또는 메인 모니터 등)에 정해진 시간 단위(예컨대, 1초)로 표시하거나, 경고음을 발생하고, 현 상태를 유지할 수 있다. 또한, 제어부(130)는 에러가 발생한 모니터에 표시되었던 화면은 메인 모니터(또는 미리 설정된 룰에 따라 정해진 모니터)로 이동시켜 표시하도록 제어할 수 있다.On the other hand, when an error occurs in the monitor desired by the operator, that is, the monitor to which the split screen is to be moved, the control unit 130 sends a pop-up message notifying the error of the corresponding monitor to one or more other monitors (such as a monitor currently displaying equipment status information or a main monitor) may be displayed in a predetermined time unit (eg, 1 second), or a warning sound may be generated, and the current state may be maintained. Also, the controller 130 may control the screen displayed on the monitor where the error occurred to be displayed by moving it to the main monitor (or a monitor determined according to a preset rule).

저장부(140)는 건설 장비의 제어 동작에 필요한 정보들을 저장하며, 특히, 건설 조작 관련 정보, 음성 인식과 관련된 정보 및 모니터 제어와 관련된 정보를 저장할 수 있으며, 또한 제어부(130)에서 미리 설정한 매핑 테이블을 저장할 수 있다. 이러한 저장부(140)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magnet-optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다.The storage unit 140 stores information necessary for the control operation of the construction equipment, and in particular, may store information related to construction operation, information related to voice recognition, and information related to monitor control, and may also be set in advance by the control unit 130 . A mapping table can be saved. The storage unit 140 includes a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, a compact disk read only memory (CD-ROM), and an optical recording medium such as a digital video disk (DVD). , magnetic-optical media, such as a floppy disk, and a ROM, a random access memory (RAM), and a flash memory.

전원부(150)는 건설 장비가 구동될 수 있도록 건설 장비에 전원을 공급한다.The power supply unit 150 supplies power to the construction equipment so that the construction equipment can be driven.

출력부(160)는 건설 장비의 동작 결과나 상태를 사용자가 인식할 수 있도록 제공하는 수단으로서, 예를 들면, 화면을 통해 시각적으로 출력하는 표시부나, 가청음을 출력하는 스피커 등을 포함할 수 있다. 특히, 본 발명에 있어서, 출력부(160)는 건설 장비에 장착된 하나 이상의 모니터(161) 및 하나 이상의 모니터 전원 스위치(도시되지 않음)를 포함하여 구성할 수 있다. 여기서, 하나 이상의 모니터(161)는 본 발명의 실시예에 따라 3개의 모니터 즉, 제1 내지 제3 모니터(161a, 161b, 161c)를 예를 들어 설명하기로 한다. 예를 들어, 제1 모니터(161a)는 건설 장비의 메인 화면으로서, 전면에 장착된 모니터일 수 있고, 제2 모니터(161b)는 건설 장비의 측면 후방에 장착된 카메라 모니터일 수 있으며, 제3 모니터(161c)는 측면 weighing 시스템 모니터일 수 있다. 이외에도 사용자의 작업 위치 및 작업 특성에 따라 다양한 위치에 모니터를 적용하여 음성 인식에 따라 장비 상태 정보 화면을 표시할 수 있다.The output unit 160 is a means for providing a user to recognize the operation result or state of the construction equipment, and may include, for example, a display unit that visually outputs through a screen, a speaker that outputs an audible sound, etc. . In particular, in the present invention, the output unit 160 may be configured to include one or more monitors 161 and one or more monitor power switches (not shown) mounted on the construction equipment. Here, the one or more monitors 161 will be described with the example of three monitors, that is, the first to third monitors 161a, 161b, and 161c according to an embodiment of the present invention. For example, the first monitor (161a) is a main screen of the construction equipment, may be a monitor mounted on the front, the second monitor (161b) may be a camera monitor mounted on the rear side of the construction equipment, the third The monitor 161c may be a side weighing system monitor. In addition, it is possible to display the equipment status information screen according to voice recognition by applying the monitor to various locations according to the user's work location and work characteristics.

또한, 출력부(160)는 제어부(130)에서 수집된 장비 상태 정보를 미리 설정된 화면 분할 정보에 따라 해당 모니터(161)의 화면에 표시한다.In addition, the output unit 160 displays the equipment state information collected by the control unit 130 on the screen of the corresponding monitor 161 according to preset screen division information.

또한, 출력부(160)는 제어부(130)로부터 음성 정보에 포함된 숫자 즉, 모니터 번호에 해당하는 모니터(161)로 현재 장비 상태 정보를 수신하면, 해당 모니터(161)에 현재 장비 상태 정보에 대한 화면을 표시할 수 있다. 이때, 출력부(160)는 초기 설정된 화면 분할 정보에 따라 이전 모니터(161)에 현재 장비 상태 정보가 표시되어 있으면, 이전 모니터(161)에 표시된 화면을 작업자가 원하는 즉, 제어부(130)에서 파악된 음성 정보에 포함된 모니터 번호에 해당하는 새로운 모니터(161)로 이동시켜 표시할 수 있다. 여기서, 새로운 모니터(161)의 이전에 표시된 화면은 제어부(130)에 의해 이전 모니터(161)로 이동됨에 따라 이전 모니터(161)에 표시될 수 있다.In addition, when the output unit 160 receives the current equipment state information from the controller 130 to the monitor 161 corresponding to the number included in the voice information, that is, the monitor number, the current equipment state information is displayed on the monitor 161. screen can be displayed. At this time, when the current equipment status information is displayed on the previous monitor 161 according to the initially set screen division information, the output unit 160 determines the screen displayed on the previous monitor 161, that is, the control unit 130 wants the screen displayed on the previous monitor 161. It can be displayed by moving it to a new monitor 161 corresponding to the monitor number included in the voice information. Here, the previously displayed screen of the new monitor 161 may be displayed on the previous monitor 161 as it is moved to the previous monitor 161 by the controller 130 .

그러면, 이와 같이 구성된 음성 제어 장치가 건설 장비의 모니터들에 표시되는 화면을 분할 및 이동하여 표시할 수 있도록 하나 이상의 모니터를 음성 제어하는 방법을 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.Then, a method of controlling one or more monitors by voice so that the voice control device configured as described above can divide and move the screen displayed on the monitors of the construction equipment and display it will be described in detail with reference to the accompanying drawings.

도 3은 본 발명의 실시예에 따라 음성 제어 장치가 건설 장비의 모니터를 음성 제어하는 방법을 도시한 도면이다.3 is a diagram illustrating a method for voice control of a monitor of a construction equipment by a voice control device according to an embodiment of the present invention.

우선, 음성 제어 장치(100)는 음성 인식을 위한 매핑 테이블을 미리 설정하여 관리한다. 여기서, 음성 인식 매핑 테이블은 분할된 화면 이름(예를 들어, 작업, 주행, 카메라 등) 또는 각 모니터(161)의 번호(예를 들어, 제1 모니터는 1번, 제2 모니터는 2번, 제3 모니터는 3번 등)에 매핑되는 음성 인식 단어(예를 들어, 작업 1번, 카메라 1번, 주행 2번, 작업 2번, 주행 3번, 카메라 3번 등)를 저장한다.First, the voice control apparatus 100 sets and manages a mapping table for voice recognition in advance. Here, the voice recognition mapping table is a divided screen name (for example, work, driving, camera, etc.) or a number of each monitor 161 (for example, the first monitor is No. 1, the second monitor is No. 2, The third monitor stores speech recognition words (eg, task 1, camera 1, driving 2, task 2, driving 3, camera 3, etc.) mapped to the third monitor.

또한, 음성 제어 장치(100)는 모니터(161)의 화면을 분할 및 이동 표시하기 위한 명령어를 음성으로 인식하기 위해, 일반 모드와 음성 인식 모드로 구분되어 동작하고, 음성 인식 모드에 있어서는 간편 모드 및 정밀 모드로 구분되어 동작한다.In addition, the voice control device 100 operates by being divided into a normal mode and a voice recognition mode to recognize a command for dividing and moving the screen of the monitor 161 as a voice, and in the voice recognition mode, a simple mode and It operates in precision mode.

이후, 건설 장비에 전원이 입력되어 작업자가 건설 장비를 구동시켜서 작업이 수행되면, 음성 제어 장치(100)는 건설 장비의 음성 인식 제어를 수행한다. Thereafter, when power is input to the construction equipment and the worker drives the construction equipment to perform the work, the voice control device 100 performs voice recognition control of the construction equipment.

도 3을 참조하면, 작업자가 건설 장비를 구동시켜 작업을 수행함에 따라 S1101단계에서 음성 제어 장치(100)는 건설 장비에 장착된 하나 이상의 센서들로부터 감지된 작업 신호에 따른 장비 상태 정보를 수집 및 표시한다. 여기서, 장비 상태 정보는 건설 장비의 굴삭 및 상차 작업 등의 작업 신호, 전/후진 주행 신호 및 장착된 카메라로부터 수신된 카메라 신호(영상)에 따른 정보를 포함할 수 있다. 이때, 음성 제어 장치(100)는 현재 수집된 장비 상태 정보를 전면에 위치한 제1 모니터(161a)에 표시한 후, 작업 상태 또는 사용자의 작업 위치에 따라 초기 설정된 화면 분할 정보를 기반으로 제1 모니터(161a), 제2 모니터(161b) 및 제3 모니터(161c) 중 어느 하나에 장비 상태 정보를 표시한다.Referring to FIG. 3 , as the worker drives the construction equipment to perform work, the voice control device 100 in step S1101 collects equipment state information according to the work signal detected from one or more sensors mounted on the construction equipment and indicate Here, the equipment state information may include information according to work signals such as excavation and loading work of construction equipment, forward/reverse driving signals, and camera signals (images) received from the mounted cameras. At this time, the voice control device 100 displays the currently collected equipment state information on the first monitor 161a located in the front, and then displays the first monitor based on the screen division information initially set according to the working state or the user's working position. (161a), the second monitor (161b), and the equipment status information is displayed on any one of the third monitor (161c).

이후, S1102단계에서 음성 제어 장치(100)는 음성 인식 모드로 전환되었는지를 확인한다. 즉, 작업자가 음성 인식 모드 전환 스위치(112)를 누름에 따라 음성 인식 모드 전환 신호가 발생되었는지를 확인한다.Thereafter, in step S1102, the voice control apparatus 100 checks whether the voice recognition mode has been switched. That is, as the operator presses the voice recognition mode switching switch 112, it is checked whether a voice recognition mode switching signal is generated.

확인 결과, 음성 인식 모드로 전환되지 않은 경우에는 S1103단계에서 음성 제어 장치(100)는 일반 모드로 동작하고, S1104단계에서 현재 수집된 장비 상태 정보를 전면에 위치한 제1 모니터(161a)에 표시한 후, 작업 상태 또는 사용자의 작업 위치에 따라 초기 설정에 따라 표시된 화면을 작업자의 모니터 조작에 의해 지정된 해당 모니터(161) 즉, 제2 모니터(161b) 또는 제3 모니터(161c)로 수집된 장비 상태 정보를 이동시켜서 표시한다.As a result of the check, if it is not switched to the voice recognition mode, the voice control device 100 operates in the normal mode in step S1103, and displays the equipment status information currently collected in step S1104 on the first monitor 161a located in the front. After that, the screen displayed according to the initial setting according to the working state or the user's working position is displayed on the corresponding monitor 161 designated by the operator's monitor operation, that is, the second monitor 161b or the third monitor 161c. Display information by moving it.

반면, 음성 인식 모드 전환 신호를 수신함에 따라 음성 인식 모드로 전환된 경우에는 S1105단계에서 음성 제어 장치(100)는 음성 인식 모드로 동작한다. 이에 따라 S1106단계에서 음성 제어 장치(100)는 모드 선택 신호가 수신되었는지를 확인한다.On the other hand, if the voice recognition mode is switched to the voice recognition mode as a result of receiving the voice recognition mode switching signal, the voice control apparatus 100 operates in the voice recognition mode in step S1105 . Accordingly, in step S1106, the voice control apparatus 100 checks whether a mode selection signal is received.

확인 결과, 음성 제어 장치(100)는 모드 선택 신호가 수신된 경우에는 간편 모드로 동작한다. 즉, 작업자가 모드 선택 스위치를 누른 상태에서 명령어를 말하면, 즉, 간편 음성 정보가 입력되면, S1107단계에서 음성 제어 장치(100)는 음성 인식 모드의 간편 모드로 전환되어 간편 모드로 동작한다. 이러한 간편 모드 상태에서는 작업자가 음성 모드를 사용하겠다는 의지를 가지고 모드 선택 스위치를 누른 상태로 명령어를 말하므로 의도되지 않은 동작이 발생하지 않게 된다.As a result of the check, when the mode selection signal is received, the voice control apparatus 100 operates in the simple mode. That is, if the operator speaks a command while pressing the mode selection switch, that is, when simple voice information is input, the voice control apparatus 100 is switched to the simple mode of the voice recognition mode in step S1107 and operates in the simple mode. In such a simple mode state, an unintended operation does not occur because the operator speaks a command while pressing the mode selection switch with the will to use the voice mode.

이에 따라 S1108단계에서 음성 제어 장치(100)는 작업자가 명령한 간편 음성 정보를 수신하고, 수신된 간편 음성 정보를 인식하며, 인식된 간편 음성 정보를 분석하여 지정된 모니터를 파악한다. 그런 다음 S1109단계에서 음성 제어 장치(100)는 이전 모니터(161)에 표시된 장비 상태 정보에 대한 화면을 파악된 해당 모니터(161)로 이동 표시한다.Accordingly, in step S1108, the voice control device 100 receives the simple voice information commanded by the operator, recognizes the received simple voice information, and analyzes the recognized simple voice information to identify a designated monitor. Then, in step S1109, the voice control device 100 moves and displays the screen for the equipment state information displayed on the previous monitor 161 to the identified corresponding monitor 161.

구체적으로 간편 모드 상태에서 작업자가 모드 전환 스위치를 누르면서 간편 입력 정보(모니터의 번호만)를 입력함에 따라, 음성 제어 장치(100)는 모니터 번호만을 포함하는 간편 음성 정보를 수신하고, 간편 음성 정보에 포함된 모니터 번호만을 확인하여 확인된 모니터 번호에 대응되는 해당 모니터(161)로 분할 또는 이동할 현재 수집된 장비 상태 정보에 대한 화면을 전송한다. 예를 들어, 전진 주행 상태에서 운전자가 모드 선택 스위치를 누르면서 원하는 숫자 2를 말하면, 음성 제어 장치(100)의 제어부(130)는 제2 모니터(161b)로 주행 정보를 포함한 장비 상태 정보를 전송한다. 이에 따라 제2 모니터(161b)는 화면에 주행 정보를 표시한다. 작업자가 굴삭 및 상차 작업 중에 모드 선택 스위치를 누르면서 숫자 3을 말하면, 제어부(130)는 제3 모니터(161c)로 굴삭 및 상차 작업 정보를 포함하는 장비 상태 정보를 전송한다. 이에 따라 제3 모니터(161c)는 화면에 굴삭 및 상차 작업 정보를 표시한다.Specifically, in the simple mode state, as the operator inputs simple input information (only the number of the monitor) while pressing the mode changeover switch, the voice control device 100 receives the simple voice information including only the monitor number, and Only the included monitor number is checked, and the screen for the currently collected equipment status information to be divided or moved to the corresponding monitor 161 corresponding to the checked monitor number is transmitted. For example, in the forward driving state, when the driver speaks the desired number 2 while pressing the mode selection switch, the control unit 130 of the voice control device 100 transmits equipment state information including driving information to the second monitor 161b. . Accordingly, the second monitor 161b displays driving information on the screen. When the operator speaks the number 3 while pressing the mode selection switch during the excavation and loading operation, the control unit 130 transmits the equipment status information including the excavation and loading operation information to the third monitor 161c. Accordingly, the third monitor 161c displays excavation and loading operation information on the screen.

반면, 확인결과, 모드 선택 신호가 발생되지 않은 경우, S1110단계에서 음성 제어 장치(100)는 현재 모드 즉, 음성 모드의 정밀 모드로 동작한다. 또한, 음성 제어 장치(100)는 간편 모드로 전환된 상태에서 일정 시간이 경과하면, 자동으로 정밀 모드로 전환한다.On the other hand, as a result of the check, if the mode selection signal is not generated, the voice control apparatus 100 operates in the current mode, that is, the precision mode of the voice mode in step S1110. Also, when a predetermined time elapses in the state in which the voice control device 100 is switched to the simple mode, it automatically switches to the precise mode.

S1111단계에서 음성 제어 장치(100)는 정밀 모드에서 작업자로부터 정밀 음성 정보를 수신하면, 수신된 정밀 음성 정보를 매핑 테이블을 이용하여 분석함으로써 음성 인식을 수행하고, S1112단계에서 정밀 음성 정보에서 파악된 해당 모니터(161)로 작업자가 지정한 화면 이름에 대한 장비 상태 정보를 표시한 화면을 이동 표시한다.In step S1111, when the voice control device 100 receives precise voice information from the operator in the precision mode, it performs voice recognition by analyzing the received precise voice information using a mapping table, and in step S1112, The screen displaying the equipment status information for the screen name designated by the operator is moved and displayed on the corresponding monitor 161 .

구체적으로 작업자가 모드 선택 스위치를 누르지 않고 정밀 음성을 입력하는 경우, 작업자는 원하는 화면 이름과 원하는 모니터의 번호에 대한 정밀 음성 정보를 입력할 수 있다. 이에 따라 음성 제어 장치(100)는 음성 인식부(120)를 통해 입력받은 정밀 음성 정보를 미리 설정된 매핑 테이블을 이용하여 분석하고, 분석된 정밀 음성 정보에 따른 해당 모니터(161)로 표시할 장비 상태 정보를 전달한다. 예를 들어, 음성 제어 장치(100)는 사용자로부터 "주행 2번"이라는 정밀 음성 정보를 입력받는 경우, 수집된 장비 상태 정보가 표시된 제1 모니터(161a)로부터 작업자가 원하는 2번의 제2 모니터(161b)로 주행에 대한 정보를 포함하는 장비 상태 정보에 대한 화면을 이동시킨다. 이에 따라 제2 모니터(161b)는 이동된 화면을 표시할 수 있다. 이때, 음성 제어 장치(100)의 제어부(130)는 제2 모니터(161b)에 기 표시된 화면을 제1 모니터(161a)로 이동시키기 전에 파악된 음성 정보인 "주행 2번"을 팝업 메시지로 표시함으로써, 작업자가 자신이 입력한 음성 정보가 정확한지를 확인할 수 있다. 또한, 음성 제어 장치(100)의 제어부(130)는 "화면이 이동됩니다"라는 팝업 메시지를 정해진 시간(1초) 동안 제1 및 제2 모니터(161a, 161b)에 표시하거나, 스피커(도시되지 않음)를 통해 음성으로 안내할 수 있다.Specifically, when the operator inputs a precise voice without pressing the mode selection switch, the operator may input precise voice information about a desired screen name and a desired monitor number. Accordingly, the voice control device 100 analyzes the precise voice information received through the voice recognition unit 120 using a preset mapping table, and the equipment state to be displayed on the monitor 161 according to the analyzed precise voice information. convey information For example, when the voice control device 100 receives precise voice information of “driving No. 2” from the user, the second monitor ( 161b) moves the screen for equipment status information including driving information. Accordingly, the second monitor 161b may display the moved screen. At this time, the control unit 130 of the voice control device 100 displays “Driving No. 2”, which is the voice information identified before moving the screen previously displayed on the second monitor 161b to the first monitor 161a, as a pop-up message. By doing so, the operator can check whether the voice information input by the operator is correct. In addition, the control unit 130 of the voice control device 100 displays a pop-up message saying “the screen is moved” on the first and second monitors 161a and 161b for a predetermined time (1 second), or a speaker (not shown). No) can be guided by voice.

한편, 작업자가 원하는 모니터 즉, 분할 화면을 이동할 모니터가 작동 불능 상태인 경우, 음성 제어 장치(100)는 해당 모니터의 에러를 알리는 팝업 메시지를 장비 상태 정보가 현재 표시된 모니터에 정해진 시간(1초) 동안 표시하거나, 경고음을 발생하고, 현 상태를 유지할 수 있다. 또한, 음성 제어 장치(100)는 에러가 발생한 모니터에 표시되었던 화면을 메인 모니터(또는 미리 설정된 룰에 따라 정해진 모니터)로 이동시켜 표시하도록 제어할 수 있다.On the other hand, when the monitor desired by the operator, that is, the monitor to which the split screen is to be moved is in an inoperable state, the voice control device 100 sends a pop-up message notifying an error of the corresponding monitor to the monitor on which the equipment status information is currently displayed for a predetermined time (1 second) You can display it while you're at it, make a warning sound, and keep the status quo. Also, the voice control apparatus 100 may control the screen displayed on the monitor where the error has occurred to be displayed by moving it to the main monitor (or a monitor determined according to a preset rule).

기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magnet-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The recorded program instructions may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a compact disk read only memory (CD-ROM), a digital video disk (DVD), and a floppy disk. Magnet-Optical Media, such as a disk, and hardware devices specially configured to store and carry out program instructions, such as ROM, Random Access Memory (RAM), Flash memory, etc. do. Examples of program instructions may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the present specification and drawings are merely presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

100: 음성 제어 장치 110: 장비 상태 수집부
120: 음성 인식부 130: 제어부
131: 장비 상태 확인부 132: 모드 전환부
133: 음성 처리부 134: 모니터 관리부
140: 저장부 150: 전원부
160: 출력부 161: 모니터100: voice control device 110: equipment status collection unit
120: voice recognition unit 130: control unit
131: equipment status check unit 132: mode conversion unit
133: voice processing unit 134: monitor management unit
140: storage unit 150: power unit
160: output unit 161: monitor

Claims

multiple monitors;
A voice recognition unit for acquiring the voice information of the operator; and
a control unit for displaying the status information of the construction equipment by moving from at least one monitor among the plurality of monitors to at least another monitor based on the voice information acquired through the voice recognition unit;
includes,
The control unit is
an equipment state check unit that detects the state of construction equipment through various sensors installed in the construction equipment and collects a plurality of equipment state information including work state information, driving state information, and camera image information;
a mode switching unit for switching from a normal mode to a voice mode when the operator requests a voice mode change;
In the voice mode, when receiving voice information from the voice recognition unit, a voice processing unit for analyzing the received voice information, and identifying at least one monitor designated by the operator using the analyzed voice information; and
control to display one or more equipment state information among the plurality of equipment state information on at least one monitor, and in the voice mode, move one or more equipment state information among the plurality of equipment state information to the identified at least one monitor The monitor management unit that controls the display
includes,
The voice recognition unit includes a mode change switch for inputting simple voice information including a monitor number while the operator presses,
The voice mode confirms only the monitor number included in the simple voice information, and transmits a screen for the currently collected equipment status information to the monitor corresponding to the confirmed monitor number. voice control unit.

delete

Collecting a plurality of equipment state information including work state information, driving state information, and camera image information by detecting the state of the construction equipment;
displaying one or more equipment state information of the plurality of equipment state information on at least one monitor among the plurality of monitors;
Recognizing the input voice information when the operator inputs voice information to control the monitor screen;
analyzing the recognized voice information and identifying at least one monitor designated by the operator using the analyzed voice information; and
moving and displaying a screen on which one or more equipment state information among the plurality of equipment state information is displayed from the at least one monitor among the plurality of monitors to the identified at least one monitor;
includes,
When receiving a request to change the voice mode from the operator before receiving the voice information, further comprising the step of switching from the normal mode to the voice mode,
The voice mode includes a simple mode in which subsequent steps are performed only when voice information is input while pressing a mode change switch for switching to the voice mode,
The simple voice information includes at least one monitor number designated by the operator,
The voice mode in the voice control device of construction equipment, characterized in that only the monitor number included in the simple voice information is checked and the screen for the currently collected equipment status information is transmitted to the monitor corresponding to the confirmed monitor number. of voice control method.

delete

5. The method of claim 4,
operating in the precision mode of the voice mode when the operator does not input mode selection in the voice mode;
The voice control method in the voice control device of the construction equipment, characterized in that it further comprises.

The method of claim 4, wherein the step of identifying at least one monitor designated by the operator comprises:
analyzing the input simple voice information when the operator inputs simple voice information while inputting a mode selection in a state switched to the voice mode;
identifying a monitor number designated by the operator using the analyzed simple voice information; and
checking a monitor corresponding to the identified at least one monitor number;
A voice control method in a voice control device for construction equipment, comprising a.

The method of claim 4, wherein the step of identifying at least one monitor designated by the operator comprises:
analyzing the input precision voice information when the operator inputs precise voice information without inputting a mode selection in a state switched to the voice mode;
Recognizing the screen name and monitor number designated by the operator from the analyzed precise voice information; and
checking a first monitor on which the collected equipment state information corresponding to the identified screen name is displayed;
A voice control method in a voice control device for construction equipment, comprising a.

The method according to claim 4, wherein the step of moving and displaying the identified at least one monitor comprises:
moving and displaying the screen of the first monitor displaying the equipment state information to a second monitor corresponding to the monitor number identified using the simple voice information input from the operator in the state switched to the voice mode; and
displaying a screen previously displayed on the second monitor by moving it to the first monitor;
A voice control method in a voice control device for construction equipment, comprising a.

The method according to claim 4, wherein the step of moving and displaying the identified at least one monitor comprises:
Move the screen of the first monitor displaying the equipment status information corresponding to the screen name identified using the precise voice information input from the operator in the state switched to the voice mode to the second monitor corresponding to the identified monitor number to display; and
displaying a screen previously displayed on the second monitor by moving it to the first monitor;
A voice control method in a voice control device for construction equipment, comprising a.