KR20140083104A - Voice controlling apparatus of construction machinery and method thereof - Google Patents

Voice controlling apparatus of construction machinery and method thereof Download PDF

Info

Publication number
KR20140083104A
KR20140083104A KR1020120151766A KR20120151766A KR20140083104A KR 20140083104 A KR20140083104 A KR 20140083104A KR 1020120151766 A KR1020120151766 A KR 1020120151766A KR 20120151766 A KR20120151766 A KR 20120151766A KR 20140083104 A KR20140083104 A KR 20140083104A
Authority
KR
South Korea
Prior art keywords
voice
monitor
information
mode
operator
Prior art date
Application number
KR1020120151766A
Other languages
Korean (ko)
Other versions
KR102283264B1 (en
Inventor
정희준
Original Assignee
두산인프라코어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산인프라코어 주식회사 filed Critical 두산인프라코어 주식회사
Priority to KR1020120151766A priority Critical patent/KR102283264B1/en
Publication of KR20140083104A publication Critical patent/KR20140083104A/en
Application granted granted Critical
Publication of KR102283264B1 publication Critical patent/KR102283264B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

The present invention relates to a device and a method for controlling a screen of a construction equipment monitor by voice. The voice control device can display desired content on a high visibility screen suitable for each worker and improve work efficiency by detecting a state of construction equipment, collecting equipment state information, displaying the collected equipment state information on at least one of multiple monitors, recognizing input voice information when a worker inputs the voice information for controlling a screen of the monitor, analyzing the recognized voice information, identifying the monitor designated by the worker, and moving the screen, which displays the collected equipment state information, to the identified monitor to display the screen on the identified monitor.

Description

건설장비의 음성 제어 장치 및 방법{VOICE CONTROLLING APPARATUS OF CONSTRUCTION MACHINERY AND METHOD THEREOF}TECHNICAL FIELD [0001] The present invention relates to a voice control apparatus and a voice control apparatus for a construction equipment,

본 발명은 건설 장비의 제어에 관한 것으로서, 특히 건설 장비의 모니터들에 표시되는 건설 장비의 상태 정보의 화면을 음성 인식 신호에 따라 분할 및 이동 표시하도록 건설장비의 모니터를 음성 제어하기 위한 음성 제어 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to control of construction equipment, and more particularly, to a voice control device for voice control of a monitor of a construction equipment to display a screen of state information of construction equipment displayed on monitors of construction equipment, And methods.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

현재 사용되고 있는 굴삭기나 휠로더와 같은 건설장비의 경우 작업자가 장비 제어, 주행 및 소정 기능을 사용하고자 할 때 그에 해당하는 스위치, 레버 등을 직접 조작해야 한다.In the case of construction equipment such as an excavator or a wheel loader which is currently in use, the operator must directly operate the corresponding switches and levers when he / she wants to use equipment control, running and certain functions.

일반적으로 작업자는 작업 또는 주행 시 조이스틱에 양손 혹은 한 손을 올려놓고 조작하므로 만약 다른 기능을 선택하려면 조이스틱에 있던 손을 움직여 스위치를 동작시켜야 한다.Normally, the operator puts both hands or one hand on the joystick during operation or driving, so if you want to select another function, you must move the hand by moving the joystick.

또한, 작업자는 건설 장비의 조작에 따른 작업 상태를 모니터 화면을 통해 확인하는데, 종래의 건설 장비에서는 조작 및 장비 상태를 정해진 모니터에 표시하도록 설정되어 있으므로 작업자가 해당 작업 상태를 확인하기 위해서는 해당 모니터의 위치로 방향을 바꿔서 표시된 화면을 확인해야 한다.In addition, since the operator confirms the operation status of the construction equipment through the monitor screen, the conventional construction equipment is set to display the operation and the equipment status on the predetermined monitor. Therefore, in order to check the operation status, You need to change the direction to the location to see the displayed screen.

이 때문에 작업이 잠시 중단되거나 작업에 집중하지 못하게 되어 작업의 효율이 떨어지고 정상적인 제어를 하지 못하는 불편함이 있다.As a result, the work is temporarily stopped or the work can not be concentrated on the work, resulting in an inefficient work and inconvenience that normal control can not be performed.

아울러 작업자마다 작업을 위한 행동 및 습관이 다르므로 가장 시인성이 좋다고 느끼는 모니터 역시 다를 수 있기 때문에 작업자 개개인에 알맞게 시인성이 좋은 모니터에 원하는 내용을 표시하기 어려운 문제점이 있다.In addition, since the behaviors and habits for each worker are different for each worker, the monitors that feel most visually different may also be different. Therefore, there is a problem in that it is difficult to display desired contents on a monitor with good visibility suitable for each worker.

이에 따라 작업자가 작업 시 또는 주행 시 좀 더 작업을 효율적으로 할 수 있도록 하기 위한 제어 방안이 요구되고 있다.Accordingly, there is a need for a control method for enabling an operator to perform more efficient operation at the time of operation or driving.

본 발명은 종래의 불편함을 해소하기 위하여 제안된 것으로서, 건설 장비의 모니터들에 표시되는 화면을 음성 인식 신호에 따라 분할 및 이동 표시하도록 건설장비의 모니터를 음성 제어하기 위한 음성 제어 장치 및 방법을 제공하고자 한다.The present invention has been proposed in order to solve the inconvenience of the related art, and it is an object of the present invention to provide a voice control apparatus and method for voice control of a monitor of a construction equipment so that a screen displayed on monitors of construction equipment is divided and displayed according to a voice recognition signal .

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 건설 장비의 음성 제어 장치는, 복수의 모니터; 작업자의 음성 정보를 획득하는 음성 인식부; 및 건설 장비의 상태 정보를, 상기 음성 인식부를 통해 획득한 상기 음성 정보에 기초하여, 상기 복수의 모니터 중 적어도 하나의 모니터에서 적어도 다른 하나의 모니터로 이동하여 표시하는 제어부를 포함한다.According to another aspect of the present invention, there is provided a voice control apparatus for a construction equipment, comprising: a plurality of monitors; A voice recognition unit for acquiring voice information of an operator; And a controller for moving status information of the construction equipment from at least one of the plurality of monitors to at least one other monitor based on the voice information acquired through the voice recognition unit.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 건설 장비의 음성 제어 장치에서의 음성 제어 방법은, 건설 장비의 상태를 감지하여 장비 상태 정보를 수집하는 단계; 상기 수집된 장비 상태 정보를 복수의 모니터 중 적어도 하나의 모니터에 표시하는 단계; 작업자가 모니터 화면 제어를 위해 음성 정보를 입력하는 경우, 입력된 음성 정보를 인식하는 단계; 인식된 음성 정보를 분석하고, 분석된 음성 정보를 이용하여 상기 작업자가 지정한 적어도 하나의 모니터를 파악하는 단계; 및 상기 수집된 장비 상태 정보가 표시된 화면을 상기 적어도 하나의 모니터에서 상기 파악된 적어도 하나의 모니터로 이동 표시하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of controlling a voice in a voice control apparatus for a construction equipment, the method comprising: collecting equipment state information by sensing a state of a construction equipment; Displaying the collected equipment state information on at least one monitor among the plurality of monitors; Recognizing inputted voice information when an operator inputs voice information for controlling a monitor screen; Analyzing the recognized voice information and identifying at least one monitor designated by the operator using the analyzed voice information; And moving and displaying a screen displaying the collected equipment status information from the at least one monitor to the at least one monitor identified.

본 발명은 건설 장비의 모니터들에 표시되는 건설 장비의 상태 정보의 화면을 초기 설정에 따라 분할 표시하고, 작업자가 모니터 화면을 제어하기 위한 음성 정보를 입력하면, 입력된 음성 정보에 따라 작업자가 원하는 화면을 작업자가 지정한 모니터로 이동 표시함으로써, 작업자 개개인에 알맞게 시인성이 좋은 모니터에 원하는 내용을 표시할 수 있다.According to the present invention, the screen of the state information of the construction equipment displayed on the monitors of the construction equipment is divided and displayed according to the initial setting. When the operator inputs the voice information for controlling the monitor screen, By moving and displaying the screen on the monitor designated by the operator, desired contents can be displayed on a monitor having good visibility suitable for each operator.

또한, 본 발명은 작업자가 입력한 음성 정보에 따라 음성으로 자동으로 모니터 화면을 제어할 수 있으므로 작업자가 직접 모니터의 화면을 조작하여 분할 및 이동시킬 필요가 없으며, 작업자가 작업을 중단하지 않고 계속해서 작업에 집중하여 작업을 수행할 수 있으므로 작업 효율을 높일 수 있는 효과가 있다.Further, the present invention can automatically control the monitor screen by voice according to the voice information inputted by the operator, so that it is not necessary for the operator to directly operate the screen of the monitor to divide and move the screen, Since the work can be performed concentrating on the work, the work efficiency can be improved.

도 1은 본 발명의 실시예에 따른 건설장비의 모니터를 음성 제어하기 위한 음성 제어 장치의 구성을 도시한 도면,
도 2는 본 발명의 실시예에 따른 음성 제어 장치의 제어부의 구체적인 구성을 도시한 도면,
도 3은 본 발명의 실시예에 따라 음성 제어 장치가 건설 장비의 모니터를 음성 제어하는 방법을 도시한 도면이다.1 is a block diagram of a voice control apparatus for voice control of a monitor of a construction equipment according to an embodiment of the present invention;
2 is a diagram showing a specific configuration of a control unit of a voice control apparatus according to an embodiment of the present invention;
FIG. 3 is a diagram illustrating a method for voice control of a monitor of a construction equipment according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed to be limited to ordinary or dictionary meanings and the inventor is not limited to the concept of terminology for describing his or her invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible.

우선, 본 발명의 실시예에 따른 음성 제어 장치에 대해 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.First, a voice control apparatus according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 건설장비의 모니터를 음성 제어하기 위한 음성 제어 장치의 구성을 도시한 도면이다.1 is a block diagram of a voice control apparatus for voice control of a monitor of a construction equipment according to an embodiment of the present invention.

도 1을 참조하면, 건설 장비의 모니터를 음성으로 제어하기 위한 음성 제어 장치(100)는 장비 상태 수집부(110), 음성 인식부(120), 제어부(130), 저장부(140), 전원부(150) 및 하나 이상의 모니터(161)를 포함하는 출력부(160)를 포함하여 구성될 수 있다.1, a voice control apparatus 100 for controlling a monitor of a construction equipment by voice includes an equipment condition collecting unit 110, a voice recognizing unit 120, a control unit 130, a storage unit 140, An output unit 160 including one or more monitors 150 and one or more monitors 161.

장비 상태 수집부(110)는 건설 장비에 설치된 다양한 센서들을 포함하며, 이러한 다양한 센서들을 통해 건설 장비의 상태를 감지하여 감지된 신호에 따른 장비 상태 정보를 제어부(130)로 전송한다.The equipment status collecting unit 110 includes various sensors installed in the construction equipment and senses the state of the construction equipment through the various sensors and transmits the equipment status information according to the sensed signals to the control unit 130. [

음성 인식부(120)는 건설 장비에 설치된 하나 이상의 마이크(121) 및 음성 모드로 전환하기 위한 모드 전환 스위치(122)를 포함하여 구성될 수 있으며, 음성 모드에서 정밀 모드 및 간편 모드를 선택하기 위한 모드 선택 스위치(도시되지 않음)를 포함하여 구성될 수 있다. 이에 따라 음성 인식부(120)는 작업자가 모드 선택 스위치를 누른 상태에서 간편 음성 정보를 입력하면, 간편 음성 정보를 인식하여 인식된 신호를 제어부(130)로 전송하고, 작업자가 모드 선택 스위치를 누르지 않고 정밀 음성 정보를 입력하면, 정밀 음성 정보를 인식하여 인식된 신호를 제어부(130)로 전송할 수 있다. 여기서, 모드 선택은 모드 선택 스위치를 이용하지 않고, 모드 전환 스위치(122)를 이용하여 수행될 수도 있다.The voice recognition unit 120 may include at least one microphone 121 installed in the construction equipment and a mode changeover switch 122 for switching to the voice mode. And a mode selection switch (not shown). Accordingly, when the operator inputs the simple voice information while the mode selection switch is pressed, the voice recognition unit 120 recognizes the simple voice information and transmits the recognized voice signal to the control unit 130. When the operator presses the mode selection switch It is possible to recognize the precise voice information and to transmit the recognized signal to the control unit 130. [0051] FIG. Here, the mode selection may be performed using the mode changeover switch 122 without using the mode selection switch.

또한, 음성 인식부(120)는 하나 이상의 마이크(121)를 통해 사용자로부터 음성 정보가 입력됨에 따라 음성 처리를 수행한 후, 처리된 음성 정보를 제어부(130)로 전송한다. 음성 인식부(120)는 작업자로부터 음성 모드로 전환하기 위한 미리 설정된 음성 정보가 입력되면, 음성 인식 전환 신호를 모드 전환 스위치(122)로 발생한다. 이에 따라 모드 전환 스위치(122)는 음성 인식 전환 신호를 수신함에 따라 자동으로 일반 모드에서 음성 인식 모드로 모드 변경을 수행할 수 있다. 한편, 사용자가 직접 음성 인식 전환 모드로 변경하는 명령을 입력하면, 모드 전환 스위치(122)는 입력된 명령 신호에 따라 음성 모드 전환 신호를 제어부(130)로 발생할 수도 있다.The voice recognition unit 120 performs voice processing according to input of voice information from the user through one or more microphones 121, and then transmits the processed voice information to the control unit 130. The voice recognition unit 120 generates a voice recognition switching signal to the mode changeover switch 122 when predetermined voice information for switching from the operator to the voice mode is inputted. Accordingly, the mode changeover switch 122 can automatically change the mode from the normal mode to the voice recognition mode upon receiving the voice recognition switching signal. Meanwhile, when the user directly inputs a command to change to the voice recognition switching mode, the mode changeover switch 122 may generate a voice mode change signal to the controller 130 according to the inputted command signal.

제어부(130)는 건설 장비의 작업 조작 및 차량 정보의 표시 등 건설 장비의 전반적인 제어를 수행하며, 특히, 건설 장비에 장착된 하나 이상의 모니터에 표시되는 화면을 분할 및 이동 표시하도록 제어한다. 이를 위해, 첨부된 도 2에 도시된 바와 같이, 제어부(130)는 장비 상태 확인부(131), 모드 전환부(132), 음성 처리부(133), 모니터 관리부(134)를 포함하여 구성될 수 있다. 여기서, 제어부(130)는 건설 장비의 작업 조작 제어를 위한 작업 관리부(도시되지 않음)를 더 포함하여 구성될 수 있다.The control unit 130 controls the overall operation of the construction equipment such as the operation of the construction equipment and the display of the vehicle information. In particular, the control unit 130 controls to divide and move the screen displayed on the at least one monitor mounted on the construction equipment. 2, the control unit 130 may include an equipment status check unit 131, a mode switching unit 132, a voice processing unit 133, and a monitor management unit 134 have. Here, the control unit 130 may further include a job management unit (not shown) for controlling the operation of the construction equipment.

장비 상태 확인부(131)는 장비 상태 수집부(110)로부터 수신되는 장비 상태 정보를 수집하여 저장부(140)에 저장하고, 수집된 장비 상태 정보를 모니터 관리부(134)로 전달한다.The equipment state checking unit 131 collects equipment state information received from the equipment state collecting unit 110, stores the collected equipment state information in the storage unit 140, and transmits the collected equipment state information to the monitor managing unit 134.

모드 전환부(132)는 음성 인식부(120)로부터 수신된 음성 모드 전환 신호에 따라 음성 모드로 전환되고, 음성 모드 상태에서 모드 선택 신호가 입력되면, 음성 모드가 정밀 모드 또는 간편 모드로 전환될 수 있도록 제어할 수 있다. 예를 들어, 모드 전환부(132)는 모드 선택 스위치(도시되지 않음)를 통한 사용자의 입력 신호에 따라 음성 모드의 정밀 모드를 간편 모드로 변경할 수 있다. 이때, 모드 선택 신호가 수신되지 않으면 모드 전환부(132)는 정밀 모드를 유지하며, 간편 모드 상태에서 일정 시간이 지나면 정밀 모드로 전환할 수 있다. The mode switching unit 132 is switched to the voice mode according to the voice mode switching signal received from the voice recognition unit 120. When the mode selecting signal is input in the voice mode, the voice mode is switched to the precise mode or the simple mode Can be controlled. For example, the mode switching unit 132 may change the precise mode of the voice mode to the simple mode according to a user's input signal through a mode selection switch (not shown). At this time, if the mode selection signal is not received, the mode switching unit 132 maintains the precise mode, and can switch to the precise mode after a certain period of time in the simple mode.

음성 처리부(133)는 음성 인식부(130)로부터 전달된 음성 정보를 처리 즉, 음성 정보를 분석한 후 분석된 음성 정보에서 작업자가 지정한 모니터를 파악하고, 파악된 모니터에 대한 정보를 모니터 관리부(134)로 전달한다. 구체적으로, 음성 처리부(133)는 음성 정보를 수신하면, 미리 설정된 매핑 테이블에서 입력된 음성 정보에 대응되는 음성 인식 단어가 있는지를 검색하고, 검색 결과, 대응되는 음성 인식 단어가 있으면, 해당 음성 인식 단어에 대한 음성 정보를 파악한 후 파악된 음성 정보를 모니터 관리부(134)로 전달한다. 반면, 음성 처리부(133)는 음성 정보에 대응되는 음성 인식 단어가 매핑 테이블에 존재하지 않는 경우, 음성이 잘못 입력되었음을 알리는 음성 입력 실패 신호를 안내하는 음성(또는 경고음)을 발생하거나 팝업 메시지를 화면에 표시하도록 제어할 수 있다.The voice processing unit 133 analyzes the voice information transmitted from the voice recognition unit 130, that is, analyzes the voice information, and grasps the monitor designated by the operator from the analyzed voice information, 134). Specifically, when the voice processing unit 133 receives the voice information, it searches for a voice recognition word corresponding to the voice information input in the preset mapping table. If the voice recognition word has a corresponding voice recognition word, And transmits the detected voice information to the monitor management unit 134. [0050] On the other hand, when the voice recognition word corresponding to the voice information does not exist in the mapping table, the voice processing unit 133 generates a voice (or a warning sound) for guiding the voice input failure signal indicating that the voice is incorrectly input, As shown in Fig.

모니터 관리부(134)는 건설 장비에 장착된 출력부(160)의 하나 이상의 모니터의 관리, 화면 분할 및 이동 기능을 수행하고, 장비 상태 확인부(131)에서 전달된 장비 상태 정보를 초기 설정된 화면 분할 정보에 따라 해당 모니터에 표시한다. 여기서, 초기 설정된 분할 화면 정보는 예를 들어, 작업을 제1 모니터(161a)에 표시하고, 주행을 제2 모니터(161b)에 표시하고, 카메라를 제3 모니터(161c)에 표시하도록 미리 설정될 수 있다. 이에 따라 장비 상태 정보는 하나의 모니터에 모두 표시하는 것이 아닌 다수의 모니터(161)에 분할되어 표시될 수 있다.The monitor management unit 134 performs management, screen segmentation, and movement functions of one or more monitors of the output unit 160 mounted on the construction equipment, and transmits the equipment status information transmitted from the equipment status confirmation unit 131 to the initial screen division Display it on the monitor according to the information. Here, the initially set split screen information is displayed on the first monitor 161a, for example, to display the job on the second monitor 161b, and to display the camera on the third monitor 161c . Accordingly, the device state information can be divided and displayed on a plurality of monitors 161 instead of displaying all the information on one monitor.

또한, 모니터 관리부(134)는 음성 처리부(133)에서 처리된 음성 정보를 수신하면, 수신된 음성 정보에서 파악된 모니터 번호에 해당하는 모니터(161)로 장비 상태 정보를 전송하여 표시하도록 제어한다. 이때, 모니터 관리부(134)는 장비 상태 정보가 미리 설정된 화면 분할 정보에 따라 다른 모니터(161)에 표시되면, 다른 모니터(161)에 표시된 장비 상태 정보에 대한 화면을 해당 모니터(161)로 이동시켜 표시하도록 제어할 수 있다.When receiving the voice information processed by the voice processing unit 133, the monitor managing unit 134 controls the display unit 161 to transmit the device status information to the monitor 161 corresponding to the monitor number identified in the received voice information. At this time, if the equipment status information is displayed on the other monitor 161 according to the screen division information set in advance, the monitor management unit 134 moves the screen for the equipment status information displayed on the other monitor 161 to the monitor 161 Can be controlled.

또한, 모니터 관리부(134)는 첨부된 도 2에 도시된 바와 같이, 장비 상태 정보에 따른 분할된 화면의 화면 이름 및 각 모니터(161)에 대한 모니터 번호를 설정하고, 설정된 화면 이름 및 모니터 번호를 매핑하여 음성 인식 단어를 구성하며, 구성된 음성 인식 단어들을 이용하여 매핑 테이블을 미리 설정할 수 있다. 모니터 관리부(134)는 이렇게 설정된 매핑 테이블을 저장부(140)에 저장한다.2, the monitor management unit 134 sets a screen name of a divided screen according to the equipment status information and a monitor number for each monitor 161, and sets the set screen name and monitor number To form a speech recognition word, and a mapping table can be set in advance using the constructed speech recognition words. The monitor management unit 134 stores the mapping table in the storage unit 140.

한편, 제어부(130)는 작업자가 원하는 모니터 즉, 분할 화면을 이동할 모니터에 에러가 발생한 경우, 해당 모니터의 에러를 알리는 팝업 메시지를 나머지 하나 이상의 모니터(장비 상태 정보가 현재 표시된 모니터 또는 메인 모니터 등)에 정해진 시간 단위(예컨대, 1초)로 표시하거나, 경고음을 발생하고, 현 상태를 유지할 수 있다. 또한, 제어부(130)는 에러가 발생한 모니터에 표시되었던 화면은 메인 모니터(또는 미리 설정된 룰에 따라 정해진 모니터)로 이동시켜 표시하도록 제어할 수 있다.Meanwhile, when an error occurs in a monitor desired by the operator, that is, a monitor to which the operator wants to move the divided screen, the control unit 130 transmits a pop-up message informing an error of the monitor to one or more monitors (a monitor or a main monitor, (For example, 1 second), or a warning sound may be generated and the current state may be maintained. In addition, the control unit 130 can control to display the screen that has been displayed on the monitor in which an error has occurred, by moving it to the main monitor (or a monitor determined according to a predetermined rule).

저장부(140)는 건설 장비의 제어 동작에 필요한 정보들을 저장하며, 특히, 건설 조작 관련 정보, 음성 인식과 관련된 정보 및 모니터 제어와 관련된 정보를 저장할 수 있으며, 또한 제어부(130)에서 미리 설정한 매핑 테이블을 저장할 수 있다. 이러한 저장부(140)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magnet-optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다.The storage unit 140 stores information necessary for the control operation of the construction equipment. In particular, the storage unit 140 may store construction operation related information, information related to voice recognition, and information related to the monitor control, You can store the mapping table. The storage unit 140 may be an optical storage medium such as a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Video Disk) A magneto-optical medium such as a floppy disk and a ROM, a random access memory (RAM), and a flash memory.

전원부(150)는 건설 장비가 구동될 수 있도록 건설 장비에 전원을 공급한다.The power supply unit 150 supplies power to the construction equipment so that the construction equipment can be driven.

출력부(160)는 건설 장비의 동작 결과나 상태를 사용자가 인식할 수 있도록 제공하는 수단으로서, 예를 들면, 화면을 통해 시각적으로 출력하는 표시부나, 가청음을 출력하는 스피커 등을 포함할 수 있다. 특히, 본 발명에 있어서, 출력부(160)는 건설 장비에 장착된 하나 이상의 모니터(161) 및 하나 이상의 모니터 전원 스위치(도시되지 않음)를 포함하여 구성할 수 있다. 여기서, 하나 이상의 모니터(161)는 본 발명의 실시예에 따라 3개의 모니터 즉, 제1 내지 제3 모니터(161a, 161b, 161c)를 예를 들어 설명하기로 한다. 예를 들어, 제1 모니터(161a)는 건설 장비의 메인 화면으로서, 전면에 장착된 모니터일 수 있고, 제2 모니터(161b)는 건설 장비의 측면 후방에 장착된 카메라 모니터일 수 있으며, 제3 모니터(161c)는 측면 weighing 시스템 모니터일 수 있다. 이외에도 사용자의 작업 위치 및 작업 특성에 따라 다양한 위치에 모니터를 적용하여 음성 인식에 따라 장비 상태 정보 화면을 표시할 수 있다.The output unit 160 may be a means for providing a user with an operation result or status of the construction equipment. For example, the output unit 160 may include a display unit for visually outputting the result through a screen or a speaker for outputting an audible sound . In particular, in the present invention, the output unit 160 may include at least one monitor 161 mounted on a construction equipment and at least one monitor power switch (not shown). Here, the at least one monitor 161 will be described by way of example with reference to three monitors (i.e., first to third monitors 161a, 161b, and 161c) according to an embodiment of the present invention. For example, the first monitor 161a may be a main screen of the construction equipment, the monitor mounted on the front side, the second monitor 161b may be a camera monitor mounted on the rear side of the construction equipment, The monitor 161c may be a side weighing system monitor. In addition, the monitor can be applied to various positions according to the user's working position and work characteristics, and the apparatus state information screen can be displayed according to the voice recognition.

또한, 출력부(160)는 제어부(130)에서 수집된 장비 상태 정보를 미리 설정된 화면 분할 정보에 따라 해당 모니터(161)의 화면에 표시한다.In addition, the output unit 160 displays the equipment state information collected by the control unit 130 on the screen of the monitor 161 according to the preset screen division information.

또한, 출력부(160)는 제어부(130)로부터 음성 정보에 포함된 숫자 즉, 모니터 번호에 해당하는 모니터(161)로 현재 장비 상태 정보를 수신하면, 해당 모니터(161)에 현재 장비 상태 정보에 대한 화면을 표시할 수 있다. 이때, 출력부(160)는 초기 설정된 화면 분할 정보에 따라 이전 모니터(161)에 현재 장비 상태 정보가 표시되어 있으면, 이전 모니터(161)에 표시된 화면을 작업자가 원하는 즉, 제어부(130)에서 파악된 음성 정보에 포함된 모니터 번호에 해당하는 새로운 모니터(161)로 이동시켜 표시할 수 있다. 여기서, 새로운 모니터(161)의 이전에 표시된 화면은 제어부(130)에 의해 이전 모니터(161)로 이동됨에 따라 이전 모니터(161)에 표시될 수 있다.When the output unit 160 receives the current equipment status information from the control unit 130 through the monitor 161 corresponding to the number included in the voice information, that is, the monitor number, the output unit 160 stores the current equipment status information in the monitor 161 A screen can be displayed. In this case, if the current device state information is displayed on the previous monitor 161 according to the initially set screen division information, the output unit 160 may display the screen displayed on the previous monitor 161 by the operator, A new monitor 161 corresponding to the monitor number included in the voice information can be displayed. Here, the previously displayed screen of the new monitor 161 may be displayed on the previous monitor 161 as it is moved to the previous monitor 161 by the control unit 130.

그러면, 이와 같이 구성된 음성 제어 장치가 건설 장비의 모니터들에 표시되는 화면을 분할 및 이동하여 표시할 수 있도록 하나 이상의 모니터를 음성 제어하는 방법을 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.Hereinafter, a method of performing voice control of one or more monitors so that a voice control apparatus configured as described above can divide and move a screen displayed on monitors of a construction equipment and display the screen, will be described in detail with reference to the accompanying drawings.

도 3은 본 발명의 실시예에 따라 음성 제어 장치가 건설 장비의 모니터를 음성 제어하는 방법을 도시한 도면이다.FIG. 3 is a diagram illustrating a method for voice control of a monitor of a construction equipment according to an embodiment of the present invention.

우선, 음성 제어 장치(100)는 음성 인식을 위한 매핑 테이블을 미리 설정하여 관리한다. 여기서, 음성 인식 매핑 테이블은 분할된 화면 이름(예를 들어, 작업, 주행, 카메라 등) 또는 각 모니터(161)의 번호(예를 들어, 제1 모니터는 1번, 제2 모니터는 2번, 제3 모니터는 3번 등)에 매핑되는 음성 인식 단어(예를 들어, 작업 1번, 카메라 1번, 주행 2번, 작업 2번, 주행 3번, 카메라 3번 등)를 저장한다.First, the voice control apparatus 100 sets and manages a mapping table for voice recognition in advance. Here, the speech recognition mapping table may include a name of a divided screen (for example, job, running, camera, etc.) or the number of each monitor 161 (for example, 1 for the first monitor, 2 for the second monitor, (E.g., job 1, camera 1, run 2, job 2, run 3, camera 3, etc.) that are mapped to the third monitor (e.g.

또한, 음성 제어 장치(100)는 모니터(161)의 화면을 분할 및 이동 표시하기 위한 명령어를 음성으로 인식하기 위해, 일반 모드와 음성 인식 모드로 구분되어 동작하고, 음성 인식 모드에 있어서는 간편 모드 및 정밀 모드로 구분되어 동작한다.In addition, the voice control apparatus 100 is divided into a normal mode and a voice recognition mode in order to recognize a command for dividing and moving the screen of the monitor 161 as voice, and operates in a voice recognition mode. It operates separated by precision mode.

이후, 건설 장비에 전원이 입력되어 작업자가 건설 장비를 구동시켜서 작업이 수행되면, 음성 제어 장치(100)는 건설 장비의 음성 인식 제어를 수행한다. Thereafter, when the power is inputted to the construction equipment and the worker drives the construction equipment to perform the work, the voice control apparatus 100 performs voice recognition control of the construction equipment.

도 3을 참조하면, 작업자가 건설 장비를 구동시켜 작업을 수행함에 따라 S1101단계에서 음성 제어 장치(100)는 건설 장비에 장착된 하나 이상의 센서들로부터 감지된 작업 신호에 따른 장비 상태 정보를 수집 및 표시한다. 여기서, 장비 상태 정보는 건설 장비의 굴삭 및 상차 작업 등의 작업 신호, 전/후진 주행 신호 및 장착된 카메라로부터 수신된 카메라 신호(영상)에 따른 정보를 포함할 수 있다. 이때, 음성 제어 장치(100)는 현재 수집된 장비 상태 정보를 전면에 위치한 제1 모니터(161a)에 표시한 후, 작업 상태 또는 사용자의 작업 위치에 따라 초기 설정된 화면 분할 정보를 기반으로 제1 모니터(161a), 제2 모니터(161b) 및 제3 모니터(161c) 중 어느 하나에 장비 상태 정보를 표시한다.Referring to FIG. 3, in operation S1101, the voice control apparatus 100 collects equipment status information according to the operation signal detected from one or more sensors installed in the construction equipment, Display. Here, the equipment status information may include an operation signal such as excavation and repairs of construction equipment, a forward / backward running signal, and information according to a camera signal (image) received from the mounted camera. At this time, the voice control apparatus 100 displays the currently collected device status information on the first monitor 161a located on the front side, and then displays the first monitor 161a on the first monitor 161a based on the screen division information initially set according to the job status or the user's job position. The first monitor 161a, the second monitor 161b, and the third monitor 161c.

이후, S1102단계에서 음성 제어 장치(100)는 음성 인식 모드로 전환되었는지를 확인한다. 즉, 작업자가 음성 인식 모드 전환 스위치(112)를 누름에 따라 음성 인식 모드 전환 신호가 발생되었는지를 확인한다.Then, in step S1102, the voice control apparatus 100 confirms whether or not the voice recognition mode is switched to the voice recognition mode. That is, the operator confirms whether or not the voice recognition mode changeover signal is generated as the voice recognition mode changeover switch 112 is pressed.

확인 결과, 음성 인식 모드로 전환되지 않은 경우에는 S1103단계에서 음성 제어 장치(100)는 일반 모드로 동작하고, S1104단계에서 현재 수집된 장비 상태 정보를 전면에 위치한 제1 모니터(161a)에 표시한 후, 작업 상태 또는 사용자의 작업 위치에 따라 초기 설정에 따라 표시된 화면을 작업자의 모니터 조작에 의해 지정된 해당 모니터(161) 즉, 제2 모니터(161b) 또는 제3 모니터(161c)로 수집된 장비 상태 정보를 이동시켜서 표시한다.If it is determined that the voice recognition mode has not been switched, the voice control apparatus 100 operates in the normal mode in step S1103, and displays the currently collected device state information on the first monitor 161a located on the front side in step S1104 The screen displayed according to the initial setting according to the work state or the work position of the user is displayed on the corresponding monitor 161 specified by the monitor operation of the operator, that is, the state of the equipment collected by the second monitor 161b or the third monitor 161c Information is moved and displayed.

반면, 음성 인식 모드 전환 신호를 수신함에 따라 음성 인식 모드로 전환된 경우에는 S1105단계에서 음성 제어 장치(100)는 음성 인식 모드로 동작한다. 이에 따라 S1106단계에서 음성 제어 장치(100)는 모드 선택 신호가 수신되었는지를 확인한다.On the other hand, if the voice recognition mode switching signal is received, the voice control apparatus 100 operates in the voice recognition mode in step S1105. Accordingly, in step S1106, the voice control apparatus 100 confirms whether a mode selection signal has been received.

확인 결과, 음성 제어 장치(100)는 모드 선택 신호가 수신된 경우에는 간편 모드로 동작한다. 즉, 작업자가 모드 선택 스위치를 누른 상태에서 명령어를 말하면, 즉, 간편 음성 정보가 입력되면, S1107단계에서 음성 제어 장치(100)는 음성 인식 모드의 간편 모드로 전환되어 간편 모드로 동작한다. 이러한 간편 모드 상태에서는 작업자가 음성 모드를 사용하겠다는 의지를 가지고 모드 선택 스위치를 누른 상태로 명령어를 말하므로 의도되지 않은 동작이 발생하지 않게 된다.As a result, when the mode selection signal is received, the voice control apparatus 100 operates in the simple mode. That is, when the operator speaks the command while holding the mode selection switch, that is, when the simple voice information is input, the voice control apparatus 100 is switched to the simple mode of the voice recognition mode and operates in the simple mode in step S1107. In this simple mode, the operator speaks the command with the mode selection switch depressed with the willingness to use the voice mode, so that unintended operation does not occur.

이에 따라 S1108단계에서 음성 제어 장치(100)는 작업자가 명령한 간편 음성 정보를 수신하고, 수신된 간편 음성 정보를 인식하며, 인식된 간편 음성 정보를 분석하여 지정된 모니터를 파악한다. 그런 다음 S1109단계에서 음성 제어 장치(100)는 이전 모니터(161)에 표시된 장비 상태 정보에 대한 화면을 파악된 해당 모니터(161)로 이동 표시한다.Accordingly, in step S1108, the voice control apparatus 100 receives the simple voice information commanded by the operator, recognizes the received simple voice information, and analyzes the recognized simple voice information to identify the specified monitor. Then, in step S1109, the voice control apparatus 100 displays a screen for the device status information displayed on the previous monitor 161 to the identified monitor 161. FIG.

구체적으로 간편 모드 상태에서 작업자가 모드 전환 스위치를 누르면서 간편 입력 정보(모니터의 번호만)를 입력함에 따라, 음성 제어 장치(100)는 모니터 번호만을 포함하는 간편 음성 정보를 수신하고, 간편 음성 정보에 포함된 모니터 번호만을 확인하여 확인된 모니터 번호에 대응되는 해당 모니터(161)로 분할 또는 이동할 현재 수집된 장비 상태 정보에 대한 화면을 전송한다. 예를 들어, 전진 주행 상태에서 운전자가 모드 선택 스위치를 누르면서 원하는 숫자 2를 말하면, 음성 제어 장치(100)의 제어부(130)는 제2 모니터(161b)로 주행 정보를 포함한 장비 상태 정보를 전송한다. 이에 따라 제2 모니터(161b)는 화면에 주행 정보를 표시한다. 작업자가 굴삭 및 상차 작업 중에 모드 선택 스위치를 누르면서 숫자 3을 말하면, 제어부(130)는 제3 모니터(161c)로 굴삭 및 상차 작업 정보를 포함하는 장비 상태 정보를 전송한다. 이에 따라 제3 모니터(161c)는 화면에 굴삭 및 상차 작업 정보를 표시한다.Specifically, in the simple mode, the operator inputs simple input information (only the number of the monitor) while pressing the mode changeover switch, the voice control apparatus 100 receives the simple voice information including only the monitor number, Only the included monitor number is confirmed, and the screen for the currently collected equipment state information to be divided or moved to the corresponding monitor 161 corresponding to the confirmed monitor number is transmitted. For example, if the driver presses the mode selection switch and speaks the desired number 2 in the forward running state, the control unit 130 of the voice control apparatus 100 transmits the equipment status information including the traveling information to the second monitor 161b . Accordingly, the second monitor 161b displays driving information on the screen. When the operator presses the mode selection switch during the excavation work and the pick-up work, the controller 130 transmits the equipment status information including the excavation work information and the overhaul work information to the third monitor 161c. Accordingly, the third monitor 161c displays information on the excavation and loading operation on the screen.

반면, 확인결과, 모드 선택 신호가 발생되지 않은 경우, S1110단계에서 음성 제어 장치(100)는 현재 모드 즉, 음성 모드의 정밀 모드로 동작한다. 또한, 음성 제어 장치(100)는 간편 모드로 전환된 상태에서 일정 시간이 경과하면, 자동으로 정밀 모드로 전환한다.On the other hand, if the mode selection signal is not generated, the voice control apparatus 100 operates in the current mode, i.e., the voice mode, in step S1110. Further, the voice control apparatus 100 automatically switches to the precision mode when a predetermined time elapses from the state of being switched to the simple mode.

S1111단계에서 음성 제어 장치(100)는 정밀 모드에서 작업자로부터 정밀 음성 정보를 수신하면, 수신된 정밀 음성 정보를 매핑 테이블을 이용하여 분석함으로써 음성 인식을 수행하고, S1112단계에서 정밀 음성 정보에서 파악된 해당 모니터(161)로 작업자가 지정한 화면 이름에 대한 장비 상태 정보를 표시한 화면을 이동 표시한다.In step S1111, when the speech control apparatus 100 receives the fine speech information from the operator in the fine mode, the speech control apparatus 100 performs speech recognition by analyzing the received fine speech information using the mapping table. In step S1112, And displays the screen displaying the equipment status information for the screen name designated by the operator on the monitor 161.

구체적으로 작업자가 모드 선택 스위치를 누르지 않고 정밀 음성을 입력하는 경우, 작업자는 원하는 화면 이름과 원하는 모니터의 번호에 대한 정밀 음성 정보를 입력할 수 있다. 이에 따라 음성 제어 장치(100)는 음성 인식부(120)를 통해 입력받은 정밀 음성 정보를 미리 설정된 매핑 테이블을 이용하여 분석하고, 분석된 정밀 음성 정보에 따른 해당 모니터(161)로 표시할 장비 상태 정보를 전달한다. 예를 들어, 음성 제어 장치(100)는 사용자로부터 "주행 2번"이라는 정밀 음성 정보를 입력받는 경우, 수집된 장비 상태 정보가 표시된 제1 모니터(161a)로부터 작업자가 원하는 2번의 제2 모니터(161b)로 주행에 대한 정보를 포함하는 장비 상태 정보에 대한 화면을 이동시킨다. 이에 따라 제2 모니터(161b)는 이동된 화면을 표시할 수 있다. 이때, 음성 제어 장치(100)의 제어부(130)는 제2 모니터(161b)에 기 표시된 화면을 제1 모니터(161a)로 이동시키기 전에 파악된 음성 정보인 "주행 2번"을 팝업 메시지로 표시함으로써, 작업자가 자신이 입력한 음성 정보가 정확한지를 확인할 수 있다. 또한, 음성 제어 장치(100)의 제어부(130)는 "화면이 이동됩니다"라는 팝업 메시지를 정해진 시간(1초) 동안 제1 및 제2 모니터(161a, 161b)에 표시하거나, 스피커(도시되지 않음)를 통해 음성으로 안내할 수 있다.Specifically, when the operator inputs precision voice without depressing the mode selection switch, the operator can input precise voice information for a desired screen name and a desired monitor number. Accordingly, the voice control apparatus 100 analyzes the precise voice information received through the voice recognition unit 120 using a preset mapping table, and analyzes the equipment state to be displayed on the corresponding monitor 161 according to the analyzed precise voice information Information. For example, when the voice control apparatus 100 receives the precise voice information "Running No. 2" from the user, the voice control apparatus 100 receives from the first monitor 161a, Lt; RTI ID = 0.0 > 161b < / RTI > Accordingly, the second monitor 161b can display the moved screen. At this time, the control unit 130 of the voice control apparatus 100 displays the voice information, "drive 2" which is identified before moving the screen displayed in the second monitor 161b to the first monitor 161a, as a pop-up message Thus, the operator can confirm whether or not the voice information inputted by the operator is correct. In addition, the control unit 130 of the voice control apparatus 100 may display a pop-up message of "the screen is moved" on the first and second monitors 161a and 161b for a predetermined time (1 second) (Not shown).

한편, 작업자가 원하는 모니터 즉, 분할 화면을 이동할 모니터가 작동 불능 상태인 경우, 음성 제어 장치(100)는 해당 모니터의 에러를 알리는 팝업 메시지를 장비 상태 정보가 현재 표시된 모니터에 정해진 시간(1초) 동안 표시하거나, 경고음을 발생하고, 현 상태를 유지할 수 있다. 또한, 음성 제어 장치(100)는 에러가 발생한 모니터에 표시되었던 화면을 메인 모니터(또는 미리 설정된 룰에 따라 정해진 모니터)로 이동시켜 표시하도록 제어할 수 있다.On the other hand, when the monitor desired by the operator, that is, the monitor for moving the divided screen, is in an inoperable state, the voice control apparatus 100 displays a pop-up message informing an error of the monitor, Display a warning sound, and maintain the current state. Also, the voice control apparatus 100 can control to display the screen displayed on the monitor where the error has occurred by moving it to the main monitor (or a monitor determined according to a predetermined rule).

기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magnet-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Program instructions to be recorded may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. For example, the recording medium may be an optical recording medium such as a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, a compact disk read only memory (CD-ROM), a digital video disk (DVD) Optical media such as a floppy disk and a hardware device specifically configured to store and execute program instructions such as ROM, RAM, Random Access Memory, flash memory, and the like. do. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.It should be noted that the embodiments of the present invention disclosed in the present specification and drawings are only illustrative of specific examples for the purpose of understanding and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

100: 음성 제어 장치 110: 장비 상태 수집부
120: 음성 인식부 130: 제어부
131: 장비 상태 확인부 132: 모드 전환부
133: 음성 처리부 134: 모니터 관리부
140: 저장부 150: 전원부
160: 출력부 161: 모니터100: voice control device 110: equipment condition collecting part
120: speech recognition unit 130:
131: equipment state checking unit 132: mode switching unit
133: Audio processing unit 134: Monitor management unit
140: storage unit 150: power supply unit
160: Output 161: Monitor

Claims (10)

복수의 모니터;
작업자의 음성 정보를 획득하는 음성 인식부; 및
건설 장비의 상태 정보를, 상기 음성 인식부를 통해 획득한 상기 음성 정보에 기초하여, 상기 복수의 모니터 중 적어도 하나의 모니터에서 적어도 다른 하나의 모니터로 이동하여 표시하는 제어부;
를 포함하는 건설 장비의 음성 제어 장치.A plurality of monitors;
A voice recognition unit for acquiring voice information of an operator; And
A control unit for moving the state information of the construction equipment from at least one of the plurality of monitors to at least one other monitor based on the voice information acquired through the voice recognition unit;
And a voice control unit of the construction equipment. 제1항에 있어서, 상기 음성 인식부는,
상기 작업자가 명령하는 음성 정보를 입력받는 적어도 하나 이상의 마이크 및 음성 모드로 전환하기 위한 모드 전환 스위치를 포함하는 것을 특징으로 하는 건설 장비의 음성 제어 장치.The speech recognition apparatus according to claim 1,
And a mode changeover switch for changing over to at least one of a microphone and a voice mode for inputting voice information commanded by the operator. 제1항에 있어서, 상기 제어부는,
상기 건설 장비에 설치된 다양한 센서들을 통해 건설 장비의 상태를 감지하여 장비 상태 정보를 수집하는 장비 상태 확인부;
상기 작업자가 음성 모드 전환을 요청하는 경우, 일반 모드에서 음성 모드로 전환하는 모드 전환부;
상기 음성 모드에서, 상기 음성 인식부로부터 음성 정보를 수신하는 경우, 수신된 음성 정보를 분석하고, 분석된 음성 정보를 이용하여 작업자가 지정한 적어도 하나의 모니터를 파악하는 음성 처리부; 및
상기 수집된 장비 상태 정보를 적어도 하나의 모니터에 표시하도록 제어하고, 상기 음성 모드에서, 상기 수집된 장비 상태 정보를 상기 파악된 적어도 하나의 모니터로 이동 표시하도록 제어하는 모니터 관리부;
를 포함하는 것을 특징으로 하는 건설 장비의 음성 제어 장치.The apparatus of claim 1,
An equipment condition check unit for collecting equipment condition information by sensing the condition of the construction equipment through various sensors installed in the construction equipment;
A mode switching unit for switching from the normal mode to the voice mode when the operator requests the voice mode switching;
A voice processing unit for analyzing the received voice information when the voice information is received from the voice recognition unit in the voice mode and recognizing at least one monitor designated by the operator using the analyzed voice information; And
Controlling the display of the collected equipment state information on at least one monitor, and controlling the collected equipment state information to be displayed on the at least one recognized monitor in the audio mode;
And a voice control unit for controlling the voice of the construction equipment. 건설 장비의 상태를 감지하여 장비 상태 정보를 수집하는 단계;
상기 수집된 장비 상태 정보를 복수의 모니터 중 적어도 하나의 모니터에 표시하는 단계;
작업자가 모니터 화면 제어를 위해 음성 정보를 입력하는 경우, 입력된 음성 정보를 인식하는 단계;
인식된 음성 정보를 분석하고, 분석된 음성 정보를 이용하여 상기 작업자가 지정한 적어도 하나의 모니터를 파악하는 단계; 및
상기 수집된 장비 상태 정보가 표시된 화면을 상기 적어도 하나의 모니터에서 상기 파악된 적어도 하나의 모니터로 이동 표시하는 단계;
를 포함하는 건설 장비의 음성 제어 장치에서의 음성 제어 방법.Collecting equipment state information by sensing the state of the construction equipment;
Displaying the collected equipment state information on at least one monitor among the plurality of monitors;
Recognizing inputted voice information when an operator inputs voice information for controlling a monitor screen;
Analyzing the recognized voice information and identifying at least one monitor designated by the operator using the analyzed voice information; And
Moving and displaying a screen displaying the collected equipment status information on the at least one monitor and the at least one monitor;
And a voice control device for controlling the voice of the construction equipment. 제4항에 있어서,
상기 음성 정보를 입력받기 전에 작업자로부터 음성 모드 전환을 요청받는 경우, 일반 모드에서 음성 모드로 전환하는 단계; 및
상기 음성 모드에서 상기 작업자가 모드 선택을 입력하는 경우, 상기 음성 모드의 간편 모드로 동작하는 단계;
를 더 포함하는 것을 특징으로 하는 음성 제어 장치에서의 건설장비의 모니터를 음성 제어하기 위한 방법.5. The method of claim 4,
Switching from the normal mode to the voice mode when the operator is requested to switch the voice mode before receiving the voice information; And
Operating in a simplified mode of the voice mode when the operator inputs a mode selection in the voice mode;
Further comprising the steps of: (a) providing a voice control signal to the voice control device; 제5항에 있어서,
상기 음성 모드에서 상기 작업자가 모드 선택을 입력하지 않는 경우, 상기 음성 모드의 정밀 모드로 동작하는 단계;
더 포함하는 것을 특징으로 하는 건설 장비의 음성 제어 장치에서의 음성 제어 방법.6. The method of claim 5,
Operating in a precise mode of the voice mode when the operator does not input a mode selection in the voice mode;
Further comprising the steps of: (a) providing a voice control device in the construction equipment; 제4항에 있어서, 상기 작업자가 지정한 적어도 하나의 모니터를 파악하는 단계는,
음성 모드로 전환된 상태에서 상기 작업자가 모드 선택을 입력하면서 간편 음성 정보를 입력하는 경우, 입력된 간편 음성 정보를 분석하는 단계;
분석된 간편 음성 정보를 이용하여 상기 작업자가 지정한 모니터 번호를 파악하는 단계; 및
상기 파악된 적어도 하나의 모니터 번호에 해당하는 모니터를 확인하는 단계;
를 포함하는 것을 특징으로 하는 건설 장비의 음성 제어 장치에서의 음성 제어 방법. 5. The method of claim 4, wherein determining at least one monitor designated by the operator comprises:
Analyzing the inputted simple voice information when the operator inputs simple voice information while inputting the mode selection in the state of being switched to the voice mode;
Determining a monitor number designated by the operator using the analyzed simple voice information; And
Checking a monitor corresponding to the identified at least one monitor number;
And a voice control device for controlling the voice of the construction equipment. 제4항에 있어서, 상기 작업자가 지정한 적어도 하나의 모니터를 파악하는 단계는,
음성 모드로 전환된 상태에서 상기 작업자가 모드 선택을 입력하지 않고, 정밀 음성 정보를 입력하는 경우, 입력된 정밀 음성 정보를 분석하는 단계;
분석된 정밀 음성 정보에서 상기 작업자가 지정한 화면 이름 및 모니터 번호를 파악하는 단계; 및
상기 파악된 화면 이름에 해당하는 상기 수집된 장비 상태 정보가 표시된 제1 모니터를 확인하는 단계;
를 포함하는 것을 특징으로 하는 건설 장비의 음성 제어 장치에서의 음성 제어 방법. 5. The method of claim 4, wherein determining at least one monitor designated by the operator comprises:
Analyzing the inputted fine voice information when the operator inputs the fine voice information without inputting the mode selection in the state of being switched to the voice mode;
Determining a screen name and a monitor number designated by the operator in the analyzed precise audio information; And
Checking a first monitor displaying the collected equipment state information corresponding to the identified screen name;
And a voice control device for controlling the voice of the construction equipment. 제4항에 있어서, 상기 파악된 적어도 하나의 모니터로 이동 표시하는 단계는,
음성 모드로 전환된 상태에서 상기 작업자로부터 입력받은 간편 음성 정보를 이용하여 파악된 모니터 번호에 해당하는 제2 모니터로 상기 장비 상태 정보를 표시한 제1 모니터의 화면을 이동시켜 표시하는 단계; 및
상기 제2 모니터에 이전에 표시된 화면을 상기 제1 모니터로 이동시켜 표시하는 단계;
를 포함하는 것을 특징으로 하는 건설 장비의 음성 제어 장치에서의 음성 제어 방법. 5. The method of claim 4, wherein moving and displaying the at least one identified monitor comprises:
Moving a screen of the first monitor displaying the equipment state information to a second monitor corresponding to the detected monitor number using the simple voice information input from the operator in the state of being switched to the voice mode; And
Moving a screen previously displayed on the second monitor to the first monitor and displaying the screen;
And a voice control device for controlling the voice of the construction equipment. 제4항에 있어서, 상기 파악된 적어도 하나의 모니터로 이동 표시하는 단계는,
음성 모드로 전환된 상태에서 상기 작업자로부터 입력받은 정밀 음성 정보를 이용하여 파악된 화면 이름에 해당하는 상기 장비 상태 정보를 표시한 제1 모니터의 화면을 파악된 모니터 번호에 해당하는 제2 모니터로 이동시켜 표시하는 단계; 및
상기 제2 모니터에 이전에 표시된 화면을 상기 제1 모니터로 이동시켜 표시하는 단계;
를 포함하는 것을 특징으로 하는 건설 장비의 음성 제어 장치에서의 음성 제어 방법.5. The method of claim 4, wherein moving and displaying the at least one identified monitor comprises:
The screen of the first monitor displaying the equipment status information corresponding to the screen name identified using the precise audio information input from the operator in the state of being switched to the audio mode is moved to the second monitor corresponding to the identified monitor number ; And
Moving a screen previously displayed on the second monitor to the first monitor and displaying the screen;
And a voice control device for controlling the voice of the construction equipment.
KR1020120151766A 2012-12-24 2012-12-24 Voice controlling apparatus of construction machinery and method thereof KR102283264B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120151766A KR102283264B1 (en) 2012-12-24 2012-12-24 Voice controlling apparatus of construction machinery and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120151766A KR102283264B1 (en) 2012-12-24 2012-12-24 Voice controlling apparatus of construction machinery and method thereof

Publications (2)

Publication Number Publication Date
KR20140083104A true KR20140083104A (en) 2014-07-04
KR102283264B1 KR102283264B1 (en) 2021-08-24

Family

ID=51733584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120151766A KR102283264B1 (en) 2012-12-24 2012-12-24 Voice controlling apparatus of construction machinery and method thereof

Country Status (1)

Country Link
KR (1) KR102283264B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447787A (en) * 1990-06-14 1992-02-17 Matsushita Electric Ind Co Ltd Teletext receiver
KR20010044401A (en) * 2001-02-16 2001-06-05 김종선 WIRELESS CCTV SYSTEM for tower crane
JP2002128463A (en) * 2000-10-27 2002-05-09 Hitachi Constr Mach Co Ltd Monitor device for construction machine
KR20110012048A (en) * 2009-07-29 2011-02-09 주식회사 서비전자 Total controlling system and monitoring method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447787A (en) * 1990-06-14 1992-02-17 Matsushita Electric Ind Co Ltd Teletext receiver
JP2002128463A (en) * 2000-10-27 2002-05-09 Hitachi Constr Mach Co Ltd Monitor device for construction machine
KR20010044401A (en) * 2001-02-16 2001-06-05 김종선 WIRELESS CCTV SYSTEM for tower crane
KR20110012048A (en) * 2009-07-29 2011-02-09 주식회사 서비전자 Total controlling system and monitoring method thereof

Also Published As

Publication number Publication date
KR102283264B1 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
EP2952376B1 (en) Input system disposable in steering wheel and vehicle including the same
KR101891803B1 (en) Method and apparatus for editing screen of mobile terminal comprising touch screen
CN100424625C (en) Information processing method and apparatus
KR20100076998A (en) Multimode user interface of a driver assistance system for inputting and presentation of information
EP3395600B1 (en) In-vehicle device
US7827232B2 (en) Record button on a computer system
CN103544973B (en) The song control method of a kind of music player and device
CN107107841A (en) Information processor
WO2007066488A1 (en) Display device and touch panel operation/control method
EP3726380A1 (en) Vehicle-mounted terminal device and display processing method for application component thereof
KR20190033973A (en) A moving-robot and control method thereof
US6894680B1 (en) Groping operation apparatus
KR101502064B1 (en) Touch Input Processing System and Method
JP2006001498A (en) On-vehicle unit device and operation method by touch panel
US20120316679A1 (en) Providing remote gestural and voice input to a mobile robot
US10705719B2 (en) Operating system for operating a multifunction system
KR20140083104A (en) Voice controlling apparatus of construction machinery and method thereof
KR101777074B1 (en) User interface and method for assisting a user in the operation of an operator control unit
US20220179613A1 (en) Information processing device, information processing method, and program
US8493335B2 (en) Reproduction apparatus, reproduction method and program
JP3888688B2 (en) Air traffic control interface device, display control method thereof, and computer program
JP2005208798A (en) Information provision terminal and information provision method
JP2010281572A (en) On-vehicle device and method for controlling the on-vehicle device
KR102301763B1 (en) System and method for controlling mobile robot
KR20130073718A (en) Device for guiding function of vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101002480; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20201012

Effective date: 20210629

GRNO Decision to grant (after opposition)
GRNT Written decision to grant