KR20190020576A - Autonomous operating system using mixed reality and Conrtrolling method thereof - Google Patents

Autonomous operating system using mixed reality and Conrtrolling method thereof Download PDF

Info

Publication number
KR20190020576A
KR20190020576A KR1020170105704A KR20170105704A KR20190020576A KR 20190020576 A KR20190020576 A KR 20190020576A KR 1020170105704 A KR1020170105704 A KR 1020170105704A KR 20170105704 A KR20170105704 A KR 20170105704A KR 20190020576 A KR20190020576 A KR 20190020576A
Authority
KR
South Korea
Prior art keywords
autonomous machine
control
unit
mode
information
Prior art date
Application number
KR1020170105704A
Other languages
Korean (ko)
Other versions
KR102000110B1 (en
Inventor
차무현
이근호
김민극
김수철
김흥섭
Original Assignee
한국기계연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기계연구원 filed Critical 한국기계연구원
Priority to KR1020170105704A priority Critical patent/KR102000110B1/en
Publication of KR20190020576A publication Critical patent/KR20190020576A/en
Application granted granted Critical
Publication of KR102000110B1 publication Critical patent/KR102000110B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation

Abstract

The present invention relates to an autonomous machine system using mixed reality and a control method thereof, which are possible to efficiently control an autonomous machine by using mixed reality in an immersive environment. To this end, the present invention provides the autonomous machine system and the control method thereof, including: an autonomous machine provided on a work place; and an autonomous machine control platform installed on a remote place separated from the autonomous machine at a regular distance to control the autonomous machine.

Description

혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법{Autonomous operating system using mixed reality and Conrtrolling method thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an autonomous machine system using mixed reality,

본 발명은 자율기계시스템 및 자율기계시스템 제어방법에 관한 것으로서, 보다 상세하게는 몰입환경에서 혼합현실을 이용하여 자율기계를 효율적으로 제어할 수 있는 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법에 관한 것이다.The present invention relates to an autonomous machine system and an autonomous machine system control method, and more particularly, to an autonomous machine system and an autonomous machine system control method using a mixed reality capable of efficiently controlling an autonomous machine using mixed reality in an immersive environment .

최근에는 건설현장, 재난현장, 경작지 또는 교전지역 등과 같은 작업현장에서 작업을 수행하는 로봇을 원격지에서 조정하는 원격조정기술이 개발되고 있다.In recent years, a remote control technique for remotely controlling a robot that performs work on a work site such as a construction site, a disaster site, an agriculture site or an engaging area has been developed.

이러한 원격조정기술로는 사용자가 조이스틱 장치를 이용하여 로봇을 원격조정하는 방법, 사용자가 마스터 장비를 착용한 상태에서 로봇을 조정하는 방법 등이 알려져있다.Such remote control techniques include a method of remotely controlling a robot using a joystick device by a user, and a method of controlling a robot while a user wears a master device.

그러나 종래 원격조정기술은 원격지의 운전자가 제어시스템을 매개로 작업현장의 로봇에게 제어명령을 단순하게 전달하는 형태를 가지므로 작업현장의 현장상황을 고려한 제어가 어려운 문제점이 있다.However, the conventional remote control technology has a problem in that it is difficult to control in consideration of the field conditions at the work site because the remote operator simply transmits the control command to the robot at the work site through the control system.

특히, 마스터 장비를 사용하는 종래 원격조정기술은 원격지의 운전자가 작업현장의 로봇이 수행하는 단순하고 정형화된 작업을 포함하는 모든 작업을 직접 핸들링하여야 하는 불편함이 있다.In particular, the conventional remote control technique using the master equipment has the inconvenience that the remote operator must directly handle all the tasks including the simple and formal tasks performed by the robots on the job site.

대한민국 공개특허공보 제10-2016-0148716호(발명의 명칭: 작업로봇 원격제어시스템, 공고일: 2016년 12월 27일)Korean Patent Laid-Open Publication No. 10-2016-0148716 (Title: Remote Control System for Work Robots, Published on Dec. 27, 2016)

본 발명의 해결하고자 하는 과제는 몰입환경에서 혼합현실을 바탕으로 자율기계를 효율적으로 제어할 수 있는 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법을 제공하는 것이다.An object of the present invention is to provide an autonomous machine system and an autonomous machine system control method using a mixed reality capable of efficiently controlling an autonomous machine based on mixed reality in an immersive environment.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not intended to limit the invention to the precise form disclosed. There will be.

상술한 과제를 해결하기 위하여, 본 발명은 작업현장에 배치되는 자율기계; 그리고, 상기 자율기계로부터 일정거리 떨어진 원격지에 설치되어 상기 자율기계를 제어하는 자율기계 제어플랫폼을 포함하는 혼합현실을 이용한 자율기계시스템을 제공한다.SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, the present invention relates to an autonomous machine, And an autonomous machine control platform installed at a remote location a predetermined distance from the autonomous machine to control the autonomous machine.

상기 자율기계 제어플랫폼은 상기 자율기계로부터 전송되는 영상데이터 및 센싱데이터를 포함하는 현장정보와 상기 자율기계를 제어하기 위한 가상정보가 혼합된 혼합현실정보를 혼합현실화면으로 표시하는 스크린유닛과, 상기 스크린유닛과 이웃하게 배치되어 사용자의 모션을 인식하는 모션인식유닛과, 상기 자율기계를 상위레벨 제어모드 및 하위레벨 제어모드를 포함하는 레벨제어모드 중 어느 하나의 제어모드로 제어하기 위한 제어유닛을 포함할 수 있다.Wherein the autonomic machine control platform comprises: a screen unit for displaying mixed reality information mixed with on-site information including image data and sensing data transmitted from the autonomous machine and virtual information for controlling the autonomous machine, A control unit for controlling the autonomous machine in any one of a control mode of an upper level control mode and a level control mode including a lower level control mode, .

상기 상위레벨 제어모드는 상기 자율기계가 사용자로부터 입력되는 의사결정정보를 바탕으로 제어되는 제2 운전모드를 포함하며, 상기 하위레벨 제어모드는 상기 자율기계가 상기 모션인식유닛에서 인식되는 사용자의 모션에 대응되면서 제어되는 제3 운전모드를 포함할 수 있다.Wherein the high level control mode includes a second operation mode in which the autonomous machine is controlled based on decision information inputted from a user, and the low level control mode is a mode in which the autonomous machine is controlled by the motion of the user recognized by the motion recognition unit And a third operation mode that is controlled in correspondence with the first operation mode.

상기 상위레벨 제어모드는 상기 자율기계가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 더 포함할 수 있다.The high level control mode may further include a first operation mode in which the autonomic machine is autonomously operated based on the predetermined operation information and the field information.

상기 의사결정정보는 상기 자율기계로부터 전송되는 의사결정 문의정보를 바탕으로 사용자에 의하여 생성된 후 상기 제어유닛으로 입력되고, 상기 의사결정 문의정보는 상기 혼합현실화면상에 의사결정 오브젝트로 표시될 수 있다.The decision information may be generated by the user based on the decision inquiry information transmitted from the autonomous machine and then input to the control unit, and the decision inquiry information may be displayed as a decision object on the mixed reality surface .

상기 모션인식유닛은 상기 자율기계의 주행을 제어하기 위하여 사용자의 하부모션을 인식하는 하부모션 인식유닛과, 상기 자율기계의 작업을 제어하기 위하여 사용자의 상부모션을 인식하는 상부모션 인식유닛을 포함할 수 있다.The motion recognition unit includes a lower motion recognition unit for recognizing a lower motion of the user to control the running of the autonomous machine and a higher motion recognition unit for recognizing the upper motion of the user to control the operation of the autonomous machine .

상기 제3 운전모드는 상기 사용자의 하부모션과 대응되는 제3 주행모드와, 상기 사용자의 상부모션과 대응되는 제3 작업모드를 포함할 수 있다.The third operation mode may include a third running mode corresponding to the lower motion of the user and a third operation mode corresponding to the upper motion of the user.

상기 자율기계 제어플랫폼은 상기 제어유닛에서 생성되는 제어명령을 상기 자율기계로 전송하기 위한 통신유닛을 더 포함할 수 있다.The autonomic machine control platform may further include a communication unit for transmitting a control command generated in the control unit to the autonomous machine.

한편, 상기 자율기계는 작업환경상에서 작업을 수행하기 위한 엔드이펙터를 갖는 자율기계 본체와, 상기 자율기계 본체 상에 배치되어 상기 센싱데이터 및 영상데이터를 획득하기 위한 현장정보 획득유닛과, 상기 자율기계 본체의 하부에 배치되어 주행을 수행하는 주행유닛과, 상기 자율기계 본체 상에 배치되어 상기 통신유닛과 통신하기 위한 자율기계측 통신유닛과, 상기 자율기계 본체, 상기 현장정보 획득유닛, 상기 주행유닛 및 상기 자율기계측 통신유닛을 제어하기 위한 자율기계측 제어유닛을 포함할 수 있다.The autonomous machine includes an autonomous machine body having an end effector for performing an operation on a work environment, a field information acquisition unit disposed on the autonomous machine body for acquiring the sensing data and the image data, An autonomous machine-side communication unit arranged on the autonomous machine main body for communicating with the communication unit, and an autonomous machine-side communication unit arranged on the autonomous machine main body, the field information acquiring unit, the driving unit And an autonomous machine-side control unit for controlling the autonomous machine-side communication unit.

본 발명의 다른 실시 형태에 의하면, 본 발명은 상술한 자율기계시스템을 제어하는 자율기계시스템 제어방법에 있어서, 상기 제어유닛이 사용자로부터 입력되는 레벨제어정보를 바탕으로 상기 상위레벨 제어모드 또는 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계; 상기 자율기계가 상기 통신유닛으로부터 상기 운전시작 제어명령을 전달받고 상기 현장정보를 획득하는 현장정보 획득단계; 상기 제어유닛이 상기 혼합현실화면을 상기 스크린유닛상에 표시하는 혼합현실정보 표시단계; 상기 제어명령 생성단계에서 상기 상위레벨 제어모드에 대한 운전시작제어명령이 생성되는 경우 상기 자율기계가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 수행하는 단계; 상기 제어유닛이 상기 제1 운전모드 중 사용자로부터 입력되는 의사결정정보를 바탕으로 의사결정 제어명령을 생성하는 의사결정단계; 그리고, 상기 자율기계가 상기 통신유닛으로부터 상기 의사결정 제어명령을 전달받고 상기 제2 운전모드를 수행하는 단계를 포함하는 자율기계시스템 제어방법을 제공한다.According to another aspect of the present invention, there is provided an autonomic machine system control method for controlling an autonomous machine system as described above, wherein the control unit controls the autonomous machine system based on level control information input from a user, A control command generation step of generating an operation start control command for the control mode; A field information acquiring step in which the autonomous machine receives the operation start control command from the communication unit and acquires the field information; A mixed reality information display step in which the control unit displays the mixed reality screen on the screen unit; Performing a first operation mode in which the autonomic machine autonomously operates based on the preset operation information and the field information when an operation start control command for the high level control mode is generated in the control command generation step; A decision step of the control unit generating a decision control command based on decision information input from a user during the first operation mode; And the autonomous machine receives the decision control command from the communication unit and performs the second operation mode.

상기 자율기계시스템 제어방법은 상기 스크린유닛이 상기 자율기계로부터 전송되는 의사결정 문의정보를 상기 스크린유닛상에 표시하는 의사결정 문의정보 표시단계를 더 포함할 수 있다.The autonomous machine system control method may further include a decision inquiry information display step in which the screen unit displays the decision inquiry information transmitted from the autonomous machine on the screen unit.

본 발명의 또 다른 실시 형태에 의하면, 본 발명은 자율기계시스템을 제어하는 자율기계시스템의 제어방법에 있어서, 상기 제어유닛이 사용자로부터 입력되는 레벨제어정보를 바탕으로 상기 상위레벨 제어모드 또는 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계; 상기 자율기계가 상기 통신유닛으로부터 상기 운전시작 제어명령을 전달받고 상기 현장정보를 획득하는 현장정보 획득단계; 상기 제어유닛이 상기 혼합현실화면을 상기 스크린유닛상에 표시하는 혼합현실정보 표시단계; 그리고, 상기 제어명령 생성단계에서 상기 하위레벨 제어모드에 대한 운전시작제어명령이 생성되는 경우 상기 자율기계가 상기 제3 운전모드를 수행하는 단계를 포함하는 자율기계시스템 제어방법을 제공한다.According to another aspect of the present invention, there is provided a control method of an autonomous machine system for controlling an autonomous machine system, the control unit comprising: A control command generation step of generating an operation start control command for the control mode; A field information acquiring step in which the autonomous machine receives the operation start control command from the communication unit and acquires the field information; A mixed reality information display step in which the control unit displays the mixed reality screen on the screen unit; And generating an operation start control command for the lower level control mode in the control command generation step, the autonomous machine performing the third operation mode.

상기 자율기계시스템 제어방법은 상기 제어유닛이 사용자로부터 입력되는 레벨제어 변환정보를 바탕으로 상기 하위레벨 제어모드에서 상기 상위레벨 제어모드로 변환하거나, 상기 상위레벨 제어모드에서 상기 하위레벨 제어모드로 변환하는 레벨제어 변환명령을 생성하는 레벨제어 변환단계를 더 포함할 수 있다.The autonomous machine system control method further includes a step of switching the control mode from the lower level control mode to the higher level control mode on the basis of the level control conversion information input from the user by the control unit, And a level control conversion step of generating a level control conversion instruction to the level control converting step.

본 발명에 따른 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법은 다음과 같은 효과가 있다.The autonomous machine system and the autonomous machine system control method using the mixed reality according to the present invention have the following effects.

첫째, 자율기계를 제어함에 있어서 사용자의 의사결정이 필요한 상위레벨 제어모드와, 사용자의 의사결정이 필요없는 하위레벨 제어모드로 구분하여 제어함으로써 자율기계를 보다 효율적으로 제어할 수 있는 이점이 있다.First, there is an advantage that the autonomous machine can be more efficiently controlled by separately controlling the autonomous machine in a high-level control mode requiring a user's decision and a low-level control mode requiring no user's decision.

둘째, 몰입환경의 혼합현실을 이용하여 자율기계를 제어함으로써 사용자가 작업현장에서 떨어진 원격지에 있는 경우라도 현장감 있게 자율기계를 제어할 수 있는 이점이 있다.Second, by controlling the autonomous machine using the mixed reality of the immersive environment, there is an advantage that the autonomous machine can be controlled in real time even if the user is located at a remote place away from the work site.

셋째, 사용자의 하부모션을 인식하여 자율기계의 주행모드를 제어하고, 사용자의 상부모션을 인식하여 자율기계의 작업모드를 제어함으로써 자율기계의 동작을 효율적으로 제어할 수 있는 이점이 있다.Third, there is an advantage that the operation of the autonomous machine can be efficiently controlled by recognizing the lower motion of the user, controlling the traveling mode of the autonomous machine, recognizing the upper motion of the user, and controlling the operation mode of the autonomous machine.

도 1은 본 발명에 따른 자율기계시스템의 일 실시 예를 나타낸 도면이다.
도 2는 도 1의 자율기계시스템에 구비된 자율기계와 자율기계 제어플랫폼의 세부구성에 대한 블럭도이다.
도 3은 본 발명에 따른 자율기계시스템 제어방법의 일 실시 예를 나타낸 도면이다.
도 4는 본 발명에 따른 자율기계시스템 제어방법의 다른 실시 예를 나타낸 도면이다.1 is a diagram illustrating an embodiment of an autonomous machine system in accordance with the present invention.
2 is a block diagram of a detailed configuration of an autonomous machine and an autonomous machine control platform provided in the autonomous machine system of FIG.
3 is a diagram illustrating an embodiment of an autonomous machine system control method according to the present invention.
4 is a diagram illustrating another embodiment of a method for controlling an autonomous machine system according to the present invention.

이하, 상술한 해결하고자 하는 과제가 구체적으로 실현될 수 있는 본 발명의 바람직한 실시 예들이 첨부된 도면을 참조하여 설명된다. 본 실시 예들을 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 하기에서 생략된다.Hereinafter, preferred embodiments of the present invention in which the above-mentioned problems to be solved can be specifically realized will be described with reference to the accompanying drawings. In describing the embodiments, the same names and the same symbols are used for the same configurations, and additional description therefor will be omitted below.

도 1은 본 발명에 따른 자율기계시스템의 일 실시 예를 나타낸 도면이고, ㄷ도 2는 상기 자율기계시스템에 구비된 자율기계와 자율기계 제어플랫폼의 세부구성에 대한 블럭도이다.FIG. 1 is a view showing an embodiment of an autonomous machine system according to the present invention, and FIG. 2 is a block diagram of a detailed configuration of an autonomous machine and an autonomous machine control platform provided in the autonomous machine system.

도 1 및 도 2를 참조하여, 본 발명에 따른 자율기계시스템의 일 실시 예를 설명하면 다음과 같다.1 and 2, an embodiment of an autonomous machine system according to the present invention will now be described.

상기 자율기계시스템은 작업현장(10)에 배치되는 자율기계(200)와, 상기 자율기계(200)로부터 일정거리 떨어진 원격지에 설치되어 상기 자율기계(200)를 제어하는 자율기계 제어플랫폼(100)을 포함한다.The autonomous machine system includes an autonomous machine 200 disposed in a worksite 10 and an autonomous machine control platform 100 installed at a remote location a certain distance from the autonomous machine 200 to control the autonomous machine 200. [ .

상기 자율기계 제어플랫폼(100)은 스크린유닛(140), 상부모션 인식유닛(120) 및 하부모션 인식유닛(110)을 갖는 모션인식유닛(130), 제어유닛(150), 통신유닛(160), 전원유닛(170) 및 저장유닛(180)을 포함한다.The autonomous machine control platform 100 includes a motion recognition unit 130 having a screen unit 140, a top motion recognition unit 120 and a bottom motion recognition unit 110, a control unit 150, a communication unit 160, A power source unit 170, and a storage unit 180. [

상기 스크린유닛(140)은 상기 모션인식유닛(130)과 이웃하게 배치되어 혼합현실화면을 표시하게 된다. The screen unit 140 is disposed adjacent to the motion recognition unit 130 to display a mixed reality screen.

구체적으로, 상기 스크린유닛(140)은 상기 하부모션 인식유닛(110)의 둘레를 감싸면서 일정높이로 배치되어 상기 하부모션 인식유닛(110)상에 위치하는 사용자에게 몰입환경을 제공하게 된다.Specifically, the screen unit 140 surrounds the lower motion recognition unit 110 and is disposed at a predetermined height to provide an immersive environment to a user located on the lower motion recognition unit 110.

상기 혼합현실화면은 상기 자율기계(200)로부터 전송되는 영상데이터 및 센싱데이터를 포함하는 현장정보와 상기 자율기계(200)를 제어하기 위한 가상정보가 혼합된 혼합현실정보가 화면으로 표시된 것일 수 있다.The mixed reality screen may include mixed reality information in which scene information including image data and sensing data transmitted from the autonomous machine 200 and virtual information for controlling the autonomous machine 200 are mixed .

여기서, 상기 영상데이터 및 센싱데이터는 상기 자율기계의 현장정보 획득유닛(240)에 의하여 획득된 작업현장에 관한 데이터이다. Here, the image data and the sensing data are data related to the work site acquired by the site information acquisition unit 240 of the autonomous machine.

구체적으로, 상기 영상데이터는 상기 현장정보 획득유닛(240)의 카메라에 의하여 획득된 영상정보이고, 상기 센싱데이터는 상기 현장정보 획득유닛(240)의 센서에 의하여 획득된 데이터정보이다. Specifically, the image data is image information obtained by the camera of the field information acquisition unit 240, and the sensing data is data information obtained by the sensor of the field information acquisition unit 240.

상기 가상정보는 상기 현장정보를 바탕으로 가공된 정보이거나, 미리 상기 저장유닛에 저장되어 있는 정보를 포함할 수 있다.The virtual information may be information processed based on the field information, or may include information previously stored in the storage unit.

상기 혼합현실화면은 상기 영상데이터를 바탕으로 하는 원격지의 작업현장 영상과, 상기 센싱데이터를 바탕으로 상기 작업현장 영상에 혼합되는 데이터 오브젝트(Data Object)와, 상기 가상정보를 바탕으로 상기 작업현장 영상에 혼합되는 가상 오브젝트(Virtual Object)를 포함한다.Wherein the mixed reality screen includes a work area image at a remote location based on the image data, a data object that is mixed with the work area image based on the sensing data, (Virtual Object).

상기 데이터 오브젝트는 상기 센싱데이터 또는 상기 센싱데이터를 바탕으로 가공된 데이터가 텍스트 형태 또는 이미지 형태로 구현되어 상기 작업현장 영상과 혼합된다.The data object is processed in the form of a text or an image based on the sensing data or the sensed data, and is mixed with the worksite image.

마찬가지로, 상기 가상 오브젝트도 텍스트 형태 또는 이미지 형태로 구현되어 상기 작업현장 영상과 혼합된다. 일례로, 상기 가상 오브젝트는 혼합현실화면상에서 작업현장의 길을 안내하는 안내표지판의 형태로 구현될 수 있을 것이다.Likewise, the virtual object is also implemented in text form or image form and mixed with the scene image. For example, the virtual object may be implemented in the form of a guide sign that guides the path of the work site on the mixed reality screen.

결과적으로, 몰입환경의 혼합현실을 이용하여 자율기계를 제어함으로써 사용자가 작업현장에서 떨어진 원격지에 있는 경우라도 현장감 있게 자율기계를 제어할 수 있게 된다.As a result, it is possible to control the autonomous machine by using mixed reality of the immersive environment, even if the user is remote from the work site.

상기 모션인식유닛(130)은 상기 스크린유닛(140)과 이웃하게 배치되어 사용자의 모션을 인식하게 된다.The motion recognition unit 130 is disposed adjacent to the screen unit 140 to recognize the motion of the user.

구체적으로, 상기 모션인식유닛(130)은 상기 자율기계(200)의 주행을 제어하기 위하여 사용자의 하부모션을 인식하는 상기 하부모션 인식유닛(110)과, 상기 자율기계(200)의 작업을 제어하기 위하여 사용자의 상부모션을 인식하는 상부모션 인식유닛(120)을 포함한다.Specifically, the motion recognition unit 130 includes the lower motion recognition unit 110 for recognizing the user's lower motion to control the running of the autonomous machine 200, The upper motion recognition unit 120 recognizes the upper motion of the user.

상기 하부모션 인식유닛(110)은 사용자가 360°보행이 가능한 트레드밀(Treadmill) 또는 모션플레이트의 형태로 제공될 수 있다.The lower motion recognition unit 110 may be provided in the form of a treadmill or a motion plate in which the user can walk 360 °.

상기 상부모션 인식유닛(120)은 상기 스크린유닛(140)의 상부에 설치되는 카메라 형태로 구비될 수 있다. 물론, 본 발명은 이에 한정되지 않고, 상기 상부모션 인식유닛(120)은 사용자의 몸에 착용되는 착용형 센서형태로 구비될 수도 있을 것이다.The upper motion recognition unit 120 may be provided in the form of a camera installed above the screen unit 140. Of course, the present invention is not limited to this, and the upper motion recognition unit 120 may be provided in the form of a wearable sensor that is worn on the user's body.

결과적으로, 본 발명은 사용자의 하부모션을 인식하여 자율기계의 주행모드를 제어하고, 사용자의 상부모션을 인식하여 자율기계의 작업모드를 제어함으로써 자율기계의 동작을 효율적으로 제어할 수 있는 장점을 가지게 된다.As a result, the present invention recognizes the user's lower motion and controls the running mode of the autonomous machine, recognizes the upper motion of the user, and controls the operation mode of the autonomous machine so that the operation of the autonomous machine can be efficiently controlled I have.

상기 통신유닛(160)은 상기 제어유닛(150)에서 생성되는 제어명령을 상기 자율기계(200)로 전송하고, 상기 자율기계(200)가 송신하는 정보를 수신하게 된다.The communication unit 160 transmits a control command generated in the control unit 150 to the autonomous machine 200 and receives information transmitted by the autonomous machine 200.

상기 저장유닛(180)에는 상기 자율기계(200)가 송신하는 현장정보, 자율기계를 제어하기 위한 운전정보 및 가상정보 등이 저장될 수 있다.The storage unit 180 may store field information transmitted by the autonomous machine 200, operation information for controlling the autonomous machine, virtual information, and the like.

상기 전원유닛(170)은 상기 제어유닛(150), 상기 스크린유닛(140), 상기 저장유닛(180), 상기 모션인식유닛(130) 및 상기 통신유닛(160)과 연결되어 전원을 공급하게 된다.The power supply unit 170 is connected to the control unit 150, the screen unit 140, the storage unit 180, the motion recognition unit 130, and the communication unit 160 to supply power .

한편, 상기 제어유닛(150)은 상기 자율기계(200)를 상위레벨 제어모드 및 하위레벨 제어모드를 포함하는 레벨제어모드 중 어느 하나의 제어모드로 제어할 수 있다.Meanwhile, the control unit 150 can control the autonomous machine 200 in any one of a high level control mode and a level control mode including a low level control mode.

상기 상위레벨 제어모드는 상기 자율기계(200)가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드와, 상기 자율기계(200)가 사용자로부터 입력되는 의사결정정보를 바탕으로 제어되는 제2 운전모드를 포함한다.The high level control mode is a mode in which the autonomic machine 200 operates in a first operation mode in which the autonomous machine 200 autonomously operates based on predetermined operation information and the field information, As shown in FIG.

상기 제1 운전모드는 자율기계가 스스로 판단하여 자율적으로 운전되되, 주행을 위한 제1 주행모드와, 작업현장에서 작업을 위한 제1 작업모드를 포함할 수 있다.The first operation mode may be autonomous operation of the autonomous machine by itself, and may include a first driving mode for driving and a first operation mode for working at the worksite.

또한, 상기 제2 운전모드는 사용자의 의사결정정보를 바탕으로 수행되되, 주행을 위한 제2 주행모드와, 작업현장에서의 작업을 위한 제2 작업모드를 포함할 수 있다.In addition, the second operation mode may be performed based on the user's decision information, and may include a second driving mode for driving and a second operation mode for working at the worksite.

상기 의사결정정보는 상기 자율기계로부터 전송되는 의사결정 문의정보를 바탕으로 사용자에 의하여 생성된 후 상기 제어유닛(150)으로 입력되고, 상기 의사결정 문의정보는 상기 혼합현실화면상에 하나의 의사결정 오브젝트로 표시될 수 있다.The decision information is generated by the user based on the decision inquiry information transmitted from the autonomous machine, and then input to the control unit 150. The decision inquiry information is transmitted to the decision reality unit . ≪ / RTI >

구체적으로, 자율기계(200)는 스스로 상기 제1 운전모드를 진행하다가 사용자의 의사결정이 필요하다고 판단하는 경우에는 상기 의사결정 문의정보를 상기 자율기계 제어플랫폼(100)으로 송신하게 된다. Specifically, when the autonomic machine 200 proceeds to the first operation mode by itself, and determines that the user's decision is necessary, the autonomic machine 200 transmits the decision inquiry information to the autonomic machine control platform 100.

그러면, 상기 제어유닛(150)은 상기 의사결정 문의정보를 바탕으로 상기 의사결정 오브젝트를 상기 혼합현실화면상에 표시하게 된다. 상기 의사결정 오브젝트는 텍스트 형태일 수도 있고, 이미지 형태일 수도 있을 것이다.Then, the control unit 150 displays the decision object on the mixed reality surface based on the decision statement information. The decision object may be in text form or image form.

그러면, 사용자는 상기 의사결정 오브젝트를 선택하기 위한 의사결정정보, 예를 들면 미리 설정된 입력모션을 생성하게 된다. 이때, 상기 모션인식유닛(130)이 상기 입력모션을 인식함에 따라 상기 제어유닛(150)은 상기 혼합현실화면상에 나타난 의사결정 오브젝트를 선택하게 된다.Then, the user generates decision information for selecting the decision object, for example, a preset input motion. At this time, as the motion recognition unit 130 recognizes the input motion, the control unit 150 selects the decision object shown on the mixed reality surface.

상기 의사결정 오브젝트가 선택되면, 사용자는 음성 또는 의사결정모션을 통하여 의사결정을 하게 되고, 상기 제어유닛(150)은 사용자의 음성 또는 의사결정모션을 바탕으로 생성된 의사결정 제어명령을 상기 자율기계(200)로 전송하게 된다. 그러면, 상기 자율기계(200)는 상기 제2 운전모드로 운전하게 된다.When the decision object is selected, the user makes a decision through voice or decision motion, and the control unit 150 sends a decision control command, which is generated based on the user's voice or decision motion, (200). Then, the autonomous machine 200 is operated in the second operation mode.

물론, 본 발명은 상술한 실시 예에 한정되지 않고, 상기 의사결정 오브젝트가 선택되면, 상기 의사결정 오브젝트의 하위 오브젝트들이 상기 혼합현실화면상에 표시될 수 있다. 이때, 사용자는 상기 하위 오브젝트들 중에서 상기 제2 작업모드로 수행될 특정 하위 오브젝트를 선택하기 위하여 하위 입력모션을 생성하게 된다.Of course, the present invention is not limited to the above-described embodiments, and when the decision object is selected, the sub-objects of the decision object can be displayed on the mixed reality surface. At this time, the user generates a sub-input motion to select a specific sub-object to be performed in the second operation mode among the sub-objects.

그러면, 상기 모션인식유닛(130)이 상기 하위 입력모션을 인식함에 따라 상기 제어유닛(150)은 상기 혼합현실화면상에 나타난 특정 하위 오브젝트를 선택하게 된다.Then, as the motion recognition unit 130 recognizes the lower-level input motion, the control unit 150 selects a specific lower-level object displayed on the mixed reality surface.

특정 하위 오브젝트가 선택되면, 상기 제어유닛은 상기 특정 하위 오브젝트와 대응되는 제2 운전모드에 대한 의사결정 제어명령을 생성하게 되고, 상기 자율기계(200)는 해당 제2 운전모드를 수행하게 된다. When a specific sub-object is selected, the control unit generates a decision control command for the second operation mode corresponding to the specific sub-object, and the autonomous machine 200 performs the corresponding second operation mode.

상기 제2 운전모드의 일례로, 상기 제2 운전모드는 사용자의 하부모션과 대응되는 제2 주행모드와, 사용자의 상부모션과 대응되는 제2 작업모드를 포함할 수 있다.In an example of the second operation mode, the second operation mode may include a second operation mode corresponding to a lower motion of the user and a second operation mode corresponding to a user's upper motion.

상기 하위레벨 제어모드는 상기 자율기계(200)가 상기 모션인식유닛(130)에서 인식되는 사용자의 모션에 대응되면서 제어되는 제3 운전모드를 포함한다.The lower level control mode includes a third operation mode in which the autonomic machine 200 is controlled while corresponding to the motion of the user recognized by the motion recognition unit 130. [

상기 제3 운전모드는 상기 사용자의 하부모션과 대응되는 제3 주행모드와, 상기 사용자의 상부모션과 대응되는 제3 작업모드를 포함할 수 있다. 즉, 상기 제3 운전모드는 사용자의 모션을 그대로 트래킹(tracking)하는 형태의 운전모드일 수 있다.The third operation mode may include a third running mode corresponding to the lower motion of the user and a third operation mode corresponding to the upper motion of the user. That is, the third operation mode may be a driving mode in which the motion of the user is directly tracked.

한편, 상기 자율기계(200)는 자율기계 본체(210), 주행유닛(220), 현장정보 획득유닛(240), 자율기계측 제어유닛(250), 자율기계측 통신유닛(260), 자율기계측 전원유닛(270) 및 자율기계측 저장유닛(280)을 포함한다.The autonomous machine 200 includes an autonomous machine body 210, a traveling unit 220, a field information acquisition unit 240, an autonomous machine-side control unit 250, an autonomous machine-side communication unit 260, Side power supply unit 270 and an autonomous machine-side storage unit 280. [

상기 자율기계 본체(210)는 작업환경상에서 작업을 수행하기 위한 엔드이펙터(미도시)를 가진다.The autonomic machine body 210 has an end effector (not shown) for performing tasks on a work environment.

상기 현장정보 획득유닛(240)은 상기 자율기계 본체(210) 상에 배치되어 상기 센싱데이터 및 영상데이터를 획득하게 된다. The field information acquisition unit 240 is disposed on the autonomic machine body 210 to acquire the sensing data and the image data.

상기 현장정보 획득유닛(240)은 상기 영상데이터를 획득하기 위한 케메라와, 상기 센싱데이터를 획득하기 위한 다양한 센서들을 포함한다. 상기 센서는 초음파센서, 레이저센서 및 레이더 등을 포함할 수 있다.The site information acquisition unit 240 includes a camera for acquiring the image data and various sensors for acquiring the sensing data. The sensor may include an ultrasonic sensor, a laser sensor, a radar, and the like.

상기 주행유닛(220)은 상기 자율기계 본체(210)의 하부에 배치되어 주행을 수행하게 된다.The traveling unit 220 is disposed below the autonomous machine main body 210 to perform traveling.

상기 자율기계측 통신유닛(260)은 상기 자율기계 본체(210) 상에 배치되어 상기 통신유닛(160)과 통신하게 된다.The autonomous machine-side communication unit 260 is disposed on the autonomous machine body 210 and communicates with the communication unit 160.

상기 자율기계측 제어유닛(250)은 상기 자율기계 본체(210), 상기 현장정보 획득유닛(240), 상기 주행유닛(220), 상기 자율기계측 통신유닛(260)을 제어하게 된다.The autonomic machine side control unit 250 controls the autonomous machine main body 210, the field information acquisition unit 240, the driving unit 220, and the autonomous machine side communication unit 260.

상기 자율기계측 저장유닛(280)에는 상기 자율기계의 운전을 제어하기 위한 운전제어정보, 상기 현장정보 획득유닛(240)에서 획득되는 현장정보 등이 저장된다.The autonomic machine-side storage unit 280 stores operation control information for controlling the operation of the autonomous machine, field information acquired by the field information acquisition unit 240, and the like.

상기 자율기계측 전원유닛(270)은 상기 자율기계측 제어유닛(250), 상기 자율기계 본체(210), 상기 현장정보 획득유닛(240), 상기 주행유닛(220), 상기 자율기계측 통신유닛(260) 및 자율기계측 저장유닛(280)과 연결되어 전원을 공급하게 된다.The autonomic machine-side power source unit 270 is connected to the autonomous machine-side control unit 250, the autonomic machine main body 210, the field information acquisition unit 240, the traveling unit 220, (260) and the autonomous machine-side storage unit (280) to supply power.

도 2 및 도 3을 참조하여, 발명에 따른 자율기계시스템 제어방법의 일 실시 예를 설명하면 다음과 같다. 도 3에 도시된 자율기계시스템의 제어방법은 자율기계 제어플랫폼의 제어유닛이 상위레벨 제어모드로 자율기계를 제어하는 과정을 나타낸 것이다.Referring to FIG. 2 and FIG. 3, an embodiment of an autonomous machine system control method according to the present invention will be described. The control method of the autonomous machine system shown in FIG. 3 shows a process in which the control unit of the autonomous machine control platform controls the autonomous machine in the high level control mode.

먼저, 사용자는 레벨제어정보를 생성하게 되고, 상기 레벨제어정보가 상위레벨 제어모드와 대응되는 경우에 제어유닛(150)이 상위레벨 제어모드를 수행하게 된다.First, the user generates level control information, and when the level control information corresponds to the high level control mode, the control unit 150 performs the high level control mode.

즉, 상기 제어유닛(150)이 상위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계가 수행된다(S110).That is, a control command generation step is performed in which the control unit 150 generates an operation start control command for the high level control mode (S110).

여기서, 레벨제어정보는 사용자의 모션을 통하여 생성되고, 모션인식유닛(130)이 사용자의 모션을 인식함으로써 상기 제어유닛(150)으로 전달될 수 있다. Here, the level control information is generated through the user's motion, and the motion recognition unit 130 can be conveyed to the control unit 150 by recognizing the motion of the user.

다음으로, 상기 운전시작 제어명령은 상기 자율기계 제어플랫폼(100)에서 상기 자율기계(200)로 전송된다.Next, the operation start control command is transmitted from the autonomic machine control platform 100 to the autonomous machine 200.

다음으로, 자율기계측 제어유닛(250)은 상기 운전시작 제어명령을 바탕으로 자율기계(200)의 운전을 시작하게 된다(S120).Next, the autonomous machine-side control unit 250 starts the operation of the autonomous machine 200 based on the operation start control command (S120).

상기 자율기계(200)의 운전이 시작됨과 동시에 현장정보 획득유닛(240)은 작업현장의 현장정보를 획득하게 된다(S130).At the same time that the operation of the autonomous machine 200 is started, the site information acquisition unit 240 acquires site information of a work site (S130).

또한, 상기 자율기계(200)의 운전이 시작됨과 동시에 상기 자율기계측 제어유닛(250)은 상기 운전시작 제어명령에 따른 제1 운전모드를 수행하게 된다(S150). In addition, when the operation of the autonomic machine 200 is started, the autonomic machine-side control unit 250 performs a first operation mode according to the operation start control command (S150).

즉, 상기 자율기계(200)는 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 수행하게 된다.That is, the autonomous machine 200 performs a first operation mode that autonomously operates based on the preset operation information and the field information.

동시에, 상기 자율기계(200)는 상기 현장정보 획득유닛(240)에서 획득된 현장정보를 상기 자율기계 제어플랫폼(100)으로 전송하게 된다.At the same time, the autonomic machine 200 transmits the field information obtained from the field information acquisition unit 240 to the autonomous machine control platform 100.

그러면, 상기 제어유닛(150)은 상기 자율기계(200)로부터 전송된 상기 현장정보와, 상기 현장정보 및 기설정된 설정정보를 바탕으로 하는 상기 가상정보를 혼합한 혼합현실정보를 혼합하게 된다.Then, the control unit 150 mixes the mixed-reality information obtained by mixing the field information transmitted from the autonomous machine 200 with the virtual information based on the field information and predetermined setting information.

다음으로, 상기 스크린유닛(140)은 상기 혼합현실정보를 상기 스크린유닛(140)상에 혼합현실화면으로 표시하게 된다(S140).Next, the screen unit 140 displays the mixed reality information on the screen unit 140 as a mixed reality screen (S140).

다음으로, 상기 자율기계측 제어유닛(250)은 상기 제1 운전모드를 수행하는 동안 사용자의 의사결정이 필요하다고 판단되면, 사용자의 의사결정을 문의하는 의사결정 문의정보를 생성하게 된다. Next, when the autonomic machine-side control unit 250 determines that the user's decision is required during the execution of the first operation mode, the autonomic machine-side control unit 250 generates the decision inquiry information inquiring the user's decision.

상기 자율기계(200)는 상기 의사결정 문의정보를 상기 자율기계 제어플랫폼(100)으로 전송하게 된다(S160).The autonomic machine 200 transmits the decision inquiry information to the autonomic machine control platform 100 (S160).

다음으로, 상기 스크린유닛(140)은 상기 자율기계로부터 전송되는 의사결정 문의정보를 상기 스크린유닛(140)상에 표시하게 된다.Next, the screen unit 140 displays the decision inquiry information transmitted from the autonomous machine on the screen unit 140.

다음으로, 사용자는 상기 의사결정 문의정보에 대응되는 의사결정정보를 생성하게 된다. 그러면, 상기 제어유닛(150)이 상기 의사결정정보를 바탕으로 의사결정 제어명령을 생성하게 된다(S170).Next, the user generates the decision information corresponding to the decision inquiry information. Then, the control unit 150 generates a decision control command based on the decision information (S170).

다음으로, 상기 자율기계(200)는 자율기계 제어플랫폼, 즉 상기 통신유닛(160)으로부터 상기 의사결정 제어명령을 전달받고 상기 제2 운전모드를 수행하게 된다(S180).Next, the autonomic machine 200 receives the decision control command from the autonomous machine control platform, i.e., the communication unit 160, and performs the second operation mode (S180).

물론, 본 발명은 이에 한정되지 않고, 사용자의 의사결정정보는 상기 의사결정 문의정보를 바탕으로 하지 않고 생성될 수도 있을 것이다. Of course, the present invention is not limited to this, and the user's decision information may be generated not based on the decision inquiry information.

예를 들면, 상기 자율기계는 의사결정 문의정보를 생성하지 않고, 사용자가 혼합현실화면을 모니터링하면서 의사결정이 필요하다고 판단되면, 의사결정정보를 생성할 수 있다.For example, the autonomic machine may generate decision information if it is determined that a decision is needed while the user monitors the mixed reality screen without generating decision information.

결과적으로, 자율기계가 사용자의 의사결정이 필요한 상위레벨 제어모드와, 사용자의 의사결정이 필요없는 하위레벨 제어모드로 구분되어 제어됨으로써 사용자의 자율기계 제어방법이 편리하게 된다.As a result, the autonomous machine control method is convenient because the autonomous machine is divided into a high level control mode requiring user's decision and a low level control mode requiring no user's decision.

도 2 및 도 4를 참조하여, 발명에 따른 자율기계시스템 제어방법의 다른 실시 예를 설명하면 다음과 같다. 도 4에 도시된 자율기계시스템의 제어방법은 자율기계 제어플랫폼의 제어유닛이 하위레벨 제어모드로 자율기계를 제어하는 과정을 나타낸 것이다.Referring to FIG. 2 and FIG. 4, another embodiment of a method for controlling an autonomous machine system according to the present invention will now be described. The control method of the autonomous machine system shown in FIG. 4 shows a process in which the control unit of the autonomous machine control platform controls the autonomous machine in the low-level control mode.

먼저, 사용자는 레벨제어정보를 생성하게 되고, 상기 레벨제어정보가 하위레벨 제어모드와 대응되는 경우에 제어유닛(150)이 하위레벨 제어모드를 수행하게 된다.First, the user generates level control information, and when the level control information corresponds to the low level control mode, the control unit 150 performs the low level control mode.

즉, 상기 제어유닛(150)이 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계가 수행된다(S210).That is, a control command generation step is performed in which the control unit 150 generates an operation start control command for the lower level control mode (S210).

다음으로, 상기 운전시작 제어명령은 상기 자율기계 제어플랫폼(100)에서 상기 자율기계(200)로 전송된다.Next, the operation start control command is transmitted from the autonomic machine control platform 100 to the autonomous machine 200.

다음으로, 자율기계측 제어유닛(250)은 상기 운전시작 제어명령을 바탕으로 자율기계(200)의 운전을 시작하게 된다(S220).Next, the autonomous machine-side control unit 250 starts the operation of the autonomous machine 200 based on the operation start control command (S220).

상기 자율기계(200)의 운전이 시작됨과 동시에 현장정보 획득유닛(240)은 작업현장의 현장정보를 획득하게 된다(S230).At the same time that the operation of the autonomous machine 200 is started, the site information acquisition unit 240 acquires site information of a work site (S230).

상기 자율기계(200)는 상기 현장정보 획득유닛(240)에서 획득된 현장정보를 상기 자율기계 제어플랫폼(100)으로 전송하게 된다.The autonomic machine 200 transmits the field information acquired by the field information acquisition unit 240 to the autonomic machine control platform 100.

그러면, 상기 제어유닛(150)은 상기 자율기계(200)로부터 전송된 상기 현장정보와, 상기 현장정보 및 기설정된 설정정보를 바탕으로 하는 상기 가상정보를 혼합한 혼합현실정보를 혼합하게 된다.Then, the control unit 150 mixes the mixed-reality information obtained by mixing the field information transmitted from the autonomous machine 200 with the virtual information based on the field information and predetermined setting information.

다음으로, 상기 스크린유닛(140)은 상기 혼합현실정보를 상기 스크린유닛(140)상에 혼합현실화면으로 표시하게 된다(S240).Next, the screen unit 140 displays the mixed reality information on the screen unit 140 as a mixed reality screen (S240).

동시에, 상부모션 인식유닛(120) 및 하부모션 인식유닛(110)은 사용자의 모션을 인식하게 된다(S250).At the same time, the upper motion recognition unit 120 and the lower motion recognition unit 110 recognize the motion of the user (S250).

상기 자율기계 제어플랫폼(100)이 인식된 사용자의 모션을 상기 자율기계(200)로 전송하게 되면, 상기 자율기계(200)는 제3 운전모드를 수행하게 된다(S260). When the autonomous machine control platform 100 transmits the motion of the recognized user to the autonomous machine 200, the autonomous machine 200 performs the third operation mode in operation S260.

즉, 상기 자율기계(200)는 상기 사용자의 하부모션과 대응되는 제3 주행모드와, 상기 사용자의 상부모션과 대응되는 제3 작업모드를 수행하게 된다.That is, the autonomous machine 200 performs a third running mode corresponding to the lower motion of the user and a third working mode corresponding to the upper motion of the user.

다음으로, 상기 제어유닛(150)이 사용자로부터 입력되는 레벨제어 변환정보를 바탕으로 상기 하위레벨 제어모드에서 상기 상위레벨 제어모드로 변환하는 레벨제어 변환명령을 생성하는 레벨제어 변환단계가 수행될 수 있다(S280).Next, a level control conversion step may be performed in which the control unit 150 generates a level control conversion command for converting from the lower level control mode to the higher level control mode on the basis of the level control conversion information input from the user (S280).

상기 레벨제어 변환단계가 수행되면, 상기 제3 운전모드는 중지되고, 상기 제1 운전모드가 수행된다(S290).When the level control conversion step is performed, the third operation mode is stopped and the first operation mode is performed (S290).

물론, 본 발명은 이에 한정되지 않고, 상기 레벨제어 변환단계는 상기 제어유닛(150)이 상위레벨 제어모드를 수행하는 과정에서 하위레벨 제어모드로 변환하는 과정에도 적용될 수 있다.Of course, the present invention is not limited to this, and the level control conversion step may be applied to the process of converting the control unit 150 into the low level control mode in the process of performing the high level control mode.

이상 설명한 바와 같이, 본 발명은 상술한 특정한 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형의 실시가 가능하고 이러한 변형은 본 발명의 범위에 속한다.As described above, the present invention is not limited to the above-described specific preferred embodiments, and various changes and modifications may be made by those skilled in the art without departing from the scope of the present invention as claimed in the claims. And such variations are within the scope of the present invention.

10: 작업현장 100: 자율기계 제어플랫폼
110: 하부모션 인식유닛 120: 상부모션 인식유닛
130: 모션인식유닛 140: 스크린유닛
150: 제어유닛 160: 통신유닛
170: 전원유닛 180: 저장유닛
200: 자율기계 210: 자율기계 본체
220: 주행유닛 240: 현장정보 획득유닛
250: 자율기계측 제어유닛 260: 자율기계측 통신유닛
270: 자율기계측 전원유닛 280: 자율기계측 저장유닛10: Worksite 100: Autonomous machine control platform
110: lower motion recognition unit 120: upper motion recognition unit
130: Motion recognition unit 140: Screen unit
150: control unit 160: communication unit
170: power supply unit 180: storage unit
200: autonomous machine 210: autonomous machine main body
220: traveling unit 240: field information acquisition unit
250: autonomous machine-side control unit 260: autonomous machine-side communication unit
270: autonomous machine-side power supply unit 280: autonomous machine-side storage unit

Claims (10)

작업현장에 배치되는 자율기계; 그리고,
상기 자율기계로부터 일정거리 떨어진 원격지에 설치되어 상기 자율기계를 제어하는 자율기계 제어플랫폼을 포함하며,
상기 자율기계 제어플랫폼은 상기 자율기계로부터 전송되는 영상데이터 및 센싱데이터를 포함하는 현장정보와 상기 자율기계를 제어하기 위한 가상정보가 혼합된 혼합현실정보를 혼합현실화면으로 표시하는 스크린유닛과,
상기 스크린유닛과 이웃하게 배치되어 사용자의 모션을 인식하는 모션인식유닛과,
상기 자율기계를 상위레벨 제어모드 및 하위레벨 제어모드를 포함하는 레벨제어모드 중 어느 하나의 제어모드로 제어하기 위한 제어유닛을 포함하고,
상기 상위레벨 제어모드는 상기 자율기계가 사용자로부터 입력되는 의사결정정보를 바탕으로 제어되는 제2 운전모드를 포함하며, 상기 하위레벨 제어모드는 상기 자율기계가 상기 모션인식유닛에서 인식되는 사용자의 모션에 대응되면서 제어되는 제3 운전모드를 포함하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.Autonomous machines placed at the worksite; And,
And an autonomous machine control platform installed at a remote location a certain distance from the autonomous machine to control the autonomous machine,
Wherein the autonomic machine control platform includes a screen unit for displaying mixed reality information in which the field information including the image data and sensing data transmitted from the autonomous machine and the virtual information for controlling the autonomous machine are mixed,
A motion recognition unit disposed adjacent to the screen unit to recognize a motion of the user;
And a control unit for controlling the autonomous machine to any one of a high level control mode and a level control mode including a low level control mode,
Wherein the high level control mode includes a second operation mode in which the autonomous machine is controlled based on decision information inputted from a user, and the low level control mode is a mode in which the autonomous machine is controlled by the motion of the user recognized by the motion recognition unit And a third operation mode that is controlled in correspondence with the first operation mode. 제1항에 있어서,
상기 상위레벨 제어모드는 상기 자율기계가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 더 포함하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.The method according to claim 1,
Wherein the higher level control mode further comprises a first operation mode in which the autonomic machine autonomously operates based on the predetermined operation information and the field information. 제1항에 있어서,
상기 의사결정정보는 상기 자율기계로부터 전송되는 의사결정 문의정보를 바탕으로 사용자에 의하여 생성된 후 상기 제어유닛으로 입력되고, 상기 의사결정 문의정보는 상기 혼합현실화면상에 의사결정 오브젝트로 표시되는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.The method according to claim 1,
Wherein the decision information is generated by a user based on decision information transmitted from the autonomous machine and then input to the control unit, and the decision inquiry information is displayed as a decision object on the mixed reality surface Autonomous machine system using hybrid reality. 제1항에 있어서,
상기 모션인식유닛은 상기 자율기계의 주행을 제어하기 위하여 사용자의 하부모션을 인식하는 하부모션 인식유닛과, 상기 자율기계의 작업을 제어하기 위하여 사용자의 상부모션을 인식하는 상부모션 인식유닛을 포함하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.The method according to claim 1,
Wherein the motion recognition unit includes a lower motion recognition unit for recognizing the user's lower motion to control the running of the autonomous machine and a higher motion recognition unit for recognizing the upper motion of the user to control the operation of the autonomous machine Wherein the mixed reality system comprises: 제4항에 있어서,
상기 제3 운전모드는 상기 사용자의 하부모션과 대응되는 제3 주행모드와, 상기 사용자의 상부모션과 대응되는 제3 작업모드를 포함하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.5. The method of claim 4,
Wherein the third operation mode includes a third running mode corresponding to the lower motion of the user and a third operation mode corresponding to the upper motion of the user. 제1항에 있어서,
상기 자율기계 제어플랫폼은 상기 제어유닛에서 생성되는 제어명령을 상기 자율기계로 전송하기 위한 통신유닛을 더 포함하고,
상기 자율기계는 작업환경상에서 작업을 수행하기 위한 엔드이펙터를 갖는 자율기계 본체와,
상기 자율기계 본체 상에 배치되어 상기 센싱데이터 및 영상데이터를 획득하기 위한 현장정보 획득유닛과,
상기 자율기계 본체의 하부에 배치되어 주행을 수행하는 주행유닛과,
상기 자율기계 본체 상에 배치되어 상기 통신유닛과 통신하기 위한 자율기계측 통신유닛과,
상기 자율기계 본체, 상기 현장정보 획득유닛, 상기 주행유닛 및 상기 자율기계측 통신유닛을 제어하기 위한 자율기계측 제어유닛을 포함하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.The method according to claim 1,
Wherein the autonomous machine control platform further comprises a communication unit for sending control commands generated in the control unit to the autonomous machine,
The autonomic machine comprising an autonomic machine body having an end effector for performing tasks on a work environment,
A field information acquisition unit disposed on the autonomic machine body for acquiring the sensing data and the image data;
A traveling unit disposed at a lower portion of the autonomous machine main body and performing traveling,
An autonomous machine-side communication unit disposed on the autonomous machine body for communicating with the communication unit;
And an autonomous machine-side control unit for controlling the autonomous machine main body, the field information obtaining unit, the driving unit, and the autonomous machine-side communication unit. 제6항에 따른 자율기계시스템을 제어하는 자율기계시스템 제어방법에 있어서,
상기 제어유닛이 사용자로부터 입력되는 레벨제어정보를 바탕으로 상기 상위레벨 제어모드 또는 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계;
상기 자율기계가 상기 통신유닛으로부터 상기 운전시작 제어명령을 전달받고 상기 현장정보를 획득하는 현장정보 획득단계;
상기 제어유닛이 상기 혼합현실화면을 상기 스크린유닛상에 표시하는 혼합현실정보 표시단계;
상기 제어명령 생성단계에서 상기 상위레벨 제어모드에 대한 운전시작제어명령이 생성되는 경우 상기 자율기계가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 수행하는 단계;
상기 제어유닛이 상기 제1 운전모드 중 사용자로부터 입력되는 의사결정정보를 바탕으로 의사결정 제어명령을 생성하는 의사결정단계; 그리고,
상기 자율기계가 상기 통신유닛으로부터 상기 의사결정 제어명령을 전달받고 상기 제2 운전모드를 수행하는 단계를 포함하는 자율기계시스템 제어방법.7. An autonomous machine system control method for controlling an autonomous machine system according to claim 6,
A control command generation step of generating an operation start control command for the high level control mode or the low level control mode on the basis of the level control information inputted from the user by the control unit;
A field information acquiring step in which the autonomous machine receives the operation start control command from the communication unit and acquires the field information;
A mixed reality information display step in which the control unit displays the mixed reality screen on the screen unit;
Performing a first operation mode in which the autonomic machine autonomously operates based on the preset operation information and the field information when an operation start control command for the high level control mode is generated in the control command generation step;
A decision step of the control unit generating a decision control command based on decision information input from a user during the first operation mode; And,
Wherein the autonomous machine receives the decision control command from the communication unit and performs the second mode of operation. 제7항에 있어서,
상기 스크린유닛이 상기 자율기계로부터 전송되는 의사결정 문의정보를 상기 스크린유닛상에 표시하는 의사결정 문의정보 표시단계를 더 포함하는 것을 특징으로 하는 자율기계시스템 제어방법.8. The method of claim 7,
Further comprising: a decision inquiry information display step of displaying the decision inquiry information transmitted from the autonomous machine on the screen unit by the screen unit. 제6항에 따른 자율기계시스템을 제어하는 자율기계시스템 제어방법에 있어서,
상기 제어유닛이 사용자로부터 입력되는 레벨제어정보를 바탕으로 상기 상위레벨 제어모드 또는 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계;
상기 자율기계가 상기 통신유닛으로부터 상기 운전시작 제어명령을 전달받고 상기 현장정보를 획득하는 현장정보 획득단계;
상기 제어유닛이 상기 혼합현실화면을 상기 스크린유닛상에 표시하는 혼합현실정보 표시단계; 그리고,
상기 제어명령 생성단계에서 상기 하위레벨 제어모드에 대한 운전시작제어명령이 생성되는 경우 상기 자율기계가 상기 제3 운전모드를 수행하는 단계를 포함하는 자율기계시스템 제어방법.7. An autonomous machine system control method for controlling an autonomous machine system according to claim 6,
A control command generation step of generating an operation start control command for the high level control mode or the low level control mode on the basis of the level control information inputted from the user by the control unit;
A field information acquiring step in which the autonomous machine receives the operation start control command from the communication unit and acquires the field information;
A mixed reality information display step in which the control unit displays the mixed reality screen on the screen unit; And,
And in the control command generation step, when the operation start control command for the lower level control mode is generated, the autonomous machine performs the third operation mode. 제7항 또는 제9항에 있어서,
상기 제어유닛이 사용자로부터 입력되는 레벨제어 변환정보를 바탕으로 상기 하위레벨 제어모드에서 상기 상위레벨 제어모드로 변환하거나, 상기 상위레벨 제어모드에서 상기 하위레벨 제어모드로 변환하는 레벨제어 변환명령을 생성하는 레벨제어 변환단계를 더 포함하는 것을 특징으로 하는 자율기계시스템 제어방법.10. The method according to claim 7 or 9,
The control unit generates a level control conversion command for converting from the lower level control mode to the higher level control mode or converting from the higher level control mode to the lower level control mode on the basis of the level control conversion information input from the user Further comprising a level control conversion step of performing a level control conversion step.
KR1020170105704A 2017-08-21 2017-08-21 Autonomous operating system using mixed reality and Conrtrolling method thereof KR102000110B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170105704A KR102000110B1 (en) 2017-08-21 2017-08-21 Autonomous operating system using mixed reality and Conrtrolling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170105704A KR102000110B1 (en) 2017-08-21 2017-08-21 Autonomous operating system using mixed reality and Conrtrolling method thereof

Publications (2)

Publication Number Publication Date
KR20190020576A true KR20190020576A (en) 2019-03-04
KR102000110B1 KR102000110B1 (en) 2019-07-15

Family

ID=65759904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170105704A KR102000110B1 (en) 2017-08-21 2017-08-21 Autonomous operating system using mixed reality and Conrtrolling method thereof

Country Status (1)

Country Link
KR (1) KR102000110B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127324B1 (en) * 2020-04-16 2020-06-26 한국기술교육대학교 산학협력단 Smart exercise system in autonomous vehicle and exercise method using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120098342A (en) * 2011-02-28 2012-09-05 주식회사 이턴 Master robot, surgical robot system using thereof, control method thereof, and recording medium thereof
KR20140037802A (en) * 2011-01-13 2014-03-27 마이크로소프트 코포레이션 Multi-state model for robot and user interaction
KR20150058848A (en) * 2013-11-21 2015-05-29 한국전자통신연구원 Apparatus and method for generating telepresence
KR20160148716A (en) 2011-10-21 2016-12-26 제이엑스금속주식회사 Corson alloy and method for producing same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140037802A (en) * 2011-01-13 2014-03-27 마이크로소프트 코포레이션 Multi-state model for robot and user interaction
KR20120098342A (en) * 2011-02-28 2012-09-05 주식회사 이턴 Master robot, surgical robot system using thereof, control method thereof, and recording medium thereof
KR20160148716A (en) 2011-10-21 2016-12-26 제이엑스금속주식회사 Corson alloy and method for producing same
KR20150058848A (en) * 2013-11-21 2015-05-29 한국전자통신연구원 Apparatus and method for generating telepresence

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127324B1 (en) * 2020-04-16 2020-06-26 한국기술교육대학교 산학협력단 Smart exercise system in autonomous vehicle and exercise method using the same

Also Published As

Publication number Publication date
KR102000110B1 (en) 2019-07-15

Similar Documents

Publication Publication Date Title
WO2018043128A1 (en) Autonomous traveling apparatus
Fong et al. Advanced interfaces for vehicle teleoperation: Collaborative control, sensor fusion displays, and remote driving tools
US9481087B2 (en) Robot and control method thereof
JP5550671B2 (en) Autonomous traveling robot and traveling control method for autonomous traveling robot
CN100349079C (en) Robot system and control method thereof
EP3489422B1 (en) Controlling earthmoving machine
CN108858195A (en) A kind of Triple distribution control system of biped robot
JP2007226322A (en) Robot control system
US10968601B2 (en) Controlling earthmoving machine
CN108247633B (en) Robot control method and system
KR102000110B1 (en) Autonomous operating system using mixed reality and Conrtrolling method thereof
CN106527439A (en) Motion control method and apparatus
CN115023316A (en) Polishing amount estimating device
CN102459811B (en) Teaching model for automatic control of mobile mining machine
EP2973509B1 (en) Indicating an object at a remote location
CN112462790B (en) Remote control method and system for unmanned vehicle
Tanzini et al. A novel human-machine interface for working machines operation
FI20180082A1 (en) Controlling earthmoving machine
JP2001315080A (en) Remote place observation device
JP2023155919A (en) Travel area determination method and autonomous traveling body
KR101967216B1 (en) Test system for autonomous operating apparatus and Controlling method thereof
KR20170116310A (en) System and method for task teaching
Adams et al. Human-managed, hierarchical control of multiple mobile agents
JP7332497B2 (en) WORK ROBOT OPERATION SUPPORT SYSTEM AND OPERATION SUPPORT METHOD
TWI828136B (en) Environmental finishing control method and system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant