KR102000110B1 - 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법 - Google Patents

Abstract

본 발명은 몰입환경에서 혼합현실을 이용하여 자율기계를 효율적으로 제어할 수 있는 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법에 관한 것이다.
이를 위해, 본 발명은 작업현장에 배치되는 자율기계; 그리고, 상기 자율기계로부터 일정거리 떨어진 원격지에 설치되어 상기 자율기계를 제어하는 자율기계 제어플랫폼을 포함하는 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법을 제공한다.

Description

혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법{Autonomous operating system using mixed reality and Conrtrolling method thereof}

본 발명은 자율기계시스템 및 자율기계시스템 제어방법에 관한 것으로서, 보다 상세하게는 몰입환경에서 혼합현실을 이용하여 자율기계를 효율적으로 제어할 수 있는 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법에 관한 것이다.

최근에는 건설현장, 재난현장, 경작지 또는 교전지역 등과 같은 작업현장에서 작업을 수행하는 로봇을 원격지에서 조정하는 원격조정기술이 개발되고 있다.

이러한 원격조정기술로는 사용자가 조이스틱 장치를 이용하여 로봇을 원격조정하는 방법, 사용자가 마스터 장비를 착용한 상태에서 로봇을 조정하는 방법 등이 알려져있다.

그러나 종래 원격조정기술은 원격지의 운전자가 제어시스템을 매개로 작업현장의 로봇에게 제어명령을 단순하게 전달하는 형태를 가지므로 작업현장의 현장상황을 고려한 제어가 어려운 문제점이 있다.

특히, 마스터 장비를 사용하는 종래 원격조정기술은 원격지의 운전자가 작업현장의 로봇이 수행하는 단순하고 정형화된 작업을 포함하는 모든 작업을 직접 핸들링하여야 하는 불편함이 있다.

대한민국 공개특허공보 제10-2016-0148716호(발명의 명칭: 작업로봇 원격제어시스템, 공고일: 2016년 12월 27일)

본 발명의 해결하고자 하는 과제는 몰입환경에서 혼합현실을 바탕으로 자율기계를 효율적으로 제어할 수 있는 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법을 제공하는 것이다.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위하여, 본 발명은 작업현장에 배치되는 자율기계; 그리고, 상기 자율기계로부터 일정거리 떨어진 원격지에 설치되어 상기 자율기계를 제어하는 자율기계 제어플랫폼을 포함하는 혼합현실을 이용한 자율기계시스템을 제공한다.

상기 자율기계 제어플랫폼은 상기 자율기계로부터 전송되는 영상데이터 및 센싱데이터를 포함하는 현장정보와 상기 자율기계를 제어하기 위한 가상정보가 혼합된 혼합현실정보를 혼합현실화면으로 표시하는 스크린유닛과, 상기 스크린유닛과 이웃하게 배치되어 사용자의 모션을 인식하는 모션인식유닛과, 상기 자율기계를 상위레벨 제어모드 및 하위레벨 제어모드를 포함하는 레벨제어모드 중 어느 하나의 제어모드로 제어하기 위한 제어유닛을 포함할 수 있다.

상기 상위레벨 제어모드는 상기 자율기계가 사용자로부터 입력되는 의사결정정보를 바탕으로 제어되는 제2 운전모드를 포함하며, 상기 하위레벨 제어모드는 상기 자율기계가 상기 모션인식유닛에서 인식되는 사용자의 모션에 대응되면서 제어되는 제3 운전모드를 포함할 수 있다.

상기 상위레벨 제어모드는 상기 자율기계가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 더 포함할 수 있다.

상기 의사결정정보는 상기 자율기계로부터 전송되는 의사결정 문의정보를 바탕으로 사용자에 의하여 생성된 후 상기 제어유닛으로 입력되고, 상기 의사결정 문의정보는 상기 혼합현실화면상에 의사결정 오브젝트로 표시될 수 있다.

상기 모션인식유닛은 상기 자율기계의 주행을 제어하기 위하여 사용자의 하부모션을 인식하는 하부모션 인식유닛과, 상기 자율기계의 작업을 제어하기 위하여 사용자의 상부모션을 인식하는 상부모션 인식유닛을 포함할 수 있다.

상기 제3 운전모드는 상기 사용자의 하부모션과 대응되는 제3 주행모드와, 상기 사용자의 상부모션과 대응되는 제3 작업모드를 포함할 수 있다.

상기 자율기계 제어플랫폼은 상기 제어유닛에서 생성되는 제어명령을 상기 자율기계로 전송하기 위한 통신유닛을 더 포함할 수 있다.

한편, 상기 자율기계는 작업환경상에서 작업을 수행하기 위한 엔드이펙터를 갖는 자율기계 본체와, 상기 자율기계 본체 상에 배치되어 상기 센싱데이터 및 영상데이터를 획득하기 위한 현장정보 획득유닛과, 상기 자율기계 본체의 하부에 배치되어 주행을 수행하는 주행유닛과, 상기 자율기계 본체 상에 배치되어 상기 통신유닛과 통신하기 위한 자율기계측 통신유닛과, 상기 자율기계 본체, 상기 현장정보 획득유닛, 상기 주행유닛 및 상기 자율기계측 통신유닛을 제어하기 위한 자율기계측 제어유닛을 포함할 수 있다.

본 발명의 다른 실시 형태에 의하면, 본 발명은 상술한 자율기계시스템을 제어하는 자율기계시스템 제어방법에 있어서, 상기 제어유닛이 사용자로부터 입력되는 레벨제어정보를 바탕으로 상기 상위레벨 제어모드 또는 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계; 상기 자율기계가 상기 통신유닛으로부터 상기 운전시작 제어명령을 전달받고 상기 현장정보를 획득하는 현장정보 획득단계; 상기 제어유닛이 상기 혼합현실화면을 상기 스크린유닛상에 표시하는 혼합현실정보 표시단계; 상기 제어명령 생성단계에서 상기 상위레벨 제어모드에 대한 운전시작제어명령이 생성되는 경우 상기 자율기계가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 수행하는 단계; 상기 제어유닛이 상기 제1 운전모드 중 사용자로부터 입력되는 의사결정정보를 바탕으로 의사결정 제어명령을 생성하는 의사결정단계; 그리고, 상기 자율기계가 상기 통신유닛으로부터 상기 의사결정 제어명령을 전달받고 상기 제2 운전모드를 수행하는 단계를 포함하는 자율기계시스템 제어방법을 제공한다.

상기 자율기계시스템 제어방법은 상기 스크린유닛이 상기 자율기계로부터 전송되는 의사결정 문의정보를 상기 스크린유닛상에 표시하는 의사결정 문의정보 표시단계를 더 포함할 수 있다.

본 발명의 또 다른 실시 형태에 의하면, 본 발명은 자율기계시스템을 제어하는 자율기계시스템의 제어방법에 있어서, 상기 제어유닛이 사용자로부터 입력되는 레벨제어정보를 바탕으로 상기 상위레벨 제어모드 또는 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계; 상기 자율기계가 상기 통신유닛으로부터 상기 운전시작 제어명령을 전달받고 상기 현장정보를 획득하는 현장정보 획득단계; 상기 제어유닛이 상기 혼합현실화면을 상기 스크린유닛상에 표시하는 혼합현실정보 표시단계; 그리고, 상기 제어명령 생성단계에서 상기 하위레벨 제어모드에 대한 운전시작제어명령이 생성되는 경우 상기 자율기계가 상기 제3 운전모드를 수행하는 단계를 포함하는 자율기계시스템 제어방법을 제공한다.

상기 자율기계시스템 제어방법은 상기 제어유닛이 사용자로부터 입력되는 레벨제어 변환정보를 바탕으로 상기 하위레벨 제어모드에서 상기 상위레벨 제어모드로 변환하거나, 상기 상위레벨 제어모드에서 상기 하위레벨 제어모드로 변환하는 레벨제어 변환명령을 생성하는 레벨제어 변환단계를 더 포함할 수 있다.

본 발명에 따른 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법은 다음과 같은 효과가 있다.

첫째, 자율기계를 제어함에 있어서 사용자의 의사결정이 필요한 상위레벨 제어모드와, 사용자의 의사결정이 필요없는 하위레벨 제어모드로 구분하여 제어함으로써 자율기계를 보다 효율적으로 제어할 수 있는 이점이 있다.

둘째, 몰입환경의 혼합현실을 이용하여 자율기계를 제어함으로써 사용자가 작업현장에서 떨어진 원격지에 있는 경우라도 현장감 있게 자율기계를 제어할 수 있는 이점이 있다.

셋째, 사용자의 하부모션을 인식하여 자율기계의 주행모드를 제어하고, 사용자의 상부모션을 인식하여 자율기계의 작업모드를 제어함으로써 자율기계의 동작을 효율적으로 제어할 수 있는 이점이 있다.

도 1은 본 발명에 따른 자율기계시스템의 일 실시 예를 나타낸 도면이다.
도 2는 도 1의 자율기계시스템에 구비된 자율기계와 자율기계 제어플랫폼의 세부구성에 대한 블럭도이다.
도 3은 본 발명에 따른 자율기계시스템 제어방법의 일 실시 예를 나타낸 도면이다.
도 4는 본 발명에 따른 자율기계시스템 제어방법의 다른 실시 예를 나타낸 도면이다.

이하, 상술한 해결하고자 하는 과제가 구체적으로 실현될 수 있는 본 발명의 바람직한 실시 예들이 첨부된 도면을 참조하여 설명된다. 본 실시 예들을 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 하기에서 생략된다.

도 1은 본 발명에 따른 자율기계시스템의 일 실시 예를 나타낸 도면이고, ㄷ도 2는 상기 자율기계시스템에 구비된 자율기계와 자율기계 제어플랫폼의 세부구성에 대한 블럭도이다.

도 1 및 도 2를 참조하여, 본 발명에 따른 자율기계시스템의 일 실시 예를 설명하면 다음과 같다.

상기 자율기계시스템은 작업현장(10)에 배치되는 자율기계(200)와, 상기 자율기계(200)로부터 일정거리 떨어진 원격지에 설치되어 상기 자율기계(200)를 제어하는 자율기계 제어플랫폼(100)을 포함한다.

상기 자율기계 제어플랫폼(100)은 스크린유닛(140), 상부모션 인식유닛(120) 및 하부모션 인식유닛(110)을 갖는 모션인식유닛(130), 제어유닛(150), 통신유닛(160), 전원유닛(170) 및 저장유닛(180)을 포함한다.

상기 스크린유닛(140)은 상기 모션인식유닛(130)과 이웃하게 배치되어 혼합현실화면을 표시하게 된다.

구체적으로, 상기 스크린유닛(140)은 상기 하부모션 인식유닛(110)의 둘레를 감싸면서 일정높이로 배치되어 상기 하부모션 인식유닛(110)상에 위치하는 사용자에게 몰입환경을 제공하게 된다.

상기 혼합현실화면은 상기 자율기계(200)로부터 전송되는 영상데이터 및 센싱데이터를 포함하는 현장정보와 상기 자율기계(200)를 제어하기 위한 가상정보가 혼합된 혼합현실정보가 화면으로 표시된 것일 수 있다.

여기서, 상기 영상데이터 및 센싱데이터는 상기 자율기계의 현장정보 획득유닛(240)에 의하여 획득된 작업현장에 관한 데이터이다.

구체적으로, 상기 영상데이터는 상기 현장정보 획득유닛(240)의 카메라에 의하여 획득된 영상정보이고, 상기 센싱데이터는 상기 현장정보 획득유닛(240)의 센서에 의하여 획득된 데이터정보이다.

상기 가상정보는 상기 현장정보를 바탕으로 가공된 정보이거나, 미리 상기 저장유닛에 저장되어 있는 정보를 포함할 수 있다.

상기 혼합현실화면은 상기 영상데이터를 바탕으로 하는 원격지의 작업현장 영상과, 상기 센싱데이터를 바탕으로 상기 작업현장 영상에 혼합되는 데이터 오브젝트(Data Object)와, 상기 가상정보를 바탕으로 상기 작업현장 영상에 혼합되는 가상 오브젝트(Virtual Object)를 포함한다.

상기 데이터 오브젝트는 상기 센싱데이터 또는 상기 센싱데이터를 바탕으로 가공된 데이터가 텍스트 형태 또는 이미지 형태로 구현되어 상기 작업현장 영상과 혼합된다.

마찬가지로, 상기 가상 오브젝트도 텍스트 형태 또는 이미지 형태로 구현되어 상기 작업현장 영상과 혼합된다. 일례로, 상기 가상 오브젝트는 혼합현실화면상에서 작업현장의 길을 안내하는 안내표지판의 형태로 구현될 수 있을 것이다.

결과적으로, 몰입환경의 혼합현실을 이용하여 자율기계를 제어함으로써 사용자가 작업현장에서 떨어진 원격지에 있는 경우라도 현장감 있게 자율기계를 제어할 수 있게 된다.

상기 모션인식유닛(130)은 상기 스크린유닛(140)과 이웃하게 배치되어 사용자의 모션을 인식하게 된다.

구체적으로, 상기 모션인식유닛(130)은 상기 자율기계(200)의 주행을 제어하기 위하여 사용자의 하부모션을 인식하는 상기 하부모션 인식유닛(110)과, 상기 자율기계(200)의 작업을 제어하기 위하여 사용자의 상부모션을 인식하는 상부모션 인식유닛(120)을 포함한다.

상기 하부모션 인식유닛(110)은 사용자가 360°보행이 가능한 트레드밀(Treadmill) 또는 모션플레이트의 형태로 제공될 수 있다.

상기 상부모션 인식유닛(120)은 상기 스크린유닛(140)의 상부에 설치되는 카메라 형태로 구비될 수 있다. 물론, 본 발명은 이에 한정되지 않고, 상기 상부모션 인식유닛(120)은 사용자의 몸에 착용되는 착용형 센서형태로 구비될 수도 있을 것이다.

결과적으로, 본 발명은 사용자의 하부모션을 인식하여 자율기계의 주행모드를 제어하고, 사용자의 상부모션을 인식하여 자율기계의 작업모드를 제어함으로써 자율기계의 동작을 효율적으로 제어할 수 있는 장점을 가지게 된다.

상기 통신유닛(160)은 상기 제어유닛(150)에서 생성되는 제어명령을 상기 자율기계(200)로 전송하고, 상기 자율기계(200)가 송신하는 정보를 수신하게 된다.

상기 저장유닛(180)에는 상기 자율기계(200)가 송신하는 현장정보, 자율기계를 제어하기 위한 운전정보 및 가상정보 등이 저장될 수 있다.

상기 전원유닛(170)은 상기 제어유닛(150), 상기 스크린유닛(140), 상기 저장유닛(180), 상기 모션인식유닛(130) 및 상기 통신유닛(160)과 연결되어 전원을 공급하게 된다.

한편, 상기 제어유닛(150)은 상기 자율기계(200)를 상위레벨 제어모드 및 하위레벨 제어모드를 포함하는 레벨제어모드 중 어느 하나의 제어모드로 제어할 수 있다.

상기 상위레벨 제어모드는 상기 자율기계(200)가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드와, 상기 자율기계(200)가 사용자로부터 입력되는 의사결정정보를 바탕으로 제어되는 제2 운전모드를 포함한다.

상기 제1 운전모드는 자율기계가 스스로 판단하여 자율적으로 운전되되, 주행을 위한 제1 주행모드와, 작업현장에서 작업을 위한 제1 작업모드를 포함할 수 있다.

또한, 상기 제2 운전모드는 사용자의 의사결정정보를 바탕으로 수행되되, 주행을 위한 제2 주행모드와, 작업현장에서의 작업을 위한 제2 작업모드를 포함할 수 있다.

상기 의사결정정보는 상기 자율기계로부터 전송되는 의사결정 문의정보를 바탕으로 사용자에 의하여 생성된 후 상기 제어유닛(150)으로 입력되고, 상기 의사결정 문의정보는 상기 혼합현실화면상에 하나의 의사결정 오브젝트로 표시될 수 있다.

구체적으로, 자율기계(200)는 스스로 상기 제1 운전모드를 진행하다가 사용자의 의사결정이 필요하다고 판단하는 경우에는 상기 의사결정 문의정보를 상기 자율기계 제어플랫폼(100)으로 송신하게 된다.

그러면, 상기 제어유닛(150)은 상기 의사결정 문의정보를 바탕으로 상기 의사결정 오브젝트를 상기 혼합현실화면상에 표시하게 된다. 상기 의사결정 오브젝트는 텍스트 형태일 수도 있고, 이미지 형태일 수도 있을 것이다.

그러면, 사용자는 상기 의사결정 오브젝트를 선택하기 위한 의사결정정보, 예를 들면 미리 설정된 입력모션을 생성하게 된다. 이때, 상기 모션인식유닛(130)이 상기 입력모션을 인식함에 따라 상기 제어유닛(150)은 상기 혼합현실화면상에 나타난 의사결정 오브젝트를 선택하게 된다.

상기 의사결정 오브젝트가 선택되면, 사용자는 음성 또는 의사결정모션을 통하여 의사결정을 하게 되고, 상기 제어유닛(150)은 사용자의 음성 또는 의사결정모션을 바탕으로 생성된 의사결정 제어명령을 상기 자율기계(200)로 전송하게 된다. 그러면, 상기 자율기계(200)는 상기 제2 운전모드로 운전하게 된다.

물론, 본 발명은 상술한 실시 예에 한정되지 않고, 상기 의사결정 오브젝트가 선택되면, 상기 의사결정 오브젝트의 하위 오브젝트들이 상기 혼합현실화면상에 표시될 수 있다. 이때, 사용자는 상기 하위 오브젝트들 중에서 상기 제2 작업모드로 수행될 특정 하위 오브젝트를 선택하기 위하여 하위 입력모션을 생성하게 된다.

그러면, 상기 모션인식유닛(130)이 상기 하위 입력모션을 인식함에 따라 상기 제어유닛(150)은 상기 혼합현실화면상에 나타난 특정 하위 오브젝트를 선택하게 된다.

특정 하위 오브젝트가 선택되면, 상기 제어유닛은 상기 특정 하위 오브젝트와 대응되는 제2 운전모드에 대한 의사결정 제어명령을 생성하게 되고, 상기 자율기계(200)는 해당 제2 운전모드를 수행하게 된다.

상기 제2 운전모드의 일례로, 상기 제2 운전모드는 사용자의 하부모션과 대응되는 제2 주행모드와, 사용자의 상부모션과 대응되는 제2 작업모드를 포함할 수 있다.

상기 하위레벨 제어모드는 상기 자율기계(200)가 상기 모션인식유닛(130)에서 인식되는 사용자의 모션에 대응되면서 제어되는 제3 운전모드를 포함한다.

상기 제3 운전모드는 상기 사용자의 하부모션과 대응되는 제3 주행모드와, 상기 사용자의 상부모션과 대응되는 제3 작업모드를 포함할 수 있다. 즉, 상기 제3 운전모드는 사용자의 모션을 그대로 트래킹(tracking)하는 형태의 운전모드일 수 있다.

한편, 상기 자율기계(200)는 자율기계 본체(210), 주행유닛(220), 현장정보 획득유닛(240), 자율기계측 제어유닛(250), 자율기계측 통신유닛(260), 자율기계측 전원유닛(270) 및 자율기계측 저장유닛(280)을 포함한다.

상기 자율기계 본체(210)는 작업환경상에서 작업을 수행하기 위한 엔드이펙터(미도시)를 가진다.

상기 현장정보 획득유닛(240)은 상기 자율기계 본체(210) 상에 배치되어 상기 센싱데이터 및 영상데이터를 획득하게 된다.

상기 현장정보 획득유닛(240)은 상기 영상데이터를 획득하기 위한 케메라와, 상기 센싱데이터를 획득하기 위한 다양한 센서들을 포함한다. 상기 센서는 초음파센서, 레이저센서 및 레이더 등을 포함할 수 있다.

상기 주행유닛(220)은 상기 자율기계 본체(210)의 하부에 배치되어 주행을 수행하게 된다.

상기 자율기계측 통신유닛(260)은 상기 자율기계 본체(210) 상에 배치되어 상기 통신유닛(160)과 통신하게 된다.

상기 자율기계측 제어유닛(250)은 상기 자율기계 본체(210), 상기 현장정보 획득유닛(240), 상기 주행유닛(220), 상기 자율기계측 통신유닛(260)을 제어하게 된다.

상기 자율기계측 저장유닛(280)에는 상기 자율기계의 운전을 제어하기 위한 운전제어정보, 상기 현장정보 획득유닛(240)에서 획득되는 현장정보 등이 저장된다.

상기 자율기계측 전원유닛(270)은 상기 자율기계측 제어유닛(250), 상기 자율기계 본체(210), 상기 현장정보 획득유닛(240), 상기 주행유닛(220), 상기 자율기계측 통신유닛(260) 및 자율기계측 저장유닛(280)과 연결되어 전원을 공급하게 된다.

도 2 및 도 3을 참조하여, 발명에 따른 자율기계시스템 제어방법의 일 실시 예를 설명하면 다음과 같다. 도 3에 도시된 자율기계시스템의 제어방법은 자율기계 제어플랫폼의 제어유닛이 상위레벨 제어모드로 자율기계를 제어하는 과정을 나타낸 것이다.

먼저, 사용자는 레벨제어정보를 생성하게 되고, 상기 레벨제어정보가 상위레벨 제어모드와 대응되는 경우에 제어유닛(150)이 상위레벨 제어모드를 수행하게 된다.

즉, 상기 제어유닛(150)이 상위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계가 수행된다(S110).

여기서, 레벨제어정보는 사용자의 모션을 통하여 생성되고, 모션인식유닛(130)이 사용자의 모션을 인식함으로써 상기 제어유닛(150)으로 전달될 수 있다.

다음으로, 상기 운전시작 제어명령은 상기 자율기계 제어플랫폼(100)에서 상기 자율기계(200)로 전송된다.

다음으로, 자율기계측 제어유닛(250)은 상기 운전시작 제어명령을 바탕으로 자율기계(200)의 운전을 시작하게 된다(S120).

상기 자율기계(200)의 운전이 시작됨과 동시에 현장정보 획득유닛(240)은 작업현장의 현장정보를 획득하게 된다(S130).

또한, 상기 자율기계(200)의 운전이 시작됨과 동시에 상기 자율기계측 제어유닛(250)은 상기 운전시작 제어명령에 따른 제1 운전모드를 수행하게 된다(S150).

즉, 상기 자율기계(200)는 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 수행하게 된다.

동시에, 상기 자율기계(200)는 상기 현장정보 획득유닛(240)에서 획득된 현장정보를 상기 자율기계 제어플랫폼(100)으로 전송하게 된다.

그러면, 상기 제어유닛(150)은 상기 자율기계(200)로부터 전송된 상기 현장정보와, 상기 현장정보 및 기설정된 설정정보를 바탕으로 하는 상기 가상정보를 혼합한 혼합현실정보를 혼합하게 된다.

다음으로, 상기 스크린유닛(140)은 상기 혼합현실정보를 상기 스크린유닛(140)상에 혼합현실화면으로 표시하게 된다(S140).

다음으로, 상기 자율기계측 제어유닛(250)은 상기 제1 운전모드를 수행하는 동안 사용자의 의사결정이 필요하다고 판단되면, 사용자의 의사결정을 문의하는 의사결정 문의정보를 생성하게 된다.

상기 자율기계(200)는 상기 의사결정 문의정보를 상기 자율기계 제어플랫폼(100)으로 전송하게 된다(S160).

다음으로, 상기 스크린유닛(140)은 상기 자율기계로부터 전송되는 의사결정 문의정보를 상기 스크린유닛(140)상에 표시하게 된다.

다음으로, 사용자는 상기 의사결정 문의정보에 대응되는 의사결정정보를 생성하게 된다. 그러면, 상기 제어유닛(150)이 상기 의사결정정보를 바탕으로 의사결정 제어명령을 생성하게 된다(S170).

다음으로, 상기 자율기계(200)는 자율기계 제어플랫폼, 즉 상기 통신유닛(160)으로부터 상기 의사결정 제어명령을 전달받고 상기 제2 운전모드를 수행하게 된다(S180).

물론, 본 발명은 이에 한정되지 않고, 사용자의 의사결정정보는 상기 의사결정 문의정보를 바탕으로 하지 않고 생성될 수도 있을 것이다.

예를 들면, 상기 자율기계는 의사결정 문의정보를 생성하지 않고, 사용자가 혼합현실화면을 모니터링하면서 의사결정이 필요하다고 판단되면, 의사결정정보를 생성할 수 있다.

결과적으로, 자율기계가 사용자의 의사결정이 필요한 상위레벨 제어모드와, 사용자의 의사결정이 필요없는 하위레벨 제어모드로 구분되어 제어됨으로써 사용자의 자율기계 제어방법이 편리하게 된다.

도 2 및 도 4를 참조하여, 발명에 따른 자율기계시스템 제어방법의 다른 실시 예를 설명하면 다음과 같다. 도 4에 도시된 자율기계시스템의 제어방법은 자율기계 제어플랫폼의 제어유닛이 하위레벨 제어모드로 자율기계를 제어하는 과정을 나타낸 것이다.

먼저, 사용자는 레벨제어정보를 생성하게 되고, 상기 레벨제어정보가 하위레벨 제어모드와 대응되는 경우에 제어유닛(150)이 하위레벨 제어모드를 수행하게 된다.

즉, 상기 제어유닛(150)이 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계가 수행된다(S210).

다음으로, 상기 운전시작 제어명령은 상기 자율기계 제어플랫폼(100)에서 상기 자율기계(200)로 전송된다.

다음으로, 자율기계측 제어유닛(250)은 상기 운전시작 제어명령을 바탕으로 자율기계(200)의 운전을 시작하게 된다(S220).

상기 자율기계(200)의 운전이 시작됨과 동시에 현장정보 획득유닛(240)은 작업현장의 현장정보를 획득하게 된다(S230).

상기 자율기계(200)는 상기 현장정보 획득유닛(240)에서 획득된 현장정보를 상기 자율기계 제어플랫폼(100)으로 전송하게 된다.

그러면, 상기 제어유닛(150)은 상기 자율기계(200)로부터 전송된 상기 현장정보와, 상기 현장정보 및 기설정된 설정정보를 바탕으로 하는 상기 가상정보를 혼합한 혼합현실정보를 혼합하게 된다.

다음으로, 상기 스크린유닛(140)은 상기 혼합현실정보를 상기 스크린유닛(140)상에 혼합현실화면으로 표시하게 된다(S240).

동시에, 상부모션 인식유닛(120) 및 하부모션 인식유닛(110)은 사용자의 모션을 인식하게 된다(S250).

상기 자율기계 제어플랫폼(100)이 인식된 사용자의 모션을 상기 자율기계(200)로 전송하게 되면, 상기 자율기계(200)는 제3 운전모드를 수행하게 된다(S260).

즉, 상기 자율기계(200)는 상기 사용자의 하부모션과 대응되는 제3 주행모드와, 상기 사용자의 상부모션과 대응되는 제3 작업모드를 수행하게 된다.

다음으로, 상기 제어유닛(150)이 사용자로부터 입력되는 레벨제어 변환정보를 바탕으로 상기 하위레벨 제어모드에서 상기 상위레벨 제어모드로 변환하는 레벨제어 변환명령을 생성하는 레벨제어 변환단계가 수행될 수 있다(S280).

상기 레벨제어 변환단계가 수행되면, 상기 제3 운전모드는 중지되고, 상기 제1 운전모드가 수행된다(S290).

물론, 본 발명은 이에 한정되지 않고, 상기 레벨제어 변환단계는 상기 제어유닛(150)이 상위레벨 제어모드를 수행하는 과정에서 하위레벨 제어모드로 변환하는 과정에도 적용될 수 있다.

이상 설명한 바와 같이, 본 발명은 상술한 특정한 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형의 실시가 가능하고 이러한 변형은 본 발명의 범위에 속한다.

10: 작업현장 100: 자율기계 제어플랫폼
110: 하부모션 인식유닛 120: 상부모션 인식유닛
130: 모션인식유닛 140: 스크린유닛
150: 제어유닛 160: 통신유닛
170: 전원유닛 180: 저장유닛
200: 자율기계 210: 자율기계 본체
220: 주행유닛 240: 현장정보 획득유닛
250: 자율기계측 제어유닛 260: 자율기계측 통신유닛
270: 자율기계측 전원유닛 280: 자율기계측 저장유닛

Claims (10)

1. 작업현장에 배치되는 자율기계; 그리고,
   상기 자율기계로부터 일정거리 떨어진 원격지에 설치되어 상기 자율기계를 제어하는 자율기계 제어플랫폼을 포함하며,
   상기 자율기계 제어플랫폼은 상기 자율기계로부터 전송되는 영상데이터 및 센싱데이터를 포함하는 현장정보와 상기 자율기계를 제어하기 위한 가상정보가 혼합된 혼합현실정보를 혼합현실화면으로 표시하는 스크린유닛과,
   상기 스크린유닛과 이웃하게 배치되어 사용자의 모션을 인식하는 모션인식유닛과,
   상기 자율기계를 상위레벨 제어모드 및 하위레벨 제어모드를 포함하는 레벨제어모드 중 어느 하나의 제어모드로 제어하기 위한 제어유닛과,
   상기 제어유닛에서 생성되는 제어명령을 상기 자율기계로 전송하기 위한 통신유닛을 포함하고,
   상기 상위레벨 제어모드는 상기 자율기계가 사용자로부터 입력되는 의사결정정보를 바탕으로 제어되는 제2 운전모드를 포함하며, 상기 하위레벨 제어모드는 상기 자율기계가 상기 모션인식유닛에서 인식되는 사용자의 모션에 대응되면서 제어되는 제3 운전모드를 포함하고,
   상기 자율기계는 작업환경상에서 작업을 수행하기 위한 엔드이펙터를 갖는 자율기계 본체와,
   상기 자율기계 본체 상에 배치되어 상기 센싱데이터 및 영상데이터를 획득하기 위한 현장정보 획득유닛과,
   상기 자율기계 본체의 하부에 배치되어 주행을 수행하는 주행유닛과,
   상기 자율기계 본체 상에 배치되어 상기 통신유닛과 통신하기 위한 자율기계측 통신유닛과,
   상기 자율기계 본체, 상기 현장정보 획득유닛, 상기 주행유닛 및 상기 자율기계측 통신유닛을 제어하기 위한 자율기계측 제어유닛을 포함하고,
   상기 제어유닛은
   사용자의 모션을 통하여 생성되고 상기 모션인식유닛이 사용자의 모션을 인식함으로써 전달되어 입력되는 레벨제어정보를 바탕으로 상기 상위레벨 제어모드 또는 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하고,
   상기 자율기계는 상기 통신유닛으로부터 상기 운전시작 제어명령을 전달받고 상기 현장정보를 획득하고,
   상기 제어유닛은 상기 혼합현실화면을 상기 스크린유닛상에 표시하고,
   상기 제어유닛에 의해 상기 상위레벨 제어모드에 대한 운전시작 제어명령이 생성되는 경우 상기 자율기계는 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 수행하고, 상기 제어유닛은 상기 제1 운전모드 중 사용자로부터 입력되는 의사결정정보를 바탕으로 의사결정 제어명령을 생성하며, 상기 자율기계는 상기 통신유닛으로부터 상기 의사결정 제어명령을 전달받고 상기 제2 운전모드를 수행하고,
   상기 제어유닛에 의해 상기 하위레벨 제어모드에 대한 운전시작 제어명령이 생성되는 경우 상기 자율기계는 상기 제3 운전모드를 수행하며,
   상기 제어유닛은 사용자로부터 입력되는 레벨제어 변환정보를 바탕으로 상기 하위레벨 제어모드에서 상기 상위레벨 제어모드로 변환하거나, 상기 상위레벨 제어모드에서 상기 하위레벨 제어모드로 변환하는 레벨제어 변환명령을 생성하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.
2. 제1항에 있어서,
   상기 상위레벨 제어모드는 상기 자율기계가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 더 포함하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.
3. 제1항에 있어서,
   상기 의사결정정보는 상기 자율기계로부터 전송되는 의사결정 문의정보를 바탕으로 사용자에 의하여 생성된 후 상기 제어유닛으로 입력되고, 상기 의사결정 문의정보는 상기 혼합현실화면상에 의사결정 오브젝트로 표시되는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.
4. 제1항에 있어서,
   상기 모션인식유닛은 상기 자율기계의 주행을 제어하기 위하여 사용자의 하부모션을 인식하는 하부모션 인식유닛과, 상기 자율기계의 작업을 제어하기 위하여 사용자의 상부모션을 인식하는 상부모션 인식유닛을 포함하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.
5. 제4항에 있어서,
   상기 제3 운전모드는 상기 사용자의 하부모션과 대응되는 제3 주행모드와, 상기 사용자의 상부모션과 대응되는 제3 작업모드를 포함하는 것을 특징으로 하는 혼합현실을 이용한 자율기계시스템.
6. 삭제
7. 제1항에 따른 자율기계시스템을 제어하는 자율기계시스템 제어방법에 있어서,
   상기 제어유닛이 사용자로부터 입력되는 레벨제어정보를 바탕으로 상기 상위레벨 제어모드 또는 하위레벨 제어모드에 대한 운전시작 제어명령을 생성하는 제어명령 생성단계;
   상기 자율기계가 상기 통신유닛으로부터 상기 운전시작 제어명령을 전달받고 상기 현장정보를 획득하는 현장정보 획득단계; 그리고
   상기 제어유닛이 상기 혼합현실화면을 상기 스크린유닛상에 표시하는 혼합현실정보 표시단계를 포함하고,
   상기 제어명령 생성단계에서 상기 상위레벨 제어모드에 대한 운전시작제어명령이 생성되는 경우 상기 자율기계가 기설정된 운전정보 및 상기 현장정보를 바탕으로 자율적으로 운전되는 제1 운전모드를 수행하는 단계;
   상기 제어유닛이 상기 제1 운전모드 중 사용자로부터 입력되는 의사결정정보를 바탕으로 의사결정 제어명령을 생성하는 의사결정단계; 그리고
   상기 자율기계가 상기 통신유닛으로부터 상기 의사결정 제어명령을 전달받고 상기 제2 운전모드를 수행하는 단계를 더 포함하고,
   상기 제어명령 생성단계에서 상기 하위레벨 제어모드에 대한 운전시작제어명령이 생성되는 경우 상기 자율기계가 상기 제3 운전모드를 수행하는 단계를 더 포함하는 것을 특징으로 하는 자율기계시스템 제어방법.
8. 제7항에 있어서,
   상기 스크린유닛이 상기 자율기계로부터 전송되는 의사결정 문의정보를 상기 스크린유닛상에 표시하는 의사결정 문의정보 표시단계를 더 포함하는 것을 특징으로 하는 자율기계시스템 제어방법.
9. 삭제
10. 삭제

Images