KR20200020295A - 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법 - Google Patents

로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20200020295A
KR20200020295A KR1020180095823A KR20180095823A KR20200020295A KR 20200020295 A KR20200020295 A KR 20200020295A KR 1020180095823 A KR1020180095823 A KR 1020180095823A KR 20180095823 A KR20180095823 A KR 20180095823A KR 20200020295 A KR20200020295 A KR 20200020295A
Authority
KR
South Korea
Prior art keywords
robot
augmented reality
information
image
reality service
Prior art date
Application number
KR1020180095823A
Other languages
English (en)
Other versions
KR102190743B1 (ko
Inventor
송용남
김관수
이재권
Original Assignee
주식회사 트레셋
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 트레셋 filed Critical 주식회사 트레셋
Priority to KR1020180095823A priority Critical patent/KR102190743B1/ko
Publication of KR20200020295A publication Critical patent/KR20200020295A/ko
Application granted granted Critical
Publication of KR102190743B1 publication Critical patent/KR102190743B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 로봇과 인터랙션할 수 있는 증강현실 서비스를 제공하는 것에 관한 것으로, 로봇과 모바일 장치에서 각각 획득한 위치 및 방향 정보를 기초로 편리하게 증강현실을 구현하고, 로봇을 조종할 수 있는 증강현실 콘텐츠를 사용자에게 제공하기 위한 것이다. 본 개시의 일 실시 예에 따른 로봇과 인터랙션하는 증강현실 서비스 제공 장치는 로봇과 통신하는 통신부, 영상을 촬영하는 카메라, 영상을 표시하는 디스플레이부 및 카메라에서 촬영된 영상으로부터 로봇의 위치정보를 추출하고, 통신부를 통해 로봇이 획득한 방향정보가 수신되면, 추출된 위치정보와 수신된 방향정보를 기초로 로봇의 위치 및 자세에 관한 공간정보를 생성하고, 생성된 공간정보를 이용하여 로봇을 추적하고 가상 오브젝트가 표시될 위치를 결정하며 로봇이 이동할 수 없는 제한구역을 설정하고, 촬영된 영상에 가상 오브젝트를 합성한 증강현실 영상을 표시하도록 디스플레이부를 제어하는 프로세서를 포함한다.

Description

로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법{AUGMENTED REALITY SERVICE PROVIDING APPARATUS INTERACTING WITH ROBOT and METHOD OF THEREOF}
본 개시는 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법에 관한 것으로, 더욱 상세하게는 로봇과 모바일 장치에서 각각 획득된 정보를 융합하여 증강현실을 구현하고, 구현된 증강현실 화면 내에서 로봇을 제어할 수 있는 증강현실 서비스 제공 장치 및 방법에 관한 것이다.
증강현실(Augmented Reality, AR)은 현실에 가상의 영상정보를 합성하여 제공하는 기술이다. 증강현실과 함께 자주 언급되는 가상현실(Virtual Reality, VR)과의 차별화되는 증강현실만의 특징으로는 현실의 이미지와 가상의 이미지가 결합된 것이라는 점, 실시간으로 인터랙션이 가능하다는 점, 3차원의 공간 안에 놓여있다는 점을 들 수 있다. 증강현실 기술을 이용하면 사용자가 실제로 보는 현실에 사용자에게 도움이 되는 가상의 객체나 정보를 증강시킬 수 있기 때문에, 엔터테인먼트, 교육, 원격의료, 방송, 건축, 설계, 제조공정 등 다양한 산업분야에서 증강현실을 이용한 서비스에 대한 수요가 증가하고 있다.
증강현실에서는 정확한 위치에 가상의 이미지를 배치해야 하기 때문에, 실제 물체 등의 위치정보 획득이 중요하다. 위치정보를 획득하는 방식을 기준으로 증강현실 기술은 크게 마커 방식과 마커리스 방식으로 분류할 수 있다. 마커 방식은 기준 좌표 역할을 하는 마커를 미리 실제 물체에 부착하고, 인식된 마커를 기준점으로 위치 정보를 획득하는 방식이다. 마커 방식은 미리 마커를 제작하고 부착하여야 한다는 점에서 번거롭고, 마커를 부착하지 않고는 증강현실을 구현할 수 없다는 문제가 있다. 그 밖에 모션캡쳐 장비, 라이다(lidar) 장비 등을 사용하여 마커 없이 증강현실을 구현할 수도 있으나, 고가의 장비를 활용하는 것이어서 일반적으로 사용되기에 무리가 있다. 또한, 비컨(beacon)을 활용한 마커리스 방식은 통신 속도가 느려 고속의 RTS(Real Time System)에서는 사용이 어렵다는 문제가 있다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 증강현실 영상을 제공하는 장치와 영상 속에 실재하는 로봇에서 각각 획득한 정보를 융합하여 마커리스 방식의 증강현실을 구현하며, 증강현실 화면 상에서 로봇 조종 콘텐츠를 제공할 수 있는 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법을 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 로봇과 인터랙션하는 증강현실 서비스 제공 장치는 상기 로봇과 통신하는 통신부, 영상을 촬영하는 카메라, 영상을 표시하는 디스플레이부 및 상기 카메라에서 촬영된 영상으로부터 상기 로봇의 위치정보를 추출하고, 상기 통신부를 통해 상기 로봇이 획득한 방향정보가 수신되면, 상기 추출된 위치정보와 상기 수신된 방향정보를 기초로 상기 로봇의 위치 및 자세에 관한 공간정보를 생성하고, 상기 생성된 공간정보를 이용하여 상기 로봇을 추적하고 가상 오브젝트가 표시될 위치를 결정하며 상기 로봇이 이동할 수 없는 제한구역을 설정하고, 상기 촬영된 영상에 상기 가상 오브젝트를 합성한 증강현실 영상을 표시하도록 상기 디스플레이부를 제어하는 프로세서를 포함할 수 있다.
그리고 상기 추출된 위치정보는 상기 로봇의 2차원 좌표 정보를 나타내는 스칼라 값이고, 상기 수신된 방향정보는 상기 로봇의 요(yaw) 방향 정보를 나타내는 벡터 값이며, 상기 로봇에 부착된 관성측정부를 통해 획득된 것일 수 있다.
또한, 상기 로봇의 동작을 제어하는 사용자 명령을 입력받는 사용자 인터페이스부를 더 포함하고, 상기 프로세서는 상기 사용자 인터페이스부를 통해 입력된 사용자 명령과 대응되는 제어신호를 상기 로봇에 전송하도록 상기 통신부를 제어할 수 있다.
그리고 상기 프로세서는 상기 로봇을 상기 설정된 제한구역 안으로 이동하는 사용자 명령이 입력되면, 상기 설정된 제한구역의 경계까지 이동한 후 이동을 중단하도록 하는 제어신호를 상기 로봇에 전송하도록 상기 통신부를 제어할 수 있다.
또한, 알림 신호를 피드백하는 출력부를 더 포함하고, 상기 프로세서는 상기 가상 오브젝트가 각각 기설정된 알고리즘에 따라 이동하도록 제어하고, 상기 로봇의 위치가 상기 가상 오브젝트의 위치와 중첩되면 알림 신호를 제공할 수 있다.
그리고 상기 프로세서는 상기 통신부를 통해 상기 로봇에 부착된 센서를 통해 획득된 지형정보가 수신되면, 상기 수신된 지형정보를 기초로 상기 제한구역을 갱신할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 로봇과 인터랙션하는 증강현실 서비스 제공 방법은 로봇이 포함된 영상을 촬영하고 상기 촬영된 영상으로부터 상기 로봇의 위치정보를 추출하는 단계, 상기 로봇이 획득한 방향정보를 수신하는 단계, 상기 추출된 위치정보와 상기 획득된 방향정보를 기초로 상기 로봇의 위치 및 자세에 관한 공간정보를 생성하는 단계, 상기 생성된 공간정보를 이용하여 상기 로봇을 추적하고, 가상 오브젝트가 표시될 위치를 결정하며, 상기 로봇이 이동할 수 없는 제한구역을 설정하는 단계 및 상기 촬영된 영상에 가상 오브젝트를 합성한 증강현실 영상을 표시하는 단계를 포함할 수 있다.
그리고 상기 추출된 위치정보는 상기 로봇의 2차원 좌표 정보를 나타내는 스칼라 값이고, 상기 수신된 방향정보는 상기 로봇의 요(yaw) 방향 정보를 나타내는 벡터 값이며, 상기 로봇에 부착된 관성측정부를 통해 획득된 것일 수 있다.
또한, 상기 로봇의 동작을 제어하는 사용자 명령이 입력되면, 상기 입력된 사용자 명령과 대응되는 제어신호를 상기 로봇에 전송하는 단계를 더 포함할 수 있다.
그리고 상기 제어신호를 상기 로봇에 전송하는 단계는, 상기 로봇을 상기 설정된 제한구역 안으로 이동하는 사용자 명령이 입력되면, 상기 설정된 제한구역의 경계까지 이동한 후 이동을 중단하도록 하는 제어신호를 상기 로봇에 전송할 수 있다.
그리고 상기 가상 오브젝트가 기설정된 알고리즘에 따라 이동하도록 제어하는 단계 및 상기 로봇의 위치가 상기 가상 오브젝트의 위치와 중첩되면 알림 신호를 제공하는 단계를 더 포함할 수 있다.
또한 상기 제한구역을 설정하는 단계는, 상기 로봇에 부착된 센서를 통해 획득된 지형정보가 수신되면, 상기 수신된 지형정보를 기초로 상기 제한구역을 갱신할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 별도의 장비 없이도 증강현실 화면 속에서 사용자가 제어할 수 있는 로봇이 감지한 정보를 통해 마커리스 증강현실을 손쉽게 구현할 수 있고, 단순히 가상 오브젝트만 조작 가능한 증강현실 서비스가 아닌 실제 물체인 로봇을 증강현실 화면에서 조종할 수 있는 서비스를 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 시스템에 대한 개념도,
도 2는 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 장치의 구성을 설명하기 위한 개략적인 블록도,
도 3은 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 장치의 구성을 설명하기 위한 상세한 블록도,
도 4는 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 장치와 인터랙션하는 로봇의 구성을 설명하기 위한 블록도,
도 5는 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 방법에 대한 시스템도,
도 6 및 7은 본 개시의 다양한 실시 예에 따른 증강현실 구현 화면을 도시한 도면,
도 8은 본 개시의 일 실시 예에 따른 로봇과 인터랙션하는 증강현실 서비스 제공 방법을 설명하기 위한 흐름도이다.
이하에서는 본 개시의 바람직한 실시 예가 첨부된 도면을 참조하여 상세히 설명한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 또는 관례에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 포함한다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지칭하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 또는 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
이하에서는 첨부된 도면을 이용하여 본 개시에 대하여 구체적으로 설명한다.
도 1은 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 시스템(1000)에 대한 개념도이다. 도 1을 참조하면, 증강현실 서비스 제공 시스템(1000)은 증강현실 서비스 제공 장치(100) 및 로봇(200)으로 구성될 수 있다. 증강현실 서비스 제공 장치(100)는 일반 영상을 촬영하고, 증강현실 영상을 생성하며, 로봇(200)과 통신하여 방향 정보, 센서 정보 등을 수신하고 제어신호를 송신할 수 있는 모든 전자 장치로 구현 가능하다. 예를 들어, 증강현실 서비스 제공 장치(100)는 스마트폰, 타블렛, PDA, 스마트 글라스 등으로 구현될 수 있다. 로봇(200)은 증강현실 서비스 제공 장치(100)에서 수신된 제어신호에 따라 다양한 태스크를 수행할 수 있다. 또한 로봇(200)은 다양한 센서를 장착하여 방향 정보, 장애물 정보, 지형 정보 등을 획득할 수 있다.
증강현실 서비스 제공 시스템(1000)은 별도의 마커 없이도 증강현실 서비스 제공 장치(100)의 카메라(110)와 로봇(200)의 관성측정부(210)에서 획득 가능한 정보를 융합하여 로봇(200)의 위치를 추적할 수 있다. 2차원 평면 상에서 로봇(200)의 움직임은 3가지 정보(예를 들어, 직교좌표계에서의 x 좌표 정보, y 좌표 정보, 요(yaw) 방향 정보)를 통해 결정된다. 3가지 정보 중 로봇(200)의 위치에 대한 2차원 좌표 값은 스칼라 값이며, 로봇(200)의 자세 또는 방향에 대한 값은 벡터 값이다. 이 3가지 정보로 정해지는 2차원 평면 상에서의 공간정보를 ‘물체의 방향정보를 포함하는 정확한 위치’라고 부르기도 한다. 본 개시의 일 실시 예에 따르면 증강현실 서비스 제공 장치(100)와 로봇(200)은 2차원 평면에서의 로봇(200)의 위치 추적에 필요한 3가지 정보로 구성된 공간정보를 나누어 획득한다. 구체적으로, 증강현실 서비스 제공 장치(100)의 카메라(110)에서 촬영된 영상을 기초로 로봇(200)의 2차원 좌표 정보(x좌표 및 y좌표)를 추출할 수 있다. 또한 로봇(200)에 부착된 관성측정부(210)에서 요(yaw) 방향에 대한 정보를 획득할 수 있다. 로봇(200)에서 획득된 방향 정보는 증강현실 서비스 제공 장치(100)로 전송된다. 로봇(200)의 위치를 추적하는데 필요한 공간정보의 3가지 정보 요소를 모두 갖게 된 증강현실 서비스 제공 장치(100)는 가상 오브젝트의 생성 위치를 결정하고, 로봇(200)이 포함된 영상에 가상 오브젝트를 부가하여 증강현실 영상을 생성할 수 있다. 증강현실 서비스 제공 장치(100)는 사용자가 증강현실 영상에 표시된 로봇(200)을 제어할 수 있는 사용자 인터페이스를 제공할 수 있다.
본 개시의 일 실시 예에 따른 증강현실 서비스 제공 시스템(1000)은 고가의 모션캡쳐 장비나 별도의 마커 또는 비콘 없이도 로봇(200)과의 실시간 통신을 통해 증강현실 영상을 생성할 수 있는 효과가 있다. 또한, 사용자는 실제 오브젝트와 가상 오브젝트가 혼재된 증강현실 영상 속에서 실제 물체인 로봇(200)을 조정하는 콘텐츠를 통해 새로운 사용자 경험을 얻을 수 있다.
한편, 도 1의 실시 예를 설명함에 있어, 증강현실 서비스 제공 시스템(1000)은 하나의 증강현실 서비스 제공 장치(100)와 하나의 로봇(200)을 포함하는 것으로 설명하였으나, 다수의 증강현실 서비스 제공 장치(100)가 하나의 로봇(200)과 인터랙션할 수도 있으며, 하나의 증강현실 서비스 제공 장치(100)로 다수의 로봇(200)과 인터랙션할 수도 있다.
도 2는 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 장치(100)의 구성을 설명하기 위한 개략적인 블록도이다. 도 2를 참조하면, 증강현실 서비스 제공 장치(100)는 카메라(110), 통신부(120), 디스플레이부(130) 및 프로세서(140)를 포함할 수 있다.
카메라(110)는 영상을 촬영할 수 있다. 예를 들어, 카메라(110)는 로봇(200)이 포함된 영상을 촬영할 수 있다. 카메라(110)는 렌즈로 구현될 수도 있고, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서로 구현될 수도 있다. 또한 카메라(110)는 복수의 촬영 소자로 구현될 수도 있다. 예를 들어, 제1 촬영 소자는 초점거리가 짧아 화각이 넓고 밝은 영상을 촬영할 수 있는 광각 렌즈이고, 제2 촬영 소자는 초점거리가 길어 화각이 좁고 어두운 영상을 촬영할 수 있는 망원 렌즈일 수 있다. 다른 예로, 복수의 촬영 소자는 서로 다른 셔터 속도(노출 시간)을 갖는 촬영 소자일 수 있다.
통신부(120)는 무선 네트워크를 이용하여 로봇(200)과 같은 외부 장치와 통신할 수 있다. 예를 들어, 통신부(120)는 로봇(200)으로부터 로봇(200)의 방향 정보를 수신할 수 있고, 로봇(200)에 로봇(200)의 움직임을 제어하는 신호를 송신할 수 있다. 통신부(120)는 무선통신 방식으로 블루투스, Zigbee 통신, WiFi, 적외선(InfraRed, IR) 통신, NFC(Near Field Communication) 등 다양한 방식을 이용할 수 있다.
디스플레이부(130)는 카메라(110)가 촬영한 영상, 프로세서(140)가 생성한 증강현실 영상 등을 표시할 수 있다. 그리고 디스플레이부(130)는 증강현실 서비스 제공 장치(100)가 제공하는 각종 기능을 선택받기 위한 사용자 인터페이스 창을 표시할 수도 있다. 예를 들어, 디스플레이부(130)는 로봇(200)의 동작을 제어하기 위한 사용자 인터페이스 창을 표시할 수 있다. 이러한 디스플레이부(130)는 액정 표시 장치(LCD), 유기 전기 발광 다이오드(OLED), 플라즈마 표시 패널(PDP) 등과 같은 다양한 형태로 구현될 수 있다.
디스플레이부(130)는 터치패드와 함께 상호 레이어 구조를 이루는 터치 스크린의 형태로 구현될 수 있으며, 터치 스크린은 터치 입력 위치, 면적, 터치 입력의 압력까지도 검출되도록 구성될 수 있다. 이러한 경우에, 디스플레이부(130)는 후술할 사용자 인터페이스부(150)의 기능을 아울러 수행할 수 있다.
프로세서(140)는 오브젝트의 초기 위치를 인식하고, 오브젝트의 움직임을 추적하며, 증강현실 영상을 렌더링할 수 있다. 또한, 프로세서(140)는 로봇(200)의 움직임을 제어할 수 있기 때문에, 증강현실 영상 속에서 로봇(200)이 가상 오브젝트들과 인터랙션하는 콘텐츠를 제공할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(140)는 로봇(200)의 위치정보와 방향정보를 이용하여 2차원 평면에서 로봇(200)의 위치 및 자세를 결정할 수 있다. 프로세서(140)는 카메라(110)에서 촬영된 영상으로부터 로봇(200)의 위치정보(예를 들어, 직교좌표계에서의 x 및 y 좌표 정보와 같은 2차원 좌표 정보)를 추출할 수 있다. 예를 들어, 프로세서(140)는 카메라(110)에서 촬영된 영상을 전처리한 후, 색추출 알고리즘을 이용하여 로봇(200)을 인식할 수 있다. 또한, 프로세서(140)는 Hough Circle이나 Edge Detection 알고리즘을 이용하여 로봇(200)의 형태를 인식할 수 있다. 이러한 영상처리 방법을 통해 프로세서(140)는 로봇(200)의 2차원 위치 좌표를 획득할 수 있다. 로봇(200)의 방향정보는 로봇(200)에 장착된 관성측정부(210)에서 획득된다. 예를 들어, 로봇(200)의 방향정보는 직교좌표계에서 z방향 회전정보인 요(yaw) 방향에 대한 정보일 수 있다. 통신부(120)를 통해 로봇(200)의 방향정보가 수신되면, 프로세서(140)는 획득한 2차원 위치 정보와 수신된 방향정보를 융합하여 로봇(200)의 위치 및 자세에 관한 공간정보를 생성할 수 있다. 그리고 프로세서(140)는 생성된 공간정보를 이용하여 로봇(200)을 추적할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(140)는 추적된 로봇(200)의 위치를 기초로 증강현실 영상을 렌더링할 수 있다. 프로세서(140)는 가상 오브젝트가 표시될 위치를 결정할 수 있다. 프로세서(140)는 촬영된 영상에 가상 오브젝트를 합성하여 증강현실 영상을 생성하고, 생성된 증강현실 영상이 표시되도록 디스플레이부(130)를 제어할 수 있다. 또한, 프로세서(140)는 증강현실 영상의 일 영역을 로봇(200)이 이동할 수 있는 영역으로 설정할 수 있다. 바꾸어 말하면 프로세서(140)는 로봇(200)이 이동할 수 없는 제한구역을 설정할 수 있다. 로봇(200)이 이동할 수 있는 영역과 이동할 수 없는 영역을 구분하여 설정해 두는 것은 실제 오브젝트인 로봇(200)과 가상 오브젝트가 인터랙션하는 증강현실 서비스나 콘텐츠를 제공하는 면에서 이점이 있다. 보다 구체적인 프로세서(140)의 동작에 대해서는 이하에서 다시 설명하기로 한다.
도 3은 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 장치(100)의 구성을 설명하기 위한 상세한 블록도이다. 도 3을 참조하면, 증강현실 서비스 제공 장치(100)는 카메라(110), 통신부(120), 디스플레이부(130), 프로세서(140), 사용자 인터페이스부(150), 출력부(160) 및 메모리(170)를 포함할 수 있다. 도 3의 실시 예에 도시된 구성요소 이외에도 증강현실 서비스 제공 장치(100)는 전원부(미도시), 센서부(미도시), 음성 입력부(미도시) 등 다양한 구성을 포함할 수 있다. 또한, 증강현실 서비스 제공 장치(100)는 반드시 도 3에 도시된 구성을 모두 포함하여 구현되는 것으로 한정되지 않음은 물론이다. 카메라(110), 통신부(120), 디스플레이부(130)에 대한 설명은 도 2를 설명한 것과 중복되기 때문에 생략하기로 한다.
사용자 인터페이스부(150)는 사용자로부터 제어 명령 등을 입력받을 수 있다. 예를 들어, 사용자 인터페이스부(150)는 로봇(200)의 동작을 제어하기 위한 사용자 명령을 입력받을 수 있고, 프로세서(140)는 입력된 사용자 명령과 대응되는 제어신호를 로봇(200)에 전송하도록 통신부(120)를 제어할 수 있다. 사용자 인터페이스부(150)는 터치 스크린의 형태로 구현될 수 있으며, 이러한 경우 디스플레이부(130)가 사용자 인터페이스부(150)의 기능을 아울러 수행할 수 있다. 사용자 인터페이스부(150)는 사용자의 음성을 인식하는 음성입력장치의 형식으로 구현될 수도 있다.
출력부(160)는 사용자에게 알림 신호, 경고 신호, 안내 신호 등을 피드백할 수 있다. 예를 들어, 출력부(160)는 알림 메시지 등을 표시하는 형태로 사용자에게 피드백할 수 있다. 이러한 경우에는 디스플레이부(130)를 통해 메시지가 표시되기 때문에 출력부(160)의 기능을 디스플레이부(130)가 겸한다고 할 수 있다. 다른 예로, 출력부(160)는 소리, 진동, 점등 등으로 알림 신호를 사용자에게 피드백 할 수 있다.
메모리(170)는 증강현실 서비스 제공 장치(100)를 구동하기 위한 다양한 모듈, 소프트웨어, 데이터를 저장할 수 있다. 예를 들어, 메모리(170)에는 증강현실 렌더링을 위한 소프트웨어, 가상 오브젝트의 3D 모델링 데이터를 포함한 증강현실 콘텐츠 데이터, 로봇(200)을 제어하기 위한 제어명령, 로봇(200)과의 통신 프로토콜 등이 저장될 수 있다.
메모리(170)는 증강현실 서비스 제공 장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 플래쉬 메모리, HDD(Hard Disk Drive), SSD(Solid State Drive) 등의 형태로 구현될 수 있다. 예를 들어, 메모리(170)는 증강현실 서비스 제공 장치(100)의 동작 수행을 위한 프로그램, 어플리케이션을 저장하기 위한 ROM, 증강현실 서비스 제공 장치(100)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM을 구비할 수 있다. 또한, 메모리(170)는 각종 참조 데이터를 저장하기 위한 EEPROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.
프로세서(140)는 증강현실 서비스 제공 장치(100)의 상술한 구성들을 제어할 수 있다. 예를 들어, 프로세서(140)는 로봇(200)에 제어신호를 송신하고, 로봇(200)으로부터 방향 정보, 센서 정보 등을 수신하도록 통신부(120)를 제어할 수 있다.
프로세서(140)는 단일 프로세서(예를 들어, 하나의 CPU나 하나의 AP)로 구현되어 로봇(200)과 같은 오브젝트 추적 동작, 증강현실 영상 생성 동작, 로봇(200) 제어 동작 등을 수행할 수도 있고, 복수의 프로세서 및 특정 기능을 수행하는 IP로 구현될 수도 있다. 도 3의 실시 예에서는 프로세서(140)가 증강현실 모듈(141), 영상처리 모듈(143) 및 로봇 제어 모듈(145)을 포함하는 것으로 도시하였다. 증강현실 모듈(141)은 카메라(110)에서 촬영한 실제 영상속에 가상 오브젝트와 같은 증강현실 콘텐츠를 표시할 가상의 공간을 설정할 수 있다. 증강현실 모듈(141)은 증강현실 영상을 만드는데 필요한 데이터를 외부에서 수신하여 사용할 수 있다. 예를 들어, 증강현실 모듈(141)은 외부에서 생성된 가상 오브젝트의 3D 모델링 데이터, 영상처리 모듈(143)에서 연산된 공간정보 데이터를 수신하여 증강현실 영상을 만드는데 이용할 수 있다. 영상처리 모듈(143)은 카메라(110)에서 촬영한 영상을 처리하여, 로봇(200)의 위치를 인식하고 로봇(200)이 위치한 2차원 평면을 인식할 수 있다. 예를 들어, 영상처리 모듈(143)은 색추출 알고리즘 등을 사용하여 로봇을 인식하고, Hough Circle 알고리즘, Edge Detection 알고리즘 등을 사용하여 로봇의 형태를 인식할 수 있다. 로봇 제어 모듈(145)은 기설정된 로봇(200)의 움직임에 대한 동작 알고리즘을 기초로 로봇(200)에 제어신호를 전송하도록 통신부(120)를 제어할 수 있다. 예를 들어, 사용자 인터페이스부(150)를 통해 사용자 명령이 입력되면, 로봇 제어 모듈(145)은 입력된 사용자 명령에 대응되는 제어 신호를 동작 알고리즘을 기초로 스트링 형태의 데이터로 생성할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 장치(100)와 인터랙션하는 로봇(200)의 구성을 설명하기 위한 블록도이다. 도 4를 참조하면, 로봇(200)은 관성측정부(210), 센서부(220), 통신부(230), 구동부(240), 전원부(250) 및 프로세서(260)를 포함할 수 있다. 도 4의 실시 예에 도시된 구성요소 이외에도 로봇(200)는 메모리(미도시) 등 다양한 구성을 포함할 수 있다. 또한, 로봇(200)는 반드시 도 4에 도시된 구성을 모두 포함하여 구현되는 것으로 한정되지 않음은 물론이다.
관성측정부(210)는 로봇(200)의 방향 정보를 검출할 수 있다. 관성측정부(210)는 기 설정된 시간 간격으로 로봇(200)의 방향 정보를 검출할 수 있다. 관성측정부(210)는 가속도 센서, 각속도 센서, 지자기 센서를 포함하는 IMU(Inertial Measurement Unit)로 구현될 수 있다.
가속도 센서는 단위 시간에 대한 속도의 변화량을 감지한다. 가속도 센서는 3축으로 구현될 수 있다. 3축 가속도 센서로 구현된 경우에는 가속도 센서는 서로 다른 방향으로 배치되어 서로 직교하는 X, Y, Z축 가속도 센서를 구비한다. 가속도센서는 X, Y, Z축 가속도 센서 각각의 출력값을 디지털 값으로 변환하여 전처리부로 제공한다. 이때 전처리부는 쵸핑회로, 증폭회로, 필터, 및 A/D 컨버터(A/D converter) 등을 포함할 수 있다. 이에 따라, 3축 가속도 센서로부터 출력된 전기적 신호를 쵸핑, 증폭, 필터링한 후, 디지털 전압값으로 변환한다. 각속도 센서는 단위 시간 동안 로봇(200)의 기 설정된 방향의 변화량을 감지하여 각속도를 감지하는 구성이다. 각속도 센서는 3축을 갖는 자이로스코프가 사용될 수 있다. 이러한 관성 센서의 6축에 더하여 지자기 센서를 이용할 수 있다. 지자기 센서는 자기장의 흐름을 검출하여 방위각을 탐지할 수 있는 센서이다. 지자기 센서는 로봇(200)의 방위좌표를 검출하고, 방위좌표를 토대로 로봇(200)이 놓여진 방향을 검출할 수 있다. 지자기 센서는 플럭스게이트 등을 이용하여 지자기에 의해 유도되는 전압값을 측정함으로써 지자기를 검출할 수 있다. 지자기 센서는 2축 또는 3축으로 구현될 수 있다.
센서부(220)는 로봇(200) 주변의 지형, 환경이나 로봇(200) 자체의 상태를 감지할 수 있다. 센서부(220)는 장애물 센서(221), 이미지 센서(223) 등 다양한 센서를 포함할 수 있다. 본 명세서에서 센서부(220)는 관성측정부(210)에 포함된 센서들을 제외한 개념으로 정의될 수 있다.
장애물 센서(221)는 로봇(200)의 이동을 방해하는 장애물을 감지할 수 있다. 예를 들어, 장애물 센서(221)는 로봇(200)이 통과할 수 없는 벽, 틈새, 기둥, 문턱, 둔덕 등을 식별할 수 있는 비접촉식 감지 센서 및 접촉식 충돌/범퍼 센서를 포함할 수 있다.
이미지 센서(223)는 로봇(200) 주변을 촬영하여 환경 정보를 생성할 수 있다. 또한, 이미지 센서(223)는 천장을 촬영하는 방법으로 로봇(200)의 위치를 파악할 수도 있다. 그리고 이미지 센서(223)는 로봇(100)의 진행 방향에 위치한 물체들을 촬영할 수 있다. 예를 들어, 이미지 센서(223)는 CCD(Charge Coupled Device) 소자 또는 CMOS(Complementary Metal Oxide Semiconductor) 소자로 구현될 수 있다.
통신부(230)는 외부 장치와 데이터, 제어신호 등을 송수신할 수 있다. 예를 들어, 통신부(230)는 증강현실 서비스 제공 장치(100)로 로봇(200)의 방향 정보를 송신할 수 있다. 또한, 통신부(230)는 증강현실 서비스 제공 장치(100)로부터 제어신호를 수신할 수 있다. 통신부(230)는 무선통신 방식으로 블루투스, Zigbee 통신, WiFi, 적외선(InfraRed, IR) 통신, NFC(Near Field Communication) 등 다양한 방식을 이용할 수 있다.
구동부(240)는 로봇(200)을 구동시킬 수 있다. 예를 들어, 구동부(240)는 프로세서(260)의 제어에 의해 태스크를 수행할 위치로 로봇(200)을 이동시킬 수 있다. 이러한 경우에, 구동부(240)는 바닥면과 접촉하는 적어도 하나의 바퀴, 바퀴에 동력을 제공하는 모터 및 모터를 제어할 드라이버를 포함할 수 있다. 다른 예로, 구동부(240)는 태스크를 수행하기 위한 동작을 할 수 있다. 물체 이동 태스크의 경우에 구동부(240)는 물체를 집어드는 동작 등을 수행하기 위한 모터를 포함할 수 있다.
전원부(250)는 로봇(200)의 구동에 필요한 전원을 공급한다. 예를 들어, 전원부(250)는 충방전이 가능한 배터리로 구현될 수 있다. 프로세서(260)는 로봇(200)의 잔여 전원이 기설정된 레벨 이하로 떨어지거나, 태스크를 완료한 경우 충전 스테이션으로 이동하도록 구동부(240)를 제어할 수 있다. 전원부(250)는 접촉식 및 비접촉식 충전 방식 중 어느 것으로든 충전될 수 있다.
메모리(미도시)는 로봇(200)의 방향 정보, 로봇(200) 주변의 지도 정보, 센서부(220)에서 감지된 각종 정보를 저장할 수 있다. 메모리(미도시)에는 로봇(200)을 동작시키기 위해 필요한 각종 프로그램이 저장될 수 있다.
프로세서(260)는 로봇(200)의 상술한 구성들을 제어할 수 있다. 통신부(230)를 통해 증강현실 서비스 제공 장치(100)로부터 제어 신호가 수신되면, 프로세서(260)는 수신된 제어 신호에 따라 로봇(200)이 동작을 수행하도록 구동부(240)를 제어할 수 있다. 프로세서(260)는 기설정된 주기마다 로봇(200)의 방향 정보, 지형 정보 등을 획득하도록 관성측정부(210), 센서부(220)를 제어할 수 있다. 프로세서(260)는 주기적으로 획득된 방향 정보, 지형 정보 등을 증강현실 서비스 제공 장치(100)로 송신하도록 통신부(230)를 제어할 수 있다. 이를 통해 증강현실 서비스 제공 장치(100)는 로봇(200)의 이동 방향, 로봇(200) 주변의 지형, 로봇(200)의 상태 등을 갱신할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 방법에 대한 시스템도이다. 본 개시의 일 실시 예에 따른 증강현실 서비스 제공 시스템(1000)은 증강현실 서비스 제공 장치(100)와 로봇(200)으로 구성될 수 있다.
도 5를 참조하면, 증강현실 서비스 제공 장치(100)는 로봇(200)이 포함된 영상을 촬영할 수 있다(S505). 로봇(200) 또는 로봇(200)의 주변에 가상 오브젝트를 렌더링하고 합성하여 증강현실 영상을 생성할 것이기 때문이다. 증강현실 서비스 제공 장치(100)는 촬영된 영상을 분석하여 로봇(200)의 위치 정보를 추출할 수 있다(S510). 증강현실 서비스 제공 장치(100)는 촬영된 영상을 전처리하고, 색이나 형태를 기초로 영상에서 로봇(200)을 인식할 수 있다. 예를 들어, 증강현실 서비스 제공 장치(100)는 RGB 채널로 획득된 영상을 HSV 스케일로 변환하고 색추출 알고리즘을 이용하여 촬영된 영상에서 로봇(200)을 인식할 수 있다. 그리고 증강현실 서비스 제공 장치(100)는 로봇(200)의 형태를 인식할 수 있는 알고리즘을 이용하여 로봇(200)의 2차원 평면에서의 위치 좌표를 추출할 수 있다. 예를 들어, 증강현실 서비스 제공 장치(100)는 직교좌표계를 사용할 경우에 두 스칼라 값인 x 좌표 및 y 좌표 값을 획득할 수 있다.
본 개시의 일 실시 예에 따른 증강현실 서비스 제공 시스템(1000)은 증강현실 콘텐츠의 일부로서 조종 가능한 로봇(200)을 증강현실 구현을 위한 정보를 획득하는 수단으로도 사용한다. 이를 통해 별도의 장비 없이도 마커리스 증강현실을 손쉽게 구현할 수 있다. 로봇(200)은 로봇(200)에 부착된 관성측정부(210)를 통해 벡터 값인 자신의 방향 정보를 획득할 수 있다(S515). 각속도 센서, 지자기 센서 등을 통해 감지된 로봇(200)의 방향 정보는 증강현실 서비스 제공 장치(100)로 송신된다(S520). 로봇(200)의 2차원 평면에서의 위치 및 자세를 결정하기 위한 3가지 정보 중 2가지는 증강현실 서비스 제공 장치(100)에서 획득된 정보이며, 나머지 1가지는 로봇(200)에서 획득된 정보이다.
로봇(200)으로부터 방향 정보를 수신한 증강현실 서비스 제공 장치(100)는 자신이 획득한 2차원 좌표 정보와 수신한 방향 정보를 융합하여 로봇의 위치와 자세에 대한 공간정보를 생성할 수 있다(S525). 그리고 증강현실 서비스 제공 장치(100)는 생성된 공간정보를 이용하여 로봇(200)을 추적할 수 있다(S530). 증강현실 서비스 제공 장치(100)는 제공할 증강현실 콘텐츠의 내용에 따라 배치할 가상 오브젝트를 결정할 수 있다. 그리고 영상에 포함된 로봇(200)의 위치가 결정되었기 때문에, 증강현실 서비스 제공 장치(100)는 로봇(200)의 위치나 자세를 기초로 가상 오브젝트가 표시될 위치를 결정할 수 있다(S535). 또한, 증강현실 서비스 제공 장치(100)는 화면상에서 로봇(200)이 이동할 수 없는 제한구역을 설정할 수 있다(S540). 도 5의 실시 예에서는 S535 단계와 S540 단계는 순차적으로 수행되는 것으로 도시하였으나, S535 단계보다 S540 단계가 먼저 수행될 수도 있고, S535 단계와 S540 단계가 병렬적으로 수행될 수 도 있다. 증강현실 서비스 제공 장치(100)는 로봇(200)에 제한구역 정보를 제공할 수 있다(S545). 로봇(200)은 수신된 제한구역 정보를 저장하여 이동 태스크를 수행하는 경우에 활용할 수 있다.
증강현실 서비스 제공 장치(100)는 가상 오브젝트를 결정된 위치에 합성하여 증강현실 영상을 생성하고, 생성된 증강현실 영상을 표시할 수 있다(S550). 증강현실 영상 안에서 로봇(200)을 제어할 수 있는 콘텐츠가 제공되는 경우, 증강현실 영상의 일 영역에는 로봇(200)을 조종하는 사용자 명령을 입력받기 위한 사용자 인터페이스가 표시될 수 있다. 사용자가 사용자 인터페이스를 통해 사용자 명령을 입력하면(S555), 증강현실 서비스 제공 장치(100)는 로봇(200)에 사용자 명령과 대응되는 기설정된 제어신호를 송신할 수 있다(S560). 로봇(200)은 수신된 제어신호에 따라 증강현실 영상 내에서 기설정된 동작을 수행할 수 있다(S565).
상술한 바와 같은 증강현실 서비스 제공 시스템(1000)은 증강현실 콘텐츠의 일 부분을 구성하는 실제 로봇(200)을 공간정보 중 하나인 방향 정보를 획득하는 장비로 이용하여, 별도의 마커나 비콘 없이도 증강현실 서비스를 제공할 수 있다. 또한, 증강현실 서비스 제공 시스템(1000)은 가상 오브젝트뿐 아니라 실제 오브젝트인 로봇(200)과 안터랙션할 수 있는 증강현실 서비스를 제공함으로써 사용자에게 새로운 사용자 경험을 제공할 수 있다.
도 6은 증강현실 서비스 제공 장치(100)에서 제공되는 증강현실 서비스의 일 예를 도시한 도면이다. 모바일 장치로 구현된 증강현실 서비스 제공 장치(100)의 화면에 로봇(200)이 포함된 증강현실 영상이 표시되어 있다. 증강현실 서비스 제공 장치(100) 및 로봇(200)에서 각각 획득한 정보를 기초로 로봇(200)의 위치 및 자세가 인지된다. 도 6의 화면에서는 인지된 로봇(200)의 위치에 사각형의 가상 상자가 표시되어 있다. 또한, 로봇(200)의 주위에 동물, 포탄과 같은 가상 오브젝트가 표시되어 있다. 증강현실 서비스 제공 장치(100)와 로봇(200)에서 각각 2차원 좌표 정보와 방향 정보를 주기적으로 갱신하기 때문에, 증강현실 서비스 제공 장치(100)는 로봇(200)을 실시간으로 추적할 수 있다. 예를 들어, 증강현실 서비스 제공 장치(100)는 실시간으로 추적된 로봇(200)의 위치를 기초로 가상 오브젝트인 포탄을 로봇(200)이 위치한 곳으로 이동시키는 증강현실 게임 콘텐츠를 제공할 수 있다. 다른 예로, 가상 오브젝트는 기설정된 알고리즘에 따라 이동할 수도 있다. 만일 가상 오브젝트와 로봇(200)의 위치가 중첩되는 것으로 판단되면, 증강현실 서비스 제공 장치(100)는 알림 신호를 출력할 수 있다.
도 6에 도시되어 있는 바와 같이, 증강현실 영상이 표시되는 화면의 일 영역에는 로봇(200)을 조종하는 사용자 명령을 입력받기 위한 사용자 인터페이스(610)가 표시될 수 있다. 도 6에서는 로봇(200)을 중심으로 사각형의 형태의 제한구역의 경계(620)가 표시되어 있다. 로봇(200)을 제한구역의 경계(620)를 넘어 제한구역 안으로 이동하도록 하는 사용자 명령이 입력되면, 증강현실 서비스 제공 장치(100)는 로봇(200)이 제한구역의 경계까지만 이동하도록 하는 제어신호를 로봇(200)에 전송할 수 있다.
도 7은 제한구역 설정과 갱신을 설명하기 위한 증강현실 영상의 일 예를 도시한 도면이다. 앞서 설명한 바와 같이 증강현실 서비스 제공 장치(100)는 로봇(200)의 위치를 기초로 가상 오브젝트의 위치를 결정할 수 있다. 뿐만 아니라 증강현실 서비스 제공 장치(100)는 로봇(200)이 이동 가능하며 증강현실 콘텐츠가 제공되는 영역을 설정할 수 있다. 반대로 말하면 로봇(200)이 이동할 수 없고, 증강현실 콘텐츠도 제공되지 않는 제한구역을 설정할 수 있다. 도 7에 도시된 제한구역의 경계선(710) 너머로 로봇(200)은 이동할 수 없고, 제한구역의 경계선(710) 안에서만 로봇(200)과 인터랙션하는 증강현실 콘텐츠가 제공된다. 최초의 제한구역은 영상에서의 로봇(200)의 위치에 따라 결정된다. 제한구역의 경계선(710) 내부에서 제공되는 콘텐츠에 대응하여, 제한구역의 경계선(710) 외부에는 배경화면 콘텐츠가 제공될 수 있다. 예를 들어, 제한구역의 경계선(710) 외부에는 관중석과 관중에 해당하는 가상의 배경 오브젝트를 합성하고, 제한구역의 경계선(710) 내부에는 로봇(200)과 가상 오브젝트가 스포츠 경기를 진행하는 콘텐츠가 제공될 수 있다.
로봇(200)에는 방향을 감지하는 관성측정부(210)뿐 아니라 장애물 등을 감지할 수 있는 센서가 포함된 센서부(220)가 있다. 로봇(200)은 증강현실 서비스를 제공하며 동작하는 도중에 부착된 센서를 이용하여 주변의 장애물, 벽 등을 감지하여 지형정보를 획득할 수 있다. 로봇(200)으로부터 획득된 지형정보를 수신한 증강현실 제공 장치(100)는 제한구역을 갱신할 수 있다. 도 7을 예로 들면, 로봇(200)은 증강현실 서비스를 제공하며 이동하는 중 제한구역의 경계(710) 안쪽에서 장애물(720)이나 벽(730)을 감지할 수 있다. 로봇(200)은 감지된 장애물(720)과 벽(730)의 위치, 형태 등에 관한 지형정보를 증강현실 서비스 제공 장치(100)로 송신하고, 증강현실 서비스 제공 장치(100)는 장애물(720)이나 벽(730)이 존재하는 영역을 추가적으로 제한구역으로 포함시킬 수 있다. 만일 증강현실 서비스 제공 도중 장애물(720)이 제거된 것으로 로봇(200)이 감지하면, 증강현실 서비스 제공 장치(100)는 장애물(720)이 놓여있던 영역을 제한구역에서 제외시킬 수도 있다. 증강현실 서비스 제공 장치(100)는 갱신된 제한구역의 형태를 기초로, 제한구역의 경계선(710) 외부에 표시할 배경 오브젝트를 결정할 수 있다. 예를 들어, 로봇(200)이 장애물을 많이 감지하여 제한구역이 좁고 긴 형태로 갱신되었다면, 증강현실 서비스 제공 장치(100)는 제한구역의 경계선(710) 외곽에 협곡의 모습을 한 배경 오브젝트를 합성할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 로봇과 인터랙션하는 증강현실 서비스 제공 방법을 설명하기 위한 흐름도이다. 도 8을 참조하면, 증강현실 서비스 제공 장치(100)는 로봇(200)이 포함된 영상을 촬영하고, 촬영된 영상에서 위치 정보를 추출할 수 있다(S810). 위치 정보란 로봇(200)의 2차원 평면에서의 좌표를 나타내는 두 개의 스칼라 값으로 구성될 수 있다. 증강현실 서비스 제공 장치(100)는 로봇(200)의 색, 형태를 배경과 구분하는 알고리즘을 이용하여 로봇(200)이 위치한 2차원 좌표 정보를 추출할 수 있다.
그리고 증강현실 서비스 제공 장치(100)는 로봇(200)으로부터 로봇(200)이 획득한 방향정보를 수신할 수 있다(S820). 로봇(200)은 관성측정부(210)를 통해 자신이 향하고 있는 방향을 감지할 수 있다. 예를 들어, 로봇(200)은 벡터 값인 자신이 요 방향으로 얼마나 기울어졌는지에 대한 방향정보를 획득할 수 있다. 로봇(200)은 획득한 방향정보를 증강현실 서비스 제공 장치(100)로 송신할 수 있다.
증강현실 서비스 제공 장치(100)는 로봇(200)으로부터 수신한 방향정보와 영상처리를 통해 획득한 2차원 좌표 정보를 융합하여, 2차원 평면에서의 로봇(200)의 위치 및 자세에 관한 공간정보를 생성할 수 있다 (S830). 그리고 증강현실 서비스 제공 장치(100)는 생성된 공간정보를 기초로 로봇(200)을 추적할 수 있다. 또한, 증강현실 서비스 제공 장치(100)는 제공할 증강현실 콘텐츠를 기초로 렌더링할 가상 오브젝트를 결정할 수 있다. 그리고 증강현실 서비스 제공 장치(100)는 로봇(200)의 위치를 기초로 가상 오브젝트가 표시될 위치를 결정할 수 있다. 또한 증강현실 서비스 제공 장치(100)는 증강현실 영상의 일 영역에 제한구역을 설정할 수 있다(S840). 제한구역 이외의 영역에서 증강현실 콘텐츠가 제공되고, 로봇(200)이 증강현실 서비스 제공 장치(100)의 제어에 따라 이동할 수 있다. 증강현실 서비스 제공 장치(100)는 가상 오브젝트 등을 합성하여 증강현실 영상을 표시할 수 있다(S850). 가상 오브젝트 이외에도 로봇(200)을 조종하기 위한 사용자 인터페이스, 제한구역의 경계 등이 증강현실 영상에 포함되어 표시될 수 있다. 그 밖의 증강현실 서비스 제공 방법에 대한 다양한 실시 예에 대한 설명은 증강현실 서비스 제공 장치(100)에 대한 설명과 중복되는바 생략하기로 한다.
상기에서 설명된 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), SSD, ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 개시의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같은 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시 예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 증강현실 서비스 제공 장치 110: 카메라
120: 통신부 130: 디스플레이부
140: 프로세서 150: 사용자 인터페이스부
160: 출력부 170: 메모리
200: 로봇 210: 관성측정부
220: 센서부 230: 통신부
240: 구동부 250: 전원부
260: 프로세서 1000: 증강현실 서비스 제공 시스템

Claims (12)

  1. 로봇과 인터랙션하는 증강현실 서비스 제공 장치에 있어서,
    상기 로봇과 통신하는 통신부;
    영상을 촬영하는 카메라;
    영상을 표시하는 디스플레이부; 및
    상기 카메라에서 촬영된 영상으로부터 상기 로봇의 위치정보를 추출하고, 상기 통신부를 통해 상기 로봇이 획득한 방향정보가 수신되면, 상기 추출된 위치정보와 상기 수신된 방향정보를 기초로 상기 로봇의 위치 및 자세에 관한 공간정보를 생성하고, 상기 생성된 공간정보를 이용하여 상기 로봇을 추적하고 가상 오브젝트가 표시될 위치를 결정하며 상기 로봇이 이동할 수 없는 제한구역을 설정하고, 상기 촬영된 영상에 상기 가상 오브젝트를 합성한 증강현실 영상을 표시하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는 증강현실 서비스 제공 장치.
  2. 제1항에 있어서,
    상기 추출된 위치정보는 상기 로봇의 2차원 좌표 정보를 나타내는 스칼라 값이고,
    상기 수신된 방향정보는 상기 로봇의 요(yaw) 방향 정보를 나타내는 벡터 값이며, 상기 로봇에 부착된 관성측정부를 통해 획득된 것인 증강현실 서비스 제공 장치.
  3. 제1항에 있어서,
    상기 로봇의 동작을 제어하는 사용자 명령을 입력받는 사용자 인터페이스부;를 더 포함하고,
    상기 프로세서는,
    상기 사용자 인터페이스부를 통해 입력된 사용자 명령과 대응되는 제어신호를 상기 로봇에 전송하도록 상기 통신부를 제어하는 증강현실 서비스 제공 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 로봇을 상기 설정된 제한구역 안으로 이동시키는 사용자 명령이 입력되면, 상기 설정된 제한구역의 경계까지 이동한 후 이동을 중단하도록 하는 제어신호를 상기 로봇에 전송하도록 상기 통신부를 제어하는 증강현실 서비스 제공 장치.
  5. 제1항에 있어서,
    알림 신호를 피드백하는 출력부;를 더 포함하고,
    상기 프로세서는,
    상기 가상 오브젝트가 기설정된 알고리즘에 따라 이동하도록 제어하고, 상기 로봇의 위치가 상기 가상 오브젝트의 위치와 중첩되면 알림 신호를 제공하도록 상기 출력부를 제어하는 증강현실 서비스 제공 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 통신부를 통해 상기 로봇에 부착된 센서를 통해 획득된 지형정보가 수신되면, 상기 수신된 지형정보를 기초로 상기 제한구역을 갱신하는 증강현실 서비스 제공 장치.
  7. 로봇과 인터랙션하는 증강현실 서비스 제공 방법에 있어서,
    상기 로봇이 포함된 영상을 촬영하고, 상기 촬영된 영상으로부터 상기 로봇의 위치정보를 추출하는 단계;
    상기 로봇이 획득한 방향정보를 수신하는 단계;
    상기 추출된 위치정보와 상기 획득된 방향정보를 기초로 상기 로봇의 위치 및 자세에 관한 공간정보를 생성하는 단계;
    상기 생성된 공간정보를 이용하여 상기 로봇을 추적하고, 가상 오브젝트가 표시될 위치를 결정하며, 상기 로봇이 이동할 수 없는 제한구역을 설정하는 단계; 및
    상기 촬영된 영상에 가상 오브젝트를 합성한 증강현실 영상을 표시하는 단계;를 포함하는 증강현실 서비스 제공 방법.
  8. 제7항에 있어서,
    상기 추출된 위치정보는 상기 로봇의 2차원 좌표 정보를 나타내는 스칼라 값이고,
    상기 수신된 방향정보는 상기 로봇의 요(yaw) 방향 정보를 나타내는 벡터 값이며, 상기 로봇에 부착된 관성측정부를 통해 획득된 것인 증강현실 서비스 제공 방법.
  9. 제7항에 있어서,
    상기 로봇의 동작을 제어하는 사용자 명령이 입력되면, 상기 입력된 사용자 명령과 대응되는 제어신호를 상기 로봇에 전송하는 단계;를 더 포함하는 증강현실 서비스 제공 방법.
  10. 제9항에 있어서,
    상기 제어신호를 상기 로봇에 전송하는 단계는,
    상기 로봇을 상기 설정된 제한구역 안으로 이동시키는 사용자 명령이 입력되면, 상기 설정된 제한구역의 경계까지 이동한 후 이동을 중단하도록 하는 제어신호를 상기 로봇에 전송하는 증강현실 서비스 제공 방법.
  11. 제7항에 있어서,
    상기 가상 오브젝트가 기설정된 알고리즘에 따라 이동하도록 제어하는 단계; 및
    상기 로봇의 위치가 상기 가상 오브젝트의 위치와 중첩되면 알림 신호를 제공하는 단계;를 더 포함하는 증강현실 서비스 제공 방법.
  12. 제7항에 있어서,
    상기 제한구역을 설정하는 단계는,
    상기 로봇에 부착된 센서를 통해 획득된 지형정보가 수신되면, 상기 수신된 지형정보를 기초로 상기 제한구역을 갱신하는 증강현실 서비스 제공 방법.
KR1020180095823A 2018-08-17 2018-08-17 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법 KR102190743B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180095823A KR102190743B1 (ko) 2018-08-17 2018-08-17 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095823A KR102190743B1 (ko) 2018-08-17 2018-08-17 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200020295A true KR20200020295A (ko) 2020-02-26
KR102190743B1 KR102190743B1 (ko) 2020-12-15

Family

ID=69637842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095823A KR102190743B1 (ko) 2018-08-17 2018-08-17 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102190743B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101300A (ko) * 2019-02-18 2020-08-27 김종태 증강현실과 연계 동작 가능한 스마트 코딩블록 시스템
EP3819573A1 (en) 2019-11-05 2021-05-12 LG Electronics Inc. Refrigerator
CN114098719A (zh) * 2021-11-30 2022-03-01 歌尔科技有限公司 一种动作检测方法、装置和穿戴设备
KR20220028312A (ko) * 2020-08-28 2022-03-08 한국로봇융합연구원 Mr 환경과 로봇의 인터렉션 훈련 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110092502A (ko) * 2010-02-09 2011-08-18 중앙대학교 산학협력단 이동식 감시 및 추적 장치 및 방법
KR20170010815A (ko) * 2014-08-25 2017-02-01 엑스 디벨롭먼트 엘엘씨 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110092502A (ko) * 2010-02-09 2011-08-18 중앙대학교 산학협력단 이동식 감시 및 추적 장치 및 방법
KR20170010815A (ko) * 2014-08-25 2017-02-01 엑스 디벨롭먼트 엘엘씨 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101300A (ko) * 2019-02-18 2020-08-27 김종태 증강현실과 연계 동작 가능한 스마트 코딩블록 시스템
EP3819573A1 (en) 2019-11-05 2021-05-12 LG Electronics Inc. Refrigerator
KR20220028312A (ko) * 2020-08-28 2022-03-08 한국로봇융합연구원 Mr 환경과 로봇의 인터렉션 훈련 시스템
CN114098719A (zh) * 2021-11-30 2022-03-01 歌尔科技有限公司 一种动作检测方法、装置和穿戴设备

Also Published As

Publication number Publication date
KR102190743B1 (ko) 2020-12-15

Similar Documents

Publication Publication Date Title
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US11460844B2 (en) Unmanned aerial image capture platform
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
CN110967011B (zh) 一种定位方法、装置、设备及存储介质
US10169880B2 (en) Information processing apparatus, information processing method, and program
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
JP6943988B2 (ja) 移動可能物体の制御方法、機器およびシステム
US20210256765A1 (en) System and method for spatially registering multiple augmented reality devices
KR20180118219A (ko) 이동형 원격현전 로봇과의 인터페이싱
WO2021127888A1 (zh) 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
CN108415675B (zh) 信息处理设备、信息处理系统和信息处理方法
JP2021144260A (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
CN114341773A (zh) 用于自适应增强现实锚点生成的方法和装置
EP4207100A1 (en) Method and system for providing user interface for map target creation
KR20190053018A (ko) 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치
JP2004219847A (ja) 小型携帯端末
WO2024087456A1 (zh) 确定朝向信息以及自动驾驶车辆
WO2022061615A1 (zh) 待跟随目标的确定方法、装置、系统、设备及存储介质
JP2023083072A (ja) 方法、システムおよびプログラム
CN115144874A (zh) 一种定位方法及相关装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant