KR101776576B1

KR101776576B1 - 로봇 제어 시스템 및 방법

Info

Publication number: KR101776576B1
Application number: KR1020150136703A
Authority: KR
Inventors: 이상준; 이동헌; 김준석; 손민정; 정한욱; 김인창
Original assignee: 숭실대학교산학협력단
Priority date: 2015-09-25
Filing date: 2015-09-25
Publication date: 2017-09-08
Also published as: KR20170037297A

Abstract

로봇 제어 시스템 및 방법이 개시된다.
로봇 제어 시스템은 동작 감지 센서와 HMD(Head Mounted Display)로부터 획득한 사용자 동작 정보 및 사용자 눈 상태 정보에 따라 로봇의 동작 제한 범위를 제어하여 로봇이 동작될 수 있도록 한다. 또한, 로봇에 부착된 카메라로 로봇의 시야를 획득하여 HMD(Head Mounted Display)를 통해 사용자에게 로봇의 시야 영상을 제공하여 보다 안전하게 로봇의 동작을 구동할 수 있도록 한다.
따라서, 사용자의 상태 정보에 따라 로봇의 동작 제한 범위를 제어함으로써, 로봇의 오작동을 방지할 수 있다.

Description

로봇 제어 시스템 및 방법{ROBOT CONTROL SYSTEM AND METHOD}

본 발명은 로봇 제어 시스템 및 방법에 관한 것으로서, 보다 상세하게는 자이로 센서 및 HMD(Head Mounted Display)를 이용한 로봇 제어 시스템 및 방법에 관한 것이다.

일반적으로 로봇은 자동 조절에 의해 조작이나 이동 등의 일을 수행할 수 있는 기계장치이다. 더 나아가, 휴머노이드 로봇은 인간의 신체와 유사한 모습을 갖춘 로봇으로서, 영상, 음성인식, 통신 및 무선 제어 등의 통합된 기술이 적용된다.

한편, 휴머노이드 로봇은 인간과 유사한 움직임으로 손, 팔, 목, 다리 등을 동작시키기 위해 다수의 관절과 각 관절을 구동하는 구동 모터를 복수 개 구비할 수 있다. 복수 개의 구동 모터는 통상 상호 독립적으로 제어되며, 로봇의 내부에 설치된 로봇 제어부 또는 외부에 설치된 제어용 컴퓨터에 의하여 제어된다.

이러한 휴머노이드 로봇은 복수 개의 구동 모터의 독립적인 제어에 의해 다양한 동작을 구현할 수 있고, 사용자의 동작을 반영하여 동작시킬 수 있다. 이 경우 사용자는 휴머노이드 로봇을 제어할 수 있는 별도의 장비를 장착하여 사용자의 동작 정보를 휴머노이드 로봇에게 전송할 수 있다.

그러나, 사용자의 동작을 무한 반영하여 로봇을 제어하는 경우 예기치 못한 사고 발생의 위험이 있어 사용자의 상태를 반영하여 로봇의 동작을 제한하는 연구가 필요한 실정이다.

본 발명의 일 측면은 사용자의 상태 정보에 따라 로봇의 동작을 제한할 수 있는 로봇 제어 시스템 및 그 방법을 제공한다.

본 발명의 일측면은 사용자의 동작을 감지하여 로봇을 제어하는 로봇 제어 시스템에 관한 것으로, 상기 사용자의 동작을 반영하며, 일정 범위의 동작 제한 범위에 따라 동작하는 로봇, 상기 사용자의 동작을 감지하는 동작 감지 센서와, 사용자의 눈 상태 정보를 인식하는 HMD(Head Mounted Display)를 포함하는 사용자 부착장치 및 상기 동작 감지 센서에 의해 감지되는 상기 사용자의 동작에 따라 상기 로봇의 동작을 제어하고, 상기 HMD(Head Mounted Display)에 의해 인식되는 상기 사용자의 눈 상태 정보에 따라 상기 로봇의 동작 제한 범위를 제어하는 관리서버를 포함한다.

상기 HMD(Head Mounted Display)는 상기 사용자의 눈 상태 정보를 획득할 수 있는 눈영역 촬영부를 포함하고, 상기 눈영역 촬영부는 사용자 눈의 감김 여부를 판단하여 상기 눈 상태 정보를 인식할 수 있다.

상기 눈영역 촬영부가 사용자 눈의 감김 여부를 판단하여 상기 눈 상태 정보를 인식하는 것은, 사용자의 눈에 있는 동공의 상의 형태 변형, 즉 동공의 왜곡된 정도를 임계치와 비교하여 상기 사용자의 눈의 감김 여부를 판단하여 상기 눈 상태 정보를 인식하는 것을 특징으로 할 수 있다.

상기 로봇의 동작 제한 범위는 상기 로봇의 동작 속도 제한 범위, 상기 로봇의 동작 진행 방향 제한 범위 또는 로봇의 동작 각도 제한 범위 중 적어도 하나를 포함할 수 있다.

상기 사용자의 동작을 반영하며, 일정 범위의 동작 제한 범위에 따라 동작하는 로봇은, 상기 사용자의 눈 상태 정보에 따라 미리 정해진 복수 개의 동작 제한 범위 중 어느 하나의 범위에 따라 제어될 수 있다.

본 발명의 일측면은 사용자의 동작을 감지하여 로봇을 제어하는 로봇 제어 방법에 관한 것으로, HMD(Head Mounted Display)에 구비된 눈영역 촬영부가 사용자의 눈 상태 정보를 획득하는 단계, 상기 HMD(Head Mounted Display)에서 획득된 정보를 관리서버로 전송하여 상기 로봇의 동작 제한 범위를 설정하는 단계, 상기 관리서버에 의해 설정된 상기 로봇의 동작 제한 범위에 따라 상기 로봇을 구동시키는 단계를 포함한다.

상기 HMD(Head Mounted Display)에 구비된 눈영역 촬영부가 사용자의 눈 상태 정보를 획득하는 단계는, 사용자의 눈에 있는 동공의 상의 형태 변형, 즉 동공의 왜곡된 정도를 임계치와 비교하여 상기 사용자의 눈의 감김 여부를 판단하여 상기 눈 상태 정보를 획득할 수 있다.

상기 HMD(Head Mounted Display)에서 획득된 정보를 관리서버로 전송하여 상기 로봇의 동작 제한 범위를 설정하는 단계는, 상기 사용자의 눈 상태 정보를 획득하여 상기 관리서버로 전송하고, 상기 정보를 기반으로 하여 상기 사용자의 눈 상태 정보에 따라 상기 로봇의 동작 제한 범위를 설정할 수 있다.

상술한 본 발명의 일측면에 따르면, 사용자의 상태 정보를 반영하여 로봇의 동작 범위를 제한하므로 보다 안정적이며, 사고 발생의 위험을 줄일 수 있다.

도 1 은 본 발명의 일 실시예에 따른 로봇 제어 시스템을 도시한 도면이다.
도 2 는 도 1 에 도시된 로봇 제어 시스템의 블록도이다.
도 3a 는 도 2 에 도시된 사용자 부착장치의 동작 감지 센서에 대한 제어 블록도이다.
도 3b 는 도 2 에 도시된 사용자 부착장치의 HMD(Head Mounted Display)에 대한 제어 블록도이다.
도 4 는 도 2 에 도시된 관리서버에 대한 제어 블록도이다.
도 5 는 도 2 에 도시된 로봇에 대한 제어 블록도이다.
도 6 는 본 발명의 일 실시예에 따른 로봇 제어 방법을 도시한 순서도이다.
도 7 는 도 6 을 설명하기 위해 사용자의 눈을 도시한 도면이다.
도 8 는 도 6 의 패킷화 방법을 도시한 도면이다.
도 9 은 본 발명의 일 실시예에 따른 로봇의 동작 제한 범위를 설명하기 위해 도시한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1 은 본 발명의 일 실시예에 따른 로봇 제어 시스템을 도시한 도면이며, 도 2 는 도 1 에 도시된 로봇 제어 시스템의 블록도이다.

도 1 및 도 2 를 참조하면, 본 발명의 일 실시예에 따른 로봇 제어 시스템(1)은 사용자 부착장치(100), 관리서버(400) 및 로봇(500)을 포함할 수 있으며, 사용자 부착장치(100)는 동작 감지 센서(200) 및 HMD(Head Mounted Display)(300)를 포함할 수 있다.

동작 감지 센서(200)는 사용자의 신체에 장착되어 사용자의 동작 정보를 획득할 수 있다. 동작 감지 센서(200)는 로봇(500)을 동작시키기 위해 사용자의 관절이나 근육 등 임의의 지점에 복수 개 설치될 수 있다. 사용자 동작 정보는 사용자 동작 진행 방향 정보, 사용자 동작 속도 정보, 사용자 동작 각도 정보 중 적어도 하나를 포함할 수 있다. 사용자 동작 진행 방향 정보는 사용자의 관절 이동 진행 방향 정보 또는 사용자의 위치 이동 진행 방향 정보를 모두 포함할 수 있다. 사용자 동작 속도 정보는 관절의 이동 속도 정보 또는 사용자의 위치 이동 속도 정보를 모두 포함할 수 있다. 사용자 동작 각도 정보는 관절의 이동 각도 정보를 포함할 수 있다. 동작 감지 센서(200)는 자이로 센서, 기울기 센서, 가속도 센서 등과 같이 사용자의 동작 진행 방향 정보, 사용자의 동작 속도 정보 및 사용자의 동작 각도 정보를 측정할 수 있는 공지된 센서가 이용될 수 있다.

HMD(300)는 헤드 마운티드 디스플레이(Head Mounted Display, 이하 HMD)로서, 사용자에게 증강 현실 또는 가상 현실 정보를 제공할 수 있다. 본 발명의 일측면에 의하면 HMD(300)는 로봇(500)의 시야 정보를 사용자에게 제공할 수 있다.

HMD(300)는 사용자의 눈 상태를 인식할 수 있는 눈영역 촬영부(321)를 포함하여 구성될 수 있고, 사용자의 눈 상태를 인식하여 사용자의 눈 상태 정보를 관리서버(400)에 전송할 수 있다. 눈영역 촬영부(321)는 카메라, 적외선 센서 등 공지된 촬영 장치가 이용될 수 있다. 사용자의 눈 상태 정보는 동공의 크기, 홍채의 확장 및 수축, 눈의 감김 여부 중 적어도 하나를 포함할 수 있다.

본 발명의 일측면은 눈의 감김 여부를 판단하여 사용자의 눈 상태 정보를 획득하는 방법을 적용할 수 있다. 한편, 눈의 감김 여부는 추후에 기술되는 사용자의 졸음 여부 판단 시 유용한 데이터가 되며, 판단 방법은 아래와 같은 방법이 사용될 수 있다.

사용자의 눈에 있는 동공의 형태는 평상시에 원형(circle)을 유지하지만 눈꺼풀이 감김에 따라 눈꺼풀이 광원의 통로(동공)를 가리기 때문에 원래의 형태로부터 변형되기 시작하고, 눈을 완전히 감았을 경우에는 동공의 상이 상기 취득한 눈 영상에서 완전히 사라지게 된다. 그러므로 동공의 상의 형태 변형, 즉 동공의 왜곡된 정도를 미리 설정해 놓은 임계치와 비교하여 눈의 감김 여부를 판단할 수 있다. 이와 더불어, 눈의 감김 여부 지속 시간 즉, 동공의 상의 형태 변형, 즉 동공의 왜곡된 정도를 미리 설정해 놓은 임계치와 비교하여 그 이상이 된 상태로 설정된 시간 이상 지속되거나, 동공의 상이 완전히 사라진 시간이 설정된 시간 이상 지속되면 졸음이라고 판단할 수 있다.

한편, 상술한 방법 외에 사용자의 눈 상태 정보에 따라 졸음 여부를 판단하는 공지된 모든 방법이 본 발명의 실시예로 적용될 수 있음은 물론이다.

로봇(500)은 사용자 정보를 반영하여 구동될 수 있다. 사용자 정보는 사용자의 동작 정보를 포함할 수 있다. 사용자 동작 정보는 사용자 동작 진행 방향 정보, 사용자 동작 속도 정보, 사용자 동작 각도 정보 중 적어도 하나를 포함할 수 있다. 로봇(500)은 상술한 사용자 동작 진행 방향 정보, 사용자 동작 속도 정보 또는 사용자 동작 각도 정보를 반영하여 구동될 수 있다.

로봇(500)은 사용자의 눈 상태 정보를 반영하여 구동될 수 있다. 로봇(500)은 사용자의 눈 상태 정보에 따라 판단된 사용자의 졸음 상태에 의해 구동 범위가 제한될 수 있다. 로봇(500)은 사용자의 상태가 졸음 상태가 아니라 판단되면 100% 구동 범위를 가지며, 사용자의 상태가 졸음 상태라 판단되면 졸음 상태로 판단된 이후의 지속 시간에 따라 구동 범위가 줄어들도록 제어될 수 있다.

로봇(500)은 주변을 촬영하고, 촬영된 정보를 관리 서버(400)에 전송할 수 있다. 후술하는 관리 서버(400)는 로봇(500)으로부터 전송된 영상 정보를 사용자가 장착한 HMD(300)를 통해 사용자에게 실시간으로 제공할 수 있다. 로봇(500)은 사용자의 시선 정보에 따라 주변을 촬영할 수 있다. 사용자의 시선 정보는 HMD(300)를 장착한 사용자의 머리 방향 정보에 따라 획득될 수 있다.

로봇(500)은 사용자의 시선 정보에 따라 촬영 방향 또는 촬영 각도를 변경하여 외부를 촬영할 수 있다. 이에 따라, 로봇(500)은 사용자의 머리 움직임을 반영하여 주변을 촬영하고, 해당 정보를 전송함에 의해 사용자가 로봇(500)의 관점에서 주변을 볼 수 있도록 한다.

관리서버(400)는 동작 감지 센서(200) 및 HMD(300)로부터 사용자 동작 정보 및 사용자의 눈 상태 정보를 전송받을 수 있다. 관리서버(400)는 전송받은 사용자 동작 정보 및 사용자의 눈 상태 정보를 로봇(500)에 전송할 수 있다.

도 3a 는 도 2 에 도시된 사용자 부착장치의 동작 감지 센서에 대한 제어 블록도이다.

도 3a 를 참조하면, 사용자 부착장치(100)의 동작 감지 센서(200)는 동작 감지 센서 통신부(210), 동작 감지 센서부 (220), 동작 감지 센서 제어부(230), 동작 감지 센서 메모리부(240) 및 동작 감지 센서 전원부(250)를 포함할 수 있다.

동작 감지 센서 통신부(210)는 관리서버(400)와 통신을 수행할 수 있으며, 무선 인터넷 모듈 및 근거리 통신 모듈을 포함할 수 있다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로, 내장되거나 외장될 수 있다. 근거리 통신 모듈은 근거리 통신을 위한 모듈로, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), Zigbee 통신을 포함할 수 있다.

동작 감지 센서부(220)는 사용자 동작 진행 방향 정보 또는 사용자 동작 속도 정보를 측정할 수 있다. 동작 감지 센서부(220)는 자이로 센서, 기울기 센서, 가속도 센서 등과 같이 사용자의 동작 진행 방향 정보와 사용자의 동작 속도 정보를 측정할 수 있는 공지된 센서가 적용될 수 있다. 동작 감지 센서부(220)는 사용자의 동작 정보를 인식하기 위해 필요한 부위에 설치될 수 있다. 동작 감지 센서부(220)는 사용자의 관절부에 복수 개 부착될 수 있으며, 예를 들어, 상반신의 손목과 인접한 팔의 바깥쪽 부분과, 팔꿈치와 인접한 팔의 바깥쪽 부분에, 또는 하반신의 발목과 인접한 다리의 바깥쪽 부분, 무릎과 인접한 다리의 바깥쪽 부분 등 사용자 신체의 중심에서 먼 쪽에 부착될 수 있다.

동작 감지 센서 제어부(230)는 동작 감지 센서부(220)에서 측정한 센서의 데이터를 관리서버(400)에 전송하기 위해 측정한 센서의 데이터 값을 패킷으로 구성할 수 있다.

동작 감지 센서 메모리부(240)는 동작 감지 센서 제어부(230)의 처리 및 제어를 위한 프로그램을 저장할 수 있으며, 입/출력 되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다.

동작 감지 센서 전원부(250)는 동작 감지 센서 제어부(230)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

도 3b 는 도 2 에 도시된 사용자 부착장치의 HMD에 대한 제어 블록도이다.

도 3b 를 참조하면, 사용자 부착장치(100)의 HMD(300)는 HMD 통신부(310), HMD 입력부(320), HMD 제어부(330), HMD 출력부(340), HMD 메모리부(350) 및 HMD 전원부(360)를 포함한다.

HMD 통신부(310)는 관리서버(400)와 통신을 수행할 수 있으며, 무선 인터넷 모듈 및 근거리 통신 모듈을 포함할 수 있다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로, 내장되거나 외장될 수 있다. 근거리 통신 모듈은 근거리 통신을 위한 모듈로, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), Zigbee 통신을 포함할 수 있다.

HMD 입력부(320)는 눈영역 촬영부(321) 및 헤드 트래킹 센서(322)를 포함할 수 있다.

눈영역 촬영부(321)는 사용자의 눈 상태를 인식할 수 있는 카메라, 적외선 센서 등 공지된 촬영 장치가 이용될 수 있다. 사용자의 눈 상태 정보는 동공의 크기, 홍채의 확장 및 수축, 눈의 감김 여부 중 적어도 하나를 포함할 수 있다. 눈의 감김 여부를 판단하여 사용자의 눈 상태 정보를 획득하는 방법을 적용할 수 있다.

사용자의 눈에 있는 동공의 형태는 평상시에 원형(circle)을 유지하지만 눈꺼풀이 감김에 따라 눈꺼풀이 광원의 통로(동공)를 가리기 때문에 원래의 형태로부터 변형되기 시작하고, 눈을 완전히 감았을 경우에는 동공의 상이 상기 취득한 눈 영상에서 완전히 사라지게 된다. 그러므로 동공의 상의 형태 변형, 즉 동공의 왜곡된 정도를 미리 설정해 놓은 임계치와 비교하여 눈의 감김 여부를 판단할 수 있다. 이와 더불어, 눈의 감김 여부 지속 시간 즉, 동공의 상의 형태 변형, 즉 동공의 왜곡된 정도를 미리 설정해 놓은 임계치와 비교하여 그 이상이 된 상태로 설정된 시간 이상 지속되거나, 동공의 상이 완전히 사라진 시간이 설정된 시간 이상 지속되면 졸음이라고 판단할 수 있다. 판단된 사용자의 눈 상태 정보는 관리서버(400)에 전송되어 로봇(500)의 동작 제한 범위를 조정할 수 있다.

헤드 트래킹 센서(322)는 HMD(300)의 일측에 장착되어, 사용자의 머리 방향 정보를 획득할 수 있다. 헤드 트래킹 센서(322)에 의해 획득되는 사용자의 머리 방향 정보는 관리서버(400)에 전송되어 로봇(500)의 시선 방향을 전환시킬 수 있다.

HMD 제어부(330)는 눈영역 촬영부(321)로부터 획득된 사용자 눈 상태 정보를 관리서버(400)에 전송할 수 있다. 이에 따라, 관리서버(400)는 로봇(500)의 동작 제한 범위를 조정할 수 있다. 로봇(500)의 동작 제한 범위는 사용자의 상태가 졸음 상태가 아니라 판단되면 100% 구동 범위를 가지며, 사용자의 상태가 졸음 상태라 판단되면 졸음 상태로 판단된 이후부터 그 지속 시간에 따라 구동 범위가 점점 제한되도록 조정될 수 있다. 로봇의 동작 제한 범위는 로봇의 동작 속도 제한 범위, 로봇의 동작 진행 방향 제한 범위 또는 로봇의 동작 각도 제한 범위 중 적어도 하나를 포함할 수 있다.

HMD 제어부(330)는 헤드 트래킹 센서(322)로부터 획득된 사용자의 머리 방향 정보를 관리서버(400)에 전송할 수 있다. 이에 따라, 관리서버(400)는 로봇(500)의 시선 방향을 전환하여 사용자가 원하는 방향의 시야 영상을 획득할 수 있다.

HMD 제어부(330)는 로봇 촬영부(520)로부터 촬영된 로봇(500)의 시야를 사용자에게 제공하기 위해 HMD 출력부(340)를 제어할 수 있다.

HMD 출력부(340)는 영상 표시 장치, 음성 출력 장치 중 적어도 하나 이상의 장치를 포함할 수 있다. 본 발명의 일측면은 영상 표시 장치를 포함할 수 있다. 로봇 촬영부(520)로부터 촬영된 영상 데이터를 관리서버(400)를 통해 전송받을 수 있다. 이에 따라 사용자는 로봇의 시야 영상을 3D 증강 현실로 제공받을 수 있다.

HMD 메모리부(350)는 HMD 제어부(330)의 처리 및 제어를 위한 프로그램을 저장할 수 있으며, 입/출력 되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다.

HMD 전원부(360)는 HMD 제어부(330)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

도 4 는 도 2 에 도시된 관리서버에 대한 제어 블록도이다.

도 4 를 참조하면, 관리서버(400)는 관리서버 통신부(410), 관리서버 제어부(420), 관리서버 메모리부(430) 및 관리서버 전원부(440)를 포함한다.

관리서버 통신부(410)는 동작 감지 센서(200), HMD(300) 및 로봇(500)과 통신을 수행할 수 있으며, 무선 인터넷 모듈 및 근거리 통신 모듈을 포함할 수 있다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로, 내장되거나 외장될 수 있다. 근거리 통신 모듈은 근거리 통신을 위한 모듈로, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), Zigbee 통신을 포함할 수 있다.

관리서버 제어부(420)는 사용자 동작 정보를 바탕으로 로봇(500)이 구동될 수 있게 데이터를 변환하여 로봇(500)에 전송할 수 있다. 사용자 동작 정보는 사용자 동작 진행 방향 정보, 사용자 동작 속도 정보 또는 사용자 동작 각도 정보 중 적어도 하나를 포함할 수 있다.

관리서버 제어부(420)는 HMD(300)의 눈영역 촬영부(321)로부터 전송받은 눈 상태 정보를 바탕으로 사용자의 상태를 판단하여 로봇(500)의 동작 제한 범위를 조정한다. 사용자의 상태가 졸음 상태면 졸음 상태로 판단된 이후 그 지속 시간에 따라 구동 범위가 줄어들도록 제어될 수 있다. 본 발명의 일측면은 눈의 감김 여부를 판단하여 사용자의 눈 상태 정보를 획득하는 방법을 적용할 수 있다. 한편, 눈의 감김 여부는 추후에 기술되는 사용자의 졸음 여부 판단 시 유용한 데이터가 되며, 판단 방법은 아래와 같은 방법이 사용될 수 있다.

눈영역 촬영부(321)에 의해 획득된 눈 상태 정보를 바탕으로 사용자의 상태가 졸음 상태가 아니라 판단되면, 로봇(500)은 100%의 구동 범위를 가질 수 있다. 눈영역 촬영부(321)에 의해 획득된 눈 상태 정보를 바탕으로 사용자의 상태가 졸음 상태라 판단될 경우, 졸음 상태라 판단된 이후부터 그 지속 시간에 따라 로봇의 동작 제한 범위가 조정될 수 있다. 관리서버 제어부(420)는 사용자의 상태가 졸음 상태라 판단될 경우, 졸음 상태라 판단된 이후부터 그 지속 시간에 따라 로봇의 동작 제한 범위가 점점 제한되도록 조정될 수 있다. 로봇의 동작 제한 범위는 로봇의 동작 속도 제한 범위, 로봇의 동작 진행 방향 제한 범위 또는 로봇의 동작 각도 제한 범위 중 적어도 하나를 포함할 수 있다.

예를 들면, 로봇의 동작 제한 범위는 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 A초 이상 B초 미만일 경우, B초 이상 C초 미만일 경우, C초 이상일 경우로 구분되어 그 지속 시간이 계속됨에 따라 동작 제한 범위는 점점 제한되도록 조정될 수 있다. 이때, 상술된 A, B, C는 A<B<C 이다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간을 3가지 경우로 구분되었으나, 그 이상 또는 그 이하로 구분될 수 있다. 또한, 로봇의 동작 제한 범위도 변경될 수 있음은 물론이다.

관리서버 제어부(420)는 로봇 촬영부(520)로부터 촬영된 영상 데이터를 전송받고 전송받은 데이터를 HMD(300)에 전송하여 사용자가 HMD 출력부(340)를 통해 로봇(500)의 시야 영상을 볼 수 있도록 한다. HMD 출력부(340)를 통해 사용자에게 제공되는 영상은 3D 증강 현실로 표시될 수 있다.

관리서버 메모리부(430)는 관리서버 제어부(420)의 처리 및 제어를 위한 프로그램을 저장할 수 있으며, 입/출력 되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다.

관리서버 전원부(440)는 관리서버 제어부(420)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

도 5 는 도 2 에 도시된 로봇에 대한 제어 블록도이다.

도 5 를 참조하면, 로봇(500)은 로봇 통신부(510), 로봇 촬영부(520), 로봇 제어부(530), 로봇 구동부(540), 로봇 메모리부(550) 및 로봇 전원부(560)를 포함한다.

로봇 통신부(510)는 관리서버(400)와 통신을 수행할 수 있으며, 무선 인터넷 모듈 및 근거리 통신 모듈을 포함할 수 있다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로, 내장되거나 외장될 수 있다. 근거리 통신 모듈은 근거리 통신을 위한 모듈로, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), Zigbee 통신을 포함할 수 있다.

로봇 촬영부(520)는 로봇(500)의 전방 시야를 촬영하기 위해 로봇(500)에 구비될 수 있다. 로봇 촬영부(520)로부터 촬영된 영상은 관리서버(400)에 전송된다. 관리서버(400)에 전송된 영상 데이터는 HMD 출력부(340)에 표시되어 로봇(500)의 시야를 사용자에게 제공할 수 있다. HMD 출력부(340)에 표시되는 영상은 3D 증강 현실로 표시될 수 있다.

로봇 제어부(530)는 로봇 촬영부(520)와 로봇 구동부(540)와 연동될 수 있다.

로봇 제어부(530)는 로봇 촬영부(520)로부터 촬영된 영상 정보를 수신하여 관리서버(400)에 전송할 수 있다. 관리서버(400)에 전송된 영상 정보는 HMD 출력부(340)에 전송되어 HMD(300)를 통해 사용자에게 로봇(500)의 시야를 제공할 수 있다. HMD 출력부(340)에 표시되는 영상은 3D 증강 현실로 표시될 수 있다.

로봇 제어부(530)는 관리서버(400)로부터 전송받은 사용자 동작 정보와 로봇(500)의 동작 제한 범위에 따라 로봇(500)의 동작을 제어할 수 있다.

로봇 구동부(540)는 로봇(500)의 관절부에 복수 개 장착될 수 있으며, 사용자 동작 정보 및 사용자의 눈 상태 정보에 따른 로봇(500)의 동작 제한 범위에 따라 구동될 수 있다. 사용자 동작 정보는 동작 감지 센서부(220) 에 의해 감지될 수 있다. 로봇(500)의 동작 제한 범위는 HMD(300)의 눈영역 촬영부(321)에 의해 인식된 사용자의 눈 상태 정보에 따라 제어될 수 있다.

로봇 메모리부(550)는 로봇 제어부(530)의 처리 및 제어를 위한 프로그램을 저장할 수 있으며, 입/출력 되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다.

로봇 전원부(560)는 로봇 제어부(530)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

도 6 는 본 발명의 일 실시예에 따른 로봇 제어 방법을 도시한 순서도이다.

도 7 는 도 6 를 설명하기 위해 사용자의 눈을 도시한 도면이다.

도 8 는 도 6 의 패킷화 방법을 도시한 도면이다.

도 6, 도 7 및 도 8 을 참조하면, 사용자 동작에 따라 로봇 제어 방법을 설명한다. 본 발명의 일측면에 따르면 동작 감지 센서부(220)는 자이로 센서일 수 있다.

먼저, 동작 감지 센서부(220)에 의해 사용자의 동작이 감지되면, 감지된 사용자 동작의 센서값은 중력 가속도를 상기 자이로 센서 기준으로 분해한 x, y, z축의 힘의 방향 값으로 각 {X, Y, Z}축 값으로 구분되어 float값으로 표현된 후, float값을 패킷으로 구성한다. 패킷으로 구성된 센서값은 동작 감지 센서 제어부(230)로 전송되고(610), 다시 패킷화하여 관리서버(400)로 전송한다. 도 8 에 도시된 것과 같이 1바이트의 전송지와 1바이트의 수신지, 1바이트의 메시지 타입과 80바이트의 메시지로 패킷화 방법을 수행할 수 있다(620).

이후, 패킷화된 센서값들은 관리서버(400)에서 파싱된 후, 로봇(500)의 로봇 구동부(540)가 매핑된 자이로 센서와 같은 각도로 움직이도록 로봇(500)의 회전치로 변경하여 다시 패킷화 수행하고, 로봇 제어부(530)로 전송하여 로봇 구동부(540)를 구동한다(630).

HMD(300)의 눈영역 촬영부(321)는 로봇(500)이 구동됨에 따라 사용자의 동공을 검출하여 사용자의 눈의 감김 여부를 획득한다. 한편, 눈의 감김 여부는 추후에 기술되는 사용자의 졸음 여부 판단 시 유용한 데이터가 되며, 판단 방법은 아래와 같은 방법이 사용될 수 있다. 눈의 감김 여부를 판단하여 사용자의 졸음 여부를 판단하는 방법은 이미 공지된 "한국공개특허 제 10-2006-0022935호"에 상세히 개시되어 있다. 한편, 상술한 방법 외에 사용자의 눈 상태 정보에 따라 졸음 여부를 판단하는 공지된 모든 방법이 본 발명의 실시예로 적용될 수 있음은 물론이다.

사용자의 눈에 있는 동공의 형태는 평상시에 원형(circle)을 유지하지만 눈꺼풀이 감김에 따라 눈꺼풀이 광원의 통로(동공)를 가리기 때문에 원래의 형태로부터 변형되기 시작하고, 눈을 완전히 감았을 경우에는 동공의 상이 상기 취득한 눈 영상에서 완전히 사라지게 된다. 그러므로 동공의 상의 형태 변형, 즉 동공의 왜곡된 정도를 미리 설정해 놓은 임계치와 비교하여 눈의 감김 여부를 판단할 수 있다(640).

판단된 눈의 감김 여부 즉, 눈 상태 정보를 관리서버(400)에 전송한다. 이와 더불어, 눈의 감김 여부 지속 시간 즉, 동공의 상의 형태 변형, 즉 동공의 왜곡된 정도를 미리 설정해 놓은 임계치와 비교하여 그 이상이 된 상태로 설정된 시간 이상 지속되거나, 동공의 상이 완전히 사라진 시간이 설정된 시간 이상 지속되면 졸음이라고 판단할 수 있다(650).

사용자의 상태가 졸음 상태인 경우, 졸음 상태의 지속시간에 따라 로봇(500)의 동작 제한 범위는 조정된다(660). 이때, 로봇(500)의 동작 제한 범위는 졸음 상태로 판단된 경우, 졸음 상태로 판단된 이후부터 그 지속 시간에 따라 점점 좁혀질 수 있다(670).

예를 들면, 로봇의 동작 제한 범위는 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 A초 이상 B초 미만일 경우, B초 이상 C초 미만일 경우, C초 이상일 경우로 구분되어 그 지속 시간이 계속됨에 따라 동작 제한 범위는 점점 좁게 제한될 수 있다. 이때, 상술된 A, B, C는 A<B<C 이다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간을 3가지 경우로 구분되었으나, 그 이상 또는 그 이하로 구분될 수 있다. 또한, 로봇의 동작 제한 범위도 변경될 수 있음은 물론이다. 로봇의 동작 제한 범위는 로봇의 동작 속도 제한 범위, 로봇의 동작 진행 방향 제한 범위 또는 로봇의 동작 각도 제한 범위 중 적어도 하나를 포함할 수 있다.

도 9 는 본 발명의 일 실시예에 따른 로봇의 동작 제한 범위를 설명하기 위해 도시한 도면이다. 동작 감지 센서(200)는 사용자의 동작을 감지하여 사용자 동작 정보를 획득할 수 있다. 사용자 동작 정보는 사용자 동작 진행 방향 정보, 사용자 동작 속도 정보 또는 사용자 동작 각도 정보 중 적어도 하나를 포함할 수 있다. 또한, HMD(300)의 눈영역 촬영부(321)는 사용자의 눈 상태 정보를 획득할 수 있다. 동작 감지 센서(200)로부터 획득된 사용자 동작 정보 및 눈 상태 정보에 따라 로봇(500)의 동작 제한 범위가 제어될 수 있다.

후술하는 로봇의 동작 제한 범위는 한가지 경우를 예를 들어 설명한 것으로 로봇의 동작 제한 범위를 구분하는 졸음 지속 시간 및 동작 제한 범위 등은 변경될 수 있다.

동작 감지 센서부(220)는 사용자의 팔꿈치 관절을 θ의 각도만큼 구부렸다고 인식할 수 있다. 동작 감지 센서(200)는 사용자 동작 정보를 관리서버(400)에 전송할 수 있다. HMD(300)는 눈영역 촬영부(321)에 의해 판단된 눈 상태 정보를 관리서버(400)에 전송할 수 있다.

눈영역 촬영부(321)에 의해 획득된 눈 상태 정보가 사용자가 졸음 상태가 아니라 판단되면, 팔꿈치 관절을 θ의 각도만큼 구부렸을 때, 로봇(500)은 사용자 동작에 대해 100% 구동하므로 θ의 각도만큼 구동될 수 있다. 반면에 눈영역 촬영부(321)에 의해 획득된 눈 상태 정보가 졸음 상태라 판단되면, 팔꿈치 관절을 θ의 각도만큼 구부렸을 때 졸음 상태라 판단된 이후부터 그 지속 시간에 따라 로봇(500)의 동작은 제한될 수 있다.

눈 상태 정보에 따라 사용자의 상태가 졸음 상태라 판단되며, 졸음 상태로 판단된 이후부터 그 지속 시간이 A초 이상 B초 미만일 경우, 사용자의 동작 정보에 따라 로봇(500)은 사용자 동작에 대해 80%의 동작만 구동되므로 θa의 각도만큼 동작을 구동될 수 있다. 눈 상태 정보에 따라 사용자의 상태가 졸음 상태라 판단되며, 졸음 상태로 판단된 이후부터 그 지속 시간이 B초 이상 C초 미만일 경우, 사용자의 동작 정보에 따라 로봇(500)은 사용자 동작에 대해 50%의 동작만 구동되므로 θb의 각도 만큼만 구동될 수 있다. 눈 상태 정보에 따라 사용자의 상태가 졸음 상태라 판단되며, 졸음 상태로 판단된 이후부터 그 지속 시간이 C초 이상일 경우, 사용자의 동작 정보에 따라 로봇(500)은 사용자 동작에 대해 0%의 동작이 구동되므로 θc의 각도만큼 구동될 수 있다.

또한, 상술한 사용자에 따라 로봇의 동작이 제한되는 로봇의 동작 제한 범위 또는 로봇의 동작 제한에 관한 수치도 조정될 수 있음은 물론이다. 상술한 로봇의 동작 제한 범위는 로봇의 동작 각도 제한 범위를 적용하였으나, 이 외에 로봇의 동작 진행 방향 제한 범위 또는 로봇의 동작 속도 제한 범위 등과 같이 로봇의 동작과 관련하여 제한할 수 있는 실시예를 모두 포함할 수 있다.

또한, 상술한 로봇의 동작 제한 범위는 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 A초 이상 B초 미만일 경우, B초 이상 C초 미만일 경우, C초 이상일 경우로 구분될 수 있다. 이때, 상술된 A, B, C는 A<B<C 이다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간을 3가지 경우로 구분하였으나, 그 이상 또는 그 이하로 구분할 수 있다.

또한, 로봇의 동작 제한 범위는 로봇의 동작 속도 제한 범위일 수 있다.

예를 들어, 로봇의 동작 제한 범위는 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 A초 이상 B초 미만일 경우, B초 이상 C초 미만일 경우, C초 이상일 경우로 구분될 수 있다. 이때, 상술된 A, B, C는 A<B<C 이다. 사용자의 상태가 졸음 상태가 아니라 판단되면, 로봇의 동작 속도는 사용자 동작 속도에 대해 100% 반영하여 구동될 수 있다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 A초 이상 B초 미만일 경우, 로봇의 동작 속도는 사용자의 동작 속도에 대해 80% 반영하여 구동될 수 있다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 B초 이상 C초 미만일 경우, 로봇의 동작 속도는 사용자의 동작 속도에 대해 50% 반영하여 구동될 수 있다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 C초 이상일 경우, 로봇의 동작 속도는 사용자의 동작 속도에 대해 0% 반영하여 구동될 수 있다.

또한, 사용자 동작 속도 정보는 관절의 이동 속도 정보 또는 사용자의 위치 이동 속도 정보를 모두 포함할 수 있다.

사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간을 3가지 경우로 구분하였으나, 그 이상 또는 그 이하로 구분할 수 있다. 또한, 상술한 사용자에 따라 로봇의 동작이 제한되는 로봇의 동작 제한 범위 또는 로봇의 동작 제한에 관한 수치도 조정될 수 있음은 물론이다.

또한, 로봇의 동작 제한 범위는 로봇의 동작 진행 방향 제한 범위일 수 있다.

예를 들어, 로봇의 동작 제한 범위는 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 A초 이상 B초 미만일 경우, B초 이상 C초 미만일 경우, C초 이상일 경우로 구분될 수 있다. 이때, 상술된 A, B, C는 A<B<C 이다. 사용자의 상태가 졸음 상태가 아니라 판단되면, 로봇의 동작 진행 방향은 사용자 동작 진행 방향에 대해 100% 반영하여 구동될 수 있다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 A초 이상 B초 미만일 경우, 로봇의 동작 진행 방향은 사용자의 동작 진행 방향에 대해 80% 반영하여 구동될 수 있다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 B초 이상 C초 미만일 경우, 로봇의 동작 진행 방향은 사용자의 동작 진행 방향에 대해 50% 반영하여 구동될 수 있다. 사용자의 상태가 졸음 상태로 판단된 이후 그 지속 시간에 따라 C초 이상일 경우, 로봇의 동작 진행 방향은 사용자의 동작 진행 방향에 대해 0% 반영하여 구동될 수 있다.

또한, 사용자 동작 진행 방향 정보는 사용자의 관절 이동 진행 방향 정보 또는 사용자의 위치 이동 진행 방향 정보를 모두 포함할 수 있다.

이와 같은, 동작 감지 센서 및 HMD를 이용하여 로봇을 제어하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 사용자 부착장치
200: 동작 감지 센서
220: 동작 감지 센서부
300: HMD(Head Mounted Display)
400: 관리서버
500: 로봇
540, 540a, 540b: 로봇 구동부

Claims

사용자의 동작을 감지하여 로봇을 제어하는 로봇 제어 시스템에 있어서,
상기 사용자의 동작을 반영하며, 일정 범위의 동작 제한 범위에 따라 동작하는 로봇;
상기 사용자의 동작을 감지하는 동작 감지 센서와, 사용자의 눈 상태 정보를 인식하는 HMD(Head Mounted Display)를 포함하는 사용자 부착장치; 및
상기 동작 감지 센서에 의해 감지되는 상기 사용자의 동작에 따라 상기 로봇의 동작을 제어하고, 상기 HMD(Head Mounted Display)에 의해 인식되는 상기 사용자의 눈 상태 정보에 따라 상기 로봇의 동작 제한 범위를 제어하는 관리서버를 포함하되,
상기 HMD(Head Mounted Display)는 상기 사용자 눈의 감김 여부를 판단하여 눈 상태 정보를 획득할 수 있는 눈영역 촬영부를 포함하고,
상기 눈영역 촬영부가 사용자의 눈의 감김 여부를 판단하여 눈 상태 정보를 획득하는 것은,
상기 사용자의 눈에 있는 동공의 왜곡된 정도를 임계치와 비교하여 임계치 이상이 된 상태로 설정된 시간 이상 지속되거나, 상기 동공의 상이 완전히 사라진 시간이 설정된 시간 이상 지속되면 졸음으로 판단하는 것을 포함하고,
상기 졸음으로 판단된 시점으로부터 지속 시간을 확인하고, 상기 지속 시간에 따라 상기 로봇의 동작 범위를 단계적으로 제한하고,
상기 지속 시간은 적어도 3가지 이상의 범위에 속할 수 있으며,
상기 지속 시간이 속하는 3가지 이상의 범위 중 어느 하나의 범위에 따라 로봇의 동작 제한 범위가 결정되고, 상기 로봇의 동작 제한 범위는 로봇의 동작 속도 제한 범위, 로봇의 동작 진행 방향 제한 범위 및 로봇의 동작 각도 제한 범위를 모두 포함하는 로봇 제어 시스템.
삭제
삭제
삭제
제 1 항에 있어서,
상기 사용자의 동작을 반영하며, 일정 범위의 동작 제한 범위에 따라 동작하는 로봇은,
상기 사용자의 눈 상태 정보에 따라 미리 정해진 복수 개의 동작 제한 범위 중 어느 하나의 범위에 따라 제어되는 로봇 제어 시스템.
사용자의 동작을 감지하여 로봇을 제어하는 로봇 제어 방법에 있어서,
HMD(Head Mounted Display)에 구비된 눈영역 촬영부가 사용자의 눈 상태 정보를 획득하는 단계;
상기 HMD(Head Mounted Display)에서 획득된 정보를 관리서버로 전송하여 상기 로봇의 동작 제한 범위를 설정하는 단계;
상기 관리서버에 의해 설정된 상기 로봇의 동작 제한 범위에 따라 상기 로봇을 구동시키는 단계를 포함하되,
상기 HMD(Head Mounted Display)에 구비된 눈영역 촬영부가 사용자의 눈 상태 정보를 획득하는 단계는,
상기 사용자의 눈에 있는 동공의 왜곡된 정도를 임계치와 비교하여 임계치 이상이 된 상태로 설정된 시간 이상 지속되거나, 상기 동공의 상이 완전히 사라진 시간이 설정된 시간 이상 지속되면 졸음으로 판단하는 것을 포함하고,
상기 졸음으로 판단된 시점으로부터 지속 시간을 확인하고, 상기 지속 시간에 따라 상기 로봇의 동작 범위를 단계적으로 제한하고,
상기 지속 시간은 적어도 3가지 이상의 범위에 속할 수 있으며,
상기 지속 시간이 속하는 3가지 이상의 범위 중 어느 하나의 범위에 따라 로봇의 동작 제한 범위가 결정되고, 상기 로봇의 동작 제한 범위는 로봇의 동작 속도 제한 범위, 로봇의 동작 진행 방향 제한 범위 및 로봇의 동작 각도 제한 범위를 모두 포함하는 로봇 제어 방법.
삭제
삭제
삭제