KR101071356B1 - 엔터테인먼트 로봇 - Google Patents

Abstract

본 발명은 이용자에게 더 많은 흥미를 유발할 수 있도록 구조가 개선된 엔터테인먼트 로봇에 관한 것이다. 본 발명에 따른 엔터테인먼트 로봇은 이용자가 시각적으로 인식할 수 있는 신호를 생성하는 신호생성수단과, 이용자의 의지에 따라 움직이는 촬영대상물을 촬영하는 카메라와, 카메라에서 촬영된 촬영대상물의 영상을 기초로하여, 촬영대상물이 움직인 방향을 검출하는 영상처리부와, 영상처리부에서 검출된 촬영대상물의 움직임 방향과 신호를 비교하여, 이용자의 승리 및 패배를 판단하는 판단부를 포함한다.

엔터테인먼트, 로봇, 영상처리부, 카메라

Description

엔터테인먼트 로봇{Entertainment robot}

본 발명은 로봇과 이용자의 상호 작용을 통하여 이용자에게 긴장감과 즐거움을 제공하는 엔터테인먼트 로봇에 관한 것이다.

이용자에게 즐거움을 제공하는 엔터테인먼트 장치, 즉 오락기는 오락실이나 놀이동산 등과 같은 다양한 장소에 널리 보급되어 있으며, 이러한 오락기는 두 가지 케이스로 분류할 수 있다.

첫 번째 케이스의 오락기는, 일반 오락실에서 가장 흔하게 접할 수 있는 형태로서, 화면과, 조이스틱과, 버튼을 가진다. 이용자는 화면에 출력된 이미지를 보면서 그 상황에 맞게 조이스틱 및 버튼을 조작함으로써 주어진 상황에 대처하며, 이 과정에서 재미를 느끼게 된다. 하지만, 이러한 방식의 경우 각종 상황들이 화면을 통해 2차원적(평면적)으로 이용자에게 주어지게 되고, 이용자는 단순히 조이스틱이나 버튼 만을 조작함으로써 주어진 상황에 대처하게 된다. 따라서, 이용자가 느낄 수 있는 각종 흥미, 즉 사실감, 역동성, 긴장감 등이 떨어지는 문제점이 있다.

두 번째 케이스의 오락기는, 이용자가 정해진 패턴의 행동을 하면 이에 대한 점수를 매기는 형태의 오락기로, 그 예로 길거리에서 흔히 볼 수 있는 펀치 오락기가 있다. 펀치 오락기의 경우 이용자가 펀치 오락기의 샌드백을 때리면, 샌드백에 가해진 충격량이 점수로 표시된다. 이러한 방식의 경우, 이용자가 실제로 샌드백을 때리는 행동을 하므로 앞선 케이스에 비하여 이용자가 느끼는 사실감 및 역동성은 커질 수 있으나, 오락기로부터 이용자에게 제공되는 상황이 극도로 단순하다는 문제점이 있다. 즉, 이용자는 펀치를 때리는 동작만을 반복하게 되므로, 이용자가 느끼는 긴장감이 극도로 떨어지게 되는 문제점이 있다.

따라서, 이용자에게 더 많은 흥미, 즉 사실감, 역동성, 긴장감 등을 제공할 수 있는 엔터테인먼트 장치의 개발이 필요하다.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 이용자에게 더 많은 흥미를 유발할 수 있도록 구조가 개선된 엔터테인먼트 로봇을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명에 따른 엔터테인먼트 로봇은 이용자가 시각적으로 인식할 수 있는 신호를 생성하는 신호생성수단과, 상기 이용자의 의지에 따라 움직이는 촬영대상물을 촬영하는 카메라와, 상기 카메라에서 촬영된 상기 촬영대상물의 영상을 기초로하여, 상기 촬영대상물이 움직인 방향을 검출하는 영상처리부와, 상기 영상처리부에서 검출된 상기 촬영대상물의 움직임 방향과 상기 신호를 비교하여, 상기 이용자의 승리 및 패배를 판단하는 판단부를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 상기 신호생성수단은 본체와, 상기 본체에 회전가능하게 결합되는 지시부재를 포함하며, 상기 신호는 상기 지시부재의 회전방향인 것이 바람직하다.

또한, 본 발명에 따르면 상기 카메라는 상기 이용자의 얼굴을 촬영하며, 상기 영상처리부는 촬영된 얼굴 영상에서 라인부분을 추출하며, 상기 추출된 라인부분의 분포 변화를 기초로 상기 얼굴의 움직임 방향을 검출하는 것이 바람직하다.

또한, 본 발명에 따르면 상기 카메라는 상기 이용자의 얼굴을 촬영하며, 상 기 영상처리부는 촬영된 얼굴 영상의 컬러정보를 필터링하여 눈 및 입술의 위치를 추출하며, 상기 눈 및 입술의 위치 변화를 기초로 상기 얼굴의 움직임 방향을 검출하는 것이 바람직하다.

상기한 구성의 본 발명에 따르면, 이용자가 더 많은 흥미, 즉 사실감, 역동성, 긴장감 등을 느낄 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 엔터테인먼트 로봇의 개략적인 사시도이며, 도 2 내지 도 6은 도 1에 도시된 엔터테인먼트 로봇의 동작을 설명하기 위한 개략적인 사시도이며, 도 7 내지 도 10은 영상처리부에서의 얼굴의 움직임 검출과정을 설명하기 위한 도면으로, 도 7은 최초 촬영된 영상이며, 도 8은 도 7에서 얼굴영역을 검출하여 정규화시킨 영상이며, 도 9는 도 8에서 라인부분을 추출한 것이며, 도 10은 도 8에서 눈 및 입술 부분에 초점을 맞춘 영상이다.

도 1 내지 도 10을 참조하면, 본 실시예에 따른 엔터테인먼트 로봇(100)은 신호생성수단(30)과, 카메라(40)와, 영상처리부(미도시)와, 판단부(미도시)를 포함한다.

신호생성수단(30)은 이용자가 시각적으로 인식할 수 있는 신호, 즉 특정 상황들을 생성하는 것으로, 이용자는 신호생성수단에서 생성된 상황들을 보고 이에 적합하게 반응하게 된다. 본 실시예의 경우 신호생성수단은 '참참참 게임', 즉 티브 상에 많이 방영되었던 게임으로 두 명의 사람이 서로 마주본 상태에서, 공격자 가 수비자을 향해 뻗은 팔을 '참참참'하는 말과 동시에 오른쪽 또는 왼쪽으로 돌리면, 수비자는 공격자의 팔의 방향과 반대 방향으로 얼굴을 돌리는 게임을 위한 신호를 생성하는 것으로, 본체(10) 및 지시부재(20)를 가진다.

본체(10)는 바디부재(11)와, 회전부재(12,13)를 포함한다. 바디부재(11)는 위치고정되며, 이용자에게 사실감 및 흥미를 유발할 수 있는 형상, 예를 들어 사람이나 동물 등의 형상으로 형성된다. 본 실시예의 경우, 바디부재(11)는 원숭이의 머리, 몸통 및 다리가 결합되어 있는 형상으로 형성되며, 원숭이의 눈 부분에는 관통공(111)이 형성되어 있다.

회전부재(12,13)는 한 쌍 구비된다. 각 회전부재(12,13)는 원숭이 팔의 상측부분, 즉 상완(上腕) 형상으로 형성되며, 원숭이 몸통부분에 각각 회전가능하게 결합된다. 특히, 본 실시예의 경우 회전부재(12,13)는 유니버셜 조인트와 같이 2축 방향으로 회전가능한 관절구조에 의해 몸통에 결합되어, y축 및 z축을 회전중심축으로하여 회전된다. 그리고, 각 회전부재(12,13)에는 모터 또는 액츄에이터 등과 같이 회전부재(12,13)를 회전시키기 위한 구동원(미도시)이 연결되어 있다. 한편, 3축 방향으로 회전가능하도록 볼-소켓으로 이루어진 관절구조(Spherical joint)로 회전부재(12,13)를 결합함으로써 회전부재(12,13)의 회전을 더 자연스럽게 할 수도 있으며, 1축 방향으로 회전가능한 관절구조로 회전부재를 결합함으로써 엔터테인먼트 로봇의 구조를 간단하게 할 수도 있다.

지시부재(20)는 팔의 하측부분, 즉 전완(前腕) 형상으로 형성되며, 한 쌍의 회전부재 중 어느 하나에 결합된다. 본 실시예의 경우 지시부재(20)는 원숭이의 우측 상완에 해당하는 회전부재(12)에, z축을 회전중심축으로 하여 회전가능하게 결합되며, 이 지시부재(20)에는 모터와 같은 구동원(미도시)이 연결되어 있다. 후술하는 바와 같이, 지시부재(20)는 도 2에 도시된 상태에서 도 3 및 도 4에 도시된 바와 같이 우측 및 좌측 방향으로 회전함으로써 신호, 즉 이용자가 대처해야하는 상황을 생성한다.

그리고, 원숭이의 좌측 상완에 해당하는 회전부재(13)에는 보조회전부재(21)가 결합되어 있다. 보조회전부재(21)는 팔의 하측부분, 즉 전완 형상으로 형성되며, 회전부재(13)에 y축을 회전중심축으로 하여 회전가능하게 결합된다. 그리고, 이 보조회전부재(21)에는 벌칙부재(22)가 결합되어 있다. 본 실시예의 경우 벌칙부재(22)는 뿅망치 형태로 이루어진다. 이때, 뿅망치는 아이들의 장난감으로 많이 사용되고 있는 것으로, 손으로 잡을 수 있는 손잡이부(221)와, 손잡이부(221)에 결합되며 사람을 때렸을 때 충격이 완화되도록 공기가 채워져있는 망치부(222)를 가지는 놀이기구를 의미한다. 후술하는 바와 같이, 이용자의 패배시 보조회전부재(21)가 도 3에 도시된 상태에서부터 본체(10)의 전방에 있는 이용자에게 접근되는 방향으로 회전하게 되면(즉, 도 5에 도시된 상태로 회전), 벌칙부재(22)도 보조회전부재(21)와 함게 회전하게 되고, 이에 따라 벌칙부재의 망치부(222)가 이용자의 머리를 때리게 된다.

카메라(40)는 촬영대상물(미도시)을 촬영하기 위한 것이다. 여기서, 촬영대상물이란 신호생성수단에서 주어지는 상황을 이용자가 보고 판단한 후, 그 판단에 따른 방향으로 이용자가 움직일 수 있는 것을 의미한다. 특히, 본 실시예와 같이 '참참참' 게임의 경우, 촬영대상물은 이용자의 얼굴이 된다. 카메라(40)는 렌즈 부분이 본체에 형성된 관통공(111)으로 노출되도록 본체(10) 내부에 배치된다. 카메라(40)는 이용자의 얼굴을 촬영하는데, 이때 이용자의 얼굴을 동영상 형태로 촬영할 수도 있고, 짧은 간격으로 반복적으로 촬영할 수도 있다. 이때, 후술할 영상처리부에서는, 신호생성수단에서 신호가 생성되는 시점, 즉 지시부재(20)가 왼쪽 또는 오른쪽으로 회전하기 시작하는 시점에서 촬영된 제1영상과, 이 시점으로부터 기준시간이 지난 시점에서 촬영된 제2영상이 이용된다. 여기서, 기준시간이란 이용자의 반응 속도를 고려한 시간으로, 이용자가 신호를 보고 판단한 후 곧바로 어느 한 방향으로 얼굴을 돌릴 때까지 소요되는 시간을 의미하며, 이는 게임의 난이도에 따라 조절될 수 있다.

영상처리부는 카메라(40)에서 촬영된 영상을 기초로하여, 이용자 얼굴의 움직임 방향을 검출하기 위한 것이다. 영상촬영부는 카메라(40)에서 촬영된 제1영상 및 제2영상을 전송받는다. 이때, 도 7에 도시된 바와 같이 전송된 영상에는 얼굴 뿐 아니라 주위 배경도 포함되어 있다. 영상촬영부는 Adaboost 알고리즘을 이용하여 전송된 영상에서 얼굴영역, 즉 도 7에서 사각형으로 표시된 영역을 검출하고 얼굴영역의 크기를 정규화함으로써, 전송된 영상(도 7)을 도 8에 도시된 형태로 변경한다. 그런다음, 정규화 된 얼굴영역으로부터 라인부분을 추출하여 도 9에 도시된 형태의 영상을 생성한다. 이때, 라인부분(에지부분)은 얼굴의 턱선, 콧날, 입술라인, 머리라인 등과 같이 얼굴에서 선의 형태를 띄는 부분을 의미한다. 이후, 제1영상과 제2영상에서의 라인부분의 분포를 비교함으로써 얼굴이 회전된 방향을 검출 한다. 즉, 도 9에 도시된 바와 같이, 제1영상의 경우 이용자가 정면을 바라보고 있으므로 라인부분이 중앙에 많이 분포하게 된다. 이 상태에서 이용자가 얼굴을 오른쪽으로 돌리는 경우에는 라인부분이 오른쪽으로 많이 분포되게 되고, 반대로 왼쪽으로 돌리는 경우에는 라인부분이 왼쪽으로 많이 분포되게 된다. 따라서, 제1영상과 제2영상에서의 라인부분의 분포가 어떻게 변화되었는지를 통해 얼굴이 회전된 방향을 검출할 수 있다.

한편, 라인분포가 아니라 눈 및 입술의 위치변화를 이용하여 얼굴의 회전방향을 검출할 수 있다. 영상촬영부는 제1영상 및 제2영상을 정규화 하고, 정규화 된 얼굴영역에서 눈 및 입술의 컬러를 필터링 함으로써, 도 10에 도시된 바와 같이 눈 및 입술의 위치를 검출한다. 이때, 도 10에 도시된 바와 같이 제1영상의 경우 이용자가 정면을 바라보고 있으므로 눈 및 입술을 연결한 형상이 이등변삼각형이 되게 된다. 이 상태에서 이용자가 얼굴을 오른쪽으로 돌리는 경우에는 눈 및 입술을 연결한 형상이 우측으로 치우쳐진 삼각형 형태가 되고, 반대로 왼쪽으로 고개를 돌리는 경우에는 좌측으로 치우쳐진 삼각형 형태가 되게 된다. 따라서, 제1영상과 제2영상에서 눈 및 입의 위치변화를 통해 얼굴이 회전된 방향을 검출할 수 있다.

판단부는 이용자의 승리 및 패배를 판단하기 위한 것으로 신호, 즉 지시부재(20)가 회전된 방향과 얼굴이 회전된 방향을 비교한다. 판단부는 지시부재(20)와 얼굴이 같은쪽으로 향하는 경우, 즉 원숭이와 이용자가 서로 마주보고 있는 바 지시부재(20)가 오른쪽으로 회전할 때 얼굴이 왼쪽으로 회전하는 경우(혹은, 지시부재는 왼쪽 얼굴은 오른쪽으로 회전할 때)에는 이용자의 패배로 판단한다. 반대 로, 지시부재(20)와 얼굴이 반대쪽으로 향하는 경우, 즉 지시부재(20)가 오른쪽으로 회전할 때 얼굴도 오른쪽으로 회전하는 경우(혹은, 지시부재 및 얼굴이 모두 왼쪽으로 회전할 때)에는 이용자의 승리로 판단한다.

한편, 엔터테인먼트 로봇은 힘 센서(50), 상품보관함(60), 상품제공수단(미도시) 및 스피커(미도시)를 더 구비한다.

힘 센서(50)는 벌칙부재(22)의 망치부(222)가 이용자의 머리를 때릴 때 발생되는 충격량을 측정하기 위한 것으로, 벌칙부재의 망치부(222)에 결합된다. 상기 힘 센서로는 압전소자 등 다양한 것이 채용될 수 있다. 그리고, 힘 센서(50)에 의해 측정되는 충격량에 따라 벌칙부재(22)의 회전속도를 적절하게 조절함으로써 이용자를 적당한 세기로 때릴 수 있게 된다.

상품보관함(60)은 본체(10)의 하측에 배치되며, 상품보관함(60)의 내부에는 인형과 같은 상품(s)이 보관되어 있다. 그리고, 상품보관함(60)에는 상품이 배출되는 배출구(61) 및 돈을 넣는 투입구(62)가 형성되어 있다.

상품제공수단은 이용자가 기준횟수 이상으로 승리하는 경우, 상품보관함 내의 상품(s)을 배출구(61)로 배출시키기 위한 것이다. 이때, 기준횟수는 사전에 입력되며, 예를 들어 한번 돈을 넣었을 때 '참참참' 게임은 5회 반복되며 이때 3회 이상 이용자가 이긴 경우에만 상품이 배출되게 된다. 상기 상품제공수단으로는 인형뽑기게임 등에 구비되어 있는 로봇암 등 다양한 구성이 채용될 수 있다.

스피커는 게임의 시작에서부터 종료까지 사실감 및 흥미를 높이기 위한 각종 멘트가 나오는 곳이다. 예를 들어, 게임이 시작할 때 '안녕하세요'라는 멘트, 게임진행 중 '참참참'이라는 멘트, 이용자가 패배하였을 때 이용자를 놀리는 멘트, 이용자가 상품을 탔을 때 '축하합니다'라는 멘트 등이 적절하게 나오게 된다.

이하, 상기한 바와 같이 구성된 엔터테인먼트 로봇(100)의 게임진행과정에 대해 설명한다.

도 1에 도시된 대기상태에서 이용자가 투입구(62)로 돈을 투입하면, '안녕하세요'란 멘트와 함께 엔터테인먼트 로봇의 양쪽 팔이 회전하여 도 2의 상태로 전환된다. 이후, '참참참' 하는 멘트와 함께 지시부재가 왼쪽(도 3) 또는 오른쪽(도 4)로 회전하게 되며, 이때 이용자도 적절하게 얼굴을 돌리게 된다. 이용자가 승리하는 경우에는 지시부재(20)가 회전하여 다시 도 2의 상태로 전환된 후 게임이 반복되어 진행되게 되고, 이용자가 패배하는 경우에는 도 5에 도시된 바와 같이 벌칙부재(22)가 이용자의 머리를 때린 후 다시 도 2의 상태로 전환하여 게임이 반복되게 된다. 상기한 과정을 5회 반복하면 게임이 끝나게 되며, 이때 이용자가 승리한 횟수가 3회 이상이 되는 경우에는 엔터테인먼트 로봇이 도 6에 도시된 상태로 전환되면서 '축하합니다'라는 멘트가 나오며, 동시에 배출구(61)로 상품(s)이 나오게 된다. 반대로, 이용자가 승리한 횟수가 3회 미만인 경우에는 '한번 더 해봐'라는 등의 멘트가 나오면서 모든 게임과정이 종료하게 된다.

상술한 바와 같이, 본 실시예에 따르면 실제로 움직이는 지시부재, 즉 원숭이 팔의 움직임을 보면서 이에 따라 이용자가 머리를 돌리는 액션을 취하게 된다. 따라서, 종래의 첫번째 케이스의 오락기 보다 더 많은 사실감, 역동성 등의 흥미를 이용자가 느끼게 된다.

그리고, 지시부재의 회전 방향을 보고 이용자가 순간적으로 판단한 후 머리를 적절한 방향으로 회전하여야 한다. 따라서, 종래의 두번째 케이스의 오락기 보다 이용자가 더 많은 긴장과 스릴감을 느끼게 된다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

도 1은 본 발명의 일 실시예에 따른 엔터테인먼트 로봇의 개략적인 사시도이다.

도 2 내지 도 6은 도 1에 도시된 엔터테인먼트 로봇의 동작을 설명하기 위한 개략적인 사시도이다.

도 7 내지 도 10은 영상처리부에서의 얼굴의 움직임 검출과정을 설명하기 위한 도면으로, 도 7은 최초 촬영된 영상이며, 도 8은 도 7에서 얼굴영역을 검출하여 정규화시킨 영상이며, 도 9는 도 8에서 라인부분을 추출한 것이며, 도 10은 도 8에서 눈 및 입술 부분에 초점을 맞춘 영상이다.

<도면의 주요부분에 대한 부호의 설명>

100...엔터테인먼트 로봇 10...본체

11...바디부재 12,13...회전부재

20...지시부재 21...보조회전부재

22...벌칙부재 30...신호생성수단

40...카메라 50...힘 센서

60...상품보관함

Claims (7)

1. 이용자가 시각적으로 인식할 수 있는 신호를 생성하는 신호생성수단;

   상기 이용자의 의지에 따라 움직이는 촬영대상물을 촬영하는 카메라;

   상기 카메라에서 촬영된 상기 촬영대상물의 영상을 기초로하여, 상기 촬영대상물이 움직인 방향을 검출하는 영상처리부; 및

   상기 영상처리부에서 검출된 상기 촬영대상물의 움직임 방향과 상기 신호를 비교하여, 상기 이용자의 승리 및 패배를 판단하는 판단부;를 포함하며

   상기 신호생성수단은 본체와, 상기 본체에 회전가능하게 결합되는 지시부재를 포함하며,

   상기 신호는 상기 지시부재의 회전방향인 것을 특징으로 하는 엔터테인먼트 로봇.
2. 삭제
3. 제1항에 있어서,

   상기 본체에 이동가능하게 결합되며, 상기 이용자의 패배시 상기 이용자에게 접근되는 방향으로 이동되는 벌칙부재;를 더 포함하는 것을 특징으로 하는 엔터테인먼트 로봇.
4. 제3항에 있어서,

   상기 벌칙부재와 상기 이용자의 접촉시 발생되는 충격량을 측정하는 힘 센서;를 더 포함하는 것을 특징으로 하는 엔터테인먼트 로봇.
5. 제1항에 있어서,

   상기 카메라는 상기 이용자의 얼굴을 촬영하며,

   상기 영상처리부는 촬영된 얼굴 영상에서 라인부분을 추출하며, 상기 추출된 라인부분의 분포 변화를 기초로 상기 얼굴의 움직임 방향을 검출하는 것을 특징으로 하는 엔터테인먼트 로봇.
6. 제1항에 있어서,

   상기 카메라는 상기 이용자의 얼굴을 촬영하며,

   상기 영상처리부는 촬영된 얼굴 영상의 컬러정보를 필터링하여 눈 및 입술의 위치를 추출하며, 상기 눈 및 입술의 위치 변화를 기초로 상기 얼굴의 움직임 방향을 검출하는 것을 특징으로 하는 엔터테인먼트 로봇.
7. 제1항, 제3항, 제4항, 제5항 및 제6항 중 어느 한 항에 있어서,

   내부에 보관된 상품이 배출되는 배출구가 마련되어 있는 상품보관함; 및

   상기 이용자가 기준횟수 이상으로 승리시 상기 상품을 상기 배출구로 배출시키는 상품제공수단;을 더 포함하는 것을 특징으로 하는 엔터테인먼트 로봇.

Images