WO2017115887A1

WO2017115887A1 - 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Info

Publication number: WO2017115887A1
Application number: PCT/KR2015/014440
Authority: WO
Inventors: 권성근; 이우준
Original assignee: 경일대학교 산학협력단
Priority date: 2015-12-29
Filing date: 2015-12-29
Publication date: 2017-07-06
Also published as: KR20170078176A

Abstract

본 발명은 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 이러한 본 발명은 화면 표시를 위한 표시부와, 영상 촬영을 위한 카메라부와, 상기 표시부를 통해 미리 촬영된 시범자의 가이드 동작을 표시하고, 상기 카메라부를 통해 상기 가이드 동작을 따라 움직이는 사용자의 동작을 촬영하여 상기 가이드 동작과 사용자의 동작과의 유사도를 산출하며, 상기 유사도에 따라 상기 사용자의 운동 능력을 평가하고, 상기 운동 능력에 따라 복수의 게임 동작을 순차로 따라하도록 하는 게임에서 게임의 난이도를 조절하여 상기 표시부를 통해 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 게임 제공 장치와, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.

Description

동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

본 발명은 동작 인식 기반 게임 제공 기술에 관한 것으로, 보다 상세하게는, 사용자의 동작을 따라 할 수 있는 운동 능력에 따라 난이도를 조절하여 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.

영상 정보 기반의 다양한 멀티미디어 시스템(multi-media system)이 발달하면서 영상이 포함하고 있는 정보를 이해하고 이를 다양한 분야에 응용할 수 있는 기술에 대한 수요가 급증하고 있다. 특히, 제스처 혹은 동작 인식 기반의 각 종 엔터테인먼트 산업이 발전하고 있다.

본 발명의 목적은 사용자의 동작을 따라 할 수 있는 운동 능력에 따라 난이도를 조절하여 동작 인식 기반의 게임을 제공하는 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 동작 인식 기반의 게임 제공 장치는 화면 표시를 위한 표시부와, 영상 촬영을 위한 카메라부와, 상기 표시부를 통해 미리 촬영된 시범자의 가이드 동작을 표시하고, 상기 카메라부를 통해 상기 가이드 동작을 따라 움직이는 사용자의 동작을 촬영하여 상기 가이드 동작과 사용자의 동작과의 유사도를 산출하며, 상기 유사도에 따라 상기 사용자의 운동 능력을 평가하고, 상기 운동 능력에 따라 복수의 게임 동작을 순차로 따라하도록 하는 게임에서 게임의 난이도를 조절하여 상기 표시부를 통해 표시하도록 제어하는 제어부를 포함한다.

상기 제어부는 상기 카메라부를 통해 촬영되는 상기 사용자의 동작으로부터 복수의 관절의 3차원 위치 좌표를 추출하고, 상기 3차원 위치 좌표를 기초로 상기 복수의 관절 중 어느 하나의 관절과 상기 어느 하나의 관절의 이웃하는 2개의 관절을 2개의 선분으로 연결할 때, 벡터의 내적을 이용하여 상기 2개의 선분이 이루는 각을 구하고, 구해진 각을 라디안(radian) 값으로 표현한 관절 라디안 값을 도출한 후, 도출된 관절 라디안 값과, 상기 가이드 동작으로부터 미리 도출된 관절 라디안 값을 비교하여 상기 유사도를 산출하는 것을 특징으로 한다.

상기 제어부는 상기 가이드 동작을 촬영한 영상에서 소정 수의 프레임으로부터 도출되는 관절 라디안 값과 사용자의 동작을 촬영한 영상에서 상기 소정 수와 동수의 프레임으로부터 도출되는 관절 라디안 값의 평균값 혹은 적분값을 비교하여 유사도를 도출하는 것을 특징으로 한다.

상기 제어부는 상기 표시부를 통해 순차로 복수의 게임 동작을 표시하고, 상기 카메라부를 통해 상기 게임 동작을 따라하는 사용자의 동작을 촬영하여, 촬영된 사용자의 동작과 상기 게임 동작의 유사도가 상기 난이도에 따라 미리 설정된 기준치 이상이면, 득점에 성공한 것으로 판정하는 것을 특징으로 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 동작 인식 기반의 게임 제공 방법은 미리 촬영된 시범자의 가이드 동작 따라 움직이는 사용자의 동작을 촬영하는 단계와, 상기 가이드 동작과 사용자의 동작과의 유사도를 산출하는 단계와, 상기 유사도에 따라 상기 사용자의 운동 능력을 평가하는 단계와, 상기 운동 능력에 따라 복수의 게임 동작을 순차로 따라하도록 하는 게임에서 게임의 난이도를 조절하여 제공하는 단계를 포함한다.

상기 유사도를 산출하는 단계는 상기 사용자의 동작으로부터 복수의 관절의 3차원 위치 좌표를 추출하는 단계와, 상기 3차원 위치 좌표를 기초로 하여 상기 복수의 관절 중 어느 하나의 관절과 상기 어느 하나의 관절에 이웃하는 2개의 관절을 2개의 선분으로 연결할 때, 벡터의 내적을 이용하여 상기 2개의 선분이 이루는 각을 구하는 단계와, 상기 구해진 각을 라디안(radian) 값으로 표현한 관절 라디안 값을 도출하는 단계와, 상기 도출된 관절 라디안 값과 상기 가이드 동작으로부터 미리 도출된 관절 라디안 값을 비교하여 상기 유사도를 산출하는 단계를 포함한다.

상기 도출된 관절 라디안 값과 상기 가이드 동작으로부터 미리 도출된 관절 라디안 값을 비교하여 상기 유사도를 산출하는 단계는 상기 가이드 동작을 촬영한 영상에서 소정 수의 프레임으로부터 도출되는 관절 라디안 값과 사용자의 동작을 촬영한 영상에서 상기 소정 수와 동수의 프레임으로부터 도출되는 관절 라디안 값의 평균값 혹은 적분값을 비교하여 유사도를 도출하는 것을 특징으로 한다.

상기 게임 제공 방법은 순차로 표시되는 복수의 게임 동작을 따라하는 사용자의 동작을 촬영하는 단계와, 상기 촬영된 사용자의 동작과 상기 게임 동작의 유사도가 상기 난이도에 따라 미리 설정된 기준치 이상이면, 득점에 성공한 것으로 판정하는 단계를 더 포함한다.

본 발명의 또 다른 견지에 따르면, 전술한 게임 제공 방법을 실행하는 명령어가 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.

상술한 바와 같은 본 발명에 따르면, 동작 인식을 통해 시범자의 동작과 사용자의 동작의 유사도를 도출하고, 이를 통해 사용자의 운동 능력을 평가하며, 그 운동 능력에 따라 난이도를 조절하는 사용자 맞춤형 게임을 제공함으로써, 사용자에게 적절한 난이도로 게임을 즐길 수 있는 사용자 경험(UX: User eXperience)을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 게임을 제공하기 위한 장치의 개념도이다.

도 2는 본 발명의 실시예에 따른 게임을 제공하기 위한 장치의 내부 구성을 설명하기 위한 블록도이다.

도 3은 본 발명의 실시예에 따른 운동 능력을 평가하기 위한 방법을 설명하기 위한 흐름도이다.

도 4는 본 발명의 실시예에 따른 사람의 동작의 특징을 설명하기 위한 도면이다.

도 5는 본 발명의 실시예에 따른 관절의 라디안 값을 도출하기 위한 방법을 설명하기 위한 흐름도이다.

도 6은 본 발명의 실시예에 따른 관절의 라디안 값을 도출하기 위한 방법을 설명하기 위한 도면이다.

도 7은 본 발명의 실시예에 따른 유사도를 산출하는 방법을 설명하기 위한 도면이다.

도 8은 본 발명의 실시예에 따른 게임을 제공하는 방법을 설명하기 위한 흐름도이다.

도 9는 본 발명의 실시예에 따른 게임을 제공하는 방법을 설명하기 위한 도면이다.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

먼저, 본 발명의 실시예에 따른 게임을 제공하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 게임을 제공하기 위한 장치의 개념도이며, 도 2는 본 발명의 실시예에 따른 게임을 제공하기 위한 장치의 내부 구성을 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 동작 인식 기반의 게임을 제공하기 위한 장치인 사용자 장치(100)는 사용자의 운동 능력에 적합한 게임을 제공하기 위한 것이다. 이를 위하여, 사용자 장치(100)는 시범자의 동작을 화면으로 표시하여 사용자로 하여금 해당 시범자의 동작을 따라 한다. 여기서, 시범자의 동작은 미리 촬영되어 저장된 영상을 통해 제공될 수 있다. 이때, 사용자 장치(100)는 사용자가 가이드 동작을 따라하는 사용자의 동작을 통해 사용자의 운동 능력을 평가할 수 있다. 그리고 사용자 장치(100)는 사용자의 운동 능력을 기초로 사용자에게 적합한 게임을 제공할 수 있다. 이에 따라, 본 발명은 사용자의 운동 능력에 적합한 게임을 제공할 수 있다.

도 2를 참조하면, 본 발명의 사용자 장치(100)는 표시부(110), 카메라부(120), 저장부(130), 입력부(140) 및 제어부(150)를 포함한다.

표시부(110)는 사용자 장치(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(110)는 사용자 장치(100)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 특히, 표시부(110)는 본 발명의 실시예에 따른 시범자의 동작을 화면으로 출력하는 기능을 수행한다. 이러한 표시부(110)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(110)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(110)는 터치센서를 포함하며, 제어부(150)는 터치센서를 통해 사용자의 터치 입력을 감지할 수 있다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(150)로 전송한다. 이러한 감지 신호에는 사용자가 터치를 입력한 좌표 데이터가 포함될 수 있다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치센서는 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어부(150)로 전송할 수 있다. 특히, 표시부(110)가 터치스크린으로 이루어진 경우, 입력부(140) 기능의 일부 또는 전부는 표시부(110)를 통해 이루어질 수 있다.

카메라부(120)는 영상을 촬영하기 위한 것으로, 특히, 사용자의 동작을 촬영하기 위한 것이다. 이러한 카메라부(120)는 도시되지는 않았지만, 적외선 발광 모듈(IR light), 깊이 이미지 센서 및 컬러 이미지 센서를 포함한다. 컬러 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 적외선 발광 모듈은 픽셀 단위로 적외선을 발산한다. 깊이 이미지 센서는 적외선 발광 모듈이 픽셀 단위로 발산한 적외선을 입력받아, 적외선이 피사체에 반사되어 돌아오는 거리(혹은 깊이로 표현되기도 함)를 측정한다. 이에 따라, 제어부(150)는 본 발명의 실시예에 따른 카메라부(120)를 통해 촬영된 영상의 피사체의 각 픽셀에 대해 3차원 좌표를 도출할 수 있다. 이러한 카메라부(120)의 적외선 발광 모듈(IR light), 깊이 이미지 센서 및 컬러 이미지 센서의 대표적인 예로, 키넥트 센서(Kinect sensor)를 예시할 수 있다. 카메라부(120)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 제어부(150)로 출력할 수 있다.

저장부(130)는 사용자 장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 사용자 장치(100)의 전반적인 동작을 제어하는 프로그램 및 사용자 장치(100)를 부팅시키는 운영체제(OS, Operating System), 응용 프로그램 등을 저장할 수 있다. 데이터 영역은 사용자 장치(100)의 사용에 따라 발생하는 사용자 데이터가 저장되는 영역이다. 또한, 저장부(130)는 사용자의 사용자 장치(100) 사용에 따라 발생되는 각 종 데이터를 저장할 수 있다. 이러한 데이터는 시범자의 동작, 사용자의 동작 등을 촬영한 복수의 프레임으로 이루어진 영상을 포함한다. 저장부(130)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.

입력부(140)는 사용자 장치(100)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(150)에 전달한다. 입력부(140)는 전원 on/off를 위한 전원 키, 숫자 키, 방향키 중 어느 하나를 포함할 수 있으며, 사용자 장치(100)의 일면에 소정의 기능키로 형성될 수 있다. 입력부(140)의 표시부(110)가 터치스크린으로 이루어진 경우, 각 종 키들의 기능이 표시부(110)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(140)는 생략될 수도 있다.

제어부(150)는 사용자 장치(100)의 전반적인 동작 및 사용자 장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(150)는 중앙 처리 장치(Central Processing Unit : CPU), 애플리케이션 프로세서(Application Processor) 등이 될 수 있다. 이러한 제어부(150)의 동작은 아래에서 보다 상세하게 설명될 것이다.

또한 도시되진 않았으나, 본 발명의 실시예에 따른 사용자 장치(100)는 메모리 카드와 같은 외부 저장 매체를 삽입하여 데이터 저장을 가능토록 하는 저장매체 삽입부, 외부 디지털 기기와의 데이터 교환을 위한 연결 단자, 충전용 단자를 구비할 수 있다. 또한, 사용자 장치(100)는 마이크 및 스피커를 통해 오디오 신호, 음성 신호 등을 입력 혹은 출력하는 오디오 처리부, 디지털 음원 재생을 위한 MP3 모듈 등의 부가 기능을 갖는 유닛들을 선택적으로 더 포함하여 구성될 수 있다. 디지털 기기의 컨버전스(convergence) 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 유닛들과 동등한 수준의 유닛이 본 발명에 따른 사용자 장치(100)에 추가로 더 포함되어 구성될 수 있다는 것은 본 기술분야의 통상의 지식을 가진 자라면 쉽게 이해할 수 있을 것이다.

다음으로, 본 발명의 실시예에 따른 게임을 제공하기 위한 방법에 대해서 설명하기로 한다. 본 발명의 실시예에 따른 게임을 제공하기 위한 방법은 사용자의 운동 능력을 평가하고, 그 운동 능력에 맞는 난이도로 게임을 제공한다. 이에 본 발명의 실시예에 따른 운동 능력 평가 방법에 대해서 먼저 설명한다. 도 3은 본 발명의 실시예에 따른 운동 능력을 평가하기 위한 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 사용자의 운동 능력을 평가하기 위하여 제어부(150)는 S110 단계에서 표시부(110)를 통해 시범자의 가이드 동작과 안내 메시지를 표시하여, 가이드 동작을 따라하도록 안내한다. 여기서, 가이드 동작은 본 발명의 실시예에 따른 카메라부(110)를 통해 미리 촬영된 영상에 포함된 시범자의 동작이다. 이러한 S110 단계에서, 제어부(150)는 추가로 음성 신호 출력을 통해 가이드 동작을 따라 하도록 안내할 수 있다.

안내에 따라 사용자는 표시부(110)를 통해 표시되는 가이드 동작을 따라 할 수 있다. 그러면, 제어부(150)는 S120 단계에서 카메라부(120)를 통해 사용자의 동작을 촬영한다. 그런 다음, 제어부(150)는 S130 단계에서 앞서 표시부(110)를 통해 표시된 가이드 동작과 촬영된 사용자의 동작을 비교하여, 두 동작의 유사도를 산출한다. 유사도가 산출되면, 제어부(150)는 S140 단계에서 유사도에 따라 사용자의 운동 능력을 평가하고, 그 운동 능력에 상응하는 게임의 난이도를 결정한다.

앞서 설명된 바와 같이, 본 발명의 실시예에 따른 유사도는 시범자의 가이드 동작과 유사한 정도를 의미한다. 그러면, 이러한 유사도를 산출하는 방법에 대해서 보다 자세하게 설명하기로 한다.

도 4는 본 발명의 실시예에 따른 사람의 동작의 특징을 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 관절의 라디안 값을 도출하기 위한 방법을 설명하기 위한 흐름도이다. 도 6은 본 발명의 실시예에 따른 관절의 라디안 값을 도출하기 위한 방법을 설명하기 위한 도면이다. 또한, 도 7은 본 발명의 실시예에 따른 유사도를 산출하는 방법을 설명하기 위한 도면이다.

도 4에 보인 바와 같이, 사람의 관절 구조상, 팔꿈치 관절(10)은 어깨 관절(21)에 의해 3차원 위치가 결정되고, 손목 관절(22)은 팔꿈치 관절(10)에 의해 관절의 3차원 위치가 결정된다. 바꿔 말하면, 사람의 모든 동작은 서로 이웃하는 관절에 의해 제한되며, 본 발명은 이러한 관절에 관측되는 각도를 이용하여 동작의 유사도를 산출한다.

도 5를 참조하면, 앞서 S120 단계에서 제어부(150)는 가이드 동작에 따른 사용자의 동작을 촬영하였다. 그러면, 제어부(150)는 S210 단계에서 카메라부(110)를 통해 촬영된 사용자의 동작으로부터 사용자의 각 관절의 3차원 좌표를 추출할 수 있다. 예컨대, 도 6을 참조하면, 어깨 관절(21), 팔꿈치 관절(10) 및 손목 관절(22) 각각의 3차원 위치 좌표를 추출할 수 있다. 좀 더 자세히 설명하면, 제어부(150)는 앞서 설명된 바와 같이, 카메라부(110)를 통해 적외선을 픽셀 단위로 피사체에 방사하고, 피사체로부터 반사되는 적외선을 수신하여, 피사체의 픽셀 단위의 각 부분에 대한 3차원 위치 좌표를 인식할 수 있다. 이때, 피사체는 사람이므로, 제어부(150)는 미리 저장된 인체의 골격 특징을 이용하여, 인체를 구성하는 주요 골격에 대한 위치 데이터, 즉, 관절의 3차원 좌표를 도출한다.

관절의 3차원 좌표가 도출되면, 제어부(150)는 S220 단계에서 어느 하나의 관절로부터 2개의 이웃하는 관절까지의 벡터를 도출한다. 예컨대, 어느 하나의 관절을 팔꿈치 관절(10)이라고 하였을 때, 3차원 위치를 기준으로, 팔꿈치 관절(10)로부터 어깨 관절(21)까지의 벡터 u와, 팔꿈치 관절(10)로부터 손목 관절(22)까지의 벡터 v를 구할 수 있다. 그런 다음, 제어부(150)는 S230 단계에서 벡터의 내적을 통해 어느 하나의 관절과 그 관절의 이웃하는 2개의 관절을 서로 다른 2개의 선분으로 연결하였을 때의 2개의 선분의 사이의 각(θ)을 구할 수 있다. 예컨대, 어느 하나의 관절을 팔꿈치 관절(10)이라고 하였을 때, 팔꿈치 관절(10)과 어깨 관절(21)을 선분(제1 선분)으로 연결하고, 팔꿈치 관절(10)과 손목 관절(22)을 선분(제2 선분)으로 연결하였을 때, 제1 선분과 제2 선분이 이루는 각(θ)을 벡터 u와 벡터 v의 내적을 통해 구할 수 있다. 그리고 제어부(150)는 S240 단계에서 구해진 각(θ)을 라디안 값으로 변환한다.

전술한 도 5 및 도 6을 통해 설명된 바와 같이, 본 발명은 사용자의 동작을 촬영한 영상에서, 사용자의 복수의 관절 중 어느 하나의 관절과 그 관절에 이웃하는 2개의 관절을 2개의 선분으로 연결할 때, 2개의 선분이 이루는 각(θ)을 벡터의 내적을 이용하여 구하고, 라디안(radian) 값으로 표현할 수 있다. 본 발명의 실시예에서 어느 하나의 관절과 그 관절에 이웃하는 관절을 이용하여 구해진 각(θ)을 라디안 값으로 표현한 것을 '관절 라디안 값'으로 칭하기로 한다.

사람이 어떤 동작을 하든지 각 관절은 관절 라디안 값을 가지게 마련이다. 따라서 본 발명의 실시예는 사람의 모든 동작을 모든 관절 각각의 관절 라디안 값으로 그 특징을 표현할 수 있다. 이에, 본 발명의 실시예에 따르면, 제어부(150)는 이러한 사용자 동작으로부터 도출된 관절의 라디안 값과 시범자의 가이드 동작으로부터 미리 추출된 관절의 라디안 값을 비교하여 유사도를 산출할 수 있다.

제어부(150)는 표 1에 보인 바와 같이, 시범자의 가이드 동작 및 사용자의 동작에서 상호 대응하는 관절에서 그 관절의 라디안 값 간의 유사도를 도출할 수 있다.

표 1

관절	유사도
…….	…….
왼쪽 어깨	70%
오른쪽 어깨	82%
왼쪽 팔꿈치	83%
오른쪽 팔꿈치	42%
척추의 중앙	22%
왼쪽 둔부	12%
오른쪽 둔부	62%
…….	…….

도 7에 보인 바와 같이, 시범자가 가이드 동작으로 율동을 하고, 이에 따라, 사용자가 그 율동을 따라하는 상황을 가정하면, 왼쪽 팔꿈치 관절에 대해 시범자의 가이드 동작을 촬영한 영상에서 소정 수의 프레임에서 도출되는 관절 라디안 값과 사용자의 동작을 촬영한 영상에서 소정 수의 프레임으로부터 도출되는 관절 라디안 값은 움직임에 따라 지속적으로 변할 수 있다. 따라서 제어부(150)는 시범자의 가이드 동작을 촬영한 영상의 소정 수의 프레임(예컨대, 60 프레임)으로부터 도출되는 관절 라디안 값과 사용자의 동작을 촬영한 영상의 소정 수의 프레임(가이드 동작을 촬영한 영상의 소정 수의 프레임과 동수)으로부터 도출되는 관절 라디안 값을 비교하여 유사도를 도출할 수 있다. 이때, 제어부(150)는 소정 수의 프레임 동안 검출되는 관절 라디안 값의 평균값을 이용하여 유사도를 산출하거나, 소정 수의 프레임 동안의 관절 라디안 값을 적분한 적분값이 산출되면, 그 적분값을 비교하여 유사도를 산출할 수 있다. 그 밖에, 유사도는 코사인계수법, 유클리디언 거리, 벡터내적곱 등의 알고리즘을 이용하여 산출할 수 있다.

전술한 바와 같이, 유사도가 산출되면, 유사도에 따라 운동 능력을 평가한다. 본 발명의 실시예에 따르면, 사용자가 가이드 동작을 제대로 따라 하면, 산출되는 유사도가 높을 것이다. 따라서 유사도가 높을수록 운동 능력이 높은 것으로 판단하며, 유사도가 낮을수록 운동 능력이 낮은 것으로 판단한다. 따라서 본 발명은 그 운동 능력에 따라 게임의 난이도를 조절하여 게임을 제공한다.

본 발명의 실시예에 따른 게임은 복수의 게임 동작을 순차로 화면으로 표시하고, 그 게임 동작 각각을 순차로 따라하는 사용자의 동작이 각 게임 동작과 미리 설정된 유사도 이상인 경우, 득점으로 인정하고, 그렇지 않은 경우, 득점이 실패하는 방식으로 진행된다. 예컨대, 게임 동작 A, B 및 C는 각각 난이도가 상, 중, 하인 동작이라고 가정한다. 이에 따라, 본 발명의 실시예는 상대적으로 운동 능력이 높을수록 하나의 게임에서 난이도가 높은 게임 동작 A를 많이 배정하고, 난이도가 낮은 C 동작을 적게 배정한다. 역으로, 본 발명의 실시예는 상대적으로 운동 능력이 낮을수록 하나의 게임에서 난이도가 높은 게임 동작 A를 적게 배정하고, 난이도가 낮은 C 동작을 많이 배정할 수 있다. 가령, 운동 능력이 높은 것으로 평가된 사용자의 경우, 하나의 게임에서 제공되는 게임 동작은 A, B, A, B, A, C, B, C 순으로 제공된다면, 운동 능력이 낮은 것으로 평가된 사용자의 경우, B, C, B, A, C, B, C, B 순으로 제공될 수 있다.

또한, 득점 판정과, 득점 실패 판정에서, 운동 능력이 높을수록 득점으로 인정되는 유사도의 범위를 좁게 설정하고, 운동 능력이 낮을수록 득점으로 인정되는 유사도의 범위를 넓게 설정할 수 있다. 가령, 운동 능력이 상대적으로 높은 사용자의 경우, 어느 하나의 게임 동작과 유사도가 90% 이상인 경우에 득점으로 인정하는 반면, 운동 능력이 상대적으로 낮은 사용자의 경우, 어느 하나의 게임 동작과 유사도가 85% 이상인 경우에 득점으로 인정할 수 있다.

그러면, 이러한 본 발명의 실시예에 따른 게임을 제공하는 방법에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 게임을 제공하는 방법을 설명하기 위한 흐름도이며, 도 9는 본 발명의 실시예에 따른 게임을 제공하는 방법을 설명하기 위한 도면이다.

전술한 바와 같이, 사용자의 운동 능력이 평가되고, 난이도가 결정된 상태라고 가정한다. 사용자의 요청에 따라 제어부(150)는 S310 단계에서 게임을 시작한다. 게임이 시작되면, 제어부(150)는 S320 단계에서 게임 동작을 순차로 표시부(110)를 통해 표시한다. S320 단계에서, 추가로 제어부(150)는 안내 메시지를 표시하여, 게임 동작을 따라하도록 안내할 수 있다. 게다가, 제어부(150)는 음성 신호 출력을 통해 가이드 동작을 따라 하도록 안내할 수도 있다. 게임 동작의 예를 도 9에 도시하였다. 예컨대, 도 9의 (A), (B) 및 (C)에 도시된 게임 동작이 순차로 각 게임 동작 간에 일정 시간 간격을 두고 표시부(110)를 통해 표시될 수 있다. 게임 동작은 가이드 동작과 마찬가지로, 본 발명의 실시예에 따른 카메라부(120)를 통해 미리 촬영된 것이며, 시범자가 하는 동작이 될 수 있다.

사용자가 표시부(110)를 통해 표시되는 게임 동작을 따라하면, 제어부(150)는 S330 단계에서 게임 동작을 따라하는 사용자의 동작을 촬영하고, 게임 동작과의 유사도를 산출한다. 유사도 산출 방법은 앞서 도 4 내지 도 7을 참조로 한 바와 같다.

유사도 산출 결과, 제어부(150)는 S340 단계에서 유사도가 난이도에 따라 미리 설정된 기준치 이상인지 여부를 판단한다. 이러한 판단 결과, 유사도가 기준치 이상이면, 제어부(150)는 S350 단계로 진행하여 득점에 성공한 것으로 판정한다. 그렇지 않은 경우, 제어부(150)는 S360 단계로 진행하여 득점에 실패한 것으로 판정한다.

이러한 게임 절차는 제어부(370)가 S370 단계에서 게임이 종료된 것으로 판단될 때까지 계속된다. 즉, S320 단계 내지 S370 단계는 게임이 종료될 때까지 반복된다. 예컨대, 도 9의 (A), (B) 및 (C)에 도시된 바와 같은 하나의 게임에 배정된 게임 동작이 순차로 표시부(110)를 통해 표시되며, 유사도 판정에 따라 득점 여부를 가린다. 만약, 제어부(370)가 S370 단계에서 게임이 종료된 것으로 판단되면, S380 단계로 진행하여 게임을 종료한다.

한편, 본 발명의 실시예에 따르면, 게임이 종료되면, 사용자가 게임 동작을 따라한 바에 따라 산출되는 유사도를 이용하여 사용자의 운동 능력을 재평가할 수 있다. 그런 다음, 재평가된 운동 능력을 통해 게임의 난이도를 재설정할 수 있다.

한편, 본 발명의 실시예에 따른 게임을 제공하기 위한 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

본 발명은 사용자의 동작을 따라 할 수 있는 운동 능력에 따라 난이도를 조절하여 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 동작 인식을 통해 시범자의 동작과 사용자의 동작의 유사도를 도출하고, 이를 통해 사용자의 운동 능력을 평가하며, 그 운동 능력에 따라 난이도를 조절하는 사용자 맞춤형 게임을 제공함으로써, 사용자에게 적절한 난이도로 게임을 즐길 수 있는 사용자 경험(UX: User eXperience)을 제공할 수 있다. 이는 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

Claims

동작 인식 기반의 게임 제공 장치에 있어서,

화면 표시를 위한 표시부;

영상 촬영을 위한 카메라부; 및

상기 표시부를 통해 미리 촬영된 시범자의 가이드 동작을 표시하고,

상기 카메라부를 통해 상기 가이드 동작을 따라 움직이는 사용자의 동작을 촬영하여 상기 가이드 동작과 사용자의 동작과의 유사도를 산출하며,

상기 유사도에 따라 상기 사용자의 운동 능력을 평가하고,

상기 평가된 운동 능력에 따라 복수의 게임 동작을 순차로 따라하도록 하는 게임에서 게임의 난이도를 조절하여 상기 표시부를 통해 표시하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 게임 제공 장치.
제1항에 있어서,

상기 제어부는

상기 카메라부를 통해 촬영되는 상기 사용자의 동작으로부터 복수의 관절의 3차원 위치 좌표를 추출하고,

상기 3차원 위치 좌표를 기초로 상기 복수의 관절 중 어느 하나의 관절과 상기 어느 하나의 관절의 이웃하는 2개의 관절을 2개의 선분으로 연결할 때, 벡터의 내적을 이용하여 상기 2개의 선분이 이루는 각을 구하고,

상기 구해진 각을 라디안(radian) 값으로 표현한 관절 라디안 값을 도출한 후,

도출된 관절 라디안 값과, 상기 가이드 동작으로부터 미리 도출된 관절 라디안 값을 비교하여 상기 유사도를 산출하는 것을 특징으로 하는 게임 제공 장치.
제2항에 있어서,

상기 제어부는

상기 가이드 동작을 촬영한 영상에서 소정 수의 프레임으로부터 도출되는 관절 라디안 값과 사용자의 동작을 촬영한 영상에서 상기 소정 수와 동수의 프레임으로부터 도출되는 관절 라디안 값의 평균값 혹은 적분값을 비교하여 유사도를 도출하는 것을 특징으로 하는 게임 제공 장치.
제1항에 있어서,

상기 제어부는

상기 표시부를 통해 순차로 복수의 게임 동작을 표시하고,

상기 카메라부를 통해 상기 게임 동작을 따라하는 사용자의 동작을 촬영하여,

촬영된 사용자의 동작과 상기 게임 동작의 유사도가 상기 난이도에 따라 미리 설정된 기준치 이상이면, 득점에 성공한 것으로 판정하는 것을 특징으로 하는 게임 제공 장치.
동작 인식 기반의 게임 제공 방법에 있어서,

미리 촬영된 시범자의 가이드 동작 따라 움직이는 사용자의 동작을 촬영하는 단계;

상기 가이드 동작과 사용자의 동작과의 유사도를 산출하는 단계;

상기 유사도에 따라 상기 사용자의 운동 능력을 평가하는 단계; 및

상기 운동 능력에 따라 복수의 게임 동작을 순차로 따라하도록 하는 게임에서 게임의 난이도를 조절하여 제공하는 단계;를 포함하는 것을 특징으로 하는 게임 제공 방법.
제5항에 있어서,

상기 유사도를 산출하는 단계는

상기 사용자의 동작으로부터 복수의 관절의 3차원 위치 좌표를 추출하는 단계;

상기 3차원 위치 좌표를 기초로 상기 복수의 관절 중 어느 하나의 관절과 상기 어느 하나의 관절의 이웃하는 2개의 관절을 2개의 선분으로 연결할 때, 벡터의 내적을 이용하여 상기 2개의 선분이 이루는 각을 구하는 단계;

상기 구해진 각을 라디안(radian) 값으로 표현한 관절 라디안 값을 도출하는 단계; 및

상기 도출된 관절 라디안 값과 상기 가이드 동작으로부터 미리 도출된 관절 라디안 값을 비교하여 상기 유사도를 산출하는 단계;를 포함하는 것을 특징으로 하는 게임 제공 방법.
제6항에 있어서,

상기 도출된 관절 라디안 값과 상기 가이드 동작으로부터 미리 도출된 관절 라디안 값을 비교하여 상기 유사도를 산출하는 단계는

상기 가이드 동작을 촬영한 영상에서 소정 수의 프레임으로부터 도출되는 관절 라디안 값과 사용자의 동작을 촬영한 영상에서 상기 소정 수와 동수의 프레임으로부터 도출되는 관절 라디안 값의 평균값 혹은 적분값을 비교하여 유사도를 도출하는 것을 특징으로 하는 게임 제공 방법.
제5항에 있어서,

순차로 표시되는 복수의 게임 동작을 따라하는 사용자의 동작을 촬영하는 단계; 및

상기 촬영된 사용자의 동작과 상기 게임 동작의 유사도가 상기 난이도에 따라 미리 설정된 기준치 이상이면, 득점에 성공한 것으로 판정하는 단계;를 더 포함하는 것을 특징으로 하는 게임 제공 방법.
제5항 내지 제8항 중 어느 한 항에 따른 게임 제공 방법을 실행하는 명령어가 기록된 컴퓨터 판독 가능한 기록매체.