KR20010107478A - 모션 게임 장치 - Google Patents

Abstract

본 발명은 댄서 등의 모션을 따라하는 학습자 또는 게임자의 모션의 평가가 실시간으로 가능하게 하는 모션 게임 장치에 관한 것으로서, 본 발명의 목적은 저장된 적어도 하나 이상의 연기자 모션 데이터로부터 하나의 모션을 출력하는 모션 데이터 출력수단과 모션 데이터 출력수단으로부터 출력되는 연기자의 모션을 따라 학습하는 학습자의 무릅이상의 모션을 감지하기 위한 모션 감지부와 학습자의 발동작을 감지하는 발동작 감지부를 갖는 모션 게임 장치에 의해서 달성 가능하다.

Description

모션 게임 장치{Motion Game Apparatus}

본 발명은 모션 게임 장치에 관한 것으로서, 구체적으로는 원연기자의 모션을 따라하는 학습자의 전신 모션을 평가하기 위하여 전신 모션 캡쳐기 또는 무릅이상의 모션을 캡쳐하는 모션 캡쳐기 및 발동작을 감지하는 발동작 감지기를 구비하는 모션 게임 장치에 관한 것이다.

최근, 음악재생장치와 게임자의 발동작을 감지하는 마루면체를 구비하고, 게임기에서 재생되는 음악과 더불어 게임자가 따라하여야 하는 발동작을 모니터 또는 마루면체의 발동작 지시기를 통해서 게임자에게 알려주고, 게임자는 타이밍을 맞추어 해당 발동작을 따라 하는 일명 DDR 게임기가 유행하고 있다.

이러한 DDR 게임기보다 더 진보된 것으로는 해당 게임자의 발동작뿐만 아니라, 손을 뻗는 동작을 감지하기 위하여 일정한 높이에 감지센서를 설치하여 게임자가 발동작 뿐만아니라 손에 대한 모션을 체크하는 게임기가 등장하고 있다.

그러나, 현재까지의 게임기들은 발동작 또는 발동작과 손 뻗는 동작만을 감지할 수 있는 게임기에 국한된 것으로서, 원연기자의 자연스러운 모션을 디스플레이하고 이를 따라 하는 게임자의 전체 모션을 평가할 수 없는 문제점이 있었다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 원연기자의 모션을 따라하는 학습자의 모션을 실시간으로 평가하기 위하여 전신 모션 캡쳐기 또는 무릅이상의 모션을 캡쳐하는 모션 캡쳐기 및 발동작을 감지하는 발동작 감지기를 구비하는 2가지 형태의 모션 게임 장치를 제공함을 목적으로 한다.

도 1은 본 발명에서 제시하는 모션 장치의 외관 구성도.

도 2는 본 발명이 적용되는 모션 장치의 블록 구성도.

도 3은 본 발명에 따른 발동작 감지부의 일 예를 도시한 구성도.

도 4는 학습자의 모션을 캡쳐하는 모션 캡쳐부의 기능 블록도.

도 5는 본 발명에서 사용하는 3차원 원연기자의 영상 프레임의 구조의 일예를 설명하기 위한 프레임 구조도.

도 6은 리타겟팅을 처리하는 흐름을 도시한 흐름도.

도 7은 도5에서 제시한 영상 프레임을 이용하여 모션을 평가하는 단계를 도시하는 절차도.

도 8은 본 발명의 또 다른 실시예의 하나인 모션 장치 블록 구성도.

도 9는 도 8의 시스템을 이용한 본 발명의 실행 흐름을 도시한 흐름도.

도 10은 본 발명의 실행 결과 화면.

도 11은 슬라이딩 고스트 포스쳐를 설명하기 위한 설명도.

상기의 본 발명의 목적은 복수 개 모션 데이터가 저장된 원연기자 모션 데이터 저장부와, 학습자의 신체칫수를 고려하여 리타겟팅된 상기 원연기자 모션 데이터를 저장하는 리타겟팅 원연기자 모션 데이터 저장부와, 저장된 상기 원연기자 모션 데이터를 영상으로 변환하는 영상 처리부와, 영상 처리부로부터 출력되는 영상 자료를 디스플레이하는 모션 출력수단과, 원연기자의 모션을 따라하는 학습자의 모션 데이터를 저장하는 학습자 모션 데이터 저장부 및 학습자 모션 데이터 저장부와 원연기자 모션 데이터 저장부를 이용하여 학습자 모션과 원연기자 모션을 비교 평가하는 모션 평가부를 구비하는 것을 특징으로 하는 모션 게임 장치에 의해서 달성 가능하다.

상기의 본 발명의 목적은 저장된 적어도 하나 이상의 원연기자 모션 데이터로부터 하나의 모션을 출력하는 모션 데이터 출력 수단과, 원연기자의 모션 데이터를 학습자 신체칫수를 고려하여 리타겟팅하는 리타겟팅부와 모션 데이터 출력수단으로부터 출력되는 연기자의 모션을 따라 학습하는 학습자의 모션을 감지하기 위한 모션 감지부 및 모션 감지부로부터 출력되는 학습자의 모션 데이터와 원연기자의 모션 데이터를 비교 평가하는 평가부를 구비하고, 상기 평가부에서는 리타겟팅된 원연기자의 모션 데이터와 학습자의 모션 데이터를 이용하는 것을 특징으로 하는 모션 게임 장치에 의해서도 달성 가능하다.

상기와 같은 본 발명의 목적은 저장된 적어도 하나 이상의 연기자 모션 데이터로부터 하나의 모션을 출력하는 모션 데이터 출력수단과, 모션 데이터 출력수단으로부터 출력되는 연기자의 모션을 따라 학습하는 학습자의 무릅이상의 모션을 감지하기 위한 모션 감지부와 학습자의 발동작을 감지하는 발동작 감지부를 갖는 모션 게임 장치에 의해서도 달성 가능하다. 원연기자의 모션 디스플레이 단계에서는 원연기자의 모션을 가능한 충실히 학습자에게 전달하는 것이 바람직하며, 비교 평가단계에서는 학습자의 모션 데이터를 원연기자의 신체 칫수로 리타겟팅하거나 또는 원연기자의 모션 데이터를 학습자의 신체 칫수를 반영하여 리타겟팅하여야 보다 정확한 평가 결과를 얻을 수 있기 때문이다.

이하 도면을 이용하여 본 발명을 보다 상세히 설명하기로 한다. 도 1은 본 발명에서 제시하는 모션 장치의 외관 구성 예로서, 복수 개 카메라 (100)와 연기자의 모션과 배경화면을 볼 수 있는 모니터 및 음향 장치를 구비하고 있다. 도 1에는 일정한 무대영역이 구비되어 있으며 상기 영역 내에서 학습자가 모션을 취할 경우 카메라를 이용하여 학습자의 모션 좌표값을 얻고 무대 영역내에 구비된 발동작 감지기를 이용하여 학습자의 발동작을 검출할 수 있게 된다.

연기자(140)의 무릅이상 또는 전신의 일정부분에 N 개 센서 (110)를 부착한 후 일정한 장소 내에서 연기를 시작하면, 이를 2개 이상의 카메라 (100)를 통하여 감지한다. 센싱하는 방식으로는 연기자의 주요 관절부분에 적외선을 반사하는 반사마커 (reflective marker)를 부착하고, 적외선을 감지하는 카메라를 이용하는 광학 방식을 이용하였다. 이때 부착되는 센서(110) 수는 가능한 모든 관절부위에부착하는 것이 바람직하나, 센서(110) 수가 증가하면 이미지 프로세싱 작업이 증가하므로 처리 속도 및 용량을 고려하여 적절한 수를 선택하여야 한다. 부착되는 카메라 수도 많을수록 정밀한 데이터를 얻을 수 있으나, 센서 수와 유사한 문제를 가져 오므로 적절한 갯수를 선택하여야 한다.

시작 단계에서 학습자가 무대 영역에 위치할 경우 학습자의 초기 위치를 연기자의 초기 위치와 일치시킬 필요가 있다. 이 경우에는 무대 밑면에 최초 발 위치를 표시하는 초기 발판 식별 위치 표시 장치를 둘 수도 있으나, 바람직하게는 학습자에 부착된 복수 개 센서 위치를 카메라로 식별한 후 이를 디스플레이 장치를 통해서 연기자의 초기 시작 위치와 차이값을 디스플레이 함으로써 일치를 유도시킬 수 있다. 이때 학습자의 초기 위치가 연기자의 초기 위치의 근사 범위 내에 들어올 경우에는 디스플레이 장치에 "Start" 신호 등을 표시함으로써 학습자의 모션을 시작시킬 수 있다. 다음으로 학습자는 디스플레이 되는 연기자의 모션을 따라 움직이게 된다. 본 발명에서 사용가능한 카메라는 피사체로부터 2내지 3미터 이내에서 근접촬영 가능한 일반 아나로그 카메라가 가능했으며, 175cm 키의 연기자를 모션 캡쳐하는 무대 장치의 경우에 카메라는 상호 2미타 30센티 이상 거리를 두고 설치하여야 했다.

도 2는 본 발명이 적용되는 모션 장치의 블록 구성도이다. 본 발명의 모션 장치는 사용자 입력을 받는 입력부와 제어부 및 센서/카메라, 발판, 영상출력장치 및 영상메모리로 구비된다. 도 2에서 점선으로 처리된 부분은 발동작을 별도의 발판으로 사용하여 감지할 경우에 필요한 구성요소이므로, 학습자의 전체 모션을 센서 및 카메라로 감지할 경우에는 필요없는 구성요소이다. 제어부는 입력부의 출력에 따라 모션 선택 신호를 출력하는 모션 선택부, 원연기자의 복수 개 모션데이터를 저장하는 모션데이터 저장부, 원연기자의 모션을 리타겟팅하는 리타겟팅 처리부, 리타겟팅된 모션 데이터를 저장하는 리타겟팅 원연기자 모션데이터 저장부, 학습자의 모션데이터를 저장하는 학습자 모션데이터 저장부, 학습자의 발동작데이터를 저장하는 학습자 발동작 데이터 저장부, 학습자 모션데이터와 발동작데이터를 합성하는 데이터 합성부, 리타겟팅 원연기자 모션데이터와 데이터 합성부의 출력데이터를 비교 평가하는 모션 평가부 및 학습자 모션을 캡쳐하는 모션캡쳐부, 학습자의 발동작을 감지하는 발동작 감지부 및 모션평가부의 출력을 영상출력장치에 표시하기 위한 결과영상출력부로 구성된다.

이하에서는 도 2의 모션 장치의 동작 흐름을 설명하기로 한다. 학습자는 영상출력장치에 디스플레이되는 복수 개 모션 데이터 중 하나를 입력부를 이용하여 선택한다. 입력부에 의한 모션 선택 신호에 따라 모션선택부는 모션데이터 저장부에 기록된 복수 개 모션 데이터 중 하나를 선택한 후 리타겟팅 처리부로 입력한다. 선택된 모션데이터 메모리에 저장된 데이터는 영상 처리부를 이용하여 영상 장치로 디스플레이된다. 학습자는 디스플레이되는 연기자의 모션을 따라 행동을 취하게 된다.

본격적인 모션이 디스플레이되기 전에 학습자에 부착된 센서마크의 위치를 모션캡쳐부에 의하여 감지하여 리타겟팅 처리부에 입력한다. 리타겟팅 처리부는학습자 모션과 원연기자의 모션 데이터를 이용하여 신체칫수 차이값을 축출한 후 원연기자의 모션데이터를 리타겟팅 처리한 후, 리타겟팅 원연기자 모션 데이터 저장부에 저장한다.

만약 영상출력장치에 현재 취해야 하는 모션만이 디스플레이되면 학습자가 이를 보고 따라하는데 시간 지연이 발생하게 된다. 따라서 이를 방지하기 위하여 도 11에 도시한 바와 같이 슬라이딩 고스트 포스쳐 (Sliding ghost posture) 방법을 이용한다. 슬라이딩 고스트 포스쳐이란, 현재 학습자가 따라 하여야 할 모션프레임 뿐만 아니라 앞으로 취해할 복수 개 모션 프레임을 보여 주는 것으로서, 도 11을 기준으로 설명하면, t[0]시점에 보여 주어야 하는 모션 프레임 외에도 향후 취해야 하는 t[1], t[2], t[3], t[4] 및 t[5] 시점의 모션 프레임을 동시에 보여 주는 것이다. 프레임 저장부는 영상 출력 장치에 디스플레이되는 복수 개 프레임을 저장하기 위한 저장부이며, 슬라이딩 제어부에 의해서 하나의 프레임씩 진행되도록 할 수 있다. 프레임 저장부에 저장된 복수개 프레임은 영상처리부를 이용하여 영상출력 장치에 디스플레이 된다.

학습자의 모션은 모션캡쳐부를 이용하여 학습자모션데이터로 이미지 처리된 후 학습자모션 데이터 저장부에 저장된다. 모션 평가부는 리타겟팅 원연기자 모션데이터저장부에 저장된 리타겟팅 원연기자 모션 데이터와 학습자 모션 데이터저장부에 기록된 학습자 모션 데이터를 비교 평가한 후, 평가 결과를 결과 영상 생성부를 이용하여 영상 출력 장치에 출력한다.

발판 및 발동작 감지부를 이용하여 시스템을 구성할 경우에는 발동작 감지부에 의해 학습자 발동작 데이터를 생성한 후 학습자 발동작 데이터 저장부에 저장한다. 학습자 모션 데이터 저장부에 저장된 학습자 모션 데이터와 학습자 발동작 데이터 저장부에 기록된 학습자 발동작 데이터는 데이터 합성부에 입력되어 데이터가 합성된 후 모션 평가부에 입력되는 구성을 갖게 된다.

도 3은 본 발명에 따른 발동작 감지부의 일 예를 도시한 구성도이다. 학습자의 하중을 지지하는 하부지지대 (330)와 학습자의 발움직임을 감지하기 위한 전기장 감지회로 패턴과 이러한 전기장 감지회로 패턴을 보호하기 위한 감지회로 패턴 보호층 (320)이 도포되는 구성을 갖는다. 감지회로 패턴 보호층 (320)으로는 아크릴판을 일 예로 들 수 있으며, 이외에도 전기장을 흡수하지 않고 통과하는 재질이면 사용 가능하다. 학습자가 감지회로 패턴 보호층 상에서 발을 움직이게 되면 이러한 발의 움직임에 의해 전하의 이동이 발생된다. 이러한 전하 이동은 열방향 또는 행방향에 설치된 전기장 감지회로 패턴에 의해 전하 이동 매트릭스 콘트롤러 (Charge Transfer Matrix Controller)에 입력된다. 전하 이동 매트릭스 콘트롤러는 해당 행 및 열번호를 인지한 후 통신 포트를 통하여 해당 행 및 열번호를 발동작 감지부에 전달함으로써 학습자의 정확한 발 위치를 파악할 수 있게 된다.

도 4는 학습자의 모션을 캡쳐하는 모션 캡쳐부의 기능 블록도이다. 모션 캡쳐부는 영상추출부, 영상처리부 및 모션캡쳐 데이터 변환부로 구성된다. 연기자의 전신을 모션 센서와 카메라를 이용 또는 무릅이상 모션은 모션 센서와 카메라를 이용하여 감지하고, 발동작은 발감지부를 이용하여 처리한다. 카메라로부터 감지된 영상은 영상추출부를 통하여 영상을 추출하고 노이즈를 제거한 후, 영상처리부를 이용하여 연기자의 모션에 대한 2차원 좌표값을 입수한다. 이렇게 입수된 이미지 2차원 좌표 데이터와 발감지부의 발좌표값을 이용하여 3차원 이미지 데이터를 생성하여 모션캡쳐 저장부에 프레임 단위별로 저장된다.

도 5는 본 발명에서 사용하는 3차원 원연기자의 영상 프레임의 구조의 일예를 설명하기 위한 프레임 구조도이다. 각 박스는 단위시간 간격으로 보관되는 모션 프레임을 표시하며, 각 박스 위의 기호는 프레임 번호를 도시한다. 원연기자의 영상 프레임은 리타겟팅 프레임과 시작과 끝 프레임, 모션프레임으로 구성되어 있음을 알 수 있다. 모션프레임은 기본모션 프레임과 일반모션 프레임으로 구분되어 있으며, 모션프레임 중 특별히 인상적인 모션 프레임을 기본모션 프레임이라고 정의한다. 기본모션 프레임이라는 정보는 모션 데이터를 생성하는 시점 또는 DB에 저장 한 후, 전문가(content 제작자)가 "특정자세"를 지정하는 관리툴(management program)을 사용해서 지정(marking, check pointing)한다. 이렇게 생성된 기본모션 프레임에 대한 정보는 모션프레임 데이터 파일에 첨부되어 저장 되거나, DB에 별도로 저장되어 사용된다.

원연기자의 신체 사이즈와 학습자의 신체 사이즈가 차이가 발생하므로 모션을 분석하기 전에 먼저 이러한 문제점을 해결하여야 한다. 이러한 문제점을 해결하는 과정을 리타겟팅이라 하며, 도 6은 리타겟팅을 처리하는 순서를 보여준다. 리타겟팅 프레임은 원연기자의 정지된 동작을 디스플레이하고 학습자가 동일한 포즈를 취하도록 유도하여 원연기자와 학습자의 각 요소의 크기 차이를 축출한 후 이를 원연기자의 3차원 영상 좌표 데이터에 반영하기 위한 것이다. 리타겟팅 프레임의 또 다른 기능은 원연기자와 학습자의 초기 위치를 일치시키기 위한 것이다.

먼저 리타겟팅 프레임 또는 기타 외부 데이터를 이용하여 원연기자의 신체 데이터와 학습자의 신체 데이터를 입수한다. 2가지 데이터를 분석한 후 학습자의 신체 칫수에 적합하게금 원연기자의 모션 데이터를 변환한다. 일반적으로 이러한 변환은 도 6에 도시한 바와 같이 원연기자 3차원 모션 데이터를 즉, 모션 데이터를 얻는 기준이 되는 신체 부위를 기점으로(대부분 허리를 기준으로 한다) 원연기자의 3차원 모션 데이터를 확대하거나 축소한 후, 중심 이동을 시킨다. 중심 이동후에는 제약조건을 만족하기 위한 변형을 함으로써 최종적으로 리타겟팅된 원연기자의 모션 데이터를 입수할 수 있다. 제약조건을 만족하기 위한 변형이 필요한 이유를 예로 들어 설명하면, 2m 키를 가진 농구선수의 3차원 모션 데이터를 1m 키의 초등학생 신체 칫수를 고려하여 농구선수의 3차원 모션 데이터를 허리를 중심으로 축소하면 지면에 닿아야 하는 발부분이 허공이 뜨는 현상이 발생하게 된다. 따라서 "발부분은 반드시 지면에 닿아야 한다"라는 제약조건을 부여하고 이러한 제약조건을 고려하여 농구선수의 3차원 모션 데이터를 변환하여야 한다. 일반적으로 3차원 모션 자료를 변환할 경우에는 리타겟팅외에도 자기교차 (self -intersection) 문제를 해결하여야 하나 본 발명과 같이 유사한 신체 칫수를 갖는 사람의 모션 데이터를 동일한 사람의 모션 데이터로 변경할 경우에는 반드시 고려할 필요는 없을 것이다.

도 7은 도5에서 제시한 영상 프레임을 이용하여 모션을 평가하는 단계를 도시하는 절차도이다. 학습자는 입력부를 이용하여 모션 데이터를 선택한다. (s1 단계) 다음으로 리타겟팅 프레임을 이용하여 원연기자와 학습자 신체 칫수 및 초기 위치를 비교한다. (s2 단계) 이때 원연기자 및 학습자의 신체 칫수 데이터는 외부 데이터를 이용할 수도 있다. 이러한 비교 값을 이용하여 원연기자의 3차원 영상 좌표 값 데이터를 변환 (리타겟팅)한다. (s3 단계)

그런 후, 원연기자의 3차원 모션 데이터를 디스플레이 한다. (s4 단계) 디스플레이되는 원연기자의 모션은 리타겟팅되기 전 원연기자의 3차원 모션을 디스플레이할 수도 있으나 리타겟팅된 후의 원연기자 3차원 모션을 디스플레이하는 것이 바람직하다. 리타겟팅 되기전 원연기자의 3차원 모션을 디스플레이할 경우에는 원연기자의 모션을 충실히 재현할 수 있는 장점이 있는 반면 학습자의 모션과 원연기자의 모션을 정확히 평가하는데 어려움이 있다. 리타겟팅된 원연기자의 3차원 모션을 디스플레이할 경우에는 학습자 모션과 서로 비교시 편리하게 처리할 수 있는 장점이 있다. 즉 학습자의 모션을 원연기자의 모션과 중첩되게 디스플레이할 경우, 리타겟팅된 모션을 사용하면 학습자가 원연기자의 모션과 동작차이가 얼마인지를 쉽게 인식할 수 있게 된다.

디스플레이되는 원연기자의 모션을 보면서 따라하는 학습자의 모션은 실시간으로 프레임 단위로 저장된다. (s5 단계) 디스플레이되는 원연기자 3차원 모션 프레임이 기본모션 프레임인지를 판단 (s6 단계)한 후 기본모션 프레임이 아닌 경우에는 계속해서 학습자의 모션 프레임을 입력받는다. 기본모션 프레임인 경우에는 리타겟팅된 원연기자의 기본모션 프레임과 실시간으로 파악되는 학습자 모션 프레임을 비교 평가한다. (s7 단계) 비교평가하는 방법으로는 원연기자의 기본모션 프레임의 해당 엔터티의 좌표값으로부터 일정한 범위내에 학습자의 모션이 들어올 경우, 일치여부를 결과영상생성부를 통하여 영상출력장치에 출력되도록 하였다. 도 12에 도시한 바와 같이 원연기자의 무릅이 (10,10,10)에 위치되고 허용 오차범위를 6으로 설정하면, 원연기자의 무릅위치를 중심으로 각변의 길이가 6인 정육면체를 형성할 수 있을 것이다. 따라서 이러한 방식으로 형성된 정육면체 내에 학습자의 모션이 들어오면, 원연기자의 모션과 일치하고 있다는 것을 표시하기 위해 일치된 엔터티에 동그라미를 그리거나 시각적으로 특별한 표식을 할 수도 있다. 이후 마지막 프레임인지 여부를 체크한 후(s8 단계), 마지막 프레임이 아닌 경우에는 s5 단계를 다시 시작하고, 마지막 프레임인 경우에는 상기 비교 평가 결과를 이용하여 총점을 디스플레이 한다. (s9 단계) 이때 비교 평가하는 방법은 상기와 같은 방식외에도 좌표값의 차이를 누적하는 등의 여러가지 기법으로 다양하게 표현할 수 있다.

도 8은 본 발명의 또 다른 실시예의 하나인 모션 장치 블록 구성도이다. 도2와의 차이점은 음악 DB, 광고대상물 DB와 캐릭터/무대 DB 및 음향 출력 장치를 구비하고, 카메라를 이용하여 학습자의 전신(全身)을 캡쳐할 수 있는 구조를 갖는다는 것이다. 광고대상물 DB에는 학습자와 원연기자의 모션 일치 횟수를 카운트한 후 해당 상품을 일치부분에 디스플레이할 광고 이미지가 저장되어 있다. 도 2에서 제시한 바와 같이, 몸전체에 센서를 부착하지 않고 발동작의 위치를 감지하기 위한 별도의 장치를 이용하는 것은 영상처리에 많은 시스템 부하가 소요되기 때문이다. 즉, 센서를 많이 부착할수록 그에 따라 실시간으로 처리해야 하는 데이터 처리량이 늘어나기 때문이다. 도 8에서 점선으로 표시한 부분은 선택사항임을 도시한 것으로써, 도 2의 구성과 유사하게 발동작 감지부를 설치할 수도 있고 또는 생략할 수도 있다. 도 8은 입력부를 통하여 학습자가 원하는 모션 데이터, 음악 데이터와 디스플레이될 배경 무대 및 캐릭터를 선택할 수 있는 구성을 도시하고 있다.

도 9는 도 8의 시스템을 이용한 본 발명의 실행 흐름을 도시한 흐름도이다. 사용자 선택에 따라 음악(s101, s102 단계), 고성능 모션 캡쳐 시스템을 사용해서 사용자의 전신 동작을 추적할 수 있고, 이를 원연기자의 영상과 별도로 가시화하는 경우에 적용될 수 있는 캐릭터 및 무대 (s103, s104 단계)를 선택한다. 도 7의 경우와 같이 여기에서도 s105단계의 원연기자 모션 데이터를 디스플레이 하기 전에 도 7의 s2~s3단계를 거쳐 사용자의 신체 데이터를 입력 처리할 수 있는 과정을 거칠 수 있다. 원연기자의 모션 캡쳐 DB로부터 원연기자 모션 데이터를 판독한다.(s105 단계) 원연기자 모션 데이터에 캐릭터 이미지를 오버레이한다. (s106 단계) 원연기자의 이미지를 그대로 사용하게 되면 영상파일의 사이즈가 증가하므로 원연기자의 모션 좌표에 이미 저장된 캐릭터 이미지를 오버레이함으로써 데이터 처리량을 줄일 수 있게 된다. 다음으로 모션 데이터와 음악 데이터를 매칭시키는 작업을 한다. (s107 단계) 원연기자의 모션 데이터는 디스플레이 장치를 이용하고, 음악은 사운드 장치를 사용하여 출력된다. (s108 단계) 사용자는 출력 자료에 따라 모션을 취하게 된다. (s109 단계)

그런 후 학습자의 모션을 캡쳐하게 되는데, 이때 해당 장치가 발동작 감지부를 구비하지 않는 전신 모션캡쳐 방식인가 또는 부분 모션캡쳐 방식인가에 따라 학습자의 3차원 모션 좌표를 획득하는데 차이가 있다. 전신 모션 캡쳐인 경우에는 다수의 카메라를 이용하여 전신 모션을 캡쳐하고, 영상으로부터 마크를 식별하고 프레임 단위로 모션을 추적한다.(s111, s112 단계) 이렇게 획득한 영상자료를 이용하여 2차원 좌표값을 추출하고, 추출된 데이터로부터 3차원 모션 좌표값을 획득하게 된다. (s114 단계) 부분 모션 캡쳐 및 발판을 사용하는 경우에 있어서, 모션 캡쳐하는 방식은 전신 모션 캡쳐와 동일하며 부가적으로 발동작 감지부를 이용하여 발동작 좌표를 획득하고(s115 단계), 이렇게 획득된 발동작 좌표를 이용하여 3차원 좌표를 이미지 처리에 의해서 획득한다. (s116, s117 단계)

다음으로 원연기자 좌표 데이터와 모션 캡쳐된 학습자의 3차원 좌표값을 이용하여 신체 칫수를 비교한다. (s118, s119 단계) 실측비교결과가 차이가 있을 경우에는 리타겟팅을 실시한다. (s120, s121 단계) 리타겟팅은 도 9에 제시된 흐름과 같이 학습자 모션 캡쳐 중간에 시행할수도 있지만, 도 7에 제시한 바와 본격적인 모션 캡쳐가 실행되기 전에 행할 수도 있다. 리타겟팅 후에는 기준 프레임인 경우 원연기자 데이터와 학습자의 데이터를 비교하여 일치 또는 불일치 여부를 체크한다. (s122, s123 단계) 일치가 될 경우에는 점수를 부여하고, 일치된 총횟수를 카운트하여 동작 일치 메세지 또는 광고대상품 DB를 이용하여 획득한 광고 대상물을 표시할 수 있게 한다. (s125 내지 s127 단계) 사용자 모션 저장부에 모션 캡쳐 데이터를 저장한 후, 마지막 프레임인지의 여부를 체크한다. (s128, s129 단계) 마지막 프레임이 아닌 경우에는 다음 모션을 캡쳐하게 되며, 마지막 프레임인 경우에는 게임을 종료하게 된다.

원연기자 모션 데이터와 학습자의 모션 데이터가 불일치할 경우에는 불일치 횟수에 따라 게임을 종료할 것인가의 기능설정여부를 검토한 후 (s130 단계), 특정횟수이상 불일치한 경우에 강제로 게임을 종료하게 한다.

도 10은 본 발명의 실행 결과 화면을 나타낸 것으로서, 원연기자와 학습자의 모션의 일치여부를 체크하여 총점을 디스플레이하고 획득한 총상품의 종류 및 갯수를 표시하고 있다. 게임실행시 가상댄스의 동작과 사용자의 동작이 일치할 때 마다 광고대상이 디스플레이 되도록 할 수 있다.

일치되는 동작의 난이도를 단순동작, 보통동작, 고도기술이 필요한 동작 등으로 구분화 하여 단순동작일 경우에는 저가의 상품을 고도의 동작일 경우에는 고가의 상품이 디스플레이(광고) 되고 일치한 동작의 광고물을 맞추면 맞춘 광고물의수가 나열된다. 나열된 광고물의 수를 환산하여 점수화한다.

예) 광고물 단가별 기본점수 DB

1) 컴퓨터 : 20점

2) 디지털 카메라 : 10점

3) MP3 플레이어 : 5점

4) 볼펜 : 2점

이상과 같이 광고물을 기본점수로 DB화 함.

게임실행시 컴퓨터를 1개 맞추고 디지털카메라를 3개 맞추고 MP3플레이어를 10개 맞추고 볼펜을 10개 맞추었을 경우 표시방법 및 점수의 환산의 예는 도 10에 도시되어 있다.

이상에서 설명한 바와 같이, 본 발명의 모션 게임 장치에 의해서 댄서 등의 모션을 따라하는 학습자 또는 게임자의 모션의 평가가 실시간으로 가능하게 되었다.

또한 학습자의 무릅이상의 동작은 모션 감지부에 의해서 감지하고 발동작은 발동작 감지부를 이용하여 감지하는 구성을 지니도록 함으로써, 영상처리량을 감소시킴으로써 학습자 모션의 실시간 평가가 가능한 구성을 제시하였다.

본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진자라면 누구나 쉽게 알 수 있을 것이다.

Claims (8)

1. 복수 개 모션 데이터가 저장된 원연기자 모션 데이터 저장부와,

   학습자의 신체칫수를 고려하여 리타겟팅된 상기 원연기자 모션 데이터를 저장하는 리타겟팅 원연기자 모션 데이터 저장부와,

   저장된 상기 원연기자 모션 데이터를 영상으로 변환하는 영상 처리부와,

   상기 영상 처리부로부터 출력되는 영상 자료를 디스플레이하는 모션 출력수단과,

   상기 원연기자의 모션을 따라하는 학습자의 모션 데이터를 저장하는 학습자 모션 데이터 저장부 및

   상기 학습자 모션 데이터 저장부와 원연기자 모션 데이터 저장부를 이용하여 학습자 모션과 원연기자 모션을 비교 평가하는 모션 평가부를 구비하는 것을 특징으로 하는 모션 게임 장치.
2. 제 1항에 있어서,

   상기 원연기자 모션 데이터는 복수 개의 프레임으로 구성되고, 상기 프레임은 리타겟팅을 위한 리타겟팅용 프레임과 원연기자 모션을 표시하기 위한 모션 프레임이 포함되는 것을 특징으로 하는 모션 게임 장치.
3. 제 1항에 있어서,

   상기 모션 출력수단에는 복수 개의 프레임이 디스플레이 되는 것을 특징으로 하는 모션 게임 장치.
4. 제 2항에 있어서,

   상기 모션 프레임은 원연기자의 주요 동작을 표시하는 기본모션 프레임과 원연기자의 일반 동작을 표시하기 위한 일반모션 프레임으로 구분되는 것을 특징으로 하는 모션 게임 장치.
5. 저장된 적어도 하나 이상의 원연기자 모션 데이터로부터 하나의 모션을 출력하는 모션 데이터 출력 수단과,

   상기 원연기자의 모션 데이터를 학습자 신체칫수를 고려하여 리타겟팅하는 리타겟팅부와

   상기 모션 데이터 출력수단으로부터 출력되는 연기자의 모션을 따라 학습하는 학습자의 모션을 감지하기 위한 모션 감지부 및

   상기 모션 감지부로부터 출력되는 학습자의 모션 데이터와 원연기자의 모션 데이터를 비교 평가하는 평가부를 구비하고, 상기 평가부에서는 리타겟팅된 원연기자의 모션 데이터와 학습자의 모션 데이터를 이용하는 것을 특징으로 하는 모션 게임 장치.
6. 저장된 적어도 하나 이상의 연기자 모션 데이터로부터 하나의 모션을 출력하는 모션 데이터 출력수단과,

   상기 모션 데이터 출력수단으로부터 출력되는 연기자의 모션을 따라 학습하는 학습자의 무릅이상의 모션을 감지하기 위한 모션 감지부와

   상기 학습자의 발동작을 감지하는 발동작 감지부를 갖는 모션 게임 장치.
7. 제 6항에 있어서,

   상기 모션 감지부는 학습자에 부착되는 복수개의 모션 감지센서와 상기 모션 감지센서의 움직임을 감지하는 2개 이상의 카메라와 상기 카메라로부터 영상 신호를 입력받아 이를 이미지 처리하는 영상처리부를 포함하는 것을 특징으로 하는 모션 게임 장치.
8. 제 6항에 있어서,

   상기 발동작감지부는 학습자의 하중을 지지하기 위한 하부지지대 (330)와 학습자의 발동작을 감지하기 위한 복수 개 전기장 감지회로 패턴 (310)과 상기 하부지지대 상부에 구비되며 상기 전기장 감지 회로 패턴을 보호하기 위한 전기회로 패턴 보호층 (320)이 구비되는 것을 특징으로 하는 모션 게임 장치.