KR100607046B1 - 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법 - Google Patents

Abstract

본 발명은 화상 카메라를 이용하여 사용자의 행동을 촬영하고 그 영상을 추출하여 사용자의 움직임을 감지하여 게임을 진행하는 방법 및 게임 장치에 관한 것이다. 보다 구체적으로 본 발명은, 화상 카메라로 촬영된 사용자의 움직임을 3차원 벡터로 추출하는 연산과 사용자의 움직임에 따라 게임상에 객체와 반응하여 상호작용하는 체감형 게임 방법으로서 게임객체와 사용자와의 상호반응, 2인 이상 사용자가 하나의 화상 카메라를 이용하여 서로 협동 경쟁하며 진행하는 게임방식 및 인터넷을 이용한 네트웍 체감형 게임에 관한 것이다.

게임, 체감, 화상처리, 카메라

Description

체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법 {Image processing method for bodily sensitive game and game method using same}

도1은 본 발명에 따른 체감형 게임 장치의 회로 블록 구성도

도2는 본 발명에 따른 체감형 게임 장치의 외부 구성예도

도3은 본 발명에 따른 화상처리의 블록 구성도

도4는 본 발명에 따른 화상처리 기술인 화상이미지프로세싱 파이프라인의 상세 구성도

도5는 본 발명에 적용되는 화상처리 기술 화상이미지프로세싱 파이프라인의 설명을 위한 참고도

도6은 본 발명에 따른 화상처리를 이용한 체감형 게임 조작의 예시도

도7은 본 발명에 따른 화상처리를 이용한 체감형 게임 조작의 예시도

도8은 도7의 실루엣에 대한 상세 예시도로서,

a) 게임 시간의 경과에 따른 실루엣 이미지 프레임의 예시도

b) 사용자와 게임 실루엣의 비교 판정 예시도

c) 게임 실루엣의 이미지 프레임에 대한 상세 정보 설명도

도9는 본 발명에 따른 게임 체감형 게임 조작 화면의 일례로, 도7의 상세 도

도10은 본 발명에 따른 화상처리를 이용한 체감형 게임 조작 예시도로, 2인 플레이 경우의 예시도.

도11, 12는 본 발명에 따른 인터넷을 이용한 체감형 게임 조작의 예시도

본 발명은 화상 카메라를 이용하여 사용자의 행동을 촬영하고 그 영상을 추출하여 사용자의 움직임을 감지하여 게임을 진행하는 방법 및 게임 장치에 관한 것이다. 보다 구체적으로 본 발명은, 화상 카메라로 촬영된 사용자의 움직임을 3차원 벡터로 추출하는 연산과 사용자의 움직임에 따라 게임상에 객체와 반응하여 상호작용하는 체감형 게임 방법으로서 게임객체와 사용자와의 상호반응, 2인 이상 사용자가 하나의 화상 카메라를 이용하여 서로 협동 경쟁하며 진행하는 게임방식 및 인터넷을 이용한 네트웍 체감형 게임에 관한 것이다.

종래에, 사용자가 게임을 조작하는 대표적인 장치로는 키보드, 마우스, 조이스틱 등이 있다. 상기 조작 장치들은 각 게임의 특성을 살릴 수 없는 보편적인 장치로서 비행기 게임, 자동차 게임, 격투 게임 등에는 그 게임의 특성을 충분히 살릴 수 없다. 또한, 이 모든 장치들은 의자에 앉아 정적으로 즐기는 방식을 취하는 소극적인 방법으로 장시간 의자에 앉아 있을 때 몸에 무리가 가고 쉽게 피곤하게 한다.

최근에는, 게임 시스템의 고급화와 높은 수요자의 욕구에 맞춰 많은 체감형 게임들이 존재하고 있고, 앞으로도 개발되고 있다. 자동차 내부를 실제로 만들고 그 안에서 모니터를 바라보며 레이싱을 하는 게임, 총모양의 장치를 이용하여 모니터의 적을 향해 손으로 방아쇠를 방기며 사격하는 게임, 스키 발판을 이용하여 모니터에서 높은 산을 활강하는 게임, 소방차 소화기를 배치하여 모니터에 불이 난 장소를 소화기를 들고 불을 끄는 게임 등 다양한 체감형 게임들이 존재한다.

이러한 체감형 게임들은 고비용의 하드웨어와 넓은 장소를 요구하게 된다. 즉, 비싼 비용으로 인해 사용자가 부담해야 하는 게임가격이 높아지며, 큰 면적으로 인해 여러가지 게임들을 배치하는 데 무리가 생긴다. 또한, 화상 카메라를 이용한 인터넷 서비스에 있어서는 단순한 화상 채팅 수준에 머물러 있어, 화상 카메라를 갖고 있는 사용자가 접할 수 있는 다양한 컨텐츠의 부재로 인해 그 활용면에서 협소하다고 할 수 있다. 또한, 화상 카메라를 이용한 채팅 사이트는 폐쇄적인 환경과 음란 화상 채팅으로 변질되어 청소년들에게 무분별하게 악용되고 있다.

종래의 기술에 대해서 간략히 설명하면 다음과 같다.

1999.09.14자 특허출원 제39323호는 이미지 인식기술을 이용하여 플레이어의 동작을 지능적으로 검출하여, 그 동작이 정해진 동작과 일치하는지를 판단하여 게임을 제어하는 것으로, 화면을 2분할해서 한쪽에는 사용자가 취할 모습을 3D 지시 캐릭터로 표현하고 다른 한쪽에는 카메라를 통해 사용자에 모습을 비추어 3D로 표현된 모습과 사용자의 모습이 같은지 틀린지를 비교하는 방법이다. 그 구현 방법에 있어서 카메라로 촬영된 영상에 배경을 미리 등록하고 배경과 플레이어를 분리하는 방식으로서 플레이어 뒤에 그린 스크린이나 벽을 향하게 해야 한다. 동작을 판정하는 방법에 있어서는 3D 지시 캐릭터에 머리, 몸, 팔, 다리를 분리하여 코드화하고, 카메라를 통해 촬영된 플레이어의 영상 또한 머리, 몸, 몸통, 팔, 다리를 분리하여 코드화해서 두 코드를 비교하는 방식을 취한다.

상기 고안에는, "화상입력신호로부터 작성되어 저장된 상기 플레이어의 얼굴사진, 및 상기 플레이어의 움직임 지시를 위한 객체의 동영상을 출력하는 제1모니터(13a)와, 상기 화상입력수단을 통해 인식된 상기 플레이어의 동영상을 출력하는 제2모니터(13b)와, 상기 두 모니터를 컴퓨터의 제어에 의해 구동시키는 3차원 비디오 카드(14)로 구성된 디스플레이수단을 갖는다. 상기 두 개의 모니터는 플레이어에게 지정된 움직임을 지시하는 디스플레이 화면 표시영역과 플레이어의 움직임을 배경영상이나 노래 가사와 함께 보여주는 플레이 화면 표시영역에 해당하며, 이러한 두 개의 표시영역은 도 3(상기 고안의 명세서에 첨부된 도면임, 이하 종래기술에서 인용한 부분의 도면 일련번호는 해당 종래기술의 문헌에 기재된 도면 일련번호임을 밝힘)에 도시된 바와 같이 한 대의 모니터를 화면 분할하여 사용(바깥쪽의 큰 아우트라인(13c) 한 개로 표시됨)할 수도 있고, 두 대의 모니터를 각각 설치하여 사용(안쪽의 작은 아우트라인(13d)(13e) 두 개로 표시됨)할 수 있다."고 기재되어 있다. 이와 같이, 상기 고안은 하나의 모니터, 혹은 2개 이상의 모니터를 이용하여 화면을 분할하여 한쪽에는 사용자를 출력하고, 다른 한쪽에서는 움직임 지시 객체 동영상을 출력한다.

또한 상기 고안에는, "움직임 추출수단은 카메라로부터 입력된 영상에서 화상의 그레이값이나 경계선 검출 및 윤곽선 추출 알고리즘을 이용하여 추출된 윤곽선 정보를 이용하여 배경과 분리된 움직이는 객체를 추출하는 모듈로서, 움직임이 없는 순수 배경 이미지에서 추출된 값(그레이 레벨값 또는 윤곽선 정보)을 배경정보로 등록한 후, 이후 입력되는 화상정보(그레이 레벨값 또는 윤곽선 정보)를 추출하고, 상기 추출된 화상정보를 배경정보에서 빼내어 움직임만을 추출하게 된다."라고 개시하고 있다. 따라서 상기 고안은 순수 배경 이미지를 등록해서, 카메라로 입력된 영상에 그레이값이나 경계선 검출 및 윤곽선 추출알고리즘을 이용하여 상기 추출된 화상정보에서 배경정보를 뺀 사용자 이미지만 추출하는 과정이 수반된다.

상기 고안은 또한, "상기 프로세서는 상기 움직임 추출수단에서 분리된 움직이는 객체로부터 몸체 주변의 움직임의 특성을 인식하는 움직임 인식수단을 갖는다. 이 움직임 인식수단은 도 7b에 도시된 바와 같이 상기 움직임 추출수단에서 분리된 움직임 추출 영상에서 그 값이 가장 강한 몸체 부분을 인식한 후 그 몸체를 중심으로 한 주변의 소정영역(왼팔과 왼쪽 다리가 위치하는 좌영역과, 오른팔과 오른쪽 다리가 위치하는 우영역, 및 머리가 위치하는 상부 영역, 몸통과 팔이 위치하는 중앙 영역, 다리가 위치하는 하부 영역)을 검사영역으로 분리하여 선정하고, 상기 선정된 각 영역별 움직임의 특성을 인식하여 패턴으로 보관한다. 예를 들어 움직임의 형태가 도 7c에 도시된 바와 같이 왼팔만 들려있는 움직임 검출자료의 경우 "왼팔 상", "오른팔 하", "머리 중"으로 패턴을 분류하고, 상기 각 패턴을 데이터베이스와 비교하여 코드로 변환한다."라고 개시한다.

그러나 상기 고안은 카메라를 통해 촬영된 영상에서 배경을 뺀 사용자를 추출한후 그 영상에서 몸체를 인식한 후 그 몸체를 중심으로 왼팔, 오른팔, 왼다리, 오른다리, 머리를 분리하고 코드화하여 데이터베이스화 한다. 여기서 상기 고안은 카메라를 통해 추출한 영상에서 사용자의 몸 부위를 얻어내는데 그 방법에 있어 화면을 5개로 분할하여 분할된 5개 영역의 이미지를 각 몸의 부위로 인식하는 과정에서 몸의 위치가 틀리다던지, 체형이 틀려서 5개 분할 영역에 맞지 않았을 때 사용자의 신체부위를 제대로 판독하지 못하고 코드화하지 못하여 게임 진행을 할 수 없는 경우가 생긴다.

상기 고안은 또한, "상기 프로세서는 상기 게임 프로그램에 따라 플레이어가 따라야할 일정한 패턴의 동영상 객체를 출력하는 지시모션 출력수단을 갖는다. 이 지시모션 출력수단은 도 7d에 도시된 바와 같이 플레이어(사용자)에게 음악에 맞춰 일정 동작을 지시하기 위해 화면 출력장치에, 정해진 동영상을 출력하는 모듈로서, 곡목별 또는 장르별 동작을 모아놓은 데이터베이스로부터 예를 들어 도 7e와 같이 "머리 중", "왼팔 중", "오른팔 하", "왼쪽다리 하", "오른쪽 다리 하"로 나열된 형태의 움직임 지시용 코드자료(명령코드)를 읽어내고, 움직임 데이터베이스를 이용하여 상기 움직임 지시용 코드를 연결하고, 패턴 데이터베이스를 이용하여 상기 움직임 지시용 코드에 맞는 패턴의 객체를 생성하고, 상기 객체들을 시간의 흐름에 따라 조합하여 동영상을 출력한다."라고 개시되어 있다.

그러나 상기 고안의 지시모션 출력 수단으로 사용되는, 동영상으로 출력되는 객체 또한 데이터베이스를 통해 신체를 분리한 머리, 왼팔, 오른팔, 왼쪽다리, 오른쪽 다리의 코드로 나누어 사용한다. 상기 고안이 코드로 분리하여 사용하는 이유는 카메라를 통해 입력된 사용자를 신체 부위 코드로 나누고, 지시모션 출력 또한 신체 부위 코드로 만들어 두 코드값을 비교하는 방식을 취하기 때문이다.

다음, 2000.07.06자 특허출원 제19350호는, 게임자의 움직임을 CCD 카메라로 촬영하고 소정 영역에서 이미지 변화를 분석하여 게임자의 터치가 정상적으로 터치되었는지를 판단해서 댄스 게임을 진행하는 것에 관한 것으로 음악에 정해진 스위치가 화면에 표시되고 게임머는 적절한 타이밍에 그 스위치를 터치하는 방식을 개시하고 있다.

상기 고안은 청구항7에서, "상기 공간 터치동작 감시수단은, 게임자를 촬영하는 CCD 카메라와, 상기 CCD 카메라에 의해 촬영된 최초 화면을 기준 화면으로 저장하는 기준 비디오 메모리와, 상기 CCD 카메라에 의해 촬영된 시간이 경과함에 따른 화면을 현 시점의 화면으로 저장하는 비디오 메모리와, 상기 기준 비디오 메모리와 상기 비디오 메모리의 화면을 대비하여 이미지 변화로 인한 터치 영역을 찾아내는 터치 영역 메모리와, 댄스 중 게임자의 터치를 위한 기준 터치 영역에 대한 데이터가 저장되어 있는 터치 영역 설정 메모리와, 상기 터치 영역 메모리의 터치영역과 상기 터치 영역 설정 메모리의 터치영역을 대비하여 터치여부를 확인하는 터치 영역 스위칭 연산부와, 상기 터치 영역 스위칭 연산부의 출력으로부터 게임자의 게임 중 터치의 편차량을 검출하고, 그 편차량의 적산값을 구하는 편차량 검출 및 적산부를 포함하는 것을 특징으로 하는 이미지 인식을 이용한 댄스 게임시스템"을 개시하고 있다.

상기 고안에서 CCD 카메라에 의해 촬영된 최초 화면을 기준으로 하고 있으며, 만약 최초 화면에 사용자가 찍히거나 다른 영상이 촬영된다면 게임 작동에 있어 제대로된 결과값을 얻을 수 없어 더 이상 게임을 진행할 수 없는 문제가 생긴 다.

상기 고안은 또한, "터치 위치지시 데이터 메모리(5)의 출력을 제공받은 마크가 마크 메모리(6)에서 생성되어 표시 제어부(7)로 출력되므로 표시 제어부(7)의 제어로 CRT(8)에는 도 7과 같이 터치 타이밍을 지시하는 게임자의 터치를 위한 터치표시가 출력된다. 이때 터치 표시로서는 종래의 댄스 게임시스템에서와 같이 단순한 화살표를 이용할 수도 있지만 이에 제한받지 않고 터치 표시의 색상 변화나 모양 변화로도 표시할 수 있을 것이다. 또한, 게임자의 터치를 위한 터치신호는 마크 메모리(6) 뿐만 아니라 편차량 검출 및 적산부(15)에도 제공된다."라고 개시하고 있다.

이와 같이, 상기 고안은 터치 영역은 마크로 이루어진 마크 메모리를 통해 특정 영역에 생성되어 표시되는 진행을 따른다. 즉, 화면상에 5개의 미리 정해진 영역에 음악에 따라 미리 정해진 5개의 영역중 특정 영역을 On/Off 시키는 방식으로 사용자가 On된 위치를 감지하는 방식이다.

또한, 2000.08.02자 특허출원 제0022091호는 크로마키 스크린(외곽음영추출용 배경) 안에 있는 인체의 동작을 촬영하여 기본 춤으로 설정된 동영상 캐릭터 춤을 흉내내면 그 결과를 정지된 상태의 표준 영상과 비교하여 채점을 하는 방식의 댄스게임에 관한 것으로 그 구현 방법에 있어 배경과 사람을 구분해 내기 위해 크로마키 스크린을 필수로 하며, 동영상 캐릭터와 게이머의 동작을 판정하는 방법에 있어서는 각 동작마다에 사람의 골격선을 뽑아내어 카메라로 촬영된 배경이 제거된 게임머만 있는 화상에 미리 정해진 사람의 골격선 비교하여 동작을 비교 판단한다.

상기 고안에서는 "본체부(16) 상단에는 화상출력 모니터(11)와 음원출력 스피커(14)가 위치해 있고 측면으로 고정된 기둥과 사각형태의 철골구조로 연결된 파이프 프레임(11) 사이로 단색 배경스크린(18)이 연결되어 있다. 바닥에는 배경 스크린(18)과 동일한 색상의 단색 바닥 시트(17)가 밀착되고 본체부(16) 중심 후방에는 광각렌즈가 장착된 소형 디지탈 카메라(15)가 고정되어 있다. 화상 출력 모니터(13)는 표준키의 눈 높이를 고려해 설치되고 원하는 곡명을 본체부(16) 중앙의 방향키를 손가락으로 가압하거나 사용자의 동작이 투영된 가상공간 스크린 터치에 의해 지정된다."라고 개시되어 있다.

또한, 상기 고안에는, "다음은 사용자 동작 형태를 분석하는 방법이다. 장치 전방의 사용자(19) 뒤로 가려진 벽면이 있어 외부의 동적인 장해물이 없는 조건에서는 원색 칼라 바닥시트(17), 배경 스크린(18), 파이프 프레임(11)을 설치할 필요가 없다. 계측시 필요한 사용자 인체 추출원리는 피사체가 등장하기 이전에 디지털 카메라로 촬영된 배경화면(71)을 메모리에 기억시켜 두었다가 사용자 등장시 생기는 색상, 명도, 채도의 변화를 감지하여 기본 형태를 추출하는 과정을 거친다. 이때 필수 요건은 카메라 전방에 피사체의 인체와 혼돈을 유발시키는 움직이는 운동물체가 없어야 한다. 또는 배경이 전방물체를 반사시키는 금속성 표면을 가지고 있거나 고광택 마감처리가 되어있는 소재여서 모니터의 조명 잔상이나 사용자 후방을 반사시키지 않아야 한다."라고 기재되어 있다.

즉, 상기 고안은 디지털 카메라로 촬영된 배경화면을 메모리에 미리 기억해 두었다가 사용자가 등장시 생기는 색상, 명도, 채도의 변화를 감지한다.

또한, 상기 고안에는, "첫 번째는 데이터 저장부(227)에 동작 지시용 에니메이션 키프레임 데이터로 제작된 폭이 넓은 두께의 3D 캐릭터의 음영만으로 이루어진 표준영상(75)을 입력영상(74)과 비교하여 일치하지 않는 영역의 면적을 산출(76)하는 것이다. 두 번째는 표준영상에 해당하는 3D캐릭터 인체골격선(77)의 정점위치를 입력영상(74)과 비교하여 사각정점 이내에 포함되지않는 외부영역을 검사하여 일치도를 측정한다. 동작이 크게 다를수록 외부에 어긋나는 비율이 커지는 것이다. 두 영상을 서로 비교하기 이전에 표준영상 음영(75)과 골격선(77)은 입력영상(74)의 위치와 전체 크기 비율에 맞춰 확대, 축소, 이동시킨다."라고 기재되어 있다.

상기 고안에 따르면, 지시용 에니메이션 키프레임 데이터로 실제 사용자보다 큰 크기로 3D 캐릭터 음영만으로 존재하며, 사용자의 동작을 판단하는 방법에 있어 내부적으로 실루엣과 배경에서 사용자만 추출한 영상을 통해 비교하는 방식으로 인해 사용자보다 기본적으로 커야 하며, 흑백의 음영으로만 제작되고, 확대, 축소, 이동하는 부차적인 과정을 거쳐야 한다.

본 발명은 상술한 바와 같은 기존의 게임 장치 및 방법을 개량하는 것을 목적으로 하는 것으로서, 본 발명의 한 특징에 따르면, 종래의 게임이 의자에 앉아 정적으로 게임을 즐기는 것과는 달리 본 발명은 키보드, 마우스, 조이스틱을 전혀 사용하지 않고, 서서 몸을 움직여 게임을 조작하는 방식으로 활동적이고 적극적인 몰입도를 가진다. 게임의 특성을 살린 몸으로 체감하며 진행 방법으로 각 게임에 특화된 조작방법을 제공하여 그 게임 상황에 맞는 행동을 했을 때 느끼는 재미와 몰입도를 준다.

본 발명의 다른 특징에 따르면, 인터넷 환경을 이용하여 화상 카메라가 연결된 사용자간에 서로의 모습을 바라보며 자신과 상대방의 움직임에 따라 게임이 진행되는 가상 공간에 제공한다. 여기에서 사용자는 서서 게임을 진행하기 때문에 종래 게임에서 사용자간의 커뮤니티를 위하여 키보드를 이용하여 텍스트로 채팅을 했던것에 반해 본 개발은 화상카메라를 통한 영상과 마이크를 통한 음성을 동시에 압축하여 인터넷을 통해 상대방에 전달하기 때문에 상대방과 옆에서 게임을 하고 있는 것과 같은 가상 환경을 제공한다. 본 발명은 화상 카메라를 이용한 체감형 조작 방법을 개발하고 이를 인터넷을 통해 간편하게 실행할 수 있는 방법을 제공하여 청소년들에게 건전하고 바람직한 인터넷 문화를 정착시켜 준다.

본 발명의 또다른 특징에 따르면 게임상 객체는 사람, 물건, 동물, 이미지 등으로 표현할 수 있으며 독립적으로 움직이고 소리를 낼 수 있다. 더불어, 본 발명은 사람 모양의 실루엣 이미지를 연속적인 애니메이션으로 나타내 댄스 동작과 같이 다양한 사람의 동작을 나타내는 실루엣 이미지와 화상 카메라를 통해 촬영된 사용자의 동작을 비교 판정하여 진행하는 체감형 게임 방법에 관한 것이다. 또한, 본 발명은 화상 카메라를 통한 체감형 게임 조작 방법을 활용하여 인터넷상에서 별도의 설치 없이 바로 화상 카메라를 이용하여 다중 사용자가 서로 상대방을 바라보며 게임을 진행하는 인터넷 게임 서비스를 포함한다.

본 발명은 체감형 게임 방법과 장치라는 고부가가치 산업에 사용자의 동작을 추적하여 사용자 동작에 따라 적절한 반응을 나타내며 진행하는 방식으로, 대중적인 화상 카메라를 이용하여 일반 사용자에게 새로운 개념의 체감형 게임을 접할 수 있는 기회를 제공해 준다.

본 발명은 사용자의 신체를 분리하는 것이 아니라, 카메라를 통해 입력된 영상에서 움직임이 포착된 영역을 오브젝트화한다. 본 발명에서 오브젝트화하는 객체는 사람의 신체 부위 뿐 아니라, 카메라를 통해 입력된 영상에서 물건의 움직임이 포착된다면 그 물건 또한 오브젝트로 구분해 낼 수 있다. 따라서 신체의 각 부위를 코드로 분리할 필요가 없으며, 데이터베이스할 필요 또한 없다.

본 발명은 카메라를 통해 촬영된 영상에 배경과 사용자를 분리하지 않은 상태에서 처리를 하므로 크로마키 스크린이나 블루 스크린 또는 벽을 향할 필요가 없으며, 단순히 터치 스위치를 통해 게임을 진행하는 것이 아니라, 게임상에 모든 객체를 포함하며 객체 또한 다양한 방법으로 표현(사람, 동물, 물건), 이동, 효과음을 낼 수 있다. 또한, 화상 카메라로 촬영된 영상의 체감형 게임 조작 방법에 있어서 이미지 필터, 시간/공간 분할, 3차원 벡터, DB 적재를 하나의 큰 모듈로(파이프라인) 구성하여, 게임을 진행하는 조작방법이나 활용도 측면에서 종래의 게임장치 및 방법과는 차별화된다고 할 수 있다.

도 1은 본 발명에 따른 체감형 게임 장치의 회로 블록도이고, 도 2는 도 1이 적용되는 외부 장치의 전체 외관도이다.

본 장치는 외부 입력 장치로 카메라(1)와 주화투입구(2), 시디롬(3), 게임설 정 스위치(4)가 있으며, 내부 처리 장치로는 메모리(5), 하드디스크(6), CPU(7), 비디오카드(8), 사운드카드(10), 랜카드(12)가 존재하고, 출력장치로는 CRT모니터(9), 스피커(11), 인터넷(13)으로 구성되어 있다.

메모리(5)는 다양한 저장공간으로 구분되는데, 카메라(1)를 통해 촬영된 영상을 저장하는 화상메모리(5a)와, 게임시에 필요한 각종 객체의 이미지를 저장하는 시스템이미지 메모리(5b)와, 배경음악, 효과음을 저장하는 사운드메모리(5c)와, 게임 데이터, DB, 게임 실행 모듈을 저장하는 게임메모리(5d)와, 게임 진행중 임시로 저장해야 할 데이터나 게임 설정 스위치의 값을 저장하는 데이터저장메모리(5e)가 포함된다.

본 장치의 모든 연산을 담당하는 CPU(7)는 각 기능별 처리로 화상메모리(5a)의 데이터를 처리하는 화상처리연산부(7a)와, 사운드메모리(5c)의 데이터를 처리하는 음향처리부(7b)와, 게임메모리(5d)의 데이터로 게임의 진행을 처리하는 게임처리부(7c)와, 필요에 따라 온라인 게임으로 네트웍처리부(7d)를 포함한다.

본 장치는 사용자를 카메라(1)로 촬영하고 촬영된 영상을 화상 메모리(5a)에 저장한다. 화상 메모리(5a)에 저장된 영상은 게임의 각종 객체와 이미지를 담고 있는 시스템이미지 메모리(5b)와 함께 화상처리연산부(7a)에 전달된다. 화상처리연산부(7a)에 대해서는 도3과 도4, 도5에서 자세히 설명한다. 화상처리연산부(7a)를 통해 연산된 이미지는 비디오카드(8)를 통해 최종적으로 CRT모니터(9)를 통해 출력된다. 상기 카메라(1)는 아날로그, 디지털, CCD, CMOS 카메라, 디지털 캠코더 등 다양하게 종류나 기종에 관계없이 사용할 수 있으며, 또한 일반 PC에서 사용하는 USB 화상 카메라를 사용하여 저렴한 가격과 대중성의 효과를 볼 수 있다.

본 발명의 체감형 게임 방법으로 카메라의 성능과 기능 또한 중요한데, 기능으로서 카메라(1)가 확대/축소 기능이 지원되면 체감형 게임 방법으로서 다양한 확장이 가능하다. 카메라(1)는 사용자를 촬영하여 게임 화면상에 표시할 때 CRT모니터(9)화면에서 사용자가 중앙의 무릎 부위까지 포착할 수 있는 위치에 배치되어야 한다.

본 장치에 있어서, 사용자가 게임을 처음 구동시키는 방법으로 도면에는 표시되어 있지 않지만 주화투입구(2) 옆에 있는 게임시작 스위치를 통해 게임을 구동시킬 수 있다. 본 장치는 대기 상태에서 게임시작 스위치가 눌려지면 바로 게임 구동 모드로 바뀌어 사용자가 게임을 시작할 수 있는 상태로 된다. 여기서 게임시작 스위치는 주화투입구(2)를 통해 주화가 투입될 때에 활성화되도록 허거나, 주화투입구(2) 위치에 카드결제장치를 달아 결제카드를 삽입하여 결제하는 방법으로 상기 게임시작 스위치를 활성화할 수 있다. 상기 주화투입이나, 카드결제와 같은 게임 시작, 결제 수단은 필요에 따라 게임설정스위치(4)에서 설정할 수 있다. 따라서 게임설정스위치(4)의 설정에서 결제수단을 없애면 본 장치는 어떠한 결제도 필요없이 게임시작위치를 누르는 것으로 게임을 구동 시킬 수 있게 된다.

게임이 구동되면 게임처리부(7c)에서는 본 게임을 실행하고 음향처리부(7b)는 각종 Wav, MP3를 가지고 있는 사운드메모리(5c)에서 데이터를 읽어와 사운드카드(10)를 통해 스피커(11)로 출력한다. 본 발명에 따르면, 두 개의 스피커(11)를 포함하는 스테레오 시스템 뿐만 아니라, 5.1채널 사운드카드(10)와 앰프, 증폭기, 복수개의 스피커 등을 포함하는 다채널 입체 음향 시스템일 수도 있다.

본 발명의 장치는 시디롬(3)을 이용하여 CD를 통해 쉽게 게임을 설치, 업데이트 할 수 있도록 구성된다. 본 장치의 게임을 실행하는 방법으로는 시디롬(3)에 게임시디를 삽입한 상태에서 게임을 실행시키면 게임시디의 데이터를 읽어와 게임메모리(5d)에 보관하고 게임처리(7d)의 요청에 따라 실시간으로 시디롬(3)에 삽입되어 있는 게임시디의 데이터를 읽어와 게임을 진행하게 된다. 이때 실시간으로 시디롬(3)에서 시디를 통해 데이터를 읽기 때문에 빠른 속도의 시디롬(3) 장치를 필요로 하게 된다. 여기서 시디롬(3) 장치는 52배속, 혹은 DVD장치로 구성해 빠른 속도와 고용량 저장장치로 사용하는 것이 좋다. 게임을 실행하는 상기 방법은 시디롬(3)에 게임시디를 항상 삽입해 놓아야 한다는 단점이 있는데, 게임을 실행하는 또다른 방법으로서 시디롬(3)에 게임시디를 삽입하고 실행을 시키는 것이 아니라 설치를 하는 방법이 있다. 게임시디에 설치프로그램을 실행하면 데이터저장 메모리(5e)를 통해 게임상의 모든 데이터가 하드디스크(6)로 저장되게 된다. 하드디스크(6)에는 한번 설치된 게임은 반영구적으로 보관되기 때문에 한번 설치한 게임은 시디롬(3)에 시디를 삽입해 놓을 필요가 없다. 게임을 실행하는 것은 하드디스크(6)에 이미 설치된 게임을 실행하는 것으로 본 발명에 따른 체감형 게임을 구동시킬 수 있다.

또한, 게임 전체가 바뀐 경우가 아닌 일부분이 버전업되거나 데이터가 바뀐 업데이트가 필요할 때에는, 업데이트시디를 시디롬(3)에 삽입하고 업데이트실행을 하는 것으로 업데이트가 필요한 데이터가 데이터저장메모리(5e)를 통해 하드디스크 (6)에 저장된다. 한번 업데이트 된 내용은 하드디스크(6)에 저장되기 때문에, 이때도 마찬가지로 한번 업데이트로 시디롬(3)에 시디를 항상 삽입시켜 놓을 필요가 없다.

게임설정스위치(4)는 게임 설정에 관한 각종 환경을 변화시킬 수 있는 구성요소로, 관리자가 게임을 쉽게 관리할 수 있도록 외부로 도출되어 있다. 게임설정스위치(4)에서는 게임을 재설치하지 않고 게임가격, 게임정보, 기록, 게임난이도 등을 설정할 수 있도록 구성된다. 또한 한번 설정한 데이터는 데이터저장 메모리(5e)를 통해 하드디스크(6)에 저장하여 장치의 전원이 꺼져도 반영구적으로 기록된다.

게임처리부(7c)는 게임 특성에 따라 온라인 대전, 협동이 가능한 게임을 위해 네트웍처리부(7d)를 따로 분리하고 있다. 네트웍처리부(7d)는 랜카드(12)를 통해 인터넷(13)을 이용하여 다른 장소에 있는 사용자와 온라인으로 게임이 가능하다. 온라인을 통한 본 개발의 서비스 방법은 도11, 도12에서 설명한다.

카메라(1)로 촬영된 영상은 CPU(7)의 화상처리연산부(7a)에서 절차적인 단계를 거쳐 게임이 조작되는데, 이 과정에서 촬영된 영상의 품질이 사용자가 게임을 조작하는데 많은 영향을 미친다. 실내 조명이 너무 낮아 카메라(1)로 촬영된 영상이 너무 어두워 사용자를 제대로 구분 못한다거나, 조명이 너무 밝아 전체적으로 밝은 영상이 촬영된다면 화상처리연산부(7a)가 제대로 작용하지 않아 화상카메라를 이용한 체감형 조작 방법이 제대로 이루어지지 못한다. 또한 일정한 조명의 밝기를 유지해야 하는데 주위의 다른 조명장치나 타게임장치로 인해 본 장치의 화상카메라 가 촬영하는 영역의 밝기가 수시로 바뀌는 문제도 발생할 수 있다. 상기 문제점을 해결하는 방안으로 카메라(1)의 자동 노출을 조정하는 기능을 포함하여 카메라(1)가 주위 조도에 맞추어 항상 일정한 조도의 영상을 촬영하는 것과, 상기 카메라(1)에 상기 기능이 없다고 하더라도 화상처리연산부(7a)의 내부 처리로 카메라(1)로 촬영된 영상의 잡음을 제거하고 화면 밝기를 일정하게 맞추는 필터링 작업으로 가능하다. 또한 CRT모니터(9) 옆에 존재하는 보조조명장치(15)를 부착하여 조명의 조도값을 맞추어도 좋다. 보조조명장치(15)는 본 장치가 설치되는 곳의 조도가 충분히 밝고 본 개발의 화상처리연산(7a)에서 충분히 가공하여 체감형 게임 조작에 영향을 없다면 생략해도 좋다.

화상처리 방법

도 3은 본 발명에 따른 화상처리 방법으로서, 화상 카메라로 촬영된 영상을 제어하는 단계를 도시한 동작 흐름도이고 도 4는 화상 카메라로 촬영된 영상 이미지를 제어하는 부분만 단계별로 상세하게 도시한 동작 흐름도이다. 또한 도 5는 도 3과 도4에 의해 실제구현된 화상 카메라 이미지 제어 방법 화면의 절차적인 참고도이다.

도 3은 도1의 화상처리 연산부(7a)에서의 내부 처리 과정을 도식한 흐름도로서 화상카메라장치(P1)는 물리적인 화상카메라와 직접적으로 연결된 모듈로 화상카메라로 들어오는 신호를 초당 30장의 디지털이미지로 변환한다.

이미지 디컴프레서(Image Decompressor)(P2)는 화상카메라장치(P1)로부터 받 은 초당 30장의 이미지를 화상카메라장치(P1)마다 각자 다른 고유의 이미지 포맷을 한 개의 단일 포맷으로 변환한다. 화상카메라장치는 제조업체나 기종, 성능에 따라 다양한 방식으로 촬영이미지를 저장, 전송하게 되는데 이 모든 장치의 다양한 이미지 포맷을 본 발명의 단일 포맷으로 바꾸게 된다. 이렇게 Image Decompressor(P2)에 의해 이미지 변환되기 때문에 본 장치에 어떠한 종류의 카메라가 설치되어도 상관없이 지원할 수 있게 된다.

상기 이미지는 화상카메라 영상추출(P3)을 통해 화상이미지프로세싱 파이프라인(P11)인 이미지필터(P5)로 전달된다. 또한, 동시에 화상카메라 영상추출(P3) 과정의 결과 이미지는 Renderer(P4)로 전달된다. Renderer(P4)는 비디오카드의 비디오메모리 이미지를 출력하여 최종 모니터를 통해 화면에 나타나게 한다. 카메라로 촬영된 영상이 모니터로 사용자에게 보이는 처리는 Renderer(P4)를 통하는것 만으로도 가능하다. 여기서, 본 발명의 체감형 게임(차후 설명함)을 조작하는 방법은 도 3의 화상이미지프로세싱 파이프라인(P11)에서 모든 처리를 하게 된다. 화상 이미지 프로세싱은 화상카메라로 촬영된 화상을 다양한 기술의 절차적인 단계를 거쳐 가공, 변환한다. 이러한 일련의 과정을 화상이미지프로세싱 파이프라인(P11)이라 한다.

화상카메라장치(P11)에서 추출된 영상은 카메라의 성능에 비례해 그 영상의 질에서 차이가 난다. 또한 연속된 영상의 명도값 변화와 조명에 의한 명도값 변화 정보 등, 촬영된 영상에는 잡음이 포함되어 있다. 따라서 도 4에서와 같이, 화상이미지프로세싱 파이프라인(P11)의 첫단계인 이미지필터(P5)는 영상의 잡음을 제거하 고 선명도를 높여 효과적인 결과를 얻을 수 있도록 화상카메라영상추출(P3)단계에서 온 초당 30장의 이미지를 필터링한다.

도4를 참조하면, 이미지필터(P5)를 통해 가공된 이미지는 공간분할(P6)을 통해 추출된 한 장의 정지 화상을 공간적으로 분할해 블록화한다. 공간분할(P6)은, 도 5의 오른쪽 상단 이미지와 같이 초당 30장의 이미지에서 각 이미지마다 가로 8픽셀, 세로 8픽셀의 블록으로 나누게 된다. 8x8 블록으로 나누어진 각 이미지들은 화상이미지프로세싱 파이프라인(P11)의 절차적인 단계들의 처리모듈의 최소 단위가 된다. 또한, 블록들은 8x8 정사각형으로 나누게 되는데 여기서 1x1, 4x4, 16x16, 32x32 등 다양한 크기의 블록도 가능하다. 블록의 크기가 작을수록 체감형 조작방법의 정밀도는 올라가지만 그 처리속도에서 CPU(7)에 많은 부담을 주게 된다. 여기서는 8x8의 블록크기가 수행속도와 결과값에 대해 만족할 만한 결과를 보여준다.

상기 공간적으로 분할된 이미지는 시간분할(P7) 단계에서 화상메모리에 저장되어 있는 초당 30장의 이미지에서 현재 이미지 프레임 n(P7a)과 현재 이미지의 다음번 이미지 프레임 n+1(P7b)을 시간에 따른 영상의 변화를 비교해 차영상 검출을 하게된다(P7c). 도 5의 하단 이미지 두장을 보면 왼쪽 이미지(P7a)와 일정 시간이 흐른 오른쪽 이미지(P7b)를 비교할 때 손이 움직인 것을 알 수 있다. 이때 공간분할(P6)된 두 이미지에서 변화된 블록만 표시하면 하단 오른쪽이미지(P7b)에서 보는것과 같이 손 주위에 채워진 박스인, 차영상(P7c)을 볼 수 있다.

상기 차영상검출(P7c)에서 비교된 결과를 통해 시간 분할된 차영상 블록을 통해 참조 시간 프레임과 동일, 유사한 블록을 검색하여 3차원벡터추출(P8)을 한 다. 도 5에서 손의 움직임이 바뀐 방향을 3차원벡터로 계량한 값으로 2차원 x, y값과 시간축에 따른 z값을 가지게 된다. 이 3차원 벡터값 x, y, z를 통해 속도, 강도의 값도 추론해 낼 수 있다.

3차원벡터추출(P8)을 통해 추출된 벡터를 통해 3차원 벡터에 분포하는 좌표값의 연결성 검사를 수행하여 연결된 영역을 모두 찾아낸다. 연결된 영역의 영역최적화를 통해 오브젝트영역검색(P8a)을 수행한다. 공간분할(P6)과 시간분할(P7)을 통해 추출된 차영상(P7c)들을 모두 추출하여 그 차영상(P7c)들을 연결하면 오브젝트로 하나의 영역을 만들 수 있다. 도 5에서 P7c를 모두 연결하면 움직임이 변화된 손만 하나의 오브젝트(P8a)로 추출해 낼 수 있다.

상기 오브젝트영역검색(P8a)을 통해 얻어진 정보를 통해 오브젝트 무게 중심을 추출하여 그 중심의 변화로부터 오브젝트 이동정보를 검출하는 오브젝트움직임감지(P8b)를 거쳐 최종 DB화 및 통계자료화(P9)를 통해 DB화하여 적재한다.

상기 화상이미지프로세싱 파이프라인(P11)의 각 단계를 거치면 최종적으로 카메라를 통해 촬영된 동영상에서 사물을 감지해 낼 수 있으며, 움직임을 감지하고 예측해 낼 수 있다. 예를 들어 사용자가 손을 움직였을 때 그 손의 움직임만 감지해 내어 오브젝트화하고 손이 움직이는 방향을 3차원 벡터로 표현할 수 있으며, 다음 사용자가 취할 손의 동작을 예측해 낼 수 있는 것이다.

적용예 및 확장된 화상처리

도 6은 상술한 본 발명에 따른 화상처리 방법을 적용한 체감형 게임의 예시 도이다. 게임화면 V1에는 카메라로 촬영된 사용자(17)와 게임객체(18)들이 있다. 게임객체(18)는 본 예시도에서는 원모양으로 공을 표현하고 있지만 실제 게임상에는 사람, 동물, 물건 등 어떠한 것으로 표현할 수 있다. 게임객체(18)는 게임화면 V1에서 일정시간 흐른 게임화면 V2에서 보는 것과 같이 자체적으로 움직일 수 있으며, 애니매이션이 되어 이미지가 바뀔 수도 있다. 또한 효과음을 가지며 사운드메모리(5d)의 데이터를 통해 소리를 낼 수도 있다.

게임화면 V1에서 사용자(17)의 움직임은 초당 30 이미지로 화면상에 동영상으로 계속적으로 표시되며 움직이다가 게임화면 V2와 같이 사용자(17)의 일부분(사용자(17)의 손)과 게임객체(18)가 겹쳤을 때 게임객체(18)는 다양한 반응을 하게 된다. 사용자(17)와 게임객체(18)가 겹쳐졌을 때 게임객체(18)의 다양한 반응으로는 특정한 소리를 내거나 에니메이션이 바뀔 수 있다. 또한, 사용자(17)의 3차원벡터추출(P8a) 단계에서 사용자(17)의 손이 움직인 방향을 3차원 벡터로 추적하여 게임객체(18)의 움직임 벡터와 물리 연산을 통해 사실적인 움직임 변화을 일으킬 수 있다.

사용자(17)의 손과 게임객체(18)가 겹쳐진 부분에 대해 비교 판정하는 부분에 있어서 도 6의 아래의 M1 도면을 보면 사용자(17)는 도4의 시간분할(P7)을 통해 초당 30장 이미지로 차영상검출(P7c) 된다. 게임객체(18) 또한 사용자의 차영상(P7c)과 같은 게임판정부(T1)를 갖고 있는데 게임판정부(T1)는 사용자의 차영상검출(P7c)과 마찬가지로 8x8 블록으로 표현할 수 있다. 손의 차영상(P7c)과 게임객체(18)의 게임판정부(T1)에 대해 겹쳐진 블록을 추출한다.

여기서 비교 판단하는 방법은, 사용자(17)의 움직임에 대한 차영상(P7c)을 통해 얻은 오브젝트영역검색(P8a)을 통해 얻는 오브젝트영역과 게임객체(18)가 겹쳐진 영역을 백분율로 산출한 값과 초당 30프레임에서 몇 프레임동안 겹쳐져있었는지 개수를 백분율로 산출한 두 값을 조정하여 비교판단한다.

오브젝트영역검색(P8a)의 과정을 생략한 차영상(P7c)을 이용하는 방법으로 다음과 같은 방법을 이용할 수도 있다. 사용자(17)의 움직임에 대한 차영상(P7c)에 대해 게임객체(18)의 게임판정부(T1)와 겹쳐진 부분을 백분율로 블록을 산출한 값(상기 도 6의 M1도면의 예시로 보면 게임객체(18)의 16개의 게임판정부(T1)와 사용자의 13개의 차영상(P7c)에서 두 블록이 겹친 것은 3개이다. 즉 (3/16)*100의 값이 산출된다)과 초당 30프레임에서 몇 프레임동안 겹쳐져 있었는지 개수를 백분율로 산출한 두 값을 조정하여 최종 사용자(17)와 게임객체(18)가 부딪혔는지 판단한다. 이러한 판단은 초당 30프레임으로 이루어지기 때문에 게임객체(18)는 일정 영역에 고정되어 있지 않고 자체적으로 움직이는게 가능하며, 단순한 도형이 아닌 복잡한 모양을 띠거나 자체적으로 계속 애니메이션이 되며 이미지가 바뀌어도 상관없다.

상기 게임판정부(T1)는 8x8 블록으로 표현할 수 있다고 예시했지만, 본 화상카메라로 촬영된 영상이 8x8 블록으로 공간분할(P6)을 했다고 해서 게임객체(18)의 게임판정부(T1) 역시 8x8 블록으로 정해진 것은 아니다. 게임객체(18)의 세밀한 모양을 비교판정하기 위해서 게임판정부(T1)는 공간분할(P6)과는 관계없이 1x1, 4x4, 8x8, 16x16 블록 등 다양하게 나뉘어 판정할 수 있다. 블록 크기가 작을수록 게임객체와 사용자와의 판정은 정확도가 올라가지만, CPU에 부담을 주게 된다. 여기서 는 게임판정(T1)도 8x8의 블록크기가 수행속도와 결과값에 대해 만족할만한 결과를 보여준다.

확장된 화상처리를 적용한 다른 게임 적용례 및 비교판단 방법

도 7은 도6에서 설명한 확장된 화상처리를 이용한 체감형 게임의 예시도이고, 도 8은 도7의 게임 방법에 대해 상세하게 설명하기 위한 것이고, 도9는 도7의 체감형 게임 화면의 예시도이다.

도7의 게임객체는 실제사람 모양을 띤 실루엣(S1)으로 표현된다. 사용자(17)와 사람 모양의 실루엣(S1)이 정확하게 겹쳐졌는지 판단하여 게임을 진행하는 체감형 조작방법이다. 도 7의 예시도는 사용자(17)와 실루엣(S1)이 정확하게 겹쳐있지 않지만 도9의 실제게임화면 참고도와 같이 사용자(17)는 게임화면상에 표시되는 실루엣(S9)과 정확하게 겹쳐지도록 카메라를 바라보며 게임을 진행하여야 한다.

게임 실루엣 S1은 도8과 같이 여러 장의 이미지로 메모리에 저장된다. 게임 실루엣은 도 8 (a)의 S2, S3, S4, S5, S6과 같이 다양한 동작을 취하는 이미지로 제작되고, 이러한 이미지들은 시간의 흐름에 따라 정해진 시간으로 순차적으로 화면에 표시되어 실루엣이 동영상처럼 움직이게 된다. 사용자(17)는 동영상으로 움직이는 실루엣을 보고 최대한 동작에 맞추어 게임을 조작하게 된다.

사용자(17)의 동작이 게임 실루엣과 일치하는 비교판정은 도 8 (b)의 도면과 같이 두 가지 방법으로 할 수 있다. 왼쪽 실루엣이미지 S7은 상기 예시한 게임객체(18)와 같은 것으로 모양이 사람모양을 취하는 객체로 표현되어, 상기 방법과 같이 실루엣이미지 S7 전체를 게임판정부(T1)로 설정하고 사용자의 차영상(P7c)과 비교하는 상기 방법과 같은 방법으로 판단하는 방법이다. 다른 한가지 방법은, 오른쪽 실루엣이미지 S8처럼 실루엣이미지 S8의 게임판정부(T1)가 관절이나 움직임이 변화된 곳에만 설정되어 있는 것이다. 실루엣이미지(S8)의 게임판정부(T1)는 도7의 M1도면과 같이 상기 사용자(17)의 손과 게임객체(18)를 비교 판단하는 방법과 같이 사용자(17)의 움직임에 대한 차영상(P7c)를 통해 얻은 오브젝트영역검색(P8a)을 통해 얻는 오브젝트영역과 실루엣이미지 S8이 겹쳐진 영역을 백분율로 산출한 값과 초당 30프레임에서 몇 프레임동안 겹쳐져 있었는지 개수를 백분율로 산출한 두 값을 조정하여 비교판단한다. 여기서 오브젝트영역검색(P8a)의 과정을 생략한 차영상(P7c)을 이용하는 방법으로 사용자 차영상(P7c) 블록과 실루엣이미지(S8)의 게임판정부(T1)의 겹쳐진 부분을 백분율로 산출한 값과 초당 30프레임에서 몇 프레임동안 겹쳐져 있었나 개수를 백분율로 산출한 두 값을 조정하여 최종 사용자(17)와 실루엣이미지 S8이 일치하는지 판단하여, 사용자(17)가 실루엣(S8)의 동작을 비슷하게 취하고 있는지 판단하게 된다. 이러한 판단을 통해서 실루엣 이미지 한 장을 추가할 때마다 실루엣은 다양한 동작을 애니메이션으로 표현할 수 있으며, 사용자(17)의 동작을 판단할 수 있게 된다. 그러므로, 실루엣(S7) 이미지를 추가하는 것으로 사람이 취할 수 있는 모든 동작을 게임상에 표현할 수 있으며, 사용자(17)가 그 동작을 맞게 행동했는지 비교하여 게임을 진행할 수 있다. 게임판정부(T1)는 실제 게임화면에는 표시되지 않으며 내부의 화상이미지프로세스 파이프라인(P11)에서 내부적으로 처리된다.

실루엣 이미지는 도8의 (c)의 도표와 같이 각각 이미지(Frame)들이 화면상에 몇 초 동안 표시되어 있어야 하는지와, 각 이미지의 게임판정부(T1)는 몇 초동안 사용자(17)가 똑같이 행동해야 하는지 판단하는 정보를 포함한다. 이러한 이미지(Frame)의 정보를 통해 실루엣은 하나의 동작이 동영상으로 표현된다. 또한, 이 정보들을 통해서 실루엣은 다양한 동작을 연속으로 표시하는데, 그 실루엣의 동영상은 춤, 특정 동작, 자세 등 사람이 취할 수 있는 모든 동작을 본 발명의 체감 게임 방법으로 표현할 수 있으며, 게임을 진행할 수 있다.

또한, 실루엣 이미지는 본 게임에 설치되어 있는 상태에서 실루엣 이미지만 업데이트 하는 방식으로 본 게임을 계속적으로 업데이트 및 확장시킬 수 있다. 즉, 최초로 본 게임의 기본적인 모듈만 설치한 상태에서 후에 실루엣 동영상 데이타를 추가하여 다른 동작을 따라하는 게임으로 확장할 수 있다. 상기 시디롬(3)를 통해 게임을 업데이트하는 방식과 같이 새로 추가된 실루엣 이미지 업데이트 CD를 시디롬(3)에 삽입하고 업데이트를 실행하면 본 게임에서는 업데이트된 내용의 실루엣 게임을 실행할 수 있다. 이것은 업데이트 시디가 아닌 인터넷을 통해서 실시간 업데이트도 가능하다. 네트웍처리부(7d)를 통해 필요한 실루엣 이미지를 랜카드(12)를 이용하여 인터넷(13)을 통해 실시간으로 본 게임 서버를 통해 수신받게 된다. 여기서 수신된 실루엣 이미지는 데이터저장메모리(5e)를 통해 하드디스크(6)에 저장함으로써 한번 인터넷(13)으로 받은 실루엣 이미지는 영구적으로 저장되어 게임에서 계속적으로 실행할 수 있다.

다른 실시예

도 10은 도7에 대해 2명의 사용자가 하나의 화상카메라(1)로 같은 화면에 같이 진행하는 방법을 예시한 도면으로 왼쪽 사용자 17과 왼쪽 사용자가 동작을 취할 실루엣 S10, 그리고 오른쪽 사용자 19와 오른쪽 사용자가 동작을 취할 실루엣 S11이 같은 화면상에 표시된다.

왼쪽 실루엣 S10과 오른쪽 실루엣 S11은 각각 서로 다른 이미지로 설정되어 다른 동작을 애니메이션하거나, 같은 실루엣이미지를 사용하여 두 사용자가 같은 동작을 실루엣에 맞추어 행동하게 할 수 있다. 또한, 두 실루엣은 댄스 동작을 애니메이션화하여 하나의 배경음악이 흐르고 두 실루엣이 그 음악에 맞추어 그룹 댄스를 추는 동작으로 표현할 수 있다. 이때, 사용자는 각각 자신의 실루엣에 맞추어 동작을 취하면서 두 사용자가 하나의 댄스를 추는 게임 방법이 가능하다.

다른 실시예

도 11과 도 12는 도6의 체감형 게임 방법을 인터넷을 이용하여 쌍방향으로 같이 게임을 즐기는 체감형 게임 방법의 예시도이다.

모니터(9)의 화면에는 본인의 카메라(1)을 통해 투영되는 화면 E1과 상대방의 카메라로 투영된 화면 E2가 분할되어 나타난다. 본인의 화면에는 자신 E3이 나타나며 상대방 화면에는 상대방 E4가 나타난다. 게임의 객체 공 E5는 현재 자신의 화면 E1에 존재하는데 사용자 E3이 몸으로 공 E5를 밀어내면 공 E5는 상대방 화면 E2로 가게 된다. 상대방의 화면 E2는 네트웍처리부(7d)의 랜카드(12)를 통해 인터넷(13)을 통하여 상대방에 실시간으로 재생되게 된다. 실시간으로 전송되는 상대방 동영상은 실제게임객체 E5는 포함하지 않은 순수한 카메라(1)를 통해 촬영된 영상만 전송되게 된다. 게임객체(E5)는 현재 내 모니터(9)을 통해 분할된 두 화면 E1, E2 상에 표시된다. 또한 본 체감형 게임 장치는 서서 즐기는 게임으로 문자를 이용한 채팅을 지원하지 않는다. 채팅은 화상 채팅으로 본 장치에는 표시되어 있지 않지만 마이크를 통해 실시간 음성 채팅을 하게 된다. 따라서, 카메라(1)는 마이크 기능을 포함하는 것이 바람직하다.

이상에서 본 발명의 구체적인 실시예를 통해 본 발명의 기술적 사상을 설명하였다. 그러나 본 발명의 기술적 사상이 상기 실시예에 한정되는 것은 아니다. 본 발명의 기술적 범위는 첨부한 특허청구범위의 합리적 해석에 의해 결정되는 것이다.

본 발명에 의하면 화상 카메라를 이용하여 화면에 투영된 자신을 바라보며 몸을 움직이며 게임을 조작하는 진행 방식으로 게임 특성에 맞는 행동을 직접 체험함으로써 느끼는 몰입도와 재미를 높혀준다. 또한 경쾌하게 몸을 움직이는 동안 자연스럽게 다이어트 효과도 볼 수 있으며, 건전한 땀을 통해 가벼운 운동 효과를 줄 수 있다. 본 발명은 기존의 게임이 채택하고 있는 조작 방법과는 다른 더 활동적이고 적극적인 참여를 유도하는 새로운 방식의 신개념 체감형 방법을 제공한다. 시중 게임업소에서는 몸으로 하는 체감형 게임이 젊은 세대에게 많은 인기를 누리고 있으며 사람들은 많은 비용을 지불해가며 이러한 체감형 게임을 즐기고 있다. 이러한 고부가가치 산업에 본 발명은 화상 카메라를 이용하여 일반 사용자에게 새로운 개념의 체감형 게임을 접할 수 있는 기회를 제공해 준다.

화상 카메라를 이용한 동영상 객체 추적은 몇 년간 컴퓨터 비젼 및 여러 실용적 응용 분야에서 관심을 가지는 주제중 하나이다. 특히 산업계의 자동화 감시 시스템과 일반 사회에서 널리 사용되는 무인 감시 시스템은 인건비 절약적 측면과 작업자가 현장에서 확인하기 어려운, 원격에서 감지할 수 있는 장비로 부각되고 있다. 더욱이 멀티미디어 관련 기술의 급속한 발전으로 인하여 비디오 모니터링 시스템의 기술력 또한 급속히 발전하고 있기 때문에 이러한 감시 모니터링 시스템의 일반화가 더욱 가속되고 있다. 이렇듯, 국내 기술은 아직 특정 산업 목적에 치중되어 있으나, 점차 기술의 발전과 시스템의 고급화로 일반 사용자의 요구치가 높아져 본 기술에 관심이 높아질 것이다. 본 발명은 산업 분야에서나 접할 수 있던 모션 캡쳐나 화상 제어같은 전문적인 기술 분야로써 독자적인 화상이미지 프로세싱 파이프라인을 구축하여 기술적인 문제와 하드웨어적인 문제를 극복하고 일반 화상 카메라를 이용하여 대중화를 실현할 것이다.

Claims (17)

1. 카메라를 포함하는 외부 입력 장치와, 영상과 음향을 출력하는 출력장치와, 카메라를 통해 촬영된 영상과 게임시에 필요한 각종 객체의 이미지와 배경음악, 효과음과 게임 데이터, DB, 게임 실행 모듈 및 게임 진행중 임시로 저장해야 할 데이터나 게임 설정 스위치의 값을 저장하는 메모리와, 상기 메모리에 저장된 화상을 처리하는 화상처리연산부와, 메모리의 데이터를 처리하는 음향처리부와, 메모리의 데이터로 게임의 진행을 처리하는 게임처리부를 포함하는 CPU를 포함하는 게임 장치의 상기 CPU 화상처리연산부에 적용되는 화상처리 방법으로서,

   상기 화상카메라로 들어오는 신호를 소정 프레임 개수의 디지털이미지로 변환하는 단계와,

   화상카메라로부터 받은 이미지를 화상카메라장치마다 각자 다른 고유의 이미지 포맷을 한 개의 단일 포맷으로 변환하는 이미지 디컴프레싱(Image Decompressing)과,

   화상카메라 영상추출를 통해 영상추출된 이미지를 처리하는 화상이미지 프로세싱 파이프라인을 포함하여,

   상기 카메라를 통해 촬영된 동영상에서 사물의 움직임을 감지하여 오브젝트화하고 사물이 움직이는 방향을 3차원 벡터로 표현하는 것을 특징으로 하는 화상처리 방법.
2. 제1항에 있어서, 상기 화상이미지 프로세싱 파이프라인은

   추출된 영상의 잡음을 제거하고 선명도를 높여 효과적인 결과를 얻을 수 있도록 하는 이미지필터링 단계,

   이미지필터링을 통해 가공된 이미지를 공간분할을 통해 공간적으로 분할해 블록화하는 단계,

   상기 공간적으로 분할된 이미지를 화상메모리에 저장되어 있는 이미지에서 현재 이미지 프레임 n과 현재 이미지의 다음번 이미지 프레임 n+1로 시간분할하는 단계,

   시간에 따른 영상의 변화를 비교해 차영상 검출을 하는 단계,

   상기 차영상검출에서 비교된 결과를 통해 시간 분할된 차영상 블록을 통해 참조 시간 프레임과 동일 유사한 블록을 검색하여 3차원벡터를 추출하는 단계,

   3차원벡터추출을 통해 추출된 벡터를 통해 3차원 벡터에 분포하는 좌표값의 연결성 검사를 수행하여 연결된 영역을 모두 찾아내고, 연결된 영역의 영역최적화를 통해 오브젝트영역 검색을 수행하는 단계,

   상기 오브젝트영역검색을 통해 얻어진 정보를 통해 오브젝트 무게 중심을 추출하여 그 중심의 변화로부터 오브젝트 이동정보를 검출하는 오브젝트 움직임을 감지하는 단계를 포함하는, 화상처리 방법.
3. 제2항에 있어서, 상기 오브젝트영역 검색 단계에서는

   공간분할(P6)과 시간분할(P7)을 통해 추출된 차영상(P7c)들을 모두 추출하여 그 차영상(P7c)들을 연결하여 하나의 오브젝트를 만드는 단계를 포함하는 화상처리 방법.
4. 제2항에 있어서, 상기 오브젝트 움직임 감지 단계 후에, 데이터를 DB화 및 통계자료화 하는 단계가 추가로 포함되는, 화상처리 방법.
5. 카메라로 촬영된 사용자(17)와 게임객체(18)를 게임화면에 표시하되, 사용자(17)의 움직임은 화면상에 동영상으로 계속적으로 표시되고, 게임개체는 스스로 움직이도록 동작시키는 단계,

   사용자(17)의 적어도 일부분과 게임객체(18)가 겹쳤을 때 상기 사용자의 움직임을 상기 제1항 내지 제4항 중 어느 한 항의 화상처리 방법에 의해 처리하여, 양자가 겹쳐지는 부분을 비교 판정하여 그 판정결과에 따라 게임객체(18)가 다양한 반응을 하도록 하는 단계를 포함하는 체감형 게임 방법.
6. 제5항에 있어서,

   상기 게임화면은 복수개가 인터넷을 통해 실시간으로 연결되며,

   상기 게임화면 중 하나에는 제1인 사용자의 카메라를 통해 촬영되는 화면 E1과 제2인 사용자의 카메라로 촬영된 화면 E2가 분할되어 나타나고,

   게임객체는 현재 제1인 사용자의 화면 및 제2인 사용자의 화면 E2에서 실시간으로 이동되어 표시되는 것을 특징으로 하는 체감형 게임 방법.
7. 제5항 또는 제6항에 있어서, 상기 사용자와 게임객체가 겹치는 부분의 비교 판정은

   게임객체(18) 이미지를 다수의 블록으로 분할하는 게임판정부(T1)를 설정하는 단계,

   사용자의 차영상(P7c)과 게임객체(18)의 게임판정부(T1)에 대해 겹쳐진 블록을 추출하기 위하여, 사용자(17)의 움직임에 대한 차영상(P7c)을 통해 얻은 오브젝트영역 검색(P8a)을 통해 얻는 오브젝트영역과 게임객체(18)가 겹쳐진 영역을 백분율로 산출한 값과, 초당 30프레임에서 몇 프레임동안 겹쳐져 있었는지 개수를 백분율로 산출한 두 값을 비교판단하는 단계를 포함하는 체감형 게임 방법.
8. 제5항 또는 제6항에 있어서, 상기 사용자와 게임객체가 겹치는 부분의 비교 판정은

   게임객체(18) 이미지를 다수의 블록으로 분할하는 게임판정부(T1)를 설정하는 단계,

   사용자(17)의 움직임에 대한 차영상(P7c)에 대해 게임객체(18)의 게임판정부(T1)와 겹쳐진 부분을 백분율로 블록을 산출한 값과 초당 30프레임에서 몇 프레임동안 겹쳐져 있었는지 개수를 백분율로 산출한 두 값을 조정하여 최종 사용자(17)와 게임객체(18)가 부딪혔는지 판단하는 단계를 포함하는, 체감형 게임 방법.
9. 제7항에 있어서,

   상기 게임객체(18)의 게임판정부(T1)의 블록은 사용자 이미지의 공간분할(P6) 블록과 다른 크기인 것을 특징으로 하는, 체감형 게임 방법.
10. 제8항에 있어서,

    상기 게임객체(18)의 게임판정부(T1)의 블록은 사용자 이미지의 공간분할(P6) 블록과 다른 크기인 것을 특징으로 하는, 체감형 게임 방법.
11. 다양한 동작을 취하고 있는 여러 장의 이미지로 메모리에 저장된 사람 모양의 실루엣을 시간의 흐름에 따라 정해진 시간으로 순차적으로 화면에 표시하여 실루엣이 동영상처럼 움직이도록 하는 단계,

    사용자(17)가, 동영상으로 움직이는 상기 실루엣을 보고 동일한 동작을 취하는 것을 촬영하여 표시하는 단계,

    사용자(17) 이미지를 상기 제1항 내지 제4항 중 어느 한 항의 화상처리 방법에 의해 처리하여 상기 실루엣(S1)과 겹쳐지는 것을 비교판정하여 게임을 진행하는 단계로 구성되는 체감형 게임 방법.
12. 제11항에 있어서, 상기 사용자와 실루엣(S1)이 겹치는 부분의 비교 판정은

    실루엣(S1) 이미지를 다수의 블록으로 분할하여, 실제 게임화면에는 표시되지 않으며 화상이미지프로세스 파이프라인(P11)에서 내부적으로 처리되는 게임판정 부(T1)를 설정하는 단계,

    사용자의 차영상(P7c)과 실루엣(18)의 게임판정부(T1)에 대해 겹쳐진 블록을 추출하기 위하여, 사용자(17)의 움직임에 대한 차영상(P7c)을 통해 얻은 오브젝트영역 검색(P8a)을 통해 얻는 오브젝트영역과 실루엣(S1)이 겹쳐진 영역을 백분율로 산출한 값과, 초당 30프레임에서 몇 프레임동안 겹쳐져 있었는지 개수를 백분율로 산출한 두 값을 비교판단하는 단계를 포함하는 체감형 게임 방법.
13. 제11항에 있어서, 상기 사용자와 실루엣(S1)이 겹치는 부분의 비교 판정은

    실루엣(S1) 이미지를 다수의 블록으로 분할하는, 실제 게임화면에는 표시되지 않으며 화상이미지프로세스 파이프라인(P11)에서 내부적으로 처리되는 게임판정부(T1)를 설정하는 단계,

    사용자(17)의 움직임에 대한 차영상(P7c)에 대해 실루엣(S1)의 게임판정부(T1)와 겹쳐진 부분을 백분율로 블록을 산출한 값과 초당 30프레임에서 몇 프레임동안 겹쳐져 있었는지 개수를 백분율로 산출한 두 값을 조정하여 최종 사용자(17)와 실루엣(S1)이 겹쳐졌는지 판단하는 단계를 포함하는, 체감형 게임 방법.
14. 제11항에 있어서, 상기 사용자와 실루엣(S1)이 겹치는 부분의 비교 판정은

    실루엣(S1) 이미지의 일부 영역에, 실제 게임화면에는 표시되지 않으며 화상이미지프로세스 파이프라인(P11)에서 내부적으로 처리되는 게임판정부(T1)를 설정하는 단계,

    사용자(17)의 움직임에 대한 차영상(P7c)를 통해 얻은 오브젝트영역검색(P8a)을 통해 얻는 오브젝트영역과 실루엣이미지 S8의 게임판정부와 겹쳐진 영역을 백분율로 산출한 값과 초당 30프레임에서 몇 프레임동안 겹쳐져 있었는지 개수를 백분율로 산출한 두 값을 조정하여 비교판단하는 단계로 구성되는 체감형 게임 방법.
15. 제11항~14항 중 어느 한 항에 있어서, 상기 사용자는 복수명으로서 하나의 화상카메라로 같은 화면에 함께 표시되며,

    상기 실루엣은 일방 사용자가 동작을 취할 실루엣과 타방 사용자가 동작을 취할 실루엣이 같은 화면상에 표시되는 것을 특징으로 하는 체감형 게임 방법.
16. 제12~14항 중 어느 한 항에 있어서,

    상기 실루엣이미지는 화면상에 몇 초 동안 표시되어 있어야 하는지에 관한 정보를 포함하고, 상기 게임판정부는 몇 초동안 사용자(17)가 똑같이 행동해야 하는지 판단하는 정보를 포함하여,

    이러한 정보에 따라 실루엣은 하나의 동작이 동영상으로 표현되는 것을 특징으로 하는, 체감형 게임 방법.
17. 제12~14항 중 어느 한 항에 있어서,

    상기 실루엣 이미지는, 실루엣 동영상 데이타를 추가하여 다른 동작을 따라 하는 게임으로 업데이트되는 것을 특징으로 하는 체감형 게임 방법.

Images