KR20020011851A

KR20020011851A - 인공시각과 패턴인식을 이용한 체감형 게임 장치 및 방법.

Info

Publication number: KR20020011851A
Application number: KR1020010002276A
Authority: KR
Inventors: 정영균
Original assignee: 정영균
Priority date: 2001-01-15
Filing date: 2001-01-15
Publication date: 2002-02-09

Abstract

본 발명은 크로마키 스크린(외곽음영 추출용 배경) (18)안에 있는 인체의 동작을 촬영하는 1대 이상의 카메라(15) 앞에서 기본 춤으로 설정된 동영상 캐릭터 춤을 흉내내면 그 결과를 정지된 상태의 표준영상과 비교하여 점수를 채점하는 새로운 방식의 댄스 게임장치에 관한 것이다.

모니터(13)에서 제공되는 기본 춤동작을 정해진 리듬의 음악에 맞춰 인체 각 부위를 활용한 다이나믹한 연출이 가능해지며 기존의 발판 감지 방식과는 다른 순전히 카메라의 인공시각 알고니즘에 의존한 비접촉식 게임 방법으로 사용자 뒤에 외부배경과의 시각 차단위해 설치되는 배경용 천막 (Green Screen)(18), 1대이상의 디지털 광각 카메라(15) 앞에 있는 피사체(사용자)(19)의 움직임에 따른 변환 결과를 얻어내는 화상 입력부(21), 기억장치에 모션 캡쳐로 DB화된 3차원 표준데이터와 카메라 입력데이터와의 패턴 일치도와 편차량 분석 및 게임모드 처리를 하는 제어부(22), 사용자의 지시정보 외부입력 영상을 통해 선곡된 음악을 출력하는 오디오 출력부(231), 실시간으로 위치정보와 3차원 캐릭터의 움직임을 모니터상에 디스플레이하는 영상 출력부(232)로 구성되어 있다.

본 발명은 선곡된 난위도에 따른 음악과 춤에 맞춰 각 소절단위로 구분된 리듬의 반복 단위를 사용자에게 순차적으로 적응시켜 제시된 3D캐릭터 모델의 춤을 쉽게 습득하면서 발전시킬 수 있는 구조로 되어 있다.

Description

인공시각과 패턴인식을 이용한 체감형 게임 장치 및 방법.{Simulation game system using machine vision and pattern-recognition}

본 발명은 체감형 게임장치에 관한 것으로서 이전에는 단순히 키보드, 조이스틱, 마우스와 같은 전용 도구는 극히 제한적인 입력수단을 사용하였으나 사용자의 모든 행동 패턴을 자유롭게 전달하기에는 문제가 많았다.

본 발명은 전통적인 입력방식에서 변형된 다양한 게임 전개가 가능하지만 특히, 시중 업소용 오락실에서 널리 퍼져있는 발판감지형 댄스 게임 입력장치를 대체하는 효과를 가진것으로서 선택된 음악(리듬) 에 맞춰 모니터에 표시된 형상대로 춤을 추면 인공시각 기법을 이용하여 사용자 영상을 추출한뒤 디스플레이상의 3D캐릭터 실루엣 동작과 골격선 일치도, 외부 영역의 편차량을 분석후 득점하는 방식의 게임장치이다.

시중에 출시되었거나 개발되고 있는 게임은 대부분 대각선, 수직, 수평방향 화살표의 지시데이터를 밟는 발판패드 방식, 악기에 부착된 센서에서 모니터 주사선을 읽어들이는 방식, 팔이나 다리로 특정 지점의 적외선 센서 신호를 체크하는 방식, 몸에 부착된 마커를 각각의 카메라로 추적하는 모션캡쳐 방식등이 있다. 상기의 모든 기술들은 인체의 특정부분만 감지함으로 전신의 세부적인 움직임을 파악하기 힘들었고 지시데이터의 연출에 있어서도 일률적인 진행으로 몸 전체로 춤동작을 서서히 익히는 요령을 터득하기가 어려웠다.

따라서, 본 발명은 메모리에 저장된 3차원 댄스의 모델링 데이터를 사용자가 입력한 신체사이즈와 리듬에 맞춰 세부적인 표준모델(패턴 원형)(63)을 화면상에 제시하고 내부적으로는 인공시각 및 패턴인식 원리를 이용하여 비디오로부터 사용자 특정 패턴을 추출한뒤 인식하고 평가하게 된다.

여기에 필요한 인공 시각(machine vision)은 인간이 시각 정보에 대하여 행하는 모든 처리를 컴퓨터로 실행하는 것이며 인간 시각 기능의 대행 및 확대를 궁극적인 목적으로 한다. 여러 가지 응용이 이루어질 수 있으며 적용면에서 처리의 유용성을 제공하고 정확성, 객관성, 반복성 및 신속성 등의 장점을 갖고 있어 점점 중요성에 대한 인식이 높아지고 있다. 인공 시각은 영상 처리 기술 및 패턴 인식 기술을 컴퓨터 기술과의 합성을 행하는 것이며 물체에 대한 계측이나 제어에 관한 정보를 제공하기 위하여 컴퓨터로 처리할 수 있는 2차원 정보를 제공할 수 있다.

글자 또는 도형의 영상을 처리하여 그것이 무엇인지를 판가름하는 처리를 패턴 인식이라 한다. 패턴을 인식하기 위해서는 입력된 패턴 영상을 여러 가지 영상 처리 단계를 거쳐 분리 추출하는 과정을 거치면 그것이 무엇인지를 판가름하기 위해서는 기본적으로 컴퓨터 메모리에 기억된 패턴 원형이 필요하다. 기존의 패턴인식 시스템이 패턴의 크기, 방향, 위치, 조명 등에 민감하여 실세계 응용이 제한되고 있다.

본 발명은 배경 영상으로부터 패턴의 영역을 분리하여 특징이 추출한뒤 개략적인 외형인식도를 판정하고 인체의 중심의 골격선 대조 방법으로 표준 모델과는 각기 다른 사용자의 신체치수나 미세한 오동작, 다양한 복장, 피복의 주름 등에서 발생되는 오차범위를 줄이면서 최적의 일치도를 계산하는식으로 사용자 자세를 분석한다.

상기의 원리를 적용함으로서 제한된 입력수단에 의해 몸을 움직이는 종래의 수동적인 댄스게임방식에서 탈피하여 능동적으로 사용자가 춤동작을 실시간으로 표현하는 체감형 게임장치를 제공하는데 있다.

도1 본 발명이 적용되는 장치의 개략적인 측면 및 정면 외형도

도2 본 발명이 적용되는 장치의 블록도

도3 안무의 동작 구분을 나타내는 도면

도4 댄스 게임장치의 전체 흐름도

도5 도4의 '패턴인식처리' 서브루틴을 설명하는 흐름도

도6 디스플레이의 일예를 나타낸 것으로 진행화면을 설명하는 도면

도7 패턴인식처리과정의 원리를 설명하는 흐름도

도8 패턴인식과 점수 평가의 일예를 나타내는 것으로,

도 7에서 입력영상의 동작이 큰 이미지 처리를 설명하는 구성도

도9 패턴인식과 점수 평가의 일예를 나타내는 것으로,

도 7에서 입력영상의 동작이 작은 이미지 처리를 설명하는 구성도

본 발명에 관계되는 기본 게임 장치는 음악을 발생시키는 출력수단(14) 그리고 이를 촬영하는데 필요한 소형 광각 카메라(15), 음악 맞춰서 몸전체의 움직임을 지시하는 3D 캐릭터 표준영상(63) 출력용 모니터(13)로 구성된다.

필요한 경우 촬영수단의 안정적인 사용자(19) 음영(실루엣) 추출을 위한 보조도구인 정면 모니터 주위의 조명수단(20)과 동일한 원색 칼라 바닥시트(17), 배경 스크린(18)을 위한 파이프 프레임(11)을 추가 설치한다.

도 1은 본 발명이 적용되는 댄스 게임장치 전체 외관의 측면도와 정면도 이다. 우선 본체부(16) 상단에는 화상출력 모니터(11)와 음원출력 스피커(14)가 위치해 있고 측면으로 고정된 기둥과 사각형태의 철골구조로 연결된 파이프 프레임(11) 사이로 단색 배경스크린(18)이 연결되어 있다. 바닥에는 배경 스크린(18)과 동일한 색상의 단색 바닥 시트(17)가 밀착되고 본체부(16) 중심 후방에는 광각렌즈가 장착된 소형 디지탈 카메라(15)가 고정되어 있다. 화상 출력 모니터(13)는 표준키의 눈 높이를 고려해 설치되고 원하는 곡명을 본체부(16) 중앙의 방향키를 손가락으로 가압하거나 사용자의 동작이 투영된 가상공간 스크린 터치에 의해 지정된다.

사용자의 활동공간과 연관된 구조를 보면 육방면체의 외곽 파이프 프레임(11)는 도1에 나타난 바와 같이 평균 신장의 사람이 손을 들어 올린것 보다 높게 위치하며 단색 배경스크린(18) 역시 파이프 프레임(11) 높이에 맞춰 지면까지 늘려 준다. 파이프 프레임(11), 바닥 시트(17)의 폭과 넓이는 디지탈 카메라(15)시계(Field of View)(12)가 충분히 시야확보가 가능하게끔 되어 있다.

도 2는 본 발명이 적용되는 장치의 블럭도 이다. 본체부(16) 내부는 컴퓨터로 구성된 제어부(22)가 들어있다. 입력부(21)에서 영상신호를 전달 받으면 음악선택부(224)에서 해당 음악과 키프레임 데이터들을 실행시킨다. 동작제어를 포함하는 프로그램을 저장하는 보조기억 장치인 데이터 저장부(227)는 선곡된 음악압축파일과 동작 지시용 에니메이션 키프레임 데이터도 기록되어 있다. 산술논리 연산을 수행하는 중앙처리장치(CPU)는 카운터(228)에서 체크하는 연주데이터를 음악 선택부(224)로부터 신호를받아 실시간으로 동기화하여 음원처리부(229)에서 스피커(231)로 출력을 지시하고 3D 에니메이션 데이터들은 화상처리부를 거쳐 모니터(232)로 출력시킨다. 2인 이상이 참가하는 환경을 위해 네트웍 처리부(220)를 탑재하고 상기 외부장치(233)2대 이상을 링크시켜 다수가 댄스의 우열을 겨루거나 그룹안무 같은 연출이 가능하다.

데이터 저장부(224)의 상세한 구조는 도3과 같이 박자(a)단위로 열거되는 리듬과 박자(a)와 소절(b) 단위로 구분된 안무(c)데이터가 레코드형식으로 다수 저장되어 있다. 춤의 구성은 4박자(A1∼A4)가 가장 기본단위로 4박자를 1소절로 한다. 1소절이 4개가 되면 16박자 (B1∼B4)되는데 경우에 따라서 반박자에 맞추어 동작을 분할하기도 한다. 이렇게 해서 각 댄스 장르마다 그 리듬에 맞추어 안무 포인트를 데이터 저장부(224)에 기록한다. 4박자(A1∼A4)가 1소절로 선정하여 보통 크게 2소절(B1∼B2), 4소절(B1∼B4), 8소절(B1∼B8)로 구분하여 동작 단위(C1∼C4)를 구성한다. 춤 종류를 라틴, 테크노, 소울, 힙합, 웨이브등 여러 가지를 설정할 수 있으며 난위도가 어려울수록 리듬이 빠르고 동작을 구분하는 소절(b)단위도 길어진다.

다음은 사용자 동작 형태를 분석하는 방법이다.

장치 전방의 사용자(19)뒤로 가려진 벽면이 있어 외부의 동적인 장해물이 없는 조건에서는 원색 칼라 바닥시트(17), 배경 스크린(18), 파이프 프레임(11)을 설치할 필요가 없다.

계측시 필요한 사용자 인체 추출원리는 피사체가 등장하기 이전에 디지털 카메라로 촬영된 배경화면(71)을 메모리에 기억시켜두었다가 사용자 등장시 생기는 색상, 명도, 채도의 변화를 감지하여 기본 형태를 추출하는 과정을 거친다. 이때 필수 요건은 카메라 전방에 피사체의 인체와 혼돈을 유발시키는 움직이는 운동물체가 없어야 한다. 또는 배경이 전방물체를 반사시키는 금속성 표면을 가지고 있거나 고광택 마감처리가 되어있는 소재여서 모니터의 조명 잔상이나 사용자 후방을 반사시키지 않아야 한다.

상기 조건이 충족되지 않는 환경일 경우 원색 칼라 바닥시트(17), 배경 스크린(18)을 위한 파이프 프레임(11)을 추가 설치하여야 한다. 사용자 특징 추출시에는 인체 그림자까지 검출되는 문제를 감안하여 메모리에 기억된 벽면과 바닥보다 동일한 색상에서 약간 낮은 명도의 변화는 추출 대상에서 제외시킨다.

이후 패턴/골격선 검사부(222)는 사용자 특징이 추출(221)된 음영과 표준으로 제시된 안무의 결과로 부터의 차이점을 검사하는 복합적인 과정을 거치는데 사용자 음영에 기록된 검은 화소를 기준으로 대응되는 두영상 사이에서 표준동작의 외부영역이 어긋나는 비율(503)과 인체 골격선 위치를 계산하여 상관관계(504)를유추하는 기법을 병행하는것이다. 패턴/골격선 검사부(222)의 수행결과에 따라 파라메타의 상승과 하락을 평가하고 다음 연결동작을 데이터 저장부(227)에서 읽어드린후 부제어부(223)로 넘겨서 처리한다.

입력 화상의 데이터로 표준패턴과의 일치 비율을 분석하는 방법은 발생하는 계산 오차를 줄이며 입력 동작의 점층적인 습득이 가능한 차별화된 게임진행방식이어야 한다. 그러므로 진행레벨(62)을 한 프레임의 정확도에 근거한 계산이 아니라 기본소절(b)이 완료되는 시점의 평균점수를 기준으로 평가한다. 만일 추출된 안무(c)의 일치 확률이 낮을 경우 일정수준이상의 점수가 나올 때까지 반복 시킨후 다음 안무(c)로 넘어간다. 하나의 동작이 마스터가 되어야 다음 안무(c)가 이어지는 상황에서 게이머의 동작오류가 몇 번 이상 지속될 때에는 자동으로 다음 안무(c)가 제시된다.

결국 사용자에 능력에 맞는 동작지시를 반복해서 표시하므로, 초보자나 숙련자 모두에게 적합한 게임이 된다.

다음은 본 게임장치의 동작순서를 도4, 도5의 흐름도를 이용하여 설명한다.

도 4는 게임장치의 전체를 나타내는 흐름도로 주화투입구(211)에서 신호가 검출되면 초기에 사용자는 160Cm이하, 160-170Cm, 170Cm 이상 의 3가지 선택 사항중에 본인 신장을 입력(400)해야한다. 다양한 사용자의 키에 의해서 팔, 다리의 길이와 허리의 높이, 두상과 신장의 비율이 달라질 수 있기 때문에 비교가 되는 3D표준모델의 데이터가 수정되는 것이다. 이후 음악선택입력(401)으로 전환되면 사용자가 원하는 곡이 선정되고 연주데이터를 데이터 저장부(227)에서 읽어내어스피커(231)로 출력시킨다. 전주부분(402) 진행시에 박자단위로 구성된 안무 동작의 미리보기(403)가 제시되고 이후에 선택된 난위도의 안무가 연결되어 모니터에 디스플레이 된다. 화면상에는 표준영상(63)위에 입력영상(64)이 겹쳐지고 내부적으로는 비교 연산에 필요한 다른 이미지들로 박자단위의 패턴인식처리(404)가 수행한다. 프레임단위로 모든 박자의 동작이 검사되면 1소절이 완료(405) 될때 큰 단위로 구분된 동작을 평가(406) 하고 평가의 등급을 기준으로 다음 데이터 블럭을 설정(409)하여 (410∼403) 까지 반복시킨다. 그리고 게임 종료(410)여부가 판별되면 가산된 평가총점이(411) 모니터에 표시된다.

도 5는 '패턴인식처리(404)'의 서브루틴을 나타내는 흐름도이다.

개략적으로 설명하자면 박자 사이에 나누어진 입력영상의 기본요소를 추출한후 이미지 전처리(501)과정을 거치게 되는데 이과정은 미리 카메라가 촬영한 뒷배경을 미리 메모리에 저장시켜 두었다가 사용자가 참가했을때 인체형상에서 의해 가려진 배경과의 색상, 명도 차이를 이용하여 입력영상을 추출한다. 이후 영상비교시 카메라 하드웨어의 오차로 발생되는 노이즈를 필터링하여 제거하고 내부입자들의 특징을 파악하는 3단계의 계측방법(502∼504)을 통해 동작 일치 비율의 근사치 처리결과를 환산(505)한 수치값으로 돌려주는 것이다.

도 7은 도 5의 패턴인식처리의 원리를 이미지로 처리하는 과정을 설명하는 것이다. 먼저 디지털 카메라(15) 사용자가 등장하기 이전의 정지 배경(71)화면을 저장시켜둔다. 이후 입력영상의 사용자(72)가 촬영되어 두 영상사이의 변화를 측정하여 실루엣 처리된 추출영상을(73) 생성시킨다. 디지털카메라 특성상 생기는 노이즈는 화소에 인접한 부분의 영역을 비교하여 필터링 시킨다. 노이즈 제거방법은 검출대상이 되는 화소의 색상값과 상하나 좌우의 색상값이 다를 경우 노이즈일 가능성이 높으므로 삭제시킨 이후 필터링된 입력영상의 화면(74)을 만든다.

이후 노이즈가 제거된 입력영상(74)은 두가지의 계측방법으로 진행되는데, 첫 번째는 데이터 저장부(227)에 동작 지시용 에니메이션 키프레임 데이터로 제작된 폭이넓은 두께의 3D캐릭터의 음영만으로 이루어진 표준영상(75)을 입력영상(74)과 비교하여 일치하지 않는 영역의 면적을 산출(76)하는 것이다. 두 번째는 표준영상에 해당하는 3D캐릭터 인체골격선(77)의 정점위치를 입력영상(74)과 비교하여 사각정점 이내에 포함되지않는 외부영역을 검사하여 일치도를 측정한다. 동작이 크게 다를수록 외부에 어긋나는 비율이 커지는 것이다.

두 영상을 서로 비교하기 이전에 표준영상 음영(75)과 골격선(77)은 입력영상(74)의 위치와 전체 크기 비율에 맞춰 확대, 축소, 이동시킨다. 만약 사용자가 카메라에 근접하거나 영상외곽으로 이동할 경우 측정에 오류가 발생되므로 경고 메세지를 모니터에 표시하고 감점처리한다.

도 8 자세의 변화가 명확히 다른 동작이며 도 9는 자세의 변화가 미묘한 동작의 패턴인식과 점수 평가 일예를 나타내는 것으로 표준동작과 유사한 입력영상(B) 그리고 틀린동작의 입력영상(C)으로 구분한다.

여기서 나타내는 알고니즘은 신체 각부분의 동작 오차정도를 정확히 측정하는 수단은 아니지만 올바른 동작과 틀린 동작을 판별할 수 있다.

카메라로 촬영된 영상(M4)을 입력영상 실루엣(M5)으로 변환시킨 다음 관절의폭이 넓게 설정된 표준영상음영(M2)과 중첩 비교(M6)한다. 검출된 입력영상 외곽 돌출한 오차 면적 비율(M7)이 0%에 가까울수록 완벽한 일치율을 나타내는 것이며 입력영상의 면적에 대비해서 오차 면적 비율(M7)증가할수록 표준동작과 상이한 것으로 평가한다. 이후에 검출결과물과 병행하여 표준모델의 골격 정점(M3)과 입력영상 실루엣(M5)을 사각 정점 내부를 비교(M8)하여 입력영상 외곽으로 벗어나는 불일치 정점의 갯수(M9) 측정한다. 불일치 정점의 갯수(M9)가 낮을수록 표준동작과 유사한것이며 높을수록 다른 것으로 처리된다. 면적 오차 비율(M7)과 불일치 정점의 갯수(M9)를 합산하여 최종 편차량(M10) 검출되는데 이 수치가 증가할수록 점수를 낮게 평가한다.

다음 하나의 분리된 정지동작으로 편차량(M10)을 계산하고 나서 연속적인 동작을 1소절 단위로 검출되어진 편차량(M10)의 평균을 계산하고 미리 등급으로 설정된 점수를 모니터(232)에 표시한다.

도 6은 모니터(232)에 표시되는 게임진행화면을 설명하는 도면으로, 우측 상단부에는 사용자의 점수(61)가 기재되고 좌측상단으로 다음동작에 대한 미리보기(66)가 예시된다. 표준영상의 3D캐릭터(63)와 춤 동작이 비슷하다면 레벨표시 막대가(62) 증가하고, 반대로 춤을 틀린다면 감소는데 하나의 곡이 완전히 종료된후에도 일정수준의 레벨이 요구하는 위치에 이르지 않으면 게임은 종료 처리된다. 하단부 텍스트(65)에는 안무시 주의사항이나 틀리기 쉬운 자세에 대한 조언, 춤추는 요령등을 기록한다.

따라서, 상술한바와 같이 외형적으로 사용자들이 자신의 춤동작을 모니터에 외곽선을 투영하여 표준동작의 3D 캐릭터와 직접 비교를 함으로서 흉내내기 쉽게 하고 동작이 틀린 구간을 여러번 반복 습득하도록 하므로 전신을 활용한 유산소 운동 효과와 함께 게임의 흥미를 증가시킨다.

상기 구현원리의 요소들은 원가면에서 낮은 가격대에도 제작이 가능하며 에어로빅, 격투, 스포츠등의 다른 장르의 게임입력장치로도 응용될 수 있다.

Claims

음악을 발생시키는 출력수단(14) 그리고 이를 촬영하는데 필요한 소형 광각 카메라(15), 본체 상단에 음악 맞춰서 몸전체의 움직임을 지시하는 3D 캐릭터 표준영상(63) 출력용 모니터(13)와 외부장치에 데이터 전송이 가능한 네트웍 처리부(220)를 탑재하여 1인 또는 다수가 다양한 형태의 춤동작 즐길수 있는 기능을 가진 댄스 게임장치.
제 1항에 있어서,

상기 촬영수단의 안정적인 사용자(19) 음영(실루엣) 추출을 위한 정면 모니터 주위의 조명수단(20)과 동일한 원색 칼라 바닥시트(17), 배경 스크린(18)을 위한 파이프 프레임(11)을 추가 설치하여 이루어진 것을 특징으로 하는 댄스 게임장치
제 1항 또는 제 2항에 있어서,

상기 음영 추출을 위해 사용된 배경스크린상의 인체 동작을 디지털 카메라로 촬영한 입력 영상신호를 메모리에 저장된 표본동작(패턴 원형) 자료와 대조 판독하는 계측수단을 갖는 비접촉식 게임의 입력장치.
제 1항 또는 제 2항에 있어서,

상기 춤의 구성은 4박자 1소절단위로 구성된다는 점을 이용, 사용자에게서 추출된 안무의 일치 확률이 낮을 경우 일정수준이상의 점수가 나을 때까지 틀린 구간의 안무를 반복 시켜 음악에 어울리는 연출 구성과 동시에 점층적인 안무 습득이 가능한 진행방식을 특징으로 하는 댄스 게임장치.
사용자 특징이 추출(221)된 음영과 표준으로 제시된 안무의 결과로 부터의 차이점을 검사하는 과정에서

(가) 우선 이전에 디지털 카메라로 촬영된 배경화면을 메모리에 기억시켜두었다가 사용자 등장시 생기는 색상, 명도, 채도의 변화를 감지하여 기본 형태를 추출하는 과정;

(나) 별도로 대응되는 두영상 사이에서 표준동작의 외부영역이 어긋나는 비율(503)과 인체 골격선 위치를 계산하여 상관관계(504)를 유추하는 기법을 병행하는 과정;

(다) 상기 과정 (나) 인식결과를 게임상태로 전환하여 진행하는것을 특징으로 하는 춤동작 분석 및 게임 방법.