KR101410410B1 - 체감형 학습 장치 및 방법 - Google Patents

Abstract

체감형 학습 장치 및 방법이 제공된다. 체감형 학습 장치는, 촬영된 학습자의 영상을 복수의 블록으로 분할하고, 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 영상 분할부, 상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 차영상 추출부, 상기 추출된 차영상을 연결하여 하나의 객체 영역인 제 1 객체 영역을 생성하는 객체 영역 생성부, 상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체에 대한 제 2 객체 영역의 접촉 여부를 판단하는 접촉 판단부 및 상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 하는 동작 제어부를 포함한다.

Description

체감형 학습 장치 및 방법{BODILY SENSATION TYPE LEARNING APPARATUS AND METHOD}

본 발명은 학습 장치 및 방법에 관한 것으로서, 보다 상세하게는 체감형 학습 장치 및 방법에 관한 것이다.

사용자가 게임을 조작하는 대표적인 장치로는 키보드, 마우스, 조이스틱 등이 있다.

상기 조작 장치들은 각 게임의 특성을 살릴 수 없는 보편적인 장치로서 비행기 게임, 자동차 게임, 격투 게임 등에는 그 게임의 특성을 충분히 살릴 수 없다.

또한, 이 모든 장치들은 의자에 앉아 정적으로 즐기는 방식을 취하는 소극적인 방법으로 장시간 의자에 앉아 있을 때 몸에 무리가 가고 쉽게 피곤하게 한다.

최근에는, 게임 시스템의 고급화와 높은 수요자의 욕구에 맞춰 많은 체감형 게임들이 존재하고 있고, 앞으로도 개발되고 있다.

자동차 내부를 실제로 만들고 그 안에서 모니터를 바라보며 레이싱을 하는 게임, 총모양의 장치를 이용하여 모니터의 적을 향해 손으로 방아쇠를 방기며 사격하는 게임, 스키 발판을 이용하여 모니터에서 높은 산을 활강하는 게임, 소방차 소화기를 배치하여 모니터에 불이 난 장소를 소화기를 들고 불을 끄는 게임 등 다양한 체감형 게임들이 존재한다.

또한, 이러한 체감형 게임들을 학습에 응용하여 학습의 효과를 높이려는 시도가 활발하게 이루어지고 있다.

그러나, 상기한 바와 같은 체감형 게임 또는 체감형 학습 방법들은 고비용의 하드웨어와 넓은 장소를 요구하게 된다. 즉, 고비용으로 인해 사용자가 부담해야 하는 가격이 높아지며, 큰 면적으로 인해 여러 가지 게임이나 학습 콘텐츠들을 배치하는데 큰 부담이 되는 문제가 있었다.

이에, 한국등록실용신안공보 제20-239844호(인공 시각과 패턴 인식을 이용한 체감형 게임 장치)에서, 크로마키 스크린(외곽 음영 추출용 배경) 안에 있는 인체의 동작을 촬영하여, 기본 춤으로 설정된 동영상 캐릭터 춤을 흉내내면 그 결과를 정지된 상태의 표준 영상과 비교하여 채점을 하는 기술을 개시하였다.

그러나, 이 기술은 그 구현 방법에 있어 배경과 사람을 구분해 내기 위해 크로마키 스크린을 필수로 하며, 사용자의 동작 형태를 분석함에 있어 사용자 등장 시 발생되는 색상, 명도 및 채도의 변화를 감지해야 하므로, 카메라 전방에 피사체의 인체와 혼돈을 유발시키는 움직이는 운동 물체가 없는 것을 필수 조건으로 하는 등, 사용자들이 간편하게 체감형 게임이나 학습을 즐길 수 없는 문제가 있다.

한국등록실용신안공보 제20-239,844호, ‘인공 시각과 패턴 인식을 이용한 체감형 게임 장치’

상술한 종래 기술의 문제점을 해결하기 위해, 본 발명은 크로마키 스크린이나 블루 스크린을 사용하지 않고도 적은 비용으로 공간의 낭비 없이, 게임의 특성을 살려 학습자의 학습 효과를 향상시킬 수 있는 장치 및 방법을 제공한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 체감형 학습 장치는, 촬영된 학습자의 영상을 복수의 블록으로 분할하고, 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 영상 분할부, 상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 차영상 추출부, 상기 추출된 차영상을 연결하여 하나의 객체 영역인 제 1 객체 영역을 생성하는 객체 영역 생성부, 상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체에 대한 제 2 객체 영역의 접촉 여부를 판단하는 접촉 판단부 및 상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 하는 동작 제어부를 포함한다.

본 발명의 일 측면에서, 상기 영상 분할부는 상기 복수의 블록으로 분할된 영상을 상기 미리 정해진 시간 간격으로 분할하되, 현재 영상인 n번째 프레임과 상기 현재 영상의 이후 영상인 n+1번째 프레임으로 분할한다.

또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 차영상 추출부에서 상기 영상의 변화를 비교한 결과에 기초하여 3차원 벡터를 추출하고, 상기 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여 상기 차영상이 서로 연결된 영역에 대해 영역 최적화를 수행함으로써 상기 하나의 객체 영역을 생성한다.

또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 추출된 차영상의 블록을 이용하여 참조 시간 프레임과 동일하거나 유사한 블록을 검색함으로써 상기 3차원 벡터를 추출한다.

또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 배경 객체의 이미지를 다수의 블록으로 분할하여 상기 제 2 객체 영역을 생성한다.

또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 제 2 객체 영역을 구성하는 블록의 크기를 상기 제 1 객체 영역을 구성하는 블록의 크기와 동일하게 생성한다.

또한, 본 발명의 일 측면에서, 상기 객체 영역 생성부는 상기 제 2 객체 영역을 구성하는 블록의 크기를 상기 제 1 객체 영역을 구성하는 블록의 크기와 서로 다르게 생성한다.

또한, 본 발명의 일 측면에서, 상기 접촉 판단부는 상기 제 1 객체 영역과 제 2 객체 영역이 서로 겹쳐진 영역을 백분율로 산출한 값 및 상기 미리 정해진 시간 간격으로 분할된 복수의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출한 값 중 하나 이상을 이용하여 상기 접촉 여부를 판단한다.

또한, 본 발명의 일 측면에서, 상기 동작 제어부는 상기 객체 영역 생성부로부터 추출된 3차원 벡터에 기초하여, 상기 제 1 객체 영역과 제 2 객체 영역의 접촉 시, 상기 제 1 객체 영역의 이동 방향을 예측한다.

또한, 본 발명의 일 측면에서, 상기 동작 제어부는 상기 예측된 제 1 객체 영역의 이동 방향에 대응하여 상기 배경 객체에 애니메이션 변화를 적용시킨다.

상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 체감형 학습 방법은 (a) 촬영된 학습자의 영상을 복수의 블록으로 분할하는 단계, (b) 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 단계, (c) 상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 단계, (d) 상기 영상의 변화를 비교한 결과에 기초하여 3차원 벡터를 추출하고, 상기 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여, 상기 차영상이 서로 연결된 제 1 객체 영역을 생성하는 단계, (e) 상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체의 이미지를 다수의 블록으로 분할한 제 2 객체 영역의 접촉 여부를 판단하는 단계 및 (f) 상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 3차원 벡터에 기초하여 예측된 상기 제 1 객체 영역의 이동 방향에 따라서, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 제어하는 단계를 포함한다.

본 발명의 일 측면에서, 상기 (b) 단계는 상기 복수의 블록으로 분할된 영상이 초당 30프레임을 가지도록 시간 간격을 정하여 분할한다.

또한, 본 발명의 일 측면에서, 상기 (e) 단계는 (e-1) 상기 제 1 객체 영역과 제 2 객체 영역이 서로 겹쳐진 영역을 백분율로 산출하는 단계, (e-2) 상기 미리 정해진 시간 간격으로 분할된 복수의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출하는 단계 및 (e-3) 상기 (e-1) 단계에서 산출된 값 및 상기 (e-2) 단계에서 산출된 값 중 하나 이상을 이용하여 상기 접촉 여부를 판단하는 단계를 포함한다.

상기 목적을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술된 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

전술한 본 발명의 체감형 학습 장치 및 방법의 과제 해결 수단 중 하나에 의하면, 적은 비용으로 공간의 낭비 없이, 게임의 특성을 살려 학습자의 학습 효과를 향상시킬 수 있다.

또한, 화상 카메라를 통해 입력된 영상에서 물체의 움직임이 포착되면 이를 객체화함으로써, 학습자의 신체 각 부위를 코드로 분리하는 등의 연산 부담을 감소시킬 수 있다.

또한, 학습자가 능동적으로 학습에 참여할 수 있도록 게임의 특성을 살려 학습을 진행하므로, 학습에 대한 재미와 몰입도를 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 체감형 학습 장치의 개요도이다.
도 2는 본 발명의 일 실시예에 따른 키봇의 구성을 도시한 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 체감형 학습 방법의 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 접촉 판단부의 접촉 판단을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 학습 화면을 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 학습 화면을 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

참고로, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, 그 중간에 다른 구성 요소를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다.

또한 어떤 부분이 어떤 구성 요소를 ‘포함’한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 체감형 학습 장치의 개요도이다.

본 발명의 일 실시예에 따른 체감형 학습 장치(100)는 학습자가 화상 카메라를 통해 디스플레이된 자신의 모습을 바라보며, 몸 동작을 통해 학습을 진행할 수 있으며, 어린이 학습자들에게 친근한 캐릭터 형상을 가질 수 있다.

이하에서는, 본 발명의 일 실시예에 따른 체감형 학습 장치(100)를 키즈 로봇(Kids Robot), 즉, 키봇(Kibot)(100)이라 칭하도록 한다.

본 발명의 일 실시예에 따른 키봇(100)은 학습자의 모습을 촬영하기 위한 화상 카메라를 포함할 수 있으며, 화상 카메라를 통해 촬영된 학습자의 모습을 디스플레이하기 위한 디스플레이 장치를 포함할 수 있다.

여기서 화상 카메라는 키봇(100)에 내장될 수도 있고, USB 형식의 화상 카메라와 연결될 수도 있다.

또한, 디스플레이 장치 역시 키봇(100)의 전면부에 위치하여 학습자의 모습을 디스플레이할 수도 있고, 외부의 디스플레이장치와 연결되어, 화상 카메라를 통해 촬영된 학습자의 움직임을 외부의 디스플레이장치로 전송할 수도 있다.

이 경우, 학습자는 키봇(100)의 내부에 장착된 디스플레이 장치보다 더 큰 화면으로 학습을 진행할 수도 있다.

또한, 키봇(100)은 LED 발광부와 음성 출력 장치를 포함할 수 있으며, 학습자의 움직임을 통해 학습을 진행하면서, 학습자의 움직임에 대응하는 동작들, 예를 들어, LED 발광부의 색상 변화, 점등 속도 조절 및 음성(효과음) 출력을 수행할 수 있다.

이를 위해 키봇(100)은 화상 카메라로 촬영된 학습자의 움직임을 3차원 벡터로 추출하고, 학습자의 움직임에 따라서 학습 화면에 표시된 배경 객체와 상호 작용하도록 하며, 이를 디스플레이 장치에 표시할 수 있다.

또한, 학습자의 움직임에 따라서, 그리고 학습자의 움직임에 따른 학습의 진행에 따라서 키봇(100)이 상기한 다양한 동작으로 반응하게 되므로, 학습자로 하여금 학습에 흥미를 가지고 자발적으로 참여하도록 유도할 수 있다.

도 2는 본 발명의 일 실시예에 따른 키봇(100)의 구성을 도시한 블록도이다.

본 발명의 일 실시예에 따른 키봇(100)은 화상 카메라(110), 영상 분할부(120), 차영상 추출부(130), 객체 영역 생성부(140), 접촉 판단부(150), 동작 제어부(160) 및 디스플레이부(170)를 포함한다.

각 구성 요소를 설명하면, 화상 카메라(110)는 학습자를 실시간으로 촬영하고, 영상 분할부(120)는 실시간으로 촬영된 학습자의 영상을 복수의 블록으로 분할한다.

예를 들어, 영상 분할부(120)는 화상 카메라(110)를 통해 촬영된 학습자의 영상을 8×8 블록으로 분할할 수 있으며, 이 외에도 4×4, 16×16 및 32×32 등 다양한 크기의 블록으로 분할할 수 있다.

참고로, 블록의 크기가 작을수록 학습자의 움직임을 파악하는 정밀도는 높아질 수 있으나, 정밀도가 높아질 수록 처리 속도에 영향을 주게 되므로, 학습 내용과 진행 방식에 따라서 적절한 블록수의 분할과 그에 따른 처리 속도를 고려하는 것이 바람직하다.

이하에서는, 화상 카메라(110)를 통해 촬영된 학습자의 영상을 8×8 블록으로 분할하는 경우를 설명하도록 한다.

또한, 영상 분할부(120)는 상기한 바와 같이 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할한다.

예를 들어, 영상 분할부(120)는 8×8 블록으로 분할된 영상이 초당 30프레임을 가지도록 시간 간격을 정하여 분할할 수 있으며, 이 외에도 초당 30프레임 미만 또는 30프레임을 초과하도록 시간 간격을 정하여 분할할 수도 있다.

이하에서는, 영상 분할부(120)가 초당 30프레임의 영상에서 각 프레임을 8×8 블록으로 분할하는 경우를 설명하도록 한다.

한편, 차영상 추출부(130)는 영상 분할부(120)에서 초당 30프레임(각 프레임은 8×8 블록으로 분할된)으로 분할된 영상의 변화를 비교하여 차영상을 추출한다.

즉, 차영상 추출부(130)는 초당 30개의 프레임에서, 현재 영상인 n번째 프레임과, 현재 영상의 이후 영상인 n+1번째 프레임의 시간에 따른 영상의 변화를 비교하여 차영상을 추출할 수 있다.

이때, 차영상은 8×8 블록으로 분할된 두 영상(n, n+1)에서 변화된 블록으로 구성될 수 있다.

한편, 객체 영역 생성부(140)는 차영상 추출부(130)에서 추출된 차영상을 연결하여 하나의 객체 영역을 생성한다.

상세히 설명하면, 객체 영역 생성부(140)는 차영상 추출부(130)에서 추출된 차영상을 이용하여 참조 시간 프레임과 동일하거나 유사한 블록을 검색함으로써 3차원 벡터를 추출한다.

이때, 객체 영역 생성부(140)는 학습자의 움직임이 변경된 방향을 2차원 x, y값과 시간축에 따른 z값을 가지는 3차원 벡터로 나타낼 수 있다.

이후, 객체 영역 생성부(140)는 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여 차영상이 서로 연결된 영역(블록)을 검색하고, 검색된 영역에 대해 영역 최적화를 수행함으로써, 학습자를 촬영한 영상 중에서 움직임이 발생하고 그 움직임이 변화된 부분을 하나의 객체 영역(이하, ‘학습자 객체 영역’이라 칭함)으로 생성할 수 있다.

또한, 객체 영역 생성부(140)는 게임 화면에 등장하는 배경 객체에 대해서도 객체 영역을 생성할 수 있다.

객체 영역 생성부(140)는 배경 객체의 이미지를 다수의 블록으로 분할한 객체 영역(이하, ‘배경 객체 영역’이라 칭함)을 생성할 수 있는데, 배경 객체 영역은 8×8 블록으로 분할될 수 있으며, 이 외에도 4×4, 16×16 등 다양한 크기의 블록으로 분할될 수 있다.

참고로, 배경 객체 영역의 블록 크기가 작을수록 학습자 객체 영역과 배경 객체 영역의 겹쳐짐 여부를 더욱 정밀하게 판단할 수 있으나, 정밀도가 높아질 수록 처리 속도에 영향을 주게 되므로, 학습 내용과 진행 방식에 따라서 적절한 블록수의 분할과 그에 따른 처리 속도를 고려하는 것이 바람직하다.

한편, 접촉 판단부(150)는 학습자 객체 영역과 배경 객체 영역의 접촉 여부를 판단한다.

이를 위해, 접촉 판단부(150)는 학습자 객체 영역과 배경 객체 영역이 서로 겹쳐진 영역을 백분율로 산출한 값 및 초당 30프레임의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출한 값 중 하나 이상을 이용하여 접촉 여부를 판단할 수 있다.

이에 대한 상세한 설명은 도 4를 참조하여 후술하도록 한다.

한편, 동작 제어부(160)는 객체 영역 생성부(140)로부터 추출된 3차원 벡터에 기초하여 학습자 객체 영역의 이동 방향을 예측할 수 있다.

즉, 동작 제어부(160)는 학습자 객체 영역과 배경 객체 영역의 접촉 시, 학습자 객체 영역의 이동 방향을 예측하고, 예측된 이동 방향에 대응하여 배경 객체에 애니메이션 변화를 적용시킬 수 있다.

예를 들어, 학습자 객체 영역과 배경 객체 영역의 접촉 시, 학습자 객체 영역의 이동 방향이 아래 방향으로 예측된 경우, 동작 제어부(160)는 배경 객체가 아래 방향으로 추락하는 애니메이션 변화를 적용할 수 있다.

이후, 동작 제어부(160)는 배경 객체에 애니메이션 변화를 적용시키고, 애니메이션 변화에 대응하여 키봇(100)이 미리 정해진 동작을 수행할 수 있도록 제어할 수 있다.

예를 들어, 배경 객체가 아래 방향으로 추락하는 애니메이션 변화가 적용된 경우, 동작 제어부(160)는 이에 대응하여 키봇(100)의 LED 점등부를 점등하거나, “잘 했어! 미션 성공!”이라는 음성을 출력할 수 있다.

한편, 디스플레이부(170)는 키봇(100)의 전면부에 위치하여 화상 카메라(110)를 통해 촬영된 학습자의 움직임을 디스플레이하되, 학습자의 모습과 게임 화면을 오버랩시켜 디스플레이할 수 있다.

참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.

그렇지만 ‘구성 요소들’은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 체감형 학습 방법의 과정을 도시한 흐름도이다.

이하, 도 1에 도시된 키봇(100)을 참조하여 도 3의 흐름도를 설명하도록 한다.

먼저, 키봇(100)은 화상 카메라(110)를 통해 실시간으로 촬영된 학습자의 영상을 8×8 블록으로 분할(공간 분할)한다(S301).

참고로, 촬영된 학습자의 영상은 4×4, 16×16 및 32×32 등 다양한 크기의 블록으로 분할할 수 있다.

S301 후, 키봇(100)은 8×8 블록으로 분할된 영상을 초당 30프레임을 가지도록 시간 간격 정하여 분할(시간 분할)한다(S302).

S302 후, 키봇(100)은 초당 30프레임(각 프레임은 8×8 블록으로 분할된)으로 분할된 영상의 변화를 비교하여 차영상을 추출한다(S303).

S303 후, 키봇(100)은 추출된 차영상을 이용하여 참조 시간 프레임과 동일하거나 유사한 블록을 검색함으로써 3차원 벡터를 추출한다(S304).

S304 후, 키봇(100)은 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여 차영상이 서로 연결된 영역(블록)을 검색하고, 검색된 영역에 대해 영역 최적화를 수행함으로써, 학습자를 촬영한 영상 중에서 움직임이 발생하고 그 움직임이 변화된 부분을 학습자 개체 영역으로 생성한다(S305).

S305 후, 키봇(100)은 게임 화면에 등장하는 배경 객체의 이미지를 8×8 블록으로 분할하여 배경 객체 영역을 생성한다(S306).

참고로, 배경 객체 영역은 8×8 블록 외에도 4×4, 16×16 등 다양한 크기의 블록으로 분할될 수 있다.

S306 후, 키봇(100)은 학습자 객체 영역과 배경 객체 영역의 접촉 여부를 판단한다(S307).

여기서 키봇(100)은 학습자 객체 영역과 배경 객체 영역이 서로 겹쳐진 영역을 백분율로 산출한 값 및 초당 30프레임의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출한 값 중 하나 이상을 이용하여 접촉 여부를 판단할 수 있다.

S307 판단 결과, 학습자 객체 영역과 배경 객체 영역이 서로 겹쳐지면, 즉, 접촉되면, 키봇(100)은 학습자 객체 영역의 이동 방향에 따라서 배경 객체에 애니메이션 변화를 적용시키고, 애니메이션 변화에 대응하여 키봇(100)이 미리 정해진 동작을 수행하도록 제어한다(S308).

도 4는 본 발명의 일 실시예에 따른 접촉 판단부의 접촉 판단을 설명하기 위한 도면이다.

8×8 블록(총 64 블록)으로 분할된 배경 객체 영역과 29개의 블록으로 구성된 학습자 객체 영역이 도시되어 있다.

참고로, 학습자 객체 영역은 차영상을 연결한 것이므로, 영역의 형상이 도 4에 도시된 바와 같이 손의 형상과 유사하지 않을 수 있으나, 설명의 편의 상 손의 형상과 유사하게 도시하였다.

도 4에 도시된 바와 같이, 학습자 객체 영역과 배경 객체 영역이 서로 겹쳐진 블록의 개수는 6개이며, 이를 백분율로 환산하면 (6/64)×100%이다.

또한, 초당 30프레임에서 몇 개의 프레임이 도 4와 같이 서로 겹쳐져 있었는지를 백분율로 산출하여 학습자 객체 영역과 배경 객체 영역의 접촉 여부를 판단할 수 있다.

도 5는 본 발명의 일 실시예에 따른 학습 화면을 도시한 도면이다.

학습자가 손을 이용하여 나무에 달린 파인애플과 겹쳐진 상태에서 손을 아래로 움직이는 동작을 취하는 경우, 나무에 달린 파인애플이 화면 하단의 바구니에 담겨지는 애니메이션이 실행될 수 있다.

이때, 키봇(100)은 영어 발음으로 pineapple! 이라는 음성을 출력할 수 있으며, 키봇(100)의 LED 발광부를 초당 수회 점등시킬 수 있다.

도 6은 본 발명의 다른 실시예에 따른 학습 화면을 도시한 도면이다.

키봇(100)에서 특정 단어를 영어 발음으로 출력하면, 학습자는 손을 이용하여 해당 배경 객체에 접촉함으로써 학습을 진행할 수 있다.

예를 들어, ‘clean’이란 단어가 영어 발음으로 출력되면, 학습자는 손을 이용하여 나뭇잎이 그려진 clean 배경 객체를 선택할 수 있다.

이후, 키봇(100)은 “와우~ 잘했어! 우리 다음 단계로 가볼까?”라는 음성을 출력하여 학습을 계속 진행할 수 있으며, 이때, 키봇(100)의 LED 발광부를 초당 수회 점등하면서 축하 음악을 출력할 수도 있다.

만일, 학습자가 나뭇잎이 그려진 clean 배경 객체가 아닌 다른 배경 객체를 선택하는 경우, 키봇(100)은 “다른 것을 선택해볼래?”라는 음성을 출력하면서, 학습자의 자발적인 참여를 유도할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 키봇
110 : 화상 카메라
120 : 영상 분할부
130 : 차영상 추출부
140 : 객체 영역 생성부
150 : 접촉 판단부
160 : 동작 제어부
170 : 디스플레이부

Claims (13)

1. 체감형 학습 장치에 있어서,
   촬영된 학습자의 영상을 복수의 블록으로 분할하고, 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 영상 분할부,
   상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 차영상 추출부,
   상기 추출된 차영상을 연결하여 하나의 객체 영역인 제 1 객체 영역을 생성하는 객체 영역 생성부,
   상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체에 대한 제 2 객체 영역의 접촉 여부를 판단하는 접촉 판단부 및
   상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 하는 동작 제어부
   를 포함하는, 체감형 학습 장치.
   
2. 제 1 항에 있어서,
   상기 영상 분할부는 상기 복수의 블록으로 분할된 영상을 상기 미리 정해진 시간 간격으로 분할하되, 현재 영상인 n번째 프레임과 상기 현재 영상의 이후 영상인 n+1번째 프레임으로 분할하는, 체감형 학습 장치.
   
3. 제 1 항에 있어서,
   상기 객체 영역 생성부는 상기 차영상 추출부에서 상기 영상의 변화를 비교한 결과에 기초하여 3차원 벡터를 추출하고, 상기 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여 상기 차영상이 서로 연결된 영역을 상기 하나의 객체 영역으로 생성하는, 체감형 학습 장치.
   
4. 제 3 항에 있어서,
   상기 객체 영역 생성부는 상기 추출된 차영상의 블록을 이용하여 참조 시간 프레임과 동일하거나 유사한 블록을 검색함으로써 상기 3차원 벡터를 추출하는, 체감형 학습 장치.
   
5. 제 1 항에 있어서,
   상기 객체 영역 생성부는 상기 배경 객체의 이미지를 다수의 블록으로 분할하여 상기 제 2 객체 영역을 생성하는, 체감형 학습 장치.
   
6. 제 5 항에 있어서,
   상기 객체 영역 생성부는 상기 제 2 객체 영역을 구성하는 블록의 크기를 상기 제 1 객체 영역을 구성하는 블록의 크기와 동일하게 생성하는, 체감형 학습 장치.
   
7. 제 5 항에 있어서,
   상기 객체 영역 생성부는 상기 제 2 객체 영역을 구성하는 블록의 크기를 상기 제 1 객체 영역을 구성하는 블록의 크기와 서로 다르게 생성하는, 체감형 학습 장치.
   
8. 제 1 항에 있어서,
   상기 접촉 판단부는 상기 제 1 객체 영역과 제 2 객체 영역이 서로 겹쳐진 영역을 백분율로 산출한 값 및 상기 미리 정해진 시간 간격으로 분할된 복수의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출한 값 중 하나 이상을 이용하여 상기 접촉 여부를 판단하는, 체감형 학습 장치.
   
9. 제 3 항에 있어서,
   상기 동작 제어부는 상기 객체 영역 생성부로부터 추출된 3차원 벡터에 기초하여, 상기 제 1 객체 영역과 제 2 객체 영역의 접촉 시, 상기 제 1 객체 영역의 이동 방향을 예측하는, 체감형 학습 장치.
   
10. 제 9 항에 있어서,
    상기 동작 제어부는 상기 예측된 제 1 객체 영역의 이동 방향에 대응하여 상기 배경 객체에 애니메이션 변화를 적용시키는, 체감형 학습 장치.
    
11. 체감형 학습 방법에 있어서,
    (a) 촬영된 학습자의 영상을 복수의 블록으로 분할하는 단계,
    (b) 상기 복수의 블록으로 분할된 영상을 미리 정해진 시간 간격으로 분할하는 단계,
    (c) 상기 시간 간격으로 분할된 영상의 변화를 비교하여 차영상을 추출하는 단계,
    (d) 상기 영상의 변화를 비교한 결과에 기초하여 3차원 벡터를 추출하고, 상기 3차원 벡터에 분포하는 좌표값의 연결성에 기초하여, 상기 차영상이 서로 연결된 제 1 객체 영역을 생성하는 단계,
    (e) 상기 제 1 객체 영역과, 게임 화면에 등장하는 배경 객체의 이미지를 다수의 블록으로 분할한 제 2 객체 영역의 접촉 여부를 판단하는 단계 및
    (f) 상기 판단 결과, 상기 제 1 객체 영역과 제 2 객체 영역이 접촉되면, 상기 3차원 벡터에 기초하여 예측된 상기 제 1 객체 영역의 이동 방향에 따라서, 상기 배경 객체에 애니메이션 변화를 적용시키고, 상기 애니메이션 변화에 대응하여 상기 체감형 학습 장치가 미리 정해진 동작을 수행하도록 제어하는 단계
    를 포함하는, 체감형 학습 방법.
    
12. 제 11 항에 있어서,
    상기 (b) 단계는 상기 복수의 블록으로 분할된 영상이 초당 30프레임을 가지도록 시간 간격을 정하여 분할하는, 체감형 학습 방법.
    
13. 제 11 항에 있어서,
    상기 (e) 단계는
    (e-1) 상기 제 1 객체 영역과 제 2 객체 영역이 서로 겹쳐진 영역을 백분율로 산출하는 단계,
    (e-2) 상기 미리 정해진 시간 간격으로 분할된 복수의 영상 중 몇 개의 영상이 서로 겹쳐져 있었는지를 백분율로 산출하는 단계 및
    (e-3) 상기 (e-1) 단계에서 산출된 값 및 상기 (e-2) 단계에서 산출된 값 중 하나 이상을 이용하여 상기 접촉 여부를 판단하는 단계
    를 포함하는, 체감형 학습 방법.

Images