KR20160005841A

KR20160005841A - 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템

Info

Publication number: KR20160005841A
Application number: KR1020140084524A
Authority: KR
Inventors: 박일록
Original assignee: 주식회사 마당
Priority date: 2014-07-07
Filing date: 2014-07-07
Publication date: 2016-01-18

Abstract

본 발명은 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템에 관한 것이다.
더욱 상세하게는 모션인식 기술에 기반한 인체에 관한 학습을 제공하는 장치에 관한 것이다.
본 발명의 일 면에 따른 모션인식에 기반한 학습제공 장치는 외부 개체의 움직임에 대한 데이터를 취득하기 위한 모션센서, 상기 모션센서에서 취득된 데이터를 인식 가능한 데이터로 처리하기 위한 신호 처리부, 제공된 콘텐츠가 재생된 화면을 표시하고 적어도 하나의 어플리케이션에 대한 선택 인터페이스를 제공하는 표시부, 상기 신호 처리부에서 처리된 데이터에 따라 상기 표시부의 화면 전환 및 상기 어플리케이션의 실행을 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템{Motion recognition with Augmented Reality based Realtime Interactive Human Body Learning System}

[0001] 본 발명은 모션인식 센서와 웹캠을 이용한 실시간 반응형 인체학습 시스템으로 보다 상세하게는, 인체의 움직임에 따라 컴퓨터가 이를 인지하여 인체 또는 내부의 장기나 골격, 근육을 세밀하게 관찰할 수 있도록 하는 장치로써 사람의 움직임을 감지한 컴퓨터는 모니터나 스크린이라는 가상 공간에 인간의 장기나 골, 근육격의 세부 모습을 보여 주어 인체에 대해 세밀하게 학습할 수 있도록 하는 장치에 관한 것이다.

[0002] 증강현실은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality)이라고도 하며 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(Hybrid VR System)으로 1990년대 후반부터 미국과 일본을 중심으로 연구와 개발이 진행되고 있다.

[0003] 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이고 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 하며 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(Overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.

[0004] 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공하는데 예를 들어 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다.

[0005] 활용분야로는 원격의료진단·방송·건축설계·제조공정관리 등에 활용되며 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계와 교육 분야 등에서도 다양한 제품을 개발하고 있다.

[0006] 이처럼 기존 모션인식과 증강현실 기법을 활용하여 학습자와 컴퓨터가 상호 인터랙션하며 체험하는 학습서비스의 콘텐츠는 그 속도가 느리고 해상도가 떨어져 빠른 속도로 반응하며 세밀한 표현이 필요한 학습용 컨텐츠 개발을 위해서는 기술적인 부분이 부족하다.

[0007] 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 고가의 모션 인식 장비를 사용하지 않고, 실시간 콘텐츠 구현효과를 나타낼 수 있도록 웹캠과 연동한 실시간 렌더링 프로그램을 개발하고 관람자(사용자)의 체감효과를 높일 수 있도록 기존의 섬세한 표현시 발생되는 현상을 최소화하고 각각의 화면 Layer가 변할 때 생기는 지연(Delay)현상을 해소하여 체감효과를 높이는 한편 학습 효과를 높이기 위해 문제 은행 데이터베이스(DATABASE)를 구축하고 이를 게임과 연동하는 콘텐츠를 제작하는 시스템을 제작하고자 하는데 목적이 있다.

[0008]상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 표시장치인 디스플레이 장치와 상기 디스플레이 장치에 출력되는 출력신호를 생성하고, 상기 디스플레이 장치의 구동을 제어하는 제어 장치와 상기 제어 장치에 연결되고, 사용자로부터 사용자 명령을 입력받아 상기 제어장치로 전송하는 인터페이스장치를 포함하여 구성되고: 상기 인터페이스 장치는, 사용자의 모션을 감지하는 감지 장치와 ; 상기 인터페이스 장치의 구동을 제어하는 제어 장치를 포함하여 구성된다.

[0009] 이때, 상기 제어단말 또는 상기 제어 장치 중 어느 하나는, 감지 장치가 감지한 사용자의 모션에 대한 포인터의 이동범위 및 이동속도를 설정할 수도 있다.

그리고 상기 포인터의 이동범위 설정은, 소정의 시간 동안 사용자의 모션 이동 궤적을 검출하여, 검출된 이동궤적의 최대 이동값을 디스플레이 장치상의 포인터 이동 범위의 최대값과 매칭시켜 설정할 수도 있다.

[0010] 또한, 상기 사용자의 모션 감지는, 사용자의 이동을 감지하여 수행될 수도 있다. 그리고 상기 감지 장치는 촬영장치를 포함하여 구성되고, 상기 사용자의 모션 감지는, 상기 촬영장치로부터 취득된 영상으로부터 사용자의 특정 신체부위를 판별하여, 상기 특정 신체부위의 움직임을 감지하여 수행될 수도 있다.

[0011] 또한, 상기 제어장치에는 컨텐츠 사용자의 학습효과를 높이기 위해 퀴즈 문제은행을 저장하는 데이터베이스를 포함할 수 있으며 사용자의 선택에 따라 퀴즈 문제를 디스플레이 장치에 표현하고 사용자의 움직임을 파악하여 정담 판단을 처리할 수 있다.

[0012] 기존 인체를 구성하는 교육용 컨텐츠는 모형으로 인체의 일부만 보여주거나 인쇄된 형태로 보여 주어 실감이 떨어지는 문제가 있었으나 이를 인터랙션이 가능한 실감 미디어로 재현할 수 있다.

[0013] 또한, 과거 주어진 스토리에 따라 수동적으로 컨텐츠를 소비하는 방식에서 벗어나 사용자가 능동적으로 원하는 부분을 선택하여 진행할 수 있고 퀴즈 풀이를 통해 인체에 대한 학습효과를 배가할 수 있다.

[0014] 또한, 향후 다양한 방법으로 응용이 가능한데 예를 들면, 음주나 흡연, 마약의 폐해가 인체에 미치는 영향을 폐나 간, 뇌의 손상을 세밀히 표현할 수 있어 청소년들에게 음주나 흡연, 마약에 대한 예방 교육이 가능한 컨텐츠 제작도 가능하다.

[0015]도 1은 본 발명에 대한 전체 개념을 나타내는 도면이다.
도 2는 본 발명의 장치별 구성을 나타내는 도면이다.
도 3은 본 발명의 일례에 따른 인체를 디스플레이 장치에 표현하는 예이다.
도4 는 본 발명의 일례에 따른 인체의 장기 등을 세부적으로 표현하는 예이다.
도 5는 본 발명의 다른 예에 따른 인체의 움직임에 따라 동일한 모습으로 디스플레이 장치에 표현하는 예이다.

[0016]본 발명은 사용자의 상호작용(인터렉션)에 따라 디스플레이 장치에 표현되는 영상 내용등이 변화하거나, 혹은 영상의 객체가 특정 행동을 하거나 다른 객체로 변화할 수 있으며, 사용자의 인터렉션에 따라 영상의 내용에 맞는 물리적인 효과를 표현할 수 있는 서비스에 관한 것이다. 이에 본 발명에서는 다음과 같은 방법을 제공한다.

[0017] (1) 디스플레이 장치에 표현되는 영상의 내용을 사용자 인터렉션에 따라 변화될 수 있도록 표현하는 방법 (2) 디스플레이 장치에 영상이 표현되는 도중 사용자 인터렉션이 입력되었을 때 입력된 행위와 동일하게 디스플레이에 표현하는 방법 (3) 디스플레이 장치에 영상이 표현되는 도중 사용자의 동작을 인식하여 메뉴를 선택하는 방법(4) 디스플레이장치에 퀴즈 문제를 제시하고 사용자의 동작을 인식하여 퀴즈의 정답판정을 효과적으로 표현하는 방법

이하에서는 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하도록 한다.

[0018]도 1은 본 발명의 모션인식 센서와 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템의 개념을 도시한 도면이다.

[0019] 도 1을 참조하면, 제어장치(100), 디스플레이장치(101), 인터페이스장치(103), 사용자(104)를 포함한다.

[0020] 실시간 반응형 인체학습 시스템 서비스를 제공하기 위해서는 제어장치(100)는 저장장치(디스크), 정보처리 장치(마이크로 프로세서), 원활한 관리를 위한 보조장치(마우스, 키보드), 모션인식 모듈, 모션인식 장치와 웹 카메라등에서 입력되는 정보를 처리하는 처리장치가 포함된 인터페이스 장치(103)등을 포함한다.

[0021] 도 2를 참조하면 각 센서로 부터 들어오는 정보를 처리하고 제어하는 제어장치(200), 사용자가 일정 구역안에 들어 오면 이를 디스플레이 장치에 전송하는 웹 카메라(201), 제어장치로 부터 정보를 전송받아 특정 영상을 표현하는 디스플레이장치(202), 사용자의 동작을 인식하고 이를 제어장치로 전송하는 모션인식장치, 사용자가 학습시스템 운영중 내용 전환을 위해 표현되는 메뉴(204)로 구성된다.

[0022] 도 3을 참조하면 사용자가 특정 구역에 진입하면 웹 카메라는 디스플레이 장치에 사용자 모습을 보여준 후 바로 인체 영상을 표현한다.

[0023] 도 4를 참조하면 사용자는 상단의 메뉴에 손등으로 위치하면 모션센서는 이를 감지하여 제어장치에 메뉴 전환 요청을 하고 제어장치는 이를 전송받아 사용자가 원하는 영상을 디스플레이 장치에 전송한다.

[0024] 학습이 종료되거나 학습도중 퀴즈를 풀 수 있으며 상단 메뉴중 퀴즈를 선택하면 제어장치에 저장되어 있는 데이터베이스(DATABASE)에 저장되어 있는 문제를 디스플레이 장치 에 표현하고 사용자의 좌우 손을 모션센서가 구분하여 정답을 판정하고 점수를 부여한다.

[0024] 도 5를 참조하면 사용자가 특정 자세를 취하면 모션센서 및 웹 카메라는 이를 감지하고 제어장치에 전송하면 제어장치는 이를 즉시 동일한 자세로 특정 영상을 표현한다.

Claims

모션인식 센서와 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템 방법에 있어
디스플레이 장치 화면에 메뉴를 표현하고 이를 모션인식 센서가 손의 움직임과 메뉴의 위치를 파악하여 디스플레이 내용을 전환하는 단계;
디스플레이 장치 화면에 제어장치의 데이터베이스(DATABASE)에 저장된 인체관련 퀴즈를 도출하여 화면에 표현하는 단계;
디스플레이 장치에 표현된 인체관련 퀴즈 문제를 손동작을 인식하여 정답을 판정하고 점수를 부여하는 단계;
디스플레이 장치에 표현된 특정 메뉴를 선택하면 LAYER(뼈대와 장기, 뼈대, 장기)로 구분하여 전신을 보여주는 단계;