KR102161849B1 - 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법 - Google Patents

증강현실을 기반한 기억력 향상 훈련 시스템 및 방법 Download PDF

Info

Publication number
KR102161849B1
KR102161849B1 KR1020180163571A KR20180163571A KR102161849B1 KR 102161849 B1 KR102161849 B1 KR 102161849B1 KR 1020180163571 A KR1020180163571 A KR 1020180163571A KR 20180163571 A KR20180163571 A KR 20180163571A KR 102161849 B1 KR102161849 B1 KR 102161849B1
Authority
KR
South Korea
Prior art keywords
unit
image
memory
augmented reality
content
Prior art date
Application number
KR1020180163571A
Other languages
English (en)
Other versions
KR20200074786A (ko
Inventor
양엘술람미
주요한
김재명
Original Assignee
주식회사 에릭씨앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에릭씨앤씨 filed Critical 주식회사 에릭씨앤씨
Priority to KR1020180163571A priority Critical patent/KR102161849B1/ko
Publication of KR20200074786A publication Critical patent/KR20200074786A/ko
Application granted granted Critical
Publication of KR102161849B1 publication Critical patent/KR102161849B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

본 발명은 증강현실을 기반한 기억력 향상 훈련 시스템에 관한 것이다. 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템은 현실이미지 및 가상이미지를 혼합하여 표시하며, 카메라를 포함하는 AR기기 및 기억력 훈련에 관련된 콘텐츠를 제공하는 학습기기를 포함하고, AR기기는 기억력 향상 증진을 도모할 수 있는 하나 이상의 컨텐츠 영상이 사전에 제작되어 저장되는 영상저장부와, 카메라로부터 인식된 데이터와 영상저장부에 저장된 컨텐츠 영상들을 매칭하는 시나리오부를 포함하며, 매칭완료된 컨텐츠 영상을 제공하는 영상제공부 및 영상제공부에서 매칭된 컨텐츠 영상을 표시하는 영상표시부를 포함한다.

Description

증강현실을 기반한 기억력 향상 훈련 시스템 및 방법{Memory improvement training system based on augmented reality}
본 발명은 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법에 관한 것이다. 더욱 상세하게는 증강현실 기기를 통해 기억력 향상 훈련 프로세스를 진행하여 사용자의 기억력을 향상시키기 위한 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법에 관한 것이다.
과학 기술 및 의료 기술의 발달에 따라 인간의 평균 수명은 꾸준히 증가하고 있는 실정이다. 이에 현대 사회는 고령화가 가속되고 있으며, 우리 나라의 경우 노인 인구가 1000 만 명에 육박하고 있다. 따라서, 고령자의 건강유지는 국가, 사회적으로 매우 중요한 문제이다.
노인성 질환 중에서도 특히 노인성 치매의 경우 노령화에 따라서 발병 확률이 증가하며, 증상이 어느 정도 진행되면 회복이 사실상 불가능한 점, 간병에 있어서 타 질병에 비해 간병에 매우 많은 노동력을 필요로 하는 및 가족들에게 부담되는 경제적, 사회적, 정서적 스트레스가 매우 크다는 점에서 해결이 매우 곤란하다.
최근의 연구에서 노인성 치매증은 경미한 증상의 단계에서 재활 훈련을 통해 예방이나 회복이 가능하다는 것이 밝혀지고 있다. 이러한 배경에 따라서, 노인성 치매증의 조기 발견 및 조기 단계에서의 재활 치료는 단지 치매증상 환자 개인 뿐 아니라 그 가족 및 국가 사회적으로 그 요청이 커지고 있다. 그러나 여전히 노인성 치매 증상을 조기에 발견하는 것은 매우 어려운 부분이며, 아울러 재활 치료 장치 또한 개발이 더 필요한 실정이다.
이러한 문제점을 해소하기 위해 (특허문헌 1)이 개시되었으며, (특허문헌 1)을 참조하여 구체적으로 설명하면 다음과 같다.
도 1은 종래기술에 따른 인지 능력 증진 시스템 및 그를 이용한 인지 능력 훈련 방법을 나타내 보인 블록도로서, 이에 따르면, 인지 능력 증진을 도모할 수 있는 다수의 컨텐츠를 제공하는 시스템에 있어서, 소정의 데이터가 저장되는 데이터 베이스부(10)와, 소정의 신호를 제공하는 입력부(20)와, 상기 데이터 베이스부(10)에 저장된 데이터 및 상기 입력부(20)에서 제공된 신호가 출력되는 출력부(30) 및 제어부(40)를 포함하며, 상기 데이터는, 소정의 기준에 따라서 분류된 복수의 문제 및 상기 문제의 해답을 포함하며, 상기 제어부(40)는, 상기 문제를 복수개 선택하여 사용자에게 출제하는 출제부(42), 상기 사용자의 신호와 상기 데이터 베이스부(10)에 저장된 해답을 대비하여 채점하는 채점부(44), 및 상기 채점을 통해 도출된 채점 결과로부터 상기 사용자의 등급을 결정하는 등급 결정부(46)를 포함하며, 상기 출제부(42)는 상기 분류된 문제를 조합하여 출제하는 것을 특징으로 하는 인지 능력 증진 시스템(1)을 포함한다.
그러나, 전술한 (특허문헌 1)에 따르면, 문제를 출제하고, 이를 맞추는 시스템으로 이루어져 있어, 사용자의 흥미를 이끌만한 요소가 부족하고, 인지능력에 관련된 시스템의 다양성이 결여되어 사용자가 연속으로 이용할 확률이 현저히 낮아지는 문제점이 있다.
대한민국 공개특허공보 제10-2013-0099714호
본 발명의 목적은 증강현실 기기를 통해 기억력 향상 훈련 프로세스를 진행하여 사용자의 기억력을 향상시키기 위한 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법을 제공하는 데 있다.
상기 과제를 해결하기 위하여,
본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템은 현실이미지 및 가상이미지를 혼합하여 표시하며, 카메라를 포함하는 AR기기; 및
기억력 훈련에 관련된 콘텐츠를 제공하는 학습기기;
를 포함하고,
상기 AR기기는 기억력 향상 증진을 도모할 수 있는 하나 이상의 컨텐츠 영상이 사전에 제작되어 저장되는 영상저장부;
상기 카메라로부터 인식된 데이터와 상기 영상저장부에 저장된 컨텐츠 영상들을 매칭하는 시나리오부를 포함하며, 매칭완료된 컨텐츠 영상을 제공하는 영상제공부; 및
상기 영상제공부에서 매칭된 컨텐츠 영상을 표시하는 영상표시부;
를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템에 있어서, 상기 학습기기는 책 또는 노트 형상으로 이루어지고, 내부에 페이지마다 홈이 형성되며, 사용자에게 기억력 훈련 프로그램을 제공할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템에 있어서, 상기 학습기기는 상기 홈과 동일한 형상으로 이루어진 다수의 어셈블리; 및
상기 학습기기의 모서리에 형성되어 상기 학습기기의 노출된 지점을 인식하는 제1 인식부;
를 더 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템에 있어서, 상기 어셈블리는 일면의 테두리에 형성되며, 상기 어셈블리의 고유 마커를 부여하는 제2 인식부; 및
상기 제2 인식부의 내부에 형성되며, 상기 어셈블리의 지칭하는 것을 이미지 또는 텍스트로 표시되는 제3 인식부;
를 더 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템에 있어서, 상기 영상저장부는 기억력 훈련을 실시하기 이전에 상기 AR기기 또는 훈련 프로그램을 소개 및 안내하는 튜토리얼부;
를 더 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템에 있어서, 상기 영상제공부는 상기 학습기기에서 수행되는 상황을 상기 카메라를 통해 이미지를 제공받아 이를 인식하는 인식부;
상기 인식부에서 인식된 이미지를 판단하고, 상기 시나리오부에서 진행되는 컨텐츠 영상과 동일여부를 확인하는 확인부;
상기 확인부에서 확인된 데이터를 기반으로 정답 또는 오답을 판단하며, 정답 또는 오답에 따라 대응하는 대응부; 및
상기 대응부에서 판단된 정답 또는 오답의 데이터를 축적하고, 최종점수를 산출하는 산출부;
를 더 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템에 있어서, 상기 영상표시부는 상기 시나리오부에서 매칭된 콘텐츠 영상과 함께 이미지를 증강시켜 이를 표시하는 이미지증강부; 및
상기 AR기기에서 재생되는 콘텐츠 영상 및 상기 학습기기의 조작유무에 따른 결과를 표시하는 팝업부;
를 더 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 이용한 기억력 향상 훈련 방법에 있어서,
(a) AR기기가 제1 인식부를 인식하는 단계;
(b) 제1 인식부에서 인식한 데이터를 기반으로 영상저장부에 저장된 컨텐츠 영상과 매칭하고, 매칭된 컨텐츠 영상을 재생하는 단계;
(c) 재생되는 상기 컨텐츠 영상에 맞는 어셈블리를 인식하고, 정답 또는 오답을 판단하는 단계;
(d) 정답 또는 오답에 맞는 이미지 증강 또는 팝업을 표시하는 단계; 및
(e) 최종결과에 대한 점수를 산출하고 이를 표시하는 단계;
를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 이용한 기억력 향상 훈련 방법에 있어서, 상기 (c) 단계는
(c-1) 상기 어셈블리에 구성된 제2 인식부를 인식하는 단계;
(c-2) 상기 컨텐츠 영상에 적합한 상기 어셈블리인지의 여부를 판단하는 단계;
(c-3) 상기 판단한 데이터를 기반으로 정답 및 오답을 판단하는 단계;
를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 이용한 기억력 향상 훈련 방법에 있어서, 상기 (c-3) 단계는 정답으로 판단되면, 이미지증강부를 통해 상기 학습기기에 이미지를 증강시킬 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 이용한 기억력 향상 훈련 방법에 있어서, 상기 (c-3) 단계는 오답으로 판단되면, 팝업부를 통해 오답에 관련된 팝업을 표시할 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 이용한 기억력 향상 훈련 방법에 있어서, 상기 오답이 3회 반복되면 최종오답으로 판단하며, 다음 진행될 컨텐츠 영상을 재생시킬 수 있다.
또한, 본 발명의 일실시 예에 따른 증강현실을 이용한 기억력 향상 훈련 방법에 있어서, 상기 오답의 횟수에 따라 점수를 차등 부여될 수 있다.
이러한 해결 수단은 첨부된 도면에 의거한 다음의 발명의 상세한 설명으로부터 더욱 명백해질 것이다.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
본 발명의 일실시 예에 따르면, AR기기를 통해 기억력 향상 훈련 프로그램을 실시할 수 있고, 사용자의 흥미를 유발시켜 기억력 훈련을 유도할 수 있다.
도 1은 종래기술을 나타내 보인 전체 블럭도.
도 2은 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템을 나타내 보인 사용예시도.
도 3은 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템의 학습기기를 나타내 보인 사시도.
도 4는 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템의 어셈블리를 나타내 보인 사시도.
도 5는 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템의 AR기기를 나타내 보인 블럭도.
도 6은 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 방법을 나타내 보인 순서도.
본 발명의 특이한 관점, 특정한 기술적 특징들은 첨부된 도면들과 연관되는 이하의 구체적인 내용과 일실시 예로부터 더욱 명백해 질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조 부호를 부가함에 있어, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 일실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하, 본 발명의 일실시 예를 첨부된 도면에 의거하여 상세히 설명하면 다음과 같다.
도 2 내지 도 5에 도시된 바와 같이, 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 시스템은 카메라(101)로부터 수집된 현실기반 이미지 및 가공된 이미지 예컨대 가상이미지를 혼합하여 표시하는 AR기기(100)와, 기억력 훈련에 관련된 콘텐츠를 제공하는 학습기기(200)를 포함한다.
AR기기는 카메라(101)를 통해 수집된 현실기반 이미지 및 사전에 저장된 콘텐츠 영상을 혼합하여 표시함으로써 현실을 기반하여 이미지를 증강시키는 기능을 수행하며, 사용자에게 시각적 심미안을 제공하는 기기이다.
이러한 AR기기(100)는 기억력 향상 증진을 도모할 수 있는 하나 이상의 컨텐츠 영상이 사전에 제작되어 내부에 구비된 저장장치에 저장된 영상저장부(110)와, 카메라(101)로부터 인식된 데이터(또는 이미지)와 영상저장부(110)에 저장된 컨텐츠 영상을 매칭시켜 결과값이 도출된 영상을 제공하는 영상제공부(130) 및 영상제공부(130)에서 도출된 컨텐츠 영상을 표시하는 영상표시부(150)를 포함할 수 있다.
영상저장부(110)는 사전에 제작된 다양한 컨텐츠 영상들이 저장되며, 이러한 컨텐츠 영상들이 저장할 수 있는 저장매체는 AR기기(100)의 내부에 구비될 수 있으나, 이에 한정하는 것은 아니며, 별도의 서버(미도시)와 근거리 네트워크를 통하여 무선연결이 이루어져 서버에 컨텐츠 영상을 저장시킨 이후, 서버로부터 해당하는 영상을 요청하여 수신받을 수 있는 구조로 이루어질 수 있다.
이러한 영상저장부(110)는 기억력 훈련 프로그램을 실시하기 이전에 AR기기(100) 및 학습기기(200)의 사용 방법을 안내해줄 튜토리얼부(111)를 포함할 수 있다.
튜토리얼부(111)는 사용자가 AR기기(100) 및 학습기기(200)를 용이하게 사용 및 조작할 수 있도록 가이드 영상형태로 제작되며, 사용자가 별도의 설정을 하지 않더라도 AR기기(100)의 작동이 이루어지면 훈련 프로그램을 실시하기 이전에 팝업형태로 튜토리얼을 안내할도록 구성된다.
영상제공부(130)는 학습기기(200)에 부여된 마커를 인식하고, 인식된 데이터를 기반으로 영상저장부(110)에서 저장된 컨텐츠 영상들과 매칭시켜 결과값이 도출된 영상을 제공하는 기능을 수행하는 것으로, 시나리오부(131), 인식부(133), 확인부(135), 대응부(137) 및 산출부(139)를 포함한다.
시나리오부(131)는 상기한 내용과 같이 학습기기(200)가 카메라(101)로부터 인식된 데이터와 영상저장부(110)에 저장된 컨텐츠 영상들을 매칭시켜 인식된 데이터에 맞은 컨텐츠 영상을 선별하는 기능을 수행한다.
인식부(133)는 학습기기(200)에서 수행되는 상황 예컨대 카메라(101)를 통해 학습기기(200)의 구간(또는 페이지)을 인식하는 기능과, 각각의 어셈블리(230)에 부여된 마커를 인식하는 기능 등 학습기기(200) 및 각각의 어셈블리(230)를 인식하고 이를 구분하는 기능을 수행한다.
여기서, 학습기기(200) 및 각각의 어셈블리(230)는 후술한 제1 인식부(250), 제2 인식부(270) 및 제3 인식부(290)를 통해 인식할 수 있으며, 인식하는 방법은 후술하도록 한다.
확인부(135)는 시나리오부(131)에서 재생되는 컨텐츠 영상과 카메라(101)를 통해 인식된 학습기기(200) 및 각각의 어셈블리(230)를 각각 인식하고, 재생중인 컨텐츠 영상에 알맞은 어셈블리(230)인지의 여부를 확인하는 기능을 수행한다.
또한, 확인부(135)는 어셈블리(230)가 후술할 학습기기(200)에 형성된 홈(210)에 삽입되었는지의 여부를 확인할 수 있으며, 어셈블리(230)가 홈(210)에 삽입이 이루어지면 대응부(137)를 통해 정답 또는 오답을 판단할 수 있고, 어셈블리(230)가 홈(210)에 삽입이 되지 않은 경우, 영상표시부(150)를 통해 시간초과 또는 오답을 표시할 수 있다.
대응부(137)는 재생중인 컨텐츠 영상에 알맞은 어셈블리(230)가 학습기기(200)에 형성된 홈(210)에 알맞게 삽입되었는지를 판단하고, 판단한 데이터를 기반으로 대응하는 기능을 수행한다.
구체적으로, 대응부(137)는 재생중인 컨텐츠 영상 및 컨텐츠 영상에 알맞은 어셈블리(230)인지를 판단하여 정답 또는 오답을 판단하고, 정답일 경우 영상표시부(150)를 통해 이미지를 증강시켜 정답에 관련된 애니메이션이 재생되며, 오답일 경우 영상표시부(150)를 통해 오답에 관련된 팝업을 표시할 수 있다.
산출부(139)는 대응부(137)에서 정답 또는 오답을 판단한 데이터를 종합하여 총 점수를 산출하는 기능을 수행하며, 컨텐츠 영상이 모두 소진되거나, 또는 사용자가 사전에 설정한 컨텐츠 영상 재생 횟수가 종료된 이후 산출될 수 있다.
영상표시부(150)는 영상제공부(130)에서 매칭된 컨텐츠 영상을 표시하는 기능을 수행한다.
또한, 영상표시부(150)는 시나리오부(131)에서 매칭된 콘텐츠 영상과 함께 이미지를 증강시켜 이를 표시하는 이미지증강부(151) 및 AR기기(100)에서 재생되는 콘텐츠 영상 및 학습기기(200)의 조작유무에 따른 결과를 표시하는 팝업부(153)를 더 포함할 수 있다.
이미지증강부(151)는 대응부(137)에서 정답이라고 판단할 경우, 해당 컨텐츠 영상에 이미지를 증강시켜 사용자에게 시각점 심미안을 부여하는 기능을 수행하며, 컨텐츠 영상 문제의 정답에 대한 이미지 증강 뿐만 아니라, 컨텐츠 영상 자체를 이미지 증강시킬 수 있으며, 이에 한정하는 것은 아니다.
팝업부(153)는 대응부(137)에서 오답이라고 판단하거나, 산출부(139)에서 결과에 대한 데이터를 표시하거나, AR기기(100)의 설정 등을 표시할 때 팝업형태로 표시될 수 있다.
한편, 학습기기(200)는 사용자가 컨텐츠를 용이하게 체험할 수 있는 객체 예컨대 책, 노트, 스마트디바이스, 전자기기 등 다양한 형상으로 구성될 수 있고, 본 발명에서는 책 또는 노트 중 어느 하나를 선택하여 형성되어 사용자에게 기억력 향상에 관련된 컨텐츠를 제공할 수 있다.
또한, 학습기기(200)는 예컨대 책 또는 노트로 이루어질 경우, 내부에 구간(또는 페이지)마다 어셈블리(230)를 삽입할 수 있는 홈(210)이 형성되며, 사용자가 해당하는 구간에 알맞는 어셈블리(230)를 삽입하는 훈련을 실시하는 구조로 이루어짐으로써 사용자에게 기억력 관련 훈련 프로그램을 제공할 수 있다.
또한, 학습기기(200)는 각 구간(또는 페이지)마다 AR기기(100)가 인식될 수 있도록 제1 인식부(250)를 구성할 수 있다.
제1 인식부(250)는 각 구간(또는 페이지)의 고유 마커를 구성하여 AR기기(100)가 각 구간을 용이하게 인식 할 수 있도록 구성된 것으로, 예컨대 책 또는 노트로 이루어진 학습기기(200)인 경우, 모서리에 페이지 숫자를 부여하여 현재 펼쳐진 구간(또는 페이지)를 인식하는 구조로 이루어질 수 있다.
어셈블리(230)는 학습기기(200)의 각 챕터마다 형성된 홈(210)에 삽입할 수 있도록 서로 다른 어셈블리(230)가 구비되고, 각각 다른 어셈블리(230)를 AR기기(100)가 인식할 수 있도록 일면 예컨대 도면상 평면에 해당하는 면의 테두리에 마커를 부여하여 서로 다른 어셈블리(230)를 식별할 수 있는 제2 인식부(270) 및 제2 인식부(270)의 내부에 이미지를 구비하여 제3 인식부(290)를 포함할 수 있다.
제3 인식부(290)는 서로다른 어셈블리(230)에 각각의 이미지를 부여하여 사용자가 서로다른 어셈블리(230)를 식별할 수 있도록 구비된 것으로, 텍스트 또는 이미지 중 적어도 어느 하나를 선택하여 기재될 수 있으며, AR기기(100)가 카메라(101)를 통해 어셈블리(230)를 식별할 수 있는 기능도 포함될 수 있다.
즉, 어셈블리(230)의 일면에 구비된 제2 인식부(270) 및 제3 인식부(290)는 AR기기(100)가 식별할 수 있도록 구비된 고유 마커이며, 특히 제3 인식부(290)는 AR기기(100) 및 사용자가 식별할 수 있는 이미지가 삽입되어 있다.
한편, 도 6에 도시된 바와 같이, 본 발명의 일실시 예에 따른 증강현실을 기반한 기억력 향상 훈련 방법에 있어서, AR기기(100)가 제1 인식부(250)를 인식하는 단계(S20)와, 제1 인식부(250)에서 인식한 데이터를 기반으로 영상저장부에 저장된 컨텐츠 영상과 매칭하고, 매칭된 컨텐츠 영상을 재생하는 단계(S30)와, 컨텐츠 영상에 맞는 어셈블리(230)를 인식하고, 정답 또는 오답을 판단하는 단계(S31,S34)와, 정답 또는 오답에 맞는 이미지 증강 또는 팝업을 표시하는 단계(S32,S35) 및 최종결과에 대한 점수를 산출하고 이를 표시하는 단계(S50)를 포함할 수 있다.
먼저, AR기기(100)가 제1 인식부(250)를 인식하는 단계(S20)를 실시하기 이전에 사용자는 AR기기(100) 또는 학습기기(200)의 사용 안내를 지침하기 위해 튜토리얼부(111)를 선택할 수 있으며(S10), 사용자가 튜토리얼을 선택한 경우, 영상저장부(110)에서 사전에 저장된 튜토리얼 관련 영상을 재생할 수 있다(S11).
기억력 향상 훈련 프로그램은 사용자가 AR기기(100) 및 학습기기(200)를 통해 훈련을 실시할 수 있으며, AR기기(100)에 설치된 카메라(101)를 통해 학습기기(200)를 인식할 수 있으며, 이러한 방법으로 AR기기(100)가 제1 인식부(250)를 인식할 수 있다(S20).
제1 인식부(250)를 인식한 AR기기(100)는 인식한 데이터를 기반으로 영상저장부에 저장된 컨텐츠 영상과 매칭시키고, 결과값이 도출된 컨텐츠 영상을 영상표시부(150)를 통해 영상이 재생된다(S30).
컨텐츠 영상이 지속적으로 재생된 이후, 컨텐츠 영상에 관련된 문제가 제시되며, 사용자는 문제에 대한 답변을 학습기기(200)를 통해 맞출 수 있는 구조로 이루어진다.
구체적으로, 학습기기(200)의 홈(210)에 어셈블리(230)를 끼움방식으로 삽입되면, 어셈블리(230)에 형성된 확인부(135)가 제2 인식부(270)를 인식하게 되며(S31), 제2 인식부(270)가 홈(210)에 삽입되었는지의 여부를 판별한다.
예컨대 어셈블리(230)가 홈(210)에 삽입이 이루어지면, 대응부(137)를 통해 정답 또는 오답을 판별하게 되고(S34), 예컨대 어셈블리(230)가 홈(210)에 삽입되지 않거나, 대응부(137)에서 오답으로 판단하게 되면, 오답메세지에 관련된 팝업을 표시할 수 있다(S32).
오답 메세지 관련된 팝업을 표시한 이후(S32), 동일한 문제를 3회를 제시하게 되며, 3회 이내로 정답을 맞출 경우(S33), 정답으로 인정하되, 점수를 차등 부여하며, 동일한 문제를 3회 오답처리되면(S33), 최종오답으로 처리하여 다음 컨텐츠 영상을 재생한다.
한편, 어셈블리(230)가 홈(210)에 삽입이 이루어지고, 대응부(137)를 통해 정답으로 판단하게 되면, 이미지증강부(151)를 통해 정답에 관련된 이미지를 증강시켜 사용자의 시각적 심미안을 부여할 수 있다.
이러한 컨텐츠 영상은 사용자가 사전에 설정한 횟수 만큼 반복재생되거나, 컨텐츠 영상의 갯수만큼 재생되며(S40), 컨텐츠 영상이 모두 재생이 완료된 이후에는 최종결과에 대한 점수를 팝업부(153)를 통해 표시된다.
즉, 본 발명의 일실시 예에 따른 증강현실을 이용한 기억력 향상 훈련 시스템 및 방법에 있어서, AR기기(100)를 통해 기억력 향상 훈련 프로그램을 실시할 수 있고, 사용자의 흥미를 유발시켜 사용자의 기억력 훈련을 유도할 수 있는 효과가 있다.
이상 본 발명을 일실시 예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명에 따른 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법은 이에 한정되지 않는다. 그리고 이상에서 기재된 "포함하다", "구성하다", 또는 "가지다", 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것으로 해석되어야 하며, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다.
또한, 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능하다. 따라서, 본 발명에 개시된 일실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 일실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 - AR기기 101 - 카메라
110 - 영상저장부 111 - 튜토리얼부
130 - 영상제공부 131 - 시나리오부
133 - 인식부 135 - 확인부
137 - 대응부 139 - 산출부
150 - 영상표시부 151 - 이미지증강부
153 - 팝업부 200 - 학습기기
210 - 홈 230 - 어셈블리
250 - 제1 인식부 270 - 제2 인식부
290 - 제3 인식부

Claims (13)

  1. 현실이미지 및 가상이미지를 혼합하여 표시하며, 카메라를 포함하는 AR기기; 및 기억력 훈련에 관련된 콘텐츠를 제공하는 학습기기;
    를 포함하고,
    상기 AR기기는 기억력 향상 증진을 도모할 수 있는 하나 이상의 컨텐츠 영상이 사전에 제작되어 저장되는 영상저장부;
    상기 카메라로부터 인식된 데이터와 상기 영상저장부에 저장된 컨텐츠 영상들을 매칭하는 시나리오부를 포함하며, 매칭완료된 컨텐츠 영상을 제공하는 영상제공부; 및
    상기 영상제공부에서 매칭된 컨텐츠 영상을 표시하는 영상표시부;
    를 포함하며,
    상기 학습기기는 책 또는 노트 형상으로 이루어지고, 내부에 페이지마다 홈이 형성되며, 사용자에게 기억력 훈련 프로그램을 제공하는 증강현실을 기반한 기억력 향상 훈련 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 학습기기는 상기 홈과 동일한 형상으로 이루어진 다수의 어셈블리; 및
    상기 학습기기의 모서리에 형성되어 상기 학습기기의 노출된 지점을 인식하는 제1 인식부;
    를 더 포함하는 증강현실을 기반한 기억력 향상 훈련 시스템.
  4. 청구항 3에 있어서,
    상기 어셈블리는 일면의 테두리에 형성되며, 상기 어셈블리의 고유 마커를 부여하는 제2 인식부; 및
    상기 제2 인식부의 내부에 형성되며, 상기 어셈블리의 지칭하는 것을 이미지 또는 텍스트로 표시되는 제3 인식부;
    를 더 포함하는 증강현실을 기반한 기억력 향상 훈련 시스템.
  5. 청구항 1에 있어서,
    상기 영상저장부는 기억력 훈련을 실시하기 이전에 상기 AR기기 또는 훈련 프로그램을 소개 및 안내하는 튜토리얼부;
    를 더 포함하는 증강현실을 기반한 기억력 향상 훈련 시스템.
  6. 청구항 1에 있어서,
    상기 영상제공부는 상기 학습기기에서 수행되는 상황을 상기 카메라를 통해 이미지를 제공받아 이를 인식하는 인식부;
    상기 인식부에서 인식된 이미지를 판단하고, 상기 시나리오부에서 진행되는 컨텐츠 영상과 동일여부를 확인하는 확인부;
    상기 확인부에서 확인된 데이터를 기반으로 정답 또는 오답을 판단하며, 정답 또는 오답에 따라 대응하는 대응부; 및
    상기 대응부에서 판단된 정답 또는 오답의 데이터를 축적하고, 최종점수를 산출하는 산출부;
    를 더 포함하는 증강현실을 기반한 기억력 향상 훈련 시스템.
  7. 청구항 1에 있어서,
    상기 영상표시부는 상기 시나리오부에서 매칭된 콘텐츠 영상과 함께 이미지를 증강시켜 이를 표시하는 이미지증강부; 및
    상기 AR기기에서 재생되는 콘텐츠 영상 및 상기 학습기기의 조작유무에 따른 결과를 표시하는 팝업부;
    를 더 포함하는 증강현실을 기반한 기억력 향상 훈련 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020180163571A 2018-12-17 2018-12-17 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법 KR102161849B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180163571A KR102161849B1 (ko) 2018-12-17 2018-12-17 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180163571A KR102161849B1 (ko) 2018-12-17 2018-12-17 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200074786A KR20200074786A (ko) 2020-06-25
KR102161849B1 true KR102161849B1 (ko) 2020-10-05

Family

ID=71400435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180163571A KR102161849B1 (ko) 2018-12-17 2018-12-17 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102161849B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102330894B1 (ko) * 2020-07-24 2021-12-01 주식회사 케이엑스알랩 증강현실에서의 디바이스 로컬 전환 동작을 지원하는 증강현실 디스플레이 장치 및 그것의 동작 방법
CN112200230B (zh) * 2020-09-29 2023-10-13 深圳市优必选科技股份有限公司 一种训练板的识别方法、装置及机器人

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535080A (ja) * 2011-11-16 2014-12-25 ヴェロニク・デボラ・ボーボ 記憶を改善するためのコンピュータ生成三次元仮想現実環境

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101387075B1 (ko) 2012-02-29 2014-04-18 김태유 인지 능력 증진 시스템 및 그를 이용한 인지 능력 훈련 방법
EP3517160B1 (en) * 2016-09-26 2021-11-10 The Asan Foundation Device, method, and program for memory training through brain stimulation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535080A (ja) * 2011-11-16 2014-12-25 ヴェロニク・デボラ・ボーボ 記憶を改善するためのコンピュータ生成三次元仮想現実環境

Also Published As

Publication number Publication date
KR20200074786A (ko) 2020-06-25

Similar Documents

Publication Publication Date Title
Fusco et al. The tactile graphics helper: providing audio clarification for tactile graphics using machine vision
US8793118B2 (en) Adaptive multimodal communication assist system
KR101148790B1 (ko) 외국어 문장 학습 장치 및 이를 이용한 학습 방법
KR102161849B1 (ko) 증강현실을 기반한 기억력 향상 훈련 시스템 및 방법
KR102101496B1 (ko) Ar 기반의 글씨 쓰기 연습 방법 및 프로그램
KR101017598B1 (ko) 증강 현실을 이용한 한글 교습 시스템 및 한글 정보 제공 방법
CN112507294B (zh) 一种基于人机交互的英语教学系统及教学方法
KR101102520B1 (ko) 한글 자모의 메트릭스 결합 관계를 기반으로 하는 시청각 한글학습 시스템 및 그 운영 방법
JP6197706B2 (ja) 電子機器、問題出力方法およびプログラム
Panahandeh et al. On the relationship between Iranian EFL learners' multiple intelligences and their learning styles
KR20190068841A (ko) 인공지능 음성인식 api를 활용한 영어 발음 훈련 및 평가 시스템
Gustine et al. English students’ experience of reframing narrative stories from a critical literacy perspective
Wei Development and evaluation of an emotional lexicon system for young children
Chai et al. SignInstructor: an effective tool for sign language vocabulary learning
Thapa et al. Using non-speech sounds to increase web image accessibility for screen-reader users
KR101497115B1 (ko) 언어 학습방법 및 언어 학습 시스템
JP2019211796A (ja) 学習支援装置及び出題方法
KR101647193B1 (ko) 신경 언어 장애군을 위한 문장 기반 치료 보조 장치 및 방법
JP2014038140A (ja) 語学学習補助装置、語学学習補助方法、語学学習補助プログラム
JP2019179485A (ja) 情報提供装置、情報提供方法、およびプログラム
Solano Fighting to Be Seen: The Personal and Teacher Identity of White-Passing Biracial (Latinx/White) Teachers
CN107977594A (zh) 一种交互式机器人及其讲故事方法
Kamala Tasheel Pedagogy of Topsy-Turvy Lexicons
Shinjee et al. Ethnic Accent Bullying, EFL Teaching and Learning in Mongolia
Nunes et al. A serious game powered by semantic web technologies

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant