KR102564071B1 - 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치 - Google Patents
복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102564071B1 KR102564071B1 KR1020210057711A KR20210057711A KR102564071B1 KR 102564071 B1 KR102564071 B1 KR 102564071B1 KR 1020210057711 A KR1020210057711 A KR 1020210057711A KR 20210057711 A KR20210057711 A KR 20210057711A KR 102564071 B1 KR102564071 B1 KR 102564071B1
- Authority
- KR
- South Korea
- Prior art keywords
- game
- users
- touch
- content
- information
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 151
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000003550 marker Substances 0.000 claims description 66
- 230000033001 locomotion Effects 0.000 claims description 41
- 230000000638 stimulation Effects 0.000 claims description 28
- 230000003930 cognitive ability Effects 0.000 claims description 24
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 description 54
- 210000003811 finger Anatomy 0.000 description 37
- 238000010586 diagram Methods 0.000 description 31
- 230000000694 effects Effects 0.000 description 27
- 206010012289 Dementia Diseases 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 238000012567 pattern recognition method Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 240000007643 Phytolacca americana Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 102000013455 Amyloid beta-Peptides Human genes 0.000 description 3
- 108010090849 Amyloid beta-Peptides Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 241000212384 Bifora Species 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 241001274613 Corvus frugilegus Species 0.000 description 1
- 241001117170 Euplectes Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
- A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Marketing (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Epidemiology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Rehabilitation Tools (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 실시예에 따른 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법은 컨텐츠 게임을 표시하고 상기 컨텐츠 게임에 대한 터치입력을 감지하는 디스플레이 유닛과, 상기 디스플레이 유닛을 제어하는 관리시스템을 포함하는 멀티 인지 훈련 장치에서 제공하는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법으로서, 상기 디스플레이 유닛을 제어하여 상기 컨텐츠 게임을 제공하는 단계; 상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계; 상기 복수의 사용자에 대한 정보를 기초로 상기 복수의 사용자 별 위치를 결정하는 단계; 상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하는 단계; 및 상기 결정된 게임 영역에 대해 상기 컨텐츠 게임을 제공하는 단계;를 포함한다.
Description
본 발명은 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치에 관한 것으로, 보다 상세하게는 동시에 복수의 사용자들이 컨텐츠 게임으로 인지 훈련(Cognitive Training) 및 인지 자극(Cognitive Stimulation)을 제공받을 수 있도록 한 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치에 관한 것이다.
사람들의 평균수명이 현저히 연장됨에 따라 노인성 질환의 발생도 급격히 증가하고 있다. 미국 통계에 따르면 암이나 심혈관 질환 등 주요한 질환에 의한 사망률은 치료법 개선으로 꾸준히 낮아지고 있지만, 치매에 의한 사망률은 지속적으로 높아지고 있다고 보고되고 있다.
실제로 미국알츠하이머협회에 따르면 2000년 이후 치매에 의한 사망률이 89% 증가했다. 고령화와 함께 치매 발생률도 높아지고 있는데다 아직까지 치매 발생의 뚜렷한 원인을 밝혀내지 못하고 있다. 다만, 지금까지 알려진 치매와 관련된 정보는 다음과 같다.
치매 환자의 뇌를 분석해 보면 뇌세포 주변을 따라 아밀로이드 베타라는 단백질이 엉긴 덩어리(플라크)가 일종의 노폐물로 관찰된다는 사실이 대표적인 것이 었다. 이를 기초로 한때 아밀로이드 베타를 제거하는 연구가 활발히 진행되었으나, 치매 해결의 대안으로 자리잡진 못했다. 왜냐하면, 아밀로이드 베타를 제거하더라도 사람의 인지능력이 개선되지 않은 경우가 많았고 플라크(엉긴 덩어리)가 많은 사람이더라도 치매에 걸리지 않은 사람이 많았기 때문이다.
또한, 치매가 초기인 사람들은 전술한 약물에 의한 치료방법 보다는 지속적인 인지 능력 훈련과 인지 자극이 오히려 치매로부터 회복되는 경우가 많다는 것이 보고되었다.
이러한 이유로 신체 활동과 두뇌 자극을 동시에 제공하여 치매를 예방하는 복합 자극 기구나 방법 등이 많이 제안되었으며, 대한민국 공개특허 제2009-0067578호 역시 이러한 기술 중의 하나이다. 이 기술은, 언어나 수리 또는 상식 등과 같은 게임 컨텐츠를 모니터를 통해 이용자에게 제공하고, 이용자가 제공된 컨텐츠의 지시에 따라 특정한 반응행동을 취하면, 그 결과를 이용자에게 피드백하는 방식이다.
이 기술은 다양한 종류의 컨텐츠 게임을 시각적으로 이용자에게 제공해줄 수 있다는 점에서 교육의 집중도를 증진시킬 수 있는 장점은 기대되나, 이용자에 대한 정보 없이 반복적인 테스트 결과를 저장하여 각각의 레벨 단위로 컨텐츠를 제공하는 방식이다.
또한, 대한민국 공개특허 제2009-0067578호 기술은 특정 이용자에게 게임 컨텐츠를 이용하여 두뇌 자극을 제공하도록 하는 방식이기 때문에 개별 치매 환자에게만 국한되어 있다. 즉, 비슷한 치매 상태를 가진 사람들이 협동하는 방식으로 인지 능력 훈련이나 인지 자극을 제공할 수 없는 문제가 있다.
본 발명의 목적은 치매 환자 또는 인지 능력이 낮은 환자에게 시각, 청각 및 물리적 움직임과 함께 인지 훈련 및 인지 자극을 다양한 방식으로 제공할 수 있는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 목적은 복수의 치매 환자 또는 인지 능력이 낮은 환자이 동시에 협동하는 방식으로 인지 훈련 및 인지 자극을 제공받을 수 있는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 목적은 딥러닝에 의한 학습 모델을 통해 플레이어들이 컨텐츠 게임을 플레이하면서 표시영역에 입력한 다양한 터치패턴들을 분석한 후, 터치패턴을 입력하는 객체 또는 플레이어를 정확히 인식할 수 있는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 목적은 컨텐츠 게임을 플레이하는 플레이어의 동작과 표시영역에 입력된 패턴들을 기초로 컨텐츠 게임에서 터치 입력을 제공하는 플레이어들을 구별할 수 있는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 목적은 플레이어에 의해 입력된 터치 정보가 일부 손상되더라도 플레이어의 동작 영상을 고려하여 터치 입력을 제공하는 플레이어를 구별할 수 있는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치를 제공함에 있다.
본 발명의 실시예에 따른 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법은 컨텐츠 게임을 표시하고 상기 컨텐츠 게임에 대한 터치입력을 감지하는 디스플레이 유닛과, 상기 디스플레이 유닛을 제어하는 관리시스템을 포함하는 멀티 인지 훈련 장치에서 제공하는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법으로서, 상기 디스플레이 유닛을 제어하여 상기 컨텐츠 게임을 제공하는 단계; 상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계; 상기 복수의 사용자에 대한 정보를 기초로 상기 복수의 사용자 별 위치를 결정하는 단계; 상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하는 단계; 및 상기 결정된 게임 영역에 대해 상기 컨텐츠 게임을 제공하는 단계;를 포함한다.
또한, 본 발명의 실시예에 따른 수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 장치는, 사용자에게 인지 훈련 또는 인지 자극을 제공하기 위한 컨텐츠 게임들을 표시하는 터치패널과 상기 터치패널이 안착된 플레이트를 구비한 디스플레이 유닛; 상기 디스플레이 유닛을 지지하는 베이스 유닛 및 상기 디스플레이 유닛과 베이스 유닛을 제어하는 관리시스템을 포함하고, 상기 관리시스템은, 터치 정보가 입력되고 컨텐츠 게임을 표시하는 표시부; 컨텐츠 게임들에 관한 정보와 사용자에 대한 정보가 저장된 저장부; 상사용자에게 인지 능력 훈련을 위한 컨텐츠 게임 및 인지 자극 훈련을 위한 컨텐츠 게임을 제공하는 컨텐츠 제공부; 상기 표시부를 통해 입력된 터치 정보에 기초하여 터치 패턴을 인식하는 인식부; 및 상기 인식부에서 인식된 터치 패턴이 복수의 사용자 중 어느 사용자에 의해 입력되는 터치 정보인지를 판단하는 판단부; 를 포함하고, 상기 디스플레이 유닛의 측면 둘레를 따라 배치되어 상기 사용자의 위치 정보를 획득하는 제1 센서부; 상기 디스플레이 유닛의 표시영역과 대응되는 내측에 배치되어 사용자의 얼굴 정보를 획득하는 제2 센서부; 상기 디스플레이 유닛의 터치패널과 플레이트 사이의 비표시영역을 따라 배치되어 사용자의 마커의 위치와 마커에 포함된 정보를 획득하는 제3 센서부; 및 상기 디스플레이 유닛의 상부 공간에는 컨텐츠 게임을 진행하는 복수의 사용자의 움직임 정보를 획득하는 제4 센서부를 중 적어도 하나의 센서부를 포함하고, 상기 판단부는, 상기 센서부에서 획득된 복수의 사용자에 대한 정보를 기초로 상기 복수의 사용자 별 위치를 결정하고, 상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하며, 상기 결정된 게임 영역에 대해 상기 컨텐츠 게임을 제공하는 제어부를 포함한다.
본 발명에 따른 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치는 치매 환자 또는 인지 능력이 낮은 환자에게 시각, 청각 및 물리적 움직임과 함께 인지 훈련 및 인지 자극을 다양한 방식으로 제공할 수 있는 효과가 있다.
또한, 본 발명에 따른 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치는 복수의 치매 환자 또는 인지 능력이 낮은 환자이 동시에 협동하는 방식으로 인지 훈련 및 인지 자극을 제공받을 수 있는 효과가 있다.
또한, 본 발명에 따른 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치는 딥러닝에 의한 학습 모델을 통해 플레이어들이 컨텐츠 게임을 플레이하면서 표시영역에 입력한 다양한 터치패턴들을 분석한 후, 터치패턴을 입력하는 객체 또는 플레이어를 정확히 인식할 수 있는 효과가 있다.
또한, 본 발명에 따른 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치는 컨텐츠 게임을 플레이하는 플레이어의 동작과 표시영역에 입력된 패턴들을 기초로 컨텐츠 게임에서 터치 입력을 제공하는 플레이어들을 구별할 수 있는 효과가 있다.
또한, 본 발명에 따른 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치는 플레이어에 의해 입력된 터치 정보가 일부 손상되더라도 플레이어의 동작 영상을 고려하여 터치 입력을 제공하는 플레이어를 구별할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치를 사용자들이 이용하는 모습을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 구조를 도시한 사시도이다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에 대한 블럭도이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 사용자의 수에 따라 플레이 영역을 제공하는 모습을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 표시부로 입력된 터치 입력을 기초로 사용자 또는 객체를 인식하는 과정을 설명하기 위한 도면이다.
도 6 내지 도 8은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치를 이용하는 사용자와 제공된 컨텐츠 게임에서 사용하는 객체를 인식하는 원리를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에서 사용자의 터치 동작과 컨텐츠의 객체 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 표시영역의 터치 위치를 인식하는 모습을 나타낸 도면이다.
도 11은 표시영역(DA)에 입력되는 터치콘택부(TC)들로 부터 가능한 터치패턴(CP)을 추정한 모습을 도시한 도면이다.
도 12는 터치콘택부(TC)와 같은 터치정보들과 대응되는 터치 ID를 나타낸 도면이다.
도 13은 터치 ID에 대응하는 기능을 표시영역(DA)에서 플레이되는 컨텐츠 게임에 적용한 도면이다.
도 14는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 인식부에 대한 구체적인 구성을 도시한 블럭도이다.
도 15는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 패턴 인식부의 구체적인 구성을 도시한 블럭도이다.
도 16은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 판단부의 구성을 도시한 블럭도이다.
도 17은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에서 플레이어에 입력되는 터치 정보를 기초로 터치패턴을 인식하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 구조를 도시한 사시도이다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에 대한 블럭도이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 사용자의 수에 따라 플레이 영역을 제공하는 모습을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 표시부로 입력된 터치 입력을 기초로 사용자 또는 객체를 인식하는 과정을 설명하기 위한 도면이다.
도 6 내지 도 8은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치를 이용하는 사용자와 제공된 컨텐츠 게임에서 사용하는 객체를 인식하는 원리를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에서 사용자의 터치 동작과 컨텐츠의 객체 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 표시영역의 터치 위치를 인식하는 모습을 나타낸 도면이다.
도 11은 표시영역(DA)에 입력되는 터치콘택부(TC)들로 부터 가능한 터치패턴(CP)을 추정한 모습을 도시한 도면이다.
도 12는 터치콘택부(TC)와 같은 터치정보들과 대응되는 터치 ID를 나타낸 도면이다.
도 13은 터치 ID에 대응하는 기능을 표시영역(DA)에서 플레이되는 컨텐츠 게임에 적용한 도면이다.
도 14는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 인식부에 대한 구체적인 구성을 도시한 블럭도이다.
도 15는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 패턴 인식부의 구체적인 구성을 도시한 블럭도이다.
도 16은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 판단부의 구성을 도시한 블럭도이다.
도 17은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에서 플레이어에 입력되는 터치 정보를 기초로 터치패턴을 인식하는 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치를 사용자들이 이용하는 모습을 나타낸 도면이다. 도 2는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 구조를 도시한 사시도이다.
도 1 및 도 2를 참조하면, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는, 디스플레이 유닛(100a)과 디스플레이 유닛(100a)을 지지하는 베이스 유닛(100b)을 포함한다. 디스플레이 유닛(100a)은 사용자에게 다양한 컨텐츠 게임을 제공하는 표시영역(DA)과 표시영역(DA)의 둘레를 따라 배치된 비표시영역(NDA)을 포함한다. 표시영역(DA)과 대응하는 영역에는 컨텐츠 게임을 표시할 수 있는 디스플레이 패널이 배치될 수 있다. 디스플레이 패널은 액정표시장치(LCD) 또는 유기발광표시장치(OLED)로 구현된 터치스크린패널(TSP: Touch Screen Panel)일 수 있다. 또한, 본 발명의 멀티 인지 훈련 장치(100)는, 퍼스널 컴퓨터, 랩탑, 노트북, 넷북 또는 태블릿, 휴대 정보 단말기(personal digital assistant; PDA), 네비게이션, 가정용 전자기기(home appliance), 영상 처리 장치, 스마트폰, 3D TV 또는 DID(Digital Information Display) 등의 장치내에서 구현될 수 있다. 특히, 본 발명의 각 구성부들은 전술한 장치들 내에 배치되는 프로세서와 메모리 내에서 동작될 수 있다.
비표시영역(NDA)은 사용자를 인식할 수 있는 인식수단들이 배치될 수 있다. 예를 들어, 컨텐츠 게임을 이용하는 이용자의 정보를 확인할 수 있는 복수의 인증패드(N1, N2, N3, N4)가 배치될 수 있다. 인증패드(N1, N2, N3, N4)는 사용자의 고유 식별자 정보가 포함된 카드를 인식하고 인식된 사용자의 정보에 기초하여 맞춤형 컨텐츠 게임을 제공하는 기능을 할 수 있다. 또한, 복수의 사용자에 대해 제1 내지 제4 인증패드(N1, N2, N3, N4)가 서로 다른 정보를 인식하면 이를 기초로 하여 복수의 사용자가 함께할 수 있는 컨텐츠 게임을 추천하거나 제공할 수 있다. 즉, 본 발명의 멀티 인지 훈련 장치(100)는 복수의 사용자 각각에게 요구되는 인지 훈련 컨텐츠 게임 또는 인지 자극 컨텐츠 게임을 제공하거나 복수의 사용자가 함께 플레이를 할 수 있는 컨텐츠 게임을 추천하고 제공할 수 있다.
또한, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 복수의 사용자(P1, P2, P3, P4)가 함께 수행하는 컨텐츠 게임 또는 개별 사용자에 맞는 각각의 컨텐츠 게임을 제공하는 경우, 표시영역(DA)은 제1 내지 제4 게임영역(110a, 110b, 110c, 110d)으로 분할될 수 있다.
복수의 사용자(players: P1, P2, P3, P4)는 각각 자신의 분할된 제1 내지 제4 게임영역(110a, 110b, 110c, 110d)에 마커(M)를 놓고 컨텐츠 게임을 진행할 수 있다. 또한, 표시영역(DA)은 공통표시영역(CDA)을 포함할 수 있다. 공통표시영역(CDA)은 복수의 사용자(players: P1, P2, P3, P4)가 하나의 컨텐츠 게임을 함께 진행할 경우, 복수의 사용자(players: P1, P2, P3, P4) 모두에게 공통으로 적용되는 게임영역일 수 있다. 또한, 복수의 사용자(players: P1, P2, P3, P4)가 개별 컨텐츠 게임을 진행하는 경우, 개별 컨텐츠 게임들에서 공통으로 사용하는 영역일 수 있다.
도 2를 참조하면, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)의 디스플레이 유닛(100a)은 사각형 플레이트 또는 테이블 형태로 구현될 수 있다. 디스플레이 유닛(100a)의 상면은 컨텐츠 게임을 표시하는 표시영역(DA)과 비표시영역(NDA)을 포함한다. 또한, 디스플레이 유닛(100a)의 네 측면에는 각각 복수의 센서들이 일정한 간격으로 배치된 제1 센서부(130a)가 배치될 수 있다. 제1 센서부(130a)는 컨텐츠 게임을 플레이하기 위한 사용자의 위치 정보를 획득하는 기능을 한다. 따라서, 제1 센서부(130a)를 구성하는 센서들은 초음파 센서, 적외선 센서, 라이다(LIDAR) 센서, 레이더 센서(RADAR) 및 카메라 센서 중 어느 하나 또는 적어도 하나 이상 혼합된 센서들일 수 있다.
디스플레이 유닛(100a)의 표시영역(DA)에는 사용자(플레이어들)의 얼굴 정보(안면 정보)를 획득할 수 있는 제2 센서부(130b)가 배치될 수 있다. 도면에는 사각형 구조의 디스플레이 유닛(100a)의 각 모서리와 대응되는 영역에 4개의 센서들을 배치하였지만, 이것은 컨텐츠 게임을 진행하는 복수의 사용자 수에 따라 가변될 수 있다. 예를 들어, 6명의 플레이어가 컨텐츠 게임을 진행할 경우 제2 센서부(130b)를 구성하는 센서들은 6개 이상으로 구성될 수 있다.
디스플레이 유닛(100a)의 비표시영역(NDA)은 각 모서리와 대응되는 상면에 제3 센서부(130c)가 배치될 수 있다. 제3 센서부(130c)는 사용자의 고유 식별자 정보를 포함하는 ID 카드가 놓이면 사용자(플레이어)의 ID 카드에 대한 정보를 획득하여 컨텐츠 게임을 제공하거나 ID 카드의 개수에 따라 컨텐츠 게임을 진행할 플레이 영역을 분할하는데 활용될 수 있다. 또한, 제3 센서부(130c)는 플레이어의 ID 카드가 놓인 상태를 기초로 현재 제공되는 컨텐츠 게임을 진행하는 플레이어의 존재 유무를 인식하는 역할을 할 수 있다. 특히, 제3 센서부(130c) 영역은 표시영역(DA)과 일부가 중첩될 수 있다.
디스플레이 유닛(100a)의 비표시영역(NDA)은 제1 내지 제4 인증패드(N1, N2, N3, N4)가 배치될 수 있다. 도면에서는 디스플레이 유닛(100a)의 네 모서리 영역에 각각 배치되어 있지만, 이것은 고정된 것이 아니다. 특히, 제1 내지 제4 인증패드(N1, N2, N3, N4)에 접속된 제어부에 의해 순차적으로 사용자 마커(M)가 인증패드에 접촉되더라도 각각의 사용자에 대한 고유 식별자 정보를 포함한 정보들을 획들 할 수 있는 경우에는 하나의 인증패드(N)만 배치할 수 있다.
또한, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 디스플레이 유닛(100a)의 상측 공간에 제4 센서부(130d)가 배치될 수 있다. 제4 센서부(130d)는 컨텐츠 게임을 플레이하는 플레이어들의 피사체 정보를 지속적으로 획득하여 컨텐츠 게임에 반영하거나 플레이어(사용자)의 움직임 정보를 획득하여 플레이어의 인지 능력을 판단하는 정보로 이용할 수 있다. 제4 센서부(130d)를 구성하는 센서는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Semiconductor)로 구성될 수 있다.
베이스 유닛(100b)은 디스플레이 유닛(100a)을 지지하고 디스플레이 유닛(100a)을 상하 이동, 회전 이동 및 틸트 이동시킬 수 있는 제1 지지부(120)와, 제1 지지부(120) 하측에 배치되어 지면과 접촉하는 제2 지지부(121)를 포함한다. 제1 지지부(120)의 내측에는 후술할 멀티 인지 훈련 장치(100)의 동작을 제어하는 구성부들이 배치될 수 있다. 또한, 제2 지지부(121)는 제1 지지부(120)와 결합되면서 디스플레이 유닛(100a)과 제1 지지부(120)의 하중을 분산할 수 있도록 복수의 브릿지부를 포함할 수 있다. 각 브릿지부에는 도면에 도시된 바와 같이, 이동수단(123)이 배치될 수 있다.
또한, 도 1 및 도 2에는 구체적으로 도시하지 않았지만, 디스플레이 유닛(100a)은 제1 지지부(120)에 의해 수평 방향으로 배치되거나수직한 경사 방향으로 배치될 수 있다. 따라서, 제1 지지부(120)는 디스플레이 유닛(100a)의 배면과 결합되어 상하 방향으로 이동할 수 있는 샤프트가 배치될 수 있다. 샤프트는 구동부에서 제공되는 동력에 의해 상하 방향으로 업(up)/다운(down) 동작을 할 수 있고, 샤프트의 업(up)/다운(down) 동작에 대응하여 디스플레이 유닛(100a)은 지면에 수직한 방향으로 세워지거나 지면에 대해 소정의 각도를 갖도록 경사지게 배치될 수 있다.
이와 같이, 디스플레이 유닛(100a)이 세워지거나 경사지게 배치되는 경우, 플레이어들이 디스플레이 유닛(100a)을 사이에 두고 양측에 위치하여 진행하는 컨텐츠 게임에 이용될 수 있다.
또한, 디스플레이 유닛(100a)은 컨텐츠 게임을 진행하는 과정에서 플레이어들에게 생생한 현장감을 제공할 수 있는 이벤트 제공부가 배치될 수 있다. 이벤트 제공부는 복수의 에어 노즐 또는 진동 모션 또는 지능형 스피커로 구성될 수 있다.
이와 같이, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 치매 환자 또는 인지 능력이 낮은 환자에게 시각, 청각 및 물리적 움직임과 함께 인지 훈련 및 인지 자극을 다양한 방식으로 제공할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 복수의 치매 환자 또는 인지 능력이 낮은 환자이 동시에 협동하는 방식으로 인지 훈련 및 인지 자극을 제공받을 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 딥러닝에 의한 학습 모델을 통해 플레이어들이 컨텐츠 게임을 플레이하면서 표시영역에 입력한 다양한 터치패턴들을 분석한 후, 터치패턴을 입력하는 객체 또는 플레이어를 정확히 인식할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 컨텐츠 게임을 플레이하는 플레이어의 동작과 표시영역에 입력된 패턴들을 기초로 컨텐츠 게임에서 터치 입력을 제공하는 플레이어들을 구별할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 플레이어에 의해 입력된 터치 정보가 일부 손상되더라도 플레이어의 동작 영상을 고려하여 터치 입력을 제공하는 플레이어를 구별할 수 있는 효과가 있다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에 대한 블럭도이다. 도 4a 내지 도 4d는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 사용자의 수에 따라 플레이 영역을 제공하는 모습을 나타낸 도면이다. 도 5는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 표시부로 입력된 터치 입력을 기초로 사용자 또는 객체를 인식하는 과정을 설명하기 위한 도면이다. 도 6 내지 도 8은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치를 이용하는 사용자와 제공된 컨텐츠 게임에서 사용하는 객체를 인식하는 원리를 설명하기 위한 도면이다. 도 9는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에서 사용자의 터치 동작과 컨텐츠의 객체 동작을 설명하기 위한 도면이다. 도 10은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 표시영역의 터치 위치를 인식하는 모습을 나타낸 도면이다. 도 11은 표시영역(DA)에 입력되는 터치콘택부(TC)들로 부터 가능한 터치패턴(CP)을 추정한 모습을 도시한 도면이고, 도 12는 터치콘택부(TC)와 같은 터치정보들과 대응되는 터치 ID를 나타낸 도면이며, 도 13은 터치 ID에 대응하는 기능을 표시영역(DA)에서 플레이되는 컨텐츠 게임에 적용한 도면이다.
도 2와 함께 도 3 내지 도 13을 참고하면, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 디스플레이 유닛(100a)과 베이스 유닛(100b)을 포함한다.
본 발명의 멀티 인지 훈련 장치(100)는 사용자에게 맞춤형 컨텐츠 게임을 제공하기 위해 플레이를 진행하는 사용자들을 인식하거나 컨텐츠 게임에서 사용하는 도구들을 인식할 수 있다. 또한, 본 발명의 멀티 인지 훈련 장치(100)는 복수의 사용자에 대한 인지 능력 정도에 따라 각각 맞춤형 인지 훈련 또는 인지 자극 컨텐츠 게임을 제공할 수 있다. 멀티 인지 훈련 장치(100)는 제1 내지 제4 센서부(130a, 130b, 130c, 130d), 입력부(301), 저장부(302), 구동부(303), 컨텐츠 제공부(304), 제어부(305), 인식부(306), 판단부(307) 및 표시부(308)를 포함하는 관리시스템에 의해 동작될 수 있다.
전술한 바와 같이, 제1 센서부(130a)는 인지 능력 훈련을 위한 사용자와 멀티 인지 훈련 장치(100)와의 거리 및 위치 정보를 획득하고, 제2 센서부(130b)는 사용자가 컨텐츠 게임을 플레이하기 위해 자신의 자리에 위치한 상태에서 플레이하기 전후 안면(얼굴) 정보를 획득하며, 제3 센서부(130c)는 사용자의 정보를 포함하는 ID 카드 또는 객체 정보를 포함하는 카드를 포함하는 마커(M)의 위치와 마커(M)의 정보를 획득하고, 제4 센서부(130d)는 컨텐츠 게임을 플레이하는 플레이어들(사용자들)의 움직임 정보를 획득한다.
특히, 제2 센서부(130b)와 제4 센서부(130d)는 컬러 영상 센서와 깊이 영상 센서를 포함하는 카메라를 포함할 수 있다. 일부 구현예에서 깊이 영상 센서는 장면의 깊이 정보를 예를 들어 [mm] 단위의 16비트의 정수형으로 표현한 깊이 영상을 제공할 수 있다. 깊이 정보를 표현하기 위한 비트수는 16비트에 제한되는 것은 아니고 변경될 수 있으며, 또한 정수형으로 한정되지 않고 실수형으로 제공될 수 있다. 깊이 영상 센서는 적외선 등을 이용하여 카메라로부터 객체 및 배경까지의 거리를 측정하여 거리에 비례 또는 반비례하는 값을 갖는 깊이 영상을 제공할 수 있다.
깊이 영상의 화소 값은 예를 들어, RGB의 색상 정보가 아닌 일 예로 [mm] 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.
컬러 영상 센서는 컬러 영상을 획득하는 장치로서, 예를 들어, CMOS(Complementary Metal-Oxide-Semiconductor) 영상 센서, CCD(Charge-Coupled Device) 영상 센서 또는 스테레오 카메라 등일 수 있다. 깊이 센서는 키넥트(kinect), TOF(time-of-flight) 깊이 카메라 또는 광 3D 스캐너 등일 수 있다.
입력부(301)는 표시부(308)를 통해 터치 정보가 입력될 수 있으므로 터치스크린패널을 포함할 수 있다. 따라서, 입력부(301)는 제1 내지 제4 센서부(130a, 130b, 130c, 130d) 및 표시부(308)를 통해 제공되는 정보와 사용자에 대한 사전 정보 및 컨텐츠 게임과 관련된 정보(패턴 정보)가 제공될 수 있다. 또한, 입력부(301)는 표시부(308)와 일체로 구현될 수 있다.
저장부(302)는 컨텐츠 게임들에 관한 정보와 사용자에 대한 정보를 포함할 수 있다. 예를 들어, 사용자가 사전 치매 정도를 알아보기 위해 테스트를 진행한 경우, 그에 대한 결과 정보가 저장될 수 있다. 컨텐츠 게임들에 관한 정보는 각 게임에서 플레이되는 캐릭터들에 관한 정보, 각 게임에서 진행할 수 있는 동작들에 관한 정보를 포함할 수 있다. 저장부(302)는 HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치를 포함할 수 있다. 또한, 저장부(302)는 컴퓨터 판독가능 명령들 또는 프로세서 판독가능 명령들과 같은 명령들(예를 들어, 실행가능 명령들)을 포함한다. 명령들은 하나 이상의 프로세서들 각각에 의해서와 같이 컴퓨터에 의해 실행가능한 하나 이상의 명령어들을 포함할 수도 있다.
예를 들어 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 깊이 영상의 움직임 벡터를 결정하고 깊이 영상을 부호화하기 위해 깊이 영상을 프로세싱하는 것을 포함하는 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.
구동부(303)는 전술한 바와 같이, 멀티 인지 훈련 장치(100)를 구성하는 디스플레이 유닛(100a)을 물리적으로 움직이도록 하거나 제1 내지 제4 센서부(130a, 130b, 130c, 130d)를 구성하는 센서들의 움직이도록 동력을 제공할 수 있다.
컨텐츠 제공부(304)는 인지 능력 훈련을 위해 마련된 컨텐츠 게임들과 인지 자극을 위해 마련된 컨텐츠 게임들을 제공할 수 있다.
인식부(306)는 표시부(308)로부터 제공되는 터치 정보에 기초하여 터치 패턴들을 인식하고 분석한 후, 분석된 패턴에 대응하는 객체를 인식할 수 있다. 또한, 인식부(306)는 객체에 배치된 마커의 터치 정보뿐만 아니라 플레이어가 제공하는 터치 정보를 인식할 수 있다.
판단부(307)는 표시부(308)를 통해 인식된 패턴들과 패턴들에 대응하는 객체 정보를 획득하거나 인식된 패턴들이지만 현재 진행하는 컨텐츠 게임과는 무관한 패턴들을 필터링 할 수 있다. 이와 같이, 선별된 객체 인식 정보와 표시부(308)를 통해 플레이어로부터 제공되는 터치 정보를 조합하여 어떤 객체에 대한 어떤 명령인지를 최종적으로 판단할 수 있다.
또한, 인식부(306)와 판단부(307)는 컨텐츠 게임을 진행할 사용자들의 수, 사용자들에 대한 정보로부터 제공할 컨텐츠 게임들을 판단할 수 있다. 예를 들어, 복수의 사용자가 멀티 인지 훈련 장치(100)에 인증된 경우, 각 사용자의 정보를 토대로 개별 맞춤형 컨텐츠 게임을 제공하거나 복수의 사용자가 함께 진행할 수 있는 컨텐츠 게임을 제공할 수 있다.
또한, 인식부(306)와 판단부(307)는 인증된 복수의 사용자와 대응되도록 디스플레이 영역(DA)을 복수의 영역으로 분할한 후, 각각의 사용자에게 게임 영역을 제공할 수 있다. 이때, 단순히 인증패드들을 통해 사용자의 마커가 인증된 경우에만 디스플레이 영역(DA)을 분할하지 않고 전술한 제1 내지 제4 센서부(130a, 130b, 130c, 130d)를 통해 입력된 정보를 종합하여 분할한다.
특히, 본 발명의 멀티 인지 훈련 장치(100)는 복수의 사용자가 컨텐츠 게임을 진행할 때, 디스플레이 유닛(100a)의 둘레를 따라 이동해야하는 경우, 제2 센서부(130b)와 제4 센서부(130d)를 이용하여 복수의 사용자(플레이어)를 각각 개별적으로 인식하고 그 위치를 추적할 수 있다. 이와 같이, 제2 센서부(130b)와 제4 센서부(130d)에 의해 제공되는 영상에 기초하여 플레이어가 인식되고 추적되는 경우 최초 컨텐츠 게임을 시작할 때, 각 플레이어에게 설정된 분할된 게임 영역은 표시영역(DA)의 가장자리를 따라 해당 플레이어의 위치로 이동할 수 있다.
따라서, 플레이어는 컨텐츠 게임을 진행하는 과정에서 이동이 있는 경우 다시 최초 설정된 자신의 분할 게임 영역으로 복귀할 필요가 없다. 만약, 복수의 사용자(플레이어)들에게 설정된 분할 게임 영역이 서로 겹치는 경우에는 제1 센서부(130a)의 초음파 센서 정보를 이용하여 가장 근접한 영역으로 플레이어의 게임 영역을 기준으로 바로 인접한 영역에 게임 영역을 위치시킬 수 있다. 예를 들어, 제2 플레이어가 컨텐츠 게임을 진행하는 과정에서 제4 플레이어의 위치에 있는 경우 제4 플레이어의 게임 영역과 겹치지 않도록 제4 플레이어의 게임 영역의 인접 영역에 위치시켜 다음 플레이를 진행할 수 있도록 한다.
전술한 바와 같이, 입력부(301)는 표시부(308)와 일체로 형성될 수 있기 때문에 제어부(305), 저장부(302), 구동부(303), 컨텐츠 제공부(304), 인식부(306), 판단부(307)는 멀티 인지 훈련 장치(100)의 베이스 유닛(100b)에 배치될 수 있다.
도 4a 내지 도 4d를 참조하면, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 컨텐츠 게임을 이용하는 사용자의 수와 대응되도록 표시영역(DA)을 복수의 분할된 게임 영역으로 분할할 수 있다.
컨텐츠 게임을 통해 인지 능력 훈련을 진행하거나 인지 자극 훈련을 수행할 사용자가 2명인 경우에는 도 4a에 도시한 바와 같이, 디스플레이 영역(DA)은 A1 게임 영역과 A2 게임 영역으로 분할된다. 2명의 사용자는 분할된 게임 영역(A1, A2)에서 서로 다른 컨텐츠 게임을 진행하거나 하나의 컨텐츠 게임을 동시에 자신의 게임 영역에서 진행할 수 있다.
전술한 바와 같이, 하나의 컨텐츠 게임을 함께 진행하는 협동 게임이거나 경쟁 게임인 경우에는 사용자가 게임을 진행하면서 디스플레이 유닛(100a)의 둘레를 따라 이동할 수 있다. 본 발명의 멀티 인지 훈련 장치(100)는 분할된 게임 영역(A1, A2)이 사용자를 인식하고 추적하여 현재 플레이어의 위치와 대응되는 위치에 게임 영역을 이동시킬 수 있다. 따라서, 컨텐츠 게임을 진행하는 플레이어(사용자)는 최초 설정된 자신의 분할 게임 영역(A1, A2)으로 복귀하지 않고 이동 위치에서 다음 플레이를 진행할 수 있다.
컨텐츠 게임을 통해 인지 능력 훈련을 진행하거나 인지 자극 훈련을 수행할 사용자가 3명인 경우에는 도 4b에 도시한 바와 같이, 디스플레이 영역(DA)은 A1 영역, A2 게임 영역 및 A3 게임 영역으로 분할된다. 컨텐츠 게임을 통해 인지 능력 훈련을 진행하거나 인지 자극 훈련을 수행할 사용자가 4명인 경우에는 도 4c에 도시한 바와 같이, 디스플레이 영역(DA)은 A1 게임 영역, A2 게임 영역, A3 게임 영역 및 A4 게임 영역으로 분할된다. 컨텐츠 게임을 통해 인지 능력 훈련을 진행하거나 인지 자극 훈련을 수행할 사용자가 5명인 경우에는 도 4d에 도시한 바와 같이, 디스플레이 영역(DA)은 A1 게임 영역, A2 게임 영역, A3 게임 영역, A4 게임 영역 및 A5 게임 영역으로 분할된다.
또한, 전술한 바와 같이, 하나의 컨텐츠 게임을 3명, 4명, 5명이 함께 진행하는 협동 게임이거나 경쟁 게임인 경우에는 사용자들이 게임을 진행하면서 이동할 경우, 분할된 게임 영역(A1, A2, A3, A4, A5)들은 사용자들의 이동 방향을 추적하여 이동할 수 있다. 따라서, 컨텐츠 게임을 진행하는 플레이어(사용자)들은 최초 설정되거나 이전에 위치한 게임 영역으로 복귀함이 없이 플레이를 진행한 위치에서 다음 플레이를 연속적으로 진행할 수 있다.
본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 컨텐츠 게임에서 사용하는 도구나 사용자(플레이어)를 식별할 수 있는 마커(M)와 같은 객체를 인식할 수 있다.
도 5는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치가 사용자의 마커 또는 게임에 사용하는 도구를 인식하는 방법을 설명하기 위한 도면이다. 사용자 마커 또는 도구 마커는 물리적 객체로 구성된다. 즉, 사용자의 신체 일부에 대한 인식이 아니라 객체에 대한 인식으로 볼 수 있다.
따라서, 사용자 마커(M)와 도구에 부착된 마커(M)는 디스플레이 유닛(100a)에 터치 정보를 제공할 수 있는 터치 포인트(TP)를 포함한다. 각각의 마커(M)마다 터치 포인트(TP)의 크기, 터치 포인트(TP)의 위치 및 터치 포인트(TP)의 개수가 상이할 수 있다.
도 5의 (a)를 참조하면, 마커(M)에는 터치 포인트(TP)가 세개 배치되고 각 터치 포인트(TP)를 연결할 경우, 터치 포인트(TP)들에 의해 구현되는 삼각형 터치패턴(CP)을 획득할 수 있다. 또한, 3개의 터치 포인트(TP)에 대한 각각의 면적을 모두 동일하게 하거나 적어도 하나 이상을 다르게 할 수 있다. 도면에 도시된 바와 같이, 터치 포인트(TP)가 점유하는 면적을 터치면적(TA), 터치 포인트(TP)들의 연결에 의해 형성되는 터치패턴(CP), 터치패턴(CP)의 면적을 패턴면적(PA), 각 터치 포인트(TP)에 대한 방향 정보에 관련된 터치포인트의 방향(TD)을 정의한다.
본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 마커(M)에 배치된 터치포인트(TP)들을 분석하여 각 마커(M)가 제공하는 정보를 획득할 수 있다. 예를 들어, 하나의 마커(M)에 배치된 터치 포인트(TP)를 이용하여 터치패턴(CP)이 삼각형, 사각형, 오각형인지에 대한 도형 정보를 획득할 수 있다. 즉, 본 발명의 멀티 인지 훈련 장치(100)는 터치패턴(CP)을 구성하는 도형의 크기와 모양에 대한 정보를 획득할 수 있다. 또한, 각 터치 포인트(TP)에 대한 터치면적(TA)에 관한 정보를 획득할 수 있다. 또한, 터치패턴(CP)을 구성하는 도형에 대해 각 꼭지점과 대응되는 터치 포인트(TP)의 방향에 대한 정보를 획득할 수 있다. 예를 들어, 도 5의 (a)의 삼각형에서 중앙에 가상의 서로 수직한 방향 좌표축을 형성하면 상측 꼭지점은 북쪽(N), 좌하측 터치 포인트(TP)는 남서쪽(SW), 우하측 터치포인트(TP)는 남동쪽(SE)과 같이 터치포인트의 방향(TD) 정보를 획득할 수 있다.
이와 같이, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치는 마커에 배치된 터치포인트들(TP)에 의해 제공되는 다양한 정보에 기초하여 각각의 마커(M)를 구별할 수 있다.
또한, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치는 마커에 배치되는 터치포인트들(TP)의 터치면적, 터치포인트(TP)들에 의해 형성되는 터치패턴(CP), 터치패턴(CP)의 각 꼭지점에 위치한 터치포인트(TP)의 방향 정보와 이들 정보의 조합하여 복수의 마커들을 서로 구분할 수 있다.
도 6은 멀티 인지 훈련 장치(100)가 제공하는 컨텐츠 게임을 이용하는 사용자의 마커(M)를 인식하는 원리를 설명한다. 인지 능력 훈련을 위한 컨텐츠 게임 또는 인지 자극을 위한 컨텐츠 게임을 수행하는 사용자들에게는 게임 내에서 서로 다른 플레이어로 인식될 수 있도록 서로 다른 정보를 포함하는 마커(M)들이 지급된다. 마커(M)는 전술한 멀티 인지 훈련 장치(100)의 인증패드(N1, N2, N3, N4)에 의해 인식되거나 디스플레이 유닛(100a)의 마커인식부에서 인식될 수 있다. 전술한 바와 같이, 복수의 사용자에게 각각 지급된 마커(M)는 각각 서로 다른 개수와 모양으로된 터치포인트(TP)들로 구성될 수 있다.
도 6의 (a) 내지 (e)에 도시된 바와 같이, 제1 마커(M1)와 제2 마커(M2)는 동일한 개수의 터치포인트(TP)가 배치되어 있다. 하지만, 제1 마커(M1)는 터치포인트(TP)의 위치가 제1 마커(M1)의 모서리에 배치된 터치포인트(TP)를 중심으로 인접한 모서리 영역에 각각 터치포인트(TP)가 배치된 구조이고, 제2 마커(M2)는 제2 마커(M2)의 양측 모서리와 중앙에 각각 터치포인트(TP)가 배치된 구조이다. 따라서, 제1 마커(M1)와 제2 마커(M2)는 터치포인트(TP)의 위치가 다르고 각 마커에 배치된 터치포인트(TP)를 기초로 터치패턴(CP)의 모양(도형 모양)도 달라진다. 이러한 정보를 기초로 본 발명의 멀티 인지 훈련 장치(100)는 제1 마커(M1)와 제2 마커(M2)를 구별한다.
도면에서는 세개의 터치포인트(TP)가 배치된 제1 및 제2 마커(M1, M2) 만이 도시되어 있지만, 세개의 터치포인트(TP)로 구성된 복수의 마커(M)들이 형성될 수 있다. 세개의 터치포인트(TP)들로 구성된 마커(M)가 복수개일 경우에는 터치포인트(TP)의 위치와 터치패널(CP)의 모양만으로 정확히 구분하기 어려울 경우가 있다. 이러한 경우에는 각 마커(M)에 배치되는 터치포인트(TP)들의 각각에 대한 터치면적(TA)을 서로 다르게 하거나 세개의 터치포인트(TP) 중 어느 하나 또는 둘을 서로 다른 형태의 터치포인트(TP)로 구현할 수 있다. 예를 들어, 세걔의 터치포인트(TP) 중 하나는 원, 나머지 둘은 각각 타원 또는 삼각형(또는 사각형 구조)으로 형성할 수 있다.
도 6의 (c) 및 (d)를 참조하면, 제3 마커(M3)와 제4 마커(M4)에는 4개의 터치포인트(TP)가 배치되어 있다. 제3 마커(M3)의 터치포인트(TP)는 제3 마커(M3)의 4 모서리에 각각 배치되어 있고, 제4 마커(M4)의 터치포인트(TP)는 제4 마커(M4)의 일측변의 양측 모서리에 2개의 터치포인트(TP)가 배치되고 일측변과 마주하는 타측변의 양측 모서리 사이에 2개의 터치포인트(TP)가 배치되어 있다. 따라서, 제3 마커(M3)의 터치포인트(TP)들에 의해 형성되는 터치패턴(CP)은 제3 마커(M3)의 모양과 동일한 사각형 패턴이고 제4 마커(M4)의 터치포인트(TP)들에 의해 형성되는 터치패턴(CP)은 사다리꼴 모양을 갖는다. 즉, 제3 마커(M3)와 제4 마커(M4)에 배치되는 터치포인트(TP)의 개수는 동일하지만 터치패턴(CP)의 모양이 다르기 때문에 두 마커(M3, M4)는 서로 다른 마커로 인식될 수 있다. 전술한 바와 같이, 4개의 터치포인트(TP)로 구성된 마커(M)가 복수개일 경우에는 4개의 터치포인트(TP)의 터치면적(TA)을 각각 다르게 형성하거나 각각의 터치포인트(TP)에 대한 위치 좌표 정보를 조합하여 마커(M)들이 서로 다르게 인식될 수 있도록 할 수 있다.
도 6의 (e)의 제5 마커(M5)는 5개의 터치포인트(TP)를 구비하고 있고, 이들 터치포인트(TP)에 의해 형성되는 터치패턴(CP)은 오각형 구조를 갖는다. 따라서, (a) 내지 (d)의 제1 내지 제4 마커(M1, M2, M3, M4)들과 터치패턴(CP)의 모양이 다르기 때문에 구별될 수 있다. 전술한 바와 같이, 5개의 터치포인트(TP)로 구성된 마커(M)가 복수개일 겨우에는 5개의 터치포인트(TP)의 터치면적(TA)을 각각 다르게 형성하거나 각각의 터치포인트(TP)에 대한 위치 좌표 정보를 조합하여 마커(M)들이 서로 다르게 인식될 수 있도록 할 수 있다.
도 7에 도시된 바와 같이, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 제공된 컨텐츠 게임이 체스 게임인 경우, 체스 게임에서 사용되는 도구(말)들이 어떤 도구인지를 인식할 수 있다. 즉, 체스 게임의 말들에는 각각 마커(M)가 부착될 수 있고, 마커(M)에는 말들 각각을 구분할 수 있도록 터치포인트(TP)의 개수 또는 터치포인트(TP)들로 이루어진 터치패턴(CP)의 모양을 다르게 설정할 수 있다.
체스 게임은 킹, 퀸, 비숍, 나이트, 룩, 폰으로 구성된 말들이 64개의 칸의 양측에 각각 배치되어 상대 킹을 잡는 방식으로 이루어진다. 따라서, 멀티 인지 훈련 장치(100)가 말들을 인식할 수 있어야 플레이어의 플레이에 의해 체스 게임을 진행할 수 있다. (a) 내지 (d)에서는 체스에 사용되는 킹, 퀸, 비숍 및 나이트의 하측에 마커(M)를 부착하여 말(도구)의 종류를 인식하도록 하였다. 킹에 부착된 마커(M)에는 터치포인트(TP)가 3개 배치되어 있고, 이들은 삼각형의 터치패턴(CP)을 형성한다. 퀸에 부착된 마커(M)에는 터치포인트(TP)가 4개 배치되어 있고, 이들은 (a)와 같이 삼각형 터치패턴(CP)의 구조로 형성되지만 중앙에 터치포인트(TP)가 추가로 배치되어 킹의 마커(M)와 구별될 수 있다. 전술한 바와 같이, 마커(M)의 인식은 터치포인트(TP)의 개수, 터치포인트(TP)들에 의해 형성되는 터치패턴(CP), 각 터치포인트(TP)의 면적(모양) 및 터치패턴(CP)의 면적 등이 조합하여 인식되기 때문에 터치포인트(TP)의 개수가 같더라도 서로 다른 마커(M)로 인식할 수 있다.
도 8은 컨텐츠 게임이 두더지 게임과 같이, 플레이어가 뿅 망치(도구)를 이용하는 경우에 뿅 망치의 양측 가장자리면에 마커(M)를 부착하여 플레이어(Player1, Player2, Player3, Player4)를 구별할 수 있다.
제1 플레이어(player1)가 갖는 뿅 망치의 마커(M)에는 3개의 터치포인트(TP)가 배치되어 있고, 제2 플레이어(player2)가 갖는 뿅 망치의 마커(M)에는 4개의 터치포인트(TP)가 배치되며, 제3 플레이어(player3)가 갖는 뿅 망치의 마커(M)에는 4개의 터치포인트(TP)가 배치되고, 제4 플레이어(player4)가 갖는 뿅 망치의 마커(M)에는 5개의 터치포인트(TP)가 배치된다. 도 7에서 설명한 바와 같이, 각 플레이어가 갖는 뿅 망치는 터치포인트(TP)의 개수, 터치포인트(TP)들에 의해 형성되는 터치패턴(CP), 각 터치포인트(TP)의 면적(모양) 및 터치패턴(CP)의 면적 등에 관한 정보를 조합하여 인식될 수 있다.
특히, 도 8과 같이 두더지 게임은 플레이어들 각각이 자신의 뿅 망치를 들고 두더지들이 표시되는 표시영역(DA)을 터치함으로써 진행되기 때문에 마커(M)에 배치된 터치포인트(TP)에 대한 정보와 멀티 인지 훈련 장치(100)에 배치된 제4 센서부(130d)에 의해 획득된 플레이어의 움직임 정보를 함께 이용할 수 있다.
즉, 뿅 망치에 배치된 마커(M)에는 터치포인트(TP)가 배치되어 있고, 뿅 망치의 마커(M)가 플레이어의 동작에 의해 표시영역(DA)과 접촉되면 터치포인트(TP)를 포함한 마커(M) 정보를 표시부(308)가 획득한다. 이때, 복수의 플레이어(player1, player2, player3, player4)들이 동시에 뿅 망치를 사용하는 경우, 보다 정확한 게임 결과 정보를 획득하기 위해 플레이어들의 움직임 정보를 추가적으로 고려할 수 있다.
예를 들어, 표시영역(DA)에서 뿅 망치로 터트려야할 풍선 또는 가격해야할 두더지들이 있고, 이들이 각각의 플레이어들(player1, player2, player3, player4)과 대응되도록 구분되어 있다면(색깔, 모양 등), 풍선 또는 두더지에 접촉되는(터치되는) 뿅 망치(플레이어)를 정확하게 구분할 수 있어여 게임 진행 및 게임 결과를 보여줄수 있다. 따라서, 특정 영역의 풍선 또는 두더지에 다수의 뿅 망치가 접촉(터치)한 경우, 뿅 망치와 풍선 또는 두더지와의 매칭을 정확하게 구분할 수 있도록 본 발명의 멀티 인지 훈련 장치(100)는 제4 센서부(130d)에 의한 플레이어의 움직임 정보를 추가적으로 고려한다. 이와 관련해서는 도 15에서 보다 구체적으로 설명한다.
도 9는 컨텐츠 게임을 진행할 때, 사용자(플레이어)의 손가락 터치 정보를 사용하는 경우, 손가락에 대한 터치 정보와 그에 대한 컨텐츠 게임에서의 기능을 설명하기 위한 도면이다. 사용자(플레이어)는 (a)와 같이 검지 손가락으로 컨텐츠 게임의 캐릭터 또는 객체를 핑거터치(FT)를 하는 경우, 본 발명의 멀티 인지 훈련 장치(100)는 터치된 캐릭터 또는 객체를 선택하는 것으로 인식하고 설정된 기능을 하도록 할 수 있다.
(b)와 같이 검지와 중지를 이용하여 제1 및 제2 핑거터치(FT1, FT2)를 하는 경우, 본 발명의 멀티 인지 훈련 장치(100)는 컨텐츠 게임에서 터치된 캐릭터 또는 객체의 크기를 조절하는 것으로 인식하고 기능하도록 할 수 있다. (c)와 같이 검지, 중지 및 약지(또는 엄지, 검지 및 중지)로 제1 내지 제3 핑거터치(FT1, FT2, FT3)를 하는 경우, 본 발명의 멀티 인지 훈련 장치(100)는 터치된 캐릭터 또는 객체를 이동하는 것으로 인식하고 기능하도록 할 수 있다.
(d)와 같이, 검지, 중지, 약지 및 새끼손가락(또는 엄지, 검지, 중지 및 약지)을 이용하여 제1 내지 제4 핑거터치(FT1, FT2, FT3, FT4)를 하는 경우, 본 발명의 멀티 인지 훈련 장치(100)는 컨텐츠 게임에서 터치된 캐릭터 또는 객체를 회전하는 것으로 인식하고 기능하도록 할 수 있다.
도 10의 (a)는 표시영역(DA)에 터치되는 터치부분을 위치 좌표 형태로 인식하는 것이고, (b)는 마커(M)와 같이 터치포인트(TP)들이 배치된 경우에는 해당 터치포인트(TP)에 대해 ①번, ②번, ③번을 지정하여 하나의 터치 ID로 인식하는 것이며, (c)는 전술한 바와 같이, 마커(M)에 배치된 터치포인트(TP)의 면적 또는 모양을 다르게 하는 경우와 사람의 손가락에 의한 핑거터치(FT)로 인한 면적을 인식하는 것을 나타낸다.
표시영역(DA)에 터치포인트(TP) 또는 손가락에 의한 터치가 입력되는 경우, 해당 터치 부분에 대해 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 표시영역(DA)의 가로축(X 좌표)과 세로축(Y 좌표)로 이루어진 터치 좌표를 계산한다. 따라서, 본 발명의 멀티 인지 훈련 장치(100)는 표시영역(DA)에 터치 입력이 제공되는 경우, 터치 부분에 대한 위치 좌표를 인식한다.
또한, (b)는 표시영역(DA)에 같은 개수의 터치포인트(TP) 또는 서로 다른 개수의 터치포인트(TP)를 갖는 복수의 마커(M)들 또는 손가락에 의한 핑거터치(FT)가 입력되는 경우, 해당 터치콘택부에 대해 ①번, ②번, ③번과 같이 넘버링을 하여 터치패턴(CP) 등의 정보를 획득할 수 있다. 즉, 터치콘택부들로 구성된 터치패턴(CP)에 대해 모양, 크기, 각 터치콘택부의 위치 정보에 기초하여 터치 ID를 설정할 수 있다.
또한, (c)에서와 같이, 마커(M)에 배치된 터치포인트(TP)들과 손가락에 의한 핑거터치(FT)들에 의해 표시영역(DA)에서 인식되는 터치면적(TA)을 기반으로 표시영역(DA)에 터치되는 객체 등을 식별하도록 할 수 있다.
예를 들어, 터치포인트(TP)들이 배치된 마커(M) 또는 손가락에 의한 핑거터치(FT)가 표시영역(DA)을 통해 입력되면 본 발명의 멀티 인지 훈련 장치(100)는 각 터치콘택부에 대한 위치 좌표(x, y)를 인식한다. 컨텐츠 게임을 복수의 사용자가 진행할 경우, 표시영역(DA)에는 많은 터치콘택부(터치포인트 또는 손가락에 의한 터치 등)들이 인식되는데, 이러한 터치정보들 중 유효한 터치정보만을 필터링할 필요가 있다. 마커(M)의 터치포인트(TP)들에 의한 마커 정보나 손가락에 의한 기능 정보는 미리 설정되어 저장된다. 이후, 표시영역(DA)에 터치입력들이 제공되면 표시영역(DA)에 터치된 많은 터치정보 중 유효한 정보만을 추출할 필요가 있다.
도 11은 표시영역(DA)에 입력되는 터치콘택부(TC)들로 부터 가능한 터치패턴(CP)을 추정한 모습을 도시한 도면이고, 도 12는 터치콘택부(TC)와 같은 터치정보들과 대응되는 터치 ID를 나타낸 도면이며, 도 13은 터치 ID에 대응하는 기능을 표시영역(DA)에서 플레이되는 컨텐츠 게임에 적용한 도면이다.
도 11 내지 도 13을 참조하면, 표시영역(DA)은 컨텐츠 게임에 사용하는 도구, 플레이어(사용자)의 마커(M) 및 플레이어의 손가락 터치 정보 등이 입력될 수 있다. 따라서, 도 11에 도시한 바와 같이, 표시영역(DA)에는 많은 수의 터치콘택부(TC)들이 인식될 수 있고, 이러한 터치콘택부(TC)들로 이루어진 터치패턴들(CP)이 다수개 나타날 수 있다. 도면에 도시된 바와 같이, 표시영역(DA)에 16개의 터치콘택부(TC)들이 인식되는 경우, 16개의 터치콘택부(TC)로 인식될 수 있는 터치패턴(CP)들은 제1 내지 제11 터치패턴(P1~P11)이다.
하지만, 제1 내지 제11 터치패턴(P1~P11)들이 모두 컨텐츠 게임, 플레이어의 손가락 터치 또는 플레이어의 마커(M) 정보를 제공하는 것이 아니기 때문에 이들 터치패턴들 중 유효한 터치패턴들을 선별할 필요가 있다.
도 12에 도시한 바와 같이, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는 (a) 내지 (d)에 도시한 터치콘택부(TC)로 구성되는 터치패턴(CP)을 터치 ID 형태(ID11, ID21, ID23, ID105)로 저장한다. 터치 ID 정보는 전술한 바와 같이, 터치콘택부(TC)들로 이루어지는 터치패턴(CP)의 모양뿐 아니라 각 터치콘택부(TC)의 면적들에 대한 정보, 터치콘택부(TC)의 방향, 터치패턴(CP)의 면적 정보들을 조합하여 하나의 터치 ID 정보로 저장된다.
따라서, 도 11에서와 같이, 표시영역(DA)에 복수의 터치콘택부(TC)들이 입력되면 이들 터치콘택부(TC)들로 이루어지는 제1 내지 제11 터치패턴(P1~P11)들을 인식한 후, 인식된 제1 내지 제11 터치패턴(P1~P11)들과 기 저장된 터치 ID 정보를 비교하여 현재 제공되는 컨텐츠 게임에 유효적절한 정보만을 선택한다.
도 13에 도시한 바와 같이, 도 11에서 인식된 제1 내지 제11 터치패턴(P1~P11) 중 제1 터치패턴(P1: ID11)과 제4 터치패턴(P4: ID23), 제11 터치패턴(P11: ID21) 및 제7 터치패턴(P7: ID105)만이 멀티 인지 훈련 장치(100)에 기 저장된 정보와 매칭되는 것을 볼 수 있다. 제7 터치패턴(P7)은 기저장된 정보의 터치패턴과 일치하지만 현재 컨텐츠 게임에서는 사용하지 않는 터치패턴일 경우에는 표시영역(DA) 상에서 기능하지 않는다.
제1 터치패턴(P1: ID11)은 캐릭터(사람)를 지시하고 위치한 방향으로 이동하는 동작을 진행하는 기능을 수행하고, 제4 터치패턴(P4: ID23)은 컨텐츠 게임에서 범위 내의 객체 이동 속도를 2배로 증가시키는 효과 기능을 수행하며, 제11 터치패턴(P11: ID21)은 차량을 지시하고 위치한 방향으로 이동하는 동작을 진행하는 기능을 수행하고, 제7 터치패턴(P7: ID105)은 현재 실행 중인 컨텐츠 게임에서는 등록된 객체나 기능 데이터가 없다.
따라서, 도 13에 도시한 바와 같이, 표시영역(DA)에 표시되는 제1 내지 제11 터치패턴(P1~P11)들 중 제1 터치패턴(P1: ID11), 제4 터치패턴(P4: ID23) 및 제11 터치패턴(P11: ID21)에 대해서만 컨텐츠 게임 내에서 작동하는 것을 볼 수 있다.
이와 같이, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 치매 환자 또는 인지 능력이 낮은 환자에게 시각, 청각 및 물리적 움직임과 함께 인지 훈련 및 인지 자극을 다양한 방식으로 제공할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 복수의 치매 환자 또는 인지 능력이 낮은 환자이 동시에 협동하는 방식으로 인지 훈련 및 인지 자극을 제공받을 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 딥러닝에 의한 학습 모델을 통해 플레이어들이 컨텐츠 게임을 플레이하면서 표시영역에 입력한 다양한 터치패턴들을 분석한 후, 터치패턴을 입력하는 객체 또는 플레이어를 정확히 인식할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 컨텐츠 게임을 플레이하는 플레이어의 동작과 표시영역에 입력된 패턴들을 기초로 컨텐츠 게임에서 터치 입력을 제공하는 플레이어들을 구별할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 플레이어에 의해 입력된 터치 정보가 일부 손상되더라도 플레이어의 동작 영상을 고려하여 터치 입력을 제공하는 플레이어를 구별할 수 있는 효과가 있다.
도 14는 본 발명의 일실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 인식부의 구체적인 구성을 도시한 블럭도이다. 도 15는 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 패턴 인식부의 구체적인 구성을 도시한 블럭도이다. 도 16은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치의 판단부의 구성을 도시한 블럭도이다. 도 17은 본 발명의 실시예에 따른 인공지능을 이용한 멀티 인지 훈련 장치에서 플레이어에 입력되는 터치 정보를 기초로 터치패턴을 인식하는 방법을 설명하기 위한 도면이다.
도 2 및 도 3과 함께 도 14와 도 15를 참조하면, 본 발명의 인공지능을 이용한 멀티 인지 훈련 장치(100)는, 제1 내지 제4 센서부(130a, 130b, 130c, 130d), 입력부(301), 저장부(302), 구동부(303), 컨텐츠 제공부(304), 제어부(305), 인식부(306), 판단부(307) 및 표시부(308)를 포함한다. 인식부(306)는 표시부(308)를 통해 입력되는 터치 정보를 인식하고 분석하여 객체를 인식하기 위한 패턴 인식부(306a), 패턴 분석부(306b), 패턴 데이터베이스(306c, Pattern Data Base), 객체 인식부(306d) 및 객체 데이터베이스(306e, Object Data Base)를 포함한다.
전술한 바와 같이, 본 발명의 멀티 인지 훈련 장치(100)에 배치된 저장부(302)는 마커(M)들의 터치패턴들(CP)과 사용자의 손가락에 의한 핑거터치로 구성된 터치패턴들(CP)에 대한 정보들이 저장되어 있다. 표시부(308)의 표시영역(DA)을 통해 플레이어(사용자)의 핑거터치 및 마커(M)의 터치포인트(TP)들에 의한 터치 정보들이 입력되면 인식부(306)에 배치된 패턴 인식부(306a)에 전달된다.
패턴 인식부(306a)는 도 15에 도시된 바와 같이, 표시영역(DA)에 입력되는 터치콘택부들을 기반으로 패턴을 구현하는 패턴 영상 변환부(371)와, 컨텐츠 게임을 플레이하는 플레이어의 동작(움직임) 영상을 변환하는 동작 영상 변환부(374), 딥러닝 모델로써 구축되는 학습 모델(372) 및 유효 터치영역 추출부(373)를 포함한다.
여기서, 패턴 영상 변환부(371)에 제공되는 영상은 제2 센서부(130b)에 의해 표시영역(DA)에 터치된 터치콘택부들을 촬영한 영상이거나 동작 영상 변환부(374)에 제공되는 영상은 제4 센서부(130b)에 의해 플레이어들을 촬영한 영상일 수 있다.
학습모델(372)의 기계 학습은 신경망뿐만 아니라 의사결정나무 (Decision Tree)나 베이지안 망(Bayesian network), 서포트벡터머신(SVM: support vector machine)와 같은 기계 학습 알고리즘이 사용될 수 있다.
예를 들어, 마스크 순환 컨볼루션 신경망(Mask-RCNN: Mask Recurrent Convolutional Neural Network)과 같은 완전 연결층(Fully Connected Layer)들을 갖는 신경망들을 포함할 수 있다. 따라서, 학습 모델(372)을 구성하는 신경망은 특징 피라미드망(FPN(Feature Pyramid Network)), 코어 신경망(Resnet), 영역 제안망(Region Proposal Network)을 포함할 수 있다.
학습 모델(372)은 멀티 인지 훈련 장치(100)에서 제공되는 컨텐츠 게임을 플레이하는 플레이어에 의해 표시영역(DA) 상에 입력되는 터치 정보들과 멀티 인지 훈련 장치(100)의 디스플레이 유닛(100a)의 둘레에서 컨텐츠 게임을 플레이하는 플레이어들의 동작 정보에 대한 딥러닝 학습을 수행하여 구축될 수 있다.
플레이어들이 컨텐츠 게임을 플레이할 경우, 도구 또는 플레이어의 손가락에 의해 멀티 인지 훈련 장치(100)에 터치 정보(터치콘택부)를 제공하면, 패턴 영상 변환부(371)는 학습 모델(372)에 의해 기계 학습을 진행할 수 있는 영상으로 변환한다.
이와 같이, 변환된 터치 정보에 대한 영상은 학습 모델(372)의 기계 학습에 의해 유효 터치영역을 인식한다. 이와 같이, 유효 터치영역으로 인식된 터치 정보들은 유효 터치 영역 추출부(373)에 의해 추출된 후, 패턴 분석부(306b)에 제공될 수 있다.
이때, 객체, 게임의 기능 및 사람의 손가락에 의한 터치 정보의 일부만이 입력된 경우, 본 발명의 멀티 인지 훈련 장치(100)는 동작 영상 변환부(374)에서 제공되는 플레이어의 동작(움직임) 영상에 기초하여 터치 정보들에 대한 유효 터치 영역을 결정할 수 있다. 이와 관련해서는 도 17에서 보다 구체적으로 설명한다.
도 11에서 설명한 바와 같이, 마커(M)에 배치된 터치포인트(TP)들과 플레이어의 손가락에 의해 제공되는 터치에 의해 표시영역(DA)에 다수의 터치콘택부(TC)로 터치 정보가 입력된다. 패턴 인식부(306a)는 전술한 바와 같이, 학습 모델(372)에 의해 추출된 유효 터치 영역을 결정하여 패턴 분석부(306b)에 제공한다.
패턴 분석부(306b)는 유효 터치 영역으로 결정된 터치 정보를 기초로 터치콘택부(TC)들에 의해 형성되는 터치패턴(CP)들을 분석한다. 즉, 패턴 DB(306c)에 저장된 패턴 정보에 기초하여 표시영역(DA)에 입력된 터치콘택부(TC)들에 의한 터치패턴(CP)들이 객체를 지시하는 터치패턴인지 또는 특정 기능(효과)을 구현하는 터치패턴인지를 분석한다. 패턴 DB(306c)는 인식부(306a)의 구성으로 도시되어 있지만, 멀티 인지 훈련 장치(100)의 저장부(302) 일부로 구현될 수 있다.
패턴 분석부(306b)가 표시영역(DA)에 입력된 터치콘택부(TC)들의 터치패턴들(CP)을 분석한 후, 그 결과들은 객체 인식부(306d)에 제공된다. 객체 인식부(306d)는 패턴 분석부(306b)에서 분석된 터치패턴들(CP)이 어떤 객체 또는 특정 기능과 관련되어 있는지를 인식한다. 객체 인식부(306d)는 객체 데이터베이스(306e)에 저장된 객체 정보(터치패턴에 대응하는 특정 효과 및 기능 정보를 포함한다)에 기초하여 패턴 분석부(306b)에서 제공된 터치패턴(CP)을 비교한다. 즉, 객체 데이터베이스(306e)는 각 컨텐츠 게임에서 활동하는 캐릭터들과 게임에서 수행할 수 있는 특정한 효과 및 기능 정보와 터치패턴(CP)들이 룩업 테이블 형태로 리스트화 되어 있다. 따라서, 패턴 분석부(306b)에서 분석된 터치패턴(CP)들에 대해 동일한 터치패턴(CP)을 갖는 캐릭터 또는 게임에서의 특정 효과 및 기능을 매칭시킬 수 있다. 이때, 객체 인식부(306d)는 컨텐츠 정보를 제공받아, 현재 컨텐츠 게임에서의 사용되는 객체 또는 특정 기능을 인식할 수 있다.
또한, 객체 인식부(306d)는 저장부(302)에 저장되어 있는 각 컨텐츠 게임 정보를 제공받아, 터치패턴(CP)으로 인식되었지만 현재 진행하는 컨텐츠 게임과 관련해서 유효한(사용하는) 터치패턴인지를 필터링할 수 있다. 예를 들어, 패턴 분석부(306b)가 터치패턴(CP)으로 분석하였지만, 현재 사용자에게 제공되는 컨텐츠 게임에서는 사용하지 않는 객체 또는 특정 효과(기능)인 경우에는 객체 인식부(306d)에서 필터링될 수 있다.
객체 인식부(306d)에서 터치패턴(CP)과 객체(또는 게임의 특정 효과)가 매칭되면 판단부(307)에서는 최종적으로 표시영역(DA)에 입력된 터치 정보에 대한 결정을 수행할 수 있다. 예를 들어, 터치패턴(CP)으로 인식되었지만 객체(도구)가 아니라 플레이어의 손가락에 의한 터치 정보인지를 매칭할 수 있다. 또한, 현재 인식된 터치 정보에 기초한 터치패턴(CP)이 어느 플레이어의 터치 입력인지를 결정할 수 있다.
이를 위해 판단부(307)는 제1 내지 제4 센서부(130a, 130b, 130c, 130d)에서 제공되는 정보를 센서 정보 수용부(383)를 통해 제공받은 후, 매칭부(381)에서 터치패턴(CP)과 센서 정보를 매칭한 후, 제1 내지 제3 결정부(382a, 382b, 382c)를 통해 어느 플레이어의 동작(손가락 터치 또는 도구)에 의한 것인지를 결정한다.
도 17은 패턴 인식부(306a)가 플레이어에 의해 입력되는 터치콘택부(TC)의 터치 정보를 인식할 때, 플레이어의 움직임 정보를 고려하는 경우를 설명하는 것이다. (a)와 (b)에서와 같이 플레이어가 컨텐츠 게임에 사용하는 망치를 사용하여 표시영역에 터치 정보를 입력할 때, 망치에 배치되어 있는 마커(M)의 터치포인트가 (b)와 같이 모두 정확하게 표시영역(DA)에 입력되는 경우와 (a)와 같이 일부 터치포인트(TP)가 다른 터치포인트(TP)에 비해 표시영역(DA)에 접촉하지 않는 경우가 발생할 수 있다.
(b)와 같이 마커(M)에 배치된 3개의 터치포인트(TP)가 표시영역(DA)에 모두 접촉될 경우 각각의 터치포인트(TP)는 유효한 터치포인트(X1)로 인식된다. 따라서, 3개의 터치콘택부(TC) 정보(터치 정보)에 기초하여 전술한 패턴 인식부(306a)는 터치포인트(TP)에 의해 구현되는 터치패턴(CP)을 인식한다.
하지만, (a)와 같이 플레이어가 망치를 비스듬히 표시영역(DA)과 터치시켜 터치포인트(TP) 중 유효한 터치포인트(X1)와 터치포인트(TP) 중 일부 영역만 표시영역(DA)과 터치되는 비유효한 터치포인트(X2)가 발생할 수 있다. 비유효한 터치포인트(X2)는 제1영역(X2a)과 제2영역(X2b)로 구분될 수 있다.
본 발명의 멀티 인지 훈련 장치(100)는 도 17에서와 같이, 플레이어가 도구를 사용하여 터치 정보를 입력하였지만 터치포인트(TP) 중 일부 터치포인트(TP)가 비유효한 터치포인트(X2)를 형성하는 경우 플레이어의 동작 정보에 기초하여 비유효한 터치포인트(X2)가 유효한 터치포인트인지를 판단한다.
즉, 제4 센서부(130d)에 의해 제공되는 플레이어의 움직임 정보에 기초하여 도구가 비스듬하게 표시영역(DA)과 접촉한 경우, 비스듬하지 않았을 경우를 추정하여 비유효한 터치포인트(X2)가 유효한 터치포인트(X1)인지를 구별한다.
이와 같이, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 치매 환자 또는 인지 능력이 낮은 환자에게 시각, 청각 및 물리적 움직임과 함께 인지 훈련 및 인지 자극을 다양한 방식으로 제공할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 복수의 치매 환자 또는 인지 능력이 낮은 환자이 동시에 협동하는 방식으로 인지 훈련 및 인지 자극을 제공받을 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 딥러닝에 의한 학습 모델을 통해 플레이어들이 컨텐츠 게임을 플레이하면서 표시영역에 입력한 다양한 터치패턴들을 분석한 후, 터치패턴을 입력하는 객체 또는 플레이어를 정확히 인식할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 컨텐츠 게임을 플레이하는 플레이어의 동작과 표시영역에 입력된 패턴들을 기초로 컨텐츠 게임에서 터치 입력을 제공하는 플레이어들을 구별할 수 있는 효과가 있다.
또한, 본 발명에 따른 인공지능을 이용한 멀티 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법은 플레이어에 의해 입력된 터치 정보가 일부 손상되더라도 플레이어의 동작 영상을 고려하여 터치 입력을 제공하는 플레이어를 구별할 수 있는 효과가 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
100: 멀티 인지 훈련 장치
100a: 디스플레이 유닛
100b: 베이스 유닛
120: 제1 지지부
121: 제2 지지부
123: 이동수단
130a: 제1 센서부
130b: 제2 센서부
130c: 제3 센서부
130d: 제4 센서부
301: 입력부
302: 저장부
303: 구동부
304: 컨텐츠 제공부
305: 제어부
306: 인식부
307: 판단부
308: 표시부
TP: 터치 포인트
TA: 터치면적
CP: 터치패턴
TD: 터치포인트의 방향
100a: 디스플레이 유닛
100b: 베이스 유닛
120: 제1 지지부
121: 제2 지지부
123: 이동수단
130a: 제1 센서부
130b: 제2 센서부
130c: 제3 센서부
130d: 제4 센서부
301: 입력부
302: 저장부
303: 구동부
304: 컨텐츠 제공부
305: 제어부
306: 인식부
307: 판단부
308: 표시부
TP: 터치 포인트
TA: 터치면적
CP: 터치패턴
TD: 터치포인트의 방향
Claims (8)
- 컨텐츠 게임을 표시하고 상기 컨텐츠 게임에 대한 터치입력을 감지하는 디스플레이 유닛과, 상기 디스플레이 유닛을 제어하는 관리시스템을 포함하는 멀티 인지 훈련 장치에서 제공하는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법으로서,
상기 디스플레이 유닛을 제어하여 상기 컨텐츠 게임을 제공하는 단계;
상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계;
상기 복수의 사용자에 대한 정보를 기초로 상기 복수의 사용자 별 위치를 결정하는 단계;
상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하는 단계; 및
상기 결정된 게임 영역에 대해 상기 컨텐츠 게임을 제공하는 단계;를 포함하고,
상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계는, 제3 센서부로부터 사용자의 ID 카드로부터 사용자의 고유 식별자 정보를 획득하는 단계를 포함하고,
상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하는 단계는, 상기 고유 식별자 정보를 기초로 상기 ID 카드의 놓인 위치에 따라서 상기 게임 영역을 결정하는 단계를 포함하는
복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법. - 제 1 항에 있어서,
상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계는,
제 1 센서부로부터 상기 디스플레이 유닛 주변의 사용자의 위치를 감지하는 단계를 포함하고,
상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하는 단계는,
상기 디스플레이 유닛의 표시 영역을 상기 복수의 사용자의 수에 대응되는 복수의 게임 영역으로 분할하는 단계와, 상기 감지된 사용자의 위치에 인접한 게임 영역을 상기 사용자의 게임 영역으로 결정하는 단계를 포함하는
복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법. - 제 2 항에 있어서,
상기 제 1 센서부로부터 상기 사용자의 위치 변화를 감지하고 추적하는 단계와, 상기 사용자의 추적된 위치에 따라서 상기 게임 영역의 위치를 이동시키는 단계를 더 포함하는
복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법. - 제 1 항에 있어서,
상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계는, 상기 사용자의 안면 정보를 획득하는 단계를 포함하고,
상기 사용자의 안면 정보에 따라서 상기 사용자를 인식하는 단계를 포함하는
복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법. - 삭제
- 컨텐츠 게임을 표시하고 상기 컨텐츠 게임에 대한 터치입력을 감지하는 디스플레이 유닛과, 상기 디스플레이 유닛을 제어하는 관리시스템을 포함하는 멀티 인지 훈련 장치에서 제공하는 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법으로서,
상기 디스플레이 유닛을 제어하여 상기 컨텐츠 게임을 제공하는 단계;
상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계;
상기 복수의 사용자에 대한 정보를 기초로 상기 복수의 사용자 별 위치를 결정하는 단계;
상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하는 단계; 및
상기 결정된 게임 영역에 대해 상기 컨텐츠 게임을 제공하는 단계;를 포함하고,
상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계는,
제 1 센서부로부터 상기 디스플레이 유닛 주변의 사용자의 위치를 감지하는 단계를 포함하고,
상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하는 단계는, 상기 디스플레이 유닛의 표시 영역을 상기 복수의 사용자의 수에 대응되는 복수의 게임 영역으로 분할하는 단계와, 상기 감지된 사용자의 위치에 인접한 게임 영역을 상기 사용자의 게임 영역으로 결정하는 단계를 포함하고,
상기 디스플레이 유닛 주변에 위치한 복수의 사용자를 감지하는 적어도 하나 이상의 센서부로부터 상기 복수의 사용자에 대한 정보를 획득하는 단계는, 상기 디스플레이 유닛의 상측에 위치한 제4 센서부로부터 상기 복수의 사용자를 촬영한 영상을 획득하는 단계를 포함하고,
상기 촬영한 영상에 기초하여 상기 복수의 사용자를 각각 개별적으로 인식하는 단계와, 상기 인식된 사용자의 위치를 추적하는 단계를 포함하는
복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법. - 제 4 항에 있어서,
상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하는 단계는,
추적된 사용자의 위치에 따라서 상기 게임 영역을 결정하는 단계를 포함하는
복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법. - 사용자에게 인지 훈련 또는 인지 자극을 제공하기 위한 컨텐츠 게임들을 표시하는 터치패널과 상기 터치패널이 안착된 플레이트를 구비한 디스플레이 유닛;
상기 디스플레이 유닛을 지지하는 베이스 유닛; 및
상기 디스플레이 유닛과 베이스 유닛을 제어하는 관리시스템을 포함하고,
상기 관리시스템은,
터치 정보가 입력되고 컨텐츠 게임을 표시하는 표시부;
컨텐츠 게임들에 관한 정보와 사용자에 대한 정보가 저장된 저장부;
상사용자에게 인지 능력 훈련을 위한 컨텐츠 게임 및 인지 자극 훈련을 위한 컨텐츠 게임을 제공하는 컨텐츠 제공부;
상기 표시부를 통해 입력된 터치 정보에 기초하여 터치 패턴을 인식하는 인식부; 및
상기 인식부에서 인식된 터치 패턴이 복수의 사용자 중 어느 사용자에 의해 입력되는 터치 정보인지를 판단하는 판단부; 를 포함하고,
상기 디스플레이 유닛의 측면 둘레를 따라 배치되어 상기 사용자의 위치 정보를 획득하는 제1 센서부; 상기 디스플레이 유닛의 표시영역과 대응되는 내측에 배치되어 사용자의 얼굴 정보를 획득하는 제2 센서부; 상기 디스플레이 유닛의 터치패널과 플레이트 사이의 비표시영역을 따라 배치되어 사용자의 마커의 위치와 마커에 포함된 정보를 획득하는 제3 센서부; 및 상기 디스플레이 유닛의 상부 공간에는 컨텐츠 게임을 진행하는 복수의 사용자의 움직임 정보를 획득하는 제4 센서부를 중 적어도 하나의 센서부를 포함하고,
상기 판단부는, 상기 센서부에서 획득된 복수의 사용자에 대한 정보를 기초로 상기 복수의 사용자 별 위치를 결정하고, 상기 복수의 사용자 별 위치에 기초하여 상기 복수의 사용자 각각에 대한 상기 컨텐츠 게임의 게임 영역을 각각 결정하며,
상기 결정된 게임 영역에 대해 상기 컨텐츠 게임을 제공하는 제어부를 포함하는
복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210057711A KR102564071B1 (ko) | 2021-02-22 | 2021-05-04 | 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210023520A KR102272843B1 (ko) | 2021-02-22 | 2021-02-22 | 인공지능을 이용한 멀티 테이블형 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법 |
| KR1020210057711A KR102564071B1 (ko) | 2021-02-22 | 2021-05-04 | 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210023520A Division KR102272843B1 (ko) | 2021-02-22 | 2021-02-22 | 인공지능을 이용한 멀티 테이블형 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220120407A KR20220120407A (ko) | 2022-08-30 |
| KR102564071B1 true KR102564071B1 (ko) | 2023-08-07 |
Family
ID=76899571
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210023520A KR102272843B1 (ko) | 2021-02-22 | 2021-02-22 | 인공지능을 이용한 멀티 테이블형 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법 |
| KR1020210057711A KR102564071B1 (ko) | 2021-02-22 | 2021-05-04 | 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210023520A KR102272843B1 (ko) | 2021-02-22 | 2021-02-22 | 인공지능을 이용한 멀티 테이블형 인지 훈련 장치 및 이를 이용한 터치패턴 인식방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102272843B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113546398A (zh) * | 2021-07-30 | 2021-10-26 | 重庆五诶科技有限公司 | 基于人工智能算法的棋牌游戏方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090067578A (ko) | 2007-12-21 | 2009-06-25 | 주식회사 비트컴퓨터 | 치매예방을 위한 인지향상 시스템 및 그 방법 |
| US8508488B2 (en) * | 2008-06-12 | 2013-08-13 | Samsung Sdi Co., Ltd. | Display apparatus having touch screen function |
| KR101246300B1 (ko) * | 2011-07-13 | 2013-03-21 | 한국과학기술연구원 | 움직이는 물체의 실시간 위치 인식 장치 및 방법 |
| KR101349406B1 (ko) * | 2012-05-15 | 2014-01-09 | 엘지이노텍 주식회사 | 디스플레이장치 및 이의 절전 방법 |
| KR101413649B1 (ko) * | 2012-11-07 | 2014-07-09 | (주)아바비젼 | 다수의 사용자를 위한 터치 테이블 탑 디스플레이장치 |
| KR102280581B1 (ko) * | 2017-03-21 | 2021-07-22 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
-
2021
- 2021-02-22 KR KR1020210023520A patent/KR102272843B1/ko active IP Right Grant
- 2021-05-04 KR KR1020210057711A patent/KR102564071B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220120407A (ko) | 2022-08-30 |
| KR102272843B1 (ko) | 2021-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lv et al. | Multimodal hand and foot gesture interaction for handheld devices | |
| EP2521097B1 (en) | System and Method of Input Processing for Augmented Reality | |
| JP3904562B2 (ja) | 画像表示システム、記録媒体及びプログラム | |
| US20090258703A1 (en) | Motion Assessment Using a Game Controller | |
| US9189918B1 (en) | Camera for player authentication and monitoring of wagering game tables | |
| WO2005077479A1 (ja) | 画像表示システム、画像処理システム及びビデオゲームシステム | |
| US20160314620A1 (en) | Virtual reality sports training systems and methods | |
| US9342139B2 (en) | Pairing a computing device to a user | |
| CN102707876B (zh) | 界面控件的按压个性化 | |
| US20060160616A1 (en) | Measuring device using image and measurement method using image | |
| JP6747446B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN105531989B (zh) | 信息处理装置 | |
| JP2014523258A (ja) | 手動およびカメラ・ベースのゲーム制御 | |
| WO2016056317A1 (ja) | 情報処理装置および情報処理方法 | |
| JP6058101B1 (ja) | ゲーム装置及びプログラム | |
| JP2008212208A (ja) | ゲーム装置及び仮想カメラの制御方法、並びにプログラム及び記録媒体 | |
| KR102564071B1 (ko) | 복수의 플레이어에게 인지 훈련을 위한 컨텐츠 게임을 제공하는 방법 및 장치 | |
| KR102564072B1 (ko) | 복수 플레이어에 대한 컨텐츠 게임 기반의 인지 훈련 디바이스 및 방법 | |
| Zhao et al. | Comparing hand gestures and a gamepad interface for locomotion in virtual environments | |
| KR102272837B1 (ko) | 인공지능을 이용한 멀티 테이블형 인지 훈련 장치 및 그 구동방법 | |
| Connor et al. | Movement and recovery analysis of a mouse-replacement interface for users with severe disabilities | |
| Coens | Taking Tekkotsu out of the Plane | |
| JP4422695B2 (ja) | 画像表示システム、記録媒体及びプログラム | |
| Sayed et al. | Cognitive assessment in children through motion capture and computer vision: the cross-your-body task | |
| CN111339512B (zh) | 计算机座舱及其验证方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |