KR101598955B1 - 언어 치료용 게임 장치 및 게임 방법 - Google Patents

언어 치료용 게임 장치 및 게임 방법 Download PDF

Info

Publication number
KR101598955B1
KR101598955B1 KR1020140051043A KR20140051043A KR101598955B1 KR 101598955 B1 KR101598955 B1 KR 101598955B1 KR 1020140051043 A KR1020140051043 A KR 1020140051043A KR 20140051043 A KR20140051043 A KR 20140051043A KR 101598955 B1 KR101598955 B1 KR 101598955B1
Authority
KR
South Korea
Prior art keywords
game
unit
information
user
voice
Prior art date
Application number
KR1020140051043A
Other languages
English (en)
Other versions
KR20150124561A (ko
Inventor
박종관
유희천
고명환
이혜원
이원섭
정하영
유민정
정우석
이은애
이선연
이찬영
최정선
Original Assignee
포항공과대학교 산학협력단
전북대학교병원
(주)휴머노피아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 전북대학교병원, (주)휴머노피아 filed Critical 포항공과대학교 산학협력단
Priority to KR1020140051043A priority Critical patent/KR101598955B1/ko
Publication of KR20150124561A publication Critical patent/KR20150124561A/ko
Application granted granted Critical
Publication of KR101598955B1 publication Critical patent/KR101598955B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

조음 및 유창성 장애인의 효과적인 언어장애 개선을 위하여 사회적 및 신체적 활동을 포함하는 언어 치료용 게임 장치 및 게임 방법을 제공한다. 언어 치료용 게임 장치는 한 명 이상 사용자의 목소리를 감지하는 음성 인식부와, 한 명 이상 사용자의 동작을 감지하는 동작 인식부와, 게임 소프트웨어를 내장하며 음성 인식부로부터 제공받은 음성 정보 및 동작 인식부로부터 제공받은 동작 정보와 연계된 게임을 수행하는 게임 프로그램 처리부를 포함하는 제어부와, 제어부의 출력 신호에 따라 게임 또는 치료와 관련된 시각 및 청각 정보를 출력하는 출력부를 포함한다.

Description

언어 치료용 게임 장치 및 게임 방법 {SPEECH THERAPY GAME DEVICE AND GAME METHOD}
본 발명은 언어 치료용 게임 장치에 관한 것으로서, 보다 상세하게는 조음 및 유창성 장애인의 효과적인 언어 장애 개선을 위하여 사회적 및 신체적 활동을 포함하는 언어 치료용 게임 장치 및 게임 방법에 관한 것이다.
언어 치료에 있어서 치료 대상자의 동기는 치료 효과에 영향을 미치는 중요한 요소로서, 치료 대상자의 동기가 높으면 치료 시간이 단축되고 효과도 크다. 그러나 기존의 언어 치료 활동은 언어 치료 교재 또는 교구를 사용하여 치료 대상자에게 언어 훈련을 반복시키는 방식이 대부분이므로 치료 동기 측면에서 한계가 있다.
본 발명은 기존의 언어 치료 방식에 사회적 및 신체적 활동을 포함시키고 게임을 접목시킴으로써 조음 및 유창성 장애인의 치료 동기를 높이고, 치료 분위기를 활성화시키며, 치료 효과를 향상시킬 수 있는 언어 치료용 게임 장치 및 게임 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 언어 치료용 게임 장치는 한 명 이상 사용자의 목소리를 감지하는 음성 인식부와, 한 명 이상 사용자의 동작을 감지하는 동작 인식부와, 게임 소프트웨어를 내장하며 음성 인식부로부터 제공받은 음성 정보 및 동작 인식부로부터 제공받은 동작 정보와 연계된 게임을 수행하는 게임 프로그램 처리부를 포함하는 제어부와, 제어부의 출력 신호에 따라 게임 또는 치료와 관련된 시각 및 청각 정보를 출력하는 출력부를 포함한다.
음성 인식부는 노이즈 필터링부를 포함할 수 있고, 동작 인식부는 설정에 따라 근거리에서 사용자의 얼굴 표정이나 구강 움직임 또는 원거리에서 사용자의 몸 동작을 인식할 수 있다. 제어부는 전원부, 데이터베이스, 소리 분석 및 특성 추출부, 및 게임 설정부를 더 포함할 수 있다.
소리 분석 및 특성 추출부는 노이즈 필터링부로부터 노이즈가 제거된 음성 정보를 제공받을 수 있고, 제공받은 음성 정보를 분석하여 소리의 크기, 높낮이, 및 지속 중 적어도 하나를 포함하는 소리 특성을 정량적인 수치 정보로 변환하여 게임 설정부로 출력할 수 있다.
게임 설정부는 소리 분석 및 특성 추출부로부터 제공받은 정량적인 수치 정보를 데이터베이스에 저장된 초기 값과 비교하여 게임 프로그램 처리부의 게임 수행에 필요한 게임 값을 상대적인 값으로 변환시킬 수 있다. 초기 값은 데이터베이스에 입력된 해당 사용자의 목소리 특성으로서 기본적인 음역 폭과 소리 크기의 정보를 포함할 수 있다.
출력부는 디스플레이와 스피커 및 촉각 피드백 장치를 포함할 수 있고, 게임 프로그램 처리부는 촉각 피드백 장치로 촉각 피드백 신호를 출력하여 사용자에게 적절한 촉각 피드백을 제공할 수 있다. 게임 프로그램 처리부와 출력부는 사용자의 음성 정보 및 근거리 동작 정보와 연계된 제1 게임 요소와, 사용자의 음성 정보 및 원거리 동작 정보와 연계된 제2 게임 요소 중 어느 하나를 제공할 수 있다.
본 발명의 일 실시예에 따른 게임 방법은 음성 인식부와 동작 인식부 각각에서 사용자의 목소리와 동작을 인식하여 음성 정보 및 동작 정보를 출력하는 제1 단계와, 소리 분석 및 특성 추출부에서 음성 정보를 분석하여 소리의 크기, 높낮이, 및 지속 중 적어도 하나를 포함하는 소리 특성을 정량적인 수치 정보로 변환하는 제2 단계와, 게임 프로그램 처리부에서 동작 정보 및 정량적인 수치 정보를 제공받아 동작 및 음성 정보와 연계된 게임을 수행함과 아울러 출력부에서 게임 화면을 포함한 시각 및 청각 정보를 사용자에게 제공하는 제3 단계를 포함한다.
제1 단계 이전에 데이터베이스에 사용자별 목소리 특성이 초기 값으로 저장될 수 있고, 제3 단계에서 게임 설정부가 정량적인 수치 정보를 초기 값과 비교하여 게임 프로그램 처리부의 게임 수행에 요구되는 게임 값을 상대적인 값으로 변환할 수 있다.
제1 단계에서 동작 인식부는 사용자의 얼굴 표정, 구강 움직임, 및 몸 동작 중 적어도 하나를 인식할 수 있고, 제어부는 제공받은 음성 정보 및 동작 정보를 분석하여 정량화할 수 있으며, 출력부를 통해 사용자에게 피드백 신호를 제공할 수 있다.
음성 인식부는 두 명 이상 사용자의 음성을 각각 인식할 수 있고, 소리 분석 및 특성 추출부는 사용자 각각의 소리 특성을 정량적인 수치 정보로 변환할 수 있으며, 동작 인식부는 두 명 이상 사용자의 얼굴 표정, 구강 움직임, 및 몸 동작 중 적어도 하나를 각각 인식할 수 있다.
게임 프로그램 처리부는 두 개 이상의 서로 다른 음성의 강도, 피치, 포먼트를 비교하여 사용자마다 하나의 캐릭터를 할당할 수 있으며, 데이터베이스에 저장된 개인별 음성 특성 정보에 기반하여 사용자의 개별 점수와 그룹 전체의 점수를 제공할 수 있다.
본 실시예의 언어 치료용 게임 장치는 언어 치료 방식에 사회적 및 신체적 활동을 포함시키고 게임을 접목시킨 것을 특징으로 한다. 따라서 조음 및 유창성 장애인의 치료 동기를 높이고, 치료 분위기를 활성화시키며, 치료 효과를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 언어 치료용 게임 장치의 개략도이다.
도 2는 도 1에 도시한 언어 치료용 게임 장치의 구성도이다.
도 3은 도 1에 도시한 동작 인식부가 근거리에서 구강 움직임을 인식하는 과정을 나타낸 예시도이다.
도 4는 도 2에 도시한 게임 프로그램 처리부가 제공하는 제1 게임 요소를 나타낸 예시도이다.
도 5는 도 2에 도시한 게임 프로그램 처리부가 제공하는 제2 게임 요소를 나타낸 예시도이다.
도 6a는 본 실시예에 따른 언어 치료용 게임 장치의 상위 메뉴 구성을 나타낸 예시도이다.
도 6b는 도 6a에 도시한 상위 메뉴 중 준비 운동의 하위 메뉴 구성을 나타낸 예시도이다.
도 6c는 도 6a에 도시한 상위 메뉴 중 조음 훈련 및 유창성 훈련을 위한 게임 목록을 나타낸 예시도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 언어 치료용 게임 장치의 개략도이고, 도 2는 도 1에 도시한 언어 치료용 게임 장치의 구성도이다.
도 1과 도 2를 참고하면, 본 실시예의 언어 치료용 게임 장치(100)는 크게 한 명 이상 사용자의 목소리를 감지하는 음성 인식부(10)와, 한 명 이상 사용자의 동작을 감지하는 동작 인식부(20)와, 음성 인식부(10) 및 동작 인식부(20)로부터 제공받은 음성 정보 및 동작 정보와 연계된 게임을 수행하는 제어부(30)와, 제어부(30)의 출력 신호에 따라 게임 또는 치료와 관련된 시각 및 청각 정보를 출력하는 출력부(40)를 포함한다.
언어 치료용 게임 장치(100)의 사용자는 조음 장애인이나 유창성 장애인일 수 있다. 조음 장애는 뇌 손상 또는 조음 기관의 구조적 및 기능적 문제로 인해 말소리를 정확하게 조음하지 못하는 장애이며, 유창성 장애는 말을 할 때 시기와 리듬이 부적당한 패턴을 나타나는 장애이다.
언어 치료용 게임 장치(100)는 조음 및 유창성 장애인의 언어 치료에 있어서 게임을 접목시킴과 아울러 사회적 및 신체적 활동을 포함시킴으로써 치료 동기와 치료 효과를 높일 수 있고, 치료 분위기를 활성화시킬 수 있다. 여기서, 사회적 활동은 둘 이상의 사용자가 협업 또는 경쟁하는 것을 의미하고, 신체적 활동은 발성과 더불어 손, 팔, 다리 등의 신체 부위를 함께 움직이는 것을 의미한다.
음성 인식부(10)는 사용자의 주변 소음 등을 제거하는 노이즈 필터링부(11)를 포함할 수 있다. 음성 인식부(10)는 한 명 이상 사용자의 목소리를 인식하고, 제어부(30)로 사용자의 음성 정보를 제공한다.
동작 인식부(20)는 카메라와, 모션 캡쳐 기능을 구비하여 사용자의 동작을 인식하는 소프트웨어로 구성된다. 카메라는 통상의 웹 카메라 또는 깊이 카메라일 수 있다. 동작 인식부(20)는 설정에 따라 근거리에서 사용자의 얼굴 표정이나 구강 움직임을 인식하고, 원거리에서 사용자의 몸 동작을 인식한다. 동작 인식부(20)는 제어부(30)로 사용자의 동작 정보를 제공하며, 게임 장치 분야에서 사용되는 통상의 동작 인식장치가 동작 인식부(20)로 사용될 수 있다.
도 1에서는 음성 인식부(10)와 동작 인식부(20)가 개별 장치인 것으로 도시하였으나, 하나의 장치 안에 카메라 모듈과 마이크 모듈이 내장되어 일체형 음성 인식부와 동작 인식부를 구성할 수도 있다. 음성 인식부(10)와 동작 인식부(20)는 동시에 활성화되어 제어부(30)로 사용자의 음성 정보와 동작 정보를 함께 제공한다.
제어부(30)는 기본적으로 전원부(31)와 게임 프로그램 처리부(32) 및 데이터베이스(33)를 포함한다. 또한, 제어부(30)는 게임 프로그램 처리부(32)와 연결된 소리 분석 및 특성 추출부(34)와 게임 설정부(35)를 포함한다. 음성 인식부(10)는 소리 분석 및 특성 추출부(34)로 음성 정보를 제공하고, 동작 인식부(20)는 게임 프로그램 처리부(32)로 동작 정보를 제공한다.
게임 프로그램 처리부(32)는 게임 소프트웨어를 내장하여 음성 인식부(10)와 동작 인식부(20)에서 제공받은 정보, 즉 사용자의 음성 정보와 동작 정보와 연계된 게임 요소를 제공한다. 게임 요소는 사용자의 음성 정보와 근거리 동작 정보가 조합된 제1 게임 요소와, 사용자의 음성 정보와 원거리 동작 정보가 조합된 제2 게임 요소를 포함할 수 있다. 제1 및 제2 게임 요소의 구체적인 내용에 대해서는 후술한다.
소리 분석 및 특성 추출부(34)는 노이즈가 필터링된 음성 정보를 제공받고, 음성 정보를 분석하여 소리 특성을 추출한다. 소리 특성으로는 소리의 크기(데시벨), 소리의 높낮이(주파수), 소리의 지속(시간) 등이 있으며, 소리 분석 및 특성 추출부(34)는 이러한 소리 특성을 정량적인 수치 정보로 변환하여 출력한다. 즉 소리 분석 특성 추출부(34)의 출력 신호는 데시벨과 주파수 및 시간과 관련된 정량적인 수치 정보로 이루어진다.
게임 프로그램 처리부(32)에서 실행되는 게임 요소는 소리의 크기와 소리의 높낮이 및 소리의 지속 중 어느 하나와 연관된다.
예를 들어, 게임 요소가 소리의 크기와 연관된 경우, 게임 프로그램 처리부(32)에 입력된 데시벨 수치가 설정 수치보다 높거나 낮을 때 게임 내에서 캐릭터나 사물이 지정된 동작을 할 수 있다. 마찬가지로 게임 요소가 소리의 높낮이 또는 소리의 지속과 연관된 경우, 게임 프로그램 처리부(32)에 입력된 주파수 또는 지속 시간이 설정 수치보다 높거나 낮을 때 게임 내에서 캐릭터나 사물이 지정된 동작을 할 수 있다.
게임 설정부(35)는 소리 분석 및 특성 추출부(34)로부터 제공받은 정량적인 수치 정보를 초기 값과 비교하여 게임 값을 상대적인 값으로 변환하는 기능을 한다. 여기서, 초기 값은 데이터베이스(33)에 입력된 해당 사용자의 목소리 특성으로서, 기본적인 음역 폭과 소리 크기 등의 정보가 될 수 있다. 이를 위해 사용자는 게임 시작 전 자신의 아이디를 만들어 데이터베이스(33)에 기본 목소리 특성을 저장할 수 있다.
기본적으로 여성은 고음이고 남성은 저음이며, 사람에 따라서도 목소리 특성이 상이하다. 게임 값은 게임 프로그램 처리부(32)가 게임 요소를 제공할 때 게임 수행에 필요한 입력 값으로서, 여성 사용자의 경우 여성의 음역 폭 내에서 게임을 수행할 수 있도록 여성의 음역 폭에 맞게 설정되어야 한다. 마찬가지로 남성 사용자의 경우 게임 값은 남성의 음역 폭에 맞게 설정되어야 한다.
이와 같이 게임 설정부(35)는 게임 프로그램 처리부(32)가 해당 사용자의 음역 특성에 맞는 게임 요소를 제시할 수 있도록 게임 값을 상대적인 값으로 변환시킨다. 데이터베이스(33)에는 사용자별 목소리 특성과 더불어 사용자의 치료 이력이 저장된다. 데이터베이스(33)는 적어도 하나의 테이블로 구현될 수 있으며, 데이터베이스(33)에 저장된 정보를 검색, 저장, 및 관리하기 위한 데이터베이스 매니지먼트 시스템을 포함할 수 있다. 따라서 데이터베이스(33)를 이용하여 사용자의 치료 이력을 관리할 수 있으며, 지난 이력을 확인하고자 할 때 그래프 등으로 시각화할 수 있다.
출력부(40)는 디스플레이(41)와 스피커(42)를 포함하며, 제어부(30)의 출력 신호에 따라 게임 화면, 치료 이력, 치료 결과 등을 포함하는 다양한 시각 정보와 청각 정보를 사용자에게 제공한다. 게임 과정에서 출력부(40)는 실시간으로 사용자에게 다양한 시각적 및 청각적 피드백을 제공한다. 또한, 출력부(40)는 진동 소자(44) 등을 내장한 촉각 피드백 장치(43)를 포함할 수 있다.
촉각 피드백 장치(43)는 캐릭터 등으로 구현될 수 있고, 치료 행위에 대한 맞춤형 피드백을 제공할 수 있다. 예를 들어, 치료 게임 중 사용자의 점수가 미리 설정된 기준 값을 초과할 때 게임 프로그램 처리부(32)가 촉각 피드백 신호를 출력하고, 이 신호에 따라 진동 소자(44)가 작동하여 사용자에게 촉각 피드백을 제공할 수 있다. 제어부(30)와 촉각 피드백 장치(43)는 무선 통신으로 연결될 수 있다.
게임 프로그램 처리부(32) 및 출력부(40)가 제공하는 게임 요소는 사용자의 음성 정보와 근거리 동작 정보가 조합된 제1 게임 요소와, 사용자의 음성 정보와 원거리 동작 정보가 조합된 제2 게임 요소를 포함할 수 있으며, 설정에 따라 두 개의 게임 요소 중 하나를 선택하여 작동할 수 있다.
제1 게임 요소는 사용자가 앉아서 하는 게임으로서, 동작 인식부(20)가 얼굴 표정이나 입 동작을 인식한다. 언어 장애인들은 구강 움직임이 둔하므로 입을 벌리는 것을 연습해야 한다. 따라서 동작 인식부(20)를 이용하여 입을 벌린 모양을 분석함으로써 이를 게임에 활용할 수 있다.
도 3은 동작 인식부가 근거리에서 구강 움직임을 인식하는 과정을 나타낸 예시도이다. 도 3을 참고하면, 동작 인식부(20)는 사용자가 입을 크게 벌렸는지(아/어) 입을 오므렸는지(오/우) 입을 옆으로 길게 벌렸는지(으/이) 등을 인식할 수 있으며, 입을 오므리거나 벌리는 모습을 정량적으로 계산할 수 있다.
동작 인식부(20)는 입술의 몇 개 부위(예를 들어 입술 끝점과 위 아래 입술 중앙점 등)를 자동으로 파악하고, 해당 점들을 이어서 입 모양을 만들며, 점들 사이의 간격을 계산하여 입 모양을 인식할 수 있다. 가령 입술 끝점 간의 거리와 위 아래 입술 중앙점 간의 거리를 계산하여 입을 얼마나 크게 벌렸는지 또는 입을 작고 동그랗게 오므렸는지 인식할 수 있다.
도 4는 제1 게임 요소를 나타낸 예시도이다. 도 4에 예시한 제1 게임 요소는 입술 운동 게임으로서 사용자가 입을 크게 벌리는 만큼 캐릭터(예시: 하마)의 입이 벌어지면서 음식(예시: 사과)을 받아서 먹는 과정으로 설정될 수 있다. 음식은 화면 오른쪽에서 캐릭터를 향해 날아오는데, 적절한 때에 입을 기준 이상 크게 벌리는 경우에만 캐릭터가 음식을 먹을 수 있다. 캐릭터가 음식을 먹은 만큼 누적 점수가 데이터베이스(33)에 저장되며, 나중에 점수 이력을 확인하여 입술 운동 효과가 있는지 확인할 수 있다.
또한, 동작 인식부(20)에서 사용자가 입을 얼마나 벌렸는지가 정량적으로 계산되기 때문에 입을 제대로 크게 벌리지 않고 작게 벌리는 경우에도 음식이 캐릭터 입에 들어가지 않게 설정될 수 있다. 디스플레이(41)에 출력되는 게임 화면은 사용자의 얼굴이 표시되는 부분과, 캐릭터가 게임을 진행하는 부분으로 나뉠 수 있으며, 각각의 위치와 크기는 변경 가능하다.
제1 게임 요소는 단어를 정확하게 발음하는 조음 훈련 기능과, 문장을 자연스럽게 정확하게 읽는 유창성 훈련 기능을 포함할 수 있다. 이러한 훈련 과정에서 제어부(30)는 입력받은 음성 정보와 구강 움직임 정보를 분석하여 정량화하고, 출력부(40)를 통해 운동량 및 정확도 측면에서 시각, 청각, 또는 촉각 정보의 형태로 사용자에게 피드백을 제공할 수 있다.
제2 게임 요소는 사용자가 서서하는 게임으로서, 동작 인식부(20)가 몸 동작을 인식한다. 동작 인식부(20)는 사용자의 머리, 어깨, 팔 꿈치, 손, 허리, 무릎, 발 등의 위치를 자동으로 파악하고, 각 점들의 위치 변화를 감지하여 사용자의 몸 동작을 인식할 수 있다.
도 5는 제2 게임 요소를 나타낸 예시도이다. 도 5에 예시한 제2 게임 요소는 단어 훈련 게임으로서 두 팔을 벌리며 몸짓을 크게 하면서 목소리를 크게 내고, 몸을 움츠리면서 목소리를 작게 내는 과정으로 설정될 수 있다. 디스플레이(41)에 출력되는 게임 화면은 사용자의 몸 동작을 보여주는 부분과, 게임을 진행하는 부분으로 나뉠 수 있으며, 각각의 위치와 크기는 변형 가능하다.
게임을 진행하는 부분에서는 두 개의 캐릭터가 표시될 수 있다. 제1 캐릭터는 사용자에게 따라 할 몸 동작을 안내하는 캐릭터(예시: 박스 모양의 괴물)이고, 제2 캐릭터는 사용자의 음성 및 원거리 동작 정보에 따라 움직이는 캐릭터(예시: 고양이)이다.
사용자는 제1 캐릭터를 따라 두 팔을 벌리면서 특정 소리를 크게 외치면 잠자는 제2 캐릭터를 깨울 수 있다. 소리를 크게 하고 동작을 정확하게 따라 할수록 제2 캐릭터가 더 크게 놀라서 더 높이 펄쩍 뛰어 오르도록 설정될 수 있다. 또한, 사용자가 소리를 크게 내지 못하고 동작을 제대로 따라 하지 못하면 제2 캐릭터가 잠시 깼다가 다시 눕도록 설정될 수 있다.
전술한 제1 게임 요소와 제2 게임 요소는 혼자 하기와 함께 하기 메뉴를 포함할 수 있다. 함께 하기 메뉴의 경우 음성 인식부(10)는 두 명 이상 사용자의 음성을 인식하고, 소리 분석 및 특성 추출부(34)는 사용자 각각의 소리 특성을 정량적인 수치로 변환하여 출력한다. 동작 인식부(20)는 제1 게임 요소의 경우 두 명 이상 사용자의 얼굴 표정이나 입 동작을 인식하고, 제2 게임 요소의 경우 두 명 이상 사용자의 몸 동작을 인식한다.
그리고 게임 프로그램 처리부(32)는 두 개 이상의 서로 다른 음성의 강도, 피치, 포먼트 등을 비교하여 사용자마다 하나의 캐릭터를 할당함으로써 다양한 게임 요소를 제공할 수 있다. 또한, 게임 프로그램 처리부(32)는 데이터베이스(33)에 저장된 개인별 음성 특성 정보에 기반하여 사용자의 개별 점수와 그룹 전체의 점수를 제공할 수 있다.
언어 치료용 게임 장치(100)는 일인 치료 및 그룹 치료가 가능하며, 그룹 치료의 경우 언어 치료와 사회적 활동을 병행할 수 있으므로 언어 장애인의 사회성 향상에 기여할 수 있다. 그룹 게임은 시합, 협동, 가이드 등 다양한 방식의 게임으로 진행될 수 있는데, 치료 대상자들 간의 시합 게임, 협동 게임, 치료사의 가이드 소리를 따라 하는 가이드 게임 등으로 구현될 수 있다.
도 6a는 본 실시예에 따른 언어 치료용 게임 장치의 상위 메뉴 구성을 나타낸 예시도이고, 도 6b는 도 6a의 상위 메뉴 중 준비 운동의 하위 메뉴 구성을 나타낸 예시도이다. 그리고 도 6c는 상위 메뉴 중 조음 훈련 및 유창성 훈련을 위한 게임 목록을 나타낸 예시도이다.
본 실시예의 언어 치료용 게임 장치(100)는 언어 치료 방식에 사회적 및 신체적 활동을 포함시키고 게임을 접목시킨 것을 특징으로 한다. 따라서 조음 및 유창성 장애인의 치료 동기를 높이고, 치료 분위기를 활성화시키며, 치료 효과를 향상시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.
100: 언어 치료용 게임 장치 10: 음성 인식부
11: 노이즈 필터링부 20: 동작 인식부
30: 제어부 31: 전원부
32: 게임 프로그램 처리부 33: 데이터베이스
34: 소리 분석 및 특성 추출부 35: 게임 설정부
40: 출력부 41: 디스플레이
42: 스피커 43: 촉각 피드백 장치
44: 진동 소자

Claims (13)

  1. 한 명 이상 사용자의 목소리를 감지하는 음성 인식부;
    한 명 이상 사용자의 동작을 감지하며, 설정에 따라 근거리에서 사용자의 구강 움직임을 인식하거나 원거리에서 사용자의 몸 동작을 인식하는 동작 인식부;
    게임 소프트웨어를 내장하며 상기 음성 인식부로부터 제공받은 음성 정보 및 상기 동작 인식부로부터 제공받은 동작 정보와 연계된 게임을 수행하는 게임 프로그램 처리부를 포함하는 제어부; 및
    상기 제어부의 출력 신호에 따라 게임 및 치료와 관련된 시각 및 청각 정보를 출력하는 출력부
    를 포함하며,
    상기 게임 프로그램 처리부와 상기 출력부는 사용자의 음성 정보 및 근거리 동작 정보와 연계된 제1 게임 요소와, 사용자의 음성 정보 및 원거리 동작 정보와 연계된 제2 게임 요소 중 어느 하나를 제공하는 언어 치료용 게임 장치.
  2. 제1항에 있어서,
    상기 음성 인식부는 노이즈 필터링부를 포함하는 언어 치료용 게임 장치.
  3. 제2항에 있어서,
    상기 제어부는 전원부, 데이터베이스, 소리 분석 및 특성 추출부, 및 게임 설정부를 더 포함하는 언어 치료용 게임 장치.
  4. 제3항에 있어서,
    상기 소리 분석 및 특성 추출부는 상기 노이즈 필터링부로부터 노이즈가 제거된 음성 정보를 제공받으며, 제공받은 음성 정보를 분석하여 소리의 크기, 높낮이, 및 지속 중 적어도 하나를 포함하는 소리 특성을 정량적인 수치 정보로 변환하여 상기 게임 설정부로 출력하는 언어 치료용 게임 장치.
  5. 제4항에 있어서,
    상기 게임 설정부는 상기 소리 분석 및 특성 추출부로부터 제공받은 정량적인 수치 정보를 상기 데이터베이스에 저장된 초기 값과 비교하여 상기 게임 프로그램 처리부의 게임 수행에 필요한 게임 값을 상대적인 값으로 변환시키는 언어 치료용 게임 장치.
  6. 제5항에 있어서,
    상기 초기 값은 상기 데이터베이스에 입력된 해당 사용자의 목소리 특성으로서 기본적인 음역 폭과 소리 크기의 정보를 포함하는 언어 치료용 게임 장치.
  7. 제1항에 있어서,
    상기 출력부는 디스플레이와 스피커 및 촉각 피드백 장치를 포함하며,
    상기 게임 프로그램 처리부는 상기 촉각 피드백 장치로 촉각 피드백 신호를 출력하여 사용자에게 촉각 피드백을 제공하는 언어 치료용 게임 장치.
  8. 삭제
  9. 음성 인식부와 동작 인식부 각각에서 사용자의 목소리와 동작을 인식하여 음성 정보 및 동작 정보를 출력하는 제1 단계;
    소리 분석 및 특성 추출부에서 상기 음성 정보를 분석하여 소리의 크기, 높낮이, 및 지속 중 적어도 하나를 포함하는 소리 특성을 정량적인 수치 정보로 변환하는 제2 단계;
    게임 프로그램 처리부에서 상기 동작 정보 및 상기 정량적인 수치 정보를 제공받아 동작 및 음성 정보와 연계된 게임을 수행함과 아울러 출력부에서 게임 화면을 포함한 시각 및 청각 정보를 사용자에게 제공하는 제3 단계
    를 포함하며,
    상기 제1 단계에서 상기 동작 인식부는 설정에 따라 근거리에서 사용자의 구강 움직임을 인식하거나 원거리에서 사용자의 몸 동작을 인식하고,
    상기 제3 단계에서 상기 게임 프로그램 처리부와 상기 출력부는 사용자의 음성 정보 및 근거리 동작 정보와 연계된 제1 게임 요소와, 사용자의 음성 정보 및 원거리 동작 정보와 연계된 제2 게임 요소 중 어느 하나를 제공하는 게임 방법.
  10. 제9항에 있어서,
    상기 제1 단계 이전에 데이터베이스에 사용자별 목소리 특성이 초기 값으로 저장되고,
    상기 제3 단계에서 게임 설정부가 상기 정량적인 수치 정보를 상기 초기 값과 비교하여 상기 게임 프로그램 처리부의 게임 수행에 요구되는 게임 값을 상대적인 값으로 변환하는 게임 방법.
  11. 제10항에 있어서,
    상기 제1 단계에서 제어부는 제공받은 음성 정보 및 동작 정보를 분석하여 정량화하며, 상기 출력부를 통해 사용자에게 피드백 신호를 제공하는 게임 방법.
  12. 제11항에 있어서,
    상기 음성 인식부는 두 명 이상 사용자의 음성을 각각 인식하고,
    상기 소리 분석 및 특성 추출부는 사용자 각각의 소리 특성을 정량적인 수치 정보로 변환하며,
    상기 동작 인식부는 두 명 이상 사용자의 구강 움직임과 몸 동작 중 어느 하나를 각각 인식하는 게임 방법.
  13. 제12항에 있어서,
    상기 게임 프로그램 처리부는 두 개 이상의 서로 다른 음성의 강도, 피치, 포먼트를 비교하여 사용자마다 하나의 캐릭터를 할당하며, 상기 데이터베이스에 저장된 개인별 음성 특성 정보에 기반하여 사용자의 개별 점수와 그룹 전체의 점수를 제공하는 게임 방법.
KR1020140051043A 2014-04-28 2014-04-28 언어 치료용 게임 장치 및 게임 방법 KR101598955B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140051043A KR101598955B1 (ko) 2014-04-28 2014-04-28 언어 치료용 게임 장치 및 게임 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140051043A KR101598955B1 (ko) 2014-04-28 2014-04-28 언어 치료용 게임 장치 및 게임 방법

Publications (2)

Publication Number Publication Date
KR20150124561A KR20150124561A (ko) 2015-11-06
KR101598955B1 true KR101598955B1 (ko) 2016-03-03

Family

ID=54600874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140051043A KR101598955B1 (ko) 2014-04-28 2014-04-28 언어 치료용 게임 장치 및 게임 방법

Country Status (1)

Country Link
KR (1) KR101598955B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080638A1 (ko) * 2018-10-17 2020-04-23 삼성전자(주) 전자장치 및 그 제어방법
KR102157225B1 (ko) 2019-03-29 2020-09-18 춘해보건대학교 산학협력단 언어재활훈련용 거울 어셈블리

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052186B1 (ko) 2016-08-25 2019-12-04 포항공과대학교 산학협력단 스마트 나조미터 시스템
US10692397B2 (en) 2016-08-25 2020-06-23 Postech Academy-Industry Foundation Smart nasometer
KR101973791B1 (ko) * 2017-07-10 2019-04-29 조희정 말소리 교정 방법
EP3789092A1 (en) * 2019-09-08 2021-03-10 Catja Eikelberg Method of training oral motor function in a handheld device
KR102434912B1 (ko) 2022-01-24 2022-08-23 주식회사 하이 신경언어장애를 개선하는 방법 및 장치
KR20230132248A (ko) 2022-03-08 2023-09-15 (주)휴머노피아 스마트 나조미터

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101160868B1 (ko) * 2010-02-19 2012-07-12 (주) 엔투유 제스처 제어를 이용한 동물 매개 치료 시스템 및 동물 매개 치료 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3899498B2 (ja) * 1997-11-12 2007-03-28 株式会社セガ ゲーム機
KR100893669B1 (ko) * 2007-08-05 2009-04-17 강원대학교산학협력단 가상현실 기반의 햅틱 시스템
KR20090063566A (ko) * 2007-12-14 2009-06-18 송옥기 음성인식 게임장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101160868B1 (ko) * 2010-02-19 2012-07-12 (주) 엔투유 제스처 제어를 이용한 동물 매개 치료 시스템 및 동물 매개 치료 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080638A1 (ko) * 2018-10-17 2020-04-23 삼성전자(주) 전자장치 및 그 제어방법
KR102157225B1 (ko) 2019-03-29 2020-09-18 춘해보건대학교 산학협력단 언어재활훈련용 거울 어셈블리

Also Published As

Publication number Publication date
KR20150124561A (ko) 2015-11-06

Similar Documents

Publication Publication Date Title
KR101598955B1 (ko) 언어 치료용 게임 장치 및 게임 방법
US11517254B2 (en) Method and device for detecting speech patterns and errors when practicing fluency shaping techniques
US9031293B2 (en) Multi-modal sensor based emotion recognition and emotional interface
Ogden Introduction to English phonetics
Crystal How language works: How babies babble, words change meaning, and languages live or die
CN107301863A (zh) 一种聋哑儿童言语障碍康复方法及康复训练系统
KR102052186B1 (ko) 스마트 나조미터 시스템
KR102434912B1 (ko) 신경언어장애를 개선하는 방법 및 장치
JP2022089138A (ja) ソリューション提供システム
EP2924676A1 (en) Hearing-based adaptive training systems
CN107452370A (zh) 一种中文鼻韵母发音障碍患者的判断装置的使用方法
Lewandowski et al. The relationship between voice and breathing in the assessment and treatment of voice disorders
KR101967849B1 (ko) 섀도윙과 속청을 결합시켜 모국어 습득과정을 모사한 외국어 학습 방법, 장치 및 프로그램 기록매체
Johnstone The effect of emotion on voice production and speech acoustics
KR101926328B1 (ko) 음성인식기반 의사소통훈련 서비스장치 및 시스템
DeVore et al. The voice book: Caring for, protecting, and improving your voice
KR102432132B1 (ko) 뇌세포 자극어플리케이션 제공 서버 및 방법, 뇌세포 자극 어플리케이션용 키보드
KR101471741B1 (ko) 보컬프랙틱 시스템
JP6502865B2 (ja) 会話支援システム、会話支援装置及び会話支援プログラム
Schipor Improving computer assisted speech therapy through speech based emotion recognition
US20150380012A1 (en) Speech rehabilitation assistance apparatus and method for controlling the same
KR100554891B1 (ko) 동작과 감각을 활용한 외국어 운율학습장치 및 그 방법
KR100582229B1 (ko) 복식 호흡 교정기 및 이를 이용한 말더듬 치료기
US20240071601A1 (en) Method and device for controlling improved cognitive function training app
Pikes The pre-verbal voice

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200212

Year of fee payment: 5