KR20120097098A - 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치 - Google Patents
생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치 Download PDFInfo
- Publication number
- KR20120097098A KR20120097098A KR1020110016444A KR20110016444A KR20120097098A KR 20120097098 A KR20120097098 A KR 20120097098A KR 1020110016444 A KR1020110016444 A KR 1020110016444A KR 20110016444 A KR20110016444 A KR 20110016444A KR 20120097098 A KR20120097098 A KR 20120097098A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- index
- emotion
- user
- information
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 79
- 230000000694 effects Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 21
- 210000004556 brain Anatomy 0.000 claims abstract description 14
- 238000002474 experimental method Methods 0.000 claims abstract description 12
- 230000006872 improvement Effects 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims description 27
- 230000002996 emotional effect Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 24
- 230000008909 emotion recognition Effects 0.000 claims description 24
- 230000035945 sensitivity Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 206010041349 Somnolence Diseases 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000007177 brain activity Effects 0.000 claims description 7
- 208000032140 Sleepiness Diseases 0.000 claims description 6
- 230000037321 sleepiness Effects 0.000 claims description 6
- 238000001881 scanning electron acoustic microscopy Methods 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 8
- 230000036544 posture Effects 0.000 description 11
- 239000003795 chemical substances by application Substances 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 208000014085 Chronic respiratory disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000004166 bioassay Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000003503 early effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000001631 hypertensive effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Strategic Management (AREA)
- Epidemiology (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
생체 감성 지표(BEI) 및 사용자의 상황 정보로부터 생성된 학습 감성 지표(SEI)에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치가 제공된다. 유비쿼터스-러닝용 학습 효과 향상 장치는, 사용자의 생체 신호로부터 사용자의 두뇌 상태에 관련된 생체 감성 지표(BEI)를 생성하기 위한 감성 인식 모듈(SEAM), 사용자의 주변 상황에 대한 상황 정보를 생성하기 위한 상황 인식 모듈(LEAM), 복수의 사용자들에 대하여 실시된 실험으로부터 얻어진 생체 감성 지표(BEI) 및 학습 감성 지표(SEI) 간의 상관 관계를 나타내는 표준 지표 데이터를 저장하는 표준 정보 데이터베이스, 및 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보에 기반하여 학습 감성 지표(SEI)를 생성하기 위한 미들웨어부를 포함한다. 또한, 미들웨어부는 감정 인식 모듈 및 상황 인식 모듈로부터 생체 감성 지표(BEI) 및 상황 정보를 각각 수신하기 위한 통신 모듈, 및 수신된 생체 감성 지표(BEI) 및 상황 정보를 표준 지표 데이터를 참조하여 분석하고, 분석 결과에 기반하여 사용자의 학습 감성 지표(SEI)를 생성하는 감성/상황 지표 분석 처리 모듈을 포함하고, 통신 모듈은 생체 감성 지표(BEI), 학습 감성 지표(SEI) 및 상황 정보 중 적어도 하나를 외부 학습 장치로 출력하도록 구성된다.
Description
본 발명은 유비쿼터스-러닝 산업 분야에 관련된 것으로서, 특히, 사용자의 신체 상태에 관련된 생체 감성 지표 및 사용자의 주변 환경을 나타내는 상황 정보로부터 현재 학습 중인 사용자의 집중도에 관련된 학습 감성 지표를 생성하고, 생성된 학습 감성 지표(SEI)를 이용하여 제공되는 학습 콘텐츠를 변경하는 등의 2차적인 환경 변화를 통하여 사용자의 집중도를 유지함으로써 학습 효과를 향상하기 위한 유비쿼터스-러닝용 학습 효과 향상 장치에 관련된다.
유비쿼터스-러닝 또는 유-러닝이란, 'Ubiquitous Learning'을 의미하는 것으로서, 인터넷을 이용하여 언제 어디서나 학습할 수 있는 교육 시스템을 나타낸다. 특히, 유비쿼터스-러닝이란 인터넷을 이용한 이-러닝(e-learning)이 진화 발전되어 생겨난 개념으로, 정보통신기술의 발전에 힘입어 언제 어디서나 자유롭게 네트워크에 연결되어 공부할 수 있는 유비쿼터스 컴퓨팅 기반의 학습을 지칭한다. 특히, 한국교육학술정보원에서 추진하고 있는 u-School 시범 학교 운영과 디지털 교과서 제공 등으로 점차 유-러닝이 현실화되고 있다.
유비쿼터스-러닝 시장의 규모는 점점 커지고 있다. 특히, 고속 통신 기술의 발달에 힘입어 뇌파를 활용한 집중력 향상 프로그램이 급속히 보급되고 있는 상황이다. 예를 들어, 국내 개인 이러닝 이용자 전체가 2009년 한 해 동안 이러닝에 지출한 금액은 총 9,454억원으로 추정되며, 2008년 8,168억원 대비 1300억원 약 17.5% 증가한 것을 알 수 있다. 특히, 유비쿼터스-러닝이 신속히 보급될 것으로 기대되는 미국, 일본, 독일, 영국, 프랑스, 이탈리아 등의 나라만 고려하더라도, 이들이 국외 시장 규모를 결정한다고 가정할 수 있다. 그러면, 이들 나라의 총 인구 수는 대략 6억8천만 명(2003년) 수준이며, 비슷한 시기 한국의 인구는 4천8백만 명이므로 인구 비는 대략 14 정도가 된다. 즉, 유비쿼터스-러닝 시장에 관여하는 국외 인구가 국내 인구의 14배 수준이라는 것을 알 수 있다. 또한, 세계 유-러닝 시장은 연평균 성장률 20%대의 고성장을 지속하고 있으며, 2007년 295.9천억 원의 시장 규모로 성장하고 있다.
이러한 유비쿼터스-러닝의 발달에 힘입어, 다양한 콘텐츠에 다양한 플랫폼을 통하여 접근하는 것이 가능해졌다. 특히, 상대적으로 열악한 교육 환경에 노출되었던 사람들도 네트워크의 보급에 힘입어 양호한 교육 콘텐츠에 접근하는 것이 가능하다. 이러한 변화는 가히 교육 평등의 실현이라고 불릴만하다 할 것이다.
그런데, 이러한 장점들에도 불구하고 유비쿼터스-러닝에는 다음과 같은 몇 가지 단점이 존재한다.
우선, 직접 대면하여 강의를 진행하는 종래의 방식에 비하여 접근 용이성이 있는 반면에, 유비쿼터스-러닝의 소비자가 수업 도중에 일정한 집중도를 유지하는 것이 용이하지 않다. 즉, 학교에서는 교사와 직접 대면하여 수업을 받기 때문에 긴장하게 되나, 자신의 방의 컴퓨터 앞에서 공부하는 경우 집중하기 어려운 측면이 있다.
심지어, 유비쿼터스-러닝 시스템을 이용하는 것 자체에 커다란 노력이 필요할 수 있다. 즉, 유비쿼터스-러닝의 경우 사용자가 교육 정보에 용이하게 접근할 수 있다는 장점을 가지는 반면, 시스템 자체를 이용하는 지 또는 사용자가 얼마나 집중하여 콘텐츠를 이용하는지와 같은 것은 전적으로 사용자에게 의존한다. 그 결과, 유비쿼터스-러닝의 초기 효과는 그다지 좋지 않은 것이 사실이다. 심지어, 한국 중고생들의 학습 효율성은 OECD 30개국 중 24위에 지나지 않는다고 한다(한국직업능력개발원, 2008). 이것은 단지 열심히 공부하는 것보다 현명한 방식으로 공부하도록 하는 것이 훨씬 효과적이라는 것을 암시한다.
따라서, 유비쿼터스-러닝 시스템에서 사용자들이 일정한 집중도를 유지하도록 유지함으로써 결과적으로 학습 효과를 향상시키기 위한 기술이 절실히 요구된다. 이 과정에서, 본 발명에 의한 유비쿼터스 시스템은 학습 과정에서 개별적 생체 신호에 기반한 감성 정보를 활용하여 효율적인 학습을 유도할 수 있다.
더 나아가, 유비쿼터스 환경에서 동작하는 유-러닝의 장점을 살려 사용자의 현재 상황 정보를 참조하여 학습 콘텐츠를 제공하는 기술도 필요하다. 예를 들어, 사용자가 강의를 청취하는 동안 사용자의 강의 청취 자세를 모니터링할 수 있다고 가정한다. 그러면, 상황 정보를 분석한 결과 사용자가 졸린 상태라면 현재 진행 중인 콘텐츠 재생을 일시 정지할 수 있다.
그러므로, 생체 정보 뿐만 아니라 상황 정보를 더 이용하여 학습 중인 사용자의 학습 감성 지표(SEI)를 측정함으로써, 궁극적으로 사용자의 학습 효과를 극대화하기 위한 기술이 절실히 요구된다.
본 발명의 목적은 사용자의 뇌파와 같은 생체 정보 및 상황 정보를 감지할 수 있는 감정 인식 모듈 및 상황 인식 모듈로부터 수신되는 정보를 이용하여 학습자의 감성 및 상황 정보를 지표화 하고 이를 기반으로 콘텐츠를 추천하여 학습 효과를 증대 시킬 수 있는 유비쿼터스-러닝 장치를 제공하는 것이다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 사용자 신체 상태에 관련된 생체 감성 지표(Body Emotion Index, BEI) 및 사용자의 주변 상황에 관련된 상황 정보(context information)로부터 생성된 사용자의 학습 집중도에 관련된 학습 감성 지표(Study Emotion Index, SEI)에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝(이하 '유-러닝')용 학습 효과 향상 장치에 관한 것이다. 본 발명에 의한 유비쿼터스-러닝용 학습 효과 향상 장치는, 사용자의 생체 신호로부터 사용자의 두뇌 상태에 관련된 생체 감성 지표(BEI)를 생성하기 위한 감성 인식 모듈(Student Emotion Acknoledgement Module, SEAM), 사용자의 주변 상황에 대한 상황 정보를 생성하기 위한 상황 인식 모듈(Learning Environment Acknowledge Module, LEAM), 복수의 사용자들에 대하여 실시된 실험으로부터 얻어진 생체 감성 지표(BEI) 및 학습 감성 지표(SEI) 간의 상관 관계를 나타내는 표준 지표 데이터(standard index data)를 저장하는 표준 정보 데이터베이스, 및 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보에 기반하여 학습 감성 지표(SEI)를 생성하기 위한 미들웨어부를 포함하며, 미들웨어부는 감정 인식 모듈 및 상황 인식 모듈로부터 생체 감성 지표(BEI) 및 상황 정보를 각각 수신하기 위한 통신 모듈, 및 수신된 생체 감성 지표(BEI) 및 상황 정보를 표준 지표 데이터를 참조하여 분석하고, 분석 결과에 기반하여 사용자의 학습 감성 지표(SEI)를 생성하는 감성/상황 지표 분석 처리 모듈을 포함하며, 통신 모듈은 생체 감성 지표(BEI), 학습 감성 지표(SEI) 및 상황 정보 중 적어도 하나를 외부 학습 장치로 출력하도록 구성된다. 특히, 미들웨어부는 실시간으로 사용자들의 생체 감성 지표(BEI) 및 상황 정보를 모니터링하고, 생체 감성 지표(BEI) 및 상황 정보의 변화량을 측정하는 감성/상황 지표 모니터링 모듈을 더 포함하고, 감성/상황 지표 분석 처리 모듈은, 감성/상황 지표 모니터링 모듈로부터 수신된 변화량을 더욱 참조하여 생체 감성 지표(BEI) 및 상황 정보를 분석하고, 분석 결과에 기반하여 사용자의 학습 감성 지표(SEI)를 생성하도록 적응된다. 더 나아가, 유비쿼터스-러닝용 학습 효과 향상 장치는 외부 학습 장치에 의하여 사용자에게 현재 제공되는 콘텐츠를 식별하고, 사용자의 학습 상태 및 이벤트를 실시간으로 검출하기 위한 학습 어댑터(study adaptor)를 더 포함하고, 학습 어댑터는 통신 모듈을 통하여 송신된 학습 감성 지표(SEI)를 수신하고, 수신된 학습 감성 지표(SEI)를 외부 학습 장치에 표시하며, 수신된 학습 감성 지표(SEI)를 분석한 결과에 따라 외부 학습 장치가 콘텐츠를 수정 또는 변경하도록 야기하도록 적응되는 것을 특징으로 한다. 그리고, 감성/상황 지표 분석 처리 모듈은 집중도, 산만도, 및 졸림 정도 중 적어도 하나를 학습 감성 지표(SEI)로서 생성하도록 적응된다. 또한, 감성 인식 모듈(SEAM)은 뇌파(EEG), 안전도(EOG), 심박 변이도(HRV) 중 적어도 하나를 포함하는 생체 신호를 이용하여 사용자의 생체 감성 지표(BEI)를 연산하도록 적응되며, 생체 감성 지표(BEI)는 집중, 이완, 부하, 주의, 좌뇌 활성도, 우뇌 활성도, 및 좌우뇌 불균형도 중 적어도 하나를 포함한다. 더 나아가, 상황 인식 모듈(LEAM)은 USN(Ubiquitous Sensor Network)을 이용하여 온도 정보, 습도 정보, 사용자 자세 정보 및 GPS 위치 신호 중 적어도 하나를 측정하고 측정된 정보를 상황 정보로서 제공하도록 적응된다. 특히, 외부 학습 장치는 사용자에게 제공되는 학습 콘텐츠와 함께 수신된 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 표시하는 동작, 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보에 기반하여 사용자의 집중도를 판단하여 표시하는 동작, 및 판단된 집중도가 소정 문턱치 이하일 경우 사용자에게 경고 메시지를 제공하거나 제공되는 학습 콘텐츠를 변경하는 동작을 수행하도록 적응되는 것을 특징으로 한다.
본 발명에 의하여, 유비쿼터스-러닝용 학습 효과 향상 장치는 미들웨어 장치로부터 수신되는 학습 감성 지표(SEI)에 기반하여 학습 효과 향상 장치에 포함되는 사용자에게 적합한 콘텐츠를 추천하여 학습 효과를 증대 시킬 수 있다.
또한, 본 발명에 의한 학습 효과 향상 장치에 포함되는 미들웨어 장치는 다양한 장치들과 공통적으로 동작되는 통신부를 포함하기 때문에, 사용자가 어떠한 타입의 유비쿼터스-러닝용 학습 효과 향상 장치를 이용하거나 감정 인식 모듈 및 상황 인식 모듈을 이용하는지와 무관하게 다양한 플랫폼에서 동작하는 유비쿼터스-러닝용 학습 효과 향상 시스템에 공통적으로 적용될 수 있다.
그러므로, 본 발명에 의한 학습 효과 향상 장치는 미들웨어 장치를 이용하기 때문에 비용이 개발 비용이 절감된다.
도 1은 본 발명에 의한 학습 효과 향상 장치의 구성 및 동작을 개념적으로 나타내는 도면이다.
도 2는 본 발명에 의한 학습 효과 향상 장치의 제1 실시예를 개념적으로 도시하는 블록도이다.
도 3은 본 발명에 의한 학습 효과 향상 장치의 제2 실시예를 개념적으로 도시하는 블록도이다.
도 4는 본 발명에 의한 학습 효과 향상 장치의 동작 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 의한 학습 효과 향상 장치에서 이용되는 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 예시하는 표들이다.
도 6은 표준 지표 데이터를 구하기 위한 실험 결과를 예시하는 도면이다.
도 7은 본 발명에 의한 학습 효과 향상 장치에서 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 측정하는 실행 화면을 예시하는 스크린 샷이다.
도 2는 본 발명에 의한 학습 효과 향상 장치의 제1 실시예를 개념적으로 도시하는 블록도이다.
도 3은 본 발명에 의한 학습 효과 향상 장치의 제2 실시예를 개념적으로 도시하는 블록도이다.
도 4는 본 발명에 의한 학습 효과 향상 장치의 동작 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 의한 학습 효과 향상 장치에서 이용되는 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 예시하는 표들이다.
도 6은 표준 지표 데이터를 구하기 위한 실험 결과를 예시하는 도면이다.
도 7은 본 발명에 의한 학습 효과 향상 장치에서 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 측정하는 실행 화면을 예시하는 스크린 샷이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명에 의한 미들웨어 장치가 동작하는 학습 효과 향상 장치의 구성 및 동작을 개념적으로 나타내는 도면이다.
도 1을 설명하면 다음과 같다. 우선, 사용자는 웹을 통하여 학습 효과 향상 장치에 로그인 한다(단계 1). 그러면, 학습 효과 향상 장치는 로그인한 사용자의 학습자 정보를 미들웨어 장치로 전달한다(단계 2).
미들웨어 장치는 로그인한 사용자가 이용하는 학습자 기기를 인식하고(단계 3), 사용자가 사용하는 학습자 기기는 사용자가 학습하는 동안 학습자의 생체 감성 지표(BEI) 및 상황 정보를 측정하여 미들웨어 장치로 전송한다(단계 4). 학습자 기기는 이러한 동작을 수행하기 위한 센서 모듈을 포함할 수 있다. 본 발명에서, 생체 감성 지표(Bio-signal Emotion Index, BEI)란 학습중인 사용자의 현재 신체 상태와 관련되는 정보를 나타내며, 이에 대해서는 명세서의 해당 부분에서 상세히 후술된다.
또한, 본 발명에서 상황 정보(context information)란 유비쿼터스 컴퓨팅과 관련하여 사용자와 다른 사용자, 시스템, 혹은 어플리케이션 간의 상호 작용에 영향을 미치는 사람, 장소, 사물, 개체, 시간 등 상황(situation)의 특징을 규정하는 정보를 가리킨다. 좀 더 구체적으로는 네트워크 연결 상태, 통신 대역폭과 같은 컴퓨팅 상황(computing situation), 사용자의 프로파일, 위치, 주변의 사람들을 비롯한 사용자 상황(user situation), 조명, 소음 레벨, 교통 상태, 온도 등 물리적 상황(physical situation), 시간, 주, 달, 계절 등 시간적 상황(time situation) 등이 모두 상황 정보에 포함된다. 이러한 상황 정보들은 다양한 감지 장치와 어플리케이션을 통해 파악되고 모아져 다양한 응용 서비스 제공에 이용되거나, 다른 상황 정보와 묶여 제3의 결론을 얻는 추론에 사용되기도 한다. 특히, 본 명세서에서 상황 정보란 사용자의 건강 상태, 신원 정보, 학습 수준, 성적 등과 같은 개인적인 정적 상황 정보 및 현재 사용자가 제공되는 콘텐츠를 얼마나 잘 따라하는지에 대한 동적 상황 정보를 포함할 수 있다. 즉, 정적 상황 정보는 개인의 개성과 특성에 관련되며, 동적 상황 정보는 사용자의 상태로부터 실시간으로 획득되는 정보에 관련된다.
또한, 본 명세서에서 학습 감성 지표(Study Emotion Index, SEI)란 사용자의 현재 집중도와 같이 학습과 직접 관련되는 지표를 나타낸다. 본 발명에 따르는 미들웨어 장치의 주된 동작은 사용자의 학습 상태에 따른 학습 감성 지표(SEI)를 측정하여 이에 기반하여 능동적으로 사용자에게 제공되는 서비스를 변경하도록 유도하는 것이다. 학습 감성 지표(SEI)에 대한 구체적 예에 대해서는 명세서의 해당 부분에서 상세히 후술된다.
다시 도 1을 참조하면, 감성 헤드셋이 감성 인식 모듈(Student Emotion Acknowledgement Module, SEAM)로서 이용되고, 환경 센서가 상황 인식 모듈(Learning Environment Acknowledge Module, LEAM)로서 이용된다.
그러면, 미들웨어 장치는 센서 모듈로부터 수신한 생체 감성 지표(BEI) 및 상황 정보를 분석하고 처리한다(단계 5). 이 이 과정에서 데이터베이스로부터 수신된 표준 지표 데이터(standard index data)가 이용될 수 있다(단계 6). 본 명세서에서 '표준 지표 데이터'란 여러 사용자의 생체 정보 및 집중도 간의 관련성에 대한 평균을 나타내는 데이터이다. 따라서, 표준 지표 데이터를 이용하면 생체 감성 지표(BEI)로부터 사용자별 학습 감성 지표(SEI)를 용이하고 정확하게 측정할 수 있는 장점을 가진다. 도 1에서, 표준 지표 데이터는 집중도, 안정도, 몰입도, 맥파, 스트레스, 및 상황 정보를 포함하는 것으로 도시되었으나, 이는 설명의 편의를 위한 것으로서, 본 발명을 한정하는 것이 아님에 주의하여야 한다.
미들웨어 장치가 표준 지표 데이터를 이용하여 사용자 개인의 학습 감성 지표(SEI)를 산출하면(단계 7), 미들웨어 장치는 산출된 학습 감성 지표(SEI)를 학습 지원 에이전트로 전송한다(단계 8). 그러면, 학습 지원 에이전트는 수신된 학습 감성 지표(SEI)를 참조하여 사용자에게 제공되는 콘텐츠를 변경하는 등의 동작을 수행할 수 있다.
이와 같이, 본 발명에 의한 학습 효과 향상 장치에서는 학습 중인 현재 사용자의 생체 감성 지표(BEI)는 물론, 학습 감성 지표(SEI)를 참조하여 해당 사용자의 집중도가 감소되는 것을 방지할 수 있다.
또한, 본 발명에 의하면 사용자가 이용하는 학습자 기기가 어떤 것이던지 무관하게 공통의 미들웨어 장치를 이용하여 학습 감성 지표(SEI) 제공 서비스를 제공할 수 있다.
도 2는 본 발명에 의한 학습 효과 향상 장치의 제1 실시예를 개념적으로 도시하는 블록도이다.
도 2에 도시된 학습 효과 향상 장치(200)는 감정 인식 모듈(210), 상황 인식 모듈(230), 미들웨어 모듈(250), 학습 어댑터(270) 및 표준 지표 데이터베이스(290)를 포함한다.
우선, 사용자가 외부 학습 장치를 이용하여 학습을 시작하면, 학습 어댑터(270)가 외부 학습 장치에서 실행된다. 학습 어댑터(270)는 미들웨어 모듈(250)과 통신하여 학습 감성 지표(SEI)를 외부 학습 장치에 표시하는 역할을 수행한다. 즉, 학습 어댑터(270)를 어댑터를 통해 학습자가 센서 장치들을 제대로 착용하고 있는지, 감성 학습을 시작할 수 있는 상태인지를 파악할 수 있다. 학습 어댑터(270)를 통해 전달된 신호는 미들웨어 모듈(250)의 감성/상황 지표 분석 처리 모듈로 전달된다. 본 발명에서, 외부 학습 장치란 학습 콘텐츠를 재생하는 콘텐츠 플레이어를 나타낼 수 있다.
학습이 시작되면, 미들웨어 모듈(250)은 감정 인식 모듈(210) 및 상황 인식 모듈(230)로부터 다양한 생체 신호 및 상황 정보를 수신한다. 그러면, 미들웨어 모듈(250)은 수신된 신호들을 분석하여 학습 감성 지표(SEI) 및 상황 지표를 생성한다. 또한, 미들웨어 모듈(250)은 학습 도중에 사용자의 생체 감성 지표(BEI) 및 상황 정보에 변화가 발생하는지를 실시간으로 모니터링할 수 있다.
미들웨어 모듈(250)이 학습 감성 지표(SEI)를 생성하는 데에는 표준 지표 데이터베이스(290)에 저장된 표준 지표 데이터가 이용될 수 있다. 표준 지표 데이터에는 표준 학습 감성 지표 데이터 및 표준 학습 상황 지표 데이터가 포함될 수 있다.
도 2에 도시된 학습 효과 향상 장치(200)에 포함되는 미들웨어 모듈(250)은 사용자 기반으로 사용자의 단말기에 설치되며, 추출된 학습자의 감성/상황 정보로 매핑된 표준 학습 지표는 통신 모듈을 통해 유비쿼터스 러닝 시스템으로 전달되어 활용된다.
도 3은 본 발명에 의한 학습 효과 향상 장치의 제2 실시예를 개념적으로 도시하는 블록도이다.
도 3을 참조하면, 학습 효과 향상 장치(300)는 감정 인식 모듈(310), 센서셋 프로세서(320), 환경 정보 프로세서(325), 상황 인식 모듈(330), 미들웨어 모듈(350), 학습 어댑터(370) 및 표준 지표 데이터베이스(390)를 포함한다.
감정 인식 모듈(310) 및 상황 인식 모듈(330)로부터 수신된 신호들은 미들웨어 모듈(350)로 전달되기 이전에 각각 센서셋 프로세서(320) 및 환경 정보 프로세서(325)를 거친다. 그러면, 센서셋 프로세서(320)는 감정 인식 모듈(310)로부터 전달된 신호 중에서 감성 인식용 생체 신호를 식별한다. 또한, 환경 정보 프로세서(325)는 상황 인식 모듈(330)로부터 수신된 신호들로부터 사용자의 현재 상황을 나타내는 상황 정보를 처리한다. 처리된 생체 감성 지표(BEI) 및 상황 정보는 미들웨어 모듈(350)로 전송된다.
도 3에서, 감정 인식 모듈(310)은 2 개의 뇌파 신호로부터 21개의 뇌파 채널을 생성할 수 있다. 또한, 센서셋 프로세서(320)는 21개의 뇌파 채널을 이용하여 7개의 생체 감성 지표(BEI)를 생성하여 미들웨어 모듈(350)로 전달할 수 있다. 그러면, 미들웨어 모듈(350)은 수신된 생체 감성 지표(BEI) 및 상황 정보를 이용하여 학습 감성 지표(SEI)를 생성할 수 있다. 학습 감성 지표(SEI)는 100점 척도로 환산될 수 있으며, 예를 들어 '졸림' 지표가 60점이 넘을 경우 졸린 것으로 판단할 수 있다. 학습 감성 지표(SEI)를 결정하기 위하여 생체 감성 지표(BEI) 및 상황 정보가 함께 고려된다. 예를 들어, 자세 정보를 분석하여 사용자가 앉아있는 것으로 판단되면, '졸림' 지수가 90점이 넘어야 졸린 상태로 판단할 수 있다. 하지만, 자세 정보를 분석한 결과 사용자가 엎드려 있는 것으로 판단되면, '졸림' 지수가 10점만 넘더라도 졸린 상태로 판단할 수 있다. 도 3에서, 학습 감성 지표(SEI)로는 '집중', '산만', 및 '졸림'이 이용되지만, 본 발명은 이에 한정되는 것이 아니다.
미들웨어 모듈(350)은 학습 어댑터 통신 모듈(351), 감성/상황 기기 통신 모듈(352), 에이전트 통신 모듈(353), 감성/상황 지표 분석 처리 모듈(355), 학습 지표 생성 모듈(357), 및 감성/상황 변화 감지 모듈(359)을 포함한다. 학습 어댑터 통신 모듈(351)은 학습 어댑터(370)의 통신 모듈과 실시간으로 통신 가능하다. 또한, 감성/상황 기기 통신 모듈(352)은 감성 인식 장치(310, 330)와 유선 방식 또는 무선 방식으로 통신할 수 있다. 이 경우 무선 통신 방식은 Zigbee 또는 Bluetooth일 수 있다. 그리고, 에이전트 통신 모듈(353)은 외부 학습 지원 에이전트와의 통신을 담당한다. 이 경우, 에이전트 통신 모듈(353)은 클라이언트/서버 방식의 모듈들을 각각 포함할 수 있다.
미들웨어 모듈(350)에 포함되는 감성/상황 지표 분석 처리 모듈(355)은 감정 인식 모듈(310)로부터 전송된 생체 감성 지표(BEI)를 분석 처리하여 학습 감성 지표(SEI)를 생성한다. 또한, 감성/상황 지표 분석 처리 모듈(355)은 상황 인식 모듈(330)로부터 수신된 상황 정보를 분석하여 학습 상황 지표를 생성한다. 그러면, 이 때, 생체 감성 지표(BEI) 및 상황 정보에 변동이 발생하는지 여부는 감성/상황 변화 감지 모듈(359)에 의하여 모니터링된다. 모니터링 결과는 감성/상황 지표 분석 처리 모듈(355) 또는 외부 학습 장치로 전송될 수 있다.
도 3에서, 표준 지표 데이터베이스(390)는 상황 및 감성 표준 정보를 저장한다. 더 구체적으로는, 표준 지표 데이터베이스(390)는 데이터베이스 관리자(395)를 포함할 수 있다. 데이터베이스 관리자(395)는 저장된 감성/상황 지표를 표준화하고 학습자를 분류한다. 또한, 데이터베이스 관리자(395)는 추출된 감성/상황 지표의 통계 검증 동작과, 감성/상황 지표의 분석에 따른 유의미한 자료 추출 동작을 수행할 수 있다. 이를 통하여, 데이터베이스 관리자(395)는 학습자의 감성/상황 데이터를 수집할 수 있다.
학습 어댑터(370)는 학습자 정보 및 콘텐츠 정보를 인식하고, 사용자의 학습 상태 변화를 감지하여 외부 학습 장치에 변화된 상태를 전송한다. 또한, 학습 어댑터(370)는 감성 인식 장치로부터 분석한 학습자의 감성 변화 상태를 실시간으로 표시한다.
도 4는 본 발명에 의한 학습 효과 향상 장치의 동작 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 학습 효과 향상 장치(400)는 감정 인식 모듈(410), 센서셋 프로세서(420), 상황 정보 프로세서(425), 상황 인식 모듈(430), 미들웨어 모듈(450), 학습 어댑터(470) 및 표준 지표 데이터베이스(490)를 포함한다. 미들웨어 모듈(450)에서 얻어진 학습 감성 지표(SEI)는 I/O 모듈을 거쳐 에이전트 커넥터 모듈(460)로 전송된다.
감정 인식 모듈(410) 및 상황 인식 모듈(430)로부터 수신된 신호들은 각각 I/O 모듈을 거쳐 센서셋 프로세서(420) 및 상황 정보 프로세서(425)로 전달된다. 센서셋 프로세서(420)에서는 학습 감성 지표(SEI)를 추출하고, 상황 정보 프로세서(425)는 상황 정보를 추출한다. 그러면, 추출된 정보는 미들웨어 모듈(450)로 전달된다. 특히, 학습 어댑터(470)는 학습자 정보를 인식한 후 학습 진행 상태를 모니터링한다. 필요할 경우, 학습 어댑터(470)는 실시간으로 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 표시하는 것이 가능하다. 도 4에 도시된 학습 효과 향상 장치(400)에 포함된 미들웨어 모듈(450)의 구성 및 동작은 도 3에 도시된 미들웨어 모듈(350)의 그것과 유사하다. 그러므로, 명세서의 간략화를 위하여 중복된 설명이 생략된다.
도 4에 도시된 학습 효과 향상 장치(400)에는 감정 인식 모듈(410) 및 상황 인식 모듈(430)이 구성 요소로서 포함되지 않는다는 점에서 도 3과 상이하다.
그러면, 센서 셋 프로세서(420)는 감정 인식 모듈(410)로부터 전달된 신호 중에서 감성 인식용 생체 신호를 식별하여 미들웨어 모듈(450)로 전달한다. 또한, 상황 정보 프로세서(425)는 상황 인식 모듈(430)로부터 수신된 신호들로부터 사용자의 현재 상황을 나타내는 상황 정보를 구하고, 구한 결과를 미들웨어 모듈(450)로 전달한다.
미들웨어 모듈(450)은 감성/상황 기기 통신 모듈, 학습 감성/생활 지표 생성 모듈, 감성/상황 지표 분석 처리 모듈, 및 감성/상황 변화 감지 모듈을 포함한다. 감성/상황 기기 통신 모듈은 학습 어댑터(470)의 통신 모듈과 실시간으로 통신 가능하다. 또한, 감성/상황 기기 통신 모듈은 감성 인식 장치(410, 430)와 유선 방식 또는 무선 방식으로 통신할 수 있다. 이 경우 무선 통신 방식은 Zigbee 또는 Bluetooth일 수 있다.
도 4에서, 표준 지표 데이터베이스(490)는 상황 및 감성 표준 정보를 저장한다. 더 구체적으로는, 표준 지표 데이터베이스(490)는 데이터베이스 관리자(미도시)를 포함할 수 있다. 또한, 표준 지표 데이터베이스(490)에는 표준 학습 지표가 저장될 수도 있다. 이러한 표준 학습 지표는 생체 감성 지표(BEI)를 학습 감성 지표(SEI)로 변환하기 위하여 이용될 수 있음은 전술된 바와 같다.
학습 어댑터(470)는 학습자 정보 및 콘텐츠 정보를 인식하고, 사용자의 학습 상태 변화를 감지하여 외부 학습 장치에 변화된 상태를 전송한다. 또한, 학습 어댑터(470)는 감성 인식 장치로부터 분석한 학습자의 감성 변화 상태를 실시간으로 표시한다.
미들웨어 모듈(450)은 감성/상황 기기로부터 전달된 원시 신호 데이터를 읽고, 그 결과를 실험에 의하여 수집/분석된 기준 지표와의 매핑을 통해 학습 표준 지표를 생성하여 학습 서버로 전달한다.
또한, 학습 어댑터 모듈은 ActiveX 형태로 웹에 적용됨으로써, 학습자의 학습 상태를 미들웨어로 전달할 수 있다. 그러므로 콘텐츠 재생 중 필요한 정보를 사용자에게 즉시 표시할 수 있다. 또한, 미들웨어 장치는 사용자 컴퓨터에 설치되지만, 표준 학습 지표는 에이전트 서버 모듈을 통해 외부 학습 시스템으로 전달된다.
도 5는 본 발명에 의한 학습 효과 향상 장치에서 이용되는 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 예시하는 표들이다.
도 5a는 뇌파와 같은 생체 정보로부터 추출될 수 있는 생체 신호들을 예시하는 표이다.
뇌파 및 생체 신호를 분석하기 위한 몇 가지 방법을 예시하면 다음과 같다.
1) 상호연결선 맵핑(Cross-Line Mapping) : 각 채널 사이의 상호상관도(Cross-Correlation)를 머리표면 위에 선으로 표현한다.
2) 뇌맵핑(3-D Brain Mapping) 분석 : 각 채널의 파형이나 결과 그래프를 각 해당 전극 위치에 표현할 수 있다.
3) 시간-주파수 분석(Time-Frequency Analysis) : 생체 정보의 시간에 따른 파워 스펙트럼의 변화를 분석할 수 있다.
4) 스펙트럼 분석(Spectrum Analysis) : 쎄타(Theta), 알파(Alpha), 베타(Beta), 감마(Gamma) 영역별 파워 값을 알기 쉽게 보여주는 파워 스펙트럼(Power Spectrum)이다.
5) 통계 분석(Statistics), 상관 분석(Correlation Analysis), 및 각종 필터링(Filtering)
6) 개별 분석(Custom Analysis) : 연구자들은 분석하고자 하는 뇌파의 특징을 쉽고 빠르게 파악할 수 있기 때문에, 연구에 소요되는 많은 시간과 에너지를 절약할 수 있다. 즉, 개발자가 원하는 순서대로 분석법을 조합함으로써 무궁무진한 새로운 분석법을 만들어 사용할 수 있다.
7) 다채널 시계열 데이터 분석 : 웨이블릿 분석(Wavelet Analysis), 주성분분석(Principal Component Analysis), 모델링 분석(Identification), 카오스분석(Chaos Analysis)을 포함한다.
이 외에 뇌파 및 생체 신호를 분석하기 위한 방법에 대해서는 인용된 특허 문헌 [1]을 참조한다.
도 5b는 뇌파와 같은 생체 정보로부터 추출될 수 있는 생체 감성 지표(BEI)들을 예시하는 표이다. 도 5b와 같은 생체 감성 지표(BEI)는 원시 생체 신호와 생체신호분석지표를 이용하여 추출한 것이다. 각 지표의 내용, 분석에 이용된 정보, 및 각각의 데이터 속성은 표 5b에 도시된 바와 같다. 도 5b에 도시된 생체 감성 지표(BEI)는 학습자의 상태를 모니터링할 수 있는 데이터로서 높은 신뢰도와 중요도를 가진다.
도 5c는 상황 인식 모듈에서 추출하는 상황 정보를 예시하는 표이다. 도 5c에서는 학습 상황 지표로서 온도 및 습도 정보만이 포함되었으나, 이 외에도 자세 정보 및 사용자의 현재 위치 등이 상황 정보로서 제공될 수 있음도 물론이다. 예를 들어, 자세 정보는 사용자의 팔뚝, 허리, 또는 허벅지 등에 착용된 상황 인식 모듈을 이용하여 측정될 수 있다. 그러면, 학습자가 착용한 상황 인식 모듈에서 측정한 데이터가 학습자의 집중력 향상을 위해 올바른 자세를 취하고 있는지를 결정한다. 예를 들어, 사용자의 자세는 다음과 같은 다섯 단계로 판단될 수 있다.
1) 학습자가 학습하기 위해 너무 곧은 자세
2) 학습자가 학습하기에는 무리는 없으나 곧은 자세
3) 학습자가 학습하기에 좋은 자세
4) 학습자가 학습하기에는 무리는 없으나 펴진(흐트러진)자세
5) 학습자가 학습하기 위해 너무 펴진(흐트러진) 자세
마지막으로, 도 5d는 본 발명에 의한 미들웨어 장치에서 생성해야 하는 학습 감성 지표(SEI)를 예시하는 표이다.
각각의 항목 별로 정의 및 판단 기준이 간략히 정리되어 있다.
본 명세서에서, 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)의 차이점은 생체 감성 지표(BEI)는 생체 정보로부터 직접적으로 얻어지는 정보인데 반하여, 학습 감성 지표(SEI)는 생체 감성 지표(BEI) 및 상황 정보로부터 얻어지는 정보로서, 사용자의 학습 효과와 직접 관련될 수 있는 정보라는 점이다. 따라서, 생체 감성 지표(BEI)보다는 학습 감성 지표(SEI)를 이용함으로써, 현재 사용자의 집중도 등을 더욱 정확하게 측정할 수 있고, 이에 따라 학습 효과를 극대화할 수 있다.
본 발명에서, 학습 감성 지표(SEI)가 외부 학습 장치로 전달되면, 외부 학습 장치의 학습 어댑터는 수신된 생체 감성 지표(BEI), 학습 감성 지표(SEI) 및 상황 정보를 고려하여 제공되는 콘텐츠를 변경하여 사용자의 집중도를 향상시킨다. 이때, 사용자에게 제공되는 콘텐츠를 변경시키는 방법을 예를 들면 다음과 같다.
우선, 감성/상황 지표 분석 처리 모듈은 생체 감성 지표(BEI) 및 상황 정보를 고려하여 사용자의 학습 감성 지표(SEI)를 결정한다. 또한, 결정된 학습 감성 지표(SEI) 뿐만 아니라, 생체 감성 지표(BEI) 및 상황 정보 모두 외부 학습 장치로 송신된다. 그러면, 필요할 경우 외부 학습 장치는 새로운 콘텐츠를 제공한다. 이 때, 외부 학습 장치는 외부 콘텐츠 데이터베이스(미도시)에 저장된 복수 개의 콘텐츠 단위(unit)를 이용하여 직접 해당 사용자에게 적합한 학습 콘텐츠를 생성할 수 있다. 이 경우, 콘텐츠 단위가 생성될 때 색인 작업(indexing process)에 의하여 작성되어 콘텐츠 단위에 첨부되는 콘텐츠 기술자가 이용될 수 있다. 콘텐츠 기술자는 계층적 구조를 가지는 하나 이상의 태그를 포함할 수 있다. 예를 들어, 카메라의 동작 강좌에 대한 콘텐츠 단위가 생성되었다고 가정한다. 그러면, 콘텐츠 단위에는 카메라 기종 및 관련 강좌의 명칭이 태그로서 부여된다. 예를 들어, 'sx20is, 카메라 기능 설명' 이라는 태그가 부여된다. 또한, '카메라 기능 설명'이라는 태그는 하위 태그로서 '촬영 모드 설명' 및 '기본 동작 설명' 등과 같은 태그를 포함할 수 있다. 이와 같이, 콘텐츠 기술자를 구성하는 각각의 태그들은 서로 상하의 계층 관계를 가질 수도 있고, 서로 병렬적인 관계를 가질 수 있다. 본 명세서에서 태그란 상위-하위 개념을 가지며 사용자에 의하여 선택될 수 있는 객체를 의미한다. 즉, 태그란 사용자의 관심 대상으로서, 상위 레벨에 속하는 태그는 하위 레벨에 속하는 태그를 총괄하는 개념에 해당한다. 반면에, 하위 레벨에 속하는 태그는 상위 레벨에 속하는 태그의 부분 집합에 해당된다. 동일한 레벨에 속하는 태그는 서로 병렬적인 관련성을 가진다. 즉, 하위 레벨에 속하는 태그일수록 점점 세분화된다. 예를 들어, '인간' 이라는 태그 밑에는 '남자' 및 '여자' 라는 태그가 있을 수 있으며, '남자'라는 태그는 연령별로 세분화되는 하위 태그를 가질 수 있다. 즉, 상위 레벨에 속하는 태그란 서로 관련성을 가지는 하위 개념들을 총괄하는 범주(category)인 것으로 이해될 수 있다. 본 명세서에서 '상위 태그' 란 상위 레벨에 속하는 태그를 의미하고, '하위 태그'란 하위 레벨에 속하는 태그를 의미한다.
이와 같이, 외부 학습 장치는 직접적으로 사용자에게 제공되는 콘텐츠를 수정함으로써 사용자의 관심 사항과 레벨에 맞는 서비스를 제공하여 학습 효과를 극대화시킨다.
태그들의 계층적 구조를 이용하면 콘텐츠 단위가 관련되는 분야를 상세히 기술할 수 있는 장점을 가진다. 예를 들어, 어느 콘텐츠 단위가 '난이도 1'이라는 태그를 포함할 때, 해당 콘텐츠 단위가 어느 분야의 '난이도 1'에 해당하는지는 해당 콘텐츠 단위의 콘텐츠 기술자에 포함되는 다른 태그를 해석함으로써 밝혀질 수 있다. 예를 들어, 해당 콘텐츠 기술자가 '미분'과 '연습 문제'라는 태그들을 더 포함한다면, 이러한 태그들을 해석함으로써 해당 콘텐츠 단위가 '교육/학습 분야-고등-수학-미분-연습 문제-난이도 1'이라는 분야에 해당된다는 것을 알 수 있다. 여기서, 'a-b' 표시는 'a' 태그가 'b' 태그의 상위 태그라는 것을 나타낸다. 만일, 사용자가 '교육/학습 분야-고등-수학-미분-연습 문제-난이도 1' 이라는 분야에 관련된 콘텐츠를 시청하기를 희망하면, '난이도 1', '연습 문제', 및 '미분'이라는 태그를 가지는 콘텐츠 단위들이 콘텐츠 베이스(미도시)로부터 독출한다. 그러면, 콘텐츠 단위 배열부는 독출한 단위들을 소정의 생성 규칙에 따라서 배열하여 사용자 맞춤형 콘텐츠를 생성한다. 콘텐츠 단위 독출부가 반드시 사용자가 선택한 태그와 동일한 태그만을 포함하는 콘텐츠 기술자를 가지는 콘텐츠 단위만을 독출하는 것은 아니다. 즉, 콘텐츠 단위 독출부는 사용자가 선택한 태그와 관련성을 가지는 태그를 가지는 콘텐츠 단위도 독출할 수 있다.
또한, 콘텐츠 배열 규칙에는 특정 사용자에게만 적용되는 사용자 특이적 규칙이 포함된다. 예를 들어, 운동 분야의 경우 '고혈압 환자의 경우 고강도 운동을 피한다', '관절에 문제가 있을 경우 달리기보다는 사이클 운동이 바람직하다', '만성 호흡기 질환이 있는 경우 체내 산소 농도가 특히 중요하다' 등의 스포츠 의학적 규칙이 포함될 수 있다. 학습 분야의 경우에는 'A는 집합보다 다항식 문제를 많이 틀린다', 'B는 확률 통계 분야의 이해도가 떨어진다' 등과 같이 각 사용자에게만 해당되는 규칙들이 있다. 이러한 정보를 이용할 경우, 어느 사용자의 정적 상황 정보를 분석한 결과 그가 고혈압 환자라면, 고강도 운동이 바람직하지 않으므로 일반 규칙을 적용하는 경우에 비하여 난이도가 일괄적으로 낮은 콘텐츠 단위를 이용하여 사용자 맞춤형 콘텐츠를 생성할 수 있다. 이와 같이, 사용자 특이적 규칙은 현재 사용자의 동적 상황 정보를 참조하여 적용될 수도 있다. 예를 들어, 현재 사용자의 혈압이 과도하게 높다면(동적 상황 정보), 이러한 사용자에게는 운동을 당장 중지하고 호흡 운동을 통하여 정리할 수 있도록 사용자 맞춤형 콘텐츠가 생성된다. 또한, 사용자의 호흡 상태를 모니터링한 결과 호흡이 어느 이상이면(동적 상황 정보) 호흡 콘텐츠를 삽입할 수도 있다.
도 6은 표준 지표 데이터를 구하기 위한 실험 결과를 예시하는 도면이다.
이러한 실험의 목적은 학습자의 학습 상태와 뇌파의 상관 관계를 밝히는 것이다. 학습자가 학습하는 학습 상황을 몇 가지로 분류하여 학습 상황에 따른 개별 학습자의 뇌파를 측정하여 개별 학습자별, 학습상황별 뇌파의 차이를 파악한다. 특히 뇌파를 이용하여 파악할 수 있는 여러 지표 중에서 학습과 밀접한 관련성을 가질 수 있다고 판단한 집중도에 초점을 맞추어 개별 학습자별, 학습상황별 뇌파의 상관 관계를 밝히는 것이 실험 목적이다.
도 6을 참조하면, 뇌파 관련 지표 중에서 집중도의 타당성을 검증하기 위하여 집중이 요구된다고 판단된 게임을 진행한 후 학습자가 게임 중 자신의 집중도를 기록하게 한다. 그러면, 뇌파에서 추출한 집중도와 학습자가 판단한 집중도의 일치 여부를 비교한다. 도 6에서 알 수 있는 바와 같이, 학습 감성 지표(SEI)로서 구한 집중력 지수가 사실상의 집중도와 비슷한 패턴을 부이며, 그 결과 학습 감성 지표(SEI)가 사용자의 집중도를 판단하기 위한 척도로 이용될 수 있음을 알 수 있다.
물론, 반복실험 결과 집중도, 작업부하도, 좌뇌 활성도, 우뇌 활성도에서는 학습자별로 약간의 차이를 보일 수 있다. 매 실험에서 집중도가 항상 낮게 나오는 학습자가 있는 반면에 매 실험에서 일정기준 이상의 집중도를 가지는 학생도 나타난다. 따라서, 실험 결과의 정확도를 높이기 위해서는 학습 능력 검사를 이용하여 학습자의 기본 뇌파 정보를 파악하는 것이 바람직하다. 특히, 개별 학습자별로 학습 능력 검사 결과 학습자의 현 상태에 따라 차이가 존재할 수 있으므로 매 실험을 할 때마다 학습 능력 검사를 실행하여 기본 뇌파 값으로 설정하는 것이 바람직하다.
도 7은 본 발명에 의한 학습 효과 향상 장치에서 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 측정하는 실행 화면을 예시하는 스크린 샷이다.
도 7을 참조하면, 생체 분석 지수(Bio-signal Analysis Index, BAI) 및 학습 감성 지표(SEI)는 각각 '감성 학습 지표'의 좌측 및 우측 섹션(710, 720)에 표시된다. 도 7에서 생체 분석 지수(BAI)는 뇌파 신호로부터 추출된 생체 신호들을 나타내며, 이에 대해서는 도 5a에 예시된 바와 같다.
상황 정보 중 환경 지표 및 자세 정보는 '상황 신호' 섹션(750)에 표시되고, 생체 감성 지표(BEI)는 '상태 표시줄' 섹션(730)에 표시된다. 생체 분석 지수의 실시간 변화는 섹션(740)에 표시되며, 상황 정보 중에서 온도, 습도 및 자이로 데이터 등은 섹션(760)에 표시된다. 이와 같이, 도 7에 도시된 실행 화면을 통하여 사용자는 다양한 생체 정보, 상황 정보는 물론 생체 감성 지표(BEI) 및 학습 감성 지표(SEI)를 용이하게 파악할 수 있다.
이와 같이, 본 발명에 의한 학습 지원 시스템은 건강한 뇌 활동을 증진시키기 위한 두뇌 트레이닝에 활용될 수 있으다. 또한, 뇌파 관련 연구 기관의 뇌파 분석용으로도 이용될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 유비쿼터스-러닝용 학습 지원 시스템에 적용될 수 있다.
Claims (7)
- 사용자 신체 상태에 관련된 생체 감성 지표(Body Emotion Index, BEI) 및 사용자의 주변 상황에 관련된 상황 정보(context information)로부터 생성된 사용자의 학습 집중도에 관련된 학습 감성 지표(Study Emotion Index, SEI)에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝(이하 '유-러닝')용 학습 효과 향상 장치에 있어서,
사용자의 생체 신호로부터 사용자의 두뇌 상태에 관련된 생체 감성 지표(BEI)를 생성하기 위한 감성 인식 모듈(Student Emotion Acknoledgement Module, SEAM);
상기 사용자의 주변 상황에 대한 상황 정보를 생성하기 위한 상황 인식 모듈(Learning Environment Acknowledge Module, LEAM);
복수의 사용자들에 대하여 실시된 실험으로부터 얻어진 상기 생체 감성 지표(BEI) 및 학습 감성 지표(SEI) 간의 상관 관계를 나타내는 표준 지표 데이터(standard index data)를 저장하는 표준 정보 데이터베이스; 및
상기 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보에 기반하여 상기 학습 감성 지표(SEI)를 생성하기 위한 미들웨어부를 포함하며, 상기 미들웨어부는,
상기 감정 인식 모듈 및 상기 상황 인식 모듈로부터 상기 생체 감성 지표(BEI) 및 상기 상황 정보를 각각 수신하기 위한 통신 모듈; 및
수신된 상기 생체 감성 지표(BEI) 및 상기 상황 정보를 상기 표준 지표 데이터를 참조하여 분석하고, 분석 결과에 기반하여 상기 사용자의 학습 감성 지표(SEI)를 생성하는 감성/상황 지표 분석 처리 모듈을 포함하며,
상기 통신 모듈은 상기 생체 감성 지표(BEI), 상기 학습 감성 지표(SEI) 및 상기 상황 정보 중 적어도 하나를 외부 학습 장치로 출력하도록 구성되는 것을 특징으로 하는 유비쿼터스-러닝용 학습 효과 향상 장치. - 제1항에 있어서, 상기 미들웨어부는,
실시간으로 상기 사용자들의 생체 감성 지표(BEI) 및 상황 정보를 모니터링하고, 상기 생체 감성 지표(BEI) 및 상황 정보의 변화량을 측정하는 감성/상황 지표 모니터링 모듈을 더 포함하고, 상기 감성/상황 지표 분석 처리 모듈은,
상기 감성/상황 지표 모니터링 모듈로부터 수신된 변화량을 더욱 참조하여 상기 생체 감성 지표(BEI) 및 상황 정보를 분석하고, 분석 결과에 기반하여 상기 사용자의 학습 감성 지표(SEI)를 생성하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 학습 효과 향상 장치. - 제2항에 있어서, 상기 유비쿼터스-러닝용 학습 효과 향상 장치는,
상기 외부 학습 장치에 의하여 사용자에게 현재 제공되는 콘텐츠를 식별하고, 사용자의 학습 상태 및 이벤트를 실시간으로 검출하기 위한 학습 어댑터(study adaptor)를 더 포함하고, 상기 학습 어댑터는,
상기 통신 모듈을 통하여 송신된 학습 감성 지표(SEI)를 수신하고, 수신된 학습 감성 지표(SEI)를 상기 외부 학습 장치에 표시하며, 수신된 학습 감성 지표(SEI)를 분석한 결과에 따라 상기 외부 학습 장치가 상기 콘텐츠를 수정 또는 변경하도록 야기하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 학습 효과 향상 장치. - 제3항에 있어서, 상기 감성/상황 지표 분석 처리 모듈은,
집중도, 산만도, 및 졸림 정도 중 적어도 하나를 상기 학습 감성 지표(SEI)로서 생성하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 학습 효과 향상 장치. - 제3항에 있어서, 상기 감성 인식 모듈(SEAM)은,
뇌파(EEG), 안전도(EOG), 심박 변이도(HRV) 중 적어도 하나를 포함하는 생체 신호를 이용하여 상기 사용자의 생체 감성 지표(BEI)를 연산하도록 적응되며,
상기 생체 감성 지표(BEI)는 집중, 이완, 부하, 주의, 좌뇌 활성도, 우뇌 활성도, 및 좌우뇌 불균형도 중 적어도 하나를 포함하는 것을 특징으로 하는 유비쿼터스-러닝용 학습 효과 향상 장치. - 제3항에 있어서, 상기 상황 인식 모듈(LEAM)은,
USN(Ubiquitous Sensor Network)을 이용하여 온도 정보, 습도 정보, 사용자 자세 정보 및 GPS 위치 신호 중 적어도 하나를 측정하고 측정된 정보를 상기 상황 정보로서 제공하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 학습 효과 향상 장치. - 제3항에 있어서, 상기 외부 학습 장치는,
사용자에게 제공되는 학습 콘텐츠와 함께 수신된 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보를 표시하는 동작,
상기 생체 감성 지표(BEI), 학습 감성 지표(SEI), 및 상황 정보에 기반하여 상기 사용자의 집중도를 판단하여 표시하는 동작, 및
판단된 집중도가 소정 문턱치 이하일 경우 사용자에게 경고 메시지를 제공하거나 제공되는 학습 콘텐츠를 변경하는 동작을 수행하도록 적응되는 것을 특징으로 하는 유비쿼터스-러닝용 학습 효과 향상 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110016444A KR20120097098A (ko) | 2011-02-24 | 2011-02-24 | 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치 |
| PCT/KR2011/001315 WO2012115295A1 (ko) | 2011-02-24 | 2011-02-25 | 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110016444A KR20120097098A (ko) | 2011-02-24 | 2011-02-24 | 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120097098A true KR20120097098A (ko) | 2012-09-03 |
Family
ID=46721055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110016444A KR20120097098A (ko) | 2011-02-24 | 2011-02-24 | 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20120097098A (ko) |
| WO (1) | WO2012115295A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016089047A1 (ko) * | 2014-12-01 | 2016-06-09 | 삼성전자 주식회사 | 컨텐트를 제공하는 방법 및 디바이스 |
| WO2016118119A1 (en) * | 2015-01-20 | 2016-07-28 | Hewlett-Packard Development Company, L. P. | Custom educational documents |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108405B (zh) * | 2017-12-08 | 2021-01-05 | 华中师范大学 | 基于本体的双情境匹配方法及系统 |
| CN108062369B (zh) * | 2017-12-08 | 2020-08-11 | 华中师范大学 | 一种整合情境的多态性泛在学习资源聚合方法及系统 |
| CN110727800A (zh) * | 2018-06-29 | 2020-01-24 | 南京芝兰人工智能技术研究院有限公司 | 一种自适应儿童学前教育系统和方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100620513B1 (ko) * | 2004-12-16 | 2006-09-12 | 삼성전자주식회사 | Ｅｏｄ 서비스 방법 및 서비스 시스템 |
| KR20070058857A (ko) * | 2005-12-05 | 2007-06-11 | 성균관대학교산학협력단 | 유비쿼터스 컴퓨팅 미들웨어를 위한 상황 인식 프레임워크 |
| KR20090000041A (ko) * | 2006-12-19 | 2009-01-07 | 주식회사 케이티 | 수업 성취도 향상 서비스 시스템 및 방법 |
| KR20100082643A (ko) * | 2009-01-09 | 2010-07-19 | 주식회사 티엠디교육그룹 | 학습 진단 검사 시스템 및 방법 |
-
2011
- 2011-02-24 KR KR1020110016444A patent/KR20120097098A/ko not_active Application Discontinuation
- 2011-02-25 WO PCT/KR2011/001315 patent/WO2012115295A1/ko active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016089047A1 (ko) * | 2014-12-01 | 2016-06-09 | 삼성전자 주식회사 | 컨텐트를 제공하는 방법 및 디바이스 |
| WO2016118119A1 (en) * | 2015-01-20 | 2016-07-28 | Hewlett-Packard Development Company, L. P. | Custom educational documents |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012115295A1 (ko) | 2012-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Arguel et al. | Inside out: detecting learners’ confusion to improve interactive digital learning environments | |
| Lee-Cultura et al. | Children’s play and problem-solving in motion-based learning technologies using a multi-modal mixed methods approach | |
| Yang et al. | IoT structured long-term wearable social sensing for mental wellbeing | |
| Jyotsna et al. | Eye gaze as an indicator for stress level analysis in students | |
| Chaouachi et al. | Affect and mental engagement: Towards adaptability for intelligent | |
| Cirett Galán et al. | EEG estimates of engagement and cognitive workload predict math problem solving outcomes | |
| CN103561651B (zh) | 评估认知功能的系统和方法 | |
| CN110680314B (zh) | 基于脑电多参数的虚拟现实情境任务注意力测训系统 | |
| Ciolacu et al. | Enabling IoT in Education 4.0 with biosensors from wearables and artificial intelligence | |
| Ghergulescu et al. | ToTCompute: A novel EEG-based TimeOnTask threshold computation mechanism for engagement modelling and monitoring | |
| KR101118276B1 (ko) | 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치 | |
| Stevens et al. | Modeling the neurodynamic organizations and interactions of teams | |
| Dutsinma et al. | VARK learning style classification using decision tree with physiological signals | |
| Wilkinson | Affective educational games: Utilizing emotions in game-based learning | |
| KR20120097098A (ko) | 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치 | |
| Cooper et al. | Actionable affective processing for automatic tutor interventions | |
| Edwards et al. | Sensor-based methodological observations for studying online learning | |
| Sridhar et al. | Going beyond performance scores: Understanding cognitive–affective states in Kindergarteners and application of framework in classrooms | |
| Rebolledo-Mendez et al. | An empirical examination of the relation between attention and motivation in computer-based education: A modeling approach | |
| Felipe et al. | Towards the development of intelligent agent for novice C/C++ programmers through affective analysis of event logs | |
| Díaz-Orueta | Advances in neuropsychological assessment of attention | |
| Bashir et al. | Electroencephalogram (EEG) Signals for Modern Educational Research | |
| Jones et al. | Measuring stress in an augmented training environment: approaches and applications | |
| Daily et al. | Understanding privacy and trust issues in a classroom affective computing system deployment | |
| WO2023175929A1 (ja) | 指導支援装置、指導支援方法及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E601 | Decision to refuse application |