KR102607385B1 - Ai학습장치 및 ai학습계획을 제공하는 방법 - Google Patents

Ai학습장치 및 ai학습계획을 제공하는 방법 Download PDF

Info

Publication number
KR102607385B1
KR102607385B1 KR1020210044739A KR20210044739A KR102607385B1 KR 102607385 B1 KR102607385 B1 KR 102607385B1 KR 1020210044739 A KR1020210044739 A KR 1020210044739A KR 20210044739 A KR20210044739 A KR 20210044739A KR 102607385 B1 KR102607385 B1 KR 102607385B1
Authority
KR
South Korea
Prior art keywords
learning
student
information
content
comprehension
Prior art date
Application number
KR1020210044739A
Other languages
English (en)
Other versions
KR20220138713A (ko
Inventor
김선경
최인화
앙예슬
이기민
오희택
홍영기
박정훈
신진호
장현철
Original Assignee
주식회사 아이스크림에듀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이스크림에듀 filed Critical 주식회사 아이스크림에듀
Priority to KR1020210044739A priority Critical patent/KR102607385B1/ko
Priority to PCT/KR2021/004380 priority patent/WO2022215773A1/ko
Publication of KR20220138713A publication Critical patent/KR20220138713A/ko
Application granted granted Critical
Publication of KR102607385B1 publication Critical patent/KR102607385B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, AI학습장치는 학습어플리케이션을 이용한 학생의 학습정보를 분석하는 학습정보분석부; 상기 학습어플리케이션을 이용한 기설정된 기간동안 상기 학습어플리케이션에서 제공하는 컨텐츠에 해당하는 학습 문항에 대한 상기 학생의 답변을 기초로 상기 학생의 이해력을 판단하는 이해력판단부; 및 상기 학습정보와 상기 이해력을 기초로 상기 기설정된 기간 이후의 상기 학생의 학습계획을 수정하는 학습계획수정부;를 포함하는 것을 특징으로 한다.

Description

AI학습장치 및 AI학습계획을 제공하는 방법{Method and Device for providing AI study plan}
본 발명은 학습어플리케이션을 이용한 학생의 학습정보 및 컨텐츠에 대한 이해도를 기초로 학습계획을 제공하고 상담을 수행하는 방법에 관한 것이다.
온라인 학습의 경우에는 전문가가 제공하는 컨텐츠를 학생이 학습한 시간, 학생이 컨텐츠를 학습한 수행률 등과 같이 학생의 성실성에 대한 정보 분석은 가능하다. 그러나, 학생이 해당 컨텐츠를 어느 정도 이해하였는지를 파악할 수 없는 문제가 있다. 학생이 스스로 계획을 세운 후 해당 컨텐츠를 학습하더라도 이해도가 높지 않는 경우 학습을 계속하기 어렵다.
KR 10-2020-0104680 A
본 발명의 바람직한 일 실시예에서는 일정 기간 동안 학생이 학습어플리케이션을 학습하는 동안 학생이 학습한 컨텐츠 들에 대한 이해도의 변화를 파악하고자 한다.
본 발명의 바람직한 일 실시예에서는 학생의 이해도의 변화에 따라 학생에게 필요한 학습계획을 제안한다.
본 발명의 바람직한 일 실시예에서는 상담교사가 학생의 학습정보만이 아니라 학습에 대한 학생의 이해도에 기초한 학습상담데이터를 이용하여 학생과의 상담을 수행하고자 한다.
본 발명의 바람직한 일 실시예로서, AI학습장치는 학습어플리케이션을 이용한 학생의 학습정보를 분석하는 학습정보분석부; 상기 학습어플리케이션을 이용한 기설정된 기간동안 상기 학습어플리케이션에서 제공하는 컨텐츠에 해당하는 학습 문항에 대한 상기 학생의 답변을 기초로 상기 학생의 이해력을 판단하는 이해력판단부; 및 상기 학습정보와 상기 이해력을 기초로 상기 기설정된 기간 이후의 상기 학생의 학습계획을 수정하는 학습계획수정부;를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, AI학습장치는 상기 학습정보와 상기 이해력을 기초로 상기 기설정된 기간동안 학습한 내용 중 상기 학생의 이해도 개선이 필요한 컨텐츠의 개념에 대한 질의를 학습상담데이터로 상담교사에게 제공하는 AI상담부;를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 이해력판단부는 IRT(Item Response Theory, 문항반응이론) 데이터를 기초로 상기 학생의 이해력을 판단하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 학습계획수정부는 상기 이해력판단부를 통해 이해도가 높다고 판단된 학습 문항에 대해 상기 학생이 오답을 제출한 경우, 해당 문항이 속한 컨텐츠를 파악하고 개선을 위한 가이드라인을 제공하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, AI학습장치는 학생의 학습정보 외에 학생이 학습어플리케이션에서 학습한 컨텐츠에 대한 이해도를 분석하여 학생에게 적합한 학습계획을 제공함으로써, 맞춤형학습을 제공하는 효과가 있다.
본 발명의 바람직한 일 실시예로서, AI학습장치는 학생의 학습정보 외에 학생이 학습어플리케이션에서 학습한 컨텐츠에 대한 이해도가 반영된 학습상담데이터를 상담교사에게 제공함으로써, 학생의 컨텐츠에 대한 이해도를 개선시킬 수 있는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, AI학습장치가 구현되는 학습상담시스템의 구성도를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, AI학습장치의 내부 구성도를 도시한다.
도 3, 4, 7 및 8은 본 발명의 바람직한 일 실시예로서, AI상담부가 제공되는 상담보드의 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 학습정보분석부와 이해력판단부의 일 예를 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서, AI상담부의 일 예를 도시한다.
도 9 는 본 발명의 바람직한 일 실시예로서, 학습계획수정부의 일 예를 도시한다.
도 10은 본 발명의 바람직한 일 실시예로서, 클러스터링부의 일 예를 도시한다.
도 11 은 본 발명의 바람직한 일 실시예로서, 컨텐츠추천부의 일 예를 도시한다.
이하 도면을 참고하여 설명한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 학습상담시스템의 구성도를 도시한다.
학습상담시스템은 서버(100), 상담교사단말기가 이용하는 AI학습장치(141, 143, 145), 그리고 학생단말기(151, 153, 155, 157)을 포함한다. 서버(100)는 학습상담서버(110), 학습서버(120) 및 결제 서버(130)를 포함하고, 이 외의 다른 서버를 더 포함할 수 있다. AI학습장치(141, 143, 145) 및 학생단말기(151, 153, 155, 157)는 PC, 컴퓨터, 단말기, 노트북, 스마트폰, 핸드헬드 장치, 웨어러블 장치 등을 포함한다. AI학습장치(141, 143, 145) 및 학생단말기(151, 153, 155, 157)는 또한 프로세서와 메모리 및 통신부를 구비한 장치의 형태로 구현된 단말기를 포함할 수 있다.
본 발명의 바람직한 일 실시예로서 학습상담시스템은 AI학습장치(141, 143, 145)에 학습서버(120)를 이용하는 학생들의 학습 학습상담데이터를 제공한다. 학습상담서버(110)에서는 학습서버(120)에 접속하여 학습어플리케이션을 이용하는 학생(151, 153, 155, 157)들이 기설정된 기간동안 학생이 학습어플리케이션에서 학습한 내용, 학생(151, 153, 155, 157)들의 학습 패턴, 학생(151, 153, 155, 157)들의 학부모의 학습어플리케이션 서비스에 대한 관심도, 그 외 학습어플리케이션을 결제할 확률에 대한 정보 등을 포함하는 학습상담데이터를 AI학습장치(141, 143, 145)에게 제공할 수 있다.
본 발명의 또 다른 바람직한 일 실시예로서 학습상담시스템은 AI학습장치(141, 143, 145)에 업무보드를 제공하여, 상담교사들이 당일 처리해야 하는 업무의 개수와 업무의 내역을 제공함으로써 업무의 누락이 발생하지 않을 수 있다.
도 2 는 본 발명의 바람직한 일 실시예로서, AI학습장치(200)의 내부 구성도를 도시한다. AI학습장치(200)는 학습정보분석부(210), 이해력판단부(220), 학습계획수정부(230) 및 AI상담부(240)를 포함한다.
본 발명의 바람직한 일 실시예로서, AI학습장치(200)는 학습정보분석부(210)를 통해 학습어플리케이션에서 제공하는 문항에 대해 학생이 맞은 문제와 틀린 문제를 파악하고, 이해력판단부(220)를 통해 학생이 문제를 풀면서 실질적으로 느끼는 이해도와 난이도를 파악할 수 있다. AI학습장치(200)는 전문가가 제공하는 문제에 따라 측정된 학생의 점수만이 아니라, 학생이 문제에 대해 실질적으로 느끼는 이해도와 난이도를 모두 파악할 수 있다.
본 발명의 바람직한 일 실시예로서, 도 5 를 참고하면 AI학습장치는 학습정보분석부(510)를 통해 학생이 푼 평가지의 개수(512), 학생이 푼 문제의 개수(511a), 학생이 푼 문제 중 맞은 문제의 개수(512a), 학생의 전체 정답률(561), 그리고 과목별 정답률 정보 등을 제공할 수 있다.
또한, 이해력판단부(520)를 통해 학생이 '건너뛴 문제', '찍은 것으로 보이는 문제', '급하게 풀어 틀린 문제'의 개수에 대한 정보를 통해 이해력에 대한 정보를 제공하고, 또한 오답노트를 확인하지 않은 개수(521)와 고쳐야 할 문제풀이 습관(523) 등을 제안할 수 있다.
AI학습장치(200)는 시간에 따라 학생의 이해도의 변화를 파악할 수 있으므로, 학생이 어느 부분에서 이해도가 부족한지, 어느 부분에서 이해도가 높은지를 파악하고, 그에 따라 학습계획수정부(230)를 통해 개선된 학습계획을 제안할 수 있다. 또한, AI상담부(240)를 통해 상담교사와 학생간에 상담이 이루어질 때, 상담교사는 학생의 부족한 부분에 대해 학생의 이해력을 개선시키는 상담을 수행하고, 학생의 이해력이 높은 부분에 대해 응원을 할 수 있다.
각 구성요소를 상세히 살펴본다.
학습정보분석부(210)는 학습서버에 접속하여 학습어플리케이션을 이용하는 학생들이 기설정된 기간동안 학습한 내용, 학생들의 학습패턴, 로그기록 등을 바탕으로 생성되며, 학생의 장점 및 개선점을 포함한다. 구체적으로, 학습정보분석부(210)는 학생이 학습어플리케이션에서 제공하는 학습 컨텐츠, 학습어플리케이션에서 학습한 시간 정보, 학습어플리케이션에서 제공하는 학습 컨텐츠를 수행할 학습계획일, 스스로 학습할 분량을 계획한 학습계획수, 학생이 스스로 계획한 학습 중 수행한 개수를 의미하는 수행률, 학생의 계획과 관계없이 수행된 미계획된 학습, 학습어플리케이션에서 제공하는 문제중 학생이 푼 문제수, 푼 문제수 중 맞은 문제수, 학습어플리케이션을 출석한 일자, 결석한 일자 등을 분석할 수 있다.
이해력판단부(220)는 기설정된 기간동안 학습어플리케이션에서 제공하는 컨텐츠에 해당하는 학습 문항에 대한 학생의 답변을 기초로 학생의 이해력을 판단한다. 본 발명의 바람직한 일 실시예로서, 이해력판단부(220)는 IRT(Item Response Theory, 문항반응이론) 데이터를 기초로 학생의 이해력을 판단한다.
문항반응이론은 응시자의 문항에 대한 이해력을 통계학적으로 측정하는 방법이다. IRT데이터는 학생이 응시한 문항의 난이도, 문항의 추측도, 문항의 변별도, 학생의 문항에 대한 이해력, 문항을 맞출 확률, 학생이 시험을 치룬 경우 이해도에 기초하여 확보할 수 있는 점수를 포함한다.
IRT에서 이용하는 문항특선곡선은 로지스틱 모형을 사용할 수 있다. 로지스틱 모형을 사용하는 경우에도 문항특성곡선을 추정할 때 학생이 학습어플리케이션에서 응시한 문제에 대해 느낀 문항난이도만 고려하는 경우 1모수 로지스틱 모형 혹은 Rasch 모형이라고 하고, 문항난이도와 문항변별도를 포함시킬 때 2모수 로지스틱 모형이라 하며, 문항난이도, 문항변별도, 문항추측도를 모두 포함하는 것을 3모수 로지스틱 모형이라 한다. 본 발명의 바람직한 일 실시예에서는 1모수, 2모수, 3모수 로지스틱 모형을 이용하여 학생이 응시한 문제의 문항난이도, 문항변별도, 또는 문항추측도 중 적어도 하나 이상을 파악할 수 있다.
학습계획수정부(230)는 학습정보분석부(210)에서 기설정된 기간 동안 파악한 학습정보와 이해력판단부(220)에서 파악한 기설정된 기간 동안의 이해력을 기초로 상기 기설정된 기간 이후의 학생의 학습계획을 수정한다.
학습계획수정부(230)는 이해력판단부(220)를 통해 이해도가 높다고 판단된 학습 문항에 대해 학생이 오답을 제출한 경우, "실수를 주의하세요" 또는 "오답노트를 확인하세요" 등과 같이, 해당 문항이 속한 컨텐츠를 파악하고 개선을 위한 가이드라인을 제공할 수 있다.
학습계획수정부(230)는 이해력판단부(220)를 통해 이해도가 낮다고 판단된 학습 문항에 대해서는 해당 문항이 속한 컨텐츠를 파악하고, 파악된 컨텐츠와 동일 또는 유사한 학습 내용이 담긴 다른 컨텐츠들 중 난이도가 낮은 컨텐츠를 추천할 수 있다.
학습계획수정부(230)는 학습정보분석부(210)에서 파악한 학생의 학습정보와 이해력판단부(220)에서 파악한 기설정된 기간동안 학생이 이용한 컨텐츠들에 대한 이해력을 기초로, 유사한 그룹을 파악하고, 유사한 그룹에 속한 학생들이 가장 선호하는 컨텐츠들을 학생에게 제공할 수 있다.
학습계획수정부(230)에 대해 도 9 내지 11을 더 참고하여 설명한다.
본 발명의 또 다른 바람직한 일 실시예로서, 학습계획수정부(900)는 수집부(910), 클러스터링부(920), 추출부(930), 그리고 컨텐츠추천부(940)를 포함한다.
본 발명의 바람직한 일 실시예로서, 학습계획수정부(900)는 기설정된 기간 단위로 학습어플리케이션을 사용하는 학생들을 n개(n은 자연수)의 그룹으로 군집화하고, 군집화된 그룹 각각에서 기설정된 기간동안 가장 선호된 컨텐츠 M개(M은 자연수)를 추출한 정보를 저장한다. 그리고, 학습계획수정부(900)는 제 1 학생이 학습어플리케이션을 이용하면서 파악한 학습정보(S210)와 이해력(S220) 정보를 입력으로 받아, 제 1 학생이 속할 그룹을 결정한다. 그리고, 제 1 학생이 속할 그룹에서 가장 선호된 컨텐츠 M개를 제 1 학생에게 수정된 학습계획으로 제안할 수 있다.
수집부(910)는 학습어플리케이션을 이용하는 학생들의 정보를 수집한다. 학생들의 정보는 개인 서지정보, 학습어플리케이션을 이용한 학습정보, 그리고 학습어플리케이션에서 이용한 컨텐츠 정보를 포함한다. 개인 서지정보는 이름, 연락처, 학년, 성별, 학교 등이 있다.
클러스터링부(920)는 도 10의 일 실시예와 같이 수집부(910)에서 수집한 학생들을 K-cluster 등과 같은 알고리즘을 이용하여 n개의 그룹으로 군집화를 수행한다. 도 10은 3개의 그룹(1010, 1020, 1040)으로 군집화가 수행된 일 예를 도시한다. 1번 집단은 학습어플리케이션의 일 평균 사용시간, 계획수, 수행수, 응시 문항수, 정답수, 국어학습수, 수학학습수, 영어학습수, 특별학습학습수가 2번 집단 내지 3번집단보다 낮은 것으로 파악된다(1010). 2번 집단은 학습어플리케이션의 일 평균 사용시간, 계획수, 수행수, 국어학습수, 수학학습수, 영어학습수, 특별학습학습수 비율이, 응시 문항수와 정답수의 비율(1030)보다 상대적으로 높은 것으로 파악된다. 3번집단은 일 평균 사용시간, 계획수, 수행수, 응시 문항수, 정답수의 비율(1050)이 국어학습수, 수학학습수, 영어학습수, 특별학습학습수의 비율보다 높아, 학생이 스스로 계획한 학습에 대한 수행 비율과 이해도는 높은 편이나, 그 외의 과목(1060)에 대한 참여도는 낮은 것을 확인할 수 있다.
추출부(930)는 n개의 집단별로 상기 기설정된 기간동안 가장 선호된 컨텐츠 M개를 추출한다. 도 11을 참고하면, 추출부(1100)는 도 10에서 분류된 3개의 그룹(1110, 1120, 1130)이 각각 가장 많이 이용한 컨텐츠를 순서대로 정렬한다.
컨텐츠추천부(940)는 추출부(930)에서 n 개의 집단에서 사용빈도 순으로 추출된 컨텐츠들을 상기 집단에 속한 학생들 각각에게 제공한다.
도 4를 참고하면, AI추천부는 기설정된 기간동안(412) 학습정보분석부(430)에서 분석된 학습정보를 기초로 칭찬할 점(432)과 개선할 점(434)을 분석하여 제공한다.
학생의 장점의 일 예로는 '수행률이 100% 입니다'(432a), '평균 점수가 +20점 향상되었어요.'(432b). 학생의 개선점의 일 예로는 '오답노트를 복습하지 않았어요.'(434a), '문제를 건너뛰지 말고, 모두 풀어주세요.'(434b), 그리고 '수학 연산 학습이 부족합니다.'(434c)가 있다.
AI상담부(240)는 기설정된 기간동안 학생이 학습어플리케이션에서 학습한 컨텐츠 중 학습정보분석부(210)에서 분석된 학습정보와 이해력판단부(220)에서 분석된 이해력을 기초로 학생의 이해도 개선이 필요한 컨텐츠의 개념에 대한 질의를 학습상담데이터로 상담교사에게 제공한다.
도 4 를 참고하면, AI상담부(440)는 기설정된 기간동안 학생이 학습어플리케이션에서 수학 컨텐츠 중 "4단원. 분수"(450a) 파트에서, 학생의 이해력의 개선이 필요한 컨텐츠 "약수"의 개념(450b)을 학생에게 질의하도록 해당 개념을 학습상담데이터로 상담교사에게 제공한다. 상담교사는 "약수"의 정의(450c)를 학생과 상담하는 과정에서 설명할 수 있다.
AI상담부(440)는 또한 기설정된 기간동안 학생이 학습어플리케이션에서 틀린 문제 리스트들 중 학습정보분석부(210)에서 분석된 학습정보와 이해력판단부(220)에서 분석된 이해력을 기초로 문제를 선택하여 학습상담데이터로 상담교사에게 제공한다(460, 470).
상담교사는 상담과정에서 AI상담부(440)에서 제공하는 질의를 학습상담데이터로 모두 이용한 경우, 'AI추천상담완료' 버튼(480)을 눌러 AI생활기록부에서 제공하는 학습상담데이터 활용을 종료할 수 있다.
AI상담부(600)의 또 다른 일 예는 도 6을 참고한다. AI상담부(600)는 상담교사에게 도 6의 일 예와 같은 검색인터페이스를 지원할 수 있다.
검색인터페이스는 클러스터링부에서 분류된 집단에서 분석된 추천 문제(611), 이해도 미흡(613) 또는 이해도 양호(615)를 선택하는 제 1 검색부(610)를 제공한다. 또한, 학생이 학습어플리케이션에서 푼 문제에 대해 '알고 맞춘 문제'(621), '찍은 것으로 보이는 문제'(622), '건너 뛴 문제'(623), '급하게 풀어 틀린 문제'(624), 그리고 '몰라서 틀린 문제'(625)를 선택하는 제 2 검색부(620)를 제공한다.
AI상담부(600)는 제 1 검색부(610) 또는 제 2 검색부(620)를 통해 검색된 결과(630)를 표시한다. 검색 결과는 과목(631), 컨텐츠(632), 컨텐츠에서 제공하는 문항을 테스트한 점수(640), 상기 문항에 대한 이해도 점수(650), 상기 문항분석 결과(660)를 제공한다. 문항분석 결과(660)는 정답과 오답을 포함한다. 정답의 경우에는 '알고 맞춘 문제'(661), '찍은 것으로 보이는 문제'(662)로 분류하여 정보를 제공한다. 상담 교사는 찍은 것으로 보이는 문제(662)에 대해 상담시 학습상담데이터로 활용하여 학생에게 질의할 수 있다. 오답의 경우에는 '건너 뛴 문제'(663), '급하게 풀어 틀린 문제'(664), 그리고 '몰라서 틀린 문제'(665)로 분류하여 정보를 제공한다. 문항분석 결과는 학생의 정답과 오답을 기초로 추천 문제를 더 제공하는 AI추천문제인터페이스를 제공한다(670).
도 3 은 본 발명의 바람직한 일 실시예로서, AI상담부가 제공되는 상담보드의 일 예를 도시한다.
본 발명의 바람직한 일 실시예로서, 상담보드(300)는 좌우로 분할된 형태(310, 320)이고, 상기 상담보드 좌측에 상담정보영역(310)이, 우측에 상담기록영역(320)이 제공되어 단일 화면에서 상담정보조회와 상담기록이 수행될 수 있도록 구현된다. 또한, 상담정보영역(310)과 상담기록영역(320)은 각각 복수의 탭을 구비할 수 있다.
본 발명의 바람직한 일 실시예로서, 상담보드(300)는 고정된 형태의 복수의 탭(310a, 310b, 310c, 320a, 320b, 320c)과 상담정보영역(310) 및 상담기록영역(320)의 좌우로 분할된 "T"자형 레이아웃으로 구현될 수 있다. T자형 레이아웃의 상담보드는 상담교사가 학생 또는 학부모와 상담을 하면서 상담 내역을 기록하는 동안에도 학생의 학생정보, 학습어플리케이션을 결제할 확률 정보 등을 포함하는 학습상담데이터를 동시에 확인할 수 있는 이점이 있다. 상담교사는 단일 화면에 제공되는 상담보드(300)를 이용하여 학생 또는 학부모와 상담할 때 필요한 학습상담데이터를 제공받고, 동시에 상담보드(300)에 학생 또는 학부모와의 상담 내역을 기록할 수 있다.
본 발명의 바람직한 일 실시예로서, 상담정보영역(310)은 학생정보탭(310a), 학습계획탭(310b) 그리고 AI생활기록부탭(310c)을 구비할 수 있다. 본 발명의 바람직한 일 실시예로서, 상담기록영역(320)은 상담을 수행하는 시점의 상담내역을 기록하는 상담기록탭(320a), 상담내역을 시간순으로 기록하는 상담히스토리탭(320b), 그리고 상담교사가 학생 또는 학생의 학부모와 상담시 참고할 수 있는 우수상담스크립트탭을 제공하는 우수상담스크립트탭(320c)을 구비할 수 있다.
학생정보탭(310a)은 학생 또는 학부모의 서지정보를 제공한다. 학습계획탭(310b)은 학생이 학습어플리케이션에서 제공하는 학습을 수행할 계획을 기록하는 인터페이스를 제공한다. 또한 학생이 방문한 횟수와 학습한 내역, 학생이 스스로 계획한 학습 중 수행한 계획의 비율을 나타내는 수행률 등의 정보를 제공한다. AI생활기록부탭(310c)는 학생이 기설정된 기간동안 학습어플리케이션을 이용하면서 파악한 학생의 학습정보가 표시된다. 학습정보는 학습어플리케이션을 이용하는 과정에서 파악된 학습내역데이터, 로그기록 등을 바탕으로 생성되며, 학생의 장점 및 개선점을 포함한다. 또한, AI생활기록부탭(310c)은 기설정된 기간동안 학생이 학습어플리케이션에서 학습한 내용과 관련한 질문을 포함한다. AI생활기록부탭(310c)은 또한 기설정된 기간동안 학생이 학습어플리케이션에서 학습한 내용을 기초로 학습어플리케이션을 결제할 확률 정보를 더 제공할 수 있다. 그리고, 해당 학생이 학습어플리케이션을 결제할 확률 정보와 학생의 학습정보를 기초로 학생에게 필요한 개선점 정보를 더 제공할 수 있다. 상담교사는 AI생활기록부탭(310c)에서 제공하는 학습정보, 학습어플리케이션을 결제할 확률정보를 학습상담데이터로 활용하여 학생과 상담을 수행할 수 있다.
본 발명의 바람직한 일 실시예로서, 상담정보영역(310)과 상담기록영역(320)은 각각 스크롤바(312, 322)를 구비하고, 상담정보영역(310)의 스크롤바(312)와 상담기록영역(320)의 스크롤바(322)는 독립적으로 동작한다.
상담교사는 학생 또는 학생의 학부모와 상담하는 과정에서 학생의 학습 정보를 파악하고자 할 때 상담정보영역(310)의 스크롤바(312) 및 상담정보영역(310)을 구성하는 복수의 탭(310a, 310b, 310c)을 이용할 수 있다. 이 경우 상담정보영역(310)의 스크롤바(312)는 상담정보영역(310)을 구성하는 복수의 탭(310a, 310b, 310c) 각각에서 상하로 동작한다.
상담교사는 학생 또는 학생의 학부모와 상담시 기록을 수행하거나, 상담기록히스토리를 확인하거나 또는 표준화된 상담스크립트가 필요할 때에는 상담기록영역(320)을 구성하는 복수의 탭(320a, 320b, 320c)을 이용할 수 있다. 이 경우 상담기록영역(320)의 스크롤바(322)는 상담기록영역(320)을 구성하는 복수의 탭(320a, 320b, 320c) 각각에서 상하로 동작한다.
상담교사는 학생 또는 학생의 학부모와 상담시 상담기록영역(320)에 상담 내용을 기록하면서도, 동시에 상담정보영역(310)을 구성하는 복수의 탭(310a, 310b, 310c)을 조회하고, 복수의 탭(310a, 310b, 310c) 각각의 내용을 확인하기 위하여 상담정보영역(310)의 스크롤바(312)를 이용할 수 있다.
도 7 내지 8은 본 발명의 또 다른 바람직한 일 실시예로서, 상담교사 단말기에 제공되는 상담보드의 일 예를 도시한다.
상담보드(700)는 복수의 탭이 표시되는 탭 영역(710), 탭을 선택하는 경우 해당 탭과 관련된 내용을 표시하는 내용영역(720), 퀵메뉴(730) 및 스크롤바(740)를 포함한다.
본 발명의 바람직한 일 실시예로서, 내용영역(720)은 도 3의 상담정보영역(310)과 퀵메뉴(730)는 도 3의 상담기록영역(320)과 실질적으로 동일한 기능을 수행한다. 그리고, 탭 영역(710)에는 상담정보영역(310)에 표시되는 탭들만(310a, 310b, 310c)이 표시되고, 퀵메뉴(730)에는 상담기록영역(320)에 표시되는 탭들(320a, 320b, 320c)이 표시된다. 예를 들어, 상담기록탭(도 8, 730), 상담히스토리탭(도 7, 740) 그리고 필수상담스크립트탭(도 7, 750)이다. 상담교사는 탭 영역(710)에서 복수의 탭 중 조회하고자 하는 탭을 선택할 수 있다. 예를 들어, 상담교사는 학생정보탭(도 3, 310a 참고), 학습계획탭(도 3, 310b 참고) 그리고 AI생활기록부탭(도 3, 310c 참고) 중 AI생활기록부탭(도 3, 310c 참고)을 선택할 수 있다.
상담교사가 탭 영역(710)에서 복수의 탭 중 조회하고자 하는 탭을 선택하면, 탭에 해당하는 내용이 내용영역(720)에 표시된다. 도 7을 참고하면, 상담교사가 AI생활기록부탭(도 3, 310c 참고)을 선택한 경우, 내용영역(760)에는 학생이 기설정된 기간동안 학습어플리케이션을 이용하면서 파악한 학생의 학습정보가 표시된다.
본 발명의 또 다른 바람직한 일 실시예로서, 상담보드는 상담교사가 내용영역(1160)을 확인하기 위하여 스크롤(810)을 이동시키는 경우, 퀵메뉴(820)가 스크롤(810)의 위치와 함께 이동한다. 그리고, 탭 영역(800)에 기재된 내역은 상담교사가 조회한 학생의 이름, 학년, 성별 등과 같은 신원정보로 변경된다. 상담교사가 스크롤(810)을 상하로 이동시키는 경우에도 학생의 이름, 학년, 성별 등의 신원정보를 계속하여 확인하기 위해, 탭 영역(800)은 스크롤(810)의 위치 이동에 따라 함께 이동한다. 상담교사는 내용영역(860)을 확인하면서 학생의 학습정보 등을 파악하다가, 상담을 기록해야 되거나, 상담 히스토리 또는 필수상담스크립트를 확인해야 하는 경우 퀵메뉴(820)를 클릭하여 활성화 시킬 수 있다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "이루어지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

Claims (14)

  1. 학습어플리케이션을 이용한 학생의 학습정보를 분석하는 학습정보분석부;
    상기 학습어플리케이션을 이용한 기설정된 기간동안 상기 학습어플리케이션에서 제공하는 컨텐츠에 해당하는 학습 문항에 대한 상기 학생의 답변을 기초로 상기 학생의 이해력을 판단하는 이해력판단부; 및
    상기 학습정보와 상기 이해력을 기초로 상기 기설정된 기간 이후의 상기 학생의 학습계획을 수정하는 학습계획수정부;를 포함하고,
    상기 이해력판단부는 로지스틱 모형을 이용하여 학생이 응시한 문제의 문항난이도, 문항변별도, 또는 문항추측도 중 적어도 하나 이상을 파악하며, 상기 학습계획수정부는 상기 이해력판단부를 통해 이해도가 높다고 판단된 학습 문항에 대해 학생이 오답을 제출한 경우 해당 문항이 속한 컨텐츠를 파악하고 개선을 위한 가이드라인을 제공하는 것을 특징으로 하는 AI학습장치.
  2. 제 1 항에 있어서,
    좌우로 분할된 형태이고, 좌측에 상담정보영역이, 우측에 상담기록영역이 제공되어 단일 화면에서 상담정보조회와 상담기록이 수행되는 상담부;를 더 제공하고, 상기 상담정보영역 및 상기 상담기록영역은 각각 복수의 탭으로 구성되고, 상기 상담정보영역을 구성하는 복수의 탭 중 하나의 탭은 상담을 수행하는 학생이 학습어플리케이션을 결제할 확률에 대한 정보를 제공하는 것을 특징으로 하는 AI학습장치.
  3. 제 1 항에 있어서,
    상기 학습정보와 상기 이해력을 기초로 상기 기설정된 기간동안 학습한 내용 중 상기 학생의 이해도 개선이 필요한 컨텐츠의 개념에 대한 질의를 학습상담데이터로 상담교사에게 제공하는 AI상담부;를 포함하는 것을 특징으로 하는 AI학습장치.
  4. 제1 항에 있어서,
    상기 기설정된 기간동안 상기 학생이 틀린 문제 리스트들 중 상기 학습정보와 상기 이해력을 기초로 문제를 선택하여 학습상담데이터로 상담교사에게 제공하는 AI상담부;를 포함하는 것을 특징으로 하는 AI학습장치.
  5. 제 1 항에 있어서, 상기 이해력판단부는
    IRT(Item Response Theory, 문항반응이론) 데이터를 기초로 상기 학생의 이해력을 판단하는 것을 특징으로 하는 AI학습장치.
  6. 삭제
  7. 제 1 항에 있어서, 학습계획수정부는
    상기 이해력판단부를 통해 이해도가 낮다고 판단된 학습 문항에 대해, 해당 문항이 속한 컨텐츠를 파악하고, 파악된 컨텐츠와 동일 또는 유사한 학습 내용이 담긴 다른 컨텐츠들 중 난이도가 낮은 컨텐츠를 추천하는 것을 특징으로 하는 AI학습장치.
  8. 제 1 항에 있어서, 학습계획수정부는
    상기 학습어플리케이션을 이용하는 학생들의 정보를 수집하는 수집부;
    상기 학생들을 n개(n은 자연수)의 집단으로 군집화하는 클러스터링부;
    상기 n개의 집단별로 상기 기설정된 기간동안 가장 선호된 컨텐츠 M개를 추출하는 추출부; 및
    상기 집단에 속한 학생들 각각에게 상기 가장 선호된 컨텐츠 M개를 제공하는 컨텐츠추천부;를 포함하는 것을 특징으로 하는 AI학습장치.
  9. 제 1 항에 있어서, 상기 학생들의 정보는
    개인 서지정보, 상기 학습어플리케이션을 이용한 학습정보, 그리고 상기 학습어플리케이션에서 이용한 컨텐츠 정보를 포함하는 것을 특징으로 하는 AI학습장치.
  10. AI학습장치에서 AI학습계획을 제공하는 방법으로,
    학습정보분석부에서 학습어플리케이션을 이용한 학생의 학습정보를 분석하는 단계;
    이해력판단부에서 상기 학습어플리케이션을 이용한 기설정된 기간동안 상기 학습어플리케이션에서 제공하는 컨텐츠에 해당하는 학습 문항에 대한 상기 학생의 답변을 기초로 상기 학생의 이해력을 판단하는 단계; 및
    학습계획수정부에서 상기 학습정보와 상기 이해력을 기초로 상기 기설정된 기간 이후의 상기 학생의 학습계획을 수정하는 단계;를 포함하고,
    상기 이해력판단부는 로지스틱 모형을 이용하여 학생이 응시한 문제의 문항난이도, 문항변별도, 또는 문항추측도 중 적어도 하나 이상을 파악하며, 상기 학습계획수정부는 상기 이해력판단부를 통해 이해도가 높다고 판단된 학습 문항에 대해 학생이 오답을 제출한 경우 해당 문항이 속한 컨텐츠를 파악하고 개선을 위한 가이드라인을 제공하는 것을 특징으로 하는 방법.
  11. 제 10항에 있어서,
    AI상담부에서 상기 학습정보와 상기 이해력을 기초로 상기 기설정된 기간동안 학습한 내용 중 상기 학생의 이해도 개선이 필요한 컨텐츠의 개념에 대한 질의를 학습상담데이터로 상담교사에게 제공하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  12. 제 10 항에 있어서,
    AI상담부에서 상기 기설정된 기간동안 상기 학생이 틀린 문제 리스트들 중 상기 학습정보와 상기 이해력을 기초로 문제를 선택하여 학습상담데이터로 상담교사에게 제공하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  13. 제 10항에 있어서, 상기 학습계획수정부는
    상기 이해력판단부를 통해 이해도가 낮다고 판단된 학습 문항에 대해, 해당 문항이 속한 컨텐츠를 파악하고, 파악된 컨텐츠와 동일 또는 유사한 학습 내용이 담긴 다른 컨텐츠들 중 난이도가 낮은 컨텐츠를 추천하는 것을 특징으로 하는 방법.
  14. 제 10항 내지 제13항 중 어느 한 항에 기재된 AI학습장치에서 AI학습계획을 제공하는 방법을 실행하기 위한 프로그램을 기록한 것을 특징으로 하는 컴퓨터 기록 매체.



KR1020210044739A 2021-04-06 2021-04-06 Ai학습장치 및 ai학습계획을 제공하는 방법 KR102607385B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210044739A KR102607385B1 (ko) 2021-04-06 2021-04-06 Ai학습장치 및 ai학습계획을 제공하는 방법
PCT/KR2021/004380 WO2022215773A1 (ko) 2021-04-06 2021-04-07 Ai학습장치 및 ai학습계획을 제공하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210044739A KR102607385B1 (ko) 2021-04-06 2021-04-06 Ai학습장치 및 ai학습계획을 제공하는 방법

Publications (2)

Publication Number Publication Date
KR20220138713A KR20220138713A (ko) 2022-10-13
KR102607385B1 true KR102607385B1 (ko) 2023-11-29

Family

ID=83545376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210044739A KR102607385B1 (ko) 2021-04-06 2021-04-06 Ai학습장치 및 ai학습계획을 제공하는 방법

Country Status (2)

Country Link
KR (1) KR102607385B1 (ko)
WO (1) WO2022215773A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094863B (zh) * 2023-10-19 2024-01-05 中国民航大学 基于智慧学习的学习行为智能分析系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035283A (ko) * 2001-02-01 2001-05-07 김만석 인터넷 온라인 실시간 상담 방법
CA2527538A1 (en) * 2005-11-12 2007-05-14 Matt Celano Method and apparatus for a consumer interactive credit report analysis and score reconciliation adaptive education and counseling system
KR100972413B1 (ko) * 2006-12-05 2010-07-26 박남교 개인 맞춤형 강의 추천 장치 및 그 방법과 그의 접속단말기
JP5989300B2 (ja) * 2010-09-30 2016-09-07 株式会社やる気スイッチグループホールディングス 学習塾サーバ及び学習塾プログラム
KR102134915B1 (ko) * 2018-04-27 2020-07-15 (주)웅진씽크빅 학습자를 위한 학습 문항 분석 정보 제공방법
KR20200104680A (ko) 2019-02-27 2020-09-04 (주)웅진씽크빅 학습자 적응형 이러닝 컨텐츠 제공 방법

Also Published As

Publication number Publication date
WO2022215773A1 (ko) 2022-10-13
KR20220138713A (ko) 2022-10-13

Similar Documents

Publication Publication Date Title
Bettini et al. Predicting special educators’ intent to continue teaching students with emotional or behavioral disorders in self-contained settings
Bodily et al. Trends and issues in student-facing learning analytics reporting systems research
Gupta et al. Lean Six Sigma for reducing student dropouts in higher education–an exploratory study
Kotsiantis Use of machine learning techniques for educational proposes: a decision support system for forecasting students’ grades
Fessakis et al. Computer Science Teachers' Perceptions, Beliefs and Attitudes on Computational Thinking in Greece.
Hsu et al. Development of a reading material recommendation system based on a knowledge engineering approach
Karat Software evaluation methodologies
Baek et al. Educational data mining versus learning analytics: A review of publications from 2015 to 2019
Barrick et al. The relations between knowledge, search strategy, and performance in unaided and aided information search
US20110225079A1 (en) Method and system for personalized education
Lallé et al. Prediction of individual learning curves across information visualizations
Martínez-Torres et al. Identification of the design variables of eLearning tools
Kılıç et al. A valid and reliable scale for developing programming-oriented computational thinking
Chen et al. A hybrid data envelopment analysis approach to analyse college graduation rate at higher education institutions
Costas-Jauregui et al. Descriptive analytics dashboard for an inclusive learning environment
CN110609947A (zh) 智能学习系统的学习内容推荐方法、终端及存储介质
Toral et al. An electronic engineering curriculum design based on concept-mapping techniques
KR102607385B1 (ko) Ai학습장치 및 ai학습계획을 제공하는 방법
Zimmerman et al. The effects of a computer malfunction on subsequent task performance
Larsen et al. Subjective job task analyses for physically demanding occupations: What is best practice?
Asim et al. The “missing middle” of education service delivery in low-and middle-income countries
Friedman Statistics for library and information services: A primer for using open source R software for accessibility and visualization
Abbott The program evaluation prism: Using statistical methods to discover patterns
Sokhom et al. A cooperative education management system using technology acceptance model
Sherry et al. The influence of computer confidence on retention in the community college

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right