KR20170113619A

KR20170113619A - 응답을 평가하기 위한 반자동화된 시스템 및 방법

Info

Publication number: KR20170113619A
Application number: KR1020177024604A
Authority: KR
Inventors: 로넨 탈-보트저
Original assignee: 센스 에듀케이션 이스라엘., 엘티디.
Priority date: 2015-02-06
Filing date: 2016-02-08
Publication date: 2017-10-12
Also published as: CA2976051A1; AU2016214012A1; US11328377B2; US20220261937A1; CN112907155A; CN107430824A; US20200234388A1; US20180040085A1; US10614536B2; WO2016125126A3; BR112017016850A2; EP3832627A1; EP3254269A2; WO2016125126A2; HK1248393A1; IL253857A0; EP3254269A4; CN107430824B; US11978130B2; JP2018510438A

Abstract

본 발명의 실시예는 학습물을 평가하기 위한 반자동 시스템 및 방법을 제공한다. 상기 방법은 복수의 학생으로부터 복수의 학습물을 획득하는 단계, 학습물에 존재하는 모티프를 식별하는 단계, 모티프의 서브세트를 형성하는 단계, 모티프의 서브세트를 기초로 학습물을 클러스터로 클러스터링하는 단계, 교사로부터 클러스터에 대한 평가를 수신하고 클러스터 평가를 기초로 학습물에 대한 평가를 제공하는 단계를 포함한다. 본 발명의 실시예에 따르는 방법은 교사의 검토 및 피드백 시간을 감소시킬 수 있고 학생에게 제공되는 피드백의 일관성 및 품질을 향상시킬 수 있다.

Description

응답을 평가하기 위한 반자동화된 시스템 및 방법

관련 출원

본 출원은 2015년 02월 06일에 출원된 미국 가출원 62/112,665의 35 U.S.C. 119(e)에 따른 이익을 주장하며, 상기 가출원의 내용은 본 명세서에 참조로서 포함된다.

기술 분야

본 발명의 실시예는 학업의 평가를 위한 방법 및 시스템과 관련된다.

많은 학습 및 교수 환경에서, 교사(가령, 강사, 교육자, 훈련자, 교사 보조 및 교수 모두가 본 명세서에서 집합적으로 "교사"라고 지칭됨)가 과제, 리포트, 프로젝트, 숙제 및 시험(집합적으로 "학습물(student work product)"이라고 지칭됨)을 준비하여, 학생의 학습을 측정하고 전진시킬 수 있다. 많은 분야에서, 교사는 학생이 자유-텍스트 형태, 수학적 형태, 프로그래밍 코드 형태 또는 이와 유사한 형태로 답할 수 있는 개방형 질문을 이용한다. 검토하고, 평가하여 학생에게 가치 있는 피드백을 제공하기 위해, 교사는 과제 또는 시험에 대한 학생의 답변을 읽고, 검토하며 코멘트를 제공하기 위해 많은 시간을 써서, 학생의 학습 프로세스를 보조할 수 있다. 학습물을 검토하는 것이 대학, 단과대학, 고등학교, 직업 학교, 기업 훈련 및 온라인 교수 환경의 대규모 교실에서 특히 부담이 될 수 있다.

학생의 답변을 검토하는 시간을 절약하기 위해, 교사는 수동으로 또는 컴퓨터를 이용해 쉽게 체크될 수 있는 다지선다형 시험을 준비할 수 있다. 그러나 다지선다형 시험은 많은 단점을 가진다. 많은 분야에서, 다지선다 포맷이 답을 획득하기 위한 학생의 방법을 정확하게 포착할 수 없다. 또한 학생들이 자신이 짝으로부터 다지선다형 질문에 대한 답변을 카피하거나 부정행위를 하기 쉽다. 덧붙여, 특정 주제에서 학생의 능숙도를 적절하게 평가하기 위해 많은 다지선다형 질문이 필요하다.

많은 학생들에게 과제가 제시되는 학습 및 교수 환경에서, 학생들 중 다수의 학습물이 다른 학생의 것과 유사할 수 있다. 학습물은 복수의 클러스터로 분할될 수 있고, 각각의 클러스터는 복수의 학생으로부터의 학습물을 포함함으로써, 교사는 학습물 각각을 평가할 필요없이 각각의 클러스터에 피드백을 제공할 수 있다.

본 발명의 실시예는 반자동화 시스템 및 학습물의 평가를 위한 방법을 제공한다. 상기 방법은 복수의 학생으로부터 복수의 학습물을 획득하는 단계, 학습물에 존재하는 모티프를 식별하는 단계, 학습물 내 모티프의 서브세트를 선택하는 단계, 학습물을 클러스터로 클러스터링하는 단계, 교사로부터 클러스터 관련 평가를 수신하고 클러스터 평가를 기초로 학습물에 대한 평가를 제공하는 단계를 포함할 수 있다.

학습물 내 모티프의 서브세트를 선택하는 단계는 컴퓨팅 장치의 프로세서를 이용해 수행되어, 학습물의 최소 오버랩을 갖는 학습물의 최적 커버리지를 제공하는 모티프의 서브세트를 찾을 수 있다.

클러스터링하는 단계는 알고리즘을 수행하도록 구성된 비일시적 메모리를 포함하는 컴퓨팅 장치를 이용해 수행될 수 있다. 본 발명의 실시예에 따르는 방법은 교사의 검토 및 피드백 시간을 감소시킬 수 있고 학생에게 제공되는 피드백의 일관성 및 품질을 증가시킬 수 있다.

본 발명의 하나의 실시예에 따르면, 특정 학습물에 대한 교사 평가를 클러스터링 및 수신하기 위한 시스템 및/또는 방법을 이용한 후, 교사가 클러스터링 및 평가 데이터를 데이터베이스에 저장하고 학생으로부터의 유사한 학습물을 평가하기 위해 클러스터링 및 평가 데이터를 이용함으로써, 학생으로 피드백을 제공하는 데 필요한 시간이 감소될 수 있다. 예를 들어, 교사가 특정 평가에 대한 학생의 학습물을 평가하는 것을 보조하기 위해 앞서 언급된 방법을 이용하고 최종 클러스터링 및 평가 데이터를 데이터베이스에 저장하는 경우, 교사는, 컴퓨팅 장치를 이용해, 이전 평가에 제공된 클러스터링, 분류 및/또는 평가를 기초로, 새로 수신된 학습물을 분류할 수 있다. 이 분류는 교사가 유사한 과정에서 또는 다음 학기에 동일한 과제를 서로 다른 학생 그룹에게 주는 것을 보조할 수 있고 학생 응답의 용이하고, 신속한 검토를 가능하게 할 수 있다.

본 발명의 실시예에 따르는 방법은 모든 학생으로부터의 모든 학습물을 개별적으로 검토하지 않고 학습물에 대한 개인화된 학생 피드백을 제공하는 데 걸리는 교사의 시간을 절약시킬 수 있다.

이 개요에 학업 및 교사에 의한 이들의 평가가 기재되지만, 본 발명의 실시예는 임의의 유형의 질문에 대한 응답을 평가하기 위한 시스템 및 방법과 관련될 수 있다. 예를 들어, 제품의 사용자가 사용자 경험을 기술하도록 요청받는 설문조사가 수행될 수 있다. 사용자에 의해 제출된 응답이 검토자에 의해 분석될 수 있고 본 명세서에 의해 기재된 방법을 이용해 클러스터링될 수 있다. 본 발명의 방법은 검토자에 의해 수행되는 분석 프로세스를 단순화할 수 있다.

이 개요는 이하의 상세한 설명에서 더 기재되는 개념들의 모음을 단순한 형태로 소개하도록 제공된다. 이 개요는 청구항의 핵심 특징 또는 필수 특징을 식별하려는 의도하지 않으며, 청구하는 대상의 범위를 제한하는 데 사용되는 것도 아니다.

실시예의 비제한적 예시가 이하에서 다음에서 나열될 도면을 참조하여 기재된다. 둘 이상의 도면에서 나타난 동일한 구조, 요소 또는 부분이 등장하는 모든 도면에서 동일한 번호로 라벨링되고, 도면에서 특정 특징부를 나타내는 아이콘을 라벨링하는 숫자가 상기 특정 특징부를 참조하도록 사용될 수 있다. 도면에 도시된 구성요소 및 특징부의 치수는 표시의 편의 및 명료성을 위해 선택된 것이며 반드시 실측 비율로 그려진 것은 아니다.
도 1은 본 발명의 실시예에 따르는 학습물을 평가하기 위한 방법을 보여주는 블록도를 도시한다.
도 2는 본 발명의 실시예에 따르는 학습물을 클러스터링하고 평가하기 위한 방법의 측면을 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따르는 클러스터링된 결과의 디스플레이의 와이어프레임을 도시한다.
도 4는 본 발명의 실시예에 따라 클러스터링된 결과의 디스플레이의 와이어프레임을 도시한다.

본 발명의 실시예에 따르는 학습물을 평가하기 위한 방법(10)의 블록도를 보여주는 도 1을 참조한다.

방법(10)은 복수의 학생 학습물을 획득하는 단계를 포함하는 블록(20)을 포함한다. 학습물은 컴퓨팅 장치로 제출될 수 있다. 본 발명의 실시예에 따라, 컴퓨팅 장치는 서버, 스마트폰, 데스크톱 컴퓨터, 랩톱 컴퓨터, 패블릿(phablet), 태블릿 또는 스마트워치일 수 있다. 선택사항으로서, 컴퓨터 장치 또는 서버는 코드 및 하드웨어 구성요소가 서로 다른 물리적으로 이격된 장소에 위치하는 "분산 시스템"일 수 있다. 컴퓨팅 장치는 "클라우드 컴퓨터" 또는 월드 와이드 웹(World Wide Web) 또는 인터넷의 일부일 수 있다. 본 발명의 실시예에 따르면, 컴퓨팅 장치와의 데이터 통신이 유선 및/또는 무선 통신, 셀룰러 데이터 전송, Wi-Fi 네트워크, 클라우드-컴퓨팅을 통해, 또는 월드 와이드 웹 또는 인터넷을 통해 이뤄질 수 있다.

본 발명의 하나의 실시예에 따라, 컴퓨팅 장치가 학문적 기관의 학습 관리 시스템(LMS: Learning Management System)과 연관될 수 있다. 현재 LMS는 많은 학습 기관에 의해 운영되고 있다. 본 발명의 실시예의 구현을 위해 사용될 수 있는 예시적 LMS로는 "Moodle" 및 "Blackboard"가 있다.

본 발명의 실시예에 따라, 컴퓨팅 장치는 프로세서를 포함한다. 프로세서(41)는 종래 기술에서 알려진 임의의 처리 및/또는 제어 회로를 포함할 수 있으며 예를 들어 마이크로프로세서, 주문형 회로(ASIC), 필드 프로그래머블 어레이(FPGA) 및/또는 시스템 온 칩(SOC) 중 하나 이상 또는 둘 이상의 임의의 조합을 포함할 수 있다. 프로세서는 모티프 은행(motif bank)의 생성, 모티프 은행의 처리 및 클러스터링을 수행할 수 있다.

본 발명의 하나의 실시예에 따라, 컴퓨팅 장치는 메모리를 포함한다. 메모리는 데이터 및/또는 컴퓨터 실행형 명령을 저장하기에 적합한 임의의 전자 및/또는 광학 회로를 가질 수 있고 예를 들어 플래시 메모리, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 및/또는 소거 프로그램 가능한 리드-온리 메모리(EPROM) 중 임의의 하나 또는 둘 이상의 임의의 조합을 포함한다. 학습물이 메모리에 저장될 수 있다. 모티프 데이터 및/또는 클러스터링 데이터가 메모리에 저장될 수 있다.

본 발명의 실시예에 따르면, 학습물은 예를 들어, 교사 및/또는 학생의 컴퓨팅 장치로의 제출에 의해 획득될 수 있다. 학생 및/또는 교사가 웹-기반 플랫폼을 이용해 학습물을 제출할 수 있다. 학생 및/또는 교사는 개인 식별 코드 또는 번호 또는 그 밖의 다른 식별자를 입력한 후 웹-기반 플랫폼에 들어갈 수 있다.

본 발명의 실시예에 따라, 교사는 학습 기관, 공공 기관, 사설 기관, 또는 직업 기관에서의 교직원, 가령, 교사 보조이다. 기관은 예를 들어 교실에서 또는 온-라인 교수로, 개인적으로 수업을 제공할 수 있다.

본 발명의 실시예에 따르면, 학습물이, 과제에 대한 답변, 리포트, 프로젝트, 숙제 답변 및 시험 답변으로 구성된 군 중에서 선택된다.

본 발명의 실시예에 따르면, 각각의 학생이 단일 학습물, 가령, 단일 과제를 제출한다. 본 발명의 실시예에 따라, 각각의 학생이 복수의 학습물, 가령, 복수의 개별되는 답변을 갖는 과제를 제출한다. 본 발명의 실시예에 따르는 방법은 과제에서 다른 답변에 독립적으로 각각의 답변을 클러스터링할 수 있다.

방법(10)은 유사한 학습물과 관련된 평가가 데이터베이스에서 이용 가능한지 여부를 결정하는 단계를 포함하는 블록(30)을 포함한다. 유사한 학습물이 예를 들어 이전 학기에 동일한 교사에 의해 또는 동일 과정을 가르치는 또 다른 교사에 의해 이전에 제출됐을 수 있다. 데이터베이스는 컴퓨팅 장치의 메모리에 저장될 수 있다.

본 발명의 실시예에 따르는 컴퓨팅 장치가, 두 명의 교사가 서로의 과정을 인지하지 못하는 경우라도, 특정 시간에서 특정 교사에 의해 주어지는 특정 과정/수업의 학생의 작업을 다른 과정/수업의 이미 저장된 작업물과 자동으로 매칭시킬 수 있다. 매칭 프로세스가 데이터베이스에 저장된 학습물의 세트에 대해 수신된 학습물을 분류함으로써 수행될 수 있다. 저장된 학습물 및 이들과 연관된 클러스터에 대해 새로운 학습물을 분류하는 평균 점수가 지정 임계치 또는 임계치 공식보다 높은 경우 매칭이 정의될 수 있다.

학습물과 관련된 어떠한 평가도 식별되지 않는 경우, 방법(10)이 학습물을 클러스터링하여 클러스터를 형성하는 단계를 포함하는 블록(40)을 더 포함할 수 있다. 클러스터링은 도 2를 참조하여 이하에서 설명될 것이다.

방법(10)은 클러스터에 대한 요약 및/또는 중심 학습물을 제공하는 단계를 포함하는 블록(50)을 더 포함할 수 있다. 중심 학습물이 클러스터의 중심과 연관된 학습물이다. 중심은 클러스터 내 다른 학습물과 가장 유사한 학습물일 수 있다. 요약 및 중심 학습물은 도 2를 참조하여 이하에서 더 설명될 것이다.

방법(10)은 교사에게 조회하도록 클러스터를 표시하는 단계를 포함하는 블록(60)을 더 포함할 수 있다. 본 발명의 하나의 실시예에 따르면, 클러스터를 나타내는 클러스터의 학습물 요약이 교사에게 표시된다. 본 발명의 실시예에 따라, 클러스터를 나타내는 중심 학습물이 교사에게 표시된다. 본 발명의 실시예에 따라, 클러스터를 나타내는 요약 및 중심 학습물 모두가 교사에게 표시된다.

본 발명의 실시예에 따라, 요약이 학습물과 관련된 통계적 데이터, 모티프 및/또는 클러스터를 포함할 수 있다. 요약이 전체 학습물 및/또는 각각의 클러스터에서 모티프의 빈도를 기술하는 통계적 데이터를 포함할 수 있다. 그 후 요약이 교사에 의해 사용되어, 학생의 이해를 분석하여 미래의 교수법을 개선할 수 있는데, 예를 들어, 수업 시간에 이해도가 낮았던 모티프에 더 집중할 수 있다.

본 발명의 실시예에 따라, 클러스터링된 학습물을 보여주는 컴퓨팅 장치의 디스플레이의 와이어프레임(200)을 포함하는 도 3을 참조한다. 학습물을 교사에게 표시하는 것이 와이어프레임(200)에서 나타나도록 수행될 수 있다. 와이어프레임(200)은 좌측 프레임(210), 우측 프레임(220), 및 스크롤 바(222)를 포함한다. 좌측 프레임(210)은 특정 클러스터의 중심 학습물을 보여주는 중심 디스플레이(230)를 포함한다. 중심 디스플레이(230)는 중심 타이틀(232) 및 중심 텍스트(234)를 포함한다. 예를 들어, 중심 디스플레이(230)는 "클러스터 1"로 지정된 클러스터의 중심 학습물을 디스플레이할 수 있으며, 중심 학습물은 클러스터의 "학습물 6"로 지정된다.

우측 프레임(220)은 각각 동일한 클러스터 내 지정된 복수의 학습물(240, 250 및 260), 가령, "클러스터 1"과 연관된 학습물을 포함한다. 학습물(240)은 학습물 타이틀(242) 및 학습물 텍스트(244)를 포함한다. 학습물(250)은 학습물 타이틀(252) 및 학습물 텍스트(254)를 포함한다. 학습물(260)은 학습물 타이틀(262) 및 학습물 텍스트(264)를 포함한다.

와이어프레임(200)에서 개략적으로 나타난 바와 같이 디스플레이를 이용해 학습물을 조회하는 것이 특정 클러스터 내 학습물을 검토하는 교사에게 유익할 수 있다. 디스플레이에 의해, 교사는 클러스터의 중심 학습물과 클러스터의 나머지 학습물들을 용이하게 비교할 수 있다. 교사는 스크롤 바(222)를 이용해 우측 프레임(220)을 스크롤링하여, 클러스터 내 모든 학습물을 디스플레이할 수 있다.

본 발명의 실시예에 따르면, 와이어프레임(200)은 학습물과 연관된 클러스터 검증 및/또는 클러스터 제거 아이콘(둘 모두 도시되지 않음)을 포함할 수 있다. 교사가 예를 들어 우측 프레임(220)에서 학습물을 조회할 수 있고, 클러스터 검증 아이콘을 활성화함으로써 연관된 학습물이 현재 조회 중인 클러스터와 연관되어야 함을 확인할 수 있다. 교사는 클러스터 제거 아이콘을 활성화함으로써, 연관된 학습물이 현재 조회 중인 클러스터와 연관되지 않아야 함을 가리킬 수 있다. 교사는 학습물이 어느 클러스터와 연관되어야 하는지를 가리킬 수 있다. 시스템은 교사로부터의 입력을 이용해 학습물을 서로 다른 클러스터로 클러스터링할 수 있다. 교사의 입력의 결과로서, 시스템은 추가적인 매우 유사한 학습물의 과제를 해당 클러스터에서 또 다른 클러스터로 변경할 수 있다.

본 발명의 하나의 실시예에 따라, 학습물 텍스트(244, 254 및 264) 각각이 폰트 크기 또는 스타일에 의해 강조된 텍스트 또는 그 밖의 다른 방식으로 다른 텍스트와 구별되는 텍스트를 포함할 수 있다. 강조된 텍스트가 학습물(240, 250 및 260)이 연관되는 클러스터의 특성이라고 식별되는 모티프를 포함할 수 있다. 강조된 텍스트 또는 그 밖의 다른 방식으로 다른 텍스트와 구별되는 텍스트가 학습물 텍스트와 관련된 모티프 데이터를 포함할 수 있다.

도 1을 다시 참조하면, 방법(10)은 클러스터에 대한 교사로부터의 평가를 수신하는 단계를 포함하는 블록(70)을 포함한다.

교사로부터 수신된 평가가 학습물의 등급, 학습물에 대한 피드백, 학습물의 저자에 대한 미래 과제의 제안, 또는 관련된 연구의 제안 중 임의의 하나 또는 복수를 포함할 수 있다. 관련 연구의 제안은 특정 연구 대상 클러스터의 학생과 다른 클러스터의 한 학생 또는 복수의 학생 간 매칭을 포함하거나 및/또는 이와 협업할 수 있다.

방법(10)은 학습물, 연관된 클러스터링 데이터 및 평가를 데이터베이스에 저장하는 단계를 포함하는 블록(80)을 더 포함할 수 있다. 클러스터와 연관된 평가가 미래에 참조되기 위해 데이터베이스에 저장될 수 있어서, 교사가 동일하거나 유사한 과제를 또 다른 수업 또는 다음 학기에 제공하는 경우 교사는 이전에 저장된 클러스터링 및 평가 데이터를 액세스할 수 있다.

방법(10)은 학습물의 평가를 학생에게 제공하는 단계를 포함하는 블록(90)을 더 포함할 수 있다. 본 발명의 실시예에 따라, 평가가 전자적으로, 예를 들어 이메일 또는 기관의 학습 관리 시스템(LMS)을 통해 전송될 수 있다. 본 발명의 실시예에 따라, 블록(70)에 따라 클러스터에 대한 교사로부터의 평가를 수신하면 평가가 컴퓨터에 의해 자동으로 학생에게 전송될 수 있다.

본 발명의 하나의 실시예에 따르면, 학생에게 그 고유의 학습물의 평가가 제공될 수 있다. 선택사항으로서, 학생은 또한 학습물의 다른 클러스터에 대해 교사가 제공하는 평가를 액세스할 수 있다.

다시 블록(30)을 참조할 수 있다. 학습물과 관련된 평가가 데이터베이스에 식별되는 경우, 방법(10)은 이전에 지정된 클러스터에 따라 학습물을 분류하는 단계를 포함하는 블록(35)을 더 포함할 수 있다. 각각의 학습물은 이전에 형성된 클러스터에 따라, 학생 학습물에 존재하는 특징부를 기초로, 분석 및 분류될 수 있다.

본 발명의 실시예에 따라, 학생은 과제와 관련된 학습물을 다시 제출하도록 요청 받을 수 있다. 이러한 상황에서, 학습물은 블록(35)에 따라 분류되어, 학생에게 다시 제출된 학습물과 관련된 새로운 평가 및 피드백을 제공할 수 있다.

방법(10)은 각각의 학습물 클러스터에 평가를 지정하는 단계를 포함하는 블록(45)을 더 포함할 수 있다. 평가는 교사 입력, 또는 유사한 특징부를 갖는 대응하는 클러스터와 관련된 데이터베이스에 저장된 이전 평가를 기초로 지정될 수 있다.

각각의 학습물 클러스터로 평가가 지정되면, 블록(90)에 기재된 바와 같이 평가는 각각의 학생에게 제공될 수 있다.

방법(10)은 학생이 받는 평가와 관련된 학생으로부터의 피드백을 수신하는 단계를 포함하는 블록(95)을 더 포함할 수 있다. 학생은 평가와 관련된 피드백을 교사에게 제출할 수 있다. 피드백은 평가의 클러스터링 및/또는 관련성과 관련될 수 있다. 교사는 수신된 피드백 및/또는 모든 피드백의 통계적 집계 및 분석을 기초로 각각의 클러스터와 연관된 클러스터링 및/또는 평가를 수정할 수 있다. 선택사항으로서, 최적화 알고리즘이 사용되어 학생 피드백을 포함시킬 수 있고, 이로써 미래의 클러스터링 및/또는 피드백을 개선할 수 있다.

지금부터 본 발명의 실시예에 따라 학습물을 클러스터링 및 평가하기 위한 방법의 측면을 보여주는 방법(100)을 보여주는 블록도를 도시하는 도 2가 참조된다. 방법(100)은 컴퓨팅 장치에 의해 수행될 수 있다.

방법(100)은 수신된 학습물을 기초로 모티프 은행을 생성하는 단계를 포함하는 블록(110)을 포함할 수 있다. 모티프는 학습물들 간 공통적인 요소(가령, 서브-패턴)일 수 있다. 예를 들어, 랜덤 숫자의 어레이를 정렬하는 컴퓨터 과학 과제에서, 모티프는 최솟값을 찾기 위해 어레이 내 모든 값을 스캔하는 루프일 수 있다. 서로 다를 수 있는 많은 학습물이 이 모티프를 포함할 수 있다. 대안적 모티프가 값들의 쌍을 각각의 쌍으로만 정렬하기 위해 어레이 내 값들의 모든 인접한 쌍들을 스캔하는 루프일 수 있다.

본 발명의 하나의 실시예에 따르면, 학습물을 복수의 다른 학습물과 비교함으로써 모티프가 식별된다. 학생의 솔루션은 다른 학생의 작업에서 등장하는 동일하거나 유사한 섹션의 반복되는 존재를 기초로 다양한 섹션, 또는 모티프로 "분할"될 수 있다.

본 발명의 하나의 실시예에 따르면, 모티프가 분할 알고리즘(segmentation algorithm)을 이용해 형성된다. 상기 분할 알고리즘은 텍스트에서 구 또는 문장을 식별하는 데 사용되는 텍스트 분할 알고리즘과 유사할 수 있다.

본 발명의 한 실시예에 따르면, 시퀀스 정렬 알고리즘을 이용해 학습물로부터 모티프가 생성될 수 있다. 시퀀스 정렬에서, "전역 시퀀스 정렬" 및/또는 "로컬 시퀀스 정렬"을 이용해 학습물의 요소(단어, 숫자, 코드의 섹션, 개념 등)가 분석될 수 있다. 동적 프로그래밍 접근법이 사용되어 학습물에의 시퀀스 정렬을 수행할 수 있다. 그 밖의 다른 시퀀스 정렬 접근법이 생물정보학, 게놈 과학, 텍스트 마이닝 및 자연어 프로세싱의 분야에서 구현되는 알고리즘을 포함할 수 있다.

본 발명의 하나의 실시예에 따르면, 각각의 학습물에 하나의 쌍을 할당하고, 로컬 정렬을 학습물에 비교함으로써 모티프가 발견된다. 선택사항으로서, 쌍의 랜덤 선택이 이뤄질 수 있다. 선택사항으로서, 모든 학습물이 다른 모든 학습물과 비교될 수 있다. 선택적으로 다음의 방식으로 동적 프로그래밍을 이용해 학습물의 쌍에서 서브-시퀀스들 간 로컬 정렬을 찾음으로써, 로컬 정렬이 수행될 수 있다. 예를 들어, 하나의 학습물이 ABCDEFGHIJK이고 다른 학습물이 ZZZZZZBCZDEGZZ인 경우, 첫 번째 학습물로부터의 BCDEFG 서브-시퀀스가 두 번째 작업의 BCZDEG 서브-시퀀스와 매칭될 것이다. 이들 2개의 서브-시퀀스가 동일하지 않더라도, 그럼에도 2개의 서브-시퀀스 간에 삽입, 삭제, 및 대체 변화(변이)가 존재하기 때문에, 유사부분이 공통 모티프로서 인지될 수 있다. 하나의 학습물에서 서브-시퀀스가 시퀀스의 시작부분에 있고 다른 학습물에서 시퀀스의 끝 부분에 있더라도, 로컬 정렬 알고리즘의 사용으로 인해 이들은 여전히 모티프로서 간주될 것이다. 서브-시퀀스를 모티프로서 인지하면, 이들은 모티프 은행에 추가될 수 있다. 컴퓨팅 장치는 동일한 학습물 쌍을 계속 분석하여 두 학습물 모두에서 등장하는 또 다른 모티프를 찾을 수 있다. 컴퓨팅 장치는 학습물의 다음 쌍을 계속 분석하고 앞서와 같은 동일한 절차를 반복할 수 있다.

본 발명의 실시예에 따라, 모티프가 한 학습물과 다른 학습물 간 공통되는 특징부의 유사부분을 기초로 식별될 수 있다. 이는 특징부 기반 모티프 식별이라고 지칭될 수 있다. 특징부 기반 모티프 식별을 위해 사용될 수 있는 예시적 특징부의 비제한적 예를 들면, 학습물에 있는 단어 수, 명사 수, 동사 수, 사람, 장소, 날짜, 이벤트, 국가, 회사, 유전자, 질병, 분자 화합물, 물리 법칙, 수학 이론, 정치 이론, 종교관의 수 및 명칭, 학습물의 복잡도, 학습물의 크기, 사용된 명사/동사/고유명사 등이 있다. 이러한 개체의 라이브러리는 키워드 추출 알고리즘을 이용하거나, 이용하지 않고, 일반적으로 디지털 소스 및 월드 와이드 웹으로부터 획득될 수 있다.

본 발명의 하나의 실시예에 따르면, 모티프는 기준-매칭 알고리즘을 이용해 생성될 수 있다. 교사는 모티프 생성을 위해 사용될 관련 기준을 선택할 수 있다. 각각의 학습물이 학습물 또는 이의 일부분과 관련 기준의 유사부분을 기초로 모티프로 분할될 수 있다. 기준은 질문에 대한 한 답변 또는 복수의 이러한 답변, 과정 중에 이전에 연구된 텍스트, 텍스트북 텍스트 또는 백과사전 기준일 수 있다. 그 후 학습물이 기준에 대한 각자의 유사함을 기초로 서로 비교된다.

방법(100)은 모티프 은행을 처리하는 단계를 포함하는 블록(120)을 더 포함할 수 있다. 모티프 은행이 처리되어 모티프들을 조합 및/또는 무의미한 모티프를 삭제할 수 있다. 시퀀스 정렬 알고리즘을 이용해 모티프 은행이 처리될 수 있다. 모티프에 의한 학습물의 최소 오버랩과 함께 최대 커버리지의 최적치를 제공하도록 상기 모티프 은행이 처리될 수 있다.

본 발명의 하나의 실시예에 따라, 모티프가 발견되면, 집합적 학습물의 최대 커버리지 및 최소 오버랩을 제공하는 모티프의 서브세트를 선택하도록 매트릭스가 형성될 수 있다. 각각의 학습물의 각각의 요소(줄, 단어, 명령어 또는 문장)가 하나의 라인이도록 매트릭스가 형성될 수 있다. 학습물 내에 존재하고 모티프 은행에 저장된 모티프가 각각 매트릭스의 하나의 컬럼일 수 있다. 특정 학습물 내 모티프의 존재 또는 부재가 은행 및 학습물로부터의 모티프들 간 로컬 정렬에 의해 검출될 수 있고, 매트릭스의 적절한 라인에, 1 또는 0에 의해 각각 지시될 수 있다. 매트릭스 내 각각의 라인에 대해, 모티프의 특정 서브세트가 "커버리지 벡터"를 형성하기 위해 매트릭스의 요소들(1 또는 0)의 합이 계산될 수 있다. 컴퓨팅 장치의 프로세서가 가능한 1, 1, 1 ...1에 가까운 "커버리지 벡터"를 제공할 모티프를 기초로 모티프 은행으로부터 모티프들의 서브세트를 선택할 수 있다. 모티프의 이러한 서브세트는 모티프에 의한 학습물의 최소 오버랩과 함께, 학습물의 최대 커버리지를 제공한다. 어떠한 커버리지도 0의 스칼라(scalar)로서 제공될 수 없다. 오버랩은 1보다 큰 값으로 표시될 수 있다. 이하의 예시 2가 이러한 매트릭스와 벡터와 관련된 실시예를 설명한다.

본 발명의 하나의 실시예에 따르면, 최소 의미를 갖는 모티프가 삭제된다. 예를 들어, 모티프가 학습물의 최소 오버랩과 함께 최대 커버리지를 제공하는 서브세트에서 발견되지 않은 경우, 모티프가 제거될 수 있다. 선택사항으로서, 모티프가 지정 임계치 미만에서 학습물의 작은 퍼센티지로만 발견된 경우, 모티프는 할인될 수 있고, 더 처리되거나 클러스터링을 위해 사용되지 않을 수 있다.

방법(100)은 학습물을 클러스터링하여 클러스터를 형성하는 단계를 포함하는 블록(130)을 더 포함할 수 있다. 블록(120)에 따라 처리되는 모티프의 서브세트를 기초로, 학습물의 수보다 적은 수의 클러스터가 형성된다. 각각의 클러스터가 각각의 학습물 내 모티프의 존재여부, 순서, 개수 및/또는 정렬 품질을 기초로 서로 유사한 복수의 학습물을 포함할 수 있다. 본 발명의 실시예에 따라, 학습물이 약 5 내지 약 20개의 클러스터로 클러스터링될 수 있다. 각각의 클러스터를 구성하는 학습물 내 모티프(가령, 가장 공통적인 모티프)의 존재에 의해 각각의 클러스터가 정의될 수 있다.

본 발명의 실시예에 따라, 계층구조적 또는 분할적 클러스터링이 사용되어 클러스터를 형성할 수 있다. 사용될 수 있는 그 밖의 다른 방법으로는 다음과 같다: 이웃-접합(Neighbor-Joining), K-평균(K-Means), 가우시안 혼합 모델(Gaussian Mixture Model), 예상 최대화(Expectation Maximization), 자기-조직 맵(Self-Organizing Map), 주성분 분석(Principle Component Analysis), 유전자 알고리즘(Genetic Algorithm), 신경 네트워크(Neural Network) 및 자율적 또는 감독적 학습, 생체정보학, 게놈 과학, 텍스트 마이닝 및 자연어 처리의 분야에서 알려진 그 밖의 다른 방법.

본 발명의 실시예에 따라, 동시에 학습물이 복수의 클러스터로 클러스터링될 수 있다. 다시 말하면, 학습물은 이를 둘 이상의 클러스터에 연관하는 요소를 포함할 수 있다. 본 발명의 하나의 실시예에 따라, 둘 이상의 클러스터와 연관된 학습물이 두 클러스터 모두에 대한 교사 피드백을 수신할 수 있다.

본 발명의 실시예에 따라, 학습물이 나머지 모든 클러스터와 연관된 학습물과 상이하다고 결정될 수 있다. 학습물은 어떠한 클러스터에도 속하지 않는 것으로 간주될 수 있고 교사에게 개별 학습물로서 제시될 수 있다. 학습물은 교사로부터의 개별 평가를 수신할 수 있다. 본 발명의 실시예에 따라, 그 후 상이하고 어떠한 클러스터와도 연관되지 않다고 결정된 모든 학습물이 개별적으로 평가되도록 교사에게 표시될 수 있다.

클러스터링의 예시를 설명하기 위해, 랜덤 숫자의 어레이를 정렬하기 위한 컴퓨터 과학 과제에서, 하나의 클러스터 내 모든 학습물에서 공통적인 모티프가 최소 값을 찾기 위해 어레이의 모든 값들을 스캔하는 루프일 수 있다. 서로 상이할 수 있는 많은 학습물이 이 모티프를 포함할 수 있다. 대안 클러스터가 각각의 쌍의 값들의 쌍만 정렬하기 위해 어레이의 값의 모든 인접 쌍을 스캔하는 루프의 모티프를 포함하는 모든 학습물을 포함할 수 있다. 세 번째 클러스터는 두 모티프를 모두 포함하는 모든 학습물을 포함할 수 있다.

블록(130)과 관련하여 기재된 컴퓨팅 장치를 이용하는 클러스터링에 추가에, 인간 입력에 의해 클러스터링이 개선될 수 있다. 교사는 클러스터와 연관된 학습물을 검토한 후, 학습물이 또 다른 클러스터로 카테고리화되어야 한다고 결정할 수 있다. 교사는 또 다른 클러스터와 학습물의 연관을 지정할 수 있다. 그 후 컴퓨팅 장치는 클러스터링 프로세스를 재계산하여, 교사의 입력에 따라, 다양한 클러스터 내 다른 학습물을 연관시킬 수 있다. 예를 들어, 프로세서는, 교사로부터의 이러한 입력이 있으면, 교사에 의해 지정됐던 것과 동일한 모티프 조합을 갖는 이들 학습물을 재클러스터링(recluster)할 수 있다.

방법(100)은 각각의 클러스터에 대해, 적어도 하나의 특성 모티프를 디스플레이하는 단계를 포함하는 블록(140)을 더 포함할 수 있다. 특성 모티프는 그래픽 포맷으로 디스플레이될 수 있다. 그래픽 포맷은 각각의 특성 모티프의 위치가 각각의 학습물 내 이의 위치와 관련하여 디스플레이됨을 보여줄 수 있다. 각각의 클러스터에 대한 학습물이 복수의 학습물의 그래픽 표현을 보여주면서 디스플레이될 수 있고, 각각의 학습물은 그래픽으로 나타나는 모티프 또는 복수의 모티프를 가진다.

방법(100)은 클러스터에 대한 중심 학습물을 식별하는 단계를 포함하는 블록(145)을 더 포함할 수 있다. 상기 중심 학습물은 클러스터의 학습물들을 가장 잘 대표하는 학습물을 나타낼 수 있다. 클러스터의 중심이 동일 클러스터 내 타 학습물과 최소한의 유사 부분을 갖는 학습물로서 정의될 수 있다. 중심을 정의하는 또 다른 방법은 다른 메트릭, 가령, 중앙값(Median), 허밍 거리(Humming Distance), 유클리드 거리(Euclidean Distance), 피어슨 상관(Pearson Correlation) 등을 포함할 수 있다.

방법(100)은 클러스터와 관련된 요약(summary)을 형성하는 단계를 포함하는 블록(150)을 더 포함할 수 있다. 요약은 각각의 클러스터와 관련된 모티프 및/또는 각각의 클러스터와 관련된 메트릭에 대한 설명을 포함할 수 있다. 예를 들어, 요약은 각각의 클러스터와 연관된 학습물 수를 가리킬 수 있다. 또한 요약은 클러스터 내 변산도(degree of variability)를 가리킬 수 있다. 요약은 클러스터에 대한 중심의 일부를 포함할 수 있다. 요약은 클러스터와 연관된 모티프의 리스트를 포함할 수 있다.

본 발명의 실시예에 따르는 방법은 서로 복사될 수 있는 학습물의 검출에 유용할 수 있다. 컴퓨팅 장치를 통해 제출되는 학습물은 모티프에 대해 분석될 수 있고 클러스터로 형성될 수 있다. 하나의 클러스터 내 2개의 학습물 간 유사부분이 컴퓨팅 장치에 의해 교사에게 알려질 수 있다. 본 발명의 실시예에 따르는 방법은 학생이 가령, 학습물에 존재하는 모티프의 순서를 변경 및/또는 (하나의 학습물로부터뿐 아니라) 복수의 다른 학습물로부터의 서로 다른 모티프를 조합함으로써, 복제 검출을 피하려 시도하는 경우라도 복제가 검출될 수 있다는 점에서 바람직할 수 있다. 모티프들 간 유사부분 또는 학습물들 간 유사부분이 특정 임계치 이상인 경우 표절이 검출될 수 있다.

예시 1:

다음의 예시는 본 발명의 실시예에 따라, 컴퓨터 과학 분야에서 과제와 관련하여, 학습물의 평가를 위한 반자동 방법이 수행되는 방식을 기재한다. 학생에게 할당된 예시적 과제는 "사용자로부터 1 내지 23의 숫자를 갖는 입력을 수신하라. 스크린에 입력된 숫자의 길이를 한 변으로 갖는 예각 삼각형을 디스플레이하라"이다.

본 예시는 하나의 질문을 포함하는 방법을 언급하지만, 본 발명의 실시예에 따르는 학습물은 하나의 질문 또는 복수의 질문을 갖는 과제에 대한 답변을 포함할 수 있다. 모티프 식별 및 뒤따르는 클러스터링이 문제별로, 또는 전체 학습물을 기초로 수행될 수 있다.

학생은 인터넷을 이용해 자신의 고유 학생 식별 번호를 이용해 학생 평가 웹사이트에 들어간 후 과제에 대한 자신의 답변을 대학의 LMS로 업로딩함으로써 전자적으로 제출한다. 서로 다른 학생에 의해 각각 제출되는 학생 솔루션이 제출된다. 예시적 솔루션이 이하에서 상세히 설명된다.

각각의 솔루션에 대해, 입력 루프 및 출력 루프가 예상된다. 10명의 학생이 자신의 솔루션을 다음과 같이 제출한다. 모든 학생 솔루션(학습물)이 모티프를 검출하는 컴퓨팅 장치에 입력된다. 최대 커버리지 및 최소 오버랩의 최적 상태에 기여하지 않는 모티프가 제거된다. 시퀀스 정렬 알고리즘을 이용해 입력 루프(In1, In2 및 In3) 및 출력 루프(O1, O2 및 O3)를 나타내는 모티프가 식별된다. 덧붙여, 대안적 모티프가 입력 루프 또는 출력 루프와 관련되지 않는다. 이들 모티프는 X1 및 X2로 지정된다. 입력 루프(In3) 및 출력 루프(O3)가 각각 하나의 학습물에서 발견된다. 입력 및 출력 루프 각각이 동일한 입력 또는 출력 루프를 획득하기 위한 다양한 문법(syntax)을 이용해 인코딩될 수 있기 때문에 어떠한 2개의 학습물도 동일하지 않다.

컴퓨팅 장치는, 학습물 내 모티프를 식별하면, 발견된 모티프를 기초로 학습물을 클러스터로 클러스터링할 수 있다.

클러스터 A는 각각 In1 및 O1로 나타나는 입력 루프 및 출력 루프에 대한 올바른 응답이 존재하는 학습물을 나타낸다. 클러스터 B는 입력 루프에 대한 올바른 응답 및 출력 루프(O2)의 응답이 존재하는 학습물을 나타낸다. 클러스터 C는 입력 루프(In2)에 대한 올바르지 못한 응답 및 출력 루프에 대한 올바른 응답이 존재하는 학습물을 나타낸다. 클러스터 D는 입력 루프 및 출력 루프 모두에 대한 올바르지 못한 응답이 존재하는 학습물을 나타낸다. 클러스터 L은 추가 모티프(XI 또는 X2)가 존재하는 학습물을 나타낸다. 클러스터 Q는 또 다른 학습물에 존재하지 않는 모티프, 이 경우, In3 및 O3를 갖는 클러스터를 나타낸다. 모티프 및 클러스터와 연관된 학생 ID 번호가 아래에서 표 1로 나타난다.

그 후 교사에게 클러스터링이 표시되고 각각의 클러스터의 중심 학습물이 표시된다. 교사는 중심 학습물에 대한, 각각의 클러스터에 대한 관련 피드백을 제공한다. 그 후 교사에 의해 클러스터링을 기초로 제공되는 피드백이 그의 학습물이 관련된 하나 이상의 클러스터를 기초로 각각의 학생에게 제공된다.

교사는 또한 클러스터들 중 하나와 관련이 없다고 학습물을 지정할 수 있다.

클러스터링 데이터와 평가 데이터 모두 데이터베이스에 저장된다. 교사는 실제로 단 7개의 솔루션만 검토하면서, 가치 있는 피드백을 20명의 학생에게 제공하여, 검토 시간을 절약할 수 있다.

교사 또는 컴퓨팅 장치의 그 밖의 다른 사용자에게, 컴퓨팅 장치에 연결된 디스플레이를 통해, 도 4에 도시된 바와 같은 클러스터링 및 이와 연관된 데이터가 표시될 수 있다. 도 4는 본 발명의 실시예에 따르는 클러스터링된 결과의 디스플레이의 와이어프레임(300)을 나타낸다. 와이어프레임(300)은 선택된 클러스터 아이콘(312) 및 비-선택된 클러스터 아이콘(314)을 포함하는 클러스터 아이콘(310)을 포함한다. 클러스터 아이콘(310)은 클러스터 식별자(316) 및 클러스터 데이터(318)를 포함한다. 클러스터 데이터가 각각의 클러스터와 관련된 데이터를 포함할 수 있다. 도 4에서, 각각의 클러스터 내 학습물의 수가 나타난다. 클러스터 데이터(318)는 각각의 클러스터 내에 존재하는 하나 또는 복수의 모티프를 요약하는 요약 데이터를 포함할 수 있다. 각각의 클러스터 아이콘(310)은 아이콘 상에 지정된 클러스터에서 학습물의 그래픽 표현을 디스플레이하도록 선택될 수 있다.

와이어프레임(300)은 학습물 그래픽(320)을 포함한다. 각각의 학습물 그래픽은 모티프 지정자(326 및 328)를 포함한다. 모티프 지정자(326 및 328) 각각은 학습물 그래픽에 존재하는 모티프를 나타낸다. 와이어프레임(300)에서, 모티프 지정자(326)는 학습물에서 In1 모티프의 존재여부를 나타낸다. 모티프 지정자(328)는 학습물에서 O1 모티프의 존재여부를 나타낸다. 도 4에 도시된 바와 같이, 학습물 그래픽(320)에 의해 그래픽으로 나타난 모든 클러스터 A 학습물은 모티프 지정자(326 및 328) 둘 모두를 포함한다. 그래픽(320)에 의해 도시되는 바와 같이, 각각의 모티프 지정자(326 및 328)의 위치 및 길이가 학습물 내에서 상이하다. 특정 학습물은 모티프 지정자(327)에 의해 지시되는 바와 같이, 무의미한 모티프를 포함한다.

학습물 그래픽(320)은 비-중심(non-centroid) 그래픽(324) 및 중심 그래픽(322)을 포함한다. 중심 그래픽(322)은 클러스터 A의 중심 학습물을 나타낸다. 클러스터 A 내에서 중심이 아닌 학습물이 비-중심 그래픽(324)으로 나타난다.

와이어프레임(300)은 특정 중심 그래픽(322)에서 선택된 학습물 그래픽과 연관된 학습물을 나타내는 학습물 디스플레이(330)를 더 포함한다. 학습물 디스플레이(330)는 섹션(332, 334 및 336)을 포함한다. 섹션(332 및 336)은 모티프 지정자(338 및 340)에 의해 각각 모티프로 지정된 학습물의 섹션으로 지시된다. 섹션(334)은 모티프 지정자에 의해 지정되지 않으며, 모티프와 연관되지 않은 학습물의 섹션을 나타낸다.

교사가 디스플레이에 연결된 컴퓨팅 장치를 통해 와이어프레임(300)을 액세스할 수 있다. 교사는 클러스터를 보기 위해 클러스터 아이콘(310) 중 하나를 선택할 수 있다. 선택된 클러스터와 연관된 학습물이 학습물 그래픽(320)으로서 그래픽 형태로 디스플레이될 수 있다. 그 후 교사는 학습물 그래픽(320)을 선택하여 학습물 디스플레이(330)에서 이를 조회할 수 있다. 교사는 각각의 섹션과 연관된 모티프 지정자(338 및 336)를 관찰함으로써, 각각의 학습물의 어느 섹션이 각각의 모티프와 연관되는지를 관찰할 수 있다.

예시 2:

다음의 예시는 도 2를 참조하여 설명될 바와 같이(블록(120)) 무의미한 모티프를 조합 및/또는 제거하도록 모티프 은행이 처리될 수 있는 방식을 도시한다. 이 예시에서, 그 후 유의미한 모티프는 클러스터링을 위해 사용되고, 그렇지 않은 경우 제거되어 무의미한 모티프는 클러스터링을 위해 사용되지 않는다.

본 발명의 실시예에 따르는 방법의 예시적 사용에서, 7개의 학습물이 수신되고 학습물1 ~ 학습물7로 지정된다. 표 2는 학습물 각각과 관련된 모티프 데이터를 포함하는 매트릭스를 나타낸다.

매트릭스의 각각의 라인이 학습물의 명령어, 단어, 또는 문장을 나타낼 수 있다. 컴퓨팅 장치는, 자신의 프로세서를 통해, 우선 모든 학습물에 존재하는 모티프 은행에 저장된 모티프1-8로 지시되는 8개의 모티프를 식별한다. 학습물의 특정 라인에에서 특정 모티프의 존재가 숫자 "1"로 나타난다. 학습물의 특정 라인에서 특정 모티프의 부재가 공란 또는 숫자 0으로 나타난다. 각각의 학습물에서의 모티프의 존재 또는 부재가 로컬 시퀀스 정렬 기법을 이용해 계산되어, 학습물의 특정 라인의 세트에서, 은행 내 모티프와 100% 유사한 부분이 없는 경우라도, 모티프가 존재할 수 있음을 가리킨다.

"커버리지"라고 라벨링된 매트릭스의 컬럼은 선택된 모티프의 세트에 대해, 각각의 라인에 대해 표의 값들의 합을 나타낸다. 모티프의 수를 제한하기 위해, 최적화 알고리즘을 이용해 모티프의 선택이 최적화되어, "커버리지" 컬럼에서 가능한 1에 가까운 값을 갖는 벡터를 수신할 수 있다. 커버리지 컬럼의 특정 라인에서 1의 결과가 선택된 모티프들 중 하나에 의해, 라인에 의해 나타나는 명령어/단어/문장의 커버리지를 제공하는 모티프를 나타낼 것이다. 1보다 작은 결과가 선택된 모티프가 학습물의 특정 라인에 대해 어떠한 커버리지도 제공하지 않음을 나타낸다. 1보다 큰 결과는 선택된 모티프가 학습물의 특정 라인에 대해 오버랩을 제공함을 가리킨다.

커버리지 컬럼에서 가능한 1과 가까운 벡터를 제공하기 위한 매트릭스를 이용해 최적화 알고리즘이 채용된다. 최적화 알고리즘이 유전학 알고리즘을 채용할 수 있다. 대안으로 또는 추가로, 최적화 알고리즘은 힐 클라이밍(hill climbing), 기울기 하강(gradient descent), 시뮬레이션된 어닐링 및/또는 동적 프로그래밍을 채용할 수 있다. 선택사항으로서, 최적화의 둘 이상의 사이클이 적절한 모티프를 찾기 위해 수행될 수 있다.

표 2에 도시된 매트릭스에서, 모티프 1, 2, 5 및 7가 선택된 모티프이다. 그 후 이들 모티프는 학습물에 존재하는 선택된 모티프에 따라 학습물을 클러스터로 클러스터링하기 위해 사용된다.

본 발명의 실시예에 따라 학습물을 평가하기 위한 방법이 추가 제공되며, 상기 방법은 컴퓨팅 장치를 통해 복수의 학생으로부터 복수의 학습물을 수신하는 단계, 컴퓨팅 장치를 이용해 학습물에 존재하는 모티프를 식별하는 단계, 학습물에 존재하는 모티프를 기초로 컴퓨팅 장치를 이용해 학습물을 클러스터로 클러스터링하는 단계, 클러스터에 대한 평가를 교사로부터 수신하는 단계, 및 클러스터의 평가를 기초로 학습물에 대한 평가를 학생에게 제공하는 단계를 포함한다. 선택사항으로서, 모티프는 수신된 학습물의 시퀀스 정렬을 이용해 식별된다. 선택사항으로서, 클러스터링은, 이웃-접합(Neighbor-Joining), K-평균(K-Mean), 가우시안 혼합 모델(Gaussian Mixture Model), 예상 최대화(Expectation Maximization), 자기-조직 맵(Self-Organizing Map), 주성분 분석(Principle Component Analysis), 유전학 알고리즘(Genetic Algorithm) 및 신경 네트워크(Neural Network)로 구성된 군 중에서 선택된 방법을 이용해 수행된다. 선택사항으로서, 학습물은 51명 이상의 학생으로부터 수신된다. 선택사항으로서, 학습물이 5 내지 20개의 클러스터로 클러스터링된다. 선택사항으로서, 클러스터링 후, 각각의 클러스터와 연관된 학습물의 그래픽 표현을 이용해 학습물이 디스플레이된다. 선택사항으로서, 학습물의 각각의 그래픽 표현 내에서 모티프가 그래픽으로 디스플레이된다. 선택사항으로서, 방법은 클러스터링 후, 교사로부터 클러스터와 학습물의 연관에 대한 입력을 수신하는 단계를 포함한다. 선택사항으로서, 방법은 클러스터와 학습물의 연관에 대한 교사 입력을 기초로 학습물을 재클러스터링하는 단계를 더 포함한다. 선택사항으로서, 학습물에 존재하는 모티프를 식별하는 단계는 이전에 수신된 학습물을 기초로 이전에 수신된 모티프 데이터를 이용하는 단계를 포함한다. 선택사항으로서, 평가는, 학습물의 등급, 학습물에 대한 피드백, 학습물의 저자에 대한 미래 과제의 제안 및/도는 관련된 학습의 제안 중 하나 또는 복수를 포함한다. 선택사항으로서, 상기 방법은, 모티프를 식별한 후, 학습물의 향상된 커버리지를 제공하는 모티프의 서브세트를 식별하는 단계를 더 포함한다. 선택사항으로서, 상기 방법은, 모티프를 식별한 후, 학습물의 최소 오버랩을 제공하는 모티프의 서브세트를 식별하는 단계를 더 포함한다. 선택사항으로서, 상기 방법은, 모티프를 식별한 후, 최적화 알고리즘을 이용해 무의미한 모티프를 제거하는 단계를 더 포함한다. 선택사항으로서, 최적화 알고리즘은, 유전학 알고리즘(genetic algorithm), 힐 클라이밍(hill climbing), 기울기 감소(gradient descent), 시뮬레이션된 어닐링(simulated annealing) 및 동적 프로그래밍(dynamic programming)으로 구성된 군 중에서 선택된다. 선택적으로, 최적화 알고리즘은 모티프 중 어느 서브세트가 최소 오버랩과 함께 집단 학습물의 최대 커버리지를 제공하는지를 가리킨다. 선택사항으로서, 클러스터링은 모티프의 서브세트를 기초로 수행된다. 선택사항으로서, 상기 방법은, 클러스터링 후, 각각의 클러스터와 연관된 중심을 식별하는 단계를 더 포함한다. 선택사항으로서, 상기 방법은, 클러스터와 연관된 중심을 교사로 디스플레이하는 단계를 더 포함한다. 선택사항으로서, 방법은, 클러스터링 후, 모티프, 클러스터 및/또는 학습물과 관련된 요약 데이터를 디스플레이하는 단계를 더 포함한다. 선택사항으로서, 요약 데이터는 통계 데이터를 포함한다. 선택사항으로서, 방법은, 클러스터링 후, 데이터베이스에 클러스터링 데이터를 저장하는 단계를 더 포함한다. 선택사항으로서, 방법은 학생에게 평가를 제공한 후, 평가에 대한 추가 입력을 학생으로부터 수신하는 단계를 더 포함한다. 선택사항으로서, 모티프가 특징부-기반 모티프 식별을 통해 식별된다. 선택사항으로서, 모티프가 기준-매칭 알고리즘을 통해 식별된다. 선택사항으로서 복수의 학습물을 수신하는 단계는 학습 관리 시스템(Learning Management System)에서 수행된다. 선택사항으로서, 상기 방법은 복수의 학습물을 수신하는 단계는 웹 기반 플랫폼에서 수행된다. 선택사항으로서, 학습물은, 과제에 대한 답변, 리포트, 프로젝트, 숙제 답변 및 시험 답변으로 구성된 군 중에서 선택된다.

본 발명의 실시예에 따라 질문에 대한 응답을 평가하기 위한 방법이 또한 제공되며, 상기 방법은 컴퓨팅 장치를 통해, 복수의 응답자로부터의 복수의 응답을 수신하는 단계, 컴퓨팅 장치를 이용해 응답에 존재하는 모티프를 식별하는 단계, 응답에 존재하는 모티프를 기초로 컴퓨팅 장치를 이용해 응답을 클러스터로 클러스터링하는 단계, 클러스터링된 응답의 설명을 제공하는 단계를 포함한다.

본 발명의 상세한 설명 및 청구항에서, "포함하다(comprise)", "포함하다(include)" 및 "가진다(have)"라는 동사 및 이의 활용형태가 사용되어 동사의 하나 이상의 목적어가 동사의 하나 이상의 주체의 구성요소, 요소, 또는 일부의 완전한 나열인 것은 아니다.

본 출원의 본 발명의 실시예의 설명이 예시로서 제공된 것이며 본 발명의 범위를 한정하려는 것이 아니다. 기재된 실시예는 서로 다른 특징부를 포함하며, 이들 모두가 본 발명의 모든 실시예에서 필요한 것은 아니다. 일부 실시예는 특징부 중 일부 또는 특징부들의 조합만 이용한다. 기재되는 본 발명의 실시예의 변동 및 기재된 실시예에 언급된 특징부의 서로 다른 조합을 포함하는 본 발명의 실시예가 해당 분야의 통상의 기술자에게 자명할 것이다. 본 발명의 범위는 청구항에 의해서만 제한된다.

Claims

학습물을 평가하기 위한 방법으로서, 상기 방법은
컴퓨팅 장치를 통해, 복수의 학생으로부터 복수의 학습물을 수신하는 단계,
컴퓨팅 장치를 이용해 학습물에 존재하는 모티프를 식별하는 단계,
컴퓨팅 장치를 이용해 학습물에 존재하는 모티프를 기초로 학습물을 클러스터로 클러스터링하는 단계,
교사로부터 클러스터와 관련된 평가를 수신하는 단계, 및
클러스터의 평가를 기초로 학습물에 대해 학생에게 평가를 제공하는 단계를 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 상기 모티프는 수신된 학습물의 시퀀스 정렬을 이용해 식별되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 이웃-접합(Neighbor-Joining), K-평균(K-Mean), 가우시안 혼합 모델(Gaussian Mixture Model), 예상 최대화(Expectation Maximization), 자기-조직 맵(Self-Organizing Map), 주성분 분석(Principle Component Analysis), 유전학 알고리즘(Genetic Algorithm) 및 신경 네트워크(Neural Network)로 구성된 군 중에서 선택된 방법을 이용해 클러스터링하는 단계가 수행되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 학습물은 51명 이상의 학생으로부터 수신되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 학습물은 5 내지 20개의 클러스터로 클러스터링되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 클러스터링 후, 학습물은 각각의 클러스터와 연관된 학습물의 그래픽 표현을 이용해 디스플레이되는, 학습물을 평가하기 위한 방법.
제6항에 있어서, 모티프는 학습물의 각각의 그래픽 표현 내 그래픽으로 디스플레이되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 클러스터링 단계 후, 교사로부터 학습물과 클러스터의 연관과 관련된 입력을 수신하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제8항에 있어서, 학습물과 클러스터의 연관과 관련된 교사 입력을 기초로 학습물을 재클러스터링(re-clustering)하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 학습물에 존재하는 모티프를 식별하는 단계는 이전에 수신된 학습물을 기초로 이전에 수신된 모티프 데이터를 이용하는 단계를 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 평가는, 학습물의 등급, 학습물에 대한 피드백, 학습물의 저자에 대한 미래 과제의 제안 및/또는 관련 학습의 제안 중 하나 또는 복수를 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 모티프를 식별한 후, 학습물의 향상된 커버리지를 제공하는 모티프의 서브세트를 식별하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제12항에 있어서, 모티프를 식별한 후, 학습물의 최소 오버랩을 제공하는 모티프의 서브세트를 식별하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 모티프를 식별한 후, 최적화 알고리즘을 이용해 무의미한 모티프를 제거하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제14항에 있어서, 최적화 알고리즘은, 유전학 알고리즘, 힐 클라이밍, 기울기 감소, 시뮬레이션되는 어닐링 및 동적 프로그래밍으로 구성된 군 중에서 선택되는, 학습물을 평가하기 위한 방법.
제14항에 있어서, 최적화 알고리즘은 모티프의 어느 서브세트가 최소 오버랩을 갖고 집단 학습물의 최대 커버리지를 제공하는지를 가리키는, 학습물을 평가하기 위한 방법.
제16항에 있어서, 클러스터링하는 단계는 모티프의 서브세트를 기초로 수행되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 클러스터링 단계 후, 각각의 클러스터와 연관된 중심(centroid)을 식별하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제18항에 있어서, 클러스터와 연관된 중심을 교사에게 디스플레이하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 클러스터링 단계 후, 모티프, 클러스터 및/또는 학습물과 관련된 요약 데이터를 디스플레이하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제20항에 있어서, 요약 데이터는 통계적 데이터를 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 클러스터링 단계 후, 클러스터링 데이터를 데이터베이스에 저장하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 평가를 학생에게 제공한 후, 학생으로부터 평가에 대한 추가 입력을 수신하는 단계를 더 포함하는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 모티프는 특징부 기반 모티프 식별을 통해 식별되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 모티프는 기준-매칭 알고리즘을 통해 식별되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 복수의 학습물을 수신하는 단계는 학습 관리 시스템(Learning Management System)에서 수행되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 복수의 학습물을 수신하는 단계는 웹-기반 플랫폼에서 수행되는, 학습물을 평가하기 위한 방법.
제1항에 있어서, 학습물은 과제에 대한 답변, 리포트, 프로젝트, 숙제 답변 및 시험 답변으로 구성된 군 중에서 선택되는, 학습물을 평가하기 위한 방법.
질문에 대한 응답을 평가하기 위한 방법으로서,
컴퓨팅 장치를 통해, 복수의 응답자로부터 복수의 응답을 수신하는 단계,
컴퓨팅 장치를 이용해 응답에 존재하는 모티프를 식별하는 단계,
컴퓨팅 장치를 이용해 응답에 존재하는 모티프를 기초로 응답을 클러스터로 클러스터링하는 단계,
클러스터링된 응답의 설명(description)을 제공하는 단계를 포함하는, 질문에 대한 응답을 평가하기 위한 방법.