KR102403077B1 - 영어 문장 학습을 위한 이미지 구조화 시스템 - Google Patents

Abstract

본 발명은 문장의 POS(Part of speech)값, DEP(Dependency)값 및 각 단어의 헤드(head)에 해당하는 단어에 대한 데이터를 검출하도록 형성되는 문장분석 모듈과, 상기 POS값과 DEP값을 이용하여 영어문장에서 메인 단어들을 선택하고 메인 단어 및 메인 단어에 해당하지 않는 단어들의 세트를 설정하며, 동일 세트의 단어들을 박스로 묶도록 형성되는 제어모듈과, 상기 박스들의 지정값들을 설정하고 상기 지정값들에 따라 박스들의 표시 순서 및 위치를 결정하는 이미지 조합 모듈을 포함하며, 상기 제어모듈은 상기 메인 단어를 상기 메인 단어가 아닌 단어들과 구분하고, 상기 이미지 조합 모듈은 서로 이웃하도록 위치가 결정된 두 박스를 동일한 라인 상에 배치하여, 상기 두 박스의 메인 단어가 눈에 띄게 하는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템을 제공한다.

Description

영어 문장 학습을 위한 이미지 구조화 시스템 {IMAGE-STRUCTURING SYSTEM FOR LEARNING ENGLISH SENTENCES}

본 발명은 영어 문장 학습 시스템에 관한 것으로서, 보다 자세하게는 영어 문장의 구조를 이미지화하여 학습자에게 제공함으로써 직관적으로 영어 문장을 학습 할 수 있게 하는 영어 문장 학습을 위한 이미지 구조화 시스템에 관한 것이다.

영어 학습에는 다양한 방법이 있지만 이러한 학습 방법들의 궁극적인 목표는 학습자들이 영어권 국가의 원어민처럼 자연스럽게 영어를 이해할 수 있게 하는 것이다.

그러나, 국어와 영어의 문장 구조와 어순이 상이하기 때문에 학습자들이 영어 문장의 구조를 한눈에 파악하는 것이 어렵다는 문제가 있다.

종래에는 영어문장의 구조 분석 결과를 학습자에게 제공하여 학습자가 문장 구조 분석에 들이는 시간을 줄이는 식으로 학습 효율을 향상시키고자 하였다.

예를 들어, 대한민국 등록특허 제10-1302875호 '기호처리를 통해 문장구조 인식이 용이한 영어문장 직독직해 학습시스템'(이하 '특허문헌 1'이라 함)에서는 영어문장을 효과적으로 파악하고 이해하기 위한 영어문장 직독직해 학습시스템에 관한 것으로서 영어문장을 문장성분 또는 품사별로 분석하여 각각 문장성분 또는 품사별로 특정된 기호로 문장데이터를 표시함으로써 문장 구조를 쉽게 파악할 수 있게 한다.

또한, 대한민국 등록특허 제10-1906561호 '문장구조 이해가 용이한 영어문장 표시방법'(이하 '특허문헌 2'라 함)에서는 복수의 문장성분으로 구성된 영어문장을 일정한 의미단위 구문으로 분절하여 사용자 단말기로 표시 처리하여 영어문장을 구성하는 문장성분 및 품사 정보를 쉽게 파악할 수 있게 한다.

또한, 대한민국 등록특허 제10-1706980호 '캐릭터를 이용한 영어의 문장 구조 학습법'(이하 '특허문헌 3'이라 함)에서는 컴퓨터를 이용한 영어 학습 방법에 관한 것으로서 컴퓨터 화면에 디스플레이된 캐릭터의 완성을 통해서 이미지를 통해 영어의 문장 구조를 학습 할 수 있게 하는 영어 학습 방법을 개시한다.

하지만 이러한 종래기술들에서는 단순히 문법에 따른 영어문장의 구조 분석 데이터를 제공할 뿐 학습자가 영어를 모국어로 사용하는 사람들의 문장 이해 방식을 직관적으로 습득할 수 있게 하는 기술은 개시되어 있지 않다.

대한민국 등록특허 제10-1302875호 대한민국 등록특허 제10-1906561호 대한민국 등록특허 제10-1706980호 대한민국 특허출원 제10-2019-0160763호

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서 영어문장의 텍스트 구조를 이미지화 하여 학습자가 영어 문장의 이해 방식을 직관적으로 습득할 수 있게 하는 영어 문장 학습을 위한 이미지 구조화 시스템을 제공하는 것을 목적으로 한다.

본 발명은 문장의 POS(Part of speech)값, DEP(Dependency)값 및 각 단어의 헤드(head)에 해당하는 단어에 대한 데이터를 검출하도록 형성되는 문장분석 모듈과, 상기 POS값과 DEP값을 이용하여 영어문장에서 메인 단어들을 선택하고 메인 단어 및 메인 단어에 해당하지 않는 단어들의 세트를 설정하며, 동일 세트의 단어들을 박스로 묶도록 형성되는 제어모듈과, 상기 박스들의 지정값들을 설정하고 상기 지정값들에 따라 박스들의 표시 순서 및 위치를 결정하는 이미지 조합 모듈을 포함하며, 상기 제어모듈은 상기 메인 단어를 상기 메인 단어가 아닌 단어들과 구분하고, 상기 이미지 조합 모듈은 서로 이웃하도록 위치가 결정된 두 박스를 동일한 라인 상에 배치하여, 상기 두 박스의 메인 단어가 눈에 띄게 하는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템을 개시한다.

본 발명의 일 실시예에 따르면, 상기 제어모듈은 depth 값이 '0' 또는 '1'이며, 메인단어 여부가 'TRUE'인 메인 단어들을 다른 메인 단어들과 구분하도록 형성되는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템을 개시한다.

본 발명의 일 실시예에 따르면, 상기 제어모듈은 상기 다른 메인 단어들과 구분되는 메인 단어들의 색 또는 폰트를 변경하는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템을 개시한다.

본 발명의 일 실시예에 따르면, 상기 제어모듈은 문장의 패턴 분석 결과나 상기 문장분석 모듈의 분석 결과를 토대로 학습자에게 제공되는 그룹들의 디스플레이 간격이나 디스플레이 시간을 조정하는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템을 개시한다.

본 발명의 일 실시예에 따르면, 상기 제어모듈은 DEP 값이 root인 단어의 depth를 0으로 지정하고, 각 단어들이 head 타고 root까지 거슬러 올라갈 때 만나는 메인 단어의 갯수가 n개인 경우 해당 단어의 depth를 n으로 지정하며, 이 때 단어 자신이 메인 단어인 것은 카운팅하지 않는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템을 개시한다.

본 발명은 문장구조를 분석한 후 핵심단어를 기준으로 수식하는 단어, 세트, 그룹의 상대적 위치와 시간적 선후관계를 정의하여 문장 구조들 간의 연결관계를 이미지로 표현할 수 있다. 이를 통해 학습자가 영어의 문장 구성의 원리를 체득할 수 있게 한다.

또한, 본 발명은 문장의 구성요소들을 세트 및 박스 별로 구분하여 영어문장 구성 방식을 쉽게 이해할 수 있게 한다.

또한, 본 발명은 문장 성분들에 일정 규칙에 따라 박스를 지정하고 박스별 지정값에 따라 표시 순서, 크기 등을 갖게 하여 영어문장을 이해하는 방식과 중요도를 한눈에 파악할 수 있게 한다.

도 1은 본 발명의 일 실시예에 따른 영어 문장 학습을 위한 이미지 구조화 시스템의 개념도.
도 2는 영어문장 구조의 이미지 구조화 방법을 나타낸 순서도.
도 3은 문장분석 방법을 나타내는 개념도.
도 4는 문장분석 결과를 해석하는 방법을 설명하기 위한 개념도.
도 5는 Data 가공 방법의 세부 단계를 나타내는 순서도.
도 6은 영어문장에서 단어들의 세트를 지정하는 방법을 설명하기 위한 개념도.
도 7은 단어 박스 그룹을 설정하는 방법을 설명하기 위한 개념도.
도 8a는 박스들의 배치 및 연결관계를 나타내는 일 실시예, 도 8b는 박스들의 배치 및 연결관계를 나타내는 다른 실시예.
도 9는 본 발명의 일 실시예에 따라 박스들이 디스플레이 되는 방식을 나타내는 개념도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 본 발명에 대하여 도면을 참조하여 보다 상세하게 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다. 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 또는 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 영어 문장 학습을 위한 이미지 구조화 시스템의 개념도이다.

도 1을 참조하면, 시스템(100)은 서버를 통해 다수의 사용자에게 언어 학습 컨텐츠를 제공할 수 있도록 형성된다.

학습자들은 사용자 단말기를 통해 언어 학습 컨텐츠를 제공받을 수 있다. 사용자 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등의 이동 단말기나 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기가 포함될 수 있다.

시스템(100)은 제어모듈(110)과, 데이터수집모듈(120)과, 데이터베이스(130)와, 이미지 조합 모듈(140), 문장분석모듈(150) 등을 포함할 수 있다. 이하에서는 설명의 편의를 위해 각 모듈을 구분하여 설명하고 있지만 실제 제어모듈(110)이 다른 모듈들을 기능을 포함하도록 형성되는 것이 가능하다.

제어모듈(110)은 문장에 대한 데이터를 수집하거나 데이터베이스에 저장된 데이터를 각 모듈에 제공하거나, 각 모듈들의 구동을 제어할 수 있다. 학습 효율 증대를 위해 제어모듈(110)에는 머신러닝 모듈이 포함될 수 있다. 예를 들어, 이미지 조합 모듈을 통해 문장 구성들을 이미지화 하는 과정에서 학습자들이 선호하는 박스 크기, 색상 등의 정보를 수집한 후 이를 이용해 최적의 이미지를 찾아내는 것이 가능하다.

제어모듈(110)은 문장 구성 이미지를 노출시킬 때 해당 이미지에 대응하는 음성을 함께 제공할 수 있다.

데이터수집모듈(120)은 문장을 구성하는 단어들에 대한 데이터들을 수집하여 제어모듈(110)에 제공할 수 있다. 예를 들어, 데이터수집모듈(120)은 단어들에 대응되는 음성데이터를 수집하여 데이터베이스에 저장할 수 있다.

데이터베이스(130)에는 시스템(100)을 구동시키기 위한 각종 데이터들이 저장된다. 예를 들어, 데이터베이스(130)에는 단어들에 대응되는 이미지 데이터들과 해당 단어에 대응되는 복수의 음성 데이터들이 저장될 수 있다.

또한, 데이터베이스(130)에는 이미지 박스의 색상, 크기, 위치에 대한 데이터들이 저장될 수 있다. 이러한 정보들은 사용자가 직접 설정할 수 있으며 경우에 따라서는 머신러닝을 통해 얻어진 정보일 수도 있다.

이미지 조합 모듈(140)은 각 단어(또는 그룹)에 해당하는 이미지 박스를 매칭하고 이미지 박스의 크기, 색상, 위치 등을 정의한다.

또한, 이미지 조합 모듈(140)은 각 세트 내 단어들의 이미지 박스(그룹)의 위치를 정의한 후 그룹 간 이미지 순서 및 위치를 정의할 수 있다.

문장분석모듈(150)은 머신 러닝 등의 인공지능(AI)을 활용하여 문장의 구조를 분석(sentence parsing)할 수 있다.

본 발명의 일 실시예에 따르면, 시스템은 강세 패턴 분석모듈(미도시)을 더 포함할 수 있다.

강세 패턴 분석모듈은 문장의 음성출력 데이터를 분석하여 화자가 문장을 끊어읽는 위치, 출력되는 dB 값, 성조나 억양 등을 분석하여 학습자가 청취하고자 하는 문장의 강세 패턴을 판단할 수 있다.

제어 모듈은 상기 강세 패턴 분석모듈이 분석한 패턴 또는 문장 분석 결과에 따라 학습자에게 제공되는 박스들의 디스플레이 간격이나 디스플레이 시간을 조정할 수 있다.

도 2는 영어문장 구조의 이미지 구조화 방법을 나타낸 순서도이다.

도 2를 참조하면, 영어문장 구조의 이미지 구조화 방법은 pre-data 처리 단계(S100)와, Data 가공 단계(S200)와, 문장 구성 이미지화 단계(S300)와, 학습 자료 제공 단계(S400) 등을 포함할 수 있다.

먼저 도 3 및 도 4를 참조하여 pre-data 처리 단계(S100)를 설명한다.

도 3은 문장분석 방법을 나타내는 개념도이고, 도 4는 문장분석 결과를 해석하는 방법을 설명하기 위한 개념도이다.

본 발명의 시스템은 영어 문장의 POS값과 DEP값을 활용하여 메인 단어들을 추출하고, 단어 그룹별 세트를 설정하고, 이렇게 정리된 데이터를 이용하여 영어문장을 이미지 구조화한다.

도 3을 참조하면 문장분석모듈은 문장의 POS (Part of speech) 값, DEP (Dependency) 값, 각 단어의 헤드(head)에 해당하는 단어 등에 대한 데이터를 검출한다.

POS 값은 각 단어들이 갖는 문장성분값을 나타낸다.

POS 값에는 ADJ(adjective), ADP(adposition), ADV(adverb), AUX(auxiliary), CONJ(conjunction), CCONJ(coordinating conjunction), DET(determiner), INTJ(interjection), NOUN(noun), NUM(numeral), PART(particle), PRON(pronoun), PROPN(proper noun), PUNCT(punctuation), SCONJ(subordinating conjuction), SYM(symbol), VERB(verb), X(other) SPACE(space) 등을 포함할 수 있다.

DEP 값은 단어들의 관계를 나타내는 값으로, 각 단어들은 도 4에 도시된 바와 같이 시작점(꼬리)과 도착점(머리)을 갖는 화살표로 연결될 수 있다.

본 실시예에서는 DEP 값 할당하기 위해 각 단어들을 연결하는 화살표를 이용하였으나 이는 단어들의 관계를 설명하기 위한 것일 뿐이다. 즉, 시스템에서 단어들의 관계를 화살표로 표시하지 않더라도 어느 한 단어에서 다음 단어로 의미가 연결되거나 문장 구조가 연결되는 경우에는 앞선 단어 쪽을 꼬리 지점으로 뒤따르는 단어 쪽을 머리 지점으로 설정하는 것이 가능하다.

DEP 값에는 acl(adjectival clause), acomp(adjectival complement), advcl(adverbial clause modifier), advmod(adverbial modifier), amod(adjectival modifier), appos(appositional modifier), ccomp(clausal complement), dobj(direct object), nsubj(nominal subject), det(determiner), relcl(relative clause modifier) 등을 포함할 수 있다.

도 4를 참조하면, 차일드(child)는 성분 2개를 연결한 화살표의 머리 지점에 위치한 성분을 말하고, 헤드(head)는 성분 2개를 연결한 화살표의 시작 지점의 성분을 말한다.

엔세스터(ancestor)는 헤드에서 헤드로 거슬러 올라간 위치의 성분을 말한다.

디센던트(descendant)는 차일드에서 차일드로 거슬러 내려간 위치의 성분을 말한다.

제어 모듈(110)은 상기에서 설명한 POS 값, DEP 값, 차일드, 디센던트, 엔세스터 등의 정보에 대응하여 data를 가공하고 이미지 박스의 배치, 모양, 색상, 크기 등을 설정할 수 있다.

도 5는 Data 가공 방법의 세부 단계를 나타내는 순서도이다.

도 5를 참조하면, data 가공 단계(S200)는 영어문장에서 메인 단어들을 선택하는 단계(S210)와, 단어들의 세트를 지정하고 동일 세트의 단어들을 하나의 박스로 묶는 단계(S220), 박스 그룹 및 박스 포지션을 설정하는 단계(S230) 등을 포함할 수 있다.

메인 단어들을 선택하는 단계(S210)에서는 앞에서 설명한 단어들의 POS값, DEP값 및 성분간 연결구조 정보를 이용하여 문장에서 메인 단어를 선택한다.

도 6은 영어문장에서 메인 단어들을 선택하는 방법을 설명하기 위한 개념도이다.

본 발명의 일 실시예에 따른 메인 단어를 선택 과정은 다음과 같은 규칙을 따른다.

< 메인 단어 식별(is main) >

도 6에 도시된 바에 따르면 메인 단어에 해당하는 경우 메인단어 여부 데이터값(is main)을 트루(true)로 설정하고 메인 단어가 아닌 경우 폴스(false)로 설정한다.

제어 모듈은(110) 단어의 DEP 값이 acl, acomp, advcl, advmod_v, advmod_v_up, appos, attr, aux_t, auxpass, cc_t, cc_c, ccomp, conj_t, cop, csubj, csubjpass, dative, dep, dobj, expl, intj, meta, nsubj, nsubjpass, oprd, obj, obl, parataxis, pcomp, pobj, preconj, punct, relcl, root, xcomp 인 경우 해당 단어를 메인 단어로 선택한다.

DEP값이 conj인 경우 해당 단어의 헤드에 해당하는 단어의 POS가 verb이면 해당 단어의 DEP값을 conj_t(메인 단어에 해당하는 conj)로 변경하고 이를 메인 단어로 선택한다. DEP값이 conj인 경우 해당 단어의 헤드에 해당하는 단어의 POS가 verb가 아니면 DEP값을 conj_f(메인 단어에 해당하지 않는 conj)로 변경하고 이를 메인 단어가 아닌 것으로 결정한다.

여기서 DEP값 conj_t 와 conj_f 는 설명의 편의를 위하여 표시한 것으로서 이러한 용어에 권리범위가 한정되는 것은 아니다.

또한, 제어 모듈(110)은 DEP 값이 cc이면서 해당 단어의 헤드에 해당하는 단어의 POS값이 verb인 경우 root가 head 이고 root index가 자기 index 보다 큰 경우 DEP 값을 cc_c 로 변경하고 root가 head 이고 root index가 자기 index 보다 작은 경우 DEP 값을 cc_t로 변경한다. 헤드에 해당하는 단어의 POS값이 verb가 아니면 DEP값을 cc_f(메인 단어에 해당하지 않는 cc)로 변경하고 이를 메인 단어가 아닌 것으로 결정한다.

마찬가지로 DEP값 cc_t 와 cc_f 는 설명의 편의를 위하여 표시한 것으로서 이러한 용어에 권리범위가 한정되는 것은 아니다.

*또한, 제어 모듈(110)은 DEP 값이 prep 또는 agent인 단어의 경우, 해당 단어의 차일드에 해당하는 단어의 DEP 값이 pcomp인 경우 상기 DEP 값이 prep 또는 agent인 단어는 메인 단어로 선택하지 않는다.

제어 모듈(110)은 DEP 값이 npadvmod, advmod 이고 헤드의 POS가 verb인 경우, root가 head 이고 root index가 자기 index 보다 큰 경우 DEP 값을 cc_c로 변경하며 root가 head 가 아니고 root index가 자기 index 보다 작은 경우 DEP 값을 advmod_v로 변경한다. 이러한 변환을 통해 부사가 꾸며주는 말과 떨어져 있는 경우를 처리할 수 있게 된다.

DEP 값이 mark 이고 head의 POS가 verb 인 경우 head index가 자기 index 보다 큰 경우 DEP 값을 cc_c로 변경한다. 이를 통해 as와 같은 단어(mark)가 꾸며주는 말과 떨어져서 앞에 있을 경우를 처리할 수 있게 된다.

또한, 제어모듈(110)은 DEP 값이 pobj이면서 헤드에 해당하는 단어의 DEP 값이 prep 이거나 agent인 단어의 DEP 값을 pobj_t(메인 단어에 해당하는 pobj)로 변경하고 이를 메인 단어로 선택한다. DEP 값이 pobj 이면서 헤드에 해당하는 단어의 DEP 값이 prep나 agent가 아닌 단어의 DEP 값은 pobj_f(메인 단어에 해당하지 않는 pobj)로 변경하고 이를 메인 단어가 아닌 것으로 결정한다.

또한, 제어모듈(110)은 DEP 값이 aux이면 lemma가 have 이거나 be 이면 DEP 값을 aux_t로 변경한다.

*또한, 제어모듈(110)은 'of' 단어의 head의 POS 값이 NOUN 이거나 PRON 인 경우, 해당 'of'를 head로 가지고 있는 단어는 메인 단어에서 제외한다.

<메인 단어의 depth를 확인>

'of'의 head를 A, 'of'를 head로 가지고 있는 단어를 B라고 하면, B를 head로 가지고 있는 단어의 head를 A로 변경한다.

제어모듈은 DEP 값이 root인 단어의 depth를 0으로 지정하고, 각 단어들이 head 타고 root까지 거슬러 올라갈 때 만나는 메인 단어의 갯수가 n개인 경우 해당 단어의 depth를 n으로 지정한다. 이 때 단어 자신이 메인 단어인 것은 카운팅하지 않는다.

본 발명의 일 실시예에 따르면 제어 모듈(110)은 상기 depth 값 또는 아래에서 설명하는 레벨 값에 따라 글자의 크기와 폰트를 설정할 수 있다.

<단어들의 파트값(part_main) 및 세트값 설정>

단어들이 어느 메인 단어의 파트에 해당하는지 결정한다.

제어모듈(110)은 먼저 메인 단어의 경우(true) index값을 파트값으로 정한다.

단어가 메인 단어에 해당하지 않는 경우(false) 아래의 방법으로 단어의 파트값(part_main)을 결정한다.

단어의 head에 해당하는 단어가 메인 단어인 경우(true) head의 index값을 파트값(part main)으로 결정한다. head에 해당하는 단어가 메인 단어가 아닌 경우(false) head의 head에 해당하는 단어가 메인 단어인지 확인하여 해당 메인 단어의 index 값을 파트값으로 결정한다.

메인 단어가 아니면서 DEP 값이 prep 이거나 agent 인 단어의 경우, 그 단어를 head로 갖고 있는 단어 중 메인 단어가 있다면 해당 메인 단어의 index 값을 파트값으로 결정한다. 예를 들어, index값 12의 'in'의 경우 메인 단어가 아니면서 DEP 값이 prep이다. 'in'을 head로 갖는 단어 중 index값 15인 'home' 단어가 메인 단어에 해당하므로 'home'의 index값(15)이 'in'의 파트값이 된다.

메인 단어가 아니면서 DEP 값이 prep 이거나 agent 인 단어의 경우, 그 단어를 head로 갖고 있는 단어 중 메인 단어가 없다면 원래대로 head의 index값을 파트값으로 결정한다. 예를 들어, index값 30의 'of'의 경우 메인 단어가 아니면서 DEP 값이 prep이다. 하지만 'of'를 head로 갖는 단어(head index 값이 30인 단어들) 중에는 메인 단어가 존재하지 않기 때문에 'of'의 head index값인 29가 파트값이 된다.

이해하기 쉽게 이에 해당하는 단어들을 도 6에서 붉은색 글자로 표시하고 있다.

모든 단어들의 파트값이 결정될 때까지 계속 상기와 같이 방식으로 head를 거슬러 올라가며 파트값을 결정한다.

단어들의 파트값을 결정한 후 메인 단어 여부와 상기 정해진 파트값을 이용해 단어들의 세트를 설정한다.

제어모듈(110)은 메인 단어에 해당하는 경우 상기 메인 단어의 index 값을 세트값으로 설정하며, 메인 단어가 아닌 경우 해당 단어의 파트값(part_main)을 세트값으로 설정한다.

<단어의 레벨 산정>

단어들의 레벨을 설정하여 박스 또는 그룹들의 크기, 색상 등을 결정한다.

단어들의 레벨 산정은 단어가 배열된 순서대로 아래의 규칙에 따라 정하여진다.

DEP가 root인 단어의 레벨(level)을 1로 설정하고, 해당 단어의 DEP가 acl 또는 relcl에 해당하는 경우 head의 레벨에 1을 더한다.

단어의 DEP가 acl 또는 relcl이 아닌 경우 해당 단어의 레벨을 head의 레벨과 동일한 레벨로 설정한다. 만약 head의 레벨이 아직 정해지지 않았다면 해당 단어의 레벨을 설정하지 않고 패스하며 마지막 단어까지 도달한 경우 다시 첫 단어부터 다시 레벨을 산정한다.

< 그룹 결정 >

도 7을 참조하여 그룹을 결정하는 방식을 설명한다.

제어모듈(110)은 도 6에서 같은 세트값을 갖는 단어들을 하나의 박스로 묶고 해당 세트값을 인덱스 박스(index_box)값으로 설정한다.

본 발명의 일 실시예에 따르면, 각 박스 내 단어들의 head index값을 추적하여 박스 내 단어가 아닌 단어를 head로 갖는 단어의 head index 값을 헤드 인덱스 박스(head_index_box)값으로 설정한다. 예를 들어, 도 6에서 세트값이 2인 단어들 중 'a'와 'retired'의 head index 값은 2이므로 동일 세트(박스) 내의 단어 'soldier'를 head로 갖지만 'soldier'의 head index는 11이므로 다른 세트(박스)의 단어 'died'를 head로 갖는다. 따라서, 인덱스 박스 2의 헤드 인덱스 박스는 11이 된다.

제어모듈(110)은 단어의 DEP 값이 acl, relcl, 또는 root 인 경우 해당 단어를 그룹 팩터(group factor)로 설정하고 해당 단어를 포함하는 박스를 그룹 팩터 박스(group factor_box)로 설정한다.

그룹 팩터 박스에 해당하는 박스의 경우 인덱스 박스 값을 인덱스 그룹 값으로 설정하고, 헤드 인덱스 박스가 그룹 팩터 박스에 해당하는 경우 헤드 인덱스 박스 값을 인덱스 그룹(index_group) 값으로 설정한다. 예를 들어, 인덱스 박스 값 2인 'a retired soldier'의 헤드 인덱스 박스 'died'가 그룹 팩터 박스에 해당(true)하므로 헤드 인덱스 박스 값 11을 인덱스 그룹 값으로 설정한다.

< 포지션 결정 >

메인 단어 정렬 및 박스 포지션 값이 업(up)인지 다운(down)인지 결정한다.

아래 표에 표시된 박스 포지션 값들은 본 발명의 일 실시예에 따른 것이고 필요에 따라 다소 변경하여 사용하는 것이 가능하다.

상기 표 1에 따르면 박스 포지션 값이 업(up)인 경우 u, 박스 포지션 값이 다운(down)인 경우 d로 표시하며, 메인 단어의 dep 값이 pobj인 경우에는 P로 표시한다.

본 발명의 일 실시예에 따르면, 메인 단어의 dep 값에 따라 박스의 포지션 값이 결정된다. 예를 들어 도 6에서 인덱스 박스 값이 2인 박스('a retired soldier')의 메인 단어 'soldier'의 dep 값이 nsubj이므로 상기 표 1에 따라 인덱스 박스 2의 포지션은 d가 된다. 마찬가지로 인덱스 박스 값이 9인 박스('for 30 years')의 메인 단어 'years'의 dep 값이 pobj 이므로 인덱스 박스 9의 포지션은 P가 되며, 인덱스 박스 값이 11인 박스('died')의 메인 단어의 dep 값이 root 이므로 인덱스 박스 11의 포지션은 d가 된다.

도 7에는 이러한 절차에 따라 박스 별로 결정된 박스 포지션 값이 표시되어 있다.

< 박스의 좌표 결정 >

박스 포지션 값에 따른 박스의 위치를 결정한다.

본 발명의 일 실시예에 따르면 박스들은 기본적으로 인덱스 순으로 차곡차곡 쌓이며, 쌓이는 위치 또는 기준점은 아래와 같은 규칙에 의하여 정해진다.

먼저, 박스 포지션이 u 또는 d 일 때 이전 박스와 포지션 종류가 같은 박스는 이전 박스의 바로 옆에 위치시키고, 이전 박스와 포지션 종류가 다른 박스는 일부가 겹치게 배치된다.

예를 들어, 현재 박스 포지션이 u이고 이전 박스 포지션이 u인 경우 현재 박스의 기준점(x좌표)는 '이전 기준점(x좌표) + 이전 박스 가로 길이'가 된다. 현재 박스 포지션이 u이고 이전 박스 포지션이 d인 경우 현재 박스 기준점(x좌표)는 '이전 기준점(x좌표) + 이전 박스 가로 길이 - 현재 박스 가로 길이/2 ' 가 된다.

현재 박스 포지션이 u이고 이전 박스 포지션이 u인 경우 현재 박스의 기준점(y좌표)는 0이 된다. 현재 박스 포지션이 u이고 이전 박스 포지션이 d인 경우 현재 박스 기준점(y좌표)은 0이 된다.

마찬가지로 현재 박스 포지션이 d이고 이전 박스 포지션이 u인 경우 현재 박스 기준점(x좌표)은 '이전 기준점(x좌표) + 이전 박스 가로 길이 - 현재 박스 가로 길이/2 ' 가 되고, 현재 박스 포지션이 d이고 이전 박스 포지션이 d인 경우 현재 박스 기준점(x좌표)은 '이전 기준점(x좌표) + 이전 박스 가로 길이'가 된다.

현재 박스 포지션이 d이고 이전 박스 포지션이 u인 경우 현재 박스 기준점(y좌표)은 '- (세로 기본 길이)' 이동될 수 있다. 현재 박스 포지션이 d이고 이전 박스 포지션이 d인 경우 현재 박스 기준점(y좌표)은 '- (세로 기본 길이)'만큼 이동될 수 있다. 즉, 본 발명의 일 실시예에 따르면 현재 박스 포지션이 d인 박스의 경우에는 박스의 현재 박스 포지션이 u인 박스에 비해 박스 상단이 낮게 배치될 수 있다.

다음으로, 박스 포지션이 p 일 때 이전 박스가 p 포지션이 아닌 경우 현재 박스의 기준점(x좌표)는 '이전 기준점(x좌표) + 이전 박스 가로 길이'가 된다. 현재 박스의 기준점(y좌표)는 '0'이 된다.

박스 포지션이 p일 때 이전 박스가 p 포지션인 경우 현재 박스의 기준점(x좌표)는 '이전 기준점(x좌표)'가 된다. 현재 박스의 기준점(y좌표)는 '이전 박스의 기준점(y좌표) + Yp(p 박스의 높이 값)'이 된다.

도 8a는 박스들의 배치 및 연결관계를 나타내는 일 실시예, 도 8b는 박스들의 배치 및 연결관계를 나타내는 다른 실시예이고, 도 9는 본 발명의 일 실시예에 따라 박스들이 디스플레이 되는 방식을 나타내는 개념도이다.

도 8a 내지 도 9를 참조하면, 본 발명의 시스템에 따라 박스들이 어떻게 연결되는지 확인할 수 있다.

박스들은 기본적으로 index box 값 순서대로 디스플레이된다.

즉, 'a retired soldier'(2) -> 'who'(3) -> 'served'(4) -> 'his country'(6) -> 'but'(10) 등과 같이 문장의 순서대로 박스들이 표시된다.

박스들은 레벨 값에 따라 라인이 결정되고, 포지션 값에 따라 좌표값이 결정된다.

예를 들어, 도시된 바에 따르면 레벨 값이 1인 박스들 'a retired soldier', 'was', 'given', 'a hero's send off', 'by hundreds of people'은 메인 라인에 배치되고, 레벨 값이 2인 박스들은 레벨 값이 1인 박스의 위쪽 라인에 배치된다. 레벨 값이 동일하더라도 DEP_box 값이 cc_t인 경우(ex. 'but') 라인이 변경될 수 있다.

구체적으로, 'a retired soldier' 박스 다음에 표시되는 박스는 'who'인데 레벨 값이 2이므로 'a retired soldier' 박스 위쪽에 표시된다. 이하 설명의 편의를 위해 index box 값을 박스 번호로 부른다. 박스 표시 순서는 도 8a 및 도 8b에 화살표로 표시되어 있다.

도 8a는 박스의 레벨 값이 커짐에 따라 위쪽에 배치되는 실시예를 나타내고, 도 8b는 박스의 레벨 값이 커짐에 따라 아래쪽에 배치되는 실시예를 나타낸다.

이하에서는 도 8a 및 도 9에서 박스가 표시되는 방식을 설명한다. 본 발명에서는 이하에서 설명하는 규칙을 조금 변경하여 도 8b와 같이 박스가 표시되게 할 수 있다.

박스 3 다음에는 박스 4가 표시된다. 박스 3의 포지션은 u, 박스 4의 포지션은 d이므로 위에서 설명한 좌표 값 결정 규칙에 따라 박스 4는 박스 3과 일부가 겹치게 배치된다. 도 8a의 실시예에서는 u 박스의 y값이 d 박스의 y값 보다 크게 설정되어 있으므로 박스 4는 박스 3의 우측 하단에 일부가 겹치도록 배치된다.

박스 6의 레벨은 2이고 포지션은 u 이므로 박스 6의 좌측 하단이 박스 4와 일부 겹치도록 배치된다. 박스 9의 레벨은 2이고 포지션은 p이므로 박스 9는 박스 6의 우측에 배치된다. 박스 10은 DEP 값이 cc_t이므로 레벨 2의 시작 박스인 박스 3의 위쪽에 배치된다. 박스 11의 레벨은 2이고 포지션은 d이므로 박스 11은 박스 10의 우측 하단에 배치된다. 박스 15의 레벨은 2이고 포지션은 p이므로 박스 15는 박스 11의 우측에 배치된다.

박스 18의 포지션은 박스 15의 포지션과 동일하게 p이므로 박스 15의 하단에 배치된다. 이와 같이 동일한 박스가 연결될 때 박스 간의 경계선이 지워져 하나의 박스처럼 표시될 수 있다.

*박스 21의 레벨은 1이므로 박스 21은 앞의 레벨 1 박스(박스 2)와 같은 라인에 표시되며, 박스 21의 포지션은 d이므로 박스 2의 우측하단에 일부가 겹치도록 배치된다. 박스 22의 레벨은 1이고 포지션은 d이므로 박스 21의 우측에 배치되며 동일한 포지션이 연속되므로 박스 간의 경계선이 지워져 하나의 박스처럼 표시될 수 있다.

박스 26의 레벨은 1이고 포지션은 u이므로 박스 26은 박스 22의 우측에 배치된다. 박스 29의 레벨은 1이고 포지션은 p이므로 박스 29는 박스 26의 우측에 배치된다.

박스 32의 레벨은 2이므로 박스 32는 박스 29의 위쪽에 배치된다.

박스 33의 레벨은 2이고 포지션은 d이므로 박스 32의 우측하단에 일부가 겹치게 배치된다. 박스 35의 레벨은 2이고 포지션은 d이므로 박스 35는 박스 33의 우측에 배치된다. 박스 37의 레벨은 2이고 포지션은 u이므로 박스 37은 박스 35의 우측에 좌측 하단이 겹치게 배치될 수 있다. 이와 같이 d 박스가 연속되는 경우 앞의 u박스와 뒤의 u박스 사이의 공간이 비게 될 수 있으므로 앞의 u박스 상단 경계를 뒤의 u박스에 접하도록 연장시킬 수 있다.

또한, 본 발명의 일 실시예에 따르면 한 문장에서 POS가 aux가 아닌 첫번째 d박스 다음의 메인 단어를 붉은색으로 표시하여 문장의 핵심 단어를 강조하는 것이 가능하다. 예를 들어, 도 8a 내지 도 9에서 'send' 단어가 문장의 핵심 단어로 표시되어 있다.

학습 자료 제공 단계(S400)에서는 위에서 설명한 단계들을 통해 준비된 학습 컨텐츠를 학습자에게 제공한다.

영어의 경우 스트레스 타임드 랭귀지(Stressed timed language)에 해당하기 때문에 문장을 끊어 읽는 패턴이 중요하다. 본 발명에서는 이러한 문장의 패턴을 반영하여 학습자에게 학습 자료를 제공할 수 있다.

예를 들어, 제어모듈은 화자가 문장을 끊어읽는 위치, 출력되는 dB 값, 성조나 억양 등을 분석하여 학습자가 청취하고자 하는 문장의 강세 패턴을 판단한 후 강세 패턴에 대응하여 이미지 박스(또는 이미지 박스 그룹)의 디스플레이 타임을 설정할 수 있다.

다른 실시예에 따르면, 제어모듈은 문장 분석 결과에 따라 학습자에게 제공되는 박스들의 디스플레이 간격이나 디스플레이 시간을 조정할 수 있다.

예를 들어, 제어모듈은 문장에 포함된 단어의 숫자를 파악한 후 단어 당 일정 시간을 배정할 수 있다. 일 예로, "The boy who has a ball lies on the chair." 라는 문장은 10개의 단어로 되어 있으며 각 단어에 0.5초를 배정할 경우 전체 문장의 길이는 5초(duration)가 된다.

그 후 제어모듈은 상기 5초를 단어수와 끊어 읽는 횟수를 합한 숫자로 나누어 묶음별 시간을 다시 분배할 수 있다. 예를 들어, 위의 문장을 "The boy / who has a ball / lies / on the chair." 로 끊어 읽을 경우 3곳에서 끊어 읽게 되므로 한 단어당 5/13초를 할당한 후 이미지 박스의 디스플레이 간격을 설정할 수 있다.

마찬가지로 제어모듈은 특정 규칙을 설정하여 박스들의 디스플레이 간격, 디스플레이 시간 등을 조정할 수 있으며 이를 통해 학습자가 일정한 패턴으로 문장을 끊어 읽는 방식을 익히게 할 수 있다.

상기에서 설명한 적어도 하나의 실시예에 따르면 문장구조를 분석한 후 핵심단어를 기준으로 수식하는 단어, 세트, 그룹의 상대적 위치와 시간적 선후관계를 정의하여 문장 구조들 간의 공간적/시간적 연결관계를 이미지로 표현할 수 있다. 이를 통해 학습자가 영어의 문장 구성의 원리를 체득할 수 있게 하고, 문장의 구성요소들을 세트 및 그룹 별로 구분하여 영어문장 구성 방식을 쉽게 이해할 수 있게 하며, 문장 성분들에 일정 규칙에 따라 서로 다른 크기 또는 색깔의 박스를 할당하고 박스간의 연결관계를 정의하여 영어문장을 이해하는 방식과 중요도를 한눈에 파악할 수 있게 하는 등 종래기술과는 차별되는 효과를 기대할 수 있다.

이상에서 설명한 발명은 위에서 설명된 실시예들의 구성과 방법에 한정되는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (5)

1. 문장의 POS(Part of speech)값, DEP(Dependency)값 및 각 단어의 헤드(head)에 해당하는 단어에 대한 데이터를 검출하도록 형성되는 문장분석 모듈;
   상기 POS값과 DEP값을 이용하여 영어문장에서 메인 단어들을 선택하고 메인 단어 및 메인 단어에 해당하지 않는 단어들의 세트를 설정하며, 동일 세트의 단어들을 박스로 묶도록 형성되는 제어모듈;
   상기 박스들의 지정값들을 설정하고 상기 지정값들에 따라 박스들의 표시 순서 및 위치를 결정하는 이미지 조합 모듈을 포함하며,
   상기 제어모듈은 상기 메인 단어를 상기 메인 단어가 아닌 단어들과 구분하고, 상기 이미지 조합 모듈은 서로 이웃하도록 위치가 결정된 두 박스를 동일한 라인 상에 배치하여, 상기 두 박스의 메인 단어가 눈에 띄게 하는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템.
2. 제1항에 있어서,
   상기 제어모듈은,
   DEP 값이 root인 단어의 depth를 0으로 지정하고, 각 단어들이 head 타고 root까지 거슬러 올라갈 때 만나는 메인 단어의 갯수가 n개인 경우 해당 단어의 depth를 n으로 지정하며, 이 때 단어 자신이 메인 단어인 것은 카운팅하지 않는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템.
3. 제2항에 있어서,
   상기 제어모듈은,
   depth 값이 '0' 또는 '1'이며, 메인단어 여부가 'TRUE'인 메인 단어들을 다른 메인 단어들과 구분하도록 형성되는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템.
4. 제3항에 있어서,
   상기 제어모듈은,
   상기 다른 메인 단어들과 구분되는 메인 단어들의 색 또는 폰트를 변경하는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템.
5. 제1항에 있어서,
   상기 제어모듈은,
   문장의 패턴 분석 결과나 상기 문장분석 모듈의 분석 결과를 토대로 학습자에게 제공되는 그룹들의 디스플레이 간격이나 디스플레이 시간을 조정하는 것을 특징으로 하는 영어 문장 학습을 위한 이미지 구조화 시스템.
   

Images