KR102260280B1 - 외국어-수화 동시 학습방법 - Google Patents

Abstract

본 발명은 외국어와 수화를 함께 학습하기 위한 방법으로서, (a)외국어 단어의 철자 및 단어의 발음 중 적어도 어느 하나와, 단어의 표준 수화 동작이 수록되어 있는 외국어-수화 학습동영상을 실행하여 사용자가 학습하는 단계; (b)사용자가 학습하는 단계에서 학습동영상에 표현된 표준 수화 동작을 따라하는 사용자를 녹화하여 사용자영상을 생성하고, 사용자영상을 교육시스템서버로 전송하는 단계; (c)교육시스템서버에서 사용자영상에 수록된 사용자의 동작을 인식하고, 사용자의 동작과 표준 수화 동작의 일치성을 판단하는 단계; 및 (d)사용자의 동작과 표준 수화 동작의 일치성 판단 결과를 사용자에게 전송하여 피드백하는 단계;를 포함하는 것에 특징이 있다.

Description

외국어-수화 동시 학습방법{METHOD FOR STUDYING BOTH FOREIGN LANGUAGE AND SIGN LANGUAGE SIMULTANEOUSLY}

본 발명은 외국어 학습 시스템에 관한 것으로서, 특히 외국어를 학습하면서, 수화를 함께 학습하고 숙달되도록 하는 외국어-수화 동시 학습방법에 관한 것이다.

영어 조기 교육이 보편화되면서 어린이 맞춤형 학습 컨텐츠가 다양한 형태로 제작 및 서비스되고 있다. 어린이는 주의력과 집중력이 어른들에 비하여 떨어질 뿐만 아니라 스스로의 학습 동기도 크지 않으므로 학습컨텐츠는 어린이의 주의를 계속적으로 집중시킬 수 있게 하는 것이 중요하다. 또한 어린이들은 소리보다는 시각에 더 예민하므로, 오디오 보다는 영상을 활용한 학습이 더욱 효과적이라고 알려져 있다.

영어 학습 동영상에서는 예컨대 선생님이 동영상에 등장하여 영어 단어나 문장 등을 말하면서, 단어나 문장에 대응되는 동작들을 표현하곤 한다. 한국의 언어 습관과 비교하여, 영미권에서는 말과 그에 대응하는 제스쳐를 함께 표현하는 것이 매우 자연스럽다. 문제는 기존의 영어 학습 동영상에서 표현되는 선생님의 동작에 일관성이 없다는 점이다. 예컨대 동일한 영어 단어를 가르치면서 매 번 다른 제스쳐를 취할 수 있고, 전혀 다른 단어에 대하여 동일한 동작을 취할 수도 있다. 영어 교습시 제스처나 동작을 교육 수단으로 특별히 고려하지 않거나, 동작의 중요성을 잘 알지 못하기 때문이다. 그러나 어린이들은 이러한 제스처에 매우 민감하게 반응하여 혼란을 야기할 수 있다. 제스처의 혼란은 더 나아가 영어 학습의 혼란으로 이어질 수도 있기 때문에 세심한 주의가 필요하다.

본 발명은 상기한 문제점을 해결하기 위한 것으로서, 외국어 학습에 수화를 접목하여 특저 단어나 문구에 대응되는 동작을 수화로 나타냄으로써 특정 단어에 대한 동작을 일관되게 유지할 수 있어 효과적인 영어 학습이 가능할 뿐만 아니라, 수화도 함께 학습되는 독창적인 온라인 학습방법을 제공하는데 그 목적이 있다.

한편, 본 발명의 명시되지 않은 또 다른 목적은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.

상기 목적을 달성하기 위한 본 발명에 따른 외국어-수화 동시 학습방법은, 외국어와 수화를 함께 학습하기 위한 것으로서, (a)외국어 단어의 철자 및 상기 단어의 발음 중 적어도 어느 하나와, 상기 단어의 표준 수화 동작이 수록되어 있는 외국어-수화 학습동영상을 실행하여 사용자가 학습하는 단계; (b)상기 사용자가 학습하는 단계에서 상기 동영상에 표현된 표준 수화 동작을 따라하는 사용자를 녹화하고, 사용자영상을 교육시스템서버로 전송하는 단계; (c)상기 교육시스템서버에서 상기 사용자영상에 수록된 사용자의 동작을 인식하고, 상기 사용자의 동작과 상기 표준 수화 동작의 일치성을 판단하는 단계; 및 (d)상기 사용자의 동작과 상기 표준 수화 동작의 일치성 판단 결과를 사용자에게 전송하여 피드백하는 단계;를 포함하는 것에 특징이 있다.

본 발명에 따르면, 상기 학습동영상을 실행하고, 사용자의 동작을 녹화 및 전송하며, 상기 사용자의 동작과 수화 동작의 일치성을 판단하여 사용자에게 피드백하는 과정은 실시간으로 실행될 수 있다.

본 발명의 일 예에 따르면, 상기 피드백 단계에서는 상기 사용자영상에서 사용자의 동작이 틀린 부분과, 상기 사용자의 동작과 대응되는 표준 수화 동작이 하나의 화면을 분할하여 양쪽에서 함께 디스플레이 되는 동영상을 사용자에게 전송하는 것이 바람직하다.

본 발명의 일 예에 따르면, 상기 교육시스템서버에서는 표준 수화 동작들 중 다수의 사용자가 틀리는 부분만을 별도로 수집한 뒤, 이 부분들을 별도로 수록한 동영상을 사용자에게 함께 피드백하는 것이 바람직하다.

본 발명으 일 예에 따르면, 상기 사용자영상에는 상기 학습동영상에 디스플레이 또는 소리로 출력되는 외국어를 사용자가 따라한 소리도 함께 녹음되어 있으며, 상기 교육시스템서버에서는 음성 인식을 통해 사용자의 발음과 외국어 단어 발음의 일치성을 평가한 후, 사용자에게 피드백할 수 있다.

본 발명에 따른 외국어-수화 동시 학습방법에 따라, 온라인 외국어 학습에 수화를 접목하면 사용자는 영어를 공부하면서 자연스럽게 수화를 함께 습득할 수 있게 되므로 일석이조의 효과를 누릴 수 있다.

무엇보다도 중요한 점은 영어 학습동영상 내 화자가 특정한 단어에 대응한 동작이 일관되게 유지되어 영어 학습 효과가 증대된다.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 본 발명의 일 예에 따른 외국어-수화 동시 학습방법의 개략적 흐름도이다.
도 2는 영어-수화 학습동영상의 화면을 캡쳐한 사진이다.
도 3 및 도 4는 피드백영상 내 화면의 일 예를 나타낸 것이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.

본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

본 발명은 외국어와 수화를 함께 학습하고 숙지할 수 있는 방법에 관한 것으로서, 영어 학습이 주요한 대상이지만 본 발명이 반드시 영어 학습에 한정되는 것은 아니며 다른 외국어에 대해서도 모두 적용가능하다. 또한 본 발명은 주로 어린이들을 위한 학습 방법으로 개발되었지만, 그 대상 역시 어린이 이외에 성인으로 확장될 수 있을 것이다.

이하 첨부된 도면을 참고하여, 본 발명의 일 예에 따른 외국어-수화 동시 학습방법에 대하여 더욱 상세히 설명하기로 한다.

도 1은 본 발명의 일 예에 따른 외국어-수화 동시 학습방법의 개략적 흐름도이다.

도 1을 참고하면, 본 발명의 일 예에 따른 외국어-수화 동시 학습방법에서는 먼저 외국어와 수화가 함께 수록되어 있는 학습동영상이 실행된다. 본 실시예는 영어를 대상으로 하는 바, 영어-수화 학습동영상이 실행된다. 영어-수화 학습동영상은 후술할 교육시스템서버로부터 인터넷을 통해 다운로드 받거나, USB 등 저장매체에 수록되어 있는 것을 컴퓨터 또는 디스플레이 장치에서 실행킬 수 있다. 본 실시예에서는 사용자가 교육시스템서버에 접속하여 실시간 스트리밍을 통해 학습동영상을 실행시키면서 학습을 진행한다. 특히 교육시스템서버에서 제공하는 사용자 단말용 프로그램을 통해 동영상을 재생하여 사용할 수 있다. 이 프로그램은 사용자 단말기 자체의 웹캠이나 사용자 단말기에 별도로 연결된 카메라와 학습동영상을 연동시킬 수 있다.

영어-수화 학습동영상은 도 2에 도시된 바와 같이 화면상에 영어 단어의 철자나 형상이 표현될 수 있다. 동영상에서 선생님, 학생 등의 사람이나, 의인화된 동물 등 '화자'가 등장하여 영어 단어를 소리내어 발음하거나, 또는 화자가 아니더라도 스피커를 통해 단어의 발음이 소리로 출력될 수 있다. 도 2를 참고하면, 본 예에서는 동영상 내 화자(두 명의 어린이)가 "astrnaut"를 발음하면서 수화 동작을 하고 있고, 학습동영상 화면의 일측에는 단어의 철자와 우주비행사(astronaut)의 형상을 표현한 이미지가 함께 나타난다. 참고로, 여기서 말하는 단어란 구, 절, 문장 등을 모두 포함하는 의미로 사용된다.

중요한 점은 동영상에 등장하는 화자는 영어 단어를 발음할 때 제스쳐를 취하는데, 이 제스쳐는 수화 동작이다. 종래기술의 문제점에서도 언급하였지만, 기존에는 선생님 개인별로 제스처를 알아서 했기 때문에 일관성이 없고, 오히려 영어 학습에 혼란을 야기하기도 하였다. 이에 본 발명에서는 "수화"를 도입하여 특정 단어에 대해서는 특정한 동작이 서로 대응되도록 하였다. 수화는 언어이므로 특정 단어에 대응하는 특정한 동작이 있다. 따라서 영어 교습시 수화를 화자의 동작으로 활용하게 되면, 종래의 영어 학습 동영상과 같이 서로 다른 단어를 동일한 동작으로 나타내거나 또는 반대로 같은 단어를 설명할 때 다른 동작으로 표현하는 문제점을 해결할 수 있다.

이렇게 영어 교습을 하면서 수화 동작을 접목하면 사용자는 영어를 공부하면서 자연스럽게 수화를 함께 습득할 수 있게 되므로 일석이조의 효과를 누릴 수 있다. 무엇보다도 중요한 점은 화자의 일관된 동작으로 인하여 영어 학습 효과가 증대된다는 것이다.

사용자는 영어-수화 학습동영상을 보면서 지시에 따라 영어 단어를 소리내서 따라하고, 수화 동작도 함께 따라한다. 이러한 사용자의 학습 과정은 학습동영상이 실행되고 있는 컴퓨터에 설치된 웹캠 또는 별도로 설치된 카메라에 의해서 촬영된다. 바람직하게는 교육시스템서버에서 제공하는 프로그램을 통해 영어-수화 학습동영상을 실행시킨다. 이 프로그램은 카메라와 연동되어 있어 학습동영상이 시작되면 카메라가 촬영을 시작하게 하며, 학습동영상을 중지 또는 일시중지 시키면 카메라도 연동하여 녹화가 중단시킨다. 이를 위하여 카메라가 별도로 설치된 경우는 유무선 통신을 통해 학습동영상이 실행되고 있는 단말기와 카메라가 상호 연결되어 있어야 한다.

사용자영상에는 식별번호가 부여되며, 식별정보를 포함한다. 예컨대, 사용자가 교육시스템서버에 접속하여 특정 학습동영상을 실행시켜서 학습을 진행한 경우, 사용자의 아이디, 선택한 학습동영상의 식별번호, 학습동영상에서 재생하여 학습한 구간에 대한 정보 등 학습정보를 사용자영상이 포함된 전자파일에 수록한다.

학습이 완료되면 학습 과정 동안에 녹화된 사용자영상과 학습정보가 포함된 전자파일이 생성되어 교육시스템서버에 전송된다. 교육시스템서버에서는 사용자영상을 재생하여 영상 내의 사용자의 동작을 인식한다. 영상에 등장하는 객체의 동작을 인식하는 기술은 CCTV 기술 등 영상기술분야에서 주지의 기술이므로 자세한 설명은 생략하기로 한다. 특히 수화 동작은 주로 손을 이용하고, 사람의 신체에서 팔과 손은 영상에서 식별하기 무척 용이한 부분이다. 이에 영상인식(동작인식)을 통해 사용자의 수화 동작을 쉽게 파악할 수 있다.

교육시스템서버에서는 사용자의 동작, 즉 사용자의 수화 동작이 표준 수화 동작과 일치하는지를 평가한다. 교육시스템서버에서 사용자의 수화 동작을 평가하는 방법은 2가지이다.

첫 번째 방법은 사용자영상과 학습동영상을 상호 대응시켜서 일치성을 확인하는 것이다. 사용자영상을 수록한 전자파일에는 이 사용자영상을 만들 때 학습했던 학습동영상이 무엇인지에 대한 정보가 수록되어 있다. 이에 교육시스템서버에서는 해당 학습동영상과 사용자영상을 상호 비교한다. 일단 사용자영상은 학습동영상과 1:1로 매칭된다. 즉 학습동영상에서 "사과"라는 단어에 대해서 학습을 진행하고 있는 동안, 사용자영상에서도 사용자가 "사과"에 대한 수화 동작을 따라하고 발음을 따라하게 된다. 따라서 교육시스템서버에서는 사용자영상에서 사용자의 수화 동작이 학습동영상에서의 표준 수화 동작과 일치하는지를 확인하면 된다. 예컨대 교육시스템서버에 탑재된 영상인식(동작인식) 프로그램에서는 학습동영상 내 화자의 손동작의 경로를 파악하고, 사용자영상 내 사용자의 손동작의 경로를 파악한 후, 두 개의 손동작 경로를 비교하여 사용자의 수화 동작의 정답 여부를 파악할 수 있다.

두 번째 방법은 학습동영상과 사용자영상을 매칭하는 방법이 아니라, 교육시스템서버 내의 표준 수화 동작 DB를 이용하는 방법이다. 본 방법을 사용할 때에는 앞에서 사용자영상이 제작될 때 사용자영상이 어떤 학습동영상을 따라한 것인지에 대한 정보는 필요하지 않다. 대신 두 번째 방법을 사용하기 위해서는 사용자영상 내의 사용자의 수화 동작이 어떤 단어를 동작한것인지에 대한 정보가 사용자영상 내에 포함되어 있어야 한다.

사용자가 학습동영상을 실행시키면서 카메라로 사용자의 동작을 녹화하면, 현재 사용자가 학습하고 있는 단어가 사용자영상에 기록되거나 화면에 표출되도록 하는 것이다. 예컨대 학습동영상에서 "sad"라는 단어에 대해서 교육하고 있고 학습동영상의 화면에는 "sad"가 디스플레이 되어 있는 상태이다. 사용자는 학습동영상을 따라 "sad"의 수화 동작과 발음을 따라하면 사용자영상이 녹화된다. 이 때 교육시스템서버 또는 사용자의 단말기의 소프트웨어(교육시스템서버에서 제공)에서는 사용자영상에 "sad" 철자가 배경에 표출되게 영상을 편집할 수 있다. 또는 화면상에 표출되지는 않더라도, 사용자영상의 특정 구간이 "sad"에 대한 학습구간이라는 것을 사용자영상이 수록된 전자파일에 정보로서 기록되게 할 수 있다. 그러면 사용자영상의 각 구간이 어떤 단어를 학습한 것인지에 대한 정보가 전자파일에 데이터 형태로 수록된다. 이 경우에는 교육시스템서버에서는 사용자의 수화 동작을 평가할 때, 해당 학습동영상과의 매칭이 필요하지 않다. 즉 사용자영상에서 해당 동작이 어떤 단어를 나타내는지에 대한 정보가 화면상에 철자로 디스플레이 되거나, 데이터로 기록되어 있다. 화면상에 철자로 표시된 경우에는 교육시스템서버가 영상인식 과정에서 문자인식을 통해 해당 동작이 무슨 단어와 대응되는 동작인지를 파악할 수 있고, 정보로 수록되어 있는 경우에도 무슨 단어에 대한 동작인지를 확인할 수 있다. 교육시스템서버에서는 해당 동작에 대한 표준 수화 동작이 영상으로 수록되어 있는 데이터베이스로부터 해당 동작을 불러와서 사용자동작과 상호 비교할 수 있다. 특히 다른 예에서는 데이터베이스에 표준 수화 동작의 손의 경로가 기록되어 있을 수 있으며, 이 경우에는 표준 수화 동작의 영상과 사용자영상을 비교할 필요 없이, 사용자영상에서 예컨대 손의 경로를 인식한 후 표준 수화 동작의 손의 경로와 비교하여 일치성을 판단할 수도 있다.

상기한 바와 같은 방식들을 통해 교육시스템서버에서는 사용자영상으로부터 사용자의 수화 동작의 정답 여부 또는 일치성 여부를 판단한 후, 그 결과를 사용자에게 다시 피드백한다. 즉 교육시스템서버에서는 피드백영상을 생성하여 사용자에게 전송한다. 피드백영상은 도 3에 도시된 바와 같이 사용자영상에서 수화 동작이 틀린 부분만을 추출하여 화면의 일측에 디스플레이되게 하고, 사용자가 틀린 부분의 표준 수화 동작 부분을 데이터베이스 또는 학습동영상에서 추출하여 화면의 타측에 디스플레이 되도록 한다. 그리고 학습하 단어를 표시하고, 동작이 틀렸다는 표시(ex:WRONG)를 나타낸다. 즉 자신이 틀린 동작과, 올바른 동작이 화면의 좌우에서 각각 디스플레이 되도록 피드백영상을 생성한다. 본 예에서는 사용자동작 중 틀린 부분만을 추출하였지만, 다른 예에서는 사용자영상 전체에 대해서 피드백영상을 생성할 수도 있다. 예컨대 20개의 단어에 대해서 사용자가 학습하여 동작을 수행하여 사용자영상이 만들어졌고, 20개 중에서 12개는 정확하게 동작하였고 8개는 동작이 틀렸다고 전제한다. 이 경우 피드백영상에서는 사용자가 잘못한 8개 동작 부분에서는 화면이 분할되어 사용자의 동작과 표준 동작이 함께 디스플레이되고, 나머지 맞은 12개 동작에서는 표준 수화 동작이 디스플레이되지 않고 사용자를 칭찬하고 동기를 부여하는 표시, 예컨대 "Clear"나 "OK", "Excellent" 등의 문구가 표시될 수도 있다. 물론 사용자가 올바로 동작한 부분에서도 도 4에 도시된 바와 같이 화면이 분할되어 표준 동작이 제시되면서, 동시에 "Excellent" 등의 문구가 함께 표시될 수도 있다. 또한 피드백영상에서는 사용자의 복습을 위해 해당 동작에 대한 영어 단어가 무엇인지 함께 표시되는 것이 바람직하다.

위에서는 사용자의 동작에 대해서만 교육시스템서버가 평가하는 것으로 설명하였지만, 교육시스템서버에서는 음성인식 프로그램이 실행되어 사용자영상에서 사용자의 발음을 인식할 수 있다. 그리고 데이터베이스나 학습동영상에서의 음성과 사용자의 음성을 상호 대비하여 발음의 정확성을 함께 평가할 수 있다.

이에 따라 피드백영상에서는 동작은 정확하지만 발음이 틀린 경우, 발음은 맞지만 동작이 틀린 경우, 둘 다 틀린 경우, 둘 다 맞은 경우가 발생할 수 있으며, 이들을 식별할 수 있도록 피드백영상이 편집된다. 다만, 동작이 틀린 경우에는 표준 수화 동작이 반드시 표시되며, 발음이 틀린 경우 동영상에서 표준 발음이 반복적으로 출력되도록 할 수 있다.

한편, 교육시스템서버에는 복수의 사용자가 접속하여 학습을 진행하고, 이에 따라 다수의 사용자영상에 대하여 평가를 수행한다. 따라서 교육시스템서버에서는 사용자들이 자주 틀리는 단어의 동작 또는 발음에 대해서 자주 틀리는 오답노트 영상을 생성하여 사용자에게 전송할 수 있다.

참고로, 본 발명은 사용자가 컴퓨터 등의 단말기에서 유무선통신망을 이용하여 교육시스템서버에 접속하여 진행되며, 전체적으로 컴퓨터에 의하여 수행된다는 점을 첨언한다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (7)

1. 외국어와 수화를 함께 학습하기 위한 방법으로서,
   (a)외국어 단어의 철자 및 상기 단어의 발음 중 적어도 어느 하나와, 상기 단어의 표준 수화 동작이 수록되어 있는 외국어-수화 학습동영상을 실행하여 사용자가 학습하는 단계;
   (b)상기 사용자가 학습하는 단계에서 상기 학습동영상에 표현된 표준 수화 동작을 따라하는 사용자를 녹화하여 사용자영상을 생성하고, 상기 사용자영상을 교육시스템서버로 전송하는 단계;
   (c)상기 교육시스템서버에서 상기 사용자영상에 수록된 사용자의 동작을 인식하고, 상기 사용자의 동작과 상기 표준 수화 동작의 일치성을 판단하는 단계;
   (d)상기 사용자의 동작과 상기 표준 수화 동작의 일치성 판단 결과를 사용자에게 전송하여 피드백하는 단계;를 포함하며,
   상기 교육시스템서버에서 사용자의 동작을 평가할 때,
   사용자의 동작이 어떤 단어에 관한 것인지를 특정하는 단계와,
   특정된 단어의 표준 수화 동작이 포함되어 있는 영상을 데이터베이스에서 추출하는 단계와,
   영상인식을 통해 사용자영상 내 사용자의 동작과 상기 데이터베이스에서 추출한 영상 내 표준 수화 동작을 인식하는 단계; 및
   영상인식을 통해 특정된 사용자의 동작과 표준 수화 동작의 일치성을 판단하는 단계;를 포함하며,
   상기 사용자영상에는 사용자가 수행하고 있는 동작에 해당하는 단어의 철자가 화면상에 표시되며, 교육시스템서버에서는 상기 사용자영상에 표시된 단어를 문자인식을 통해 파악하고,
   상기 학습동영상을 실행하고, 사용자의 동작을 녹화 및 전송하며, 상기 사용자의 동작과 수화 동작의 일치성을 판단하여 사용자에게 피드백하는 과정은 실시간으로 실행되고,
   상기 피드백 단계에서는 상기 사용자영상에서 사용자의 동작이 틀린 부분과, 상기 사용자의 동작과 대응되는 표준 수화 동작이 함께 디스플레이 되는 피드백영상을 사용자에게 전송하며,
   상기 교육시스템서버에서는 표준 수화 동작들 중 다수의 사용자가 틀리는 부분만을 별도로 수집한 뒤, 이 부분들을 별도로 수록한 동영상을 사용자에게 함께 피드백하며,
   상기 사용자영상에는 상기 학습동영상에 디스플레이 또는 소리로 출력되는 외국어를 사용자가 따라한 소리도 함께 녹음되어 있으며,
   상기 교육시스템서버에서는 음성 인식을 통해 사용자의 발음과 외국어 단어 발음의 일치성을 평가한 후, 사용자에게 피드백하는 것을 특징으로 하는 외국어-수화 동시 학습방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제

Images