KR20210082592A - 증강현실 기반 코딩교육 제공 방법 및 시스템 - Google Patents
증강현실 기반 코딩교육 제공 방법 및 시스템 Download PDFInfo
- Publication number
- KR20210082592A KR20210082592A KR1020190174665A KR20190174665A KR20210082592A KR 20210082592 A KR20210082592 A KR 20210082592A KR 1020190174665 A KR1020190174665 A KR 1020190174665A KR 20190174665 A KR20190174665 A KR 20190174665A KR 20210082592 A KR20210082592 A KR 20210082592A
- Authority
- KR
- South Korea
- Prior art keywords
- coding
- user
- code
- augmented reality
- education
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims description 45
- 238000012545 processing Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 22
- 230000000694 effects Effects 0.000 claims description 16
- 238000007639 printing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0053—Computers, e.g. programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Electrically Operated Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일 기술적 측면에 따른 증강현실 기반 코딩교육 제공 시스템은, 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있는 코딩 교구 및 상기 코딩 교구에 대한 영상 데이터에 대하여 영상인식을 수행하여 상기 코딩 식으로부터 유저코드를 추출하고 상기 유저코드에 대응되는 구동코드를 생성하고, 생성된 상기 구동코드가 어느 코딩 교육 컨텐츠에 부합하면 해당 코딩 교육 컨텐츠와 연관된 증강현실 컨텐츠를 제공하는 사용자 단말을 포함한다.
Description
본 발명은 증강현실 기반 코딩교육 제공 방법 및 시스템에 관한 것이다.
영상 기술의 발전에 따라, 교육 시스템에서도 증강현실 등의 기술을 적용하여 교육 효율을 증가시키기 위한 다양한 시도들이 시행되고 있다.
종래의 증강현실 기반 교육 시스템은, 한국 공개특허공보 제10-2019-0124045호 등 에 개시된 바 있으며, 이러한 종래 기술의 경우, 마커(Marker)나 QR Code를 통해 특정 콘텐츠를 해당 마커나 QR Code 를 인식할 때, 보여주는 형태가 주류를 이루고 있다.
이러한 종래 기술의 경우, 마커나 QR 코드가 필수적이므로, 다양한 조합이 가능한 교육 컨텐츠에서는 교육 흥미도가 낮아지는 등의 단점이 있다.
특히, 유아나 초등학생 등의 저연령 사용자의 경우, 교육의 효율 및 흥미 유발을 위하여 다양한 증강현실 등이 개발되고 있으나, 종래의 저연령 사용자 대상의 교육 시스템은 블록 쌓기 방식이나 다양한 미디어 조작, 예컨대, 그래픽, 애니메이션, 소리, 음악을 변경하는 등의 지정된 교습 등이 주로 사용되었으며, 그에 따라 흥미도 유발에 한계가 있고, 교육 성과가 높지 못한 점 등의 한계가 있다.
본 발명의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 사용자에 의하여 코딩 교구에 표현된 코딩 식을 영상처리로서 처리하고, 해당 코딩 식에 대응되도록 로봇을 구동시킴으로써, 로봇을 통한 코딩 식을 손쉽게 이해하고 입체적인 학습 감각을 제공 할 수 있는 증강현실 기반 코딩교육 제공 방법 및 시스템을 제공하는 것이다.
본 발명의 일 기술적 측면은, 사용자에 의하여 코딩 교구에 표현된 코딩 식에 대응되는 증강현실 객체를 반영하여 표시함으로써, 코딩 식에 대하여 직감적이고 즉시적인 학습 효과를 가질 수 있는 있는 증강현실 기반 코딩교육 제공 방법 및 시스템을 제공하는 것이다.
본 발명의 상기 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
본 발명의 일 기술적 측면은 증강현실 기반 코딩교육 제공 시스템을 제공한다. 상기 증강현실 기반 코딩교육 제공 시스템은, 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있는 코딩 교구 및 상기 코딩 교구에 대한 영상 데이터에 대하여 영상인식을 수행하여 상기 코딩 식으로부터 유저코드를 추출하고 상기 유저코드에 대응되는 구동코드를 생성하고, 생성된 상기 구동코드가 어느 코딩 교육 컨텐츠에 부합하면 해당 코딩 교육 컨텐츠와 연관된 증강현실 컨텐츠를 제공하는 사용자 단말을 포함한다.
일 실시예에서, 상기 코딩 교구는, 코딩 블록에 대응되는 코딩 슬롯을 복수개 구비한 코딩 보드, 상기 코딩 슬롯에 안착 가능하고 복수의 명령어 중 어느 하나를 표시하고 내부에 인자 슬롯을 포함하는 복수의 코딩 블록 및 상기 인자 슬롯에 안착 가능하고, 상수, 변수 및 논리값 중 어느 하나를 표시하는 복수의 인자 카드를 포함 할 수 있다.
일 실시예에서, 상기 사용자 단말은, 상기 영상 데이터에 대하여 영상인식을 수행하고, 인식된 영상 데이터에서 상기 코딩 교구와 관련된 객체를 추출하여 상기 유저코드를 추출하는 영상인식 처리부, 코딩 교육 콘텐츠를 저장하고, 추출된 상기 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 확인하여 상기 유저코드를 채점하며, 상기 유저코드가 올바른 경우 해당 유저코드에 대응되는 상기 구동코드를 생성하는 코딩 콘텐츠 관리부 및 상기 유저코드와 연관된 적어도 하나의 증강현실 객체를 생성하고, 생성된 상기 적어도 하나의 증강현실 객체를 영상에 투영하여 표시하는 증강현실 관리부를 포함 할 수 있다.
일 실시예에서, 상기 영상인식 처리부는, 상기 영상 데이터로부터 상기 코딩 교구에 표시되는 적어도 하나의 코딩 블록에 대한 객체를 추출하는 영상 인식모듈, 추출된 상기 적어도 하나의 코딩 블록 각각에 대한 명령어 및 인자를 추출하는 코드객체 추출모듈 및 상기 코드객체 추출모듈에서 추출된 명령어 및 인자를 이용하여 유저코드를 생성하는 유저코드 추출모듈을 포함 할 수 있다.
일 실시예에서, 상기 사용자 단말은, 상기 사용자의 코딩 교육 콘텐츠에 대한 학습 결과 및 이력을 관리하고, 상기 사용자가 취약한 학습 과정을 선정하여 해당 코딩 콘텐츠를 집중적으로 반복할 수 있는 소프트웨어적 시뮬레이션 구동을 제공하는 학습활동 관리부를 더 포함 할 수 있다.
본 발명의 다른 일 기술적 측면은 증강현실 기반 코딩교육 제공 시스템을 제공한다. 상기 증강현실 기반 코딩교육 제공 시스템은, 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있는 코딩 교구, 상기 코딩 교구에 대한 영상 데이터에 대하여 영상인식을 수행하여 상기 코딩 식으로부터 유저코드를 추출하고 상기 유저코드에 대응되는 구동코드를 생성하는 사용자 단말 및 상기 사용자 단말로부터 상기 구동코드를 제공받고, 상기 구동코드와 연관된 특정 동작을 수행하는 로봇을 포함한다.
일 실시예에서, 상기 사용자 단말은, 상기 영상 데이터에 대하여 영상인식을 수행하고, 인식된 영상 데이터에서 상기 코딩 교구와 관련된 객체를 추출하여 상기 유저코드를 추출하는 영상인식 처리부, 코딩 교육 콘텐츠를 저장하고, 추출된 상기 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 확인하여 상기 유저코드를 채점하며, 상기 유저코드가 올바른 경우 해당 유저코드에 대응되는 상기 구동코드를 생성하는 코딩 콘텐츠 관리부 및 상기 로봇과 연동하여 상기 로봇에 상기 구동코드를 무선으로 송출하는 로봇 연동부를 포함 할 수 있다.
일 실시예에서, 상기 영상인식 처리부는, 상기 영상 데이터로부터 상기 코딩 교구에 표시되는 적어도 하나의 코딩 블록에 대한 객체를 추출하는 영상 인식모듈, 추출된 상기 적어도 하나의 코딩 블록 각각에 대한 명령어 및 인자를 추출하는 코드객체 추출모듈 및 상기 코드객체 추출모듈에서 추출된 명령어 및 인자를 이용하여 유저코드를 생성하는 유저코드 추출모듈을 포함 할 수 있다.
일 실시예에서, 상기 사용자 단말은, 상기 구동코드와 연관된 적어도 하나의 증강현실 객체를 생성하고, 생성된 상기 적어도 하나의 증강현실 객체를 영상에 투영하여 표시하는 증강현실 관리부를 더 포함 할 수 있다.
본 발명의 또 다른 일 기술적 측면은 증강현실 기반 코딩교육 제공 방법을 제공한다. 상기 증강현실 기반 코딩교육 제공 방법은, 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있는 코딩 교구와 로봇을 이용하여 사용자에게 증강현실 기반 코딩교육을 제공하는 방법으로서, 사용자에 의하여 조작되어 표시된 소정의 코딩 식에 대한 영상 데이터를 획득하는 단계, 상기 영상 데이터에 대하여 영상인식을 수행하여 상기 코딩 식으로부터 유저코드를 추출하는 하는 단계, 상기 유저코드에 대응되는 구동코드를 생성하는 단계 및 생성된 상기 구동코드가 어느 코딩 교육 컨텐츠에 부합하면 해당 코딩 교육 컨텐츠와 연관된 증강현실 컨텐츠를 제공하는 단계를 포함한다.
일 실시예에서, 상기 증강현실 기반 코딩교육 제공 방법은, 상기 로봇에 상기 구동코드를 제공하여 상기 로봇이 상기 구동코드와 연관된 특정 동작을 수행하도록 제어하는 단계를 더 포함 할 수 있다.
일 실시예에서, 상기 코딩 교구는, 코딩 블록에 대응되는 코딩 슬롯을 복수개 구비한 코딩 보드, 상기 코딩 슬롯에 안착 가능하고 복수의 명령어 중 어느 하나를 표시하고 내부에 인자 슬롯을 포함하는 복수의 코딩 블록 및 상기 인자 슬롯에 안착 가능하고, 상수, 변수 및 논리값 중 어느 하나를 표시하는 복수의 인자 카드를 포함 할 수 있다.
일 실시예에서, 상기 코딩 식으로부터 유저코드를 추출하는 하는 단계는, 상기 영상 데이터로부터 상기 코딩 교구에 표시되는 적어도 하나의 코딩 블록에 대한 객체를 추출하는 단계, 추출된 상기 적어도 하나의 코딩 블록 각각에 대한 명령어 및 인자를 추출하는 단계 및 상기 코드객체 추출모듈에서 추출된 명령어 및 인자를 이용하여 유저코드를 생성하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 유저코드에 대응되는 구동코드를 생성하는 단계는, 코딩 교육 콘텐츠를 저장하는 단계, 추출된 상기 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 확인하여 상기 유저코드를 채점하는 단계 및 상기 유저코드가 올바른 경우 해당 유저코드에 대응되는 상기 구동코드를 생성하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 증강현실 기반 코딩교육 제공 방법은, 상기 사용자의 코딩 교육 콘텐츠에 대한 학습 결과 및 이력을 관리하고, 상기 사용자가 취약한 학습 과정을 선정하여 상기 사용자에 해당 학습과정에 대한 코딩교육 콘텐츠를 반복적으로 제공하는 단계를 더 포함 할 수 있다.
상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시형태에 따르면, 사용자에 의하여 코딩 교구에 표현된 코딩 식을 영상처리로서 처리하고, 해당 코딩 식에 대응되도록 로봇을 구동시킴으로써, 로봇을 통한 코딩 식을 손쉽게 이해하고 입체적인 학습 감각을 제공 할 수 있는 효과가 있다.
본 발명의 일 실시형태에 따르면, 사용자에 의하여 코딩 교구에 표현된 코딩 식에 대응되는 증강현실 객체를 반영하여 표시함으로써, 코딩 식에 대하여 직감적이고 즉시적인 학습 효과를 가질 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반 코딩교육 제공 시스템을 설명하는 도면이다.
도 2는 도 1에 도시된 코딩 보드의 일 예를 도시하는 도면이다.
도 3은 도 2에 도시된 코딩 보드에 적용되는 코딩 블록의 일 예를 도시하는 도면이다.
도 4는 도 3에 도시된 코딩 블록에 적용되는 명령어들의 일 예를 도시하는 도면이다.
도 5는 도 3에 도시된 코딩 블록에 적용되는 인수 카드의 일 예를 도시하는 도면이다.
도 6은 도 1에 도시된 사용자 단말의 일 예를 설명하는 블록 구성도이다.
도 7은 도 6에 도시된 영상인식 처리부의 일 예를 설명하는 블록 구성도이다.
도 8은 도 6에 도시된 코딩 콘텐츠 관리부의 일 예를 설명하는 블록 구성도이다.
도 9는 도 6에 도시된 증강현실 관리부의 일 예를 설명하는 블록 구성도이다.
도 10은 도 6은 도 1에 도시된 로봇의 일 예를 설명하는 블록 구성도이다.
도 11은 도 6은 도 1에 도시된 서버의 일 예를 설명하는 블록 구성도이다.
도 12는 본 발명의 일 실시예에 따른 증강현실 기반 코딩교육 제공 방법을 설명하는 순서도이다.
도 2는 도 1에 도시된 코딩 보드의 일 예를 도시하는 도면이다.
도 3은 도 2에 도시된 코딩 보드에 적용되는 코딩 블록의 일 예를 도시하는 도면이다.
도 4는 도 3에 도시된 코딩 블록에 적용되는 명령어들의 일 예를 도시하는 도면이다.
도 5는 도 3에 도시된 코딩 블록에 적용되는 인수 카드의 일 예를 도시하는 도면이다.
도 6은 도 1에 도시된 사용자 단말의 일 예를 설명하는 블록 구성도이다.
도 7은 도 6에 도시된 영상인식 처리부의 일 예를 설명하는 블록 구성도이다.
도 8은 도 6에 도시된 코딩 콘텐츠 관리부의 일 예를 설명하는 블록 구성도이다.
도 9는 도 6에 도시된 증강현실 관리부의 일 예를 설명하는 블록 구성도이다.
도 10은 도 6은 도 1에 도시된 로봇의 일 예를 설명하는 블록 구성도이다.
도 11은 도 6은 도 1에 도시된 서버의 일 예를 설명하는 블록 구성도이다.
도 12는 본 발명의 일 실시예에 따른 증강현실 기반 코딩교육 제공 방법을 설명하는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
본 발명의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.
또한, 이하에서 본 발명에 따른 시스템을 설명하기 위하여, 시스템을 구성하는 다양한 구성요소 및 그의 하부 구성요소에 대해 설명하고 있다. 이러한 구성요소 및 그의 하부 구성요소들은, 하드웨어, 소프트웨어 또는 이들의 조합 등 다양한 형태로서 구현될 수 있다. 예컨대, 각 요소들은 해당 기능을 수행하기 위한 전자적 구성으로 구현되거나, 또는 전자적 시스템에서 구동 가능한 소프트웨어 자체이거나 그러한 소프트웨어의 일 기능적인 요소로 구현될 수 있다. 또는, 전자적 구성과 그에 대응되는 구동 소프트웨어로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반 코딩교육 제공 시스템을 설명하는 도면이다.
도 1을 참조하면, 증강현실 기반 코딩교육 제공 시스템은, 코딩 교구(10), 사용자 단말(100), 로봇(200) 및 서버(300)를 포함할 수 있다.
코딩 교구(10)는 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있는 도구이다.
코딩 교구(10)는 코딩 보드(11)와 복수의 코딩 블록(13)을 포함할 수 있다. 코딩 보드(11)와 코딩 블록(13)은 비(非) 전자적으로 구현될 수 있으며, 그에 따라 사용 편의성, 보관성 및 가격 경쟁력을 증대시킬 수 있다.
코딩 교구(10)의 구체적인 예에 대해서는 도 2 내지 도 5를 참조하여 이하에서 보다 상세히 설명한다.
사용자 단말(100)은 카메라, 메모리, 디스플레이, 중앙처리장치 등을 포함하는 전자 장치이다. 사용자 단말(100)은 스마트폰, 태플릿 PC(Personal Computer) 등의 전자 기기에 어플리케이션 소프트웨어를 설치하여 구현되거나, 또는 전용 전자 기기로서 구현될 수도 있다.
사용자 단말(100)은 사용자에 의하여 조작된 코딩 교구에 대하여 영상을 촬상하고, 그에 대한 영상처리를 기반으로 사용자가 만들어낸 코딩 식이 코딩 교육 컨텐츠에 부합하는지 판단할 수 있다.
사용자 단말(100)은 코딩 교구에 대한 영상 데이터에 대하여 영상인식을 수행하여 상기 코딩 식으로부터 유저코드를 추출하고 유저코드에 대응되는 구동코드를 생성하고, 생성된 상기 구동코드가 어느 코딩 교육 컨텐츠에 부합하면 해당 코딩 교육 컨텐츠와 연관된 증강현실 컨텐츠를 제공할 수 있다.
사용자 단말(100)은 사용자가 만들어낸 코딩 식에 연관된 증강현실 영상을 보여주거나, 또는 사용자 주변에 위치한 로봇(200)이 해당 코딩 식에 대응되는 동작을 수행하도록 로봇(200)에 요청할 수 있다.
따라서, 사용자는 자신이 만든 코딩 식에 대응되는 증강현실 영상을 보거나 또는 그 코딩 식과 동일하게 움직이는 로봇을 확인하게 되므로, 자신의 코딩 식에 대하여 입체적인 감각으로 이해할 수 있게 된다. 그에 따라, 사용자의 학습 효과가 증대되게 되며, 특히, 저 연령대의 사용자에게는 교육에 대한 흥미를 증대시킬 수 있는 효과를 가질 수 있다.
일 실시예에서, 사용자 단말(100)은 코딩 교구(10)에 대한 영상 데이터에 대하여 영상인식을 수행하여 코딩 식으로부터 유저코드를 추출하고 유저코드에 대응되는 구동코드를 생성할 수 있다. 사용자 단말(100)은 구동코드를 로봇(200)에 무선으로 전송할 수 있고, 로봇(200)은 구동코드에 따라 동작함으로써 사용자의 코딩식에 대응하여 동작할 수 있다.
사용자 단말(100)은 서버(300)와 연동하여 새로운 교육 콘텐츠나 관련 어플리케이션 프로그램을 제공받을 수 있다.
본 발명에서의 로봇(200)은 구동코드에 따라 동작할 수 있는 무선 구동 장치를 통칭한다. 따라서, 본 발명에서의 로봇(200)은 장난감 로봇(23) 외에도 드론(21) 등 다양한 구동장치를 포괄한다.
서버(300)는 사용자 단말(100)에 코딩 교육 컨텐츠를 제공할 수 있다. 서버(300)는 어플리케이션 소프트웨어를 사용자 단말(100)에 제공할 수 있다.
이하, 도 2 내지 도 11을 참조하여 증강현실 기반 코딩교육 제공 시스템에 대하여 보다 상세히 살펴본다.
도 2는 도 1에 도시된 코딩 보드의 일 예를 도시하는 도면이고, 도 3은 도 2에 도시된 코딩 보드에 적용되는 코딩 블록의 일 예를 도시하는 도면이다.
도 4는 도 3에 도시된 코딩 블록에 적용되는 명령어들의 일 예를 도시하는 도면이고, 도 5는 도 3에 도시된 코딩 블록에 적용되는 인수 카드의 일 예를 도시하는 도면이다.
도 2 내지 도 5를 참조하면, 코딩 교구(10)는 코딩 보드(11), 코딩 블록(13) 및 인자 카드(16)를 포함할 수 있다.
코딩 보드(11)는 코딩 블록(13)에 대응되는 코딩 슬롯(12)을 복수 개 구비한다.
코딩 슬롯(12)은 다양하게 구현될 수 있다. 일 예로, 코딩 슬롯(12)은 코딩 블록(13)이 안착되도록 코딩 블록(13)의 형태에 대응되는 캐비티를 가질 수 있다. 다른 예로, 코딩 슬롯(12)과 코딩 블록(13)은 자성을 가져 서로 끌어당겨 안착될 수도 있다. 또는, 코딩 슬롯(12)은 코딩 블록(13) 모양의 그래픽 이미지로서 표시될 수도 있다.
코딩 블록(13)은 복수개 구비되며, 하나의 코딩 블록(13)은 하나의 코딩 슬롯(12)에 안착 가능하다.
코딩 블록(13)은 명령어(14) 및 인자 슬롯(15)를 포함할 수 있다.
명령어(14)는 아이템의 사용, 점프, 이동, 회전 등과 같이 다양한 명령어로 구현될 수 있으므로, 본 발명에서 명령어(14)에 대하여 특별히 한정하지 아니한다.
명령어(14)는 또한 프로그래밍 언어에서 사용되는 소정의 기능, 예컨대, 반복문이나 조건문 등을 표시할 수도 있다.
인자 슬롯(15)에 인자 카드(16)가 안착될 수 있다. 이에 대해서는, 코딩 슬롯(12)과 코딩 블록(13)을 참조하여 상술한 내용을 참조하여 이해할 수 있다.
인자 카드(16)는 상수, 변수 및 논리값 중 어느 하나를 표시할 수 있다.
상술한 바와 같이, 사용자는 코딩 보드(11)에 코딩 블록(13) 및 인자 카드(16)를 늘어놓음으로써, 소정의 코딩 식을 만들 수 있다. 사용자 단말(100)은 사용자에 의하여 조작된 코딩 보드(11)에 대하여 영상인식을 기초로 사용자에게 코딩 교육을 위한 다양한 기능 등을 제공할 수 있다.
이하, 도 6 내지 도 9를 참조하여, 사용자 단말(100)에 대하여 보다 상세히 살펴본다.
도 6은 도 1에 도시된 사용자 단말의 일 예를 설명하는 블록 구성도이다.
도 6을 참조하면, 사용자 단말(100)은 영상인식 처리부(110), 코딩 콘텐츠 관리부(120), 증강현신 관리부(130), 학습활동 관리부(140), 서버 연동부(150), 로봇 연동부(160) 및 제어부(170)를 포함할 수 있다. 실시예에 따라, 사용자 단말(100)을 구성하는 각 구성요소 중 일부가 생략되거나 또는 통합되어 구현될 수도 있음은 자명하다.
영상인식 처리부(110)는 코딩 교구에 대한 영상 데이터에 대하여 영상인식을 수행하고, 인식된 영상 데이터에서 코딩 교구와 관련된 객체를 추출하여 유저코드를 추출할 수 있다.
일 예로, 영상인식 처리부(110)는 객체의 특징점 추출이 빠른 FAST Corner Detection 알고리즘과 Descriptor 생성이 빠른 BRIEF 알고리즘을 사용하는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘을 적용하여 구현될 수 있다. 또한, 다량의 특징점을 비교 시 속도저하 개선을 위한 디스크립터(Descriptor) 데이터 정렬 및 OpenCV Feature Detection & Matching 기능을 활용하여 매칭 단계에서의 비교를 원활하게 구현할 수 있다.
코딩 콘텐츠 관리부(120)는 코딩 교육 콘텐츠를 저장할 수 있다. 코딩 콘텐츠 관리부(120)는 서버(300)로부터 코딩 교육 콘텐츠를 수신할 수 있다.
코딩 콘텐츠 관리부(120)는 영상인식 처리부(110)에서 추출된 상기 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 여부를 검즘하여 유저코드를 채점할 수 있다.
채점결과 상기 유저코드가 올바른 경우, 코딩 콘텐츠 관리부(120)는 해당 유저코드에 대응되는 구동코드를 생성할 수 있다.
일 실시예에서, 코딩 교육 컨텐츠는 특정 유저 코드와 관련하여 동영상 등의 교육 컨텐츠를 포함할 수 있다. 코딩 교육 컨텐츠는 또한 특정 유저 코드와 1:1로 매칭되는 특정 구동코드를 포함할 수 있다. 코딩 콘텐츠 관리부(120)는 재생 중인 동영상(교육 컨텐츠)과 유저 코드를 상호 검증하고, 서로 매칭되는 경우 해당 유저 코드와 1:1로 매칭되는 구동코드를 추출하여 로봇(200)에 무선으로 송신하도록 할 수 있다.
예컨대, 교육 컨텐츠로서 ＇로봇이 직진 후 회전하는 동작＇을 보여주는 경우, 그에 연관된 유저코드는 ＇직진 - 회전＇으로 연관되어 있을 수 있다. 또한, 로봇에 대한 구동코드는 해당 로봇을 ＇직진 - 회전＇시키는 실질적인 제어신호로 구현될 수 있다고 예시하자. 사용자는 교육 컨텐츠를 보면서 코딩 식을 만들 수 있으며, 따라서 사용자가 만든 코딩 식은 교육 컨텐츠에서의 로봇의 움직임에 연관되게 된다. 코딩 콘텐츠 관리부(120)는 영상인식 처리부(110)에서 생성된 유저코드가 ＇직진 - 회전＇인지 검토하고, 그에 대응되는 경우에는 로봇(200)에 해당 로봇을 ＇직진 - 회전＇시키는 구동코드를 제공할 수 있다.
증강현신 관리부(130)는 영상인식 처리부(110)에서 추출된 구동코드와 연관된 적어도 하나의 증강현실 객체를 생성하고, 생성된 적어도 하나의 증강현실 객체를 영상에 투영하여 표시할 수 있다.
예컨대, 교육 컨텐츠로서 ＇로봇이 직진 후 회전하는 동작＇을 보여주는 경우, 그에 연관된 유저코드는 ＇직진 - 회전＇으로 연관되어 있을 수 있다. 사용자는 교육 컨텐츠를 보면서 코딩 식을 만들 수 있다. 코딩 콘텐츠 관리부(120)는 영상인식 처리부(110)에서 생성된 유저코드가 ＇직진 - 회전＇인지 검토하고, 그에 대응되는 경우에는 이를 증강현신 관리부(130)에 알릴 수 있다. 증강현신 관리부(130)는 유저코드는 ＇직진 - 회전＇에 대응되는 증강현실 객체를 사용자 단말(100)을 통하여 표시할 수 있다. 상기 예에서, 증강현신 관리부(130)는＇직진표시 - 회전표시＇를 증강 현실로서 생성하여 교육 컨텐츠에 투영하여 표시할 수 있다.
한편, 상술한 예에서는 교육 컨텐츠에 증강현실 객체를 투영하는 예로 설명하였으나 이는 예시적인 것이며, 실제 카메라에서 촬용되는 영상 자체에 증강현실 객체를 투영하여 표시하는 등 다양한 변형 실시가 가능하다.
학습활동 관리부(140)는 사용자의 코딩 교육 콘텐츠에 대한 학습활동을 관리할 수 있다.
일 예로, 학습활동 관리부(140)는 사용자의 코딩 교육 콘텐츠에 대한 학습 결과 및 이력을 관리하고, 사용자가 취약한 학습 과정을 선정하여 코딩 콘텐츠 관리부에 제공할 수 있다. 그에 따라, 학습활동 관리부(140)는 사용자가 취약한 학습 과정을 선정하여 사용자에 해당 학습과정에 대한 코딩교육 콘텐츠를 반복적으로 제공하도록 소프트웨어적 시뮬레이션 구동을 제공할 수 있다.
서버 연동부(150)는 서버(300)와 통신 가능하다. 서버 연동부(150)는 서버(300)와 통신하여, 사용자 단말(100)에 코딩 교육 컨텐츠를 제공하거나 갱신할 수 있다. 서버 연동부(150)는 학습활동 관리부(140)와 연동하여 서버(300)에 사용자의 코딩 교육 콘텐츠에 대한 학습 결과 및 이력을 제공할 수 있다.
로봇 연동부(160)는 로봇과 무선 통신으로 연동가능하다. 로봇 연동부(160)는 코딩 콘텐츠 관리부(120)로부터 로봇에 대한 구동코드를 제공받고, 이를 로봇에 무선으로 송출할 수 있다.
로봇 연동부(160)는 무선 통신 가능한 범위 내에 어떠한 로봇이 존재하는지 감지하고, 해당 로봇이 동작에 유효한 상태인지 등을 확인할 수 있다. 로봇 연동부(160)는 감지된 로봇 및 그의 상태에 대하여 코딩 콘텐츠 관리부(120)에 제공하여, 코딩 콘텐츠 관리부(120)에서 구동 가능한 로봇을 식별하도록 할 수 있다.
제어부(170)는 사용자 단말(100)의 각 구성요소들을 상호 연관하여 동작하도록 제어할 수 있다.
도 7은 도 6에 도시된 영상인식 처리부의 일 예를 설명하는 블록 구성도이다.
도 7을 참조하면, 영상인식 처리부(110)는 영상 인식모듈(111), 코드객체 추출모듈(112) 및 유저코드 추출모듈(113)을 포함할 수 있다.
영상 인식모듈(111)은 영상 데이터로부터 코딩 교구에 표시되는 적어도 하나의 코딩 블록에 대한 객체를 추출할 수 있다. 영상 인식모듈(111)은 코딩 교구(10)에 포함된 코딩 블록 전체에 대한 객체를 추출한다.
코드객체 추출모듈(112)은 추출된 코딩 블록 각각에 대한 명령어 및 인자를 추출할 수 있다. 코드객체 추출모듈(112)은 코딩 블록(11)의 명령어의 위치에 대해 영상인식을 수행하여 명령어를 추출할 수 있다. 코드객체 추출모듈(112)은 코딩 블록(11)의 인자 위치에 대하여 영상인식을 수행하여 명령어를 추출할 수 있다.
유저코드 추출모듈(113)은 코드객체 추출모듈(112)에서 추출된 명령어 및 인자를 이용하여 유저코드를 생성할 수 있다.
도 8은 도 6에 도시된 코딩 콘텐츠 관리부의 일 예를 설명하는 블록 구성도이다.
도 8을 참조하면, 코딩 콘텐츠 관리부(120)는 코딩 컨텐츠 저장모듈(121), 유저코드 채점모듈(121) 및 구동코드 송출모듈(123)을 포함할 수 있다.
코딩 컨텐츠 저장모듈(121)는 코딩 교육 콘텐츠를 저장한다. 코딩 컨텐츠 저장모듈(121)는 서버(300)로부터 코딩 교육 콘텐츠를 저장받거나 갱신할 수 있다.
유저코드 채점모듈(121) 추출된 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 확인하여 유저코드를 채점할 수 있다.
구동코드 송출모듈(123) 유저코드가 올바른 경우, 해당 유저코드에 대응되는 구동코드를 생성할 수 있다.
도 9는 도 6에 도시된 증강현실 관리부의 일 예를 설명하는 블록 구성도이다.
증강현실 관리부(130)는 AR 객체 생성모듈(131), AR 화상 매칭 모듈(132) 및 코딩 콘텐츠 연동모듈(133)을 포함할 수 있다.
AR 객체 생성모듈(131)은 AR 객체를 생성할 수 있다. AR 객체 생성모듈(131)은 유저코드와 연관된 적어도 하나의 증강현실 객체를 생성할 수 있다.
AR 화상 매칭 모듈(132)은 AR 객체 생성모듈(131)에서 생성된 AR 객체를 영상에 투영하여 표시할 수 있다.
일 예로, AR 화상 매칭 모듈(132)은 현재 사용자 단말(100)의 카메라가 촬상하고 있는 화면에 대해 AR 객체를 영상에 투영하여 표시할 수 있다.
다른 예로, 코딩 콘텐츠 연동모듈(133)은 코딩 콘텐츠 관리부(120)와 연동하여 코딩 콘텐츠 동영상을 획득하여 AR 화상 매칭 모듈(132)에 제공할 수 있다. AR 화상 매칭 모듈(132)은 코딩 콘텐츠 연동모듈(133)에서 제공되는 코딩 콘텐츠 동영상 에 대해 AR 객체를 영상에 투영하여 표시할 수 있다.
도 10은 도 6은 도 1에 도시된 로봇의 일 예를 설명하는 블록 구성도이다.
도 10을 참조하면, 로봇(200)은 사용자 단말 연동부(210), 제어부(220) 및 구동부(230)를 포함할 수 있다.
사용자 단말 연동부(210)은 사용자 단말(100)과 무선 통신을 생성할 수 있다. 사용자 단말 연동부(210)은 사용자 단말(100)과 연동하여 로봇(300)이 동작 가능한 상태임을 사용자 단말(100)에 알릴 수 있다.
사용자 단말 연동부(210)는 사용자 단말(100)로부터 구동코드를 수신하면, 이를 제어부(220)에 제공할 수 있다.
제어부(220)는 로봇(200)을 구성하는 각 구성요소들을 상호 연관하여 동작하도록 제어할 수 있다.
제어부(220)는 사용자 단말 연동부(210)로부터 구동코드를 제공받으면, 로봇(30)이 해당구동 코드와 연관된 특정 동작을 동작하도록 구동부(230)를 제어할 수 있다.
도 11은 도 6은 도 1에 도시된 서버의 일 예를 설명하는 블록 구성도이다.
도 11을 참조하면, 서버(300)는 사용자 단말 연동부(310), 콘텐츠 관리부(320), 사용자 학습 관리부(330) 및 제어부(340)를 포함할 수 있다.
사용자 단말 연동부(310)는 사용자 단말(100)과 통신 가능하다. 사용자 단말 연동부(210)은 사용자 단말(100)의 서버 연동부(150)와 연동할 수 있다.
콘텐츠 관리부(320)는 사용자 단말(100)에 코딩 콘텐츠를 제공하거나 갱신할 수 있다.
사용자 학습 관리부(330)는 사용자 단말(100)의 학습활동 관리부(140)와 연동하여 사용자의 코딩 교육 콘텐츠에 대한 학습 결과 및 이력을 공유할 수 있다.
제어부(340)는 서버(300)을 구성하는 각 구성요소들을 상호 연관하여 동작하도록 제어할 수 있다.
이상에서는 도 1 내지 도 11을 참조하여, 본 발명의 일 실시예에 따른 증강현실 기반 코딩교육 제공 시스템에 대하여 설명하였다.
이하에서는, 도 12를 참조하여, 본 발명의 일 실시예에 따른 증강현실 기반 코딩교육 제공 방법에 대하여 설명한다.
이하에서 설명할 증강현실 기반 코딩교육 제공 방법은 증강현실 기반 코딩교육 제공 시스템을 기초로 수행되므로, 도 1 내지 도 11을 참조하여 상술한 설명을 참조하여 쉽게 이해할 수 있다.
도 12는 본 발명의 일 실시예에 따른 증강현실 기반 코딩교육 제공 방법을 설명하는 순서도이다.
코딩 교구(10)는 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있다(S1211).
사용자 단말(100)은 표시된 소정의 코딩 식에 대한 영상 데이터를 획득할 수 있다(S1021).
사용자 단말(100)은 영상 데이터에 대하여 영상인식을 수행하여 코딩 식으로부터 유저코드를 추출할 수 있다(S1022).
사용자 단말(100)은 유저코드에 대응되는 구동코드를 생성하고(S1023), 로봇(200)에 구동코드를 제공할 수 있다(S1024).
로봇(200)은 구동코드와 연관된 특정 동작을 수행할 수 있다(S1031).
코딩 교구(10)는, 도 2 내지 도 5를 참조하여 상술한 바와 같이, 코딩 블록에 대응되는 코딩 슬롯을 복수개 구비한 코딩 보드, 상기 코딩 슬롯에 안착 가능하고 복수의 명령어 중 어느 하나를 표시하고 내부에 인자 슬롯을 포함하는 복수의 코딩 블록 및 상기 인자 슬롯에 안착 가능하고, 상수, 변수 및 논리값 중 어느 하나를 표시하는 복수의 인자 카드를 포함할 수 있다.
사용자 단말(100)은 구동코드와 연관된 적어도 하나의 증강현실 객체를 생성하고, 생성된 적어도 하나의 증강현실 객체를 영상에 투영하여 표시할 수 있다(S1025).
사용자 단말(100)은 사용자의 코딩 교육 콘텐츠에 대한 학습 결과 및 이력을 관리하고, 사용자가 취약한 학습 과정을 선정하여 사용자에 해당 학습과정에 대한 코딩교육 콘텐츠를 반복적으로 제공할 수 있다.
단계 S1022에 대한 일 실시예에서, 사용자 단말(100)은, 영상 데이터로부터 코딩 교구에 표시되는 적어도 하나의 코딩 블록에 대한 객체를 추출하는 단계, 추출된 상기 적어도 하나의 코딩 블록 각각에 대한 명령어 및 인자를 추출하는 단계 및 상기 코드객체 추출모듈에서 추출된 명령어 및 인자를 이용하여 유저코드를 생성하는 단계를 포함하여 동작할 수 있다.
단계 S1023에 대한 일 실시예에서, 사용자 단말(100)은, 코딩 교육 콘텐츠를 저장하는 단계, 추출된 상기 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 확인하여 상기 유저코드를 채점하는 단계 및 상기 유저코드가 올바른 경우 해당 유저코드에 대응되는 상기 구동코드를 생성하는 단계를 포함하여 동작할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
10 : 코딩 교구
11 : 코딩 보드 12 : 코딩 슬롯
13 : 코딩 블록 14 : 명령어
15 : 인자 슬롯 16 : 인자 카드
100 : 사용자 단말
110 : 영상인식 처리부 120 : 코딩 콘텐츠 관리부
130 : 증강현실 관리부 140 : 학습활동 관리부
150 : 서버 연동부 160 : 로봇 연동부
170 : 제어부
200 : 로봇
210 : 사용자 단말 연동부 220 : 서버 연동부
230 : 구동부 240 : 제어부
300 : 서버
310 : 콘텐츠 관리부 320 : 사용자 학습 관리부
330 : 사용자 단말 연동부 340 : 로봇 객체 연동부
350 : 제어부
11 : 코딩 보드 12 : 코딩 슬롯
13 : 코딩 블록 14 : 명령어
15 : 인자 슬롯 16 : 인자 카드
100 : 사용자 단말
110 : 영상인식 처리부 120 : 코딩 콘텐츠 관리부
130 : 증강현실 관리부 140 : 학습활동 관리부
150 : 서버 연동부 160 : 로봇 연동부
170 : 제어부
200 : 로봇
210 : 사용자 단말 연동부 220 : 서버 연동부
230 : 구동부 240 : 제어부
300 : 서버
310 : 콘텐츠 관리부 320 : 사용자 학습 관리부
330 : 사용자 단말 연동부 340 : 로봇 객체 연동부
350 : 제어부
Claims (15)
- 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있는 코딩 교구; 및
상기 코딩 교구에 대한 영상 데이터에 대하여 영상인식을 수행하여 상기 코딩 식으로부터 유저코드를 추출하고 상기 유저코드에 대응되는 구동코드를 생성하고, 생성된 상기 구동코드가 어느 코딩 교육 컨텐츠에 부합하면 해당 코딩 교육 컨텐츠와 연관된 증강현실 컨텐츠를 제공하는 사용자 단말;
을 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 제1항에 있어서, 상기 코딩 교구는,
코딩 블록에 대응되는 코딩 슬롯을 복수개 구비한 코딩 보드;
상기 코딩 슬롯에 안착 가능하고 복수의 명령어 중 어느 하나를 표시하고 내부에 인자 슬롯을 포함하는 복수의 코딩 블록; 및
상기 인자 슬롯에 안착 가능하고, 상수, 변수 및 논리값 중 어느 하나를 표시하는 복수의 인자 카드;
를 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 제1항에 있어서, 상기 사용자 단말은,
상기 영상 데이터에 대하여 영상인식을 수행하고, 인식된 영상 데이터에서 상기 코딩 교구와 관련된 객체를 추출하여 상기 유저코드를 추출하는 영상인식 처리부;
코딩 교육 콘텐츠를 저장하고, 추출된 상기 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 확인하여 상기 유저코드를 채점하며, 상기 유저코드가 올바른 경우 해당 유저코드에 대응되는 상기 구동코드를 생성하는 코딩 콘텐츠 관리부; 및
상기 유저코드와 연관된 적어도 하나의 증강현실 객체를 생성하고, 생성된 상기 적어도 하나의 증강현실 객체를 영상에 투영하여 표시하는 증강현실 관리부;
를 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 제3항에 있어서, 상기 영상인식 처리부는
상기 영상 데이터로부터 상기 코딩 교구에 표시되는 적어도 하나의 코딩 블록에 대한 객체를 추출하는 영상 인식모듈;
추출된 상기 적어도 하나의 코딩 블록 각각에 대한 명령어 및 인자를 추출하는 코드객체 추출모듈; 및
상기 코드객체 추출모듈에서 추출된 명령어 및 인자를 이용하여 유저코드를 생성하는 유저코드 추출모듈;
을 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 제3항에 있어서, 상기 사용자 단말은,
상기 사용자의 코딩 교육 콘텐츠에 대한 학습 결과 및 이력을 관리하고, 상기 사용자가 취약한 학습 과정을 선정하여 해당 코딩 콘텐츠를 집중적으로 반복할 수 있는 소프트웨어적 시뮬레이션 구동을 제공하는 학습활동 관리부;
를 더 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있는 코딩 교구;
상기 코딩 교구에 대한 영상 데이터에 대하여 영상인식을 수행하여 상기 코딩 식으로부터 유저코드를 추출하고 상기 유저코드에 대응되는 구동코드를 생성하는 사용자 단말; 및
상기 사용자 단말로부터 상기 구동코드를 제공받고, 상기 구동코드와 연관된 특정 동작을 수행하는 로봇;
을 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 제6항에 있어서, 상기 사용자 단말은,
상기 영상 데이터에 대하여 영상인식을 수행하고, 인식된 영상 데이터에서 상기 코딩 교구와 관련된 객체를 추출하여 상기 유저코드를 추출하는 영상인식 처리부;
코딩 교육 콘텐츠를 저장하고, 추출된 상기 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 확인하여 상기 유저코드를 채점하며, 상기 유저코드가 올바른 경우 해당 유저코드에 대응되는 상기 구동코드를 생성하는 코딩 콘텐츠 관리부; 및
상기 로봇과 연동하여 상기 로봇에 상기 구동코드를 무선으로 송출하는 로봇 연동부;
를 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 제7항에 있어서, 상기 영상인식 처리부는
상기 영상 데이터로부터 상기 코딩 교구에 표시되는 적어도 하나의 코딩 블록에 대한 객체를 추출하는 영상 인식모듈;
추출된 상기 적어도 하나의 코딩 블록 각각에 대한 명령어 및 인자를 추출하는 코드객체 추출모듈; 및
상기 코드객체 추출모듈에서 추출된 명령어 및 인자를 이용하여 유저코드를 생성하는 유저코드 추출모듈;
을 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 제7항에 있어서, 상기 사용자 단말은,
상기 구동코드와 연관된 적어도 하나의 증강현실 객체를 생성하고, 생성된 상기 적어도 하나의 증강현실 객체를 영상에 투영하여 표시하는 증강현실 관리부;
를 더 포함하는 증강현실 기반 코딩교육 제공 시스템.
- 사용자에 의하여 조작되어 소정의 코딩 식을 표시할 수 있는 코딩 교구와 로봇을 이용하여 사용자에게 증강현실 기반 코딩교육을 제공하는 방법으로서,
사용자에 의하여 조작되어 표시된 소정의 코딩 식에 대한 영상 데이터를 획득하는 단계;
상기 영상 데이터에 대하여 영상인식을 수행하여 상기 코딩 식으로부터 유저코드를 추출하는 하는 단계;
상기 유저코드에 대응되는 구동코드를 생성하는 단계; 및
생성된 상기 구동코드가 어느 코딩 교육 컨텐츠에 부합하면 해당 코딩 교육 컨텐츠와 연관된 증강현실 컨텐츠를 제공하는 단계;
를 포함하는 증강현실 기반 코딩교육 제공 방법.
- 제10항에 있어서, 상기 증강현실 기반 코딩교육 제공 방법은,
상기 로봇에 상기 구동코드를 제공하여 상기 로봇이 상기 구동코드와 연관된 특정 동작을 수행하도록 제어하는 단계;
를 더 포함하는 증강현실 기반 코딩교육 제공 방법.
- 제10항에 있어서, 상기 코딩 교구는,
코딩 블록에 대응되는 코딩 슬롯을 복수개 구비한 코딩 보드;
상기 코딩 슬롯에 안착 가능하고 복수의 명령어 중 어느 하나를 표시하고 내부에 인자 슬롯을 포함하는 복수의 코딩 블록; 및
상기 인자 슬롯에 안착 가능하고, 상수, 변수 및 논리값 중 어느 하나를 표시하는 복수의 인자 카드;
를 포함하는 증강현실 기반 코딩교육 제공 방법.
- 제10항에 있어서, 상기 코딩 식으로부터 유저코드를 추출하는 하는 단계는,
상기 영상 데이터로부터 상기 코딩 교구에 표시되는 적어도 하나의 코딩 블록에 대한 객체를 추출하는 단계;
추출된 상기 적어도 하나의 코딩 블록 각각에 대한 명령어 및 인자를 추출하는 단계; 및
상기 코드객체 추출모듈에서 추출된 명령어 및 인자를 이용하여 유저코드를 생성하는 단계;
를 포함하는 증강현실 기반 코딩교육 제공 방법.
- 제10항에 있어서, 상기 유저코드에 대응되는 구동코드를 생성하는 단계는,
코딩 교육 콘텐츠를 저장하는 단계;
추출된 상기 유저코드가 어느 코딩 교육 컨텐츠에 부합하는지 확인하여 상기 유저코드를 채점하는 단계; 및
상기 유저코드가 올바른 경우 해당 유저코드에 대응되는 상기 구동코드를 생성하는 단계;
를 포함하는 증강현실 기반 코딩교육 제공 방법.
- 제10항에 있어서, 상기 증강현실 기반 코딩교육 제공 방법은,
상기 사용자의 코딩 교육 콘텐츠에 대한 학습 결과 및 이력을 관리하고, 상기 사용자가 취약한 학습 과정을 선정하여 상기 사용자에 해당 학습과정에 대한 코딩교육 콘텐츠를 반복적으로 제공하는 단계;
를 더 포함하는 증강현실 기반 코딩교육 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190174665A KR102438029B1 (ko) | 2019-12-26 | 2019-12-26 | 증강현실 기반 코딩교육 제공 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190174665A KR102438029B1 (ko) | 2019-12-26 | 2019-12-26 | 증강현실 기반 코딩교육 제공 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210082592A true KR20210082592A (ko) | 2021-07-06 |
| KR102438029B1 KR102438029B1 (ko) | 2022-08-30 |
Family
ID=76861175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190174665A KR102438029B1 (ko) | 2019-12-26 | 2019-12-26 | 증강현실 기반 코딩교육 제공 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102438029B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230007728A (ko) | 2021-07-06 | 2023-01-13 | 김율 | 아두이노 코딩 정보를 이용한 교육 영상 제작 및 정보 제공 서비스 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170027918A (ko) * | 2015-09-02 | 2017-03-13 | (주)이산솔루션 | 스마트 단말을 이용한 스마트 로봇의 제어 시스템 및 그 방법 |
| KR20170101402A (ko) * | 2016-02-29 | 2017-09-06 | 씨어아이 주식회사 | 교육용 로봇 제어 시스템 및 제어방법 |
| KR20190020397A (ko) * | 2017-08-21 | 2019-03-04 | 김나정 | 텐저블 블록 기반 증강현실 코딩 학습 시스템 |
| KR20190048185A (ko) * | 2017-10-30 | 2019-05-09 | 도완이 | 전자 플레이트를 이용한 언플러그드 코딩 시스템 |
| KR20190124045A (ko) | 2018-04-25 | 2019-11-04 | 한길씨앤씨 주식회사 | 증강현실을 이용한 교육훈련 시스템 및 이를 이용한 교육훈련 방법 |
-
2019
- 2019-12-26 KR KR1020190174665A patent/KR102438029B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170027918A (ko) * | 2015-09-02 | 2017-03-13 | (주)이산솔루션 | 스마트 단말을 이용한 스마트 로봇의 제어 시스템 및 그 방법 |
| KR20170101402A (ko) * | 2016-02-29 | 2017-09-06 | 씨어아이 주식회사 | 교육용 로봇 제어 시스템 및 제어방법 |
| KR20190020397A (ko) * | 2017-08-21 | 2019-03-04 | 김나정 | 텐저블 블록 기반 증강현실 코딩 학습 시스템 |
| KR20190048185A (ko) * | 2017-10-30 | 2019-05-09 | 도완이 | 전자 플레이트를 이용한 언플러그드 코딩 시스템 |
| KR20190124045A (ko) | 2018-04-25 | 2019-11-04 | 한길씨앤씨 주식회사 | 증강현실을 이용한 교육훈련 시스템 및 이를 이용한 교육훈련 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230007728A (ko) | 2021-07-06 | 2023-01-13 | 김율 | 아두이노 코딩 정보를 이용한 교육 영상 제작 및 정보 제공 서비스 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102438029B1 (ko) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8051024B1 (en) | Example-based creation and tuning of motion recognizers for motion-controlled applications | |
| CN113767434A (zh) | 通过将视觉特征与声音标记相关来给视频加标记 | |
| Margetis et al. | Augmented interaction with physical books in an Ambient Intelligence learning environment | |
| JP2021168139A (ja) | マンマシンインタラクションのための方法、装置、機器および媒体 | |
| US10789474B2 (en) | System, method and apparatus for displaying information | |
| US11934953B2 (en) | Image detection apparatus and operation method thereof | |
| CN108052277A (zh) | 一种ar定位学习方法和装置 | |
| US11709593B2 (en) | Electronic apparatus for providing a virtual keyboard and controlling method thereof | |
| CN113950822A (zh) | 实体活动表面的虚拟化 | |
| CN113767647A (zh) | 使用文本相似性将视觉标记映射到声音标记 | |
| Lai et al. | Mobile edutainment with interactive augmented reality using adaptive marker tracking | |
| KR102438029B1 (ko) | 증강현실 기반 코딩교육 제공 방법 및 시스템 | |
| Ablyaev et al. | Design of Mobile Augmented Reality System for Early Literacy. | |
| US20220270505A1 (en) | Interactive Avatar Training System | |
| KR20170039953A (ko) | 증강현실을 이용한 학습장치 | |
| KR20180046242A (ko) | Nfc 블록 및 이를 이용한 동작 방법 | |
| CN109803450A (zh) | 无线设备与电脑连接方法、电子装置及存储介质 | |
| KR102251867B1 (ko) | 사물인터넷의 스타네트워크를 이용하여 코딩 교육을 제공하는 시스템 및 방법 | |
| CN110209242B (zh) | 按钮功能绑定、按钮功能调用方法、装置及投影控制设备 | |
| KR20140078083A (ko) | 증강 현실이 구현된 만화책 | |
| KR20220026067A (ko) | 증강현실을 이용한 유아학습 방법 | |
| Bhattacharya | Automatic generation of augmented reality guided assembly instructions using expert demonstration | |
| CN113975804B (zh) | 虚拟控件显示方法、装置、设备、存储介质及产品 | |
| US20220172082A1 (en) | Electronic device, method, program, and system for identifier-information inference using image recognition model | |
| US11011071B1 (en) | Interactive learning system and a method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |