KR102298000B1

KR102298000B1 - 모델 기반 디버깅 방법 및 이를 적용한 디버그 교육 시스템

Info

Publication number: KR102298000B1
Application number: KR1020190127666A
Authority: KR
Inventors: 이재호; 최병기; 이종욱
Original assignee: 서울시립대학교 산학협력단
Priority date: 2019-10-15
Filing date: 2019-10-15
Publication date: 2021-09-02
Also published as: KR20210044470A

Abstract

본 개시의 모델 기반 디버그 방법은, 기본 모델을 이용하여 사용자 발화문을 이해하는 단계, 상기 기본 모델을 이용하여 코딩 교육 로봇 상태 발화문을 생성하는 단계, 및 상기 기본 모델을 이용하여 디버깅 명령 확인 및 이해를 위한 추가 발화문을 생성하는 단계를 포함하고, 상기 기본 모델은, 명령어 템플릿, 발화 템플릿, 및 코드 모델을 포함하고, 상기 코드 모델은 상기 사용자 발화문에 따른 명령어에 대응하여 실행해야 할 실제 기능에 관한 모델이다.

Description

모델 기반 디버깅 방법 및 이를 적용한 디버그 교육 시스템{DEBUGGING METHOD BASED ON A MODEL AND DEBUG EDUCATION SYSTEM WHERE THE METHOD IS APPLIED}

본 개시는 모델 기반 디버깅 방법 및 이를 적용한 디버그 교육 시스템 에 관한 것이다.

컴퓨팅 사고(Computational Thinking)는 소프트웨어 개발에 적절한 사고 방식을 말한다. 문제 상황의 핵심 원리를 찾아내 이를 재구성하고 순서도를 만들어 해결하는 방식이다. 데이터를 모으고 조작하기, 큰 문제를 작은 문제들로 쪼개기, 문제를 구조화하고 추상화하기, 순서에 따라 문제 해결을 자동화하기 등이 포함된다. 이 과정에서 디지털시대에 필요한 사고력과 문제 해결 능력, 창의력 등을 기를 수 있다.

컴퓨팅 사고 능력 향상을 위해서는 코딩 교육이 학생들을 대상으로 시행되고 있다. 한편, 최근 코딩 교육 로봇을 다양한 분야에 적용하고자 하는 연구가 진행되고 있는데, 코딩 교육에 있어서 코딩 교육 로봇을 활용하기 위한 연구도 필요하다.

코딩 교육 환경에서 모델 기반 디버그 방법을 이용하여 음성언어 기반의 디버깅을 강화하고, 이를 적용한 디버그 교육 시스템을 제공하고자 한다.

발명의 한 특징에 따른 모델 기반 디버그 방법은, 기본 모델을 이용하여 사용자 발화문을 이해하는 단계, 상기 기본 모델을 이용하여 코딩 교육 로봇 상태 발화문을 생성하는 단계, 및 상기 기본 모델을 이용하여 디버깅 명령 확인 및 이해를 위한 추가 발화문을 생성하는 단계를 포함하고, 상기 기본 모델은, 명령어 템플릿, 발화 템플릿, 및 코드 모델을 포함하고, 상기 코드 모델은 상기 사용자 발화문에 따른 명령어에 대응하여 실행해야 할 실제 기능에 관한 모델일 수 있다.

상기 사용자 발화문을 이해하는 과정은, 상기 사용자 발화 이해를 위해 사용자가 작성한 코드에서 추출한 요소와 상기 명령문 템플릿을 결합하여 사용자 발화문을 이해하는 단계를 포함하고, 상기 사용자가 작성한 코드에서 추출한 요소는, 상기 사용자가 임의로 지정한 변수명, 사용자가 정의한 함수, 사용된 코드블록의 타입 및 조건문의 조건, 그리고 반복문의 조건 중 적어도 하나를 포함할 수 있다.

상기 코딩 교육 로봇 상태 발화문 생성 단계는, 실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소와 상기 발화 템플릿을 결합하는 단계를 포함하고, 상기 실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소는, 로봇의 센서, 액추에이터와 변수, 로봇 상태 변수, 그리고 코드 실행 상태 중 적어도 하나를 포함할 수 있다.

상기 디버깅 명령 확인 및 이해를 위한 추가 발화문을 생성하는 단계는, 상기 코딩 교육 로봇이 이해한 사용자 명령을 확인하는 음성 기반 대화 단계를 포함할 수 있다.

발명의 또 다른 특징에 따른 디버그 교육 시스템은, 명령어 템플릿, 발화 템플릿, 및 사용자 발화문에 따른 명령어에 대응하여 실행해야 할 실제 기능에 관한 코드 모델을 포함하고, 사용자 발화문을 이해하고, 코딩 교육 로봇 상태 발화문을 생성하며, 디버깅 명령 확인 및 이해를 위한 추가 발화문을 생성할 수 있다.

상기 디버그 교육 시스템은, 상기 사용자 발화 이해를 위해 사용자가 작성한 코드에서 추출한 요소와 상기 명령문 템플릿을 결합하여 사용자 발화문을 이해하고, 상기 사용자가 작성한 코드에서 추출한 요소는, 상기 사용자가 임의로 지정한 변수명, 사용자가 정의한 함수, 사용된 코드블록의 타입 및 조건문의 조건, 그리고 반복문의 조건 중 적어도 하나를 포함할 수 있다.

상기 디버그 교육 시스템은, 실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소와 상기 발화 템플릿을 결합하여 상기 코딩 교육 로봇 상태 발화문을 생성하고, 상기 실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소는, 로봇의 센서, 액추에이터와 변수, 로봇 상태 변수, 그리고 코드 실행 상태 중 적어도 하나를 포함할 수 있다.

상기 디버그 교육 시스템은, 상기 추가 발화문에 따라 음성 기반으로 대화할 수 있다.

코딩 교육 환경에서 모델 기반 디버그 방법을 이용하여 음성언어 기반의 디버깅을 강화하고, 이를 적용한 코딩 교육 로봇을 제공한다.

도 1은 일 실시예에 따른 디버그 교육 시스템을 나타낸 도면이다.
도 2는 일 실시예에 따른 모델 기반 디버그 절차를 나타낸 순서도이다.
도 3은 프로그램 코드에 디버그가 적용된 실제 동작 코드를 나타낸 도면이다.
도 4는 조건에 따라 지속적으로 상태를 알리는 음성 발화형 디버깅을 도식적으로 나타낸 도면이다.
도 5는 사용자 발화를 이해하는 과정에 관여하는 구성을 나타낸 도면이다.
도 6은 사용자 발화를 이해하는 과정을 나타낸 도면이다.
도 7은 코딩 교육 로봇 상태 발화 생성 과정에 관여하는 위한 구성을 나타낸 도면이다.
도 8은 코딩 교육 로봇 상태 발화 생성 과정을 나타낸 도면이다.
도 9는 일 실시예에 따른 디버깅 명령 확인 및 이해를 위한 추가 발화문 생성 과정을 나타낸 도면이다.

본 발명은 디버그 대상을 자동으로 추출하여 음성 발화를 통해 학습자에게 디버그 기능을 수행할 수 있는 코딩 교육 로봇에 관한 것이다. 본 발명의 일 실시예는 작성된 프로그램 코드를 바탕으로 디버그에 사용 가능한 요소를 자동으로 추출하고, 추출된 요소를 디버그 GUI를 통해 표현한다. 사용자로부터 선택된 요소에 대해서 사용자에 의해 디버그 규칙이 생성되면, 일 실시예는 디버그 모드 실행 시 규칙에 따라 디버그 기능을 실행한다. 이 때, 일 실시예는 코딩 교육 로봇의 음성 발화를 통해서 학습자에게 디버그 기능을 수행할 수 있다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 일 실시예에 따른 디버그 교육 시스템을 나타낸 도면이다.

도 1에 도시된 바와 같이, 디버그 교육 시스템(100)은 프로그램 코드(2)를 입력받고, 코드 분석기(23), 블록코딩 개발환경(24), 코드 모델(3), 디버그 모델(4), 코딩 교육 로봇(5), 및 기본 모델(6)을 포함한다.

먼저, 코딩 교육 대상(1)은 프로그램 코드(2)를 작성한다(S1). 예를 들어, 코딩 교육 대상(1)은 블록 코딩 방식으로 블록코딩 개발환경(24)에 적용될 수 있는 프로그램 코드(2)를 작성할 수 있다.

코드 분석기(23)는 프로그램 코드(2)를 코드 모델화하여 코드 모델(3)로 변환한다(S2). 본 개시에서, 코드 모델화는 프로그램 코드 내에서 디버그에 활용될 수 있는 요소들을 모델링하여, 프로그램 코드(2)를 코드 모델(3)로 변환하는 것을 의미한다. 예를 들어, 코드 분석기(23)는 프로그램 코드 내에서 절차적 또는 조건적으로 선택 가능한 요소들(변수 선언, 임시 변수 선언, 반복문, 조건문 등)에 대해 프로그램 코드 내에 존재하는 정보들을 모델링하여 코드 모델(3)을 생성한다. 구체적으로, 프로그램 코드(2)가 코드 분석기(23)에 입력되고, 코드 분석기(23)는 전처리 분석 예를 들어, 프로그램 코드(2)에서 디버그를 목적으로 하는 특정 요소를 검색하여 추출한다. 코드 분석기(23)는 코드 실행단위, 절차, 조건 등을 고려하여 디버그를 목적으로 하는 특정 요소들을 검색 및 추출한 분석 결과를 기초로 코드 모델(3)을 생성한다.

코드 분석기(23)는 프로그램 코드(2)를 분석하여 디버그 요소를 자동 추출할 수 있다. 코드 분석기(23)는 프로그램 코드(2)를 지속적으로 모니터하여 프로그램 코드에 변경이 있을 때마다 이를 분석하여 디버그 요소를 자동으로 추출할 수 있다. 코드 분석기(23)는 디버그 규칙을 전달받은 이후 적절한 디버그 기능을 프로그램 코드에 삽입하고, 필요한 경우 디버그 규칙의 특정 조건(변수값, 조건식 등)을 만족하였을 경우 프로그램 코드상에 명시되지 않은 디버그 기능을 임의로 실행할 수 있도록 프로그램의 실행을 모니터링 할 수 있다. 코드 모니터의 모니터링 대상은 실행되고 있는 프로그램 코드(2)이다.

디버그 모델(4)은 프로그램 코드 내에서 특정 조건으로 원하는 기능을 실행하기 위해 조건과 행동이 결합한 모델로 구성될 수 있다. 디버그 모델(4)은 디버그를 위한 조건과 디버그 행동이 융합된 쌍들의 집합으로 정의될 수 있다. 이를 위해서는, 디버그 기능이 사용될 조건과 디버그 기능 자체가 정의되어야 한다. 디버그 기능이 사용될 조건으로 절차 기반 디버그 규칙 및 조건 기반 디버그 규칙을 나누어 정의될 수 있고, 디버그는 여러 가지 기능을 포함할 수 있다.

디버그 규칙은 대상이 되는 환경의 특정 상황과 관련된 조건 기반 디버그 규칙과 프로그램이 실행되는 과정과 관련된 절차 기반 디버그 규칙을 포함하고, 기본 모델(6)은 디버그 규칙에 기초하여 구현된다. 예를 들어, 기본 모델(6)은 디버그 모델(4)을 위해 미리 생성된 타입별 템플릿으로서 디버그 규칙이 정의되어 있다.

조건 기반 디버그 규칙은 정해진 조건식이 만족할 경우 실행되는 규칙으로, 예를 들어, 변수 값이 특정 조건을 만족했을 경우 실행되는 규칙으로, 변수 값의 비교나 논리식 등을 활용하여 디버그 기능이 실행되는 시점이 정의될 수 있다. 구체적으로, 거리 센서의 값이 20이하일 때, 광량 센서의 출력이 일정 수치 이상일 때, 변수 1번에 있는 값이 10이상인 경우 등이 조건 기반 디버그 규칙으로 설정될 수 있다. 이를 통해 교육 대상이 원하는 상황에서 지정한 기능을 실행시킬 수 있게 된다. 코딩 교육 로봇 환경에서는 상황을 정의하는 변수나 값이 코딩 교육 로봇의 센서나 액추에이터에 의해 제한되기 때문에 코딩 교육 로봇의 기능을 바탕으로 조건 기반 디버그 규칙에 적용할 수 있는 변수를 추출할 수 있다.

절차 기반 디버그 규칙은 조건문, 혹은 함수 실행 등의 프로그램의 절차적인 흐름과 관계된 조건이다. 중단점이나 함수 실행 횟수, 반복문 반복 횟수 등을 지정하여 특정 시점에서 사용자가 요구하는 디버그 기능을 실행시킬 수 있게 된다. 구체적으로, If-Then-Else 문 중 else 문 진입 시, Do-While문 반복 마다 등이 절차 기반 디버그 규칙으로 설정될 수 있다.

디버그 기능은 디버그 규칙이 만족하였을 때 실행시킬 코드상의 기능을 의미한다. 예를 들어, 디버그 기능으로, 현재 실행중인 코드블록을 일시 정지하는 중단점 기능, 현재 실행중인 코드블록을 표시하는 기능, 다음 코드블록까지 실행 후 일시 정지하는 기능, 함수블록 실행 중 함수 내부로 관찰점을 이동시키는 기능, 일시정지를 해체하고 끌까지 실행하는 기능, 특정 변수값을 확인하는 기능 등이 있을 수 있다.

기본 모델(6)과 코드 모델(3)이 결합하여 디버그 모델(4)이 구현되고, 디버그 모델(4)은 디버그 과정에서 모니터링 하고자 하는 대상(변수 값, 특정 라인이 실행되는 상태 등)에 따라서 실행단계에서 표출하고자 하는 발화, 디스플레이 정보, 또는 코딩 교육 대상(1)으로부터 얻을 수 있는 상호 작용 방법 등을 포함한다. 디버그 모델(4)과 코드 모델(3)은 서로 대응하는 구조를 가질 수 있다. 정확한 동작을 보장하기 위해서는, 디버그 모델(4)과 코드 모델(3)이 서로 1:1 대응하는 구조일 필요가 있다.

도 2는 일 실시예에 따른 모델 기반 디버그 절차를 나타낸 순서도이다.

도 2에 도시된 바와 같이, 디버그 절차는 교육자, 학습자, 블록코딩 개발 환경, 및 코딩 교육 로봇을 대상으로 수행될 수 있다. 학습자는 코딩 교육 대상(1)의 일 예이다.

먼저, 교육자는 학습자에게 코딩 교육을 실시하고, 블록코딩 개발환경에서 디버그 모델을 작성할 수 있다.

학습자는 실행 코드를 작성하고, 실행 코드를 블록코딩 개발환경에 전달 및 실행하다. 학습자에 의해 작성된 실행 코드는 앞서 설명한 프로그램 코드(2)의 일 예이다. 블록코딩 개발환경(24)에서 디버그 모델(4)은 코드 모델(3)을 참조하여 프로그램 코드(2)에 삽입된다(S3). 실행 코드에서 추출된 코드 모델(3)은 새로 생성된 디버그 모델(4) 또는 이번 교육 이전에 생성된 디버그 모델(4)이 실행 코드 상의 어느 위치에 배치되는지를 결정하는데 고려될 수 있다.

블록코딩 개발환경(24)은 코딩 교육 로봇에 디버그 모델(4)과 프로그램 코드(2)로부터 실제 실행 코드를 생성하여 코딩 교육 로봇(5)에 전달한다(S4).

코딩 교육 로봇(5)은 코드 실행기(51) 및 디버그 정보 표출기(52)를 포함하고, 코드 실행기(51)는 실행 코드 블록을 실행하고, 디버그 조건을 확인하며, 필요할 경우 디버그 정보 표출기(52)를 통해 디버그 기능을 실행시킨다. 이어서, 코드 실행기(51)는 다음 실행 코드 블록을 확인한다. 실제 실행 코드에 따라 "loop" 박스의 과정이 반복된다.

코드 실행기(51)에 의해, 생성된 디버그 모델(4)과 결합한 프로그램 코드(2)는 디버그 모델(4)에 존재하는 디버그 타입 별로 기본모델에 서술된 상호작용 방법에 따라서 코딩 교육 대상(1)과 상호작용을 할 수 있다(S5). 이와 같은 상호작용을 통해 코드 실행기(51)는 정보를 코딩 교육 대상(1)에게 표출할 수 있다. 코딩 교육 로봇(5)의 코드 실행기(51)는 디버그 모델(4)을 생성하는 과정에서 미리 삽입된 상호작용 방법에 따라 상호작용을 위한 정보를 적어도 음성 발화를 통해 또는 디스플레이를 함께 이용하여 표출하고, 코딩 교육 대상(1)은 표출된 정보에 대하여 반응함으로써, 코딩 교육 대상(1)과 코딩 교육 로봇(5) 간의 상호 작용이 구현된다. 그러면, 코딩 교육 대상(1)의 추가적인 노력이나 지식이 필요 없이, 간단한 상호작용을 통해 코딩 교육 대상(1)은 디버깅 과정을 체험할 수 있다.

앞서 언급한 바와 같이, 디버그 규칙은 조건 기반 디버그 규칙 및 절차 기반 디버그 규칙을 포함할 수 있다. 조건 기반 디버그 규칙은 조건이 만족되면 디버그 기능을 실행하는 규칙으로, 변수 값이 조건을 만족하는 것에 대한 규칙일 수 있다. 코드 모니터(41)에 의해 조건으로 지정 가능한 변수 등을 프로그램 코드에서 자동 추출된다. 디버그 규칙(44)은 추출된 요소를 바탕으로 조건을 설정하기 위한 것에 관한 것일 수 있고, 요소를 비교할 수 있는 연산자(이상, 이하, 일치, 비일치 등)에 관한 것일 수 있다.

절차 기반 디버그 규칙은 코드의 절차적인 기능들과 관련된 규칙으로, 특정 if문 실행 여부, 함수의 호출 횟수, 특정 코드 실행에 관한 규칙일 수 있다. 즉, 절차 기반 디버그 규칙은 코드의 기본적인 구성 요소에 대한 규칙이다. 코드 모니터(41)는 해당 코드가 프로그램 코드에 사용된 경우, 디버그 요소로 추출할 수 있다.

디버그가 삽입된 코드 모델(3)은 코딩 교육 로봇(5)에서 실행된다. 디버그가 삽입된 코드 모델(3)을 실행 코드라 한다. 코딩 교육 로봇(5)은 실행 코드를 실행하여 디버그 작업을 실행한다. 코딩 교육 로봇(5)은 디버그 규칙에 서술된 조건이 만족될 때 디버그 명령을 실행할 수 있다. 코딩 교육 로봇(5)은 디버그 명령의 실행으로 중단점 또는 디버그 로그를 출력할 수 있고, 로그 출력 방법은 적어도 음성 발화를 포함할 수 있다.

코딩 교육 로봇(5)에 의한 음성 발화 디버그 작업에 대해서 도 3을 참조하여 상세히 설명한다.

도 3은 프로그램 코드에 디버그가 적용된 실제 동작 코드를 나타낸 도면이다.

도 3에 도시된 프로그램 코드에서 조건 기반 디버그 규칙이 될 수 있는 요소는 변수 "someValue" 및 센서 값 "Distance"이고, 절차 기반 디버그 규칙이 될 수 있는 요소는 "until" 반복문 및 "move", "set", "wait" 기능이다. 디버그 모델(4)에 의해 작성된 디버그는 "매 반복마다 정지"(디버그 1) 및 "거리 10이상일 시 알림"(디버그 2)이다. 그러면, 코드 모델(3)에 디버그가 삽입되어 실제 실행 코드가 생성된다.

그러면, 코딩 교육 로봇(5)은 디버그 2에 따라 거리가 10 이상일 때 "거리 10 이상을 이동하였습니다"를 음성 발화할 수 있다. 그리고 디버그 1에 따라 매번 중단점이 발생한다.

도 4는 조건에 따라 지속적으로 상태를 알리는 음성 발화형 디버깅을 도식적으로 나타낸 도면이다.

도 4의 디버그 모델(4)에서 절차적 조건이 반영된 절차 기반 디버그 규칙으로 "for" 구문 반복 시 알림이 설정되고, 추가적으로 조건 기반 디버그 규칙으로 "방에 도착 시" 중단이 설정되었다. 디버그 모델(4)은 코드 모델(3)에 삽입되고, 코딩 교육 로봇(5)을 통해 실제 실행 코드의 디버그 작업이 수행될 수 있다.

그러면, 코딩 교육 로봇(5)이 상황 정보를 감지하여 해당 위치가 방일 경우, "저는 지금 방에 도착했어요"의 음성 발화를 하고, 이어서 "이제 무엇을 할까요?"를 음성 발화를 할 수 있다.

아울러, for 구문이 반복될 때마다 이를 알리므로, "배달을 3번째 완료했어요"와 같이, for 구문 반복 횟수와 함께 이를 알리는 음성 발화를 할 수 있다.

일 실시예에 따르면, 프로그램 코드(2)의 실행문 단위로 자동으로 실행 상태 표현문을 생성할 수 있다.

예를 들어, 치환문의 경우 아래와 같이 실행 상태 표현문을 생성할 수 있다.

LHS = RHS -> LHS의 값이 RHS 값으로 변경되었습니다.

X = 20 -> X 의 값이 20으로 변경 되었습니다.

Y = X + 1 -> Y의 값이 21으로 변경 되었습니다.

프로그램 코드(2)의 조건문의 경우 아래와 같이 실행 상태 표현문을 생성할 수 있다.

if condition then (line_number1) statement1 else (line number2) statement2 -> 조건문의 조건이 만족되어 line_number1 문장을 수행합니다./ 조건문의 조건이 만족되지 않아 line_number2 문장을 수행합니다.

프로그램 코드(2)의 순환문의 경우 아래와 같이 실행 상태 표현문을 생성할 수 있다.

while condition statement1 -> 조건문의 조건이 만족되어 실행을 반복합니다/ 조건문의 조건이 만족되지 않아 실행의 반복을 멈춥니다.

또한, 프로그램 코드(2)의 실행 상태를 표시하기 위한 조건을 음성 기반으로 지정할 수 있다.

예를 들어, 문장 단위로, "모든 실행 상태 알려줘", "모든 실행 상태 알려주지마", "10문장 실행 마다 알려줘" 등, 시간 단위로 "10초 마다 알려줘" 등, 또는, 문장의 종류(치환문, 조건문, 순환문) 별로, "조건 문만 알려줘" 등으로 구현될 수 있다.

아울러, 프로그램 코드(2)의 상태의 변화를 표시하기 위한 조건을 음성 기반으로 지정할 수 있다.

예를 들어, 변수 값의 변화에 대한 일 예로, "X 값의 10보다 작아지면 알려줘", 또는, 두 항의 음성 기반 지정 방법을 복합하여 조건을 지정하는 방법의 일 예로, "10초 마다 X값이 10보다 작으면 알려줘" 등이 있을 수 있다.

본 발명을 통해서 기본적인 디스플레이를 활용할 수 없는 경우, 다른 방법의 디버그 프로세스 없이 음성 발화를 통해 디버그 정보를 효율적으로 제공할 수 있다. 프로그램 디버깅 과정에서 사용되는 여러 요소를 디스플레이 및 키보드/마우스 조작 없이 실행 가능하여 보다 인터랙티브한 디버깅이 별도의 디스플레이 등의 조작 없이 제공될 수 있다.

코딩 교육 환경에서 코딩 교육 로봇 등의 교보재를 활용하여 보다 원할하게 디버그 나아가 컴퓨팅 사고 및 논리적 사고 향상을 제공할 수 있다. 구체적으로, 프로그램 코딩에 있어 절차적 문제를 해결하고, 프로그램을 실행할 때 발생할 수 있는 오류를 방지하여 컴퓨팅 사고 능력 향상이 가능하다. 교육 대상자가 개발 환경과 코딩 교육 로봇에만 집중할 수 있는 환경 및 음성 발화를 통한 디버깅 상호 작용이 제공되어, 컴퓨팅 사고 교육의 효율이 향상될 수 있다.

이어서, 본 발명의 일 실시예에 따른 모델 기반 디버그 시스템을 바탕으로 음성언어 기반 디버그 강화에 대한 내용을 설명한다.

일 실시예에 따른 모델 기반 디버그 방법은, 사용자 발화문을 이해하는 과정, 코딩 교육 로봇 상태 발화문 생성 과정, 및 디버깅 명령 확인 및 이해를 위한 추가 발화문 생성 과정을 포함한다.

사용자 발화문을 이해하는 과정은, 사용자 발화 이해를 위해 사용자가 작성한 코드에서 추출한 요소(와 사용자 명령문 템플릿을 결합하여 사용자 발화문을 이해하는 과정을 포함한다. 사용자가 작성한 코드에서 추출한 요소는, 사용자가 임의로 지정한 변수명, 사용자가 정의한 함수, 사용된 코드블록의 타입 및 조건문의 조건, 그리고 반복문의 조건 등을 포함할 수 있다.

코딩 교육 로봇 상태 발화문 생성 과정은 실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소와 코딩 교육 로봇 발화문 템플릿을 결합한 코딩 교육 로봇 상태 발화문 생성 과정을 포함한다. 실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소는, 로봇의 센서, 액추에이터와 변수와 로봇 상태 변수(배터리 상태, 모터 상태 등), 코드 실행 상태 등을 포함할 수 있다.

디버깅 명령 확인 및 이해를 위한 추가 발화문 생성 과정은 코딩 교육 로봇이 이해한 사용자 명령을 확인하는 음성 기반 대화 과정을 포함한다.

도 5는 사용자 발화를 이해하는 과정에 관여하는 구성을 나타낸 도면이다.

도 6은 사용자 발화를 이해하는 과정을 나타낸 도면이다.

도 5에 도시된 바와 같이, 기본 모델(6)은 명령어 템플릿(61)과 코드 모델(62)을 포함하고, 코드 모델(3)의 변수 리스트를 참조한다. 명령어 템플릿(61)은 사용자가 발화하는 명령문에 대한 템플릿일 수 있다.

도 5에 도시된 바와 같이, 명령어 템플릿(61)은 복수의 명령어 서식을 포함한다. 예를 들어 "[v] 확인해줘", "[v]를 [int]로 바꿔줘", "잠깐 멈춰", "계속 진행해" 등의 명령어 서식이 명령어 템플릿(61)에 구비된다. '[v]'는 변수명이고, '[int]'는 정수(integer)를 지칭한다.

코드 모델(62)은 기본 모델(6)에서 명령어에 대응하여 실행해야 할 실제 기능에 관한 모델이다. 코드 모델(62)은 개발환경 또는 코딩 교육 로봇에서 실제로 실행해야 하는 기능들의 나열로 구성될 수 있다.

코드 모델(3)은 앞서 설명한 바와 같이, 코드 분석기(23)에 의해 학습 대상이 작성한 코드가 분석된 결과에 따라 생성된 모델 이다. 즉, 코드 모델(3)은 개발환경 내에서 개발이 진행 중인, 학습 대상이 작성한 코드로부터 추출된 모델이다. 코드 모델(3)은 변수 리스트(31)를 포함하고, 변수 리스트(31)에는 복수의 변수들(변수 1, 변수 2, ??)에 대한 정보가 기재되어 있다. 기본 모델(6)은 코드 모델(3)의 변수리스트(31)에 기초하여 변수를 인지할 수 있다.

도 6에 도시된 바와 같이, 인식된 발화문(예를 들어, "감자를 3으로 바꿔줘")의 음성 정보에 대한 문맥을 파악한다(S1). 문맥을 파악하기 위해 명령어 템플릿(61)을 참고한다. 예를 들어, 기본 모델(6)은 변수 리스트의 변수 "감자"를 인식하고, 명령어 템플릿(61)에서 명령어 블록(611) "[v]를 [int]로 바꿔줘"을 참조할 수 있다.

기본 모델(6)은 명령어 템플릿(61)을 참조하여 확인된 명령어 블록에 대응되는 블록을 코드 모델(62)에서 탐색한다(S2). 예를 들어, 명령어 블록(611)에 대응하는 코드 모델(62)에서의 블록(621)은 "[v]에 [int]를 대입"이다.

기본 모델(6)은 발화문의 각 변수(예를 들어, "감자", "3")를 코드 모델(62)에서 분석하여, 탐색된 코드 모델(62)의 블록의 변수(예를 들어, [v], [int])에 맵핑한다(S3). 맵핑을 통해 코드 블록이 생성된다(S4). 코드 블록은 디버그 모델(4)에 반영되어, 실행 코드로서 코딩 교육 로봇(5)에 전달된다. 그러면, 코드 실행기(51)에 의해 코드 블록이 실행될 수 있다.

도 7은 코딩 교육 로봇 상태 발화 생성 과정에 관여하는 위한 구성을 나타낸 도면이다.

도 8은 코딩 교육 로봇 상태 발화 생성 과정을 나타낸 도면이다.

도 7에 도시된 바와 같이, 기본 모델(6)은 발화 템플릿(63)과 코드 모델(62)을 포함하고, 코드 모델(3)의 변수 리스트를 참조한다. 발화 템플릿(63)은 코딩 교육 로봇(5)에 의해 발화되는 발화문에 대한 템플릿일 수 있다.

도 7에 도시된 바와 같이, 발화 템플릿(63)은 복수의 발화문 서식을 포함한다. 예를 들어 "[v]의 값은 [value]입니다", "[v]를 [value]로 변경하였습니다", "정지 중입니다", "프로그램을 진행합니다" 등의 발화문 서식이 발화 템플릿(63)에 구비된다. '[value]'는 값을 지칭한다.

도 8에 도시된 바와 같이, 코딩 교육 로봇(5)의 코드 실행기(51)에서 코드 블록을 실행한다(S5). 즉, 코드 실행기(51)는 변수명 "감자"에 정수 "3"을 대입한다.

이어서, 기본 모델(6)은 코드 모델(62)의 블록에 대응하는 발화문을 발화 템플릿(63)에서 확인한다(S6). 코드 모델(61)의 블록은 명령어 템플릿(62)에서 참조된 명령어에 대응하는 블록이다. 예를 들어, 코드 모델(62)의 블록(621)에 대응하는 발화문은 "631"이고, 발화문(631)은 "[v]를 [value]로 변경하였습니다"이다.

기본 모델(6)은 코드 블록의 변수 "감자" 및 "3"를 발화문(631)의 변수 '[v]' 및 '[value]'에 맵핑한다(S7).

디버그 정보 표출기(52)는 맵핑된 발화문을 발화한다(S8). 예를 들어, 디버그 정보 표출기(52)는 "감자를 3으로 변경하였습니다"를 발화한다.

도 9는 일 실시예에 따른 디버깅 명령 확인 및 이해를 위한 추가 발화문 생성 과정을 나타낸 도면이다.

도 9에 도시된 바와 같이, 사용자의 발화문 "감자를 3으로 바꿔줘"를 이해하기 위한 추가 발화문에 대한 일예가 도시되어 있다.

먼저, 사용자가 "감자를 3으로 바꿔줘"라고 코딩 교육 로봇(5)에게 발화한다(S9).

코딩 교육 로봇(5)이 해당 발화문을 "과자를 3으로 변경해줘"라고 인식한 것으로 가정한다. 코딩 교육 로봇(5)은 사용자에게 [과자를 3으로 변경] 명령이 맞는지 발화를 통해 문의한다(S10).

사용자의 발화문과 코딩 교육 로봇(5)이 인식한 발화문이 다르므로, 사용자는 "아니야"로 응답한다(S11).

코딩 교육 로봇(5)은 발화문을 정확하게 인식하기 위해서 "다시 말씀해 주실 수 있나요?"라는 발화를 통해 재발화를 요청한다(S12).

사용자는 "감자를 3으로 바꿔줘"를 재발화한다(S13).

코딩 교육 로봇(5)이 해당 발화문을 "감자를 3으로 변경해줘"라고 인식한 것으로 가정한다. 코딩 교육 로봇(5)은 사용자에게 [감자를 3으로 변경] 명령이 맞는지 발화를 통해 재문의한다(S14).

사용자의 발화문과 코딩 교육 로봇(5)이 인식한 발화문이 동일하므로, 사용자는 "그래"로 응답한다(S15).

코딩 교육 로봇(5)은 발화문을 정확하게 인식한 것으로 확인하고, 앞서 설명한 사용자 발화 이해 과정 및 코딩 교육 로봇 상태 발화문 생성 과정을 통해 "감자를 3으로 변경하였습니다"를 발화한다(S16).

코딩 교육 로봇(5)은 현재 상태를 판단하기 위해, 코딩 교육 로봇(5)에 구비된 센서를 이용할 수 있다. 커리큘럼이 시작되면, 센서가 동작하고, 센서를 통해 수집된 정보에 기초해서 대상을 식별하는 함수를 생성할 수 있다.

코딩 교육 로봇(5)은 기본 모델(6)에 포함된 발화문 템플릿(61)과 코드 모델(62)을 이용하여 발화문을 이해하고, 코딩 교육 로봇(5)의 센서에 의해 수집된 정보 및 교육 과정 정보를 결합하여 대상을 인식하며, 인식된 대상에 따라 발화문 템플릿(63)을 이용하여 발화문을 생성할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 여러 가지로 변형 및 개량한 형태 또한 본 발명의 권리범위에 속한다.

1: 코딩 교육 대상
2: 프로그램 코드
3: 코드 모델
4: 디버그 모델
5: 코딩 교육 로봇

Claims

기본 모델을 이용하여 사용자 발화문을 이해하는 단계;
상기 기본 모델을 이용하여 코딩 교육 로봇의 상태 발화문을 생성하는 단계; 및
상기 기본 모델을 이용하여 디버깅 명령 확인 및 이해를 위한 추가 발화문을 생성하는 단계를 포함하고,
상기 기본 모델은, 명령어 템플릿, 발화 템플릿, 및 코드 모델을 포함하고, 상기 코드 모델은 상기 사용자 발화문에 따른 명령어에 대응하여 실행해야 할 실제 기능에 관한 모델이고, 상기 발화 템플릿은 상기 코딩 교육 로봇에 의해 발화되는 발화문에 대한 템플릿인, 모델 기반 디버그 방법.
제1항에 있어서,
상기 사용자 발화문을 이해하는 과정은,
상기 사용자 발화문 이해를 위해 사용자가 작성한 코드에서 추출한 요소와 상기 명령어 템플릿을 결합하여 사용자 발화문을 이해하는 단계를 포함하는, 모델 기반 디버그 방법.
제2항에 있어서,
상기 사용자가 작성한 코드에서 추출한 요소는,
상기 사용자가 임의로 지정한 변수명, 사용자가 정의한 함수, 사용된 코드블록의 타입 및 조건문의 조건, 그리고 반복문의 조건 중 적어도 하나를 포함하는, 모델 기반 디버그 방법.
제1항에 있어서,
상기 코딩 교육 로봇 상태 발화문 생성 단계는,
실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소와 상기 발화 템플릿을 결합하는 단계를 포함하는, 모델 기반 디버그 방법.
제4항에 있어서,
상기 실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소는,
로봇의 센서, 액추에이터와 변수, 로봇 상태 변수, 그리고 코드 실행 상태 중 적어도 하나를 포함하는, 모델 기반 디버그 방법.
제1항에 있어서,
상기 디버깅 명령 확인 및 이해를 위한 추가 발화문을 생성하는 단계는,
상기 코딩 교육 로봇이 이해한 사용자 명령을 확인하는 음성 기반 대화 단계를 포함하는, 모델 기반 디버그 방법.
코딩 교육 로봇을 이용한 디버그 교육 시스템에 있어서,
명령어 템플릿,
상기 코딩 교육 로봇에 의해 발화되는 발화문에 대한 템플릿인 발화 템플릿, 및
사용자 발화문에 따른 명령어에 대응하여 실행해야 할 실제 기능에 관한 코드 모델을 포함하고,
사용자 발화문을 이해하고, 상기 코딩 교육 로봇의 상태 발화문을 생성하며, 디버깅 명령 확인 및 이해를 위한 추가 발화문을 생성하는, 디버그 교육 시스템.
제7항에 있어서,
상기 사용자 발화문 이해를 위해 사용자가 작성한 코드에서 추출한 요소와 상기 명령어 템플릿을 결합하여 사용자 발화문을 이해하고,
상기 사용자가 작성한 코드에서 추출한 요소는,
상기 사용자가 임의로 지정한 변수명, 사용자가 정의한 함수, 사용된 코드블록의 타입 및 조건문의 조건, 그리고 반복문의 조건 중 적어도 하나를 포함하는, 디버그 교육 시스템.
제7항에 있어서,
실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소와 상기 발화 템플릿을 결합하여 상기 코딩 교육 로봇 상태 발화문을 생성하고,
상기 실행 중인 코딩 교육 로봇 상태를 바탕으로 추출한 디버깅 대상 요소는, 로봇의 센서, 액추에이터와 변수, 로봇 상태 변수, 그리고 코드 실행 상태 중 적어도 하나를 포함하는, 디버그 교육 시스템.
제7항에 있어서,
상기 추가 발화문에 따라 음성 기반으로 대화하는, 디버그 교육 시스템.