KR20210059390A - 가상 시스템을 이용한 학습 교육 소프트웨어 시스템 - Google Patents

Abstract

본 발명은 가상 생명체 시스템을 이용해 학습 교육을 위한 소프트웨어 시스템에 관한 것이다. 본 발명에 의한 가상 생명체는 '감정', '동기', '항상성'을 갖고 스스로 행동을 결정하며 주위 환경에 적응할 수 있으며 다양한 사용자의 명령에 적합한 행동을 학습할 수 있는 능력이 있다. 특히, 본 발명의 가상 생명체 시스템을 사용한 교육용 소프트웨어 시스템은 가상 생명체를 육성하며 생물, 무생물의 특성을 배우는 시스템, 교육 과정의 학습량에 따라 가상 생명체를 육성할 수 있는 시스템, 그리고 다른 성격의 가상 생명체 교사에게 학습을 받을 수 있는 교육 시스템으로 구성되어 있다.

Description

가상 시스템을 이용한 학습 교육 소프트웨어 시스템{Learning Education Software System Using Virtual System}

본 발명은 교육용 소프트웨어 시스템에 가상 생명체를 이용하는 것과 관련된 것이다. 이를 위해서 먼저 새로운 가상생명체 구조를 만들었고 사용자의 다양한 명령에 대해서 학습을 할 수 있는 가상 생명체의 학습 구조를 제안한다. 그리고 학습자가 제안된 가상 생명체와 가상 생명체의 학습 구조를 이용하여 학습을 받을 수 있는 교육용 소프트웨어 시스템을 구성하였다. 교육용 소프트웨어 시스템은 가상 생명체를 육성하며 생물, 무생물의 특성을 배우는 시스템, 학습량에 따라 가상 생명체를 육성할 수 있는 시스템, 다른 성격의 가상 생명체 교사에게 학습을 받는 시스템으로 이루어져 있다.

일반적인 가상 생명체의 구성 개념도는 도 1과 같이, 외부 환경(10)을 인식하는 인식부(11), 가상 생명체의 감정, 동기와 같은 것을 나타내는 내부 상태부 (12), 외부 정보와 내부 상태를 이용하여 가상 생명체의 행동을 결정하는 행동 결정부(13), 외부 상태에 따라 가상 생명체를 적응시키는 학습부(14), 그리고 실제로 가상 생명체가 행동을 구현하는 행동 구현부(15)로 이루어져 있다.

가상 생명체나 엔터테인먼트 로봇의 경우 사용자와의 상호작용에 의해서 가상 생명체가 진짜 생명체라는 느낌을 주는 것이 중요하다. 이러한 것을 위해서는 가상 생명체는 상황에 적절한 행동을 스스로 선택할 수 있어야 하고 또한 사용자의 어떠한 명령에 대해서도 반복 훈련을 통해 알맞은 행동을 할 수 있도록 학습 될 수 있어야 할 것이다.

하지만 종래 가상 생명체의 대부분의 음성 명령 학습은 단순히 정해진 명령 - 행동 쌍에 사용자의 음성을 인식시켜 가상 생명체가 반응하는 구조를 가지고 있다. 도 2는 이러한 일반적인 음성 인식에 의존하는 구조를 나타낸 것이다.

이 경우 미리 정해진 명령(22) - 행동(21) 규칙에 있는 것만 학습을 하며, 여기서 학습이란 단순히 음성인식(23) 과정을 말하는 것이다. 이러한 정해진 규칙 안에서의 학습은 가상 생명체나 엔터테인먼트용 로봇의 다양한 행동 구현을 가로막고 있으며 단순한 음성 인식에 그치고 있을 뿐 진정한 로봇의 학습을 통한 성장이라고 보기 어려운 단점이 있다. 또한 주어진 명령에 행동을 연결시키는 학습을 구현하는 방법에서 보통 수십 가지에 이르는 행동을 하나 하나씩 검색해가며 학습을 시킨다는 것은 시간상의 문제 뿐 아니라 학습이 될 확률도 너무 낮은 문제가 있었다.

또한 이들을 교육용 목적에서 사용하는 교육용 소프트웨어의 경우에도 여러 가지 문제가 있었다. 보통 교육용 소프트웨어의 경우는 단순하게 학생들에게 문제를 제출하고 풀게 하는 고전적인 방법을 사용하여 왔다. 최근에는 교육 도우미로써 아바타 또는 단순한 그래픽 캐릭터를 이용하여 교육을 돕는 방식을 많이 사용하고 있는 추세이지만, 아바타 또는 그래픽 캐릭터가 미리 프로그램된 대로 단순히 보여지기만 하는 것들이기 때문에 이런 방법들은 다양한 교육 장면을 연출하기 힘들고 모든 학생들에게 똑같은 것을 보여주고 교육해 줄 수밖에 없었다. 결과적으로 다양하고 좀 더 인터렉티브한 교육에 한계가 있었다.

따라서 본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명은 새로운 가상 생명체 구조를 제안하고 사용자의 명령을 학습할 수 있는 효율적인 구조를 제시함과 더불어 교육용 소프트웨어에 인공 감정과 가상 성격을 갖는 본 발명의 가상 생명체를 이용하는 것을 그 목적으로 한다.

상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로써 본 발명에 의하면, 1) 가상 생명체는 일반적인 아바타나 단순한 그래픽 캐릭터와 달리 스스로의 감정, 동기, 항상성에 따라서 다양한 행동을 할 수 있으며, 각각의 감정, 동기, 항상성의 특성을 조절해 줌으로써 그 가상 생명체만의 고유한 가상 성격을 만들어 줄 수도 있다. 또한 스스로 내부 상태와 외부환경에 의해서 행동을 확률적으로 선택하는 방식과 동물의 본능을 모사하여 행동을 확정적으로 선택하는 방식이 이를 보완하여 다양한 행동을 구현할 수 있다. 게다가 학습 대상이 되는 행동을 유사 행동끼리 집합으로 구성하고 행동의 결과를 강화 학습하여 사용자의 임의의 명령에 대해서도 수십 여 가지의 행동 중에서 원하는 행동을 효율적으로 학습시킬 수 있다.

2) 또한, 제시된 가상 생명체를 이용한 교육용 소프트웨어 시스템은 다음과 같은 것들로 이루어져 있다. 학습자가 각각의 생물, 무생물의 가상 성격을 갖는 가상 생명체를 육성하며 직접 그 대상을 접하지 않더라도, 그 가상 생명체를 육성함으로써 평소에 접하기 힘든 생물, 무생물의 특성을 배울 수 있다.

3) 또한, 학습자의 교육 과정과 병행해 정해진 학습량을 만족했을 때만 가상 생명체를 육성할 수 있어서 학습자의 학습 의욕을 높일 수 있다. 그리고, 천편일률적인 교육용 도우미, 캐릭터와 달리 각각의 고유한 가상 성격을 갖는 가상 생명체 를 통하여 다양한 성격, 개성의 교육용 가상 교사에게 교육을 받을 수 있다.

이상에서와 같이 본 발명에 의하면, 동기, 항상성, 감정을 갖는 내부 상태를 모델링하고 이것을 모두 이용하여 행동을 선택함으로써 좀 더 사실적인 가상 생명체의 구현이 가능할 것이다. 또한 행동 선택 방식에서도 새로운 확률적인 행동 선택방식과 확정적인 행동 선택 방식을 이용하여 다양한 행동을 만들어 낼 수 있다.

게다가, 사용자의 임의의 명령에 대해서도 가상 생명체의 수십 여 가지의 행동들 중 원하는 행동을 효율적으로 학습시킬 수 있을 것이다. 좀 더 효과적인 학습 방법으로 인하여 사용자들 각자가 자신만의 고유한 명령을 인식할 수 있는 가상 생명체를 가질 수 있게되고 또한 이 방식을 교육용 프로그램과 같은 곳에 응용할 수 있으리라 기대된다.

발명된 가상 생명체 시스템 구조와 가상 생명체의 학습 방법을 응용하여 교육용 소프트웨어 시스템에 적용할 경우 다음과 같은 발명 효과를 기대할 수 있다.

먼저, 학습자가 생물, 무생물의 성질을 모사한 가상 성격을 갖는 가상 생명체를 육성함으로써, 대상 생물, 무생물과의 직접적인 경험이 없이도, 인터렉티브한 간접 경험을 통하여 학습자에게 이와 유사한 교육 효과를 기대할 수 있다.

또한, 학습자가 교육 프로그램 과정을 통해 정해진 학습량을 완수했을 때만 가상 생명체를 육성할 수 있어서 학습 의욕을 높일 수 있다.

또한, 학습자는 고유한 가상 성격을 갖는 가상 생명체 교사를 이용하여 학습자가 원하는 학습 분위기에서 학습을 할 수 있고, 혹은 학습자의 학습 태도에 따라서 가상 생명체 교사의 가상 성격이 변하게 되어 학습자에게 적합한 학습 분위기로 변할 수 있다. 따라서 학습자는 다양한 학습 분위기에서 학습할 수 있다.

도 1은 일반적인 가상 생명체의 구성 개념도이다.
도 2는 가상 생명체 또는 엔터테인먼트 로봇의 기존 음성학습부분을 나타낸 도면이다.
도 3은 본 발명에 따른 가상 생명체의 시스템 구성도이다.
도 4는 도 3의 인식 시스템에서 순응 개념의 설명을 나타낸 도면이다.
도 5는 state로 구성했을 때의 기존 감정의 문제점을 나타낸 도면이다.
도 6은 도 5에 도시된 기존 감정의 문제점을 해결하기 위한 알고리즘이다.
도 7은 기존 감정 모델과 본 발명의 감정 모델을 사용했을 때의 감정 변화 모식도이다.
도 8은 본 발명에 의한 행동 선택기의 행동 선택 알고리즘이다.
도 9는 본 발명에 의한 유사 행동 집합의 구성도이다.
도 10은 본 발명에 의한 명령 집합과 유사 행동 집합과의 관계도이다.
도 11은 본 발명에 의한 음성 학습기의 구성도이다.
도 12는 본 발명에 의한 가상 생명체와 상호 작용을 통한 교육용 소프트웨어 시스템 구성도이다.
도 13은 본 발명에 의한 다양한 가상 성격을 갖는 가상 생명체 육성을 통한 교육용 소프트웨어 시스템의 모식도이다.
도 14는 본 발명에 의한 학습량에 따라 가상 생명체를 육성할 수 있는 교육용 소프트웨어 시스템의 알고리즘이다.
도 15는 본 발명에 의한 다양한 가상 성격을 갖는 가상 생명체 교사를 통한 교육용 소프트웨어 시스템의 모식도이다.

이하, 본 발명의 실시예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.

본 발명에서 제안된 가상 생명체의 구조는 도 3과 같이 이루어져 있다. 가상 생명체 구조는 크게 인식 시스템(Perception System)(32a, 32b, 32c), 내부 상태 시스템(Internal Status System)(33), 행동 시스템(Behavior System)(34a, 34b, 34c), 학습 시스템(Learning System)(35a, 35b), 그리고 운동 시스템(Motor System)(36)으로 이루어져 있다.

각 부분의 기능은 다음과 같다.

1) 인식 시스템

인식 시스템은 가상 생명체의 내부 상태 변화와 행동 선택, 학습에 사용되는 센서 정보(32a)를 입력받고, 전처리하는 부분(32b)이다. 또한 센서 우선도에 따라 현재 입력되는 많은 정보들 중에서 관심을 기울이는 대상을 선택하여(32c) 행동 선택을 할 때 이용한다. 이중 전처리하는 부분을 부호화 시스템(Symbolization system)이라 한다(32b) 이것은 가상 생명체의 외부와 내부로부터 입력되는 센서 정보를 의미 있는 정보로 변화시켜, 내부 상태와 행동을 변화시킬 때 사용한다. 입력된 정보는 수학식 1과 같이 boolean 형태의 벡터로 표현되는 정보로 변화되어 사용된다.

수학식 1

여기에 추가하여 좀 더 생명체다운 부호화 시스템을 모사하기 위하여 '순응'이라는 개념을 도입하였다. 순응이란 강한 자극이 지속될 때는 감수성이 둔해지는 현상을 말한다. 그 좋은 예는 시각에서 볼 수 있다. 밝은 곳에 장시간 있으면 시력이 저하되어 약간 어두운 곳으로 가면 잘 보이지 않으나, 장시간 있으면 망막의 감수성이 상승되어 점차 물체가 잘 보이게 된다. 이러한 순응은 동일한 자극이 연속해서 들어올 경우 민감도를 변화시키는 방법으로 구현되었다.

도 4와 같이 자극(41)이 연속해서 들어올 경우 그 센서 자극의 민감도(42)가 점점 줄어들어 크기가 최고 값인 1에서 0까지 변화한다. 자극이 일정 기간 들어오지 않으면 점차 원래의 민감도로 회복된다. 민감도는 각각의 자극마다 따로 설정이 되어 있으며 변화하는 값들도 자극마다 다르게 설정할 수 있다. 도 4의 순응을 도입한 가상 생명체의 알고리즘에서 보듯이, 자극이 연속해서 들어올 경우 샘플링 시간마다 감소정도 DT_DECAY(42a) 만큼씩 줄어들며 순응하는데 필요한 시간 T_IGNORE(43a) 시간 동안은 자극이 멈춘 후에도 민감도는 복구되지 않는다. T_IGNORE 시간 이상 자극이 없을 경우 복구정도 DT_RECOVER(42b) 만큼씩 점차 복구된다. 각 자극의 민감도는 수학식 2와 같은 민감도 벡터로 나타낼 수 있다. 각 원소들은 0에서 1사이의 값을 가진다.

수학식 2

자극 벡터 식 X와 민감도 벡터 식 P를 이용하여 수학식 3의 부호화 벡터 S를 만들 수 있다. 이 벡터가 부호화 시스템의 최종 출력값으로 내부 상태 시스템의 입력으로 이용된다.

수학식 3

관심선택기(32c)는 인공 생명체에게 들어오고 있는 정보들 중에서 현재 관심을 기울이고 있는 대상을 정하고, 정해진 대상에 적합하지 않는 행동을 제외시키는 신호를 만들어 주는 부분이다. 관심 대상은 부호화 시스템에서 사용되는 부호화 벡터의 모든 값이 될 수 있다. 부호화 벡터 S에 우선도를 정해주어서, 관심 대상을 정하고 중요하지 않은 입력이 들어오더라도 쉽게 관심 대상이 바뀌지 않도록 하였다. 부호화 벡터 S의 값들 s i 의 우선도를 pri( s i )라 하면 선택된 관심 대상 s i 는 수학식 4와 같이 구해지며, 입력들 중에서 가장 큰 우선도를 갖는 관심대상이 선택된다.

수학식 4

2) 내부 상태 시스템

내부 상태 시스템(33)은 '동기'(33a), '항상성'(33b), '감정'(33c), 이 세 개의 하부 시스템으로 구성되었다.

동기(Motivation system)는 인공 생명체의 주 행동을 결정하게 되는 원동력으로 호기심, 친근감, 지루함, 회피욕, 지배욕, 소유욕 등이 그 예가 될 수 있다. i를 동기 상태의 개수, m i (t)는 시간 t에서의 동기 값, 는 동기 변화 gain, S를 부호화 벡터, 는 S와 i번 째 동기 m i (t)와의 연결 강도라 하면, 동기 상태의 갱신식은 수학식 5와 같다.

수학식 5

여기서

는 동기의 평균값으로 정의하였다. 동기의 평균값이란 입력이 없을 경우 해당 동기 상태 값이 수렴하는 값을 나타내며, 평균값이 클수록 평소에 해 당 동기를 해결하기 위한 욕구가 큰 것을 의미한다.

는 외부 자극에 대해서 이 욕구가 얼마나 오래 유지되는지를 나타낸다. 이 두 값은 해당하는 동기에 대한 인공 생명체의 특성을 나타내고 있고, 인공 생명체의 성격의 일부를 구성한다. 부호화 벡터 S와의 연결 강도

은 센서 입력 값이 인공 생명체의 내부 상태에 어떤 영향을 미치는지를 나타낸다. 즉 가중치 값들에 의해 입력이 동기를 충족시키는지 증폭시키는지 혹은 입력과 무관한 것인지를 알 수 있다. 이 때 후술하는 4)에서 설명될 선호도 학습 부분을 이용하여

의 값을 변화시킴으로써 인공 생명체의 기호를 변화시키고 학습시킬 수 있다. 동기 시스템을 이루는 각각의 동기 상태 값들은 수학식 6과 같이 벡터로 정리된다.

수학식 6

항상성(Homeostasis system)은 인공 생명체의 생존을 유지시키는 욕구로 예를 들면, 피곤함이나 졸림 등이 있을 수있다. 여기서 j를 항상성 상태의 개수,

를 시간 t에서의 항상성 값,

는 항상성 변화 gain,

를 부호화 벡터 S와 j번째 항상성

와의 연결 강도라 하면, 항상성 상태의 갱신 식은 다음과 같다.

수학식 7

부호화 벡터 S와 연결 강도

은 센서 입력 값이 인공 생명체의 내부 상태에 어떤 영향을 미치는지를 나타낸다. 즉 가중치 값들에 의해 입력이 항상성을 증폭시키는지 감소시키는지 혹은 입력과 무관한 것인지를 알 수 있다. 이 항상성 상태 시스템은 다른 두 내부 상태와는 달리 학습이 되지 않는다. 또한, 항상성 시스템의 출력 값들은 다음과 같이 벡터로 정리되어 사용된다.

수학식 8

마지막으로, 감정(Emotion system)은 가상 생명체의 감정 상태를 표현하는 것으로, 기쁨, 슬픔, 화남, 무서움 등이 있을 수 있다. 감정 상태는 가상 생명체의 행동을 선택하는데 있어서 간접적으로 영향을 주며, 얼굴 표정을 나타내는데 직접적으로 사용된다. 3)에서 설명할 행동 선택기에서 행동을 선택할 때, 동기와 항상성에 의해서 일차적으로 행동을 선택한 후에, 감정을 고려하여 최종적으로 행동을 선택하게 된다. 또한 감정은 인공 생명체의 얼굴 표정을 나타내는데 사용된다. 감정 모델의 갱신식도 다른 두 내부 상태와 같이 정의된다. k를 감정 상태의 개수,

를 시간 t에서의 감정 값,

를 감정 변화 gain, S는 부호화 벡터,

는 부호화 벡터 S와 k번째 감정

와의 연결 강도라 하면 다음과 같이 정리할 수 있다.

수학식 9

여기서

는 감정의 평균값으로 정의하였다. 감정의 평균값이란 입력이 없을 경우 해당 감정 상태 값이 수렴하는 값을 나타내며,

외부 자극에 대해서 이 감정이 얼마나 오래 유지되는지를 나타낸다. 이 두 값은 해당하는 감정에 대한 인공 생명체의 특성을 나타내고 있고, 성격의 일부를 구성한다. S와의 연결 강도

은 센서 입력 값이 인공 생명체의 내부 상태에 어떤 영향을 미치는지를 나타낸다. 즉 가중치 값들에 의해 입력이 해당 감정을 증가시키는지 감소시키는지 결정된다. 이 때 뒤에서 설명될 선호도 학습을 이용하여

의 값을 변화시킴으로써 인공 생명체의 기호를 변화시키고 감정이 변하는 영향을 조절할 수 있다. 변화하는 감정 상태 시스템의 각 감정들은 수학식 10과 같이 벡터로 정리된다.

수학식 10

그러나, 감정을 각각의 상태로 나누어 모델링 하였을 때 감정이 갑자기 변하는 문제가 발생할 수 있다. 도 5에서와 같이, 두 감정값 사이의 차이가 작고 감정값의 변화가 클 때, 점유 감정이 해당하는 두 감정 사이에서 진동하는 경우가 발생 할 수 있다. 도 5의 왼쪽(51)에서는 m ₁ 의 값이 100이고 m ₃ 의 값이 95이므로 이 때 점유 감정은 m ₁ 이 된다. 하지만 오른쪽(52) 상황와 같이 m ₁ 이 짧은 시간 안에 90으로 바뀌게 되면 점유 감정이 m ₃ 로 바뀌게 되고, 이런 상황이 반복된다면 점유 감정은 두 감정 사이에서 진동하게 될 것이다.

또한 감정값들의 차이가 미묘할 때 조금이라도 높은 감정 상태를 점유 감정으로 보는 것도 문제가 있다. 예를 들어, '기쁨'의 값이 90이고 나머지 감정값들이 0일때 점유 감정은 '기쁨'이 된다. 하지만, '기쁨'의 값이 100이고 나머지 다른 감정의 값이 110이라면 90이었을 때 점유 감정이었던 '기쁨'이 더 높은 값을 가지고 있음에도 불구하고 점유 감정이 되지 못하는 문제가 발생하게 된다.

이런 문제를 해결하기 위해, 감정값들의 차이가 정의된 '점유 감정 결정 한계값'

보다 작으면 점유 감정을 E내에서 찾지 않고

으로 표시되는 '평상심' 상태라고 가정한다. 도 6은 이러한 알고리즘을 설명하고 있다. 감정 상태

를 이런 구조로 확장함으로써 도 7에서 보는 것과 같이 e ₁ 에서 e ₂ 로 갑자기 감정이 변하는 상황(71)을

로 변하게 할 수 있다. 즉 '기쁨' → '분노'로 갑자기 변하지 않고, '기쁨' →'평상심' →'분노'로 변하게 되어 좀 더 자연스럽게 감정을 변화시킬 수 있다. 감정 구조가 수정됨으로써 수학식 10의 감정 벡터는

이 추가되어 수학식 11과 같이 확장된다.

수학식 11

3) 행동 시스템(Behavior System)

행동 시스템이 행동을 만들어 내는 방식에는 두 가지 방법이 있다. 인식 시스템과 내부 상태 시스템으로부터 입력을 받아 들여 이를 바탕으로 확률적으로 행동을 선택을 선택하는 방법이 있으며, 경우에 따라 원하는 조건이 만족되면 적당한 행동하는 확정적인 행동 선택 방법이 있다. 이런 확률적인 방법과 확정적인 방법이 서로 보완적인 관계에서 행동 선택을 해준다. 행동 시스템은 행동 선택기 (Behavior Selector)(34a)와 본능 행동 논리(Inherent Behavior Logic)(34c)의 하부 시스템으로 구성되어 있다.

행동 선택기는 내부 상태 시스템에서 구해진 동기 M, 항상성 H의 값을 이용하여 behavior를 확률적으로 선택한다.

선택은 확률적으로 이루어지며 도 8과 같은 알고리즘으로 구성되어 있다. 먼저 각 behavior에 대한 임시 투표값(81)은 수학식 12과 같이 구한다.

수학식 12

상기의 수학식 12와 같이, 동기 M, 항상성 H의 값과 동기, 항상성이 행동에 영향을 주는 가중치값

의 값을 이용하여 행동이 선택될 투표값

를 1차적으로 계산한다. 내부 상태 시스템의 각각의 상태값만을 가지고 확률적으로 구한 행동을 수행하면, 가상 생명체는 주변 상황과는 관계없이 자신의 상태만을 반영하여 행동하게 되므로 무의미한 행동을 하게 된다. 내부 행동과 외부 입력을 합께 고려하여 행동을 선택하기 위하여 다양한 차단 방법(masking)(34b)을 이용한다. 차단에는 네 가지가 있으며 각각 '관심 대상에 의한 차단(82)', '음성 명령에 의한 차단(83)', '감정에 의한 차단(84)' 그리고, '본능 행동에 따른 차단(85)'이 구현되어 있다.

예를 들면, 현재 가상 생명체가 공을 인식하고 있지 않다면 공과 관련된 행동은 '관심 대상에 의한 차단 방법'에 의해서, 차단되어서 발현이 되지 않게 해야 하며, 음성 명령을 인식하면, '음성 명령에 의한 차단 방법'을 사용하여 음성 명령 이외의 행동들을 차단한다. 또한, 현재 감정 상태가 슬픔이라면, 기쁠 때 하는 행 동들을 '감정 상태에 따른 차단 방법'을 사용하여 차단하여 인공 생명체가 감정 상태에 어울리지 않는 행동을 하는 것을 막아 준다.

관심도 차단 행렬

는 관심 선택기에서 구한 관심 대상

에 의해서 결정된다. 각각의 관심 대상 f은 행동들에 대한 차단값을 가지고 있으며, 관심도 차단 행렬은 수학식 13과 같이 표현된다.

수학식 13

음성 명령 차단 행렬

는 음성 학습에서 음성 명령으로 정의된

에 의해서 결정된다. 각각의 x개의 음성 명령

는 행동들의 투표값에 영향을 주는 차단값을 가지고 있어서 음성 명령 결과로 행동을 선택할 수 있도록 해준다.

수학식 14

감정 상태에 따른 차단 행렬

는 현재 점유 감정에 따라 수행될 수 없 는 행동을 차단시켜 준다. 현재의 점유 감정

는 행동들의 투표값에 영향을 주는 차단값을 가지고 있어서 현재 감정 상태에 어울리지 않거나, 수행하면 안되는 행동의 투표값을 감소시켜 준다.

수학식 15

본능 행동에 따른 차단 행렬 는 현재 본능 행동에 따라 수행될 수 없는 행동을 차단시켜 준다. 현재의 본능 행동은 행동들의 투표값에 영향을 주는 차단값을 가지고 있어서 본능 행동이 발현되어 현재 행동 수행에 영향을 주어야 할 때, 투표값을 조절해 주게 된다.

수학식 16

수학식 13,14,15,16 네가지 차단 행렬을 고려하여 마지막으로 투표값 V를 계산한다.

수학식 17

각 행동들에 대한 투표값 벡터 V가 계산되고 나면 마지막으로 이것을 이용하여 행동이 수행될 확률을 구하게 된다.

수학식 18

마지막으로 행동

는 수학식 16에서 구해지는 행동 선택 활률

에 따라서 행동이 선택되게 된다. 행동 선택 확률과 행동의 조건은 다음과 같다.

수학식 19

행동의 전환은 '행동 수행 종료 신호(end-signal)', '비상 호출(urgent flag)', '더 높은 우선도의 관심 대상 발견', 그리고 '확률적인 전환'이라는 네 가지 원인에 의해 이루어진다.

첫 번째로 모터 시스템에서 수행 종료 신호가 들어올 때, 즉 해당 행동이 종료되었을 때 다른 행동을 선택하여 수행하게 된다. 두 번째는 본능 행동 선택기에 서 비상 호출이 들어올 때이다. 현재 행동을 수행하고 있는 도중이라도 벽을 발견하거나, 장애물같은 것을 발견하게 되면 센서에서 비상 호출을 하여 행동을 바꾸어 로봇이 급한 환경 변화에 적절하게 대응한다. 세 번째로 더 높은 우선도의 관심 대상이 발견되었을 경우 인식된 관심 대상에 따라 적절한 행동으로 전환한다. 마지막으로 확률적인 전환이 있다. '쉬기' 행동 등의 종료 시간이 정해져 있지 않은 행동이 수행되고 있을 경우 확률에 따라 다른 행동으로 전환해 주어야지 그렇지 않다면 다른 외부의 자극이 없을 경우 계속 같은 행동을 보여주게 되어 재미있고, 다양한 행동을 보여줄 수가 없게 된다.

외부 입력과 내부 상태를 함께 고려하여 행동을 선택하는 행동 선택기로 구현되는 행동에는 한계가 존재한다. 따라서 내부 상태와는 무관하게 외부의 입력에 의해서만 확정적으로 행동을 선택하는 본능 행동 논리(34c)가 행동 선택기를 보완해준다. 본능 행동 선택 논리는 동물의 본능을 모델링한 것으로 벽이나 절벽같은 장애물을 발견했을 때 즉각적으로 피하는 행동을 발현하는 역할을 해준다.

본능 행동 논리는 가상 생명체가 센서 정보와 내부 상태의 조건에 따라 적절히 취해야 할 행동을 발현해 준다. 이 기능은 인공 생명체의 반사행동 등에 이용 될 수 있다. 예를 들어 거리 센서가 갑자기 변하는 경우 놀라는 행동을 하거나, 갑자기 어두워지면 두리번거리는 것이 있을 수 있다. 낭떠러지 같은 위험한 상황이 발생하면 행동 선택기를 긴급 호출하여 현재 행동을 중지시키고 적당한 대응 행동을 취하게 해준다.

4) 학습 시스템(Learning System)

칭찬이나 꾸중을 받을 경우 저장된 관심 대상을 파악하여, 관심대상에 따라 회피할 것인지 접근할 것인지 등의 경향을 변화시키는 선호도 학습기(35a)와 임의의 음성 명령에 대해 가상 생명체가 사용자가 원하는 행동을 할 수 있는 음성 학습기(35b)로 이루어져 있다.

선호도 학습기란 어떤 대상에 대한 인공 생명체의 좋아하고 싫어하는 기호를 학습 시켜주는 부분이다. 예를 들어 인공 생명체에게 칭찬을 해주면, 최근에 봤던 얼굴, 공등의 대상들이 인공 생명체의 기쁨 감정 상태를 높여주며, 회피 동기 상태를 낮추어 주도록, 부호화 벡터와 해당 내부 상태의 연결 강도를 조절해 주는 것이다. 선호도 학습은 동기와 감정 상태의 연결 강도

의 값을 조절하여, 해당하는 대상이 내부 상태에 미치는 효과를 조절하게 되어 있다. 시간 t에서

와

의 식은 다음과 같다.

수학식 20

음성 학습기는 학습 대상이 되는 행동을 비슷한 행동끼리 유사 행동 집합으 로 구성하여 학습 목표가 되는 행동을 줄이고 행동의 결과를 각각의 유사 행동 집합 별로 강화 학습하여 모든 행동 중에서도 임의의 명령에 알맞은 행동을 학습시킬 수 있도록 구성하였다. 음성 학습기의 내용은 도 11에 있다.

먼저 도 9에서와 같이 전체 행동 집합 B(91)의 부분 집합으로 유사 행동 집합(Analogous Behavior Set)

(92)을 구성한다. 여기서 a는 유사 행동의 개수이다. 전체 행동 집합의 원소로써 n개의 행동

은 하나 이상의 유사 행동원소일 수 있고, 어떤 유사 행동 집합의 원소도 아닐 수 있다. 예를 들어 행등들을 행동 집합으로 재구성한다면 다음과 같이 할 수 있을 것이다. 도 10에서 C(101)는 명령들의 집합이고, B는 행동 집합들의 집합이 된다. 예들들어, 명령 집합 B의 원소들은 차례대로, '일어서', '앉아', '이리와', '멈춰', '앞으로 와', '뒤로 가', '왼쪽으로 가', '오른쪽으로 가', 그리고, '춤춰'를 나타내며, 행동 집합 B의 원소들도 이것과 같고

는 이것들을 제외한 나머지 행동들을 모은 집합이라고 하면 수학식 21과 같이 명령 집합과 유사 행동 집합을 만들 수 있다.

수학식 21

여기서 '앉아'와 '이리와' 행동 집합내의 행동들은 예를 들어 다음과 같이 정리될 수 있을 것이다. '앉아' 유사 행동 집합은 '앉기', '웅크리기', '눕기'로 이루어져 있으며, '이리와' 유사 행동 집힙은 '쫓아가기', '접근하기', '차기', '만지기'로

이루어져 있다.

수학식 22

이 때, 명령을 해서 원하는 행동이 나오면 해당하는 유사 행동 집합에 동시에 포상을 해주고, 잘못된 행동이 나올 경우에는 해당하는 유사 행동 집합에 벌칙을 준다(115) 이런 방식으로 명령 행동의 쌍의 강도(103)르 강화 학습(114)시키고 그 강도에 따라서 행동이 발형되도록 구성한다.

는 i번째 입력 명령,

를 j번째의 유사 행동 집합이라하고,

를 시간 t에서 0에서 1사이의 값을 갖는 둘 사이의 연결 강도를 나타낸다고 하자. 명령

에 대해서 원하는 행동이 나오면 그 행동이 속한 유사 행동 집합

와 연결된

가 수학식 23과 같이 계산되어 갱신된다.

수학식 23

수학식 24

수학식 23에서 인공 생명체가

만큼 상 또는

만큼 벌을 받으면 이 값은 감정 파라메터라 불리는

(113)가 곱해져서

가 변하게 된다. 이 감정 파라메터는 학습 능률에 영향을 주는 감정 상태의 값이다. 이것은 우리가 기쁠 때 학습능률이 좋고, 기분이 나쁘면 학습효율이 떨어지는 것을 고려한 인자이다. 따라서 감정 상태에 따라서 학습률, 즉 학습이 되는 속도가 조절되게 된다.

i번째 명령과 수행된 행동 b가 속한 j번째 유사 행동 집합

의 연결 강도

를 갱신하여 명령-행동 쌍의 강도를 조절한 후에는 명령이 들어온 후에 행동이 실행될 수 있도록, 수학식 14의 음성 명령 차단 행렬을 갱신시킨다. 다음의 수학식 25는 이것을 설명하고 있다.

수학식 25

음성 명령 차단 행렬은

에 비례하지만, 방금 수행했던 행동과 나머지 행동들과 차이를 주어 투표값에 영향을 준다. 방금 수행했던 행동은 상을 받은 것에 직접적으로 영향이 있는 행동이므로 가중치를 더욱 주고 나머지 비슷한 행동에도 그것보다는 작은 양의 가중치를 주어 비슷한 행동을 한꺼번에 학습시키는 것이다. 즉 수학식 25의 α(112)와 β(111)는 α>β>0인 관계에 있다.

이러한 강화 학습 후에 각 행동의 투표값이 각각

만큼씩 증가하므로, 학습 후 행동 선택기에서 행동을 선택할 때 유사 행동 집합 내의 행동은 선택될 확률이 증가하고, 특히 학습에 직접적으로 관여되었던 행동은 더욱 높은 확률로 높아지게 된다.

5) 교육용 소프트웨어 시스템으로의 응용

이상의 발명된 가상 생명체와 새로운 학습 구조를 이용하여 교육용 소프트웨어 시스템으로는 다음과 같은 3가지로 이루어져 있다.

먼저, 학습자가 각각의 생물, 무생물의 고유한 가상 성격을 갖는 가상 생명체를 육성하며 직접 그것들을 접하지 않더라도, 그 가상 생명체를 육성함으로써 평 소에 접하기 힘든 생물, 무생물의 특성을 간접적으로 배울 수 있는 교육용 소프트웨어는 일반적으로 도 12와 같이 구성되어 있다. 키보드와 마우스 그리고 스피커와 같은 장치로 이루어진 입력장치를 이용하여 가상 생명체에게 자극을 주고 모니터와 스피커와 같은 출력장치를 통하여 가상 생명체의 응답을 받는다. 이 때 교육 콘텐츠 제공자가 도 13과 같이 여러 가지 생물, 무생물의 성질을 가상 생명체의 가상 성격을 제공하고 교육자는 도 12와 같은 교육 시스템을 통하여 그 가상 생명체와 상호 작용을 함으로써 학습자는 직접적으로 가상 생명체와 접촉하지 않더라고 제공되는 가상 생명체를 통하여 여러 가지 생물, 무생물에 대하여 간접적으로 학습을 할 수 있다.

또한, 학습자가 교육 과정과 병행해 정해진 학습량을 만족했을 때만 가상 생명체를 육성할 수 있어서 학습 의욕을 높일 수 있는 교육용 소프트웨어를 위한 설명은 도 14와 같다. 학습자는 교육용 소프트웨어를 통해 교육자가 제공하는 교육 프로그램을 수행하고(142), 정해진 학습량 또는 목표를 달성했는지를 평가받는다 (143) 이 때 학습량 또는 목표를 달성했을 시에는 가상 생명체를 육성할 수 있는 권한이 상으로 주어지고 목표를 달성하지 못했을 때는 가상 생명체에게 점점 안 좋은 영향이 벌로 주어지게 된다(144) 교육자는 이와 같은 과정을 통해 학습자에게 학습 의욕을 높여 줄 수 있다.

또한, 천편일률적인 교육용 도우미, 캐릭터와 달리 각각의 고유한 가상 성격을 갖는 가상 생명체를 이용하여, 학습자가 다양한 성격, 개성의 교육용 가상 교사에게 교육을 받을 수 있는 교육용 소프트웨어는 도 15와 같이 구성되어있다.

가상 생명체로 구성된 가상 교사들은 각각의 고유한 가상 성격을 가지고 있다. 이것은 학습자에서 원하는 가상 교사의 성격을 선택해 원하는 학습 분위기에서 학습을 할 수 있거나 또는 학습자의 학습 태도에 따라서 가상 교사의 가상 성격의 변화를 초래해 학습자를 적절한 학습 분위기로 유도될 수 있는 기능을 제공한다.

10: 외부 환경
11: 외부 환경을 인식하는 인식부
12: 가상 생명체의 감정, 동기, 항상성을 나타내는 내부 상태부
13: 외부 정보와 내부 상태를 이용하여 행동을 결정하는 행동 결정부
14: 외부 상태에 따라 가상 생명체가 적응하는 학습부
15: 가상 생명체가 행동을 구현하는 행동 구현부
21: 기존 음성학습기에서 행동
22: 기존 음성학습기에서 음성 명령
23: 기존 음성학습기에서 음성인식부
31: 외부 환경
32a: 인식 시스템의 센서
32b: 인식 시스템의 부호화 시스템
32c: 인식 시스템의 관심 선택기
33: 내부 상태 시스템 33a: 동기
33b: 항상성 33c: 감정
34a: 행동 시스템의 행동 선택기
34b: 행동 시스템의 행동 선택기의 여러 가지 차폐
34c: 행동 시스템의 본능 행동 논리
35a: 학습 시스템의 선호도 학습기
35b: 학습 시스템의 음성 명령 학습기
36: 모터 시스템
41: 인식 시스템의 센서 자극
42: 인식 시스템의 민감도
42a: 민감도의 감소량
42b: 민감도의 복구량
43: 센서 자극이 들어오는 것을 측정하는 시간
43a: 센서 자극이 없던 시간
51: 예를 들기 위한 감정 상태 1
52: 예를 들기 위한 감정 상태 2
71: 상태로 표현된 기존 감정 모델에서의 감정 변화
72: 상태로 표현된 개선된 본 발명에 의한 감정 모델에서의 감정 변화
81: 임시 투표값 벡터 V의 계산
82: 관심 대상에 따른 mask
83: 음성 명령에 따른 mask
84: 감정 상태에 따른 mask
85: 본능 행동에 따른 mask
86: 임시 투표값 벡터 V를 이용하여 각각의 행동의 수행 확률 P(b)의 계산
87: 확률 P(b)에 따라 행동이 확률적으로 선택
91: 전체 행동 집합
92: 유사 행동 집합
101: 전체 명령 집합
102: 개개의 명령
103: 명령과 유사 행동 집합과의 연결 강도
111: 연결 강도가 유사 행동 집합에 주는 영향, β
112: 연결 강도가 유사 행동 집합에 주는 영향, α
113: 감정 파라메터 ρ
114: 강화 학습 알고리즘
115: 사용자가 명령에 대한 행동을 판한한 후에 가상 생명체에 주는 상/벌
141: 학습량에 따라 학습하는 학습 프로그램의 시작
142: 학습량에 따라 학습
143: 학습량에 따라 학습하는 학습 프로그램의 학습량 평가
144: 학습량에 따라 학습하는 학습 프로그램의 가상 생명체 육성
145: 학습량에 따라 학습하는 학습 프로그램의 종료

Claims (12)

1. 가상(인공) 생명체를 구현하기 위한 시스템에 있어서,
   부호화 시스템을 구비하여 가상 생명체의 내/외부로부터 입력되는 센서 정보를 인식하기 위한 인식수단과;
   가상 생명체의 주 행동을 결정하게 되는 '동기'와, 생존을 유지시키기 위한 '항상성' 및 행동 선택과 얼굴표정을 표현하는 '감정' 등의 하부 생명체 구조를 구비하는 내부 상태수단과;
   행동선택기와 본능 행동논리를 구비하여 상기 인식수단과 내부 상태수단으로부터 입력된 정보를 바탕으로 가상 생명체의 행동을 결정하기 위한 행동수단과;
   선호도 학습기와 음성 학습기를 구비하여 외부 상태에 따라 가상 생명체를 적응시키기 위한 학습수단; 및
   가상 생명체의 행동을 구동하기 위한 운동수단을 포함하는 것을 특징으로 하는 가상 생명체 시스템.
2. 청구항 1에 있어서, 상기 인식수단의 부호화 시스템에서 센서 정보를 가상 생명체 내부에 사용하기 위해 부호화 한 후, 순응 개념을 도입하여 동일한 센서 자극이 연속해서 들어오는 경우 민감도를 변화시키는 것을 특징으로 하는 가상 생명체 시스템.
3. 청구항 2에 있어서, 상기 민감도는 각각의 센서 자극마다 각기 설정되어 있으며, 변화하는 값들도 센서 자극마다 다르게 설정됨을 특징으로 하는 가상 생명체 시스템.
4. 청구항 1에 있어서, 상기 내부 상태수단의 state로 이루어진 '감정'에서 가장 큰 값을 갖는 state의 감정을 점유 감정이라 할 때, 두 감정 사이의 작은 변화에 의해 점유 감정이 변하거나 낮은 감정값을 가지고도 점유 감정이 되는 현상을 방지하기 위해 감정 상태에 중간 감정 상태인 '평상심'이 추가됨을 특징으로 하는 가상 생명체 시스템.
5. 청구항 4에 있어서, 상기 가장 높은 감정값의 크기를 검사한 후, 그 결과 값이 '최소 점유 감정 결정값' 보다 작으면 점유 감정을 중간 감정인 '평상심'으로 하고, 상기 결과 값이 '최소 점유 감정 결정값' 보다 클 경우 가장 큰 감정값과 두번째 감정값과의 차이를 비교함을 특징으로 하는 가상 생명체 시스템.
6. 청구항 5에 있어서, 상기 가장 큰 감정값과 두번째 감정값과의 차이를 비교한 후 '비교 점유 감정 결정값' 보다 클 경우 현재의 점유 감정을 가장 큰 값으로 하여 감정이 갑자기 변하거나 각각의 감정 상태값이 낮은 경우에도 감정이 정해지는 것을 방지함을 특징으로 하는 가상 생명체 시스템.
7. 청구항 1에 있어서, 상기 행동수단에는 상기 인식수단과 내부 상태수단으로부터 입력된 정보를 바탕으로 행동을 확률적으로 결정하는 확률적 행동 선택방식과, 센서 입력을 직접 받아 본능 행동에서 행동을 확정적으로 결정하는 확정적 행동 선택방식이 적용됨을 특징으로 하는 가상 생명체 시스템.
8. 청구항 1에 있어서, 상기 학습수단에서 사용자의 명령에 따라 가상 생명체의 행동을 결정하여 해당 명령에 대한 행동의 연결 쌍을 결정하는 학습 과정에서의 행동의 개수가 많을 경우 '전체 행동 집합'을 '유사 행동 집합'으로 묶은 후 사용자의 포상 또는 벌에 따라 그 집합에 포상 또는 벌을 주고 학습시키는 것을 특징으로 하는 가상 생명체 시스템.
9. 청구항 8에 있어서, 상기 학습 과정에서 가상 생명체의 내부 상태값을 '유사 행동 집합'에 포상 또는 벌을 주는 과정을 고려하여 내부 상태값에 따라 가상 생명체의 학습 속도를 조절함을 특징으로 하는 가상 생명체 시스템.
10. 가상(인공) 생명체를 이용한 교육 및 학습을 위한 교육용 소프트웨어 시스템에 있어서,
    각기 다른 고유 성격을 갖는 생물, 무생물의 가상 생명체와;
    학습자가 교육용 소프트웨어를 이용하여 상기 가상 생명체에 간접적으로 학습 자극을 주기 위한 입력수단; 및
    상기 입력수단의 학습 자극에 대한 가상 생명체의 반응을 출력하기 위한 출력수단을 포함하는 것을 특징으로 하는 교육용 소프트웨어 시스템.
11. 청구항 10에 있어서, 상기 학습자가 교육용 소프트웨어를 통해 교육자가 제공하는 교육 프로그램을 수행하고, 정해진 학습량 또는 목표를 달성했는지의 여부를 평가하여 그에 따른 상과 벌을 주는 것을 특징으로 하는 교육용 소프트웨어 시스템.
12. 청구항 10에 있어서, 상기 학습자가 가상 성격을 갖는 가상 교사의 역할을 하는 가상 생명체를 통하여 학습을 받을 수 있도록 하는 것을 특징으로 하는 교육용 소프트웨어 시스템.

Images