KR100680191B1 - 감정 있는 에이전트를 갖는 사전 행동적 사용자 인터페이스 시스템 - Google Patents

감정 있는 에이전트를 갖는 사전 행동적 사용자 인터페이스 시스템 Download PDF

Info

Publication number
KR100680191B1
KR100680191B1 KR1020040067663A KR20040067663A KR100680191B1 KR 100680191 B1 KR100680191 B1 KR 100680191B1 KR 1020040067663 A KR1020040067663 A KR 1020040067663A KR 20040067663 A KR20040067663 A KR 20040067663A KR 100680191 B1 KR100680191 B1 KR 100680191B1
Authority
KR
South Korea
Prior art keywords
user interface
agent
proactive
interface system
action
Prior art date
Application number
KR1020040067663A
Other languages
English (en)
Other versions
KR20050025288A (ko
Inventor
이종구
톨레대노에이얼
린다나탄
벤-야이르란
에이슨버그야리브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/743,476 external-priority patent/US20050054381A1/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US10/933,582 priority Critical patent/US7725419B2/en
Priority to CNB2004100771960A priority patent/CN100377044C/zh
Priority to PCT/KR2004/002256 priority patent/WO2005024649A1/en
Priority to CA2536233A priority patent/CA2536233C/en
Priority to JP2004259060A priority patent/JP2005085274A/ja
Priority to BRPI0413327A priority patent/BRPI0413327B1/pt
Priority to AU2004271482A priority patent/AU2004271482B2/en
Priority to EP04021147.6A priority patent/EP1522920B1/en
Priority to MXPA06002130A priority patent/MXPA06002130A/es
Publication of KR20050025288A publication Critical patent/KR20050025288A/ko
Priority to IL174116A priority patent/IL174116A/en
Publication of KR100680191B1 publication Critical patent/KR100680191B1/ko
Application granted granted Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4406—Loading of operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Abstract

어떠한 타입의 연산장치에도 임의로 설치될 수 있는(혹은 그 장치를 제어하거나 그 장치와 연관될 수 있는) 사전행동적 사용자 인터페이스 시스템에 관한 것이다. 이 사전행동적 사용자 인터페이스 시스템은 사용자의 행동에 따라, 연산장치가 선택할 수 있는 미리 프로그램된 여러 가지 패턴들 및/또는 특정한 사용자와의 이전 경험에 기초하여, 사용자에게 제안들을 능동적으로 행한다. 예를 들어 메뉴 또는 그 일부를 변경하고; 표시할 다른 메뉴를 제공하고; 및/또는 터치스크린 기능을 변경하는 등 표시부의 적어도 일부의 모습을 변경함으로써 그 제안들을 임의로 행할 수 있다. 이러한 제안들은 음성에 의해 임의로 행해질 수 있다.
프로엑티브, 인공지능, 가상세계, 인터페이스, 아바타, 휴대폰, 쌍방향

Description

감정 있는 에이전트를 갖는 사전 행동적 사용자 인터페이스 시스템{PROACTIVE USER INTERFACE SYSTEM WITH EMPATHIZED AGENT}
도 1은 본 발명에 따른 학습모듈의 예를 나타낸 개략 블록도,
도 2는 사전행동적 사용자 인터페이스를 이용하기 위한 본 발명에 따른 시스템의 예를 나타낸 개략 블록도,
도 3은 본 발명에 따른 사전행동적 사용자 인터페이스 시스템의 구현 예를 나타낸 도면,
도 4는 본 발명에 따른 적응형 시스템의 구현 예를 나타낸 개략 블록도,
도 5a 및 도 5b는 각각 본 발명에 따른 애플리케이션 관리 시스템의 예를 나타낸 개략 블록도 및 시퀀스 다이어그램,
도 6a 및 도 6b는 각각 이동 정보 장치의 운영체제를 통하여 하나 이상의 행위를 수행하기 위해 본 발명에 따른 적응형 시스템에게 필요한 기반구조(infrastructure)의 예를 나타낸 도면과, 이것에 대한 본 발명에 따른 시퀀스 다이어그램의 예를 나타낸 도면,
도 7a 내지 도 7c는 전형적인 이벤트들을 나타낸 것으로, 그 이벤트들이 (이동 정보 장치의 운영체제를 통해) 이동 정보 장치와 본 발명의 시스템 사이의 상호 작용들에 의해 어떻게 처리되는 지를 나타낸 도면,
도 8a는 지능형 에이전트의 구성 예를 나타낸 것이고, 도 8b는 그 지능형 에이전트의 동작에 대한 시퀀스 다이어그램의 예를 나타낸 도면,
도 9a 및 도 9b는 본 발명에 따른 행위를 선택하기 위한 예로서 2가지 방법을 나타낸 도면,
도 10은 본 발명에 따른 행위 수행(action execution)의 예를 나타낸 시퀀스 다이어그램,
도 11a 내지 도 11c는 본 발명에 따른 전형적인 감정형 시스템의 구현 예를 기술하기 위한 다이어그램을 특징으로 하는 도면,
도 12는 본 발명에 따른 텍스트 형식의 통신을 위한 전형적인 시퀀스 다이어그램,
도 12b는 이동 전화 장치에서 에이전트가 감정을 표현하는 비한정적 예를 나타낸 도면,
도 13은 본 발명의 실시예에 따른 생물 혹은 아바타(지능형 에이전트의 시각적 표현)인 "부유 에이전트"의 전형적인 화면출력 화상을 나타낸 도면,
도 14는 본 발명의 실시예에 따른 지능형 에이전트의 가상 세계를 위한 객체들을 선택하기 위한 메뉴의 전형적인 화면출력 화상을 나타낸 도면,
도 15는 본 발명의 실시예에 따른 에이전트 설정을 사용자가 구성 및 변경할 수 있도록 하는 시작 마법사 애플리케이션을 나타낸 도면이다.
본 발명은 사전행동적 사용자 인터페이스(proactive user interface)에 관한 것으로, 특히 이동 정보 장치와 함께 사용하기 위한 사용자 인터페이스 시스템에 관한 것이다.
최근 이동 및 휴대 무선 장치의 사용이 급격히 증가하고 있다. 변화하는 기능들, 내부 자원들 및 성능들을 가지고 있는 많은 장치들이 있으며, 이러한 장치에는 이동 전화, PDA(Personal Digital Assistants), 의료용 및 실험실용 기구, 스마트카드 및 셋탑박스 등이 포함되지만 그것들에 한정되는 것은 아니다. 그러한 장치는 모두 이동 정보 장치이다. 이들 장치는 이미 알려져 있는 범용 계산 기계보다는 특수 목적용의 기능 제한형 장치가 되는 경향이 있다. 이들 중 많은 장치는 인터넷에 연결되어 여러 가지 용도로 이용되고 있다.
그러한 이동 정보 장치로는 예를 들어 휴대폰(cellular phone)이 있다. 휴대폰은 급속도로 보편화되어, 휴대폰의 사용이 심지어는 기존의 PSTN(Public Switched Telephony Network) 전화기 혹은 "지상선로(land line)" 전화기의 사용을 능가하고 있다. 휴대폰은 그 자체로 더욱 정교해지고 있으며, 실제로는 사실상의 내장형 운영체제를 갖춘 연산 장치라고 할 수 있다.
휴대폰이 더욱 정교해짐에 따라 휴대폰에 의해 제공되는 기능의 범위도 잠재적으로 더욱 확대되고 있다. 그러나 현재 휴대폰의 기능들은 일반(지상선로) 전화 기에 이미 있는 기능들을 확장하는 것 및/또는 PDA의 특정 기능들을 휴대폰의 기능들과 통합하는 것과 관련되는 것이 일반적이다. 이와 유사하게, 휴대폰과 함께 제공되는 사용자 인터페이스도 정교하지 않은 것이며, 몇 가지 단순한 메뉴들을 스크롤하기 위한 키패드를 특징적 요소로서 갖추는 것이 일반적이다. 벨 소리 및 그 이외의 휴대폰 액세서리들을 위해 상당한 비용을 지출하고 있는 고객들 입장에서는 고객 맞춤화(customization)를 분명 원하고 있으나, 고객 맞춤화는 여전히 휴대폰의 극히 적은 개수의 기능들에 한정되고 있다. 또한 휴대폰은 현재 이동 정보 장치의 사용을 향상시키는 데 필요한 주문 제작형 기능(custom/tailored functionalities)과, 예를 들어 장치 사용자 인터페이스 등의 자동 개별 맞춤화(automatic personalization) 및/또는 사용자의 행동에 따라 반응하는 능력이 부족하다.
그러나 이와 같은 정교함의 부족은 개인용 (데스크탑 혹은 랩탑) 컴퓨터용 및 그 이외의 연산장치용 사용자 인터페이스들에서도 마찬가지이다. 대게 이들 연산장치는 아주 단순한 방법으로만 고객 맞춤화될 수 있다. 또한 그러한 고객 맞춤화는 사용자에 의해 수행되어야 하는데, 사용자들은 컴퓨터 기능들을 이해하지 못하거나 그러한 고객 맞춤화 작업의 수행을 불편하게 느낄 수 있다. 현재 연장 장치들은 사용자의 행동(동작) 패턴을 학습하여 그에 따라 그들 자신의 동작을, 사용자 인터페이스용 적응형 시스템(adaptive system)처럼, 조정하는 것이 불가능하다. 사용자가 컴퓨터를 수동으로 조정할 수 없다면, 컴퓨터가 사용자에 맞도록 그 동작을 조정하기보다는, 사용자가 자신의 동작을 컴퓨터에 맞도록 조정해야 한다.
전문화된 실험실용 기능들만을 위한 것이지만 학습할 수 있는 소프트웨어가 개발된 바 있다. 예를 들어, "인공지능(AI: Artificial Intelligence)"라는 소프트웨어가 개발되었다. 인공지능이란 용어에 대한 여러 가지 정의가 있는데, 그 중에 하나로서, "인공지능이란 인지, 추론 및 행동할 수 있도록 하는 연산들의 연구"라고 정의된다(Prentice Hall, Pearson Education Inc.의, 2003년, Stuart Russell, Peter Norvig의 "Artificial Intelligence: A Modern Approach (second edition)"에서 인용함). 인공지능 소프트웨어는 인지(perception) 등의 여러 가지 다른 개념들을 결합한 것으로, 이는 추론하고 행동하기 위해서 인공지능 소프트웨어를 필요로 하는 세계(world)에 인터페이스를 제공하게 된다. 그 예로는, 자연언어 처리(natural language processing)(자연언어의 문헌 내용 및 문맥을 전달(communication)하고 및 이해함)와; 컴퓨터 비전(화상원(imagery source)으로부터 객체(objects)를 인지함)과; 센서시스템(감각 데이터(sensory data)를 분석하여 인지된 객체들의 특징들(features) 및 객체들을 인지함) 등이 포함되나 그것들에 한정되는 것은 아니다.
또 다른 중요한 개념으로는 지식베이스(knowledge base)라는 것이 있다. 지식 표현(knowledge representation)은 지식의 추출 및 저장을 표현하는 역할을 한다. 이 개념은 지식, 특징 추출 및 열거(enumeration), 객체 상태의 구성 및 정의들을 일반화하는 기술을 제공하기도 한다. 그 자체를 구현하기 위해서는 일반적으로 그래프, 벡터 및 테이블 등의 공지된 데이터 구조를 이용할 수 있다.
또 다른 중요한 개념으로는 추론(reasoning)이 있다. 자동화된 추론은 지식 표현 및 인지를 이용하는 알고리즘을 결합하여 새로운 결론을 이끌어내고, 질문 및 답변을 추측해 내며, 에이전트 목표들(agent goals)을 달성하게 된다. 인공지능(AI) 추론의 예로는 다음과 같은 개념적 프레임워크들이 있다. 즉, 그 예로는 규칙 베이스(rule base)(추론을 위한 인지된 상태 및 지식베이스에 대해서 시스템 규칙들이 평가됨)와; 검색 시스템(이용가능한 지식 및 목표에 따라 지식 결론의 검색을 위해 주지의 데이터구조를 이용함(예를 들어 결정 트리, 상태 그래프, 미니맥스 결정(minimax decision) 등이 그것에 포함됨))과; 분류기(classifier)(분류기 추론 시스템의 목적은 분류 태그(classification tag)가 없는 실험으로서 표현되는 인지 상태(perceived state)를 분류하기 위한 것임) 등이 있다. 미리 분류된(pre-classified) 지식베이스에 따라 분류기는 새로운 실험의 분류를 추측해낼 것이다(여기에는 예를 들어 벡터거리 발견적 방법(heuristics), 서포트 벡터 머신(Support Vector Machine), 분류기 신경회로망 등이 포함됨).
또 다른 중요한 개념으로 학습(learning)이 있다. 학습의 목표는 경험을 통한 일반화에 의해 인공지능 추론 시스템의 잠재적 성능을 향상시키는 것에 있다. 학습 알고리즘에 입력되는 것은 실험(experiment)이 될 것이고, 그 결과에 따라 지식베이스에 대한 수정들이 그 학습 알고리즘에서 출력될 것이다(여기에는 예를 들어 보강 학습, 배치학습, 서포트 벡터 머신 등이 포함됨).
소프트웨어용 유전적 알고리즘 및 진화 알고리즘을 위한 연구도 행해졌다. 이러한 소프트웨어의 하나의 예가 Karl Sims의 "Evolving Virtual Creatures"에 기술되어 있다(Computer Graphics, SIGGRAPH'94 Proceedings, 1994년 7월, 15-22쪽). 이 참고자료는 실제 물리적 세계의 모의 형태(simulated version)로서의 삼차원 가상세계에서 이동할 수 있는 "creature(생물)"이란 소프트웨어에 대해서 기술하고 있다. 이 생물들은 유전적 알고리즘을 이용하여 학습 및 진화할 수 있음으로써, 지시된 외부 입력(directed external input)이 없이도 그들의 행동을 변화시키게 된다. 그러므로 이들 유전적 알고리즘은 가상 세계에서의 서로 다른 "적합성(fitness)" 또는 보상들(rewards)을 갖는 잠재적 행동들의 초공간(hyperspace)을 묘사하였다. 이들 알고리즘 자체의 구현은 지시된 그래프들을 이용하여 이루어졌고, 이들에 의해 생물들의 유전자형들(구성성분들) 및 그들의 행동을 기술하였다.
그 모의(simulation)의 시작 시에 다른 유전자형들을 갖는 많은 서로 다른 생물들이 모의되었다. 생물들은 가상세계에서 다른 자극에 대해서 그들의 행동을 변화시키도록 허용되었다. 각 "세대(generation)"에서는, 상대적 혹은 절대적 컷오프 점수(cut-off score)에 따라, 특정한 생물들만이 생존하도록 허용되며, 상기 점수는 생물들의 행동의 적합성(fitness)에 따라 결정되어진다. 돌연변이 발생이 허용되며, 이에 따라 돌연변이된 생물들의 적합성이 증가될 수도 있고, 혹은 그 반대일수도 있다. 또한 예를 들어 노드와 관련된 값을 무작위로 변경 및/또는 노드들을 추가 혹은 삭제함으로써 지시된 그래프를 통해 돌연변이가 수행되게 된다. 이와 유사하게, 생물들 사이의 "교배"에 따른 결과로, 지시된 그래프(directed graph)에 변화들이 생길 수 있다.
상술한 참고자료에 기술되어 있는 결과들은 가상생물들이 사실상 변화 및 진화할 수 있다는 것을 보여주고 있다. 하지만 그 생물들은 가상 세계 내에서만 동 작할 수 있고, 실제 물리적 세계 및/또는 인간 컴퓨터 조작자들과는 어떠한 연결점 또는 관련점도 가지고 있지 않다.
이러한 배경기술은 특히 인간 사용자들과 상호작용을 하기 위해 이동 정보 장치용의 지능형 소프트웨어가 감정을 표현할 수 있도록 하는 시스템 또는 방법을 적어도 제시하거나 제안하지 못하고 있다. 또한 배경기술은 사전행동적(proactive) 사용자 인터페이스가 사용자의 행동을 학습하여 사용자에게 선택사항들을 능동적으로 제안하고 그 제안에 대한 사용자의 반응에 따른 감정을 표현할 수 있는 연산장치용 사전행동적 사용자 인터페이스에 대해서도 제시하거나 제안하지 않고 있다. 또한 배경기술은 아바타를 통해 인간 사용자와 감정 표현을 포함하는 상호작용을 할 수 있는 이동 정보 장치용 지능형 에이전트에 대해서도 제시하거나 제안하지 않고 있다.
본 발명은 어떠한 형태의 연산장치에도 임의로(optionally) 설치될 수 있는 (또는 그렇지 않을 경우 그 장치를 제어할 수 있는 및/또는 그 장치와 연관되어질 수 있는) 사전행동적 사용자 인터페이스를 제공함으로써 상술한 배경기술의 문제점들을 해결하고자 하는 것이다. 이러한 사전행동적 사용자 인터페이스는 특정 사용자와의 이전 경험(상호작용)에 기초하여, 및/또는 사용자의 행동에 따라 연산장치 가 선택할 수 있는 여러 가지 미리 프로그램된(pre-programmed) 패턴들에 기초하여, 사용자에게 능동적으로 제안들을 하게 되며, 및/또는 그렇지 않다면 결정되지 않은 또는 예상되지 않은 행동(non-deterministic or unexpected behavior)에 관여하게 된다. 예를 들어, 그 일부 또는 메뉴를 바꾸고; 표시하기 위한 다른 메뉴들을 제공하고; 및/또는 터치스크린 기능을 바꾸는 등, 표시부의 적어도 일부의 외관을 바꿈으로써 상술한 제안들이 임의로 행해질 수 있다. 또한 그러한 제안들은 음성에 의해 임의로 행해질 수도 있다. 그 밖의 다른 형태의 제안들 또는 전달 메커니즘(delivery mechanism)들도 가능하다. 본 발명은 그와 같은 제안에 대한 사용자의 반응에 따른 에이전트의 감정을 표시함을 특징적 요소로 갖는다.
"제안"에 의해, 상술한 시스템은 주어진 소정의 사용자 성향(preferences)을 고려하여 또한 시스템의 상태가 행위의 특정한 수행을 허용하는지 여부에 따라 그 행위를 사실상 임의로(optionally) 수행할 수 있고 또한 그에 수반하는 에이전트의 감정을 표현할 수 있음을 유념해야 한다. 본 발명에 의한 에이전트의 감정 표현은 에이전트의 "제안"에 대한 사용자의 선택여부 또는 에이전트의 "제안"에 대한 사용자의 보상에 의존하는 점을 특징으로 한다.
일반적으로 사전행동적 사용자 인터페이스는 적어도 지능적이고 쌍방향(interactive)으로 보이는 것이 바람직하고, 사용자와 적어도 어느 정도 "자유로운"(예를 들어, 준비되지 않은(non-scripted) 혹은 부분적으로 준비된) 통신을 할 수 있는 것이 바람직하다는 점을 강조하는 것은 중요하다. 사용자의 기대들(expectations)이 "지능형" 에이전트/장치와의 상호작용을 위해 이행되는 것이 바 람직하다는 의미에서, 지능적인 모습(intelligent appearance)을 갖는 것은 중요하다. 이러한 기대들은 통신할 수 있는 능력, 인터페이스의 선택적 외관(optional appearance), 의인화 속성(들)(anthropomorphic attribute(s))의 사용 등의 요소들에 의해 임의로 정형화(shaped)될 수 있으며, 그것들은 사전행동적 사용자 인터페이스와 사용자 사이의 상호작용에 있어서 지능 감각(sense of intelligence)을 향상시키는데 이용되는 것이 바람직하다. 사용자로부터 전달되는 통신에 있어서, 사전행동적 사용자 인터페이스는 사용자가 이동 정보 장치와 어떠한 방식으로 상호작용하기를 원하는지를 감지할 수 있는 것이 바람직하다. 임의로, 통신(정보전달)은 한쪽 방향으로만 이루어질 수 있다. 예를 들어, 인터페이스는 임의로 사용자에게 메시지 혹은 정보를 제시하지만 사용자로부터는 정보를 수신하지 않을 수 있으며, 혹은 그 반대로 구현하는 것도 가능하다. 통신은 사용자와의 바람직한 상호작용을 위해 쌍방향으로 이루어지는 것이 바람직하다.
임의로 및 바람직하게, 사용자로 전달되는 통신을 위해, 사전행동적 인터페이스는 사용자와의 통신의 일부로서 사용자와의 상호작용을 위해 모의된 감정들(simulated emotions)을 표시하거나 보여줄 수 있는 기능을 갖는다. 이후 더욱 자세히 설명되는 바와 같이, 이들 감정들은 지능형 에이전트에 의해 제시하기 위해 모의되는 것이 바람직하며, 아바타 혹은 생물(creature)에 의해 표현되어지는 것이 더욱 바람직하다. 그 감정들은 감정형 시스템(emotional system)을 통해 생성되는 것이 바람직하며, 임의로 적어도 하나의 사용자 성향(user preference)에 따라 부분적으로 제어될 수 있다. 지능형 시스템은 지능형 에이전트의 반응들 및 통신들 이 사용자가 인지하는 데 있어서 믿을 만한 것이 될 수 있도록 하는 데 이용하는 것이 바람직하다. 예를 들어, 지능형 에이전트가 개와 같은 생물로서 제시되면, 감정형 시스템은 그 감정들이 "개와 같은" 행동에 대한 사용자의 기대와 일치될 수 있도록 하는 것이 바람직하다.
이와 유사하게, 지능형 에이전트는 사용자에 대해서 적어도 지능적으로 보이는 것이 바람직하다. 임의로, 그 지능(intelligence)은 완전히 결정적인 메커니즘(completely deterministic mechanism)을 통해서 제공될 수 있지만, 지능적인 모습을 갖추기 위한 기초가 되는 것으로서 적어도 하나 이상의 무작위 혹은 반-무작위 요소들(semi-random elements)이 포함되는 것이 바람직하다. 또한 그러한 요소들은 지능형 에이전트의 표현(representation)에 대해서 지능과 관련한 사용자의 기대와 일치할 수 있도록 제시되는 것이 바람직하다.
사용자의 요구 혹은 다른 통신을 만족시키기 위해 적어도 어느 정도는 지능형 에이전트가 행동을 변경하는 것이 가능하도록 하기 위해서 적응특성 혹은 적응기능(adaptiveness)이 제시되는 것이 바람직하다. 사전행동적 사용자 인터페이스는 사용자와 통신하기 위한 지능형 에이전트를 포함하고 있지 않더라도, 적응특성에 의해 인터페이스가 사전행동적이 될 수 있도록 하는 것이 바람직하다. 사용자의 이동 정보 장치와의 상호작용의 관찰(observation)에 의해 그러한 적응기능이 실행될 수 있도록 하는 것이 바람직하며, 그렇지만 임의로 및 바람직하게 그러한 관찰에 대한 사전행동적 사용자 인터페이스의 반응이 지식베이스 및/또는 규칙베이스에 의해 안내될 수도 있다.
그러한 적응기능의 비한정적이지만 바람직한 특정 예로서, 특히 복수의 메뉴를 포함하는 이동 정보 장치에 있어서, 그러한 적응기능에는 메뉴의 적어도 하나의 형태(aspect)를 변경할 수 있는 능력이 포함될 수 있는 것이 바람직하다. 예를 들어, 임의로 하나 이상의 단축키 혹은 단축수단(shortcuts)이 제공되어, 사용자가 메뉴 계층(hierarchy)에 있어서 마지막 선택대상(final choice)보다 상위에 있는 서브메뉴 혹은 이전 메뉴 중 적어도 하나(더욱 바람직하게는 그 모두)를 우회하여 직접 메뉴 선택대상에 도달할 수 있도록 할 수 있다. 임의로 (그렇게 하는 대신에 혹은 부가적으로), 하나 이상의 메뉴가 적응형 사용자 인터페이스의 적응기능에 따라 예를 들어 사용 빈도수에 따라 재배열될 수 있다. 임의로, 그러한 재배열하는 것에는 메뉴 선택 및/또는 서브메뉴와 같은 메뉴의 일부를 메뉴 계층에 있어서 현재 위치보다 상위에 있는 새로운 위치로 이동시키는 것이 포함될 수 있다. 메뉴 계층에 있어서 상위에 있는 서브 메뉴는 하위 위치(보다 아래쪽에 있는 위치)에 있는 것들보다 적은 횟수의 메뉴 선택을 통해 보다 빨리 도달될 수 있다.
임의로 및 바람직하게, 적응기능 및/또는 감정들(emotions)은 사전행동적 사용자 인터페이스에 의해 학습을 위한 보상들(rewards)을 통해 도움을 받을 수 있다. 사용자가 승인한 제안들 혹은 행위들은 보상 혹은 긍정적 인센티브를 사전행동적 인터페이스에게 제공하여 그러한 제안들 혹은 행위들(actions)을 계속하도록 하는 것이 바람직하며, 사용자에 의해 승인되지 않으면 사전 행동형 인터페이스에게 그러한 행동(들)(behavior(s))을 계속하는 것에 대한 행동 억제 요인(disincentive)을 발생시키는 것이 바람직하다. 사전행동적 사용자 인터페이스에 게 긍정적 혹은 부정적 인센티브들/행동억제요인들을 제공함으로써, 행동이 허용 혹은 금지되는 보다 "흑백(black or white)"적인 방식에 비해, 그 인터페이스의 행동에 뉘앙스가 더욱 부여되도록 하는 것이 바람직하다. 그러한 행동들이 적어도 어느 정도 사용자에 의해 일괄적으로 승인/부인될 경우, 그러한 뉘앙스에 의해 반대 혹은 모순되는 행동들(opposing or contradictory behaviors)이 다루어질 수 있도록 하는 것도 바람직하다.
본 발명의 임의의(optional) 그러나 바람직한 실시예에 따르면, 사전행동적 사용자 인터페이스가 사용자와 상호작용을 하여 사용자에 대한 모델이 구성되는 것이 바람직하다. 그러한 모델은 프로그램된 및/또는 사용자의 행동으로부터 결정된 인공지능 지식베이스들을 임의로 및 바람직하게 통합하게 될 것이다. 또한 상기 모델은 사전행동적 사용자 인터페이스가 사용자 인터페이스에 의해 행해진 특정한 제안들에 대한 사용자의 반응을 측정하는 것을 임의로 가능하게 함으로써, 사용자의 내재적 혹은 비명시적 성향(implicit preferences)에 적응하게 된다.
그러한 연산장치들의 비한정적 예에는, ATM(예를 들어 사용자 행동의 특정 패턴이 경보기를 작동하게 할 수 있으므로, 보안성과도 관련됨)과, 모든 타입의 일반 컴퓨터(데스크탑, 랩탑, 소형경량 및 착용가능 컴퓨터 등)와, 휴대폰 등의 이동 정보 장치, 페이저장치, 그 이외의 무선 통신장치, 운영체제를 갖춘 일반 전화기, PDA 및 무선 PDA, 운영체제를 갖춘 소비재 등이 포함된다. 이하 "연산장치"라는 용어는 운영체제를 갖추고 있고 연산을 수행할 수 있는 모든 전자 장치를 포함하는 것으로 한다. 운영체제는 임의로 내장된 시스템 및/또는 다른 타입의 소프트웨어 및/또는 하드웨어 런타임 환경(run time environment)일 수 있다. 이하, "이동 정보 장치"라는 용어는 모든 타입의 무선 통신장치(여기에는 휴대폰, 무선 페이저, 무선 PDA 등이 포함되며 이것들에 한정되는 것은 아니다)를 포함하는 것으로 간주되지만, 그것에 한정되는 것은 아니다.
바람직하게는, 본 발명은 현재의 포괄적(generic)이고 비유연적(non-flexible)인 사용자 인터페이스를 유연성이 있고 실제적으로 사용자 친화적인 인터페이스로 변화시킬 뿐만 아니라, 연산장치와의 향상된 사용자 경험 및 상호작용을 제공하기 위해 구현된다. 좀더 바람직하게는, 본 발명은 사용자와 상호작용하게 되는 아바타 형태로 사용자인터페이스를 구성하는 임의의 그러나 바람직한 실시예에 따라, 연산장치와의 사용자의 향상된 감정적 경험(emotional experience)을 제공하기 위해 구현된다. 따라서 본 발명은 특히, 예를 들어 휴대폰과 같은 이동 정보 장치에 "생존형 장치(living device)"의 경험을 부여할 수 있다. 이 실시예에 따르면, 사용자는 "생존형 장치"에 감정적 부착기능(emotional attachment)을 형성할 수도 있다.
본 발명의 다른 실시예에 따르면, 적응형 시스템을 포함하는 이동 정보 장치가 제공된다. 상술한 사용자 인터페이스처럼, 이 장치도 프로그램된 패턴 및/또는 사용자와의 이전 경험에 의존하게 된다. 하지만 임의로 및 바람직하게, 적응형 시스템은 이동 정보 장치의 기능들 및 환경 내에서의 동작에 더욱 제한되어 있다.
임의로 및 바람직하게, 이동 정보 장치 적응형 시스템 및 사전행동적 사용자 인터페이스 중 어느 하나 혹은 그 양쪽 모두는 유전적 알고리즘, 인공지능(AI) 알 고리즘, 기계학습(ML: Machine Learning) 알고리즘, 학습된 행동, 및 진화할 수 있는 소프트웨어/연산장치로 구현되게 된다. 또한 상술한 두 가지 중 어느 하나 혹은 그 모두는 고급수준의 음성 명령들, 터치스크린 명령들, 키보드 '단축키 혹은 단축수단(short-cuts)'들을 임의로 제공할 수도 있다.
본 발명의 또 다른 임의의 그러나 바람직한 실시예에 따르면, 이동 정보 장치 망(network)을 거쳐 이동 정보 장치와 사용하기 위한 하나 이상의 지능형 에이전트가 제공되며, 이것에는 에이전트가 인간 사용자와 통신(정보교환)을 할 수 있게 하는 아바타(혹은 "생물"; 이하 이 두 용어를 서로 치환 가능한 용어로서 사용하기로 함)가 포함되는 것이 바람직하다. 따라서 아바타는 사용자와의 상호작용을 위한 사용자 인터페이스를 제공하는 것이 바람직하다. 또한 지능형 에이전트는 네트워크를 통해 이동 정보 장치의 적어도 하나의 상호작용을 제어하기 위한 에이전트를 포함하는 것이 바람직하다. 이 실시예는 임의로 이동 정보 장치 망을 거쳐 연결되는 그러한 지능형 장치를 복수 개 포함하여, 임의로 그러한 에이전트들의 네트워크를 형성할 수도 있다. 이러한 실시예를 통해 여러 가지 응용예들이 임의로 제공될 수도 있으며, 그 응용예에 포함되는 것들은 예를 들어 일반적인 교육(teaching) 및/또는 특히 이동 정보 장치를 사용하는 방법을 학습하기 위한 교육, 언어 교육, 통신 애플리케이션, 커뮤니티 애플리케이션, 게임, 오락(entertainment), 쇼핑(쿠폰 획득 등), 가게 또는 다른 장소 위치파악, 광고 및 원하지 않는 메시지의 필터링, 롤플레잉 게임 또는 휴대전화 망을 통한 그 이외의 쌍방향(interactive) 게임, "채팅" 및 미팅 기능, 지능형 에이전트를 위한 "선물 (presents)"을 사거나 그렇지 않으면 그 캐릭터를 장식하기 위한 기능 등이 있으며, 이것들에 한정되는 것은 아니다. 이론적으로는, 이러한 에이전트들 자체에 액세서리로서 "애완동물(pet)"이 제공될 수도 있다.
따라서 본 발명의 다양한 실시예에 따르면 많은 서로 다른 상호작용이 가능하다. 이러한 상호작용들 중에는, 아바타 혹은 그 이외의 캐릭터 또는 사용자의 의인형 상징체(personification)와 장치 사용자 사이의 상호작용; 아바타 또는 그 이외의 캐릭터 또는 의인형 상징체를 통해 장치를 구동하기 위한, 장치와 장치 사용자 사이의 상호작용; 아바타 또는 그 이외의 캐릭터 또는 의인형 상징체를 통한 통신(정보교환)에 의해, 각각의 장치를 이용한 두 사용자 사이의 상호작용; 및 임의로 사용자들 사이의 또는 심지어는 에이전트와 사용자 사이의 어떠한 정보교환도 없이, 두 장치 간에 각각의 지능형 에이전트를 통한 상호작용 중 어느 하나 이상이 포함된다. 상기한 상호작용 또는 가능한 상호작용들은 본 발명의 실시예에 따라 결정되며, 이것에 대해서는 아래에 더욱 상세히 설명한다.
본 발명은 연산장치 및/또는 예를 들어 휴대폰과 같은 이동 정보 장치의 상대적으로 제한된 환경으로부터 이익을 얻게 되는데, 그 이유는 그러한 환경의 변수들이 이미 알려져 있기 때문이다. 그러한 장치들은 예를 들어 휴대전화망과 같은 네트워크를 통해 통신을 하더라도, 여전히 상기 환경의 변수들은 미리 결정될 수 있다. 현재, 연산장치는 사용자의 수동적 및 직접적인 조작으로도 고객 맞춤화가 허용되지 않거나 그것이 거의 허용되지 않는 포괄적 인터페이스(generic interface)만을 제공하고 있다.
"소프트웨어"라는 용어는 하드웨어에 의해 작동하는 프레임워크 또는 명령어들을 임의로 포함하는 것일 수도 있다는 점을 유념해야 한다.
(바람직한 실시예)
본 발명은 사전행동적 사용자 인터페이스에 관한 것으로 어떠한 형태의 연산장치에도 임의로 설치될 수 있다(혹은 그렇지 않을 경우에 그 장치를 제어할 수 있거나 및/또는 그 장치와 관련될 수 있다). 사전행동적 사용자 인터페이스는 사용자 행동에 따라, 연산장치가 선택할 수 있는 다양한 미리 프로그램된 패턴들 및/또는 특정한 사용자와의 이전 경험에 기초하여, 사용자에게 제안들을 능동적으로 행할 수 있다. 표시부의 적어도 일부의 외관을 바꿈으로써, 예를 들어, 그 일부 또는 메뉴를 바꾸고; 표시하기 위한 다른 메뉴들을 제공하고; 및/또는 터치스크린 기능을 바꾸는 등에 의해 상술한 제안들이 임의로 행해질 수 있다. 또한 그러한 제안들은 음성에 의해 임의로 행해질 수도 있다.본 발명은 그와 같은 제안에 대한 사용자의 반응에 따른 에이전트의 감정을 표시함을 특징적 요소로 갖는다.
사전행동적 사용자 인터페이스는 상술한 바와 같이 운영체제를 포함하고 있는 연산장치를 위해 구현되는 것이 바람직하다. 이러한 인터페이스는 임의로 및 바람직하게 사용자와 운영체제 사이의 통신을 위한 사용자 인터페이스를 포함한다. 또한 바람직하게 인터페이스는 사용자 인터페이스와의 사용자의 상호작용의 적어도 하나의 패턴을 검출하고 검출된 패턴에 따라 사용자 인터페이스의 적어도 하나의 기능을 사전행동적으로 변경하기 위한 학습모듈을 포함한다. 이에 따라, 사전행동 적 사용자 인터페이스는 사용자의 요청을 예측하여 연산장치의 원하는 기능을 선택할 때 사용자에게 도움을 줄 수 있다.
본 발명의 다른 실시예에 따르면, 적응형 시스템을 포함하는 이동 정보 장치가 제공된다. 상술한 사용자 인터페이스와 같이, 이 장치도 사용자와의 이전 경험 및/또는 미리 프로그램된 패턴들에 의존하게 된다. 하지만 임의로 및 바람직하게, 그러한 적응형 시스템은 현재 PDA로부터의 특정 기본 기능들을 포함하기도하는 예를 들어 휴대폰과 같은 이동 정보 장치의 환경 및 기능들 내에서의 구동에 더욱 한정된다.
바람직하게, 상기 적응형 시스템은 운영체제를 특징적 요소로서 갖춘 이동 정보 장치와 함께 동작한다. 이 운영체제는 임의로 내장형 시스템(embedded system)을 포함할 수 있다. 이동 정보 장치는 휴대폰을 임의로 포함할 수 있다.
반드시 그런 것은 아니지만, 적응형 시스템은 이동 정보 장치 자체에 의해 임의로 구동될 수 있다. 혹은, 이동 정보 장치가 네트워크에 연결된 경우, 적응형 시스템은 적어도 부분적으로 네트워크로부터 이동 정보 장치로 송신된 명령들에 따라 임의로 구동될 수도 있다. 이것을 구현하기 위해서는, 적응형 시스템의 적어도 하나의 동작과 관련된 데이터가 이동 정보 장치와 다른 위치에 저장되는 것이 바람직하며, 이때 상기 위치는 네트워크를 통해 접근이 가능하다.
본 발명의 또 다른 임의의 그러나 바람직한 실시예에 따르면, 이동 정보 장치 망을 통해 이동 정보 장치와 사용하기 위한 하나 이상의 지능형 에이전트가 제공되며, 이것에는 에이전트가 인간 사용자와 정보교환(통신)을 가능하게 하는 아바 타가 포함되는 것이 바람직하다. 따라서 바람직하게 아바타는 사용자와의 상호작용을 위한 사용자 인터페이스를 제공한다. 또한 지능형 에이전트는 네트워크를 통하여 이동 정보 장치의 적어도 하나의 상호작용을 제어하기 위한 에이전트를 포함하는 것이 바람직하다. 이 실시예는 이동 정보 장치 망을 통해 연결된 그러한 복수의 아바타를 임의로 포함할 수 있다.
본 발명의 바람직한 실시예에 따르면, 아바타의 모습의 적어도 하나의 특성이 예를 들어 사용자 명령에 따라 임의로 변경이 가능한 것이 바람직하다. 임의로 및 더욱 바람직하게, 아바타의 모습의 복수의 특징들이 미리 정의된 아바타 피부에 따라 변경가능하다. 그 피부는 사용자에 의해 임의로 미리 결정되어진다. "피부"에 의해, 상기한 복수의 특징들이 하나의 세트로서 함께 변경된다는 것을 의미하며, 이때 상기 세트는 상기 피부를 형성하는 것이다. 이 실시예가 네트워크-접근가능 위치에 저장된 아바타와 관련된 데이터의 적어도 일부를 갖는 이전의 실시예와 결합될 경우에는, 사용자는 동일한 아바타를 서로 다른 전화기들로 임의로 이동시킬 수 있고, 및/또는 서로 다른 이유들 때문에, 예를 들어 파티 혹은 그 이외의 축제(celebration)와 같은 특별한 경우들을 위해, 아바타의 모습을 고객 맞춤화 할 수 있다. 물론 이러한 것들은 단지 예를 들기 위한 것으로 어떠한 방식으로도 한정적인 것을 의미하지는 않는다.
기술적 구현(technical implementation)에 있어서는, 본 발명은 사용자에게 매우 퍼스널한 장치의 (메모리, 데이터 처리 용량, 스크린 표시 크기 및 해상도 등에 있어서의) 제한된 시스템 상에서 동작할 수 있는 것이 바람직하다. 예를 들어, 바람직하게 상기 장치는 휴대폰 등의 이동 정보 장치이며, 이것은 필히 휴대성 및 사용상 편리성을 위해 적응되므로, 상기 장치는 상술한 제한들 중 하나 이상 혹은 그 모두를 가질 수 있다. 본 발명의 구현 형태들은 이러한 특성들의 조합에 적합하도록 하는 것이 바람직하다. 따라서 사용자의 바람직한 개별맞춤화(personalization) 및 "개인적인 느낌(personal feel)"을 유지하면서도 상기 장치 자체의 제한들을 해결하기 위해, 다음과 같은 여러 가지 해결방안들을 제안하도록 한다. 이들 해결방안들은 단지 예에 불과하며 어떠한 식으로도 한정적으로 해석하도록 의도된 것은 아님을 유념해야 할 것이다.
예 1: 사전행동적 인터페이스 - 일반
바람직하게, 본 발명의 사전행동적 사용자 인터페이스는, 사용자의 행동에 따라, 연산장치가 선택할 수 있는 다양한 미리 프로그램된 패턴 및/또는 특정한 사용자와의 이전 경험에 기초하여, 사용자에게 제안들을 능동적으로 하기 위해, 어떠한 타입의 연산장치도 제어할 수 있고 및/또는 그 장치와도 연관될 수 있는 것이 바람직하다. 상술한 제안들은 표시부의 적어도 일부의 모습을 변경함으로써, 예를 들어 메뉴 혹은 그 일부를 변경하고; 표시하기 위한 서로 다른 메뉴들을 제공하고; 및/또는 터치스크린 기능을 변경함으로써, 임의로 행해질 수 있다. 그 제안들은 음성에 의해 임의로 행해질 수도 있다.
사전행동적 사용자 인터페이스는 운영체제를 포함하는 상술한 바와 같은 연산장치를 위해 구현되는 것이 바람직하다. 임의로 및 바람직하게, 상기 인터페이 스는 사용자와 운영체제 사이의 통신을 위한 사용자 인터페이스를 포함하고 있다. 바람직하게, 인터페이스는 사용자의 사용자 인터페이스와의 상호작용의 적어도 하나의 패턴을 예를 들어 학습 모듈의 동작을 통해 검출할 수 있으며, 따라서 바람직하게, 검출된 패턴에 따라 사용자의 인터페이스의 적어도 하나의 기능을 사전행동적으로 변경할 수 있게 된다. 따라서 사전행동적 사용자 인터페이스는 사용자의 요청을 예상할 수 있고, 이에 따라 연산장치의 원하는 기능을 선택하는데 있어서 사용자에게 도움을 줄 수 있다.
특히 사용자가 원하는 것들과 그 행동을 학습하는 것과 관련하여, 이러한 타입의 사전행동적 행동은 사전행동적 인터페이스의 부분에 소정 타입의 학습능력을 필요로 하게 된다. 그러한 학습능력은 소프트웨어 객체들의 환경과의 상호작용들 및 (소프트웨어에 의한) 학습과 관련되는, 해당 기술분야에서 공지된 알고리즘과 방법론을 통해 임의로 제공될 수 있다. 소프트웨어가 그 행위들을 시간에 따라 향상시킬 수 있을 때 그 소프트웨어를 학습이라 말할 수 있다. 인공 지능은 지능형 행위 선택(추론, reasoning)을 보여줄 필요가 있으며, 이에 따라 소프트웨어가 그 환경(그 "세계")을 탐험하여 행위의 가능성들을 발견할 수 있는 능력을 갖는 것이 바람직하다. 또한 소프트웨어는 세계의 상태와 그 자체의 내부 상태를 표현하는 능력을 갖는 것이 바람직하다. 그리고 소프트웨어는 지능형 행위를 (상술한 지식을 이용하여) 선택하고 행동할 수 있는 것이 바람직하다.
임의로 및 바람직하게, 예를 들어 인터페이스의 학습모듈에 의한 학습은 보상들(rewards)에 의해 보강될 수 있고, 이때 학습 모듈은 환경의 상태에 따라 특정 한 행위들을 취하는 것에 대해서 보상을 받게 된다. 이러한 형태의 학습은 소정의 방식으로 행동하도록 학습모듈을 훈련시키는 것을 포함한다. 만약 둘 이상의 행동이 허용되면, 학습처리과정은 비결정적이 되어 서로 다른 행동들을 생성할 수 있게 된다. 사전행동적 사용자 인터페이스와 관련하여, 임의로 및 바람직하게 상술한 보상은, 예를 들어, 제시된 선택 대상이 사용자의 선택으로 이어질 때(제시된 선택 대상으로 인해, 예를 들어 사전행동적 사용자 인터페이스에 의해 제공된 것과 다른 메뉴를 선택함으로써, 사용자가 다른 세트의 하나 이상의 선택들을 찾고자 하게 될 때와 반대)를 학습모듈이 검출하도록 유발하는 것 등을 포함된다. 사전행동적 사용자 인터페이스가 사용자 행동을 올바로 이해하였음을 보여주는 것으로서, 분명히, 상기 인터페이스는 그 제시 사항으로 직접적인 사용자의 선택으로 이어지는 제시사항들의 퍼센트가 최대가 되도록 하려고 해야 한다.
도 1은 반응적 학습(reactive learning)을 위한 본 발명에 따른 학습 모듈의 예를 나타낸 개략 블록도이다. 도시된 바와 같이, 학습 모듈(100)은 지식베이스(102)를 바람직하게 포함하고 있으며, 지식베이스(102)는 환경과의 상호작용의 결과로서 학습모듈(100)에 의해 수집된 정보를 저장함으로써 학습모듈(100)의 메모리로서 역할을 바람직하게 한다. 지식베이스(102)는 비휘발성 메모리(도시하지 않음)에 임의로 저장될 수 있다. 지식베이스(102)는 적절한 행위를 선택하기 위해 학습 모듈(100)에 도움을 주는 정보를 바람직하게 유지하고 있다. 그러한 정보는 내부 신경망을 위한 수치적 가중치(numerical weights) 등의 값들, 혹은 행위 보상값들을 갖는 테이블, 혹은 다른 모든 형태의 정보를 임의로 포함할 수 있다.
학습모듈(100)이 환경에 대한 정보를 제공받을 수 있기 위해서는, 학습모듈(100)은 복수의 센서(104)를 특징적 요소로서 갖추는 것이 바람직하다. 센서들(104)은 학습모듈(100)이 그 환경상태를 인지할 수 있도록 한다. 센서들(104)은 그 환경에 연결되며 감지된 값들을 출력한다. 그 값들은 프로그램 자체로부터 얻어진 것(예를 들어, 화면상의 위치, 에너지레벨 등), 혹은 실제 장치 값들로부터 얻어진 것(예를 들어, "플리퍼(flipper)"를 열어서 그 장치가 작동되거나 착신호가 응답될 수 있게 되는 휴대폰을 펼친 상태(flipped state)와 같은 동작 상태 및 배터리 상태 등)일 수 있다.
센서(104)는 분명히 가치 있는 정보를 제공하지만 학습모듈(100)이 그 정보를 이해하게 될 수 있기 전까지 그 정보를 처리할 필요가 있다. 따라서 학습모듈(100)은 센서(104)의 현재 출력이 "상태(state)"라고 칭하는 그 세계의 일정한 표현이 되도록 처리하기 위해서 인지부(106)를 추가로 포함한다. 그리고 그러한 상태는 학습모듈(100)의 "뇌(brain)"로서 기술될 수 있는 추론 시스템(108)을 위한 입력이 되는 것이 바람직하다. 이러한 설계는 그 시스템을 여러 개의 호스트 플랫폼들(서로 다른 연산장치들 및 환경들)로 용이하게 이동하는 것을 지원할 뿐만 아니라, 센서의 메커니즘 및 세계의 상태를 확장하는 것을 지원하여, 세계의 상태가 장치에 따라 변경될 수 있게 된다.
추론 시스템(108)은 지식베이스(102)로 현재 상태를 처리하여 어느 행위를 수행해야하는지 여부에 대한 의사결정을 생성하도록 하는 것이 바람직하다. 추론 시스템(108)은 세계의 현재 상태를 수신하여, 수행되어야 할 행위를 출력하고, 그 선택된 행위에 대한 피드백을 수신하게 된다. 이 피드백에 기초하여, 추론시스템(108)은 지식 베이스(102)를 업데이트하는 것이 바람직하다. 이것은 학습모듈(100)이 행위들을 상태들과 연관시키도록 학습하게 되는 하나의 반복처리에 해당한다.
본 발명의 임의의 실시예에 의하면, 연산장치는 감정적 상태, 물리적 상태, 움직임 등의 사용자에 대한 여러 가지 형태의 생물학 정보를 감지하기 위한 하나 이상의 생물학 센서를 특징적 요소로서 가질 수 있다. 그리고 그러한 정보는 센서(104)들에 제공되어, 인지부(106)가 사용자의 상태를 결정하고 그에 따라 그 장치를 위한 적당한 상태를 결정하는데 도움을 줄 수 있다. 그러한 생물학 센서는 체온, 맥박, 산소 포화도 감지용 센서 또는 사용자의 생물학 변수들을 측정하는 다른 모든 형태의 센서들을 포함할 수 있으나, 그것들에 한정되는 것은 아니다.
도 2는 학습 모듈(100)을 다시 특징으로 구비한, 사전행동적 사용자 인터페이스를 제공하기 위한 본 발명에 따른 시스템(200)의 전형적인 실시예를 나타낸 것이다. 학습 모듈(100)은 학습모듈(100)과 연관되고 및/또는 이것에 의해 제어되고 및/또는 이것을 동작시키는 연산장치(도시하지 않음)의 운영체제(202)와 통신을 하는 것이 도시되어 있다. 운영체제(202)는 인터페이스부(204) 뿐만 아니라 적어도 하나의 다른 소프트웨어 애플리케이션(206)의 동작을 제어하는 것이 바람직하다(물론 그러한 많은 소프트웨어 애플리케이션들이 임의로 있을 수 있다).
사용자는 예를 들어 메뉴로부터 하나의 선택 대상을 선택함으로써 인터페이스부(204)를 통해 통신을 한다. 운영체제(202)는 이러한 통신정보가 수신되어 데 이터로 번역될 수 있도록 한다. 그리고 바람직하게 학습모듈(100)은 그러한 데이터를 수신하여, 임의로 명령을 운영체제(202)로 다시 전송하여, 예를 들어 인터페이스부(204)의 소정 요소를 (예를 들어, 다른 메뉴를 제공함으로써) 변경 및/또는 소프트웨어 애플리케이션(206)을 작동시킨다. 그리고 사용자는 인터페이스부(204)를 통해 응답을 하고; 이 응답으로부터, 바람직하게, 학습모듈(100)은 그 행위(학습모듈(100)에 의해 전송된 명령)가 적절한지 여부를 학습하게 된다.
도 3은 본 발명에 따른 사전행동적 사용자 인터페이스 시스템(300)의 구현 예를 나타낸 개략 블록도이다. 도시된 바와 같이, 시스템(300)은 바람직하게 3레벨 구조를 특징적 요소로서 가지며, 이때 애플리케이션 레이어는 인공지능(AI) 프레임워크에 의해 지원되며, 이것은 이어서 호스트 플랫폼 연산장치("호스트 플랫폼"으로 도시됨)와 통신을 하게 된다.
임의로 및 바람직하게, 애플리케이션 레이어는 복수의 서로 다른 애플리케이션들을 특징적 요소로서 가지고 있으며, 그 중에서 MutateApp(돌연변이 애플리케이션)(302), PreviousApp(이전 애플리케이션)(304) and TeachingApp(교육 애플리케이션)(306)와 같은 몇 가지 비한정적 예들을 도시하였다.
바람직하게, MutateApp(302)은 시스템(300) 내의 돌연변이들을 제어 및/또는 시작시키기 위해 호출(invoke)된다. 위에서 언급된 바와 같이, 학습모듈은 지시된 또는 반지시된 진화(directed or semi-directed evolution)를 통해, 예를 들어 유전적 알고리즘들을 통해, 그 행동을 임의로 변경할 수 있다. 바람직하게, MutateApp(302)는 진화를 통해 그러한 돌연변이들을 제어 및/또는 시작시킨다. 진 화의 실시예에 대해서는 아래에 더욱 상세히 설명할 것이다.
바람직하게, PreviousApp(304)는 시스템(300)의 이전 상태 또는 (학습모듈의 상태와 같은) 그 일부분이 현재의 상태 대신에 호출될 수 있도록 한다. 좀 더 구체적으로, 본 발명이 진화적 알고리즘으로 구현되는 것이라면 PreviousApp(304)는 사용자가 이전의 진화적 단계로 복귀하게 되도록 한다. 좀 더 일반적으로, 시스템(300)은 상태 보존형(stateful)이므로 이전 상태로 임의로 복귀할 수 있고, 이때 그러한 상태들의 히스토리는 바람직하게 유지되게 된다.
TeachingApp(306)은 인공 지능 프레임워크 레이어를 통해 구현될 수 있는 포괄적(generic) 애플리케이션의 하나의 비한정적 예일 뿐이다.
인공지능 프레임워크 레이어 자체는 사용자 인터페이스가 사전행동적 방식으로 행동할 수 있도록 하는 하나 이상의 구성성분을 포함하고 있다. 임의로 및 바람직하게, 프레임워크는 연산장치의 상태와 가상세계의 상태를 결정하고, 또한 그 두 상태 사이의 관계도 결정하기 위한 DeviceWorldMapper(장치 세계 매퍼)(308)를 포함한다. 바람직하게, DeviceWorldMapper(308)는 가상세계의 상태와 그 장치의 상태를 결정하기 위해, 예를 들어 EventHandler(이벤트 핸들러)(310)로부터의 다양한 이벤트로부터 입력을 받는다.
바람직하게, DeviceWorldMapper(308)는 입력데이터를 분석하기 위하여 AI(인공지능)/ML(Machine Learning)(312)와 통신을 하기도 한다. 바람직하게, 또한 AI/ML 모듈(312)은 여러 가지 자극에 대응하여 상기 사전행동적 사용자 인터페이스의 행동을 결정하며, 또한 예를 들어 사용자 인터페이스의 서로 다른 형태의 행위 들에 대한 사용자의 반응으로부터, 상기 사전행동적 사용자 인터페이스가 학습을 할 수 있도록 한다.
진화모듈(314)은 지능형 에이전트의 진화를 관리하는 애플리케이션의 비한정적 예이다. 진화모듈(314)은 예를 들어 MutateApp(302)의 동작을 통해 그러한 진화를 지원하고, 또한 바람직하게 그것을 관리하게 된다.
이러한 서로 다른 인공지능 타입의 애플리케이션들과 EventHandler(310)의 사이에서, 하나 이상의 서로 다른 저수준 관리자들(low level managers)은 서로 다른 이벤트들의 수신 및 취급(처리)과 시스템(300)에 의한 서로 다른 행동들을 바람직하게 지원하게 된다. 이들 관리자는 ActionManager(행위 관리자)(316), UIManager(UI 관리자)(318), StorageManager(스토리지 관리자)(320), 및 ApplicationManager(애플리케이션 관리자)(322)를 포함할 수 있으나, 이것들에 한정되는 것은 아니다.
ActionManager(316)는 이후 더욱 상세히 설명하겠으나, 간략히 설명하면, 예를 들어 AI/ML 모듈(312)의 동작을 통해서, 어느 행위를 취해야 하는지를 시스템(300)이 결정할 수 있도록 하는 것이 바람직하다.
바람직하게, UIManager(318)는 예를 들어 상술한 바와 같이 사용자 인터페이스에게 변화들을 지시하는 것에 의해, 사용자 인터페이스의 모습과 기능들을 관리한다.
바람직하게, StorageManager(320)는 예를 들어 시스템(300)의 지식베이스(도시하지 않음)와 관련한, 데이터의 저장 및 취급(처리)을 관리한다.
바람직하게, ApplicationManager(322)는 애플리케이션 레이어의 상술한 애플리케이션들과의 통신들을 취급한다.
바람직하게, 이들 서로 다른 관리자들은 모두 EventHandler(310)로부터 이벤트를 수신한다.
인공지능 프레임워크 레이어 내에서, 임의로 및 바람직하게, 인공지능 기반구조(324)는 호스트 플랫폼과의 통신을 지원한다. 바람직하게, 이 호스트 플랫폼 자체는 호스트 플랫폼 인터페이스(326)를 특징적 요소로서 가지며, 임의로 및 바람직하게, 이것은 예를 들어 호스트 플랫폼의 운영체제를 통해 제공될 수 있다.
임의로 및 바람직하게, 인공지능 기반구조(324)는 호스트 플랫폼 인터페이스(326)로부터 입력을 받고 또한 임의로 호스트 플랫폼 인터페이스(326)에게 명령들을 전송하기 위한 I/O 모듈(328)을 포함한다. 바람직하게, 스크린 모듈(330)은 호스트 플랫폼 연산장치의 화면상의 사용자 인터페이스의 표시를 처리/취급한다. 바람직하게, 자원 모듈(332)은 시스템(300)이 데이터 스토리지 등의 여러 가지 호스트 플랫폼 자원들(resources)에 접속할 수 있도록 한다.
물론, 상술한 도면들은 학습 모듈을 위한 단지 하나의 임의의 구성을 나타낼 뿐이다. 예를 들어, 학습모듈은 한 세트의 개별 에이전트들로서 표현될 수도 있으며, 이때 각 에이전트는 하나의 단순 목표를 가지고 있다. 학습모듈은 상술한 현재 상태에 기초하여 소정 행위를 수행하는 에이전트를 선택한다. 현재 상태와 에이전트들 사이의 적절한 매핑은 보강 학습을 갖춘 학습모듈에 의해 학습될 수도 있다.
예 2: 이동 정보 장치를 위한 적응형 시스템
이 예는 이동 정보 장치를 갖춘 본 발명의 적응형 시스템의 예시적 구현에 관한 것이며, 이 구현은 바람직하지만 임의적인 것이고 어떠한 방식으로도 한정하도록 의도되는 것은 아니라는 점을 유념해야 한다.
이러한 적응형 시스템은 예 1에서 상술한 기능들 중 어느 것도 임의로 포함할 수 있고, 상술한 바와 같이 임의로 구현될 수도 있다. 이 절(section)에서는 이동 정보 장치의 동작과 관련하여 적응형 시스템의 실제 구조에 더욱 중점을 두기로 한다. 또한 이 예는 본 발명에 따른 생물 혹은 아바타의 임의의 그러나 바람직한 구현에 대해서 기술하고 있다.
그 다음 절들은 본 발명에 따른 적응형 시스템의 다양한 측면들에 있어서의 특정한 기술적 구현들에 대한 임의의 그러나 바람직한 실시예들에 대해서 기술하고 있다. 단지 설명하기 위한 목적으로 또한 어떠한 한정할 의도 없이, 이들 실시예는 임의로 아바타 혹은 "생물"로서 시각적으로 표현되는 지능형 에이전트를 통해 사용자와 상호작용을 하는 적응형 시스템의 임의의 그러나 바람직한 실시예를 기초로 하고 있다.
제1절: 이벤트 유도 시스템 (Event Driven System)
이 절에서는 본 발명에 따른 이벤트 유도 시스템의 바람직한 실시예에 대해서 기술하고 있으며, 이것에는 애플리케이션 관리자가 한정됨이 없이 포함되며, 그 장치에 의해 동작됨에 따라 본 발명의 시스템과 그 장치 자체와의 사이에서 일어나 는 상호작용들에 대해서 기술하고 있다.
도 4는 본 발명에 따른 전형적인 적응형 시스템(400)과, 이 시스템(400)과 이동 정보 장치(402)와의 상호작용들을 나타낸 개략 블록도이다. 도시된 바와 같이, 바람직하게, 시스템(400)과 이동 정보 장치(402)는 모두 사용자(404)와 상호작용을 한다.
이동 정보 장치(402)는 많은 표준 기능들을 임의로 및 바람직하게 가지며, 도시된 바와 같이 그 기능들은 단지 설명하기 위한 목적으로 2 가지 카테고리(데이터 및 메커니즘들)로 분류된다. 메커니즘들에는 사용자 인터페이스(UI) 시스템(406)(스크린, 키패드 또는 터치스크린 입력부 등)과; 착신 및 발신 호 기능(408)과; 예를 들어 SMS를 위한 메시지 통신 기능(410)과; 착신 호 또는 메시지 및/또는 알람을 사용자(404)에게 알리기 위한 사운드부(412) 및/또는 진동부(414)와; 저장부(416) 등의 기능들이 임의로 포함될 수 있으며, 그러나 이것들에 한정되는 것은 아니다.
데이터에는, 주소록(전화번호부)(418); 착신 또는 발신 호 정보(420)와; 위치(422)와 같은 이동 정보 장치(402)의 위치와; 메시지 정보(424)와; 캐시 인터넷 데이터(426)와; 소유자 데이터(428)와 같은 사용자에 대한 데이터(404) 등이 임의로 포함될 수 있다.
이동 정보 장치(402)는 상술한 데이터/메커니즘들 중 어떠한 하나 이상도 임의로 포함할 수 있으며, 그들 모두를 반드시 포함하지 않아도 되고, 및/또는 도시되지 않은 부가적인 데이터/메커니즘들을 포함할 수도 있다. 이것들은 단순히 이 동 정보 장치(402)와 관련한, 특히 휴대폰을 위한 비한정적 예들로서 의도된 것이다.
본 발명에 따른 적응형 시스템(400)은 적응형 (또한 바람직하게는 사전행동적) 사용자 인터페이스를 제공할 수 있기 위해 이동 정보 장치(402)의 데이터/메커니즘들과 상호작용을 함으로써, 사용자(404)가 이동 정보 장치(402)와 상호작용을 하는데 있어서의 용이함 및 효율을 증가시키게 된다.
바람직하게, 적응형 시스템(400)은 로직(430)을 특징적 요소로서 가지며, 바람직하게 이것은 상술한 학습 모듈과 유사한 방식으로 기능을 하게 되고, 또한 이것은 상술한 인공지능 및 기계 학습 알고리즘들에 따라 임의로 및 바람직하게 동작하게 된다.
로직(430)은 도 1(달리 설명되지 않는 한, 동일한 참조번호로 나타낸 구성요소는 기능이 동일하거나 유사함)을 참조하여 설명된 바와 같이 지식베이스(102)와 통신을 할 수 있는 것이 바람직하다. 바람직하게, 정보 저장부(432)는 이동 정보 장치(402)의 행위들에 대한 데이터와, 사용자 정보 등을 포함하며, 바람직하게는 지식베이스(102) 내의 데이터를 보충하게 된다.
바람직하게, 적응형 시스템(400)은 진화 로직(434)을 통해 진화할 수 있으며, 이것은 도 3의 MutateApp(302)과 진화 모듈(314)의 상술한 기능을 임의로 통합할 수도 있다(도시하지 않음).
임의로, 적응형 시스템(400)은, 언어 모듈(436)에 의해 지원되어, 텍스트 및/또는 가청 언어를 통해 사용자(404)와 직접 통신을 할 수 있다.
또한 임의로 적응형 시스템(400)에 대해서, 사용자(404)는 사용자 인터페이스를 위한 아바타(도시하지 않음)를 임의로 제시받을 수 있다. 그러한 아바타는, 만일 이것이 있다면, 3D 그래픽 모델(438) 및 애니메이션 모듈(440)을 통해 임의로 생성될 수 있다(구체적인 설명은 아래의 설명참조). 임의로, 아바타는 사용자(404)를 위해 개별 맞춤화되어, 이동 정보 장치(402)와 상호작용할 때 사용자(404)를 위한 향상된 감정적 경험을 제공할 수 있다.
도 5a는 전형적인 애플리케이션 관리 시스템(500)의 개략 블록도로서, 이것은 본 발명의 적응형 시스템을 지원하기 위한 핵심적 기반구조에 해당한다. 상술한 바와 같이 또한 이후에 더욱 상세히 설명되는 바와 같이, 시스템(500)은 애플리케이션 기능을 교육시키는 것과 같은 실시예들을 지원하기 위해 임의로 이용될 수도 있다. 시스템(500)은 본 발명에 따른 적응형 시스템의 일부인 다른 형태의 애플리케이션들을 관리하기 위한 애플리케이션 관리자(502)를 특징적 요소로서 갖는 것이 바람직하다. 애플리케이션 관리자(502)는 BaseApp(베이스 애플리케이션)(504)라고 칭하는 애플리케이션 인터페이스와 통신을 하며, 이것은 시스템(500) 내의 모든 애플리케이션에 의해 구현된다. 애플리케이션 관리자(502)와 BaseApp(504)는 모두 EventHandler(506)를 통해 이벤트들을 교환(전달)한다.
애플리케이션 관리자(502)는 시스템 애플리케이션들(시스템(500)의 일부로서의 애플리케이션)의 실행을 위한 런타임을 관리하고 제공하는 역할을 한다. 그러한 애플리케이션들 각각의 라이프 사이클은 BaseApp(504)에서 정의되며, 이것에 의해 애플리케이션 관리자(502)는 그러한 애플리케이션들 각각을 시작, 일시정지 (pause), 재개(resume) 및 종료(정지)시킬 수 있게 된다. 바람직하게, 애플리케이션 관리자(502)는 BaseApp(504)의 인터페이스의 스텝 방법(step method)을 통해 런타임 실행을 관리한다. 임의로 및 바람직하게, 상기 스텝 방법이 상태 보존형(stateful)인 것이 바람직하므로 시스템(500)은 실행을 위해 사용되어, 각 스텝이 하나 이상의 상태들에 (대략적으로) 대응하는 것이 바람직하다는 사실에 주목해야 한다. 하지만 임의로, 실행(execution)은 모든 타입의 실행 방법 및/또는 스레드(threads)에 기초할 수도 있다.
애플리케이션 관리자(502)는 이동 정보 장치로부터 타이머 이벤트를 전달받는다. 아래에 더욱 상세히 기술하는 바와 같이, 바람직하게, 이동 정보 장치는 운영체제를 특징으로 가짐으로써 운영체제 레이어로부터 타이머 이벤트를 전달 받는 것이 바람직하다. 타이머가 호출(invoke)되면, 애플리케이션 관리자(502)는 수행되고 있는 현재 애플리케이션의 스텝을 호출한다. 사용자가 예를 들어 메뉴 시스템을 사용할 때 다른 애플리케이션을 구동시키면 애플리케이션 관리자(502)는 하나의 애플리케이션에서 다른 하나의 애플리케이션으로 전환되는 것이 바람직하다.
이어서, 상기 시스템 애플리케이션의 몇 가지 비한정적 예들을 나타내었으며, 여기에는 몇 가지 비한정적 예로서 도시된 바와 같이 TeachingMachineApp(교육 기계 애플리케이션)(508), MutateApp(돌연변이 애플리케이션)(510), GeneStudioApp(유전자 스튜디오 애플리케이션)(514), TWizardApp(티 마법사 애플리케이션)(516), FloatingAgentApp(부유 에이전트 애플리케이션)(518), TCWorldApp(티씨 월드 애플리케이션)(522) 및 HybridApp(혼성 애플리케이션)(520) 등이 포함되 며, 이것에 한정되는 것은 아니다. 이들 애플리케이션에 대해서는 이후 도 3을 참조하여 더욱 상세히 설명하게 될 것이다.
TCWorldApp(522)는 지능형 에이전트를 동작(run)시키는 애플리케이션이며, 바람직하게는 생물 혹은 아바타의 그래픽 표시와 그 에이전트의 지능형 요소들(intelligent aspects)의 양쪽 모두를 제어한다(이 양쪽 모두에 대해서는 아래에 더욱 상세히 설명함).
TWizardApp(516)은 사용자에게 정보를 제공하는 다른 타입의 애플리케이션이다. 이것에 대해서는 아래의 예 3에서 시작 마법사 애플리케이션(Start Wizard application)과 관련하여 기술되어 있다. 간략하게 기술하면, 이 애플리케이션은 특히 감정형 시스템(이후 더욱 상세히 설명함)과 관련하여 또한 목표 우선순위(goal priorities)를 설정하는 것(이후 더욱 상세히 설명함)과 관련하여 지능형 에이전트의 특성과 같은 인공 지능 프레임워크의 구성 및 사용자 옵션(user preferences)을 포함하고 있다.
FloatingAgentApp(518)는 임의로 및 바람직하게, 특히 (만일 그것이 있다면) 아바타의 모습과 관련하여 사용자 인터페이스의 모습을 제어한다. FloatingAgentApp(518)는 사용자 인터페이스의 화상 표시의 요소들(aspects)이 아바타의 표시와 독립적으로 표시될 수 있도록 하며, 따라서 이것은 예를 들어 사용자 인터페이스 위로 "뜨게" 보일 수 있다. FloatingAgentApp(518)은 동작중인 다른 애플리케이션이 없을 때 구동되는 디폴트 애플리케이션인 것이 바람직하다.
도 5b는 본 발명에 따른 애플리케이션 관리자의 동작들을 나타내는 전형적인 시퀀스 다이어그램이다. 도시된 바와 같이, EventHandler(506)는 화살표 1로 나타낸 것처럼 애플리케이션 관리자(502)에게 이벤트에 대한 통지를 발송하는 것이 바람직하다. 그 이벤트가 타이머 이벤트일 경우에는, 애플리케이션 관리자(502)는 화살표 1.1.1.로 나타낸 바와 같이, 이미 호출된 관련 애플리케이션의 인스턴스의 스텝(행위)을 호출한다. 그 이벤트가 애플리케이션의 실행을 시작시키는 것이라면, 애플리케이션 관리자(502)는 화살표 1.2.1로 나타낸 바와 같이 관련 애플리케이션의 인스턴스를 호출한다. 애플리케이션의 현재 실행중인 인스턴스를 일시정지하고자 한다면, 애플리케이션 관리자(502)는 화살표 1.3.1로 나타낸 바와 같이 그 애플리케이션에게 일시정지 커맨드(pause command)를 전송한다. 애플리케이션의 이미 일시 정지된 인스턴스를 재개(resume)하고자 한다면, 애플리케이션 관리자(502)는 화살표 1.4.1로 나타낸 바와 같이 재개 커맨드를 그 애플리케이션에 전송한다. 어떠한 경우에도, 상술한 관련된 복귀 화살표로 나타낸 바와 같이, 그 스텝의 실행이 성공하면 애플리케이션 관리자(502)로 복귀되어진다. 그리고 애플리케이션 관리자(502)는 EventHandler(506)에게 실행 성공(혹은 실패)에 대해서 통지한다.
이러한 서로 다른 애플리케이션들은 이동 정보 장치 동작의 여러 가지 요소들을 적응형 시스템이 제어할 수 있게 하는데 있어서 중요한 것이다. 하지만 또한 적응형 시스템은 이동 정보 장치의 운영체제를 통해서, 여러 가지 이동 정보 장치의 구성요소들과 직접 통신하는 것이 가능할 필요가 있다. 그러한 통신은 도 6을 참조하여 나타낸 통신시스템(600)을 통해서 임의로 수행될 수 있고, 바람직하게는 후술하는 행위 알고리즘들로 수행된다.
도 6a 및 도 6b는 각각 이동 정보 장치의 운영체제를 통하여 하나 이상의 행위를 수행하기 위해 본 발명에 따른 적응형 시스템에게 필요한 기반구조(infrastructure)의 예를 나타내는 도면(도 6a)과, 통신 시스템(600)의 동작을 위한 시퀀스 다이어그램의 예를 나타낸 도면(도 6b)이다. 본 발명의 임의의 그러나 바람직한 실시예들에 따르면, 이러한 기반구조는 "인공지능 랩퍼(AI wrappers)" 혹은 기존의 UI(사용자 인터페이스) 시스템을 획기적인 인공지능 및 기계 학습 기능들로 "포장(wrap)"하는 능력의 더욱 일반적인 개념의 일례이다.
통신 시스템(600)은 상술한 바와 같은 EventHandler(506)와 통신을 하는 베이스 클래스 이벤트(602)와 함께 다양한 형태의 이벤트들을 처리할 수 있는 것이 바람직하다. 그리고 EventDispatcher(604)는 본 발명의 시스템 내의 올바른 목표물(object)로 이벤트를 라우팅(전송)한다. 라우팅은 특정 이벤트에 대해서 EventDispatcher(604)로 그 목표물을 등록하여 결정되는 것이 바람직하다. EventDispatcher(604)는 그러한 통지를 위하여 EventHandler(506) 인터페이스를 구현하는 핸들러(handler)들의 레지스트리를 관리하는 것이 바람직하다.
임의로 및 바람직하게, 특별한 핸들러들이 구현되는 특정 이벤트들은 "플리퍼(flipper)"를 열어서 그 장치가 작동되거나 착신호(incoming call)가 응답될 수 있게 되는 휴대폰을 위한 플리퍼 이벤트 핸들러(606)를 포함하며, 플리퍼가 열리거나 닫히면 이 이벤트가 발생한다. 본 발명에 따라 동작되는 애플리케이션들은 이벤트들을 서로에게 임의로 보낼 수 있고, 그것들은 ,InterAppEvent 핸들러(608)에 의해 처리되는 것이 바람직하다. 생물 혹은 아바타의 임의의 그러나 바람직한 진화(변화)와 관련된 이벤트는 EvolutionEvent 핸들러(610)에 의해 처리되는 것이 바람직하다. 착신 혹은 발신 전화는 CallEvent handler(612)에 의해 처리되는 것이 바람직하며, 이것은 다시 2개의 추가 핸들러와, 통화를 개시하기 위한 CallStartedEvent 핸들러(614)와, 통화를 종료하기 위한 CallEndedEvent 핸들러(616)를 포함하는 것이 바람직하다.
SMS 이벤트(착신 혹은 발신 메시지)는 SMSEvent 핸들러(618)에 의해 처리되는 것이 바람직하다. 그 이벤트에 포함될 수 있는 임의의 그러나 바람직한 파라미터들은 이후 더욱 상세히 설명하는 바와 같이, 하나의 이동 정보 장치의 생물 혹은 아바타와 다른 이동 정보 장치의 생물 혹은 아바타와의 혼성화(hybridization)와 관련된 파라미터들을 포함한다.
그 키(keys)의 동작에 관련된 이벤트들은 KeyEvent 핸들러(620) 및/또는 KeyCodeEvent 핸들러(622)에 의해 처리되는 것이 바람직하다. 예를 들어, 사용자가 이동 정보 장치 상에서 키를 누르면, KeyEvent 핸들러(620)는 이 이벤트를 처리하며, 이것은 본 발명에 따른 시스템의 동작을 위한 착신 정보(incoming call)와 관련되는 것이다. 그 시퀀스 다이어그램에서, key_event는 클래스 KeyEvent로부터의 객체이며, 이것은 키 이벤트 메시지 객체를 나타내는 것이다. KeyEvent 핸들러(620)는 key_event 자체를 처리하는 반면 KeyCodeEvent 핸들러(622)는 입력 코드에 대해 주의를 기울인다(이 두 가지 입력 이벤트는 그 운영체제에 삽입되는 후크(hook)를 통해 얻어진다.).
BatteryEvent 핸들러(624)는 배터리 부족(low battery), 혹은 그 대신에 저 소비전력 모드에서 고 소비전력 모드로 전환하는 것과 같은 배터리와 관련한 이벤트들을 처리하는 것이 바람직하다.
DayTimeEvent 핸들러(626)는 알람, 캘린더 혹은 리마인더/비지니스 다이어리(reminder/appointment diary) 이벤트들과 관련되는 것이 바람직하다.
도 6b는 이동 정보 장치 운영체제 혹은 다른 제어 구조와 본 발명의 시스템 사이에서 이벤트들이 어떻게 처리되는지를 나타내는 전형적인 시퀀스 다이어그램이다. 이 예에서, 상기 이동 정보 장치는 운영체제를 포함하고 있지만, 그러한 운영체제를 갖추지 못한 장치들을 위해 그와 유사한 동작 플로우가 임의로 구현될 수 있다. 만약 그것이 있다면, 운영체제는 상기 장치에 대한 입출력을 처리하며, 그 장치를 위해 발생하는 상태 및 이벤트들을 관리한다. 도 6b에서의 시퀀스 다이어그램은 그러한 이벤트들에 대한 (그리고 그들과 관련된) 처리를 용이하게 하기 위해 추상화(abstraction)한 것이다.
운영체제 모듈(os_module)(628)은 이벤트를 발생시키거나 그와 관련된 것으로, 임의로 그러한 모듈이 복수 개 존재할 수 있으며, 명확히 하기 위해 도면에는 하나만 나타내었지만 이것은 어떠한 방식으로도 한정하고자 하는 것은 아니다. 운영 체제 모듈(628)은 이동 정보 장치의 운영체제의 일부이다. 운영체제 모듈(628)은 운영 체제 모듈(628)에 의해 수신되었는지 생성되었는지 여부의 이벤트에 대한 통지를 후크(630)에 전송하는 것이 바람직하다. 후크(630)는 본 발명에 따른 시스템의 일부로서, 본 발명에 따른 시스템과 운영체제 사이의 통신을 허용하기 위해 사용된다. 후크(630)는 운영체제로부터의 이벤트를 해석할 수 있고, 이벤트(602)에게 이해될 수 있는 메시지 내에 이벤트를 구성할 수 있다. 후크(630)는 EventDispatcher(604)에 그 이벤트를 발송하기도 하며, 이것은 (그러한 핸들러가 복수 개 존재할 수 있으나) EventHandler(506)로 도시한 그 이벤트를 위한 각 핸들러와 통신을 한다. 그리고 EventDispatcher(604)는 후크(630)에 보고하며, 이것은 그 이벤트의 처리에 대해서 운영체제 모듈(628)에게 보고한다.
도 7a 내지 도 7c는 전형적인 이벤트들을 나타낸 것으로, 그 이벤트들이 (이동 정보 장치의 운영체제를 통해) 이동 정보 장치와 본 발명의 시스템과 사이의 상호작용들에 의해 어떠한 방식으로 처리되는 지를 나타내 도면이다. 이동 정보 장치와 연관하지 않으면서, 몇 가지 이벤트들이 본 발명의 시스템 내에서 임의로 처리될 수 있다는 점을 유념해야 한다.
도 7a는 퀄컴사의 MSM (Messaging State Machine) CDMA (Code Division Multiple Access) 이동 플랫폼을 위한 퀄컴사의 DMSS 운영체제 기반구조를 갖는 이동 정보 장치에 따라 기술된 전형적인 키 이벤트 시퀀스 다이어그램을 나타낸 것이다. 이 운영체제는 전화키(키패드)를 사용하여 입력된 대화형 입력(interactive input), I/O 서비스 및 사용자 인터페이스 서비스와 같은 운영체제 서비스를 제공한다. 이 예는 본 발명의 시스템에 의해 키로부터의 입력 이벤트가 어떻게 생성되고 처리되는지를 보여주고 있다. 다른 이벤트들은 거의 동일한 방식으로 상기 시스템에 전송되지만, 후크(630)의 기능은 그 이벤트를 전송하고 있는 운영 체제 모듈에 따라 변경되며, 임의로 및 바람직하게, 그러한 후크가 복수 개 존재하여 후크 가 각각 운영체제와의 상호작용과 관련한 서로 다른 기능을 가지고 있다.
도 7a에 나타낸 바와 같이, ui_do_event 모듈(700)은 상기 운영체제의 구성요소로서 주기적으로 호출된다. 상기 이동 장치의 키가 눌려지면, 정보를 ui_do_event 모듈(700)에 전송하는 사용자 인터페이스(UI) 구조는 그 키의 값을 포함하게 된다. 그러면 후크(630)는 그 키 값을 수신하고, (특히 ui_do_event 모듈(700)이 글로벌 이벤트를 발송(dispatch)하면) 임의로 및 바람직하게 그 이벤트를 키 이벤트로서 식별하게 되고, 키 이벤트(702)를 생성한다. 이어서, 그 이벤트는 바람직하게는 상술한 바와 같은 이벤트 핸들러(도시하지 않음)를 통하여, 그러한 이벤트에 대한 통지의 수신을 요청한 애플리케이션(704)으로 전송된다. 이어서, 바람직하게, 그 이벤트의 처리 중에 성공 (혹은 실패)의 통지가 EventDispatcher(604)로 다시 되돌아가게 되어, 후크(630)와 ui_do_event 모듈(700)로 전달되게 된다.
도 7b는 이벤트를 처리하기 위한 시퀀스 다이어그램의 제2 구체 예를 나타낸 것으로, 이 경우 그 이벤트는 본 발명에 따른 시스템으로부터 전달되고, 이동 정보 장치의 스크린 상의 그림(drawing)과 관련된다. 정보는 스크린이 (주로) 프레임 버퍼에 의해 표현되는 운영체제의 스크린 엑세스 방법을 통해 전달된다. 이 프레임 버퍼는 스크린 드라이버를 이용하여 카피되고 그 스크린에 의해 표시되는 메모리 세그먼트이다. 본 발명의 시스템은 운영체제에게 스크린 상의 그림을 제어하기 위해 필요한 정보를 발생시킨다.
도 7b를 다시 참조하면, 화살표 1로 나타낸 바와 같이, (scrn_update_main 모듈(710)을 통하여) 운영체제는 우선 스크린을 위하여 프레임 버퍼를 갱신한다. 이 갱신은 예를 들어 임의로 백그라운드를 그리는 것과 연관될 수 있으며, 이것은 본 발명의 시스템에 의해 제공된 정보로부터의 데이터가 그려지지 않은 스크린의 모든 부분에 표시될 수 있다. 임의로, 그러한 백그라운드가 있음으로써 반투명 윈도우(semi-transparent windows)의 사용을 지원하게 되며, 이것은 아래에 더욱 상세히 기술되는 바와 같이 생물 혹은 에이전트를 위해 임의로 및 바람직하게 이용될 수 있다.
그러면, Scrn_update_main 모듈(710)은 갱신된 데이터를 위한 요청을 스크린 모듈(712)에게 전송하며, 이것은 본 발명의 시스템의 일부로서 운영체제와 통신하기 위한 후크를 특징으로 갖는다. 이어서 스크린 모듈(712)은 스크린에 그려져야 하는 것에 대한 갱신된 정보를 위해서 각 애플리케이션 윈도우(도면에는 agentWindow(에이전트 윈도)(714)로 나타내었고 임의로 복수 개가 있을 수 있음)에게 요청을 전송한다. 변경이 발생하여 갱신이 필요하면, agentWindow(714)는 갱신이 필요하다는 것을 스크린 모듈(712)에게 통지한다. 그러면 스크린 모듈(712)은 변경된 부분의 위치 및 크기를 바람직하게 두 번의 별개의 요청(화살표 2.1.2.1 및 2.1.2.2로 각각 도시함)으로 요구하게 되며, 그것에 대해서는 응답이 agentWindow(714)에 의해 전송된다.
스크린 모듈(712)은 (바람직하게는 다음과 같이) 갱신된 직사각형 형태로 그 정보를 scrn_update_main(710)을 통하여 운영체제에 반송한다. Scrn_update_main(710)은 프레임 버퍼를 프리 버퍼(pre-buffer)에 카피함으로써 갱 신이 있다는 것에 대한 통지에 응답한다(과정 3.1). 그러면 스크린 모듈(712)은 화살표 3.2.1로 나타낸 것처럼 프리 버퍼에 각 윈도우에 대한 변경들을 그려 넣는다. 이어서 프리 버퍼가 프레임 버퍼에 카피되고 이에 따라 스크린에 카피된다(화살표 3.3).
도 7c는 스크린상에 그리기 위한 본 발명의 시스템을 위한 클래스 아키텍처를 나타낸 것이다. 스크린 모듈(712) 및 agentWindow(에이전트 윈도)(714)를 모두 도시하였다. 그 클래스 agentWindow(714)도 세 개의 다른 윈도우 클래스들과 통신을 하며, 이것들은 BackScreenWindow(백스크린 윈도)(716), BufferedWindow(버퍼 윈도)(718) 및 DirectAccessWindow(직접 엑세트 윈도)(720) 등의 윈도우의 갱신(또는 변경)에 관한 정보를 제공한다. BufferedWindow(718)는 그 자체와 통신을 하는 TransbufferedWindow(트랜스 버퍼 윈도)(722) 및 PreBufferedWindow(프리 버퍼 윈도)(724) 등의 2개의 윈도우 클래스를 추가로 가진다.
제1 절: 행위 선택 시스템(Action Selection System)
이 절에서는 인센티브(들)/행동억제요인(들)에 따른 임의의 행위 선택 등을 포함하는 (그것에 한정되는 것은 아님) 본 발명에 따른 행위 선택 시스템의 바람직한 실시예에 대해서 기술하기로 한다. 지능형 에이전트의 행위가 어떻게 선택되는지에 대한 설명을 돕기 위해서, 본 발명의 시스템에 의해 바람직하게 제공되는 가상 환경과의 지능형 에이전트의 상호작용과 지능형 에이전트의 구조에 대해서 우선 설명하기로 한다.
도 8a는 지능형 에이전트의 구성 예를 나타낸 것이고, 도 8b는 그 지능형 에이전트의 동작에 대한 시퀀스 다이어그램의 예를 나타낸 도면이다. 도 8a에 나타낸 바와 같이, 지능형 에이전트(800)는 복수의 클래스를 포함하는 것이 바람직하다. 메인 클래스는 AICreature(인공지능 생물)(802)이고, 이것은 그 상태, 성격, 목표 등과 같은 지능형 에이전트에 대한 정보를 포함하며, 또한 위치, 색깔 및 현재 볼 수 있는지 여부 등의 그 에이전트를 시각적으로 나타내는 생물의 모습에 대한 정보를 포함한다.
AICreature(802)는 World(세계)(804)와 통신을 하며, 이것은 지능형 에이전트용 가상 환경을 위한 기초 클래스이다. 또한 World(804)는 가상 환경을 포함하는 클래스들과 통신을 하며, 그것에 대한 몇 가지 비한정적 예를 도시하였다. 바람직하게, World(804)는 WorldObject(세계 객체)(806)의 여러 가지 인스턴스들(instances)과 통신을 하며, WorldObject(806)는 가상 환경에서 발견되는 객체를 나타내며 지능형 에이전트와 상호작용을 할 수 있는 것이다. World(804)는 그러한 서로 다른 객체들을 관리하며 또한 그들에 대한 위치 등의 속성(property)을 포함하는 특성(characteristics)에 대한 정보를 수신한다. 또한 World(804)는 스스로 크기 및 가시성(visibility) 등의 가상 환경의 속성들을 관리한다. WorldObject(806)는 2차원 혹은 3차원 그래픽 혹은 그것들이 혼재된 것을 임의로 이용할 수 있고, 또한 소리 생성 등의 이동 정보 장치의 다른 기능들을 임의로 이용할 수도 있다.
WorldObject(806)는 스스로 몇 개의 클래스들 중 하나에 속하는 객체를 임의 로 나타낼 수 있다. 이러한 추상화(abstraction)는 서로 다른 객체 클래스들이 가상 환경에 추가되거나 그것으로부터 제거될 수 있도록 한다. 예를 들어, 임의로 상기 객체는 MenuBallObject(메뉴 공 객체)(808)에 의해 표현된 바와 같이 예를 들어 메뉴의 일부로서 시작될 수 있는 "공"이 될 수 있고, 그 공을 갖고 놀기 위해 생물에 의해 "제거"될 수 있다. 바람직하게, GoodAnimalObject(좋은 동물 객체)(810)도 WorldObject(806)와 통신을 하며, 그리고 바람직하게 (생물을 위한 음식을 나타내는) FoodObject(음식 객체)(812)와, (생물을 화나게 하여 예를 들어 싸움을 하게 할 수 있는 동물을 나타내는) BadAnimalObject(나쁜 동물 객체)(814)와, (그 생물을 위한 집) HouseObjct(집 객체)(816) 등의 클래스들은 GoodAnimalObject(810)와 통신을 한다. GoodAnimalObject(810)는 스크린 상의 객체 등을 그릴 수 있는 기능을 포함하며, 이 때문에 바람직하게 다른 클래스들 및 객체들이 GoodAnimalObject(810)와 통신을 하는 것이다. 물론, 예를 들어 그 생물에 다른 완구(toy)들이 제공될 수 있으므로 이 시스템에서는 다른 많은 클래스 및 객체들이 가능하다.
임의로 및 바람직하게, WorldObject(806)는 예를 들어 그 상태에 등급화된 입력(graded input)을 제공함으로써, 지능형 에이전트의 상태와 관련될 수도 있다. 바람직하게, 이 입력은 지능형 에이전트에게 인센티브를 제공하거나 행동억제요인을 제공한다는 의미에서 등급화되며, 또한 그것은 중성적 영향(neutral influence)을 줄 수도 있다. 바람직하게, 그러한 등급화된 복수개의 입력들을 집계(aggregation)함으로써 지능형 에이전트의 상태가 결정되게 된다. 도 8a의 시퀀스 다이어그램과 도 9a 및 도 9b 각각의 그래프 탐색 방법 및 행위 선택 방법 다이어그램을 참고하여 기술된 바와 같이, 바람직하게 가상 환경으로부터 지능형 에이전트로 부여되는 보상을 최대화하기 위하여 등급화된 입력들이 집계되어진다.
그러한 등급화된 입력들은 장려 혹은 방해 피드백(encouraging or discouraging feedback) 형태의 사용자로부터의 입력을 임의로 포함할 수도 있어, 지능형 에이전트는 피드백이 제공되어진 행동을 계속하는 것에 대한 인센티브 혹은 행동억제요인을 각각 갖게 된다. 사용자로부터의 피드백에 대한 세계 상태에 대한 계산을 임의로 및 바람직하게 다음과 같이 수행할 수 있다:
Grade = (weighting_factor * feedback_reward) + ((1-weighting_factor)* world_reward))
이 식에서, feedback_reward(피드백_보상)는 사용자에 의해 제공된 피드백에 의한 것이고, world_reward(세계_보상)는 상술한 바와 같은 가상 환경으로부터의 집계된 총 보상이며, weighting_factor(가중_인수)는 바람직하게 및 임의로 0과 1 사이의 값으로 가상 환경(세계) 피드백과 반대되는 사용자 피드백의 가중치(weight)를 나타내는 것이다.
에이전트의 행동에 보상에 대한 비한정적인 예로서, 에인전트의 제안에 대한 긍정적 또는 부정적 피트백, 에이전트에게 공 또는 음식과 같은 World Object의 제공, 전화 사용시간, 사용자가 교육을 받은 시간 등을 들 수 있다. 이 예에서 각각 소정의 점수가 부여될 수 있고, 축적된 점수에 따라 에이전트의 행동을 확장 또는 제한할 수 있다. 예를 들어 사용자의 긍정적 피드백은 +1점, 부정적 피드백은 -1 점, 적(enemy or bad animal)과 조우는 -20점, 음식, 장난감 또는 집 Object 획득은 +5점, 배터리 로(low) 알람은 -1점, 에이전트의 사용자에 대한 교육에 정답은 +1점, 오답은 -1점, 액션없음(no action) 상태의 20분 지속이면 -1점, 잘못된 전화 -1점, SMS 사용은 +1점 등으로 정할 수 있으나, 이상의 예는 달리 적용할 수 있다.
도 8b는 본 발명의 지능형 에이전트와 가상 세계 사이의 일련의 상호작용들의 예를 나타낸 전형적인 시퀀스 다이어그램이다. 이 시퀀스는 지능형 에이전트의 상태(status)에 대한 갱신을 위해서 가상 세계 모듈(818)로부터 AICreature(812)로의 요청으로 시작된다. 가상 세계 모듈(818)은 스스로 지능형 에이전트를 포함하여 전체 가상 환경을 제어 및 관리한다.
그리고 지능형 에이전트는 화살표 1.1.1로 나타낸 바와 같이 행위를 수행할 것인지를 고려한다. 그 행위는 바람직하게 세계(804) 및 세계객체(806)와 상호작용함으로써, 모든 세계 객체를 통하여, 이어서 순환적(recursive)으로 각 객체를 위한 모든 행위를 통하여 탐색(화살표 1.1.1.1)을 거쳐 선택된다. 각 행위에 대한 잠재적 보상이 구해지며(화살표 1.1.1.1.1.1), 등급화된다(화살표 1.1.1.1.1.1.2). 최고의 보상값을 갖는 행위가 선택된다. 그 다음으로 지능형 에이전트를 위한 전체적 등급이 결정되고 AICreature(802)는 선택된 행위를 수행한다.
이어서, Virtual_world(가상_세계)(818)는 World(804) 및 WorldObject(806)와 통신을 함으로써 세계 안의 모든 객체들의 위치 및 상태를 갱신한다.
여러 가지 잠재적 행위들에 대한 검색이 하나 이상의 다수의 서로 다른 방법에 따라 임의로 수행될 수 있다. 도 9a 및 도 9b는 본 발명에 따른 행위를 선택하 기 위한 2개의 전형적인 방법을 나타낸 것이다.
도 9a는 행위를 선택하기 위한 규칙 기반 방식이라고 하는 행위 선택 방법의 예를 나타낸다. 단계 1에서, 가상 환경의 상태(status)가 World state(세계 상태)에 의해 결정된다. World Event(세계 이벤트)가 발생한 후, 그 이벤트에 적절한 State Handler(상태 핸들러)가 단계 2에서 호출된다. 상태 핸들러는 단계 3에서 지식 베이스에게 문의를 한다. 임의로, 이 지식베이스는 호출된 상태 핸들러에 따라 별개의 섹션들 및/또는 별개의 지식 베이스들로 분할될 수 있다. 단계 4에서, 응답이 상태 핸들러에게 전달된다.
단계 5에서, 규칙 기반 유효성 판단(validation)이 수행되며, 이때 상기 응답(과 그에 따른 지능형 에이전트를 특정 상태가 되도록 하는 제안된 행위)이 그 규칙들과 비교된다. 그 행위가 유효하지 않다면, 처리는 단계 1로 복귀된다. 행위가 유효하다면, 단계 6에서 그 행위가 생성된다. 그 후 그 행위에 대한 우선순위(이후 도 9c를 참고로 하여 더욱 상세히 설명하기로 함)가 단계 7에서 바람직하게 결정되며, 더욱 바람직하게는 그 우선순위는 복수의 입력들에 따라 결정되며, 그 입력들에는 행위 확률(probability), 행위 유틸리티 및 사용자 성향(user preference)이 포함되며 이것에 한정되는 것은 아니다. 단계 8에서 그 행위는 행위 관리자를 위해 큐(대기행렬)(queue)에 배치된다. 단계 9에서, 행위 관리자는 최고 우선순위 행위를 독출하고, 그 독출된 행위는 단계 10에서 지능형 에이전트에 의해 수행된다.
도 9b는 그래프 탐색 방법에 따른 전형적인 행위 선택 방법을 나타낸 것이 다. 다시, 단계 1에서 세계의 상태(가상 환경)를 결정함으로써 프로세스가 시작되게 되며, 세계의 상태에는 그 세계 내에 있는 객체들의 상태 및 지능형 에이전트의 상태가 포함된다. 단계 2에서, 지능형 에이전트가 조회(query)된다. 단계 3에서, 지능형 에이전트는 각 세계 객체를 위한 일련의 (허용된 혹은 가능한) 법적 행위들을 얻게 되고, 바람직하게 각 세계 객체가 도시된 바와 같이 조회된다.
이제, 상기 방법은 2개 부분으로 갈라지게 된다. 첫 번째 부분에서는, 오른쪽에 나타낸 바와 같이, 각 행위 경로(action path)를 위해 수행된다. 단계 4에서, 수행될 행위가 모의(simulated)된다. 단계 5에서, 그 시뮬레이션의 효과(effect)가 그 세계를 위해 결정되고, 단계 6에서 바람직하게 각 세계 객체를 위해 결정된다. 단계 7에서, 각 행위의 효과를 위해 등급이 결정된다.
단계 8에서, 행위의 전체 축적된 보상과 같이, 객체들의 상태 및 그에 따른 세계의 상태가 결정된다. 단계 9에서, 행위의 효과가 지능형 에이전트에 대해서 모의되고, 바람직하게 단계 10에서 각 세계 객체와 지능형 에이전트 사이의 효과도 고려된다.
이제 상기 방법의 왼쪽 부분에 대해서 살펴보면, 단계 11에서, 바람직하게 이러한 정보가 모두 최고 보상을 갖는 행위 경로를 결정하는 데 이용된다. 단계 12에서, 행위가 생성된다. 단계 13에서, 바람직하게 행위 등급 또는 보상에 따라 행위 우선순위가 설정된다. 단계 14에서, 행위는 도 9a의 경우와 같이 행위 관리자에서 큐에 배치된다. 단계 15에서, 그 행위가 우선순위에 따라 행위 관리자에 의해 고려되어지며, 우선순위가 가장 높은 행위가 선택되어져서 단계 16에서 바람 직하게 수행되게 된다.
다음으로, 전형적인 행위 실행 방법 및 구조에 대해서 기술하기로 한다. 도 10은 본 발명에 따른 전형적인 행위 실행 방법의 시퀀스 다이어그램을 나타낸 것이다. 핸들러(1000)는 화살표 1로 나타낸 것처럼 행위 모듈(1002)에게 행위를 위한 목표(goal)를 전송하고, 모듈(1002)은 베이스 행위 인터페이스를 특징으로 갖는 것이 바람직하다. 이 베이스 행위 인터페이스는 행위 모듈(1002)로 하여금 핸들러(1000)와 통신을 하고 또한 시스템의 다른 객체들과 통신을 할 수 있도록 하며, 이것들은 여기에서는 FloatingAgentApp(부유 에이전트 애플리케이션)(1006)으로 나타낸 지능형 에이전트에 의한 추후 실행을 위해 행위들을 생성하고 배치(post)하는 것이 가능하다. 이들 행위는 행위 관리자(1004)에 의해 관리된다.
행위 관리자(1004)는 행위 객체들을 포함하는 2개의 큐를 가지고 있다. 그중 하나의 큐는 실행 준비 완료상태 큐(ready for execution queue)이며, 다른 하나는 실행 계류상태 큐(pending for execution queue)이다. 두 번째(후자) 큐는 예를 들어 행위가 생성되었을 때 사용될 수 있는데, 그 행위의 내부 상태는 계류상태이어서 그 행위는 실행을 위해 준비되지 않은 상태이다. 그 행위가 실행 준비가 완료되도록 성숙되어지면, 그 행위는 상기 실행 준비 완료상태 큐로 이동되는 것이 바람직하다.
애플리케이션 관리자(1008)는 화살표 2로 나타낸 바와 같이 행위를 실행하기 위해 FloatingAgentApp(1006)과 상호작용을 하는 것이 바람직하다. 그리고 나서 FloatingAgentApp(1006)는 행위 관리자(1004)에게 다음 행위를 요구하는 것이 바람 직하며(화살표 2.1), 그 행위 자체는 행위 모듈(1002)에 의해 제공되는 것이 바람직하다(화살표 2.2.1). 바람직하게, 행위들은 핸들러(1000)로부터 행위 관리자(1004)로 대기상태(enqueued)가 된다(화살표 3). 바람직하게, 목표(goal) (및 그에 따른 우선순위의 적어도 일부분)는 핸들러(1000)와 행위 모듈(1002) 사이의 통신에 의해 각 행위를 위해 설정된다(화살표 4). 화살표 5 및 6은 아래에 더욱 상세히 설명하는 "harakiri()" 방법을 나타내고 있다.
전술한 바와 같이, 그 행위들은 우선순위 순서에 따라 대기상태(queued)가 되는 것이 바람직하다. 우선순위는 행위 관리자(1004)에 의해 행위 모듈(1002)의 인터페이스에 대한 조회를 통하여 결정되는 것이 바람직하다. 바람직하게, 행위의 우선순위는 복수의 파라미터들을 포함하는 계산에 따라 결정된다. 예를 들어, 바람직하게 이 파라미터들에는 상기한 생성되는 객체에 의해 도출 혹은 추론된 것으로서의 우선순위를 포함하며, 더욱 바람직하게 이것은 행위의 성공을 위한 예측된 확률(predicted probability)과; 그러한 타입의 행위에 의한 과거 경험에 따라 (예를 들어 사용자의 수요 및 행위 성공에 따라) 결정되는 것이 바람직한 그러한 타입의 행위의 지속적 우선순위(persistent priority)와; 사용자 성향(user preferences)에 따라 결정되는 것이 바람직한 목표 우선순위(goal priority) 등을 기초로 한다.
상기 파라미터들을 관리하기 위한 한 가지 임의의 계산은 다음과 같다:
P(all) = P(action probability) * ((P(persistent priority) + P(action goal)/10))/2)
우선권(우선순위)에 기초한 행위 실행에 대한 보완으로, 각 행위는 생존시간(Time To Live(ttl))이라는 기간을 참조가능(referable)하게 가지며; 이 ttl 값은 행위가 상기 준비 완료상태 큐에 배치된 때와 이 행위의 종료시간 사이에 경과된 실행 시간의 양을 가리킨다. 행위가 준비 완료상태에 있지만 그 ttl이 종료된 때까지 실행 우선권(priority)을 전달받지 않은 경우, 행위 관리자(1004)는 상기 방법 harakiri()를 호출하는 것이 바람직하고, 이것은 그 행위에게 그것이 실행되지 않을 것이라는 것을 통지한다. 그러한 harakiri()의 호출은 각각 기준치(threshold)에 도달될 때까지 행위의 우선순위를 감소시키는 것이 바람직하다. 이 기준치에 도달된 후에는, 지속적 우선순위가 증가하기 시작한다. 이러한 모델은 제안 혹은 실행되었으나 사용자가 그 행위를 중단하여 실패된 행위들을 처리하도록 동작한다. 상기 지속적 우선순위는 행위 우선순위 계산에 과거 경험을 포함시킴으로써 감소하게 된다.
이러한 방법은 제안 혹은 실행된 행위들이 실행시에 특정 사용자의 비명시적인 성향에 어떠한 방식으로 적응되는지를 보여주고 있다.
행위의 지속적 우선순위가 감소하여 그 행위가 동작하지 않을 경우에, 예를 들어 사용자가 변경을 선호하면, 그것이 제거되거나 혹은 (그밖에 가능하게는) 다시 동작하는 것이 허용될 필요가 있기 때문에, 이러한 모델은 harakiri() 메커니즘이 없으면 완전하지 못하다. harakiri()의 몇 가지 실행들 이후에, 그 행위가 동작하기 위한 우선순위를 다시 회복할 수 있다.
상술한 절들(Sections)에서는, 여러 가지 행위들 및 메커니즘이 본 발명의 적응형 시스템을 통해 실행될 수 있도록 하는 기반구조를 제시하고 있다. 이들 행위 및 메커니즘에 대해서 아래에 더욱 상세히 설명할 것이다.
제2절: 감정형 시스템(Emotional System)
이 절에서는 본 발명에 따른 감정형 시스템의 바람직한 실시예를 기술하고 있으며, 특정한 감정들 및 그 감정들의 정도(intensities)에 대한 설명이 포함되어 있으나 이것에 한정되는 것은 아니며, 바람직하게 그것들은 서로 결합되어 전체적 기분(mood)을 형성한다. 또한 바람직하게 상기 감정형 시스템은 기분이 변경되도록 하기 위한 것일 뿐만 아니라 예를 들어 변화율과 같은 그러한 변화의 하나 이상의 측면을 임의로 제어하기 위한 메커니즘을 포함한다.
도 11a 내지 도 11c는 본 발명에 따른 전형적인 감정형 시스템의 구현예를 기술하기 위한 다이어그램들을 특징으로 하는 도면이다. 도 11a는 본 발명에 따른 감정형 시스템을 위한 전형적인 클래스 다이어그램을 나타낸 도면이고, 반면에 도 11b 및 도 11c는 본 발명에 따른 감정형시스템의 동작을 위한 전형적인 시퀀스 다이어그램을 나타낸 도면이다.
본 발명에 따른 감정형 시스템(1100)에 대해서 나타낸 바와 같이, 목표 클래스(goal 1102)는 지능형 에이전트의 추상적 목표(abstract goal)를 나타낸다. "목표(goal)"란 지능형 에이전트가 행위를 수행하여 성취하고자 하는 무엇을 말한다. Goal(1102)은 그 목표의 상태와 그 이행 가능성(chances of fulfillment)과 관련된 소정의 이벤트들에 기초하여 감정들을 생성하는 역할을 한다.
Goal(1102)은 AICreature(802)와 상호작용을 한다(도 8을 참고로 상술함). 이들 상호간섭들에 대해서는 아래에 더욱 상세히 기술되어 있다. 요약하여 설명하면, 인공지능 에이전트는 목표들을 이행하려고 하여, 목표들이 이행되었는지 여부를 판단하기 위해 AICreature(802) 사이의 상호작용들이 필요하며, 이것은 다시 지능형 에이전트의 감정적 상태에 영향을 주게 된다.
감정적 상태 자체는 클래스 EmotionalState(1104)에 의해 처리되며, 그리고 이것은 클래스 Emotion(1106)과 연결되어 있다. Emotion(1106) 자체는 노함 클래스 AngerEmotion(1108) 및 즐거움 클래스 JoyEmotion(1110)과 같은 특정 감정들을 위한 클래스들과 연결되어 있는 것이 바람직하다. EmotionalState(1104)도 BehavioralPatternMapper(행동 패턴 매퍼)(1112), 즉, 행동의 패턴을 결정하는 클래스와 연결되어 있는 것이 바람직하다.
바람직하게, 사전행동적 사용자 인터페이스가 에이전트의 감정을 생성하는 것은 에이전트의 추상적 목표에 대한 성공 가능성(Likelihood Of Success: LOS)이 증가 혹은 감소할 때 또는 실패 가능성(Likelihood Of Fail: LOF)이 증가 혹은 감소할 때 감정형 시스템을 통하여 수행된다. 그 성공 가능성이 증가하면, 희망적 감정(hope emotion)이 바람직하게 생성된다. 성공 가능성이 감소하면, 절망하는 감정(despair emotion)이 바람직하게 생성된다. 실패 가능성이 증가하면, 두려운 감정(fear emotion)이 바람직하게 생성되며, 실패 가능성이 감소하면, 즐거운 감정(joy emotion)이 바람직하게 생성된다.
목표의 성공 혹은 실패는 생성된 감정들과 목표 상태에 상당한 영향을 준다. 목표가 실패하면, 절망감이 바람직하게 생성되며, 성공 가능성이 높았다면, 좌절감(frustration)도 바람직하게 생긴다(그 이유는 성공 기대감이 컸기 때문이다).
목표가 성공하면, 즐거움이 바람직하게 생기며, 기대감과 축적된 성공이 높았다면 자존심(pride)이 바람직하게 생긴다.
Emotion(1106)은 메이저와 마이너 타입의 2가지 성질(property)을 갖는 구조이다. 메이저 타입은 경한 감정(minor emotion)이 속하게 되는 상위 레벨 그룹을 기술하는 것으로, 바람직하게는 POSITIVE_EMOTION(긍정적_감정)과 NEGATIVE_EMOTION(부정적_감정)을 포함한다. 마이너 타입에는 바람직하게, 즐거움(JOY), 희망(HOPE), 흡족함(GLOAT), 자존심(PRIDE), 좋아함(LIKE), 노함(ANGER), 미움(HATE), 두려움(FEAR), 좌절(FRUSTRATION), 고민(DISTRESS), 실망(DISAPPOINTMENT)이 포함된다. 감정의 다른 성질들로는 생성될 때 주어진 그 정도(intensity)와, 쇠퇴 방식(decay policy)(즉, 감정의 변화율)이 있다.
감정 생성 이후의 다음 단계는 지능형 에이전트에 의해 시간의 경과에 따라 생성되었던 감정들을 축적하는 감정적 상태(EmotionalState) 클래스(1104)에 의해 수행된다. 이 클래스는 지능형 에이전트의 현재 감정적 상태를 정의하는 감정 인스턴스들을 수집한 것을 나타낸다. 바람직하게, 현재 감정적 상태는 감정 타입의 계층을 유지함으로써 정의되며, 그 감정 타입들은 집계(aggregation) 및 상관(correlation)에 의해 일반화 된다. 예를 들어, 마이너 감정들은 모아져서 POSITIVE_EMOTION을 위한 스코어와 NEGATIVE_EMOTION을 위한 스코어로 되는 것이 바람직하며, 이들 2가지 분류는 GOOD/BAD MOOD(좋은/나쁜 기분)에 상관되어지는 것 이 바람직하고, 이것은 지능형 에이전트의 전체적 기분을 기술하게 된다.
EmotionalState 클래스(1104)는 지능형 에이전트 플로팅 애플리케이션에 의해 조회되며; (상술한 모델에서 생성되고, 쇠퇴되고 일반화된 감정들에 의해) 지배적인 행동 패턴이 변화할 때마다, 지능형 에이전트는 바람직하게 그 감정적 상태를 표현하고 그 행동 패턴에 따라 행동한다. 임의로 및 바람직하게, 지능형 에이전트는 텍스트 통신 엔진(이후 더욱 상세히 설명함)과, 3차원 애니메이션과, 얼굴 표정과, 2차원 활동 효과 (animated effects) 및 사운드 중 하나 이상을 이용하여 그 감정적 상태를 표현한다.
도 11b는 본 발명에 따른 감정형 시스템에 의해 감정을 생성하기 위한 전형적인 시퀀스 다이어그램을 나타낸 것이다. 도시된 바와 같이, 애플리케이션 관리자(502)(도 5를 참고로 더욱 상세히 설명됨)는 화살표 1로 나타낸 바와 같이 스텝을 FloatingAgentApp(부유 에이전트 애플리케이션)(1006)(도 10을 참고로 더욱 상세히 설명됨)에게 전송한다. 그리고 나서 FloatingAgentApp(1006)는 화살표 1.1에서처럼 목표 클래스(1102)를 조회함으로써 실패가능성(Likelihood Of Failure: LOF)을 결정한다. 그리고 Goal(1102)은 그 실패 가능성을 결정하며; 새로운 실패 가능성이 이전에 결정된 실패 가능성보다 클 경우에는, 화살표 1.1.1.1에서처럼 감정 클래스(1106)에 요청을 하여 두려움이 바람직하게 생성된다. 이 두려운 감정도 EmotionalState(1104)와의 통신에 의해 감정적 상태에 추가된다.
다음으로, 애플리케이션 관리자(502)는 또 다른 스텝(화살표 2)을 FloatingAgentApp(1006)에게 전송하며, 이것은 화살표 2.1에서처럼 다시 Goal(1102)에게 조회를 하여 성공 가능성(Likelihood of Success: LOS)을 결정한다. 이어서 Goal(1102)은 그 성공 가능성을 결정하고; 만약 그 새로운 성공 가능성이 이전에 결정된 성공 가능성보다 큰 경우에는, 화살표 2.1.1.1에서처럼 감정 클래스(1106)에 요청하여 희망감이 바람직하게 생성된다. 이 희망적 감정도 화살표 2.1.1.2에서처럼 EmotionalState(1104)와의 통신에 의해 감정적 상태에 추가된다.
화살표 3은 FloatingAgentApp(1006)에 또 다른 스텝을 전송하는 애플리케이션 관리자(502)를 나타낸 것으로, 이것은 행위의 실제 성과에 따라 감정의 결정을 요청한다. 만약 그 행위가 실패하였고, 마지막 성공 확률이 0.5 등의 소정 인수보다 크다면(이것은 성공할 것으로 기대되었음을 의미함), FloatingAgentApp(1006)은 화살표 3.1.1.1에서처럼 Goal(1102)로 하여금 Emotion(1106)에 의해 생성된 절망감을 갖도록 한다. 이 절망적 감정도 화살표 3.1.1.2에서처럼 EmotionalState(1104)와의 통신에 의해 감정적 상태에 추가된다. 또한 (바람직하게는 성공 기대감과 무관하게) 행위가 실패하였으면, 화살표 3.1.2에서처럼 Emotion(1106)에 의해 고민이 바람직하게 생성된다. 이 고민 감정도 화살표 3.1.3에서처럼 EmotionalState(1104)와의 통신에 의해 감정적 상태에 추가된다.
다음으로, 애플리케이션 관리자(502)는 또 다른 스텝(화살표 4)을 FloatingAgentApp(1006)에게 전송하며, 이것은 화살표 4.1에서처럼 목표(1102)에게 메시지를 전송함으로써 실제 성공에 기초하여 감정을 갱신하게 된다. 이어서, 바람직하게, 목표(1102)는 화살표 4.1.1에서처럼 즐거움이 감정 클래스(1106)에 대한 요청에 의해 바람직하게 생성되도록 한다. 이 즐거운 감정도 화살표 4.1.2에서처럼 EmotionalState(1104)와의 통신에 의해 감정적 상태에 추가된다.
실제 성공도가 예상보다 클 경우에는, Goal(1102)은 바람직하게 자신감이 화살표 4.1.3.1에서처럼 감정 클래스(1106)에 대한 요청에 의해 생성되도록 한다. 이 자신감도 화살표 4.1.3.2에서처럼 EmotionalState(1104)와의 통신에 의해 감정적 상태에 추가된다.
도 11c는 본 발명에 따른 감정적 시스템에 의해 감정을 표현하기 위한 전형적인 시퀀스 다이어그램을 나타낸 것이다. 그러한 표현은 사용자 옵션(preferences)에 의해 좌우되는 것이 바람직하다. 애플리케이션(502)은 스텝(화살표 1)을 FloatingAgentApp(1006)에게 전송함으로써 감정적 표현을 시작시키며, 이것은 화살표 1.1에서처럼 지능형 에이전트의 행동적 패턴에 대해서 bp_mapper(1108)에게 문의를 한다. 만약 지배적인 행동(dominant behavior)이 변경되었다면, FloatingAgentApp(1006)은 요청을 bp_display(1110)에 전송하여 행동적 패턴을 설정한다(화살표 1.2.1). bp_display(1110)는 감정의 실제 표시를 제어한다. 그러면 FloatingAgentApp(1006)는 행위가 행위 관리자(1004)에 대한 메시지에 대기상태(enqueue)가 되도록 요청한다(화살표 1.2.2).
애플리케이션 관리자(502)는 또 다른 스텝(화살표 2)을 FloatingAgentApp(1006)에게 전송하고, 이것은 그 행위가 행위 관리자(1004)에 대한 큐(화살표 2.1)로부터 제거되고 그 행위가 bp_display(1110)에 의해 행해지도록 요청한다.
아래 표는 에이전트가 획득한 보상 점수에 대한 등급별로 에이전트가 행동가능한 동작의 내용을 규정하는 비한정적인 예이다.
Figure 112004038464373-pat00001
위 예에서 에이전트는 앉기, 잠기기, 킁킁거리기, 짖기, 슬픔, 행복 등 기본 동작은 획득한 보상점수에 관계없이 행동할 수 있다. 에이전트의 레벨은 보상점수가 +200점을 초과할 때 더 높은 단계로 되고, -200점을 초과하면 더 낮은 단계로 되도록 할 수 있으나, 레벨변화의 기준이 되는 보상점수는 이와 달리 정할 수 있다. 에이전트의 기본 레벨을 3등급으로 정한 경우, 위에서 예를 든 기본 동작과 행복2, 사색, 달리기, 점프 등의 동작을 취할 수 있다. 에이전트의 보상점수가 +200점이 되면 에이전트의 레벨은 4등급이 되며, 에이전트는 기본 동작과 댄스 2, 달리기, 점프, 날기 등의 동작을 취할 수 있다. 각 등급이 허용하는 동작 중 어느 동작을 취할 것인가는 앞서 설명한 행위 선택시스템이 결정하고, 각각의 동작에 따르는 감정 표현은 감정형 시스템이 제어한다. 에이전트는 이와 같은 동작 및 감정 표현과 함께 후술하는 사용자와의 통신에 기반하는 감정 표현을 한다.
제3절: 사용자와의 통신(Communication with the User)
이 절에서는 본 발명에 따른 사용자와의 통신을 위한 통신 시스템의 바람직 한 실시예에 대해서 기술하고 있으며, 이것에는 텍스트 통신, 오디오 통신 및 그래픽 통신이 포함되며 이것들에 한정되는 것은 아니다. 단지 설명하기 위한 목적으로 한정할 의도 없이 텍스트 통신은 그러한 타입의 통신의 일례로서 기술하였다. 이 절에서 설명하는 사용자와의 통신은 에이전트의 제안, 사용자에 대한 정보 제공 또는 에이전트의 감정 표현에 사용될 수 있으나, 이것에 한정되지는 않는다.
도 12는 본 발명에 따른 텍스트 통신을 위한 전형적인 시퀀스 다이어그램을 나타낸 것이다. 텍스트 엔진(1200)은 소정의 이벤트와 관련되고 지능형 에이전트에 의해 전달될 수 있는 텍스트를 생성하는 역할을 한다. 텍스트 엔진(1200)은 바람직하게 미리 결정되며 필러(fillers)를 위한 플레이스 홀더(place holder)들을 포함하는 템플릿(templates)들에 따라 짧은 구(phrase)들 혹은 문장들의 자연 언어 생성을 포함하는 것이 바람직하다. 그 템플릿들과 필러들을 결합함으로써 텍스트 엔진(1200)은 그 템플릿이 속하는 이벤트와 관련되는 많은 수의 구를 생성하게 된다.
이러한 프레임워크는 부가 필러들처럼 부가 템플릿들이 추가될 수도 있기 때문에 많은 새로운 및/또는 변화하는 이벤트들 또는 대상(subjects)들을 위해 임의로 확장될 수 있다.
도 12에 나타낸 바와 같이, FloatingAgentApp(1006)는 우선 바람직하게 특정한 이벤트를 위하여 텍스트를 생성하라는 요청을 전송함으로써 텍스트 엔진(1200)과 통신을 하게 된다(화살표 1). 텍스트 엔진(1200)은 바람직하게 이 이벤트에 적합한 복수의 템플릿들로부터 템플릿을 선택하는 것이 바람직하다(화살표 1.1). 또 한 텍스트 엔진(1200)은 바람직하게 이 이벤트에 적합한 복수의 필러들로부터 그 템플릿을 위한 필러를 선택하는 것이 바람직하다(화살표 1.2.1). 이어서 채워진 템플릿은 다시 FloatingAgentApp(1006)으로 전달된다.
다음에 기술하는 것은 지능형 에이전트가 현재 행복한 상태에 있을 경우 몇 가지 전형적인 비한정적인 템플릿과 필러로 기분 변화 이벤트를 위한 텍스트를 생성하는 예이다. 임의로 상기 템플릿들은 다음과 같다:
Happy template 1(행복 템플릿 1): "%noun1 is %happy_adj2"
Happy template 2(행복 템플릿 2): "%self_f_pronoun %happy_adj1"
임의로, 상기 필러들은 다음과 같다:
%noun1 = {"the world(세계)", "everything(모든 것)", "life(생활)", "this day(오늘)", "the spirit(기분)"}
%happy_adj1 = {"happy(행복한)", "joyful(즐거운)", "glad(기쁜)", "pleased(만족스러운)", "cheerful(유쾌한)", "in high spirits(기분이 꽤 좋은)", "blissful(더없이 행복한)", "exultant(크게 기쁜)", "delighted(아주 기쁜)", "cheery(기분 좋은)", "jovial(명랑한)", "on cloud nine(매우 기쁜)" }
%happy_adj2 = {"nice(좋은)", "beautiful(멋진)", "great(훌륭한)", "happy(행복한)", "joyful(즐거운)", "good(좋은)", "fun(유쾌한)"}
%self_f_pronoun = {"I am(나는)", "I'm(난)", "your intelligent agent(너의 지능형 에이전트)", "your agent friend(너의 지능형 친구)"}
아래에 기술한 것은 템플릿들과 필러들의 조합으로부터 얻어진 몇 가지 텍스트 통신 구(phrases)의 예이다.
I'm cheerful(나는 유쾌하다)
the spirit is joyful(기쁘다)
I am exultant(나는 매우 기쁘다)
life is beautiful(인생은 아름답다)
life is good(인생은 좋다)
I'm pleased(나는 만족스럽다)
I'm jovial(나는 유쾌하다)
I am joyful(나는 즐겁다)
the world is joyful(세계는 즐겁다)
I'm glad(나는 기쁘다)
the spirit is joyful(기쁘다)
the spirit is happy(행복하다)
the world is nice(세계는 좋다)
I am happy(나는 행복하다)
또 다른 비한정적 예로서 못 받은 전화 템플릿(missed call template)이 다음과 같이 구성될 수 있다.
%user missed a call from %missed %reaction
이 예에서, 사용자의 이름은 %user를 위해 사용되었고; 그 이름 혹은 (예를 들어 전화번호 등의) 다른 식별자가 %missed에 입력되며; %reaction은 선택적인 것으로 예를 들어 실망을 표현하는 것(예를 들어 "나는 슬프다")과 같은 지능형 에이전트의 반응을 위해 사용되는 것이다.
이러한 예들로 나타낸 바와 같이, 텍스트 엔진(1200)은 못 받은 전화 이벤트들에서부터 배터리 부족 이벤트들에 이르는 수많은 이벤트들을 위해 관련된 문장들을 생성할 수 있음으로써, 사용자가 이동 정보 장치와 더욱 풍부하고 더 많이 이해가능하게 상호작용을 할 수 있게 된다.
도 12b는 이동 전화 장치에서 에이전트가 "I am happy."라고 감정을 표현하는 비한정적 예를 나타내고 있다.
예 3: 본 발명과 사용자의 상호작용(USER INTERACTIONS WITH THE PRESENT INVENTION)
이 예는 사용자와 상호작용을 하는 본 발명에 따른 시스템의 임의의 그러나 바람직한 실시예를 설명하기 위한 것으로서, 대표적이고 비한정적이며 예시적인 복수의 화면출력 화상들(screenshots)을 참조하여 기술될 것이다.
도 13은 본 발명의 실시예에 따른 생물 혹은 아바타(지능형 에이전트의 시각적 표현)인 "부유 에이전트"의 전형적인 화면출력 화상을 나타낸 것이다.
도 14는 본 발명의 실시예에 따른 지능형 에이전트의 가상 세계를 위한 객 체들을 선택하기 위한 메뉴의 전형적인 화면출력 화상을 나타낸 것이다.
도 15는 본 발명의 실시예에 따른 사용자 옵션(preferences)뿐만 아니라 에이전트 설정을 사용자가 구성 및 변경할 수 있도록 하는 시작 마법사 애플리케이션(Start Wizard application)을 나타낸 것이다.
상기 마법사로 수행되는 행위의 예로서, 지능형 에이전트의 감정형 시스템을 위한 설정을 결정, 즉 "개성 결정(Set Personality)"하는 것을 들 수 있다. 이때, 사용자는 생물의 개성 및 경향을 구성할 수 있다.
사용자는 열의(Enthusiasm), 사교성(Sociability), 비사교적 행동(Anti_social behavior), 성질(Temper)(인내 수준), 우울(Melancholy), 이기적 행동 등의 여러 가지 성격들(characteristics)의 수준을 증가시키고, 그 반대를 행하여 그 수준을 감소시키기 위해 오른쪽 화살표 키를 눌러서 그 생물의 설정을 임의로 및 바람직하게 결정할 수 있다.
사용자는, 예를 들어 도움을 얼마나 빨리 받을지를 결정하기 위해, 사용자 옵션을 바람직하게 설정할 수 있다. 이들 옵션들 중 몇 가지의 비한정적 예에는, 통신(그 에이전트가 통신하는 정도); entertain_user(사용자를_즐겁게 하기)(사용자와 노는 에이전트를 제어); entertain_self(자신을_즐겁게 하기)(혼자 노는 에이전트를 제어); preserve_battery(배터리_보존)(배터리 수명 늘리기); transparency_level(투명도_수준)(생물의 투명도 수준) 등이 포함된다.
또한 사용자는 그 시작 마법사로 사용자 신상정보(User Details)를 바람직하게 설정하며, 그 사용자 신상정보에는 사용자 이름, 생일 및 성별 등이 포함되며, 이것들에 한정되는 것은 아니다. 본 발명의 임의의 실시예에 따르면, 상기 생일 값은 사용자들 사이의 궁합 가능성(konghup possibility, Korean "konghup" means "marital harmony as predicted by a fortuneteller", 여기서는 궁합 가능성이 대인관계에 좋은 점술 패턴(favorable astrology pattern)으로 정의될 수 있을 것이다)을 갖는 혼성(hybrid)을 생성할 수 있는 능력을 말하는 것으로, 궁합 옵션(konghup option)은 날짜들 및 별점들(horoscopes)에 대한 적절한 테이블에 따라 구성되어짐)을 결정할 것이므로 혼성 SMS에 있어서 중요하다.
또한 사용자는 생물의 신상정보(Creature Details)도 바람직하게 설정할 수 있다.
상기 생물이 행할 수 있는 동화 형태에는 걷기, 앉기, 냄새 맡기, 날기, 점프하기 등이 임의로 포함되며, 이것들에 한정되는 것은 아니다.
본 발명을 한정된 개수의 실시예들을 이용하여 설명하였지만, 본 발명에 대한 많은 변경, 수정, 및 다른 응용들이 행해질 수 있다.
본 발명은 현재의 포괄적(generic)이고 비유연적(non-flexible)인 사용자 인터페이스를 유연성이 있고 실제적으로 사용자 친화적인 인터페이스로 변화시키길 뿐만 아니라, 연산장치와의 향상된 사용자 경험 및 상호작용을 제공한다. 또한 본 발명은 사용자와 상호작용하게 되는 생물 혹은 아바타 형태로 사용자인터페이스를 구성함으로써, 연산장치와의 사용자의 향상된 감정적 경험(emotional experience) 을 제공한다. 따라서 본 발명은 예를 들어 휴대폰과 같은 이동 정보 장치에 "생존형 장치(living device)"의 경험을 부여할 수 있다.

Claims (79)

  1. 운영체제를 갖춘 연산 장치를 위한 사전행동적 사용자 인터페이스 시스템에 있어서,
    a) 사용자와 정보교환을 가능하게 하는 에이전트가 제공되며 상기 사용자와 상기 운영체제 사이의 통신을 위한 인터페이스부와;
    b) 상기 운영체제에 의해 제어되는 적어도 하나의 소프트웨어 애플리케이션들과;
    c) 상기 애플리케이션들을 지원하며 상기 운영체제를 갖는 호스트 플랫폼과 통신하며, 상기 인터페이스부와 상기 사용자의 상호작용의 적어도 하나의 패턴을 검출하고, 상기 검출된 패턴에 따라 사용자에게 사용자 인터페이스의 적어도 하나의 기능을 변화시키기 위한 선택사항들을 능동적으로 제안하는 인공지능(AI) 프레임워크로 구성되며,
    상기 에이전트는 상기 제안에 대한 사용자의 반응에 따른 감정을 표현함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  2. 제1항에 있어서,
    상기 인터페이스부와 상기 사용자의 적어도 한 번의 이전 상호작용에 따라 결정된 패턴과, 미리 결정된 패턴, 또는 그 조합으로 이루어진 군으로부터 선택되는 정보를 저장하는 지식베이스를 더 구비함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  3. 제2항에 있어서, 상기 인공지능(AI) 프레임 워크는,
    인공지능/기계학습(AI/ML) 모듈과,
    상기 애플리케이션들과의 통신들을 취급하는 애플리케이션 관리자(Application Manager)와,
    시스템의 상기 지식베이스와 관련한 데이터의 저장 및 취급을 관리하는 스토리지 관리자(Storage Manager)와,
    상기 인공지능/기계학습(AI/ML) 모듈의 동작을 통하여 상기 사전행동적 사용자 인터페이스가 어느 행위를 취해야 하는지 결정하는 액션 관리자(Action Manager)와,
    상기 사용자 인터페이스에게 변화들을 지시하여 상기 사용자 인터페이스의 모습과 기능을 관리하는 사용자 인터페이스 관리자(UI Manager), 및
    상기 연산장치의 상태와 가상세계의 상태 및 그 두 상태 사이의 관계를 결정하는 장치 세계 매퍼(DeviceWorldMapper)를 포함함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  4. 제3항에 있어서, 상기 인공지능/기계학습(AI/ML) 모듈은 여러 가지 자극에 대응하여 상기 사전행동적 사용자 인터페이스의 행동을 결정하며, 서로 다른 형태의 행위들에 대한 사용자의 반응으로부터 상기 사전행동적 사용자 인터페이스가 학습할 수 있도록 함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  5. 제3항에 있어서, 상기 인공지능(AI) 프레임워크는 이벤트_핸들러(Event Handler)를 더 구비하며,
    상기 액션 관리자(Action Manager), 사용자 인터페이스 관리자(UI Manager), 스토리지 관리자(Storage Manager) 및 애플리케이션 관리자(Application Manager)를 포함하는 저수준 관리자들은 상기 애플리케이션들과 상기 이벤트_핸들러 사이에서 다른 이벤트들을 수신 및 취급(처리)함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  6. 제4항에 있어서, 상기 애플리케이션 관리자(Application Manager)는 상기 애플리케이션들 각각을 시작, 일시정지, 재개 및 종료시킬 수 있음을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  7. 제1항에 있어서,
    상기 연산장치는 일반 컴퓨터와, ATM과, 휴대폰을 포함하는 이동 정보 장치와, PDA 혹은 운영체제를 갖춘 소비재로 이루어진 군으로부터 선택되는 것을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  8. 제7항에 있어서, 상기 에이전트는 3D 그래픽 모델로 생성된 아바타임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  9. 제8항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 아바타를 사용자 인터페이스의 화상 표시의 요소들(aspects)과 독립적으로 표시하도록 제어함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  10. 제1항에 있어서, 상기 에이전트는 가상환경에서 발견되는 객체와 통신함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  11. 제10항에 있어서, 상기 가상환경에서 발견되는 객체는 공, 좋은 동물, 음식, 나쁜 동물, 집, 완구들 중 어느 하나 이상을 포함함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  12. 제11항에 있어서, 상기 가상환경에서 발견되는 객체는 그 상태에 등급화된 입력을 포함함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  13. 제12항에 있어서, 상기 가상환경에서 발견되는 객체는 지능형 에이전트가 피드백이 제공되어진 행동을 계속하는 것에 대한 인센티브 혹은 행동억제요인으로 됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  14. 제12항에 있어서, 상기 등급화된 입력은 에이전트에 대한 보상점수가 되며, 상기 에이전트는 획득한 보상점수에 따라 취할 수 있는 동작의 종류를 달리함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  15. 제7항에 있어서, 상기 제안은 규칙기반 방식에 의하여 결정됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  16. 제15항에 있어서, 상기 규칙기반 방식은,
    a) 이벤트 발생시 지식베이스에 문의하여 응답을 얻거나,
    b) 그 이벤트의 유효성을 판단하거나,
    c) 그 이벤트에 대응하는 행위를 생성하고 그 행위의 우선순위를 결정하거나,
    d) 상기 이벤트에 대응하는 행위 중 최고 우선순위 행위를 수행하는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  17. 제16항에 있어서, 상기 최고 우선순위 행위는 장려 혹은 방해 피드백 형태의 등급화된 입력 또는 가상 환경으로부터 집계된 총 보상을 최대화 하는 행위임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 에이전트의 추상적 목표에 대한 성공가능성 또는 실패가능성이 증가 또는 감소할 때 상기 에이전트의 감정을 생성함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  19. 제18항에 있어서, 상기 생성된 감정은 축적되며, 지배적인 행동 패턴이 변화할 때마다 상기 에이전트는 그 감정적 상태를 표현함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  20. 제19항에 있어서, 상기 표현되는 감정은, 텍스트 통신, 3차원 애니메이션, 얼굴 표정, 2차원 활동 효과 및 사운드 중 하나 이상을 이용하여 표현되는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  21. 제4항에 있어서, 상기 인공지능(AI) 프레임워크는 이벤트_핸들러(Event Handler)를 더 구비하며,
    상기 액션 관리자(Action Manager), 사용자 인터페이스 관리자(UI Manager), 스토리지 관리자(Storage Manager) 및 애플리케이션 관리자(Application Manager)를 포함하는 저수준 관리자들은 상기 애플리케이션들과 상기 이벤트_핸들러 사이에서 다른 이벤트들을 수신 및 취급(처리)함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  22. 청구항 22은(는) 설정등록료 납부시 포기되었습니다.
    제2항에 있어서,
    상기 연산장치는 일반 컴퓨터와, ATM과, 휴대폰을 포함하는 이동 정보 장치와, PDA 혹은 운영체제를 갖춘 소비재로 이루어진 군으로부터 선택되는 것을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  23. 청구항 23은(는) 설정등록료 납부시 포기되었습니다.
    제3항에 있어서,
    상기 연산장치는 일반 컴퓨터와, ATM과, 휴대폰을 포함하는 이동 정보 장치와, PDA 혹은 운영체제를 갖춘 소비재로 이루어진 군으로부터 선택되는 것을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  24. 청구항 24은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서,
    상기 연산장치는 일반 컴퓨터와, ATM과, 휴대폰을 포함하는 이동 정보 장치와, PDA 혹은 운영체제를 갖춘 소비재로 이루어진 군으로부터 선택되는 것을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  25. 청구항 25은(는) 설정등록료 납부시 포기되었습니다.
    제5항에 있어서,
    상기 연산장치는 일반 컴퓨터와, ATM과, 휴대폰을 포함하는 이동 정보 장치와, PDA 혹은 운영체제를 갖춘 소비재로 이루어진 군으로부터 선택되는 것을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  26. 청구항 26은(는) 설정등록료 납부시 포기되었습니다.
    제6항에 있어서,
    상기 연산장치는 일반 컴퓨터와, ATM과, 휴대폰을 포함하는 이동 정보 장치와, PDA 혹은 운영체제를 갖춘 소비재로 이루어진 군으로부터 선택되는 것을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  27. 청구항 27은(는) 설정등록료 납부시 포기되었습니다.
    제22항에 있어서, 상기 에이전트는 3D 그래픽 모델로 생성된 아바타임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  28. 청구항 28은(는) 설정등록료 납부시 포기되었습니다.
    제23항에 있어서, 상기 에이전트는 3D 그래픽 모델로 생성된 아바타임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  29. 청구항 29은(는) 설정등록료 납부시 포기되었습니다.
    제24항에 있어서, 상기 에이전트는 3D 그래픽 모델로 생성된 아바타임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  30. 청구항 30은(는) 설정등록료 납부시 포기되었습니다.
    제25항에 있어서, 상기 에이전트는 3D 그래픽 모델로 생성된 아바타임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  31. 청구항 31은(는) 설정등록료 납부시 포기되었습니다.
    제26항에 있어서, 상기 에이전트는 3D 그래픽 모델로 생성된 아바타임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  32. 청구항 32은(는) 설정등록료 납부시 포기되었습니다.
    제27항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 아바타를 사용자 인터페이스의 화상 표시의 요소들(aspects)과 독립적으로 표시하도록 제어함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  33. 청구항 33은(는) 설정등록료 납부시 포기되었습니다.
    제28항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 아바타를 사용자 인터페이스의 화상 표시의 요소들(aspects)과 독립적으로 표시하도록 제어함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  34. 청구항 34은(는) 설정등록료 납부시 포기되었습니다.
    제29항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 아바타를 사용자 인터페이스의 화상 표시의 요소들(aspects)과 독립적으로 표시하도록 제어함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  35. 청구항 35은(는) 설정등록료 납부시 포기되었습니다.
    제30항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 아바타를 사용자 인터페이스의 화상 표시의 요소들(aspects)과 독립적으로 표시하도록 제어함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  36. 청구항 36은(는) 설정등록료 납부시 포기되었습니다.
    제31항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 아바타를 사용자 인터페이스의 화상 표시의 요소들(aspects)과 독립적으로 표시하도록 제어함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  37. 청구항 37은(는) 설정등록료 납부시 포기되었습니다.
    제22항에 있어서, 상기 제안은 규칙기반 방식에 의하여 결정됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  38. 청구항 38은(는) 설정등록료 납부시 포기되었습니다.
    제23항에 있어서, 상기 제안은 규칙기반 방식에 의하여 결정됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  39. 청구항 39은(는) 설정등록료 납부시 포기되었습니다.
    제24항에 있어서, 상기 제안은 규칙기반 방식에 의하여 결정됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  40. 청구항 40은(는) 설정등록료 납부시 포기되었습니다.
    제25항에 있어서, 상기 제안은 규칙기반 방식에 의하여 결정됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  41. 청구항 41은(는) 설정등록료 납부시 포기되었습니다.
    제26항에 있어서, 상기 제안은 규칙기반 방식에 의하여 결정됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  42. 청구항 42은(는) 설정등록료 납부시 포기되었습니다.
    제37항에 있어서, 상기 규칙기반 방식은,
    a) 이벤트 발생시 지식베이스에 문의하여 응답을 얻거나,
    b) 그 이벤트의 유효성을 판단하거나,
    c) 그 이벤트에 대응하는 행위를 생성하고 그 행위의 우선순위를 결정하거나,
    d) 상기 이벤트에 대응하는 행위 중 최고 우선순위 행위를 수행하는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  43. 청구항 43은(는) 설정등록료 납부시 포기되었습니다.
    제38항에 있어서, 상기 규칙기반 방식은,
    a) 이벤트 발생시 지식베이스에 문의하여 응답을 얻거나,
    b) 그 이벤트의 유효성을 판단하거나,
    c) 그 이벤트에 대응하는 행위를 생성하고 그 행위의 우선순위를 결정하거나,
    d) 상기 이벤트에 대응하는 행위 중 최고 우선순위 행위를 수행하는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  44. 청구항 44은(는) 설정등록료 납부시 포기되었습니다.
    제39항에 있어서, 상기 규칙기반 방식은,
    a) 이벤트 발생시 지식베이스에 문의하여 응답을 얻거나,
    b) 그 이벤트의 유효성을 판단하거나,
    c) 그 이벤트에 대응하는 행위를 생성하고 그 행위의 우선순위를 결정하거나,
    d) 상기 이벤트에 대응하는 행위 중 최고 우선순위 행위를 수행하는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  45. 청구항 45은(는) 설정등록료 납부시 포기되었습니다.
    제40항에 있어서, 상기 규칙기반 방식은,
    a) 이벤트 발생시 지식베이스에 문의하여 응답을 얻거나,
    b) 그 이벤트의 유효성을 판단하거나,
    c) 그 이벤트에 대응하는 행위를 생성하고 그 행위의 우선순위를 결정하거나,
    d) 상기 이벤트에 대응하는 행위 중 최고 우선순위 행위를 수행하는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  46. 청구항 46은(는) 설정등록료 납부시 포기되었습니다.
    제41항에 있어서, 상기 규칙기반 방식은,
    a) 이벤트 발생시 지식베이스에 문의하여 응답을 얻거나,
    b) 그 이벤트의 유효성을 판단하거나,
    c) 그 이벤트에 대응하는 행위를 생성하고 그 행위의 우선순위를 결정하거나,
    d) 상기 이벤트에 대응하는 행위 중 최고 우선순위 행위를 수행하는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  47. 청구항 47은(는) 설정등록료 납부시 포기되었습니다.
    제42항에 있어서, 상기 최고 우선순위 행위는 장려 혹은 방해 피드백 형태의 등급화된 입력 또는 가상 환경으로부터 집계된 총 보상을 최대화 하는 행위임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  48. 청구항 48은(는) 설정등록료 납부시 포기되었습니다.
    제43항에 있어서, 상기 최고 우선순위 행위는 장려 혹은 방해 피드백 형태의 등급화된 입력 또는 가상 환경으로부터 집계된 총 보상을 최대화 하는 행위임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  49. 청구항 49은(는) 설정등록료 납부시 포기되었습니다.
    제44항에 있어서, 상기 최고 우선순위 행위는 장려 혹은 방해 피드백 형태의 등급화된 입력 또는 가상 환경으로부터 집계된 총 보상을 최대화 하는 행위임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  50. 청구항 50은(는) 설정등록료 납부시 포기되었습니다.
    제45항에 있어서, 상기 최고 우선순위 행위는 장려 혹은 방해 피드백 형태의 등급화된 입력 또는 가상 환경으로부터 집계된 총 보상을 최대화 하는 행위임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  51. 청구항 51은(는) 설정등록료 납부시 포기되었습니다.
    제46항에 있어서, 상기 최고 우선순위 행위는 장려 혹은 방해 피드백 형태의 등급화된 입력 또는 가상 환경으로부터 집계된 총 보상을 최대화 하는 행위임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  52. 청구항 52은(는) 설정등록료 납부시 포기되었습니다.
    제37항 내지 제51항 중 어느 한 항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 에이전트의 추상적 목표에 대한 성공가능성 또는 실패가능성이 증가 또는 감소할 때 상기 에이전트의 감정을 생성함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  53. 청구항 53은(는) 설정등록료 납부시 포기되었습니다.
    제52항에 있어서, 상기 생성된 감정은 축적되며, 지배적인 행동 패턴이 변화할 때마다 상기 에이전트는 그 감정적 상태를 표현함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  54. 청구항 54은(는) 설정등록료 납부시 포기되었습니다.
    제53항에 있어서, 상기 표현되는 감정은, 텍스트 통신, 3차원 애니메이션, 얼굴 표정, 2차원 활동 효과 및 사운드 중 하나 이상을 이용하여 표현되는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  55. 운영체제를 갖춘 연산 장치를 위한 사전행동적 사용자 인터페이스 시스템에 있어서,
    a) 사용자와 정보교환을 가능하게 하는 에이전트가 제공되며 상기 사용자와 상기 운영체제 사이의 통신을 위한 인터페이스부와;
    b) 상기 운영체제에 의해 제어되는 적어도 하나의 소프트웨어 애플리케이션들을 가지며;
    c) 상기 에이전트는 호스트 플랫폼-상기 애플리케이션들을 지원하며 상기 운영체제를 가짐-과 통신하며, 상기 인터페이스부와 상기 사용자의 상호작용에 관하여 검출된 패턴에 따라 사용자에게 사용자 인터페이스의 적어도 하나의 기능을 변화시키기 위한 선택사항들을 능동적으로 제안하고, 상기 제안에 대한 사용자의 반응에 따른 감정을 표현함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  56. 제55항에 있어서, 상기 인터페이스부와 상기 사용자의 적어도 한 번의 이전 상호작용에 따라 결정된 패턴과, 미리 결정된 패턴, 또는 그 조합으로 이루어진 군으로부터 선택되는 정보를 저장하는 지식베이스를 더 구비함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  57. 제55항에 있어서, 상기 연산장치는 일반 컴퓨터와, ATM과, 휴대폰을 포함하는 이동 정보 장치와, PDA 혹은 운영체제를 갖춘 소비재로 이루어진 군으로부터 선택되는 것을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  58. 제57항에 있어서, 상기 에이전트는 3D 그래픽 모델로 생성된 아바타임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  59. 제58항에 있어서, 상기 사전행동적 사용자 인터페이스는 상기 아바타를 사용자 인터페이스의 화상 표시의 요소들(aspects)과 독립적으로 표시하도록 제어함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  60. 제55항에 있어서, 상기 에이전트는 가상환경에서 발견되는 객체와 통신함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  61. 제60항에 있어서, 상기 가상환경에서 발견되는 객체는 공, 좋은 동물, 음식, 나쁜 동물, 집, 완구들 중 어느 하나 이상을 포함함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  62. 제61항에 있어서, 상기 가상환경에서 발견되는 객체는 그 상태에 등급화된 입력을 포함함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  63. 제62항에 있어서, 상기 가상환경에서 발견되는 객체는 지능형 에이전트가 피드백이 제공되어진 행동을 계속하는 것에 대한 인센티브 혹은 행동억제요인으로 됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  64. 제62항에 있어서, 상기 등급화된 입력은 에이전트에 대한 보상점수가 되며, 상기 에이전트는 획득한 보상점수에 따라 취할 수 있는 동작의 종류를 달리함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  65. 제57항에 있어서, 상기 제안은 규칙기반 방식에 의하여 결정됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  66. 제65항에 있어서, 상기 규칙기반 방식은,
    a) 이벤트 발생시 지식베이스에 문의하여 응답을 얻거나,
    b) 그 이벤트의 유효성을 판단하거나,
    c) 그 이벤트에 대응하는 행위를 생성하고 그 행위의 우선순위를 결정하거나,
    d) 상기 이벤트에 대응하는 행위 중 최고 우선순위 행위를 수행하는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  67. 제66항에 있어서, 상기 최고 우선순위 행위는 장려 혹은 방해 피드백 형태의 등급화된 입력 또는 가상 환경으로부터 집계된 총 보상을 최대화 하는 행위임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  68. 제65항 내지 제67항 중 어느 한 항에 있어서,
    상기 사전행동적 사용자 인터페이스는 상기 에이전트의 추상적 목표에 대한 성공가능성 또는 실패가능성이 증가 또는 감소할 때 상기 에이전트의 감정을 생성함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  69. 제68항에 있어서, 상기 생성된 감정은 축적되며, 지배적인 행동 패턴이 변화할 때마다 상기 에이전트는 그 감정적 상태를 표현함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  70. 제69항에 있어서, 상기 표현되는 감정은, 텍스트 통신, 3차원 애니메이션, 얼굴 표정, 2차원 활동 효과 및 사운드 중 하나 이상을 이용하여 표현되는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  71. 청구항 71은(는) 설정등록료 납부시 포기되었습니다.
    제56항에 있어서, 상기 연산장치는 일반 컴퓨터와, ATM과, 휴대폰을 포함하는 이동 정보 장치와, PDA 혹은 운영체제를 갖춘 소비재로 이루어진 군으로부터 선택되는 것을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  72. 청구항 72은(는) 설정등록료 납부시 포기되었습니다.
    제71항에 있어서, 상기 에이전트는 3D 그래픽 모델로 생성된 아바타임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  73. 청구항 73은(는) 설정등록료 납부시 포기되었습니다.
    제72항에 있어서, 상기 사전행동적 사용자 인터페이스는 상기 아바타를 사용자 인터페이스의 화상 표시의 요소들(aspects)과 독립적으로 표시하도록 제어함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  74. 청구항 74은(는) 설정등록료 납부시 포기되었습니다.
    제71항에 있어서, 상기 제안은 규칙기반 방식에 의하여 결정됨을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  75. 청구항 75은(는) 설정등록료 납부시 포기되었습니다.
    제74항에 있어서, 상기 규칙기반 방식은,
    a) 이벤트 발생시 지식베이스에 문의하여 응답을 얻거나,
    b) 그 이벤트의 유효성을 판단하거나,
    c) 그 이벤트에 대응하는 행위를 생성하고 그 행위의 우선순위를 결정하거나,
    d) 상기 이벤트에 대응하는 행위 중 최고 우선순위 행위를 수행하는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  76. 청구항 76은(는) 설정등록료 납부시 포기되었습니다.
    제75항에 있어서, 상기 최고 우선순위 행위는 장려 혹은 방해 피드백 형태의 등급화된 입력 또는 가상 환경으로부터 집계된 총 보상을 최대화 하는 행위임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  77. 청구항 77은(는) 설정등록료 납부시 포기되었습니다.
    제74항 내지 제76항 중 어느 한 항에 있어서, 상기 사전행동적 사용자 인터페이스는 상기 에이전트의 추상적 목표에 대한 성공가능성 또는 실패가능성이 증가 또는 감소할 때 상기 에이전트의 감정을 생성함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  78. 청구항 78은(는) 설정등록료 납부시 포기되었습니다.
    제77항에 있어서, 상기 생성된 감정은 축적되며, 지배적인 행동 패턴이 변화할 때마다 상기 에이전트는 그 감정적 상태를 표현함을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
  79. 청구항 79은(는) 설정등록료 납부시 포기되었습니다.
    제78항에 있어서, 상기 표현되는 감정은, 텍스트 통신, 3차원 애니메이션, 얼굴 표정, 2차원 활동 효과 및 사운드 중 하나 이상을 이용하여 표현되는 것임을 특징으로 하는 감정 있는 에이전트를 갖는 사전행동적 사용자 인터페이스 시스템.
KR1020040067663A 2003-09-05 2004-08-27 감정 있는 에이전트를 갖는 사전 행동적 사용자 인터페이스 시스템 KR100680191B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
US10/933,582 US7725419B2 (en) 2003-09-05 2004-09-03 Proactive user interface including emotional agent
JP2004259060A JP2005085274A (ja) 2003-09-05 2004-09-06 感情あるエージェントを有するプロアクティブユーザインターフェース
PCT/KR2004/002256 WO2005024649A1 (en) 2003-09-05 2004-09-06 Proactive user interface including evolving agent
CA2536233A CA2536233C (en) 2003-09-05 2004-09-06 Proactive user interface including evolving agent
CNB2004100771960A CN100377044C (zh) 2003-09-05 2004-09-06 具有情绪代理的前摄用户接口
BRPI0413327A BRPI0413327B1 (pt) 2003-09-05 2004-09-06 interface de usuário pró-ativa que inclui agente evolutivo
AU2004271482A AU2004271482B2 (en) 2003-09-05 2004-09-06 Proactive user interface including evolving agent
EP04021147.6A EP1522920B1 (en) 2003-09-05 2004-09-06 Proactive user interface including emotional agent
MXPA06002130A MXPA06002130A (es) 2003-09-05 2004-09-06 Interfaz de usuario proactiva que incluye un agente evolutivo.
IL174116A IL174116A (en) 2003-09-05 2006-03-05 A proactive UI that includes a learning component

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US50066903P 2003-09-05 2003-09-05
US60/500,669 2003-09-05
US10/743,476 2003-12-23
US10/743,476 US20050054381A1 (en) 2003-09-05 2003-12-23 Proactive user interface
KR1020040016263 2004-03-10
KR20040016263 2004-03-10

Publications (2)

Publication Number Publication Date
KR20050025288A KR20050025288A (ko) 2005-03-14
KR100680191B1 true KR100680191B1 (ko) 2007-02-08

Family

ID=37059501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040067663A KR100680191B1 (ko) 2003-09-05 2004-08-27 감정 있는 에이전트를 갖는 사전 행동적 사용자 인터페이스 시스템

Country Status (6)

Country Link
EP (1) EP1522920B1 (ko)
JP (1) JP2005085274A (ko)
KR (1) KR100680191B1 (ko)
CN (1) CN100377044C (ko)
IL (1) IL174116A (ko)
RU (1) RU2331918C2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019148108A1 (en) * 2018-01-29 2019-08-01 EmergeX, LLC System and method for facilitating affective-state-based artificial intelligence
WO2022203277A1 (ko) * 2021-03-22 2022-09-29 삼성전자 주식회사 콘텐츠에 기초하여 루틴을 실행하는 전자 장치 및 전자 장치의 동작 방법
US11893399B2 (en) 2021-03-22 2024-02-06 Samsung Electronics Co., Ltd. Electronic device for executing routine based on content and operating method of the electronic device

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8938688B2 (en) * 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
US7712053B2 (en) 1998-12-04 2010-05-04 Tegic Communications, Inc. Explicit character filtering of ambiguous text entry
US8583440B2 (en) 2002-06-20 2013-11-12 Tegic Communications, Inc. Apparatus and method for providing visual indication of character ambiguity during text entry
US8095364B2 (en) 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
WO2006038779A1 (en) 2004-10-01 2006-04-13 Samsung Electronics Co., Ltd. Device and method for displaying event in wireless terminal
KR20060047890A (ko) 2004-10-01 2006-05-18 삼성전자주식회사 휴대단말기의 이벤트 표시 장치 및 방법
US8478081B2 (en) * 2005-06-30 2013-07-02 Agc Flat Glass North America, Inc. Monolithic image perception device and method
JP4961729B2 (ja) * 2005-11-30 2012-06-27 沖電気工業株式会社 口座取引システム及び口座取引方法
US7941200B2 (en) * 2005-12-08 2011-05-10 Roche Diagnostics Operations, Inc. System and method for determining drug administration information
US8260739B1 (en) * 2005-12-29 2012-09-04 At&T Intellectual Property Ii, L.P. Method and apparatus for layering software agents in a distributed computing system
KR100703990B1 (ko) * 2006-04-13 2007-04-09 한국과학기술원 인간과 애완동물간의 인터랙션을 위한 장치
EP1895505A1 (en) 2006-09-04 2008-03-05 Sony Deutschland GmbH Method and device for musical mood detection
US8312373B2 (en) * 2007-10-18 2012-11-13 Nokia Corporation Apparatus, method, and computer program product for affecting an arrangement of selectable items
US9386139B2 (en) * 2009-03-20 2016-07-05 Nokia Technologies Oy Method and apparatus for providing an emotion-based user interface
US8732602B2 (en) * 2009-03-27 2014-05-20 Schneider Electric It Corporation System and method for altering a user interface of a power device
DE102009018165A1 (de) * 2009-04-18 2010-10-21 Schreiber & Friends Verfahren zur Darstellung eines animierten Objekts
CN101588323B (zh) * 2009-06-11 2011-07-06 腾讯科技（深圳）有限公司 一种使用聊天机器人在im群中主动发布消息的方法和系统
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8305433B2 (en) * 2009-12-23 2012-11-06 Motorola Mobility Llc Method and device for visual compensation
US8446411B2 (en) * 2010-06-11 2013-05-21 Microsoft Corporation Adaptive image rendering and use of imposter
US9276930B2 (en) 2011-10-19 2016-03-01 Artashes Valeryevich Ikonomov Device for controlling network user data
WO2013191592A1 (ru) * 2012-06-21 2013-12-27 Ikonomov Artashes Valeryevich Система проведения голосования
CN102929476A (zh) * 2012-09-06 2013-02-13 北京天宇朗通通信设备股份有限公司 终端主菜单的控制方法和装置
US10115084B2 (en) 2012-10-10 2018-10-30 Artashes Valeryevich Ikonomov Electronic payment system
EP2888664A4 (en) * 2013-11-19 2015-07-22 Huawei Tech Co Ltd METHOD AND DEVICE FOR PROCESSING A MOBILE TERMINAL APPLICATION
US10304114B2 (en) 2014-03-25 2019-05-28 Ebay Inc. Data mesh based environmental augmentation
US10429803B2 (en) * 2014-09-23 2019-10-01 Intel Corporation Multifactor intelligent agent control
US9786299B2 (en) * 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
KR102423754B1 (ko) * 2017-09-19 2022-07-21 삼성전자주식회사 디바이스 사용 문의에 대한 응답을 제공하는 디바이스 및 방법
RU2721897C1 (ru) * 2019-11-28 2020-05-25 Общество с ограниченной ответственностью "ВиАр Суперсоник" Автоматизированная система для создания сценариев обучающей виртуальной среды
RU2724606C1 (ru) * 2020-01-09 2020-06-25 Общество с ограниченной ответственностью "ВиАр Суперсоник" Автоматизированная система обеспечения пользователя обучающей виртуальной средой и модуль анализа действий пользователя по верификации данных предметов обучающей виртуальной среды
RU2726342C1 (ru) * 2020-01-17 2020-07-13 Общество с ограниченной ответственностью «ЯЛОС МОБАЙЛ» Система отображения данных мультипликационного озвученного изображения на дисплее вычислительного устройства в соответствии с уведомлениями
WO2024049415A1 (en) * 2022-08-30 2024-03-07 Google Llc Intelligent asset suggestions based on both previous phrase and whole asset performance

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5901246A (en) * 1995-06-06 1999-05-04 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH0612401A (ja) * 1992-06-26 1994-01-21 Fuji Xerox Co Ltd 感情模擬装置
US6633861B2 (en) * 1993-03-19 2003-10-14 Ricoh Company Limited Automatic invocation of computational resources without user intervention across a network
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
US5802296A (en) * 1996-08-02 1998-09-01 Fujitsu Software Corporation Supervisory powers that provide additional control over images on computers system displays to users interactings via computer systems
US5884029A (en) * 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
JPH11259446A (ja) * 1998-03-12 1999-09-24 Aqueous Reserch:Kk エージェント装置
JP3792882B2 (ja) * 1998-03-17 2006-07-05 株式会社東芝 感情生成装置及び感情生成方法
JP2001249949A (ja) * 2000-03-07 2001-09-14 Nec Corp 感情生成方法、感情生成装置、記録媒体
JP3469539B2 (ja) * 2000-08-07 2003-11-25 株式会社国際電気通信基礎技術研究所 仮想空間構築システム
JP2002073233A (ja) * 2000-08-29 2002-03-12 Pineapple Company:Kk 処理方法、処理システム、処理装置、処理支援装置、及び記録媒体
CN1421799A (zh) * 2001-11-30 2003-06-04 英业达股份有限公司 实时数据客户服务系统及其方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019148108A1 (en) * 2018-01-29 2019-08-01 EmergeX, LLC System and method for facilitating affective-state-based artificial intelligence
US11301747B2 (en) 2018-01-29 2022-04-12 EmergeX, LLC System and method for facilitating affective-state-based artificial intelligence
WO2022203277A1 (ko) * 2021-03-22 2022-09-29 삼성전자 주식회사 콘텐츠에 기초하여 루틴을 실행하는 전자 장치 및 전자 장치의 동작 방법
US11893399B2 (en) 2021-03-22 2024-02-06 Samsung Electronics Co., Ltd. Electronic device for executing routine based on content and operating method of the electronic device

Also Published As

Publication number Publication date
EP1522920A3 (en) 2007-01-03
RU2006110940A (ru) 2006-08-10
CN100377044C (zh) 2008-03-26
EP1522920B1 (en) 2013-06-05
EP1522920A2 (en) 2005-04-13
JP2005085274A (ja) 2005-03-31
KR20050025288A (ko) 2005-03-14
IL174116A (en) 2013-08-29
IL174116A0 (en) 2006-08-01
CN1627235A (zh) 2005-06-15
RU2331918C2 (ru) 2008-08-20

Similar Documents

Publication Publication Date Title
KR100680191B1 (ko) 감정 있는 에이전트를 갖는 사전 행동적 사용자 인터페이스 시스템
US7725419B2 (en) Proactive user interface including emotional agent
KR100680190B1 (ko) 진화하는 에이전트를 갖는 사전 행동적 사용자 인터페이스
US8990688B2 (en) Proactive user interface including evolving agent
CA2536233C (en) Proactive user interface including evolving agent
US7711778B2 (en) Method for transmitting software robot message

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee