KR20060048929A - 개선된 두드러짐을 갖는 활성화된 컨텐츠 위자드 실행 - Google Patents

개선된 두드러짐을 갖는 활성화된 컨텐츠 위자드 실행 Download PDF

Info

Publication number
KR20060048929A
KR20060048929A KR1020050069421A KR20050069421A KR20060048929A KR 20060048929 A KR20060048929 A KR 20060048929A KR 1020050069421 A KR1020050069421 A KR 1020050069421A KR 20050069421 A KR20050069421 A KR 20050069421A KR 20060048929 A KR20060048929 A KR 20060048929A
Authority
KR
South Korea
Prior art keywords
user
user interface
interface element
acw
task
Prior art date
Application number
KR1020050069421A
Other languages
English (en)
Inventor
앤드류 제이. 맥글린체이
어라빈드 발라
제임스 디. 자코비
제임스 피. 핀니간
사이캣 센
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060048929A publication Critical patent/KR20060048929A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

컴퓨터 사용자들이 작업들을 수행하도록 돕는 것과 관련되는 ACW들(Active Content Wizards)은 ACW 해석기(interpreter)를 사용하여 실행된다. 본 발명의 일 양태에서, 해석기는 주어진 ACW 스크립트에 대해 복수 레벨의 사용자 인터액션을 제공한다. 사용자 관심을 포커스(focus)시키는 것을 돕기 위해, ACW 스크립트 실행 동안 부작업들(subtasks)에 관련된 사용자 인터페이스 소자들의 두드러짐을 증대시키기 위해 다양한 방법들이 사용된다. 일 실시예에서, 사용자 인터페이스 소자 주위 영역들은 또한 비강조된다(de-emphasized).
ACW, ACW 해석기, 자연적 사용자 인터페이스, 작업 데이터베이스, GUI 자동화 기술, 알파-블랜딩, 비강조 단계

Description

개선된 두드러짐을 갖는 활성화된 컨텐츠 위자드 실행{ACTIVE CONTENT WIZARD EXECUTION WITH IMPROVED CONSPICUITY}
도 1은 본 발명이 사용될 수 있는 환경 예의 블록도.
도 2는 ACW(active content wizard) 플랫폼을 사용하는 자연적 사용자 인터페이스를 설명하는, 본 발명의 일 실시예의 블록도.
도 3은 본 발명의 일 실시예에 따라 ACW 해석기를 설명하는 블록도.
도 4는 본 발명의 일 실시예에 따라 선택된 작업의 실행을 설명하는 흐름도.
도 5(a) 내지 도 5(j)는 특정 ACW 스크립트에 ACW 해석기의 실행을 설명하는 일련의 스크린샷.
도 6 내지 도 8은 본 발명의 일 실시예에 따라 다른 스크립트의 ACW 해석기의 실행을 도시하는 스크린샷.
도 9는 본 발명의 일 실시예들에 따라 ACW 스크립트의 실행을 설명하는 스크린샷.
도 10 및 도 11은 본 발명의 실시예들에 따라 추가 프롬프트(prompt)를 설명하는 스크린샷.
<도면의 주요 부분에 대한 부호의 설명>
206 : 사용자 커맨드
221 : 사용자 확인 인터페이스
210 : 작업 예상 모듈
220 : 작업 데이터베이스
211 : ACW 스크립트
230 : ACW 해석기
250 : 출력
관련 출원
본 출원서는 2003년 1월 7일에 출원된, "활성화된 컨텐츠 위자드: 작업들과 구조화된 컨텐츠의 실행(ACTIVE CONTENT WIZARD: EXECUTION OF TASKS AND STRUCTURED CONTENT)"의 표제의 미국특허출원 제10/337,745호의 연속 출원이다.
컴퓨터와의 자연어/음성 기반의 인터액션을 가능하도록 하려는 여러 시도들이 있어왔다. 이들 시도들의 결과들은 현재까지는 제한되어 왔다. 이것은, 다수의 작업들에 대해 높은 값을 지불하는 기술의 불완전성, 침입거부(non-intrusive) 마이크로폰 기반구조의 부재, 높은 작성 비용, GUI(graphical user interface)의 형태로 감축된 고객 행위들(behaviors) 및 경쟁자의 조합 때문이다. 본 발명은 이들 제한점들 중에 2개의 사항, GUI와 더 가까운 통합(closer integration) 및 감소된 작성(reduced authoring)에 촛점을 맞춘다. GUI는 널리 사용되는 인터페이스 메카니즘이다. GUI들은 작업의 배치(positioning)(예를 들어, 사각형의 크기조정), 가시적인 작업들의 수정(예를 들어, 어떤 것을 묘사할 수 없는 파란 색조로 만듬), 또는 작업의 선택(예를 들어, 이것은 내가 회전시키고 싶은 100개의 사진들 중에 하나임)에 매우 좋다. GUI는 또한 빠른 단일 단계 특징들에 신속한 액세스를 하기 위해 좋다. 응용 프로그램 GUI는 작업기반 관점(즉, 사용자들이 하기를 원하는 높은 레벨의 작업들에 의해 조직화됨: 예를 들어, "해커들에 대해 내 컴퓨터가 안전하게 하라(make my computer secure against hackers)") 보다는 기능 관점(즉, 메뉴, 툴바 등으로 조직화됨)에서 조직화되는 유용한 툴박스이다.
그러나, GUI들은 사용자에게 많은 문제들도 제공한다. 툴박스 유사체를 사용하여, 사용자는 박스 안에서 툴들을 찾거나 작업을 완료하기 위해 툴들을 사용하는 방법을 알아내는데에 어려움을 갖는다. 불투명하게 계층화된 단일 단어, 소형 버튼, 및 탭에 의해 설명되는 인터페이스는 사람들이 그들의 작업들에 대해 생각하는 방식으로 그 자체를 운영하지 않는다. GUI는 사용자가 작업들을 분해하여 무슨 소자들이 작업을 성취하기 위해 필요한지를 결정할 것을 요구한다. 이 요구사항은 복잡성으로 유도한다. 복잡성 이슈를 제외하더라도, GUI 소자들(예를 들어, 메뉴 클릭, 다이얼로그 클릭 등)을 어셈블(assemble)하기 위해 시간이 걸린다. 이것은 전문 사용자들에게 조차도 비효율적이고 시간 소비적일 수 있다.
GUI 문제들을 해결하는 한 가지 기존 메카니즘은 기록된 도움말 프로시져(help procedure)이다. 도움말 프로시져는 고객 요구사항들과 GUI 문제들 간의 차이(gap)를 채우는 도움말 문서, PSS(product support services) KB(knowledge base) 항목, 및 뉴스그룹 포스트(posts)의 형태를 종종 취한다. 그들은 툴박스와 함께 오는 메뉴얼과 유사하고, 다수의 이점들을 가진다. 이들 이점들은, 예를 들어, 다음을 포함한다:
1) 그들은 기술자가 아닌 저자도 작성하기가 쉽다.
2) 그들은 서버에서 업데이트하기가 쉬워서 연결된 사용자들이 새 컨텐츠로 쉽게 액세스를 한다. 및
3) 그들은 사용자들이 문제들을 해결하는 것을 제어하도록 GUI를 가르친다.
그러나, 도움말 문서, PSS KB 항목, 및 뉴스그룹은 그들 자신의 문제들의 세트를 가진다. 이들 문제들은, 예를 들어, 다음을 포함한다:
1) 복잡한 작업들은 사용자 역할에서 많은 프로세싱을 요구한다. 사용자는 각 단계에서 하라는 것에서 GUI로의 매핑을 할 필요가 있다.
2) 문제해결기(troubleshooter), 및 프로시져 도움말 문서조차도 종종 도움말 주제 내에 복잡한 부문들을 만드는 상태 정보를 포함하여, 사용자가 읽고 프로세스하기에 길고 어려운 주제들을 만든다. 툴바들은 생략될 수 있고, 다음 단계가 취해질 수 있기 전에 시작될 필요가 있을 수 있다. 문제해결기들은 종종 기껏해야 당황하게 하고(왜냐하면, 문제해결기가 해답 자체를 찾을 수 있어야 하기 때문) 최악의 경우에 비전문가가 해답을 줄 수 없는 상태에 대한 질문들을 한다.
3) 수억 개의 문서들이 있고, 해답들을 찾는 탐색은 어디서 탐색을 시작하는지 및 어떻게 리턴된 수백개들 중에 최상의 탐색 결과를 선택하는지의 문제 모두와 관련이 있다.
4) 공유된 작성 구조(authoring structure)가 존재하지 않는다. 뉴스그룹 포스트, KB 항목, 문제해결기, 및 프로시져 도움말 문서는 모두 다른 구조들 및 작성 전략들을 가지지만, 그들은 모두 유사한 문제들을 해결하고 있다.
GUI 문제들을 해결하는 다른 기존 메카니즘은 위자드(Wizard)이다. 위자드들은 GUI의 단점들을 해결하기 위해 생성되고, 도움말 프로시져들이 씌여진다. 이제 수천개의 위자드들이 존재하고, 이들 위자드들은 제조되는 거의 대부분의 소프트웨어 제품에서 발견될 수 있다. 이것은 위자드들이 기존 텍스트 기반 도움말과 지원에 의해 현재 해결되지 않은 실제 필요사항들을 해결하기 때문이다. 그들은 작업-기반 방식으로 사용자들이 기능을 액세스하도록 하고, GUI 또는 툴들을 자동으로 어셈블할 수 있다. 위자드들은 프로그램 관리자와 개발자에게 고객 작업들을 해결하는 수단을 허용한다. 그들은 작업 성공을 위해 사용자가 필요한 단계들을 거치도록 하는 박스 안의 전문가와 같다. 일부 위자드들은 고객들이 시스템을 셋업하도록 돕고(예를 들어, 셋업 위자드), 일부 위자드들은 특징들을 가진 컨텐츠를 포함하고 및 고객들이 컨텐츠를 생성하도록 돕고(예를 들어, 뉴스레터(newsletter) 위자드 또는 파워포인트(PowerPoint)의 오토컨텐츠(AutoContent) 위자드), 및 일부 위자드들은 고객들이 문제들을 진단하고 해결하는 것을 돕는다(예를 들어, 문제해결기).
위자드들은 사용자에게 많은 이점들을 제공한다. 위자드들의 일부 이점들은 다음과 같다:
1) 위자드들은 "작업"의 개념을 구현한다. 위자드가 사용자들이 성취하려는 것을 돕는 것은 보통은 사용자에게 명백하다. 단계별(step-by-step) 페이지들로, 사용자가 선택하는 것이 쉽고, 잘 디자인된 위자드들의 경우, 사용자가 가시적으로 당황하는 경우가 종종 감소된다.
2) 위자드들은 소프트웨어의 기반되는 특징들과 자동으로 어셈블하고 인터랙트하고, 고객들이 선택하기 위해 필요한 정보 또는 전문지식을 포함한다. 이것은 작업의 실행에서 사용자 시간을 절약한다.
3) 위자드들은 자동으로 컨텐츠를 생성하고, 텍스트를 생성하고 레이아웃을 계획하여 사용자 시간을 절약할 수 있다.
4) 위자드들은 또한 질문을 하고, 응답을 얻고, 및 가장 관련있는 다음 질문이나 특징으로 분기하는 좋은 수단이다.
그러나, 위자드들은 또한 그들 자신의 문제들을 가진다. 위자드들의 문제들의 일부는, 예를 들어, 다음을 포함한다:
1) 작업들을 성취하는 위자드들보다 사람들이 성취하려고 하는 더 많은 작업들이 존재한다.
2) 위자드들과 IUI(inductive user interfaces)는 기반되는 GUI를 사용하는 방법을 고객들에게 가르치지 않고, 종종 위자드가 완료되었을 때, 사용자들은 다음 어디로 가야할지에 대해 불확실하다.
3) 위자드들을 작성하는 비용은 여전히 높고, 위자드를 작성하기 위한 기술 전문지식(예를 들어, 소프트웨어 개발자)을 가진 인력을 요구한다.
컴퓨터 사용자들이 작업들을 수행하는 것을 돕는 것과 관련된 ACW들(Active Content Wizards)은 ACW 해석기를 사용하여 실행된다. 본 발명의 일 실시예에서, 해석기는 주어진 ACW 스크립트에 대해 복수 레벨의 사용자 인터액션을 제공한다. 사용자 관심을 포커스하는 것을 돕기 위해, 다양한 방법들이 ACW 스크립트의 실행 동안 부작업들에 관련된 사용자 인터페이스 소자들의 두드러짐을 증가시키기 위해 사용된다. 일 실시예에서, 사용자 인터페이스 소자 주변의 영역들은 또한 비강조된다(de-emphasized).
도 1은 본 발명이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(100)의 예를 도시한다. 컴퓨팅 시스템 환경(100)은 적절한 컴퓨팅 환경의 일 예일 뿐이고, 본 발명의 사용이나 기능의 범위에 대해 임의의 제한을 제안하려고 의도되지는 않는다. 컴퓨팅 환경(100)은 운영 환경(100)의 예에서 도시된 컴포넌트들의 임의의 것 또는 조합에 관련되어 임의의 종속성이나 요구사항을 갖는 것으로서 해석되어서도 안 된다.
본 발명은 다수의 다른 일반 목적 또는 특수 목적 컴퓨팅 시스템 환경이나 구성과 동작한다. 본 발명과 사용하기에 적절할 수 있는 잘 공지된 컴퓨팅 시스템, 환경, 및/또는 구성의 예들은 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드나 랩톱 디바이스, 멀티프로세서 시스템, 마이크로프로세서-기반 시스템, 셋톱 박스, 프로그램가능한 소비자 전자제품, 통신망 PC, 미니컴퓨터, 메인프레임 컴퓨터, 위의 시스템들 또는 디바이스들 중의 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함하 지만, 이에 제한되지는 않는다.
본 발명은 컴퓨터에 의해 실행되는, 프로그램 모듈들과 같은, 컴퓨터-실행가능한 명령들의 일반 컨텍스트로 기재될 수 있다. 일반적으로, 프로그램 모듈들은 특수 작업들을 수행하거나 특수 추상 데이터 유형들을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한 작업들이 통신망을 통해 링크된 원격 프로세싱 디바이스에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함하는 로컬 및 원격 컴퓨터 저장 매체 모두에 위치될 수 있다.
도 1의 참조에서, 본 발명을 구현하는 시스템의 예는 컴퓨터(110)의 형태로 일반 목적 컴퓨팅 디바이스를 포함한다. 컴퓨터(110)의 컴포넌트들은 프로세싱 유닛(120), 시스템 메모리(130), 및 프로세싱 유닛(120)으로 시스템 메모리를 포함하는 다양한 시스템 컴포넌트들을 결합시키는 시스템 버스(121)를 포함할 수 있지만, 이에 제한되지는 않는다. 시스템 버스(121)는 메모리 버스나 메모리 제어기, 주변기기 버스, 및 다양한 버스 구조들 중의 임의의 것을 사용하는 로컬 버스를 포함하는 여러 유형들의 버스 구조들 중의 임의의 것일 수 있다. 예로써, 그런 아키텍쳐들은 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스, 및 또한 메자닌 버스로서 알려진 PCI(Peripheral Component Interconnect) 버스를 포함하지만, 이에 제한되지는 않는다.
컴퓨터(110)는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨 터 판독가능 매체들은 컴퓨터(110)에 의해 액세스가능한 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 예로써, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체와 통신 매체를 포함할 수 있지만, 이에 제한되지는 않는다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 정보 저장을 위한 임의의 방법이나 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체 모두를 포함한다. 컴퓨터 저장 매체들은 RAM, ROM, EEPROM, 플래쉬 메모리나 다른 메모리 기술, CD-ROM, DVD나 다른 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치나 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지는 않는다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 반송파나 다른 전송 메카니즘과 같은 변조 데이터 신호의 다른 데이터를 구현하고, 임의의 정보 전달 매체를 포함한다. "변조 데이터 신호"라는 용어는 신호의 정보를 인코딩하는 방식에서 한 개 이상의 그것의 특징이 설정되거나 변경되는 신호를 의미한다. 예로써, 통신 매체는 유선망이나 직접 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선, 및 다른 무선 매체와 같은 무선 매체를 포함하지만, 이에 제한되지는 않는다. 위의 것들 중의 임의의 것의 조합들은 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
시스템 메모리(130)는 ROM(read only memory;131) 및 RAM(random access memory;132)과 같은 휘발성 및/또는 비휘발성 메모리의 형태로 컴퓨터 저장 매체들 을 포함한다. 스타트업 동안과 같은 때, 컴퓨터(110) 내의 소자들 간의 정보 전송을 돕는 기본 루틴들을 포함하는 BIOS(basic input/output system;133)는 통상적으로 ROM(131)에 저장된다. RAM(132)은 통상적으로 즉시 액세스가능하고 및/또는 현재 프로세싱 유닛(120)에서 동작되고 있는 데이터 및/또는 프로그램 모듈들을 포함한다. 예로써, 도 1은 운영 시스템(134), 응용 프로그램들(135), 기타 프로그램 모듈들(136), 및 프로그램 데이터(137)를 도시하지만, 이에 제한되지는 않는다.
컴퓨터(110)는 또한 다른 분리형/비분리형 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예로써, 도 1은 비분리형 비휘발성 자기 매체에 읽고 쓰는 하드 디스크 드라이브(141), 분리형 비휘발성 자기 디스크(152)에 읽고 쓰는 자기 디스크 드라이브(151), 및 CD-ROM이나 다른 광 매체와 같은 분리형 비휘발성 광 디스크(156)에 읽고 쓰는 광 디스크 드라이브(155)를 도시한다. 운영 환경의 예에 사용될 수 있는 다른 분리형/비분리형 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래쉬 메모리 카드, 디지탈 다용도 디스크, 디지탈 비디오 테이프, 반도체 RAM, 반도체 ROM 등을 포함하지만, 이에 제한되지는 않는다. 하드 디스크 드라이브(141)는 통상적으로 인터페이스(140)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151)와 광 디스크 드라이브(155)는 통상적으로, 인터페이스(150)와 같은, 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.
위에 논의되고 도 1에 도시된 드라이브들과 그들의 연계된 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 및 컴퓨터(110)에 대한 기 타 데이터를 제공한다. 도 1에서, 예를 들어, 하드 디스크 드라이브(141)는 운영 시스템(144), 응용 프로그램들(145), 다른 프로그램 모듈들(146), 및 프로그램 데이터(147)를 저장하는 것으로서 도시된다. 이들 컴포넌트들은 운영 시스템(134), 응용 프로그램들(135), 다른 프로그램 모듈들(136), 및 프로그램 데이터(137)와 동일하거나 다를 수 있음을 주목한다. 운영 시스템(144), 응용 프로그램들(145), 기타 프로그램 모듈들(146), 및 프로그램 데이터(147)는, 적어도, 그들이 다른 복사본들임을 설명하기 위해 본 명세서에서 다른 부호들이 주어진다.
사용자는 키보드(162), 마이크로폰(163), 및 마우스, 트랙볼, 또는 터치 패드와 같은 포인팅 디바이스(161)와 같은 입력 디바이스들을 통해 컴퓨터(110)로 커맨드와 정보를 입력할 수 있다. 다른 입력 디바이스들(도시 안됨)은 조이스틱, 게임 패드, 위성 접시, 스캐너 등을 포함할 수 있다. 이들과 다른 입력 디바이스들은 종종 시스템 버스와 결합된 사용자 입력 인터페이스(160)를 통해 프로세싱 유닛(120)에 접속되지만, 병렬 포트, 게임 포트, 또는 USB(universal serial bus)와 같은 다른 인터페이스 및 버스 구조들에 의해 접속될 수 있다. 모니터(191)나 다른 유형의 디스플레이 디바이스는 또한, 비디오 인터페이스(190)와 같은, 인터페이스를 통해 시스템 버스(121)에 접속된다. 모니터에 추가하여, 컴퓨터들은 또한, 출력 주변기기 인터페이스(195)를 통해 접속될 수 있는 스피커(197) 및 프린터(196)와 같은 다른 주변기기 출력 디바이스들을 포함할 수 있다.
컴퓨터(110)는, 원격 컴퓨터(180)와 같은, 한 개 이상의 원격 컴퓨터들에 논리 접속들을 사용하여 통신망 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 개인 용 컴퓨터, 핸드헬드 디바이스, 서버, 라우터, 통신망 PC, 피어 디바이스, 또는 다른 일반 통신망 노드일 수 있고, 통상적으로 컴퓨터(110)에 관련하여 위에 기재된 소자들의 다수 또는 전부를 포함한다. 도 1에 나타난 논리 접속들은 LAN(local area network;171) 및 WAN(wide area network;173)을 포함하지만, 또한 다른 통신망들을 포함할 수 있다. 그런 통신망 환경들은 사무실, 기업-전반 컴퓨터망, 인트라넷, 및 인터넷에서 일반적이다.
LAN 통신망 환경에서 사용될 때, 컴퓨터(110)는 통신망 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 통신망 환경에서 사용될 때, 컴퓨터(110)는 통상적으로, 인터넷과 같은, WAN(173)을 통해 통신을 개설하는 모뎀(172)이나 다른 수단을 포함한다. 내장이나 외장일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160), 또는 다른 적절한 메카니즘을 통해 시스템 버스(121)에 접속될 수 있다. 통신망 환경에서, 컴퓨터(110), 또는 그 일부에 관련되어 나타난 프로그램 모듈들은 원격 메모리 저장 디바이스에 저장될 수 있다. 예로써, 도 1은 원격 응용 프로그램들(185)을 원격 컴퓨터(180)에 상주하는 것으로서 도시하지만, 이에 제한되지는 않는다. 도시된 통신망 접속은 예일 뿐이고, 컴퓨터들 간의 통신 링크를 개설하는 다른 수단이 사용될 수 있음이 이해될 것이다.
도 2는 본 발명의 일 실시예를 사용하는 자연적 사용자 인터페이스 모듈 또는 시스템(200)의 블록도가다. 자연적 사용자 인터페이스(200)는 3개의 컴포넌트들로 구성된다. 이들 컴포넌트들은 작업 예상 모듈(210), 작업 데이터베이스(220), 및 ACW(active content wizard) 해석기(230)를 포함한다. 자연적 사용자 인터페이스(200)는 또한 사용자로부터 입력 사용자 커맨드나 질의(query;206)를 수신하고, 출력(250)을 제공한다. 질의는 사용자가 수행하기를 원하는 작업을 나타낸다. 입력 커맨드(206)는 일 실시예에서 자연 언어 입력이다. 그러나, 다른 입력들이 하이퍼링크를 선택하는 것, 체크박스를 선택하는 것, 단어들의 리스트로부터 선택하는 것, 또는 음성 입력을 제공하는 것과 같은 입력 커맨드(206)를 위해 사용될 수 있다.
작업 예상 모듈(210)은 입력된 사용자 커맨드(206)와 연계된 작업을 결정하기 위해 구성된다. 일 실시예에서, 작업 예상 모듈(210)은 기존 도움말 탐색 모듈을 사용하여 작업 데이터베이스(220)를 탐색하여 사용자 커맨드(206)에의 매치들을 발견한다. 작업 예상 모듈(210)은 사용자 입력 커맨드(206)를 수신하고, 작업 데이터베이스(220)의 탐색을 허용하는 형식으로 커맨드(206)를 변환하고 및/또는 프로세스한다. 그 다음, 모듈(210)은 작업 데이터베이스(220)에 대한 탐색을 실행하여 커맨드(206)에 의해 표현된 작업과 연계된 정보를 얻는다.
탐색 후, 작업 예상 모듈(210)은 작업 데이터베이스(220)로부터 탐색 결과들을 수신하고, 적절한 인터페이스(221)를 통해 사용자 질의(206)와 매치할 수 있는 데이터베이스(220)로부터의 한 개 이상의 작업 문서들을 사용자에게 제공한다. 일 실시예에서, 모듈(210)은 작업 문서들 중의 하나를 선택된 작업으로서 단순히 선택한다. 다른 실시예에서, 사용자는 인터페이스(221)를 통해 이들 문서들 중의 하나를 선택된 문서로서 선택할 수 있다. 그 다음, 작업 예상 모듈(210)은 ACW 해석기(230)로 선택된 작업에 대응하는 ACW 스크립트를 리턴한다. 작업 예상 모듈(210) 은 종래 정보 검색수취 컴포넌트로서 기재됨을 주목해야 한다. 그러나, 다른 모듈들은 사용자 커맨드(206)에 의해 표현된 원하는 작업을 결정하기 위해 사용될 수 있다. 예로써, 패턴이나 단어 매칭, 음성 지원을 위한 CFG(context free grammars), 또는 SVM(support vector machines) 및 나이브 베이즈 통신망(naive Bayesian networks)과 같은 다른 분류기와 같은, 임의의 다른 잘 공지된 정보 검색수취 기술이 있다.
도 3은 도 2에 도시된 ACW 해석기(230)를 도시하는 블록도가다. ACW 해석기(230)는 다이얼로그 모듈(320), 등록부 모듈(330), 및 GUI 자동화 모듈(340)을 포함한다. 각 모듈은 ACW 해석기(230)에 제공된 ACW 스크립트(211)에 상세히 쓰인 특정 유형의 단계를 실행할 수 있다. 그러나, ACW 해석기(230)는 추가 모듈들 또는 다른 모듈들을 또한 포함하기 위해 수정될 수 있고, 주기적으로 새로운 또는 다른 모듈들로 업데이트될 수 있다. 일 실시예에서, GUI 자동화 모듈(340)은 마이크로소프트 윈도우즈 UI 자동화를 사용하여 구현된다.
ACW 해석기(230)는 사용자에 의해 선택된 작업을 위한 소형 단계들을 실행하기 위해 구성된 컴퓨터 프로그램이다. 일 실시예에서, ACW 해석기(230)는 또한 마이크로소프트사의 마이크로소프트 사용자 인터페이스 자동화를 사용하여 구현된 GUI 자동화 모듈을 포함한다. 이 모듈은 키보드 키 누름, 마우스 클릭, 마우스 휠 회전 등과 같은 사용자 입력들을 시뮬레이트한다. 그러나, ACW 해석기(230)의 GUI 자동화 모듈은 그래픽 사용자 인터페이스를 프로그램적으로 내비게이트할 수 있고 사용자 인터페이스에 커맨드들을 수행하고 실행할 수 있는 임의의 응용 프로그램을 사용하여 구현될 수 있다. 그러므로, ACW 해석기(230)는, 일부 실시예들에서, 사용자 인터페이스 자동화 모듈과 같은, 프로그램 인터페이스를 실제로 사용하여 사용자 인터페이스 제어(들)에 직접 메시지들을 전송할 수 있다.
그러므로, ACW 해석기(230)는 순서대로 선택된 작업과 연계된 소형 단계들의 각각을 실행한다. 예를 들어, 작업이 사용자가 GUI의 버튼을 클릭하여 새 메뉴나 윈도우를 디스플레이하기를 요구할 때, ACW 해석기(230)는 GUI 자동화 모듈을 사용하여 디스플레이 디바이스(191)(모니터와 같은) 상의 버튼의 위치를 파악하고, 버튼을 클릭하고, 그 다음, 디스플레이 디바이스에 새 윈도우가 나타나기를 기다린다. 기대되는 윈도우의 유형/이름은 ACW 스크립트 파일(211)에 상세화된다.
도 4는 본 발명의 일 실시예에 따라 시스템(200)에 선택된 ACW 스크립트의 실행을 도시하는 흐름도이다. (410)에서, 사용자 커맨드(206)에 응답하여, 작업 예상 모듈(210)은 사용자에게 가능한 작업들의 세트를 식별하여 제공하고, 사용자는 그 세트로부터 작업을 선택한다. 작업을 탐색하는 것, 음성 커맨드를 사용하는 것, 또는 작업 리스트로부터 선택하는 것과 같은 임의의 메카니즘에 의해 작업이 선택될 수 있다. 그 다음, 모듈(210)은 선택된 작업에 대응하여 ACW 스크립트(422)를 얻는다.
(428)에서, 시스템(200)은 ACW 해석기(230)에 의해 실행되는 다수의 소형 단계들에서 제1 단계를 선택한다. (434)에서, 시스템(200)은 사용자 입력이 이 특정 소형 단계를 완료하기 위해 요구되는지를 결정한다. 사용자 입력이 그 단계를 완료하기 위해 요구되면, 시스템(200)은, (440)에서, 사용자에게 특정 단계를 디스플 레이한다. 디스플레이는 입력을 요구하는 디스플레이 디바이스(191)의 윈도우일 수 있거나, 또는 그것은 특정 소형 단계와 연계된 GUI일 수 있다. 예를 들어, 그 특정 단계를 위한 텍스트의 디스플레이 후에, 시스템(200)은 대기하고, (446)에서 그것이 요구된 사용자 입력을 수신할 때까지 다음 소형 단계로 진행하지 않는다. 시스템은 또한, 관련 정보와 같은, 결정을 하는 데에서 사용자에게 유용한 임의의 추가적 정보를 디스플레이할 수 있다.
요구되는 입력의 수신 후, 또는 그런 입력이 요구되지 않으면, 시스템(200)은 (452)에서 현재 소형 단계를 실행하기 위해 진행한다. 단계(458)에서, 시스템(200)은 선택된 작업에 대해 실행되는 다른 소형 단계가 있는지를 보기 위해 찾는다. 실행할 추가적 소형 단계들이 존재하면, 시스템(200)은, (464)에서, 사용자가 단계별 모드를 선택했는지를 보기 위해 검사한다. 만약 그렇다면, 사용자가 소형 단계들의 리스트에서 다음 소형 단계로 진행할 준비가 됨을 지시하는 사용자로부터 입력을 시스템(200)이 수신한 후에만, 시스템(200)은 각 개별적 소형 단계를 실행한다. 이 입력은 (470)에서 수신된다. 시스템(200)이 단계별 모드에 있지 않으면, 시스템은 단계(428)로 리턴하고, 위에 논의된 바와 같이 소형 단계들의 리스트에서 다음 단계를 실행한다. 단계(458)에서, 실행할 추가적 소형 단계들이 없으면, 시스템(200)은 단계(476)에서 원하는 작업을 실행하기를 종료한다.
도 5(a) 내지 도 5(j)는 "경로 변수를 편집하라"는 사용자 커맨드(206)에 대응하는 작업의 수행에서 ACW 스크립트(211)에서 표현되고 시스템(200)에 의해 실행되는 단계들의 대표적 스크린샷들을 나타낸다.
도 5(a)내지 도 5(j)의 스크린샷들의 세트는 "경로 변수를 편집하라(Edit the path variable)"는 작업을 완료하기 위해 요구되는 일련의 소형 단계들을 실행하는 ACW 해석기(230)를 나타낸다. 해석기(230)는 각 단계를 실행하고, 사용자 입력이 요구될 때만 중지(pause)한다.
도 5(a)는 윈도우(500)에 설명적 시퀀스의 제1 단계를 도시한다. 아래 제공된 예는 단지 ACW 스크립트의 일 예일 뿐이다. ACW 스크립트의 임의의 형태는, 명세서에서 나중에 더 상세히 기재될, 본 발명의 실시예들에 따라 실행될 수 있다. 도시된 액션은 "제어판을 열어라(open the control panel)"를 위한 것이다. 이 단계에 대응하는 ACW 스크립트의 부분은 아래 상세화된다:
<Step id="id0">
<SyncBlock>
<Text>Open <B>Control Panel</B></Text>
<UIAction Action="NONE" UIText="" UIElementType="NONE">
<ShortcutAction>
<Command>control.exe</Command>
<Arguments/>
</ShortcutAction>
</UIAction>
</SyncBlock>
</Step>
윈도우(500)에 디스플레이하기 위한 텍스트(501)는 "제어판을 열어라"이다. ACW 해석기(230)는 control.exe라고 불리우는 숏컷(shortcut)을 실행하여 이 단계를 실행하고, 도 5(a)에 도시된 바와 같이, 윈도우(500) 하의 제어판 윈도우를 디스플레이한다.
도 5(b)는 소형 단계들의 시퀀스에서 제2 단계를 도시한다. 윈도우(510)에서 도시된 액션은 제어판에서 "시스템 아이콘을 클릭하라"를 위한 것이다. 이 단계에 대응하는 ACW 스크립트의 부분은 아래 상세화된다.
<Step id="id2">
<SyncBlock>
<Text>Click the <B>System</B> icon.</Text>
<UIAction Action="CLK" UIText="System" UIElementType="LIST">
<AutomationAction>
<Command>INVOKE</Command>
<Element>
<LogicalElement ClassName="SysListView32" RawText="System" PersistentID="1"/>
</Element>
<Path>
<LogicalElement ClassName="#32769" PersistentID="X:NotSupported"/>
<LogicalElement ClassName="CabinetWClass" RawText="Control Panel" PersistentID="X:NotSupported"/>
<LogicalElement ClassName="SHELLDLL_DefView" PersistentID="X:NotSupported"/>
<LogicalElement ClassName="SysListView32" RawText="FolderView" PersistentID="1"/>
<LogicalElement ClassName="SysListViwe32" RawText="System" PersistentID="1"/>
</Path>
</AutomationAction>
</UIAction>
</SyncBlock>
</Step>
윈도우(510)에 디스플레이하기 위한 텍스트(511)는 "시스템 아이콘을 클릭하라(click the system icon)"이다. ACW 해석기(230)는 스크립트 파일에 포함된 경로 정보를 사용하여 제어판 윈도우에 시스템 아이콘(515)을 찾는다. 경로 정보는 ACW 해석기에 의해 사용되어 어떤 GUI 자동화 기술(예를 들어, 윈도우즈 UI 자동화)을 사용하여 스크린에 아이콘의 위치를 프로그램적으로 파악한다. ACW 해석기(230)가 아이콘을 발견하면, 해석기는 그것을 클릭하기 위해 아이콘에 "호출" 방법을 콜한다(윈도우즈 UI 자동화를 사용함).
도 5(c) 내지 도 5(f)는 ACW 해석기(230)에 의한 작업의 소형 단계들의 진행을 나타낸다.
도 5(c)에서, 시스템(200)은 도 5(b)에서 하일라이트된 시스템 메뉴(515)의 정보를 포함하는 윈도우(522)를 연다. 도 5(c)는 작업을 위해 요구되는 시퀀스의 다음 소형 단계를 도시한다. 윈도우(520)가 그래픽 사용자 인터페이스에 제공되어, 사용자에게 윈도우(522)의 고급 탭(Advanced tab)을 클릭하도록 지시한다. 동시에, ACW 해석기(230)는 윈도우(522)의 고급 탭(524)의 위치를 파악하고, 그것을 하일라이트한다. 그 다음, 시스템(200)은 고급 탭의 클릭 커맨드(반복하면, "호출" 방법을 콜하여)를 실행하여, 고급 탭 하에 사용자에게 이용가능한 옵션들을 윈도우(520)가 디스플레이하도록 한다.
도 5(d)에서, 시스템(200)은 그래픽 사용자 인터페이스에 윈도우(530)를 열고, 사용자에게 이 단계에 대한 지시들을 디스플레이한다. 윈도우(530)는 사용자에게 "환경 변수 버튼을 클릭하라(click on the Environmental Varialbes button)"(532)를 지시하는 텍스트(531)를 디스플레이하여 이 단계를 사용자가 실행하도록 하는 지시들을 포함한다. 동시에, ACW 해석기(230)는 윈도우(522)에 환경 변수 버튼(532)의 위치를 파악하고, GUI에 버튼(532)을 하일라이트한다. 그 다음, 시스템(200)은 환경 변수 버튼(532)에 클릭 커맨드를 실행시켜서, 도 5(e)에 도시된 바와 같이 윈도우(542)가 열리도록 한다.
작업을 완료하기 위해 요구되는 추가 단계들이 존재하므로, 시스템(200)은 사용자에게 윈도우(540)의 지시들의 다음 세트를 디스플레이한다. 윈도우(540)는 사용자에게 "경로 아이콘을 클릭하라(click on the Path icon)"(541)를 지시한다. 동시에, ACW 해석기(230)는 윈도우(542)의 경로 아이콘(543)의 위치를 파악하고, 사용자를 위해 그것을 하일라이트한다. 그 다음, 시스템(200)은 경로 아이콘(543)의 클릭 커맨드를 실행하여, 도 5(f)에 도시된 바와 같이 윈도우(550)가 나타나도록 한다.
소형 단계들의 시퀀스에서 이 다음 단계를 완료하기 위한 지시들이 다시 사용자에게 제공된다. 윈도우(550)는 텍스트(551)를 통해 편집 버튼(553)을 사용자가 클릭하도록 지시한다. 동시에, ACW 해석기(230)는 윈도우(542)에 편집 버튼(553)의 위치를 파악하고, GUI의 편집 버튼(553)을 하일라이트한다. 그 다음, 시스템(200)은 편집 버튼(553)을 클릭킹하여 클릭 커맨드를 실행하여, 도 5(g)에 도시된 바와 같이 윈도우(562)가 열리도록 하는 원인이 된다.
도 5(g)는 사용자 입력을 요구하는 작업에서 한 단계를 도시한다. 이 단계에서 사용자는 경로 변수를 변경하도록 요구된다. 이 정보는 박스에 제공된다. 사용자가 종료되었을 때, 사용자는 윈도우(550)의 다음 버튼(564)을 눌러서 ACW 해석기가 위자드의 필요한 단계들을 실행하기를 계속하도록 해야한다. 본 발명의 일 실시예의 ACW 스크립트의 대응하는 부분은 아래 보여진다.
<Step id="id6">
<SyncBlock>
<Text>Make the desired Path variable changes</Text>
<UIAction Action="USERACTION" UIText="" UIElementType="NONE"/>
</SyncBlock>
</Step>
이 단계에서 사용자 입력이 기대됨 및 그것은 사용자가 종료할 때까지 진행할 수 없음을 ACW 해석기가 알도록 하는 USERACTION으로서 액션이 리스트된다.
윈도우(550)는 사용자에게 제2 지시(563)를 하일라이트하기 위해 변경한다. 이 지시는 경로로의 원하는 변경들을 사용자가 하도록 지시한다. 이 단계가 요구하는 바와 같이, 사용자 입력 시스템(200)은 사용자가 원하는 정보를 입력하고 다음을 클릭할 때까지 진행하지 않는다. 그 다음, 시스템(200)은 윈도우(570)가 열려서 사용자가 "OK" 버튼(572)을 클릭하도록 지시하게 한다. 동시에, ACW 해석기(230)는, 도 5(h)에 도시된 바와 같이, 윈도우(562)에 버튼(572)의 위치를 파악하고 하일라이트한다.
도 5(i) 및 도 5(j)는 원하는 작업을 완료하기 위해 요구되는 단계들을 도시한다. 도 5(h)의 "OK" 버튼(572)을 클릭한 후, 시스템(200)과 ACW 해석기(230)는 윈도우(580, 590) 각각에서 "OK" 버튼들(582, 592)을 클릭하도록 하는 지시들을 사용자에게 디스플레이하고, 각각의 윈도우(542, 522)에 이 버튼을 하일라이트한다. 일단 모든 소형 단계들이 완료되면, 시스템(200)은 스탠바이 상태로 리턴해서 다른 사용자 커맨드(206)를 기다린다.
본 발명의 일 실시예에 따라, ACW 해석기(230)는 인터페이스와 다른 레벨들의 사용자 인터액션을 제공할 수 있다. 예를 들어, 도 5(a) 내지 도 5(e), 도 5(h) 및 도 5(i)에 대해 위에 기재된 것들과 같이, 사용자 데이터가 요구되지 않는 단계들에서, ACW 해석기(230)는 선택된 사용자 인터페이스 소자와 사용자가 인터랙트하기 위해 기다리거나, 또는 ACW 해석기(230)는, 사용자를 대신하여, GUI 자동화 모듈(340)을 통해, 사용자 인터페이스와 직접 인터랙트할 수 있다. ACW 해석기(230)가 사용자가 인터페이스와 인터랙트하기를 기다리고 있을 때, 그것은 "나에게 보여달라(show me)" 모드로 동작하고 있다. 다른 경우, ACW 해석기(230)가 단순히 사용자를 대신하여 인터랙트할 때, 그것은 "나를 위해 수행하라(do it for me)" 모드로 동작한다. 인터액션의 레벨은 사용자에 의해 선택될 수 있거나, 또는 사용자 인터페이스와의 사용자 인터액션의 시스템 평가에 기초하여 자동으로 달라진다. 다른 레벨들의 사용자 인터액션은 또한 본 발명의 실시예들에 따라 사용될 수 있다.
본 발명의 다른 실시예에 따라, ACW 스크립트의 각 단계가 ACW 해석기(230)에 의해 실행되면서, 대응하는 사용자 인터페이스 소자의 두드러짐이 증가된다. 두드러짐에서의 증가는 다수의 방식으로 수행될 수 있다. 우선, 소자 그 자체가 하일라이트될 수 있거나, 또는 그렇지 않으면, 위에 기재된 바와 같이 강조되어진다. 추가로 또는 다른 경우에, 사용자 인터페이스 소자의 두드러짐은 관심 소자를 둘러싸는 영역들을 비강조하여 증가될 수 있다. 관심 소자 및, 예를 들어, 도 5(a)의 윈도우(500)와 같은, ACW 윈도우를 제외한 사용자 인터페이스의 모든 영역에 안개가 적용될 수 있다. "안개"는 임의의 적절한 방법으로 생성될 수 있다. 그러나, 안개는 스크린의 부분들에 반투명 색을 그리기 위해 알파-블랜딩(alpha-blending)에 의해 생성되는 것이 선호된다. 관심의 소자를 둘러싸는 영역들을 비 강조하는 다른 방법들은 그런 영역들에서 디스플레이의 강도를 감소시키는 것, 그런 영역들의 색 또는 색조(tint)를 변경하는 것, 그런 영역들을 흐릿하게 하는 것, 및/또는 이들의 임의의 조합을 포함한다.
도 6은 본 발명의 일 실시예에 따라 ACW 해석기(230)에 의해 실행되는 ACW 스크립트의 스크린샷이다. 도 6에 도시된 단계에서, ACW 해석기(230)는 관심의 사용자 인터페이스 소자가 탭(600)임을 결정한다. 따라서, ACW 해석기(230)는 소자(600)에 근접한 ACW 윈도우(602)를 호출하거나 이동한다. 또한, 윈도우(602)는 소자(600)를 지시하는 방향성 지시자(604)를 포함한다. ACW 해석기는 또한 소자(600) 주변에 채색된 펄스 빛을 배치하는 것이 선호된다. ACW 해석기(230)가 "나에게 보여달라"는 모드에서 동작하므로, 진행하기 전에 소자(600)를 사용자가 선택하도록 대기할 것이다. ACW 해석기(230)는 자동화 모듈(340)을 모니터하여 또는 그렇지 않으면 인터랙트하여 사용자 선택을 탐지할 수 있다.
사용자 관심을 인터페이스의 소자에 끌 필요가 있을 때, 소자의 두드러짐이 그것의 주변을 비강조하여 증대되는 것이 선호된다. 따라서, ACW 해석기(230)가 "나에게 보여달라" 모드로 동작할 때, ACW 윈도우와 ACW 스크립트가 인터랙트하고 있는 사용자 인터페이스 소자를 제외하고, 전체 스크린이 비강조될 것이다. 도 7은 소자(600)와 ACW 윈도우(602)를 제외한 스크린(608)의 거의 전체를 커버하는 크로스-해칭(cross-hatching)으로서 다이아그램에서 안개(606)를 도시한다. 도 7은 "나에게 보여달라" 모드에서 동작하는 ACW 해석기(230)를 도시한다. 안개(606)는 소자(600)를 둘러싸는 홀(hole;610)을 포함한다. 일 실시예에서, 안개(606)는 알 파-블랜딩으로 형성되어 스크린에 반투명 색을 그린다.
도 8은 ACW 스크립트의 다른 단계를 도시한다. ACW 해석기(230)는 ACW 스크립트의 다음 단계로 이동하면서, 사용자가 어떤 정보를 입력해야 하는 사용자 액션이 요구된다. ACW 해석기(230)는 사용자 인터페이스 소자(800)에 근접한 ACW 윈도우(802)를 이동하거나 호출한다. 이 경우, 사용자는 사용자 인터페이스 소자(800)에 컴퓨터의 설명을 입력할 필요가 있다. 윈도우(802)와 사용자 인터페이스 소자(800)의 지시들에만 사용자가 포커스하는 것을 돕기 위해, 다른 모든 것은 안개(606)로 커버된다. 윈도우(802)는 "다음 단계" 버튼(804)을 포함한다. 사용자가 사용자 인터페이스와 인터액션을 끝낸 후, 사용자는 ACW 스크립트의 다음 단계로 이동하기 위해 버튼(804)을 누를 것이다. 일부 실시예들에서, 해석기(230)는 자동화 모듈(340)을 통해 사용자 인터액션을 모니터할 수 있고, 그러므로, 다음 단계가 적당할 때를 탐지할 수 있다. 그러므로, 그런 실시예들은 다음 단계 버튼(804)을 요구하지 않는다. 일단 그 단계가 완료되면, 안개(606)는 ACW 스크립트에서 다음 단계 전에 제거된다.
도 9는 "나를 위해 수행하라" 모드에서 ACW 스크립트의 실행을 설명하는 스크린샷의 다이어그램 뷰이다. 도 9에 도시된 스크립트는 어느 메신저 연락자들이 사용자의 온라인 상태를 볼 수 있는지를 사용자가 변경하도록 한다. ACW 윈도우(850)는 사용자 인터페이스 소자(852)에 근접하여 위치된다. 그러나, 소자(852)와 사용자가 인터랙트하는 것을 기다리는 대신, ACW 해석기는, 자동화 모듈을 통해 동작하여, 소자(852)와 인터랙트한다. 사용자를 대신하여 이 자동 액션은 윈도우 (850) 내에 지시된 바와 같이 사용자에게 보고되는 것이 선호된다. 또한, ACW 해석기가 사용자가 액션을 취하는 것을 기다릴 필요가 없으므로, "다음 단계" 버튼이 필요하지 않다.
ACW 해석기(230)는 주어진 ACW 스크립트를 실행하면서, 그것은 사용자 액션을 요구하는 각 단계에 대해 타이머를 채택하는 것이 선호된다. 그런 타이머의 사용은, 선택된 양의 시간(예를 들어, 3초)의 경과에 의해 지시되는 바와 같이, 사용자 반응이 느리면, ACW 해석기(230)는 사용자에게 추가 프롬프트를 제공할 것을 보장한다. 예를 들어, ACW 해석기(230)가 도 10에서 "다음 단계" 버튼(860)을 사용자가 누르는 것을 기다리고 있고 3초가 경과하면, ACW 해석기(230)는 팝업이나 음성 버블(speech bubble;862)(도 11에 도시됨)과 같은 추가 프롬프트가 "다음 단계" 버튼으로부터 생겨나도록 할 것이다. 추가 프롬프트는 사용자에게 단순히 "당신의 선택을 완료했을 때 여기를 클릭하시오(Click here when you have completed your choice)"를 요구할 수 있거나, 또는 추가 지시들을 제공할 수 있다. 도 11에 도시된 바와 같이, 추가 프롬프트(862)는 안개(606)에 의해 커버되지 않는 것이 선호된다. 선호사항으로서, 사용자 타임아웃 타이머는, 자동화 모듈(340)을 통해 ACW 해석기(230)에 의해 관찰되는 바와 같이, 사용자의 제1 마우스 클릭으로 시작한다. 그 다음, 사용자 타임아웃 타이머는 사용자가 정확한 액션을 취하는 각 시간에 리셋(reset)된다. 그러므로, 쉽게 ACW를 통해 이동하는 사용자는 추가 프롬프트를 보지 않을 것이다.
본 발명이 특정 실시예들의 참조로 기재되지만, 당업자들은 변경들이 본 발 명의 취지 및 범위를 벗어나지 않고 형태와 세부사항에서 만들어질 수 있음을 인식할 것이다.
컴퓨터 사용자들이 작업들을 수행하는 것을 돕는 것과 관련된 ACW들이 ACW 해석기를 사용하여 실행되는 방법 및 시스템이 개시된다. 본 발명의 일 실시예에서, 해석기는 주어진 ACW 스크립트에 대해 복수 레벨의 사용자 인터액션을 제공한다. 사용자 관심을 포커스하는 것을 돕기 위해, 다양한 방법들이 ACW 스크립트의 실행 동안 부작업들에 관련된 사용자 인터페이스 소자들의 두드러짐을 증가시키기 위해 사용된다.

Claims (25)

  1. GUI(graphical user interface)를 가진 컴퓨터 시스템에 작업을 실행하는 방법으로서,
    사용자로부터 실행될 작업을 지시하는 커맨드를 수신하는 단계;
    작업 데이터베이스에서, 상기 사용자로부터의 상기 커맨드와 매치하는, 복수 개의 부작업들(subtasks)을 갖는, 작업을 식별하는 단계;
    상기 컴퓨터 시스템의 모듈을 사용하여 상기 복수 개의 부작업들의 각각을 실행하는 단계;
    상기 사용자에게 상기 GUI에 상기 작업의 각 부작업을 디스플레이하는 단계; 및
    상기 복수 개의 부작업들 중의 적어도 하나에 관련하여 적어도 하나의 사용자 인터페이스 소자의 두드러짐을 증대시키는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 모듈은 ACW(active content wizard) 해석기인 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 사용자 인터페이스 소자의 상기 두드러짐을 증대시키는 단계는 상기 적어도 하나의 사용자 인터페이스 소자를 하일라이트하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 사용자 인터페이스 소자의 상기 두드러짐을 증대시키는 단계는 상기 적어도 하나의 사용자 인터페이스 소자에 근접하게 ACW 윈도우를 배치시키는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 사용자 인터페이스 소자의 상기 두드러짐을 증대시키는 단계는 상기 적어도 하나의 사용자 인터페이스 소자 주위의 영역들을 비강조하는(de-emphasizing) 단계를 포함하는 방법.
  6. 제5항에 있어서,
    상기 비강조하는 단계는 상기 영역들에 알파-블랜딩(alpha-blending) 색을 적용하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 안개는 오버레이(overlay)이고, 상기 적어도 하나의 사용자 인터페이스 소자가 불투명하게 되지 않도록 배치된 홀(hole)을 포함하는 방법.
  8. 제1항에 있어서,
    상기 두드러짐을 증대시키는 단계는 상기 사용자 인터페이스 소자 주위에 펄싱 하일하이트(pulsing highlight)를 생성하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 부작업은 사용자 입력을 요구하고, 타이머를 초기화하는 단계 및 상기 사용자 입력에 관련된 기간을 타이밍하는 단계를 더 포함하는 방법.
  10. 제9항에 있어서,
    상기 타이머가 선택된 시간에 도달하면 추가 프롬프트를 디스플레이하는 단계를 더 포함하는 방법.
  11. 제10항에 있어서,
    상기 선택된 시간은 대략 3초인 방법.
  12. 제10항에 있어서,
    일단 상기 사용자 입력이 수신되면 상기 타이머를 리셋(reset)하는 단계를 더 포함하는 방법.
  13. 제1항에 있어서,
    상기 부작업은 사용자 입력을 요구하고, 및 상기 적어도 하나의 사용자 인터페이스 소자에 근접한 윈도우에 다음 단계 버튼을 제공하는 단계를 더 포함하는 방법.
  14. 그래픽 사용자 인터페이스(GUI)를 가진 컴퓨터 시스템에 작업을 실행하는 방법으로서,
    사용자로부터 실행될 작업을 지시하는 커맨드를 수신하는 단계;
    작업 데이터베이스에서, 상기 사용자로부터의 상기 커맨드와 매치하는 복수 개의 부작업들을 가진, 작업을 식별하는 단계;
    선택된 레벨의 사용자 인터액션을 사용하여 상기 컴퓨터 시스템의 모듈을 사용하는 상기 복수 개의 부작업들의 각각을 실행하는 단계; 및
    상기 사용자에게 상기 GUI에 상기 작업의 각 부작업을 디스플레이하는 단계
    를 포함하는 방법.
  15. 제14항에 있어서,
    상기 선택된 레벨의 사용자 인터액션은 "나에게 보여달라(show me)" 모드에 대응하는 방법.
  16. 제15항에 있어서,
    상기 복수 개의 부작업들의 각각에 관련된 각 사용자 인터페이스 소자의 두드러짐이 증대되는 방법.
  17. 제14항에 있어서,
    상기 선택된 레벨의 사용자 인터액션은 "나를 위해 수행하라(do it for me)" 모드에 대응하는 방법.
  18. 제14항에 있어서,
    상기 부작업들 중의 적어도 하나의 실행은 사용자 액션을 요구하고, 상기 방법은 사용자 입력을 수신하기 위해 사용자 인터페이스 소자를 하일라이트하는 단계를 더 포함하는 방법.
  19. 제14항에 있어서,
    상기 선택된 레벨의 사용자 인터액션은 상기 사용자에 의해 선택되는 방법.
  20. 제14항에 있어서,
    상기 복수 개의 부작업들 중의 적어도 하나에 관련된 적어도 하나의 사용자 인터페이스 소자의 두드러짐을 증대시키는 단계를 더 포함하는 방법.
  21. 제20항에 있어서,
    적어도 하나의 관련된 사용자 인터페이스 소자의 상기 두드러짐을 증대시키는 단계는 상기 적어도 하나의 사용자 인터페이스 소자를 하일라이트하는 단계를 포함하는 방법.
  22. 제20항에 있어서,
    적어도 하나의 관련된 사용자 인터페이스 소자의 상기 두드러짐을 증대시키는 단계는 상기 적어도 하나의 사용자 인터페이스 소자를 둘러싸는 영역들을 비강조하는 단계를 포함하는 방법.
  23. 제22항에 있어서,
    상기 비강조하는 단계는 상기 영역들에 색을 오버레이(overlay)하기 위한 알파-블랜딩(alpha-blending) 단계를 포함하는 방법.
  24. 제23항에 있어서,
    상기 알파-블랜딩 오버레이는 반투명인 방법.
  25. 제20항에 있어서,
    두드러짐을 증대시키는 단계는 상기 사용자 인터페이스 소자 주위에 펄싱 하일라이트를 생성하는 단계를 포함하는 방법.
KR1020050069421A 2004-09-17 2005-07-29 개선된 두드러짐을 갖는 활성화된 컨텐츠 위자드 실행 KR20060048929A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/944,688 2004-09-17
US10/944,688 US20050114785A1 (en) 2003-01-07 2004-09-17 Active content wizard execution with improved conspicuity

Publications (1)

Publication Number Publication Date
KR20060048929A true KR20060048929A (ko) 2006-05-18

Family

ID=35385162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050069421A KR20060048929A (ko) 2004-09-17 2005-07-29 개선된 두드러짐을 갖는 활성화된 컨텐츠 위자드 실행

Country Status (5)

Country Link
US (1) US20050114785A1 (ko)
EP (1) EP1637994A1 (ko)
JP (1) JP2006085683A (ko)
KR (1) KR20060048929A (ko)
CN (1) CN100361076C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104014A (ko) * 2009-03-16 2010-09-29 삼성전자주식회사 자발광형 디스플레이가 적용된 기기에서 소모 전력을 저감시키기 위한 방법 및 장치

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040130572A1 (en) * 2003-01-07 2004-07-08 Aravind Bala Active content wizard: execution of tasks and structured content
US7620895B2 (en) * 2004-09-08 2009-11-17 Transcensus, Llc Systems and methods for teaching a person to interact with a computer program having a graphical user interface
US7574625B2 (en) * 2004-09-14 2009-08-11 Microsoft Corporation Active content wizard testing
US20060184880A1 (en) * 2005-02-17 2006-08-17 Microsoft Corporation Discoverability of tasks using active content wizards and help files - the what can I do now? feature
US7587668B2 (en) * 2005-02-17 2009-09-08 Microft Corporation Using existing content to generate active content wizard executables for execution of tasks
US8487910B2 (en) * 2005-05-02 2013-07-16 Smart Technologies Ulc Large scale touch system and methods for interacting with same
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20080189612A1 (en) * 2007-02-01 2008-08-07 Sony Corporation Using unique help utility identifier as parameter in application to facilitate extraction of help tutorial from library
US8706748B2 (en) * 2007-12-12 2014-04-22 Decho Corporation Methods for enhancing digital search query techniques based on task-oriented user activity
JP5316835B2 (ja) * 2008-01-08 2013-10-16 富士ゼロックス株式会社 情報処理装置、情報処理装置の操作指導システムおよび情報処理装置の操作指導プログラム
CN101551744B (zh) * 2008-04-02 2013-05-29 西门子公司 一种提供子任务向导信息的方法及装置
US20090295788A1 (en) * 2008-06-03 2009-12-03 Microsoft Corporation Visually emphasizing peripheral portions of a user interface
US8504946B2 (en) * 2008-06-27 2013-08-06 Apple Inc. Portable device, method, and graphical user interface for automatically scrolling to display the top of an electronic document
CN101770604B (zh) * 2008-12-30 2012-05-09 深圳市青铜器软件系统有限公司 图形化处理方法及其系统
JP5433521B2 (ja) * 2010-02-19 2014-03-05 東芝テック株式会社 情報処理装置およびその動作制御のためのプログラム
JP5577982B2 (ja) 2010-09-21 2014-08-27 コニカミノルタ株式会社 画像処理装置、その制御プログラム、および、その制御方法
CN102270132B (zh) * 2011-07-13 2014-03-12 中国人民解放军海军计算技术研究所 Linux操作系统中脚本行为的控制方法
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
KR101670570B1 (ko) 2012-05-09 2016-10-28 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
CN108958550B (zh) 2012-05-09 2021-11-12 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
EP3564806B1 (en) 2012-12-29 2024-02-21 Apple Inc. Device, method and graphical user interface for determining whether to scroll or select contents
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105276A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for transitioning between touch input to display output relationships
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2939097B1 (en) 2012-12-29 2018-12-26 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
CN108845748A (zh) 2012-12-29 2018-11-20 苹果公司 用于针对多接触手势而放弃生成触觉输出的设备、方法和图形用户界面
CN105474774B (zh) * 2013-08-09 2019-03-19 株式会社富士 显示电子元件安装机所使用的数据的装置
EP2846258A1 (en) * 2013-09-04 2015-03-11 Roche Diagniostics GmbH Method and analysis system for processing biological samples
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10088996B2 (en) 2015-06-11 2018-10-02 International Business Machines Corporation Automation of user interface to facilitate computer-based instruction
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
CN106569783B (zh) * 2015-10-08 2021-05-28 腾讯科技(深圳)有限公司 一种执行任务脚本的方法和装置
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5117496A (en) * 1988-05-23 1992-05-26 Hewlett-Packard Company Method for recording and replaying mouse commands by recording the commands and the identities of elements affected by the commands
US5481667A (en) * 1992-02-13 1996-01-02 Microsoft Corporation Method and system for instructing a user of a computer system how to perform application program tasks
US5535422A (en) * 1992-03-26 1996-07-09 International Business Machines Corporation Interactive online tutorial system for software products
US5600789A (en) * 1992-11-19 1997-02-04 Segue Software, Inc. Automated GUI interface testing
US5550967A (en) * 1993-01-27 1996-08-27 Apple Computer, Inc. Method and apparatus for generating and displaying visual cues on a graphic user interface
JPH07295940A (ja) * 1994-04-21 1995-11-10 Sharp Corp 電子機器
US5602982A (en) * 1994-09-23 1997-02-11 Kelly Properties, Inc. Universal automated training and testing software system
US5671351A (en) * 1995-04-13 1997-09-23 Texas Instruments Incorporated System and method for automated testing and monitoring of software applications
JP2795244B2 (ja) * 1996-01-17 1998-09-10 日本電気株式会社 プログラムデバッグシステム
US5825356A (en) * 1996-03-18 1998-10-20 Wall Data Incorporated Help system with semitransparent window for disabling controls
US6061643A (en) * 1998-07-07 2000-05-09 Tenfold Corporation Method for defining durable data for regression testing
US6307544B1 (en) * 1998-07-23 2001-10-23 International Business Machines Corporation Method and apparatus for delivering a dynamic context sensitive integrated user assistance solution
US6504554B1 (en) * 1998-09-01 2003-01-07 Microsoft Corporation Dynamic conversion of object-oriented programs to tag-based procedural code
US6219047B1 (en) * 1998-09-17 2001-04-17 John Bell Training agent
US6308146B1 (en) * 1998-10-30 2001-10-23 J. D. Edwards World Source Company System and method for simulating user input to control the operation of an application
US6745170B2 (en) * 1999-02-08 2004-06-01 Indeliq, Inc. Goal based educational system with support for dynamic characteristic tuning
US6340977B1 (en) * 1999-05-07 2002-01-22 Philip Lui System and method for dynamic assistance in software applications using behavior and host application models
WO2000070417A1 (en) * 1999-05-17 2000-11-23 The Foxboro Company Process control configuration system with parameterized objects
US7000187B2 (en) * 1999-07-01 2006-02-14 Cisco Technology, Inc. Method and apparatus for software technical support and training
US6532023B1 (en) * 1999-08-12 2003-03-11 International Business Machines Corporation Recording selected applet events of a user interaction sequence
US6662225B1 (en) * 1999-11-16 2003-12-09 Ricoh Company, Ltd. Remote system usage monitoring with flexible packaging of data
US6785850B2 (en) * 2000-03-02 2004-08-31 Texas Instruments Incorporated System and method for automatically configuring a debug system
WO2001099415A2 (en) * 2000-06-19 2001-12-27 Koninklijke Philips Electronics N.V. Method of automatic execution, receiving station
JP2003015793A (ja) * 2001-07-03 2003-01-17 Matsushita Electric Works Ltd ネットワーク上の監視対象の情報を監視画面上にダイナミックに変化させて表示する方法、ネットワーク上の監視対象の情報を監視画面上にダイナミックに変化させて表示するシステム、およびこのシステムを実現するためのユーザインタフェースプレイヤープログラム
US6966013B2 (en) * 2001-07-21 2005-11-15 International Business Machines Corporation Method and system for performing automated regression tests in a state-dependent data processing system
US7185286B2 (en) * 2001-08-28 2007-02-27 Nvidia International, Inc. Interface for mobilizing content and transactions on multiple classes of devices
US6948152B2 (en) * 2001-09-14 2005-09-20 Siemens Communications, Inc. Data structures for use with environment based data driven automated test engine for GUI applications
US7024658B1 (en) * 2001-09-28 2006-04-04 Adobe Systems Incorporated Extensible help facility for a computer software application
US7055137B2 (en) * 2001-11-29 2006-05-30 I2 Technologies Us, Inc. Distributed automated software graphical user interface (GUI) testing
US6862682B2 (en) * 2002-05-01 2005-03-01 Testquest, Inc. Method and apparatus for making and using wireless test verbs
US20030222898A1 (en) * 2002-06-03 2003-12-04 International Business Machines Corporation Integrated wizard user interface
US8874503B2 (en) * 2002-07-15 2014-10-28 Jmw Productivity, Llc Method, system and apparatus for organizing information for managing life affairs
US7305659B2 (en) * 2002-09-03 2007-12-04 Sap Ag Handling parameters in test scripts for computer program applications
US20040130572A1 (en) * 2003-01-07 2004-07-08 Aravind Bala Active content wizard: execution of tasks and structured content
US7694223B2 (en) * 2003-06-04 2010-04-06 Sony Computer Entertainment Inc. Methods and systems for recording user actions in computer programs
US20050050135A1 (en) * 2003-08-25 2005-03-03 Josef Hallermeier Handheld digital multimedia workstation and method
US7426734B2 (en) * 2003-10-24 2008-09-16 Microsoft Corporation Facilitating presentation functionality through a programming interface media namespace
CN100573503C (zh) * 2004-07-08 2009-12-23 微软公司 自动生成内容的方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104014A (ko) * 2009-03-16 2010-09-29 삼성전자주식회사 자발광형 디스플레이가 적용된 기기에서 소모 전력을 저감시키기 위한 방법 및 장치
US9286823B2 (en) 2009-03-16 2016-03-15 Samsung Electronics Co., Ltd. Method and apparatus for reducing power consumption in electronic equipment using self-emitting type display
KR101633379B1 (ko) * 2009-03-16 2016-06-27 삼성전자주식회사 자발광형 디스플레이가 적용된 기기에서 소모 전력을 저감시키기 위한 방법 및 장치

Also Published As

Publication number Publication date
JP2006085683A (ja) 2006-03-30
CN100361076C (zh) 2008-01-09
US20050114785A1 (en) 2005-05-26
CN1749960A (zh) 2006-03-22
EP1637994A1 (en) 2006-03-22

Similar Documents

Publication Publication Date Title
KR20060048929A (ko) 개선된 두드러짐을 갖는 활성화된 컨텐츠 위자드 실행
RU2345404C2 (ru) Средство разработки активного содержимого: исполнение задач и структурированного содержимого
JP5249755B2 (ja) セマンティックリッチオブジェクトによる動的なユーザエクスペリエンス
US7587668B2 (en) Using existing content to generate active content wizard executables for execution of tasks
US7036079B2 (en) Importation of automatically generated content
US7565607B2 (en) Automatic image capture for generating content
Srinivasan et al. Discovering natural language commands in multimodal interfaces
Rosenfeld et al. Universal speech interfaces
US20050033713A1 (en) Automatic text generation
KR20060092042A (ko) 액티브 콘텐츠 마법사 및 도움말 파일들을 이용한 태스크발견 가능성 - 이제 무엇을 할 수 있을까요? 라는 기능
US20060224778A1 (en) Linked wizards
Li et al. Teaching agents when they fail: end user development in goal-oriented conversational agents
Sarmah et al. Geno: A Developer Tool for Authoring Multimodal Interaction on Existing Web Applications
Li et al. An end user development approach for failure handling in goal-oriented conversational agents
Rosenfeld et al. Universal Human-Machine Speech Interface
Abbo et al. Enhancing Conversational Troubleshooting with Multi-modality: Design and Implementation
Li et al. A Multi-modal Approach to Concept Learning in Task Oriented Conversational Agents
Frey et al. Model based self-explanatory user interfaces
McCleary A model for integrating speech recognition into graphical user interfaces

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application