KR0138003B1 - 시각 장애가 있는 컴퓨터 사용자가 표시된 객체를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템 - Google Patents

시각 장애가 있는 컴퓨터 사용자가 표시된 객체를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템

Info

Publication number
KR0138003B1
KR0138003B1 KR1019940035585A KR19940035585A KR0138003B1 KR 0138003 B1 KR0138003 B1 KR 0138003B1 KR 1019940035585 A KR1019940035585 A KR 1019940035585A KR 19940035585 A KR19940035585 A KR 19940035585A KR 0138003 B1 KR0138003 B1 KR 0138003B1
Authority
KR
South Korea
Prior art keywords
objects
audible
class
displayed
user interface
Prior art date
Application number
KR1019940035585A
Other languages
English (en)
Other versions
KR950020222A (ko
Inventor
제이. 크라군 브라이언
Original Assignee
월리엄 티. 엘리스
인터내셔날 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 월리엄 티. 엘리스, 인터내셔날 비지네스 머신즈 코포레이션 filed Critical 월리엄 티. 엘리스
Publication of KR950020222A publication Critical patent/KR950020222A/ko
Application granted granted Critical
Publication of KR0138003B1 publication Critical patent/KR0138003B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
    • Y10S715/978—Audio interaction as part of an operator interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

시각 장애가 있는 컴퓨터 사용자가 그래픽 사용자 인터페이스 환경 내의 다수의 객체들의 클래스 중의 하나로 분류된 각각의 객체를 명확하게 그려 볼 수 있도록 하기 위한 방법 및 시스템이 기재되어 있다. 그래픽 사용자 인터페이스 환경 내에서 그래픽 사용자 인터페이스 객체는 다수의 객체들의 클래스 중의 하나로 분류된다. 두 개 이상의 가청 특성을 가진 오디오 신호는 객체들의 클래스 내의 각각의 객체와 연관된다. 제1 가청 특성은 하나의 객체들의 클래스 내의 모든 객체에 공통이며, 기타 객체들의 클래스 내의 모든 객체들과는 구별된다. 제2 가청 특성은 객체들의 클래서 내의 모든 객체들에 있어 유일하다. 따라서, 이 두가지 가청 특성을 각각 포함하는 오디오 신호들이 포함된 복합 가청 신호가 각각의 표시된 객체 마다 발생된다. 제1 가청 특성은 특정한 클래스 내의 모든 객체들과 연관되어 있으므로, 시각 장애가 있는 사용자는 제1 가청 특성을 들으므로써 몇 개의 객체들의 클래스가 표시되어 있는지를 결정할 수 있고, 이객체들의 클래스들을 서로 구별할 수 있게 된다. 제2 가청 특성은 동일한 클래스 내의 객체들과 연관된 모든 가청 특성들에 있어 유일하므로, 시각 장애가 있는 사용자는 제2 가청 특성을 들으므로써 몇 개의 객체들이 특정 클래스 내에 표시되었는지를 결정할 수 있고, 그 객체들을 서로 구별할 수 있게 된다. 시각 장애가 있는 사용자가 객체들의 클래스를 구별하고 특정 클래스 내의 객체들을 구별할 수 있도록 함으로써, 이러한 사용자가 컴퓨터 작업을 수행하거나 그래픽 사용자 인터페이스를 사용하는 것이 더 효율적으로 된다.

Description

시각 장애가 있는 컴퓨터 사용자가 표시된 객체를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템
제1도는 본 발명의 방법 및 시스템을 구현하기 위하여 사용될 수 있는 데이타 프로세싱 시스템(data processing system)을 도시한 도면.
제2도는 제1도의 데이타 프로세싱 스스템에 대한 상위 레벨의 블럭도.
제3도는 본 발명의 방법 및 시스템을 예시하는 데 사용될 수 있는 디스플레이 화면을 도시한 도면.
제4도는 본 발명의 방법 및 시스템을 구현하기 위하여 사용될 수 있는 사운드 발생 시스템(sound generation system)에 대한 상위 레벨의 블럭도.
제5a도 및 제5b도는 본 발명의 방법 및 시스템의 양호한 소프트웨어 구현을 예시하는 상위 레벨의 논리 플로우챠트를 나타낸 도면.
* 도면의 주요 부분에 대한 부호의 설명
10:데이타 처리 시스템12:프로세서 모듈
14:디스플레이16:키보드
18:케이블20:마우스
22:디스플레이 화면24:작업 공간
26:드라이브 A27:드라이브 B
28:프린터30:윈도우
31:작업 영역32, 33, 34:문서
35, 36:폴더37:포인터
50:스피커52:운영 체제
54:표현 논리56:애플리케이션
58:비디오 인터페이스 논리 및 하드웨어
60:질의 코드62:사운드 하드웨어
64:사운드 발생 소프트 웨어72-75:신호원
76-79:음량 조절기80-83:방향 수정기
84,85:덧셈 회로86,87:오디오 출력 장치
본 발명은 일반적으로 시각 장애가 있는 사용자(visually impaired users)가 데이타 프로세싱 시스템을 사용하는 데 있어서의 가용성(usability)을 증대시키기 위한 방법 및 시스템에 관한 것으로, 특히 시각 장애가 있는 사용자가 그래픽 사용자 인터페이스(graphical user interface)를 사용할 수 있도록 하기 위한 방법 및 시스템에 관한 것이다.
최근에 컴퓨터 애플리케이션 소프트웨어 개발자들 간에는 그래픽 사용자 인터페이스를 지향하는 움직임이 있어 왔다. 그래픽 사용자 인터페이스에서는 파일 캐비넷(file cabinet), 폴더(folders), 문서 및 프린터와 같은 객체(object)들이 축소형의 그래픽 표현이나 아이콘(icon)으로서 컴퓨터 화면 상에 표시된다. 이 객체들은 컴퓨터 환경에서 표시된 객체가 수행하는 기능과 유사한 실제의 객체를 닮도록 선택될 수 있는 컴퓨터 화면 상의 일군의 펙셀(a group of pixels)로 이루어진다. 이 객체들은 목적코드(object-code) 또는 객체 본위(object-based)프로그래밍 언어나 객체 지향(object-oriented) 프로그래밍 언어에서 사용되는 객체(object)와 혼동되어서는 안된다. 그래픽 사용자 인터페이스 내에서 사용자는 이런 객체를 조작하는 데 있어서, 마치 실제 작업 공간(work place)에서 그러한 유사한 객체를 조작하는 것과 비슷한 방법을 쓰게 된다. 사용자는 마우스나 기타 그래픽 포인팅 디바이스(graphical pointing device)로 이런 객체들을 조작하여 원하는 컴퓨터 작업을 수행하게 된다.
예를 들어, 작업 공간(work place)에서 파일 캐비넷 안에 있는 폴더에 문서를 넣으려면 사용자는 파일 캐비넷을 열고, 올바른 폴더를 찾아내어 열고나서 그 안에 문서를 넣게 된다. 마찬가지로, 그래픽 사용자 인터페이스의 전자 작업 공간(electronic work place)에서는 사용자가 그 과정을 검퓨터 화면상에서 행하게 된다. 따라서, 사용자는 파일 캐비넷 아이콘을 열고, 올바른 폴더 아이콘을 찾고 나서, 찾아낸 폴더에 문서 아이콘을 놓게 된다. 따라서, 사용자는 실제 작업 공간에서의 지식을 컴퓨터 상에서의 유사한 작업을 수행하는 데 사용할 수 있게 된다.
정상적인 시각을 가진 사람들은 그래픽 사용자 인터페이스가 직관적(intuitive)이며 일하기 수월하다고 느끼게 된다. 그러나, 그래픽 사용자 인터페이스는 가끔씩의 비프음(beep)이나 유사한 톤(tone)을 제외하고는 사실상 소리를 내지 않으며, 이런 인터페이스가 사용자에게 제공하는 대부분의 정보는 시각적이다. 예를 들어, 객체나 아이콘의 모양(appearance)이 그 객체가 나타내는 데이타나 그 객체가 다른 객체와 어떻게 상호 작용하는지에 대한 정보를 사용자에게 전달할 수 있다. 애플리케이션을 나타내는 객체는 그 애플리케이션의 기능과 관련된 모양을 가질 수 있다. 즉, 드로잉 애플리케이션(drawing application)은 T자(Tsquare) 및 연필을 닮은 객체나 아이콘으로 나타낼 수 있다. 마찬가지로, 어떤 애플리케이션에 의해 생선된 문서를 패어런트 애플리케이션(parent application)을 나타내는 객체를 닮은 객체에 의해 나타낼 수 있으며, 이를 통해 문서의 포맷(format)에 관한 정보를 전달하게 된다.
기타 객체들은 객체들을 받고 저장할 수 있는데. 예를 들어 여러 애플리케이션과 그런 애플리케이션에 의해 생성된 문서들을 나타내는 다른 객체들을 저장하기 위해 디스크 드라이브(disk drive) 내의 데이타를 정리하여 보관하고(filing) 조직화하는(organizing) 보조 수단으로서, 파일 폴더를 닮은 객체가 사용될 수 있다. 또 다른 객체들은 데이타 프로세싱 시스템 내에서 일정한 기능을 수행하게 되는데, 예를 들어 쓰레기통을 닮은 객체는 디스크 드라이브에서 선택된 파일들을 지우는(delete) 기능을 수행하는데 사용될 수 있다.
그래픽 사용자 인터페이스를 사용하여 컴퓨터를 작동시키는데 있어서, 사용자가 마음속으로 객체들을, 예를 들면 장치 클래스(device class), 데이타 클래스(data class) 및 컨테이너 틀래스(container class)와 같은 객체들의 클래스로 분류시키는 것이 도움이 된다. 이와 같은 분류를 사용함으로써, 사용자는 다른 객체들을 저장하고 있는 컨테어너 객체(container object)를 다른 객체들을 저장하고 있지 않은 데이타 객체(data object)나 장치 객체(device object)로부터 구별해 낼 수 있기 때문에, 특정 테이타 파일을 찾기 위해 각각의 컨테어너 객체를 탐색(search)하는 것으로 충분하게 된다. 따라서, 사용자가 객체들의 클래스를 인식하고 구별할 수 있는 경우, 보다 더 효율적으로 원하는 데이타 파일을 찾거나 기타 유사한 컴퓨터 작업을 수행할 수 있게 된다.
시각 장애가 있는 사용자는 컴퓨터 화면 상에 표시된 객체들의 클래스를 시각적으로 인식하거나 구별할 수 없기 때문에, 심한 시각 장애가 있는 자는 본질적으로 그래픽 사용자 인터페이스를 사용할 수 없다. 더구나, 비록 시각 장애가 있는 자가 그래픽 사용자 인터페이스 내의 객체의 위치를 찾아낼 수 있다고 하더라도, 사용자가 볼 수 있을 경우에 그래픽으로 전달될 수 있는 만큼의 많은 정보를 얻지는 못한다.
현재 비록 시각 장애가 있는 컴퓨터 사용자들이 음성 합성(speech synthesis), 대형 인쇄 처리(large-print processing), 점자식 전자 출판(brailledesk top publishing) 및 음성 인식(voice recognition) 등을 포함하는 여러 형태의 적응 기술의 혜택을 누리고 있지만, 전술한 수단(tools) 중 그 어느 것도 그래픽 사용자 인터페이스와 함께 사용될 수 있을 정도로 적응되지는 못했다. 그러나, 이런 적응 기술을 그래픽 사용자 인터페이스와 함께 사용할 수 있도록 통합하는 방법에 대한 몇가지 제안이 있었다. 예를 들면, 라짜로(Lazzaro)가 1991년 6월 발행된 바이트 메거진(Byte Magazine)의 416 페이지에 게재한 취약한 윈도우즈(Windows of Vulnerability)라는 기사에는 프로그래머가 소프트웨어를 작성(write)할 때 아이콘에 대한 내장된 음성 레이블(built-in voice lable)을 사용할 수 있도록 하자는 제안이 있다. 다른 예로는 시각 장애가 있는 자가 컴퓨터 디스플레이 내용을 알 수 있도록 하기 위한 다양한 음성 합성 또는 음성 녹음 방법에 관하여, 골딩(Golding) 등이 1984년 3월 발행된 IBM 기술 공개 보고(IBM Technical Disclosure Bulletin)의 제26권 제10B번 5633 페이지부터 5636페이지까지에, 바네트(Barnett) 등이 1984년 3월 발행된 IBM 기술 공개 보고의 제26권 제10A번 4950 페이지부터 4951 페이지 까지에 각각 제안하였다. 이 예들 중 어느것도 시각 장애가 있는 사용자가 컴퓨터 디스플레이 상의 객체의 위치를 찾는데 도움을 주지는 못한다. 뿐만 아니라. 이 예들에는 어떤 종류의 객체들이 컴퓨터 디스플레이 화면 상에서 지원되는 지를 결정하는 방법에 대해서 아무런 제안도 없다.
그 밖에, 맹인인 마우스 사용자가 마우스를 통하여 텍스트(text)를 읽고 촉각에 의한 위치 피드팩(tactile position feedback)을 얻을 수 있도록 되어 있는 점자 변환기(braille transducer)가 내장된 마우스를 포함한 시스템에 대하여, 코머포드(Comerford)가 1985년 8월 발행된 IBM 기술 공개 보고 제3번 제28권 1343 페이지에, 아피니토(Affinito) 등이 1989년 5월 발행된 IBM 기술 공개 보고 제12번 제31권 386 페이지에 각각 제안한 바 있다. 그러나, 이런 시스템이 청각적으로 또는 마우스에 내장된 점자 변환기에 의하여 다양한 텍스타 아이템(items)을 들려 주거나, 시각 장애가 있는 사용자에게 약간의 정보를 제공할 수 있는 반면에, 사용자가 컴퓨터 디스플레이 화면 상에서 조종하거나(navigate about) 화면상의 객체의 위치를 찾을 수 있도록 해주지는 않는다. 예를 들어, 이런 시스템은 사용자가 컴퓨터 시스템에 부착된 디스크 드라이브가 몇개인지를 결정하도록 해주지 못한다.
또한, 청각 피드백(aural feedback)을 사용함으로써 시각 피드백을 향상시켜 대화형(interactive) 컴퓨터 그래픽 시스템 사용자가 데이타의 위치를 찾아내도록 도와주기 위하여, 가청 커서 포지션닝 및 픽셀(picture element) 상태 식별 메커니즘(audible cursor positioning and pixel status identification mechanism)을 사용하자는 제안이 있었다. 이런 시스템에서는 커사가 화면 위에서 움직이면, 커서와 마주친 각각의 픽셀의 현재 상태에 해당하는 톤(tone)으로 톤이 바뀌어 가청 클릭(audible click)이 발생된다. 청각 및 시각 커서 피드백을 조합한 경우, 커서가 움직을 때의 톤의 변화를 주시함으로써 원하는 라인(line)을 식별해 내는 작업이 더 수월해진다. 칼라 디스플레이 애플리케이션의 경우, 어떠한 픽셀도 다른 색깔을 가진 주위의 픽셀들과 구별되어 지도록 각각의 색깔을 다른 톤으로 표현한다. 드럼(Drumm)등은 1984년 9월에 발행된 IBM 기술 공개 보고(IBM Technical Disclosure Bulletin) 제48번 제27권 25페이지부터 28페이지 까지에서 이런 시스템이 시각 장애가 있는 사용자 또는 학습 장애 사용자에게 특히 도움이 된다고 제안했다. 그러나, 전술한 공개에는 시각 장애가 있는 사용자가 컴퓨터 디스플레이 화면 상의 그래픽 사용자 인터페이스 상에서 조종하거나 인터페이스 상의 객체의 위치를 찾거나 할 수 있게 해주는 수단이 제시되어 있지 않으며, 또한 이런 사용자가 다수의 객체들의 클래스 내에서 객체를 구별해 낼수 있게 해주는 수단도 제시되어 있지 않다.
최근에 맹인 컴퓨터 사용자가 그래픽 사용자 인터페이스 내의 메시지 박스를 다룰 수 있게 해주는 방법 및 시스템(Method and System for Enabling a Blind Computer User to Handle Message Boxes in a Graphical User Interface)이라는 제목의 1991년 8월 19일 출원된 미합중국 특허 출원 제07/746,838에는 시각 장애가 있는 사용자가 그래픽 사용자 인터페이스 내에서 소위 메시지 박스(message box)와대화할 수 있도록 해주는 시스템이 제안되었다. 본 기술 분야에서 통상의 지식을 가진 자라면 인식할 수 있는 바와 같이, 각각의 메시지 박스는 아이콘, 설명 텍스트(explanatory text) 및 하나 또는 그 이상의 누름 단추들(push buttons)를 포함한다. 사용자는 아이콘을 통해 메시지 타잎(type of message)을 시각적으로 실별할 수 있다. 대개, 텍스트는 상황(situation)을 설명해 주며, 도움을 제공할 수도 있다. 텍스트 내용은 질문(question)이나 또는 진술(statement)일 수 있다. 대개, 메시지 박스 내에 제공된 누름 단추가 사용자와 메시지 박스가 대화할 수 있도록 해준다.
제안된 이 시스템에서는 메시지 박스가 맨 처음 나타날 때 이런 박스의 텍스트 내용을 들려줌으로써 시각 장애가 있는 사용자가 메시지 박스에 적응할 수 있도록 한다. 그 후 메시지 박스에 응답할 수 있도록 된 누름 단추들이 좌에서 우로의 순서에 따라 들려진다. 마우스 포인터가 메시지 박스에 접근함에 따라 음 높이가 증가하는 호밍 신호(homing signal)가 제공되어 메시지 박스를 찾을 수 있게 된다. 포인터가 메시지 박스 내부로 들어가면 메시지 박스 텍스트 및 이용가능한 누름 단추들이 다시 들려지며, 포인터는 자동적으로 디폴트(default) 누름 단추로 이동된다. 시각 장애가 있는 사용자는 이 시스템을 사용하여 컴퓨터 디스플레이 시스템 내에서 메시지 박스의 위치를 찾아 낼 수 있다. 그러나. 이 시스템은 시각 장애가 있는 사용자가 어느 한 클래스에 속하는 그래픽 사용자 인터페이스 객체의 위치를 선택적으로 찾아내고, 이 객체를 그래픽 사용자 인터페이스내의 다른 클래스에 속하는 객체들로부터 구별할 수 있도록 해주는 어떠한 방법도 제공하지 못했다.
다른 방법 및 시스템으로서, 발명의 명칭이 스테레오 및 필터된 사운드 효과를 가지는 오디오 사용자 인터페이스(Audio User Interface with Stereo and Filtered Sound Effects)인 1991년 8월 19일자 미합중국 특허 출원 제07/746,840호에는 스테레오 사운드 시스템을 제공하고, 마우스 포인터의 위치를 가리키기 위하여 좌우측의 오디오 채널의 강도를 변화시킴으로써, 그래픽 사용자 인터페이스내에서 시각 장애가 있는 사용자가 윈도우의 클라이언트 영역(client area of a window)내에 있는 마우스 포인터나 기타 그래픽 포인팅 디바이스의 위치를 찾을 수 있도록 해주는 방법 및 시스템이 제안되어 있다. 이 시스템에는 윈도우의 클라이언트 영역의 최상단(top)과 최하단(bottom)에 있는 포인터의 위치를 가리키기 위하여 연관된 사운드의 음 높이를 증가시키는 것도 역시 제안되어 있다. 이 시스템은 시각 장애 사용자가 그래픽 사용자 인터페이스 내의 마우스 포인터를 다룰 수 있도록 해주는 반면, 일군의 표시된 그래픽 객체들(a group of displayed graphical objects) 중에서 특정 객체를 선택하거나 또는 어느 한 클래스 내의 객체들을 다른 클래스의 객체들로부터 구별할 수 있도록 해주는 기법에 대하여는 아무런 제안이나 제시를 하지 못했다.
최근에 발명의 명칭이 맹인 또는 시각 장애가 있는 컴퓨터 사용자가 표시된 요소를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템(Method and System for Enabling Blind or Visually Impaired Computer Users to Graphically Select Displayed Elements)인 1991년 12월 5일자 미합중국 특허 출원 제07/802,956호에 또 다른 방법 및 시스템이 제안되었다. 이에 따르면, 컴퓨터 디스플레이 내의 그래픽 요소들(graphic elements)에 마우스 또는 기타 그래픽 포인팅 디바이스에 의해 제어되는 포인터의 정점(vertex) 주변의 관심 영역(area of interest)을 정의하는 선택된 반지름을 연관시킴으로써, 그리고 그 후 컴퓨터 디스플레이 내의 각각의 그래픽 요소에 연관된 식별 가능한 가청 신호들을 포함하는 복합 가청 신호(composite audible signals)를 발생시킴으로써, 시각 장애가 있는 사용자는 컴퓨터 디스플레이 내의 그래픽 요소들의 위치를 찾을 수 있다. 관심영역의 회전 가능한 부분(rotatable sector of the area of interest)의 내부에 픽셀을 갖는 그래픽 객체와 연관되어 있는 각각의 실별 가능한 가청 신호를 요소들로 하는 복합 신호를 발생시킴으로써, 또는 이런 복함 신호를 순환적으로 발생시킴으로써, 시각 장애가 있는 사용자는 컴퓨터 디스플레이 내의 선택된 객체들의 위치를 신속하고 효율적으로 찾아낼 수 있다. 이 방법 및 시스템은 시각 장애가 있는 사용자가 컴퓨터 디스플레이 내의 그래픽 사용자 인터페이스 객체들의 위치를 찾도록 해주는 반면에, 어느 한 클래스의 객체들을 다른클래스의 객체들과 구분할 수 있도록 해주는 기법에 대해서는 제안 또는 제시한 바가 없다.
따라서, 본 발명의 목적은 시각 장애가 있는 사용자에 의한 데이타 프로세싱 시스템의 가용도를 향상시키기 위한 방법 및 시스템을 제공하는 것이다.
본 발명의 다른 목적은 시각 장애가 있는 사용자가 컴퓨터 시스템 내에서 그래픽 사용자 인터페이스를 사용할 수 있게 해주는 개선된 방법 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 그래픽 사용자 인터페이스 내에서 시각 장애가 있는 사용자가 다수의 객체들의 클래스(multiple calsses of objects) 중의 하나의 클래스에 속하는 표시된 객체들을 그려 보며(visualize), 구별하고 선택할 수 있게 해주는 개선된 방법 및 시스템을 제공하는 것이다.
전술한 목적들은 이하 기술하는 바에 의하여 성취된다. 본 발명의 방법 및 시스템은 시각 장애가 있는 컴퓨터 사용자가 그래픽 사용자 인터페이스 환경 내에서 다수의 객체들의 클래스 중의 하나의 클래스로 분류된 개개의 객체를 명료하게 그려 볼 수 있도록 해 주는 데 사용될 수 있다. 그래픽 사용자 인터페이스 환경 내에서 그래픽 사용자 인터페이스 객체들은 다수의 객체들의 클래스 중 하나의 클래스로 분류된다. 적어도 두 개의 가청 특성(audible characteristics)을 갖는 오디오 신호는 객체들의 클래스 내의 각각의 객체와 연관된다. 제1 가청 특성은 어느 한 객체들의 클래스 내의 모든 객체들에 있어서 공통이며 기타 객체들의 클래스 내의 모든 객체들과는 구별된다. 제2 가청 특성은 어느 한 객체들의 클래스 내의 모든 객체들에 있어서 유일하다. 그 후, 이 2개의 가청 특성을 각각 포함하는 오디오 신호들이 포함된 복합 가청 신호가 각각의 표시된 객체들에 대해 발생된다. 제1 가청 특성은 특정 클래스 내의 모든 객체들에 연관되어 있으므로, 시각 장애가 있는 사용자는 이 제1 가청 특성을 들음으로써, 몇 개의 객체들의 클래스가 표시되었는지를 결정할 수 있고, 그 객체들의 클래스들을 서로 구분할 수 있게 된다. 제2 가청 특성은 동일한 클래스 내의 객체들에 연관된 모든 가청 특성들간에 유일하므로, 시각 장애가 있는 사용자는 제2 가청 특성을 들음으로써 몇 개의 객체들이 특정 클래스 내에 표시되었는지를 결정할 수 있고, 그 객체들을 서로 구분할 수 있게 된다. 시각 장애가 있는 사용자가 객체들의 클래스를 구별하고 특정 클래스 내의 객체들을 구별할 수 있도록 해 줌으로써, 컴퓨터 작업을 수행하거나 그래픽 사용자 인터페이스를 사용하는 것이 더 효율적으로 된다.
본 발명의 신규한 특징적 구성이 첨부된 특허 청구의 범위에 기재되어 있다. 본 발명의 다른 목적과 장점들에 대한 명확한 이해를 돕기 위하여, 이하 첨부 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 도면들 특히 제1도를 참조하면, 본 발명의방법 및 시스템을 구현하는 데에 사용될 수 있는 데이타 프로세싱 시스템(10)이 도시되어 있다. 도시된 바와 같이, 데이타 프로세싱 시스템(10)은 양호하게는 프로세서 모듈(processor module ,12) 및 디스플레이(14)를 포함한다. 키보드(16)는 본 기술 분야에서 공지된 방식에 따라 케이블(18)에 의해 프로세서 모듈(12)에 연결된다. 마우스(20) 또한 프로세서 모듈(12)에 연결된다.
도시된 바와 같이, 디스플레이(14)는 디스플레이 화면(22) 및 적어도 1개의 스피커(50)을 포함한다. 본 기술 분야에서 통상의 지식을 가진 자라면 데이타 프로세싱 시스템(10)을 종래의 퍼스널 컴퓨터 시스템(personal computer system) 중의 어느 것을 사용해서도 구현할 수 있다는 점을 인식할 수 있을 것이다. 그러나, 양호한 실시예에서는 IBM 사의 ValuePoint 상표로 판매되는 퍼스널 컴퓨터가 사용된다.
제2도를 참조하면, 제1도의 데이타 프로세싱 시스템(10)에 대한 상위 레벨의 블럭도가 도시되어 있다. 도면에 표시한 바와 같이, 프로서세 모듈(12) 내의 중앙 처리 장치(central processing unit) 하드웨어가 점선의 사각형 안에 도시되어 있으며, 역시 12로 도면 부호가 붙어 있다. 양호하게는 표현 논리(presentation logic ,54)를 포함하는 운영 체제(operating system ,52)는 중앙 처리 장치 하드웨어 내에서 운영된다. 다수의 애플리케이션(a plurality of applications, 56)이 운영 체제(52) 상에서 실행되는 것으로 도시되어 있다. 비디오 인터페이스 논리 및 하드웨어(video interface logic and hardware, 58)는 본 기술 분야에서 공지된 방식에 따라 비디오 디스플레이(14) 내에 표시되는 정보를 표현 논리(54)로부터 전달받는다. 마우스(20) 및 키보드(16) 역시 제2도에 도시되어 있으며, 퍼스널 컴퓨터 설계 분야에서 공지된 방식에 따라 운영 체제(52)에 결합된다.
데이타 프로세싱 시스템(10)은 양호하게는 비디오 디스플레이(14) 내에 표시되는 윈도우의 타잎이 포함된 정보를 표현 논리(54)로부터 전달받는 질의 코드(query code, 60)를 포함하며, 윈도우의 위치 및 크기와 마우스(20)에 연관된 현재 포인터의 위치를 포함한다. 질의 코드(60)는 양호하게는 복합 가청 신호를 제공하기 위하여 사운드 하드웨어(62) 내의 사운드 발생 소프트웨어(64)에 정보를 제공하는 데, 이 복합 가청 신호는 비디오 디스플레이(14) 내의 선택된 그래픽 객체들의 클래스의 위치를 찾고 그 클래스를 식별하기 위하여 시각 장애가 있는 사용자가 사용할 수 있는 요소들을 포함한다. 이렇게 발생된 복합 오디오 신호들은 스피커(50)와 같은 오디오 출력 장치에 연결되며, 이하에서 상세히 설명될 방식으로 사용된다.
제3도를 참조하면, 본 발명의 방법 및 시스템을 설명하기 위해 사용되는 디스플레이 화면이 도시되어 있다. 도시한 바와 같이, 그래픽 사용자 인터페이스는 디스플레이 화면(22) 내에 표현된다. 본 기술 분야에서 통상의 지식을 가진 자라면 그래픽 사용자 인터페이스 환경 내에서 표시된 객체들이 장치 클래스, 테이타 클래스 및 컨테이너 클래스 등을 포함하는 다수의 객체들의 클래스로 분류될 수 있음을 인식할 것이다. 물론, 기타의 객체 분류 방법이 만들어질 수 있으며, 그것이 다양한 작업을 수행하는데 있어서 더 유용할 수 있다. 컨테어너로 분류되는 작업 공간(work place, 24)은 사용자가 수행하는 모든 작업이 이루어지며 모든 사용자 객체가 상주하는 공간으로서 그래픽 사용자 인터페이스에 의해 제공된다. 본 예에서는, 디스플레이 화면(22) 영역이 실질적으로 작업 공간(24)에 해당한다.
드라이브 A(26), 드라이브 B(27), 프린터(28) 및 윈도우(30)이 작업 공간(24) 내에 표시되어 있다. 프린터(28)는 장치 객체의 한 예이다. 장치 객체는 사용자 시스템에 연관된 프린터, 마우스 또는 스캐너(scanner)와 같은 물리적 또는 논리적 장치를 나타내는 객체이다. 사용자는 전형적으로는 장치 객체 아이콘상으로 객체들을 끄는 것(dragging) 및 떨어뜨리는 것(dropping)에 의해 그 장치를 액세스하거나 그장치에 데이타를 전달할 수 있다.
드라이브 A(26), 드라이브 B(27) 및 윈도우(30)는 기타 객체들을 담기 위한 목적을 가지는 컨테이너 객체의 예이다. 윈도우(30)는 윈도우 타이틀(window title), 시스템 메뉴 심볼(system menu symbol) 및 타이블 바(title bar)에 위치한 윈도우 크기 조절 단추(window sizing buttons), 타이틀 바 밑에 위치하며 풀다운 메뉴(pull-down menu)를 나타내는 선택 사항(choices)들을 포함하는 메뉴 바(menu bar), 객체의 상태 또는 객체의 특별한 뷰(view)의 상태를 나타내는 정보를 표시하기 위한 상태 영역(status area), 수직 및 수평 스크롤 바(scroll bars), 스크롤 박스(scroll boxes), 스크롤 단추(scroll buttons), 박수 분할 인디케이터(spilt box indicators) 및 객체에 관한 정보 또는 포인터가 위치한 선택 사항을 표시하는 정보 영역(information area)을 포함하는 다양한 기능 및/또는 인디케이터(indicators)를 포함할 수 있다.
윈도우(30)은 작업 영역(31)을 정의하며, 작업을 수행하기 위한 윈도우 및 객체들을 묶는데 사용되는 일종의 컨테이너이다. 도시한 바와 같이, 작업 영역(31)은 문서(32), 문서(33), 문서(34), 폴더(35) 및 폴더(36)을 포함한다. 문서(32-34)는 데이타 객체의 전형적인 예이다. 문서(32-34)는, 예를 들어 워드 프로세싱 애플리케이션(word processing application), 데이타 베이스 애플리케이션(database application), 스프레드 쉬트 애플리케이션(spread sheet application)과 같은 애플리케이션 프로그램에 의해 생성될 수 있는 데이타 파일들을 나타낸다. 폴더(35) 및 폴더(36)은 테이타 프로세싱 시스템(10) 내의 기타 객체들을 담고 기타 객체들의 조직화를 수월하게 하기 위한 컨테이너 객체이다.
포인터(37) 또한 작업 영역(31) 내에 표시되어 있다. 포인터(37)은 작업 공간(24) 내에서 작업이 일어날 수 있는 위치를 가리키는 데 사용되는 이동 가능한 가시적 마크(moveable visible mark)이다. 마우스(20과 같은 포인팅 디바이스가 작업 공간(24) 내에서 포인터(37)을 움직이는 데 사용된다.
본 발명의 양호한 실시예에 따르면, 오디오 신호는 작업 공간(24) 내에 표시된 각각의 객체와 연관되어 있다. 그 후, 각각의 표시된 객체들에 연관된 각각의 오디오 신호를 요소로 포함하는 복합 가청 신호(composite audible signal)가 발생된다. 이런 복합 가청 신호의 발생은 이하에서 더 상세히 기술하기로 한다.
제4도에 따르면, 본 발명의 방법 및 시스템을 구현하는 데 사용될 수 있는 사운드 발생 시스템의 상위 레벨의 블럭도가 도시되어 있다. 이와 같은 사운드 발생 시스템은 퍼스널 컴퓨터용 플러그-인(plug-in) 사운드 보드로서 시판되고 있다. 이와 같은 플러그-인 사운드 보드의 예로는 IBM사가 제조 판매하는 Value Point 상표로 판매되는 퍼스널 컴퓨터 계열의 M-오디오 파착 및 재생 어댑터(M-Audio Capture Playback Adapter)가 있다. 도면에 나타낸 바와 같이, 도시된 시스템은 4개의 신호원(72-75)를 포함한다. 신호원(72-75)는 적어도 두 개의 가청 특성을 포함하는 오디오 신호를 각각 발생한다. 이와 같은 가청 특성에 대해서는 이하에서 더 상세히 기술한다. 신호원(72-75)는 예를 들어 오실레이터(oscillator)를 사용하거나 메모리에서 불러낸 디지털 오디오 데이타를 변환시켜 오디오 신호를 발생한다. 본 발명의 방법 및 시스템에 따르면, 신호원(72-75)에 의해 발생된 각각의 오디오 신호는 작업 공간(24)에 표시된 객체와 연관된다. 본 기술 분야에서 통상의 지식을 가진 자라면 신호원(72-75)와 같은 부가적인 신호원이 오디오 신호와 작업 공간(24) 내에 표시된 각각의 객체를 연관시키기 위해 필요할 수 있다는 점을 인식할 것이다.
제4도에 나타낸 바와 같이, 각각의 신호원(72-75)의 출력은 각각 음량 제어기(76-79)에 연결된다. 음량제어기(76-79)는 양호하게는 포인터(37)과 가청 신호와 연관된 객체간의 거리에 응답하여, 연관된 신호원에 의하여 발생되는 오디오 신호의 음량을 변화시키는 데 사용된다. 거리 정보는 질의 코드(60)에 의해 거리 조절기(76)에 제공된다. 질의 코드(60)은 표현 논리(54)로부터 마우스(20)과 연관된 현재의 포인터 위치를 포함하는 정보를 받는다. 예를 들어, 제3도에 나타낸 바와 같이, 포인터(37)이 문서(33)보다 문서(32)에 더 가까이 위치하고 있을 경우에는 문서(33)에 연관된 오디오 신호 보다 문서(32)에 연관된 오디오 신호가 더 큰 소리를 내게 된다.
각각의 표시된 객체에 연관된 오디오 신호의 음량이 수정된 후에는, 각각의 음량 조절기(76-79)의 출력이 방향 수정기(80-83)에 결합된다. 방향 수정기(80-83)은 각각의 표시된 객체와 연관된 좌측 오디오 신호 및 우측 오디오 신호를 생성하는 데 사용한다. 좌측 및 우측 오디오 신호를 적절히 생성 및 수정함으로써, 이와 같은 신호를 들은 사용자는 2차원 또는 3차원으로 이와 같은 오디오 신호의 방향을 감지할 수 있게 된다. 예를 들어, 사용자의 우측 귀에 오디오 신호가 들리기 약간 전에 사용자의 좌측 귀에 오디오 신호가 들린 경우, 사용자는 오디오 신호가 사용자의 좌측으로부터 다가온 것으로 인식할 수 있다. 오디오 신호 강도(intensity), 오디오 신호 지연(delay), 오디오 신호 위상(phase), 오디오 신호 스펙트럼 내용(spectral content) 및 오디오 신호 반향(reverberation)과 같은 특성을 변화시킴으로써, 소리가 상하 방향을 포함하여 사용자에 대해 특정 방향에서부터 나오는 것으로 청자가 감지할 수 있도록 해 주는 좌측 및 우측 채널 오디오 신호의 조합을 발생할 수 있다.
마지막으로, 각각의 방향 수정기(80-83)의 출력이 덧셈 회로(84, 85)에 연결된다. 각각의 좌측 오디오 신호는 덧셈기(84)에 연결되며 각각의 우측 오디오 신호는 덧셈기(85)에 연결된다. 덧셈기(84, 85)는 작업 공간(24) 내에 표시된 각각의 객체와 연관된 각각의 오디오 신호를 원소를 포함하는 좌측 및 우측 복합 가청 신호를 발생하는 데 사용된다. 그 다음, 이런 좌측 및 우측 복합 가청 신호는 오디오 출력 장치(86, 87)에 연결된다. 오디오 출력 장치(86, 87)은 제1도의 스피커(50)과 같은 한 쌍의 스피커를 사용하여 구현될 수 있다.
본 기술 분야에서 통상의 지식을 가진 자라면, 좌측 및 우측 복합 가청 신호를 발생하는데 사용되는 덧셈기(84, 85)가 이런 복합 가청 신호를 동시에 또는 직렬로(serially) 발생시킬 수 있다는 점을 인식할 것이다. 동시(simultaneous) 복합 가청 신호는 연관된 음량 조절기 및 방향 수정기에 의해 처리되고 동시에 합해진 바와 같은 표시된 객체와 연관된 모든 오디오 신호들을 포함할 수 있으며, 사용자는 이와 같은 수정된 오디오 신호 모두를 동시에 들을 수 있게 된다. 다른 방법으로서, 덧셈기(84, 85)는 연결되어 있으며 적절히 수정된 오디오 신호들을 순차적으로 또는 직렬로 더할 수도 있다. 즉, 표시된 개체들과 연관된 적절히 수정된 오디오 신호들은 한 사이클 중의 짧은 주기의 시간 동안 사용자에게 별도로 들린다. 포인터가 작업 공간(24)에서 움직임을 따라 오디오 신호에 적절한 수정을 가함으로써, 이와 같은 사이클은 무제한 반복될 수 있다.
본 기술 분야에서 통상의 지식을 가진 자라면, 덧셈기(84, 85)가 선택되어진 표시된 객체와 연관된 오디오 신호들을 이하에서 더욱 상세히 기술될 사용자 입력에 응답하여 선택적으로 제거하거나 필터링하여 없앨 수 있다는 점을 인식할 것이다.
마지막으로, 제5a도 및 제5b도를 참조하면, 본 발명의 양호한 소프트웨어 실시예를 설명하는 상위 레벨의 논리 플로우챠트가 도시되어 있다. 제5a도는 초기화 처리과정을 나타내며, 블럭(100)에서 시작하여 그 후 블럭(102)를 지난다. 블럭(102)는 그래픽 사용자 인터페이스 환경 객체들을 표시하는 것을 나타낸다. 이런 객체들에는 디스크 드라이브, 폴더, 애플리케이션, 문서 및 데이타 파일, 프린터 및 기타 주변 기기 및 그래픽 사용자 인터페이스 환경 내에서 전형적으로 사용되는 유사한 객체들이 포함된다.
다음, 처리과정은 블럭(104)로 가며, 이러한 그래픽 사용자 인터페이스 환경 객체들의 분류를 나타낸다. 이전에 논의한 바 있는 분류 시스템에서는 객체들을 장치, 데이타 및 컨테이너의 세가지 클래스로 분류했다. 당음의 객체 클래스 목록은 시각 장애가 있는 사용자가 그래픽 사용자 인터페이스 환경을 그려 볼 수 있거나 심적 이미지(mental image)를 만들어 낼 수 있도록 해주는 분류 시스템의 또다른 예이다. 예를 들어, 객체 클래스는 애플리케이션, 문서 또는 데이타 파일, 디스크 드라이브, 폴더, 망 접속(network connection), 프린터 또는 주변기기 및 쓰레기통(또는 파일을 제거하기 위한 기타의 이와 같은 객체)을 포함할 수 있다.
본 기술 분야에서 통상의 지식을 가진 자라면, 이와 같은 클래스 내의 객체들을 서브클래스(subclass)로 더욱 세분화 할 수 있다는 점을 인식할 수 있을 것이다. 예를 들어, 문서 또는 데이타 파일들의 클래스는 그러한 파일들을 생성한 애플리케이션 프로그램에 따라 서브클래스로 나누어 질 수 있다. 따라서, 문서 또는 데이타 파일은 마이크로소프트 워드(MICROSOFT WORD) 상표로 판매되는 워드 프로세서, 또는 위드 퍼펙트(WORDPERFECT) 상표로 판매되는 워드 프로세서의 의해 작성된 문서 클래서, 또는 기타의 워드 프로세서 프로그램과 연관된 기타의 유사한 객체들의 클래스를 서브클래스로 하여 더욱 세분화 될 수 있다. 또는 마찬가지로, 선택된 폴더의 내용에 의하여 정의된 클래스 내의 문서들은 문서 크기, 작성 일자 또는 최근 수정 일자 등에 의하여 서브클래스로 분류될 수 있다.
다음으로는, 블럭(106)에 도시한 바와 같이, 제1 가청 특성이 각 클래스 내의 모든 객체들에 할당되는데, 이 특성은 모든 객체들의 클래스들에 있어서 유일하다. 그 후, 블럭(108)에 나타낸 바와 같이, 제2 가청 특성이 각 클래스 내의 모든 객체들에 대해 할당되는데, 이 특성은 동일한 클래스 내의 모든 객체들에 있어서 유일하다. 이와 같은 제1 및 제2 가청 특성에는 음 높이(pitch), 음색(timber)(즉, 선택된 배음(overtone)들의 조합에 의해 특정한 음성 또는 악기마다 구별되는 톤(tone)의 질), 박자(meter)(즉, 기본적으로 반복되는 리드미컬한 패턴의 음표 길이, 엑센트 및 사이클 당 비트(beat) 수), 음량 및 사용자 위치에 대한 사운드 방향 등이 포함될 수 있다. 제1 가청 특성은 어느 한 클래스 내의 모든 객체들을 기타 클래스에 속하는 객체들과 구별시켜 준다. 제2 가청 특성은 어느 한 클래스 내의 한 객체를 동일한 클래스 내의 기타 객체들과 구분해 준다.
예를 들어, 디스크 드라이브를 나타내는 객체들의 클래스 내의 각각의 객체에 할당되는 제1 가청 특성을 드럼 소리로 할 수 있다. 이와 같은 드럼 소리는 디스크 드라이브 클래스 내의 모든 객체들을 예를 들어, 폴더 클래스의 멤버(members)이고 동물 소리가 할당된 객체들과 구분해 준다. 디스크 드라이브 클래스 내의 각각의 객체들에 할당되는 제2 가청 특성은 스내어 드럼(snare drum) 또는 팀파니(tympani) 또는 베이스 드럼(base drum)과 같은 특정한 드럼 소리일 수 있다. 따라서, 제2가청 특성은 일정 클래스 내의 개개의 객체들을 동일한 클래스 내의 다른 모든 객체들과 구별하는 데 사용될수 있다.
본 기술 분야에서 통상의 지식을 가진 자라면, 제1 가청 특성을 통하여 일정한 객체를 일정 클래스의 멤버로서 식별할 수 있고 그 객체의 클래스를 그래픽 사용자 안터페이스 환경 내의 모든 기타 클래스들과 구별할 수 있는 한, 음 높이, 음색, 박자, 음량 및 사운드 방향 등의 다양한 조합 중의 그 어떤 것으로도 제1 가청 특성을 구성할 수 있다는 점을 인식할 것이다. 따라서, 제1 가청 특성은 특정 음 높이 및 길이(박자)를 갖는 단일의 톤일 수 있으며, 또는 드럼이라고 일려진 악기 클래스처럼 사용자와 명백히 친숙한 객체들의 클래스를 식별해 줄 수 있는 일반 드럼 소리와 같은 복합 사운드일 수도 있다.
마찬가지로, 제2 가청 특성을 통해 특정 클래스 내에 할당된 일정 객체를 그 특정 클래스 내의 모든 기타 객체들과 구분할 수 있는 한, 제2 가청 특성은 음 높이, 음색, 박자, 음량 및 사운드 방향 등의 몇몇 조합 중의 어느 것으로도 구성될 수 있다. 따라서, 제2 가청 특성은 연관된 제1 가청 특성과 구별 가능한 단일의 톤이거나 또는 기타 종류의 드럼과 유사한 소리를 내는 객체들의 특정 클래스 내의 객체를 구별시켜 줄 수 있는 스내어 드럼 소리와 같은 복합 사운드일 수도 있다.
다음으로는, 블럭(110)에 도시되어 있는 바와 같이, 각각의 표시된 객체에 대해 제1 및 제2 가청 특성을 포함하는 오디오 신호가 발생된다. 그 후, 블럭(111)에 도시되어 있는 바와 같이, 초기화 처리과정이 끝난다.
이제 제5b도를 참조하면, 그래픽 사용자 인터페이스 객체의 위치를 찾는 처리과정은 블럭(112)에서 시작하여, 그 후 블럭(114)로 진행된다. 블럭(114)는 디스플레이 내에서 포인터의 위치에 대해 질의하는 것(querying)을 나타낸다. 이러한 포인터 위치에 대한 질의(query)는 디스플레이 내에서 포인터의 위치를 기술하는 필셀 행(pixel-row)/픽셀 열(pixel-columm)의 주소를 만들어 낸다. 전에 논의한 바와 같이, 질의 코드(60)은 표현 논리(54)로부터 마우스(20)과 연관된 현재의 포인터 위치를 얻는다.
그 후 블럭(116)에 도시된 바와 같이, 작업 공간(24) 내의 포인터 위치에 대한 객체의 위치에 따라서, 표시된 객체들과 연관된 각각의 오디오 신호에 대한 위치 수정자(locational modifirer)가 계산된다. 전에 논의한 바와 같이, 만약 신호 음량 및 신호 방향이 사용자에게 포인터 위치에 대한 표시된 기타 객체들의 상대적인 위치를 전달하는데 사용되는 선택된 설계 파라미터들이라면, 각각의 표시된 객체에 연관된 오디오 신호의 음량 및 방향 특성들을 수정하기 위하여 후에 사용될 수 있는 위치 수정자가 계산된다.
다음으로는, 블럭(118)에 나타낸 바와 같이, 이러한 위치 수정자들을 사용하여 각각의 표시된 객체와 연관된 각 오디오 신호를 수정한다. 예를 들어, 객체가 디스플레이 맨 왼쪽 가장자리에 있고 포인터가 디스플레이의 맨 오른쪽 가장자리에 있는 상황을 생각해보자. 이런 상황에서 사용자는 화면의 왼쪽 가장자리에 있는 객체와 연관된 오디오 신호로서, 왼쪽 방향으로부터 나오는 희미한 소리를 듣게 될 것이다. 그 때 만약 사용자가 커서를 화면의 왼쪽 가장자리에 있는 객체 방향인 왼쪽을 향해 움직인다면, 커서가 객체에 가까이 다가감에 따라 화면 좌측에 있는 객체와 연관된 오디오 신호의 음량이 증가한다.
만약 사용자가 그 후에 포인터를 화면 상에서 객체의 좌측 위치로 이동시킨다면, 그 객체와 연관된 오디오 신호가 처음에는 좌측에서 나오는 것처럼 들리나 포인터가 객체 주위를 지나갈 때 소리가 분명히 좌측 방향에서 우측 방향으로 움직이도록 수정될 것이다.
다음으로, 블럭(120)에 도시한 바와 같이, 사용자가 듣고 싶은 객체들의 클래스를 선택했는지의 여부가 결정된다. 사용자는 객체들의 클래스를 선택함으로써 기타 클래스들에 속하는 표시된 객체들과 연관된 오디오 신호들을 제거하게 되므로, 선택된 클래스의 멤버들에 속하는 오디오 신호에 집중할 수 있게 된다. 따라서, 작업 공간(24) 내에 많은 객체들이 표시된 경우, 사용자는 바로 그 당시에 대화하고 싶지 않은 표시된 객체들과 연관된 오디오 신호들을 제거하거나 필터링하여 없앨 수 있다. 사용자는 키보드(16)을 사용하여 소정의 키를 일정한 순서에 따라 두드리거나 마우스(20) 상의 단추들을 소정의 순서에 따라 누름으로써 듣고자 하는 객체들의 클래스를 선택할 수 있다.
만약 사용자가 듣고자 하는 객체들의 클래스를 선택한 경우, 블럭(122)에 예시한 바와 같이, 선택된 객체들의 클래스와 연관된 수정된 오디오 신호들이 결합되거나 합해진다. 만약 사용자가 듣고자 하는 객체들의 클래스를 선택하지 못한 경우, 각각의 표시된 객체들과 연관된 모든 수정된 오디오 신호들이 결합되거나 합해진다. 따라서, 사용자가 듣고자 하는 객체들의 클래스를 선택했는지의 여부에 따라, 사용자는 표시된 객체들의 특정 클래스 또는 표시된 모든 객체들과 연관된 오디오 신호들을 포함하는 합(summation) 또는 복합 가청 신호를 화면 내의 각 객체들의 포인터 위치로부터의 거리 및 방향에 상응하는 음향으로 그리고 인지된 방향으로부터 듣게 된다. 전에 논의한 바와 같이, 복합 가청 신호를 만들어 내는 덧셈 동작은 직렬로 또는 순차적으로 구현될 수 있다.
그 후 블럭(126)에 예시한 바와 같이, 예를 들어오디오 헤드폰이나 스피커와 같은 오디오 출력 장치를 사용하여 좌측 및 우측 복합 가청 신호를 포함하는 복합 가청 신호가 출력된다.
블럭(128)에 도시된 바와 같이, 다음에는 포인터가 디스플레이 내에서 움직였는지의 여부가 결정된다. 만약 포인터가 움직였다면, 블럭(114)의 처리과정으로 이행되어, 디스플레이 내에서의 새로운 포인터 위치가 결정되고 디스플레이 내에서의 새로운 포인터 위치에 응답하여, 전술한 바와 같이 새로운 결합된 가청 신호가 발생된다.
만약 포인터가 움직이지 않는 경우, 블럭(130)의 처리과정으로 이행된다. 블럭(130)은 사용자가 듣고자 하는 객체들의 클래스와 다른 클래스를 선택했는지의 여부를 결정하는 것을 예시하고 있다. 만약 사용자가 듣고자 하는 객체들의 클래스와 다른 클래스를 선택하지 않은 경우, 블럭(130)으로부터의 아니 가지(branch)를 통해 블럭(128)의 처리과정으로 되돌아 간다. 만약 사용자가 듣고자 하는 객체들의 클래스와 다른 클래스를 선택한 경우, 블럭(122)의 처리과정으로 이행되면 전술한 바와 같이 새로운 복합 가청 신호가 발생된다.
전술한 바를 참조하면, 본 기술 분야에서 통상의 지식을 가진 자는 본 출원인이 일정 클래스 내에 표시된 객체들을 구별 가능한 객체들의 클래스의 멤버로서 분류시켜 줄 수 있는 복수개의 가청 특성들을 갖는 적절히 수정된 오디오 신호와 연관시킴으로써, 시각 장애가 있는 사용자가 컴퓨터 디스플레이 내의 그래픽 사용자 인터페이스 객체들의 위치를 찾을 수 있도록 해주는 기술을 제공했다는 점을 인식할 것이다.
본 발명은 특히 양호한 실시예에 관련하여 제시되고 기술되었지만, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질(spirit)과 범위(scope)를 벗어나지 않고서 본 발명의 형식과 세부 사항에 있어서 다양하게 변경시킬 수 있다는 점을 이해할 것이다.

Claims (14)

  1. 이동 가능한 커서 요소(cursor element)와 연관된 디스플레이 포인팅 디바이스, 사용자 입력 장치 및 오디오 출력 장치를 구비하는 데이타 프로세싱 시스템에서 시각 장애가 있는 사용자가 그래픽 사용자 인터페이스 환경 내에서 표시된 다수의 객체들의 클래스 내에 있는 개개의 표시된 객체를 명료하게 그려 볼 수 있도록 하는 방법에 있어서, 두 개 이상의 가청 특성을 갖는 오디오 신호를 상기 그래픽 사용자 인터페이스 환경 내에 표시된 객체들의 클래스 내에 있는 각각의 객체와 연관시키는 단계, 및 상기 그래픽 사용자 인터페이스 환경 내에 표시된 상기 객체들 각각에 연관된 각각의 오디오 신호를 요소(elements)로 포함하는 복합 가청 신호를 발생시키는 단계를 포함하며, 상기 연관시키는 단계에서, 상기 두 개 이상의 가청 특성 중 제1 특성은 상기 그래픽 사용자 인터페이스 환경 내에서 객체들의 클래스 내에 있는 모든 객체들에 공통적이고 상기 다수의 객체들의 클래스 모두에 있어 유일하며, 상기 두 개 이상의 가청 특성 중 제2 특성은 객체들의 클래스 내에 있는 모든 객체에 있어 유일하며, 상기 발생시키는 단계에서, 상기 그래픽 사용자 인터페이스 환경 내에서, 표시되는 객체들의 클래스의 개수 및 상기 다수의 객체들의 클래스 각각 내에 표시되는 객체들의 개수를 사용자가 결정할 수 있는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 두 개 이상의 가청 특성 중 제1 특성은 음색을 포함하며, 상기 두 개 이상의 가청 특성 중 제2 특성은 음 높이를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 두 개 이상의 가청 특성 중 제1 특성은 일반적인 드럼의 가청 특성을 포함하며, 상기 두 개 이상의 가청 특성 중 제2 특성은 특정한 드럼의 가청 특성을 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 두 개 이상의 가청 특성 중 제1 특성은 톤(tone)을 포함 하며, 상기 두개 이상의 가청특성 중 제2 특성은 주기성(periodicity)을 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 이동 가능한 커서 요소로부터 상기 표시된 객체 각각으로의 방향을 결정하는단계를 더 포함하며, 상기 그래픽 사용자 인터페이스 환경 내에 표시된 상기 객체들 각각에 연관된 각각의 오디오 신호를 요소로 포함하는 복합 가청 신호를 발생시키는 단계는 좌측 복합 가청 신호 및 우측 복합 가청 신호를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 상기 이동 가능한 커서 요소로부터 상기 표시된 객체 각각까지의 상기 결정된 거리에 비례하여 각각의 연관된 오디오 신호의 강도를 변화시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 그래픽 사용자 인터페이스 환경 내에 표시된 상기 객체들 각각에 연관된 각각의 오디오 신호를 요소로 포함하는 복합 가청 신호를 발생시키는 단계는 상기 사용자 입력 장치를 사용한 사용자 입력에 응답하여 상기 그래픽 사용자 인터페이스 환경 내에 표시된 상기 객체들의 선택된 클래스와 연관된 각각의 오디오 신호를 요소로 포함하는 복합 가청 신호를 발생시키는 단계를 더 포함하는 것을 특징으로하는 방법
  8. 시각 장애가 있는 사용자가 그래픽 사용자 인터페이스 환경 내에서 표시된 다수의 객체들의 클래스 내에 있는 개개의 표시된 객체를 명료하게 그려 볼 수 있도록 해주며, 이동 가능한 커서 요소와 연관된 디스플레이 포인팅 디바이스, 사용자 입력 장치 및 오디오 출력 장치를 구비하는 데이타 프로세싱 시스템에 있어서, 두 개 이상의 가청 특성을 갖는 오디오 신호를 상기 그래픽 사용자 인터페이스 환경 내에 표시된 객체들의 클래스 내에 있는 각각의 객체와 연관시키기 위한 수단, 및 상기 그래픽 사용자 인터페이스 환경 내에 표시된 상기 객체들 각각에 연관된 각각의 오디오 신호를 요소(elements)로 포함하는 복합 가청 신호를 발생시키기 위한 수단을 포함하며, 상기 연관시키기 위한 수단에서, 상기 두 개 이상의 가청 특성 중 제1 특성은 상기 그래픽 사용자 인터페이스 환경 내에서 객체들의 클래스 내에 있는 모든 객체들에 공통적이고 상기 다수의 객체들의 클래스 모두에 있어 유일하며, 상기 두 개 이상의 가청 특성 중 제2 특성은 객체들의 클래스 내에 있는 모든 객체에 있어 유일하며,상기 발생시키기 위한 수단에서, 상기 그래픽 사용자 인터페이스 환경 내에 표시되는 클래스의 개수와 상기 다수의 객체들의 클래스 각각 내에 표시되는 객체들의 개수를 사용자가 결정할 수 있는 것을 특징으로 하는 데이타 프로세싱 시스템.
  9. 제8항에 있어서, 상기 두 개 이상의 가청 특성 중 제1 특성은 음색을 포함하며 상기 두 개 이상의 가청 특성 중 제2 특성은 음 높이를 포함하는 것을 특징으로 하는 데이타 프로세싱 시스템.
  10. 제8항에 있어서, 상기 두개 이상의 가청 특성 중 제1 특성은 일반적인 드럼의 가청 특성을 포함하며, 상기 두개 이상의 가청 특성 중 제2 특성은 특정한 드럼의 가청 특성을 포함하는 것을 특징으로 하는 데이타 프로세싱 시스템.
  11. 제8항에 있어서, 상기 두 개 이상의 가청 특성 중 제1특성은 톤을 포함하며, 상기 두 개 이상의 가청 특성 중 제2 특성은 주기성을 포함하는 것을 특징으로 하는 데이타 프로세싱 시스템.
  12. 제8항에 있어서, 상기 이동 가능한 커서 요소로부터 상기 표시된 객체 각각으로의 방향을 결정하기 위한 수단을 더 포함하며, 상기 그래픽 사용자 인터페이스 환경 내에 표시된 상기 객체들 각각에 연관된 각각의 오디오 신호를 요소로 포함하는 복합 가청 신호를 발생시키기 위한 수단은 좌측 복합 가청 신호 및 우측 복합 가청 신호를 발생시키기 위한 수단을 더 포함하는 것을 특징으로 하는 데이타 프로세싱 시스템.
  13. 제12항에 있어서, 상기 이동 가능한 커서 요소로부터 상기 표시된 객체 각각 까지의 거리를 결정하기 위한 수단을 더 포함하며, 상기 좌측 복합 가청 신호 및 우측 복합 가청 신호를 발생시키기 위한 수단은 상기 이동 가능한 커서 요소로부터 상기 표시된 객체 각각까지의 상기 결정된 거리에 비례하여 각각의 연관된 오디오 신호의 강도를 변화시키기 위한 수단을 더 포함하는 것을 특징으로 하는 데이타 프로세싱 시스템.
  14. 제8항에 있어서, 상기 그래픽 사용자 인터페이스 환경 내에 표시된 상기 객체들 각각에 연관된 각각의 오디오 신호를 요소로 포함하는 복합 가청 신호를 발생시키기 위한 수단은 상기 사용자 입력 장치를 사용한 사용자 입력에 응답하여 상기 그래픽 사용자 인터페이스 환경 내에 표시된 상기 객체들의 선택된 클래스와 연관된 각각의 오디오 신호를 요소로 포함하는 복합 가청 신호를 발생시키기 위한 수단을 더 포함하는 것을 특징으로 하는 데이타 프로세싱 시스템.
KR1019940035585A 1993-12-23 1994-12-21 시각 장애가 있는 컴퓨터 사용자가 표시된 객체를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템 KR0138003B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US8/173,536 1993-12-23
US08/173,536 US5461399A (en) 1993-12-23 1993-12-23 Method and system for enabling visually impaired computer users to graphically select displayed objects
US08/173,536 1993-12-23

Publications (2)

Publication Number Publication Date
KR950020222A KR950020222A (ko) 1995-07-24
KR0138003B1 true KR0138003B1 (ko) 1998-06-15

Family

ID=22632475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940035585A KR0138003B1 (ko) 1993-12-23 1994-12-21 시각 장애가 있는 컴퓨터 사용자가 표시된 객체를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템

Country Status (4)

Country Link
US (1) US5461399A (ko)
KR (1) KR0138003B1 (ko)
CN (1) CN1111772A (ko)
TW (1) TW275118B (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5564004A (en) * 1994-04-13 1996-10-08 International Business Machines Corporation Method and system for facilitating the selection of icons
US5754636A (en) * 1994-11-01 1998-05-19 Answersoft, Inc. Computer telephone system
US5736978A (en) * 1995-05-26 1998-04-07 The United States Of America As Represented By The Secretary Of The Air Force Tactile graphics display
US6624803B1 (en) * 1995-10-20 2003-09-23 Wisconsin Alumni Research Foundation Interface for electronic devices providing improved access for people with disabilities
US6384743B1 (en) 1999-06-14 2002-05-07 Wisconsin Alumni Research Foundation Touch screen for the vision-impaired
US5801692A (en) * 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls
US5982371A (en) 1996-01-29 1999-11-09 Sun Microsystems, Inc. Method and apparatus for executing and displaying output of an environment in a host environment
US5864819A (en) * 1996-11-08 1999-01-26 International Business Machines Corporation Internal window object tree method for representing graphical user interface applications for speech navigation
US5873064A (en) * 1996-11-08 1999-02-16 International Business Machines Corporation Multi-action voice macro method
US6111562A (en) * 1997-01-06 2000-08-29 Intel Corporation System for generating an audible cue indicating the status of a display object
US6278441B1 (en) * 1997-01-09 2001-08-21 Virtouch, Ltd. Tactile interface system for electronic data display system
US5903266A (en) * 1997-02-18 1999-05-11 International Business Machines Corporation Audio setup and use instructions
US6271864B1 (en) 1997-06-30 2001-08-07 Sun Microsystems, Inc. Representing a path as an object with transformation capability
US6034694A (en) 1997-06-30 2000-03-07 Sun Microsystems, Inc. Method and apparatus for pixel composition
US6320592B1 (en) 1997-06-30 2001-11-20 Sun Microsystems, Inc. Method and apparatus for separating image data from a color system in image processing
US6323864B1 (en) 1997-06-30 2001-11-27 Sun Microsystems, Inc. Using and accessing information from fonts in multiple formats
US6091395A (en) * 1997-12-15 2000-07-18 International Business Machines Corporation Computer system and method of manipulating a graphical user interface component on a computer display through collision with a pointer
US6075531A (en) * 1997-12-15 2000-06-13 International Business Machines Corporation Computer system and method of manipulating multiple graphical user interface components on a computer display with a proximity pointer
DE19917820C2 (de) * 1997-12-16 2001-04-26 Anitra Medienprojekte Gmbh Verfahren und Vorrichtung zum mobilen und stationären Navigieren in versprachlichten hypertextorientierten Graphical User Interfaces (GUIs)
US6275227B1 (en) 1998-02-09 2001-08-14 International Business Machines Corporation Computer system and method for controlling the same utilizing a user interface control integrated with multiple sets of instructional material therefor
US6874123B1 (en) 1998-02-09 2005-03-29 International Business Machines Corporation Three-dimensional model to facilitate user comprehension and management of information
US6308187B1 (en) 1998-02-09 2001-10-23 International Business Machines Corporation Computer system and method for abstracting and accessing a chronologically-arranged collection of information
US6304259B1 (en) 1998-02-09 2001-10-16 International Business Machines Corporation Computer system, method and user interface components for abstracting and accessing a body of knowledge
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6412021B1 (en) 1998-02-26 2002-06-25 Sun Microsystems, Inc. Method and apparatus for performing user notification
US6184885B1 (en) 1998-03-16 2001-02-06 International Business Machines Corporation Computer system and method for controlling the same utilizing logically-typed concept highlighting
US6307552B1 (en) 1998-03-16 2001-10-23 International Business Machines Corporation Computer system and method for controlling the same utilizing an abstraction stack with a sequence of predetermined display formats
US6859213B1 (en) 1998-03-23 2005-02-22 Sun Microsystems, Inc. Method and apparatus for selecting attachments
US6594708B1 (en) 1998-03-26 2003-07-15 Sun Microsystems, Inc. Apparatus and method for object-oriented memory system
US6055526A (en) * 1998-04-02 2000-04-25 Sun Microsystems, Inc. Data indexing technique
US6230296B1 (en) 1998-04-20 2001-05-08 Sun Microsystems, Inc. Method and apparatus for providing error correction
US6223289B1 (en) 1998-04-20 2001-04-24 Sun Microsystems, Inc. Method and apparatus for session management and user authentication
US6675054B1 (en) 1998-04-20 2004-01-06 Sun Microsystems, Inc. Method and apparatus of supporting an audio protocol in a network environment
US6438141B1 (en) 1998-04-20 2002-08-20 Sun Microsystems, Inc. Method and management of communications over media of finite bandwidth
US6434694B1 (en) 1998-06-29 2002-08-13 Sun Microsystems, Inc. Security for platform-independent device drivers
US6054989A (en) * 1998-09-14 2000-04-25 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which provides spatialized audio
US6618767B1 (en) 1998-11-17 2003-09-09 Sun Microsystems, Inc. Mechanism by which devices on unforeseen platform variants may be supported without re-release of core platform kernel software
US6442633B1 (en) 1999-03-23 2002-08-27 Sun Microsystems, Inc. Reduced transistors data switch port wherein each of a plurality of transmission gates is coupled to both first and second control signals for selectively enabling
US6469712B1 (en) * 1999-03-25 2002-10-22 International Business Machines Corporation Projected audio for computer displays
US6381712B1 (en) 1999-06-30 2002-04-30 Sun Microsystems, Inc. Method and apparatus for providing an error messaging system
JP2001154655A (ja) * 1999-11-29 2001-06-08 Ibm Japan Ltd 色変換システム
US6591008B1 (en) * 2000-06-26 2003-07-08 Eastman Kodak Company Method and apparatus for displaying pictorial images to individuals who have impaired color and/or spatial vision
JP2002125958A (ja) * 2000-10-25 2002-05-08 Fuji Photo Film Co Ltd 画像を幾何学的に計測するための計測処理装置
GB2374507B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface with audio cursor
US6934907B2 (en) * 2001-03-22 2005-08-23 International Business Machines Corporation Method for providing a description of a user's current position in a web page
US20020143817A1 (en) * 2001-03-29 2002-10-03 International Business Machines Corporation Presentation of salient features in a page to a visually impaired user
US6961458B2 (en) * 2001-04-27 2005-11-01 International Business Machines Corporation Method and apparatus for presenting 3-dimensional objects to visually impaired users
JP3964159B2 (ja) * 2001-06-25 2007-08-22 株式会社ノヴァ 通信回線を使用した教育サービスシステムおよび教育サービス提供方法
US6987467B2 (en) * 2001-08-01 2006-01-17 Freedom Scientific Navigation aid for refreshable braille display and other text products for the vision impaired
US6954905B2 (en) * 2002-01-28 2005-10-11 International Business Machines Corporation Displaying transparency characteristic aids
US20030142137A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Selectively adjusting the order of windows in response to a scroll wheel rotation
US20030142141A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Displaying specified resource usage
US20030142133A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Adjusting transparency of windows to reflect recent use
US20030142143A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Varying heights of application images to convey application status
US20030142149A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Specifying audio output according to window graphical characteristics
US7146573B2 (en) * 2002-01-28 2006-12-05 International Business Machines Corporation Automatic window representation adjustment
US20030142140A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Adjusting the tint of a translucent window to convey status
US7493560B1 (en) * 2002-05-20 2009-02-17 Oracle International Corporation Definition links in online documentation
JP4310964B2 (ja) * 2002-05-22 2009-08-12 コニカミノルタホールディングス株式会社 画像形成装置
US7509593B2 (en) * 2005-05-12 2009-03-24 Microsoft Corporation Mouse sound volume control
US7676549B2 (en) * 2005-05-27 2010-03-09 Microsoft Corporation Techniques for providing accessibility options in remote terminal sessions
US8209063B2 (en) * 2006-02-13 2012-06-26 Research In Motion Limited Navigation tool with audible feedback on a handheld communication device
US7770118B2 (en) * 2006-02-13 2010-08-03 Research In Motion Limited Navigation tool with audible feedback on a handheld communication device having a full alphabetic keyboard
US20070192027A1 (en) * 2006-02-13 2007-08-16 Research In Motion Limited Navigation tool with audible feedback on a wireless handheld communication device
DE102006037155B4 (de) * 2006-03-27 2016-02-25 Volkswagen Ag Multimedia-Vorrichtung und Verfahren zum Betreiben einer Multimedia-Vorrichtung
US8037414B2 (en) * 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
US20080131849A1 (en) * 2006-12-01 2008-06-05 Ki Uk Kyung Apparatus and method for generating tactile sensation by using constellation metaphor
DE102007057924B4 (de) 2007-06-14 2010-04-08 Thomas Deharde Verfahren für eine blindengerechte Benutzerschnittstelle zur Navigation und Kontrolle von Computern oder elektronisch- bzw. computergesteuerten Geräten
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US20100026626A1 (en) * 2008-07-30 2010-02-04 Macfarlane Scott Efficient keyboards
US20100134261A1 (en) * 2008-12-02 2010-06-03 Microsoft Corporation Sensory outputs for communicating data values
US8665216B2 (en) * 2008-12-03 2014-03-04 Tactile World Ltd. System and method of tactile access and navigation for the visually impaired within a computer system
US10276148B2 (en) 2010-11-04 2019-04-30 Apple Inc. Assisted media presentation
US9026237B2 (en) * 2012-09-21 2015-05-05 Oracle International Corporation Generating audio impressions of data
US9430954B1 (en) * 2013-09-27 2016-08-30 David Charles Dewhurst System for presenting visual items
US11023655B2 (en) * 2014-06-11 2021-06-01 Microsoft Technology Licensing, Llc Accessibility detection of content properties through tactile interactions
US10402159B1 (en) * 2015-03-13 2019-09-03 Amazon Technologies, Inc. Audible user interface system
US10565898B2 (en) * 2016-06-19 2020-02-18 David Charles Dewhurst System for presenting items
US10691406B2 (en) 2017-02-16 2020-06-23 Microsoft Technology Licensing, Llc. Audio and visual representation of focus movements
US10244342B1 (en) * 2017-09-03 2019-03-26 Adobe Systems Incorporated Spatially representing graphical interface elements as binaural audio content
US20220018679A1 (en) * 2020-07-16 2022-01-20 Brandon Biggs Systems and Methods for Digital Auditory Mapping

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5223828A (en) * 1991-08-19 1993-06-29 International Business Machines Corporation Method and system for enabling a blind computer user to handle message boxes in a graphical user interface
US5287102A (en) * 1991-12-20 1994-02-15 International Business Machines Corporation Method and system for enabling a blind computer user to locate icons in a graphical user interface

Also Published As

Publication number Publication date
TW275118B (ko) 1996-05-01
CN1111772A (zh) 1995-11-15
US5461399A (en) 1995-10-24
KR950020222A (ko) 1995-07-24

Similar Documents

Publication Publication Date Title
KR0138003B1 (ko) 시각 장애가 있는 컴퓨터 사용자가 표시된 객체를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템
US6046722A (en) Method and system for enabling blind or visually impaired computer users to graphically select displayed elements
CA2068476C (en) Audio user interface with stereo and filtered sound effects
US5287102A (en) Method and system for enabling a blind computer user to locate icons in a graphical user interface
CN1316351C (zh) 操作用户界面元素的计算机系统和方法
KR0138002B1 (ko) 객체 지향 사용자 인터페이스 내에 다중 매체 프리젠테이션을 통합시키기 위한 방법 및 시스템
Gaver The SonicFinder: An interface that uses auditory icons
US5880740A (en) System for manipulating graphical composite image composed of elements selected by user from sequentially displayed members of stored image sets
US20050179565A1 (en) Information processor for visually disabled person and tactile input/output device
JP3871684B2 (ja) コンテンツ再生装置およびメニュー画面表示方法
US5898434A (en) User interface system having programmable user interface elements
US20030122863A1 (en) Navigation tool for slide presentations
US7437683B1 (en) Method and apparatus for fostering immersive reading of electronic documents
WO1999008175A2 (en) Universally accessible computing system
JP2001195165A (ja) Ｇｕｉ制御方法及び装置並びに記録媒体
Mynatt Auditory presentation of graphical user interfaces
US5511187A (en) Method and system for nonvisual groupware participant status determination in a data processing system
US20080091643A1 (en) Audio Tagging, Browsing and Searching Stored Content Files
JP3340581B2 (ja) テキスト読み上げ装置及びウインドウシステム
Ratanasit et al. Representing graphical user interfaces with sound: A review of approaches
EP0607727A1 (en) Method and system for nonvisual status determination of multistate graphic objects in a data processing system
KR101125358B1 (ko) 컴퓨터를 이용한 멀티미디어 프레젠테이션 운용장치 및 멀티미디어 프레젠테이션의 분할된 제어화면 배치방법
JP2000338952A (ja) 文字アニメーション編集装置および文字アニメーション再生表示装置
GB2621474A (en) Methods and systems for generating and selectively displaying portions of scripts for nonlinear dialog between at least one computing device and at least
Duarte et al. Developing an adaptive digital talking book player with FAME

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee