KR20020027174A - 그래픽 사용자 인터페이스의 툴팁 기능성을 개선하기 위한시스템, 방법 및 컴퓨터 프로그램제품 - Google Patents

그래픽 사용자 인터페이스의 툴팁 기능성을 개선하기 위한시스템, 방법 및 컴퓨터 프로그램제품 Download PDF

Info

Publication number
KR20020027174A
KR20020027174A KR1020010058538A KR20010058538A KR20020027174A KR 20020027174 A KR20020027174 A KR 20020027174A KR 1020010058538 A KR1020010058538 A KR 1020010058538A KR 20010058538 A KR20010058538 A KR 20010058538A KR 20020027174 A KR20020027174 A KR 20020027174A
Authority
KR
South Korea
Prior art keywords
tooltip
audio source
rendering
computer
user
Prior art date
Application number
KR1020010058538A
Other languages
English (en)
Inventor
프란시스아서알
Original Assignee
포만 제프리 엘
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포만 제프리 엘, 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 포만 제프리 엘
Publication of KR20020027174A publication Critical patent/KR20020027174A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 컴퓨팅 장치의 그래픽 사용자 인터페이스상의 툴팁(tooltip) 기능성을 개선하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품을 제공한다. 개시된 기법은 툴팁 기능을 오디오 포맷으로 제공함으로써 시력이 손상된 컴퓨터 사용자도 툴팁의 이로운 기능을 사용할 수 있게 해주며, 또한, 모든 컴퓨터 사용자에게 사용자 인터페이스 향상을 제공한다. 컴퓨팅 장치에 국부적으로 사용가능한 오디오 소스를 사용할 수 있다. 이 대신에, 네트워크 연결을 통하여 오디오 소스를 동적으로 검색할 수도 있다. 선택사양적으로, 요구시에 다수의 자연 언어로 번역이 가능하도록 지원한다. 이 경우에, (예를 들면, 사용자의 워크스테이션과 관련된 로컬 정보를 근거로) 사용자에게 바람직한 자연 언어를 프로그램적으로 결정할 수 있고, 언어 번역은 바람직하게 사용자에게 투명하도록 수행된다.

Description

그래픽 사용자 인터페이스의 툴팁 기능성을 개선하기 위한 시스템, 방법 및 컴퓨터 프로그램제품{AUDIO-ENABLING TOOLTIP FUNCTIONS}
본 발명은 컴퓨터 시스템에 관한 것으로, 특히 (시력이 손상된 사용자를 포함한) 컴퓨터 사용자를 돕기 위하여 오디오 가능한 툴팁 기능(audio-enabling tooltip functions)을 위한 방법, 시스템 및 컴퓨터 제품에 관한 것이다.
10년전 보다 오늘날 미국에 거주하는 약 25% 이상의 사람들이 장애(disabilities)를 가진다. 이것은 "베이비 부머(Baby Boomer)" 세대가 고령화됨에 따라, 또한, 전반적으로 장수하는 인구가 증가함에 따른 것이다. 따라서, 결함을 가진 인구가 증가하는 이러한 경향은 앞으로 수십 년에 걸쳐 지속될 것 같다. 전세계적으로 5억정도의 인구가 한 형태 또는 다른 형태의 결함을 가진다. 미국에서, 이 수치는 약 5400만 또는 미국인 5명중에 한 명 꼴이다. 10명의 미국인 중에 한 명 또는, 약 2600만 인구가 심각한 결함을 가진다. 미국에 거주하는 3천만 이상의 인구의 컴퓨터 사용 능력이 난해한 컴퓨터 설계로 인하여 저하될 수 있는 것으로 추정된다.
제품 기능에 대한 부가적인 도움 정보를 컴퓨터 사용자에게 제공하는 데 일반적으로 사용되는 한 기능을 "툴팁(tooltip)"이라 부른다. 툴팁은 문자로서 제공되며, 또한, 컴퓨터 사용자의 마우스 (또는 다른 포인팅 장치)의 커서가 사전결정된 시간량동안에 컴퓨터 사용자 인터페이스 스크린의 특정 부분 위에서 호버링(hovering)하는 경우에 도움이 되는 문자 정보가 시각적으로 디스플레이되므로, "호버 도움말(hover help)"로 지칭된다. 또한, 툴팁은 컴퓨터 스크린상의 영역에 관련된 문자 커맨트 또는 메시지를 디스플레이하는 데 사용될 수 있다. 예를 들면, 사용자가 핫링크 필드위에서 호버링할 때, 전형적으로 핫링크를 선택시에 액세스 가능한 URL(Uniform Resource Locator) 또는 URI(Uniform Resource Identifier)를 볼 수 있다. 마이크로소프트 워드와 같은 소정 제품에서, 툴팁은 자동 문자 입력부 (즉, 편지의 마감부 또는 인사말과 같은 사전정의된 문자 내용을 사용하여 자동적으로 생성되는 문자 필드)를 위해 나타날 문자를 디스플레이 한다. 컴퓨터 사용자는 스크린 주위에 마우스 커서를 선택적으로 이동시키므로써 원하는 대로 툴팁을 보이게 하거나 혹은 감출 수 있다. ("마이크로소프트"는 마이크로소프트사의 등록 상표이다.)
툴팁은 컴퓨터 사용자에게 유용한 자원을 제공하지만, 부분적으로 시력이 손상된 고령의 사용자에게는 극미한 도움만을 제공한다. 이것은 툴팁의 문자가 시력이 손상된 사용자가 알아 볼 수 없는 상당히 작은 폰트로 디스플레이되기 때문이다. 그러나, 툴팁 기능에서 보다 큰 크기의 폰트를 사용하게 되면 사용자의 작업 공간을 침해하게 되고 유용한 정보를 시각적으로 가릴 수 있으므로, 보다 큰 폰트의 사용은 이 툴팁 기능의 본래 의도를 부정적으로 만들게 된다.
따라서, 컴퓨터 사용자에게, 특히 시력이 손상된 사용자에게 툴팁의 이로운 기능을 제공하기 위한 개선된 기법이 필요하다.
본 발명의 목적은 시력이 손상된 컴퓨터 사용자에게 툴팁의 이로운 기능을 사용할 수 있도록 만드는 개선된 기법을 제공하는 데 있다.
본 발명의 다른 목적은 모든 컴퓨터 사용자를 위해 사용자 인터페이스 향상뿐만 아니라 툴팁의 이로운 기능을 사용가능하게 만드는 개선된 기법을 제공하는 데 있다.
본 발명의 또다른 목적은 팁을 오디오 포맷으로 제공함으로써 개선된 툴팁 기능을 제공하는 데 있다.
본 발명의 또다른 목적은 네트워크 연결을 통해 동적으로 검색가능한 오디오 소스를 사용하여 툴팁의 기능을 이용할 수 있게 만드는 기법을 제공하는 데 있다.
본 발명의 또다른 목적은 동적으로 검색된 오디오 소스를 다수의 자연 언어로(이 언어로 사용가능하도록) 번역가능하게 하는 기법을 제공하는 데 있다.
본 발명의 다른 목적 및 장점들은 상세한 설명 및 첨부된 도면에서 일부분 설명될 것이며, 일부분은 상세한 설명으로부터 명백해지거나 혹은 발명을 실행하므로써 알 수 있을 것이다.
전술한 목적을 성취하기 위하여, 본 명세서에 기술된 본 발명의 목적에 따라서, 본 발명은 컴퓨팅 장치의 그래픽 사용자 인터페이스상의 툴팁 기능을 개선하기 위한 컴퓨터 프로그램 제품, 시스템 및 방법을 제공한다. 이 기법은 하나 또는 그 이상의 정의된 툴팁이 오디오 정보를 가지도록 애플리케이션에 대한 다수의 툴팁을 정의하고, 하나 또는 그 이상의 정의된 툴팁의 각각을 위해 툴팁과 오디오 소스를 연관시키는 것을 포함한다.
제1 측면에서, 이 기법은 컴퓨팅 장치의 사용자로 하여금 다수의 툴팁을 선택하게 하는 단계와, 선택된 툴팁이 관련된 오디오 소스를 가지는 경우에 선택된 툴팁을 들을 수 있도록 렌더링(rendering)하는 단계를 포함할 수 있다. 다른 측면에서, 이 기법은 선택된 툴팁이 관련된 오디오 소스를 가지지 않는 경우에 음성 합성기로써 관련된 문자 툴팁 파일을 처리하므로써 선택된 툴팁을 들을 수 있도록 렌더링하는 단계를 더 포함할 수 있다.
제1 측면에서, 렌더링에 앞서 국부적으로 사용가능한 저장 매체로부터 관련된 오디오 소스를 얻을 수 있다. 그렇지 않으면, 네트워크 연결을 통해 원격 저장 위치로부터 관련된 오디오 소스를 얻을 수도 있다. 후자의 경우, 관련된 오디오 소스를 렌더링에 앞서 사용자에게 바람직한(prefer) 자연 언어로 번역할 수 있다. 사용자의 컴퓨팅 장치와 관련된 지역을 근거로 바람직한 자연 언어를 결정할 수 있다.
도 1은 본 발명을 실행할 수 있는 컴퓨터 워크스테이션 환경의 블럭도.
도 2는 본 발명을 실행할 수 있는 네트워크 컴퓨팅 환경을 도시하는 도면.
도 3은 종래기술에 따라서, 툴팁이 문자로 디스플레이되는 그래픽 사용자 인터페이스 패널의 샘플을 도시하는 도면.
도 4는 본 발명의 바람직한 실시예에 있어서, 오디오 가능한 툴팁이 제공될 수 있는 논리부를 도시하는 흐름도.
도면의 주요 부분에 대한 부호의 설명
16 : 사용자 인터페이스 어댑터22 : 인터페이스 장치
24 : 디스플레이 장치26 : 디스플레이 어댑터
이제, 첨부된 도면을 참조하여 본 발명을 설명할 것이며, 도면에서 동일한 참조번호는 동일한 요소를 의미한다.
도 1은 본 발명이 실행될 수 있는 전형적인 워크스테이션 하드웨어 환경을 도시한다. 도 1의 환경은 관련된 주변 장치를 포함하는 퍼스널 컴퓨터와 같은 단일 사용자 컴퓨터 워크스테이션(10)을 포함한다. 워크스테이션(10)은 마이크로프로세서(12)와, 이 마이크로프로세서(12)와 워크스테이션(10)의 구성소자들간을 기지의 기법에 따라서 연결시키고 통신이 가능하게 하는 데 사용되는 버스(14)를 포함한다. 워크스테이션(10)은 전형적으로 버스(14)를 통하여 키보드(18), 마우스(20) 및/또는, 접촉식 스크린, 디지털 엔트리 패드등과 같은 사용자 인터페이스 장치일 수 있는 다른 인터페이스 장치(22)와 같은 하나 또는 그 이상의 인터페이스 장치를 마이크로프로세서(12)에 연결시키는 사용자 인터페이스 어댑터(16)를 포함한다. 또한, 버스(14)는 디스플레이 어댑터(26)를 통해 LCD 스크린 또는 모니터와 같은 디스플레이 장치(24)를 마이크로프로세서(12)에 연결시킨다. 또한, 버스(14)는 마이크로프로세서(12)를 메모리(28) 및, 하드 드라이브, 디스켓 드라이브, 테잎 드라이브등을 포함할 수 있는 지속성 저장 장치(long-term storage)(30)에 연결시킨다. 워크스테이션(10)은 또한 마이크로폰, 스피커, 문자-음성 합성기(text-to-speech synthesizer)등과 같은 하나 또는 그 이상의 오디오 구성소자(도 1에는 도시되지 않음)를 포함한다.
워크스테이션(10)은 예를 들면, 통신 채널 또는 모뎀(32)을 통해 다른 컴퓨터 또는 컴퓨터 네트워크와 통신할 수 있다. 이 대신에, 워크스테이션(10)은 CDPD(cellular digital packet data) 카드와 같은 무선 인터페이스(32)를 사용하여 통신할 수 있다. 워크스테이션(10)은 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)로 다른 컴퓨터와 연관될 수 있으며, 그렇지 않으면, 워크스테이션(10)은 다른 컴퓨터를 구비한 클라이언트/서버 장치에서 클라이언트일 수 있다. 그렇지 않으며, 워크스테이션은 네트워크에 연결되지 않은 독립형 워크스테이션으로 동작할 수 있다. 적절한 통신 하드웨어 및 소프트웨어뿐만 아니라 모든 이들 구성은 잘 알려져 있다.
도 2는 본 발명이 실행될 수 있는 데이터 처리 네트워크(40)를 도시한다. 데이터 처리 네트워크(40)는 각각이 다수의 개별 워크스테이션(10)을 포함할 수 있는 무선 네트워크(42) 및 네트워크(44)와 같은 다수의 개별 네트워크를 포함할 수 있다. 또한, 당업자들이 잘 아는 바와 같이, (도시되지 않은) 하나 또는 그 이상의 LAN을 포함할 수 있는 데, 여기서, LAN은 호스트 프로세서에 연결된 다수의 지능형 워크스테이션을 포함할 수 있다.
도 2를 다시 참조하면, 네트워크(42, 44)는 (데이터 저장 장치(48)를 액세스할 수 있는) 게이트웨이 컴퓨터(46) 또는 애플리케이션 서버(47)와 같은 메인프레임 컴퓨터 또는 서버를 포함할 수 있다. 게이트웨이 컴퓨터(46)는 각 네트워크(44)로의 진입점으로서 동작한다. 게이트웨이(46)는 통신 회선(50a)에 의해 또다른 네트워크(42)에 연결될 수 있다. 게이트웨이(46)는 통신 회선(50b, 50c)을 사용하여 하나 또는 그 이상의 워크스테이션(10)에 직접 연결될 수 있다. 게이트웨이 컴퓨터(46)는 IBM사의 엔터프라이즈 시스템 구조/370, 엔터프라이즈 시스템 구조/390등을 사용하여 구현될 수 있다. 애플리케이션에 따라, 애플리케이션 시스템/400(또한, AS/400으로 알려져 있음)과 같은 중형 컴퓨터(a midrange computer)를 사용할 수 있다. ("엔터프라이즈 시스템 구조/370"은 IBM사의 상표이고, "엔터프라이즈 시스템 구조/390", "애플리케이션 시스템/400" 및 "AS/400"은 IBM사의 등록 상표이다.)
또한, 게이트웨이 컴퓨터(46)는 참조번호(49)를 통해 (데이터 저장 장치(48)와 같은) 저장장치에 연결될 수 있다.
당업자들은 네트워크(42)로부터 지리적으로 상당히 먼 거리에 위치할 수 있으며, 유사하게 워크스테이션(10)이 네트워크(42, 44)로부터 상당한 거리에 위치할수 있다는 것을 알 것이다. 예를 들면, 네트워크(42)는 캘리포니아에 위치할 수 있는 반면에, 게이트웨이(46)는 텍사스에 위치할 수 있으며, 하나 또는 그 이상의 워크스테이션(10)이 뉴욕에 위치할 수 있다. 워크스테이션(10)은 셀룰러폰, 무선 네트워크, 위성 네트워크등과 같은 다수의 대체 연결 매체를 통해 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP")과 같은 네트워킹 프로토콜을 사용하여 무선 네트워크(42)에 연결될 수 있다. 무선 네트워크(42)는 바람직하게는 IP, X.25, 프레임 릴레이, ISDN(Integrated Services Digital Network), PSTN(Public Switched Telephone Network)등을 통해 TCP 또는 UDP(User Datagram Protocol)와 같은 네트워크 연결(50a)을 사용하여 게이트웨이(46)에 연결될 수 있다. 이 대신에, 워크스테이션(10)은 다이얼 연결부(50b, 50c)를 사용하여 게이트웨이(46)에 직접 연결될 수 있다.
본 발명을 구현하는 소프트웨어 프로그래밍 코드는 전형적으로 워크스테이션(10)의 마이크로프로세서(12)에 의해 CD-ROM 드라이브 또는 하드 드라이브와 같은 소정 유형의 지속성 저장매체(30)로부터 액세스될 수 있다. 그렇지 않으면, 네트워크를 통해 원격 서버에서의 저장 장치로부터 이 소프트웨어를 액세스할 수 있다. 소프트웨어 프로그래밍 코드는 디스켓, 하드 드라이브 또는 CD-ROM과 같은 데이터 처리 시스템을 사용하기 위한 각종의 알려진 매체들중의 하나 상에 구현될 수 있다. 코드는 이러한 매체 상에 분산될 수 있으며, 그렇지 않으면, 다른 컴퓨터 시스템에 사용이 가능하도록 소정 유형의 네트워크 상에 한 컴퓨터 시스템의 메모리 또는 저장 장치로부터 이러한 다른 컴퓨터 시스템으로 분산될 수 있다. 이 대신에, 프로그래밍 코드는 메모리(28)에 구현될 수 있고, 버스(14)를 사용하여 마이크로프로세서(12)에 의해 액세스될 수 있다. 물리적 매체상의 메모리에 소프트웨어 프로그래밍 코드를 구현하고, 그리고/혹은 네트워크를 통해 소프트웨어 코드를 배포하기 위한 기법 및 방법은 잘 알려져 있으므로 본 명세서에서 더이상 언급하지 않을 것이다.
본 발명이 네트워크 환경에 사용될 때, 본 발명의 사용자는 유선 연결 또는 무선 연결을 사용하여 그의 컴퓨터를 서버에 연결할 수 있다. 유선 연결은 케이블 및 전화선과 같은 물리적 매체를 사용하는 반면에, 무선 연결은 위성, 무선 웨이브 및 적외선 웨이브와 같은 매체를 사용한다. 전화선을 통한 연결을 설정하기 위해 컴퓨터 모뎀을 사용하고, 토큰링 또는 이더넷(Ethernet)과 같은 LAN 카드를 사용하고, 그리고, 무선 연결을 설정하기 위해 셀룰러 모뎀을 사용하는 것과 같이 이들 각종 매체를 가지고 다수의 연결 기법을 사용할 수 있다. 사용자의 컴퓨터는 프로세싱 및 통신 능력을 가지는 랩탑, 핸드헬드 또는 이동 컴퓨터, 차량 장착 장치, 데스크탑 컴퓨터, 메인프레임 컴퓨터등을 포함하는 소정 유형의 컴퓨터 프로세서일 수 있다. 이들 기법은 본 기술 분야에 잘 알려져 있으며, 이들을 사용할 수 있게 하는 하드웨어 장치 및 소프트웨어를 쉽게 이용할 수 있다. 이후로부터, 사용자의 컴퓨터는 "워크스테이션", "장치" 또는 "컴퓨터"와 동일하게 지칭될 것이며, 이들 용어 "서버"를 사용시에 이것은 전술한 컴퓨터 장치의 유형중의 하나를 지칭한다.
바람직한 실시예에서, 본 발명은 하나 또는 그 이상의 컴퓨터 소프트웨어 프로그램의 (객체지향 프로그래밍에서 "객체" 또는 코드 서브루틴으로 언급되는) 하나 또는 그 이상의 모듈로서 구현된다. 본 발명을 구현시에 웹 환경에서 실행될 수 있으며, 클라이언트 컴퓨터는 하이퍼 텍스트 전송 프로토콜(HTTP)과 같은 프로토콜을 사용하여 웹서버로 요청을 발생하고, 이로부터 응답을 수신한다. 이 대신에, 본 발명의 구현은 (인터넷, 기업 인트라넷 또는 엑스트라넷 또는 다른 네트워크를 사용하여) 비-웹 네트워크에서 실행될 수 있다. 그렇지 않으면, 전술한 바와 같이, 본 발명은 네트워크에 연결되지 않은 혹은, 본 발명의 목적을 위하여 이 네트워크를 통하지 않고) 워크스테이션상에 독립적 방식으로 사용될 수 있다. 네트워크 환경을 위한 구성은 클라이언트/서버 네트워크뿐만 아니라 다층(multi-tier) 환경을 포함한다. 이들 환경 및 구성은 본 기술 분야에 잘 알려져 있다.
이제, 도 3 및 도 4를 참조하여 본 발명의 바람직한 실시예를 보다 상세히 기술할 것이다.
본 발명은 사용자에게 툴팁을 전달하기 위해 개선된 기법을 제공하는데, 여기서, 툴팁은 문자로서 시가적으로 묘사되는 대신에 오디오 포맷으로 만들어 지므로, 시력이 손상된 컴퓨터 사용자들이 툴팁의 이로운 기능을 쉽게 사용할 수 있게 한다. 또한, 본 발명의 기법에 따라서 제공되는 툴팁의 오디오 포맷은 모든 컴퓨터 사용자에게 향상된 기능을 제공한다.
본 발명에 따라서, 사용자의 워크스테이션에 국부적으로 사용가능한 오디오 파일 또는 다른 저장매체(참조를 용이하게 하기 위하여 이후로부터 파일로서 참조)로부터 오디오 툴팁 데이터를 사용할 수 있게 된다. 혹은, 오디오 툴팁 데이터는 문자-음성 합성기를 통해 문자 툴팁 파일을 처리하므로써 제공될 수 있다. 또한,오디오 툴팁 데이터는 네트워크 연결을 사용하여 동적으로 검색될 수 있는 오디오 소스로부터 제공될 수 있다. 예를 들면, 실시간 오디오 스트림은 사용자가 툴팁을 요청시에 액세스될 수 있는 데, 여기서, 실시간 스트림은 관련된 URL 또는 UPL을 사용하여 위치를 알아내어 검색된다. 또한, 마이크로소프트 윈도우 2000과 같은 현대 운영체제는 컴퓨터 사용자에게 바람직한 장소를 명시할 수 있게 한다. 이 설비(유사한 설비)가 사용가능할 때, 장소 정보를 상업적으로 사용가능한 언어 번역 소프트웨어와 함께 사용할 수 있으므로 사용자에게 바람직한 자연 언어로 된 오디오 툴팁 정보를 자동적으로 제공할 수 있게 된다.
도 3은 툴팁이 문자로서 디스플레이된 그래픽 사용자 인터페이스(GUI) 패널의 샘플을 도시한다. 자동 문자 필드 정보를 디스플레이하고, 핫링크의 목표 위치를 디스플레이하는 등과 같은 툴팁 기능의 다수의 사용을 기술했었다. 도 3에서 샘플 GUI는 또다른 사용을 도시하는 데, 여기서, 아이콘과 관련된 기능은 툴팁으로 시각적으로 묘사될 수 있다. 이 예에서, 사용자는 마이크로소프트 워드 GUI 300의 툴바상의 "B" 아이콘(310)위에서 그의 마우스 커서를 호버링(hovering)하였으며, 따라서, 이 아이콘이 볼드(BOLD)(즉, 볼드체)에 대응함을 문자로써 통지한다(참조번호(320)을 참조). 따라서, 툴팁은 컴퓨터 사용자로 하여금 제품 기능에 대한 정보를 간단하면서 쉽게 얻는 방식을 제공한다. 도 3에 도시된 시각적으로 디스플레이되는 유형인 문자 툴팁 정보는 종래기술 분야에 잘 알려져 있다.
도 4는 본 발명의 바람직한 실시예에 따라서 오디오 가능한 툴팁을 제공하는 논리부를 보여주는 흐름도이다. 블럭(400)에서, 그래픽 사용자 인터페이스를 디스플레이하고, 사용자는 GUI(종래기술)와 상호작용한다. 블럭(410)의 테스트에서, 사용자가 툴팁 기능이 정의된 스크린의 아이콘(참조를 용이하게 하기 위하여 이후로부터 아이콘으로 참조) 또는 다른 영역 위에서 그의 마우스 커서를 움직였는지의 여부를 질의한다. 만약 아닌 경우, 제어는 블럭(400)으로 리턴(return)된다. 블럭(410)의 테스트에서 결과가 긍정적인 경우, 블럭(420)은 마우스가 충분히 긴 시간 동안 아이콘위에서 호버링했는 지의 여부를 검사한다. (이 시간 주기는 전형적으로 사용자의 컴퓨터가 초기에 구성되었을 때에 디폴트값으로 설정되며, 종래 기법을 사용하여 보다 길거나 혹은 보다 짧은 시간 주기로 조정될 수 있다.) 블럭(410)에서 답이 부정적인 경우, 제어는 블럭(400)으로 리턴된다. 만약 그렇지 않으면, 아이콘과 관련된 툴팁에 대한 위치 정보를 검색한다(430).
오디오 툴팁 정보의 위치(즉, 파일명 및 경로 URL등)는 바람직하게 매체 내용 개발자 또는 다른 제품 개발자에 의해 문자 툴팁에 현재 사용가능한 방식과 동일한 방식으로 바람직하게 명시된다는 것에 주목한다. 이 대신에, 시스템 관리자 또는 사용자 그 자신과 같은 사람은 구성 인터페이스 또는 다른 애플리케이션 맞춤 기법을 사용하여 위치 정보를 명시할 수 있다.
본 발명의 선택사양적인 측면에 있어서, 음성 합성기를 통해 문자 툴팁 정보를 오디오 툴팁으로 만들 수 있다. 이 측면을 구현시에, 블럭(430)에 이어서 블럭(440)의 테스트에서 문자 정보만이 이 툴팁에 사용가능한지의 여부를 질의한다. 이 질의의 결과가 긍적적인 경우, 블럭(450)에서 문자 정보를 합성기로써 들을 수 있게 렌더링한다. 이러한 합성기는 본 기술 분야에 잘 알려져 있으며, 상업적으로 사용가능하다. 제어는 블럭(450)에 이어 블럭(400)으로 리턴된다.
블럭(440)에서의 테스트의 결과가 부정적이거나 혹은 선택적 합성기 측면이 구현되지 않을 때, 제어는 블럭(460)으로 넘어간다. 블럭(460)의 테스트는 오디오 정보가 이 툴팁에 사용가능한 지의 여부를 질의한다. 사용이 불가한 경우, 제어는 블럭(400)으로 리턴된다(그리고, 툴팁은 종래기술에서와 같이 문자 정보로 만들어 질 수 있다). 그렇지 않은 경우, 블럭(470)에서 오디오 정보가 국부적으로 액세스가능한 파일인지의 여부를(혹은, 동일하게, CD-ROM과 같은 로컬 저장매체로부터 사용가능한 지의 여부를) 질의한다. 만약 그러한 경우, 블럭(490)에서 로컬 정보를 렌더링한다. 만약 국부적으로 사용가능하지 않은 경우, 블럭(480)에서, 원격으로 저장된 오디오 정보를 검색한다. 바람직한 실시예에서, 이것은 이전에 아이콘과 관련된 URL에게 HTTP 요청을 발생시키는 것을 포함한다. (이 관계는 바람직하게 핫링크와 URL을 관련시키기 위해 종래기술에 사용되었던 것과 동일한 방식으로 저장된다.) 원격으로 저장된 정보(예를 들면, HTTP 응답 메시지)를 수신한 후에, 제어는 블럭(490)으로 전송되고, 정보를 사용자가 들을 수 있도록 렌더링한다. 바람직하게, 이것은 사용자에게 실시간 오디오 스트림을 재생시키는 것을 포함한다. 블럭(490)의 처리 후에(혹은 처리가 병렬로 발생되는 경우에 렌더링의 개시후에), 제어는 블럭(400)으로 리턴된다. (주목: 당업자라면 GUI 정보의 처리는 도 4에 도시된 것 보다 더 많은 기능을 포함하고, 기술된 논리부는 본 발명에만 적합하다는 것을 명백히 알 수 있을 것이다. 또한, 그의 논리부가 어떻게 보다 큰 내용의 GUI 처리로 통합되는 지도 명백히 알 것이다.)
본 발명의 또다른 선택적 측면에서, 오디오 정보는 사용자에게 정보를 렌더링하기 전에 저장된 하나 이상의 다른 자연 언어로 번역될 수 잇다. 이 측면을 지원하기 위한 바람직한 실시예 기법에 있어서, 툴팁과 관련된 URL은 요구시 언어 번역을 지원하는 실시간 오디오 스트림을 식별할 수 있다. 바람직하게는, 목표 언어는 사용자의 워크스테이션에 대해 미리 정의된 장소를 근거로 프로그램적으로 결정된다. 이 경우에, 스트림은 블럭(480)에서 검색되는 대로 (혹은 검색 이전에 소스에서) 바람직하게 번역된다. 이 대신에, 언어 번역기는 사용자의 워크스테이션상에서 사용가능할 수 있는 데, 블럭(480)의 처리의 경우는 정보가 수신되는 대로 (혹은, 정보가 수신된 후에, 그리고, 사용자에게 오디오 정보를 프리젠테이션하기 전에) 렌더링되도록 정보의 번역을 수행하는 것을 더 포함한다. 이 측면에서, 번역은 바람직하게 툴팁 정보를 요청하는 사용자에게 투명한 방식으로 동작한다.
전술한 바와 같이, 본 발명의 오디오 가능한 툴팁은 GUI를 사용할 시에 도움이 되는 정보를 얻는 개선된 방식을 제공한다. 본 명세서에 개시된 기법은 본 발명의 범주를 벗어나지 않고서도 팝업 메뉴 및 도움말과 같은 GUI 정보의 다른 유형에도 확장될 수 있다.
본 발명의 바람직한 실시예를 기술하였지만, 본 발명의 기본 개념을 아는 당업자라면 실시예에 부가적인 변경 및 변형을 행할 수 있을 것이다. 따라서, 첨부된 특허청구의 범위는 본 발명의 바람직한 실시예와 본 발명의 사상 및 범주내에있는 모든 변경 및 변형들을 포함한다.

Claims (21)

  1. 컴퓨팅 장치의 그래픽 사용자 인터페이스(GUI)를 위한 툴팁 기능성(tooltip functionality)을 개선하기 위한 것으로 하나 또는 그이상의 컴퓨터-판독가능한 매체를 내장한 컴퓨터 프로그램 제품에 있어서,
    애플리케이션에 대한 다수의 툴팁을 정의하기 위한 컴퓨터 판독가능한 프로그램코드 수단으로서, 하나 또는 그이상의 정의된 툴팁이 오디오 정보를 가져야 하는 상기 수단과,
    상기 하나 또는 그이상의 정의된 툴팁의 각각에 대해, 상기 툴팁과 오디오 소스를 연관시키기 위한 컴퓨터 판독가능한 프로그램코드 수단
    을 포함하는 컴퓨터 프로그램 제품.
  2. 제 1 항에 있어서,
    상기 컴퓨팅 장치의 사용자로 하여금 특정한 툴팁을 선택하게 하는 컴퓨터-판독가능한 프로그램코드 수단과,
    상기 선택된 툴팁이 관련된 오디오 소스를 가지는 경우에, 상기 선택된 툴팁을 들을 수 있도록 렌더링하기 위한 컴퓨터 판독가능한 프로그램코드 수단
    을 더 포함하는 컴퓨터 프로그램 제품.
  3. 제 2 항에 있어서,
    렌더링을 위한 상기 컴퓨터 판독가능한 프로그램코드 수단의 동작에 앞서, 국부적으로 사용가능한 저장매체로부터 상기 관련된 오디오 소스를 얻기 위한 컴퓨터 판독가능한 프로그램코드 수단
    을 더 포함하는 컴퓨터 프로그램 제품.
  4. 제 2 항에 있어서,
    렌더링을 위한 상기 컴퓨터 판독가능한 프로그램코드 수단의 동작에 앞서, 네트워크 연결을 이용하여 먼 저장위치로부터 상기 관련된 오디오 소스를 얻기 위한 컴퓨터 판독가능한 프로그램코드 수단
    을 더 포함하는 컴퓨터 프로그램 제품.
  5. 제 4 항에 있어서,
    렌더링을 위한 상기 컴퓨터 판독가능한 프로그램코드 수단의 동작에 앞서, 상기 관련된 오디오 소스를 사용자에게 바람직한(prefer) 자연 언어로 번역(translation)하기 위한 컴퓨터 판독가능한 프로그램코드 수단
    을 더 포함하는 컴퓨터 프로그램 제품.
  6. 제 5 항에 있어서,
    상기 사용자의 컴퓨팅 장치와 관련된 장소를 근거로 상기 사용자에게 바람직한 자연 언어를 결정하기 위한 컴퓨터 판독가능한 프로그램코드 수단
    을 더 포함하는 컴퓨터 프로그램 제품.
  7. 제 2 항에 있어서,
    상기 선택된 툴팁이 관련된 오디오 소스를 가지지 않는 경우에, 음성 합성기(a speech synthesizer)로써 관련된 문자 툴팁 파일을 처리하므로써 상기 선택된 툴팁을 들을 수 있도록 렌더링하기 위한 컴퓨터 판독가능한 프로그램코드 수단
    을 더 포함하는 컴퓨터 프로그램 제품.
  8. 컴퓨팅 장치의 그래픽 사용자 인터페이스(GUI)의 툴팁 기능성을 개선시키기 위한 시스템에 있어서,
    애플리케이션에 대한 다수의 툴팁을 정의하기 위한 수단으로서, 하나 또는 그이상의 정의된 툴팁이 오디오 정보를 가져야 하는 상기 수단과,
    상기 하나 또는 그이상의 정의된 툴팁의 각각에 대해, 상기 툴팁과 오디오소스를 연관시키기 위한 수단
    을 포함하는 시스템.
  9. 제 8 항에 있어서,
    상기 컴퓨팅 장치의 사용자로 하여금 특정한 툴팁을 선택하게 하는 수단과,
    선택된 툴팁이 관련된 오디오 소스를 가지는 경우에, 상기 선택된 툴팁을 들을 수 있도록 렌더링하는 수단
    을 더 포함하는 시스템.
  10. 제 9 항에 있어서,
    상기 렌더링 수단의 동작에 앞서, 국부적으로 사용가능한 저장매체로부터 상기 관련된 오디오 소스를 얻기 위한 수단을 더 포함하는 시스템.
  11. 제 9 항에 있어서,
    상기 렌더링 수단의 동작에 앞서, 네트워크 연결을 이용하여 먼 저장 위치로부터 상기 관련된 오디오 소스를 얻기 위한 수단을 더 포함하는 시스템.
  12. 제 11 항에 있어서,
    상기 렌더링 수단의 동작에 앞서, 상기 관련된 오디오 소스를 상기 사용자에게 바람직한 자연 언어로 번역하기 위한 수단을 더 포함하는 시스템.
  13. 제 12 항에 있어서,
    상기 사용자의 컴퓨터 장치와 관련된 위치를 근거로 사용자에게 바람직한 자연 언어를 결정하는 수단을 더 포함하는 시스템.
  14. 제 9 항에 있어서,
    상기 선택된 툴팁이 상기 관련된 오디오 소스를 가지지 않는 경우에, 음성 합성기를 사용하여 관련된 문자 툴팁 파일을 처리하므로써 상기 선택된 툴팁을 들을 수 있도록 렌더링하는 수단을 더 포함하는 시스템.
  15. 컴퓨팅 장치의 그래픽 사용자 인터페이스(GUI)의 툴팁 기능성을 개선하기 위한 방법에 있어서,
    애플리케이션에 대한 다수의 툴팁을 정의하는 단계로서, 하나 또는 그이상의정의된 툴팁은 오디오 정보를 가지는 상기 단계와,
    상기 하나 또는 그이상의 정의된 툴팁의 각각에 대해, 상기 툴팁과 오디오 소스를 연관시키는 단계
    를 포함하는 방법.
  16. 제 15 항에 있어서,
    상기 컴퓨팅 장치의 사용자로 하여금 특정한 툴팁을 선택하게 하는 단계와,
    상기 선택된 툴팁이 관련된 오디오 소스를 가지는 경우에 상기 선택된 툴팁을 들을 수 있도록 렌더링하는 단계
    를 더 포함하는 방법.
  17. 제 16 항에 있어서,
    상기 렌더링 단계의 동작에 앞서, 국부적으로 사용가능한 저장매체로부터 상기 관련된 오디오 소스를 얻는 단계를 더 포함하는 방법.
  18. 제 16 항에 있어서,
    상기 렌더링 단계의 동작에 앞서, 네트워크 연결을 이용하여 먼 저장 위치로부터 상기 관련된 오디오 소스를 얻는 단계를 더 포함하는 방법.
  19. 제 18 항에 있어서,
    상기 렌더링 단계의 동작에 앞서, 상기 관련된 오디오 소스를 사용자에게 바람직한 자연 언어로 번역하는 단계를 더 포함하는 방법.
  20. 제 19 항에 있어서,
    상기 사용자의 컴퓨팅 장치와 관련된 위치를 근거로 사용자에게 바람직한 자연 언어를 결정하는 단계를 더 포함하는 방법.
  21. 제 16 항에 있어서,
    상기 선택된 툴팁이 관련된 오디오 소스를 가지지 않는 경우에, 음성 합성기를 이용하여 관련된 문자 툴팁을 처리하므로써 상기 선택된 툴팁을 들을 수 있도록 렌더링하는 단계를 더 포함하는 방법.
KR1020010058538A 2000-10-04 2001-09-21 그래픽 사용자 인터페이스의 툴팁 기능성을 개선하기 위한시스템, 방법 및 컴퓨터 프로그램제품 KR20020027174A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US67889600A 2000-10-04 2000-10-04
US09/678,896 2000-10-04

Publications (1)

Publication Number Publication Date
KR20020027174A true KR20020027174A (ko) 2002-04-13

Family

ID=37479464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010058538A KR20020027174A (ko) 2000-10-04 2001-09-21 그래픽 사용자 인터페이스의 툴팁 기능성을 개선하기 위한시스템, 방법 및 컴퓨터 프로그램제품

Country Status (1)

Country Link
KR (1) KR20020027174A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007100693A1 (en) * 2006-02-28 2007-09-07 Microsoft Corporation Indication of delayed content output in a user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0553705A (ja) * 1991-02-05 1993-03-05 Dennou Shokai:Kk 情報処理装置の操作方法
KR970066835A (ko) * 1996-03-26 1997-10-13 김광호 멀티미디어 윈도우즈 쉘의 제어 방법 및 태스크 리스트 제어 방법
KR19990029314A (ko) * 1997-09-03 1999-04-26 포만 제프리 엘 도움말 정보를 제공하기 위한 프레임워크 및 그 방법
KR20000003293A (ko) * 1998-06-27 2000-01-15 윤종용 입력 데이터를 음성으로 출력하는 기능을 갖는 컴퓨터 시스템및 그 방법
US6046722A (en) * 1991-12-05 2000-04-04 International Business Machines Corporation Method and system for enabling blind or visually impaired computer users to graphically select displayed elements

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0553705A (ja) * 1991-02-05 1993-03-05 Dennou Shokai:Kk 情報処理装置の操作方法
US6046722A (en) * 1991-12-05 2000-04-04 International Business Machines Corporation Method and system for enabling blind or visually impaired computer users to graphically select displayed elements
KR970066835A (ko) * 1996-03-26 1997-10-13 김광호 멀티미디어 윈도우즈 쉘의 제어 방법 및 태스크 리스트 제어 방법
KR19990029314A (ko) * 1997-09-03 1999-04-26 포만 제프리 엘 도움말 정보를 제공하기 위한 프레임워크 및 그 방법
KR20000003293A (ko) * 1998-06-27 2000-01-15 윤종용 입력 데이터를 음성으로 출력하는 기능을 갖는 컴퓨터 시스템및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007100693A1 (en) * 2006-02-28 2007-09-07 Microsoft Corporation Indication of delayed content output in a user interface
US8341537B2 (en) 2006-02-28 2012-12-25 Microsoft Corporation Indication of delayed content output in a user interface

Similar Documents

Publication Publication Date Title
US6665642B2 (en) Transcoding system and method for improved access by users with special needs
US6725424B1 (en) Electronic document delivery system employing distributed document object model (DOM) based transcoding and providing assistive technology support
US6101472A (en) Data processing system and method for navigating a network using a voice command
US7054952B1 (en) Electronic document delivery system employing distributed document object model (DOM) based transcoding and providing interactive javascript support
US6594348B1 (en) Voice browser and a method at a voice browser
US6829746B1 (en) Electronic document delivery system employing distributed document object model (DOM) based transcoding
Mynatt et al. Mapping GUIs to auditory interfaces
JP3121548B2 (ja) 機械翻訳方法及び装置
JP4225703B2 (ja) 情報アクセス方法、情報アクセスシステムおよびプログラム
US7089279B1 (en) Method and system for collaborating among interconnected client terminals
US7454346B1 (en) Apparatus and methods for converting textual information to audio-based output
US20020003547A1 (en) System and method for transcoding information for an audio or limited display user interface
JPH10116220A (ja) パラメータをローカル表示装置において容易に表示するシステムおよび方法
US7979794B2 (en) Method and system for dynamic creation of mixed language hypertext markup language content through machine translation
CN109782997A (zh) 一种数据处理方法、装置及存储介质
US6922733B1 (en) Method for coordinating visual and speech web browsers
US7672986B2 (en) Managing graphic databases
US6415249B1 (en) Method and system for using machine translation with content language specification
US20020143817A1 (en) Presentation of salient features in a page to a visually impaired user
US20080104524A1 (en) System and Method for Facilitating Ip Telephony Applications
KR20020027174A (ko) 그래픽 사용자 인터페이스의 툴팁 기능성을 개선하기 위한시스템, 방법 및 컴퓨터 프로그램제품
EP1395896A2 (en) System and method for defining and presenting a composite web page
JPH10326178A (ja) 情報処理装置及びプログラム記憶媒体
JP2007164210A (ja) コンテンツ音声化提供システム
KR20020049417A (ko) 이미지형태의 웹문서 생성 방법 및 이 방법을 이용해생성된 웹문서 열람 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application