KR100391400B1

KR100391400B1 - 컴퓨터 디스플레이를 위한 프로젝트된 오디오

Info

Publication number: KR100391400B1
Application number: KR10-2000-0013302A
Authority: KR
Inventors: 힐퍼트에드윈제임스쥬니어; 파올리니마이클에이.
Original assignee: 인터내셔널 비지네스 머신즈 코포레이션
Priority date: 1999-03-25
Filing date: 2000-03-16
Publication date: 2003-07-12
Also published as: KR20000062913A; JP2001057700A; US6469712B1; JP3575598B2; TW535092B

Abstract

컴퓨터 시스템 디스플레이 스크린에 디스플레이된 정보의 다양한 특성에 대한 정보를 제공하도록 컴퓨터 시스템 주위의 공간에서 사운드가 프로젝트 (project)되거나 제공되는 방법 및 실시 컴퓨터 시스템이 제공된다. 컴퓨터 시스템 사용자는 사용자의 머리나 컴퓨터 디스플레이 스크린과 같이 지정된 원점에 대해 프로젝트된 사운드의 인지된 소스 위치를 포함하는 프로젝트된 사운드의 특정한 특성을 인지함으로써, 긴 문단에서의 상대적인 스크롤 (scroll) 지점과 같이, 디스플레이된 정보에 관련된 소정의 정보를 확인할 수 있다.

Description

컴퓨터 디스플레이를 위한 프로젝트된 오디오{PROJECTED AUDIO FOR COMPUTER DISPLAYS}

본 출원은 이와 같은 날짜에 출원되고 본 출원의 양수인에게 지정된 현재 진행중인 미국출원 09/276,386호 "IMAGE FINDING ENABLEMENT WITH PROJECTED AUDIO"에 관련된다.

본 발명은 일반적으로 정보 처리 시스템에 관한 것으로, 특히 프로젝트 사운드 (projected sound) 효과를 컴퓨터 디스플레이 특성에 관련시키는 방법 및 실시에 관한 것이다.

컴퓨터 시스템 및 응용이 계속하여 확장됨에 따라, 새로운 기능 및 성능이 생성되고 이러한 성능의 인터페이스를 시스템 사용자에게 가시적으로 제공하도록 다양한 디바이스 및 도구가 개발될 필요가 있다. 사용자 구동형 컴퓨터 시스템 및 응용을 위한 주요 컴퓨터 시스템 인터페이스는 키보드나 마우스 또는 트랙볼(trackball) 디바이스와 같은 사용자 입력 수단을 갖춘 디스플레이 디바이스이다. 다른 무선 입력 디바이스도 이용가능하다.

대부분의 모든 컴퓨터 시스템 사용자 입력 디바이스는 예를 들면, 마우스 트랙볼 또는 조이스틱 등과 같은 포인팅 디바이스나 키보드를 통해 사용자가 입력할 수 있도록 디스플레이 스크린상에 나타나는 시각적 표시에 의존한다. 컴퓨터 시스템이 다수의 응용을 운행하고 있을 때, 다양한 응용은 전형적으로 디스플레이상에 대응하는 아이콘 (icon)에 의해, 또는 사용자가 나타내지는 특정한 프로그램을 식별할 수 있는 직사각형 프레임 (frame)이나 윈도우 (window)내에 나타내진다. 또한, 특정한 프로그램에서 선택가능한 기능적 특성은 모두 선택된 기능을 발동하도록 사용자에 의해 활성화될 수 있는 디스플레이 스크린상의 시각적 표시로 나타내진다.

사용자가 현재 프로그램으로부터 또 다른 프로그램으로 교환되기 원할 때, 사용자는 마우스나 다른 포인팅 디바이스를 사용해 디스플레이 스크린상에서 프로그램의 아이콘이나 윈도우를 "지시 (point to)"하고, 그 포인팅 디바이스상의 버튼 중 하나를 "클릭 (click on)"한다. 이어서, 사용자가 작업되고 있는 응용의 특정한 기능을 발동시키기 원할 때, 사용자는 대응하는 가시적 스크린 영역을 지시하여 클릭한다. 디스플레이 스크린상에 표시된 다양하게 선택가능한 모든 시각적 표시 및 아이콘으로, 컴퓨터 스크린이 너무 복잡해질 수 있고, 때로는 마우스로 제어되는 포인터가 스크린상에서 선택가능한 한 영역 또는 또 다른 영역을 지시하고 있는가 여부를 결정하기가 어렵다. 이는 시각적으로 불편한 사용자에 대해서는 더 큰 문제점이 된다. 사용자가 한 선택 영역을 지시하고 선택된 기능을 활성화시키도록 마우스를 클릭할 때, 포인터가 실질적으로 마우스를 클릭하는 경우 의도하지 않는 인접 또는 부근 스크린을 지시하면, 잘못된 기능이 실행되어 때때로 피해가 큰 결과를 초래하게 된다. 최상의 경우라도, 사용자는 의도하지 않는 결과를 취소하고 의도하는 기능을 재활성화시키기 이전에 의도하지 않은 기능이 완료될 때까지 대기하여야 한다.

최근, 이러한 문제점은 여기서 참고로 포함되고 본 출원의 양수인에게 지정된 미국 특허 5,533,182에서 인식되고 해결되었다. 그 특허에서는 디스플레이 스크린상에서 관심 위치와 스크린 위치 식별자 사이의 스크린 거리를 나타내도록 청각 신호가 제공된다. 이것이 스크린 네비게이션 (navigation)에서 청각 보조를 제공하는데 주요 성취도를 나타내지만, 이 분야에서는 특히 시각적으로 불편한 컴퓨터 사용자를 위해 인터넷 응용을 포함하여 디스플레이 스크린-주도형 프로그램을 동작시킬 때 더 많은 편리함과 용이함을 제공하도록 더 많은 노력이 필요하다.

컴퓨터 시스템 디스플레이 스크린에 디스플레이된 정보의 다양한 특성에 대한 정보를 제공하도록 컴퓨터 시스템 주위의 공간에서 사운드가 프로젝트 (project)되는 방법 및 실시 컴퓨터 시스템이 제공된다.

디스플레이된 정보에 관련된 소정의 정보는 프로젝트된 사운드에 주어지고, 컴퓨터 시스템으로부터 떨어진 지점으로부터 방사하는 것으로 감지된다. 사용자의 머리나 컴퓨터 디스플레이 스크린과 같이 지정된 원점에 대해 프로젝트된 사운드의 명확한 소스의 감지 위치를 포함하는 프로젝트된 사운드의 특정한 특성을 감지함으로써, 디스플레이 스크린에 디스플레이된 영상의 특정한 특성이 확인될 수 있다.

도 1은 본 발명이 실시될 수 있는 컴퓨터 시스템을 도시하는 도면.

도 2는 도 1에 도시된 컴퓨터 시스템 중에서 선택된 성분 및 서브시스템을 도시하는 간략화된 도면.

도 3은 본 발명의 모범적인 동작을 설명하는데 유용한 브라우저 (browser) 및 다른 컴퓨터 프로그램을 운행하는 컴퓨터 시스템 디스플레이 스크린을 도시하는 도면.

도 4는 본 발명의 예시적인 실시에서 한가지 동작 시퀀스의 예를 설명하는 흐름도.

도 5는 본 발명의 예시적인 실시에서 또 다른 동작 시퀀스의 예를 설명하는 흐름도.

도 6은 컴퓨터 환경에서 컴퓨터로 발생되는 프로젝트된 사운드를 설명하는데 유용한 도면.

도 7은 본 발명의 예시적인 실시에서 프로젝트된 사운드와 관련된 스크롤 (scroll) 기능을 포함하는 전형적인 스크린 디스플레이를 도시하는 도면.

도 8은 본 발명과 연관되어 실시될 수 있는 선택 스크린 기능의 모범적인 동작을 설명하는 도면.

〈도면의 주요부분에 대한 부호의 설명〉

201 : 프로세서

205 : 캐시 메모리

207 : 시스템 메모리

211 : 입력 인터페이스

217 : 네트워크 인터페이스

여기서 논의되는 다양한 방법은 워크스테이션이나 개인용 컴퓨터를 포함하는 전형적인 컴퓨터 시스템내에서 실시될 수 있다. 일반적으로, 실시 컴퓨터 시스템은 유사한 시스템의 네트워크에서 다중버스 시스템에 다수의 프로세서를 포함한다. 그러나, 예시적인 실시예에서 본 발명을 실시하는 워크스테이션이나 컴퓨터 시스템은 일반적으로 종래 기술에서 공지되어 있고 종래 기술에 숙련된 자에게 일반적으로 공지된 전자 성분 및 회로로 구성되므로, 도면에 도시된 회로의 상세한 내용은 본 발명의 지시에서 판단을 흐리게 하거나 혼동시키지 않게 하기 위해 본 발명의 기본 개념의 이해 및 인식을 위해 설명될 필요가 있는 것으로 고려되는 것 보다 더 큰 범위로 지정되지 않는다.

도 1에서, 컴퓨터 시스템(101)은 컴퓨터 시스템(101)의 다른 성분 디바이스 및 서브시스템과 함께 하나 이상의 CPU (central processing unit)을 수납하도록 전형적으로 배열된 전자 인클로저 (enclosure)(103)를 포함한다. 컴퓨터 시스템(101)은 또한 모니터나 디스플레이 유닛(105), 키보드(107), 및 마우스나 포인팅 디바이스(109)를 포함하고, 이들은 모두 도시된 컴퓨터 시스템내에서 상호연결된다. 또한, 본 실시예에서의 전화선과 같은 통신선에 컴퓨터 시스템내의 모뎀 또는 다른 네트워크 연결기를 연결시키도록 배열된 커넥터(111)가 도시된다. 본 발명은 또한 커넥터(111) 없이 셀룰러 (cellular) 시스템에서 실시될 수 있다.

시스템(101)의 몇가지 주요 성분은 도 2에 도시된다. 프로세서 회로(201)는호스트 (host) 시스템 버스인 시스템 버스(203)에 연결된다. 여기서 설명되는 처리 방법은 다른 많은 버스 및/또는 네트워크 구성에 적용됨을 주목한다. 캐시 (cache) 메모리 디바이스(205) 및 시스템 메모리 유닛(207)도 또한 버스(203)에 연결된다. 모뎀(209)은 커넥터(111) (도 1)를 통해 전화선과 같은 통신선에 연결되도록(210) 배열된다. 본 실시예에서, 모뎀(209)은 선택적으로 컴퓨터 시스템(101)이 통신 링크 (link)를 이루고 또 다른 컴퓨터 시스템이나 네트워크, 또는 데이터베이스 서버 (database server)와의 통신을 초기화할 수 있게 한다.

시스템 버스(203)는 또한 입력 인터페이스 회로(211)를 통해 키보드(213)와 마우스 또는 포인팅 디바이스(215)에 연결된다. 버스(203)는 또한 분리된 네트워크 서브시스템 인터페이스(217) 및 디스켓 드라이브 유닛(219)에 연결된다. 사운드 생성 서브시스템(224)은 시스템 버스(203)에 연결되고, 그래픽 서브시스템을 포함할 수 있는 비디오 서브시스템(220)은 디스플레이 디바이스(221)에 연결된다. 하드 드라이브 유닛이나 CD ROM을 포함할 수 있는 저장 디바이스(218)도 또한 버스(203)에 연결된다. 디스켓 드라이브 유닛(219)은 컴퓨터 시스템(101)에 의한 선택적인 실행을 위해 각 디스켓 프로그램이 하드 드라이브에 로드 (load)되거나 직접 억세스될 수 있는 수단을 제공한다. 이미 공지된 바와 같이, 디스켓상의 자기 표시에 의해 나타내지는 응용 프로그램, 시스템 메모리내의 프로그램, 또는 로컬 네트워크 (local network)나 www (world wide web)을 통해 구해진 프로그램을 포함하는 프로그램 디스켓은 판독되어 프로그램 신호를 제공한다. 이러한 프로그램 신호는 컴퓨터 시스템이 디스플레이 디바이스의 스크린상에 디스플레이를 제공하고, 실행되고 있는 응용 프로그램의 기능적 흐름에 따라 사용자 입력에 응답하게 하도록 선택적으로 유효하게 된다.

본 발명의 모범적인 동작을 설명할 때는 개인용 컴퓨터 또는 "PC"에서 운행되는 브라우저 프로그램 (browser program)을 참고하지만, 포함된 원리는 스크린 디스플레이로부터 입력을 수신할 수 있는 컴퓨터 프로그램에 적용가능하다. 컴퓨터 시스템(101)에서 인터넷 억세스 프로그램이나 브라우저 프로그램을 운행할 때, 억세스 또는 브라우저 프로그램은 전형적으로 저장 디바이스(218)에 저장되고, 시스템이 초기에 전력 on 상태로 될 때나 나중에 사용자가 원하는 경우, 선택적으로나 자동적으로, 또한 부분적으로나 전체적으로 시스템 메모리(207)에 로드된다. 브라우저는 여기서 설명되는 바와 같이, 디스켓 드라이브 유닛(219)내의 디스켓으로부터 직접적으로, 또는 하드 드라이브 유닛(218)에 저장된 사이트 (site) 선택 프로그램의 복사로부터 직접적으로 사이트 선택 프로그램을 억세스하여 실행하도록 선택적으로 동작가능하다. 프로그램이 운행될 때는 프로그램의 일부나 프로그램 전체가 시스템 메모리(207) 및/또는 시스템 캐시 메모리(205)에 로드될 수 있다. 특정한 프로그램 설계에 의존해, 시스템은 데이터베이스로부터 억세스된 정보를 저장 유닛(218), 캐시 메모리(205), 시스템 메모리(207), 또는 디스켓 드라이브(219)에 로드된 디스켓에 직접 저장할 수 있다. 사용자가 시스템을 시작하여 예를 들면, 메모리로부터 브라우저 프로그램을 활성적으로 운행하고 있다고 가정하면, 사용자에게는 일련의 스크린이 디스플레이 디바이스(221)상에 디스플레이된다. 각 스크린은 전형적으로 프로그램을 통한 네비게이션 (navigation)에서 사용자가 할하나 이상의 선택을 갖는다. 일반적으로, 사용자는 키보드(213)나 마우스 또는 포인터 디바이스(215)를 사용해 디스플레이 스크린으로부터 선택한다. 인터넷 동작 프로그램에서, 사용자가 한 선택은 사용자가 "어디로" 가는가, 즉 무슨 "사이트" 또는 "웹페이지 (webpate)"인가를 결정하고, 또한 일부 경우에서는 선택된 사이트에 이르기 위해 취해지는 통신 링크나 경로를 결정하게 된다. 또한, 마우스/포인터 디바이스를 통해 사용자에 의해 이루어진 추가 선택을 통해 프로그램이 다운로드 (download)되어 브라우저 프로그램내에서 운행될 수 있다.

도 3은 인터넷 동작 세션 (operating session)에서 전형적인 브라우저 프로그램 스크린 디스플레이(301)를 설명한다. 브라우저 스크린은 일반적으로 "File" 선택(308) 및 "Bookmarks" 선택(304)과 같이 사용자가 선택할 수 있는 수개의 다른 모드나 기능을 디스플레이하는 제1 행(303)을 포함한다. 또 다른 행(305)은 네트워크 세션에서 사용자가 문서, 사이트, 또는 페이지를 통해 신속하게 이동하는 것을 돕기 위해 사용자가 선택할 수 있는 다양한 동작을 제공하도록 디스플레이된다. 스크린상의 URL (Uniform Resource Locator) 어드레스 또는 "location" 부분(307)은 사용자가 방문된 또는 방문될 사이트의 인터넷 어드레스 및 명칭을 삽입하고 디스플레이할 수 있게 한다. 다른 고속 억세스 버튼은 "What's New" 또는 "Net Search"와 같이 선택된 다른 네트워크 서비스 및/또는 네트워크 기능에 대한 고속 억세스를 위해 스크린상에서 실시될 수 있다. 일반적으로, 설명된 항목들은 마우스 디바이스(215) 및 디스플레이 스크린상에서 볼 수 있는 커서 또는 포인터와 연관된 "지시 및 클릭" 방법을 통해 선택된다. 예를 들면, 원격 사이트로부터의 데이터 다운로드는 "Stop" 버튼을 지시하고 지정된 마우스 버튼을 클릭함으로서 전송 중에 바로 종료될 수 있다. 전형적으로, 선택가능한 모든 기능은 발동되어 완료되는데 시간이 걸린다. 그래서, 사고로 잘못된 블록이 선택되면, 원하는 선택가능한 스크린 영역내에서 커서를 정확히 보고 배치할 수 없기 때문에, 사용자는 또 다른 웹 사이트로 전달될 수 있고, 원하는 기능이 선택될 수 있는 원하는 사이트로 복귀하는데 많은 시간이 손실된다.

도 3에는 또한 도시된 바와 같이 강조된 "IBM" 텍스트(321)와 같이 "하이퍼링크 (Hyperlinks)"를 포함할 수 있는 부분적인 텍스트부(320)가 도시된다. 하이퍼링크는 전형적으로 쉽게 인식되도록 굵은 형태로 제시되거나, 때로는 대조적인 칼라로 디스플레이된다. 하이퍼링크는 전형적으로 포인터의 지시 및 클릭을 통해 사용자에 의해 선택되는 경우 링크로 지정된 페이지나 사이트를 억세스하는 설명어의 그룹화를 포함한다. 하이퍼링크는 기능적 특성 없이 단순히 텍스트만을 나타내는 페이지상의 일반 텍스트와 다르게, 억세스 프로그램을 선택된 사이트로 활성화시킨다. 하이퍼링크를 사용하여, 사용자는 가능한 관심 사이트를 비교적 신속하게 식별하고, 현재 페이지로부터 그 사이트를 즉시 억세스하도록 하이퍼링크를 클릭한다. 그러나, 하이퍼링크와 다른 가능한 스크린 선택은 그렇게 쉽게 표시되어 식별되지 않을 수 있다. 예를 들면, 디스플레이 스크린(301)에는 시각적으로 명확하게 서로 구별되지 않는 가능한 "활성 텍스트 (active text)" 선택이 3개 있다. 그래서, 두 선택 사이의 영역을 지시하여 (포인터(313)로 도시된 바와 같이) 원하지 않는 선택을 발동시킬 수 있다. 그러므로, 가청 표시 (audible indicium)는 포인터가 대응하는 다른 스크린 영역을 지시할 때 다른 사운드를 발생함으로서 잠재적인 문제점을 방지하는데 도움이 된다.

도 3에 도시된 예시적인 페이지는 마우스 및 포인터(313)로 지시하여 클릭함으로서 활성화되는 시각적으로 다르게 분간될 수 있는 활성 표시나 디스플레이 영상 또는 아이콘을 포함하는 웹 사이트 페이지이다. 도 3은 지시되어 선택될 수 있는 관련 페이지의 텍스트나 식별을 포함하는 영역(315)과 같은 그래픽 영역을 몇개 포함한다. 스크롤 바 (scroll bar)(319)는 또한 디스플레이된 텍스트 보다 더 긴 문서를 통해 네비게이트하기 위해 사용자가 스크롤 바내의 "상향 화살표 (up arrow)" 또는 "하향 화살표 (down arrow)"를 지시할 수 있게 하도록 도시된다.

한 실시예에서, 본 발명은 문서의 디스플레이된 부분이 전체적인 문서와 관련된 위치의 가청 표시를 제공하도록 스크롤 바와 연관되어 실시된다. 이는 "원점 마크 (mark origin)" 기능의 선택 (도 8) 및 사용을 통해 이루어진다. 사용자가 예를 들어 문서를 읽으면서 문서내의 또 다른 위치로 이동하기 원할 때, 사용자는 텍스트 문서에서의 현재 위치에 표시를 하고, 문서내의 또 다른 위치로 이동할 수 있다. 사용자가 원점 마크 기능과 함께 3D의 강화된 오디오 효과를 선택하면, 강화된 오디오 효과는 컴퓨터 스크린으로부터 떨어진 거리에서 사운드 (선택된 바와 같이)를 발생한다. 사용자가 이전의 마크 포인트로부터 더 멀리 떨어지게 스크롤할 때, 선택된 사운드는 컴퓨터 디스플레이로부터 (임의의 기준점인) 멀리 이동되는 것으로 나타난다. 이 기능은 시각적인 슬라이드 바 (slide bar)에 부가하여, 소정의 시간에 사용자가 문서내의 마크 원점으로부터 얼마나 떨어져 있는가를 나타내는 가청 표시를 사용자에게 제공한다. 문서가 매우 길고 사용자가 시작점으로부터 여러 페이지를 지나왔을 때, 선택된 사운드는 먼거리에서 들려오는 것같다.

컴퓨터 디스플레이 스크린으로부터 발생된 사운드의 인지할 수 있는 "깊이" 또는 "거리"를 사용하는 것은 유리한 응용을 많이 갖는다. 여기서 설명되는 본 발명은 다양한 컴퓨터 스크린 기능과 커서 위치에 일반적으로 관련되기 때문에 2 또는 3차원으로 프로젝트된 사운드를 사용하도록 지시한다. 본 명세서에서, "프로젝트 (project)"되었다는 말은 사운드가 컴퓨터 유닛에서 떨어져 프로젝트되고 컴퓨터 유닛에서 먼 거리에 있는 지점으로부터 방사되는 것으로 사용자에 의해 인지됨을 나타내는데 사용된다. 방사를 인지하는 지점은 컴퓨터 스테이션에서 운행되는 프로그램의 상태 또는 조건에 대한 정보를 컴퓨터 사용자에게 제공하도록 프로그램된다. 몇가지 예가 논의되지만, 설명되는 예는 전형적인 몇가지 동작을 설명하는 예이지 본 발명을 제한하는 것으로 취해지지 말아야 한다. 명백한 바와 같이, 전형적인 컴퓨터 프로그램은 사용자가 원하는 기능이 무엇이든 사용자가 발동하도록 선택할 수 있는 다른 많은 윈도우 및 기능과 동작을 포함한다. 그러나, 모든 다양한 기능과 동작이 "지시 및 클릭" 방법과 같은 시각적인 식별 기술을 통해 억세스 또는 선택되므로, 풍부한 이들 컴퓨터 자원은 시각적으로 불편한 사용자에 의해서는 용이하게 억세스가능하지 않다. 더욱이, 컴퓨터 디스플레이 스크린상에 주어지는 인터페이스 표시의 수가 더 증가됨에 따라, 사용자가 원하는 스크린 영역이나 그에 인접하는 원하지 않는 영역을 포인터 디바이스가 지시할 때를 결정하는 것이 더 어려워진다. 정확하지 않은 스크린 영역이 지시-및-클릭 활성화로 지시될 때, 정확하지 않은 프로그램이 의도되지 않게 활성화되므로, 이는 결과적으로 정확한 아이콘을 시작하도록 시작점으로 복귀하는데 불필요한 처리 시간을 제공하게 된다.

상기에 논의된 바와 같이, 시각적으로 불편한 개인들은 또한 때때로 파일 또는 문서의 일부만이 디스플레이 스크린상에 주어질 때 확장된 스크린 표시나 긴 문서를 통해 네비게이트하기에 어려움을 갖는다. 여기서 설명되는 바와 같은 청각 강화는 사용자가 "Find" 명령을 통해 긴 문단에서 작은 활성화 스크린 영역 또는 하이퍼링크를 찾도록 도울 뿐만 아니라, 긴 문서 파일에서 커서가 있는 위치의 감지를 제공할 수 있다. 그 상황은 전형적으로 2개 이상의 방향으로 "스크롤 바"를 사용할 것을 요구한다. 이러한 스크롤 바는 전형적으로 작업 스크린에서 많은 공간을 차지하지 않도록 설계되므로, 관련된 파일이나 문서를 통해 지시하고 조작하기에 어렵다. 본 발명에 따라, 컴퓨터 프로그램 디스플레이와 연관된 다양한 특성을 구별하고 확인하는데 사용되는 컴퓨터 사용자 청각 환경이 선택적으로 생성된다. 이러한 특성은 예를 들면, 사용자 스크린상에 부분적으로만 디스플레이되는 파일 또는 문서의 "깊이" 뿐만 아니라 디스플레이 스크린상에 주어지는 윈도우 및 아이콘의 "층 (layer)"을 포함할 수 있다. 프로젝트된 사운드는 또한 컴퓨터 스크린 디스플레이상에 주어지는 기능 영역 및 디스플레이 활성화의 종류 뿐만 아니라 다른 많은 기능과 연관되어 실시될 수 있다.

스테레오 사운드 (stereo sound) 및 3차원 또는 "서라운드 사운드 (surround sound)"의 개념은 이미 공지되어 있고, 일반에게 이용가능한 오락 또는 다른 시스템에서 실시되고 있다. 3차원 사운드를 실시하는 것에 대한 상세한 내용은 예를들면, 여기서 참고로 포함되는 미국 특허 4,817,149 및 5,337,363에서 설명된다. 도 6을 참고로, PC(603)가 방(601)내의 데스크상에 위치하는 모범적인 컴퓨터 환경이 도시된다. 소정의 원점에 대해 "X" 또는 수평축(605), "Y" 또는 수직축(607), 및 "Z" 또는 깊이축(609)이 도시된다. 본 예에서는 원점이 PC(603)의 중심에 있는 것으로 결정되지만, 책상(603)에 앉아있는 사용자의 머리를 포함하는 위치에 있는 것으로 정의될 수 있다.

본 명세서에 따라, 사운드는 컴퓨터 디스플레이 특성에 관련되고, 디스플레이 스크린의 내용을 확인하는데 도움이 되도록 사용자에 의해 감지되게 하기 위해 컴퓨터 스테이션(603)으로부터 "프로젝트"된다. 프로젝트된 사운드는 단일 평면, 즉 컴퓨터 스테이션 주위의 2차원에, 또는 컴퓨터 스테이션을 둘러싼 3차원 공간에 있을 수 있다. 설명된 바와 같이, 사운드는 컴퓨터 스테이션(603)으로부터 "프로젝트"되어, 방(601)내의 다양한 다른 지점으로부터 방사되는 것과 같이 인지된다. 예를 들면, 사운드는 사용자의 좌측 위에 있는 점(611)으로부터, 또는 사용자의 뒤쪽으로 우측 아래에 있는 점(615)으로부터, 또는 사용자와 같은 레벨에 있지만 "Z"축을 따라 앞쪽으로 변위되고 사용자의 우측에 있는 점(613)으로부터 전해지는 것과 같이 사용자가 인지하도록 발생될 수 있다. 본 발명은 오디오 효과 및/또는 오디오 톤 (tone)의 형태로 다중 차원의 청각 위치 피드백 (feedback)을 제공함으로서, 문단의 크기 및 내용과 그 문단내의 제어 및 링크와 같이 스크린 활성화 영역의 상대적인 위치 모두를 결정할 수 있게 허용한다. 프로젝트된 오디오 피드백은 디스플레이되고 있는 내용 영역의 현재 크기와 위치를 근거로 제공된다. 오디오피드백은 헤드폰 또는 다수의 스피커를 사용하고, 각 스피커에 이르는 사운드, 즉 사용자의 각 귀에 이르는 사운드에 대해 일부 시간을 지연시킨다. 이는 사용자 주위의 공간에서 다른 위치에 놓여있는 것과 같이 사용자에 의해 해석되는 사운드를 생성한다.

그래서, 예를 들면, 3-D 오디오 피드백의 경우, 스크린 판독기에서 음성의 인지된 "위치"는 완전하게 이해될 수 있게 유지되면서, 일반적으로 사용자의 머리이거나 디스플레이 스크린이 되는 지정된 "원점"에 관련되어 "객체 (object)"의 상대적인 위치를 나타내도록 3-D 공간내에서 이동될 수 있다. 위치는 좌표 또는 벡터 시스템에 대하여 "깊이"에 대한 추가 매개변수나 차원으로 정의된다. 상대적인 "위치"는 똑같은 메카니즘으로 (예를 들면, 커서 이동 및 동작 코드) 상하좌우전후로 이동되고, 그에 의해 객체 (예를 들면, 원하는 스크린 영역이나 아이콘)가 문단내에 있는 위치의 뛰어난 "감각 (feel)"을 사용자에게 제공하게 된다.

피드백 방법은 제어 및 링크의 지속적인 맵핑 (mapping)을 포함한다. 스크린 "버튼" 및 "제어"는 "오디오 글로 (audio glow)" 효과를 통해 3D 공간에서 프로젝트된 사운드에 의해 식별되고 위치가 정해진다. 이와 같은 오디오 글로의 한가지 실시는 구성가능한 기간의 단일 톤 (tone)으로, 그 톤 또는 주파수는 제어의 종류에 관련된다. 예를 들면, 이러한 실시에서, 11-111의 기간은 연속적인 것을 나타내고 "011"은 "감춰진" 것을 나타낸다. 다른 말로 하면, 다른 종류의 제어 (예를 들면, 버튼, 스크롤 바, 팝업 (pop-up) 메뉴 항목, 하이퍼텍스트 링크 (hypertext link), "liback", "forward", 입력선, "end session" 명령, "stop","search" 등)는 특정한 종류와 연관된 다른 기본 사운드를 갖는다. 톤은 원점에 관련된 위치에 놓인다. "원점"은 구성가능한 것으로, 시각적 정보를 오디오 정보로 변환하도록 문단의 중심이 되게 구성된다. 사용자가 문단의 중심으로부터 "상향"으로 스크롤할 때, "원점", 즉 컴퓨터 스테이션이나 사용자의 머리에서 점차 앞쪽으로 멀어지게 이동하는 것으로 나타나는 관련된 프로젝트 사운드가 발생된다. 하향으로 스크롤할 때는 프로젝트된 사운드가 지정된 원점에서 점차 뒤쪽으로 멀어지게 이동하는 것으로 나타난다.

오디오 정보를 표현하기 위해, 예를 들면, 3D 오디오로 윈도우의 상단 좌측에 제어를 행하여 사운드가 워크스테이션이나 사용자의 상단 좌측에 있는 공간 위치에서 방사되는 것으로 나타나게 하도록, 원점은 다시 컴퓨터 워크스테이션이나 사용자 머리의 위치가 되게 구성되어 사용된다. 또 다른 예에서, 원하는 윈도우가 디스플레이 스크린상에서 상단층 윈도우 "아래" 있으면, 수개의 윈도우층을 갖는 스크린 디스플레이상에서 윈도우층의 깊이를 나타내도록 워크스테이션이나 사용자의 전방으로 증가적인 거리를 갖고 사용자의 좌측 상단에 있는 위치로부터 사운드가 방사되는 것으로 나타나도록 3D 오디오로 사운드가 처리된다.

다수의 톤은 일부 사용자가 동시에 연주될 때 위치적으로 구별하기 어려울 수 있으므로, "제어" 및 "링크" 위치는 사용자의 옵션으로 한번에 1회 이상 순환된다. 3D 공간에서 가상 커서나 포인터를 가상 객체와 접촉시키는 것은 오디오 피드백을 제공하게 된다. 이러한 피드백은 입력 초점 (예를 들면, 버튼의 라벨을 "판독"하는 스크린 판독기 기능의 출력인)을 갖는 객체에 대해 제공되는 피드백과 다르거나 그에 부가된다.

3D 오디오 시스템 출력의 또 다른 실시에서, 포인터는 위치적 사운드를 통해 맵핑된다. 그래서, "모스퀴토 마우스 (mosquito mouse)"는 "카미트 커서 (comet cursor)"와 동일한 제3 청각 커서이다 (즉, 스크린에 걸쳐 감소되는 크기 및 강도로 마우스 포인터 이동을 추적하고, 잇달아 위치를 정하는 것을 더 용이하게 만든다). 이는 사운드 및 볼륨의 위치적 편차에 의해 이루어질 수 있다. 다시, 마우스 관련 이벤트 (즉, 마우스로 제어되는 포인터가 디스플레이 스크린에서 특정한 스크린 영역 또는 객체에 걸쳐 이동하는 것)는 이후 설명될 "IDENTIFY" 또는 "FIND" 기능과 같이, 요구되는 서브세트에서 선택가능한 성분 또는 임의의 성분과 접촉하도록 오디오 피드백을 트리거 (trigger)할 수 있다.

3D 오디오 디스플레이 스크린을 실시하는 또 다른 예시적인 실시예에서는 "Identify" 명령의 세트가 사용자에게 이용가능해진다. "Cntrl-In" (여기서, "In"은 일련의 특정한 제어 종류에 대응하는 일련의 다른 키스트로크 (keystroke)이다)과 같은 소정의 키보드 입력을 실행하면, 또는 사용자가 소정의 마우스 및 마우스 버튼 조작을 실행하면, 3D 오디오 프로그램은 디스플레이 스크린을 "주사 (scan)"하여 다양한 사운드가 방사되게 한다. 이러한 사운드는 예를 들면, 사용자의 머리에 관련된 공간에서 다양한 위치로부터 방사되는 것으로 인지되는 3D 사운드이다. 발생된 3D 사운드의 3D 공간에서 청각적으로 인지되는 위치는 사용자에게 좌표 및 스크린 깊이를 통하여, 선택된 종류의 제어가 디스플레이 스크린상에 위치하는 곳을 정확하게 말하고; 발생된 사운드의 종류 ("전화호출음 (buzz)"이나 벨, 또는 휘파람이나 일반음 등)는 사용자에게 무슨 특정한 종류의 제어 (링크, 커서 이동에 대한 제어, 스크롤 명령 등과 같은)가 위치하고 있음을 말한다.

한 예에서, 사용자는 "Identify Links" 명령을 초기화하고, 여기서 링크는 초점을 갖는 객체의 문단내에서 선택가능한 항목을 나타낸다. 예를 들면, 브라우저의 문단에서는 "링크"가 "하이퍼링크"이고, 데스크탑의 문단에서는 "링크"가 아이콘이다. 선택적으로, 이 기능은 "오디오 글로"와 조합될 수 있다.

또 다른 실시에서, "Identify Controls" 명령은 다양한 "제어"의 디스플레이 스크린에서 위치를 나타내는 3D 사운드를 발생한다. 사운드는 사용자에게 사운드가 발생된 각 제어에 대한 상대적인 위치의 감지를 제공하도록 소정의 순서에서 순차적으로 발생된다. "제어"는 또 다른 객체나 객체 세트 또는 부품에 대한 영향을 갖는 객체나 부품 (예를 들면, 버튼, 슬라이더, 메뉴 바, 메뉴, 팝업 메뉴 등)이다. 선택적으로, 이는 또한 오디오 글로 실시와 조합될 수 있다. 또한, 스크린 표면에 관련된 다른 레벨 또는 깊이에서의 제어는 다른 옥타브 (octave)를 사용해 구별될 수 있다. 또 다른 예에서, 사용자는 "Identify Containers" 명령을 초기화하고, 여기서 컨테이너는 문단내에서 다른 객체를 수용하는 객체이다. 윈도우와 같은 "컨테이터 (Coatainer)"는 마우스 "클릭"으로 활성화되거나 활성화되지 않는 그래픽이나 텍스트, 또는 다른 표현이나 디스플레이 영상을 포함하거나 한정하는 수단을 칭한다. "Identify Context" 또는 "Find" 명령은 사용자에 의해 정의된 자체 포함 2D 스크린을 식별하는 사운드를 발생한다. 이 명령은 특히 "줌 (zoom)" 조정된 해상도의 경우, 즉 전체적인 스크린이 가청 처리되지 않고 스크린의 일부분만이 처리되는 경우 특히 유용하다. 스크린의 가청 표현의 "해상도 (resolution)"는 가상 사운드 공간의 크기에 관련되어 그에 의해 제어된다. 그래서, 사용자 주위의 3D 공간으로 스크린 위치를 식별하는데 더 큰 정확도를 허용하는 디스플레이 스크린에 대응하는 청각적 공간은 실제로 제한될 수 없다.

본 발명에 따른 프로젝트된 사운드는 디스플레이 인터페이스를 포함하는 컴퓨터 응용에 적용가능하다. 본 발명은 작업 인터넷 세션내의 브라우저 프로그램과 연관되어 실시될 수 있고, 또한 워드 프로세서, 워크쉬트 (worksheet), 및 데이터베이스 응용과 같은 기본적인 독립형 응용에 사용될 수 있다. 또한, 여기서 설명된 바와 같은 컴퓨터 디스플레이 사운드 깊이 프로젝션은 건물이나 구조물의 3차원 설명이 도시되어 조작되는 건설 응용과 같은 3D 관련 응용과 연관되어 큰 이점을 갖고 실시될 수 있다. 큰 이점은 또한 3차원 변수를 갖는 3D 워크쉬트에 이용가능한다. 도 7 및 도 8은 웹사이트 페이지에 디스플레이된 텍스트 문서에 본 발명이 실시되는 방법의 예를 설명한다.

도 7에 도시된 바와 같이, 디스플레이 스크린(701)에는 문서 파일의 일부분이 디스플레이된다. 문서는 텍스트 영역(703) 뿐만 아니라 영역(705)과 같은 그래픽 영역 및 (706, 707)과 같은 하이퍼텍스트 영역을 포함한다. 그래픽 영역(705)과 하이퍼텍스트 영역 (706, 707)은 마우스 디바이스 포인터(713)에 의해 지시되고 사용자에 의해 클릭될 때 다른 사이트로 갈 수 있는 민감한 스크린 영역이다. 디스플레이된 부분은 더 큰 문서의 일부만을 나타내고, 수직 스크롤 바(709) 뿐만 아니라 수평 스크롤 바(711)가 다른 문서 영역으로 네비게이트하도록 포인터 디바이스와 연관되어 사용된다.

오디오 강화 방법은 도 8에 도시된 바와 같이 도 7의 응용에서 실시될 수 있다. 도 8에서, "Enhanced Audio" 선택 블록(805)은 프로그램의 다른 선택가능한 기능 (도시되지 않은)과 함께 디스플레이 스크린(801)에서 이용가능해진다. 지시 화살표(807)에 의해 사용자가 선택하고 "Enhanced Audio" 영역(805)에서 마우스 버튼을 클릭할 때, 팝업 "Audio Selections" 윈도우(809)가 디스플레이(801)상에 나타난다. 선택 윈도우는 사용자가 원하는 오디오 강화 종류를 선택할 수 있는 "Effects" 부분(811)을 포함한다. 본 예에서의 종류는 일반적인 비프로젝트 사운드 및 2D 프로젝트 사운드, 즉 컴퓨터 스테이션을 벗어나 한 평면에 프로젝트된 사운드를 포함한다. 선택항목은 또한 도 6에 도시된 3개 축에서 모두 사운드를 프로젝트하도록 실행된 "3D" 사운드(817)를 포함한다. 사용자는 또한 프로젝트된 사운드의 볼륨 뿐만 아니라 컴퓨터 스크린에 디스플레이된 영상의 오디오 프로젝션이 행해진 컴퓨터 시스템 주의 공간의 "Resolution"을 선택적으로 조정할 수 있다. 또 다른 선택 영역에서는 사운드에 적용될 제어(813) 및 제어에 따른 특정 사운드(815)가 사용자에 의해 선택될 수 있다. 예를 들면, 사용자는 오디오로 강화된 몇가지 기능 중 임의의 것을 선택할 수 있다. 이러한 기능은 스크롤 기능을 포함하여, 예를 들면, 스크롤 바(709)에서 슬라이드 (slider)(715)의 상대적인 위치에 관련된 사운드를 발생하게 된다. 프로젝트된 그 사운드는 사용자에 의해 선택되는 바에 따라 일반적인 "디스플레이내의" 사운드, 2D 사운드, 또는 3D "깊이" 프로젝트 사운드가 될 수 있다.

다른 선택으로, 사용자는 커서나 마우스 화살표에 의해 새로운 윈도우로 들어갈 때마다 발생되는 사운드를 가질 수 있다. "Menu" 선택은 화살표가 메뉴 항목에 걸쳐 있을 때마다 발생되는 또 다른 선택가능한 사운드를 갖게 되고, 이는 그 때의 클릭이 스크린 메뉴를 열게 됨을 의미한다. 사용자는 또한 활성 그래픽 스크린 영역이나 하이퍼텍스트 영역과 같이 커서나 화살표가 "링크"에 걸쳐 있을 때마다 프로그램이 사운드를 발생하게 하는 "Links" 선택을 선택할 수 있고, 이는 선택된 "링크" 사운드가 들릴 때 사용자가 마우스 버튼을 클릭하면, 컴퓨터가 또 다른 웹 사이트에 링크됨을 의미한다. 선택된 각 기능에 대해, 사용자는 선택된 기능과 연관된 톤이나 벨 사운드와 같이 원하는 사운드(815)를 선택할 수 있다.

사용자가 선택 처리를 완료할 때, 사용자는 "Apply" 버튼(823)을 클릭함으로서 작업되고 있는 프로그램에 그의 선택을 적용할 수 있다. 사용자가 강화된 오디오 효과를 종료하기 원하면, 사용자는 오디오 스크린(809)을 열어 "Terminate" 버튼(825)을 선택한다. 또 다른 기능으로, 사용자는 제어부(813)에 리스트된 바와 같이 디스플레이된 정보의 특정한 제어 또는 종류를 선택하고, 이어서 "Find" 버튼(819)을 지시하고(821) 클릭할 수 있다. 그 때, 프로그램은 선택된 제어에 대해 디스플레이된 스크린을 주사하고, 선택된 제어 중 하나가 위치할 때마다 관련된 사운드가 발생되게 한다. 이 특성은 특별히 "연결중인 (busy)" 문단이나 문서에 삽입된 제어나 하이퍼텍스트를 찾는데 도움이 된다. 프로젝트된 사운드는 선택된 제어가 스크린상에 있는 위치를 사용자에게 청각적으로 나타내준다. 예를 들면, 사용자가 문서를 종료할 때 문서 상단에서의 제어는 식별되거나 "발견"되고, 관련된 사운드는 사용자 또는 디스플레이 스크린 원점의 상단 전방 지점으로부터 오는 것으로 나타내지도록 프로젝트된다. 이때, 사용자는 특정한 기능 버튼이 문서에 위치하는 장소를 알게 되고, 선택된 기능 버튼이 디스플레이된 스크린 영역에 나타내어지게 하도록 사용자가 스크린의 중간에서 상향 스크롤할 필요가 있음을 알게 된다.

또 다른 예에서, "Mark Origin" 버튼(831)은 긴 문서에서 사용자의 현재 위치를 사용자의 원점으로 마크하기 위해 선택된다. 이어서, 사용자는 문서를 통해 네비게이트할 수 있고, 사용자가 마크된 사용자의 원점에 대해 문서에서 어디에 있는지를 알게 하도록 오디오 글로 또는 호출음이나 다른 배경 사운드가 발생된다. 3D 강화에서, "글로 (glow)"는 깊이에 대해, 즉 "Z" 축을 따라 들리게 되므로, 사용자가 마크된 원점으로부터 멀리 있을 때, 글로 위치 사운드는 멀리서 들리게 되고, 사용자가 마크된 원점으로 스크롤됨에 따라, 글로는 디스플레이 스크린이나 사용자의 머리로 더 가깝게 다가오는 것과 같이 들려, 디스플레이 스크린 특성의 3D 표시를 제공하게 된다. 문서에서 마크된 시작점이 단지 두세 페이지 떨어져 있으면, 선택된 사운드는 컴퓨터 스테이션에 가까운 것과 같이 들리도록 컴퓨터에 의해 프로젝트된다. "Mark Origin" 기능은 그 기능을 사용한 이후에 사용자가 선택 메뉴로 복귀하여 "Mark Origin" 기능을 "off" 상태로 토글 (toggle)시키도록 하는 토글 스위치로 실시될 수 있다.

이어서, 사용자는 원하는 경우 새로운 원점을 마크하도록 새로운 위치로 이동될 수 있다. 또 다른 예시적인 실시에서, 하이퍼텍스트 스크린 영역의 사운드는 3D 프로젝션으로 하이퍼텍스트 사운드, 즉 커서가 하이퍼텍스트 스크린 영역을 지날 때 발생되는 사운드가 멀리 있는 영역에서 발생되는 것으로 나타내지게 하여, 하이퍼텍스트 활성화가 사용자를 먼 사이트 또는 위치로 데려왔음을 나타내게 된다.

여기서 설명된 사운드 프로젝션 또는 오디오 강화를 실시하는 모범적인 방법은 도 4에서 설명된다. 도시된 바와 같이, 처리가 시작될 때(401), 3D 오디오 옵션이 선택되었나를 결정하도록 점검이 이루어진다(402). 선택되었으면, 배경 청각 글로 (aural glow)가 on 상태로 된다(403). 커서 이동이 있을 때마다(404), 커서 위치가 결정되고(405), 어느 객체가 커서 위치(407)에 있는가를 결정한다(407). 프로그램이 종결되어(413) 프로그램이 끝날 때까지(415) 디스플레이 스크린에서 커서가 움직임에 따라 대응하는 사운드가 발생된다(411).

또 다른 모범적인 "Find" 또는 "Identify" 동작 시퀀스는 도 5에서 설명된다. 도시된 바와 같이, 처리가 초기화되어 "Find" 명령이 선택될 때(503), 선택된 제어 종류가 결정되고(505), 특정한 제어에 대해 스크린 영역이 주사된다. 발견된 각 제어 종류에 대해(509), 제어 종류의 관련된 특성이 결정되고(511) (예를 들면, 전체적인 문서의 문단에서 제어 종류의 위치), 사용자 공간, 즉 사용자를 둘러싼 3D 공간에서 "발견"된 제어에 대응하는 문서 문단내의 지점으로 번역된다(513). 다음에는 사용자 공간, 즉 컴퓨터 시스템 주위의 공간에서 번역된 지점으로부터 들려오는 것으로 감지되는 사운드가 컴퓨터로부터 프로젝트된다(515). 스크린 주사가 완료되고(517) 발견된 영상이 모두 3D 공간으로 주어진 이후에는 처리가 종료된다(519). 사용자는 선택된 디스플레이 영상 종류에 대응하는 사운드 속도를 조정하도록 선택 스크린 서브메뉴 (도시되지 않은)에 입력을 제공할 수 있다. 사용자는 또한 "Find" 기능에 관련된 다른 변수를 입력할 수 있다. 예를 들면, 사용자는 선택된 스크린 영상 컨테이너 종류에 대해 스크린 주사를 반복하는 회수를 입력할 수 있다. 도 8에 도시된 선택은 모두 각각이 다른 선택 사운드를 갖는 모든 영상이나 컨테이너 종류가 탐색될 수 있도록, 또는 선택된 하나의 특정 컨테이너나 영상 종류만이 대응하여 연관된 사운드로 탐색될 수 있도록 "Find" 기능에서도 또한 사용될 수 있다.

본 발명의 방법 및 장치는 여기서 설명된 바와 같이 바람직한 실시예와 연관되어 설명되었다. 설명된 방법은 여기서 설명된 바와 같이 원하는 결과를 달성하도록 넓은 범위의 시퀀스, 메뉴, 및 스크린 설계로 실시될 수 있다. 비록 본 발명의 실시예가 특정한 변형으로 여기서 상세히 도시되고 설명되었지만, 본 발명의 지시를 포함하는 다른 많은 변형 실시예가 종래 기술에 숙련된 자에 의해 용이하게 구성될 수 있고, 이는 또한 프로세서나 CPU 또는 다른 더 큰 시스템의 집적 회로나 칩에 포함되거나 집적될 수 있다. 설명된 방법은 또한 디스크나 디스켓 (휴대용이나 고정된), 또는 다른 메모리 디바이스에 저장된 프로그램 코드 단독으로 실행되어 여기서 설명된 바와 같은 유익한 결과를 달성하도록 실행될 수 있다. 따라서, 본 발명은 여기서 설명된 특정한 형태로 제한되도록 의도되지 않고, 반대로 이러한 변형, 수정, 및 그와 동등한 것을 본 발명의 의도 및 범위내에 합리적으로 포함하도록 의도된다.

Claims

컴퓨터 시스템의 디스플레이 스크린상에 디스플레이되는 영상과 관련하여 오디오 효과를 제시하는 방법에 있어서,

상기 디스플레이 스크린상에 상기 디스플레이된 영상에 관련된 다수의 사용자 선택을 제공하는 단계;

상기 사용자에 의해 이루어진 선택을 실행하여 선택된 사운드를 대응하는 선택된 디스플레이 영상과 연관시키는 단계;

상기 디스플레이 스크린에서 스크린 위치 지시자의 지시자 위치를 결정하는 단계;

상기 지시자 위치에 디스플레이된 영상의 존재를 검출하는 단계; 및

상기 컴퓨터 시스템으로부터 사운드를 프로젝트 (project)하는 단계 - 상기 사운드는 상기 디스플레이된 영상에 관련되고, 상기 사운드는 상기 컴퓨터 시스템으로부터 공간적으로 변위된 방사 지점으로부터 방사하는 것으로 인지될 수 있도록 상기 컴퓨터 시스템으로부터 떨어진 지점에 프로젝트됨 -

를 포함하는 방법.
제1항에 있어서,

상기 방사 지점의 위치는 상기 디스플레이된 영상의 선정된 특성에 관련되는 방법.
제2항에 있어서,

상기 선정된 특성은 상기 디스플레이 스크린상에 디스플레이된 영상의 상대적인 위치인 방법.
제1항에 있어서,

상기 사운드는 상기 컴퓨터 시스템으로부터 3차원적으로 변위된 방사 지점에 프로젝트되는 방법.
제1항에 있어서,

다수의 상기 디스플레이된 영상의 존재가 검출되는 방법.
제5항에 있어서,

상기 다수의 디스플레이된 영상은 상기 디스플레이 스크린상의 다수의 위치에 위치하는 방법.
제5항에 있어서,

상기 다수의 디스플레이된 영상은 상기 디스플레이 스크린상에서 적어도 부분적으로는 상호 중첩하는 적어도 2개의 디스플레이된 영상을 포함하는 방법.
삭제
제1항에 있어서,

상기 사용자 선택은 상기 사운드의 프로젝팅을 실행하는 선택을 포함하는 방법.
제1항에 있어서,

상기 사용자 선택은 특정한 종류의 디스플레이된 영상의 선택을 포함하고, 상기 특정한 종류는 연관된 선택가능한 특정 사운드에 관련되는 방법.
제10항에 있어서,

상기 특정한 종류의 디스플레이된 영상은 텍스트(text)의 디스플레이를 포함하는 방법.
제10항에 있어서,

상기 특정한 종류의 디스플레이된 영상은 하이퍼텍스트 링크(hypertext link)의 디스플레이를 포함하는 방법.
제10항에 있어서,

상기 특정한 종류의 디스플레이된 영상은 스크롤 바(scroll bar) 기능 표시의 디스플레이를 포함하는 방법.
제10항에 있어서,

상기 특정한 종류의 디스플레이된 영상은 디스플레이 컨테이너(container)를 포함하는 방법.
제14항에 있어서,

상기 디스플레이 컨테이너는 윈도우 표현(window presentation)을 포함하는 방법.
제10항에 있어서,

상기 특정한 종류의 디스플레이된 영상은 메뉴 기능 표시의 디스플레이를 포함하는 방법.
제10항에 있어서,

상기 특정한 종류의 디스플레이된 영상은 그래픽 영상의 디스플레이를 포함하는 방법.
제17항에 있어서,

상기 그래픽 영상은 실행가능한 기능을 나타내는 방법.
기계 판독가능한 코드화 표시를 포함하는 저장 매체 - 상기 저장 매체는 판독 디바이스에 선택적으로 연결되고, 상기 판독 디바이스는 컴퓨터 시스템내의 처리 회로에 선택적으로 연결되어, 상기 기계 판독가능한 코드화 표시를 판독하고 이를 나타내는 프로그램 신호를 제공하도록 선택적으로 동작가능하고, 상기 프로그램 신호는 상기 컴퓨터 시스템의 디스플레이 스크린 상에 디스플레이되는 영상과 연관되어 오디오 효과를 제시하는데 유효함 - 에 있어서,

상기 프로그램 신호는

상기 디스플레이 스크린상에 상기 디스플레이된 영상에 관련된 다수의 사용자 선택을 제공하는 단계;

상기 사용자에 의해 이루어진 선택을 실행하여 선택된 사운드를 대응하는 선택된 디스플레이 영상과 연관시키는 단계;

상기 디스플레이 스크린에서 스크린 위치 지시자의 지시자 위치를 결정하는 단계;

상기 지시자 위치에서 디스플레이된 영상의 존재를 검출하는 단계; 및

상기 컴퓨터 시스템으로부터 사운드를 프로젝트하는 단계- 상기 사운드는 상기 디스플레이된 영상에 관련되고, 상기 사운드는 상기 컴퓨터 시스템으로부터 공간적으로 변위된 방사 지점으로부터 방사하는 것으로 인지될 수 있도록 상기 컴퓨터 시스템으로부터 떨어진 지점에 프로젝트됨-

를 선택적으로 실행하는 저장 매체.
컴퓨터 시스템에 있어서,

시스템 버스;

상기 시스템 버스에 접속된 사운드 생성 서브시스템;

상기 시스템 버스에 접속된 프로세서 디바이스;

상기 시스템 버스에 접속된 메모리; 및

디스플레이 스크린을 구비한 디스플레이 장치

를 포함하되,

상기 디스플레이 장치는 상기 시스템 버스에 접속되고,

상기 프로세서 디바이스는 상기 사운드 생성 서브시스템이 상기 컴퓨터 시스템의 디스플레이 스크린 상에 디스플레이되는 영상과 연관되어 오디오 효과를 제공하게 하도록 상기 메모리로부터 수신된 프로그램 신호에 응답하고,

상기 프로그램 신호는,

상기 디스플레이 스크린상에 상기 디스플레이된 영상에 관련된 다수의 사용자 선택을 제공하는 단계;

상기 사용자에 의해 이루어진 선택을 실행하여 선택된 사운드를 대응하는 선택된 디스플레이 영상과 연관시키는 단계;

상기 디스플레이 스크린에서 스크린 위치 지시자의 지시자 위치를 결정하는 단계;

상기 지시자 위치에서 디스플레이된 영상의 존재를 검출하는 단계; 및

상기 컴퓨터 시스템으로부터 사운드를 프로젝트하는 단계로서, 상기 사운드가 상기 디스플레이된 영상에 관련되고, 상기 사운드는 상기 컴퓨터 시스템으로부터 공간적으로 변위된 방사 지점으로부터 방사하는 것으로 인지될 수 있도록 상기 컴퓨터 시스템으로부터 떨어진 지점에 프로젝트되는 단계

를 선택적으로 실행하는 컴퓨터 시스템.
컴퓨터 시스템의 디스플레이 스크린과 관련하여 오디오 효과를 제공하는 방법에 있어서,

디스플레이된 사운드 타입 및 영상 타입 리스트에서 사용자가 선택을 수행할 수 있게 하는 단계 - 상기 선택은 선택된 사운드 타입과 이에 대응하는 선택된 영상 타입을 관련시키는데 있어 유효함 - ;

디스플레이된 영상에 대한 디스플레이 스크린 위치 및 영상 타입을 결정하는 단계; 및

상기 컴퓨터 시스템으로부터 사운드를 프로젝트하는 단계 - 상기 사운드는 상기 디스플레이된 영상 타입에 대응하고, 상기 사운드는 상기 컴퓨터 시스템으로부터 공간적으로 변위된 방사 지점으로부터 방사하는 것으로 인지될 수 있도록 프로젝트됨 -

를 포함하는 방법.