KR20120027228A - 오디오 시스템을 위한 공간적 사용자 인터페이스 - Google Patents

Abstract

본 발명은 어플리케이션, 시스템 또는 디바이스를 위한 공간적 사용자 인터페이스를 생성하는 시스템, 장치 및 방법이다. 사용자 인터페이스는 오디오 신호로서 사용자 인터페이스 기능들 또는 커맨드들을 표현하는 수단을 포함하고, 이 오디오 신호는 그 기능 또는 커맨드에 의존하여 공간적으로 다른 위치에서 사용자에 의해 감지된다. 사용자는 제공된 사용자 입력 디바이스를 통해 기능 또는 커맨드를 선택하거나, 오디오 신호의 공간적 표현들을 내비게이트할 수 있다.

Description

오디오 시스템을 위한 공간적 사용자 인터페이스{SPATIAL USER INTERFACE FOR AUDIO SYSTEM}

본 출원은 2009년 4월 9일에 출원된 미국 가특허 출원 번호 61/168,165호(변호사 관리번호 02674-002100US)에 대한 우선권 및 이익을 주장하며, 모든 개시는 모든 목적에서 참조로서 본 명세서에 포함된다.

본 발명은 전자 디바이스용 사용자 인터페이스에 관한 것이고, 더 구체적으로는 사용자 인터페이스 기능 또는 커맨드(command)를, 그 기능 또는 커맨드에 상응하며 특정 공간적 위치에 있는 사용자에 의해 인지되는 오디오 신호와 연계시키는 것에 기초하는, 오디오 시스템 또는 서브-시스템을 위한 사용자 인터페이스를 제공하는 장치 및 방법에 관한 것이다.

사용자는 때때로 인간-기계(man-machine) 인터페이스들로 언급되는 사용자 인터페이스들을 통하여 다양한 디바이스들 및 어플리케이션들과 상호작용할 수 있다. 그러한 인터페이스들은 사용자 입력들을, 디바이스 상에서 인터페이스나 디스플레이를 생성하도록 어플리케이션에 의해 실행되는 커맨드들 또는 명령들로 변환하는데 이용될 수 있다. 또한 사용자 인터페이스들은 사용자 입력들을, 어플리케이션이 특정 업무, 프로세스, 동작 또는 기능을 수행하도록 야기하는 커맨드들 또는 명령들로 변환하는데 이용될 수 있다. 사용자 인터페이스들은 하나 이상의 데이터 입력 모드들을 가진 다양한 형태들을 취할 수 있고, 그러한 데이터 입력 모드들은 터치스크린, 키패드 입력, 또는 음성 입력(예컨대, 보이스 커맨드)을 포함한다.

다수 시스템들 또는 디바이스들은 사용자가 그 시스템 또는 디바이스의 기능들을 이해하고 제어하기 위한 메카니즘들을 제공한다. 예를 들어, 컴퓨터 시스템들은 스크린, 키보드, 마우스(또는 그들의 기능적 등가물)를 제공하고, 이들을 통해, 사용자는 입력들을 제공하고, 그 시스템을 사용자가 제어할 수 있도록 하는 부분으로서의 피드백을 수신할 수 있다. 하지만 일부 시스템들 또는 디바이스들은 그들의 능력이 제한되어, 시스템 또는 디바이스의 일반적 동작들에 대하여 사용자가 요구할 수 있는 사용자 인터페이스 기능의 정도를 제공할 수 없다. 예를 들어, 모바일 전화기는 일반적으로 마우스를 갖지 않고, 대다수는 풀 키보드(full keyboard)도 갖지 않는다. 모바일 전화기의 경우에는, 작은 스크린, 숫자 키패드 및 일반적으로 적은 수의 기능 버튼들이 제공된다. 일부 시스템들은 그들의 인터페이스 기능이 더 많이 제한될 수 있고, 스크린 또는 데이터 입력을 위한 임의의 형태의 키보드 또는 키패드를 제공하지 않을 수 있다. 상대적으로 제한된 인터페이스를 가진 시스템의 일 예는 모바일 전화기와 협력하여 무선 오디오 리셉션 및 오디오 입력 디바이스로서 종종 사용될 수 있는 오디오 헤드셋이다. 일반적으로, 그러한 헤드셋들은 스크린을 제공하지 않고, 사용자 입력(또는 다른 데이터 또는 커맨드 입력 모드들)을 위해 2개 또는 3개의 버튼들만을 제공한다. 이러한 디바이스들의 이점은 운전 중일 때와 같이 다른 업무들로부터 그 사용자가 상당히 주의가 흐트러지지 않고 이용될 수 있고, 더 향상된 사용자 인터페이스 특징들을 포함하는 유사한 디바이스들보다 더 긴 배터리 수명을 갖고 저가로 생산될 수 있다는 점이다.

사용자의 시선을 요구하지 않고, 또는 스크린 상에 표시된 정보를 읽을 것을 사용자에게 요구하지 않고 효율적으로 동작될 수 있는 디바이스들은, 다른 활동에 관여하고 있는 사용자, 또는 다른 객체 또는 이벤트에 그들의 시선을 집중하기 위하여 자유롭길 원하는 사용자에게 이점을 제공할 수 있다. 또한 사용자가 다른 업무들로부터 주의를 흐트러뜨리지 않고 동작시킬 수 있는 상대적으로 간단한 입력 메카니즘을 디바이스가 갖는다면 장점이다. 그러한 디바이스들은 일반적으로 운전 중 동작시키기에 더 안전할 수 있고, 길을 걸을 때 더 빨리 동작시킬 수 있고, 일반적으로 생산하기에 더 저렴하다.

그러나 이러한 형태의 사용자 인터페이스 시스템들의 문제점은 디바이스들 또는 그 디바이스들의 기능과 친숙하지 않은 사용자들이 그들을 동작시키는 것은 어려울 수 있다는 점이다. 예를 들어, 일반적으로 오디오 헤드셋은 그 디바이스를 사용하는 법을 설명하기 위한 사용자 매뉴얼을 필요로 한다(반면, 스크린을 가진 디바이스는 사용자가 그러한 매뉴얼 없이 그 디바이스를 동작시킬 수 있도록 충분한 정보를 표시할 수 있다). 일부 디바이스들은 자신이 취하길 원하는 행동들, 또는 특정 입력에 따르거나 소정 이벤트에 기초하여 수행될 수 있는 동작들을 사용자에게 제안하기 위하여 오디오 프롬프트들(audio prompts)을 사용한다. 일부 경우들에 있어서, 이것은 디바이스의 사용성을 향상시킬 수 있지만, 옵션들의 범위가 합리적으로 고정되고, 그 옵션들이 사용자가 이해할 수 있도록 합리적으로 간단할 때에만 효율적이다.

소망되는 것은 시스템에서 사용하기 적합한 사용자 인터페이스를 생산하는 장치 및 방법이며, 이 인터페이스는, 스크린 디스플레이 성능이 없거나 제한적이고, 및/또는 데이터 입력 성능이 제한된 시스템의 경우에, 사용자에게 오디오 신호를 제공할 수 있다. 사용자가 상당한 트레이닝 없이, 또한 시스템을 동작시키면서 동시에 수행할 수 있는 다른 업무들로부터 상당히 주의를 흐트러뜨리지 않고, 상대적으로 복잡한 시스템을 제어할 수 있도록 하는 사용자 인터페이스가 또한 소망된다. 본 발명의 실시예들은 이러한 문제점들 및 다른 문제점들을 개별적으로 및 총괄하여 해결한다.

본 발명의 실시예들은 예를 들어, 모바일 전화기 또는 모바일 전화기나 다른 디바이스와 상호작용하는데 사용되는 오디오 헤드셋과 같이, 전자 디바이스 또는 소프트웨어 어플리케이션을 위한 사용자 인터페이스를 제공하는 시스템, 장치, 및 방법에 관한 것이다.

본 발명의 사용자 인터페이스는 오디오 신호로서 사용자 인터페이스(및 디바이스) 기능들 또는 커맨드들을 표현하는 수단을 포함하고, 이 오디오 신호들은 사용자에 대한 공간적 위치에서 사용자에 의해 감지되고, 이 공간적 위치는 그 기능 또는 커맨드에 의존할 수 있다. 일부 실시예에서, 기능 또는 커맨드에 상응하는 오디오 신호 또는 프롬프트(또는 사용된 오디오 신호 또는 프롬프트 타입)의 공간적 위치는, 사용자가 더 쉽게 이해하고 더 효율적으로 사용할 수 있도록 설계된 방식으로 사용자 인터페이스를 만드는 규칙들, 경험들(heuristic) 또는 원칙들에 따라 결정될 수 있다. 그러므로 일부 실시예에서, 오디오 신호 또는 컨텐츠(예컨대, 음악, 보이스 프롬프트, 다른 오디오의 재생) 또는 오디오 신호 또는 컨텐츠의 감지된 위치 중 하나 또는 둘 모두는 사용자 인터페이스 요소의 동작, 사용자 인터페이스 요소의 중요성, 또는 사용자 인터페이스 요소 또는 디바이스의 다른 측면을 사용자에게 제안하도록 설계될 수 있다.

일부 구현에 있어서, 본 발명의 인터페이스는 오디오 신호들 또는 프롬프트들을 사용자 인터페이스 기능들 또는 커맨드들과 연계시킴으로써 생성되고, 이들 신호들 또는 프롬프트들은 사용자에 의해 공간적 배열에서 감지되도록 야기된다. 사용자에 대한 특정 위치(예컨대, 뒤, 앞, 왼쪽, 오른쪽, 윗사분면, 아래사분면 등)로부터 발생하는 것으로서 사운드를 감지하는 사용자 능력은, 특정 사용자 인터페이스 기능 또는 커맨드를 소정의 방향 또는 위치로부터 발생하는 것으로 감지된 사운드에 연계시킴으로써, 본 발명의 사용자 인터페이스 또는 컨트롤 계획을 위한 하나의 기초로서 사용된다. 감지된 방향 또는 위치들을 충분히 구별함으로써, 및 소망되는 경우 사운드들의 다른 특징들(볼륨, 반복, 피치의 변화 등)을 바꿈으로써, 시각적 디스플레이를 요구하지 않거나 또는 시각적 디스플레이 요구들을 단순화하는 방식으로, 다수의 사용자 인터페이스 컨트롤들 또는 커맨드들이 사용자에게 제공될 수 있다. 더 나아가, 상기한 것처럼, 사용된 오디오 신호들 또는 프롬프트들의 형태, 그러한 신호들 또는 프롬프트들의 배열, 또는 둘 모두는 하나 이상의 사용 편의를 사용자에게 제공하고, 사용자의 기대 또는 행동들에 순응하여, 사용자가 신호 또는 프롬프트를 인지할 가능성을 증가시키고, 사용자가 신호 또는 프롬프트의 의미를 이해할 가능성을 증가시키는 등을 위해 선택될 수 있다.

후술하는 것처럼, 일부 실시예에 있어서 본 발명은 시스템, 장치, 또는 디바이스를 위한 사용자 인터페이스 요소들의 공간적 모델 및 그 모델을 생성하는 방법을 포함한다. 공간적 모델은 사용자 인터페이스 요소 각각을(예컨대, 어플리케이션의 기능 또는 커맨드) 공간적 위치에 매핑하는 규칙들, 경험들 또는 기준들의 집합으로부터 생성될 수 있다. 오디오 신호는 사용자 인터페이스 요소 각각에 연계되어, 사용자 인터페이스 요소 및 사용자에 의해 감지된 공간적 위치 둘 모두와 연계되는 특정 사운드 또는 일련의 사운드가 될 수 있다. 컨트롤 또는 선택 디바이스가 제공되고, 사용자는 이 컨트롤 또는 선택 디바이스를 통해 사용자 인터페이스 요소를 선택 또는 활성화하고, 및 그 요소와 연계된 기능, 커맨드 또는 동작을 활성화시킬 수 있다. 일부 실시예에 있어서, 컨트롤 또는 선택 디바이스는 사용자 인터페이스의 요소 또는 요소들에 상응하는 오디오 신호의 감지된 위치를 변경함으로써 요소들의 표시를 수정하는데 이용될 수 있다. 그러므로 사용자는 사용자에게 더 바람직한(사용 편의, 사운드들의 위치에 대한 사용자 인식, 오디오 신호 또는 프롬프트에 의해 표현된 기능에 대한 사용자 이해 등의 관점에서) 배열에 상응하도록 만들기 위해 오디오 신호들 또는 프롬프트들의 공간적 배열을 수정할 수 있다.

일부 실시예에 있어서, 본 발명은 후술하는 요소들, 기능들, 또는 능력들을 포함할 수 있다.

?하나 이상의 사용자 인터페이스 요소들이 사용자의 감지된 오디오 공간에 있는 하나 이상의 공간적 위치들에 연관되는 개념적 공간적 모델을 생성하고 유지하기 위한 요소, 기능 또는 능력;

?공간적으로 분리된 오디오 신호 또는 신호들로서 사용자 인터페이스 요소 각각을 표현하고, 그로 인해 사용자가 그러한 신호 또는 신호들을 사용자 인터페이스 요소들 또는 그 사용자 인터페이스 요소의 기능과 연계시킬 수 있는 요소, 기능 또는 능력;

?사용자 인터페이스 요소를 선택하거나 다른 방식으로 활성화시키고, 또는 공간적 모델에 의해 표시되는 오디오 신호 또는 신호들의 배열을 수정하는 사용자로부터 입력 신호를 수신하는 요소, 기능 또는 능력.

본 발명의 실시예는 시스템, 장치, 사용자 인터페이스, 디바이스 또는 방법을 포함한 다양한 방식들로 구현될 수 있다. 본 발명은 프로그램된 컴퓨터 하드웨어 또는 로직 게이트들에 의해 실행되는 방법으로서, 컴퓨터 판독가능 매체에 담긴 실행 가능한 명령들의 집합으로서, 또는 다른 적절한 형식 중 아날로그 회로의 형태로서 구현될 수 있다.

일 구현에 있어서, 본 발명은 사용자 인터페이스를 생성하기 위한 시스템에 관한 것이고, 그 시스템은 사용자 인터페이스 요소와 연계된 입력 데이터를 수신하고, 사용자가 상기 사용자 인터페이스 요소에 상응하는 오디오 신호를 감지할 공간적 위치를 정의하는 출력 데이터를 생성하도록 동작하는 공간적 모델 생성기; 입력으로서 오디오 입력을 수신하고, 출력으로서 상기 오디오 신호를 생성하도록 동작하는 공간적 오디오 효과 프로세서로서, 상기 오디오 신호는 상기 공간적 위치에서 상기 사용자에 의해 감지되는 상기 처리된 오디오 입력을 나타내는 상기 공간적 오디오 효과 프로세서; 및 상기 오디오 신호를 선택하거나, 상기 사용자에 의해 감지되는 상기 오디오 신호의 공간적 배열을 변형하도록 동작하는 사용자 입력 디바이스를 포함한다.

다른 실시예에 있어서, 본 발명은 사용자 인터페이스에 관한 것이고, 사용자 인터페이스는 각각의 오디오 신호가 공간적으로 구별되는 위치에서 사용자에 의해 감지되고, 상기 시스템, 디바이스 또는 어플리케이션의 기능 또는 동작과 연계되는 복수의 오디오 신호; 상기 복수의 오디오 신호 중 하나를 선택하거나, 상기 사용자에 의해 감지되는 상기 오디오 신호들의 공간적 배열을 변경하도록 동작하는 사용자 입력 디바이스; 및 상기 사용자 입력 디바이스로부터 신호를 수신하고, 응답으로서 상기 시스템, 디바이스 또는 어플리케이션의 기능 또는 동작을 활성화하거나, 상기 사용자에 의해 감지되는 상기 오디오 신호들의 공간적 배열을 변경하도록 동작하는 제어기를 포함한다.

또 다른 실시예에서, 본 발명은 사용자 인터페이스를 생성하는 방법에 관한 것이고, 이 방법은 사용자 인터페이스 요소에 관한 정보를 액세스하는 단계; 상기 액세스된 정보에 기초하여 상기 사용자 인터페이스 요소에 대한 공간적 모델을 생성하는 단계로서, 상기 공간적 모델은 사용자의 감지된 오디오 공간에 있는 포지션에 대한 상기 사용자 인터페이스 요소의 매핑을 표시하는 상기 생성하는 단계; 및 오디오 신호를 상기 사용자의 감지된 오디오 공간에 있는 포지션과 연계시키는 단계를 포함한다.

본 발명의 다른 목적 및 이점들은 본 발명의 상세한 설명 및 포함된 도면을 검토함으로써 당업자에게 명백할 것이다.

도 1은 본 발명의 예시적 실시의 기본적인 기능적 요소들을 나타내는 블록도이다.
도 2(a)는 본 발명이 사용자 인터페이스를 제공하고 있는 어플리케이션, 시스템 또는 디바이스의 요소들에 도 1에 도시된 기본적인 기능적 요소들이 어떻게 연결되고 상호작용하는지를 나타내는 블록도이다.
도 2(b)는 본 발명의 일부 실시에 따라, 공간적 사용자 인터페이스를 생성하고, 사용자와 상호작용하는 방법 또는 프로세스를 나타내는 플로우차트이다.
도 3은 본 발명의 일부 실시에 따라, 예시적인 공간적 모델 및 그 모델에 있는 예시적 사용자 인터페이스 요소들의 배치를 나타낸다.
도 4는 오디오 시스템으로의 출력이 스테레오 헤드셋 또는 스피커 시스템에서 사용하기 위해 왼쪽 채널 및 오른쪽 채널인 2개의 스트림을 포함하는 경우, 도 3을 참조하여 설명한 예시적인 오디오 사용자 인터페이스 요소들 및 예시적 공간적 모델에 적용되는 공간적 효과 오디오 프로세서의 기능 예를 도시한다.
도 5는 본 발명의 일부 실시에 따라, 사용자가 공간적 모델 및 사용자 인터페이스 요소들과 상호작용할 수 있도록 하는 예시적 입력 디바이스를 도시한 다이어그램이다.
도 6은 사용자가 도 5의 내비게이션 입력 디바이스 상에 있는 왼쪽 버튼을 누른 후, 도 3에 도시된 공간적 모델을 도시한다.
도 7은 사용자가 도 5의 내비게이션 입력 디바이스 상에 있는 "위(Up)" 버튼을 누른 후, 도 6에 도시된 공간적 모델을 도시한다.
도 8은 손가락 또는 엄지로 동작될 수 있는 추가적인 입력 디바이스들을 도시하며, 이 디바이스들은 본 발명의 일부 실시에 따라 도 5에 도시된 입력 디바이스들과 유사한 방법으로 이용될 수 있다.
도 9는 본 발명의 일부 실시에 따라, 사용자 손의 움직임을 공간적 모델의 변화들에 맵핑하기 위해 가속도계들을 이용하는 입력 디바이스를 도시한다.
도 10은 본 발명의 일부 실시에서 이용될 수 있는 다른 입력 디바이스를 도시하며, 이 입력 디바이스는 사용자 머리의 각 측면에 부착된 가속도계들을 포함한다.
도 11은 터치 센서가 도 10의 입력 디바이스의 요소들에 추가되는 사용자 입력 디바이스를 도시한다.

본 발명의 실시예들은 어플리케이션, 시스템, 장치, 또는 디바이스를 위한 사용자 인터페이스(UI; User Interface)에 관한 것이다. UI는 오디오 신호들(톤, 음악 클립, 보이스 프롬프트, 사운드 효과, 전화 호출등)의 집합으로서 사용자에게 표현되고, 오디오 신호 각각은 어플리케이션, 시스템, 장치, 또는 디바이스의 사용자 선택가능 기능 또는 동작에 상응한다. 오디오 신호들은 사용자의 오디오 공간에서 사용자에 의해 감지되고, 사용자의 머리 또는 몸(위, 아래, 왼쪽, 오른쪽, 앞, 뒤 등)과 관련된 공간에 분배된다. 일부 구현들에 있어서, 다른 오디오 속성들 또는 효과들은 그 공간에 있는 상이한 영역들 또는 위치들과 연계될 수 있다(예를 들어, 사용자 앞에서 감지되는 오디오 신호 또는 프롬프트에 대한 에코 효과, 사용자의 좌측에서 감지되는 오디오 신호 또는 프롬프트에 대한 볼륨 증가 효과 등). 공간에서의 오디오 신호 또는 프롬프트의 분배는, 사람의 청력이 오디오를 "위치"와 연계시키도록 하기 위한 프로세싱 오디오 신호들의 기술들을 통해 성취될 수 있고, 각각의 오디오 신호는 그 사람과 관련된 특정 위치로부터, 또는 특정 속성들 또는 효과들을 가진 위치로부터 발생하는 신호의 사운드인 것처럼 처리되고, 사용자에게 표현될 수 있다. 공간의 분배는 공간적 UI 매핑(mapping)에 의해 결정되고, 이 매핑은 그 UI의 이용 극대화(예컨대, UI 또는 UI에 의해 조성된 기능들 또는 동작들을 사용자가 발견하거나 가장 효율적으로 이용할 가능성을 향상시킴)를 추구하는 규칙들, 발견적 학습 등에 따라 결정될 수 있다. 공간적 UI 매핑은 어플리케이션, 시스템, 장치 또는 디바이스에 의해, 또는 어플리케이션, 시스템, 장치, 또는 디바이스의 UI 요소들 또는 기능들에 관한 데이터를 액세스한 후 공간적 매핑을 만들기 위해 그 정보를 처리하는 서브-루틴에 의해 결정될 수 있다. 일부 실시예에서, 데이터 입력 디바이스가 제공되고, 이 디바이스를 통해 사용자는 공간적 UI의 요소들을 내비게이트하고, 오디오 신호들 중 하나를 선택하여, 어플리케이션, 시스템, 장치, 또는 디바이스의 기능 또는 동작을 활성화할 수 있다. 일부 구현에 있어서, 데이터 입력 디바이스는, 감지된 오디오 공간에서 사용자가 오디오 신호들 또는 프롬프트들의 분배에 직관적으로 관련시킬 수 있는 동작 속성(operational property)을 가질 수 있다. 예를 들어, 입력 디바이스상에서 컨트롤을 왼쪽으로 움직이는 것은 감지된 오디오 공간에서 왼쪽으로의 네비게이션을 허용할 수 있다.

도 1은 본 발명의 예시적 실시의 기본적인 기능적 요소들을 나타내는 블록도이다. 이 예에서, 본 발명은 공간적 모델 관리자(110), 공간적 오디오 효과 프로세서(120), 및 공간적 입력 디코더(130)를 포함한다. 도시된 요소들 각각의 기본적인 기능들이 하나 이상의 로직 게이트들, 컴퓨팅 하드웨어, 펌웨어의 형태로 구현되거나, 또는 적절히 프로그램된 프로세서 또는 컴퓨팅 디바이스에 의해 실행되는 명령들로서 구현될 수 있음에 주의한다.

공간적 모델 관리자(110)는 수많은 사용자 인터페이스 요소들의 공간적 배치 또는 모델에 상응하는 데이터를 유지하고, 후술할 것처럼, 어플리케이션(또는 디바이스 또는 시스템) 요구사항들의 변화 또는 사용자 입력에 응답하여 공간적 배치를 업데이트한다. 공간적 모델 관리자(110)는 추상적 공간(예컨대, 오디오 신호들이 매핑되거나 표현될 수 있는 공간)에서 하나 이상의 사용자 인터페이스 요소들의 사용자-감지 포지션(user perceived position)을 관리하고, 사용자 입력에 응답하여 그러한 공간에 있는 사용자 인터페이스 요소들의 감지된 포지션을 수정하도록 동작한다.

무엇보다도, 공간적 모델 관리자(110)에 의해 실시되는 기능들은 다음을 포함할 수 있다:

? 새로운 사용자 인터페이스 요소를 그 모델에 추가하는 것(및 상응하는 오디오 신호를 사용자의 감지된 오디오 공간에 추가하는 것);

? 사용자의 감지된 오디오 공간으로부터 사용자 인터페이스 요소(및 그 요소에 상응하는 오디오 신호)를 삭제하는 것;

? 사용자 입력에 응답하여 사용자의 감지된 오디오 공간(또는 다른 추상적 공간)에서 사용자 인터페이스 요소들의 일부 또는 전부의 포지션을 업데이트하는 것; 또는

? 사용자의 감지된 오디오 공간에서 사용자 인터페이스 요소들의 배열, 즉 사용자에 의해 감지되는 사용자 인터페이스 요소들에 상응하는 오디오 신호들의 공간적 배열을 결정하는 것.

일부 실시예에서, 디바이스 또는 어플리케이션은 새로운 요소들을 정의하거나 추가하는 것을 허용하는 공간적 모델 관리자(110)에 의해 제공되는 기능을 이용함으로써, 공간적 모델에(및 그 공간적 사용자 인터페이스 전체에) 사용자 인터페이스 요소를 추가할 수 있다. 유사하게, 디바이스 또는 어플리케이션은 사용자 인터페이스 요소에 대한 새로운 또는 추가된 기능을 사용자에게 제공하기 위해, 사용자 인터페이스 요소의 기능 또는 동작을 수정할 수 있다. 예를 들어, 새로운 요소 "추가" 기능은 디바이스 또는 어플리케이션이 그 요소 자체를 제공하도록(오디오 데이터의 소스(source) 또는 싱크(sink)를 제공하고, 그 오디오 데이터의 재생은 그 사용자 인터페이스 요소의 표현을 구성함) 동작할 수 있다. 사용자 인터페이스 요소는 사용자의 감지된 오디오 공간에서 사용자 인터페이스 요소들을 최적으로 또는 가장 효율적으로 배열하기 위해 공간적 모델 관리자(110)를 보조할 수 있는 데이터 또는 특징들과 함께, 또는 없이, 제공될 수 있다. 예를 들어, 사용자 인터페이스 요소는 디폴트 또는 가장 가능성 있는 선택임을 나타내는 특징과 함께 제공될 수 있다. 응답으로, 공간적 모델 관리자(110)는 사용자 인터페이스 요소들의 집합을 배열할 수 있고, 따라서 디폴트 또는 가장 가능성 있는 선택 요소는 일반적으로 유사한 위치에서 사용자에게 표현되거나, 사용자에 의해 예측가능한 또는 예측되는 방식으로 배치된다. 이하 논의되는 것처럼, 사용자 인터페이스 요소를 공간적 모델에 추가하는 것은 결과적으로 공간적 모델 관리자(110)가 그 모델에 있는 다른 요소들의 포지션들을 재평가(re-evaluating)하도록 만들어, 사용자에게 사용자 인터페이스 요소들의 전체 집합을 최적의 또는 바람직한 방식으로 표현한다.

또한 공간적 모델 관리자(110)는 그 공간적 모델로부터 요소를 제거하는 수단(및 사용자에게 사용자 인터페이스 요소의 표현을 멈추는 수단)을 제공할 수 있다. 요소를 추가와 마찬가지로, 하나 이상의 요소들을 제거하는 것은 공간적 모델 관리자(110)가 그 공간적 모델에 있는 다른 사용자 인터페이스 요소들의 포지션을 재평가하도록 만든다.

공간적 모델 관리자(110)는 일반적으로 사용자 입력에 응답하여, 그 공간적 모델에 있는 사용자 인터페이스 요소들의 전부 또는 일부에 적용될 위치(예컨대, 병진 또는 회전) 변형을 위한 메카니즘 또는 프로세스를 제공할 수 있다. 예를 들어, 사용자가 "사용자를 앞으로 이동시킴"의 효과를 갖는 사용자 인터페이스 행동을 수행하였다면, 공간적 모델 관리자(110)는 변형(예컨대, 병진)을 적용할 수 있고, 따라서 사용자 "앞에" 있다고 감지되는 사용자 인터페이스 요소들은 사용자쪽으로 이동하는 한편, "사용자 뒤에" 있는 요소들은 사용자로부터 더 멀리 이동한다.

사용자 인터페이스 요소들이 공간적 모델에 추가되거나 제거되도록 허용하는 것에 더하여, 공간적 모델 관리자(110)의 기능은, 사용자의 감지된 오디오 공간에서 그 사용자 인터페이스 요소들의 위치를 결정하고, 필요 시(예컨대, 사용자 상호작용의 결과, 또는 디바이스 또는 어플리케이션이 사용자 인터페이스 요소들의 가용성 또는 그들의 특징들을 변화시킬 때) 그러한 위치들을 재산출하는 것이다. 이와 관련하여, 본 발명의 실시예들 또는 구현들은 사용자의 감지된 오디오 공간에 있는 사용자 인터페이스 요소들의 포지션을 결정하기 위한 다른 메카니즘들을 이용할 수 있다.

예를 들어, 일 구현으로서, 공간적 모델 관리자(110)는 사용자 인터페이스 요소들을 반원으로 배열할 수 있고, 이 반원에서, 초기에는 사용자가 중심에 있고, 그 사용자 앞 또는 옆으로 있다. 일부 실시에 있어서, 공간적 모델 관리자(110)는 그 요소들이 사용자 인터페이스에 추가된 순서만을 기초로, 그 요소들을 배열할 수 있다. 그러한 예로서, 공간적 모델 관리자(110)는 다음과 같은 위치를 각각의 요소를 제공할 수 있다.

이에 따라서, 요소들이 단위 반원을 따라 균등하게 배치되고, 첫번째 요소가 왼쪽에 마지막 요소가 오른쪽에 있는 분포를 초래된다.

또 다른 예에서, 요소들은 그들이 사용자 인터페이스에 추가되는 순서를 기초로 하지 않지만, 대신에 사용자 인터페이스 요소들의 특성들을 기초로 공간적 모델 관리자(110)이 결정한 순서로 정렬될 수 있다. 예를 들어, 각 요소에 우선권 특징들 또는 지시자가 제공되면, 공간적 모델 관리자(110)는 우선권이 가장 높은 요소가 요소 0, 그 다음으로 높은 요소가 요소 1 등이 되도록 요소들을 정렬하고, 다음과 같이 산출된 위치를 각 요소에 제공할 수 있다:

여기서, p(i)는 i번째 요소의 우선권이다.

또 다른 예로서, 둘 이상의 특징이 제공되거나, 및/또는 다차원 공간이 이용될 수 있다. 예를 들어, 각각의 요소에 긴급성 특징(urgency characteristic) 및 우선권 특징이 제공되면, 포지션은 다음과 같이 결정될 수 있다

여기서, 반원 주변 배열은 상기와 같이 결정되지만, 사용자로부터의 거리(예컨대, 반지름)는 긴급성이 낮은 사용자 인터페이스 요소일수록, 사용자로부터 방사상으로 더 멀리 배치되도록 결정된다.

일부 구현에 있어서, 공간적 모델 관리자(110)는 예컨대, ARM7 마이크로프로세서와 같은 적절한 마이크로프로세서에서 실행되는 적절한 소프트웨어 코드로서 구현될 수 있음을 주의한다.

공간적 오디오 효과 프로세서(120)는 공간적 모델의 일부로서 사용자에게 표현되는 각각의 사용자 인터페이스 요소에 연계된 오디오 컨텐츠 또는 데이터를 생성, 변경 또는 다른 방식으로 처리하도록 동작한다. 이것은 사용자에 의해 감지되는 오디오 신호 또는 신호들을 공간적으로 구별되도록 만들고, 이러한 오디오 신호 또는 신호들은 공간적 모델 관리자(110)에 따라 정의될 때 사용자 인터페이스 요소들의 공간적 배열을 사용자에게 전달하는데 이용된다.

공간적 오디오 효과 프로세서(120)는 각각의 사용자 인터페이스 요소와 연계된 오디오 스트림, 신호 또는 컨텐츠를 처리하도록 동작하여, 오디오 스트림, 신호, 또는 컨텐츠 각각의 공간적 배열에 대한 사용자의 감지를 생성한다. 공간적 모델 관리자(110)에 의해 유지되는 공간적 모델에 있어서 스트림, 신호, 또는 컨텐츠에 상응하는 사용자 인터페이스 요소의 포지션 또는 위치는 이러한 프로세스 또는 기능을 위한 입력으로서 제공된다.

사용자 인터페이스 요소에 상응하는 각각의 스트림, 신호, 또는 컨텐츠에 있어서, 공간적 오디오 효과 프로세서(120)는 사용자 인터페이스 요소를 위한 오디오 컨텐츠가 완성될 때까지, 오디오 데이터를 수신한다. 예를 들어, 사용자 인터페이스 요소가 오디오 파일(예컨대, .wav 파일 또는 .mp3 파일)인 경우에, 공간적 오디오 효과 프로세서(120)는 그 파일이 완전히 재생될 때까지 합리적으로 일정한 레이트(파일 인코딩 샘플 레이트)로 오디오 데이터를 수신한다.

일 실시 또는 구현에 있어서, 공간적 오디오 효과 프로세서(120)는 각각의 스트림, 신호 또는 컨텐츠에게 스트레오 공간에서의 포지션을 제공할 수 있다. 각각의 입력이 모노럴(monaural)이라면, 공간적 오디오 효과 프로세서(120)는 입력의 두 사본("왼쪽" 및 "오른쪽" 출력으로 불림)을 만들 수 있고, 출력의 "스테레오 밸런스"를 바꿀 수 있다. 그러한 동작에 있어서, 스테레오 밸런스는 총 신호 전력을 동일하게 유지하면서 하나의 신호를 증폭하고, 다른 것을 감쇠함으로써 바꿀 수 있다(그 신호가 신체의 한쪽에서 다른 쪽보다 더 많이 오는 것으로 나타남). 또한 스테레오 밸런스는 몸의 다른 쪽에 비하여 몸의 한쪽에 있는 공간 내 지점으로부터 신호의 수신 사이에 시간차와 동일한 시간차 만큼, 한 신호를 다른 신호에 대하여 지연시킴으로써 바뀔 수 있다(주지된 바와 같이, 두 귀로부터 동일 거리가 아닌 공간 내 지점으로부터 발생하는 신호는, 더 먼쪽의 귀에 도달하는데 약간 더 많은 양을 시간을 취한다).

일부 실시예로서, 공간적 오디오 효과 프로세서(120)의 기능은, 사용자가 지각적으로 인식하는 효과를 그 사용자 주변의 감지된 공간에서 오디오 스트림, 신호 또는 컨텐츠의 외관(apparent) 위치 확립으로서 생산하기 위해서, 예컨대, 증폭, 감쇠, 지연, 등화, 주파수-의존 증폭 또는 감쇠, 반향의 도입 등을 포함하는 오디오 효과들의 일부 조합을 적용하는 것 일 수 있다. 공간적 오디오 효과 프로세서(120)는 공간적 모델 관리자(110)로부터 수신된 오디오 사용자 인터페이스 요소를 위한 바람직한 포지션을 이 프로세스를 위한 입력으로서 이용할 수 있고, 사용자가 바람직한 위치에서 감지하도록 하기 위해, 공간 내 외관상 포지션에서 사용자 인터페이스 요소를 위한 오디오를 배치하도록 필터들의 집합을 적용할 수 있다.

일부 구현에 있어서, 공간적 오디오 효과 프로세서(120)는 칼림바(Kalimba) 디지털 신호 프로세서 또는 ARM7 마이크로 프로세서와 같은 적절한 디지털 신호 프로세서 또는 마이크로프로세서에서 실행되는 적합한 디지털 신호 프로세싱 코드로서 구현되거나, 또는 서로 연결된 아날로그 오디오 신호 프로세싱 필터들의 집합으로서 구현될 수 있다. 예를 들어, 공간적 오디오 효과 프로세서(120)는 프로그래머블 등화 요소(예컨대, 증폭이 적용되는 특정 서브-대역을 선택하는 대역 통과 필터를 각각 가진 다수의 프로그래머블 증폭 요소들)와 함께, 프로그래머블 지연 요소에 연결된 프로그래머블 증폭 요소(예컨대, 프로그래머블 게인을 제공하도록 배열된 연산 증폭기)로서 구현될 수 있다. 또한 공간적 오디오 효과 프로세서(120)에는 연산 요소들 각각을 위한 프로그래밍을 결정할 수 있는 요소들이 마련될 수 있다.

본 발명의 일부 구현들 또는 이용 상황에 있어서, 공간적 모델에 있는 하나 이상의 사용자 인터페이스 요소들을 위한 포지션을, 공간적 오디오 효과 프로세서(120)가 사용자에게 원하는 공간적 지각을 생산하는데 이용할 수 있는 파라메터들로 변환하는 것이 필요하거나 소망될 수 있다. 이러한 구현에 있어서, 공간적 오디오 효과 프로세서(120)의 추가적 기능은 이러한 변환을 수행하고, 공간적 오디오 효과 프로세서 요소들의 파라메터들을 적절히 설정하는 것일 수 있다. 예를 들어, 공간적 모델 관리자(110)가 사용자의 바로 좌측에 위치한 사용자 인터페이스 요소를 정의하고, 공간적 오디오 효과 프로세싱이 오른쪽 귀를 감쇠하고, 왼쪽 귀를 증폭하는 요소에 의해 수행되는 경우, 공간적 오디오 효과 프로세서(120)는 각 귀에 대한 증폭 및 감쇠를 정의하고, 증폭 및 감쇠 요소들을 적절히 프로그램할 수 있다. 오디오 효과 프로세싱 요소들이 디지털 신호 프로세서 내에서 구현되는 경우에, 이러한 기능은 디지털 신호 프로세서 내에서 추가적인 기능으로서 구현될 수 있다. 요소들이 아날로그 오디오 프로세싱 요소들로서 구현되는 경우, 이 기능은 마이크로프로세서(적절한 값을 계산하기 위함), 및 값을 프로그램하기 위한 디지털 또는 아날로그 출력 핀들(예컨대, 아날로그-대-디지털 컨버터)로 구현될 수 있다.

공간적 입력 디코더(130)는 사용자 입력들을 디코드하고, 공간적 모델 관리자(110)에 의해 유지되는 공간적 모델이 정의하는 사용자 인터페이스 요소들의 배치에 대한 입력들의 효과를 결정하는 기능을 한다. 일반적 실시로서, 공간적 입력 디코더(130)는 디바이스 또는 사용자 입력 요소가 제공하는 사용자 입력을 취한다. 사용자 입력이 로커 스위치(rocker switch)에 의해 제공되는("왼쪽", "오른쪽" 및 "앞" 행동들을 제공할 수 있음) 예시적 시스템을 고려해보자. 공간적 입력 디코더(130)는 그 입력으로서 이러한 행동들 중 하나를 수신할 수 있다. 그러한 경우, 공간적 입력 디코더(130)의 기능은 (공간적 모델 관리자(110)와 협력하여) 입력을 이용하여 공간적 모델의 변환을 야기하는 것이다. 예를 들어, "왼쪽" 입력의 수신은 예컨대, 45도 정도의 균일한 왼쪽 회전 적용하여, 공간적 모델 내에서 왼쪽에 있는 사용자 인터페이스 요소들을 앞쪽으로 가져 오고, 앞쪽에 있는 사용자 인터페이스 요소들을 더욱 오른쪽으로 향하게 한다. "앞"을 누르는 것은 그 공간적 모델의 중심을 현재 위치와 비교해서 앞으로 이동하는 변환(즉, 사용자 인터페이스 요소들을 앞으로 더 가까이 가져옴)을 제공할 수 있다. 공간적 모델 관리자(110)와 공간적 오디오 효과 프로세서(120) 사이의 관계에 기초하여, 그러한 행동은 오디오 소스들의 외관 포지션을 사용자 쪽으로 이동시키는 효과도 갖는다.

일부 실시예에서, 공간적 입력 디코더(130)는 예를 들어, ARM7 마이크로 프로세서와 같은 적절한 마이크로프로세서에서 실행되는 적절한 소프트웨어 코드로서 구현될 수 있다. 공간적 입력 디코더(130)는 공간적 모델 관리자(110)와 통신하고, 포지션 정보에 대한 업데이트를 제공하거나, 또는 사용자 인터페이스 요소들의 방향이나 포지션의 변화를 야기하는데 이용될 수 있으며, 그러한 요소들은 공간적 모델 관리자(110)에 의해 유지되는 모델에 따라 디스플레이된다. 공간적 입력 디코더(130)가 공간적 모델 관리자(110)와 동일한 마이크로프로세서상에서 실행되는 소프트웨어 코드로서 구현되는 경우, 공간적 입력 디코더(130)는 적절한 기능을 호출하거나, 메모리의 공유 영역의 컨텐츠를 변경하거나, 또는 다른 적절한 동작에 의해 이러한 업데이트들을 전달할 수 있다. 공간적 입력 디코더(130)가 공간적 모델 관리자(110)와 별개로 구현되는 경우, 이러한 업데이트들은 I2C 인터페이스 또는 다른 적절한 통신 인터페이스를 이용하여 전달될 수 있다.

공간적 모델 관리자(110)는 다양한 사용자 인터페이스 요소들에 상응하는 오디오의 공간적 효과 프로세싱에 영향을 주는 파라메터들을 업데이트하기 위해 공간적 오디오 효과 프로세서(120)와 통신한다. 공간적 모델 관리자(110) 및 공간적 오디오 효과 프로세서(120)가 동일한 마이크로프로세서 내에서 구현되는 경우, 통신은 적절한 기능들을 호출하거나, 메모리의 공유 영역을 업데이트하거나, 또는 다른 적절한 동작들에 의해 실현될 수 있다. 공간적 모델 관리자(110) 및 공간적 오디오 효과 프로세서(120)가 개별 프로세서들상에서 구현되는 경우, 통신은 적절한 데이터 버스를 통해 수행될 수 있다. 공간적 모델 관리자(110)가 마이크로프로세서로서 구현되고, 공간적 오디오 효과 프로세서(120)가 일련의 아날로그 또는 디지털 오디오 신호 프로세싱 요소들로서 구현되는 경우, 통신은 적절한 범용 입력/출력 핀들의 출력들을 설정하는 마이크로프로세서에 의해 실현될 수 있다.

도 2(a)는 도 1에 도시된 기본적인 기능적 요소들이, 본 발명이 사용자 인터페이스에 제공하는 어플리케이션, 시스템, 장치 또는 디바이스의 요소들과 어떻게 연결되고 상호작용할 수 있는지를 나타내는 블록도이다. 도면에 도시된 것처럼, 공간적 오디오 효과 프로세서(120) 및 공간적 모델 관리자(110)는 본 발명이 사용자 인터페이스를 제공하는 어플리케이션 시스템(210)과 연결된다. 어플리케이션 시스템(210)은 예를 들어, 본 발명이 사용자 인터페이스를 제공하는 시스템, 디바이스 또는 어플리케이션의 기본 업무들을 수행하도록 적절한 어플리케이션 소프트웨어 코드를 실행하는 마이크로프로세서를 포함하는 적절한 형태를 취할 수 있다. 예를 들어, 블루투스 헤드셋으로 구현되는 어플리케이션 시스템(210)은 헤드셋을 위한 어플리케이션 코드를 실행하는(라디오 링크들을 확립하고, 호출들을 개시 및 종료하는 등는 것과 같은 작업을 실시함) 마이크로프로세서일 수 있다. 모바일 전화기에서, 어플리케이션 시스템(210)은 모바일 전화기용 운영 체제일 수 있고, 이 운영 체제는 마이크로프로세서 상에서 실행된다. 어플리케이션 시스템(210)은 다수의 가능한 형태들 중 하나 이상을 취할 수 있고, 광범위한 기능들을 제공할 수 있으며, 본 발명의 실시에 사용되도록 하기 위해서, 특정 형태 및/또는 기능이 요구되지 않음을 이해된다.

일부 구현에 있어서, 어플리케이션 시스템(210)은 그 시스템(210)이 수신한 입력 또는 사용자 인터페이스 요소들에 관한 정보를 공간적 모델 관리자(110)에 제공한다. 그러한 정보는 어플리케이션, 시스템, 장치 또는 디바이스의 사용자에게 이용가능한 사용자 인터페이스 요소들의 설명을, 그러한 요소들의 선택에 의해 실행될 수 있는 어플리케이션 시스템(210)의 동작들 또는 기능들에 관한 정보와 함께 포함할 수 있다. 이에 따라서 공간적 모델 관리자(110)는 공간적 모델을 만드는데 이용될 수 있는 사용자 인터페이스 요소들을 알 수 있게 된다(일부 실시예에서, 이것은 사용자 인터페이스 요소들이 추가되거나 삭제되는 것을 허용하는 공간적 모델 관리자(110) 기능들의 사용에 의해 구현될 수 있음). 동작에 있어서, 어플리케이션 시스템(210)은 사용자 상호작용들과 관련하여 공간적 모델 관리자(110)로부터 정보를 수신하고, 그러한 상호작용들은 일반적으로 하나 이상의 입력 디바이스들(220; 예컨대, 버튼들, 스위치들, 키보드들, 포인팅 디바이스들, 터치 표면들 등)에 의해 제공된다.

일반적으로 입력 디바이스들(220)은 사용자에 의한 일부 행동(예컨대, 버튼을 누르거나 터치 스크린을 가로지르는 모션을 제공하는 손가락 움직임, 음성 커맨드, 몸에 의해 생성되는 전기화학적 신호 등)을 입력으로서 수신하고, 사용자 입력 또는 그 사용자의 행동(버튼 누르기, 커맨드 단어 말하기 등)을 표현하는 신호를 출력으로서 전자 시스템에 제공한다. 입력 디바이스들(220)에 대한 사용자 입력들은 공간적 입력 디코더(130)에 의해 처리되고, 원하는 동작 또는 기능의 실행을 위해 공간적 모델 관리자(110)에 제공된다. 어플리케이션 시스템(210) 및 공간적 모델 관리자(110)가 동일한 마이크로프로세서에 의해 실행되는 명령들로서 구현되는 경우, 그러한 두 요소들 간의 통신은 적절한 기능들을 호출하거나, 메모리의 공유 영역들을 업데이트하거나, 또는 다른 적절한 프로세스에 의해 실현될 수 있다. 어플리케이션 시스템(210)이 공간적 모델 관리자(110)와 다른 마이크로프로세서에 의해 실행되는 명령들의 집합으로서 구현되는 경우, 그러한 통신은 예컨대, I2C 버스와 같은 적절한 데이터 버스를 통한 통신에 의해 실현될 수 있다.

공간적 입력 디코더(130)는 예를 들어, 마이크로폰(후술하는 것처럼 마이크로폰이 오디오 시스템(230)의 일부분으로서 대신 제공될 수 있음), 버튼들의 집합, 내비게이션 스위치, 조이스틱, 썸휠, 터치 패드 또는 다른 터치 감지 표면, 가속도계 또는 다른 적절한 입력 시스템 또는 디바이스들뿐만 아니라 상기 것들의 조합과 같은 적절한 입력 디바이스(220)에 연결될 수 있다(즉, 연결되거나 다른 방식으로 통신 및/또는 신호들을 교환 가능함). 입력 디바이스(220)는 어플리케이션 시스템(210)의 일부분으로서 제공될 수 있고, 사용자 인터페이스 요소들을 이용하는 일부분으로서 사용자에 의한 데이터 또는 커맨드의 입력과 관련하여 수행되는 작업 외의 어플리케이션 시스템을 위한 추가 작업들을 수행할 수 있음에 주의한다.

또한 공간적 오디오 효과 프로세서(120)는 사용자에게 오디오를 전달하고, 그 사용자로부터 오디오 입력들을 수신하는 적절한 오디오 시스템(230)에 연결될 수 있다. 오디오 시스템(230)은 그 사용자가 듣는 오디오에 상응하는 전기적 신호들을 입력으로서 수신하고, 그 입력에 상응하는 오디오를 출력으로서 제공한다(또한 반대로, 마이크로폰으로부터 오디오 신호들을 수신하고, 그것들을 그 오디오 신호를 인코드한 전기 신호들로 변환함). 따라서 오디오 시스템(230)은 원하는 오디오 스트림에 상응하는 신호들을 청각 신호들로 처리하고, 역 방향으로 동작하여, 청각 신호들을 전기 신호들로 처리한다. 오디오 시스템(230)은 마이크로폰 및 스피커(또는 헤드폰들), 또는 다른 적절한 시스템에 접속된 코덱(CODEC)을 포함할 수 있다. 공간적 오디오 효과 프로세서(120)는 예를 들어, I2S 또는 다른 오디오 데이터 버스를 통해 오디오 시스템(230)과 통신할 수 있다. 오디오 시스템(230)은 어플리케이션 시스템(210)의 일부분으로 제공될 수 있고, 사용자 인터페이스 기능들을 위해 수행되는 작업들에 추가적으로 어플리케이션 시스템을 위한 작업들을 수행할 수 있음을 주의한다.

또한 공간적 오디오 효과 프로세서(120)는 어플리케이션 시스템(210)에 연결될 수 있고, 사용자 인터페이스 요소들에 상응하는 오디오 신호들 및/또는 데이터를 어플리케이션 시스템(210)과 송수신하도록 기능할 수 있다. 공간적 오디오 효과 프로세서(120)가 어플리케이션 시스템(210)과 동일한 마이크로프로세서에 의해 실행되는 명령들의 집합으로 구현되는 경우, 그러한 통신은 적절한 기능들을 호출하거나, 메모리의 공유 영역들을 업데이트하거나, 또는 다른 적절한 프로세스에 의해 실현될 수 있다. 공간적 오디오 효과 프로세서(120)가 어플리케이션 시스템(210)과 다른 프로세서에 의해 실행되는 명령들의 집합으로서 구현되는 경우, 그러한 통신은 I2S 데이터 버스 또는 USB 데이터 버스와 같은 적절한 데이터 버스의 사용, 또는 다른 적절한 방법에 의해 실현될 수 있다.

본 발명의 실시예에서, 공간적 모델 관리자(110) 및 공간적 오디오 효과 프로세서(120)는, 어플리케이션 시스템(210)이 제공한 오디오 사용자 인터페이스 요소들(및 그러한 요소들의 표현 및 동작과 관련된 데이터)에 작용하여(일부 경우에, 어플리케이션 시스템(210)이 제공할 수 있는 요소들에 관한 메타데이터), 사용자 인터페이스 요소들에 상응하고 사용자가 그 사용자 인터페이스 요소들과 상호작용할 수 있도록 하는 공간적으로 감지된 오디오 신호들을 생성한다.

광범위한 오디오 사용자 인터페이스 요소들이 공지되었고, 일반적인, 사용자가 인식하고 상호작용하길 원하는 일반적인 오디오 신호 또는 사운드는 오디오 인터페이스 요소로 고려될 수 있음을 주의한다. 사용자 인터페이스 요소의 표현(및 가능하게는 요소의 중요성 및/또는 기능)으로서 이용될 수 있는 적절한 오디오 신호들, 사운드들 또는 프롬프트들의 예들은, 제한되지 않으나, 오디오 프롬프트(발화된 인간 음성 프롬프트들 또는 기록된 음악적 프롬프트들과 같은 미리-녹음된 오디오 데이터이거나, 또는 MIDI 음악적 프롬프트와 같은 생성된 오디오 데이터 또는 사운드 생성기에 의해 또는 빕음(beep)들이 수 있음), 단일, 이중 및 반이중 보이스 스트림(전화 호, 양방향 무선 대화, VoIP 시스템을 이용한 대화를 포함할 수 있음), 전화 회의에서 다수의 대화들 중 하나, 수신되거나 송신된 방송들(예컨대, 무선 스트림), 또는 오디오 파일의 재생(예컨대, MP3 또는 AAC 포맷으로 재생되고 있는 저장된 음악)을 포함한다.

사용자 인터페이스 요소 각각은, 사용자 인터페이스 요소에서 가능한 하나 이상의 잠재적인 또는 현존하는 사용자 상호작용(들) 또는 동작을 가리키는 메타데이터의 범위와 연계될 수 있다. 예를 들어, 오디오 프롬프트는 "선택되거나", "선택해제 되거나", 또는 "검사 중"에 있음을 나타내는 메타데이터와 연계될 수 있다.

사용자 인터페이스 요소를 위한 메타데이터는 다수의 다른 형태들을 취한다. 형태는 예를 들어, 불린(Boolean; 즉, 두 가지 가능한 값 중 하나를 취한 데이터 아이템), 열거(enumeration; 즉, 고정된 개수의 가능한 값들 중 하나를 취한 데이터 아이템), 스칼라(scalar; 즉, 범위 내에서 값을 취하는 데이터 아이템), 벡터(vector; 즉, 하나 이상의 축에 있는 범위에서 값을 취하는 데이터 아이템) 또는 다른 적절한 포맷일 수 있다.

도 2(b)는 본 발명의 일부 실시예에 따라, 공간적 사용자 인터페이스를 생성하고, 사용자와 상호작용하는 방법 또는 프로세스를 도시한 플로우차트이다. 도면에 도시된 것처럼, 일부 실시에 있어서, 본 발명의 방법 또는 프로세스는 본 발명이 공간적 사용자 인터페이스(스테이지 250)를 생성하려고 의도하는 어플리케이션용 사용자 인터페이스 요소들에 관한 설명 및 다른 관련 정보를 포함하는 파일 또는 데이터 구조에 액세스하면서 시작한다. 일반적으로 파일 또는 데이터 구조는 어플리케이션과 연계될 것이고, 어플리케이션의 일부분일 수 있거나, 그 어플리케이션과 연계된 웹-사이트 또는 다른 위치로부터 액세스될 수 있다. 액세스된 파일 또는 데이터 구조는 사용자 인터페이스 요소들, 그 사용자 인터페이스 요소들의 특징들, 사용자 인터페이스 요소들의 기능들, 사용자 인터페이스 요소들의 값들, 사용자 인터페이스 요소들의 상대적 중요성 또는 의미, 사용자 인터페이스 요소들의 제안된 공간적 디스플레이를 설명하는 데이터 또는 정보, 또는 사용자 인터페이스 요소들의 정의, 기능, 디스플레이 및 사용에 관한 다른 데이터 또는 정보를 포함할 수 있다. 그 어플리케이션을 위한 사용자 인터페이스 요소들(그러한 요소들 전부를 액세스할 필요가 없다면, 공간적 UI가 소망되는 요소들)에 관한 정보에 액세스한 후, 그 사용자 요소 정보가 공간적 모델을 생성하도록 처리된다(스테이지 260).

공간적 모델은 각각의 사용자 인터페이스 요소를 사용자의 감지된 오디오 공간에 있는 위치와 연계시킨다. 즉, 사용자는 각각의 사용자 인터페이스 요소를 사용자와 관련된 특정 위치 또는 영역으로부터 생성된 사운드 또는 사운드들로서 감지할 것이다. 위치 또는 영역에 대한 각각의 사용자 인터페이스 요소의 연계는 다양한 인자들에 부분적으로 또는 전적으로 의존할 수 있고, 이 인자들은 요소들의 기능 또는 동작, 요소의 상대적인 중요성 또는 사용 빈도, 배열이 요소들의 발견, 내비게이션, 또는 이용 등을 향상시킬 수 있으므로, 소정 요소들의 선호되는 배열을 나타내는 인간 행동 모델들을 포함한다. 일부 실시로서, 공간적 모델의 생성은 경험들, 규칙들 등의 적용을 통해 성취될 수 있고, 이 경험들, 규칙들 등은 소망하는 사용자 인터페이스 요소들 각각을 사용자의 오디오 공간에 있는 위치 또는 영역에 매핑하는 기능을 하고, 사용자 인터페이스 요소에 상응하는 오디오 신호 또는 프롬프트는 사용자에 의해 감지된다.

다음으로, 오디오 신호 또는 신호들이 사용자의 오디오 공간 내 공간적 위치 각각에 연계된다(스테이지 270). 각 위치(및 특정 사용자 인터페이스 요소 또는 기능)에 연계된 오디오 신호 또는 신호들은 적절한 이유로 선택될 수 있다. 예를 들어, 오디오 신호는 일반적으로 사용자 인터페이스 요소 또는 그 요소의 기능과 연계되어 있는 것으로 생각되고, 또한 그 신호가 사용자 인터페이스 기능 등으로 사용자의 주의를 끌 것이기 때문에 선택될 수 있다. 유사하게, 사용자 인터페이스 요소와 연계된 볼륨 또는 사운드 효과들(에코, 핏치 증가 또는 감소 등)은, 사용자로 하여금 사용자 인터페이스 요소들 사이를 충분히 구분하게 할 필요성이나, 사용자 발견, 내비게이션, 또는 소정 사용자 인터페이스 요소들의 유용성을 향상시킬 필요성에 기초하여 선택될 수 있다. 사용자 인터페이스 요소를 사용자의 오디오 공간의 영역 또는 위치와 연계시키고, 사용자 인터페이스 요소 각각을 특정 오디오 신호와 연계시키는 단계들은 하나 또는 다수의 단계들로 수행될 수 있고, 본 발명을 최적으로 구현하도록 결정되는 임의의 순서로 수행될 수 있다(예컨대, 먼저, 사운드 또는 오디오 신호를 사용자 인터페이스 요소 각각에 연계시키고, 그 다음으로 각각의 사운드 또는 신호에 대해 사용자에 의해 감지되는 바람직한 공간적 위치를 결정함- 그러한 예에서, 스텝 260 및 스텝 270의 순서가 바뀔 수 있음).

본 발명의 시스템 또는 장치가 사용자 인터페이스 요소 각각을 특정 오디오 신호 또는 신호들과 연계시키고 그 신호 또는 신호들이 사용자의 오디오 공간의 특정 영역에서 사용자에 의해 감지되도록 야기함으로써, 그 공간적 사용자 인터페이스를 생성한 후에, 사용자는 적절한 데이터 입력 디바이스를 이용하여 데이터, 커맨드 또는 명령을 입력할 수 있다(스테이지 280). 데이터, 커맨드 또는 명령은 사용자 인터페이스의 요소의 기능 또는 동작을 선택하는 것이나, 사용자 인터페이스의 요소들에 상응하는 오디오 신호들의 표현을 변경함으로써 공간적 모델을 내비게이트하거나 재배향(re-orient)하는 것을 의도할 수 있다. 사용자 입력은 그것이 기능 또는 동작의 선택/활성을 표현하는지, 아니면, 사용자의 감지된 오디오 공간에 있는 사용자 인터페이스의 요소들의 표현을 변경하도록 의도되는지를 결정하기 위해 처리된다(스테이지 290). 응답으로 및 이러한 결정 후에, 원하는 기능 또는 동작이 활성화되거나(예컨대, 호출의 처리, 볼륨을 변경, 재생목록에서 새로운 노래로 전환 등), 또는 사용자 인터페이스 요소들에 상응하는 오디오 신호의 일부 또는 전부가 사용자의 오디오 공간에서 사용자에 의해 감지되는 방법의 변화를 야기하기 위하여 공간적 사용자 인터페이스가 변경될 수 있다.

공간적 모델 관리자의 기능 또는 동작의 예는 도 3을 참조하여 설명되며, 도3은 본 발명의 일부 실시예에 따라, 예시적인 공간적 모델 및 그 모델에서 예시적인 사용자 인터페이스 요소들의 배치를 도시한다.

도 3은 본 발명의 일부 실시예에서 사용될 수 있는 예시적인 공간적 모델(이 경우에는 2개의 사분면에 제한되는 2-차원의 극 개념 공간(polar conceptual space)임)을 도시한다. 기점에서 동일 거리의 선들은 0.1 단위 간격으로 마크된다. 이 도면에 도시된 공간적 모델은 추상적 구조이고, 따라서 거리가 임의 단위로 마크되는 것을 이해해야 한다. 또한 도시된 공간적 모델은 다수의 가능하거나 적절한 공간적 모델들 중 하나라는 것을 이해하여야 한다. 예를 들어, 다른 적절한 공간적 모델은 오디오 신호들이 선형적인 x-y 축들에 배치되거나, 공간이 360°로 확장되는 것, 또는 방사형 윤곽들이 선형적으로 보다 대수적으로 배치되는 것 등일 수 있다. 또한 공간적 모델은 2 차원에 한정될 필요는 없고, 1차원 또는 3차원 공간으로 표시될 수도 있음을 이해하여야 한다.

또한 도 3은 4개의 예시적인 오디오 사용자 인터페이스 요소들을 나타내고, 요소들은 사용자에게 활성 호(active call)를 제공하는 오디오 전화 시스템의 일부로서 사용자에게 이용될 수 있는 기능들, 동작들 또는 프로세스들을 표시한다. 또한 도면은 사용자가 활성 호를 제어하거나 상호작용하는 부분으로서 수행할 수 있는 기능들 또는 동작들을 나타낸다.

이 예에서, 호 A로 식별되는 현재의 활성 호(및 상응하는 사용자 인터페이스 요소의 활성에 의해 선택 가능함)는 사용자 인터페이스 요소로서 제공되며, 사용자는 이 인터페이스 요소를 통해, 볼륨을 바꾸고, 다른 행동들을 수행할 뿐만 아니라, 그 호를 듣고 또한 말할 수 있다. 보이스 프롬프트 "호 전환(switch call)"이 제공되며, 이 프롬프트의 선택에 의해 현재 호는 예컨대 현재 이용가능한 것으로 고려될 수 있는 대기 호로 전환될 수 있다.

사용자의 목소리가 무음이 되도록 사용자의 마이크로폰을 침묵시키는 기능을 하는 "무음" 보이스 프롬프트가 제공된다. 현재 호(즉, 호 A)를 끊는 "끊기" 보이스 프롬프트가 제공된다.

도면에 도시된 예에서, 이용가능한 오디오 사용자 인터페이스 요소들은 그 기점으로부터의 모든 0.3 단위로, 각도 및 동일 거리에 의해 분리되어, 감지된 오디오 공간에 놓인다. 상대적인 공간 및 위치의 다른 배열들도 가능하고, 사용 편의성, 발견 능력 등에 대한 고려에 기초하여 선택될 수 있음을 이해하여야 한다.

일부 구현에 있어서, 관련 오디오 사용자 인터페이스 요소들의 공간적 배열은 바람직하게는 미리-결정되거나 제안될 수 있다. 예를 들어, 미리-결정된 배치는 다수의 오디오 사용자 인터페이스 요소들 각각에 대하여 그 개수(즉, 예를 들어, 실제 3개 요소들이 이용가능할 때 하나의 미리-결정된 배치가 이용될 수 있는 반면, 실제로 4개 요소들이 이용가능할 때는 다른 미리-결정된 배치가 이용될 수 있는 것 등)에 의존하여 생성되거나, 요소들의 배치는 어플리케이션 시스템에 의해 제공되는 메타데이터에 의해 결정될 수 있다. 예를 들어, 상기한 것처럼, 어플리케이션 시스템은 사용자 인터페이스 요소 각각을 설명하는 데이터를 추가하여, 사용자 인터페이스 요소의 중요성 또는 우선권(현재 어플리케이션 시스템 상태의 함수일 수 있음)을 사용자에게 나타내는 메타데이터의 아이템을 제공할 수 있다. 그러한 예로서, 공간적 모델에 있는 사용자 인터페이스 요소의 최초 배치의 기점으로부터의 거리가 결정될 수 있고, 더 중요한 요소들은 그 기점에 더 가까이 배치된다. 대안적으로 또는 추가로, 가장 중요한 요소들이 더 중앙에 놓일 수 있다(즉, 0°에 가까움). 유사하게, 사용자 인터페이스 요소들의 최초 공간적 오디오 배열은 새로운 어플리케이션 시스템에 응답하여, 또는 기존 어플리케이션 시스템의 변화된 상태 또는 동작 조건에 응답하여 변경될 수 있다(시스템 또는 어플리케이션의 상태, 조건 또는 동작의 변화에 기초하여, 다른 사용자 인터페이스 요소들을 표현하거나 사용자 인터페이스 요소들을 다르게 표현하기 위함임).

일부 구현에 있어서, 사용자 인터페이스 요소(들)의 배열은 사용자를 위한 청취 경험을 최적화하도록 선택될 수 있다. 예를 들어, 유사한 주파수 스펙트럼을 갖는 요소들 사이에, 분리 또는 사용자 인식(발견 능력)을 최대화하도록 요소들이 배열될 수 있다(예를 들어, 거의 최고 음역의 오디오 사운드를 가진 요소가 의도적으로 가장 저음의 오디오 사운드들을 가진 요소 가까이에 배치될 수 있음). 사용자 인터페이스 요소들은 음향 심리학적 원칙들에 따라 배치될 수 있다. 즉, 지각적으로 중요한 오디오 서브-대역들 중 어느 것이 각 요소를 위한 신호 또는 프롬프트에 포함되어 있는지에 따라 최대로 분리되어 배치된다.

공간적 모델에서의 사용자 인터페이스 요소들의 배치(및 그 요소들에 상응하는 오디오 신호들이 사용자에 의해 어떻게 감지되는지)는 공간적 효과 오디오 프로세서(도 1 및 2(a)의 요소(120))에 제공된다. 일반적으로, 이것은 공간적 효과 오디오 프로세서가 어플리케이션 시스템으로부터 수신하는 사용자 인터페이스 오디오 요소 데이터와 관련될 수 있는 방식으로 이루어진다. 예를 들어, 사용자 인터페이스 요소들은 0부터 그 위로 숫자가 붙여질 수 있고, 그 숫자는 공간적 모델 관리자에 제공되고, 공간적 효과 오디오 프로세서에 있는 포트의 번호이다. 이러한 경우, 공간적 모델 관리자는 다음 표에 나타낸 것처럼, 예컨대, 사용자 인터페이스 요소(들)를 위한 기점으로부터 각도 및 거리와 같은 공간적 정보를 제공할 수 있다:

사용자 인터페이스 요소	어플리케이션 시스템 및 공간적 모델 관리자 사이에서 전달되는 식별자	어플리케이션 시스템 및 공간적 오디오 효과 프로세서 사이에서 전달되는 데이터를 위한 포트 번호	공간적 모델 관리자 및 공간적 오디오 효과 프로세서 사이에서 전달되는 데이터
호 A	0	0	0: 0.3 @ 30°
호 전환	1	1	1: 0.3 @ 90°
무음	2	2	2: 0.3 @ -30°
끊기	3	3	3: 0.3 @ -90°

도시된 것처럼, 표는 "호 A"를 나타내는 사용자 인터페이스 요소는 사용자 인터페이스 요소 0으로서 공간적 모델 관리자에 식별되고, 포트 0을 통해 공간적 오디오 효과 프로세서에 전달되는 오디오 데이터를 가진다는 것을 나타낸다. 공간적 모델 관리자는 사용자 인터페이스 요소 0이 0.3의 거리, 30°의 각도에 있음을 나타냄으로써 공간적 모델에 있는 사용자 인터페이스 요소의 포지션을 공간적 오디오 효과 프로세서에 전달하고, 다른 사용자 인터페이스 요소들에 대해서도 그러하다.

도 4는 오디오 시스템(도 2의 요소(230))으로의 출력이 스테레오 헤드셋 또는 스피커 시스템에서 사용하기 위해 왼쪽 채널 및 오른쪽 채널인 2개의 스트림을 포함하는 경우, 도 3을 참조하여 설명한 예시적인 오디오 사용자 인터페이스 요소들 및 예시적인 공간적 모델에 적용되는 공간적 오디오 효과 프로세서(도 1 및 2(a)의 요소(120))의 기능 예를 도시한다. 도 4에 도시된 예시적 공간적 오디오 효과 프로세서에서, 각각의 오디오 사용자 인터페이스 요소가 초기에 그 기점으로부터 거리에 의존하는 정도로 감쇠되는(그 기점에 있는 요소들은 그들의 입력 볼륨으로 들리고, 1 유닛 떨어진 스트림은 1dB 만큼 감쇠되는 등) 것을 이해하여야 한다.

다음으로, 왼쪽 채널 및 오른쪽 채널 스트림 둘 다는 각각의 오디오 소스에 대해 생성되고, 각각의 소스에 대한 왼쪽 및 오른쪽 채널 볼륨의 상대적 크기는 공간적 모델에서 그들의 각도에 따라 계산된다. 그 결과는 헤드폰 또는 스테레오 스피커 시스템을 통해 들을 때, 오디오 소스의 외관 방향(apparent direction, 즉, 사용자에 관하여 감지된 각도 위치)은 공간적 모델에서의 각도와 동일 또는 거의 동일하다는 것이다. 모든 왼쪽 채널 스트림은 함께 더해져(즉, 믹스(mixed)) 최종 왼쪽 채널 출력이 되고, 이와 유사하게 모든 오른쪽 채널 스트림들은 함께 더해져 최종 오른쪽 채널 출력이 된다.

수학적으로, 왼쪽 출력 스트림은 다음 함수로 주어질 수 있다:

여기서,

는 시간 t에서 주어지는 스트림의 순시값을 나타내고, M은 공간적 모델에서 스트림의 크기이고, arg는 단위가 각도인 인수(argument)이다.

오른쪽 출력 스트림은 다음 함수로 주어질 수 있다:

도 4에 주어진 예를 고려하여, 4개의 모노 오디오 스트림들은 공간적 오디오 효과 프로세서에 입력되고, 각각의 4개의 스트림들, "호 A"?실제 오디오 호와 연계된 오디오 스트림?, "호 전환"?사용자가 다른 호로 전환하는 것을 허용하는 사용자 인터페이스 요소와 연계된 오디오 스트림?, "끊기"?사용자가 현재 호를 끊는 것을 허용하는 사용자 인터페이스 요소와 연계된 오디오 스트림?, 및 "무음"?사용자가 현재 호를 무음으로 하는 것을 허용하는 사용자 인터페이스 요소와 연계된 오디오 스트림? 중 하나이다. 최초의 스트림 각각은 3dB 만큼 감쇠되는 것(도 3에 도시된 것처럼, 그러한 감쇠는 각각의 스트림이 공간적 모델의 중앙으로부터 3 단위의 거리에 있기 때문임)을 알 수 있다. 이후에 각각의 스트림은 복사되고, 따라서 각각의 스트림에 대해 왼쪽 스트림(사용자의 왼쪽 귀에 제공하기 위한 것) 및 오른쪽 스트림(사용자의 오른쪽 귀에 제공하기 위한 것)이 존재한다. 각각의 오른쪽 또는 왼쪽 스트림은 원하는 양(예컨대, 도면의 L0은 사용자 인터페이스 요소 0을 위한 왼쪽 스트림상의 감쇠이고, R0은 이 요소를 위한 오른쪽 스트림의 감쇠임)만큼 증폭되거나 감쇠될 수 있다. 감쇠는 사용자 인터페이스 요소의 각도에 따라 외관 공간 구성(apparent spatialization; 즉, 사용자에 의해 감지되는 오디오 공간에서의 위치 또는 다른 행동)을 생성하도록 동작할 수 있다. 다음, 왼쪽 스트림은 사용자에게 표현할 합성된 왼쪽 귀 스트림을 제공하기 위해 함께 믹스되고, 오른쪽 스트림은 사용자에게 표현할 합성된 오른쪽 귀 스트림을 제공하기 위해 함께 믹스된다.

예시적 실시에 있어서, 프로그램된 디지털 신호 프로세서 또는 마이크로컨트롤러에 의해 실행되는 소프트웨어 코드에 의해 공간적 오디오 효과 프로세싱 시스템이 구현되는 실시예에서, 이 소프트웨어 코드는 상기 수학적 함수들을 구현하는데 이용된다. 모노 오디오 스트림으로부터 왼쪽 및 오른쪽 구성요소들을 생성하는 다른 알고리즘들(하나의 신호를 약간 지연하는 것 및 두영 효과(head shadow effect)를 고려하는 것을 포함)이 알려져 있고, 이들은 본 발명의 일부 실시예와 함께 사용에 적합할 수 있음에 주의한다.

예를 들어, 이러한 스트림에서 동작하는 오디오 서브 시스템에 연결된 헤드폰으로 듣는 사용자는, 중심의 약 30° 왼쪽에 나타나는 "호 A" 오디오 스트림, 중심에서 왼쪽으로 멀리 떨어진 식별 포지션에서 들리는 "호 전환"을 위한 오디오 프롬프트, 중심에서 약 30° 오른쪽에서 들리는 무음을 위한 오디오 프롬프트, 및 중심에서 오른쪽으로 멀리 떨어진 곳에서 들리는 끊기를 위한 오디오 프롬프트와 함께, 거의 동일한 볼륨으로 사용자 인터페이스 요소들을 들을 것이다. 사용자는 그 사용자의 감지되는 스테레오 오디오 공간에 있는 소스들의 외관 공간 배열에 대한 그들의 대응에 의해, 추상적 공간적 모델에서 사용자 인터페이스 요소들의 공간적 배치(그 기점으로부터의 각도 및 크기)를 구별할 수 있다.

일부 구현에서, 사용자로부터의(예를 들어, 마이크로폰으로부터) 오디오 입력은 사용자 인터페이스 요소들의 공간적 배치에 의해 수정될 필요가 없다. 이러한 예로서, 공간적 오디오 효과 프로세서는 마이크로폰 입력을 위한 아무런 포지션-기반 효과들을 제공하지 않는다. 다른 구현에서, 오디오 입력은 다른 이중 리턴 경로들을 표현하는 스트림들의 포지션에 따라 다른 이중 리턴 경로들에 다르게 전달될 수 있다. 예를 들어, 다수의 발신자와의 전화 회의에서, 마이크로폰 오디오 스트림은 사용자에게 충분히 가까이 배치되어 있는 이중 사용자 인터페이스 요소들에만 제공될 수 있다.

많은 다른 공간적 효과 기능들은 독립적으로 또는 결합하여, 공간적 오디오 효과 프로세서에 의해 제공될 수 있다. 더 나아가, 사용자가 듣는 오디오의 공간적 배열은 공간 모델에 직접 매핑될 필요는 없지만, 단지 사용자는 오디오 신호들, 프롬프트 등의 형태로 그들에게 표현되는 것으로부터 공간적 모델에 있는 사용자 인터페이스 요소들의 공간적 배열을 상대적으로 쉽게 이해할 수 있어야 한다. 또한 오디오는 사용자가 공간적 모델을 이해할 수 있도록 반드시 스테레오로 표현될 필요는 없고, 대신 모노럴로 표현될 수 있다.

예를 들어, 모노 헤드셋인 경우, 사용자 인터페이스 요소들에 스테레오 밸런스 조정을 실시하는 대신, 공간적 오디오 효과 프로세서는 노치(notch) 필터를 적용하여 공간적 모델에서 더 왼쪽에 배치되는 요소들을 감소시키고, 오른쪽에 배치되는 요소들을 증가시킬 수 있다. 노치 필터의 대역폭은 약 1.5kHz이고, 0도에 있는 사용자 인터페이스 요소들에 대한 노치 주파수는 약 8kHz이다. 이것은 인간의 귀가, 8kHz 이상의 노치 필터가 적용되는 사운드를 머리 위에서 오는 것으로 인식하고 8kHz 미만의 노치 필터가 적용되는 사운드를 머리 아래에서 오는 것으로 감지하는 것이 알려져 있기 때문에 유용할 수 있다. 이러한 필터가 본 발명의 다른 요소들과 협력하여 사용될 때, 사용자들은 사용자들의 위 및 아래의 사용자 인터페이스 요소들의 외관 포지셔닝, 및 그 공간적 모델에 있는 사용자 인터페이스 요소들의 배열 간의 관계를 이해할 수 있다.

다양한 효과 또는 신호 프로세싱 동작들은, 다른 사용자 인터페이스 요소들 간을 식별하는 사용자 능력을 향상시키도록 공간적 오디오 효과 프로세서에 의해 응용될 수 있다. 예를 들어, 사용자 인터페이스 요소들에 대한 오디오 신호는 공간적 모델상에서 크기 또는 각도에 비례하는 시간의 양만큼 지연될 수 있다. 또는 반향의 양이 오디오 신호에 제공될 수 있고, 기점으로부터 더 먼 요소들이 더 많은 반향을 갖거나, 왼쪽 또는 오른쪽으로 더 떨어진 요소들이 더 많은 반향을 갖도록 조절된다.

또한 상기한 것처럼 공간적 모델은 2차원으로 한정될 필요는 없다. 추가적인 차원들은 믹싱에서의 더 많은 효과 및 효과 시스템을 이용함으로써 도입되어, 추가적인 자유도로 매핑될 수 있다. 예를 들어, 공간적 모델이 3차원이라면, 볼륨, 스테레오 각도 및 반향이, 사용자가 공간적 모델에서 차원들과 상관시킬 수 있는 오디오 출력에 3차원을 제공하도록 결합될 수 있다.

일단 사용자가 공간적 모델에서 오디오 사용자 인터페이스 요소들의 공간적 배열을 결정할 수 있으면(공간적 모델에서 사용자 인터페이스 요소들의 포지션과 상관되는 오디오 효과들 및 기능들을 검출함으로써), 그들은 시스템, 장치, 디바이스 또는 다른 객체 또는 프로세스의 동작을 제어하고 영향을 미치기 위해 적절한 입력 디바이스와 협력하여 이 정보를 이용할 수 있다.

일부 구현에 있어서, 적절한 입력 디바이스의 유익한 특징은 사용자가 공간적 모델에서(및 그들이 감지하는 오디오 공간에서도) 사용자 인터페이스 요소들의 포지션에 직관적으로 관련할 수 있는 입력 모드를 제공할 수 있다는 것이다. 많은 다른 입력 디바이스들이 내비게이션, 스위치들, 썸휠, 가속도계, 터치 센서 등을 포함하는 것이 가능하다. 공간적 입력 디코더를 통하여 입력 디바이스는 그 공간적 모델이 직접 변경되도록 야기하거나, 공간적 모델에 대해 변경할 수 있는 어플리케이션 또는 디바이스 동작에 대한 변경들을 야기할 수 있다.

도 5는 본 발명의 일부 실시에 따라, 사용자가 공간적 모델 및 사용자 인터페이스 요소들과 상호작용할 수 있도록 하는 예시적 입력 디바이스를 도시한 다이어그램이다. 그 예에 있어서, 도 5에 도시된 예시적인 입력 디바이스로부터의 입력에 의해 영향을 받을 수 있는 것으로서, 도 3에 도시된 것과 같은 공간적 모델을 고려해보자. 본 예에서, 입력 디바이스는 사용자가 4개의 방향들 중 하나를 선택할 수 있도록 해주는 내비게이션 스위치(510)이고, 중앙에는 사용자가 버튼을 누름으로써 활성화되는 "선택" 버튼이 있다. 내비게이션 스위치는 5개 버튼들(위, 아래, 좌, 우, 선택) 중 어느 결합이 눌렸는지와 관련하여 정보를 제공할 수 있다.

상기 예들에서 오디오 스트림들을 듣고 있는 사용자가 호 A 상에서 일행 또는 일행들에게 말하는 것에 초점을 맞추길 원하는 경우를 고려해보자. 이러한 경우, 사용자는 보이스 프롬프트들을 듣고 있는 것을 더 이상 원치 않을 수 있다. 상기 설명한 것처럼, 사용자는 호 A 사용자 인터페이스 요소 자체가 중앙의 약간 왼쪽에 놓여있음을 인식한다(왜냐하면 도 3에 도시된 것처럼, 그들은 중앙의 약간 왼쪽으로 배치된 것을 분명하게 들을 수 있음).

본 발명의 일 실시예에서, 데이터 입력 디바이스의 "왼쪽" 버튼을 누르는 것만으로 왼쪽에 위치한 옵션을 충분히 선택할 수 있다. 그러나 본 발명의 동작의 또 다른 예를 제공하기 위해, 다른 실시예가 고려된다. 그러므로 이 예에서, 도 6은 사용자가 도 5의 내비게이션 입력 디바이스에 있는 왼쪽 버튼을 누른 후의, 도 3에 도시된 공간적 모델을 나타낸다. 도 6에 도시된 것처럼, "왼쪽" 버튼을 누른 결과, 공간적 모델은 30°로 회전하고, 현재 호 A는 사용자 앞에 직접 놓인다(즉, 호 A에 상응하는 오디오 스트림이 현재 사용자 앞에 놓임). 본 예에서, "끊기" 사용자 인터페이스 요소는 더 이상 예시적인 공간적 모델에 맞지 않음을 주목한다. 결과적으로, 사용자는 더 이상 이 오디오 스트림 또는 프롬프트를 들을 수 없을 것이다.

다음으로, 예를 들어, 사용자가 도 5의 사용자 입력 장치에 있는 "위" 버튼을 누르는 것을 고려해보자. 도 7은 사용자가 도 5의 내비게이션 입력 디바이스상에 있는 "위" 버튼을 누른 후, 도 6에 도시된 공간적 모델을 도시한다. 도 7에 도시된 것처럼, 기점은 이제 앞으로 (입력 디바이스를 누름으로써 제안되는 방향으로) 옮겨진다. 호 A에 상응하는 오디오 스트림은 더 가까이 및 중앙에 위치되도록 나타난다. 다른 사용자 인터페이스 요소들은 더 이상 공간적 모델 상에 매핑되지 않으므로, 오직 호 A로부터의 오디오 신호만 들린다. 사용자가 이 지점에서 내비게이션 스위치에 있는 "아래"를 누르면, 공간적 모델은 도 6에 도시된 것처럼 이전의 공간적 모델(및 상응하게 들리는 오디오 공간)을 회복시켜, 이전 포지션으로 다시 전환될 것이다. 다양한 내비게이션 스위치 누름은 공간적 모델을 회전하고 병진, 또는 그 밖에 공간적 모델을 변환하는데 이용될 수 있고, 따라서 사용자가 그들이 발견한 가장 유용한 방식으로 그 공간적 모델을 표현하고 내비게이트할 수 있다.

이제 사용자가 그 전화를 끊기 원하는 경우를 고려해보자. 이 예에서, 사용자는 "끊기" 프롬프트가 중앙에서 들릴 때까지 오른쪽으로 회전할 수 있고, 기점에 오도록 앞으로 이동할 수 있다. 그런 다음, 사용자는 그 행동을 확인하기 위해 선택 버튼을 누를 수 있다. 대안적으로, 그 기점에 대해 오른쪽으로 프롬프트를 이동하는 과정은 사용자가 끊기 원한다는 것을 지시하기에 충분할 수 있다.

사용자에 의해 감지되는 오디오 신호들 또는 프롬프트들의 이러한 내비게이션 또는 방향 전환을 수행하기 위해, 공간적 입력 디코더는 입력 디바이스로부터 입력을 취하고, 공간적 모델 관리자를 위한 관련 커맨드로 그것을 변환한다. 상기 설명한 내비게이션 스위치 입력 디바이스 및 동작들에 대해, 적절한 공간적 입력 디코더의 기능은 다음과 같이 설명될 수 있다.

입력 디바이스 행동	공간적 모델 관리자에 대한 메시지
왼쪽	30° 회전
오른쪽	-30° 회전
위	기점을 3 유닛 위로 이동
아래	기점을 3 유닛 아래로 이동
선택	가장 가까운 아이템의 동작을 선택

이 예에서, 사용자들이 배열된 오디오 스트림들을 감지할 때, 사용자가 그 오디오 스트림들의 공간적 배열에 관계시킬 수 있는 사용자 입력 선택은, 그 사용자에게 들리는 그 출력에 상응하는 변화와 함께, 공간적 모델에 대한 변화를 초래함에 주의한다.

입력 디바이스에서 수행되는 사용자 행동들 및 공간적 모델에서 상응하는 효과들 간의 여러가지 가능한 관계들이 있음을 주의한다. 일반적으로, 사용자는 특정 입력 행동에 의해 공간적 모델에 대한 어떠한 변화들이 야기될 것인지를 더 잘 이해할 때 유익이다. 예를 들어, 사용자 입력 선택들은 공간적 모델의 회전을 야기하는 대신에 공간적 모델의 병진을 초래하여, 기점을 특정 방향으로 이동시키고, 그 방향으로 공간적으로 배치된 스트림들이 더 가까이 및 더 크게 나타나도록 야기할 수 있다.

일부 실시예에서, 공간적 모델은 개념적으로, 현재 선택되지 않은 것들을 포함하는 많은 스트림들이 배치되는 연속체(continuum)로 고려될 수 있다. 예를 들어 "더 크게, 더 부드럽게"하기 위한 오디오 프롬프트들은 그 볼륨이 변경될 수 있는 오디오 스트림의 가까이, 그러나 약간 뒤에 놓일 수 있다. 그 오디오 스트림 쪽으로 이동하는 것 또는 그 오디오 스트림에 초점을 맞추는 것은, 개념적으로 사용자를 그 볼륨 프롬프트들(그 볼륨을 증가 또는 감소)이 들릴 수 있는 포지션쪽으로 이동시키는 것일 수 있다. 대안적으로, 공간적 모델은 다수의 더 작은 공간들을 포함할 수 있고, 예를 들어, 특정 옵션들의 선택에 의해 또는 그 공간적 모델에 있는 특정 포지션들로 이동에 의해, 공간들 사이에서의 연결 또는 점프가 있을 수 있다.

발명자들에 의해 인지된 것처럼, 본 발명의 사용을 위해 적절한, 광범위한 가능한 입력 디바이스들이 있고, 각각은 사용자 입력을 공간적 모델에 있는 오디오 신호들의 배열 또는 선택에 영향을 미칠 수 있는 명령으로 전환하는(또는 그 디바이스의 일부분인 입력 요소의 활성화) 기능을 하는 상응하는 입력 디코더를 갖는다. 도 8은 본 발명의 일부 실시예에 따라, 손가락 또는 엄지에 의해 동작될 수 있거나, 도 5에 도시된 입력 디바이스와 유사한 방식으로 이용될 수 있는 추가적인 입력 디바이스들을 도시한다.

그 도면에 도시된 한 예는, 축을 중심으로 회전하는 휠을 포함하는 썸휠(810)이고, 그 축은 스프링에 대향하여 그 축의 직각 방향으로 이동할 수 있다. 일반적으로, 그러한 썸휠은 휠이 회전될 때마다 각 회전에 대하여 소정 수의 전기적 펄스들을 전달하고, 및 그 축이 한 거리만큼 눌러질 때의 하나 이상의 펄스들을 전달한다. 그러한 디바이스를 위한 입력 디코더는 일반적으로 펄스들을 셀 수 있고, 썸휠이 눌러지는 최대 이동에 관한 회전도 또는 거리의 숫자를 결정할 수 있다. 그러한 입력 디코더는 이 정보를 공간적 모델 관리자에 제공하고, 공간적 모델 관리자는 공간적 모델을 회전시키고, 썸휠의 회전 수로 지시된 양만큼 기점을 중심으로 공간적 모델을 병진시킬 수 있다.

입력 디바이스의 다른 예는 터치 패드(820)를 포함하고, 터치 패드를 통해, 사용자는 예컨대, 탐지기의 배열에서 소정 탐지기의 저항 또는 용량을 변경하도록, 2차원에서 그들의 손가락을 움직일 수 있다. 이러한 입력 디바이스의 디코더는 사용자의 손가락(들)이 터치패드의 관련 공간에서 어디에 있는지를 결정하고, 이러한 정보를 공간적 모델 관리자에 제공한다. 이후에 공간적 모델은 사용자의 손가락 움직임의 결과로서 2차원에서 변환될 수 있다.

입력 디바이스의 세 번째 예는 전자 회로 보드에 프린트된 용량성 탐지기(capacitive detector)와 같은, 초승달 모양(crescent), 편자(horseshoe), 또는 반원의 터치-감지 표면(830)을 포함한다. 사용자는 손가락을 편자 주위로 및 잠재적으로 중심의 안과 밖으로 이동한다. 입력 디코더는 사용자 손가락의 포지션을 탐지하기 위해 아날로그-대-디지털 컨버터를 포함한다. 초승달 모양 주변의 움직임은 공간적 모델을 회전시키는데 이용될 수 있고, 한편, 안과 밖으로의 움직임은 공간적 모델을 병진시키는데 이용될 수 있다.

예를 위하여, 사용자 입력 공간 내의 포지션 정보가 공간적 모델에 있는 포지션 정보에 매핑되는 것으로 설명하였지만, 다른 형태의 매핑도 본 발명의 구현에 있어서 가능하고 이용될 수 있음을 이해하여야 한다. 특히, 입력 디바이스 공간 내의 포지션 정보는 그 공간적 모델에 있는 오디오 신호의 속도(예컨대, 사운드가 사용자 쪽으로 또는 사용자로부터 멀리 이동하는 속도) 또는 가속도에 매핑될 수 있다. 일부 실시예에서, 이것은 오디오 신호에 부과되는 도플러 효과(즉, 상승 또는 하강 핏치)에 의해 나타낼 수 있다.

무언가를 터치하거나 누르는 사용자 손가락에 의해 활성화된 입력 디바이스들과 더불어, 본 발명의 구현에 있어서, 다른 입력 디바이스들 및 그들의 상응하는 입력 탐지기들이 가능하고, 본 발명을 구현하는데 이용될 수 있다. 도 9는 사용자 손의 움직임을 공간적 모델의 변화에 매핑하기 위해 가속도계를 사용하는 가능한 입력 디바이스(910)를 도시한다.

도 9에 도시된 입력 디바이스는 예시의 방식으로, 휴대용 케이싱(930)에 맞춘 2개의 3차원 가속도계들을 포함한다. 사용자는 이 입력 디바이스를 잡을 수 있고, 예컨대, 왼쪽 또는 오른쪽으로 포인팅하면서 그것을 움직일 수 있다. 입력 디바이스(910)를 위한 입력 디코더들은 2개의 가속도계들로부터 3 차원의 공통 모드 및 다른 모드 신호들을 결정하는 전자 회로를 포함할 수 있고, 그 케이싱의 공간에서 움직임 및 회전(사용자의 손에 의해 야기되는 것) 둘 다를 결정한다. 이것은 공간적 모델의 상응하는 전환 및 회전들에 매핑될 수 있다.

도 10은 본 발명의 일부 실시에서 이용될 수 있는 다른 입력 디바이스(1010)를 나타내고, 입력 디바이스는 사용자 머리의 각 측면에 부착된 가속도계(1012)를 포함한다. 입력 디바이스용 입력 디코더는 도 9를 참조하여 설명한 예시적 입력 디바이스에 사용될 수 있는 것과 유사하다. 사용자가 그의 머리를 좌우로 움직일 때, 가속도계들은 이러한 움직임을 탐지하고, 입력 디코더를 통해, 공간적 모델을 회전, 병진 또는 그 밖의 것으로 변경할 수 있고, 따라서 오디오 신호들은 사용자에 의해 감지된다.

입력 디바이스의 또 다른 예시적인 실시에서, 사용자는 전기-옵티그램(electro-optigram)의 형태로 눈 가까이에 부착되는 전극을 착용할 수 있다. 이러한 실시에서, 입력 탐지기에 의해 디코드되는 사용자의 눈 움직임들이 공간적 모델의 변환들을 생산하거나 그 모델의 요소에 대한 선택을 야기하도록 이용될 수 있다.

예컨대, 일부 입력 디바이스들에서 있을 수 있는 문제점은, 예컨대, 머리 움직임을 탐지하는 것에 기초하는 것과 같이, 사용자가 그들의 보통 행동들 중 일부로서 사용자가 한 행동들로부터, 입력으로서 이용되도록 의도한 움직임들을 구별하기 어려울 수 있다는 점을 주의한다. 예를 들어, 머리의 회전은 공간적 모델의 회전을 의도하는 입력일 수 있고, 또는 사용자가 그들이 보고 싶은 무언가를 보고 있는 것을 의미할 수 있다.

이러한 가능한 문제의 응답으로, 도 11은 터치 센서(1110)가 도 10의 입력 디바이스의 요소들로 추가되는 사용자 입력 디바이스를 도시한다. 사용자 입력 디바이스의 이러한 실시에 있어서, 입력 디바이스는 사용자가 터치 센서를 터치하고 있을 때만 활성화된다(및 입력 디코더는 입력을 디코드함). 그러므로 사용자는 공간적 모델에 영향을 주는데 이용되도록 머리 움직임을 만드는 동안 터치 센서를 터치하거나 활성화하여야 한다.

일부 실시에 있어서, 추가적인 오디오 정보는 특정 사용자 인터페이스 요소에 관하여 가능한 행동들이 무엇인지 나타내거나, 또는 사용자 인터페이스 요소로부터 향상된 피드백을 제공하기 위해 공간적 오디오 효과 프로세서에 의해 제공될 수 있다. 예를 들어, 일부 오디오 인터페이스 요소들은 "선택"일 수 있다. 예를 들어, 사용자가 통화를 끝내기 위해 "끊기"를 선택할 수 있고, 이로 인해 그들은 진행중인 통화를 선택하지 않는다. 공간적 오디오 효과 프로세서는 사용자 행동들이 그 요소를 위해 가능하다는 것을 나타내도록 사용자 인터페이스 요소에 오디오 효과들을 제공할 수 있다. 예를 들어, "선택가능한" 요소들은, 사용자가 선택 행동이 사용자에 의해 취해지는 것을 나타내기 위해 접근할 때, 추가적인 반향을 제공받을 수 있다.

후술하는 것은 본 발명을 위한 사용자 경험 및 일부 예시적인 사용 케이스들에 관한 정보를 더 제공한다. 사용자 경험에 관하여, 일반적으로, 사용자는 "범위 내"에 있는 오디오 신호 또는 스트림을 들을 수 있고, 범위는 오디오 신호가 그들의 현재 어플리케이션 컨텐츠 또는 어플리케이션 또는 디바이스의 기능들 또는 동작들과 관련되는 것을 보여준다. 사용자는 둘 이상의 오디오 신호를 동시에 들을 수 있지만, 생성된 것 모두를 반드시 듣는 것은 아니라는 점을 주의한다. 이러한 방식으로, 일부 신호들은 사용자의 감지된 오디오 공간에서 "가청 범위 외"일 수 있다(적어도 그들이 어플리케이션 옵션들로서 제공될 때 또는 오디오 공간에 있는 더 두드러지고, 발견가능한 포지션으로 내비게이트할 때까지). 일 실시예에서, 넓은 내비게이션 비유는 다음과 같이 "범위 내"인 것을 결정하는데 이용될 수 있다:

오른쪽으로 이동 => 다음;

왼쪽으로 이동 => 이전;

앞으로 이동 => 사용자가 현재 초점을 맞춘 신호에서 더 많은 세부사항; 및

뒤로 이동 => 더 적은 세부사항(즉, 상위(parent)로 감), 현재 것과 동일한 새로운 소스들을 포함.

사용자가 오디오 공간에 있는 다수의 위치들로부터 오는 다수의 신호들을 감지할 수 있음을 주의한다. 일부 구현에서, 시스템은 다른 위치들에서 차례로 각각 재생하는 다른 신호들(처음 왼쪽 것, 두번째 직선의 것, 세번째 오른쪽 것)을 가질 수 있다. 그러나 일반적으로 동시적인 소스들을 공간적으로 분리하기 위해 사람의 귀의 능력을 이용함으로써 더 큰 유용성(더 효율적으로 액세스된 사용자 인터페이스)을 얻는 것이 바람직하다.

본 발명의 공간적 사용자 인터페이스의 2개의 예시적인 어플리케이션 또는 사용 상황을 이하 더 설명한다:

(a) MP3 또는 음악 라이브러리 인터페이스:

여기서 사용자는 헤드셋을 착용한다. 처음에 그는 예컨대, 수많은 장르의 이름 또는 샘플들을 듣는다: 왼쪽 귀에서 "힙합", 바로 앞에서 "레개", 오른쪽으로는 "클래식". 그들은 그들이 원하는 장르를 찾을 때까지 오디오 공간 내에서 오른쪽(다음) 및 왼쪽(이전)으로 이동한다. 그들이 오른쪽으로 더 이동함에 따라, 추가적인 장르들은 현재 가장 오른쪽에 있는 것이 중앙으로 회전할 때 나타난다: "락", "컨트리" 등. 그들이 앞에서 원하는 장르를 들으면, 그들은 그 장르로 가기 위해 앞으로 간다. 현재 그들은 다른 아티스트의 이름,"스틸 펄스"를 왼쪽 귀에, 중앙에 "헵톤즈", 오른쪽에 "밥 말리"를 듣는다. 그리고 나서 그들은 아티스트들을 찾기 위해 왼쪽/오른쪽으로 이동한다. 아티스트를 선택하기 위해 그들은 "앞으로" 이동한다. 상위(즉, 장르)로 돌아가기 위해 그들은 뒤로(backward) 버튼을 다시 누를 것이다.

그러한 예에서, 어플리케이션 시스템은 하드 디스크 드라이브와 같은 로컬 저장 디바이스 또는 서버와 같은 원격 디바이스로부터 이용가능한 장르, 앨범 및 트랙들을 읽기 위한 마이크로프로세서 실행 코드일 수 있다. 또한 어플리케이션 시스템은 하나의 장르, 앨범 또는 아티스트로부터의 음악이 얼마나 자주 재생되는지를 일정 시간에 걸쳐 추적하고, 원하는 장르, 앨범 또는 아티스트가 곧 재생될 가능성을 유지할 수 있다. 그러한 어플리케이션 시스템에는 사용자 입력 디바이스(사용자가 왼쪽으로 회전, 오른쪽으로 회전, 디바이스의 적절한 부분을 누름으로써 선택하도록 허용하는 시스템)로서 내비게이션 휠이 제공될 수 있다.

저장 시스템에서 이용가능한 장르의 리스트로부터, 및 그 장르가 얼마나 빈번하게 재생되는지로부터 다수의 사용자 인터페이스 요소들을 형성할 수 있고, 사용자 인터페이스 요소 각각은 사용자가 선택할 수 있는 장르에 상응한다. 각각의 사용자 인터페이스 요소에 대해, 예컨대, 발화된 장르의 이름의 미리-녹음된 오디오 파일일 수 있는 오디오 스트림이 재생 빈도로부터 결정되는 특징적 우선권과 함께 존재할 수 있다. 각각의 사용자 인터페이스 요소는 공간적 모델 관리자에 의해 공간적 모델에 추가될 것이다.

예를 들어, 슈도-코드(pseudo-code)로,

일단 사용자 인터페이스 요소들이 공간적 모델에 추가되면, 공간적 모델 관리자는 그들의 배열을 결정한다. 사용자 인터페이스 요소들이 왼쪽에 더 높은 우선권 및 오른쪽에 더 낮은 우선권을 갖고 동등하게 방사형으로 배치되는 경우, 및 더 낮은 우선권은 더 멀리 떨어져 있는 반면 더 높은 우선권의 요소들은 사용자에게 더 가까이 있는 경우를 고려해보자. 그러한 메카니즘은 더 높은 우선권 요소들은 더 가깝고(그러므로 더 큰) 더 왼쪽에 있고, 따라서 사용자는 다른 요소들이 배치되는 곳 및 그 요소들의 특징들(사용자가 가장 중요하게 찾은 것은 두드러지게 더 왼쪽으로 들리고, 또한 가장 크게 들릴 가능성이 있음)에 대한 좋은 감각을 가질 것임을 주의한다.

본 예에서, 공간적 모델 관리자는 왼쪽 귀에 힙합에 대한 사용자 인터페이스 요소를 꽤 가까이, 배치할 수 있고, 조금 떨어져서 중앙에 레개를 위한 사용자 인터페이스 요소, 및 더 떨어져서(더욱 조용함) 오른쪽으로 있는 클래식 사용자 인터페이스 요소를 배치할 수 있다. 현재 내비게이션 스위치에서 왼쪽으로 회전하는 사용자를 상상해보라. 이러한 움직임은 그들의 머리를 왼쪽으로 회전하는 사용자와 상관될 수 있다. 사용자가 머리를 왼쪽으로 회전하였다면, 이후에 그들의 왼쪽으로 향하고 있는 오디오 신호들이 더 사용자 앞에서 들릴 것이고, 앞에 있었던 오디오 신호들은 더 오른쪽에서 들릴 수 있다. 유사한 프로세스에 의해, 사용자가 입력 디바이스를 왼쪽으로 회전하면, 더 왼쪽에 있는 사용자 인터페이스 신호들이 더 앞에서 들리고, 사용자 앞에 있던 사용자 인터페이스 신호들은 현재 오른쪽에서 들릴 것이다. 사용자가 옵션들의 범위를 탐색하기 위한 간단하고, 직관적이고 빠른 메카니즘을 사용하고, 더 왼쪽에 있는 옵션들은 하나 이상일 가능성이 크고, 입력 디바이스의 회전에 의해 다양한 옵션들이 그들이 선택할 것을 결정할 수 있도록 사용자에 대해 회전하도록 배열될 수 있다. 입력 디바이스에 있는 선택 버튼을 누르는 것은 현재 그들 앞에서 옵션을 선택하도록 할 수 있다.

이러한 인터페이스는 사용자가 연속적으로(이전 것의 재생이 종료된 후) 각각의 옵션을 듣는 일반적 메뉴 시스템보다 훨씬 더 효율적이고, 그것은 자연스러운 방식(그들이 그들 앞에서 들을 때까지 사용자 인터페이스 요소는 듣는 방향으로 다이얼을 회전)으로 내비게이트될 수 있고, 사용자에게 빠르게 적절한 요소(더 가능성 있는 것은 왼쪽에 있고 약간 더 크다)를 식별 및 선택하도록 돕는 각 요소의 퀄리티에 대한 감각을 제공한다.

(b) 전화 회의 시스템:

여기서 사용자는 헤드셋을 착용한다. 사용자는 전화 회의상에서 이야기하는 많은 사람들을 듣고, 그들은 주변에 배열된다?첫 번재 사람은 가장 왼쪽에, 두번째 사람은 45도 왼쪽에, 세번째 사람은 직선 위에, 네번째 사람은 45도 오른쪽에, 및 다섯번째 사람은 가장 오른쪽에 있음?. 전화 회의를 나가기 위해, 사용자는 뒤로 갈 것이고, 이후에 직선 위로부터 모든 참석자들이 말하는 것, 왼쪽 귀에 "전화 회의 나가기" 및 오른쪽 귀에 "무음 전화 회의" 프롬프트를 들을 것이다. 사용자는 다시 전화 회의에 참가하기 위해 앞을 누를 것이다. 사용자는 참석자 중 한 명과 사적인 이야기를 갖기 원한다면, 사용자는 그 사람에 대한 오디오를 앞에 배치하기 위해 그 공간을 회전할 것이다. 그런 다음, 사용자는 다시 앞을 누를 것이다. 사용자는 오직 선택된 일행만 들을 것이다(아마도 그들이 사적인 "방"에 있음을 나타내는 오디오 신호의 추가와 함께). 이것은 사용자가 회의에 참석한 다른 사람들에 의해 들리지 않는, 한 일행과의 대화를 가질 수 있게 해준다. 사용자가 마칠 때, 뒤를 누를 것이고 다시 회의 "방"으로 돌아가 배치될 것이다.

일부 구현에서, 설명한 공간적 사용자 인터페이스를 생성하고 이용하는 본 발명의 방법, 프로세스 또는 동작들은 프로그램된 중앙 프로세싱 장치(CPU) 및 마이크로프로세서에 의해 실행되는 명령들의 집합의 형태로 전적으로 또는 부분적으로 구현될 수 있다. CPU 또는 마이크로프로세서는 헤드셋, 오디오 게이트웨이, MP3 플레이어, 모바일 전화, 데스크탑 컴퓨터, 랩탑 컴퓨터, 또는 다른 컴퓨팅 디바이스에 통합될 수 있다. 명령들은 컴퓨터 판독가능 매체에 탑재되거나 다른 적절한 방식으로 제공되는, 메모리 또는 다른 데이터 저장 디바이스에 저장될 수 있다. 명령들의 실행은 하나 이상의 프로그램된 중앙 프로세싱 유닛(CPU) 또는 마이크로프로세서들 사이에서 공유될 수 있다.

상기 설명한 것처럼 본 발명은 모듈 또는 일체화된 방식으로, 컴퓨터 소프트웨어를 이용하여 제어 로직의 형식으로 구현될 수 있음을 이해하여야 한다. 여기 제공된 개시 및 기술들에 기초하여, 그 기술분야에 있는 당업자는 하드웨어 및 하드웨어 및 소프트웨어의 결합을 이용하여 본 발명을 구현하기 위한 방법들 및/또는 다른 적절한 다른 방식들을 인지하고 이해할 것이다.

상기한 것처럼, 이 어플리케이션에 설명되는 소프트웨어 구성요소 또는 기능들의 일부는 예컨대, 종래의 또는 객체-지향 기술들을 이용하여 예컨대, Java, C++또는 펄과 같은 적절한 컴퓨터 언어를 이용하여 프로세서에 의해 실행되도록 소프트웨어 코드로서 구현될 수 있다. 소프트웨어 코드는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 하드-드라이브 또는 플로피 디스크와 같은 자기 매체, CD-ROM과 같은 광학적 매체상의 일련의 명령들 또는 커맨드들로서 저장될 수 있다. 그러한 일부 컴퓨터 판독가능 매체는 단일 컴퓨터 장치상에 탑재되거나 내재될 수 있고, 시스템 또는 네트워크 내에 있는 상이한 컴퓨터 장치들상에 또는 내부에 표현될 수 있다.

임의의 예시적인 실시예들이 상세히 설명되고, 그리고 첨부한 도면들에 도시되었지만, 그러한 실시예들은 단지 예시적이고 넓은 발명을 제한하기 위한 의도는 아니며, 이러한 발명은 다양한 다른 변형들이 이 기술 분야의 당업자와 함께 일어날 수 있기 때문에, 도시되거나 설명된 특정 배열 및 구조에 제한되지 않음을 이해할 것이다.

여기 사용된 것과 같이, "하나의(a, an)"및 "그(the)"의 사용은 특별히 대조적으로 나타나지 않고 "적어도 하나"를 의미하도록 의도된다.

Claims (20)

1. 사용자 인터페이스를 생성하는 시스템으로서,
   사용자 인터페이스 요소와 연계된 입력 데이터를 수신하고, 사용자가 상기 사용자 인터페이스 요소에 상응하는 오디오 신호를 감지할 공간적 위치를 정의하는 출력 데이터를 생성하도록 동작하는 공간적 모델 생성기;
   입력으로서 오디오 입력을 수신하고, 출력으로서 상기 오디오 신호를 생성하도록 동작하는 공간적 오디오 효과 프로세서로서, 상기 오디오 신호는 상기 공간적 위치에서 상기 사용자에 의해 감지되는 상기 처리된 오디오 입력을 나타내는 상기 공간적 오디오 효과 프로세서; 및
   상기 오디오 신호를 선택하거나, 상기 사용자에 의해 감지되는 상기 오디오 신호의 공간적 배열을 변형하도록 동작하는 사용자 입력 디바이스를 포함하는 시스템.
2. 청구항 1에 있어서,
   상기 공간적 오디오 효과 프로세서는 상기 오디오 신호와 연계된 기능 또는 동작을 사용자에게 연상시키는 정보를 포함하기 위해 상기 오디오 입력을 처리하도록 더 동작하는 시스템.
3. 청구항 2에 있어서,
   상기 오디오 신호와 연계된 기능 또는 동작을 연상시키는 정보는 에코, 볼륨, 상승 핏치(rising pitch), 하강 핏치(falling pitch), 또는 반향(reverberation) 중 하나 이상을 포함하는 시스템.
4. 청구항 1에 있어서,
   상기 공간적 모델 생성기는 상기 오디오 신호와 연계된 상기 사용자 인터페이스 요소의 기능 또는 동작을 사용자에게 연상시키는 공간적 위치를 정의하는 출력 데이터를 생성하도록 동작하는 시스템.
5. 청구항 1에 있어서,
   상기 사용자 입력 디바이스는 내비게이션 스위치, 썸휠(thumbwheel), 가속도계, 터치 센서, 또는 마이크로폰 중 하나 이상인 시스템.
6. 청구항 1에 있어서,
   사용자 인터페이스 요소와 연계된 상기 입력 데이터는 상기 사용자 인터페이스 요소의 기능, 상기 사용자 인터페이스 요소의 동작, 또는 상기 사용자 인터페이스 요소의 상대적 중요성에 관한 하나 이상의 데이터인 시스템.
7. 시스템, 디바이스 또는 어플리케이션을 위한 사용자 인터페이스로서,
   각각의 오디오 신호가 공간적으로 구별되는 위치에서 사용자에 의해 감지되고, 상기 시스템, 디바이스 또는 어플리케이션의 기능 또는 동작과 연계되는 복수의 오디오 신호;
   상기 복수의 오디오 신호 중 하나를 선택하거나, 상기 사용자에 의해 감지되는 상기 오디오 신호들의 공간적 배열을 변경하도록 동작하는 사용자 입력 디바이스; 및
   상기 사용자 입력 디바이스로부터 신호를 수신하고, 응답으로서 상기 시스템, 디바이스 또는 어플리케이션의 기능 또는 동작을 활성화하거나, 상기 사용자에 의해 감지되는 상기 오디오 신호들의 공간적 배열을 변경하도록 동작하는 제어기를 포함하는 사용자 인터페이스.
8. 청구항 7에 있어서,
   상기 복수의 오디오 신호 중 하나 이상은 상기 오디오 신호와 연계된 기능 또는 동작을 사용자에게 연상시키는 정보를 포함하는 사용자 인터페이스.
9. 청구항 8에 있어서,
   상기 오디오 신호와 연계된 기능 또는 동작을 연상시키는 정보는 에코, 볼륨, 상승 핏치, 하강 핏치, 또는 반향 중 하나 이상을 포함하는 사용자 인터페이스.
10. 청구항 7에 있어서,
    상기 사용자 입력 디바이스는 내비게이션 스위치, 썸휠, 가속도계, 터치 센서 또는 마이크로폰 중 하나 이상인 사용자 인터페이스.
11. 청구항 7에 있어서,
    상기 복수의 오디오 신호 중 하나 이상은 상기 오디오 신호와 연계된 기능 또는 동작을 사용자에게 연상시키는 공간적으로 구별되는 위치에서 사용자에 의해 감지되는 사용자 인터페이스.
12. 청구항 7에 있어서,
    상기 복수의 오디오 신호 중 하나 이상은 상기 오디오 신호와 연계된 기능 또는 동작의 상대적 중요성을 상기 사용자에게 연상시키는 공간적으로 구별되는 위치에서 상기 사용자에 의해 감지되는 사용자 인터페이스.
13. 사용자 인터페이스를 생성하는 방법으로서,
    사용자 인터페이스 요소에 관한 정보를 액세스하는 단계;
    상기 액세스된 정보에 기초하여 상기 사용자 인터페이스 요소에 대한 공간적 모델을 생성하는 단계로서, 상기 공간적 모델은 사용자의 감지된 오디오 공간에 있는 포지션에 대한 상기 사용자 인터페이스 요소의 매핑을 표현하는 상기 생성하는 단계;
    오디오 신호를 상기 사용자의 감지된 오디오 공간에 있는 포지션과 연계시키는 단계를 포함하는 방법.
14. 청구항 13에 있어서,
    사용자 입력 디바이스를 통해 상기 사용자로부터 입력을 수신하는 단계; 및
    상기 입력이 사용자 인터페이스 요소에 대한 사용자의 선택 또는 상기 공간적 모델을 변경하기 위한 사용자 요청을 표시하는지 여부를 결정하기 위해 상기 수신된 입력을 처리하는 단계를 더 포함하는 방법.
15. 청구항 13에 있어서,
    상기 액세스된 정보는 상기 사용자 인터페이스 요소의 기능 또는 동작에 관한 정보인 방법.
16. 청구항 13에 있어서,
    상기 액세스된 정보는 상기 사용자 인터페이스 요소의 상대적 중요성에 관한 정보인 방법.
17. 청구항 14에 있어서,
    상기 사용자 입력 디바이스는 내비게이션 스위치, 썸휠, 가속도계, 터치 센서, 또는 마이크로폰 중 하나 이상인 방법.
18. 청구항 13에 있어서,
    상기 사용자의 감지된 오디오 공간에 있는 포지션과 연계된 상기 오디오 신호는, 보이스 프롬프트(voice prompt), 음악 또는 사운드 효과 중 하나 이상인 방법.
19. 청구항 18에 있어서,
    상기 오디오 신호는 상기 오디오 신호와 연계된 상기 사용자 인터페이스 요소 기능 또는 동작을 상기 사용자에게 연상시키는 정보를 포함하는 방법.
20. 청구항 19에 있어서,
    상기 오디오 신호와 연계된 상기 기능 또는 동작을 연상시키는 정보는 에코, 볼륨, 상승 핏치, 하강 핏치 또는 반향 중 하나 이상을 포함하는 방법.

Images