KR20100036351A - 다수의 오디오 장치들 사이의 오디오의 동적인 라우팅 - Google Patents

다수의 오디오 장치들 사이의 오디오의 동적인 라우팅 Download PDF

Info

Publication number
KR20100036351A
KR20100036351A KR1020107001955A KR20107001955A KR20100036351A KR 20100036351 A KR20100036351 A KR 20100036351A KR 1020107001955 A KR1020107001955 A KR 1020107001955A KR 20107001955 A KR20107001955 A KR 20107001955A KR 20100036351 A KR20100036351 A KR 20100036351A
Authority
KR
South Korea
Prior art keywords
audio
routing
screen
user
response
Prior art date
Application number
KR1020107001955A
Other languages
English (en)
Other versions
KR101116487B1 (ko
Inventor
크리스토퍼 맥킬로프
그레고리 크리스티에
후만 보르그헤이
저스틴 에드워드 산타마리아
크리스 리안
니틴 가나트라
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20100036351A publication Critical patent/KR20100036351A/ko
Application granted granted Critical
Publication of KR101116487B1 publication Critical patent/KR101116487B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices
    • G06F13/102—Program control for peripheral devices where the programme performs an interfacing function, e.g. device driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • H04M1/6091—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system including a wireless interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치에 외부 오디오 장치가 접속되었다는 통지를 수신하는 것에 응답하여 사용자 인터페이스 애플리케이션에 의해 상기 전자 장치 상에 라우팅 화면(1705)이 제시된다. 상기 라우팅 화면은 내부 오디오 장치(1721, 1723) 및 상기 외부 오디오 장치(1719)의 표현들을 디스플레이한다. 하나의 양태에서, 그 표현들은 버튼들이다. 다른 양태에서,그 표현들은 목록 내의 항목들이다. 만일 사용자가 표현들 중 하나를 선택하면, 상기 사용자 인터페이스 애플리케이션은 상기 선택이 나타내는 오디오 장치에 오디오 신호들이 라우팅되게 한다. 오디오 애플리케이션에 대한 기능들을 나타내는 객체들의 세트를 갖는 애플리케이션 제어 화면도 디스플레이될 수 있다. 상기 애플리케이션 제어 화면 상의 상기 객체들 중 하나는 상기 외부 오디오 장치의 상태 변화에 응답하여 변경된다. 사용자는 상기 외부 오디오 장치가 접속될 때 상기 라우팅 화면에 액세스하기 위해 이 객체를 선택할 수 있다.

Description

다수의 오디오 장치들 사이의 오디오의 동적인 라우팅{DYNAMIC ROUTING OF AUDIO AMONG MULTIPLE AUDIO DEVICES}
본 발명은 일반적으로 전자 장치에서 오디오 신호들을 라우팅하는 것에 관한 것으로 특히 다수의 오디오 장치들 사이에 오디오 신호들을 라우팅하는 것에 관한 것이다.
컴퓨터 시스템 또는 무선 셀룰러 전화기 또는 다른 데이터 처리 시스템과 같은 전자 장치들은 종종 주변 장치들과 함께 사용될 수 있다. 유선 또는 무선 헤드세트 또는 무선 또는 유선 키보드 또는 유선 또는 무선 커서 제어 장치와 같은 주변 장치는 호스트 시스템이라고 불릴 수 있는 전자 장치에 연결된다. 주변 장치는 전형적으로 입력 및/또는 출력 능력들을 전자 장치에 제공한다.
주변 장치는 또한 하나의 특정 전자 장치 또는 호스트와만 동작하도록 구성될 수 있다. 예를 들면, 무선 헤드세트 주변 장치는 그 무선 헤드세트의 라디오 범위 내에 있는 다른 무선 셀룰러 전화기들보다는 지정된 무선 셀룰러 전화와 통신하도록 그 지정된 무선 셀룰러 전화기와 짝지어질 수 있다. 이것은 무선 헤드세트가 그 무선 헤드세트의 라디오 범위 내에 있는 다른 무선 셀룰러 전화기들에 의해 둘러싸여 있을지라도 사용자가 그 무선 헤드 세트를 그의 지정된 무선 셀룰러 전화기와 함께 동작시킬 수 있게 한다. 따라서, 이 경우의 무선 헤드세트는 그것이 지정된 호스트 시스템과 함께 동작할 수 있게 하는 어떤 지능 또는 데이터를 포함하지만, 무선 헤드 세트에 추가적인 처리 또는 감지 능력은 없다. 블루투스 페어링(pairing) 또는 파트너십은 주변 장치와 호스트 사이에 생성된 관계의 일례이다. 그것은 안전한 방식으로 정보를 교환하기 위하여 사용자에 의해 생성된다. 2개의 장치들 사이에 블루투스 파트너십을 생성하는 것은 양쪽 장치들에서 동일한 PIN(personal indification number)을 입력하는 것을 수반하고; 그러한 파트너십을 생성하는 것은 1회 프로세스(one-time process)이다. 일단 파트너십이 생성되면, 그 장치들은 파트너십을 인지하고 PIN을 다시 입력하지 않고도 정보를 교환할 수 있다.
이어폰 및 스피커와 같은 2개의 내부 오디오 장치들만을 갖는 전자 장치에서 오디오 신호들을 라우팅하려면 그 2개의 장치들 사이의 스위칭이 필요하다. 그러나, 만일 전자 장치가 또한 오디오 주변 장치에 접속된다면, 오디오 신호들의 라우팅은 모호하게 된다. 따라서, 전자 장치는 다수의 오디오 장치들 사이에 오디오 신호들을 어떻게 라우팅할지를 결정해야만 한다. 전형적으로, 라우팅 선택은 사용자에게 맡겨진다. 그러나, 종래 기술의 전자 장치들은 사용자가 오디오 애플리케이션이 시작될 때 오디오 장치를 용이하게 선택할 수 있게 하지 않는다. 더욱이, 종래 기술의 전자 장치들은 사용자가 오디오 애플리케이션이 실행중인 동안에 새로이 접속된 오디오 주변 장치를 용이하게 선택할 수 있게 하지 않는다.
통신 장치와 같은 전자 장치에 외부 오디오 장치가 접속되었다는 통지를 수신하는 것에 응답하여 사용자 인터페이스 애플리케이션에 의해 상기 전자 장치 상에 라우팅 화면이 제시된다. 상기 라우팅 화면은 내부 오디오 장치 및 상기 외부 오디오 장치의 표현들을 디스플레이한다. 하나의 양태에서, 그 표현들은 버튼들이다. 다른 양태에서, 그 표현들은 목록 내의 항목들이다. 만일 사용자가 표현들 중 하나를 선택하면, 상기 사용자 인터페이스 애플리케이션은 상기 선택이 나타내는 오디오 장치에 오디오 신호들이 라우팅되게 한다. 오디오 애플리케이션에 대한 기능들을 나타내는, 버튼들과 같은, 객체들의 세트를 갖는 애플리케이션 제어 화면도 디스플레이될 수 있다. 상기 애플리케이션 제어 화면 상의 상기 객체들 중 하나는 상기 외부 오디오 장치의 상태 변화에 응답하여 변경된다. 사용자는 상기 외부 오디오 장치가 접속될 때 상기 라우팅 화면에 액세스하기 위해 이 객체를 선택할 수 있다. 하나의 양태에서, 상기 라우팅 화면은 오디오 애플리케이션의 실행중에 외부 장치가 접속되면 제시된다. 다른 양태에서, 상기 애플리케이션 제어 화면은 오디오 장치에 의해 오디오 애플리케이션이 시작되면 제시된다.
본 발명은 같은 참조 부호들이 유사한 엘리먼트들을 지시하는 첨부 도면들의 도들에서 제한이 아닌 예로서 예시된다.
도 1은 주변 장치의 예 및 그 주변 장치와 함께 사용되는 데이터 처리 시스템의 예를 포함하는 시스템의 예를 보여준다.
도 2a는 본 명세서에 설명된 발명들의 방법의 실시예의 흐름도이다.
도 2b는 본 명세서에 설명된 발명들의 방법의 특정 실시예의 흐름도이다.
도 3a는 무선 헤드세트 상의 근접 센서로부터의 센서 데이터 및 무선 모바일 셀룰러 전화기 상의 근접 센서로부터의 센서 데이터가 어떻게 그 전화기 및 헤드세트 양쪽 모두의 오디오 구성 설정을 변경하기 위하여 함께 이용되는지의 예를 표 형태로 보여준다.
도 3b는 주변 장치(예를 들면, 무선 헤드세트), 데이터 처리 시스템(예를 들면, 무선 셀룰러 전화기) 및 카 어댑터(car adapter)를 갖는 자동차 안의 사용자에 대한 도를 보여주고; 이 도에서, 사용자는 주변 장치를 착용하고 있다.
도 3c는 자동차 안의 도 3b의 사용자의 다른 도를 보여주고; 이 도에서, 사용자는 주변 장치를 착용하고 있지 않고 데이터 처리 시스템을 들고 있지 않다.
도 4a는 본 명세서에 설명된 발명들의 일 실시예에 따른 휴대용 데이터 처리 시스템의 사시도이다.
도 4b는 본 명세서에 설명된 발명들의 일 실시예에 따른 휴대용 데이터 처리 시스템의 사시도이다.
도 4c는 본 명세서에 설명된 발명들의 일 실시예에 따른 제1 구성의(예를 들면, 열린 구성의) 휴대용 데이터 처리 시스템의 사시도이다.
도 4d는 본 명세서에 설명된 발명들의 일 실시예에 따른 제2 구성의(예를 들면, 닫힌 구성의) 휴대용 데이터 처리 시스템의 사시도이다.
도 5는 본 발명들의 실시예들이 구현될 수 있는 데이터 처리 시스템의 블록도이다.
도 6은 본 명세서에 설명된 발명들의 일 실시예에 따른 근접 센서의 개략 측면도이다.
도 7은 본 명세서에 설명된 발명들의 일 실시예에 따른 대안 근접 센서의 개략 측면도이다.
도 8은 센서들로부터의 데이터가 어떻게 인공 지능 프로세스(또는 다른 논리적 프로세스)와 같은 프로세스에의 입력으로서 이용되는지를 보여주는 블록도이고, 상기 프로세스는 장치의 하나 이상의 구성 설정들을 변경하는 것과 같은 액션들을 생성한다.
도 9a, 9b 및 9c는 본 명세서에 설명된 발명들의 실시예들에 따른 사용자 활동들에 대한 도들이다.
도 10은 본 명세서에 설명된 하나 이상의 실시예들과 함께 사용될 수 있는 데이터 처리 시스템의 예를 블록도 형태로 보여준다.
도 11은 2개의 주변 장치들을 갖는 데이터 처리 시스템 및 그 주변 장치들을 데이터 처리 시스템에 연결하는 독(dock) 또는 다른 커넥터를 블록도 형태로 보여준다.
도 12는 본 명세서에 설명된 발명들의 방법의 실시예를 예시하는 흐름도이다.
도 13은 본 명세서에 설명된 발명들의 방법의 실시예를 예시하는 흐름도이다.
도 14는 본 명세서에 설명된 발명들의 방법의 실시예를 보여주는 흐름도이다.
도 15는 다른 방법을 보여주는 흐름도이다.
도 16은 무선 셀룰러 전화기와 같은 전화기의 구성 또는 선호 설정들을 설정하기 위해 이용될 수 있는 사용자 인터페이스의 예를 보여준다.
도 17a 및 17b는 데이터 처리 시스템 상에 디스플레이되는 애플리케이션 제어 화면의 실시예들을 예시한다.
도 17c 및 17d는 도 17b의 애플리케이션 제어 화면 상의 사용자 입력에 응답하여 디스플레이되는 라우팅 메뉴 화면의 실시예를 예시한다.
도 18은 도 17a-d의 화면들을 제시하고 다수의 주변 장치들 사이에 오디오를 라우팅하기 위해 다른 컴포넌트들과 상호 작용하는 사용자 인터페이스 애플리케이션의 실시예를 예시한다.
도 19, 20 및 21은 도 18에 도시된 사용자 인터페이스 애플리케이션의 실시예에 의해 수행되는 방법들을 예시하는 흐름도들이다.
본 발명들의 다양한 실시예들 및 양태들은 아래에서 논의되는 상세들을 참조하여 설명될 것이고, 첨부 도면들은 그 다양한 실시예들을 예시할 것이다. 다음의 설명 및 도면들은 본 발명의 예시하는 것으로 본 발명을 제한하는 것으로 해석되어서는 안 된다. 본 발명의 다양한 실시예들에 대한 완전한 이해를 제공하기 위해 다수의 특정 상세들이 설명된다. 그러나, 어떤 경우들에서는, 본 발명의 실시예들에 대한 간결한 논의를 제공하기 위해 잘 알려진 또는 종래의 상세들은 설명되지 않는다.
다음의 상세한 설명들 중 일부 부분들은 컴퓨터 메모리 내에 저장된 데이터에 대한 연산들을 포함하는 알고리즘들에 관하여 제시된다. 알고리즘은 일반적으로 원하는 결과에 이르는 자기 모순이 없는 일련의 연산들이다. 이 연산들은 전형적으로 물리적 양들에 대한 물리적 조작들을 수반한다. 반드시 그렇지는 않지만, 통상적으로, 이들 양들은 저장되고, 전달되고, 결합되고, 비교되고, 다른 식으로 조작될 수 있는 전기 또는 자기 신호들의 형태를 취한다. 때때로, 주로 일반적인 용법 때문에, 이들 신호들을 비트, 값, 엘리먼트, 심벌, 문자, 용어, 숫자 등으로 부르는 것이 편리한 것으로 입증되었다.
그러나, 이들 및 유사한 용어들 모두는 적절한 물리적 양들과 관련될 것이고 단지 이들 양들에 적용되는 편리한 라벨들에 불과하다는 것을 유념해야 한다. 다음의 논의로부터 명백한 바와 같이 구체적으로 다르게 진술되지 않는 한, 본 설명의 전반에 걸쳐서, "처리" 또는 "계산" 또는 "산출" 또는 "결정" 또는 "디스플레이" 등과 같은 용어들을 이용한 논의들은 시스템의 레지스터들 및 메모리들 내의 물리적(전기적) 양들로서 표현된 데이터를 조작하여 시스템의 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 전송 또는 디스플레이 장치들 내의 물리적 양들로서 유사하게 표현된 다른 데이터로 변형시키는, 데이터 처리 시스템, 또는 유사한 전자 장치의 액션 및 프로세스들을 지칭할 수 있다.
본 발명은 본 명세서에 설명된 연산들 중 하나 이상을 수행하기 위한 장치에 관련이 있을 수 있다. 이 장치는 요구되는 목적을 위하여 특별히 구성될 수 있고, 또는 그것은 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 작동되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 그러한 컴퓨터 프로그램은 본 명세서에 설명된 연산들을 수행하기 위한 명령어들을 포함할 수 있고 플로피 디스크, 광학 디스크, CD-ROM, 및 자기-광학 디스크를 포함하는 임의의 유형의 디스크, ROM(read-only memory), RAM(random access memory), EPROM(erasable programmable ROM), EEPROM(electrically erasable programmable ROM), 자기 또는 광학 카드, 또는 전자적 명령어들을 저장하기에 적합하고 각각이 버스에 연결된 임의의 유형의 매체들과 같은, 그러나 이들에 제한되지는 않는, 기계(예를 들면, 컴퓨터) 판독가능한 저장 매체에 저장될 수 있다.
컴퓨터 판독가능한(기계 판독가능한) 매체는 기계(예를 들면, 컴퓨터)에 의해 판독가능한 형태로 정보를 저장하거나 전송하기 위한 임의의 메커니즘을 포함한다. 예를 들면, 기계 판독가능한 매체는 ROM; RAM; 자기 디스크 저장 매체; 광학 저장 매체; 플래시 메모리 장치; 전기, 광학, 음향 또는 다른 형태의 전파 신호(예를 들면, 반송파, 적외선 신호, 디지털 신호 등); 등을 포함한다.
도 1은 액세서리라고도 불릴 수 있는 주변 장치(201), 및 그 주변 장치(201)와 데이터를 교환하도록 설계되어 있는 데이터 처리 시스템(203)을 포함하는 시스템(200)의 예를 보여준다. 도 1의 예에서, 주변 장치(201)는 블루투스 인터페이스와 같은 WPAN(wireless personal area network)를 통하여 데이터 처리 시스템(203)과 통신하는 무선 헤드세트일 수 있고, 데이터 처리 시스템(203)은 무선 모바일 셀룰러 전화기 또는 무선 모바일 셀룰러 전화기를 또한 포함하는 PDA(personal digital assistant) 또는 무선 모바일 셀룰러 전화기를 포함하는 핸드헬드 컴퓨터와 같은 범용 컴퓨터 시스템일 수 있다. 특정한 유형의 주변 장치 및 특정한 유형의 데이터 처리 시스템이 도 1에 도시되어 있지만, 대안 실시예들에서는 다른 유형의 주변 장치들 및 데이터 처리 시스템들이 이용될 수 있다는 것을 이해할 것이다. 예를 들면, 대안 실시예들에서, 주변 장치는 유선 헤드세트 또는 유선 또는 무선 키보드 또는 유선 또는 무선 커서 제어 장치 또는 다른 유선 또는 무선 입력 또는 출력 장치들일 수 있고; 다른 경우에, 주변 장치는 PDA 또는 셀룰러 전화기 또는 범용 컴퓨터 시스템과 유사한 데이터 처리 장치라고 생각될 수 있다. 대안 실시예들에서, 데이터 처리 시스템은 범용 컴퓨터 시스템, 또는 특수 용도 컴퓨터 시스템, 또는 엔터테인먼트 시스템, 또는 PDA 또는 다른 장치 내의 임베드된 장치, 또는 미디어 플레이어 등일 수 있다. 주변 장치(201)는 하나 이상의 센서들(211), 오디오 변환기(audio transducer)(213)(스피커일 수 있음), 마이크(209), 및 무선 트랜스시버(207)에 연결되는 주변 프로세서(205)를 포함한다. 주변 프로세서(205)는 무선 트랜스시버 및/또는 센서들 및/또는 주변 프로세서(205) 상에서 실행중인 프로세스들로부터의 신호들에 응답하여, 예를 들면, 블루투스 또는 WiFi 트랜스시버 또는 WLAN(wireless local area network) 또는 WPAN을 생성하기 위해 이용되는 다른 유형의 트랜스시버들일 수 있는, 무선 트랜스시버(207)를 동작시킴으로써, 및 마이크(209) 및 오디오 변환기(213)를 동작시킴으로써 주변 장치(201)의 동작을 제어한다. 주변 프로세서(205)는 오디오 변환기 및 마이크로부터의 입력을 각각 구동하거나 수신하기 위해 오디오 코덱들(미도시) 또는 다른 장치들에 연결될 수 있다. 주변 장치(201)가 전화기의 무선 헤드세트인 경우에, 무선 트랜스시버(207)는 호스트 데이터 처리 시스템으로서 기능하고 스피커(오디오 변환기(213))에 의해 재생될 오디오 데이터를 송신하고 마이크(209)로부터 오디오 데이터를 수신하는 전화기와의 무선 통신 연결을 수립한다. 따라서, 무선 헤드세트는 전화기 상의 유선 헤드세트와 동일한 방식으로 기능한다. 센서들(211)은 사용자 활동 또는 장치 상황(device context)을 검출하거나 측정하도록 설계되어 있는 주변 장치(201) 상의 하나 이상의 센서들일 수 있다. 센서들(211)은, 예를 들면, 근접 센서(proximity sensor) 및/또는 주위 광 센서 및/또는 가속도계 및/또는 본 명세서에 설명된 다른 센서들을 포함할 수 있다. 센서(들)(211)는 센서 데이터(예를 들면, 근접 데이터)를 주변 프로세서(205)에 제공하고, 주변 프로세서(205)는 이 데이터를 처리할 수 있고 또는, 후술된 바와 같이, 그 센서 데이터를 처리를 위해 데이터 처리 시스템에 전송할 수 있다.
데이터 처리 시스템(203)은 무선 모바일 전화 트랜스시버(223)에 연결되는, 하나 이상의 마이크로프로세서들의 세트와 같은, 처리 시스템(211)을 포함하고; 무선 모바일 전화 트랜스시버(223)는, 적어도 어느 정도까지는, 처리 시스템(221)에 의해 제어되는 무선 모바일 셀룰러 전화기 트랜스시버일 수 있다. 일 실시예에서, 데이터 처리 시스템(203)은 무선 셀룰러 전화기를 포함하는 핸드헬드 PDA 또는 핸드헬드 범용 컴퓨터일 수 있다. 이 경우, 무선 셀룰러 전화기를 위해 필요한 RF 회로는 무선 모바일 전화 트랜스시버(223)에 의해 제공될 수 있다. 데이터 처리 시스템(203)은 또한 하나 이상의 센서들(227), 메모리(229), I/O 장치들(231) 및 적어도 하나의 무선 트랜스시버(225)를 포함하고, 이들 각각은 처리 시스템(221)에 연결된다. 처리 시스템(221)은 하나 이상의 버스들을 통하여 데이터 처리 시스템(203)의 나머지에 연결되는 하나 이상의 마이크로프로세서들의 세트를 포함할 수 있다. 하나 이상의 센서들(227)은 데이터 처리 시스템(203) 상에 위치할 수 있고 아래에 더 설명된 바와 같이 사용자 활동 또는 장치 상황을 검출하거나 측정하도록 설계될 수 있다. 하나 이상의 센서들(227)은, 예를 들면, 근접 센서 및/또는 주위 광 센서 및/또는 가속도계 및/또는 본 명세서에 설명된 다른 센서들을 포함할 수 있다. 이들 하나 이상의 센서들(227)로부터의 센서 데이터는 처리 시스템(221)에 제공되고 처리 시스템(221)는 이 데이터를 처리할 수 있고 또는, 본 명세서에 설명된 바와 같이, 이 센서 데이터를 처리를 위해 주변 장치에 전송할 수 있고, 또는 주변 장치 및 처리 시스템(221) 양쪽 모두가 센서 데이터를 처리할 수 있다. I/O(입력/출력) 장치들(231)은 (a) 키보드; (b) 터치 입력 패널; (c) 커서 제어 장치(예를 들면, 조이스틱 또는 트랙패드 등); (d) 스피커; (e) 마이크: (f) 버튼들(예를 들면, 셀룰러 전화기에 대한 "송신(send)" 및 "종료(end)" 또는 다른 버튼들); (g) 디스플레이 장치; 및 (h) 다른 공지된 입력/출력 장치들 중 하나 이상을 포함할 수 있다. 일 실시예에서는, 터치 입력 패널이 디스플레이 장치와 통합되어 디스플레이 장치의 동일한 표면 상에서 입력 및 출력 능력들 양쪽 모두를 제공할 수 있고; 이것은 아래에 더 설명된다. 이들 I/O 장치들은 처리 시스템(221)이 사용자가 원하는 빙식으로 동작하게 하기 위해 사용자가 그 시스템에 명령들 또는 커맨드들을 입력할 수 있게 한다. 메모리(229)는 DRAM 또는 플래시 메모리 또는, 예를 들면, 자기 하드 디스크를 포함하는 다른 유형의 메모리의 임의의 조합일 수 있고, 메모리(229)는 하나 이상의 메모리 컨트롤러를 통하여 처리 시스템에 연결될 수 있고; 메모리(229)는, 컴퓨터 운영 체제(OS) 및, 예를 들면, 웹 브라우저 애플리케이션, 이메일 애플리케이션, 캘린더 애플리케이션, 주소록 애플리케이션, 및 다른 가능한 애플리케이션들과 같은, 사용자 애플리케이션 프로그램들을 포함하는, 컴퓨터 프로그램 명령어들을 저장할 수 있다. 메모리(229)는 또한, 예를 들면, 주소 및/또는 연락(contact) 정보, 캘린더 정보(예를 들면, 이벤트 및 태스크), 북마크/즐겨찾기(예를 들면, "URL들") 및 다른 사용자 데이터(예를 들면, 워드 프로세싱 문서, 스프레드시트, 프리젠테이션 등)와 같은 사용자 데이터를 저장할 수 있다. 처리 시스템(221)은 사용자가 데이터 처리 시스템(203)을 동작시킬 수 있게 하기 위해 메모리(229)로부터 컴퓨터 프로그램 명령어들 및 데이터를 검색하고 저장할 수 있다. 또한, 메모리(229)는 데이터 처리 시스템(203)에서 재생하기 위한 음악 및/또는 다른 미디어를 저장할 수 있고, 데이터 처리 시스템(203)은 사용자가 주변 장치(201)와 같은 주변 장치의 무선 헤드세트 또는 스피커(예를 들면, 이어폰)에서 재생하기 위한 음악 및/또는 다른 미디어를 디스플레이 및 선택하게 할 수 있다. 무선 트랜스시버(들)(225)는 주변 장치(201)와 같은 다른 장치들 또는 무선 네트워크(예를 들면, WiFi 네트워크 또는 다른 WLAN(wireless local area network) 또는 WPAN(wireless personal area network) 등)에의 무선 접속을 제공하는 하나 이상의 무선 트랜스시버를 포함할 수 있다. 무선 트랜스시버(들)(225)는 데이터 처리 시스템(203)에 데이터를 제공하기 위해 처리 시스템(221)에 연결된다. 일 실시예에서, 무선 트랜스시버(들)(225)는 데이터 처리 시스템(203)을 주변 장치(201) 및 옵션으로 다른 주변 장치들(예를 들면, 무선 키보드)에 무선으로 연결하기 위한 블루투스 준수(Bluetooth compliant) 트랜스시버 및 그 시스템(203)을 무선 네트워크 및/또는 다른 장치들에 무선으로 연결하기 위한 WiFi 준수 트랜스시버(예를 들면, IEEE 802.11 a/g 준수 트랜스시버)를 포함한다. 주변 장치(201) 및 데이터 처리 시스템(203)은 블루투스 파트너십을 생성하기 위해, 본 명세서에 설명된 기법들과 같은, 공지된 기법들을 이용하여 함께 짝지어질(paired) 수 있다. 이 페어링(pairing)은 대안적으로 주변 장치(201)와 데이터 처리 시스템(203) 사이에 안전한 인증된 통신 채널을 제공하기 위해 하나의 장치를 다른 장치에 등록하는 다른 기법들을 수반할 수 있다.
일 실시예에서, 주변 장치(201) 및 데이터 처리 시스템(203)은 주변 장치(201) 또는 데이터 처리 시스템(203) 또는 양쪽 모두의 적어도 하나의 센서로부터의 센서 데이터에 기초하여 사용자의 의향 또는 액션들 또는 시스템의 상황을 결정하기 위해 협업하는 것이 가능할 수 있다. 예를 들면, 주변 장치 상의 근접 센서 및 주위 광 센서와 같은 센서들의 세트는 주변 장치가 사용자에 가까이 있지 않다는 것을 나타내는 데이터를 제공할 수 있고, 호스트 상의 다른 센서들의 세트는 호스트가 사용자의 귀의 가까이에 있다는 것을 나타내는 데이터를 제공할 수 있고; 이러한 경우에, 주변 장치 및 호스트는 센서들로부터의 데이터와 같은 데이터 및 그 센서 데이터에 응답하여 주변 장치 및/또는 호스트의 구성의 변화를 자동으로 일으키는 명령들을 교환할 수 있다. 만일, 이 예에서, 주변 장치는 무선 헤드세트이고 호스트는 무선 셀룰러 전화기이면, 주변 장치는 그의 센서 데이터를 호스트에 전송할 수 있고 호스트는 이 센서 데이터와 함께 호스트로부터의 센서 데이터를 처리하여 사용자가 무선 셀룰러 전화기를 그 사용자의 귀에 대고 있고 헤드세트는 사용자에 가까이 있지 않다는 것을 결정하고, 따라서 호스트는 호스트의 스피커 및 마이크를 자동으로 사용 가능하게 할 것이고 헤드세트로 하여금 헤드세트의 스피커 및 마이크를 사용 불가능하게 하는 명령을 헤드세트에 전송할 것이다.
도 2a는 본 발명들의 일 실시예에 따른 방법의 일반적인 예를 보여준다. 동작 250에서는, 호스트에 또는 주변 장치에 또는 호스트 및 주변 장치 양쪽 모두에 있을 수 있는 적어도 하나의 센서로부터 데이터 처리 시스템의 상태에 관한 데이터가 얻어진다. 동작 252에서는, 주변 장치에 또는 호스트에 있는 적어도 하나의 센서로부터 또는 양쪽 모두의 센서들로부터 주변 장치의 상태에 관한 데이터가 얻어진다. 적어도 특정 실시예들에서, 방법은 동작 250을 생략할 수 있고 또는 동작 252를 생략할 수 있고 또는 이들 동작들을 도 2a에 도시된 것과 상이한 순서로 수행할 수 있다는 것을 이해할 것이다. 동작 254에서는, 처리 시스템이 센서들 중 적어도 하나의 센서로부터의 데이터에 기초하여 주변 장치 또는 호스트 또는 양쪽 모두의 구성을 변경할지를 결정한다. 어떤 다른 곳에서 지적된 바와 같이, 호스트 및 주변 장치는 이 결정을 수행하기 위해 센서 데이터를 교환할 수 있고, 호스트 또는 주변 장치 중 하나 또는 양쪽 모두가 동작(254)의 일부 또는 전부를 수행할 수 있다. 그 후 동작 256에서는, 주변 장치 또는 호스트 또는 양쪽 모두가 구성의 변경을 수행한다. 이 구성의 변경은 호스트 또는 주변 장치 또는 양쪽 모두에서 특정 기능을 사용 불가능하게 하는 것을 수반할 수 있고 또는 주변 장치 또는 호스트 또는 양쪽 모두에서 특정 기능을 사용 가능하게 하는 것을 수반할 수 있다. 예를 들면, 구성의 변경은 오디오 시스템(예를 들면, 스피커 및 마이크)을 온 또는 오프 시키는 것 또는 디스플레이의 백라이트 또는 디스플레이를 위한 다른 광원 등을 온 또는 오프 시키는 것을 수반할 수 있다. 도 2a에서 참조되는 호스트는 데이터 처리 시스템(203)일 수 있고 도 2a에서 참조되는 주변 장치는 도 1에 도시된 주변 장치(201)일 수 있다는 것을 이해할 것이다.
도 2b는 본 발명들의 일 실시예에 따른 특정 방법을 예시한다. 동작 261은 무선 셀룰러 전화기와 같은 무선 전화기의 주변 장치인 무선 헤드세트 상의 센서들로부터 센서 데이터를 얻는 것을 수반한다. 도 2b에서 참조되는 무선 헤드세트는 주변 장치(201)일 수 있고 도 2b에서 참조되는 무선 전화기는 데이터 처리 시스템(203)일 수 있다. 무선 헤드세트는 헤드세트가 사용자의 귀의 가까이에 있는지를 결정하기 위해 이용될 수 있는 센서 데이터를 얻기 위해 이용되는, 근접 센서 및 주위 광 센서 및 음향 센서와 같은 하나 이상의 센서들을 포함할 수 있다. 동작 263에서는, 무선 헤드세트가 그의 센서들로부터 얻어진 센서 데이터를 무선 전화기에 전송하고 무선 전화기는 이 센서 데이터와 함께 무선 전화기 상의 센서들로부터의 센서 데이터를 처리한다. 무선 전화기 상의 센서들은 모두 무선 전화기 상에 있는, 근접 센서, 주위 광 센서, 및 가속도계와 같은 하나 이상의 센서들을 포함할 수 있다. 무선 헤드세트는 이 센서 데이터를 WPAN(wireless personal area network)을 통하여 전송할 수 있다. 도 1에 도시된 예에서, 무선 트랜스시버(207)는 센서 데이터를 데이터 처리 시스템에 전송할 수 있고 그것은 무선 트랜스시버(225)에 의해 수신된다. 일 실시예에서, 무선 트랜스시버(207)는 블루투스 준수 트랜스시버일 수 있고 무선 트랜스시버(225)도 블루투스 준수 트랜스시버일 수 있다. 무선 헤드세트로부터의 센서 데이터 및 무선 전화기로부터의 센서 데이터는 무선 헤드세트 및 전화기의 사용자의 이용 상태를 결정하기 위해 함께 처리된다. 이 센서 데이터를 처리하는 것에 응답하여, 무선 전화기는 동작 265에서 양쪽 센서 데이터의 그룹들에 기초하여 자신에 대하여 구성을 자동으로 선택하고(예를 들면, 무선 전화기 상의 스피커 및 마이크를 스위치 오프 시키고 무선 헤드세트의 스피커 및 마이크를 스위치 온 시키는 것 등) 헤드세트 상의 스피커 및 마이크를 스위치 온 시키는 것과 같은, 구성을 선택하는 명령을 무선 헤드세트에 전송한다. 이러한 구성의 선택은 무선 헤드세트 및 무선 전화기 양쪽 모두의 센서들로부터의 센서 데이터의 처리에 응답하여 일어난다. 도 2b에 도시된 방법의 다수의 대안 구현들이 있다는 것을 이해할 것이다. 예를 들면, 무선 전화기로부터의 센서 데이터는 무선 헤드세트에 전송될 수 있고, 무선 헤드세트는 무선 전화기로부터의 센서 데이터 및 무선 헤드세트로부터의 센서 데이터를 처리하여 그 전화기 및 무선 헤드세트 양쪽 모두의 구성을 어떻게 설정할지를 결정하고 무선 전화기로 하여금 그의 구성을 변경하게 하는 명령을 무선 전화기에 전송한다.
도 3a는 헤드세트 주변 장치로부터의 센서 데이터 및 전화기인 데이터 처리 시스템으로부터의 센서 데이터가 어떻게 전화기 및 헤드세트 양쪽 모두에 대한 특정한 액션들을 일으킬 수 있는지의 예를 보여준다. "헤드세트 근접(Headset Proximity)"이라는 라벨이 붙은 칼럼은 헤드세트 상의 근접 센서로부터 얻어진 근접 센서 데이터의 특징 묘사를 보여준다. "전화기 근접(Phone Proximity)"이라는 라벨이 붙은 칼럼은 전화기 상의 근접 센서로부터의 근접 센서 데이터의 3가지 상이한 인스턴스들의 특징 묘사를 보여준다. "오디오를 사용 가능하게 함(Enable Audio On)"이라는 라벨이 붙은 칼럼은 센서 데이터의 3가지 상이한 인스턴스들에 응답하여 헤드세트 및 전화기 양쪽 모두에 의해 취해지는 액션을 보여준다. 인스턴스(275)는 헤드세트가 사용자로부터 멀리 있고 전화기가 사용자에 가까이 있는 경우를 예시한다. 이것은, 예를 들면, 헤드세트가 탁자 위에 놓여 있고 전화기가 사용자의 손에 있는 경우에 일어날 수 있다. 이 인스턴스에서, 결합된 센서 데이터는, 옵션으로 다른 센서 데이터와 함께, 도 3a의 인스턴스(275)에서 보이는 바와 같이, 헤드세트 상의 오디오 시스템은 사용 불가능하게 되어야 하고 전화기 상의 오디오 시스템은 사용 가능하게 되어야 하는 것을 결정하도록 분석된다. 인스턴스(277)의 경우에는, 헤드세트 상의 근접 센서로부터의 센서 데이터는 헤드세트가 사용자에 가까이 있는 것을 나타내는 반면, 전화기 상의 근접 센서로부터의 근접 센서 데이터는 전화기가 사용자로부터 멀리 있다는 것을 나타낸다. 이 경우 헤드세트 및 전화기를 포함하는 시스템은 헤드세트 상의 오디오 시스템을 사용 가능하게 하고 전화기 상의 오디오 시스템을 사용 불가능하게 한다. 인스턴스(279)에서는, 헤드세트 및 전화기 상의 근접 센서들로부터의 센서 데이터는 헤드세트 및 전화기 양쪽 모두가 사용자에 가까이 있다는 것을 나타내고 이 경우, 자동으로 일어날 수 있는 디폴트(default) 액션은 헤드세트 상의 오디오를 사용 가능하게 하고 전화기 상의 오디오를 사용 불가능하게 하는 것이다. 인스턴스(279)는 사용자가 전화기를 들고 있고 헤드세트가 사용자에 의해 사용자의 귀에 착용되고 있는 경우를 나타낸다.
일 실시예에서, 만일 양쪽 장치들이 사용자를 검출하면, 그것들은 어느 것이 우선권을 얻어야 하는지를 결정하려고 한다는 것을 이해할 것이다. 다른 센서들이 이러한 동작을 수행하는 데 이용될 수 있다. 예를 들면, 음향 센서는 그 2개의 장치들로부터의 음향 강도에 기초하여 사용자가 무선 헤드세트에 말하고 있고 전화기에 말하고 있지 않다는 것을 밝힐 수 있다. 또한 상황 또는 사용자 액션들에 응답하여 주변 장치 및 데이터 처리 시스템 양쪽 모두를 어떻게 구성할지를 결정하는 것을 돕기 위하여 그 장치들 중 하나 또는 양쪽 모두에 대한 움직임 및 방위를 제공하기 위해 가속도계들이 이용될 수 있다. 예를 들면, 만일 양쪽 장치들이 탁자 위에 있고 하나가 들어 올려지고 다른 하나는 그렇지 않다면, 어느 것이 들어 올려지지 않았는지를 나타내는 가속도계들로부터의 데이터를 이용하여, 시스템은 들어 올려지지 않은 장치가 사용될 수 없게 할 수 있다. 예를 들면, 전화기는 탁자 위에 남겨지고 무선 헤드세트는 들어 올려진다면, 전화기의 오디오 시스템은 사용 불가능하게 되고 무선 헤드세트의 오디오 시스템은 전화 통화 또는 다른 통신을 위해 사용 가능하게 된다. 특정 실시예들에서는, 주변 장치 및 데이터 처리 시스템이 그 2개의 장치들 중 어느 것이 사용 불가능할지를 결정할 수 있을 때까지 주변 장치 및 데이터 처리 시스템의 양쪽 오디오 시스템들이 사용 가능하게 될 수 있다.
도 3b 및 3c는 무선 셀룰러 전화기와 같은 데이터 처리 시스템, 및 그 데이터 처리 시스템과 함께 동작하는 무선 헤드세트와 같은 주변 장치가 어떻게 자동차와 같은 자동차에 고정된 어댑터 장치와 같은 데이터 처리 시스템과도 동작할 수 있는지의 예를 보여준다. 도 3b 및 3c에 도시된 예들에서, 사용자(303)는 무선 셀룰러 전화기일 수 있는 데이터 처리 장치(309)와 공동으로 사용되도록(interoperate) 설계되어 있는 전화기 카 어댑터(307)를 포함하는 차(301) 안에 앉아 있다. 도 1에 도시된 데이터 처리 시스템(203)은 데이터 처리 시스템(309)일 수 있다. 주변 장치(305)는 도 3b의 경우에 사용자의 귀에 착용되어 있는 것으로 도시되어 있고, 도 3c의 경우에, 무선 헤드세트(305)는 사용자(303) 바로 옆의 차의 시트 상에 있는 것으로 도시되어 있다. 도 1에 도시된 주변 장치(201)는 무선 헤드세트일 수 있는 주변 장치(305)일 수 있다. 전화기 카 어댑터(307)는 전화기의 오디오가 무선 헤드세트 상의 또는 무선 전화기(309) 상의 마이크 또는 스피커가 아닌 차의 스피커 및 차 안의 마이크를 통하여 라우팅될 수 있도록 데이터 처리 시스템(309)와 무선으로 통신한다. 전화기 카 어댑터(307)는 또한 사용자가 데이터 처리 시스템(309)으로부터의 미디어를 차의 스피커들을 통하여 재생하게 할 수 있다. 예를 들면, 만일 데이터 처리 시스템(309)이 노래들을 재생하기 위한 미디어 플레이어를 포함한다면, 전화기 카 어댑터(307)는 노래들로부터의 오디오를 데이터 처리 시스템(309)으로부터 차의 스피커들을 구동하는 전화 카 어댑터(307)에 전송함으로써 차의 스피커들을 통하여 노래들이 재생되도록 구성될 수 있다. 사용자는 전화기 카 어댑터(307)가 무선 헤드세트(305) 및 무선 전화기(309) 중 하나 또는 양쪽 모두의 센서들로부터의 센서 데이터에 응답하여 차의 스피커들에 오디오를 라우팅하도록 자동으로 구성될 수 있도록 전화기 카 어댑터(307)를 설정할 수 있다. 도 3b의 경우에, 무선 헤드세트(305) 상의 근접 센서들 또는 다른 센서들은 사용자(303)가 무선 헤드세트를 착용하고 있는 것을 나타낸다. 이 경우, 무선 헤드세트로부터의 센서 데이터는 무선 헤드세트에서 또는 무선 전화기(309)에서 처리될 수 있고, 이 처리의 결과는 무선 전화기(309) 상의 오디오 시스템을 사용 불가능하게 하고 차의 스피커들로의 오디오의 라우팅을 사용 불가능하게 하면서 무선 헤드세트의 오디오 시스템은 사용 가능하게 되어야 한다는 것을 나타낸다. 도 3c의 경우에, 무선 헤드세트(305) 및 무선 전화기(309) 중 하나 또는 양쪽 모두의 센서들은 어느 쪽 장치도 사용자에 가까이 있지 않다는 것을 결정하고 그에 응답하여 오디오가 전화기 카 어댑터(307)에 라우팅되게 하여 전화기 카 어댑터(307)가 차의 스피커들을 구동하게 하고 또한 무선 헤드세트(305) 및 무선 전화기(309) 중 하나 또는 양쪽 모두가 어느 쪽 장치도 사용자에 가까이 있지 않다는 것을 결정하는 것에 응답하여 자동으로 사용자가 차의 오디오 시스템을 이용할 수 있도록 차의 마이크를 사용 가능하게 한다.
본 발명들의 적어도 특정 실시예들은 주변 장치 또는 데이터 처리 시스템 중 하나 또는 양쪽 모두에 사용자 활동 또는 장치 상황을 모니터하기 위한 하나 이상의 센서들을 포함한다. 본 발명들의 적어도 특정 실시예들은 또한 사용자 활동 또는 주변 장치 및/또는 데이터 처리 시스템의 상황에 기초하여 주변 장치 및/또는 데이터 처리 시스템의 상태를 자동으로 변경하는 것을 포함할 수 있다. 그러한 자동 변경은, 예를 들면, 특정한 미리 결정된 사용자 활동들에 기초하여, 자동으로 오디오 설정을 변경하거나 또는 휴대용 장치의 디스플레이 장치의 백라이트를 활성화 또는 비활성화시키거나 또는 휴대용 장치의 입력 장치를 특정한 상태로 설정하는 것을 포함할 수 있다.
본 발명들의 적어도 특정 실시예들은 미디어를 제공하기 위한 미디어 처리 시스템, 미디어를 저장하기 위한 저장 장치를 포함할 수 있는, 휴대용 음악 및/또는 비디오 미디어 플레이어와 같은, 디지털 미디어 플레이어를 포함할 수 있고 안테나 시스템 및 미디어 처리 시스템과 연결된 RF(radio frequency) 트랜스시버(예를 들면, 셀룰러 전화기를 위한 RF 트랜스시버)를 더 포함할 수 있다. 특정 실시예들에서는, 원격 저장 장치에 저장된 미디어가 RF 트랜스시버를 통하여 미디어 플레이어에 전송될 수 있다. 미디어는, 예를 들면, 음악 또는 다른 오디오, 정지 화상, 또는 동화상 중 하나 이상일 수 있다.
휴대용 미디어 플레이어는 캘리포니아주, 쿠퍼티노의 애플 컴퓨터사(Apple Computer, Inc.)로부터의 iPod® 또는 iPod Nano® 미디어 플레이어 상의 클릭 휠 입력 장치, 터치 화면 입력 장치, 푸시버튼 장치, 움직일 수 있는 포인팅 입력 장치 또는 다른 입력 장치와 같은 미디어 선택 장치를 포함할 수 있다. 미디어 선택 장치는 저장 장치 및/또는 원격 저장 장치 상에 저장된 미디어를 선택하기 위해 이용될 수 있다. 휴대용 미디어 플레이어는, 적어도 특정 실시예들에서, 입력 장치를 통하여 선택되고, 스피커 또는 이어폰(들)을 통하여, 또는 디스플레이 장치에서, 또는 디스플레이 장치 및 스피커 또는 이어폰(들) 양쪽 모두에서 제공되는 타이틀들 또는 다른 표시자들을 디스플레이하기 위해 미디어 처리 시스템에 연결되는 디스플레이 장치를 포함한다. 휴대용 미디어 플레이어의 예들은 공개된 미국 특허 출원 번호 2003/0095096 및 2004/0224638에 기술되어 있고, 이 2건의 문헌들은 참고로 본 명세서에 통합된다.
본 명세서에 설명된 발명들의 실시예들은, 예를 들면, 엔터테인먼트 시스템 또는 PDA(personal digital assistant), 또는 범용 컴퓨터 시스템, 또는 특수 용도 컴퓨터 시스템, 또는 다른 장치 내의 임베드된 장치, 또는 미디어 플레이어들을 포함하지 않는 셀룰러 전화기, 또는 이들 장치들의 특징들 또는 기능들을 조합하는 장치들(예를 들면, 하나의 휴대용 장치에 PDA, 엔터테인먼트 시스템, 및 셀룰러 전화기와 결합된 iPod®와 같은 미디어 플레이어)과 같은, 다른 유형의 데이터 처리 시스템의 일부일 수 있다.
도 4b는 본 발명의 일 실시예에 따른 데이터 처리 시스템을 예시하고; 도 4b의 이 데이터 처리 시스템은 도 1에 도시된 데이터 처리 시스템(203)의 실시예로서 구현될 수 있고, 도 2a에 도시되고 도 2a에 관하여 설명되어 있는 방식으로 주변 장치와 함께 동작할 수 있다. 도 4b는 "캔디-바(candy-bar)" 스타일을 갖는 전화기 구성의 무선 장치를 보여준다. 도 4b에서, 무선 장치(30)는 하우징(32), 디스플레이 장치(34), 영숫자 키패드일 수 있는 입력 장치(36), 스피커(38), 마이크(40) 및 안테나(42)를 포함할 수 있다. 무선 장치(30)는 또한 근접 센서(44) 및 가속도계(46)를 포함할 수 있다. 도 4b의 실시예는 더 많은 또는 더 적은 수의 센서들을 이용할 수 있고 도 4b에 도시된 폼 팩터와 다른 폼 팩터를 가질 수 있다는 것을 이해할 것이다.
디스플레이 장치(34)는 하우징(32)의 위쪽 부분에 배치된 것으로 도시되어 있고, 입력 장치(36)는 하우징(32)의 아래쪽 부분에 배치된 것으로 도시되어 있다. 안테나(42)는 하우징(32)의 위쪽 부분에서 하우징(32)으로부터 연장하는 것으로 도시되어 있다. 스피커(38)도 디스플레이 장치(34)보다 위에 하우징(32)의 위쪽 부분에 도시되어 있다. 마이크(40)는 입력 장치(36)보다 아래에 하우징(32)의 아래쪽 부분에 도시되어 있다. 스피커(38) 및 마이크(40)는 하우징의 어느 위치에든 배치될 수 있지만, 전형적으로 각각 사용자의 귀 및 입과 일치하여 배치된다는 것을 이해할 것이다. 근접 센서(44)는 스피커(38)에 또는 그 가까이에 및 적어도 부분적으로 하우징(32) 내에 도시되어 있다. 가속도계(46)는 하우징(32)의 아래쪽 부분에 및 하우징(32) 내에 도시되어 있다. 전술한 특징부들의 특정 위치들은 대안 실시예들에서 바뀔 수 있다는 것을 이해할 것이다.
디스플레이 장치(34)는, 예를 들면, 입력을 받아들이는 능력을 포함하지 않는 LCD(liquid crystal display) 또는 LCD를 또한 포함하는 터치 입력 화면일 수 있다. 입력 장치(36)는, 예를 들면, 버튼, 스위치, 다이얼, 슬라이더, 키 또는 키패드, 내비게이션 패드, 터치 패드, 터치 화면 등을 포함할 수 있다.
스피커(38), 마이크(40) 및 안테나(42) 각각을 위하여 임의의 잘 알려진 스피커, 마이크 및 안테나가 사용될 수 있다.
근접 센서(44)는 무선 장치(30)에 관한 물체들의 위치(예를 들면, 무선 장치(30)로부터의 거리), 방향, 속도 등을 검출할 수 있다. 무선 장치에 관한 물체의 위치는 적어도 특정 실시예들에서는 거리로서 표현될 수 있다. 근접 센서는 위치 또는 움직임 데이터 또는 양쪽 모두를 생성할 수 있고, 이것들은 휴대용 장치(30) 및/또는 근접 센서(44)에 관한 물체들의 위치를 결정하기 위해 이용될 수 있다. 도 6에는 근접 센서의 예가 도시되어 있다.
또한, 처리 장치(도시되지 않음)가 근접 센서(들)(44)에 연결된다. 처리 장치는 휴대용 장치(30) 또는 근접 센서(44) 또는 양쪽 모두에 관한 물체들의 위치를 근접 센서(44)에 의해 제공되는 위치 및/또는 움직임 데이터에 기초하여 결정하기 위해 이용될 수 있다. 근접 센서는 연속적으로 또는 주기적으로 물체 위치를 모니터할 수 있다. 근접 센서는 또한 그것이 검출하고 있는 물체의 유형을 결정하는 것이 가능할 수 있다.
근접 센서들에 관한 추가적인 정보는 "PROXIMITY DETECTOR IN HANDHEND DEVICE"라는 명칭의, 미국 특허 출원 번호 11/241,839, 및 "PROXIMITY DETECTOR IN HANDHELD DEVICE"라는 명칭의, 미국 특허 출원 번호 11/240,788; 2005년 6월 23일에 출원된, "METHODS AND APPARATUS FOR REMOTELY DETECTING PRESENCE"라는 명칭의, 미국 특허 출원 번호 11/165,958, 및 2003년 6월 24일에 발행된, "PROXIMITY/TOUCH DETECTOR AND CALIBRATION CIRCUIT"이라는 명칭의, 미국 특허 번호 6,538,676에서 발견할 수 있고, 이 문헌들 모두는 온전히 그대로 참고로 본 명세서에 통합된다.
일 실시예에 따르면, 가속도계(46)는 무선 장치의 가속 또는 감속을 포함하는 움직임을 검출할 수 있다. 가속도계(46)는 복수의 차원들에 대한 움직임 데이터를 생성할 수 있고, 이것들은 무선 장치의 움직임의 방향을 결정하기 위해 이용될 수 있다. 예를 들면, 가속도계(46)는 가속도계(46)가 휴대용 장치가 이동되는 것을 검출할 때 X, Y 및 Z 축 가속 정보를 생성할 수 있다. 일 실시예에서, 가속도계(46)는 미국 특허 번호 6,520,013에 기술된 바와 같이 구현될 수 있고, 이 문헌은 온전히 그대로 참고로 본 명세서에 통합된다. 대안적으로, 가속도계(46)는 Kionix로부터의 KGF01 가속도계 또는 Analog Devices로부터의 ADXL311 가속도계 또는 당업계에 알려져 있는 다른 가속도계들일 수 있다.
또한, 처리 장치(도시되지 않음)가 가속도계(들)(46)에 연결된다. 처리 장치는 무선 장치(30)의 움직임 벡터라고도 불리는, 움직임의 방향을 산출하기 위해 이용될 수 있다. 움직임 벡터는 가속도계(46)에 의해 제공되는 움직임 데이터(예를 들면, X, Y 및 Z에서의 움직임)에 기초하여 하나 이상의 미리 결정된 공식들에 따라서 결정될 수 있다. 처리 장치는 가속도계(46)와 통합되거나 또는, 예를 들면, 휴대용 장치의 마이크로프로세서의 칩셋과 같은 다른 컴포넌트들과 통합될 수 있다.
가속도계(46)는 연속적으로 또는 주기적으로 휴대용 장치의 움직임을 모니터할 수 있다. 그 결과, 휴대용 장치에 부착된 가속도계에 의해 제공되는 움직임에 기초하여 움직임 이전의 및 움직임 이후의 휴대용 장치의 방위가 결정될 수 있다.
가속도계에 관한 추가적인 정보는 2004년 11월 12일에 출원된 동시 계류중인 미국 특허 출원 번호 10/986,730에서 발견될 수 있고, 이 문헌은 온전히 그대로 참고로 본 명세서에 통합된다.
근접 센서(44) 및 가속도계(46)로부터 획득된 데이터는, 사용자의 활동들에 관한 정보를 수집하기 위해, 함께 조합되거나, 또는 단독으로 이용될 수 있다. 근접 센서(44), 가속도계(46) 또는 양쪽 모두로부터의 데이터는, 예를 들면, 디스플레이 백라이트를 활성화/비활성화시키거나, 커맨드들을 개시하거나, 선택을 하거나, 디스플레이에서 스크롤링 또는 다른 움직임을 제어하거나, 입력 장치 설정들을 제어하거나, 또는 장치의 하나 이상의 설정들에 다른 변경을 행하기 위해 이용될 수 있다.
도 4a는 본 발명의 일 실시예에 따른 휴대용 장치(50)를 보여준다. 이 휴대용 장치(50)는 하우징(52), 디스플레이/입력 장치(54), 스피커(56), 마이크(58) 및 옵션의 안테나(60)(이것은 하우징의 외부에 보일 수 있거나 또는 하우징 안에 숨겨질 수 있다)를 포함할 수 있다. 휴대용 장치(50)는 또한 근접 센서(62) 및 가속도계(64) 및 옵션으로 다른 센서들(예를 들면, 주위 광 센서)을 포함할 수 있다. 휴대용 장치(50)는 셀룰러 전화기 또는 통합된 PDA 및 셀룰러 전화기인 장치 또는 통합된 미디어 플레이어 또는 셀룰러 전화기인 장치 또는 엔터테인먼트 시스템(예를 들면, 게임을 플레이하기 위한) 및 셀룰러 전화기 양쪽 모두인 장치일 수 있고, 또는 휴대용 장치(50)는 본 명세서에 설명된 다른 유형의 장치들일 수 있다. 하나의 특정 실시예에서, 휴대용 장치(50)는 셀룰러 전화기 및 미디어 플레이어 및 범용 컴퓨터를 포함할 수 있고, 그것들 모두는 하우징(52) 내에 포함된다. 휴대용 장치(50)는 도 1에 도시된 데이터 처리 시스템(203)의 실시예로서 구현될 수 있고 도 2a에 도시되고 도 2a에 관하여 설명된 방식으로 주변 장치와 함께 동작할 수 있다. 휴대용 장치(50)는 정상 성인의 손 안에 맞을 만큼 작고 성인이 한 손으로 운반할 수 있을 만큼 가벼운 폼 팩터를 가질 수 있다. 용어 "휴대용(portable)"은 장치가 성인 사용자의 손(한쪽 또는 양쪽)으로 쉽게 들릴 수 있는 것을 의미함을 이해할 것이고; 예를 들면, 랩톱 컴퓨터 및 iPod는 휴대용 장치들이다.
일 실시예에서, 디스플레이/입력 장치(54)는 LCD와 같은 디스플레이인 것 외에도 멀티-포인트(multi-point) 터치 입력 화면을 포함할 수 있다. 일 실시예에서, 멀티-포인트 터치 화면은 터치 패널의 평면 내의 별개의 위치들에서 동시에 일어나는 복수의 터치들(예를 들면, 디스플레이를 동시에 터치하거나 또는 거의 터치하는 사용자의 얼굴 또는 복수의 손가락들로부터의 디스플레이 상의 얼룩들) 또는 니어 터치들(near touches)(예를 들면, 디스플레이 상의 얼룩들(blobs))을 검출하고 복수의 터치들 각각에 대한 터치 패널의 평면 상의 터치들의 위치를 나타내는 별개의 신호들을 생성하도록 구성된 용량성 감지 매체(capacitive sensing medium)이다. 멀티-포인트 입력 터치 화면에 관한 추가적인 정보는 2004년 5월 6일에 출원된 동시 계류중인 미국 특허 출원 번호 10/840,862(발행된 미국 특허 출원 20060097991을 참조)에서 발견될 수 있고, 이 문헌은 온전히 그대로 참고로 본 명세서에 통합된다. 멀티-포인트 입력 터치 화면은 멀티-터치 입력 패널이라고도 불릴 수 있다.
처리 장치(도시되지 않음)가 디스플레이/입력 장치(54)에 연결될 수 있다. 처리 장치는 터치 패널 상의 터치들을 산출하기 위해 이용될 수 있다. 디스플레이/입력 장치(54)는 검출된 터치(예를 들면, 사용자의 얼굴로부터의 얼룩 또는 얼룩들) 데이터를 이용하여, 예를 들면, 특정 물체들의 위치를 식별하고 또한 디스플레이/입력 장치(54)를 터치하는(또는 거의 터치하는) 물체의 유형을 식별할 수 있다.
근접 센서(62) 및 디스플레이/입력 장치(54)로부터 획득된 데이터는 본 명세서에 설명된 바와 같이 사용자의 활동들에 관한 정보를 수집하기 위해 조합될 수 있다. 근접 센서(62) 및 디스플레이/입력 장치(54)로부터의 데이터는, 예를 들면, 디스플레이/입력 장치(54)의 조명 설정을 변경하는 것과 같이, 휴대용 장치(50)의 하나 이상의 설정들을 변경하기 위해 이용될 수 있다.
일 실시예에서, 도 4a에 도시된 바와 같이, 디스플레이/입력 장치(54)는 휴대용 장치(50)의 하우징(52)의 하나의 표면(예를 들면, 상부 표면)의 큰 부분을 차지한다. 일 실시예에서, 디스플레이/입력 장치(54)는 휴대용 장치(50)의 실질적으로 전체 정면 표면을 소비한다. 다른 실시예에서, 터스플레이/입력 장치(54)는, 예를 들면, 휴대용 장치(50)의 하우징(52)의 정면 표면의 적어도 75%를 소비한다. 대안 실시예들에서, 휴대용 장치(50)는 입력 능력들을 갖지 않는 디스플레이를 포함할 수 있지만, 그 디스플레이도 휴대용 장치(50)의 하나의 표면의 큰 부분을 차지한다. 이 경우, 휴대용 장치(50)는 QWERTY 키보드 또는 휴대용 장치(50)의 일부분으로부터 미끄러져 나오거나(slide out) 또는 회전하여 나오는(swing out) 다른 유형의 키보드와 같은 다른 유형의 입력 장치들을 포함할 수 있다.
도 4c 및 4d는 본 발명의 일 실시예에 따른 휴대용 장치(70)를 예시한다. 이 휴대용 장치(70)는 도 1에 도시된 데이터 처리 시스템(203)의 실시예로서 구현될 수 있고 도 2a에 도시되고 도 2a에 관하여 설명된 방식으로 주변 장치와 함께 동작할 수 있다. 휴대용 장치(70)는 디스플레이 하우징(89)을 키패드 하우징(91)에 연결하는 힌지(hinge)(87)를 포함하는 셀룰러 전화기일 수 있다. 힌지(87)는 셀룰러 전화기가 도 4c 및 4d에 도시된 2개의 상이한 구성들 중 적어도 하나의 구성에 놓일 수 있도록 사용자가 셀룰러 전화기를 열고 닫을 수 있게 한다. 하나의 특정 실시예에서, 힌지(87)는 디스플레이 하우징을 키패드 하우징에 회전 가능하게 연결할 수 있다. 특히, 사용자는 셀룰러 전화기를 열어 그것을 도 4c에 도시된 열린 구성에 놓이게 하고 셀룰러 전화기를 닫아 그것을 도 4d에 도시된 닫힌 구성에 놓이게 할 수 있다. 키패드 하우징(91)은 사용자로부터 입력들(예를 들면, 전화 번호 입력들 또는 다른 영숫자 입력들)을 수신하는 키패드(95) 및 사용자로부터 음성 입력을 수신하는 마이크(97)를 포함할 수 있다. 디스플레이 하우징(89)은, 그의 안쪽 표면 상에, 디스플레이(93)(예를 들면, LCD) 및 스피커(98) 및 근접 센서(84)를 포함할 수 있고; 그의 바깥쪽 표면 상에, 디스플레이 하우징(89)은 스피커(96), 온도 센서(94), 디스플레이(88)(예를 들면, 다른 LCD), 주위 광 센서(92), 및 근접 센서(84A)를 포함할 수 있다. 따라서, 이 실시예에서, 디스플레이 하우징(89)은 그의 안쪽 표면 상에 제1 근접 센서 및 그의 바깥쪽 표면 상에 제2 근접 센서를 포함할 수 있다. 제1 근접 센서는 그 제1 근접 센서의 특정 거리 안에 있는 사용자의 머리 또는 귀를 검출하고 이 검출에 응답하여 디스플레이들(93 및 88)의 조명 설정이 자동으로 변경되게 하기 위해 이용될 수 있다(예를 들면, 양쪽 디스플레이들에 대한 조명은 오프 되거나 또는 그렇지 않다면 감소된 전력 상태로 설정된다). 제2 근접 센서로부터의 데이터는, 주위 광 센서(92)로부터의 데이터 및 온도 센서(94)로부터의 데이터와 함께, 셀룰러 전화기가 사용자의 호주머니 안에 놓인 것을 검출하기 위해 이용될 수 있다.
적어도 특정 실시예들에서, 휴대용 장치(70)는 셀룰러 전화기와 같은 무선 통신 장치, 미디어 플레이어, 엔터테인먼트 시스템, PDA, 또는 본 명세서에 설명된 다른 유형의 장치들의 기능들 중 하나 이상을 제공하는 컴포넌트들을 포함할 수 있다. 실시예의 하나의 구현에서, 휴대용 장치(70)는 MP3 음악 파일과 같은 MP3 파일들을 재생하는 미디어 플레이어와 통합된 셀룰러 전화기일 수 있다.
도 4a, 4b, 4c 및 4d에 도시된 장치들 각각은 무선 셀룰러 전화기와 같은 무선 통신 장치일 수 있고, 무선 통신을 위한 능력을 제공하는 복수의 컴포넌트들을 포함할 수 있다. 도 5는 무선 통신을 위한 능력을 제공하는 무선 장치(100)의 실시예를 보여준다. 이 무선 장치(100)는 도 4a, 4b, 4c 및 4d에 도시된 장치들 중 어느 하나에 포함될 수 있지만, 도 4a, 4b, 4c 및 4d의 장치들의 대안 실시예들은 무선 장치(100)보다 더 많은 또는 더 적은 수의 컴포넌트들을 포함할 수 있다. 또한, 무선 장치(100)의 전부 또는 부분들이 데이터 처리 시스템(203)의 일부로서 구현될 수 있고, 무선 장치(100)는 도 2a에 관하여 본 명세서에 설명된 방식으로 주변 장치와 함께 동작할 수 있다.
무선 장치(100)는 안테나 시스템(101)을 포함할 수 있다. 무선 장치(100)는 또한 안테나 시스템(101)을 통하여 음성, 디지털 데이터 및/또는 미디어 신호들을 송신 및/또는 수신하기 위해, 안테나 시스템(101)에 연결된, 디지털 및/또는 아날로그 RF(radio frequency) 트랜스시버(102)를 포함할 수 있다.
무선 장치(100)는 또한 디지털 RF 트랜스시버를 제어하고 음성, 디지털 데이터 및/또는 미디어 신호들을 관리하기 위한 디지털 처리 시스템(103)을 포함할 수 있다. 디지털 처리 시스템(103)은 예를 들면 마이크로프로세서 또는 컨트롤러와 같은 범용 처리 장치일 수 있다. 디지털 처리 시스템(103)은 또한 ASIC(application specific integrated circuit), FPGA(field-programmable gate array) 또는 DSP(digital signal processor)와 같은 특수 용도 처리 장치일 수 있다. 디지털 처리 시스템(103)은 또한 무선 장치(100)의 다른 컴포넌트들과 인터페이스하기 위한, 당업계에 알려져 있는, 다른 장치들을 포함할 수 있다. 예를 들면, 디지털 처리 시스템(103)은 무선 장치(100)의 다른 컴포넌트들과 인터페이스하기 위한 아날로그-디지털 및 디지털-아날로그 컨버터들을 포함할 수 있다. 디지털 처리 시스템(103)은 미디어 처리 시스템(109)을 포함할 수 있고, 그것 역시 오디오 데이터의 파일들과 같은 미디어를 관리하기 위한 범용 또는 특수 용도 처리 장치를 포함할 수 있다.
무선 장치(100)는 또한 무선 장치(100)를 위한 데이터 및/또는 운영 프로그램들을 저장하기 위한, 디지털 처리 시스템에 연결된, 저장 장치(104)를 포함할 수 있다. 저장 장치(104)는, 예를 들면, 임의의 유형의 솔리드-스테이트 또는 자기 메모리 장치일 수 있다.
무선 장치(100)는 또한 사용자 입력들(예를 들면, 전화 번호, 이름, 주소, 미디어 선택 등)을 받아들이기 위한, 데이터 처리 시스템(103)에 연결된, 하나 이상의 입력 장치들(105)을 포함할 수 있다. 입력 장치(105)는, 예를 들면, 키패드, 터치패드, 터치 화면, 디스플레이 장치와 조합된 포인팅 장치 또는 유사한 입력 장치 중 하나 이상일 수 있다.
무선 장치(100)는 또한 메시지, 전화 통화 정보, 연락 정보, 사진, 영화 및/또는 입력 장치(105)를 통하여 선택되어 있는 미디어의 타이틀들 또는 다른 표시자들과 같은 정보를 디스플레이하기 위한, 디지털 처리 시스템(103)에 연결된, 적어도 하나의 디스플레이 장치(106)를 포함할 수 있다. 디스플레이 장치(106)는, 예를 들면, LCD 디스플레이 장치일 수 있다. 일 실시예에서, 디스플레이 장치(106) 및 입력 장치(105)는 동일한 장치에 함께 통합될 수 있다(예를 들면, LCD 디스플레이 장치와 같은 디스플레이 장치와 통합되는 멀티-터치 입력 패널과 같은 터치 화면 LCD). 함께 통합된 터치 입력 패널 및 디스플레이의 예들은 미국 공개 출원 번호 2006097991에 제시되어 있다. 디스플레이 장치(106)는 특정 상황 하에서 디스플레이 장치(106)를 조명하기 위한 백라이트(106a)를 포함할 수 있다. 무선 장치(100)는 복수의 디스플레이들을 포함할 수 있다는 것을 이해할 것이다.
무선 장치(100)는 또한 디지털 RF 트랜스시버(102), 디지털 처리 시스템(103), 저장 장치(104), 입력 장치(105), 마이크(105A), 오디오 변환기(108), 미디어 처리 시스템(109), 센서(들)(110), 및 디스플레이 장치(106)를 포함하는 시스템의 컴포넌트들에 동작 전력을 공급하기 위한 배터리(107)를 포함할 수 있다. 배터리(107)는, 예를 들면, 재충전가능한 또는 재충전가능하지 않은 리튬 또는 니켈 금속 하이브리드 배터리일 수 있다.
무선 장치(100)는 또한 하나 이상의 스피커를 포함할 수 있는 오디오 변환기(108), 및 적어도 하나의 마이크(105A)를 포함할 수 있다.
무선 장치(100)는 또한 디지털 처리 시스템(103)에 연결된 하나 이상의 센서들(110)을 포함할 수 있다. 센서(들)(110)는, 예를 들면, 근접 센서, 가속도계, 터치 입력 패널, 주위 광 센서, 주위 잡음 센서, 온도 센서, 자이로스코프, 힌지 검출기, 위치 결정 장치, 방위 결정 장치, 움직임 센서, 음향 센서, 라디오 주파수 전자파 센서, 및 다른 유형의 센서들 및 그의 조합들 중 하나 이상을 포함할 수 있다. 그러한 센서들 중 하나 이상은 또한 데이터 처리 시스템과 함께 동작(예를 들면, 데이터 처리 시스템과 데이터를 교환)하도록 구성되는 주변 장치에 포함될 수 있다. 센서(들)(110) 및 주변 장치 상의 센서(들)에 의해 획득된 데이터에 기초하여, 데이터 처리 시스템 또는 주변 장치 또는 양쪽 모두에 의해, 예를 들면, 백라이트(106a)를 활성화 또는 비활성화시키는 것, 입력 장치(105)의 설정을 변경하는 것(예를 들면, 입력 장치로부터의 임의의 입력 데이터를 의도적인 사용자 입력으로서 처리하거나 처리하지 않는 것 사이에 스위칭하는 것), 다른 응답들 또는 그의 조합들과 같은, 다양한 응답들이 자동으로 수행될 수 있다.
일 실시예에서, 디지털 RF 트랜스시버(102), 디지털 처리 시스템(103) 및/또는 저장 장치(104)는 PCB(printed circuit board) 상에 배치된 하나 이상의 집적 회로들을 포함할 수 있다.
도 6 및 7은 본 발명의 실시예들에 따른 예시적인 근접 센서들을 예시한다. 대안 실시예들에서는, 도 6 및 7에 도시된 근접 센서들보다는, 용량성 센서 또는 소나 유형(sonar-like) 센서들과 같은 다른 유형의 근접 센서들이 이용될 수 있다는 것을 이해할 것이다. 도 6에서, 근접 센서(120)는 방사기(emitter)(122), 검출기(124), 및 창(126)을 포함한다. 방사기(122)는 적외선(IR) 대역 내의 광을 생성할 수 있고, 예를 들면, LED(Light Emitting Diode)일 수 있다. 검출기(124)는 광 강도의 변화를 검출하도록 구성될 수 있고, 예를 들면, 포토트랜지스터일 수 있다. 창(126)은 투명 또는 반투명 재료로 형성될 수 있다. 일 실시예에서, 창(126)은, 예를 들면, 전형적으로 휴대용 장치의 마이크 또는 스피커에서 발견되는 망사(mesh)와 같은, 음향 망사(acoustic mesh)이다. 다른 실시예들에서, 창(126)은 망사, 또는 콜드 미러(cold mirror)에 감겨진 마이크로퍼프(MicroPerf), IR 투명 실(transparent strands)일 수 있다.
동작 중에, 방사기(122)로부터의 광은 물체(128)가 창(126) 위에 존재할 경우 물체에 부딪혀서 산란한다. 방사기로부터의 광은 알려진 주파수를 갖는 구형파 펄스들(square wave pulses)로 방사될 수 있어, 검출기(124)는 주위 광과 사용자의 머리 또는 귀 또는 사용자의 호주머니 내의 물질과 같은 물체에 의해 검출기(124)로 도로 반사되는 방사기(122)로부터의 광을 구별할 수 있다. 산란된 광의 적어도 일부는 검출기(124) 쪽으로 반사된다. 광 강도의 증가는 검출기(124)에 의해 검출되고, 이것은 처리 시스템(도 6에는 도시되지 않음)에 의해 검출기(124)의 짧은 거리 안에 물체가 존재하는 것을 의미하는 것으로 해석된다. 만일 어떤 물체도 존재하지 않거나 물체가 검출기(124)로부터 특정 거리를 넘어서 존재한다면, 불충분한 또는 보다 작은 양의 방사된 광이 검출기(124) 쪽으로 도로 반사되고, 이것은 처리 시스템(도 6에는 도시되지 않음)에 의해 물체가 존재하지 않거나 비교적 큰 거리에 존재하는 것을 의미하는 것으로 해석된다. 각 경우에, 근접 센서는 광을 반사하는 물체와 검출기(124) 사이의 거리에 관련되는 반사된 광의 강도를 측정하고 있다.
일 실시예에서, 방사기(122) 및 검출기(124)는 도 4a-4d에 관하여 위에 설명된 것들과 같은, 휴대용 장치의 하우징 내에 배치된다.
도 7에서, 근접 센서의 방사기(122) 및 검출기(124)는 반사된 광의 검출을 증진하기 위해 서로를 향하여 안쪽으로 향하게 되어 있지만, 도 7의 근접 센서는 그렇지 않다면 도 6의 근접 센서와 유사한 방식으로 동작한다.
본 발명들의 실시예들에서 사용되는 센서들 중 적어도 일부는 아날로그 값을 나타내는 데이터를 결정하거나 제공할 수 있다는 것을 이해할 것이다. 즉, 그 데이터는 하나의 값으로부터 다음 값으로 양자, 불연속의 점프들(quantum, discrete jumps)을 갖는 불연속 값들이기보다는, 연속적으로 또는 실질적으로 연속적으로 변할 수 있는 가능한 값들의 세트 중 어느 하나의 값일 수 있는 값을 나타낸다. 또한, 데이터가 나타내는 값은 미리 결정되지 않을 수 있다. 예를 들면, 근접 센서에 의해 측정되는 거리의 경우에, 그 거리는, 미리 결정된 값을 나타내는 키패드 상의 키들의 값들과 달리, 미리 결정되지 않는다. 예를 들면, 근접 센서는 아날로그 방식으로 연속적으로 또는 거의 연속적으로 바뀔 수 있는 거리를 나타내는 데이터를 결정하거나 제공할 수 있고; 그러한 근접 센서의 경우에, 거리는 근접 센서의 방사기로부터 시작된 반사된 광의 강도에 대응할 수 있다. 온도 센서는 아날로그 값인 온도를 나타내는 데이터를 결정하거나 제공할 수 있다. 주위 광 센서와 같은 광 센서는 아날로그 값인 광 강도를 나타내는 데이터를 결정하거나 제공할 수 있다. 가속도계와 같은 움직임 센서는 움직임의 측정치(예를 들면, 속도 또는 가속도 또는 양쪽 모두)를 나타내는 데이터를 결정하거나 제공할 수 있다. 자이로스코프는 방위의 측정치(예를 들면, 피치(pitch) 또는 편요(yaw) 또는 회전(roll)의 양)를 나타내는 데이터를 결정하거나 제공할 수 있다. 음향 센서는 음향 강도의 측정치를 나타내는 데이터를 결정하거나 제공할 수 있다. 다른 유형의 센서들의 경우, 센서에 의해 결정되거나 제공되는 데이터는 아날로그 값을 나타낼 수 있다.
도 8은 본 발명의 적어도 하나의 실시예에 따른 사용될 수 있는 센서들로부터의 다양한 입력들 및 수행될 수 있는 액션들의 다이어그램을 보여준다. 도 4a-4d에 도시된 장치들 및 주변 장치(201) 및 데이터 처리 시스템(203)을 포함하는, 본 명세서에 설명된 장치들 중 어느 하나는 도 8에 의해 나타내어진 인공 지능의 이용에 따라서 동작할 수 있다. 도 8의 좌측의 하나 이상의 입력들은 장치의 다양한 센서들로부터 수신되고 인공 지능(AI) 로직에 입력된다. 도 8의 우측의 하나 이상의 액션들은 입력들의 임의의 조합에 응답하여 자동으로 AI 로직에 의해 구현될 수 있다. 이 실시예의 하나의 구현에서, 그 액션들은 하나 이상의 센서들에 의해 데이터가 감지된 후에 실질적으로 즉시 구현된다.
도 8의 예시적인 입력들은, 예를 들면, 근접 데이터, 근접 데이터 및 얼룩 검출 데이터(예를 들면, 멀티포인트 터치 입력 화면으로부터의), 근접 데이터 및 가속도계 데이터, 가속도계 데이터 및 얼룩 검출 데이터, 근접 데이터 및 온도 데이터, 근접 데이터 및 주위 광 데이터, 및 다수의 다른 가능한 조합들을 포함할 수 있다.
도 8의 예시적인 액션들은, 예를 들면, 주변 장치 및 데이터 처리 시스템 중 하나의 오디오 시스템을 사용 가능하게 하면서 다른 것의 오디오 시스템을 사용할 수 없게 하는 것, 휴대용 장치의 디스플레이의 백라이트를 오프 시키는 것, 사용자가 사용자 인터페이스에서 입력하는 능력을 억제하는 것(예를 들면, 입력 장치를 잠그는 것), 전화기의 모드를 변경하는 것 등을 포함할 수 있다. 상기 액션들의 조합들이 AI 로직에 의해 구현될 수도 있다는 것을 이해할 것이다. 예를 들면, AI 로직은 디스플레이의 백라이트를 오프 시키고 사용자가 사용자의 인터페이스에서 입력하는 능력을 억제하는 것 양쪽 모두를 행할 수 있다.
도 8의 AI 로직은 AI(artificial intelligence) 프로세스를 수행한다. 특정 실시예들에서, AI 프로세스는 특정한 의도적인 사용자 입력이 없이 또는 그와 관련된 미리 결정된 데이터를 갖는 사용자 입력들(예를 들면, 키 입력들)이 없이 수행될 수 있다. 도 8의 AI 로직에 의해 수행되는 인공 지능 프로세스는, 데이터의 패턴 인식 및/또는 해석을 포함하는, 각종의 전통적인 AI 로직 처리를 이용할 수 있다. 예를 들면, AI 로직은 하나 이상의 센서들로부터 데이터를 수신하고 그 데이터를 하나 이상의 임계값들과 비교하고, 그 비교들에 기초하여, 데이터를 어떻게 해석할지를 결정할 수 있다. 일 실시예에서, 임계값은 근접 센서에서의 광 강도 측정치로부터 얻어지는 값과 비교되는 거리를 나타낼 수 있다. 임계값보다 더 큰 거리를 나타내는 광 강도 측정치는 (방사기의 광을 반사한) 물체가 가까이에 있지 않다는 것을 나타내고, 임계값보다 더 작은 거리를 나타내는 광 강도 측정치는 물체가 가까이에 있다는 것을 나타낸다. 또한, 입력 데이터는 적어도 2개의 해석을 받을 수 있고(예를 들면, 근접 센서로부터의 데이터가 사용자의 머리가 센서의 가까이에 있는 것을 나타내므로, 백라이트를 오프 시키거나, 근접 센서로부터의 데이터가 사용자의 머리가 가까이에 있지 않은 것을 나타내므로, 백라이트를 디스플레이 타이머의 제어 하에 남겨둠), AI 프로세스는 사용자 활동을 예측하는 해석을 골라잡기 위해 상기 적어도 2개의 해석들 중에서 선택하려고 시도한다. 그 해석(예를 들면, 하나의 해석의 선택)에 응답하여, AI 로직은 도 8에 나타내어진 바와 같이 액션이 수행되게 하고, 여기서 액션은 장치의 하나 이상의 설정들을 변경할 수 있다. 적어도 특정 실시예들에서, AI 로직은 하나 이상의 센서들로부터의 데이터를 해석하고(그 해석은 AI 프로세스에게 적어도 2개의 가능한 해석들 중에서 선택할 것을 요구한다) 센서 데이터의 해석 및 장치의 현 상태(예를 들면, 사용자가 현재 장치 내의 전화기를 통하여 통신하고 있는지 여부) 양쪽 모두에 기초하여 액션(예를 들면, 장치의 설정을 변경하는 것)을 선택하는 AI 프로세스를 수행할 수 있다.
특정 실시예들에서, AI 프로세스는 센서 데이터에 대한 패턴 인식의 전통적인 방법들을 수행할 수 있다. 예를 들면, 장치와 사용자의 귀 사이의 거리의 변화율은 패턴(예를 들면, 사용자가 장치를 그의 귀에 더 가까이 이동시킬 때 감속을 나타냄)을 가질 수 있고, 거리의 변화율에서의 이러한 패턴은 패턴 매칭 알고리즘에 의해 검출될 수 있다. 문구 "인공 지능(artificial intelligence)"은 전반에 걸쳐서 장치의 사용자에 의한 사용에 관하여 하나 이상의 센서들로부터 입수할 수 있는 데이터로부터 결론(명시적이든지 암시적이든지)이 도출될 수 있음을 의미하기 위해 사용된다. 이 결론은 장치에서 표현될 수 있거나(예를 들면, "사용자가 전화기 상에서 말하고 있다") 또는 표현되지 않을 수 있지만 그것은 사용자가 그런 식으로 장치를 사용하고 있다면 적당할 장치에 대한 특정한 액션들 또는 설정들에 매핑될 것이다. 예를 들면, 전화기는 그것이 (1) 마이크에 말해지고 있는 음성, (2) 전화기가 네트워크에 접속되는 것, 및 (2) 근접 센서가 활성인 것을 검출할 때는 언제나, 화면 백라이트는 어둑하게 되도록 사전 프로그램될 수 있다. 그러한 사전 프로그래밍은 간단한 논리(예를 들면, 간단한 조합 논리)를 수반할 수 있지만, 그럼에도 불구하고 본 명세서에서 사용되는 인공 지능의 범위 안에 있을 것이다. AI의 통계 분석, 반복, 및 다른 복잡한 양태들을 배우는 것이 본 발명과 함께 이용될 수 있지만, 그것들은 고려되는 기초적인 인공 지능에 대하여 요구되지 않는다. 마찬가지로, 단어 "분석(analyze)"은 복잡한 통계 또는 기타 분석을 수반하지 않고, 단일 임계치 또는 기준(datum)의 관찰만을 수반할 수 있다.
AI 처리는, 적어도 특정 실시예들에서, AI 프로세스에의 입력들을 형성하는 데이터를 제공하는 하나 이상의 센서들에 연결되는, 디지털 처리 시스템(103)과 같은, 프로세서 또는 처리 시스템에 의해 수행될 수 있다.
적어도 특정 실시예들에서, 본 명세서에 설명된 방법들 중 임의의 방법에 따라 동작하는, 장치는 적어도 하나의 입력 장치(예를 들면, 키패드 또는 키보드 또는 터치 입력 패널)를 가질 수 있고 그 적어도 하나의 입력 장치는 그와는 별개이고 분리되어 있고 의도적인 사용자 입력들을 수신하도록 설계되어 있지 않은 하나 이상의 센서들에 더하여 (예를 들면, 특정한 사용자 입력을 특정하는) 의도적인 사용자 입력들을 수신하도록 설계되어 있다. 사실, 사용자는 장치 상의 하나 이상의 센서들의 존재를 알아채지 못할 수도 있다.
도 9a-c는 휴대용 장치의 하나 이상의 센서들에 의해 획득된 입력 데이터에 기초하여 결정될 수 있는 예시적인 사용자 활동들을 예시한다. 예시적인 사용자 활동들은, 사용자가 휴대용 장치를 직접 바라보는 것(도 9a), 사용자가 휴대용 장치를 그의 귀에 또는 귀의 가까이에 유지하는 것(도 9b), 사용자가 휴대용 장치를 그의 호주머니 또는 지갑 안에 넣는 것(도 9c) 등을 포함하지만, 이에 제한되지는 않는다.
본 발명의 실시예들에 따라 모니터될 수 있는 사용자 활동들 및/또는 몸짓들에 관한 추가적인 정보는 2004년 7월 30일에 출원된, "GESTURES FOR TOUCH SENSITIVE INPUT DEVICES"라는 명칭의, 미국 특허 출원 번호 10/903,964, 2005년 1월 18일에 출원된, "MODE-BASED GRAPHICAL USER INTERFACES FOR TOUCH SENSITIVE INPUT DEVICES"라는 명칭의, 미국 특허 출원 번호 11/038,590에 개시되어 있고, 이들 문헌 모두는 온전히 그대로 참고로 본 명세서에 통합된다.
이제 데이터 처리 시스템 및/또는 데이터 처리 시스템의 주변 장치에 관한 특정 사용자 활동들에 자동으로 응답하는 방법이 설명될 것이다. 이 방법은, 휴대용 장치에 관한 사용자 활동을 나타내도록 설계된 센서 데이터를 수집하는 것 및 사용자 활동의 검출에 응답하여 하나 이상의 미리 결정된 자동화된 액션들을 수행하는 기계 실행가능한 코드를 실행하는 것을 포함하지만, 이에 제한되지는 않고, 이 방법은 도 4a-4d에 도시된 장치들 및 주변 장치(201) 및 데이터 처리 시스템(203) 중 어느 하나에 의해 수행될 수 있고 도 8에 도시된 인공 지능 프로세스를 이용할 수도 있고 또는 이용하지 않을 수도 있다. 센서 데이터는 하나 이상의 센서들로부터 수집되고; 센서 데이터는 사용자 활동 또는 장치 상황에 관한 정보를 제공한다. 예를 들면, 근접 센서는 장치가 사용자의 귀의 가까이에 있는지를 나타낼 수 있고; 온도 센서, 주위 광 센서(또는 차동(differential) 주위 광 센서) 및 근접 센서는 함께 장치가 사용자의 호주머니 안에 있는 것을 나타낼 수 있고; 자이로스코프 및 근접 센서는 함께 사용자가 장치를 바라보고 있는 것을 나타낼 수 있다. 하나 이상의 센서들로부터의 데이터는 분석되고; 이 분석은, 그 센서들 중 하나 이상의 센서 내의 프로세서를 포함하는, 장치 내의 하나 이상의 프로세서들에 의해 수행될 수 있다. 분석은 센서 데이터에 기초하여 사용자 활동을 예측하려고 시도한다. 이 분석으로부터의 예측은, 일부 경우에, 틀릴 수 있다는 것을 이해할 것이다. 예를 들면, 만일 사용자가 장치를 들고 있을 때 근접 센서 위에 손가락을 놓으면, 이것은 분석이 장치가 사용자의 머리 또는 귀의 가까이에 있는 것으로 틀리게 추단하게 할 수 있다. 분석 후에, 하나 이상의 센서들로부터의 데이터의 분석에 적어도 부분적으로 기초하여 하나 이상의 장치 설정들이 조정될 수 있다. 이 조정은 장치의 조명 설정을 변경하는 것 또는 본 명세서에 설명된 다른 액션들을 포함할 수 있다.
데이터를 감지하고 감지된 데이터에 자동으로 응답하는 방법들의 다른 예들은 2006년 10월 24일에 출원된, "AUTOMATED RESPONSE TO AND SENSING OF USER ACTIVITY IN PORTABLE DEVICES"라는 명칭의, 미국 특허 출원 번호 11/586,862에 제공되어 있고, 이 출원은 참고로 본원에 통합된다. 예시된 방법들에 대해, 감지된 데이터, 데이터의 분석 및 감지된 데이터에 대한 응답(들)에 대한 변형들을 포함하는, 몇 개의 변형들이 이루어질 수 있다는 것을 이해할 것이다.
장치의 설정을 조정할지 또는 어떻게 조정할지를 결정하기 위하여 장치의 모드가 이용될 수 있다. 장치의 모드는 스피커폰 모드 또는 비-스피커폰(non-speakerphone) 모드, 배터리 전원(battery powered) 모드 또는 비 배터리 전원(non battery powered) 모드, 통화 대기 모드(call waiting mode) 또는 비 통화 대기 모드, 장치가 알람의 음향과 같은 음향을 낼 수 있는 경보 모드 등과 같은, 각종의 모드들 또는 조건들 중 어느 하나를 포함할 수 있다. 사용자 활동에 관한 데이터(예를 들면, 얼굴로부터의 얼룩들을 검출할 수 있는, 터치 입력 패널 및/또는 근접 센서와 같은 하나 이상의 센서들로부터의 데이터)는 장치의 모드에 관하여 분석되고 그 분석은 장치의 설정을 조정할지를 결정하려고 시도한다. 감지된 사용자 활동 및 장치 모드에 기초하여 하나 이상의 장치 설정들이 조정될 수 있다. 예를 들면, 장치는 근접 데이터, 및 옵션으로 다른 데이터(예를 들면, 움직임 센서 및 주위 광 센서로부터의 데이터)가 사용자가, 이 경우 전화기일 수 있는, 장치를 사용자의 귀 옆에 두었음을 나타낼 때 스피커폰 모드로부터 비-스피커폰 모드로 자동으로 스위칭할 수 있다. 이 예에서, 장치는 그 스위치가 일어나야 함을 나타내는 사용자로부터의 어떤 의도적인 입력 없이도 스피커폰 모드로부터 비-스피커폰 모드로 자동으로 스위칭하였다. 다른 방법은 장치가 사용자의 귀의 가까이에 있는지 여부에 따라서 경보 또는 알람 음량을 조정하는 것을 수반한다. 이 예에서, 만일 사용자 활동에 관한 데이터가 장치가 사용자의 귀에 인접해 있음을 나타내고 또한 장치의 모드가 알람 또는 경보가 장치로 하여금 음향을 만들게 하도록 설정되어 있다면, 장치는 경보 또는 알람에 대한 음량 레벨을 제1 레벨로부터 제1 레벨만큼 소리가 크지 않은 제2 레벨로 자동으로 변경할 것이다.
문구 "근접 센서(proximity sensor)"는 전반에 걸쳐서 물체가 센서의 특정 거리 안에 존재하는지를 검출할 수 있는, 용량성, 온도, 유도성(inductive), 적외선 또는 다른 각종의 센서와 같은, 센서를 의미하기 위해 사용된다. 이 검출의 주요 물체는 사용자의 머리(또는 디스플레이 화면의 보기(viewing)를 제공할 임의의 다른 물체)일 수 있다.
본 발명들의 실시예들 중 어떤 것이라도 사용자가 하나 이상의 센서들에 의해 초래된 결과들을 무효화(override)할 수 있는 하나 이상의 사용자 인터페이스 컨트롤들을 포함할 수 있다. 예를 들면, 근접 센서가 디스플레이로 하여금 감소된 전력 소비 상태에 들어가게 한 후에 디스플레이가 풀 전력(full power)으로 되돌아가게 하기 위해 사용자에 의해 버튼과 같은 컨트롤이 눌릴 수 있다. 다른 예에서, 사용자 인터페이스 컨트롤은, 장치와의 사용자 상호 작용(예를 들면, 장치를 흔드는 것)을 검출하는, 가속도계와 같은, 센서(또는 센서들의 그룹)일 수 있고, 그 사용자 상호 작용은 하나 이상의 센서들에 의해 초래된 상태의 무효화를 초래하도록 설정되었다.
본 발명들의 특정 실시예들은 광에 관한 데이터를 제공하는 하나 이상의 광 센서들을 채용할 수 있고, 그 데이터는 무선 장치(100)와 같은 장치의 하나 이상의 설정들을 조정할지 여부를 결정하기 위해 분석된다. 주위 광 센서에 의해 그 센서를 둘러싸는 광 강도의 레벨을 나타내는 주위 광 레벨 데이터가 제공될 수 있다. 장치 상의 상이한 위치들에 배치되는 2개 이상의 주위 광 센서들로부터 주위 광 차동 데이터가 얻어질 수 있다. 예를 들면, 하나의 주위 광 센서는 장치의 한 측면에 있을 수 있고, 다른 주위 광 센서는 장치의 다른 측면에 있을 수 있다. 광 강도 레벨들의 차이는 장치의 2개의 상이한 측면들 또는 표면들 상의 이들 2개의 주위 광 센서들로부터의 데이터를 비교함으로써 결정될 수 있다. 광 센서의 각종의 가능한 사용법들이 존재한다. 장치를 진동 모드로만 설정되게 하거나 가청 울림(audible ringing)과 함께 진동 모드로 설정되게 하도록 장치가 호주머니 안에 놓인 때를 결정하기 위해 근접 센서와 함께 광 센서가 이용될 수 있다. 다른 예에서는, 광 센서가 주위 광이 매우 낮은 것으로 결정하는 것에 응답하여, 및 옵션으로 사용자가 주위 광이 매우 낮을 때 착신 통화(incoming call)를 보여주기 위해 눈에 보이게끔 밝아지도록 장치를 설정한 것에 응답하여, 장치는 어두울 때 장치로부터의 가청 울림 대신에, 착신 통화를 나타내기 위해 디스플레이가 눈에 보이게끔 번쩍거리도록(예를 들면, 백라이트를 반복하여 온 및 오프 시킴으로써) 자동으로 "라이트 링(light ring)" 모드에 놓일 수 있다. 광 센서의 다른 예시적인 사용법은 그것을 어두운 방(또는 환경)이 보다 밝아졌다는 것(예를 들면, 해가 떴거나 어두워진 방이 열려 방 안으로 빛이 들어오는 것)을 나타내는 알람으로서 이용하는 것을 수반한다. 광 센서는 또한 낮은 주위 광 레벨을 감지하면 장치가 자동으로 광원으로서(예를 들면, 사실상, 손전등(flashlight)으로서) 기능하게 하기 위해 이용될 수 있다.
도 10은 본 발명들의 실시예에 따른 장치의 다른 예를 보여준다. 이 장치는, 버스를 통해 서로 연결되는, 마이크로프로세서(402)와 같은 프로세서, 및 메모리(404)를 포함할 수 있다. 이 장치(400)는 마이크로프로세서(402)에 연결되는 캐시(408)를 옵션으로 포함할 수 있다. 이 장치는 또한 버스(406)를 통해 다른 컴포넌트들에 연결되는 디스플레이 컨트롤러 및 디스플레이 장치(410)를 옵션으로 포함할 수 있다. 또한 입력/출력 장치들(414)에 대한 인터페이스를 제공하고 또한 사용자 활동을 감지하기 위한 하나 이상의 센서들(416)에 대한 인터페이스를 제공하기 위해 하나 이상의 입력/출력 컨트롤러들(412)이 버스(406)에 연결된다. 버스(406)는 당업계에 잘 알려져 있는 다양한 브리지, 컨트롤러, 및/또는 어댑터를 통해 서로 접속된 하나 이상의 버스들을 포함할 수 있다. 입력/출력 장치들(414)은 키패드 또는 키보드 또는 터치 입력 패널과 같은 커서 제어 장치를 포함할 수 있다. 또한, 입력/출력 장치들(414)은 유선 네트워크 또는 무선 네트워크(예를 들면, WiFi 또는 WPAN RF 트랜스시버와 같은 RF 트랜스시버)를 위한 적어도 하나의 네트워크 인터페이스를 포함할 수 있다. 센서들(416)은, 예를 들면, 근접 센서 또는 주위 광 센서를 포함하는 본 명세서에 설명된 센서들 중 어느 하나일 수 있다. 장치(400)의 적어도 특정 구현들에서, 마이크로프로세서(402)는 하나 이상의 센서들(416)로부터 데이터를 수신할 수 있고 본 명세서에 설명된 방식으로 그 데이터의 분석을 수행할 수 있다. 예를 들면, 데이터는 인공 지능 프로세스를 통해 또는 본 명세서에 설명된 다른 방법들로 분석될 수 있다. 그 분석의 결과로, 마이크로프로세서(402)는 자동으로 장치의 하나 이상의 설정들의 조정을 일으킬 수 있다.
도 11-16은 본 명세서에 설명된 방법들의 다른 양태들에 관한 것이다. 이 양태에서, 데이터 처리 시스템(203)은 그 자체가, 적어도 일부 실시예들에서, 도 10에 도시된 시스템과 같은 범용 컴퓨러일 수 있는 데이터 처리 시스템(451)과 같은 다른 데이터 처리 시스템에 관하여 주변 장치로 간주될 수 있다. 도 11에 도시된 시스템(450)은 네트워크 인터페이스 및 주변 장치 인터페이스 및 저장 장치를 포함하는 데이터 처리 시스템(451)을 포함한다. 적어도 특정 실시예들에서, 데이터 처리 시스템(451)은 키보드, 및 커서 제어 장치, 및 디스플레이뿐만 아니라 그 데이터 처리 시스템을 LAN(local area network) 또는 전화 네트워크 또는 케이블 TV 시스템 네트워크와 같은 다른 네트워크들 또는 인터넷일 수 있는 네트워크(459)에 연결시키기 위한 네트워크 인터페이스를 갖는 범용 컴퓨터 시스템일 수 있다. 네트워크 인터페이스는 유선 접속을 통해 또는 무선 접속을 통해 네트워크에 접속할 수 있고 상이한 네트워크들에 대한 복수의 네트워크 인터페이스들 또는 동일한 네트워크 또는 복수의 네트워크들에 접속하는 상이한 방법들이 있을 수 있다. 데이터 처리 시스템은 전형적으로 사용자 프로그램들 및 운영 체제 및 주소 또는 연락 정보, 캘린더 정보, 및 인터넷을 브라우징하기 위한 즐겨찾기들 또는 북마크들과 같은 URL들을 저장할 수 있는 비휘발성 대응량 저장 장치를 포함한다. 데이터 처리 시스템(451)의 주변 인터페이스는 데이터 처리 시스템(451)을 주변 장치들에 대한 독(dock) 또는 다른 커넥터들에 연결시키기 위해 이용된다. 독 또는 다른 커넥터는 유선 또는 무선 방식으로 주변 인터페이스를 통해 데이터 처리 시스템(451)에 접속될 수 있다. 독 또는 커넥터(453)는 무선 헤드세트일 수 있는 제1 주변 장치(457) 및 PDA 기능을 포함하는 무선 셀룰러 전화기일 수 있는 제2 주변 장치(455)와 같은 하나 이상의 주변 장치들에 접속하도록 설계된다. 일 실시예에서, 데이터 처리 시스템(203)은 제2 주변 장치(455)일 수 있고 주변 장치(201)는 제1 주변 장치(457)일 수 있다. 독은 양쪽 주변 장치들을 개별적으로 또는 동시에 기계적으로 유지할 수 있고 또한 양쪽 주변 장치들에 전기적으로 접속하여 그 주변 장치들에 전력을 제공하고, 주변 장치들의 배터리들을 재충전하고, 주변 장치들과 데이터 처리 시스템(451) 사이에 데이터를 교환할 수 있다. 제2 주변 장치(455)는 데이터 처리 시스템(451) 상의 유사한 유형의 사용자의 데이터와 동기화될 수 있는, 연락(contacts), 캘린더, 및 URL들과 같은 사용자 정보를 위한 저장 장치를 포함할 수 있다. 사용자는 본 명세서에 설명된 바와 같이 특정 액션들이 일어나게 하기 위해 독 또는 커넥터(453) 상에 한쪽 또는 양쪽 주변 장치를 배치할 수 있고 또는 또한 본 명세서에 설명된 바와 같이 특정 액션들이 일어나게 하기 위해 한쪽 또는 양쪽 주변 장치들을 제거할 수 있다. 독 및/또는 주변 장치들은 독 또는 커넥터 상의 주변 장치의 배치 및 독 또는 커넥터로부터 주변 장치의 제거를 검출하기 위한 기계 또는 전기 센서들을 포함할 수 있다.
도 12는 시스템(450)을 동작시키는 방법의 예를 보여준다. 이 예에서, 제1 주변 장치(457)는 불필요하지만, 그것은 존재하여 독(453)에 부착될 수도 있다. 동작 471에서는, 데이터 처리 시스템(451)과 같은 데이터 처리 시스템이 통신을 수신한다. 이 통신은 인터넷일 수 있는 네트워크(459)와 같은 네트워크를 통한 VOIP(voice over IP) 전화 통화일 수 있다. 대안적으로, 통신은 네트워크(459)를 통한 인스턴트 메시지 또는 이메일일 수 있다. 이 통신은 데이터 처리 시스템(451)의 네트워크 인터페이스와 같은, 데이터 처리 시스템의 네트워크 인터페이스를 통해 수신된다. 옵션인, 동작 473에서는, 데이터 처리 시스템은 경보의 생성을 일으킨다. 예를 들면, 데이터 처리 시스템은 전화기의 울림 음향의 생성을 일으킬 수 있다. 동작 475에서는, 시스템은 제2 주변 장치(455)일 수 있는 무선 셀룰러 전화기와 같은 무선 전화기 주변 장치가 통신중에 활성화되거나 독으로부터 분리되었는지를 결정한다. 이 결정은 제2 주변 장치(455)가 독으로부터 제거된 것을 검출하는 것을 통해 일어날 수 있고 또는 그것은 주변 센서 및 가속도계 및 다른 센서들과 같은 제2 주변 장치 상의 센서들을 통해 결정될 수 있다. 시스템은 사용자가 울림 음향의 생성 동안에 또는 전화 통화가 시작된 후에 제2 주변 장치(455)를 들어올렸고 울림 음향이 멈춘 것을 검출할 수 있다. 일 실시예에서, 동작 477에 도시된 라우팅 동작은 울림 음향이 생성을 멈춘 후에, 또는 울림 음향의 생성 동안에만을 포함하여, 통신 중의 언제든지 호출될 수 있다. 동작 477에서는, 만일 사용자가 통신중에 전화기를 활성화시키거나 들어올렸다면, 전화 통화의 오디오 데이터와 같은, 통신으로부터의 데이터가 제2 주변 장치(455)와 같은 무선 전화기 주변 장치를 통하여 라우팅된다. 그렇지 않고, 만일 사용자가 통신중에 전화기를 들어올리지 않으면, 데이터는 데이터 처리 시스템(451)의 입력/출력 장치들의 일부로서 스피커 및 마이크일 수 있는, 데이터 처리 시스템의 사용자 인터페이스 시스템을 통해 라우팅된다. 특정 실시예들에서, 시스템은 제2 주변 장치(455)가 통신중에 도로 독에 놓이는 경우 데이터의 라우팅을 전환할 수 있다는 것을 이해할 것이다. 동작 477에서의 데이터의 라우팅은 제2 주변 장치(455) 및 데이터 처리 시스템(451) 양쪽 모두의 WiFi 또는 WPAN 인터페이스를 통해 수행될 수 있다는 것을 이해할 것이다. 이것은 제2 주변 장치(455)가 여전히 무선 셀룰러 네트워크를 통한 전화 통화를 위해 그의 무선 셀룰러 트랜스시버를 사용할 수 있게 할 것이다.
도 13은 도 11의 시스템(450)에서 채용될 수 있는 다른 방법을 보여준다. 이 방법에서는, 제1 주변 장치(457) 및 제2 주변 장치(455) 양쪽 모두가 독 또는 커넥터(453)에 연결 또는 접속되어 있는 것으로 가정된다. 동작 490에서는, PDA 기능을 갖는 무선 셀룰러 전화기일 수 있는 제2 주변 장치가, 독에 놓여 있거나 또는 다른 방법으로 데이터 처리 시스템(451)과 같은 데이터 처리 시스템에 접속되어 있는 동안에, 셀룰러 전화 통화와 같은 통신을 수신한다. 동작 492에서는, 사용자가 통신이 수신되고 있는 동안에, 독 또는 커넥터(453)와 같은 독 또는 커넥터로부터 제1 주변 장치(457)와 같은 제1 주변 장치를 제거하였는지가 결정된다. 그 후 동작 494에서는, 사용자가 독 또는 커넥터로부터 무선 헤드세트일 수 있는 제1 주변 장치를 제거한 것으로 결정하는 것에 응답하여 통신의 데이터는 제1 주변 장치를 통해 라우팅된다. 이것은 전형적으로 제2 주변 장치(455)의 스피커 및 마이크가 사용될 수 없게 하여, 전화 통화의 오디오 데이터가 제1 주변 장치(457)의 무선 헤드세트를 통해서만 제공되게 할 것이다. 특정 실시예들에서, 제1 주변 장치가 독으로 복귀될 때 데이터의 라우팅은 전환될 수 있다는 것을 이해할 것이다.
도 14는 도 11에 도시된 시스템(450)을 동작시키는 다른 방법을 보여준다. 이 경우, 사용자는 그 방법이 시작되기 전에 이미 제2 주변 장치(455)일 수 있는 무선 셀룰러 전화기와 같은 장치를 통해 통신하고 있는 것으로 가정된다. 동작 501에서는, 사용자가 장치를 통하여 통신하고 있는 동안에 사용자가 데이터 처리 시스템의 독 또는 다른 커넥터에 장치를 놓은 것으로 결정된다. 예를 들면, 동작 501은 사용자가 제2 주변 장치와 통신중에 있는 동안에 제2 주변 장치(455)가 독에 놓이거나 커넥터(453)에 접속된 것을 결정할 수 있다. 이 통신은 무선 셀룰러 전화기로서 제2 주변 장치(455)를 이용하는 무선 셀룰러 네트워크를 통한 전화 통화일 수 있다. 동작 503은, 사용자가 독에 장치를 놓은 것으로 결정하는 것에 응답하여, 통신을 보류 상태로(on hold) 두거나 또는 데이터 처리 시스템(451)과 같은 데이터 처리 시스템의 사용자 인터페이스를 통해 통신을 라우팅한다. 동작 503에 이어서 통신의 라우팅이 셀룰러 전화기로 복귀되는 전환 동작이 일어날 수 있다는 것을 이해할 것이다. 예를 들면, 동작 503에 이어서, 사용자는 독으로부터 셀룰러 전화기를 제거하여 통신이 도로 제2 주변 장치(455)로 라우팅되게 하고 데이터 처리 시스템(451)과 같은 데이터 처리 시스템의 스피커 및 마이크를 더 이상 사용하지 않게 할 수 있다.
도 15는 시스템(450)을 동작시키는 방법의 다른 예를 보여준다. 동작 515에서는, 데이터 처리 시스템(451)과 같은 데이터 처리 시스템에 의해 전화 통화가 수신되고, 데이터 처리 시스템은 통화가 착신중인 울림 음향과 같은 경보를 생성한다. 일 실시예에서, 데이터 처리 시스템(451)은 데이터 처리 시스템을 통해 VOIP(voice over IP) 전화 통화를 수신하고 행할 수 있는 데이터 처리 시스템 상에 VOIP 기능을 제공하기 위한 컴퓨터 프로그램 및 필요한 하드웨어를 포함할 수 있다. 동작 517에서는, 시스템은 사용자가 경보가 생성되고 있는 동안, 또는 특정 실시예들에서는, 경보 후 전화 통화가 생성된 동안과 같은 전화 통화 동안에 데이터 처리 시스템의 독 또는 다른 커넥터로부터 무선 헤드세트일 수 있는 제1 주변 장치(457)를 제거했는지를 결정한다. 만일 시스템이 사용자가 독으로부터 무선 헤드세트를 제거한 것으로 결정하면, 동작 519에서, 사용자가 전화 통화 동안에 독으로부터 무선 헤드세트를 제거한 것으로 결정하는 것에 응답하여 전화 통화로부터의 데이터는 데이터 처리 시스템(451)의 스피커 및 마이크보다는, 무선 헤드세트를 통해 라우팅된다.
적어도 특정 실시예들에서, 데이터 처리 시스템(451)과 같은 데이터 처리 시스템의 사용자 인터페이스는 사용자가 데이터 처리 시스템(451)과 함께 사용될 수 있는 제2 주변 장치(455)와 같은 전화기에 대한 선호 또는 구성 파라미터들을 설정하게 할 수 있다는 것을 이해할 것이다. 도 16은 데이터 처리 시스템(451)의 디스플레이 장치에 디스플레이될 수 있는 사용자 인터페이스의 예를 보여준다. 이 사용자 인터페이스는 사용자에 의해 설정되거나 설정되지 않을 수 있는 몇 개의 가능한 선호들 또는 옵션들을 포함하는 창(525)을 포함한다. 만일 사용자가 확인란(check box; 531)을 선택하면, 도 14에 도시된 동작 503은 만일 사용자가 전화기를 독에 놓기 전에 전화기를 사용중이었다면 전화기가 독에 놓이는 동안에 전화 통화를 보류 상태로 둘 것이다. 만일 사용자가 확인란(533)을 선택하면, 확인란(531)은 자동으로 선택되지 않게 되고 동작 503은 전화 통화로부터의 오디오가 데이터 처리 시스템(451)의 오디오 시스템을 통해 라우팅되게 한다. 확인란(535)은 사용자가 시스템(450)으로 하여금, 데이터 처리 시스템(451)에서 수신되거나 시작된 VOIP 전화 통화의 오디오를, 그 VOIP 전화 통화 동안에 독으로부터 제2 주변 장치를 들어올린 것에 응답하여, 도 1에서 데이터 처리 시스템(203)으로서 도시된 형태의 무선 셀룰러 전화기일 수 있는 제2 주변 장치(455)의 오디오 시스템(예를 들면, 스피커 및 마이크)을 통해 라우팅하게 할 수 있다. 확인란(535)을 선택하는 것은 도 12에도 도시되어 있는 이 기능을 가능하게 하고; 도 16은 확인란(535)이 선택된 것을 보여준다. 만일 사용자가 확인란(537)(도 16에서는 선택되지 않은 것으로 도시됨)을 선택하면, 시스템(450)은 사용자가 전화기가 울리는 동안에 독으로부터 헤드세트를 들어올릴 때 VOIP 전화 통화를 헤드세트에 둘 것이다. 확인란(539)은 사용자가 전화기(예를 들면, 제2 주변 장치(455)) 상의 사용자의 데이터(예를 들면, 연락, 캘린더 데이터, 북마크와 같은 URL 등)가, 확인란(539)이 선택된 경우에 전화기가 독에 놓여 있는 것에 응답하여 자동으로 데이터 처리 시스템(예를 들면, 시스템(451)) 상의 사용자의 유사한 데이터와 동기화되게 하고; 확인란(539)이 선택되지 않은 경우에는, 이 동기화는 사용자가 동기화 커맨드를 선택하는 것에 의해 수동으로 수행될 수 있다.
본 명세서에 설명된 바와 같이, 도 1의 데이터 처리 시스템은 전화기 능력과 음악 플레이어와 같은 다른 오디오 기능들을 통합하고, 무선 오디오 세드세트와 같은 다양한 유형의 외부 오디오 장치들(주변 장치들)과 상호 작용하는 통신 장치일 수 있다. 이어피스(earpiece) 및 스피커와 같은, 다른 오디오 장치들이 통신 장치의 내부에 있을 수 있다. 외부의 오디오 장치들이 접속되는 경우, 통신 장치는 오디오를 라우팅할 장치를 결정할 것이다. 통신 장치는 또한 오디오 애플리케이션이 시작되거나 실행중인 경우에 사용할 오디오 장치를 사용자가 선택할 수 있도록 사용자에게 화면들을 디스플레이할 것이다. 그러한 오디오 애플리케이션들은 음악 파일 또는 내부에 저장된 음성 메일과 같은 내부 소스로부터, 또는 전화 통화 또는 외부에 저장된 음성 메일과 같은 외부 소스로부터의 오디오 신호들을 처리할 수 있다. 본 명세서에 설명된 사용자 인퍼페이스는 또한 오디오 능력을 갖는 임의의 전자 장치 상에서 구현될 수 있다는 것을 이해할 것이다.
도 17a 및 17b는 통신 장치 상에서 대응하는 애플리케이션이 실행중인 동안에 사용자에게 디스플레이되는 애플리케이션 제어 화면(1701 및 1703)의 대안 실시예들을 예시한다. 애플리케이션 제어 화면(1701)은 오디오 애플리케이션에 대한 기능들을 나타내는, 버튼들과 같은, 객체들의 세트를 포함하고, 그 중 하나는 오디오 라우팅 버튼(1709)이다. 예시된 바와 같이, 오디오 라우팅 버튼(1709)은 아이콘(1711) 및 텍스트(1713)를 포함한다. 도시된 바와 같이, 아이콘(1711)은 스피커이고 텍스트(1713)는 단어 "스피커(speaker)"이다. 애플리케이션 제어 화면(1701) 상의 다른 버튼들은 아이콘들을 포함할 수 있다. 버튼(1709)은 라우팅 토글 버튼으로, 사용자가 이 토글 버튼(1709)을 누르면, 오디오가 스피커로 라우팅되고 있는 것을 나타내기 위해 오디오 라우팅 아이콘이 강조된다. 사용자가 토글 버튼(1709)을 다시 누르면, 강조가 제거되어 오디오가 이어피스와 같은 다른 내부 오디오 장치로 라우팅되고 있는 것을 나타낸다. 외부 오디오 장치들이 통신 장치에 부착될 경우, 애플리케이션 제어 화면(1703)이 제시된다. 예시된 바와 같이, 라우팅 버튼은 라우팅 메뉴 버튼(1715)으로 변하였고 블루투스 아이콘(Bluetooth icon®)과 같은 추가 아이콘(1715)을 포함한다. 버튼(1715)에 대한 텍스트(1713)도 "오디오 소스(audio source)"로 변경된다. 사용자가 라우팅 메뉴 버튼(1715)을 누르면, 도 17c 및 17d에 예시된 화면들(1705 및 1707)과 같은 오디오 라우팅 화면이 나타난다. 일 실시예에서, 애플리케이션 제어 화면은 애플리케이션 제어 화면의 뒷면으로서 오디오 라우팅 화면을 디스플레이하기 위해 "플립 오버(flip over)"하는 것처럼 보이도록 애니메이션된다(animated). 일 실시예에서, 플립 애니메이션은 본 출원의 양수인에게 2004년 10월 4일에 발행된, "DOUBLE-SIDED, REVERSIBLE ELECTRONIC PAPER"라는 명칭의, 미국 특허 5,351,995에 기술된 바와 같이 구현되고, 이 문헌은 본 명세서에 참고로 통합된다.
도 17c의 실시예에서, 라우팅 화면(1705)은 3개의 버튼들: 블루투스 헤드세트 버튼(1719), 이어피스 버튼(1721), 및 스피커폰 버튼(1723)을 갖는다. 현재 선택된 장치는, 도 17c에서는 스피커로서 예시된, 아이콘(1725)으로 표시된다. 어느 장치가 현재 활성인지를 시각적으로 표시하기 위한 다른 메커니즘들은 즉시 명백할 것이다. 대안 실시예에서, 버튼들로서 디스플레이되기에는 너무 많은 이용 가능한 장치들이 있는 경우에, 도 17d에 도시된 바와 같이 장치들의 목록을 포함하는 라우팅 화면(1707)이 제시되고, 현재 선택된 장치는 어떤 방식으로 시각적으로 강조된다. 라우팅 화면(1707)은 목록이 라우팅 화면(1707)에 디스플레이하기에 너무 긴 경우에 더 많은 장치들을 보여주도록 스크롤 가능할 수 있다. 후술되는 바와 같이, 라우팅 화면은 동적이고 외부 장치들이 통신 장치에 접속되거나 통신 장치로부터 분리될 때 변화한다. 일 실시예에서, 라우팅 화면(1705 또는 1707)은 5초와 같은 특정 시간 기간 동안 디스플레이되고, 그 시간 기간이 만료되면 애플리케이션 제어 화면으로 플립 오버할 것이다. 만일 사용자가 그 시간 기간이 만료되기 전에 목록으로부터 오디오 장치를 선택하면, 라우팅 화면은, 애플리케이션 제어 화면으로 플립 오버하기 전에, 또 다른 5초와 같은 또 다른 시간 기간 동안 화면 상에 남아 있을 것이다.
도 18은 도 17a-d의 화면들을 제시하는 사용자 인터페이스(UI) 애플리케이션(1801)을 예시한다. 일 실시예에서, UI 애플리케이션(1801)은 음악 플레이어 또는 음성 메일과 같은 오디오 애플리케이션에 통합된다. 대안 실시예에서, UI 애플리케이션(1801)은 화면들을 디스플레이하기 위해 오디오 애플리케이션들에 의해 호출될 수 있는 공통의 컴포넌트이다. 예시된 바와 같이, UI 애플리케이션(1801)은 오디오 신호들을 선택된 오디오 장치에 라우팅하는 오디오 라우팅 모듈(1802)에 연결된다. 오디오 장치 관리자 프레임워크(1803)는 차(1809) 및 헤드세트(1810)와 같은 외부 오디오 장치들과의 접속을 관리한다. 예시된 바와 같이, 오디오 장치 관리자 프레임워크(1803)는 2개의 서비스: 블루투스 서비스(1805) 및 추가의 프로토콜 서비스(1807)를 포함한다. 외부 오디오 장치가 활성화되거나 비활성화되면, 오디오 장치 관리자 프레임워크(1803)는 그 장치를 핸들링하기 위해 적절한 서비스를 호출하고 외부 장치의 상태 변경을 오디오 라우팅 모듈(1802)에 통지한다. 그 후 오디오 라우팅 모듈(1802)은 외부 장치 접속이 추가 또는 탈락되었다는 통지를 UI 애플리케이션(1801)에 보낸다. 통지를 수신한 결과로, UI 애플리케이션(1801)은 전술한 애플리케이션 제어 및 오디오 라우팅 화면들을 제시한다. 사용자가 도 17a의 라우팅 토글 버튼(1709)을 누름으로써, 라우팅 화면(1705) 상의 버튼들 중 하나를 누름으로써, 또는 1707에 제시된 목록의 장치들 중 하나를 탭(tap)함으로써, 오디오 장치를 선택하면, UI 애플리케이션(1801)은 어느 장치가 지금 현재 선택되었는지를 오디오 라우팅 모듈(1802)에 통지하여 오디오 라우팅 모듈(1802)이 정확한 장치에 오디오를 라우팅할 수 있게 한다. 몇몇 상황에서, UI 애플리케이션(1801)은 또한 장치 선택을 오디오 장치 관리자 프레임워크(1803)에 전달할 수도 있다.
도 19 내지 21은 화면들을 제시하고 전술한 통지들을 보내기 위해 UI 애플리케이션(1801)에 의해 수행되는 방법들의 예시적인 실시예들을 예시한다. 도 19에서 시작하여, 오디오 애플리케이션 초기화 방법(1900)의 일 실시예를 설명한다. 장치에서 오디오 애플리케이션이 시작되면, UI 애플리케이션(1801)은 블록 1901에서 접속된 오디오 장치들을 결정한다. 그 결정은 UI 애플리케이션(1801)이 외부 장치가 추가 또는 탈락되었다는 통지를 수신할 때 UI 애플리케이션(1801)에 의해 업데이트된 목록에 기초할 수 있다. 대안 실시예에서는, 블록 1901에서, UI 애플리케이션(1801)은 또한 어느 오디오 장치들이 오디오 애플리케이션에 적절한지를 결정한다. 예를 들면, 오디오 애플리케이션이 음악이고 외부 오디오 장치들 중 하나가 모노그래픽 헤드세트이면, UI 애플리케이션(1801)은 그 모노 헤드세트를 제외할 수 있다. 다른 실시예에서, 접속된 장치들은 현재는 접속되어 있지 않지만 타당한 확신을 가지고 접속될 수 있는 오디오 장치들을 포함한다.
만일 외부 오디오 장치들이 없다면(블록 1903), 블록 1905에서 방법(1900)은 화면(1701)과 같은, 라우팅 토글 버튼을 갖는 애플리케이션 제어 화면을 디스플레이하고, 오디오 라우팅 모듈(1802)은 사용자가 후술되는 바와 같이 라우팅 버튼을 누르지 않는다면 디폴트 내부 라우팅 오디오 장치를 사용한다. 만일 외부 장치들이 있다면, 블록 1903에서 방법(1900)은 라우팅 화면들(1705 및 1707)과 같은 라우팅 화면을 디스플레이한다. 방법(1900)은 어느 시간 기간 동안 사용자 입력을 대기한다(블록 1909). 일 실시예에서, 그 대기 시간은 대략 5초이다. 만일 사용자가 라우팅 화면 상의 버튼을 누르면, 블록 1911에서 사용자의 오디오 장치들의 선택에 대한 통지가 오디오 라우팅 모듈에 보내진다. 만일 대기 시간 기간 동안에 어떤 사용자 입력도 수신되지 않으면, 방법(1900)은 블록 1913에서 화면(1703)과 같은, 라우팅 메뉴 버튼을 갖는 애플리케이션 제어 화면을 디스플레이한다. 또한, 만일 사용자가 라우팅 화면 상의 버튼을 누르지 않으면, 오디오 라우팅 모듈(1802)은 최근 사용된 장치 또는 미리 정의된 내부 장치와 같은, 디폴트 오디오 장치로 오디오를 라우팅할 것이다.
대안 실시예에서, 사용자가 헤드세트를 이용하여 착신 통화에 응답하는 경우와 같이, 외부 장치에 의해 애플리케이션이 시작되면, 오디오 라우팅 모듈(1802)은 시작한 외부 장치로 오디오를 라우팅하고 방법(1900)은 블록 1901로부터 블록 1913으로 진행하여 라우팅 메뉴 버튼을 갖는 애플리케이션 제어 화면을 디스플레이한다.
이제 도 20을 참조하여, 라우팅 버튼 누름 방법(2000)을 설명한다. 만일 사용자가 라우팅 버튼이 라우팅 토글 버튼인 경우 그 라우팅 버튼을 눌렀다면(블록 2001), 방법(2000)은 블록 2003에서 다른 내부 장치로 라우팅을 스위칭하는 통지를 오디오 라우팅 모듈(1802)에 보낸다. 그렇지 않다면, 방법(2000)은 블록 2005에서 사용자에게 라우팅 화면을 디스플레이한다. 도 19의 유사한 블록들과 관련하여 전술한 바와 같이, 방법(2000)은 블록 2007에서 사용자 입력을 대기하고, 블록 2009에서 사용자가 장치를 선택하면 통지를 보내고, 블록 2011에서 라우팅 메뉴 버튼을 갖는 애플리케이션 제어 화면을 디스플레이한다.
도 21은 UI 애플리케이션이 오디오 애플리케이션이 실행중인 동안에 새로운 외부 장치가 추가 또는 탈락되었다는 통지를 수신하는 경우에 UI 애플리케이션에 의해 수행되는 방법(2100)을 예시한다. 만일 그 통지가 새로운 외부 장치가 추가되고 있다는 것이라면(블록 2101), 방법(2100)은 전술한 바와 같이 블록 2103에서 접속된 오디오 장치들을 결정한다. 환영으로 도시된 대안 실시예에서, 만일 방법(2100)이 적절한 외부 오디오 장치들이 없는 것으로 결정하면(블록 2105), 방법(2100)은 블록 2107에서 라우팅 토글 버튼을 갖는 애플리케이션 제어 화면을 디스플레이한다. 만일 블록들 2103 및 2105로 나타내어진 옵션의 처리가 구현되지 않는다면, 방법(2100)은 블록 2109로 진행하여 라우팅 화면을 디스플레이한다. 방법(2100)은, 도 19와 관련하여 위에서 더 상세히 설명한 바와 같이, 블록 2111에서 사용자 입력을 대기하고, 2113에서 사용자 선택의 통지를 보내고, 블록 2115에서 라우팅 메뉴 버튼을 갖는 애플리케이션 제어 화면을 디스플레이한다. 또 다른 실시예에서, 오디오 라우팅 모듈(1802)은 자동으로 오디오를 새로이 접속된 외부 오디오 장치로 스위칭하고 방법(2100)은 블록 2103으로부터 블록 2115로 진행하여 라우팅 메뉴 버튼을 갖는 애플리케이션 제어 화면을 디스플레이한다.
이제 블록 2101로 되돌아가서, 만일 방법(2100)이 외부 장치가 탈락되고 있다는 통지를 수신한다면, 방법(2100)은 그 탈락 통지가 현재 선택된 장치에 대한 것인지를 결정한다(블록 2117). 만일 그렇다면, 방법(2100)은 또한 오디오가 디폴트 장치에 라우팅되고 있다는 통지를 수신한다(블록 2119). 어느 쪽의 경우이든, 방법(2100)은 접속된 임의의 외부 오디오 장치들이 있는지를 결정한다(블록 2121). 만일 그렇다면, 방법(2100)은 블록 2115에서 라우팅 메뉴 버튼을 갖는 애플리케이션 제어 화면을 디스플레이한다. 만일 탈락된 장치가 최근 접속된 외부 장치라면, 방법(2100)은 블록 2123에서 라우팅 토글 버튼을 갖는 애플리케이션 제어 화면을 디스플레이한다.
전술한 명세서에서는, 발명의 특정한 예시적인 실시예들에 관하여 발명이 설명되었다. 다음의 청구항들에서 제시된 발명의 보다 광범위한 정신 및 범위에서 벗어남이 없이 다양한 수정들이 본 발명에 행해질 수 있다는 것은 분명할 것이다. 따라서, 본 명세서 및 도면들은 제한적인 의미에서가 아니라 예시적인 의미에서 평가되어야 한다.

Claims (33)

  1. 전자 장치에 외부 오디오 장치가 접속되었다는 통지를 수신하는 것에 응답하여 상기 전자 장치 상에 라우팅 화면을 제시하는 단계 - 상기 라우팅 화면은 내부 오디오 장치 및 상기 외부 오디오 장치의 표현들을 디스플레이함 -
    를 포함하는 방법을 데이터 처리 시스템에게 수행하게 하는 실행가능한 프로그램 명령들을 포함하는 컴퓨터 판독가능한 매체.
  2. 제1항에 있어서, 상기 방법은,
    상기 라우팅 화면 상의 상기 표현들 중 하나의 선택을 수신하는 단계; 및
    오디오 애플리케이션으로부터의 오디오 신호들이 상기 선택에 의해 나타내어진 오디오 장치로 라우팅되게 하는 단계
    를 더 포함하는 컴퓨터 판독가능한 매체.
  3. 제1항에 있어서, 상기 방법은,
    상기 전자 장치에서 실행중인 오디오 애플리케이션에 대한 기능들을 나타내는 객체들의 세트로서 상기 전자 장치 상에 애플리케이션 제어 화면을 제시하는 단계
    를 더 포함하는 컴퓨터 판독가능한 매체.
  4. 제3항에 있어서, 상기 방법은,
    상기 외부 오디오 장치를 접속하는 것에 응답하여 상기 애플리케이션 제어 화면 상의 상기 객체들 중 하나의 객체를 변경하는 단계; 및
    상기 라우팅 화면을 상기 변경된 객체를 갖는 상기 애플리케이션 제어 화면으로 교체하는 단계
    를 더 포함하는 컴퓨터 판독가능한 매체.
  5. 제4항에 있어서, 상기 방법은,
    상기 변경된 객체의 선택을 수신하는 것에 응답하여 상기 변경된 객체를 갖는 상기 애플리케이션 제어 화면을 상기 라우팅 화면으로 교체하는 단계
    를 더 포함하는 컴퓨터 판독가능한 매체.
  6. 제4항에 있어서, 상기 방법은,
    모든 외부 오디오 장치들을 분리(disconnect)하는 것에 응답하여 상기 애플리케이션 제어 화면 상의 상기 객체들 중 상기 하나의 객체를 변경하는 단계
    를 더 포함하는 컴퓨터 판독가능한 매체.
  7. 제3항에 있어서, 상기 방법은,
    오디오 장치가 오디오 애플리케이션을 시작하는 것에 응답하여 상기 전자 장치 상에 상기 애플리케이션 제어 화면을 제시하는 단계
    를 더 포함하는 컴퓨터 판독가능한 매체.
  8. 제3항에 있어서, 상기 객체들은 버튼들을 포함하는 컴퓨터 판독가능한 매체.
  9. 제1항에 있어서, 상기 표현들은 버튼들을 포함하는 컴퓨터 판독가능한 매체.
  10. 제1항에 있어서, 접속된 장치들이 상기 라우팅 화면 상의 버튼들의 최대 수를 초과하면 상기 표현들은 접속된 장치들의 목록 내의 항목들(entries)을 포함하는 컴퓨터 판독가능한 매체.
  11. 제1항에 있어서, 상기 방법은,
    상기 전자 장치에 임의의 외부 오디오 장치들이 접속된다면 오디오 애플리케이션의 시작에 응답하여 상기 라우팅 화면을 제시하는 단계
    를 더 포함하는 컴퓨터 판독가능한 매체.
  12. 제1항에 있어서, 상기 전자 장치는 통신 장치를 포함하는 컴퓨터 판독가능한 매체.
  13. 컴퓨터 구현 방법으로서,
    전자 장치에 외부 오디오 장치가 접속되었다는 통지를 수신하는 것에 응답하여 상기 전자 장치 상에 라우팅 화면을 제시하는 단계 - 상기 라우팅 화면은 내부 오디오 장치 및 상기 외부 오디오 장치의 표현들을 디스플레이함 -
    를 포함하는 컴퓨터 구현 방법.
  14. 제13항에 있어서,
    상기 라우팅 화면 상의 상기 표현들 중 하나의 선택을 수신하는 단계; 및
    오디오 애플리케이션으로부터의 오디오 신호들이 상기 선택에 의해 나타내어진 오디오 장치로 라우팅되게 하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  15. 제13항에 있어서,
    상기 전자 장치에서 실행중인 오디오 애플리케이션에 대한 기능들을 나타내는 객체들의 세트로서 상기 전자 장치 상에 애플리케이션 제어 화면을 제시하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  16. 제15항에 있어서,
    상기 외부 오디오 장치를 접속하는 것에 응답하여 상기 애플리케이션 제어 화면 상의 상기 객체들 중 하나의 객체를 변경하는 단계; 및
    상기 라우팅 화면을 상기 변경된 객체를 갖는 상기 애플리케이션 제어 화면으로 교체하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  17. 제16항에 있어서,
    상기 변경된 객체의 선택을 수신하는 것에 응답하여 상기 변경된 객체를 갖는 상기 애플리케이션 제어 화면을 상기 라우팅 화면으로 교체하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  18. 제16항에 있어서,
    모든 외부 오디오 장치들을 분리하는 것에 응답하여 상기 애플리케이션 제어 화면 상의 상기 객체들 중 상기 하나의 객체를 변경하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  19. 제15항에 있어서,
    오디오 장치가 오디오 애플리케이션을 시작하는 것에 응답하여 상기 전자 장치 상에 상기 애플리케이션 제어 화면을 제시하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  20. 제15항에 있어서, 상기 객체들은 버튼들을 포함하는 컴퓨터 구현 방법.
  21. 제13항에 있어서, 상기 표현들은 버튼들을 포함하는 컴퓨터 구현 방법.
  22. 제13항에 있어서, 접속된 장치들이 상기 라우팅 화면 상의 버튼들의 최대 수를 초과하면 상기 표현들은 접속된 장치들의 목록 내의 항목들을 포함하는 컴퓨터 구현 방법.
  23. 제13항에 있어서,
    상기 전자 장치에 임의의 외부 오디오 장치들이 접속된다면 오디오 애플리케이션의 시작에 응답하여 상기 라우팅 화면을 제시하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  24. 제13항에 있어서, 상기 전자 장치는 통신 장치를 포함하는 컴퓨터 구현 방법.
  25. 시스템으로서,
    전자 장치와 복수의 오디오 장치들 사이에 오디오 신호들을 라우팅하는 수단; 및
    상기 전자 장치에 인터페이스하는 수단 - 상기 인터페이스하는 수단은 상기 전자 장치에 외부 오디오 장치가 접속되었다는 통지를 상기 라우팅하는 수단으로부터 수신하는 것에 응답하여 라우팅 화면을 제시하고, 상기 라우팅 화면은 내부 오디오 장치 및 상기 외부 오디오 장치의 표현들을 디스플레이함 -
    를 포함하는 시스템.
  26. 제25항에 있어서, 상기 인터페이스하는 수단은 또한 상기 라우팅 화면 상의 상기 표현들 중 하나의 선택을 수신하고 오디오 애플리케이션으로부터의 오디오 신호들이 상기 선택에 의해 나타내어진 오디오 장치로 라우팅되게 하는 통지를 상기 라우팅하는 수단에 보내는 시스템.
  27. 제25항에 있어서, 상기 인터페이스하는 수단은 또한 상기 전자 장치에서 실행중인 오디오 애플리케이션에 대한 기능들을 나타내는 객체들의 세트로서 상기 전자 장치 상에 애플리케이션 제어 화면을 제시하는 시스템.
  28. 제27항에 있어서, 상기 인터페이스하는 수단은 또한 상기 외부 오디오 장치가 접속되었다는 통지를 상기 라우팅하는 수단으로부터 수신하는 것에 응답하여 상기 애플리케이션 제어 화면 상의 상기 객체들 중 하나의 객체를 변경하고 상기 라우팅 화면을 상기 변경된 객체를 갖는 상기 애플리케이션 제어 화면으로 교체하는 시스템.
  29. 제28항에 있어서, 상기 인터페이스하는 수단은 또한 상기 변경된 객체의 선택을 수신하는 것에 응답하여 상기 변경된 객체를 갖는 상기 애플리케이션 제어 화면을 상기 라우팅 화면으로 교체하는 시스템.
  30. 제28항에 있어서, 상기 인터페이스하는 수단은 또한 마지막 외부 오디오 장치가 분리되었다는 통지를 상기 라우팅하는 수단으로부터 수신하는 것에 응답하여 상기 애플리케이션 제어 화면 상의 상기 객체들 중 상기 하나의 객체를 변경하는 시스템.
  31. 제27항에 있어서, 상기 인터페이스하는 수단은 또한 오디오 장치가 오디오 애플리케이션을 시작하는 것에 응답하여 상기 애플리케이션 제어 화면을 제시하는 시스템.
  32. 제25항에 있어서, 상기 인터페이스하는 수단은 또한 상기 전자 장치에 임의의 외부 오디오 장치들이 접속된다면 오디오 애플리케이션의 시작에 응답하여 상기 라우팅 화면을 제시하는 시스템.
  33. 제25항에 있어서, 외부 오디오 장치들에 의한 상기 전자 장치들에의 접속들을 관리하는 수단을 더 포함하는 시스템.
KR1020107001955A 2007-06-28 2008-05-14 다수의 오디오 장치들 사이의 오디오의 동적인 라우팅 KR101116487B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/770,676 US8068925B2 (en) 2007-06-28 2007-06-28 Dynamic routing of audio among multiple audio devices
US11/770,676 2007-06-28

Publications (2)

Publication Number Publication Date
KR20100036351A true KR20100036351A (ko) 2010-04-07
KR101116487B1 KR101116487B1 (ko) 2012-03-07

Family

ID=39705167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107001955A KR101116487B1 (ko) 2007-06-28 2008-05-14 다수의 오디오 장치들 사이의 오디오의 동적인 라우팅

Country Status (6)

Country Link
US (4) US8068925B2 (ko)
EP (2) EP2827566A1 (ko)
KR (1) KR101116487B1 (ko)
CN (2) CN104104769B (ko)
HK (1) HK1206176A1 (ko)
WO (1) WO2009005563A1 (ko)

Cited By (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140050916A (ko) * 2012-10-22 2014-04-30 삼성전자주식회사 마이크로폰 장치를 갖는 전자 장치 및 그 운용 방법
KR20150014499A (ko) * 2012-10-18 2015-02-06 시아오미 아이엔씨. 통신 처리 방법, 장치, 프로그램 및 기록매체
KR20190130574A (ko) * 2016-02-22 2019-11-22 소노스 인코포레이티드 네트워킹된 마이크로폰 장치 제어
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10971139B2 (en) 2016-02-22 2021-04-06 Sonos, Inc. Voice control of a media playback system
US10970035B2 (en) 2016-02-22 2021-04-06 Sonos, Inc. Audio response playback
US11006214B2 (en) 2016-02-22 2021-05-11 Sonos, Inc. Default playback device designation
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11080005B2 (en) 2017-09-08 2021-08-03 Sonos, Inc. Dynamic computation of system response volume
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US11175888B2 (en) 2017-09-29 2021-11-16 Sonos, Inc. Media playback system with concurrent voice assistance
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
KR20210137221A (ko) * 2019-05-31 2021-11-17 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11200889B2 (en) 2018-11-15 2021-12-14 Sonos, Inc. Dilated convolutions and gating for efficient keyword spotting
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11281711B2 (en) 2011-08-18 2022-03-22 Apple Inc. Management of local and remote media items
US11302326B2 (en) 2017-09-28 2022-04-12 Sonos, Inc. Tone interference cancellation
US11308961B2 (en) 2016-10-19 2022-04-19 Sonos, Inc. Arbitration-based voice recognition
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11316966B2 (en) 2017-05-16 2022-04-26 Apple Inc. Methods and interfaces for detecting a proximity between devices and initiating playback of media
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11354092B2 (en) 2019-07-31 2022-06-07 Sonos, Inc. Noise classification for event detection
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11380322B2 (en) 2017-08-07 2022-07-05 Sonos, Inc. Wake-word detection suppression
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11412081B2 (en) 2017-05-16 2022-08-09 Apple Inc. Methods and interfaces for configuring an electronic device to initiate playback of media
US11429402B2 (en) 2019-05-31 2022-08-30 Apple Inc. Multi-user configuration
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US11432030B2 (en) 2018-09-14 2022-08-30 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11451908B2 (en) 2017-12-10 2022-09-20 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11482978B2 (en) 2018-08-28 2022-10-25 Sonos, Inc. Audio notifications
US11501795B2 (en) 2018-09-29 2022-11-15 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11501773B2 (en) 2019-06-12 2022-11-15 Sonos, Inc. Network microphone device with command keyword conditioning
US11516610B2 (en) 2016-09-30 2022-11-29 Sonos, Inc. Orientation-based playback device microphone selection
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11531520B2 (en) 2016-08-05 2022-12-20 Sonos, Inc. Playback device supporting concurrent voice assistants
US11539831B2 (en) 2013-03-15 2022-12-27 Apple Inc. Providing remote interactions with host device using a wireless device
US11538451B2 (en) 2017-09-28 2022-12-27 Sonos, Inc. Multi-channel acoustic echo cancellation
US11540047B2 (en) 2018-12-20 2022-12-27 Sonos, Inc. Optimization of network microphone devices using noise classification
US11545169B2 (en) 2016-06-09 2023-01-03 Sonos, Inc. Dynamic player selection for audio signal processing
US11551669B2 (en) 2019-07-31 2023-01-10 Sonos, Inc. Locally distributed keyword detection
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11556306B2 (en) 2016-02-22 2023-01-17 Sonos, Inc. Voice controlled media playback system
US11563842B2 (en) 2018-08-28 2023-01-24 Sonos, Inc. Do not disturb feature for audio notifications
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11567648B2 (en) 2009-03-16 2023-01-31 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US11641559B2 (en) 2016-09-27 2023-05-02 Sonos, Inc. Audio playback settings for voice interaction
US11646045B2 (en) 2017-09-27 2023-05-09 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US11646023B2 (en) 2019-02-08 2023-05-09 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11664023B2 (en) 2016-07-15 2023-05-30 Sonos, Inc. Voice detection by multiple devices
US11676590B2 (en) 2017-12-11 2023-06-13 Sonos, Inc. Home graph
US11683408B2 (en) 2017-05-16 2023-06-20 Apple Inc. Methods and interfaces for home media control
US11696074B2 (en) 2018-06-28 2023-07-04 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11700326B2 (en) 2014-09-02 2023-07-11 Apple Inc. Phone user interface
US11710487B2 (en) 2019-07-31 2023-07-25 Sonos, Inc. Locally distributed keyword detection
US11714597B2 (en) 2019-05-31 2023-08-01 Apple Inc. Methods and user interfaces for sharing audio
US11715489B2 (en) 2018-05-18 2023-08-01 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US11726742B2 (en) 2016-02-22 2023-08-15 Sonos, Inc. Handling of loss of pairing between networked devices
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11727936B2 (en) 2018-09-25 2023-08-15 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11750734B2 (en) 2017-05-16 2023-09-05 Apple Inc. Methods for initiating output of at least a component of a signal representative of media currently being played back by another device
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
US11755273B2 (en) 2019-05-31 2023-09-12 Apple Inc. User interfaces for audio media control
US11785387B2 (en) 2019-05-31 2023-10-10 Apple Inc. User interfaces for managing controllable external devices
US11792590B2 (en) 2018-05-25 2023-10-17 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11798553B2 (en) 2019-05-03 2023-10-24 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11900372B2 (en) 2016-06-12 2024-02-13 Apple Inc. User interfaces for transactions
US11907013B2 (en) 2014-05-30 2024-02-20 Apple Inc. Continuity of applications across devices
US11960615B2 (en) 2021-06-06 2024-04-16 Apple Inc. Methods and user interfaces for voice-based user profile management
US11979960B2 (en) 2016-07-15 2024-05-07 Sonos, Inc. Contextualization of voice inputs
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range

Families Citing this family (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130198867A1 (en) * 2011-12-09 2013-08-01 Z124 A Docking Station for Portable Devices Providing Authorized Power Transfer and Facility Access
CN101496400B (zh) * 2006-07-25 2011-11-16 株式会社尼康 输出装置和视频显示装置
US7774015B2 (en) * 2006-12-11 2010-08-10 General Instrument Corporation Power control apparatus and method for supporting seamless mobility
US8068925B2 (en) * 2007-06-28 2011-11-29 Apple Inc. Dynamic routing of audio among multiple audio devices
US8041438B2 (en) 2007-06-28 2011-10-18 Apple Inc. Data-driven media management within an electronic device
US8171177B2 (en) 2007-06-28 2012-05-01 Apple Inc. Enhancements to data-driven media management within an electronic device
US8111837B2 (en) * 2007-06-28 2012-02-07 Apple Inc. Data-driven media management within an electronic device
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US7861008B2 (en) 2007-06-28 2010-12-28 Apple Inc. Media management and routing within an electronic device
US20090215398A1 (en) * 2008-02-25 2009-08-27 Adler Mitchell D Methods and Systems for Establishing Communications Between Devices
US8036599B2 (en) * 2008-06-05 2011-10-11 Broadcom Corporation Method and system for a wireless headset with a clock
TWI416868B (zh) * 2008-07-29 2013-11-21 Lg Electronics Inc 音頻訊號之處理方法及其裝置
US8204533B2 (en) * 2008-08-07 2012-06-19 Broadcom Corporation Method and system for bluetooth HID activity prediction for wireless coexistence throughput optimization
US8913991B2 (en) * 2008-08-15 2014-12-16 At&T Intellectual Property I, L.P. User identification in cell phones based on skin contact
US8326228B2 (en) * 2008-12-19 2012-12-04 At&T Mobility Ii Llc Headset locator device
US8300022B2 (en) * 2009-01-09 2012-10-30 International Business Machines Corporation Dynamically reconfigurable touch screen displays
US8355031B2 (en) * 2009-03-17 2013-01-15 Harris Corporation Portable electronic devices with adjustable display orientation
US8515340B2 (en) * 2009-06-08 2013-08-20 Mitel Networks Corporation Power management in an internet protocol (IP) telephone
US20110087964A1 (en) * 2009-10-08 2011-04-14 Research In Motion Limited Method for indicating a volume of an audio sink of a portable electronic device
US8055817B2 (en) * 2009-10-30 2011-11-08 International Business Machines Corporation Efficient handling of queued-direct I/O requests and completions
US8934645B2 (en) 2010-01-26 2015-01-13 Apple Inc. Interaction of sound, silent and mute modes in an electronic device
US8358977B2 (en) * 2010-04-22 2013-01-22 Hewlett-Packard Development Company, L.P. Use of mobile computing device sensors to initiate a telephone call or modify telephone operation
US20120045990A1 (en) * 2010-08-23 2012-02-23 Sony Ericsson Mobile Communications Ab Intelligent Audio Routing for Incoming Calls
US8966138B2 (en) 2010-08-31 2015-02-24 Apple Inc. Communication between a host device and an accessory using multiple-endpoint identification
US8509694B2 (en) 2010-08-31 2013-08-13 Apple Inc. Techniques for facilitating communication between a portable media device and an accessory using multiple communication paths
US8699947B2 (en) * 2010-09-03 2014-04-15 Sony Corporation Method for determining the relative position of devices
US9318096B2 (en) * 2010-09-22 2016-04-19 Broadcom Corporation Method and system for active noise cancellation based on remote noise measurement and supersonic transport
US8667057B1 (en) 2010-10-01 2014-03-04 Google Inc. Method and system for delivering object update messages including payloads
US8666082B2 (en) * 2010-11-16 2014-03-04 Lsi Corporation Utilizing information from a number of sensors to suppress acoustic noise through an audio processing system
US8886128B2 (en) * 2010-12-10 2014-11-11 Verizon Patent And Licensing Inc. Method and system for providing proximity-relationship group creation
US8989884B2 (en) 2011-01-11 2015-03-24 Apple Inc. Automatic audio configuration based on an audio output device
US20120189140A1 (en) * 2011-01-21 2012-07-26 Apple Inc. Audio-sharing network
CN102158591B (zh) * 2011-01-27 2014-05-28 惠州Tcl移动通信有限公司 一种移动终端及其视频通话的控制方法和装置
RU2011121330A (ru) * 2011-05-27 2012-12-10 Михаил Леонидович Любачев Мобильное звуковоспроизводящее устройство
WO2013045976A1 (en) * 2011-09-28 2013-04-04 Sony Ericsson Mobile Communications Ab Controlling power for a headset
US20130094660A1 (en) * 2011-10-07 2013-04-18 Halo2Cloud Llc Hands-free mobile audio device for wirelessly connecting an electronic device with headphones for transmitting audio signals therethrough
US9094706B2 (en) 2011-10-21 2015-07-28 Sonos, Inc. Systems and methods for wireless music playback
WO2013098262A1 (en) * 2011-12-30 2013-07-04 Gn Netcom A/S Transferring of audio routing in a premises distribution network
US9118220B2 (en) * 2012-07-02 2015-08-25 Ecolink Intelligent Technology, Inc. Method and apparatus for providing energy device and system status
CN102833887A (zh) * 2012-08-29 2012-12-19 太仓市同维电子有限公司 一种3g无线路由器
CN103118196B (zh) * 2013-02-04 2014-10-22 厦门亿联网络技术股份有限公司 一种实现多种通话模式的信号转换装置
CN103200311A (zh) * 2013-02-25 2013-07-10 华为终端有限公司 一种通讯终端通话音频通路的控制方法、装置及通讯终端
US9996148B1 (en) * 2013-03-05 2018-06-12 Amazon Technologies, Inc. Rule-based presentation of media items
KR102080743B1 (ko) * 2013-03-08 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9235422B2 (en) 2013-03-13 2016-01-12 Google Technology Holdings LLC Electronic device mode detection
CN103401991B (zh) * 2013-07-11 2016-08-24 宇龙计算机通信科技(深圳)有限公司 一种对终端设备的通信事件进行提示的方法和装置
US9912978B2 (en) 2013-07-29 2018-03-06 Apple Inc. Systems, methods, and computer-readable media for transitioning media playback between multiple electronic devices
TWI533719B (zh) * 2013-09-18 2016-05-11 緯創資通股份有限公司 無線耳機及其音源播放的控制方法
US9792003B1 (en) * 2013-09-27 2017-10-17 Audible, Inc. Dynamic format selection and delivery
CN104793991B (zh) * 2014-01-20 2019-11-05 腾讯科技（深圳）有限公司 一种音频输出设备切换方法及装置
EP3097458B1 (en) * 2014-01-22 2019-07-24 Sony Corporation Directing audio output based on gestures
US9510083B2 (en) 2014-03-14 2016-11-29 Apple Inc. Managing connections of a user device
TWI549524B (zh) * 2014-05-06 2016-09-11 宏碁股份有限公司 多媒體播放系統及其聲道控制方法
CN106537889B (zh) 2014-05-20 2019-12-03 布佳通有限公司 从耳机输出扬声器的听觉测量
US9207835B1 (en) 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
CN105282641B (zh) * 2014-07-16 2019-03-08 宏碁股份有限公司 多媒体播放系统及其声道控制方法
DE212015000194U1 (de) 2014-08-06 2017-05-31 Apple Inc. Verkleinerte Benutzeroberflächen für Batteriemanagement
US9300348B2 (en) * 2014-08-11 2016-03-29 Alcatel Lucent Dual electrical compact small form-factor pluggable module
CN104184897B (zh) * 2014-08-25 2018-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
US20170276764A1 (en) * 2014-08-29 2017-09-28 Nokia Technologies Oy A system for output of audio and/or visual content
KR102143308B1 (ko) 2014-09-02 2020-08-10 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
US11068234B2 (en) 2014-09-23 2021-07-20 Zophonos Inc. Methods for collecting and managing public music performance royalties and royalty payouts
US10656906B2 (en) 2014-09-23 2020-05-19 Levaughn Denton Multi-frequency sensing method and apparatus using mobile-based clusters
US11544036B2 (en) 2014-09-23 2023-01-03 Zophonos Inc. Multi-frequency sensing system with improved smart glasses and devices
US10127005B2 (en) * 2014-09-23 2018-11-13 Levaughn Denton Mobile cluster-based audio adjusting method and apparatus
US11150868B2 (en) 2014-09-23 2021-10-19 Zophonos Inc. Multi-frequency sensing method and apparatus using mobile-clusters
KR102016690B1 (ko) * 2014-09-26 2019-08-30 후아웨이 테크놀러지 컴퍼니 리미티드 애플리케이션 프로그램 제어 방법 및 장치, 그리고 전자 장치
US20160104370A1 (en) 2014-10-14 2016-04-14 Logitech Europe S.A Method of controlling an electronic device
SE1451410A1 (sv) * 2014-11-21 2016-05-17 Melaud Ab Earphones with sensor controlled audio output
TWI584630B (zh) * 2014-12-10 2017-05-21 昇佳電子股份有限公司 用來識別手機與遮蔽物距離之方法與系統
KR101638612B1 (ko) * 2014-12-24 2016-07-11 현대자동차주식회사 외부 기기와 연결되는 차량의 멀티미디어 시스템 및 그 제어방법
US9398361B1 (en) 2015-02-20 2016-07-19 Vxi Corporation Headset system with user-configurable function button
DE102015204203A1 (de) * 2015-03-10 2016-09-15 Bayerische Motoren Werke Aktiengesellschaft Audiosteuerung in Fahrzeugen
KR102386309B1 (ko) * 2015-06-04 2022-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서의 입출력 제어 방법
US9652196B2 (en) 2015-06-29 2017-05-16 Microsoft Technology Licensing, Llc Smart audio routing management
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US9854372B2 (en) 2015-08-29 2017-12-26 Bragi GmbH Production line PCB serial programming and testing method and system
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US10122421B2 (en) 2015-08-29 2018-11-06 Bragi GmbH Multimodal communication system using induction and radio and method
CN105187663B (zh) * 2015-09-28 2019-07-30 努比亚技术有限公司 自动通话的方法及终端
US9866941B2 (en) 2015-10-20 2018-01-09 Bragi GmbH Multi-point multiple sensor array for data sensing and processing system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US10506322B2 (en) 2015-10-20 2019-12-10 Bragi GmbH Wearable device onboard applications system and method
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US9847000B2 (en) * 2015-10-29 2017-12-19 Immersion Corporation Ambient triggered notifications for rendering haptic effects
US9978278B2 (en) 2015-11-27 2018-05-22 Bragi GmbH Vehicle to vehicle communications using ear pieces
US10040423B2 (en) 2015-11-27 2018-08-07 Bragi GmbH Vehicle with wearable for identifying one or more vehicle occupants
US20170155998A1 (en) * 2015-11-27 2017-06-01 Bragi GmbH Vehicle with display system for interacting with wearable device
US9944295B2 (en) 2015-11-27 2018-04-17 Bragi GmbH Vehicle with wearable for identifying role of one or more users and adjustment of user settings
US10099636B2 (en) 2015-11-27 2018-10-16 Bragi GmbH System and method for determining a user role and user settings associated with a vehicle
US10104460B2 (en) 2015-11-27 2018-10-16 Bragi GmbH Vehicle with interaction between entertainment systems and wearable devices
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US9807499B2 (en) * 2016-03-30 2017-10-31 Lenovo (Singapore) Pte. Ltd. Systems and methods to identify device with which to participate in communication of audio data
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
JP6833244B2 (ja) * 2016-06-29 2021-02-24 フォルシアクラリオン・エレクトロニクス株式会社 音響装置、音響システム
US10582328B2 (en) 2016-07-06 2020-03-03 Bragi GmbH Audio response based on user worn microphones to direct or adapt program responses system and method
US10555700B2 (en) 2016-07-06 2020-02-11 Bragi GmbH Combined optical sensor for audio and pulse oximetry system and method
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US10216474B2 (en) 2016-07-06 2019-02-26 Bragi GmbH Variable computing engine for interactive media based upon user biometrics
US11085871B2 (en) 2016-07-06 2021-08-10 Bragi GmbH Optical vibration detection system and method
US10888039B2 (en) 2016-07-06 2021-01-05 Bragi GmbH Shielded case for wireless earpieces
US10158934B2 (en) 2016-07-07 2018-12-18 Bragi GmbH Case for multiple earpiece pairs
US10165350B2 (en) 2016-07-07 2018-12-25 Bragi GmbH Earpiece with app environment
US10621583B2 (en) 2016-07-07 2020-04-14 Bragi GmbH Wearable earpiece multifactorial biometric analysis system and method
US10516930B2 (en) 2016-07-07 2019-12-24 Bragi GmbH Comparative analysis of sensors to control power status for wireless earpieces
US10587943B2 (en) 2016-07-09 2020-03-10 Bragi GmbH Earpiece with wirelessly recharging battery
US10397686B2 (en) 2016-08-15 2019-08-27 Bragi GmbH Detection of movement adjacent an earpiece device
US10977348B2 (en) 2016-08-24 2021-04-13 Bragi GmbH Digital signature using phonometry and compiled biometric data system and method
US10104464B2 (en) 2016-08-25 2018-10-16 Bragi GmbH Wireless earpiece and smart glasses system and method
US10409091B2 (en) 2016-08-25 2019-09-10 Bragi GmbH Wearable with lenses
US11086593B2 (en) 2016-08-26 2021-08-10 Bragi GmbH Voice assistant for wireless earpieces
US10887679B2 (en) 2016-08-26 2021-01-05 Bragi GmbH Earpiece for audiograms
US10313779B2 (en) 2016-08-26 2019-06-04 Bragi GmbH Voice assistant system for wireless earpieces
US10620908B2 (en) 2016-08-26 2020-04-14 Huawei Technologies Co., Ltd. Audio output method, electronic device, and storage medium
US11200026B2 (en) 2016-08-26 2021-12-14 Bragi GmbH Wireless earpiece with a passive virtual assistant
US10200780B2 (en) 2016-08-29 2019-02-05 Bragi GmbH Method and apparatus for conveying battery life of wireless earpiece
US11490858B2 (en) 2016-08-31 2022-11-08 Bragi GmbH Disposable sensor array wearable device sleeve system and method
US10580282B2 (en) 2016-09-12 2020-03-03 Bragi GmbH Ear based contextual environment and biometric pattern recognition system and method
US10598506B2 (en) 2016-09-12 2020-03-24 Bragi GmbH Audio navigation using short range bilateral earpieces
US10852829B2 (en) 2016-09-13 2020-12-01 Bragi GmbH Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US11283742B2 (en) 2016-09-27 2022-03-22 Bragi GmbH Audio-based social media platform
US10460095B2 (en) 2016-09-30 2019-10-29 Bragi GmbH Earpiece with biometric identifiers
US10049184B2 (en) 2016-10-07 2018-08-14 Bragi GmbH Software application transmission via body interface using a wearable device in conjunction with removable body sensor arrays system and method
US10771877B2 (en) 2016-10-31 2020-09-08 Bragi GmbH Dual earpieces for same ear
US10455313B2 (en) 2016-10-31 2019-10-22 Bragi GmbH Wireless earpiece with force feedback
US10942701B2 (en) 2016-10-31 2021-03-09 Bragi GmbH Input and edit functions utilizing accelerometer based earpiece movement system and method
US10698983B2 (en) 2016-10-31 2020-06-30 Bragi GmbH Wireless earpiece with a medical engine
US10617297B2 (en) 2016-11-02 2020-04-14 Bragi GmbH Earpiece with in-ear electrodes
US10117604B2 (en) 2016-11-02 2018-11-06 Bragi GmbH 3D sound positioning with distributed sensors
US10205814B2 (en) 2016-11-03 2019-02-12 Bragi GmbH Wireless earpiece with walkie-talkie functionality
US10821361B2 (en) 2016-11-03 2020-11-03 Bragi GmbH Gaming with earpiece 3D audio
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10225638B2 (en) 2016-11-03 2019-03-05 Bragi GmbH Ear piece with pseudolite connectivity
US10063957B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10058282B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10506327B2 (en) 2016-12-27 2019-12-10 Bragi GmbH Ambient environmental sound field manipulation based on user defined voice and audio recognition pattern analysis system and method
US10324525B2 (en) * 2016-12-31 2019-06-18 Intel Corporation Context aware selective backlighting techniques
US10405081B2 (en) 2017-02-08 2019-09-03 Bragi GmbH Intelligent wireless headset system
US10582290B2 (en) 2017-02-21 2020-03-03 Bragi GmbH Earpiece with tap functionality
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
KR102291021B1 (ko) 2017-03-17 2021-08-18 삼성전자주식회사 오디오 출력을 제어하기 위한 전자 장치 및 그의 동작 방법
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
DK201770411A1 (en) * 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
US20180365616A1 (en) * 2017-06-20 2018-12-20 Walmart Apollo, Llc Systems and methods for management of inventory audits
WO2019005951A1 (en) 2017-06-29 2019-01-03 Walmart Apollo, Llc SYSTEMS AND METHODS FOR REALIZING AND MONITORING ASSET INSPECTIONS
CN109213467B (zh) * 2017-07-01 2021-11-09 武汉斗鱼网络科技有限公司 获取音频设备声音的方法、存储介质、电子设备及系统
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
KR102543693B1 (ko) * 2017-10-17 2023-06-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10187505B1 (en) 2017-12-22 2019-01-22 Dish Network, L.L.C. Voice-activated call pick-up for mobile device
TWI709322B (zh) * 2017-12-28 2020-11-01 仁寶電腦工業股份有限公司 電子系統的操作方法
US10555118B1 (en) * 2018-07-20 2020-02-04 International Business Machines Corporation Automatic transfer of audio-related task to a smart speaker
JP7111553B2 (ja) * 2018-08-09 2022-08-02 フォルシアクラリオン・エレクトロニクス株式会社 ハンズフリー制御装置、ハンズフリー制御装置の制御方法、及びハンズフリーシステム
US10368169B1 (en) * 2018-08-13 2019-07-30 Qualcomm Incorporated Power and bandwidth efficient true wireless stereo speakers
CN111586894A (zh) * 2019-02-15 2020-08-25 普天信息技术有限公司 一种宽带集群终端的模式选择方法
US10743105B1 (en) 2019-05-31 2020-08-11 Microsoft Technology Licensing, Llc Sending audio to various channels using application location information
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
WO2023050323A1 (en) * 2021-09-30 2023-04-06 Citrix Systems, Inc. Automated transfer of peripheral device operations
TWI823211B (zh) * 2021-12-18 2023-11-21 荷蘭商荷蘭移動驅動器公司 車載通訊系統及方法
EP4351164A1 (en) * 2022-10-07 2024-04-10 Giesecke+Devrient Mobile Security Germany GmbH Headset with secure communication

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US5351995A (en) 1992-01-29 1994-10-04 Apple Computer, Inc. Double-sided, reversible electronic paper
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
SE9800697L (sv) 1998-03-05 1999-09-06 Ericsson Telefon Ab L M Förfarande och anordning för trådlös kommunikation
WO1999045958A1 (en) 1998-03-09 1999-09-16 Biogen, Inc. Cd154 blockade therapy for modulation of immune responses to implanted devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6520013B1 (en) 2000-10-02 2003-02-18 Apple Computer, Inc. Method and apparatus for detecting free fall
US6583676B2 (en) 2001-06-20 2003-06-24 Apple Computer, Inc. Proximity/touch detector and calibration circuit
US7345671B2 (en) 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
US20040198464A1 (en) 2003-03-04 2004-10-07 Jim Panian Wireless communication systems for vehicle-based private and conference calling and methods of operating same
US7627343B2 (en) 2003-04-25 2009-12-01 Apple Inc. Media player system
KR100731593B1 (ko) 2004-07-02 2007-06-22 반재경 선조립 콘크리트구조물용 거푸집 구조체 및 이를 이용한 시공방법
US7599044B2 (en) 2005-06-23 2009-10-06 Apple Inc. Method and apparatus for remotely detecting presence
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
JP4384179B2 (ja) * 2004-10-26 2009-12-16 パナソニック株式会社 情報出力装置、情報出力制御方法、情報出力制御プログラム
US20060223547A1 (en) * 2005-03-31 2006-10-05 Microsoft Corporation Environment sensitive notifications for mobile devices
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US20070142942A1 (en) 2005-12-16 2007-06-21 Sony Ericsson Mobile Communications Ab Audio profiles for portable music playback device
US8150475B2 (en) * 2006-12-19 2012-04-03 Motorola Mobility, Inc. Method for information signal distribution between communication devices based on operating characteristics of a depletable power supply used by one of the devices
ATE452508T1 (de) * 2007-02-21 2010-01-15 Research In Motion Ltd Abhalten von telekonferenzen und multiplexierung von anrufen mit mehreren an ein einziges mobiltelefon angeschlossenen sprechgarnituren
US8068925B2 (en) * 2007-06-28 2011-11-29 Apple Inc. Dynamic routing of audio among multiple audio devices

Cited By (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907519B2 (en) 2009-03-16 2024-02-20 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US11567648B2 (en) 2009-03-16 2023-01-31 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US11281711B2 (en) 2011-08-18 2022-03-22 Apple Inc. Management of local and remote media items
US11893052B2 (en) 2011-08-18 2024-02-06 Apple Inc. Management of local and remote media items
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
KR20150014499A (ko) * 2012-10-18 2015-02-06 시아오미 아이엔씨. 통신 처리 방법, 장치, 프로그램 및 기록매체
KR20140050916A (ko) * 2012-10-22 2014-04-30 삼성전자주식회사 마이크로폰 장치를 갖는 전자 장치 및 그 운용 방법
US11539831B2 (en) 2013-03-15 2022-12-27 Apple Inc. Providing remote interactions with host device using a wireless device
US11907013B2 (en) 2014-05-30 2024-02-20 Apple Inc. Continuity of applications across devices
US11700326B2 (en) 2014-09-02 2023-07-11 Apple Inc. Phone user interface
US11006214B2 (en) 2016-02-22 2021-05-11 Sonos, Inc. Default playback device designation
US11736860B2 (en) 2016-02-22 2023-08-22 Sonos, Inc. Voice control of a media playback system
US11726742B2 (en) 2016-02-22 2023-08-15 Sonos, Inc. Handling of loss of pairing between networked devices
KR20210083387A (ko) * 2016-02-22 2021-07-06 소노스 인코포레이티드 네트워킹된 마이크로폰 장치 제어
US11832068B2 (en) 2016-02-22 2023-11-28 Sonos, Inc. Music service selection
US11184704B2 (en) 2016-02-22 2021-11-23 Sonos, Inc. Music service selection
US11405430B2 (en) 2016-02-22 2022-08-02 Sonos, Inc. Networked microphone device control
US10970035B2 (en) 2016-02-22 2021-04-06 Sonos, Inc. Audio response playback
US11863593B2 (en) 2016-02-22 2024-01-02 Sonos, Inc. Networked microphone device control
US11983463B2 (en) 2016-02-22 2024-05-14 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10971139B2 (en) 2016-02-22 2021-04-06 Sonos, Inc. Voice control of a media playback system
US11212612B2 (en) 2016-02-22 2021-12-28 Sonos, Inc. Voice control of a media playback system
US11514898B2 (en) 2016-02-22 2022-11-29 Sonos, Inc. Voice control of a media playback system
US11556306B2 (en) 2016-02-22 2023-01-17 Sonos, Inc. Voice controlled media playback system
KR20190130574A (ko) * 2016-02-22 2019-11-22 소노스 인코포레이티드 네트워킹된 마이크로폰 장치 제어
US11513763B2 (en) 2016-02-22 2022-11-29 Sonos, Inc. Audio response playback
US11750969B2 (en) 2016-02-22 2023-09-05 Sonos, Inc. Default playback device designation
US11545169B2 (en) 2016-06-09 2023-01-03 Sonos, Inc. Dynamic player selection for audio signal processing
US11900372B2 (en) 2016-06-12 2024-02-13 Apple Inc. User interfaces for transactions
US11664023B2 (en) 2016-07-15 2023-05-30 Sonos, Inc. Voice detection by multiple devices
US11979960B2 (en) 2016-07-15 2024-05-07 Sonos, Inc. Contextualization of voice inputs
US11531520B2 (en) 2016-08-05 2022-12-20 Sonos, Inc. Playback device supporting concurrent voice assistants
US11641559B2 (en) 2016-09-27 2023-05-02 Sonos, Inc. Audio playback settings for voice interaction
US11516610B2 (en) 2016-09-30 2022-11-29 Sonos, Inc. Orientation-based playback device microphone selection
US11308961B2 (en) 2016-10-19 2022-04-19 Sonos, Inc. Arbitration-based voice recognition
US11727933B2 (en) 2016-10-19 2023-08-15 Sonos, Inc. Arbitration-based voice recognition
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US11750734B2 (en) 2017-05-16 2023-09-05 Apple Inc. Methods for initiating output of at least a component of a signal representative of media currently being played back by another device
US11412081B2 (en) 2017-05-16 2022-08-09 Apple Inc. Methods and interfaces for configuring an electronic device to initiate playback of media
US11316966B2 (en) 2017-05-16 2022-04-26 Apple Inc. Methods and interfaces for detecting a proximity between devices and initiating playback of media
US11683408B2 (en) 2017-05-16 2023-06-20 Apple Inc. Methods and interfaces for home media control
US11900937B2 (en) 2017-08-07 2024-02-13 Sonos, Inc. Wake-word detection suppression
US11380322B2 (en) 2017-08-07 2022-07-05 Sonos, Inc. Wake-word detection suppression
US11080005B2 (en) 2017-09-08 2021-08-03 Sonos, Inc. Dynamic computation of system response volume
US11500611B2 (en) 2017-09-08 2022-11-15 Sonos, Inc. Dynamic computation of system response volume
US11646045B2 (en) 2017-09-27 2023-05-09 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US11302326B2 (en) 2017-09-28 2022-04-12 Sonos, Inc. Tone interference cancellation
US11538451B2 (en) 2017-09-28 2022-12-27 Sonos, Inc. Multi-channel acoustic echo cancellation
US11769505B2 (en) 2017-09-28 2023-09-26 Sonos, Inc. Echo of tone interferance cancellation using two acoustic echo cancellers
US11893308B2 (en) 2017-09-29 2024-02-06 Sonos, Inc. Media playback system with concurrent voice assistance
US11175888B2 (en) 2017-09-29 2021-11-16 Sonos, Inc. Media playback system with concurrent voice assistance
US11288039B2 (en) 2017-09-29 2022-03-29 Sonos, Inc. Media playback system with concurrent voice assistance
US11451908B2 (en) 2017-12-10 2022-09-20 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US11676590B2 (en) 2017-12-11 2023-06-13 Sonos, Inc. Home graph
US11689858B2 (en) 2018-01-31 2023-06-27 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US11797263B2 (en) 2018-05-10 2023-10-24 Sonos, Inc. Systems and methods for voice-assisted media content selection
US11715489B2 (en) 2018-05-18 2023-08-01 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US11792590B2 (en) 2018-05-25 2023-10-17 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11696074B2 (en) 2018-06-28 2023-07-04 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11563842B2 (en) 2018-08-28 2023-01-24 Sonos, Inc. Do not disturb feature for audio notifications
US11482978B2 (en) 2018-08-28 2022-10-25 Sonos, Inc. Audio notifications
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11551690B2 (en) 2018-09-14 2023-01-10 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11432030B2 (en) 2018-09-14 2022-08-30 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11778259B2 (en) 2018-09-14 2023-10-03 Sonos, Inc. Networked devices, systems and methods for associating playback devices based on sound codes
US11790937B2 (en) 2018-09-21 2023-10-17 Sonos, Inc. Voice detection optimization using sound metadata
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11727936B2 (en) 2018-09-25 2023-08-15 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11790911B2 (en) 2018-09-28 2023-10-17 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11501795B2 (en) 2018-09-29 2022-11-15 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11200889B2 (en) 2018-11-15 2021-12-14 Sonos, Inc. Dilated convolutions and gating for efficient keyword spotting
US11741948B2 (en) 2018-11-15 2023-08-29 Sonos Vox France Sas Dilated convolutions and gating for efficient keyword spotting
US11557294B2 (en) 2018-12-07 2023-01-17 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US11538460B2 (en) 2018-12-13 2022-12-27 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US11540047B2 (en) 2018-12-20 2022-12-27 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11646023B2 (en) 2019-02-08 2023-05-09 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11798553B2 (en) 2019-05-03 2023-10-24 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11983551B2 (en) 2019-05-31 2024-05-14 Apple Inc. Multi-user configuration
US11675608B2 (en) 2019-05-31 2023-06-13 Apple Inc. Multi-user configuration
KR20230039775A (ko) * 2019-05-31 2023-03-21 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11853646B2 (en) 2019-05-31 2023-12-26 Apple Inc. User interfaces for audio media control
KR20210137221A (ko) * 2019-05-31 2021-11-17 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11785387B2 (en) 2019-05-31 2023-10-10 Apple Inc. User interfaces for managing controllable external devices
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
US11429402B2 (en) 2019-05-31 2022-08-30 Apple Inc. Multi-user configuration
US11755273B2 (en) 2019-05-31 2023-09-12 Apple Inc. User interfaces for audio media control
US11714597B2 (en) 2019-05-31 2023-08-01 Apple Inc. Methods and user interfaces for sharing audio
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11854547B2 (en) 2019-06-12 2023-12-26 Sonos, Inc. Network microphone device with command keyword eventing
US11501773B2 (en) 2019-06-12 2022-11-15 Sonos, Inc. Network microphone device with command keyword conditioning
US11551669B2 (en) 2019-07-31 2023-01-10 Sonos, Inc. Locally distributed keyword detection
US11710487B2 (en) 2019-07-31 2023-07-25 Sonos, Inc. Locally distributed keyword detection
US11714600B2 (en) 2019-07-31 2023-08-01 Sonos, Inc. Noise classification for event detection
US11354092B2 (en) 2019-07-31 2022-06-07 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11862161B2 (en) 2019-10-22 2024-01-02 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11869503B2 (en) 2019-12-20 2024-01-09 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11961519B2 (en) 2020-02-07 2024-04-16 Sonos, Inc. Localized wakeword verification
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11694689B2 (en) 2020-05-20 2023-07-04 Sonos, Inc. Input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11782598B2 (en) 2020-09-25 2023-10-10 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US11960615B2 (en) 2021-06-06 2024-04-16 Apple Inc. Methods and user interfaces for voice-based user profile management

Also Published As

Publication number Publication date
WO2009005563A1 (en) 2009-01-08
CN101720550A (zh) 2010-06-02
EP2171989A1 (en) 2010-04-07
US20090003620A1 (en) 2009-01-01
KR101116487B1 (ko) 2012-03-07
HK1206176A1 (en) 2015-12-31
US8068925B2 (en) 2011-11-29
EP2827566A1 (en) 2015-01-21
US20150331699A1 (en) 2015-11-19
US20120053715A1 (en) 2012-03-01
EP2171989B1 (en) 2014-07-30
CN104104769A (zh) 2014-10-15
CN104104769B (zh) 2017-02-22
US8958896B2 (en) 2015-02-17
US20150112467A1 (en) 2015-04-23
CN101720550B (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
KR101116487B1 (ko) 다수의 오디오 장치들 사이의 오디오의 동적인 라우팅
US8914559B2 (en) Methods and systems for automatic configuration of peripherals
US9958987B2 (en) Automated response to and sensing of user activity in portable devices
US8004493B2 (en) Methods and systems for providing sensory information to devices and peripherals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 9