JP6942903B1 - オーディオの空間管理 - Google Patents

オーディオの空間管理 Download PDF

Info

Publication number
JP6942903B1
JP6942903B1 JP2021510322A JP2021510322A JP6942903B1 JP 6942903 B1 JP6942903 B1 JP 6942903B1 JP 2021510322 A JP2021510322 A JP 2021510322A JP 2021510322 A JP2021510322 A JP 2021510322A JP 6942903 B1 JP6942903 B1 JP 6942903B1
Authority
JP
Japan
Prior art keywords
audio
user
display
mode
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021510322A
Other languages
English (en)
Other versions
JP2021528792A (ja
Inventor
スチュアート ジョン ウッド，
スチュアート ジョン ウッド，
マーティン イー． ジョンソン，
マーティン イー． ジョンソン，
ダリウス エー． サトンガー，
ダリウス エー． サトンガー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to JP2021146333A priority Critical patent/JP7182678B2/ja
Application granted granted Critical
Publication of JP6942903B1 publication Critical patent/JP6942903B1/ja
Publication of JP2021528792A publication Critical patent/JP2021528792A/ja
Priority to JP2022185685A priority patent/JP2023025080A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

本開示は、概して、空間オーディオを管理するためのユーザインタフェースに関する。いくつかの例示的な技法は、視覚要素間を遷移するためのユーザインタフェースを含む。いくつかの例示的な技法は、オーディオをプレビューするためのユーザインタフェースを含む。いくつかの例示的な技法は、音楽を発見するためのユーザインタフェースを含む。いくつかの例示的な技法は、ヘッドホンの透過性を管理するためのユーザインタフェースを含む。いくつかの例示的な技法は、オーディオソースの複数のオーディオストリームを操作するためのユーザインタフェースを含む。

Description

関連出願の相互参照
本出願は、２０１８年９月２６日に出願された米国特許仮出願第６２／７３６，９９０号、題名「ＳＰＡＴＩＡＬ ＭＡＮＡＧＥＭＥＮＴ ＯＦ ＡＵＤＩＯ」、に対する優先権を主張するものであり、参照によりその内容全体が本明細書に組み入れられる。
本開示は、概して、コンピュータユーザインタフェースに関し、より具体的には、空間オーディオを管理するための技法に関する。
人間は、３次元（上下、前後、及び左右）の音を位置検出することができる。種々の技法を使用して、デバイスが生成するオーディオを空間内の特定のポイントから到来しているとリスナーが知覚するように、オーディオを修正することができる。
しかし、電子デバイスを使用して空間オーディオを管理するための一部の技法は、概して煩雑かつ非効率である。例えば、いくつかの技法は、オーディオの空間管理を通じて電子デバイスの状態のコンテキスト認識をユーザに提供しない。別の例では、いくつかの既存の技法では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技法は、必要以上の時間がかかり、ユーザの時間及びデバイスのエネルギーを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。更に、既存のオーディオ技法は、ユーザがグラフィカルユーザインタフェースをナビゲートするのを十分に支援しない。
したがって、本技法は、空間オーディオを管理するための、より速く、より効率的な方法及びインタフェースを電子デバイスに提供する。そのような方法及びインタフェースは、空間オーディオを管理するための他の方法を任意選択的に補完する又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減し、より効率的なヒューマン−マシンインタフェースを作成する。バッテリ動作コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。
いくつかの実施形態によれば、ディスプレイを備える電子デバイスにおいて実行される方法が記載され、電子デバイスは、２つ以上のスピーカと動作可能に接続されている。この方法は、ディスプレイ上の第１の位置に、第１の視覚要素を表示することと、第１の視覚要素に対応する第１のオーディオにアクセスすることと、ディスプレイ上の第１の位置に第１の視覚要素を表示している間に、第１のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第１のユーザ入力を受信することと、第１ユーザ入力を受信したことに応じて、ディスプレイ上の第１の位置からディスプレイ上に表示されていない第１の視覚要素に第１の視覚要素の表示を遷移させることと、ディスプレイ上に、第１の視覚要素を表示していない間に、第１のモードとは異なる第２のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成することであって、第２のモードは、第２のモードで生成されたオーディオが、ディスプレイから離れた方向から生成されているとユーザによって知覚されるように構成されている、ことと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体であって、電子デバイスは、２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、ディスプレイ上の第１の位置に、第１の視覚要素を表示し、第１の視覚要素に対応する第１のオーディオにアクセスし、ディスプレイ上の第１の位置に第１の視覚要素を表示している間に、第１のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第１のユーザ入力を受信し、第１ユーザ入力を受信したことに応じて、ディスプレイ上の第１の位置からディスプレイ上に表示されていない第１の視覚要素に第１の視覚要素の表示を遷移させ、ディスプレイ上に、第１の視覚要素を表示していない間に、第１のモードとは異なる第２のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第２のモードは、第２のモードで生成されたオーディオが、ディスプレイから離れた方向から生成されているとユーザによって知覚されるように構成されている、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する、一時的コンピュータ可読記憶媒体であって、電子デバイスは、２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、ディスプレイ上の第１の位置に、第１の視覚要素を表示し、第１の視覚要素に対応する第１のオーディオにアクセスし、ディスプレイ上の第１の位置に第１の視覚要素を表示している間に、第１のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第１のユーザ入力を受信し、第１ユーザ入力を受信したことに応じて、ディスプレイ上の第１の位置からディスプレイ上に表示されていない第１の視覚要素に第１の視覚要素の表示を遷移させ、ディスプレイ上に、第１の視覚要素を表示していない間に、第１のモードとは異なる第２のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第２のモードは、第２のモードで生成されたオーディオが、ディスプレイから離れた方向から生成されているとユーザによって知覚されるように構成されている、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、１つ以上のプロセッサと１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、電子デバイスは、２つ以上のスピーカと動作可能に接続され、１つ以上のプログラムは、ディスプレイ上の第１の位置に、第１の視覚要素を表示し、第１の視覚要素に対応する第１のオーディオにアクセスしディスプレイ上の第１の位置に第１の視覚要素を表示している間に、第１のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第１のユーザ入力を受信し、第１ユーザ入力を受信したことに応じて、ディスプレイ上の第１の位置からディスプレイ上に表示されていない第１の視覚要素に第１の視覚要素の表示を遷移させ、ディスプレイ上に、第１の視覚要素を表示していない間に、第１のモードとは異なる第２のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第２のモードは、第２のモードで生成されたオーディオが、ディスプレイから離れた方向から生成されているとユーザによって知覚されるように構成されている、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。この電子デバイスは、電子デバイスが２つ以上のスピーカと動作可能に接続されたディスプレイと、ディスプレイ上の第１の位置に、第１の視覚要素を表示する手段と、第１の視覚要素に対応する第１のオーディオにアクセスする手段と、ディスプレイ上の第１の位置に第１の視覚要素を表示している間に、第１のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第１のユーザ入力を受信する手段と、第１ユーザ入力を受信したことに応じて、ディスプレイ上の第１の位置からディスプレイ上に表示されていない第１の視覚要素に第１の視覚要素の表示を遷移させ、ディスプレイ上に、第１の視覚要素を表示していない間に、第１のモードとは異なる第２のモードで第１のオーディオを使用して２つ以上のスピーカにおいてオーディオを生成し、第２のモードは、第２のモードで生成されたオーディオが、ディスプレイから離れた方向から生成されているとユーザによって知覚されるように構成されている、手段と、を含む。
いくつかの実施形態によれば、ディスプレイ及びタッチ感知面を備える電子デバイスにおいて実行される方法が記載され、電子デバイスは、２つ以上のスピーカと動作可能に接続されている。この方法は、ディスプレイ上に、複数のメディア要素のリストを表示することであって、複数のメディア要素のそれぞれのメディア要素が、それぞれのメディアファイルに対応する、ことと、タッチ感知面を使用して、第１のメディア要素に対応する位置におけるユーザ接触を検出することと、第１のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第１のメディア要素に対応する第１のオーディオファイルを使用してオーディオを生成することと、ユーザ接触が第１のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成し続けることと、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成することを停止することと、タッチ感知面を使用して、第１のメディア要素に対応する位置から第２のメディア要素に対応する位置へのユーザ接触の移動を検出することと、第２のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第２のメディア要素に対応する第２のオーディオファイルを使用してオーディオを生成することと、ユーザ接触が第２のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成し続けることと、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成することを停止することと、タッチ感知面を使用して、ユーザ接触のリフトオフを検出することと、ユーザ接触のリフトオフを検出したことに応じて、２つ以上のスピーカを使用して、第１のオーディオファイル又は第２のオーディオファイルを使用してオーディオを生成することを停止することと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。この非一時的コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、電子デバイスは、２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、ディスプレイ上に、複数のメディア要素のリストを表示し、複数のメディア要素のそれぞれのメディア要素が、それぞれのメディアファイルに対応し、タッチ感知面を使用して、第１のメディア要素に対応する位置におけるユーザ接触を検出し、第１のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第１のメディア要素に対応する第１のオーディオファイルを使用してオーディオを生成し、ユーザ接触が第１のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成し続け、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成することを停止し、タッチ感知面を使用して、第１のメディア要素に対応する位置から第２のメディア要素に対応する位置へのユーザ接触の移動を検出し、第２のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第２のメディア要素に対応する第２のオーディオファイルを使用してオーディオを生成し、ユーザ接触が第２のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成し続け、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成することを停止し、タッチ感知面を使用して、ユーザ接触のリフトオフを検出し、ユーザ接触のリフトオフを検出したことに応じて、２つ以上のスピーカを使用して、第１のオーディオファイル又は第２のオーディオファイルを使用してオーディオを生成することを停止する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。この一時的コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、電子デバイスは、２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、ディスプレイ上に、複数のメディア要素のリストを表示し、複数のメディア要素のそれぞれのメディア要素が、それぞれのメディアファイルに対応し、タッチ感知面を使用して、第１のメディア要素に対応する位置におけるユーザ接触を検出し、第１のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して所定のオーディオ再生期間を超えることなく、第１のメディア要素に対応する第１のオーディオファイルを使用してオーディオを生成し、ユーザ接触が第１のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成し続け、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成することを停止し、タッチ感知面を使用して、第１のメディア要素に対応する位置から第２のメディア要素に対応する位置へのユーザ接触の移動を検出し、第２のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第２のメディア要素に対応する第２のオーディオファイルを使用してオーディオを生成し、ユーザ接触が第２のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成し続け、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成することを停止し、タッチ感知面を使用して、ユーザ接触のリフトオフを検出し、ユーザ接触のリフトオフを検出したことに応じて、２つ以上のスピーカを使用して、第１のオーディオファイル又は第２のオーディオファイルを使用してオーディオを生成することを停止する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、タッチ感知面と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、電子デバイスは、２つ以上のスピーカと動作可能に接続され、１つ以上のプログラムは、ディスプレイ上に、複数のメディア要素のリストを表示し、複数のメディア要素のそれぞれのメディア要素が、それぞれのメディアファイルに対応し、タッチ感知面を使用して、第１のメディア要素に対応する位置におけるユーザ接触を検出し、第１のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第１のメディア要素に対応する第１のオーディオファイルを使用してオーディオを生成し、ユーザ接触が第１のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成し続け、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成することを停止し、タッチ感知面を使用して、第１のメディア要素に対応する位置から第２のメディア要素に対応する位置へのユーザ接触の移動を検出し、第２のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第２のメディア要素に対応する第２のオーディオファイルを使用してオーディオを生成し、ユーザ接触が第２のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成し続け、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成することを停止し、タッチ感知面を使用して、ユーザ接触のリフトオフを検出し、ユーザ接触のリフトオフを検出したことに応じて、２つ以上のスピーカを使用して、第１のオーディオファイル又は第２のオーディオファイルを使用してオーディオを生成することを停止する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、電子デバイスが２つ以上のスピーカと動作可能に接続されているタッチ感知面と、ディスプレイ上に、複数のメディア要素のリストを表示する手段であって、複数のメディア要素のそれぞれのメディア要素が、それぞれのメディアファイルに対応する、手段と、タッチ感知面を使用して、第１のメディア要素に対応する位置におけるユーザ接触を検出する手段と、第１のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第１のメディア要素に対応する第１のオーディオファイルを使用してオーディオを生成し、ユーザ接触が第１のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成し続け、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオを生成することを停止する、手段と、タッチ感知面を使用して、第１のメディア要素に対応する位置から第２のメディア要素に対応する位置へのユーザ接触の移動を検出する手段と、第２のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつタッチアンドホールド入力を含むユーザ接触に従って、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第２のメディア要素に対応する第２のオーディオファイルを使用してオーディオを生成する手段と、ユーザ接触が第２のメディア要素に対応する位置に残っている間に、所定のオーディオ再生期間を超えていないことに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成し続け、所定のオーディオ再生期間を超えていることに従って、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオを生成することを停止する、手段と、タッチ感知面を使用して、ユーザ接触のリフトオフを検出する手段と、ユーザ接触のリフトオフを検出したことに応じて、２つ以上のスピーカを使用して、第１のオーディオファイル又は第２のオーディオファイルを使用してオーディオを生成することを停止する手段と、を含む。
いくつかの実施形態によれば、ディスプレイ及びタッチ感知面を備える電子デバイスにおいて実行される方法が記載され、電子デバイスは、２つ以上のスピーカと動作可能に接続されている。この方法は、発見モードを起動するための第１のユーザ入力を検出することと、発見モードを起動するための第１のユーザ入力を検出したことに応じて、２つ以上のスピーカを使用して、第１のモードの第１のオーディオソースであって、第１のモードは、第１のモードを使用して生成されたオーディオが、第１の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第１のポイントから生成されているとユーザによって知覚されるように構成されている、第１のオーディオソースと、第２のモードの第２のオーディオソースであって、第２のモードは、第２のモードを使用して生成されたオーディオが、第２の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第２のポイントから生成されているとユーザによって知覚されるように構成されている、第２のオーディオソースと、第３のモードの第３のオーディオソースであって、第３のモードは、第３のモードを使用して生成されたオーディオが、第３の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第３のポイントから生成されているとユーザによって知覚されるように構成されている、第３のオーディオソースと、を使用して、オーディオを同時に生成することと、を含み、第１のポイント、第２のポイント、及び第３のポイントは、空間内の異なるポイントである。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。この非一時的コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、電子デバイスは、２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、発見モードを起動するための第１のユーザ入力を検出し、発見モードを起動するための第１のユーザ入力を検出したことに応じて、２つ以上のスピーカを使用して、第１のモードの第１のオーディオソースであって、第１のモードは、第１のモードを使用して生成されたオーディオが、第１の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第１のポイントから生成されているとユーザによって知覚されるように構成されている、第１のオーディオソースと、第２のモードの第２のオーディオソースであって、第２のモードは、第２のモードを使用して生成されたオーディオが、第２の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第２のポイントから生成されているとユーザによって知覚されるように構成されている、第２のオーディオソースと、第３のモードの第３のオーディオソースであって、第３のモードは、第３のモードを使用して生成されたオーディオが、第３の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第３のポイントから生成されているとユーザによって認識されるように構成されている、第３のオーディオソースと、を使用して、オーディオを同時に生成する、命令を含み、第１のポイント、第２のポイント、及び第３のポイントは、空間内の異なるポイントである。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。この一時的コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、電子デバイスは、２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、発見モードを起動するための第１のユーザ入力を検出し、発見モードを起動するための第１のユーザ入力を検出したことに応じて、２つ以上のスピーカを使用して、第１のモードの第１のオーディオソースであって、第１のモードは、第１のモードを使用して生成されたオーディオが、第１の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第１のポイントから生成されているとユーザによって知覚されるように構成されている、第１のオーディオソースと、第２のモードの第２のオーディオソースであって、第２のモードは、第２のモードを使用して生成されたオーディオが、第２の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第２のポイントから生成されているとユーザによって知覚されるように構成されている、第２のオーディオソースと、第３のモードの第３のオーディオソースであって、第３のモードは、第３のモードを使用して生成されたオーディオが、第３の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第３のポイントから生成されているとユーザによって認識されるように構成されている、第３のオーディオソースと、を使用して、オーディオを同時に生成する、命令を含み、第１のポイント、第２のポイント、及び第３のポイントは、空間内の異なるポイントである。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、タッチ感知面と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、電子デバイスは、２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、発見モードを起動するための第１のユーザ入力を検出し、発見モードを起動するための第１のユーザ入力を検出したことに応じて、２つ以上のスピーカを使用して、第１のモードの第１のオーディオソースであって、第１のモードは、第１のモードを使用して生成されたオーディオが、第１の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第１のポイントから生成されているとユーザによって知覚されるように構成されている、第１のオーディオソースと、第２のモードの第２のオーディオソースであって、第２のモードは、第２のモードを使用して生成されたオーディオが、第２の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第２のポイントから生成されているとユーザによって知覚されるように構成されている、第２のオーディオソースと、第３のモードの第３のオーディオソースであって、第３のモードは、第３のモードを使用して生成されたオーディオが、第３の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第３のポイントから生成されているとユーザによって認識されるように構成されている、第３のオーディオソースと、を使用して、オーディオを同時に生成する、命令を含み、第１のポイント、第２のポイント、及び第３のポイントは、空間内の異なるポイントである。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、電子デバイスが２つ以上のスピーカと動作可能に接続されているタッチ感知面と、発見モードを起動するための第１のユーザ入力を検出する手段と、発見モードを起動するための第１のユーザ入力を検出したことに応じて、２つ以上のスピーカを使用して、第１のモードの第１のオーディオソースであって、第１のモードは、第１のモードを使用して生成されたオーディオが、第１の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第１のポイントから生成されているとユーザによって知覚されるように構成されている、第１のオーディオソースと、第２のモードの第２のオーディオソースであって、第２のモードは、第２のモードを使用して生成されたオーディオが、第２の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第２のポイントから生成されているとユーザによって知覚されるように構成されている、第２のオーディオソースと、第３のモードの第３のオーディオソースであって、第３のモードは、第３のモードを使用して生成されたオーディオが、第３の速度で既定の経路に沿って第１の方向に経時的に移動する空間内の第３のポイントから生成されているとユーザによって知覚されるように構成されている、第３のオーディオソースと、を使用して、オーディオを同時に生成する手段と、を含み、第１のポイント、第２のポイント、及び第３のポイントは、空間内の異なるポイントである。
いくつかの実施形態によれば、ディスプレイ及びタッチ感知面を備える電子デバイスにおいて実行される方法が記載され、電子デバイスは、２つ以上のスピーカと動作可能に接続されている。この方法は、ディスプレイ上の第１の位置に、ユーザ移動可能アフォーダンスを表示することと、ユーザ移動可能アフォーダンスが第１の位置に表示されている間に、電子デバイスを、周囲音透過性の第１の状態で動作させることと、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成することと、タッチ感知面を使用して、ユーザ入力を検出することと、ユーザ入力を検出したことに応じて、ユーザ入力がユーザ移動可能アフォーダンス上でのタッチアンドドラッグ動作である場合に満たされる第１の条件を含む１つ以上の条件のセットが満たされていることに従って、電子デバイスを、周囲音透過性の第１の状態とは異なる周囲音透過性の第２の状態で動作させることと、オーディオソースを使用するオーディオの生成を第１のモードから第１のモードとは異なる第２のモードに遷移させることと、１つ以上の条件のセットが満たされていないことに従って、電子デバイスを周囲音透過性の第１の状態に維持することと、第１のモードでオーディオソースを使用してオーディオを生成することを維持することと、を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。この非一時的コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、電子デバイスは２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、ディスプレイ上の第１の位置に、ユーザ移動可能アフォーダンスを表示し、ユーザ移動可能アフォーダンスが第１の位置に表示されている間に、電子デバイスを、周囲音透過性の第１の状態で動作させ、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成し、タッチ感知面を使用して、ユーザ入力を検出し、ユーザ入力を検出したことに応じて、ユーザ入力がユーザ移動可能アフォーダンス上でのタッチアンドドラッグ動作である場合に満たされる第１の条件を含む１つ以上の条件のセットが満たされていることに従って、電子デバイスを、周囲音透過性の第１の状態とは異なる周囲音透過性の第２の状態で動作させ、オーディオソースを使用するオーディオの生成を第１のモードから第１のモードとは異なる第２のモードに遷移させ、１つ以上の条件のセットが満たされていないことに従って、電子デバイスを周囲音透過性の第１の状態に維持し、第１のモードでオーディオソースを使用してオーディオを生成することを維持する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。この一時的コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、電子デバイスは２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、ディスプレイ上の第１の位置に、ユーザ移動可能アフォーダンスを表示し、ユーザ移動可能アフォーダンスが第１の位置に表示されている間に、電子デバイスを、周囲音透過性の第１の状態で動作させ、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成し、タッチ感知面を使用して、ユーザ入力を検出し、ユーザ入力を検出したことに応じて、ユーザ入力がユーザ移動可能アフォーダンス上でのタッチアンドドラッグ動作である場合に満たされる第１の条件を含む１つ以上の条件のセットが満たされていることに従って、電子デバイスを、周囲音透過性の第１の状態とは異なる周囲音透過性の第２の状態で動作させ、オーディオソースを使用するオーディオの生成を第１のモードから第１のモードとは異なる第２のモードに遷移させ、１つ以上の条件のセットが満たされていないことに従って、電子デバイスを周囲音透過性の第１の状態に維持し、第１のモードでオーディオソースを使用してオーディオを生成することを維持する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、タッチ感知面と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、電子デバイスは、２つ以上のスピーカと動作可能に接続され、１つ以上のプログラムは、ディスプレイ上の第１の位置に、ユーザ移動可能アフォーダンスを表示し、ユーザ移動可能アフォーダンスが第１の位置に表示されている間に、電子デバイスを、周囲音透過性の第１の状態で動作させ、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成し、タッチ感知面を使用して、ユーザ入力を検出し、ユーザ入力を検出したことに応じて、ユーザ入力がユーザ移動可能アフォーダンス上でのタッチアンドドラッグ動作である場合に満たされる第１の条件を含む１つ以上の条件のセットが満たされていることに従って、電子デバイスを、周囲音透過性の第１の状態とは異なる周囲音透過性の第２の状態で動作させ、オーディオソースを使用するオーディオの生成を第１のモードから第１のモードとは異なる第２のモードに遷移させ、１つ以上の条件のセットが満たされていないことに従って、電子デバイスを周囲音透過性の第１の状態に維持し、第１のモードでオーディオソースを使用してオーディオを生成することを維持する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、電子デバイスが２つ以上のスピーカと動作可能に接続されているタッチ感知面と、ディスプレイ上の第１の位置において、ユーザ移動可能アフォーダンスを表示する手段と、ユーザ移動可能アフォーダンスが第１の位置に表示されている間に、電子デバイスを、周囲音透過性の第１の状態で動作させ、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成し、タッチ感知面を使用して、ユーザ入力を検出する、手段と、ユーザ入力を検出したことに応じて、ユーザ入力がユーザ移動可能アフォーダンス上でのタッチアンドドラッグ動作である場合に満たされる第１の条件を含む１つ以上の条件のセットが満たされていることに従って、電子デバイスを、周囲音透過性の第１の状態とは異なる周囲音透過性の第２の状態で動作させ、オーディオソースを使用するオーディオの生成を第１のモードから第１のモードとは異なる第２のモードに遷移させ、１つ以上の条件のセットが満たされていないことに従って、電子デバイスを周囲音透過性の第１の状態に維持し、第１のモードでオーディオソースを使用してオーディオを生成することを維持する、手段と、を含む。
いくつかの実施形態によれば、ディスプレイ及びタッチ感知面を備える電子デバイスにおいて実行される方法が記載され、電子デバイスは、第１のスピーカ及び第２のスピーカを含む２つ以上のスピーカと動作可能に接続されている。この方法は、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成することであって、オーディオソースは、第１のオーディオストリーム及び第２のオーディオストリームを含む複数のオーディオストリームを含む、ことと、タッチ感知面を使用して、第１のユーザ入力を検出することと、第１のユーザ入力を検出したことに応じて、同時に、２つ以上のスピーカを使用して、第１のモードから第１のモードとは異なる第２のモードにオーディオソースの第１のオーディオストリームの生成を遷移させることと、２つ以上のスピーカを使用して、第１のモードから第１のモード及び第２のモードとは異なる第３のモードにオーディオソースの第２のオーディオストリームの生成を遷移させることと、ディスプレイ上に、オーディオソースの第１のオーディオストリームの第１の視覚表現を表示することと、ディスプレイ上に、オーディオソースの第２のオーディオストリームの第２の視覚表現を表示することと、を含み、第１の視覚表現は、第２の視覚表現とは異なる。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。この非一時的コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、電子デバイスは、第１のスピーカ及び第２のスピーカを含む２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成することであって、オーディオソースは、第１のオーディオストリーム及び第２のオーディオストリームを含む複数のオーディオストリームを含み、タッチ感知面を使用して、第１のユーザ入力を検出し、第１のユーザ入力を検出したことに応じて、同時に、２つ以上のスピーカを使用して、第１のモードから第１のモードとは異なる第２のモードにオーディオソースの第１のオーディオストリームの生成を遷移させ、２つ以上のスピーカを使用して、第１のモードから第１のモード及び第２のモードとは異なる第３のモードにオーディオソースの第２のオーディオストリームの生成を遷移させ、ディスプレイ上に、オーディオソースの第１のオーディオストリームの第１の視覚表現を表示し、ディスプレイ上に、オーディオソースの第２のオーディオストリームの第２の視覚表現を表示する、命令を含み、第１の視覚表現は、第２の視覚表現とは異なる。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。この一時的コンピュータ可読記憶媒体は、ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、電子デバイスは、第１のスピーカ及び第２のスピーカを含む２つ以上のスピーカと動作可能に接続されており、１つ以上のプログラムは、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成することであって、オーディオソースは、第１のオーディオストリーム及び第２のオーディオストリームを含む複数のオーディオストリームを含み、タッチ感知面を使用して、第１のユーザ入力を検出し、第１のユーザ入力を検出したことに応じて、同時に、２つ以上のスピーカを使用して、第１のモードから第１のモードとは異なる第２のモードにオーディオソースの第１のオーディオストリームの生成を遷移させ、２つ以上のスピーカを使用して、第１のモードから第１のモード及び第２のモードとは異なる第３のモードにオーディオソースの第２のオーディオストリームの生成を遷移させ、ディスプレイ上に、オーディオソースの第１のオーディオストリームの第１の視覚表現を表示し、ディスプレイ上に、オーディオソースの第２のオーディオストリームの第２の視覚表現を表示する、命令を含み、第１の視覚表現は、第２の視覚表現とは異なる。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、タッチ感知面と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、電子デバイスは、第１のスピーカ及び第２のスピーカを含む２つ以上のスピーカと動作可能に接続され、１つ以上のプログラムは、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成することであって、オーディオソースは、第１のオーディオストリーム及び第２のオーディオストリームを含む複数のオーディオストリームを含み、タッチ感知面を使用して、第１のユーザ入力を検出し、第１のユーザ入力を検出したことに応じて、同時に、２つ以上のスピーカを使用して、第１のモードから第１のモードとは異なる第２のモードにオーディオソースの第１のオーディオストリームの生成を遷移させ、２つ以上のスピーカを使用して、第１のモードから第１のモード及び第２のモードとは異なる第３のモードにオーディオソースの第２のオーディオストリームの生成を遷移させ、ディスプレイ上に、オーディオソースの第１のオーディオストリームの第１の視覚表現を表示し、ディスプレイ上に、オーディオソースの第２のオーディオストリームの第２の視覚表現を表示する、命令を含み、第１の視覚表現は、第２の視覚表現とは異なる。
いくつかの実施形態によれば、電子デバイスが記載される。本電子デバイスは、ディスプレイと、電子デバイスが、第１のスピーカ及び第２のスピーカを含む２つ以上のスピーカと動作可能に接続されている、タッチ感知面と、２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成する手段であって、オーディオソースは、第１のオーディオストリーム及び第２のオーディオストリームを含む複数のオーディオストリームを含む、手段と、タッチ感知面を使用して、第１のユーザ入力を検出する手段と、第１のユーザ入力を検出したことに応じて、同時に、２つ以上のスピーカを使用して、第１のモードから第１のモードとは異なる第２のモードにオーディオソースの第１のオーディオストリームの生成を遷移させ、２つ以上のスピーカを使用して、第１のモードから第１のモード及び第２のモードとは異なる第３のモードにオーディオソースの第２のオーディオストリームの生成を遷移させ、ディスプレイ上に、オーディオソースの第１のオーディオストリームの第１の視覚表現を表示し、
ディスプレイ上に、オーディオソースの第２のオーディオストリームの第２の視覚表現を表示する手段と、を含み、第１の視覚表現は、第２の視覚表現とは異なる。
これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能命令は、任意選択的に、１つ以上のプロセッサによって実行されるために構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
このため、空間オーディオを管理するための、より速く、より効率的な方法及びインタフェースがデバイスに提供され、それによって、このようなデバイスの有効性、効率、及びユーザ満足度が増す。そのような方法及びインタフェースは、空間オーディオを管理するための他の方法を補完するか又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す図である。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、パーソナル電子デバイスを示す図である。
いくつかの実施形態に係る、パーソナル電子デバイスを示すブロック図である。
いくつかの実施形態に係るタッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。 いくつかの実施形態に係るタッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。
いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。
いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。 いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。
いくつかの実施形態に係る、電子デバイスを使用して視覚要素の間で遷移させるための方法を示すフロー図である。 いくつかの実施形態に係る、電子デバイスを使用して視覚要素の間で遷移させるための方法を示すフロー図である。 いくつかの実施形態に係る、電子デバイスを使用して視覚要素の間で遷移させるための方法を示すフロー図である。
いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。 いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。
いくつかの実施形態に係る、電子デバイスを使用してオーディオをプレビューするための方法を示すフロー図である。 いくつかの実施形態に係る、電子デバイスを使用してオーディオをプレビューするための方法を示すフロー図である。 いくつかの実施形態に係る、電子デバイスを使用してオーディオをプレビューするための方法を示すフロー図である。
いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。
いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。 いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。
いくつかの実施形態に係る、電子デバイスを使用して音楽を発見するための方法を示すフロー図である。 いくつかの実施形態に係る、電子デバイスを使用して音楽を発見するための方法を示すフロー図である。
いくつかの実施形態に係る、ヘッドホン透過性を管理するための例示的な技法を示す。 いくつかの実施形態に係る、ヘッドホン透過性を管理するための例示的な技法を示す。 いくつかの実施形態に係る、ヘッドホン透過性を管理するための例示的な技法を示す。 いくつかの実施形態に係る、ヘッドホン透過性を管理するための例示的な技法を示す。 いくつかの実施形態に係る、ヘッドホン透過性を管理するための例示的な技法を示す。 いくつかの実施形態に係る、ヘッドホン透過性を管理するための例示的な技法を示す。
いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。 いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。 いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。 いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。 いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。 いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。 いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。
いくつかの実施形態に係る、電子デバイスを使用してヘッドホン透過性を管理するための方法を示すフロー図である。 いくつかの実施形態に係る、電子デバイスを使用してヘッドホン透過性を管理するための方法を示すフロー図である。
いくつかの実施形態に係る、電子デバイスを使用してオーディオソースの複数のオーディオストリームを操作するための方法を示すフロー図である。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、むしろ例示的な実施形態の説明として提供されることを認識されたい。
空間オーディオを管理するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。例えば、空間オーディオは、ユーザに、電子デバイスの状態のコンテキスト認識を提供することができる。このような技法は、電子デバイスを使用するユーザの認識的負担を軽減し、それによって生産性を高めることができる。更に、そのような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減することができる。
以下に、図１Ａ〜図１Ｂ、図２、図３、図４Ａ〜図４Ｂ、及び図５Ａ〜図５Ｈは、イベント通知を管理する技法を行うための例示的なデバイスの説明を提供する。
図６Ａ〜図６Ｎは、いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。図７Ａ〜図７Ｃは、いくつかの実施形態に係る、電子デバイスを使用して視覚要素の間で遷移させるための方法を示すフロー図である。図６Ａ〜図６Ｎのユーザインタフェースは、図７Ａ〜図７Ｃのプロセスを含む後述するプロセスを示すために使用される。
図８Ａ〜図８Ｋは、いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。図９Ａ〜図９Ｃは、いくつかの実施形態に係る、電子デバイスを使用してオーディオをプレビューするための方法を示すフロー図である。図８Ａ〜図８Ｋのユーザインタフェースは、図９Ａ〜図９Ｃのプロセスを含む後述のプロセスを示すために使用される。
図１０Ａ〜図１０Ｋは、いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。図１１Ａ〜図１１Ｇは、いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。図１２Ａ〜図１２Ｂは、いくつかの実施形態に係る、電子デバイスを使用して音楽を発見するための方法を示すフロー図である。図１０Ａ〜図１０Ｋ及び図１１Ａ〜図１１Ｇのユーザインタフェースは、図１２Ａ〜図１２Ｂのプロセスを含む後述するプロセスを示すために使用される。
図１３Ａ〜図１３Ｆは、いくつかの実施形態に係る、ヘッドホン透過性を管理するための例示的な技法を示す。図１４Ａ〜図１４Ｂは、いくつかの実施形態に係る、電子デバイスを使用してヘッドホン透過性を管理するための方法を示すフロー図である。図１３Ａ〜図１３Ｆのユーザインタフェースは、図１４Ａ〜図１４Ｂのプロセスを含む後述するプロセスを示すために使用される。
図１３Ｇ〜図１３Ｍは、いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。図１５は、いくつかの実施形態に係る、電子デバイスを使用してオーディオソースの複数のオーディオストリームを操作するための方法を示すフロー図である。図１３Ｇ〜図１３Ｍのユーザインタフェースは、図１５のプロセスを含む後述するプロセスを示すために使用される。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「〜の場合（if）」という用語は、任意選択的に、文脈に応じて、「〜とき（when）」若しくは「〜とき（upon）」、又は「〜と判定したことに応じて（in response to determining）」若しくは「〜を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「〜と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応じて、「〜と判定したとき（upon determining）」若しくは「〜と判定したことに応じて（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応じて（in response to detecting [the stated condition or event]）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、通常、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求において使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を決定するために組み合わされる（例えば、加重平均される）。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力の代替測定値が、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触力又は圧力の代理測定値は、力又は圧力の推定値に変換され、力又は圧力の推定値が、強度閾値を超えているかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。ユーザ入力の属性として接触の強度を使用することで、いくつかの状況では、アフォーダンスの表示（例えば、タッチ感知ディスプレイ上）、及び／又はユーザ入力の受信（例えば、タッチ感知ディスプレイ、タッチ感知面、若しくはノブ若しくはボタンなどの物理／機械的コントロールを介する）のために、制限された面積を有するサイズが低減されたデバイス上でユーザが普通ならアクセスできない追加のデバイス機能性に対するユーザアクセスを可能にする。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実施される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field Communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、モバイル通信用グローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、エボリューションデータオンリ（Evolution,Data-Only、ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈローエネルギー（Bluetooth Low Energy、ＢＴＬＥ）、ワイヤレスフィデリティ（Wireless Fidelity、Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／若しくはＩＥＥＥ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレベレイジングエクステンション用のセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的な実施形態では、入力コントローラ１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量コントロールのためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
全体が参照により本明細書に組み込まれる、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン１１２のロックを解放し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押下は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、動画、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は、（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン１１２に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる移動又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許公報第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願に記載されている。
（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ−Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ−Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ−Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願は全て、全体が参照により本明細書に組み込まれる。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超える動画解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉの動画解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。一部の実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、任意選択的に、静止画像又は動画をキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対側のデバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び／又は動画の取得のためのビューファインダとして使用することが可能である。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、ユーザの画像が、任意選択的に、テレビ会議のために入手されるように、光センサはデバイスの前面に配置される。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができ、したがって単一の光センサ１６４が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び／又は動画の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で記載されているように機能する。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに置かれた場合（例えば、ユーザが電話をかけている場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギーを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触知フィードバック生成命令を触覚フィードバックモジュール１３３から受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置される。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ−ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイに表示される。デバイス１００は、任意選択的に、加速度計（単数又は複数）１６８に加えて、磁気計（図示せず）、並びにデバイス１００の位置及び向き（例えば、縦向き又は横向き）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ若しくは他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの位置、及び／又は姿勢に関する位置情報のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組込み型オペレーティングシステム）は、全般的なシステムタスク（例えば、メモリ管理、記憶装置制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥなど）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは同様であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を（ディスプレイコントローラ１５６と連携して）検出する。接触／動きモジュール１３０は、接触が生じたかどうかを判定すること（例えば、指ダウンイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するかどうかを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかどうかを判定すること（例えば、指アップイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたかどうかを判定するために（例えば、ユーザがアイコン上で「クリック」したかどうかを判定するために）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、（例えば、個々の強度閾値を調整すること、及び／又は複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって）強度閾値のセットのうちの１つ以上を調整するソフトウェア設定が提供される。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的な影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性）を変化させる構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、動画、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、触知出力生成器１６７によって使用される命令を生成するための様々なソフトウェア構成要素を含み、触知出力生成器１６７は、ユーザのデバイス１００との対話に応じて、デバイス１００上の１つ以上の位置での触知出力を生成する。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置に基づくダイヤル発呼で使用するために電話１３８に、写真／動画のメタデータとしてカメラ１４３に、並びに、天気ウィジェット、地域の職業別電話帳ウィジェット、及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションに）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又は動画用のカメラモジュール１４３、
●画像管理モジュール１４４、
●動画プレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●任意選択的に、天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９−６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●動画プレーヤモジュール及び音楽プレーヤモジュールを一体化した動画及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は、
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
連絡先モジュール１３７は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、アドレス帳又は連絡先リストを（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶して）管理するために使用される。連絡先モジュール１３７による管理には、
アドレス帳に名前を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、実際の住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始かつ／又は促進すること、などが含まれる。
電話モジュール１３８は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、通話の実行、並びに通話終了時の接続切断及び通話停止のために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
テレビ会議モジュール１３９は、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、ユーザの指示に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
電子メールクライアントモジュール１４０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又は動画画像を有する電子メールの作成及び送信を非常に容易にする。
インスタントメッセージングモジュール１４１は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）それぞれのインスタントメッセージの送信、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信される及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるようなグラフィック、写真、オーディオファイル、動画ファイル、及び／又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
トレーニングサポートモジュール１４２は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連携して、トレーニング（例えば、時間、距離、及び／又はカロリー燃焼の目標を有する）を作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
カメラモジュール１４３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、静止画像若しくは（動画ストリームを含む）動画のキャプチャ及びメモリ１０２内への記憶、静止画像若しくは動画の特性の修正、又はメモリ１０２からの静止画像若しくは動画の削除のための実行可能な命令を含む。
画像管理モジュール１４４は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連携して、静止画像及び／若しくは動画の配置、修正（例えば、編集）、又はその他の操作、ラベル付け、削除、（例えば、デジタルスライドショー若しくはアルバムにおける）提示、及び記憶のための実行可能な命令を含む。
ブラウザモジュール１４７は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含む、ユーザの指示に従ってインターネットをブラウジングするための実行可能な命令を含む。
カレンダモジュール１４８は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザの指示に従って、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダアイテム、ｔｏ−ｄｏリストなど）を作成、表示、修正、及び記憶するための実行可能な命令を含む。
ウィジェットモジュール１４９は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザによってダウンロード及び使用されるミニアプリケーション（例えば、天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）、又はユーザによって作成されたミニアプリケーション（例えば、ユーザ作成ウィジェット１４９−６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ウィジェットクリエータモジュール１５０は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
検索モジュール１５１は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）と一致するメモリ１０２内の文字、音楽、サウンド、画像、動画、及び／又は他のファイルを検索するための実行可能な命令を含む。
動画及び音楽プレーヤモジュール１５２は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びに動画を（例えば、タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
メモモジュール１５３は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ユーザの指示に従ってメモ、ｔｏ−ｄｏリストなどを作成及び管理するための実行可能な命令を含む。
地図モジュール１５４は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、任意選択的に、ユーザの指示に従って、地図及び地図に関連付けられたデータ（例えば、運転の道順、特定の場所又はその付近の店舗及び他の見どころに関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
オンラインビデオモジュール１５５は、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、（例えば、ストリーミング及び／又はダウンロードによる）受信、（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上の）再生、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」を参照されたい。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した１つ以上の機能及び本出願に記載した方法（例えば、本明細書に記載したコンピュータにより実装される方法及び他の情報処理方法）を実行する実行可能な命令のセットに対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は別の方法で再構成される。例えば、動画プレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａの動画及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされた場合に、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）と、それぞれのアプリケーション１３６−１（例えば、前述のアプリケーション１３７〜１５１、１５５、３８０〜３９０のうちのいずれか）とを含む。
イベントソータ１７０は、イベント情報を受信し、イベント情報を配信するアプリケーション１３６−１、及びアプリケーション１３６−１のアプリケーションビュー１９１を判定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブ又は実行中である場合にタッチ感知ディスプレイ１１２に表示される現在のアプリケーションビューを示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソータ１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６−１が実行を再開する場合に使用すべき再開情報、アプリケーション１３６−１によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション１３６−１の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、タッチ感知ディスプレイ１１２でのマルチタッチジェスチャの一部としてのユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示している場合に、サブイベントが１つ以上のビュー内のどこで起きたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントシーケンスにおける第１のサブイベント）が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは、通常、ヒットビューとして特定されたタッチ又は入力ソースと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６−１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６−１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）又はアプリケーション１３６−１が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上が、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７−１）及びイベント２（１８７−２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント１（１８７−１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ１１２にわたるタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２に３つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の伝送を遅らせる遅延アクションも含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識される場合に、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新し、又は動画プレーヤモジュールで使用される動画ファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、それらの全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。一部の実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス１００と接触した指の、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、ローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００は、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンをまた含む。前述したように、メニューボタン２０４は、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２に表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス１００は、マイクロフォン１１３を介して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力もまた受け入れる。デバイス１００は、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７もまた含む。
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、通常、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を含む入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、通常、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０並びにタッチパッド３５５と、デバイス３００上に触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して前述した触知出力生成器１６７に類似している）触知出力生成器３５７と、センサ３５９（例えば、光、加速度、近接、タッチ感知、及び／又は図１Ａを参照して前述した、接触強度センサ１６５に類似している接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は他の方法で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス１００に実装されるユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ−Ｆｉ信号などの無線通信（単数又は複数）用の信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称される動画及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９−２のアイコン４３４、
○「マップ」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９−１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９−４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、動画及び音楽プレーヤモジュール１５２のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる、他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対して触知出力を生成する１つ以上の触知出力生成器３５７を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の１次軸（例えば、図４Ｂの４５３）に対応する１次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの移動）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられる一方、いくつかの実施形態では、指入力のうちの１つ以上が別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、（例えば、接触の代わりに、）マウスクリックであって、その後に（例えば、接触の移動の代わりに）スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置上に位置する間は、（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ〜図４Ｂ）に関して説明された特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下ではタッチスクリーン５０４、を有する。あるいは、又はタッチスクリーン５０４に加えて、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチ（複数）に、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出し処理する例示的な技法は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際特許第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際特許第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」を参照されたい。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的であり得る。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０と接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構５０８は、任意選択的にボタンである。
いくつかの例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はそれらの組み合わせなどの様々なセンサを含み、それらは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含み得、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス７００（図７Ａ〜７Ｃ）、プロセス９００（図９Ａ〜９Ｃ）、プロセス１２００（図１２Ａ〜１２Ｂ）、プロセス１４００（図１４Ａ〜１４Ｂ）、及びプロセス１５００（図１５）を含めた、以下に説明する技法を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又は命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ−ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書で使用される「アフォーダンス」という用語は、任意選択的に、デバイス１００、３００、及び／又は５００（図１Ａ、図３、及び図５Ａ〜図５Ｂ）のディスプレイスクリーンに表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及び文字（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、入力（例えば、押下入力）がタッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で検出されたとき、特定のユーザインタフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を可能にするタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置で入力（例えば、接触による押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによって）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域に動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる具体的な形態にかかわらず、フォーカスセレクタは、一般に、ユーザが意図するユーザインタフェースとの対話について（例えば、ユーザがそれを通じて対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）伝えるためにユーザによって制御されるユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する所定の時間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。一部の実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均である場合に）、接触の持続期間が使用される。一部の実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超えない特性強度を有する接触は第１の動作をもたらし、第１の強度閾値を超えるが第２の強度閾値を超えない特性強度を有する接触は第２の動作をもたらし、第２の閾値を超える特性強度を有する接触は第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを見送るべきか）を判定するために使用される。
図５Ｃは、複数の強度センサ５２４Ａ〜５２４Ｄによってタッチ感知ディスプレイスクリーン５０４上で複数の接触５５２Ａ〜５５２Ｅを検出することを示している。図５Ｃは、追加として、強度単位に対する強度センサ５２４Ａ〜５２４Ｄの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ５２４Ａ及び５２４Ｄの強度測定値はそれぞれ９強度単位であり、強度センサ５２４Ｂ及び５２４Ｃの強度測定値はそれぞれ７強度単位である。いくつかの実装形態では、集約強度は、複数の強度センサ５２４Ａ〜５２４Ｄの強度測定値の和であり、この例では３２強度単位である。いくつかの実施形態では、各接触に、集約強度の一部分であるそれぞれの強度が割り当てられる。図５Ｄは、力の中心５５４からの距離に基づいて、集約強度を接触５５２Ａ〜５５２Ｅに割り当てることを示している。この例では、接触５５２Ａ、５５２Ｂ、及び５５２Ｅのそれぞれに、集約強度の８強度単位の接触の強度が割り当てられ、接触５５２Ｃ及び５５２Ｄのそれぞれに、集約強度の４強度単位の接触の強度が割り当てられる。より一般的には、一部の実装例では、各接触ｊは、所定の数学関数Ｉｊ＝Ａ・（Ｄｊ／ΣＤｉ）に従って、合計の強度Ａの一部分である、それぞれの強度Ｉｊが割り当てられ、ここで、Ｄｊは、力の中心からそれぞれの接触ｊまでの距離であり、ΣＤｉは、力の中心から全てのそれぞれ接触（例えば、ｉ＝１から最後まで）までの距離の和である。図５Ｃ〜図５Ｄを参照して説明した動作は、デバイス１００、３００又は５００と類似若しくは同一の電子デバイスを使用して行うことができる。いくつかの実施形態では、接触の特性強度は、接触の１つ以上の強度に基づいている。いくつかの実施形態では、強度センサは、単一の特性強度（例えば、単一の接触の単一の特性強度）を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｃ〜図５Ｄに含まれていることに留意されたい。
一部の実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始位置から遷移して終了位置に到達し、その位置で接触の強度が増大している、連続するスワイプ接触を受信する。この例では、終了位置での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了位置の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触強度の幅の狭いスパイク又は下落を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下強度閾値、深い押下強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。一部の実施形態では、軽い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。一部の実施形態では、深い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押下強度閾値を下回る（例えば、かつそれを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、タッチ感知面上の接触の移動に従い、軽い押下強度閾値又は深い押下強度閾値に関連付けられた動作を実行することなく、フォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの値の様々なセットの間で一貫している。
軽い押下強度閾値を下回る強度から、軽い押下強度閾値と深い押下強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下強度閾値を下回る強度から、深い押下強度閾値を上回る強度への、接触の特性強度の増大は、「深い押下」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押下強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
本明細書に記載するいくつかの実施形態では、それぞれの押下入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは複数の接触）によって実行されたそれぞれの押下入力を検出したことに応じて、１つ以上の動作が実行され、それぞれの押下入力は、押下入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押下入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押下入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押下入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。
図５Ｅ〜５Ｈは、図５Ｅの軽い押下強度閾値（例えば、「ＩＴＬ」）を下回る強度から、図５Ｈの深い押下強度閾値（例えば、「ＩＴＤ」）を上回る強度への、接触５６２の強度の増大に対応する押下入力を含むジェスチャの検出を示す。接触５６２によって実行されるジェスチャは、タッチ感知面５６０上で検出され、所定の領域５７４内に表示されたアプリケーションアイコン５７２Ａ〜５７２Ｄを含む表示ユーザインタフェース５７０上では、アプリ２に対応するアプリケーションアイコン５７２Ｂの上にカーソル５７６が表示される。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ５０４上に検出される。強度センサは、タッチ感知面５６０上の接触の強度を検出する。デバイスは、接触５６２の強度が深い押下強度閾値（例えば、「ＩＴＤ」）を上回ってピークに達したと判定する。接触５６２は、タッチ感知面５６０上で維持される。ジェスチャの検出に応じて、ジェスチャ中に深い押下強度閾値（例えば、「ＩＴＤ」）を上回る強度を有する接触５６２に従って、図５Ｆ〜５Ｈに示すように、アプリ２に対して最近開いた文書の縮尺が低減された表現５７８Ａ〜５７８Ｃ（例えば、サムネイル）が表示される。いくつかの実施形態では、１つ以上の強度閾値と比較されるこの強度は、接触の特性強度である。接触５６２に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｅ〜５Ｈに含まれていることに留意されたい。
いくつかの実施形態では、表現５７８Ａ〜５７８Ｃの表示は、アニメーションを含む。例えば、図５Ｆに示すように、表現５７８Ａが、アプリケーションアイコン５７２Ｂに近接して最初に表示される。アニメーションが進むにつれて、図５Ｇに示すように、表現５７８Ａは上方へ動き、表現５７８Ｂが、アプリケーションアイコン５７２Ｂに近接して表示される。次いで、図５Ｈに示すように、表現５７８Ａが上方へ動き、表現５７８Ｂが表現５７８Ａに向かって上方へ動き、表現５７８Ｃが、アプリケーションアイコン５７２Ｂに近接して表示される。表現５７８Ａ〜５７８Ｃは、アイコン５７２Ｂの上にアレイを形成する。いくつかの実施形態では、アニメーションは、図５Ｆ〜５Ｇに示すように、接触５６２の強度に従って進行し、接触５６２の強度が深い押下強度閾値（例えば、「ＩＴＤ」）に向かって増大するにつれて、表現５７８Ａ〜５７８Ｃが現れ、上方へ動く。いくつかの実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図５Ｅ〜５Ｈを参照して説明する動作は、デバイス１００、３００、又は５００に類似若しくは同一の電子デバイスを使用して実行することができる。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押下入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押下入力強度閾値よりもＸ強度単位低い、又はヒステリシス強度閾値は、押下入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。同様に、一部の実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出する場合にのみ検出され、それぞれの動作は、押下入力（例えば、状況に応じて、接触の強度の増大又は接触の強度の減少）を検出したことに応じて実行される。
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び／又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押下入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押下入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
本明細書では、「インストール済みアプリケーション」は、電子デバイス（例えば、デバイス１００、３００、及び／又は５００）上へダウンロードされ、デバイス上で起動する準備ができた（例えば、開かれた）ソフトウェアアプリケーションを指す。いくつかの実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出し、抽出された部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。
本明細書では、「開いているアプリケーション」又は「実行中のアプリケーション」という用語は、保持された状態情報（例えば、デバイス／グローバル内部状態１５７及び／又はアプリケーション内部状態１９２の一部として）を有するソフトウェアアプリケーションを指す。開いている又は実行中のアプリケーションは、任意選択的に、以下のタイプのアプリケーションのうちのいずれか１つである。
●アプリケーションが使用されているデバイスのディスプレイスクリーンに現在表示されているアクティブなアプリケーション、
●現在表示されていないが、アプリケーションに対する１つ以上のプロセスが１つ以上のプロセッサによって処理されている背景アプリケーション（又は背景プロセス）、並びに
●稼働していないが、（それぞれ、揮発性及び不揮発性の）メモリに記憶されており、かつアプリケーションの実行を再開するために使用することができる状態情報を有する、中断又は休止状態のアプリケーション。
本明細書では、「閉じているアプリケーション」という用語は、保持された状態情報を有していないソフトウェアアプリケーションを指す（例えば、閉じているアプリケーションに対する状態情報は、デバイスのメモリ内に記憶されていない）。したがって、アプリケーションを閉じることは、アプリケーションに対するアプリケーションプロセスを停止及び／又は除去し、アプリケーションに対する状態情報をデバイスのメモリから除去することを含む。概して、第１のアプリケーション中に第２のアプリケーションを開いても、第１のアプリケーションは閉じない。第２のアプリケーションが表示されており、かつ第１のアプリケーションが表示を終了されたとき、第１のアプリケーションは背景アプリケーションになる。
オーディオの空間管理には、リスナーが音を空間（例えば、３次元（３Ｄ）空間）内の特定の位置から放出されていると知覚するように（例えば、フィルタを適用することによって）音の特性を修正するための技法が含まれる。このような技法は、ヘッドホン、イヤーバッド、又はラウドスピーカなどのスピーカを使用して達成することができる。いくつかの実施例では、例えば、リスナーがヘッドホンを使用しているとき、バイノーラルシミュレーションを使用して、リスナーに空間内の特定の位置から音が到来しているという錯覚を与えるバイノーラルキューを再現する。例えば、リスナーは、音源がリスナーの左から到来していると知覚する。別の実施例では、リスナーは、音源がリスナーの前を左から右に通過していると知覚する。この効果は、リスナーの頭部が移動するか又は回転するときであっても、頭部追跡を使用することによって向上させることができ音源の位置が空間内に静止したままであるという錯覚を作り出すことができる。いくつかの実施例では、例えば、リスナーがラウドスピーカを使用しているとき、クロストークキャンセルを使用して同様の効果が達成され、リスナーに空間内の特定の位置から音が到来しているという錯覚を与えることができる。
頭部伝達関数（Head-Related Transfer Function、ＨＲＴＦ）は、人間の耳が空間内の様々なポイントからどのように音を受けるかを特徴付ける。ＨＲＴＦは、音の方向、高度、及び距離のうちの１つ以上に基づくことができる。ＨＲＴＦを使用することによって、デバイス（例えば、デバイス１００）は、異なる関数をオーディオに適用して、人間の耳の指向性パターンを再現する。いくつかの実施例では、２つの耳のための１対のＨＲＴＦを使用して、リスナーに対する空間内の特定のポイントから、例えば、ユーザの上、下、前、後、左若しくは右、又はそれらの組み合わせなどの、リスナーに対して特定のポイントから到来していると知覚するバイノーラル音響を合成することができる。個人化されたＨＲＴＦは、一般的なＨＲＴＦと比較して、ＨＲＴＦが個人化されているリスナーに対して、より良好な結果を提供する。いくつかの実施例では、ＨＲＴＦは、ヘッドホン、イヤホン、及びイヤーバッドなどのリスニングデバイスを使用しているリスナーに適用される。
別の実施例では、デバイス（例えば、デバイス１００）が２つ以上のラウドスピーカを使用して音を生成すると、各ラウドスピーカからの音は、リスナーのそれぞれの最も近い耳を通して聞こえるが、反対側の耳を通しても聞こえて、クロストークをもたらす。この意図されていないクロストークのキャンセルを効果的に管理することは、空間内の特定の位置から音が発せられているとリスナーが知覚するように音を修正するのに役立つ。
デバイス（例えば、デバイス１００、３００、５００）はまた、（例えば、それぞれのソースに異なるフィルタを適用することによって）複数のオーディオソースの特性を同時に修正して、異なるオーディオソースからの音が空間内のそれぞれの異なる位置から到来しているという錯覚をリスナーに与えることができる。このような技法は、ヘッドホン又はラウドスピーカを使用して達成することができる。
いくつかの実施例では、空間（例えば、３Ｄ空間）内の特定の位置から音が発されているとリスナーが知覚するようにステレオ音源を修正することは、ステレオ音からモノラル音を生成することを含む。例えば、ステレオ音は、左オーディオチャネル及び右オーディオチャネルを含む。左オーディオチャネルは、例えば、第２の機器を含まずに第１の機器を含む。第２のオーディオチャネルは、例えば、第１の機器を含まずに第２の機器を含む。
ステレオ音源を空間内に配置すると、デバイスは、任意選択的に、左オーディオチャネルと右オーディオチャネルとを組み合わせて複合チャネルオーディオを形成し、次いで、複合チャネルオーディオに両耳間時間差を適用する。更に、デバイスは、任意選択的に（又は代替的に）、異なるスピーカで複合チャネルオーディオを生成する前に、複合チャネルオーディオにＨＲＴＦ及び／又はクロスキャンセルも適用する。
ステレオ音源を空間に配置しない場合、デバイスは、任意選択的に、左オーディオチャネルと右オーディオチャネルとを結合せず、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない。その代わりに、デバイスは、デバイスの左ラウドスピーカを使用して左オーディオチャネルを生成し、デバイスの右ラウドスピーカを使用して右チャネルを生成することによって、ステレオ音を生成する。その結果、デバイスはステレオで音を生成し、リスナーはステレオでオーディオを知覚する。
以下に記載される技法の多くは、リスナーが空間内の特定の位置から到来していると音を知覚するように、様々な処理を使用して音を修正する。
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上で実施されるユーザインタフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
図６Ａ〜図６Ｎは、いくつかの実施形態に係る、視覚要素の間で遷移させるための例示的な技法を示す。これらの図の技法は、図７Ａ〜図７Ｃのプロセスを含む後述のプロセスを例示するために使用される。
図６Ａ〜図６Ｇは、ディスプレイ６００ａ、左及び右ラウドスピーカ、並びにタッチ感知面６００ｂ（例えば、タッチパッド）を有するデバイス６００（例えば、ラップトップコンピュータ）の前に座っているユーザ６０６を示す。図６Ａ〜図６Ｇ及び図６Ｋ〜図６Ｎの全体を通じて、デバイス６００のタッチ感知面６００ｂの追加の拡大図がユーザの右側に示されており、特に例示的なユーザ入力に関して記載された技法のより良い理解を読者に提供する。同様に、俯瞰ビュー６５０は、デバイス６００によって生成されているオーディオの空間構成の視覚的表現であり、図６Ａ〜図６Ｇ全体を通して示されて、特に音が到来していると（例えば、デバイス６００が空間内にオーディオを配置する結果として）ユーザ６０６が知覚する位置に関して、技法のより良い理解を読者に提供する。俯瞰ビュー６５０は、デバイスのユーザインタフェースの一部ではない。同様に、ディスプレイデバイスの外側に表示される視覚要素は、点線の輪郭によって表されるように、表示されたユーザインタフェースの一部ではなく、技法のより良い理解を読者に提供するために例示されている。同様に、デバイスのディスプレイの外側に表示される視覚要素は、点線の輪郭によって表されるように、表示されたユーザインタフェースの一部ではなく、技法のより良い理解を読者に提供するために例示されている。図６Ａ〜図６Ｇの全体を通じて、デバイス６００は、（１）ゲームオーディオ及びゲーム動画を備えたバスケットボールゲームの再生を含むウェブブラウザ６０４ａ、（２）音楽の再生を含む音楽プレーヤ６０４ｂ、並びに（３）ショーオーディオ及びショー動画の再生を含む動画プレーヤ６０４ｃを実行している。オーディオ要素６５４ａは、ウェブブラウザ６０４ａから供給されるオーディオに対応し、オーディオ要素６５４ｂは、音楽プレーヤ６０４ｂから供給されるオーディオに対応し、オーディオ要素６５４ｃは、動画プレーヤ６０４ｃから供給されるオーディオに対応する。図６Ａ〜図６Ｇの全体を通じて、デバイス６００は、ウェブブラウザ６０４ａ、音楽プレーヤ６０４ｂ及び動画プレーヤ６０４ｃのそれぞれから供給されるオーディオを同時に生成する。
図６Ａでは、デバイス６００は、ディスプレイ６００ａ上にウェブブラウザ６０４ａを表示する。ウェブブラウザ６０４ａを表示している間に、デバイス６００は、左及び右ラウドスピーカを使用して、ウェブブラウザ６０４ａから供給されるゲームオーディオを生成する。図６Ａでは、ウェブブラウザ６０４ａを表示している間に、デバイス６００は、ウェブブラウザ６０４ａのゲームオーディオを空間に配置しない（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。結果として、ユーザ６０６は、俯瞰ビュー６５０内のユーザ６０６に対するオーディオ要素６５４ａの位置によって図６Ａに表されるように、ステレオでユーザ６０６の前にあると知覚する。例えば、ゲームオーディオの左オーディオチャネルは、スポーツコメンテーターを含み、かつ、観客からのノイズを含まず、一方、右オーディオチャネルは、観客からのノイズを含み、スポーツコメンテーターを含まない。デバイス６００ａがウェブブラウザ６０４ａを表示している間に、デバイス６００は、ゲームオーディオを使用して、デバイス６００ａの左ラウドスピーカを使用して左オーディオチャネルを生成し、デバイス６００ａの右ラウドスピーカを使用して右チャネルを生成することによって、ステレオオーディオを生成する。結果として、ユーザ６０６は、俯瞰ビュー６５０内のユーザ６０６に対するオーディオ要素６５４ａの位置によって図６Ａに表されるように、ステレオでユーザ６０６の前にあると知覚する。いくつかの実施例では、ウェブブラウザ６０４ａが現在アクセスされているデスクトップの一部であった場合、ウェブブラウザ６０４ａがアクティブに表示されていなかったとしても（例えば、ワードプロセッシングアプリケーションなどの異なる視覚要素がウェブブラウザ６０４ａの上部に表示されていて、そのためディスプレイ６００ａ上のウェブブラウザ６０４ａの表示をブロックしているとき）、デバイスはウェブブラウザ６０４ａのためのゲームオーディオを同じ方法で生成する。任意選択的に、様々なアプリケーションのオーディオは、デバイス６００が空間内でオーディオを再配置する場合に、湾曲した経路６５０ａに従う。いくつかの実施例では、デバイス６００ａは、隣接する音源から空間内で等距離の様々な音源を配置する。いくつかの実施例では、デバイス６００ａは、２つの軸だけ（例えば、左右及び前後だが上下ではない）で様々な音源を移動させる。
図６Ａでは、デバイス６００は、音楽プレーヤ６０４ｂを表示していない。音楽プレーヤ６０４ｂを表示していない間に、デバイス６００は、左及び右ラウドスピーカを使用して、音楽プレーヤ６０４ｂから供給される音楽を生成する。図６Ａでは、デバイス６００は、音楽プレーヤ６０４ｂから供給される音楽を空間内に配置する（例えば、デバイス６００は、音楽に対して両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用する）。デバイス６００は、オーディオ要素６５４ｂによって示すように、音楽がディスプレイ６００ａ（及びユーザ６０６）の右の空間内の位置から到来しているとユーザが知覚するように、音楽を配置する。これにより、ユーザは、音楽プレーヤ６０４ｂが表示されていない場合であっても、音楽プレーヤ６０４ｂが実行されてオーディオを生成していることを認識することができる。更に、空間内の音楽の配置は、図６Ｂ〜図６Ｇに記載されるように、音楽プレーヤ６０４ｃの表示にアクセスする方法をユーザが認識するのに役立つ。
図６Ａでは、デバイス６００は、動画プレーヤ６０４ｃを表示していない。動画プレーヤ６０４ｃを表示していない間に、デバイス６００は、左及び右ラウドスピーカを使用して、動画プレーヤ６０４ｃから供給されるオーディオを生成する。図６Ａでは、デバイス６００は、動画プレーヤ６０４ｂから供給されるショーオーディオを空間内に配置する（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを音楽に適用する）。デバイス６００は、ショーオーディオが、音楽プレーヤ６０４ｄからの音楽よりもディスプレイ６００ａ（及びユーザ６０６）の右に更に遠い空間内の位置から到来しているとユーザが知覚するように、ショーオーディオを配置する。これにより、ユーザは、動画プレーヤ６０４ｃが表示されていない場合であっても、動画プレーヤ６０４ｃが実行されてオーディオを生成していることを認識することができる。更に、空間内のショーオーディオの配置は、動画プレーヤ６０４ｃの表示にアクセスする方法をユーザが認識するのに役立つ。
加えて、デバイス６００は、任意選択的に、ディスプレイにない（例えば、現在アクセスされているデスクトップの一部ではない）アプリケーションに対応するローパス（又はハイパス、又はバンドパス）フィルタをオーディオに適用し、それによって、オーディオがラウドスピーカによって生成される前に、特定の周波数閾値を上回るオーディオを減衰（例えば、除去）する。結果として、ユーザは、ローパスフィルタが適用されていないオーディオと比較して、そのようなオーディオを背景ノイズとして知覚する。これにより、ユーザは、現在表示されていないアプリケーションなどの特定のアプリケーションからオーディオをより容易に聞こえなくすることができる。いくつかの実施形態では、同じローパスフィルタが、表示されていないアプリケーションに対応する全てのオーディオに適用される。いくつかの実施形態では、対応するアプリケーションがディスプレイからどのくらい遠くにユーザによって知覚されるべきかに基づいて、異なるローパスフィルタがそれぞれのオーディオに適用される。いくつかの実施形態では、デバイス６００は、（例えば、オーディオの全ての周波数にわたって）ディスプレイにないアプリケーションに対応するオーディオを、任意選択的に減衰させる。
図６Ａでは、例えば、デバイス６００は、ウェブブラウザ６０４ａから供給されるゲームオーディオに対してローパスフィルタを適用せず、デバイス６００は、音楽プレーヤ６０４ｂから供給される音楽に対して第１の遮断周波数を有する第１のローパスフィルタを適用し、デバイス６００は、動画プレーヤ６０４ｃから供給されるショーオーディオに対して第２の遮断周波数（第１の遮断周波数よりも低い）を有する第２のローパスを適用する。したがって、図６Ａでは、デバイス６００は、ウェブブラウザ６０４ａ、音楽プレーヤ６０４ｂ及び動画プレーヤ６０４ｃのそれぞれからのオーディオを同時に生成する。
図６Ｂ〜図６Ｃでは、デバイス６００は、タッチ感知面６００ｂで左スワイプユーザ入力６１０ａを受信する。左スワイプユーザ入力６１０ａを受信したことに応じて、図６Ｂ〜図６Ｃに示すように、デバイス６００は、ウェブブラウザ６０４ａを左にスライドさせることによって、ディスプレイ６００ａから離してウェブブラウザ６０４ａの表示を遷移させ、音楽プレーヤ６０４ｂを左にスライドさせることによって、ディスプレイ６００ａ上に音楽プレーヤ６０４ｂの表示を遷移させる。更に、左スワイプユーザ入力６１０ａを受信したことに応じて、図６Ｂ〜図６Ｃの俯瞰ビュー６５０に示すように、デバイス６００は、対応するアプリケーションからのオーディオをユーザが知覚する空間内の位置を変更する。
図６Ｄでは、デバイス６００は、ウェブブラウザ６０４ａを表示していない。ウェブブラウザ６０４ａを表示していない間に、デバイス６００は、左及び右ラウドスピーカを使用して、空間内にウェブブラウザ６０４ａから供給されるオーディオを配置し（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルをオーディオに適用し）、これにより、ユーザは、ゲームオーディオがディスプレイ６００ａ（及びユーザ６０６）の左の空間内の位置から到来していると知覚する。これにより、ウェブブラウザ６０４ａが表示されていない場合であっても、ユーザは、ウェブブラウザ６０４ａが実行され、オーディオを生成することを認識することができる。更に、空間内のゲームオーディオの配置は、（例えば、スワイプ右ユーザ入力を使用して）ウェブブラウザ６０４ａの表示にアクセスする方法をユーザが認識するのに役立つ。
図６Ｄでは、デバイス６００は、ディスプレイ６００ａ上に音楽プレーヤ６０４ｂを表示する。音楽プレーヤ６０４ｂを表示している間に、デバイス６００は、左及び右ラウドスピーカを使用して、音楽プレーヤ６０４ｂから供給されるオーディオを生成する。図６Ｄでは、音楽プレーヤ６０４ｂを表示している間に、デバイス６００は、音楽プレーヤ６０４ｂから供給される音楽を空間内に配置しない（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。結果として、ユーザ６０６は、ユーザ６０６に対するオーディオ要素６５４ｃの位置によって図６Ｄの俯瞰ビュー６５０で表されるように、ステレオでユーザ６０６の前にあると知覚する。
図６Ｄでは、デバイス６００は、動画プレーヤ６０４ｃを表示していない。動画プレーヤ６０４ｃを表示していない間に、デバイス６００は、左及び右ラウドスピーカを使用して、空間内に動画プレーヤ６０４ｃから供給されるオーディオを配置し（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルをオーディオに適用し）、これにより、ユーザは、動画プレーヤ６０４ｃから供給されるオーディオがディスプレイ６００ａ（及びユーザ６０６）の右の空間内の、図６Ａにおいてユーザによって前に知覚されたほど右に遠くはない位置から到来していると知覚する。これにより、ユーザは、動画プレーヤ６０４ｃが表示されていない場合であっても、動画プレーヤ６０４ｃが実行されてオーディオを生成していることを認識することができる。更に、空間内のショーオーディオの配置は、（例えば、スワイプ左ユーザ入力を使用して）動画プレーヤ６０４ｃの表示にアクセスする方法をユーザが認識するのに役立つ。
図６Ｄでは、例えば、デバイス６００は、音楽プレーヤ６０４ｂから供給される音楽に対してローパスフィルタを適用せず、デバイス６００は、ウェブブラウザ６０４ａから供給されるゲームオーディオに対して第１の遮断周波数を有する第１のローパスフィルタを適用し、デバイス６００は、動画プレーヤ６０４ｃから供給されるショーオーディオに対して第１の遮断周波数を有する第１のローパスを適用する。したがって、図６Ｄでは、デバイス６００は、ウェブブラウザ６０４ａ、音楽プレーヤ６０４ｂ及び動画プレーヤ６０４ｃのそれぞれからのオーディオを同時に生成する。
図６Ｅ〜図６Ｆでは、デバイス６００は、タッチ感知面６００ｂで右スワイプユーザ入力６１０ｂを受信する。右スワイプユーザ入力６１０ｂを受信したことに応じて、図６Ｅ〜図６Ｆに示すように、デバイス６００は、ウェブブラウザ６０４ａを右にスライドさせることによって、ディスプレイ６００ａ上にウェブブラウザ６０４ａの表示を遷移させ、音楽プレーヤ６０４ｂを右にスライドさせることによって、ディスプレイ６００ａから離して音楽プレーヤ６０４ｂの表示を遷移させる。更に、右スワイプユーザ入力６１０ｂを受信したことに応じて、図６Ｅ〜図６Ｆの俯瞰ビュー６５０に示すように、デバイス６００は、対応するアプリケーションからのオーディオをユーザが知覚する空間内の位置を変更する。この実施例では、デバイスは、図６Ａに記載されているようにユーザがオーディオを知覚するように、オーディオを修正する。
図６Ｇは、図６Ａに対応する実施例を示す。図６Ｇでは、ユーザは、ヘッドホンを使用してデバイス６００ａによって生成されたオーディオを聞いている。結果として、ウェブブラウザ６０４ａのゲームオーディオがユーザの前にあると知覚するのではなく、ユーザは、ゲームオーディオがユーザ頭部内で生成されていると知覚する。任意選択的に、様々なアプリケーションのオーディオは、デバイス６００が空間内でオーディオを再配置する場合に、直線経路６５０ｂに従う。いくつかの実施例では、デバイス６００ａは、隣接する音源から空間内で等距離の様々な音源を配置する。いくつかの実施例では、デバイス６００ａは、２つの軸だけ（例えば、左右及び前後だが上下ではない）で様々な音源を移動させる。
図６Ｈ〜図６Ｊは、ディスプレイ６６０ａ（例えば、タッチスクリーン）、タッチ感知面６６０ｂ（例えば、タッチスクリーンの一部）を有し、ヘッドホンに（無線、有線で）接続された、デバイス６６０（例えば、携帯電話）を示す。この実施例では、ユーザ６０６は、ヘッドホンを使用してデバイス６６０を聞く。
俯瞰ビュー６７０は、デバイス６６０によって生成されているオーディオの空間構成の視覚的表現であり、図６Ｈ〜図６Ｊ全体を通して示されて、特に音が到来していると（例えば、デバイス６６０が空間内にオーディオを配置する結果として）ユーザ６０６が知覚する位置に関して、技法のより良い理解を読者に提供する。俯瞰ビュー６７０は、デバイス６６０のユーザインタフェースの一部ではない。同様に、ディスプレイデバイスの外側に表示される視覚要素は、点線の輪郭によって表されるように、表示されたユーザインタフェースの一部ではなく、技法のより良い理解を読者に提供するために例示されている。図６Ｈ〜図６Ｊの全体を通じて、デバイス６６０は、対応するアルバムアートを有する音楽の再生を含む音楽プレーヤを実行している。
オーディオ要素６７４ａは、音楽プレーヤから供給されるトラック１のオーディオに対応し、オーディオ要素６７４ｂは、音楽プレーヤから供給されるトラック２のオーディオに対応し、オーディオ要素６７４ｃは、音楽プレーヤから供給されるトラック３のオーディオに対応し、オーディオ要素６７４ｄは、音楽プレーヤから供給されるトラック４のオーディオに対応する。
図６Ｈでは、デバイス６６０は、ディスプレイ６６０ａ上にトラック１のアルバムアート６６４ａを表示しない。トラック１のアルバムアート６６４ａを表示していない間に、デバイス６６０は、ヘッドホンの左スピーカ及び右スピーカを使用して、トラック１のオーディオを空間内に配置することによって、トラック１のオーディオを生成し（例えば、デバイス６６０は、両耳間時間差、ＨＲＴＦ及び／又はクロスキャンセルを適用し）、それによってユーザは、俯瞰ビュー６７０内のユーザ６０６に対するオーディオ要素６７０ａの位置によって図６Ｈに示されるように、オーディオが空間内の（例えば、ユーザの左の、デバイスの左の）第１のポイントから到来していると知覚する。この実施例では、デバイス６６０は、オーディオを減衰させること、及び／又はローパス（又はハイパス、若しくはバンドパス）フィルタをオーディオに適用することによって、トラック１のオーディオを追加的に修正する。いくつかの実施例では、デバイス６６０は、対応するアルバムアートがディスプレイにない場合にトラック１のオーディオを生成しない。
図６Ｈでは、デバイス６６０は、ディスプレイ６６０ａ上にトラック２のアルバムアート６６４ｂを表示する。トラック２のアルバムアート６６４ａを表示している間に、デバイス６００は、左及び右ヘッドホンを使用して、トラック２のオーディオを空間内に配置することによって、トラック２のオーディオを生成し（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ又はクロスキャンセルを適用し）、それによってユーザは、俯瞰ビュー６７０内のユーザ６０６に対するオーディオ要素６７０ｂの位置によって図６Ｈに示されるように、オーディオが空間内の（例えば、空間内の第１のポイントとは異なり、デバイス６６０に対応する位置で、ユーザの前の空間内の第１のポイントの右の）第２のポイントから到来していると知覚する。この実施例では、デバイス６６０は、オーディオを減衰させること、又はローパス（又はハイパス、若しくはバンドパス）フィルタをオーディオに適用することによって、トラック２のオーディオを修正しない。
図６Ｈでは、デバイス６６０は、ディスプレイ６６０ａ上にトラック３のアルバムアート６６４ｃを表示しない。デバイス６６０はまた、ヘッドホンの左スピーカ又は右スピーカを使用して、トラック３のオーディオを生成しない。
図６Ｉ〜図６Ｊでは、デバイス６６０は、タッチ感知面６６０ａで左スワイプユーザ入力６６６を受信する。左スワイプユーザ入力６６６を受信したことに応じて、図６Ｉ〜図６Ｊに示すように、デバイス６６０は、アルバムアート６６４ｂを左にスライドさせることによって、ディスプレイ６６０ａから離してアルバムアート６６４ｂの表示を遷移させ、アルバムアート６６４ｃを左にスライドさせることによって、ディスプレイ６６０ａ上にアルバムアート６６４ｃの表示を遷移させる。更に、左スワイプユーザ入力６６６を受信したことに応じて、デバイス６６０は、（トラック２と同時に）トラック３のオーディオの生成を開始し、図６Ｉ〜図６Ｊの俯瞰ビュー６７０に表されるように、ユーザがトラック２及びトラック３からオーディオを知覚する空間内の位置を変更する。いくつかの実施例では、左スワイプユーザ入力６６６を受信したことに応じてトラック３のオーディオを生成することは、オーディオの所定の時間量（例えば、トラック２の最初の０．５秒）をスキップすることを含む。これは、デバイス６６０がトラック３のオーディオを以前に生成していなかった場合であっても、トラック３が以前に再生していたという意味をユーザに提供する。
図６Ｊでは、デバイス６６０は、トラック１のオーディオを生成することを停止する。デバイス６６０は、ヘッドホンの左スピーカ及び右スピーカを使用して、トラック２のオーディオを空間内に配置することによって、トラック２のオーディオを生成し（例えば、デバイス６６０は、両耳間時間差、ＨＲＴＦ及び／又はクロスキャンセルを適用し）、それによってユーザは、俯瞰ビュー６７０内のユーザ６０６に対するオーディオ要素６７０ｂの位置によって図６Ｊに示されるように、オーディオが空間内の（例えば、ユーザの左の、デバイスの左の）第１のポイントから到来していると知覚する。この実施例では、デバイス６６０は、オーディオを減衰させること、及び／又はローパス（又はハイパス、若しくはバンドパス）フィルタをオーディオに適用することによって、トラック２のオーディオを追加的に修正する。いくつかの実施例では、デバイス６６０は、対応するアルバムアートがディスプレイから移動して離れるにつれて、トラック２のオーディオを（オーディオを生成することを停止して）フェードアウトする。
図６Ｊでは、デバイス６６０は、ディスプレイ６６０ａ上にトラック３のアルバムアート６６４ｃを表示する。トラック３のアルバムアート６６４ｂを表示している間に、デバイス６００は、左及び右ヘッドホンを使用して、トラック３のオーディオを空間内に配置することによって、トラック３のオーディオを生成し（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ又はクロスキャンセルを適用し）、それによってユーザは、俯瞰ビュー６７０内のユーザ６０６に対するオーディオ要素６７０ｃの位置によって図６Ｈに示されるように、オーディオが空間内の（例えば、空間内の第１のポイントとは異なり、デバイス６６０に対応する位置で、ユーザの前の空間内の第１のポイントの右の）第２のポイントから到来していると知覚する。この実施例では、デバイス６６０は、オーディオを減衰させるか、又はローパス（又はハイパス、若しくはバンドパス）フィルタをオーディオに適用することによって、トラック３のオーディオを修正しない。
結果として、ユーザ６０６は、ユーザが様々なアルバムアートを介してスワイプするにつれて、音楽がユーザの前を通過すると知覚する。
図６Ｋ〜図６Ｎは、ディスプレイ６００ａ、左及び右ラウドスピーカ、並びにタッチ感知面６００ｂ（例えば、タッチパッド）を有するデバイス６００（例えば、ラップトップコンピュータ）の前に座っているユーザ６０６を示す。図６Ｋ〜図６Ｎの全体を通じて、デバイス６００のタッチ感知面６００ｂの追加の拡大図がユーザの右側に示されており、特にユーザ入力（又はその欠如）に関して記載された技法のより良い理解を読者に提供する。同様に、俯瞰ビュー６８０は、デバイス６００によって生成されているオーディオの空間構成の視覚的表現であり、図６Ｋ〜図６Ｎ全体を通して示されて、特に音が到来していると（例えば、デバイス６００が空間内にオーディオを配置する結果として）ユーザ６０６が知覚する位置に関して、技法のより良い理解を読者に提供する。俯瞰ビュー６８０は、デバイス６００のユーザインタフェースの一部ではない。同様に、ディスプレイデバイスの外側に表示される視覚要素は、点線の輪郭によって表されるように、表示されたユーザインタフェースの一部ではなく、技法のより良い理解を読者に提供するために例示されている。
図６Ｋでは、音楽プレーヤ６０４ｂが音楽を再生している。音楽プレーヤ６０４ａを表示している間に、デバイス６００は、左及び右スピーカを使用して、音楽プレーヤ６０４ａから供給されるオーディオを生成する。例えば、デバイス６００は、音楽プレーヤ６０４ａから供給されるオーディオを空間内に配置しない（例えば、デバイス６６０は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。結果として、ユーザ６０６は、俯瞰ビュー６８０内のユーザ６０６に対するオーディオ要素６８０ａの位置によって図６Ｋに表されるように、ステレオ音楽がユーザ６０６の前にあると知覚する。図６Ｋ〜図６Ｎの全体を通じて、オーディオ要素６８０ａは、音楽プレーヤ６０４ｂによって提供されているオーディオに対応する。
図６Ｌでは、デバイス６００は、通知（例えば、ネットワーク接続を介して受信したメッセージ通知）を受信する。通知を受信したことに応じて（及びユーザ入力を受信せずに）、デバイス６００は、左スピーカ及び右スピーカを使用して、音楽を空間内に配置することによって音楽プレーヤ６０４ａから供給される音楽を生成することに遷移し（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルを適用し）、それによってユーザは、俯瞰ビュー６８０内のユーザ６０６に対するオーディオ要素６８０ａの位置によって図６Ｌ〜図６Ｍに示されるように、オーディオがデバイス６００の左にある空間内のポイントから到来していると知覚する。デバイス６００は、ディスプレイ６００ａ上に音楽プレーヤ６０４ａの表示を維持する。いくつかの実施例では、デバイス６００はまた、通知を受信したことに応じて、通知を表示する。図６Ｋ〜図６Ｎの全体を通じて、オーディオ要素６８０ｂは、通知によって提供されているオーディオに対応する。
通知を受信したことに更に応じて（及びユーザ入力を受信せずに）、デバイス６００は、通知のオーディオを生成しないことから、左スピーカ及び右スピーカを使用して、通知のオーディオを空間内に配置することによって通知のオーディオを生成することに遷移し（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルを適用し）、それによってユーザは、俯瞰ビュー６８０内のユーザ６０６に対するオーディオ要素６８０ｂの位置によって図６Ｌに示されるように、通知のオーディオがデバイス６００の右にある空間内のポイントから到来していると知覚する。いくつかの実施例では、デバイス６００は、音楽プレーヤ６０４ａから供給される音楽をダッキングすることによって、通知のオーディオを強調する。例えば、デバイス６００は、通知のオーディオを生成している間に、音楽プレーヤ６０４ａから供給される音楽を減衰させる。次に、デバイス６００は、俯瞰ビュー６８０内のユーザ６０６に対するオーディオ要素６８０ｂの位置によって図６Ｍに示されるように、オーディオを空間内に配置することなく、通知のオーディオを生成することに遷移する（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。
続いて、デバイス６００は、図６Ｎに示すように、左スピーカ及び右スピーカを使用して、音楽プレーヤ６０４ａから供給されるオーディオを空間内に置くことなく、音楽プレーヤ６０４ａから供給されるオーディオを生成する（例えば、デバイス６００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。
いくつかの実施例では、デバイス６００及び６６０は、結果を発語することによってクエリの結果を返すことなどの、オーディオフィードバックを生成するデジタルアシスタントを含む。いくつかの実施例では、デバイス６００及び６６０は、空間内（例えば、ユーザの右肩の上）の位置にデジタルアシスタント用のオーディオを配置することによってデジタルアシスタントのオーディオを生成し、それにより、ユーザは、他のオーディオが空間内で移動したときでも、デジタルアシスタントが空間内で静止しているままであると知覚する。いくつかの実施例では、デバイス６００及び６６０は、１つ以上の（又は全ての）他のオーディオをダッキングすることによって、デジタルアシスタントのオーディオを強調する。
図７Ａ〜図７Ｃは、いくつかの実施形態に係る、電子デバイスを使用して視覚要素の間で遷移させるための方法を示すフロー図である。方法７００は、ディスプレイを有するデバイス（例えば、１００、３００、５００、６００、６６０）で実行され、電子デバイスは、２つ以上のスピーカ（例えば、左及び右スピーカ、左及び右ヘッドホン、左及び右イヤホン、左及び右イヤーバッド）と動作可能に接続されている。方法７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述のように、方法７００は、視覚要素間で遷移するための直観的な方法を提供する。この方法は、視覚要素間で遷移するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスの場合、ユーザがより迅速かつ効率的に視覚要素間を遷移できるようにすることで、電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、ディスプレイ上の第１の位置に、第１の視覚要素（例えば、第１のアプリケーションの６０４ａ、動画再生ウィンドウ、アルバムアート）を表示する（７０２）。
電子デバイスは、第１の視覚要素（再生ウィンドウ内の動画のオーディオ、アルバムアートに対応するアルバムからの歌のオーディオ、第１のアプリケーションによって又はそれから生成されたオーディオ）に対応する第１のオーディオ（例えば、第１のソースオーディオからの６５４ａ）にアクセスする（７０４）。
いくつかの実施形態によれば、電子デバイスは、第２の視覚要素（例えば、６０４ｂ）に対応する第２のオーディオ（例えば、第２のソースオーディオからの６５４ｂ）にアクセスする（７０６）。
第１の位置（例えば、ディスプレイ上で実質的に水平に中心に置かれたディスプレイ上の位置）で、第１の視覚要素（例えば、６０４ａ）を表示している間に（７０８）、電子デバイスは、第１のオーディオ（例えば、６５４ａ）を使用して２つ以上のスピーカにおいて、第１のモードで（例えば、図６Ａに示す第１のオーディオを修正することなく、６５４ａに両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用することなく）オーディオを生成する。
いくつかの実施形態によれば、第１のモードは、第１のモードを使用して生成されたオーディオが、ディスプレイに対応する（例えば、位置合わせされる）第１の方向（及び任意選択的に位置）から生成されるとユーザによって知覚されるように構成されている（７１２）。
ディスプレイ上の第１の位置（例えば、ディスプレイ上で実質的に水平に中心に置かれたディスプレイ上の位置）で、第１の視覚要素（例えば、６０４ａ）を表示している間に（７０８）、電子デバイスは、オーディオ（例えば、第２のオーディオに基づく構成要素を含む離散オーディオ出力又は組み合わせられたオーディオ出力）を、第２のオーディオ（例えば、６５４ｂ）を使用する２つ以上のスピーカにおいて、第１のモード及び第２のモードとは異なる第３のモードで（例えば、図６Ａに示す６５４ｂに両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用して）生成する。第３のモードは、第３のモードで生成されたオーディオが、ディスプレイから離れた（例えば、位置合わせされていない右側の）方向（及び任意選択的に位置）から生成されるとユーザによって知覚されるように構成される（例えば、オーディオがディスプレイ又はユーザの右の方向から生成されているとユーザによって知覚されるように、オーディオを生成する前にソースオーディオを修正する）。いくつかの実施例では、第１のモードは、ユーザ又はディスプレイの前にオーディオを配置し、第２のモードは、ユーザ又はディスプレイの左にオーディオを配置し、第３のモードは、ユーザ又はディスプレイの右にオーディオを置く。
ディスプレイ上に第１の位置（例えば、ディスプレイ上で実質的に水平に中心に置かれたディスプレイ上の位置）で、第１の視覚要素（例えば、６０４ａ）を表示している間に（７０８）、電子デバイスは、ディスプレイ上に、第２のオーディオ（例えば、第２のソースオーディオからの６５４ｂ）（例えば、再生ウィンドウ内の動画のオーディオ、アルバムアートに対応するアルバムからの歌のオーディオ、第２のアプリケーションによって生成されたオーディオ、又は第２のアプリケーションから受信されたオーディオ）に対応する第２の視覚要素（例えば、図６Ａの６０４ｂ、第２のアプリケーションの第２の動画再生ウィンドウ、第２のアルバムアート）を表示することを見合わせる（７１６）。
ディスプレイ上の第１の位置（例えば、ディスプレイ上で実質的に水平に中心に置かれたディスプレイ上の位置）で、第１の視覚要素（例えば、６０４ａ）を表示している間に（７０８）、電子デバイスは、第１のユーザ入力（例えば、６１０ａ、タッチ感知面６００ｂ上のスワイプ入力）を受信する（７１８）。
第１のユーザ入力（例えば、６１０ａ）を受信したことに応じて（７２０）、電子デバイスは、第１の視覚要素（例えば、図６Ｂの６０４ａ）の表示を、ディスプレイ上の第１の位置からディスプレイ上に表示されていない第１の視覚要素（例えば、図６Ｃの６０４ａ）に、（例えば、スライドさせることによって）（例えば、ディスプレイの縁部（例えば左縁部）をスライドオフすることによって）遷移させる。
更に、第１のユーザ入力（例えば、６１０ａ）を受信したことに応じて（７２０）、ディスプレイ上に第１の視覚要素（例えば、図６Ｃの６０４ａ）を表示していない間に、電子デバイスは、第１のモードとは異なる第２のモードで第１のオーディオ（例えば、６５４ａ）を使用して、２つ以上のスピーカにおいてオーディオを生成する（７２４）。第２のモードは、第２のモードで生成されたオーディオが、ディスプレイから離れた（例えば、位置合わせされていない左側の）方向（及び任意選択的に位置）から生成されるとユーザによって知覚されるように構成される（例えば、図６Ｃに示す６５４ａに、オーディオが（例えばディスプレイ又はユーザの左の）第１の視覚要素の最後に表示された位置に対応する方向にディスプレイから離れた方向から生成されているとユーザによって知覚されるように、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用して、オーディオを生成する前にソースオーディオを修正する）。変化する特性を有するコンテンツに関連するオーディオを生成することにより、ユーザは、コンテンツの表示を必要とせずに、コンテンツがユーザに対してどこにあるかを視覚化することができる。これにより、ユーザは、コンテンツにアクセスするために（例えば、コンテンツの表示を引き起こすために）必要とされる入力を、迅速かつ容易に認識することができる。変化する特性を有するオーディオを生成することはまた、異なるコンテンツの配置に関するコンテキストフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、第１のモードを使用して生成されたオーディオの音量は、第２のモードを使用して、又は第３のモードを使用して生成されたオーディオの音量よりも大きい。いくつかの実施例では、第２のモードを使用して生成されたオーディオの音量は、第１のモードを用いて生成されたオーディオの音量と同じである。
いくつかの実施例では、ローパスフィルタ、ハイパスフィルタ、又はバンドパスフィルタなどの周波数フィルタは、第１のモードで生成されたオーディオに適用されない（例えば、オーディオが、ユーザの前などの中央にあると知覚されるとき）。いくつかの実施例では、ローパスフィルタ、ハイパスフィルタ、又はバンドパスフィルタなどの第１の周波数フィルタが、第１のモードを使用して生成されたオーディオに適用される。いくつかの実施例では、ローパスフィルタ、ハイパスフィルタ、又はバンドパスフィルタなどの第２の周波数フィルタが、第２のモードを使用して生成されたオーディオに適用される。いくつかの実施例では、ローパスフィルタ、ハイパスフィルタ、又はバンドパスフィルタなどの第３の周波数フィルタが、第３のモードを使用して生成されたオーディオに適用される。いくつかの実施形態では、第２の周波数フィルタは、第３の周波数フィルタと同じである。いくつかの実施例では、周波数フィルタは、第２のモード及び第３のモードを使用して生成されたオーディオに適用されるが、第１のモードを用いて生成されたオーディオには適用されない。
いくつかの実施形態によれば、ディスプレイ上の第１の位置に、第１の視覚要素（例えば、図６Ａの６０４ａ、第１のアプリケーションの動画再生ウィンドウ、アルバムアート）を表示している間に、電子デバイスは、ディスプレイ上に、第２のオーディオ（例えば、第２のソースオーディオからの６５４ｂ）（例えば、再生ウィンドウ内の動画のオーディオ、アルバムアートに対応するアルバムからの歌のオーディオ、第２のアプリケーションによって生成されたオーディオ、又は第２のアプリケーションから受信されたオーディオ）に対応する第２の視覚要素（例えば、図６Ａの６０４ｂ、第２のアプリケーションの第２の動画再生ウィンドウ、第２のアルバムアート）を表示することを見合わせる。コンテンツを表示しないことは、表示空間を節約し、デバイスがディスプレイ上の他の視覚的フィードバックをユーザに提供することを可能にする。改善された視覚的フィードバックをユーザに提供することは、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話する場合に適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、第１のユーザ入力（例えば、６１０ａ）を受信することに更に応じて（７２０）、電子デバイスは、第２の視覚要素（例えば、６０４ｂ）の表示を、ディスプレイ上に表示されていないことから、ディスプレイ上の第４の位置（例えば、第１の位置と同じ図６Ｃの６０４ｂ）に、（例えば、スライドすることによって）（例えば、ディスプレイの縁部（右縁部など）からディスプレイ上に第２の視覚要素をスライドさせることによって）遷移させる（７２６）。
いくつかの実施形態によれば、第１のユーザ入力（例えば、６１０ａ）を受信することに更に応じて（７２０）、第２のモードで第１のオーディオ（例えば、図６Ｃの６５４ａ）を使用してオーディオを生成すると同時に、電子デバイスは、第１のモードで（例えば、第２のオーディオを修正せずに）第２のオーディオ（例えば、図６Ｃの６５４ｂ）を使用して、２つ以上のスピーカにおいてオーディオを生成する（７２８）。他の実施例では、第２のオーディオは、第１のモードとは異なるモードで生成される。
いくつかの実施形態によれば、第２のモードは、第２のモードを使用して生成されたオーディオが、第２の方向（例えば、第１の方向とは異なる）から生成されているとユーザによって知覚されるように構成されている。いくつかの実施形態によれば、第３のモードは、第３のモードを使用して生成されたオーディオが、第２の方向とは異なる（及び任意選択的に、第１の方向とは異なる）第３の方向から生成されるとユーザによって知覚されるように構成されている。したがって、任意選択的に、様々なモードを使用して生成されたオーディオのソースの知覚される位置が異なる。
いくつかの実施形態によれば、ディスプレイ上の第１の位置（例えば、ディスプレイ上で実質的に水平に中心に置かれたディスプレイ上の位置）に第１の視覚要素（例えば、図６Ａの６０４ａ）を表示することに続いて、第１の視覚要素がディスプレイ上に表示されなくなる前に（例えば、図６Ｃの６０４ａ）、電子デバイスは、ディスプレイ上の第２の位置（例えば、ディスプレイ上の第１の位置の左側にあるディスプレイ上の位置、ディスプレイ上で実質的に水平に中心に置かれていないディスプレイ上の位置、ディスプレイの縁部（例えば、左縁部）に隣接するディスプレイ上の位置）に、第１の視覚要素（例えば、図６Ｂの６０４ａ）を表示する。いくつかの実施形態によれば、ディスプレイ上の第１の位置（例えば、ディスプレイ上で実質的に水平に中心に置かれたディスプレイ上の位置）に第１の視覚要素（例えば、図６Ａの６０４ａ）を表示することに続いて、第１の視覚要素がディスプレイ上に表示されなくなる前に（例えば、図６Ｃの６０４ａ）、ディスプレイ上の第２の位置に第１の視覚要素（例えば、図６Ｂの６０４ａ）を表示している間に、電子デバイスは、２つ以上のスピーカにおいて、第１のモード、第２のモード、及び第３のモードとは異なる第４のモードで、第１のオーディオ（例えば、図６Ｂの６５４ａ）を使用して、オーディオを生成する。（例えば、オーディオが、ディスプレイの左側又はその近くなど、第１のモードで生成された場合にオーディオが知覚された位置とは異なる方向から生成されている、とユーザによって知覚されるように、オーディオを生成する前にソースオーディオを修正する）。
いくつかの実施形態によれば、第１のモードは、オーディオの両耳間時間差の修正を含まない。いくつかの実施例では、第１のモードで生成されたオーディオ（例えば、図６Ａの６５４ａ）は、ＨＲＴＦ、オーディオの両耳間時間差、又はクロスキャンセルのいずれかを使用して修正されない。いくつかの実施例では、第１の視覚要素が表示されている間に、電子デバイスは、ユーザが面している方向の１０度左及び１０度右の範囲内など、第１のオーディオがユーザの前にあると知覚されるように構成されたＨＲＴＦを使用して、第１のオーディオを再生する。いくつかの実施例では、ディスプレイ上に第１の視覚要素を表示している間に、電子デバイスは、第１のオーディオの両耳間時間差を、第１の所定量（例えば、最小の変化）より少なく修正するＨＲＴＦを使用して、第１のオーディオを生成する。
いくつかの実施形態によれば、第２のモードは、オーディオの両耳間時間差の修正を含む。いくつかの実施例では、第２のモードは、オーディオの両耳間時間差の第１の程度の修正を含み、第２のモードは、オーディオの両耳間時間差の第１の程度よりも大きい第２の程度の修正を含む。いくつかの実施例では、第３のモードは、オーディオの両耳間時間差の修正を含む。いくつかの実施例では、第２のモードで生成されたオーディオ（例えば、図６Ｃの６５４ｂ）は、ＨＲＴＦ、オーディオの両耳間時間差、及びクロスキャンセルのうちの１つ以上を使用して修正される。いくつかの実施例では、第３のモードで生成されたオーディオ（例えば、図６Ａの６５４ｂ）は、ＨＲＴＦ、オーディオの両耳間時間差、及びクロスキャンセルのうちの１つ以上を使用して修正される。変化する特性を有するコンテンツに関連するオーディオを生成することにより、ユーザは、コンテンツの表示を必要とせずに、コンテンツがユーザに対してどこにあるかを視覚化することができる。これにより、ユーザは、コンテンツにアクセスするために（例えば、コンテンツの表示を引き起こすために）必要とされる入力を、迅速かつ容易に認識することができる。変化する特性を有するオーディオを生成することはまた、異なるコンテンツの配置に関するコンテキストフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、オーディオの両耳間時間差の修正は、オーディオの第１のチャネルオーディオ（例えば、右チャネル）と、オーディオの第２のチャネルオーディオ（例えば、左チャネル）とを組み合わせて、複合チャネルオーディオを形成することと、第１の遅延（例えば、０ｍｓ遅延、遅延量未満）で、複合チャネルオーディオを含むように第２のチャネルオーディオを更新することと、第１の遅延とは異なる第２の遅延（例えば、１００ｍｓ遅延、遅延量より多い）で、複合チャネルオーディオを含むように第１のチャネルオーディオを更新することと、を含む。
いくつかの実施例では、オーディオの両耳間時間差を修正することは、第１のオーディオチャネルとは異なる第２のチャネルオーディオ（例えば、左チャネル）に時間遅延を導入することなく、第１のチャネルオーディオ（例えば、右チャネル）に時間遅延を導入することを含む。
いくつかの実施形態によれば、第１のユーザ入力（例えば、スワイプ入力）を受信し始める（例えば、検出を開始する）ことに応じて、電子デバイスは、第２の視覚要素（例えば、第２のアプリケーションの、第２の動画再生ウィンドウ、第２のアルバムアート）に対応する（例えば、第２のソースオーディオからの）第２のオーディオ（例えば、再生ウィンドウ内の動画のオーディオ、アルバムアートに対応するアルバムからの歌のオーディオ、第２のアプリケーションによって生成されるか、又は第２のアプリケーションから受信されるオーディオ）を使用してオーディオを生成しないことから、２つ以上のスピーカにおいて、第２の視覚的要素に対応する第２のオーディオを使用してオーディオを生成することに遷移する。例えば、第１の入力が受信される前に、第２のオーディオを使用してスピーカでオーディオは生成されない。第１の入力の開始が検出されると（又は第１の入力の一部分が検出された後、若しくは第１の入力が検出された後）、デバイスは、２つ以上のスピーカにおいて、第２の視覚要素に対応する第２のオーディオを使用してオーディオを生成する。いくつかの実施例では、第２のオーディオは、オーディオファイル（例えば、歌）であり、第２のオーディオを使用してオーディオを生成するように遷移することは、第２のオーディオの第１の所定の部分（例えば、最初の０．１秒）を使用してオーディオを生成することを見合わせることを含む。例えば、これは、オーディオがユーザに聞こえる前にオーディオが再生されていたという効果を提供する。
いくつかの実施形態によれば、第２のモード（及び任意選択的に、第３のモード）を使用してオーディオを生成することは、オーディオを減衰させることと、ハイパスフィルタをオーディオに適用することと、ローパスフィルタをオーディオに適用することと、２つ以上のスピーカの間の音量バランスを変更することと、のうちの１つ以上を含む。任意選択的に、オーディオを生成することは、オーディオを減衰させることと、ハイパスフィルタをオーディオに適用することと、ローパスフィルタをオーディオに適用することと、２つ以上のスピーカの間の音量バランスを変更することと、のうちの１つ以上を使用することである。変化する特性を有するコンテンツに関連するオーディオを生成することにより、ユーザは、コンテンツの表示を必要とせずに、コンテンツがユーザに対してどこにあるかを視覚化することができる。これにより、ユーザは、コンテンツにアクセスするために（例えば、コンテンツの表示を引き起こすために）必要とされる入力を、迅速かつ容易に認識することができる。変化する特性を有するオーディオを生成することはまた、異なるコンテンツの配置に関するコンテキストフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施例では、第２のモード（又は第３及び第４のモード）を使用してオーディオを生成することは、オーディオが特定の方向から到来しているとユーザによって知覚されるように構成されるように、オーディオにクロストークキャンセル技法を適用することを含む。いくつかの実施例では、第３のモードを使用してオーディオを生成することは、オーディオが特定の方向から到来していると知覚されるように構成されるように、オーディオにクロストークキャンセル技法を適用することを含む。いくつかの実施例では、第１のモードを使用してオーディオを生成することは、オーディオにクロストークキャンセル技法を適用することを含まない。
なお、方法７００に関して上述したプロセス（例えば、図７Ａ〜図７Ｃ）の詳細はまた、後述する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法９００、１２００、１４００、及び１５００は、方法７００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、空間内にオーディオを置くために、同じ又は類似の技法が使用される。別の実施例では、同じオーディオソースを様々な技法で使用することができる。更に別の実施例では、様々な方法のそれぞれにおいて現在再生しているオーディオは、他の方法で説明される技法を使用して操作することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図８Ａ〜図８Ｋは、いくつかの実施形態に係る、オーディオをプレビューするための例示的な技法を示す。これらの図の技法は、図９Ａ〜９Ｃのプロセスを含む後述のプロセスを例示するために使用される。
図８Ａ〜図８Ｋは、ディスプレイ、タッチ感知面、並びに左及び右スピーカ（例えば、ヘッドホン）を有するデバイス８００（例えば、携帯電話）を示す。俯瞰ビュー８５０は、デバイス８００によって生成されているオーディオの空間構成の視覚的表現であり、図８Ａ〜図８Ｋ全体を通して示されて、特に音が到来していると（例えば、デバイス８００が空間内にオーディオを配置する結果として）ユーザ８５６が知覚する位置に関して、技法のより良い理解を読者に提供する。俯瞰ビュー８５０は、デバイス８００のユーザインタフェースの一部ではない。いくつかの実施例では、以下に説明する技法により、ユーザは、再生のための音楽をより容易かつ効率的にプレビュー及び選択することができる。
図８Ａでは、デバイス８００は、音楽を再生するための音楽プレーヤ８０２を表示する。音楽プレーヤ８０２は、デバイス８００を使用して再生することができる異なる歌にそれぞれ対応する複数のアフォーダンス８０４を含む。俯瞰ビュー８５０に示すように、デバイス８００は、どのようなオーディオも再生していない。
図８Ｂでは、デバイス８００は、トラック３のアフォーダンス８０４ａ上のタップアンドホールド入力８１０ａを検出する。俯瞰ビュー８５０に示すように、デバイス８００は、どのようなオーディオも再生していない。
図８Ｃでは、アフォーダンス８０４ａ上の入力８１０ａを検出したことに応じて、及びアフォーダンス８０４ａ上の入力８１０ａを検出し続けている間に、デバイス８００は、複数のアフォーダンス８０４を更新して、トラック３のアフォーダンス８０４ａを区別する。図８Ｃの実施例では、デバイス８００は、トラック３の選択されたアフォーダンス８０４ａ以外の複数のアフォーダンス８０４をぼかす。これは、アフォーダンス８０４ａに対応する歌がプレビューされることをユーザに示す。
例えば、プレビューは、所定のオーディオ再生期間に限定される（例えば、歌の持続時間より短い）。所定のオーディオ再生期間が歌の再生中に到達した後、デバイスは、その歌を再生することを停止する。いくつかの実施例では、歌の再生を停止した後、デバイスは、異なる歌のプレビューを提供することに進む。いくつかの実施例では、歌の再生を停止した後、デバイスは、同じ歌の別のプレビューを提供することに進む（例えば、歌の同じ部分をループする）。
図８Ｃの俯瞰ビュー８５０に示すように、アフォーダンス８０４ａ上の入力８１０ａを検出したことに応じて、及びアフォーダンス８０４ａ上で入力８１０ａを検出し続けている間に、デバイス８００は、２つ以上のスピーカを使用して、トラック３のオーディオを空間内に配置することによってトラック３のオーディオのプレビューを生成する（例えば、デバイス８００は、両耳間時間差、ＨＲＴＦ、及び／又は音楽へのクロスキャンセルを適用する）。デバイス８００は、図８Ｃの俯瞰ビュー８５０のオーディオ要素８５０ａによって示すように、音楽をユーザ８５６（又はデバイス８００）の左の空間内の位置から到来しているとユーザが知覚するように、トラック３のオーディオを配置する。図８Ｃ〜図８Ｄでは、デバイス８００は、アフォーダンス８０４ａ上の入力８１０ａを検出し続け、音楽がユーザに向かって移動しているとユーザが知覚するように、ユーザが音楽を知覚するトラック３のオーディオの空間内の位置を更新する。
図８Ｄでは、デバイス８００は、トラック３のオーディオを生成し続けるが、空間内にオーディオを配置することを停止しており、結果として、図８Ｄの俯瞰ビュー８５０のオーディオ要素８５０ａによって示すように、オーディオがユーザの頭部内にあるとユーザは知覚する。例えば、図８Ｄでは、デバイス８００は、オーディオを配置することなく、左スピーカ及び右スピーカを使用してトラック３のオーディオを生成する（例えば、デバイス８００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。
デバイス８００は、（１）所定のオーディオ再生継続時間に到達するか、（２）デバイスが、タッチ感知面上の入力８１０ａの、異なる歌に対応するアフォーダンスへの移動を検出するか、又は（３）デバイスが、入力８１０ａのリフトオフを検出するまで、ユーザのためにトラック３のプレビューを再生し続ける。
図８Ｅでは、デバイス８００は、アフォーダンス８０４ａからアフォーダンス８０４ｂへの入力８１０ａの移動を（入力８１０ａのリフトオフを検出することなく）検出する。デバイス８００は、入力８１０ａの移動を検出したことに応じて、複数のアフォーダンス８０４をスクロール（又は別の方法で移動）しないことに留意されたい。アフォーダンス８０４ｂでの入力を検出したことに応じて、デバイス８００は、デバイスの視覚的態様及びオーディオの空間的配置を更新する。デバイス８００は、トラック３のアフォーダンス８０４ａをぼかし、トラック４のアフォーダンス８０４ｂのぼかしをやめる。デバイス８００はまた、左スピーカ及び右スピーカを使用して、オーディオを空間内に配置することによってトラック３のオーディオを生成することに遷移し（例えば、デバイス８００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用し）、それによって、ユーザは、図８Ｅ〜図８Ｆの俯瞰ビュー８５０内のオーディオ要素８５０ａによって示すように、オーディオがユーザの頭部から遠ざかってユーザの右に離れつつあると知覚する。デバイス８００はまた、任意選択的に、トラック３のオーディオの減衰を開始し、その後、図８Ｇの俯瞰ビュー８５０にはもはや示されていないオーディオ要素８５０ａによって示すように、トラック３のオーディオの生成を停止する。更に、アフォーダンス８０４ｂにおける入力を検出したことに応じて、デバイス８００は、空間内にオーディオを配置することによってトラック４のオーディオのプレビューを生成し（例えば、デバイス８００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用し）、それによって、図８Ｅ〜図８Ｇの俯瞰ビュー８５０内のオーディオ要素８５０ｂによって示すように、ユーザは、トラック４のオーディオがユーザの左から到来してユーザの頭部内に移動していると知覚する。前述のように、プレビューは、所定のオーディオ再生期間に限定される（例えば、歌の持続時間より短い）。所定のオーディオ再生期間に達した後、デバイスは、歌の再生を停止する。
図８Ｆ〜図８Ｇでは、デバイス８００は、オーディオを配置することなく、左スピーカ及び右スピーカを使用してトラック４のオーディオを生成する（例えば、デバイス８００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。例えば、空間内にオーディオを配置しない結果として、ヘッドホンを装着しているデバイス８００のユーザは、図８Ｆ〜図８Ｇの俯瞰ビュー８５０のオーディオ要素８５０ｂによって示すように、オーディオがユーザの頭部内にあると知覚する。
図８Ｈでは、デバイス８００は、入力８１０ａのリフトオフを検出する。入力８１０ａのリフトオフを検出したことに応じて、デバイス８００は、左スピーカ及び右スピーカを使用して、オーディオを空間内に配置することによってトラック４のオーディオを生成することに遷移し（例えば、デバイス８００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用し）、それによって、ユーザは、図８Ｈの俯瞰ビュー８５０内のオーディオ要素８５０ｂによって示すように、オーディオがユーザの頭部から遠ざかってユーザの右に離れつつあると知覚する。入力８１０ａのリフトオフを検出したことに応じて、デバイス８００は、図８Ｈに示すように、複数のアフォーダンスのぼやけを停止する。更に、入力８１０ａのリフトオフの検出に応じて、デバイス８００は、任意選択的に、トラック４のオーディオの減衰を開始し、その後、図８Ｉの俯瞰ビュー８５０にはもはや示されていないオーディオ要素８５０ｂによって示すように、トラック４のオーディオの生成を停止する。
図８Ｊでは、デバイス８００は、トラック６のアフォーダンス８０４ｃ上のタップ入力８１０ｂを検出する。図８Ｋでは、俯瞰ビュー８５０に示すように、デバイス８００は、２つ以上のスピーカを使用して、図８Ｊの俯瞰ビュー８５０のオーディオ要素８５０ｃによって示すように、トラック６のオーディオを空間内に配置することなく、トラック６のオーディオを生成し始める。結果として、ユーザは、オーディオがユーザの頭部内にあると知覚する。例えば、図８Ｊでは、デバイス８００は、オーディオを配置することなく、左スピーカ及び右スピーカを使用してトラック６のステレオオーディオを生成する（例えば、デバイス８００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。デバイス８００は、タップ入力８１０ｂを検出したことに応じて、複数のアフォーダンス８０４のうちのいずれもぼかさない。デバイス８００はまた、任意選択的に、メディア制御及び／又はトラックに関する追加情報を含むように、アフォーダンス８０４ｃを更新する。トラック６は、再生が所定のオーディオ再生持続時間のプレビューに限定されることなく、トラックの終わりに到達するまで再生し続ける。
いくつかの実施例では、デバイス８００は、結果を発語することによってクエリの結果を返すことなどの、オーディオフィードバックを生成するデジタルアシスタントを含む。いくつかの実施例では、デバイス８００は、空間内（例えば、ユーザの右肩の上）の位置にデジタルアシスタント用のオーディオを配置することによってデジタルアシスタントのオーディオを生成し、それにより、ユーザは、他のオーディオが空間内で移動したときでも、デジタルアシスタントが空間内で静止しているままであると知覚する。いくつかの実施例では、デバイス８００は、１つ以上の（又は全ての）他のオーディオをダッキングすることによって、デジタルアシスタントのオーディオを強調する。
図９Ａ〜図９Ｃは、いくつかの実施形態に係る、電子デバイスを使用してオーディオをプレビューするための方法を示すフロー図である。方法９００は、ディスプレイ及びタッチ感知面を有するデバイス（例えば、１００、３００、５００、８００）において実行される。電子デバイスは、２つ以上のスピーカ（例えば、左及び右スピーカ、左及び右ヘッドホン、左及び右イヤホン、左及び右イヤーバッド）と動作可能に接続されている。方法９００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法９００は、オーディオをプレビューするための直感的な方法を提供する。この方法は、オーディオをプレビューするためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的にオーディオをプレビューすることを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、ディスプレイ上に、複数のメディア要素（例えば、８０４）のリスト（例えば、列内）を表示する（９０２）。複数のメディア要素のそれぞれのメディア要素（例えば、８０４ａ〜８０４ｃ）（又は少なくとも２つのメディア要素）は、それぞれのメディアファイル（例えば、オーディオファイル、歌、動画ファイル）に対応する。いくつかの実施例では、それぞれのメディアファイルは、全て互いに異なる。
電子デバイスは、タッチ感知面を使用して、第１のメディア要素（例えば、８０４ａ）に対応する位置において、ユーザ接触（例えば、８１０ａのタッチアンドホールドユーザ入力、０秒を超える所定の期間よりも長い間持続されるタッチ入力）を検出する（９０４）。
第１のメディア要素（例えば、８０４ａ）に対応する位置におけるユーザ接触（例えば、図８Ｂ〜８Ｃの８１０ａ）を検出したことに応じて（９０６）、かつタッチアンドホールド入力（例えば、電子デバイスによって判定されるような）を含むユーザ接触（例えば、８１０ａ）に従って、電子デバイスは、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第１のメディア要素に対応する第１のオーディオファイルを使用してオーディオ（例えば、８５０ａ）を生成する。例えば、オーディオは、最大５秒間再生する。例えば、デバイスは、オーディオのプレビューを生成する。いくつかの実施例では、所定のオーディオ再生期間は、オーディオファイルの持続時間よりも短い。
更に、第１のメディア要素（例えば、８０４ａ）に対応する位置におけるユーザ接触（例えば、図８Ｂ〜８Ｃの８１０ａ）を検出したことに応じて（９０６）、かつタッチアンドホールド入力（例えば、電子デバイスによって判定されるような）を含むユーザ接触（例えば、８１０ａ）に従って、及びユーザ接触（例えば、８１０ａ）が第１のメディア要素（例えば、８０４ａ）に対応する位置に（リフトオフイベントなしで）残っている間に（９１０）、かつ所定のオーディオ再生期間を超えていないことに従って、電子デバイスは、２つ以上のスピーカを使用して、第１のオーディオファイルを使用してオーディオ（例えば、８５０ａ）を生成し続ける（９１２）。
更に、第１のメディア要素（例えば、８０４ａ）に対応する位置におけるユーザ接触（例えば、図８Ｂ〜８Ｃの８１０ａ）を検出したことに応じて（９０６）、かつタッチアンドホールド入力（例えば、電子デバイスによって判定されるような）を含むユーザ接触（例えば、８１０ａ）に従って、及びユーザ接触（例えば、８１０ａ）が第１のメディア要素（例えば、８０４ａ）に対応する位置に（リフトオフイベントなしで）残っている間に（９１０）、かつ所定のオーディオ再生期間を超えていることに従って、電子デバイスは、２つ以上のスピーカを使用して、第１のオーディオファイルを使用して（及び、任意選択的に、異なるオーディオファイルを使用してオーディオを生成することを開始することなく）オーディオ（例えば、８５０ａ）を生成することを停止する（９１４）。
電子デバイスは、タッチ感知面を使用して、第１のメディア要素（例えば、８０４ａ）に対応する位置から、第２のメディア要素（例えば、８０４ｂ）に対応する位置へのユーザ接触の移動（例えば、図８Ｄ〜図８Ｅの８１０ａ、ディスプレイの下部に向かいディスプレイの上部から離れる）を検出する（９１６）。
第２のメディア要素に対応する位置におけるユーザ接触（例えば、図８Ｆの８１０ａ）を検出したことに応じて（９１８）、かつタッチアンドホールド入力を含むユーザ接触（例えば、８１０ａ）に従って、電子デバイスは、２つ以上のスピーカを使用して、所定のオーディオ再生期間を超えることなく、第２のメディア要素（例えば、８０４ｂ）に対応する第２のオーディオファイル（第１のオーディオファイルとは異なる）を使用してオーディオ（例えば、８５０ｂ）を生成する（９２０）。例えば、オーディオは、最大５秒間（第２のオーディオファイルの全持続時間未満）再生する。
更に、第２のメディア要素に対応する位置におけるユーザ接触（例えば、図８Ｆの８１０ａ）を検出したことに応じて（９１８）、かつタッチアンドホールド入力を含むユーザ接触（例えば、８１０ａ）に従って、及びユーザ接触が第２のメディア要素（例えば、８０４ｂ）に対応する位置に（リフトオフイベントなしで）残っている間に（９２２）、かつ所定のオーディオ再生期間を超えていないことに従って、電子デバイスは、２つ以上のスピーカを使用して、第２のオーディオファイルを使用してオーディオ（例えば、８５０ｂ）を生成し続ける（９２４）。
更に、第２のメディア要素に対応する位置におけるユーザ接触（例えば、図８Ｆの８１０ａ）を検出したことに応じて（９１８）、かつタッチアンドホールド入力（例えば、電子デバイスによって判定されるような）を含むユーザ接触（例えば、８１０ａ）に従って、及びユーザ接触が第２のメディア要素（例えば、８０４ｂ）に対応する位置に（リフトオフイベントなしで）残っている間に、かつ所定のオーディオ再生期間を超えていることに従って、電子デバイスは、２つ以上のスピーカを使用して、第２のオーディオファイルを使用して（及び、任意選択的に、異なるオーディオファイルを使用してオーディオを生成することを開始することなく）オーディオ（例えば、８５０ｂ）を生成することを停止する（９２６）。
電子デバイスは、タッチ感知面を使用して、ユーザ接触（例えば、図８Ｇ及び図８Ｈの８１０ａ）のリフトオフを検出する（９２８）。
ユーザ接触のリフトオフを検出したことに応じて（９３０）、電子デバイスは、２つ以上のスピーカを使用して、第１のオーディオファイル又は第２のオーディオファイルを使用して（及び、任意選択的に、複数のメディア要素に対応するオーディオファイルを使用してあらゆるオーディオを生成することを停止して）、オーディオ（例えば、図８Ｉにおける８５０ａ及び８５０ｂ）を生成することを停止する（９３２）。したがって、プレビューされているあらゆる歌の再生が停止する。
いくつかの実施形態によれば、タッチアンドホールド入力を含むユーザ接触（例えば、電子デバイスによって判定される）に更に従って（９０６）、所定のオーディオ再生期間を超えることなく第１のオーディオファイルを使用してオーディオを生成することは、第１のモード、第１のモードとは異なる第２のモード（例えば、図８Ｄの８５０ａ、図８Ｆの８５０ｂ）、並びに第１のモード及び第２のモードとは異なる第３のモードを含む、複数のモードの間でオーディオを遷移させることを含む。変化する特性を有するオーディオを生成することはまた、異なるコンテンツの配置に関するコンテキストフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、第１のモードは、第１のモードを使用して生成されたオーディオが、第１の方向（例えば、図８Ｃの８５０ａ、図８Ｅの８５０ｂ）（及び任意選択的に位置）から生成されているとユーザによって知覚されるように構成されている。いくつかの実施例では、第１の方向は、ユーザの左の位置（例えば、ユーザの前でない）に由来する方向である。いくつかの実施例では、電子デバイスは、オーディオがディスプレイ又はユーザの左の位置に由来する方向から生成されているとユーザによって知覚されるように、オーディオを生成する前にソースオーディオを修正する。
いくつかの実施形態によれば、第２のモードは、第２のモードを使用して生成されたオーディオが、ユーザの頭部内（例えば、ポイントソースではないステレオ）にあるとユーザによって知覚されるように構成されている。例えば、第２のモードは、ＨＲＴＦ、オーディオの両耳間時間差、又はクロスキャンセルのいずれも適用することを含まない。
いくつかの実施形態によれば、第３のモードは、第３のモードを使用して生成されたオーディオが、第１の方向とは異なる第３の方向（例えば、図８Ｆの８５０ａ、図８Ｈの８５０ｂ）から生成されているとユーザによって知覚されるように構成されている。いくつかの実施例では、第３の方向は、ユーザの右の位置（例えば、ユーザの前でない）に由来する方向である。いくつかの実施例では、電子デバイスは、オーディオがディスプレイ又はユーザの右の位置に由来する方向から生成されているとユーザによって知覚されるように、オーディオを生成する前にソースオーディオを修正する。
いくつかの実施形態によれば、第１のモードは、オーディオの両耳間時間差の第１の修正を含み、第３のモードは、第１の修正とは異なるオーディオの両耳間時間差の第２の修正を含む。いくつかの実施例では、第１のモードは、オーディオの両耳間時間差の第１の程度の修正を含み、第３のモードは、オーディオの両耳間時間差の第１の程度よりも大きい第２の程度の修正を含む。いくつかの実施例では、第１のモードは、オーディオの両耳間時間差の修正を含み、それにより、オーディオは、ディスプレイ又はユーザの左の位置に由来する方向から生成されるとユーザによって知覚される。いくつかの実施例では、第３のモードは、オーディオの両耳間時間差の修正を含み、それにより、オーディオは、ディスプレイ又はユーザの右の位置に由来する方向から生成されるとユーザによって知覚される。オーディオの両耳間時間差を修正することにより、ユーザは、特定の方向から到来しているとオーディオを知覚することができる。オーディオのこの方向情報は、異なるコンテンツの配置についての追加的なフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のモードで生成されたオーディオ（例えば、図８Ｃの８５０ａ）は、ＨＲＴＦ、オーディオの両耳間時間差、及びクロスキャンセルのうちの１つ以上を使用して修正される。いくつかの実施例では、第２のモードで生成されたオーディオ（例えば、図８Ｄの８５０ａ）は、ＨＲＴＦ、オーディオの両耳間時間差、又はクロスキャンセルのいずれかを使用して修正されない。いくつかの実施例では、第３のモードで生成されたオーディオ（例えば、図８Ｆの８５０ａ）は、ＨＲＴＦ、オーディオの両耳間時間差、及びクロスキャンセルのうちの１つ以上を使用して修正される。
いくつかの実施形態によれば、第２のモードは、オーディオの両耳間時間差の修正を含まない。いくつかの実施例では、第２のモードで生成されたオーディオは、ＨＲＴＦを使用して修正されない。いくつかの実施例では、第２のモードで生成されたオーディオ（例えば、図８Ｄの８５０ａ）は、ＨＲＴＦ、オーディオの両耳間時間差、又はクロスキャンセルのいずれかを使用して修正されない。
いくつかの実施形態によれば、オーディオの両耳間時間差の修正は、オーディオの第１のチャネルオーディオ（例えば、右チャネル）と、オーディオの第２のチャネルオーディオ（例えば、左チャネル）とを組み合わせて、複合チャネルオーディオを形成することと、第１の遅延（例えば、０ｍｓ遅延、遅延量未満）で、複合チャネルオーディオを含むように第２のチャネルオーディオを更新することと、第１の遅延とは異なる第２の遅延（例えば、１００ｍｓ遅延、遅延量より多い）で、複合チャネルオーディオを含むように第１のチャネルオーディオを更新することと、を含む。いくつかの実施例では、オーディオの両耳間時間差を修正することは、第１のオーディオチャネルとは異なる第２のチャネルオーディオ（例えば、左チャネル）に時間遅延を導入することなく、第１のチャネルオーディオ（例えば、右チャネル）に時間遅延を導入することを含む。オーディオの両耳間時間差を修正することにより、ユーザは、特定の方向から到来しているとオーディオを知覚することを可能にする。オーディオのこの方向情報は、異なるコンテンツの配置についての追加的なフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、第１のメディア要素（例えば、８０４ａ）に対応する位置におけるユーザ接触（例えば、８１０ａ）を検出することに更に応じて（９０６）、第１のメディア要素（例えば、図８Ｃの８０４ａ）以外の複数のメディア要素（例えば、図８Ｃの８０４ｂ）内の、表示されたメディア要素の第１の視覚的特性（例えば、フォーカス／ぼかしレベル）を変更する。第２のメディア要素（例えば、８０４ｂａ）に対応する位置におけるユーザ接触（例えば、８１０ａ）を検出したことに応じて、第２のメディア要素の第１の視覚的特性（例えば、図８Ｅの８０４ｂ）の変更を元に戻し、第１のメディア要素の第１の視覚的特性（例えば、図８Ｅの８０４ａ）を変更する。いくつかの実施例では、電子デバイスは、アクティブ化されていないメディア要素をフェードさせる。いくつかの実施例では、電子デバイスは、アクティブ化されていないメディア要素にぼかし効果を追加する。いくつかの実施例では、電子デバイスは、アクティブ化されていないメディア要素の色を変更する。再生されていないコンテンツから再生されているコンテンツを視覚的に区別することにより、ユーザに、デバイスの状態に関するフィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話する場合に適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、第１のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、電子デバイスは、第１のメディア要素以外の複数のメディア要素内の表示されたメディア要素の第２の視覚的特性を変更することなく、第１のメディア要素の第２の視覚的特性を変更する。第２のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、電子デバイスは、第１のメディア要素の第２の視覚的特性の変更を元に戻し、第２のメディア要素の第２の視覚的特性を変更する。いくつかの実施例では、電子デバイスは、アクティブ化されたメディア要素を強調する。いくつかの実施例では、電子デバイスは、アクティブ化されたメディア要素を明るくする。いくつかの実施例では、電子デバイスは、アクティブ化されたメディア要素の色を変更する。再生されていないコンテンツから再生されているコンテンツを視覚的に区別することにより、ユーザに、デバイスの状態に関するフィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話する場合に適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、第１のメディア要素に対応する位置におけるユーザ接触を検出したことに応じて、かつ（例えば、電子デバイスによって判定されるような）タップ入力を含むユーザ接触に従って、電子デバイスは、所定のオーディオ再生期間の後に第１のオーディオを使用してオーディオを生成することを自動的に停止することなく、かつユーザの接触のリフトオフを検出した際に第１のオーディオファイルを使用してオーディオを生成することを自動的に停止することなく、第１のメディア要素に対応する第１のオーディオファイルを使用してオーディオを生成する。例えば、オーディオは、５秒のプレビュー時間よりも長く再生する。
いくつかの実施形態によれば、（例えば、電子デバイスによって判定されるような）タップ入力を含むユーザ接触に従って、第１のオーディオファイルを使用してオーディオを生成することは、複数のモードの第１のモードと第３のモードとの間でオーディオを遷移させることなく、第２のモードで第１のオーディオファイルを使用してオーディオを生成することを含む。
なお、方法９００に関して上述したプロセス（例えば、図９Ａ〜図９Ｃ）の詳細はまた、以下及び上記で説明する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００、１２００、１４００、及び１５００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、空間内にオーディオを置くために、同じ又は類似の技法が使用される。別の実施例では、同じオーディオソースを様々な技法で使用することができる。更に別の実施例では、様々な方法のそれぞれにおいて現在再生しているオーディオは、他の方法で説明される技法を使用して操作することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１０Ａ〜図１０Ｋは、いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。これらの図の技法は、図１２Ａ〜１２Ｂのプロセスを含む後述のプロセスを例示するために使用される。
図１０Ａ〜図１０Ｋは、ディスプレイ、タッチ感知面、並びに左及び右スピーカ（例えば、ヘッドホン）を有するデバイス１０００（例えば、携帯電話）を示す。俯瞰ビュー１０５０は、デバイス１０００によって生成されているオーディオの空間構成の視覚的表現であり、図１０Ａ〜図１０Ｋ全体を通して示されて、特に音が到来していると（例えば、デバイス１０００が空間内にオーディオを配置する結果として）ユーザ１０５６が知覚する位置に関して、技法のより良い理解を読者に提供する。俯瞰ビュー１０５０は、デバイス１０００のユーザインタフェースの一部ではない。同様に、ディスプレイデバイスの外側に表示される視覚要素は、点線の輪郭によって表されるように、表示されたユーザインタフェースの一部ではなく、技法のより良い理解を読者に提供するために例示されている。いくつかの実施例では、以下に記載される技法により、ユーザは、歌のレポジトリから新しい歌をより容易かつ効率的に発見することができる。
図１０Ａでは、デバイス１０００は、新しいオーディオコンテンツを発見するためのアフォーダンス１００２ａを含む音楽プレーヤ１００２を表示する。図１０Ａでは、デバイス１０００は、図１０Ａの俯瞰ビュー１０５０のオーディオ要素欠落によって示すように、いかなるオーディオも生成していない。デバイス１０００がいかなるオーディオも生成していない間に、デバイス１０００は、アフォーダンス１００２ａ上でタップ入力１０１０ａを検出する。アフォーダンス１００２ａ上のタップ入力１０１０ａを検出したことに応じて、デバイス１０００は発見モードに入る。
図１０Ｂでは、デバイス１０００は、アフォーダンス１００２ａの表示をアルバムアート１００４ａの表示と置き換える。アルバムアート１００４ａは、第１の歌に対応し（例えば、アルバムアートは、その歌が属するアルバムのものである）、アルバムアート１００４ｂは、第１の歌とは異なる第２の歌に対応する。オーディオ要素１０５４ａは第１の歌に対応し、オーディオ要素１０５４ｂは第２の歌に対応する。
図１０Ｂでは、デバイス１０００は、左スピーカ及び右スピーカを使用して、空間内に経路１０５０ａに沿って、第１の歌及び第２の歌のオーディオを配置することにより、第１の歌及び第２の歌のオーディオを生成する（例えば、デバイス１０００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用する）。例えば、経路１０５０ａは、湾曲している固定経路であり、これに沿って、デバイスは、発見モードにある間に、様々な歌のオーディオを配置する。デバイス１００は、第１の歌及び第２の歌のオーディオを生成し、図１０Ｂ〜図１０Ｇの俯瞰ビュー１０５０のオーディオ要素１０５４ａ及びオーディオ要素１０５４ｂによって示すように、歌のオーディオが経路１０５０ａに沿って左から右へとユーザの前方にドリフトしているとユーザが知覚するように、オーディオの配置を更新する。いくつかの実施例では、歌が経路１０５０ａに沿って移動する方向は、ユーザによって提供される入力に基づくものではない（例えば、タップ入力１０１０ａに基づいていない）。
図１０Ｃでは、第１の歌及び第２の歌が経路１０５０ａに沿って進行するにつれて、デバイス１０００は、左スピーカ及び右スピーカを使用して、空間内にオーディオを配置及び遷移させることによって、第３の歌のオーディオを生成し始め（例えば、デバイス１０００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用し）、それによって、図１０Ｃ〜図１０Ｇの俯瞰ビュー１０５０のオーディオ要素１０５４ｃによって示すように、オーディオが経路１０５０ａに沿って左から右にユーザの前をドリフトしているとユーザが知覚する。
図１０Ｄ〜図１０Ｆでは、デバイス１０００は、左スピーカ及び右スピーカを使用して、空間内にそれぞれの歌のオーディオを配置及び遷移させることによって、（第１の歌及び第２の歌のオーディオを生成し続けながら）追加の歌のオーディオを生成し始め（例えば、デバイス１０００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用し）、それによって、図１０Ｃ〜図１０Ｇの俯瞰ビュー１０５０のオーディオ要素１０５４ａ〜１０５４ｅによって示すように、オーディオが経路１０５０ａに沿って左から右にユーザの前をドリフトしているとユーザが知覚する。いくつかの実施例では、デバイス１０００は、経路１０５０ａに沿って、（例えば、ユーザから２メートル〜３メートル離れたものとして知覚される）等しい距離で歌を配置する。いくつかの実施例では、歌の間の距離は、歌が経路１０５０ａ上のポイント（例えば、ユーザの前のポイント）に近づくにつれて変化し（例えば、増加し）、歌の間の距離は、歌が経路１０５０ａ上のポイントから遠ざかるにつれて変化する（例えば、減少する）。いくつかの実施例では、各歌は経路１０５０ａに沿って同じ速度で移動する。いくつかの実施例では、デバイス１０００は、経路１０５０ａに沿った特定のポイントに到達する歌を生成することを停止する（例えば、それらは閾値距離を超えてユーザから離れる）。いくつかの実施例では、デバイス１０００は、経路１０５０ａに沿った位置に基づいて歌を減衰させる（例えば、ユーザから遠くなるほど歌が減衰される）。
図１０Ｂ〜図１０Ｉに示すように、アルバムアート１００４ａ〜１００４ｅは、様々な歌に対応する。デバイス１０００は、ユーザの前に配置された歌のためのそれぞれのアルバムアートを表示する。例えば、デバイス１０００は、経路１０５０ａの特定のサブセットに沿って配置された歌に対応するアルバムアートを表示する。表示されたアルバムアートは、様々なオーディオが経路１０５０ａに沿って（例えば、左から右へ）移動するにつれて、ディスプレイ上で同じ方向に移動する。
第１の歌（俯瞰ビュー１０５０内のオーディオ要素１０５４ａとして視覚化されている）は、アルバムアート１００４ａに対応する（例えば、アルバムアートは、歌が属するアルバムのものである）。第２の歌（俯瞰ビュー１０５０内のオーディオ要素１０５４ｂとして視覚化されている）は、アルバムアート１００４ｂに対応する。第３の歌（俯瞰ビュー１０５０内のオーディオ要素１０５４ｃとして可視化されている）は、アルバムアート１００４ｃに対応する。第４の歌（俯瞰ビュー１０５０内のオーディオ要素１０５４ｄとして視覚化されている）は、アルバムアート１００４ｄに対応する。第５の歌（俯瞰ビュー１０５０内のオーディオ要素１０５４ｅとして視覚化されている）は、アルバムアート１００４ｅに対応する。
図１０Ｇ〜図１０Ｈでは、デバイス１０００は、左スワイプ入力１０１０ｂを検出する。左スワイプ入力１０１０ｂを検出したことに応じて、デバイス１０００は、アルバムアートがディスプレイ上を移動して左スワイプ入力１０１０ｂに対応する方向を変更し、様々なオーディオが経路１０５０ａに沿って移動して左スワイプ入力１０１０ｂに対応する方向を変更する。図１０Ｇでは、ユーザがタッチ感知面上に自分の指を置くと、アルバムアート１００４ｄ及び１００４ｃは、ディスプレイ上での移動を停止し、オーディオ要素１０５４ａ〜１０５４ｅに対応するオーディオは、経路１０５０ａに沿って移動するのを停止する。図１０Ｈでは、デバイス１０００が右から左への左スワイプ入力１０１０ｂを検出すると、デバイス１００は、ディスプレイ上で右から左に移動するアルバムアート１００４ｄ及び１００４ｃ、並びにオーディオ要素１０５４ａ〜１０５４ｅに対応するオーディオが右から左へ経路１０５０ａに沿って移動するように、ディスプレイを更新する。いくつかの実施例では、アルバムアート１００４ａ〜１００４ｅがディスプレイを横切って移動する速度、及びオーディオ要素１０５４ａ〜１０５４ｅに対応するオーディオが経路１０５０ａに沿って移動する速度は、左スワイプ入力１０１０ｂの１つ以上の特性（例えば、長さ、速度、特性強度）に基づく。いくつかの実施例では、より速いスワイプは、ディスプレイ上のアルバムアート及び経路１０５０ａに沿ったオーディオのより速い移動をもたらす。いくつかの実施例では、より長いスワイプは、ディスプレイ上のアルバムアート及び経路１０５０ａに沿ったオーディオのより速い移動をもたらす。
図１０Ｉでは、デバイス１０００が左スワイプ入力１０１０ｂの検出を停止した後、デバイス１０００は、左から右へディスプレイを横切って移動するアルバムアート１００４ａ〜１００４ｅを表示し続け、オーディオ要素１０５４ａ〜１０５４ｅに対応するオーディオは、左から右へ経路１０５０ａに沿って移動し続ける。したがって、左スワイプ入力１０１０ｂは、オーディオが経路１０５０ａに沿って移動するとユーザが知覚する方向を変更し、デバイス１０００が対応するアルバムアートをディスプレイ上で移動させる方向を変更している。
図１０Ｊでは、デバイス１０００は、アルバムアート１００４ｂ上のタップ入力１０１０ｃを検出する。アルバムアート１００４ｂ上のタップ入力１０１０ｃを検出したことに応じて、図１０Ｊ〜図１０Ｋに示すように、デバイス１０００は、左スピーカ及び右スピーカを使用して、オーディオを配置することなく、アルバムアート１００４ｂに対応する第２の歌のオーディオを生成することに遷移する（例えば、デバイス１０００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。例えば、空間内にオーディオを配置しない結果として、ヘッドホンを装着しているデバイス１０００のユーザは、図１０Ｋの俯瞰ビュー１０５０のオーディオ要素１０５４ｂによって示すように、第２の歌のオーディオがユーザの頭部内にあると知覚する。更に、アルバムアート１００４ｂ上のタップ入力１０１０ｃを検出したことに応じて、図１０Ｊ〜図１０Ｋに示すように、デバイス１０００は、オーディオ要素１０５４ｃ及びオーディオ要素１０５４ａに対応するオーディオを生成するのを停止する前に、オーディオ要素１０５４ｃ及び１０５４ａに対応するオーディオをユーザから離れる反対方向に移動させる。したがって、ユーザは、選択されていない歌のオーディオが浮動していると知覚する。
いくつかの実施例では、デバイス１０００は、結果を発語することによってクエリの結果を返すことなどの、オーディオフィードバックを生成するデジタルアシスタントを含む。いくつかの実施例では、デバイス１０００は、空間内（例えば、ユーザの右肩の上）の位置にデジタルアシスタント用のオーディオを配置することによってデジタルアシスタントのオーディオを生成し、それにより、ユーザは、他のオーディオが空間内で移動したときでも、デジタルアシスタントが空間内で静止しているままであると知覚する。いくつかの実施例では、デバイス１０００は、１つ以上の（又は全ての）他のオーディオをダッキングすることによって、デジタルアシスタントのオーディオを強調する。
図１１Ａ〜図１１Ｇは、いくつかの実施形態に係る、音楽を発見するための例示的な技法を示す。図１１Ａ〜図１１Ｇは、ディスプレイ、タッチ感知面（例えば、１１００）、並びに左スピーカ及び右スピーカ（例えば、ヘッドホン）を有するデバイス（例えば、ラップトップ）によって表示するための例示的なユーザインタフェースを示す。デバイスのタッチ感知面１１００は、特に例示的なユーザ入力に関して記載された技法のより良い理解を読者に提供するために例示されている。タッチ感知面１１００は、デバイスの表示されたユーザインタフェースの一部ではない。図１１Ａ〜図１１Ｇ全体を通して図示される俯瞰ビュー１１５０は、デバイスによって表示される。俯瞰ビュー１１５０はまた、デバイスによって生成されているオーディオの空間構成の視覚的表現であり、特に音が到来していると（例えば、デバイスが空間内にオーディオを配置する結果として）ユーザ１１０６が知覚する位置に関して、技法のより良い理解を読者に提供する。オーディオ要素１１５０ａ〜１１５０ｇの矢印は、オーディオ要素１１５０ａ〜１１５０ｇが移動している（視覚表示を含み、スピーカを介してユーザによって知覚されるような）方向及び速度を示し、技法のより良い理解を読者に提供する。いくつかの実施例では、表示されたユーザインタフェースは、オーディオ要素１１５０ａ〜１１５０ｇの矢印を含まない。同様に、デバイスのディスプレイの外側に表示される視覚要素は、表示されたユーザインタフェースの一部ではなく、技法のより良い理解を読者に提供するために例示されている。いくつかの実施例では、以下に記載される技法により、ユーザは、歌のレポジトリから新しい歌をより容易かつ効率的に発見することができる。
図１１Ａ〜１１Ｄは、空間内にユーザの表現１１０６を表示するデバイスを示す。デバイスはまた、同じ空間内の歌１〜６にそれぞれ対応するオーディオ要素１１５０ａ〜１１５０ｆも図示している。デバイスは、左スピーカ及び右スピーカを使用して、空間内に個々の歌を配置して遷移させることによって、歌１〜６のそれぞれに対してオーディオを同時に生成し（例えば、デバイスは、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用し）、それによって、図１１Ａ〜図１１Ｄの俯瞰ビュー１１５０内のオーディオ要素１１５０ａ〜１１５０ｆによって示すように、歌のオーディオがユーザを通過してドリフトしているとユーザが知覚する。いくつかの実施例では、オーディオ要素は、互いに等距離であるように表示される。いくつかの実施例では、生成されたオーディオは、ユーザが、歌のソースが互いに等距離であると知覚するように配置される。図６Ａでは、例えば、ユーザは、（オーディオ要素１１５０ａに対応する）歌１及び（オーディオ要素１１５０ｂに対応する）歌２がユーザの実質的に前にあるものとして、（オーディオ要素１１５０ｆに対応する）歌６がユーザの実質的に右にあるものとして、並びに（オーディオ要素１１５０ｄに対応する）歌４がユーザの実質的に左にあるものとして、知覚する。デバイスが歌を生成し続けると、ユーザは、オーディオソースが通過していると知覚する。例えば、図１１Ｄでは、ユーザは、歌６がユーザの実質的に後ろにあるものと知覚する。これにより、ユーザは、様々な歌を同時に聞くことができる。
図１１Ｄ〜１１Ｅでは、デバイスは、タッチ感知面１１００でスワイプ入力１１１０を受信する。スワイプ入力１１１０を受信したことに応じて、図１１Ｅ〜図１１Ｆに示すように、デバイスは、ディスプレイ上で、表示された視覚要素１１５０ａ〜１１５０ｈの方向及び／又は速度を（例えば、スワイプ入力１１１０の方向及び／又は速度に従って）更新する。更に、スワイプ入力１１１０を受信したことに応じて、デバイスは、空間内の個々の歌のために生成されたオーディオを遷移させ（例えば、デバイスは、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用し）、それにより、歌のオーディオが、更新された方向及び／又は速度で（例えば、スワイプ入力１１１０の方向及び／又は速度に従って）ユーザを通過してドリフトしているとユーザが知覚する。
いくつかの実施例では、デバイスは、結果を発語することによってクエリの結果を返すことなどの、オーディオフィードバックを生成するデジタルアシスタントを含む。いくつかの実施例では、デバイスは、空間内（例えば、ユーザの右肩の上）の位置にデジタルアシスタント用のオーディオを配置することによってデジタルアシスタントのオーディオを生成し、それにより、ユーザは、他のオーディオが空間内で移動したときでも、デジタルアシスタントが空間内で静止しているままであると知覚する。いくつかの実施例では、デバイスは、１つ以上の（又は全ての）他のオーディオをダッキングすることによって、デジタルアシスタントのオーディオを強調する。
いくつかの実施例では、デバイスは、表示されたオーディオ要素上の（例えば、タッチ感知面上の対応する位置における）タップ入力を検出する。オーディオ要素上のタップ入力を検出したことに応じて、デバイスは、左スピーカ及び右スピーカを使用して、空間内にオーディオを配置することなく、選択されたオーディオ要素に対応するそれぞれの歌のオーディオを生成することに遷移する（例えば、デバイス１０００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。例えば、空間内にオーディオを配置しない結果として、ヘッドホンを装着しているユーザは、選択された歌のオーディオがユーザの頭部内にあると知覚する。更に、表示されたオーディオ要素上のタップ入力を検出したことに応じて、デバイスは、残りのオーディオ要素のオーディオを生成することを停止する。したがって、ユーザは、聞くための個々の歌を選択することが可能になる。
図１２Ａ〜図１２Ｂは、いくつかの実施形態に係る、電子デバイスを使用して音楽を発見するための方法を示すフロー図である。方法１２００は、ディスプレイ及びタッチ感知面を有するデバイス（例えば、１００、３００、５００、１０００）において実行される。電子デバイスは、２つ以上のスピーカ（例えば、左及び右スピーカ、左及び右ヘッドホン、左及び右イヤホン、左及び右イヤーバッド）と動作可能に接続されている。方法１２００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１２００は、音楽を発見するための直観的方法を提供する。この方法は、音楽を発見するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的に音楽を発見することを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、発見モードをアクティブ化するための第１のユーザ入力（例えば、１０１０ａ）を検出する（１２０２）（例えば、「発見」アフォーダンスをタップすることによって、デジタルアシスタントに「いくつかの歌をサンプリングする」などの音声入力を提供する。
発見モードを起動するための第１のユーザ入力（例えば、１０１０ａ）を検出したことに応じて（１２０４）、電子デバイスは、２つ以上のスピーカを使用して、第１のモード（１２０６）の第１のオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）、第２のモード（１２１０）の第２のオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）、及び第３のモード（１２１４）の第３のオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）を使用して、オーディオ（例えば、１０５４ａ、１０５４ｂ、１０５４ｃ）を同時に生成する（１２０４）。
第１のモード（１２０６）は、第１のモードを使用して生成されたオーディオが、第１の速度で既定の経路（例えば、１０５０ａ）に沿って第１の方向に（例えば、左から右へ）経時的に移動する空間内の第１のポイントから生成されているとユーザによって知覚されるように構成されている。
いくつかの実施形態によれば、第１のオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）は、第１の視覚要素（例えば、１００４ａの、再生ウィンドウ内の動画のオーディオ、アルバムアートに対応するアルバムからの歌のオーディオ、第１のアプリケーションによって生成された、又は第１のアプリケーションから受信されたオーディオ）に対応する（１２０８）。
第２のモード（１２１０）は、第２のモードを使用して生成されたオーディオが、第２の速度で既定の経路（例えば、１０５０ａ）に沿って第１の方向（例えば、左から右方向）に経時的に移動する空間内の第２のポイントから生成されているとユーザによって知覚されるように構成されている。
いくつかの実施形態によれば、第２のオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）は、第２の視覚的要素（例えば、１００４ｂの、再生ウィンドウ内の動画のオーディオ、アルバムアートに対応するアルバムからの歌のオーディオ、第１のアプリケーションによって生成された、又は第１のアプリケーションから受信されたオーディオ）に対応する（１２１２）。
第３のモード（１２１４）は、第３のモードを使用して生成されたオーディオが、第３の速度で既定の経路（例えば、１０５０ａ）に沿って第１の方向（例えば、左から右方向）に移動する空間内の第３のポイントから生成されているとユーザによって知覚されるように構成されている。
いくつかの実施形態によれば、第３のオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）は、第３の視覚要素（例えば、１００４ｃの、再生ウィンドウ内の動画のオーディオ、アルバムアートに対応するアルバムからの歌のオーディオ、第１のアプリケーションによって生成された、又は第１のアプリケーションから受信されたオーディオ）に対応する（１２１６）。
第１のポイント（例えば、図１０Ｃにおける１０５４ａの位置）、第２のポイント（例えば、図１０Ｃにおける１０５４ｂの位置）、及び第３のポイント（例えば、図１０Ｃにおける１０５４ｃの位置）は、空間内の異なるポイント（例えば、ユーザによって知覚される空間内の異なるポイント）である（１２１８）。変化する特性を有するオーディオを生成することはまた、異なるコンテンツの配置に関するコンテキストフィードバックをユーザに提供し、ユーザは、コンテンツにアクセスするためにどの入力が必要であるかを迅速かつ容易に認識することができる（例えば、コンテンツの表示を引き起こす）。例えば、ユーザは、その空間内で、ユーザが、オーディオが到来していると知覚することができる場所に基づいて、特定のオーディオが特定の入力にアクセスすることができることを認識することができる。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、第１のオーディオソース、第２のオーディオソース、及び第３のオーディオソースを使用してオーディオを生成することと同時に、電子デバイスは、ディスプレイ上に、第４の速度で、第１の視覚要素（例えば、１００４ａ）、第２の視覚要素（例えば、１００４ｂ）、及び第３の視覚要素（例えば、１００４ｃ）のうちの２つ以上の同時移動を表示する（１２２０）。いくつかの実施例では、デバイスは、第４の速度で、第１の視覚要素（例えば、１００４ａ）、第２の視覚要素（例えば、１００４ｂ）、及び第３の視覚要素（例えば１００４ｃ）の全ての同時移動を表示する。
いくつかの実施形態によれば、第１の視覚要素（例えば、１００４ａ）、第２の視覚要素（例えば、１００４ｂ）、及び第３の視覚要素（例えば、１００４ｃ）のうちの２つ以上の移動は、第１の方向（例えば、左から右の方向）である。
いくつかの実施形態によれば、既定の経路（例えば、１０５０ａ）は、第１の次元（例えば、ｘ次元、左／右次元）に沿って変化する。既定の経路は、第１の次元とは異なる第２の次元（例えば、ｚ次元、近方／遠方次元）に沿って変化する。既定の経路は、第１の次元及び第２の次元とは異なる第３の次元（例えば、ｙ次元、上／下次元、高さ）に沿って変化しない。したがって、いくつかの実施例では、デバイスは、オーディオが、左から右へ、及び／又は右から左へ、並びに遠くから近く又は近くから遠くに移動しているとユーザが知覚するが、オーディオがアップダウン又はダウンアップすると知覚しないように、経路に沿ってオーディオを生成する。
いくつかの実施形態によれば、２つ以上のスピーカを使用して、オーディオを同時に生成すること（１２０４）は、第４のモードで第４のオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）を使用することを更に含む。第４のモードは、第４のモードを使用して生成されたオーディオ（例えば、１０５４ｄ）が、既定の経路（例えば、１０５０ａ）に沿って第１の方向（例えば、左から右への方向）に経時的に移動する空間内の第４のポイント（例えば、１０５４ａの位置）から生成されているとユーザによって知覚されるように構成されており、空間内の第４のポイントは、第１のポイント、第２のポイント、及び第３のポイントよりもユーザから遠くにある。いくつかの実施例では、距離が離れている（例えば、所定の距離よりも遠い）と知覚されるオーディオの視覚要素は、ディスプレイ上に表示されない（例えば、図１０Ｅの１００４ａはディスプレイ上に表示されない）。ディスプレイ上に、第１の視覚要素（例えば、１００４ａ）、第２の視覚要素（例えば、１００４ｂ）、及び第３の視覚要素（例えば、１００４ｃ）のうちの２つ以上の同時移動を表示している間に、電子デバイスは、ディスプレイ上に、第４のオーディオソースに対応する第４の視覚要素（例えば、１００４ｄ）を表示することを見合わせる。
いくつかの実施形態によれば、第１の速度、第２の速度、及び第３の速度は、同じ速度である。いくつかの実施形態によれば、第１の速度、第２の速度、及び第３の速度は、異なる速度である。
いくつかの実施形態によれば、２つ以上のスピーカを使用してオーディオを（例えば、図１０Ｆの１０５０に示すように）同時に生成している間に、電子デバイスは、第１の方向（例えば、左から右への方向）とは異なる第２の方向（例えば、右から左への方向）で第２のユーザ入力（例えば、１０１０ｂ）を検出する。第２の方向における第２のユーザ入力（例えば、１０１０ｂ）を検出したことに応じて、電子デバイスは、オーディオソースが、既定の経路（例えば、１０５０ａ）に沿って第２の方向（例えば、図１０Ｈの１０５０に示すような右から左への方向）で経時的に移動しているとユーザによって知覚されるように構成されたモードを使用して、第１のオーディオソース、第２のオーディオソース及び第３のオーディオソースのオーディオの生成を更新する。更に、第２の方向における第２のユーザ入力（例えば、１０１０ｂ）を検出したことに応じて、電子デバイスは、ディスプレイ上で、移動が第２の方向（例えば、図１０Ｈ〜図１０Ｉに示すように、右から左への方向）であるように、第１の視覚要素（例えば、１００４ａ）、第２の視覚要素（例えば１００４ａ）、及び第３の視覚要素（例えば、１００４ａ）のうちの１つ以上（例えば、２つ以上、全て）の移動の表示を更新する。
いくつかの実施形態によれば、２つ以上のスピーカを使用して、オーディオを同時に生成している間に、電子デバイスは、第３のユーザ入力（例えば、第１の方向、左から右の方向）を検出する。第３のユーザ入力を検出したことに応じて、電子デバイスは、第１のオーディオソース、第２のオーディオソース、及び第３のオーディオソースのオーディオの生成を、オーディオソースが第１の速度よりも速い第５の速度で既定の経路に沿って第１の方向（例えば、右から左への方向）に経時的に移動しているとユーザによって知覚されるように構成されたモードを使用して、更新する。更に、第３のユーザ入力を検出したことに応じて、電子デバイスは、ディスプレイ上で、第１の視覚要素、第２の視覚要素、及び第３の視覚要素の同時移動の表示を、移動が第４の速度よりも速い第６の速度で第１の方向（例えば、左から右へ）になるように更新する。
いくつかの実施形態によれば、電子デバイスは、第２の視覚要素（例えば、１００４ｂ）に対応する位置における選択入力（例えば、１０１０ｃ、タップ入力、タップアンドホールド入力）を検出する。選択入力（例えば、１０１０ｃ）を検出したことに応じて、電子デバイスは、２つ以上のスピーカを使用して、第５のモードで（第２のモードではなく）第２のオーディオファイルのオーディオを生成する。第５のモードを使用して生成されたオーディオは、経時的に移動する空間内のポイントから生成されるとユーザによって知覚されない。
いくつかの実施形態によれば、第５のモードは、オーディオの両耳間時間差の修正を含まない。いくつかの実施例では、第５のモードで生成されたオーディオ（例えば、図１０Ｋの１０５４ｂ）は、ＨＲＴＦ、オーディオの両耳間時間差、又はクロスキャンセルのいずれかを使用して修正されない。
いくつかの実施形態によれば、第１のモード、第２のモード、及び第３のモードは、オーディオの両耳間時間差の修正を含む。いくつかの実施例では、第１のモードで生成されたオーディオは、ＨＲＴＦ、オーディオの両耳間時間差、及びクロスキャンセルのうちの１つ以上を使用して修正される。いくつかの実施例では、第２のモードで生成されたオーディオは、ＨＲＴＦ、オーディオの両耳間時間差、及びクロスキャンセルのうちの１つ以上を使用して修正される。いくつかの実施例では、第３のモードで生成されたオーディオは、ＨＲＴＦ、オーディオの両耳間時間差、及びクロスキャンセルのうちの１つ以上を使用して修正される。オーディオの両耳間時間差を修正することにより、ユーザは、特定の方向から到来しているとオーディオを知覚することを可能にする。オーディオのこの方向情報は、異なるコンテンツの配置についての追加的なフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、オーディオの両耳間時間差の修正は、オーディオの第１のチャネルオーディオ（例えば、右チャネル）と、オーディオの第２のチャネルオーディオ（例えば、左チャネル）とを組み合わせて、複合チャネルオーディオを形成することと、第１の遅延（例えば、０ｍｓ遅延、遅延量未満）で、複合チャネルオーディオを含むように第２のチャネルオーディオを更新することと、第１の遅延とは異なる第２の遅延（例えば、１００ｍｓ遅延、遅延量より多い）で、複合チャネルオーディオを含むように第１のチャネルオーディオを更新することと、を含む。いくつかの実施例では、オーディオの両耳間時間差を修正することは、第１のオーディオチャネルとは異なる第２のチャネルオーディオ（例えば、左チャネル）に時間遅延を導入することなく、第１のチャネルオーディオ（例えば、右チャネル）に時間遅延を導入することを含む。
なお、方法１２００に関して上述したプロセス（例えば、図１２Ａ〜図１２Ｂ）の詳細はまた、以下及び上記で説明する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００、９００、１４００、及び１５００は、方法１２００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、空間内にオーディオを置くために、同じ又は類似の技法が使用される。別の実施例では、同じオーディオソースを様々な技法で使用することができる。更に別の実施例では、様々な方法のそれぞれにおいて現在再生しているオーディオは、他の方法で説明される技法を使用して操作することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１３Ａ〜図１３Ｆは、いくつかの実施形態に係る、ヘッドホン透過性を管理するための例示的な技法を示す。これらの図の技法は、図１４Ａ〜１４Ｂのプロセスを含む後述のプロセスを例示するために使用される。
図１３Ｇ〜図１３Ｍは、いくつかの実施形態に係る、オーディオソースの複数のオーディオストリームを操作するための例示的な技法を示す。これらの図の技法は、図１５のプロセスを含む後述のプロセスを例示するために使用される。
図１３Ａ〜図１３Ｍは、ディスプレイ、並びに左及び右スピーカ（例えば、ヘッドホン１３５８）に接続されたタッチ感知面を有するデバイス１３００（例えば、携帯電話）を示す。いくつかの実施例では、左スピーカ及び右スピーカは、ノイズキャンセルレベル（例えば、ヘッドホンの外部からのノイズが抑制されるので、ユーザに聞こえるノイズはそれよりも小さく、従ってノイズ透過性の低い状態）で、及び完全な透過性レベル（例えば、ヘッドホンの外側からのノイズがユーザに完全に通されるか、又はヘッドホンが可能な限り通過するので、ユーザはそれらのノイズを聞くことができ、したがって、ノイズ透過性の高い状態）で、個別に動作するように動作可能である。図１３Ａ〜図１３Ｃでは、デバイス１３００は、スピーカが塗りつぶされていることによって示すように、ノイズキャンセルレベルで左スピーカ１３５８ａ及び右スピーカ１３５８ｂを動作させる。しかしながら、例えば、デバイス１３００は、完全な透過性レベルで右スピーカ１３５８ｂを動作させながら、ノイズキャンセルレベルで左スピーカ１３５８ａを動作させることができる。
俯瞰ビュー１３５０は、デバイス１３００によって生成されているオーディオの空間構成の視覚的表現であり、図１３Ａ〜図１３Ｍ全体を通して示されて、特に音が到来していると（例えば、デバイス１３００が空間内にオーディオを配置する結果として）ユーザ１３５６が知覚する位置に関して、技法のより良い理解を読者に提供する。時間１３５０は、デバイス１３００のユーザインタフェースの一部ではない。いくつかの実施例では、以下に説明する技法は、ユーザが現在聞いているデバイスによって生成されないオーディオソースをより容易かつ効率的に聞くことを可能にする。例えば、この技法により、ユーザがヘッドホンを使用して音楽を聴いている間に、ユーザは、ユーザに話しかけている人のことをより明確に聞くことができる。いくつかの実施例では、以下に説明する技法は、ユーザが様々なオーディオストリームを容易に操作することを可能にする。
図１３Ａでは、デバイス１３００は、アルバムアート１３０４ａ及び任意選択的に軸１３０４ｂを含む音楽プレーヤ１３０４を表示する。アルバムアートは、デバイス１３００によって再生されている歌に対応する。いくつかの実施例では、歌は、複数のオーディオストリームを含む。この実施例では、歌は、５つのオーディオストリームを含み、各オーディオストリームは、特定の機器に対応する。
図１３Ａでは、デバイス１３００は、左スピーカ１３５８ａ及び右スピーカ１３５８ｂを使用して、空間内にオーディオを配置することなく（５つ全てのオーディオストリームを含む）歌のオーディオを生成する（例えば、デバイス１３００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。例えば、これにより、図８Ｆ〜図８Ｇの俯瞰ビュー８５０のオーディオ要素１３５４によって示すように、オーディオがユーザ１３５６の頭部内にあるとユーザは知覚する。オーディオ要素１３５４は、５つのオーディオストリームを含む、歌に対応する。デバイス１３００は、アフォーダンス１３０４ｃで受信されたユーザ入力が、音楽を一時停止、再生、早送り、及び巻き戻しすることなどによって、音楽を制御するように構成されている。
いくつかの実施例では、ユーザ１３５６は、その右の人が話すのを見て、ユーザはドラッグ入力１３１０ａを提供する。図１３Ｂ〜図１３Ｄでは、デバイス１３００は、アルバムアート１３０４ａを変位させるドラッグ入力１３１０ａを検出する。例えば、デバイス１３００は、ドラッグ入力１３１０ａの移動に対応するようにアルバムアート１３０４ａの位置の表示を更新する。
図１３Ｂ及び図１３Ｃでは、アルバムアート１３０４ａの変位は所定の距離を超えず、デバイス１３００は、左スピーカ１３５８ａ及び右スピーカ１３５８ｂを使用して、空間内にオーディオを置くことなく（例えば、デバイス１３００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用せず）、ノイズキャンセルレベルで左スピーカ１３５８ａ及び右スピーカ１３５８ｂの動作を維持しながら、（５つ全てのオーディオストリームを含む）歌のオーディオを生成し続ける。
図１３Ｄでは、デバイス１３００は、アルバムアート１３０４ａの変位が所定の距離を超えている（例えば、ユーザは、アルバムアート１３０４ａを十分に遠くに移動させている）と判定する。アルバムアート１３０４ａの変位が所定の距離を超えているとの判定に応じて、デバイス１３００は、左スピーカ１３５８ａ及び右スピーカ１３５８ｂを使用して、空間内にオーディオを配置することによって、（５つ全てのオーディオストリームを含む）歌のオーディオを生成することに遷移し（例えば、デバイス１３００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用し）、図１３Ｄの俯瞰ビュー１３５０に示すように、オーディオが、ユーザの右の人物から（例えば、前方及び左に）離れた空間内の位置にあるとユーザが知覚する。いくつかの実施例では、オーディオは、ドラッグ入力１３１０ａの方向及び／又は距離に基づいて空間内の位置に移動される。更に、アルバムアート１３０４ａの変位が所定の距離を超えているとの判定に応じて、デバイス１３００は、ノイズキャンセルレベルで左スピーカ１３５８ａの動作を維持し、左スピーカ１３５８ａが塗りつぶされ、右スピーカ１３５８ｂが塗りつぶされていないことにより図１３Ｄの俯瞰ビュー１３５０に示すように、右スピーカ１３５８ｂの動作を完全な透過性レベルに遷移させる。
デバイス１３００が空間内にオーディオの配置を維持し（例えば、デバイス１３００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルを適用する）、ノイズキャンセルレベルで左スピーカ１３５８ａを動作させ、完全な透過性レベルで右スピーカ１３５８ｂを動作させる間に、図１３Ｅでデバイス１３００は、ドラッグ入力１３１０ａのリフトオフを検出する。
ドラッグ入力１３１０ａのリフトオフを検出したことに応じて、図１３Ｆに示すように、デバイス１３００は、アルバムアート１３０４ａの表示を元のドラッグ前位置に戻し、左１３５８ａ及び右１３５８ｂスピーカを使用して、オーディオを空間に配置することなく（５つ全てのオーディオストリームを含む）歌のオーディオを生成することに遷移し（例えば、デバイス１３００は、両耳間時間差、ＨＲＴＦ、及び／又はクロスキャンセルのいずれも適用しない）、それにより、ユーザは、オーディオがユーザの頭部内にあるものと知覚する。更に、ドラッグ入力１３１０ａのリフトオフを検出したことに応じて、デバイス１３００は、ノイズキャンセルレベルで左スピーカ１３５８ａの動作を維持し、左スピーカ１３５８ａ及び右スピーカ１３５８ｂが塗りつぶされていることにより図１３Ｄの俯瞰ビュー１３５０に示すように、右スピーカ１３５８ｂの動作をノイズキャンセルレベルへ遷移させる。
いくつかの実施例では、ドラッグ入力１３１０ａのリフトオフを検出したことに応じて、デバイス１３００は、空間内のオーディオの配置を維持し、完全な透過性レベルで右スピーカ１３５８ｂの動作を維持する。
図１３Ｇでは、デバイス１３００は、左スピーカ１３５８ａ及び右スピーカ１３５８ｂを使用して、空間内にオーディオを配置することなく（５つ全てのオーディオストリームを含む）歌のオーディオを生成し続ける（例えば、デバイス１３００は、両耳間時間差、ＨＲＴＦ、又はクロスキャンセルのいずれも適用しない）。図１３Ｇでは、デバイス１３００は入力１３１０ｂを検出する。
一部の実施例では、デバイス１３００は、入力１３１０ｂの特性強度が強度閾値を超えているかを判定する。入力１３１０ｂの特性強度が強度閾値を超えていないとデバイス１３００が判定したことに応じて、デバイス１３００は、左スピーカ１３５８ａ及び右スピーカ１３５８ｂを使用して、空間内にオーディオを置くことなく（５つ全てのオーディオストリームを含む）歌のオーディオを生成し続ける。
入力１３１０ｂの特性強度が強度閾値を超えているとデバイス１３００が判定したことに応じて、デバイス１３００は、左スピーカ１３５８ａ及び右スピーカ１３５８ｂを使用して、様々なオーディオを空間内に配置することによって、（５つ全てのオーディオストリームを含む）歌のための様々なオーディオストリームのオーディオを生成することに遷移し、それにより、図１３Ｇ〜図１３Ｉのオーディオ要素１３５４ａ〜１３５４ｅに分かれているオーディオ要素１３５４によって示すように、様々なオーディオトリームが異なる方向にユーザの頭部から離れているとユーザが知覚する。更に、入力１３１０ｂの特性強度が強度閾値を超えているとデバイス１３００が判定したことに応じて、デバイス１３００は、図１３Ｈ〜図１３Ｉに示すように、表示されており、かつ離れて広がっているストリームアフォーダンス１３０６ａ〜１３０６ｅのアニメーションを示すために音楽プレーヤ１３０４の表示を更新する。例えば、ストリームアフォーダンス１３０６ａ〜１３０６ｅのそれぞれは、歌のそれぞれのオーディオストリームに対応する。例えば、ストリームアフォーダンス１３０６ａは、歌手を含む（ただし、ギター、キーボード、ドラムなどを含まない）第１のオーディオストリームに対応する。同様に、オーディオ要素１３５４ａは、第１のオーディオストリームに対応する。別の例では、ストリームアフォーダンス１３０６ｄは、ギターを含む（ただし、歌手、キーボード、ドラムなどを含まない）第２のオーディオストリームに対応する。同様に、オーディオ要素１３５４ｄは、第２のオーディオストリームに対応する。
図１３Ｈ〜図１３Ｉに示すように、デバイス１３００は、デバイス１３００が対応するオーディオストリームを配置したスペース内の位置に対応するディスプレイ上の位置に（例えば、互いに対して、ディスプレイ上のポイントに対して）ストリームアフォーダンス１３０６ａ〜１３０６ｅを表示する。
図１３Ｊ〜図１３Ｋでは、デバイス１３００は、ストリームアフォーダンス１３０６ｄ上のドラッグジェスチャ１３１０ｃを検出する。ドラッグジェスチャ１３１０ｃを検出したことに応じて、デバイス１３００は、左スピーカ１３５８ａ及び右スピーカ１３５８ｂを使用して、オーディオを空間内に配置することなく、（オーディオ要素１３５４ｅに対応する）第２のオーディオストリームのためのオーディオを生成することに遷移し、それにより、第２のオーディオストリームのためのオーディオが、ユーザの頭部の中にあるとユーザが知覚し、図１３Ｋのオーディオ要素１３５４ａ〜１３５４ｅによって示すように、空間内の様々な位置での歌のための（例えば、オーディオ要素１３５４ａ〜１３５４ｄに対応する）他の様々なオーディオストリームを生成し続ける。したがって、デバイスは、対応するストリームアフォーダンス１３０６ａ〜１３０６ｄ上のドラッグ入力を検出することに基づいて、ユーザの頭部内に及びユーザの頭部外に、並びに空間内の異なる位置に、個々の歌のオーディオストリームを移動させる。いくつかの実施例では、デバイスは、検出されたドラッグ入力（例えば、移動の方向、リフトオフの配置）に基づいて、空間内の位置に様々なオーディオストリームを配置する。
図１３Ｌでは、デバイス１３００は、ストリームアフォーダンス１３０６ａ上のタップ入力１３１０ｄを検出する。ストリームアフォーダンス１３０６ａ上でタップ入力１３１０ｄを検出したことに応じて、デバイス１３００は、第２のオーディオストリームのためのオーディオを生成することを停止し、したがって、オーディオストリームを無効にする。更に、ストリームアフォーダンス１３０６ａ上のタップ入力１３１０ｄの検出に応じて、デバイス１３００は、対応するオーディオストリームが無効化されていることを示すために、ストリームアフォーダンス１３０６ａの１つ以上の視覚特性（例えば、シェーディング、サイズ、移動）を更新する。いくつかの実施例では、デバイス１３００は、無効化されたオーディオストリームを、無効化されたオーディオストリームを生成することなく、空間内の新しい位置に移動させる入力（例えば、ストリームアフォーダンス１３０６ａ上のドラッグジェスチャ）を受信する。無効化されたオーディオストリームに対応するストリームアフォーダンス上の追加のタップ入力を検出したことに応じて、デバイス１３００は、オーディオストリームを有効にし、空間内の新しい位置で有効化されたオーディオストリームのオーディオの生成を開始する。
いくつかの実施例では、デバイス１３００は、結果を発語することによってクエリの結果を返すことなどの、オーディオフィードバックを生成するデジタルアシスタントを含む。いくつかの実施例では、デバイス１３００は、空間内（例えば、ユーザの右肩の上）の位置にデジタルアシスタント用のオーディオを配置することによってデジタルアシスタントのオーディオを生成し、それにより、ユーザは、他のオーディオが空間内で移動したときでも、デジタルアシスタントが空間内で静止しているままであると知覚する。いくつかの実施例では、デバイス１３００は、１つ以上の（又は全ての）他のオーディオをダッキングすることによって、デジタルアシスタントのオーディオを強調する。
図１４Ａ〜図１４Ｂは、いくつかの実施形態に係る、電子デバイスを使用してヘッドホン透過性を管理するための方法を示すフロー図である。方法１４００は、ディスプレイ及びタッチ感知面を有するデバイス（例えば、１００、３００、５００、１３００）において実行される。電子デバイスは、２つ以上のスピーカ（例えば、左及び右スピーカ、左及び右ヘッドホン、左及び右イヤホン、左及び右イヤーバッド）と動作可能に接続されている。方法１４００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１４００は、ヘッドホン透過性を管理するための直観的方法を提供する。この方法は、ヘッドホン透過性を管理するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン−マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合、ユーザがヘッドホン透過性をより高速かつより効率的に管理することを可能にすることで、電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、ディスプレイ上の第１の位置に、ユーザ移動可能アフォーダンス（例えば、１３０４ａ、アルバムアート）を表示する（１４０２）。
ユーザ移動可能アフォーダンス（例えば、１３０４ａ）が第１の位置（例えば、図１３Ａに示すような１３０４ａ）で表示されている間に（１４０４）、電子デバイスは、電子デバイスを周囲音透過性の第１の状態（例えば、透明性が、２つ以上のスピーカの第１のスピーカ及び第２のスピーカの両方に対して透過性が無効である状態、外部ノイズが、図１３Ａに示すような２つ以上のスピーカの第１のスピーカ及び第２のスピーカ、１３５８ａ及び１３５８ｂに対して抑制されている状態）で動作させる（１４０８）。
ユーザ移動可能アフォーダンス（例えば、１３０４ａ）が第１の位置（例えば、図１３Ａに示すような１３０４ａ）で表示されている間に（１４０４）、電子デバイスは、２つ以上のスピーカを使用して、第１のモード（例えば、図１３Ａの１３５４、ＨＲＴＦ、クロスキャンセル、又は両耳間時間差のいずれも適用せず、ステレオモード）でオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）を使用してオーディオ（例えば、１３５４）を生成する（１４１０）。
ユーザ移動可能アフォーダンス（例えば、１３０４ａ）が第１の位置（例えば、図１３Ａに示すような１３０４ａ）で表示されている間に（１４０４）、電子デバイスは、タッチ感知面を使用して、ユーザ入力（例えば、１３１０ａ、ドラッグジェスチャ）を検出する（１４１２）。
１つ以上の条件のセットは、ユーザ入力（例えば、１３１０ａ）がユーザ移動可能アフォーダンス（例えば、１３０４ａ）上のタッチアンドドラッグ動作である場合に満たされる第１の条件を含む（１４１６）。いくつかの実施形態によれば、１つ以上の条件のセットは、ユーザ入力が、第１の位置からの少なくとも所定の量だけユーザ移動可能アフォーダンスの変位をさせる場合に満たされる第２の条件を更に含む（１４１８）。例えば、移動可能アフォーダンス（例えば、１３０４ａ）の小さい移動は変化を引き起こさず、移動可能アフォーダンス（例えば、１３０４ａ）は、モードが第１のモードから第２のモードに変更される間に、かつ状態が第１の状態から第２の状態に変更される前に、最小距離を移動させなければならない。これは、不注意によるモード及び状態の変化を回避するのに役立つ。
ユーザ入力（例えば、１３１０ａ）を検出したことに応じて（１４１４）、かつ１つ以上の条件のセットが満たされていることに従って（１４１６）、電子デバイスは、電子デバイスを、周囲音透過性の第１の状態とは異なる、周囲音透過性の第２の状態（例えば、２つ以上のスピーカの第１のスピーカに対して透明性が有効化され、第２のスピーカに対して透明性が無効化された状態、２つ以上のスピーカ、図１３Ｄに示すような１３５８ａ及び１３５８ｂ、の第１のスピーカに対して外部ノイズが抑制され、第２のスピーカに対して外部ノイズが抑制されない状態）で動作させる（１４２０）。周囲音透過性の状態を変更することにより、ユーザは、ユーザの環境からの音を、具体的には、環境内の特定の方向からの音を、より良好に聞くことが可能になる。
更に、ユーザ入力（例えば、１３１０ａ）を検出したことに応じて（１４１４）、かつ１つ以上の条件のセットが満たされていることに従って（１４１６）、電子デバイスは、オーディオソースを使用するオーディオの生成（例えば図１３Ｄに示す１３５４）を、第１のモードから、第１のモードとは異なる第２のモード（例えば、ＨＲＴＦ、クロスキャンセル、及び両耳間時間差のうちの１つ以上を適用してモノモード）に遷移させる（１４２２）。オーディオが生成されるモードを変更することにより、ユーザは、ユーザの環境からの音を、具体的には、環境内の特定の方向（例えば、オーディオの生成が空間内で移動された方向から離れている特定の方向）からの音を、より良好に聞くことができる。
更に、ユーザ入力（例えば、１３１０ａ）を検出したことに応じて（１４１４）、かつ１つ以上の条件のセットが満たされていないことに従って（１４２４）、電子デバイスは、第１の周囲音透過性の状態（例えば、第１のスピーカ及び第２のスピーカの両方に対して透過性が無効である状態）に電子デバイスを維持する（１４２６）。
更に、ユーザ入力（例えば、１３１０ａ）を検出したことに応じて（１４１４）、かつ１つ以上の条件のセットが満たされていないことに従って（１４２４）、電子デバイスは、第１のモードのオーディオソースを使用して、オーディオ（例えば、図１３Ｃに示すような１３５４）を生成することを維持する。
いくつかの実施例では、スピーカ（例えば、ヘッドホン）は、フルノイズキャンセルレベル（例えば、ヘッドホンの外部からの雑音が抑制され、ヘッドホンが可能な限り抑制されるため、ユーザはそれらのノイズを聞くことができず、従ってノイズ透過性の低い状態）、及び完全な透過性レベル（ヘッドホンの外側からのノイズがユーザに完全に通されるか、又はヘッドホンが可能な限り通過されるので、ユーザはそれらのノイズを聞くことができ、従って、ノイズ透過性の高い状態）で動作するように動作可能である。
更に、ユーザ入力（例えば、１３１０ａ）を検出したことに応じて（１４１４）、電子デバイスは、ディスプレイ上に、ユーザ移動可能アフォーダンス（例えば、１３０４ａ）の表示を、ディスプレイ上の第１の位置（例えば、図１３Ａの１３０４ａの位置）から、ユーザ入力（例えば、１３１０ａ）のタッチ感知面上の移動に従ってディスプレイ上の第２の位置（例えば、図１３Ｄの１３０４ａの位置）に更新する（１４３０）。いくつかの実施例では、ユーザ移動可能アフォーダンス（例えば、１３０４ａ）の表示位置は、ユーザ入力の接触の位置に対応するように、ユーザ移動可能アフォーダンス（例えば、１３０４ａ）の表示を更新することなどによって、ユーザ入力に基づく。このように、ユーザ入力（例えば、１３１０ａ）がより遠くに移動するほど、ユーザ移動可能アフォーダンス（例えば、１３０４ａ）がディスプレイ上でより遠くに移動する。
いくつかの実施形態によれば、１つ以上の条件のセットが満たされた後に（例えばその間に）、電子デバイスは、（例えば、１３１０ａ、タッチ感知面上のユーザ入力の接触のリフトオフを検出して）ユーザ入力の終了を検出する。ユーザ入力の終了を検出したことに応じて、電子デバイスは、ディスプレイ上で、ユーザ移動可能アフォーダンス（例えば、図１３Ｆの１３０４ａ）の表示をディスプレイ上の第１の位置に更新する。更に、ユーザ入力の終了を検出したことに応じて、電子デバイスは、電子デバイスを周囲音透過性の第１の状態で動作させるように遷移させる（例えば、図１３Ｆの１３５８ａ及び１３５８ｂによって示すように）。更に、ユーザ入力の終了を検出したことに応じて、電子デバイスは、オーディオソースを使用して第２のモードから第１のモードにオーディオの生成を遷移させる（例えば、図１３Ｅ〜図１３Ｆの１３５４の位置の変化によって示すように）。
いくつかの実施形態によれば、１つ以上の条件のセットが満たされた後に（例えばその間に）、電子デバイスは、（例えば、タッチ感知面上のユーザ入力の接触のリフトオフを検出して）ユーザ入力の終了を検出する。ユーザ入力の終了を検出したことに応じて、電子デバイスは、ディスプレイ上で、ユーザ移動可能アフォーダンスの表示をディスプレイ上の第２の位置に維持する。更に、ユーザ入力の終了を検出したことに応じて、電子デバイスは、電子デバイスの動作を周囲音透過性の第２の状態に維持する。更に、ユーザ入力の終了を検出したことに応じて、電子デバイスは、第２のモードでオーディオソースを使用するオーディオの生成を維持する。
いくつかの実施形態によれば、ユーザ入力（例えば、１３１０ａ）は、移動の方向を含む。いくつかの実施形態によれば、（図１３Ｄの１３５８ａ及び１３５８ｂによって示すように）周囲音透過性の第２の状態は、ユーザ入力（例えば、１３１０ａ）の移動の方向に基づく。例えば、電子デバイスは、特定のスピーカ（例えば、１３５８ｂ）を選択して、ユーザ入力（例えば、１３１０ａ）の移動方向に基づいて透過性の状態を変更する。いくつかの実施形態によれば、第２のモードは、ユーザ入力の移動方向に基づく。例えば、第２のモードでは、電子デバイスは、オーディオが空間内の方向から生成されていると知覚されるようにオーディオを生成し、離間する方向は、第１の入力の移動の方向に基づく（及び／又はユーザ移動可能アフォーダンス１３０４ａの位置に基づく）。
いくつかの実施形態によれば、第２のモードは、第２のモードを使用して生成されたオーディオが、表示されたユーザ移動可能アフォーダンスの第２の位置に対応する空間内のポイントから生成されるとユーザによって知覚されるように構成される。
いくつかの実施形態によれば、第１のモードは、オーディオの両耳間時間差の修正を含まない。いくつかの実施例では、第１のモードで生成されたオーディオは、ＨＲＴＦ、クロスキャンセル、又は両耳間時間差のいずれかを使用して修正されない。
いくつかの実施形態によれば、第２のモードは、オーディオの両耳間時間差の修正を含む。いくつかの実施例では、第２のモードは、オーディオの両耳間時間差の修正を含み、それにより、オーディオは、ディスプレイ若しくはユーザの左又は右などのユーザ移動可能アフォーダンスの位置に対応する位置に由来する方向から生成されるとユーザによって知覚される。いくつかの実施例では、第２のモードで生成されたオーディオは、ＨＲＴＦ、クロスキャンセル、及び両耳間時間差のうちの１つ以上を使用して変更される。オーディオの両耳間時間差を修正することにより、ユーザは、特定の方向から到来しているとオーディオを知覚することを可能にする。オーディオのこの方向情報は、異なるコンテンツの配置についての追加的なフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、オーディオの両耳間時間差の修正は、オーディオの第１のチャネルオーディオ（例えば、右チャネル）と、オーディオの第２のチャネルオーディオ（例えば、左チャネル）とを組み合わせて、複合チャネルオーディオを形成することと、第１の遅延（例えば、０ｍｓ遅延、遅延量未満）で、複合チャネルオーディオを含むように第２のチャネルオーディオを更新することと、第１の遅延とは異なる第２の遅延（例えば、１００ｍｓ遅延、遅延量より多い）で、複合チャネルオーディオを含むように第１のチャネルオーディオを更新することと、を含む。いくつかの実施例では、オーディオの両耳間時間差を修正することは、第１のオーディオチャネルとは異なる第２のチャネルオーディオ（例えば、左チャネル）に時間遅延を導入することなく、第１のチャネルオーディオ（例えば、右チャネル）に時間遅延を導入することを含む。
なお、方法１４００に関して上述したプロセス（例えば、図１４Ａ〜図１４Ｂ）の詳細はまた、以下及び上記で説明する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００、９００、１２００、及び１５００は、方法１４００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、空間内にオーディオを置くために、同じ又は類似の技法が使用される。別の実施例では、同じオーディオソースを様々な技法で使用することができる。更に別の実施例では、様々な方法のそれぞれにおいて現在再生しているオーディオは、他の方法で説明される技法を使用して操作することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１５は、いくつかの実施形態に係る、電子デバイスを使用してオーディオソースの複数のオーディオストリームを操作するための方法を示すフロー図である。方法１５００は、ディスプレイ及びタッチ感知面を有するデバイス（例えば、１００、３００、５００、１３００）において実行される。電子デバイスは、第１（例えば、左、１３５８ａ）スピーカ及び第２（例えば、右、１３５８ｂ）スピーカを含む、２つ以上のスピーカと動作可能に接続される。例えば、２つ以上のスピーカは、左及び右スピーカ、左及び右ヘッドホン、左及び右イヤホン、又は左及び右イヤーバッドである。方法１５００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１５００は、オーディオソースの複数のオーディオストリームを操作するための直感的な方法を提供する。この方法は、オーディオソースの複数のオーディオストリームを操作するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスの場合、ユーザがより速くより効率的にオーディオソースの複数のオーディオストリームを操作できるようにすることで、電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、２つ以上のスピーカを使用して、第１のモード（例えば、ＨＲＴＦ、クロスキャンセル、又は両耳間時間差のいずれも適用せずステレオモード）でオーディオソース（例えば、オーディオファイル、音楽ファイル、メディアファイル）を使用してオーディオ（例えば、図１３Ｆの１３５４）を生成する（１５０２）。オーディオソースは、第１のオーディオストリーム及び第２のオーディオストリームを含む、複数の（例えば、５つの）オーディオストリームを含む。いくつかの実施例では、オーディオソースの各オーディオストリームは、ステレオオーディオストリームである。いくつかの実施例では、各オーディオストリームは、単一のそれぞれの機器に限定される。いくつかの実施例では、各オーディオストリームは、単一のそれぞれの歌手の音声に限定される。したがって、オーディオソースの各オーディオストリームは、第１のモードで生成される。
電子デバイスは、タッチ感知面を使用して、第１のユーザ入力（例えば、１３１０ｂ、アフォーダンス上のタップ、強度閾値を超えている特性強度を有する入力）を検出する（１５０４）。
第１のユーザ入力（例えば、１３１０ｂ）を検出したことに応じて（１５０６）、電子デバイスは、２つ以上のスピーカを使用して、第１のモードから第１のモードとは異なる第２のモードに、オーディオソースの第１のオーディオストリーム（例えば、図１３Ｈの１３５４ａ）の生成を遷移させる（１５０８）。
更に、第１のユーザ入力（例えば、１３１０ｂ）を検出したことに応じて（１５０６）、電子デバイスは、２つ以上のスピーカを使用して、第１のモードから第１のモード及び第２のモードとは異なる第３のモードに、オーディオソースの第２のオーディオストリーム（例えば、図１３Ｈの１３５４ｂ）の生成を遷移する（１５１０）。
様々なオーディオストリームを空間内の異なる位置に配置することにより、ユーザは、異なるオーディオストリーム間をより良好に区別することができる。これにより、ユーザは、ユーザがリスニング体験から除外することを望むオーディオ（例えば、特定のオーディオストリーム）の特定の部分をより迅速かつ効率的にオフ（及びオン）することができる。改善されたオーディオフィードバックをユーザに提供することは、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話する場合に適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ−デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
更に、第１のユーザ入力（例えば、１３１０ｂ）を検出したことに応じて（１５０６）、電子デバイスは、ディスプレイ上に、オーディオソースの第１のオーディオストリームの第１の視覚表現（例えば、１３０６ａ）を表示する（１５１２）。
更に、第１のユーザ入力（例えば、１３１０ｂ）を検出したことに応じて（１５０６）、電子デバイスは、ディスプレイ上に、オーディオソースの第２のオーディオストリームの第２の視覚表現（例えば、１３０６ｂ）を表示し（１５１４）、第１の視覚表現（例えば、１３０６ａ）は、第２の視覚表現（例えば、１３０６ｂ）と異なる。
いくつかの実施形態によれば、ブロック１５０８〜１５１４は同時に発生する。
いくつかの実施形態によれば、第１のモードは、オーディオの両耳間時間差の修正を含まない。いくつかの実施例では、第１のモードで生成されたオーディオは、ＨＲＴＦ、クロスキャンセル、又は両耳間時間差のいずれかを使用して修正されない。
いくつかの実施形態によれば、第２のモードは、オーディオの両耳間時間差の修正を含む。いくつかの実施例では、第２のモードは、オーディオの両耳間時間差の修正を含み、それにより、対応する視覚的表現の位置に対応する位置に由来する方向からオーディオが生成されるとユーザによって知覚される。いくつかの実施例では、第２のモードは、ＨＲＴＦ、クロスキャンセル、及び両耳間時間差のうちの１つ以上を適用することを含む。いくつかの実施例では、第３のモードは、オーディオの両耳間時間差の修正を含む。いくつかの実施例では、第３のモードは、ＨＲＴＦ、クロスキャンセル、及び両耳間時間差のうちの１つ以上を適用することを含む。オーディオの両耳間時間差を修正することにより、ユーザは、特定の方向から到来しているとオーディオを知覚することを可能にする。オーディオのこの方向情報は、異なるコンテンツの配置についての追加的なフィードバックをユーザに提供する。改善されたオーディオフィードバックをユーザへ提供することは、（例えば、ユーザが適切な入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザデバイスインタフェースをより効率的にし、これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態によれば、オーディオの両耳間時間差の修正は、オーディオストリームの第１のチャネルオーディオ（例えば、右チャネル）と、オーディオストリームの第２のチャネルオーディオ（例えば、左チャネル）とを組み合わせて、複合チャネルオーディオを形成することと、第１の遅延（例えば、０ｍｓ遅延、遅延量未満）で、複合チャネルオーディオを含むように第２のチャネルオーディオを更新することと、第１の遅延とは異なる第２の遅延（例えば、１００ｍｓ遅延、遅延量より多い）で、複合チャネルオーディオを含むように第１のチャネルオーディオを更新することと、を含む。いくつかの実施例では、オーディオの両耳間時間差を修正することは、第１のオーディオチャネルとは異なる第２のチャネルオーディオ（例えば、左チャネル）に時間遅延を導入することなく、第１のチャネルオーディオ（例えば、右チャネル）に時間遅延を導入することを含む。
いくつかの実施形態によれば、電子デバイスは、第１の視覚表現を第１の位置に表示することと、第１の視覚表現を第１の方向に、ディスプレイ上の第２の位置（例えば、図１３Ｉの１３０６ａ）に向かってスライドさせることと、を含んで、ディスプレイ上に、オーディオソースの第１のオーディオストリームの第１の視覚表現（例えば、１３０６ａ）を表示する。いくつかの実施形態によれば、電子デバイスは、第２の視覚表現を第１の位置に表示することと、第２の視覚表現を第１の方向とは異なる第２の方向に、第２の位置とは異なる第３の位置（例えば、図１３Ｉの１３０６ｂ）に向かってスライドさせることと、を含んで、ディスプレイ上に、オーディオソースの第２のオーディオストリームの第２の視覚表現（例えば、１３０６ｂ）を表示する。
いくつかの実施形態によれば、電子デバイスは、タッチ感知面を使用して、第２のユーザ入力（例えば、１３１０ｃ）を検出し、第２の入力（例えば、１３１０ｃ）は、第２の位置に対応する位置において開始し、第１の位置に対応する位置において終了する。第２のユーザ入力を検出したことに応じて、電子デバイスは、ディスプレイ上の第３の位置に第２の視覚的表現を維持しながら、第１の視覚表現をディスプレイ上で第２の位置から第１の位置までスライドさせる。更に、第２のユーザ入力を検出したことに応じて、電子デバイスは、第３のモードで第２のオーディオストリームを使用してオーディオの生成を維持しながら、２つ以上のスピーカを使用して、第１のオーディオストリームを使用するオーディオの生成を、第２のモードから第１のモードに遷移させる。
いくつかの実施形態によれば、第１のユーザ入力（例えば、１３１０ａ）を検出することは、第１のユーザ入力の特性強度にアクセスすることと、第１のユーザ入力の特性強度が強度閾値を超えていると判定することと、を含む。
いくつかの実施形態によれば、電子デバイスは、２つ以上のスピーカを使用して、オーディオソースの第１のオーディオストリーム及びオーディオソースの第２のオーディオストリームを使用してオーディオを生成する間に、電子デバイスは、タッチ感知面を使用して、第１の視覚表現（例えば、１３０６ａ）に対応するタッチ感知面上の位置における第３のユーザ入力（例えば、１３１０ｄ、タップ入力）を検出する。第３のユーザ入力（例えば、１３１０ｄ）を検出したことに応じて、電子デバイスは、２つ以上のスピーカを使用して、オーディオソースの第１のオーディオストリームを使用して、オーディオ（例えば、１３５４ａ）を生成することを停止する。更に、第３のユーザ入力（例えば、１３１０ｄ）を検出したことに応じて、電子デバイスは、電子デバイスは、２つ以上のスピーカを使用して、オーディオソースの第２のオーディオストリーム（例えば、１３５４ｂ）を使用するオーディオの生成を維持する。したがって、電子デバイスは、機器アフォーダンス上のタップを検出し、その機器に対応するオーディオストリームを無効化する。
いくつかの実施形態によれば、電子デバイスは、２つ以上のスピーカを使用して、オーディオソースの第１のオーディオストリームを使用してオーディオを生成せず、２つ以上のスピーカを使用して、オーディオソースの第２のオーディオストリームを使用してオーディオを生成する間に、電子デバイスは、タッチ感知面を使用して、第１の視覚表現に対応するタッチ感知面上の位置における第４のユーザ入力（例えば、タップ入力）を検出する。第４のユーザ入力を検出したことに応じて、電子デバイスは、２つ以上のスピーカを使用して、オーディオソースの第１のオーディオストリームを使用してオーディオを生成する。更に、第４のユーザ入力を検出したことに応じて、電子デバイスは、２つ以上のスピーカを使用して、オーディオソースの第２のオーディオストリームを使用するオーディオの生成を維持する。したがって、電子デバイスは、機器アフォーダンス上のタップを検出し、その機器に対応するオーディオストリームを有効にする。
いくつかの実施形態によれば、電子デバイスは、音量制御入力（例えば、音量を下げるように要求するユーザ入力）を検出する。音量制御入力を検出したことに応じて、電子デバイスは、複数のオーディオストリーム内の各オーディオストリームに対して、２つ以上のスピーカを使用して生成されたオーディオの音量を修正する。
方法１５００に関して上述したプロセス（例えば、図１５）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法７００、９００、１２００、及び１４００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、空間内にオーディオを置くために、同じ又は類似の技法が使用される。別の実施例では、同じオーディオソースを様々な技法で使用することができる。更に別の実施例では、様々な方法のそれぞれにおいて現在再生しているオーディオは、他の方法で説明される技法を使用して操作することができる。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本技法の原理、及びそれらの実際の適用を最もよく説明するために、実施形態が選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技法及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。
上述したように、本技術の一態様は、オーディオ配信を改善するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの例において、この収集されたデータが、特定の人を一意に特定する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、誕生日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データを使用して改善されたオーディオ体験を与えることができる。更に、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって考察される。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求するための技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、転送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守することを考察する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能であるべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更に、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。更に、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更に、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに対して、異なるプライバシー慣行が保たれるべきである。
前述のことがらにもかかわらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も考察する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供できることを考察する。例えば、オーディオ配信サービスの場合では、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成することができる。更に別の実施例では、ユーザは、位置情報データが収集又は維持される時間の長さを制限することを選択することができる。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを考察する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更に、本開示の意図は、個人情報データを、非意図的若しくは無認可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更に、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを考察する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、オーディオは、ユーザに関連付けられたデバイスによって要求されたコンテンツなどの非個人情報データ又は必要最小限の量の個人情報、利用可能な他の非個人情報、又は公的に利用可能な情報に基づいてユーザに配信することができる。

Claims (13)

  1. ディスプレイ及びタッチ感知面を備える電子デバイスであって、２つ以上のスピーカと動作可能に接続されている電子デバイスにおいて、
    前記ディスプレイ上の第１の位置に、ユーザ移動可能アフォーダンスを表示することと、
    前記ユーザ移動可能アフォーダンスが前記第１の位置に表示されている間に、
    前記電子デバイスを、周囲音透過性の第１の状態で動作させることと、
    前記２つ以上のスピーカを使用して、第１のモードでオーディオソースを使用してオーディオを生成することと、
    前記タッチ感知面を使用して、ユーザ入力を検出することと、
    前記ユーザ入力を検出したことに応じて、前記ユーザ移動可能アフォーダンスを表示し続けている間に、
    前記ユーザ入力が前記ユーザ移動可能アフォーダンス上でのタッチアンドドラッグ動作である場合に満たされる第１の条件を含む１つ以上の条件のセットが満たされることに従って、
    前記電子デバイスを、周囲音透過性の前記第１の状態とは異なる周囲音透過性の第２の状態で動作させることと、
    前記オーディオソースを使用するオーディオの生成を前記第１のモードから前記第１のモードとは異なる第２のモードに遷移させることと、
    １つ以上の条件の前記セットが満たされていないことに従って、
    前記電子デバイスを周囲音透過性の前記第１の状態に維持することと、
    前記第１のモードで前記オーディオソースを使用してオーディオを生成することを維持することと、
    を含む、方法。
  2. 前記ユーザ入力を検出したことに更に応じて、
    前記ユーザ入力の前記タッチ感知面上の移動に従って、前記ディスプレイ上の前記第１の位置から前記ディスプレイ上の第２の位置への前記ユーザ移動可能アフォーダンスの表示を、前記ディスプレイ上で更新すること、
    を更に含む、請求項１に記載の方法。
  3. １つ以上の条件の前記セットは、前記ユーザ入力が前記ユーザ移動可能アフォーダンスを前記第１の位置から少なくとも所定の量だけ変位させる場合に満たされる第２の条件を含む、請求項１に記載の方法。
  4. １つ以上の条件の前記セットが満たされた後に、前記ユーザ入力の終了を検出することと、
    前記ユーザ入力の前記終了を検出したことに応じて、
    前記ディスプレイ上の前記第１の位置への前記ユーザ移動可能アフォーダンスの表示を前記ディスプレイ上で更新することと、
    前記電子デバイスを周囲音透過性の前記第１の状態で動作させるように遷移させることと、
    前記オーディオソースを使用するオーディオの生成を前記第２のモードから前記第１のモードに遷移させることと、
    を更に含む、請求項２又は３に記載の方法。
  5. １つ以上の条件の前記セットが満たされた後に、前記ユーザ入力の終了を検出することと、
    前記ユーザ入力の前記終了を検出したことに応じて、
    前記ディスプレイ上の前記第２の位置における前記ユーザ移動可能アフォーダンスの表示を前記ディスプレイ上で維持することと、
    前記電子デバイスの動作を周囲音透過性の前記第２の状態に維持することと、
    前記第２のモードで前記オーディオソースを使用するオーディオの生成を維持することと、
    を更に含む、請求項２又は３に記載の方法。
  6. 前記ユーザ入力は、移動の方向を含み、
    周囲音透過性の前記第２の状態は、前記ユーザ入力の移動の前記方向に基づいており、
    前記第２のモードは、前記ユーザ入力の移動の前記方向に基づいている、
    請求項１から５のいずれか一項に記載の方法。
  7. 前記第２のモードは、前記第２のモードを使用して生成されたオーディオが、前記表示されたユーザ移動可能アフォーダンスの前記第２の位置に対応する空間内のポイントから生成されているとユーザによって知覚されるように構成されている、請求項２から６のいずれか一項に記載の方法。
  8. 前記第１のモードは、オーディオの両耳間時間差の修正を含まない、請求項１から７のいずれか一項に記載の方法。
  9. 前記第２のモードは、オーディオの両耳間時間差の修正を含む、請求項１から８のいずれか一項に記載の方法。
  10. オーディオの前記両耳間時間差の修正は、
    前記オーディオの第１のチャネルオーディオと前記オーディオの第２のチャネルオーディオとを組み合わせて、複合チャネルオーディオを形成することと、
    第１の遅延で前記複合チャネルオーディオを含むように前記第２のチャネルオーディオを更新することと、
    前記第１の遅延とは異なる第２の遅延で前記複合チャネルオーディオを含むように前記第１のチャネルオーディオを更新することと、
    を含む、請求項８又は９に記載の方法。
  11. 請求項１から１０のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
  12. 請求項１１に記載のコンピュータプログラムを記憶するメモリと、
    前記メモリに記憶された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、
    を備える電子デバイス。
  13. 請求項１から１０のいずれか一項に記載の方法を実行する手段を備える電子デバイス。
JP2021510322A 2018-09-26 2019-08-29 オーディオの空間管理 Active JP6942903B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021146333A JP7182678B2 (ja) 2018-09-26 2021-09-08 オーディオの空間管理
JP2022185685A JP2023025080A (ja) 2018-09-26 2022-11-21 オーディオの空間管理

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862736990P 2018-09-26 2018-09-26
US62/736,990 2018-09-26
PCT/US2019/048816 WO2020068353A1 (en) 2018-09-26 2019-08-29 Spatial management of audio

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021146333A Division JP7182678B2 (ja) 2018-09-26 2021-09-08 オーディオの空間管理

Publications (2)

Publication Number Publication Date
JP6942903B1 true JP6942903B1 (ja) 2021-09-29
JP2021528792A JP2021528792A (ja) 2021-10-21

Family

ID=67928932

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021510322A Active JP6942903B1 (ja) 2018-09-26 2019-08-29 オーディオの空間管理
JP2021146333A Active JP7182678B2 (ja) 2018-09-26 2021-09-08 オーディオの空間管理
JP2022185685A Pending JP2023025080A (ja) 2018-09-26 2022-11-21 オーディオの空間管理

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021146333A Active JP7182678B2 (ja) 2018-09-26 2021-09-08 オーディオの空間管理
JP2022185685A Pending JP2023025080A (ja) 2018-09-26 2022-11-21 オーディオの空間管理

Country Status (7)

Country Link
US (4) US10976989B2 (ja)
EP (2) EP3830683B1 (ja)
JP (3) JP6942903B1 (ja)
KR (4) KR102534728B1 (ja)
CN (2) CN113157237B (ja)
AU (5) AU2019350584B2 (ja)
WO (1) WO2020068353A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3833044A4 (en) * 2018-07-30 2021-10-13 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROCESS, AND PROGRAM
US10976989B2 (en) 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11137973B2 (en) * 2019-09-04 2021-10-05 Bose Corporation Augmented audio development previewing tool
EP4115628A1 (en) * 2020-03-06 2023-01-11 algoriddim GmbH Playback transition from first to second audio track with transition functions of decomposed signals
US11900012B2 (en) * 2020-09-24 2024-02-13 Apple Inc. Method and system for seamless media synchronization and handoff
USD962279S1 (en) * 2020-10-14 2022-08-30 Kwai Games Pte, Ltd. Display screen or portion thereof with graphical user interface
CN116700659B (zh) * 2022-09-02 2024-03-08 荣耀终端有限公司 一种界面交互方法及电子设备

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US5828773A (en) 1996-01-26 1998-10-27 Harris Corporation Fingerprint sensing method with finger position indication
EP1717684A3 (en) 1998-01-26 2008-01-23 Fingerworks, Inc. Method and apparatus for integrating manual input
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP2007220004A (ja) 2006-02-20 2007-08-30 Funai Electric Co Ltd テレビおよび認証装置
US20080229206A1 (en) 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
WO2009091029A1 (ja) 2008-01-16 2009-07-23 Asahi Kasei Kabushiki Kaisha 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム
CN103258184B (zh) 2008-02-27 2017-04-12 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
KR101521920B1 (ko) * 2008-08-29 2015-05-20 엘지전자 주식회사 이동 단말기 및 그의 음악재생 제어방법
US9037468B2 (en) 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
KR101544475B1 (ko) 2008-11-28 2015-08-13 엘지전자 주식회사 터치를 통한 입출력 제어
US10175848B2 (en) * 2009-02-09 2019-01-08 Nokia Technologies Oy Displaying a display portion including an icon enabling an item to be added to a list
KR20100114247A (ko) * 2009-04-15 2010-10-25 엘지전자 주식회사 이동 단말기 및 그 디스플레이 방법
KR101615290B1 (ko) 2009-08-26 2016-04-26 삼성전자주식회사 촬영 방법 및 시스템
US9086801B2 (en) 2009-12-14 2015-07-21 Hewlett-Packard Development Company, L.P. Touch input based adjustment of audio device settings
US9107021B2 (en) * 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
WO2012125989A2 (en) * 2011-03-17 2012-09-20 Laubach Kevin Touch enhanced interface
KR101873734B1 (ko) 2011-07-19 2018-07-03 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
WO2013095098A1 (en) * 2011-11-18 2013-06-27 Ruma Products Holding B.V. Seal sleeve and assembly including such a seal sleeve
JP6065369B2 (ja) 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2014026165A2 (en) * 2012-08-10 2014-02-13 Johnson Controls Technology Company Systems and methods for vehicle cabin controlled audio
JP6086188B2 (ja) * 2012-09-04 2017-03-01 ソニー株式会社 音響効果調整装置および方法、並びにプログラム
WO2014049398A1 (en) * 2012-09-28 2014-04-03 Nokia Corporation Apparatus displaying animated image combined with tactile output
US20140095997A1 (en) * 2012-09-28 2014-04-03 Tesla Motors, Inc. Audio System Optimization Interface
KR101849364B1 (ko) * 2012-11-27 2018-04-16 한화테크윈 주식회사 미디어 재생 장치 및 방법
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US11395086B2 (en) * 2013-03-15 2022-07-19 Jawbone Innovations, Llc Listening optimization for cross-talk cancelled audio
US9262671B2 (en) 2013-03-15 2016-02-16 Nito Inc. Systems, methods, and software for detecting an object in an image
US9426589B2 (en) * 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
US9560445B2 (en) * 2014-01-18 2017-01-31 Microsoft Technology Licensing, Llc Enhanced spatial impression for home audio
US9900722B2 (en) * 2014-04-29 2018-02-20 Microsoft Technology Licensing, Llc HRTF personalization based on anthropometric features
EP3197182B1 (en) * 2014-08-13 2020-09-30 Samsung Electronics Co., Ltd. Method and device for generating and playing back audio signal
US10497353B2 (en) * 2014-11-05 2019-12-03 Voyetra Turtle Beach, Inc. Headset with user configurable noise cancellation vs ambient noise pickup
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9774453B2 (en) 2015-04-01 2017-09-26 Northrop Grumman Systems Corporation System and method for providing an automated biometric enrollment workflow
KR20170019649A (ko) * 2015-08-12 2017-02-22 삼성전자주식회사 사운드를 제공하는 전자 장치 및 방법
US9928029B2 (en) * 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
JP6905824B2 (ja) * 2016-01-04 2021-07-21 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 非常に多数のリスナのための音響再生
KR102434866B1 (ko) * 2016-01-07 2022-08-22 엘지전자 주식회사 이동 단말기 및 그 제어방법
FI20165211A (fi) 2016-03-15 2017-09-16 Ownsurround Ltd Järjestely HRTF-suodattimien valmistamiseksi
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
DK179823B1 (en) * 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10631115B2 (en) * 2016-08-31 2020-04-21 Harman International Industries, Incorporated Loudspeaker light assembly and control
US10278003B2 (en) * 2016-09-23 2019-04-30 Apple Inc. Coordinated tracking for binaural audio rendering
KR20180047649A (ko) * 2016-11-01 2018-05-10 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106708403A (zh) * 2016-11-30 2017-05-24 努比亚技术有限公司 输入滑动操作时同步播放提示音的方法及装置
JP2018116636A (ja) 2017-01-20 2018-07-26 パイオニア株式会社 表示装置、表示方法、及び、プログラム
KR20180096182A (ko) * 2017-02-20 2018-08-29 엘지전자 주식회사 전자 장치 및 그 전자 장치의 제어 방법
CN110495125B (zh) 2017-03-24 2022-07-15 苹果公司 用于传输或接收下行链路控制信息的方法和装置
EP3602252A4 (en) * 2017-03-28 2020-12-16 Magic Leap, Inc. SYSTEM OF EXTENDED REALITY WITH SPACIOUS AUDIO TIED TO A USER MANIPULATED VIRTUAL OBJECT
JP6334774B2 (ja) 2017-04-10 2018-05-30 株式会社ディーアンドエムホールディングス 選択的に協調するオーディオプレーヤーシステム
US10481856B2 (en) * 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
US11036387B2 (en) * 2017-05-16 2021-06-15 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US10219095B2 (en) 2017-05-24 2019-02-26 Glen A. Norris User experience localizing binaural sound during a telephone call
US10503310B2 (en) * 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10275083B2 (en) * 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US10390131B2 (en) * 2017-09-29 2019-08-20 Apple Inc. Recording musical instruments using a microphone array in a device
US10880649B2 (en) * 2017-09-29 2020-12-29 Apple Inc. System to move sound into and out of a listener's head using a virtual acoustic system
FI20185300A1 (fi) 2018-03-29 2019-09-30 Ownsurround Ltd Järjestely päähän liittyvien siirtofunktiosuodattimien muodostamiseksi
US20190378430A1 (en) * 2018-06-06 2019-12-12 Ruta Kleiman Keinan Visitor center and method for enhancing music appreciation
US11432071B2 (en) * 2018-08-08 2022-08-30 Qualcomm Incorporated User interface for controlling audio zones
US10524080B1 (en) * 2018-08-23 2019-12-31 Apple Inc. System to move a virtual sound away from a listener using a crosstalk canceler
US10652687B2 (en) * 2018-09-10 2020-05-12 Apple Inc. Methods and devices for user detection based spatial audio playback
US10798511B1 (en) * 2018-09-13 2020-10-06 Apple Inc. Processing of audio signals for spatial audio
CN110932673A (zh) 2018-09-19 2020-03-27 恩智浦美国有限公司 一种包含并联陷波滤波器的斩波稳定放大器
US10976989B2 (en) 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US11315277B1 (en) 2018-09-27 2022-04-26 Apple Inc. Device to determine user-specific HRTF based on combined geometric data
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10462598B1 (en) * 2019-02-22 2019-10-29 Sony Interactive Entertainment Inc. Transfer function generation system and method
US11625222B2 (en) * 2019-05-07 2023-04-11 Apple Inc. Augmenting control sound with spatial audio cues
US20200379716A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Audio media user interface
US11172298B2 (en) * 2019-07-08 2021-11-09 Apple Inc. Systems, methods, and user interfaces for headphone fit adjustment and audio output control
US11675423B2 (en) * 2020-06-19 2023-06-13 Apple Inc. User posture change detection for head pose tracking in spatial audio applications
US11647352B2 (en) * 2020-06-20 2023-05-09 Apple Inc. Head to headset rotation transform estimation for head pose tracking in spatial audio applications
US11589183B2 (en) * 2020-06-20 2023-02-21 Apple Inc. Inertially stable virtual auditory space for spatial audio applications
US11496852B2 (en) * 2020-12-03 2022-11-08 Snap Inc. Head-related transfer function
US20220345844A1 (en) * 2021-04-23 2022-10-27 Samsung Electronics Co., Ltd. Electronic apparatus for audio signal processing and operating method thereof
US11907605B2 (en) * 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
WO2023049671A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications

Also Published As

Publication number Publication date
US20230251817A1 (en) 2023-08-10
AU2021204526A1 (en) 2021-07-29
AU2023203125B2 (en) 2023-12-21
AU2021204526B2 (en) 2022-09-22
CN113157237A (zh) 2021-07-23
KR102534728B1 (ko) 2023-05-26
US20200097248A1 (en) 2020-03-26
EP3830683A1 (en) 2021-06-09
JP2023025080A (ja) 2023-02-21
US11429342B2 (en) 2022-08-30
KR102343860B1 (ko) 2021-12-27
AU2022256155A1 (en) 2022-11-24
WO2020068353A4 (en) 2020-05-22
CN112639721A (zh) 2021-04-09
US11635938B2 (en) 2023-04-25
JP2021528792A (ja) 2021-10-21
KR20230071202A (ko) 2023-05-23
US20220391169A1 (en) 2022-12-08
AU2023203125A1 (en) 2023-06-08
US10976989B2 (en) 2021-04-13
EP3830683B1 (en) 2023-03-01
JP7182678B2 (ja) 2022-12-02
AU2019350584B2 (en) 2021-04-01
KR20220097547A (ko) 2022-07-07
KR20210030476A (ko) 2021-03-17
AU2024201391A1 (en) 2024-03-21
KR20210158428A (ko) 2021-12-30
AU2022256155B2 (en) 2023-05-25
JP2021193590A (ja) 2021-12-23
US20210232359A1 (en) 2021-07-29
EP4141645A1 (en) 2023-03-01
CN113157237B (zh) 2022-06-03
KR102414717B1 (ko) 2022-06-29
WO2020068353A1 (en) 2020-04-02
AU2019350584A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
JP6942903B1 (ja) オーディオの空間管理
US11670144B2 (en) User interfaces for indicating distance
JP7146134B1 (ja) オーディオを共有するための方法及びユーザインタフェース
EP4189682A1 (en) User interfaces for managing audio for media items
CN117546471A (zh) 用于指示和/或控制内容项回放格式的用户界面
US20240080642A1 (en) Interfaces for device interactions
WO2024054498A1 (en) Interfaces for device interactions
WO2023239620A1 (en) Sticker creation for messaging

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A525

Effective date: 20210225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210225

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210908

R150 Certificate of patent or registration of utility model

Ref document number: 6942903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150