以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供されることを認識されたい。
露出補償、表示メディアを使用してメディアをキャプチャし、メディアの状態のインジケータを表示するために、本明細書に記載される方法などの、メディアを管理するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。そのような技術は、メディアを管理するユーザの認識的負担を軽減し、それにより、生産性を高めることができる。更に、このような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減させることができる。
以下、図1A~図1B、図2、図3、図4A~図4B、及び図5A~図5Hは、メディアを管理する技術を実行するための例示的なデバイスの説明を提供する。
図6A~図6Vは、いくつかの実施形態に係る、露出補償を管理するための例示的なユーザインタフェースを示す。図7は、いくつかの実施形態に係る、露出補償を管理するための例示的な方法を示すフロー図である。図6A~図6Vのユーザインタフェースは、図7の処理を含む、後述の処理を示すために使用される。
図8A~図8Lは、いくつかの実施形態に係る、メディアを表示するための例示的なユーザインタフェースを示す。図9は、いくつかの実施形態に係る、メディアを表示するための例示的な方法を示すフロー図である。図8A~図8Lのユーザインタフェースは、図9の処理を含む、後述の処理を示すために使用される。
図10A~図10ACは、いくつかの実施形態に係る、状態インジケータを表示するための例示的なユーザインタフェースを示す。図11は、いくつかの実施形態に係る、状態インジケータを表示するための例示的な方法を示すフロー図である。図10A~図10ACのユーザインタフェースは、図11のプロセスを含む後述するプロセスを示すために使用される。
以下の説明では、様々な要素について説明するために、「第1の」、「第2の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第1のタッチを第2のタッチと呼ぶこともでき、同様に第2のタッチを第1のタッチと呼ぶこともできる。第1のタッチ及び第2のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「a(1つ、一)」、「an(1つ、一)」、及び「the(その、この)」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び/又は」は、関連する列挙された項目のうちの1つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む、備える)」、及び/又は「comprising(含む、備える)」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「~の場合(if)」という用語は、任意選択的に、文脈に応じて、「~とき(when)」若しくは「~とき(upon)」、又は「~と判定したことに応じて(in response to determining)」若しくは「~を検出したことに応じて(in response to detecting)」を意味すると解釈される。同様に、「~と判定された場合(if it is determined)」又は「[記載の状態又はイベント]が検出された場合(if [a stated condition or event] is detected)」という語句は、任意選択的に、文脈に応じて、「~と判定したとき(upon determining)」若しくは「~と判定したことに応じて(in response to determining)」、又は「[記載の状態又はイベント]を検出したとき(upon detecting [the stated condition or event])」若しくは「[記載の状態又はイベント]を検出したことに応じて(in response to detecting [the stated condition or event])」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、PDA機能及び/又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するデスクトップコンピュータであることも理解されたい。いくつかの実施形態では、電子デバイスは、(例えば、無線通信を介して、有線通信を介して)ディスプレイ生成構成要素と通信するコンピュータシステムである。ディスプレイ生成構成要素は、CRTディスプレイを介した表示、LEDディスプレイを介した表示、又は画像投影を介した表示などの視覚出力を提供するように構成されている。いくつかの実施形態では、ディスプレイ生成構成要素は、コンピュータシステムと一体化される。いくつかの実施形態では、ディスプレイ生成構成要素は、コンピュータシステムとは別個である。本明細書で使用される場合、コンテンツを「表示する」とは、コンテンツを視覚的に生成するために、有線又は無線接続を介して、データ(例えば、画像データ又はビデオデータ)を、一体化された又は外部のディスプレイ生成構成要素に送信することにより、コンテンツ(例えば、ディスプレイコントローラ156によってレンダリング又はデコードされたビデオデータ)を表示させることを含む。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び/又はジョイスティックなどの1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び/又はデジタルビデオプレーヤアプリケーションのうちの1つ以上などの様々なアプリケーションに対応する。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び/又はそれぞれのアプリケーション内で、任意選択的に、調整及び/又は変更される。このように、デバイスの共通の物理アーキテクチャ(タッチ感知面など)は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係るタッチ感知ディスプレイシステム112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力コントロールデバイス116、及び外部ポート124を含む。デバイス100は、任意選択的に、1つ以上の光センサ164を含む。デバイス100は、任意選択的に、デバイス100上の接触の強度を検出する1つ以上の接触強度センサ165(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)を含む。デバイス100は、任意選択的に、デバイス100上で触知出力を生成する(例えばデバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などのタッチ感知面上で触知出力を生成する)1つ以上の触知出力生成器167を含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号ライン103を介して通信する。
本明細書及び特許請求の範囲では、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触)の力若しくは圧力(単位面積当たりの力)、又はタッチ感知面上の接触の力若しくは圧力に対する代理(プロキシ)を指す。接触の強度は、少なくとも4つの別個の値を含み、より典型的には、数百の(例えば、少なくとも256の)別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定(又は測定)される。例えば、タッチ感知面の下又はそれに隣接する1つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。一部の実装形態では、複数の力センサからの力測定値は、接触の推定される力を判定するために組み合わされる(例えば、加重平均)。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される(例えば、強度閾値は、代替測定値に対応する単位で記述される)。一部の実装形態では、接触力又は圧力に対する代理測定は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超過したかどうかを判定するために使用される(例えば、強度閾値は、圧力の単位で測定される圧力閾値である)。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを(例えば、タッチ感知ディスプレイ上に)表示するための、及び/又は、ユーザ入力を(例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的/機械的制御部を介して)受信するための面積が制限されている、低減されたサイズのデバイス上で、通常であればユーザによってアクセスすることが不可能であり得る追加のデバイス機能への、ユーザのアクセスが可能となる。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、そのデバイスの別の構成要素(例えば、筐体)に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一例に過ぎず、デバイス100は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、2つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図1Aに示す様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実施される。
メモリ102は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ122は、任意選択的に、デバイス100の他の構成要素によるメモリ102へのアクセスを制御する。
周辺機器インタフェース118は、デバイスの入力及び出力周辺機器をCPU120及びメモリ102に結合するために使用することができる。1つ以上のプロセッサ120は、メモリ102に記憶された様々なソフトウェアプログラム及び/又は命令セットを動作させる又は実行して、デバイス100のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース118、CPU120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一のチップ上で実施される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
RF(radio frequency)(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどが挙げられる。RF回路108は、任意選択的に、ワールドワイドウェブ(World Wide Web、WWW)とも呼ばれるインターネット、イントラネット、並びに/又はセルラー電話ネットワーク、無線ローカルエリアネットワーク(local area network、LAN)及び/若しくはメトロポリタンエリアネットワーク(metropolitan area network、MAN)などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。RF回路108は、任意選択的に、短距離通信無線機などによって近距離通信(near field Communication、NFC)フィールドを検出する良く知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、動き通信用のグローバルシステム(Global System for Mobile Communications、GSM)、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケットアクセス(high-speed downlink packet access、HSDPA)、高速アップリンクパケットアクセス(high-speed uplink packet access、HSUPA)、エボリューションデータオンリ(Evolution,Data-Only、EV-DO)、HSPA、HSPA+、デュアルセルHSPA(Dual-Cell HSPA、DC-HSPDA)、ロングタームエボリューション(long term evolution、LTE)、近距離通信(NFC)、広帯域符号分割多元接続(wideband code division multiple access、W-CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth(登録商標)、Bluetoothローエネルギ(Bluetooth Low Energy、BTLE(登録商標))、ワイヤレスフィデリティ(Wireless Fidelity、Wi-Fi(登録商標))(例えば、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11n、及び/若しくはIEEE 802.11ac)、ボイスオーバインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX(登録商標)、電子メール用プロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/若しくはポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能なメッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンスレベレイジングエクステンションのためのセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスサービス(Instant Messaging and Presence Service、IMPS))、並びに/若しくはショートメッセージサービス(Short Message Service、SMS)、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適した通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。また、オーディオ回路110は、マイクロフォン113によって音波から変換された電気信号を受信する。オーディオ回路110は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース118に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース118によって、メモリ102及び/若しくはRF回路108から取得され、かつ/又はメモリ102及び/若しくはRF回路108に伝送される。いくつかの実施形態では、オーディオ回路110はまた、ヘッドセットジャック(例えば、図2の212)を含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば片耳又は両耳用のヘッドホン)及び入力(例えばマイクロフォン)の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム106は、タッチスクリーン112及び他の入力コントロールデバイス116などのデバイス100上の入出力周辺機器を、周辺機器インタフェース118に結合する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光センサコントローラ158、深度カメラコントローラ169、強度センサコントローラ159、触覚フィードバックコントローラ161、及び、他の入力デバイス若しくは制御デバイス用の1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は、他の入力コントロールデバイス116からの電気信号の受信/他の入力コントロールデバイス116への電気信号の送信を行う。他の入力コントロールデバイス116は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの実施形態では、入力コントローラ(単数又は複数)160は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される(又はいずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、任意選択的に、スピーカ111及び/又はマイクロフォン113の音量コントロールのための上下ボタンを含む。1つ以上のボタンは、任意選択的に、プッシュボタン(例えば、図2の206)を含む。いくつかの実施形態では、電子デバイスは、(例えば、無線通信を介して、有線通信を介して)1つ以上の入力デバイスと通信するコンピュータシステムである。いくつかの実施形態では、1つ以上の入力デバイスは、タッチ感知面(例えば、タッチ感知ディスプレイの一部としてのトラックパッド)を含む。いくつかの実施形態では、1つ以上の入力デバイスは、入力としてユーザのジェスチャ(例えば、ハンドジェスチャ)を追跡するためなど、1つ以上のカメラセンサ(例えば、1つ以上の光学センサ164及び/又は1つ以上の深度カメラセンサ175)を含む。いくつかの実施形態では、1つ以上の入力デバイスは、コンピュータシステムと一体化される。いくつかの実施形態では、1つ以上の入力デバイスは、コンピュータシステムとは別個である。
全体として参照により本明細書に組み込まれている、2005年12月23日出願の米国特許出願第11/322,549号、「Unlocking a Device by Performing Gestures on an Unlock Image」、米国特許第7,657,849号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン112のロックを係合解除し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをアンロックするプロセスを開始する。プッシュボタン(例えば、206)のより長い押下は、任意選択的に、デバイス100への電力をオン又はオフにする。ボタンのうちの1つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン112は、仮想又はソフトボタン及び1つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112からの電気信号の受信、及び/又はタッチスクリーン112への電気信号の送信を行う。タッチスクリーン112は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ(総称して「グラフィック」)を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚及び/又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン112及びディスプレイコントローラ156は(メモリ102内の任意の関連モジュール及び/又は命令セットと共に)、タッチスクリーン112上で接触(及び任意の接触の移動又は中断)を検出し、検出された接触をタッチスクリーン112上に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ又は画像)との対話に変換する。例示的な実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン112及びディスプレイコントローラ156は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン112との1つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)及びiPod Touch(登録商標)に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体として参照により本明細書に組み込まれている、米国特許第6,323,846号(Westermanら)、第6,570,557号(Westermanら)、及び/若しくは第6,677,932号(Westerman)、並びに/又は米国特許公報第2002/0015024(A1)号という米国特許に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン112はデバイス100からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、(1)2006年5月2日出願の米国特許出願第11/381,313号、「Multipoint Touch Surface Controller」、(2)2004年5月6日出願の米国特許出願第10/840,862号、「Multipoint Touchscreen」、(3)2004年7月30日出願の米国特許出願第10/903,964号、「Gestures For Touch Sensitive Input Devices」、(4)2005年1月31日出願の米国特許出願第11/048,264号、「Gestures For Touch Sensitive Input Devices」、(5)2005年1月18日出願の米国特許出願第11/038,590号、「Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices」、(6)2005年9月16日出願の米国特許出願第11/228,758号、「Virtual Input Device Placement On A Touch Screen User Interface」、(7)2005年9月16日出願の米国特許出願第11/228,700号、「Operation Of A Computer With A Touch Screen Interface」、(8)2005年9月16日出願の米国特許出願第11/228,737号、「Activating Virtual Keys Of A Touch-Screen Virtual Keyboard」、及び(9)2006年3月3日出願の米国特許出願第11/367,749号、「Multi-Functional Hand-Held Device」という出願に記載されている。これらの出願は全て、全体として参照により本明細書に組み込まれている。
タッチスクリーン112は、任意選択的に、100dpiを超えるビデオ解像度を有する。一部の実施形態では、タッチスクリーンは、約160dpiのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン112に接触する。一部の実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に扱うように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど精密でない可能性がある。一部の実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ/カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン112又はタッチスクリーンによって形成されるタッチ感知面の拡張部とは別個のタッチ感知面である。
デバイス100は、様々な構成要素に電力を供給する電力システム162も含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス100は、任意選択的に、1つ以上の光センサ164を含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、任意選択的に、電荷結合デバイス(charge-coupled device、CCD)又は相補的金属酸化物半導体(complementary metal-oxide semiconductor、CMOS)フォトトランジスタを含む。光センサ164は、1つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ164は、撮像モジュール143(カメラモジュールとも呼ばれる)と連携して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ112とは反対に、デバイス100の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び/又はビデオ画像の取得のためのビューファインダとして使用することが有効である。いくつかの実施形態では、光センサは、デバイスの前面に位置し、したがってユーザの画像が、任意選択的に、テレビ会議のために入手され、ユーザは、他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る。いくつかの実施形態では、光センサ164の位置は、ユーザによって(例えば、デバイス筐体内でレンズ及びセンサを回転させることによって)変更することができ、したがって単一の光センサ164が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び/又はビデオ画像の取得にも使用される。
デバイス100はまた、任意選択的に、1つ以上の深度カメラセンサ175を含む。図1Aは、I/Oサブシステム106内の深度カメラコントローラ169に結合された深度カメラセンサを示す。深度カメラセンサ175は、環境からデータを受信して、視点(例えば、深度カメラセンサ)からのシーン内の対象物(例えば、顔面)の3次元モデルを作成する。いくつかの実施形態では、撮像モジュール143(カメラモジュールとも呼ばれる)と連携して、深度カメラセンサ175は、任意選択的に、撮像モジュール143によってキャプチャされた画像の種々の部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、深度情報を有するユーザの画像が、任意選択的に、テレビ会議のために取得されるように、及び、深度マップデータを有する自撮り画像をキャプチャするように、デバイス100の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ175は、デバイスの背面に、あるいはデバイス100の背面及び前面に配置されている。いくつかの実施形態では、深度カメラセンサ175の位置は、ユーザによって(例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって)変更することができ、したがって深度カメラセンサ175が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び/又はビデオ画像の取得にも使用される。
一部の実施形態では、深度マップ(例えば、深度マップ画像)は、視点(例えば、カメラ、光センサ、深度カメラセンサ)からのシーン内の対象物の距離に関する情報(例えば、値)を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する2次元ピクセルが位置している、その視点のZ軸における位置を定義するものである。一部の実施形態では、深度マップはピクセルで構成されており、各ピクセルは、値(例えば、0~255)によって定義される。例えば、値「0」は、「3次元」シーン内で最も遠い場所に位置しているピクセルを表し、値「255」は、その「3次元」シーン内で視点(例えば、カメラ、光センサ、深度カメラセンサ)の最も近くに位置しているピクセルを表す。他の実施形態では、深度マップは、シーン内の対象物と視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度(例えば、ユーザの顔面の目、鼻、口、耳の相対深度)に関する情報を含む。一部の実施形態では、深度マップは、z方向での関心対象物の輪郭をデバイスが決定することを可能にする、情報を含む。
デバイス100はまた、任意選択的に、1つ以上の接触強度センサ165を含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された接触強度センサを示す。接触強度センサ165は、任意選択的に、1つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(若しくは圧力)を測定するために使用されるセンサ)を含む。接触強度センサ165は、接触強度情報(例えば、圧力情報、又は圧力情報に対するプロキシ)を環境から受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えばタッチ感知ディスプレイシステム112)と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも1つの接触強度センサが、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。
また、デバイス100は、任意選択的に、1つ以上の近接センサ166を含む。図1Aは、周辺機器インタフェース118に結合された近接センサ166を示す。代わりに、近接センサ166は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。近接センサ166は、任意選択的に、全体として参照により本明細書に組み込まれている、米国特許出願第11/241,839号、「Proximity Detector In Handheld Device」、第11/240,788号、「Proximity Detector In Handheld Device」第11/620,702号、「Using Ambient Light Sensor To Augment Proximity Sensor Output」、第11/586,862号、「Automated Response To And Sensing Of User Activity In Portable Devices」、及び同第11/638,251号、「Methods And Systems For Automatic Configuration Of Peripherals」で説明されるように機能するものであり、これらの出願は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに配置される場合(例えば、ユーザが電話通話を行っている場合)、近接センサは、タッチスクリーン112をオフにして無効化する。
デバイス100はまた、任意選択的に、1つ以上の触知出力生成器167を含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器を示す。触知出力生成器167は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ165は、触覚フィードバックモジュール133から触知フィードバック生成命令を受信し、デバイス100のユーザが感知することが可能な触知出力をデバイス100上に生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、デバイス100の表面の内/外)に、又は水平方向(例えば、デバイス100の表面と同じ平面内の前後)に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器センサが、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。
また、デバイス100は、任意選択的に、1つ以上の加速度計168を含む。図1Aは、周辺機器インタフェース118に結合された加速度計168を示す。代わりに、加速度計168は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。加速度計168は、任意選択的に、どちらも全体として参照により本明細書に組み込まれている、米国特許公開第20050190059号、「Acceleration-based Theft Detection System for Portable Electronic Devices」、及び米国特許公開第20060017692号、「Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer」に記載されているように機能する。一部の実施形態では、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス100は、加速度計168に加えて、磁気計並びにデバイス100の場所及び向き(例えば、縦方向又は横方向)に関する情報を取得するためのGPS(又はGLONASS又は他のグローバルナビゲーションシステム)受信機を任意選択的に含む。
いくつかの実施形態では、メモリ102内に記憶されているソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(Global Positioning System、GPS)モジュール(又は命令セット)135、及びアプリケーション(又は命令セット)136を含む。更に、いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、図1A及び図3に示すように、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ112の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス116から取得した情報を含むセンサ状態、並びにデバイスの位置及び/又は姿勢に関する位置情報、のうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin(登録商標)、RTXC(登録商標)、LINUX(登録商標)、UNIX(登録商標)、OS X(登録商標)、iOS(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込み型オペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイスの制御、電力管理など)を制御及び管理する様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート124(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えばインターネット、無線LANなど)を介して間接的に、他のデバイスに結合するように適合されている。一部の実施形態では、外部ポートは、iPod(登録商標)(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同じ若しくは類似であり、かつ/又はそれに適合しているマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、任意選択的に、タッチスクリーン112(ディスプレイコントローラ156と連携して)及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/動きモジュール130は、接触が生じたか否かを判定すること(例えば、指を下ろすイベントを検出すること)、接触の強度(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物)を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること(例えば、指をドラッグする1つ以上のイベントを検出すること)、及び接触が停止したか否かを判定すること(例えば、指を上げるイベント又は接触の中断を検出すること)などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1本の指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたか否かを判定するための(例えば、ユーザがアイコン上で「クリック」したか否かを判定するための)、1つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも1つのサブセットが、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス100の物理ハードウェアを変化させることなく調整することができる)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変化させることなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、一部の実装形態では、デバイスのユーザは、強度閾値のセットのうちの1つ以上を調整するソフトウェア設定が提供される(例えば、システムレベルのクリック「強度」パラメータによって、個々の強度閾値を調整すること、及び/又は複数の強度閾値を一度に調整することによる)。
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する(例えば検出される接触の動き、タイミング、及び/又は強度が異なる)。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置(又は実質的に同じ位置)(例えば、アイコンの位置)で指アップ(リフトオフ)イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて1つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ(リフトオフ)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的な影響(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性)を変化させる構成要素を含めて、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール132は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次にディスプレイコントローラ156に出力する画面の画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、デバイス100上の1つ以上の場所で触知出力を生成するために、触知出力生成器(単数又は複数)167によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール134は、任意選択で、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するためのソフトキーボードを提供する。
GPSモジュール135は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために(例えば、位置に基づくダイヤル発呼で使用するために電話138へ、写真/ビデオのメタデータとしてカメラ143へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及び地図/ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ)提供する。
アプリケーション136は、任意選択的に、以下のモジュール(又は命令セット)又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(アドレス帳又は連絡先リストと呼ばれることもある)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(Instant messaging、IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像用のカメラモジュール143、
●画像管理モジュール144、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール147、
●カレンダモジュール148、
●任意選択的に気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、辞書ウィジェット149-5、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット149-6のうちの1つ以上を含むウィジェットモジュール149、
●ユーザ作成ウィジェット149-6を作成するためのウィジェット作成モジュール150、
●検索モジュール151、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール152、
●メモモジュール153、
●地図モジュール154、並びに/又は、
●オンラインビデオモジュール155。
任意選択的にメモリ102に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、連絡先モジュール137は、任意選択的に、アドレス帳に名前(単数又は複数)を追加すること、アドレス帳から名前(単数又は複数)を削除すること、電話番号(単数又は複数)、電子メールアドレス(単数又は複数)、実際の住所(単数又は複数)、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話138、テレビ会議モジュール139、電子メール140、又はIM141による通信を開始及び/又は促進することなどを含めて、アドレス帳又は連絡先リスト(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192内に記憶される)を管理するために使用される。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、電話モジュール138は、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール137内の1つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、会話の実施、会話が終了したときの通話停止又はハングアップのために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先モジュール137、及び電話モジュール138と連携して、テレビ会議モジュール139は、ユーザ命令に従ってユーザと1人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、電子メールクライアントモジュール140は、ユーザ命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール144と連携して、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、インスタントメッセージングモジュール141は、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、それぞれのインスタントメッセージの送信(例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス(Short Message Service、SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコル、又はインターネットベースのインスタントメッセージ向けのXMPP、SIMPLE、若しくはIMPSを使用する)、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信及び/又は受信されるインスタントメッセージは、任意選択的に、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び/又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ(例えば、SMS又はMMSを使用して送信されるメッセージ)と、インターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されるメッセージ)との両方を指す。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽プレーヤモジュールと連携して、トレーニングサポートモジュール142は、トレーニング(例えば、時間、距離、及び/又はカロリー燃焼目標を有する)を作成し、トレーニングセンサ(スポーツデバイス)と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、光センサ(単数又は複数)164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、及び画像管理モジュール144と連携して、カメラモジュール143は、静止画像若しくはビデオ(ビデオストリームを含む)のキャプチャ及びメモリ102内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ102からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と連携して、画像管理モジュール144は、静止画像及び/又はビデオ画像の配置、修正(例えば、編集)、あるいはその他の操作、ラベル付け、削除、提示(例えば、デジタルスライドショー又はアルバムにおける)、及び記憶のための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ブラウザモジュール147は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含めて、ユーザ命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連携して、カレンダモジュール148は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ(例えば、カレンダアイテム、to doリストなど)を作成し、表示し、修正し、記憶するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連携して、ウィジェットモジュール149は、任意選択的にユーザによってダウンロード及び使用されるミニアプリケーション(例えば、気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、及び辞書ウィジェット149-5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language、ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets、カスケーディングスタイルシート)ファイル、及びJavaScriptファイルを含む。いくつかの実施形態では、ウィジェットは、XML(Extensible Markup Language、拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連携して、ウィジェットクリエータモジュール150は、任意選択的に、ウィジェットを作成する(例えば、ウェブページのユーザ指定部分をウィジェットにする)ために、ユーザによって使用される。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、検索モジュール151は、ユーザ命令に従って1つ以上の検索基準(例えば、1つ以上のユーザ指定検索語)に一致するメモリ102内の文字、音楽、サウンド、画像、ビデオ、及び/又は他のファイルを検索するための実行可能な命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と連携して、ビデオ及び音楽プレーヤモジュール152は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを(例えば、タッチスクリーン112上又は外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレーヤの機能を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、メモモジュール153は、ユーザ命令に従ってメモ、やることリストなどを作成及び管理するための実行可能な命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と連携して、地図モジュール154は、任意選択的に、ユーザ命令に従って、地図及び地図に関連付けられたデータ(例えば、運転方向、特定の場所又はその付近の店舗及び他の対象地点に関するデータ、並びに他の場所ベースのデータ)を受信、表示、修正、及び記憶するために使用される。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連携して、オンラインビデオモジュール155は、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、受信(例えば、ストリーミング及び/又はダウンロードによる)、再生(例えば、タッチスクリーン上又は外部ポート124を介して接続された外部ディスプレイ上)、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにH.264などの1つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容が全体として参照により本明細書に組み込まれている、2007年6月20日出願の米国仮特許出願第60/936,562号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」、及び2007年12月31日出願の米国特許出願第11/968,067号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」において見ることができる。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した1つ以上の機能及び本出願に記載する方法(例えば、本明細書に記載するコンピュータにより実装される方法及び他の情報処理方法)を実行する実行可能な命令のセットに対応する。これらのモジュール(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は他の形で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール(例えば、図1Aのビデオ及び音楽プレーヤモジュール152)にされる。いくつかの実施形態では、メモリ102は、任意選択的に、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ102は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス100は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び/又はタッチパッドのみを介して実行されるデバイスである。デバイス100が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び/又はタッチパッドを使用することにより、任意選択的に、デバイス100上の物理的な入力コントロールデバイス(プッシュボタン、ダイヤルなど)の数が削減される。
タッチスクリーン及び/又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス100上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス100をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図1Bは、いくつかの実施形態に係るイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)と、それぞれのアプリケーション136-1(例えば、前述のアプリケーション137~151、155、380~390のうちのいずれか)とを含む。
イベントソータ170は、イベント情報を受信し、イベント情報が配信されるアプリケーション136-1、及びアプリケーション136-1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。一部の実施形態では、アプリケーション136-1は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ112上に表示される現在のアプリケーションビュー(単数又は複数)を示すアプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、どのアプリケーション(単数又は複数)が現在アクティブであるかを判定するためにイベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報が配信されるアプリケーションビュー191を判定するためにイベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開するときに使用すべき再開情報、アプリケーション136-1によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション136-1の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ/アンドゥキューのうちの1つ以上などの追加の情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ112上のユーザタッチ)に関する情報を含む。周辺機器インタフェース118は、I/Oサブシステム106、又は近接センサ166、加速度計(単数又は複数)168、及び/若しくは(オーディオ回路110を介した)マイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。それに応じて、周辺機器インタフェース118は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を上回る及び/又は所定の持続時間を超える入力の受信)があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173を含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が2つ以上のビューを表示するとき、サブイベントが1つ以上のビュー内のどこで行われたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウインドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される(それぞれのアプリケーションの)アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール172は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント(例えば、イベント又は潜在的イベントを形成するサブイベントシーケンス内の第1のサブイベント)が行われる最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール172によって特定されると、このヒットビューは、典型的には、ヒットビューとして特定されたのと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(単数又は複数)がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブにかかわりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが1つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブにかかわりがあるビューであり続ける。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えばイベント認識部180)にディスパッチする。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、それぞれのイベント受信部182によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。あるいは、アプリケーション136-1がイベントソータ170を含む。更に他の実施形態では、イベントソータ170は、独立型のモジュールであり、又は接触/動きモジュール130などのメモリ102内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション136-1は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136-1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット、又は、アプリケーション136-1が方法及び他の属性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部190は、データ更新部176、オブジェクト更新部177、GUI更新部178、及び/又はイベントソータ170から受信されたイベントデータ179、のうちの1つ以上を含む。イベント処理部190は、任意選択的に、データ更新部176、オブジェクト更新部177、又はGUI更新部178を利用し又は呼び出して、アプリケーション内部状態192を更新する。あるいは、アプリケーションビュー191のうちの1つ以上が、1つ以上のそれぞれのイベント処理部190を含む。また、いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178のうちの1つ以上は、それぞれのアプリケーションビュー191に含まれる。
それぞれのイベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信し、このイベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183及びイベント配信命令188(任意選択的にサブイベント配信命令を含む)の少なくともサブセットも含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きにかかわるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦向きから横向きへ、又はその逆の)デバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ぶ)についての対応する情報を含む。
イベント比較部184は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えばイベント1(187-1)及びイベント2(187-2)などのイベント(例えば、既定のサブイベントのシーケンス)の定義を含む。いくつかの実施形態では、イベント(187)内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント1(187-1)についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第1のタッチ(タッチ開始)、所定の段階に対する第1のリフトオフ(タッチ終了)、所定の段階に対する表示オブジェクト上の第2のタッチ(タッチ開始)、及び所定の段階に対する第2のリフトオフ(タッチ終了)を含む。別の実施例では、イベント2(187-2)の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ(又は接触)、タッチ感知ディスプレイ112にわたるタッチの移動、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態では、イベントは、1つ以上の関連付けられたイベント処理部190に関する情報も含む。
いくつかの実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ112上に3つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ112上でタッチが検出されたとき、イベント比較部184は、ヒットテストを実行して、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判定する。表示された各オブジェクトが、それぞれのイベント処理部190に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部190をアクティブ化すべきかを判定する。例えば、イベント比較部184は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント187の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。
それぞれのイベント認識部180が一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部180は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び/又はリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部190をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部180は、イベントに関連付けられたイベント情報をイベント処理部190に配信する。イベント処理部190をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する(及び、送信を延期する)こととは別個である。いくつかの実施形態では、イベント認識部180は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部190は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令188は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部176は、アプリケーション136-1で使用されるデータを作成及び更新する。例えば、データ更新部176は、連絡先モジュール137で使用される電話番号を更新し、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部177は、アプリケーション136-1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部177は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。GUI更新部178は、GUIを更新する。例えば、GUI更新部178は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール132に送る。
いくつかの実施形態では、イベント処理部(単数又は複数)190は、データ更新部176、オブジェクト更新部177、及びGUI更新部178を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178は、それぞれのアプリケーション136-1又はアプリケーションビュー191の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに/又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図2は、いくつかの実施形態に係る、タッチスクリーン112を有するポータブル多機能デバイス100を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース(user interface、UI)200内に1つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、1本以上の指202(図には正確な縮尺では描かれていない)又は1つ以上のスタイラス203(図には正確な縮尺では描かれていない)を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの1つ以上を選択することが可能となる。一部の実施形態では、1つ以上のグラフィックの選択は、ユーザが、その1つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上向きに及び/若しくは下向きに)、並びに/又は、デバイス100と接触した指のローリング(右から左へ、左から右へ、上向きに及び/若しくは下向きに)を、任意選択で含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス100はまた、任意選択的に、「ホーム」ボタン又はメニューボタン204などの1つ以上の物理ボタンを含む。前述したように、メニューボタン204は、任意選択的に、任意選択的にデバイス100上で実行される1組のアプリケーション内の任意のアプリケーション136へナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン112上に表示されるGUI内のソフトキーとして実装される。
いくつかの実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフにしてデバイスをロックするプッシュボタン206、音量調整ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン/オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び/又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替的実施形態では、デバイス100はまた、マイクロフォン113を介して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力も受け入れる。デバイス100はまた、任意選択的に、タッチスクリーン112上の接触の強度を検出する1つ以上の接触強度センサ165、及び/又はデバイス100のユーザに対する触知出力を生成する1つ以上の触知出力生成器167を含む。
図3は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310、1つ以上のネットワーク又は他の通信インタフェース360、メモリ370、及びこれらの構成要素を相互接続する1つ以上の通信バス320を含む。通信バス320は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることもある)を含む。デバイス300は、ディスプレイ340を含む入出力(I/O)インタフェース330を含み、ディスプレイ340は、典型的には、タッチスクリーンディスプレイである。I/Oインタフェース330はまた、任意選択的に、キーボード及び/又はマウス(若しくは他のポインティングデバイス)350と、タッチパッド355と、デバイス300上に触知出力を生成する触知出力生成器357(例えば、図1Aを参照して前述した触知出力生成器167に類似している)と、センサ359(例えば、図1Aを参照して前述した接触強度センサ165に類似している光、加速度、近接、タッチ感知、及び/又は接触強度センサ)とを含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ370は、任意選択で、CPU(単数又は複数)310からリモートに位置する1つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ370は、任意選択で、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス300のメモリ370は、任意選択的に、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を記憶するのに対して、ポータブル多機能デバイス100(図1A)のメモリ102は、任意選択的に、これらのモジュールを記憶しない。
図3の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの1つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。いくつかの実施形態では、メモリ370は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモ370は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に例えばポータブル多機能デバイス100上で実施されるユーザインタフェースの実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係るポータブル多機能デバイス100上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス300上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びWi-Fi(登録商標)信号などの無線通信(単数又は複数)のための信号強度インジケータ(単数又は複数)402、
●時刻404、
●Bluetooth(登録商標)インジケータ405、
●バッテリ状態インジケータ406、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ408
○不在着信又はボイスメールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされた、電話モジュール138のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140のアイコン418、
○「ブラウザ」とラベル付けされた、ブラウザモジュール147のアイコン420、及び
○「iPod」とラベル付けされた、iPod(Apple Inc.の商標)モジュール152とも呼ばれるビデオ及び音楽プレーヤモジュール152のアイコン422、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、IMモジュール141のアイコン424、
○「カレンダ」とラベル付けされた、カレンダモジュール148のアイコン426、
○「写真」とラベル付けされた、画像管理モジュール144のアイコン428、
○「カメラ」とラベル付けされた、カメラモジュール143のアイコン430、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール155のアイコン432、
○「株価」とラベル付けされた、株価ウィジェット149-2のアイコン434、
○「地図」とラベル付けされた、地図モジュール154のアイコン436、
○「天気」とラベル付けされた、気象ウィジェット149-1のアイコン438、
○「時計」とラベル付けされた、アラーム時計ウィジェット149-4のアイコン440、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール142のアイコン442、
○「メモ」とラベル付けされた、メモモジュール153のアイコン444、及び
○デバイス100及びその様々なアプリケーション136についての設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン446。
図4Aに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール152のためのアイコン422は、「音楽」又は「音楽プレーヤ」と表示される、他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を有するデバイス(例えば、図3のデバイス300)上の例示的なユーザインタフェースを示す。デバイス300はまた、任意選択的に、タッチ感知面451上の接触の強度を検出する1つ以上の接触強度センサ(例えば、センサ359のうちの1つ以上)、及び/又はデバイス300のユーザに対する触知出力を生成する1つ以上の触知出力生成器357を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ112(タッチ感知面及びディスプレイが組み合わされている)上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図4Bに示すディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の1次軸(例えば、図4Bの453)に対応する1次軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所(例えば、図4Bでは、460は468に対応し、462は470に対応する)で、タッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このようにして、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されるユーザ入力(例えば、接触460及び462、並びにこれらの動き)は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力(例えば、指接触、指タップジェスチャ、指スワイプジェスチャ)を参照して与えられるが、一部の実施形態では、指入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスベースの入力又はスタイラス入力)に置き換えられることを理解されたい。例えば、スワイプジェスチャは、(例えば、接触の代わりの)マウスクリックに続けた、(例えば、接触の移動の代わりの)スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる(例えば、接触を検出して、それに続いて接触の検出を停止する代わりに)。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図5Aは、例示的なパーソナル電子デバイス500を示す。デバイス500は、本体502を含む。いくつかの実施形態では、デバイス500は、デバイス100及び300(例えば、図1A~4B)に関して説明する特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス500は、タッチ感知ディスプレイスクリーン504、以下ではタッチスクリーン504、を有する。あるいは、又はタッチスクリーン504に加えて、デバイス500は、ディスプレイ及びタッチ感知面を有する。デバイス100及び300と同様に、いくつかの実施形態では、タッチスクリーン504(又はタッチ感知面)は、任意選択的に、加えられている接触(例えば、タッチ)の強度を検出する1つ以上の強度センサを含む。タッチスクリーン504(又はタッチ感知面)の1つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス500のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス500上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出及び処理する例示的な技法は、例えば、それぞれ全体として参照により本明細書に組み込まれている、国際特許第WO/2013/169849号として公開された、2013年5月8日出願の国際特許出願第PCT/US2013/040061号、「Device,Method,and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application」、及び国際特許第WO/2014/105276号として公開された、2013年11月11日出願の国際特許出願第PCT/US2013/069483号、「Device,Method,and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships」という関連出願に見られる。
いくつかの実施形態では、デバイス500は、1つ以上の入力機構506及び508を有する。入力機構506及び508は、含まれる場合、物理的機構とすることができる。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス500は、1つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、アイウェア、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス500を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス500を着用することを可能にする。
図5Bは、例示的なパーソナル電子デバイス500を示す。いくつかの実施形態では、デバイス500は、図1A、図1B、及び図3に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス500は、I/Oセクション514を1つ以上のコンピュータプロセッサ516及びメモリ518に動作可能に結合するバス512を有する。I/Oセクション514は、ディスプレイ504に接続することができ、ディスプレイ504は、タッチ感知構成要素522と、任意選択的に強度センサ524(例えば、接触強度センサ)とを有することができる。加えて、I/Oセクション514は、Wi-Fi、Bluetooth(登録商標)、近距離通信(NFC)、セルラー、及び/又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット530に接続することができる。デバイス500は、入力機構506及び/又は508を含むことができる。入力機構506は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構508は、任意選択的にボタンである。
いくつかの例では、入力機構508は、任意選択的にマイクロフォンである。パーソナル電子デバイス500は、任意選択的に、GPSセンサ532、加速度計534、方向センサ540(例えば、コンパス)、ジャイロスコープ536、動きセンサ538、及び/又はこれらの組み合わせなどの様々なセンサを含み、これらのセンサは全て、I/Oセクション514に動作可能に接続することができる。
パーソナル電子デバイス500のメモリ518は、コンピュータ実行可能命令を記憶するための1つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、1つ以上のコンピュータプロセッサ516によって実行されると、例えば、コンピュータプロセッサに、プロセス700、900、及び1100(図7、図9、及び図11)を含めた、後述の技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び/又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、CD、DVD、又はBlu-ray技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス500は、図5Bの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書では、「アフォーダンス」という用語は、任意選択的にデバイス100、300、及び/又は500(図1A、図3、及び図5A~5B)のディスプレイスクリーン上に表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像(例えば、アイコン)、ボタン、及び文字(例えば、ハイパーリンク)はそれぞれ、意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の場所マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素(例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素)の上に位置する間に、タッチ感知面(例えば、図3のタッチパッド355又は図4Bのタッチ感知面451)上で入力(例えば、押下入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を有効化するタッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112又は図4Aのタッチスクリーン112)を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素)の場所で入力(例えば、接触による押下入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。一部の実装形態では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動(例えば、フォーカスを1つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによる)なく、フォーカスがユーザインタフェースの1つの領域からユーザインタフェースの別の領域へ動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる特有の形態にかかわらず、フォーカスセレクタは、概して、ユーザインタフェース要素(又はタッチスクリーンディスプレイ上の接触)であり、ユーザの意図する対話をユーザインタフェースによって通信するように、ユーザによって制御される(例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによる)。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の位置は、その対応のボタンを(そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく)アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく、その接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び/又は、接触の強度の減少を検出する前若しくは後の)に関連する既定の期間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均(mean)値、接触の強度の平均(average)値、接触の強度の上位10パーセンタイル値、接触の強度の最大の2分の1の値、接触の強度の最大の90パーセントの値などのうちの1つ以上に基づいている。一部の実施形態では、特性強度を判定する際に(例えば、特性強度が経時的な接触の強度の平均であるときに)、接触の持続期間が使用される。一部の実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、1つ以上の強度閾値のセットと比較される。例えば、1組の1つ以上の強度閾値は、任意選択的に、第1の強度閾値及び第2の強度閾値を含む。この例では、第1の閾値を超過しない特性強度を有する接触は、第1の動作をもたらし、第1の強度閾値を超過するが第2の強度閾値を超過しない特性強度を有する接触は、第2の動作をもたらし、第2の閾値を超過する特性強度を有する接触は、第3の動作をもたらす。いくつかの実施形態では、特性強度と1つ以上の閾値との間の比較は、第1の動作を実行するべきか、それとも第2の動作を実行するべきかを判定するために使用されるのではなく、1つ以上の動作を実行するべきか否か(例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか)を判定するために使用される。
一部の実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始場所から遷移して終了場所に到達する連続するスワイプ接触を受信し、その時点で接触の強度が増大する。この例では、終了場所での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ(例えば、スワイプ接触のうち終了場所の部分のみ)に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうちの1つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下の強度閾値、深い押下の強度閾値、及び/又は1つ以上の他の強度閾値などの1つ以上の強度閾値に対して特徴付けられる。一部の実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。一部の実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。一部の実施形態では、軽い押圧強度閾値を下回る(例えば、それを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る)特性強度を有する接触が検出されたとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫している。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への、接触の特性強度の増大は、「軽い押圧」の入力と呼ばれることがある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への、接触の特性強度の増大は、「深い押圧」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。一部の実施形態では、接触検出強度閾値はゼロである。一部の実施形態では、接触検出強度閾値は、ゼロより大きい。
本明細書に記載する一部の実施形態では、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触(若しくは複数の接触)によって実行されたそれぞれの押圧入力を検出したことに応じて、1つ以上の動作が実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触(又は複数の接触)の強度の増大を検出したことに少なくとも部分的に基づいて検出される。一部の実施形態では、それぞれの動作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大(例えば、それぞれの押圧入力の「ダウンストローク」)を検出したことに応じて実行される。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押圧入力閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押圧入力の「アップストローク」)を検出したことに応じて実行される。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する(例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いX強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の75%、90%、若しくは何らかの妥当な割合である)。したがって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押圧入力の「アップストローク」)を検出したことに応じて実行される。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押圧入力(例えば、状況に応じて、接触の強度の増大又は接触の強度の減少)を検出したことに応じて実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力、又は押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び/又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
本明細書では、「インストール済みアプリケーション」は、電子デバイス(例えば、デバイス100、300、及び/又は500)上へダウンロードされ、デバイス上で起動する準備ができた(例えば、開かれた)ソフトウェアアプリケーションを指す。いくつかの実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出し、抽出された部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。
本明細書では、「開いているアプリケーション」又は「実行中のアプリケーション」という用語は、保持された状態情報(例えば、デバイス/グローバル内部状態157及び/又はアプリケーション内部状態192の一部として)を有するソフトウェアアプリケーションを指す。開いている又は実行中のアプリケーションは、任意選択的に、以下のタイプのアプリケーションのうちのいずれか1つである。
●アプリケーションが使用されているデバイスのディスプレイスクリーン上に現在表示されているアクティブアプリケーション、
●現在表示されていないが、アプリケーションに対する1つ以上のプロセスが1つ以上のプロセッサによって処理されている背景アプリケーション(又は背景プロセス)、並びに
●稼働していないが、メモリ(揮発性及び不揮発性それぞれ)内に記憶されており、かつアプリケーションの実行を再開するために使用することができる状態情報を有する、中断又は休止状態アプリケーション。
本明細書では、「閉じているアプリケーション」という用語は、保持された状態情報を有していないソフトウェアアプリケーションを指す(例えば、閉じているアプリケーションに対する状態情報は、デバイスのメモリ内に記憶されていない)。したがって、アプリケーションを閉じることは、アプリケーションに対するアプリケーションプロセスを停止及び/又は除去し、アプリケーションに対する状態情報をデバイスのメモリから除去することを含む。概して、第1のアプリケーション中に第2のアプリケーションを開いても、第1のアプリケーションは閉じない。第2のアプリケーションが表示されており、かつ第1のアプリケーションが表示を終了されたとき、第1のアプリケーションは背景アプリケーションになる。
次に、ポータブル多機能デバイス100、デバイス300、又はデバイス500などの電子デバイス上で実施されるユーザインタフェース(「UI」)及び関連プロセスの実施形態に注意を向ける。
図6A~図6Vは、いくつかの実施形態に係る、電子デバイスを使用して露出補償を管理するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図7のプロセスを含む後述のプロセスを例示するために使用される。
図6Aは、ディスプレイの上部からディスプレイの底部まで任意選択的に延在するライブプレビュー630を含む、カメラユーザインタフェースを表示する電子デバイス600を示す。デバイス600は、任意選択的に、デバイス100、デバイス300、又はデバイス500の1つ以上の特徴を含む。
ライブプレビュー630は、1つ以上のカメラの視野内にある特定のシーン(例えば、図6Aの空)を示す。ライブプレビュー630は、デバイス600の1つ以上のカメラの(例えば、部分的な)視野(「FOV」)の表現である。ライブプレビュー630は、FOVにおいて検出された画像に基づいている。いくつかの実施形態では、デバイス600は、複数のカメラセンサを使用して画像をキャプチャし、それらを組み合わせてライブプレビュー630を表示する。いくつかの実施形態では、デバイス600は、単一のカメラセンサを使用して画像をキャプチャして、ライブプレビュー630を表示する。
図6Aのカメラユーザインタフェースは、インジケータ領域602及びコントロール領域606を含む。インジケータ領域602及びコントロール領域606は、インジケータ及びコントロールがライブプレビュー630と同時に表示されることができるように、ライブプレビュー630上に重ね合わされる。カメラ表示領域604は、インジケータ領域602とコントロール領域606との間に挟まれ、インジケータ又はコントロールと実質的に重ならない。
図6Aに示すように、インジケータ領域602は、フラッシュインジケータ602a及びアニメーション画像インジケータ602bなどのインジケータを含む。フラッシュインジケータ602aは、フラッシュがオン、オフ、又は別のモード(例えば、自動モード)であるかどうかを示す。図6Aにおいて、フラッシュインジケータ602aは、フラッシュがオフであることをユーザに示す。アニメーション画像インジケータ602bは、(例えば、メディアをキャプチャする要求を検出したことに応答して、)単一の画像又は複数の画像をキャプチャするようにカメラが構成されているかどうかを示す。いくつかの実施形態では、インジケータ領域602は、ライブプレビュー630上に重ね合わされ、任意選択的に着色された(例えば、灰色、半透明)オーバーレイを含む。
図6Aに示すように、カメラ表示領域604は、ライブプレビュー630及びズームアフォーダンス622を含む。ここでは、「1×」ズームアフォーダンスが選択され、これは、1×ズームレベルでライブプレビュー630が表されることを示す。
図6Aに示すように、コントロール領域606は、シャッターアフォーダンス610、カメラスイッチャアフォーダンス614、メディアコレクション612の表現、及びカメラ設定アフォーダンス626を含む。シャッターアフォーダンス610は、アクティブ化されると、デバイス600に、ライブプレビュー630の現在の状態及びカメラアプリケーションの現在の状態に基づいて、1つ以上のカメラセンサを使用して、メディア(例えば、写真)をキャプチャさせる。キャプチャされたメディアは、電子デバイス600にローカルに記憶されるか、及び/又は記憶のためにリモートサーバに伝送される。カメラスイッチャアフォーダンス614は、アクティブ化されると、デバイス600に、背面カメラセンサと前面カメラセンサとの間を切り替えることなどによって、ライブプレビュー630内の異なるカメラの視野を示すように切り替えさせる。図6Aに示すメディアコレクション612の表現は、デバイス600によって直近にキャプチャされたメディア(画像、ビデオ)の表現である。いくつかの実施形態では、メディアコレクション612上でのジェスチャの検出に応答して、デバイス600は、(後述する)図8Aに示すユーザインタフェースと同様のユーザインタフェースを表示する。図6Aに示すように、カメラ設定アフォーダンス626は、フラッシュ設定アフォーダンス626a、アニメーション画像キャプチャ設定アフォーダンス626b、アスペクト比設定アフォーダンス626c、露出補償設定アフォーダンス626d、タイマー設定アフォーダンス626e、及びフィルタ設定アフォーダンス626fを含む。カメラ設定アフォーダンス626は、(例えば、特定のカメラ設定アフォーダンス上で検出されたジェスチャを介して)選択されたときに、デバイス600に、特定のカメラモードに関連付けられたカメラ設定を変更させる(又は変更するためのプロセスを開始する)。例えば、フラッシュ設定アフォーダンス626aは、アクティブ化されると、デバイス600にフラッシュモードをオン/オフさせ、タイマーアフォーダンス626dは、選択されると、デバイスにセルフ遅延タイマーを設定するためのプロセスを開始させる。いくつかの実施形態では、コントロール領域606は、ライブプレビュー630上に重ね合わされ、任意選択的に着色された(例えば、灰色、半透明)オーバーレイを含む。図6Aでは、デバイス600は、露出補償設定アフォーダンス626d上での(例えば、それに対応する場所における)タップジェスチャ650aを検出する。
図6Bに示すように、タップジェスチャ650aを検出することに応答して、デバイス600は、ライブプレビュー630と同時にインジケータ領域602内に露出補償インジケータ602dを表示する。いくつかの実施形態では、デバイス600は、タップジェスチャ650aを検出したことに応答して、デバイス600が露出補償モードをアクティブ化するため、インジケータ領域602内に露出補償インジケータ602dを表示する。
露出補償インジケータ602dは、露出補償値表現602d1及びクリッピング指示602d2を含む。露出補償値表現602d1及びクリッピング指示602d2のそれぞれは、カメラ表示領域604の外側に表示される。いくつかの実施形態では、ライブプレビュー630がインジケータ領域602及び/又はコントロール領域606内へと延在し、ライブプレビュー630を表すキャプチャメディア表現を表示する要求を受信したことに応答して、デバイス600は、インジケータ領域602及びコントロール領域606内のライブプレビュー630の部分の表現を表示することなく、カメラ表示領域604に示されているライブプレビュー630の部分の表現を表示する。したがって、いくつかの実施形態では、ライブプレビュー630を表すキャプチャされたメディアを表示する要求を受信したことに応答して示されるライブプレビュー630の部分(例えば、カメラ表示領域604内)が妨害されないように、露出補償値表現602d1及びクリッピング指示602d2が、カメラ表示領域604の外側に表示される。
図6Bに示すように、露出補償値表現602d1は、(例えば、シャッターアフォーダンス610上でのジェスチャの検出に応答して)メディアをキャプチャする要求を受信したことに応答して、デバイス600がメディアをキャプチャするために使用する露出のレベルを示す数値(図6Bにおける「0」)である。いくつかの実施形態では、露出補償値表現602d1によって示される露出レベルは、1つ以上の他の露出補償値(例えば、露出補償バイアス値)と組み合わせることができる。いくつかの実施形態では、デバイス600は、以下(例えば、図6F~図6I)に記載されるように、メディアをキャプチャする要求を受信したことに応答して、総補償値(例えば、他の露出補償値と組み合わせた露出補償値表現602d1によって示される露出補償レベルの組み合わせ)を使用して、メディアをキャプチャするように構成されている。
図6Bでは、クリッピング指示602d2は、現在のメディアをキャプチャする要求を検出したことに応答して発生すると予測される、予測されるクリッピングの大きさ及び種類を示す。本明細書で使用される場合、「現在のメディア」は、(1)ライブプレビュー630を表すメディア、及び(2)デバイス600が露出補償値表現602d1及び/又は露出補償の総レベルによって示される露出レベルでメディアをキャプチャするように構成されている間にメディアをキャプチャする要求を検出することに応答してキャプチャされる(又は、キャプチャされることになる)メディアである。以下に更に詳細に記載されるように、予測されるクリッピングの大きさは、クリッピング指示602d2のサイズ(例えば、長さ、幅)、太さ、及び/又は不透明度によって表される。更に、予測されるクリッピングの種類は、クリッピング指示602d2の位置によって表される。図6B及び図6Jに示すように、クリッピング指示602d2は、ハイライトクリッピング及びシャドウクリッピングである2つの種類のクリッピングの予測された発生を示すことができる。いくつかの実施形態では、ハイライトクリッピングは、ハイライトクリッピングは、FOV(又は現在のメディア)内の輝度強度値のセット(例えば、(例えば、キャプチャされることになる)画像の白色値又はハイライト)が、現在のメディア内で正確にキャプチャ及び/又は表現されることができる輝度強度値の範囲(例えば、非ゼロ範囲)を上回るとの判定が行われると発生すると予測される。換言すれば、輝度強度値のセットは、明るすぎて、デバイス600によって(例えば、現在のメディア内で)正確にキャプチャ及び/又は表現されることができない。いくつかの実施形態では、シャドウクリッピングは、FOV(又は現在のメディア)の輝度強度値(例えば、(例えば、キャプチャされることになる)画像の黒値又はシャドウ)が、現在のメディア内で正確にキャプチャ及び/又は表現されることができる輝度強度値の範囲を下回るとの判定が行われると発生すると予測される。換言すれば、輝度強度値のセットは、暗すぎて、デバイス600によって(例えば、現在のメディア内で)正確にキャプチャ及び/又は表現されることができない。図6Bでは、クリッピング指示602d2は、クリッピング指示602d2が、露出補償インジケータ602dの最も右側の目盛りであるように位置付けられているために、ハイライトクリッピングが発生すると予測されることを示す。しかしながら、図6Jのクリッピング指示602d2は、図6Jの露出補償インジケータ602dの最も左側の目盛り(又は、クリッピング指示602d2が図6Aに図示されている場合の反対側)であるようにクリッピング指示602d2が位置付けられているために、シャドウクリッピングが発生すると予測されることを示す。
図6Bに示すように、タップジェスチャ650aを検出したことに応答して、デバイス600はまた、カメラ設定アフォーダンス626を、コントロール領域606内の露出補償コントロール636と置き換える。露出補償コントロール636は、スライダ上の目盛りに位置付けられた値指示636aと共に表示されるスライダである。値指示636aの位置決めは、露出補償値表現602d1によって示される露出補償値と一致する、現在の露出補償レベルの値(例えば、0)を表す。図6B及び図6Cの間の遷移の間、環境がより明るくなり、デバイス600は、FOV内のシーンの環境がより明るいことを示すFOVの変化を検出する。
図6Cでは、FOVの変化を検出したことに応答して、ハイライトクリッピングの第2の量(又はレベル)が発生すると予測されるとの判定が行われる。図6Cでは、発生すると予測されるハイライトクリッピングの第2の量は、図6Bにおいて発生すると予測されたハイライトクリッピングの量よりも大きい。図6Cでは、第2の量は、(例えば、図6B~図6Cに示すライブプレビュー630を比較するときに見られるように)環境内での輝度レベルが増加しかつ(例えば、露出補償値表現602d1によって示されるように)現在の露出補償レベルが同じままであったことから、図6Bにおいて発生すると予測されたハイライトクリッピングの量よりも大きい。したがって、図6Cでは、デバイス600は、図6Bにおいて(例えば、ライブプレビュー630を表示するために)デバイス600が検出したよりも輝度強度値の範囲を上回るより大きな輝度強度値を検出する。
図6Cに示すように、FOVの変化を検出することに応答して、第2の量のハイライトクリッピングが発生すると予測されたとの判定が行われたことから、デバイス600は、図6Bにおいて発生すると予測されたハイライトよりも、図6Cにおいてより大きなハイライトクリッピングが発生すると予測されることを示す、クリッピング指示602d2のサイズを増大させる。したがって、図6Cでは、クリッピング指示602d2は、発生すると予測されるクリッピングの種類及び量を示す。具体的には、図6Cのクリッピング指示602d2は、図6Bのクリッピング指示602d2よりも長くかつより広い。図6C及び図6Dの間の遷移の間、環境がより明るくなり、デバイス600は、FOV内のシーンの環境がより明るいことを示すFOVのより多くの変化を検出する。
図6Dでは、第3の量のハイライトクリッピングが発生すると予測されるとの判定が行われる。図6Dでは、発生すると予測されるハイライトクリッピングの第3の量は、図6Cにおいて発生すると予測されたハイライトの第2の量よりも大きい。ここで、第3の量のハイライトクリッピングは、環境内の輝度レベル(例えば、図6C~図6Dに示されるライブプレビュー630を比較するときに見られるように)が増加し、(例えば、露出補償値表現602d1によって示されるように)現在の露出補償レベルが同じままであったことから、第2の量のハイライトクリッピングよりも大きい。図6Dでは、第3の量のハイライトクリッピングが、図6Cに関連して上述したような1つ以上の類似の技術を使用して発生すると予測されるとの判定が行われる。
図6Dに示すように、(例えば、図6Cにおいて)FOVの変化を検出することに応答して、第3の量のハイライトクリッピングが発生するとの判定が行われるため、デバイス600は、発生すると予測される第3の量のハイライトクリッピングが、(例えば、図6Cに関連して上述したような1つ以上の類似の技術を使用して)図6Cにおいて発生すると予測された第2の量のハイライトよりも大きいことを示す、クリッピング指示のサイズ602d2を増大させる。したがって、図6Dでは、クリッピング指示602d2は、発生すると予測されるクリッピングの種類及び量を示す。いくつかの実施形態では、デバイス600は、図6Bのクリッピング指示602d2のサイズから図6Dのクリッピング指示602d2のサイズまでサイズが増大するクリッピング指示602d2のアニメーションを表示する。図6Dでは、デバイス600は、露出補償コントロール636に対する右向きスワイプジェスチャ650dを検出する。
図6Eに示すように、右向きスワイプジェスチャ650dの検出に応答して、デバイス600は、値指示636aが、更新された露出補償レベルを表す値(例えば-0.2)に位置付けられるように、露出補償コントロール636を更新する。更に、デバイス600はまた、更新された露出補償レベルを表す値(例えば-0.2)を反映するように、露出補償値表現602d1を更新する。図6Dと比較して、更新された露出補償レベルの値は、図6Eにおいて減少している。
図6Eでは、現在の露出補償レベルが変化している(例えば、0から-0.2へと)ため、第4の量のハイライトクリッピングが発生すると予測されるとの判定が行われる。図6Eでは、発生すると予測される第4の量のハイライトクリッピングは、図6Dにおいて発生すると予測された第3の量のハイライトクリッピングよりも少ない。図6Eでは、デバイス600が現在のメディアをキャプチャするために使用する露出補償レベルが減少している(例えば、0から-0.2へと)ため、第4の量は、第3の量未満である。デバイス600が、より低い露出補償値を使用して現在のメディアをキャプチャするとき、デバイス600は、メディアをキャプチャする要求を受信したことに応答して、より低い輝度強度値(例えば、より少ない白)をキャプチャするように構成されている。効果的により低い輝度値をキャプチャすることは、デバイス600が、輝度強度値の範囲を上回るより低い輝度強度値をキャプチャすることをもたらす。図6Eに示すように、第4の量のクリッピングが発生すると予測されるとの判定が行われることから、デバイス600は、発生すると予測される第4の量のクリッピングが、発生すると予測される第3の量のクリッピング未満であることを示す、クリッピング指示602d2のサイズを縮小する。したがって、図6Eでは、クリッピング指示602d2は、発生すると予測されるクリッピングの種類及び量を示す。
図6Eに示すように、デバイス600はまた、更新された露出補償レベルに基づいてキャプチャされるメディアを反映するように、ライブプレビュー630を暗くする。ここで、デバイス600は、(例えば、より低い露出補償値に基づいて)メディアをキャプチャする要求を受信したことに応答して、より低い輝度強度値をキャプチャするように構成されているため、ライブプレビュー630は、(図6Dのライブプレビュー630と比較して)より暗い。図6Eでは、デバイス600は、カメラ表示領域604内の下向きスワイプジェスチャ650eを検出する。
図6Fに示すように、下向きスワイプジェスチャ650eを検出することに応答して、デバイス600は、露出補償コントロール636を、コントロール領域606内のカメラモードアフォーダンス620と置き換える。カメラモードアフォーダンス620は、どのカメラモードが現在選択されているかを示し、ユーザがカメラモードを変更することを可能にする。図6Fでは、カメラモードアフォーダンス620a~620eが表示される。カメラモードアフォーダンス620は、写真カメラモードアフォーダンス620c及び太字の「写真」によって示されるように、写真カメラモードがアクティブであることを示す。図6Fに示すように、デバイス600はまた、露出補償コントロール636が表示されるのを中止しているが、露出補償インジケータ602dを表示し続ける。図6Fでは、露出補償インジケータ602dを表示し続けることは、図6Eに表示されたのと同じサイズで、露出補償値表現602d1を同じ露出補償値(例えば、-0.2)及びクリッピング指示602d2に維持することを含む。したがって、図6Fでは、補償コントロール636の表示を停止することは、(例えば、露出補償値表現602d1によって示されるように)現在の露出補償値、又は(例えば、クリッピング指示602d2によって示されるように)予測されたクリッピングの判定に影響を与えなかった。図6Fでは、デバイス600は、カメラディスプレイ領域604(に対応する場所における)における押圧及び保持ジェスチャ650fを検出する。
図6Gに示すように、押圧及び保持ジェスチャ650fを検出することに応答して、デバイス600は、デバイス600が、そのカメラのうちの1つ以上を、FOV内の特定の焦点距離(例えば、位置)にフォーカスさせるように、デバイス600上の自動焦点設定をロックする。図6Gでは、位置は、図6Gのカメラ表示領域604内に表示される補償バイアスコントロール644のボックスの領域に対応する。補償バイアスコントロール644は、(例えば、メディアをキャプチャする要求を受信することに応答して)デバイス600が現在のメディアをキャプチャするように現在構成されている現在の露出補償バイアス値に対応する補償バイアスコントロール644上の位置に位置付けられた値指示644aを伴って表示される。
図6Gでは、デバイス600は、カメラ表示領域604内の下向きスワイプジェスチャ650gを検出する。図6H~図6Iは、下向きスワイプジェスチャ650gを検出することに応答して表示されることができる代替的なユーザインタフェースを示す。
図6Hに示すように、下向きスワイプジェスチャ650gを検出することに応答して、デバイス600は、値指示644aが補償バイアスコントロール644上の新たな位置で表示され、更新された露出補償バイアス値が更新されたことを示すように、補償バイアスコントロール644を更新する。図6Hの更新された露出補償バイアス値は、図6Gの露出補償バイアス値よりも低い。したがって、図6Hに示すように、補償バイアス値がより低いため、ライブプレビュー630が暗くなる。図6Hでは、デバイス600は、総補償値(例えば、露出補償値表現602d1及び更新された露出補償バイアス値によって表される露出補償値の合計)に基づいてメディアをキャプチャするように構成されている。しかしながら、図6Hに示すように、デバイス600は、総露出補償の変化を反映するように、露出補償インジケータ602dを更新しない。いくつかの実施形態では、図6Hにおいて、デバイス600は、露出補償インジケータ602dと同時に総露出補償の表現を表示する(例えば、補償インジケータが、同じ露出補償値表現(例えば、-0.2)で表示され、クリッピング指示602d2が同じサイズであるため)。いくつかの実施形態では、露出補償インジケータ602dがインジケータ領域602内に表示されたままである間に、総露出補償の表現がカメラ表示領域604内に表示される。
図6Hに代えて、図6Iに示すように、デバイス600は、図6Hにおいて上述したものと同様の技術を使用して、下向きジェスチャ650gを検出したことに応答して、補償バイアスコントロール644及びライブプレビュー630を更新する。しかしながら、図6Iでは、デバイス600は、(例えば、図6Hにおいて更新されなかった)露出補償インジケータ602dを更新して、総露出補償の変化を反映する。例えば、デバイス600は、現在のメディアをキャプチャする要求に応答して、総露出補償が-0.3であるように露出補償値表現602d1を更新し、(例えば、上述した技術を使用したより低い総露出補償値のために)より低い予測されたクリッピングが発生すると予測される旨を反映するようにクリッピング指示602d2を更新する。図6H又は図6Iでは、デバイス600は、FOVの変化を検出する。
図6Jでは、FOVの変化を検出したことに応答して(例えば、図6H又は図6Iにおいて)、FOV内のシーンが変化したとの判定が行われる。図6Jに示すように、ライブプレビュー630は、暗い表面上の1対の靴を示す一方で、図6Iのライブプレビュー630は、空を示している。図6Iのライブプレビュー630と比較すると、図6Jのライブプレビュー630は、FOV内のシーンがかなり暗くなるため、かなり暗くなる。
図6Jでは、シーンがFOV内で変化したとの判定が行われるため、デバイス600は、露出補償バイアス値をデフォルトの露出補償バイアス値(例えば、図6Fのジェスチャ650f又は図6Gのジェスチャ650gを検出する前に設定された補償バイアス値)にリセットする。図6Jに示すように、デバイス600はまた、このシーン変化判定のために、補償バイアスインジケータ644を表示することを停止する。特に、図6Jでは、デバイス600は、(例えば、補償バイアス値が表示され、及び/又は調整された前に(例えば、図6F~図6Gにおいて))図6Fの露出補償値指示602d2によって示された露出補償レベル(例えば、-0.2)を介して、現在のメディアをキャプチャするように構成されたままである。したがって、設定された補償バイアス値は、FOV内のシーンが変化したときになくなる(例えば、デフォルト値に戻される)が、(例えば、露出補償コントロール636を介して)設定された露出補償値は、シーンがFOV内で変化したとの判定にかかわらず維持される。
図6Jでは、新たなシーン内の環境における輝度レベル(例えば、暗い表面上の靴)が大幅に低下しているため、シャドウクリッピングが発生すると予測されるとの判定も行われる。具体的には、FOV(又は現在のメディア)における輝度強度値のセット(例えば、(例えば、キャプチャされることになる)画像の黒値又はシャドウ)が、正確に表されることができる又はキャプチャされることができる輝度強度値の範囲を下回るとの判定が行われるため、シャドウクリッピングが発生すると予測されるとの判定が行われる。シャドウクリッピングが発生すると予測されるとの判定は、環境内の輝度レベル及び現在の露出補償レベル(例えば、露出補償値表現602d1によって示されるような-0.2)に基づいている。
図6Jに示すように、シャドウクリッピングが発生すると予測されるとの判定が行われることから、デバイス600は、(例えば、図6Fにおいてハイライトクリッピングが発生すると予測されたときに、露出補償指標602の最も右側の目盛りとして表示される代わりに)露出補償インジケータ602dの最も左側の目盛りとしてクリッピング指示602d2を表示する。図6Jでは、クリッピング指示602d2のサイズはまた、デバイス600が現在の露出補償レベル(例えば、-0.2)においてメディアをキャプチャするように構成されたときに発生すると予測されるシャドウクリッピングの大きさ(例えば、量又はレベル)を反映するように変化している。図6Jでは、デバイス600は、FOV内の変化を検出する。
図6Kでは、FOV内の変化を検出したことに応答して、シーンがFOV内で変化したとの判定が行われる。図6Jのライブプレビュー630と比較すると、図6Kのライブプレビュー630は、図6KのFOV内のシーンがかなり暗くなるため、かなり暗くなる。図6Kでは、第2の量のシャドウクリッピングが、(例えば、図6B~図6Jにおいて)上述したような1つ以上の技術を使用して、発生すると予測されるとの判定も行われる。図6Kでは、より暗いシーンが1つ以上のカメラのFOV内にありかつ現在の露出補償レベルが同じままであったため、第2の量のシャドウクリッピングは、図6Jにおいて発生すると予測されたシャドウクリッピングの量よりも大きい。
図6Kに示すように、第2の量のシャドウクリッピングが発生すると予測されるとの判定が行われることから、デバイス600は、露出補償インジケータ602dの左側にクリッピング指示602d2の表示を維持しつつ、クリッピング指示602d2のサイズを増大させる。したがって、図6Kでは、クリッピング指示602d2は、発生すると予測されるクリッピングの種類及び量を示す。更に、ライブプレビュー630は、新たなシーンを示すように更新される。図6Kでは、デバイス600は、露出補償インジケータ602d上のタップジェスチャ650kを検出する。
図6Lに示すように、タップジェスチャ650kを検出することに応答して、デバイス600は、カメラアフォーダンス620の表示を、値指示636aを含む露出補償コントロール636の表示と置き換える。図6Lでは、デバイス600は、露出補償コントロール636上で左向きスワイプジェスチャ650lを検出する。
図6Mに示すように、左向きスワイプジェスチャ650lを検出したことに応答して、デバイス600は、露出補償値表現602d1によって表される新たな値(例えば、1.0)を介して示されかつ露出補償コントロール636上の値指示636aの上にも表示される、露出補償のレベルを更新する。新たな露出補償レベル(例えば、図6Mの1.0)は、以前の露出補償レベル(例えば、図6Lの-0.2)よりも高い。
図6Mでは、上述したものと類似の1つ以上の技術を使用して、最小(又はクリッピングなし)が発生すると予測される(又は、(例えば、非ゼロの)閾値レベル未満のクリッピングが発生すると予測される)との判定が行われる。したがって、換言すれば、デバイス600が、(例えば、非ゼロの)閾値量のクリッピング未満の量のクリッピングによって、現在のメディアを正確に表すかことができる又はキャプチャすることができるとの判定が行われる。図6Mに示すように、最小のクリッピングが発生する又はクリッピングが発生しないと予測される(例えば、又は(例えば、非ゼロの)閾値レベル未満のクリッピングが発生すると予測される)との判定のために、デバイス600は、クリッピング指示602d2の表示を停止する。図6Mでは、デバイス600は、露出補償コントロール636a上で左向きスワイプジェスチャ650mを検出する。
図6Nに示すように、左向きスワイプジェスチャ650mを検出したことに応答して、デバイス600は、露出補償値表現602d1によって表される新たな値(例えば、1.5)を介して示されかつ露出補償コントロール636上の値指示636aの上に表示される、露出補償レベルを更新する。新たな露出補償レベル(例えば、図6Mの1.5)は、以前の露出補償レベル(例えば、図6Lの1.0)よりも高い。図6Nでは、上述した1つ以上の類似の技術を使用して、第5の量のハイライトクリッピングが発生すると予測される(例えば、露出補償レベルが、ハイライトクリッピングが発生すると予測されるのに十分に調整されている)との判定が行われる。図6Nに示すように、第5の量のハイライト(及びシャドウなし)クリッピングが発生すると予測されるとの判定が行われることから、デバイス600は、露出補償インジケータ602dの右側にクリッピング指示602d2を表示する。したがって、図6Nでは、クリッピング指示602d2は、発生すると予測されるクリッピングの種類及び量を示す。図6Nでは、デバイス600は、コントロール領域606の底部からの上向きスワイプジェスチャ650nを検出する。
図6Oでは、上向きスワイプジェスチャ650nを検出したことに応答して、例えば、デバイス600がカメラアプリケーションを表示することを停止した(又はカメラアプリケーションから閉じた)ことから、カメラアプリケーションの使用に関連付けられたセッション(例えば、カメラユーザインタフェースに対応するアプリケーション)が終了したとの判定が行われる。いくつかの実施形態では、デバイス600が所定の期間、カメラアプリケーションの表示を停止又は閉じたときに、カメラアプリケーションの使用に関連付けられたセッションは終了する。いくつかの実施形態では、カメラアプリケーションがデバイス600上で動作を停止したという判定が行われたときに、カメラアプリケーションの使用に関連付けられたセッションは終了する。いくつかの実施形態では、カメラアプリケーションの使用に関連付けられたセッションは、特定の時間(カメラアプリケーションが使用されていないとき又はカメラアプリケーションがユーザによって相互作用されたときにその日の終わり(その日の特定の時間))に終了する。いくつかの実施形態では、デバイス600が所定の期間ロック状態になった後に、カメラアプリケーションの使用に関連付けられたセッションは終了する。更に、図6Oに示すように、デバイス600は、カメラユーザインタフェースの表示を停止し、アプリケーションアイコン690とのユーザインタフェースを表示する。アプリケーションアイコン690は、カメラアプリケーションアイコン690aなどのアプリケーションアイコンを含む。図6Oでは、デバイス600は、カメラアプリケーションアイコン690a上のタップジェスチャ650oを検出する。
図6Pに示すように、タップジェスチャ650oを検出することに応答して、デバイス600は、アプリケーションアイコンとのユーザインタフェースの表示を停止し、カメラユーザインタフェースを表示する。図6Pに示すように、露出補償インジケータ602dは、図6Nに表示された状態と同じ状態にある。例えば、図6Pでは、露出補償値表現602d1は、図6Nにおいてカメラユーザインタフェースが最後に表示されたときの露出レベルと同じである現在の露出レベル1.5を示す。図6Pでは、デバイス600は、コントロール領域606の底部において左向きスワイプジェスチャ650pを検出する。
図6Qに示すように、左向きスワイプジェスチャ650pを検出することに応答して、デバイス600は、露出コントロール設定692aなどの設定692を含むカメラユーザインタフェースを表示する。図6Qでは、露出コントロール設定692aは、オンに設定され、これは、現在の露出レベルが維持され、自動的にリセットされないことを示す。更に、露出コントロール設定692aは、露出補償インジケータ602dが引き続き表示されることを示す(例えば、露出補償が最初に露出補償コントロール644を介して設定された後)。いくつかの実施形態では、コントロール設定692aは、(例えば、露出補償が最初に設定されているかどうかにかかわらず)露出補償インジケータ602dが常に表示されることを示す。図6N~図6Pを再び参照すると、デバイス600は、コントロール設定692aがオンに設定されているため、(例えば、カメラアプリケーションの使用に関連付けられたセッションが終了したとの判定後)図6Pと同じ状態で露出補償インジケータ602dを維持した。図6Qでは、デバイス600は、露出コントロール設定692a上でのタップジェスチャ650qを検出する。
図6Rに示すように、タップジェスチャ650qを検出することに応答して、デバイス600は、露出コントロール設定692aをオン状態からオフ状態に切り替える。図6Rでは、デバイス600は、コントロール領域606の底部において上向きスワイプジェスチャ650rを検出する。
図6Sに示すように、上向きスワイプジェスチャ650rを検出したことに応答して、デバイス600は、アプリケーションアイコン690aを有するユーザインタフェースを再表示する。図6Sでは、上向きスワイプジェスチャ650rを検出したことに応答して、図6Oに関して上述したものと類似の技術を使用して、カメラアプリケーションの使用に関連付けられたセッションが終了したとの判定が行われる。図6Sでは、デバイス600は、カメラアプリケーションアイコン690a上のタップジェスチャ650sを検出する。
図6Tに示すように、タップジェスチャ650sの検出に応答して、デバイス600は、(上述したように、露出コントロール設定692aがオフに設定されたときに露出補償インジケータ602dを表示することとは対照的に)露出コントロール設定692aがオンに設定されていることから、露出補償インジケータ602dなしにカメラユーザインタフェースを表示する。
図6Uは、図6Uにおけるビデオカメラモードアフォーダンス602b及び太字の「ビデオ」によって示されるように、デバイス600がビデオモードで動作している間に表示されている露出補償インジケータ602dを有するカメラユーザインタフェースを示す。
図6Vは、図6Vにおけるポートレートカメラモードアフォーダンス602e及び太字の「ポートレート」によって示されるように、デバイス600がポートレートモードで動作している間に表示されている露出補償インジケータ602dを有するカメラユーザインタフェースを示す。
図7は、いくつかの実施形態に係る、コンピュータシステムを使用して露出補償を管理するための方法を示すフロー図である。方法700は、コンピュータシステム(例えば、100、300、500、600)において実行される。コンピュータは、1つ以上のカメラ(例えば、コンピュータシステムの同じ側又は異なる側の(例えば、前方カメラ、後方カメラ)1つ以上のカメラ(例えば、デュアルカメラ、トリプルカメラ、クワッドカメラなど))を有し、ディスプレイ生成構成要素(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム)及び1つ以上の入力デバイス(例えば、タッチ感知面)と通信する。方法700のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法700は、露出補償を管理するための直感的方法を提供する。この方法は、露出補償を管理する際のユーザの認識的負担を軽減し、それによって、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザが露出補償をより高速かつより効率的に管理することを可能にすることにより、節電し、バッテリ充電の間隔を増大させる。
コンピュータシステムは、カメラユーザインタフェース(例えば、図6Bにおけるユーザインタフェース)を表示する要求(例えば、カメラアプリケーションを表示する要求又はカメラアプリケーション内でメディアキャプチャモードに切り替える要求)を受信する(702)。
カメラユーザインタフェースを表示する要求を受信したことに応答して、1つ以上のカメラは、(例えば、602d1によって示されるように)第1の露出補償値(例えば、1つ以上のカメラの視野の表現に対応するメディアをキャプチャするために使用される露出量を表す値)に基づいて画像(例えば、ビデオ、写真)をキャプチャするように構成されていると共に、コンピュータシステムは、ディスプレイ生成構成要素を介して、カメラユーザインタフェース(例えば、図6Bのユーザインタフェース)を表示する(704)。
ディスプレイ生成構成要素を介して、カメラユーザインタフェースを表示することの一部として、コンピュータシステムは、ディスプレイ生成構成要素を介して、1つ以上のカメラの視野(例えば、カメラに視認可能である開放観測可能エリア、カメラレンズから所与の距離の画像の水平(又は垂直又は対角線)長さ)の第1の表現(例えば、630)(例えば、経時的表現、カメラからのデータのライブプレビューフィード)を表示する(706)。いくつかの実施形態では、値は、露出補償モードが有効化されているか、有効化されていないかにかかわらず、メディアをキャプチャするために使用されるデフォルトの露出補償値である。いくつかの実施形態では、1つ以上のカメラの視野の表現は、カメラ表示領域に表示される。
カメラユーザを表示することの一部として、及び露出補償モードが有効化されたときに満たされる基準(例えば、図6Qの692a)(例えば、アクティブ)を含む露出補償基準のセットが満たされたとの判定に従って(708)、コンピュータシステムは、1つ以上のカメラの視野の表現(例えば、630)と同時に、以下を含む露出補償インジケータ(例えば、602d)を表示する(710):(例えば、602d1によって示されるように)第1の露出補償値の表現(例えば、数値表現(例えば、1.5、-1.5)、記号再遷移);及び、コンピュータシステムが、1つ以上のカメラの視野の表現(例えば、630)に対応するメディアをキャプチャする要求を受信したこと(例えば、610において入力を受信したこと)に応答して、クリッピング(例えば、露出補償設定の結果として詳細を失う、キャプチャされたメディアの1つ以上の領域)が発生すると予測されると判定した旨の視覚的な指示(例えば、602d2)。いくつかの実施形態では、1つ以上のカメラは、第1の露出補償値に基づいて画像をキャプチャするように構成されていると共に、第1の露出補償値の表現は、表示される(又は、あるいは、表示されない)(例えば、1つ以上のカメラの視野の表現と同時に、それに隣接して、及び/又はその上に表示される)。いくつかの実施形態では、露出補償モードは、コンピュータシステムが1つ以上のカメラの視野の異なる表現(例えば、経時的にキャプチャされる表現又は異なるシーンの表現)を表示しているときに露出調整を維持するように構成されているときに及び/又はコンピュータシステムが露出調整インジケータを示すように構成されているときに有効化される。いくつかの実施形態では、露出補償モードは、露出補償インジケータ上で選択が行われるとき、及び/又は(例えば、露出調整コントロールを介して)新たな露出補償が設定されるときに有効化される。いくつかの実施形態では、クリッピングが発生すると、クリッピングされたエリアは、キャプチャされたメディアの表現内の最小又は最大輝度によって表されることができる。いくつかの実施形態では、キャプチャされたメディアの表現内のクリッピングされたエリアは、1つ以上のカメラの視野の表現におけるクリッピングされたエリアに対応するエリアとは異なるレベルの輝度、ハイライト、シャドウ、及び/又は異なるレベルの詳細(例えば、より少ない詳細)を有する。いくつかの実施形態では、露出補償の表現及び視覚的な指示(例えば、コンピュータシステムが、クリッピングが発生すると予測されたと判定した旨)が同時に表示される。いくつかの実施形態では、露出補償インジケータは、カメラインジケータ領域内に表示される。いくつかの実施形態では、カメラインジケータ領域は、1つ以上のカメラ設定(例えば、露出設定、フラッシュ設定、低光モード設定、タイマー設定など)に基づいてメディアをキャプチャするようにコンピュータシステムを構成する複数のインジケータ(例えば、アフォーダンス、選択可能なユーザインタフェースオブジェクト)を含む。いくつかの実施形態では、露出補償値の表現は、視覚的な指示の上にある。いくつかの実施形態では、露出補償基準のセットが満たされないとの判定に従って、コンピュータシステムは、露出補償インジケータの表示を取り止める。いくつかの実施形態では、露出補償基準のセットが満たされないとの判定に従って、第1の表現は、デフォルトの露出補償値(例えば、ゼロ値)で表示され、コンピュータシステムは、露出補償モードが有効化されていないときに、デフォルトの露出補償値を使用してメディアをキャプチャするように構成される。いくつかの実施形態では、コンピュータシステムは、1つ以上の指示又はベースを受信することによって1つ以上のカメラの視野の表現に対応するメディアをキャプチャする要求を受信したことに応答して、又は1つ以上の外部デバイスによって作成された1つ以上のカメラの視野の表現に対応するメディアをキャプチャする要求を受信したことに応答してクリッピングが発生すると予測されるとの1つ以上の判定に基づいて、クリッピングが発生すると予測されると判定する。露出補償値及び予測されるクリッピングのインジケータを含む露出補償インジケータを表示することは、現在の露出補償値と、システムのカメラの視野内にある現在のシーンと、現在のシーンに対応するメディアがキャプチャされたときに発生することができる予測されるクリッピングとの間の関係に関するフィードバックをユーザに提供する。したがって、露出補償インジケータを表示することは、ユーザが、現在の露出補償値の調整及び/又は少なくとも1つのカメラの視野内のシーンの変化が予測されるクリッピングにどのように影響を及ぼすかを視覚的に確認することを可能にする。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。露出補償値及び予測されるクリッピングのインジケータを含む露出補償インジケータを表示することは、現在の露出補償値と、システムのカメラの視野内にある現在のシーンと、現在のシーンに対応するメディアがキャプチャされたときに発生することができる予測されるクリッピングとの間の関係に関するフィードバックをユーザに提供し、これは、低減されたクリッピングで(又はほとんどクリッピングなしで)画像を取得するためにメディアがキャプチャされる必要がある回数を低減する。実行される必要がある操作回数を低減することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、露出補償インジケータ(例えば、602d)を表示している間、及び発生すると予測されるクリッピングが第1の種類のクリッピングであるとの判定に従って、視覚的な指示は、第1の位置(例えば、図6Bの602d2)(例えば、ディスプレイ生成構成要素(例えば、露出補償インジケータに隣接する位置)上)に表示される。いくつかの実施形態では、露出補償インジケータを表示している間、及び発生すると予測されるクリッピングが第1の種類のクリッピングとは異なる第2の種類のクリッピングであるとの判定に従って、視覚的な指示は、第1の位置とは異なる第2の位置(例えば、図6Jの602d2)(例えば、ディスプレイ生成構成要素(例えば、露出補償インジケータに隣接する位置))に表示される。いくつかの実施形態では、第1の種類のクリッピングは、パラメータの値の範囲(輝度強度値の(例えば、キャプチャ可能な範囲(例えば、輝度強度値がコンピュータシステムによってキャプチャされることができる範囲)、表現可能な範囲(例えば、輝度強度値がコンピュータシステムによって表されることができる範囲)(例えば、ハイライトのクリッピング、より明るい/白エリアのクリッピング))を上回るメディアのパラメータの値(例えば、輝度強度)に基づくクリッピング(例えば、メディアをキャプチャする要求を受信することに応答して発生すると予測される(例えば、(例えば、シーンのより明るいエリア(例えば、白エリア)がシーンの他のエリア以外のより詳細が少なく表されるときに発生する(と予測される)クリッピング)))である。いくつかの実施形態では、第2の種類のクリッピングは、パラメータの値の範囲(輝度強度値の(例えば、キャプチャ可能な範囲(例えば、輝度強度値がコンピュータシステムによってキャプチャされることができる範囲)、表現可能な範囲(例えば、輝度強度値がコンピュータシステムによって表されることができる範囲)(例えば、黒のつぶれ、より暗い/黒エリアのクリッピング))を下回るメディアのパラメータの値(例えば、輝度強度)に基づくクリッピング(例えば、メディアをキャプチャする要求を受信することに応答して(例えば、(例えば、シーンのより暗いエリア(例えば、黒エリア)がシーンの他のエリア以外のより詳細が少なく表されるときに発生する(と予測される)クリッピングを示す)))である。いくつかの実施形態では、第1の位置に表示された視覚的な指示を表示している間に、及び第2の(例えば、新たな、後続の)クリッピングが1つ以上のカメラの視野の表現に対応するメディアをキャプチャする要求を受信したことに応答して発生すると予測されかつ第2のクリッピングが第1の種類のクリッピングであるとの判定に従って、コンピュータシステムは、第1の位置に視覚的な指示を表示し、第1の位置に視覚的な指示を表示している間に、及び第2の(例えば、新たな、後続の)クリッピングが1つ以上のカメラの視野の表現に対応するメディアをキャプチャする要求を受信したことに応答して発生すると予測されかつ第2のクリッピングが第2の種類のクリッピングであるとの判定に従って、コンピュータシステムは、第2の位置に視覚的な指示を表示する。いくつかの実施形態では、視覚的な指示は、第1の位置から第2の位置に移動し、又はその逆もしかりである。いくつかの実施形態では、第1の位置は、露出補償インジケータの一方の側(例えば、右/左/上/下)にあり、第2の位置は、第1の位置がオンである側の反対側(例えば、左/右/下/上)に位置する。露出補償インジケータ上の異なる位置に予測されたクリッピングのインジケータを表示することは、各位置が、発生すると予測されるクリッピングの種類に対応する場合、現在の露光補償値及び/又はカメラの視野内のシーンの変化を調整する方法に関するフィードバックをユーザに提供して、予測されたクリッピングに影響を与える(例えば、低減する)。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。ハイライトクリッピングが発生すると予測されかつシャドウクリッピングが発生すると予測された1つの位置に予測されたクリッピングのインジケータを表示することは、現在の露出補償値及び/又はカメラの視野内のシーンの変化を調整する方法に関するフィードバックをユーザに提供して、予測されたクリッピングに影響を与える(例えば、低減する)。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、第1の時間の前に(例えば、露出補償インジケータを表示している間)、視覚的な指示は、第1の視覚的見掛け(例えば、図6Bの602d2)(例えば、厚さ、サイズ、長さ、色、太さ、及び/又は不透明度)を有して表示される。いくつかの実施形態では、露出補償インジケータを表示している間の第1の時間において、及び発生すると予測されるクリッピングが変更されたとの判定に従って(例えば、クリッピングの量が変更された、クリッピングの種類は変更された)、コンピュータシステムは、第1の視覚的見掛け(例えば、図6Bの602d2)とは異なる第2の視覚的見掛けを有する視覚的な指示(例えば、図6Cの602d2)(例えば、厚さ、サイズ、長さ、色、太さ、及び/又は不透明度)を表示する。いくつかの実施形態では、発生すると予測されるクリッピングが増大した(又は、あるいは、減少した)との判定に従って、視覚指示子は、以前に有していた視覚指示子(例えば、第1の外観)よりも(例えば、幅が)より厚い(例えば、より太い、より高い不透明度)及び/又は(例えば、高さが)より長い(又は、あるいは、(例えば、幅が)より薄い及び/又は(例えば、高さが)より短い)外観(例えば、第2の外観)を有する。いくつかの実施形態では、視覚的な指示を、第1の視覚的見掛けとは異なる第2の外観で表示することは、第1の視覚的見掛けから第2の視覚的見掛けへの視覚的な指示の変化(例えば、厚くする又は薄くする)をアニメーション化すること(例えば、徐々にアニメーション化すること)を含む。いくつかの実施形態では、1つ以上のカメラの視野内の1つ以上のカメラ及び/又はオブジェクトの視野が変化すると、発生すると予測されるクリッピングが変化すると判定される。いくつかの実施形態では、(例えば、選択可能な露出補償コントロール(例えば、スライダ)を介して)第1の補償値が第2の露出補償値に変化したことに応答して、発生すると予測されるクリッピングは変化する。いくつかの実施形態では、1つ以上のカメラの視野の変化(例えば、1つ以上のカメラの視野のシーンの変化)に応答して、発生されると予測されるクリッピングが変化する。予測されたクリッピングの大きさに基づいて予測されたクリッピングのインジケータを表示することは、予測されたクリッピングに影響を与える(例えば、低減する)ために、1つ以上のカメラの視野内の現在の露出補償値及び/又はシーンの変化を調整する方法に関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、視覚的な指示(例えば、602d2)は、ディスプレイ生成構成要素を介して、第1の表現の外側(例えば、それから離れている、その上にない、それと重ならない)位置に表示される。いくつかの実施形態では、露出補償インジケータは、第1の表現の外側にある位置にある。シーンの表現から離れた予測されたクリッピングのインジケータを表示することは、現在の露出補償値と、システムのカメラの視野内にある現在のシーンとの間の関係に関するフィードバックをユーザに提供し、現在のシーンに対応するメディアがキャプチャされたときに発生し得ると予測されたクリッピングは、シーンの表現に重ね合わされた視覚的要素をより少なくしてコンピュータシステムの少なくとも1つのカメラの視野内にあるシーンの表現の閲覧を可能とすると共にキャプチャされ、これは、意図されたシーンをキャプチャするのに要する時間数を低減することができる。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、(例えば、図6Bの602d1によって示されるように)第1の露出補償値の表現を含む露出補償インジケータ(例えば、602d)を表示している間に、コンピュータシステムは、1つ以上のカメラの視野内の変化を検出する。いくつかの実施形態では、1つ以上のカメラの視野の変化を検出することに応答して、コンピュータシステムは、(例えば、図6Cの602d1によって示されるように)第1の露出補償値を表示し続ける(例えば、露出補償値は、1つ以上のカメラの視野の検出された変化(及び/又はシーンの変化)にかかわらず維持される)。いくつかの実施形態では、1つ以上のカメラの視野の変化が閾値(例えば、非ゼロ閾値)を上回るとの判定に従って(視野の変化量を示す閾値は、シーンの変化に匹敵する)、コンピュータシステムは、第1の露出補償値を含む露出補償インジケータを表示し続ける。いくつかの実施形態では、1つ以上のカメラの視野の変化が閾値を上回るとの判定に従って、コンピュータシステムは、第1の露出補償値を含む露出補償インジケータを表示し続ける。シーンが変化するときに露出補償値を維持することは、シーンが変化するたびに補償値をリセットするのにかかる入力数を低減し(又は入力を排除する)、また、シーンが1つ以上のカメラの視野内で一時的に変化するときに露出補償がリセットされる回数も低減する。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、1つ以上のカメラは、(例えば、602d1によって示されるように)第1の露出補償値と補償バイアス値(例えば、図6Hの644a)との合計に基づく累積露出補償値に基づいて画像をキャプチャするように構成される。
いくつかの実施形態では、露出補償基準のセットが満たされたとの判定に従って、コンピュータシステムは、(例えば、1つ以上のカメラが第1の露出補償値に基づいて画像をキャプチャするように構成されているときの第1の時間における第1の補償値の表現を含む)露出補償インジケータ(例えば、602d)と共に(例えば、図6Iの602d1によって示されるように)累積露出補償値の指示を同時に表示する(712)(例えば、値を表示する、値に対応するグラフィカル表現を表示する)。いくつかの実施形態では、(例えば、第1の露出補償値の表現を含む)露出補償インジケータを表示している間、コンピュータシステムは、1つ以上のユーザ入力(例えば、ドラッグ入力が後続するタップ入力)を受信し、1つ以上のユーザ入力を受信したことに応答して、コンピュータシステムは、第1の補償値の表現を含む露出補償インジケータと同時に累積露出補償値を表示する。累積露出補償値の指示を表示することは、露出補償値及びバイアス補償値が、メディアをキャプチャする要求に応答してメディアをキャプチャするために使用される露出の累積量にどのように影響を及ぼすかに関するフィードバックをユーザに提供する。改善されたフィードバックを提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、(例えば、図6Gの602d1によって示されるように)第1の露出補償値の表現を含む露出補償インジケータ(例えば、602d)を表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、1つ以上のユーザ入力(例えば、650f、650g、650h)(例えば、1つ以上のカメラの視野のビューファインダ上などのドラッグ入力が後続するタップ入力)を検出する。いくつかの実施形態では、1つ以上の入力を検出したことに応答して、コンピュータシステムは、デフォルト補償バイアス値(例えば、図6Gにおける644a)(例えば、デフォルト補償値(例えば、ゼロの値))から新たな補償バイアス値(例えば、図6Hにおける644a)(例えば、非ゼロ値、新たな補償値)へと補償バイアス値を変化させる。いくつかの実施形態では、コンピュータシステムは、第1の露出補償値とバイアス補償値との合計に基づく累積補償に基づいて画像をキャプチャするように構成され、第1の露出補償値の表現を表示し続ける。いくつかの実施形態では、新たな補償値に変化される第1の露出補償値及び補償バイアス値の表現を含む露出補償インジケータを表示している間に、コンピュータシステムは、1つ以上のカメラの視野の変化(例えば、シーン変化)を検出する。いくつかの実施形態では、1つ以上のカメラの視野の変化を検出することに応答して、及び1つ以上のカメラの視野の変化が閾値(例えば、非ゼロ閾値)を上回るとの判定に従って(視野量の変化量を示す閾値は、シーン内の変化量に匹敵する)、コンピュータシステムは、補償バイアス値をデフォルト補償バイアス値に更新し(例えば、リセットする)、第1の露出補償値(例えば、図6Jの602d2)の表現を表示し続ける。いくつかの実施形態では、1つ以上のカメラの視野の変化を検出することに応答して、及び1つ以上のカメラの視野の変化が閾値を上回るとの判定に従って、コンピュータシステムは、第1の露出補償値の指示を含む露出補償インジケータを表示し続け(例えば、露出補償値は変化しない)、デフォルトバイアス補償値への補償値の更新(例えば、リセット)を取り止める、及び/又はバイアス補償値を維持する(例えば、バイアス補償値は変化しない)。シーンが変化しかつバイアス値を更新するときに露出補償値を維持することは、シーンが変化するたびに補償値をリセットするのにかかる入力数を低減し、また、シーンが1つ以上のカメラの視野内で一時的に変化するときに露出補償がリセットされる回数も低減する。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、リセット基準のセットが満たされたとの判定に従って、コンピュータシステムは、(例えば、図6Tの602d1によって示されるように)第1の露出補償値をデフォルト補償値に設定する。いくつかの実施形態において、リセット基準のセットは、メディアキャプチャセッション終了時に満たされる第1の基準と、露出補償保存モードが有効化されていないときに満たされる第2の基準(例えば、図6Rの692a)を含む。いくつかの実施形態では、リセット基準のセットが満たされないという判定に従って、コンピュータシステムは、(例えば、図6Pの602d1によって示されるように)第1の露出補償値を第1の(例えば、デフォルト)補償値に設定することを取り止める。いくつかの実施形態では、コンピュータシステムは、第1の露出補償値がメディアキャプチャセッション終了前であった値として、第1の露出補償値を維持する。
いくつかの実施形態では、露出補償基準のセットは、露出補償保存モードが有効化されたときに満たされる基準(例えば、図6Qの692a)を含む。いくつかの実施形態では、露出補償基準のセットは、第1の露出補償値がデフォルト補償値と等しくないときに満たされる基準を含む。いくつかの実施形態では、露出補償基準のセットは、露出補償保存モードが有効化され、露出補償がデフォルト値であるときに満たされる基準を含む。いくつかの実施形態では、露出補償基準のセットは、第1の露出補償値がデフォルト補償値に等しくなく、露出補償保存モードが有効化され、露出補償がデフォルト値であるときに満たされる基準を含む。所定の条件が満たされたときにのみ露出補償インジケータを自動的に表示することにより、追加のユーザ入力を必要とせずに、インジケータの表示を可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、露出補償基準のセットが満たされないとの判定に従って、コンピュータシステムは、露出補償インジケータ(例えば、図6Mの602)の表示を取り止める。いくつかの実施形態では、露出補償指示を表示した後、コンピュータシステムは、露出補償モードを非アクティブにする1つ以上の入力を受信し(例えば、露出補償モードを構成するための1つの選択可能なユーザインタフェースオブジェクトの入力を受信する)、1つ以上の入力を受信することに応答して、コンピュータシステムは、(例えば、以前に表示された)露出補償インジケータの表示を停止する。所定の条件が満たされると、露出補償インジケータを自動的に表示することにより、追加のユーザ入力を必要とせずに、インジケータの表示を可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、露出補償インジケータを表示している間の第2の時間において、発生すると予測されるクリッピングが変化したとの判定に従って、コンピュータシステムは、第1の視覚的状態(例えば、指示の第1の位置及び/又は視覚的見掛け(例えば、厚さ、サイズ、色、太さ、不透明度)、第1の補償値の視覚的状態)から第1の視覚的状態とは異なる第2の視覚的状態(例えば、指示の第1の位置及び/又は視覚的見掛け(例えば、厚さ、サイズ、色、太さ、不透明度)、第2の補償値の視覚的状態)へと遷移する露出補償指示のアニメーション(例えば、図6B~図6Dの602)を表示する。いくつかの実施形態では、アニメーションは、視覚的な指示を異なる位置に移動させること、視覚的な指示を薄く/厚くすること、及び/又は第2の補償値に変化した第1の補償値を表示することを含む。発生すると予測される予測クリッピングが変化したときに変化する露出補償インジケータのアニメーションを表示することにより、現在の露出補償値の調整及び/又は予測されたクリッピングに影響を与える(例えば、低減された)少なくとも1つのカメラの視野内のシーンの変化に関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、露出補償インジケータ(例えば、602d)を表示している間に、コンピュータシステムは、露出補償インジケータ(例えば、602d)(例えば、選択可能なユーザインタフェースオブジェクト)の選択(例えば、650k)(例えば、露出補償インジケータ上のタップ)を受信する。いくつかの実施形態では、露出補償インジケータの選択(例えば、650k)の受信に応答して、コンピュータシステムは、選択(例えば、650l)されたとき、(例えば、図6Mの602d1によって示されるように)露出補償インジケータを更新させる、露出補償を調整するためのコントロール(例えば、636)(例えば、調整可能なコントロール、スライダ)を表示する。いくつかの実施形態では、調整可能なコントロールは、ティックマークを含み、各ティックマークは、調整可能なコントロールの値を表す。いくつかの実施形態では、露出補償を調整するためのコントロールを表示している間に、コンピュータシステムは、現在の露出補償値の第1の指示(例えば、数字、スライダトラック上のスライダノブ(例えば、バー))を表示し、露出補償を調整するためのコントロールを調整する要求(例えば、ドラッグジェスチャ(例えば、調整可能なコントロール上の1つの各位置(例えば、目盛りマーク)から調整可能なコントロール上の他の相当な位置への指示のドラッグ(例えば、スライドバー)))を受信することに応答して(及び露出補償を調整するためのコントロールを表示している間)、コンピュータシステムは、第1の露出補償値の第1の指示の表示を第2の露出補償値の第2の指示の表示に置き換える、及び/又は(例えば、第1の露出補償値に基づいてメディアをキャプチャすることなく)第2の露出補償値に基づいてメディアをキャプチャする。いくつかの実施形態では、露出補償インジケータを更新することは、第1の露出補償値の表現とは異なる第2の露出補償値の表現を表示すること(及び第1の露出補償値の表現を表示することを停止すること)を含む。いくつかの実施形態では、露出補償インジケータを更新することは、(例えば、予測されたクリッピングの)視覚的な指示を、異なる視覚的見掛けで及び/又は異なる位置に表示することを含む。
いくつかの実施形態では、露出補償インジケータ(例えば、602d)を表示している間に、及び1つ以上のカメラの視野の表現に対応するメディアをキャプチャする要求を受信したことに応答してクリッピングが発生すると予測されない(例えば、発生しそうにない)との判定に従って、コンピュータシステムは、視覚的な指示(例えば、図6Mの602d2)を表示することを停止する(例えば、露出補償値の表現を含む露出補償インジケータを表示し続ける間)。いくつかの実施形態では、第1の補償値が第2の補償値に変化した後にクリッピングが発生すると予測されない。いくつかの実施形態では、1つ以上のカメラの視野の変化が検出された後(例えば、1つ以上のカメラの視野内のシーンが変化した後)、クリッピングは発生すると予測されない。いくつかの実施形態では、露出補償インジケータを表示している間、及び1つ以上のカメラの視野の表現に対応するメディアをキャプチャする要求を受信したことに応答してクリッピングが発生すると予測されるとの判定に従って、コンピュータシステムは、視覚的な指示を表示し続ける。所定の条件が満たされたときに予測されたクリッピングの指示を表示することを停止することにより、現在の露出補償値の調整及び/又は予測されたクリッピングに影響を与えた(例えば、低減された)少なくとも1つのカメラの視野内のシーンの変化に関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
方法700に関連して上述した処理の詳細(例えば、図7)は、後述する方法にも類似する方式でも適用可能であることに留意されたい。例えば、方法900は、方法700を参照して上述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、上述した方法700を使用して、方法900に関して以下に説明する方法を使用して表示されることができるそれぞれの量の露出補償を用いてメディアをキャプチャするようにコンピュータシステムを構成することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図8A~図8Lは、いくつかの実施形態による電子デバイスを使用してメディアを表示するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図9のプロセスを含む後述のプロセスを例示するために使用される。
図8Aは、サムネイルメディア表現812を含むメディアギャラリーユーザインタフェース810を表示する電子デバイス600を示す。サムネイルメディア表現812は、サムネイルメディア表現812a~812gを含み、サムネイルメディア表現812a~812gのそれぞれは、異なるメディアアイテム(例えば、時間内に異なるインスタンスでキャプチャされたメディアアイテム)を表す。図8Aでは、メディア表現812は、少なくとも2つの種類のメディアアイテムを表すサムネイルメディア表現を含む。例えば、サムネイルメディア表現812a、812b、及び812gは、高ダイナミックレンジ(「HDR」)コンテンツを含まないメディアアイテムを表し、サムネイルメディア表現812c~812hは、HDRコンテンツを含むメディアアイテムを表す。図8Aでは、サムネイルメディア表現812c~812hは、HDRコンテンツを含むメディアアイテムを表すが、メディアギャラリーユーザインタフェース810内のHDRコンテンツなしに表示される。
図8Aに示すように、サムネイルメディア表現812a~812gは、それぞれ、「非HDR」又は「HDR」ラベルによって表示される。「非HDR」及び「HDR」ラベルは、本明細書における主題の読者が、特定のサムネイルメディア表現がHDRコンテンツを含まないメディアアイテム(「非HDRメディアアイテム」)又はHDRコンテンツを含むメディアアイテム(「HDRメディアアイテム」)を表すかどうかを迅速に識別することを可能にするために含まれることを理解されたい。したがって、「非HDR」及び「HDR」ラベルは、ユーザインタフェースの一部、サムネイルメディア表現812a~812g、及び/又は特定のサムネイルメディア表現によって表される特定のメディアアイテムの一部として表示されていると見なされるべきではない。図8Aでは、デバイス600は、サムネイルメディア表現812a上のタップジェスチャ850aを検出する。
図8Bに示すように、タップジェスチャ850aを検出することに応答して、デバイス600は、メディアビューワユーザインタフェース820を表示し、メディアギャラリーユーザインタフェース810の表示を停止する。メディアビューワユーザインタフェース820は、アプリケーションコントロール領域822とアプリケーションコントロール領域826との間に位置付けられたメディアビューワ領域824を含む。メディアビューワ領域824は、サムネイルメディア表現812aと同じメディアアイテムを表す拡大メディア表現824aを含む。したがって、拡大メディア表現824aは、図8Bの「非HDR」ラベルによって示される非HDRメディアアイテムを表す。アプリケーションコントロール領域822及びアプリケーションコントロール領域826がコントロールと実質的に重ね合わされている間に、メディアビューワユーザインタフェース820は、コントロールと実質的に重ね合わされない。
アプリケーションコントロール領域822は、任意選択的に、現在の時刻(例えば、図8Bの「10:20」)、現在の日付(図8Bの「2019年4月18日」)のインジケータ、セルラー信号の状態を示すセルラー信号状態インジケータ820a、及びデバイス600の残りのバッテリ寿命の状態を示すバッテリレベル状態インジケータ820bを含む。アプリケーションコントロール領域822はまた、バックアフォーダンス822a(例えば、選択された場合、デバイス600にメディアギャラリーユーザインタフェース810を再表示させる)及び編集アフォーダンス824b(例えば、選択された場合、デバイス600に、現在表示されている拡大メディア表現によって表されるメディアアイテムの表現を編集するための1つ以上のコントロールを含むメディア編集ユーザインタフェースを表示させる)を含む。
アプリケーションコントロール領域826は、一列に表示されるサムネイルメディア表現812(例えば、812a~812f)の一部を含む。拡大メディア表現824aが表示されるため、サムネイルメディア表現812aは、選択されるように表示される。具体的には、サムネイルメディア表現812aは、間隔(例えば、サムネイルメディア表現812aとサムネイルメディアプレゼンテーション812bとの間の空間)と共に表示される唯一のサムネイルメディア表現であることにより、図8Bで選択されているものとして表示される。更に、アプリケーションコントロール領域826は、送信アフォーダンス826b(例えば、選択された場合、デバイス600に、拡大メディア表現によって表されるメディアアイテムを送信するプロセスを開始させる)、お気に入りアフォーダンス826c(例えば、選択された場合、デバイス600に、拡大表現によって表されるメディアアイテムをお気に入りメディアとしてマーキングさせる/マーキングさせない)、及びゴミ箱アフォーダンス826d(例えば、選択された場合、デバイス600に、拡大メディア表現によって表されるメディアアイテムを削除させる(又は削除するためのプロセスを開始させる))を含む。
図8Bに示すように、アプリケーションコントロール領域822及びアプリケーションコントロール領域826(「アプリケーションコントロール領域」)は、メディアビューワユーザインタフェース820の領域の背景部分である。図8Bでは、アプリケーションコントロールは、メディアビューワユーザインタフェース820の縁部にある。アプリケーションコントロール領域822は、メディアビューワユーザインタフェースのヘッダであり、アプリケーションコントロール領域826は、メディアビューワユーザインタフェース820のフッタである。
図8Bに示すように、アプリケーションコントロール領域は、淡色(例えば、薄い灰色、明るい色)のオーバーレイを含む。淡色のオーバーレイは、デバイス600が暗モードで動作していないことを示す。いくつかの実施形態では、デバイス600が暗モードで動作しているとき、アプリケーションコントロール領域は、図8K~図8Lに関連して以下に説明するように、暗色のオーバーレイ(例えば、濃い灰色、黒色)を含む。例示の目的のために、アプリケーションコントロール領域は、アプリケーションコントロール領域がどの程度暗く陰影があるかを示すハッチングを含む。例えば、より高い線密度(例えば、互いに近い線)で示されるアプリケーションコントロール領域は、より低い線密度(例えば、互いに近くない線)で示されるアプリケーションコントロール領域の視覚的見掛けよりも暗くなる視覚的見掛けを有する。したがって、図8B~図8Kのアプリケーションコントロール領域に描かれているハッチングは、メディアビューワユーザインタフェース820の対応する部分の暗さ/輝度又は色を示す。
図8Bに示すように、アプリケーションコントロール領域は、図8Bに表示されたハッチングによって示されるように、デフォルト色(例えば、色の濃淡レベル)で表示される。図8Bでは、拡大メディア表現824aが非HDRメディアアイテムを表すため、デバイス600は、デフォルト色(及び/又はデフォルト輝度レベル)でアプリケーションコントロール領域を表示している。図8Bでは、デバイス600は、メディアビューワ領域824内の左向きスワイプジェスチャ850bを検出する。
図8Cに示すように、左向きスワイプジェスチャ850bを検出したことに応答して、デバイス600は、拡大メディア表現824aを拡大メディア表現824bと置き換える。拡大メディア表現824bは、サムネイルメディア表現812bと同じメディアアイテムを表す。したがって、拡大メディア表現812bは、図8Cの「非HDR」ラベルによって示される非HDRメディアアイテムを表す(例えば、図8Aのサムネイルメディア表現812bに関して上述したように)。左向きスワイプジェスチャ850bを検出したことに応答して、デバイス600は、サムネイルメディア表現812を更新して、サムネイルメディア表現812bに対応するメディアアイテムがメディアビューワ領域824内の拡大メディア表現として表示されていることを示す。
図8Cに示すように、左向きスワイプジェスチャ850bを検出したことに応答して、デバイス600は、図8Bのハッチングと同じ密度を有する図8Cに表示されたハッチングによって示されるように、デフォルト色でアプリケーションコントロール領域を表示し続ける。図8Cでは、拡大メディア表現824aが非HDRメディアアイテムを表すため、デバイス600は、アプリケーションコントロール領域をデフォルト色で表示し続ける。図8Cでは、デバイス600は、メディアビューワ領域824内の左向きスワイプジェスチャ850cを検出する。
図8Dに示すように、左向きスワイプジェスチャ850cを検出したことに応答して、デバイス600は、拡大メディア表現824bを拡大メディア表現824cに置き換える。拡大メディア表現824cは、サムネイルメディア表現812cと同じメディアアイテムを表す。したがって、拡大メディア表現812cは、図8Dの「HDR」ラベルによって示されるHDRメディアアイテムを表す(例えば、図8Aのサムネイルメディア表現812cに関して上述したように)。特に、図8Aのサムネイルメディア表現812cは、視覚的に表示されたHDRコンテンツを含まなかったが、図8Dの拡大メディア表現824bは、視覚的に表示されたHDRコンテンツを含む。図8Dに示すように、デバイス600はまた、サムネイルメディア表現812を更新して、類似の技術を使用してかつ(例えば、図8B~図8Cにおいて)上述したものと同様の理由でそのサムネイル812cを示す。
図8Dに示すように、左向きスワイプジェスチャ850cを検出したことに応答して、デバイス600は、図8Cのアプリケーションコントロール領域の色よりも(例えば、図8Cのハッチングとしてより低いレベルの密度を有する図8Dのハッチングによって示されるように)明るい色(例えば、より明るい色、より白色の色)を有するように、アプリケーションコントロール領域を更新する。図8Dでは、デバイス600は、それぞれのメディアアイテム(例えば、現在表示されている拡大メディア表現によって表されるメディアアイテム)内のHDRコンテンツの輝度に基づいて、図8Dに表示された色を有するように、アプリケーションコントロール領域を更新する。
図8Eでは、デバイス600は、拡大メディア表現824cを表示し続ける。デバイスが(例えば、図8Eにおいて)拡大メディア表現824cを表示し続けると、拡大メディア表現824cが所定の期間よりも長く表示されているとの判定が行われる。図8Eに示すように、拡大メディア表現824cが所定の期間より長く表示されていると判定の判定が行われるため、デバイス600は、アプリケーションコントロール領域を図8Dに表示されたアプリケーションコントロール領域の色よりも明るい色を有するように更新する(例えば、図8Dのハッチングとしての低い密度レベルを有する図8Eのハッチングとして示されるように)。図8Dのアプリケーションコントロール領域のより明るい色は、それぞれのメディアアイテム(例えば、現在表示されている拡大メディア表現によって表されるメディアアイテム)内のHDRコンテンツの輝度に基づいている。したがって、図8Eでは、デバイス600は、拡大メディア表現824cが表示された時間量に基づいて、アプリケーションコントロール領域の色を明るくする。いくつかの実施形態では、デバイス600は、拡大メディア表現824cが表示される時間量にかかわらず、図8Eに表示されたアプリケーションコントロール領域の色よりも、これ以上アプリケーションコントロール領域の色を明るくすることはない。いくつかの実施形態では、デバイス600は、色が拡大メディア表現824cによって表されるHDRメディア内のHDRコンテンツのレベルに基づく最大輝度レベルに到達したとの判定が行われるため、デバイス600は、これ以上アプリケーションコントロール領域の色を明るくすることはない。いくつかの実施形態では、図8C~図8Eを参照すると、デバイス600は、拡大メディア表現824cが表示された後に、図8Cのアプリケーションコントロール領域の色から図8Eのアプリケーションコントロール領域の色まで徐々に明るくするアプリケーションコントロール領域のアニメーションを表示する。
いくつかの実施形態では、デバイス600は、拡大メディア表現が表示される前に(例えば、追加的に又は代替的に、拡大メディア表現が表示された時間に基づいて)受信されたジェスチャの速度(例えば、スワイプジェスチャ850c、又は表示された拡大メディア表現を遷移する時間)に基づいて、アプリケーションコントロール領域の色を明るくする(又は暗くする)。いくつかの実施形態では、デバイス600は、より長い持続時間にわたってジェスチャが検出されたときにはより多くアプリケーションコントロール領域の色を明るくし(又は暗くし)、より短い持続時間にわたってジェスチャが検出されたときにはより少なくアプリケーションコントロール領域の色を明るくする(又は暗くする)。いくつかの実施形態では、デバイス600は、拡大メディア表現が表示される前に受信されたジェスチャ(例えば、ジェスチャ850b及び850c)の平均速度に基づいて、アプリケーションコントロール領域の色を明るくする(又は暗くする)。いくつかの実施形態では、デバイス600は、ジェスチャの平均速度がより低いときにはより多くアプリケーションコントロール領域の色を明るくし(又は暗くし)、ジェスチャの平均速度がより高いときにはより少なくアプリケーションコントロール領域の色を明るくする(又は暗くする)。図8Eでは、デバイス600は、サムネイル表現812d上のタップジェスチャ850eを検出する。
図8Fに示すように、タップジェスチャ850eを検出したことに応答して、デバイス600は、拡大メディア表現824cを拡大メディア表現824dに置き換える。拡大メディア表現824dは、図8Fの「HDR」ラベルによって示される、サムネイルメディア表現812d(例えば、HDRメディアアイテム)と同じメディアアイテムを表す。タップジェスチャ850eを検出したことに応答して、デバイス600はまた、サムネイルメディア表現812を更新して、サムネイルメディア表現812dに対応するメディアアイテムがメディアビューワ領域824内の拡大メディア表現として表示されていることを示す。拡大メディア表現824c(例えば、図8D~図8E)及び拡大メディア表現824d(例えば、図8F)を比較すると、拡大メディア表現824dは、拡大メディア表現824cよりも視覚的に暗くなる。図8Fでは、拡大メディア表現824dによって表されるメディアアイテムが、第2の量の輝度を有するHDRコンテンツを含むとの判定が行われる。拡大メディア表現824dによって表されるメディアアイテム内のHDRコンテンツの第2の量の輝度は、図8D~図8Eの拡大メディア表現824cによって表されるメディアアイテム内のHDRコンテンツの輝度の量よりも暗くなる。
図8Fに示すように、タップジェスチャ850eを検出したことに応答して、及び拡大メディア表現824dによって表されるメディアアイテムが、第2の量の輝度を有するコンテンツを含むとの判定が行われるため、デバイス600は、アプリケーションコントロール領域の色を更新する。具体的には、デバイス600は、図8Fのアプリケーションコントロール領域が図8Eのアプリケーションコントロール領域よりも暗くなるように、アプリケーションコントロール領域の色を更新する。図8Fでは、(例えば、図8Fに示される)拡大メディア表現824dによって表されるメディアアイテム内のHDRコンテンツの第2の量の輝度が、(例えば、図8Eに示される)拡大メディア表現824cによって表されるメディアアイテム内のHDRコンテンツの輝度の量よりも暗いことから、デバイス600は、図8Eのアプリケーションコントロール領域よりも視覚的に暗くなるように図8Fのアプリケーションコントロール領域の色を更新する。したがって、デバイス600は、デバイス600上に(例えば、拡大メディア表現を介して)現在表示されているメディアアイテム内のHDRコンテンツの輝度に基づいて、アプリケーションコントロール領域の色を更新する。いくつかの実施形態では、メディアアイテム内のHDRコンテンツの輝度レベルは、メディアアイテム内の明るい部分の数、メディアアイテムの全体の輝度、メディアアイテムの最も明るい部分、及び/又はメディアアイテムの特定の部分の輝度に基づいている。いくつかの実施形態では、デバイス600は、上述したように、アプリケーションコントロール領域の色をどの程度暗くするかを判定するために、1つ以上の技術を使用する。図8Fでは、デバイス600は、メディアビューワ領域824内の左向きスワイプジェスチャ850fを検出する。
図8Gに示すように、左向きスワイプジェスチャ850fを検出したことに応答して、デバイス600は、拡大メディア表現824dを拡大メディア表現824eに置き換える。拡大メディア表現824eは、図8Gの「HDR」ラベルによって示される、サムネイルメディア表現812e(例えば、HDRメディアアイテム)と同じメディアアイテムを表す。左向きスワイプジェスチャ850fを検出したことに応答して、デバイス600はまた、サムネイルメディア表現812を更新して、サムネイルメディア表現812eに対応するメディアアイテムがメディアビューワ領域824内の拡大メディア表現として表示されていることを示す。拡大メディア表現824d(例えば、図8F)及び拡大メディア表現824e(例えば、図8F)を比較すると、拡大メディア表現824eは、拡大メディア表現824d(例えば、上述したように、及び拡大メディア表現824c)よりも視覚的に暗くなる。図8Gでは、拡大メディア表現824eによって表されるメディアアイテムが、上述した1つ以上の技術を使用して、第3の量の輝度を有するHDRコンテンツを含むとの判定が行われる。表現824eによって表されるメディアアイテム内のHDRコンテンツの第3の量の輝度は、表現824dによるメディアアイテム表現内のHDRコンテンツの第2の量の輝度よりも明るい。
図8Gに示すように、左向きスワイプジェスチャ850fを検出したことに応答して、及び拡大メディア表現824eによって表されるメディアアイテムが、第3の量の輝度を有するHDRコンテンツを含むことから、デバイス600は、アプリケーションコントロール領域の色を更新する。図8Gでは、デバイス600は、(例えば、第3の量の輝度(例えば、図8G)が第2の量の輝度(例えば、図8D)よりも大きいため)図8Gのアプリケーションコントロール領域が図8E~図8Dのアプリケーションコントロール領域よりも明るくなるように、アプリケーションコントロール領域の色を更新する。デバイス600は、上述したように、1つ以上の技術を使用して、図8Gのアプリケーション領域の色を更新する。図8Gでは、デバイス600は、メディアビューワ領域824内の左向きスワイプジェスチャ850gを検出する。
図8H~図8Iは、デバイス600が左向きスワイプジェスチャ850gを検出したことに応答して表示されることができるメディアビューワユーザインタフェース820を示す。いくつかの実施形態では、図8Hのメディアビューワユーザインタフェース820は、デバイス600が左向きスワイプジェスチャ850gを検出したことに応答して表示され、図8Iのメディアビューワユーザインタフェース820は、メディアビューワユーザインタフェース820が所定の期間表示された後に表示される(例えば、図8D~図8Eに関連して上述した技術を使用して)。いくつかの実施形態では、図8Hのメディアビューワユーザインタフェース820は、左向きスワイプジェスチャ850gを検出したことに応答して表示されず、図8Iのメディアビューワユーザインタフェース820は、左向きスワイプジェスチャ850gを検出したことに応答して表示される。
図8H(及び図8I)に示すように、タップジェスチャ850gを検出することに応答して、デバイス600は、拡大メディア表現824eを拡大メディア表現824fに置き換える。拡大メディア表現824fは、図8H(及び図8I)の「HDR」ラベルによって示される、サムネイルメディア表現812f(例えば、HDRメディアアイテム)と同じメディアアイテムを表す。タップジェスチャ850gを検出したことに応答して、デバイス600はまた、サムネイルメディア表現812を更新して、サムネイルメディア表現812fに対応するメディアアイテムがメディアビューワ領域824内の拡大メディア表現として表示されていることを示す。拡大メディア表現824e(例えば、図8G)及び拡大メディア表現824f(例えば、図8H)を比較すると、拡大メディア表現824fは、拡大メディア表現824eよりも視覚的に明るくなる。図8H(又は図8I)では、拡大メディア表現824fによって表されるメディアアイテムが輝度閾値を上回るHDRコンテンツを有するとの判定が行われる。
図8Iに示すように、メディアアイテム(例えば、拡大メディア表現824fによって表される)が輝度閾値を上回るとの判定が行われることから(例えば、及びスワイプジェスチャ850gを検出したことに応答して)、デバイス600は、拡大メディア表現824fのHDRコンテンツを暗くする(図8Hの拡大メディア表現824fのラインよりも暗いラインを有する図8Iの拡大メディア表現824fによって示されるように)。更に、デバイス600は、図8Iのアプリケーションコントロール領域が図8Gのアプリケーションコントロール領域よりも明るくなるように、アプリケーションコントロール領域の色を更新する。デバイス600は、上述したように、1つ以上の技術を使用して、図8Iのアプリケーション領域の色を更新する。したがって、図8Iでは、メディアアイテムが輝度閾値を上回るとの判定が行われると、デバイス600は、拡大メディア表現の輝度がアプリケーションコントロール領域の輝度に近くなるように、メディアアイテムの拡大メディア表現及びアプリケーションコントロール領域の双方を変更する。いくつかの実施形態では、デバイス600は、拡大表現の輝度に近い輝度を有するアプリケーションコントロール領域を表示することによって、視覚的に煩わしくないメディアユーザインタフェースを表示する。図8Iでは、デバイス600は、メディアビューワ領域824内の左向きスワイプジェスチャ850iを検出する。
図8Jに示すように、左向きスワイプジェスチャ850iを検出したことに応答して、デバイス600は、拡大メディア表現824fを拡大メディア表現824gに置き換える。拡大メディア表現824gは、図8Jの「非HDR」ラベルによって示される、サムネイルメディア表現812g(例えば、非HDRメディアアイテム)と同じメディアアイテムを表す。図8Jに示すように、左向きスワイプジェスチャ850iを検出したことに応答して、及びそれぞれのメディアアイテムが非HDRメディアアイテムであるため、デバイス600は、(例えば、図8Bのハッチングと同じ密度を有する図8Jに表示されたハッチングによって)アプリケーションコントロール領域の色をデフォルト色に更新する。
図8K~図8Lは、暗色モードで動作している及び/又はアプリケーション領域内に暗色オーバーレイを表示しているときのデバイス600を示す。図8Kに示すように、デバイス600は、暗色オーバーレイ(例えば、濃い灰色、黒色;非半透明)及びメディアビューワ領域824内に表示された拡大メディア表現824bを有するアプリケーションコントロール領域を表示する。図8Kでは、デバイス600は、メディアビューワ領域824内の左向きスワイプジェスチャ850kを検出する。
図8Lに示すように、左向きスワイプジェスチャ850kを検出したことに応答して、デバイス600は、拡大メディア表現824bを拡大メディア表現824cに置き換える。拡大メディア表現824cは、サムネイルメディア表現812cと同じメディアアイテムを表す。したがって、拡大メディア表現812cは、図8Dの「HDR」ラベルによって示されるHDRメディアアイテムを表す(例えば、図8Aのサムネイルメディア表現812cに関して上述したように)。図8Kに示すように、デバイス600は、図8Kに表示されたアプリケーションコントロール領域と同じ視覚的見掛けを有するが、拡大メディア表現812cはHDRメディアアイテムを表す、アプリケーションコントロール領域を表示し続ける。したがって、デバイス600が過度に暗色のアプリケーション領域を表示すると、デバイス600は、(例えば、デバイス600がアプリケーションコントロール領域を明色オーバーレイによって表示したときにデバイス600が図8C~図8Dのアプリケーションコントロール領域の視覚的見掛けを更新するときとは対照的に)メディアアイテム内のHDRコンテンツの輝度に基づいて、アプリケーションコントロール領域の視覚的見掛けを更新しない。
図9は、いくつかの実施形態に係る、コンピュータシステムを使用してメディアを表示するための方法を示すフロー図である。方法900は、ディスプレイ生成構成要素(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム)及び1つ以上の入力デバイス(例えば、タッチ感知面)と通信するコンピュータシステム(例えば、100、300、500、600)において実行される。方法900のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法900は、メディアを表示するための直感的な仕方を提供する。この方法は、メディアを表示する際のユーザの認識的負担を軽減し、それにより、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作式コンピューティングシステムの場合、ユーザがより高速かつ効率的にメディアを閲覧することを有効化することで、節電し、バッテリ充電間の時間を延ばす。
コンピュータシステム(例えば、600)(例えば、スマートホン、スマートウォッチ)は、ディスプレイ生成構成要素を介して、以下を含むメディアビューワユーザインタフェース(例えば、820)(例えば、以前にキャプチャされたメディアの1つ以上の表現(例えば、拡大表現又はサムネイル表現)を表示するためのインタフェース)を表示する(902):第1の以前にキャプチャされたメディアアイテム(例えば、画像、ビデオ)の表現(例えば、824a~824f)を含む第1の部分(例えば、824);及び第1の視覚的見掛けを有し、かつメディアビューワユーザインタフェース(例えば、820)の第1の部分(例えば、824)とは異なる(例えば、別個の、独立した)ユーザインタフェースの第2の部分(例えば、822及び/又は826)(例えば、ユーザインタフェースのクロム部分(例えば、ヘッダ、フッタ、ユーザインタフェースのメニューセクション)、ユーザインタフェースの視覚コンテンツを部分的に又は完全に取り囲むユーザインタフェースの部分(例えば、第1の部分))。いくつかの実施形態では、以前にキャプチャされたメディアの表現は、コンピュータシステムの1つ以上のカメラによってキャプチャされている。いくつかの実施形態では、第1の以前にキャプチャされたメディアは、高ダイナミックレンジ(HDR)メディアである。いくつかの実施形態では、第1の以前にキャプチャされたメディアは、高ダイナミックレンジメディアではない。いくつかの実施形態では、メディアビューワユーザインタフェースの第2の部分は、メディアビューワユーザインタフェースの第1の部分の外側にある。いくつかの実施形態では、メディアビューワユーザインタフェースの第2の部分は、メディアビューワユーザインタフェースの第1の部分の上方及び/又は下方にある。いくつかの実施形態では、第2の部分は、メディアユーザインタフェースの第1の部分によって分離されたメディアユーザインタフェースの第3の部分及びメディアユーザインタフェースの第4の部分を含む。いくつかの実施形態では、第2の部分は、複数のアフォーダンス(例えば、選択された場合、コンピュータシステムに、1つ以上のアプリケーションを介して、以前にキャプチャされたメディアの表現を共有させるアフォーダンス、選択された場合、コンピュータシステムに、以前にキャプチャされたメディアの表現を編集するためのユーザインタフェースを表示させるアフォーダンス、選択された場合、コンピュータシステムに、以前にキャプチャされたメディアの表示された表現を削除させるアフォーダンス、選択された場合、コンピュータシステムに、特定の表現群(例えば、お気に入り表現、「いいね」表現など)における以前にキャプチャされたメディアの表現を含ませるアフォーダンス、選択された場合、コンピュータシステムに、複数の表現(例えば、格子状に複数の写真を有するメディアギャラリー)を同時に表示させるアフォーダンス、選択された場合、コンピュータシステムに、メディアビューワユーザインタフェースの表示を停止させかつメディアビューワユーザインタフェースとは異なるユーザインタフェースを表示させるアフォーダンス)を含む。いくつかの実施形態では、以前にキャプチャされたメディアの表現は、コンピュータシステムの1つ以上のカメラによってキャプチャされている。いくつかの実施形態では、第1の以前にキャプチャされたメディアは、高ダイナミックレンジメディアである。いくつかの実施形態では、第1の以前にキャプチャされたメディアは、高ダイナミックレンジメディアではない。
ディスプレイ生成構成要素を介して、第1の視覚的見掛け(例えば、図8Fの822及び/又は826)を有するメディアビューワユーザインタフェース(例えば、820)(例えば、820)の第2の部分(例えば、822及び/又は826)(及び第1の以前にキャプチャされたメディアアイテムの表現を含む第1の部分)を含むメディアビューワユーザインタフェースを表示している間、コンピュータシステムは、(例えば、第1の以前にキャプチャされたメディアアイテムの表現の表示を、第2の以前にキャプチャされたメディアアイテムの表現に置き換えるため)第1の以前にキャプチャされたメディアアイテム(例えば、824d)とは異なる第2の以前にキャプチャされたメディアアイテム(例えば、静止画像、ビデオ)の表現(例えば、824e)を表示する要求(例えば、メディアビューワユーザインタフェース(例えば、820)上のスワイプジェスチャ)を受信する(904)(例えば、850f)。
第2の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信した(906)ことに応答して、及び第2の以前にキャプチャされたメディアアイテム(例えば、824e)(又は異なるメディアアイテム)の表現が高ダイナミックレンジ(HDR)メディアアイテムであるときに満たされる基準を含む第1の基準のセットが満たされたとの判定(908)に従って、コンピュータシステムは、第2の以前にキャプチャされたメディアアイテムの表現を表示し(例えば、第1の以前にキャプチャされたメディアアイテムの表現の表示を第2の以前にキャプチャされたメディアアイテムの表現に置き換える)(910)、第1の視覚的見掛け(例えば、図8Fにおける822及び/又は826)とは異なる第2の視覚的見掛け(例えば、図8Gにおける822及び/又は826)を有するように、メディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、822及び/又は826)を更新する(912)。いくつかの実施形態では、第1の基準のセットが満たされたとの判定に従って、第1の以前にキャプチャされたメディアアイテムは表示されなくなる。いくつかの実施形態では、第2の視覚的見掛けは、第1の視覚的見掛けよりも明るい/明るくない(又は白い)。いくつかの実施形態では、第2の視覚的見掛けは、第2の以前にキャプチャされたメディアアイテムの表現の輝度レベルに基づいている。いくつかの実施形態では、輝度レベルは、以前にキャプチャされたメディアの表現内の特定の要素のそれぞれの輝度を含むことができ、及び/又は以前にキャプチャされたメディアの表現内の明るい要素の数に基づくことができ、及び/又は以前にキャプチャされたメディアの表現の全体的な輝度に基づくことができる。所定の条件が満たされたとき(例えば、HDR写真を表示するとき)、メディアビューワユーザインタフェース(例えば、820)の一部(例えば、画像の境界、クロム)を更新することにより、更新されたメディア部分の部分がHDR写真内の要素とより密接に一致することから、ユーザインタフェースをHDR写真が表示されるときにより視覚的に煩わしくしない。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、822及び826)を更新することの一部として、及びメディアアイテムの一部(例えば、図8Fの824d)(例えば、HDRコンテンツ)が第1のレベルの輝度を有するとの判定に従って、コンピュータシステムは、第1の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば、白色度))を有するメディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、図8Fにおける822及び/又は826)を表示する。いくつかの実施形態では、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分を更新することの一部として、及びメディアアイテムの一部が第2のレベルの輝度(例えば、図8Gの824e)を有するとの判定に従って、コンピュータシステムは、第1の量の視覚的特性とは異なる第2の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば、白色度))を有するメディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、図8Gにおける822及び/又は826)を表示する。いくつかの実施形態では、メディアビューワユーザインタフェースの第2の部分は、メディアアイテム内のコンテンツ(例えば、HDRコンテンツ)の輝度に基づいて、第2の視覚的見掛けを有するように更新される。いくつかの実施形態では、第2の輝度レベルが第1の輝度レベルよりも高い(又は、あるいは、より低い)とき、第2の量は、第1の量よりも高い。いくつかの実施形態では、メディアアイテムがHDRコンテンツであり、メディアアイテムの一部が、第1のレベルの輝度を上回る輝度で表示されるように構成されるとき、メディアビューワユーザインタフェースの第2の部分は、第1の量の視覚的特性で表示され、メディアアイテムがHDRコンテンツであり、メディアアイテムの一部が、第1のレベルの輝度を上回る輝度で表示されないように構成されるとき、メディアビューワユーザインタフェースの第2の部分は、第1の量の視覚的特性とは異なる第2の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば、白色度))で表示される。メディアビューワユーザインタフェースの一部(例えば、クロム)を、異なるメディアアイテムのHDRコンテンツの輝度に基づいて異なるように動的に更新することにより、ユーザインタフェースを、それぞれのメディアアイテムを表示するときに視覚的に煩わしくしない(例えば、メディアのHDRコンテンツがより明るいとき、メディアビューワユーザインタフェースの一部はより明るい)。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分を更新することの一部として、及びメディアアイテム(例えば、824c)が第1の時間量にわたって表示されたとの判定に従って、コンピュータシステムは、第3の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば、白色度))を有するメディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、図8Dにおける822及び/又は826)を表示する。いくつかの実施形態では、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分を更新することの一部として、及びメディアアイテム(例えば、824c)が第1の時間量とは異なる第2の時間量にわたって表示されたとの判定に従って、コンピュータシステムは、第3の量の視覚的特性とは異なる第4の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば、白色度))を有するメディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、図8Eの822及び/又は826)を表示する。いくつかの実施形態では、メディアビューワユーザインタフェースの第2の部分は、メディアアイテムが表示された時間量に基づいて、第2の視覚的見掛けを有するように更新される。いくつかの実施形態では、メディアアイテムを表示している間に、第2の部分の視覚的見掛けは、経時的に(例えば、徐々に、複数回)変化することができる(例えば、0.5、1、2、5、又は10秒の期間にわたって、その後、任意選択的に同じメディアアイテムが表示され続けている間に変化を停止する)。いくつかの実施形態では、メディアアイテムが、第1の時間量よりも長い(又は、あるいはより短い)第2の時間量にわたって表示されるとき、第4の量の視覚的特性は、第3の量の視覚的特性よりも高い。いくつかの実施形態では、メディアビューワユーザインタフェースの第2の部分は、所定量(又は程度)の視覚的特性で表示され、視覚的特性の量は、経過時間量(例えば、第1の以前にキャプチャされたメディアアイテムが表示された時間量、第2の以前にキャプチャされたメディアアイテムが表示された時間量)に基づいている。メディアビューワユーザインタフェースの一部(例えば、クロム)を、HDRメディアが表示される時間に基づいて異なるように動的に更新することにより、ユーザインタフェースを、メディアを表示するときに視覚的により煩わしくせず(例えば、メディアがより少ない時間だけ表示された場合は変化を少なくする)、メディアビューワユーザインタフェースの一部が更新される異なるレベルの輝度の量を低減する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテム(例えば、824c~824f)の表現を表示することの一部として、コンピュータシステムは、第1の以前にキャプチャされたメディアアイテムの表現を、第2の以前にキャプチャされたメディアの表現に置き換える。いくつかの実施形態では、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェースの第2の部分を更新することの一部として、及び第1の以前にキャプチャされたメディアアイテムの表現が、第2の以前にキャプチャされたメディアの表現と置き換えられる前に少なくとも第1の時間量だけ表示されたとの判定に従って、コンピュータシステムは、第5の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば、白色度))を有するメディアビューワユーザインタフェース(例えば、820)の第2の部分を表示する。いくつかの実施形態では、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分を更新することの一部として、及び第1の以前にキャプチャされたメディアアイテムコンテンツの表現が、第1の時間とは異なる第2の時間量で第2の以前にキャプチャされたメディアの表現に置き換えられたとの判定に従って、コンピュータシステムは、第5の量の視覚的特性とは異なる第6の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば、白色度))を有するメディアビューワユーザインタフェース(例えば、820)の第2の部分を表示する。いくつかの実施形態では、メディアビューワユーザインタフェースの第2の部分は、以前に表示された表現間の遷移の継続時間に基づいて、第2の視覚的見掛けを有するように更新される。いくつかの実施形態では、表現間の遷移の継続時間がより小さい(より大きい)とき、視覚的見掛けの変化量はより小さい(より大きい)。メディアビューワユーザインタフェースの一部(例えば、境界、クロム)を、2つのメディアアイテム間の遷移時間に基づいて異なるように動的に更新することにより、ユーザインタフェースを、メディアを表示するときに視覚的により煩わしくせず(例えば、メディアがより迅速に遷移された場合は変化を少なくする)、メディア間を迅速に遷移するときの輝度の量の変化における無愛想さを低減する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分を更新することの一部として、及び以前にキャプチャされたメディアアイテムを表示する要求(例えば、850f、850g)(例えば、以前の5つの要求)の平均速度が第1の閾値以下である(例えば、又は以前にキャプチャされたメディアアイテムの複数の表現を表示する複数の要求の第1の数が第2の以前にキャプチャされたメディアアイテムの表現を表示する前に所定の時間内に受信された)との判定に従って、コンピュータシステムは、第7の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば白色度))を有するメディアビューワユーザインタフェース(例えば、820)の第2の部分を表示する。いくつかの実施形態では、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分を更新することの一部として、及び以前にキャプチャされたメディアアイテムを表示する要求の平均速度が第1の閾値以下でない(例えば、以前にキャプチャされたメディアアイテムの複数の表現を表示する複数の要求の第2の数が第2の以前にキャプチャされたメディアアイテムの表現を表示する前に所定の時間内に受信された)との判定に従って、コンピュータシステムは、第7の量の視覚的特性とは異なる第8の量の視覚的特性(例えば、輝度レベル、不透明度、色(例えば白色度))を有するメディアビューワユーザインタフェース(例えば、820)の第2の部分を表示する。いくつかの実施形態では、第2の数は、第1の数とは異なる。いくつかの実施形態では、メディアビューワユーザインタフェースの第2の部分は、入力の平均速度(例えば、スワイプ速度又は速度)に基づいて、第2の視覚的見掛けを有するように更新される。いくつかの実施形態では、入力の平均速度が高い場合、第2の部分は、後続の入力の平均速度がより低いときよりも変化が少ない。いくつかの実施形態では、メディアビューワユーザインタフェースの第2の部分は、所定量(又は程度)の視覚的特性で表示され、視覚的特性の量は、メディアブラウザインタフェースの第1の部分内にコンテンツが表示された速度(例えば、単位時間当たりの画像数)に基づいている。メディアビューワユーザインタフェースの一部(例えば、境界、クロム)を、メディアアイテム間の遷移時間に基づいて異なるように動的に更新することにより、ユーザインタフェースを、メディアを表示するときに視覚的により煩わしくせず(例えば、速度がより迅速である場合は変化を少なくする)、メディア間を迅速に遷移するときの輝度の量の変化における無愛想さを低減する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、ディスプレイ生成構成要素を介して、第1の視覚的見掛けを有するメディアビューワユーザインタフェース(例えば、820)の第2の部分(及び第1の以前にキャプチャされたメディアアイテムの表現を含む第1の部分)を含むメディアビューワユーザインタフェースを表示している間に、コンピュータシステムは、第1の以前にキャプチャされたメディアアイテム及び第2の以前にキャプチャされたメディアアイテムとは異なる第3の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信する。いくつかの実施形態では、第3の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信したことに応答して、及び第1の基準のセットが満たされたとの判定に従って、コンピュータは、(例えば、第2の以前にキャプチャされたメディアアイテムの表現を置き換えることによって)第3の以前にキャプチャされたメディアアイテムの表現を表示し、第1の視覚的見掛け及び第2の視覚的見掛けとは異なる第3の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、822及び/又は826)を更新する。いくつかの実施形態では、第1の基準のセットは、第3の以前のメディアの表現がHDRメディアアイテムであるときに満たされる基準を含む。いくつかの実施形態では、第3のメディアアイテムが以前に表示されたメディアアイテムよりもコンテンツのより高い輝度レベルを有する場合(例えば、輝度レベルは、画像内の明るい要素の数に基づくことができる、及び/又は画像の全体的な輝度に基づくことができる画像内の特定の要素のそれぞれの輝度を含むことができる)、メディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、822及び/又は826)は、より明るい(又は、より白色を有する)一方で、第3のメディアアイテムは、以前のメディアアイテムが表示されたときよりも表示される。メディアビューワユーザインタフェースの一部(例えば、クロム)を、異なるメディアアイテムのHDRコンテンツの輝度に基づいて異なるように動的に更新することにより、ユーザインタフェースを、それぞれのメディアアイテムを表示するときに視覚的に煩わしくしない(例えば、メディアのHDRコンテンツがより明るいとき、メディアビューワユーザインタフェースの一部はより明るくなる)。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテムは、HDRメディアアイテム(例えば、824c~824f)である。いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテムの表現は、HDRで表示される。いくつかの実施形態では、輝度についての標準ダイナミックレンジを上回る特定の輝度レベルで表示されることを意図された少なくとも一部を有するメディアアイテム(例えば、画像又はビデオ)の場合、メディアアイテムの表現は、標準ダイナミックレンジを上回る輝度レベル(例えば、特定の輝度レベル)で表示される。
いくつかの実施形態では、第1の基準のセットは、第2の部分(例えば、822及び/又は826)が、第1の色(例えば、第2の色(例えば、黒色又は暗色)ではない色(例えば、白又は淡色)、明るい色(例えば、黒色よりも白色の色))である(又は閾値(例えば、赤色-青色-緑色値、16進値)内である)ときに満たされる基準を含む。いくつかの実施形態では、第1の基準のセットは、第2の部分(例えば、822及び/又は826)が第2の色(例えば、黒又は暗色)でないときに満たされる基準を含む。いくつかの実施形態では、コンピュータシステムは、第2の部分(例えば、822及び/又は826)の色範囲に対する2つ以上の任意選択の中から選択するユーザ入力を受信し、第1の基準のセットは、第2の部分(例えば、822及び/又は826)に対する現在の色範囲選択が第1の色範囲(第2の色又は第2の色範囲ではない)であるときに満たされる基準を含む。
いくつかの実施形態では、第2の視覚的見掛けを有するようにメディアビューワユーザインタフェースの第2の部分(例えば、822及び/又は826)を更新することの一部として、コンピュータシステムは、第1の視覚的見掛けから第2の視覚的見掛けにメディアビューワユーザインタフェースの第2の部分(例えば、822及び/又は826)を徐々に遷移する(例えば、所定期間(例えば、1、2、3秒)にわたってフェードする)アニメーションを表示する。HDRメディアアイテムが表示されるときにメディアビューワユーザインタフェースの一部(例えば、クロム)を徐々に更新することにより、ユーザインタフェースを、HDRメディアアイテムを表示するときに視覚的により煩わしくせず、メディアビューワインタフェースの一部の変化の不愛想さを低減する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテム(例えば、第1の以前にキャプチャされたメディアアイテム、第2の以前にキャプチャされたメディアアイテムなど)の表現は、輝度の量(例えば、平均輝度、明るいエリアの割合)を含む。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの表現は、輝度の量(例えば、平均輝度、明るいエリアの割合)が輝度閾値を上回るとの判定に従って、輝度の変更された量(例えば、低減された)(例えば、低減された平均輝度、他の部分の輝度を維持しながら一部の部分における低減された輝度、画像にわたって等しく低減された輝度)で表示される。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの表現は、輝度の量が輝度閾値を上回らないとの判定に従って、輝度の量で(例えば、平均輝度を低減することなく、画像にわたって等しく輝度を低減することなく)表示される。いくつかの実施形態では、メディアアイテムの下にあるコンテンツは同じままである(例えば、輝度閾値を上回る輝度の量を有する)が、メディアアイテムは、変更された輝度の量(例えば、低減された)で表示される。異なるメディアアイテムのHDRコンテンツの輝度に基づいて異なるように表示されたHDRメディアアイテムを動的に変化させることにより、ユーザインタフェースを、それぞれのメディアアイテムを表示するときにより視覚的に煩わしくしない(例えば、写真のHDRコンテンツがより明るくなるにつれて、写真は、より暗く表示され、クロムと写真との間の視覚的な差異を低減する)。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第1の以前にキャプチャされたメディアアイテム(例えば、824a~824b、824g)は、HDRメディアアイテムではない。いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテム(例えば、824c~824f)は、HDRメディアアイテムである。いくつかの実施形態では、ディスプレイ生成構成要素を介して、第1の部分及び第2の部分(例えば、822及び/又は826)を含むメディアビューワユーザインタフェースを表示する前に、コンピュータシステムは、ディスプレイ生成構成要素を介して、メディアアイテムの複数の表現(例えば、812a~812g)を含むユーザインタフェース(例えば、810)を表示する。いくつかの実施形態では、メディアアイテムの複数の表現は、HDRコンテンツなしで第1の以前にキャプチャされたメディアアイテムの第2の表現(例えば、812a~812b、812g)(例えば、サムネイル)、及びHDRコンテンツなしで第2の以前にキャプチャされたメディアアイテムの第2の表現(例えば、812c~812f)(例えば、サムネイル)を表示することを含む。いくつかの実施形態では、メディアアイテムのサムネイル(例えば、画像)は、メディアアイテムが輝度についての標準ダイナミックレンジを上回る特定の輝度レベルで表示されることを意図しているかどうかにかかわらず、標準ダイナミックレンジ輝度を使用して表示される。いくつかの実施形態では、メディアアイテムの複数の表現を表示している間に、コンピュータシステムは、第1の(又は、あるいは、第2の若しくは他の複数の表現のいずれか)以前にキャプチャされたメディアアイテムを表示する要求(例えば、第1の(又は、あるいは、第2の若しくは他の複数の表現のいずれか)以前にキャプチャされたメディアアイテムの第2の表現の選択(例えば、タップ))を受信し、第1の(又は、あるいは、第2の若しくは他の複数の表現のいずれか)表現を表示する要求を受信したことに応答して電子は、(例えば、第1の(又は、あるいは、第2の若しくは他の複数の表現のいずれか)以前にキャプチャされたメディアアイテムの表現を有する)第1の部分と、(例えば、第1の視覚的見掛け(又は、あるいは、第2の以前にキャプチャされたメディアアイテムが第1の部分に表示されたときの第2の視覚的見掛け)を有する)第2の部分(例えば、822及び/又は826)とを含むメディアインタフェースを表示する。
いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信したことに応答して(906)、及び第1の基準のセットが満たされないとの判定に従って、コンピュータシステムは、第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するようにメディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、822及び/又は826)の更新を取り止める(914)(例えば、第1の視覚的見掛けを有するメディアビューワユーザインタフェース(例えば、820)の第2の部分(例えば、822及び/又は826)を表示する(又は表示し続ける))。いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテムの表現がHDRメディアアイテムではない場合には、第1の基準のセットは満たされない。いくつかの実施形態では、非HDR写真が表示されるとき、クロム(表示される画像を取り囲むエリア)は変化しない。いくつかの実施形態では、第1の基準のセットが満たされないとの判定に従って、コンピュータシステムは、第2の部分(例えば、822及び/又は826)の表示を所定の(例えば、第2の以前にキャプチャされたメディアアイテムの輝度とは無関係に)視覚的見掛けに遷移する。したがって、画像がHDR画像ではない限り、第2の部分(例えば、822及び/又は826)は、非HDR画像の輝度/暗さの量にかかわらず、所定の外観を使用して表示される。メディアがHDRメディアではないときに、メディアユーザインタフェースの一部の変化を動的に取り止めることにより、ユーザインタフェースを、非HDR対応のそれぞれのメディアアイテムを表示するときに、より視覚的に煩わしくしない。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第2の以前にキャプチャされたメディアアイテム及び第2の視覚的見掛けを有する第2の部分(例えば、822及び/又は826)の表現を表示している間に、コンピュータシステムは、第4の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信する(例えば、850g、850i)。いくつかの実施形態では、第3の以前にキャプチャされたメディアアイテムを表示する要求を受信することに応答して(例えば、850g、850i)、及び第1の基準のセットが満たされたとの判定に従って、コンピュータシステムは、第2の部分(例えば、822及び/又は826)の視覚的見掛けを更新することなく、(例えば、第2の以前にキャプチャされたメディアアイテムの表示を置き換えることによって)第4の以前にキャプチャされたメディアアイテムの表現を表示し、第1の視覚的見掛け及び第2の視覚的見掛けとは異なることに基づいて視覚的見掛け(例えば、図8E~図8Iの822及び/又は図826)を有するようにメディアの第2の部分(例えば、822及び/又は826)を更新する。いくつかの実施形態では、第3の以前にキャプチャされたメディアアイテムを表示する要求を受信したことに応答して、及び第1の基準のセットが満たされない(例えば、第4の以前にキャプチャされたメディアアイテムがHDRメディアアイテムではない)との判定に従って、コンピュータシステムは、第4の以前にキャプチャされたメディアアイテムの表現を表示し、第2の視覚的見掛けとは異なる所定の(例えば、第2の以前にキャプチャされたメディアアイテムの輝度とは無関係に)視覚的見掛け(例えば、図8C~図8D及び図8Jの822及び/又は826)を有するようにメディアの第2の部分(例えば、822及び/又は826)を更新する。いくつかの実施形態では、第4の以前にキャプチャされたメディアアイテムがHDRではない限り、第2の部分(例えば、822及び/又は826)は、非HDR画像がどの程度明るい/暗いかにかかわらず、所定の視覚的見掛けを使用して表示される。いくつかの実施形態では、非HDR画像が表示されることを要求されると、第2の部分(例えば、822及び/又は826)は、非HDR画像がどの程度明るい/暗いかにかかわらず、所定の視覚的見掛け(例えば、全ての非HDR画像についての同じ色及び/又は輝度)を使用して表示され、HDR画像が表示されることを要求されると、第2の部分(例えば、822及び/又は826)は、HDR画像がどの程度明るい/暗いかに基づく可変視覚的見掛けを使用して表示される。
方法900(例えば、図9)に関して上記したプロセスの詳細はまた、後述/前述の方法にも同様の方法で適用可能であることに留意されたい。例えば、方法700及び方法1100は、方法900を参照して前述した様々な方法の特性のうちの1つ以上を任意選択的に含む。例えば、方法900は、(上述した)方法700の1つ以上のステップを使用して、特定の露出補償値でメディアをキャプチャするように構成されたコンピュータシステムを使用してキャプチャされたメディアを表示することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図10A~図10ACは、いくつかの実施形態に係る、電子デバイスを使用して状態インジケータを表示するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図11のプロセスを含む後述のプロセスを例示するために使用される。
図10A~図10ACでは、デバイス600は、マイクロフォン(例えば、図10B、図10E)及び/又はカメラ(例えば、図10Q、図10W)などの1つ以上のメディアキャプチャデバイスを使用してメディアを記録する(又はキャプチャする)ことができる。図10A~図10ACは、デバイス600が、メディアキャプチャデバイスのうちの少なくとも1つによって記録されているデータの種類に基づいて記録状態インジケータを表示するか、又は表示しない例示的なシナリオを示す。図10A~図10Cに関連して使用される場合、データの種類は、データのフォーマットではなく、データがどのように使用されるかを指す(例えば、データが再生のために利用可能であるかどうか;データが信頼されたアプリケーション又は信頼されていないアプリケーションに渡されているかどうか)を指す。図10A~図10ACに関連して本明細書で使用される場合、第1の種類のデータ(例えば、キャプチャ状態インジケータが表示されるデータの種類)は、第1の方法で使用される(又は潜在的に使用される)と判定されるデータを指し、第2の種類のデータ(例えば、キャプチャ状態インジケータが表示されないデータの種類)は、第1の方法で使用されないと判定されるデータを指す。いくつかの実施形態では、第1の種類のデータ(例えば、キャプチャ状態インジケータが表示されるデータの種類)は、後の再生のために利用可能な(例えば、記憶された)データに対応し、第2の種類のデータ(例えば、キャプチャ状態インジケータが表示されないデータの種類)は、再生のために利用可能でないデータに対応する。いくつかの実施形態では、第1の種類のデータ(例えば、キャプチャ状態インジケータが表示されるデータの種類)は、信頼されていないアプリケーション(例えば、非第1者の音声アシスタントアプリケーション、非第1者の認証アプリケーション)に渡されるデータに対応し、第2の種類のデータ(例えば、キャプチャ状態インジケータが表示されないデータの種類)は、信頼されていないアプリケーション(例えば、非第1者の音声アシスタントアプリケーション、非第1者の第三者認証アプリケーション)に渡されることなく、かつ後の時間(例えば、デバイスによって、又は他のデバイスによって)再生されることができるメディアとして保持されることなく、1つ以上の信頼されたアプリケーション(例えば、オペレーティングシステム又は信頼された第1者の及び/又は第3者のアプリケーションの構成要素)によってデバイスの様々な特徴を制御するために使用されるデータに対応する。したがって、判定は、信頼されていないアプリケーションが記録されたデータ(例えば、オーディオ又はビデオコンテンツ)へのアクセスを有するか否かに基づいている。いくつかの実施形態では、記録状態インジケータは、記録のインジケータが、データを記録するアプリケーションによって表示されるかどうかとは無関係に表示される。
図10Aは、アイコン690を有するユーザインタフェースを表示するデバイス600を示す。図10Aでは、デバイス600は、デバイス600のマイクロフォンを介して音声入力1050a(例えば、「はい、アシスタント」)を検出する。図10Bに示すように、音声入力1050aを検出したことに応答して、デバイス600は、ユーザインタフェース1004を表示する。ユーザインタフェース1004は、音声アシスタントアプリケーションのためのユーザインタフェースである。ユーザインタフェース1004は、「ご用件は何でしょう」というフレーズを含み、これは、デバイス600がコマンドに対応する音声入力を受信するのを待っていることを示す。
特に、図10A~図10Bでは、デバイス600は、コマンド(例えば、デバイス600のユーザによって発言される)を識別するために、デバイス600のマイクロフォンを介してデータを記録している。しかしながら、図10A~図10Bでは、デバイス600は、デバイス600が第1の種類のデータを記録していないと判定されたことから、記録状態インジケータ(例えば、図10Eに示す記録状態インジケータ1042)を表示しない。図10A~図10Bでは、記録されているデータが、後の再生のために利用できないデータであると判定されたことから、デバイス600は、第1の種類のデータを記録していない。具体的には、デバイス600がデータを記録して、ネイティブアシスタント(又は信頼された)音声アプリケーションがデバイス600に1つ以上の動作(例えば、位置への方向を提供する、ユーザからのクエリに回答を提供する)を実行させることを可能にする音声コマンドを識別することから、図10A~図10Bにおいて記録されているデータは、信頼されたアプリケーションに渡され、後で再生するために利用可能ではない。
ユーザインタフェース1010を表示した後の一部の時点で、デバイス600は、音声メモアプリケーションアイコン690bを含むアプリケーションアイコン690を有するユーザインタフェースを再表示する。図10Cでは、デバイス600は、音声メモアプリケーションアイコン690b上のタップジェスチャ1050cを検出する。図10Dに示すように、タップジェスチャ1050cを検出したことに応答して、デバイス600は、音声メモアプリケーションアイコン690bに対応する音声メモアプリケーションを起動し、音声記録アフォーダンス1010を含む記録開始ユーザインタフェース(例えば、音声メモアプリケーション用)を表示する。第1の種類のデータが記録されていないと判定されることから、デバイス600は、図10Cにおいて記録状態インジケータ1042を表示しない。図10Dでは、デバイス600は、オーディオ記録アフォーダンス1010上のタップジェスチャ1050dを検出する。
図10Eに示すように、タップジェスチャ1050dを検出したことに応答して、デバイス600は、デバイス600がデータを記録していることを示す停止アフォーダンス1016を含むオーディオ記録ユーザインタフェースを表示する(例えば、オーディオ記録アフォーダンス1010が表示されることを停止している)。図10Eでは、タップジェスチャ1050dを検出したことに応答して、デバイス600は、デバイス600のマイクロフォンのうちの1つ以上にデータ(例えば、オーディオデータ)を記録させる。(例えば、タップジェスチャ1050dを検出したことに応答して)図10Eにおいて記録されたデータは、(例えば、音声メモアプリケーションによってアクセスされることができる、及び/又は音声メモアプリケーションによって開始された)音声メモアプリケーション用に記録されているデータである。図10Eでは、音声メモアプリケーション用に記録されているデータが第1の種類のデータであると判定される。音声メモアプリケーション用に記録されているデータは、データが後で再生するために利用可能であるように記録されていると判定されるため、第1の種類のデータであると判定される。
図10Eに示すように、音声メモアプリケーション用に記録されているデータが第1の種類のデータであると判定されるため、デバイス600は、セルラー信号状態インジケータ820aの場所に記録状態インジケータ1042を表示する。したがって、いくつかの実施形態では、記録状態インジケータ1042は、ユーザが所望であればデバイス600がデータを記録することを停止することができるように、デバイス600の1つ以上のメディアキャプチャデバイス(例えば、マイクロフォン、カメラ)が第1の種類のデータを記録していることをユーザに示す。いくつかの実施形態では、ユーザは、記録を開始するアプリケーションが適切な指示を提供しない場合など、第1の種類のデータが記録されていることを認識しない場合がある。したがって、いくつかの実施形態では、記録状態インジケータ1042を表示することは、ユーザのプライバシーに関連する情報(例えば、ユーザの音声又はユーザの写真若しくは画像が記録され、1つ以上のデバイス上での後の再生のために利用可能であるかどうか)をユーザに提供することができる。音声メモアプリケーションについての第1の種類のデータを記録し続けている間に、デバイス600は、ウェブコーリングアプリケーションを介して着信呼び出しの指示を受信する。
図10Fに示すように、着信呼び出しの指示を受信したことに応答して、デバイス600は、受諾アフォーダンス1032と、着信呼び出しが「ジョン」に関連付けられた外部デバイスから受信されているとの指示とを含むウェブコーリングユーザインタフェースを表示する。図10Fに示すように、デバイス600は、ウェブコーリングユーザインタフェースを表示している間に、記録状態インジケータ1042を表示し続ける。デバイス600が、図10Eに関連して上述したように、音声メモアプリケーションについての音声データを記録し続けるため、デバイス600は、記録状態インジケータ1042を表示し続ける(例えば、オーディオ記録は図10E~図10Fでは停止されなかった)。図10Fでは、デバイス600は、受諾アフォーダンス1032上のタップジェスチャ1050fを検出する。
図10Gに示すように、タップジェスチャ1050fを検出することに応答して、デバイス600は、着信読み出しを応答させ、終了アフォーダンス1034を有するユーザインタフェースを表示する。図10Gでは、着信呼び出しが応答された後、デバイス600は、デバイス600のマイクロフォン(例えば、音声メモアプリケーションについてのデータを現在記録しているマイクロフォンと同じ又は異なるマイクロフォン)に、ウェブコーリングアプリケーションのデータを記録させる。図10Gでは、デバイス600は、(例えば、デバイス600のマイクロフォンを介して)音声メモアプリケーションのデータ及びウェブコーリングアプリケーションのデータを同時に記録している。図10Gでは、デバイス600は、上述のものと同様の1つ以上の技術を使用して、(例えば、ウェブコーリングアプリケーションについて記録されているデータは、ジョンのデバイスによって再生されるように利用可能であるため)ウェブコーリングアプリケーションについて記録されているデータが第1の種類のデータであると判定する。図10Gに示すように、デバイス600は、追加の記録状態インジケータを表示しない。デバイス600は、第1の種類のデータが音声メモアプリケーションに記録されていることに起因して、記録状態インジケータ1042が既に表示されている(例えば、所定の数の記録状態インジケータが表示される)ことから、追加の記録状態インジケータを表示しない。いくつかの実施形態では、デバイス600がウェブコーリングアプリケーションについてデータが記録される前に記録状態インジケータ1042を表示していない場合、デバイス600は、タップジェスチャ1050fを検出したことに応答して、記録状態インジケータ1042を表示する。図10Gでは、デバイス600は、下向きスワイプジェスチャ1050gを検出する。
図10Hに示すように、下向きスワイプジェスチャ1050gを検出することに応答して、デバイス600は、制御ユーザインタフェース1038を表示する。制御ユーザインタフェース1038は、接続性設定(例えば、無線、セルラー、Bluetooth設定)などのデバイス600の状態を変更するためのデバイスコントロール1046を含む。更に、制御ユーザインタフェース1038は、デバイス600がウェブコーリングアプリケーション(例えば、第3者アプリケーション)及び音声メモアプリケーションについての第1の種類のデータを同時にキャプチャしているため、制御ユーザインタフェース1038は、ウェブコーリング記録状態インジケータ1044a及び音声メモ記録状態インジケータ1044bを含む。デバイス600が制御ユーザインタフェース1038を表示しているため、ウェブコーリング記録状態インジケータ1044a及び音声メモ記録状態インジケータ1044bが表示される。図10Hの記録状態インジケータは、それぞれ、図10Gに示す記録状態インジケータ1042よりも多くの視覚的コンテンツを含む。更に、デバイス600は、制御ユーザインタフェース1038が表示されなかったとき(例えば、図10Gにおいて)1つの記録状態インジケータのみを表示している間に、制御ユーザインタフェース1038上に複数の記録状態インジケータを表示する。いくつかの実施形態では、下向きスワイプジェスチャ1050gを検出することに応答して、デバイス600は、記録状態インジケータ1044a及び音声メモ記録状態インジケータ1044bの一方又は双方に遷移する記録状態インジケータ1042のアニメーションを表示する。
ウェブコーリング記録状態インジケータ1044aは、アプリケーション指示1044a1、デバイス指示1044a2、及び構成指示1044a3を含む。アプリケーション指示1044a1は、デバイス600が第1の種類のデータを記録しているアプリケーション(例えば、ウェブコーリングアプリケーション)を示す。デバイス指示1044a2は、デバイス600のマイクロフォンが、ウェブコーリングアプリケーションの第1の種類のデータを記録するために使用されていることを示す。更に、構成指示1044a3は、ウェブコーリング記録状態インジケータ1044aが選択可能であることを示す。音声メモ記録状態インジケータ1044bは、アプリケーション指示1044b1(例えば、音声メモアプリケーションについての第1の種類のデータが記録されていることを示す)及びデバイス指示1044b2(例えば、デバイス600のマイクロフォンが音声メモアプリケーションについての第1の種類のデータを記録するために使用されていることを示す)などの類似の指示を含む。しかしながら、図10Hに示すように、音声メモ記録状態インジケータ1044bは、構成指示を含まない。
図10Hでは、音声メモアプリケーションが、制御ユーザインタフェース1038を介して構成可能である(例えば、メディアキャプチャデバイスへのアクセスを有効化/無効化するための構成可能許可を有していない)と判定されていることから、音声メモ記録状態インジケータ1044bは、構成指示を含まない。一方、ウェブコーリング記録状態インジケータ1044aは、ウェブコーリングアプリケーションが制御ユーザインタフェース1038を介して構成可能なアプリケーションの種類であると判定されるため、構成指示1044a3を含む。いくつかの実施形態では、デバイス600は、音声メモ記録状態インジケータ1044b上のタップジェスチャ1050h1を検出する。いくつかの実施形態では、タップジェスチャ1050h1を検出したことに応答して、デバイス600は、音声メモ記録状態インジケータ1044bが選択可能ではないので、任意の追加コンテンツを表示することなく、制御ユーザインタフェース1038を表示し続ける。図10Hでは、デバイス600は、ウェブコーリング記録状態インジケータ1044a上のタップジェスチャ1050h2を検出する。
図10Iに示すように、タップジェスチャ1050h2の検出に応答して、デバイス600は、制御ユーザインタフェース1038の表示を停止し、許可コントロール1052を含むウェブコーリングアプリケーションのための許可管理ユーザインタフェースを表示する。特に、制御ユーザインタフェース1038が表示されることを停止しているため、デバイス600はまた、ウェブコーリング及び音声メモアプリケーションについての別個の記録状態インジケータ(例えば、ウェブコーリング記録状態インジケータ1044a及び音声メモ記録状態インジケータ1044b)を表示することを停止し、アプリケーションについての単一又は組み合わせた記録状態インジケータ(例えば、記録状態インジケータ1042)を表示する。
図10Iに示すように、許可コントロール1052は、双方ともアクティブ(例えば、「オン」)であるマイクロフォンアクセスアフォーダンス1052a及びカメラアクセスアフォーダンス1052bを含む。いくつかの実施形態では、マイクロフォンアクセスアフォーダンス1052a上でタップジェスチャを検出することに応答して、デバイス600は、デバイス600のマイクロフォンを介して、ウェブコーリングアプリケーションのデータが記録されることを可能にすることを停止し、また、入力ジェスチャ1050fの検出に応答して記録を開始するウェブコーリングアプリケーションの第1の種類のデータの記録を停止する。いくつかの実施形態では、カメラアクセスアフォーダンス1052a上でのタップジェスチャを検出したことに応答して、デバイス600は、デバイス600のカメラを介して、ウェブコーリングアプリケーションのデータが記録されることを可能にすることを停止する。図10Iでは、デバイス600は、許可管理ユーザインタフェースの底部における右向きスワイプジェスチャ1050iを検出する。
図10Jに示すように、右向きスワイプジェスチャ1050iを検出したことに応答して、デバイス600は、終了アフォーダンス1034を有するユーザインタフェースを再表示する。図10Jでは、デバイス600は、終了アフォーダンス1034上のタップジェスチャ1050jを検出する。
図10Kに示すように、タップジェスチャ1050jを検出したことに応答して、デバイス600は、(例えば、デバイス600のマイクロフォンを介した)ウェブコーリングアプリケーションの第1の種類のデータの記録を停止し、通話が終了したことを示すウェブコーリングアプリケーションのユーザインタフェースを表示する。特に、図10Kでは、デバイス600は、第1の種類のデータが音声メモアプリケーションに関して記録され続けているため、記録状態インジケータ1042を表示し続けるが、第1の種類のデータは、ウェブコーリングアプリケーションについての記録が停止されている。図10Kでは、デバイス600は、通話が終了したことを示すウェブコーリングアプリケーションのユーザインタフェース上の上向きスワイプジェスチャ1050kを検出する。
図10Lに示すように、上向きスワイプジェスチャ1050kを検出したことに応答して、デバイス600は、(例えば、図10Eにおいて)上述したような1つ以上の類似の技術を使用して、記録状態インジケータ1042を表示し続けながら、アイコン690を有するユーザインタフェースを表示する。図10Lに示すように、アイコン690は、カメラアプリケーションアイコン690aを含む。図10Lでは、デバイス600は、カメラアプリケーションアイコン690a上のタップジェスチャ1050lを検出する。
図10Mに示すように、タップジェスチャ1050lを検出したことに応答して、デバイス600は、カメラユーザインタフェースを表示する。図10Mに示すカメラユーザインタフェースは、図6Aのカメラユーザインタフェースに関して上述したような1つ以上の類似の技術を使用して表示される。例えば、図10Mのカメラユーザインタフェースは、インジケータ領域602、カメラ表示領域604、及びコントロール領域606を含む。カメラ表示領域604は、ライブプレビュー630を含み、コントロール領域604は、カメラモードアフォーダンス620及びシャッターアフォーダンス610を含む。図10Mに示すように、ビデオカメラモードアフォーダンス620bは、センタリングされ(例えば、「ビデオ」が太字化されている)、これは、デバイス600が、シャッターアフォーダンス610の選択を受信したことに応答して、ビデオメディアを表すデータを記録するように構成されていることを示す。図10Mでは、デバイス600は、シャッターアフォーダンス610上のタップジェスチャ1050mを検出する。
図10Nに示すように、タップジェスチャ1050mを検出したことに応答して、デバイス600は、デバイス600の1つ以上のカメラを介してカメラアプリケーションのデータを記録し始める。図10Nでは、上述した1つ以上の類似の技術を使用して、カメラアプリケーションについて記録されているデータが、第1の種類のデータである(例えば、記録されているデータが後の再生のために利用可能であるため)との判定が行われる。図10Nでは、デバイス600が(例えば、図10Gに関連して上述したように、同様の理由で)制御ユーザインタフェース1038を同時に表示していないため、デバイス600は、(例えば、記録状態インジケータ1042に加えて)追加の記録状態インジケータを表示していない。図10Nでは、デバイス600は、カメラユーザインタフェースの最上部付近で開始する下向きスワイプジェスチャ1050nを検出する。
図10Oに示すように、下向きスワイプジェスチャ1050nを検出したことに応答して、デバイス600は、制御ユーザインタフェース1038を再表示する。制御ユーザインタフェース1038は、音声メモ記録状態インジケータ1044b及びカメラ記録状態インジケータ1044cを含む。デバイス600は、第1の種類のデータを記録するためにマイクロフォンを使用することとは対照的に、カメラアプリケーションの第1の種類のデータを記録するために、1つ以上のカメラを使用していることから、カメラ記録状態インジケータ1044cは、(例えば、音声メモ記録状態インジケータ1044bの)デバイス識別子1044b2とは異なるデバイス識別子1044c2を含む。デバイス600は、(例えば、図10Hに関して上述したような1つ以上の同様の技術を使用して)双方のアプリケーションについての第1の種類のデータを同時に記録していることから、音声メモ記録状態インジケータ1044b及びカメラ記録状態インジケータ1044cは、同時に表示される。
図10Pは、下向きスワイプジェスチャ1050nを検出することに応答して表示されることができる制御ユーザインタフェース1038の異なるバージョンを示す。図10Pの制御ユーザインタフェース1038は、それぞれのデバイス(例えば、マイクロフォン、カメラ)のそれぞれのアプリケーション(例えば、音声メモアプリケーション、カメラアプリケーション)使用の現在の状態の追加の指示(例えば、「現在使用している」)を含む。しかしながら、制御ユーザインタフェース1038は、追加の指示を含まない。いくつかの実施形態では、追加の指示が制御ユーザインタフェース内のより多くのスペースを占めるため、デバイス600は、第1の種類のデータがアプリケーション(及び/又はデバイス)の閾値数(例えば、1、2)未満の間、又は閾値数の記録状態インジケータが同時に表示されたときに、追加の指示を表示することができる。図10Oに戻ると、デバイス600は、制御ユーザインタフェース1038上の上向きスワイプジェスチャ1050oを検出する。
図10Qに示すように、スワイプジェスチャ1050oを検出したことに応答して、デバイス600は、停止アフォーダンス614を含むカメラユーザインタフェースを再表示する。図10Qでは、デバイス600は、停止アフォーダンス614上のタップジェスチャ1050qを検出する。図10Rに示すように、タップジェスチャ1050qを検出したことに応答して、デバイス600は、ビデオメディアを表すデータを記録することを停止する。図10Rでは、デバイス600は、カメラユーザインタフェース上のスワイプジェスチャ1050rを検出する。
図10Sに示すように、スワイプジェスチャ1050rを検出したことに応答して、デバイス600は、制御ユーザインタフェース1038を表示する。図10Sに示すように、制御ユーザインタフェース1038は、カメラ記録状態インジケータ1044cを表示し続けるが、デバイス600は、カメラアプリケーションの第1の種類のデータをもはや記録していない。図10Sでは、デバイス600は、図10Oにおける追加の指示なしで表示されているカメラ記録状態インジケータ1044cとは対照的に、及び/又は図10Pにおける追加の指示(「現在使用している」)と共に、カメラアプリケーションが最近使用されたことを示す(例えば、図10Sにおける「最近」)ようにカメラ記録状態インジケータ1044cを更新する。更に、図10Sでは、デバイス600は、(例えば、上述した1つ以上の技術を使用して、及び/又は同様の理由で)音声メモアプリケーションについての第1の種類のデータをなおも記録していることから、デバイス600は、音声メモ記録状態インジケータ1044bを表示し続ける。図10Sでは、デバイス600は、制御ユーザインタフェース1038の底部における右向きスワイプジェスチャ1050sを検出する。
図10Tに示すように、右向きスワイプジェスチャ1050sを検出したことに応答して、デバイス600は、停止アフォーダンス1016を含むオーディオ記録ユーザインタフェースを表示する。図10Sでは、デバイス600は、停止アフォーダンス1016上のタップジェスチャ1050tを検出する。いくつかの実施形態では、タップジェスチャ1050tを検出したことに応答して、デバイス600は、音声メモアプリケーションの第1の種類のデータの記録を停止する。いくつかの実施形態では、音声メモアプリケーションの第1の種類のデータの記録を停止した後、デバイス600は、デバイス600が第1の種類のデータをもはや記録していないことから、記録状態指示1042の表示を停止する。
図10Uに示すように(例えば、オーディオ記録ユーザインタフェースを表示した後のいくつかの期間において)、デバイス600は、カメラユーザインタフェースを表示する。図10Uでは、デバイス600は、「写真」カメラモードで動作しており、これは、中央にある写真カメラモードアフォーダンス620c及び太字化された「写真」によって示される。
図6Aに関して上述したように、デバイス600は、デバイス600の1つ以上のカメラの視野(「FOV」)内のデータを記録することによって、ライブプレビュー630を表示する。したがって、図10Uでは、デバイス600は、上述したような1つ以上の技術を使用して、デバイス600がライブプレビュー630を表示するために記録しているデータが第1の種類のデータであるとの判定を行う(例えば、ライブプレビュー630を表示するために記録されているデータは、ライブプレビュー630によって示されるように後の再生のために利用可能とすることができるため)。図10Uに示すように、デバイス600は、デバイス600がライブプレビュー630を表示するために記録しているデータが第1の種類のデータであると判定されるため、記録状態インジケータ1042を表示する。いくつかの実施形態では、デバイス600は、図10Uにおいて記録状態インジケータ1042を表示しない。いくつかの実施形態では、デバイス600は、上述したものと類似の1つ以上の技術を使用して、ライブプレビュー630を表示するために記録しているデータが第1の種類のデータではないとの異なる判定が行われているため(例えば、記録されているデータは、後の時間での再生のために利用可能ではないため)、記録状態インジケータ1042を表示しない。図10Uでは、デバイス600は、シャッターアフォーダンス610上のタップジェスチャ1050uを検出する。
図10Vに示すように、タップジェスチャ1050uを検出することに応答して、デバイス600は、ライブプレビュー630を表す画像を記録し、記録された画像の表現を示すようにメディアコレクション612を更新する(例えば、図10U及び図10Vのメディアコレクション612間の差を参照)。図10Vでは、デバイス600は、カメラユーザインタフェース上の上向きスワイプジェスチャ1050vを検出する。
図10Wに示すように、スワイプジェスチャ1050vを検出したことに応答して、デバイス600は、アイコン690を有するユーザインタフェースを表示する。図10Wのユーザインタフェースを表示している間に、デバイス600は、カメラアプリケーションの第1の種類のデータを同時にキャプチャしていないが、デバイス600は、記録状態インジケータ1042を表示し続ける。図10Wでは、デバイス600がカメラアプリケーションの第1の種類のデータ(例えば、図10Wにおいて記録された写真に対応するデータ)を記録した後、少なくとも最小期間だけ記録状態インジケータ1042が表示されるため、デバイス600は、記録状態インジケータ1042を表示する。換言すれば、記録された写真に対応するデータを記録することにより、所定の期間未満だけカメラをアクティブ化する(例えば、カメラにメディアを記録させる)ため、デバイス600は、最小期間だけ及び/又はカメラが第1の種類のデータを記録するのを停止した後に、記録状態インジケータ1042を表示する。このユーザは、アプリケーションが第1の種類のデータを短期間記録するだけのときであっても、アプリケーションが第1の種類のデータを記録していることを認識する。図10Wに示すように、記録状態インジケータ1042は、デバイス600のカメラ(例えば、1008)のうちの1つの近くに(又はそれに隣接して)表示される。図10Wでは、デバイス600は、アイコン690を有するユーザインタフェース上の下向きスワイプジェスチャ1050wを検出する。
図10Xに示すように、スワイプジェスチャ1050wを検出したことに応答して、デバイス600は、制御ユーザインタフェース1338を表示する。図10Xに示すように、制御ユーザインタフェース1338は、カメラが第1の種類のデータを記録するために最近使用されたことを示すカメラ記録状態インジケータ1044cを含む。図10Xでは、カメラアプリケーションの第1の種類のデータ(例えば、タップジェスチャ1050uを検出したことに応答して記録された写真)を記録した後に制御ユーザインタフェース1338が所定期間(例えば、1~45秒)内に表示されたことから、制御ユーザインタフェース1338は、カメラ記録状態インジケータ1044cを含む。したがって、いくつかの実施形態では、制御ユーザインタフェース1338がカメラアプリケーションの第1の種類のデータの記録を終了した後に所定期間内に表示されないとき、制御ユーザインタフェース1338は、カメラ記録状態インジケータ1044cを含まない。
図10Yは、デバイス600をロック状態で表示するデバイス600を示し、これは、ロックアイコン1078aによって示される。図10Yでは、デバイス600は、デバイス600をロック解除するデータに対応するFOV内のシーン(例えば、ユーザの顔、特定のオブジェクトを含むシーン)を(例えば、FOVを有するカメラを介して)検出する。図10Zに示すように、デバイス600をロック解除するデータに対応するFOV内のシーンを検出したことに応答して、デバイス600は、ロック状態から、ロック解除アイコン1078bによって示されるロック解除状態へと変化する。
特に、図10Y~図10Zでは、デバイス600は、デバイス600がロック解除状態に変化することを可能にするシーンの一部を識別するために、デバイス600のカメラを介してデータを記録している(例えば、第1者の信頼されたアプリケーションを使用して)。しかしながら、図10Y~図10Zでは、デバイス600によって記録されているデータが第1の種類のデータではないとの判定が行われるため、デバイス600は、記録状態インジケータ1042を表示しない。図10A~図10Bでは、記録されているデータが、後の再生のために利用できないデータであると判定されたことから、デバイス600は、第1の種類のデータを記録していない。具体的には、図10Y~図10Zにおいてに記録されているデータは、デバイス600がロック解除状態に変化することを可能にするFOV内のシーンの一部を識別するためにデバイス600がデータを記録しているため、後の再生のために利用可能ではない。
図10AA~図10ACは、キャプチャ状態インジケータ1042を含むユーザインタフェースを表示するデバイス1000を示す。デバイス1000は、上述したデバイス100、デバイス300、及びデバイス500のうちの1つ以上の構成要素を任意選択的に含む。
図10AAに示すように、デバイス1000は、状態バー1022を含むユーザインタフェースを表示している。図10AAでは、デバイス1000は、状態バー1022を含むユーザインタフェースを表示していることから、デバイス1000は、状態インジケータ1022a~1022eと共に状態バー1022内にキャプチャ状態インジケータ1042を表示する。キャプチャ状態インジケータ1042は、最も左の状態インジケータ1022a~1022eである。いくつかの実施形態では、状態バーインジケータ1022cなどの状態バー1022から状態インジケータが除去されると、残りの状態バーインジケータは、除去された状態インジケータによって明け渡されたスペース内を充填するように右に移動し、キャプチャ状態インジケータ1042は、状態バー内の最も左の状態インジケータを維持する。いくつかの実施形態では、状態インジケータが状態バー1022に追加されると、キャプチャ状態インジケータ1042は、左に移動し、状態バー1022内の最も左の状態インジケータを維持する。
図10ABは、状態バーを含まないユーザインタフェースを表示するデバイス1000を示す。図10AAでは、デバイス1000は、状態バーを表示していないため、デバイス1000は、(例えば、状態バー1022が表示されたとき)キャプチャ状態インジケータ1042が図10AAにおいて表示されたのとは異なる場所であるユーザインタフェースの右上にキャプチャ状態インジケータ1042を表示する。
図10ACは、デバイス1000が図10ABのデバイス1000とは異なる向きにあるときに、状態バーを含まないユーザインタフェースを表示するデバイス1000を示す。図10ACに示すように、デバイス600は、図10ABのデバイス1000と比較して、図10ACにおいて異なる向きにあるが、デバイス1000は、ユーザインタフェースの右上の状態インジケータ1042をキャプチャする。したがって、図10AB~図10ACを見ると、状態バーが表示されていないとき、デバイス1000は、デバイス600の向きにかかわらず、同じ位置にキャプチャ状態インジケータを表示する。
図11は、いくつかの実施形態に係る、コンピュータシステムを使用して状態インジケータを提供するための方法を示すフロー図である。方法1100は、第1のメディアキャプチャデバイス(例えば、コンピュータシステムの同じ側又は異なる側の(例えば、前方カメラ、後方カメラ)1つ以上のカメラ(例えば、デュアルカメラ、トリプルカメラ、クワッドカメラなど)、及び/又は1つ以上のマイクロフォンなど)を有するコンピュータシステム(例えば、100、300、500、600)において実行され、ディスプレイ生成構成要素(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム)及び1つ以上の入力デバイス(例えば、タッチ感知面)と通信する。方法1100のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下に説明するように、方法1100は、コンピュータシステムのユーザに状態インジケータを提供する直感的な方法を提供する。この方法は、1つ以上のメディアキャプチャデバイスの状態を判定するユーザの認識的負担を軽減し、それによって、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザが1つ以上のメディアキャプチャデバイスをより高速かつより効率的に管理することを可能にすることにより、節電し、バッテリ充電の間隔を増大させる。
コンピュータシステム(例えば、600)(例えば、スマートホン、スマートウォッチ)は、第1のメディアキャプチャデバイスがアクティブ化された(例えば、最近アクティブ化された(例えば、指示を受信する前に所定時間(例えば、1又は2秒)以内にアクティブ化された)という指示を受信する(1102)。いくつかの実施形態では、コンピュータシステムは、第1のメディアキャプチャデバイスがアクティブである又はアクティブにデータ(例えば、1つ以上の異なる種類のメディアを表すデータ(例えば、オーディオ、ビデオ、画像(例えば、静止画像)))を記録したことを検出することによって、第1のメディアキャプチャデバイスがアクティブ化されたことの指示を受信する。いくつかの実施形態では、コンピュータシステムは、1つ以上のアプリケーションを検出することによって第1のメディアキャプチャデバイス(例えば、ビデオカメラ)が現在メディアをキャプチャ又は記録するためのカメラ又はマイクロフォンである(又は使用している)ことの指示を受信する。
第1のメディアキャプチャデバイスがアクティブ化されているという指示を受信したことに応答して(1104)、及びアクティブ化されている間、第1のメディアキャプチャデバイスが(例えば、第1の所定期間内に)(例えば、メディアキャプチャデバイスが第2の種類のデータを記録したかどうか(例えば、それとは無関係に、それを考慮することなく)にかかわらず)第1の種類のデータを記録したとの判定に従って(1106)、コンピュータシステムは、ディスプレイ生成構成要素を介して、第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカルインジケータ(例えば、1042、1044a~1044d)を表示する(1108)。いくつかの実施形態では、第1の種類のデータは、後の時点で再生されるメディアアイテムとして、記録された、記憶された、保持された、又は利用可能(例えば、メディアキャプチャデバイスにデータを記録させる1つ以上のアプリケーションに利用可能)なデータである。いくつかの実施形態では、第1の種類のデータは、コンピュータシステムのタッチ感知ディスプレイ上の1つ以上のユーザ入力を介してユーザによって選択されて再生されるように(例えば、システム上の1つ以上のプログラム又はアプリケーションを介して)読み取り可能にアクセス可能であるデータである。いくつかの実施形態では、アクティブ化されている間に、第1のメディアキャプチャデバイスが(例えば、メディアキャプチャデバイスが第2の種類のデータを記録したかどうか(例えば、それとは無関係に、それを考慮することなく)にかかわらず)第1の種類のデータを記録したとの判定に従って、コンピュータシステムは、他のメディアキャプチャデバイスがアクティブ化されていることを示すグラフィカルインジケータの表示を停止する。いくつかの実施形態では、コンピュータシステムは、アクティブ化されている間に第1のメディアキャプチャデバイスが第1の種類のデータを記録したとの判定に従って、他のメディアキャプチャデバイスがアクティブ化されていることを示すグラフィカルインジケータを、第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカルインジケータに置き換える。いくつかの実施形態では、第1の種類のデータは、1つ以上のトリガイベント(例えば、可聴フレーズ、ユーザの視線の提示/非提示)が生じたかどうかを判定するために取得及び/又は処理されていないデータである。いくつかの実施形態では、第1の種類のデータ(例えば、キャプチャ状態インジケータが表示されるデータの種類)は、信頼されていないアプリケーション(例えば、非第1者の音声アシスタントアプリケーション、非第1者の認証アプリケーション)に渡されるデータに対応する。いくつかの実施形態では、記録状態インジケータは、記録のインジケータが、データを記録するアプリケーションによって表示されるかどうかとは無関係に表示される。所定の条件が満たされたとき(例えば、メディアキャプチャデバイスが第1の種類のデータ(例えば、マルチメディアデータ)を記録するとき)にグラフィカルインジケータを表示することにより、ユーザが、特定の種類のデータが記録されている(又は記録された)ときに迅速に認識することを可能にし、データの種類が記録されているか(又は記録されたか)に基づいてユーザが特定のアクションを取ることを可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに最適化された動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。メディアキャプチャデバイスが第1の種類のデータ(例えば、マルチメディアデータ)を記録したときにグラフィカルインジケータを表示することにより、第1のメディアキャプチャデバイスがアクティブでありかつ第1の種類のデータを記録していることに関するフィードバックをユーザに提供し、これにより、ユーザが第1の種類のデータの記録に対してアラートされることを可能にする。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、第1のメディアキャプチャデバイスは、第2の種類のメディアキャプチャデバイスである。いくつかの実施形態では、コンピュータシステムは、グラフィカルインジケータと同時に、グラフィックインジケータ(例えば、1044b)とは異なる第3のグラフィカルインジケータ(例えば、1044c)を表示する(1110)。いくつかの実施形態では、グラフィカルインジケータは、第2の種類のメディアキャプチャデバイスの指示を含み、第3のグラフィカルインジケータは、第2の種類のメディアキャプチャデバイスとは異なる第3の種類のメディアキャプチャデバイスの指示を含む。いくつかの実施形態では、第4のグラフィカルインジケータは、グラフィカルインジケータと共に表示される。いくつかの実施形態では、第4のグラフィカル指示は、グラフィカル指示と同じメディアキャプチャデバイス(例えば、第2の種類のメディアキャプチャデバイス)に関連付けられる。いくつかの実施形態では、グラフィカルインジケータは、第1のアプリケーションが第1の種類のメディアキャプチャデバイスを使用しているか又は使用したことを示すコンテンツを含む一方で、グラフィカルインジケータは、第1のアプリケーションとは異なる第2のアプリケーションが、第1の種類のメディアキャプチャデバイスを使用しているか又は使用したことを示すコンテンツを含む。いくつかの実施形態では、コンピュータシステムが第1のユーザインタフェース(例えば、設定構成ユーザインタフェース)を表示しているとの判定に従って、第3のグラフィカルインジケータが表示される。いくつかの実施形態では、コンピュータシステムが第1のユーザインタフェース(例えば、設定構成ユーザインタフェース)ではない第2のユーザインタフェースを表示しているとの判定に従って、第3のグラフィカルインジケータは表示されない。いくつかの実施形態では、グラフィカルインジケータ及び第3のグラフィカルインジケータは、同時に表示される(例えば、第1の入力(例えば、ドラッグ入力)を受信したことに応答して、及び/又は(例えば、コンピュータシステムの1つ以上の設定を制御するための)複数の設定を含むユーザインタフェースを表示しているとき)。第1の種類のメディアキャプチャデバイス(例えば、マイクロフォン)が第1のデータをキャプチャしていることを示すグラフィカルインジケータ及び第2の種類のメディアキャプチャデバイス(例えば、カメラ)が第2の種類のデータをキャプチャしていることを示すグラフィカル指示を表示することは、第1の種類のメディアキャプチャデバイス及び第2の種類のメディアキャプチャデバイスが、第1の種類のデータをキャプチャするために同時に使用されるかどうかに関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
第1のメディアキャプチャデバイスがアクティブ化されているという指示を受信したことに応答して(1104)、及びアクティブ化されている間に、第1のメディアキャプチャデバイスが、(例えば、所定期間内に)第1の種類のデータを記録することなく(例えば、第1の種類とは異なる)第2の種類のデータ(例えば、図10A~図10B、図10Y~図10Z)を記録したという判定に従って、コンピュータシステムは、第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカルインジケータ(例えば、1042、1044a~1044d)の表示を取り止める(1112)。いくつかの実施形態では、第2の種類のデータは、1つ以上のトリガイベント(例えば、可聴フレーズ、ユーザの視線の提示/非提示)が生じたかどうかを判定するために取得及び/又は処理されているデータである。いくつかの実施形態では、第2の種類のデータは、後の時間に再生されるようにメディアアイテム(例えば、オーディオ、ビデオメディア)として記憶されていない(及び/又は利用可能ではない)データである。いくつかの実施形態では、第2の種類のデータは、コンピュータシステムのタッチ感知ディスプレイ上の1つ以上のユーザ入力を介してユーザによって選択されて再生されるように(例えば、システム上の1つ以上のプログラム又はアプリケーションを介して)読み取り可能にアクセス可能でないデータである。いくつかの実施形態では、第2の種類のデータ(例えば、キャプチャ状態インジケータが表示されないデータの種類)は、信頼されていないアプリケーション(例えば、非第1者の音声アシスタントアプリケーション、非認証アプリケーション)に渡されることなく、かつ後の時間に(例えば、デバイスによって又は他のデバイスによって)再生されることができるメディアとして保持されることなく、1つ以上の信頼されたアプリケーション(例えば、オペレーティングシステム又は信頼された第1者及び/又は第3者アプリケーションの構成要素)によってデバイスの様々な特徴を制御するために使用されるデータに対応する。いくつかの実施形態では、アクティブ化されている間に、第1のメディアキャプチャデバイスが任意のデータを記録していないとの判定に従って、コンピュータシステムは、1つ以上のメディアキャプチャデバイスがアクティブ化されたことを示すグラフィカルインジケータの表示を取り止める。いくつかの実施形態では、アクティブ化されている間に、第1のメディアキャプチャデバイスが、第1の種類のデータを記録することなく、第2のデータを記録したとの判定に従って、コンピュータシステムは、他のメディアキャプチャデバイスがアクティブ化されたことを示すグラフィカルインジケータの表示を停止する。メディアキャプチャデバイスが第2の種類のデータ(例えば、メタデータ)を記録したときにグラフィカルインジケータを表示しないことは、第1のメディアキャプチャデバイスがアクティブではなく、及び/又は第1の種類のデータを記録していないというフィードバックをユーザに提供し、これにより、ユーザが第2の種類のデータの記録に不必要にアラートされないことを可能にする。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、(例えば、デバイスを操作する/デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第2の種類の記録されたデータ(例えば、図10A~図10B及び図10Y~図10Z)(例えば、コンピュータシステムのメディアキャプチャデバイスを使用してネイティブの又は信頼された音声アシスタントアプリケーションによってキャプチャされたデータ、コンピュータシステムに、(例えば、システムのユーザに関連付けられた1つ以上の特徴(例えば、音声、顔、生体データ)をキャプチャすることによって)コンピュータシステムをロック解除/ロックするなどの機能を実行させる又は1つ以上の音声コマンドに反応させる(例えば、それに応答して情報を提供させる)、コンピュータシステムのメディアキャプチャデバイスを使用してアプリケーションによってキャプチャされたデータ)は、(例えば、再生のために利用可能であるように記憶されていないデータ(例えば、1つ以上の出力デバイス(例えば、コンピュータシステム及び/又は他のデバイスにおけるカメラ、マイクロフォン、ディスプレイ(例えば、ディスプレイ生成構成要素))によって出力される)再生のために利用可能でないデータ、例えば、外部デバイスに送信されずかつ外部デバイスへの後続の送信のために(又はローカルユーザ再生のために)ローカルに記憶されないデータである一時的データ、信頼されていないアプリケーション(例えば、非第1者の音声アシスタントアプリケーション、非第3者の認証アプリケーション)に渡されることなくかつ(例えば、デバイスによって又は他のデバイスによって)後の時間に再生されることができるメディアとして保持されることなく、1つ以上の信頼されたアプリケーション(例えば、オペレーティングシステム又は信頼された第1者及び/又は第3者アプリケーションの構成要素)によってデバイスの様々な特徴を制御するために使用されるデータに対応する。
いくつかの実施形態では、第1の種類の記録されたデータ(例えば、図10C~図10V)(例えば、コンピュータシステムのメディアキャプチャデバイスを使用する第3者又は信頼されていないソーシャルメディアアプリケーションに関連付けられたデータ、コンピュータシステムのメディアキャプチャデバイスを使用して、デバイス又は外部デバイスにおける再生のためのオーディオ/ビデオを提供するオーディオ/ビデオキャプチャアプリケーションによってキャプチャされたデータ、コンピュータシステムに(例えば、デバイスのユーザに関連付けられた1つ以上の特徴(例えば、音声、顔、生体データ)をキャプチャすることによって)コンピュータシステムのロック解除/ロックなどの機能を実行させず、1つ以上の音声コマンドに反応する(例えば、それに応答して情報を提供する)アプリケーション)は、再生のために利用可能(例えば、読み取り可能にアクセス可能(例えば、表示された第1のメディアキャプチャに関連付けられたアプリケーションを表示している間に受信した1つ以上のユーザ入力を介して利用可能))なデータ(例えば、(例えば、1つ以上の出力デバイス(例えば、コンピュータシステム及び/又は他のデバイスにおけるカメラ、マイクロフォン、ディスプレイ(例えば、ディスプレイ生成構成要素))によって出力される)再生のために利用可能なように記憶されたデータ、一時的データではないデータ、外部デバイスに送信され及び/又は外部デバイスへの後続の送信のために(又はローカルユーザ再生のために)ローカルに記憶されるデータ、信頼されていないアプリケーション(例えば、非第1者の音声アシスタントアプリケーション、非第1者の認証アプリケーション)に渡されるデータ)に対応する。
いくつかの実施形態では、グラフィカルインジケータ(例えば、1042)(例えば、円(例えば、実線を有する円、ハッチングを有する円)、三角形、正方形、任意の他の好適な形状)は、状態バー(例えば、表示可能領域の縁部と位置合わせされた、現在時間を含む、信号強度を示す、及び/又はバッテリ状態を含むユーザインタフェースオブジェクト)が表示されるかどうかにかかわらず表示される。いくつかの実施形態では、状態バーが表示されている間、グラフィカルインジケータは、現在状態バー内に表示される。いくつかの実施形態では、グラフィカルインジケータが現在状態バー内に表示されている間に、コンピュータシステムは、状態バー(例えば、アプリケーションのフルスクリーンディスプレイ)を表示するのを停止する指示を受信し、状態バーの表示を停止する指示を受信したことに応答して、コンピュータシステムは、グラフィカルインジケータの表示を継続しながら状態バーの表示を停止する。いくつかの実施形態では、状態バーが表示されず、グラフィカルインジケータが表示されている間、コンピュータシステムは、状態バーを表示するための指示を受信し、状態バーを表示するための指示を受信したことに応答して、コンピュータシステムは、グラフィカルインジケータを表示し続けながら状態バーを表示する。状態バーが表示されているかどうかにかかわらずグラフィカルインジケータを表示することは、適用可能な場合、メディアキャプチャデバイスが第1の種類のデータ(例えば、マルチメディアデータ)を記録しているかどうかにかかわらず、特定のユーザインタフェース要素が同時に表示されているかどうかとは無関係に、一貫したフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルインジケータ(例えば、1042)は、少なくとも1つのメディアキャプチャデバイス(例えば、カメラ、センサ、マイクロフォン、コンピュータシステムの1つ以上のメディアキャプチャデバイスのうちの少なくとも1つのメディアキャプチャデバイス)に隣接する(例えば、ユーザインタフェース(例えば、ディスプレイ生成構成要素によって現在表示されているユーザインタフェース)上の表示可能エリアの)位置に表示される。メディアキャプチャデバイスに隣接する位置にグラフィカルインジケータを表示することにより、ユーザがグラフィカルインジケータの機能性及び目的に関する良好な理解を有することを可能にするフィードバックをユーザに提供する(例えば、グラフィカルインジケータは、グラフィカルインジケータに隣接するメディアキャプチャデバイスの状態(例えば、キャプチャのアクティブ状態)に対応する)。更に、メディアキャプチャデバイスに隣接する位置にグラフィカルインジケータを表示することは、他のユーザインタフェースオブジェクト及びコンピュータシステムを介して表示される情報を不必要に妨害することを回避する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルインジケータ(1042)は、状態バー(例えば、1022)(例えば、第1の種類のユーザインタフェースオブジェクト)が現在表示されていないとの判定に従って、第1の位置(例えば、ユーザインタフェースの隅(例えば、左上の隅、右上の隅、左下の隅、右下の隅)にある(例えば、それに隣接する、そこにおける)位置)(例えば、ディスプレイ生成構成要素によって現在表示されているユーザインタフェース)に表示される。いくつかの実施形態では、グラフィカルインジケータ(例えば、1042)は、状態バー(例えば、1022)(例えば、第1の種類のユーザインタフェースオブジェクト)が現在表示されていないとの判定に従って、第1の位置とは異なる第2の位置(例えば、ユーザインタフェースの隅又はその近くの位置)に表示される。いくつかの実施形態では、グラフィカルインジケータの表示位置は、状態バーが表示されているかどうかに基づいて変化する。満たされている異なる所定の条件に基づいて異なる位置にグラフィカルインジケータを表示することは、他のユーザインタフェースオブジェクト及び情報がグラフィカルインジケータの表示によって不明瞭にならないように、メディアキャプチャデバイスが控えめな方式で第1の種類のデータ(例えば、マルチメディアデータ)を記録しているかどうかに関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルインジケータ(例えば、1042)を表示している間に、コンピュータシステムは、(例えば、1つ以上の入力デバイスを介して)第1の入力(例えば、1050g、1050n、1050v)(例えば、第1のユーザ入力、ドラッグジェスチャ)を受信する。いくつかの実施形態では、第1の入力(例えば、1050g、1050n、1050v)の受信に応答して、コンピュータシステムは、第1のメディアキャプチャデバイスのアクティブ化を示す第2のグラフィカルインジケータを含むユーザインタフェース(例えば、(例えば、ターン/オフWi-Fi、Blue-tooth、機内モード、夜間モード、スクリーンロックモード、フラッシュライトモード)(例えば、表示画面の輝度、サウンドレベルを増大/減少させる)設定構成ユーザインタフェース(例えば、選択されたときにコンピュータシステムの複数の機能(例えば、モード)を制御する複数の選択可能なユーザインタフェースオブジェクトを含むユーザインタフェース))を表示する。いくつかの実施形態では、第2のグラフィカルインジケータは、グラフィカルインジケータとは異なる。いくつかの実施形態では、第1のユーザ入力を受信したことに応答して、グラフィカルインジケータは表示されなくなる。いくつかの実施形態では、第2のグラフィカルインジケータは、グラフィカルインジケータと同時に表示されない。いくつかの実施形態では、第2のグラフィカルインジケータは、第1のメディアキャプチャデバイスとは異なるメディアキャプチャデバイス又は第1のメディアキャプチャデバイスとは異なる種類のメディアキャプチャデバイス(例えば、マイクロフォン、カメラ)のアクティブ化を示すグラフィカルインジケータ(又は1つ以上の他のグラフィカルインジケータ)と共に表示される。
いくつかの実施形態では、第2のグラフィカルインジケータ(例えば、1044a~1044d)は、グラフィカルインジケータ(例えば、1042)の表示されたコンテンツとは異なる(例えば、より多い(例えば、より多くの文字、アイコン、及び/又は情報))表示されたコンテンツを含む。第1の種類の同じデータを記録している同じメディアキャプチャデバイスの同じアクティブ化を示すグラフィカルインジケータを表示することは、メディアキャプチャデバイスが第1の種類のデータをアクティブに記録しているかどうかに関する一貫した視覚的フィードバックをユーザに提供し、メディアキャプチャデバイスが第1の種類のデータをアクティブに記録している間(例えば、異なるユーザインタフェースが表示されるとき)に、ユーザがどのようにコンピュータシステムを動作させるかに関するより高い柔軟性をユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。グラフィカルインジケータの表示されたコンテンツとは異なる表示されたコンテンツを含む第2のグラフィカルインジケータを表示することは、メディアキャプチャデバイスの動作状態の理解を向上させたユーザをもたらすアクティブなメディアキャプチャデバイスの記録状態に関するより多くの情報をユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、第1のメディアキャプチャデバイスは、第1の種類のメディアキャプチャデバイス(例えば、マイクロフォン、カメラ)である。いくつかの実施形態では、グラフィカルインジケータの表示されたコンテンツ(例えば、1044a~1044d)は、第1の種類のメディアキャプチャデバイスの指示(例えば、1044a2、1044b2、1044c2)(例えば、画像、テキスト)を含む。いくつかの実施形態では、第1のメディアキャプチャデバイスは、第2の種類のメディアキャプチャデバイスであり、グラフィカルインジケータのコンテンツは、第2の種類のメディアキャプチャデバイスの指示を含む。いくつかの実施形態では、コンピュータシステムが第1のユーザインタフェース(例えば、設定構成ユーザインタフェース)を表示しているとの判定に従って(又はその間に)、グラフィカルインジケータは、第1の種類のメディアキャプチャデバイスの指示を含む。いくつかの実施形態では、コンピュータシステムが、第1のユーザインタフェース(例えば、設定構成ユーザインタフェース)ではない第2のユーザインタフェースを表示しているとの判定に従って(又はその間に)、グラフィカルインジケータは、第1の種類のメディアキャプチャデバイスの指示を含まない。いくつかの実施形態では、グラフィカルインジケータは、第1のメディアキャプチャデバイスがカメラセンサであるとき、カメラ/カムコーダ画像を含み、グラフィカルインジケータは、第1のメディアキャプチャデバイスがオーディオマイクロフォンであるとき、マイクロフォン画像を含む。メディアキャプチャデバイスの種類の指示を含むグラフィカルインジケータを表示することは、データを記録しているメディアキャプチャデバイスの種類(例えば、マイクロフォン、カメラ)に関する視覚的フィードバックをユーザに提供し、これにより、ユーザは、メディアキャプチャデバイスによって記録されているデータの種類(例えば、オーディオデータ、視覚的データ)をより正確に判定することができる。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルインジケータの表示されたコンテンツは、第1のメディアキャプチャデバイスを介して(例えば、又はそれを現在している)現在データを記録しているアプリケーション(例えば、図10Pの1044b、1044c)(又はプロセス若しくは機能)の指示(例えば、アプリケーションの表現(例えば、テキスト指示、グラフィカル指示)を含むグラフィカルインジケータの表示)を含む。いくつかの実施形態では、コンピュータシステムが第1のユーザインタフェース(例えば、設定構成ユーザインタフェース)を表示しているとの判定に従って、グラフィカルインジケータは、第1のメディアキャプチャデバイスを介して現在データを記録しているアプリケーションの指示(例えば、名称、ショートカットアイコン)を含む。いくつかの実施形態では、コンピュータシステムが第1のユーザインタフェース(例えば、設定構成ユーザインタフェース)ではない第2のユーザインタフェースを表示しているとの判定に従って、グラフィカルインジケータは、第1のメディアキャプチャデバイスを介して現在データを記録しているアプリケーションの表示を含まない。第1のメディアキャプチャデバイスを介して種類のデータ現在記録しているアプリケーションの指示を含むグラフィカルインジケータを表示することは、ユーザが第1のメディアキャプチャデバイスをアクティブ化したアプリケーションを判定することを可能にする情報、第1のメディアキャプチャデバイスがデータを記録している理由(例えば、アプリケーションの機能性)、及び記録されているデータの種類(例えば、オーディオデータ、画像データ)に関するコンテキストをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルインジケータの表示されたコンテンツは、第1のメディアキャプチャデバイスを介して以前にデータを記録したアプリケーションの指示(例えば、図10Sの1044c)を含む(例えば、アプリケーションが現在データを記録していない場合であっても、現在時刻の所定の時間閾値内)である。いくつかの実施形態では、コンピュータシステムが第1のユーザインタフェース(例えば、設定構成ユーザインタフェース)を表示しているとの判定に従って、グラフィカルインジケータは、第1のメディアキャプチャデバイスを介して以前にデータを記録したアプリケーションの指示を含む。いくつかの実施形態では、コンピュータシステムが第1のユーザインタフェース(例えば、設定構成ユーザインタフェース)ではない第2のユーザインタフェースを表示しているとの判定に従って、グラフィカルインジケータは、第1のメディアキャプチャデバイスを介して以前にデータを記録したアプリケーションの指示を含まない。いくつかの実施形態では、所定期間後、グラフィカルインジケータは、表示されることを停止する(又は、グラフィカルインジケータの表示がタイムアウトする)。いくつかの実施形態では、グラフィカルインジケータは、より最近のグラフィカルインジケータによって置き換えることができる。いくつかの実施形態では、第1のアプリケーションがカメラ(又はマイクロフォン)を使用していることを示すグラフィカルインジケータは、第2のアプリケーションがカメラ(又はマイクロフォン)を使用していることを示すグラフィカルインジケータによって置き換えることができる。データを記録したアプリケーションの指示を含むグラフィカルインジケータを表示することは、アプリケーションがデータを記録していたという視覚的フィードバックをユーザに提供し、これは、メディアキャプチャデバイスをアクティブ化した、及び/又は記録されたデータを受信したアプリケーションを判定する情報をユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、第1のユーザ入力を受信したことに応答して、及びグラフィカルインジケータが第1のアプリケーション種類のアプリケーションに対応するとの判定に従って、グラフィカルインジケータ(例えば、1044a)は、選択可能である(例えば、1044a3)(例えば、1つ以上のユーザ入力を介してアクティブ化されるように利用可能である(例えば、応答においてアクションを実行するためにコンピュータシステムを開始する))。いくつかの実施形態では、第1のユーザ入力を受信したことに応答して、及びグラフィカルインジケータが第1のアプリケーション種類のアプリケーションに対応しないとの判定に従って、グラフィカルインジケータは、選択可能でない(例えば、1つ以上のユーザ入力を介してアクティブ化されるように利用可能でない(例えば、応答においてアクションを実行するためにコンピュータシステムを開始する))。いくつかの実施形態では、選択可能なグラフィック指示を表示し、グラフィカル指示の選択(例えば、オン)に対応するユーザ入力(例えば、タップ)を受信している間に、グラフィカル指示の選択に対応するユーザ入力を受信したことに応答して、第1のアプリケーション種類のアプリケーションの1つ以上の許可を管理するための第3のユーザインタフェースを表示する(例えば、アプリケーションがカメラ及び/又はマイクロフォンを使用することを許可されている状況を変更することなどの許可を増加する、低減する、又は取り消す)。いくつかの実施形態では、第3のユーザインタフェースは、選択されると、メディアキャプチャデバイスを使用してデータを記録すること(例えば、今後及び/又は現在)からアプリケーションを停止する、1つ以上の選択可能なユーザインタフェースオブジェクトを含む。所定の条件が満たされると、グラフィカルインジケータを選択可能とする(例えば、グラフィカルインジケータが第1の種類のアプリケーションに対応する)と、許可されたとき(例えば、第1の種類のアプリケーションがメディアキャプチャデバイスを介してメディアをキャプチャしているとき)にユーザがより効率的かつ容易に設定を調整する(例えば、第1のメディアキャプチャデバイスにアクセスするアプリケーション能力を取り消す)ことを可能にすることによってシステム上でより多くの制御をユーザに提供する。表示される追加コントローラによってUIを雑然とさせることなく、追加制御できるようにすることにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、コンピュータシステムは、(例えば、1つ以上の入力デバイスを介して)第3のユーザ入力(例えば、ドラッグジェスチャ)を受信する。いくつかの実施形態では、第3のユーザ入力を受信したことに応答して、コンピュータシステムは、第3のユーザ入力が受信されたとの判定に従って、第1のメディアキャプチャデバイスがアクティブであった後に(例えば、第1のメディアキャプチャデバイスが現在非アクティブ化である)第1のメディアキャプチャデバイスがアクティブ化され続ける又は所定時間内(例えば、1秒、3秒、10秒、20秒、30秒)である間に、第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカル指示(例えば、1044d)を含むユーザインタフェース(例えば、設定構成(例えば、選択されると、システムの複数の機能(例えば、モード)(例えば、ターン/オフwi-fi、Blue-tooth、機内モード、夜間モード、スクリーンロックモード、フラッシュライトモード)(例えば、表示画面輝度、サウンドレベルを増加/減少させる)を制御する複数の選択可能なユーザインタフェースオブジェクトを含むユーザインタフェース)を表示する。いくつかの実施形態では、第3のユーザ入力を受信したことに応答して、コンピュータシステムは、第3のユーザ入力が受信されなかったとの判定に従って、第1のメディアキャプチャデバイスがアクティブであった後に、第1のメディアキャプチャデバイスがアクティブ化され続ける又は所定時間内である間に、第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカルインジケータを含まないユーザインタフェース(例えば、設定構成(例えば、選択されると、システムの複数の機能(例えば、モード)(例えば、ターン/オフwi-fi、Blue-tooth、機内モード、夜間モード、スクリーンロックモード、フラッシュライトモード)(例えば、表示画面輝度、サウンドレベルを増加/減少させる)を制御する複数の選択可能なユーザインタフェースオブジェクトを含むユーザインタフェース)を表示する。
いくつかの実施形態では、グラフィカルインジケータは、少なくとも最小(例えば、1044d)(例えば、1秒、2秒、3秒)の期間表示される。いくつかの実施形態では、グラフィカルインジケータは、第1のメディアキャプチャデバイスが最小期間にわたって(例えば、写真をキャプチャしている間に)アクティブ化されていない場合であっても、最小期間にわたって表示される。いくつかの実施形態では、第1のメディアキャプチャデバイスが最小期間を上回る期間アクティブ化されたとき、グラフィカルインジケータは、第1のメディアキャプチャデバイスがアクティブであった期間にわたって表示され、第1のメディアキャプチャデバイスが最小期間を超えない期間アクティブ化されたとき、グラフィカルインジケータは、最小期間表示される(例えば、グラフィカルインジケータは、アプリケーションがカメラ及び/又はマイクロフォンを使用して停止した後であっても表示され、グラフィカルインジケータが少なくとも最小期間表示されることを確実にし、グラフィカルインジケータを見る機会をユーザに提供し、ユーザがグラフィカルインジケータを目立たせることを回避するために、アプリケーションが短期間だけカメラ及び/又はマイクロフォンを使用することを防止する。グラフィカルインジケータを少なくとも最小期間表示することにより、グラフィカルインジケータを閲覧し、いかなる混乱も低減させるためのより大きな機会をユーザに提供し、ユーザは、第1のメディアキャプチャデバイスが最小期間未満だけアクティブ化されたときにグラフィカルインジケータが表示されたか又は表示されなかったかどうかを有することができる。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルインジケータ(例えば、1044a)は、第1のメディアキャプチャデバイスがアクティブであった時間長に基づいた時間長で表示される。いくつかの実施形態では、グラフィカルインジケータが表示される時間長は、第1のメディアキャプチャデバイスがアクティブである時間長に基づいている。いくつかの実施形態では、グラフィカルインジケータは、第1のメディアキャプチャデバイスがビデオをキャプチャしている時間長よりも長く表示される(例えば、第1のメディアデバイスが、所定期間(例えば、1秒、2秒)にわたってビデオをキャプチャするためにアクティブ化されていないとき)。第1のメディアキャプチャデバイスがアクティブであった時間に基づく少なくともある時間長にわたってグラフィカルインジケータを表示することは、第1のメディアキャプチャデバイスがどの程度長く第1の種類のデータを記録していたかの持続時間に関する良好な理解をユーザに提供し、これにより、ユーザは、第1のメディアキャプチャデバイスが何を記録しているかをより正確に確認することができる。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性を向上させ、(例えば、システムを操作する/システムと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、システムのバッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルインジケータ(例えば、1042)の表示位置は、実行中又は表示されているアプリケーション又は機能にかかわらず変化しない。いくつかの実施形態では、グラフィカルインジケータは、(例えば、設定構成ユーザインタフェースが表示されているか否かに基づいて)スマートホンなどのタブレットデバイスではないデバイス上の複数の位置に表示される。いくつかの実施形態では、グラフィカルインジケータは、タブレットデバイスであるデバイス上の同じ位置に表示される(例えば、設定構成ユーザインタフェースが表示されているか否かにかかわらず)。
方法1100(例えば、図11)に関して上記したプロセスの詳細はまた、後述/前述の方法にも同様の方法で適用可能であることに留意されたい。例えば、方法1100は、任意選択的に、方法700及び900に関して前述した様々な方法の特性の1つ以上を含む。例えば、方法1100は、方法900のステップ902及び/又はステップ910を介して表示されることができる、メディアがキャプチャされていることをユーザにアラートすることができる状態インジケータを表示する。簡潔にするために、これらの詳細は、以下で繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの変更及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最も良く説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。
上述のように、本技術の一態様は、様々なソースから入手可能なデータを収集及び使用して、コンピュータシステムの操作性を増大させ、及び/又はコンピュータシステムが、コンピュータシステムのメディアキャプチャデバイスを使用してネイティブの又は信頼された音声アシスタントアプリケーションを介して実行される機能、コンピュータシステムのロック解除/ロック、(例えば、それに応答して情報を提供する)1つ以上の音声コマンドに対する反応など、ユーザの様々な機能を実行することを可能にするために、様々なソースから入手可能なデータの収集及び使用である。本開示は、場合によっては、この収集されたデータは、特定の人物を一意的に特定する、又は特定するために使用できる、個人情報データを含み得ることを意図している。そのような個人情報データは、顔特徴、生体データ、又は任意の他の識別情報若しくは個人情報を含むことができる。本開示は、本技術における個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データを使用して、ユーザに様々な機能を提供することができ、及び/又はコンピュータシステムの操作性を高めることができる。したがって、そのような個人情報データの使用は、ユーザがコンピュータシステムの操作性及び/又は機能性を制御することを可能にする。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び/又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集/共有は、ユーザに告知して同意を得た後に実施されるべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律(Health Insurance Portability and Accountability Act、HIPAA)などの、連邦法及び/又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに関して、異なるプライバシー慣行が保たれるべきである。
前述のことがらにもかかわらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び/又はソフトウェア要素を提供することができると想到する。例えば、デバイスをロック解除するために画像データをキャプチャする機能を提供する場合、本技術は、サービスの登録中又はその後いつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」をユーザが選択することを可能にするように構成されることができる。別の実施例では、ユーザは、デバイスをロック解除するために画像データを提供しないように選択することができ、したがって、画像データは収集されない。他の実施例では、1つ以上の機能を提供するために、及び/又はデバイスの操作性を増大させるために、キャプチャ、監視、及び/又は処理されるデータは、ほとんどの場合、外部デバイスのユーザによって再生されるように記憶されないことを理解されたい。また、1つ以上の機能を提供するために、及び/又はデバイスの操作性を増大させるために、キャプチャ、監視、及び/又は処理されるデータは、それぞれのデータのセキュリティ及び共有に関して慎重に処理され、ユーザのプライバシーが維持される(例えば、データは、第三者アプリケーションと共有されない)ことも理解されたい。更に、いくつかの実施例では、ユーザは、1つ以上の機能を提供するために、及び/又はデバイスの操作性を増大させるために使用されるように、キャプチャ、監視、及び/又は処理されるデータの量を制限することができる。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを想到する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更には、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子(例えば、生年月日など)を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、位置データを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって情報集約すること)及び/又は他の方法によって、容易にすることができる。
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものではあるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することもまた可能であることを想到している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、機能は、ユーザに関連付けられたデバイスによって要求されたコンテンツなどの非個人情報データ又は必要最小限の量の個人情報、利用可能な他の非個人情報、又は公的に利用可能な情報に基づいてユーザに提供されることができる。
[付記]
[項1]
方法であって、
1つ以上のカメラを有するコンピュータシステムであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信する、コンピュータシステムにおいて、
カメラユーザインタフェースを表示する要求を受信することと、
前記カメラユーザインタフェースを表示する前記要求を受信したことに応答して、前記1つ以上のカメラが、第1の露出補償値に基づいて画像をキャプチャするように構成されている間に、前記ディスプレイ生成構成要素を介して、カメラユーザインタフェースを表示することであって、
前記ディスプレイ生成構成要素を介して、前記1つ以上のカメラの視野の第1の表現を表示することと、
露出補償モードが有効化されたときに満たされる基準を含む露出補償基準のセットが満たされたとの判定に従って、前記1つ以上のカメラの前記視野の前記表現と同時に、露出補償インジケータを表示することと、を含む、前記カメラユーザインタフェースを表示することと、を備え、前記露出補償インジケータが、
前記第1の露出補償値の表現と、
前記コンピュータシステムが、前記1つ以上のカメラの前記視野の前記表現に対応するメディアをキャプチャする要求を受信したことに応答して、クリッピングが発生すると予測されたと判定した旨の視覚的な指示と、を含む、方法。
[項2]
前記露出補償インジケータを表示している間に、
発生すると予測される前記クリッピングが第1の種類のクリッピングであるとの判定に従って、前記視覚的な指示が第1の位置に表示され、
発生すると予測される前記クリッピングが、前記第1の種類のクリッピングとは異なる第2の種類のクリッピングであるとの判定に従って、前記視覚的な指示が、前記第1の位置とは異なる第2の位置に表示される、項1に記載の方法。
[項3]
前記第1の種類のクリッピングが、前記パラメータの値の範囲を上回る前記メディアのパラメータの値に基づくクリッピングであり、
前記第2の種類のクリッピングが、前記パラメータの値の範囲を下回る前記メディアのパラメータの値に基づくクリッピングである、
項2に記載の方法。
[項4]
第1の時間の前に、前記視覚的な指示が、第1の視覚的見掛けで表示され、
前記方法が、更に、
前記露出補償インジケータを表示している間の第1の時間に、及び発生すると予測される前記クリッピングが変化したとの判定に従って、前記視覚的な指示を前記第1の視覚的見掛けとは異なる第2の視覚的見掛けで表示することを備える、
項1から3のいずれか一項に記載の方法。
[項5]
前記視覚的な指示が、前記ディスプレイ生成構成要素を介して、前記第1の表現の外側にある位置に表示される、項1から4のいずれか一項に記載の方法。
[項6]
前記第1の露出補償値の前記表現を含む前記露出補償インジケータを表示している間に、前記1つ以上のカメラの前記視野内の変化を検出することと、
前記1つ以上のカメラの前記視野内の変化を検出したことに応答して、前記第1の露出補償値を表示し続けることと、を更に備える、
項1から5のいずれか一項に記載の方法。
[項7]
前記1つ以上のカメラが、前記第1の露出補償値と補償バイアス値との合計に基づく累積露出補償値に基づいて画像をキャプチャするように構成されている、項1から6のいずれか一項に記載の方法。
[項8]
前記露出補償基準のセットが満たされたとの判定に従って、前記累積露出補償値の指示を前記露出補償インジケータと同時に表示すること、を更に備える、
項7に記載の方法。
[項9]
前記第1の露出補償値の前記表現を含む前記露出補償インジケータを表示している間に、前記1つ以上の入力デバイスを介して、1つ以上のユーザ入力を検出することと、
前記1つ以上のジェスチャの検出に応答して、
デフォルト補償バイアス値から新たな補償バイアス値に補償バイアス値を変化させることであって、前記コンピュータシステムが、前記第1の露出補償値と前記バイアス補償値との合計に基づく累積補償に基づいて画像をキャプチャするように構成されていることと、
前記第1の露出補償値の前記表現を表示し続けることと、を更に備える、
項1から8のいずれか一項に記載の方法。
[項10]
前記第1の露出補償値の前記表現を含む露出補償インジケータを表示し、前記補償バイアス値が前記新たな補償値に変化されている間に、前記1つ以上のカメラの前記視野の変化を検出することと、
前記1つ以上のカメラの前記視野の変化を検出したことに応答して、及び前記1つ以上のカメラの前記視野内の前記変化が閾値を上回っているとの判定に従って、
前記補償バイアス値を前記デフォルト補償バイアス値に更新することと、
前記第1の露出補償値の前記表現を表示し続けることと、を更に備える、
項9に記載の方法。
[項11]
メディアキャプチャセッション終了時に満たされる第1の基準と、露出補償保存モードが有効でないときに満たされる第2の基準とを含むリセット基準のセットが満たされるとの判定に従って、前記第1の露出補償値をデフォルト補償値に設定することと、
前記リセット基準のセットが満たされないとの判定に従って、前記第1の露出補償値を前記第1の補償値に設定することを取り止めることと、を更に備える、
項1から10のいずれか一項に記載の方法。
[項12]
前記露出補償基準のセットが、露出補償保存モードが有効化されたときに満たされる基準を含む、項1から11のいずれか一項に記載の方法。
[項13]
前記露出補償基準のセットが満たされていないとの判定に従って、前記露出補償インジケータの表示を取り止めること、を更に備える、
項1から12のいずれか一項に記載の方法。
[項14]
前記露出補償インジケータを表示している間の第2の時間に、及び発生すると予測される前記クリッピングが変化したとの判定に従って、第1の視覚的状態から前記第1の視覚的状態とは異なる第2の視覚的状態へと遷移する前記露出補償指示のアニメーションを表示すること、を更に備える、
項1から13のいずれか一項に記載の方法。
[項15]
前記露出補償インジケータを表示している間に、前記露出補償インジケータの選択を受信することと、
前記露出補償インジケータの前記選択を受信したことに応答して、選択されたときに、前記露出補償インジケータを更新させる、前記露出補償を調整するためのコントロールを表示することと、を更に備える、
項1から14のいずれか一項に記載の方法。
[項16]
前記露出補償インジケータを表示している間に、及び前記1つ以上のカメラの前記視野の前記表現に対応するメディアをキャプチャする要求を受信したことに応答して、クリッピングが発生すると予測されないとの判定に従って、前記視覚的な指示の表示を停止すること、を更に備える、
項1から15のいずれか一項に記載の方法。
[項17]
1つ以上のカメラを有するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信し、前記1つ以上のプログラムが、項1から16のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
[項18]
コンピュータシステムであって、
1つ以上のカメラであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信する、1つ以上のカメラと、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリであって、前記1つ以上のプログラムが、項1から16のいずれか一項に記載の方法を実行する命令を含む、メモリと、を備える、コンピュータシステム。
[項19]
コンピュータシステムであって、
1つ以上のカメラと、
項1から16のいずれか一項に記載の方法を実行する手段と、を備える、コンピュータシステム。
[項20]
1つ以上のカメラを有するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信し、前記1つ以上のプログラムが、
カメラユーザインタフェースを表示する要求を受信し、
前記カメラユーザインタフェースを表示する要求を受信したことに応答して、前記1つ以上のカメラが、第1の露出補償値に基づいて画像をキャプチャするように構成されている間に、前記ディスプレイ生成構成要素を介して、カメラユーザインタフェースを表示することであって、
前記ディスプレイ生成構成要素を介して、前記1つ以上のカメラの視野の第1の表現を表示することと、
露出補償モードが有効化されたときに満たされる基準を含む露出補償基準のセットが満たされたとの判定に従って、前記1つ以上のカメラの前記視野の前記表現と同時に、露出補償インジケータを表示することと、を含む、前記カメラユーザインタフェースを表示するための命令を含み、前記露出補償インジケータが、
前記第1の露出補償値の表現と、
前記コンピュータシステムが、前記1つ以上のカメラの前記視野の前記表現に対応するメディアをキャプチャする要求を受信したことに応答して、クリッピングが発生すると予測されたと判定した旨の視覚的な指示と、を含む、非一時的コンピュータ可読記憶媒体。
[項21]
コンピュータシステムであって、
1つ以上のカメラと、
1つ以上のプロセッサであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信する、1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記1つ以上のプログラムが、
カメラユーザインタフェースを表示する要求を受信し、
前記カメラユーザインタフェースを表示する前記要求を受信したことに応答して、前記1つ以上のカメラが、第1の露出補償値に基づいて画像をキャプチャするように構成されている間に、前記ディスプレイ生成構成要素を介して、カメラユーザインタフェースを表示することであって、
前記ディスプレイ生成構成要素を介して、前記1つ以上のカメラの視野の第1の表現を表示することと、
露出補償モードが有効化されたときに満たされる基準を含む露出補償基準のセットが満たされたとの判定に従って、前記1つ以上のカメラの前記視野の前記表現と同時に、露出補償インジケータを表示することと、を含む、前記カメラユーザインタフェースを表示するための命令を含み、前記露出補償インジケータが、
前記第1の露出補償値の表現と、
前記コンピュータシステムが、前記1つ以上のカメラの前記視野の前記表現に対応するメディアをキャプチャする要求を受信したことに応答して、クリッピングが発生すると予測されたと判定した旨の視覚的な指示と、を含む、コンピュータシステム。
[項22]
コンピュータシステムであって、
カメラユーザインタフェースを表示する要求を受信する手段と、
前記カメラユーザインタフェースを表示する前記要求を受信したことに応答して、前記1つ以上のカメラが、第1の露出補償値に基づいて画像をキャプチャするように構成されている間に、前記ディスプレイ生成構成要素を介して、カメラユーザインタフェースを表示する手段であって、
前記ディスプレイ生成構成要素を介して、前記1つ以上のカメラの視野の第1の表現を表示する手段と、
露出補償モードが有効化されたときに満たされる基準を含む露出補償基準のセットが満たされたとの判定に従って、前記1つ以上のカメラの前記視野の前記表現と同時に、露出補償インジケータを表示する手段と、を含む、前記カメラユーザインタフェースを表示する手段と、を備え、前記露出補償インジケータが、
前記第1の露出補償値の表現と、
前記コンピュータシステムが、前記1つ以上のカメラの前記視野の前記表現に対応するメディアをキャプチャする要求を受信したことに応答して、クリッピングが発生すると予測されたと判定した旨の視覚的な指示と、を含む、コンピュータシステム。
[項23]
方法であって、
ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信するコンピュータシステムにおいて、
前記ディスプレイ生成構成要素を介して、メディアビューワユーザインタフェースを表示することであって、
第1の以前にキャプチャされたメディアアイテムの表現を含む第1の部分と、
第1の視覚的見掛けを有し、かつ前記メディアビューワユーザインタフェースの前記第1の部分とは異なる第2の部分と、を含むメディアビューワユーザインタフェースを表示することと、
前記ディスプレイ生成構成要素を介して、前記第1の視覚的見掛けを有する前記メディアビューワユーザインタフェースの前記第2の部分を含む前記メディアビューワユーザインタフェースを表示している間に、前記第1の以前にキャプチャされたメディアアイテムとは異なる第2の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信することと、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示する前記要求を受信したことに応答して、
前記第2の以前にキャプチャされたメディアアイテムの前記表現が高ダイナミックレンジ(HDR)メディアアイテムであるときに満たされる基準を含む第1のセットの基準が満たされたとの判定に従って、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示することと、
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するように更新することと、を備える、方法。
[項24]
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するように更新することが、
前記メディアアイテムの一部が第1の輝度レベルを有するとの判定に従って、前記メディアビューワユーザインタフェースの前記第2の部分を第1の量の視覚的特性で表示することと、
前記メディアアイテムの前記一部が前記第1の輝度レベルとは異なる第2の輝度レベルを有するとの判定に従って、前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の量の視覚的特性とは異なる第2の量の視覚的特性で表示することと、を含む、項23に記載の方法。
[項25]
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するように更新することが、
前記メディアアイテムが第1の時間量にわたって表示されているとの判定に従って、前記メディアビューワユーザインタフェースの前記第2の部分を第3の量の視覚的特性で表示することと、
前記メディアアイテムが前記第1の時間量とは異なる第2の時間量にわたって表示されているとの判定に従って、前記メディアビューワユーザインタフェースの前記第2の部分を、前記第3の量の視覚的特性とは異なる第4の量の視覚的特性で表示することと、を含む、項23から24のいずれか一項に記載の方法。
[項26]
方法であって、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示することが、前記第1の以前にキャプチャされたメディアアイテムの前記表現を前記第2の以前にキャプチャされたメディアの前記表現と置き換えることを含み、
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するように更新することが、
前記第1の以前にキャプチャされたメディアアイテムの前記表現が、前記第2の以前にキャプチャされたメディアの前記表現と置き換えられる前に少なくとも第1の時間量にわたって表示されたとの判定に従って、第5の量の視覚的特性で前記メディアビューワユーザインタフェースの前記第2の部分を表示することと、
前記第1の以前にキャプチャされたメディアアイテムコンテンツの前記表現が、前記第1の時間量とは異なる第2の時間量で前記第2の以前にキャプチャされたメディアの前記表現と置き換えられているとの判定に従って、前記メディアビューワユーザインタフェースの前記第2の部分を、前記第5の量の視覚的特性とは異なる第6の量の視覚的特性で表示することと、を含む、項23から25のいずれか一項に記載の方法。
[項27]
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するように更新することが、
以前にキャプチャされたメディアアイテムを表示する要求の平均速度が第1の閾値を下回るとの判定に従って、前記メディアビューワユーザインタフェースの前記第2の部分を第7の量の視覚的特性で表示することと、
以前にキャプチャされたメディアアイテムを表示する要求の平均速度が前記第1の閾値を下回らないとの判定に従って、前記第2の数が前記第1の数とは異なり、前記メディアビューワユーザインタフェースの前記第2の部分を、前記第7の量の視覚的特性とは異なる第8の量の視覚的特性で表示することと、を含む、項23から26のいずれか一項に記載の方法。
[項28]
方法であって、
前記ディスプレイ生成構成要素を介して、前記第1の視覚的見掛けを有する前記メディアビューワユーザインタフェースの前記第2の部分を含む前記メディアビューワユーザインタフェースを表示している間に、前記第1の以前にキャプチャされたメディアアイテム及び前記第2の以前にキャプチャされたメディアアイテムとは異なる第3の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信することと、
前記第3の以前にキャプチャされたメディアアイテムの前記表現を表示する前記要求を受信したことに応答して、及び前記第3の以前にキャプチャされたメディアアイテムの前記表現がHDRメディアアイテムであるときに満たされる基準を含む前記第1の基準のセットが満たされたとの判定に従って、
前記第3の以前にキャプチャされたメディアアイテムの前記表現を表示することと、
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛け及び前記第2の視覚的見掛けとは異なる第3の視覚的見掛けを有するように更新することと、を更に備える、項23から27のいずれか一項に記載の方法。
[項29]
前記第2の以前にキャプチャされたメディアアイテムが、HDRメディアアイテムであり、前記第2の以前にキャプチャされたメディアアイテムの前記表現がHDRで表示される、項23から28のいずれか一項に記載の方法。
[項30]
前記第1の基準のセットが、前記第2の部分が第1の色であるときに満たされる基準を含む、項23から29のいずれか一項に記載の方法。
[項31]
前記メディアビューワユーザインタフェースの前記第2の部分を前記第2の視覚的見掛けを有するように更新することが、前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けから前記第2の視覚的見掛けを有するように徐々に遷移させるアニメーションを表示することを含む、項23から30のいずれか一項に記載の方法。
[項32]
前記以前にキャプチャされたメディアアイテムの前記表現が、所定量の輝度を有するコンテンツを含み、前記以前にキャプチャされたメディアアイテムの前記表現が、
前記輝度の量が輝度閾値を上回るとの判定に従って、変更された輝度の量で表示され、
前記輝度の量が前記輝度閾値を上回らないとの判定に従って、前記輝度の量で表示される、項23から31のいずれか一項に記載の方法。
[項33]
方法であって、
前記第1の以前にキャプチャされたメディアアイテムが、前記HDRメディアアイテムではなく、
前記第2の以前にキャプチャされたメディアアイテムが、前記HDRメディアアイテムであり、
前記方法が、更に、
前記ディスプレイ生成構成要素を介して、前記第1の部分及び前記第2の部分を含む前記メディアビューワユーザインタフェースを表示する前に、前記ディスプレイ生成構成要素を介して、メディアアイテムの複数の表現を含むユーザインタフェースを表示することを備え、
前記メディアアイテムの複数の表現が、HDRコンテンツを有しない前記第1の以前にキャプチャされたメディアアイテムの第2の表現と、HDRコンテンツを有しない前記第2の以前にキャプチャされたメディアアイテムの第2の表現とを含む、項23から32のいずれか一項に記載の方法。
[項34]
方法であって、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示する前記要求を受信したことに応答して、
前記第1のセットの基準が満たされないとの判定に従って、前記メディアビューワユーザインタフェースの前記第2の部分の更新を、前記第1の視覚的見掛けとは異なる前記第2の視覚的見掛けを有するように取り止めること、を更に備える、項23から33のいずれか一項に記載の方法。
[項35]
方法であって、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示している間に、前記第2の部分が前記第2の視覚的見掛けを有し、第4の以前にキャプチャされたメディアアイテムの前記表現を表示する要求を受信することと、
前記第3の以前にキャプチャされたメディアアイテムを表示する要求を受信したことに応答して、
前記第4の以前にキャプチャされたメディアアイテムの前記表現がHDRメディアアイテムであるときに満たされる基準を含む前記第1の基準セットが満たされたとの判定に従って、
前記第2の部分の前記視覚的見掛けを更新することなく、前記第4の以前にキャプチャされたメディアアイテムの前記表現を表示することと、
前記メディアの前記第2の部分を、前記第1の視覚的見掛け及び前記第2の視覚的見掛けとは異なることに基づく視覚的見掛けを有するように更新することと、
前記第1の基準のセットが満たされていないとの判定に従って、
前記第4の以前にキャプチャされたメディアアイテムの前記表現を表示することと、
前記第2の視覚的見掛けとは異なる所定の視覚的見掛けを有するように前記メディアの前記第2の部分を更新することと、を更に備える、項23から34のいずれか一項に記載の方法。
[項36]
ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、項23から35のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
[項37]
コンピュータシステムであって、
1つ以上のプロセッサであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信する、1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリであって、前記1つ以上のプログラムが、項23から35のいずれか一項に記載の方法を実行する命令を含む、メモリと、を備える、コンピュータシステム。
[項38]
コンピュータシステムであって、
項23から35のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
[項39]
コンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信し、前記1つ以上のプログラムが、
前記ディスプレイ生成構成要素を介して、メディアビューワユーザインタフェースを表示することであって、
第1の以前にキャプチャされたメディアアイテムの表現を含む第1の部分と、
第1の視覚的見掛けを有し、かつ前記メディアビューワユーザインタフェースの前記第1の部分とは異なる第2の部分と、を含むメディアビューワユーザインタフェースを表示し、
前記ディスプレイ生成構成要素を介して、前記第1の視覚的見掛けを有する前記メディアビューワユーザインタフェースの前記第2の部分を含む前記メディアビューワユーザインタフェースを表示している間に、前記第1の以前にキャプチャされたメディアアイテムとは異なる第2の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信し、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示する前記要求を受信したことに応答して、
前記第2の以前にキャプチャされたメディアアイテムの前記表現が高ダイナミックレンジ(HDR)メディアアイテムであるときに満たされる基準を含む第1のセットの基準が満たされたとの判定に従って、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示し、
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するように更新するための命令を含む、非一時的コンピュータ可読記憶媒体。
[項40]
コンピュータシステムであって、
1つ以上のプロセッサであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信する、1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記1つ以上のプログラムが、
前記ディスプレイ生成構成要素を介して、メディアビューワユーザインタフェースを表示することであって、
第1の以前にキャプチャされたメディアアイテムの表現を含む第1の部分と、
第1の視覚的見掛けを有し、かつ前記メディアビューワユーザインタフェースの前記第1の部分とは異なる第2の部分と、を含むメディアビューワユーザインタフェースを表示し、
前記ディスプレイ生成構成要素を介して、前記第1の視覚的見掛けを有する前記メディアビューワユーザインタフェースの前記第2の部分を含む前記メディアビューワユーザインタフェースを表示している間に、前記第1の以前にキャプチャされたメディアアイテムとは異なる第2の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信し、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示する前記要求を受信したことに応答して、
前記第2の以前にキャプチャされたメディアアイテムの前記表現が高ダイナミックレンジ(HDR)メディアアイテムであるときに満たされる基準を含む第1のセットの基準が満たされたとの判定に従って、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示し、
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するように更新するための命令を含む、非一時的コンピュータ可読記憶媒体。
[項41]
コンピュータシステムであって、
前記ディスプレイ生成構成要素を介して、メディアビューワユーザインタフェースを表示する手段であって、
第1の以前にキャプチャされたメディアアイテムの表現を含む第1の部分と、
第1の視覚的見掛けを有し、かつ前記メディアビューワユーザインタフェースの前記第1の部分とは異なる第2の部分と、を含むメディアビューワユーザインタフェースを表示する手段と、
前記ディスプレイ生成構成要素を介して、前記第1の視覚的見掛けを有する前記メディアビューワユーザインタフェースの前記第2の部分を含む前記メディアビューワユーザインタフェースを表示している間に、前記第1の以前にキャプチャされたメディアアイテムとは異なる第2の以前にキャプチャされたメディアアイテムの表現を表示する要求を受信する手段と、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示する前記要求を受信したことに応答して、
前記第2の以前にキャプチャされたメディアアイテムの前記表現が高ダイナミックレンジ(HDR)メディアアイテムであるときに満たされる基準を含む第1のセットの基準が満たされたとの判定に従って、
前記第2の以前にキャプチャされたメディアアイテムの前記表現を表示し、
前記メディアビューワユーザインタフェースの前記第2の部分を、前記第1の視覚的見掛けとは異なる第2の視覚的見掛けを有するように更新する手段と、を備える、コンピュータシステム。
[項42]
方法であって、
第1のメディアキャプチャデバイスを有するコンピュータシステムであって、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信するコンピュータシステムにおいて、
前記第1のメディアキャプチャデバイスがアクティブ化されているとの指示を受信することと、
前記第1のメディアキャプチャデバイスがアクティブ化されているとの前記指示を受信したことに応答して、
アクティブ化されている間に、前記第1のメディアキャプチャデバイスが第1の種類のデータを記録したとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカルインジケータを表示することと、
アクティブ化されている間に、前記第1のメディアキャプチャデバイスが、前記第1の種類のデータを記録することなく、第2の種類のデータを記録したとの判定に従って、前記第1のメディアキャプチャデバイスのアクティブ化を示す前記グラフィカルインジケータの表示を取り止めることと、を備える、方法。
[項43]
項42に記載の方法であって、前記第2の種類の前記記録されたデータが、再生のために利用可能ではないデータに対応する、方法。
[項44]
前記第1の種類の前記記録されたデータが、再生のために利用可能なデータに対応する、項42から43のいずれか一項に記載の方法。
[項45]
前記グラフィカルインジケータが、状態バーが表示されているかどうかにかかわらず表示される、項42から44のいずれか一項に記載の方法。
[項46]
前記グラフィカルインジケータが、少なくとも1つのメディアキャプチャデバイスに隣接する位置に表示される、項42から45のいずれか一項に記載の方法。
[項47]
方法であって、前記グラフィカルインジケータが、
状態バーが現在表示されていないという判定に従って、第1の位置に表示され、
前記状態バーが現在表示されていないという判定に従って、前記第1の位置とは異なる第2の位置に表示される、項42から46のいずれか一項に記載の方法。
[項48]
前記グラフィカルインジケータを表示している間に、第1の入力を受信することと、
前記第1の入力を受信したことに応答して、前記第1のメディアキャプチャデバイスのアクティブ化を示す第2のグラフィカルインジケータを含むユーザインタフェースを表示することと、を更に備える、
項42から47のいずれか一項に記載の方法。
[項49]
前記第2のグラフィカルインジケータが、前記グラフィカルインジケータの表示されたコンテンツとは異なる表示されたコンテンツを含む、項48に記載の方法。
[項50]
前記第1のメディアキャプチャデバイスが、第1の種類のメディアキャプチャデバイスであり、前記グラフィカルインジケータの表示されたコンテンツが、前記第1の種類のメディアキャプチャデバイスの指示を含む、項42から49のいずれか一項に記載の方法。
[項51]
前記グラフィカルインジケータの表示されたコンテンツが、前記第1のメディアキャプチャデバイスを介して現在データを記録しているアプリケーションの指示を含む、項42から50のいずれか一項に記載の方法。
[項52]
前記グラフィカルインジケータの表示されたコンテンツが、前記第1のメディアキャプチャデバイスを介して以前にデータを記録したアプリケーションの指示を含む、項42から51のいずれか一項に記載の方法。
[項53]
方法であって、
前記第1のメディアキャプチャデバイスが、第2の種類のメディアキャプチャデバイスであり、
前記方法が、更に、
前記グラフィカルインジケータと同時に、前記グラフィカルインジケータとは異なる第3のグラフィカルインジケータを表示することを備え、前記グラフィカルインジケータが、前記第2の種類のメディアキャプチャデバイスの指示を含み、前記第3のグラフィカルインジケータが、前記第2の種類のメディアキャプチャデバイスとは異なる第3の種類のメディアキャプチャデバイスの指示を含む、項42から52のいずれか一項に記載の方法。
[項54]
方法であって、前記グラフィカルインジケータが、
前記グラフィカルインジケータが第1のアプリケーション種類のアプリケーションに対応するとの判定に従って、選択可能であり、
前記グラフィカルインジケータが前記第1のアプリケーション種類のアプリケーションに対応しないとの判定に従って、選択可能ではない、項42から53のいずれか一項に記載の方法。
[項55]
方法であって、
選択可能な前記グラフィカル指示を表示している間に、前記グラフィカル指示の選択に対応するユーザ入力を受信することと、
前記グラフィカル指示の前記選択に対応する前記ユーザ入力を受信したことに応答して、前記第1のアプリケーション種類の前記アプリケーションの1つ以上の許可を管理するための第3のユーザインタフェースを表示することと、を更に備える、項54に記載の方法。
[項56]
方法であって、
第3のユーザ入力を受信することと、
前記第3のユーザ入力を受信したことに応答して、ユーザインタフェースを表示することであって、
前記第1のメディアキャプチャデバイスがアクティブであった後に、前記第1のメディアキャプチャデバイスがアクティブ化され続ける間又は所定時間内に前記第3のユーザ入力が受信されたとの判定に従って、前記第1のメディアキャプチャデバイスのアクティブ化を示す前記グラフィカル指示の表示を含み、
前記第1のメディアキャプチャデバイスがアクティブであった後に、前記第1のメディアキャプチャデバイスがアクティブ化され続ける間又は所定時間内に前記第3のユーザ入力が受信されなかったとの判定に従って、前記第1のメディアキャプチャデバイスのアクティブ化を示す前記グラフィカルインジケータの表示を含まない、前記ユーザインタフェースを表示することと、を更に備える、項42から55のいずれか一項に記載の方法。
[項57]
前記グラフィカルインジケータが、少なくとも最小期間にわたって表示される、項42から56のいずれか一項に記載の方法。
[項58]
前記グラフィカルインジケータが、前記第1のメディアキャプチャデバイスがアクティブであった時間長に基づく時間長にわたって表示される、項42から57のいずれか一項に記載の方法。
[項59]
前記グラフィカルインジケータの前記表示位置が、実行されている又は表示されているアプリケーション又は機能にかかわらず変化しない、項42から58のいずれか一項に記載の方法。
[項60]
第1のメディアキャプチャデバイスを有するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信し、前記1つ以上のプログラムが、項42から59のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
[項61]
コンピュータシステムであって、
第1のメディアキャプチャデバイスであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信する、第1のメディアキャプチャデバイスと、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリであって、前記1つ以上のプログラムが、項42から59のいずれか一項に記載の方法を実行する命令を含む、メモリと、を備える、コンピュータシステム。
[項62]
コンピュータシステムであって、
第1のメディアキャプチャデバイスと、
項42から59のいずれか一項に記載の方法を実行する手段を備える、コンピュータシステム。
[項63]
第1のメディアキャプチャデバイスを有するコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された、1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信し、前記1つ以上のプログラムが、
前記第1のメディアキャプチャデバイスがアクティブ化されているとの指示を受信し、
前記第1のメディアキャプチャデバイスがアクティブ化されているとの前記指示を受信したことに応答して、
アクティブ化されている間に、前記第1のメディアキャプチャデバイスが第1の種類のデータを記録したとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカルインジケータを表示し、
アクティブ化されている間に、前記第1のメディアキャプチャデバイスが、前記第1の種類のデータを記録することなく、第2の種類のデータを記録したとの判定に従って、前記第1のメディアキャプチャデバイスのアクティブ化を示す前記グラフィカルインジケータの表示を取り止めるための命令を含む、非一時的コンピュータ可読記憶媒体。
[項64]
コンピュータシステムであって、
第1のメディアキャプチャデバイスであって、前記コンピュータシステムが、ディスプレイ生成構成要素及び1つ以上の入力デバイスと通信する、第1のメディアキャプチャデバイスと、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記1つ以上のプログラムが、
前記第1のメディアキャプチャデバイスがアクティブ化されているとの指示を受信し、
前記第1のメディアキャプチャデバイスがアクティブ化されているとの前記指示を受信したことに応答して、
アクティブ化されている間に、前記第1のメディアキャプチャデバイスが第1の種類のデータを記録したとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカルインジケータを表示し、
アクティブ化されている間に、前記第1のメディアキャプチャデバイスが、前記第1の種類のデータを記録することなく、第2の種類のデータを記録したとの判定に従って、前記第1のメディアキャプチャデバイスのアクティブ化を示す前記グラフィカルインジケータの表示を取り止めるための命令を含む、コンピュータシステム。
[項65]
コンピュータシステムであって、
第1のメディアキャプチャデバイスと、
前記第1のメディアキャプチャデバイスがアクティブ化されているとの指示を受信する手段と、
前記第1のメディアキャプチャデバイスがアクティブ化されているとの前記指示を受信したことに応答して、
アクティブ化されている間に、前記第1のメディアキャプチャデバイスが第1の種類のデータを記録したとの判定に従って、前記ディスプレイ生成構成要素を介して、前記第1のメディアキャプチャデバイスのアクティブ化を示すグラフィカルインジケータを表示し、
アクティブ化されている間に、前記第1のメディアキャプチャデバイスが、前記第1の種類のデータを記録することなく、第2の種類のデータを記録したとの判定に従って、前記第1のメディアキャプチャデバイスのアクティブ化を示す前記グラフィカルインジケータの表示を取り止める手段と、を備える、コンピュータシステム。