以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、むしろ例示的な実施形態の説明として提供されることを認識されたい。
視覚コンテンツを管理する効率的な方法およびインタフェースを提供する電子デバイスが要求されている。例えば、ユーザが、サインやレストランのメニューなど、コンピュータシステムの1つ以上のカメラによってキャプチャされるオブジェクトに含まれた視覚コンテンツを管理できる、電子デバイスおよび/またはコンピュータシステムが要求されている。このような技術は、視覚コンテンツを管理するユーザにかけられた認識的負担を軽減し、それにより、生産性を高めることができる。更に、そのような技術は、普通なら冗長なユーザ入力に浪費されるプロセッサおよびバッテリの電力を低減することができる。
以下、図1A~図1B、図2、図3、図4A~図4B、および図5A~図5Bは、視覚コンテンツを管理する技術を行う例示的なデバイスの説明を提供する。
図6A~図6Zは、メディア内の視覚コンテンツを管理する例示的なユーザインタフェースを示す。図8は、いくつかの実施形態に係る、メディア内の視覚コンテンツを管理する方法を示すフロー図である。図6A~図6Zにおけるユーザインタフェースは、図8のプロセスを含めた後述のプロセスを示すために使用される。
図7A~図7Lは、メディア内の視覚コンテンツのための視覚インジケータを管理する例示的なユーザインタフェースを示す。図9は、いくつかの実施形態に係る、メディア内の視覚コンテンツのための視覚インジケータを管理する方法を示すフロー図である。図7A~図7Lにおけるユーザインタフェースは、図9のプロセスを含めた後述のプロセスを示すために使用される。
図10A~図10ADは、視覚コンテンツをメディアに挿入する例示的なユーザインタフェースを示す。図11は、視覚コンテンツをメディアに挿入する方法を示すフロー図である。図10A~図10ADにおけるユーザインタフェースは、図11のプロセスを含めた後述のプロセスを示すために使用される。
図12A~図12Lは、メディア内の視覚コンテンツを識別する例示的なユーザインタフェースを示す。図13は、メディア内の視覚コンテンツを識別する方法を示すフロー図である。図12A~12Lのユーザインタフェースは、図13のプロセスを含めた後述のプロセスを示すために使用される。
図14A~図14Nは、メディア内の視覚コンテンツを翻訳する例示的なユーザインタフェースを示す。図15は、いくつかの実施形態に係る、メディア内の視覚コンテンツを翻訳する方法を示すフロー図である。図14A~図14Nのユーザインタフェースは、図15のプロセスを含めた後述のプロセスを示すために使用される。
図16A~図16Oは、いくつかの実施形態による、メディア内の視覚コンテンツのためのユーザインタフェースオブジェクトを管理する例示的なユーザインタフェースを示す。図17は、いくつかの実施形態に係る、メディア内の視覚コンテンツのためのユーザインタフェースオブジェクトを管理する方法を示すフロー図である。図16A~図16Oにおけるユーザインタフェースは、図17のプロセスを含めた後述のプロセスを示すために使用される。
後述のプロセスは、改善された視覚的なフィードバックをユーザに提供すること、操作を実行するために必要な入力の数を減らすこと、表示される追加のコントロールでユーザインタフェースを雑然とさせることなく追加のコントロールオプションを提供すること、条件のセットが満たされたときに更なるユーザ入力を必要とせずに操作を実行すること、および/または、他の技術を含む、様々な技術により、(例えば、ユーザがデバイスを操作/対話する際に適切な入力を行うのを助け、ユーザの誤りを減らすことによって)デバイスの操作性を高め、ユーザとデバイスのインタフェースを効率化するものである。これらの技術はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
更に、1つ以上のステップが満たされている1つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第1のステップを実行し、条件が満たされなかった場合に第2のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、請求項に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた1つ以上の条件に依存する1つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システムまたはコンピュータ可読媒体が、対応する1つ以上の条件の充足に基づいて条件付き動作を実行するための命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システムまたはコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システムまたはコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
以下の説明では、様々な要素について説明するために、「第1の」、「第2の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第1のタッチを第2のタッチと呼ぶこともでき、同様に第2のタッチを第1のタッチと呼ぶこともできる。第1のタッチおよび第2のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明および添付の特許請求の範囲では、単数形の「a(1つ、一)」、「an(1つ、一)」、および「the(その、この)」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「および/または」は、関連する列挙された項目のうちの1つ以上のいずれかおよび全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む、備える)」、および/または「comprising(含む、備える)」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を除外しないことが更に理解されるであろう。
「~の場合(if)」という用語は、任意選択的に、文脈に従って、「~とき(when)」若しくは「~とき(upon)」、または「~と判定したことに応じて(in response to determining)」若しくは「~を検出したことに応じて(in response to detecting)」を意味すると解釈される。同様に、「~と判定された場合(if it is determined)」または「[記載の条件またはイベント]が検出された場合(if [a stated condition or event] is detected)」という語句は、任意選択的に、文脈に従って、「~と判定したとき(upon determining)」若しくは「~と判定したことに応じて(in response to determining)」、または「[記載の条件またはイベント]を検出したとき(upon detecting [the stated condition or event])」若しくは「[記載の条件またはイベント]を検出したことに応じて(in response to detecting [the stated condition or event])」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、およびそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、PDA機能および/または音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、およびiPad(登録商標)のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面(例えば、タッチスクリーンディスプレイおよび/またはタッチパッド)を有するラップトップコンピュータまたはタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイおよび/またはタッチパッド)を有するデスクトップコンピュータであることも理解されたい。いくつかの実施形態では、電子デバイスは、表示生成構成要素と通信している(例えば、有線通信を介して、無線通信を介して)コンピュータシステムである。表示生成構成要素は、CRTディスプレイを介した表示、LEDディスプレイを介した表示、または画像投影を介した表示などの視覚的な出力を提供するように構成されている。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムと一体化される。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムとは別個である。本明細書で使用するとき、「表示する」コンテンツは、コンテンツを視覚的に生成するために、有線または無線接続で、データ(例えば、画像データまたはビデオデータ)を、一体型または外部の表示生成構成要素に送信することによって、コンテンツ(例えば、ディスプレイコントローラ156によってレンダリングまたはデコードされたビデオデータ)を表示させることを含む。
以下の論考では、ディスプレイおよびタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、および/またはジョイスティックなどの1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、通常、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、および/またはデジタルビデオプレーヤアプリケーションのうちの1つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、および/または個別のアプリケーション内で、任意選択的に、調整および/または変更される。このように、デバイスの共通の物理アーキテクチャ(タッチ感知面など)は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られているまたは呼ばれることがある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力コントロールデバイス116、および外部ポート124を含む。デバイス100は、任意選択的に、1つ以上の光学センサ164を含む。デバイス100は、任意選択的に、デバイス100上の接触の強度を検出する1つ以上の接触強度センサ165(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)を含む。デバイス100は、任意選択的に、デバイス100上で触知出力を生成する(例えばデバイス100のタッチ感知ディスプレイシステム112またはデバイス300のタッチパッド355などのタッチ感知面上で触知出力を生成する)1つ以上の触知出力生成器167を含む。これらの構成要素は、任意選択的に、1つ以上の通信バスまたは信号ライン103を介して通信する。
本明細書および特許請求において使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触)の力若しくは圧力(単位面積当たりの力)、またはタッチ感知面上の接触の力若しくは圧力に対する代理(プロキシ)を指す。接触の強度は、少なくとも4つの別個の値を含み、より典型的には、数百の(例えば、少なくとも256の)別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、および様々なセンサまたはセンサの組み合わせを使用して、判定(または測定)される。例えば、タッチ感知面の下またはそれに隣接する1つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を判定するために組み合わされる(例えば、加重平均される)。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズおよび/若しくはその変更、接触に近接するタッチ感知面の電気容量および/若しくはその変更、並びに/または、接触に近接するタッチ感知面の抵抗および/若しくはその変更が、任意選択的に、タッチ感知面上の接触の力または圧力の代替物として使用される。一部の実装形態では、接触の力または圧力の代替測定値が、強度閾値を上回っているか否かを判定するために直接使用される(例えば、強度閾値は、代替測定値に対応する単位で記述される)。いくつかの実装形態では、接触力または圧力の代理測定値は、力または圧力の推定値に変換され、力または圧力の推定値が、強度閾値を上回っているか否かを判定するために使用される(例えば、強度閾値は、圧力の単位で測定される圧力閾値である)。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを表示する実装面積が限られている低減されたサイズのデバイス上で、ユーザが他の方法ではアクセス不可能であり得る追加のデバイス機能にユーザがアクセスすること(例えば、タッチ感知ディスプレイ上で)、および/または、ユーザ入力を受信すること(例えば、タッチ感知ディスプレイ、タッチ感知面、または、ノブ若しくはボタンなどの物理的/機械的コントロールを介して)が可能となる。
本明細書および特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前のポジションに対するそのデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、そのデバイスの別の構成要素(例えば、筐体)に対する物理的変位、または、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイスまたはデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、または他の部分)に接触している状況では、物理的変位によって生成された触知出力は、そのデバイスまたはデバイスの構成要素の物理的特性の認識される変更に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイまたはトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」または「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押圧された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」または「アップクリック」などの触感を感じる。別の実施例として、タッチ感知面の移動は、タッチ感知面の平滑度に変更がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈または感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(または、平均的な)ユーザの記述された感覚認知を生成するデバイス、またはデバイスの構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一例に過ぎず、デバイス100は、任意選択的に、示されているものよりも多くの構成要素または少ない構成要素を有するものであり、任意選択的に、2つ以上の構成要素を組み合わせるものであり、または、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図1Aに示す様々な構成要素は、1つ以上の信号処理回路および/または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの両方の組み合わせで実装される。
メモリ102は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ122は、任意選択的に、デバイス100の他の構成要素によるメモリ102へのアクセスを制御する。
周辺機器インタフェース118は、デバイスの入力および出力周辺機器をCPU120およびメモリ102に結合するために使用することができる。1つ以上のプロセッサ120は、メモリ102に記憶された様々なソフトウェアプログラムおよび/または命令セットを動作させるまたは実行して、デバイス100のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース118、CPU120、およびメモリコントローラ122は、任意選択的に、チップ104などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
RF(radio frequency、無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号にまたは電磁信号を電気信号に変換し、電磁信号を介して通信ネットワークおよび他の通信デバイスと通信する。RF回路108は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどが挙げられる。RF回路108は、任意選択的に、ワールドワイドウェブ(World Wide Web、WWW)とも呼ばれるインターネット、イントラネット、並びに/またはセルラ電話ネットワーク、無線ローカルエリアネットワーク(local area network、LAN)および/若しくはメトロポリタンエリアネットワーク(metropolitan area network、MAN)などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。RF回路108は、任意選択的に、短距離通信無線機などによって近距離通信(near field communication、NFC)フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、モバイル通信用グローバルシステム(Global System for Mobile Communications、GSM)、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケットアクセス(high-speed downlink packet access、HSDPA)、高速アップリンクパケットアクセス(high-speed uplink packet access、HSUPA)、エボリューションデータオンリ(Evolution, Data-Only、EV-DO)、HSPA、HSPA+、デュアルセルHSPA(Dual-Cell HSPA、DC-HSPDA)、ロングタームエボリューション(long term evolution、LTE)、近距離通信(NFC)、広帯域符号分割多元接続(wideband code division multiple access、W-CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth、Bluetoothローエネルギ(Bluetooth Low Energy、BTLE)、ワイヤレスフィデリティ(Wireless Fidelity、Wi-Fi)(例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11n、および/若しくはIEEE802.11ac)、ボイスオーバインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX、電子メール用プロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)および/若しくはポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能なメッセージングおよびプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージングおよびプレゼンスレベレイジングエクステンション用のセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージングおよびプレゼンスサービス(Instant Messaging and Presence Service、IMPS))、並びに/若しくはショートメッセージサービス(Short Message Service、SMS)、または本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含む、複数の通信規格、プロトコル、および技術のうちのいずれかを使用する。
オーディオ回路110、スピーカ111、およびマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。また、オーディオ回路110は、マイクロフォン113によって音波から変換された電気信号を受信する。オーディオ回路110は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース118に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース118によって、メモリ102および/若しくはRF回路108から取り出され、かつ/またはメモリ102および/若しくはRF回路108に送信される。いくつかの実施形態では、オーディオ回路110はまた、ヘッドセットジャック(例えば、図2の212)を含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホンまたは出力(例えば片耳または両耳用のヘッドホン)および入力(例えばマイクロフォン)の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム106は、タッチスクリーン112および他の入力コントロールデバイス116などのデバイス100上の入出力周辺機器を、周辺機器インタフェース118に結合する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光学センサコントローラ158、深度カメラコントローラ169、強度センサコントローラ159、触覚フィードバックコントローラ161、および、他の入力デバイス若しくはコントロールデバイス用の1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は、他の入力コントロールデバイス116からの電気信号の受信/他の入力コントロールデバイス116への電気信号の送信を行う。他の入力コントロールデバイス116は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの実施形態では、入力コントローラ(単数または複数)160は、任意選択的に、キーボード、赤外線ポート、USBポート、およびマウスなどのポインタデバイスのうちのいずれかに結合される(またはいずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、任意選択的に、スピーカ111および/またはマイクロフォン113の音量制御のためのアップ/ダウンボタンを含む。1つ以上のボタンは、任意選択的に、プッシュボタン(例えば、図2の206)を含む。いくつかの実施形態では、電子デバイスは、1つ以上の入力デバイスと通信する(例えば、有線通信を介した無線通信を介して)コンピュータシステムである。いくつかの実施形態では、1つ以上の入力デバイスは、タッチ感知面(例えば、タッチ感知ディスプレイの一部としてのトラックパッド)を含む。いくつかの実施形態では、1つ以上の入力デバイスは、入力としてユーザのジェスチャ(例えば、ハンドジェスチャ)を追跡するためなど、1つ以上のカメラセンサ(例えば、1つ以上の光学センサ164および/または1つ以上の深度カメラセンサ175)を含む。いくつかの実施形態では、1つ以上の入力デバイスは、コンピュータシステムと一体化される。いくつかの実施形態では、1つ以上の入力デバイスは、コンピュータシステムとは別個である。
全体が参照により本明細書に組み込まれる、2005年12月23日出願の米国特許出願第11/322,549号、「Unlocking a Device by Performing Gestures on an Unlock Image」、米国特許第7,657,849号に記載されているように、プッシュボタンの素早い押圧は、任意選択的に、タッチスクリーン112のロックを解放し、または任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン(例えば、206)のより長い押圧は、任意選択的に、デバイス100への電力をオンまたはオフにする。ボタンのうちの1つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン112は、仮想またはソフトボタンおよび1つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェースおよび出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112からの電気信号の受信、および/またはタッチスクリーン112への電気信号の送信を行う。タッチスクリーン112は、ユーザに対して視覚的出力を表示する。この視覚的出力は、グラフィック、テキスト、アイコン、動画、およびそれらの任意の組み合わせ(総称して「グラフィック」)を任意選択的に含む。いくつかの実施形態では、視覚的出力の一部または全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚および/または触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、またはセンサのセットを有する。タッチスクリーン112およびディスプレイコントローラ156は、(メモリ102内の任意の関連モジュールおよび/または命令セットと共に)、タッチスクリーン112上で接触(および任意の接触の移動または中断)を検出し、検出された接触をタッチスクリーン112に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、または画像)との相互作用に変換する。例示的な実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、またはLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン112およびディスプレイコントローラ156は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、および表面音波の技術、並びにタッチスクリーン112との1つ以上の接触点を判定する他の近接センサアレイまたは他の要素を含む、現在知られているまたは今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触およびそのあらゆる移動または中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)およびiPod Touch(登録商標)に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第6,323,846号(Westermanら)、同第6,570,557号(Westermanら)、および/若しくは同第6,677,932号(Westerman)、並びに/または米国特許出願公開第2002/0015024(A1)号に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン112はデバイス100からの視覚的出力を表示するのに対して、タッチ感知タッチパッドは視覚的出力を提供しない。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願、(1)2006年5月2日出願の米国特許出願第11/381,313号、「Multipoint Touch Surface Controller」、(2)2004年5月6日出願の米国特許出願第10/840,862号、「Multipoint Touchscreen」、(3)2004年7月30日出願の米国特許出願第10/903,964号、「Gestures For Touch Sensitive Input Devices」、(4)2005年1月31日出願の米国特許出願第11/048,264号、「Gestures For Touch Sensitive Input Devices」、(5)2005年1月18日出願の米国特許出願第11/038,590号、「Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices」、(6)2005年9月16日出願の米国特許出願第11/228,758号、「Virtual Input Device Placement On A Touch Screen User Interface」、(7)2005年9月16日出願の米国特許出願第11/228,700号、「Operation Of A Computer With A Touch Screen Interface」、(8)2005年9月16日出願の米国特許出願第11/228,737号、「Activating Virtual Keys Of A Touch-Screen Virtual Keyboard」、および(9)2006年3月3日出願の米国特許出願第11/367,749号、「Multi-Functional Hand-Held Device」で説明されている。これらの出願は全て、全体が参照により本明細書に組み込まれる。
タッチスクリーン112は、任意選択的に、100dpiを超える動画解像度を有する。いくつかの実施形態では、タッチスクリーンは、約160dpiの動画解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適したオブジェクトまたは付属物を使用して、タッチスクリーン112に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触およびジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ/カーソルのポジションまたはコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、任意選択的に、特定の機能をアクティブ化または非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚的出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン112とは別個のタッチ感知面またはタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス100は、様々な構成要素に電力を供給する電力システム162も含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力状況インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、および分配に関連付けられた任意の他の構成要素を含む。
また、デバイス100は、任意選択的に、1つ以上の光学センサ164を含む。図1Aは、I/Oサブシステム106内の光学センサコントローラ158に結合された光学センサを示す。光学センサ164は、任意選択的に、電荷結合デバイス(charge-coupled device、CCD)または相補的金属酸化物半導体(complementary metal-oxide semiconductor、CMOS)フォトトランジスタを含む。光学センサ164は、1つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光学センサ164は、撮像モジュール143(カメラモジュールとも呼ばれる)と連携して、任意選択的に、静止画像または動画をキャプチャする。いくつかの実施形態では、光学センサは、デバイスの前面にあるタッチスクリーンディスプレイ112とは反対側のデバイス100の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像および/または動画の取得のためのビューファインダとして使用することが可能である。いくつかの実施形態では、ユーザが他のビデオ会議参加者をタッチスクリーンディスプレイ上で見ている間、ユーザの画像が、任意選択的に、テレビ会議のために取得されるように、光学センサはデバイスの前面に配置される。いくつかの実施形態では、光学センサ164のポジションは、ユーザによって(例えば、デバイス筐体内でレンズおよびセンサを回転させることによって)変更することができ、したがって単一の光学センサ164が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像および/または動画の取得にも使用される。
デバイス100は、任意選択的に、1つ以上の深度カメラセンサ175もまた含む。図1Aは、I/Oサブシステム106内の深度カメラコントローラ169に結合された深度カメラセンサを示す。深度カメラセンサ175は、環境からデータを受信して、視点(例えば、深度カメラセンサ)からのシーン内のオブジェクト(例えば、顔面)の3次元モデルを作成する。いくつかの実施形態では、撮像モジュール143(カメラモジュールとも呼ばれる)と連携して、深度カメラセンサ175は、任意選択的に、撮像モジュール143によってキャプチャされた画像の異なる部分の深度マップを判定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間、任意選択的に、深度情報を有するユーザの画像をテレビ会議のために取得し、また、深度マップデータを有する自撮り画像をキャプチャするために、デバイス100の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ175は、デバイスの背面に、またはデバイス100の背面および前面に配置される。いくつかの実施形態では、深度カメラセンサ175のポジションは、ユーザによって(例えば、デバイス筐体内でレンズおよびセンサを回転させることによって)変更することができ、したがって深度カメラセンサ175が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像および/または動画の取得にも使用される。
デバイス100はまた、任意選択的に、1つ以上の接触強度センサ165を含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された接触強度センサを示す。接触強度センサ165は、任意選択的に、1つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、または他の強度センサ(例えば、タッチ感知面上の接触の力(若しくは圧力)を測定するために使用されるセンサ)を含む。接触強度センサ165は、接触強度情報(例えば、圧力情報、または圧力情報に対するプロキシ)を環境から受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えばタッチ感知ディスプレイシステム112)と並置される、またはそれに近接される。いくつかの実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置される。
また、デバイス100は、任意選択的に、1つ以上の近接センサ166を含む。図1Aは、周辺機器インタフェース118に結合された近接センサ166を示す。あるいは、近接センサ166は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。近接センサ166は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第11/241,839号、「Proximity Detector In Handheld Device」、同第11/240,788号、「Proximity Detector In Handheld Device」、同第11/620,702号、「Using Ambient Light Sensor To Augment Proximity Sensor Output」、同第11/586,862号、「Automated Response To And Sensing Of User Activity In Portable Devices」、および同第11/638,251号、「Methods And Systems For Automatic Configuration Of Peripherals」で記載されているように機能する。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに置かれた場合(例えば、ユーザが電話をかけている場合)、近接センサは、タッチスクリーン112をオフにして無効化する。
デバイス100はまた、任意選択的に、1つ以上の触知出力生成器167を含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器を示す。触知出力生成器167は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、および/またはモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ165は、触知フィードバック生成命令を触覚フィードバックモジュール133から受信し、デバイス100のユーザが感知することが可能な触知出力をデバイス100上に生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と並置される、またはそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、デバイス100の表面の内/外)に、または水平方向(例えば、デバイス100の表面と同じ平面内の前後)に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置される。
また、デバイス100は、任意選択的に、1つ以上の加速度計168を含む。図1Aは、周辺機器インタフェース118に結合された加速度計168を示す。あるいは、加速度計168は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。加速度計168は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許出願公開第20050190059号、「Acceleration-based Theft Detection System for Portable Electronic Devices」、および米国特許出願公開第20060017692号、「Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer」に記載されているように機能する。いくつかの実施形態では、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、縦長表示または横長表示でタッチスクリーンディスプレイに表示される。デバイス100は、加速度計(単数または複数)168に加えて、磁気計並びにデバイス100のロケーションおよび配向(例えば、縦方向または横方向)に関する情報を取得するためのGPS(またはGLONASSまたは他のグローバルナビゲーションシステム)受信機を任意選択的に含む。
いくつかの実施形態では、メモリ102内に記憶されているソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(または命令セット)128、接触/動きモジュール(または命令セット)130、グラフィックモジュール(または命令セット)132、テキスト入力モジュール(または命令セット)134、全地球測位システム(Global Positioning System、GPS)モジュール(または命令セット)135、およびアプリケーション(または命令セット)136を含む。更に、いくつかの実施形態では、メモリ102(図1A)または370(図3)は、図1Aおよび図3に示されるように、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、または他の情報がタッチスクリーンディスプレイ112の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサおよび入力コントロールデバイス116から取得した情報を含むセンサ状態、並びにデバイスのロケーションおよび/または姿勢に関するロケーション情報のうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS、またはVxWorksなどの組込み型オペレーティングシステム)は、全般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御および管理する様々なソフトウェア構成要素および/またはドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108および/または外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート124(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIREなど)は、直接的に、またはネットワーク(例えばインターネット、無線LANなど)を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、iPod(登録商標)(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同じ若しくは同様であり、かつ/またはそれに適合しているマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、任意選択的に、タッチスクリーン112および他のタッチ感知デバイス(例えば、タッチパッドまたは物理クリックホイール)との接触を(ディスプレイコントローラ156と連携して)検出する。接触/動きモジュール130は、接触が生じたか否かを判定すること(例えば、指ダウンイベントを検出すること)、接触の強度(例えば、接触の力若しくは圧力、または接触の力若しくは圧力の代替物)を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること(例えば、指をドラッグする1つ以上のイベントを検出すること)、および接触が中止したか否かを判定すること(例えば、指アップイベントまたは接触の中断を検出すること)などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさおよび方向)、および/または加速度(大きさおよび/または方向の変更)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1本の指の接触)または複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130およびディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたか否かを判定するために(例えば、ユーザがアイコン上で「クリック」したか否かを判定するために)、1つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくともサブセットは、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス100の物理ハードウェアを変更することなく調整することができる)。例えば、トラックパッドまたはタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッドまたはタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の予め定義された閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、(例えば、個々の強度閾値を調整すること、および/または複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって)強度閾値のセットのうちの1つ以上を調整するソフトウェア設定が提供される。
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する(例えば検出される接触の動き、タイミング、および/または強度が異なる)。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じポジション(または実質的に同じポジション)(例えば、アイコンのポジション)で指アップ(リフトオフ)イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて1つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ(リフトオフ)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的な影響(例えば、輝度、透明度、彩度、コントラスト、または他の視覚的プロパティ)を変更する構成要素を含む、タッチスクリーン112または他のディスプレイ上にグラフィックをレンダリングおよび表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、動画、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール132は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データおよび他のグラフィックプロパティデータと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次にディスプレイコントローラ156に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール133は、触知出力生成器(単数または複数)167によって使用される命令を生成するための様々なソフトウェア構成要素を含み、ユーザのデバイス100との相互作用に応じて、デバイス100上の1つ以上のロケーションでの触知出力を生成する。
テキスト入力モジュール134は、任意選択的に、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、およびテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するためのソフトキーボードを提供する。
GPSモジュール135は、デバイスのロケーションを判定し、様々なアプリケーション内で使用するためにこの情報を提供する(例えば、ロケーションベースのダイアリングで使用するために電話138へ、ピクチャ/ビデオメタデータとしてカメラ143へ、および気象ウィジェット、ローカルイエローページウィジェット、および地図/ナビゲーションウィジェットなどのロケーションベースのサービスを提供するアプリケーションへ)。
アプリケーション136は、任意選択的に、以下のモジュール(または命令セット)またはそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(アドレス帳または連絡先リストと呼ばれることもある)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(Instant messaging、IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像および/または動画用のカメラモジュール143、
●画像管理モジュール144、
●動画プレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール147、
●カレンダーモジュール148、
●任意選択的に、気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、辞書ウィジェット149-5、およびユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット149-6のうちの1つ以上を含むウィジェットモジュール149、
●ユーザ作成ウィジェット149-6を作成するためのウィジェットクリエータモジュール150、
●検索モジュール151、
●動画プレーヤモジュールおよび音楽プレーヤモジュールを一体化した動画および音楽プレーヤモジュール152、
●メモモジュール153、
●地図モジュール154、および/または、
●オンライン動画モジュール155。
任意選択的にメモリ102に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA対応アプリケーション、暗号化、デジタル著作権管理、音声認識、および音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、およびテキスト入力モジュール134と共に、連絡先モジュール137は、任意選択的に、(例えば、メモリ102またはメモリ370内の連絡先モジュール137のアプリケーション内部状態192に記憶される)アドレス帳または連絡先リストを管理するために用いられ、それには、アドレス帳に名前(単数または複数)を追加すること、アドレス帳から名前(単数または複数)を削除すること、電話番号(単数または複数)、電子メールアドレス(単数または複数)、住所(単数または複数)、または他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号または電子メールアドレスを提供して、電話138、テレビ会議モジュール139、電子メール140、またはIM141による通信を開始および/または促進することなどを含む。アドレス帳または連絡先リストを管理するために使用される。
電話モジュール138は、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、およびテキスト入力モジュール134と連携して、任意選択的に、電話番号に対応する一連の文字の入力、連絡先モジュール137内の1つ以上の電話番号へのアクセス、入力された電話番号の修正、個別の電話番号のダイヤル、通話の実行、並びに通話終了時の接続解除および通話停止のために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、および技術のうちのいずれかを使用する。
テレビ会議モジュール139は、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光学センサ164、光学センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先モジュール137、および電話モジュール138と連携して、ユーザの命令に従ってユーザと1人以上の他の参加者との間のテレビ会議を開始、実行、および終了するための実行可能な命令を含む。
電子メールクライアントモジュール140は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、およびテキスト入力モジュール134と連携して、ユーザの命令に応じて電子メールを作成、送信、受信、および管理するための実行可能な命令を含む。画像管理モジュール144と連携して、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像または動画画像を有する電子メールの作成および送信を非常に容易にする。
インスタントメッセージングモジュール141は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、およびテキスト入力モジュール134と連携して、インスタントメッセージに対応する一連の文字の入力、以前に入力された文字の修正、(例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス(Short Message Service、SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコル、またはインターネットベースのインスタントメッセージ向けのXMPP、SIMPLE、若しくはIMPSを使用する)個別のインスタントメッセージの送信、インスタントメッセージの受信、および受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信されるおよび/または受信されるインスタントメッセージは、任意選択的に、MMSおよび/または拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるようなグラフィック、写真、オーディオファイル、動画ファイル、および/または他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ(例えば、SMSまたはMMSを使用して送信されるメッセージ)と、インターネットベースのメッセージ(例えば、XMPP、SIMPLE、またはIMPSを使用して送信されるメッセージ)との両方を指す。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、および音楽プレーヤモジュールと連携して、トレーニングサポートモジュール142は、実行可能命令を含み、実行可能命令は、トレーニング(例えば、時間、距離、および/またはカロリー燃焼の目標を有する)を作成し、トレーニングセンサ(スポーツデバイス)と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択および再生し、並びに、トレーニングデータを表示、記憶、および送信する。
カメラモジュール143は、タッチスクリーン112、ディスプレイコントローラ156、光学センサ(単数または複数)164、光学センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、および画像管理モジュール144と連携して、静止画像若しくは(動画ストリームを含む)動画のキャプチャおよびメモリ102内への記憶、静止画像若しくは動画の特性の修正、またはメモリ102からの静止画像若しくは動画を削除するための実行可能な命令を含む。
画像管理モジュール144は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、およびカメラモジュール143と連携して、静止画像および/若しくは動画の配置、修正(例えば、編集)、またはその他の操作、ラベル付け、削除、(例えば、デジタルスライドショー若しくはアルバムにおける)提示、および記憶のための実行可能な命令を含む。
ブラウザモジュール147は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、およびテキスト入力モジュール134と連携して、ウェブページまたはその一部、並びにウェブページにリンクされた添付ファイルおよび他のファイルの検索、リンク、受信、および表示を含む、ユーザの命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
カレンダーモジュール148は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、およびブラウザモジュール147と連携して、ユーザの命令に従って、カレンダーおよびカレンダーに関連付けられたデータ(例えば、カレンダーアイテム、to-doリストなど)を作成、表示、修正、および記憶するための実行可能な命令を含む。
ウィジェットモジュール149は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、およびブラウザモジュール147と連携して、任意選択的に、ユーザによってダウンロードおよび使用されるミニアプリケーション(例えば、気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、および辞書ウィジェット149-5)、またはユーザによって作成されたミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language、ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets、カスケーディングスタイルシート)ファイル、およびJavaScriptファイルを含む。いくつかの実施形態では、ウィジェットは、XML(Extensible Markup Language、拡張可能マークアップ言語)ファイルおよびJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
ウィジェットクリエータモジュール150は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、およびブラウザモジュール147と連携して、任意選択的に、ウィジェットを作成する(例えば、ウェブページのユーザ指定部分をウィジェットにする)ために、ユーザによって使用される。
検索モジュール151は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、およびテキスト入力モジュール134と連携して、ユーザの命令に従って1つ以上の検索基準(例えば、1つ以上のユーザ指定検索語)と一致するメモリ102内の文字、音楽、サウンド、画像、動画、および/または他のファイルを検索するための実行可能な命令を含む。
動画および音楽プレーヤモジュール152は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、およびブラウザモジュール147と連携して、MP3またはAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽および他のサウンドファイルをユーザがダウンロードおよび再生できるようにする実行可能な命令、並びに動画を(例えば、タッチスクリーン112上または外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、または別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレーヤの機能を含む。
メモモジュール153は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、およびテキスト入力モジュール134と連携して、ユーザの命令に従ってメモ、to-doリストなどを作成および管理するための実行可能な命令を含む。
地図モジュール154は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、およびブラウザモジュール147と連携して、任意選択的に、ユーザの命令に従って、地図および地図に関連付けられたデータ(例えば、運転の道順、特定のロケーションまたはその付近の店舗および他の見どころに関するデータ、並びに他のロケーションベースのデータ)を受信、表示、修正、および記憶するために使用される。
オンライン動画モジュール155は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、およびブラウザモジュール147と連携して、ユーザが特定のオンライン動画へのアクセス、特定のオンライン動画のブラウジング、(例えば、ストリーミングおよび/またはダウンロードによる)受信、(例えば、タッチスクリーン上または外部ポート124を介して接続された外部ディスプレイ上の)再生、特定のオンライン動画へのリンクを有する電子メールの送信、並びにH.264などの1つ以上のファイル形式のオンライン動画の他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンライン動画へのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が使用される。オンライン動画アプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、2007年6月20日出願の米国仮特許出願第60/936,562号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」、および2007年12月31日出願の米国特許出願第11/968,067号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」を参照されたい。
上記で識別したモジュールおよびアプリケーションは各々、前述した1つ以上の機能および本出願に記載した方法(例えば、本明細書に記載したコンピュータにより実行される方法および他の情報処理方法)を実行する実行可能な命令のセットに対応する。これらのモジュール(例えば、命令セット)は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、または別の方法で再構成される。例えば、動画プレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール(例えば、図1Aの動画および音楽プレーヤモジュール152)にされる。いくつかの実施形態では、メモリ102は、上記で識別されたモジュールおよびデータ構造のサブセットを任意選択的に記憶する。更に、メモリ102は、上記で説明されていない追加のモジュールおよびデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス100は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーンおよび/またはタッチパッドのみを介して実行されるデバイスである。デバイス100が動作するための主要な入力コントロールデバイスとしてタッチスクリーンおよび/またはタッチパッドを使用することにより、任意選択的に、デバイス100上の物理的な入力コントロールデバイス(プッシュボタン、ダイヤルなど)の数が削減される。
タッチスクリーンおよび/またはタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス100上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、またはルートメニューにデバイス100をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタンまたはその他の物理入力コントロールデバイスである。
図1Bは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A)または370(図3)は、イベントソート部170(例えば、オペレーティングシステム126内)と、個別のアプリケーション136-1(例えば、前述のアプリケーション137~151、155、380~390のうちのいずれか)とを含む。
イベントソート部170は、イベント情報を受信し、イベント情報を配信するアプリケーション136-1、およびアプリケーション136-1のアプリケーションビュー191を判定する。イベントソート部170は、イベントモニタ171およびイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136-1は、アプリケーションがアクティブまたは実行中であるときにタッチ感知ディスプレイ112に表示される現在のアプリケーションビュー(単数または複数)を示すアプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、どのアプリケーション(単数または複数)が現在アクティブであるかを判定するためにイベントソート部170によって使用され、アプリケーション内部状態192は、イベント情報が配信されるアプリケーションビュー191を判定するためにイベントソート部170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開するときに使用すべき再開情報、アプリケーション136-1によって表示されている情報を示すまたは表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション136-1の前の状態またはビューに戻ることを可能にする状態キュー、およびユーザによって行われた前のアクションのリドゥ/アンドゥキューのうちの1つ以上などの追加情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、タッチ感知ディスプレイ112でのマルチタッチジェスチャの一部としてのユーザタッチ)に関する情報を含む。周辺機器インタフェース118は、I/Oサブシステム106、または近接センサ166、加速度計(単数または複数)168、および/若しくは(オーディオ回路110を介した)マイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112またはタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。それに応じて、周辺機器インタフェース118は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を上回るおよび/または所定の持続時間を超える入力の受信)があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソート部170はまた、ヒットビュー判定モジュール172および/またはアクティブイベント認識部判定モジュール173を含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が2つ以上のビューを表示しているときに、サブイベントが1つ以上のビュー内のどこで起きたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置および他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビューまたはユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される(個別のアプリケーションの)アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層またはビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて判定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール172は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを識別する。ほとんどの状況では、ヒットビューは、開始サブイベント(例えば、イベントまたは潜在的イベントを形成する一連のサブイベントにおける第1のサブイベント)が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール172によって識別されると、ヒットビューは、通常、ヒットビューとして識別されたタッチまたは入力ソースと同じタッチまたは入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(単数または複数)が特定の一連のサブイベントを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみが特定の一連のサブイベントを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理的ロケーションを含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、特定の一連のサブイベントを受信すべきであると判定する。他の実施形態では、タッチサブイベントが1つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えばイベント認識部180)にディスパッチする。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、個別のイベント受信部182によって取り出されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム126は、イベントソート部170を含む。あるいは、アプリケーション136-1がイベントソート部170を含む。更に他の実施形態では、イベントソート部170は、独立型のモジュールであり、または接触/動きモジュール130などのメモリ102内に記憶されている別のモジュールの一部である。
いくつかの実施形態では、アプリケーション136-1は、各々がアプリケーションのユーザインタフェースの個別のビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部190および1つ以上のアプリケーションビュー191を含む。アプリケーション136-1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、個別のアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット、または、アプリケーション136-1がメソッドおよび他のプロパティを継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、個別のイベント処理部190は、データ更新部176、オブジェクト更新部177、GUI更新部178、および/またはイベントソート部170から受信されたイベントデータ179、のうちの1つ以上を含む。イベント処理部190は、任意選択的に、データ更新部176、オブジェクト更新部177、またはGUI更新部178を利用しまたは呼び出して、アプリケーション内部状態192を更新する。あるいは、アプリケーションビュー191のうちの1つ以上が、1つ以上のそれぞれのイベント処理部190を含む。また、いくつかの実施形態では、データ更新部176、オブジェクト更新部177、およびGUI更新部178のうちの1つ以上は、個別のアプリケーションビュー191に含まれる。
個別のイベント認識部180は、イベントソート部170からイベント情報(例えば、イベントデータ179)を受信し、イベント情報からイベントを識別する。イベント認識部180は、イベント受信部182およびイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183およびイベント配信命令188(任意選択的にサブイベント配信命令を含む)の少なくともサブセットも含む。
イベント受信部182は、イベントソート部170からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチまたはタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントのロケーションなどの追加情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さおよび方向を含む。いくつかの実施形態では、イベントは、1つの配向から別の配向への(例えば、縦向きから横向きへ、またはその逆の)デバイスの回転を含み、イベント情報は、デバイスの現在の配向(デバイスの姿勢とも呼ぶ)についての対応する情報を含む。
イベント比較部184は、イベント情報を、定義済みのイベントまたはサブイベントの定義と比較し、その比較に基づいて、イベントまたはサブイベントを判定するか、あるいはイベントまたはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えばイベント1(187-1)およびイベント2(187-2)などのイベント(例えば、既定の一連のサブイベント)の定義を含む。いくつかの実施形態では、イベント(187)内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチのキャンセル、および複数のタッチを含む。一実施例では、イベント1(187-1)についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第1のタッチ(タッチ開始)、所定の段階に対する第1のリフトオフ(タッチ終了)、所定の段階に対する表示オブジェクト上の第2のタッチ(タッチ開始)、および所定の段階に対する第2のリフトオフ(タッチ終了)を含む。別の実施例では、イベント2(187-2)の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ(または接触)、タッチ感知ディスプレイ112にわたるタッチの移動、およびタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態では、イベントは、1つ以上の関連付けられたイベント処理部190に関する情報も含む。
いくつかの実施形態では、イベント定義187は、個別のユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ112に3つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ112上でタッチが検出されると、イベント比較部184は、ヒットテストを実行して、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判定する。表示された各オブジェクトが、個別のイベント処理部190に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部190をアクティブ化すべきかを判定する。例えば、イベント比較部184は、ヒットテストをトリガするサブイベントおよびオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、個別のイベント187の定義は、一連のサブイベントがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。
個別のイベント認識部180は、一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判定した場合、個別のイベント認識部180は、イベント不可能、イベント失敗、またはイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡および処理を続行する。
いくつかの実施形態では、個別のイベント認識部180は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、および/またはリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように相互作用するか、またはイベント認識部が互いにどのように相互作用することが可能となるかを示す構成可能なプロパティ、フラグ、および/またはリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー階層またはプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、および/またはリストを含む。
いくつかの実施形態では、個別のイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部190をアクティブ化する。いくつかの実施形態では、個別のイベント認識部180は、イベントに関連付けられたイベント情報をイベント処理部190に配信する。イベント処理部190をアクティブ化することは、個別のヒットビューにサブイベントを送信する(および、送信を延期する)こととは別個である。いくつかの実施形態では、イベント認識部180は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部190は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令188は、イベント処理部をアクティブ化することなく、サブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、またはアクティブに関与しているビューにイベント情報を配信する。一連のサブイベントまたはアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定のプロセスを実行する。
いくつかの実施形態では、データ更新部176は、アプリケーション136-1で使用されるデータを作成および更新する。例えば、データ更新部176は、連絡先モジュール137で使用される電話番号を更新し、または動画プレーヤモジュールで使用される動画ファイルを記憶する。いくつかの実施形態では、オブジェクト更新部177は、アプリケーション136-1で使用されるオブジェクトを作成および更新する。例えば、オブジェクト更新部177は、新しいユーザインタフェースオブジェクトを作成し、またはユーザインタフェースオブジェクトのポジションを更新する。GUI更新部178は、GUIを更新する。例えば、GUI更新部178は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール132に送る。
いくつかの実施形態では、イベント処理部(単数または複数)190は、データ更新部176、オブジェクト更新部177、およびGUI更新部178を含むまたはそれらへのアクセスを有する。いくつかの実施形態では、データ更新部176、オブジェクト更新部177、およびGUI更新部178は、個別のアプリケーション136-1またはアプリケーションビュー191の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、それらの全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一または複数の押圧若しくは保持と任意選択的に連携される、マウスの移動およびマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された目の移動、バイオメトリック入力、並びに/またはそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図2は、いくつかの実施形態に係る、タッチスクリーン112を有するポータブル多機能デバイス100を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース(user interface、UI)200内に1つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、1本以上の指202(図には正確な縮尺では描かれていない)または1つ以上のスタイラス203(図には正確な縮尺では描かれていない)を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの1つ以上を選択することが可能となる。いくつかの実施形態では、1つ以上のグラフィックの選択は、ユーザが、その1つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス100と接触した指の、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上向きにおよび/若しくは下向きに)、並びに/または、ローリング(右から左へ、左から右へ、上向きにおよび/若しくは下向きに)を、任意選択的に含む。いくつかの実装形態または状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス100はまた、任意選択的に、「ホーム」ボタンまたはメニューボタン204などの1つ以上の物理ボタンを含む。前述したように、メニューボタン204は、任意選択的にデバイス100上で実行されるアプリケーションのセット内の任意のアプリケーション136にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン112に表示されるGUI内のソフトキーとして実装される。
いくつかの実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフにしてデバイスをロックするプッシュボタン206、音量調整ボタン(単数または複数)208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、およびドッキング/充電用外部ポート124を含む。プッシュボタン206は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン/オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、および/またはデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス100は、マイクロフォン113を介して、いくつかの機能をアクティブ化または非アクティブ化するための口頭入力もまた受け入れる。デバイス100は、任意選択的に、タッチスクリーン112上の接触の強度を検出する1つ以上の接触強度センサ165、および/またはデバイス100のユーザに対する触知出力を生成する1つ以上の触知出力生成器167もまた含む。
図3は、いくつかの実施形態に係る、ディスプレイおよびタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、またはコントロールデバイス(例えば、家庭用または業務用コントローラ)である。デバイス300は、通常、1つ以上の処理ユニット(CPU)310、1つ以上のネットワークまたは他の通信インタフェース360、メモリ370、およびこれらの構成要素を相互接続する1つ以上の通信バス320を含む。通信バス320は、任意選択的に、システム構成要素間の通信を相互接続および制御する回路(チップセットと呼ばれることもある)を含む。デバイス300は、ディスプレイ340を含む入出力(I/O)インタフェース330を含み、ディスプレイ340は、通常、タッチスクリーンディスプレイである。I/Oインタフェース330はまた、任意選択的に、キーボードおよび/またはマウス(若しくは他のポインティングデバイス)350並びにタッチパッド355と、デバイス300上に触知出力を生成する(例えば、図1Aを参照して前述した触知出力生成器(単数または複数)167に類似している)触知出力生成器357と、センサ359(例えば、光、加速度、近接、タッチ感知、および/または図1Aを参照して前述した、接触強度センサ(単数または複数)165に類似している接触強度センサ)とを含む。メモリ370は、DRAM、SRAM、DDR RAM、または他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ370は、任意選択的に、CPU(単数または複数)310からリモートに位置する1つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102内に記憶されているプログラム、モジュール、およびデータ構造に類似したプログラム、モジュール、およびデータ構造、またはそのサブセットを記憶する。更に、メモリ370は、任意選択的に、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール、およびデータ構造を記憶する。例えば、デバイス300のメモリ370は、任意選択的に、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、および/またはスプレッドシートモジュール390を記憶するのに対して、ポータブル多機能デバイス100(図1A)のメモリ102は、任意選択的に、これらのモジュールを記憶しない。
図3の上記で識別した要素は各々、任意選択的に、前述したメモリデバイスのうちの1つ以上の中に記憶される。上記で識別したモジュールは各々、前述した機能を実行する命令セットに対応する。上記で特定したモジュールまたはプログラム(例えば、命令セット)は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、または他の方法で再構成される。いくつかの実施形態では、メモリ370は、任意選択的に、上記で識別したモジュールおよびデータ構造のサブセットを記憶する。更に、メモリ370は、上記で説明されていない追加のモジュールおよびデータ構造を任意選択的に記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス100に実装されるユーザインタフェースの実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係る、ポータブル多機能デバイス100上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス300上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、またはそれらのサブセット若しくはスーパーセットを含む。
●セルラ信号およびWi-Fi信号などの無線通信(単数または複数)用の信号強度インジケータ(単数または複数)402、
●時刻404、
●Bluetoothインジケータ405、
●バッテリ状況インジケータ406、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ408
○不在着信またはボイスメールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされた、電話モジュール138のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140のアイコン418、
○「ブラウザ」とラベル付けされた、ブラウザモジュール147のアイコン420、および
○「iPod」とラベル付けされる、iPod(Apple Inc.の商標)モジュール152とも称される動画および音楽プレーヤモジュール152用のアイコン422、および
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、IMモジュール141のアイコン424、
○「カレンダー」とラベル付けされた、カレンダーモジュール148のアイコン426、
○「写真」とラベル付けされた、画像管理モジュール144のアイコン428、
○「カメラ」とラベル付けされた、カメラモジュール143のアイコン430、
○「オンライン動画」とラベル付けされた、オンライン動画モジュール155のアイコン432、
○「株価」とラベル付けされた、株価ウィジェット149-2のアイコン434、
○「地図」とラベル付けされた、地図モジュール154のアイコン436、
○「天気」とラベル付けされた、気象ウィジェット149-1のアイコン438、
○「時計」とラベル付けされた、アラーム時計ウィジェット149-4のアイコン440、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール142のアイコン442、
○「メモ」とラベル付けされた、メモモジュール153のアイコン444、および
○デバイス100およびその様々なアプリケーション136の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーションまたはモジュールのアイコン446。
図4Aに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、動画および音楽プレーヤモジュール152のアイコン422は、「音楽」または「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、個別のアプリケーションアイコンに関するラベルは、個別のアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレットまたはタッチパッド355)を有するデバイス(例えば、図3のデバイス300)上の例示的なユーザインタフェースを示す。デバイス300はまた、任意選択的に、タッチ感知面451上の接触の強度を検出する1つ以上の接触強度センサ(例えば、センサ359のうちの1つ以上)、および/またはデバイス300のユーザに対して触知出力を生成する1つ以上の触知出力生成器357を含む。
以下の実施例のうちのいくつかは、タッチスクリーンディスプレイ112(タッチ感知面およびディスプレイが組み合わされている)上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図4Bに示されるように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の一次軸(例えば、図4Bの453)に対応する一次軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれのロケーションに対応するロケーション(例えば、図4Bでは、460は468に対応し、462は470に対応する)で、タッチ感知面451との接触(例えば、図4Bの460および462)を検出する。このようにして、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されるユーザ入力(例えば、接触460および462、並びにこれらの移動)は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力(例えば、指接触、指タップジェスチャ、指スワイプジェスチャ)を参照して与えられる一方、いくつかの実施形態では、指入力のうちの1つ以上が別の入力デバイスからの入力(例えば、マウスベースの入力またはスタイラス入力)に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに、)マウスクリックであって、その後に(例えば、接触の移動の代わりに)スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャのロケーション上に位置している間、(例えば、接触を検出して、それに続いて接触の検出を中止する代わりに)マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、またはマウスおよび指の接触が、任意選択的に、同時に使用されることを理解されたい。
図5Aは、例示的なパーソナル電子デバイス500を示す。デバイス500は、本体502を含む。いくつかの実施形態では、デバイス500は、デバイス100および300(例えば、図1A~図4B)に関して説明された機能のうちのいくつかまたは全てを含むことができる。いくつかの実施形態では、デバイス500は、タッチ感知ディスプレイスクリーン504、以下ではタッチスクリーン504を有する。あるいは、またはタッチスクリーン504に加えて、デバイス500は、ディスプレイおよびタッチ感知面を有する。デバイス100および300と同様に、いくつかの実施形態では、タッチスクリーン504(またはタッチ感知面)は、任意選択的に、加えられている接触(例えば、タッチ)の強度を検出する1つ以上の強度センサを含む。タッチスクリーン504(またはタッチ感知面)の1つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス500のユーザインタフェースは、タッチ(複数)に、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス500上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出し処理する例示的な技術は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際公開第WO/2013/169849号として公開された、2013年5月8日出願の国際特許出願第PCT/US2013/040061号、「Device,Method,and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application」、および国際公開第WO/2014/105276号として公開された、2013年11月11日出願の国際特許出願第PCT/US2013/069483号、「Device,Method,and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships」を参照されたい。
いくつかの実施形態では、デバイス500は、1つ以上の入力機構506および508を有する。入力機構506および508は、含まれる場合、物理的であり得る。物理的入力機構の例としては、プッシュボタンおよび回転可能機構が挙げられる。いくつかの実施形態では、デバイス500は、1つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、ウォッチのバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス500を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス500を着用することを可能にする。
図5Bは、例示的なパーソナル電子デバイス500を示す。いくつかの実施形態では、デバイス500は、図1A、図1B、および図3に関して説明した構成要素のうちのいくつかまたは全てを含むことができる。デバイス500は、I/Oセクション514を1つ以上のコンピュータプロセッサ516およびメモリ518に動作可能に結合するバス512を有する。I/Oセクション514は、ディスプレイ504に接続することができ、ディスプレイ504は、タッチ感知構成要素522と、任意選択的に強度センサ524(例えば、接触強度センサ)とを有することができる。加えて、I/Oセクション514は、Wi-Fi、Bluetooth、近距離通信(near field communication、NFC)、セルラ、および/または他の無線通信技術を使用してアプリケーションおよびオペレーティングシステムデータを受信する通信ユニット530と接続することができる。デバイス500は、入力機構506および/または508を含むことができる。入力機構506は、任意選択的に、例えば、回転可能な入力デバイスであるか、または押下可能かつ回転可能な入力デバイスである。いくつかの実施例では、入力機構508は、任意選択的にボタンである。
いくつかの実施例では、入力機構508は、任意選択的にマイクロフォンである。パーソナル電子デバイス500は、任意選択的に、GPSセンサ532、加速度計534、方向センサ540(例えば、コンパス)、ジャイロスコープ536、動きセンサ538、および/またはそれらの組み合わせなどの様々なセンサを含み、それらは全て、I/Oセクション514に動作可能に接続することができる。
パーソナル電子デバイス500のメモリ518は、コンピュータ実行可能な命令を記憶する1つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、これらの命令は、1つ以上のコンピュータプロセッサ516によって実行されたときに、例えば、コンピュータプロセッサに、プロセス800、900、1100、1300、1500および1700を含めた後述の技術を行わせることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、または命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含みまたは記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気記憶装置、光学記憶装置、および/または半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、CD、DVD、またはBlu-ray技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの永続性ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス500は、図5Bの構成要素および構成に限定されるものではなく、他のまたは追加の構成要素を複数の構成で含むことができる。
本明細書で使用されるとき、「アフォーダンス」という用語は、任意選択的にデバイス100、300、および/または500(図1A、図3、および図5A~図5B)のディスプレイスクリーンに表示される、ユーザ相互作用グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像(例えば、アイコン)、ボタン、および文字(例えば、ハイパーリンク)は各々、任意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが相互作用しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソルまたは他のロケーションマーカーを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、または他のユーザインタフェース要素)の上に位置している間、入力(例えば、押圧入力)がタッチ感知面(例えば、図3のタッチパッド355または図4Bのタッチ感知面451)上で検出されたとき、特定のユーザインタフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接相互作用を可能にするタッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112または図4Aのタッチスクリーン112)を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、または他のユーザインタフェース要素)のロケーションで入力(例えば、接触による押圧入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、(例えば、フォーカスを1つのボタンから別のボタンへ動かすためにタブキーまたは矢印キーを使用することによって)タッチスクリーンディスプレイ上の対応するカーソルの移動または接触の移動なしに、フォーカスがユーザインタフェースの1つの領域からユーザインタフェースの別の領域に動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタが取る具体的な形態に関わらず、フォーカスセレクタは、概して、ユーザが意図するユーザインタフェースとの相互作用を(例えば、ユーザがそれを通じて相互作用することを意図しているユーザインタフェースの要素をデバイスに示すことによって)通信するためにユーザによって制御されるユーザインタフェース要素(またはタッチスクリーンディスプレイ上の接触)である。例えば、タッチ感知面(例えば、タッチパッドまたはタッチスクリーン)上で押圧入力が検出されている間の、個別のボタンの上のフォーカスセレクタ(例えば、カーソル、接触、または選択ボックス)の位置は、その個別のボタンを(そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく)アクティブ化することをユーザが意図していることを示すものである。
本明細書および特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、および/または、接触の強度の減少を検出する前若しくは後の)に関連する所定の時間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均(mean)値、接触の強度の平均(average)値、接触の強度の上位10パーセンタイル値、接触の強度の最大の2分の1の値、接触の強度の最大の90パーセントの値などのうちの1つ以上に基づいている。いくつかの実施形態では、特性強度を判定する際に(例えば、特性強度が経時的な接触の強度の平均であるときに)、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって動作が実行されたか否かを判定するために、1つ以上の強度閾値のセットと比較される。例えば、1つ以上の強度閾値のセットは、任意選択的に、第1の強度閾値および第2の強度閾値を含む。この実施例では、第1の閾値を超えない特性強度を有する接触は第1の動作をもたらし、第1の強度閾値を上回るが第2の強度閾値を超えない特性強度を有する接触は第2の動作をもたらし、第2の閾値を超える特性強度を有する接触は第3の動作をもたらす。いくつかの実施形態では、特性強度と1つ以上の閾値との間の比較は、第1の動作を実行するべきか、それとも第2の動作を実行するべきかを判定するために使用されるのではなく、1つ以上の動作を実行するべきか否か(例えば、個別の動作を実行するべきか、それとも個別の動作を実行するのを見合わせるべきか)を判定するために使用される。
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始位置から遷移して終了位置に到達し、その位置で接触の強度が増大している、連続するスワイプ接触を受信する。この例では、終了位置での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ(例えば、スワイプ接触のうち終了位置の部分のみ)に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、および/または指数平滑化アルゴリズムのうちの1つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触強度の幅の狭いスパイクまたは下落を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、および/または1つ以上の他の強度閾値などの1つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタンまたはトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタンまたはトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る(例えば、かつそれを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る)特性強度を有する接触が検出されたとき、デバイスは、タッチ感知面上の接触の移動に従って、軽い押圧強度閾値または深い押圧強度閾値に関連付けられた動作を実行することなく、フォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの値の様々なセットの間で一貫している。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への、接触の特性強度の増大は、「軽い押圧」の入力と呼ばれることがある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への、接触の特性強度の増大は、「深い押圧」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
本明細書に記載するいくつかの実施形態では、個別の押圧入力を含むジェスチャを検出したことに応じて、または個別の接触(若しくは複数の接触)によって実行された個別の押圧入力を検出したことに応じて、1つ以上の動作が実行され、個別の押圧入力は、押圧入力強度閾値を上回る接触(または複数の接触)の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、個別の動作は、押圧入力強度閾値を上回る個別の接触の強度の増大(例えば、個別の押圧入力の「ダウンストローク」)を検出したことに応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回る個別の接触の強度の増大、およびそれに続く押圧入力強度閾値を下回る接触の強度の減少を含み、個別の動作は、それに続く押圧入力閾値を下回る個別の接触の強度の減少(例えば、個別の押圧入力の「アップストローク」)を検出したことに応じて実行される。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義または選択する(例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもX強度単位低い、またはヒステリシス強度閾値は、押圧入力強度閾値の75%、90%、若しくはなんらかの妥当な割合である)。したがって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回る個別の接触の強度の増大、およびそれに続く押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、個別の動作は、それに続くヒステリシス強度閾値を下回る個別の接触の強度の減少(例えば、個別の押圧入力の「アップストローク」)を検出したことに応じて実行される。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、および任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、個別の動作は、押圧入力(例えば、状況に応じて、接触の強度の増大または接触の強度の減少)を検出したことに応じて実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力、または押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、および/または押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
本明細書では、「インストール済みアプリケーション」は、電子デバイス(例えば、デバイス100、300、および/または500)上へダウンロードされ、デバイス上で起動する準備ができた(例えば、開かれた)ソフトウェアアプリケーションを指す。いくつかの実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出し、抽出された部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。
本明細書では、「開いているアプリケーション」または「実行中のアプリケーション」という用語は、保持された状態情報(例えば、デバイス/グローバル内部状態157および/またはアプリケーション内部状態192の一部として)を有するソフトウェアアプリケーションを指す。開いているまたは実行中のアプリケーションは、任意選択的に、以下のタイプのアプリケーションのうちのいずれか1つである。
●アプリケーションが使用されているデバイスのディスプレイスクリーンに現在表示されているアクティブなアプリケーション、
●現在表示されていないが、アプリケーションに対する1つ以上のプロセスが1つ以上のプロセッサによって処理されている背景アプリケーション(または背景プロセス)、並びに
●稼働していないが、(それぞれ、揮発性および不揮発性の)メモリに記憶されており、且つアプリケーションの実行を再開するために使用することができる状態情報を有する、中断または休止状態のアプリケーション。
本明細書では、「閉じているアプリケーション」という用語は、保持された状態情報を有していないソフトウェアアプリケーションを指す(例えば、閉じているアプリケーションに対する状態情報は、デバイスのメモリ内に記憶されていない)。したがって、アプリケーションを閉じることは、アプリケーションに対するアプリケーションプロセスを停止および/または除去し、アプリケーションに対する状態情報をデバイスのメモリから除去することを含む。概して、第1のアプリケーション中に第2のアプリケーションを開いても、第1のアプリケーションは閉じない。第2のアプリケーションが表示されており、且つ第1のアプリケーションが表示を停止されたとき、第1のアプリケーションは背景アプリケーションになる。
次に、ポータブル多機能デバイス100、デバイス300、またはデバイス500などの電子デバイス上で実施されるユーザインタフェース(「UI」)および関連プロセスの実施形態に注意を向ける。
図6A~図6Zは、いくつかの実施形態に係る、メディア内の視覚コンテンツを管理する例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図8におけるプロセスを含めた後述のプロセスを示すために使用される。
図6Aは、任意選択的にコンピュータシステム600のディスプレイの最上部からコンピュータシステム600のディスプレイの底部まで延在するライブプレビュー630を含む、カメラユーザインタフェースを表示するコンピュータシステム600(例えば、電子デバイス)を示す。いくつかの実施形態では、コンピュータシステム600は、デバイス100、デバイス300、またはデバイス500の1つ以上の特性を任意選択的に含む。いくつかの実施形態では、コンピュータシステム600は、タブレット、電話、ラップトップ、デスクトップなどである。
ライブプレビュー630は、コンピュータシステム600の1つ以上のカメラの視野(「FOV」)の表現である。いくつかの実施形態では、ライブプレビュー630は、部分的なFOVの表現である。いくつかの実施形態では、ライブプレビュー630は、1つ以上のカメラセンサによって検出された画像に基づいている。いくつかの実施形態では、コンピュータシステム600は、複数のカメラセンサを使用して画像をキャプチャし、それらを組み合わせてライブプレビュー630を表示する。いくつかの実施形態では、コンピュータシステム600は、単一のカメラセンサを使用して画像をキャプチャして、ライブプレビュー630を表示する。
図6Aのカメラユーザインタフェースは、インジケータ領域602およびコントロール領域606を含み、インジケータ領域602およびコントロール領域606は、インジケータおよびコントロールがライブプレビュー630と同時に表示され得るように、ライブプレビュー630に対して配置かれている。カメラ表示領域604には、実質的にインジケータおよび/またはコントロールが重ね合わせられていない。図6Aに示すように、カメラユーザインタフェースは視覚境界608を含み、視覚境界608は、インジケータ領域602とカメラ表示領域604との境界、およびカメラ表示領域604とコントロール領域606との境界を示す。
図6Aに示すように、インジケータ領域602は、フラッシュインジケータ602aおよびアニメーション画像インジケータ602bなどのインジケータを含む。フラッシュインジケータ602aは、フラッシュがオン(例えば、アクティブ)か、オフ(例えば、非アクティブ)か、それとも別のモード(例えば、自動モード)であるかを示す。図6Aにおいて、フラッシュインジケータ602aは、フラッシュモードがオフであり、コンピュータシステム600がメディアをキャプチャしているときにフラッシュ動作が使用されないことをユーザに示す。アニメーション画像インジケータ602bは、(例えば、メディアをキャプチャする要求を検出したことに応答して、)単一の画像または複数の画像をキャプチャするようにカメラが構成されているかどうかを示す。いくつかの実施形態では、インジケータ領域602は、ライブプレビュー630上に重ね合わせられており、かつ着色された(例えば、灰色、半透明)オーバーレイを任意選択的に含む。
図6Aに示すように、カメラ表示領域604は、ライブプレビュー630およびズームコントロール(例えば、アフォーダンス)622を含む。ズームコントロール622は、0.5×ズームコントロール622a、1×ズームコントロール622b、および2×ズームコントロール622cを含む。図6Aに示すように、1×ズームコントロール622bが他のズームコントロールと比較して太字で拡大されていることは、1×ズームコントロール622bが選択されていること、およびコンピュータシステム600がライブプレビュー630を「1×」ズームレベルで表示していることを示す。
図6Aに示すように、コントロール領域606は、カメラモードコントロール(例えば、コントロール)620、シャッターコントロール610、カメラスイッチャーコントロール614、およびメディアコレクション612の表現を含む。図6Aにおいて、カメラモードコントロール620a~620eが表示され、かつ「写真」カメラモード620cが太字で示されていることは、シャッターコントロール610がアクティブであったときにコンピュータシステム600が写真メディアをキャプチャするように構成されることを示す。このように、シャッターコントロール610は、有効化されたときに、コンピュータシステム600に、ライブプレビュー630の現在の状態およびカメラアプリケーションの現在の状態(例えば、どのカメラモードが選択されているか)に基づいて、1つ以上のカメラセンサを使用して、メディア(例えば、図6Aにおいてシャッターコントロール610が有効化された場合の写真)をキャプチャさせる。キャプチャされたメディアは、コンピュータシステム600にローカルに記憶されており、および/または記憶のためにリモートサーバに送信される。カメラスイッチャコントロール614は、有効化されたときに、コンピュータシステム600に、例えば、背面カメラセンサと前面カメラセンサとの間の切り替えによって、ライブプレビュー630内の異なったカメラの視野を示すことに切り替えさせる。図6Aに示すメディアコレクション612の表現は、コンピュータシステム600によって直近にキャプチャされたメディア(例えば、画像、ビデオ)の表現である。いくつかの実施形態では、メディアコレクション612に向けられたジェスチャの検出に応じて、コンピュータシステム600は、(後述する)図7Bに示すユーザインタフェースと類似のユーザインタフェースを表示する。いくつかの実施形態では、インジケータ領域602は、ライブプレビュー630上に重ね合わせられており、かつ着色された(例えば、灰色、半透明)オーバーレイを任意選択的に含む。図6Aにおいて、コンピュータシステムは、シャッターコントロール610上の(および/またはシャッターコントロール610に向けられた)タップ入力650aを検出する。
図6Bに示すように、タップ入力650aの検出に応じて、コンピュータシステム600は、メディアのキャプチャを開始して図6Aのライブプレビュー630をキャプチャし、かつメディアコレクション612において新しい表現を表示する。図6Bにおいて、新しい表現は、図6Aのライブプレビュー630の表現(例えば、シャッターコントロール610上のタップ入力650aの検出に応じキャプチャされたもの)である。また、新しい表現は、直近にキャプチャされたメディアの表現に対応しているので、図6Bにおけるメディアコレクション612の最上部に表示される。
図6Bに示すように、ライブプレビュー630は、人640が木の後ろに立っていることを示す表現を含み、人640の頭部および人640の身体の一部は木によって覆い隠されていない。木の上には、テキスト部分642a(例えば、「LOST DOG」)およびテキスト部分642b(例えば、「LOVEABLE」で始まったテキストのパラグラフ)を含むサイン642が置かれている。図6Bにおいて、テキスト部分642a~642b内のテキストは視覚的にプロミネントではなく、かつ図6Bに示された実施形態では、テキスト部分642aおよび642b内のテキストは小さくて、コンピュータシステム600を見ているユーザが容易に読むことができない。図6Bにおいて、コンピュータシステム600は、ライブプレビュー630上でピンチ解除入力650bを検出する。
図6Cに示すように、ピンチ解除入力650bの検出に応じて、コンピュータシステム600は、図6Bの2×ズームコントロール622cの表示を2.5×ズームコントロールの表示に置き換える。また、コンピュータシステム600は、1つ以上のカメラの視野内のオブジェクトが、図6Bの「1×」ズームレベルの代わりに、(例えば、新たに表示および選択された(例えば、拡大されかつ太字にされた)2.5×ズームコントロール622dが示すように)「2.5×」ズームレベルで表示されるように、ライブプレビュー630を更新してズームレベルの変化を反映する。
図6Bと比較すると、図6Cのテキスト部分642a~642bは、図6Bのテキスト部分642a~642bよりも視覚的にプロミネントである(例えば、より大きくて、より読みやすい)。図6Cにおいて、テキスト部分642a~642b(および/またはテキスト部分642a~642bに含まれたテキスト)がそれぞれ、プロミネンス基準のセットを満たしているとの判定が行われた。各テキスト部分がライブプレビュー630の閾値を超えた一部分(例えば、10%)を占め、かつ/または各テキスト部分が、しきいサイズより大きい(例えば、6ptフォントより大きい)テキストを含むため、図6Cのテキスト部分642a~642bがプロミネンス基準のセットを満たしている。いくつかの実施形態では、他の基準、例えば、個別のテキスト部分が、1つ以上のタイプのテキスト(例えば、電子メール、電話番号、クイックレスポンス(「QR」)コードなど)を含むか否か、個別のテキスト部分が、ライブプレビュー630の特定の場所(例えば、中央場所)またはその近くで表示されるか否か、個別のテキスト部分が、ライブプレビュー630として表示されたメディアのコンテキストに基づいて関連したものであるか否か、などに基づいて、1つ以上のテキスト部分はプロミネンス基準のセットを満たしている(図7A~図7L、図8、および図9に関連してより詳細に説明されるように)。
図6Cに示すように、テキスト部分642a~642bがプロミネンス基準のセットを満たしているとの判定のため(および/またはテキストの少なくとも一部分がプロミネンス基準のセットを満たしているため)、コンピュータシステム600は、テキスト部分642a~642bの周りに括弧636aを表示し、カメラ表示領域604内のズームコントロール622dの右にテキスト管理コントロール680を表示する。
図6Bに戻ると、テキスト部分642a~642bがプロミネンス基準のセットを満たさなかったとの判定が行われたため(および/またはテキストのどの部分もプロミネンス基準のセットを満たさなかったため)、括弧636aおよびテキスト管理コントロール680は図6Bに表示されなかった。図6Bにおいて、テキスト部分642a~642bがライブプレビュー630の閾値を超えた一部分を占めず、かつしきいサイズより大きいテキストを含まなかったため、テキスト部分642a~642bがプロミネンス基準のセットを満たさなかったとの判定が行われた。いくつかの実施形態では(図6B~図6Cに示すように)、個別のテキスト部分がプロミネンス基準のセットを満たしているか否かの判定は、ライブプレビュー630がテキスト(および/またはテキスト部分)を含むか否かだけに基づくのではなく、テキスト部分が現在ライブプレビュー630内にどのように/いつ表示されているかに基づいて行われる。
図6Cに戻ると、犬の画像がテキスト部分642a~642bの間に配置されているので、括弧636aはサイン642上の犬の画像の周りに配置されている。いくつかの実施形態では、括弧がテキスト部分642aの周りに表示され、別の括弧がテキスト部分642bの周りに表示されるように、複数の括弧が表示される。いくつかの実施形態では、複数のテキスト部分(例えば、「テキストの複数の部分」)がプロミネンス基準のセットを満たし、オブジェクトがテキスト部分の間に配置されているとの判定が行われたため、複数の括弧が表示される。いくつかの実施形態では、オブジェクトがテキストの複数の部分の間に配置されていないとき、テキストの複数の部分の周りに1つの括弧のみが表示される。いくつかの実施形態では、テキスト部分642aがプロミネンス基準のセットを満たしているが、テキスト部分642bがプロミネンス基準のセットを満たしていない場合、テキスト部分642aの周りに括弧が表示され、テキスト部分642bの周りに括弧が表示されない(逆もまた同様)。いくつかの実施形態では、コンピュータシステム600は、個別のテキスト部分の周りに括弧を表示することに加えて、および/またはその代わりに、強調表示、太字、サイズ変更、および個別のテキスト部分の周りのボックスのような、他の方法で個別の部分を強調することによって、個別のテキスト部分(例えば、テキストの部分)がプロミネンス基準のセットを満たしていることを示す。
図6Cに示すように、コンピュータシステム600は、テキストタイプインジケーション638a~638b(例えば、下線)を表示して、テキスト部分642b内で特定のタイプのテキスト(例えば、電子メール、住所、電話番号、QRコードなど)が検出されている(例えば、データ検出器)ことを示す。図6Cにおいて、「123 Main Street」の下に住所が検出されていることを示すテキストタイプインジケーション638aが表示されており、「123-4567」の下に電話番号が検出されていることを示すテキストタイプインジケーション638bが表示されている。いくつかの実施形態では、テキストタイプインジケータがテキストの一部分の下に表示されたとき、ユーザは、テキストの一部分および/またはテキストタイプインジケータを選択することによって、動作を実行することができる(例えば、以下図6M~図6Nに関連して更に説明されるように)。
図6C~図6Dは、コンピュータシステム600が物理的環境において移される例示的な実施形態を示す。図6C~図6Dは、物理的環境におけるコンピュータシステム600の(例えば、図6Dにおける)変更したポジション660bに対する(例えば、図6C~図6Dにおける)コンピュータシステム600の元のポジション660aを示すグラフィカル表現660を含む。図6Cに示すように、コンピュータシステム600は、元のポジション660aにある。図6Cにおいて、コンピュータシステム600のポジションが変更されている。
図6Dに示すように、コンピュータシステム600のポジションが(例えば、元のポジション660aから変更したポジション660bに)変化したことに応じて、コンピュータシステム600はライブプレビューを上方向に平行移動させる。図6Dにおいて、図6Cのライブプレビュー630の最上部(例えば、テキスト部分642aを含む部分)の表示が中止され、かつライブプレビュー630の新しい底部(図6Dに示すように)が新たに表示されるように、ライブプレビュー630が上方向に平行移動される。図6Dにおいて、テキスト部分642aがプロミネンス基準のセットを満たさず、テキスト部分642bがプロミネンス基準のセットを(引き続き)満たしているとの判定が行われた。ここで、テキスト部分642aは、もはや図6Dにおいて(例えば、カメラ表示領域における)ライブプレビュー630の一部分として表示されていないため、テキスト部分642aがプロミネンス基準のセットを満たしていないとの判定が行われた。図示されるように、テキスト部分642aはプロミネンス基準のセットを満たさず、テキスト部分642bはプロミネンス基準のセットを満たしているため、コンピュータシステム600は、(テキスト部分642aではなく)テキスト部分642bの周りに括弧636bを表示し、括弧636aの表示を中止する。言い換えれば、コンピュータシステム600は、1つ以上のテキスト部分(例えば、ライブプレビュー630の一部分として現在表示されているテキスト部分)がプロミネンス基準のセットを満たしているか、および/または満たしていないか否かの判定における変更に従って、括弧636aを括弧636bに動的に変更する。したがって、1つ以上のテキスト部分がプロミネンス基準のセットを満たしているか否かの1つ以上の判定は動的であり、ライブプレビュー630がズームイン(例えば、ピンチ解除入力)/ズームアウト(例えば、ピンチ入力)やパン(例えば、右、左、上、下へのスワイプ入力)の要求に応じて変化した場合、および/またはライブプレビュー630がコンピュータシステム600および/またはコンピュータシステム600の1つ以上のカメラの移動(例えば、前、後、上、下へ)に応じて変化した場合に、変化し得る。いくつかの実施形態では、1つ以上のテキスト部分がプロミネンス基準のセットを満たしているか否かの1つ以上の判定が変化した場合、1つ以上の括弧(例えば、括弧636a~636b)の表示および/またはテキスト管理コントロール680の表示が変化する(図7A~図7L、図8、図9に関連して以下で更に説明されるように)。いくつかの実施形態では、コンピュータシステム600がテキスト部分642bの周りに括弧636aを表示している間(および/またはライブプレビュー630内のテキストの検出に応じて)、コンピュータシステム600は、テキスト部分642b(および/またはテキストの他の部分)の彩度および/または輝度を維持しながら、テキスト(例えば、犬の写真)を有さないライブプレビュー630の部分の彩度(例えば、彩度、色合い、および/または色相)を暗くおよび/または小さくする。いくつかの実施形態では、テキストを有さないライブプレビュー630の部分を暗くし、テキスト部分642bの輝度を維持する一部分として、コンピュータシステム600は、テキストを有さないライブプレビュー630の部分よりも大きな輝度でテキスト部分642bを表示する。
図6Dに示すように、テキスト部分642bがプロミネンス基準のセットを(引き続き)満たしているとの判定が行われたため、コンピュータシステム600は、テキスト管理コントロール680を引き続き表示する。図6Dにおいて、別のテキスト部分(例えば、テキスト部分642a)がプロミネンス基準のセットを引き続き満たしていることができない(または満たしていない)か否かにかかわらず、(例えば、ライブプレビュー630の)現在表示されているテキスト部分がプロミネンス基準のセットを満たしているとの少なくとも1つの判定が行われたため、テキスト管理コントロール680が表示される。図6Dにおいて、コンピュータシステム600は元のポジション660aに戻される。
図6Eに示すように、コンピュータシステム600が元のポジション660aにあることに応じて、コンピュータシステム600は、図6Cに関連して以上に説明したような1つ以上の技法を使用して、ライブプレビュー630を再表示する。図6Eにおいて、コンピュータシステム600は、テキスト管理コントロール680上のタップ入力650eを検出する。
図6Fに示すように、タップ入力650eの検出に応じて、コンピュータシステム600は、テキスト管理コントロール680の表示を変更する。具体的には、コンピュータシステム600は、(例えば、図6Fにおいてテキスト管理コントロール680が太字にされたことが示すように)図6Fのテキスト管理コントロール680をアクティブ状態および/または選択状態で表示し、かつ(例えば、図6Eにおいてテキスト管理コントロール680が太字にされなかったことが示すように)非アクティブ状態および/または選択解除状態でテキスト管理コントロール680の表示を中止する。
図6Fに示すように、タップ入力650eの検出に応じて、コンピュータシステム600は、テキスト部分642a~642bを強調し、ライブプレビュー630の他の部分(および/または1つ以上のカメラの視野内の他のオブジェクト)、例えば、人640、サイン642上の犬の画像、およびライブプレビュー630に表示された木を暗くする。ライブプレビュー630の他の部分を暗くすることを伴って、コンピュータシステム600は、カメラ表示領域604内の1つ以上のコントロール(例えば、図6Eのズームコントロール622)の表示を中止する。また、コンピュータシステム600は、インジケータ領域602内の複数のインジケータ内のインジケータおよびカメラコントロール領域606内の複数のコントロールおよびコントロールのような、カメラユーザインタフェースの複数の部分を暗くする(または表示を中止する)。いくつかの実施形態では、図6Fのカメラユーザインタフェース内で暗くされたインジケータおよび/またはコントロールのいくつかは、選択可能ではない(例えば、選択されたときにコンピュータシステム600に動作を実行させない)。いくつかの実施形態では、インジケータおよび/またはコントロールのいくつかは、タップ入力650eの検出に応じて、相変らず選択可能であり、および/または暗くされない。いくつかの実施形態では、コンピュータシステム600は、タップ入力650eの検出に応じて、カメラ表示領域604におけるいくつかのコントロールの表示を維持する。いくつかの実施形態では、コンピュータシステム600は、テキスト部分642a~642b内のテキストのサイズを増大させること、テキスト部分642a~642b内のテキストを強調表示すること、テキスト部分642a~642bの周りにボックスを表示することなどによって、部分642a~642bを強調する。いくつかの実施形態では、ライブプレビュー630の部分を暗くすることは、(例えば、図6Dに関連して以上に説明したような類似の技法を使用して)テキスト部分642aおよび642bの彩度を維持しながら、テキスト(例えば、犬の写真)を有さないライブプレビュー630の部分の彩度を小さくすることを含む。
特に、図6Fにおいて、入力650eの検出に応じて強調されたテキストの部分は、図6Eにおいて入力650eが受信されたときに括弧(例えば、括弧636a)が囲んだテキストの部分である。いくつかの実施形態では、テキストの一部分の周りの括弧は、テキスト管理コントロール680の選択が行われたときに、どのテキストがユーザによって強調および/または管理されるかをユーザに示す。いくつかの実施形態では、テキスト管理コントロール680上で入力が受信されたときにライブプレビュー630を介して表示されるが、テキストを囲む括弧を有さない1つ以上のテキスト部分は、テキスト管理コントロール680の選択に応じて強調されない(例えば、以下の図7Fにおいて、図7Fでテキスト管理コントロール680が選択されたときに「BRAND」は強調されない)。いくつかの実施形態では、テキスト管理コントロール680上で入力が受信されたときにライブプレビュー630を介して表示されるが、テキストを囲む括弧を有さない1つ以上のテキスト部分は、テキスト管理コントロール680の選択に応じて強調される(例えば、テキストの1つ以上の部分がプロミネンス基準のセットを満たしているとの判定が行われた場合)。
図6Fに示すように、タップ入力650eの検出に応じて、コンピュータシステム600はまた、テキスト管理オプション682と、テキスト部分642a~642bの中からテキストのサブセットを選択するために使用できる1つ以上の入力/ジェスチャを示す命令684(例えば、「スワイプまたはタップしてテキストを選択」)とを表示する。図6Fにおいて、テキスト管理オプション682は、テキスト部分642a~642bを管理するオプションである。特に、テキスト管理オプション682は、コピーオプション682a、全て選択オプション682b、検索オプション682c、および共有オプション682dを含む。いくつかの実施形態では、コピーオプション682aに向けられた入力の受信に応じて、コンピュータシステム600は、選択されたテキスト(例えば、図6Fにおけるテキスト部分642a~642b内のテキスト)をコピーし、および/または選択されたテキストをコピー/貼り付けバッファに保存し、コピー/貼り付けバッファは、選択されたテキストを貼り付ける要求の受信に応じて、選択されたテキストがペーストされることを可能にする。いくつかの実施形態では、全て選択オプション682bに向けられた入力の受信に応じて、コンピュータシステム600は、コンピュータシステム600上で強調されたテキストの全てを選択する。いくつかの実施形態では、コンピュータシステム600が選択されたテキスト内のテキストの全てを選択したときに、コンピュータシステム600は、選択されたテキストを強調表示する。いくつかの実施形態では、検索オプション682cに向けられた入力の受信に応じて、コンピュータシステム600は、検索アプリケーション(例えば、ウェブアプリケーション、辞書アプリケーション、パーソナルアシスタントアプリケーション)を介して、選択されたテキスト(例えば、図6Fにおける強調されたテキスト部分)を検索し、および/または強調および/または選択されたテキストの1つ以上の定義およびリソースを表示する。いくつかの実施形態では、共有オプション682dに向けられた入力の受信に応じて、コンピュータシステム600は、1つ以上のアプリケーション(例えば、電子メール、テキストメッセージング、ワードプロセッシング、ソーシャルメディアアプリケーション)(例えば、1つ以上の所定のアプリケーション)を介して、選択されたテキストを共有するプロセスを開始する。いくつかの実施形態では、選択されたテキストを共有するプロセスを開始することの一部分として、コンピュータシステム600は、アプリケーションのスクロール可能なリストを表示し、アプリケーションのスクロール可能なリストからのアプリケーションの選択は、コンピュータシステム600に、選択されたアプリケーションを使用して選択されたテキストを共有させる。いくつかの実施形態では、アプリケーションのスクロール可能なリストは、ライブプレビュー630の一部分(例えば、テキスト部分642a~642bのうちの1つ以上を含む)と同時に表示される。図6Fにおいて、コンピュータシステム600は、ライブプレビュー630の一部分(例えば、ライブプレビュー630の暗くされた領域内の一部分、および/またはテキスト部分642a~642bおよび/またはテキスト管理コントロール680を含まないライブプレビュー630の一部分)上のタップ入力650fを検出する。
図6Gに示すように、タップ入力650fの検出に応じて、コンピュータシステム600は、テキスト管理コントロール680を非アクティブ状態で表示し、テキスト部分642a~642bを強調せず、ライブプレビュー630の他の部分およびカメラユーザインタフェースを明るくし、テキスト管理オプション682および命令684の表示を中止する。また、テキスト部分642a~642bがプロミネンス基準のセットを(引き続き)満たしているとの判定が行われたため、タップ入力650fの検出に応じて、コンピュータシステム600は、括弧636aを再表示する。事実上、タップ入力650fの検出に応じて、カメラユーザインタフェースは、タップ入力650eがテキスト管理コントロール680上で検出される前にカメラユーザインタフェースがあったとの状態に戻される。図6Gにおいて、コンピュータシステム600は、テキスト管理コントロール680上のタップ入力650gを検出する。
図6Hに示すように、タップ入力650gの検出に応じて、コンピュータシステム600は、図6Fに関連して以上に説明したような1つ以上の技法を使用して、図6Hのカメラインタフェースを表示する。特に、図6H(および図6F)において、テキスト部分642a~642bがプロミネンス基準のセットを満たしているため、コンピュータシステム600は、テキスト部分642a~642bを強調する。いくつかの実施形態では、コンピュータシステム600は、タップ入力650gの検出に応じて、プロミネンス基準のセットを満たしていないテキストの1つ以上の部分を暗くする。図6Hにおいて、コンピュータシステム600は、テキスト部分642b上のタップ入力650hを検出する。
図6Iに示すように、タップ入力650hの検出に応じて、コンピュータシステム600は、テキスト管理オプション682が(例えば、図6Hに示すように)テキスト部分642aの上に表示される代わりに、図6Iにおけるテキスト部分642bの上に表示されるように、テキスト部分642bを選択し、テキスト管理オプション682を再配置する。テキスト管理オプション682は再配置されて、テキスト管理オプションがテキスト部分642b内のテキストを管理するために使用できるが、テキスト部分642a内のテキストを管理するために使用できないことを示す。したがって、言い換えれば、コンピュータシステム600は、テキストの特定の部分を選択する入力(例えば、スワイプまたはタップ)の検出に応じて、テキスト管理オプション682を使用して、管理されるために選択されたテキストを変更する。
特に、図6Iのライブプレビュー630は、図6Hのライブプレビュー630に含まれた人640を含まない。これは、人640が、図6Iのライブプレビュー630における木の後ろに移動しており、したがって、コンピュータシステム600の1つ以上のカメラの視野内にいないためである。図6Iに示すように、テキスト管理コントロール680がアクティブ状態で表示されている間、および/またはテキスト管理オプション682が表示されている間に、ライブプレビュー630は引き続き更新して、コンピュータシステム600の1つ以上のカメラの視野の変化を反映する。いくつかの実施形態では、テキスト管理コントロール680がアクティブ状態で表示されている間、および/またはテキスト管理オプション682が表示されている間に、ライブプレビュー630は引き続き更新しない。したがって、ライブプレビュー630が更新されない実施形態では、コンピュータシステム600は、図6Iのライブプレビュー630における木の後ろから突き出ている人640の一部分の表示を維持する。図6Iにおいて、コンピュータシステム600は、ピンチ解除入力650iを検出する。
図6Jに示すように、ピンチ解除入力650iの検出に応じて、コンピュータシステム600は、増加したズームレベルでライブプレビュー630を表示し、テキスト部分642bおよびテキスト管理オプション682の表示を維持する。いくつかの実施形態では、テキスト部分642bが選択されているため、コンピュータシステム600は、ズームイン(例えば、ピンチ解除入力)(および/またはズームアウト、パン、および/またはコンピュータシステム600および/またはコンピュータシステム600の1つ以上のカメラの移動)の要求に応じて、少なくともテキスト部分642bのサブセットを引き続き表示する。いくつかの実施形態では、選択されたテキスト部分(例えば、テキスト部分642b)の表示は静的である。したがって、選択されたテキスト部分が静的であるいくつかの実施形態では、コンピュータシステム600は、(例えば、図6L~図6Mに関連して以下で更に説明するように)選択されたテキスト部分が1つ以上のカメラの視野内に残っているか否かにかかわらず(例えば、コンピュータシステム600が移動、パン、および/またはズームされたときなど)(例えば、カメラユーザインタフェースが相変わらず表示されている間)、選択されたテキスト部分を引き続き表示する。図6Jにおいて、コンピュータシステム600は、テキスト部分642bに含まれた単語である「Fluffy」上のタップ入力650jを検出する。
図6Kに示すように、タップ入力650jの検出に応じて、コンピュータシステム600は、単語「Fluffy」を選択して強調表示する。図6Kにおいて、選択された単語「Fluffy」のみが、図6Kに表示されたテキスト管理オプション682で管理されることができる。図6Kにおいて、コンピュータシステム600は、単語「Fluffy」から始まる左向きスワイプ入力650kを検出する。
図6Lに示すように、左向きスワイプ入力650kの検出に応じて、コンピュータシステム600は、スワイプ入力650kの方向に基づいて、テキスト部分642bに含まれた複数の単語を選択して強調表示する。図6Lに示すように、単語「THE NAME FLUFFY」は強調表示されて、スワイプ入力650kに基づいて「THE NAME FLUFFY」が選択されていることを示す。図6Lにおいて、選択された単語「THE NAME FLUFFY」のみが、図6Lに表示されたテキスト管理オプション682で管理されることができる。
図6L~図6Mは、(例えば、図6L~図6Mに関連して以下で更に説明するように)選択されたテキスト部分が1つ以上のカメラの視野内に残っているか否かにかかわらず、コンピュータシステム600が選択されたテキスト部分(またはテキスト部分のサブセットが選択されたテキスト部分)を引き続き表示している間に、コンピュータシステム600が物理的環境において移動される、例示的な実施形態を示す。図6L~6Mは、コンピュータシステム600の(例えば、図6Mにおける)変化したポジション660cに対する(例えば、図6L~6Mにおける)コンピュータシステム600の元のポジション660aを示すグラフィカル表現660を含む。
図6Lに示すように、木のマーク646は、図6L~図6Mのライブプレビュー630に表示された木の静的部分を表す。図6Lにおいて、木のマーク646がテキスト部分642bの下に表示されている。図6Lにおいて、コンピュータシステム600のポジションが変更されている。
図6Mに示すように、コンピュータシステム600のポジションが変化したことに応じて(例えば、元のポジション660aに対する変化したポジション660cが示すように)、コンピュータシステム600は、木のマーク646がテキスト部分642bの上に表示されるようにライブプレビューを更新する。特に、図6Mにおいて、コンピュータシステム600のテキスト部分642bはもはや1つ以上のカメラの視野内になく、テキスト部分642bは、テキスト部分642bが図6Mのライブプレビュー630に表示されるポジションに配置される(例えば、ライブプレビュー630において木のマーク646がより高いポジションに移動することによって明らかになる)。しかしながら、テキスト部分642bのサブセット(例えば、「THE NAME FLUFFY」)が選択されているため、コンピュータシステム600は、図6Mのライブプレビュー630においてテキスト部分642bを引き続き表示する。いくつかの実施形態では、コンピュータシステム600は、選択されていないテキスト部分642bの他の部分を表示せずに選択されているテキスト部分642bのサブセットのみを表示する。いくつかの実施形態では、テキストが選択され、かつカメラが物理的環境において移動された(および/またはズーム/パンされた)ときに、コンピュータシステム600は、ライブプレビュー630を更新しない。いくつかの実施形態では、(例えば、図7A~図7L、図8、および図9に関連して以下で更に説明するように)コンピュータシステム600は、コンピュータシステム600および/またはコンピュータシステム600のカメラが移動された(例えば、および/またはズーム/パンされた)ことに応じて、テキストの異なった部分を選択する(例えば、テキストがライブプレビュー630において木の底部に向かって表示された場合)。図6Mにおいて、コンピュータシステム600は、下にテキストタイプインジケーション638bが表示されている「123-4567」上の入力650mを検出する。
図6Nに示すように、入力650mの検出に応じて、かつ入力650mがタップ入力であり、「123-4567」が電話番号に対応しているとの判定が行われたため、コンピュータシステム600は、電話ダイヤラユーザインタフェースを表示し、自動的に(例えば、キーパッドおよび/または連絡先情報カード上でのユーザ入力を必要とせずに)「123-4567」への電話呼び出しを開始する。いくつかの実施形態では、コンピュータシステム600が電話呼び出しを開始する前に、確認画面が表示される。
図6Oに示すように、入力650mの検出に応じて、かつ入力650mが長押しの入力であり、「123-4567」が電話番号に対応しているとの判定が行われたため、コンピュータシステム600は、コールオプション692a、メッセージ送信オプション692b、連絡先追加オプション692c、およびコピーオプション692dを含む電話番号管理オプション692を表示する。図6Oに示すように、コンピュータシステム600は、(「123-4567」が図6Oにおいて選択されたときに電話番号管理オプション692が表示されることとは対照的に、「THE NAME FLUFFY」が選択されたときにテキスト管理オプション682が図6Lにおいて表示されることが示すように)他のタイプのテキストの管理と異なったいくつかの特定のタイプのテキスト(例えば、電子メール、電話番号、QRコード)の管理のためのオプションを表示する。いくつかの実施形態では、コールオプション692aに向けられた入力の検出に応じて、コンピュータシステム600は、(例えば、図6Nに関連して以上に説明したような類似の技法を使用して)「123-4567」への電話呼び出しを開始する。いくつかの実施形態では、メッセージ送信オプション692bに向けられた入力の検出に応じて、コンピュータシステム600は、「123-4567」にメッセージを送信する(例えば、テキスト管理アプリケーションを表示する)プロセスを開始する。いくつかの実施形態では、連絡先追加オプション692cに向けられた入力の検出に応じて、コンピュータシステム600は、連絡先の情報内に電話番号として「123-4567」を有する連絡先リストに連絡先を追加するプロセスを開始する。いくつかの実施形態では、コピーオプション692dに向けられた入力の検出に応じて、コンピュータシステム600は、図6Fにおけるコピーオプション682aに関連して以上に説明したような1つ以上の技法を使用して「123-4567」をコピーする。
図6P~図6Tは、QRコードがライブプレビュー630に表示される例示的な実施形態を示す。いくつかの実施形態では、QRコードを、他のタイプのマトリックスおよび/またはバーコードに置き換えることができる。
図6Pに示すように、コンピュータシステム600は、ライブプレビュー630において、QRコード668をQRコード識別子670(例えば、「CAFE32.COM」)と同時に表示する。いくつかの実施形態では、QRコード識別子は、ウェブサイト、連絡先、セルラプラン、電子メールアドレス、カレンダー招待/イベント、場所(例えば、GPS場所)、テキスト、ビデオ、電話番号、WiFiネットワーク、アプリケーションおよび/またはアプリケーションのインスタンスのうちの1つ以上を識別する。QRコード識別子670は、QRコードによって識別された情報のインジケーションを含む。図6Pにおいて、QRコード668は、コンピュータシステム600の1つ以上のカメラの視野内にあり、QRコード識別子670は、コンピュータシステム600の1つ以上のカメラの視野内にない。QRコード668が「CAFE32.COM」に属した目的ウェブサイトに対応している(例えば、または上記の目的ウェブサイトを識別する)との判定が行われたため、コンピュータシステム600は、QRコード識別子670を表示する。図6Pにおいて、コンピュータシステム600は、カメラ表示領域604において入力650p1および/または入力650p2を検出する。
図6Qに示すように、入力650p1および/または入力650p2の検出に応じて(および入力のうちの少なくとも1つがタップ入力および/または長押し入力であるとの判定に基づいて)、コンピュータシステム600は、ウェブサイト(例えば、「CAFE32.COM」アドレス)のプレビューを含む通知674を表示する。いくつかの実施形態では、ウェブアドレスのプレビューは、完全なウェブアドレス(例えば、「http:\\cafe32.com\menu」)および/またはウェブアドレスからの画像を含む。いくつかの実施形態では、コンピュータシステム600は、1つ以上の入力の検出に応じて、QRコード668に対応しているウェブアドレスにナビゲートする代わりに通知674を表示して、ユーザが意図せずにQRコード668に対応しているウェブサイトサイトにナビゲートする可能性を最小化する。いくつかの実施形態では、QRコード668上の入力650p1の検出に応じて、コンピュータシステム600は、(例えば、ウェブサイトに自動的にナビゲートせずに)通知674を表示する。いくつかの実施形態では、QRコード識別子に対する入力650p2の検出に応じて、コンピュータシステム600は、(例えば、通知674を表示せずに)(例えば、コンピュータシステム600のタップ入力650qに対する応答に関連して以下で説明するような1つ以上の類似の技法を使用して)QRコード668に対応しているウェブサイトに自動的にナビゲートする。図6Qにおいて、コンピュータシステム600は、通知674上でタップ入力650qを検出する。
図6Rに示すように、タップ入力650qの検出に応じて、コンピュータシステム600は、ウェブアプリケーション678を介してQRコードに対応しているウェブアドレスに自動的にナビゲートする(および/または開く)。
図6Sに示すように、コンピュータシステム600は、図6Pに関連して以上に説明したような1つ以上の技法を使用して、QRコード668をQRコード識別子670と同時に表示する。図6Sにおいて、コンピュータシステム600は、テキスト管理コントロール680上のタップ入力650sを検出する。
図6Tに示すように、タップ入力650sの検出に応じて、コンピュータシステム600は、共有オプション672a、コピーリンクオプション672b、読書リスト追加オプション672c、およびオープンリンクオプション672dを含むQRコード管理オプション672を表示する。上記の図6Oに関連して説明したように、コンピュータシステム600は、いくつかの特定のタイプのテキストの管理について、他のタイプのテキストの管理と異なったオプションを表示する。いくつかの実施形態では、共有オプション672aに向けられた入力の検出に応じて、コンピュータシステム600は、(例えば、図6Fの共有オプション682dに向けられた入力に関して説明した1つ以上の類似の技法を使用して)QRコードに対応しているウェブアドレスおよび/またはリンクを共有するプロセスを開始する。いくつかの実施形態では、コピーリンクオプション672bに向けられた入力の検出に応じて、コンピュータシステム600は、(例えば、図6Fのコピーオプション682aに関連して以上に説明したような1つ以上の技法を使用して)QRコードに対応しているウェブアドレスおよび/またはリンクをコピーする。いくつかの実施形態では、読書リスト追加オプション672cに向けられた入力の検出に応じて、コンピュータシステム600は、QRコードに対応しているウェブアドレスおよび/またはリンクをアイテムのリスト(例えば、1つ以上の記事、書籍、ウェブサイトなど)に追加するプロセスを開始する。いくつかの実施形態では、オープンリンクオプション672dに向けられた入力の検出に応じて、コンピュータシステム600は、ウェブアプリケーション678を介して(例えば、図6Rに関連して以上に説明したような類似の技法を使用して)QRコードに対応しているウェブアドレスにナビゲートする(および/または開く)。
いくつかの実施形態では、QRコード管理オプション672は、QRコードが表すリソースのタイプ(例えば、テキスト管理コントロール680が選択されたときに表示されるQRコード)に基づいて動的に選択される1つ以上のオプションを含む。例えば、QRコードによって表されたリソースのタイプは、ウェブサイトへのリンク、連絡先、セルラプラン、電子メールアドレス、カレンダー招待/イベント、場所(例えば、GPS場所)、テキスト、ビデオ、電話番号、WiFiネットワーク、アプリケーションおよび/またはアプリケーションのインスタンスのうちの1つ以上を含むことができる。いくつかの実施形態では、QRコード管理オプション672は、QRコードが第1のタイプのリソースを表す場合の第1の組のコントロールと、QRコードが第1のタイプと異なった第2のタイプのリソースを表す場合の第2の組のコントロールとを含む。いくつかの実施形態では、第1の組のコントロールは、第2の組のコントロールよりも、異なった量のコントロールを有する。いくつかの実施形態では、QRコードによって表されたリソースのプレビューが、QRコード管理オプション672に含まれる(例えば、QRコードがテキストの文字列を表す場合)。
いくつかの実施形態では、QRコード管理オプション672は、コンピュータシステム600がロック状態にあるかそれともロック解除状態にあるかに基づいて、異なった組のコントロールを含む。いくつかの実施形態では、コンピュータシステム600がロック状態にあり、QRはアプリケーションへのリンクを表す場合、アプリケーションをインストールするおよび/または開くコントロールオプションが表示される。いくつかの実施形態では、コンピュータシステム600がロック解除状態にある場合、アプリケーションがインストールされていても、アプリケーションを開くリンクは表示されない(例えば、抑制される)ことによって、どのアプリケーションがデバイスにインストールされているかに関する情報をデバイスの権限のないユーザに伝えることを回避する。任意選択で、アプリケーションを開くリンクを表示する代わりに、デバイスは、アプリケーション全体をダウンロードせずに利用可能なアプリケーションの一部分を使用するオプションを表示する。いくつかの実施形態では、コンピュータシステム600は、権限のないユーザに与えられる情報(例えば、QRコードによって表されたアプリケーションがコンピュータシステム600にインストールされているか否か、および/またはインストールされていないか否かを判定するために使用できる情報)を制限するために、(例えば、コンピュータシステム600がロック状態にあるかそれともロック解除状態にあるかに基づいて)異なった組のコントロールを表示する。
図6U~図6Wは、コンピュータシステム600が、列に分離された選択されたテキストの周りに選択インジケータを表示する、例示的なシナリオを示す。図6U~図6Wにおいて、コンピュータシステム600は、環境におけるテキストがコンピュータシステム600の1つ以上のカメラの視野と場所合わせされているように配向される。図6Uは、テキスト部分648の表現(例えば、サッカー選手の名簿)を含むライブプレビュー630を表示するコンピュータシステム600を示す。いくつかの実施形態では、コンピュータシステム600は、テキスト部分648の表現を含む、以前にキャプチャされたメディアの表現を表示し、図6U~図6Wに関連して以下で説明される1つ以上の技法が、テキスト部分648内の単語を選択するために使用される。
図6Uに示すように、テキスト部分648は、名前列648a、ポジション列648b、州列648c、および学年列648dを含む。個別の列は、(例えば、図6A~6Fに関連して以上に説明したような1つ以上の技法を使用して)コンピュータシステム600によって検出されたテキストを含む。図6Uに示すように、コンピュータシステム600は、(例えば、図6A~6Fに関連して以上に説明したような1つ以上の技法を使用して)テキストを含まないライブプレビュー630の部分(例えば、サッカーボール)の視覚プロミネンスを低減しながら、テキスト部分648を強調している。また、コンピュータシステム600がテキスト部分648を検出したため、コンピュータシステム600は、テキスト648を強調するためにテキスト648の周りにボックスを配置する。図6Uに示すように、コンピュータシステム600は、(例えば、テキスト管理コントロール680が太字にされたことが示すように)テキスト管理コントロール680をアクティブで表示し、(例えば、図6Fに関連して以上に説明したように)テキスト管理オプション682を表示する。図6Uにおいて、コンピュータシステム600は、名前列648aのヘッダ「name」からポジション列648bのヘッダ「position」に移動した、名前列648a上のスワイプ入力650uの第1の部分を検出する。
図6Vに示すように、スワイプ入力650uの第1の部分の検出に応じて、コンピュータシステム600は、名前列648a内の全ての単語(「Name」、「Maria」、「Kate」、「Sarah」、および「Ashley」)、およびポジション列648bのヘッダ「position」の周りに選択インジケータ696(例えば、「灰色強調表示」)を表示する。選択インジケータ696は、スワイプ入力650uの場所に基づいて配置される。コンピュータシステム600のスワイプ入力650uの第1の部分がポジション列648bのヘッダ「position」の場所で終わるため、コンピュータシステム600は、ヘッダ「position」までの(例えば、名前列648aの単語を含む)およびヘッダ「position」を含める全ての単語の周りに選択インジケータ696を表示する。いくつかの実施形態では、コンピュータシステム600のスワイプ入力650uの第1の部分がポジション列648bのヘッダ「position」の場所で終わるため、コンピュータシステム600は、ポジション列648bのヘッダ「position」を含まない。入力の終わりがポジション列648b内の単語「DEFENDER」の場所(例えば、ポジション列648bの第3行)で終わるいくつかの実施形態では、コンピュータシステム600は、名前列648aの全ての単語、ポジション列648bのヘッダ「position」(例えば、ポジション列648bの第1行)、およびポジション列648bの第2行の単語「Forward」を含む、単語「DEFENDER」までの全ての単語を強調表示する。
選択インジケータ696の形状は、選択されたテキスト(例えば、選択インジケータ696が囲むテキスト)がコンピュータシステム600と場所合わせされているか否かに依存する。図6Vにおいて、コンピュータシステム600は、選択インジケータ696を、直角である角度を有する多角形(例えば、本明細書では矩形ベースの選択インジケータと呼ばれた、すべての角が直角である形状)として表示する。選択されたテキスト(例えば、選択インジケータ696のテキスト)がコンピュータシステム600と場所合わせされている(例えば、および/またはコンピュータシステム600の1つ以上のカメラの視野と場所合わせされている)との判定が行われたため、選択インジケータ696は、矩形ベースの選択インジケータである(例えば、以下図6X~図6Zに関連して追加の詳細を用いて説明する)。図6Vにおいて、コンピュータシステム600は、ポジション列648bのヘッダ「position」から州列648cのヘッダ「state」に移動した、右向きのスワイプ入力であるスワイプ入力650uの第2の部分を検出する。
図6Wに示すように、コンピュータシステムが名前列648a内の単語を同じ列にあるものとして認識したため、スワイプ入力650uの第2の部分の検出に応じて、コンピュータシステム600は、選択インジケータ696が名前列648aおよびポジション列648b内の単語(例えば、単語の全て)の周りに表示されかつ州列648cのヘッダ「state」の周りにも表示されるように、(例えば、図6U~図6Wに関連して以上に説明したような1つ以上の技法を使用して)選択インジケータ696を右に拡大する。図6Wに示すように、テキスト部分が引き続き1つ以上のカメラの視野と場所合わせされているため、選択インジケータ696は引き続き矩形ベースの選択インジケータである。図6Wにおいて、コンピュータシステム600は、もはや入力スワイプ入力650uを検出しない。しかしながら、コンピュータシステム600は、テキストの一部分の周りに選択インジケータ696を引き続き表示する。
図6X~図6Zは、コンピュータシステム600が配向された(例えば、図6U~図6Vのコンピュータシステム600が個別のテキスト部分に対してどのように配向されたかと異なったように、個別のテキスト部分に対して配向された)ときに、コンピュータシステム600は、環境におけるテキストがコンピュータシステム600の1つ以上のカメラの視野と場所合わせされていないように、選択インジケータを選択されたテキストの周りに表示する、例示的なシナリオを示す。図6Xは、テキスト部分652(例えば、サッカーに関したテキストのパラグラフ)の表現を含むライブプレビュー630を表示するコンピュータシステム600を示す。テキスト部分652は、コンピュータシステム600の1つ以上のカメラの視野によってキャプチャされている、環境における紙の上にある。いくつかの実施形態では、コンピュータシステム600は、テキスト部分648の表現を含む、以前にキャプチャされたメディアの表現を表示し、図6U~図6Wに関連して以下で説明される1つ以上の技法が、テキスト部分648内の単語を選択するために使用される。
図6Xにおいて、テキスト部分652は、1つ以上のカメラの視野と場所合わせされていない。図6Xにおいて、コンピュータシステム600は、コンピュータシステム600がテキスト部分652と平行でなく、および/または環境における軸(z軸)に沿って回転/傾斜されるような場所に配向される(例えば、ユーザは、1つ以上のカメラの視野がテキスト部分652と場所合わせされていないような角度および/または傾きで電話を持っている)。図6Xにおいて、コンピュータシステム600は、テキスト部分652内の単語「while」からテキスト部分652内の最後のピリオド(「.」)まで移動した、斜め方向におけるスワイプ入力650xを検出する。
図6Yに示すように、スワイプ入力650xの検出に応じて、コンピュータシステム600は、テキスト部分652内の単語「while」からテキスト部分652内の最後のピリオドまでのテキスト部分652のサブセットの周りに選択インジケータ696を表示する。図6Yに示すように、選択インジケータ696は、直角でないいくつかの角度を有する多角形(例えば、本明細書では非矩形ベースの選択インジケータと呼ばれた、いくつかの鋭角およびいくつかの鈍角を有する形状)である。非矩形ベースの選択インジケータは、ライブプレビュー630内のテキスト部分652の向きにマッチしているかまたはマッチしているように見える(または実質的にマッチしているかまたは実質的にマッチしているように見える)ために、コンピュータシステムによって描画される(例えば、選択インジケータ696が、テキスト部分642を含む表面上の矩形ベースの選択インジケータであったが、テキスト部分642を含む表面が図6X~図6Zで見られるのと同じ視点から見られるように)。以上に説明したように、テキスト部分652がコンピュータシステム600と場所合わせされていないとの判定が行われたため、(例えば、図6V~図6Uの選択インジケータ696が(例えば、コンピュータシステム600のディスプレイの向きに対して)矩形ベースの選択インジケータであることとは対照的に)図6Yの選択インジケータ696が非矩形ベースのものである。図6Yにおいて、コンピュータシステム600は、テキスト部分652内の単語「while」から単語「synthetic」に移動したスワイプ入力650yを検出する。特に、スワイプ入力650yは、コンピュータシステム600に対して斜め方向に移動しているが、テキスト部分652内の単語の行に沿って移動している。いくつかの実施形態では、選択インジケータ696のエッジがコンピュータシステムの表示領域のエッジに対して斜めに表示されていても、選択インジケータ696のエッジの一部または全部は、コンピュータシステムによって、テキスト部分652内のテキストの行に対して平行または垂直であるとの判定が行われた場所に配置される。いくつかの実施形態では、テキスト部分642を含む表面に対するカメラの角度が変化するにつれて、選択インジケータ696のエッジの角度は表示領域内でシフトして、テキスト部分652内のテキストの行に対して平行または垂直であるとの判定が行われた場所でエッジを維持する。
図6Zに示すように、スワイプ入力650yの検出に応じて、コンピュータシステム600は、選択インジケータ696がテキスト部分652内の単語「synthetic」から最後のピリオドまでのテキスト部分652のサブセットを囲むように(例えば、whileがテキストの一部分に含まれた場合)、スワイプ入力650yの方向において選択インジケータ696を拡大する。選択インジケータ696は、拡大されたとしても、相変わらず非矩形ベース696の選択インジケータとして表示される。また、コンピュータシステム600がもはやスワイプ入力650yを検出しなかった後、選択インジケータ696は引き続きテキストの一部分の周りに表示される。
図7A~図7Lは、いくつかの実施形態に係る、コンピュータシステムを使用してメディア内の視覚コンテンツのための視覚インジケータを管理する例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図9におけるプロセスを含めた後述のプロセスを示すために使用される。
図7Aは、サムネイルメディア表現712およびギャラリー領域702を含むメディアギャラリーユーザインタフェース710を同時に表示するコンピュータシステム600を示す。サムネイルメディア表現712は、サムネイルメディア表現712a~712cを含み、サムネイルメディア表現712a~712cのそれぞれは、異なったメディアアイテム(例えば、時間内に異なったインスタンスでキャプチャされたメディアアイテム)を表す。ギャラリー領域702は、(例えば、選択されたときにコンピュータシステム600に、サムネイルメディア表現712を表示させる)ライブラリコントロール702a、(例えば、選択されたときにコンピュータシステム600に、ユーザプリファレンスに基づいて、メディアアイテムの動的に生成されたサムネイル表現を表示させる)「for you」コントロール702b、(例えば、選択されたときにコンピュータシステム600に、メディアアイテムのコレクションをそれぞれ表すサムネイルアルバム表現を表示させる)アルバムコントロール702c、および(例えば、選択されたときにコンピュータシステム600に、メディアアイテムを検索する1つ以上のコントロールを含む検索ユーザインタフェースを表示させる)検索コントロール702dを含む。図7Aにおいて、(例えば、ライブラリコントロール702aが太字にされたことが示すように)ライブラリコントロール702aが選択されている。図7Aでは、コンピュータシステム600は、サムネイルメディア表現712a上のタップ入力750aを検出する。
図7Bに示すように、タップ入力750aの検出に応じて、コンピュータシステム600は、メディアビューアユーザインタフェース720を表示し、メディアギャラリーユーザインタフェース710の表示を中止する。メディアビューアユーザインタフェース720は、アプリケーションコントロール領域722とアプリケーションコントロール領域726との間に配置されたメディアビューア領域724を含む。メディアビューア領域724は、サムネイルメディア表現712aと同じメディアアイテムを表す拡大した表現724aを含む。メディアビューアユーザインタフェース720には実質的にコントロールが重ね合わせられていない一方、アプリケーションコントロール領域722およびアプリケーションコントロール領域726には実質的にコントロールが重ね合わせられている。
拡大した表現724aは、図6Bに関連して以上に説明したように、テキスト部分642a(例えば、「LOST DOG」)およびテキスト部分642b(例えば、「LOVEABLE」で始まったテキストのパラグラフ)を含むサイン642を含む。テキスト部分642a~642bのテキストは視覚的にプロミネントでなく、テキスト部分642a~642bのテキストは小さくて、コンピュータシステム600を見ているユーザが容易に読むことができない。更に、拡大した表現724aは、木の前に立っている人740を含む。人740は、単語「BRAND」(例えば、テキスト部分742)を含む帽子を被っている。
アプリケーションコントロール領域722は、現在表示されている拡大したメディアの表現(例えば、拡大した表現724a)が撮影された時間(例えば、図7Bの「7:54」)のインジケータと、セルラ信号の状態を示すセルラ信号ステータスインジケータ720aと、コンピュータシステム600の残りのバッテリ寿命の状態を示すバッテリレベルステータスインジケータ720bとを任意選択的に含む。アプリケーションコントロール領域722はまた、(例えば、選択されたときに、コンピュータシステム600に、メディアギャラリーユーザインタフェース710を再表示させる)バックコントロール722aと、(例えば、選択されたときに、コンピュータシステム600に、現在表示されている拡大した表現724aによって表されるメディアアイテムの表現を編集する1つ以上のコントロールを含むメディア編集ユーザインタフェースを表示させる)編集コントロール722bとを含む。
アプリケーションコントロール領域726は、単一の行に表示されたサムネイルメディア表現712(例えば、712a~712c)の一部を含む。拡大した表現724aがメディアビューア領域724に表示されているため、サムネイルメディア表現712aは、選択されたとして表示される。特に、サムネイルメディア表現712aは、他のサムネイル(例えば、712bおよび712c)からのスペースを有するように表示されることによって、図7Bにおいて選択されたとして表示される。また、アプリケーションコントロール領域726は、(例えば、選択されたときにコンピュータシステム600に、拡大したメディア表現によって表されたメディアアイテムを送信するプロセスを開始させる)送信コントロール726bと、(例えば、選択されたときにコンピュータシステム600に、拡大した表現724aによってお気に入りメディアとして表されたメディアアイテムをマーク付け/マーク解除させる)お気に入りコントロール726cと、(例えば、選択されたときにコンピュータシステム600に、拡大した表現724aによって表されたメディアアイテムを削除させる(または削除するプロセスを開始させる))ゴミ箱コントロール726dとを含む。図7Bにおいて、コンピュータシステム600は、メディアビューア領域724上の(例えば、メディアビューア領域724に対応しているコンピュータシステム600のディスプレイ上の場所における、および/またはメディアビューア領域710に対応しているコンピュータシステム600のディスプレイ上の場所に向けられた)ピンチ解除入力750bを検出する。
図7Cに示すように、ピンチ解除入力750bの検出に応じて、コンピュータシステム600は、図7Cの拡大した表現724aの表示が図7Bの拡大した表現724aの表示よりも大きいズームレベルで表示されるように、ズームレベルの変化を反映するために拡大した表現724aを更新する。増加したズームレベルにおいて、図7Cのテキスト部分642a~642bは、図7Bのテキスト部分642a~642bよりも大きくて視覚的にプロミネントである(例えば、より大きい、より読みやすい)。拡大した表示724aを更新することに加えて、コンピュータシステム600はまた、図7Bの拡大した表現724aが、アプリケーションコントロール領域722および726が以前に図7Aにおいて占めたディスプレイの一部分を占めるように、図7Bのメディアビューア領域724を拡大する。
図7Cにおいて、(例えば、図6A~図6Cに関連して以上に説明したような1つ以上の類似の技法を使用して)、図7Cにおけるテキスト部分642aのテキストおよびテキスト部分642bのテキストがプロミネンス基準のセットをそれぞれ満たしていないとの判定が行われた。したがって、コンピュータシステム600は、図7Bのテキスト部分642a~642bに対応している(例えば、テキスト部分642a~642bを囲む)括弧を表示しない。更に、(例えば、図6Bに関連して以上に説明したように)テキスト部分642a~642bのテキストがプロミネンス基準のセットを満たしていないため、コンピュータシステム600は、テキスト管理コントロール680を表示しない。
いくつかの実施形態では、プロミネンス基準のセットは、テキスト部分642a~642bのうちの1つ以上が、拡大した表現724aの所定の量の空間(例えば、10%~100%)を占めたテキストを含むとの判定が行われたときに満たされる基準を含む。いくつかの実施形態では、プロミネンス基準のセットは、部分642a~642bのうちの1つ以上が、拡大した表現724aの所定の場所(例えば、中心場所)内またはその近くに配置されたテキストを含むとの判定が行われたときに満たされる基準を含む。いくつかの実施形態では、(例えば、図6M~6Tに関連して以上に説明したように)プロミネンス基準のセットは、テキスト部分642a~642bのうちの1つ以上が特定のタイプのテキスト(例えば、電子メール、電話番号、住所、QRコードなど)のテキストを含むとの判定が行われたときに満たされる基準を含む。いくつかの実施形態では、プロミネンス基準のセットは、テキスト部分642a~642bのうちの1つ以上が、拡大した表現724aのコンテキストに関連したテキスト(例えば、テキストが関連性閾値を満たしている(例えば、コンピュータシステム600はテキストが90%、95%、99%関連していると判定した))を含むとの判定が行われたときに満たされる基準を含む。
図7Cにおいて、拡大した表現724aの主要な主題がサイン642であるとの判定が行われた。すなわち、拡大した表現724aのコンテキストは、サイン642内に表示されたコンテンツである。図7Cにおいて、テキスト部分742(例えば、「BRAND」)は、人740の帽子の上に現れ、したがって、拡大した表現724aにおいて表示されたもののコンテキストに関連していないため、非関連であるとの更なる判定が行われた。いくつかの実施形態では、テキスト部分742が拡大した表現724aにおける人または人の上の何かに表示されているため、コンピュータシステム600は、テキスト部分742が、拡大した表現724aにおいて表示されたもののコンテキストに関連していないと判定する。
テキスト部分742が非関連であるとの判定が行われたため、テキスト部分742がプロミネンス基準のセットを満たしていないとの判定が行われた。特に、テキスト部分742が、テキスト部分642a~642bよりも大きいテキストを有しても、テキスト部分742はプロミネンス基準のセットを満たしていないとの判定が行われた。図7Cに示すように、(例えば、テキスト部分742が、拡大した表現724aのコンテキストに関連していないとの判定が行われたことに起因して)テキスト部分742がプロミネンス基準のセットを満たしていないため、コンピュータシステム600は、テキスト部分742(「BRAND」)の周りに1つ以上の括弧を表示しない。図7Cにおいて、コンピュータシステム600は、テキスト部分742上でタップ入力750cを検出する。
図7Dに示すように、タップ入力750cの検出に応じて、コンピュータシステム600は、図7Cに示すように、拡大した表現724aの表示を維持する。図7Dにおいて、(例えば、図7Cに関連して以上に説明したように)テキスト部分742がプロミネンス基準のセットを満たしていないとの判定が行われたため、コンピュータシステム600が、拡大した表現724aの表示を更新してテキスト部分742が選択されていることを示さない。また、テキスト管理コントロールが、表示および選択されていないため、(例えば、以上に説明したようにコンピュータシステム600が図6J~図6Lにおけるメディアの表現を更新することとは対照的に)コンピュータシステム600が、拡大した表現724aの表示を更新してテキスト部分742が選択されていることを示さない。また、コンピュータシステム600が、図7Dにおける拡大した表現724aの表示を更新しないため、テキスト部分642a~642bは、プロミネンス基準のセットを引き続き満たしていない。したがって、図7Dに示すように、コンピュータシステム600は、テキスト部分642aまたは642bに対応している括弧を表示しない。図7Dにおいて、コンピュータシステム600は、メディアビューア領域724においてピンチ解除750d入力を検出する。いくつかの実施形態では、ピンチ解除入力750dの代わりに、コンピュータシステム600は、図7Dに示される拡大した表現724aをパン(例えば、平行移動)する要求に対応している指向性スワイプを検出する。
図7Eに示すように、ピンチ解除入力750dの検出に応じて、コンピュータシステム600は、図7Eの拡大した表現724aの表示が、図7Dの拡大した表現724aの表示よりも大きいズームレベルで表示されるように、拡大した表現724aを更新してズームレベルの変化を反映する。図7Eにおいて、テキスト部分642aのテキストがプロミネンス基準のセットを満たしているが、テキスト部分642bのテキストがプロミネンス基準のセットを満たしていないとの判定が行われた。その結果、コンピュータシステム600は、テキスト部分642aの場所に対応している場所(例えば、テキスト部分642aを囲む場所)で括弧736aを表示する。しかしながら、(例えば、テキスト部分642bのテキストがプロミネンス基準のセットを満たしていないため)コンピュータシステム600は、テキスト部分642bの場所に対応している場所で括弧736aまたは任意の他の括弧を表示しない。特に、(例えば、テキスト部分742が関連していないことに起因して)テキスト部分742(例えば、「BRAND」)が、テキスト部分642a~642bよりも大きいテキストを有しても、テキスト部分742はプロミネンス基準のセットを引き続き満たしていないとの判定が行われた。いくつかの実施形態では、コンピュータシステム600がピンチ解除入力750dの代わりに指向性スワイプを検出したときに、コンピュータシステム600は、ピンチ解除入力750dの受信に応じ拡大した表現724aの異なった部分が表示されるように、拡大した表現724aをパンする。
図7Eに示すように、テキスト部分642aのテキストがプロミネンス基準のセットを満たしているとの判定が行われたため、コンピュータシステム600はテキスト管理コントロール680を表示する。テキスト管理コントロール680が選択されていない(例えば、テキスト管理コントロールに向けられた入力が検出されていない)ため、(例えば、テキスト管理コントロール680が太字にされなかったことが示すように)テキスト管理コントロール680が非アクティブ状態で表示される。図7Eにおいて、コンピュータシステム600は、メディアビューア領域724においてピンチ解除入力750eを検出する。
図7Fに示すように、ピンチ解除入力750eの検出に応じて、コンピュータシステム600は、図7Fの拡大した表現724aの表示が図7Eの拡大した表現724aの表示よりも大きいズームレベルで表示されるように、拡大した表現724aの表示を更新してズームレベルの変化を反映する。図7Fにおいて、テキスト部分642aのテキストがプロミネンス基準のセットを満たしており、かつテキスト部分642bのテキストがプロミネンス基準のセットを満たしているとの判定が行われた。したがって、括弧636aは、図6Cに関連して以上に説明したように、両方のテキスト部分642a~642bの全体の周りに表示される。特に、図7Fにおいて、(例えば、テキスト部分742が関連していないことに起因して)テキスト部分742(例えば、「BRAND」)が、テキスト部分642a~642bよりも大きいテキストを有しても、テキスト部分742はプロミネンス基準のセットを引き続き満たしていないとの判定が行われた。図7Fに示すように、コンピュータシステム600は、(例えば、図6Cに関連して以上に説明したような1つ以上の技法を使用して)「123 MAIN STREET」の下にテキストタイプインジケーション638aを表示して住所が検出されていることを示し、かつ「123-4567」の下にテキストタイプインジケーション638bを表示して電話番号が検出されていることを示す。いくつかの実施形態では、コンピュータシステム600は、(例えば、図6A~図6Mに関連して以上に説明したような1つ以上の技法を使用して)、テキスト部分642aの周りの1つの括弧およびテキスト部分642bの周りの別の括弧、および/または括弧の他の組合せを含む複数の括弧を表示する。いくつかの実施形態では(例えば、図7Eを再び参照すると)、コンピュータシステム600は、テキストタイプインジケータが属するテキスト部分がプロミネンス基準のセットを満たしているか否かにかかわらず、テキスト部分の下にテキストタイプインジケータを表示する。図7Fにおいて、コンピュータシステム600は、メディアビューア領域724においてピンチ解除入力750fを検出する。
図7Gに示すように、ピンチ解除入力750fの検出に応じて、コンピュータシステム600は、図7Gの拡大した表現724aの表示が、図7Fの拡大した表現724aの表示よりも大きいズームレベルで表示されるように、拡大した表現724aを更新してズームレベルの変化を反映する。いくつかの実施形態では、図7Gに示すように、拡大した表現724aを表示する入力は、指向性スワイプ入力に対応している。
図7Gに示すように、拡大した表現724aは、テキスト部分642aのサブセットと、テキスト部分642bのサブセットとを含む。テキスト部分642a~642bの全体がもはやプロミネンス基準のセットを満たしていない(例えば、および/または拡大した表現724aがテキスト部分642aおよびテキスト部分642bのサブセットのみを含む)との判定の結果として、コンピュータシステム600は、テキスト部分642aおよびテキスト部分642bの全体の周りに括弧636aの表示を中止する。図7Gにおいて、テキスト部分642bのテキストのサブセット(例えば、電話番号「123-4567」)がプロミネンス基準のセットを満たしている(例えば、一方、テキスト部分642bのテキストの別のサブセットが基準を満たしていない)との判定が行われた。いくつかの実施形態では、コンピュータシステム600によって以前に検出された入力(例えば、図7A~図7Gを見ていると、コンピュータシステム600は、電話番号の近くに引き続きズームインしている)に基づいて、ユーザが電話番号と対話したり電話番号を見たりすることを意図しているとの判定が行われたため、テキスト部分642bのサブセットがプロミネンス基準のセットを満たしているとの判定が行われた。
いくつかの実施形態では、図7Gが、プロミネンス基準のセットを満たしているテキスト部分642aのサブセット(例えば、「DOG」)を含むとの判定が行われた。この判定に応じて、コンピュータシステム600は、括弧736cと同時に、テキスト部分642aのサブセットの周りに括弧のセットを表示する。
図7Gに示すように、コンピュータシステム600は、住所「123 MAIN STREET」の一部分のみを表示する。その結果、コンピュータシステム600は、テキストタイプインジケーション638aの表示を中止する。いくつかの実施形態では、コンピュータシステム600は、図7Gに表示された住所「123 MAIN STREET」の一部分の下にテキストタイプインジケーション638aの表示を維持する。いくつかの実施形態では、住所の他の部分が表示されていないため、コンピュータシステム600は、住所の一部分がプロミネンス基準のセットを満たしていないと判定する。図7Gにおいて、コンピュータシステム600は、メディアビューア領域724において右向きスワイプ750gを検出する。
図7Hに示すように、右向きスワイプ750gの検出に応じて、コンピュータシステム600は、拡大した表現724aを右方向にパンする。図7Gに示されたテキスト部分642a~642bの最も右の部分の表示がコンピュータシステム600によって中止され、かつ図7Hにおいてテキスト部分642a~642bの最も左の部分がコンピュータシステム600によって再表示されるように、拡大した表現724aがパンされる。図7Hに示すように、コンピュータシステム600は、電話番号(例えば、123-4567)の全体を表示せず、括弧736cおよびテキストタイプインジケーション638bの表示を中止する。いくつかの実施形態では、テキストタイプインジケーション638bの一部分は相変わらず、図7Hに引き続き表示された電話番号の一部分(例えば、「12」)の下に表示される。図7Hにおいて、コンピュータシステム600は、図7Hにおいて住所(例えば、123 MAIN STREET)のより多くを表示し、「123 MAIN STREET」の下にテキストタイプインジケーション638aを再表示して、住所が検出されていることをユーザに示す。
図7Hにおいて、(例えば、テキスト部分642bの任意の他のサブセットがプロミネンス基準のセットを満たしていることなく)テキスト部分642bの別のサブセット(例えば、「$1000 REWARD」)がプロミネンス基準のセットを満たしているとの判定が行われた。テキスト部分642bの他のサブセットがプロミネンス基準のセットを満たしているとの判定が行われたため、コンピュータシステム600は、テキスト部分642bの他のサブセット「$1000 REWARD」の周りに括弧736dを表示する。いくつかの実施形態では、拡大した表現724aの表示されたコンテンツのコンテキストに基づいて、テキスト部分642bの他のサブセット(例えば、「$1000 REWARD」)が、表示された最も関連のあるテキストであるとの判定が行われた。いくつかの実施形態では、図7Hが、プロミネンス基準のセットを満たしているテキスト部分642aのサブセット(例えば、「LOST」)を含むとの判定が行われた。いくつかの実施形態では、この判定に応じて、コンピュータシステム600は、括弧736eと同時に、テキスト部分642aのサブセットの周りに個別の組の括弧を表示する。図7Hにおいて、コンピュータシステム600は、テキスト管理コントロール680上のタップ入力750hを検出する。
図7Iに示すように、タップ入力750hの検出に応じて、コンピュータシステム600は、(例えば、選択されたときにコンピュータシステム600に、括弧736dに囲まれたテキストをコピーさせる)コピーオプション682aと、(例えば、選択されたときにコンピュータシステム600に、括弧736dに囲まれた全てのテキストを選択させる)全て選択オプション682bと、(例えば、選択されたときにコンピュータシステムに、検索(例えば、ウェブ検索、辞書検索)を介して、括弧736dに囲まれたテキストを検索させる)検索オプション682cと、(例えば、選択されたときにコンピュータシステム600に、括弧736dに囲まれたテキストを共有するプロセスを開始させる)共有オプション682dとを含む、テキスト管理オプション682を表示する。いくつかの実施形態では、テキスト管理オプション682の様々なコンポーネントは、図6A~6Mに関連して以上に説明したように機能する。いくつかの実施形態では、コンピュータシステム600は、複数のテキスト管理オプションを表示し、個別のテキスト管理オプションは、個別の対の括弧に囲まれたテキストの個別の部分に対応している。いくつかの実施形態では、個別のテキスト管理オプションの選択は、ユーザが個別のテキスト管理オプションに対応しているテキストの一部分を管理することを可能にする。
図7Iに示すように、コンピュータシステム600は、(例えば、テキスト管理コントロール680が太字されたことが示すように)テキスト管理コントロール680を有効化されたものとして表示する。図7Iにおいて、コンピュータシステム600は、テキスト管理コントロール680上のタップ入力750iを検出する。
図7Jに示すように、タップ入力750iの検出に応じて、コンピュータシステム600は、図7Hに関連して以上に説明したような1つ以上の技法を使用して、拡大した表現724aを再表示する。図7Jにおいて、コンピュータシステム600は、メディアビューア領域724内で下向きスワイプ入力750jを検出する。
図7Kに示すように、下向きスワイプ入力750jの検出に応じて、コンピュータシステム600は、テキスト部分642bの表示が中止され、コンピュータシステムがテキスト部分642aのサブセットのみを表示するように、(例えば、スワイプ入力に基づいて)メディアビューア領域724を下向きにパンする。図7Kにおいて、テキスト部分642aのサブセット(例えば、「LOST」)がプロミネンス基準のセットを満たしているとの判定が行われた。テキスト部分642aのサブセットがプロミネンス基準のセットを満たしているため、コンピュータシステム600は、テキスト部分642aのサブセットを囲む括弧736eを表示する。
図7Kにおいて、テキスト部分642bが図7Kにおける拡大した表現724aの一部分として表示されていないため、コンピュータシステム600は括弧736dを表示しない。図7Kにおいて、コンピュータシステム600は、メディアビューア領域724内でピンチ入力750kを検出する。
図7Lに示すように、ピンチ入力750kの検出に応じて、コンピュータシステム600は、図7Lの拡大した表現724aの表示が、図7Kの拡大した表現724aの表示のズームレベルと比較して減少したズームレベルで表示されるように、拡大した表現724aを更新してズームレベルの変化(例えば、ズームレベルの減少)を反映する。図7Lにおいて、テキスト部分642aおよびテキスト部分642bがプロミネンス基準のセットを満たしていないとの判定が行われた。したがって(例えば、テキスト部分642aおよびテキスト部分642bがプロミネンス基準のセットを満たしていないとの判定が行われたため)、コンピュータシステム600は、テキスト管理コントロール680および/またはテキスト部分642a~642bを囲む任意の括弧を表示しない(および/または表示を中止する)。
図7A~図7Lに関連して以上に説明した技法は、以前にキャプチャされたメディアおよびメディアビューアユーザインタフェースの表現を表示するコンピュータシステム600のコンテキストに説明されたが、図6A~図6Zに関連して以上に説明したような1つ以上の技法は、コンピュータシステム600が以前にキャプチャされたメディアおよびメディアビューアユーザインタフェースを表示している間に適用することもできる。また、図7A~図7Lに関連して以上に説明した技法は、図6A~図6Mのライブプレビュー630ようなライブプレビュー(例えば、メディアがキャプチャされる前の1つ以上のカメラの視野の表現)と、カメラユーザインタフェースとを表示するコンピュータシステム600のコンテキストにも適用することができる。
図6A~図6Zに関連して以上に説明した技法は、ライブプレビューとカメラユーザインタフェースとを表示するコンピュータシステム600のコンテキストに説明されたが、図7A~図7Lに関連して以上に説明した1つ以上の技法は、コンピュータシステム600がライブプレビューとカメラユーザインタフェースとを表示している間に適用することもできる。また、図6A~6Zに関連して説明した技術は、拡大したメディアの表現724aのような以前にキャプチャされたメディアと、メディアビューアユーザインタフェースとを表示するコンピュータシステム600のコンテキストにも適用することができる。
図8は、いくつかの実施形態に係る、コンピュータシステムを使用してメディア内の視覚コンテンツを管理する方法を示すフロー図である。方法800は、表示生成コンポーネントと通信しているコンピュータシステム(例えば、100、300、500)において行われる。方法800におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法800は、メディア内の視覚コンテンツを管理する直観的な方式を提供する。本方法は、メディア内の視覚コンテンツを管理するユーザの認知的負担を軽減し、それによって、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合に、ユーザがメディア内の視覚コンテンツをより迅速かつより効率的に管理することを可能にすることによって、電力が節約され、バッテリ充電の間隔を長くする。
方法800は、表示生成コンポーネント(例えば、ディスプレイコントロール、タッチ感知ディスプレイシステム)と通信しているコンピュータシステム(例えば、600)(例えば、スマートフォン、デスクトップコンピュータ、ラップトップ、タブレット)において行われる。いくつかの実施形態では、コンピュータシステムは、1つ以上の入力デバイス(例えば、タッチ感知面)および/または1つ以上のカメラ(例えば、コンピュータシステムの同じ側または異なった側の1つ以上のカメラ(例えば、デュアルカメラ、トリプルカメラ、クアッドカメラなど)(例えば、フロントカメラ、バックカメラ))の第1のカメラと通信している。
コンピュータシステムは、表示生成コンポーネントを介して、カメラユーザインタフェース(例えば、メディアキャプチャユーザインタフェース、メディア閲覧ユーザインタフェース、メディア編集ユーザインタフェース)を表示し(802)、上記のカメラユーザインタフェースは、メディア(例えば、写真メディア、ビデオメディア)の表現(例えば、630)(例えば、ライブメディア;ライブプレビュー(例えば、メディアをキャプチャする要求の検出(例えば、シャッタアフォーダンスの選択の検出)に応じてキャプチャされていない、1つ以上のカメラの視野(例えば、現在の視野)の表現に対応しているメディア);以前にキャプチャされたメディア(例えば、キャプチャされている、1つ以上のカメラの視野(例えば、以前の視野)の表現に対応しているメディア);保存されている、後でユーザがアクセスできるメディアアイテム;メディアのサムネイル表現上(例えば、メディアギャラリー内)でのジェスチャの受信に応じて表示されたメディアの表現)と、メディアキャプチャアフォーダンス(例えば、610)(例えば、ユーザインタフェースオブジェクト)とを同時に表示することを含む。
メディアの表現(例えば、630)と、メディアキャプチャアフォーダンス(例えば、610)(例えば、ユーザインタフェースオブジェクト)とを同時に表示している間に(804)、基準の個別のセットが満たされているとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、(例えば、メディアの表現と同時に)(例えば、ユーザインタフェースにおいて)、(例えば、メディアおよび/または第1のユーザインタフェースオブジェクトの表現と同時に)1つ以上のテキスト管理動作に対応している第1のユーザインタフェースオブジェクト(例えば、680)を表示し(804)、上記の基準の個別のセットは、個別のテキスト(例えば、642a、642b)(例えば、メディアに表された1つ以上の文字)がメディアの表現(例えば、630)において検出されたときに満たされる。いくつかの実施形態では、複数のオプション(例えば、672、682、692)は、個別のテキストをコピーし(例えば、682a)、個別のテキストを選択し(例えば、682b)、個別のテキストを検索し(例えば、682c)、個別のテキストを共有し(例えば、682d)、個別のテキストを翻訳する1つ以上のオプションを含む。
メディアの表現(例えば、630)と、メディアキャプチャアフォーダンス(例えば、610)(例えば、ユーザインタフェースオブジェクト)とを同時に表示している間に(804)、基準の個別のセットが満たされていないとの判定に従って、コンピュータシステムは、第1のユーザインタフェースオブジェクトの表示を見合わせる(808)。
メディアの表現(例えば、630)を表示している間に(例えば、メディアの表現と、メディアキャプチャアフォーダンスと、第1のユーザインタフェースオブジェクトとを同時に表示している間に)、コンピュータシステムは、カメラユーザインタフェース(例えば、602、604、606)に向けられた第1の入力(例えば、650a、650e、650g、650u)(例えば、マウス/トラックパッドクリック/起動、キーボード入力、スクロールホイール入力、ホバージェスチャ、タップジェスチャ、スワイプジェスチャ)を検出する(810)。いくつかの実施形態では、第1の入力は、非タップジェスチャ(例えば、回転ジェスチャおよび/または長押しジェスチャ)である。
カメラユーザインタフェースに向けられた第1の入力(650a、650e、650g、650u)(例えば、第1のジェスチャ)の検出に応じて(812)、かつ第1の入力(例えば、650a)がメディアキャプチャアフォーダンス(例えば、610)(例えば、メディアキャプチャアフォーダンスに向けられたジェスチャ、メディアキャプチャアフォーダンスに対応している場所におけるジェスチャ)の選択に対応しているとの判定に従って、コンピュータシステムは、(例えば、個別のテキストを管理するオプションを表示せずに)コンピュータシステム(例えば、600)に関連付けられたメディアライブラリ(例えば、612)に追加されるメディアのキャプチャを開始する(814)。
カメラユーザインタフェースに向けられた第1の入力(650a、650e、650g、650u)(例えば、第1のジェスチャ)の検出に応じて(812)、かつ第1の入力(例えば、650e、650g、650u)が第1のユーザインタフェースオブジェクト(例えば、680)の選択に対応しているとの判定に従って、コンピュータシステムは、(例えば、コンピュータシステム(例えば、600)に関連付けられたメディアライブラリ(例えば、624)に追加されるメディアのキャプチャを開始せずに)表示生成コンポーネントを介して、個別のテキスト(例えば、672、682、692)を管理する複数のオプションを表示する(816)。いくつかの実施形態では、複数のオプションは、(例えば、メディアの表現に含まれた)個別のテキストに隣接して表示される。いくつかの実施形態では、(例えば、図6Fに関連して以上に説明したように)複数のオプション(例えば、672、682、692)は、個別のテキストをコピーし(例えば、682a)、個別のテキストを選択し(例えば、682b)、個別のテキストを検索し(例えば、682c)、個別のテキストを共有し(例えば、682d)、個別のテキストを翻訳する、1つ以上のオプションを含む。いくつかの実施形態では、(例えば、図6Fに関連して以上に説明したように)第1の入力(例えば、650e、650g、650u)が第1のユーザインタフェースオブジェクト(例えば、680)の選択に対応しているとの判定に従って、第1のユーザインタフェースオブジェクトは(例えば、非アクティブ状態で表示されることからアクティブ状態に遷移された)アクティブ状態にあり、アクティブ状態(例えば、図6Fにおける680)(例えば、太字にされかつ押された状態/外観)で表示された第1のユーザインタフェースオブジェクトは、第1のユーザインタフェースオブジェクトが非アクティブ状態(例えば、図6Gにおける680)(例えば、太字にされずかつ押しが解除された状態/外観)で表示されたときと異なった外観を有する。いくつかの実施形態では、第1の入力(例えば、650a)がメディアキャプチャアフォーダンス(例えば、610)の選択に対応しているとの判定に従って、第1のユーザインタフェースオブジェクト(例えば、680)は、(例えば、非アクティブ状態で表示されることからアクティブ状態に遷移される)非アクティブ状態にある。いくつかの実施形態では、第1の入力(例えば、650e、650g、650u)が第1のユーザインタフェースオブジェクト(例えば、680)の選択に対応しており、かつ第1のユーザインタフェースオブジェクトが非アクティブ状態(例えば、図6Eにおける680)にあるとの判定に従って、コンピュータシステムは、個別のテキストを管理する複数のオプション(例えば、672、682、692)を表示する。いくつかの実施形態では、(例えば、図6Fを参照して以上で説明したように)第1の入力が第1のユーザインタフェースオブジェクト(例えば、680)の選択に対応しており、第1のユーザインタフェースオブジェクトがアクティブ状態(例えば、図6Fにおける680)にあるとの判定に従って、コンピュータシステムは、個別のテキストを管理する複数のオプション(例えば、672、682、692)の表示を見合わせる。いくつかの実施形態では、第1の入力(650a)がメディアキャプチャアフォーダンスの選択に対応しているとの判定に従って、第1のユーザインタフェースオブジェクト(例えば、610)が引き続き表示される。いくつかの実施形態では、第1の入力(例えば、650a)がメディアキャプチャアフォーダンス(例えば、610)の選択または第1のユーザインタフェースオブジェクト(例えば、680)の選択に対応しているとの判定に従って、1つ以上のインタフェースオブジェクト(例えば、メディアキャプチャアフォーダンス(例えば、610)、カメラ設定アフォーダンス(複数可)、カメラモードアフォーダンス(複数可)(例えば、620))が、カメラユーザインタフェースにおいて表示されなくなるか、または(例えば、暗くなった)(例えば、個別のオブジェクトに対するユーザ入力に応じない)非アクティブとして表示される。第1の入力が第1のユーザインタフェースオブジェクトの選択に対応しているとの判定に従って個別のテキストを管理する複数のオプションを表示することは、ユーザは追加のユーザインタフェースオブジェクトでユーザインタフェースを混乱させずに個別のテキストを迅速かつ効率的に管理できる。追加の表示されたコントロールでUIを混乱させずにシステムの追加のコントロールを提供することは、(例えば、システムを操作した/システムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)システムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用量を低減し、バッテリ寿命を改善するする。(例えば、第1の入力が第1のユーザインタフェースオブジェクトの選択に対応しているか否かに基づいて)ある所定の条件が満たされたときに個別のテキストを管理する複数のオプションを表示することによって、個別のテキストを管理する異なった方法のための様々なオプションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第1の入力(例えば、650e、650g、650u)は、第1のユーザインタフェースオブジェクト(例えば、672、682、692)に向けられたタップジェスチャ(例えば、タップジェスチャ)(例えば、第1のユーザインタフェースオブジェクトに対応している場所におけるジェスチャ)である。
いくつかの実施形態では、(例えば、メディアの表現が表示されたときに個別のテキストが表示される場合に)メディアの表現(例えば、630)は、個別のテキストを含む。いくつかの実施形態では、第1の入力(例えば、650e、650g、650u)を検出した後(およびテキストが選択されているとのインジケーションを表示していない間、 および/または第1のユーザインタフェースオブジェクトの選択に対応している入力/ジェスチャを検出した後、および/または第1のユーザインタフェースオブジェクトがアクティブ状態にあるものとして表示されている間、および/または個別のテキストを管理する複数のオプションを表示している間)に、コンピュータシステムは、カメラユーザインタフェースに向けられた第2の入力(例えば、650j)(例えば、タップジェスチャおよび/またはスワイプジェスチャ)を検出する。いくつかの実施形態では、第2の入力は、非タップジェスチャ(例えば、回転ジェスチャおよび/または長押しジェスチャ)である。いくつかの実施形態では、第1の入力は、非スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、カメラユーザインタフェースに向けられた第2の入力(例えば、650j)の検出に応じて、かつ第2の入力が個別のテキストの第1の1つ以上の部分の選択に対応しているとの判定に従って、コンピュータシステムは、個別のテキスト(例えば、642a、642b)の第1の1つ以上の部分(例えば、642b)が選択されているとのインジケーション(例えば、図6Kにおける642b)を表示する。いくつかの実施形態では、インジケーションは、個別のテキストの周りで表示される。いくつかの実施形態では、個別のテキストの1つ以上の部分が選択されているとのインジケーションを表示することの一部分として、コンピュータシステムは、個別のテキストの1つ以上の部分を強調する(例えば、強調表示する、下線を引く、太字にする、サイズを大きくする)。いくつかの実施形態では、個別のテキストの第1の部分が選択されているとのインジケーションを表示している間、コンピュータシステムは、個別のテキストの(例えば、第1の部分と異なった)第2の部分が選択されているとのインジケーションを表示しない。いくつかの実施形態では、第2の入力(650j)が個別のテキストの1つ以上の部分(例えば、642a)の選択に対応しているとの判定に従って、かつ第1のユーザインタフェース(例えば、680)オブジェクトがアクティブ状態(例えば、図6Fに関連して以上に説明したような680)にあるものとして表示されている間に、コンピュータシステムは、(例えば、図6Kおよび図6Lに関連して以上に説明したように)個別のテキストの第1の1つ以上の部分(例えば、642a)が選択されているとのインジケーションを表示する。いくつかの実施形態では、第2の入力(例えば、650j)が個別のテキストの1つ以上の部分(例えば、642)の選択に対応しているとの判定に従って、かつ第1のユーザインタフェースオブジェクト(例えば、680)が、(例えば、図6Gに関連して以上に説明したように)非アクティブ状態にあるものとして表示されている間、および/または(例えば、図7C、7Gに関連して以上に説明したように)表示されていない間に、コンピュータシステムは、個別のテキストの第1の1つ以上の部分(例えば、642a)が選択されているとのインジケーションを表示しない(例えば、表示を見合わせる)(例えば、図7C~7Gに関して上記で議論されたように)。個別のテキストの第1の1つ以上の部分が選択されているとのインジケーションを表示することによって、テキストが選択されているか否か、およびどのテキストが現在選択されているかに関する視覚フィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。第2の入力の検出に応じて、かつ第2の入力が個別のテキストの第1の1つ以上の部分の選択に対応しているとの判定に従って、個別のテキストの第1の1つ以上の部分が選択されているとのインジケーションを表示することによって、追加のユーザインタフェースオブジェクトでユーザインタフェースを混乱させずにテキストを選択する追加のコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにシステムの追加のコントロールを提供することは、(例えば、システムを操作した/システムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)システムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用量を低減し、バッテリ寿命を改善するする。
いくつかの実施形態では、第2の入力(例えば、650j)(例えば、第2のジェスチャ)は、(例えば、個別のテキストの1つ以上の部分に向けられた)タップジェスチャ または(例えば、個別のテキストの1つ以上の部分に向けられた)スワイプジェスチャである。いくつかの実施形態では、第1の入力は第1のタイプの入力であり、第2の入力は第1のタイプの入力と異なった第2のタイプの入力である。
いくつかの実施形態では、カメラユーザインタフェースに向けられた第1の入力(例えば、650e、650g、650u)の検出に応じて、かつ第1の入力(例えば、650e、650g、650u)が第1のユーザインタフェースオブジェクト(例えば、680)の選択に対応しているとの判定に従って、コンピュータシステムは、メディアの表現(例えば、630)に含まれたテキストを選択すること(例えば、どのように選択するか)に関する(例えば、第1の入力が検出される前に以前に表示されなかった)インジケーション(例えば、684)(例えば、命令)(例えば、コンピュータシステムにテキストを選択されたものとして表示させる1つ以上の入力を示す命令)を表示する。いくつかの実施形態では、カメラユーザインタフェースに向けられた第1の入力の検出に応じて、かつ第1の入力がメディアキャプチャアフォーダンスの選択に対応しているとの判定に従って、コンピュータシステムは、メディアの表現に含まれたテキストを選択すること(例えば、どのように選択するか)に関するインジケーションを表示しない。いくつかの実施形態では、メディアの表現に含まれたテキストを選択すること(例えば、どのように選択するか)に関するインジケーション(例えば、684)は、個別のテキスト(例えば、642b)を管理する複数のオプション(例えば、682a、682b、682c、682d)と同時に表示される。いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、680)がアクティブ状態(例えば、図6Fに関連して以上に説明したような680)で表示されたときに、テキストの選択に関するインジケーション(例えば、684)が表示され、かつ第1のユーザインタフェースオブジェクトが非アクティブ状態(例えば、図6Gに関連して以上に説明した680)で表示されたときに、テキストの選択に関するインジケーション(例えば、684)が表示されない。メディアの表現に含まれたテキストをどのように選択するかに関するインジケーションを表示することによって、選択したいテキストを選択するのに必要なステップに関する視覚フィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、第1の入力(例えば、650e、650g、650u)を検出する前に、メディアの表現(例えば、630)が第1の外観(例えば、図6Eにおける630)(例えば、第1のぼかし値(blur value)、第1の調光値(dim value))で表示される。いくつかの実施形態では、カメラユーザインタフェースに向けられた第1の入力(例えば、650e、650g、650u)の検出に応じて、かつ第1の入力(例えば、650e、650g、650u)が第1のユーザインタフェースオブジェクト(例えば、680)の選択に対応しているとの判定に従って、コンピュータシステムは、(例えば、(例えば、第2の入力の検出に応じて)テキストが選択されている間に)メディアの表現(例えば、630)を、第1の外観(例えば、図6Eにおける630)と異なった第2の外観(例えば、図6Fにおける630)(例えば、第2のぼかし値、第2の調光値)で表示する。いくつかの実施形態では、メディアの表現を第1の外観と異なった第2の外観で表示することの一部分として、コンピュータシステムは、メディアの表現の少なくとも一部分をぼかすおよび/または暗くする。いくつかの実施形態では、カメラユーザインタフェースに向けられた第1の入力の検出に応じて、かつ第1の入力がメディアキャプチャアフォーダンスの選択に対応しているとの判定に従って、コンピュータシステムは、メディアの表現を第2の外観と異なった第3の外観で表示する。いくつかの実施形態では、第3の外観は、第1の外観である。いくつかの実施形態では、第3の外観(例えば、黒色、無地)は、第1の外観(例えば、1つ以上のカメラの視野のぼかしバージョン)と異なっている。いくつかの実施形態では、第3の外観を有するメディアの表現は、第1のユーザインタフェースオブジェクトがアクティブ状態で表示されるか否かに基づいていない所定の期間(例えば、1秒未満)にわたって表示される。いくつかの実施形態では、第2の外観を有するメディアの表現は、第1のユーザインタフェースオブジェクトがアクティブ状態で表示されたときに表示され、第1のユーザインタフェースオブジェクトが非アクティブ状態で表示されたときに表示されない。いくつかの実施形態では、第1の外観を有するメディアの表現は、第1のユーザインタフェースオブジェクトがアクティブ状態で表示されたときには表示されず、第1のユーザインタフェースオブジェクトが非アクティブ状態で表示されたときに表示される。第1の入力の検出に応じて、表現の第1の外観と異なった第2の外観を有するメディアの表現を表示することは、メディアの表現のあまり関連していない部分を強調解除することによって、テキストがユーザによって選択されているか否かに関する視覚フィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、(例えば、メディアの表現が表示されたときに個別のテキストが表示される場合に)メディアの表現(例えば、630)は、個別のテキスト(例えば、642a、642b)を含む。いくつかの実施形態では、基準の個別のセットが満たされているとの判定に従って、コンピュータシステムは、個別のテキスト(例えば、642a、642b)の第2の1つ以上の部分を強調する(例えば、強調表示する、オブジェクト(例えば、形状、周りの括弧(例えば、黄色の括弧))を表示する、下線を引く、拡大する)。いくつかの実施形態では、基準の個別のセットが満たされているとの判定に従って、コンピュータシステムは、個別のテキストの別の部分および/または個別のテキストの第2の1つ以上の部分を含まないメディアの表現の別の部分を強調せずに、個別のテキストの第2の1つ以上の部分を強調する。個別のテキストの第2の1つ以上の部分を強調することによって、メディアに含まれた個別のテキストの特定の部分が基準の個別のセットを満たしているか否かに関する、改善された視覚フィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、個別のテキストの第2の1つ以上の部分を強調することの一部分として、コンピュータシステムは、個別のテキストが検出されているとのインジケーション(例えば、636a、636b、736c、736d)を表示する。いくつかの実施形態では、個別のテキストの第2の1つ以上の部分(例えば、642a、642b)が強調されている間に、コンピュータシステムは、メディア(例えば、メディアの表現によって表されるメディアと同じまたは異なったメディア)の第2の表現(例えば、図6Fにおける630)を表示する要求を受信する。いくつかの実施形態では、メディアの第2の表現を表示する要求は、コンピュータシステムと通信している1つ以上のカメラの視野の1つ以上の変化が検出されたときに検出される。いくつかの実施形態では、メディアの第2の表現を表示する要求は、メディアの表現をズームアウト/ズームインするおよび/またはメディアの表現をパンする要求が検出されたときに検出される。いくつかの実施形態では、メディアの第2の表現を表示する要求は、コンピュータシステムが移動されたときに検出される。
いくつかの実施形態では、(例えば、個別のテキストの一部分および/または個別のテキストと異なった第2の個別のテキストを含む)メディアの第2の表現(例えば、図6Fにおける630)を表示する要求の受信に応じて、コンピュータシステムは、個別のテキストが検出されているとのインジケーション(例えば、636a、636b、736c、736d)を、カメラユーザインタフェース内の第1のポジションからカメラユーザインタフェース内の第2のポジションに平行移動させる(例えば、移動させる)。いくつかの実施形態では、メディアの第2の表現を表示する要求の受信に応じて、個別のテキストが選択されているとのインジケーションは、メディアの第2の表現を表示する要求が受信される前に囲んだテキストの部分と異なったテキストの部分を囲むように修正される。メディアの第2の表現を表示する要求の受信に応じて、個別のテキストが検出されているとのインジケーションをカメラユーザインタフェース内の第1のポジションからカメラユーザインタフェース内の第2のポジションに平行移動させることによって、ユーザは、システムが第1のポジションと第2のポジションとの間で移動している間に、インジケーションの閲覧を維持できる。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第1の入力(例えば、650e、650g、650u)を検出した後、かつ第1の入力(例えば、650e、650g、650u)が第1のユーザインタフェースオブジェクト(例えば、680)の選択に対応しているとの判定(第1の判定)に従って、(および/または第1のユーザインタフェースオブジェクトがアクティブ状態にあるものとして表示されている間、および/または個別のテキストを管理する複数のオプションを表示している間に)、メディアの表現(例えば、630)は、個別のテキスト(例えば、642a、642b)と、個別のテキスト(例えば、642a、642b)の第3の1つ以上の部分が選択されているとのインジケーションとを含む。いくつかの実施形態では、コンピュータシステムは、メディア(例えば、メディアの表現によって表されるメディアと同じまたは異なったメディア)の第3の表現(例えば、630)を表示する要求を受信する。いくつかの実施形態では、メディアの第3の表現を表示する要求は、コンピュータシステムと通信している1つ以上のカメラの視野の1つ以上の変化が検出されたときに検出される。いくつかの実施形態では、メディアの第3の表現を表示する要求は、メディアの表現をズームアウト/ズームインおよび/またはメディアの表現をパンする要求が検出されたときに検出される。いくつかの実施形態では、メディアの第3の表現を表示する要求は、コンピュータシステムが移動されたときに検出される。いくつかの実施形態では、メディアの第3の表現(例えば、630)を表示する要求(例えば、650c、650d、750e、750f、750g)の受信に応じて、コンピュータシステムは、メディアの第3の表現(例えば、630)に含まれたテキストの少なくとも一部分が選択されているとのインジケーションであって、メディアの第3の表現に含まれたテキスト(例えば、642a、642b)の少なくとも一部分が選択されているとのインジケーション(例えば、636a、636b、736c、736d)は、個別のテキスト(例えば、642a、642b)の第3の1つ以上の部分が選択されているとのインジケーションと異なっている、インジケーションを表示する。いくつかの実施形態では、メディアの第3の表現に含まれたテキストの一部分は、テキストの第3の1つ以上の部分内のテキストの少なくとも一部分を含む。第3の表現を表示する要求の受信に応じて、メディアの第3の表現に含まれたテキストの少なくとも一部分が選択されているとのインジケーションを表示することによって、ユーザインタフェースを混乱させずにテキストのどの部分が選択されているかをコントロールする追加の効率的な方法をユーザに提供する。動作を実行するのに必要な入力の数を低減することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、第1の入力(例えば、650e、650g、650u)を検出した後、かつ第1の入力が第1のユーザインタフェースオブジェクトの選択に対応しているとの判定(例えば、第1の判定)に従って、(および/または第1のユーザインタフェースオブジェクトがアクティブ状態にあるものとして表示されている間、および/または個別のテキストを管理する複数のオプションを表示している間に)、メディアの表現(例えば、630)は、個別のテキスト(例えば、642b)と、個別のテキスト(例えば、642b)の第4の1つ以上の部分が選択されており、個別のテキスト(例えば、642b)の第4の1つ以上の部分がカメラユーザインタフェース内(および/またはディスプレイ上)の第3のポジションで表示されるとのインジケーションと、を含む。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムと通信している1つ以上のカメラの視野内にある物理的環境の変化を検出する。いくつかの実施形態では、1つ以上のカメラの視野内にある物理的環境の変化(例えば、660a、660b)の検出に応じて、コンピュータシステムは、カメラユーザインタフェース内(および/またはディスプレイ上)の第3のポジションで個別のテキスト(例えば、642b)の第4の1つ以上の部分を引き続き表示する。いくつかの実施形態では、選択されたテキストは凍結される。いくつかの実施形態では、個別のテキストの第4の1つ以上の部分の表示を維持しながら、メディアの第4の表現の少なくとも一部分が表示される(例えば、物理的環境の変化の検出に応じ新たに表示される)。いくつかの実施形態では、コンピュータシステムは、メディア(例えば、ライブプレビュー)の表現を更新して物理的環境の変化を反映しながら、選択されたテキストを凍結する(例えば、および/または選択されたテキストを同じ場所および/または同じサイズで表示する)。個別のテキストの第4の1つ以上の部分をカメラユーザインタフェース内の第3のポジションで引き続き表示することによって、ユーザは、システムが第1の点と第2の点との間で移動している間に、ユーザによって選択されたテキストの閲覧を維持できる。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行することは、(例えば、システムを操作した/システムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)システムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、カメラユーザインタフェースに向けられた第1の入力(例えば、650e、650g、650u)を検出する前に、コンピュータシステム(例えば、600)は、1つ以上のカメラと通信しており、メディアの表現(例えば、630)は、1つ以上のカメラの視野内の物理的環境(例えば、物理的空間)における1つ以上のオブジェクトの表現(例えば、630)(例えば、ライブカメラプレビュー)である。いくつかの実施形態では、メディアの第4の表現(例えば、カメラの更新された視野の表現)を表示する要求を受信することは、カメラの視野の変化を検出することを含む。いくつかの実施形態では、メディアの第4の表現は、カメラの視野の変化を含む。いくつかの実施形態では、視野内の1つ以上のオブジェクト(例えば、非テキストオブジェクト)が移動しているとき、メディアの表現は更新されて、1つ以上のオブジェクトが移動していることを示す。いくつかの実施形態ではメディアの表現は、カメラの視野のライブ表現である。1つ以上のカメラの視野内の物理的空間における1つ以上のオブジェクトの表現(例えば、ライブカメラプレビュー)であるメディアの表現を表示することによって、コンピュータシステムに対するより大きなコントロール(例えば、システムのカメラの視野の変更)をユーザに提供して、物理的空間における1つ以上のオブジェクトがユーザインタフェースを混乱させずにキャプチャされ得るか否かを判定する。追加の表示されたコントロールでUIを混乱させずにシステムの追加のコントロールを提供することは、(例えば、システムを操作した/システムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)システムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用量を低減し、バッテリ寿命を改善するする。
いくつかの実施形態では、メディアの表現(例えば、630)は、メディアの第1の表現である。いくつかの実施形態では、第1のユーザインタフェースオブジェクトを表示している間に、コンピュータシステムは、メディア(例えば、メディアの第1の表現によって表されるメディアと同じまたは異なるメディア)の第5の表現(例えば、630)を表示する要求(例えば、750k)を検出する。いくつかの実施形態では、メディアの第5の表現を表示する要求は、コンピュータシステムと通信している1つ以上のカメラの視野の1つ以上の変化が検出されたときに検出される。いくつかの実施形態では、メディアの第5の表現を表示する要求は、メディアの表現をズームアウト/ズームインおよび/またはメディアの表現をパンする要求が検出されたときに検出される。いくつかの実施形態では、メディアの第5の表現を表示する要求は、コンピュータシステムが移動されたときに検出される。いくつかの実施形態では、メディアの第5の表現を表示する要求(例えば、750k)の検出に応じて、かつ基準の個別のセットが満たされていない(例えば、メディアの第5の表現において個別のテキストが検出されていない、または個別のテキストが検出されているが十分にプロミネントではない)との判定に従って、コンピュータシステムは、第1のユーザインタフェースオブジェクト(例えば、680)の表示を中止する。いくつかの実施形態では、メディアの第5の表現を表示する要求の検出に応じて、かつ個別のテキストがメディアの第5の表現内で検出されているとの判定に従って、コンピュータシステムは、第1のユーザインタフェースオブジェクトを引き続き表示する。所定の条件が満たされているとき(例えば、メディアの第5の表現を表示する要求の検出に応じて、かつ基準の個別のセットが満たされていないとの判定に従い)第1のユーザインタフェースオブジェクトの表示を中止することによって、メディアの表現がコンピュータシステムによって検出されたテキストを含まないか否かとのインジケーションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、(例えば、メディアの表現のコンテキスト(例えば、メディアの表現のコンテキストが画像のコンテキストに基づいて重要/関連していること)に基づいて;個別のテキストが、表示されたメディアの表現上の特定の場所(例えば、中央)にあるとき、表示されたメディアの表現上で、ある量の空間を占めることに基づいて;個別のテキストが特定のタイプのテキスト(例えば、電子メール、電話番号、QRコード、統一のアクセスコード場所など)に属していることに基づいて)それぞれの基準は、個別のテキストが所定のプロミネンス基準を満たしている(例えば、テキストは、テキストが重要および/または関連していることを示すサイズまたはメディアの表現内の場所にある)との判定が行われた(図7C、図7E~図7Jおよび図9に関連して以下に説明されるような1つ以上の技法に基づいて関連があると判断された)(例えば、個別のテキストがサイン上にあるときに第1のユーザインタフェースオブジェクトを示し、検出されたものが衣服上にあるときに第1のユーザオブジェクトを示さない)ときに満たされる基準を含む。
いくつかの実施形態では、メディアの表現(例えば、630)を表示している間(および、いくつかの実施形態では、第1のユーザインタフェースオブジェクトの選択に対応している入力を検出した後、および/または第1のユーザインタフェースオブジェクトが、アクティブ状態にあるものとして表示されている間、および/または個別のテキストを管理する複数のオプションを表示している間に)、かつ、個別のテキスト(例えば、642a~642b)が、個別のタイプのテキスト(例えば、電話番号、電子メール)であるとの判定が行われたテキストの一部分を含むとの判定に従い(例えば、異なったタイプのテキストに対応している1つ以上の正規表現パターンに基づいて)、コンピュータシステムは、個別のタイプのテキストが検出されているとのインジケーション(例えば、638a~638b)(例えば、データ検出器のインジケーション)を表示する。いくつかの実施形態では、個別のタイプのテキストが検出されているとのインジケーションを表示することの一部分として、コンピュータシステムは、テキストの一部分を強調する(例えば、強調表示する、下線を引く、括弧を付ける)。いくつかの実施形態では、個別のタイプのテキストが検出されているとのインジケーションは、個別のタイプのテキストに属しているテキストの一部分に隣接して、テキストの一部分の周りなどで、表示される。いくつかの実施形態では、個別のテキストが、個別のタイプのテキスト(例えば、電話番号、電子メール)に属しているテキストの一部分を含まないとの判定に従って、コンピュータシステムは、個別のタイプのテキストが検出されているとのインジケーションを表示しない(例えば、表示を見合わせる)。個別のタイプのテキストがメディアの表現内で検出されているとのインジケーションを表示することによって、メディアの表現があるタイプのテキストを含むか否かに関する視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、個別のテキスト(例えば、680)を管理する複数のオプションを表示している間に、コンピュータシステムは、個別のテキストを含まないカメラユーザインタフェースの一部分(例えば、メディアの表現の暗くされたまたはぼかされた一部分(例えば、テキストを含まないメディアの表現の一部分)(および/またはカメラユーザインタフェースの暗くされた一部分))に向けられた第3の入力(例えば、650h)(例えば、タップ入力)を受信する。いくつかの実施形態では、第3の入力(例えば、650h)の受信に応じて、コンピュータシステムは、個別のテキスト(例えば、680)を管理する複数のオプションの表示を中止する。いくつかの実施形態では、第3の入力の受信に応じて、1つ以上のインタフェースオブジェクト(例えば、メディアキャプチャアフォーダンス、カメラ設定アフォーダンス(複数可)、カメラモードアフォーダンス(複数可))が、(例えば、個別のブジェクト上のユーザ入力に応じて)カメラユーザインタフェース内で表示され(例えば、再表示され)、および/またはアクティブなものとして表示される(例えば、暗くされていない)。カメラユーザインタフェースの一部分に向けられた入力の受信に応じて、個別のテキストを管理する複数のオプションの表示を中止することによって、ユーザインタフェースを追加のユーザインタフェースオブジェクトで混乱させずに、システムに対するより多くのコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにシステムの追加のコントロールを提供することは、(例えば、システムを操作した/システムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)システムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、メディアの表現(例えば、630)とメディアキャプチャアフォーダンス(例えば、610)とを同時に表示している間に(例えば、第1のユーザインタフェースオブジェクトを表示する前に)、メディアの表現(例えば、630)が第1の機械可読コード(例えば、線形バーコード、マトリックスバーコード、またはQRコード)を含むとの判定に従って、コンピュータシステムは、第1のユーザインタフェースオブジェクト(例えば、680)を表示し、第1の機械可読コードに対応しているユニフォームリソースロケータの表現(例えば、668)を表示する。第1のユーザインタフェースオブジェクトを表示し、かつユニフォームリソースロケーションの表現を表示することは、ユーザがリソースにナビゲートする入力を提供する前に、QRコードに対応しているリソースの場所を通知することによって、安全性を改善する。改善された安全性を提供することによって、ユーザインタフェースをより安全にし、安全な動作の許可されていない実行を低減し、加えて、ユーザがコンピュータシステムをより安全かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。(例えば、メディアの表現が機械可読コードを含むとの判定に従い)ある所定の条件が満たされたときに、第1のユーザインタフェースオブジェクトを表示し、ユニフォームリソースロケーションの表現を表示することは、ユーザが機械可読コードを選択する前に機械可読コードに関連付けられたリソースをユーザに通知し、第1の機械可読コードに対応しているユニフォームリソースロケータをユーザに提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、メディアの表現(例えば、630)が第2の機械可読コードを含んでいる間(および機械可読コードが選択されている間に)、第1の入力(例えば、650u)が第1のユーザインタフェースオブジェクトの選択に対応しているとの判定に従って、個別のテキストを管理する複数のオプション(例えば、672)は、第2の機械可読コードに対応している情報(例えば、ユニフォームリソースロケーション)を管理する1つ以上のオプションを含む。いくつかの実施形態では、メディアの表現が機械可読コードを含んでいない間(および/または機械可読コードが選択されていない間に)第1の入力が第1のユーザインタフェースオブジェクトの選択に対応しているとの判定に従って、個別のテキストを管理する複数のオプションは、情報を管理する1つ以上のオプションを含まない。いくつかの実施形態では、機械可読コードが選択されたときに表示される個別のテキストを管理する複数のオプションのうちの1つ以上は、機械可読コードを含まないテキストが選択されたときに表示される個別のテキストを管理する1つ以上のオプションと異なっている。第1の入力が第1のユーザインタフェースの選択に対応しているとの判定に従って、機械可読コードに対応している情報を管理する1つ以上のオプションを複数のオプションに含めることによって、ユーザインタフェースを混乱させずに、より多くのコントロールオプション(例えば、追加のテキスト管理オプション)をユーザに提供する。追加の表示されたコントロールでUIを混乱させずにシステムの追加のコントロールを提供することは、(例えば、システムを操作した/システムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)システムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用量を低減し、バッテリ寿命を改善するする。
いくつかの実施形態では、カメラユーザインタフェースは、1つ以上のカメラの設定を変更する選択可能な複数のカメラ設定アフォーダンス(例えば、620a~620e)(例えば、フラッシュアフォーダンス、タイマアフォーダンス、フィルタ効果アフォーダンス、fストップアフォーダンス、アスペクト比アフォーダンス、ライブ写真アフォーダンスなど)(例えば、個別のカメラ設定にアクセスする複数のユーザインタフェースオブジェクト)を含む。いくつかの実施形態では、カメラユーザインタフェースは、複数のカメラモードアフォーダンス(例えば、620)(例えば、個別のカメラモードを設定する複数のユーザインタフェースオブジェクト)を含む。いくつかの実施形態では、複数のカメラ設定アフォーダンス(例えば、602a、602b)は、メディアキャプチャアフォーダンス(例えば、610)および/または複数のカメラモードアフォーダンス(例えば、620)と同時に表示される。いくつかの実施形態では、各カメラモード(例えば、ビデオ(例えば、620b)、写真(例えば、620c)、ポートレート(例えば、620d)、スローモーション(例えば、620a)、およびパノラマ(例えば、620e)のモード)(例えば、620)は、カメラ(例えば、カメラセンサ)がメディアをキャプチャするように動作している(キャプチャ後に自動的に実行される後処理を含む)モード(例えば、ポートレートモード)の複数の値(例えば、各設定の光のレベル)を備える複数の設定(例えば、ポートレートカメラモードの場合:スタジオ照明設定、輪郭照明設定、および舞台照明設定)を有する。このようにして、例えば、カメラモードは、メディアをキャプチャしたときにカメラがどのように動作するかに影響を及ぼさない、または複数の設定を含まないモード(例えば、複数の値(例えば、非アクティブ、アクティブ、自動)を備える1つの設定を有するフラッシュモード)と異なっている。いくつかの実施形態では、カメラモードは、ユーザが異なったタイプのメディア(例えば、写真またはビデオ)をキャプチャすることを可能にし、かつ(例えば、後処理を介して)各モードの設定を最適化して、特定のフィーチャ(例えば、形状(例えば、正方形、矩形)、速さ(例えば、スローモーション、時間経過)、オーディオ、ビデオ)を有する特定のモードに対応している特定のタイプのメディアをキャプチャすることができる。例えば、コンピュータシステムが静止写真モードで動作するように構成される場合、コンピュータシステムの1つ以上のカメラは、有効化されたときに、特定の設定(例えば、フラッシュ設定、1つ以上のフィルタ設定)を有する第1のタイプのメディア(例えば、矩形の写真)をキャプチャする。コンピュータシステムが正方形モードで動作するように構成される場合、コンピュータシステムの1つ以上のカメラは、有効化されたときに、特定の設定(例えば、フラッシュ設定および1つ以上のフィルタ)を有する第2のタイプのメディア(例えば、正方形の写真)をキャプチャする。コンピュータシステムがスローモーションモードで動作するように構成される場合、コンピュータシステムの1つ以上のカメラは、有効化されたときに、特定の設定(例えば、フラッシュ設定、一秒当たりのフレームキャプチャ速度)を有する第3のタイプのメディア(例えば、スローモーションビデオ)をキャプチャする。コンピュータシステムがポートレートモードで動作するように構成される場合、コンピュータシステムの1つ以上のカメラは、特定の設定(例えば、特定のタイプの光(例えば、舞台光、スタジオ光、輪郭光)の量、f値、ぼかし)を有する第5のタイプのメディア(例えば、ポートレート写真(例えば、ぼかしをかけた背景を有する写真))をキャプチャする。コンピュータシステムがパノラマモードで動作するように構成される場合、コンピュータシステムの1つ以上のカメラは、特定の設定(例えば、ズーム、移動しながらキャプチャする視野の量)を有する第4のタイプのメディア(例えば、パノラマ写真(例えば、広い写真))をキャプチャする。いくつかの実施形態では、モード間の切り替えの場合、視野の表現の表示が変化して、モードによってキャプチャされるメディアのタイプに対応する(例えば、コンピュータシステムが静止写真モードで動作している間に、この表現は矩形であり、コンピュータシステムが正方形モードで動作している間に、この表現は正方形である)。1つ以上のカメラの設定を変更する選択可能な複数のカメラ設定アフォーダンスを含むカメラユーザインタフェースを表示することによって、様々な異なったユーザインタフェースにナビゲートする必要なく複数のカメラ設定を調整する能力をユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、カメラユーザインタフェースは、(例えば、図6Aおよび図7Aに関連して以上に説明したように)選択されたときに、メディアの1つ以上の以前にキャプチャされた表現(例えば、712)を表示させるアフォーダンス(例えば、612)を含む。いくつかの実施形態では、アフォーダンスは、以前にキャプチャされたメディアの表現を含む。いくつかの実施形態では、(例えば、図6Aおよび図7Aに関連して以上に説明したように)アフォーダンス(例えば、612)の選択の検出に応じて、コンピュータシステムに関連付けられたメディアライブラリ内にあるメディアの表現(例えば、712)を表示する。カメラユーザインタフェース上でアフォーダンスを含むカメラユーザインタフェースを表示することによって、以前にキャプチャされたメディアアイテムへの迅速なアクセスをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、個別のテキストは、(例えば、個別のテキスト内で検出された)電話番号を含み、かつ電話番号に向けられた入力の検出に応じて、コンピュータシステムは、電話番号への電話呼び出しを開始する。いくつかの実施形態では、個別のテキストは、電子メールアドレスを含む。いくつかの実施形態では、電子メールアドレスに向けられた入力の検出に応じて、コンピュータシステムは、電子メールアドレスを含む(例えば、「to」フィールドに電子メールアドレスを含む)電子メールアプリケーションを起動させ(例えば、または開き)、および/または電子メールを電子メールアドレスに自動的に送信する。
方法800(例えば、図8)に関して以上に説明したプロセスの詳細は、本明細書中で説明した他の方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法800は、任意選択的に、方法900、1100、1300、1500、および1700を参照して本明細書中で説明された様々な方法の特点のうちの1つ以上を含む。例えば、方法1100(例えば、図11)で説明したように、検出された特性の1つ以上のインジケーションは、以前にキャプチャされたメディアアイテム内で表示されて、以前にキャプチャされたメディアアイテム内に存在する特性を識別することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
いくつかの実施形態では、以上で説明した方法800の1つ以上のステップは、ビデオメディアの1つ以上のライブフレームおよび/または一時停止されたフレームのような、ビデオメディアの表現にも適用できる。いくつかの実施形態では、上述の方法800の1つ以上のステップは、図6A~図6Zおよび図7A~図7Lに関連して説明したユーザインタフェースと異なったアプリケーションのユーザインタフェース内のメディアの表現に適用でき、これらのアプリケーションのユーザインタフェースは、生産性アプリケーション(例えば、ノート作成アプリケーション、スプレッドシーティングアプリケーション、および/またはタスク管理アプリケーション)、ウェブアプリケーション、ファイルビューアアプリケーション、および/または文書処理アプリケーション、および/またはプレゼンテーションアプリケーションに対応しているユーザインタフェースを含むが、これらに限定されない。
図9は、いくつかの実施形態に係る、メディア内の視覚コンテンツのための視覚インジケータを管理する方法を示すフロー図である。方法900は、表示生成コンポーネントおよび1つ以上の入力デバイスと通信しているコンピュータシステム(例えば、100、300、500)において行われる。方法900におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下で説明するように、方法900は、メディア内の視覚コンテンツのための視覚インジケータを管理する直観的な方法を提供する。本方法は、メディア内の視覚コンテンツを管理するユーザの認知的負担を軽減し、それによって、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザがメディア内の視覚コンテンツをより迅速かつより効率的に管理することを可能にすることによって、電力を節約し、バッテリ充電の間隔時間を長くする。
方法900は、表示生成コンポーネント(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム)および1つ以上の入力デバイス(例えば、タッチ感知面)と通信しているコンピュータシステム(例えば、スマートフォン、デスクトップコンピューター、ラップトップ、タブレット)において行われる。
コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテム(例えば、写真メディア、ビデオメディア)(例えば、メディアをキャプチャする選択可能なユーザインタフェースオブジェクトに向けられた入力を受信することによって以前にキャプチャされた写真メディアまたはビデオメディア)(例えば、ユーザによる後の使用、編集、および/または閲覧に利用可能な写真メディアまたはビデオメディア)の第1の表現(例えば、第1のズームレベルで以前にキャプチャされたメディアアイテムの表現(例えば、以前にキャプチャされたメディアアイテムの第1の部分))(例えば、図7Bにおける724a))(例えば、画像またはビデオ)を表示する(902)。いくつかの実施形態では、以前にキャプチャされたメディアのサムネイル表現上の入力の受信に応じて(および/または異なった以前にキャプチャされたメディアの表現に向けられた入力(例えば、スワイプジェスチャ)を受信することによって)以前にキャプチャされたメディアの第1の表現が表示された。
以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a(例えば、図7Bにおける724a))を表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))(例えば、画像またはビデオ)を表示する要求に対応している入力(例えば、750b、750d、750e、750f、750g、750k)(例えば、複数指ピンチジェスチャ、複数指ピンチ解除ジェスチャ、タップジェスチャ、指向性スワイプジェスチャ、コンピュータシステムの移動、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)を検出する(904)。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求は、ズームイン/ズームアウトする(例えば、第1の再遷移をズームイン/ズームアウトする)要求である。いくつかの実施形態では、第2の表現は、第1の表現のズームイン/ズームアウトしたバージョンである。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求は、パン(例えば、第1の表現をパンする(例えば、第1の表現をある方向(左/右/上/下)において平行移動させる)要求である。いくつかの実施形態では、第2の表現は、第1の表現に含まれなかった追加のコンテンツを含むかまたは含まない。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を表示することは、第1の表現に含まれなかった以前にキャプチャされたメディアアイテムのコンテンツを表示することと、第1の表現に含まれた以前にキャプチャされたメディアアイテムのコンテンツを表示することと、を含む。
以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))を表示する要求に対応している入力(例えば、750b、750d、750e、750f、750g、750k)の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))(例えば、以前にキャプチャされたメディアアイテムの表現(例えば、以前にキャプチャされたメディアアイテムの第1の部分または以前にキャプチャされたメディアアイテムの第2の部分))を、以前にキャプチャされたメディアアイテムの第1のズームレベルと異なった第2のズームレベルで表示する(906)。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現は、入力を検出せずに表示される。
以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))を表示している間に(908)、かつ以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))に含まれた(例えば、表示された)テキストの一部分(例えば、642a、642b)(例えば、テキストの一部分、以前にキャプチャされたメディアアイテムの第2の表現に含まれた1つ以上の文字)(例えば、表示されたテキスト)が、基準の個別のセット(例えば、テキストが十分にプロミネントである(例えば、テキストが以前にキャプチャされたメディアアイテムのある割合を占める)(例えば、テキストが(例えば、以前にキャプチャされたメディアアイテムのコンテンツに)関連している(例えば、ある信頼閾値内および/またはこの信頼閾値を上回る))を満たしているとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a(例えば、図7Bにおける724a))が表示されたときに表示されなかった第2の表現(例えば、724a(例えば、図7Cにおける724a))に含まれたテキストの一部分(例えば、642a、642b)に対応している視覚インジケーション(例えば、636a、736a)を、(例えば、以前にキャプチャされたメディアアイテムの第2の表現と同時に)表示する(例えば、910)(例えば、以前にキャプチャされたメディアアイテムの表現に描かれた、検出されたテキストを強調する(例えば、強調表示、括弧、テキストのサイズ/色/形状を変更する))視覚、テキストの周りの括弧(例えば、閉じた括弧、開いた括弧))。いくつかの実施形態では、(例えば、図6C~6Dに関連して以上に説明したように)複数の視覚インジケーション(例えば、図636a、636b、736a、736c~736e)が、十分にプロミネントであるテキストの複数のインスタンスに対して表示される。いくつかの実施形態では、視覚インジケーション(例えば、636a、636b、736a、736c~736e)は、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a(例えば、図7B~7Dにおける724a))が表示されている間に表示されない。いくつかの実施形態では、視覚インジケーション(例えば、636a、636b、736a、736c~736e)は、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a(例えば、図7B~7Dにおける724a))が表示されている間に表示されず、以前にキャプチャされたメディアアイテムの第1の表現(例えば、742a)はテキストの一部分(例えば、642a、642b)を含む。いくつかの実施形態では、(例えば、図7A~図7Cに関連して以上に説明したように)視覚インジケーション(例えば、636a、636b、736a、736c~736e)は、以前にキャプチャされたメディアアイテムの第1の表現が表示されている間に表示されず、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a)は、テキストの一部分(例えば、642a、642b)を含まない。いくつかの実施形態では、(例えば、図7D~図7Fに関連して以上に説明したように)テキストの一部分がそれぞれの基準を満たしているため、第1の表現は、テキストの一部分(例えば、642a、642b)を含み、テキストの一部分に対応している視覚インジケーション(例えば、636a、736a、736c~736e)を含む。いくつかの実施形態では、(例えば、図7A~図7Cに関連して以上に説明したように)以前にキャプチャされたメディアアイテムの第1の表現内のテキストの一部分は、基準の個別のセットを満たさず、視覚インジケーションは表示されない。いくつかの実施形態では、(例えば、図7K~7Lに関連して以上に説明したように)視覚インジケーション(例えば、636a、636b、736a、736c~736e)は、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a)が表示されている間に表示されるが、入力(例えば、750b、750d、750e、750f、750g、750k)が検出された後に、視覚インジケーションの表示が中止される。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a)は、テキストの一部分を含み(かつ、テキストの一部分(例えば、642a、642b、742)に対応している視覚インジケーション(例えば、636a、636b、736a、736c~736e)を含み)、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a)は、テキストの同じ部分(例えば、642a、642b、742)を含み、テキストの一部分(例えば、642a、642b)に対応している同じ視覚インジケーション(例えば、636a、636b、736a、736c~736e)を含む。いくつかの実施形態では、視覚インジケーションは、テキストの部分に対応している以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a(例えば、図7Bにおける724a))内で表示され、視覚インジケーション(例えば、636a、636b、736a、736c~736e)は、以前にキャプチャされたメディアアイテムの第2の表現内で表示され、第1の表現内で表示されたテキストの一部分の第1の部分(例えば、図7Hにおける642b)(例えば、第1の表現内で表示されたテキストの一部分の全体未満)に対応している。いくつかの実施形態では、(例えば、図7E~7Fに関連して以上に説明したように)第1の視覚インジケーション(例えば、636a、636b、736a、736c~736e)は、テキストの一部分に対応している以前にキャプチャされたメディアアイテム(例えば、724a(例えば、図7Bにおける724a))の第1の表現(例えば、724a)内で表示され、第2の視覚インジケーション(例えば、636a、636b、736a、736c~736e)は、以前にキャプチャされたメディアアイテム(例えば、724a(例えば、図7Cにおける724a))の第2の表現に表示され、テキストの異なった部分(例えば、第1の表現で表示されなかったテキストの一部分)(例えば、第1の表現で表示されたが視覚インジケーションに関連付けられなかったテキストの一部分)に対応している。いくつかの実施形態では、視覚インジケーションは、以前にキャプチャされたメディアアイテムの第2の表現(例えば、図7Eにおける724a)に表示されるが、以前にキャプチャされたメディアアイテムの第1の表現(例えば、図7Dにおける724a)に表示されない。所定の条件が満たされたときに第2の表現内のテキストの一部分に対応している視覚インジケーションを自動的に表示することによって、第2の表現内のテキストの一部分が検出されていることをユーザに示す。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。第2の表現内のテキストの一部分に対応している視覚インジケーションを含む第2の表現を表示することによって、検出されたテキストが関連し得るとの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))を表示している間に(および、いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第1の表現の表示を中止した後に)、かつ以前にキャプチャされたメディアアイテムの第2の表現に含まれたテキストの一部分(例えば、642a、642b)が基準の個別のセットを満たしていないとの判定に従って、視覚インジケーション(例えば、636a、636b、736a、736c、736d)の表示を見合わせる。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現に含まれたテキストの一部分が基準の個別のセットを満たしていないとの判定に従って、コンピュータシステムは、以前にキャプチャされたメディアアイテム内のテキストの任意の一部分に対応している個別の視覚インジケーションを(例えば、以前にキャプチャされたメディアアイテムの第2の表現上に)表示せずに、以前にキャプチャされたメディアアイテムの第2の表現を表示する。(例えば、以前にキャプチャされたメディアアイテムの第2の表現に含まれたテキストの一部分が基準の個別のセットを満たしていないとの判定に従い)所定の条件のセットが満たされたときに視覚インジケーションの表示を自動的に見合わせることによって、個別の表現が1つ以上の基準を満たしているテキストを含まないことを判定する能力をユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Dにおける724a))を表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第3の表現(例えば、724a(例えば、図7Eにおける724a))を表示する要求に対応している入力(例えば、750d、750e、750f、750g、750j、750k)(例えば、ピンチジェスチャ、ピンチ解除ジェスチャ、指向性スワイプジェスチャ)を検出する。いくつかの実施形態では、入力は、非ピンチジェスチャ、非ピンチ解除ジェスチャ、および/または非指向性スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第3の表現(例えば、724a(例えば、図7Eの724a))を表示する要求に対応している入力(例えば、750e、750f)の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテムの第3の表現(例えば、以前にキャプチャされたメディアアイテムの以前の表現のズームレベルと異なった(例えば、以前の表現のズームレベルより大きいまたは小さい)ズームレベルでの以前にキャプチャされたメディアアイテムの表現)(例えば、以前にキャプチャされたメディアアイテムの以前の表現と異なった量のパンを有する、以前にキャプチャされたメディアの表現)を表示する。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第3の表現を表示している間に、かつ以前にキャプチャされたメディアアイテムの第3の表現に含まれたテキストの一部分(例えば、642a、642b)が基準の個別のセットを満たしているとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、(例えば、以前にキャプチャされたメディアアイテムの第1の表現が表示されたときに表示されなかった、および/または以前にキャプチャされたメディアアイテムの第2の表現が表示されたときに表示されなかった)第3の表現に含まれたテキストの一部分(例えば、642a、642b)に対応している視覚インジケーション(例えば、636a、636b、736a、736c、736d)を表示する。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第3の表現に含まれたテキストの一部分が基準の個別のセットを満たしていないとの判定に従って、コンピュータシステムは、以前にキャプチャされたメディアアイテムの第3の表現を表示している間に、第2の表現に含まれたテキストの一部分に対応している視覚インジケーションを表示しない。いくつかの実施形態では、第3の表現に含まれたテキストの一部分は、第2の表現に含まれたテキストと同じテキストを含む(または同じテキストである)。いくつかの実施形態では、第3の表現に含まれたテキストの一部分は、第2の表現に含まれたテキストの一部分と異なったフィーチャ(例えば、異なったサイズ、形状、フォント)を有する。所定の条件が満たされたときに第3の表現に含まれたテキストの一部分に対応している視覚インジケーションを自動的に表示することによって、第3の表現が関連し得るテキストの一部分を含むことをユーザに自動的に示す。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。第3の表現内のテキストの一部分に対応している視覚インジケーションを含む第3の表現を表示することによって、検出されたテキストが関連し得るとの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a(例えば、図7Aの724a))は、第1のズームレベル(例えば、0.5~12×)で表示されるメディアアイテムの表現であり、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Bにおける724a))は、第1のズームレベルと異なった第2のズームレベル(例えば、0.5~12×)で表示されるメディアアイテムの表現である。いくつかの実施形態では、第2のズームレベルは、第1のズームレベルよりも大きい(または小さい)。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第1の表現が、第1のズームレベルで表示されたメディアアイテムの表現であり、以前にキャプチャされたメディアアイテムの第2の表現が、第2のズームレベルで表示されたメディアアイテムの表現である場合、第1の入力は、ピンチ/ピンチ解除ジェスチャを含むか、またはピンチ/ピンチ解除ジェスチャである。いくつかの実施形態では、第1のズームレベルと第2のズームレベルとの間の差は、ピンチ/ピンチ解除ジェスチャの大きさに基づいている。表現のズームレベルが変化した後に第2の表現内のテキストの一部分に対応している視覚インジケーションを含む第2の表現を表示することによって、検出されたテキストが変化した表現内で関連し得るとの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a(例えば、図7Gにおける724a))は、(例えば、メディアアイテム内の個別の場所に対して)第1の平行移動量(例えば、図7Gに示す平行移動量)で表示されたメディアアイテムの表現であり(例えば、メディアアイテムが、ディスプレイ上の特定の場所における第1のポジションで表示される)(例えば、ゼロおよび/または非ゼロの平行移動量)、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Hにおける724a))は、(例えば、メディアアイテム内の個別のポジションに対して)第1の平行移動量と異なった第2の平行移動量(例えば、図7Hに示す平行移動量)で表示されたメディアアイテムの表現である(例えば、メディアアイテムは、ディスプレイ上の特定の場所の第1のポジションと異なった第2のポジションで表示される)(例えば、ゼロおよび/または非ゼロの平行移動量)。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第1の表現が、第1の平行移動量で表示されるメディアアイテムの表現であり、以前にキャプチャされたメディアアイテムの第2の表現が、第1の量と異なった第2の平行移動量で表示されるメディアアイテムの表現である場合、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している第1の表現は、スワイプジェスチャを含むか、またはスワイプジェスチャである。いくつかの実施形態では、第1の平行移動量と第2の平行移動量との間の差は、スワイプジェスチャの大きさに基づいている。表現が平行移動された後に第2の表現内のテキストの一部分に対応している視覚インジケーションを含む第2の表現を表示することによって、検出されたテキストが変更された表現内で関連し得るとの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第1の表現(例えば、724a(例えば、図7Bにおける724a))は、テキストの一部分(例えば、642a、642b)を含む。いくつかの実施形態では、(例えば、第1の表現に含まれたテキストの一部分がしきいサイズよりも小さい、および/またはプロミネンス閾値を下回るプロミネンスを有するため)第1の表現に含まれた(例えば、表示された)テキストの一部分は、基準の個別のセットを満たしていない。第1の表現および第2の表現に含まれたテキストに基づいて視覚インジケーションの表示を自動的に選択することによって、テキストが第2の表現内で関連しており、第1の表現内で関連していない可能性があるとの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))を表示する要求に対応している入力(750b、750d、750e、750f、750g、750j、750k)は、表示生成コンポーネント上で(例えば、表示生成コンポーネント上の単一の場所で)(例えば、表示生成コンポーネント上の複数の場所で)検出される入力である。表示生成コンポーネント上で以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している入力を検出することは、ユーザが表示生成コンポーネント上で表現を表示する入力を実行することを可能にすることによって、コンピュータシステムに対する追加のコントロールを提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Hにおける724a))は、第3のズームレベルで表示される。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を第3のズームレベルで表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第2の表現のズームレベルを変更する要求に対応している入力(例えば、750b、750d、750e、750f、750k)(例えば、ピンチジェスチャまたはピンチ解除ジェスチャ)を検出する。いくつかの実施形態では、入力は、非ピンチジェスチャ、非ピンチ解除ジェスチャ、および/または非指向性スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現のズームレベルを変更する要求に対応している入力の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテムの第4の表現(例えば、724a(例えば、図7Lにおける724a))を、第3のズームレベルと異なった(例えば、第3のズームレベルよりも大きいまたは小さい)第4のズームレベル(例えば、0.5~12×)で表示する。いくつかの実施形態では、第4の表現は、第2の表現に含まれなかった追加のコンテンツを含むか、または含まない。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第4の表現を表示することは、第2の表現に含まれなかった以前にキャプチャされたメディアアイテムのコンテンツを表示することと、第2の表現に含まれた以前にキャプチャされたメディアアイテムのコンテンツを表示することとを含む。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第4の表現を第4のズームレベルで表示している間に、かつ以前にキャプチャされたメディアアイテムの第4の表現に含まれたテキストの第1の部分(例えば、642a、642b)(テキストの一部分に対応しているテキストの部分、テキストの一部分のサブセット、および/またはテキストの一部分のスーパーセットであるテキストの一部分)が基準の個別のセットを満たしていないとの判定に従って、コンピュータシステムは、視覚インジケーションの表示を見合わせる。いくつかの実施形態では、テキストの第1の部分は、以前にキャプチャされたメディアアイテムの第2の表現内の基準の個別のセットを満たしている。いくつかの実施形態では、テキストの第1の部分は、含まれなかったテキストを含む。所定の条件が満たされたときに視覚インジケーションの表示を見合わせることは、表現をズームする入力は、視覚インジケーションが関連していないように表現を変更したとのインジケーションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Gにおける724a))を表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第2の表現を平行移動させる(例えば、および/またはパンする)要求に対応している入力(例えば、750g)(例えば、水平または垂直スワイプ)(例えば、表示生成コンポーネント上で検出される入力)を検出する。いくつかの実施形態では、入力は、非水平スワイプおよび/または非垂直スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を平行移動させる要求に対応している入力の検出に応じて、コンピュータシステムは、以前にキャプチャされたメディアアイテムの第2の表現に含まれなかったメディアアイテムの一部分(例えば、図7HのLOSTにおける「LO」)を含む、以前にキャプチャされたメディアアイテムの第5の表現(例えば、724a(例えば、図7Hにおける724a))を表示する。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第5の表現は、以前にキャプチャされたメディアアイテムの第2の表現に含まれたメディアアイテムの一部分を含む。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第5の表現は、以前にキャプチャされたメディアアイテムの第2の表現に含まれたメディアアイテムの一部分を含まない。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第5の表現を表示している間に、かつ以前にキャプチャされたメディアアイテムの第5の表現に含まれた(例えば、表示された)テキストの第2の部分(例えば、図7Hにおける電話番号からの「1」)(例えば、テキストの一部分および/またはテキストの一部分のサブセットおよび/またはテキストの一部分と異なったテキストに対応しているテキストの一部分)(例えば、第2の表現に含まれなかった(例えば、表示されなかった)テキスト)(例えば、第2の表現に含まれた(例えば、表示された)テキスト)が基準の個別のセットを満たしていないとの判定に従って、コンピュータシステムは、視覚インジケーションの表示を見合わせる。所定の条件が満たされたときに視覚インジケーションの表示を見合わせることは、表現をパンする入力が、視覚インジケーションが関連していないように表現を変更したとのインジケーションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))を表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している入力(例えば、750b)と異なったタイプの入力(例えば、表示生成コンポーネント上の異なった場所で検出される異なった強度、異なった入力の数)である入力(例えば、750c)(例えば、シングルタップジェスチャおよび/またはダブルタップジェスチャ)を検出する。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している入力と異なったタイプの入力である入力は、非タップジェスチャ(例えば、スワイプジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している入力と異なったタイプの入力である入力の検出に応じて、コンピュータシステムは、(例えば、以前にキャプチャされたメディアアイテムの表示された表現(例えば、第2の表現、および/または以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している入力と異なったタイプの入力である入力を受信した後に表示される表現)に含まれたテキストの一部分が、基準の個別のセットを満たしていないか否かにかかわらず)視覚インジケーションの表示を見合わせる。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を表示し、かつ視覚インジケーションを表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、第5の入力を検出し、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している入力と異なったタイプの入力である入力の検出に応じて、視覚インジケーションの表示を中止する。入力の検出に応じ視覚インジケーションの表示を見合わせることは、ユーザが視覚インジケーションが表示されたときにUIを混乱させずにコントロールすることを可能にすることによって、コンピュータシステムに対するより多くのコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、基準の個別のセットは、個別の以前にキャプチャされたメディアアイテム(例えば、以前にキャプチャされたメディアアイテム)の個別の表現(例えば、以前にキャプチャされたメディアアイテムの第2の表現)に含まれたテキストの個別の部分(例えば、第1の部分)のプロミネンスの量がプロミネンス閾値(例えば、図7Eにおけるテキスト部分642aに関連付けられたプロミネンスの量)(例えば、表示されたテキストの判定されたサイズ、場所、重要性のうちの1つ以上に対応している閾値)(例えば、非ゼロ閾値)を上回るとの判定が行われたときに満たされる基準を含む。
いくつかの実施形態では、プロミネンスの量がプロミネンス閾値を上回ることは、テキストの個別の部分が個別の表現の閾値量(例えば、20~100%)より多くを占めることに基づいている(例えば、少なくとも基づいている)(例えば、スペーステキスト部分642aの量は、7Kにおける724aで占める)。いくつかの実施形態では、プロミネンスの量は、テキストの個別の部分が占めた個別の表現の量に正比例している。
いくつかの実施形態では、プロミネンスの量がプロミネンス閾値を上回ることは、テキストの個別の部分(例えば、図7Eにおけるテキスト部分642a)が個別の表現内の特定の場所(例えば、中央)(および/または特定の部分(例えば、中央部分))で表示されることに基づいている(例えば、少なくとも基づいている)。いくつかの実施形態では、プロミネンスの量は、特定の場所に、テキストのそれぞれの部分の間の距離に間接的に分割される。
いくつかの実施形態では、プロミネンスの量がプロミネンス閾値を上回ることは、テキストの個別の部分(例えば、図7Gにおけるテキスト部分642bに含まれた電話番号)が特定のタイプのテキスト(例えば、電子メール、電話番号、住所、QRコードなど)であることに基づいている。
いくつかの実施形態では、プロミネンス閾値を上回るプロミネンスの量は、個別の以前にキャプチャされたメディアアイテムのテキストの一部分(例えば、(テキスト部分742を参照して以上に説明したような)コンテンツ(例えば、テキストコンテンツ、視覚コンテンツ)に関連した、図7Fにおけるテキスト部分642aおよび642b)の関連性スコア(例えば、非ゼロ量)が、関連性スコア閾値(例えば、非ゼロ量)を満たしていることに基づいている(例えば、画像のコンテキストに基づいて、シャツ上のテキストは関連していないが、サイン上のテキストは関連している)。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を表示している間に、かつ以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Eにおける724a))に含まれたテキストの一部分(例えば、図7Eに表示される642a)(例えば、テキストの一部分、テキストの一部分のサブセット)が、基準の個別のセットを満たしているとの判定に従って、コンピュータシステムは、(例えば、図6A~6Zおよび図8に関連して以上に説明したように)1つ以上のテキスト管理動作(例えば、選択可能なユーザインタフェースオブジェクト)に対応している第1のユーザインタフェースオブジェクト(例えば、680)を表示する。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Cにおける724a))に含まれたテキストの一部分(例えば、図7Cにおける642aまたは642b)が、基準の個別のセットを満たしていないとの判定に従って、コンピュータシステムは、1つ以上のテキスト管理動作に対応している第1のユーザインタフェースオブジェクトの表示を見合わせる。所定の条件が満たされたときに1つ以上のテキスト管理動作に対応している第1のユーザインタフェースオブジェクトを自動的に表示することは、1つ以上のテキスト管理オプションに対応しているユーザインタフェースオブジェクトが、表示されたテキストに関連しているときに、ユーザに自動的に示す。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Kにおける724a))を表示し、1つ以上のテキスト管理オプションに対応している第1のユーザインタフェースオブジェクト(680)を表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第2の表現を変更する(例えば、パンして離す、サイズを変更する)要求に対応している入力(750d、750e、750f、750g、750k)(例えば、指向性スワイプ)を検出する。いくつかの実施形態では、入力は、非指向性スワイプ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現を変更する要求に対応している入力の検出に応じて、コンピュータシステムは、以前にキャプチャされたメディアアイテムの第12の表現(例えば、724a(例えば、図7Lにおける724a))を表示する。いくつかの実施形態では、第12の表現は、第2の表現に含まれなかった追加のコンテンツを含むか、または含まない。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第12の表現を表示することは、第2の表現に含まれなかった以前にキャプチャされたメディアアイテムのコンテンツを表示することと、第2の表現に含まれた以前にキャプチャされたメディアアイテムのコンテンツを表示することと、を含む。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第12の表現を表示している間に、かつ以前にキャプチャされたメディアアイテムの第12の表現に含まれたテキストの個別の部分(例えば、642a、642b)(例えば、図7Lにおける642a、642b)(例えば、テキストの一部分に対応しているテキスト、テキストの一部分のサブセットであるテキスト、および/またはテキストの一部分のサブセットであるテキスト)が、基準の個別のセットを満たしていないとの判定に従って、コンピュータシステムは、1つ以上のテキスト管理動作に対応している第1のユーザインタフェースオブジェクトの表示を見合わせる。所定の条件が満たされたときに、1つ以上のテキスト管理動作に対応している第1のユーザインタフェースオブジェクトの表示を自動的に見合わせることは、1つ以上のテキスト管理オプションに対応しているユーザインタフェースオブジェクトが表示されたテキストに関連していることを、ユーザに自動的に示す。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現は、第5のズームレベルで表示される。いくつかの実施形態では、第5のズームレベルで以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Eにおける724a))および視覚インジケーション(例えば、636a、636b、736a、736c、736d)を表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第2の表現をズームインする要求に対応している入力(例えば、750d、750e、750f、750k)(例えば、ピンチ解除ジェスチャ)を検出する。いくつかの実施形態では、入力は、非ピンチ解除ジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現をズームインする要求に対応している入力は、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している入力と同じタイプの入力である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現をズームインする要求に対応している入力の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテムの第7の表現(例えば、724a(例えば、図7Fにおける724a))を、第5のズームレベルよりも大きい(例えば、大きい)第6のズームレベル(例えば、0.5~12×)で表示し、以前にキャプチャされたメディアアイテムの第7の表現は、第2の表現に含まれたテキストの一部分と異なった(例えば、テキストの第2の部分は、テキストの第1の部分に含まれなかった単語および数字を含み、テキストの第2の部分は、テキストの第1の部分と異なった場所で表示され、テキストの第2の部分は、テキストの第1の部分と異なった向きで表示される)、以前にキャプチャされたメディアアイテムの第2の表現に含まれたテキストの第2の部分(例えば、642b)を含む。いくつかの実施形態では、テキストの第2の部分は、以前にキャプチャされたメディアアイテムの第2の表現に含まれたテキストの一部分の第1のサブセットを含み、以前にキャプチャされたメディアアイテムの第2の表現に含まれたテキストの一部分の第2のサブセットを含まない。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第7の表現を表示している間に、かつテキストの第2の部分がそれぞれの基準を満たしているとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、(以前にキャプチャされたメディアアイテム内で描かれた)テキストの第2の部分に対応している視覚インジケーション(例えば、636a、636b、736a、736c、736d)(例えば、検出されたテキストを強調する(例えば、強調表示、括弧、テキストのサイズ/色/形状の変更)視覚インジケーション)、テキストの一部分に対応している視覚インジケーションと異なった(例えば、テキストの異なった部分の周り、異なったサイズ、異なった色、および/または異なった場所で表示された)(例えば、以前にキャプチャされたメディアアイテムの第2の表現に含まれ、かつ以前にキャプチャされたメディアアイテムの第7の表現に含まれた)括弧、テキストの周りの括弧(例えば、閉じた括弧、開いた括弧))を表示する。いくつかの実施形態では、テキストの第2の部分がそれぞれの基準を満たしていないとの判定に従って、コンピュータシステムは、テキストの第2の部分に対応している視覚インジケーション、および第2の表現に含まれたテキストの一部分に対応している視覚インジケーションの表示を見合わせる。テキストの一部分に対応している視覚インジケーションと異なったテキストの第2の部分に対応している視覚インジケーションを自動的に表示することは、(例えば、入力が受信されたことに応じて)基準を満たしているとの判定が行われたテキストの一部分がもはや基準を満たしていないとの改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアの第2の表現は、第7のズームレベル(例えば、0.5~12倍)で表示される。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Kの724a))を第7のズームレベル(例えば、0.5~12×)で表示している間(例えば、視覚インジケーションを表示している間)、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第2の表現をズームアウトする要求に対応している入力(例えば、750k)(例えば、ピンチジェスチャ)を検出する。いくつかの実施形態では、入力は、非ピンチジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現をズームアウトする要求に対応している入力の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテムの第8の表現(例えば、724a(例えば、図7Lの724a))を、第7のズームレベルよりも小さい第8のズームレベル(例えば、0.5~12倍)で表示する。いくつかの実施形態では、第8の表現は、第2の表現に含まれなかった追加のコンテンツを含むか、または含まない。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第8の表現を表示することは、第2の表現に含まれなかった以前にキャプチャされたメディアアイテムのコンテンツを表示することと、第2の表現に含まれていた以前にキャプチャされたメディアアイテムのコンテンツを表示することとを含む。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第8の表現を第8のズームレベルで表示している間(および視覚インジケーションを表示している間)、および以前にキャプチャされたメディアアイテムの第8の表現に含まれたテキストの第1の個別の部分(例えば、642a、642b)(例えば、テキストの部分がない、テキストの部分に対応しているテキストの部分)(例えば、第8の表現で表示されるが第2の表現で表示されないテキストの部分)(例えば、第8の表現および第2の表現で表示されるテキストの部分)が基準の個別のセットを満たしていないとの判定に従って、コンピュータシステムは、視覚インジケーションを表示することを中止する。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第8の表現に含まれたテキストの個別の部分が基準の個別のセットを満たしていないとの判定に従って、コンピュータシステムは、視覚インジケーションを表示する(例えば、視覚インジケーションは非アクティブとして表示される)。所定の条件が満たされたときに視覚インジケーションの表示を中止することは、テキストの一部がそれぞれの基準に基づいて関連し得るか否かのインジケーションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、視覚インジケーション(例えば、636a、636b、736a、736c、736d)は、第2の表現(例えば、724a(例えば、図7Eにおける724a))に含まれたテキスト(例えば、642a、642b)の一部分を囲む(例えば、括弧で囲む)。いくつかの実施形態では、視覚インジケーションは、十分にプロミネント/顕著である、テキストの対応している一部分のみを囲む(例えば、テキストの対応している一部分がプロミネンス閾値を満たしている)。テキストの一部分を視覚インジケーションで囲むことは、関連し得るテキストの一部分を識別するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、視覚インジケーション(例えば、636a、636b、736a、736c、736d)の表示の場所(例えば、表示生成コンポーネント上の特定の場所)は、第2の表現(例えば、724a(例えば、図7Eにおける724a))に含まれるテキストの一部分(例えば、642a、642b)の場所に対応している(例えば、視覚インジケーションの表示の場所は、テキストの一部分の表示の場所に依存する)。テキストの一部分の場所に対応している場所で視覚インジケーションを表示することは、テキストのどの部分が関連し得るかに関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現は、第9のズームレベル(例えば、0.5~12×)で表示される。いくつかの実施形態では、第9のズームレベルで以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Eにおける724a))および視覚インジケーション(例えば、636a、736a、736c、736d)を表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第2の表現をズームインする要求に対応している入力(例えば、750d、750e、750f)(例えば、ピンチ解除ジェスチャ)を検出する。いくつかの実施形態では、第1の入力は、非ピンチ解除入力(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、入力は、以前にキャプチャされたメディアアイテムの第2の表現を表示する要求に対応している入力と同じタイプの入力である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現をズームインする要求に対応している入力の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテム(例えば、以前にキャプチャされたメディアアイテムの第2の表現に含まれたコンテンツのサブセットを含む、以前にキャプチャされたメディアアイテムの表現)の第9の表現(例えば、724a(例えば、図7Fにおける724a))を、第9のズームレベルよりも大きい(例えば、大きい)第10のズームレベル(例えば、0.5~12×)で表示し、以前にキャプチャされたメディアアイテムの第9の表現は、第2の表現に含まれたテキストの一部分と異なった、以前にキャプチャされたメディアの第2の表現に含まれたテキストの個別の部分(例えば、642a、642b)を含む(例えば、テキストの第2の部分は、テキストの第1の部分に含まれない単語および数字を含み、テキストの第2の部分は、テキストの第1の部分と異なった場所で表示され、テキストの第2の部分は、テキストの第1の部分と異なった向きで表示される)。いくつかの実施形態では、テキストの第2の部分は、以前にキャプチャされたメディアアイテムの第2の表現に含まれたテキストの一部分の第1のサブセットを含み、以前にキャプチャされたメディアアイテムの第2の表現に含まれたテキストの一部分の第2のサブセットを含まない。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第9の表現を表示している間、コンピュータシステムは、テキストの一部分に対応している視覚インジケーションの表示を中止する。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第9の表現を表示している間に、かつテキストの第2の個別の部分がそれぞれの基準を満たしているとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、以前にキャプチャされたメディアアイテムに描かれた視覚インジケーション(例えば、636a、636b、736a、736c、736d)(例えば、検出されたテキストを強調する(例えば、強調表示、括弧、テキストのサイズ/色/形状を変更する)視覚インジケーション)、テキストの一部分に対応している視覚インジケーションと異なった(例えば、テキストの異なった部分の周り、異なったサイズ、異なった色、および/または異なった場所で表示された)テキストの第2の個別の部分に対応している(例えば、第2の個別の部分を囲む)(例えば、以前にキャプチャされたメディアアイテムの第2の表現に含まれた視覚インジケーションからの)括弧、テキストの周りの括弧(例えば、閉じた括弧、開いた括弧))を表示する。所定の条件が満たされたときにテキストの一部分に対応している視覚インジケーションの表示を中止することは、以前の入力がテキストの一部分の関連性を変更したとのインジケーションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、テキストの一部分の少なくとも第1のサブセット(例えば、642a、642b)は選択可能である(例えば、テキストの一部分の第2の部分は選択可能でない)。テキストの一部分の少なくとも第1のサブセットを選択可能にすることは、ユーザがユーザインタフェースを追加のユーザインタフェースオブジェクトで混乱させずにテキストの一部分の少なくとも第1のサブセットを選択することを可能にすることによって、コンピュータシステムによる追加のコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現は、選択可能でないテキストの第3の部分(例えば、テキストの一部分のサブセット、(例えば、異なった場所で表示された、および/またはテキストの一部分と異なった文字を含む)テキストの一部分と異なったテキストの一部分)を含む。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第2の表現(例えば、724a(例えば、図7Eの724a))を表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、以前にキャプチャされたメディアアイテムの第10の表現(例えば、第2の表現のコンテンツのサブセットを含む以前にキャプチャされたメディアアイテムの表現)(例えば、第2の表現のズームレベルと異なった(例えば、第2の表現のズームレベルよりも大きいまたは小さい)ズームレベルでの以前にキャプチャされたメディアの表現)(例えば、第2の表現と異なった(例えば、第2の表現より大きいまたは小さい)平行移動量を有する以前にキャプチャされたメディアアイテムの表現)を表示する要求(例えば、以前にキャプチャされたメディアアイテムの第2の表現を変更する要求)に対応している入力(例えば、750b、750d、750e、750f)(例えば、ピンチ解除ジェスチャおよび/または指向性スワイプジェスチャ)を検出する。いくつかの実施形態では、入力は、非ピンチ解除ジェスチャおよび/または非指向性スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、以前にキャプチャされたメディアアイテムの第10の表現を表示する要求に対応している入力の検出に応じて、コンピュータシステムは、テキストの一部分を含む以前にキャプチャされたメディアアイテムの第10の表現を表示し、以前にキャプチャされたメディアアイテムの第10の表現に含まれたテキストの第3の部分は選択可能である。いくつかの実施形態では、テキストの第3の部分に対応している視覚インジケーションが、第10の表現で表示される。第10の表現を表示する要求に応じ選択可能なテキストの一部分を含む第10の表現を表示することは、テキストの選択を可能にする能力をユーザに与えることによって、コンピュータシステムに対するより大きなコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、上記で説明した方法900の1つ以上のステップは、ビデオメディアの1つ以上のライブフレームおよび/または一時停止されたフレームのような、ビデオメディアの表現にも適用できる。いくつかの実施形態では、上述の方法900の1つ以上のステップは、図6A~図6Zおよび図7A~図7Lに関連して説明したユーザインタフェースと異なったアプリケーションのユーザインタフェースにおけるメディアの表現に適用でき、これらのアプリケーションのユーザインタフェースは、生産性アプリケーション(例えば、ノート作成アプリケーション、スプレッドシーティングアプリケーション、および/またはタスク管理アプリケーション)、ウェブアプリケーション、ファイルビューアアプリケーション、および/または文書処理アプリケーション、および/またはプレゼンテーションアプリケーションに対応しているユーザインタフェースを含むが、これらに限定されない。
方法900(例えば、図9)に関して以上に説明した処理の詳細は、本明細書に説明した他の方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法900は、任意選択的に、方法800、1100、1300、1500、および1700を参照して説明された、様々な方法の特点のうちの1つ以上を含む。例えば、方法1100に説明したように、検出された特性の1つ以上のインジケーションは、以前にキャプチャされたメディアアイテム内に存在する特性を識別する以前にキャプチャされたメディアアイテム内で表示され得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図10A~図10ADは、いくつかの実施形態に係る、メディア内の視覚コンテンツを挿入する例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図11におけるプロセスを含む後述のプロセスを示すために使用される。
図10Aは、(例えば、コンピュータシステム600と外部コンピュータシステムとの間の電子メールの送信を容易にするために使用される)電子メールユーザインタフェース1002を表示するコンピュータシステム600を示す。電子メールユーザインタフェース1002は、送信コントロール1004、電子メールアドレステキスト入力領域1006、補足電子メールアドレステキスト入力領域1008、件名テキスト入力領域1010、メッセージ入力領域1012、およびキャンセルコントロール1034を含む。電子メールアドレステキスト入力領域1006および補足電子メールアドレステキスト入力領域1008は、1つ以上の電子メールアドレスに対応しているテキストを受け入れるように構成される。いくつかの実施形態では、電子メールアドレステキスト入力領域1006および補足電子メールアドレステキスト入力領域1008は、特定のフォーマット(電子メールアドレスおよび/または電話番号が有した特定のフォーマット)に関して受信者を識別しないテキストを受け付けない。いくつかの実施形態では、1つ以上の電子メールアドレスは、電子メールアドレステキスト入力領域1006および補足電子メールアドレステキスト入力領域1008に入力されることができる。いくつかの実施形態では、件名テキスト入力領域1010は、電子メールメッセージの件名の簡単な説明として機能するプレーンテキスト(例えば、特定のフォーマットに属していないテキスト)を受け入れることができる。
図10Bに示すように、キャンセルコントロール1034および送信コントロール1004は、電子メールユーザインタフェース1002の最上部の近くに表示される。いくつかの実施形態では、キャンセルコントロール1034に向けられた入力の検出に応じて、コンピュータシステム600は、電子メールユーザインタフェース1002の表示を中止し、電子メールユーザインタフェース1002を表示する直前にコンピュータシステム600が表示したアプリケーションを再表示する(および/または電子メールユーザインタフェース1002と同時に表示されたアプリケーションの1つ以上の非表示部分を表示する)。いくつかの実施形態では、送信コントロール1004に向けられた入力の検出に応じて、コンピュータシステム600は、(例えば、送信コントロール1004に向けられた入力が受信されたときに)電子メールアドレステキスト入力領域1006および/または補足電子メールアドレステキスト入力領域1008に表示された1つ以上の電子メールアドレスに関連付けられた1つ以上のコンピュータシステム(および/またはメールサーバ)に電子メールメッセージを送信するプロセスを開始する。図10Aにおいて、コンピュータシステム600は、電子メールアドレステキスト入力領域1006の選択に対応しているタップ入力1050aを検出する。
図10Bに示すように、タップ入力1050aの検出に応じて、コンピュータシステム600は、電子メールユーザインタフェース1002の表示を更新して、テキストカーソル1018の表示を、(例えば、選択されたときに、コンピュータシステム600上にローカルに記憶された連絡先のリストをユーザに提供するユーザインタフェースを表示する)電子メールアドレステキスト入力領域1006および連絡先コントロール1020内に含める。図10Bに示すように、タップ入力1050aの検出に応じて、コンピュータシステム600は、メッセージ入力領域1012の一部分の上に仮想キーボード1016も表示する(例えば、タップ入力1050aの検出に応じて、メッセージ入力領域1012の一部分の表示が中止され、メッセージ入力領域1012の別の部分が相変わらず表示される)。図10Bにおいて、コンピュータシステム600は、テキストカーソル1018を表示して、仮想キーボード1016上の1つ以上の入力を介して選択されたテキストが電子メールアドレステキスト入力領域1006に表示されることを示す。
図10Bに示すように、仮想キーボード1016は、挿入コントロール1014aを含むキーボードコントロール領域1014を含む。キーボードコントロール領域1014は、仮想キーボード1016の最上部に表示される。いくつかの実施形態では、キーボードコントロール領域1014は、仮想キーボード1016および/または電子メールユーザインタフェース1002の別のポジションに表示される。いくつかの実施形態では、キーボードコントロール領域1014は、仮想キーボード1016が先に表示されたときに表示されず、仮想キーボード1016上で1つ以上の入力の検出に応じて、キーボードコントロール領域1014は、仮想キーボード1016と同時に表示される。いくつかの実施形態では、仮想キーボード1016上の1つ以上の入力に応じて、キーボードコントロール領域1014の表示が中止されるが、仮想キーボード1016の他の部分(例えば、仮想キーボード1016上の文字)は相変わらず表示される。図10Bにおいて、コンピュータシステム600は、挿入コントロール1014aの選択に対応しているタップ入力1050bを検出する。
図10Cに示すように、タップ入力1050bの検出に応じて、コンピュータシステム600は、仮想キーボード1016の表示を、ライブプレビュー1030および挿入コントロール1022を含むカメラユーザインタフェースの表示に置き換える。図10Cに示すように、タップ入力1050bの検出に応じて表示されたカメラユーザインタフェースは、電子メールユーザインタフェース1002の上部と同時に表示される。ライブプレビュー1030は、FOVの表現である。いくつかの実施形態では、ライブプレビュー1030を、ライブプレビュー1030の表示に関連して以上に説明したものと類似の1つ以上の技法を使用して表示する。
ライブプレビュー1030は、テキスト部分642b(例えば、「LOVEABLE」で始まったテキストのパラグラフ)およびテキスト部分1026(例えば、「FLUFFY」)を含むサイン1042を描く。図10Cにおいて、テキスト部分642bが1つ以上の基準(例えば、図6A~図6M、図7A~図7L、図8、および図9に関連して以上に説明したような視覚プロミネンス基準)を満たしているとの判定が行われた。図10Cに示すように、テキスト部分642bは、プロミネンス基準のセットを満たしているため、テキスト部分642bが視覚的に強調される(例えば、テキスト部分642bが拡大され、ボックスによって囲まれ、対応した一対の括弧で表示され、下線が引かれ、および/または強調表示される)。特に、図10Cにおいて、サイン1042上でテキスト部分642bの周りにボックスがない。しかしながら、図10Cにおいて、コンピュータシステム600は、テキスト部分642bがプロミネンス基準のセットを満たしているため、テキスト部分642bをボックスで囲む(および/またはテキスト部分642bを視覚的に強調する)。図10Cに示すように、テキスト部分1026がプロミネンス基準のセットを満たしているため、コンピュータシステム600は、以上に説明したのと同様の理由で、テキスト部分1026を囲むボックスを表示する。いくつかの実施形態では、テキスト部分がプロミネンス基準のセットを満たしているか否かにかかわらず、図10Cの任意のテキスト部分の周りにボックスは表示されない。図10Cに示すように、コンピュータシステム600は、(例えば、図6A~図6Mに関連して以上に説明したような1つ以上の類似の技法を使用して)テキスト部分642b内の「123 MAIN STREET」の下にテキストタイプインジケーション638aを表示して、住所が検出されていることを示し、かつテキスト部分642b内の「123-4567」の下にテキストタイプインジケーション638bを表示して、電話番号が検出されていることを示す。
図10Cに示すように、コンピュータシステム600は、電子メールアドレスに関連付けられた電子メールアドレステキスト入力領域1006内でテキストカーソル1018の表示を維持する。図10Cでは、テキストカーソル1018が電子メールアドレステキスト入力領域1006内にあるため、ライブプレビュー1030に含まれたテキストが電子メールアドレスを含むか否かとの判定が行われた(例えば、コンピュータシステム600は、ユーザが電子メールアドレスを電子メールアドレステキスト入力領域1006にタイプしたい可能性があると判定している)。図10Cにおいて、ライブプレビュー1030に表示されたテキストが電子メールアドレスを含まないため、ライブプレビュー1030に表示されたテキスト(例えば、テキスト部分642bおよび1026)がテキスト挿入基準のセットを満たしていないとの判定が行われた。ライブプレビュー1030に表示されたテキストがテキスト挿入基準のセットを満たしていないとの判定が行われたため、コンピュータシステム600は、挿入コントロール1022が無効化されている(例えば、選択可能でない)ことを示す(例えば、グレーアウトされた、暗くされた、ぼかされた)外観で挿入コントロール1022を表示する。いくつかの実施形態では、図10Cの挿入コントロール1022に向けられた入力の検出に応じて、コンピュータシステム600は、テキスト挿入動作を実行しない(および/または、いかなる動作も実行せず、および/または、入力が検出される前に以前に表示されたユーザインタフェースの表示を維持する)。いくつかの実施形態では、ライブプレビュー1030に表示されたテキストがテキスト挿入基準のセットを満たしていないとの判定に従って、コンピュータシステム600は、挿入コントロール1022を表示しない。図10Cにおいて、コンピュータシステム600は、メッセージ入力領域1012内でタップ入力1050cを検出する。
図10Dに示すように、タップ入力1050cの検出に応じて、コンピュータシステム600は、メッセージ入力領域1012内でテキストカーソル1018を表示し、電子メールアドレステキスト入力領域1006内でテキストカーソル1018の表示を中止する。メッセージ入力領域1012は、あるタイプのテキスト(例えば、プレーンテキスト、特定のタイプを有さないテキスト)に関連付けられる。図10Dにおいて、テキスト部分642bがテキスト挿入基準のセットを満たしており、テキスト部分1026がテキスト挿入基準を満たしていないとの判定が行われた。特に、図10Dにおいて、(例えば、電子メールアドレステキスト入力領域1006がテキスト部分642bに含まれなかった特定のタイプのテキストのみを受け入れたため、テキスト部分642bがテキスト挿入基準のセットを満たしていなかった図10Cとは対照的に)、メッセージ入力領域1012がテキスト部分642bに含まれなかった特定のタイプのテキストを受け入れないため、テキスト部分642bが少なくともテキスト挿入基準のセットを満たしている。いくつかの実施形態では、(例えば、図6A~図6M、図7A~図7L、図8、および図9に関連して以上に説明したような1つ以上の技法を使用して)テキスト部分642bがプロミネンス基準のセットを満たしているため、テキスト部分642bがテキスト挿入基準のセットを満たしているとの判定が行われた。いくつかの実施形態では、(例えば、図6A~図6M、図7A~図7L、図8、および図9に関連して以上に説明したような1つ以上の技法を使用して)テキスト部分1026がプロミネンス基準のセットを満たしていないため、テキスト部分1026がテキスト挿入基準のセットを満たしていないとの判定が行われた。いくつかの実施形態では、(例えば、図6A~6M、図7A~図7L、図8、および図9に関連して以上に説明した1つ以上の技法を使用して)テキスト部分642bが図10Dにおけるテキスト部分1026よりも視覚的にプロミネントであるため、テキスト部分642bがテキスト挿入基準のセットを満たしており、テキスト部分1026がテキスト挿入基準を満たしていないとの判定が行われた。
図10Dに示すように、テキスト部分(例えば、1042b)がテキスト挿入基準のセットを満たしているとの判定が行われたため、コンピュータシステム600は、挿入コントロール1022を有効化されたものとして(例えば、選択可能、暗くなし、および/またはグレーアウトされたものとして)表示する。図10Dにおいて、コンピュータシステム600は、挿入コントロール1022上で入力1050dを検出する。
図10Eに示すように、タップ入力1050dの検出に応じて、コンピュータシステム600は、テキスト部分642bをメッセージ入力領域1012に挿入する。テキスト部分642bが挿入基準のセットを満たしており、テキスト部分1026が1組の挿入基準を満たしていないとの判定が行われたため、コンピュータシステム600は、テキスト部分642bをメッセージ入力領域1012に挿入し、テキスト部分1026をメッセージ入力領域1012に挿入しない。図10Eに示すように、コンピュータシステム600は、メッセージ入力領域1012内で、メッセージ入力領域1012に挿入されたテキストの終わりにテキストカーソル1018を表示する。テキストカーソル1018の配置は、任意の追加のテキストが、図10Eのテキストカーソル1018のポジションから挿入されることを示す。図10Eにおいて、コンピュータシステム600は、ライブプレビュー1030上でピンチ解除入力1050eを検出する。
図10Fに示すように、ピンチ解除入力1050eの検出に応じて、コンピュータシステム600は、ライブプレビュー1030が図10Eのライブプレビュー1030よりも大きな図10Fにおけるズームレベルで表示されるように、ライブプレビュー1030を更新してズームレベルの変化を反映する。図10Fに示すように、ライブプレビュー1030がより大きなズームレベルで表示されたときに、サイン1042は拡大される。特に、サイン1042は、テキスト部分642bのサブセットの表示が中止され、テキスト部分642bのサブセットが引き続き表示されるように、拡大される。図10Fにおいて、図10Fに表示されたテキスト部分642bがプロミネンス基準のセットを満たさず、テキスト部分1026がプロミネンス基準のセットを満たしているとの判定が行われた。したがって、図10Fにおいて、これらの判定のため、コンピュータシステム600は、(例えば、図6A~6M、図7A~7L、図8、および図9を参照して以上に説明したような1つ以上の技法を使用して)、テキスト部分642bの強調を解除し、テキスト部分1026を強調する。図10Fにおいて、コンピュータシステム600は、挿入コントロール1022上でタップ入力1050fを検出する。
図10Gにおいて、テキスト部分1026がテキスト挿入基準のセットを満たしており、テキスト部分1026がテキスト挿入基準のセットを満たしていないとの判定が行われた。図10Gに示すように、テキスト部分1026がテキスト挿入基準のセットを満たしており、テキスト部分1026がテキスト挿入基準のセットを満たしていないとの判定が行われたため、タップ入力1050fの検出に応じて、コンピュータシステム600は、(テキスト部分642bではなく)テキスト部分1026をメッセージ入力領域1012に挿入する。図10Gに示すように、テキスト部分1026は、以前にメッセージ入力領域1012に挿入されたテキストの下に挿入される(例えば、「Fluffy」)。いくつかの実施形態では、テキスト部分1026は、以前にメッセージ入力領域に挿入されたテキストと同じ行に挿入される。図10Gにおいて、コンピュータシステム600は、テキスト部分1026上でタップ入力1050gを検出する。
図10Hに示すように、タップ入力1050gの検出に応じて、コンピュータシステム600は、テキスト部分1026を除くライブプレビュー1030の1つ以上の部分を暗くする(例えば、および/またはぼかす)。いくつかの実施形態では、コンピュータシステム600は、暗くされたライブプレビュー1030の任意の一部分の選択に対応している入力に応じない。いくつかの実施形態では、コンピュータシステム600は、(例えば、図6Dに関連して以上に説明したような1つ以上の技法を使用して)ライブプレビュー1030の1つ以上の部分の彩度を低減し、テキスト部分1026の彩度を維持する。
図10Hに示すように、コンピュータシステム600は、テキスト部分1026の表示のサイズを(例えば、図10Gのテキスト部分1026の表示のサイズと比較して)増大させて、テキスト部分1026が選択されていること(およびライブプレビュー1030に表示された他の暗くされたテキスト部分が選択されていないこと)を示す。図10Hにおいて、コンピュータシステム600は、テキスト部分1026上のタップ入力1050h1および終了コントロール1066上のタップ入力1050h2を検出する。
図10Iに示すように、タップ入力1050h1の検出に応じて、コンピュータシステム600は、テキスト部分1026をメッセージ入力領域1012に挿入する(例えば、図10Hのテキストカーソル1018のポジションから開始する)。
図10Iに示すように、タップ入力1050h2の検出に応じて、コンピュータシステム600は、カメラユーザインタフェース(例えば、ライブプレビュー1030および挿入コントロール1022)の表示を中止し、仮想キーボード1016を再表示する。図10Iに示すように、仮想キーボード1016は、キーボードコントロール領域1014を含む。キーボードコントロール領域1014がコンテキスト固有であるため、図10Iのキーボードコントロール領域1014は、図10Bのキーボードコントロール領域1014と異なっている。すなわち、キーボードコントロール領域1014が表示されている間にテキストカーソル1018が現在場所しているフィールドに基づいて、キーボードコントロール領域1014内で表示されたコントロールは含まれる。例えば、テキストカーソル1018が図10Bにおける電子メールアドレステキスト入力領域1006内に表示されているため、コンピュータシステム600は、コントロール(例えば、1014a)のセットを有するキーボードコントロール領域1014を表示する。図10Iに示すように、テキストカーソル1018がメッセージ入力領域1012内に表示されているため、キーボードコントロール領域1014は、(例えば、選択されたときにコンピュータシステム600に、仮想キーボード1016を介して入力されたテキストのフォーマットを変更するコントロールを表示させる)テキストフォーマットコントロール1014f、(例えば、選択されたときにコンピュータシステム600に、コンピュータシステム600にローカルに記憶された、またはリモートに記憶された多くのメディアアイテムを表示させる)写真コントロール1014b、(例えば、選択されたときにコンピュータシステム600に、挿入コントロール(例えば、図6A~図6Mに関連して以上に説明したカメラユーザインタフェース)を表示させずにライブプレビューを表示させる)カメラコントロール1014c、(例えば、選択されたときにコンピュータシステム600に、コンピュータシステムにローカルに記憶された、またはリモートに記憶された文書(例えば、ワード文書、pdf文書)の複数のサムネイル表現を表示させる)ファイルコントロール1014d、(例えば、選択されたときにコンピュータシステムに、ユーザが文書のスキャンを実行することを可能にするユーザインタフェースを表示させる)スキャンコントロール1014e、および挿入コントロール1014eを含む。いくつかの実施形態では、1つ以上の他の異なったコントロールが、キーボードコントロール領域1014の一部分として表示される。いくつかの実施形態では、キーボードコントロール領域1014は、選択されたときにコンピュータシステム600にキーボードコントロール領域1014内の追加のコントロールを表示させるコントロールを含む。
以上に説明したように、カメラコントロール1014cまたは挿入コントロール1014aの選択は、コンピュータシステム600に、ライブプレビューを含むユーザインタフェースを表示させる。しかしながら、挿入コントロール1014aの選択に応じて表示されたユーザインタフェースは、カメラコントロール1014cの選択に応じて表示されたユーザインタフェースと異なっている。挿入コントロール1014aの選択に応じて表示されたユーザインタフェースは、テキストをテキスト入力領域に挿入することに対したコントロールをユーザに提供するが、カメラコントロール1014cの選択に応じて表示されたユーザインタフェースは、テキストをテキスト入力領域に挿入することに対したコントロールをユーザに提供しない。
図10Iに戻ると、コンピュータシステム600は、仮想キーボード1016のバックスペースキーの選択に対応しているタップ入力1050iを検出する。図10Jに示すように、タップ入力1050iの検出に応じて、コンピュータシステム600は、以前にメッセージ入力領域1012に挿入されたテキストを削除する。図10Jにおいて、コンピュータシステム600は、挿入コントロール1014a上のタップ入力1050jを検出する。図10Kに示すように、タップ入力1050jの検出に応じて、コンピュータシステム600は、図10Cに関連して以上に説明したものと同様の1つ以上の技法を使用して、仮想キーボード1016の表示をライブプレビュー1030の表示に置き換える。図10Kにおいて、コンピュータシステム600は、ライブプレビュー1030上のスワイプ入力1050kを検出する。
図10Lに示すように、スワイプ入力1050kの検出に応じて、コンピュータシステム600は、スワイプ入力1050kに基づいて、テキスト部分642bのサブセット(例えば、「CALL 123-4567 IF YOU HAVE ANY」)を強調表示および/または選択する。言い換えれば、図10Lにおいて、コンピュータシステム600は、テキスト部分642b内の他のテキストに対してテキスト部分642bのサブセットを視覚的に強調する。図10Lに示すように、スワイプ入力1050kの検出に応じて、コンピュータシステム600は、テキスト部分642bの強調されたサブセットを除いて、ライブプレビュー1030の複数の部分を暗くする。図10Lに示すように、スワイプ入力1050kの検出に応じて、コンピュータシステム600は、テキスト部分642bに含まれたテキストをどのようにメッセージ入力領域1012に挿入するかについてのガイダンスをユーザに提供した、ライブプレビュー1030の最上部に重ね合わせられた命令1038を更に表示する。
図10Lに示すように、スワイプ入力1050kの検出に応じて、コンピュータシステム600は、(例えば、追加の介在したユーザ入力なしに)選択されたテキストのプレビューをメッセージ入力領域1012に自動的に挿入する。すなわち、コンピュータシステム600は、コンピュータシステム600がスワイプ入力1050kを検出したときに、テキスト部分642bに含まれたテキストの個別の部分のプレビューをメッセージ入力領域1012に挿入する(例えば、コンピュータシステム600は、「CALL 123-4567 IF YOU HAVE ANY」の全体を一度に挿入せず、その代わりに、コンピュータシステム600は、ある期間にわたってメッセージ入力領域1012に挿入されたテキストのサブセットの個別の文字の動画を表示する)。いくつかの実施形態では、コンピュータシステム600は、スワイプ入力1050kが上記のフレーズ内の各単語にわたって進むにつれて、単語ごとに「CALL 123-4567 IF YOU HAVE ANY」をメッセージ入力領域1012に挿入する。いくつかの実施形態では、コンピュータシステム600が、選択されたテキストのプレビューをメッセージ入力領域1012に挿入した後、かつ挿入されたテキストが相変わらず選択されている間に、コンピュータシステム600は、スワイプ入力1050kの方向(例えば、反対方向)の変化を検出し、選択されたテキストのプレビューを介して表示されたテキストの文字のうちの1つ以上をメッセージ入力領域1012から削除する。図10Lにおいて、コンピュータシステム600は、ライブプレビュー1030上のスワイプ入力1050kを引き続き検出する。
図10Mに示すように、スワイプ入力1050kの検出に応じて、コンピュータシステムは、テキスト「INFORMATION」を視覚的に強調する(例えば、強調表示する)。「$1000 REWARD」は、図10Lに関連して以上に説明したような1つ以上の技法を使用して、テキスト部分642bに含まれる。図10Mに示すように、コンピュータシステム600は、「CALL 123-4567 IF YOU HAVE ANY」および「INFORMATION」を視覚的に強調している。テキスト部分642bの$1000 REWARD」。図10Mに示すように、スワイプ入力1050kの検出に応じて、コンピュータシステム600は、図10Lに関連して以上に説明したような1つ以上の技法を用いて、強調されたテキスト部分642bのサブセットのプレビューをメッセージ入力領域1012に挿入する。図10Mにおいて、コンピュータシステム600は、スワイプ入力1050k(例えば、ドラッグ入力)のリフトオフを検出する。
図10Nに示すように、スワイプ入力1050kのリフトオフの検出に応じて、コンピュータシステム600は、ライブプレビュー1030上の1つ以上の他の入力が、テキスト部分642bに挿入されたテキストをメッセージ入力領域1012から変更しない(例えば、除外しない)ように、図10Mの強調されたテキスト部分642bのサブセットをメッセージ入力領域1012に挿入する。
図10Nに示すように、スワイプ入力1050kのリフトオフの検出に応じて、コンピュータシステム600は、挿入コントロール1022を暗くする、および/または挿入コントロール1022を選択可能でないものとして表示する。いくつかの実施形態では、スワイプ入力1050kのリフトオフの検出に応じて、コンピュータシステム600は、挿入コントロール1022の表示を中止する。いくつかの実施形態では、コンピュータシステム600は、スワイプ入力1050kのリフトオフの検出に応じて、挿入コントロール1022を選択可能なものとして表示する。図10Nにおいて、コンピュータシステム600は、終了コントロール1066上のタップ入力1050nを検出する。
図10Oに示すように、タップ入力1050nの検出に応じて、コンピュータシステム600は、ライブプレビュー1030の表示を中止し、仮想キーボード1016を表示する。図10Oにおいて、コンピュータシステム600は、電子メールアドレステキスト入力領域1006上のタップ入力1050oを検出する。
図10Pに示すように、タップ入力1050oの検出に応じて、コンピュータシステム600は、電子メールアドレステキスト入力領域1006内でテキストカーソル1018を表示する。図10Pにおいて、コンピュータシステム600は、挿入コントロール1014a上のタップ入力1050pを検出する。
図10Qに示すように、タップ入力1050pの検出に応じて、コンピュータシステム600は、仮想キーボード1016の表示をライブプレビュー1030の表示に置き換える。図10Qのライブプレビュー1030は、ビジネスカード1060の表現を含む。ビジネスカード1060の表現は、電子メールアドレスのリスト(例えば、「CASEY@AUTO.COM」)を含む。ビジネスカード1060の表現が電子メールアドレスを含むため、コンピュータシステム600は、電子メールアドレスの下にテキストタイプインジケーション1064を表示して、電子メールアドレスが検出されていることをユーザに示す。図10Qにおいて、ビジネスカード1060の表現に含まれたテキストがテキスト挿入基準のセットを満たしていないとの判定が行われた。図10Qに示すように、ビジネスカード1060の表現に含まれたテキストのいずれもテキスト挿入基準のセットを満たしていないとの判定が行われたため、コンピュータシステム600は、挿入コントロール1022が非アクティブである(例えば、選択可能でない)ことを示す外観で挿入コントロール1022を表示する。いくつかの実施形態では、(例えば、ビジネスカード1060の表現に含まれたテキストがテキスト挿入基準のセットを満たしていないとの判定が行われたため)ビジネスカード1060の表現のテキストのいずれも選択可能ではない。いくつかの実施形態では、表示されたテキストがライブプレビュー1030に表示されたようなしきいサイズ(例えば、14pt)を上回らないため、ビジネスカード1060のテキストは選択可能ではない、および/またはテキスト挿入基準のセットを満たしていない。いくつかの実施形態では、ビジネスカード1060の表現内に1つ以上の基準を満たしているテキストがないとの判定が行われた場合、コンピュータシステム600は挿入コントロール1022を表示しない。図10Qにおいて、コンピュータシステム600は、ライブプレビュー1030上のピンチ解除入力1050qを検出する。
図10Rに示すように、ピンチ解除入力1050qの検出に応じて、コンピュータシステム600は、ビジネスカード1060のサイズを増加させるように、ライブプレビュー1030のズームレベルを増加させる。図10Rにおいて、コンピュータシステム600は、ビジネスカード1060の表現に含まれた電子メールアドレスが、テキスト挿入基準のセットおよび視覚プロミネンス基準のセットを満たしているとの判定を行った。ビジネスカード1060の表現に含まれた電子メールアドレスが視覚プロミネンス基準を満たしているとの判定が行われたため、コンピュータシステム600は、電子メールアドレスを視覚的に強調する(例えば、コンピュータシステム600は、電子メールアドレスをボックスで囲む、強調表示する、または括弧で囲むことによって、電子メールアドレスを表示する)。図10Rに示すように、テキストカーソル1018は、電子メールアドレスに関連付けられた電子メールアドレステキスト入力領域1006内に表示される。図10Rにおいて、ビジネスカード1060が電子メール(CASEY@AUTO.COM)を含み、電子メールのテキストがしきいサイズを上回るため、ビジネスカード1060の表現に含まれた電子メールアドレスが視覚プロミネンス基準のセットおよび/またはテキスト挿入基準のセットを満たしているとの判定が行われた。図10Rに示すように、テキスト挿入基準のセットが満たされているとの判定が行われたため、したがって、コンピュータシステム600は、挿入コントロール1022が選択可能であることをユーザに示す外観(例えば、ぼかすことおよび/または暗くすることがない)で挿入コントロール1022を表示する。図10Rにおいて、コンピュータシステム600は、ライブプレビュー1030内のピンチ入力1050rを検出する。
図10Sに示すように、ピンチ入力1050rの検出に応じて、コンピュータシステム600は、ビジネスカード1060の表現が増加したサイズで表示されるように、ライブプレビュー1030をズームする。図10Sに示すように、ビジネスカード1060の表現に含まれたテキストがプロミネンス基準のセットを満たしていないとの判定が行われた。図10Sに示すように、ビジネスカード1060の表現に含まれたテキストがプロミネンス基準のセットを満たしていないため、コンピュータシステム600は、挿入コントロール1022を表示しない。図10Sにおいて、コンピュータシステム600は、ライブプレビュー1030上のピンチ解除入力1050sを検出する。
図10Tに示すように、ピンチ解除入力1050sの検出に応じて、コンピュータシステム600は、ビジネスカード1060の表現が図10Sにおけるビジネスカード1060の表現の表示と比較して増加したズームレベルで表示されるように、ライブプレビュー1030内のビジネスカード1060の表現の表示を更新してズームレベルの変化を反映する。図10Tにおいて、ビジネスカード1060の表現に含まれた電子メールアドレスが1つ以上の基準(例えば、テキスト挿入基準のセットおよび/または視覚プロミネンス基準のセット)を満たし、ビジネスカード1060の表現が電子メールの形態のテキストを含むとの判定が行われた。したがって、コンピュータシステム600は、挿入コントロール1022が選択可能であることをユーザに示す外観(例えば、ぼかすことおよび/または暗くすることがない)で挿入コントロール1022を表示する。図10Tにおいて、コンピュータシステムは、挿入コントロール1022の選択に対応しているタップ入力1050tを検出する。
図10Uに示すように、タップ入力1050tの検出に応じて、コンピュータシステム600は、ビジネスカード1060の表現に含まれた電子メールアドレスを、電子メールアドレステキスト入力領域1006に挿入する。タップ入力1050tの検出に応じて、コンピュータシステム600は、テキストカーソル1018の表示を、電子メールアドレステキスト入力領域1006から補足的な電子メールアドレステキスト入力領域1008に移動させる。いくつかの実施形態では、タップ入力1050tの検出に応じて、コンピュータシステム600は、電子メールアドレステキスト入力領域1006内でテキストカーソル1018の表示を維持する。
図10Uに示すように、補足的電子メールアドレステキスト入力領域1008が電子メールアドレスに関連付けられており、ビジネスカード1060の表現が、(例えば、ビジネスカード1060の表現内の電子メールアドレスを囲む視覚強調が示すように)1つ以上の基準のセットを満たしている電子メールアドレスの形態のテキストを含むため、コンピュータシステム600は、挿入コントロール1022の表示を有効化されたものとして(例えば、選択可能なものとして)維持する。いくつかの実施形態では、タップ入力1050tの検出に応じて、コンピュータシステム600は挿入コントロール1022を非アクティブなものとして表示する。図10Uにおいて、コンピュータシステム600は、件名テキスト入力領域1010の選択に対応しているタップ入力1050uを検出する。
図10Vに示すように、タップ入力1050uの検出に応じて、コンピュータシステム600は、件名テキスト入力領域1010内でテキストカーソル1018を表示する。件名テキスト入力領域1010は、あるタイプのテキスト(例えば、電子メールメッセージの簡単な説明を提供するために使用されたテキストタイプ)に関連付けられている。図10Vにおいて、(例えば、ビジネスカード1060上で表示された)フレーズ「OIL CHANGE SPECIAL ONLY 29.99」が、件名テキスト入力領域1010に関連付けられたタイプのテキストを構成し、したがって、視覚プロミネンス基準のセットを満たしているとの判定が行われた。図10Vに示すように、上記のフレーズが視覚プロミネンス基準のセットを満たしているため、コンピュータシステム600は、フレーズ(例えば、「OIL CHANGE SPECIAL ONLY 29.99」)を視覚的に強調する。
特に、図10Vにおいて、ビジネスカード1060の表現に含まれた電子メールアドレスが、件名テキスト入力領域1010に関連付けられたタイプのテキストを構成せず、したがって、視覚プロミネンス基準のセットを満たしていないとの判定が行われた。したがって、電子メールアドレスは、図10Vにおける視覚プロミネンス基準のセットを満たしていないため、電子メールアドレスは、図10Vにおいて視覚的に強調されない。図10Vにおいて、コンピュータシステム600は、挿入コントロール1022の選択に対応しているタップ入力1050vを検出する。
図10Wに示すように、タップ入力1050vの検出に応じて、コンピュータシステム600は、フレーズ(例えば、「OIL CHANGE SPECIAL ONLY 29.99」)が視覚プロミネンス基準のセットを満たしているとの判定に基づいて、このフレーズを件名テキスト入力領域1010に挿入する。テキスト挿入基準のセットが満たされているとの判定が行われたため、コンピュータシステム600は、コンピュータシステム600がタップ入力1050vを検出した後に視覚強調を伴った表示を維持している間、挿入コントロール1022をアクティブなものとして引き続き表示する。いくつかの実施形態では、コンピュータシステム600が既にフレーズ「OIL CHANGE SPECIAL ONLY 29.99」を挿入しており、したがって、図10Wにおいてテキスト挿入基準のセットが満たされていないため、コンピュータシステム600は、コンピュータシステム600がタップ入力1050vを検出した後に視覚強調を伴った表示を維持している間、挿入コントロール1022を非アクティブな(例えば、グレーアウトされた、ぼかされた)ものとして表示する。図10Wにおいて、コンピュータシステム600は、ライブプレビュー1030とメッセージ入力領域1012との間の境界上で上向きスワイプ入力1050wを検出する。
図10Xに示すように、上向きスワイプ入力1050wの検出に応じて、コンピュータシステム600は、コンピュータシステム600がもはや電子メールユーザインタフェース1002を表示しないように、ライブプレビュー1030の表示を拡大する。電子メールユーザインタフェース1002の表示が中止されているが、コンピュータシステム600は、図10Wを参照して説明した1つ以上の判定に基づいて、挿入コントロール1022の表示をアクティブなものとして維持する。いくつかの実施形態では、コンピュータシステム600は、スライドアップして電子メールユーザインタフェース1002の複数の部分を置き換えるライブプレビュー1030の動画を表示する。いくつかの実施形態では、電子メールユーザインタフェース1002の一部分は、ライブプレビュー1030が拡大された後に表示される。いくつかの実施形態では、図10Xにおいて、コンピュータシステム600は、コンピュータシステム600がライブプレビュー1030の拡張したバージョンを表示している間に挿入コントロール1022が非アクティブであることを示す外観で挿入コントロール1022を表示する。いくつかの実施形態では、コンピュータシステム600がライブプレビュー1030の拡張したバージョンを表示している間に、かつ挿入コントロール1022の選択に対応している入力の検出に応じて、コンピュータシステム600は、(例えば、図10A~図10Xに関連して以上に説明した1つ以上の技法を使用して)ライブプレビュー1030に含まれたテキスト(例えば、コンピュータシステム600が視覚的に強調されたものとして表示したテキスト)を、テキストカーソル1018を含む(例えば、ライブプレビュー1030の拡大したバージョンの表示の直前に表示されるユーザインタフェースに含まれた)テキスト入力領域に挿入できる。
図10A~図10Xは、FOV(例えば、ライブプレビュー1030)内でテキストを検出して挿入するコンピュータシステム600に関連して以上に説明されている。いくつかの実施形態では、コンピュータシステム600は、図10A~10Xに関連して以上に説明したような1つ以上の同様の技法を使用して、以前に表示されたメディアの表現内のテキストを検出して挿入する。
図10Y~図10Zは、検索ユーザインタフェースが表示されて、挿入コントロールが仮想キーボードと異なったユーザインタフェースオブジェクトで表示され得ることを示す例示的な実施形態を示す。図10Yに示すように、検索ユーザインタフェース1082は、(例えば、リアルタイム株式情報を含む)株式ウィジェット1082a、(例えば、ニュースヘッドラインを含む)ニュースウィジェット1082b、(例えば、特定の場所の天気情報を含む)天気ウィジェット1082c、(例えば、イベントに関する情報を含む)カレンダーウィジェット1082d、および検索テキスト入力領域1082eを含む。図10Yにおいて、コンピュータシステム600は、検索テキスト入力領域1082e内でタップ入力1050yを検出する。
図10Zに示すように、タップ入力1050yの検出に応じて、コンピュータシステム600は、検索ユーザインタフェース1082の表示を更新して、テキストカーソル1018および挿入コントロール1014aを検索テキスト入力領域1082e内に含める。更に、コンピュータシステム600は、仮想キーボード1016および提案バナー1084が表示されるが、株式ウィジェット1082a、ニュースウィジェット1082b、天気ウィジェット1082c、およびカレンダウィジェット1082dの表示が中止されるように、検索ユーザインタフェース1082を更新する。図10Bおよび図10Cに関連して以上に説明したように、図10Zの挿入コントロール1014aの選択は、コンピュータシステム600に、仮想キーボード1016の表示を、ライブプレビューおよび挿入アフォーダンスを含むカメラユーザインタフェースに置き換えさせる。更に、コンピュータシステム600は、図10A~10Xに関連して以上に説明したような1つ以上の技法を使用して、ライブプレビューにおいて検出されたテキストを図10Zの検索テキスト入力領域1082eに挿入できる。
図10AA~図10ADは、コンピュータシステム1000(例えば、デスクトップコンピュータ)が、テキストを挿入するために、図10A~図10Xに関連して以上に説明したものと同様の1つ以上の技法を利用する例示的な実施形態を示す。図10AAに示すように、コンピュータシステム1000は、インターネットブラウザユーザインタフェース1090を表示する。インターネットブラウザユーザインタフェース1090は、テキスト部分642bおよびテキスト部分1026を含むサイン1042の表現を含む。図10AAにおいて、サイン1042の表現は、以前にキャプチャされた画像であり、ライブプレビューではない。いくつかの実施形態では、サイン1042の表現は、コンピュータシステム1000の1つ以上のカメラの視野のライブプレビューである。
図10AAに示すように、コンピュータシステム1000は、サイン1042の表現の最上部に重ね合わせられたマウスインジケータ1088を表示する。図10AAに示すように、コンピュータシステム1000は、ポインタとしてマウスカーソルを表示する。図10AAにおいて、コンピュータシステム1000は、テキスト部分642b上のマウスクリックを検出する。
図10ABに示すように、テキスト部分642b上のマウスクリックの検出に応じて、コンピュータシステム1000は、コントロールメニュー1092を表示する。コントロールメニュー1092は、新規タブでオープンするコントロール1092a、新規ウィンドウでオープンするコントロール1092b、画像を保存するコントロール1092c、として画像を使用するコントロール1092d、画像アドレスをコピーするコントロール1092e、および画像をコピーするコントロール1092fを含む。図10ABにおいて、コンピュータシステム1000は、画像をコピーするコントロール1092f上のマウスクリックを検出する。
図10ABにおいて、テキスト部分642bの選択に対応しているマウスクリックの検出に応じて、コンピュータシステム1000は、サイン1042の表現をテキストバッファにコピーする。
図10ACに示すように、コンピュータシステム1000は、インターネットブラウザユーザインタフェース1090の最上部に重ね合わせられたワードプロセッサユーザインタフェース1096を表示する。ワードプロセッサユーザインタフェース1096は、コントロールメニュー1094を含む。コントロールメニュー1094は、貼り付けるコントロール1094cおよびテキストとして貼り付けるコントロール1094dのようなアプリケーション(例えば、ワードプロセッサユーザインタフェース1096)と対話するために選択されることができる様々なコントロールを含む。いくつかの実施形態では、コンピュータシステム1000がコントロールメニュー1094を表示している間に、コンピュータシステム1000は、コントロールメニュー1094を表示している間に挿入コントロール1014aも表示する。図10ACにおいて、コンピュータシステム1000は、テキストとして貼り付けるコントロール1094d上のマウスクリックを検出する。
図10ADに示すように、テキストとして貼り付けるコントロール1094d上のマウスクリックの検出に応じて、コンピュータシステム1000は、図10AA~10ABのサイン1042からのテキストをワードプロセッサユーザインタフェース1096に貼り付ける。特に、図10ADにおいて、テキストとして貼り付けるコントロール1094d上のマウスクリックの検出に応じて、図10AA~10ABのサイン1042の表現の画像が挿入されない。いくつかの実施形態では、貼り付けるコントロール1094c上のマウスクリックの検出に応じて、コンピュータシステム1000は、(図10AA~図10ABに示すように)サイン1042を含む表現の画像を挿入する。したがって、いくつかの実施形態では、貼り付けるコントロール1094cの選択およびテキストとして貼り付けるコントロール1094dの選択は、コンピュータシステム600に、2つの異なった動作(例えば、画像を貼り付ける、画像からのテキストを貼り付ける動作)を実行させる。いくつかの実施形態では、画像が貼り付けられたときに、コンピュータシステム600は、図6A~図6Mおよび図7A~図7Lに関連して以上に説明したような1つ以上の技法を使用して、画像と対話することができる。
図11は、いくつかの実施形態に係る、メディア内の視覚コンテンツを挿入する方法を示すフロー図である。方法1100は、1つ以上のカメラ、1つ以上の入力デバイス、および表示生成コンポーネントと通信しているコンピュータシステム(例えば、100、300、500、および/または600)において行われる。方法1100のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法1100は、メディア内の視覚コンテンツを挿入する直観的な方法を提供する。本方法は、メディア内の視覚コンテンツを挿入するユーザの認知的負担を軽減し、それによって、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザがメディア内の視覚コンテンツをより速くかつより効率的に挿入することを可能にすることは、電力を節約し、バッテリ充電の間隔時間を長くする。
コンピュータシステム(例えば、600)(例えば、スマートフォン、デスクトップコンピュータ、ラップトップ、タブレット)は、1つ以上のカメラ(例えば、コンピュータシステムの同じ側または異なった側の1つ以上のカメラ(例えば、デュアルカメラ、トリプルカメラ、クワッドカメラなど)(例えば、フロントカメラ、バックカメラ))、1つ以上の入力デバイス(例えば、タッチ感知面)、および表示生成コンポーネント(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム)と通信している。いくつかの実施形態では、コンピュータシステムは、1つ以上の入力デバイス(例えば、タッチ感知面)と通信している。
コンピュータシステムは、テキスト入力領域(例えば、1006、1008、1010、1012)(例えば、テキスト入力領域)を含む第1のユーザインタフェース(例えば、1002)を表示する(1102)。
テキスト入力領域(例えば、1006、1008、1010、1012)を含む第1のユーザインタフェース(例えば、1002)を表示している間に、コンピュータシステムは、(例えば、1つ以上の入力デバイスを介して)(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースを表示する要求(例えば、1050b、1050j、1050p)を検出する(1104)(例えば、カメラの呼び出しを検出する)。いくつかの実施形態では、カメラユーザインタフェースを表示する要求は、カメラ呼び出しユーザインタフェースオブジェクト(例えば、選択可能なユーザインタフェースオブジェクト)上のジェスチャ(例えば、タップジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ)が検出されたときに検出される。いくつかの実施形態では、カメラ呼び出しユーザインタフェースオブジェクトは、キーボード(例えば、キーボードユーザインタフェースオブジェクト)に含まれる。
(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースを表示する要求(例えば、1050b、1050j、1050p)の検出に応じて(1106)、コンピュータシステムは、表示生成コンポーネントを介して、1つ以上のカメラの視野の表現(1108)を含む(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースを、(例えば、テキスト入力領域を含むユーザインタフェースと同時に)表示し、かつ1つ以上のカメラの視野の表現が、1つ以上の基準(例えば、テキスト入力領域に挿入するのに利用可能にされる検出されたテキストのために満たされる必要がある、1つ以上のカメラの視野内のテキストの最小サイズ、最小プロミネンス、および/または所定の場所を指定するテキスト選択基準)を満たしている検出されたテキストを含むとの判定に従って、検出されたテキスト(例えば、642b、1026)の少なくとも一部分をテキスト入力領域(例えば、1006、1008、1010、1012)に挿入する選択可能なテキスト挿入ユーザインタフェースオブジェクト(例えば、アフォーダンス)を表示する(例えば、1022)。いくつかの実施形態では、1つ以上のカメラの視野の表現は、以前にキャプチャされたメディア(例えば、保存されたメディア(例えば、後でユーザによる検索のために保存、記憶されたメディア))の表現である。いくつかの実施形態では、(例えば、メディアギャラリーに表示された)以前にキャプチャされたメディアのサムネイル表現に向けられた入力の受信に応じて、以前にキャプチャされたメディアの表現も表示された。いくつかの実施形態では、1つ以上のカメラの視野の表現は、ライブプレビューおよび/または保存されたメディアではないおよび/または現在キャプチャされているメディアの表現である。
視野の表現とテキスト挿入ユーザインタフェースオブジェクト(例えば、1022)とを同時に表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、テキスト挿入ユーザインタフェースオブジェクト(例えば、1022)の(例えば、タップジェスチャを介した、および/またはオブジェクトに向けられた)選択に対応している入力(例えば、1050f、1050t、1050v)を検出する(1112)。
テキスト挿入ユーザインタフェースオブジェクト(例えば、1022)の選択に対応している入力(例えば、1050f、1050t、1050v)の検出に応じて、コンピュータシステムは、(例えば、テキスト入力領域に表示されたカーソルのポジションで)検出されたテキスト(例えば、642b、1026)の少なくとも一部分をテキスト入力領域(例えば、1006、1008、1010、1012)に挿入する(1114)。いくつかの実施形態では、個別のテキストをテキスト入力領域に挿入することの一部分として、コンピュータシステムは、テスト入力フィールド内で個別のテキストを表示する。いくつかの実施形態では、テキスト挿入ユーザインタフェースオブジェクトの選択の検出に応じて、コンピュータシステムは、1つ以上のカメラの視野の表現、テキスト挿入ユーザインタフェースオブジェクト、および/または1つ以上の他のカメラユーザインタフェースオブジェクトの表示を中止する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ)である。所定の条件が満たされたときにテキスト挿入ユーザインタフェースオブジェクトを自動的に表示することは、ユーザが追加の入力を提供する必要なしに、検出されたテキストがユーザに関連し得ることをユーザに自動的に示す。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。視野の表現をテキスト挿入ユーザインタフェースオブジェクトと同時に表示することは、ユーザが1つ以上のカメラの視野の表現の内容を分析および閲覧することができる間に、検出されたテキストを挿入するオプションをユーザに提供することによって、改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、カメラユーザインタフェースを表示する要求の検出に応じて、かつ1つ以上のカメラの視野の表現が1つ以上の基準を満たしている検出されたテキスト(例えば、642b、1026)を含まないとの判定に従って、カメラユーザインタフェースを表示することの一部分として、コンピュータシステムは、テキスト挿入ユーザインタフェースオブジェクトの表示をやめる。所定の条件が満たされたときにテキスト挿入ユーザインタフェースオブジェクトの表示を見合わせることは、視野内で検出されたテキストを含まない表現が関連していない可能性があることをユーザに自動的に示す。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースを表示することの一部分として、カメラユーザインタフェースを表示する要求(例えば、1050b、1050j、1050p)の検出に応じて、かつ1つ以上のカメラの視野の表現が1つ以上の基準を満たしている検出されたテキスト(例えば、642b、1026)を含み、かつ1つ以上のカメラの視野の表現が1つ以上の基準を満たしている検出されたテキストを含まないとの判定に従って、コンピュータシステムは、テキスト挿入ユーザインタフェースオブジェクト(例えば、1022)を表示し、テキスト挿入ユーザインタフェースオブジェクトは選択可能でない(例えば、グレーアウトされている、非アクティブである)。いくつかの実施形態では、1つ以上のカメラの視野の表現およびテキスト挿入ユーザインタフェースオブジェクトを選択可能でないものとして同時に表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、テキスト挿入ユーザインタフェースオブジェクトの選択に対応している個別の入力を検出し;テキスト挿入ユーザインタフェースオブジェクトの選択に対応している第2の入力の検出に応じて、コンピュータシステムは、検出されたテキストの少なくとも一部をテキスト入力領域に挿入しない。いくつかの実施形態では、テキスト挿入ユーザインタフェースオブジェクトは選択可能である(例えば、グレーアウトされていない、アクティブである)。所定の条件が満たされたときにテキスト挿入ユーザインタフェースオブジェクトを選択可能でないものとして表示することは、視野の表現が、関連し得るテキストを含まないことをユーザに自動的に示す。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、カメラユーザインタフェースを表示する要求の検出に応じて、かつテキスト挿入ユーザインタフェースオブジェクト(1022)が選択可能でないとの判定に従って、カメラユーザインタフェースを表示することの一部分として、コンピュータシステムは、テキスト挿入ユーザインタフェースオブジェクトが無効化されている(例えば、1022(例えば、図10Cにおける1022))(例えば、選択可能でない)ことを示す外観(例えば、グレーアウト、暗くすること、彩度低下、押下)でテキスト挿入ユーザインタフェースオブジェクトを表示する。いくつかの実施形態では、テキストユーザインタフェースオブジェクトが選択可能であるとの判定に従って、テキスト挿入ユーザインタフェースオブジェクトは、テキスト挿入ユーザインタフェースオブジェクトが有効化されていることを示す外観(例えば、非グレーアウト、押下解除)で表示される。いくつかの実施形態では、テキスト挿入ユーザインタフェースオブジェクトが有効化されていることを示す外観は、テキスト挿入ユーザインタフェースオブジェクトが無効化されていることを示す外観と異なっている。テキスト挿入ユーザインタフェースオブジェクトが無効化されていることを示す外観でテキスト挿入ユーザインタフェースオブジェクトを表示することは、テキスト挿入ユーザインタフェースオブジェクトが無効化されていることをユーザに示すことによってユーザに改善されたフィードバックを提供し、かつテキスト挿入ユーザインタフェースオブジェクトに向けられた入力が選択されたときに、コンピュータシステムに動作を実行させない可能性がある。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースは、カメラユーザインタフェースを表示する要求(例えば、1050b、1050j、1050p)が検出される前に(例えば、表示生成コンポーネント上に)表示されない。
いくつかの実施形態では、ユーザインタフェースは、入力エントリユーザインタフェース要素(例えば、1016)(例えば、キーボード、検索エントリフィールド(例えば、検索バー))(例えば、選択可能なユーザインタフェースオブジェクト)を含み、入力エントリユーザインタフェース要素は、入力エントリユーザインタフェース要素内の場所(例えば、左上、右上、1つ以上の入力オブジェクト(例えば、キーボードのキー)の上)で表示されたユーザインタフェースオブジェクト(例えば、1014a)(例えば、テキスト挿入カメラユーザインタフェースオブジェクト)(例えば、選択可能なユーザインタフェースオブジェクト)を含む。いくつかの実施形態では、カメラユーザインタフェースを表示する要求は、第2のユーザインタフェースオブジェクトに向けられた入力(例えば、タップジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)が検出されたときに受信される。入力エントリユーザインタフェース要素内の場所で第2のユーザインタフェースオブジェクトを表示することは、ユーザが入力エントリユーザインタフェース要素と対話したときに関連し得る第2のユーザインタフェースオブジェクトを提供することによって、ユーザにフィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、テキスト入力領域(例えば、1006、1008、1010、1012)を含む第1のユーザインタフェース(1022)を表示している間、かつ(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースを表示する要求を検出する前に、コンピュータシステムは、1つ以上の入力デバイスを介して、テキスト入力領域(1050c)に向けられた入力(例えば、テキスト入力領域内の入力)(例えば、タップジェスチャ)を検出する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、テキスト入力領域に向けられた入力の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、第3のユーザインタフェースオブジェクト(例えば、1014a)(例えば、第2のユーザインタフェースオブジェクト)を(例えば、第1のユーザインタフェース内に)表示する。いくつかの実施形態では、カメラユーザインタフェースを表示する要求は、第3のユーザインタフェースオブジェクトに向けられた入力(例えば、タップジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)が検出されたときに受信される。いくつかの実施形態では、テキスト入力領域に向けられた入力の検出に応じて、コンピュータシステムは、テキスト入力領域にカーソルを表示する。テキスト入力領域に向けられた入力の検出に応じて、第3のユーザインタフェースオブジェクトを表示することは、第3のユーザインタフェースオブジェクトがコンピュータシステムによって表示されたときをユーザがコントロールすることを可能にすることによって、ユーザインタフェースを混乱させずにコンピュータシステムの追加のコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、選択されたときにコンピュータシステム(例えば、600)にコピーされたテキストを表示させる(およびいくつかの実施形態では、コピーされたテキストをカーソルの場所および/またはフィールドおよび/または文書に挿入する)第4のユーザインタフェースオブジェクト(例えば、1094d)は、第3のユーザインタフェースオブジェクト(例えば、1014a)と同時に表示される。選択されたときにコンピュータシステムに第3のユーザインタフェースオブジェクトと同時にコピーされたテキストを表示させる第4のユーザインタフェースオブジェクトを表示することは、コントロールを表示する追加の入力を必要とせずに、かつUIを混乱させずに、コピーされたテキストを貼り付けるコントロールとテキストを挿入するコントロールとを同時に提供することによって、コンピュータシステムの追加のコントロールをユーザに提供する。動作を実行するのに必要な入力の数を低減すること、およびUIを追加の表示されたコントロールで混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースを表示する要求(例えば、1050b、1050j、1050p)を検出する前に(例えば、前に)、第1のユーザインタフェース(例えば、1002)は、第1のユーザインタフェース内の第1の場所(例えば、テキスト入力領域の下)に表示されたキーボード(例えば、1016)(例えば、ソフトキーボード)を含む。いくつかの実施形態では、第2のユーザインタフェースオブジェクトは、キーボード上に表示される。いくつかの実施形態では、(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースを表示することの一部分として、コンピュータシステムは、第1の場所におけるキーボードの表示を、第1の場所におけるカメラユーザインタフェースの表示に置き換える(例えば、キーボードの表示を中止する)。カメラユーザインタフェースを表示したときにキーボードの表示をカメラユーザインタフェースオブジェクトの表示に置き換えることは、キーボードがカメラユーザインタフェースに関連していないとの視覚フィードバックをユーザに提供し、ユーザインタフェースの混乱を解消する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、カメラユーザインタフェース(例えば、1002)は、第1のサイズで表示される。いくつかの実施形態では、カメラユーザインタフェースを第1のサイズで表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、(例えば、1022、1066、および1030を含むことができる)カメラユーザインタフェースに向けられた入力(1050w)(例えば、スワイプジェスチャ)を検出する。いくつかの実施形態では、入力は、非スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャおよび/またはタップジェスチャ)である。いくつかの実施形態では、カメラユーザインタフェースに向けられた入力の検出に応じて、コンピュータシステムは、カメラユーザインタフェースのサイズを、第1のサイズ(例えば、非ゼロサイズ)から、第1のサイズと異なった(例えば、第1のサイズより大きいまたは小さい)第2のサイズ(例えば、非ゼロサイズ)に変更する。いくつかの実施形態では、カメラユーザインタフェースのサイズを第1のサイズから第2のサイズに変更することの一部分として、コンピュータシステムは、カメラユーザインタフェースを第1のサイズから第2のサイズに拡大する。いくつかの実施形態では、カメラユーザインタフェースのサイズを第1のサイズから第2のサイズに変更することの一部分として、コンピュータシステムは、カメラユーザインタフェースのサイズを第1のサイズから第2のサイズに縮小する。いくつかの実施形態では、カメラユーザインタフェースのサイズを変更することの一部分として、1つ以上のカメラの視野の表現のサイズが増加/減少される。いくつかの実施形態では、カメラユーザインタフェースに向けられた入力の検出に応じて、コンピュータシステムは、テキスト入力領域の表示を中止する。いくつかの実施形態では、カメラユーザインタフェースに向けられた入力の検出に応じて、コンピュータシステムは、テキスト入力領域(および/または第1のユーザインタフェース)の表示をカメラユーザインタフェースに置き換える。いくつかの実施形態では、テキスト入力領域を含む第1のユーザインタフェースが表示されている間、カメラユーザインタフェースは第1のサイズで表示される。カメラユーザインタフェースのサイズを第1のサイズから第1のサイズと異なった第2のサイズに変更することは、ユーザがカメラユーザインタフェースのコンテンツをより容易に閲覧および分析することを可能にすることによって、改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。カメラユーザインタフェースに向けられた入力の検出に応じて、カメラユーザインタフェースのサイズを第1のサイズから第1のサイズと異なった第2のサイズに変更することは、追加のユーザインタフェースオブジェクトの表示でユーザインタフェースを混乱させずに、ユーザがカメラユーザインタフェースの表示のサイズを判定することを可能にすることによって、コンピュータシステムに対するより多くのコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、検出されたテキスト(例えば、642b、1026)は、テキストの第1の部分およびテキストの第2の部分を含む。いくつかの実施形態では、1つ以上のカメラの視野の表現においてテキストの第1の部分がテキストの第2の部分(例えば、642b(例えば、図10Fにおける642b))よりも顕著である(例えば、1026(例えば、図10Fにおける1026))(例えば、図6A~図6H、図7B~図7L、図8、および図9に関連して以上に説明したように、テキストの第2の部分よりもプロミネントである、および/または現在の入力フィールドにより関連している)との判定に従って、少なくとも検出されたテキストの挿入された部分は、テキストの第1の部分を含み、テキストの第2の部分を含まない。いくつかの実施形態では、1つ以上のカメラの視野の表現においてテキストの第1の部分がテキストの第2の部分よりもプロミネンスが低いとの判定に従って、検出されたテキストの少なくとも一部分は、テキストの第2の部分を含み、テキストの第1の部分を含まない。所定の条件が自動的に満たされたときに、テキストの第2の部分ではなくテキストの第1の部分を、挿入されたテキスト内の検出されたテキストの一部分の一部分として、自動的に含めることによって、コンピュータシステムは関連があるとの判定が行われたテキストを挿入することを可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、テキスト入力領域(例えば、1006、1008、1010、1012)は、第1のタイプのテキスト(例えば、テキスト部分642bに含まれたストリートアドレスまたは電話番号)に関連付けられており、1つ以上の基準は、検出されたテキスト(例えば、642b、1026)の個別の部分が第1のタイプのテキスト(例えば、電子メール、ウェブアドレス、電話番号、住所)であると検出されたときに満たされる個別の基準を含む。いくつかの実施形態では、特定のタイプのテキストは、テキスト入力領域に関連付けられた(例えば、テキスト入力領域の)テキスト入力領域のタイプに基づいている。例えば、テキスト入力領域が電子メールフィールドである場合に特定のタイプのテキストが電子メールであり、テキスト入力領域が電話番号を入力する入力フィールドである場合に特定のタイプのテキストが電話番号であり、テキスト入力領域がウェブアドレス(例えば、ユニフォームリソースロケータ)入力フィールドである場合に特定のタイプのテキストがウェブサイトである。いくつかの実施形態では、コンピュータシステムは、他のテキストが検出されたテキストの個別の部分よりも大きくても、第1のタイプのテキストが他のタイプのテキストよりも顕著であると判定する。検出されたテキストの個別の部分が第1のタイプのテキストとして検出されたことに基づいてテキスト挿入ユーザインタフェースオブジェクトを表示することは、検出されたテキストがユーザに関連しているとの判定が行われたときにコンピュータシステムがテキスト挿入ユーザインタフェースオブジェクトを表示することを可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、テキスト挿入ユーザインタフェースオブジェクト(1022)の選択に対応している入力(例えば、1050f、1050t、1050v)の検出に応じて、かつ1つ以上のカメラの視野の表現が1つ以上の基準を満たしている検出されたテキスト(例えば、642Bおよび1026)を含み、検出されたテキストの第3の部分(例えば、図10Gにおける1026)が個別の基準を満たしており、検出されたテキストの第4の部分(例えば、検出されたテキストの第4の部分)が個別の基準を満たしていないとの判定に従って、検出されたテキストの少なくとも一部分は、検出されたテキストの第3の部分を含むが、検出されたテキストの第4の部分を含まない。いくつかの実施形態では、テキスト挿入ユーザインタフェースオブジェクトの選択に対応している入力の検出に応じて、かつ1つ以上のカメラの視野の表現が1つ以上の基準を満たしている検出されたテキストを含むとの判定に従う。いくつかの実施形態では、検出されたテキストの第1の部分は、個別の基準を満たさず、検出されたテキストの第2の部分は、個別の基準を満たし、検出されたテキストの少なくとも一部分は、検出されたテキストの第2の部分を含むが、検出されたテキストの第1の部分を含まない。所定の条件が満たされたときに、検出されたテキストの第3の部分を含むが検出されたテキストの第4の部分を含まない検出されたテキストの少なくとも一部分を挿入することは、検出されたテキストがユーザに関連しているとの判定が行われたときにコンピュータシステムがテキスト挿入ユーザインタフェースオブジェクトを表示することを可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、テキスト入力領域(例えば、1006、1008、1010、1012)は、第2の特定のタイプ(例えば、種類)のテキスト(例えば、電子メール、ウェブアドレス、電話番号、住所)に関連付けられている(例えば、第2の特定のタイプのテキストを要求する、受け入れる、受け入れるように指定される)。いくつかの実施形態では、視野の表現は、検出されたテキスト(例えば、642b、1026)を含む。いくつかの実施形態では、検出されたテキストが1つ以上の基準を満たしていないとの判定に従って、コンピュータシステムが、選択可能なテキスト挿入ユーザインタフェースの表示を見合わせ、上記の1つ以上の基準は、検出されたテキストの一部分が第2の特定のタイプのテキスト(例えば、テキスト入力領域に関連付けられた特定のタイプのテキスト)であるときに満たされる基準を含む。いくつかの実施形態では、選択可能なテキスト挿入ユーザ挿入オブジェクト(例えば、1022)の表示を見合わせることの一部分として、コンピュータシステムは、テキストユーザ挿入オブジェクト(例えば、1022)を選択可能でないおよび/または非アクティブなもの(例えば、1022(例えば、図10Cにおける1022))として表示する。いくつかの実施形態では、選択可能なテキスト挿入ユーザインタフェースの表示を見合わせることの一部分として、コンピュータシステムは、テキスト挿入ユーザ挿入オブジェクトを表示しない。検出されたテキストの個別の部分が第1の特定のタイプであることに基づいて選択可能なテキスト挿入ユーザインタフェースの表示を見合わせることは、検出されたテキストが(例えば、テキストが挿入される)テキスト入力領域に対応していないおよび/または関連していないとの判定が行われたときに、コンピュータシステムがテキスト挿入ユーザインタフェースオブジェクトを選択可能なものとして表示しないことを可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、検出されたテキスト(例えば、642b、1026)は、テキストの第5の部分(例えば、1026(例えば、図10Gにおける1026)(例えば、別個のテキストの塊であるものとして検出されたテキストの一部分)と、テキストの第6の部分(例えば、642b(例えば、図10Gにおける642b)(例えば、別個のテキストの塊であるものとして検出されたテキストの一部分)とを含む。いくつかの実施形態では、視野の表現とテキスト挿入ユーザインタフェースオブジェクト(1022)とを同時に表示している間に、かつテキスト挿入ユーザインタフェースオブジェクトの選択に対応している入力(1050f、1050t、1050v)を検出する前に、コンピュータシステムは、1つ以上の入力デバイスを介して、テキストの第5の部分の選択に対応している要求(1050g)を検出する。いくつかの実施形態では、テキストの第5の部分の選択に対応している要求は、テキストの第5の部分に向けられた入力および/またはテキストの第5の部分に向けられたスワイプ入力である。いくつかの実施形態では、テキストの第5の部分を選択する要求の検出に応じて、コンピュータシステムは、テキストの第6の部分を選択せずにテキストの第5の部分を選択する。いくつかの実施形態では、テキストの第6の部分を選択せずにテキストの第5の部分を選択することの一部分として、コンピュータシステムは、テキストの第5の部分が選択されており、テキストの第6の部分が選択されていないとのインジケーションを表示する。いくつかの実施形態では、テキストの第5の部分が選択されており、テキストの第6の部分が選択されていない間に、テキスト挿入ユーザインタフェースオブジェクトの選択に対応している入力が検出される。いくつかの実施形態では、テキストの第5の部分が選択されており、テキストの第6の部分が選択されていない間に、テキスト挿入ユーザインタフェースオブジェクトの選択に対応している入力の検出に応じて、コンピュータシステムは、テキストの第6の部分を挿入せずにテキストの第5の部分を挿入する(および/または検出されたテキストの少なくとも一部分は、テキストの第1の部分を含み、テキストの第6の部分を含まない)。テキストの第5の部分の選択に対応している要求に応じて、テキストの第6の部分を選択せずにテキストの第5の部分を選択することは、ユーザがUIを混乱させずにテキストのどの部分が選択されているか、テキストのどの部分が選択されていないかを判定することを可能にすることによって、コンピュータシステムに対するより多くのコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、検出されたテキストは、テキストの第7の部分とテキストの第8の部分とを含む。いくつかの実施形態では、検出されたテキストの一部分をテキスト入力領域に挿入することの一部分として、かつテキストの第7の部分(例えば、図10Dにおける642b)がテキスト選択基準を満たしており、テキストの第8の部分(例えば、1026(例えば、図10Dにおける1026))が(例えば、第1の基準を含み、かつテキストの顕著性(例えば、テキストの個別の部分のプロミネンス(例えば、顕著性)の量がプロミネンス閾値(例えば、図6A~6H、7B~7L,8,および9に関して上記に記載されたように)を上回るか否か)に基づく)テキスト選択基準のセットを満たしていないとの判定に従って、コンピュータシステムは、テキストの第7の部分をテキスト入力領域(例えば、1012)に挿入する(テキストの第8の部分を含まない)。いくつかの実施形態では、検出されたテキストの一部分をテキスト入力領域に挿入することの一部分として、かつテキストの第7の部分(例えば、642b(例えば、図10Fにおける642b))がテキスト選択基準を満たさず、テキストの第8の部分(例えば、1026(例えば、図10Fにおける1026))がテキスト選択基準のセットを満たしているとの判定に従って、コンピュータシステムは、テキストの第8の部分をテキスト入力領域に挿入する(テキストの第7の部分を含まない)。
いくつかの実施形態では、(例えば、図6L~図6Mに関連して以上に説明したものと同様の技法を用いて)(例えば、図10E~図10Fに関連して以上に説明したように)テキストの第2の個別の部分(例えば、642b、1026)がテキスト選択基準のセットを満たしているとの判定は、1つ以上のカメラの場所および1つ以上のカメラの外部環境に対する方向に基づいている(例えば、1つ以上のカメラの視野に基づいている)。いくつかの実施形態では、(例えば、図6L~6Mに関連して以上に説明したように)視野の変化は、テキストの個別の部分がテキスト選択基準のセットを満たしているとの判定が行われたか否かを変化させる。いくつかの実施形態では、ユーザは、(例えば、図6L~図6Mに関連して以上に説明したものと同様の技法を使用して)1つ以上のカメラを移動させることによって、および/または1つ以上のカメラの視野内の検出されたテキストを移動させることによって、どのテキストが選択基準を満たしているかを変更することができる。
いくつかの実施形態では、検出されたテキストは、テキストの第9の部分(例えば、642b)と、テキストの第10の部分(例えば、1026)とを含む。いくつかの実施形態では、視野の表現(例えば、1030)とテキスト挿入ユーザインタフェースオブジェクト(例えば、1022)とを同時に表示している間に、コンピュータシステムは、テキストの第9の部分(例えば、第1の視覚インジケーションはテキストの第10の部分に関連付けられていない)に対応している(例えば、テキストの第9の部分を強調する(例えば、テキストの周りの括弧、テキストの強調表示))第1の視覚インジケーション(例えば、図10Cにおけるテキスト部分642bを囲むボックスおよび図10Gにおけるテキスト部分1026を囲むボックス)と、テキストの第10の部分(例えば、第2の視覚インジケーションはテキストの第9の部分に対応していない)に対応している(例えば、テキストの第10の部分を強調する(例えば、テキストの周りの括弧、テキストの強調表示))第2の視覚インジケーション(例えば、図10Cにおけるテキスト部分642bを囲むボックスおよび図10Gにおけるテキスト部分1026を囲むボックス)と、を表示する。いくつかの実施形態では、第2の視覚インジケーションは、第1の視覚インジケーションと異なっている(例えば、第1の視覚インジケーションと異なったサイズであり、第1の視覚インジケーションとは別個である)(例えば、図10Hにおけるボックスは、図10Cにおけるボックスよりも小さい)。テキストの第9の部分に対応している第1の視覚インジケーションと、テキストの第10の部分に対応している第2の視覚インジケーションとを表示することは、テキストの部分の異なったチャンクに示すことによって、改善されたフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、1つ以上のカメラの視野の表現内に表示された検出されたテキスト(例えば、642b、1026)は、第1の外観(例えば、642b(例えば、図10Eに示すような642b))(例えば、1026(例えば、図10Fに示すような1026))(例えば、強調表示、下線)を有する。いくつかの実施形態では、1つ以上のカメラの視野内の検出されたテキスト(例えば、1つ以上のカメラによってキャプチャされる検出されたテキスト)は、第1の外観と異なった(例えば、強調表示されていない、下線が引かれていない)第2の外観を有する。いくつかの実施形態では、1つ以上のカメラの視野内の検出されたテキスト(例えば、642b、1026)は、(例えば、図10に関連して以上に説明したように)検出されたテキスト(例えば、642b、1042)が1つ以上のカメラの視野の表現内に表示されたときに、異なった外観を有するように変更される。検出されたテキストを、視野内に検出されたテキストと異なったように表示することは、どのテキストが挿入されるように選択されているかをユーザに警告することによって、ユーザに改善された視覚フィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、1つ以上のカメラの視野の表現と第5のユーザインタフェースオブジェクト(例えば、マウスカーソル(例えば、矢印)、ユーザ入力の表現)とを表示している間に、コンピュータシステムは、第5のユーザインタフェースオブジェクト(例えば、1088)を移動させる要求を検出する。いくつかの実施形態では、第5のユーザインタフェースオブジェクトを移動させる要求の検出に応じて、かつ第5のユーザインタフェースオブジェクトが1つ以上の基準を満たしている検出されたテキスト(642b、1026)の場所から所定の距離内にある(例えば、検出されたテキストの上にある)との判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、第5のユーザインタフェースオブジェクトと異なった(例えば、異なったタイプのユーザインタフェースオブジェクト、異なった形状)第6のユーザインタフェースオブジェクト(例えば、テキストカーソル)を表示する。いくつかの実施形態では、第5のユーザインタフェースオブジェクト(例えば、1088)が検出されたテキスト(例えば、642b、1026)の場所から所定の距離内にあるとの判定に従って、コンピュータシステムは、第5のユーザインタフェースオブジェクト(例えば、1088)の表示を中止し、および/または第5のユーザインタフェースオブジェクト(例えば、1088)の表示を第6のユーザインタフェースオブジェクト(例えば、1018)の表示に置き換える(例えば、1088を異なった外観(例えば、テキストカーソルに類似した外観)に置き換える)。いくつかの実施形態では、第5のユーザインタフェースオブジェクト(例えば、1088)が、基準を満たしている検出されたテキスト(例えば、642b、1026)の場所から所定の距離内にないとの判定に従って、および/または第5のユーザインタフェースオブジェクト(例えば、1088)が、基準を満たしていない表現内のテキスト(例えば、検出されたテキスト(例えば、642b、1026))の場所から所定の距離内にあるとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、第5のユーザインタフェースオブジェクト(例えば、1088)と異なった(例えば、異なったタイプのユーザインタフェースオブジェクト、異なった形状)第6のユーザインタフェースオブジェクト(例えば、1018)(例えば、テキストカーソル)の表示を見合わせる。いくつかの実施形態では、第5のユーザインタフェース(例えば、1088)オブジェクトの表示の場所は、ユーザによって実行された(例えば、図10AA~図10ADに関連して以上に説明したような)入力(例えば、(例えば、タッチ感知面上で検出された)指向性ジェスチャ、外部デバイスの変位をもたらすジェスチャ)に対応している(例えば、依存している、相関している)。いくつかの実施形態では、第6のユーザインタフェースオブジェクトは、第5のユーザインタフェースオブジェクトを移動させる要求が検出される前に表示されなかった。所定の条件が満たされたときに第6のユーザインタフェースオブジェクトを自動的に表示することは、ユーザインタフェースオブジェクトが1つ以上の基準を満たしている検出されたテキストの表現の近く/上にあるとのインジケーションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、検出されたテキストは、テキストの第11の部分を含む。いくつかの実施形態では、検出されたテキストの少なくとも一部分をテキスト入力領域(例えば、1006、1008、1010、1012)に挿入した後、かつ視野の表現とテキスト挿入ユーザインタフェースオブジェクト(1022)とを同時に表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、視野の表現内のテキストの第11の部分(例えば、642b(例えば、図10Lおよび図10Mに示すような642B))に向けられた入力(例えば、1050k)(例えば、スワイプジェスチャ)(例えば、視野の表現内のテキストの一部分(例えば、第11の部分)を強調表示する入力)を検出する。いくつかの実施形態では、入力は、非スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、視野の表現内のテキストの第11の部分に向けられた入力の検出に応じて(および視野の表現内のテキストの第11の部分に向けられた入力の終了の検出に応じて)、コンピュータシステムは、テキストの第11の部分をテキスト入力領域(例えば、1006、1008、1010、1012)に挿入する。いくつかの実施形態では、視野の表現内のテキストの第11の部分(例えば、642b)に向けられた入力(例えば、1050k)の検出に応じて、コンピュータシステムは、テキストの第11の部分(例えば、642b(例えば、図10Lにおける642b))の外観を変更する(例えば、強調表示する)。いくつかの実施形態では、コンピュータシステムは、入力(例えば、1050k)が検出されている間に、テキストの第11の部分(例えば、642b(例えば、図10Lにおける642b))を強調表示する。テキストの第11の部分に向けられた入力の検出に応じて、テキストの第11の部分をテキスト入力領域に挿入することは、ユーザがユーザインタフェースを混乱させずに、テキスト入力領域に挿入されるテキストをコントロールすることを可能にすることによって、コンピュータシステムに対するより多くのコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、検出されたテキスト(例えば、642b)は、テキストの第12の部分を含む。いくつかの実施形態では、検出されたテキスト(例えば、642b)の少なくとも一部分をテキスト入力領域(例えば、1012)に挿入した後、かつ視野の表現とテキスト挿入ユーザインタフェースオブジェクト(1022)とを同時に表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、テキストの第12の部分(例えば、642b)に向けられた入力(例えば、1050k)(例えば、スワイプジェスチャ)を検出する。いくつかの実施形態では、入力は、非スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態では、テキストの第12の部分(例えば、642b)に向けられた入力(例えば、1050k)の検出に応じて、かつテキストの第12の部分(例えば、642b)がしきいサイズ(例えば、4~10サイズのフォント)を上回るとの判定に従って、コンピュータシステムは、(例えば、図10K~図10Lに関連して説明したように)テキストの第12の部分を選択する(例えば、テキストの第12の部分を選択されたもの(例えば、642b(例えば、図10Lにおける642b))として表示する)(例えば、テキストの第12の部分を強調表示する)。いくつかの実施形態では、テキストの第12の部分に向けられた入力の検出に応じて、かつテキストの第12の部分がしきいサイズを上回らないとの判定に従って、コンピュータシステムは、テキストの第12の部分の選択を見合わせる。いくつかの実施形態では、テキスト挿入ユーザインタフェースオブジェクトの選択に対応している入力の検出に応じて、かつテキストの第12の部分がしきいサイズを上回るとの判定に従って、検出されたテキストの少なくとも一部分は、テキストの第12の部分を含む。いくつかの実施形態では、テキスト挿入ユーザインタフェースオブジェクトの選択に対応している入力の検出に応じて、かつテキストの第12の部分がしきいサイズを上回らないとの判定に従って、検出されたテキストの少なくとも一部分は、テキストの第12の部分を含まない。
いくつかの実施形態では、検出されたテキストは、選択可能でないテキストの第13の部分を含む。いくつかの実施形態では、検出されたテキストの少なくとも一部分をテキスト入力領域(例えば、1006、1008、1010、1012)に挿入した後、かつ視野の表現とテキスト挿入ユーザインタフェースオブジェクト(1022)とを同時に表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、(例えば、スワイプジェスチャ、ピンチジェスチャが検出されたときに)1つ以上のカメラの視野の表現を変更する(例えば、視野の表現をズームインする、視野の表現を平行移動/パンする、および/または物理的環境における第1のポジションから第1のポジションと異なった物理的環境における第2のポジションへの1つ以上のカメラの移動)第1の要求(例えば、1050e、1050q)を検出する。いくつかの実施形態では、第2のカメラユーザインタフェースを表示する第1の要求の検出に応じて、コンピュータは、テキストの第13の部分を選択可能に変更する。いくつかの実施形態では、テキスト挿入ユーザインタフェースオブジェクトの選択に対応している入力の検出に応じて、コンピュータシステムは、テキストの選択可能な部分を挿入するが、テキストの選択可能でない部分を挿入しない。
いくつかの実施形態では、検出されたテキストの少なくとも一部をテキスト入力領域に挿入した後、かつ視野の表現とテキスト挿入ユーザインタフェースオブジェクト(例えば、1022)とを同時に表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、(例えば、スワイプジェスチャ、ピンチ解除ジェスチャが検出されたときに)1つ以上のカメラの視野の表現を変更する(例えば、視野の表現をズームアウトする、視野の表現を平行移動/パンする)第2の要求(例えば、1050r)を検出する。いくつかの実施形態では、(例えば、図10R~図10Tに関連して以上に説明したように)(かつ1つ以上のカメラの視野の変更された表現が1つ以上の基準を満たしている検出されたテキストを含まないとの判定に従い)1つ以上のカメラの視野の表現を変更する第2の要求(例えば、1050r)の検出に応じて、コンピュータシステムは、テキスト挿入ユーザインタフェースオブジェクト(例えば、1022)の表示を見合わせる。いくつかの実施形態では、(例えば、図10R~図10Tに関連して以上に説明したように)1つ以上のカメラの視野の表現を変更する第2の要求(例えば、1050r)の検出に応じて、コンピュータシステムは、(例えば、図10R~図10Tに関連して以上に説明したように)1つ以上のカメラの視野の変更表現を表示する。コンピュータシステムが1つ以上のカメラの視野の表現を変更する第2の要求を検出したことに応じて、テキスト挿入ユーザインタフェースオブジェクトの表示を見合わせることは、ユーザが追加のユーザインタフェースコントロールを表示せずにテキスト挿入ユーザインタフェースオブジェクトを表示したときにコントロールすることを可能にすることによって、コンピュータシステムに対するより大きなコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、1つ以上のカメラのうちの1つ以上のカメラの視野の表現は、テキスト入力領域(例えば、1006、1008、1010、1012)を含む第1のユーザインタフェース(例えば、1002)の一部分と同時に表示される。1つ以上のカメラの視野を、テキスト入力領域を含む第1のユーザインタフェースの一部分と同時に表示することは、ユーザが視野の表現とテキスト入力領域のコンテンツとを同時に閲覧および分析することを可能にすることによって、改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、上記に説明した方法1100の1つ以上のステップは、ビデオメディアの1つ以上のライブフレームおよび/または一時停止されたフレームのようなビデオメディアの表現にも適用できる。いくつかの実施形態では、以上に説明した方法1100の1つ以上のステップは、図10A~図10ADに関連して説明したユーザインタフェースと異なったアプリケーションのユーザインタフェースにおけるメディアの表現にも適用でき、上記のアプリケーションのユーザインタフェースは、生産性アプリケーション(例えば、ノート作成アプリケーション、スプレッドシーティングアプリケーション、および/またはタスク管理アプリケーション)、ウェブアプリケーション、ファイルビューアアプリケーション、および/または文書処理アプリケーション、および/またはプレゼンテーションアプリケーションに対応しているユーザインタフェースを含むが、これらに限定されない。
なお、方法1100(例えば、図11)に関して以上に説明したプロセスの詳細は、本明細書中に説明した他の方法にも、類似の方式で適用できることに留意されたい。例えば、方法1100は、任意選択的に、方法800、900、1300、1500、および1700を参照して説明される、様々な方法の特点のうちの1つ以上を含む。例えば、方法800に説明したように、1つ以上のテキスト管理動作に対応している第1のユーザインタフェースオブジェクトは、挿入されたテキストを管理する複数のオプションを表示するように選択されることができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図12A~図12Lは、いくつかの実施形態に係る、メディア内の視覚コンテンツを識別する例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図13におけるプロセスを含めた後述のプロセスを説明するために使用される。
図12Aは、アプリケーションコントロール領域722とアプリケーションコントロール領域726との間に配置されたメディアビューア領域724を含むメディアビューアユーザインタフェースを表示するコンピュータシステム600を示す。図12Aのメディアビューアユーザインタフェースを、図7Bのメディアユーザインタフェースに関連して以上に説明したような1つ以上の技法を使用して表示する。
図12Aに示すように、メディアビューア領域724は、拡大した表現1224aを含む。拡大した表現1224aは、雲を有する空の画像である。図12Aに示すように、アプリケーションコントロール領域722は、空の画像が撮影された日付/時間のインジケータ(例えば、図12Aにおける「Yesterday」、「11:05 AM」)を含む。また、アプリケーションコントロール領域722は、図7Bに関連して以上に説明したような1つ以上の技法を使用して表示されたバックコントロール722aおよび編集コントロール722bを含む。図12Aに示すように、アプリケーションコントロール領域726は、単一の行に表示されたサムネイルメディア表現712を含む。図12Aのサムネイルメディア表現712は、サムネイル表現1212a~1212bを含む。拡大したメディア表現1224aがメディアビューア領域724内に表示されるため、サムネイル表現712aは、図7Bに関連して以上に説明したような1つ以上の技法を使用して、選択されたものとして表示される。また、アプリケーション領域726は、図7Bに関連して以上に説明したような1つ以上の技法を使用して、送信コントロール726b、お気に入りコントロール726c、およびゴミ箱コントロール726dを含む。図12Aにおいて、コンピュータシステム600は、メディアビューア領域724内の右向きスワイプ入力1250aを検出する。
図12Bに示すように、右向きスワイプ入力1250aの検出に応じて、コンピュータシステム600は、拡大した表現1224bを表示し、メディアビューア領域724内の拡大した表現1224aの表示を中止する。拡大した表現1224bは、シャツ1232を着ており、タンポポ1234および本1236をそれぞれの手に持っている人1230の画像である。拡大した表現1224bにおいて、人1230は犬1238および犬1240の後ろにも場所しており、2匹の犬は互いに比較的近い。犬1238はヨーキーであり、拡大した表現1224bの左側に場所している。犬1240はボストンテリアであり、ラベンダー植物1242の近くの拡大した表現1224bの右側に場所している。
図12Bにおいて、拡大した表現1224bが、所定のカテゴリのセットの特性のうちの1つ以上に属している(例えば、および/または所定のタイプの特性のうちの1つである)少なくとも1つの検出された特性(例えば、シャツ1232、タンポポ1234、本1236、犬1238、犬1240、およびラベンダー植物1242)を含むとの判定が行われた。例えば、図12Bにおいて、(例えば、衣類が特性の所定のカテゴリ(例えば、タイプ)のうちの1つである場合)シャツ1232が衣料品であるとの判定が行われ、(例えば、本が特性の所定のカテゴリのうちの1つである場合)本1236が本であるとの判定が行われ、(例えば、植物が特性の所定のカテゴリのうちの1つである場合)タンポポ1234およびラベンダー植物1242が植物であるとのそれぞれの判定が行われ、(例えば、犬が特性の所定のカテゴリのうちの1つである場合)犬1238および犬1240が犬であるとのそれぞれの判定が行われた。いくつかの実施形態では、特性の1つ以上の所定のカテゴリおよび/またはタイプは、犬、花、植物、ランドマーク、本、猫、絵画、アルバムアート、映画ポスター、靴、アクセサリ、衣類、食料品、動物、リンゴ製品、家具、人などを含む。
図12Bに示すように、拡大した表現1224bが、特性の1つ以上の所定のカテゴリに属している少なくとも1つの検出された特性を含むとの判定が行われたため、コンピュータシステム600は、追加情報コントロール1226aを表示する。追加情報コントロール1226aは、図12Bのアプリケーションコントロール領域726内のお気に入りコントロール726cとゴミ箱コントロール726dとの間に配置されたように示される。いくつかの実施形態では、追加情報コントロール1226aを表示することの一部分として、コンピュータシステム600は、図12Bにおいてフェードイン、フェードアウト、および/またはサイズ縮小/拡大している追加情報コントロール1226aの動画を表示する。いくつかの実施形態では、追加情報コントロール1226aは、図12Bにおいて、バッジ(例えば、1つ以上の所定のカテゴリの特性のグループおよび/または検出された特性を表すバッジ)(例えば、1つ以上の所定のカテゴリの特性のグループおよび/または検出された特性に対応しているグラフィカルインジケータ)で表示される。いくつかの実施形態では、少なくとも1つの検出された特性が、特性(例えば、オブジェクト、ペット、および/またはランドマーク)の所定のカテゴリの第1のセットに属しているとの判定が行われたため、コンピュータシステム600は、フェードイン、フェードアウト、および/またはサイズ縮小/拡大している追加情報コントロール1226aの動画を表示し、および/または追加情報コントロール1226aをバッジで表示する。いくつかの実施形態では、少なくとも1つの検出された特性が、特性(例えば、オブジェクト、ペット、および/またはランドマーク)の所定のカテゴリの第1のセットに属していないとの判定が行われたため、コンピュータシステム600は、フェードイン、フェードアウト、および/またはサイズ縮小/拡大している追加情報コントロール1226aの動画を表示せず、および/または追加情報コントロール1226aをバッジで表示しない。
図12Aを再び参照すると、図12Aに表示された拡大した表現1224a(例えば、空の画像)が、特性のカテゴリのセットのうちの1つ以上に属している少なくとも1つの検出された特性を含まなかったとの判定が行われた。図12Aに示すように、この判定の(例えば、図12Aに表示された拡大した表現1224aが、特性の1つ以上のカテゴリに属している少なくとも1つの検出された特性を含まなかったとの判定が行われた)ため、コンピュータシステム600は、図12Aのメディアビューアユーザインタフェースにおいて追加情報コントロール1226aを表示しない。したがって、図12A~12Bを見ると、コンピュータシステム600は、少なくとも1つの検出された特性が、特性のカテゴリのセットのうちの1つ以上に属したときに、追加情報コントロール1226aのみを表示する。いくつかの実施形態では、追加情報コントロール1226aは、表示された表現内の少なくとも1つの検出された特性が特性のカテゴリのセットのうちの1つ以上に属しているか否かにかかわらず、表示される。いくつかの実施形態では、図12Bの拡大した表現1224bにおいて特性が検出されるが、検出された特性が特性のカテゴリのセットのうちの1つ以上に属していないとの判定が行われた。いくつかの実施形態では、検出された特性が特性のカテゴリのセットのうちの1つ以上に属していないとの判定が行われたときに、コンピュータシステム600は、追加情報コントロール1226aを表示しない。
図12B~図12Eは、コンピュータシステム600が追加情報を表示する要求を受信したことに応じて(例えば、コンピュータシステム600が追加情報コントロール1226aに向けられた入力を検出したことに応じて)表示される例示的な動画を示す。図12B~図12Eの動画は、図12Eにおいて特性インジケータ1260a~1260cおよび1262d~1262eが同時に表示されるまで、図12B~図12Eのそれぞれにおいて特性インジケータが(例えば、徐々に)現れる動画である。図12Bにおいて、コンピュータシステム600は、追加情報コントロール1226a上でタップ入力1250bを検出する。
図12Cに示すように、タップ入力1250bの検出に応じて、コンピュータシステム600は、ラベンダー植物1242の近くの場所で特性インジケータ1260aを表示する。図12Cにおいて、特性インジケータがラベンダー植物1242上/近くに(例えば、拡大した表現1224bに表示される検出された特性上/近くに)表示されるべきであるとの判定が行われたため、特性インジケータ1260aがラベンダー植物1242の近くに表示される。いくつかの実施形態では、特性が複数の検出された特性の近くに表示されるとの判定が行われたとき、検出された特性の視界が1つ以上の他のオブジェクトおよび/または検出された特性によって部分的に覆い隠されたとき、特性インジケータが検出された特性の特定の部分または特定の量の視界を覆い隠したときなどに、特性インジケータが、対応した特性の上/近くに表示されるべきであるとの判定が行われた。この判定(例えば、特性インジケータが、対応した特性の上/近くに表示されるべきであるか否か)は、特性インジケータが正しい特性(例えば、対応した特性)を識別すると解釈される可能性を高めるために行われた。
図12Dに示すように、図12Cにおける特性インジケータ1260aを表示した後のある時点で、コンピュータシステム600は、シャツ1232上のある場所で特性インジケータ1260bを表示する。図12Dにおいて、特性インジケータがシャツ1232の上/近くに表示されるべきであるとの判定が行われたため、コンピュータシステム600は、(例えば、図12Cにおける特性インジケータ1260aに関連して以上に説明したような同様の技法を使用して)、シャツ1232上の場所で特性インジケータ1260bを表示する。図12Dに示すように、特性インジケータ1260aは、特性インジケータ1260bと同時に表示される。
図12Eに示すように、図12Dにおける特性インジケータ1260bを表示した後のある時点で、コンピュータシステム600は、タンポポ1234の近くの場所で特性インジケータ1260cを表示する。図12Eにおいて、特性インジケータがタンポポ1234の近くに表示されるべきであるとの判定が行われたため、コンピュータシステム600は、(例えば、図12Cにおける特性インジケータ1260aに関連して以上に説明したような同様の技法を使用して)、タンポポ1234上の場所で特性インジケータ1260cを表示する。図12Eに示すように、特性インジケータ1260aは、特性インジケータ1260bおよび特性インジケータ1260cと同時に表示される。特に、図12Eにおいて、特性インジケータのそれぞれが、同じカテゴリ(例えば、植物カテゴリ)に属した特性(例えば、ラベンダー植物1242およびタンポポ1234)に対応しているため、特性インジケータ1260aおよび特性インジケータ1260cは、同じパターン(例えば、水平線)を有するように示される。特性インジケータのそれぞれは、異なる検出された特性に対応しているが、特性インジケータ1260aおよび特性インジケータ1260cは、同じ外観(例えば、パターン、色、形状等)で表示される。また、特性インジケータ1260bが、植物カテゴリと異なったカテゴリ(例えば、衣類カテゴリ)に属している特性に対応しているため、特性インジケータ1260bは、特性インジケータ1260aおよび1260cの表示が使用したパターンと異なったパターン(例えば、斜線)で表示される。したがって、同じカテゴリに属している特性インジケータは、同じおよび/または類似の外観を有し、異なったカテゴリに属している特性インジケータは、異なった外観で表示される。言い換えれば、特性インジケータの外観は、特定の所定のカテゴリに関連付けられた外観に基づいている。いくつかの実施形態では、(例えば、特性インジケータ1262d~1262eのように)特性インジケータ1260a~1260cのうちの1つ以上は、個別の特性インジケータに対応している特性の所定のカテゴリを表すグラフィカルインジケータを(例えば、特性インジケータとして、特性インジケータの領域内に)含む。いくつかの実施形態では、特性の同じ所定のカテゴリに属している特性インジケータ1260a~1260cのうちの1つ以上は、同じグラフィカルインジケータを含む。いくつかの実施形態では、特性の異なった所定のカテゴリに属している特性インジケータ1260a~1260cのうちの1つ以上は、異なったグラフィカルインジケータを含む。
図12Eに示すように、図12Dにおける特性インジケータ1260bを表示した後のある時点で、コンピュータシステム600は、特性インジケータ1262d~1262eと特性インジケータ1260a~1260cとを同時に表示する。特性インジケータ1262d~1262eは、それぞれ、本カテゴリおよび犬カテゴリを表す。特に、特性インジケータ1262dが本1236に対応しており、特性インジケータ1262eが犬1238および犬1240に対応している。
図12Eに示すように、特性インジケータ1262d~1262eは、特性インジケータ1260a~1260cと異なっている。例えば、特性インジケータ1262d~1262eは、特性インジケータ1262d~1262eが対応した個別のカテゴリ(例えば、本のグラフィカル表現、犬のグラフィカル表現)を表すグラフィカル画像(および/または記号)を含む。しかしながら、特性インジケータ1262d~1262eは、特性インジケータ1262d~1262eが対応した個別のカテゴリを表すグラフィカル画像を含まない。また、特性インジケータ1260a~1260cと異なって、特性インジケータ1262d~1262eは、それぞれが対応した個別の特性の近くに表示されない。代わりに、特性インジケータ1262d~1262eは、拡大した表現1224bの所定の領域(または所定の場所)(例えば、右下)に表示される。いくつかの実施形態では、所定の領域は、拡大した表現1224bおよび/またはメディアビューア領域724の角にある。いくつかの実施形態では、所定の領域は、拡大した表現1224bから分離される(例えば、拡大した表現1224bの下/上)。
図12Eにおいて、特性インジケータは特性インジケータ1262d~1262eが対応した個別の特性の上/近くに表示されるべきでないとの判定が行われたため、コンピュータシステム600は、メディアビューア領域724の右下に特性インジケータ1262d~1262eを表示する。いくつかの実施形態では、本1236の一部分が拡大した表現1224bにおいて1つ以上の他のオブジェクト(例えば、草/雑草)によって覆い隠されるため、特性インジケータが本1236の上/近くに表示されるべきでないとの判定が行われた。いくつかの実施形態では、犬1238が犬1240に近すぎる(または逆もまた同様である)ため、特性インジケータが犬1238の上/近くに表示されるべきではないとの判定が行われた。いくつかの実施形態では、本1236、犬1238、および/または犬1240のそれぞれが拡大した表現1224b内での配置方式のため、特性インジケータが本1236、犬1238、および/または犬1240の近く/上に表示されるべきではないとの判定が行われた。
特に、特性インジケータ1262dは拡大した表現1224b内の1つの検出された特性(すなわち、本1236)に対応しており、特性インジケータ1262eは、複数の検出された特性(例えば、犬1238、犬1240)に対応している。したがって、図12Eにおいて、(例えば、検出された特性のそれぞれの上/近くに表示されることができないとの判定が行われた特定のカテゴリに属している特性インジケータの量にかかわらず)拡大した表現1224bの所定の領域内の特性の特定の所定のカテゴリに対応している特性インジケータのみが表示される。いくつかの実施形態では、(例えば、特性の特定の所定のカテゴリに属している検出された特性の上/近くに特性インジケータが表示されるべきであるとの判定が行われ、かつ特性の所定の特定のカテゴリに属している異なる検出された特性の上/近くに特性インジケータが表示されるべきでないとの判定が行われたときに)コンピュータシステム600は、特定のカテゴリに属している特性の上/近くに特性インジケータを表示し、特性の特定の所定のカテゴリに属している異なる検出された特性に対して、拡大した表現1224bの所定の領域内に特性インジケータを表示する。いくつかの実施形態では、複数の検出された特性インジケータが特性の同じ所定のカテゴリに属している個別の検出された特性の上/近くに表示されるべきであるとの判定が行われたときに、コンピュータシステム600は、拡大した表現1224bの所定の領域内で複数の特性インジケータを表示する。
以上に説明したように、図12B~12Eは、コンピュータシステム600が追加情報を表示する要求を受信したことに応じて表示される例示的な動画を示す。いくつかの実施形態では、特性インジケータは、動画の持続時間にわたってフェードインされる。いくつかの実施形態では、特性インジケータは、動画の持続時間にわたって、図12B~12Eに示されたシーケンスのようなシーケンスでフェードされる。いくつかの実施形態では、特性インジケータは、持続時間にわたって徐々にフェードインされる。いくつかの実施形態では、特性インジケータのうちの1つ以上は、パルス動画で表示される。図12Eにおいて、コンピュータシステム600は、特性インジケータ1260a上のタップ入力1250eを検出する。
図12Fに示すように、タップ入力1250eの検出に応じて、コンピュータシステム600は、特性インジケータ1260aが拡大され、図12Fに示される拡大した表現1224bの中心(または中心の近く)に表示されるように、拡大した表現1224bをズームインする。図12E~図12Fを比較すると、コンピュータシステム600は、拡大した表現1224bの中心の近くに特性インジケータ1260aを拡大して表示したときに、少なくとも1つの特性インジケータ(例えば、1260c)の表示を中止し、少なくとも1つのインジケータ(例えば、1260b)の表示を維持する。特に、特性インジケータ1260bが特性インジケータ1260cから離れている距離よりも遠い距離で特性インジケータ1260cから離れているため、特性インジケータ1260cの表示が中止される。したがって、特性インジケータ1260cは、ズーム動作によって、拡大した表現1224bから切り取られる。しかしながら、図12Fに示すように、拡大した表現1224bの所定の領域に表示された特性インジケータは、拡大した表現1224bの所定の領域に引き続き表示され、ズーム動作によって切り取られない。
図12Fに示すように、タップ入力1250eの検出に応じて、コンピュータシステム600は、特性インジケータ1260aの色を変更する(例えば、特性インジケータ1260aの色が水平線を含まない)ことによって、特性インジケータ1260aが選択されていることを示す。したがって、特性インジケータ1260aの外観は、特性インジケータ1260aが選択されたときに変化する。特性インジケータ1260aが選択されていることを示すことに加えて、コンピュータシステム600は、タップ入力1250eの検出に応じて、カテゴリインジケータ1260a1(例えば、植物の写真)を表示する。図12Fに示すように、カテゴリインジケータ1260a1は、特性インジケータ1260aの近く/最上部に表示される。カテゴリインジケータ1260a1は、選択された特性インジケータ(例えば、特性インジケータ1260a)および/または選択された特性インジケータが対応する検出された特性に対応しているカテゴリを示す。特性インジケータ1260bが図12Fにおいて表示されるが、特性インジケータ1260bが選択されていないため、特性インジケータ1260bの近くや上方にはカテゴリが表示されていない。また、特性インジケータ1260bが選択されなかったため、図12Fの特性インジケータ1260bの外観は、タップ入力1250eが検出される前の特性インジケータ1260bの外観と同じである。図12Fに示すように、特性インジケータ1260aおよびカテゴリインジケータ1260a1は、拡大した表現1224b上に表示され、したがって、拡大した表現1224bによって示されたコンテンツによって囲まれる。
図12Fに示すように、タップ入力1250eの検出に応じて、コンピュータシステム600は、特性カード1270を表示する。特に、コンピュータシステム600は、タップ入力1250eの検出に応じて以前に表示された(図12E~図12Fに示すような)アプリケーションコントロール領域722およびアプリケーションコントロール領域726を含む、拡大した表現1224bの一部分およびメディアビューアユーザインタフェースの一部分の表示を中止する。いくつかの実施形態では、タップ入力1250eの検出に応じて拡大した表現1224bのより少ない部分が表示されている間に、図12Eのアプリケーションコントロール領域722および図12Eのアプリケーションコントロール領域726の1つ以上の部分は残る。いくつかの実施形態では、タップ入力1250eの検出に応じて、コンピュータシステム600は、コンピュータシステム600の底部(例えば、アプリケーションコントロール領域726/その近く)からスライドアップする特性カード1270の動画を表示し、特性カード1270がスライドアップするにつれて、拡大した表現1224bの一部分もコンピュータシステム600の最上部(例えば、図12Eのアプリケーションコントロール領域722/その近く)に向かって上に移動する。
特性カード1270は、終了コントロール1266、特性画像1270a、特性識別子1270b、特性情報1270c、および特性情報1270dを含む。特に、特性画像1270aは、ラベンダー植物の(例えば、拡大した表現以外のソースからの)異なった画像および/または一般的な画像ではなく、代わりに、ラベンダー植物1242を含む拡大した表現1224bの一部分の表現である。ラベンダー植物1242を含む拡大した表現1224bの一部分の表現を表示することによって、特性カード1270は、拡大した表現1224bに示すように、ラベンダー植物1242に関連付けられたものとしてより容易に識別されることができる。特性識別子1270bは、特性の説明(「Lavender Plant」)を含む。特性情報1270cは、特性(「PLANT GENIUS」)に関する情報を含み、いくつかの実施形態では、特性カード1270に対応している特性(例えば、ラベンダー植物1242)のカテゴリを示す。特性情報1270dは、特性に関する追加情報を含む。いくつかの実施形態では、特性識別子1270b、特性情報1270c、および/または特性情報1270dは、オンラインソースから検索され、特性カード1270の一部分として表示される。図12Fにおいて、コンピュータシステム600は、特性インジケータ1262e上でタップ入力1250fを検出する。
図12Gに示すように、タップ入力1250fの検出に応じて、コンピュータシステム600は、特性カード1270の表示を中止し、特性カード1272を表示する(および/または特性カード1270の表示を特性カード1272の表示に置き換える)。特性カード1272は、特性コントロール1272a~1272cと、特性インジケータ1260a~1260cのうちの少なくとも1つと同時に表示される追加情報1282とを含む。図12Gに示すように、追加情報は、(例えば、選択されたときにウェブ検索を開始する)検索コントロール1282aと、(例えば、選択されたときにソース管理ユーザインタフェースの表示を引き起こす)ソース管理コントロール1282bとを含む。
図12Gにおいて、特性インジケータが個別の検出された特性の上/近くにあるべきではないとの判定が行われた場合、特性コントロール1272a~1272cが、異なった個別の検出された特性(例えば、犬1238、犬1240、本1236)に対応している。特に、特性コントロール1272aが犬1238に対応しており、特性コントロール1272bが犬1240に対応しており、特性コントロール1272cが本1236に対応している。したがって、特性インジケータが個別の検出された特性の上/近くにあるべきではないとの判定が行われた場合、特性インジケータ1262e上のタップ入力1250fの検出に応じて、検出された特性のための特性コントロールを含む特性カードが表示される。いくつかの実施形態では、特性コントロール1272cが、特性インジケータ1262e(例えば、タップ入力1250fを介して選択された特性インジケータ)と同じカテゴリではないカテゴリに属している特性に対応しているため、タップ入力1250fの検出に応じて、特性コントロール1272cは表示されない。
いくつかの実施形態では、特性インジケータ1262dに向けられたタップ入力の検出に応じて、コンピュータシステム600は、特性カード1272を表示する。いくつかの実施形態では、コンピュータシステム600が特性インジケータ1262dに向けられたタップ入力の検出に応じて特性カード1272を表示したときに、特性コントロール1272a~1272cは、特性コントロール1272cが特性カード1272の最上部の近くに表示されるように並べ替えられる。これらの実施形態のうちのいくつかでは、特性コントロール1272cが、特性インジケータ1262d(例えば、または入力によって選択された特性インジケータ)によって表されたカテゴリ内にある特性に対応しているとの判定が行われたため、特性コントロール1272a~1272cは並べ替えられる。
いくつかの実施形態では、特性コントロール1272aに向けられた入力の検出に応じて、コンピュータシステム600は、犬1238の特性カード(例えば、図12Fの特性カード1270または図12Kの特性カード1274と同様のもの)を表示し、特性カード1272の表示を中止する。いくつかの実施形態では、特性コントロール1272bに向けられた入力の検出に応じて、コンピュータシステム600は、犬1240の特性カード(例えば、図12Fの特性カード1270または図12Kの特性カード1274と同様のもの)を表示し、特性カード1272の表示を中止する。いくつかの実施形態では、特性コントロール1272cに向けられた入力の検出に応じて、コンピュータシステム600は、本1236の特性カード(例えば、図12Fの特性カード1270または図12Kの特性カード1274と同様のもの)を表示し、特性カード1272の表示を中止する。
図12Gに示すように、タップ入力1250fの検出に応じて、コンピュータシステム600は、特性インジケータ1260aがもはやディスプレイの中心の近くになくなりかつ拡大されないように、拡大した表現1224bをズームアウトする。また、タップ入力1250fの検出に応じて、特性インジケータ1260aが、特性インジケータ1260aのカテゴリに対応している外観で表示されて、特性インジケータ1260aがもはや選択されないことを示す。特に、(例えば、拡大した表現1224bがメディアビューアインタフェースの最上部へ移動されているため、特性カードが表示されなかった図12Cと比較して)特性カード1272がディスプレイの一部分を占めているため、特性インジケータ1260cは図12Gに表示されない。図12Gにおいて、コンピュータシステム600は、特性カード1272上で上向きスワイプ入力1250gを検出する。
図12Hに示すように、上向きスワイプ入力1250gの検出に応じて、コンピュータシステム600は、特性カード1272をコンピュータシステム600の最上部へスライドさせ、(例えば、上向きスワイプ入力1250gが図12Gにおいて検出される前に以前に表示された)拡大した表現1224bの一部分の表示を中止する。上向きスワイプ入力1250gの検出に応じて、コンピュータシステム600は、図12Hの特性カード1272上に表示された情報(例えば、特性コントロール1272a~1272c、検索コントロール1282a、ソース管理コントロール1282b)を、図12Hの特性カード1272上に表示された追加情報が表示されるまで、コンピュータシステム600の最上部へスクロールする。いくつかの実施形態では、コンピュータシステム600は、スワイプ入力1250gの移動(例えば、速度、方向など)に基づいて、特性カード1272の情報をスクロールする。
図12Hに示すように、特性カード1272は、キャプション追加コントロール1282c、画像キャプチャメタデータ1282d、場所メタデータ1282e、(例えば、ライブエフェクト1282f1~1282f3を含む)エフェクト1282f、写真提案コントロール1282g、および場所提案コントロール1282hを含む、更なる追加情報1282を含む。いくつかの実施形態では、追加情報は、写真内で識別される人々に関連付けられた追加情報のような他のタイプの追加情報を含む。いくつかの実施形態では、キャプション追加コントロール1282cに向けられた入力の検出に応じて、コンピュータシステム600は、フィールドへのテキスト入力が拡大した表現1224bによって表されたメディアのキャプションとして保存される入力フィールドを表示する。いくつかの実施形態では、画像キャプチャメタデータ1282dは、拡大した表現1224bによって表されたメディアのフォーマット(例えば、「JPEG」)の1つ以上の表現、拡大した表現1224bによって表されたメディアをキャプチャしたコンピュータシステムの1つ以上の構成/設定(例えば、「ISO32」および/または「6MM」)、および/または拡大した表現1224bによって表されたメディアをキャプチャしたコンピュータシステムの1つ以上の識別子(例えば、「PHONE11 PRO」および/または「Triple Camera 6 MM」)を含む。いくつかの実施形態では、場所メタデータ1282eは、拡大した表現1224bによって表されたメディアに関連付けられた場所(例えば、どこにある)のマップを含む。いくつかの実施形態では、場所メタデータ1282eに向けられた入力の検出に応じて、コンピュータシステム600は、場所メタデータ1282eに対応している場所(例えば、「DRY CITY STATE PARK AZ US」)を含む地図アプリケーションのインタフェースを表示する。いくつかの実施形態では、エフェクト1282f1~1282f3のうちの1つに向けられた入力の検出に応じて、コンピュータシステム600は、エフェクト1282f1~1282f3のうちの1つに向けられた入力によって選択されたエフェクトに関連付けられたエフェクトを適用する。いくつかの実施形態では、(例えば、写真は、拡大した表現1224bによって表されたメディアのコンテキストに基づいて選択される場合)写真提案コントロール1282gに向けられた入力の検出に応じて、コンピュータシステム600は、拡大した表現1224bによって表されたメディアに関連付けられた写真の1つ以上の表現を表示する。いくつかの実施形態では、場所提案コントロール1282hに向けられた入力の検出に応じて、コンピュータシステム600は、拡大した表現1224bによって表されたメディアの場所メタデータに関連付けられた(例えば、場所メタデータ1282eに含まれたような)メディアの1つ以上の表現を表示する。
図12B~図12Eに戻ると、追加情報コントロール1226a上の入力1250bの検出に応じて、コンピュータシステム600は、追加情報1282に含まれた情報の一部分を表示する。いくつかの実施形態では、入力1250bの検出に応じて、追加情報1282が、いくつかの実施形態における特性インジケータ1260a~1260cおよび1262d~1262eと同時に表示される。例えば、図12Eにおいて、追加情報コントロール1226a上の入力1250bの検出に応じて、コンピュータシステム600は、キャプション追加コントロール1282c、画像キャプチャメタデータ1282d、場所メタデータ1282e、(例えば、ライブエフェクト1282f1~1282f3を含む)エフェクト1282f、写真提案コントロール1282g、場所提案コントロール1282hなどを、特性インジケータ1260a~1260cおよび1262d~1262eと同時に、表示することができる。図12Hに戻ると、コンピュータシステム600は、特性カード1272上の下向きスワイプ入力1250hを検出する。
図12Iに示すように、下向きスワイプ入力1250hの検出に応じて、コンピュータシステム600は、図12G~図12Hに関連して以上に説明したような1つ以上の技法を使用して、下向きスワイプ入力1250hの移動に基づいて特性カード1272をスライドさせる。図12Iにおいて、コンピュータシステム600は、終了コントロール1266上でタップ入力1250iを検出する。
図12Jに示すように、タップ入力1250iの検出に応じて、コンピュータシステム600は、拡大した表現1224bを拡大し、特性カード1272の表示を中止し、アプリケーションコントロール領域722およびアプリケーションコントロール領域726を再表示する。図12Jにおいて、コンピュータシステム600は、特性インジケータ1260c上でタップ入力1250jを検出する。
図12Kに示すように、タップ入力1250jの検出に応じて、コンピュータシステム600は、特性インジケータ1260cが拡大され、図12Kに示される拡大した表現1224cの中心(または中心の近く)に表示されるように、拡大した表現1224bをズームインする。タップ入力1250jの検出に応じて、コンピュータシステム600は、特性インジケータ1260cの外観を変更して特性インジケータ1260cが選択されていることを示し、かつカテゴリインジケータ1260c1を表示する。特性インジケータ1260cおよび特性インジケータ1260aは、特性の同じ所定のカテゴリ(例えば、植物カテゴリ)に属している特性に対する特性インジケータであるため、カテゴリインジケータ1260c1は、図12Fのカテゴリインジケータ1260a1と同じである。いくつかの実施形態では、特性インジケーションが特性の異なった所定のカテゴリに属しているときに、(例えば、特性インジケータが選択されたときに)、個別の特性インジケータの近くに(例えば、隣に)表示されたカテゴリインジケータは異なっている。
図12Kに示すように、タップ入力1250jの検出に応じて、コンピュータシステム600は、特性カード1270の表示に関連して以上に説明したような1つ以上の同様の技法を使用して、特性カード1274を表示する。特性カード1274は、タンポポ1234の特性カードである。また、特性カード1274は、終了コントロール1266、特性画像1274a、特性識別子1274b、特性情報1274c、特性情報1274dを含み、これらは、特性カード1270に関して以上に説明したような同様の技法で機能してタンポポ1234に関する同様の情報を提供する。また、特性カード1274は注文コントロールを含む。いくつかの実施形態では、特性カード1274上の入力の検出に応じて、コンピュータシステム600は、タンポポ(例えば、および/または検出された特性)を購入する注文プロセスを開始する。いくつかの実施形態では、タンポポを購入する注文プロセスを開始することは、タンポポを購入するためのウェブサイトを表示することを含む。いくつかの実施形態では、特性カードは、特定の動作を実行する1つ以上のコントロールを含む。いくつかの実施形態では、特定の動作を実行する1つ以上のコントロールは、特性カードが対応した所定のカテゴリに基づいて選択される。いくつかの実施形態では、1つ以上の特定の動作を実行する1つ以上のコントロールは、検出された特性を注文する(例えば、タンポポを注文する、映画チケットを購入する)コントロールと、検出された特性を検索/取得する(例えば、予約を行う)コントロールと、検出された特性に関連付けられたアプリケーションを起動させる(例えば、ドッグウォーキングアプリケーションを起動させる)コントロールと、検出された特性を開始する(例えば、音楽を再生する、映画を再生する)コントロールとを含む。図12Kにおいて、コンピュータシステム600は、終了コントロール1266上のタップ入力1250k1と、拡大した表現1224b上のスワイプ入力1250k2とを検出する。
図12Lに示すように、タップ入力1250k1の検出に応じて、コンピュータシステム600は、特性カード1270の表示を中止する。また、スワイプ入力1250k2の検出に応じて、コンピュータシステム600は、本1236が拡大されて表示されるように、拡大した表現1224bを平行移動(またはパン)する。本1236のテキストの一部分(例えば、またはテキスト全体)がプロミネンス基準のセットを満たしているとの判定が行われたため、コンピュータシステム600は、図6A~図6Mに関連して以上に説明したような1つ以上の技法を使用して、本1236の単語の一部分の周りにテキスト管理コントロール680および括弧636lを表示する。図12Lに示すように、テキスト管理コントロール680は、追加情報コントロール1226aと同時に表示される。図12Lに示すように、テキスト管理コントロール680は、右に移動された特性インジケータ1262d~1262eの左に表示される。いくつかの実施形態では、テキスト管理コントロール680は、コンピュータシステム600上の別の場所に表示され、特性インジケータ1262d~1262eは、テキスト管理コントロール680の表示を収容するように移動される。いくつかの実施形態では、テキスト管理コントロール680は、コンピュータシステム600上の別の場所に表示され、特性インジケータ1262d~1262eは、テキスト管理コントロール680が表示される前に、相変わらずそれらが以前に表示されたポジションにある。
いくつかの実施形態では、所定のカテゴリのセットに属している少なくとも1つの特性が検出されることができないとの判定が行われたとき、および/または表示される拡大した表現内のテキストの一部分がプロミネンス基準のセットを満たしていないとの判定が行われたとき、コンピュータシステム600は、追加情報コントロール1226aおよび/またはテキスト管理コントロール680の表示を中止する。いくつかの実施形態では、追加情報コントロール1226aに向けられた入力の検出に応じて、コンピュータシステム600は、入力が受信される前に表示された特性インジケータの表示を中止し、追加情報コントロール1226aを非アクティブな状態で表示する(例えば、追加情報コントロール1226aを強調解除する(例えば、太字にしない))。いくつかの実施形態では、テキスト管理コントロール680に向けられた入力の検出に応じて、コンピュータシステム600は、図6A~6Zに関連して以上に説明したような1つ以上の技法を使用してテキスト管理オプションを表示する。
以上図12A~図12Lは、以前にキャプチャされたメディアを表示するコンピュータシステム600のコンテキストに説明された。いくつかの実施形態では、コンピュータシステム600は、コンピュータシステム600が図12A~12Lに関連して以上に説明したような1つ以上の技法を使用している間に、ライブプレビュー(例えば、図6A~6Mの630)を表示する。したがって、いくつかの実施形態では、コンピュータシステム600が1つ以上のカメラの視野を表すライブプレビューを表示している間に、コンピュータシステム600は、特性を検出し、特性インジケータおよび特性カードを表示することができる。
図13は、いくつかの実施形態に係る、メディア内の視覚コンテンツを識別する方法を示すフロー図である。方法1300は、表示生成コンポーネントと通信しているコンピュータシステム(例えば、100、300、500、および/または600)において行われた。方法1300におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法1300は、メディア内の視覚コンテンツを識別する直観的な方法を提供する。本方法は、メディア内の視覚コンテンツを識別するユーザの認知的負担を軽減し、それによって、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザがメディア内の視覚コンテンツをより迅速かつより効率的に識別することを可能にすることは、電力を節約し、バッテリ充電の間隔時間を長くする。
方法1300は、(いくつかの実施形態では、コンピュータシステムの同じ側または異なった側の1つ以上のカメラ(例えば、デュアルカメラ、トリプルカメラ、クアッドカメラなど)(例えば、フロントカメラ、バックカメラ))および表示生成コンポーネント(例えば、ディスプレイコントローラ、タッチ感知ディスプレイシステム)と通信しているコンピュータシステム(例えば、600)(例えば、スマートフォン、デスクトップコンピュータ、ラップトップ、タブレット)において行われた。いくつかの実施形態では、 コンピュータシステムは、1つ以上の入力デバイス(例えば、タッチ感知面)と通信している。
コンピュータシステムは、表示生成コンポーネントを介して、カメラユーザインタフェース(例えば、メディアキャプチャユーザインタフェース、メディア閲覧ユーザインタフェース、メディア編集ユーザインタフェース)を表示し(1302)、上記のカメラユーザインタフェースは、メディア(例えば、写真メディア、ビデオメディア)の表現(例えば、1224a、1224b)(例えば、ライブメディア;ライブプレビュー(例えば、メディアをキャプチャする要求の検出(例えば、シャッタアフォーダンスの選択の検出)に応じてキャプチャされていない、1つ以上のカメラの視野(例えば、現在の視野)の表現に対応しているメディア);以前にキャプチャされたメディア(例えば、キャプチャされている、1つ以上のカメラの視野(例えば、以前の視野)の表現に対応しているメディア);保存されている、後でユーザがアクセスできるメディアアイテム;メディアのサムネイル表現上(例えば、メディアギャラリー内)でのジェスチャの受信に応じて表示されたメディアの表現)と、メディアキャプチャアフォーダンス(例えば、ユーザインタフェースオブジェクト)とを同時に表示することを含む。
メディアの表現を含むメディアユーザインタフェースを表示している間に、コンピュータシステムは、メディアの表現において複数の検出された(例えば、自動的に検出された(例えば、ユーザ入力および/またはジェスチャの介入なしに検出された、特性についての(例えば、関する、関連した)追加情報を表示する要求(例えば、1250b)を受信する(1304)。いくつかの実施形態では、追加情報を表示する要求は、追加情報を表示する選択可能なユーザインタフェースオブジェクト(例えば、1226a)上の入力(例えば、1250b)(例えば、タップジェスチャ)と、メディアユーザインタフェース上のスワイプアップジェスチャ(例えば、1224b)(例えば、スワイプアップ)に対応している入力/ジェスチャとを受信したことに応じて受信される。いくつかの実施形態では、追加情報を表示する要求は、表示されたメディアアイテムの以前の表現(例えば、1224b)の変更された(例えば、1250g)(例えば、ズームイン/ズームアウトされた、左/右/上/下にパンされた)バージョンを表示する要求を受信すること(例えば、表示されたメディアの以前の表現(例えば、1224b)上のピンチ/ピンチ解除ジェスチャおよび/またはスワイプジェスチャを受信したこと)に応じて受信される。
複数の検出された特性についての追加情報を表示する要求(例えば、1250b)の受信に応じて、かつメディアの表現を含むメディアユーザインタフェースを表示している間に、コンピュータシステムは、メディア内の検出された特性の1つ以上のインジケーション(例えば、1260a~1260c、1262d~1262e)を表示し(1306)、上記のインジケーションは、第1のインジケーション(例えば、1260a~1260c、1262d~1262e)(例えば、メディアの表現内の第1の検出された特性の場所に対応しているメディアの表現内の第1の場所で表示された(例えば、上に/隣接して表示された)(例えば、第1の検出された特性が検出されていることを表すように表示された)第1の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の形状(例えば、サークル)である視覚表現)を含む;第1の検出された特性は第1のタイプの特性(1232、1234、1236、1238、1240、1242)である(例えば、検出された特性の第1のカテゴリ(例えば、犬、花および植物、ランドマーク、本、猫、絵画、アルバムアート、映画ポスター、靴、アクセサリ、衣類、食料品、動物、製品(例えば、特定の会社の製品)、家具、人)に属している)との判定に従って(1308)、第1のインジケーションが第1の外観(例えば、特定の色、強調表示を有する形状(例えば、サークル、ダイヤモンド))を有する。第1の検出された特性が、第1のタイプの特性と異なった第2のタイプの特性(例えば、1232、1234、1236、1238、1240、1242)である(例えば、検出された特性の第1のカテゴリ(例えば、犬、花および植物、ランドマーク、本、猫、絵画、アルバムアート、ムービーポスター、靴、アクセサリ、衣類、食料品、動物、製品(例えば、特定の会社の製品)、家具、人)に属している)との判定に従って(1310)、第1のインジケーション(例えば、1260a~1260c、1262d~1262e)は、第1の外観と異なった(例えば、メディアの表現内の第1のインジケーションの場所以外、視覚特性(例えば、色、形状、強調表示など)において異なった)第2の外観(例えば、特定の色、強調表示を有する形状(例えば、サークル、ダイヤモンド))を有する。検出された特性のタイプに基づいて、第1のインジケーションを異なった外観で表示することは、どのタイプの検出された特性が検出されているかの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、メディア内の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の1つ以上のインジケーション(例えば、1260a~1260c、1262d~1262e)は、メディアの表現の第2の検出された特性の場所に対応しているメディアの表現内の第2の場所で表示された(例えば、上に/隣接して表示された)(例えば、第2の検出された特性が検出されていることを表すように表示された)第2の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の第2のインジケーション(例えば、1260a~1260c、1262d~1262e)を含む;第2の検出された特性が第1のタイプの特性(例えば、1232、1234、1236、1238、1240、1242)であるとの判定に従って、第2のインジケーション(例えば、1260a~1260c、1262d~1262e)は、第1の外観(または別の外観(例えば、第3の外観))を有する。第2の検出された特性が第1のタイプの特性(例えば、1232、1234、1236、1238、1240、1242)と異なった第2のタイプの特性であるとの判定に従って、第2のインジケーション(例えば、1260a~1260c、1262d~1262e)は、第1の外観と異なった第2の外観(または別の外観(例えば、第3の外観と異なった外観))を有する。検出された特性のタイプに基づいて第2のインジケーションを異なった外観で表示することは、どのタイプの検出された特性が検出されているかの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第1の検出された特性の第1のインジケーション(例えば、1260a~1260c、1262d~1262e)は、第2の検出された特性の第2の表示(例えば、1260a~1260c、1262d~1262e)と同時に表示される。いくつかの実施形態では、第1の検出された特性は、第1のタイプの特性(例えば、1232、1234、1236、1238、1240、1242)であり、第2の特性は、第2のタイプの特性(例えば、1232、1234、1236、1238、1240、1242)である(また、いくつかの実施形態では、第1のインジケーションは、第2のインジケーションと異なった外観(例えば、異なった色、形状など、個別のインジケーションのそれぞれの色が個別のタイプの特性に対応している)で表示される。第1のタイプの特性である第1の検出された特性の第1のインジケーションと、第2のタイプの特性である第2の検出された特性の第2のインジケーションとを同時に表示することは、ある瞬間に、複数の特性が検出されているとの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第1の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の第1のインジケーション(例えば、1260a~1260c、1262d~1262e)は、第2の検出された特性の第2のインジケーション(例えば、1260a~1260c、1262d~1262e)と同時に表示される。いくつかの実施形態では、第1の検出された特性は、第2の検出された特性(例えば、1232、1234、1236、1238、1240、1242)と異なっている。いくつかの実施形態では、第1の検出された特性は第1のタイプの特性であり、第2の特性は第1のタイプの特性である(また、いくつかの実施形態では、第1のインジケーションは、第2のインジケーションと同じ外観(例えば、第1のタイプの特性に対応している色、形状など)で表示される。第1のタイプの特性である第1の検出された特性の第1のインジケーションと、第1のタイプの特性である第2の検出された特性の第2のインジケーションとを同時に表示することは、ある瞬間に、同じタイプの特性である複数の特性が検出されているとの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第1の外観を有する第1のインジケーション(または任意のインジケーション)(例えば、1260a~1260c、1262d~1262e)は、第1の色(例えば、第1のタイプの特性を表す第1の色)で表示される。いくつかの実施形態では、第2の外観を有する第1のインジケーション(または任意のインジケーション)(例えば、1260a~1260c、1262d~1262e)は、第1の色で表示されない。いくつかの実施形態では第2の外観を有する第1のインジケーションは、第1の色と異なった第2の色で表示される。いくつかの実施形態ではコンピュータシステムは、異なったタイプの検出された特性の検出された特性を有するインジケーションを、異なった色を有するものとして表示する。第1の色で表示された第1の外観を有する第1のインジケーションを表示すること、または第1の色で表示されない第2の外観を有する第1のインジケーションを表示することは、視覚フィードバックをユーザに提供し、第1のタイプの特性である検出された特性のインジケーションと第2のタイプの特性である検出された特性のインジケーションとを区別する能力をユーザに与える。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第1の外観を有する第1のインジケーション(または任意のインジケーション)(例えば、1260a~1260c、1262d~1262e)は、第1のタイプの特性の第1のグラフィカル表現(例えば、1260a1、1260c1)(例えば、アイコン、グリフ)で表示される。いくつかの実施形態では、第2の外観を有する第1のインジケーション(または任意のインジケーション)(例えば、1260a~1260c、1262d~1262e)は、第1のグラフィカル表現と異なった第2のタイプの特性の第2のグラフィカル表現(例えば、1260a1、1260c1)(例えば、アイコン、グリフ)で表示される。いくつかの実施形態では、コンピュータシステムは、異なったタイプの検出された特性の検出された特性を有するインジケーションを、異なったグラフィカル表現で表示する。第1の外観を有する第1のインジケーションを、第2の外観を有する第1のインジケーションとともに表示される異なったグラフィカル表現で表示することは、ユーザに視覚フィードバックを提供し、グラフィカル表現を介して、第1のタイプの特性である検出された特性のインジケーションと第2のタイプの特性である検出された特性のインジケーションとを区別する能力をユーザに与える。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、メディア内の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の1つ以上のインジケーション(例えば、1260a~1260c、1262d~1262e)は、第1のタイプの特性である第3の検出された特性の第3のインジケーション(例えば、1260a~1260c、1262d~1262e)、第1のタイプの特性である第4の検出された特性の第4のインジケーション(例えば、1260a~1260c、1262d~1262e)、および第2のタイプの特性である第5の検出された特性の第5のインジケーション(例えば、1260a~1260c、1262d~1262e)を含む。いくつかの実施形態では、(例えば、第3のインジケーションおよび第4のインジケーションは、同じタイプの検出された特性である検出された特性を有するため)第3のインジケーション(例えば、1260a~1260c、1262d~1262e)は、第4のインジケーションと同じ外観(例えば、第1の外観)で表示される。いくつかの実施形態では、(例えば、第3のインジケーションおよび第5のインジケーションが、異なったタイプの検出された特性である検出された特性を有するため)第3のインジケーションは、第5のインジケーションと異なった外観(例えば、第2の外観)で表示される。異なったタイプの検出された特性のインジケーションと異なった外観で、同じタイプの検出された特性のインジケーションを表示することは、視覚フィードバックをユーザに提供し、同じタイプの検出された特性のインジケーションと異なったタイプの検出された特性のインジケーションとを区別する能力をユーザに与える。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、メディアの表現の複数の検出された特性についての追加情報を表示する要求を受信することの一部分として、コンピュータシステムは、メディアライブラリ(例えば、メディアユーザインタフェースの一部分として表示されたメディアライブラリ、複数のメディアの表現)(例えば、1212a、1212b)に向けられた入力(例えば、スワイプジェスチャ)(例えば、1250g)を検出する。いくつかの実施形態では入力は、非スワイプジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、ホバージェスチャ、および/またはタップジェスチャ)である。いくつかの実施形態ではメディアライブラリに向けられた入力(例えば、1250g)の検出に応じて、かつ入力が第1の方向(例えば、1250gの方向)におけるとの判定に従って、コンピュータシステムは、複数の検出された特性についての追加情報(例えば、1282に示された情報)を表示する要求を受信する。いくつかの実施形態では(例えば、図12Gに関連して以上に説明したように)メディアライブラリに向けられた入力(1250h)の検出に応じて、かつ入力が第1の方向と異なった第2の方向(例えば、1250gの方向と同じでないまたは反対の方向)におけるとの判定に従って、複数の検出された特性についての追加情報を表示する要求は受信されない。いくつかの実施形態では、(例えば、図12Gに関連して以上に説明したように)メディアライブラリに向けられた入力の検出に応じて、かつ入力が第2の方向におけるとの判定に従って、コンピュータシステムは、メディアライブラリ(例えば、682)についての情報を表示し、検出された特性の1つ以上のインジケーションについての情報(例えば、672)を表示しない(例えば、図12Gに関連して以上に説明したように)。メディアライブラリに向けられた入力を検出することを介して、メディアの表現の複数の検出された特性についての追加情報を表示する要求を受信することは、ユーザがユーザインタフェースを追加のユーザインタフェースオブジェクトで混乱させずに、追加情報を表示する入力を実行することを可能にすることによって、コンピュータシステムに対する追加のコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、第1の検出された特性の第1のインジケーションを表示している間に、コンピュータシステムは、第1の検出された特性の第1のインジケーションに向けられた第1の入力(例えば、1250e、1250f、1250j)(例えば、タップジェスチャ)を検出する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、第1の検出された特性の第1のインジケーション(例えば、1260a~1260c、1262d~1262e)に向けられた第1の入力(例えば、1250e、1250f、1250j)の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、第1の検出された特性(例えば、1232、1234、1236、1238、1240、1242)(例えば、第1の検出された特性の写真(例えば、メディアの表現の一部分)、検出された特性についてのテキスト(例えば、検出された特性を説明するテキスト、検出された特性に関するハイパーリンク))についての情報を含む第1のユーザインタフェースオブジェクト(例えば、1270、1272、1274)(例えば、カード(例えば、知識カード))を表示する。いくつかの実施形態では、第1のユーザインタフェースオブジェクトを表示することは、第1のユーザインタフェースオブジェクトを表示生成コンポーネントの底部から上にスライドさせることを含む。第1の検出された特性の第1のインジケーションに向けられた第1の入力の検出に応じ第1の検出された特性についての情報を含む第1のユーザインタフェースオブジェクトを表示することは、ユーザが第1の検出された特性に関するより多くの情報が表示されたときにコントロールすることを可能にすることによって、コンピュータシステムに対する追加のコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、第1の検出された特性についての情報は、第1の検出された特性(例えば、1232、1234、1236、1238、1240、1242)に対応している(例えば、第1の検出された特性の表現を含む)メディアの一部分の表現(例えば、例えば、1270a、1272a~1272c、1274)を含む。第1の検出された特性に対応しているメディアの一部分の表現を含む第1の検出された特性についての情報を表示することは、視覚フィードバックをユーザに提供し、ユーザが表示された情報がメディアの表現内に表示された第1の検出された特性に対応していることを識別することを可能にする。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、メディア内の検出された特性の1つ以上のインジケーションは、第6の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の第6のインジケーション(例えば、1260a~1260c、1262d~1262e)を含む。いくつかの実施形態では、第1の検出された特性および第6の検出された特性の第6のインジケーション(例えば、1260a~1260c、1262d~1262e)についての情報を含む第1のユーザインタフェースオブジェクト(例えば、1270)を表示している間に、コンピュータシステムは、第6の検出された特性の第6のインジケーションに向けられた入力(例えば、タップジェスチャ)(例えば、1250f)を検出する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、第6の検出された特性の第6のインジケーションに向けられた入力(例えば、1250f)の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、第6の検出された特性にについての情報を含む第2のユーザインタフェースオブジェクト(例えば、1272)(例えば、カード(例えば、知識カード))を表示し、かつ表示生成コンポーネントを介して、第1の検出された特性についての情報を含む第1のユーザインタフェースオブジェクト(例えば、1270)の表示を中止する。いくつかの実施形態では、第6の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の第6のインジケーション(例えば、1260a~1260c、1262d~1262e)に向けられた入力(例えば、1250f)の検出に応じて、コンピュータシステムは、第1のユーザインタフェースオブジェクト(例えば、1270)の表示を第2のユーザインタフェースオブジェクト,(例えば、1272)の表示に置き換える。第6の検出された特性の第6のインジケーションに向けられた入力の検出に応じて、第6の検出された特性についての情報を含む第2のユーザインタフェースオブジェクトを表示し、第1の検出された特性についての情報を含む第1のユーザインタフェースオブジェクトの表示を中止することは、ユーザが特定の検出された特性についての情報が表示されたときにコントロールすることを可能にすることによって、コンピュータシステムに対する追加のコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。第6の検出された特性の第6のインジケーションに向けられた入力の検出に応じて、第6の検出された特性についての情報を含む第2のユーザインタフェースオブジェクトを表示し、第1の検出された特性についての情報を含む第1のユーザインタフェースオブジェクトの表示を中止することは、第6の検出された特性についての情報の表示が要求されており、第1の検出された特性についての情報の表示が要求されていないとの視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第1の検出された特性についての情報は、(例えば、第1の検出された特性に関連した)(例えば、第1の検出された特性を取得する(例えば、表示する、購入する、注文する、第1の検出された特性に関連付けられたアプリケーションを起動させる)(例えば、検出された特性に関連付けられた(例えば、対応している)アプリケーションを起動させる、検出された特性を購入する(例えば、映画チケットを購入する)、検出された特性についての予約を行う、検出された特性に関連付けられた歌を再生する)動作を実行するオプション(1274e)を含む。いくつかの実施形態では、動作を実行するオプションに向けられた入力の検出に応じて、コンピュータシステムは、動作を実行するプロセスを開始する(例えば、動作を実行するユーザインタフェースを表示する)。動作を実行するための情報を含む情報を表示することは、第1の検出された特性に関連した動作が実行され得るとの視覚フィードバックをユーザに提供する。いくつかの実施形態では、第1の検出された特性についての情報は、検出された特性に関するテキスト(例えば、説明、時間、記事)を含む。いくつかの実施形態では、第1の検出された特性についての情報は、検出された特性に関するより多くのコンテンツへのリンクを含む。いくつかの実施形態では、第1の検出された特性に関する情報を表示するために、コンピュータシステムは、1つ以上のユーザインタフェースオブジェクト(例えば、1410、1420、1470a、1470b、1470a1、1470b1、1472a、1472a1、1472b、1472b1)の表示を中止し、および/または1つ以上のユーザインタフェースオブジェクトの表示を情報の表示に置き換える。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。動作を実行するための情報を含む情報を表示することは、ユーザがオプションが選択されたときに動作を実行することを可能にすることによって、コンピュータシステムに対する追加のコントロールをユーザに提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、1つ以上のインジケーションは、第7の検出された特性の第7のインジケーションを含む。いくつかの実施形態では、表示生成コンポーネントを介して、メディア内の検出された特性の1つ以上のインジケーションを表示することの一部分として、コンピュータシステムは、第7の特性の第7のインジケーション(例えば、1232、1234、1236、1238、1240、1242)が表示される前に表示される第1のインジケーションの動画(例えば、図12B~12Eにおける1260a~1260c、1262d~1262eのうちの1つ以上)(および第1のインジケーションの前に表示される第8の特性の第8のインジケーション)を表示する。いくつかの実施形態では、動画を表示した後に、第1のインジケーション(例えば、1260a~1260c、1262d~1262eのうちの1つ以上)は、第7のインジケーション(例えば、1260a~1260c、1262d~1262eのうちの1つ以上)(および第8のインジケーション)と同時に表示される。いくつかの実施形態では、動画は、徐々に表示される(例えば、順序に)(例えば、フェードインする)(例えば、1つのインジケーションが次々にフェードインする)1つ以上のインジケーションの動画である。第7の特性の第7のインジケーションが表示される前に表示される第1のインジケーションの動画を表示することは、検出された特性がディスプレイ上に順次表示される時間を可能にしながら、メディアの表現内の検出された特性に関する視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第1の検出された特性の第1のインジケーション(例えば、1260a~1260c、1262d、1262e)を表示している間に、コンピュータシステムは、(例えば、第1の検出された特性の第1のインジケーション(例えば、1232、1234、1236、1238、1240、1242)に向けられた第2の入力(例えば、1250j)(例えば、タップジェスチャ)を検出する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、第1の検出された特性の第1のインジケーションに向けられた第2の入力(例えば、1250j)の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、第1のタイプの特性の第3のグラフィカル表現(例えば、アイコン、グリフ)(例えば、1260a1、1260c1)を(例えば、第1のインジケーションと同時に)表示する。いくつかの実施形態では、第1の検出された特性の第1のインジケーションに向けられた第2の入力の検出に応じて、第1のインジケーションは色を変更する。いくつかの実施形態では、第3のグラフィカル表現は、メディアの表現の一部分の最上部に表示され、および/または第3のグラフィカル表現は、メディア内のコンテンツによって囲まれる。いくつかの実施形態では、第3のグラフィカル表現は、第1のインジケーションに隣接する場所および/または隣に表示される。第1の検出された特性の第1のインジケーションに向けられた第2の入力の検出に応じて、第1のタイプの特性の第3のグラフィカル表現を表示することは、第1のインジケーションが対応する特性のタイプに関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、メディア内の検出された特性の1つ以上のインジケーション(例えば、1260a~1260c、1262d、1262e)は、第9の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の第9のインジケーション(例えば、1260a~1260c、1262d、1262e)を含む。いくつかの実施形態では、第1のタイプの特性の第3のグラフィカル表現(例えば、1260a1)および第9の検出された特性の第9のインジケーションを表示している間に、コンピュータシステムは、第9の検出された特性の第9のインジケーションに向けられた入力(例えば、1250f)(例えば、タップジェスチャ)を検出する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、第9の検出された特性の第9のインジケーションに向けられた入力(例えば、1250f)の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、第1のタイプの特性の第3のグラフィカル表現(例えば、1260a1)の表示を中止する。いくつかの実施形態では、第9の検出された特性の第9のインジケーションに向けられた入力の検出に応じて、コンピュータシステムは、第9の検出された特性に対応している(例えば、第9の検出された特性である)タイプの特性のの第4のグラフィカル表現を表示する。いくつかの実施形態では、タイプの特性の第4のグラフィカル表現は、第9のインジケーションに隣接して(例えば、上に)表示される。第9の検出された特性の第9のインジケーションに向けられた入力の検出に応じ第1のタイプの特性の第3のグラフィカル表現の表示を中止することは、第9のインジケーションが第3のグラフィカル表現に対応していないとのフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第1の検出された特性(例えば、1232、1234、1236、1238、1240、1242)の第1のインジケーション(例えば、1260a~1260c、1262d、1262e)を表示している間に、コンピュータシステムは、第1の検出された特性の第1のインジケーションに向けられた第3の入力(例えば、1250f)(例えば、タップジェスチャ)を検出する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、第1の検出された特性の第1のインジケーションに向けられた第3の入力(例えば、1250f)の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、第1のユーザインタフェースオブジェクト(例えば、カード(例えば、知識カード))(例えば、1272)を表示し、第1のユーザインタフェースオブジェクトは、第1の検出された特性(例えば、1232、1234、1236、1238、1240、1242)(例えば、第1の検出された特性の写真(例えば、メディアの表現の一部分)、検出された特性に関するテキスト(例えば、検出された特性を説明するテキスト、検出された特性に関するハイパーリンク)についての情報(例えば、1272a~1272c)と、メディアの表現に対応しており、第1の検出された特性(例えば、1232、1234、1236、1238、1240、1242)に対応していない情報(例えば、1280)(例えば、地図(例えば、メディアに対応している検出された場所(例えば、メディアが撮影された場所)を有するマップ)、メタデータ(例えば、キャプション、アドレス、メディアの表現に関する他のメタデータ)、人(例えば、メディアの表現において検出された1人以上の人)、メモリ(例えば、メディアの表現の1つ以上のメモリおよび/またはカテゴリ)、メディアの表現の近くにおよび/またはメディアの表現の同じ日に撮影された1つ以上の他のメディアの表現など)とを含む。いくつかの実施形態では、第1のユーザインタフェースオブジェクトを表示することの一部分として、コンピュータシステムは、第1のユーザインタフェースオブジェクトを表示生成コンポーネントの底部から上にスライドさせる(例えば、移動させる)。いくつかの実施形態では、第1の検出された特性に関する情報は、メディアの表現に対応しており、第1の検出された特性に対応していない情報と同時に表示される。いくつかの実施形態では、第1のユーザ情報オブジェクトを表示している間に、検出された特性に関する少なくともいくつかの情報が表示され、メディアの表現に対応しており、第1の検出された特性に対応していない情報は表示されず、コンピュータシステムは、第1のユーザインタフェースオブジェクトに向けられた入力を検出し、第1のユーザインタフェースオブジェクトに向けられた入力の検出に応じて、検出された特性に関する少なくともいくつかの情報の表示を中止し、メディアの表現に対応しており、第1の検出された特性に対応していない少なくともいくつかの情報を表示する(いくつかの実施形態では、コンピュータシステムは、メディアの表現に対応しており、第1の検出された特性に対応していない少なくともいくつかの情報を表示するように第1のユーザインタフェースオブジェクトをスクロールする)。第1の検出された特性についての情報と、メディアの表現に対応しているが第1の検出された特性に対応していない情報とを含む第1のユーザインタフェースオブジェクトを表示することは、追加のユーザインタフェースオブジェクトを表示する必要なく、第1の検出された特性に関連する情報およびメディアの表現に関連する情報に関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、メディアの表現に対応しており、第1の検出された特性に対応していない情報は、メディアの表現に対応しているメタデータ(例えば、1280のうちの1つ以上)(例えば、場所)(例えば、メディアの表現が取られた場所に対応しているメタデータ)を含む。メディアの表現に対応しており、メディアの表現に対応しているメタデータを含む第1の検出された特性に対応していない情報を表示することは、メディアの表現に関連する情報に関するフィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することによって、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、メディアの表現に対応しており、第1の検出された特性に対応していない(例えば、関連していない)情報は、効果(例えば、動画効果(例えば、メディアの画像のシーケンスをループで表示すること、ループで画像のシーケンスを表示しないこと、メディアの画像の少なくとも1つに露光(例えば、長時間露光)を適用すること、メディアの表現をメディアに振動および/またはバウンドさせること(例えば、メディアの表現を前後に移動させること))を適用するための1つ以上のオプション(例えば、1282f)(または複数のオプション)を含む。いくつかの実施形態では、効果をメディアに適用するためのオプションの選択(例えば、それに向けられたジェスチャ)の検出に応じて、コンピュータシステムは、効果をメディアに適用する。いくつかの実施形態では、メディアの表現に対応しており、第1の検出された特性に対応していない(例えば、関連していない)情報も、別の検出された特性に対応している情報と同時に表示される。メディアの表現に対応しており、エフェクトを適用するための1つ以上のオプションを含む第1の検出された特性に対応している情報を表示することは、ユーザが表示された表現にエフェクトを適用させることを可能にすることによって、ユーザに追加のコントロールを提供する。追加の表示されたコントロールでUIを混乱させずにコンピュータシステムの追加のコントロールを提供することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、コンピュータシステムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態ではメディアの表現に対応しており、第1の検出された特性に対応していない情報は、メディアライブラリ(例えば、コンピュータシステムがメディアライブラリに対応しているユーザインタフェースを表示することができる、コンピュータシステムによってアクセスすることができるメディアライブラリ)(例えば、メディアギャラリー)内の関連コンテンツへの1つ以上のリンク)(例えば、1282g、1282h)(例えば、メディアの表現に関連付けられた(例えば、含まれた)関連メディア(例えば、写真、ビデオ)、場所、人々へのリンク)を含む。メディアの表現に対応しており、メディアライブラリ内の関連コンテンツへの1つ以上のリンクを含む第1の検出された特性に対応していない情報を表示することは、メディアの表現に関連する外部情報に関するフィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することによって、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、第1のインジケーション(例えば、1260a~1260c、1262d、1262e)は、複数の検出された特性に関する追加情報を表示する要求の受信に応じて、表示生成コンポーネント上の第1の場所に表示される。いくつかの実施形態では、(複数の検出された特性に関する追加情報を表示する要求を受信する前/後に)メディアの表現(例えば、1224)は、第1のズームレベルで表示される。.いくつかの実施形態では、第1の検出された特性の第1のインジケーション(例えば、1260a~1260c、1262d、1262e)を第1の場所に表示し、メディアの表現(例えば、1224b)が第2のズームレベルで表示されている間、コンピュータシステムは、第1の検出された特性の第1のインジケーションに向けられた第4の入力(例えば、1250f)(例えば、タップジェスチャ)を検出する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、第1の検出された特性の第1のインジケーションに向けられた第4の入力(例えば、1250f)の検出に応じて、コンピュータシステムは、メディアの表現(例えば、1224b)を拡大し(例えば、ズームイン/オンし)、メディアの表現を第2の場所に表示し、第2の場所は、第1の場所よりも表示生成コンポーネントの中心に近い。いくつかの実施形態では、メディアの表現を拡大し(例えば、ズームイン/オンし)、第1の場所を第2の場所に表示することの一部分として、コンピュータシステムは、入力が向けられたインジケーション(例えば、第1のインジケーション)が表現の表示された部分の中心(および/またはディスプレイの中心)の近くおよび/または中心にあるように、メディアの表現をズームインおよびパンする。第1の検出された特性の第1のインジケーションに向けられた第4の入力の検出に応じて、メディアの表現を拡大し、第1の場所を第2の場所に表示することは、第1のインジケーションが選択されていること、および/または第1のインジケーションに対応している情報が表示されていることのフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、複数の検出された特性は、第10のタイプの検出された特性である第10の検出された特性(例えば、1236、1238、1240)を含む。いくつかの実施形態では、表示生成コンポーネントを介して、1つ以上のインジケーションを表示することの一部分として、コンピュータシステムは、第10の検出された特性の場所に対応しているメディアの表現内の第10の場所が判定できないとの判定に従って、表示生成コンポーネントを介して、メディアユーザインタフェース上の所定の場所(例えば、メディアの表現の下、メディアの表現の隅)(例えば、第10の場所とは、異なる所定の場所)における第10の検出された特性に対応している第10のインジケーション(例えば、1262d~1262e)を表示する。いくつかの実施形態では第10の検出された特性の場所に対応しているメディアの表現内の第10の場所が(例えば、1232、1234、1242)判定され得るとの判定に従って、コンピュータシステムは、第10のインジケーションを表示する。(例えば、1260a~1260c)(例えば、図12B~12Eに関連して以上に説明したように)第10の場所に配置される。いくつかの実施形態では、(例えば、図12B~図12Eに関連して上述されたように)第10の検出された特性(例えば、1236、1238、1240)の場所に対応しているメディアの表現内の第10の場所(例えば、1262d~1262e)を決定できないとの判定に従い第10のインジケーションは、第5の外観を有している。いくつかの実施形態では、第10の検出された特性(例えば、1236、1238、1240)の場所に対応しているメディアの表現内の第10の場所を決定できないとの判定に従って、第10のインジケーション(例えば、1262d~1262e)が、第5の外観と異なった第6の外観を有する(例えば、図12B~12Eに関して上記で議論されたように)。所定の条件が満たされたときに、表示生成コンポーネントを介して、第10の検出された特性に対応している第10のインジケーションをメディアユーザインタフェース上の所定の場所に自動的に表示することによって、コンピュータシステムは、それぞれの検出された特性のそれぞれの場所に対応しているメディアの表現内のそれぞれの場所が判定できないときにインジケーションを表示することができる。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、所定の場所(例えば、コンピュータシステムがインジケーション(例えば、ホットスポット)をどこに置くかを把握できない場所)に表示される第10のインジケーション(例えば、1262d~1262e)は、第1の場所(例えば、コンピュータシステムがインジケーションをどこに置くかを把握できる場所)に表示される第1のインジケーション(例えば、1260a~1260c)と同時に表示される。
いくつかの実施形態では、複数の検出された特性は、第11の検出された特性(例えば、1236、1238、1240)を含む。いくつかの実施形態では、表示生成コンポーネントを介して、1つ以上のインジケーションを表示することの一部分として、コンピュータシステムは、第10の検出された特性の場所に対応しているメディアの表現内の第11の場所を判定できず、第11の検出された特性の場所に対応している第12の場所を判定できないとの判定に従って、かつ第10の検出された特性および第11の検出された特性が異なるタイプの検出された特性であるとの判定に従って、表示生成コンポーネントを介して、(例えば、第1の検出された特性の表現を含む)第11の検出された特性の検出された特性(例えば、1236、1238、1240)のタイプに対応している第11のインジケーション(例えば、1262d~1262e)を表示し、第10の検出された特性の場所に対応しているメディアの表現内の第11の場所を判定できず、第11の検出された特性の場所に対応している第12の場所を判定できないとの判定に従って、かつ第10の検出された特性および第11の検出された特性が同じタイプの検出された特性(例えば、1236、1238、1240)であるとの判定に従って、表示生成コンポーネントを介して、第11のインジケーション(例えば、1262d~1262e)の表示を見合わせる。所定の条件がいつ満たされるかに基づいて第11の表示を表示するか否かを選択することは、コンピュータシステムが、複数の検出された特性の場所が、検出された特性が同じタイプの検出された特性であるか、または異なったタイプの特性であるかに基づいて判定できないときに表示されるインジケーションの量を低減することを可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第10のインジケーションを表示しながら、コンピュータシステムは、第10の検出された特性および第11の検出された特性が同じタイプの検出された特性であるときに、第10のインジケーション(例えば、1262e)に向けられた入力(例えば、タップジェスチャ)を検出する。いくつかの実施形態では、入力は、非タップジェスチャ(例えば、回転ジェスチャ、長押しジェスチャ、マウス/トラックパッドクリック/有効化、キーボード入力、スクロールホイール入力、および/またはホバージェスチャ)である。いくつかの実施形態では、第10のインジケーション(例えば、1262e)に向けられた入力(例えば、1250f)の検出に応じて、コンピュータシステムは、表示生成コンポーネントを介して、第10の検出された特性に関する情報および第11の検出された特性に関する情報を含むユーザインタフェースオブジェクト(例えば、1272)を表示する。いくつかの実施形態では、(例えば、図12F~図12Gに関連して以上に説明したように)第10の検出特性(例えば、1236、1238、1240)および第11の検出特性(例えば、1236、1238、1240)が異なったタイプの検出特性であるとの判定に従って、第11のインジケーション(例えば、1262d~1262e)を表示している間に、コンピュータシステムは、第11の表示(例えば、1262d~1262e)に向けられた入力(例えば、1250f)を検出する。第11の表示に対する入力の検出に応じて、第10の検出特性に関する情報(例えば、1272)を表示することなく、第11の検出特性に関する情報を表示する。いくつかの実施形態では、(例えば、図12F~図12Gに関連して以上に説明したように)第10の検出された特性および第11の検出された特性が異なったタイプの検出された特性であるとの判定に従って、かつ第10のインジケーションを表示している間に、コンピュータシステムは、第10のインジケーションに向けられた入力(例えば、1250f)を検出し、第10のインジケーションに向けられた入力の検出に応じて、第11の検出された特性に関する情報を表示せずに、第10の検出された特性に関する情報を表示する。第10のインジケーションに向けられた入力の検出に応じて、第10の検出された特性に関する情報および第11の検出された特性に関する情報を含むユーザインタフェースオブジェクトを表示することは、1つのユーザインタフェースオブジェクトを介して同じタイプの検出された特性に関するフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、(例えば、図6A~図6M、図7E~図7L、図8、および図9に関連して以上に説明したように)メディアユーザインタフェースを表示することの一部分として、コンピュータシステムは、1つ以上のテキスト管理動作に対応しているユーザインタフェースオブジェクト(例えば、680)と同時に、追加情報を表示する第1のユーザインタフェースオブジェクト(例えば、1226a)(例えば、「i」アイコンを含むユーザインタフェースオブジェクト)を表示する。いくつかの実施形態では、情報を表示する第1のユーザインタフェースオブジェクトに向けられた入力の検出に応じて、コンピュータシステムは、追加情報を表示する要求を受信する。
いくつかの実施形態では、メディアの表現を表示している間に、コンピュータシステムは、メディアの表現と異なった第2のメディア(例えば、異なったコンテンツおよび/またはデータを有する異なったメディアファイル)の第2の表現(例えば、1224b)を表示する要求(例えば、1250k2)を受信する。いくつかの実施形態では第2のメディアの第2の表現を表示する要求は、コンピュータシステムがメディアのサムネイル表現上でタップジェスチャを検出したときに、コンピュータシステムがメディアの表現上でスワイプジェスチャを検出したときに受信される。いくつかの実施形態では、メディアと異なった第2のメディアの第2の表現を表示する要求の受信に応じて(例えば、1250k2)、および第2のメディアおよび/またはメディアの表現が1つ以上の検出された特性を含むとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、追加情報を表示する第2のユーザインタフェースオブジェクト(例えば、1226a)(例えば、「i」アイコンを含むユーザインタフェースオブジェクト)を(第2のメディアの第2の表現と同時に)表示する。いくつかの実施形態では、(例えば、第2のメディアの第2の表現を表示している間に)メディアと異なった第2のメディアの第2の表現を表示する要求の受信に応じて(例えば、1250k2)、メディアの表現が1つ以上の検出された特性を含まないとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、追加情報を表示する第2のユーザインタフェースオブジェクト(例えば、1226a)の表示を見合わせる。いくつかの実施形態では、追加メディアを表示するユーザインタフェースオブジェクトを表示している間に、コンピュータシステムは、追加情報を表示するユーザインタフェースオブジェクトに向けられた入力を検出し、追加情報を表示するユーザインタフェースオブジェクトに向けられた入力の検出に応じて、複数の検出された特性に関する追加情報を表示する要求が受信される。所定の条件が満たされたときに追加情報を表示するユーザインタフェースオブジェクトを表示するか否かを選択することは、追加情報を表示するユーザインタフェースオブジェクトを表示することによって、メディアの個別の表現が1つ以上の検出された特性を含むとの判定が行われたときに、コンピュータシステムがユーザインタフェースの混乱を解消することを可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、上記で説明した方法1300の1つ以上のステップは、ビデオメディアの1つ以上のライブフレームおよび/または一時停止フレームのようなビデオメディアの表現にも適用できる。いくつかの実施形態では、以上に説明した方法1300の1つ以上のステップは、図12A~図12Lに関連して説明したユーザインタフェースと異なったアプリケーションのユーザインタフェースにおけるメディアの表現に適用することができ、アプリケーションのユーザインタフェースは、生産性アプリケーション(例えば、ノート作成アプリケーション、スプレッドシーティングアプリケーション、および/またはタスク管理アプリケーション)、ウェブアプリケーション、ファイルビューアアプリケーション、および/または文書処理アプリケーション、および/またはプレゼンテーションアプリケーションに対応しているユーザインタフェースを含むが、これらに限定されない。
方法1300(例えば、図13)に関して以上に説明した処理の詳細は、本明細書中で説明した他の方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法1300は、任意選択的に、方法800、900、1100、1500、および1700を参照して説明された様々な方法の特点のうちの1つ以上を含む。例えば、検出された特性は、方法1500を使用して平行移動されることができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図14A~図14Nは、いくつかの実施形態に係る、メディア内の視覚コンテンツを翻訳する例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図15におけるプロセスを含む後述のプロセスを説明するために使用される。
図14Aは、翻訳コントロール領域1402、翻訳入力フィールド1408、および翻訳コントロール領域1406を含む翻訳アプリケーションユーザインタフェースを表示するコンピュータシステム600を示す。翻訳コントロール領域1402は、言語入力コントロール1402aおよび言語出力コントロール1402bを含む。図14Aにおいて、言語入力コントロール1402aは、コンピュータシステム600が、翻訳される単語(例えば、検出されたオーディオ、テキスト)がドイツ語であると識別することを示し、言語出力コントロール1402bは、コンピュータシステム600が翻訳された言語を英語(米国)で出力することを示す。言い換えれば、図14Aにおいて、コンピュータシステム600は、ドイツ語の単語(および/または文、パラグラフなど)を英語の単語(および/または文、パラグラフなど)に翻訳するように構成されている。いくつかの実施形態では、言語入力コントロール1402aに向けられた入力の検出に応じて、コンピュータシステム600は、異なった入力言語が選択されることを可能にする選択可能なオプションを表示する。いくつかの実施形態では、言語出力コントロール1402bに向けられた入力の検出に応じて、コンピュータシステム600は、異なった出力言語が選択されることを可能にする選択可能なオプションを表示する。
図14Aに示すように、翻訳入力フィールド1408は、翻訳コントロール領域1402の上および翻訳コントロール領域1406の下に表示される。翻訳入力フィールド1408は、命令「ENTER TEXT」を含み、挿入されたテキストが翻訳されることを可能にするテキスト入力フィールドである。図14Aに示すように、ボイス入力コントロール1416は、翻訳入力フィールド1408の一部分の最上部に表示される。いくつかの実施形態では、ボイス入力コントロール1416に向けられた入力の検出に応じて、コンピュータシステム600は、オーディオ(例えば、ライブオーディオ)をキャプチャするプロセスを開始し、オーディオを受信した後、コンピュータシステム600は、キャプチャされたオーディオの翻訳を出力することができる。
図14Aに示すように、翻訳コントロール領域1406は、翻訳入力コントロール1406a、カメラ翻訳コントロール1406b、会話翻訳コントロール1406c、およびお気に入りコントロール1406dを含む。図14Aに示すように、図14Aの翻訳アプリケーションユーザインタフェースが表示されているため、翻訳入力コントロール1406aは、選択されているものとして表示される。いくつかの実施形態では、翻訳入力コントロール1406aに向けられた入力の受信に応じて、コンピュータシステム600は、図14Aの翻訳アプリケーションユーザインタフェースを表示する。いくつかの実施形態では、会話翻訳コントロール1406cに向けられた入力の検出に応じて、コンピュータシステム600は会話ユーザインタフェースを表示し、コンピュータシステム600は双方向翻訳(例えば、どの言語が出力および/または入力されるかにかかわらず、2つの言語間の翻訳)を実行するように構成されている。
図14Aに示すように、コンピュータシステム600は、メニュー1440の上に配置されている。ドイツ語の単語1444(例えば、メニューアイテム)は、メニュー1440の左側にあり、ドイツ語の単語1444a~1444uを含む。したがって、メニュー1440は、ドイツ語を読んで理解することができる人々のためのメニューである。メニュー1440の右側は、(例えば、建物、旗の)背景画像を含み、単語を含まない。図14Aに示すように、コンピュータシステム600はメニュー1440の右側の上に配置されている。図14Aにおいて、コンピュータシステム600は、カメラ平行移動コントロール1406b上でタップ入力1450aを検出する。
図14Bに示すように、タップ入力1450aの検出に応じて、コンピュータシステム600は、カメラ翻訳コントロール1406bを選択された(例えば、「太字である」)ものとして表示し、翻訳入力コントロール1406aを選択されたものとして表示することをやめる(例えば、「太字でない」)。図14Bに示すように、タップ入力1450aの検出に応じて、コンピュータシステム600は、図14Aの翻訳入力フィールド1408の表示を中止し、図14Aにおいて翻訳入力フィールド1408が以前に表示された場所でカメラコントロール領域1404を表示する。図14Bに示すように、カメラコントロール領域1404は、(例えば、選択されたときにコンピュータシステム600にメディアギャラリーを表示させる)メディアギャラリーコントロール1424と、(例えば、選択されたときにコンピュータシステム600に1つ以上のオブジェクトのキャプチャを一時停止させる)メディアキャプチャコントロール1410と、(例えば、選択されたときにコンピュータシステム600にコンピュータシステム600と通信している外部ライトをオン/オフさせる)フラッシュライトコントロール1426とを含む。
図14Bに示すように、カメラコントロール領域1404は、ライブプレビュー1430も含む。図14Bにおいて、コンピュータシステム600は、コンピュータシステム600が現在図14Bにおける1つ以上のカメラの視野内の1つ以上のオブジェクトをキャプチャしているように、コンピュータシステム600の1つ以上のカメラを開始してデータをキャプチャする。ライブプレビュー1430は、FOVの表現(例えば、および/またはキャプチャされているデータ)である。いくつかの実施形態では、ライブプレビュー1430は、図6A~図6Zのライブプレビュー630の表示に関連して以上に説明したような1つ以上の同様の技法を使用して表示される。
図14Aと同様に、コンピュータシステム600は、図14Bにおいて背景画像を含み単語を含まないメニュー1440の右側に表示されている。その結果、図14Bにおいて、メニューの右側がFOV内にあるので、ライブプレビュー1430は、メニュー1440の右側の背景画像の一部を含む。図14Bにおいて、コンピュータシステム600の左への移動が開始される。
図14Cに示すように、コンピュータシステム600は、ドイツ語の単語1444a~1444u(例えば、図14Aに示す)を含む図14Bのメニュー1440の左側の上に配置される。図14Cに示すように、コンピュータシステム600は、ユーザインタフェース1430を表示する。図14Cにおいて、ライブプレビュー1430は、(例えば、図14Aに示すように)ドイツ語の単語1444c1~1444nを含む、FOV内にあるメニュー1440の左側の部分を示すように更新される。FOV内にあるメニュー1440の左側の部分を表示している間に、コンピュータシステム600は、(例えば、コンピュータシステム600のディスプレイ上の入力を検出せずにく自動的に、および/または平行移動が行われるか否かをコントロールするために)FOVを置き換える。ドイツ語の単語1444c1~1444n(例えば、図14Aに示す)は、図14Cの翻訳オブジェクト1446(例えば、1446c1~1446n)を有する。翻訳オブジェクト1446c1~1446nのそれぞれは、翻訳オブジェクト1446c1~1446nのそれぞれが図14Cの上部に場所する対応するドイツ語の英語翻訳を含む。図14Cにおいて、翻訳オブジェクト1446c1~1446nは、コンピュータ生成オブジェクトであり、各翻訳オブジェクト1446c1~1446nが対応するドイツ語単語1444c1~1444nのそれぞれの上に(例えば、そのポジションに)表示される。したがって、図14Cでは、翻訳オブジェクト1446c1~1446nがドイツ語の単語1444c1~1444nの上に表示されるため、ドイツ語の単語1444c1~1444nの部分は(図14Aに示されるように)ライブプレビュー1430に表されない。いくつかの実施形態では、翻訳オブジェクト1446c1~1446nは、メニュー1440のコンテンツ(例えば、単語、画像、背景)の外観によって判定される外観を有する。いくつかの実施形態では、翻訳オブジェクト1446c1~1446nのうちの1つ以上は、メニュー1440のコンテンツと同じ色、テクスチャ、サイズ、形状であり、および/または同じフォントのテキストを含む。いくつかの実施形態では、平行移動オブジェクト1446c1~1446nの全ては、同じ外観(例えば、背景色、テクスチャ、サイズ、フォント、色調、および/または形状)を有しない。いくつかの実施形態では、翻訳オブジェクト1446c1~1446nのうちの1つ以上の外観は、翻訳オブジェクト1446c1~1446nの下に場所した、下にある特定のコンテンツによって判定される。図14Cにおいて、コンピュータシステム600は、翻訳オブジェクト1446e(「EGGS」)上のタップ入力1450cを検出する。
図14Dに示すように、タップ入力1450cの検出に応じて、コンピュータシステム600は、翻訳カード1470を表示し、図14Cおよび(例えば、図14Aにおける)翻訳コントロール領域1406に以前に表示されたライブプレビュー1430の一部分の表示を中止する。翻訳カード1470を表示している間、コンピュータシステム600は、図14Cにおいて以前に表示された翻訳オブジェクト1446のいくつか(例えば、図14Cの1446c1~1446j)を引き続き表示し、図14Cにおいて以前に表示された翻訳オブジェクト1446のいくつか(例えば、図14Cの1446k~1446n)の表示を中止する。いくつかの実施形態では、コンピュータシステム600は、タップ入力1450cの検出に応じて、翻訳カード1470をディスプレイの底部から上にスライドさせる。
図14Dに示すように、翻訳カード1470は、翻訳オブジェクト1446eに対応している単語「EGGS」の翻訳カードである。翻訳カード1470は、終了コントロール1466(例えば、選択されたときに翻訳カード1470の表示を中止させる)、原語セクション1470a、訳語セクション1470b、コピー翻訳コントロール1480、およびお気に入りへの追加コントロール1482を含む。原語セクション1470aは、原語(「EIR」)(例えば、翻訳されるワード)の表示、原語の言語(「GERMAN」)、および原語出力コントロール1470a1を含む。本明細書で使用される場合、原語は、コンピュータシステム600の1つ以上のカメラによってキャプチャされ、メニュー1440(例えば、図14Aの1444e)の一部分である。訳語セクション1470bは、訳語のインジケータ(例えば、「EGGS」)、訳語の言語(例えば、「ENGLISH」)、および訳語出力コントロール1470b1を含む。訳語(例えば、EGGS)は、選択された翻訳オブジェクト(例えば、図14Cにおいてタップ入力1450cを介して選択された1446e)に含まれる。いくつかの実施形態では、原語出力コントロール1470a1に向けられた入力の検出に応じて、コンピュータシステム600は、原語に対応している(例えば、原語の)可聴インジケーション(例えば、ボイスオ出力)を出力する。いくつかの実施形態では、訳語出力コントロール1470b1に向けられた入力の検出に応じて、コンピュータシステム600は、訳語(例えば、訳語の可聴発声)に対応している(例えば、訳語の)可聴インジケーション(例えば、ボイス出力)を出力する。いくつかの実施形態では、コピー翻訳コントロール1480に向けられた入力の検出に応じて、コンピュータシステム600は、訳語および/または翻訳されたカードを1つ以上のアプリケーションに貼り付けることができるように、訳語をコピーバッファにコピーし、かつ/または翻訳されたカードをコピーする。いくつかの実施形態では、お気に入りに追加するコントロール1482に向けられた入力の検出に応じて、コンピュータシステム600は、翻訳カードを翻訳カードのリスト(例えば、所定のリスト、ユーザが指定したおよび/または作成したリスト)に追加(または保存)する。いくつかの実施形態では、コンピュータシステム600は、翻訳カード1470と同時に翻訳カードを共有するオプションを表示する。いくつかの実施形態では、翻訳カード1470が表示されている間に共有するオプションに向けられた入力の検出に応じて、コンピュータシステム600は、翻訳カードを1つ以上の他のコンピュータシステムと、および/または1つ以上のアプリケーション(例えば、メッセージングアプリケーション、電子メールアプリケーション、ビデオ会議アプリケーション、ワードプロセッシングアプリケーションなど)を介して共有するためのプロセスを開始する。いくつかの実施形態では、コンピュータシステム600は、翻訳カード1470が翻訳オブジェクト1446eと同時に表示されている間に翻訳オブジェクト1446eが選択されていることを示す。図14Dにおいて、コンピュータシステム600は、翻訳オブジェクト1446d(「CHICKEN」)上のタップ入力1450dを検出する。
図14Eに示すように、タップ入力1450dの検出に応じて、コンピュータシステム600は、翻訳カード1470の表示を中止し、翻訳カード1472が以前に表示されたポジションに翻訳カード1470を表示する(例えば、翻訳カード1470を翻訳カード1472で置き換える)。翻訳カード1472を表示している間、コンピュータシステム600は、図14Dで以前に表示された翻訳オブジェクト1446を引き続き表示する。翻訳カード1472は、翻訳オブジェクト1446dに対応している単語「CHICKEN」の翻訳カードである(例えば、図14Cの翻訳カード1470は、図14Dの翻訳カード1472と異なった単語に対応している)。翻訳カード1472は、終了コントロール1466、原語セクション1472a、訳語セクション1472b、コピー翻訳コントロール1480、およびお気に入りへの追加コントロール1482を含む。原語セクション1472aは、原語の表示(「HANCHMEN」)、原語の言語(「ドイツ語」)、および原語出力コントロール1472a1を含む。訳語欄1472bは、訳語(「CHICKEN」)の表示と、訳語の言語(「ENGLISH」)と、訳語出力コントロール1472b1とを含む。いくつかの実施形態では、コンピュータシステム600は、原語出力コントロール1472a1および訳語出力コントロール1472b1それぞれに関連して以上に説明したように、原語出力コントロール1470a1および訳語出力コントロール1470b1の表示および応答に関連して説明したものと同様の1つ以上の技法を使用する。いくつかの実施形態では、翻訳カード1472は、図14Dの翻訳カード1472を表示することに関連して以上に説明したように、もう1つの技法を使用して表示される。図14Eにおいて、コンピュータシステム600は、お気に入りへの追加に対するタップ入力1450e1を検出し、終了コントロール1466に対するタップ入力1450e2を検出する。更に、コンピュータシステム600の下方への移動が開始される。
図14Fにおいて、タップ入力1450e1の検出に応じて、コンピュータシステム600は、翻訳カード1472を翻訳カードのリスト(例えば、図14Kに関連して以下で更に説明されるお気に入りコントロール1406dを選択するユーザによって検索され得る)に追加する。
図14Fにおいて、タップ入力1450e2の検出に応じて、コンピュータシステム600は、翻訳カード1472の表示を中止し、メディアギャラリーコントロール1424、メディアキャプチャコントロール1410、およびフラッシュライトコントロール1426とともに翻訳コントロール領域1406を再表示する。また、翻訳カードが表示されないため、コンピュータシステム600は、ライブプレビュー1430の領域を増加させる(例えば、翻訳カード1472が表示されていた間に以前に表示されなかったライブプレビュー1430の一部分を再表示する)。
図14Fに示すように、コンピュータシステム600は下方に移動しており、図14Eにおいて先に配置されていたメニュー1440の底部の上に配置されている。図14Fに示すように、コンピュータシステム600は、(例えば、図14Aに示すように)翻訳オブジェクト1446p~1446uがメニュー1440上のドイツ語の単語1444p~1444uのポジションの上に示すように、ライブプレビュー1430を更新する。したがって、図14Fでは、コンピュータシステム600は、FOV内の単語が動的に(例えば、コンピュータシステム600がメニュー1440の周りを移動させられるにつれて)翻訳され、ライブプレビュー1430内に表示されるように、FOV内にある単語の翻訳オブジェクトを表示する。図14Fは、翻訳カード(例えば、翻訳カード1470~1472など)が表示された状態で示されていないが、コンピュータシステム600は、(例えば、図14E~14Fに関連して以上に説明したように)それぞれの翻訳カードが表示されている間に、ライブプレビュー1430を動的に更新することもできる。いくつかの実施形態では、(例えば、図14E~14Fに関連して以上に説明したように)コンピュータシステム600が翻訳カードを表示するか否かは、ライブプレビュー1430を動的に更新するコンピュータシステム600の能力に影響を与えない。しかしながら、いくつかの実施形態では、翻訳カードが表示されている間、コンピュータシステム600は、ライブプレビュー1430を動的に更新することなく、ライブプレビュー1430の表示を維持する。いくつかの実施形態では、コンピュータシステム600は、図14Cの翻訳オブジェクト1446c1~1446nに関して以上に説明したものと同様の1つ以上の技法を使用して、翻訳オブジェクト1446p~1446uを表示する。図14Fにおいて、コンピュータシステム600の上方移動が開始される。
図14Gに示すように、コンピュータシステム600は、図14C~14Eにそれがあったポジションまで上方に移動している。したがって、コンピュータシステム600は、図14C~図14Eに関連して以上に説明したものと同様の1つ以上の技法を使用して、図14Gの翻訳オブジェクト1446を表示する。図14Gにおいて、コンピュータシステム600は、ライブプレビュー1430上のピンチ解除入力1450gを検出する。
図14Hに示すように、ピンチ解除入力1450gの検出に応じて、コンピュータシステム600は、ライブプレビュー1430のズームレベルを増加させて、FOV内のオブジェクトが、図14Gでオブジェクトが表示された方法と比較して拡大されたサイズで表示されるようにする。ライブプレビュー1430が図14Hにおいて拡大されたズームレベルで表示されている間、コンピュータシステム600は、図14Gにおいて表示された翻訳オブジェクト1446のうちのいくつかのサイズを拡大する一方で、図14Gにおいて表示された翻訳オブジェクト1446のうちのいくつかのいくつかの表示を中止する。図14Hにおいて、コンピュータシステム600は、メディアキャプチャコントロール1410上のタップ入力1450hを検出する。
図14Iにおいて、タップ入力1450hの検出に応じて、コンピュータシステム600は、FOV内のデータ(例えば、メディア)のキャプチャを一時停止し、および/またはライブプレビュー1430をフリーズする(例えば、動的更新を中止する)。加えて、コンピュータシステム600は、図14Hのメディアキャプチャコントロール1410を図14Iのメディアキャプチャコントロール1412(例えば、「X」)で置き換え、メディアギャラリーコントロール1424を引き続き表示する。図14Iに示すように、タップ入力1450hの検出に応じて、コンピュータシステム600は、メディアキャプチャコントロール1412と共に共有コントロール1428を表示する。特に、コンピュータシステム600は、図14Hのフラッシュライトコントロール1426を図14Iの共有コントロール1428で置き換える。いくつかの実施形態では、共有コントロール1428に向けられた入力の検出に応じて、コンピュータシステム600は、ライブプレビュー1430の画像(例えば、翻訳オブジェクト1446を含む)を1つ以上のコンピュータシステムおよび/またはアプリケーション(例えば、メッセージングアプリケーション、電子メールアプリケーション、ビデオ会議アプリケーション、ワードプロセッシングアプリケーションなど)と共有するプロセスを開始する。いくつかの実施形態では、共有コントロール1428に向けられた入力の検出に応じて、コンピュータシステム600は、翻訳カードが表示されていない間にライブプレビュー1430の画像を共有するプロセスを開始する。図14Iにおいて、コンピュータシステム600の下方への移動が開始される。
図14Jに示すように、コンピュータシステム600は、コンピュータシステム600が以前に図14Hにあったポジションまで下方に移動している。図14Jに示すように、コンピュータシステム600は、移動後にライブプレビュー1430を更新しない。したがって、コンピュータシステム600が移動後にライブプレビュー1430を更新した図14Hと異なり、コンピュータシステム600は移動後に図14Jのライブプレビュー1430を更新しないが、これは、コンピュータシステム600がFOV内のデータ(例えば、メディア)のキャプチャを一時停止しているか、および/またはライブプレビュー1430をフリーズしているからである(例えば、動的更新を中止する)。図14Jにおいて、コンピュータシステム600は、メディアキャプチャコントロール1412上のタップ入力1450j1を検出し、お気に入りコントロール1406d上のタップ入力1450j2を検出する。
図14Kにおいて、タップ入力1450j1の検出に応じて、コンピュータシステム600は、FOV内のデータ(例えば、メディア)のキャプチャを継続し、および/またはライブプレビュー1430を動的に更新するように構成された。
図14Kに示すように、タップ入力1450j2の検出に応じて、コンピュータシステム600は、お気に入りユーザインタフェース1488を表示する。お気に入りユーザインタフェース1488は、図14Eの翻訳カード1472に対応している保存された翻訳カード1462(例えば、タップ入力1450e1の検出に応じ翻訳カードのリストに保存および/または追加された)を含む。翻訳カード1462は、原語セクション1472a(例えば、「GERMAN」、「HANCHMEN」)、訳語セクション1472b(例えば、「EGGS」、「CHICKEN」)、およびボイス出力コントロール1462dなど、翻訳カード1472に含まれていた1つ以上のユーザインタフェースオブジェクトを含む。翻訳カード1462はまた、翻訳画像1462cなど、翻訳カード1472に含まれなかった1つ以上のユーザインタフェースオブジェクトを含む。翻訳画像1462cは、翻訳カード1462に対応している単語(例えば、図14Aの「HANCHMEN」1444d)を含むメニュー1440の一部の画像である(例えば、メニュー1440上および翻訳画像1462c内に表示されている「HANCHMEN」の隣に表示された卵の部分によって明らかなように)。いくつかの実施形態では、お気に入りユーザインタフェース1488は、お気に入り翻訳カードのリストに含まれるようにコンピュータシステムのユーザによって選択された(例えば、お気に入りに入れられた)翻訳カードに対応している1つ以上の他の翻訳カードを含む。
特に、図14Kにおいて、お気に入りユーザインタフェース1488は、図14Dの翻訳カード1470に対応しているお気に入り翻訳カードとして翻訳カードを表示しない。これは、少なくとも、翻訳カード1470が図14Dにおいてお気に入りとして選択されなかったからである(例えば、翻訳カード1470が表示されている間、お気に入り追加コントロール1482が選択されなかったからである)。しかしながら、お気に入りユーザインタフェース1488は、翻訳カード1470に対応している翻訳カード1460を、最近の翻訳カードおよび/または最近アクセスおよび/または表示された(例えば、翻訳オブジェクトに向けられた入力の検出を介して)翻訳カードとして含む。図14Kにおいて、コンピュータシステム600は、カメラ平行移動コントロール1406b上のタップ入力1450kを検出する。
図14Lに示すように、タップ入力1450kの検出に応じて、コンピュータシステム600は、お気に入りユーザインタフェース1488の表示を中止し、ライブプレビュー1430およびメディアギャラリーコントロール1424を含むカメラコントロール領域1404を再表示する。図14Lにおいて、コンピュータシステム600は、メディアギャラリーコントロール1424上のタップ入力1450lを検出する。
図14Mに示すように、タップ入力1450lの検出に応じて、コンピュータシステム600は、変換コントロール領域1406内のコントロールの表示、ならびにメディアギャラリーコントロール1424、メディアキャプチャコントロール1410、およびフラッシュライトコントロール1426の表示を中止する。加えて、タップ入力1450lの検出に応じて、コンピュータシステム600は、サムネイル表現1432を表示し、ここで、は、以前にキャプチャされたメディアに対応しているサムネイルである。サムネイル表現1432は、2行を占有し、変換コントロール領域1406、メディアギャラリーコントロール1424、メディアキャプチャコントロール1410、およびフラッシュライトコントロール1426が図14Lにおいて以前に占めたポジションを占める。サムネイル表現1432は、サムネイル表現1432aを含み、これは、「FAHRRADSTRAβE ANLIEGER FREI」と読むドイツ語を有するサインのフォンの表現である。図14Mにおいて、コンピュータシステム600は、サムネイル表現1432a上のタップ入力1450mを検出する。
図14Nに示すように、タップ入力1450mの検出に応じて、コンピュータシステム600は、サムネイル表現1432によって表された同じメディアアイテムに対応している拡大した表現1454aを表示する。図14Nに示すように、拡大した表現1454aは、翻訳オブジェクト1496a~1496cを含み、これは、サムネイル表現1432aに示されるサイン上のドイツ語(例えば、「FAHRRADSTRAβE ANLIEGER FREI」)の英語翻訳(例えば、「BIKE STREET RESIDENT FREE」)である。図14Nに示すように、翻訳オブジェクト1496a~1496cは、図14Cに関連して以上に説明した1つ以上の同様の技法を使用して、拡大した表現1454aに表されたサイン上のそれぞれのドイツ語の単語のそれぞれの上に(例えば、そのポジションに)表示される。したがって、図14M~図14Nに示すように、コンピュータシステム600は、(例えば、図14A~図14Lに関連して以上に説明したように)以前にキャプチャされたメディアに含まれるテキスト/シンボルならびにFOVに含まれるテキスト/シンボルを変換することができ、および/またはメディアのライブプレビューを表示しながら変換することができる。
図15は、いくつかの実施形態に係る、メディア内の視覚コンテンツを翻訳する方法を示すフロー図である。方法1500は、1つ以上のカメラ、1つ以上の入力デバイスおよび表示生成コンポーネントと通信しているコンピュータシステム(例えば、100、300、500、および/または600)において実行される。方法1500のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法1500は、メディア内の視覚コンテンツを管理する直観的な方法を提供する。本方法は、メディア内の視覚コンテンツを管理するためのユーザの認知的負担を軽減し、それによって、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザがメディア内の視覚コンテンツをより迅速かつより効率的に画像に表示することを可能にすることによって、電力を節約し、バッテリ充電の間隔時間を長くする。
方法1500は、コンピュータシステム(例えば、600)にて実行される。コンピュータシステムは、1つ以上のカメラ(例えば、コンピュータシステムの同じ側または異なる側の(例えば、前方カメラ、後方カメラ)1つ以上のカメラ(例えば、デュアルカメラ、トリプルカメラ、クワッドカメラなど))を有し、表示生成コンポーネント(例えば、ディスプレイコントロール、タッチ感知ディスプレイシステム)および1つ以上の入力デバイス(例えば、タッチ感知面)と通信している。
コンピュータシステムは、1つ以上のカメラの視野の表現(例えば、1224a、1224b)(例えば、ライブメディア、ライブプレビュー、以前にキャプチャされたメディア)を表示する要求(例えば、1450a)を受信する(1502)。いくつかの実施形態では、入力/ジェスチャが選択可能なユーザインタフェースオブジェクト(例えば、メディアキャプチャユーザインタフェースを開くためのユーザインタフェースオブジェクト、キャプチャされたメディアを変換するユーザインタフェースオブジェクト)上で検出されたとき、コンピュータシステムが移動されたときの1つ以上のカメラの視野の表現を表示するための要求。
1つ以上のカメラの視野の表現を表示する要求を受信すること(例えば、1450a)に応じて(1504)、コンピュータシステムは、表示生成コンポーネントを介して、1つ以上のカメラの視野の表現(例えば、1430)を表示し(1506)、表現は、1つ以上のカメラの視野内にあるテキスト(例えば、元のテキスト、1つ以上のカメラの視野内でキャプチャされたテキスト)(例えば、1つ以上の単語を含む。
1つ以上のカメラの視野の表現を表示する要求を受信すること(例えば、1450a)に応じて(1504)、コンピュータシステムは、自動的に(例えば、ユーザ入力および/またはジェスチャを介在させることなく)、翻訳されたテキストを表示する要求を受信することなく、(1508)(例えば、1つ以上のカメラの視野の表現と同時に(および/またはその上に))、表示生成コンポーネントを介して、テキストの第1の部分(例えば、1444)の翻訳の第1の(例えば、1446)とテキストの第2の部分(例えば、1444)の翻訳の第2のインジケーション(例えば、1446)とを含む翻訳されたテキストテキストインジケーション(例えば、強調表示を伴うテキストインジケーション)の複数のインジケーション(例えば、1446)を表示することを含む。いくつかの実施形態では複数のインジケーションは、翻訳された元のテキストに対応している場所に表示される。いくつかの実施形態では、複数のインジケーション(テキストインジケーション(例えば、強調表示を伴うテキストインジケーション)を自動的に表示することは、1つ以上のカメラの視野の表現のテキストを自動的に翻訳することを含む。いくつかの実施形態では複数のインジケーションを表示することの一部分として(例えば、1446)、コンピュータシステムは、テキストの個別の部分(例えば、図14Bに示されるような「eIeR」、図14Aの1444e)を、テキストのそれぞれの翻訳された部分(例えば、図14Cに示されるような「EGGS」、1446e)と置換する(かつ、翻訳されていないテキストの1つ以上の部分の表示を維持する、および/またはテキストを含まない1つ以上のカメラの視野の表現の1つ以上の部分(例えば、1つ以上ののカメラの視野の表現画像および/または背景でテキストを含まないもの)(例えば、図14C~図14Fのワッフルの写真)を維持する(例えば、図14C~14Eに関して上記に説明されたように)。
コンピュータシステムは、表示生成コンポーネントを介して、第1のインジケーション(例えば、1446)および第2のインジケーション(例えば、1446)を表示している間に、1つ以上の入力デバイスを介して、複数の翻訳された部分のそれぞれのインジケーション(例えば、1446)を選択するための要求(例えば、1450c、1450d)を受信する(1510)。
それぞれのインジケーションを選択するための要求(例えば、1450c、1450d)の受信に応じて、要求が第1のインジケーション(例えば、1446)を選択するための要求であるとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、テキストの第2の部分(例えば、1470b、1472b)の翻訳を含まずに(例えば、複数のインジケーションの第2の誘導に対応している翻訳ユーザインタフェースオブジェクトを表示することなく、第2のインジケーションは、第1のインジケーションと異なり、テキストの第1の部分の翻訳と異なる第2の部分テキスト(例えば、テキストの第1の部分と異なる)の翻訳に対応している)、テキストの第1の部分(例えば、1470a、1472a)とテキストの第1の部分の翻訳(例えば、1470b、1472b)とを含む第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)(例えば、翻訳カード)を表示する(1512)。いくつかの実施形態では、第1のインジケーション(例えば、1446e)は、テキストの第1の部分(例えば、1444e)の翻訳を含む(テキストの第2の部分(例えば、1444d)の翻訳を含まない)。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)は、1つ以上のカメラの視野の複数の表示(例えば、1446)および/または表現(例えば、1430)と同時に表示される(例えば、テキスト(例えば、元のテキストまたはテキストの第1の部分に対応しているテキストの未翻訳部分)および/またはテキストの1つ以上の部分の翻訳と共に表示される)(例えば、図14Cおよび図14Dに関連して以上に説明したように)。いくつかの実施形態では、第1のインジケーション(例えば、1446)を選択する要求(1450c、1450d)の受信に応じて、第1のインジケーションは、第1のインジケーションが選択されている(例えば、強調表示されている)ことを示すように更新される(例えば、選択されていない視覚状態から選択された視覚状態に変化する)(例えば、第2の表示が選択されていることを示すように第2の表示が更新されずに)。
いくつかの実施形態ではそれぞれのインジケーションを選択する要求の受信に応じ(例えば、1450c、1450d)、要求が第2のインジケーションを選択する要求であるとの判定に従って、コンピュータシステムは、表示生成コンポーネントを介して、テキストの第1の部分の翻訳(例えば、1470b、1472b)を含まずにテキストの第2の部分(例えば、1470a、1472a)およびテキストの第2の部分の翻訳(例えば、1470b、1472b)を含む第2の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)を表示する。いくつかの実施形態では、第2のインジケーションは、テキストの第2の部分の翻訳を含む(テキストの第1の部分の翻訳を含まない)。いくつかの実施形態では、第2の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)は、(例えば、図14Cおよび図14Dに関連して以上に説明したように)1つ以上のカメラの視野の複数のインジケーション(例えば、1446)および/または表現(例えば、1430)と同時に表示されている(例えば、テキスト(例えば、元のテキストまたはテキストの第1の部分に対応しているテキストの未翻訳部分)および/またはテキストの1つ以上の部分の翻訳と共に表示されている)。いくつかの実施形態では、第2の表示(例えば、1446d、1446e)を選択する要求を受信(例えば、1450c、1446d)したことに応じて、(例えば、図14D~図14Eに関連して以上に説明したように)第2の表示2の表示が選択されている(例えば、強調表示されている)ことを示すように更新される(例えば、非選択視覚状態から選択視覚状態に変化する)(例えば、第1のインジケーションが選択されていることを示すように第1のインジケーションが更新されずに)。ある所定の条件が満たされたときに(例えば、それぞれのインジケーションを選択する要求の受信に応じて、かつ要求が第2のインジケーションを選択する要求であるとの判定に従い)第2の翻訳ユーザインタフェースオブジェクトを表示することは、ユーザが翻訳したいテキストの部分を判定する能力をユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)は、有効化されると、コンピュータシステムにテキストの第1の部分(例えば、1470a、1472a)をどのように発音するかのインジケーションを出力させる発音オプション(例えば、1470a1、1472a1)と、有効化されると、コンピュータシステムにテキストの第1の部分の翻訳(例えば、1470b、1472b)をどのように発音するかのインジケーションを出力させる発音オプション(例えば、1470b1、1472b1)と、(の1つ以上)を含む。いくつかの実施形態ではテキストの第1の部分をどのように発音するかを示す発音オプションは、テキストの第1の部分に隣接して、および/または同じ行および/または列上に表示される。いくつかの実施形態では、発音オプション(例えば、1470a1、1472a1)(例えば、テキストの第1の部分の翻訳をどのように発音するかを示す再生アイコン)(例えば、テキストの第1の部分の翻訳に隣接して、および/または翻訳と同じ行および/または列上に表示されている1470a、1472a)(例えば、1470b、1472b)。いくつかの実施形態ではコンピュータシステムは、発音オプションの選択を検出する(例えば、1470a1、1472a1テキストの第1の第1の部分をどのように発音するかをインジケーションするものである)。(例えば、1470a、1472a)。テキストの第1の部分をどのように発音するかをインジケーションする発音オプションの選択の検出に応じて、コンピュータシステムは、テキストの第1の部分の発音を含む応答(例えば、可聴応答、視覚応答)を(例えば、コンピュータシステムの1つ以上のスピーカを介して)出力する(例えば、図14Eに関して上記に説明されたように)。いくつかの実施形態ではコンピュータシステムは、テキストの第1の部分の翻訳(例えば、1470b、1472b)をどのように発音するかを示す(例えば、1470b1、1472b1)発音オプションの選択を検出するテキストの第1の部分をどのように発音するかを示す発音オプションの選択の検出に応じて、コンピュータシステムは、翻訳(例えば、1470b、1472b)の発音を含む応答を出力する、(例えば、テキストの第1の部分の応答を出力する)(例えば、図14Eに関連して以上に説明したように)(例えば、テキストの第1の部分の発音を含まない)(例えば、コンピュータシステムの1つ以上のスピーカを介して)。起動されると、コンピュータシステムに、第1の翻訳ユーザインタフェースオブジェクト内のテキストの第1の部分を発音する方法のインジケーションを出力させる発音オプションを含むことは、テキストの第1の部分の正確な発音に関する視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。起動されると、コンピュータシステムにテキストの第1の部分の翻訳を発音する方法のインジケーションを出力させる発音オプションを含むことは、テキストの第1の部分の翻訳の正確な発音に関する視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、1つ以上のカメラの視野の表現(例えば、1430)は、以前にキャプチャされたメディア(例えば、メディアギャラリーの一部分として表示されているおよび/または以前に表示されたメディア)の表現(例えば、1454aである(例えば、静止写真の表現)。いくつかの実施形態では、以前にキャプチャされたメディアの表現は、1つ以上のカメラの視野内の1つ以上のオブジェクトが変化しても(例えば、1つ以上のカメラの視野外/視野内に移動しても、1つ以上のカメラの視野内で移動しても)変化しない。
いくつかの実施形態では、1つ以上のカメラの視野の表現(例えば、ライブ表現)は、1つ以上のカメラの視野の表現(例えば、1430)現在キャプチャされている1つ以上のカメラの視野の表現(例えば、以前にキャプチャされていないメディアおよび/またはメディアギャラリーの一部分として表示されていない、および/または以前に表示されていないメディアの表現)である。いくつかの実施形態では、現在キャプチャされている1つ以上のカメラの視野の表現は、1つ以上のカメラの視野内の1つ以上のオブジェクトが変化する(例えば、1つ以上のカメラの視野外/視野内に移動する、1つ以上のカメラの視野内で移動する)につれて変化する。
いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)を表示した後および/またはその間、コンピュータシステムは、1つ以上の入力デバイスを介して、翻訳ユーザインタフェースオブジェクトを表示している間に検出された入力を含む第1の翻訳ユーザインタフェースオブジェクトを共有する要求(例えば、1428上の入力)を受信する。いくつかの実施形態では、第1翻訳ユーザインタフェースオブジェクトを共有する要求は、第1の翻訳ユーザインタフェースオブジェクトがユーザによる後の検索のために保存されているときに検出される。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクトを共有する要求は、一連の入力(例えば、共有アフォーダンス上の第1の入力、および受信者の選択に対応している第2の入力)を含む。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクトを共有する要求(例えば、1428への入力)の受信に応じて、コンピュータシステムは、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)に対応しているメディアを1つ以上の他のコンピュータシステムに送信する(例えば、間接的に(例えば、1つ以上のサービスを介して)および/または直接送信する)。いくつかの実施形態では、第1翻訳ユーザインタフェースオブジェクトに対応しているメディアは、テキストの第1部分と、テキストの第1部分の翻訳および/または1つ以上の他のコンポーネント(例えば、第1翻訳ユーザインタフェースオブジェクトに対応している1つ以上のカメラの視野の表現の部分(例えば、1つ以上のカメラの視野からのテキストの第1部分の写真であり、いくつかの実施形態では、写真はテキストの第2部分を含まない))とを含む。いくつかの実施形態では、第1のユーザインタフェースオブジェクトを共有するための要求を受信することの一部分として、コンピュータシステムは、選択可能なユーザインタフェースオブジェクトに向けられた入力を検出し、選択可能なユーザインタフェースオブジェクトに向けられた入力の検出に応じて、共有のためのプロセスを開始する。いくつかの実施形態では、共有するオプションに対する入力の受信に応じて、コンピュータシステムは、1つ以上の平行移動オブジェクト(例えば、1446)を含む1つ以上のカメラの視野の表現(例えば、1430)に対応しているメディアを送信する(例えば、共有するオプションに対する入力が受信されたときに第1のユーザインタフェースオブジェクトが表示されないとき)。ある所定の条件が満たされたときに(例えば、第1のユーザインタフェースオブジェクトを共有する要求の受信に応じて)、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを送信することによって、ユーザは、複数の様々なコンピュータシステム間で様々なテキストの翻訳を迅速かつ効率的に配信することができる。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。第1のユーザインタフェースオブジェクトを共有する要求の受信に応じて、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを1つ以上のコンピュータシステムに送信することは、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを共有するためにユーザが実行しなければならない入力の数を減らす。動作を実行するのに必要な入力の数を低減することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)を表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、第1の翻訳ユーザインタフェースオブジェクトを保存する要求(例えば、1450e1、1480への入力)を受信する。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)を保存する要求(例えば、1450e1、1480への入力)の受信に応じて、コンピュータシステムは、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを、コンピュータシステム(例えば、600)上でアクセス可能な翻訳のライブラリ(例えば、図14Kの1404)に保存する。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを保存することの一部分として、コンピュータシステムは、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを複数の以前に保存されたユーザインタフェースオブジェクトに追加し、かつ/または第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアをお気に入りメディアアイテムとして保存する。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを保存した後、以前に保存されたメディアアイテム(例えば、以前にお気に入りに入れられたメディアアイテム)を表示する要求の受信に応じて、コンピュータシステムは、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを表示する。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディア(例えば、1462c)(例えば、1470、1472)は、第1の翻訳ユーザインタフェースオブジェクトに含まれない1つ以上のコンポーネント(例えば、テキストの第1の部分の写真)を含み、第1の翻訳ユーザインタフェースオブジェクトに含まれる1つ以上のコンポーネント(例えば、テキストの第1の部分、テキストの第1の部分の翻訳)を含む第1の翻訳ユーザインタフェースオブジェクトと視覚的に異なる(例えば、図14Kに関して上記に説明されたように)。ある所定の条件が満たされたとき(例えば、第1の翻訳ユーザインタフェースオブジェクトを保存する要求の受信に応じて、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを保存するためにユーザが実行しなければならない入力の数を減少させる)、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアをコンピュータシステム上でアクセス可能な翻訳のライブラリに保存することは、自動的に、ユーザが将来の日時にテキストの翻訳に迅速にアクセスする能力を可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。第1の翻訳ユーザインタフェースオブジェクトを保存する要求の受信に応じて、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを、コンピュータシステム上でアクセス可能な翻訳のライブラリに保存することによって、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを保存するためにユーザが実行しなければならない入力の数が減少する。動作を実行するのに必要な入力の数を低減することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、1つ以上のカメラの視野の表現(例えば、1430)および複数のインジケーション(例えば、1446)を表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、1つ以上のカメラの視野の表現を共有する要求(例えば、1428上の入力)を受信する。いくつかの実施形態では、1つ以上のカメラの視野の表現を共有する要求(例えば、1428上の入力)の受信に応じて、コンピュータシステムは、1つ以上のカメラの視野の表現(例えば、1430)の少なくとも一部と、複数のインジケーション(例えば、1446)とを含むメディア(例えば、写真)を送信する。いくつかの実施形態では、(例えば、図14Iに関連して以上に説明したように)第1のユーザインタフェースオブジェクト(例えば、1428)を共有する要求(例えば、1428上の入力)を受信することの一部分として、コンピュータシステムは、1つ以上のカメラの視野の表現および複数のインジケーションを表示している間に、選択されると共有のためのプロセスを開始する選択可能なユーザインタフェースオブジェクト(例えば、1428)に向けられた入力/ジェスチャを検出する。1つ以上のカメラの視野の表現の少なくとも一部を含むメディアを送信することは、特定の規定された条件が満たされたとき(例えば、視野の表現を共有する要求に応じて)、自動的に、ユーザが、複数のインジケーションおよび様々なコンピュータシステムのうち1orMoreのカメラ複数のカメラ視野の視野の表現を迅速かつ効率的に配信する能力を可能にする。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。視野の表現を共有する要求に応じて、1つ以上のカメラの視野の表現の少なくとも一部を含むメディアと複数のインジケーションとの両方を送信することは、ユーザがメディアを送信するために実行しなければならない入力の数を低減する。動作を実行するのに必要な入力の数を低減することは、(例えば、コンピュータシステムを操作した/コンピュータシステムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)コンピュータシステムの操作性を向上させ、ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、コンピュータシステムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、光源(例えば、1つ以上のカメラのうちの少なくとも1つに隣接する光源)と通信している。いくつかの実施形態では、1つ以上のカメラの視野の表現を表示する要求の受信に応じて、コンピュータシステムは、コンピュータシステムが第1のアクティブキャプチャ状態(例えば、非一時停止キャプチャ状態)にあるとの判定に従って(例えば、1410を表示することで明白なように)、表示生成コンポーネントを介して、ユーザインタフェース内の第1の場所に、選択されると光源の動作状態(例えば、オン/オフ)を変更する(例えば、ディスプレイ上、ユーザインタフェース上の)選択可能なユーザインタフェースオブジェクト(例えば、1426)を表示し、この選択可能なユーザインタフェースオブジェクトは、選択されたときに、光源の動作状態を変更してもよいし、または光源の動作状態を変更してもよい(例えば、第2の選択可能なユーザインタフェースオブジェクトを表示せずに)。コンピュータシステムが第1のアクティブキャプチャ状態(例えば、一時停止キャプチャ状態)にないとの判定に従い(例えば、表示412によって明らかなように)、表示生成コンポーネントを介して、ユーザインタフェース内の第1の場所に、選択されたときに共有のためのプロセスを開始する選択可能なユーザインタフェースオブジェクト(例えば、1428)を表示すること(例えば、メディア)(例えば、写真)を共有することは、視野の表現の少なくとも一部の平行移動に対応し、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを共有することは、(例えば、光源の動作状態を変化させる選択可能なユーザインタフェースオブジェクトを表示することなく実行する。いくつかの実施形態では、選択可能なユーザインタフェースオブジェクト(例えば、1426)の選択(例えば、光をコントロールする選択可能なユーザインタフェースオブジェクトに向けられた入力/ジェスチャ)の検出に応じて、光源がオン/オフされる(例えば、図14Hに関連して以上に説明したように)。いくつかの実施形態では、(例えば、図14Iに関連して以上に説明したように)(例えば、1428の選択によって)共有のためのプロセスを開始することの一部分として、コンピュータシステムは、視野の表現の少なくとも一部の平行移動に対応しているメディアを1つ以上の他のデバイスに送信させる。いくつかの実施形態では、第2の選択可能なユーザインタフェースオブジェクトの選択(例えば、共有のためのプロセスを開始する選択可能なユーザインタフェースオブジェクト(例えば、1428)に向けられた入力/ジェスチャ)の検出に応じて、コンピュータシステムは、(例えば、図14Iに関連して以上に説明したように)1つ以上の他のデバイスに送信される視野の表現の少なくとも一部の平行移動に対応しているメディアを送信する。いくつかの実施形態では、光源の動作を変更する選択可能なユーザインタフェースオブジェクトは、共有のために光源を開始する選択可能なユーザインタフェースオブジェクトと視覚的に異なる。いくつかの実施形態では、選択されるとコンピュータを第1のアクティブキャプチャ状態にさせるユーザインタフェースオブジェクト(例えば、1412)が表示され、および/または選択されるとコンピュータを第1のアクティブキャプチャ状態にさせないユーザインタフェースオブジェクト(例えば、1410)が表示される。所定の条件が満たされたとき(例えば、コンピュータシステムがアクティブキャプチャ状態にないとの判定に従い)、ユーザインタフェース内の第1の場所に第1の選択可能なユーザインタフェースオブジェクトを表示することは、システムの状態に関するインジケーションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。コンピュータシステムが第1のアクティブキャプチャ状態にあるとの判定に従い第1の選択可能なユーザインタフェースオブジェクトをユーザインタフェース内の第1の場所に表示し、コンピュータシステムが第1のアクティブキャプチャ状態にないとの判定に従い第2の選択可能なユーザインタフェースオブジェクトをユーザインタフェース内の第1の場所に表示することは、ユーザインタフェースを追加のユーザインタフェースオブジェクトで混乱させずに、様々な状態固有機能を実行する能力をユーザに提供する。表示される追加コントロールによってUIを雑然とさせることなく、追加コントロールできるようにすることによって、システムの操作性を向上させ、ユーザ-システムインタフェースを(例えば、システムを操作した/システムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)は、コンピュータシステムが第2のアクティブキャプチャ状態(例えば、非一時停止キャプチャ状態)、第1のアクティブキャプチャ状態にあるか否かに関わらず表示される。いくつかの実施形態ではお気に入りのユーザインタフェースを表示している間、コンピュータシステムは、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアを表示する。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクトに対応しているメディアは、第1の翻訳ユーザインタフェースオブジェクトと視覚的に異なる(例えば、第1の翻訳ユーザインタフェースオブジェクトに含まれない1つ以上のコンポーネント(例えば、テキストの第1の部分の写真)を含み、第1の翻訳ユーザインタフェースオブジェクトに含まれる1つ以上のコンポーネント(例えば、テキストの第1の部分、テキストの第1の部分の翻訳)を含む)。コンピュータシステムが第2のアクティブキャプチャ状態にあるか否かにかかわらず第1のユーザインタフェースオブジェクトを表示することは、コンピュータシステムのキャプチャ状態がアクティブキャプチャ状態間で変化する間、選択されたテキストの翻訳に関する一定の改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、表現の第1の部分(例えば、1430)は1つ以上のカメラの視野の表示(例えば、少なくとも一部)(例えば、以前にキャプチャされたメディアの表現および/または現在キャプチャされている1つ以上のカメラの視野の表現)は、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)と同時に表示される。1つ以上のカメラの視野の表現の第1の部分を第1の翻訳ユーザインタフェースオブジェクトと同時に表示することは、ユーザがシステムの1つ以上のカメラの視野の内容を見て分析することを可能にする一方で、第1の翻訳ユーザインタフェースオブジェクトの内容も見て分析することによって、改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、表示生成コンポーネントを介して、1つ以上のカメラの視野の表現(例えば、1430)を表示することの一部分として、コンピュータシステムは、1つ以上のカメラの視野の変化に応じて(例えば、変化の検出に応じて)、コンピュータシステムが第3のアクティブキャプチャ状態(例えば、非一時的キャプチャ状態、第1のアクティブキャプチャ状態)にあるとの判定に従って、表示生成コンポーネントを介して、1つ以上のカメラの視野の変化を反映するように、1つ以上のカメラの視野の表現(例えば、図14E~図14Gの1430)を更新する(例えば、第1の翻訳ユーザインタフェースオブジェクトが表示されている間)。コンピュータシステムがアクティブキャプチャ状態(例えば、一時停止キャプチャ状態)にないとの判定に従って、表示生成コンポーネントを介して、例えば、第1の翻訳ユーザインタフェースオブジェクトが表示されている間に1つ以上のカメラの視野の変化を反映するように、1つ以上のカメラの視野の表現(例えば、図14I~図14Jの1430)を更新することを見合わせる。いくつかの実施形態では、1つ以上のカメラの視野の変化は、1つ以上のカメラの移動が検出されたとき、1つ以上の物体が1つ以上のカメラの視野内で移動したことが検出されたとき(例えば、1つ以上のカメラが移動したか否かにかかわらず)に検出された変化である。いくつかの実施形態では、コンピュータシステムがアクティブキャプチャ状態にある間、シャッター選択可能ユーザインタフェースオブジェクト(例えば、円)が表示され、終了アイコンまたは一時停止選択可能ユーザインタフェースオブジェクト(例えば、「×」)は表示されない。いくつかの実施形態では、コンピュータシステムがアクティブキャプチャ状態にない間、シャッター選択可能ユーザインタフェースオブジェクト(例えば、円)は表示されず、終了選択可能ユーザインタフェースオブジェクトまたは一時停止選択可能ユーザインタフェースオブジェクト(例えば、「×」)が表示される。所定の条件が満たされたとき(例えば、コンピュータシステムがアクティブキャプチャ状態にないとの判定に従い)、視野の変化を反映するように1つ以上のカメラの視野の表現を更新することを控えることは、システムの状態に関するインジケーションをユーザに自動的に提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、1つ以上のカメラの視野の更新された表現(例えば、1430)は、第1翻訳ユーザインタフェースと同時に、表示される(例えば、1470)。1つ以上のカメラの視野の更新された表現を第1の翻訳ユーザインタフェースオブジェクトと同時に表示することは、ユーザが1つ以上のカメラの視野を変更する(例えば、コンピュータシステムをパンする)間、ユーザが第1の翻訳ユーザインタフェースオブジェクトのビューを維持することを可能にすることによって、改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、1つ以上のカメラの視野の表現(例えば、少なくとも一部分)の第2の部分(例えば、上側部分)(例えば、以前にキャプチャされたメディアの表現および/または現在キャプチャされている1つ以上のカメラの視野の表現)は、第1の翻訳ユーザインタフェースオブジェクトと同時に表示される。いくつかの実施形態では、表示生成コンポーネントを介して、1つ以上のカメラの視野の表現(例えば、1430)の第2の部分を第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)と同時に表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、第1の翻訳ユーザインタフェースオブジェクトの表示を中止する要求(例えば、1450e2)を受信する。いくつかの実施形態では、コンピュータシステムへの要求(例えば、1450e2)の受信に応じて、第1のユーザインタフェースオブジェクトの表示を中止し、表示生成コンポーネントを介して、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470、1472)の表示を中止し、第1の翻訳ユーザインタフェースオブジェクトが表示されている間に以前に表示されなかった(例えば、表現の第2の部分と異なった)表現(例えば、図14E~図14Fの1430)の一部分(例えば、底部部分)を表示する。いくつかの実施形態では、以前に表示されなかった表現の部分は、第1の翻訳ユーザインタフェースオブジェクトが表示される前、および/または複数の翻訳部分のそれぞれのインジケーションを選択する要求が受信される前に表示された。
いくつかの実施形態では、その一部分として翻訳されたテキストの複数の表示(例えば、1446)を表示生成コンポーネントを介して自動的に表示することでは、コンピュータシステムは、テキストの第1の部分(例えば、1444(例えば、1444d))の翻訳の第1のインジケーション(例えば、1446(例えば、1446d))をテキストの第1の部分の上に表示する。いくつかの実施形態では、第1の部分の翻訳の第1のインジケーションがテキストの第1の部分(の少なくともサブセット/部分)の上に表示されるとき、テキストの第1の部分(の少なくともサブセット/部分)は見えない、および/またはコンピュータシステムはテキストの第1の部分を表示しない。テキストの第1の部分の翻訳の第1のインジケーションをテキストの第1の部分の上に表示することは、テキストのどの部分が複数のインジケーションにおける各インジケーションに対応しているかに関する改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、テキストの第1の部分(例えば、1444)は、第1の色で表示される(例えば、有する)(例えば、テキストの第1の部分は、第1の色であり、および/またはテキストの第1の部分は、コンテンツおよび/または第1の色である(または第1の色を含む)オブジェクト(例えば、1つ以上のカメラの視野の中で)の上に表示される)。いくつかの実施形態では翻訳の第1のインジケーション(例えば、1446)(例えば、インジケーションの一部の背景、テキストの第1の部分の翻訳)は、第1の色で表示されるいくつかの実施形態ではテキストの第2の部分(例えば、1444)は、第1の色と異なった第2の色で表示される(例えば、テキストの第2の部分は第2の色であり、および/またはテキストの第2の部分は、第2の色である(または第2の色を含む)コンテンツまたはオブジェクト(例えば、1つ以上のカメラの視野の中で)の上に表示される)。いくつかの実施形態では、第2のインジケーション(例えば、1446)(例えば、インジケーションの一部の背景、テキストの第2の部分の翻訳)は、第2の色で表示される。いくつかの実施形態では、翻訳の第1の視覚インジケーションは、最初に第2の色で表示される。いくつかの実施形態では、第2のインジケーションは、第1の色で表示されない。翻訳の第1のインジケーションが第1の色を有する場合にテキストの第1の部分を第1の色で表示し、第2のインジケーションが第2の色を有する場合にテキストの第2の部分を第2の色で表示することは、ユーザが第1のインジケーションおよび第2のインジケーションに関連付けられたテキストの部分を容易かつ効率的に判定することを可能にする改善された視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、(例えば、コンピュータシステムを操作する/コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって)ユーザ-システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
いくつかの実施形態では、第1のインジケーション(例えば、1446)は、テキストの第1の部分(例えば、1444)に対応している第3の場所に表示される(例えば、第1のインジケーションは、テキストの第1の部分の少なくともサブセット/部分の上に表示される)。いくつかの実施形態では、第3の場所における第1のインジケーション(例えば、1446)および1つ以上のカメラの視野の表現(例えば、図14Gの1430)を表示している間に、コンピュータシステムは、1つ以上のカメラの視野の第2の表現を表示する要求(例えば、1450g)を受信する。いくつかの実施形態では、1つ以上のカメラの視野の第2の表現を表示する要求は、(例えば、1つ以上のカメラの視野の表現上で検出されるピンチ解除/ピンチ入力/ジェスチャを介して)1つ以上のカメラの視野の表現をズームインおよび/またはズームアウトする要求が受信されたときに受信される。いくつかの実施形態では、1つ以上のカメラの視野の第2の表現を表示する要求は、(例えば、1つ以上のカメラの視野の表現上で検出されるスワイプジェスチャを介して)1つ以上のカメラの視野の表現をパン(例えば、平行移動)する要求が受信されるときに受信される。いくつかの実施形態では、1つ以上のカメラの視野の第2の表現(例えば、図14Hの1430)を表示する要求(例えば、1450g)の受信に応じて、かつ第2の表現がテキストの第1の部分を含むとの判定に従って、コンピュータシステムは、1つ以上のカメラの視野の第2の表現(例えば、図14Hの1430)を表示し(例えば、テキストの第1の部分に対応している)第3の場所に第1のインジケーション(例えば、1446)を引き続き表示する(例えば、テキストの第1の部分のサブセット/部分の上にある第1のインジケーションを引き続き表示する)(例えば、1つ以上のカメラの視野の第2の表現を表示している間に)。いくつかの実施形態では、1つ以上のカメラの視野の第2の表現は、(例えば、図14E~図14Fに関連して以上に説明したように)1つ以上のカメラの視野の表現のズームイン/アウトおよび/またはパン(例えば、平行移動)されたバージョンである。いくつかの実施形態では、1つ以上のカメラの視野の第2の表現を表示する要求をの受信に応じて、および第2の表現がテキストの第1の部分を含むとの判定に従って、コンピュータシステムは、(例えば、図14E~図14Fに関連して以上に説明したように)1つ以上のカメラの視野の表現を表示することを中止する。いくつかの実施形態では、1つ以上のカメラの視野の第2の表現を表示する要求の受信に応じて、(例えば、図14E~図14Fに関連して以上に説明したように)複数のインジケーションのうちの1つ以上が表示されなくなり、および/または平行移動の1つ以上のインジケーションが新たに表示される。特定の所定の条件が満たされたときに第3の場所に第1のインジケーションを引き続き表示することにより(例えば、コンピュータシステムが、1つ以上のカメラの視野の第2の表現を表示する要求の受信に応じて)、システムのカメラの視野が変更されている間に第1のインジケーションに関連付けられた情報を見る能力を自動的にユーザに提供する。更なるユーザ入力を必要とせずに条件のセットが満たされたときに動作を行うことにより、システムの操作性が高められ、ユーザ-システムインタフェースを(例えば、システムを操作する/システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470)は、第3の場所(例えば、ディスプレイ上、ユーザインタフェース内)に表示される。いくつかの実施形態では第3の場所に第1の翻訳ユーザインタフェースオブジェクト(例えば、1470)および複数のインジケーションを表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、それぞれのインジケーション(例えば、インジケーションに対するタップジェスチャ)を選択するための第2の要求(例えば、1450d)を受信する。いくつかの実施形態では、それぞれのインジケーション(例えば、1446d)を選択するための第2の要求(例えば、1450d)の受信に応じて、第2の要求が第2のインジケーション(例えば、1446d)を選択するための要求であるとの判定に従って、コンピュータシステムは、第3の場所において、第1の翻訳ユーザインタフェースオブジェクト(例えば、1470)の表示を第3の翻訳ユーザインタフェースオブジェクト(例えば、1472)の表示に置き換える。(例えば、第2の翻訳ユーザインタフェースオブジェクト)これは、テキストの第1の部分の翻訳を含まずにテキストの第3の部分(例えば、1472a)とテキストの第3の部分の翻訳(例えば、1472b)とを含む。(およびテキストの第2の部分)いくつかの実施形態では、それぞれのインジケーション(例えば、1446(例えば、図14Dの1446e))を選択するための第2の要求(例えば、1450d)の受信に応じて、第2の要求が第1のインジケーション(例えば、1446(例えば、図14Dの1446e))を選択するための要求であるとの判定に従って、コンピュータシステムは、第3の場所に第1の翻訳ユーザインタフェースオブジェクト(例えば、1470)を引き続き表示する(例えば、第3の翻訳ユーザインタフェースオブジェクトを表示せずに)。いくつかの実施形態では、第1の翻訳ユーザインタフェースオブジェクトは、お気に入りリスト(例えば、1448)および/または(例えば、図14Fおよび14Kに関連して以上に説明したような)他の翻訳ユーザインタフェースオブジェクトのユーザ選好リストに追加することができる。第2の要求の受信に応じて、かつ第2の要求が第2のインジケーションを選択する要求であるとの判定に従って、第1のユーザインタフェースオブジェクトの表示を第3の翻訳ユーザインタフェースオブジェクトの表示に置き換えることは、ユーザインタフェースを追加のユーザインタフェースオブジェクトで混乱させずに、どのユーザインタフェースオブジェクトがシステムによって表示されるかを判定する能力を可能にすることによって、ユーザにシステムに対するより多くのコントロールを提供する。表示される追加コントロールによってUIを雑然とさせることなく、追加コントロールできるようにすることによって、システムの操作性を向上させ、ユーザ-システムインタフェースを(例えば、システムを操作した/システムと対話したときに適切な入力を提供するようにユーザを手伝い、ユーザの誤りを減らすことによって)より効率的にし、加えて、ユーザがシステムをより迅速かつ効率的に使用できるようにすることによって、システムの電力使用量を低減し、バッテリ寿命を改善する。
いくつかの実施形態では、上記で説明した方法1500の1つ以上のステップは、ビデオメディアの1つ以上のライブフレームおよび/または一時停止フレームのようなビデオメディアの表現にも適用することができる。いくつかの実施形態では、以上に説明した方法1500の1つ以上のステップは、図14A~図14Nに関連して説明したユーザインタフェースと異なったアプリケーションのユーザインタフェースにおけるメディアの表現に適用することができ、アプリケーションのユーザインタフェースは、生産性アプリケーション(例えば、ノート作成アプリケーション、スプレッドシーティングアプリケーション、および/またはタスク管理アプリケーション)、ウェブアプリケーション、ファイルビューアアプリケーション、および/または文書処理アプリケーション、および/またはプレゼンテーションアプリケーションに対応しているユーザインタフェースを含むが、これらに限定されない。
方法1500(例えば、図15)に関して以上に説明した処理の詳細もまた、本明細書中で説明した他の方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法1500は、任意選択的に、方法800、900、1100、1300、および方法1700を参照して説明される、様々な方法の特点のうちの1つ以上を含む。例えば、方法1500は、任意選択的に、方法800、900、1100、1300、および方法1700を参照して説明される、様々な方法の特点のうちの1つ以上を含む。例えば、検出された特性の1つ以上のインジケーションは、方法1100で説明されるように、検出された特性を示すために、1つ以上のカメラの視野の表現において表示され得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図16A~図16Oは、いくつかの実施形態による、メディア内の視覚コンテンツのためのユーザインタフェースオブジェクトを管理する例示的なユーザインタフェースを示す。図17は、いくつかの実施形態に係る、メディア内の視覚コンテンツのためのユーザインタフェースオブジェクトを管理する方法を示すフロー図である。図16A~図16Oのユーザインタフェースは、図17のプロセスを含めた後述のプロセスを示すために使用される。
図16A~16Dは、いくつかの実施形態による、コンピュータシステム600が、連絡先情報を含むメディア内の視覚コンテンツのための1つ以上のユーザインタフェースオブジェクトを表示する、例示的なシナリオを図示する。図16Aに示すように、コンピュータシステム600は、アプリケーションコントロール領域722とアプリケーションコントロール領域726との間に配置されたメディアビューア領域724を含むメディアビューアユーザインタフェース720を表示する。メディアビューア領域724は、拡大した表現1624aおよびテキスト管理コントロール1680を含む。拡大した表現1624aは、写真の表現であり、ビジネスカード1660を示す。ビジネスカード1660は、テキスト1662を含み、テキスト1662は、名前1662a(「John Smith」)、連絡先番号1662b(「565-123-4567」)、および電子メール1662c(「John.Smith@mail.com」)から構成される。テキスト管理コントロール1680は、図6A~6Zおよび図7B~7Lのテキスト管理コントロール680に関連して以上に説明したように、1つ以上の技法を使用しておよび/または同様の理由(テキスト1662が拡大した表現1624aにおいて検出されるなど)で表示される。いくつかの実施形態では、コンピュータシステム600は、図7Bに関連して以上に説明したものと同様の1つ以上の技法を使用して、メディアビューア領域724、アプリケーションコントロール領域722、およびアプリケーションコントロール領域726を含むメディアビューアユーザインタフェース720を表示する。図16Aにおいて、コンピュータシステム600は、テキスト管理コントロール1680上の(例えば、および/またはそれに向けられた)タップ入力1650aを検出する。
図16Bに示すように、テキスト管理コントロール1680上でタップ入力1650aの検出に応じて(かつ、図6A~図6Cおよび図7Cに関連して以上に説明したプロミネンス基準のような基準のセットが満たされているとの判定が行われたため)、コンピュータシステム600は、すべて選択オプション1682b、コピーオプション682a、翻訳オプション1682a、および追加動作オプション682bを含むテキスト管理オプション1682を表示する。コピーオプション682aおよび全選択オプション682bが表示され、図6Fに関連して以上に説明したのと同様の技法を使用して、それぞれのオプションの選択に応じ1つ以上の動作を実行する。翻訳オプション1682aは、選択されたとき、にコンピュータシステム600に、翻訳コントロール1690fを選択することに関連して以下で説明されるものと同様の技法を使用して、検出されたテキストの一部(例えば、テキスト1662)を、検出されたテキストの言語と異なった言語に翻訳させる。追加動作オプション1682bは、選択されたときにコンピュータシステム600に、図6Fの参照オプション682cおよび/または共有オプション682d等の追加オプションを含むメニューを表示させる。いくつかの実施形態では、テキスト管理コントロール1680は、参照オプション682cおよび/または共有オプション682dなど、図6Fのテキスト管理コントロール680に含まれる1つ以上のオプションを含む。いくつかの実施形態では、テキスト管理コントロール1680は、コールオプション692a、メッセージ送信オプション1682b、連絡先追加オプション692c、およびコピーオプション692dなど、図6Oの電話番号管理オプション692に含まれる1つ以上のオプションを含む(および/または追加動作オプション692bの選択がコンピュータシステム600に表示させる)。
図16Bに示すように、テキスト管理コントロール1680上でタップ入力1650aの検出に応じて(また、図6A~図6Cおよび図7Cに関連して以上に説明したプロミネンス基準のような基準のセットが満たされているとの判定が行われたため)、コンピュータシステム600は、テキスト1662(例えば、検出されたテキスト)に対して、テキスト1662を含まないビジネスカード1660の部分(例えば、図16Bのレンチおよびねじが点で示されている)を強調しない。図16Bに示すように、タップ入力1650aの検出に応じて、コンピュータシステム600は、コンピュータシステム600が名前1662aを含むテキストを検出したことを示すボックス1636a、コンピュータシステム600が連絡先番号1662bを含むテキストを検出したことを示すボックス1636b、およびコンピュータシステム600が電子メール1662cを含むテキストを検出したことを示すボックス1636cを表示する。ボックス1636a、ボックス1636b、およびボックス1636cは、図6Cの括弧636aに関連して以上に説明したものと同様の技法を使用して、同様の理由で表示される。いくつかの実施形態では、ボックス1636a~1636cは、テキスト1662の部分が視覚的に強調されることを示す。いくつかの実施形態では、コンピュータシステム600は、検出されたテキストのサイズを拡大、強調、および/または増大させることなどによって、他の手段で検出されたテキストの部分を強調する。
図16Bでは、テキスト管理コントロール1680上でのタップ入力1650aの検出に応じて(かつ、図6A~図6Cおよび図7Cに関連して以上に説明したプロミネンス基準のような基準のセットが満たされているとの判定が行われたため)、テキスト1662の1つ以上の部分が特定のプロパティを有するとの判定が行われた。具体的には、テキスト1662が連絡先情報と一致する1つ以上のプロパティを有するとの判定が行われ、連絡先番号1662bが電話番号と一致する1つ以上のプロパティを有するとの判定が行われ、テキスト1662の1つ以上の部分をコピーすることができるとの判定が行われた。図16Bに示すように、テキスト1662が連絡先情報と一致する1つ以上のプロパティを有すると判定されるため、コンピュータシステム600は、連絡先追加コントロール1690aを表示する。更に、連絡先番号1662bが電話番号と一致する1つ以上のプロパティを有すると判定されるため、コンピュータシステム600はコールコントロール1690bを表示し、テキスト1662がコピー可能であると判定されるため、コンピュータシステム600はコピーコントロール1690cを表示する。図16Bにおいて、コンピュータシステム600は、コールコントロール1690b上のタップ入力1650b1、アドコンタクトコントロール1690a上のタップ入力1650b2、またはテキスト管理コントロール1680上のタップ入力1650b3を検出する。
図16Cに示すように、コールコントロール1650b上のタップ入力1690b1の検出に応じて、コンピュータシステム600は、連絡先番号1662bによって到達されるデバイスへの電話コールを開始し、電話ダイヤラユーザインタフェース1640を表示し、メディアビューアユーザインタフェース720の表示を中止する。電話ダイヤラユーザインタフェース1640は、呼び出し電話呼が電話番号1620aに対して進行中であることを示す表示1620bを含む。電話番号1620aは、コンピュータシステム600が図16A~16Bの拡大表示1624a上で検出した連絡先番号1662bと同じ番号である。図16Dにおいて、コンタクト追加コントロール1690a上でのタップ入力1650b2の検出に応じて、コンピュータシステム600は、タップ入力1650b1の検出に基づいて実行された動作(例えば、検出されたテキストに基づいて電話呼を開始する)と異なった動作(例えば、検出されたテキストに基づいて新しいコンタクトを作成すること、および/または既存のコンテンツを更新すること)を実行する。図16Dに示すように、タップ入力1650b2の検出に応じて、コンピュータシステム600は、連絡先情報ユーザインタフェース1642を表示する。連絡先情報ユーザインタフェース1642は、連絡先情報を入力するための複数のフィールドを含み、ファーストネームフィールド1642a、ラストネームフィールド1642b、電話フィールド1642c、および電子メールフィールド1642dが記入されている。図16Dに示すように、ファーストネームフィールド1642aおよびラストネームフィールド1642bは、図16Bの名前1662aに対応しているテキストで記入され、電話フィールド1642cは、図16Bの連絡先番号1662bに対応しているテキストで記入され、電子メールフィールド1642dは、図16Bの電子メール1662cに対応しているテキストで記入される。したがって、タップ入力1650b2の検出に応じて、コンピュータシステム600は、メディア(例えば、以前にキャプチャされたメディアおよび/またはライブメディア)内で検出されたテキストに基づいて、新しい連絡先を作成し、新しい連絡先に関する情報を事前記入するプロセスを開始する。いくつかの実施形態では、タップ入力1650b2の検出に応じて、コンピュータシステム600は、メディア内で検出されたテキストに基づいて既存の連絡先を更新するプロセスを開始する。いくつかの実施形態では、コンピュータシステム600は、検出されたテキストの一部分(例えば、図16Bのテキスト1662の一部分のうちの1つ以上が既存の連絡先の情報と一致する)が行われたとの判定に基づいて、既存の連絡先を更新する。いくつかの実施形態では、図16Bのテキスト管理コントロール1680上でのタップ入力1650b3の検出に応じて、コンピュータシステム600は、ボックス1636a~1636c、連絡先追加コントロール1690a、呼コントロール1690b、およびコピーコントロール1690cの表示を中止することを含めて、図16Aのユーザインタフェースを再表示する。
図16E~図16Hは、コンピュータシステム600が、測定単位を含むメディア内の視覚コンテンツのための1つ以上のユーザインタフェースオブジェクトを表示する例示的なシナリオを示す。図16Eに示すように、コンピュータシステム600は、ライブプレビュー630およびズームコントロール622を含むカメラユーザインタフェースを表示する。カメラユーザインタフェースは、ズームコントロール622およびライブプレビュー630の表示に関するものを含む、図6Aのカメラユーザインタフェースに関連して以上に説明した1つ以上の技法を用いて表示される。図16Eでは、ライブプレビュー630は、テキストを含み、テキストの一部分は、温度1630a(例えば、「13℃」)を含み、テキストの別の部分は、ステートメント1630b(例えば、「Complimentary Caprese Salad with any purchase(Mod-Wed 12pm-2pm)」)を含む。図16Eにおいて、コンピュータシステム600は、テキスト管理コントロール1680上のタップ入力1650eを検出する。
図16Fに示すように、テキスト管理コントロール1680上でタップ入力1650eの検出に応じて(かつ、図6A~図6Cおよび図7Cに関連して以上に説明したプロミネンス基準のような基準のセットが満たされているとの判定が行われたため)、コンピュータシステム600は、図16Bに関連して以上に説明した1つ以上の同様の技法を使用して、テキスト管理オプション1682、温度1630aの周りのボックス1636a、およびステートメント1630bの周りのボックス1636bを表示する。図16Fにおいて、温度1630aが測定単位と一致する1つ以上のフィーチャを有するとの判定がなされ、ステートメント1630bがコピーされ得るとの判定が行われた。いくつかの実施形態では、温度1630aおよびステートメント1630bがコピーされ得るとの判定が行われた。図16Fに示すように、ステートメント1630bがコピーされ得るとの判定が行われたため、コンピュータシステム600はコピーコントロール1690cを表示する。また、温度1630aが測定単位と一致するとの判定がなされたため、コンピュータシステム600は、測定変換コントロール1690dを表示する。図16Fに示すように、タップ入力1650eの検出に応じて、コンピュータシステム600は、図16Eのズームコントロール622の表示を中止し、コピーコントロール1690cおよび変換測定コントロール1690dを表示する。図16Fにおいて、コンピュータシステム600は、コピーコントロール1690c上のタップ入力1650f1を検出するか、または変換測定コントロール1690d上のタップ入力1650f2を検出する。
図16Gにおいて、コピーコントロール1690c上のタップ入力1650f1の検出に応じて、コンピュータシステム600は、ステートメント1630bをコピーバッファ内にコピーし、したがって、コンピュータシステム600は、入力の検出に応じステートメント1630bを貼り付けることができる。図16Gに示すように、コピーコントロール1690c上のタップ入力1650f1の検出に応じて、コンピュータシステム600は、ライブプレビュー630の表示を中止し、テキスト1634aを含む電子メールユーザインタフェース1002を表示する。図16Gにおいて、テキスト1634aは、電子メールメッセージの本文中の図16Fのステートメント1630bに対応している。いくつかの実施形態では、電子メールユーザ1002は、図10Aに関連して以上に説明したような1つ以上の技法を用いて表示される。いくつかの実施形態では、コンピュータシステム600は、電子メールユーザインタフェース1002に対応している電子メールアプリケーションと異なった1つ以上のアプリケーションにステートメント1630bをコピーする。いくつかの実施形態では、タップ入力1650f1の検出に応じて、コンピュータシステム600は、ライブプレビュー630を引き続き表示する。いくつかの実施形態では、図16Bのコピーコントロール1690c上の入力の検出に応じて、コンピュータシステム600は、電子メール1662cを「to」にコピーする。電子メールユーザインタフェース1002のフィールド。
図16Hにおいて、変換-測定コントロール1690d上のタップ入力1650f2の検出に応じて、コンピュータシステム600は、温度1630aを上回る変換1612(「55°F」)を表示する。変換1612は、摂氏から華氏への変換である温度1630aの変換である。したがって、タップ入力1650f2の検出に応じて、コンピュータシステム600は、検出されたテキストの部分における測定単位の変換を提供する。図16Hにおいて、コンピュータシステム600は、測定変換コントロール1690d上のタップ入力1650hを検出し、タップ入力1650hの検出に応じて、コンピュータシステム600は、図16Fのユーザインタフェースを再表示する。いくつかの実施形態では、測定変換コントロール1690dは、タップ入力1650hの検出に応じて(例えば、アクティブ(例えば、太字)として表示される代わりに)非アクティブ(例えば、太字ではない)として表示される。
図16I~図16Jは、コンピュータシステム600が、データ表を含むメディア内の視覚コンテンツのための1つ以上のユーザインタフェースオブジェクトを表示する例示的なシナリオを示す。図16Iに図示されるように、コンピュータシステム600は、ライブプレビュー630を表示し、これは、名前列648a内の全ての単語(「Name」、「Maria」、「Kate」、「Sarah」、および「Ashley」)およびポジション列648bの「position」ヘッダの周りに選択インジケータ696(例えば、「灰色強調」)を含む。選択インジケーション696は、図6U~図6Vのスワイプ入力650uの検出に関連して以上に説明した1つ以上の技法を使用して、スワイプ入力の検出に応じて表示される。図16Iにおいて、コンピュータシステム600は、図16Aに関連して以上に説明したような1つ以上の技法を使用して、テキスト管理コントロール1680上の入力の検出に応じて、抽出コントロール1690eを表示する。特に、コンピュータシステム600は、表648内のテキストが、表内にあるテキストと一致する1つ以上のプロパティを有すると判定されるため、抽出コントロール1690eを表示する。図16Iにおいて、コンピュータシステム600は、抽出コントロール1690e上の入力1650iを検出する。図16Jに示すように、入力1650iの検出に応じて、コンピュータシステム600は、テキスト1646aを含むスプレッドシートユーザインタフェース1646を表示する。したがって、抽出コントロール1690eに向けられた入力の検出に応じて、コンピュータシステム600は、メディアアイテムから検出されたテキストを、メディアアイテムを表示したアプリケーションと異なったアプリケーションにコピーおよび/または抽出する。図16Iに戻ると、いくつかの実施形態では、コンピュータシステム600は、選択されたときに表648内で選択されているテキストを変更する(例えば、選択インジケータ696の表示を更新する)コントロールを表示する。
図16K~図16Lは、コンピュータシステム600が、バーコードを含むメディア内の視覚コンテンツのための1つ以上のユーザインタフェースオブジェクトを表示する例示的なシナリオを示す。図16Kに示すように、コンピュータシステム600は、ライブプレビュー630を表示し、これは、バーコード1652およびテキスト管理コントロール1680(例えば、テキスト管理コントロール680に関して以上に説明したのと同様の理由で表示される)を含む。図16Kにおいて、コンピュータシステム600は、テキスト管理コントロール1680上の入力1650k1またはバーコード1652上の入力1650k2を検出する。図16Lに示すように、テキスト管理コントロール1680上の入力1650k1またはバーコード1652上の入力1650k2の検出に応じて、コンピュータシステム600は、バーコード1652に関連付けられた製品の説明であるバーコード説明1654を表示する。図16Lでは、バーコード1652がバーコードと一致する1つ以上のプロパティを有するとの判定が行われたため、コンピュータシステム600は、テキスト管理コントロール1680を表示することを中止し、バーコードスキャンコントロール1688を表示する。いくつかの実施形態では、バーコードスキャンコントロール1688が、テキスト管理コントロール1680に加えて、またはその代わりに、図16Kに表示される。いくつかの実施形態では、バーコードスキャンコントロール1688上の入力(例えば、タップ入力1650l)の検出に応じて、コンピュータシステム600は、バーコード1652をスキャンするためのプロセスを開始し、および/またはバーコード1652をスキャンする。いくつかの実施形態では、バーコード1652をスキャンした後、バーコード1652に関する追加情報が表示される(例えば、バーコード記述1654に含まれる情報よりも大量の情報)。いくつかの実施形態では、コンピュータシステム600は、コンピュータシステム600がギフトカードの表現を表示している間にテキスト管理コントロール1680上の入力の検出に応じて、ギフトカードを引き換えるためのコントロールを表示する。いくつかの実施形態では、ギフトカードを引き換えるためのコントロールを表示することに応じて、コンピュータシステム600は、ギフトカードを引き換える、および/または生産性アプリケーションにおいてギフトカードを引き換えるためのリマインダを追加する。
図16M~図16Oは、コンピュータシステム600が、外国語のテキストを含むメディア内の視覚コンテンツのための1つ以上のユーザインタフェースオブジェクトを表示する例示的なシナリオを示す。図16Mに示すように、コンピュータシステム600は、スペイン語であるテキスト1656を含むライブプレビュー630を表示する。図16Mにおいて、コンピュータシステム600は、テキスト1656上のタップ入力1650m1またはテキスト管理コントロール1680上のタップ入力1650m2を検出する。図16Nに示すように、タップ入力1650m1またはタップ入力1650m2の検出に応じて、コンピュータシステム600は、テキスト1656の英語翻訳である翻訳1658を表示する。図16Nにおいて、コンピュータシステム600は、タップ入力1650m1またはタップ入力1650m2の検出に応じテキスト1656を自動的に翻訳する。いくつかの実施形態では、コンピュータシステム600は、以下で更に説明するように、タップ入力1650m1またはタップ入力1650m2の検出に応じテキスト1656を自動的に翻訳しない。
図16Mに示すように、コンピュータシステム600は、図16Mのテキスト1656が翻訳されるべきテキストと一致する1つ以上のプロパティを有する(例えば、テキストの言語が、コンピュータシステム600の(例えば、デバイス設定に基づいて、デバイス領域設定に基づいて、および/または現在の地理場所データに基づいて)場所に関連付けられた言語と一致する)との判定が行われたため、翻訳1658を表示する。図16Nに示すように、図16Mのテキスト1656が翻訳されるべきテキストと一致する1つ以上のプロパティを有するとの判定が行われたため、コンピュータシステム600は翻訳コントロール1690fを表示する。更に、図16Nにおいて、コンピュータシステム600は、テキスト1656がスキャンされるべきテキストと一致する1つ以上のプロパティを有する(例えば、テキストが本の中に配置されている、テキストがページ上に配置されている、および/またはテキストが記事の中に配置されている)との判定が行われたため、スキャンコントロール1690gを表示し、コンピュータシステム600は、テキスト1656がコピーされ得るとの判定が行われたため、コピーコントロール1690cを表示する。図16Nにおいて、コンピュータシステムは、変換コントロール1690f上のタップ入力1650n1を検出する。図16Oに示すように、タップ入力1650n1の検出に応じて、コンピュータシステム600は、テキスト1656を再表示し、および/またはテキストの翻訳されたバージョンをテキストの元のバージョンに戻す。図16Oにおいて、コンピュータシステム600は、翻訳コントロール1690f上の入力1650oを検出し、コンピュータシステム600は、図16Nのテキスト1656を再表示し、および/またはテキストの元のバージョンを翻訳する。したがって、図16N~16Oに示すように、翻訳コントロール1690fを使用して、テキストの翻訳されたバージョンと元のバージョンとの間で切り替えることができる。いくつかの実施形態では、図16Mにおけるタップ入力1650m1またはタップ入力1650m2の検出に応じて、コンピュータシステム600は、図16Nのユーザインタフェースの代わりに図16Oのユーザインタフェースを表示する。したがって、いくつかの実施形態では、コンピュータシステム600は、図16Mにおけるタップ入力1650m1またはタップ入力1650m2の検出に応じて、元のテキストを自動的に翻訳しない。
図16Nに戻ると、コンピュータシステム600は、走査コントロール1690g上の入力1650n2を検出する。いくつかの実施形態では、スキャンコントロール1690gの検出に応じて、コンピュータシステム600は、ライブプレビュー630に示されるテキストおよび/またはライブプレビュー630に示される本をスキャンするプロセスを開始する。いくつかの実施形態では、スキャンするプロセスを開始することの一部分として、コンピュータシステム600は、ライブプレビュー630に示されるテキストおよび/またはライブプレビュー630に示される本をスキャンする。図16Nにおいて、コンピュータシステム600は、テキスト管理コントロール1680上の入力1650n3を検出する。いくつかの実施形態では、入力1650n3の検出に応じて、コンピュータシステム600は、図16Mのユーザインタフェースを再表示し、1つ以上の技法を使用して、図16Bにおけるタップ入力1650b3の検出に関連して以上に説明したのと同様の理由で、変換コントロール1690f、スキャンコントロール1690g、およびコピーコントロール1690cの表示を中止する。
図16A~図16Oに関連して以上に説明した特定のシナリオは、特定のメディアアイテム(例えば、ライブプレビュー630のようなライブメディア、および/または拡大した表現1624aによって表されるメディアのような以前にキャプチャされたメディア)内のテキストの異なるフィーチャ(例えば、ビジネスカード情報、バーコード、測定単位、および/または表内のテキスト)を検出することについて説明したが、検出されるテキストのタイプは、コンピュータシステム600がライブメディアを表示しているか、以前にキャプチャされたメディアを表示しているかに限定されないことを理解されたい。いくつかの実施形態では、メディアは、以前にキャプチャされた写真またはスクリーンショットのような写真メディアである。いくつかの実施形態では、メディアは、以前にキャプチャされたビデオメディアまたはライブビデオメディアなど、ビデオメディアおよび/またはビデオメディアのフレームである。いくつかの実施形態では、コンピュータシステム600は、他のタイプのテキスト(例えば、アイテムのリスト等)を検出することができ、他のタイプのテキストの検出のため、選択されたときにコンピュータシステム600に、検出されたアイテムのリストを生産性アプリケーション(例えば、食料品管理アプリケーションおよび/またはタスクアプリケーション)に追加させるコントロール等の1つ以上の異なるコントロールを表示する。
図17は、いくつかの実施形態に係る、メディア内の視覚コンテンツのためのユーザインタフェースオブジェクトを管理する方法を示すフロー図である。方法1700は、コンピュータシステム(例えば、600)において実行される。(例えば、スマートフォン、デスクトップコンピュータ、ラップトップ、および/またはタブレット)これは、表示生成コンポーネントと通信している。(例えば、ディスプレイコントロール、タッチ感知ディスプレイシステム):いくつかの実施形態では、コンピュータシステムは、1つ以上の入力デバイス(例えば、タッチ感知面)と通信している。方法1700のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下で説明されるように、方法1700は、いくつかの実施形態に従って、メディア内の視覚コンテンツのためのユーザインタフェースオブジェクトを管理するための直感的な方法を提供する。この方法は、いくつかの実施形態に係る、メディア内の視覚コンテンツのユーザインタフェースオブジェクトを管理するユーザの認識的負担を軽減し、それにより、より効率的なヒューマン-マシンインタフェースを作り出す。バッテリ動作型コンピューティングデバイスの場合、ユーザが、いくつかの実施形態に従いメディア内の視覚コンテンツのためのユーザインタフェースオブジェクトをより迅速かつより効率的に管理することを可能にすることは、電力を節約し、バッテリ充電間の時間を増加させる。
メディア(例えば、写真メディア、ビデオメディア)の表現(例えば、720および/または630)を含むユーザインタフェース(例えば、720、および/または630を含むカメラユーザインタフェース)を表示している間に、メディアの表現(例えば、630および/または720)に対応している追加情報(例えば、メディアの表現の拡大バージョン、視覚的コンテンツ、テキスト、および/またはメディアの表現に対応する1つ以上のユーザインタフェースコントローク)(例えば、メディアをキャプチャする要求を検出すること(例えば、シャッターアフォーダンスの選択を検出すること)に応じて)、キャプチャされていない1つ以上のカメラのライブプレビュー(例えば、視野(例えば、現在の視野)の表現に対応しているメディア、保存され、後にユーザによってアクセス可能なメディアアイテム、および/またはメディアのサムネイル表現上でのジェスチャの受信に応じ表示されたメディアの表現に対応しているメディア、(例えば、メディアの表現に対応しているメディアアイテム、視覚コンテンツ、テキスト、および/またはメディアの表現に対応している1つ以上のユーザインタフェースコントロール(例えば、方法800および900に関連して以上に説明したテキストを管理する複数のオプション))を表示する要求(例えば、1650a、1650e、1650、1650k1、および/または1650m2)をコンピュータシステムが検出する(例えば、1つ以上の入力装置を介して検出する)(1702)。いくつかの実施形態では、追加情報を表示する要求を検出することの一部分として、コンピュータシステムは、(例えば、方法800および900に関連して以上に説明したように)1つ以上のテキスト管理動作に対応しているユーザインタフェースオブジェクト上の入力を検出する。いくつかの実施形態では、追加情報を表示する要求を検出することの一部分として、コンピュータシステムは、メディアの表現(例えば、メディアのサムネイル表現)に対する入力、および/またはメディアの表現と異なったメディアの第2の表現に対する入力を検出する(例えば、方法800および900に関連して以上に説明したように)。いくつかの実施形態では、メディアの表現に対応している追加情報を表示する要求の検出に応じて、コンピュータシステムは、メディアの第2の表現(例えば、メディアの拡大した表現)を表示する。いくつかの実施形態では、ユーザインタフェースは、(例えば、方法800および900に関連して以上に説明したような1つ以上の技法を使用して)メディアの表現に対応している追加情報を表示する要求が検出される前に、1つ以上のテキスト動作に対応しているユーザインタフェースオブジェクトを含む。いくつかの実施形態では、メディアの表現に対応している追加情報を表示する要求の検出に応じて、コンピュータシステムは、方法800および900に関連して以上に説明したように、1つ以上のテキスト動作に対応しているユーザインタフェースオブジェクトを表示する。いくつかの実施形態では、メディアの表現(例えば、1624aおよび/または630)は、写真またはビデオである。いくつかの実施形態では、メディアの表現(例えば、1624a)は、スクリーンショットおよび/またはスクリーン記録である。
要求の検出に応じて(1704)、(例えば、1650a、1650e、1650、1650k1、および/または1650m2)メディアの表現に対応している追加情報を表示するために、および/またはユーザインタフェースに向けられた入力の検出に応じて(例えば、方法800および900に関連して以上に説明したように))、メディアの表現内の検出されたテキスト(例えば、1662、1630a、1630b、648、1652、および/または1656内のテキスト)がプロパティの第1のセット(例えば、連絡先情報、電話番号、ユーザになじみがないとの判定が行われた言語のフレーズおよび/または翻訳を必要とし得るフレーズ、文書、情報の表、測定単位(例えば、コンピュータシステムの特定のユーザになじみがないとの判定が行われた測定単位)、項目のリスト、および/または健康に関する情報を含む薬瓶および/または別の項目を含むとされる、検出されたテキストを特定する1つ以上のプロパティの)を有すると判定したことに従って(いくつかの実施形態では、(例えば、以下に記載されるように)、プロパティの第2のセットを有さない)、メディアの表現内の検出されたテキスト介して、第1のユーザインタフェースオブジェクト(例えば、1690a~1690g)を表示し(1706)、第1のユーザインタフェースオブジェクトは、選択されたときに検出されたテキストに基づいてコンピュータシステムに第1の動作を実行させる(第2のユーザインタフェースオブジェクト(例えば、後述する)および/または選択されると第2の動作を実行するユーザインタフェースオブジェクトを表示することなく)。要求の検出に応じて(1704)、例えば、1650a、1650e、1650、1650k1、および/または1650m2メディアの表現に対応している追加情報を表示するために、および/またはユーザインタフェースに向けられた入力の検出に応じて(例えば、方法800および900に関連して以上に説明したように))、メディアの表現内の検出されたテキスト(例えば、1662、1630a、1630b、648、1652、および/または1656内のテキスト)が、プロパティの第1のセットと異なった第2の組のプロパティ(例えば、プロパティの第1のセットに関連して以上に説明したような1つ以上のプロパティ)を有するとの判定に従って(いくつかの実施形態では、プロパティの第1のセットを有さない)、コンピュータシステムは、表示生成コンポーネントを介して、検出されたテキストに基づいて、第1の動作と異なった第2の動作を選択されるとコンピュータシステムに実行させる第2のユーザインタフェースオブジェクト(例えば、1690a~1690g)を表示する(第1のユーザインタフェースオブジェクトおよび/または選択されると、第1の動作を実行するユーザインタフェースオブジェクトを表示せずに)(1708)。いくつかの実施形態では、第1のユーザインタフェースオブジェクトは、第2のユーザインタフェースオブジェクトと異なった(例えば、視覚的に異なる)。いくつかの実施形態では、第1のユーザインタフェースオブジェクトおよび/または第2のユーザインタフェースオブジェクトは、検出されたテキストを管理するためのオプションである(例えば、方法800および900並びに個別のテキストを管理するための複数のオプションに関連して以上に説明したように)。いくつかの実施形態では、第1のユーザインタフェースオブジェクトまたは第2のユーザインタフェースオブジェクトは、1つ以上のテキスト動作に対応しているメディアおよび/またはユーザインタフェースオブジェクトの個別の表現と同時に表示される。いくつかの実施形態では、メディアの表現内の検出されたテキストがプロパティの第1のセットを有するとの判定に従って、コンピュータシステムは、選択されたときにコンピュータシステムに第1のユーザインタフェースオブジェクトと同時に(第2のユーザインタフェースオブジェクトを表示することなく)第3の動作を実行させる第3のユーザインタフェースオブジェクトを表示する。いくつかの実施形態では、メディアの表現内の検出されたテキストが第2の組のプロパティを有するとの判定に従って、コンピュータシステムは、(第1のユーザインタフェースオブジェクトを表示することなく)第2のユーザインタフェースオブジェクトと同時に第3のユーザインタフェースオブジェクトを表示する。いくつかの実施形態では、メディアの表現に対応している追加情報を表示する要求の検出に応じて、かつメディアの表現が検出可能なテキストを含まないとの判定に従って、コンピュータシステムは、第1のユーザインタフェースオブジェクトおよび/または第2のユーザインタフェースオブジェクトを表示することなくメディアの表現を表示する。メディアの表現に対応している追加情報を表示する要求の検出に応じて、特定の規定された条件が満たされたときに、コンピュータシステムに1つ以上の異なる動作を実行させる1つ以上のユーザインタフェースオブジェクト(例えば、第1のユーザインタフェースオブジェクトおよび/または第2のユーザインタフェースオブジェクト)を表示することによって、コンピュータシステムは、異なる条件に基づいて追加のコントロールオプションを自動的にユーザに提供することができ、ユーザは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを不必要に混乱させずに追加のコントロールオプションを提供する追加のコントロールを表示するためのプロセスを開始することができる。
いくつかの実施形態では、メディアの表現に対応している追加情報を表示する要求の検出に応じて、かつメディアの表現内の検出されたテキストが第1の組のプロパティを有するとの判定に従って、かつメディアの表現内の検出されたテキストが第1の組のプロパティと異なった第2の組のプロパティを有するとの判定に従い第1のユーザインタフェースオブジェクト(例えば、1690a~1690g)は、第2のユーザインタフェースオブジェクト(例えば、1690a~1690g)と同時に表示される。いくつかの実施形態では、第1のユーザインタフェースオブジェクトは、視覚的に第2のユーザインタフェースオブジェクトと異なっている。いくつかの実施形態では、第1のユーザインタフェースオブジェクトは、実行され得る第1の動作を示し、第2のユーザインタフェースオブジェクトは、実行され得る第2の動作を示す。いくつかの実施形態では、第1のユーザインタフェースオブジェクトは、実行され得る第2の動作を示さず、第2のユーザインタフェースオブジェクトは、第1の動作が実行され得ることを示さない。
コンピュータシステムにメディアの表現に対応している追加情報を表示する要求の検出に応じ異なる動作を実行させる複数のユーザインタフェースオブジェクト(例えば、第1のユーザインタフェースオブジェクトおよび/または第2のユーザインタフェースオブジェクト)を同時に表示することは、コンピュータシステムが、メディアの表現に対応している追加情報を表示する要求の検出に応じて、検出されたテキストに基づいて異なる動作を実行する複数の追加コントロールオプションをユーザに提供することを可能にし、ユーザインタフェースを混乱させずに追加コントロールオプションを提供する。
いくつかの実施形態では、ユーザインタフェースは、第3のユーザインタフェースオブジェクト(例えば、1680)を含む。例えば、方法1700に関連して以上に説明したように、1つ以上のテキスト管理動作に対応しているユーザインタフェースオブジェクト)、いくつかの実施形態では、メディアの表現は、追加情報を表示する要求が検出される前、並びに/または第1のユーザインタフェースオブジェクトおよび/若しくは第2のユーザインタフェースオブジェクトが表示される前に、第3のユーザインタフェースと同時に表示される。いくつかの実施形態では、メディアの表現に対応している追加情報を表示する要求(例えば、1650a、1650e、1650、1650k1、および/または1650m2)は、例えば、第3のユーザインタフェースオブジェクトが(メディアの表現と同時に)表示されている間に第3のユーザインタフェースオブジェクトに向けられた入力を検出することを含む。いくつかの実施形態では、第3のユーザインタフェースオブジェクトは、第1のユーザインタフェースオブジェクトが表示された後に第1のユーザインタフェースオブジェクトと同時に、および/または第2のユーザインタフェースオブジェクトが表示された後に第2のユーザインタフェースオブジェクトと同時に表示される。第3のユーザインタフェースオブジェクトに向けられた入力の検出に応じコンピュータシステムに1つ以上の異なる動作を実行させる1つ以上のユーザインタフェースオブジェクト(例えば、第1のユーザインタフェースオブジェクトインタフェースオブジェクトおよび/または第2のユーザインタフェースオブジェクト)を表示することは、ユーザインタフェースを不必要に混乱させずに追加のコントロールオプションを提供する第3のユーザインタフェースオブジェクトの選択によって、ユーザが追加のコントロールを表示するプロセスを開始することを可能にする。
いくつかの実施形態では、要求の検出に応じて(例えば、1650a、1650e、1650、1650k1、および/または1650m2)は、メディアの表現に対応している追加情報を表示するために(例えば、第3のユーザインタフェースオブジェクトに向けられた入力を検出することを含む)、コンピュータシステムは、メディアの表現における少なくとも第1の部分(例えば、1662)(例えば、テキストの部分および/または検出されたテキストの部分)を、メディアの表現における第2の部分(例えば、16Bにおけるレンチ)(例えば、テキストの部分および/または検出されたテキストではないテキストの部分)に対して視覚的に強調(例えば、拡大、強調表示、および/または太字にする)。メディアの表現内の第2の部分に対してメディアの表現内の少なくとも第1の部分を視覚的に強調することは、コンピュータシステムが第1のユーザインタフェースおよび/または第2のユーザインタフェースオブジェクトの選択に基づいて動作を実行するときに影響を受けるおよび/または使用されるメディアの表現の部分についての視覚フィードバックをユーザに提供し、これは改善された視覚フィードバックを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690a~1690g)および/または第2のユーザインタフェースオブジェクトおよび/またはメディアの表現に対応している追加情報を表示する要求の検出に応じ表示されるユーザインタフェースオブジェクトを表示している間、コンピュータシステムは、メディアの表現に対応している追加情報の表示を中止する要求(例えば、1650n3および/または1650m3)を検出する。いくつかの実施形態では、メディアの表現に対応している追加情報の表示を中止する要求の検出に応じて、コンピュータシステムは、第1のユーザインタフェースオブジェクト(例えば、図6Bおよび図6N~図6Oに関連して以上に説明したように)の表示を中止する(および/または、第2のユーザインタフェースオブジェクトおよび/またはメディアの表現に対応している追加情報を表示する要求の検出に応じ表示されるユーザインタフェースオブジェクト)。いくつかの実施形態では、メディアの表現に対応している追加情報の表示を中止する要求を検出することの一部分として、コンピュータシステムは、方法1700に関連して以上に説明したように、第3のユーザインタフェースオブジェクトに向けられた入力を検出する。メディアの表現に対応している追加情報の表示を中止する要求の検出に応じ第1のユーザインタフェースオブジェクトの表示を中止することは、ユーザインタフェースを不必要に混乱させずに追加のコントロールオプションを提供するユーザインタフェースを不必要に混乱させることを回避するために、第1のユーザインタフェースオブジェクト(および/または第2のユーザインタフェースオブジェクト)がいつ表示されるかをユーザがコントロールすることを可能にする。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690c)または第2のユーザインタフェースオブジェクトは、メディアの表現の第3の部分(例えば、検出されたテキストを含む)をコピーするユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトのコンテキストにおける第2の動作を実行することは、メディアの表現の第3の部分をコピーすることを含む。いくつかの実施形態では、コンピュータシステムは、メディア表現の第3の部分をコピーバッファにコピーする。いくつかの実施形態では、第1の動作(または第2の動作)は、メディアの表現の第3の部分をコピーする(および、いくつかの実施形態では、コピーバッファに)動作である。選択されたときに、ある所定の条件が満たされたときにメディアの表現に対応している追加情報を表示する要求の検出に応じ表現メディアの第3の部分をコンピュータシステムにコピーさせるユーザインタフェースオブジェクトを提供することによって、コンピュータシステムは、ある所定の条件が満たされたときにメディアの表現の一部分をコピーするための追加のコントロールオプションをユーザに自動的に提供することができ、これは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690b)または第2のユーザインタフェースオブジェクトは、通信セッションを開始するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトのコンテキストにおける第2の動作を実行することは、検出されたテキスト(例えば、1662b)の少なくとも第1の部分(例えば、検出されたテキスト内の電話番号、電子メール、および/またはユーザ名)に(例えば、第2のコンピュータシステムに関連付けられた電話番号、電子メールアドレス、および/またはユーザ名)を介して関連付けられた第2のコンピュータシステムおよび/または第2のコンピュータシステムのユーザとの通信セッション(例えば、電子メールメッセージングセッション、テキストメッセージングセッション、電話通話、および/またはビデオ通話)(および、いくつかの実施形態では、コピーバッファへの通信)(図16Cに関連して議論されたように)を開始することを含む。いくつかの実施形態では、第1の動作は、通信セッションを開始するための動作である。選択されたときにコンピュータシステムに通信セッションを開始させるメディアの表現に対応している追加情報を表示する要求の検出に応じユーザインタフェースオブジェクトを提供することは、特定の規定された条件が満たされたときに、コンピュータシステムが、検出されたテキストの一部に関連付けられた別のコンピュータシステムとの通信セッションを開始するための追加のコントロールオプションをユーザに自動的に提供することを可能にし、追加のコントロールオプションは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690d)は、例えば、メートル、インチ、パイント、ポンド、ヤード、グラム、マイル、ニュートン、および/またはヘクタールのような第1の測定単位を有する第1の値(例えば、数値および/または英数字値)を、第1の測定単位(例えば、1630a)と異なった(例えば、メートル、インチ、パイント、ポンド、ヤード、グラム、マイル、ニュートン、および/またはヘクタールなど)第2の測定単位(例えば、1612)を有する第2の値(例えば、数値および/または英数字値)に変換するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトの文脈における第2の動作を実行することは、第1の測定単位を有する第1の値を第2の測定単位を有する第2の値に変換することを含む。いくつかの実施形態では、第1の測定単位を有する第1の値は、第2の測定単位を有する第2の値に等しいおよび/または同等である。いくつかの実施形態では、第1演算は、第1測定単位を有する第1値を第2測定単位を有する第2値に変換する演算である。いくつかの実施形態では、第1の動作を実行することは、検出されたテキストにおいて、第1の測定単位を有する第1の値の表示を、第2の測定単位を有する第2の値の表示に置き換えることを含む。選択されたときに特定の所定の条件が満たされたときに、コンピュータシステムに第1の測定単位を有する第1の値を第2の値メディアの表現に対応している追加情報を表示する要求の検出に応じ第2の測定単位を有するに変換させるユーザインタフェースオブジェクトを提供することによって、コンピュータシステムは、所定の条件が満たされたときに第1の測定単位を有する第1の値を第2の測定単位を有する第2の値に変換するための追加のコントロールオプションをユーザに自動的に提供することができ、これは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690f)(または、第2のユーザインタフェースオブジェクト)は、第1の翻訳設定(例えば、システム設定、1つ以上の翻訳機能および/または翻訳アプリケーションに対応している1つ以上の動作(例えば、1つ以上の自動動作および/またはテキストを翻訳するための明示的なユーザインタフェースなしで行われる1つ以上の動作)を有効化および/または非有効化するシステム設定)を管理するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトのコンテキストにおける第2の動作を実行することは、第1の翻訳設定が第1の状態(例えば、非アクティブ状態および/またはオフ状態)にある(例えば、動作が実行される前に)との判定に従って、コンピュータシステムは、翻訳モードで動作するようにコンピュータシステムを構成することを含む(例えば、図16M~図16Oに関連して以上に説明したように)。いくつかの実施形態では、翻訳モードで動作している間、コンピュータシステムは、検出されたテキストの1つ以上の部分を翻訳するように構成されたおよび遷移設定を第2の状態になるように構成する。いくつかの実施形態では、翻訳設定が第1の状態にあるとの判定に従って、コンピュータシステムは、翻訳された(例えば、検出されたテキストの元のバージョンと異なった)検出されたテキストのバージョンを表示する。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトのコンテキストにおける第2の動作を実行することは、第1の翻訳設定が第1の状態と異なった第2の状態(例えば、アクティブ状態および/またはオン状態)にあるとの判定に従って、コンピュータシステムは、翻訳モードで動作しないようにコンピュータシステムを構成することを含む(例えば、図16M~図16Oに関連して以上に説明したように)。いくつかの実施形態では、翻訳設定が第2の状態にあるとの判定に従って、コンピュータシステムは、翻訳されていない検出されたテキストのバージョンを表示し、かつ/または翻訳された検出されたテキストのバージョンを表示しない。選択されたときに、特定の所定の条件が満たされたときにメディアの表現に対応している追加情報を表示する要求の検出に応じコンピュータシステムを翻訳モードで動作するように構成させるかまたは動作しないように構成させるユーザインタフェースオブジェクトを提供することによって、コンピュータシステムは、コンピュータシステムが翻訳モードで動作するように構成されたかまたは動作しないように構成されたかを変更するための追加のコントロールオプションをユーザに自動的に提供することが可能になり、これは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690f)は、第2の翻訳設定を管理するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトのコンテキストにおける第2の動作を実行することは、検出されたテキストの第2の部分の翻訳されたバージョン(例えば、1656)の表示を中止することを含む(例えば、図16M~図16Nに関連して以上に説明したように)。(および検出されたテキストの第2の部分の翻訳されていないバージョン、および/またはメディアの表現に対応している追加情報を表示する要求が検出される前に表示されていた検出されたテキストの第2の部分のバージョンを再表示することを含む)ことができる。いくつかの実施形態では、コンピュータシステムは、メディアの表現に対応している追加情報を表示する要求の検出に応じて、検出されたテキストの一部の翻訳されたバージョンを表示する。いくつかの実施形態では、検出されたテキストの一部の翻訳されたバージョンは、自動的に翻訳された検出されたテキストの一部であり、および/または翻訳された検出されたテキストの一部を翻訳するための明示的なユーザインタフェースなしで翻訳された検出されたテキストの一部分である。いくつかの実施形態では、コンピュータシステムは、メディアの表現に対応している追加情報を表示する要求を検出する前に、検出されたテキストの一部の翻訳されたバージョンを表示する。いくつかの実施形態では、テキストの一部の翻訳されたバージョンは、検出されたテキストの翻訳されていないバージョンにおける単語の言語と異なった別の言語に翻訳された1つ以上の単語を含む。選択されたときに特定の規定された条件が満たされたときに、メディアの表現に対応している追加情報を表示する要求の検出に応じ検出されたテキストの第2の部分の翻訳されたバージョンの表示をコンピュータシステムに中止させるユーザインタフェースオブジェクトを提供することは、コンピュータシステムが、検出されたテキストの部分の翻訳(例えば、自動翻訳および/または手動翻訳)を取り消すための追加のコントロールオプションをユーザに自動的に提供することを可能にし、これは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690f)または第2のユーザインタフェースオブジェクトは、第3の翻訳設定を管理するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作(または第2のユーザインタフェースオブジェクトの文脈における第2の動作)を実行することは、検出されたテキスト(例えば、1656)の第3の部分の翻訳されたバージョン(例えば、1658)を表示することおよび/またはユーザインタフェースに挿入することを含む。(例えば、第1のユーザインタフェースオブジェクトの選択前に表示されなかったもの)(例えば、図16N~図16Oに関連して以上に説明したように)。選択されたときに、特定の所定の条件が満たされたときにメディアの表現に対応している追加情報を表示する要求の検出に応じ検出されたテキストの第3の部分の翻訳されたバージョンをコンピュータシステムに表示させるユーザインタフェースオブジェクトを提供することによって、コンピュータシステムは、検出されたテキストの一部の翻訳を表示するための追加のコントロールオプションをユーザに自動的に提供することができ、追加のコントロールオプションは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690g)はまたは第2のユーザインタフェースオブジェクトは、第4の部分(例えば、1658)をスキャンするユーザインタフェースオブジェクトである。例えば、検出されたテキストを含むメディアの表現の一部分である。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトのコンテキストにおける第2の動作を実行することは、メディアの表現の第4の部分をスキャンすること(例えば、入力1650n2を検出することに関連して以上に説明したように)を含む(および/またはメディアの表現の第4の部分をスキャンするプロセスを開始すること)。いくつかの実施形態では、メディアの表現の第4の部分は、メディアの表現全体および/またはメディアの表現の50%を上回るメディアの表現の一部分である。いくつかの実施形態では、メディアの表現の第4の部分を走査した後、コンピュータシステムは、メディアの表現をファイルフォーマット(例えば、.pdf、.doc、.img、.jpg、または.gif)に記憶する、および/または記憶するプロセスを開始する。いくつかの実施形態では、メディアの表現は文書である。選択されたときにコンピュータシステムにメディアの表現の第4の部分をスキャンさせるメディアの表現に対応している追加情報を表示する要求の検出に応じユーザインタフェースオブジェクトを提供することは、特定の規定された条件が満たされていると、コンピュータシステムが、メディアの表現の一部をスキャンするための追加のコントロールオプションをユーザに自動的に提供することを可能にし、これは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690e)または第2のユーザインタフェースオブジェクトは、1つ以上の表(例えば、データ表)を抽出するユーザインタフェースオブジェクトである。いくつかの実施形態では、メディア表現の第5の部分(例えば、検出されたテキストを含む)は、第1の表を含む。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトのコンテキストにおける第2の動作を実行することは、第1の表をコピーするおよび/または抽出することを含む(例えば、図16I~図16Jに関連して以上に説明したように)。いくつかの実施形態では、検出されたテキストは表を含む。いくつかの実施形態では、表をコピーすることの一部分として、コンピュータシステムは、メディアの表現が表示されるアプリケーションと異なったアプリケーションに表をコピーする。選択されたときにコンピュータシステムに表を(例えば、検出されたテキスト内および/またはメディアの表現内に)コピーさせるユーザインタフェースオブジェクトを提供すること。メディアの表現に対応している追加情報を表示する要求の検出に応じある所定の条件が満たされたとき、コンピュータシステムは、メディアの表現内の表をコピーするための追加コントロールオプションをユーザに自動的に提供することを可能にし、これは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加コントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690e)または第2のユーザインタフェースオブジェクトは、1つ以上の表(例えば、データ表)から情報(例えば、1つ以上の表の1つ以上の行内のデータおよび/またはテキスト)を抽出するユーザインタフェースオブジェクトである。いくつかの実施形態では、メディア表現の第5の部分(例えば、検出されたテキストを含む)は、第2の表を含む。いくつかの実施形態では、第1の動作または第2のユーザインタフェースオブジェクトのコンテキストにおける第2の動作を実行することは、第2の表内の情報(例えば、情報および/または検出されたテキストの一部および/または全て)が選択されている(例えば、図16I~図16Jに関連して以上に説明したように)インジケーションを表示することを含む。いくつかの実施形態では、選択された情報は、検出されたテキストである。いくつかの実施形態では、表内の情報が選択されているというインジケーションを表示している間、コンピュータシステムは、表内の他の情報が選択されていないことを示す。いくつかの実施形態では、コンピュータシステムは、選択されるように示される情報をアプリケーションに(例えば、スプレッドシートアプリケーションに)送信および/または追加する。選択されたときにメディアの表現に対応している追加情報を表示する要求の検出に応じある規定された条件が満たされたときに、表内の情報が第2の表であるというインジケーションをコンピュータシステムに表示させるユーザインタフェースオブジェクトを提供することによって、コンピュータシステムは、メディアの表現内の表から情報を選択するための追加コントロールオプションをユーザに自動的に提供することが可能になり、追加コントロールオプションは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加コントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1690a)は、1つ以上の連絡先を管理するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作を実行することは、メディアの表現の第6の部分(例えば、検出されたテキストの一部分)を連絡先詳細フォーム(例えば、図16Dに関連して以上に説明したように)に追加することを含む(例えば、特定の連絡先(例えば、コンピュータシステムのユーザの連絡先および/またはコンピュータシステムと異なったコンピュータシステムに関連付けられた連絡先)のための契約入力フォームおよび/または連絡先詳細フォーム)。いくつかの実施形態では、第1の動作を実行することは、メディアの表現の第6の部分および/またはメディアへの表現の第6の部分からのテキストを新しいまたは既存の連絡先に追加するプロセスを開始することを含む。いくつかの実施形態では、メディア表現の第6の部分は、(例えば、メディア表現で表される)ビジネスカード上のテキストである。選択されたときにコンピュータシステムにメディアの表現の第6の部分を連絡先詳細フォームに追加させるメディアの表現に対応している追加情報を表示する要求の検出に応じユーザインタフェースオブジェクトを提供することは、特定の規定された条件が満たされたときに、コンピュータシステムが、メディアの表現および/または検出されたテキストの少なくとも一部を使用して連絡先に関連付けられた詳細および/または情報を作成および/または管理するための追加のコントロールオプションをユーザに自動的に提供することを可能にし、これは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクトは、ショッピングリストを管理するユーザインタフェースオブジェクトであり、第1の動作を実行することは、メディアの表現の第7の部分を追加することを含む。(例えば、検出されたテキストの一部分)リストへ(例えば、リマインダおよび/またはToDoリストアプリケーションにおいて)(例えば、ショッピングリスト、ToDoリスト、リマインダリスト、および/または生産性リスト)選択されたときに、コンピュータシステムにメディアの表現の第6の部分をリストに追加させるメディアの表現に対応している追加情報を表示する要求の検出に応じユーザインタフェースオブジェクトを提供することは、特定の規定された条件が満たされたときに、コンピュータシステムが自動的に、メディアの表現の少なくとも一部を使用してショッピングリスト(および/または別のアイテムのリスト)を管理および/または作成するための追加のコントロールオプションをユーザに提供することを可能にし、ショッピングリストは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクトは、医薬を管理するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作は、メディアの表現内の(例えば、メディアの表現内)の検出されたテキスト内の医療情報(例えば、薬剤および/または栄養補助食品に関する情報(例えば、薬剤および/または栄養補助食品の投与量および/または種類))を識別することを含む。いくつかの実施形態では、メディアの表現内の医療情報を識別することの一部分として、コンピュータシステムは、バーコードをスキャンおよび/または検索し、および/または薬剤に関連付けられた(例えば、薬瓶および/またはレシート上の)テキストを識別する。いくつかの実施形態では、第1の動作を実行することは、医療情報を健康アプリケーション(例えば、フィットネスアプリケーション、ヘルストラッキングアプリケーション、医療記録を管理するためのアプリケーション、および/または医療を管理するためのアプリケーション)に関連付けることを含むユーザの許可を得る。いくつかの実施形態では、医療情報を健康アプリケーションに関連付けることの一部分として、コンピュータシステムは、医療情報を追加する命令を健康アプリケーションに送信する。いくつかの実施形態では、医療情報は、ユーザ(例えば、コンピュータシステムのユーザおよび/または別のユーザ)に対応している健康アカウントおよび/または別のアカウントに追加される。選択されたときにコンピュータシステムに医療情報を健康アプリケーションに関連付けさせるメディアの表現に対応している追加情報を表示する要求の検出に応じユーザインタフェースオブジェクトを提供することは、特定の規定された条件が満たされたときに、コンピュータシステムが、メディアの表現の少なくとも一部を健康アプリケーションに関連付けるための追加コントロールオプションをユーザに自動的に提供することを可能にし、追加コントロールオプションは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加コントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクトは、ギフトカードを兌換するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作を実行することは、メディアの表現の第8の部分に基づいてギフトカードを引き換えるプロセスを開始することを含む。いくつかの実施形態では、表現の第8の部分は、ギフトカードに関連付けられた識別情報(例えば、ギフトカードに関連付けられた、および/またはギフトカードを引き換えるためのテキスト(例えば、バーコードおよび/または数字))である。いくつかの実施形態では、ギフトカードを引き換えるプロセスは、リマインダおよび/またはタスクを作成することと、それを、タスク、リスト、および/またはリマインダを管理するためのアプリケーションに関連付けることとを含む。選択されたときに特定の規定された条件が満たされたときにメディアの表現に対応している追加情報を表示する要求の検出に応じギフトカードを引き換えるプロセスをコンピュータシステムに開始させるユーザインタフェースオブジェクトを提供することによって、コンピュータシステムは、ギフトカードを引き換えるための追加コントロールオプションをユーザに自動的に提供することができ、追加コントロールオプションは、さらなるユーザ入力を必要とせずに一連の条件が満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加コントロールオプションを提供する。
いくつかの実施形態では、第1のユーザインタフェースオブジェクト(例えば、1688)は、バーコード(例えば、1652)を管理するユーザインタフェースオブジェクトである。いくつかの実施形態では、第1の動作を実行することは、バーコードに対応している製品および/またはサービスに関する第1の情報(例えば、1654)を表示することを含み、バーコードは、メディアの表現内に表示される。いくつかの実施形態では、メディアの表現の第9の部分内のバーコードに対応している情報を表示することの一部分として、コンピュータシステムは、バーコードをスキャンする。いくつかの実施形態では、第1の情報は、それぞれのユーザインタフェースオブジェクト(例えば、検索カードおよび/またはパネル)に表示される。いくつかの実施形態では、それぞれのユーザインタフェースオブジェクトは、メディアの表現の少なくとも一部分をオーバーレイする。いくつかの実施形態では、第1の情報および/または検索カードは、製品に関する情報および/またはリンク、製品を使用するレシピ、製品のレビュー、製品の栄養上の事実、製品のサービングサイズ、および/またはサービングサイズを調整してレシピで製品がどれだけ使用されるかを判定する1つ以上のオプションのような情報を含む。選択されたときにコンピュータシステムにバーコードに対応している製品(および/またはサービス)に関する情報を表示させるユーザインタフェースオブジェクトを提供することはメディアの表現に対応している追加情報を表示する要求の検出に応じて、ある規定された条件が満たされていると、コンピュータシステムが、バーコードに関連付けられた情報を提供するための追加コントロールオプションをユーザに自動的に提供することを可能にし、追加コントロールオプションは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを混乱させずに追加コントロールオプションを提供する。
いくつかの実施形態では、バーコード(例えば、1652)を含むメディアの表現(例えば、630)(およびバーコードを管理するユーザインタフェースオブジェクト)を表示している間に、コンピュータシステムは、バーコードに向けられた入力(例えば、1650k2)を検出する。いくつかの実施形態では、(例えば、バーコードに向けられた)入力の検出に応じて、コンピュータシステムは、バーコードに対応している製品に関する第2の情報を表示する。バーコードに向けられた入力の検出に応じバーコードに対応している製品に関する第2の情報を表示することは、コンピュータシステムが、追加のコントロールを表示することなくバーコードに関する情報を表示することを可能にし、これは、ユーザインタフェースを混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、ユーザインタフェースは、第4のユーザインタフェースオブジェクト(例えば、1680)を含む。例えば、方法800および900において以上に説明したように、1つ以上のテキスト管理動作に対応しているユーザインタフェースオブジェクトが第1の場所に表示される。いくつかの実施形態では、コンピュータシステムは、メディアの表現(例えば、630および/または1624a)に対応している追加情報を表示する要求(例えば、1650a、1650e、1650、1650k1、および/または1650m2)を検出することは、第4のユーザインタフェースオブジェクト(例えば、1680)に向けられた入力(例えば、1650a、1650e、1650、1650k1、および/または1650m2)を検出することを含む。いくつかの実施形態では、メディアの表現に対応している追加情報を表示する要求の検出に応じて、メディアの表現内の検出されたテキスト(例えば、1662、1630a、1630b、648、1652、および/または1656内のテキスト)が第1の組のプロパティを有するとの判定に従って、第1のユーザインタフェースオブジェクト(例えば、1688)が第1の場所に表示され、第4のユーザインタフェースオブジェクトは第1の場所に表示されない。いくつかの実施形態では、メディアの表現内の検出されたテキストがプロパティの第1のセットと異なった第2の組のプロパティを有するとの判定に従って、第2のユーザインタフェースオブジェクトは第1の場所に表示され、第4のユーザインタフェースオブジェクトは第1の場所に表示されない。メディアの表現に対応している追加情報を表示する要求の検出に応じて、かつメディアの表現内の検出されたテキストが第1の組のプロパティを有するとの判定に従って、第1のユーザインタフェースオブジェクトを第1の場所に表示し、第4のユーザインタフェースオブジェクトを第1の場所に表示しないことにより、コンピュータシステムは、第1の場所でユーザにより関連する可能性があるユーザインタフェースオブジェクトを表示し、ユーザインタフェースをデクラッターすることができ、これは、さらなるユーザ入力を必要とせずに条件セットが満たされたときに動作を実行し、ユーザインタフェースをクラッターすることなく追加のコントロールオプションを提供する。
いくつかの実施形態では、コンピュータシステム(例えば、700)は、1つ以上のカメラと通信している。いくつかの実施形態では、メディアの表現(例えば、630)は、1つ以上のカメラによってキャプチャされている(例えば、現在キャプチャされている)、および/またはわずかな遅延(例えば、0.01~5秒の遅延)を伴ってキャプチャされている視覚コンテンツの表現(例えば、630)である(例えば、ライブプレビューおよび/またはメディアのライブ表現))。コンピュータシステムに1つ以上の異なる動作を実行させる1つ以上のユーザインタフェースオブジェクト(例えば、第1のユーザインタフェースオブジェクトおよび/または第2のユーザインタフェースオブジェクト)を1つ以上のカメラによって取り込まれている視覚コンテンツに対応している追加情報を表示する要求の検出に応じ特定の所定の条件が満たされたときに表示することは、コンピュータシステムが、ライブコンテンツに基づいてコンピュータシステムに1つ以上の動作を実行させる追加のコントロールオプションをユーザに自動的に提供することを可能にし、ライブコンテンツは、さらなるユーザ入力を必要とせずに条件のセットが満たされたときに動作を実行し、ユーザインタフェースを不必要に混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、メディアの表現(例えば、1624a)は、以前にキャプチャされたメディア(例えば、コンピュータシステムおよび/またはコンピュータシステムと異なったコンピュータシステムの1つ以上のカメラによって以前にキャプチャされた視覚コンテンツ(例えば、データ))の表現(例えば、1624a)である。特定の規定された条件が満たされたときに、コンピュータシステムに1つ以上の異なる動作を実行させる1つ以上のユーザインタフェースオブジェクト(例えば、第1のユーザインタフェースオブジェクトおよび/または第2のユーザインタフェースオブジェクト)を表示することによって以前にキャプチャされたコンテンツの表現に対応している追加情報を表示する要求の検出に応じて、コンピュータシステムは、以前にキャプチャされたコンテンツに基づいてコンピュータシステムに1つ以上の動作を実行させる追加のコントロールオプションをユーザに自動的に提供することができ、この追加のコントロールオプションは、さらなるユーザ入力を必要とセットが満たされたときに動作を実行し、ユーザインタフェースを不必要に混乱させずに追加のコントロールオプションを提供する。
いくつかの実施形態では、上記で説明した方法1700の1つ以上のステップはまた、ビデオメディアの1つ以上のライブフレームおよび/または一時停止フレームのようなビデオメディアの表現に適用することができる。いくつかの実施形態では、以上に説明した方法1700の1つ以上のステップは、図16A~図16Oに関連して説明したユーザインタフェースと異なったアプリケーションのユーザインタフェースにおけるメディアの表現に適用することができ、アプリケーションのユーザインタフェースは、生産性アプリケーション(例えば、ノート作成アプリケーション、スプレッドシーティングアプリケーション、および/またはタスク管理アプリケーション)、ウェブアプリケーション、ファイルビューアアプリケーション、および/または文書処理アプリケーション、および/またはプレゼンテーションアプリケーションに対応しているユーザインタフェースを含むが、これらに限定されない。
なお、方法1700(例えば、図17)に関して以上に説明した処理の詳細は、本明細書中で説明した他の方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法1700は、任意選択的に、方法800、900、1100、1300、および方法1500を参照して説明される、様々な方法の特点のうちの1つ以上を含む。例えば、方法1700は、任意選択的に、方法800、900、1100、1300、および方法1500を参照して説明される、様々な方法の特点のうちの1つ以上を含む。例えば、コンピュータシステムは、方法800および/または900に関連して説明されるように、基準のセット(例えば、視覚プロミネンス基準)に基づいて、方法1700を使用して、1つ以上のユーザインタフェースオブジェクトを表示する。簡潔にするために、これらの詳細は、以下で繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、または開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正および変形が可能である。本技術の原理、およびそれらの実際の用途を最も良く説明するために、実施形態が選択および記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術および様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示および例を十分に説明してきたが、様々な変更および修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更および修正は、特許請求の範囲によって定義されるような、本開示および例の範囲内に含まれるものとして理解されたい。
以上に説明したように、本技術の一態様は、様々なソースから利用可能なデータを収集および使用して、コンピュータシステムがユーザのために様々な機能を実行することを可能にし、かつ/またはメディア内の視覚コンテンツを管理する強化された能力をユーザに提供することである。例えば、コンピュータシステムは、方法1000に関連して以上に説明したように、画像および/またはビデオのような様々なソースからのデータを使用して、医療情報(例えば、薬剤)を識別およびスキャンすることができる。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に識別する個人情報データ、または特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターID、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録(例えば、バイタルサイン測定値、投薬情報、運動情報)、生年月日、または任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザにとってより興味深いターゲットコンテンツを配信するために使用されてもよい。したがって、そのような個人情報データの使用は、ユーザが、管理されるメディア内の視覚コンテンツのタイプに対する計算されたコントロールを有することを可能にする。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データおよびフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、または、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示には、コンピュータシステムによってスキャン、処理、および/または収集された医療情報を含む、そのような個人情報データの収集、分析、開示、転送、保存、またはその他の使用に責任を負う事業体が、十分に確立されたプライバシーポリシーおよび/またはプライバシー慣行を遵守することを想定する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界または政府の要件を満たしているかまたは上回るものとして一般に認識されている、プライバシーのポリシーおよび慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集および/または使用が変更されるにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有または販売されるべきではない。更には、そのような収集/共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護および安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシーおよび手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシーおよび慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシーおよび慣行は、収集および/またはアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令および規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集またはそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律(HIPAA)などの、連邦法および/または州法に準拠し得る。その一方で、他国における健康データは、他の規制およびポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
上記にかかわらず、本開示は、ユーザが、方法1700に関連して以上に説明したような1つ以上の技法を使用して、収集、処理、および/またはスキャンされた医療データのような個人情報データの使用または個人情報データへのアクセスを選択的にブロックする実施形態も企図されている。すなわち、本開示は、そのような個人情報データへのアクセスを防止または阻止するために、ハードウェア要素および/またはソフトウェア要素が提供され得ることを意図している。例えば、広告配信サービスの場合では、(例えば、管理されたメディア内の特性を検出することによって)本技術は、ユーザが、サービスの登録中またはその後のいつでも、個人情報データの収集への参加の「opt in」または「opt out」を選択できるように構成することができる。別の例では、ユーザは、ターゲット広告の目的でユーザが管理したコンテンツに関連付けられたデータを提供しないことを選択することができる。更に別の例では、ユーザは、(例えば、方法1700に関連して以上に説明したような1つ以上の技法を使用して)ユーザが管理したコンテンツに関連付けられたデータが維持される時間の長さを制限すること、または健康または医療データに関連するプロファイルのようなベースラインプロファイルの開発を完全に禁止することを選択することができる。「opt in」および「opt out」オプションを提供することに加えて、本開示は、個人情報のアクセスまたは使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは許可のないアクセスまたは使用の危険性を最小限に抑える方法で、管理および処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。更に、特定の健康関連アプリケーションを含めて、適用可能な場合には、データの匿名化を使用してユーザのプライバシーを保護することができる。匿名化は、必要に応じて、特定の識別子(例えば、生年月日など)を削除すること、記憶されたデータの量または特異性を制御すること(例えば、位置データを、住所レベルではなく都市レベルで収集する)、データがどのように記憶されるかを制御すること(例えば、ユーザ間でデータを集約する)、および/または他の方法によって、容易にすることができる。
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全てまたは一部が欠如することにより、動作不可能にされるものではない。例えば、メディア内の視覚コンテンツは、ユーザに関連付けられたデバイスに要求されたコンテンツ、メディアのソースが利用可能な他の非個人情報、または公的に利用可能な情報のような、非個人情報データまたは最小量の個人情報に基づいて、管理されることができる。